JP6799423B2

JP6799423B2 - Image processing circuit, image conversion device, image display device and image processing method

Info

Publication number: JP6799423B2
Application number: JP2016169531A
Authority: JP
Inventors: 市川　勉; 勉市川
Original assignee: エルジーディスプレイカンパニーリミテッド
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2020-12-16
Anticipated expiration: 2036-08-31
Also published as: JP2018036502A; KR101920403B1; KR20180025153A

Description

本発明は、画像処理回路、画像変換装置、画像表示装置及び画像処理方法に関する。 The present invention relates to an image processing circuit, an image conversion device, an image display device, and an image processing method.

近年、撮像素子の高性能化等に伴い、通常のＳＤＲ（スタンダードダイナミックレンジ）画像に比べ、より幅広いダイナミックレンジを表現可能な、ＨＤＲ（ハイダイナミックレンジ）画像が使用されている。 In recent years, with the improvement of high performance of image sensors, HDR (high dynamic range) images capable of expressing a wider dynamic range than ordinary SDR (standard dynamic range) images have been used.

ＨＤＲ画像に関しては、ＰＱ方式やＨＬＧ方式等の、標準化、規格化が行われている。例えばＰＱ方式は、最小０．００５ｎｉｔｓから最大１０，０００ｎｉｔｓまでの絶対輝度を扱っている。ＨＬＧ方式においても、最大輝度がＳＤＲ画像の１０倍以上である。したがって、例えばディスプレイ等においても、従来は５００ｎｉｔｓに満たない程度の最大表示輝度であったが、近年においては、最大表示輝度が数千、あるいは１０，０００ｎｉｔｓの装置の開発が進んでいる。 Regarding HDR images, standardization and standardization such as PQ method and HLG method have been carried out. For example, the PQ method deals with absolute brightness from a minimum of 0.005 nits to a maximum of 10,000 nits. Even in the HLG method, the maximum brightness is 10 times or more that of the SDR image. Therefore, for example, even in a display or the like, the maximum display brightness is less than 500 nits in the past, but in recent years, the development of a device having a maximum display brightness of several thousand or 10,000 nits is progressing.

また、ＨＤＲ画像に関しては、例えば特許文献１に記載されている符号化方法等をはじめとした、様々な提案がなされている。 Further, regarding HDR images, various proposals have been made, including, for example, the coding method described in Patent Document 1.

特開２０１３−１０６３３３号公報Japanese Unexamined Patent Publication No. 2013-106333

ＳＤＲ画像は、長年にわたり使用され続けてきたため、コンテンツ量が膨大である。このＳＤＲ画像の膨大なコンテンツを有効に活用するため、これらを、ＨＤＲ画像を使用可能な機器等においても使用できるようにすることが望ましい。例えばディスプレイ等の、ＨＤＲ画像を表示可能な画像表示装置でＳＤＲ画像を表示する場合において、通常考えられる対応方法を、図８を用いて以下に説明する。 Since SDR images have been used for many years, the amount of content is enormous. In order to effectively utilize the enormous amount of contents of the SDR image, it is desirable that these can be used in a device or the like that can use the HDR image. For example, when displaying an SDR image on an image display device capable of displaying an HDR image such as a display, a generally conceivable countermeasure will be described below with reference to FIG.

図８に示されるグラフにおいて、横軸は、入力されるＳＤＲ画像の輝度値であり、縦軸はＨＤＲ画像として表示される輝度値である。ここでは説明を簡単にするために、ＨＤＲ画像の輝度値の上限値は、ＳＤＲ画像の輝度値の上限値の１０倍である場合を想定している。横軸であるＳＤＲ画像の輝度値は、上限値が１に正規化されており、縦軸であるＨＤＲ画像の輝度値は、上限値が１０に正規化されている。 In the graph shown in FIG. 8, the horizontal axis is the brightness value of the input SDR image, and the vertical axis is the brightness value displayed as the HDR image. Here, for the sake of simplicity, it is assumed that the upper limit of the brightness value of the HDR image is 10 times the upper limit of the brightness value of the SDR image. The upper limit of the brightness value of the SDR image on the horizontal axis is normalized to 1, and the upper limit of the brightness value of the HDR image on the vertical axis is normalized to 10.

ＨＤＲ画像を表示可能な画像表示装置において、ＳＤＲ画像を表示する方法の１つとして、図８に線１０１として示されるように、画像表示装置においてＳＤＲ画像を表示する際の最大輝度を、ＨＤＲ画像を表示する際の最大輝度の１／１０として、ＳＤＲ画像のダイナミックレンジをそのまま維持して表示することが考えられる。この場合においては、画像表示装置に表示されたＳＤＲ画像は、人間の眼には非常に暗く感じられることがある。 As one of the methods for displaying an SDR image in an image display device capable of displaying an HDR image, as shown by line 101 in FIG. 8, the maximum brightness when displaying the SDR image in the image display device is set to the HDR image. It is conceivable to maintain the dynamic range of the SDR image as it is and display it as 1/10 of the maximum brightness when displaying. In this case, the SDR image displayed on the image display device may appear very dark to the human eye.

次に、図８に線１０２として示されるように、画像表示装置においてＳＤＲ画像を表示する際の最大輝度を、ＨＤＲ画像を表示する際の最大輝度と同じとするように、ＳＤＲ画像のダイナミックレンジをＨＤＲ画像のダイナミックレンジ最大限に引き伸ばすことが考えられる。この場合においては、画像表示装置に表示されたＳＤＲ画像は、人間の眼には、白飛びが著しくて明る過ぎるように感じられることがある。 Next, as shown by line 102 in FIG. 8, the dynamic range of the SDR image is set so that the maximum brightness when displaying the SDR image on the image display device is the same as the maximum brightness when displaying the HDR image. It is conceivable to extend the dynamic range of the HDR image to the maximum. In this case, the SDR image displayed on the image display device may appear to the human eye to be too bright due to significant overexposure.

更に、図８に線１０３として示されるように、画像表示装置においてＳＤＲ画像を表示する際の最大輝度を、線１０１と線１０２の場合の間の値に、例えば、ＨＤＲ画像を表示する際の最大輝度の１／２となるように調整することが考えられる。この場合においては、上記の２つの場合よりも、人間の眼にとって比較的見やすく感じられることが多い。しかし、この場合においても上記の２つの場合と同様に、ＳＤＲ画像は、輝度値の上限値を超える、より明るい輝度値によって表示するのが本来望ましい画素においても、当該画素の輝度値が上限値に制限された状態で表示されている。すなわち、ＳＤＲ画像が輝度飽和した状態で表示されている。したがって、この場合においても、本質的には上記の２つの場合と同様に、ＨＤＲ画像を表示可能な画像表示装置の表示能力を最大限に活かせておらず、高輝度領域における表現能力が優れているとはいえない。 Further, as shown by line 103 in FIG. 8, the maximum brightness when displaying the SDR image on the image display device is set to a value between the cases of line 101 and line 102, for example, when displaying the HDR image. It is conceivable to adjust the brightness to 1/2 of the maximum brightness. In this case, it often feels relatively easier for the human eye to see than in the above two cases. However, in this case as well, as in the above two cases, the brightness value of the pixel is the upper limit value even in the pixel where it is originally desirable to display the SDR image with a brighter brightness value exceeding the upper limit value of the brightness value. It is displayed in a state restricted to. That is, the SDR image is displayed in a state where the brightness is saturated. Therefore, even in this case, as in the above two cases, the display capability of the image display device capable of displaying the HDR image is not fully utilized, and the expressive capability in the high brightness region is excellent. It cannot be said that there is.

本発明が解決しようとする課題は、低ダイナミックレンジの画像を、高輝度領域における表現能力に優れた高ダイナミックレンジの画像に変換可能な、画像処理回路、画像変換装置、画像表示装置及び画像処理方法を提供することである。 The problem to be solved by the present invention is an image processing circuit, an image conversion device, an image display device, and an image processing capable of converting an image having a low dynamic range into an image having a high dynamic range having excellent expressive ability in a high brightness region. To provide a method.

本発明に係る画像処理回路は、第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理回路であって、前記第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出する輝度飽和領域検出器と、検出された前記輝度飽和領域に対して、前記輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、前記輝度飽和領域内の各画素の前記上限値を超えたピーク輝度値の波形を導出して、前記ピーク輝度値を算出するピーク輝度値生成器と、前記第１のダイナミックレンジの画像と、前記輝度飽和領域の各画素の前記ピーク輝度値から、前記第２のダイナミックレンジの画像を生成する画像合成器を備える。 The image processing circuit according to the present invention is an image processing circuit that converts an image having a first dynamic range into an image having a second dynamic range having a wider range than the first dynamic range, and is the first dynamic. A luminance saturation region detector that detects a luminance saturation region that is saturated when the luminance value is equal to or greater than the upper limit of the first dynamic range of the image in the range, and the luminance saturation region with respect to the detected luminance saturation region. Based on the waveform of the brightness value obtained for the pixels located in the vicinity of, the waveform of the peak brightness value exceeding the upper limit value of each pixel in the brightness saturation region is derived, and the peak brightness value is calculated. A luminance value generator, an image synthesizer that generates an image of the second dynamic range from the image of the first dynamic range and the peak luminance value of each pixel in the luminance saturation region are provided.

また、本発明に係る画像表示方法は、第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理方法であって、前記第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出し、検出された前記輝度飽和領域に対して、前記輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、前記輝度飽和領域内の各画素の前記上限値を超えたピーク輝度値の波形を導出して、前記ピーク輝度値を算出し、前記第１のダイナミックレンジの画像と、前記輝度飽和領域の各画素の前記ピーク輝度値から、前記第２のダイナミックレンジの画像を生成する。 Further, the image display method according to the present invention is an image processing method for converting an image having a first dynamic range into an image having a second dynamic range having a wider range than the first dynamic range. The luminance saturation region of the dynamic range image is detected when the luminance value is equal to or greater than the upper limit of the first dynamic range and is located near the luminance saturation region with respect to the detected luminance saturation region. Based on the waveform of the brightness value obtained for the pixel to be used, the waveform of the peak brightness value exceeding the upper limit value of each pixel in the brightness saturation region is derived, the peak brightness value is calculated, and the first An image of the second dynamic range is generated from the image of the dynamic range and the peak brightness value of each pixel in the luminance saturation region.

本発明によれば、低ダイナミックレンジの画像を、高輝度領域における表現能力に優れた高ダイナミックレンジの画像に変換可能な、画像処理回路、画像変換装置、画像表示装置及び画像処理方法を提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, an image processing circuit, an image conversion device, an image display device, and an image processing method capable of converting an image having a low dynamic range into an image having a high dynamic range having excellent expressive ability in a high brightness region are provided. be able to.

本発明の第１実施形態における画像処理回路の信号処理ブロック図である。It is a signal processing block diagram of the image processing circuit in 1st Embodiment of this invention. 前記第１実施形態における画像表示回路の、ピーク輝度値生成器の信号処理ブロック図である。It is a signal processing block diagram of the peak luminance value generator of the image display circuit in the 1st Embodiment. 前記第１実施形態における画像表示回路の、ピーク輝度値生成器の動作説明図である。It is operation explanatory drawing of the peak luminance value generator of the image display circuit in the 1st Embodiment. 本発明の第２実施形態における画像表示装置の信号処理ブロック図である。It is a signal processing block diagram of the image display device in the 2nd Embodiment of this invention. 本発明の第３実施形態における画像変換装置の信号処理ブロック図である。It is a signal processing block diagram of the image conversion apparatus in 3rd Embodiment of this invention. 前記第１実施形態における実験結果の説明図である。It is explanatory drawing of the experimental result in the said 1st Embodiment. 前記第１実施形態における実験結果の説明図である。It is explanatory drawing of the experimental result in the said 1st Embodiment. 従来の画像処理方法の説明図である。It is explanatory drawing of the conventional image processing method.

以下、本発明の実施形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

［第１実施形態］
本第１実施形態における画像処理回路は、第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理回路であって、第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出する輝度飽和領域検出器と、検出された輝度飽和領域に対して、輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、輝度飽和領域内の各画素の上限値を超えたピーク輝度値の波形を導出して、ピーク輝度値を算出するピーク輝度値生成器と、第１のダイナミックレンジの画像と、輝度飽和領域の各画素のピーク輝度値から、第２のダイナミックレンジの画像を生成する画像合成器を備える。 [First Embodiment]
The image processing circuit according to the first embodiment is an image processing circuit that converts an image having a first dynamic range into an image having a second dynamic range having a wider range than the first dynamic range. A luminance saturation region detector that detects a luminance saturation region in which the brightness value of the dynamic range image is equal to or greater than the upper limit of the first dynamic range and is saturated, and a luminance saturation region with respect to the detected luminance saturation region. A peak brightness value generator that calculates a peak brightness value by deriving a peak brightness value waveform that exceeds the upper limit of each pixel in the brightness saturation region based on the brightness value waveform obtained for pixels located in the vicinity. An image synthesizer that generates an image of the second dynamic range from the image of the first dynamic range and the peak brightness value of each pixel in the luminance saturation region is provided.

本第１実施形態においては、第１のダイナミックレンジはＳＤＲ（スタンダードダイナミックレンジ）であり、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジはＨＤＲ（ハイダイナミックレンジ）である。また、ダイナミックレンジの上限値とは、当該ダイナミックレンジの画像データがとり得る輝度値の最大値であり、例えば８ビット、２５６階調の画像データにおいては、２５５が上限値となる。 In the first embodiment, the first dynamic range is SDR (standard dynamic range), and the second dynamic range, which is wider than the first dynamic range, is HDR (high dynamic range). Further, the upper limit value of the dynamic range is the maximum value of the brightness value that can be taken by the image data of the dynamic range. For example, in the image data of 8 bits and 256 gradations, 255 is the upper limit value.

本第１実施形態における画像処理回路は、例えば２５６階調画像のＳＤＲ画像が入力された場合に、輝度値の上限値を超える、より明るい輝度値によって表示するのが本来望ましい画素においても、当該画素の輝度値が上限値に制限されて輝度飽和した状態で表示されているという状況を改善するために、輝度飽和した領域以外の画素の輝度値を基に、輝度飽和した領域の画素の輝度値を、本来望ましい輝度値に近い、より明るい輝度値を推測することにより補完しようとするものである。この、輝度飽和した領域の各画素に対して決定される、輝度値の上限値よりも明るい輝度値がピーク輝度値である。 The image processing circuit according to the first embodiment corresponds to, for example, when an SDR image of a 256-gradation image is input, even in a pixel that is originally desirable to be displayed with a brighter luminance value that exceeds the upper limit of the luminance value. In order to improve the situation where the brightness value of the pixel is limited to the upper limit value and is displayed in the state where the brightness is saturated, the brightness of the pixel in the region where the brightness is saturated is based on the brightness value of the pixel other than the region where the brightness is saturated. The value is to be complemented by estimating a brighter luminance value that is close to the originally desired luminance value. The brightness value brighter than the upper limit of the brightness value determined for each pixel in the brightness-saturated region is the peak brightness value.

なお、本第１実施形態の画像処理回路１における各処理は、各サブピクセルＲ、Ｇ、Ｂごとに行われる。説明を簡単にするため、以降、各処理の内容を、特にサブピクセルごとに説明しない。すなわち、例えば画素の輝度値と記載した場合においては、画素の、サブピクセルごとの各々の輝度値を意味し、関連する処理は、サブピクセルごとに行われるものである。 Each process in the image processing circuit 1 of the first embodiment is performed for each subpixel R, G, and B. For the sake of simplicity, the contents of each process will not be described in particular for each subpixel. That is, for example, when it is described as the brightness value of a pixel, it means each brightness value of each sub-pixel of the pixel, and the related processing is performed for each sub-pixel.

図１は、第１実施形態における画像処理回路の信号処理ブロック図である。画像処理回路１は、輝度飽和領域検出器４、ピーク輝度値生成器５、遅延回路６、及び、画像合成器７を備えており、拡張ＳＤＲ画像（第１のダイナミックレンジの画像）２からピーク輝度が生成されたＳＤＲ画像、すなわちＨＤＲ画像（第２のダイナミックレンジの画像）３を生成する。 FIG. 1 is a signal processing block diagram of the image processing circuit according to the first embodiment. The image processing circuit 1 includes a luminance saturation region detector 4, a peak luminance value generator 5, a delay circuit 6, and an image synthesizer 7, and peaks from the extended SDR image (image of the first dynamic range) 2. An SDR image in which brightness is generated, that is, an HDR image (an image having a second dynamic range) 3 is generated.

第１実施形態において入力される拡張ＳＤＲ画像２は、ガンマカーブがかかっているＳＤＲ画像が逆補正され、光に対してリニアな状態にされたうえで、各画素の輝度値に、例えば５等の一定の値を乗算することにより、画像処理回路１から出力されるＨＤＲ画像３のダイナミックレンジを超えない範囲で、ダイナミックレンジが拡張されている。画像処理回路１の入力としてダイナミックレンジが一定の値だけ乗算されて拡張された拡張ＳＤＲ画像２を使用する理由は、次のとおりである。 In the extended SDR image 2 input in the first embodiment, the SDR image to which the gamma curve is applied is reverse-corrected to be in a linear state with respect to light, and then the brightness value of each pixel is set to, for example, 5, etc. By multiplying by a constant value of, the dynamic range is extended within a range that does not exceed the dynamic range of the HDR image 3 output from the image processing circuit 1. The reason for using the extended SDR image 2 in which the dynamic range is multiplied by a certain value and expanded as the input of the image processing circuit 1 is as follows.

本第１実施形態における画像処理回路１においては、上記のように、輝度飽和した領域以外の画素の輝度値を基に、輝度飽和した領域の輝度値を、本来望ましい輝度値に近いピーク輝度値を推測することにより補完しようとするものである。ただし、本第１実施形態においては、例えば輝度値の上限値が２５５のＳＤＲ画像に対して、例えばその１０倍に近い値となるような、輝度値の上限値から大きく乖離したピーク輝度値を出力しない場合が多い。すなわち、ＨＤＲ画像の輝度値の上限値が、ＳＤＲ画像の輝度値の上限値の例えば１０倍である場合においては、補完されるピーク輝度値が、入力となるＳＤＲ画像の、例えば２倍程度になるように本第１実施形態により導出されても、残り８倍分に相当するＨＤＲ画像のダイナミックレンジが依然として使用されない可能性がある。 In the image processing circuit 1 of the first embodiment, as described above, the brightness value of the brightness-saturated region is set to the peak brightness value close to the originally desirable brightness value based on the brightness value of the pixels other than the brightness-saturated region. It tries to complement by guessing. However, in the first embodiment, for an SDR image in which the upper limit value of the brightness value is 255, for example, a peak brightness value greatly deviated from the upper limit value of the brightness value, which is close to 10 times the value, is set. In many cases, it does not output. That is, when the upper limit of the brightness value of the HDR image is, for example, 10 times the upper limit of the brightness value of the SDR image, the complemented peak brightness value is, for example, about twice that of the input SDR image. Even if it is derived according to the first embodiment as described above, there is a possibility that the dynamic range of the HDR image corresponding to the remaining 8 times is still not used.

そこで、本第１実施形態においては、上記のように、逆補正が適用されたＳＤＲ画像の各画素の輝度値に、例えば５等の一定の値が予め乗算されて拡張された、拡張ＳＤＲ画像２を入力とし、拡張ＳＤＲ画像２に対して輝度飽和した領域のピーク輝度値を補完して、ＨＤＲ画像３を生成している。これにより、例えばピーク輝度値が拡張ＳＤＲ画像２の２倍程度となるように算出された場合であっても、出力されるＨＤＲ画像３の輝度値の最大値をＨＤＲ画像のダイナミックレンジの上限値に近くすることが可能であるため、ＨＤＲ画像のダイナミックレンジを十分に活用したＨＤＲ画像３を出力することができる。 Therefore, in the first embodiment, as described above, the extended SDR image is expanded by multiplying the brightness value of each pixel of the SDR image to which the inverse correction is applied in advance by a certain value such as 5. With 2 as an input, the HDR image 3 is generated by complementing the peak brightness value of the region where the brightness is saturated with respect to the extended SDR image 2. As a result, for example, even when the peak brightness value is calculated to be about twice that of the extended SDR image 2, the maximum value of the brightness value of the output HDR image 3 is the upper limit value of the dynamic range of the HDR image. Since it is possible to make it close to, it is possible to output the HDR image 3 that fully utilizes the dynamic range of the HDR image.

あるいはまた、ガンマカーブを逆補正したＳＤＲ画像を画像処理回路１に直接入力し、出力されたＨＤＲ画像の各画素の輝度値に対して、上記のような一定の値を乗算してもよい。すなわち、ガンマカーブを逆補正したＳＤＲ画像に対して、以下に詳説する輝度飽和領域検出、ピーク輝度値生成および画像合成を行い、ピーク輝度値が入力されたＳＤＲ画像の例えば２倍程度である暫定のＨＤＲ画像を生成し、これに対して、例えば５等の一定の値を乗算したＨＤＲ画像３を生成して出力としてもよい。この場合における輝度飽和領域検出、ピーク輝度値生成及び画像合成の各処理は、拡張ＳＤＲ画像２を基にＨＤＲ画像３を生成する場合と、扱う数値の大きさは全体的に異なるが、本質的な処理内容は変わらない。そのため以降では、拡張ＳＤＲ画像２を基にＨＤＲ画像３を生成する場合を例にして説明を行う。 Alternatively, the SDR image in which the gamma curve is inversely corrected may be directly input to the image processing circuit 1, and the brightness value of each pixel of the output HDR image may be multiplied by a constant value as described above. That is, the SDR image in which the gamma curve is inversely corrected is subjected to the luminance saturation region detection, the peak luminance value generation, and the image composition described in detail below, and the peak luminance value is provisionally, for example, about twice that of the input SDR image. HDR image 3 may be generated and output by multiplying the HDR image by a certain value such as 5, for example. In this case, each process of luminance saturation region detection, peak luminance value generation, and image composition is essentially different from the case of generating the HDR image 3 based on the extended SDR image 2, although the magnitude of the numerical value to be handled is totally different. The processing content does not change. Therefore, in the following description, a case where the HDR image 3 is generated based on the extended SDR image 2 will be described as an example.

本第１実施形態は、上記のような拡張ＳＤＲ画像２を画像処理回路１の入力とするものであるが、通常のＳＤＲ画像を入力として受信し、拡張ＳＤＲ画像２を生成する拡張処理部を、後述する輝度飽和領域検出器４の前段として本画像処理回路１内に設けても構わないし、輝度飽和領域検出器４内において、輝度飽和領域検出器４の前処理として本拡張処理を実施しても構わないのは、言うまでもない。 In the first embodiment, the extended SDR image 2 as described above is input to the image processing circuit 1, but an extended processing unit that receives a normal SDR image as an input and generates the extended SDR image 2 is provided. The image processing circuit 1 may be provided as a pre-stage of the luminance saturation region detector 4, which will be described later, or the extended processing is performed in the luminance saturation region detector 4 as a pre-processing of the luminance saturation region detector 4. Needless to say, it doesn't matter.

輝度飽和領域検出器４は、画像処理回路１へ入力された拡張ＳＤＲ画像２を受信し、輝度値が拡張ＳＤＲ画像２の輝度値の上限値以上となって飽和した輝度飽和領域を検出する。より詳細には、輝度飽和領域検出器４は、拡張ＳＤＲ画像２の各画素の輝度値と、拡張ＳＤＲ画像２のダイナミックレンジの上限値、すなわち、ＳＤＲ画像のダイナミックレンジの上限値に上記一定の値を乗算した値とを比較することにより、輝度値が上限値に一致している画素を探す。このような画素が一定以上、例えば１０×１０以上の面積を占めるような領域となっている場合に、当該領域を輝度飽和領域として検出する。 The luminance saturation region detector 4 receives the extended SDR image 2 input to the image processing circuit 1, and detects a saturated luminance saturated region in which the luminance value is equal to or greater than the upper limit of the luminance value of the extended luminance image 2. More specifically, the luminance saturation region detector 4 constants the luminance value of each pixel of the extended SDR image 2 and the upper limit of the dynamic range of the extended SDR image 2, that is, the upper limit of the dynamic range of the SDR image. By comparing with the value multiplied by the value, the pixel whose brightness value matches the upper limit value is searched for. When such a pixel is a region that occupies an area of a certain amount or more, for example, 10 × 10 or more, the region is detected as a luminance saturation region.

輝度飽和領域検出器４は、拡張ＳＤＲ画像２をそのまま遅延回路６に送信すると同時に、拡張ＳＤＲ画像２と、検出した輝度飽和領域に関する情報を、ピーク輝度値生成器５へ送信する。 The luminance saturation region detector 4 transmits the extended SDR image 2 to the delay circuit 6 as it is, and at the same time, transmits the extended SDR image 2 and information on the detected luminance saturation region to the peak luminance value generator 5.

ピーク輝度値生成器５は、輝度飽和領域検出器４によって検出された輝度飽和領域に対して、輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、輝度飽和領域内の各画素の上限値を超えたピーク輝度値の波形を導出して、ピーク輝度値を算出する。図２に、ピーク輝度値生成器５の信号処理ブロック図を示す。ピーク輝度値生成器５は、水平波形抽出器１０、垂直波形抽出器１３、４つの波形生成器１１ａ、１１ｂ、１４ａ、１４ｂ、２つの一次元波形合成器１２、１５、二次元波形合成器１６、及び、二次元ＬＰＦ（Ｌｏｗ−ＰａｓｓＦｉｌｔｅｒ）１７を備えている。 The peak luminance value generator 5 is within the luminance saturation region based on the waveform of the luminance value obtained for the pixels located in the vicinity of the luminance saturation region with respect to the luminance saturation region detected by the luminance saturation region detector 4. The peak luminance value is calculated by deriving the waveform of the peak luminance value exceeding the upper limit value of each pixel. FIG. 2 shows a signal processing block diagram of the peak luminance value generator 5. The peak brightness value generator 5 includes a horizontal waveform extractor 10, a vertical waveform extractor 13, four waveform generators 11a, 11b, 14a, 14b, two one-dimensional waveform synthesizers 12, 15, and a two-dimensional waveform synthesizer 16. , And a two-dimensional LPF (Low-Pass Filter) 17 is provided.

水平波形抽出器１０は、輝度飽和領域検出器４から拡張ＳＤＲ画像２と輝度飽和領域に関する情報を受信する。水平波形抽出器１０は、全ての輝度飽和領域の各々について、拡張ＳＤＲ画像２内の、画素により構成される行のうち、輝度飽和領域が含まれる全ての行において、当該行における水平方向の波形を生成する。ここで、水平方向の波形とは、横軸が水平方向の画素位置を、縦軸が横軸上の各画素の輝度値を表す二次元のグラフにおいて、ある特定行において水平方向に連続して位置する画素に対し、例えば図３（ａ）に示されるように、当該画素の輝度値をプロットした点をつなげたものである。 The horizontal waveform extractor 10 receives the extended SDR image 2 and the information regarding the luminance saturation region from the luminance saturation region detector 4. The horizontal waveform extractor 10 has, for each of all the luminance saturation regions, in the extended SDR image 2, in all the rows composed of pixels, in all the rows including the luminance saturation region, the horizontal waveform in the row. To generate. Here, the horizontal waveform is a two-dimensional graph in which the horizontal axis represents the pixel position in the horizontal direction and the vertical axis represents the brightness value of each pixel on the horizontal axis, and the horizontal axis is continuous in the horizontal direction in a specific row. As shown in FIG. 3A, for example, points where the brightness values of the pixels are plotted are connected to the located pixels.

図３（ａ）においては、拡張ＳＤＲ画像２がとり得る輝度値の上限が破線３０として示されており、破線３０に重なる飽和線３３が、輝度飽和領域Ｓに相当している。この輝度飽和領域Ｓを挟むように、２つの領域Ｒ_１、Ｒ_２が位置している。輝度飽和領域Ｓと左側の領域である領域Ｒ_１との境界である画素の位置は、ｘ_ｌｂとして、及び、右端の領域である領域Ｒ_２との境界である画素の位置は、ｘ_ｒｂとして、それぞれ示されている。領域Ｒ_１における画素の輝度値の波形は、左側波形３１として示されており、領域Ｒ_２における画素の輝度値の波形は、右側波形３２として示されている。これらの波形３１、３２は、それぞれ境界位置ｘ_ｌｂ、ｘ_ｒｂから離れるにつれて下降している。すなわち、波形３１、３２に相当する画素においては、輝度飽和領域Ｓから離れるにつれて輝度値が低くなっている。 In FIG. 3A, the upper limit of the brightness value that the extended SDR image 2 can take is shown as a broken line 30, and the saturation line 33 overlapping the broken line 30 corresponds to the brightness saturation region S. Two regions R ₁ and R ₂ are located so as to sandwich the luminance saturation region S. The position of the pixel that is the boundary between the luminance saturation region S and the region R ₁ that is the left side region is x _lb , and the position of the pixel that is the boundary with the region R ₂ that is the rightmost region is x _rb. , Each is shown. The waveform of the luminance values of the pixels in the region R _1, is shown as the left waveform 31, the waveform of the luminance values of the pixels in the region R _2, are shown as the right waveform 32. These waveforms 31 and 32 descend as they move away from the boundary positions x _lb and x _rb , respectively. That is, in the pixels corresponding to the waveforms 31 and 32, the luminance value becomes lower as the distance from the luminance saturation region S increases.

水平波形抽出器１０は、各輝度飽和領域Ｓに対し、当該輝度飽和領域Ｓが含まれる全ての行において、図３（ａ）に示されるような、輝度飽和領域Ｓとその近傍の水平方向の波形を抽出し、図２に示される波形生成器１１ａ、波形生成器１１ｂに送信する。 The horizontal waveform extractor 10 has, for each luminance saturation region S, in all the rows including the luminance saturation region S, in the horizontal direction of the luminance saturation region S and its vicinity as shown in FIG. 3A. The waveform is extracted and transmitted to the waveform generator 11a and the waveform generator 11b shown in FIG.

波形生成器１１ａは、水平波形抽出器１０から水平方向の波形を受信し、領域Ｒ_１の波形、すなわち左側波形３１を基に、輝度飽和領域Ｓに相当する部分における、左側波形３１を基にした輝度値の波形を導出する。図３（ｂ）に、この、左側波形３１を基にした輝度値の波形（輝度飽和領域における波形）４１の一例を示す。図３（ｂ）において、左側波形３１を基にした輝度値の波形４１は、位置ｘ_ｌｂから右方向に単調増加する波形４１ａと、波形４１ａから更に右方向に破線で示されている波形４１ｂより構成されている。 Waveform generator 11a receives the horizontal waveform from a horizontal waveform extractor 10, waveform region R _1, namely on the basis of the left waveform 31, a portion corresponding to a luminance saturation region S, based on the left waveform 31 The waveform of the obtained brightness value is derived. FIG. 3B shows an example of the brightness value waveform (waveform in the brightness saturation region) 41 based on the left side waveform 31. In FIG. 3B, the waveform 41 of the brightness value based on the left waveform 31 is a waveform 41a that monotonically increases from the position x _lb to the right and a waveform 41b shown by a broken line further to the right from the waveform 41a. It is composed of

左側波形３１の傾きの変化が、輝度飽和領域Ｓに近づくにつれて緩やかになっている場合には、ピーク輝度値の波形は、輝度飽和領域Ｓ内において、輝度飽和領域Ｓの境界近傍のある位置で輝度値の上昇が頭打ちとなる傾向にあると考えられる。また、左側波形３１の傾きの変化が、輝度飽和領域Ｓに近づくにつれて急峻になっている場合には、ピーク輝度値の波形は、輝度飽和領域Ｓ内において、輝度飽和領域Ｓの境界近傍においても輝度値の上昇が頭打ちとならずに上昇を続け、輝度飽和領域Ｓの境界から更に離れた位置において、輝度値の上昇が緩やかになり、やがて頭打ちとなるような傾向にあると考えられる。 When the change in the inclination of the left waveform 31 becomes gradual as it approaches the luminance saturation region S, the waveform of the peak luminance value is located in the luminance saturation region S at a position near the boundary of the luminance saturation region S. It is considered that the increase in the brightness value tends to reach a plateau. Further, when the change in the inclination of the left side waveform 31 becomes steeper as it approaches the luminance saturation region S, the waveform of the peak luminance value is within the luminance saturation region S and near the boundary of the luminance saturation region S. It is considered that the increase in the luminance value does not reach a plateau and continues to increase, and at a position further away from the boundary of the luminance saturation region S, the increase in the luminance value becomes gradual and eventually reaches a plateau.

本第１実施形態においては、左側波形３１を基にした輝度値の波形４１を、左側波形３１の二次微分値Ｄ２を基に導出している。より具体的には、次の数式１のような関数Ｌ_ｈｌ（ｘ）によって、左側波形３１を基にした輝度値の波形４１を導出する。関数Ｌ_ｈｌ（ｘ）は、左側波形３１の形状と、左側波形３１を基にした輝度値の波形４１の形状との間の、上記したような関連性を考慮し、モデル化した関数である。 In the first embodiment, the luminance value waveform 41 based on the left side waveform 31 is derived based on the second derivative value D2 of the left side waveform 31. More specifically, the waveform 41 of the luminance value based on the left waveform 31 is derived by the function L _hl (x) as in the following equation 1. The function L _hl (x) is a function modeled in consideration of the above-mentioned relationship between the shape of the left side waveform 31 and the shape of the brightness value waveform 41 based on the left side waveform 31. ..

（数１）
Ｌ_ｈｌ（ｘ）＝Ａ×｛ｃｏｓ（ｗ×（ｘ−ｘ_ｌｂ）＋θ_ｌｂ）−ｃｏｓ（θ_ｌｂ）｝
＋Ｌ（ｘ_ｌｂ−１） [ｘ_ｌｂ≦ｘ≦ｘ_ｌｓ] …（１）
＝Ａ×｛１−ｃｏｓ（θ_ｌｂ）｝＋Ｌ（ｘ_ｌｂ−１） [ｘ_ｌｓ≦ｘ≦ｘ_ｒｂ]
ｘ_ｌｓ＝（２π―θ_ｌｂ）／ｗ＋ｘ_ｌｂ
θ_ｌｂ＝（３／２）×π―（１／２）×ｔａｎ^−１（ｋ_０×Ｄ２）
Ａ＝ｋ_１×（Ｕ_１―Ｕ_２）／２
ｗ＝ｋ_２×｛Ｌ（ｘ_ｌｂ−１）−Ｌ（ｘ_ｌｂ−２）｝×π (Number 1)
L _hl (x) = A × {cos (w × (x−x _lb ) + θ _lb ) -cos (θ _lb )}
+ L (x _lb -1) [x _lb ≤ x ≤ x _ls ] ... (1)
= A × {1-cos (θ _lb )} + L (x _lb -1) [x _ls ≤ x ≤ x _rb ]
x _ls = (2π-θ _lb ) / w + x _lb
θ _lb = (3/2) x π- (1/2) x tan ^-1 (k ₀ x D2)
A = k ₁ × (U _1- U ₂ ) / 2
w = k ₂ × {L (x _lb -1) -L (x _lb -2)} × π

ここで、Ｌ（ｘ）は、画素ｘと、その拡張ＳＤＲ画像２における輝度値の対応を表す関数、Ｕ_１は、ＨＤＲ画像３の輝度値の上限値、Ｕ_２は、拡張ＳＤＲ画像２の輝度値の上限値、ｋ_０、ｋ_１、ｋ_２は、調整パラメータである。 Here, L (x) is a function representing the correspondence between the pixel x and the luminance value in the extended SDR image 2, U ₁ is the upper limit of the luminance value of the HDR image 3, and U ₂ is the extended SDR image 2. The upper limit values of the luminance values, k ₀ , k ₁ , and k _2, are adjustment parameters.

概念的には、上記数式１は、ｘ_ｌｂ≦ｘ≦ｘ_ｌｓの部分においては、三角関数の波形において、値が−１から１へと推移する部分によってモデル化されている。ｘ_ｌｓは、三角関数の値が１、すなわち最大値となる部分であり、輝度飽和領域Ｓの左側の境界ｘ_ｌｂから輝度飽和領域Ｓ内に向けて離れるにつれて上昇した後に、輝度値が頭打ちとなる位置に相当する。この部分は、図３（ｂ）においてｘ_ｌｂ≦ｘ≦ｘ_ｌｓの部分に示される波形４１ａに相当する。上記数式１は、飽和線３３の左端の境界である位置ｘ_ｌｂの、１つ、及び２つ左に位置する画素の、拡張ＳＤＲ画像２における輝度値Ｌ（ｘ_ｌｂ−１）、Ｌ（ｘ_ｌｂ−２）を基にして、係数ｗを計算し、本係数ｗ、及び、二次微分値Ｄ２を基に、輝度飽和領域における輝度値が頭打ちとなる位置であるｘ_ｌｓと、及び、ｘ_ｌｂからｘ_ｌｓまでの関数Ｌ_ｈｌ（ｘ）の形状を決定している。 Conceptually, the above equation 1 is modeled by the part where the value changes from -1 to 1 in the waveform of the trigonometric function in the part of x _lb ≤ x ≤ x _ls . x _ls is the portion where the value of the trigonometric function becomes 1, that is, the maximum value, and the brightness value reaches a plateau after increasing as the _distance from the boundary x _{lb on} the left side of the brightness saturation region S toward the inside of the brightness saturation region S. Corresponds to the position. This portion corresponds to the waveform 41a shown in the portion of x _lb ≤ x ≤ x _ls in FIG. 3 (b). In the above formula 1, the luminance values L (x _lb -1) and L (x) in the extended SDR image 2 of the pixels located one and two to the left of the position x _lb which is the boundary of the left end of the saturation line 33 are obtained. _{Based on lb} -2), the coefficient w is calculated, and based on this coefficient w and the second derivative value D2, x _ls , which is the position where the luminance value in the luminance saturation region reaches a plateau, and x. The shape of the function L _hl (x) from _lb to x _ls is determined.

また、上記数式１は、ｘ_ｌｓ≦ｘ≦ｘ_ｒｂの部分においては、ｘ_ｌｓにおいて到達した最大値を維持するようにモデル化されている。これは、図３（ｂ）においてｘ_ｌｓ≦ｘ≦ｘ_ｒｂの部分に破線で示される波形４１ｂに相当する。波形生成器１１ａは、このようにして生成された波形４１ａと波形４１ｂをつないで、左側波形３１を基にした輝度値の波形４１を生成する。 Further, the above equation 1 is modeled so as to maintain the maximum value reached in x _ls in the portion of x _ls ≦ x ≦ x _rb . This corresponds to the waveform 41b shown by the broken line in the portion of x _ls ≤ x ≤ x _rb in FIG. 3 (b). The waveform generator 11a connects the waveform 41a and the waveform 41b thus generated to generate a waveform 41 having a brightness value based on the left waveform 31.

波形生成器１１ａは、左側波形３１を基にした輝度値の波形４１、すなわち関数Ｌ_ｈｌ（ｘ）を、一次元波形合成器１２へ送信する。 The waveform generator 11a transmits the waveform 41 of the luminance value based on the left waveform 31, that is, the function L _hl (x) to the one-dimensional waveform synthesizer 12.

波形生成器１１ｂは、水平波形抽出器１０から水平方向の波形を受信し、領域Ｒ_２の波形、すなわち右側波形３２を基に、輝度飽和領域Ｓに相当する部分における、右側波形３２を基にした輝度値の波形を導出する。図３（ｂ）に、右側波形３２を基にした輝度値の波形（輝度飽和領域における波形）４２の一例を示す。図３（ｂ）において、右側波形３２を基にした輝度値の波形４２は、左側波形３１を基にした輝度値の波形４１と同様に、波形４２ａと、波形４２ｂより構成されている。 Waveform generator 11b receives the horizontal waveform from a horizontal waveform extractor 10, the waveform of the region R _2, i.e. based on the right waveform 32, a portion corresponding to a luminance saturation region S, based on the right waveform 32 The waveform of the obtained brightness value is derived. FIG. 3B shows an example of a waveform (waveform in the brightness saturation region) 42 having a brightness value based on the right side waveform 32. In FIG. 3B, the brightness value waveform 42 based on the right side waveform 32 is composed of the waveform 42a and the waveform 42b, similarly to the brightness value waveform 41 based on the left side waveform 31.

右側波形３２を基にした輝度値の波形４２においても、左側波形３１を基にした輝度値の波形４１と同様に、右側波形３２の二次微分値Ｄ２を基にして導出されている。右側波形３２を基にした輝度値の波形４２を導出する関数Ｌ_ｈｒ（ｘ）は、上記の数式１と同様に、数式１と対称的に、設定することが可能である。すなわち、ｘ_ｒｓを輝度飽和領域Ｓの右側の境界ｘ_ｒｂから輝度飽和領域Ｓ内に向けて離れるにつれて上昇した後に、輝度値が頭打ちとなる位置としたときに、ｘ_ｒｂから左方向に位置ｘ_ｒｓに向かうにつれて輝度値が上昇する部分の波形４２ａと、ｘ_ｒｓより左の輝度値が一定となっている部分の波形４２ｂを生成し、これらをつないで、右側波形３２を基にした輝度値の波形４２を生成する。 The brightness value waveform 42 based on the right side waveform 32 is also derived based on the quadratic derivative value D2 of the right side waveform 32, similarly to the brightness value waveform 41 based on the left side waveform 31. The function L _hr (x) for deriving the luminance value waveform 42 based on the right-hand waveform 32 can be set symmetrically with the equation 1 in the same manner as the above equation 1. That is, when x _rs is set to a position where the brightness value reaches a plateau after rising as the distance from the boundary x _rb on the right side of the brightness saturation region S toward the inside of the brightness saturation region S, the position x to the left from x _rb. A waveform 42a in a portion where the brightness value increases toward _rs and a waveform 42b in a portion where the brightness value on the left side of x _rs is constant are generated, and these are connected to obtain a brightness value based on the right waveform 32. Waveform 42 is generated.

波形生成器１１ｂは、生成した右側波形３２を基にした輝度値の波形４２、すなわち関数Ｌ_ｈｒ（ｘ）を、一次元波形合成器１２へ送信する。 The waveform generator 11b transmits the waveform 42 of the luminance value based on the generated right-side waveform 32, that is, the function _Lhr (x) to the one-dimensional waveform synthesizer 12.

一次元波形合成器１２は、波形生成器１１ａと波形生成器１１ｂから、それぞれ、左側波形３１を基にした輝度値の波形４１、すなわち関数Ｌ_ｈｌ（ｘ）と、右側波形３２を基にした輝度値の波形４２、すなわち関数Ｌ_ｈｒ（ｘ）を受信して、これらを合成する。 The one-dimensional waveform synthesizer 12 was based on the waveform 41 of the brightness value based on the left waveform 31, that is, the function L _hl (x) and the right waveform 32, respectively, from the waveform generator 11a and the waveform generator 11b. The waveform 42 of the brightness value, that is, the function _Lhr (x) is received and these are synthesized.

一次元波形合成器１２は、位置ｘ_ｌｓと位置ｘ_ｒｓの位置関係によって、異なる式を用いて波形を合成する。まず、図３（ｂ）に示されるような、位置ｘ_ｌｓが位置ｘ_ｒｓの左側に位置している場合においては、次の数式２によって、図３（ｂ）に太線で示される、波形４１ａ、波形４３、及び波形４２ａからなる、水平方向における波形（第１の方向における波形）である関数Ｌ_ｈ（ｘ）を導出する。 The one-dimensional waveform synthesizer 12 synthesizes waveforms using different equations depending on the positional relationship between the position x _ls and the position x _rs . First, when the position x _ls is located on the left side of the position x _rs as shown in FIG. 3 (b), the waveform 41a shown by the thick line in FIG. 3 (b) by the following equation 2 , Waveform 43, and waveform 42a, and derive a function L _h (x) which is a waveform in the horizontal direction (waveform in the first direction).

（数２）
Ｌ_ｈ（ｘ）＝Ｌ_ｈｌ（ｘ） [ｘ_ｌｂ≦ｘ≦ｘ_ｌｓ] …（２）
＝｛（ｘ_ｒｓ−ｘ）×Ｌ_ｈｌ（ｘ）＋（ｘ−ｘ_ｌｓ）×Ｌ_ｈｒ（ｘ）｝
／（ｘ_ｒｓ−ｘ_ｌｓ） [ｘ_ｌｓ≦ｘ≦ｘ_ｒｓ]
＝Ｌ_ｈｒ（ｘ） [ｘ_ｒｓ≦ｘ≦ｘ_ｒｂ] (Number 2)
L _h (x) = L _hl (x) [x _lb ≤ x ≤ x _ls ] ... (2)
= {(X _rs −x) × L _hl (x) + (x − x _ls ) × L _hr (x)}
/ (X _rs −x _ls ) [x _ls ≤ x ≤ x _rs ]
= L _hr (x) [x _rs ≤ x ≤ x _rb ]

図３（ｂ）においては、上記のｘ_ｌｂ≦ｘ≦ｘ_ｌｓの場合の関数Ｌ_ｈ（ｘ）は波形４１ａに、ｘ_ｌｓ≦ｘ≦ｘ_ｒｓの場合の関数Ｌ_ｈ（ｘ）は波形４３に、及び、上記のｘ_ｒｓ≦ｘ≦ｘ_ｒｂの場合の関数Ｌ_ｈ（ｘ）は波形４２ａに、それぞれ相当する。このように、数式２は、位置ｘ_ｌｓと位置ｘ_ｒｓの間においては、位置ｘ_ｌｓにおける関数Ｌ_ｈｌ（ｘ）の値と、位置ｘ_ｒｓにおける関数Ｌ_ｈｒ（ｘ）の値とを直線で結ぶように、波形すなわち関数Ｌ_ｈ（ｘ）を生成する。 In FIG. 3B, the function L _h (x) in the case of x _lb ≤ x ≤ x _ls is the waveform 41a, and the function L _h (x) in the case of x _ls ≤ x ≤ x _rs is the waveform 43. And, the function L _h (x) in the case of x _rs ≤ x ≤ x _rb described above corresponds to the waveform 42a, respectively. As described above, in Equation 2, between the position x _ls and the position x _rs , the value of the function L _hl (x) at the position x _ls and the value of the function L _hr (x) at the position x _rs are linearly arranged. A waveform or function L _h (x) is generated so as to connect.

また、一次元波形合成器１２は、図３（ｃ）に示されるような、位置ｘ_ｌｓが位置ｘ_ｒｓの右側に位置している場合においては、輝度飽和領域Ｓの左側の境界ｘ_ｌｂから右方向に、及び、輝度飽和領域Ｓの右側の境界ｘ_ｒｂから左方向に、それぞれ関数Ｌ_ｈｌ（ｘ）と関数Ｌ_ｈｒ（ｘ）をみたときに、いずれも輝度値が、三角関数の最大値に達する前に、すなわち、位置ｘ_ｌｓ及び位置ｘ_ｒｓに到達して輝度値が頭打ちとなる前に減少傾向に移るものと判断し、次の数式３によって、図３（ｃ）に太線で示される、波形４１ａの一部と、波形４２ａの一部からなるような、関数Ｌ_ｈ（ｘ）を導出する。 Further, in the one-dimensional waveform synthesizer 12, when the position x _ls is located on the right side of the position x _rs as shown in FIG. 3C, the boundary x _{lb on} the left side of the luminance saturation region S When the function L _hl (x) and the function L _hr (x) are viewed to the right and to the left from the boundary x _rb on the right side of the luminance saturation region S, the luminance value is the maximum of the trigonometric function. It is judged that the luminance value starts to decrease before reaching the value, that is, before reaching the position x _ls and the position x _rs and reaching the _plateau , and according to the following formula 3, the thick line is shown in FIG. 3 (c). A function L _h (x) is derived, which comprises a part of the waveform 41a and a part of the waveform 42a shown.

（数３）
Ｌ_ｈ（ｘ）＝ｍｉｎ（Ｌ_ｈｌ（ｘ）、Ｌ_ｈｒ（ｘ）） …（３） (Number 3)
L _h (x) = min (L _hl (x), L _hr (x))… (3)

このように、位置ｘ_ｌｓが位置ｘ_ｒｓの右側に位置している場合においては、これらの関数の最小値をとることで、すなわち、輝度飽和領域Ｓの左側の境界ｘ_ｌｂと右側の境界ｘ_ｒｂの各々から波形４１ａと波形４２ａの交点までの波形をつなぎ合わせることで、関数Ｌ_ｈ（ｘ）を導出する。 In this way, when the position x _ls is located on the right side of the position x _rs , by taking the minimum value of these functions, that is, the boundary x _{lb on} the left side and the boundary x _lb on the right side of the luminance saturation region S. _The function L _h (x) is derived by connecting the waveforms from each of the _rbs to the intersection of the waveform 41a and the waveform 42a.

このように、波形生成器１１ａ、波形生成器１１ｂ、及び、一次元波形合成器１２は、２つの領域Ｒ_１、Ｒ_２の各々において、当該領域Ｒ_１、Ｒ_２における画素の輝度値Ｌ（ｘ）の波形の二次微分値Ｄ２を基に、個別に輝度飽和領域Ｓにおける波形４１、４２を導出し、これらを合成することにより、水平方向における波形すなわち関数Ｌ_ｈ（ｘ）を導出する。 Thus, the waveform generator 11a, the waveform generator 11b, and a one-dimensional waveform synthesizer 12, in each of the two regions _R 1, _{R 2,} the region _R 1, the pixel in _{R 2} luminance value L ( Based on the quadratic differential value D2 of the waveform of x), the waveforms 41 and 42 in the luminance saturation region S are individually derived, and by synthesizing these, the waveform in the horizontal direction, that is, the function L _h (x) is derived. ..

一次元波形合成器１２は、導出した水平方向における波形すなわち関数Ｌ_ｈ（ｘ）を、図２に示される二次元波形合成器１６へ送信する。 The one-dimensional waveform synthesizer 12 transmits the derived horizontal waveform, that is, the function L _h (x), to the two-dimensional waveform synthesizer 16 shown in FIG.

ここで、例外的に、境界ｘ_ｌｂ、ｘ_ｒｂが、画像そのものの外周である場合が考えられる。例えば、ある画像の左端の画素の輝度値が飽和している場合においては、この輝度飽和領域Ｓに相当する水平波形においては、境界ｘ_ｌｂの座標値が０となるため、領域Ｒ_１が存在しない。また、ある画像の右端の画素の輝度値が飽和している場合においては、この輝度飽和領域Ｓに相当する水平波形においては、境界ｘ_ｒｂの座標値が０となるため、領域Ｒ_２が存在しない。このような場合には、関数Ｌ_ｈｌ（ｘ）または関数Ｌ_ｈｒ（ｘ）の導出に必要な、領域Ｒ_１または領域Ｒ_２内の、輝度飽和領域Ｓ近傍にある画素の輝度値が取得できないため、関数Ｌ_ｈｌ（ｘ）または関数Ｌ_ｈｒ（ｘ）の導出が不可能である。 Here, as an exception, it is conceivable that the boundaries x _lb and x _rb are the outer circumferences of the image itself. For example, when the luminance value of the leftmost pixel of an image is saturated in the horizontal waveform corresponding to the brightness saturation area S, since the coordinates of the boundary x _lb is 0, there is a region R ₁ do not do. Further, when the brightness value of the rightmost pixel of a certain image is saturated, the coordinate value of the boundary x _rb becomes 0 in the horizontal waveform corresponding to the brightness saturation region S, so that the region R ₂ exists. do not do. In such a case, necessary for derivation of the function L _{hl (x)} or a function L _{hr (x),} in the region R ₁ or region R _2, can not obtain the luminance value of the pixel is in the neighborhood luminance saturation region S _Therefore, it is impossible to derive the function L _hl (x) or the function L _hr (x).

このような場合において、関数Ｌ_ｈｌ（ｘ）または関数Ｌ_ｈｒ（ｘ）のいずれか一方が導出できていれば、導出できた方の関数をそのまま、関数Ｌ_ｈ（ｘ）として、二次元波形合成器１６へ出力する。また、例えば画像内のある行において、左端から右端まで、全画素の輝度が飽和している場合等には、関数Ｌ_ｈｌ（ｘ）と関数Ｌ_ｈｒ（ｘ）のいずれの関数も導出できない。このような場合には、関数Ｌ_ｈ（ｘ）を導出できなかった旨を、二次元波形合成器１６へ送信する。 In such a case, if either the function L _hl (x) or the function L _hr (x) can be derived, the derived function is used as it is as the function L _h (x) and has a two-dimensional waveform. Output to the synthesizer 16. Further, for example, in a certain line in an image, when the brightness of all pixels is saturated from the left end to the right end, neither the function L _hl (x) nor the function L _hr (x) can be derived. In such a case, the fact that the function L _h (x) could not be derived is transmitted to the two-dimensional waveform synthesizer 16.

図２に示されるピーク輝度値生成器５は、水平波形抽出器１０、波形生成器１１ａ、１１ｂ、一次元波形合成器１２と同様に、次のようにして、垂直波形抽出器１３、波形生成器１４ａ、１４ｂ、一次元波形合成器１５を用いて、垂直方向（第２の方向）に関しても同様に、垂直方向における波形すなわち関数Ｌ_ｖ（ｘ）を導出する。 Similar to the horizontal waveform extractor 10, the waveform generators 11a and 11b, and the one-dimensional waveform synthesizer 12, the peak brightness value generator 5 shown in FIG. 2 includes the vertical waveform extractor 13 and the waveform generator as follows. Similarly, in the vertical direction (second direction), the waveform in the vertical direction, that is, the function _Lv (x) is derived by using the devices 14a and 14b and the one-dimensional waveform synthesizer 15.

垂直波形抽出器１３は、水平波形抽出器１０と同様に、輝度飽和領域検出器４から拡張ＳＤＲ画像２と輝度飽和領域に関する情報を受信する。垂直波形抽出器１３は、複数の輝度飽和領域Ｓの各々に対し、当該輝度飽和領域Ｓが含まれる全ての列において、図３（ａ）に示される波形と同様な、輝度飽和領域Ｓとその近傍の垂直方向の波形を抽出し、波形生成器１４ａ、波形生成器１４ｂに送信する。 Similar to the horizontal waveform extractor 10, the vertical waveform extractor 13 receives the extended SDR image 2 and the information regarding the luminance saturation region from the luminance saturation region detector 4. The vertical waveform extractor 13 has, for each of the plurality of luminance saturation regions S, the luminance saturation region S and the luminance saturation region S thereof, which is similar to the waveform shown in FIG. 3A, in all the columns including the luminance saturation region S. The waveform in the vertical direction in the vicinity is extracted and transmitted to the waveform generator 14a and the waveform generator 14b.

波形生成器１４ａは、波形生成器１１ａと同様に、垂直波形抽出器１３から垂直方向の波形を受信し、輝度飽和領域Ｓの上側領域の波形、すなわち上側波形を基に、輝度飽和領域における、上側波形を基にした輝度値の波形（輝度飽和領域における波形）を導出し、その関数Ｌ_ｖｔ（ｘ）を、一次元波形合成器１５へ送信する。 Similar to the waveform generator 11a, the waveform generator 14a receives the waveform in the vertical direction from the vertical waveform extractor 13, and based on the waveform in the upper region of the brightness saturation region S, that is, the upper waveform, in the brightness saturation region, A waveform of the brightness value (waveform in the brightness saturation region) based on the upper waveform is derived, and the function L _vt (x) is transmitted to the one-dimensional waveform synthesizer 15.

波形生成器１４ｂは、波形生成器１１ｂと同様に、垂直波形抽出器１３から垂直方向の波形を受信し、輝度飽和領域Ｓの下側領域の波形、すなわち下側波形を基に、輝度飽和領域における、下側波形を基にした輝度値の波形（輝度飽和領域における波形）を導出し、その関数Ｌ_ｖｂ（ｘ）を、一次元波形合成器１５へ送信する。 Similar to the waveform generator 11b, the waveform generator 14b receives the waveform in the vertical direction from the vertical waveform extractor 13, and based on the waveform in the lower region of the brightness saturation region S, that is, the lower waveform, the brightness saturation region. The waveform of the brightness value (waveform in the brightness saturation region) based on the lower waveform is derived, and the function L _vb (x) is transmitted to the one-dimensional waveform synthesizer 15.

一次元波形合成器１５は、波形生成器１４ａと波形生成器１４ｂから、それぞれ、上側波形を基にした輝度値の波形、すなわち関数Ｌ_ｖｔ（ｘ）と、下側波形を基にした輝度値の波形、すなわち関数Ｌ_ｖｂ（ｘ）を受信して、これらを合成する。一次元波形合成器１５は、図３（ｂ）、図３（ｃ）を用いて説明した一次元波形合成器１２と同様に、垂直方向における波形すなわち関数Ｌ_ｖ（ｘ）を導出し、二次元波形合成器１６へ送信する。 The one-dimensional waveform synthesizer 15 is a waveform of a brightness value based on the upper waveform, that is, a function L _vt (x) and a brightness value based on the lower waveform, respectively, from the waveform generator 14a and the waveform generator 14b. The waveform of, that is, the function L _vb (x) is received, and these are synthesized. The one-dimensional waveform synthesizer 15 derives a waveform in the vertical direction, that is, a function _Lv (x), similarly to the one-dimensional waveform synthesizer 12 described with reference to FIGS. 3 (b) and 3 (c). It is transmitted to the dimensional waveform synthesizer 16.

二次元波形合成器１６は、一次元波形合成器１２、一次元波形合成器１５の各々から、各輝度飽和領域について、当該輝度飽和領域が含まれる全ての行における、水平方向における波形すなわち関数Ｌ_ｈ（ｘ）と、当該輝度飽和領域が含まれる全ての列における、垂直方向における波形すなわち関数Ｌ_ｖ（ｘ）を受信し、次のように、これらを合成する。 The two-dimensional waveform synthesizer 16 is a waveform in the horizontal direction, that is, a function L in all the rows including the brightness saturation region for each brightness saturation region from each of the one-dimensional waveform synthesizer 12 and the one-dimensional waveform synthesizer 15. _It receives _h (x) and the vertical waveform or function _Lv (x) in all columns that include the brightness saturation region, and synthesizes them as follows.

二次元波形合成器１６は、輝度飽和領域に属する全ての画素に対し、当該画素が位置する行における関数Ｌ_ｈ（ｘ）での、当該画素の輝度値と、当該画素が位置する列における関数Ｌ_ｖ（ｘ）での、当該画素の輝度値との平均を計算することにより、当該画素の暫定的なピーク輝度値である暫定ピーク輝度値を決定する。 The two-dimensional waveform synthesizer 16 has, for all the pixels belonging to the luminance saturation region, the luminance value of the pixel in the function L _h (x) in the row where the pixel is located and the function in the column where the pixel is located. By calculating the average with the brightness value of the pixel at L _v (x), the provisional peak brightness value which is the provisional peak brightness value of the pixel is determined.

しかし、一次元波形合成器１２に関して説明したように、関数Ｌ_ｈｌ（ｘ）と関数Ｌ_ｈｒ（ｘ）のいずれか、あるいは双方ともに、導出されていない場合がある。垂直方向に関しても同様で、関数Ｌ_ｖｔ（ｘ）と関数Ｌ_ｖｂ（ｘ）のいずれか、あるいは双方ともに、導出されていない場合がある。 However, as described for the one-dimensional waveform synthesizer 12, there are cases where either or both of the function L _hl (x) and the function L _hr (x) have not been derived. The same applies to the vertical direction, and either or both of the function L _vt (x) and the function L _vb (x) may not be derived.

二次元波形合成器１６は、例えばある行において、関数Ｌ_ｈ（ｘ）を導出する基となる関数Ｌ_ｈｌ（ｘ）、Ｌ_ｈｒ（ｘ）の、いずれか一方が導出できなかった場合には、輝度飽和領域の当該行内の画素においては、関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）の平均を計算する際に、関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）とに、例えば１：２の重みをもたせて平均を計算する。逆に、関数Ｌ_ｖ（ｘ）を導出する基となる関数Ｌ_ｖｔ（ｘ）、Ｌ_ｖｂ（ｘ）の、いずれか一方が導出できなかった場合には、輝度飽和領域の当該列内の画素においては、関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）の平均を計算する際に、関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）とに、例えば２：１の重みをもたせて平均を計算する。このように、より多くの情報を基に導出された関数に大きな重みを持たせるようにして平均を計算する。 For example, in a certain line, the two-dimensional waveform synthesizer 16 cannot derive one of the functions L _hl (x) and L _hr (x), which is the basis for deriving the function L _h (x). in the relevant row of pixels in the brightness saturation area, the function _L h (x) and in calculating the average of the function _L v (x), the function _L h (x) and the function _L v (x) and, for example, Calculate the average with a weight of 1: 2. Conversely, the function L _vt underlying deriving a function L _{v (x)} of _{(x), L vb (x} ), when either one can not be derived, the pixels in the column of the saturated brightness region in, when calculating the average of the function _L h (x) as a function _L v (x), the function _L h (x) and the function _L v (x) and, for example, 2: remembering weight of 1 mean To calculate. In this way, the average is calculated by giving a large weight to the function derived based on more information.

また、ある行において、関数Ｌ_ｈ（ｘ）を導出する基となる関数Ｌ_ｈｌ（ｘ）、Ｌ_ｈｒ（ｘ）の双方が導出できなかった場合には、当該行内の画素においては、関数Ｌ_ｖ（ｘ）の値そのものを当該画素の暫定ピーク輝度値とする。逆に、ある列において、関数Ｌ_ｖ（ｘ）を導出する基となる関数Ｌ_ｖｔ（ｘ）、Ｌ_ｖｂ（ｘ）の双方が導出できなかった場合には、当該列内の画素においては、関数Ｌ_ｈ（ｘ）の値そのものを当該画素の暫定ピーク輝度値とする。 In addition, if both the functions L _hl (x) and L _hr (x), which are the basis for deriving the function L _h (x), cannot be derived in a certain row, the function L is used in the pixels in the row. The value of _v (x) itself is taken as the provisional peak luminance value of the pixel. Conversely, in a column, a group to derive the function _L v (x) function _L vt _(x), if it can not both derive the _L vb (x) is the pixel in the row, The value of the function L _h (x) itself is taken as the provisional peak luminance value of the pixel.

更に、輝度飽和領域内のある画素に関して、当該画素の位置する行における関数Ｌ_ｈ（ｘ）と、当該画素の位置する列における関数Ｌ_ｖ（ｘ）のいずれもが導出できなかった場合には、当該画素の暫定ピーク輝度値を拡張ＳＤＲ画像２の輝度値の上限値とする。 Further, for a certain pixel in the luminance saturation region, when neither the function L _h (x) in the row where the pixel is located nor the function L _v (x) in the column where the pixel is located can be derived. , The provisional peak luminance value of the pixel is set as the upper limit of the luminance value of the extended SDR image 2.

二次元波形合成器１６は、上記のようにして、拡張ＳＤＲ画像２内の全ての輝度飽和領域に関して、当該輝度飽和領域内の全ての画素の暫定ピーク輝度値を決定し、二次元ＬＰＦ１７へ送信する。 As described above, the two-dimensional waveform synthesizer 16 determines the provisional peak brightness values of all the pixels in the brightness saturation region for all the brightness saturation regions in the extended SDR image 2 and transmits them to the two-dimensional LPF 17. To do.

二次元ＬＰＦ１７は、二次元波形合成器１６から各画素の暫定ピーク輝度値を受信し、ＬＰＦを適用して、輝度飽和領域の最終的なピーク輝度値の波形を導出し、各画素のピーク輝度値を算出する。上記のように生成された、輝度飽和領域内の各画素の暫定ピーク輝度値は、画素ごとに関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）の平均を計算することにより決定されているため、隣接する画素間で暫定ピーク輝度値に一定以上の差が生じている可能性がある。二次元ＬＰＦ１７は、暫定ピーク輝度値にＬＰＦを適用することによって隣接する輝度値間の変化をなまらせることにより、二次元ＬＰＦ１７の出力するピーク輝度値が画像全体として自然にみえるように調整している。 The two-dimensional LPF 17 receives the provisional peak brightness value of each pixel from the two-dimensional waveform synthesizer 16 and applies the LPF to derive the waveform of the final peak brightness value in the brightness saturation region, and the peak brightness of each pixel. Calculate the value. Since the provisional peak brightness value of each pixel in the brightness saturation region generated as described above is determined by calculating the average of the function L _h (x) and the function L _v (x) for each pixel. , There is a possibility that there is a difference of a certain amount or more in the provisional peak luminance value between adjacent pixels. The two-dimensional LPF 17 adjusts the peak brightness value output by the two-dimensional LPF 17 so that the image as a whole looks natural by applying the LPF to the provisional peak brightness value to smooth the change between adjacent brightness values. There is.

二次元ＬＰＦ１７は、各輝度飽和領域について、算出したピーク輝度値を出力する。 The two-dimensional LPF 17 outputs the calculated peak luminance value for each luminance saturation region.

以上のように、ピーク輝度値生成器５は、水平方向である第１の方向において輝度飽和領域Ｓを挟むように位置する２つの領域Ｒ_１、Ｒ_２に関し、該２つの領域Ｒ_１、Ｒ_２の各々における画素の輝度値の波形３１、３２の二次微分値Ｄ２を基に、第１の方向における波形Ｌ_ｈ（ｘ）を導出し、該第１の方向における波形Ｌ_ｈ（ｘ）から、ピーク輝度値の波形を導出する。
また、第１の方向とは異なる第２の方向に関しても、当該第２の方向における波形Ｌ_ｖ（ｘ）を導出し、第１の方向における波形Ｌ_ｈ（ｘ）と第２の方向における波形Ｌ_ｖ（ｘ）から、ピーク輝度値の波形を導出する。
更に、第１の方向における波形Ｌ_ｈ（ｘ）と第２の方向における波形Ｌ_ｖ（ｘ）を合成し、ローパスフィルタを適用することによって、ピーク輝度値の波形を導出する。 As described above, the peak luminance value generator 5 relates to the _two regions R ₁ and R ₂ located so as to sandwich the luminance saturation region S in the first direction which is the horizontal direction, and the two regions R ₁ and R _{Based on the} quadratic differential values D2 of the pixel luminance values 31 and 32 in each of ₂ , the waveform L _h (x) in the first direction is derived, and the waveform L _h (x) in the first direction is derived. From, the waveform of the peak luminance value is derived.
Further, with respect to the second direction different from the first direction, the waveform L _v (x) in the second direction is derived, and the waveform L _h (x) in the first direction and the waveform in the second direction are derived. The waveform of the peak luminance value is derived from L _v (x).
Further, the waveform L _h (x) in the first direction and the waveform L _v (x) in the second direction are combined, and a low-pass filter is applied to derive a waveform with a peak luminance value.

図１に示される遅延回路６は、輝度飽和領域検出器４から拡張ＳＤＲ画像２を受信する。遅延回路６は、受信した拡張ＳＤＲ画像２に対して、適切な遅延をかける。この「適切な遅延」とは、ピーク輝度値生成器５による処理の遅延分を補償して、遅延回路６を介して画像合成器７へ送信される拡張ＳＤＲ画像２と、ピーク輝度値生成器５から送信される輝度飽和領域におけるピーク輝度値の波形との同期をとるためのものである。 The delay circuit 6 shown in FIG. 1 receives the extended SDR image 2 from the luminance saturation region detector 4. The delay circuit 6 applies an appropriate delay to the received extended SDR image 2. The "appropriate delay" includes an extended SDR image 2 transmitted to the image synthesizer 7 via the delay circuit 6 by compensating for the delay in processing by the peak luminance value generator 5, and the peak luminance value generator. This is for synchronizing with the waveform of the peak luminance value in the luminance saturation region transmitted from 5.

遅延回路６は、遅延がかけられた拡張ＳＤＲ画像２を、画像合成器７へ送信する。 The delay circuit 6 transmits the delayed extended SDR image 2 to the image synthesizer 7.

画像合成器７は、遅延回路６から拡張ＳＤＲ画像２を、ピーク輝度値生成器５から輝度飽和領域における各画素のピーク輝度値を、それぞれ受信する。画像合成器７は、拡張ＳＤＲ画像２の、輝度飽和領域の各画素の輝度値を、当該画素のピーク輝度値へと変換することにより、ＨＤＲ画像３を生成する。 The image synthesizer 7 receives the extended SDR image 2 from the delay circuit 6 and the peak brightness value of each pixel in the brightness saturation region from the peak brightness value generator 5. The image synthesizer 7 generates the HDR image 3 by converting the brightness value of each pixel in the brightness saturation region of the extended SDR image 2 into the peak brightness value of the pixel.

画像合成器７は、生成したＨＤＲ画像３を外部へ出力する。 The image synthesizer 7 outputs the generated HDR image 3 to the outside.

次に、上記画像処理回路１を使用した画像処理方法を、図１乃至図３を用いて説明する。 Next, an image processing method using the image processing circuit 1 will be described with reference to FIGS. 1 to 3.

本画像表示方法は、第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理方法であって、第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出し、検出された輝度飽和領域に対して、輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、輝度飽和領域内の各画素の上限値を超えたピーク輝度値の波形を導出して、ピーク輝度値を算出し、第１のダイナミックレンジの画像と、輝度飽和領域の各画素のピーク輝度値から、第２のダイナミックレンジの画像を生成する。また、第１の方向において輝度飽和領域を挟むように位置する２つの領域に関し、該２つの領域の各々における画素の輝度値の波形の二次微分値を基に、第１の方向における波形を導出し、第１の方向における波形から、ピーク輝度値の波形を導出する。 This image display method is an image processing method for converting an image having a first dynamic range into an image having a second dynamic range having a wider range than the first dynamic range, and is an image processing method of the image having the first dynamic range. , A saturated luminance saturation region is detected when the luminance value is equal to or greater than the upper limit of the first dynamic range, and the luminance value obtained for pixels located near the luminance saturation region with respect to the detected luminance saturation region. Based on the waveform, the waveform of the peak brightness value exceeding the upper limit value of each pixel in the brightness saturation region is derived, the peak brightness value is calculated, and the image of the first dynamic range and each pixel in the brightness saturation region are obtained. An image having a second dynamic range is generated from the peak luminance value of. Further, with respect to the two regions located so as to sandwich the luminance saturation region in the first direction, the waveform in the first direction is obtained based on the quadratic differential value of the waveform of the luminance value of the pixel in each of the two regions. It is derived, and the waveform of the peak luminance value is derived from the waveform in the first direction.

まず、輝度飽和領域検出器４が、入力された拡張ＳＤＲ画像２を受信し、拡張ＳＤＲ画像２の各画素の輝度値と、拡張ＳＤＲ画像２のダイナミックレンジの上限値とを比較して、輝度値が上限値に一致している画素を探すことにより、輝度値が拡張ＳＤＲ画像２の輝度値の上限値以上となって飽和した輝度飽和領域を検出する。輝度飽和領域検出器４は、拡張ＳＤＲ画像２をそのまま遅延回路６に送信すると同時に、拡張ＳＤＲ画像２と、検出した輝度飽和領域に関する情報を、ピーク輝度値生成器５へ送信する。 First, the brightness saturation region detector 4 receives the input extended SDR image 2, compares the brightness value of each pixel of the extended SDR image 2 with the upper limit of the dynamic range of the extended SDR image 2, and compares the brightness. By searching for pixels whose values match the upper limit value, a saturated brightness saturation region where the brightness value becomes equal to or more than the upper limit value of the brightness value of the extended SDR image 2 is detected. The luminance saturation region detector 4 transmits the extended SDR image 2 to the delay circuit 6 as it is, and at the same time, transmits the extended SDR image 2 and information on the detected luminance saturation region to the peak luminance value generator 5.

ピーク輝度値生成器５の水平波形抽出器１０は、輝度飽和領域検出器４から拡張ＳＤＲ画像２と輝度飽和領域に関する情報を受信する。水平波形抽出器１０は、全ての輝度飽和領域の各々について、拡張ＳＤＲ画像２内の、画素により構成される行のうち、輝度飽和領域が含まれる全ての行において、当該行における水平方向の波形を生成する。水平波形抽出器１０は、抽出された水平方向の波形を、波形生成器１１ａ、波形生成器１１ｂに送信する。 The horizontal waveform extractor 10 of the peak luminance value generator 5 receives the extended SDR image 2 and the information regarding the luminance saturation region from the luminance saturation region detector 4. The horizontal waveform extractor 10 has, for each of all the luminance saturation regions, in the extended SDR image 2, in all the rows composed of pixels, in all the rows including the luminance saturation region, the horizontal waveform in the row. To generate. The horizontal waveform extractor 10 transmits the extracted horizontal waveform to the waveform generator 11a and the waveform generator 11b.

波形生成器１１ａは、水平波形抽出器１０から水平方向の波形を受信し、領域Ｒ_１の波形、すなわち左側波形３１を基に、輝度飽和領域Ｓに相当する部分における、左側波形３１を基にした輝度値の波形（輝度飽和領域における波形）を導出する。本第１実施形態においては、左側波形３１を基にした輝度値の波形４１を、上記数式１のように、左側波形３１の二次微分値Ｄ２を基に導出している。波形生成器１１ａは、左側波形３１を基にした輝度値の波形４１、すなわち関数Ｌ_ｈｌ（ｘ）を、一次元波形合成器１２へ送信する。 Waveform generator 11a receives the horizontal waveform from a horizontal waveform extractor 10, waveform region R _1, namely on the basis of the left waveform 31, a portion corresponding to a luminance saturation region S, based on the left waveform 31 The waveform of the obtained brightness value (waveform in the brightness saturation region) is derived. In the first embodiment, the waveform 41 of the brightness value based on the left side waveform 31 is derived based on the second derivative value D2 of the left side waveform 31 as in the above equation 1. The waveform generator 11a transmits the waveform 41 of the luminance value based on the left waveform 31, that is, the function L _hl (x) to the one-dimensional waveform synthesizer 12.

波形生成器１１ｂは、水平波形抽出器１０から水平方向の波形を受信し、領域Ｒ_２の波形、すなわち右側波形３２を基に、輝度飽和領域Ｓに相当する部分における、右側波形３２を基にした輝度値の波形（輝度飽和領域における波形）を導出する。波形生成器１１ｂは、右側波形３２を基にした輝度値の波形４２、すなわち関数Ｌ_ｈｒ（ｘ）を、一次元波形合成器１２へ送信する。 Waveform generator 11b receives the horizontal waveform from a horizontal waveform extractor 10, the waveform of the region R _2, i.e. based on the right waveform 32, a portion corresponding to a luminance saturation region S, based on the right waveform 32 The waveform of the obtained brightness value (waveform in the brightness saturation region) is derived. The waveform generator 11b transmits the waveform 42 of the luminance value based on the right-side waveform 32, that is, the function _Lhr (x) to the one-dimensional waveform synthesizer 12.

一次元波形合成器１２は、波形生成器１１ａと波形生成器１１ｂから、それぞれ、左側波形３１を基にした輝度値の波形４１、すなわち関数Ｌ_ｈｌ（ｘ）と、右側波形３２を基にした輝度値の波形４２、すなわち関数Ｌ_ｈｒ（ｘ）を受信して、これらを合成する。合成は、上記数式２によって行われる。一次元波形合成器１２は、導出した水平方向における波形すなわち関数Ｌ_ｈ（ｘ）を、二次元波形合成器１６へ送信する。 The one-dimensional waveform synthesizer 12 is based on the waveform 41 of the brightness value based on the left waveform 31, that is, the function L _hl (x) and the right waveform 32, respectively, from the waveform generator 11a and the waveform generator 11b. The waveform 42 of the brightness value, that is, the function _Lhr (x) is received and these are synthesized. The synthesis is performed by the above formula 2. The one-dimensional waveform synthesizer 12 transmits the derived horizontal waveform, that is, the function L _h (x), to the two-dimensional waveform synthesizer 16.

垂直波形抽出器１３は、水平波形抽出器１０と同様に、輝度飽和領域検出器４から拡張ＳＤＲ画像２と輝度飽和領域に関する情報を受信する。垂直波形抽出器１３は、複数の輝度飽和領域Ｓの各々に対し、当該輝度飽和領域Ｓが含まれる全ての列において、輝度飽和領域Ｓとその近傍の垂直方向の波形を抽出し、波形生成器１４ａ、波形生成器１４ｂに送信する。 Similar to the horizontal waveform extractor 10, the vertical waveform extractor 13 receives the extended SDR image 2 and the information regarding the luminance saturation region from the luminance saturation region detector 4. The vertical waveform extractor 13 extracts, for each of the plurality of luminance saturation regions S, the vertical waveforms of the luminance saturation region S and its vicinity in all the rows including the luminance saturation region S, and is a waveform generator. 14a is transmitted to the waveform generator 14b.

一次元波形合成器１５は、波形生成器１４ａと波形生成器１４ｂから、それぞれ、上側波形を基にした輝度値の波形、すなわち関数Ｌ_ｖｔ（ｘ）と、下側波形を基にした輝度値の波形、すなわち関数Ｌ_ｖｂ（ｘ）を受信して、これらを合成する。一次元波形合成器１５は、一次元波形合成器１２と同様に、垂直方向における波形である関数Ｌ_ｖ（ｘ）を導出し、水平波形抽出器１０へ送信する。 The one-dimensional waveform synthesizer 15 is a waveform of a brightness value based on the upper waveform, that is, a function L _vt (x) and a brightness value based on the lower waveform, respectively, from the waveform generator 14a and the waveform generator 14b. The waveform of, that is, the function L _vb (x) is received, and these are synthesized. Similar to the one-dimensional waveform synthesizer 12, the one-dimensional waveform synthesizer 15 derives a function _Lv (x) which is a waveform in the vertical direction and transmits it to the horizontal waveform extractor 10.

二次元波形合成器１６は、一次元波形合成器１２、一次元波形合成器１５の各々から、各輝度飽和領域について、当該輝度飽和領域が含まれる全ての行における、水平方向における波形すなわち関数Ｌ_ｈ（ｘ）と、当該輝度飽和領域が含まれる全ての列における、垂直方向における波形すなわち関数Ｌ_ｖ（ｘ）を受信する。二次元波形合成器１６は、これらを合成することにより、拡張ＳＤＲ画像２内の全ての輝度飽和領域に関して、当該輝度飽和領域内の全ての画素の暫定ピーク輝度値を決定し、二次元ＬＰＦ１７へ送信する。 The two-dimensional waveform synthesizer 16 is a horizontal waveform, that is, a function L in all rows including the brightness saturation region for each brightness saturation region from each of the one-dimensional waveform synthesizer 12 and the one-dimensional waveform synthesizer 15. _It receives _h (x) and the vertical waveform or function _Lv (x) in all columns that include the brightness saturation region. By synthesizing these, the two-dimensional waveform synthesizer 16 determines the provisional peak brightness values of all the pixels in the brightness saturation region for all the brightness saturation regions in the extended SDR image 2, and transfers the two-dimensional LPF17 to the two-dimensional LPF17. Send.

二次元ＬＰＦ１７は、二次元波形合成器１６から各画素の暫定ピーク輝度値を受信し、ＬＰＦを適用して、輝度飽和領域の最終的なピーク輝度値の波形を導出し、各画素のピーク輝度値を算出する。二次元ＬＰＦ１７は、各輝度飽和領域Ｓについて、導出したピーク輝度値を出力する。 The two-dimensional LPF 17 receives the provisional peak brightness value of each pixel from the two-dimensional waveform synthesizer 16 and applies the LPF to derive the waveform of the final peak brightness value in the brightness saturation region, and the peak brightness of each pixel. Calculate the value. The two-dimensional LPF 17 outputs the derived peak luminance value for each luminance saturation region S.

画像合成器７は、輝度飽和領域検出器４から遅延回路６を経た拡張ＳＤＲ画像２を、ピーク輝度値生成器５から輝度飽和領域における各画素のピーク輝度値を、それぞれ受信する。画像合成器７は、拡張ＳＤＲ画像２の、輝度飽和領域の各画素の輝度値を、当該画素のピーク輝度値へと変換することにより、ＨＤＲ画像３を生成して、外部へ出力する。 The image synthesizer 7 receives the extended SDR image 2 from the luminance saturation region detector 4 through the delay circuit 6, and the peak luminance value of each pixel in the luminance saturation region from the peak luminance value generator 5. The image synthesizer 7 generates the HDR image 3 by converting the brightness value of each pixel in the brightness saturation region of the extended SDR image 2 into the peak brightness value of the pixel, and outputs the HDR image 3 to the outside.

次に、上記の画像処理回路及び画像処理方法の効果について説明する。 Next, the effects of the above image processing circuit and image processing method will be described.

上記のような構成によれば、輝度飽和領域検出器４が、第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの画像の上限値以上となって飽和した輝度飽和領域を検出し、ピーク輝度値生成器５が、検出された輝度飽和領域に対して、輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、輝度飽和領域内の各画素の上限値を超えたピーク輝度値の波形を導出して、ピーク輝度値を算出し、画像合成器７が、第１のダイナミックレンジの画像と、輝度飽和領域の各画素のピーク輝度値から、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像を生成する。すなわち、第１のダイナミックレンジの画像の輝度が飽和した部分において、第１のダイナミックレンジの画像の輝度の上限値によって制限されたことにより第１のダイナミックレンジの画像においては表現できなかった、第１のダイナミックレンジの画像の輝度の上限値以上の高い輝度値を推測して補完することができる。これにより、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに人間の眼に自然に美しく映る、高輝度領域における表現能力に優れた第２のダイナミックレンジの画像に変換することが可能となる。 According to the above configuration, the luminance saturation region detector 4 detects a saturated luminance saturation region in which the luminance value of the image of the first dynamic range is equal to or greater than the upper limit of the image of the first dynamic range. Then, the peak luminance value generator 5 uses the waveform of the luminance value obtained for the pixels located in the vicinity of the luminance saturation region with respect to the detected luminance saturation region as an upper limit value of each luminance in the luminance saturation region. The waveform of the peak luminance value exceeding the above is derived, the peak luminance value is calculated, and the image synthesizer 7 obtains the first one from the image of the first dynamic range and the peak luminance value of each pixel in the luminance saturation region. Generates an image with a second dynamic range that is wider than the dynamic range. That is, in the portion where the brightness of the image of the first dynamic range is saturated, it cannot be expressed in the image of the first dynamic range because it is limited by the upper limit of the brightness of the image of the first dynamic range. It is possible to estimate and complement a high brightness value equal to or higher than the upper limit value of the brightness of an image having a dynamic range of 1. As a result, the image of the first dynamic range can be displayed naturally and beautifully to the human eye when displayed on the image display device of the second dynamic range, and the image of the second dynamic range having excellent expressive ability in the high brightness region can be obtained. It can be converted into an image.

また、ピーク輝度値生成器５は、水平方向及び垂直方向の各々において、輝度飽和領域を挟むように位置する２つの領域に関し、数式１を用いて説明したように、該２つの領域の各々における画素の輝度値の波形の二次微分値を基に、水平方向及び垂直方向の各々における波形を導出し、ピーク輝度値の波形を導出する。これにより、輝度飽和領域の外側の輝度値の波形と、輝度飽和領域の内側で生成されたピーク輝度値の波形が滑らかに連続するため、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに違和感がなく人間の眼に自然に美しく映る、高輝度領域における表現能力により優れた第２のダイナミックレンジの画像に変換することが可能となる。 Further, the peak luminance value generator 5 relates to two regions located so as to sandwich the luminance saturation region in each of the horizontal direction and the vertical direction, as described using Equation 1, in each of the two regions. Based on the quadratic differential value of the waveform of the luminance value of the pixel, the waveform in each of the horizontal direction and the vertical direction is derived, and the waveform of the peak luminance value is derived. As a result, the waveform of the luminance value outside the luminance saturation region and the waveform of the peak luminance value generated inside the luminance saturation region are smoothly continuous. Therefore, from the image of the first dynamic range to the second dynamic range. It is possible to convert an image having an excellent second dynamic range due to its expressive ability in a high-luminance region, which does not give a sense of discomfort when displayed on the image display device of the above and naturally looks beautiful to the human eye.

また、ピーク輝度値生成器５は、図３を用いて説明したように、水平方向及び垂直方向の各々において、輝度飽和領域を挟むように位置する２つの領域の各々において、個別に輝度飽和領域における波形を導出し、これらを合成することにより、水平方向及び垂直方向の各々における波形を導出し、ピーク輝度値の波形を導出する。すなわち、例えば水平方向における波形を導出する場合には、輝度飽和領域の左側部分の波形は輝度飽和領域の左方に位置する輝度値を基に、また、輝度飽和領域の右側部分の波形は輝度飽和領域の右方に位置する輝度値を基に、個別に導出される。これにより、輝度飽和領域内の特に周辺部分のピーク輝度値が、当該周辺部分に接する輝度飽和領域の外側の領域の輝度値に比較的強く依存するように、ピーク輝度値の波形を導出することができるため、輝度飽和領域の外側の輝度値の波形と、輝度飽和領域の内側で生成されたピーク輝度値の波形が滑らかに連続する。したがって、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに人間の眼に自然に美しく映る、高輝度領域における表現能力により優れた第２のダイナミックレンジの画像に変換することが可能となる。 Further, as described with reference to FIG. 3, the peak luminance value generator 5 has an individual luminance saturation region in each of the two regions located so as to sandwich the luminance saturation region in each of the horizontal direction and the vertical direction. By deriving the waveforms in the above and synthesizing them, the waveforms in the horizontal direction and the vertical direction are derived, and the waveform of the peak luminance value is derived. That is, for example, when deriving a waveform in the horizontal direction, the waveform on the left side of the luminance saturation region is based on the luminance value located on the left side of the luminance saturation region, and the waveform on the right portion of the luminance saturation region is brightness. It is individually derived based on the brightness value located to the right of the saturation region. As a result, the waveform of the peak brightness value is derived so that the peak brightness value in the brightness saturation region, particularly in the peripheral portion, depends relatively strongly on the brightness value in the region outside the brightness saturation region in contact with the peripheral portion. Therefore, the waveform of the luminance value outside the luminance saturation region and the waveform of the peak luminance value generated inside the luminance saturation region are smoothly continuous. Therefore, from the image of the first dynamic range, the image of the second dynamic range, which is superior in expressive ability in the high brightness region, appears naturally and beautifully to the human eye when displayed on the image display device of the second dynamic range. It becomes possible to convert to.

また、ピーク輝度値生成器５は、水平方向における波形と垂直方向における波形を合成し、ローパスフィルタを適用することによって、ピーク輝度値の波形を導出する。上記のように、このローパスフィルタを実施する二次元ＬＰＦ１７は、隣接する輝度値間の変化をなまらせることにより、二次元ＬＰＦ１７の出力するピーク輝度値が画像全体として自然にみえるように調整している。これにより、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに人間の眼に自然に美しく映る、高輝度領域における表現能力により優れた第２のダイナミックレンジの画像に変換することが可能となる。 Further, the peak luminance value generator 5 synthesizes a waveform in the horizontal direction and a waveform in the vertical direction, and applies a low-pass filter to derive a waveform of the peak luminance value. As described above, the two-dimensional LPF 17 that implements this low-pass filter adjusts the peak brightness value output by the two-dimensional LPF 17 so that it looks natural as a whole image by smoothing the change between adjacent brightness values. There is. As a result, when the image of the first dynamic range is displayed on the image display device of the second dynamic range, the image of the second dynamic range, which is more excellent in the expressive ability in the high brightness region, appears naturally and beautifully to the human eye. It can be converted into an image.

また、画像合成器７は、第１のダイナミックレンジの画像の、輝度飽和領域の各画素の輝度値を、当該画素のピーク輝度値へと変換することにより、第２のダイナミックレンジの画像を生成する。すなわち、第１のダイナミックレンジの画像を第２のダイナミックレンジの画像へと変換するに当たって、第１のダイナミックレンジの画像に対して適用される補正処理は輝度飽和領域に該当する部分に限られる。すなわち、輝度飽和領域以外の領域に対する補正処理が行われないため、輝度飽和領域以外の領域おいては元々の入力となる第１のダイナミックレンジの画像の画質を維持した上で、第２のダイナミックレンジの画像への変換が可能である。 Further, the image synthesizer 7 generates an image of the second dynamic range by converting the brightness value of each pixel in the brightness saturation region of the image of the first dynamic range into the peak brightness value of the pixel. To do. That is, in converting the image of the first dynamic range into the image of the second dynamic range, the correction process applied to the image of the first dynamic range is limited to the portion corresponding to the luminance saturation region. That is, since the correction processing is not performed for the region other than the luminance saturation region, the image quality of the image in the first dynamic range, which is the original input, is maintained in the region other than the luminance saturation region, and then the second dynamic is performed. It is possible to convert to a range image.

また、本第１実施形態においては、元々の第１のダイナミックレンジの画像の各画素の輝度値に、例えば５等の一定の値が予め乗算された画像、すなわち拡張ＳＤＲ画像２を、画像処理回路１への入力としている。これにより、既に説明したように、第２のダイナミックレンジの画像の、広いダイナミックレンジが十分に活用可能となる。したがって、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに人間の眼に自然に美しく映る、高輝度領域における表現能力により優れた第２のダイナミックレンジの画像に変換することが可能となる。 Further, in the first embodiment, the image processing is performed on an image in which the brightness value of each pixel of the original image of the first dynamic range is multiplied in advance by a certain value such as 5, that is, the extended SDR image 2. It is an input to the circuit 1. As a result, as described above, the wide dynamic range of the image of the second dynamic range can be fully utilized. Therefore, from the image of the first dynamic range, the image of the second dynamic range, which is superior in expressive ability in the high brightness region, appears naturally and beautifully to the human eye when displayed on the image display device of the second dynamic range. It becomes possible to convert to.

［第２実施形態］
次に、第２実施形態における画像表示装置を説明する。図４は、第２実施形態における画像表示装置５０の信号処理ブロック図である。画像表示装置５０においては、第１実施形態同様、第１のダイナミックレンジはＳＤＲであり、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジはＨＤＲである。画像表示装置５０は、第１実施形態として示した画像処理回路１を、ＳＤＲ画像処理部５７として備えた表示装置である。 [Second Embodiment]
Next, the image display device according to the second embodiment will be described. FIG. 4 is a signal processing block diagram of the image display device 50 according to the second embodiment. In the image display device 50, as in the first embodiment, the first dynamic range is SDR, and the second dynamic range, which is wider than the first dynamic range, is HDR. The image display device 50 is a display device including the image processing circuit 1 shown as the first embodiment as the SDR image processing unit 57.

画像表示装置５０は、Ｉ／Ｆ（インタフェース）部５１、第１ＨＤＲ用ＥＯＴＦ（Ｅｌｅｃｔｒｏ−ＯｐｔｉｃａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）階調変換器５２、第２ＨＤＲ用ＥＯＴＦ階調変換器５３、ＳＤＲ用ＥＯＴＦ階調変換器（ＥＯＴＦ階調変換器）５４、第１ＨＤＲ画像処理部５５、第２ＨＤＲ画像処理部５６、ＳＤＲ画像処理部（画像処理回路）５７、セレクタ５８、ＯＥＴＦ（Ｏｐｔｉｃａｌ−ＥｌｅｃｔｒｏＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）階調変換器５９、パネル駆動・制御部６０、及び、ＨＤＲ画像表示パネル（画像表示パネル）６１を備えている。 The image display device 50 includes an I / F (interface) unit 51, an EOTF (Electro-Optical Transfer Function) gradation converter 52 for the first HDR, an EOTF gradation converter 53 for the second HDR, and an EOTF gradation converter for SDR ( EOTF gradation converter) 54, 1st HDR image processing unit 55, 2nd HDR image processing unit 56, SDR image processing unit (image processing circuit) 57, selector 58, OETF (Optical-Electro Transfer Function) gradation converter 59, It includes a panel drive / control unit 60 and an HDR image display panel (image display panel) 61.

Ｉ／Ｆ部５１は、画像表示装置５０の外部から画像データや操作情報などを受信して、後段に位置する、第１ＨＤＲ用ＥＯＴＦ階調変換器５２、第２ＨＤＲ用ＥＯＴＦ階調変換器５３、または、ＳＤＲ用ＥＯＴＦ階調変換器５４のいずれかの、適切な処理経路へと画像データを送信する。例えば、画像データがＰＱ方式のＨＤＲ画像である場合には、第１ＨＤＲ用ＥＯＴＦ階調変換器５２へ、ＨＬＧ方式のＨＤＲ画像である場合には、第２ＨＤＲ用ＥＯＴＦ階調変換器５３へ、ＳＤＲ画像である場合には、ＳＤＲ用ＥＯＴＦ階調変換器５４へと、画像データを送信する。 The I / F unit 51 receives image data, operation information, and the like from the outside of the image display device 50, and is located in the subsequent stage of the EOTF gradation converter 52 for the first HDR and the EOTF gradation converter 53 for the second HDR. Alternatively, the image data is transmitted to an appropriate processing path of any of the SDR EOTF gradation converters 54. For example, when the image data is a PQ type HDR image, it is sent to the first HDR EOTF gradation converter 52, and when it is an HLG type HDR image, it is sent to the second HDR EOTF gradation converter 53. If it is an image, the image data is transmitted to the SDR EOTF gradation converter 54.

第１ＨＤＲ用ＥＯＴＦ階調変換器５２は、ＨＤＲ画像を受信して、ＰＱ方式により、リニア信号へとＥＯＴＦ階調変換を行い、階調変換された画像データを第１ＨＤＲ画像処理部５５へと送信する。第１ＨＤＲ画像処理部５５は、階調変換された画像データを受信して、ノイズ低減や画素値レベル調整などの画像処理を行う。 The EOTF gradation converter 52 for the first HDR receives the HDR image, performs EOTF gradation conversion to a linear signal by the PQ method, and transmits the gradation-converted image data to the first HDR image processing unit 55. To do. The first HDR image processing unit 55 receives the gradation-converted image data and performs image processing such as noise reduction and pixel value level adjustment.

第２ＨＤＲ用ＥＯＴＦ階調変換器５３は、ＨＤＲ画像を受信して、ＨＬＧ方式により、リニア信号へとＥＯＴＦ階調変換を行い、階調変換された画像データを第２ＨＤＲ画像処理部５６へと送信する。第２ＨＤＲ画像処理部５６は、階調変換された画像データを受信して、ノイズ低減や画素値レベル調整などの画像処理を行う。 The EOTF gradation converter 53 for the second HDR receives the HDR image, performs EOTF gradation conversion to a linear signal by the HLG method, and transmits the gradation-converted image data to the second HDR image processing unit 56. To do. The second HDR image processing unit 56 receives the gradation-converted image data and performs image processing such as noise reduction and pixel value level adjustment.

ＳＤＲ用ＥＯＴＦ階調変換器５４は、ＳＤＲ画像を受信してリニア信号へとＥＯＴＦ階調変換を行い、階調変換された画像データをＳＤＲ画像処理部５７へ送信する。ＳＤＲ画像処理部５７は、階調変換された画像データを受信して、上記第１実施形態で説明したような画像処理を行う。 The SDR EOTF gradation converter 54 receives the SDR image, performs EOTF gradation conversion into a linear signal, and transmits the gradation-converted image data to the SDR image processing unit 57. The SDR image processing unit 57 receives the gradation-converted image data and performs image processing as described in the first embodiment.

セレクタ５８は、Ｉ／Ｆ部５１からの画像データの送信先にあわせて、第１ＨＤＲ画像処理部５５、第２ＨＤＲ画像処理部５６、ＳＤＲ画像処理部５７のいずれかを選択し、選択先から適切な画像データを受信する。セレクタ５８は、受信した画像データをＯＥＴＦ階調変換器５９へ送信する。 The selector 58 selects one of the first HDR image processing unit 55, the second HDR image processing unit 56, and the SDR image processing unit 57 according to the transmission destination of the image data from the I / F unit 51, and is appropriate from the selection destination. Image data is received. The selector 58 transmits the received image data to the OETF gradation converter 59.

ＯＥＴＦ階調変換器５９は、セレクタ５８によって選択された画像処理部から、ＨＤＲ画像を受信して、ビデオ信号へとパネルの表示特性に合わせたＯＥＴＦ階調変換を行い、パネル駆動・制御部６０へ送信する。ＨＤＲ画像表示パネル６１は、受信したＯＥＴＦ階調変換後のＨＤＲ画像に基づいて画像を表示する。 The OETF gradation converter 59 receives an HDR image from the image processing unit selected by the selector 58, performs OETF gradation conversion to a video signal according to the display characteristics of the panel, and performs the OETF gradation conversion unit 60. Send to. The HDR image display panel 61 displays an image based on the received HDR image after OETF gradation conversion.

本第２実施形態における画像表示装置５０が、上記第１実施形態と同様な効果を奏することは言うまでもない。 Needless to say, the image display device 50 in the second embodiment has the same effect as that in the first embodiment.

［第３実施形態］
次に、第３実施形態における画像変換装置を説明する。図５は、第３実施形態における画像変換装置７０の信号処理ブロック図である。画像変換装置７０においては、第１実施形態同様、第１のダイナミックレンジはＳＤＲであり、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジはＨＤＲである。画像変換装置７０は、第１実施形態として示した画像処理回路１を、ＳＤＲ画像処理部７３として備えた変換装置である。 [Third Embodiment]
Next, the image conversion device according to the third embodiment will be described. FIG. 5 is a signal processing block diagram of the image conversion device 70 according to the third embodiment. In the image conversion device 70, as in the first embodiment, the first dynamic range is SDR, and the second dynamic range, which is wider than the first dynamic range, is HDR. The image conversion device 70 is a conversion device including the image processing circuit 1 shown as the first embodiment as the SDR image processing unit 73.

画像変換装置７０は、Ｉ／Ｆ部７１、ＳＤＲ用ＥＯＴＦ階調変換器（ＥＯＴＦ階調変換器）７２、ＳＤＲ画像処理部（画像処理回路）７３、第１ＨＤＲ用ＯＥＴＦ階調変換器（ＯＥＴＦ階調変換器）７４、第２ＨＤＲ用ＯＥＴＦ階調変換器（ＯＥＴＦ階調変換器）７５、及び、セレクタ７６を備えている。 The image conversion device 70 includes an I / F unit 71, an EOTF gradation converter for SDR (EOTF gradation converter) 72, an SDR image processing unit (image processing circuit) 73, and an OETF gradation converter for the first HDR (OETF floor). It includes a tone converter) 74, an OETF gradation converter (OETF gradation converter) 75 for the second HDR, and a selector 76.

Ｉ／Ｆ部７１は、画像変換装置７０の外部からＳＤＲ画像や操作情報などを受信して、ＳＤＲ用ＥＯＴＦ階調変換器７２へ送信する。 The I / F unit 71 receives SDR images, operation information, and the like from the outside of the image conversion device 70 and transmits them to the SDR EOTF gradation converter 72.

ＳＤＲ用ＥＯＴＦ階調変換器７２は、ＳＤＲ画像を受信してリニア信号へとＥＯＴＦ階調変換を行い、階調変換された画像データをＳＤＲ画像処理部７３へ送信する。ＳＤＲ画像処理部７３は、階調変換された画像データを受信して、上記第１実施形態で説明したような画像処理を行ってＨＤＲ画像を生成し、第１ＨＤＲ用ＯＥＴＦ階調変換器７４、第２ＨＤＲ用ＯＥＴＦ階調変換器７５へ送信する。 The SDR EOTF gradation converter 72 receives the SDR image, performs EOTF gradation conversion into a linear signal, and transmits the gradation-converted image data to the SDR image processing unit 73. The SDR image processing unit 73 receives the gradation-converted image data, performs image processing as described in the first embodiment to generate an HDR image, and generates an HDR image, and the first HDR OETF gradation converter 74, It is transmitted to the OETF gradation converter 75 for the second HDR.

第１ＨＤＲ用ＯＥＴＦ階調変換器７４は、ＳＤＲ画像処理部７３からＨＤＲ画像を受信して、ＰＱ方式によりＯＥＴＦ階調変換を行う。第２ＨＤＲ用ＯＥＴＦ階調変換器７５は、ＳＤＲ画像処理部７３からＨＤＲ画像を受信して、ＨＬＧ方式によりＯＥＴＦ階調変換を行う。 The first HDR OETF gradation converter 74 receives the HDR image from the SDR image processing unit 73 and performs OETF gradation conversion by the PQ method. The second HDR OETF gradation converter 75 receives the HDR image from the SDR image processing unit 73 and performs OETF gradation conversion by the HLG method.

セレクタ７６は、出力するＨＤＲ方式を、ＰＱ方式と、ＨＬＧ方式のいずれかから選択し、第１ＨＤＲ用ＯＥＴＦ階調変換器７４か第２ＨＤＲ用ＯＥＴＦ階調変換器７５のいずれかから画像データを受信する。セレクタ７６は、受信した画像データを、画像変換装置７０の外部へ送信する。 The selector 76 selects the HDR method to be output from either the PQ method or the HLG method, and receives image data from either the OETF gradation converter 74 for the first HDR or the OETF gradation converter 75 for the second HDR. To do. The selector 76 transmits the received image data to the outside of the image conversion device 70.

本第３実施形態における画像変換装置７０が、上記第１実施形態と同様な効果を奏することは言うまでもない。 It goes without saying that the image conversion device 70 in the third embodiment has the same effect as that in the first embodiment.

［実験結果］
次に、図６、図７を用いて、上記第１実施形態に関する実験結果について説明する。 [Experimental result]
Next, the experimental results relating to the first embodiment will be described with reference to FIGS. 6 and 7.

まず、図６（ａ）に示されるＳＤＲ画像を、上記第１実施形態の画像処理回路１によってＨＤＲ画像に変換した。変換前のＳＤＲ画像には、画像の中央上部に明るい領域がある。図６（ｂ）は、この明るい領域が含まれるＡ部分における、明るい領域近傍の、水平方向の波形である。図６（ｂ）においては、サブピクセルＲ、Ｇ、Ｂの各々の輝度値に関して、対応する波形がそれぞれ、波形８０、８１、８２として示されている。図６（ｂ）からわかるように、上記の明るい領域においては、サブピクセルＲとＧ、すなわち波形８０、８１に関しては、その上端が略水平になっている。すなわち、サブピクセルＲとＧに関しては、輝度値がＳＤＲ画像の輝度値の上限値Ｕとなって輝度が飽和し、輝度飽和領域が形成されている。 First, the SDR image shown in FIG. 6A was converted into an HDR image by the image processing circuit 1 of the first embodiment. The SDR image before conversion has a bright area in the upper center of the image. FIG. 6B is a horizontal waveform in the vicinity of the bright region in the portion A including the bright region. In FIG. 6B, the corresponding waveforms are shown as waveforms 80, 81, and 82 for each of the luminance values of the subpixels R, G, and B, respectively. As can be seen from FIG. 6B, in the above bright region, the upper ends of the subpixels R and G, that is, the waveforms 80 and 81 are substantially horizontal. That is, with respect to the sub-pixels R and G, the luminance value becomes the upper limit value U of the luminance value of the SDR image, the luminance is saturated, and the luminance saturation region is formed.

上記のＳＤＲ画像を画像処理回路１によって変換した、変換後のＨＤＲ画像の、図６（ｂ）と同じ部分における波形を図６（ｃ）に示す。図６（ｃ）においては、サブピクセルＲ、Ｇ、Ｂの各々の輝度値に関して、対応する波形がそれぞれ、波形８３、８４、８５として示されている。波形８３、８４からわかるように、変換後のＨＤＲ画像においては、変換前のＳＤＲ画像のサブピクセルＲ、Ｇにおいて形成されていた輝度飽和領域に相当する部分に、ＳＤＲ画像の輝度値の上限値Ｕを上回るピーク輝度値を有する、滑らかな形状の波形が形成されている。 FIG. 6 (c) shows the waveform of the converted HDR image obtained by converting the above SDR image by the image processing circuit 1 in the same portion as in FIG. 6 (b). In FIG. 6C, the corresponding waveforms are shown as waveforms 83, 84, and 85 for each of the luminance values of the subpixels R, G, and B, respectively. As can be seen from the waveforms 83 and 84, in the converted HDR image, the upper limit value of the brightness value of the SDR image is in the portion corresponding to the brightness saturation region formed in the subpixels R and G of the SDR image before conversion. A smooth-shaped waveform having a peak luminance value higher than U is formed.

次に、図７（ａ）に示されるような、輝度飽和領域が形成されている波形を備えるＳＤＲ画像を、上記第１実施形態の画像処理回路１によってＨＤＲ画像に変換した。図７（ａ）においては、サブピクセルＲ、Ｇ、Ｂの各々の輝度値に関して、対応する波形がそれぞれ、波形９０、９１、９２として示されている。図７（ａ）からわかるように、サブピクセルＲ、すなわち波形９０に関しては、輝度飽和領域が形成されている。 Next, an SDR image having a waveform in which a luminance saturation region is formed as shown in FIG. 7A was converted into an HDR image by the image processing circuit 1 of the first embodiment. In FIG. 7A, the corresponding waveforms are shown as waveforms 90, 91, and 92 for each of the luminance values of the subpixels R, G, and B, respectively. As can be seen from FIG. 7A, a luminance saturation region is formed for the subpixel R, that is, the waveform 90.

上記のＳＤＲ画像を画像処理回路１によって変換した、変換後のＨＤＲ画像の、図７（ａ）と同じ部分における波形を図７（ｂ）に示す。図７（ｂ）においては、サブピクセルＲ、Ｇ、Ｂの各々の輝度値に関して、対応する波形がそれぞれ、波形９３、９４、９５として示されている。波形９３からわかるように、変換後のＨＤＲ画像においては、変換前のＳＤＲ画像のサブピクセルＲにおいて形成されていた輝度飽和領域に相当する部分に、ＳＤＲ画像の輝度値の上限値Ｕを上回るピーク輝度値を有する、滑らかな形状の波形が形成されている。 FIG. 7 (b) shows the waveform of the converted HDR image obtained by converting the above SDR image by the image processing circuit 1 in the same portion as in FIG. 7 (a). In FIG. 7B, the corresponding waveforms are shown as waveforms 93, 94, and 95 for each of the luminance values of the subpixels R, G, and B, respectively. As can be seen from the waveform 93, in the converted HDR image, a peak exceeding the upper limit U of the brightness value of the SDR image is formed in the portion corresponding to the brightness saturation region formed in the subpixel R of the SDR image before conversion. A smooth-shaped waveform having a brightness value is formed.

ここで、変換後のＨＤＲ画像の波形９３は、画像処理回路１によって、上記の数式２により生成されている。数式２は、図３（ｂ）を用いて説明したように、位置ｘ_ｌｓが位置ｘ_ｒｓの左側に位置している場合において、位置ｘ_ｌｓと位置ｘ_ｒｓの間の部分の水平方向における輝度値の波形を、関数Ｌ_ｈｌ（ｘ）における位置ｘ_ｌｓの輝度値と関数Ｌ_ｈｒ（ｘ）における位置ｘ_ｒｓの輝度値とを直線で結ぶように生成するものであるが、図７（ｂ）に示される波形９３においては、輝度飽和領域を補完したピーク輝度値に相当する部分の波形が、直線ではなく、上下方向に微小な凹凸を備えるような形状となっている。 Here, the waveform 93 of the converted HDR image is generated by the image processing circuit 1 by the above formula 2. Equation 2, as described with reference to FIG. 3 (b), when the position x _ls is positioned on the left side of the position x _rs, the luminance in the horizontal direction of the portion between positions x _rs and the position x _ls The waveform of the value is generated so as to connect the luminance value of the position x _ls in the function L _hl (x) and the luminance value of the position x _rs in the function L _hr (x) with a straight line. FIG. 7 (b) In the waveform 93 shown in (), the waveform of the portion corresponding to the peak luminance value that complements the luminance saturation region is not a straight line but has a shape having minute irregularities in the vertical direction.

これは、画像処理回路１においては、水平方向と垂直方向の２方向で、各行、各列ごとに波形を生成して、水平方向と垂直方向の波形の交点に位置する画素ごとに、２つの波形の平均を計算することでピーク輝度値を導出していることに起因する。すなわち、本実験例においては、波形９０に直交する、図示されない垂直方向の波形の影響で、波形９３において左右に隣接する画素のピーク輝度値に差が表れている。この輝度値の差が、ローパスフィルタが適用されて波形がなだらかにされることによって周囲に影響して、図７（ｂ）に示されるような微小な凹凸が形成されている。 This means that in the image processing circuit 1, waveforms are generated for each row and each column in two directions, the horizontal direction and the vertical direction, and two for each pixel located at the intersection of the horizontal and vertical waveforms. This is due to the fact that the peak brightness value is derived by calculating the average of the waveforms. That is, in this experimental example, a difference appears in the peak luminance values of the pixels adjacent to the left and right in the waveform 93 due to the influence of the vertical waveform (not shown) orthogonal to the waveform 90. This difference in luminance value affects the surroundings by applying a low-pass filter to smooth the waveform, and minute irregularities as shown in FIG. 7B are formed.

なお、本発明の画像処理回路、画像変換装置、画像表示装置及び画像処理方法は、図面を参照して説明した上述の各実施形態に限定されるものではなく、その技術的範囲において他の様々な変形例が考えられる。 The image processing circuit, the image conversion device, the image display device, and the image processing method of the present invention are not limited to the above-described embodiments described with reference to the drawings, and are various other in the technical scope thereof. Various variations can be considered.

例えば、上記各実施形態においては、第１のダイナミックレンジはＳＤＲであり、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジはＨＤＲであるとしたが、これに限られず、画像処理の入力となる画像のダイナミックレンジが、画像処理の出力となる画像のダイナミックレンジより、相対的に低い関係にあればよいことは言うまでもない。 For example, in each of the above embodiments, the first dynamic range is SDR, and the second dynamic range, which is wider than the first dynamic range, is HDR, but the present invention is not limited to this, and the input of image processing is input. Needless to say, the dynamic range of the image to be used should be relatively lower than the dynamic range of the image output from the image processing.

また、上記各実施形態において、数式１に入力される、Ｕ_１、Ｕ_２、ｋ_０、ｋ_１、ｋ_２等の各パラメータは、画像処理回路１の外部から変更可能に設定されるようになっていてもよい。 Further, in each of the above embodiments, each parameter such as U ₁ , U ₂ , k ₀ , k ₁ , k _2, etc. input to the mathematical formula 1 is set so as to be changeable from the outside of the image processing circuit 1. It may be.

また、上記各実施形態においては、例えば水平方向に関して、右側波形を基にした輝度値の波形を導出するに当たり、左側波形を基にした輝度値の波形を導出する数式１と対称的な関数Ｌ_ｈｒ（ｘ）を個別に用いていたが、これに限られない。例えば、右側波形を基にした輝度値の波形は、水平波形抽出器１０における波形抽出時に、画素を左右逆方向に並べ替えた状態の波形を生成し、これを、数式１を実現した波形生成器１１ａと同じ構成の波形生成器に入力した後、該波形生成器からの出力を再度、左右逆方向に並べ戻すようにすることにより、数式１と同じモデルを使用することが可能である。 Further, in each of the above embodiments, for example, in the horizontal direction, when deriving the waveform of the luminance value based on the right waveform, the function L symmetrical with Equation 1 for deriving the waveform of the luminance value based on the left waveform. _{Although hr} (x) was used individually, it is not limited to this. For example, for the waveform of the brightness value based on the waveform on the right side, when the waveform is extracted by the horizontal waveform extractor 10, a waveform in which the pixels are rearranged in the opposite directions is generated, and this is used to generate a waveform in which Equation 1 is realized. The same model as in Equation 1 can be used by inputting to a waveform generator having the same configuration as that of the device 11a and then rearranging the outputs from the waveform generator in the opposite directions.

また、上記第２、第３実施形態においては、ＨＤＲ用のＥＯＴＦ階調変換器や、それに対応する画像処理部、及びＨＤＲ用のＯＥＴＦ階調変換器は、ＰＱ方式とＨＬＧ方式の、２種類の方式に対して２個ずつ設けられていたが、これに限られず、他の数でもよい。 Further, in the second and third embodiments, the EOTF gradation converter for HDR, the corresponding image processing unit, and the OETF gradation converter for HDR are of two types, a PQ method and an HLG method. Although two are provided for each of the methods, the number is not limited to this, and other numbers may be used.

これ以外にも、本発明の主旨を逸脱しない限り、上記各実施形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。 In addition to this, the configurations listed in each of the above embodiments can be selected or appropriately changed to other configurations as long as the gist of the present invention is not deviated.

１画像処理回路
２拡張ＳＤＲ画像（第１のダイナミックレンジの画像）
３ＨＤＲ画像（第２のダイナミックレンジの画像）
４輝度飽和領域検出器
５ピーク輝度値生成器
６遅延回路
７画像合成器
１０水平波形抽出器
１１ａ、１１ｂ波形生成器
１２、１５一次元波形合成器
１３垂直波形抽出器
１４ａ、１４ｂ波形生成器
１６二次元波形合成器
１７二次元ＬＰＦ
３１左側波形（領域における画素の輝度値の波形）
３２右側波形（領域における画素の輝度値の波形）
４１左側波形を基にした輝度値の波形（輝度飽和領域における波形）
４２右側波形を基にした輝度値の波形（輝度飽和領域における波形）
５０画像表示装置
５１、７１Ｉ／Ｆ部
５２第１ＨＤＲ用ＥＯＴＦ階調変換器
５３第２ＨＤＲ用ＥＯＴＦ階調変換器
５４、７２ＳＤＲ用ＥＯＴＦ階調変換器（ＥＯＴＦ階調変換器）
５５第１ＨＤＲ画像処理部
５６第２ＨＤＲ画像処理部
５７、７３ＳＤＲ画像処理部（画像処理回路）
５８、７６セレクタ
５９ＯＥＴＦ階調変換器
６０パネル駆動・制御部
６１ＨＤＲ画像表示パネル（画像表示パネル）
７０画像変換装置
Ｒ_１、Ｒ_２領域
Ｓ輝度飽和領域
７４第１ＨＤＲ用ＯＥＴＦ階調変換器（ＯＥＴＦ階調変換器）
７５第２ＨＤＲ用ＯＥＴＦ階調変換器（ＯＥＴＦ階調変換器） 1 Image processing circuit 2 Extended SDR image (image of first dynamic range)
3 HDR image (image of the second dynamic range)
4 Brightness saturation region detector 5 Peak brightness value generator 6 Delay circuit 7 Image synthesizer 10 Horizontal waveform extractor 11a, 11b Waveform generator 12, 15 One-dimensional waveform synthesizer 13 Vertical waveform extractor 14a, 14b Waveform generator 16 Two-dimensional waveform synthesizer 17 Two-dimensional LPF
31 Left side waveform (waveform of pixel brightness value in the area)
32 Right side waveform (waveform of pixel brightness value in the area)
41 Luminance value waveform based on the left waveform (waveform in the luminance saturation region)
42 Luminance value waveform based on the right waveform (waveform in the luminance saturation region)
50 Image display device 51, 71 I / F unit 52 EOTF gradation converter for 1st HDR 53 EOTF gradation converter for 2nd HDR 54, 72 EOTF gradation converter for SDR (EOTF gradation converter)
55 1st HDR image processing unit 56 2nd HDR image processing unit 57, 73 SDR image processing unit (image processing circuit)
58, 76 Selector 59 OETF gradation converter 60 Panel drive / control unit 61 HDR image display panel (image display panel)
70 Image converter R ₁ , R ₂ region S Brightness saturation region 74 OETF gradation converter for 1st HDR (OETF gradation converter)
75 OETF gradation converter for 2nd HDR (OETF gradation converter)

Claims

An image processing circuit that converts an image having a first dynamic range into an image having a second dynamic range having a wider range than the first dynamic range.
A luminance saturation region detector that detects a saturated luminance saturation region in which the luminance value of the image of the first dynamic range becomes the upper limit value of the first dynamic range.
Obtained by plotting and connecting the luminance values in a graph in which the horizontal axis and the vertical axis are represented as the pixel positions and the luminance values, respectively, in each of the two regions located so as to sandwich the luminance saturation region in the first direction. Based on the quadratic differential value of the luminance value waveform in the region, the waveform in the luminance saturation region in the above graph is individually derived, and the waveforms in the luminance saturation region of each of the two regions are synthesized. Thereby, the waveform in the first direction is derived, and the waveform with the peak brightness value exceeding the upper limit value of each pixel in the brightness saturation region is derived from the waveform in the first direction to obtain the brightness. A peak luminance value generator that calculates the peak luminance value for the saturation region ,
An image processing circuit including an image synthesizer that generates an image of the second dynamic range from the image of the first dynamic range and the peak brightness value of each pixel of the luminance saturation region.

The first direction is a horizontal direction, the image processing circuit according to claim 1.

The peak luminance value generator derives a waveform in the second direction even in a second direction different from the first direction, and from the waveform in the first direction and the waveform in the second direction. The image processing circuit according to claim 1 or 2 , which derives the waveform of the peak luminance value.

The peak luminance value generator synthesizes the waveform in the second direction and the waveform in the first direction, by applying a low-pass filter to derive the waveform of the peak brightness value, according to claim 3 Image processing circuit.

The image processing circuit according to claim 3 or 4 , wherein the second direction is a vertical direction.

The image synthesizer converts the brightness value of each pixel in the brightness saturation region of the image of the first dynamic range into the peak brightness value of the pixel, thereby converting the image of the second dynamic range into the image of the second dynamic range. The image processing circuit according to any one of claims 1 to 5 , wherein the image processing circuit is generated.

The image processing circuit according to any one of claims 1 to 6 , wherein the first dynamic range is SDR and the second dynamic range is HDR.

The image processing circuit according to any one of claims 1 to 7 .
An EOTF gradation converter that converts an image of the first dynamic range into gradation and transmits it to the image processing circuit.
An OETF gradation converter that receives an image of the second dynamic range from the image processing circuit and performs gradation conversion,
An image display device including an image display panel that receives and displays an image having a second dynamic range that has been gradation-converted by the OETF gradation converter.

The image processing circuit according to any one of claims 1 to 7 .
An EOTF gradation converter that converts an image of the first dynamic range into gradation and transmits it to the image processing circuit.
An image conversion device including an OETF gradation converter that receives an image of the second dynamic range from the image processing circuit and performs gradation conversion.

An image processing method for converting an image having a first dynamic range into an image having a second dynamic range having a wider range than the first dynamic range.
Detecting the first dynamic range of the image, the brightness saturation area where the luminance value is saturated is the upper limit value of the first dynamic range,
Obtained by plotting and connecting the luminance values in a graph in which the horizontal axis and the vertical axis are represented as the pixel positions and the luminance values, respectively, in each of the two regions located so as to sandwich the luminance saturation region in the first direction. Based on the quadratic differential value of the luminance value waveform in the region, the waveform in the luminance saturation region in the above graph is individually derived, and the waveforms in the luminance saturation region of each of the two regions are synthesized. Thereby, the waveform in the first direction is derived, and the waveform with the peak brightness value exceeding the upper limit value of each pixel in the brightness saturation region is derived from the waveform in the first direction to obtain the brightness. The peak luminance value is calculated for the saturated region , and
An image processing method for generating an image of the second dynamic range from the image of the first dynamic range and the peak brightness value of each pixel in the luminance saturation region.