JP2022007871A - Image generation apparatus, display apparatus, control method, system, program, and storage medium - Google Patents
Image generation apparatus, display apparatus, control method, system, program, and storage medium Download PDFInfo
- Publication number
- JP2022007871A JP2022007871A JP2020173541A JP2020173541A JP2022007871A JP 2022007871 A JP2022007871 A JP 2022007871A JP 2020173541 A JP2020173541 A JP 2020173541A JP 2020173541 A JP2020173541 A JP 2020173541A JP 2022007871 A JP2022007871 A JP 2022007871A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- hdr
- conversion means
- oetf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000006243 chemical reaction Methods 0.000 claims abstract description 291
- 230000005540 biological transmission Effects 0.000 claims abstract description 103
- 238000012546 transfer Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000011664 signaling Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 43
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 9
- 238000012937 correction Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 239000012769 display material Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 201000005569 Gout Diseases 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は、HDR(High Dynamic Range)の画像を表示可能なシステムに関する。 The present invention relates to a system capable of displaying HDR (High Dynamic Range) images.
従来のダイナミックレンジよりも広いダイナミックレンジを表示可能な表示装置が登場している。従来の表示装置で表現可能なダイナミックレンジはSDR(Standard Dynamic Range)と呼ばれ、従来の表示装置よりも表現可能なダイナミックレンジが広いものはHDR(High Dynamic Range)と呼ばれる。SDRは、RECOMMENDATION ITU-R BT.709(以下、ITU BT.709)という規格で量子化レベルが8ビット以上の処理を前提としている。HDRは、SMPTE STANDARD 2084(以下、SMPTE ST 2084)という規格で最低でも10ビット以上の多ビット処理を前提としている。HDRがSDRよりも多ビット処理であるのは、SDRと同じビット数の量子化レベルでは1ビットに割り当てられる階調範囲が広がり、疑似輪郭等の階調破綻が発生しやすくなるからである。 Display devices that can display a wider dynamic range than the conventional dynamic range have appeared. The dynamic range that can be expressed by a conventional display device is called SDR (Standard Dynamic Range), and the dynamic range that can be expressed by a conventional display device is called HDR (High Dynamic Range). SDR is RECOMMENDATION ITU-R BT. The standard 709 (hereinafter, ITU BT.709) is premised on processing with a quantization level of 8 bits or more. HDR is a standard called SMPTE STANDARD 2084 (hereinafter referred to as SMPTE ST 2084) and is premised on multi-bit processing of at least 10 bits or more. HDR is more multi-bit processing than SDR because the gradation range assigned to one bit is widened at the quantization level of the same number of bits as SDR, and gradation failure such as pseudo contour is likely to occur.
特許文献1には、多ビットで高精度のデータを用いて実際に近い映像をHDR表示する技術が記載されている。
ところで、ミラーレスカメラなどでは、光学ファインダー(OVF)から電子ファインダー(EVF)に移行しているが、OVFは人間の視覚特性に近いHDR表示であるが、現状のEVFはHDR表示ができない。これは、HDRに伴う多ビット処理が、回路規模の増大に伴う消費電力アップ、発熱、コストアップなどの原因となるため、EVFのような小型のデバイスに導入することが困難であるためである。 By the way, in mirrorless cameras and the like, there is a shift from an optical viewfinder (OVF) to an electronic viewfinder (EVF). Although the OVF has an HDR display close to human visual characteristics, the current EVF cannot display an HDR. This is because the multi-bit processing associated with HDR causes an increase in power consumption, heat generation, cost increase, etc. due to an increase in circuit scale, and is therefore difficult to introduce into a small device such as an EVF. ..
また、現状のEVFは、解像度やフレームレートが十分とは言えず、画像処理エンジンとEVFを接続する外部データ伝送路の帯域の割り当てが、多ビット化を伴うHDRによる階調改善よりも、解像度やフレームレートが優先されている。このため、現状では、画像処理エンジンで生成された8ビットのSDR画像が外部データ伝送路を通じてEVFに出力されており、階調破綻が発生しないHDR表示が難しい状況となっている。 In addition, the current EVF does not have sufficient resolution and frame rate, and the bandwidth allocation of the external data transmission line connecting the image processing engine and the EVF is higher than the gradation improvement by HDR accompanied by the increase in bits. And frame rate are prioritized. Therefore, at present, the 8-bit SDR image generated by the image processing engine is output to the EVF through the external data transmission path, and it is difficult to display HDR without gradation failure.
本発明は、上記課題に鑑みてなされ、その目的は、表示装置でHDRに伴う多ビット処理を行うことなくHDR表示を可能にする技術を実現することである。 The present invention has been made in view of the above problems, and an object of the present invention is to realize a technique for enabling HDR display without performing multi-bit processing associated with HDR in a display device.
上記課題を解決し、目的を達成するために、本発明は、画像生成装置で生成された画像データが外部データ伝送路を通じて表示装置に出力されるシステムであって、前記表示装置は、HDR(High Dynamic Range)の画像またはSDR(Standard Dynamic Range)の画像を表示することが可能な表示部を有し、前記画像生成装置は、画像データに対して前記表示部の発光特性の逆変換を行う発光特性逆変換手段を有し、前記表示部の発光特性が前記HDRのEOTF(Electro-Optical Transfer Function)に近似しており、前記画像生成装置から出力される画像データのビット精度が、前記外部データ伝送路のビット精度以上であって、前記表示部に前記HDRの画像の表示を行う場合に、前記発光特性逆変換手段により生成された画像データを前記外部データ伝送路を通じて前記表示装置に出力する。 In order to solve the above problems and achieve the object, the present invention is a system in which image data generated by an image generator is output to a display device through an external data transmission path, and the display device is an HDR ( It has a display unit capable of displaying an image of High Dynamic Range) or an image of SDR (Standard Dynamic Range), and the image generator performs inverse conversion of the light emission characteristics of the display unit with respect to image data. It has a light emission characteristic inverse conversion means, the light emission characteristic of the display unit is close to the EOTF (Electro-Optical Transfer Foundation) of the HDR, and the bit accuracy of the image data output from the image generator is the external. When the HDR image is displayed on the display unit with a bit accuracy of the data transmission path or higher, the image data generated by the emission characteristic inverse conversion means is output to the display device through the external data transmission path. do.
また、本発明は、画像生成装置で生成された画像データが外部データ伝送路を通じて表示装置に出力されるシステムであって、前記表示装置は、HDR(High Dynamic Range)の画像またはSDR(Standard Dynamic Range)の画像を表示することが可能な表示部を有し、前記画像生成装置は、画像データをHDRのOETFに基づいて変換するHDR OETF(Optical-Electro Transfer Function)変換手段を有し、前記表示部の発光特性が前記HDRのEOTF(Electro-Optical Transfer Function)に近似しており、前記画像生成装置から出力される画像データのビット精度が、前記外部データ伝送路のビット精度以上であって、前記表示部に前記HDRの画像の表示を行う場合に、前記HDR OETF変換手段により生成された画像データを前記外部データ伝送路を通じて前記表示装置に出力する。 Further, the present invention is a system in which image data generated by an image generation device is output to a display device through an external data transmission path, and the display device is an HDR (High Dynamic Range) image or an SDR (Standard Dynamic). The image generator has an HDR OETF (Optical-Electro Transfer Function) conversion means for converting image data based on HDR OETF, and has a display unit capable of displaying a Range) image. The light emission characteristics of the display unit are close to the EOTF (Electro-Optical Transfer Function) of the HDR, and the bit accuracy of the image data output from the image generator is equal to or higher than the bit accuracy of the external data transmission path. When displaying the HDR image on the display unit, the image data generated by the HDR OETF conversion means is output to the display device through the external data transmission path.
本発明によれば、表示装置でHDRに伴う多ビット処理を行うことなくHDR表示が可能となる。 According to the present invention, HDR display becomes possible without performing multi-bit processing associated with HDR in the display device.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[比較例]まず、本実施形態の比較例の表示システムについて説明する。
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential for the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are given the same reference numbers, and duplicate explanations are omitted.
[Comparative Example] First, a display system of a comparative example of the present embodiment will be described.
図1は、本実施形態の比較例の表示システムの構成と画像の入力から表示までの処理の流れを示している。 FIG. 1 shows a configuration of a display system of a comparative example of the present embodiment and a flow of processing from image input to display.
画像入力部101から入力されたアナログ画像データは、AD(Analog Digital)変換部102でデジタルデータに変換される。デジタルデータに変換された画像データは、OETF(Optical-Electro Transfer Function)変換部103でOETF変換される。OETF変換された画像データは、DA(Digital Analog)変換部104でアナログデータに変換され、EOTF(Electro-Optical Transfer Function)変換部105でEOTF変換される。OETF変換とEOTF変換は、逆変換の関係になっている。EOTF変換された画像データは、表示部106で表示される。このような構成および処理の流れにより、画像入力部101から入力された画像データと同じ画像データが、表示部106に表示される。
The analog image data input from the
表示部106は、ブラウン管、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)等の表示素材を用いて構成されている。表示部106は、材料や構成により固有の発光特性を有している。ブラウン管素材は、ITU BT.709で定義されているEOTFに近い発光特性を有している。一方、表示部106は、人間の知覚に基づくEOTFが、SMPTE ST 2084で定義されている。EOTF変換部105は、入力される画像データを表示部106の発光特性に応じたEOTFで変換する。表示部106に画像を表示する場合、画像データに対して表示部106の発光特性に応じたEOTF変換が行われるため、入力画像には予めEOTFの逆変換となるOETF変換がOETF変換部103で実行される。
The
図8は、SMPTE ST 2084、ITU BT.709、有機EL素材の発光特性の各EOTFを例示する図である。図8において、縦軸はEOTFの出力である発光輝度、横軸はEOTFの入力である電気的な入力データのコード値を示している。有機EL素材の発光特性は、SMPTE ST 2084に非常によく似たカーブを描いている。有機EL素材の発光特性は、表示素材に電流を流すトランジスタのスイッチング特性に大きく依存しており、ある閾値から急激に発光輝度が増加する特性を有している。
FIG. 8 shows SMPTE ST 2084, ITU BT. 709, is a figure illustrating each EOTF of the light emission characteristic of an organic EL material. In FIG. 8, the vertical axis shows the emission luminance which is the output of EOTF, and the horizontal axis shows the code value of the electrical input data which is the input of EOTF. The emission characteristics of the organic EL material draw a curve very similar to
図9は、SMPTE ST 2084、ITU BT.709、有機EL素材の発光特性の各OETFを例示する図である。図9に示すOETFは、図8に示すEOTFの逆関数となっている。図9において、縦軸はOETFの出力であるコード値を、横軸はAD変換部102から出力された画像データをパーセンテージ換算した値で示している。AD変換部102の出力値は、物体の輝度レベルと線形の関係にある。
FIG. 9 shows
図10は、入力画像データの輝度レベルをパーセンテージ換算した値に対して、OETF変換部103の出力を8ビット、256階調にした場合の階調の割り当てを例示している。人間の知覚(視覚)は、明部より暗部の方が階調識別能力が高いため、SMPTE ST 2084では、1%以下の入力輝度レベルに0から130までの階調データが割り当てられている。SMPTE ST 2084のOETF変換は、暗部から明部に至るまで、人間の知覚を考慮したコード値が均等に割り振られているため、入力レンジを大きくしても階調破綻が発生しにくくなっている。これにより、SMPTE ST 2084は、HDR(High Dynamic Range)のOETFとして使用されている。
FIG. 10 illustrates the assignment of gradations when the output of the
一方、ITU BT.709は、1%以下の入力輝度レベルに0から11までの階調データしか割り当てられていないため、入力レンジを大きくすると、暗部での階調破綻が見え易くなる。ITU BT.709は、HDRに比較して入力レンジの狭いSDR(Standard Dynamic Range)のOETFとして使用されている。有機EL素材の発光特性は、SMPTE ST 2084と近似した特性を有している。これは、人間の知覚と有機EL素材の発光特性が近似していることを意味している。
On the other hand, ITU BT. Since only the gradation data from 0 to 11 is assigned to the input luminance level of 1% or less in the 709, when the input range is increased, the gradation failure in the dark part becomes easy to be seen. ITU BT. 709 is used as an OETF of SDR (Standard Dynamic Range) having a narrower input range than HDR. The emission characteristics of the organic EL material have characteristics similar to those of
以下では、画像生成装置としてカメラなどの撮像装置、表示装置としてカメラのEVFに適用したシステムの一例を説明するが、これに限るものではない。 Hereinafter, an example of a system applied to an image pickup device such as a camera as an image generation device and an EVF of a camera as a display device will be described, but the present invention is not limited thereto.
[実施形態1]次に、実施形態1について説明する。 [Embodiment 1] Next, the first embodiment will be described.
図2(a)は、実施形態1の表示システムの構成を例示するブロック図である。 FIG. 2A is a block diagram illustrating the configuration of the display system of the first embodiment.
実施形態1のシステムは、画像生成装置200、10ビット精度以下の外部データ伝送路220、表示装置240を含んでいる。画像生成装置200において、イメージング部201でイメージングデータを取得する。イメージング部201で取得されたイメージングデータは、AD変換部202によりアナログデータからデジタルデータに変換され、デジタルイメージングデータは、データ補正部203により傷やムラなどのイメージセンサに起因する欠陥の補正が行われる。データ補正部203により補正されたイメージングデータは、現像部204により画像データに変換され、OETF変換部205により、ITU BT.709やSMPTE ST 2084などの規格に準拠したOETFに変換される。OETF変換された画像データは、記録再生部206により記録媒体207に記憶される。
The system of the first embodiment includes an
発光特性逆変換部208は、表示部246に応じた発光特性変換部245の逆変換を行う。発光特性逆変換部208は、OETF変換部205によりOETF変換された画像データに発光特性逆変換を行う。SDR OETF変換部209は、OETF変換部205から出力される画像データがHDRのOETF変換が行われた画像データである場合は、SDRのOETF変換を行う。一方、記録媒体207から読み出されたデータは、記録再生部206により画像データとして再生される。発光特性逆変換部208は、記録再生部206により再生された画像データに発光特性逆変換を行う。また、SDR OETF変換部209は、再生された画像データがHDRのOETF変換された画像データであった場合は、SDRのOETF変換を行う。
The light emission characteristic
画像選択部210は、発光特性逆変換部208により生成された画像データとSDR OETF変換部209により生成された画像データのいずれかを選択する。画像選択部210により選択された画像データは、送信部211により画像生成装置200から外部機器に出力される。画像生成装置200から出力された画像データは、外部データ伝送路220を通じて表示装置240に入力される。外部データ伝送路220は、画像データ専用のデータ伝送路であり、MIPI(Mobile Industry Processor Interface)(登録商標)、LVDS(Low Voltage Differential Signaling)、subLVDS、HDMI(High-Definition Multimedia Interface)(登録商標)、Display Port(登録商標)、またはSDI(Serial Digital Interface)等が想定される。
The
表示装置240は、画像生成装置200から外部データ伝送路220を通じて出力された画像データを受信部241により受信する。発光特性逆変換部242は、受信部241により受信した画像データに表示部246の発光特性の逆変換を行う。画像選択部243は、画像生成装置200の画像選択部210がSDR OETF変換部209により生成された画像データを選択している場合は、発光特性逆変換部242により生成された画像データを選択する。画像生成装置200の画像選択部210が発光特性逆変換部208により生成された画像データを選択している場合は、受信部241により受信した画像データを選択する。画像選択部243から出力される画像データは、DA変換部244によりデジタルデータからアナログデータに変換される。DA変換部244により変換されたアナログデータは、発光特性変換部245により表示部246に応じた発光特性に変換され、表示部246に表示される。
The
次に、図2(b)を用いて、発光特性逆変換部208と発光特性逆変換部242の処理について説明する。図2(b)は、表示部246の画素がRGBで構成されている例を示しているが、CMYなどの他の画素で構成されている場合でも同様である。RGB画素は、それぞれ個別の発光特性を有しているため、発光特性逆変換部208a、208b、208cにおいてRGB各々の発光特性逆変換を行う。発光特性逆変換が行われたRGBデータは、WB(White Balance)部208dでホワイトバランスの調整が行われた後、出力される。発光特性逆変換とホワイトバランスの処理順序は、反対にしてもよく、また同時に行ってもよい。
Next, the processing of the light emission characteristic
次に、図2(c)を用いて、発光特性逆変換部208の入力画像データがYCC(輝度、色差)データの場合の発光特性逆変換部208の処理について説明する。YCC RGB変換部208eは、入力されたYCCデータをRGBデータに変換する。RGB変換後の処理は、図2(b)と同様である。WB部208でホワイトバランス調整されたRGBデータは、RGB YCC変換部208fでYCCデータに変換されて出力される。
Next, using FIG. 2C, processing of the light emission characteristic
表示装置240の発光特性逆変換部242は、表示部246の画素に対応したRGBデータを出力するため、RGB YCC変換部208fがない構成となる。
Since the light emission characteristic
次に、図3を用いて、画像生成装置200の画像選択部210が、発光特性逆変換部208により生成された画像データまたはSDR OETF変換部209により生成された画像データを選択する処理の手順について説明する。
Next, using FIG. 3, the
図3は、画像生成装置200の画像選択部210が、発光特性逆変換部208により生成された画像データまたはSDR OETF変換部209により生成された画像データを選択する処理を示すフローチャートである。
FIG. 3 is a flowchart showing a process in which the
S301で処理を開始した後、S302では、画像選択部210が表示部246の発光特性に基づく判定を行う。ここまでの説明では、HDRのEOTFをSMPTE ST 2084とし、SDRのEOTFをITU BT.709としてきたが、HDRのEOTFをSMPTE ST 2084に限定するものではない。EOTFの逆関数であるOETFが、SDRと比較して暗部階調の割り当てが多い場合、そのEOTFはHDRのEOTFになり得る。表示部246の発光特性とHDRのEOTFとの差の平方和が、表示部246の発光特性とSDRのEOTFとの差の平方和より小さいことを、発光特性がHDRのEOTFに近似していると定義する。
After starting the process in S301, in S302, the
図8で説明したように、有機EL素材の発光特性は、HDRのEOTFに近似している。一方、ブラウン管等の発光特性はSDRのEOTFに近似しており、HDRのEOTFには近似していない。よって、S302において、画像選択部210は、表示部246の発光特性がHDRのEOTFに近似していないと判定した場合は、S305において、SDR OETF変換部209により生成された画像データを選択する。また、S302において、画像選択部210は、表示部246の発光特性がHDRのEOTFに近似していると判定した場合は、S303において、OETF変換部205により生成された画像データのビット精度と外部データ伝送路220のビット精度を比較する。ビット精度とは、物理的なビット幅を意味するものではなく実質的なビット幅を意味する。例えば、10ビット幅に8ビットデータと残り2ビットに0詰めした場合は、8ビット精度となる。S303において、画像選択部210は、OETF変換部205により生成された画像データのビット精度が外部データ伝送路220のビット精度より小さいと判定した場合は、S305において、SDR OETF変換部209により生成された画像データを選択する。また、S303において、画像選択部210は、OETF変換部205により生成された画像データのビット精度が外部データ伝送路220のビット精度以上であると判定した場合は、S304において、表示する画像がHDRか否かを判定する。S304において、画像選択部210は、表示する画像がHDRではないと判定した場合は、S305において、SDR OETF変換部209により生成された画像データを選択する。また、S304において、画像選択部210は、表示する画像がHDRであると判定した場合は、S306において、発光特性逆変換部208により生成された画像データを選択する。その後、S307において処理を終了する。
As described with reference to FIG. 8, the emission characteristics of the organic EL material are similar to HDR EOTF. On the other hand, the emission characteristics of the cathode ray tube and the like are close to the EOTF of SDR and not to the EOTF of HDR. Therefore, in S302, when the
なお、図3では、画像選択部210が発光特性逆変換部208により生成された画像データまたはSDR OETF変換部209により生成された画像データを選択する処理を説明した。外部データ伝送路220の画像データのOETFの種類を統一するため、あるいは、発光特性逆変換の処理コストの観点から、表示装置240よりも画像生成装置200で処理した方がよい等の理由で、画像選択部210が常に発光特性逆変換部208により生成された画像データを選択するとしてもよい。
In FIG. 3, the process of selecting the image data generated by the light emission characteristic
図3におけるS302とS303の判定条件は、表示システムの構成要素である画像生成装置200、外部データ伝送路220、表示装置240を選択した段階で確定され、表示システムの動作中に動的に選択されるものではない。
The determination conditions of S302 and S303 in FIG. 3 are determined at the stage of selecting the
また、表示部246に表示する画像データは、DA変換部443によるDA変換前に発光特性の逆変換を行う必要がある。本実施形態では、階調破綻が発生しやすいHDR表示を行う場合は、外部データ伝送路220のビット精度以上であるOETF変換部205により生成された画像データに対してHDRのOETFに近似した発光特性の逆変換を行う。これにより、量子化誤差や計算誤差を小さくし、表示画像の階調破綻を最小限にすることが可能となる。
Further, the image data displayed on the
[実施形態2]次に、実施形態2について説明する。 [Embodiment 2] Next, the second embodiment will be described.
図4は、実施形態2の表示システムの構成を例示するブロック図である。 FIG. 4 is a block diagram illustrating the configuration of the display system of the second embodiment.
実施形態2のシステムは、画像生成装置400、10ビット精度以下の外部データ伝送路420、表示装置440を含んでいる。画像生成装置400において、イメージング部401でイメージングデータを取得する。イメージング部401で取得されたイメージングデータは、AD変換部402によりアナログデータからデジタルデータに変換される。デジタルイメージングデータは、データ補正部403により、傷やムラなどのセンサーに起因する欠陥の補正が行われる。データ補正部403により補正されたイメージングデータは、現像部404により画像データに変換され、OETF変換部405により、ITU BT.709やSMPTE ST 2084などの規格に準拠したOETFに変換される。OETF変換された画像データは、記録再生部406により記録媒体407に記憶される。
The system of the second embodiment includes an
HDR OETF変換部408は、OETF変換部405から出力される画像データがSDRのOETF変換が行われた画像データである場合は、HDRのOETF変換を行う。SDR OETF変換部409は、OETF変換部405により生成された画像データがHDRのOETF変換を行った画像データである場合は、SDRのOETF変換を行う。また、記録媒体407から読み出された画像データは、記録再生部406により画像データとして再生される。HDR OETF変換部408は、記録再生部406により再生された画像データがSDRのOETF変換を行った画像データである場合は、HDRのOETF変換を行う。SDR OETF変換部409は、記録再生部406により再生された画像データがHDRのOETF変換を行った画像データである場合は、SDRのOETF変換を行う。
When the image data output from the
画像選択部410は、HDR OETF変換部408により生成された画像データとSDR OETF変換部409により生成された画像データのいずれかを選択する。画像選択部410により選択された画像データは、送信部411により画像生成装置400から外部機器に出力される。画像生成装置400から出力された画像データは、外部データ伝送路420を通じて表示装置440に入力される。外部データ伝送路420は、画像データ専用のデータ伝送路であり、MIPI(登録商標)、LVDS、subLVDS、HDMI(登録商標)、Display Port(登録商標)、またはSDI等が想定される。
The
表示装置440は、受信部441により画像データを受信する。受信部441により受信した画像データは、発光特性逆変換部442により発光特性の逆変換が行われる。発光特性の逆変換が行われた画像データは、DA変換部443によりデジタルデータからアナログデータに変換させる。DA変換部443によりDA変換されたアナログデータは、発光特性変換部444により表示部445に応じた発光特性に変換され、表示部445に表示される。発光特性逆変換部442は、図2(b)および図2(c)に示した発光特性逆変換部242の処理と同様に、RGB各々の発光特性逆変換やホワイトバランス調整、YCCからRGBへの変換等を行う。
The
次に、図5を用いて、画像生成装置400の画像選択部410が、HDR OETF変換部408により生成された画像データまたはSDR OETF変換部409により生成された画像データを選択する処理の手順について説明する。
Next, with reference to FIG. 5, the procedure of the process in which the
図5は、画像生成装置400の画像選択部410が、HDR OETF変換部408により生成された画像データまたはSDR OETF変換部409により生成された画像データを選択する処理を示すフローチャートである。
FIG. 5 is a flowchart showing a process in which the
S501で処理を開始した後、S502では、画像選択部410は、表示部445の発光特性に基づく判定を行う。画像選択部410は、表示部445の発光特性がHDRのEOTFに近似していないと判定した場合は、S505において、SDR OETF変換部409により生成された画像データを選択する。また、画像選択部410は、表示部445の発光特性がHDRのEOTFに近似していると判定した場合は、S503において、OETF変換部405により生成された画像データのビット精度と外部データ伝送路420のビット精度を比較する。画像選択部410は、OETF変換部405の出力のビット精度が外部データ伝送路420のビット精度より小さいと判定した場合は、S505において、SDR OETF変換部409により生成された画像データを選択する。画像選択部410は、OETF変換部405により生成された画像データのビット精度が外部データ伝送路420のビット精度以上であると判定した場合は、S504において、表示する画像がHDRか否かを判定する。画像選択部410は、表示する画像がHDRではないと判定した場合は、S505において、SDR OETF変換部409により生成された画像データを選択する。また、画像選択部410は、表示する画像がHDRであると判定した場合は、S506において、HDR OETF変換部408により生成された画像データを選択する。その後、S507において処理を終了する。
After starting the process in S501, in S502, the
なお、図5では、画像生成装置400の画像選択部410がHDR OETF変換部408により生成された画像データまたはSDR OETF変換部409により生成された画像データを選択する処理を説明した。外部データ伝送路420の画像データのOETFの種類を統一するため等の理由により、画像選択部410が常にHDR OETF変換部408により生成された画像データを選択するとしてもよい。
In FIG. 5, the process of selecting the image data generated by the HDR
図5におけるS502とS503の判定条件は、表示システムの構成要素である画像生成装置400、外部データ伝送路420、表示装置440を選択した段階で確定され、表示システムの動作中に動的に選択されるものではない。
The determination conditions of S502 and S503 in FIG. 5 are determined at the stage of selecting the
実施形態1と比較して、実施形態2は、発光特性逆変換部208がHDR OETF変換部408に置換されている。ブラウン管等の発光特性を想定してITU BT.709のようなEOTFが規格化されている一方、有機EL等の発光特性を想定したEOTFは規格化されていない。表示素材の発光特性は、表示部445の温度や印加する電圧等の環境差や表示部ごとの個体差により変化するため、それらの差を補正する必要がある。画像生成装置400は、外部データ伝送路420を通じて表示装置440に接続され、画像生成装置400と表示装置440は、それぞれ独立しており、複数の画像生成装置と複数の表示装置から選択し組み合わせて使用することが想定される。このような組み合わせを考慮すると、表示部445の表示素材に依存する発光特性の補正は、表示装置で行う方が制御が簡易となる場合がある。つまり、表示部445の発光特性への逆変換は表示装置440で行い、外部データ伝送路420の画像データは、既存の規格に準拠したデータにしたい場合が想定される。このような場合には、有機EL等の発光特性に近似したHDRのOETFを選択することにより、表示装置440での発光特性逆変換の量子化誤差や計算誤差を小さくし、表示画像の階調破綻を最小限にすることが可能となる。
Compared with the first embodiment, in the second embodiment, the light emission characteristic
[実施形態3]次に、実施形態3について説明する。 [Embodiment 3] Next, the third embodiment will be described.
図6は、実施形態3の表示システムの構成を例示するブロック図である。 FIG. 6 is a block diagram illustrating the configuration of the display system of the third embodiment.
実施形態3のシステムは、画像生成装置600、10ビット精度以下の外部データ伝送路620、表示装置640を含んでいる。画像生成装置600は、外部機器から入力される画像データを受信部601により受信する。画像処理部602は、受信部601により受信した画像データに画像処理を行う。例えば、本実施形態の表示システムがVR(Virtual Reality)グラスや電子双眼鏡のように、表示部644の後段でレンズを通じて表示画像を見せる場合、レンズの歪みを補正する場合がある。このようなレンズの歪み補正は、画像処理部602により行われる。画像処理されたデータは、発光特性逆変換部603により、表示装置640の表示部644に基づく発光特性変換部643の逆変換が行われる。発光特性の逆変換が行われた画像データは、送信部604により画像生成装置600から外部機器に出力される。送信部604により出力された画像データは、外部データ伝送路620を通じて表示装置640に入力される。外部データ伝送路620は、画像データ専用のデータ伝送路であり、MIPI(登録商標)、LVDS、subLVDS、HDMI(登録商標)、Display Port(登録商標)、またはSDI等が想定される。
The system of the third embodiment includes an
表示装置640は、受信部641により画像データを受信する。受信部641により受信された画像データは、DA変換部642によりデジタルデータからアナログデータに変換される。DA変換部642により変換されたアナログデータは、発光特性変換部643により表示部644に応じた発光特性に変換され、表示部644に表示される。
The
このように、本実施形態の表示システムがVRグラスや電子双眼鏡のように、表示部644の後段でレンズを通じて表示画像を見せる場合であっても、レンズの歪みを補正しつつ、HDR表示の階調破綻を最小限にすることが可能となる。
As described above, even when the display system of the present embodiment shows the display image through the lens at the rear stage of the
[実施形態4]次に、実施形態4について説明する。 [Embodiment 4] Next, the fourth embodiment will be described.
図7は、実施形態4の表示システムの構成を例示するブロック図である。 FIG. 7 is a block diagram illustrating the configuration of the display system of the fourth embodiment.
実施形態4のシステムは、画像生成装置700、10ビット精度以下の外部データ伝送路720、表示装置740を含んでいる。画像生成装置700は、外部機器から入力される画像データを受信部701により受信する。画像処理部702は、受信部701により受信した画像データに画像処理を行う。画像処理されたデータは、HDR OETF変換部703によりHDRのOETFに変換される。HDRのOETFに変換された画像データは、送信部704により画像生成装置700から外部機器に出力される。送信部704により出力された画像データは、外部データ伝送路720を通じて表示装置740に入力される。外部データ伝送路720は、画像データ専用のデータ伝送路であり、MIPI(登録商標)、LVDS、subLVDS、HDMI(登録商標)、Display Port(登録商標)、またはSDI等が想定される。
The system of the fourth embodiment includes an
表示装置740は、受信部741により画像データを受信する。受信部741により受信した画像データは、発光特性逆変換部742により発光特性の逆変換が行われる。発光特性の逆変換が行われた画像データは、DA変換部743によりデジタルデータからアナログデータに変換される。DA変換部743により変換されたアナログデータは、発光特性変換部744により表示部745に応じた発光特性に変換され、表示部745に表示される。
The
実施形態3と比較して、実施形態4は、発光特性逆変換部603がHDR OETF変換部703に置換されている。このように、本実施形態の表示システムがVRグラスや電子双眼鏡のように、表示部644の後段でレンズを通じて表示画像を見せる場合であっても、レンズの歪みを補正しつつ、HDR表示の階調破綻を最小限にすることが可能となる。
Compared with the third embodiment, in the fourth embodiment, the light emission characteristic
本実施形態では、実施形態3のような表示システムにおいて、表示部745の発光特性への逆変換は表示装置740で行い、外部データ伝送路720の画像データは、既存の規格に準拠したデータにしたい場合に有効である。
In the present embodiment, in the display system as in the third embodiment, the reverse conversion of the
[実施形態5]次に、実施形態5について説明する。 [Embodiment 5] Next, the fifth embodiment will be described.
図11は、実施形態5の表示システムの構成を例示するブロック図である。 FIG. 11 is a block diagram illustrating the configuration of the display system of the fifth embodiment.
実施形態5のシステムは、10ビット精度以上での処理が可能な画像生成装置700、10ビット精度以下の外部データ伝送路720、SDR規格に準拠した色域(ITU BT.709)に対応した表示装置740を含んでいる。画像生成装置700は、外部機器から入力される画像データを受信部701により受信する。画像処理部702は、受信部701により受信した画像データに画像処理を行う。画像処理されたデータは、HDR OETF変換部703によりHDRのOETFに変換される。色域変換部1101は表示装置740の表示性能に合わせた色域に変換し、かつ外部データ伝送路720のビット精度に変換する。図12に示すように、色域変換部1101は、逆ガンマ変換部1201、色域演算部1202、ガンマ変換部1203を備える。
The system of the fifth embodiment is an
次に、図13に示すOETF、図14に示す色度特性を用いて色域変換部1101の構成について説明する。
Next, the configuration of the color
色域変換の演算を行うには、OETF処理を施していない線形特性の画像データが必要であるため、逆ガンマ変換部1201は、HDR OETF変換部703により変換されたOETFの逆変換処理を行う。色域演算部1202は、色域変換のための演算を行い、ガンマ変換部1203は、再度、HDR OETF変換部703で設定したOETFに変換する。
Since image data having linear characteristics not subjected to OETF processing is required to perform the color gamut conversion calculation, the inverse
例えば、HDR規格に準拠した色域(ITU BT.2100)の画像データを記録しつつ、ITU BT.709に対応した表示装置に画像を表示する場合、逆ガンマ変換部1201は、SMPTE ST 2084の特性1301を線形特性1302の画像データに変換し、色域演算部1202は、ITU BT.2100の色域1401からITU BT.709の色域1402への変換を行う。ガンマ変換部1203は、線形特性1302の画像データをSMPTE ST 2084の特性1301に変換する。
For example, while recording image data in a color gamut (ITU BT. 2100) conforming to the HDR standard, ITU BT. When displaying an image on a display device corresponding to 709, the inverse
HDRのOETF、SDRの色域に変換された画像データは、送信部704により画像生成装置700から外部機器に出力される。送信部704から出力された画像データは、外部データ伝送路720を通じて表示装置740に入力される。外部データ伝送路720は、画像データ専用のデータ伝送路であり、MIPI(登録商標)、LVDS、subLVDS、HDMI(登録商標)、Display Port(登録商標)、またはSDI等が想定される。
The image data converted into the HDR OETF and SDR color gamuts is output from the
表示装置740は、受信部741により画像データを受信する。受信部741により受信した画像データは、発光特性逆変換部742により発光特性の逆変換処理が行われる。発光特性の逆変換処理が行われた画像データは、DA変換部743によりデジタルデータからアナログデータに変換される。DA変換部743により変換されたアナログデータは、発光特性変換部744により表示部745に応じた発光特性に変換され、表示部745に表示される。
The
このように、外部データ伝送路720の画像データとして、既存の規格に準拠した画像データ、本実施形態ではOLED等の発光特性に近いHDRのOETFが選択された場合には、色域についてもHDRの規格に準拠したITU BT.2100によるデータ転送が望ましい。この場合、ITU BT.2100からITU BT.709の色域変換処理を、10ビット以下の表示装置で行うことになる。
As described above, when the image data of the external
外部データ伝送路720の画像データは、色域がSDR相当のITU BT.709、ガンマがHDR相当のSMPTE ST 2084となり、HDRやSDR等の規格に準拠したデータではなくなるが、色域変換処理を10ビット以上の処理に対応した画像生成装置で行うことで、精度の高い変換処理が可能となる。
The image data of the external
なお、本実施形態は、上述した実施形態2の図4の画像生成装置400や実施形態3の図6の画像生成装置600に組み合わせることも可能である。その場合、図4の画像生成装置400のHDR OETF変換部408や図6の画像生成装置600の発光特性逆変換部603により生成された画像データを、色域変換部1101により表示装置の表示性能に合わせた色域に変換し、かつ外部データ伝送路のビット精度に変換すればよい。
It should be noted that this embodiment can also be combined with the
また、EVFには、撮影前の被写体の確認というOVFを踏襲した機能以外に、メモリカード等に記録された画像データをEVFに表示する再生モードがある。メモリカード等に記録された画像ファイルについても、SDR、HDRをはじめ、人間の視覚特性に近い輝度特性を謳うフォーマットが多数存在している。これらのフォーマットは、最高輝度や輝度特性が異なるものである。これらのフォーマットをそのままEVFに表示した場合、例えばSDRは非常に暗く、HDRは明るく表示される。また、HDRごとの最高輝度の違いによっても、画像ごとに明暗差が生じる。EVF側で表示パネルに印加する電流量を変えることで、表示輝度の調整はできるが、発光特性にも影響が及ぶため、入力画像ごとにガンマ調整が必要となる。 The EVF also has a playback mode for displaying image data recorded on a memory card or the like on the EVF, in addition to the function of confirming the subject before shooting, which follows the OVF. As for image files recorded on memory cards and the like, there are many formats such as SDR and HDR that claim luminance characteristics close to those of human vision. These formats differ in maximum luminance and luminance characteristics. When these formats are displayed on the EVF as they are, for example, SDR is displayed very dark and HDR is displayed bright. In addition, the difference in maximum brightness for each HDR also causes a difference in brightness for each image. The display brightness can be adjusted by changing the amount of current applied to the display panel on the EVF side, but the emission characteristics are also affected, so gamma adjustment is required for each input image.
[実施形態6]次に、実施形態6について説明する。 [Embodiment 6] Next, the sixth embodiment will be described.
図15は、上述した画像ごとの明暗差を解消するための実施形態6の表示システムの構成を例示するブロック図である。 FIG. 15 is a block diagram illustrating the configuration of the display system of the sixth embodiment for eliminating the difference in brightness for each image described above.
実施形態6のシステムは、10ビット精度以上での処理が可能な画像生成装置700、10ビット精度以下の外部データ伝送路720、SDR規格に準拠した色域(ITU BT.709)に対応した表示装置740を含んでいる。画像生成装置700は、外部機器から入力される画像データを受信部701により受信する。画像処理部702は、受信部701により受信した画像データに画像処理を行う。画像処理されたデータは、HDR OETF変換部703によりHDRのOETFに変換される。ゲイン付加部1501は、ゲイン設定部1502により設定されたゲイン値を用いて、入力データに表示装置740に表示する輝度を調整するためのゲインを付加する。図16に示すように、ゲイン付加部1501は、逆ガンマ変換部1601、ゲイン演算部1602、ガンマ変換部1603を備える。
The system of the sixth embodiment is an
次に、図13に示すOETFを用いてゲイン付加部1501の構成について説明する。ゲインを付加するための演算を行うには、OETF処理を施していない線形特性の画像データが必要である。このため、逆ガンマ変換部1601は、HDR OETF変換部703により変換されたOETFの逆変換処理を行う。ゲイン演算部1602は、ゲインを付加するための演算を行う。ガンマ変換部1603は、再度、HDR OETF変換部703で設定したOETFに変換する。
Next, the configuration of the
詳しくは、ゲイン演算部1602は、ユーザ操作等、図15に示すゲイン設定部1502により設定されたゲイン値を用いて、入力データにゲイン値を乗算することにより、ゲインを付加した結果を出力する。例えば、以下の式1を用いて、R、G、B各々の入力データrin、gin、binに対し、ゲイン値xを乗算し、データrout、gout、boutを出力する。
(式1)
rout=x*rin
gout=x*gin
bout=x*bin
HDRのOETF、SDRの色域に変換された画像データは、送信部704により画像生成装置700から外部機器に出力される。送信部704から出力された画像データは、外部データ伝送路720を通じて表示装置740に入力される。外部データ伝送路720は、画像データ専用のデータ伝送路であり、MIPI(登録商標)、LVDS、subLVDS、HDMI(登録商標)、Display Port(登録商標)、またはSDI等が想定される。
Specifically, the
(Equation 1)
runout = x * rin
gout = x * gin
out = x * bin
The image data converted into the HDR OETF and SDR color gamuts is output from the
表示装置740は、受信部741により画像データを受信する。受信部741により受信した画像データは、発光特性逆変換部742により発光特性の逆変換処理が行われる。発光特性の逆変換処理が行われた画像データは、DA変換部743によりデジタルデータからアナログデータに変換される。DA変換部743により変換されたアナログデータは、発光特性変換部744により表示部745に応じた発光特性に変換され、表示部745に表示される。
The
このように、画像処理エンジン側のリニアな空間でゲインをかけることで、SDR、HDR等が混在するコンテンツにおいても、OLEDの最高輝度に準じた明暗差のない表示が可能になる。 In this way, by applying the gain in the linear space on the image processing engine side, even in the content in which SDR, HDR, etc. are mixed, it is possible to display the content according to the maximum brightness of the OLED without any difference in brightness.
[実施形態7]次に、実施形態7について説明する。 [Embodiment 7] Next, the seventh embodiment will be described.
図17は、上述した画像ごとの明暗差を解消するための実施形態7の表示システムの構成を例示するブロック図である。 FIG. 17 is a block diagram illustrating the configuration of the display system of the seventh embodiment for eliminating the difference in brightness for each image described above.
実施形態7のシステムは、10ビット精度以上での処理が可能な画像生成装置700、10ビット精度以下の外部データ伝送路720、SDR規格に準拠した色域(ITU BT.709)に対応した表示装置740を含んでいる。画像生成装置700は、外部機器から入力される画像データを受信部701により受信する。画像処理部702は、受信部701により受信した画像データに画像処理を行う。画像処理されたデータは、HDR OETF変換部703によりHDRのOETFに変換される。色域変換部1101は表示装置740の表示性能に合わせた色域に変換し、かつ外部データ伝送路720のビット精度に変換する。また、ゲイン設定部1702は、色域変換部1101による色域変換の演算に用いるがゲイン値を設定する。図12に示したように、色域変換部1101は、逆ガンマ変換部1201、色域演算部1202、ガンマ変換部1203を備える。
The system of the seventh embodiment is an
次に、図13に示すOETF、図14に示す色度特性を用いて色域変換部1101の構成について説明する。
Next, the configuration of the color
色域変換の演算を行うには、OETF処理を施していない線形特性の画像データが必要である。このため、逆ガンマ変換部1201は、HDR OETF変換部703により変換されたOETFの逆変換処理を行う。色域演算部1202は、色域変換のための演算を行う。ガンマ変換部1203は、再度、HDR OETF変換部703で設定したOETFに変換する。
In order to perform the color gamut conversion operation, image data having linear characteristics without OETF processing is required. Therefore, the inverse
例えば、HDR規格に準拠した色域(ITU BT.2100)の画像データを記録しつつ、ITU BT.709に対応した表示装置に画像を表示する場合、逆ガンマ変換部1201は、SMPTE ST 2084の特性1301を線形特性1302の画像データに変換し、色域演算部1202は、ITU BT.2100の色域1401からITU BT.709の色域1402への変換を行う。例えば、以下の式2を用いて、R、G、B各々の入力データrin、gin、binに対し、係数a~iの3x3マトリクス演算を行い、データrout、gout、boutを出力する。
(式2)
また、色域演算部1202は、ゲイン演算の機能を有し、ユーザ操作等、図17に示すゲイン設定部1702により設定したゲイン値を用いて、色域演算部1202のマトリクス係数一律にゲイン値を乗算することにより、ゲインを付加した結果を出力する。例えば、以下の式3を用いて、R、G、B各々の入力データrin、gin、binに対し、ゲイン値xを乗算した係数a*x~i*xのマトリクス演算を行い、データrout’、gout’、bout’を出力する。
(式3)
ガンマ変換部1203は、線形特性1302の画像データをSMPTE ST 2084の特性1301に変換する。
For example, while recording image data in a color gamut (ITU BT. 2100) conforming to the HDR standard, ITU BT. When displaying an image on a display device corresponding to 709, the inverse
(Equation 2)
Further, the color
(Equation 3)
The
HDRのOETF、SDRの色域に変換された画像データは、送信部704により画像生成装置700から外部機器に出力される。送信部704から出力された画像データは、外部データ伝送路720を通じて表示装置740に入力される。外部データ伝送路720は、画像データ専用のデータ伝送路であり、MIPI(登録商標)、LVDS、subLVDS、HDMI(登録商標)、Display Port(登録商標)、またはSDI等が想定される。
The image data converted into the HDR OETF and SDR color gamuts is output from the
表示装置740は、受信部741により画像データを受信する。受信部741により受信した画像データは、発光特性逆変換部742により発光特性の逆変換処理が行われる。発光特性の逆変換処理が行われた画像データは、DA変換部743によりデジタルデータからアナログデータに変換される。DA変換部743により変換されたアナログデータは、発光特性変換部744により表示部745に応じた発光特性に変換され、表示部745に表示される。
The
このように、画像処理エンジン側のリニアな空間でゲインをかけることで、SDR、HDR等が混在するコンテンツにおいても、OLEDの最高輝度に準じた明暗差のない表示が可能になる。 In this way, by applying the gain in the linear space on the image processing engine side, even in the content in which SDR, HDR, etc. are mixed, it is possible to display the content according to the maximum brightness of the OLED without any difference in brightness.
[他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiment, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to publicize the scope of the invention.
200、400、600、700…画像生成装置、240、440、640、740…表示装置、208、242、442、603、742…発光特性逆変換部、220、420、620、720…外部データ伝送路、246、445、644、745…表示部 200, 400, 600, 700 ... Image generator, 240, 440, 640, 740 ... Display device, 208, 242, 442, 603, 742 ... Emission characteristic inverse converter, 220, 420, 620, 720 ... External data transmission Road, 246, 445, 644, 745 ... Display unit
Claims (29)
画像データに対して前記表示部の発光特性の逆変換を行う発光特性逆変換手段と、
前記表示部の発光特性が前記HDRのEOTF(Electro-Optical Transfer Function)に近似しており、前記画像生成装置から出力される画像データのビット精度が、前記外部データ伝送路のビット精度以上であって、前記表示部に前記HDRの画像の表示を行う場合に、前記発光特性逆変換手段により生成された画像データを前記外部データ伝送路を通じて前記表示装置に送信する送信手段と、を有することを特徴とする画像生成装置。 An image generation device that outputs image data through an external data transmission path to a display device having a display unit capable of displaying an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image. ,
A light emission characteristic inverse conversion means that reversely converts the light emission characteristics of the display unit with respect to image data,
The light emitting characteristics of the display unit are close to the EOTF (Electro-Optical Transfer Function) of the HDR, and the bit accuracy of the image data output from the image generator is equal to or higher than the bit accuracy of the external data transmission path. Further, when displaying the HDR image on the display unit, the display unit has a transmission means for transmitting the image data generated by the light emission characteristic inverse conversion means to the display device through the external data transmission path. A featured image generator.
画像データをHDRのOETFに基づいて変換するHDR OETF(Optical-Electro Transfer Function)変換手段と、
前記表示部の発光特性が前記HDRのEOTF(Electro-Optical Transfer Function)に近似しており、前記画像生成装置から出力される画像データのビット精度が、前記外部データ伝送路のビット精度以上であって、前記表示部に前記HDRの画像の表示を行う場合に、前記HDR OETF変換手段により生成された画像データを前記外部データ伝送路を通じて前記表示装置に送信する送信手段と、を有することを特徴とする画像生成装置。 An image generation device that outputs image data through an external data transmission path to a display device having a display unit capable of displaying an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image. ,
HDR OETF (Optical-Electro Transfer Function Function) conversion means for converting image data based on HDR OETF, and
The light emitting characteristics of the display unit are close to the EOTF (Electro-Optical Transfer Function) of the HDR, and the bit accuracy of the image data output from the image generator is higher than the bit accuracy of the external data transmission path. Further, when displaying the HDR image on the display unit, the display unit includes a transmission means for transmitting the image data generated by the HDR OETF conversion means to the display device through the external data transmission path. Image generator.
画像データをSDRのOETFに基づいて変換するSDR OETF変換手段と、をさらに有し、
前記発光特性逆変換手段は、前記HDR OETF変換手段により生成された画像データに対して前記表示部の発光特性の逆変換を行うことを特徴とする請求項1に記載の画像生成装置。 HDR OETF conversion means for converting image data based on HDR OETF,
Further, it has an SDR OETF conversion means for converting image data based on the SDR OETF.
The image generation device according to claim 1, wherein the light emission characteristic reverse conversion means performs reverse conversion of the light emission characteristics of the display unit with respect to the image data generated by the HDR OETF conversion means.
画像データをSDRのOETFに基づいて変換するSDR OETF変換手段と、をさらに有し、
前記HDR OETF変換手段は、前記OETF変換手段により生成された画像データが前記SDRのOETFに基づく画像データであった場合は、前記HDRのOETFに基づく画像データに変換し、
前記SDR OETF変換手段は、前記OETF変換手段により生成された画像データが前記HDRのOETFに基づく画像データであった場合は、前記SDRのOETFに基づく画像データに変換することを特徴とする請求項2に記載の画像生成装置。 OETF conversion means for converting image data based on OETF,
Further, it has an SDR OETF conversion means for converting image data based on the SDR OETF.
When the image data generated by the OETF conversion means is the image data based on the SDR OETF, the HDR OETF conversion means converts the image data into the image data based on the HDR OETF.
The SDR OETF conversion means is characterized in that, when the image data generated by the OETF conversion means is the image data based on the OETF of the HDR, the SDR OETF conversion means converts the image data into the image data based on the OETF of the SDR. 2. The image generator according to 2.
前記HDRのEOTFはSMPTE STANDARD 2084であり、
前記SDRのEOTFはRECOMMENDATION ITU-R BT.709であることを特徴とする請求項3に記載の画像生成装置。 The display unit is an organic EL and is
The HDR EOTF is SMPTE STANDARD 2084.
The SDR EOTF is RECOMMENDATION ITU-R BT. The image generator according to claim 3, wherein the image is 709.
MIPI(Mobile Industry Processor Interface)(登録商標)、LVDS(Low Voltage Differential Signaling)、subLVDS、HDMI(High-Definition Multimedia Interface)(登録商標)、Display Port(登録商標)、またはSDI(Serial Digital Interface)であることを特徴とする請求項1から6のいずれか1項に記載の画像生成装置。 The external data transmission line has a bit accuracy of 10 bits or less, and has a bit accuracy of 10 bits or less.
With MIPI (Mobile Industry Processor Interface) (registered trademark), LVDS (Low Voltage Differential Signaling), subLVDS, HDMI (High-Definition Multimedia Interface) (registered trademark), DisplayPort (registered trademark), or SDI (Serial Digital Interface). The image generator according to any one of claims 1 to 6, wherein the image generator is provided.
前記色域変換手段は、
前記発光特性逆変換手段により生成された画像データから線形のガンマに変換する逆ガンマ変換手段と、
前記逆ガンマ変換手段により生成された画像データから前記表示部の色域に変換する色域演算手段と、
前記色域演算手段により求められた画像データから前記発光特性逆変換手段により生成された画像データと同様のガンマに変換するガンマ変換手段と、を含むことを特徴とする請求項1に記載の画像生成装置。 Further, it has a color gamut conversion means for converting the image data generated by the light emission characteristic inverse conversion means into a color gamut that matches the display performance of the display unit.
The color gamut conversion means is
An inverse gamma conversion means for converting image data generated by the emission characteristic inverse conversion means into linear gamma, and an inverse gamma conversion means.
A color gamut calculation means for converting image data generated by the inverse gamma conversion means into the color gamut of the display unit, and
The image according to claim 1, further comprising a gamma conversion means for converting image data obtained by the color gamut calculation means into gamma similar to the image data generated by the emission characteristic inverse conversion means. Generator.
前記色域変換手段は、
前記HDR OETF変換手段により生成された画像データから線形のガンマに変換する逆ガンマ変換手段と、
前記逆ガンマ変換手段により生成された画像データから前記表示部の色域に変換する色域演算手段と、
前記色域演算手段により求められた画像データから前記HDR OETF変換手段により生成された画像データと同様のガンマに変換するガンマ変換手段と、を含むことを特徴とする請求項2または5に記載の画像生成装置。 Further, it has a color gamut conversion means for converting the image data generated by the HDR OETF conversion means into a color gamut that matches the display performance of the display unit.
The color gamut conversion means is
An inverse gamma conversion means for converting image data generated by the HDR OETF conversion means into linear gamma, and an inverse gamma conversion means.
A color gamut calculation means for converting image data generated by the inverse gamma conversion means into the color gamut of the display unit, and
The second or fifth aspect of claim 2 or 5, wherein the gamma conversion means for converting the image data obtained by the color gamut calculation means into the same gamma as the image data generated by the HDR OETF conversion means is included. Image generator.
前記色域変換手段は、
前記発光特性逆変換手段により生成された画像データから線形のガンマに変換する逆ガンマ変換手段と、
前記逆ガンマ変換手段により生成された画像データに対しゲインを付加するゲイン演算手段と、
前記ゲイン演算手段により求められた画像データから前記発光特性逆変換手段により生成された画像データと同様のガンマに変換するガンマ変換手段と、を含むことを特徴とする請求項1に記載の画像生成装置。 Further, it has a color gamut conversion means for converting the image data generated by the light emission characteristic inverse conversion means into a color gamut that matches the display performance of the display unit.
The color gamut conversion means is
An inverse gamma conversion means for converting image data generated by the emission characteristic inverse conversion means into linear gamma, and an inverse gamma conversion means.
A gain calculation means for adding a gain to the image data generated by the inverse gamma conversion means, and a gain calculation means.
The image generation according to claim 1, further comprising a gamma conversion means for converting image data obtained by the gain calculation means into gamma similar to the image data generated by the emission characteristic inverse conversion means. Device.
前記色域変換手段は、
前記HDR OETF変換手段により生成された画像データから線形のガンマに変換する逆ガンマ変換手段と、
前記逆ガンマ変換手段により生成された画像データに対しゲインを付加するゲイン演算手段と、
前記ゲイン演算手段により求められた画像データから前記HDR OETF変換手段により生成された画像データと同様のガンマに変換するガンマ変換手段と、を含むことを特徴とする請求項2または5に記載の画像生成装置。 Further, it has a color gamut conversion means for converting the image data generated by the HDR OETF conversion means into a color gamut that matches the display performance of the display unit.
The color gamut conversion means is
An inverse gamma conversion means for converting image data generated by the HDR OETF conversion means into linear gamma, and an inverse gamma conversion means.
A gain calculation means for adding a gain to the image data generated by the inverse gamma conversion means, and a gain calculation means.
The image according to claim 2 or 5, further comprising a gamma conversion means for converting image data obtained by the gain calculation means into gamma similar to the image data generated by the HDR OETF conversion means. Generator.
前記第1の画像選択手段により選択された画像データが前記外部データ伝送路を通じて前記表示装置に出力されることを特徴とする請求項4に記載の画像生成装置。 Further having a first image selection means for selecting either the image data generated by the light emission characteristic inverse conversion means or the image data generated by the SDR OETF conversion means.
The image generation device according to claim 4, wherein the image data selected by the first image selection means is output to the display device through the external data transmission path.
前記第1の画像選択手段により選択された画像データが前記外部データ伝送路を通じて前記表示装置に出力されることを特徴とする請求項5に記載の画像生成装置。 Further having a first image selection means for selecting one of the image data generated by the HDR OETF conversion means and the image data generated by the SDR OETF conversion means.
The image generation device according to claim 5, wherein the image data selected by the first image selection means is output to the display device through the external data transmission path.
前記第1の画像選択手段は、前記OETF変換手段により生成された画像データのビット精度が前記外部データ伝送路のビット精度より小さいと判定した場合は、前記SDR OETF変換手段により生成された画像データを選択し、前記OETF変換手段により生成された画像データのビット精度が前記外部データ伝送路のビット精度以上であると判定した場合は、表示する画像がHDRか否かを判定し、
前記第1の画像選択手段は、表示する画像がHDRではないと判定した場合は、前記SDR OETF変換手段により生成された画像データを選択し、表示する画像がHDRであると判定した場合は、前記発光特性逆変換手段により生成された画像データを選択することを特徴とする請求項15に記載の画像生成装置。 When the first image selection means determines that the light emission characteristics of the display unit are not close to the EOTF of the HDR, the first image selection means selects the image data generated by the SDR OETF conversion means and selects the image data of the display unit. When it is determined that the light emission characteristics are close to the EOTF of the HDR, the bit accuracy of the image data generated by the OETF conversion means is compared with the bit accuracy of the external data transmission path.
When the first image selection means determines that the bit accuracy of the image data generated by the OETF conversion means is smaller than the bit accuracy of the external data transmission path, the image data generated by the SDR OETF conversion means. If it is determined that the bit accuracy of the image data generated by the OETF conversion means is equal to or higher than the bit accuracy of the external data transmission path, it is determined whether or not the image to be displayed is HDR.
When the first image selection means determines that the image to be displayed is not HDR, the first image selection means selects the image data generated by the SDR OETF conversion means, and when it is determined that the image to be displayed is HDR, the first image selection means selects HDR. The image generation device according to claim 15, wherein the image data generated by the light emission characteristic inverse conversion means is selected.
前記第1の画像選択手段は、前記OETF変換手段により生成された画像データのビット精度が前記外部データ伝送路のビット精度より小さいと判定した場合は、前記SDR OETF変換手段により生成された画像データを選択し、前記OETF変換手段により生成された画像データのビット精度が前記外部データ伝送路のビット精度以上であると判定した場合は、表示する画像がHDRか否かを判定し、
前記第1の画像選択手段は、表示する画像がHDRではないと判定した場合は、前記SDR OETF変換手段により生成された画像データを選択し、表示する画像がHDRであると判定した場合は、前記HDR OETF変換手段により生成された画像データを選択することを特徴とする請求項16に記載の画像生成装置。 When the first image selection means determines that the light emission characteristics of the display unit are not close to the EOTF of the HDR, the first image selection means selects the image data generated by the SDR OETF conversion means and selects the image data of the display unit. When it is determined that the light emission characteristics are close to the EOTF of the HDR, the bit accuracy of the image data generated by the OETF conversion means is compared with the bit accuracy of the external data transmission path.
When the first image selection means determines that the bit accuracy of the image data generated by the OETF conversion means is smaller than the bit accuracy of the external data transmission path, the image data generated by the SDR OETF conversion means. If it is determined that the bit accuracy of the image data generated by the OETF conversion means is equal to or higher than the bit accuracy of the external data transmission path, it is determined whether or not the image to be displayed is HDR.
When the first image selection means determines that the image to be displayed is not HDR, the first image selection means selects the image data generated by the SDR OETF conversion means, and when it is determined that the image to be displayed is HDR, the first image selection means selects. The image generation device according to claim 16, wherein the image data generated by the HDR OETF conversion means is selected.
外部データ伝送路を通じて画像生成装置から画像データを受信する受信手段と、
前記画像生成装置から受信した画像データに対して前記表示部の発光特性の逆変換を行う発光特性逆変換手段と、
前記表示部に応じた発光特性に変換した画像データを前記表示部に出力する発光特性変換手段と、を有することを特徴とする表示装置。 A display unit capable of displaying an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image, and a display unit.
A receiving means for receiving image data from an image generator through an external data transmission line,
A light emission characteristic inverse conversion means that reversely converts the light emission characteristics of the display unit with respect to the image data received from the image generation device.
A display device comprising: a light emission characteristic conversion means for outputting image data converted into light emission characteristics according to the display unit to the display unit.
画像データに対して前記表示部の発光特性の逆変換を行うステップと、
前記表示部の発光特性が前記HDRのEOTF(Electro-Optical Transfer Function)に近似しており、前記画像生成装置から出力される画像データのビット精度が、前記外部データ伝送路のビット精度以上であって、前記表示部に前記HDRの画像の表示を行う場合に、前記逆変換された画像データを前記外部データ伝送路を通じて前記表示装置に送信するステップと、を有することを特徴とする制御方法。 A control method of an image generation device that outputs image data through an external data transmission path to a display device having a display unit capable of displaying an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image. And,
A step of inversely converting the light emission characteristics of the display unit for image data,
The light emitting characteristics of the display unit are close to the EOTF (Electro-Optical Transfer Function) of the HDR, and the bit accuracy of the image data output from the image generator is equal to or higher than the bit accuracy of the external data transmission path. A control method comprising:, when displaying the HDR image on the display unit, a step of transmitting the inversely converted image data to the display device through the external data transmission path.
画像データをHDRのOETFに基づいて変換するステップと、
前記表示部の発光特性が前記HDRのEOTF(Electro-Optical Transfer Function)に近似しており、前記画像生成装置から出力される画像データのビット精度が、前記外部データ伝送路のビット精度以上であって、前記表示部に前記HDRの画像の表示を行う場合に、前記HDR OETFに基づいて変換された画像データを前記外部データ伝送路を通じて前記表示装置に送信するステップと、を有することを特徴とする制御方法。 A control method of an image generation device that outputs image data through an external data transmission path to a display device having a display unit capable of displaying an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image. And,
Steps to convert image data based on HDR OETF,
The light emission characteristics of the display unit are close to the EOTF (Electro-Optical Transfer Function) of the HDR, and the bit accuracy of the image data output from the image generator is equal to or higher than the bit accuracy of the external data transmission path. Further, when displaying the HDR image on the display unit, the display unit includes a step of transmitting the image data converted based on the HDR OETF to the display device through the external data transmission path. Control method to do.
外部データ伝送路を通じて画像生成装置から画像データを受信するステップと、
前記画像生成装置から受信した画像データに対して前記表示部の発光特性の逆変換を行うステップと、
前記表示部に応じた発光特性に変換した画像データを前記表示部に出力するステップと、を有することを特徴とする制御方法。 A control method for a display device having a display unit capable of displaying an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image.
The step of receiving image data from an image generator through an external data transmission line,
A step of inversely converting the light emission characteristics of the display unit with respect to the image data received from the image generator, and
A control method comprising: a step of outputting image data converted into light emission characteristics according to the display unit to the display unit.
前記表示装置は、HDR(High Dynamic Range)の画像またはSDR(Standard Dynamic Range)の画像を表示することが可能な表示部を有し、
前記画像生成装置は、画像データに対して前記表示部の発光特性の逆変換を行う発光特性逆変換手段を有し、
前記表示部の発光特性が前記HDRのEOTF(Electro-Optical Transfer Function)に近似しており、前記画像生成装置から出力される画像データのビット精度が、前記外部データ伝送路のビット精度以上であって、前記表示部に前記HDRの画像の表示を行う場合に、前記発光特性逆変換手段により生成された画像データを前記外部データ伝送路を通じて前記表示装置に出力することを特徴とするシステム。 A system in which image data generated by an image generator is output to a display device through an external data transmission line.
The display device has a display unit capable of displaying an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image.
The image generation device has a light emission characteristic inverse conversion means that reversely converts the light emission characteristics of the display unit with respect to image data.
The light emitting characteristics of the display unit are close to the EOTF (Electro-Optical Transfer Function) of the HDR, and the bit accuracy of the image data output from the image generator is equal to or higher than the bit accuracy of the external data transmission path. The system is characterized in that, when displaying the HDR image on the display unit, the image data generated by the light emission characteristic inverse conversion means is output to the display device through the external data transmission path.
前記表示装置は、HDR(High Dynamic Range)の画像またはSDR(Standard Dynamic Range)の画像を表示することが可能な表示部を有し、
前記画像生成装置は、画像データをHDRのOETFに基づいて変換するHDR OETF(Optical-Electro Transfer Function)変換手段を有し、
前記表示部の発光特性が前記HDRのEOTF(Electro-Optical Transfer Function)に近似しており、前記画像生成装置から出力される画像データのビット精度が、前記外部データ伝送路のビット精度以上であって、前記表示部に前記HDRの画像の表示を行う場合に、前記HDR OETF変換手段により生成された画像データを前記外部データ伝送路を通じて前記表示装置に出力することを特徴とするシステム。 A system in which image data generated by an image generator is output to a display device through an external data transmission line.
The display device has a display unit capable of displaying an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image.
The image generator has HDR OETF (Optical-Electro Transfer Function Function) conversion means for converting image data based on HDR OETF.
The light emission characteristics of the display unit are close to the EOTF (Electro-Optical Transfer Function) of the HDR, and the bit accuracy of the image data output from the image generator is equal to or higher than the bit accuracy of the external data transmission path. The system is characterized in that, when displaying the HDR image on the display unit, the image data generated by the HDR OETF conversion means is output to the display device through the external data transmission path.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/352,888 US11508296B2 (en) | 2020-06-24 | 2021-06-21 | Image display system for displaying high dynamic range image |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020109002 | 2020-06-24 | ||
JP2020109002 | 2020-06-24 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022007871A true JP2022007871A (en) | 2022-01-13 |
JP2022007871A5 JP2022007871A5 (en) | 2023-10-19 |
JP7565748B2 JP7565748B2 (en) | 2024-10-11 |
Family
ID=80110009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020173541A Active JP7565748B2 (en) | 2020-06-24 | 2020-10-14 | Image generating device, camera, control method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7565748B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017068207A (en) | 2015-10-02 | 2017-04-06 | キヤノン株式会社 | Image processing device, image processing method, and program |
JP2018536898A (en) | 2015-11-18 | 2018-12-13 | トムソン ライセンシングThomson Licensing | Brightness management for high dynamic range displays |
JP6855205B2 (en) | 2016-10-06 | 2021-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing equipment and image processing method |
JP6860415B2 (en) | 2017-05-15 | 2021-04-14 | 日本放送協会 | Video signal converter, dynamic range converter and their programs |
JP7191649B2 (en) | 2017-12-27 | 2022-12-19 | キヤノン株式会社 | Electronics |
-
2020
- 2020-10-14 JP JP2020173541A patent/JP7565748B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7565748B2 (en) | 2024-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7619637B2 (en) | Systems and methods for improved gamut mapping from one image data set to another | |
JP6563915B2 (en) | Method and apparatus for generating EOTF functions for generic code mapping for HDR images, and methods and processes using these images | |
US7978384B2 (en) | Image processing system, image processing apparatus, image processing method, and storage medium thereof | |
US8411206B2 (en) | Apparatus and method for decoding extended color space data | |
US7512021B2 (en) | Register configuration control device, register configuration control method, and program for implementing the method | |
WO2006120606A2 (en) | Color transformation luminance correction method and device | |
US20080007565A1 (en) | Color correction circuit, driving device, and display device | |
US7236181B2 (en) | Apparatus for color conversion and method thereof | |
US8860745B2 (en) | System and method for color gamut mapping | |
Poynton et al. | Perceptual uniformity in digital image representation and display | |
US9565411B2 (en) | Image processing device, image processing method, and non-transitory computer-readable recording medium for recording image processing program | |
US11508296B2 (en) | Image display system for displaying high dynamic range image | |
US8355163B2 (en) | Apparatus and method for performing gradation adjustment of a display image | |
JP7565748B2 (en) | Image generating device, camera, control method and program | |
JP6602414B2 (en) | Apparatus, method, and program | |
JP5057053B2 (en) | Gamma switching device and method | |
US11637964B2 (en) | Image processing apparatus, image display system, image processing method having a time dithering process | |
US11869174B2 (en) | Image processing apparatus, display apparatus, image processing method, and non-transitory computer readable medium | |
CN114596813B (en) | Display device and display method | |
JP7332325B2 (en) | IMAGE PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM | |
CN107591142B (en) | Method and device for regulating and controlling picture display quality and storage medium | |
US20220157210A1 (en) | Electronic device and control method for electronic device | |
JP2022007871A5 (en) | Image generation device, camera, control method and program | |
JP2022172905A (en) | Image processing apparatus, image processing method, image display system, method for controlling image display system, program, and storage medium | |
JP2020102785A (en) | Image output device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231011 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241001 |