JP2016058848A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2016058848A
JP2016058848A JP2014182785A JP2014182785A JP2016058848A JP 2016058848 A JP2016058848 A JP 2016058848A JP 2014182785 A JP2014182785 A JP 2014182785A JP 2014182785 A JP2014182785 A JP 2014182785A JP 2016058848 A JP2016058848 A JP 2016058848A
Authority
JP
Japan
Prior art keywords
content
luminance
metadata
dynamic range
conversion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014182785A
Other languages
English (en)
Inventor
卓己 津留
Takumi TSURU
卓己 津留
江藤 博昭
Hiroaki Eto
博昭 江藤
俊也 浜田
Toshiya Hamada
俊也 浜田
金井 健一
Kenichi Kanai
健一 金井
富三 白石
Tomizo Shiraishi
富三 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014182785A priority Critical patent/JP2016058848A/ja
Priority to MX2016002285A priority patent/MX364585B/es
Priority to EP15748319.9A priority patent/EP3192256B1/en
Priority to PCT/JP2015/003638 priority patent/WO2016038775A1/en
Priority to CA2921185A priority patent/CA2921185C/en
Priority to SG11201601305WA priority patent/SG11201601305WA/en
Priority to CN201580001644.5A priority patent/CN105794216B/zh
Priority to US14/913,875 priority patent/US10192294B2/en
Publication of JP2016058848A publication Critical patent/JP2016058848A/ja
Pending legal-status Critical Current

Links

Classifications

    • G06T5/92
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Abstract

【課題】高ダイナミック・レンジ画像を好適に送受信若しくは表示することができる画像処理装置及び画像処理方法を提供する。
【解決手段】画像送信装置は、HDRコンテンツ(例えば、最大輝度2000nit)をSDRコンテンツ(例えば、100nit)に変換する輝度変換情報若しくは差分情報をコンテンツのメタデータとして転送する。画像受信装置は、上記のメタデータに基づいて、受信したHDRコンテンツを出力先のディスプレイ(例えば、最大輝度500nit又は1000nit)の能力に応じた輝度変換情報を作成して、制作者の意図に反しないディスプレイ・マッピングを実現する。
【選択図】 図1

Description

本明細書で開示する技術は、画像情報を処理する画像処理装置及び画像処理方法に係り、特に、高ダイナミック・レンジ画像を送受信若しくは表示する画像処理装置及び画像処理方法に関する。
最近、撮像素子(イメージ・センサー)の高ビット化などにより、画像の高ダイナミック・レンジ(HDR:High Dynamic Range)化が進んでいる。画像のダイナミック・レンジは、一般に最小輝度とピーク輝度の比で表すことができる。HDR画像は、最大明度色と最低明度色の間のコントラスト比が例えば10000:1以上に達し、現実世界をリアルに表現することができる。HDR画像は、可視範囲のすべての輝度を記録することができ、人間の視覚特性と同等のダイナミック・レンジと色域をサポートすることができる。HDR画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。
上記のようにコンテンツ制作側ではHDR画像を撮影する一方、コンテンツを視聴する各家庭内には、例えばダイナミック・レンジが40分の1程度に圧縮されたSDR(Standard Dynamic Range)に対応するディスプレイや、逆にピーク輝度が500nitや1000nitであるHDR対応のディスプレイなど、性能がまちまちである。したがって、元のコンテンツのダイナミック・レンジを、画像出力先のディスプレイに性能に適合させる処理(以下では、「ディスプレイ・マッピング」とも呼ぶ)が必要である(例えば、特許文献1を参照のこと)。
しかしながら、ディスプレイ・マッピングにおいて、単純に線形スケーリングによりダイナミック・レンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者の意図にも反することである。
本明細書で開示する技術の目的は、高ダイナミック・レンジ画像を好適に送受信若しくは表示することができる、優れた画像処理装置及び画像処理方法を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得部と、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成部と、
を具備する画像処理装置である。
本願の請求項2に記載の技術によれば、請求項1に記載の画像処理装置の前記メタデータ作成部は、1以上のポイントにおける前記第1のダイナミック・レンジから前記第2のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータを生成するように構成されている。
本願の請求項3に記載の技術によれば、請求項1又は2のいずれかに記載の画像処理装置は、前記メタデータを所定の伝送コンテナーに格納して伝送する伝送部をさらに備えている。
本願の請求項4に記載の技術によれば、請求項3に記載の画像処理装置の前記伝送部は、輝度変換情報を線形輝度値で表現した前記メタデータを伝送するように構成されている。
本願の請求項5に記載の技術によれば、請求項3又は4のいずれかに記載の画像処理装置の前記伝送部は、前記メタデータを前記コンテンツのknee_function_info SEIに格納するように構成されている。
本願の請求項6に記載の技術によれば、請求項3に記載の画像処理装置の前記伝送部は、輝度変換情報を符号値で表現した前記メタデータを伝送するように構成されている。
本願の請求項7に記載の技術によれば、請求項3又は6のいずれかに記載の画像処理装置の前記伝送部は、前記メタデータを前記コンテンツのTone_mapping_info SEIに格納するように構成されている。
また、本願の請求項8に記載の技術は、
第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第1のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第2の輝度変換情報を作成するメタデータ処理部と、
前記第2の輝度変換情報に基づいて前記第1のダイナミック・レンジのコンテンツを処理するコンテンツ処理部と、
を具備する画像処理装置である。
本願の請求項9に記載の技術によれば、請求項8に記載の画像処理装置の前記メタデータ処理部は、1以上のポイントにおける前記第1のダイナミック・レンジから前記第2のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータに基づいて、前記第1のダイナミック・レンジにおける輝度値を所定のピーク輝度を持つ前記ディスプレイにおける輝度値に変換する変換テーブルを作成し、前記コンテンツ処理部は、前記変換テーブルに基づいて、前記第1のダイナミック・レンジのコンテンツの輝度を変換するように構成されている。
本願の請求項10に記載の技術によれば、請求項8又は9のいずれかに記載の画像処理装置の前記メタデータ処理部は、所定の伝送コンテナーに格納されたメタデータに基づいて前記第2の輝度変換情報を作成するように構成されている。
本願の請求項11に記載の技術によれば、請求項10に記載の画像処理装置の前記メタデータ処理部は、輝度変換情報を線形輝度値で表現した前記メタデータに基づいて前記第2の輝度変換情報を作成し、前記コンテンツ処理部は、電光線形変換処理した後の輝度信号に対して前記第2の輝度変換情報に基づく処理を行なうように構成されている。
本願の請求項12に記載の技術によれば、請求項10又は11のいずれかに記載の画像処理装置の前記メタデータ処理部は、前記コンテンツのknee_function_info SEIに格納されたメタデータに基づいて前記第2の輝度変換情報を作成するように構成されている。
本願の請求項13に記載の技術によれば、請求項10に記載の画像処理装置の前記メタデータ処理部は、輝度変換情報を符号値で表現した前記メタデータに基づいて前記第2の輝度変換情報を作成し、前記コンテンツ処理部は、電光線形変換処理する後の輝度符号値に対して前記第2の輝度変換情報に基づく処理を行なように構成されている。
本願の請求項14に記載の技術によれば、請求項10又は13のいずれかに記載の画像処理装置の前記メタデータ処理部は、前記コンテンツのTone_mapping_info SEIに格納されたメタデータに基づいて前記第2の輝度変換情報を作成するように構成されている。
本願の請求項15に記載の技術によれば、請求項8に記載の画像処理装置の前記メタデータ処理部は、前記ディスプレイのピーク輝度が前記第1のダイナミック・レンジのピーク輝度よりも大きいときには、前記第2の輝度変換情報を作成せず、前記コンテンツ処理部による前記第1のダイナミック・レンジのコンテンツの処理を行なわせないように構成されている。
また、本願の請求項16に記載の技術は、
第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得ステップと、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成ステップと、
を有する画像処理方法である。
また、本願の請求項17に記載の技術は、
第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第1のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第2の輝度変換情報を作成するメタデータ処理ステップと、
前記第2の輝度変換情報に基づいて前記第1のダイナミック・レンジのコンテンツを処理するコンテンツ処理ステップと、
を有する画像処理方法である。
本明細書で開示する技術によれば、画像の輝度変換に関連する情報を好適に提供し、若しくは、提供された輝度変換に関連する情報に基づいて画像を好適にダイナミック・レンジ変換することができる、優れた画像処理装置及び画像処理方法を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術を適用する画像提供システム100の構成例を模式的に示した図である。 図2は、画像提供装置200側(若しくは、コンテンツ制作側)においてHDRコンテンツを処理するワークフローを模式的に示した図である。 図3は、画像利用装置300側においてHDRコンテンツを処理するワークフローを模式的に示した図である。 図4は、ピーク輝度2000nitのHDRコンテンツをピーク輝度100nitのSDRコンテンツに変換する輝度変換情報の一例を示した図である。 図5は、図4に示したHDRコンテンツからSDRコンテンツへの輝度変換情報を6ポイントに間引いた1D−LUTを例示した図である。 図6は、HDRコンテンツからSDRコンテンツへの輝度変換情報から、出力先となるディスプレイの輝度にマッピングする仕組みを図である。 図7は、画像提供装置200がメタデータを転送する機能的構成を示した図である 図8は、ダイナミック・レンジ変換定義情報「knee_function_info SEI」のシンタクス例800を示した図である。 図9は、表1に示したパラメーター設定例をダイナミック・レンジ変換情報として示した図である。 図10は、トーン・マッピング情報「Tone_mapping_Info SEI」のシンタクス例1000を示した図である。 図11は、輝度変換情報(1D−LUT)のメタデータに基づいてHDRコンテンツを処理する機能的構成を示した図である。 図12は、輝度変換情報(1D−LUT)に基づくディスプレイ・マッピングを行なう機能的構成の一例を示した図である。 図13は、輝度変換情報(1D−LUT)に基づくディスプレイ・マッピングを行なう機能的構成の他の例を示した図である。 図14は、HDRコンテンツを出力先のディスプレイ1105にディスプレイ・マッピングする処理手順を示したフローチャートである。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、本明細書で開示する技術を適用する画像提供システム100の構成例を模式的に示している。図示の画像提供システム100は、画像ストリームを提供する画像提供装置200と、画像ストリームを取得して表示出力する画像利用装置300で構成される。
画像提供システム100がUHD(Ultra High Definition)−BD(Blu−ray(登録商標) Disc)などの記録再生システムに適用される場合、画像提供装置200はコンテンツ制作者側にあり、画像利用装置300はBDプレーヤーなどのメディア再生装置と再生画像を表示出力するディスプレイの組み合わせである。UHD−BDのような画像提供システム100では、例えばHDMI(登録商標)(High Definition Multimedia Interface)インターフェース経由で、BDプレーヤーからディスプレイへ、非圧縮の再生ストリームが伝送される。
あるいは、画像提供システム100がOTT(Over The Top)などのネット配信サービスに適用される場合、画像提供装置200はコンテンツ制作者側にあり、制作したコンテンツをストリーミング・サーバー上で提供する。一方の画像利用装置300はストリーミング・サーバーからコンテンツのストリーム・データを受信するパーソナル・コンピューターや、スマートフォンやタブレットなどの多機能端末で構成されるクライアントである。また、画像提供システム100がディジタル放送サービスに適用される場合、画像提供装置200は放送局であり、画像利用装置300は家庭内に設置されたテレビ受信機などである。例えばネット配信サービスや放送サービスでは、コンテンツはMPEG2 TS(Moving Picture Experts Group 2 Transport Stream)などの符号化ストリームとして、サーバーからクライアントへ、又は放送局からテレビ受信機へ、伝送される。
UHD−BD、ネット配信サービス、放送など画像コンテンツを提供する各種業界では、高品位コンテンツの要素4K解像度技術に加えて、輝度成分のダイナミック・レンジ拡張並びに広コントラストのHDR技術が期待されている。HDR技術によれば、可視範囲のすべての輝度を記録することができ、人間の視覚特性と同等のダイナミック・レンジと色域をサポートすることができる。また、ディスプレイ業界においても、輝度成分のダイナミック・レンジ拡張に対応した機能を搭載した製品が出現してきている。例えば、直下型LED(Light Emitting Diode)を用いた液晶表示ディスプレイは、光の煌きを忠実に再現し、高輝度な画像表現を実現することができる。
図2には、画像提供装置200側(若しくは、コンテンツ制作側)においてHDRコンテンツを処理するワークフローを模式的に示している。
撮影部201は、例えば4Kカメラを装備して、ITU−R勧告 BT.2020に基づく広色域表色系のカラー画像を記録する。
次いで、グレーディング・マスタリング部202では、撮影したコンテンツに対してグレーディング又はマスタリング処理を行ない、参照番号212に示すような変換テーブルを用いて符号値を線形輝度信号に変換して、HDRのマスター・コンテンツを生成する。このHDRマスター・コンテンツに対して、メタデータ生成処理が行なわれる。本実施形態では、メタデータとして、ディスプレイ・マッピングに有用な輝度変換情報が生成されるが、メタデータの詳細については後述に譲る。
次いで、光電変換部203は、参照番号213で示すようなOETF変換テーブルを用いて輝度を10ビットの符号値に非線形変換して、HDRマスター・コンテンツの光線形の輝度信号をパネル駆動信号に変換する。
符号化部204は、HDRマスター・コンテンツ並びにそのメタデータを符号化して、MPEG−2 TS(Moving Picture Experts Group −2 Transport Stream)などの所定の符号化形式のストリームを生成する。そして、生成された符号化ストリームは、図示しない送信インターフェースから、画像利用装置300に向けて送出される。
図3には、画像利用装置300側においてHDRコンテンツを処理するワークフローを模式的に示している。
復号部301は、画像提供装置200から提供された符号化ストリームを元のコンテンツ(パネル駆動信号)に復号処理するとともに、メタデータを抽出する。
次いで、電光線形変換部302は、参照番号312で示すようにEOTF変換テーブルを用いて、復号した10ビットの符号値からなるパネル駆動信号を光線形の輝度信号に変換する。
なお、本実施形態では、メタデータに記述された輝度変換情報に基づいて輝度信号のダイナミック・レンジ変換(ディスプレイ・マッピング)処理が行なわれる。このディスプレイ・マッピング処理は、メタデータの伝送方式に応じて、EOTF変換する前の符号値又はEOTF変換した後の光線形の輝度信号のいずれかに対して適用される。ディスプレイ・マッピングの詳細については、後述に譲る。
次いで、線形ディスプレイ・ガンマー変換部303は、参照番号313で示す線形変換テーブルを用いて、輝度信号にガンマー処理を施して、表示パネルの入力特性に合わせたパネル駆動信号へ変換する。そして、液晶表示パネルなどからなる表示部304は、パネル駆動信号に従って駆動して、コンテンツを画面表示する。
画像提供システム100において、HDR技術を適用する場合、画像提供装置200と画像利用装置300がそれぞれ持つダイナミック・レンジが一致しないという事態が想定される。例えば、画像提供装置200側からはピーク輝度2000nitのコンテンツをブルーレイ・ディスクに格納して配布するが、画像利用装置300側ではピーク輝度が500nitや1000nit程度のHDRディスプレイを装備していて、再生コンテンツのピーク輝度に対応できない場合である。
このような場合、画像利用装置300側では、画像提供装置200から提供された画像に対してダイナミック・レンジ変換を行なって、出力先のディスプレイの性能(ピーク輝度)に適合させるディスプレイ・マッピングを行なうことが望ましい。ところが、ディスプレイ・マッピングにおいて、単純に(すべての輝度レベルにわたり均等に)線形スケーリングによりダイナミック・レンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者の意図にも反することである。
したがって、画像提供システム100においてHDRの世界を構築するには、制作側若しくは画像提供装置200側においてHDRコンテンツを提供し、画像利用装置300側においてHDR対応のディスプレイを装備するというだけでなく、HDRコンテンツの制作ワークフローを確立する必要がある、と本発明者らは思料する。
また、画像利用装置300側などでディスプレイ・マッピングによりHDR画像のダイナミック・レンジ変換を行なう際に、コンテンツの制作者の意図が損失しないようにする必要がある。
そこで、本明細書で開示する技術では、単純な線形スケーリングではなく、コンテンツの制作者の意図を、画像ストリームに付随するメタデータとして提供するようにしている。
具体的には、画像提供装置200側では、コンテンツ制作者がHDRコンテンツをSDRコンテンツに変換処理する作業において得られる輝度変換情報、若しくは、HDRコンテンツとSDRコンテンツの差分情報を、ディスプレイ・マッピングにおいて有用となる制作者の意図として扱い、コンテンツのメタデータとして転送する。
一方の画像利用装置300側では、画像提供装置200から提供されたHDRコンテンツ(例えば、ピーク輝度2000nit)を、出力先となるディスプレイ(例えば、ピーク輝度500nit又は1000nit)にディスプレイ・マッピングする際には、メタデータとして受信した輝度変換情報に基づいて、ディスプレイの能力に応じた輝度変換情報を作成することで、ディスプレイ・マッピングした後も制作者の意図に反しない適切な輝度表現を実現することができる。
図4には、ピーク輝度2000nitのHDRコンテンツからピーク輝度100nitのSDRコンテンツを生成する輝度変換情報の一例を示している。同図において、横軸は入力輝度としてのHDRコンテンツの輝度であり、縦軸は出力輝度としてのSDRコンテンツの輝度である。
コンテンツ制作者は、例えばマスター・ディスプレイを用いたコンテンツのオーサリング・フローの中で、制作済みのHDRコンテンツをSDRコンテンツに変換処理する。オーサリング・フローのログ・データとして、図4に示すような情報を取得することができる。例えば、ブルーレイなどの高記録密度のメディア用に当初はHDRのコンテンツが制作されるが、より記録密度の低いメディアで配布し又は狭帯域の伝送路で配信するために、制作済みのHDRコンテンツからSDRコンテンツを作成することはよくある。勿論、オーサリング・フローにおけるログ・データとしてではなく、制作済みのHDRコンテンツと制作済みのSDRコンテンツとの差分情報から、図4に示したものと同様の輝度変換情報を得ることができる。図4に示したような輝度変換情報を取得する方法自体は特に限定されない。
制作者がHDRコンテンツからSDRコンテンツを生成する際の輝度変換情報、若しくは、HDRコンテンツとSDRコンテンツとの関係性から求まる輝度変換情報は、HDRコンテンツの(SDRコンテンツへの)輝度変換に対する制作者の意図を反映したものである。
図4を参照すると、入力側のHDRコンテンツの500nit付近までは線形的な輝度変換処理が施されているが、例えば画像又はシーン内で基準となる白の輝度(Diffuse White輝度)以下の輝度レベルに相当し、輝度変換した後も輝度情報を維持したいというコンテンツ制作者の意図を推測することができる。また、入力側のHDRコンテンツの500nitを超える領域では、圧縮の度合いが徐々に強くなっているが、高輝度の領域では輝度情報を維持する必要がない(圧縮してもよい)というコンテンツ制作者の意図を推測することができる。
本実施形態に係る画像提供システム100では、HDRコンテンツからSDRコンテンツへの輝度変換情報を1次元ルックアップ・テーブル(1D−LUT)の形式にし、メタデータとして、画像提供装置200から画像利用装置300へ転送する。
コンテンツ制作者の意図を表す輝度変換情報(1D−LUT)のメタデータを伝送する方法として、例えばMPEGで既に定義されているSEI(Supplemental Enhancement Information)を伝送コンテナーに利用する方法や、輝度変換情報を伝送するコンテナーとなる新たなSEIを定義する方法が考えられる。また、コンテンツをブルーレイ・ディスクに記録して配布する画像提供システムの場合には、上記のようにSEIを伝送コンテナーに利用する以外に、ブルーレイ・ディスク内のデータベース・ファイルに輝度変換情報を格納する方法も考えられる。
コンテンツ制作者の意図を表す輝度変換情報は、元のHDRコンテンツの輝度と輝度変換した後のSDRコンテンツの輝度との対応関係を記述した1D−LUTである。図4に示したように、HDRコンテンツのすべての輝度値について対応するSDRコンテンツの輝度値を記述した1D−LUTをメタデータとしてもよい。但し、メタデータのデータ量が膨大数となるので、所定のポイント数に限定してHDRコンテンツとSDRコンテンツ間の輝度値の対応関係のみを記述した1D−LUTをメタデータとしてもよい。
図5には、図4に示したHDRコンテンツからSDRコンテンツへの輝度変換情報を参照番号501〜506で示す6個のポイントに間引いた1D−LUTを例示している。ポイント間の輝度変換情報は、例えばポイント間の傾きから線形計算して算出することができる。もちろん、線形計算ではなく非線形計算によりポイント間の輝度変換情報を補間してもよい。
ここで、1D−LUTに輝度変換情報を記述するポイントは、例えばHDRコンテンツからSDRコンテンツへの輝度変換情報の曲線(図4を参照のこと)から特徴的なポイント(例えば、曲線の傾きが急激に変化するポイント)を計算により自動的に抽出するようにしてもよい。あるいは、コンテンツ制作者が1D−LUTに載せるべきポイント(輝度レベル)をオーサリング・フローで指定するようにしてもよい。あるいは、1D−LUTに載せるべき所定数のポイントの輝度レベル(例えば、50nitと500nitなど)をあらかじめ定義しておくようにしてもよい。
画像利用装置300側では、画像提供装置200から提供されたHDRコンテンツを、出力先となるディスプレイにディスプレイ・マッピングする際には、メタデータとして受信した輝度変換情報に基づいて、ディスプレイの能力に応じた輝度変換情報を作成する。
図6には、メタ情報としてのピーク輝度2000nitのHDRコンテンツからピーク輝度100nitのSDRコンテンツへの輝度変換情報(図5を参照のこと)に基づいて、出力先となるディスプレイ(ピーク輝度1000nit)の輝度にマッピングする仕組みを図解している。
メタデータとして転送されてくる輝度変換情報の1D−LUTには、参照番号601〜606に示すように、元のHDRコンテンツの輝度50nit、200nit、250nit、400nit、500nit、及び、コンテンツのピーク輝度2000nitと、輝度変換後のSDRコンテンツの輝度50nit、60nit、75nit、80nit、90nit、及び、コンテンツのピーク輝度100nitとの対応関係を記述している。
画像利用装置300側では、上記のようなHDRコンテンツからSDRコンテンツへの輝度変換情報から、ピーク輝度2000nitのHDRコンテンツを出力先となるディスプレイ(ピーク輝度1000nit)にディスプレイ・マッピングするための輝度変換情報にマッピングする。例えば、下式(1)に従って、メタデータから出力先のディスプレイへマッピングする輝度を算出することができる。
上式(1)は、メタデータのID−LUTに記載されているi番目のポイントの輝度情報を出力先のディスプレイ(ピーク輝度1000nit)の輝度値にディスプレイ・マッピングする。但し、同式において、PeakLHDRは HDRコンテンツのピーク輝度、PeakLSDRはSDRコンテンツのピーク輝度、PeakLDisplayは出力先のディスプレイのピーク輝度、LHDR(i)は1D−LUTのi番目のポイントに対応するHDRコンテンツの輝度、LSDR(i)は1−LUTのi番目のポイントに対応するSDRコンテンツの輝度、LDisplay(i)は1D−LUTのi番目のポイントから出力先のディスプレイ用にマッピングされた輝度である。
上記の輝度算出式(1)によれば、図6に示すように、元のHDRコンテンツの輝度50nit、200nit、250nit、400nit、500nit、及び、コンテンツのピーク輝度2000nitは、参照番号611〜616に示すように、出力先のディスプレイの50nit、126nit、158nit、232nit、284nit、1000nitに、それぞれマッピングされる。
図7には、画像提供装置200が、HDRコンテンツからSDRコンテンツへの輝度変換情報(1D−LUT)のメタデータを転送する機能的構成を示している。
コンテンツ処理部701は、図2に示した仕組みにより、画像利用装置300に提供するHDRコンテンツを処理する。
メタデータ作成部702は、コンテンツ処理部701のおけるオーサリング・フローのログ・データを利用して、あるいは、制作済みのHDRコンテンツと制作済みのSDRコンテンツとの差分情報に基づいて、HDRコンテンツからSDRコンテンツへの輝度変換情報(1D−LUT)を取得して、メタデータを作成する。
符号化部703は、コンテンツ処理部701から処理後のコンテンツを入力するとともに、メタデータ作成部702が生成したメタデータを入力して、MPEG2などの所定の符号化形式のストリーム・データに符号化する。その際、符号化部703は、MPEGで既に定義されているSEI、又は、輝度変換情報を伝送するために新たに定義されたSEIに、メタデータ(1D−LUT)を格納する。あるいは、HDRコンテンツを提供する形態がブルーレイ・ディスクの場合には、ブルーレイ・ディスク内のデータベース・ファイルにメタデータ(1D−LUT)を格納するようにしてもよい。
コンテンツ提供部704は、符号化後のコンテンツを、画像利用装置300に提供する。画像提供システム100がUHD−BDなどの記録再生システムに適用される場合、コンテンツ提供部704は、符号化後のコンテンツをブルーレイ・ディスクに記録する。あるいは、画像提供システム100がOTTなどのネット配信サービスに適用される場合、コンテンツ提供部704は、符号化後のコンテンツをストリーミング・サーバーにアップロードする。また、画像提供システム100がディジタル放送サービスに適用される場合、コンテンツ提供部704は、符号化後のコンテンツを放送信号として送出する。
ここで、MPEGにおいて非圧縮画像データのダイナミック・レンジ変換定義情報として定義されている「knee_function_info SEI」を輝度変換情報(1D−LUT)の伝送コンテナーに用いる場合について説明する。なお、knee_function_info SEIを伝送コンテナーとする場合、輝度値は線形輝度値として表現される。
図8には、ダイナミック・レンジ変換定義情報「knee_function_info SEI」のシンタクス例800を示している。各パラメーターの本来の意味について説明しておく。
このknee_function_info800では、ニー変換ID(knee_function_id)801とニー変換キャンセル・フラグ(knee_function_cancel_flag)802が設定される。
ニー変換ID801は、ニー圧縮又はニー伸長であるニー変換の目的に固有のIDである。本実施形態では、当該knee_function_info SEIを本来のダイナミック・レンジ変換定義情報として用いる場合にはニー変換ID801をロー・レベル「0」に設定し、上記のHDRコンテンツからSDRコンテンツへの輝度変換情報の伝送コンテナーに用いる場合にはニー変換ID801をハイ・レベル「1」に設定するものとする。また、ニー変換キャンセル・フラグ802は、直前のknee_function_infoの連続性をキャンセルするかどうかを表すフラグである。ニー変換キャンセル・フラグ802は、前のknee_function_infoの連続性をキャンセルする場合にはハイ・レベル「1」を設定し、キャンセルしない場合にはロー・レベル「0」を設定する。
また、ニー変換キャンセル・フラグ802がロー・レベル「0」である場合、knee_function_info800には、ダイナミック・レンジ変換定義情報が設定される。このダイナミック・レンジ変換定義情報は、持続フラグ(knee_function_persistence_flag)803と、入力画像のピーク輝度(0.1%単位)を格納する入力画像ダイナミック・レンジ情報(input_d_range)804と、入力画像のピーク輝度に対応するディスプレイの明るさ(0.1%単位)を格納する入力画像表示ディスプレイピーク輝度情報(input_disp_luminance)805と、出力画像のピーク輝度(0.1%単位)を格納する出力画像ダイナミック・レンジ情報(output_d_range)806と、出力画像のピーク輝度に対応するディスプレイの明るさ(0.1%単位)を格納する出力表示ディスプレイピーク輝度情報(output_disp_luminace)807と、ニー位置数情報(num_knee_point_minus1)808が設定される。さらに、ニー位置数情報808の数分だけニー位置毎の情報のループ810が配置される。各ニー位置情報ループ内には、ニー位置毎の変換前ニー位置情報(input_knee_point)811と変換後ニー位置情報(output_knee_point)812がニー位置毎に設定される。
持続フラグ803は、一度送ったknee_function_info600がその後も有効なのか、1回限りなのかを示すものである。knee_function_info800が付加されたピクチャーに限り有効な場合には、持続フラグ803にロー・レベル「0」を設定し、ストリームが切り替わるまで有効又は新しいニー変換ID801が来るまで有効の場合には、持続フラグ803にハイ・レベル「1」を設定する。
ニー位置数情報808は、本来は、ニー位置の数から1を減算した値である。なお、ニー位置の変換前ニー位置情報811と変換後ニー位置情報812が設定される順番i(iは0以上の整数)は、変換前ニー位置情報811の小さい順である。続くニー位置数の数分の各ループでは、ニー位置iにおける変換前ニー位置情報811と変換後ニー位置情報812が格納される。
変換前ニー位置情報811は、ダイナミック・レンジ変換における変換前の符号化対象の画像のニー位置を表す情報であり、符号化対象の画像の輝度の最大値を1000‰としたときのニー位置の千分率(線形値)で表される。ニー位置とは、符号化対象の画像の輝度のダイナミック・レンジの同一の変換率でニー変換される輝度の範囲の始点の0以外の輝度である。
また、変換後ニー位置情報812は、ダイナミック・レンジ変換における変換後の画像の、ニー位置を始点とするニー変換される輝度の範囲に対応する輝度の範囲の始点を表す情報である。具体的には、変換後ニー位置情報(output_knee_point)は、変換後の画像の輝度の最大値を1000‰としたときのニー位置に対応する変換後の画像の輝度の千分率(線形値)で表される。
図8に示したknee_function_info SEIを、ディスプレイ・マッピングにおいて有用な、HDRコンテンツからSDRコンテンツへの輝度変換情報の伝送コンテナーとして用いる場合、ニー位置情報ループ内810では、i番目の変換前ニー位置情報(input_knee_point)として1D−LUTのi番目のポイントに対応する変換前のHDRコンテンツの輝度LHDR(i)を格納するとともに、i番目の変換後ニー位置情報(output_knee_point)として1D−LUTのi番目のポイントに対応する変換後のSDRコンテンツの輝度LSDR(i)を格納する。但し、最後の変換前ニー位置情報(input_knee_point)には、変換前のHDRコンテンツのピーク輝度を格納し、最後の変換後ニー位置情報(output_knee_point)には、変換後のSDRコンテンツのピーク輝度を格納する。
図5に示した輝度変換情報の1D−LUTをknee_function_info SEIの各パラメーターに設定した例を、以下の表1に示した。また、図9には、表1に示したパラメーター設定例をダイナミック・レンジ変換情報として示している。
続いて、H.265 (ISO/IEC23008−2 HEVC(High Efficiency Video Coding))で定義されている「Tone_mapping_Info SEI」を輝度変換情報(1D−LUT)の伝送コンテナーに用いる場合について説明する。なお、Tone_mapping_Info SEIを伝送コンテナーとする場合、輝度値は符号値として表現される。
図10には、トーン・マッピング情報「Tone_mapping_Info SEI」のシンタクス例1000を示している。各パラメーターの意味の詳細については説明を省略するが、輝度変換情報(1D−LUT)の伝送コンテナーに用いる場合には、参照番号1003で示すtone_map_model_id=3のトーン・マッピング情報を使用する。
参照番号1001で示すcoded_data_bit_depthには、変換前のHDRコンテンツのビット深度(bit depth)を格納し、参照1002で示すtarget_bit_depthには、変換後のSDRコンテンツのビット深度(bit depth)を格納する。また、参照番号1004で示すnum_pivotsには、輝度変換情報(1D−LUT)のポイントの数を格納する。そして、以降に続くループのi番目において、参照番号1005で示すcoded_pivot_value[i]に、1D−LUTのi番目のポイントに対応する変換前のHDRコンテンツの輝度LHDR(i)の符号値を格納するとともに、参照番号1006で示すtarget_pivo_value[i]に、1D−LUTのi番目のポイントに対応する変換後のSDRコンテンツの輝度LSDR(i)の符号値を格納する。但し、最後のcoded_pivot_value[i]には、変換前のHDRコンテンツのピーク輝度の符号値を格納し、最後のtarget_pivot_value[i]には、変換後のSDRコンテンツのピーク輝度の符号値を格納する。
図11には、画像利用装置300が、HDRコンテンツからSDRコンテンツへの輝度変換情報(1D−LUT)のメタデータに基づいてHDRコンテンツを処理する機能的構成を示している。
コンテンツ取得部1101は、画像提供装置200から提供されるHDRコンテンツを取得する。画像提供システム100がUHD−BDなどの記録再生システムに適用される場合、コンテンツ取得部1101は、ブルーレイ・ディスクに記録されたコンテンツを再生する。あるいは、画像提供システム100がOTTなどのネット配信サービスに適用される場合、コンテンツ取得部1101は、インターネットなどのネットワークを介してストリーミング・サーバーからコンテンツを受信する。また、画像提供システム100がディジタル放送サービスに適用される場合、コンテンツ取得部1101は、チューナーなどであり、放送信号を選局受信する。
復号部1102は、MPEG2などの所定の符号化形式のストリーム・データを復号して、ストリーム・データとメタデータに分離する。
メタデータ処理部1103は、メタデータに含まれている、HDRコンテンツからSDRコンテンツへの輝度変換情報(1D−LUT)を処理する。ストリーム・データ処理部1104は、ストリーム・データを処理して、出力先のディスプレイ1105に表示出力する。また、ストリーム・データ処理部1104は、この輝度変換情報(1D−LUT)に基づくディスプレイ・マッピングも行なう。
図12には、画像利用装置300内で、輝度変換情報(1D−LUT)に基づくディスプレイ・マッピングを行なう機能的構成の一例を示している。但し、図示の例は、輝度変換情報(1D−LUT)がknee_function_info SEIなどの伝送コンテナーで線形輝度値として転送されることを想定しており、ストリーム・データを電光線形変換した後にディスプレイ・マッピングが行なわれる。
電光線形変換部1201は、HDRのストリーム・データから光線形の輝度信号へ変換するEOTFテーブルを備えており、入力されたHDRのストリーム・データを光線形の輝度信号に変換する。
ディスプレイ・マッピング部1202は、光線形の輝度信号のダイナミック・レンジを変換するルックアップ・テーブル(LUT)を備えている。メタデータ処理部1103は、メタデータとしてHDRコンテンツからSDRコンテンツへの輝度変換情報(1D−LUT)(図5、図8、図9を参照のこと)を入力すると、図6に示した仕組み並びに上式(1)に従って、HDRコンテンツを出力先のディスプレイ1105にディスプレイ・マッピングするための輝度変換情報(1D−LUT)に変換して、ディスプレイ・マッピング部1202に設定する。そして、ディスプレイ・マッピング部1202は、設定したLUTに従って光線形の輝度信号のダイナミック・レンジを変換する。
光電変換部1203は、光線形の輝度信号をパネル駆動信号に変換するOETFテーブルを備えており、ディスプレイ・マッピングした後の輝度信号をディスプレイ1105の入力特性に合わせたパネル駆動信号に変換する。
また、図13には、画像利用装置300内で、輝度変換情報(1D−LUT)に基づくディスプレイ・マッピングを行なう機能的構成の他の例を示している。但し、図示の例は、輝度変換情報(1D−LUT)がTone mapping_info SEIなどの伝送コンテナーで符号値として転送されることを想定しており、ストリーム・データを電光線形変換する前にディスプレイ・マッピングが行なわれる。
ディスプレイ・マッピング部1301は、輝度符号値のダイナミック・レンジを変換するルックアップ・テーブル(LUT)を備えている。メタデータ処理部1103は、メタデータとしてHDRコンテンツからSDRコンテンツへの輝度変換情報(1D−LUT)(図10を参照のこと)を入力すると、HDRコンテンツを出力先のディスプレイ1105にディスプレイ・マッピングするための輝度変換情報(1D−LUT)に変換して、ディスプレイ・マッピング部1301に設定する。そして、ディスプレイ・マッピング部1301は、設定したLUTに従って、電光線形変換前のストリーム・データのダイナミック・レンジを変換する。
電光線形変換部1302は、HDRのストリーム・データから光線形の輝度信号へ変換するEOTFテーブルを備えており、入力されたHDRのストリーム・データを光線形の輝度信号に変換する。
光電変換部1303は、光線形の輝度信号をパネル駆動信号に変換するOETFテーブルを備えており、ディスプレイ・マッピングした後の輝度信号をディスプレイ1105の入力特性に合わせたパネル駆動信号に変換する。
図14には、画像利用装置300において、HDRコンテンツを出力先のディスプレイ1105にディスプレイ・マッピングする処理手順をフローチャートの形式で示している。
まず、メタデータ処理部1103は、コンテンツのメタデータとして、HDRコンテンツからSDRコンテンツへの輝度変換情報を取得する(ステップS1401)。
次いで、メタデータ処理部1103は、出力先のディスプレイ1105のピーク輝度がHDRコンテンツのピーク輝度よりも小さいかどうかをチェックする(ステップS1402)。
ここで、出力先のディスプレイ1105のピーク輝度がHDRコンテンツのピーク輝度以上である場合には(ステップS1402のNo)、画像提供装置200から提供されたHDRコンテンツをそのままディスプレイ1105に出力することができる。すなわち、ディスプレイ・マッピングは不要なので、以降の処理をすべてスキップして、本処理ルーチンを終了する。なお、変形例として、ディスプレイ1105のピーク輝度に合わせて、提供されたHDRコンテンツのダイナミック・レンジを拡張するディスプレイ・マッピングを行なうようにしてもよい。
一方、出力先のディスプレイ1105のピーク輝度がHDRコンテンツのピーク輝度よりも小さい場合には(ステップS1402のYes)、出力先のディスプレイ1105のピーク輝度に適合するように、HDRコンテンツのディスプレイ・マッピングが必要である。
したがって、メタデータ処理部1103は、メタデータとしてHDRコンテンツからSDRコンテンツへの輝度変換情報(1D−LUT)(図5、図8、図9を参照のこと)を入力すると、図6に示した仕組み並びに上式(1)に従って、HDRコンテンツを出力先のディスプレイ1105にディスプレイ・マッピングするための輝度変換情報(1D−LUT)を作成する(ステップS1403)。
そして、設定したLUTに従ってコンテンツのディスプレイ・マッピングを実行する(ステップS1404)。
特表2014−502480号公報
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、UHD−BD、OTTなどのネット配信サービス、ディジタル放送サービスなどのHDRコンテンツを提供する画像提供システムに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。本明細書で開示する技術は、HDRコンテンツを伝送し又は表示するさまざまなシステムに適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得部と、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成部と、
を具備する画像処理装置。
(1−1)前記情報取得部は、前記第1のダイナミック・レンジのコンテンツから前記第2のダイナミック・レンジのコンテンツを編集する過程におけるログ・データに基づいて前記輝度変換情報を取得する、
上記(1)に記載の画像処理装置。
(1−2)前記情報取得部は、制作済みの前記第1のダイナミック・レンジのコンテンツと制作済みの前記第2のダイナミック・レンジのコンテンツの関係性に基づいて前記輝度変換情報を取得する、
上記(1)に記載の画像処理装置。
(2)前記メタデータ作成部は、1以上のポイントにおける前記第1のダイナミック・レンジから前記第2のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータを生成する、
上記(1)に記載の画像処理装置。
(3)前記メタデータを所定の伝送コンテナーに格納して伝送する伝送部をさらに備える、
上記(1)又は(2)のいずれかに記載の画像処理装置。
(4)前記伝送部は、輝度変換情報を線形輝度値で表現した前記メタデータを伝送する、
上記(3)に記載の画像処理装置。
(5)前記伝送部は、前記メタデータを前記コンテンツのknee_function_info SEIに格納する、
上記(3)又は(4)のいずれかに記載の画像処理装置。
(6)前記伝送部は、輝度変換情報を符号値で表現した前記メタデータを伝送する、
上記(3)に記載の画像処理装置。
(7)前記伝送部は、前記メタデータを前記コンテンツのTone_mapping_info SEIに格納する、
上記(3)又は(6)のいずれかに記載の画像処理装置。
(8)第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第1のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第2の輝度変換情報を作成するメタデータ処理部と、
前記第2の輝度変換情報に基づいて前記第1のダイナミック・レンジのコンテンツを処理するコンテンツ処理部と、
を具備する画像処理装置。
(9)前記メタデータ処理部は、1以上のポイントにおける前記第1のダイナミック・レンジから前記第2のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータに基づいて、前記第1のダイナミック・レンジにおける輝度値を所定のピーク輝度を持つ前記ディスプレイにおける輝度値に変換する変換テーブルを作成し、
前記コンテンツ処理部は、前記変換テーブルに基づいて、前記第1のダイナミック・レンジのコンテンツの輝度を変換する、
上記(8)に記載の画像処理装置。
(10)前記メタデータ処理部は、所定の伝送コンテナーに格納されたメタデータに基づいて前記第2の輝度変換情報を作成する、
上記(8)又は(9)のいずれかに記載の画像処理装置。
(11)前記メタデータ処理部は、輝度変換情報を線形輝度値で表現した前記メタデータに基づいて前記第2の輝度変換情報を作成し、
前記コンテンツ処理部は、電光線形変換処理した後の輝度信号に対して前記第2の輝度変換情報に基づく処理を行なう、
上記(10)に記載の画像処理装置。
(12)前記メタデータ処理部は、前記コンテンツのknee_function_info SEIに格納されたメタデータに基づいて前記第2の輝度変換情報を作成する、
上記(10)又は(11)のいずれかに記載の画像処理装置。
(13)前記メタデータ処理部は、輝度変換情報を符号値で表現した前記メタデータに基づいて前記第2の輝度変換情報を作成し、
前記コンテンツ処理部は、電光線形変換処理する後の輝度符号値に対して前記第2の輝度変換情報に基づく処理を行なう、
上記(10)に記載の画像処理装置。
(14)前記メタデータ処理部は、前記コンテンツのTone_mapping_info SEIに格納されたメタデータに基づいて前記第2の輝度変換情報を作成する、
上記(10)又は(13)のいずれかに記載の画像処理装置。
(15)前記メタデータ処理部は、前記ディスプレイのピーク輝度が前記第1のダイナミック・レンジのピーク輝度よりも大きいときには、前記第2の輝度変換情報を作成せず、前記コンテンツ処理部による前記第1のダイナミック・レンジのコンテンツの処理を行なわせない、
上記(8)に記載の画像処理装置。
(16)第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得ステップと、
前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成ステップと、
を有する画像処理方法。
(17)第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第1のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第2の輝度変換情報を作成するメタデータ処理ステップと、
前記第2の輝度変換情報に基づいて前記第1のダイナミック・レンジのコンテンツを処理するコンテンツ処理ステップと、
を有する画像処理方法。
100…画像提供システム
200…画像提供装置
201…撮影部、202…グレーディング・マスタリング部202
203…光電変換部、
300…画像利用装置
301…復号部、302…電光線形変換部
303…線形ディスプレイ・ガンマー変換部、304…表示部
701…コンテンツ処理部、702…メタデータ作成部
703…符号化部、704…コンテンツ提供部
1101…コンテンツ取得部、1102…復号部
1103…メタデータ処理部、1104…ストリーム・データ処理部
1105…ディスプレイ
1201…線形電光変換部、1202…ディスプレイ・マッピング部
1203…光電変換部
1301…ディスプレイ・マッピング部、1302…線形電光変換部
1303…光電変換部

Claims (17)

  1. 第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得部と、
    前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成部と、
    を具備する画像処理装置。
  2. 前記メタデータ作成部は、1以上のポイントにおける前記第1のダイナミック・レンジから前記第2のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータを生成する、
    請求項1に記載の画像処理装置。
  3. 前記メタデータを所定の伝送コンテナーに格納して伝送する伝送部をさらに備える、
    請求項1又は2のいずれかに記載の画像処理装置。
  4. 前記伝送部は、輝度変換情報を線形輝度値で表現した前記メタデータを伝送する、
    請求項3に記載の画像処理装置。
  5. 前記伝送部は、前記メタデータを前記コンテンツのknee_function_info SEIに格納する、
    請求項3又は4のいずれかに記載の画像処理装置。
  6. 前記伝送部は、輝度変換情報を符号値で表現した前記メタデータを伝送する、
    請求項3に記載の画像処理装置。
  7. 前記伝送部は、前記メタデータを前記コンテンツのTone_mapping_info SEIに格納する、
    請求項3又は6のいずれかに記載の画像処理装置。
  8. 第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第1のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第2の輝度変換情報を作成するメタデータ処理部と、
    前記第2の輝度変換情報に基づいて前記第1のダイナミック・レンジのコンテンツを処理するコンテンツ処理部と、
    を具備する画像処理装置。
  9. 前記メタデータ処理部は、1以上のポイントにおける前記第1のダイナミック・レンジから前記第2のダイナミック・レンジへの変換前後の輝度値の関係を含む前記メタデータに基づいて、前記第1のダイナミック・レンジにおける輝度値を所定のピーク輝度を持つ前記ディスプレイにおける輝度値に変換する変換テーブルを作成し、
    前記コンテンツ処理部は、前記変換テーブルに基づいて、前記第1のダイナミック・レンジのコンテンツの輝度を変換する、
    請求項8に記載の画像処理装置。
  10. 前記メタデータ処理部は、所定の伝送コンテナーに格納されたメタデータに基づいて前記第2の輝度変換情報を作成する、
    請求項8又は9のいずれかに記載の画像処理装置。
  11. 前記メタデータ処理部は、輝度変換情報を線形輝度値で表現した前記メタデータに基づいて前記第2の輝度変換情報を作成し、
    前記コンテンツ処理部は、電光線形変換処理した後の輝度信号に対して前記第2の輝度変換情報に基づく処理を行なう、
    請求項10に記載の画像処理装置。
  12. 前記メタデータ処理部は、前記コンテンツのknee_function_info SEIに格納されたメタデータに基づいて前記第2の輝度変換情報を作成する、
    請求項10又は11のいずれかに記載の画像処理装置。
  13. 前記メタデータ処理部は、輝度変換情報を符号値で表現した前記メタデータに基づいて前記第2の輝度変換情報を作成し、
    前記コンテンツ処理部は、電光線形変換処理する後の輝度符号値に対して前記第2の輝度変換情報に基づく処理を行なう、
    請求項10に記載の画像処理装置。
  14. 前記メタデータ処理部は、前記コンテンツのTone_mapping_info SEIに格納されたメタデータに基づいて前記第2の輝度変換情報を作成する、
    請求項10又は13のいずれかに記載の画像処理装置。
  15. 前記メタデータ処理部は、前記ディスプレイのピーク輝度が前記第1のダイナミック・レンジのピーク輝度よりも大きいときには、前記第2の輝度変換情報を作成せず、前記コンテンツ処理部による前記第1のダイナミック・レンジのコンテンツの処理を行なわせない、
    請求項8に記載の画像処理装置。
  16. 第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を取得する情報取得ステップと、
    前記輝度変換情報に基づいてコンテンツのメタデータを生成するメタデータ作成ステップと、
    を有する画像処理方法。
  17. 第1のダイナミック・レンジのコンテンツを第2のダイナミック・レンジのコンテンツに変換する輝度変換情報を含んだメタデータに基づいて、前記第1のダイナミック・レンジのコンテンツを出力先のディスプレイに適合させる第2の輝度変換情報を作成するメタデータ処理ステップと、
    前記第2の輝度変換情報に基づいて前記第1のダイナミック・レンジのコンテンツを処理するコンテンツ処理ステップと、
    を有する画像処理方法。
JP2014182785A 2014-09-08 2014-09-08 画像処理装置及び画像処理方法 Pending JP2016058848A (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2014182785A JP2016058848A (ja) 2014-09-08 2014-09-08 画像処理装置及び画像処理方法
MX2016002285A MX364585B (es) 2014-09-08 2015-07-21 Aparato de procesamiento de imagen y metodo de procesamiento de imagen.
EP15748319.9A EP3192256B1 (en) 2014-09-08 2015-07-21 Image processing apparatus and image processing method
PCT/JP2015/003638 WO2016038775A1 (en) 2014-09-08 2015-07-21 Image processing apparatus and image processing method
CA2921185A CA2921185C (en) 2014-09-08 2015-07-21 Image processing apparatus and image processing method
SG11201601305WA SG11201601305WA (en) 2014-09-08 2015-07-21 Image processing apparatus and image processing method
CN201580001644.5A CN105794216B (zh) 2014-09-08 2015-07-21 图像处理设备和图像处理方法
US14/913,875 US10192294B2 (en) 2014-09-08 2015-07-21 Image processing apparatus and image processing method for display mapping

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014182785A JP2016058848A (ja) 2014-09-08 2014-09-08 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2016058848A true JP2016058848A (ja) 2016-04-21

Family

ID=53801132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014182785A Pending JP2016058848A (ja) 2014-09-08 2014-09-08 画像処理装置及び画像処理方法

Country Status (8)

Country Link
US (1) US10192294B2 (ja)
EP (1) EP3192256B1 (ja)
JP (1) JP2016058848A (ja)
CN (1) CN105794216B (ja)
CA (1) CA2921185C (ja)
MX (1) MX364585B (ja)
SG (1) SG11201601305WA (ja)
WO (1) WO2016038775A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018006877A (ja) * 2016-06-28 2018-01-11 シャープ株式会社 映像伝送装置、表示装置、映像表示システム、映像配信装置、映像配信システム、映像送受信システム、プログラム、記録媒体、および映像伝送方法
JP2018074199A (ja) * 2016-10-24 2018-05-10 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
WO2019003850A1 (ja) * 2017-06-28 2019-01-03 キヤノン株式会社 画像処理装置及び方法
JP2019087844A (ja) * 2017-11-06 2019-06-06 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、表示装置、および画像処理方法
US10440314B2 (en) 2016-07-11 2019-10-08 Sharp Kabushiki Kaisha Video signal conversion device, video signal conversion method, video signal conversion system, control program, and recording medium
US10733963B2 (en) 2016-10-06 2020-08-04 Sony Interactive Entertainment Inc. Information processing apparatus and image processing method
US10803569B2 (en) 2018-08-09 2020-10-13 Sony Interactive Entertainment Inc. Image processing apparatus, calibration method, and computer program
WO2020213366A1 (ja) 2019-04-16 2020-10-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US11094286B2 (en) 2017-12-05 2021-08-17 Sony Interactive Entertainment Inc. Image processing apparatus and image processing method
JP2021532677A (ja) * 2018-07-31 2021-11-25 エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc 輝度範囲が限定されたディスプレイのための効果的な電気光学伝達関数の符号化
JP7351140B2 (ja) 2019-08-26 2023-09-27 富士通株式会社 配信装置、配信システムおよび配信プログラム
JP7371197B2 (ja) 2018-09-03 2023-10-30 キヤノン株式会社 画像処理装置およびその制御方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
JP5948618B2 (ja) 2014-05-16 2016-07-06 パナソニックIpマネジメント株式会社 変換方法および変換装置
EP3157242B1 (en) 2014-06-10 2019-07-03 Panasonic Intellectual Property Management Co., Ltd. Display system, display method, and display device
WO2015198560A1 (ja) 2014-06-27 2015-12-30 パナソニックIpマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
KR102488954B1 (ko) 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
JP6779695B2 (ja) * 2016-07-28 2020-11-04 キヤノン株式会社 画像処理装置及びその制御方法、表示装置
WO2018035696A1 (zh) 2016-08-22 2018-03-01 华为技术有限公司 一种图像处理方法以及装置
US10242435B2 (en) 2016-09-07 2019-03-26 Gvbb Holdings S.A.R.L. High dynamic range processing
EP3312798A1 (en) * 2016-10-20 2018-04-25 Thomson Licensing Method and device for inverse tone mapping
JP6819208B2 (ja) * 2016-10-25 2021-01-27 ソニー株式会社 信号処理装置および方法、並びにプログラム
KR102495754B1 (ko) 2016-10-25 2023-02-02 한화테크윈 주식회사 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법
EP3367689A1 (en) * 2017-02-24 2018-08-29 Ymagis Signal encoding and decoding for high contrast theatrical display
CN107277399B (zh) * 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
JP7117558B2 (ja) * 2017-07-07 2022-08-15 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
CN107590780B (zh) * 2017-08-09 2023-01-20 深圳Tcl新技术有限公司 图像显示方法、终端及计算机可读存储介质
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
CN108492772B (zh) * 2018-03-30 2019-10-25 京东方科技集团股份有限公司 一种Gamma调节方法及Gamma调节系统
KR102445544B1 (ko) 2018-04-02 2022-09-21 삼성전자 주식회사 전자장치, 그 제어방법 및 기록매체
CN108900823B (zh) * 2018-07-05 2019-07-12 华为技术有限公司 一种视频信号处理的方法及装置
CN110691277B (zh) * 2018-07-05 2024-03-05 华为技术有限公司 视频信号的处理方法及装置
US10863157B2 (en) * 2018-07-06 2020-12-08 Samsung Electronics Co., Ltd. Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device
JP2020025176A (ja) * 2018-08-07 2020-02-13 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、およびプログラム
US11430095B2 (en) * 2018-09-19 2022-08-30 Dolby Laboratories Licensing Corporation Automatic display management metadata generation for gaming and/or SDR+ contents
US11049224B2 (en) 2018-12-05 2021-06-29 Microsoft Technology Licensing, Llc Automated real-time high dynamic range content review system
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
JP2022540067A (ja) * 2019-06-28 2022-09-14 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ用映像コンテンツタイプメタデータ
WO2021112838A1 (en) * 2019-12-04 2021-06-10 Google Llc Remapping for mixed dynamic range content
CN113596428B (zh) * 2020-04-30 2022-12-06 华为技术有限公司 映射曲线参数的获取方法和装置
US11889195B2 (en) * 2020-12-29 2024-01-30 SK Hynix Inc. Image sensing system and operating method thereof
CN113676773B (zh) * 2021-08-16 2023-11-14 广州虎牙信息科技有限公司 一种视频播放方法、系统、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257641A (ja) * 2006-03-24 2007-10-04 Sharp Corp トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2013059116A1 (en) * 2011-10-20 2013-04-25 Dolby Laboratories Licensing Corporation Method and system for video equalization
WO2014002901A1 (ja) * 2012-06-29 2014-01-03 ソニー株式会社 画像処理装置および方法
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100193387B1 (ko) * 1994-10-11 1999-06-15 윤종용 광전 변환된 영상신호를 위한 디지탈 신호변환방법 및 그 장치
CN101540832B (zh) * 2009-04-24 2011-02-09 段江 图像信号的动态范围匹配方法
EP2539884B1 (en) * 2010-02-24 2018-12-12 Dolby Laboratories Licensing Corporation Display management methods and apparatus
US8423392B2 (en) * 2010-04-01 2013-04-16 Google Inc. Trusted participants of social network providing answers to questions through on-line conversations
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US20140082104A1 (en) 2011-05-27 2014-03-20 James M. Mann Updating a Message
KR102602528B1 (ko) 2011-05-27 2023-11-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
EP2959672B1 (en) * 2013-02-21 2019-12-04 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257641A (ja) * 2006-03-24 2007-10-04 Sharp Corp トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2013059116A1 (en) * 2011-10-20 2013-04-25 Dolby Laboratories Licensing Corporation Method and system for video equalization
WO2014002901A1 (ja) * 2012-06-29 2014-01-03 ソニー株式会社 画像処理装置および方法
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SALLY HATTORI,OHJI NAKAGAMI,TERUHIKO SUZUKI: "HLS:SEI message for Knee Function Information", JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 16TH M, vol. JCTVC-P0050, JPN6015028168, 31 December 2013 (2013-12-31), US, ISSN: 0003827919 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018006877A (ja) * 2016-06-28 2018-01-11 シャープ株式会社 映像伝送装置、表示装置、映像表示システム、映像配信装置、映像配信システム、映像送受信システム、プログラム、記録媒体、および映像伝送方法
US10440314B2 (en) 2016-07-11 2019-10-08 Sharp Kabushiki Kaisha Video signal conversion device, video signal conversion method, video signal conversion system, control program, and recording medium
US10733963B2 (en) 2016-10-06 2020-08-04 Sony Interactive Entertainment Inc. Information processing apparatus and image processing method
JP2018074199A (ja) * 2016-10-24 2018-05-10 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
CN110800285B (zh) * 2017-06-28 2021-07-27 佳能株式会社 图像处理设备、图像处理方法和存储介质
WO2019003850A1 (ja) * 2017-06-28 2019-01-03 キヤノン株式会社 画像処理装置及び方法
JP2019009731A (ja) * 2017-06-28 2019-01-17 キヤノン株式会社 画像処理装置及び方法、撮像装置、及び、撮像システム
CN110800285A (zh) * 2017-06-28 2020-02-14 佳能株式会社 图像处理设备和方法
US11252335B2 (en) 2017-06-28 2022-02-15 Canon Kabushiki Kaisha Image processing apparatus and method, and non-transitory computer-readable storage medium
JP2019087844A (ja) * 2017-11-06 2019-06-06 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、表示装置、および画像処理方法
US10825153B2 (en) 2017-11-06 2020-11-03 Sony Interactive Entertainment Inc. Image processing apparatus, display apparatus, and image processing method
US11094286B2 (en) 2017-12-05 2021-08-17 Sony Interactive Entertainment Inc. Image processing apparatus and image processing method
JP2021532677A (ja) * 2018-07-31 2021-11-25 エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc 輝度範囲が限定されたディスプレイのための効果的な電気光学伝達関数の符号化
JP7291202B2 (ja) 2018-07-31 2023-06-14 エーティーアイ・テクノロジーズ・ユーエルシー 輝度範囲が限定されたディスプレイのための効果的な電気光学伝達関数の符号化
US10803569B2 (en) 2018-08-09 2020-10-13 Sony Interactive Entertainment Inc. Image processing apparatus, calibration method, and computer program
JP7371197B2 (ja) 2018-09-03 2023-10-30 キヤノン株式会社 画像処理装置およびその制御方法
WO2020213366A1 (ja) 2019-04-16 2020-10-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US11749232B2 (en) 2019-04-16 2023-09-05 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
JP7351140B2 (ja) 2019-08-26 2023-09-27 富士通株式会社 配信装置、配信システムおよび配信プログラム

Also Published As

Publication number Publication date
CA2921185C (en) 2023-03-14
MX2016002285A (es) 2016-06-29
MX364585B (es) 2019-05-02
SG11201601305WA (en) 2016-04-28
CA2921185A1 (en) 2016-03-08
EP3192256B1 (en) 2021-09-01
CN105794216B (zh) 2020-12-11
WO2016038775A1 (en) 2016-03-17
US10192294B2 (en) 2019-01-29
EP3192256A1 (en) 2017-07-19
CN105794216A (zh) 2016-07-20
US20160292834A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
CA2921185C (en) Image processing apparatus and image processing method
JP6421504B2 (ja) 画像処理装置及び画像処理方法
JP7018573B2 (ja) 輝度変換装置および輝度変換方法
JP6733547B2 (ja) 画像処理装置及び画像処理方法
JP6558599B2 (ja) 再生装置、再生方法、及び、コンピュータプログラム
JP6849011B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN109151253B (zh) 显示装置、显示方法以及再现显示系统
JP2020188495A (ja) 受信装置、受信方法および表示装置
KR102360613B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6686438B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6731627B2 (ja) 再生装置で実行される方法、及び再生装置
JP6643669B2 (ja) 表示装置および表示方法
JP2019110538A (ja) 輝度変換方法、輝度変換装置および映像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180703