CN111491148B - 显示方法 - Google Patents

显示方法 Download PDF

Info

Publication number
CN111491148B
CN111491148B CN202010324126.XA CN202010324126A CN111491148B CN 111491148 B CN111491148 B CN 111491148B CN 202010324126 A CN202010324126 A CN 202010324126A CN 111491148 B CN111491148 B CN 111491148B
Authority
CN
China
Prior art keywords
luminance
eotf
image
hdr
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010324126.XA
Other languages
English (en)
Other versions
CN111491148A (zh
Inventor
小冢雅之
东田隆司
森美裕
平川晴康
远间正真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN111491148A publication Critical patent/CN111491148A/zh
Application granted granted Critical
Publication of CN111491148B publication Critical patent/CN111491148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4518Management of client data or end-user data involving characteristics of one or more peripherals, e.g. peripheral type, software version, amount of memory available or display capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Abstract

一种显示方法,用于在显示装置显示由与HDR即高动态范围对应的第1EOTF即第1电光转换函数定义了影像的辉度的影像数据的影像,在显示方法中,取得影像数据;进行第1变换;以及使用第1变换的结果,将影像显示于显示装置,第1变换是将影像的辉度变换为与第3EOTF的动态范围对应的辉度,第3EOTF是针对第2EOTF以维持第2EOTF的辉度的相对关系不变的方式使第2EOTF的最大辉度与显示装置的能够显示辉度相配合地将第2EOTF的辉度的动态范围缩小后的EOTF,第2EOTF是第1EOTF的一部分、并且是将由所取得的影像数据所包含的峰值辉度信息表示的峰值辉度设为最大辉度的辉度范围的部分。

Description

显示方法
本申请是申请日为2016年2月8日、申请号为201680008002.2、发明名称为“显示方法和显示装置”的中国专利申请的分案申请。
技术领域
本公开涉及显示方法和显示装置。
背景技术
以往,公开了用于改善能够显示的辉度等级的图像信号处理装置(参照例如专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2008-167418号公报
发明内容
发明要解决的课题
然而,在上述专利文献中,需要进一步的改善。
用于解决课题的技术方案
本公开的一个技术方案的显示方法,用于在显示装置显示由表示HDR的辉度和代码值的对应关系的第1EOTF定义了影像的辉度的影像数据的影像,HDR(High DynamicRange)是高动态范围,EOTF(Electoro-Optical Transfer Function)是电光转换函数,所述影像数据包括表示所述影像的峰值辉度的峰值辉度信息,所述显示方法包括:取得所述影像数据;进行第1变换,所述第1变换将所述影像的辉度变换为与第3EOTF的动态范围对应的辉度,所述第3EOTF是针对第2EOTF以维持所述第2EOTF的辉度的相对关系不变的方式使所述第2EOTF的最大辉度与所述显示装置的能够显示辉度相配合地将所述第2EOTF的辉度的动态范围缩小后的EOTF,所述第2EOTF是所述第1EOTF的一部分、并且是将由所取得的所述影像数据所包含的所述峰值辉度信息表示的所述峰值辉度设为最大辉度的辉度范围的部分;以及使用所述第1变换的结果,在所述显示装置显示所述影像。
此外,这些总体概况性的或具体的方案,既可以由装置、系统、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现,也可以由装置、系统、集成电路、计算机程序或记录介质的任意组合实现。
发明的效果
根据上述方案,能够实现进一步的改善。
附图说明
图1是用于对影像技术的进化进行说明的图。
图2是用于说明SDR信号与HDR信号的不同的图。
图3是在内容中储存的辉度信号的代码值的决定方法和在再现时从代码值恢复辉度的过程的说明图。
图4是用于说明使SDR信号在SDRTV中显示的情况下的显示处理的一例的图。
图5是用于说明使HDR信号在HDRTV中显示的情况下的显示处理的一例的图。
图6是示出图像拍摄时的辉度的尺度的图。
图7是拍摄到的图像的辉度的例子所示的图。
图8是用于对制作与SDR对应的家庭娱乐用母版的流程、发布媒体以及显示装置的关系进行说明的图。
图9A是示出将图7中示出的原图像进行母版处理成SDR图像的结果的辉度的一例的图。
图9B是示出用于将原信号值变换为SDR信号值(进行母版处理)的原信号值与SDR信号值的关系的一例的图。
图10A是示出将图7中示出的原图像进行母版处理成HDR图像的结果的辉度的一例的图。
图10B是示出用于将原信号值变换为HDR信号值(进行母版处理)的原信号值与HDR信号值的关系的一例的图。
图11A是示出取得通过图10A的母版处理得到的HDR图像,并辉度变换为第2最大辉度为500nit的显示设备用的结果的一例的图。
图11B是示出用于将HDR信号值辉度变换为TV信号值的、HDR信号值与TV信号值的关系的一例的图。
图12是示出实施方式1的显示装置的功能框的图。
图13是用于对显示装置的变换部中的变换处理(第1变换)的具体例进行说明的图。
图14是用于对变换部中的变换处理的另一具体例进行说明的图。
图15是用于说明在视听环境中根据明亮度使SDR信号在SDRTV中显示的情况下的显示处理的一例的图。
图16是示出实施方式2的显示装置的功能框的图。
具体实施方式
(作为本公开的基础的见解)
本发明人关于在“背景技术”一栏记载的图像信号处理装置,发现了会产生以下的问题。
在专利文献1公开的图像信号处理装置中,基于根据构成被拍摄体的像素算出的线性RGB值,按每个像素算出线性辉度,基于线性RGB值和线性辉度,算出每个像素的修正线性辉度和合成包括该像素的多个像素而得到的合成像素的修正线性RGB值,对修正线性辉度和修正线性RGB值分别进行伽马(Gamma)修正而算出显示用辉度和显示用RGB值。这样,在图像信号处理装置中,基于修正线性RGB值来修正线性辉度,由此谋求能够显示的灰度数的增加。
近些年,伴随于影像技术的进化,已知有使HDR影像显示于TV等显示装置的技术,该HDR影像是由比定义了以往的影像的辉度的动态范围宽的动态范围即HDR(High DynamicRange;高动态范围)定义辉度而得到的影像。在此,关于影像技术的变迁,使用图1进行说明。
图1是用于对影像技术的进化进行说明的图。
迄今为止,作为影像的高画质化,主要着眼于显示像素数的扩大,从标准清晰度(Standard Definition)(SD)的720×480像素的影像起,高清晰度(High Definition)(HD)的1920×1080像素的、所谓2K影像普及开来。
近些年,以进一步的高画质化为目标,开始导入超高清晰度(Ultra HighDefinition)(UHD)的3840×1920像素、或者4K的4096x1920像素的、所谓4K影像。
正在研究通过进行由4K的导入实现的影像的高分辨率化并且进行动态范围扩张和/或色域的扩大、或者帧率的追加、提高等来使影像高画质化。
关于动态范围扩张,由于数码摄像头和/或CMOS(Complementary metal-oxide-semiconductor)图像传感器的性能提高,能够进行表示曝光的光圈数(Stop数)为14Stops以上的宽的动态范围的图像的拍摄。因此,能够在维持暗部灰度的同时,拍摄100%反射光以上明亮的光(镜面反射光等明亮的光)。为了将该摄像头或图像传感器的性能提高活用于表现力的提高,作为也能够传送更高辉度的信号的信号规格,HDR受到瞩目。
迄今为止的TV信号被称作SDR(Standard Dynamic Range;标准动态范围),峰值辉度(最大辉度)为100nit,相对于此,在HDR(尤其是,以利用SMPTE标准化后的EOTF即ST 2084(PQ曲线)编码的HDR)的情况下,会能够表现到10000nit以上的峰值辉度。
作为HDR的具体的应用对象,设想了与HD、UHD同样地,在播放、封装介质(packagemedia)(Blu-ray(日本注册商标)、Disc等)、互联网发布中使用。
接着,关于SDR和HDR,使用图2进行说明。
图2是用于说明SDR信号与HDR信号的不同的图。此外,SDR信号是指表示与SDR对应的SDR影像的影像信号,HDR信号是指表示与HDR对应的HDR影像的影像信号。
通过利用动态范围(14Stop等)宽的数码摄像头拍摄而得到的原信号中,包括0~10000nit这一宽范围的辉度信息。
SDR信号是满足bt709等播放规格的影像,是通过按照从原信号变为峰值辉度为100nit的SDR影像的方式进行颜色修正(grading,分级)处理而得到的影像信号。也就是说,SDR信号是由影像的辉度为0~100nit这一辉度的动态范围定义的影像信号。
另一方面,HDR信号是按照撤除SDR信号那样的使峰值辉度为100nit的制约,而与ST2084(以下,称作“PQ曲线”。)的制约相配合地变为使得辉度的动态范围的最大辉度为达到10000nit的HDR影像的方式进行颜色修正(grading;分级)处理而得到的影像信号。也就是说,HDR信号是由影像的辉度为0~10000nit这一辉度的动态范围定义的影像信号。此外,HDR信号的辉度的动态范围的最大辉度不限于10000nit,也可以是例如800~4000nit。
这样,HDR的辉度的动态范围是峰值辉度比SDR的辉度的动态范围大的动态范围。此外,HDR的辉度的动态范围的最小辉度与SDR的辉度的动态范围的最小辉度相同,是0nit。
图3是储存于内容的辉度信号的代码值的决定方法和在再现时从代码值恢复辉度的过程的说明图。
本例中的影像信号是与HDR对应的HDR信号。分级(grading)后的图像,通过HDR的逆EOTF而量化,决定与该图像的辉度对应的代码值。基于该代码值进行图像编码等,生成视频流。在再现时,对于流的解码结果,通过基于HDR的EOTF进行逆量化而变换为线性的信号,恢复每个像素的辉度。以下,将使用了HDR的逆EOTF的量化称作“逆HDR的EOTF变换”。将使用了HDR的EOTF的逆量化称作“HDR的EOTF变换”。同样,将使用了SDR的逆EOTF的量化称作“逆SDR的EOTF变换”。将使用了SDR的EOTF的逆量化称作“SDR的EOTF变换”。
在进行使上述那样的HDR信号在HDR对应的显示装置(例如,HDRTV)显示的显示控制的情况下,多数情况下,与HDR信号的峰值辉度相比,HDRTV的能够显示的峰值辉度(以下,称作“显示峰值辉度”)小。因此,为了使HDR信号的峰值辉度与HDRTV的显示峰值辉度相符,需要将HDR信号的辉度的动态范围缩小为HDRTV所对应的辉度的动态范围。
然而,在专利文献1所公开的图像信号处理装置等的辉度修正(变换)中,关于将辉度修正(变换)为比定义了影像的辉度的HDR的辉度的动态范围窄的辉度的动态范围时的辉度的变换方法,没有做出考虑。
因此,产生了如下的课题。
由于SDR的EOTF(伽马曲线:相对辉度基准)与HDR的EOTF(ST2084:PQ曲线:绝对辉度基准)的差异,在利用HDRTV显示HDR信号的情况下,与利用SDR对应的显示装置(例如,SDRTV)显示SDR信号的情况不同,产生了下述课题。
人的眼睛,对于影像的辉度,不是识别绝对辉度,而是识别相对辉度。SDR影像,是通过将原信号的辉度利用SDR的EOTF(伽马曲线)进行量化而分级成峰值辉度为100nit的SDR影像的相对辉度基准的影像。
图4是用于说明使SDR信号在SDRTV显示的情况下的显示处理的一例的图。图4的(a)是示出定义了SDR内容的影像的辉度的SDR的EOTF的图。图4的(b)是示出与SDRTV的显示峰值辉度相配合地变换后的SDR的EOTF的图。
如图4所示,在SDRTV的显示峰值辉度与100nit不同的情况下(在本例中,是比100nit大的250nit),根据该SDRTV的辉度的显示性能,以维持对比度的相对关系的形式,被调整而显示。具体地说,通过相对于表示SDR的EOTF的辉度的变量,与SDRTV的显示峰值辉度相配合地乘以2.5,以维持对比度的相对关系的形式调整SDR的EOTF,生成与SDRTV的辉度的显示性能相符的EOTF,使用该EOTF,使SDR影像显示于SDRTV。由此,即使SDRTV的辉度的显示性能与SDR内容的辉度的动态范围不同,也实现了接近内容制作者的意图的形式下的显示。
这样,在将由SDR信号表示的SDR影像在SDRTV显示的情况下,SDRTV以相对辉度基准显示由SDR信号表示的SDR影像。相对于此,在将由HDR信号表示的HDR影像在HDRTV显示的情况下,以PQ曲线是考虑人类的视觉特性(人类能够识别的全部辉度范围)而研究出的曲线为理由,要求在HDRTV以PQ曲线的绝对辉度基准忠实地显示HDR影像。
Blu-ray(注册商标)Disc Association、UHD Alliance等数字AV技术的国际标准化组织,要求将与HDR对应的内容,以比当前10000nit小的预定辉度(例如1000nit)为上限进行分级(允许其以上的辉度也存在)。
图5是用于说明使HDR信号在HDRTV显示的情况下的显示处理的一例的图。图5的(a)是示出定义了HDR内容的影像的辉度的HDR的EOTF的图。图5的(b)是示出用于与HDRTV的显示峰值辉度相配合地变换HDR内容的辉度的色调映射(tone mapping)处理(辉度变换处理)的图。
如图5所示,在使显示峰值辉度小于预定辉度(例如500nit)的HDRTV显示由以预定辉度为峰值辉度的动态范围定义的HDR影像的情况下,要求通过对该HDR影像的HDR信号进行预定的色调映射处理,使HDRTV表现作为HDR影像的峰值辉度的预定辉度。也就是说,要求进行使预定辉度与HDRTV的显示峰值辉度相符的色调映射处理,以使HDR影像的峰值辉度能够通过HDRTV表现。
在该情况下,若仅是辉度分量,则如图5的(b)所示,只要进行包括拐点曲线处理在内的色调映射处理,就能够使影像的辉度与HDRTV的显示峰值辉度相配合地变换,拐点曲线处理使用了表示输入辉度与输出辉度的关系的拐点曲线(knee curve)。但是,在针对影像信号的RGB各色独立地应用了同等的拐点曲线处理的情况下,颜色有可能变化。
在预定的色调映射处理中,需要以颜色不变化的方式,针对RGB各色独立地进行同等的处理。此时,在成为预定的色调映射处理的对象的1个像素的颜色由跨过拐点曲线化的点而配置的RGB各色的辉度构成的情况下,预定的色调映射处理后的RGB的平衡被打破,在色调映射处理前后颜色会变化。也就是说,在RGB的第1颜色(例如R)是没有拐点曲线化的辉度范围的辉度,与RGB的第1颜色不同的第2颜色(例如B)是拐点曲线化的辉度范围的辉度的情况下,在处于没有拐点曲线化的辉度范围内的辉度,辉度不变化,在处于拐点曲线化的辉度范围内的辉度,辉度小程度地变化。因此,在预定的色调映射处理的前后,RGB的辉度的相对关系被打破,颜色会变化。另外,即使RGB各色是拐点曲线化的辉度范围内的辉度,由于在拐点曲线化的辉度范围内,根据辉度的大小,辉度被缩小的变化率不同,所以RGB的辉度的相对关系也会被打破。因此,为了减小预定的色调映射处理的前后的颜色的变化,需要三维颜色变换处理等复杂的处理。
尤其是,在对比度非常高的OLED的情况下,若针对绝对辉度基准的HDR信号进行利用拐点曲线的处理,则即使是颜色的再现性高的OLED,颜色也会变化,所以产生了无法充分地发挥OLED的显示性能这一课题。
基于以上的研究,本发明人为了解决上述课题,而研究出了下述的改善对策。
本公开的一个技术方案的显示方法,用于在显示装置显示由表示HDR的辉度和代码值的对应关系的第1EOTF定义了影像的辉度的影像数据的影像,HDR是高动态范围,EOTF是电光转换函数,所述影像数据包括表示所述影像的峰值辉度的峰值辉度信息,所述显示方法包括:取得所述影像数据;进行第1变换,所述第1变换将所述影像的辉度变换为与第3EOTF的动态范围对应的辉度,所述第3EOTF是针对第2EOTF以维持所述第2EOTF的辉度的相对关系不变的方式使所述第2EOTF的最大辉度与所述显示装置的能够显示辉度相配合地将所述第2EOTF的辉度的动态范围缩小后的EOTF,所述第2EOTF是所述第1EOTF的一部分、并且是将由所取得的所述影像数据所包含的所述峰值辉度信息表示的所述峰值辉度设为最大辉度的辉度范围的部分;以及使用所述第1变换的结果,在所述显示装置显示所述影像。
由此,能够以不进行拐点曲线处理那样的辉度变换处理的方式,将与HDR对应的影像的辉度的动态范围与显示装置的能够显示辉度相配合地变换。因此,能够容易地进行使影像数据的影像与显示装置的辉度相符的辉度变换,且能够抑制变换前后的颜色的变化。
另外,也可以是,所述第3EOTF是通过将所述能够显示辉度除以所述峰值辉度而得到的值乘以表示所述第2EOTF中的辉度的变量、从而以维持所述第2EOTF的辉度的相对关系不变的方式使所述第2EOTF的最大辉度与所述能够显示辉度相配合地将所述第2EOTF的辉度的动态范围缩小后的EOTF。
因此,能够容易地进行使影像数据的影像与显示装置的辉度相符的辉度变换,且能够抑制变换前后的颜色的变化。
另外,也可以是,还包括:进行所述峰值辉度信息所表示的所述峰值辉度是否超过所述显示装置预先存储的预定辉度的第1判定,在所述第1判定的结果是所述峰值辉度超过所述预定辉度的情况下,进行包括(i)第3变换和(ii)第4变换的第2变换,所述第3变换是将所述影像的辉度中的从所述第2EOTF的所述预定辉度到所述峰值辉度的辉度范围内的辉度变换为从与比全范围窄的窄范围的上限值对应的第1辉度到与所述全范围的上限值对应的第2辉度的辉度范围内的辉度,所述全范围规定了所述显示装置预先存储的第4EOTF的代码值的范围,所述第4变换是针对第5EOTF以维持所述第5EOTF的辉度的相对关系不变的方式使所述第5EOTF的最大辉度与所述第1辉度相配合地变换为将所述第5EOTF的辉度的动态范围缩小后的第6EOTF,将所述影像的辉度中的所述第5EOTF的动态范围的辉度变换为对应的所述第6EOTF的动态范围的辉度,所述第5EOTF是所述第2EOTF的一部分、并且是将所述预定辉度设为最大辉度的辉度范围的部分,使用所述第2变换的结果,在所述显示装置显示所述影像。
由此,在第1判定的结果是峰值辉度超过了预定辉度的情况下,不进行第1变换而是进行第2变换。这样,在峰值辉度超过预定辉度的情况下,不进行维持辉度的相对关系的辉度的变换处理(第1变换),所以即使在辉度的变换处理的前后辉度的相对关系被维持,也能够抑制在低辉度范围内由于变得过暗而观赏性大幅不同。
另外,也可以是,在所述第3变换中,对所述影像的辉度中的从所述第2EOTF的所述预定辉度到所述峰值辉度的辉度范围内的辉度进行变换,以使得在所述第1辉度和所述窄范围的上限值的组与所述第2辉度和所述全范围的上限值的组之间满足线性的关系。
另外,也可以是,在所述第1判定的结果是所述峰值辉度为所述预定辉度以下的情况下,作为所述第1变换,进行使所述峰值辉度与作为所述能够显示辉度的所述第1辉度相配合地将所述第2EOTF的辉度的动态范围缩小的变换。
由此,在第1判定的结果是峰值辉度为预定值以下的情况下,不进行第2变换而是进行第1变换,所以在变换处理的前后观赏性大幅不同的可能性少的情况下,能够进行更容易的变换处理。因此,能够减少处理负荷。
另外,也可以是,所述全范围是代码值为从0到1023的整数值的范围,所述窄范围是代码值为从64到940的整数值的范围。
另外,也可以是,所述影像数据还包括表示最大帧平均辉度的最大帧平均辉度信息,所述最大帧平均辉度是构成所述影像的多个帧各自的平均辉度的最大值,进行第2判定,所述第2判定中,判定所述最大帧平均辉度信息所表示的所述最大帧平均辉度是否为所述峰值辉度的1/2以下,在所述第2判定的结果是所述最大帧平均辉度为所述峰值辉度的1/2以下的情况下,使用所述最大帧平均辉度的2倍的值作为所述预定辉度,进行所述第2变换。
这样,通过进行第2判定,能够判定在影像数据的影像中,包含具有峰值辉度或接近峰值辉度的辉度的像素的比例是多是少,在判定为少的情况下,使用最大帧平均辉度的2倍的值来进行第2变换,所以能够以更中间级、维持暗部的灰度性的方式将影像的辉度进行变换而显示。因此,能够极力减少影像的辉度中的、影像所包含的辉度的比例大的辉度范围的灰度性受损。
另外,也可以是,所述影像数据还包括:关于构成所述影像的多个区间影像的各区间影像表示该区间影像的峰值辉度即区间峰值辉度的区间峰值辉度信息,所述显示方法,还包括:进行第3判定,所述第3判定中,使用所取得的所述影像数据所包含的所述峰值辉度信息和所述区间峰值辉度信息,判定所述多个区间影像中的连续的两个所述区间影像间的辉度变化是否急剧,在所述第3判定的结果是所述辉度变化急剧的情况下,变换所述两个区间影像中的至少一方的辉度的动态范围,以使得所述辉度变化处于预定的范围内,在所述第3判定的结果是所述辉度变化不急剧的情况下,关于所述两个区间影像的各区间影像,进行将设与该区间影像对应的所述区间峰值辉度信息所表示的所述区间峰值辉度为最大辉度的动态范围内的EOTF作为所述第2EOTF的所述第1变换。
这样,根据在连续的区间影像间是否产生了急剧的辉度变化来切换处理,所以能够抑制影像突然变暗或变亮,能够抑制损害影像整体的统一感。
另外,也可以是,还包括:取得设置有所述显示装置的空间的环境光,进行第4判定,所述第4判定中,判定所取得的所述环境光是否明亮,在所述第4判定的结果是所述环境光明亮的情况下,作为所述第1变换,进行使用了第7EOTF的变换,所述第7EOTF是作为与作为所述能够显示辉度的所述显示装置的显示峰值辉度相配合地将所述第2EOTF的辉度的动态范围缩小后的所述第3EOTF的EOTF,在所述第4判定的结果是所述环境光暗的情况下,作为所述第1变换,进行使用了第8EOTF的变换,所述第8EOTF是作为与从作为所述能够显示辉度的所述显示峰值辉度降低预定的比例后的辉度相配合地将所述第2EOTF的辉度的动态范围缩小后的所述第3EOTF的EOTF。
由此,即使在使以绝对辉度显示为前提的影像显示于显示装置的情况下,也能够容易地实现与视听环境的明亮度相应的显示。
另外,也可以是,所述能够显示辉度是所述显示装置的显示峰值辉度。
因此,能够与显示装置的显示峰值辉度相配合地,将影像的辉度变换而显示。
此外,这些总体概括性的或具体的方案,既可以由装置、系统、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现,也可以由装置、系统、集成电路、计算机程序或记录介质的任意组合实现。
以下,参照附图,对本公开的一个技术方案的显示方法和显示装置进行具体说明。
此外,以下说明的实施方式,均示出本公开的一个具体例。以下的实施方式中示出的数值、形状、材料、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并非旨在限定本公开。另外,关于以下的实施方式的构成要素中的、没有记载于表示最上位概念的独立技术方案的构成要素,作为任意的构成要素来进行说明。
本公开涉及用于实现在具有与HDR信号所对应的辉度的动态范围内的峰值辉度(最大辉度或最高辉度)不同的辉度的动态范围的显示能力的显示装置(例如,TV、投影仪、平板电脑、智能手机等)显示通过SMPTE(Society of Motion Picture&TelevisionEngineers;电影电视工程师协会)ST2084规格的EOTF(以下,称作“PQ曲线”。)编码后的动态范围高的高辉度信号即HDR(High Dynamic Range;高动态范围)信号的HDR信号形式及该HDR信号的显示方法和显示装置。
(实施方式1)
以下,使用图6~图14对实施方式1进行说明。
首先,关于从图像的拍摄到使图像显示于显示部的处理的流程,使用图6~图11B依次进行说明。
[1-1.图像拍摄时的辉度的尺度的想法]
图6是示出图像拍摄时的辉度的尺度的图。
如图6所示,在利用摄像头拍摄图像的情况下,将反射率成为18%的灰度即18%灰度作为明亮度的基准点进行拍摄。也就是说,18%灰度是成为明亮度的基准的基准反射率。Stop数定义为以18%灰度下的辉度为基准点,每当辉度成为2倍时,增加1。
在实际利用摄像头拍摄图像时,从摄像头的图像传感器(例如CMOS、CCD等)得到的辉度,根据基于光圈、快门速度、感光度设定等的曝光而变化。也就是说,从图像传感器得到的辉度,即使是拍摄相同明亮度的被拍摄体,也会与曝光相应地成为不同的值。因此,Stop数的值自身不是绝对的值,而是相对的值。也就是说,无法利用Stop数来表示辉度。
例如,在图6的(1)的拍摄夜晚的场景那样的情况下,为了不引起曝光不足(blocked-up shadows),对摄像头进行如下曝光设定:通过放慢快门速度、打开光圈等而改变曝光,由此,保留暗的部分的灰度,舍弃明亮的部分。
另外,在图6的(2)的拍摄白天的室内的场景那样的情况下,对摄像头进行暗的部分与明亮的部分的平衡良好的曝光的设定。另外,在图6的(3)的拍摄白天的室外的场景那样的情况下,为了防止明亮的部分的过渡曝光,对摄像头进行减少了曝光的曝光设定。
为了将这样得到的相对的辉度变换为绝对的辉度,需要计算与18%灰度的相对关系。
[1-2.图像拍摄时的辉度]
图7是拍摄到的图像的辉度的例子所示的图。
如图7所示,拍摄到的图像(以下,称作“原图像”)10的A)示出具有与成为明亮度的基准的基准反射率即18%灰度(0Stop)对应的辉度(以下,称作“基准辉度”或“18%灰度(Gray)值”。)的像素。原图像10的B)示出具有与90%的反射率(90%灰度)(2.3Stops)对应的辉度的像素。原图像10的C)示出具有与几乎黑的2.3%灰度(-3Stops)对应的辉度的像素。原图像10的D)示出通过拍摄太阳得到的像素,得到了非常明亮的辉度,具有与1150%灰度(6Stops)对应的辉度。原图像10的E)示出通过拍摄引起了镜面反射的位置得到的像素,具有与290%灰度(4Stops)对应的辉度。
[1-3.母版生成、发布方式以及显示装置的关系]
图8是用于对制作与SDR对应的家庭娱乐用母版的流程、发布介质以及显示装置的关系进行说明的图。
图7中所说明的那样的原图像10是最大辉度为1300nit的图像。也就是说,在使用原图像10来制作与最大辉度为100nit的SDR对应的母版图像(SDR图像)的情况下,以SDR无法表现出具有100nit以上的辉度的像素,所以无法不变换原图像的辉度地直接使用来制作与SDR对应的母版图像。也就是说,若要使用原图像10来制作与SDR对应的母版图像,则需要将原图像的辉度变换为与SDR对应的动态范围的辉度。
[1-4.从原图像向SDR图像的母版处理]
接着,对从原图像10向SDR图像的SDR分级处理(母版处理)进行说明。
首先,为了使利用摄像头拍摄的、具有100nit以上的高辉度分量的内容的影像(图像)适应于Bt709等播放标准,在通常的分级处理中,进行拐点曲线处理,即,在到80nit前后为止,按原样线性地保持辉度,对于其以上的部分,以最高辉度收敛于100nit的方式将其弯曲。具体地说,拐点曲线处理是将一定值以下的辉度线性地显示,使一定值以上的辉度与要显示的显示装置的显示峰值辉度相配合地衰减的处理。
图9A是示出将在图7中示出的原图像母版处理成SDR图像的结果的辉度的一例的图。图9B是示出用于将原信号值变换为SDR信号值(母版处理)的原信号值与SDR信号值的关系的一例的图。此外,原信号值是原图像10的0~1300nit的动态范围内的辉度(以下,称作“原图像的辉度”。),SDR信号值是SDR的辉度范围内的辉度(以下,称作“SDR的辉度”。)。
如图9B所示,在本例中的从原图像10向SDR图像11的母版处理中,与基准反射率即18%灰度(0Stop)对应的像素是具有成为明亮度的基准的基准辉度的像素。因此,在向SDR图像的母版处理中,即使在将原图像10变换为SDR图像11之后,也不变更与原图像10中的18%灰度对应的原图像的辉度(18nit)地被决定为SDR的辉度。
在此,如图9B所示,在从原图像10向SDR图像11的母版处理中,在与原图像10的90%灰度对应的原图像的辉度(90nit)以下的辉度范围(0~90nit)内,不变更原图像的辉度地被决定为SDR的辉度。另外,如图9B所示,将比与原图像10的90%灰度对应的原图像的辉度(90nit)大的原图像10的辉度范围(90~1300〔nit〕)内的原图像的辉度,通过线性变换,分配到90~100nit的辉度范围的SDR的辉度。
例如,在SDR图像11的B)那样的、关于与90%灰度(2.3Stops)对应的像素的向SDR图像11的母版处理中,即使在将原图像10变换为SDR图像11之后,也不变更与原图像10中的90%灰度对应的原图像的辉度(90nit)地被决定为SDR的辉度。
另外,例如,在SDR图像11的C)那样的、关于与2.3%灰度(-3Stops)对应的像素的向SDR图像的母版处理中,与上述同样,即使在将原图像10变换为SDR图像11之后,也不变更与原图像10中的2.3%灰度对应的原图像的辉度(2nit)地被决定为SDR的辉度。
例如,在SDR图像11的D)那样的、关于与1150%灰度(6Stops)对应的像素的向SDR图像的母版处理中,将与原图像10中的1150%灰度对应的原图像的辉度(1150nit)变换为SDR的最大辉度即100nit。
另外,例如,在SDR图像11的E)那样的,关于与290%灰度(4Stops)对应的像素的向SDR图像的母版处理中,将与原图像10中的290%灰度对应的原图像的辉度变换为95nit。
[1-5.从原图像向HDR图像的第1母版处理]
图10A是示出将图7中示出的原图像母版处理成HDR图像的结果的辉度的一例的图。图10B是示出用于将原信号值变换为HDR信号值(母版处理)的原信号值与HDR信号值的关系的一例的图。此外,HDR信号值是HDR的辉度范围内的辉度(以下,称作“HDR的辉度”。)。此外,在本例中的从原图像向HDR图像的母版处理中,允许将到2000nit为止的辉度作为HDR的辉度进行分配,所以在HDR图像中也能够按原样保持原图像的辉度。
例如,HDR图像12的A)那样的、与基准反射率即18%灰度(0Stop)对应的像素,是具有成为明亮度的基准的基准辉度的像素,所以在向HDR图像的母版处理中,即使在将原图像10变换为HDR图像12之后,也不变更与原图像10中的18%灰度对应的原图像的辉度(18nit)地被决定为HDR的辉度。
同样,例如,关于HDR图像12的B)那样的与90%灰度(2.3Stops)对应的像素、HDR图像12的C)那样的与2.3%灰度(-3Stops)对应的像素、HDR图像12的D)那样的与1150%灰度(6Stops)对应的像素、以及HDR图像12的E)那样的与290%灰度(4Stops)对应的像素的各个,在向HDR图像的母版处理中,不变更该原图像的辉度地被决定为HDR的辉度。
[1-6.辉度变换的具体例]
图11A是示出取得通过图10A的母版处理得到的HDR图像,并辉度变换为第2最大辉度为500nit的显示设备用的结果的一例。图11B是示出用于将HDR信号值辉度变换为TV信号值的、HDR信号值与TV信号值的关系的一例的图。
在本例中,HDRTV能够显示的第2最大辉度被限制为500nit。因此,需要将HDR信号所示的HDR的辉度变换为显示器的辉度范围内的显示器辉度。
取得HDR信号,从所取得的HDR信号中,取出与成为明亮度的基准的18%灰度(0Stop)对应的辉度(基准辉度)。并且,表示HDR图像13的辉度的HDR信号,保持36nit作为基准辉度,可知制作者有意地改变了基准辉度。因此,对于与90%灰度对应的辉度(180nit)以下的、该HDR信号所示的辉度,保持该HDR信号所示的辉度原本的值,对于超过与90%灰度对应的辉度(180nit)的、该HDR信号所示的辉度,以该HDR信号所示的第1最大辉度(HPL:1300nit)成为HDRTV能够显示的第2最大辉度(DPL:500nit)的方式进行线性变换。
也就是说,在本例的情况下的辉度变换(S304)中,在基准辉度是与第1基准值(18nit)不同的第3基准值(36nit)的情况下,关于表示大于36nit的第4基准值(90nit)以下的辉度的HDR信号,将HDR信号所示的HDR的辉度决定为显示器辉度。另外,在辉度变换(S304)中,关于表示超过90nit的辉度的HDR信号,对于90nit到在HDRTV中能够显示的第2最大辉度(DPL)的HDR的辉度,通过进行使第1最大辉度(HPL)与第2最大辉度(DPL)对应的线性变换,将HDR的辉度变换为显示器辉度。
通过这样进行辉度变换,关于HDR图像13的与18%灰度对应的像素A)、HDR图像13的与90%灰度对应的像素B)、以及HDR图像13的与2.3%灰度对应的像素C),按原样不变更HDR图像13的辉度地被决定为显示器辉度。并且,关于HDR图像13的与1150%灰度对应的像素D),将通过进行上述线性变换得到的446nit决定为显示器辉度,关于HDR图像13的与290%灰度对应的像素E),将通过进行上述线性变换得到的313nit决定为显示器辉度。
[1-7.显示装置和显示方法]
接着,关于进行实施方式1的显示方法的显示装置,使用图12和图13进行说明。
图12是示出实施方式1的显示装置的功能框的图。图13是用于对显示装置的变换部中的变换处理(第1变换)的具体例进行说明的图。
如图12所示,显示装置100具备变换部101和显示部102。显示装置100是能够显示HDR影像的HDR显示装置,例如是HDRTV、HDR对应的显示器等。
变换部101取得HDR信号和包括静态元数据(每个标题(title)的峰值辉度信息(The Maximum Content Light Level(MaxCLL))的影像数据。变换部101根据所取得的静态元数据控制HDR效果,进行从PQ曲线变换为显示部102所对应的辉度范围的伽马曲线的处理。变换部101具体地说,如图13所示,使MaxCLL的值(例如800nit)与HDRTV的显示峰值辉度(例如,750nit)相配合地,不变更0~800nit的辉度范围的PQ曲线(第2EOTF)的辉度的相对关系地,从PQ曲线的一部分变换为与HDRTV的显示峰值辉度相符的伽马曲线(第3EOTF)。变换部101例如由处理器、存储有程序的存储器等实现。
换言之,变换部101进行如下的第1变换:针对作为第1EOTF的PQ曲线的一部分的第2EOTF,以维持第2EOTF的辉度的相对关系的方式将所述影像的辉度变换为与第3EOTF的动态范围对应的辉度,该第3EOTF是使第2EOTF的最大辉度与显示装置100的显示部102的能够显示的辉度(例如,显示峰值辉度)相配合地将第2EOTF的辉度的动态范围缩小后的EOTF。此外,该情况下的显示部102的能够显示辉度,具体地说,是显示部102的显示峰值辉度。这样,变换部101在将辉度由PQ曲线定义的HDR内容的影像数据显示于HDRTV时,不进行使用需要复杂的电路的拐点曲线的色调映射处理,所以能够抑制使影像的各像素的颜色在变换部101中的第1变换的前后变化。
在此,第1EOTF表示HDR的辉度和代码值的对应关系。第2EOTF是第1EOTF中的、在将0nit作为最小辉度且将由所取得的影像数据所包含的峰值辉度信息表示的峰值辉度作为最大辉度的辉度范围中切出的EOTF。
此外,第3EOTF例如是通过将能够显示辉度除以由峰值辉度信息表示的峰值辉度而得到的值乘以表示作为PQ曲线的一部分的第2EOTF中的辉度的变量,从而以维持第2EOTF的辉度的相对关系的方式使第2EOTF的最大辉度与能够显示辉度相配合地将第2EOTF的辉度的动态范围缩小后的EOTF。也就是说,第2EOTF的辉度的相对关系是指,关于以第2EOTF相关联的多个辉度和代码值的组,与互相不同的多个代码值相关联的多个辉度间的比率。因此,以维持第2EOTF的辉度的相对关系的方式进行变换是指,在存在第2EOTF上的第1变换前辉度和与第1变换前辉度不同的第2EOTF上的第2变换前辉度,且将第1变换前辉度的变换后设为第1变换后辉度,将第2变换前辉度的变换后设为第2变换后辉度的情况下,以第1变换前辉度和第2变换前辉度的第1比率与第1变换后辉度和第2变换后辉度的第2比率大致相等(变换后的第1比率与第2比率之间的误差处于预定的阈值以内)的方式进行变换。
显示部102使用变换部101中的第1变换的结果来显示影像。显示部102例如由LCD面板、背光灯、LCD面板的驱动电路、背光灯的控制电路等实现。
此外,第3EOTF,通过进行第1变换,维持着作为PQ曲线的一部分的第2EOTF的辉度的相对关系而生成。因此,显示部102能够维持着内容制作时的对比度的关系而显示所输入的影像数据的影像。此外,此时,显示部102显示如下影像:各像素的绝对辉度不被维持,是与内容制作时的绝对辉度不同的辉度,且维持了各像素间的对比度比。
接着,对显示装置100的变换部101的变换处理的另一具体例进行说明。图14是用于对变换部中的变换处理的另一具体例进行说明的图。
如图14所示,在HDR内容的影像数据的MaxCLL超过预定辉度(例如1000nit)的情况下,若到MaxCLL为止维持着相对关系变换辉度,则相对于影像的整体的辉度的缩小率会变小,所以变换前的低辉度范围的辉度(例如100nit以下的辉度)在变换后会变得非常小。因此,若即使在MaxCLL的值超过预定辉度的情况下仍同样地维持着辉度的相对关系进行辉度的变换处理,则即使在变换处理的前后辉度的相对关系被维持,也有可能由于在低辉度范围内变得过暗而观赏性大幅不同。因此,在影像的辉度中的、预定辉度以下的辉度范围内进行维持相对关系的第1变换,在预定辉度以上的区域,作为闪耀(Sperkle)区域,进行作为与SDR的超白显示(Super White)相同处理的第2变换。
具体地说,变换部101在影像数据的MaxCLL超过1000nit的情况下,进行第3变换和第4变换,使用包括第3变换和第4变换的第2变换的结果来显示影像,该第3变换是,将该MaxCLL设定为作为全范围(参照后述)的上限的代码值(CV)的1023,将影像的辉度中的、从1000nit到MaxCLL的辉度范围的辉度线性地表现,该第4变换是,将与1000nit对应的值设定为作为窄范围(参照后述)的上限的代码值(CV)的940,将影像的辉度中的、从0nit到1000nit的辉度范围的辉度,与使用图13进行说明的第1变换同样地,在维持着辉度的相对关系的基础上,将辉度的动态范围缩小。另一方面,变换部101在影像数据的MaxCLL为1000nit以下的情况下,进行将该MaxCLL设定为作为窄范围的上限的代码值(CV)的940的第1变换。
总之,变换部101进行峰值辉度信息所示的峰值辉度是否超过显示装置100预先存储的预定辉度(例如,1000nit)的第1判定,根据第1判定的结果,选择性地进行第1变换和第2变换之一。具体地说,在第1判定的结果是峰值辉度超过了预定辉度的情况下,进行与第1变换不同的第2变换。第2变换是包括将从预定辉度到峰值辉度的辉度范围内的辉度变换的第3变换和将从0nit到预定辉度的辉度范围内的辉度变换的第4变换的变换。
在第3变换中,将从第2EOTF的预定辉度到峰值辉度信息所示的峰值辉度的辉度范围内的影像的辉度变换为从与代码值的作为窄范围的上限值的940对应的第1辉度到与代码值的作为全范围的上限值的1023对应的第2辉度的辉度范围内的辉度。另外,在第3变换中,将影像的辉度中的、从第2EOTF的预定辉度到峰值辉度的辉度范围内的辉度以在第1辉度和窄范围的上限值的组与第2辉度和全范围的上限值的组之间满足线性的关系的方式进行变换。
在此,全范围是指规定了显示装置100预先存储的第4EOTF的代码值的范围,在该代码值以10bit被规定的情况下,例如是从0到1023的整数值的范围。也就是说,全范围是使用了能够以比特长度表现辉度的代码值的整数值中的、从最小值到最大值的范围。另外,窄范围是指比全范围窄的范围,在该代码值以10bit被规定的情况下,例如是从64到940的整数值的范围。也就是说,窄范围是使用了能够以比特长度表现辉度的代码值的整数值中的、比全范围窄的范围的整数值的范围。
在第4变换中,针对第5EOTF,以维持第5EOTF的辉度的相对关系的方式,使第5EOTF的最大辉度与第1辉度相配合地变换为将第5EOTF的辉度的动态范围缩小后的第6EOTF,将影像的第5EOTF的动态范围的辉度变换为对应的第6EOTF的动态范围的辉度,该第5EOTF是第2EOTF的一部分,且是将预定辉度作为最大辉度的辉度范围的部分。
另一方面,变换部101在第1判定的结果是峰值辉度为预定辉度以下的情况下,作为第1变换,进行使峰值辉度与作为能够显示辉度的第1辉度相配合地将第2EOTF的辉度的动态范围缩小的变换。
在该情况下,显示部102使用第1变换的结果或第2变换的结果,来显示影像。
[1-8.效果等]
根据本实施方式的显示方法,能够以不进行拐点曲线处理那样的辉度变换处理的方式,将与HDR对应的影像的辉度的动态范围,与显示装置的显示峰值辉度相配合地进行变换。因此,能够容易地进行使与HDR对应的影像数据的影像与显示峰值辉度相符的辉度变换,且能够抑制变换前后的颜色的变化。
另外,根据本实施方式的显示方法,在第1判定的结果是峰值辉度超过了预定辉度的情况下,不进行第1变换,而是进行第2变换。这样,在峰值辉度超过预定辉度的情况下,不进行维持着辉度的相对关系的辉度的变换处理(第1变换),所以即使在辉度的变换处理的前后辉度的相对关系被维持,也能够抑制在低辉度范围内由于变得过暗而观赏性会大幅不同。
另外,根据本实施方式的显示方法,在第1判定的结果是峰值辉度为预定值以下的情况下,不进行第2变换,而是进行第1变换,所以在变换处理的前后观赏性会大幅不同的可能性小的情况下,能够进行更容易的变换处理。因此,能够减少处理负荷。
[1-9.变形例1]
在上述实施方式中,作为成为第1判定的判定基准的预定辉度,采用了例如1000nit,但也可以采用以下的值。
例如,也可以根据表示例如构成影像的多个帧各自的平均辉度的最大值即最大帧平均辉度的最大帧平均辉度信息(MaxFALL:The Maximum Frame-Average Light Level)的值来决定预定辉度。此外,最大帧平均辉度信息是包含于影像数据的静态元数据所包含的信息。
作为具体的处理,变换部101进行判定最大帧平均辉度信息所示的最大帧平均辉度是否为峰值辉度的1/2以下的第2判定。并且,变换部101在第2判定的结果是最大帧平均辉度为峰值辉度的1/2以下的情况下,使用最大帧平均辉度的2倍的值作为预定辉度,来进行第2变换。
这样,通过进行第2判定,能够判定在影像数据的影像中,包含具有峰值辉度或接近峰值辉度的辉度的像素的比例是多是少,在判定为少的情况下,使用最大帧平均辉度的2倍的值来进行第2变换,所以能够以更中间级、维持暗部的灰度性的方式将影像的辉度进行变换而显示。因此,能够极力减少影像的辉度中的、影像所包含的辉度的比例大的辉度范围的灰度性受损。
[1-10.变形例2]
在上述实施方式中,变换部101使用静态元数据所包含的峰值辉度信息,按各内容进行第1变换或第2变换,但不限于此。例如,在内容包含动态元数据的情况下,也可以关于构成该内容的影像数据的影像的多个区间影像(分割,一连串的片段)的各区间影像,使用与该区间影像对应的动态元数据,作为静态元数据即MaxCLL的替代,来进行第1变换或第2变换。此外,动态元数据是关于多个区间影像的各区间影像,示出该区间影像的峰值辉度(区间峰值辉度)的区间峰值辉度信息(The Maximum Sequence Light Level:MaxSLL)。由此,能够更高效地使用HDRTV的峰值辉度来显示HDR内容。
此外,也可以在与各区间影像对应的区间峰值辉度比HDRTV的显示峰值辉度低的情况下,不进行维持相对关系而在明亮的方向上伸长的变换处理,按原样显示该区间影像的辉度。
另外,在与各区间影像对应的区间峰值辉度大幅低于峰值辉度的情况下(例1/2以下)或连续的区间影像的区间峰值辉度彼此大幅不同的情况下(50%以上的差),若直接进行上述处理,则低辉度范围(暗部)会突然变亮而有可能无法取得影像整体的统一感。因此,也可以不直接使用区间峰值辉度,而是针对区间峰值辉度(MaxSLL),进行例如(MaxCLL+MaxSLL)/2、(MaxSLL(x)+MaxSLL(X+1))/2等的修正,在此基础上,使用修正后的数值进行上述处理,由此来抑制急剧的辉度变化。
也就是说,变换部101使用所取得的影像数据所包含的峰值辉度信息和区间峰值辉度信息,进行判定多个区间影像中的连续的两个区间影像间的辉度变化是否急剧的第3判定。并且,变换部101在第3判定的结果是辉度变化急剧的情况下,以辉度变化处于预定的范围内的方式,变换两个区间影像中的至少一方的辉度的动态范围。另外,变换部101在第3判定的结果是辉度变化不急剧的情况下,关于两个区间影像的各区间影像,进行将以与该区间影像对应的区间峰值辉度信息所示的区间峰值辉度为最大辉度的动态范围内的EOTF作为第2EOTF的第1变换。这样,根据在连续的区间影像间是否产生了急剧的辉度变化来切换处理,所以能够抑制影像突然变暗或变亮,能够抑制损害影像整体的统一感。
(实施方式2)
接着,使用图15和图16对实施方式2进行说明。
[2-1.第2课题]
在将HDR内容中的影像的辉度的动态范围缩小而使其显示于HDRTV的显示方法中,与变更SDR内容中的影像的辉度的动态范围而使其显示于SDRTV的情况不同,还存在如下的课题。
图15是用于说明在视听环境中根据明亮度使SDR信号在SDRTV中显示的情况下的显示处理的一例的图。
如在图4中所说明那样,在SDRTV中,通过使用SDR的EOTF(伽马曲线)将SDR内容的SDR信号逆量化,不是维持绝对辉度而是维持相对辉度(对比度比)来显示。如图15所示,存在如下方法:在SDRTV设置调光元件,根据由调光元件取得的视听环境的明亮度,动态地改变显示部的背光灯的发光强度,由此,根据SDRTV的视听环境的明亮度,保持SDR内容的暗部与明部的对比度比地进行显示。
在图15的例子中,在使与图15的(a)所示的SDR的EOTF对应的SDR内容显示于SDRTV的情况下,根据视听环境是暗室还是明亮室来变更显示控制。SDRTV具有显示显示峰值辉度超过SDR的EOTF(伽马曲线)的辉度的动态范围的峰值辉度即100nit的辉度(例如250nit)的能力。在这样的SDRTV中,若判定为视听环境是暗室,则如图15的(b)的(b-1)所示,将显示的峰值辉度抑制为100nit而进行显示。另一方面,若判定为视听环境是明亮室,则如图15的(b)的(b-2)所示,将显示的峰值辉度拓展至最大的250nit而进行显示。这样,在SDRTV中,SDR内容的SDR信号的影像的辉度利用相对辉度来进行管理,所以能够容易地根据视听环境的明亮度变更维持着相对辉度而显示于SDRTV的影像的峰值辉度。
不仅是维持着SDR信号的影像的辉度的相对关系而进行显示的SDRTV,对于使通过利用PQ曲线将拍摄到的影像的绝对辉度量化而得到的HDR信号的影像显示的HDRTV,也要求不以绝对辉度显示,而是进行根据视听环境的明亮度(暗室、暗的房间、有些亮的房间等)使影像的辉度的动态范围变更的显示控制。也就是说,对于HDRTV,也与SDRTV同样地要求:即使视听环境的明亮度变化,也通过进行维持合适的对比度比而进行显示的显示控制,将尽可能相同的HDR效果提供给视听者。
然而,HDR内容的HDR影像是在以绝对辉度显示的前提下由内容制作者做成的,所以即使对影像的辉度而言维持着相对辉度地,将变换影像的辉度的变换方法直接应用于HDR信号的影像,也难以使合适的辉度的影像显示于显示部。
另外,在HDR内容的HDR影像的情况下,多数情况下峰值辉度会达到800~4000nit左右,所以会超过通常的HDRTV的峰值辉度。因此,即使在视听环境暗的情况下,为了显示HDR影像的峰值辉度,也需要使背光灯的发光强度成为最大,仅通过背光灯的控制,难以进行与视听环境相应的应对。
而且,HDR的EOTF(PQ曲线)的辉度的动态范围是0~10,000nit,SDR的EOTF(伽马曲线)的辉度的动态范围是0~100nit,所以HDR的EOTF与SDR的EOTF相比,辉度的动态范围大100倍。另外,在内容自身也是SDR影像的情况下,虽然能够完全地使用0~100nit显示于显示装置,但在HDR影像的情况下,极少使用0~10,000nit的辉度的动态范围显示于显示装置,将峰值辉度为800~4000nit程度的影像显示于显示装置的可能性高。也就是说,无法像使SDR影像显示于SDRTV的情况那样,单纯地仅通过使HDR的EOTF的辉度的动态范围的峰值辉度与HDRTV的显示峰值辉度相符那样的背光灯控制来应对HDR影像。
[2-2.显示装置和显示方法]
接着,使用图16对进行实施方式2的显示方法的显示装置进行说明。
图16是示出实施方式2的显示装置的功能框的图。
如图16所示,显示装置100a具备变换部101a、显示部102、以及视听环境光输入部103。此外,显示部102是与实施方式1的显示装置100的显示部102同样的结构,所以省略详细的说明。
视听环境光输入部103检测设置有显示装置100a的空间的环境光的强度(也就是说,视听环境的明亮度),将检测结果发送给变换部101a。视听环境光输入部103例如由照度传感器等实现。
变换部101a根据由视听环境光输入部103检测到的环境光的强度,进行判定环境光是否明亮的第4判定。并且,变换部101a在第4判定的结果是环境光明亮的情况下,作为第1变换,进行使用第7EOTF作为第3EOTF的变换。第7EOTF是将显示装置的显示峰值辉度设为能够显示辉度,与该能够显示辉度相配合地将第2EOTF的辉度的动态范围缩小后的EOTF。另外,变换部101a在第4判定的结果是环境光昏暗的情况下,作为第1变换,进行使用第8EOTF作为第3EOTF的变换。第8EOTF是与从显示装置的显示峰值辉度减低预定的比例后的辉度相配合地将第2EOTF的辉度的动态范围缩小后的EOTF。
具体地说,在检测到的环境光的强度为预定的阈值以下而判定为视听环境昏暗的情况下,不使显示部102的背光灯的发光强度成为最大,而是使其成为从背光灯的最大的发光强度下降例如20%后的发光强度。另外,在检测到的环境光的强度超过了预定的阈值而判定为视听环境明亮的情况下,使背光灯的发光强度成为最大。此外,在判定为视听环境昏暗的情况下,与从显示峰值辉度下降20%后的辉度相配合地进行第1变换,在判定为视听环境明亮的情况下,与显示峰值辉度相配合地进行第1变换。
由此,即使在使前提是以绝对辉度显示的HDR影像显示于HDRTV的情况下,也能够容易地实现与视听环境的明亮度相应的显示。
(其他实施方式)
此外,在上述各实施方式中,各构成要素也可以由专用的硬件构成,或者通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出并执行在硬盘或半导体存储器等记录介质中记录的软件程序来实现。在此,实现上述各实施方式的显示方法等的软件是如下的程序。
即,该程序使计算机执行以下的显示方法,该显示方法是将由表示HDR(HighDynamic Range)的辉度和代码值的对应关系的第1EOTF(Electoro-Optical TransferFunction)定义了影像的辉度的影像数据的影像显示于显示装置的显示方法,所述影像数据包括表示所述影像的峰值辉度的峰值辉度信息,在所述显示方法中,取得所述影像数据,进行第1变换,使用所述第1变换的结果,将所述影像显示于所述显示装置,所述第1变换是,针对第2EOTF,以维持所述第2EOTF的辉度的相对关系的方式进行将所述影像的辉度变换为与第3EOTF的动态范围对应的辉度,所述第2EOTF是所述第1EOTF的一部分,且是将由所取得的所述影像数据所包含的所述峰值辉度信息表示的所述峰值辉度作为最大辉度的辉度范围的部分,所述第3EOTF是使所述第2EOTF的最大辉度与所述显示装置的能够显示辉度相配合地将所述第2EOTF的辉度的动态范围缩小后的EOTF。
以上,对于本公开的一个或多个方案的显示方法和显示装置,基于实施方式进行了说明,但本公开不限定于该实施方式。只要不脱离本公开的趣旨,将本领域技术人员所想到的各种变形实施于本实施方式而得到的方案、将不同的实施方式中的构成要素组合而构筑的形态,也可以包含于本公开的一个或多个方案的范围内。
产业上的可利用性
本公开,作为能够容易地进行使与HDR对应的影像数据的影像与显示峰值辉度相符的辉度变换,且能够抑制变换前后的颜色的变化的显示方法、显示装置等是有用的。
标号的说明
100、100a 显示装置
101、101a 变换部
102 显示部
103 视听环境光输入部。

Claims (1)

1.一种显示方法,用于在显示装置显示由表示HDR的辉度和代码值的对应关系的第1EOTF定义了影像的辉度的影像数据的影像,HDR是高动态范围,EOTF是电光转换函数,所述影像数据包括表示所述影像的峰值辉度的峰值辉度信息,
所述显示方法包括:
取得所述影像数据;
在第2EOTF的辉度范围是所述第1EOTF的辉度范围的一部分,即从最小辉度至由所取得的所述影像数据所包含的峰值辉度信息表示的所述影像的峰值辉度的情况下,进行如下变换,将第3EOTF变换为第4EOTF,并将所述影像的辉度从所述第3EOTF的动态范围的辉度变换为所述第4EOTF的动态范围的辉度;以及
使用所述变换的结果,在所述显示装置显示所述影像,
所述第3EOTF的辉度范围是所述第2EOTF的辉度范围的一部分,即从最小辉度至基于作为元数据的所述影像数据所包含的信息决定的预定的辉度,所述第4EOTF的动态范围通过以维持所述第3EOTF的辉度的相对关系的方式缩小所述第3EOTF的动态范围而获得。
CN202010324126.XA 2015-05-12 2016-02-08 显示方法 Active CN111491148B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562160016P 2015-05-12 2015-05-12
US62/160,016 2015-05-12
JP2015-248025 2015-12-18
JP2015248025A JP6731722B2 (ja) 2015-05-12 2015-12-18 表示方法および表示装置
CN201680008002.2A CN107211183B (zh) 2015-05-12 2016-02-08 显示方法和显示装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680008002.2A Division CN107211183B (zh) 2015-05-12 2016-02-08 显示方法和显示装置

Publications (2)

Publication Number Publication Date
CN111491148A CN111491148A (zh) 2020-08-04
CN111491148B true CN111491148B (zh) 2021-11-12

Family

ID=57551947

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010324126.XA Active CN111491148B (zh) 2015-05-12 2016-02-08 显示方法
CN201680008002.2A Active CN107211183B (zh) 2015-05-12 2016-02-08 显示方法和显示装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680008002.2A Active CN107211183B (zh) 2015-05-12 2016-02-08 显示方法和显示装置

Country Status (5)

Country Link
US (2) US10462407B2 (zh)
EP (2) EP3297288B1 (zh)
JP (1) JP6731722B2 (zh)
CN (2) CN111491148B (zh)
MX (1) MX369783B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106031172B (zh) * 2014-02-25 2019-08-20 苹果公司 用于视频编码和解码的自适应传递函数
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
CN108370428B (zh) * 2015-12-25 2020-12-15 夏普株式会社 显示装置和显示装置的控制方法以及电视接收机
CN109074775B (zh) * 2016-01-29 2022-02-08 巴科股份有限公司 数字图像处理链和处理块以及包括它们的显示器
JP2018013696A (ja) * 2016-07-22 2018-01-25 キヤノン株式会社 画像処理装置および表示装置
JP6957332B2 (ja) * 2017-01-17 2021-11-02 キヤノン株式会社 画像処理装置および画像処理方法
KR102308192B1 (ko) 2017-03-09 2021-10-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10212456B2 (en) * 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video
JP2019005973A (ja) * 2017-06-22 2019-01-17 キヤノン株式会社 印刷制御装置およびその制御方法
US10735688B2 (en) * 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
JP2019047223A (ja) * 2017-08-30 2019-03-22 シャープ株式会社 変換装置、変換方法、表示装置、プログラム、および記録媒体
JP7278955B2 (ja) * 2017-10-12 2023-05-22 ソニーグループ株式会社 画像処理装置、画像処理方法、送信装置、送信方法および受信装置
JP6723969B2 (ja) * 2017-11-06 2020-07-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、表示装置、および画像処理方法
TWI650998B (zh) * 2017-12-15 2019-02-11 晨星半導體股份有限公司 應用在機上盒的格式轉換電路及相關的方法
US11270661B2 (en) * 2017-12-27 2022-03-08 Panasonic Intellectual Property Management Co., Ltd. Display apparatus and display method
CN111567035A (zh) * 2018-01-10 2020-08-21 夏普株式会社 显示装置、显示方法、以及显示控制程序
JP7071137B2 (ja) * 2018-01-26 2022-05-18 キヤノン株式会社 電子機器およびその制御方法
US10832613B2 (en) 2018-03-07 2020-11-10 At&T Intellectual Property I, L.P. Image format conversion using luminance-adaptive dithering
US20200045341A1 (en) * 2018-07-31 2020-02-06 Ati Technologies Ulc Effective electro-optical transfer function encoding for limited luminance range displays
US20200192548A1 (en) * 2018-12-13 2020-06-18 Ati Technologies Ulc Methods and apparatus for displaying a cursor on a high dynamic range display device
EP3672254A1 (en) * 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Decoding an image
JP7344654B2 (ja) * 2019-03-07 2023-09-14 キヤノン株式会社 撮像装置及び再生装置及びそれらの制御方法及びプログラム
JP7332325B2 (ja) * 2019-04-15 2023-08-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
BR112022001015A2 (pt) * 2019-07-30 2022-04-05 Dolby Laboratories Licensing Corp Conversão de função de transferência eletro-óptica e legalização de sinal
KR102640015B1 (ko) * 2019-12-31 2024-02-27 엘지디스플레이 주식회사 표시 장치 및 그 구동 방법
JP7475187B2 (ja) 2020-04-15 2024-04-26 キヤノン株式会社 表示制御装置および方法、プログラム、記憶媒体
US11412174B2 (en) 2020-09-22 2022-08-09 Microsoft Technology Licensing, Llc Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content
CN113870769B (zh) * 2021-09-23 2023-03-21 深圳市艾比森光电股份有限公司 显示屏系统的数据处理方法和系统
WO2023085795A1 (ko) * 2021-11-15 2023-05-19 엘지전자 주식회사 영상표시기기 및 그 제어 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5145017B2 (ja) 2006-12-05 2013-02-13 日本放送協会 画像信号処理装置
TW201021018A (en) * 2008-11-21 2010-06-01 Chunghwa Picture Tubes Ltd Color correction method and related device for liquid crystal display
US8525933B2 (en) * 2010-08-02 2013-09-03 Dolby Laboratories Licensing Corporation System and method of creating or approving multiple video streams
US8743291B2 (en) * 2011-04-12 2014-06-03 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
US9451274B2 (en) * 2011-04-28 2016-09-20 Koninklijke Philips N.V. Apparatuses and methods for HDR image encoding and decoding
JP6407717B2 (ja) * 2011-09-27 2018-10-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像のダイナミックレンジ変換のための装置及び方法
CN102427517B (zh) * 2011-09-30 2017-05-31 青岛海信电器股份有限公司 动态对比度的调整方法及装置、液晶电视机
WO2013059116A1 (en) * 2011-10-20 2013-04-25 Dolby Laboratories Licensing Corporation Method and system for video equalization
EP4155898A1 (en) * 2011-12-06 2023-03-29 Dolby Laboratories Licensing Corporation Method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities
KR102105645B1 (ko) * 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
CN103915077B (zh) * 2013-01-04 2017-06-20 李卫斌 一种在普通显示设备上显示高动态图像的方法
WO2014128586A1 (en) * 2013-02-21 2014-08-28 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
CN105393280A (zh) * 2013-05-23 2016-03-09 汤姆逊许可公司 对视频序列进行色调映射的方法
JP2015008360A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
WO2015007510A1 (en) * 2013-07-16 2015-01-22 Koninklijke Philips N.V. Method and apparatus to create an eotf function for a universal code mapping for an hdr image, method and process to use these images
TWI632810B (zh) * 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
US9712781B2 (en) * 2013-09-06 2017-07-18 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
US10017792B2 (en) * 2014-07-18 2018-07-10 Alliance For Sustainable Energy, Llc Biomass conversion to fuels and chemicals

Also Published As

Publication number Publication date
MX369783B (es) 2019-11-21
CN107211183B (zh) 2020-05-22
US20180048845A1 (en) 2018-02-15
EP3731532A1 (en) 2020-10-28
EP3297288B1 (en) 2020-10-14
CN107211183A (zh) 2017-09-26
CN111491148A (zh) 2020-08-04
EP3297288A4 (en) 2018-03-21
US10462407B2 (en) 2019-10-29
MX2017013542A (es) 2018-03-07
US20200014880A1 (en) 2020-01-09
US10992898B2 (en) 2021-04-27
JP2016213809A (ja) 2016-12-15
EP3297288A1 (en) 2018-03-21
JP6731722B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
CN111491148B (zh) 显示方法
CN111447425B (zh) 显示方法和显示装置
CN110278345B (zh) 变换方法、变换装置以及图像显示装置
WO2015198554A1 (ja) 変換方法および変換装置
JP5231284B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
BR112014006977B1 (pt) Aparelho de processamento de imagem, aparelho codificador do sinal de imagem disposto para codificar uma imagem, método de processamento de imagem e método para transmitir um sinal de imagem disposto para codificar uma imagem
EP3493532A1 (en) Image processing device, reproduction device, image processing method, and reproduction method
WO2016181584A1 (ja) 表示方法および表示装置
US20220270221A1 (en) Image processing apparatus and control method thereof
US10798347B2 (en) Information processing device, information processing method, and program
KR20200002786A (ko) 고 콘트라스트 극장 디스플레이를 위한 신호 인코딩 및 디코딩
WO2021131209A1 (ja) 制御装置及び制御方法
JP6980858B2 (ja) 表示方法および表示装置
US11037527B2 (en) Display apparatus and display method
WO2016189774A1 (ja) 表示方法および表示装置
JP7332325B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant