CN109691119B - 影像显示系统及影像显示方法 - Google Patents

影像显示系统及影像显示方法 Download PDF

Info

Publication number
CN109691119B
CN109691119B CN201880003484.1A CN201880003484A CN109691119B CN 109691119 B CN109691119 B CN 109691119B CN 201880003484 A CN201880003484 A CN 201880003484A CN 109691119 B CN109691119 B CN 109691119B
Authority
CN
China
Prior art keywords
tone mapping
video
graphics
luminance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880003484.1A
Other languages
English (en)
Other versions
CN109691119A (zh
Inventor
山本雅哉
小塚雅之
柏木吉一郎
西尾岁朗
甲野和彦
矢羽田洋
广田健
森美裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109691119A publication Critical patent/CN109691119A/zh
Application granted granted Critical
Publication of CN109691119B publication Critical patent/CN109691119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/793—Processing of colour television signals in connection with recording for controlling the level of the chrominance signal, e.g. by means of automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Circuits (AREA)

Abstract

影像显示系统(100)具备：色调映射处理部(123)，进行色调映射处理，该色调映射处理使用与影像的最大亮度对应的变换曲线对上述影像的亮度进行变换；以及显示部(124)，显示上述色调映射处理后的影像；上述色调映射处理部(123)对是进行第1色调映射处理还是进行第2色调映射处理进行切换，该第1色调映射处理根据上述影像的最大亮度的时间序列的变化，按时间序列变更上述变换曲线，该第2色调映射处理与上述影像的最大亮度的时间序列的变化无关地使用一定的变换曲线。

Description

影像显示系统及影像显示方法
技术领域
本公开涉及显示影像的影像显示系统及影像显示方法。
背景技术
在专利文献1中，记载了用来在HDR(High Dynamic Range：高动态范围)影像中在图像上映射图形的方法及系统。
现有技术文献
专利文献
专利文献1：日本专利第6104411号说明书
非专利文献
非专利文献1：White Paper Blu－ray Disc Read－Only Format(Ultra HDBlu－ray)，Audio Visual Application Format Specifications for BD－ROM Version3.1，August 2016，http：//www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM_Part3_V3.1_WhitePaper_160729_clean.pdf
发明内容
发明要解决的课题
本公开的目的是提供一种能够提高显示的影像的品质的影像显示系统或影像显示方法。
用来解决课题的手段
有关本公开的一技术方案的影像显示系统具备：色调映射处理部，进行色调映射处理，该色调映射处理使用与影像的最大亮度对应的变换曲线对上述影像的亮度进行变换；以及显示部，显示上述色调映射处理后的影像；上述色调映射处理部对是进行第1色调映射处理还是进行第2色调映射处理进行切换，该第1色调映射处理根据上述影像的最大亮度的时间序列的变化，按时间序列变更上述变换曲线，该第2色调映射处理与上述影像的最大亮度的时间序列的变化无关地使用一定的变换曲线。
发明效果
本公开能够提供一种能够提高显示的影像的品质的影像显示系统或影像显示方法。
附图说明
图1是用来说明影像技术的进化的图。
图2是用来说明向内容(content)导入新的影像表现时的影像制作、发布方式及显示装置的关系的图。
图3A是表示色调映射(tone mapping)的一例的图。
图3B是表示色调映射的一例的图。
图4A是表示静态色调映射的一例的图。
图4B是表示动态色调映射的一例的图。
图5是表示在运动图像上叠加图形而显示的例子的图。
图6是表示在主影像上叠加了图形时的动态色调映射的影响的图。
图7是有关实施方式1的影像显示系统的框图。
图8A是表示有关实施方式1的主影像动态元数据及图形叠加标志的一例的图。
图8B是表示有关实施方式1的主影像动态元数据及图形叠加标志的一例的图。
图9是有关实施方式1的色调映射处理部的框图。
图10是有关实施方式1的色调映射处理部的变形例的框图。
图11A是表示有关实施方式1的影像再现装置的处理的流程图。
图11B是表示有关实施方式1的影像显示装置的处理的流程图。
图12A是表示有关实施方式2的主影像动态元数据、图形叠加标志及图形亮度信息的一例的图。
图12B是表示有关实施方式2的主影像动态元数据、图形叠加标志及图形亮度信息的一例的图。
图13A是表示有关实施方式2的主影像动态元数据、图形叠加标志及图形亮度信息的一例的图。
图13B是表示有关实施方式2的主影像动态元数据、图形叠加标志及图形亮度信息的一例的图。
图14A是表示以往的由色调映射带来的亮度的变化的图。
图14B是表示有关实施方式1的由色调映射带来的亮度的变化的图。
图15是表示有关实施方式2的由色调映射带来的亮度的变化的图。
图16是有关实施方式3的色调映射处理部的框图。
图17是有关实施方式4的影像再现装置的框图。
图18是有关实施方式5的影像再现装置的框图。
图19是表示有关实施方式5的色调映射的一例的图。
图20是表示有关实施方式5的色调映射信息的一例的图。
具体实施方式
[1－1.背景]
首先，使用图1对影像技术的变迁进行说明。图1是用来对影像技术的进化进行说明的图。
到目前为止，作为影像的高画质化，主要着眼于显示像素数的扩大，从StandardDefinition(SD：标清)的720×480像素开始，High Definition(HD：高清)的1920×1080像素的影像正在普及。
近年来，以进一步的高画质化为目标，开始了Ultra High Definition(UHD：超高清)的3840×1920像素、或4K的4096×2048像素的所谓4K影像的导入。
在4K的导入的同时，也研究了动态范围扩展、色域扩大、或者帧速率的追加或提高等。
其中，关于动态范围，作为用来在维持暗部灰阶的同时、将用现行的电视信号不能表现的镜面反射光等的明亮的光以更接近于现实的明亮度表现的方式，HDR(High DynamicRange)受到关注。具体而言，到目前为止的电视信号被称作SDR(Standard Dynamic Range：标准动态范围)，最高亮度是100nit。相对于此，在HDR中设想了将最高亮度扩大至1000nit以上。HDR正在SMPTE(Society of Motion Picture&Television Engineers：电影与电视工程师协会)及ITU－R(International Telecommunications Union RadiocommunicationsSector：国际电信联盟无线电通信组)等中正在进行母带显示(mastering display)用标准的标准化。
作为HDR的具体的应用目标，与HD及UHD同样，设想了广播、封装介质(Blu－ray(注册商标)Disc等)及因特网发布等。
[1－2.母带(master)生成、发布方式及显示装置的关系]
图2是用来说明向内容导入新的影像表现时的影像制作、发布方式及显示装置的关系的图。
在为了影像的高画质化而导入新的影像表现(像素数的增加等)的情况下，如图2所示，需要(1)对影像制作侧的面向Home Entertainment(家庭娱乐)的母带进行变更。与此对应，需要将(2)广播、通信及封装介质等的发布方式及(3)显示该影像的电视或投影机等的显示装置也更新。
[1－3.色调映射]
色调映射(Tone Mapping)是根据HDR影像的亮度与影像显示装置的最大亮度(Display Peak Luminance：DPL)的关系，在影像的最大亮度(Maximum Content LuminanceLevel：MaxCLL)超过DPL的情况下将影像的亮度变换、使影像的亮度包含在DPL以内的处理。通过该处理，能够不丢失影像的最大亮度附近的信息而显示影像。该变换既依存于影像显示装置的特性，也依存于怎样进行显示的思考方式，因此按照每个影像显示装置而使用不同的变换曲线。
图3A及图3B是表示色调映射的一例的图。图3A表示DPL为500nit的情况，图3B表示DPL是1000nit的情况。此外，图3A及图3B是显示了MaxCLL为1000nit的影像的情况下的色调映射和显示了MaxCLL为4000nit的影像的情况下的色调映射的例子。
如图3A所示，在DPL为500nit的情况下，将亮度变换以使得哪个影像都能够在500nit以下显示到MaxCLL，但越是MaxCLL高的影像，变换的程度越大。
如图3B所示，在DPL为1000nit的情况下，在MaxCLL为1000nit的影像中，不进行色调映射。在MaxCLL为4000nit的影像中，进行色调映射，将4000nit的亮度变换为1000nit并显示。
[1－4.动态元数据和动态色调映射]
图4A是表示使用静态元数据的色调映射的例子的图。图4B是表示使用动态元数据的动态色调映射的例子的图。
如图4A所示，在使用静态元数据(MaxCLL)的情况下，由于MaxCLL在一连串的影像内表示最高的亮度，所以影像显示装置对于一连串的影像仅能够进行固定的色调映射。相对于此，影像显示装置如图4B的(a)所示，通过使用与时间变化的亮度匹配的元数据(这里称作Dynamic MaxCLL)，如在亮度较低的情况下不进行色调映射(图4B的(b))、在亮度较高的情况下进行色调映射(图4B的(c))那样，能够实现与时间变化的亮度匹配的最优的色调映射。
[1－5.影像与图形的合成]
图5表示在运动图像上叠加菜单及字幕等的图形、用影像显示装置显示的例子的图。这里，表示Ultra HD Blu－ray的例子。
将叠加图形之前的运动图像表现为主影像。在Ultra HD Blu－ray中，以HD分辨率准备图形。影像再现装置通过对HD的图形进行HD－UHD变换来生成UHD的图形。并且，影像再现装置将得到的UHD的图形与UHD分辨率的主影像合成。并且，影像再现装置将合成后的影像经由HDMI(注册商标)(High－Definition Multimedia Interface)向影像显示装置传送。影像显示装置将传送来的影像作为HDR而显示。
此外，影像再现装置基于主影像的亮度的时间变化决定动态元数据，经由HDMI向影像显示装置传送。影像显示装置基于传送来的动态元数据，对在主影像中叠加了字幕及菜单的影像信号实施动态色调映射。
该状况在显示基于广播或通信的OTT(Over The Top：越过)服务中的HDR影像的情况下，也在主影像中叠加菜单或字幕并将得到的影像用影像显示装置显示的情况下是同样的。
[1－6.对在运动图像中叠加了图形的影像数据进行动态色调映射的情况下的课题]
在动态元数据方式中，按照每个帧指定HDR影像的亮度分布等的关于亮度的元数据，与影像信号一起将这样的元数据向影像显示装置传送。影像显示装置根据该影像显示装置的最大亮度等的显示能力，以传送来的元数据为参考，进行将亮度变换等的处理。这样的动态元数据方式作为不论影像显示装置的亮度等的显示性能如何都尽可能显示一定的品质的影像的方式受到关注。
但是，动态元数据由于在时间上变化，所以有本来应为一定的影像的显示不稳定的问题。
如果应显示的影像仅是同时被编辑或监修的影像、所谓的运动图像，则能够进行某种程度考虑到影像的状况的处理。如果以这样的运动图像为主影像，同时将本来是一定而完全不变动的字幕或菜单等的图形数据叠加在主影像中而显示，则通过使用动态元数据的处理，出现应是一定的图形的亮度或颜色发生变化的不良影响。主影像的亮度越高、影像显示装置的亮度越低，该不良影响越显著。
图6是表示在主影像中叠加了图形时的动态色调映射的影响的图。这里，如图6的(a)所示，将叠加的图形的亮度假定为350nit。如图6的(b)所示，在主影像的亮度较低的区间中，不进行色调映射，将图形以作为本来的亮度的350nit在影像显示装置上显示。另一方面，如图6的(c)所示，在主影像的亮度较高的区间中，进行色调映射，将图形的亮度以比350nit低的亮度显示在影像显示装置上。这样，本来应是一定的图形的亮度在时间上变动，成为不好的状态。这里设为只有亮度的影响，但在实际的影像显示装置中，因为颜色成分也受到影响，所以也有颜色也受到影响的情况。
[1－7.解决方法]
作为避免上述课题的手段，可以考虑将叠加的图形的位置信息向影像显示装置传送，使仅显示有图形的部分不应用动态元数据的方法。但是，该方法在显示画面的全区域中需要是否显示图形的信息的传送，影像显示装置中的处理也需要显示像素单位下的判断等，实现是相当困难的。
在本公开中使用以下的解决方法。在第1方法中，影像再现装置作为动态元数据的信息，将表示在主影像中是否叠加有图形的“图形叠加标志”向影像显示装置传送。作为图形，由于有菜单及字幕，所以作为“图形叠加标志”影像再现装置也可以将“菜单叠加标志”及“字幕叠加标志”向影像显示装置传送。
影像显示装置根据菜单叠加标志的状态，使动态色调映射的On/Off或其强度变化。由此，能够降低动态色调映射向叠加的图形的影响。
在第2方法中，影像再现装置除了第1方法以外，还将叠加的图形的最大亮度的信息作为动态元数据的信息向影像显示装置传送。与叠加标志同样，在字幕和菜单中也可以单独地设置最大亮度信息。
影像显示装置可以根据图形叠加标志和图形的最大亮度的信息，更细致地控制动态色调映射。
在第3方法中，影像显示装置利用帧间相关等，检测被显示为一定的图形，对于该部分抑制动态色调映射。
在第4方法中，Ultra HD Blu－ray再现装置、广播接收装置或因特网广播接收装置等的HDR影像再现装置根据所连接的影像显示装置的最大亮度信息，将叠加的图形的亮度变更，以减小由影像显示装置进行的色调映射的影响。此外，影像再现装置既可以通过操作者的设定来取得影像显示装置的最大亮度，也可以通过连接着影像再现装置的HDMI上的EDID从影像显示装置取得。
由于影像显示装置的色调映射的方法是各种各样的，所以图形的亮度的调整能够以某种幅度进行调整。作为其调整的方法，有操作者设定的方法、或基于从每个影像显示装置的数据库取得的信息进行调整的方法等。
在第5方法中，HDR影像再现装置假定显示叠加了图形的HDR影像的影像显示装置的动态色调映射的方法，在叠加图形之前，对叠加的图形实施影像显示装置中的动态色调映射的逆变换。由此，叠加后的图形在实施动态色调映射后，能够以原来的亮度及颜色进行显示。
作为假定连接的影像显示装置的动态色调映射方法的方法，可以使用以下的方法。影像再现装置简单地讲，作为不受影响的最大亮度，通过达到影像显示装置的最大亮度的例如90％的影像的亮度等的信息来对应。更详细地讲，影像再现装置也可以从数据库取得这些信息来对应。或者，影像再现装置也可以通过测试样式(pattern)进行测量，基于测量结果进行设定。
通过以上的方法，在对通过广播、Blu－ray等的封装介质或OTT等的因特网发布传送来的HDR影像信号进行动态色调映射的情况下，能够减小动态色调映射对于菜单或字幕等的图形的影响。由此，能够得到稳定的字幕或菜单的显示、和与影像显示装置的最大亮度(DPL)及运动图像的最大亮度对应的动态色调映射的效果。
此外，特别能够增大与影像的亮度相比较低的亮度的影像显示装置中的HDR效果，另一方面，能够实现与静态色调映射同样的品质较高的菜单及字幕的显示。
此外，通过将字幕和菜单的处理分开，能够借助与字幕及菜单分别适合的处理，进一步减小动态色调映射的影响。具体而言，相对于字幕的亮度是大致一定的亮度，菜单的亮度是变化的。此外，在将字幕在主影像再现时显示的情况下，从最初到最后显示字幕，并且与主影像同步。另一方面，菜单仅在操作的情况下被显示，并且不与主影像同步。可以进行考虑到这样的字幕与菜单的性质的差异的处理。
[2.实施方式1]
在本实施方式中，影像再现装置将表示在主影像中是否叠加有图形的图形叠加标志植入到动态元数据的一部分中而向影像显示装置传送。影像显示装置根据图形叠加标志的状态，使使用动态元数据的动态色调映射的On/Off或其强度变化。由此，能够减小动态色调映射向叠加的图形的影响。图形叠加标志也可以由表示字幕的显示的有/无的字幕叠加标志和表示菜单显示的有/无的菜单叠加标志的两个构成。
[2－1.影像显示系统的结构]
图7是表示有关本实施方式的影像显示系统100的结构的框图。图7所示的影像显示系统100包括影像再现装置101和影像显示装置102。
影像再现装置101将影像再现，将所得到的影像向影像显示装置102输出。该影像再现装置101包括取得部111、解复用器112、主影像解码部113、字幕解码部114、菜单解码部115、元数据取得部116、图形合成部117、主影像合成部118和影像送出部119。
取得部111取得影像信号。例如，在影像再现装置101是盘再现装置的情况下，取得部111通过将盘再现而取得影像信号。此外，在影像再现装置101是广播接收装置的情况下，取得部111通过接收广播波而取得影像信号。此外，在影像再现装置101是因特网广播接收装置的情况下，取得部111通过接收因特网广播而取得影像信号。
解复用器112将影像信号中包含的编码的主影像信号、字幕信号及菜单信号分别向主影像解码部113、字幕解码部114及菜单解码部115输出。
主影像解码部113将从解复用器112输出的编码的主影像信号解码。
字幕解码部114将从解复用器112输出的编码的字幕信号解码。此外，字幕解码部114基于用户的操作等，选择是否显示字幕、以及显示的字幕的类别，在显示字幕的情况下，将所选择的字幕向图形合成部117输出。
菜单解码部115将从解复用器112输出的编码的菜单信号解码。此外，菜单解码部115基于用户的操作等，选择是否显示菜单、以及显示的菜单的类别，在显示菜单的情况下，将所选择的菜单向图形合成部117输出。另外，菜单解码部115也可以不仅是通过来自影像信号的信息，还通过在影像再现装置101中动作的程序将菜单合成及显示。
元数据取得部116取得主影像动态元数据。例如，元数据取得部116基于主影像信号中包含的信息生成主影像动态数据。
图形合成部117通过构成字幕和菜单，生成图形信息。另外，如上述那样，图形合成部117也可以变换字幕及菜单的分辨率。例如，在Ultra HD Blu－ray的情况下，图形合成部117将HD的字幕及菜单变换为UHD的字幕及菜单。
此外，图形合成部117生成图形信息，在将所生成的图形信息向主影像叠加的情况下，将图形叠加标志设为ON，向影像送出部119传送。此外，图形合成部117在不将图形信息向主影像叠加的情况下，将图形叠加标志设为OFF，向影像送出部119传送。另外，图形叠加标志既可以由影像再现装置101内的程序生成，也可以由其他的机构生成。
主影像合成部118通过将由主影像解码部113得到的主影像与由图形合成部117生成的图形信息合成，生成影像信号。
影像送出部119将由主影像合成部118生成的影像信号和动态元数据经由HDMI线缆等的影像信号传送机构向影像显示装置102传送。动态元数据包括由元数据取得部116取得的主影像动态元数据和由图形合成部117生成的图形叠加标志。
图8A是表示从影像再现装置101向影像显示装置102传送的主影像动态元数据及图形叠加标志的结构例的图。如图8A所示，主影像动态元数据表示主影像的最大亮度及平均亮度。例如，主影像动态元数据表示1帧单位或多帧单位的最大亮度及平均亮度。
图8B是表示主影像动态元数据及图形叠加标志的别的结构例的图。如图8B所示，图形叠加标志也可以包括表示是否在主影像中叠加有字幕的字幕叠加标志和表示是否在主影像中叠加有菜单的菜单叠加标志。
接着，对影像显示装置102的结构进行说明。影像显示装置102具备影像接收部121、元数据取得部122、色调映射处理部123和显示部124。
影像接收部121接受从影像再现装置101传送来的影像信号和动态元数据。影像接收部121将影像信号与动态元数据分离，将影像信号向色调映射处理部123传送，将动态元数据向元数据取得部122传送。元数据取得部122将动态元数据中包含的主影像动态元数据及图形叠加标志作为控制信号，向色调映射处理部123传送。
色调映射处理部123按照主影像动态元数据，进行影像信号的色调映射处理。具体而言，色调映射处理部123在图形叠加标志为OFF的情况下，按照主影像动态元数据，进行影像信号的色调映射处理(动态色调映射处理)。另一方面，色调映射处理部123在图形叠加标志为ON的情况下，进行减小了动态色调映射对叠加的图形的影响的色调映射处理。显示部124显示色调映射处理后的影像信号。
[2－2.色调映射处理部]
对色调映射处理部123的详细情况进行说明。图9是表示色调映射处理部123的结构的框图。色调映射处理部123具备系数运算部131、系数保持部132、色调映射部133和切换部SW1及SW2。
来自影像接收部121的影像信号被向色调映射部133传送。来自元数据取得部122的主影像动态元数据被向系数运算部131传送。
系数运算部131按照影像显示装置102的亮度等的影像显示能力，计算在色调映射部133的色调映射处理中使用的色调映射系数。系数保持部132保持系数运算部131计算出的色调映射系数。这里，所述的色调映射系数，是在表示在色调映射处理中使用的变换曲线的函数中包含的系数。即，由色调映射系数决定变换曲线。
切换部SW1选择由系数运算部131计算出的色调映射系数(A)和保持在系数保持部132中的色调映射系数(B)中的一方，将所选择的色调映射系数向色调映射部133传送。切换部SW2选择由系数运算部131计算出的色调映射系数(A)和保持在系数保持部132中的色调映射系数(B)中的一方，将所选择的色调映射系数向系数保持部132输入。即，切换部SW2切换是将保持在系数保持部132中的色调映射系数更新为由系数运算部131新计算出的色调映射系数(A)，还是将当前保持的色调映射系数继续保持(B)。
切换部SW1及SW2连动，在图形叠加标志为OFF的情况下都被连接到A，在图形叠加标志为ON的情况下都被连接到B。由此，在叠加有图形的情况下，基于动态元数据的动态色调映射被固定。
此外，在图形叠加标志包括字幕叠加标志和菜单叠加标志的情况下，通过其组合，能够改变向色调映射部133输入的色调映射系数的处理。作为一例，在字幕叠加标志为ON的情况下，将色调映射系数固定(切换部SW1及SW2被连接到B)，而在仅菜单叠加标志为ON的情况下，使用通常的色调映射系数(切换部SW1及SW2被连接到A)等。
此外，本结构是一例，色调映射处理部123在图形叠加标志为ON的情况下，既可以将色调映射系数在特定的亮度以下固定，也可以不进行色调映射处理。
图10是表示将色调映射系数在特定的亮度以下固定的情况下的色调映射处理部123A的结构的图。色调映射处理部123A代替切换部SW1而具备系数合成部134。
系数合成部134在图形叠加标志为ON的情况下，对于作为预先设定的亮度的边界亮度以上的亮度进行动态色调映射处理，但对于不到边界亮度的亮度，进行(1)将色调映射固定、(2)不进行色调映射处理、(3)抑制色调映射的变动、或(4)使得色调映射的影响成为人不能感知到的程度等的处理。这里，所述的边界亮度，例如是比在图形中使用的亮度的最大值高的亮度。由此，在用于图形的亮度范围中抑制了色调映射变动。此外，在上述处理中，为了维持边界亮度以上的变换曲线和不到边界亮度的变换曲线的连续性，系数合成部134也可以将变换曲线修正，以使得在这些边界区域中变换曲线平滑地变化。
另外，这里说明了仅关于影像、字幕及菜单的结构，但在影像再现装置101及影像显示装置102中，也将音声信号等处理、传送及输出。因为这些与本公开没有关系，包括以后的说明也将其省略。
此外，在图形叠加标志包括字幕叠加标志和菜单叠加标志的情况下，图10所示的系数合成部134根据字幕叠加标志和菜单叠加标志的状态而使用不同的合成的方法。例如，系数合成部134在字幕叠加标志为ON的情况和仅菜单合成标志为ON的情况下，将上述边界亮度设定为不同的值。
系数合成部134考虑显示部124的最高亮度及其他的关于影像的特性而设定边界亮度。这里，通常菜单的亮度水平比字幕的亮度水平高。由此，系数合成部134在菜单叠加标志为ON的情况下，与仅字幕叠加标志为ON的情况相比，能够将边界亮度设定得较高。
另外，菜单是根据使用者的意思来决定是否叠加的，也可以有与动态色调映射对菜单的影响相比更重视主影像的色调映射的考虑方式。由此，系数合成部134也可以在仅菜单叠加标志为ON的情况下，与字幕叠加标志为ON的情况相比将边界亮度设定得较低。
[2－3.影像显示系统的动作]
说明影像显示系统的动作的流动。图11A是表示影像再现装置101的动作的流程图。影像再现装置101在开始影像的再现后，根据图形(字幕及菜单)的处理状态，判定在主影像中是否叠加有图形(S101)。在主影像中叠加有图形的情况下(S101中“是”)，影像再现装置101将图形叠加标志设定为ON(S102)。另一方面，在主影像中没有叠加有图形的情况下(S101中“否”)，影像再现装置101将图形叠加标志设定为OFF(S103)。接着，影像再现装置101反复进行步骤S101～S103的处理，直到影像再现完成或有再现停止操作(S104)。例如，将该处理以1帧单位或多帧单位反复进行。
图11B是表示影像显示装置102的动作的流程图。影像显示装置102在影像显示的开始的同时开始色调映射处理。此时，影像显示装置102判定图形叠加标志是ON还是OFF(S111)。在图形叠加标志为OFF的情况下(S111中“否”)，影像显示装置102将切换部SW1及SW2连接到A，通过进行基于主影像动态元数据的色调映射处理，将色调映射更新(S112)。即，系数运算部131基于当前时刻的主影像动态元数据计算色调映射系数，色调映射部133对于当前时刻的影像，使用计算出的色调映射系数进行色调映射处理。此时，系数保持部132保持新计算出的色调映射系数。
如果图形叠加标志成为ON(S111中“是”)，则影像显示装置102通过将切换部SW1及SW2连接到B，将色调映射固定(S113)。具体而言，通过将系数保持部132的输入端子连接到自身的输出端子，系数保持部132保持切换部SW2即将从A成为B之前的色调映射系数。此外，由于切换部SW1被连接到B，所以在色调映射部133中使用的色调映射系数被固定。由此，不再有色调映射的时间变动。
此外，如果图形叠加标志成为OFF(S111中“否”)，则开始色调映射系数的时间变动(S112)。反复进行这些S111～S113的处理，直到影像的接收完成或做出显示OFF的操作(S114)。例如，将该处理以1帧单位或多帧单位反复进行。
如以上这样，有关本实施方式的影像显示系统100具备进行使用与影像的最大亮度对应的变换曲线将影像的亮度变换的色调映射处理的色调映射处理部123、和显示色调映射处理后的影像的显示部124。色调映射处理部123切换是根据影像的最大亮度的时间序列的变化将变换曲线以时间序列变更的第1色调映射处理(S112)，还是不取决于影像的最大亮度的时间序列的变化而进行使用一定的变换曲线的第2色调映射处理(S113)。
由此，例如可以根据影像的类别等来切换是将在色调映射中使用的变换曲线以时间序列变更还是固定。由此，能够根据影像的类别等，来切换是在各时刻进行最优的色调映射，还是通过将色调映射固定来抑制本来应是一定的影像的亮度变化。这样，影像显示系统100能够提高显示的影像的品质。
此外，影像显示系统100还具备通过将图形合成到主影像中而生成影像的合成部(主影像合成部118及图形合成部117)。色调映射处理部123在主影像中没有合成图形的情况下(S111中“否”)，进行第1色调映射处理(S112)，在主影像中合成了图形的情况下(S111中“是”)，进行第2色调映射处理(S113)。由此，能够抑制图形的亮度的变化。
此外，合成部生成表示是否在主影像中合成了图形的第1标志(图形叠加标志)。色调映射处理部123根据第1标志，决定是进行第1色调映射处理还是进行第2色调映射处理。
此外，图形包括字幕及菜单，第1标志包括表示在主影像中是否合成了字幕的第2标志(字幕叠加标志)、和表示在主影像中是否合成了菜单的第3标志(菜单叠加标志)。由此，在叠加了字幕的情况和叠加了菜单的情况下，能够进行与其分别适合的色调映射处理。
例如，色调映射处理部123在从第1色调映射处理切换为第2色调映射处理的情况下，在第2色调映射处理中，继续使用之前的最近的变换曲线。由此，能够抑制在从第1色调映射处理向第2色调映射处理的切换中亮度较大地变化。
例如，如图10所示，色调映射处理部123A在第2色调映射处理中，对于边界亮度以上的亮度，根据影像的最大亮度的时间序列的变化，将变换曲线按时间序列变更，对于不到边界亮度的亮度，不论影像的最大亮度的时间序列的变化如何都使用一定的变换曲线。
由此，对于边界亮度以上的亮度，在各时刻能够进行最优的色调映射，并且对于不到边界亮度的亮度能够抑制亮度变化。
此外，有关本实施方式的影像显示装置102具备进行使用与影像的最大亮度对应的变换曲线将影像的亮度变换的色调映射处理的色调映射处理部123、和显示色调映射处理后的影像的显示部124。色调映射处理部123切换是进行根据影像的最大亮度的时间序列的变化将变换曲线以时间序列变更的第1色调映射处理(S112)，还是进行不论影像的最大亮度的时间序列的变化如何都使用一定的变换曲线的第2色调映射处理(S113)。
由此，例如根据影像的类别等，切换是将在色调映射中使用的变换曲线以时间序列变更还是固定。由此，能够根据影像的类别等来切换是在各时刻进行最优的色调映射，还是通过将色调映射固定来抑制本来应是一定的影像的亮度变化。这样，影像显示装置102能够提高显示的影像的品质。
此外，色调映射处理部123在影像中不包含图形的情况下(S111中“否”)，进行第1色调映射处理(S112)，在影像中包含图形的情况下(S111中“是”)，进行第2色调映射处理(S113)。由此，能够抑制图形的亮度的变化。
此外，色调映射处理部123根据表示是进行第1色调映射处理还是进行第2色调映射处理的第1标志(图形叠加标志)，决定是进行第1色调映射处理还是进行第2色调映射处理。
此外，第1标志包括表示影像中是否包含字幕的第2标志(字幕叠加标志)和表示在影像中是否包含菜单的第3标志(菜单叠加标志)。由此，在叠加了字幕的情况和叠加了菜单的情况下，能够进行与其分别适合的色调映射处理。
[3.实施方式2]
在本实施方式中，除了实施方式1的处理以外，影像再现装置101还将向主影像叠加的图形的亮度信息向动态元数据的一部分植入。影像显示装置102基于菜单叠加标志的状态及图形的亮度信息，使动态色调映射的On/Off或其强度变化。由此，能够减小动态色调映射向叠加的图形的影响。
[3－1.结构]
有关本实施方式的影像再现装置101以下的点与实施方式1不同。图7所示的图形合成部117在将图形信息向主影像叠加的情况下，将图形叠加标志设为ON，并提取作为图形的亮度信息的图形亮度信息，将提取出的图形亮度信息向影像送出部119传送。影像送出部119将图形亮度信息作为动态元数据的一部分，向影像显示装置102送出。图形合成部117作为图形亮度信息既可以使用预先设定的固定值，也可以每次从图形信息中提取亮度信息，也可以通过参照由其他机构提供的元数据来取得图形亮度信息。
此外，图形亮度信息也可以包括字幕的亮度信息和菜单的亮度信息。
有关本实施方式的影像显示装置102以下的点与实施方式1不同。图7所示的元数据取得部122除了主影像动态元数据及图形叠加标志以外还取得图形亮度信息，将这些信息向色调映射处理部123传送。色调映射处理部123的详细结构例如是图10所示的结构，具备系数合成部134。对于系数合成部134，除了图形叠加标志以外还输入图形亮度信息，系数合成部134进行使用图形的亮度信息的色调映射系数的合成处理。例如，系数合成部134对于图形亮度信息以下的亮度，不使色调映射在时间上变动。即，系数合成部134作为实施方式1的边界亮度而使用图形亮度信息。
此外，在实施方式1及实施方式2中，系数合成部134也可以将边界亮度基于影像显示装置102的设定等进行调整。同样，影像再现装置101也可以不是将图形亮度信息原样向影像显示装置102传送，而是在基于环境、再现的影像的种类或使用者的喜好等将图形亮度信息调整后，向影像显示装置102传送。通过这些，能够调整动态色调映射对图形的影响程度和对主影像的适应程度。
图形亮度信息也可以包括字幕亮度信息和菜单亮度信息。在此情况下，系数合成部134与实施方式1同样，也可以在字幕和菜单中改变动态色调映射的合成方法。
图12A是表示在本实施方式中从影像再现装置101向影像显示装置102传送的主影像动态元数据、图形叠加标志及图形亮度信息的结构例的图。图形亮度信息例如表示在图形中使用的最大亮度。例如，主影像动态元数据表示1帧单位或多帧单位的最大亮度及平均亮度。
图12B是表示主影像动态元数据、图形叠加标志及图形亮度信息的其他结构例的图。如图12B所示，图形亮度信息也可以包括字幕的最大亮度和菜单的最大亮度。
此外，也可以在图形亮度信息中包括图形叠加标志的用途。例如，也可以是图形亮度信息的一部分或特定的值表示图形叠加标志是OFF，由其他的值表示图形叠加标志是ON。
图13A是表示从该情况下的影像再现装置101向影像显示装置102传送的主影像动态元数据及图形亮度信息的结构例的图。在图13A所示的例子中，图形亮度信息由8比特构成，表示0－1020nit的亮度。值0表示图形存在但亮度不清楚，值1表示不存在图形，其他的值从8nit到1020nit表示4nit单位的明亮度。另外，关于图形亮度信息的比特结构、明亮度的范围、0、1及其他值的意义，并不限于此，能够匹配于系统要件而变更。
此外，如图13B所示，在图形亮度信息包含字幕亮度信息和菜单亮度信息的情况下也能够同样地构成。
[3－2.效果]
图14A是表示图形是字幕的情况下的由以往的动态色调映射带来的字幕的亮度的变化的图。在字幕的亮度水平是200nit以下的情况下，如果色调映射在时间上变化，则根据图14A可知，从0到200nit附近的亮度也变化，本来是一定的字幕的亮度发生变化。
相对于此，在实施方式1中，对于规定的边界亮度以下的亮度，能够使得不发生色调映射的时间变化。由此，根据图14B可知，没有作为字幕亮度的200nit以下的时间变化，以稳定的亮度显示字幕。这里，边界亮度例如是比标准的字幕的亮度水平高的固定值，变换曲线的转折点(knee point)也被固定。
但是，如果边界亮度被固定，则动态色调映射的变化幅度被限制，对于主影像，有动态色调映射的效果变小的课题。特别是，当影像显示装置102的最大亮度(DPL)较低时，问题较为显著。当然，在影像显示装置102中，通过研究将图形数据的亮度设想为一定值以下等动态色调映射的方法，能够增大动态色调映射的效果。但是，在此情况下，在显示设想以上的亮度的图形数据的情况下，有图形数据的显示容易受到动态色调映射的影响等的课题。
相对于此，在实施方式2中，为了能够基于字幕的亮度信息使边界亮度变化，如图15所示，能够对主影像应用自由度较高的动态色调映射。在图15中，图示了实际的字幕的亮度是100nit的情况。如图15所示，在此情况下，对于将图14B所示的边界亮度固定为200nit而处理的情况，能够实现自由度更高的动态色调映射。连接的影像显示装置102的最大亮度越低，该效果越大。
[3－3.详细的结构例]
在本实施方式中，说明了在影像再现装置101中将向主影像叠加的图形的亮度信息植入到动态元数据的一部分中，说明该植入的方法的例子。
在Blu－ray盘那样的封装介质中，在将影像再现的情况下，将连续的1个再现路径定义为播放列表的文件，记录在盘上。播放列表记录有将盘上的影像流中的哪个再现、其再现开始位置、完成位置或者再现时间等的再现管理信息。
在该播放列表中，记录与主影像同时显示的图形的亮度信息或亮度范围的上限信息。由此，影像再现装置101能够容易地取得与主影像一起显示的图形的亮度信息或亮度范围的上限信息，将所取得的信息向影像显示装置102传送。
另外，图形亮度信息也可以包含字幕亮度信息和菜单亮度信息。此外，在能够从多种语言或多个版本选择字幕或菜单的情况下，图形亮度信息也可以包含与多种语言或版本对应的多个字幕亮度信息或多个菜单亮度信息。在此情况下，也可以将多个字幕亮度信息或多个菜单亮度信息记录在播放列表中。
进而，图形亮度信息也可以不仅是该播放列表的再现中的最大亮度，还将每个场景或每单位时间的最大亮度与再现时刻信息一起表示。
另外，向该播放列表保存的图形亮度信息也可以是图15中记载的MaxSLL。该MaxSLL是向主影像叠加的图形的最大亮度及主影像的动态色调映射的最小亮度的至少一方。
另外，Blu－ray、Ultra HD Blu－ray的详细情况例如记载在非专利文献1中。
如以上这样，在本实施方式中，色调映射处理部123A根据图形的亮度设定边界亮度。由此，由于能够根据图形的类别等设定适当的边界亮度，所以能够扩大能够应用动态色调映射的亮度范围。
[4.实施方式3]
有关本实施方式的影像显示装置102除了实施方式1的影像显示装置102以外，还利用帧间相关等检测叠加在主影像中的图形的位置。影像显示装置102对于没有叠加图形的像素不进行动态色调映射，而应用没有时间变动的色调映射。由此，能够减小动态色调映射对图形的影响。
以下，说明有关本实施方式的影像显示系统100的结构。影像再现装置101的结构与实施方式1是同样的。另外，影像再现装置101也有也可以不拥有将图形叠加标志向影像显示装置102传送的功能的情况。
影像显示装置102具备的色调映射处理部123B的结构与实施方式1不同。图16是表示有关本实施方式的色调映射处理部123B的结构的框图。图16所示的色调映射处理部123B除了图10所示的色调映射处理部123A的结构以外还具备图形检测部135。
向图形检测部135输入影像信号。图形检测部135利用帧间相关等，检测叠加有图形的像素位置。并且，图形检测部135将表示是否叠加有图形的像素单位的信息向系数合成部134输出。
在图形叠加标志为ON的情况下，系数合成部134对于没有被叠加图形的像素，将基于主影像动态元数据的色调映射系数向色调映射部133输出，对于叠加有图形的像素，将没有时间变化的色调映射系数向色调映射部133输出。
此外，在没有从影像再现装置101传送来图形叠加标志的情况下，系数合成部134使用由图形检测部135检测出的像素单位的是否叠加有图形的信息，进行色调映射系数的合成。即，系数合成部134也可以基于图形检测部135的输出信号来制作图形叠加标志。
例如，在图形检测部135在处理对象的帧或帧群中检测出在1个像素或预先设定的像素数的像素中存在图形的情况下，系数合成部134认为叠加有图形，将图形叠加标志设为ON而进行处理。
在此情况下，色调映射部133进行考虑到因图形检测部135的处理时间带来的时间延迟的处理。例如，该时间延迟被预先设定在色调映射部133中。
此外，色调映射部133也可以在作为图形检测出的像素数超过了预先设定的阈值的情况下判定为存在图形。由此，能够抑制图形的误检测。另外，上述阈值也可以能够由使用者变更。
如以上这样，色调映射处理部123B检测影像内的叠加有图形的图形区域，对于图形区域进行第2色调映射处理，对于影像内的图形区域以外的区域进行第1色调映射处理。由此，对于图形能够将色调映射固定，并且对于图形以外的区域能够进行动态色调映射。
[5.实施方式4]
与实施方式1不同，在本实施方式中，影像再现装置101A不生成图形叠加标志，影像显示装置102不具有基于图形叠加标志变更动态色调映射的功能。代之，影像再现装置101A进行将图形的亮度变换的处理。
具体而言，对于影像再现装置101A设定连接在影像再现装置101A上的影像显示装置102的最大亮度信息。影像再现装置101A根据该最大亮度信息，变更叠加的图形的亮度，以使由影像显示装置102进行的色调映射的影响最小化。由此，能够减小动态色调映射向叠加的图形的影响。
影像再现装置101A既可以通过操作者的设定来取得影像显示装置102的最大亮度信息，也可以通过连接着影像再现装置101A的HDMI上的EDID从影像显示装置102取得。由于由影像显示装置102进行的色调映射的方法是各种各样的，所以影像再现装置101A将图形的亮度在某个范围内进行调整。影像再现装置101A既可以基于操作者的操作进行该调整，也可以基于从各个影像显示装置102的数据库取得的信息来进行。
以下，说明有关本实施方式的影像再现装置101A的结构。图17是表示有关本实施方式的影像再现装置101A的结构的框图。图17所示的影像再现装置101A除了有关实施方式1的影像再现装置101的结构以外，还具备最大亮度设定部141和亮度变换部142。
最大亮度设定部141取得并保持影像显示装置102的最大亮度信息。例如，该最大亮度信息也可以基于使用者的操作来设定，也可以作为连接在影像再现装置101A上的影像显示装置102的属性信息而经由影像信号传递装置取得。例如，最大亮度设定部141也可以将影像显示装置102的最大亮度信息作为HDMI的EDID而取得。或者，最大亮度设定部141也可以从网络上的服务器的数据库取得影像显示装置102的属性信息。
将由图形合成部117生成的图形信息向亮度变换部142输入。亮度变换部142基于保持在最大亮度设定部141中的影像显示装置102的最大亮度信息，将图形信息的亮度变换，将变换后的图形信息向主影像合成部118传送。主影像合成部118将变换后的图形信息向主影像叠加。
例如，在影像显示装置102的最大亮度是500nit、图形信息的最大亮度是300nit的情况下，亮度变换部142将图形信息的最大亮度变换为作为影像显示装置102的最大亮度的50％的250nit。由此，能够减小影像显示装置102的色调映射的影响。
另外，变换的条件及比例(上述50％)并不限定于上述。此外，它们也可以由使用者变更，也可以匹配于连接的影像显示装置102的特性而变更。
如以上这样，有关本实施方式的影像显示系统100具备显示部124、通过根据显示部124的最大亮度将第1影像的亮度变换来生成第2影像的亮度变换部142、和进行通过使用与第2影像的最大亮度对应的变换曲线将该第2影像的亮度变换来生成第3影像的色调映射处理的色调映射处理部123，显示部124显示第3影像。由此，能够抑制由色调映射的变动带来的亮度的变动。
具体而言，亮度变换部142通过根据显示部124的最大亮度将上述第1影像中包含的图形的亮度变换，生成上述第2影像。由此，能够抑制图形的亮度的变动。
[6.实施方式5]
与实施方式4不同，在本实施方式中，影像再现装置101B假定影像显示装置102中的动态色调映射的方法，在叠加图形之前，对叠加的图形实施影像显示装置102中的动态色调映射的逆变换。由此，能够将叠加的图形在实施动态色调映射后以原来的亮度及颜色进行显示。
例如，影像再现装置101B通过以下的手段假定连接的影像显示装置102的动态色调映射的方法。简单地讲，影像再现装置101B作为不受影响的最大亮度，通过达到影像显示装置102的最大亮度的例如90％的影像的亮度等的信息来对应。更详细地讲，影像再现装置101B从数据库取得影像显示装置102的动态色调映射方法。或者，影像再现装置101B使用测试样式进行测量，基于测量结果推算动态色调映射的方法。
以下，说明有关本实施方式的影像再现装置101A的结构。图18是表示有关本实施方式的影像再现装置101B的结构的框图。
图18所示的影像再现装置101B相对于图17所示的有关实施方式4的影像再现装置101A，代替最大亮度设定部141而具备色调映射信息保持部143。此外，将从元数据取得部116输出的主影像动态元数据向亮度变换部142发送。
色调映射信息保持部143保持关于影像显示装置102的色调映射处理的色调映射信息。亮度变换部142使用该色调映射信息和主影像动态元数据，对图形信息实施由影像显示装置102进行的色调映射的逆变换，将逆变换后的图形信息向主影像合成部118输出。主影像合成部118对主影像叠加实施了色调映射的逆变换后的图形。
由此，在接受到影像信号的影像显示装置102中进行了色调映射的情况下，将受到色调映射的逆变换后的图形部分作为原来的图形显示。由此，能够减小影像显示装置102的色调映射的影响。
图19是表示由影像显示装置102使用的色调映射的一例的图。图20是表示该情况下的色调映射信息的一例的图。例如，色调映射信息包括影像显示装置102的亮度信息和影像显示装置102的色调映射信息。影像显示装置102的亮度信息表示影像显示装置102的最大亮度和作为能够对全像素同时显示的最大亮度的全画面显示最大亮度。此外，影像显示装置102的色调映射信息表示色调映射中的转折点，例如表示转折点的亮度或转折点间的斜率的增量。
另外，色调映射信息的结构并不限定于上述。例如，色调映射信息也可以仅包含图20所示的信息中的一部分的信息。
此外，影像显示装置102的色调映射的逆变换的条件或比例(例如上述90％)既可以由使用者变更，也可以按照连接的影像显示装置102而变更。
此外，影像再现装置101B既可以通过利用者的设定而取得影像显示装置102的色调映射信息，也可以作为连接在影像再现装置101B上的影像显示装置102的属性而经由影像信号传递装置取得。例如，影像再现装置101B也可以取得色调映射信息作为HDMI的EDID。或者，影像再现装置101B也可以从网络上的服务器的数据库取得连接的影像显示装置102的属性信息。
如以上这样，有关本实施方式的影像显示系统100具备通过将第1影像的亮度变换而生成第2影像的亮度变换部142、进行通过使用与第2影像的最大亮度对应的变换曲线将该第2影像的亮度变换而生成第3影像的色调映射处理的色调映射处理部123、以及显示第3影像的显示部124。亮度变换部142根据由色调映射处理部123进行的色调映射处理，将第1影像的亮度变换。由此，能够抑制由色调映射的变动带来的亮度的变动。
具体而言，亮度变换部142基于第1影像的最大亮度和在由色调映射处理部123进行的色调映射处理中使用的变换曲线，将第1影像的亮度变换。
[7.变形例]
取得部111取得的HDR影像也可以是例如Blu－ray盘、DVD、Internet的运动图像发布站点、广播或HDD(Hard Disk Drive)内的影像。
上述影像再现装置也可以是盘播放器、盘记录器、机顶盒、电视、个人计算机或智能电话等，将来自记录介质、广播或因特网的压缩的影像信号解码并向影像显示装置传送的装置。此外，也可以是影像再现装置的功能的一部分或全部包含在影像显示装置102中。例如，也可以将影像再现装置中包含的处理部中的取得部111以外的处理部包含在影像显示装置102中。此外，也可以是影像显示装置102中包含的影像接收部121、元数据取得部122及色调映射处理部123包含在影像再现装置中。此外，也可以将色调映射处理部123中包含的处理部中的色调映射部133以外的处理部包含在影像再现装置中。
将来自影像再现装置的影像信号向影像显示装置传送的影像信号传送机构既可以是将HDMI、DVI或DP等的影像信号以非压缩的状态传送的机构，也可以是如经过网络的传送那样将压缩了影像信号的形式传送的机构。
影像显示装置的最大亮度信息或色调映射信息向影像再现装置的设定也可以通过利用者使用遥控器等向影像再现装置输入来进行，也可以通过利用者使用影像再现装置具备的操作装置输入来进行。或者，利用者也可以使用因特网或其他机构取得这些信息，将所取得的信息向便携存储介质保存，经由便携存储介质将这些信息向影像再现装置传送。此外，也可以将影像再现装置直接连接在因特网上，影像再现装置从服务器的数据库取得这些信息。进而，影像再现装置也可以在影像显示装置上显示测试样式，一边使用所显示的测试样式确认影像显示装置的特性，一边取得及存储这些信息。
影像显示装置的色调映射信息在实施方式5中，例示了转折点为两处的情况，但也可以用3处以上的转折点定义，也可以由曲线定义。
影像再现装置也可以通过根据其数据检测图形(字幕或菜单)的亮度来生成图形亮度信息(包括字幕亮度信息及菜单亮度信息)，也可以取得在影像数据制作时预先制作的图形的亮度。例如，既可以将图形的亮度记录到盘中，也可以作为元数据通过广播或Internet发送。影像再现装置将图形的亮度读取，作为动态元数据的一部分向影像显示装置传送。或者，在连接于Internet上的服务器的数据库中作为对于再现的内容的信息而记录图形(字幕或菜单)的亮度信息，影像再现装置从该数据库取得图形的亮度信息，将所取得的亮度信息向影像显示装置发送。
以上，对有关本公开的实施方式的影像显示系统进行了说明，但本公开并不限定于该实施方式。
此外，有关上述实施方式的影像显示系统中包含的各处理部典型地可以作为集成电路即LSI实现。既可以将它们单独地1芯片化，也可以包含一部分或全部而1芯片化。
此外，集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
此外，在上述各实施方式中，也可以将各构成要素由专用的硬件构成，或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行而实现。
此外，本公开也可以作为由影像显示系统执行的各种方法实现。
此外，框图中的功能块的划分是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块划分为多个，或将一部分功能转移到其他功能块中。此外，也可以将具有类似的功能的多个功能块的功能由单一的硬件或软件并行或时间划分地进行处理。
此外，流程图中的各步骤被执行的顺序是为了具体地说明本公开而例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时(并行)地执行。
以上，基于实施方式对有关一个或多个技术方案的影像显示系统进行了说明，但本公开并不限定于该实施方式。只要不脱离本公开的主旨，对本实施方式实施本领域技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的形态也也可以也包含在一个或多个技术方案的范围内。
产业上的可利用性
本公开能够对影像显示系统、影像再现装置或影像显示装置应用。
标号说明
100 影像显示系统
101、101A、101B 影像再现装置
102 影像显示装置
111 取得部
112 解复用器
113 主影像解码部
114 字幕解码部
115 菜单解码部
116、122 元数据取得部
117 图形合成部
118 主影像合成部
119 影像送出部
121 影像接收部
123、123A、123B 色调映射处理部
124 显示部
131 系数运算部
132 系数保持部
133 色调映射部
134 系数合成部
135 图形检测部
141 最大亮度设定部
142 亮度变换部
143 色调映射信息保持部。

Claims (6)

1.一种影像显示系统，其特征在于，
具备：
色调映射处理部，进行色调映射处理，该色调映射处理使用与影像的最大亮度对应的变换曲线对上述影像的亮度进行变换；以及
显示部，显示上述色调映射处理后的影像；
上述色调映射处理部对是进行第1色调映射处理还是进行第2色调映射处理进行切换，该第1色调映射处理根据上述影像的最大亮度的时间序列的变化，按时间序列变更上述变换曲线，该第2色调映射处理与上述影像的最大亮度的时间序列的变化无关地使用一定的变换曲线；
上述影像显示系统还具备通过对主影像合成图形而生成上述影像的合成部；
上述色调映射处理部在上述主影像中没有合成上述图形的情况下对画面内的全部像素进行上述第1色调映射处理，在上述主影像中合成有上述图形的情况下对上述画面内的上述全部像素进行上述第2色调映射处理；
上述合成部生成表示是否对上述主影像合成了上述图形的第1标志；
上述色调映射处理部根据上述第1标志，决定是进行上述第1色调映射处理还是进行上述第2色调映射处理。
2.如权利要求1所述的影像显示系统，其特征在于，
上述图形包括字幕及菜单；
上述第1标志包括表示在上述主影像中是否合成了上述字幕的第2标志、和表示在上述主影像中是否合成了上述菜单的第3标志。
3.如权利要求1或2所述的影像显示系统，其特征在于，
上述色调映射处理部在从上述第1色调映射处理切换为上述第2色调映射处理的情况下，在上述第2色调映射处理中，继续使用之前的最近的变换曲线。
4.如权利要求1所述的影像显示系统，其特征在于，
上述色调映射处理部在上述第2色调映射处理中，
对于边界亮度以上的亮度，根据上述影像的最大亮度的时间序列的变化，按时间序列变更上述变换曲线；
对于不到上述边界亮度的亮度，与上述影像的最大亮度的时间序列的变化无关地，使用一定的变换曲线。
5.如权利要求4所述的影像显示系统，其特征在于，
上述色调映射处理部根据上述图形的亮度设定上述边界亮度。
6.一种影像显示方法，是影像显示系统中的影像显示方法，其特征在于，
包括：
色调映射处理步骤，进行色调映射处理，该色调映射处理使用与影像的最大亮度对应的变换曲线对上述影像的亮度进行变换；以及
显示步骤，显示上述色调映射处理后的影像；
上述色调映射处理步骤中，对是进行第1色调映射处理还是进行第2色调映射处理进行切换，该第1色调映射处理根据上述影像的最大亮度的时间序列的变化，按时间序列变更上述变换曲线，该第2色调映射处理与上述影像的最大亮度的时间序列的变化无关地使用一定的变换曲线；
上述影像显示方法还包括通过对主影像合成图形而生成上述影像的合成步骤；
上述色调映射处理步骤中，在上述主影像中没有合成上述图形的情况下对画面内的全部像素进行上述第1色调映射处理，在上述主影像中合成有上述图形的情况下对上述画面内的上述全部像素进行上述第2色调映射处理；
上述合成步骤中，生成表示是否对上述主影像合成了上述图形的第1标志；
上述色调映射处理步骤中，根据上述第1标志，决定是进行上述第1色调映射处理还是进行上述第2色调映射处理。
CN201880003484.1A 2017-06-21 2018-02-26 影像显示系统及影像显示方法 Active CN109691119B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762523069P 2017-06-21 2017-06-21
US62/523,069 2017-06-21
PCT/JP2018/006856 WO2018235337A1 (ja) 2017-06-21 2018-02-26 映像表示システム及び映像表示方法

Publications (2)

Publication Number Publication Date
CN109691119A CN109691119A (zh) 2019-04-26
CN109691119B true CN109691119B (zh) 2022-04-19

Family

ID=64736901

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880003480.3A Active CN109691116B (zh) 2017-06-21 2018-02-26 影像显示装置及影像显示方法
CN201880003484.1A Active CN109691119B (zh) 2017-06-21 2018-02-26 影像显示系统及影像显示方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880003480.3A Active CN109691116B (zh) 2017-06-21 2018-02-26 影像显示装置及影像显示方法

Country Status (5)

Country Link
US (2) US11032448B2 (zh)
EP (2) EP3644618B1 (zh)
JP (2) JP7117626B2 (zh)
CN (2) CN109691116B (zh)
WO (2) WO2018235338A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7117626B2 (ja) * 2017-06-21 2022-08-15 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
US10939158B2 (en) * 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
EP3654657B1 (en) 2017-07-14 2021-11-24 Panasonic Intellectual Property Management Co., Ltd. Video display device and video display method
JP7108880B2 (ja) * 2017-10-06 2022-07-29 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
CN111345034B (zh) * 2017-10-31 2022-08-26 索尼公司 再现设备、再现方法、程序及记录介质
KR102523672B1 (ko) 2017-11-14 2023-04-20 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
KR102664723B1 (ko) * 2019-11-01 2024-05-09 삼성전자주식회사 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치
CN113596428B (zh) * 2020-04-30 2022-12-06 华为技术有限公司 映射曲线参数的获取方法和装置
EP4443861A1 (en) * 2021-11-29 2024-10-09 Panasonic Intellectual Property Management Co., Ltd. Video processing method, video processing device, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364820A (zh) * 2012-10-08 2015-02-18 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
CN106464892A (zh) * 2014-05-28 2017-02-22 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358351B2 (en) * 2009-06-05 2013-01-22 Apple Inc. Automatic tone mapping for cameras
WO2011031331A1 (en) * 2009-09-14 2011-03-17 Thomson Licensing Interactive tone mapping for high dynamic range video
EP3467816A1 (en) 2010-02-24 2019-04-10 Dolby Laboratories Licensing Corp. Display management methods and apparatus
EP2745290A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
CN105009567B (zh) 2013-02-21 2018-06-08 杜比实验室特许公司 用于合成叠加图形的外观映射的系统和方法
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
CN110867198B (zh) * 2013-06-20 2022-02-25 索尼公司 显示装置
JP2015008360A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
KR102198673B1 (ko) * 2013-08-20 2021-01-05 소니 주식회사 재생 장치, 재생 방법 및 기록 매체
US9230338B2 (en) 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9584786B2 (en) 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
CN110708439A (zh) 2014-06-26 2020-01-17 松下知识产权经营株式会社 显示装置及数据输出方法
WO2016027423A1 (ja) 2014-08-19 2016-02-25 パナソニックＩｐマネジメント株式会社 伝送方法、再生方法及び再生装置
KR102190233B1 (ko) 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
JP2016081553A (ja) 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
WO2016074999A1 (en) 2014-11-10 2016-05-19 Koninklijke Philips N.V. Method for encoding, video processor, method for decoding, video decoder
JP2016100039A (ja) 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
US9984446B2 (en) 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
KR102488954B1 (ko) 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
EP3465673B1 (en) 2016-05-27 2020-07-29 Dolby Laboratories Licensing Corporation Transitioning between video priority and graphics priority
JP7117626B2 (ja) * 2017-06-21 2022-08-15 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
US10939158B2 (en) 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
US11049225B2 (en) 2017-07-07 2021-06-29 Panasonic Intellectual Property Management Co., Ltd. Video processing system and video processing method
US10735688B2 (en) 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
US10504263B2 (en) 2017-08-01 2019-12-10 Samsung Electronics Co., Ltd. Adaptive high dynamic range (HDR) tone mapping with overlay indication
EP3684061B1 (en) 2017-09-13 2021-07-07 Panasonic Intellectual Property Management Co., Ltd. Video display device and video display method
JP7108880B2 (ja) 2017-10-06 2022-07-29 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364820A (zh) * 2012-10-08 2015-02-18 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
CN106464892A (zh) * 2014-05-28 2017-02-22 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Analysis of tone mapping operators on high dynamic range images";S. Venkata Lakshmi等;《2012 Proceedings of IEEE Southeastcon》;20120510;全文 *
"高动态范围图像的色调映射算法研究";张硕;《中国优秀硕士学位论文全文数据库》;20100215;全文 *

Also Published As

Publication number Publication date
EP3644617A4 (en) 2020-06-03
US20190222721A1 (en) 2019-07-18
CN109691119A (zh) 2019-04-26
JP7117627B2 (ja) 2022-08-15
JPWO2018235338A1 (ja) 2020-04-23
JP7117626B2 (ja) 2022-08-15
US11153466B2 (en) 2021-10-19
CN109691116B (zh) 2022-04-19
EP3644618B1 (en) 2024-10-09
JPWO2018235337A1 (ja) 2020-04-23
EP3644617A1 (en) 2020-04-29
EP3644617B1 (en) 2024-10-09
US20190222818A1 (en) 2019-07-18
US11032448B2 (en) 2021-06-08
CN109691116A (zh) 2019-04-26
EP3644618A4 (en) 2020-05-27
EP3644618A1 (en) 2020-04-29
WO2018235338A1 (ja) 2018-12-27
WO2018235337A1 (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
CN109691119B (zh) 影像显示系统及影像显示方法
CN109891902B (zh) 影像显示系统及影像显示方法
CN109691114B (zh) 影像显示装置及影像显示方法
CN109691118B (zh) 影像显示系统及影像显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant