CN113424548A - 播放高动态范围视频的电子装置及其方法 - Google Patents

播放高动态范围视频的电子装置及其方法 Download PDF

Info

Publication number
CN113424548A
CN113424548A CN202080011949.5A CN202080011949A CN113424548A CN 113424548 A CN113424548 A CN 113424548A CN 202080011949 A CN202080011949 A CN 202080011949A CN 113424548 A CN113424548 A CN 113424548A
Authority
CN
China
Prior art keywords
electronic device
video
external electronic
hdr
hdr video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080011949.5A
Other languages
English (en)
Inventor
柳珍奉
金民起
金智民
金炯奭
李贤泽
廉东铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113424548A publication Critical patent/CN113424548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/642—Multi-standard receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种电子装置。该电子装置包括：被配置为与外部电子装置通信的通信电路；与通信电路可操作地连接的处理器；以及与处理器可操作地连接的存储器，存储器可以存储指令，该指令在被执行时使处理器控制电子装置：获取与外部电子装置的视频播放环境相关的环境信息；对高动态范围(HDR)视频进行解码；基于环境信息，对解码后的HDR视频执行颜色转换；将颜色转换后的视频编码为标准动态范围(SDR)格式；以及经由通信电路向外部电子装置发送编码后的视频。

Description

播放高动态范围视频的电子装置及其方法
技术领域
本公开涉及使电子装置利用外部电子装置播放高动态范围(HDR)视频的技术。
背景技术
各种类型的显示装置已被开发并投放市场。特别是，已经开发了实现与用户眼睛观看风景具有相同的高色彩表示覆盖范围的技术。
作为其一种方法，已经开发了一种用于生成HDR视频并显示该HDR视频的显示装置。HDR是一种显示视频的技术，其阴影的分类更详细，类似于用人的眼睛识别目标。不使用HDR的技术可以被称为标准动态范围(SDR)。
此外，随着通信技术的发展，为了在大屏幕上输出视频，使用外部电子装置输出存储在电子装置中的视频或从外部服务器等接收到的视频的技术已经广泛使用。UHD联盟是将优质4K HDR视频的亮度标准定义为1000NIT或更高的国际联盟，但是有多个显示器，每个显示器的亮度范围约为100NIT，用于输出SDR视频。此外，HDR视频有多种格式，而电子装置经常仅支持几种格式中的一些。
发明内容
技术问题
当以SDR格式传输HDR视频时，根据现有技术的电子装置可能对识别屏幕的用户造成差异感。
问题的解决方案
本公开的实施例至少解决上述问题和/或缺点并且至少提供下述优点。因此，本公开的一个示例方面提供了一种用于提供HDR视频的方法及其电子装置，尽管以SDR格式传输HDR视频，但是该方法最小化和/或减少了识别屏幕的用户的差异感。
本公开的另一示例方面提供了一种利用支持不同HDR格式的外部电子装置提供HDR视频的方法及其电子装置。
根据本公开的一个示例方面，提供了一种电子装置。该电子装置可以包括：被配置为与外部电子装置通信的通信电路、与通信电路可操作地连接的处理器以及与处理器可操作地连接的存储器。存储器可以存储指令，该指令在被执行时使处理器控制电子装置：获取与外部电子装置的视频播放环境相关的环境信息；对高动态范围(HDR)视频进行解码；基于环境信息，对解码后的HDR视频执行颜色转换；将颜色转换后的视频编码为标准动态范围(SDR)格式；以及经由通信电路向外部电子装置发送编码后的视频。
根据本公开的另一示例方面，提供了一种电子装置。该电子装置可以包括：被配置为与外部电子装置通信的通信电路、与通信电路可操作地连接的处理器以及与处理器可操作地连接的存储器。存储器可以存储指令，该指令在被执行时使处理器控制电子装置：获取与外部电子装置的HDR视频播放环境相关的环境信息；基于环境信息，经由通信电路从HDR视频提供装置请求HDR视频；从HDR视频提供装置接收HDR视频；对接收到的HDR视频进行重新打包；以及经由通信电路向外部电子装置发送重新打包的HDR视频。
根据本公开的另一示例方面，提供了一种方法。该方法可以包括：获取与外部电子装置的视频播放环境相关的环境信息；对HDR视频进行解码；基于环境信息，对解码后的HDR视频进行颜色转换；将颜色转换后的视频编码为SDR格式；以及向外部电子装置发送编码后的视频。
根据本公开的另一示例方面，提供了一种方法。该方法可以包括：获取与外部电子装置的HDR视频播放环境相关的环境信息；基于环境信息从HDR视频提供装置接收HDR视频；对接收到的HDR视频进行重新打包；以及向外部电子装置发送重新打包的HDR视频。
根据本公开的另一示例方面，提供了一种非暂时性计算机可读存储介质。非暂时性计算机可读存储介质可以存储用于使电子装置执行本公开中公开的方法的计算机程序。
技术效果
根据本公开中公开的实施例，用于提供HDR视频的方法和电子装置可以在以SDR格式传输HDR视频的情况下，最小化和/或减少识别屏幕的用户的差异感。
此外，根据本公开中公开的实施例，电子装置可以利用支持与电子装置不同的HDR格式的外部电子装置来提供HDR视频。
此外，可以提供通过本公开直接或间接确定的各种效果。
附图说明
本公开的某些实施例的上述和其他方面、特征和优点将从以下结合附图的详细描述中变得更加明显，其中：
图1是示出根据实施例的用于播放视频的示例系统的示图；
图2是示出根据实施例的电子装置的示例结构的框图；
图3是示出根据实施例的播放HDR视频的示例过程的流程图；
图4是示出根据实施例的在源装置与宿装置之间建立连接的示例过程的信号序列图；
图5是示出根据实施例的用于生成和表示HDR视频的示例结构的示图；
图6是示出根据实施例的执行颜色转换的示例过程的流程图；
图7是示出根据另一实施例的播放HDR视频的示例过程的流程图；
图8是示出根据实施例的用于确定所提供的HDR图像的格式的示例方法的示图；
图9是示出根据实施例的根据外部电子装置的发送包括视频可用性信息(VUI)和补充增强信息(SEI)的比特流的示例过程的流程图；
图10是图示根据实施例的包括在比特流中的VUI和SEI的示例的示图；
图11是示出根据实施例的根据用户输入执行色调映射的示例过程的信号序列图；
图12是示出根据各种实施例的网络环境中的示例电子装置的框图；以及
图13是示出根据各种实施例的示例程序的框图。
具体实施方式
在下文中，可以参考附图描述本公开的各种示例实施例。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种示例实施例进行各种修改、等效和/或替代。
图1是示出根据实施例的用于播放视频的示例系统的示图。
根据实施例的电子装置10可以播放HDR视频(或HDR内容)11。播放视频可以包括，例如，在显示装置(例如，液晶显示器(LCD)、触摸屏、有机发光二极管(OLED)面板、等离子显示面板(PDP)等)上输出连续图像的操作。在此，不限制显示装置的类型。
电子装置10可以是能够以有线和/或无线方式与另一装置通信的装置。例如但不限于，电子装置10可以包括机顶盒、家庭自动控制面板、安全控制面板、媒体盒、游戏机、音频、电子书阅读器、服务器、工作站、个人多媒体播放器(PMP)、MPEG音频层3(MP3)播放器、可穿戴装置、智能手机、个人数字助理(PDA)终端、诸如膝上型计算机或平板个人计算机(PC)的计算装置等。在本文中，电子装置不限于此。
电子装置10可以播放存储在电子装置10中提供的存储器(例如，图2的存储器130)中的HDR视频11，或者可以从HDR视频提供装置20接收和播放HDR视频11。在本公开中，HDR视频可以指例如基于HDR技术配置的视频(例如，静止图像或运动图像)。
这里，HDR技术可以包括例如用于视频的技术，视频的阴影被更详细地分类，类似于用人的眼睛识别目标。例如，HDR可以区分高达1000尼特的亮度来详细表示阴影，因此，与在标准动态范围内实现的视频相比，暗部具有不会更饱和的灰度，亮部具有不会被更加剪裁(clip)的灰度。SDR可以指例如在不应用HDR技术的情况下在标准动态范围内表示视频的方式。SDR视频可以指例如基于SDR生成的视频。
电子装置10可以利用外部电子装置30播放与HDR视频11对应的视频12。当流式传输HDR视频11时，电子装置10可以将基于与HDR视频11相对应的输出设置值转换的SDR视频或HDR视频(例如，视频12)发送到外部电子装置30。
外部电子装置30输出的视频12可以具有与HDR图像11相同或相似的内容。电子装置10可以通过诸如高清多媒体接口(HDMI)的有线通信电缆向外部电子装置30发送用于表示HDR图像11的数据。电子装置10可以通过无线通信向外部电子装置30发送用于表示HDR视频11的比特流。无线通信可以指例如但不限于短距离无线通信(例如，无线保真(Wi-Fi)模式、Zigbee模式、近场通信(NFC)模式或蓝牙模式)或移动通信模式(例如，第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、第五代(5G)等)。在本文中，上述无线通信方式仅为示例性的，并且实施例不限于此。
外部电子装置30可以包括例如但不限于电视机、监视器、平板个人计算机(PC)、智能手机、膝上型计算机、PC、便携式多媒体播放器(PMP)、数码相框、数字标牌、带有显示器的装置，例如，公用电话亭或导航终端等。在本文中，外部电子装置不限于此。
根据通信环境或连接方案，电子装置10与外部电子装置30之间的连接可以不支持具有HDR格式的图像的传输并且可以仅支持具有SDR格式的图像的传输。在这种情况下，在将HDR视频11转码为SDR视频的过程中，电子装置10可以将HDR图像11转换为SDR格式并且可以向外部电子装置30发送被转换为SDR格式的视频。
当将HDR视频11转换为SDR格式时，电子装置10可以基于与SDR视频相对应的输出设置值来执行转换过程。例如，当流式传输HDR视频时，电子装置10可以基于例如但不限于外部电子装置30的最大发光亮度(luminance)(或发光亮度范围)、伽玛曲线、色域、颜色空间等中的至少一个，生成转换为SDR格式的视频。
已经开发了用于HDR的各种格式。例如，存在诸如杜比视界(DolbyVision)、HDR10、HDR10+和Hybrid log-gamma(HLG)的格式。但是，所有装置可能无法支持所有各种HDR格式。根据装置规格，可能存在支持的HDR格式和不支持的HDR格式。当外部电子装置30不支持流式传输到电子装置10的HDR视频11的格式或存储在电子装置10中的HDR视频11的格式时，尽管电子装置10与外部电子装置30之间的通信连接支持传输HDR格式的视频，外部电子装置30可能通常无法输出视频12。
因此，电子装置10可以从HDR视频提供装置20请求外部电子装置30支持的格式的HDR图像或者可以将HDR视频12转换为外部电子装置30支持的格式。也即是，电子装置10可以使用外部电子装置30支持的格式将HDR图像发送到外部电子装置30。
根据实施例，外部电子装置30可以输出具有与HDR图像11的图像质量相同或相似级别的视频12，而无需针对接收到的数据的附加任务。
图2是示出根据实施例的电子装置10的示例结构的框图。根据图2，电子装置10可以包括处理器(例如，包括处理电路)110、通信电路120和存储器130。
存储器130可以存储指令，该指令在被执行时使处理器110执行由电子装置10执行的操作。处理器110可以执行指令以控制电子装置10的组件，或者可以处理数据以便执行由电子装置10执行的操作。
通信电路120可以在处理器110的控制下发送和/或接收视频。例如，通信电路120可以接收HDR视频或者可以发送HDR视频或SDR视频。
在本文中，通信电路120可以从外部电子装置200接收关于外部电子装置200(例如，图1的外部电子装置30)的环境信息。环境信息可以指例如与外部电子装置200播放视频(例如，图1的视频12)的视频播放环境相关的信息。例如但不限于，环境信息可以包括外部电子装置200的颜色空间信息和关于外部电子装置200的最大发光亮度的信息等。颜色空间信息可以包括色域信息和伽玛信息。又例如，环境信息可以包括关于外部电子装置200可支持的HDR视频的格式的信息。
根据实施例，当将HDR图像转换SDR图像并发送该SDR图像时，因为HDR图像能够具有高发光亮度值，所以外部电子装置200可能无法适当地表示包括在HDR图像中的像素。例如，当HDR图像中包含的最大屏幕亮度值为1000尼特并且外部电子装置200的最大发光亮度为100尼特时，可能会出现外部电子装置200无法表现比100尼特更大的像素的问题。因此，处理器110可以转换HDR视频，使得包括在HDR视频中的视频的最大发光亮度变为100尼特或更小。
然而，当包括在HDR视频中的图像的发光亮度在外部电子装置200的最大发光亮度范围内被简单地线性映射时，可能无法正常执行HDR视频的表示。例如，表示HDR视频的暗区的部分可能在用户难以区分和识别的状态下被输出。因此，通信电路120可以从外部电子装置200接收包括外部电子装置200的颜色空间信息的环境信息，并且处理器110可以基于所接收到的环境信息中包括的颜色空间信息对HDR视频执行颜色转换。例如，颜色转换可以被称为颜色空间转换。
此外，根据另一实施例，通信电路120可以接收环境信息，该环境信息还包括关于外部电子装置200可支持的HDR视频的格式的信息。处理器110可以基于接收到的环境信息经由通信电路120，从HDR视频提供装置(例如，图1的HDR视频提供装置)请求配置有外部电子装置200可支持格式的HDR视频。
处理器110可以包括各种处理电路并且以通信电路120可以将HDR视频发送到外部电子装置200的形式重新打包HDR视频，并且可以经由通信电路120将重新打包的HDR视频发送到外部电子装置200。
图3是示出根据实施例的播放HDR视频的示例过程的流程图300。
图1的电子装置10可以执行获取关于图1的外部电子装置30的环境信息的操作310。根据实施例，电子装置10可以执行能力协商过程以执行与外部电子装置30的通信连接，并且可以在执行能力协商过程的过程中从外部电子装置30接收环境信息。
根据另一实施例，当电子装置10想要在外部电子装置30上播放HDR视频时，它可以向外部电子装置30发送对环境信息的请求。电子装置10可以接收环境信息作为对来自外部电子装置30的请求的响应。
根据另一实施例，电子装置10可以识别能够识别外部电子装置30的标识信息，并且可以使用标识信息搜索关于外部电子装置30的环境信息。这里，标识信息可以指例如根据外部电子装置30的特征分类的能够识别外部电子装置30的类型的信息。例如，标识信息可以包括用于外部电子装置30的型号名称。电子装置10可以将包括标识信息的至少一部分的查询发送到外部服务器以搜索环境信息。电子装置10可以使用标识信息的至少一部分从存储在电子装置10的存储器(例如，图2的存储器130)中的表中搜索环境信息。
此外，电子装置10可以执行对以编码状态接收的HDR视频进行解码的操作320。此外，电子装置10可以执行转码以将经解码的HDR视频编码成能够被发送到外部电子装置10的形式。这里，当对经解码的HDR视频进行编码并发送而没有改变时，在外部电子装置30的播放环境不适合播放HDR视频的情况下，可能会出现HDR视频中包含的图像质量的大幅劣化等。因此，电子装置10可以在对HDR视频进行转码的过程中，基于关于外部电子装置30的环境信息来校正HDR视频。
根据实施例，为了基于环境信息校正HDR视频，电子装置10可以对经解码的HDR视频执行颜色转换操作330。颜色转换操作330可以包括例如执行颜色空间转换(CSC)的过程。在根据实施例的颜色转换过程中，电子装置10可以根据外部电子装置300的环境信息来执行包括在HDR视频中的视频的色调映射。为了执行色调映射，电子装置10可以基于环境信息确定在色调映射过程中使用的色调映射系数。
电子装置10与外部电子装置30之间的通信连接可以在不支持HDR视频的传输的情况下发送SDR视频。由于外部电子装置30的播放环境，可能无法播放HDR视频，而只能播放SDR视频。为了使用SDR格式向外部电子装置30发送视频，电子装置10可以执行将完成颜色转换的HDR视频编码为SDR格式的操作340。在操作350中，电子装置10可以将包括被编码为SDR格式的图像的比特流发送到外部电子装置30。
图4是示出根据实施例的在源装置401与宿装置402之间建立连接的示例过程的信号序列图400。
根据实施例，为了在源装置401(例如，图1的电子装置10)与宿装置402(例如，图1的外部电子装置30)之间建立通信连接，源装置401可以处理与宿装置402的能力协商过程。
源装置401和宿装置402可以执行用于发现装置的装置发现操作410。当宿装置402被发现时，源装置401可以执行在源装置401与宿装置402之间建立连接的操作420。例如但不限于，源装置401可以与宿装置402建立Wi-Fi直接连接或可选的隧道直接链路建立(TDLS)连接。
当在源装置401与宿装置402之间建立连接时，源装置401可以与宿装置402执行能力协商过程(例如，图4的430、440、450、460和470)。根据实施例，源装置401可以执行与宿装置402交换协议(例如，实时流协议(RTSP))选项的操作430。源装置401可以向宿装置402发送用于协议的GET_PARAMETER请求440。此外，源装置401可以接收对GET_PARAMETER请求440的响应450并且可以向宿装置402发送SET_PARAMETER请求460以接收对SET_PARAMETER请求460的响应470。
源装置401可以使用在与宿装置402执行能力协商过程的过程中发送和接收的请求和响应，从宿装置402获得与播放宿装置402的视频相关的环境信息。
根据实施例，在源装置401与宿装置402之间的能力协商过程完成之后，当从宿装置402接收到流建立请求和播放请求480时，源装置401可以在操作490中将视频流式传输到宿装置402。图4是对实施例的说明，并且可以改变源装置401发起流式传输的过程。例如，源装置401可以独立于宿装置402的请求而发起流式传输。
图5是示出根据实施例的用于生成和表示HDR视频的示例结构的示图。
用于生成HDR视频的装置可以控制用于将HDR视频生成为HDR视频的视频(附图标记510)。根据图5所示的示例，HDR控制的视频在代码值与发光亮度值之间可以具有线性关系511。在一些情况下，可以基于非线性关系来执行HDR控制操作。用于生成HDR视频的装置可以是图1的HDR视频提供装置20或单独的装置。例如，可以生成最大发光亮度级别为1000尼特的10比特的HDR视频。
以线性方式表示的HDR视频可以通过使用OETF 521的光电传递函数(OETF)转换520转换为以非线性方式表示的非线性HDR视频。非线性HDR视频可以基于流式传输HDR视频的标准，通过编码530来进行编码。例如，HDR视频可以使用伽玛代码(例如，批准的ST-2084感知量化器(PQ)、BT-2100、HLG gamma等)来流式传输视频，并且可以基于诸如HEVC或VP9的压缩编解码器进行编码以流式传输到图1的电子装置10(附图标记540)。
电子装置10可以对流式传输的HDR视频进行解码(附图标记550)。此外，在对HDR视频进行解码之后，电子装置10可以利用EOTF 561来执行电光传递函数(EOTF)转换560以线性化非线性HDR视频。
当电子装置10想要在支持能够播放HDR视频的环境的外部电子装置31(例如，具有显示器、能够在播放最大发光亮度级别为1000尼特的HDR视频时播放10比特的视频、具有1000尼特的最大发光亮度的外部电子装置)上输出HDR视频时，它可能会播放HDR视频，而无需对HDR视频进行视频优化工作。
然而，在某些情况下，当将HDR视频发送到外部电子装置32而未改变时，可能无法在外部电子装置32上播放HDR视频。例如，当应当以只能传输SDR视频格式的通信模式传输HDR视频时，由于不支持传输HDR视频的通信规范，因此无法传输HDR视频。当外部电子装置32具有与电子装置10不同的比特深度表现能力时，例如，当外部电子装置32可能只播放8比特的SDR视频时，外部电子装置可能无法正常播放接收到的HDR视频。当外部电子装置32的最大发光亮度与电子装置10的最大发光亮度级别之间存在差异时，因为电子装置10能够接收发光亮度级别高于外部电子装置32的最大发光亮度级别的HDR视频(例如，当电子装置10接收到的HDR视频中包括的最大发光亮度级别为1000尼特并且当外部电子装置32的显示器的最大发光亮度为600尼特时)，可能无法正常表现高于外部电子装置32的最大发光亮度的发光亮度值。尽管电子装置10和外部电子装置30的颜色表现能力彼此不同(例如，Rec.809vs.PCI-P3)，但是当外部电子装置32接收电子装置10的HDR视频而没有改变时，无法正常播放HDR视频。电子装置10可以在外部电子装置30的播放环境中执行用于优化HDR视频的HDR视频优化操作580并显示视频590。在对HDR视频执行视频优化操作580的过程中，电子装置10可以使用从外部电子装置32接收到的环境信息。根据实施例，HDR视频优化操作580可以包括基于环境信息执行颜色转换的过程。
图6是示出根据实施例的执行颜色转换的示例过程的流程图600。
根据实施例，图1的电子装置10可以执行从图1的HDR视频提供装置20接收包括HDR图像的HDR视频的操作610。根据另一实施例，电子装置10可以选择存储在电子装置10中的HDR视频。
电子装置10可以执行确定用于执行HDR图像的色调映射的色调映射系数的操作620。可以响应于环境信息来确定色调映射系数。
根据实施例，在操作620中，电子装置10可以进一步确定用于基于环境信息执行视频的颜色转换的颜色转换系数。根据实施例，电子装置10可以基于HDR图像的颜色信息和环境信息中包含的颜色信息，确定颜色转换系数。
电子装置10可执行使用色调映射系数计算HDR图像的发光亮度比值的操作630。在操作640，电子装置10可以将确定的发光亮度比值应用于HDR图像以获得包括色调映射图像的HDR视频。
图7是示出根据另一实施例的播放HDR视频的示例过程的流程图700。例如，图7示出了电子装置10能够使用HDR格式将HDR视频发送到外部电子装置30的实施例。图8是示出根据实施例的用于确定所提供的HDR图像的格式的示例方法的示图。
电子装置10可以执行从外部电子装置获得环境信息的操作710。根据实施例，环境信息可以包括关于外部电子装置支持的HDR格式的信息。电子装置10可以执行从图1的HDR视频提供装置20请求HDR视频的操作720。
根据实施例，在操作720中，电子装置10可以基于环境信息向HDR视频提供装置20请求HDR视频。参考图8，通过示例的方式示出了实施例，因为HDR视频提供装置20可提供的HDR视频格式810是HDR10、HDR10+和HLG。HDR视频提供装置20可以使用包括电子装置支持的格式820当中的可提供的HDR视频格式中的格式，向电子装置10提供HDR视频。参考图8，当电子装置10向HDR视频提供装置20提供电子装置10的装置描述时，HDR视频提供装置20可以选择电子装置支持的所有格式820和可提供的HDR视频格式810中包括的HDR10和HDR10+之一。此外，可以关于HDR格式之间的兼容性来选择由HDR视频提供装置20提供的视频。例如，可以考虑在支持HDR10和不支持HDR10+的装置中选择，能够播放HDR10+格式的视频的HDR格式。HDR视频提供装置20可以向电子装置10提供配置有所选格式的HDR视频。当可选格式为多个时，HDR视频提供装置20可以按照优先级顺序选择一个。例如，装置描述还可以包括关于电子装置支持的格式820的优先级的信息。
参考图8，当HDR10+具有高优先级时，HDR视频提供装置20可以向电子装置10提供基于HDR10+格式配置的HDR视频。然而，如图8所示，当外部电子装置支持的格式830不包括HDR10和HDR10+时，虽然电子装置10向外部电子装置30发送HDR视频，但是外部电子装置30不能表现HDR视频。因此，电子装置10可以向HDR视频提供装置20提供环境信息中包括的关于外部电子装置支持的格式830的信息。例如，当向HDR视频提供装置20提供电子装置10的装置描述时，电子装置10可以将包括在装置描述中的与播放HDR视频相关的信息改变为关于外部电子装置30的信息，并且可以将改变后的信息发送到外部电子装置30。根据图8所示的示例，电子装置10可以从HDR视频提供装置20请求不被电子装置10支持而被外部电子装置30支持的HLG格式的HDR视频，并且可以从HDR视频提供装置20接收HLG格式的HDR视频。
再次参考图7，电子装置10可以执行接收HDR视频的操作730作为对操作720中的请求的响应。电子装置10可以执行重新打包接收到的HDR视频的操作740。操作740可以包括根据接收到的HDR视频的格式以及电子装置10与外部电子装置30之间的通信连接协议的要求，再次打包数据以发送HDR视频的操作。电子装置10可以控制其通信电路以执行将重新打包的HDR视频发送到外部电子装置30的操作750。
图9是示出根据实施例的根据外部电子装置30的发送包括VUI和SEI的比特流的示例过程的流程图900。图10是示出根据实施例的包括在比特流1000中的VUI和SEI的示例的示图。
根据实施例，图1的电子装置10可以执行对接收到的HDR视频进行解码的操作910。电子装置10可以执行从解码的HDR视频获得关于HDR视频的VUI和SEI中的至少一个的操作920。参考VUI和SEI中的至少一个，电子装置10可以识别HDR视频是否是根据任何规范的视频。
参考图10，根据用于传输HDR视频的HEVC规范，指示VUI 1010的语法和指示SEI1020的语法可以被包括在比特流1000中。根据图10所示的示例，VUI 1010可以由诸如color_primaries,transfer_characteristic,and Matrix_coeffs的语法元素表示，并且语法元素可以分别具有诸如9、16和9的值。此外，SEI 1020可以结合诸如mastring_display_colour_volume的消息语法元素来指示关于max_display_mastering_luminance等中的最大发光亮度级别等的信息。
例如，transfer_characteristic值对于PQ格式可以具有16的值并且对于HLG格式可以具有18的值。
当电子装置10向外部电子装置30发送包括与外部电子装置30不支持的HDR规范的值相对应的VUI和SEI的比特流时，外部电子装置30可以确定接收到的比特流被配置有外部电子装置30不支持的格式并且可能输出错误消息而不是播放HDR视频。因此，再次参考图9，电子装置10可以基于从外部电子装置30接收到的环境信息，执行生成与外部电子装置30可支持的视频相对应的VUI和SEI中的至少一个的操作930。电子装置10可以控制其通信电路以执行将具有生成的VUI和SEI中的至少一个的比特流发送到外部电子装置30的操作940。
图11是示出根据实施例的根据用户输入执行色调映射的示例过程的信号序列图。
根据实施例，源装置401可以执行与宿装置402建立连接的操作1110。源装置401可以执行获得包括要流式传输到宿装置402的色调映射图像的视频的操作1120。
当源装置401在操作1130中将获得的视频流式传输到宿装置402时，在操作1140中，宿装置402可以播放流式传输的视频。
根据实施例，在宿装置402在操作1140中播放视频的状态下，在操作1150中，源装置401可以接收对播放的视频的用户输入。源装置401可以显示用于接收用户输入的用户界面。例如，源装置401可以在源装置401中提供的显示器或在宿装置402中提供的显示器上输出用于调整或选择色调映射系数的视觉图像对象。源装置401可以通过在源装置401中提供的输入装置(例如，触摸屏显示器、物理按钮等)接收用户输入。
根据另一实施例，不同于操作1150，宿装置402可以接收用户输入并且可以将接收到的用户输入发送到源装置401。
源装置401可以根据用户输入执行确定色调映射系数的操作1160。在操作1170中，源装置401可以基于响应于用户输入确定的色调映射系数来执行色调映射。在操作1180，源装置401可以基于改变的色调映射系数将包括色调映射图像的视频流式传输到宿装置402。宿装置402可以响应于用户输入执行播放包括色调映射图像的视频的操作1190。
图12是示出根据各种实施例的网络环境1200中的示例电子装置1201(例如，图1的电子装置10)的框图。参考图12，电子装置1201(例如，图1的电子装置10)可经由网络环境1200中的第一网络1298(例如，短距离无线通信网络)与电子装置1202(例如，图1的外部电子装置30)进行通信，或者可经由第二网络1299(例如，长距离无线通信网络)与电子装置1204或服务器1208(例如，图1的HDR视频提供装置20)进行通信。根据实施例，电子装置1201可以通过服务器1208与电子装置1204通信。根据实施例，电子装置1201可以包括处理器1220、存储器1230、输入装置1250、声音输出装置1255、显示装置1260、音频模块1270、传感器模块1276、接口1277、触觉模块1279、相机模块1280、电力管理模块1288、电池1289、通信模块1290、用户识别模块1296或天线模块1297。根据一些实施例，可以省略电子装置1201的组件中的至少一个(例如，显示装置1260或相机模块1280)或者可以添加一个或多个其他组件到电子装置1201。根据一些实施例，上述组件中的一些可以用一个集成电路来实现。例如，传感器模块1276(例如，指纹传感器、虹膜传感器或照度传感器)可以嵌入在显示装置1260(例如，显示器)中。
处理器1220可运行例如软件(例如，程序1240)来控制电子装置1201的与处理器1220连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据实施例，作为所述数据处理或操作的部分，处理器1220可将从另一部件(例如，传感器模块1276或通信模块1290)接收到的命令或数据加载到易失性存储器1232中，对加载到易失性存储器1232中的命令或数据进行处理，并将结果数据存储在非易失性存储器1234中。根据实施例，处理器1220可包括主处理器1221(例如，中央处理单元或应用处理器)以及与主处理器1221在操作上独立的或者相结合的辅助处理器1223(例如，图形处理单元、图像信号处理器、传感器中枢处理器或通信处理器)。另外地或者可选择地，辅助处理器1223可比主处理器1221耗电更少，或者具体用于指定的功能。可将辅助处理器1223实现为与主处理器1221分离，或者实现为主处理器1221的部分。
在主处理器1221处于未激活(例如，睡眠)状态时，辅助处理器1223代替主处理器1221可控制例如与电子装置1201的部件之中的至少一个部件(例如，显示装置1260、传感器模块1276或通信模块1290)相关的功能或状态中的至少一些，或者在主处理器1221处于激活状态(例如，应用运行)时，辅助处理器1223可与主处理器1221一起来控制与电子装置1201的部件之中的至少一个部件(例如，显示装置1260、传感器模块1276或通信模块1290)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器1223(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器1223相关的另一部件(例如，相机模块1280或通信模块1290)的部分。
存储器1230可存储由电子装置1201的至少一个部件(例如，处理器1220或传感器模块1276)使用的各种数据。例如，数据可包括软件(例如，程序1240)以及针对与软件相关的命令的输入数据或输出数据。存储器1230可包括易失性存储器1232或非易失性存储器1234。
可将程序1240作为软件存储在存储器1230中，并且程序1240可包括例如操作系统(OS)1242、中间件1244或应用1246。
输入装置1250可从电子装置1201的外部(例如，用户)接收将由电子装置1201的部件(例如，处理器1220)使用的命令或数据。输入装置1250可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置1255可将声音信号输出到电子装置1201的外部。声音输出装置1255可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，接收器和扬声器可以一体地或分开地实现。
显示装置1260可向电子装置1201的外部(例如，用户)视觉地提供信息。显示装置1260可包括例如显示器、全息装置或投影仪以及用于控制相应装置的控制电路。根据实施例，显示装置1260可包括被配置为感测触摸的触摸电路或用于测量由触摸压力强度的传感器电路(例如，压力传感器)。
音频模块1270可双向转换声音和电信号。根据实施例，音频模块1270可通过输入装置1250获得声音，或者通过声音输出装置1255或与电子装置1201直接或无线连接的外部电子装置((例如，电子装置1202)(例如，扬声器或耳机))输出声音。
传感器模块1276可以产生对应于电子装置1201内部的操作状态(例如，功率或温度)或外部的环境状态(例如，用户状态)的电信号或数据值。根据实施例，传感器模块1276可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口1277可支持将使电子装置1201与外部电子装置(例如，电子装置1202)直接或无线连接的一个或更多个特定协议。根据实施例，接口1277可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端1278可以包括将电子装置1201物理连接到外部电子装置(例如，电子装置1202)的连接器。根据实施例，连接端1278可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块1279可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块1279可包括例如电机、压电元件或电刺激器。
相机模块1280可捕获静止图像或运动图像。根据实施例，相机模块1280可包括例如至少一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块1288可管理对电子装置1201的供电。根据实施例，可将电力管理模块1288实现为例如电力管理集成电路(PMIC)的至少部分。
电池1289可对电子装置1201的至少一个组件供电。根据实施例，电池1289可包括例如不可再充电的电池(原电池)、可再充电的电池(蓄电池)、或燃料电池。
通信模块1290可支持在电子装置1201与外部电子装置(例如，电子装置1202、电子装置1204或服务器1208)之间建立直接(例如，有线)或无线通信信道，并经由建立的通信信道执行通信。通信模块1290可包括与处理器1220(例如，应用处理器)独立操作并支持直接(例如，有线)通信或无线通信的至少一个通信处理器。根据实施例，通信模块1290可包括无线通信模块1292(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块1294(例如，局域网(LAN)通信模块或电力线通信模块)。上述通信模块中的相应通信模块可经由第一网络1298(例如，短距离通信网络，诸如蓝牙、Wi-Fi直连或红外数据协会(IrDA))或第二网络1299(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或WAN))与外部电子装置进行通信。可将上述各种通信模块实现为一个组件(例如，单个芯片)，或分别实现为分开的组件(例如，芯片)。无线通信模块1292可使用存储在用户识别模块1296中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络1298或第二网络1299)中的电子装置1201。
天线模块1297可将信号或电力发送到外部(例如，外部电子装置)或者从外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块1297可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块1297可包括多个天线。在这种情况下，可由例如通信模块1290从所述多个天线中选择适合于在通信网络中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块1290与外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块1297的一部分。
组件中的至少一些可经由外设间通信方法(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接以它们之间交换信号(例如，命令或数据)。
根据实施例，可通过与第二网络1299连接的服务器1208在电子装置1201与外部电子装置1204之间发送或接收命令或数据。电子装置1202和电子装置1204中的每一个可以是与电子装置1201相同类型的装置，或者是与电子装置1201不同类型的装置。根据实施例，电子装置1201运行的全部操作或一些操作可由外部电子装置1202、外部电子装置1204或服务器1208当中的一个或更多个运行。例如，当电子装置1201应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务时，电子装置1201可请求一个或更多个外部电子装置执行与所述功能或服务相关的至少一些功能，而不是自己执行所述功能或服务，或者电子装置1201除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行与所述功能或服务相关的至少一些功能。接收到所述请求的所述一个或更多个外部电子装置可执行所请求的功能或服务中的至少部分或与所述请求相关的另外功能或服务，并将执行的结果传送到电子装置1201。电子装置1201可以提供原样或经过额外处理后的结果，作为对请求的响应的至少一部分。为此，例如，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图13是示出根据各种实施例的示例程序1240的框图1300。根据实施例，程序1240可以包括用于控制图12的电子装置1201的一个或更多个资源的操作系统(OS)、中间件1244和可由OS 1242执行的应用1246。OS 1242可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。例如，程序1240的至少一部分可以在制造电子装置1201时预加载在电子装置1201上，或者可以在用户使用电子装置1201时从外部电子装置(例如，图12的电子装置1202或1204或服务器1208)下载和更新。
OS 1242可以控制管理(例如，分配或收集)电子装置1201的一个或更多个系统资源(例如，进程、存储器或电源)。另外地或替代地，OS1242可以包括用于驱动电子装置1201的另一硬件装置(例如，图12的输入装置1250、声音输出装置1255、显示装置1260、音频模块1270、传感器模块1276、接口1277、触觉模块1279、相机模块1280、电力管理模块1288、电池1289、通信模块1290、用户识别模块1296或天线模块1297)的一个或更多个驱动程序。
中间件1244可以向应用1246提供各种功能，使得从电子装置1201的一个或更多个资源提供的功能或信息可以被应用1246使用。中间件1244可以包括例如应用管理器1301、窗口管理器1303、多媒体管理器1305、资源管理器1307、电力管理器1309、数据库管理器1311、包管理器1313、连接管理器1315、通知管理器1317、位置管理器1319、图形管理器1321、安全管理器1323、电话管理器1325或语音识别管理器1327。
应用管理器1301可以管理例如应用1246的生命周期。窗口管理器1303可以管理例如在屏幕中使用的一个或更多个图形用户界面(GUI)资源。多媒体管理器1305可以识别例如播放媒体文件所需的一种或更多种格式，并且可以使用适合于从一种或更多种格式中选择的格式的编解码器对媒体文件当中的相应媒体文件进行编码或解码。资源管理器1307可以管理例如图12的应用1246的源代码或存储器1230的空间。电力管理器1309可以管理例如电池1289的容量、温度或功率，并且可以使用电池1289的容量、温度或功率当中的相应信息来确定或提供与电子装置1201的操作相关的信息。根据实施例，电力管理器1309可以与电子装置1201的基本输入/输出系统(BIOS)(未示出)互通。
数据库管理器1311可以生成、搜索或修改将由应用1246使用的数据库。包管理器1313可以管理安装或更新例如以包文件的形式分发的应用。连接管理器1315可以管理例如电子装置1201与外部电子装置之间的无线连接或直接连接。通知管理器1317可以提供例如用于通知用户发生指定事件(例如，来电、消息或警报)的功能。位置管理器1319可以管理例如电子装置1201的位置信息。图形管理器1321可以管理例如要提供给用户的一种或更多种图形效果或者可以管理与图形效果相关的UI。
安全管理器1323可以提供例如系统安全或用户认证。电话管理器1325可以管理例如由电子装置1201提供的语音或视频呼叫功能。语音识别管理器1327可以将例如用户的语音数据发送到图12的服务器1208，并且可以部分地基于语音数据或部分地基于该语音数据转换的文本数据从服务器1208接收与要在电子装置1201中执行的功能相对应的命令。根据实施例，中间件1244可以动态地不包含一些现有组件或可以进一步包含新组件。根据实施例，中间件1244的至少一部分可以被包括作为OS1242的一部分或者可以被实现为独立于OS1242的软件。
应用1246可以包括例如主页应用1351、拨号器应用1353、SMS/MMS应用1355、即时消息(IM)应用1357、浏览器应用1359、相机应用1361、闹钟应用1363、联系人应用1365、语音识别应用1367、电子邮件应用1369、日历应用1371、媒体播放器应用1373、相册应用1375、手表应用1377、健康应用1379(例如，例如，用于测量诸如运动量或血糖的生物特征信息的应用)或环境信息应用1381(例如，用于测量有关大气压力、湿度或温度的信息的应用)。根据实施例，应用1246还可以包括能够支持在电子装置1201与外部电子装置之间进行信息交换的信息交换应用(未示出)。信息交换应用可以包括例如被配置为向外部电子装置发送特定信息(例如，呼叫、消息或警报)的通知中继应用或者被配置为管理外部电子装置的装置管理应用。例如，通知中继应用可以将与在电子装置1201的另一应用(例如，电子邮件应用1369)中发生的指定事件(例如，邮件接收)相对应的通知信息发送到外部电子装置。附加地或替代地，通知中继应用可以从外部电子装置接收通知信息并且可以将接收到的通知信息提供给电子装置1201的用户。
装置管理应用可以控制例如与电子装置1201通信的外部电子装置的电源(例如，电源的开启/关闭)和电子装置1201的一些组件中的每个(例如，显示装置1260或相机模块1280)的电源，或可以控制电子装置1201的一些组件中的每个(例如，显示装置1260或相机模块1280)的功能(例如，亮度、分辨率或焦距)。附加地或替代地，装置管理应用可以支持安装、删除或更新在外部电子装置中运行的应用。
根据本公开中公开的各种实施例的电子装置可以是各种类型的电子装置。电子装置可包括例如便携式通信装置(例如，智能手机)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例的电子装置不限于上述装置。
应当理解，本公开的各种实施例以及实施例中使用的术语并不旨在将本公开中公开的技术特征限制为在此公开的特定实施例；相反，本公开应当被解释为涵盖本公开的实施例的各种修改、等同物或替代。关于附图的描述，相似或相关的组件可以分配有相似的附图标记。如本文所用，除非上下文另有明确指示，否则对应于项目的名词的单数形式可包括一个或更多个项目。在本文公开的公开中，表述“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的一个或更多个”“A、B或C中的一个或更多个”等中的每一个可以包括相关的所列项目中的一个或更多个的任何和所有组合。诸如“第一”、“第二”、“所述第一”、“所述第二”的表述可以仅用于将一个组件与其他组件区分开来，并不在其他方面(例如，重要性或顺序)限制相应组件。应当理解，如果元件(例如，第一元件)在有或没有术语“可操作地”或“可通信地”的情况下被称为“与另一元件(例如，第二元件)耦接”、“耦接到另一元件(例如，第二元件)”，“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则该元件可以直接(例如，有线)、无线或经由第三元件与另一元件耦接。
本公开中使用的术语“模块”可以包括以硬件、软件或固件实现的单元，并且可以与术语“逻辑”、“逻辑块”、“部件”和“电路”互换使用。“模块”可以是集成部件的最小单元，也可以是其一部分。“模块”可以是用于执行一种或更多种功能的最小单元或其一部分。例如，根据实施例，“模块”可以包括专用集成电路(ASIC)。
本公开的各种实施例可以通过软件(例如，程序1240)来实现，该软件包括存储在机器可读存储介质(例如，内部存储器1236或外部存储器1238)中的指令，该指令可由机器(例如，电子装置1201)读取。例如，机器(例如，电子装置1201)的处理器(例如，处理器1220)可以从机器可读存储介质调用指令并执行如此调用的指令。机器可以基于所调用的至少一个指令执行至少一种功能。一个或更多个指令可以包括由编译器生成或由解释器可执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，非暂时性存储介质是有形的，但可能不包括信号(例如，电磁波)。术语“非暂时性”不区分数据永久存储在存储介质中的情况与数据暂时存储在存储介质中的情况。
根据实施例，根据本公开中公开的各种实施例的方法可以作为计算机程序产品的一部分提供。计算机程序产品可以作为产品在卖方与买方之间交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发或可以通过应用商店(例如，Play StoreTM)或在两个用户装置(例如，智能手机)之间在线直接分发(例如，下载或上传)。在在线分发的情况下，计算机程序产品的至少一部分可以暂时存储或生成在机器可读存储介质中，例如，制造商的服务器、应用商店的服务器或中继服务器的存储器。
根据各种实施例，上述组件种的每个组件(例如，模块或程序)可以包括一个或多个实体。根据各种实施例，可以省略上述组件或操作中的至少一个或更多个组件，或者可以添加一个或更多个组件或操作。替代地或附加地，一些组件(例如，模块或程序)可以集成在一个组件中。在这种情况下，集成组件可以执行由每个对应组件在集成之前执行的相同或相似的功能。根据各种实施例，由模块、程序或其他组件执行的操作可以顺序地、并行地、重复地或以启发式方法执行，或者至少一些操作可以以不同的顺序执行、省略或可以添加其他操作。
虽然已经参考本公开的各种示例实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离本公开的范围的情况下可以在其中进行形式和细节的各种改变，包括所附权利要求及其等效物。

Claims (15)

1.一种电子装置，所述电子装置包括：
通信电路，所述通信电路被配置为与外部电子装置进行通信；
处理器，所述处理器与所述通信电路可操作地连接；以及
存储器，所述存储器与所述处理器可操作地连接，
其中，所述存储器被配置为存储指令，所述指令在被执行时使所述处理器控制所述电子装置：
获取与所述外部电子装置的视频播放环境相关的环境信息；
对高动态范围(HDR)视频进行解码；
基于所述环境信息，对解码后的HDR视频执行颜色转换；
将颜色转换后的视频编码为标准动态范围(SDR)格式；以及
经由所述通信电路向所述外部电子装置发送编码后的视频。
2.根据权利要求1所述的电子装置，其中，所述环境信息包括关于所述外部电子装置的颜色空间信息和关于所述外部电子装置的最大发光亮度的信息。
3.根据权利要求2所述的电子装置，其中，所述颜色空间信息包括关于所述外部电子装置的色域信息和关于所述外部电子装置的伽玛信息。
4.根据权利要求1所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置：
执行通过所述通信电路与所述外部电子装置建立连接的能力协商过程，并且
其中，所述能力协商过程包括从所述外部电子装置接收所述环境信息的过程。
5.根据权利要求1所述的电子装置，其中，所述指令包括被执行时使所述处理器控制所述电子装置以进行以下操作的指令：基于所述环境信息设置色调映射系数；以及利用所设置的色调映射系数执行所述颜色转换。
6.根据权利要求5所述的电子装置，其中，所述存储器存储有表，所述表将所述环境信息和所述色调映射系数关联起来，并且
其中，所述指令包括被执行时使所述处理器控制所述电子装置以进行以下操作的指令：基于所述环境信息，从所述表搜索所述色调映射系数。
7.根据权利要求1所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置：
在向所述外部电子装置发送视频的状态下，接收针对设置色调映射系数的输入；以及
利用基于所述输入设置的色调映射系数来执行所述颜色转换。
8.根据权利要求1所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置：
基于所述环境信息，生成视频可用性信息(VUI)和补充增强信息(SEI)中的至少一者；以及
发送具有所述VUI和所述SEI中的至少一者的比特流，所述比特流被向所述外部电子装置发送。
9.一种电子装置，所述电子装置包括：
通信电路，所述通信电路被配置为与外部电子装置通信；
处理器，所述处理器与所述通信电路可操作地连接；以及
存储器，所述存储器与所述处理器可操作地连接，
其中，所述存储器存储有指令，所述指令在被执行时使所述处理器控制所述电子装置：
获取与所述外部电子装置的高动态范围(HDR)视频播放环境相关的环境信息；
基于所述环境信息，经由所述通信电路向HDR视频提供装置请求HDR视频；
从所述HDR视频提供装置接收所述HDR视频；
对接收到的HDR视频进行重新打包；以及
经由所述通信电路向所述外部电子装置发送重新打包的HDR视频。
10.根据权利要求9所述的电子装置，其中，所述环境信息包括：关于所述外部电子装置支持的HDR规范的信息、关于所述外部电子装置的颜色空间信息、以及关于所述外部电子装置的最大发光亮度的信息。
11.根据权利要求9所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置：
基于所述环境信息，确定所述外部电子装置是否支持所述HDR视频的视频规范；
基于所述外部电子装置不支持所述HDR视频的视频规范，对所述HDR视频进行解码；
基于所述环境信息，将解码后的HDR视频重新编码成所述外部电子装置支持的视频规范；以及
向所述外部电子装置发送重新编码后的HDR视频。
12.根据权利要求9所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置：
执行通过所述通信电路与所述外部电子装置建立连接的能力协商过程，并且
其中，所述能力协商过程包括从所述外部电子装置接收所述环境信息的过程。
13.根据权利要求9所述的电子装置，其中，所述指令包括被执行时使所述处理器控制所述电子装置以进行以下操作的指令：基于所述环境信息设置色调映射系数；以及利用所述设置的色调映射系数执行所述颜色转换。
14.根据权利要求9所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置：
利用用于识别所述外部电子装置的标识信息，搜索所述环境信息。
15.一种在电子装置处利用外部电子装置播放高动态范围(HDR)视频的方法，所述方法包括：
获取与所述外部电子装置的视频播放环境相关的环境信息；
对HDR视频进行解码；
基于所述环境信息，对解码后的HDR视频进行颜色转换；
将颜色转换后的视频编码为SDR格式；以及
向所述外部电子装置发送编码后的视频。
CN202080011949.5A 2019-02-01 2020-01-31 播放高动态范围视频的电子装置及其方法 Pending CN113424548A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0013216 2019-02-01
KR1020190013216A KR20200095651A (ko) 2019-02-01 2019-02-01 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
PCT/KR2020/001540 WO2020159319A1 (en) 2019-02-01 2020-01-31 Electronic device for playing high dynamic range video and method thereof

Publications (1)

Publication Number Publication Date
CN113424548A true CN113424548A (zh) 2021-09-21

Family

ID=71836819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080011949.5A Pending CN113424548A (zh) 2019-02-01 2020-01-31 播放高动态范围视频的电子装置及其方法

Country Status (5)

Country Link
US (1) US11425456B2 (zh)
EP (1) EP3891997B1 (zh)
KR (1) KR20200095651A (zh)
CN (1) CN113424548A (zh)
WO (1) WO2020159319A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422561B (zh) * 2020-11-18 2023-04-07 三星电子（中国）研发中心 一种内容分享方法和装置方法
US11949926B2 (en) 2020-11-18 2024-04-02 Samsung Electronics Co., Ltd. Content sharing method and device
WO2022225596A1 (en) * 2021-04-23 2022-10-27 Arris Enterprises Llc Uhd hdr ip client device
US11606605B1 (en) * 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160212397A1 (en) * 2010-07-22 2016-07-21 Dolby Laboratories Licensing Corporation Systems, apparatus and methods for mapping between video ranges of image data and a display
US20180220101A1 (en) * 2017-01-27 2018-08-02 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116320394A (zh) 2014-02-25 2023-06-23 苹果公司 用于视频编码和解码的自适应传递函数
EP3157242B1 (en) * 2014-06-10 2019-07-03 Panasonic Intellectual Property Management Co., Ltd. Display system, display method, and display device
WO2016021809A1 (ko) * 2014-08-08 2016-02-11 엘지전자 주식회사 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
US11327711B2 (en) 2014-12-05 2022-05-10 Microsoft Technology Licensing, Llc External visual interactions for speech-based devices
EP3251336B1 (en) * 2015-01-30 2023-08-09 InterDigital Madison Patent Holdings, SAS Method and device for matching colors between color pictures of different dynamic range
EP3275190B1 (en) * 2015-03-25 2024-04-17 Dolby Laboratories Licensing Corporation Chroma subsampling and gamut reshaping
CN107534769B (zh) * 2015-04-17 2021-08-03 交互数字麦迪逊专利控股公司 用于高动态范围视频译码的色度增强滤波
WO2016208996A1 (ko) * 2015-06-23 2016-12-29 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6943179B2 (ja) * 2015-07-16 2021-09-29 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP2018530942A (ja) * 2015-08-24 2018-10-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ コード化および復号方法ならびに対応するデバイス
US10122928B2 (en) * 2015-09-09 2018-11-06 Red.Com, Llc Motion video output for multiple displays
US10778983B2 (en) * 2015-09-23 2020-09-15 Dolby Laboratories Licensing Corporation Preserving texture/noise consistency in video codecs
JP6519441B2 (ja) * 2015-10-22 2019-05-29 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6872098B2 (ja) * 2015-11-12 2021-05-19 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
EP3169071B1 (en) * 2015-11-16 2020-01-29 InterDigital VC Holdings, Inc. Backward-compatible encoding of a hdr picture
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
JP6710970B2 (ja) 2015-12-28 2020-06-17 ソニー株式会社 送信装置および送信方法
US10582227B2 (en) * 2016-01-15 2020-03-03 Vid Scale, Inc. Scalable coding based video distribution
US10536665B2 (en) * 2016-02-01 2020-01-14 Lg Electronics Inc. Device for transmitting broadcast signal, device for receiving broadcast signal, method for transmitting broadcast signal, and method for receiving broadcast signal
US10764615B2 (en) * 2016-02-09 2020-09-01 Sony Corporation Transmission device, transmission method, reception device and reception method
WO2017153376A1 (en) * 2016-03-07 2017-09-14 Koninklijke Philips N.V. Encoding and decoding hdr videos
KR20170106022A (ko) * 2016-03-11 2017-09-20 삼성전자주식회사 영상 신호의 처리를 위한 전자 장치
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
WO2017184784A1 (en) * 2016-04-22 2017-10-26 Dolby Laboratories Licensing Corporation Coding of hdr video signals in the ictcp color format
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
KR102488954B1 (ko) 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
US11102495B2 (en) * 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
CN113593499B (zh) * 2016-05-27 2023-12-12 杜比实验室特许公司 在视频优先级与图形优先级之间转换
US10757385B2 (en) * 2016-08-24 2020-08-25 Qualcomm Incorporated Color gamut adaptation with feedback channel
TWI631505B (zh) * 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
US10334277B2 (en) 2016-09-02 2019-06-25 Qualcomm Incorporated Signaling target display parameters of color remapping information supplemental enhancement information messages
US10462334B2 (en) * 2016-11-04 2019-10-29 Disney Enterprises, Inc. Pipeline for high dynamic range video coding based on luminance independent chromaticity preprocessing
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
US10812820B2 (en) * 2016-11-30 2020-10-20 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata
US10403214B2 (en) * 2017-05-12 2019-09-03 Apple Inc. Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content
US10306307B2 (en) * 2017-06-30 2019-05-28 Apple Inc. Automatic configuration of video output settings for video source
EP3477946A1 (en) * 2017-10-31 2019-05-01 Thomson Licensing Method and device for obtaining a second image from a first image when the dynamic range of the luminance of said first image is greater than the dynamic range of the luminance of said second image
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control
TWI650998B (zh) * 2017-12-15 2019-02-11 晨星半導體股份有限公司 應用在機上盒的格式轉換電路及相關的方法
US10600148B2 (en) * 2018-04-17 2020-03-24 Grass Valley Canada System and method for mapped splicing of a three-dimensional look-up table for image format conversion
US11115563B2 (en) * 2018-06-29 2021-09-07 Ati Technologies Ulc Method and apparatus for nonlinear interpolation color conversion using look up tables
US10672363B2 (en) * 2018-09-28 2020-06-02 Apple Inc. Color rendering for images in extended dynamic range mode
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160212397A1 (en) * 2010-07-22 2016-07-21 Dolby Laboratories Licensing Corporation Systems, apparatus and methods for mapping between video ranges of image data and a display
US20180220101A1 (en) * 2017-01-27 2018-08-02 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content

Also Published As

Publication number Publication date
EP3891997B1 (en) 2023-11-15
US20200252687A1 (en) 2020-08-06
KR20200095651A (ko) 2020-08-11
US11425456B2 (en) 2022-08-23
EP3891997A4 (en) 2022-05-18
WO2020159319A1 (en) 2020-08-06
EP3891997A1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
EP3891997B1 (en) Electronic device and method for playing high dynamic range video and method thereof
WO2022052773A1 (zh) 多窗口投屏方法及电子设备
KR102221023B1 (ko) 이미지를 처리하는 전자장치 및 방법
US10366669B2 (en) Electronic device and method for driving display thereof
US10181203B2 (en) Method for processing image data and apparatus for the same
US10237318B2 (en) Electronic device and method for encoding image data thereof
US9508383B2 (en) Method for creating a content and electronic device thereof
WO2022078295A1 (zh) 一种设备推荐方法及电子设备
KR102216881B1 (ko) 전자장치에서 마이크의 감도에 따른 자동 이득 조절 방법 및 장치
CN111788820B (zh) 自适应地控制低电力显示模式的方法及其电子装置
KR20150133037A (ko) 콘텐츠 재생 방법 및 이를 구현하는 전자 장치
CN115333941B (zh) 获取应用运行情况的方法及相关设备
US10319341B2 (en) Electronic device and method for displaying content thereof
KR20170106022A (ko) 영상 신호의 처리를 위한 전자 장치
CN113455013B (zh) 用于处理图像的电子设备及其图像处理方法
US20150365689A1 (en) Image processing apparatus and method
WO2023000745A1 (zh) 显示控制方法及相关装置
WO2022068882A1 (zh) 镜像投屏方法、装置及系统
CN116795435A (zh) 兼容性管控方法及相关设备
CN114175136A (zh) 控制亮度的电子装置及其控制亮度的方法
CN117130765B (zh) 计算资源的配置方法和电子设备
US9407938B2 (en) Method for processing image and electronic device for the method
KR20150143232A (ko) 이미지 프로세싱 장치 및 그 방법
CN117692714A (zh) 视频显示方法和电子设备
CN117914991A (zh) 遥控方法、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination