CN114641793A - 图像提供设备及其图像提供方法和显示设备及其显示方法 - Google Patents

图像提供设备及其图像提供方法和显示设备及其显示方法 Download PDF

Info

Publication number
CN114641793A
CN114641793A CN202080074016.0A CN202080074016A CN114641793A CN 114641793 A CN114641793 A CN 114641793A CN 202080074016 A CN202080074016 A CN 202080074016A CN 114641793 A CN114641793 A CN 114641793A
Authority
CN
China
Prior art keywords
dnn
information
hdr
meta
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080074016.0A
Other languages
English (en)
Inventor
朴必圭
闵正惠
崔光杓
金京儿
特佳斯·奈尔
孙有美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114641793A publication Critical patent/CN114641793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)

Abstract

公开了一种显示设备及其控制方法。所述显示设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：获得第一数字图像的编码数据和指示深度神经网络(DNN)的规格的人工智能(AI)元信息，通过对所述编码数据进行解码来获得与第一数字图像相应的第二数字图像，获得根据先前确定的电光传递函数(EOTF)从第二数字图像转换的光信号，以及通过使用光光传递函数(OOTF)和根据所述AI元信息设置的高动态范围(HDR)DNN处理所述光信号来获得显示信号。

Description

图像提供设备及其图像提供方法和显示设备及其显示方法
技术领域
本公开涉及图像处理领域，并且更具体地，涉及用于改善将被显示的图像的质量的高动态范围(HDR)。
背景技术
人类可识别的亮度范围大约是10-6尼特至108尼特，但是人类在现实生活中遇到的亮度范围远大于该可识别范围。为了使视频的真实度最大化，已经进行了用于提供大于由高清晰度电视(HDTV)支持的动态范围的高动态范围(HDR)的各种研究和相关技术标准化。
当假设最小可表示亮度为0.0而最大可表示亮度为1.0时，现有的显示装置使用8比特定点值来表达每个通道的亮度水平。在HDR中，当表示亮度水平时，可以通过使用16比特、32比特或64比特的浮点数据来精密地表达更大或更小的亮度值。在HDR图像中，亮对象看起来是亮的，暗对象看起来是暗的，并且亮对象和暗对象两者的细节可被观看到。
具有线性亮度值的光信号的亮度范围可以大于显示设备可实现的亮度范围，因此，用于光信号的色调映射的色调映射曲线被使用。在相关技术中，因为色调映射曲线被统一应用于光信号而不管光信号的环境如何，所以将被显示的图像的质量改善受到限制。
发明内容
技术问题
提供了一种通过基于人工智能(AI)的色调映射来改善将被显示的图像的质量的图像提供设备及其图像提供方法和显示设备及其显示方法。
技术方案
根据本公开的一方面，一种显示设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：获得第一数字图像的编码数据和指示深度神经网络(DNN)的规格的人工智能(AI)元信息，通过对所述编码数据进行解码来获得与第一数字图像相应的第二数字图像，获得根据预定的电光传递函数(EOTF)从第二数字图像转换的光信号，以及通过使用光光传递函数(OOTF)和根据所述AI元信息设置的高动态范围(HDR)DNN处理所述光信号来获得显示信号。
有益效果
提供了一种通过基于人工智能(AI)的色调映射来改善将被显示的图像的质量的图像提供设备及其图像提供方法和显示设备及其显示方法。
附图说明
根据以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加清楚，其中：
图1示出了根据实施例的图像提供方法和显示方法；
图2是根据实施例的图像提供设备的框图；
图3是示出了光光传递函数(OOTF)的曲线图；
图4示出了根据实施例的由图像提供设备执行的确定深度神经网络(DNN)的规格的方法；
图5示出了根据另一实施例的由图像提供设备执行的确定DNN的规格的方法；
图6示出了根据另一实施例的由图像提供设备执行的确定DNN的规格的方法；
图7示出了根据另一实施例的由图像提供设备执行的确定DNN的规格的方法；
图8是指示由图像提供设备确定的各种规格的DNN的表；
图9示出了构成第一数字图像的帧；
图10示出了根据实施例的人工智能(AI)显示数据；
图11示出了包括在图10所示的AI显示数据中的AI元信息的结构；
图12示出了根据另一实施例的AI显示数据；
图13示出了包括在图12所示的AI显示数据中的AI元信息的结构；
图14是根据实施例的图像提供方法的流程图；
图15是根据另一实施例的图像提供方法的流程图；
图16是根据实施例的显示设备的框图；
图17示出了根据实施例的由显示设备执行的色调映射操作；
图18示出了根据另一实施例的由显示设备执行的色调映射操作；
图19示出了根据另一实施例的由显示设备执行的色调映射操作；
图20示出了根据另一实施例的由显示设备执行的色调映射操作；
图21是根据实施例的显示方法的流程图；以及
图22是根据另一实施例的显示方法的流程图。
具体实施方式
最优模式
根据本公开的一方面，一种显示设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：获得第一数字图像的编码数据和指示深度神经网络(DNN)的规格的人工智能(AI)元信息，通过对所述编码数据进行解码来获得与第一数字图像相应的第二数字图像，获得根据预定电光传递函数(EOTF)从第二数字图像转换的光信号，以及通过使用光光传递函数(OOTF)和根据所述AI元信息设置的高动态范围(HDR)DNN处理所述光信号来获得显示信号。
HDR DNN可包括多个层，并且所述AI元信息可以包括层的数量、层的类型、在至少一个层中使用的滤波器内核的数量、在至少一个层中使用的滤波器内核的尺寸、在至少一个层中使用的滤波器内核的权重或偏差值中的至少一个。
所述处理器还可被配置为执行所述一个或更多个指令以根据所述OOFT转换所述光信号，将所述光信号输入到所述HDR DNN，并且通过将根据所述OOFT从所述光信号转换的所述信号与所述HDR DNN的输出信号相加来获得所述显示信号。
所述处理器还可被配置为执行所述一个或更多个指令以根据所述OOFT转换所述光信号，向所述HDR DNN输入根据光电传递函数(OETF)从所述光信号转换的第一中间图像，根据所述EOTF转换从所述HDR DNN输出的第二中间图像，并且通过将根据所述OOFT从所述光信号转换的信号与根据所述EOTF从第二中间图像转换的信号相加来获得所述显示信号。
所述处理器还可被配置为执行所述一个或更多个指令以通过根据所述OOTF和所述HDR DNN中的一个处理所述光信号并且根据所述OOTF和所述HDR DNN中的另一个处理所述OOTF和所述HDR DNN中的所述一个的处理结果来获得所述显示信号。
所述处理器还可被配置为执行所述一个或更多个指令以获得将被用于设置所述OOTF的OOTF元信息，并将获得的所述OOTF元信息输入到所述HDR DNN。
第二数字图像可包括多个帧，并且所述处理器还可被配置为执行所述一个或更多个指令以获得针对所述多个帧中的第一组中的帧的第一AI元信息和针对所述多个帧中的第二组中的帧的第二AI元信息，并且独立地根据第一AI元信息设置针对第一组中的帧的HDR DNN并独立地根据第二AI元信息设置针对第二组中的帧的HDR DNN。
第一AI元信息可包括应用第一AI元信息的帧的第一标识信息，并且第二AI元信息可包括应用第二AI元信息的帧的第二标识信息。
根据本公开的另一方面，一种图像提供设备包括：存储器，存储一个或更多个指令；以及处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：基于通过使用光光传递函数(OOTF)和深度神经网络(DNN)处理与第一数字图像相应的光信号的结果与标注信号之间的差异信息来确定所述DNN的规格，对第一数字图像进行编码，以及向显示设备发送第一数字图像的编码数据和指示所确定的所述DNN的规格的人工智能(AI)元信息。
所述标注信号可基于根据所述OOTF从光信号转换的信号被预先确定。
第一数字图像可包括多个帧，并且所述处理器还可被配置为执行所述一个或更多个指令以独立地确定针对所述多个帧中的第一组中的帧的DNN的第一规格和针对所述多个帧中的第二组中的帧的DNN的第二规格。
所述处理器还可被配置为执行所述一个或更多个指令以基于所述多个帧中的每个帧的像素值的直方图相似性或方差将所述多个帧划分为第一组中的帧和第二组中的帧。
所述处理器还可被配置为执行所述一个或更多个指令以确定所述多个帧中的第一组中的代表帧和第二组中的代表帧，基于通过使用所述OOTF和所述DNN处理与第一组中的所述代表帧相应的光信号的结果与所述标注信号之间的差异信息来确定所述DNN的第一规格，以及基于通过使用所述OOTF和所述DNN处理与第二组中的所述代表帧相应的光信号的结果与所述标注信号之间的差异信息来确定DNN的所述第二规格。
所述处理器还可被配置为执行所存储的一个或更多个指令以根据所述显示设备能够显示的亮度值，向所述显示设备发送指示是否需要基于DNN的色调映射处理的信息。
所述处理器还可被配置为执行所述一个或更多个指令以基于所述显示设备能够显示的亮度的最大值与阈值亮度值之间的差小于或等于预定值，向所述显示设备发送指示不需要基于DNN的色调映射处理的信息。
所述处理器还可被配置为执行所述一个或更多个指令以从所述显示设备接收性能信息，基于所接收的性能信息确定多个DNN的规格中的能够用于与第一数字图像相应的光信号的色调映射的一个规格，并且将指示所确定的DNN的一个规格的AI元信息发送到所述显示设备。
所述处理器还可被配置为执行所述一个或更多个指令以基于第一数字图像的像素值来确定所述DNN的限制条件，并且限制条件可包括所述DNN中包括的层的最小数量、在至少一个层中使用的滤波器内核的最小尺寸或在至少一个层中使用的滤波器内核的最小数量中的至少一个。
根据本公开的另一方面，一种图像显示方法包括：获得第一数字图像的编码数据和指示深度神经网络(DNN)的规格的人工智能(AI)元信息；通过对所述编码数据进行解码来获得与第一数字图像相应的第二数字图像；获得根据预定电光传递函数(EOTF)从第二数字图像转换的光信号；以及通过使用光光传递函数(OOTF)和根据所述AI元信息设置的高动态范围(HDR)DNN处理所述光信号来获得显示信号。
根据本公开的另一方面，一种图像提供方法包括：基于通过使用光光传递函数(OOTF)和深度神经网络(DNN)处理与第一数字图像相应的光信号的结果与标注信号之间的差异信息来确定所述DNN的规格；对第一数字图像进行编码；以及向显示设备发送第一数字图像的所述编码数据和指示所述DNN的规格的人工智能(AI)元信息。
根据本公开的另一方面，一种提供元信息的方法包括：基于通过使用光光传递函数(OOTF)和深度神经网络(DNN)处理与第一数字图像相应的光信号的结果与标注信号之间的差异信息来确定所述DNN的规格；以及向显示设备发送指示所确定的DNN的规格的人工智能(AI)元信息。
发明模式
可以对所公开的实施例以及附图中示出并在下面详细描述的具体实施例进行各种类型的改变或修改。然而，应当理解，具体实施例不将本公开限制于具体形式，而是包括在本公开的精神和技术范围内的每个修改、等同或替换形式。
在实施例的描述中，在相关的公知特征的具体描述可能模糊本公开的要点的地方，可以省略其详细描述。另外，在实施例的描述中使用的编号(例如，第一和第二)仅是用于将元件与另一元件区分开的标识符号。
当描述一个组件被“连接”或“链接”到另一组件时，应当理解，一个组件可被直接连接到另一个组件，或者，可经由其间的第三元件被连接或链接到另一个组件，除非存在与其特别相反的描述，即使直接连接是可能的。
另外，关于说明书中使用的诸如“…单元”和“…模块”的组件，可将两个或更多个组件组合成单个组件，或者可根据细分功能将单个组件划分为两个或更多个组件。另外，下面将被描述的每个组件除了其主要功能之外可另外地执行另一组件被配置为执行的功能的部分或全部，并且每个组件被配置为执行的主要功能的一部分可以由另一组件排它地执行。
贯穿本公开，诸如“A、B和/或C中的至少一个”的表述指示仅A、仅B、仅C、A和B两者、A和C两者、B和C两者、A、B和C中的全部或其变体。
另外，在说明书中，术语“光信号”指示具有线性亮度值的信号。线性亮度值可二维地(即，在水平方向和垂直方向上)存在。“光信号”的亮度值可由浮点表示。“光信号”可包括由相机传感器收集的场景光或从显示器输出的显示光。因为“光信号”与自然条件下存在的光相应，所以“光信号”具有线性亮度值。
另外，在本说明书中，术语“显示信号”指示将被显示的基于人工智能(AI)和/或光光传递函数(OOTF)从“光信号”色调映射的信号。“显示信号”可以被称为显示光。“显示信号”通过显示器被表示为图像。
另外，在本说明书中，术语“数字图像”指示具有非线性亮度值的数据。非线性亮度值二维地(即在水平方向和垂直方向上)存在。“数字图像”的亮度值可以由定点表示。在本说明书中，“数字图像”的亮度值可以被称为像素值。因为“数字图像”是根据人类的视觉特性从光信号转换而来的，所以“数字图像”具有与自然条件下存在的光不同的非线性亮度值。
另外，“光信号”、“显示信号”和“数字图像”可以包括至少一个帧。在本文中，“帧”包括随时间推移的亮度值当中的一个时间点的亮度值。
另外，“光信号”、“显示信号”和“数字图像”的亮度值可被表示为RGB值或亮度值。
另外，在本说明书中，术语“光电传递函数”(OETF)是定义光信号的亮度值与数字图像的亮度值之间的关系的函数。可以通过根据OETF转换光信号的亮度值来获得数字图像。OETF可以将光信号的亮度值中的包括在窄范围内的具有相对小的大小的亮度值转换为宽范围的亮度值，并将光信号的亮度值中的包括在宽范围内的具有相对大的大小的亮度值转换为窄范围的亮度值。OETF可以将光信号转换为适合于人类的认知视觉特性的数字图像，从而使得能够在数字图像的量化中分配最佳比特。也就是说，在根据OETF从光信号转换的数字图像中，可以将更多数量的比特分配给与光信号的暗区域相应的区域，并且可以将更少数量的比特分配给与光信号的亮区域相应的区域。
另外，在本说明书中，术语“电光传递函数”(EOTF)是定义数字图像的亮度值与光信号的亮度值之间的关系的函数，并且可以与OETF具有反比关系。可以通过根据EOTF转换数字图像的亮度值来获得光信号。
另外，在本说明书中，术语“光光传递函数”(OOTF)是定义任何一个光信号的亮度值与另一光信号的亮度值之间的关系的函数。可以通过根据OOTF转换任何一个光信号的亮度值来获得另一光信号。
另外，在本说明书中，术语“色调映射”表示根据OOTF和/或AI将光信号转换为显示信号的操作。
另外，在本说明书中，术语“深度神经网络”(DNN)是模拟脑神经的人工神经网络模型的代表性示例，并且不限于使用特定算法的人工神经网络模型。
另外，在本说明书中，术语“DNN的结构”指示构成DNN的层的数量、层的类型、在至少一个层中使用的滤波器内核的尺寸或在至少一个层中使用的滤波器内核的数量中的至少一个。
另外，在说明书中，术语“DNN的参数”是在构成DNN的每一层的计算操作中使用的值，并且可包括例如当将输入值应用于特定公式时将被使用的权重或者将被添加到特定公式的结果值或从特定公式的结果值将被减去的偏差值中的至少一个。“参数”可以以矩阵形式表示。此外，“参数”是作为训练的结果被优化的值，并且可以根据情况通过单独的训练数据来更新。在确定DNN的结构之后，可以使用训练数据通过DNN的训练操作来确定“参数”。
另外，在说明书中，术语“DNN的规格”指示DNN的结构或参数中的至少一个。例如，在说明书中，表述“确定DNN的规格”指示确定DNN的结构、确定DNN的参数、或者确定DNN的结构和参数。
另外，在本说明书中，术语“高动态范围(HDR)DNN”是将被用于光信号的色调映射的DNN，并且被设置为具有通过下面描述的一个或更多个实施例确定的DNN的规格。
另外，在说明书中，术语“设置HDR DNN(或OOTF)”可指示存储具有由AI元信息(或OOTF元信息)指示的规格的HDR DNN(或OOTF)，修改具有任意规格的先前存储的HDR DNN(或OOTF)以使得先前存储的HDR DNN(或OOTF)具有由AI元信息(或OOTF元信息)指示的规格，或者生成具有由AI元信息(或OOTF元信息)指示的规格的HDR DNN(或OOTF)。换句话说，术语“设置HDR DNN(或OOTF)”可指示使得显示设备能够使用具有由AI元信息(或OOTF元信息)指示的规格的HDR DNN(或OOTF)的各种类型的操作。
在下文中，将详细描述实施例。
图1示出了根据实施例的图像提供方法和显示方法。
参照图1，通过将OETF 201应用于具有线性亮度值的第一光信号来获得具有非线性亮度值的第一数字图像。尽管图1示出了图像提供设备200根据OETF 201转换第一光信号，但是可以通过相机传感器实现OETF 201的应用，并且在这种情况下，图像提供设备200获得作为OETF 201的应用结果而生成的第一数字图像。
图像提供设备200对第一数字图像执行编码操作202和图像分析203，并且将作为编码操作202和图像分析203的结果的包括编码数据和元信息的AI显示数据发送到显示设备1600。元信息包括将由显示设备1600在色调映射1603中使用的信息。
根据实施例，色调映射1603使用OOTF和HDR DNN，并且图像提供设备200向显示设备1600发送显示设备1600用来设置OOTF的OOTF元信息，并向显示设备1600发送显示设备1600用来设置HDR DNN的AI元信息。因为元信息是作为第一数字图像的分析结果导出的，所以显示设备1600可以通过基于元信息的色调映射1603显示优异质量的图像。
图像提供设备200的编码操作202可包括：通过对第一数字图像进行预测来生成预测数据；生成相应于第一数字图像与所述预测数据之间的差的残差数据；将空间域分量的残差数据变换为频域分量的残差数据；量化被变换为频域分量后的残差数据；对量化后的残差数据进行熵编码；等等。编码操作202可通过使用频率变换的图像压缩方案(诸如，运动图像专家组2(MPEG-2)、H.264高级视频编码(AVC)、MPEG-4、高效视频编码(HEVC)、VC-1、VP8、VP9、开放媒体联盟视频(AV1)等)中的一个来实现。
编码数据可以以比特流形式传输。编码数据可包括基于第一数字图像的像素值获得的数据，例如，相应于第一数字图像与预测数据之间的差的残差数据。另外，编码数据包括在第一数字图像的编码操作中使用的多条信息。例如，编码数据可包括用于对第一数字图像进行编码的预测模式信息、运动信息、量化参数相关信息等。可根据使用频率变换的图像压缩方案(诸如，MPEG-2、H.264AVC、MPEG-4、HEVC、VC-1、VP8、VP9、AV1等)中的在编码操作202中使用的图像压缩方案的规则(例如，语法)来生成编码数据。
元信息可通过被包括在编码数据中而以比特流形式被发送。根据实施示例，可通过与编码数据分离来以帧或包形式发送元信息。编码数据和元信息可通过相同的网络或不同的网络被发送。尽管图1示出了元信息和编码数据两者被从图像提供设备200发送到显示设备1600，但是根据实施示例，元信息和编码数据可被分别从不同的设备发送到显示设备1600。
已经接收到AI元信息的显示设备1600对编码数据执行解码操作1601，以恢复具有非线性亮度值的第二数字图像。这里，解码操作1601可包括：通过对编码数据进行熵解码来生成量化残差数据；逆量化所述量化后的残余数据；将频域分量的残差数据变换为空间域分量的残差数据；生成预测数据；通过使用所述预测数据和所述残差数据获得第二数字图像；等等。解码操作1601可通过与使用频率变换的图像压缩方案(诸如，MPEG-2、H.264AVC、MPEG-4、HEVC、VC-1、VP8、VP9、AV1等)中的一个相应的图像解压缩方法来实现。
显示设备1600获得根据先前确定的EOTF 1602从第二数字图像转换的第二光信号。第二光信号包括线性亮度值。EOTF 1602和OETF 201可以具有彼此相反的关系。
显示设备1600通过将基于元信息的色调映射1603应用于第二光信号来获得具有线性亮度值的显示信号。在显示设备1600的屏幕上输出显示信号。
因为元信息是作为第一数字图像的分析结果导出的，所以显示设备1600可以基于元信息设置针对第一数字图像优化的OOTF和HDR DNN，并且通过基于设置的OOTF和HDR DNN执行色调映射1603来显示优异质量的图像。
在本公开中，基于DNN执行对第二光信号的色调映射1603。图像提供设备200确定使用哪个规格的DNN来对第二光信号执行色调映射1603，以便最大程度地改善将被显示的图像的质量。另外，图像提供设备200将指示DNN的规格的元信息(特别是AI元信息)发送到显示设备1600，使得显示设备1600基于所述DNN执行色调映射1603。也就是说，通过将AI元信息从图像提供设备200提供给显示设备1600，观看者可以观看具有宽亮度范围和根据上下文改善的亮度值的图像。应当理解，实施例不限于显示设备1600，并且包括对图像信号进行解码和处理(包括色调映射)以输出到例如显示器的图像处理设备。
在下文中，参照图2至图22详细描述图像提供设备200的配置和操作以及显示设备1600的配置和操作。
图2是根据实施例的图像提供设备200的框图。
参照图2，根据实施例的图像提供设备200可包括图像处理器210和发送器230。图像处理器210可包括编码器212和图像分析器214。发送器230可包括数据处理器232和通信接口234。
尽管图2示出了图像处理器210和发送器230是分开的，但是图像处理器210和发送器230可以由单个处理器实现。在这种情况下，单个处理器可以由专用处理器或由通用处理器(诸如，应用处理器(AP)、中央处理单元(CPU)或图形处理单元(GPU))和软件(S/W)的组合来实现。另外，专用处理器可以利用用于实现实施例的存储器或利用用于使用外部存储器的存储器处理器来实现。
另外，图像处理器210和发送器230可由多个处理器实现。在这种情况下，多个处理器可通过多个通用处理器(诸如AP、CPU和GPU)和S/W的的组合来实现。
编码器212可根据基于频率变换的图像压缩方案对第一数字图像进行编码。作为对第一数字图像进行编码的结果，编码数据被生成并被发送到数据处理器232。
编码数据可包括基于第一数字图像的像素值获得的数据，例如，相应于第一数字图像与预测数据之间的差的残差数据。另外，编码数据包括在对第一数字图像进行编码时使用的信息。例如，编码数据可包括用于对第一数字图像进行编码的预测模式信息、运动信息、量化参数相关信息等。另外，如下所述，编码数据可包括OOTF元信息或AI元信息中的至少一个。
图像分析器214可以分析第一数字图像以生成用于显示设备1600中的色调映射的元信息。元信息可被发送到数据处理器232。
特别地，图像分析器214包括OOTF确定器215和DNN确定器216。OOTF确定器215和DNN确定器216分别确定用于色调映射的OOTF的规格和DNN的规格。
OOTF确定器215可通过各种方法来确定OOTF的规格。作为一种方法，OOTF确定器215可在先前存储的具有不同规格的OOTF中确定具有与第一数字图像的特性相应的规格的OOTF。这里，第一数字图像的特性可包括第一数字图像的分布、偏差、方差、直方图等。作为另一方法，OOTF确定器215可通过使用先前训练的DNN来处理第一数字图像或与第一数字图像相应的第一光信号，并基于处理结果获得具有特定规格的OOTF。作为另一方法，OOTF确定器215可获得具有由管理者确定的规格的OOTF。
当确定了OOTF的规格时，OOTF确定器215可生成OOTF元信息。OOTF元信息用于显示设备1600来设置OOTF。
图3是示出了OOTF的曲线图。
在图3中，水平轴指示色调映射之前的光信号的亮度值，并且垂直轴指示色调映射之后的光信号的亮度值。OOTF用于将具有宽亮度值范围的光信号转换为具有相对窄亮度值范围的光信号。
OOTF可以包括贝塞尔曲线300。贝塞尔曲线300包括拐点310和一个或更多个锚点330，其中，贝塞尔曲线300从原点到拐点310线性变化并且从拐点310开始非线性变化。也就是说，贝塞尔曲线300可包括从原点到拐点310的一阶曲线和从拐点310开始的多阶曲线。
锚点330可以指示曲线的拐点，并且在贝塞尔曲线300中，锚点330的数量可以是1个或更多个。
OOTF元信息指示OOTF的规格，并且可包括指示拐点310的位置的信息、指示锚点330的位置的信息或指示锚点330的数量的信息中的至少一个。在本文中，指示拐点310的位置的信息可包括拐点310的x轴值KS和y轴值KF。另外，指示锚点330的位置的信息可以包括指示锚点330的位置的实数值。
返回参照图2，可以将具有由OOTF确定器215确定的规格的OOTF提供给DNN确定器216。DNN确定器216基于第一数字图像和OOTF来确定将被用于对第二光信号的色调映射的DNN的规格。DNN可包括多个层，并且每个层可以是卷积层、激活层、归一化层或池化层。
由DNN确定器216确定DNN的规格指示确定DNN的结构和/或DNN的参数。DNN的结构可由层的数量、层的类型、在至少一个层中使用的滤波器内核的尺寸以及在至少一个层中使用的滤波器内核的数量来指定。滤波器内核可用于对卷积层中的输入数据进行卷积处理。另外，DNN的参数可包括当在层中使用输入数据时将被使用的权重或偏差值中的至少一个。例如，DNN的参数可包括当输入数据在卷积层中被卷积处理时将被使用的滤波器内核的权重。可通过滤波器内核的权重与输入数据的样本值之间的乘积运算和加法运算来确定输出数据。可以如在相关技术中那样执行卷积层中的卷积操作。
DNN确定器216在连续地改变用于针对第二光信号的有效色调映射的DNN的规格的同时，确定所述DNN的规格。
在下文中，下面参照图4至图7描述由DNN确定器216执行的确定将被用于色调映射的DNN的规格的特定方法。
图4示出了根据实施例的由图像提供设备200执行的确定DNN的规格的方法。
根据OOTF 415转换与第一数字图像相应的第一光信号410。这里，OOTF 415由OOTF确定器215确定。
当与第一数字图像相应的第一光信号410未被存储在图像提供设备200中时，或者基于与第一数字图像相应的第一光信号410未被存储在图像提供设备200中，DNN确定器216根据EOTF将第一数字图像转换为第一光信号410，并根据OOTF 415转换第一光信号410。
第一光信号410由先前确定的规格的DNN 420处理。通过将OOTF 415的处理结果与DNN 420的输出结果相加来获得显示信号430。
将显示信号430与先前生成的标注信号440进行比较，并且根据显示信号430与标注信号440之间的差异来改变DNN 420的规格。在本文中，显示信号430与标注信号440之间的差异可被计算为L1范数值、L2范数值、结构相似度(SSIM)值、峰值信噪比-人类视觉系统(PSNR-HVS)值、多尺度SSIM(MS-SSIM)值、方差膨胀因子(VIF)值或视频多方法评估融合(VMAF)值中的至少一个。
DNN确定器216可在连续改变DNN 420的规格的同时确定显示信号430与标注信号440之间的差异，并且确定能够最小化相应差异的DNN 420的规格。
根据实施例，DNN确定器216可在以固定结构的DNN 420连续改变DNN 420的参数的同时确定显示信号430与标注信号440之间的差异，并且确定能够最小化相应差异的DNN420的参数。在这种情况下，DNN确定器216可确定针对DNN 420的各种结构的不同参数。例如，DNN确定器216可针对结构“a”的DNN 420确定使显示信号430与标注信号440之间的差异最小化的DNN 420的参数，并且针对与结构“a”不同的结构“b”的DNN 420确定使显示信号430与标注信号440之间的差异最小化的DNN 420的参数。确定各种结构的DNN 420的各种参数以考虑输出显示信号430的显示设备1600的性能。这在下面参照图8进行描述。
可以基于根据OOTF 415处理第一光信号410的结果来生成标注信号440，并且例如，管理者或用户可在通过显示器监测根据OOTF 415从第一光信号410转换的光信号的同时，改变根据OOTF 415从第一光信号410转换的信号的亮度值。标注信号440可作为亮度值改变结果被获得。特别地，当根据OOTF 415转换的光信号被显示在显示器上并且存在具有难以识别的低亮度值的部分时，或者基于根据OOTF 415转换的光信号被显示在显示器上并且存在具有难以识别的低亮度值的部分，可增加对应部分的亮度值以生成易于通常识别的标注信号440。
现在将详细描述确定标注信号440的方法。可基于各种类型的显示器来确定标注信号440。因为显示设备1600的性能可能变化，所以通过考虑各种类型的显示器来确定标注信号440。因此，可以为每种类型的显示器确定标注信号440，从而为每个标注信号440确定DNN 420的规格。
例如，管理者或用户可在通过显示器“A”监测根据OOTF 415从第一光信号410转换的光信号的同时，改变根据OOTF 415从第一光信号410转换的信号的亮度值。相应地，与显示器“A”相应的标注信号440被确定。另外，管理者或用户可在通过显示器“B”监测根据OOTF415从第一光信号410转换的光信号的同时，改变根据OOTF 415从第一光信号410转换的信号的亮度值。相应地，与显示器“B”相应的标注信号440被确定。
DNN确定器216可在改变DNN 420的规格的同时确定显示信号430与对应于显示器“A”的标注信号440之间的差异，并且确定能够最小化对应差异的DNN 420的规格。另外，DNN确定器216可在改变DNN 420的规格的同时确定显示信号430与对应于显示器“B”的标注信号440之间的差异，并且确定能够最小化对应差异的DNN 420的规格。
用于确定标注信号的显示器可显示不同的亮度值范围。例如，显示器“A”可显示0.001尼特到800尼特的亮度值范围，并且显示器“B”可显示0.001尼特到1000尼特的亮度值范围。
如下面参照图8所述，当针对各种类型的显示器确定DNN 420的规格时，DNN确定器216可识别输出显示信号的显示设备1600的性能，并且向显示设备1600发送AI元信息，该AI元信息指示基于具有与所识别的性能相似的性能的显示器确定的DNN 420的规格。
如上所述，OOTF用于将色调映射之前的任何一个亮度值1：1转换为另一亮度值，但是因为在1：1转换中不考虑位于周围环境中的光信号的亮度值，所以图像的质量改善受到限制。因此，根据实施例，通过确定最佳质量的标注信号440，然后确定能够生成类似于标注信号440的显示信号430的DNN 420的规格，不仅可以执行1：1转换方案的色调映射，而且可以执行考虑位于周围环境中的光信号的亮度值的基于AI的色调映射。
图5示出了根据另一实施例的由图像提供设备200执行的确定DNN 520的规格的方法。
参照图5，根据OOTF 515转换与第一数字图像相应的第一光信号510。这里，OOTF515的规格由OOTF确定器215确定。当与第一数字图像相应的第一光信号510未被存储在图像提供设备200中时，或者基于与第一数字图像相应的第一光信号510未被存储在图像提供设备200中，DNN确定器216根据EOTF将第一数字图像转换为第一光信号510。
另外，根据OETF 550将第一光信号510转换为第一中间图像。由先前确定的规格的DNN 520处理第一中间图像。第二中间图像作为DNN 520的处理结果被获得。第一中间图像可以是第一数字图像，并且根据实施示例，可以省略OETF 550的转换操作，并且可将第一数字图像输入到DNN 520。
根据EOTF 560将第二中间图像转换为光信号，并且通过将根据EOTF 560转换的信号和根据OOTF 515转换的信号相加来获得显示信号530。将显示信号530与先前生成的标注信号540进行比较，并且根据显示信号530与标注信号540之间的差异来改变或确定DNN 520的规格。
DNN确定器216可以在连续改变DNN 520的规格的同时确定显示信号530和标注信号540之间的差异，并且确定能够最小化对应差异的DNN 520的规格。
当比较图4和图5中所示的DNN规格确定方法时，具有线性亮度值的第一光信号410由图4中的DNN 420处理，但是具有非线性亮度值的第一中间图像由图5中的DNN 520处理。
如上所述，可以基于各种类型的显示器来确定标注信号540，并且在这种情况下，可以确定适合于各种类型的显示器的各种规格的DNN 520。另外，当确定DNN 520的规格时，可以利用固定结构的DNN 520来确定使显示信号530与标注信号540之间的差异最小化的DNN 520的参数。
图6示出了根据另一实施例的由图像提供设备200执行的确定DNN 620的规格的方法。
参照图6，根据OOTF 615处理与第一数字图像相应的第一光信号610，并且通过由先前确定的规格的DNN 620对处理结果进行处理来获得显示信号630。当与第一数字图像相应的第一光信号610未被存储在图像提供设备200中时，DNN确定器216根据EOTF将第一数字图像转换为第一光信号610。
根据实施例，OOTF元信息也可与根据OOTF 615从第一光信号610转换的光信号一起被输入到DNN 620。根据第一数字图像的特性确定OOTF元信息。因此，当处理光信号时，DNN 620可以通过一起考虑输入的OOTF元信息来根据第一数字图像的特性处理光信号。
将显示信号630与标注信号640进行比较，并且根据显示信号630与标注信号640之间的差异来改变或确定DNN 620的规格。DNN确定器216可在连续改变DNN 620的规格的同时确定显示信号630与标注信号640之间的差异，并且确定能够最小化对应差异的DNN 620的规格。
如上所述，可基于各种类型的显示器来确定标注信号640，并且在这种情况下，可以确定适合于各种类型的显示器的各种规格的DNN 620。另外，当确定DNN 620的规格时，可以利用固定结构的DNN 620的来确定使显示信号630与标注信号640之间的差异最小化的DNN 620的参数。
图7示出了根据另一实施例的由图像提供设备200执行的确定DNN720的规格的方法。
参照图7，通过先前确定的规格的DNN 720处理与第一数字图像相应的第一光信号710。第一光信号710和OOTF元信息两者可以被输入到DNN 720。根据OOTF 715处理从DNN720输出的信号，并且将显示信号730获得为处理结果。当与第一数字图像相应的第一光信号710未被存储在图像提供设备200中时，或者基于与第一数字图像相应的第一光信号710未被存储在图像提供设备200中，DNN确定器216根据EOTF将第一数字图像转换为第一光信号710。
将显示信号730与标注信号740进行比较，并且根据显示信号730与标注信号740之间的差异来改变或确定DNN 720的规格。DNN确定器216可在连续改变DNN 720的规格的同时确定显示信号730与标注信号740之间的差异，并且确定能够最小化对应差异的DNN 720的规格。
如上所述，可以基于各种类型的显示器来确定标注信号740，并且在这种情况下，可以确定适合于各种类型的显示器的各种规格的DNN 720。另外，当确定了DNN 720的规格时，或者基于确定了DNN 720的规格，可以利用固定结构的DNN 720来确定使显示信号730与标注信号740之间的差异最小化的DNN 720的参数。
当确定了DNN的规格时，或者基于确定了DNN的规格，DNN确定器216可根据从第一数字图像的像素值检查的第一数字图像的特性来设置DNN的约束条件。DNN的约束条件可包括DNN中包括的层的最小数量、DNN中包括的层的最大数量、至少一个层中使用的滤波器内核的最小尺寸、至少一个层中使用的滤波器内核的最大尺寸、至少一个层中使用的滤波器内核的最小数量或至少一个层中使用的滤波器内核的最大数量中的至少一个。第一数字图像的特性可通过最大亮度值、平均亮度值、亮度值的方差或与第一数字图像的特定值的百分位数相应的亮度值来确定。
当设置了约束条件时，DNN确定器216可确定在满足约束条件的范围内使显示信号与标注信号之间的差异最小化的规格的DNN。换句话说，当DNN中包括的最小层数被确定为3时，DNN确定器216可将DNN的规格确定为包括三个或更多个层，作为用于色调映射的DNN。
当第一数字图像的亮度值的范围大或其分布复杂时，DNN确定器216可将DNN中包括的层的最小数量、在至少一个层中使用的滤波器内核的最小尺寸或在至少一个层中使用的滤波器内核的最小数量中的至少一个确定为大于当第一数字图像的亮度值的范围小或其分布简单时的情况。
例如，当第一数字图像的平均亮度值与其最大亮度值之间的差大于或等于先前确定的值时，DNN确定器216可将滤波器内核的最小尺寸确定为5×5并且将层的最小数量确定为5，并且当第一数字图像的平均亮度值与其最大亮度值之间的差小于先前确定的值时，DNN确定器216可将滤波器内核的最小尺寸确定为3×3并且将层的最小数量确定为3。
作为另一示例，当第一数字图像的亮度值的方差大于或等于先前确定的值时，DNN确定器216可将滤波器内核的最小尺寸确定为5×5，并且将层的最小数量确定为5。否则，当第一数字图像的亮度值的方差小于先前确定的值时，DNN确定器216可将滤波器内核的最小尺寸确定为3×3，并且将层的最小数量确定为3。
作为另一示例，当与第一数字图像中的a百分位数(其中a是有理数)相应的亮度值与第一数字图像的平均亮度值之间的差大于或等于先前确定的值时，DNN确定器216可将滤波器内核的最小尺寸确定为5×5并且将层的最小数量确定为5。否则，当与第一数字图像中的a百分位数相应的亮度值与第一数字图像的平均亮度值之间的差小于先前确定的值时，DNN确定器216可将滤波器内核的最小尺寸确定为3×3，并且将层的最小数量确定为3。与所述百分位数相应的亮度值指示当小于与百分位数相应的亮度值的亮度值的数量占整个亮度值的a％存在时的亮度值。
返回参照图2，当确定了用于色调映射的DNN的规格时，DNN确定器216生成指示所确定的DNN的规格的AI元信息。例如，AI元信息可包括关于层的数量、层的类型、在至少一个层中使用的滤波器内核的数量、在至少一个层中使用的滤波器内核的尺寸、在至少一个层中使用的滤波器内核的权重或偏差值中的至少一个的信息。
当从显示设备1600接收到对第一数字图像的发送请求时，或者基于从显示设备1600接收到对第一数字图像的发送请求，DNN确定器216通过发送器230将指示相应于第一数字图像确定的DNN规格的AI元信息发送到显示设备1600。
如上所述，DNN确定器216可确定用于对与第一数字图像相应的光信号进行色调映射的多个DNN规格。在这种情况下，DNN确定器216可响应于对第一数字图像的发送请求而从多个DNN规格中选择任何一个DNN规格，并将指示所选择的DNN规格的AI元信息发送到发送器230。在本文中，多个DNN规格可以彼此不同。当从多个DNN规格中选择任何一个DNN规格时，DNN确定器216可考虑已经请求第一数字图像的显示设备1600的性能。
图8是指示由DNN确定器216确定的各种规格的DNN的表。
如图8所示，可以根据用于确定DNN的规格的显示器的类型来对由DNN确定器216确定的各种规格的DNN进行分类。例如，基于显示“A”确定K1 DNN的规格和K2 DNN的规格，其中，K1 DNN的结构包括4个层和20个滤波器内核，并且K2 DNN的结构包括2个层和6个滤波器内核。也就是说，K1 DNN和K2 DNN是基于相同类型的显示器确定的，但是具有不同的结构。
当显示设备1600请求图像提供设备200发送第一数字图像时，显示设备1600可将显示设备1600的性能信息发送到图像提供设备200。显示设备1600的性能信息是从其确认显示设备1600的性能的信息，并且可包括关于例如显示设备1600的制造商和型号的信息。
当确认了显示设备1600的性能时，DNN确定器216可从多个DNN规格中选择基于具有与显示设备1600的功能类似的功能的显示器确定的DNN规格，并将指示所选择的DNN规格的AI元信息发送到数据处理器232。具体地，当显示设备1600的性能与显示器“A”的性能相应时，DNN确定器216可将指示K1 DNN或K2 DNN的规格的A1元信息发送到数据处理器232。这里，与显示器“A”的性能相应的显示设备1600的性能可以指示显示设备1600可表示的亮度值的范围大于或等于显示器“A”可表示的亮度值的范围。
另外，DNN确定器216可向数据处理器232发送指示具有K1 DNN或K2 DNN的结构的可由显示设备1600实施的DNN的规格的AI元信息。由于包括大量的层或使用大量的内核的DNN的计算负载，所述DNN可能无法在低性能的显示设备1600中操作。在这种情况下，即使包括大量的层或使用大量的内核的DNN的AI元信息被发送到显示设备1600，显示设备1600也可以不实施从AI元信息确认的DNN，并且因此，显示设备1600可不执行基于AI的色调映射。因此，DNN确定器216检查显示设备1600的性能，基于检查的显示设备1600的性能选择可操作的DNN的规格，并将指示所选择的DNN规格的AI元信息提供给数据处理器232。这里，由DNN确定器216检查的显示设备1600的性能可包括与显示设备1600的计算速度和计算量中的至少一个相关的性能，诸如CPU的处理速度和存储器大小。例如，当与“A”显示器相应的显示设备1600不能操作包括多于2个层的DNN时，DNN确定器216将指示K2 DNN的规格的A1元信息发送到数据处理器232。
根据实施例，AI元信息可包括指示是否需要基于DNN的色调映射处理的信息。指示是否需要基于DNN的色调映射处理的信息可以包括标志。DNN确定器216可通过考虑显示设备1600的性能来确定显示设备1600是否需要或是否将执行基于DNN的色调映射。
例如，当显示设备1600可表示的最大亮度值与阈值之间的差是特定值或更大时，DNN确定器216可以确定基于DNN的色调映射处理是必要的。否则，当显示设备1600可表示的最大亮度值与阈值之间的差小于特定值时，DNN确定器216可确定不需要基于DNN的色调映射处理。这里，阈值可以是可由用于图像分析的主显示器表示的最大亮度值。
当主显示器的最大亮度值与显示设备1600的最大亮度值之间的差不大时，DNN确定器216可确定不需要基于DNN的色调映射处理，并且显示设备1600可根据包括指示不需要基于DNN的色调映射处理的信息的AI元信息仅执行基于OOTF的色调映射处理。
将可由主显示器表示的最大亮度值与可由显示设备1600表示的最大亮度值进行比较的原因是因为当管理者或用户在通过使用主显示器观看根据预设OOTF色调映射的光信号的同时确定了具有最佳规格的OOTF时，具有与主显示器类似性能的显示设备1600可以仅利用基于OOTF的色调映射来再现质量优异的图像。
返回参照图2，数据处理器232通过处理编码数据或元信息中的至少一个来获得具有特定格式的显示数据。下面参考图10和图12描述由数据处理器232获得的AI显示数据。
通信接口234通过网络将AI显示数据发送到显示设备1600。在本文中，网络可包括有线网络和/或无线网络。
根据实施例，作为数据处理器232的处理结果而获得的AI显示数据可被存储在包括诸如硬盘、软盘和磁带的磁介质、诸如光盘只读存储器(CD-ROM)和数字通用盘(DVD)的光学记录介质、诸如光软盘的磁光介质等的数据存储介质中。
根据实施例，图像提供设备200可仅将元信息和编码图像数据中的元信息(例如，AI元信息或AI元信息和OOTF元信息)发送到显示设备1600。在这种情况下，可以从图像提供设备200中省略图2所示的编码器212。显示设备1600可从图像提供设备200接收AI元信息，并从另一设备(例如，服务器)接收第一数字图像的编码数据。另外，显示设备1600可通过对与第二数字图像相应的第二光信号执行基于AI和OOTF的色调映射来获得显示信号。
图9示出了构成第一数字图像900的帧。
如上所述，DNN确定器216基于第一数字图像900确定用于色调映射的DNN规格，并且如图9所示，当第一数字图像900包括多个帧时，DNN确定器216可确定针对每个帧的DNN规格。因此，针对第一帧的DNN规格可以不同于针对第二帧的DNN规格。DNN确定器216可根据OOTF和DNN处理与第一帧相应的第一光信号，并且根据作为处理结果获得的显示信号与标注信号之间的差异来确定DNN规格。此后，DNN确定器216可根据OOTF和DNN处理与第二帧相应的第一光信号，并且根据作为处理结果获得的显示信号与标注信号之间的差异来确定DNN规格。
根据实施例，DNN确定器216可将包括在第一数字图像900中的帧划分为多个组，并确定针对每个组的DNN规格。DNN确定器216可根据帧的特性将包括在第一数字图像900中的帧划分为包括帧t0至帧ta-1的第一组901、包括帧ta至帧tb-1的第二组902和包括帧tb至帧tn的第三组903。另外，DNN确定器216可从第一组901、第二组902和第三组903中的每一个中选择代表帧，并且确定与所选择的代表帧的每个组相应的DNN规格。也就是说，DNN确定器216可根据OOTF和DNN来处理与第一组901的代表帧相应的第一光信号，并且根据作为处理结果获得的显示信号与标注信号之间的差异来确定第一组901的DNN规格。另外，DNN确定器216可根据OOTF和DNN来处理与第二组902的代表帧相应的第一光信号，并且根据作为处理结果获得的显示信号与标注信号之间的差异来确定第二组902的DNN规格。另外，DNN确定器216可根据OOTF和DNN来处理与第三组903的代表帧相应的第一光信号，并且根据作为处理结果获得的显示信号与标注信号之间的差异来确定第三组903的DNN规格。
DNN确定器216可将具有相似特性的帧分类到相同的组中。可以基于帧的亮度值的方差和/或亮度值的直方图相似性来确定帧是否具有相似特性。例如，亮度值的方差或直方图相似性属于特定范围的帧可被确定为相同的组。
DNN确定器216可将发生场景变化的帧或发生下一场景变化的帧的初始帧到前一帧分类到同一组中。
可选地，DNN确定器216可以确定多个组，每个组包括先前确定的(即，预定的)数量的随时间连续的帧。
参照图9，尽管包括在第一组901、第二组902和第三组903中的帧随时间连续，但是包括在每个组中的帧可以不随时间连续。例如，第一帧、第三帧等可被确定为第一组，第二帧、第五帧等可被确定为第二组，并且第四帧、第六帧等可被确定为第三组。
当以第一数字图像的帧单元或组单元确定DNN规格时，通过发送器230将指示所确定的DNN规格中的每一个的AI元信息发送到显示设备1600。
当需要或将通过以第一数字图像的帧单元或组单元确定DNN规格来发送指示各种规格的AI元信息时，DNN确定器216可生成指示色调映射所需或用于色调映射的第一DNN的规格的AI元信息。另外，当生成了指示在第一DNN之后的DNN的规格的AI元信息时，所生成的AI元信息可包括与先前DNN的规格的差异信息。例如，当第一DNN包括3个卷积层，并且第二DNN包括2个卷积层时，指示第一DNN的规格的AI元信息可包括指示第一DNN包括3个卷积层的信息，并且指示第二DNN的规格的AI元信息可包括指示将从第一DNN中省略一个层的信息。
在下文中，详细描述包括编码数据和元信息的AI显示数据。
图10示出了根据实施例的AI显示数据1000。
包括单个文件的AI显示数据1000可包括AI元信息1012和编码数据1032。这里，AI显示数据1000可包括在特定容器格式的视频文件中。特定容器格式可以是MPEG-4第14部分(MP4)、音频视频交错(AVI)、Matroska视频(MKV)、Flash实况视频(FLV)等。视频文件可包括元数据盒1010及媒体数据盒1030。
元数据盒1010包括关于被包括在媒体数据盒1030中的编码数据1032的信息。例如，元数据盒1010可包括关于第一数字图像的类型、用于对第一数字图像进行编码的编解码器的类型、第一数字图像的播放时间等的信息。另外，元数据盒1010可包括AI元信息1012。AI元信息1012可根据以特定容器格式提供的编码方案被编码并被存储在元数据盒1010中。媒体数据盒1030可包括根据特定图像压缩方案的语法产生的编码数据1032。OOTF元信息可与AI元信息1012一起被包括在元数据盒1010中，或者被包括在媒体数据盒1030中。
AI元信息1012可包括针对第一数字图像的AI元信息、针对帧组的AI元信息和针对单个帧的AI元信息。当针对包括在第一数字图像中的所有帧确定了相同规格的DNN时，可以从元数据盒1010中省略针对帧组的AI元信息和针对单个帧的AI元信息。可选地，当针对第一数字图像的每个帧组单元确定了DNN的规格时，可以从元数据盒1010中省略针对第一数字图像的AI元信息和针对单个帧的AI元信息。
图11示出了包括在图10所示的AI显示数据1000中的AI元信息1012的结构。
在图11中，AI_HDR_DNN_flag 1100指示是否需要基于DNN的色调映射处理。当AI_HDR_DNN_flag 1100指示需要基于DNN的色调映射处理时，诸如AI_HDR_num_layers 1105、AI_HDR_out_channel 1111、AI_HDR_in_channel 1112和AI_HDR_filter_size 1113的信息可被包括在AI元信息1012中。否则，当AI_HDR_DNN_flag 1100指示不需要基于DNN的色调映射时，诸如AI_HDR_num_layers 1105、AI_HDR_out_channel 1111、AI_HDR_in_channel1112和AI_HDR_filter_size 1113的信息可不被包括在AI元信息1012中。
AI_HDR_num_layers 1105指示包括在用于色调映射的DNN中的层的数量。
另外，AI_HDR_out_channel 1111、AI_HDR_in_channel 1112、AI_HDR_filter_size 1113、AI_HDR_weights 1114和AI_HDR_bias 1115指示包括在DNN中的第一层的规格。具体地，AI_HDR_out_channel 1111指示从第一层输出数据的通道的数量，AI_HDR_in_channel 1112指示向第一层输入数据的通道的数量。另外，AI_HDR_filter_size 1113指示在第一层中使用的滤波器内核的尺寸，AI_HDR_weights 1114指示在第一层中使用的滤波器内核的权重，并且AI_HDR_bias 1115指示要加到第一层中的特定公式的结果值或从第一层中的特定公式的结果值减去的偏差值。
另外，AI_HDR_out_channel 1121、AI_HDR_in_channel 1122、AI_HDR_filter_size 1123、AI_HDR_weights 1124和AI_HDR_bias 1125指示包括在DNN中的第二层的规格。具体地，AI_HDR_out_channel 1121指示从第二层输出数据的通道的数量，AI_HDR_in_channel 1122指示向第二层输入数据的通道的数量。另外，AI_HDR_filter_size 1123指示在第二层中使用的滤波器内核的尺寸，AI_HDR_weights 1124指示在第二层中使用的滤波器内核的权重，并且AI_HDR_bias 1125指示要加到第二层中的特定公式的结果值或从第二层中的特定公式的结果值减去的偏差值。
在图11中，可根据AI_HDR_num_layers 1105、AI_HDR_out_channel 1111、AI_HDR_out_channel 1121、AI_HDR_in_channel 1112、AI_HDR_in_channel 1122、AI_HDR_filter_size 1113和AI_HDR_filter_size 1123来确定DNN的结构，并且可根据AI_HDR_weights1114、AI_HDR_weights 1124、AI_HDR_bias 1115和AI_HDR_bias 1125来确定DNN的参数。
指示每一层的规格的AI_HDR_out_channel、AI_HDR_in_channel、AI_HDR_filter_size、AI_HDR_weights和AI_HDR_bias可以与从AI_HDR_num_layers确认的层的数量一样多地存在。
图12示出了根据另一实施例的AI显示数据1200。
参照图12，AI元信息1234可被包括在编码数据1232中。视频文件可包括元数据盒1210和媒体数据盒1230，且当AI元信息1234被包括在编码数据1232中时，元数据盒1210可不包括AI元信息1234。OOTF元信息可与AI元信息1234一起被包括在编码数据1232中，或者被包括在元数据盒1210中。
媒体数据盒1230可包括包含AI元信息1234的编码数据1232。AI元信息1234可根据用于对第一数字图像进行编码的视频编解码器来编码。
因为AI元信息1234被包括在编码数据1232中，所以AI元信息1234可根据编码数据1232的解码顺序被解码。
编码数据1232包括：包含与包括在第一数字图像中的所有帧相关的信息的视频单元数据(例如，视频参数集)、包含与包括在组中的帧相关的信息的帧组单元数据(例如，序列参数集)、包含与单个帧相关的信息的帧单元数据(例如，画面参数集)等。当针对第一数字图像中的所有帧确定了相同规格的DNN时，AI元信息可被包括在视频单元数据中。可选地，当以组单元确定了DNN的规格时，指示与每个组相应的DNN的规格的AI元信息可被包括在每个帧组单元的数据中或与每个组的第一帧相应的帧单元数据中。当以组单元确定了DNN的规格时，与每个组相应的AI元信息可包括使用相应AI元信息的帧的标识信息(例如，画面顺序计数)。当每个组中包括的帧不随时间连续时，这可能是有用的。
当以帧单元确定了DNN的规格时，指示与每个帧相应的DNN的规格的AI元信息可被包括在每个帧单元的数据中。
图13示出了根据实施例的包括在图12所示的AI显示数据1200中的AI元信息1234的结构。
如上所述，因为编码数据1232是根据使用频率变换的图像压缩方案的规则(例如，语法)生成的，所以AI元信息1234也可根据语法被包括在编码数据1232中。
AI元信息1234可被包括在视频参数集、序列参数集或画面参数集中。可选地，AI元信息1234可被包括在补充增强信息(SEI)消息中。SEI消息包括除恢复第二数字图像所需的信息(例如，预测模式信息、运动矢量信息等)以外的附加信息。SEI消息包括单个网络抽象层(NAL)单元，并且可以以帧组单元或帧单元被发送。
参照图13，AI_HDR_DNN_flag 1301被包括在AI元信息1234中。AI_HDR_DNN_flag1301指示是否需要基于DNN的色调映射处理(或是否将执行基于DNN的色调映射处理)。当AI_HDR_DNN_flag 1301指示需要基于DNN的色调映射处理时，AI_HDR_num_layers 1303、AI_HDR_in_channel[i]1304、AI_HDR_out_channel[i]1305、AI_HDR_filter_width[i]1306、AI_HDR_filter_height[i]1307、AI_HDR_bias[i][j]1308和AI_HDR_weight[i][j][k][1]1309被包括在AI元信息1234中。
否则，当AI_HDR_DNN_flag1301指示不需要基于DNN的色调映射处理(或将不执行基于DNN的色调映射处理)时，AI_HDR_num_layers 1303、AI_HDR_in_channel[i]1304、AI_HDR_out_channel[i]1305、AI_HDR_filter_width[i]1306、AI_HDR_filter_height[i]1307、AI_HDR_bias[i][j]1308和AI_HDR_weight[i][j][k][1]1309不被包括在AI元信息1234中。
AI_HDR_num_layers 1303指示包括在用于色调映射的DNN中的层的数量。另外，AI_HDR_out_channel[i]1305指示从第i层输出数据的通道的数量，AI_HDR_in_channel[i]1304指示向第i层的输入数据的通道的数量。另外，AI_HDR_filter_width[i]1306和AI_HDR_filter_height[i]1307分别指示在第i层中使用的滤波器内核的宽度和高度。
另外，AI_HDR_bias[i][j]1308指示将被加到针对第i层的第j通道的输出数据的特定公式的结果值或从该结果值减去的偏差值，并且AI_HDR_weight[i][j][k][l]1309指示与第i层的第j通道的输出数据和第k通道的输入数据相关联的滤波器内核中的第l样本的权重。
下面描述根据实施例的由显示设备1600执行的解析图13所示的AI元信息1234的方法。
图14是根据实施例的图像提供方法的流程图。
参照图14，在操作S1410中，图像提供设备200确定与第一数字图像相应的DNN的规格。具体地，图像提供设备200基于与第一数字图像相对应的第一光信号来确定将被用于色调映射的DNN的规格。如上所述，当第一数字图像包括多个帧时，图像提供设备200可确定针对每个帧或每个组的DNN规格。
图像提供设备200可确定与第一数字图像相应的OOTF的规格。当第一数字图像包括多个帧时，图像提供设备200可确定针对每个帧、针对从帧划分的每个块或针对帧的每个组的OOTF的规格。可针对包括在第一数字图像中的所有帧确定相同规格的OOTF。
在操作S1420中，图像提供设备200从显示设备1600接收针对第一数字图像的发送请求。图像提供设备200可通过有线/无线网络(例如，互联网)与显示设备1600进行通信。
在操作S1430中，图像提供设备200对第一数字图像进行编码。图像提供设备200可通过基于频率变换的图像压缩方案对第一数字图像进行编码。
在操作S1440中，图像提供设备200向显示设备1600发送第一数字图像的编码数据和指示在操作S1410中确定的DNN的规格的AI元信息。图像提供设备200还可将OOTF元信息与编码数据和AI元信息一起发送到显示设备1600。
如上所述，AI元信息可包括指示是否需要基于DNN的色调映射的信息。当确定不需要基于DNN的色调映射时，图像提供设备200生成包括指示不需要基于DNN的色调映射的信息的AI元信息。否则，当确定需要基于DNN的色调映射时，图像提供设备200生成包括指示需要基于DNN的色调映射的信息的AI元信息。当AI元信息包括指示不需要基于DNN的色调映射的信息时，指示在操作S1410中确定的DNN的规格的信息可不被包括在AI元信息中。
图15是根据另一实施例的图像提供方法的流程图。
参照图15，在操作S1510中，图像提供设备200确定与第一数字图像相应的多个DNN的规格。具有各种规格的多个DNN可具有不同的结构和/或不同的参数。例如，第一DNN可以包括4个层，并且第二DNN可以包括3个层。作为另一示例，第一DNN和第二DNN两者都可包括4个卷积层，其中，在第一DNN的卷积层中使用的滤波器内核的数量是3，并且在第二DNN的卷积层中使用的滤波器内核的数量是4。可以分别基于不同类型的显示器来确定多个DNN的规格。也就是说，当针对不同类型的显示器中的每一个确定标注信号时，可确定能够生成与标注信号具有最小差异的显示信号的DNN的各种规格。可选地，可基于任何一种类型的显示器来确定具有不同结构的DNN的各种规格。
当第一数字图像包括多个帧时，图像提供设备200可以以帧单元或组单元分别确定DNN的各种规格。
图像提供设备200可确定与第一数字图像相应的OOTF的规格。当第一数字图像包括多个帧时，图像提供设备200可确定针对每个帧、针对从帧划分的每个块或针对每个组的OOTF的规格。可针对包括在第一数字图像中的所有帧确定相同规格的OOTF。
在操作S1520，图像提供设备200从显示设备1600接收针对第一数字图像的发送请求和显示设备1600的性能信息。图像提供设备200可通过有线/无线网络(例如，互联网)与显示设备1600进行通信。显示设备1600的性能信息是从其确认显示器的性能的信息，并且可包括例如显示设备1600的制造商信息和型号信息。
在操作S1530，图像提供设备200通过考虑显示设备1600的性能，从多个DNN的规格中选择基于具有与显示设备1600的性能相似的性能的显示器确定的DNN规格。当基于具有与显示设备1600的性能类似的性能的显示器确定了多个DNN规格时，图像提供设备200从所述多个DNN规格中选择具有可由显示设备1600实施的结构的DNN规格。
在操作S1540中，图像提供设备200对第一数字图像进行编码。图像提供设备200可通过基于频率变换的图像压缩方案对第一数字图像进行编码。
在操作S1550中，图像提供设备200向显示设备1600发送第一数字图像的编码数据和指示在操作S1530中选择的DNN的规格的AI元信息。图像提供设备200还可将OOTF元信息与编码数据和AI元信息一起发送到显示设备1600。
图16是根据实施例的显示设备1600的框图。
参照图16，根据实施例的显示设备1600可包括接收器1610、图像处理器1630和显示器1650。接收器1610可包括通信接口1612、解析器1614和输出单元1616，并且图像处理器1630可包括解码器1632和转换器1634。
尽管图16示出了接收器1610与图像处理器1630分离，但是接收器1610和图像处理器1630可以由单个处理器实现。在这种情况下，单个处理器可以由专用(或专有)处理器来实现或由通用处理器(诸如AP、CPU或GPU)和S/W的组合来实现。另外，专用处理器可利用用于实施实施例的存储器或利用使用外部存储器的存储器处理器来实现。
另外，接收器1610和图像处理器1630可由多个处理器实现。在这种情况下，多个处理器可通过诸如AP、CPU和GPU的多个通用处理器和S/W的组合来实现。
显示器1650可包括能够输出显示信号的各种类型的显示器，诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器和量子点发光二极管(QLED)显示器。
尽管图16示出了显示设备1600包括接收器1610、图像处理器1630和显示器1650中的全部，但是根据实施示例，显示设备1600可仅包括接收器1610和图像处理器1630，并且显示设备1600(例如，图像处理装置)可以将色调映射后的显示信号发送到单独的显示器。
接收器1610接收并解析AI显示数据，并将编码数据和元信息分别发送到图像处理器1630。
特别地，通信接口1612通过网络接收AI显示数据。AI显示数据包括编码数据和元信息。元信息包括OOTF元信息和AI元信息。可通过同构网络或异构网络接收编码数据和元信息。AI元信息或OOTF元信息中的至少一个可被包括在编码数据中。根据实施示例，通信接口1612可从图像提供设备200接收元信息，并且从另一装置(例如，服务器)接收编码数据。可选地，通信接口1612可以从图像提供设备200接收AI元信息，并且从另一设备(例如，服务器)接收编码数据和OOTF元信息。
根据实施例，通信接口1612可将针对第一数字图像的发送请求消息发送到图像提供设备200以接收AI显示数据。在这种情况下，通信接口1612还可将显示设备1600的性能信息发送到图像提供设备200。显示设备1600的性能信息可包括显示设备1600的制造商信息和型号信息。
解析器1614接收通过通信接口1612接收的AI显示数据，并解析AI显示数据以分离编码数据和元信息。例如，读取由通信接口1612获得的数据的报头以识别数据是编码数据还是元信息。这里，作为示例，解析器1614基于通过通信接口1612接收的数据的报头将编码数据与元信息分离，并将编码数据和元信息发送到输出单元1616，并且输出单元1616将编码数据和元信息分别发送到解码器1632和转换器1634。在这种情况下，解析器1614可检查编码数据是使用哪种编解码器(例如，MPEG-2、H.264、MPEG-4、HEVC、VC-1、VP8、VP9、AV1等)而被生成的。解析器1614可通过输出单元1616将相应的信息发送到解码器1632，使得使用检查的编解码器处理编码数据。
当AI元信息和OOTF元信息两者都被包括在编码数据中时，解析器1614可将包括AI元信息和OOTF元信息的编码数据发送到解码器1632。
如图10和图11所示，当AI元信息1012被包括在元数据盒1010中，并且编码数据1032被包括在媒体数据盒1030中时，解析器1614可提取包括在元数据盒1010中的AI元信息1012并将AI元信息1012发送到转换器1634，并且提取包括在媒体数据盒1030中的编码数据1032并将编码数据1032发送到解码器1632。具体地，解析器1614提取AI_HDR_DNN_flag1100、AI_HDR_num_layers 1105、AI_HDR_in_channel 1112、AI_HDR_in_channel1122、AI_HDR_out_channel 1111、AI_HDR_out_channel 1121、AI_HDR_filter_size 1113、AI_HDR_filter_size 1123、AI_HDR_bias 1115、AI_HDR_bias 1125、AI_HDR_weights 1114和AI_HDR_weights 1124，并将AI_HDR_DNN_flag 1100、AI_HDR_num_layers 1105、AI_HDR_in_channel 1112、AI_HDR_in_channel 1122、AI_HDR_out_channel 1111、AI_HDR_out_channel 1121、AI_HDR_filter_size 1113、AI_HDR_filter_size 1123、AI_HDR_bias1115、AI_HDR_bias 1125、AI_HDR_weights 1114和AI_HDR_weights 1124提供给转换器1634。
另外，如图12所示，当AI元信息1234被包括在编码数据1232中时，解析器1614可提取包括在媒体数据盒1230中的编码数据1232并将编码数据1232发送到解码器1632。
根据实施例，由解析器1614解析的AI显示数据可从包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质、诸如光软盘的磁光介质等的数据存储介质被获得。
解码器1632基于编码数据恢复与第一数字图像相应的第二数字图像。解码器1632根据基于频率变换的图像解压缩方案来恢复第二数字图像。由解码器1632获得的第二数字图像被提供给转换器1634。
当编码数据包括AI元信息和/或OOTF元信息时，解码器1632对编码数据中包括的AI元信息和/或OOTF元信息进行解码，并将解码的AI元信息和/或OOTF元信息提供给转换器1634。
当编码数据包括AI元信息时，可执行如参照图13所述的由解码器1632执行的解析AI元信息的方法。
解码器1632提取包括在编码数据中的AI_HDR_DNN_flag 1301。AI_HDR_DNN_flag1301指示是否需要基于DNN的色调映射。当AI_HDR_DNN_flag 1301指示不需要基于DNN的色调映射时，解码器1632停止解析AI元信息，并向转换器1634提供指示不需要或将不执行基于DNN的色调映射的信息。
当AI_HDR_DNN_flag 1301指示需要基于DNN的色调映射时，解码器1632从编码数据中提取AI_HDR_num_layers 1303。AI_HDR_num_layers 1303指示包括在用于色调映射的DNN中的层的数量。
解码器1632提取与DNN中包括的层的数量一样多的AI_HDR_in_channel[i]1304、AI_HDR_out_channel[i]1305、AI_HDR_filter_width[i]1306和AI_HDR_filter_height[i]1307。AI_HDR_out_channel[i]1305指示从第i层输出数据的通道的数量，而AI_HDR_in_channel[i]1304指示向第i层的输入数据的通道的数量。另外，AI_HDR_filter_width[i]1306和AI_HDR_filter_height[i]1307分别指示在第i层中使用的滤波器内核的宽度和高度。
此后，解码器1632提取与DNN中包括的第i层的输出通道的数量一样多的AI_HDR_bias[i][j]1308。AI_HDR_bias[i][j]1308指示将被加到用于第i层的第j通道的输出数据的特定公式的结果值的偏差值或从所述结果值减去的偏差值。
解码器1632与第i层的输入通道的数量×第i层的输出通道的数量×第i层中使用的滤波器内核的宽度×第i层中使用的滤波器内核的高度相应的次数一样多次地提取AI_HDR_weight[i][j][k][l]1309。AI_HDR_weight[i][j][k][l]1309指示与第i层的第j通道的输出数据和第k个通道的输入数据相关联的滤波器内核中的第l样本的权重。
解码器1632将从编码数据提取的AI_HDR_in_channel[i]1304、AI_HDR_out_channel[i]1305、AI_HDR_filter_width[i]1306、AI_HDR_filter_height[i]1307、AI_HDR_bias[i][j]1308和AI_HDR_weight[i][j][k][l]1309作为AI元信息提供给转换器1634。
如上所述，当AI元信息和/或OOTF元信息被包括在编码数据的SEI消息中时，解码器1632可将SEI消息发送到转换器1634，并且转换器1634可从SEI消息获得AI元信息和/或OOTF元信息。例如，SEI消息的大小信息可被存储在编码数据的报头中，并且解码器1632可从报头检查SEI消息的大小，从编码数据提取检查的大小的SEI消息，并且将SEI消息发射到转换器1634。
由转换器1634执行的从SEI消息解析AI元信息的操作与由解码器1632执行的从编码数据解析AI元信息的操作相同或相似，因此在此省略其冗余描述。
转换器1634基于元信息(具体地，OOTF元信息)来设置OOTF，并且基于AI元信息来设置HDR DNN。OOTF可具有由OOTF元信息指示的规格，并且HDR DNN可具有由AI元信息指示的规格。另外，转换器1634通过使用OOTF和HDR DNN对与第二数字图像相应的第二光信号执行色调映射，从而获得显示信号。
当第二数字图像包括多个帧时，转换器1634可获得与各个帧相应的多条AI元信息。另外，转换器1634可基于多条AI元信息独立地为各个帧设置HDR DNN。在这种情况下，针对任何一个帧设置的HDR DNN的规格可不同于针对另一帧设置的HDR DNN的规格。
可选地，当第二数字图像包括多个帧时，转换器1634可获得与各个帧组相应的AI元信息。另外，转换器1634可基于多条AI元信息独立地为各个帧组设置HDR DNN。在这种情况下，针对任何一个帧组设置的HDR DNN的规格可以与针对另一帧组设置的HDR DNN的规格不同。与每个帧组相应的AI元信息可包括应用AI元信息的帧的标识信息(例如，画面顺序计数或索引号)。当每个组中包括的帧不随时间连续时，这可能是有用的。
根据实施示例，转换器1634可根据帧的特性将包括在第二数字图像中的帧划分为多个组，并且通过使用从图像提供设备200顺序提供的AI元信息来设置针对每个组的HDRDNN。在这种情况下，AI元信息可不包括应用AI元信息的帧的标识信息，但是转换器1634必须基于与图像提供设备200中相同的标准将帧划分成组。
当第二数字图像包括多个帧时，转换器1634可获得与全部的帧相应的AI元信息。另外，转换器1634可基于AI元信息设置针对全部的帧HDR DNN。
下面参照图17至图20描述在基于OOTF元信息和AI元信息设置OOTF和HDR DNN之后转换器1634的色调映射操作。
图17示出了根据实施例的由显示设备1600执行的色调映射操作。
参照图17，根据OOTF 1715转换与第二数字图像相应的第二光信号1710。这里，基于OOTF元信息来设置OOTF 1715。根据EOTF将第二数字图像转换成第二光信号1710。
第二光信号1710由基于AI元信息设置的HDR DNN 1720处理。通过将由OOTF 1715处理的结果与HDR DNN 1720的输出结果相加来获得显示信号1730。
图18示出了根据另一实施例的由显示设备1600执行的色调映射操作。
参照图18，根据OOTF 1815转换与第二数字图像相应的第二光信号1810。基于OOTF元信息设置OOTF 1815。
另外，根据OETF 1850，将第二光信号1810转换为第一中间图像。第一中间图像由基于AI元信息设置的HDR DNN 1820来处理。作为HDR DNN 1820的处理结果，获得第二中间图像。第一中间图像可以是第二数字图像。在这种情况下，可以省略OETF 1850的转换操作，并且可以由HDR DNN 1820处理在解码操作中获得的第二数字图像。
根据EOTF 1860将第二中间图像转换为光信号，并且通过将根据EOTF 1860转换的信号和根据OOTF 1815转换的信号相加来获得显示信号1830。
图19示出了根据另一实施例的由显示设备1600执行的色调映射操作。
参照图19，根据OOTF 1915处理与第二数字图像相应的第二光信号1910，并且根据OOTF 1915从第二光信号1910转换的光信号由基于AI元信息设置的HDR DNN 1920处理，从而获得显示信号1930。
根据实施例，OOTF元信息也可被输入到HDR DNN 1920。根据与第二数字图像相应的第一数字图像的特性来确定OOTF元信息，因此，HDR DNN 1920还可考虑输入的OOTF元信息来处理光信号。
图20示出了根据另一实施例的由显示设备1600执行的色调映射操作。
参照图20，由基于AI元信息设置的HDR DNN 2020处理与第二数字图像相应的第二光信号2010。当第二光信号2010被输入到HDR DNN 2020时，OOTF元信息也可被输入到HDRDNN 2020。根据OOTF 2015处理从HDR DNN 2020输出的信号，并且作为处理结果，获得显示信号2030。
图21是根据实施例的显示方法的流程图。
参照图21，在操作S2110，显示设备1600获得第一数字图像的编码数据和AI元信息。显示设备1600还可获得OOTF元信息。
在操作S2120，显示设备1600通过对编码数据进行解码来获得第二数字图像。当AI元信息被包括在编码数据中时，显示设备1600可通过对编码数据进行解码来获得AI元信息。
在操作S2130中，显示设备1600获得根据EOTF从第二数字图像转换的第二光信号。
在操作S2140，显示设备1600基于AI元信息确定是否需要基于DNN的色调映射处理。
在操作S2150中，当确定需要基于DNN的色调映射处理时，显示设备1600基于AI元信息设置用于色调映射的HDR DNN。根据实施例，当以包括在第二数字图像中的各个帧为单位获得AI元信息时，显示设备1600可针对每个帧设置用于色调映射的HDR DNN。可选地，当以包括在第二数字图像中的帧组为单位获得AI元信息时，显示设备1600可针对每个组设置用于色调映射的HDR DNN。可选地，当以包括在第二数字图像中的所有帧为单位获得AI元信息时，显示设备1600可设置用于色调映射的单个HDR DNN。
在操作S2160中，显示设备1600通过基于OOTF元信息设置的OOTF和基于AI元信息设置的HDR DNN处理在操作S2130中获得的第二光信号来获得显示信号。显示信号在显示器1650上作为图像输出。
在操作S2170，当确定不需要基于DNN的色调映射处理时，显示设备1600通过经由基于OOTF元信息设置的OOTF处理第二光信号来获得显示信号。显示信号在显示器1650上被输出为图像。
图22是根据另一实施例的显示方法的流程图。
参照图22，在操作S2210，显示设备1600获得第一数字图像的帧的编码数据、第一AI元信息和第二AI元信息。
在操作S2220，显示设备1600通过对编码数据进行解码来获得第二数字图像的帧。
在操作S2230，显示设备1600基于第一AI元信息设置第一HDR DNN，并且基于第二AI元信息设置第二HDR DNN。
在操作S2240中，显示设备1600通过经由第一HDR DNN和OOTF处理与第二数字图像的帧中的第一组的帧相应的第二光信号来获得显示信号。此外，在操作S2250，显示设备1600通过经由第二HDR DNN和OOTF处理与第二数字图像的帧中的第二组的帧相应的第二光信号来获得显示信号。
第一AI元信息和第二AI元信息可包括分别应用第一AI元信息和第二AI元信息的帧的标识号。当每个组中包括的帧随时间连续时，第一AI元信息和第二AI元信息可分别包括应用第一AI元信息和第二AI元信息的第一帧和最后帧的标识号。
与第一组的帧相应的显示信号和与第二组的帧相应的显示信号在显示器1650上被显示为图像。
通过考虑如图10所示当第一AI元信息和第二AI元信息通过与编码数据1032分离而被包括在元数据盒1010中时来执行图22所示的处理。当如图12所示第一AI元信息和第二AI元信息被包括在编码数据1232中时，通过操作S2220中的解码获得第一AI元信息和第二AI元信息。
上述实施例可被编写或实现为计算机可执行程序或代码，并且所述程序或代码可被存储在介质中。
介质可连续地存储计算机可执行程序或临时存储计算机可执行程序以用于执行或下载。另外，介质可包括以单个硬件或几个硬件的组合的形式的各种记录装置或存储装置，并且介质不限于直接连接到特定计算机系统的介质，而是可以分布在网络上。介质的示例可包括被配置为存储程序指令的磁介质(诸如，硬盘、软盘和磁带)、光记录介质(诸如，CD-ROM和DVD)、磁光介质(诸如，光软盘、ROM、RAM)和闪存。另外，其他介质的示例可包括用于分发应用的应用商店、用于供应或分发各种S/W的其他站点、以及由服务器管理的记录介质和存储介质等。
根据实施例的图像提供设备及其图像提供方法和显示设备及其显示方法可以通过基于AI的色调映射来改善将被显示的图像的质量。
然而，由根据实施例的图像提供设备及其图像提供方法和显示设备及其显示方法实现的效果不限于以上描述，并且本公开所属领域的普通技术人员可以清楚地理解未描述的其他效果。
虽然已经参照实施例详细描述了本公开的技术构思，但是本公开的技术构思不限于上述实施例，并且可以由本领域普通技术人员在本公开的技术构思的范围内进行各种修改和改变。

Claims (15)

1.一种显示设备，包括：
存储器，存储一个或更多个指令；以及
处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：
获得第一数字图像的编码数据和指示深度神经网络DNN的规格的人工智能AI元信息，
通过对所述编码数据进行解码来获得与第一数字图像相应的第二数字图像，
获得根据预定电光传递函数EOTF从第二数字图像转换的光信号，以及
通过使用光光传递函数OOTF和根据所述AI元信息设置的高动态范围HDR DNN处理所述光信号来获得显示信号。
2.如权利要求1所述的显示设备，其中，所述处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
根据所述OOFT转换所述光信号；
将所述光信号输入到所述HDR DNN；以及
通过将根据所述OOFT从所述光信号转换的所述信号与所述HDR DNN的输出信号相加来获得所述显示信号。
3.如权利要求1所述的显示设备，其中，所述处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
根据所述OOFT转换所述光信号；
向所述HDR DNN输入根据光电传递函数OETF从所述光信号转换的第一中间图像；
根据所述EOTF转换从所述HDR DNN输出的第二中间图像；以及
通过将根据所述OOFT从所述光信号转换的信号与根据所述EOTF从第二中间图像转换的信号相加来获得所述显示信号。
4.如权利要求1所述的显示设备，其中，所述处理器还被配置为执行所存储的一个或更多个指令以通过根据所述OOTF和所述HDR DNN中的一个处理所述光信号并根据所述OOTF和所述HDR DNN中的另一个处理所述OOTF和所述HDR DNN中的所述一个的处理结果来获得所述显示信号。
5.如权利要求4所述的显示设备，其中，所述处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
获得将被用于设置所述OOTF的OOTF元信息；以及
将所获得的OOTF元信息输入到所述HDR DNN。
6.如权利要求1所述的显示设备，其中：
第二数字图像包括多个帧；以及
所述处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
获得针对所述多个帧中的第一组中的帧的第一AI元信息和针对所述多个帧中的第二组中的帧的第二AI元信息，以及
根据第一AI元信息独立地设置针对第一组中的帧的HDR DNN，并且根据第二AI元信息独立地设置针对第二组中的帧的HDR DNN。
7.如权利要求6所述的显示设备，其中：
第一AI元信息包括应用第一AI元信息的帧的第一标识信息；以及
第二AI元信息包括应用第二AI元信息的帧的第二标识信息。
8.一种图像提供设备，包括：
存储器，存储一个或更多个指令；以及
处理器，被配置为执行所存储的一个或更多个指令以进行以下操作：
基于通过使用光光传递函数OOTF和深度神经网络DNN处理与第一数字图像相应的光信号的结果与标注信号之间的差异信息来确定所述DNN的规格，
对第一数字图像进行编码，以及
向显示设备发送第一数字图像的编码数据和指示所确定的所述DNN的规格的人工智能AI元信息。
9.如权利要求8所述的图像提供设备，其中，所述标注信号基于根据所述OOTF从所述光信号转换的信号被预先确定。
10.如权利要求8所述的图像提供设备，其中：
第一数字图像包括多个帧；以及
所述处理器还被配置为执行所存储的一个或更多个指令以独立地确定针对所述多个帧中的第一组中的帧的DNN的第一规格和针对所述多个帧中的第二组中的帧的DNN的第二规格。
11.如权利要求10所述的图像提供设备，其中，所述处理器还被配置为执行所存储的一个或更多个指令以进行以下操作：
确定所述多个帧中的第一组中的代表帧和第二组中的代表帧，
基于通过使用所述OOTF和所述DNN处理与第一组中的所述代表帧相应的光信号的结果与所述标注信号之间的差异信息来确定所述DNN的第一规格，以及
基于通过所述OOTF和所述DNN处理与第二组中的所述代表帧相应的光信号的结果与所述标注信号之间的差异信息来确定所述DNN的第二规格。
12.如权利要求8所述的图像提供设备，其中，所述处理器还被配置为执行所存储的一个或更多个指令以根据所述显示设备能够显示的亮度值，向所述显示设备发送指示是否需要基于DNN的色调映射处理的信息。
13.如权利要求12所述的图像提供设备，其中，所述处理器还被配置为执行所存储的一个或更多个指令以基于所述显示设备能够显示的亮度的最大值与阈值亮度值之间的差小于或等于预定值，向所述显示设备发送指示不需要基于DNN的色调映射处理的信息。
14.一种由显示设备执行的显示图像的方法，所述方法包括：
获得第一数字图像的编码数据和指示深度神经网络DNN的规格的人工智能AI元信息；
通过对所述编码数据进行解码来获得与第一数字图像相应的第二数字图像；
获得根据预定电光传递函数EOTF从第二数字图像转换的光信号；以及
通过使用光光传递函数OOTF和根据所述AI元信息设置的高动态范围HDR DNN处理所述光信号来获得显示信号。
15.一种其中存储有用于执行如权利要求14所述的图像显示方法的计算机可读程序的非暂时性计算机可读记录介质。
CN202080074016.0A 2019-11-15 2020-11-12 图像提供设备及其图像提供方法和显示设备及其显示方法 Pending CN114641793A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190146953A KR20210059466A (ko) 2019-11-15 2019-11-15 영상 제공 장치 및 이에 의한 영상 제공 방법, 및 디스플레이 장치 및 이에 의한 디스플레이 방법
KR10-2019-0146953 2019-11-15
PCT/KR2020/015896 WO2021096252A1 (en) 2019-11-15 2020-11-12 Image providing apparatus and image providing method thereof, and display apparatus and display method thereof

Publications (1)

Publication Number Publication Date
CN114641793A true CN114641793A (zh) 2022-06-17

Family

ID=75909376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080074016.0A Pending CN114641793A (zh) 2019-11-15 2020-11-12 图像提供设备及其图像提供方法和显示设备及其显示方法

Country Status (5)

Country Link
US (1) US11823362B2 (zh)
EP (1) EP3997887A4 (zh)
KR (1) KR20210059466A (zh)
CN (1) CN114641793A (zh)
WO (1) WO2021096252A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116897537A (zh) * 2022-02-08 2023-10-17 辉达公司 使用神经网络的图像生成

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763134B (zh) 2010-02-19 2015-11-25 汤姆森特许公司 用于高动态范围视频色调映射的参数内插
PL3022902T3 (pl) * 2013-07-16 2020-06-29 Koninklijke Philips N.V. Sposób i urządzenie do tworzenia funkcji eotf dla uniwersalnego odwzorowywania kodu dla obrazu hdr
US10999607B2 (en) * 2015-01-27 2021-05-04 Interdigital Madison Patent Holdings, Sas Methods, systems and apparatus for electro-optical and opto-electrical conversion of images and video
EP3051823A1 (en) * 2015-01-27 2016-08-03 Thomson Licensing Methods, systems and aparatus for electro-optical and opto-electrical conversion of images and video
WO2016133293A1 (ko) 2015-02-16 2016-08-25 삼성전자 주식회사 메타데이터 기반 영상 처리 방법 및 장치
US10515304B2 (en) * 2015-04-28 2019-12-24 Qualcomm Incorporated Filter specificity as training criterion for neural networks
US10460231B2 (en) 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
CN109891869B (zh) * 2016-09-20 2021-12-07 索尼公司 视频信号处理设备、视频信号处理方法和视频信号处理系统
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
US10803565B2 (en) * 2018-07-10 2020-10-13 Intel Corporation Low-light imaging using trained convolutional neural networks
US10936909B2 (en) * 2018-11-12 2021-03-02 Adobe Inc. Learning to estimate high-dynamic range outdoor lighting parameters

Also Published As

Publication number Publication date
WO2021096252A1 (en) 2021-05-20
EP3997887A4 (en) 2022-10-19
US11823362B2 (en) 2023-11-21
KR20210059466A (ko) 2021-05-25
US20210152799A1 (en) 2021-05-20
EP3997887A1 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
CN105794216B (zh) 图像处理设备和图像处理方法
US10356444B2 (en) Method and apparatus for encoding and decoding high dynamic range (HDR) videos
KR100848310B1 (ko) 스케일러블 비디오 코딩 기술이 적용된 비트스트림적응변환 장치 및 방법
US11232598B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
JP6686438B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN104813666A (zh) 解码装置和解码方法、以及编码装置和编码方法
JP2016220216A (ja) エンコーダおよび符号化方法
US20070223813A1 (en) Methods and Systems for Tone Mapping Messaging
US20180027262A1 (en) Methods, systems and apparatus for electro-optical and opto-electrical conversion of images and video
US20120057788A1 (en) Image processing apparatus and method
CN103918261A (zh) 分层信号质量层级中的信号处理和继承
CN112929705B (zh) 纹理压缩和解压方法、装置、计算机设备和存储介质
US20220417499A1 (en) Image processing apparatus and method
CN112954398A (zh) 编码方法、解码方法、装置、存储介质及电子设备
JPWO2019017362A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9787985B2 (en) Reduction of spatial predictors in video compression
CN114641793A (zh) 图像提供设备及其图像提供方法和显示设备及其显示方法
US10304420B2 (en) Electronic apparatus, image compression method thereof, and non-transitory computer readable recording medium
US8582906B2 (en) Image data compression and decompression
EP3461118B1 (en) Media data processing method and apparatus
US11736730B2 (en) Systems, methods, and apparatuses for video processing
US20230196505A1 (en) Artificial intelligence-based image providing apparatus and method, and artificial intelligence-based display apparatus and method
KR20210021888A (ko) 복호화 장치 및 그 동작방법, 및 ai 업 스케일 장치 및 그 동작방법
CN116527929A (zh) 媒体文件传输方法、封装方法以及解封装方法
CN113179408A (zh) 一种图像编解码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination