CN117478902A - 应用于电子设备的图像显示方法、编码方法及相关装置 - Google Patents

应用于电子设备的图像显示方法、编码方法及相关装置 Download PDF

Info

Publication number
CN117478902A
CN117478902A CN202210831137.6A CN202210831137A CN117478902A CN 117478902 A CN117478902 A CN 117478902A CN 202210831137 A CN202210831137 A CN 202210831137A CN 117478902 A CN117478902 A CN 117478902A
Authority
CN
China
Prior art keywords
image
parameters
brightness
processed
nxm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210831137.6A
Other languages
English (en)
Inventor
钟顺才
文锦松
翟其彦
周蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210831137.6A priority Critical patent/CN117478902A/zh
Priority to PCT/CN2023/104105 priority patent/WO2024012227A1/zh
Publication of CN117478902A publication Critical patent/CN117478902A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种应用于电子设备的图像显示方法、编码方法及相关装置。本申请应用于电子设备的图像显示方法，包括：获取待处理图像；获取高亮增强数据，所述高亮增强数据包括高动态范围图层hdrLayer；获取所述电子设备的初始背光亮度；根据所述初始背光亮度，获取所述电子设备的目标背光亮度；根据所述hdrLayer对所述待处理图像进行亮度调节以得到适用于所述目标背光亮度的目标图像；在所述目标背光亮度下显示所述目标图像。本申请可以充分利用屏幕的亮度范围进行图像显示，并实现端到端呈现出最佳的效果体验。

Description

应用于电子设备的图像显示方法、编码方法及相关装置
技术领域
本申请涉及图像处理技术，尤其涉及一种应用于电子设备的图像显示方法、编码方法及相关装置。
背景技术
在图像采集显示系统中，通常采集端负责图像视频采集，记录场景内容，编码端负责图像的编码压缩，显示端负责解码重建得到图像，并根据环境光的强弱自适应的调整屏幕亮度(即自动背光技术)，采集端和编码端可以是同一电子设备，也可以是不同的电子设备。手机、平板等电子设备作为显示端，基本上都有自动背光技术，其主要考虑的是屏幕亮度对人眼的舒适性。定义一个最佳舒适区间，包括舒适性上限(太亮会刺眼)和舒适性下限(太暗看不清)，同时考虑屏幕功耗，亮度越大功耗越大，所以通常会根据舒适性下限值调整屏幕亮度。
目前电子设备的屏幕的峰值亮度可以达到1000nit甚至更高，但是，自动背光技术中，只使用了较低的屏幕亮度，例如，普通室内环境光下，手机背光亮度设置为100-200nit，还有很大的亮度范围未使用，没有充分利用屏幕的亮度范围来实现端到端呈现出最佳的效果体验。
发明内容
本申请提供一种应用于电子设备的图像显示方法、编码方法及相关装置，以充分利用屏幕的亮度范围进行图像显示，并实现端到端呈现出最佳的效果体验。
第一方面，本申请提供一种应用于电子设备的图像显示方法，包括：获取待处理图像；获取高亮增强数据，所述高亮增强数据包括高动态范围图层hdrLayer；获取所述电子设备的初始背光亮度；根据所述初始背光亮度获取所述电子设备的目标背光亮度；根据所述hdrLayer对所述待处理图像进行亮度调节以得到适用于所述目标背光亮度的目标图像；在所述目标背光亮度下显示所述目标图像。
本申请实施例，根据电子设备的初始背光亮度获取其目标背光亮度，从而对电子设备的背光亮度进行调节，以充分利用屏幕的亮度范围进行图像显示，同时对于待处理图像中由于亮度调节出现失真的区域，结合hdrLayer进行像素调整以得到适用于目标背光亮度的目标图像，从而解决图像失真的问题，再在目标背光亮度下显示目标图像，目标背光亮度和目标图像配合显示，实现了端到端呈现出最佳的效果体验。
上述电子设备可以是显示端电子设备(亦即视频解码器)，其中，显示目标图像时可以由显示组件执行，该显示组件可以是集成于电子设备上的显示模块，例如，触摸屏，该显示组件也可以是独立于电子设备的显示器，例如，电子设备外接的显示器，电子设备投屏的智慧屏、幕布等，对此不做具体限定。
显示端接收来自采集端的码流，解码码流以得到待处理图像，显示端采用的解码方式与采集端采用的编码方式相对应，该解码方式可以包括标准的混合视频解码技术，端到端解码网络，基于机器学习模型的解码技术，等等，本申请实施例对待处理图像的解码方式不做具体限定。
在显示端，可以获取高动态范围图层(hdrLayer)，hdrLayer可以是二维单通道8bit的图像，用于标记待处理图像中的高亮区域，hdrLayer的分辨率可以等于待处理图像的分辨率，hdrLayer的分辨率也可以小于或大于待处理图像的分辨率，本申请对此不做具体限定。或者，hdrLayer也可以呈现为二维数组、三维数组或其他维度的数组等任意可以存储多个参数的数据形式。本申请对hdrLayer的具体形式不做限定。
hdrLayer主要是辅助显示端对图像进行亮度调节，以适应人眼感知，因此显示端要获取hdrLayer可以采用以下三种方式：
一种方式是，接收码流，解码码流以得到hdrLayer。
本申请实施例中，由采集端生成hdrLayer，再将hdrLayer编码后得到的码流传输给显示端，而显示端只需要解码流即可恢复出hdrLayer，这样可以提高显示端的处理效率。
另一种方式是，接收码流，解码码流以得到N×M组参数，每组参数包括k个参数，N×M组参数与待处理图像包括的N×M个图像块对应；根据N×M组参数分别对对应的图像块进行处理以得到hdrLayer，N和M均为正整数，N×M＞1，k＞1。
本申请实施例中，采集端不直接生成hdrLayer，而是只获取用于生成hdrLayer的N×M组参数，然后对该N×M组参数编码，并将编码后得到的码流传输给显示端，显示端先解码流恢复出N×M组参数，再根据该N×M组参数生成hdrLayer，这样可以节省码流，提高传输效率。
又一种方式是，生成N×M组参数，每组参数包括k个参数，N×M组参数与待处理图像包括的N×M个图像块对应；根据N×M组参数分别对对应的图像块进行处理以得到hdrLayer，N和M均为正整数，N×M＞1，k＞1。
本申请实施例中，采集端既不需要生成hdrLayer，也不需要获取用于生成hdrLayer的N×M组参数，完全由显示端根据待处理图像生成N×M组参数，进而根据该N×M组参数生成hdrLayer。这样可以进一步节省码流，并提高传输效率。
在一种可能的实现方式中，可以将待处理图像(原图)分成N×M块，针对每个图像块获取k个参数，从而可以得到N×M组参数，共N×M×k个参数。每个图像块的k个参数可以表示成一维表。其中，N×M组参数通过机器学习模型得到；或者，N×M组参数基于待处理图像的直方图得到。
本申请实施例中，可以把原图缩放到一个较小的分辨率，例如，256×256。缩略图进入机器学习模型(例如神经网络)，通过神经网络学习出N×M×k个参数，该神经网络可以包括局部分支和全局分支。对缩略图做卷积操作、下采样、通道数增多等处理。重复这些操作，例如，做4次(4次下采样)，此时分辨率就变成16×16了。此后，进入局部分支，该局部分支分辨率维持16×16，但做一些卷积，不做下采样。进入全局分支，全局分支继续做下采样，直到变成1×1。再把局部分支的输出和全局分支的输出相加(分辨率16×16与分辨率1×1相加，会先把1×1的变成16×16，例如，重复拷贝)，然后再做一些卷积，变成16×16×k，k这里可以取9、17等等，大概是2的n次方加1。最后输出N×M×k个参数。
需要说明的是，本申请实施例中还可以采用其他方式获取N×M组参数，对此不做具体限定。
在一种可能的实现方式中，将N×M组参数作用于待处理图像上，得到hdrLayer，该过程本质是一个插值的过程。
N×M×k个参数的数值范围是0～1，也可以认为是0～255。N和M是空间划分，将图像划分成了N×M个块，k是值域的划分，把值域划分成了k-1段，k个定点。但实际上，输入的数值是连续的，不会恰好是k个值，所以中间需要插值得到。空间上插值也是一样的。亦即，空域上是二维插值，可以称之为双线性插值，值域上是线性插值。
示例性的，空域上是N×M个块，为了保证块间的平滑，需要取邻近的四个块进行插值。值域上的k，输入的原图的亮度Y是连续的，而这个k是间隔的，所以中间也需要插值。值域的k，以范围是0～255为例，输出为255时，hdrLayer上就很亮，输出为0时，hdrLayer上就很暗，k个值就是0～255直接的数值。
需要说明的是，本申请实施例中还可以采用其他方式获取hdrLayer，对此不做具体限定。
在一种可能的实现方式中，高亮增强数据还包括元数据。元数据可以包括采集场景的动态范围、最大亮度、最小亮度等。显示端可以采用以下两种方式获取元数据：
一种方法是接收码流，解码流以得到元数据。
另一种方法是接收码流，解码流以得到采集场景的拍照参数，根据拍照参数计算得到元数据。
本申请实施例中，关于电子设备的初始背光亮度和目标背光亮度的获取方式如下：
电子设备具有背光技术，因此可以根据周围环境设置电子设备的初始背光亮度，可以参照相关背光技术，不再赘述。
为了得到较好的视觉体验，显示端可以结合元数据中与采集场景相关的亮度信息(例如，采集场景的动态范围、最大亮度、最小亮度等)对电子设备的背光进行调节，包括提升背光亮度或者降低背光亮度。相比于相关技术中，考虑到屏幕功耗而降低背光亮度的情况，可以提升背光亮度，以充分利用电子设备的屏幕的高动态范围(high dynamic range，HDR)，因此电子设备的目标背光亮度高于电子设备的初始背光亮度。
示例性的，显示端可以采用以下两种方法获取电子设备的目标背光亮度：
一种方法是根据预设背光调节比例对初始背光亮度进行处理以得到目标背光亮度。
显示端可以基于历史记录、大数据分析、电子设备的屏幕属性等预先设定一个比例，例如，背光提升比例(用于提升背光亮度，目标背光亮度＞初始背光亮度)或者背光降低比例(用于降低背光亮度，目标背光亮度＜初始背光亮度)。显示端可以根据该预设背光调节比例对初始背光亮度进行处理，例如，将预设背光调节比例与初始背光亮度相乘以得到目标背光亮度。
需要说明的是，上文描述的方法不构成限定，本申请实施例对预设背光调节比例的设置方式，以及目标背光亮度的获取方式均不作具体限定。
另一种方法是根据元数据获取背光调节比例；根据背光调节比例对初始背光亮度进行处理以得到目标背光亮度。
与上一方法的区别在于背光调节比例不是预先设定，可以由显示端计算得到。背光调节比例也可以是背光提升比例(用于提升背光亮度，目标背光亮度＞初始背光亮度)或者背光降低比例(用于降低背光亮度，目标背光亮度＜初始背光亮度)。
本申请实施例中，显示端可以根据采集场景的最大亮度获取第一比例，该第一比例是采集场景的人眼的亮度感知与白色漫反射感知的比例；根据第一比例获取第二比例，第二比例是显示端的人眼的亮度感知与白色漫反射感知的比例，该第二比例小于或等于第一比例；根据第二比例获取背光调节比例。
在不同的白色漫反射下，人眼对亮度感知通常满足幂函数，如图15所示，per＝lum1/γ，通常情况下，人眼在显示端的亮度感知小于在采集端的亮度感知，在白色漫反射相同的情况下，可以得到P2＝a×P1，a表示预设系数，a≤1。而最理想的状态下，人眼在显示端的亮度感知与在采集端的亮度感知一样，在白色漫反射相同的情况下，可以得到P1＝P2。
代入上述幂函数可以得到：
P1＝L11/γs
其中，Lmax表示采集场景的最大亮度；
P2＝(gainBL×L2)1/γd
其中，gainBL表示背光调节比例；
AmbientLum表示环境光强度；
根据P1和P2的等式关系可以得到背光调节比例：
最理想状态下，a＝1。
显示端可以根据背光调节比例对初始背光亮度进行处理，例如，将背光调节比例与初始背光亮度相乘以得到目标背光亮度。
需要说明的是，本申请实施例还可以采用其他方法获取背光调节比例，对此不做具体限定。
上述过程中，以尽可能趋近于达到人眼在显示端的亮度感知等于在采集端的亮度感知的最理想状态为目的，计算得到了电子设备的目标背光亮度，并将电子设备的背光亮度调节为目标背光亮度，使得待处理图像在显示端的显示效果符合人眼对真实采集场景下的亮度感知。但是，待处理图像中有一些HDR区域，经过前述背光调节后可能会失真，例如，当目标背光亮度大于初始背光亮度时，就是提升电子设备的背光亮度，此时待处理图像中的HDR区域可能会比较刺眼。
为了保证人眼在显示端的亮度感知尽可能趋近于在采集端的亮度感知，可以对待处理图像进行像素处理，调整部分区域的像素值，使得该部分区域的亮度和背光调节之前相同，避免刺眼。
本申请实施例可以采用以下方法调整部分区域的像素值：显示端根据hdrLayer获取目标权重。例如，显示端可以将hdrLayer中第一像素值除以预设阈值以得到第一像素值的第一权重值，该第一像素值是hdrLayer中的任意一个像素值，目标权重包括第一权重值；再根据目标权重对待处理图像进行亮度调节以得到目标图像。
例如，上述过程可以表示为如下公式：
pixelLow＝pow(1/gainBL,1/2.2)×pixelSrc；
weight＝hdrLayer/255；
pixelOut＝pixelSrc×weight+pixelLow×(1–weight)
其中，pow(1/gainBL,1/2.2)表示像素调整系数；pixelSrc表示待处理图像中的任意一个像素值；pixelLow表示前述任意一个像素值经调整后的像素值；weight表示目标权重；pixelOut表示前述任意一个像素值对应的目标像素值。
可选的，本申请实施例还可以将hdrLayer作为一个引导图片或参考图片，获取待处理图像中的像素值与目标图像中的像素值之间的对应关系，然后根据该对应关系对待处理图像的像素值进行处理，从而得到目标图像。
除此之外，本申请实施例还可以采用其他方法调整部分区域的像素值，获取目标图像，对此不做具体限定。
待处理图像中的所有像素都可以采用上述方法处理后，得到目标图像。可选的，当hdrLayer的分辨率小于或大于待处理图像的分辨率时，可以先对hdrLayer进行图像超分辨处理或者下采样处理，从而使得hdrLayer的分辨率和待处理图像的分辨率相等，然后再采用上述公式获取目标图像。
本申请实施例中，如果电子设备的背光亮度被提升，那么待处理图像的部分区域可能会过亮导致刺眼，因此基于hdrLayer的像素调整可以降低前述部分区域的像素亮度，从而避免刺眼；如果电子设备的背光亮度被降低，那么可能待处理图像的部分区域可能会过暗导致细节缺失，因此基于hdrLayer的像素调整可以提升前述部分区域的像素亮度，从而避免细节缺失。
第二方面，本申请提供一种编码方法，包括：获取待处理图像；获取元数据，所述元数据包括采集场景的最大亮度；对所述待处理图像和所述元数据进行编码以得到第一码流。
采集端使用任意采集设备，例如摄像机，针对同一场景，采集多帧不同曝光条件下的图片，例如，采集长曝光图片(L(long)帧)、正常曝光图片(N(normal)帧)和短曝光图片(S(short)帧)，其中，L帧的曝光时间较长，这样场景中很暗的区域也能拍清楚，但是亮的区域会过曝；N帧是正常曝光帧，场景中的中等亮度的区域会很好，但是很亮的区域会过曝，很暗的区域又会看不清；S帧的曝光时间较短，这样场景中很亮的区域不会过曝，但是中等亮度和暗的区域会偏暗、看不清。对多帧图片(L帧、N帧和S帧)进行多帧融合，生成一张高比特(bit)的图片，该高bit的图片融合了L帧、N帧和S帧，可以具备多帧的优势并摒除多帧各自的劣势，例如，场景中很亮的区域不会过曝，中等亮度的区域很好，很暗的区域也很清楚。再对高bit的图片经过动态范围压缩(dynamic range compress，DRC)等处理得到一张8bit的融合图片。本申请实施例中，上述8bit的融合图片即为待处理图像。
在图片经过DRC处理时，采集端可以获取采集场景的动态范围、最大亮度、最小亮度等元数据(metadata)信息。采集场景是采集端采集待处理图像(原图)时的场景，例如，采集场景为中午的室外、天黑后的室外、阴天的室外、有灯光的室内等等。
在一种可能的实现方式中，采集端可以根据上述L帧、N帧和S帧获取元数据。
在一种可能的实现方式中，采集端可以根据预先设定的拍照参数计算得到所述元数据。
采集端在获取待处理图像和元数据后，可以对二者进行编码以得到第一码流，其中，采集端对待处理图像进行编码所采用的的编码方式可以包括标准的混合视频编码技术，端到端编码网络，基于机器学习模型的编码技术，等等，本申请实施例对待处理图像的编码方式不做具体限定；对元数据可以将其编码进码流的保留字段中，例如JPG的appn字段。此外采集端还可以采用其他方法对元数据进行编码，对此不做具体限定。
本申请实施例可以获取高动态范围图层(hdrLayer)，hdrLayer可以是二维单通道8bit的图像，用于标记待处理图像中的高亮区域，hdrLayer的分辨率可以等于待处理图像的分辨率，hdrLayer的分辨率也可以小于或大于待处理图像的分辨率，当hdrLayer的分辨率小于或大于待处理图像的分辨率时，显示端可以对hdrLayer进行图像超分辨处理或者下采样处理，从而和待处理图像匹配，这样可以减小存储空间，本申请实施例对此不做具体限定。或者，hdrLayer也可以呈现为二维数组、三维数组或其他维度的数组等任意可以存储多个参数的数据形式。本申请对hdrLayer的具体形式不做限定。
hdrLayer为灰度图，可以标记出原图高亮的区域，数值越大，表示原图亮度越大，因此对应原图像亮度较高的区域，hdrLayer呈现的较亮，对应原图像亮度较低的区域，hdrLayer呈现的较暗。
hdrLayer主要是辅助显示端对图像进行亮度调节，以适应人眼感知，因此显示端需要获取到hdrLayer，而为了配合显示端获取hdrLayer，采集端可以采用以下两种方式：
一种方式是，采集端生成N×M组参数，每组参数包括k个参数，N×M组参数与待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；对N×M组参数进行编码以得到第二码流。
上述N×M组参数的作用是生成hdrLayer，因此为了节省码流，采集端可以不直接生成hdrLayer，而是将用于生成hdrLayer的N×M组参数编码后得到的第二码流传输给显示端，再由显示端解码流恢复出N×M组参数，再根据该N×M组参数生成hdrLayer，这样可以提高传输效率。
采集端除了获取元数据，还可以生成N×M组参数，再将元数据、待处理图像和N×M组参数进行编码得到第一码流和第二码流，进而可以将第一码流和第二码流传输给显示端。需要说明的是，第一码流和第二码流可以先后串接合并为一个码流，也可以以其他预设方式融合为一个码流，还可以作为单独的码流逐一传输，对此不做具体限定。
另一种方式是，采集端生成N×M组参数，每组参数包括k个参数，N×M组参数与待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据N×M组参数分别对对应的图像块进行处理以得到高动态范围图层hdrLayer；对hdrLayer进行编码以得到第三码流。
采集端也可以根据N×M组参数生成hdrLayer，再将hdrLayer编码后得到的第三码流传输给显示端，再由显示端解码流恢复出hdrLayer，这样可以提高显示端的处理效率。
采集端除了获取元数据，还可以生成hdrLayer，再将元数据、待处理图像和hdrLayer进行编码得到第一码流和第三码流，进而可以将第一码流和第三码流传输给显示端。需要说明的是，第一码流和第三码流可以先后串接合并为一个码流，也可以以其他预设方式融合为一个码流，还可以作为单独的码流逐一传输，对此不做具体限定。
此外，采集端也可以除了传输第一码流外，将第二码流和第三码流均传输给显示端，此时，第一码流、第二码流和第三码流可以先后串接合并为一个码流，也可以以预设方式融合为一个码流，还可以作为单独的码流逐一传输，对此不做具体限定。
本申请实施例中，N×M组参数可以通过机器学习模型得到；或者，N×M组参数也可以基于待处理图像的直方图得到。N×M组参数的获取方式可以参照第一方面中的相关描述，此处不再赘述。
第三方面，本申请提供一种应用于电子设备的图像显示装置，包括：获取模块，用于获取待处理图像；获取高亮增强数据，所述高亮增强数据包括高动态范围图层hdrLayer；获取所述电子设备的初始背光亮度；根据所述初始背光亮度获取所述电子设备的目标背光亮度；调节模块，用于根据所述hdrLayer对所述待处理图像进行亮度调节以得到适用于所述目标背光亮度的目标图像；显示模块，用于在所述目标背光亮度下显示所述目标图像。
在一种可能的实现方式中，所述获取模块，具体用于接收码流，解码所述码流以得到所述hdrLayer。
在一种可能的实现方式中，所述获取模块，具体用于接收码流，解码所述码流以得到N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到所述hdrLayer。
在一种可能的实现方式中，所述获取模块，具体用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到所述hdrLayer。
在一种可能的实现方式中，所述获取模块，具体用于根据预设背光调节比例对所述初始背光亮度进行处理以得到所述目标背光亮度。
在一种可能的实现方式中，所述高亮增强数据还包括元数据；所述获取模块，具体用于根据所述元数据获取背光调节比例；根据所述背光调节比例对所述初始背光亮度进行处理以得到所述目标背光亮度。
在一种可能的实现方式中，所述调节模块，具体用于根据所述hdrLayer获取目标权重；根据所述目标权重对所述待处理图像进行亮度调节以得到所述目标图像。
在一种可能的实现方式中，所述调节模块，具体用于将所述hdrLayer中第一像素值除以预设阈值以得到所述第一像素值的第一权重值，所述第一像素值是所述hdrLayer中的任意一个像素值，所述目标权重包括所述第一权重值。
在一种可能的实现方式中，所述调节模块，具体用于获取像素调整系数；根据所述像素调整系数和所述待处理图像获取经调整的图像；根据所述待处理图像、所述经调整的图像和所述目标权重获取所述目标图像。
在一种可能的实现方式中，所述N×M组参数通过机器学习模型得到；或者，所述N×M组参数基于所述待处理图像的直方图得到。
在一种可能的实现方式中，所述元数据包括采集场景的最大亮度；所述获取模块，具体用于根据所述采集场景的最大亮度获取第一比例，所述第一比例是所述采集场景的人眼的亮度感知与白色漫反射感知的比例；根据所述第一比例获取第二比例，所述第二比例是显示端的人眼的亮度感知与白色漫反射感知的比例，所述第二比例小于或等于所述第一比例；根据所述第二比例获取所述背光调节比例。
在一种可能的实现方式中，所述获取模块，具体用于根据以下公式计算得到所述第一比例：
P1＝L11/γs
其中，P1表示所述第一比例；
Lmax表示所述采集场景的最大亮度；
在一种可能的实现方式中，所述获取模块，具体用于根据以下公式计算得到所述第二比例：
P2＝a×P1
其中，P2表示所述第二比例；
a表示预设系数，a≤1。
在一种可能的实现方式中，所述获取模块，具体用于根据以下公式计算得到所述背光调节比例：
其中，gainBL表示所述背光调节比例；
AmbientLum表示环境光强度；
在一种可能的实现方式中，所述元数据是通过以下方式获取的：解码码流以得到所述元数据；或者，接收码流，解码码流以得到采集场景的拍照参数，再根据所述拍照参数计算得到所述元数据。
在一种可能的实现方式中，所述元数据还包括所述采集场景的最小亮度和/或所述采集场景的动态范围。
第四方面，本申请提供一种编码装置，包括：获取模块，用于获取待处理图像；获取元数据，所述元数据包括采集场景的最大亮度；编码模块，用于对所述待处理图像和所述元数据进行编码以得到第一码流。
在一种可能的实现方式中，所述获取模块，还用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；所述编码模块，还用于对所述N×M组参数进行编码以得到第二码流。
在一种可能的实现方式中，所述获取模块，还用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到高动态范围图层hdrLayer；所述编码模块，还用于对所述hdrLayer进行编码以得到第三码流。
在一种可能的实现方式中，所述N×M组参数通过机器学习模型得到；或者，所述N×M组参数基于所述待处理图像的直方图得到。
在一种可能的实现方式中，所述获取模块，具体用于根据长曝光图片、正常曝光图片和短曝光图片获取所述元数据；或者，根据预先设定的拍照参数计算得到所述元数据。
在一种可能的实现方式中，所述元数据还包括所述采集场景的最小亮度和/或所述采集场景的动态范围。
第五方面，本申请提供一种解码器，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。
第六方面，本申请提供一种编码器，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第二方面中任一项所述的方法。
第七方面，本申请提供一种计算机可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行上述第一至二方面中任一项所述的方法。
第八方面，本申请提供一种计算机程序产品，所述计算机程序产品中包含指令，其特征在于，当所述指令在计算机或处理器上运行时，使得所述计算机或所述处理器实现上述第一至二方面中任一项所述的方法。
第九方面，本申请提供一种码流，该码流可以存储在计算机可读存储介质中，或通过电磁波等信号形式进行传输，该码流中包括经编码的图像数据和元数据，元数据包括采集场景的最大亮度。采集场景为采集编码前的图像时的场景。
第十方面，本申请提供一种图像采集显示系统，包括采集端电子设备和显示端电子设备，采集端电子设备可以包括上述第六方面的编码器，显示端电子设备可以包括上述第五方面的解码器。
第十一方面，本申请提供一种芯片系统，其特征在于，所述芯片系统包括逻辑电路和输入输出接口，其中：所述输入输出接口用于与所述芯片系统之外的其他通信装置进行通信，所述逻辑电路用于执行如上述第一至第二方面中任一项所述的方法。
第十二方面，本申请提供3.一种计算机可读存储介质，其上存储待解码的码流，或者存储有编码得到的码流，所述码流通过第二方面或第二方面的任一种实现方式的编码方法得到。
附图说明
图1为图像采集显示系统的示意图；
图2A为示例性的译码系统10的示意性框图；
图2B是视频译码系统40的实例的说明图；
图3为本发明实施例提供的视频译码设备300的示意图；
图4为示例性实施例提供的装置400的简化框图；
图5为本申请实施例的图像编码方法的过程500的流程图；
图6为图像多帧融合的示意图；
图7为采集端编码过程的示意图；
图8a和图8b为hdrLayer的示意图；
图9为采集端编码过程的示意图；
图10为采集端编码过程的示意图；
图11为N×M组参数的生成示意图；
图12为值域插值的示意图；
图13为空域插值的示意图；
图14为本申请实施例的图像处理方法的过程1400的流程图；
图15为人眼对亮度感知和白色漫反射的示意图；
图16为显示端的处理过程的示意图；
图17为本申请实施例图像处理装置1700的一个示例性的结构示意图；
图18为本申请实施例编码装置1800的一个示例性的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书实施例和权利要求书及附图中的术语“第一”、“第二”等仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
本申请实施例涉及机器学习模型的应用，为了便于理解，下面先对相关名词或术语进行解释说明：
1、神经网络
神经网络(neural network，NN)是机器学习模型，神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是ReLU等非线性函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部感受野(local receptive field)相连，来提取局部感受野的特征，局部感受野可以是由若干个神经单元组成的区域。
2、多层感知器(multi-layer perception，MLP)
MLP是一种简单的深度神经网络(deep neural network，DNN)(不同层之间是全连接的)，也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，/>是输入向量，/>是输出向量，/>是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量/>经过如此简单的操作得到输出向量/>由于DNN层数多，则系数W和偏移向量/>的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为/>上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为/>需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
3、卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。卷积神经网络包含了一个由卷积层和池化层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。
卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。卷积层可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络进行正确的预测。当卷积神经网络有多个卷积层的时候，初始的卷积层往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络深度的加深，越往后的卷积层提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
在经过卷积层/池化层的处理后，卷积神经网络还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络需要利用神经网络层来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层中可以包括多层隐含层，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。
可选的，在神经网络层中的多层隐含层之后，还包括整个卷积神经网络的输出层，该输出层具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络的前向传播完成，反向传播就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络的损失，及卷积神经网络通过输出层输出的结果和理想结果之间的误差。
4、循环神经网络
循环神经网络(recurrent neural networks，RNN)是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐含层本层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。同样使用误差反向传播算法，不过有一点区别：即，如果将RNN进行网络展开，那么其中的参数，如W，是共享的；而如上举例上述的传统神经网络却不是这样。并且在使用梯度下降算法中，每一步的输出不仅依赖当前步的网络，还依赖前面若干步网络的状态。该学习算法称为基于时间的反向传播算法(Back propagation Through Time，BPTT)。
既然已经有了卷积神经网络，为什么还要循环神经网络？原因很简单，在卷积神经网络中，有一个前提假设是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但现实世界中，很多元素都是相互连接的，比如股票随时间的变化，再比如一个人说了：我喜欢旅游，其中最喜欢的地方是云南，以后有机会一定要去。这里填空，人类应该都知道是填“云南”。因为人类会根据上下文的内容进行推断，但如何让机器做到这一步？RNN就应运而生了。RNN旨在让机器像人一样拥有记忆的能力。因此，RNN的输出就需要依赖当前的输入信息和历史的记忆信息。
5、损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
6、反向传播算法
卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。
7、生成式对抗网络
生成式对抗网络(generative adversarial networks，GAN)是一种深度学习模型。该模型中至少包括两个模块：一个模块是生成模型(Generative Model)，另一个模块是判别模型(Discriminative Model)，通过这两个模块互相博弈学习，从而产生更好的输出。生成模型和判别模型都可以是神经网络，具体可以是深度神经网络，或者卷积神经网络。GAN的基本原理如下：以生成图片的GAN为例，假设有两个网络，G(Generator)和D(Discriminator)，其中G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)；D是一个判别网络，用于判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表130％是真实的图片，如果为0，就代表不可能是真实的图片。在对该生成式对抗网络进行训练的过程中，生成网络G的目标就是尽可能生成真实的图片去欺骗判别网络D，而判别网络D的目标就是尽量把G生成的图片和真实的图片区分开来。这样，G和D就构成了一个动态的“博弈”过程，也即“生成式对抗网络”中的“对抗”。最后博弈的结果，在理想的状态下，G可以生成足以“以假乱真”的图片G(z)，而D难以判定G生成的图片究竟是不是真实的，即D(G(z))＝0.5。这样就得到了一个优异的生成模型G，它可以用来生成图片。
图1为图像采集显示系统的示意图，如图1所示，在图像采集显示系统中，通常采集端(例如，摄像机、照相机、监控摄像头等电子设备)负责图像视频采集，记录场景内容，并对图像进行编码压缩，显示端(例如，手机、平板、智慧屏等电子设备)负责解码重建得到图像，并根据环境光的强弱自适应的调整屏幕亮度(即自动背光技术)。
手机、平板、智慧屏等电子设备作为显示端，基本上都有自动背光技术，其主要考虑的是屏幕亮度对人眼的舒适性。定义一个最佳舒适区间，包括舒适性上限(太亮会刺眼)和舒适性下限(太暗看不清)，同时考虑屏幕功耗，亮度越大功耗越大，所以通常会根据舒适性下限值调整屏幕亮度。目前电子设备的屏幕的峰值亮度可以达到1000nit甚至更高，但是，自动背光技术中，只使用了较低的屏幕亮度，例如，普通室内环境光下，手机背光亮度设置为100-200nit，还有很大的亮度范围未使用，没有充分利用屏幕的亮度范围进行图像显示来实现端到端呈现出最佳的效果体验。
需要说明的是，上述内容示例性的描述了图像采集显示系统的一种实施方式。可选的，采集端和显示端的部分或全部功能也可以集成于同一个电子设备上；或者，图像采集和图像编码可以由不同的电子设备实现，本申请实施例所提供的方法用于具有图像编码和/或解码功能的电子设备；或者，图像解码功能和显示功能也可以由不同的电子设备实现，例如投屏显示或外接显示屏等场景。总之，本申请实施例对使用场景不做具体限定。
为此，本申请实施例提供了一种图像编码和处理方法，以充分利用屏幕的亮度范围进行图像显示来实现端到端呈现出最佳的效果体验。
以图1所示的图像采集显示系统为例，采集端除了采集图像外，还具有编码图像的功能，显示端在显示图像之前，要先解码重建图像，因此图像采集显示系统还可以看作一个译码系统。图2A为示例性的译码系统10的示意性框图。译码系统10中的视频编码器20(或简称为编码器20)和视频解码器30(或简称为解码器30)可用于执行本申请实施例中描述的各种示例的方案。
如图2A所示，译码系统10包括源设备12，源设备12用于将编码图像等编码图像数据21提供给用于对编码图像数据21进行解码的目的设备14。
源设备12包括编码器20，另外即可选地，可包括图像源16、图像预处理器等预处理器(或预处理单元)18、通信接口(或通信单元)22。
图像源16可包括或可以为任意类型的用于捕获现实世界图像等的图像捕获设备，和/或任意类型的图像生成设备，例如用于生成计算机动画图像的计算机图形处理器或任意类型的用于获取和/或提供现实世界图像、计算机生成图像(例如，屏幕内容、虚拟现实(virtual reality，VR)图像和/或其任意组合(例如增强现实(augmented reality，AR)图像)的设备。所述图像源可以为存储上述图像中的任意图像的任意类型的内存或存储器。
为了区分预处理器(或预处理单元)18执行的处理，图像(或图像数据)17也可称为原始图像(或原始图像数据)17。
预处理器18用于接收(原始)图像数据17，并对图像数据17进行预处理，得到预处理图像(或预处理图像数据)19。例如，预处理器18执行的预处理可包括修剪、颜色格式转换(例如从RGB转换为YCbCr)、调色或去噪。可以理解的是，预处理单元18可以为可选组件。
视频编码器(或编码器)20用于接收预处理图像数据19并提供编码图像数据21(下面将根据图3等进一步描述)。
源设备12中的通信接口22可用于：接收编码图像数据21并通过通信信道13向目的设备14等另一设备或任何其它设备发送编码图像数据21(或其它任意处理后的版本)，以便存储或直接重建。
目的设备14包括解码器30，另外即可选地，可包括通信接口(或通信单元)28、后处理器(或后处理单元)32和显示设备34。
目的设备14中的通信接口28用于直接从源设备12或从存储设备等任意其它源设备接收编码图像数据21(或其它任意处理后的版本)，例如，存储设备为编码图像数据存储设备，并将编码图像数据21提供给解码器30。
通信接口22和通信接口28可用于通过源设备12与目的设备14之间的直连通信链路，例如直接有线或无线连接等，或者通过任意类型的网络，例如有线网络、无线网络或其任意组合、任意类型的私网和公网或其任意类型的组合，发送或接收编码图像数据(或编码数据)21。
例如，通信接口22可用于将编码图像数据21封装为报文等合适的格式，和/或使用任意类型的传输编码或处理来处理所述编码后的图像数据，以便在通信链路或通信网络上进行传输。
通信接口28与通信接口22对应，例如，可用于接收传输数据，并使用任意类型的对应传输解码或处理和/或解封装对传输数据进行处理，得到编码图像数据21。
通信接口22和通信接口28均可配置为如图2A中从源设备12指向目的设备14的对应通信信道13的箭头所指示的单向通信接口，或双向通信接口，并且可用于发送和接收消息等，以建立连接，确认并交换与通信链路和/或例如编码后的图像数据传输等数据传输相关的任何其它信息，等等。
视频解码器(或解码器)30用于接收编码图像数据21并提供解码图像数据(或解码图像数据)31(下面将根据图4等进一步描述)。
后处理器32用于对解码后的图像等解码图像数据31(也称为重建后的图像数据)进行后处理，得到后处理后的图像等后处理图像数据33。后处理单元32执行的后处理可以包括例如颜色格式转换(例如从YCbCr转换为RGB)、调色、修剪或重采样，或者用于产生供显示设备34等显示的解码图像数据31等任何其它处理。
显示设备34用于接收后处理图像数据33，以向用户或观看者等显示图像。显示设备34可以为或包括任意类型的用于表示重建后图像的显示器，例如，集成或外部显示屏或显示器。例如，显示屏可包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微型LED显示器、硅基液晶显示器(liquid crystal on silicon，LCoS)、数字光处理器(digital lightprocessor，DLP)或任意类型的其它显示屏。
译码系统10还包括训练引擎25，训练引擎25用于训练编码器20或解码器30，尤其是编码器20或解码器30中用到的神经网络(下文将详细描述)。
本申请实施例中训练数据可以存入数据库(未示意)中，训练引擎25基于训练数据训练得到神经网络。需要说明的是，本申请实施例对于训练数据的来源不做限定，例如可以是从云端或其他地方获取训练数据进行模型训练。
尽管图2A示出了源设备12和目的设备14作为独立的设备，但设备实施例也可以同时包括源设备12和目的设备14或同时包括源设备12和目的设备14的功能，即同时包括源设备12或对应功能和目的设备14或对应功能。在这些实施例中，源设备12或对应功能和目的设备14或对应功能可以使用相同硬件和/或软件或通过单独的硬件和/或软件或其任意组合来实现。
根据描述，图2A所示的源设备12和/或目的设备14中的不同单元或功能的存在和(准确)划分可能根据实际设备和应用而有所不同，这对技术人员来说是显而易见的。
编码器20(例如视频编码器20)或解码器30(例如视频解码器30)或两者都可通过如图2B所示的处理电路实现，例如一个或多个微处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、离散逻辑、硬件、视频编码专用处理器或其任意组合。编码器20和解码器30分别可以通过处理电路46实现。所述处理电路46可用于执行下文论述的各种操作。如果部分技术在软件中实施，则设备可以将软件的指令存储在合适的非瞬时性计算机可读存储介质中，并且使用一个或多个处理器在硬件中执行指令，从而执行本申请技术。编码器20和解码器30中的其中一个可作为组合编解码器(encoder/decoder，CODEC)的一部分集成在单个设备中，如图2B所示。
源设备12和目的设备14可包括各种设备中的任一种，包括任意类型的手持设备或固定设备，例如，笔记本电脑或膝上型电脑、智能手机、平板或平板电脑、相机、台式计算机、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备(例如，内容业务服务器或内容分发服务器)，等等，并可以不使用或使用任意类型的操作系统。在一些情况下，源设备12和目的设备14可配备用于无线通信的组件。因此，源设备12和目的设备14可以是无线通信设备。
在一些情况下，图2A所示的译码系统10仅仅是示例性的，本申请提供的技术可适用于视频译码设备(例如，视频编码或视频解码)，这些设备不一定包括编码设备与解码设备之间的任何数据通信。在其它示例中，数据从本地存储器中检索，通过网络发送，等等。视频编码设备可以对数据进行编码并将数据存储到存储器中，和/或视频解码设备可以从存储器中检索数据并对数据进行解码。在一些示例中，编码和解码由相互不通信而只是编码数据到存储器和/或从存储器中检索并解码数据的设备来执行。
图2B是视频译码系统40的实例的说明图。视频译码系统40可以包含成像设备41、视频编码器20、视频解码器30(和/或藉由处理电路46实施的视频编/解码器)、天线42、一个或多个处理器43、一个或多个内存存储器44和/或显示设备45。
如图2B所示，成像设备41、天线42、处理电路46、视频编码器20、视频解码器30、处理器43、内存存储器44和/或显示设备45能够互相通信。在不同实例中，视频译码系统40可以只包含视频编码器20或只包含视频解码器30。
在一些实例中，天线42可以用于传输或接收视频数据的经编码比特流。另外，在一些实例中，显示设备45可以用于呈现视频数据。处理电路46可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。视频译码系统40也可以包含可选的处理器43，该可选处理器43类似地可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。另外，内存存储器44可以是任何类型的存储器，例如易失性存储器(例如，静态随机存取存储器(static random access memory，SRAM)、动态随机存储器(dynamic random accessmemory，DRAM)等)或非易失性存储器(例如，闪存等)等。在非限制性实例中，内存存储器44可以由超速缓存内存实施。在其它实例中，处理电路46可以包含存储器(例如，缓存等)用于实施图像缓冲器等。
在一些实例中，通过逻辑电路实施的视频编码器20可以包含(例如，通过处理电路46或内存存储器44实施的)图像缓冲器和(例如，通过处理电路46实施的)图形处理单元。图形处理单元可以通信耦合至图像缓冲器。图形处理单元可以包含通过处理电路46实施的视频编码器20。逻辑电路可以用于执行本文所论述的各种操作。
在一些实例中，视频解码器30可以以类似方式通过处理电路46实施，以实施参照图4的视频解码器30和/或本文中所描述的任何其它解码器系统或子系统所论述的各种模块。在一些实例中，逻辑电路实施的视频解码器30可以包含(通过处理电路46或内存存储器44实施的)图像缓冲器和(例如，通过处理电路46实施的)图形处理单元。图形处理单元可以通信耦合至图像缓冲器。图形处理单元可以包含通过处理电路46实施的视频解码器30。
在一些实例中，天线42可以用于接收视频数据的经编码比特流。如所论述，经编码比特流可以包含本文所论述的与编码视频帧相关的数据、指示符、索引值、模式选择数据等，例如与编码分割相关的数据(例如，变换系数或经量化变换系数，(如所论述的)可选指示符，和/或定义编码分割的数据)。视频译码系统40还可包含耦合至天线42并用于解码经编码比特流的视频解码器30。显示设备45用于呈现视频帧。
应理解，本申请实施例中对于参考视频编码器20所描述的实例，视频解码器30可以用于执行相反过程。关于信令语法元素，视频解码器30可以用于接收并解析这种语法元素，相应地解码相关视频数据。在一些例子中，视频编码器20可以将语法元素熵编码成经编码视频比特流。在此类实例中，视频解码器30可以解析这种语法元素，并相应地解码相关视频数据。
为便于描述，参考通用视频译码(Versatile video coding，VVC)参考软件或由ITU-T视频译码专家组(Video Coding Experts Group，VCEG)和ISO/IEC运动图像专家组(Motion Picture Experts Group，MPEG)的视频译码联合工作组(Joint CollaborationTeam on Video Coding，JCT-VC)开发的高性能视频译码(High-Efficiency VideoCoding，HEVC)描述本发明实施例。本领域普通技术人员理解本发明实施例不限于HEVC或VVC。
图3为本发明实施例提供的视频译码设备300的示意图。视频译码设备300适用于实现本文描述的公开实施例。在一个实施例中，视频译码设备300可以是解码器，例如图2A中的视频解码器30，也可以是编码器，例如图2A中的视频编码器20。
视频译码设备300包括：用于接收数据的入端口310(或输入端口310)和接收单元(receiver unit，Rx)320；用于处理数据的处理器、逻辑单元或中央处理器(centralprocessing unit，CPU)330；例如，这里的处理器330可以是神经网络处理器330；用于传输数据的发送单元(transmitter unit，Tx)340和出端口350(或输出端口350)；用于存储数据的存储器360。视频译码设备300还可包括耦合到入端口310、接收单元320、发送单元340和出端口350的光电(optical-to-electrical，OE)组件和电光(electrical-to-optical，EO)组件，用于光信号或电信号的出口或入口。
处理器330通过硬件和软件实现。处理器330可实现为一个或多个处理器芯片、核(例如，多核处理器)、FPGA、ASIC和DSP。处理器330与入端口310、接收单元320、发送单元340、出端口350和存储器360通信。处理器330包括译码模块370(例如，基于神经网络NN的译码模块370)。译码模块370实施上文所公开的实施例。例如，译码模块370执行、处理、准备或提供各种编码操作。因此，通过译码模块370为视频译码设备300的功能提供了实质性的改进，并且影响了视频译码设备300到不同状态的切换。或者，以存储在存储器360中并由处理器330执行的指令来实现译码模块370。
存储器360包括一个或多个磁盘、磁带机和固态硬盘，可以用作溢出数据存储设备，用于在选择执行程序时存储此类程序，并且存储在程序执行过程中读取的指令和数据。存储器360可以是易失性和/或非易失性的，可以是只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、三态内容寻址存储器(ternary content-addressable memory，TCAM)和/或静态随机存取存储器(static random-access memory，SRAM)。
图4为示例性实施例提供的装置400的简化框图，装置400可用作图2A中的源设备12和目的设备14中的任一个或两个。
装置400中的处理器402可以是中央处理器。或者，处理器402可以是现有的或今后将研发出的能够操控或处理信息的任何其它类型设备或多个设备。虽然可以使用如图所示的处理器402等单个处理器来实施已公开的实现方式，但使用一个以上的处理器速度更快和效率更高。
在一种实现方式中，装置400中的存储器404可以是只读存储器(ROM)设备或随机存取存储器(RAM)设备。任何其它合适类型的存储设备都可以用作存储器404。存储器404可以包括处理器402通过总线412访问的代码和数据406。存储器404还可包括操作系统408和应用程序410，应用程序410包括允许处理器402执行本文所述方法的至少一个程序。例如，应用程序410可以包括应用1至N，还包括执行本文所述方法的视频译码应用。
装置400还可以包括一个或多个输出设备，例如显示器418。在一个示例中，显示器418可以是将显示器与可用于感测触摸输入的触敏元件组合的触敏显示器。显示器418可以通过总线412耦合到处理器402。
虽然装置400中的总线412在本文中描述为单个总线，但是总线412可以包括多个总线。此外，辅助储存器可以直接耦合到装置400的其它组件或通过网络访问，并且可以包括存储卡等单个集成单元或多个存储卡等多个单元。因此，装置400可以具有各种各样的配置。
基于上述系统，下文将对本申请实施例提供的方法进行详细说明。
图5为本申请实施例的图像编码方法的过程500的流程图。过程500可由上文的采集端电子设备(亦即视频编码器20)执行。过程500描述为一系列的步骤或操作，应当理解的是，过程500可以以各种顺序执行和/或同时发生，不限于图5所示的执行顺序。过程500可以包括：
步骤501、获取待处理图像。
图6为图像多帧融合的示意图，如图6所示，采集端使用任意采集设备，例如摄像机，针对同一场景，采集多帧不同曝光条件下的图片，例如，采集长曝光图片(L(long)帧)、正常曝光图片(N(normal)帧)和短曝光图片(S(short)帧)，其中，L帧的曝光时间较长，这样场景中很暗的区域也能拍清楚，但是亮的区域会过曝；N帧是正常曝光帧，场景中的中等亮度的区域会很好，但是很亮的区域会过曝，很暗的区域又会看不清；S帧的曝光时间较短，这样场景中很亮的区域不会过曝，但是中等亮度和暗的区域会偏暗、看不清。对多帧图片(L帧、N帧和S帧)进行多帧融合，生成一张高比特(bit)的图片，该高bit的图片融合了L帧、N帧和S帧，可以具备多帧的优势并摒除多帧各自的劣势，例如，场景中很亮的区域不会过曝，中等亮度的区域很好，很暗的区域也很清楚。再对高bit的图片经过动态范围压缩(dynamicrange compress，DRC)等处理得到一张8bit的融合图片。
本申请实施例中，上述8bit的融合图片即为待处理图像。
步骤502、获取元数据，该元数据包括采集场景的最大亮度。
在图片经过DRC处理时，采集端可以获取采集场景的动态范围、最大亮度、最小亮度等元数据(metadata)信息。采集场景是采集端采集待处理图像(原图)时的场景，例如，采集场景为中午的室外、天黑后的室外、阴天的室外、有灯光的室内等等。
在一种可能的实现方式中，采集端可以根据上述L帧、N帧和S帧获取元数据。
如上所述，把L帧，N帧和S帧三帧进行融合，既可以使得高亮区亮度不丢失，也可以使得很暗区能看得见，可见多帧融合可以得到高动态范围的相关信息，进而生成元数据。
在一种可能的实现方式中，采集端可以根据预先设定的拍照参数计算得到所述元数据。
示例性的，采集端选取一个基准，例如，真实的采集场景的最大亮度为baseLum(255对应的亮度)，标记出待处理图像中各个像素值对应的亮度，存为lumLUT[256]，亦即，真实场景的亮度和图片像素值的一一对应关系，图像像素值的范围为0～255，共256个值，选取的基准就是让各个像素值和场景真实亮度值一一对应，用minval标记像素的图像灰阶，对应的感光度(ISO)为baseISO，曝光时间为baseExp。实拍时，N帧的ISO为curISO，曝光时间为curExp，S帧降电子伏特(electron volt，EV)对应的收益为Dgain，亦即，S帧是通过降EV实现的，EV有不同大小，不同大小对应不同的Dgain，如果没有S帧，Dgain为1。则采集场景的最大亮度maxLumScene和最小量度minLumScene可以采用以下方法计算：
maxLumScene＝(baseISO/curISO)Dgain×(curExp/baseExp)×baseLum
minLumScene＝(baseISO/curISO)Dgain×(curExp/baseExp)×lumLUT[minval]
需要说明的是，本申请实施例还可以采用其他方法获取采集场景的最大亮度和最小量度，对此不做具体限定。
步骤503、对待处理图像和元数据进行编码以得到第一码流。
采集端在获取待处理图像和元数据后，可以对二者进行编码以得到第一码流，其中，采集端对待处理图像进行编码所采用的的编码方式可以包括标准的混合视频编码技术，端到端编码网络，基于机器学习模型的编码技术，等等，本申请实施例对待处理图像的编码方式不做具体限定；对元数据可以将其编码进码流的保留字段中，例如JPG的appn字段。此外采集端还可以采用其他方法对元数据进行编码，对此不做具体限定。
图7为采集端编码过程的示意图，如图7所示，采集端可以在图片经过DRC处理时，采用步骤502的方法获取元数据，再采用步骤503的方法对待处理图像和元数据进行编码得到第一码流，进而可以将第一码流传输给显示端。
在一种可能的实现方式中，本申请实施例可以获取一张高动态范围图层(hdrLayer)，hdrLayer可以是一张二维单通道8bit的图像，用于标记待处理图像中的高亮区域，hdrLayer的分辨率可以等于待处理图像的分辨率，hdrLayer的分辨率也可以小于或大于待处理图像的分辨率，当hdrLayer的分辨率小于或大于待处理图像的分辨率时，显示端可以对hdrLayer进行图像超分辨处理或下采样处理，从而和待处理图像匹配，这样可以减小存储空间，本申请实施例对此不做具体限定。或者，hdrLayer也可以呈现为二维数组、三维数组或其他维度的数组等任意可以存储多个参数的数据形式。本申请对hdrLayer的具体形式不做限定。图8a和图8b为hdrLayer的示意图，如图8a和图8b所示，hdrLayer为灰度图，可以标记出原图高亮的区域，数值越大，表示原图亮度越大，因此对应原图像亮度较高的区域，hdrLayer呈现的较亮，对应原图像亮度较低的区域，hdrLayer呈现的较暗。
hdrLayer主要是辅助显示端对图像进行亮度调节，以适应人眼感知，因此显示端需要获取到hdrLayer，而为了配合显示端获取hdrLayer，采集端可以采用以下两种方式：
一种方式是，采集端生成N×M组参数，每组参数包括k个参数，N×M组参数与待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；对N×M组参数进行编码以得到第二码流。
上述N×M组参数的作用是生成hdrLayer，因此为了节省码流，采集端可以不直接生成hdrLayer，而是将用于生成hdrLayer的N×M组参数编码后得到的第二码流传输给显示端，再由显示端解码流恢复出N×M组参数，再根据该N×M组参数生成hdrLayer，这样可以提高传输效率。
图9为采集端编码过程的示意图，如图9所示，采集端除了获取元数据，还可以生成N×M组参数，再将元数据、待处理图像和N×M组参数进行编码得到第一码流和第二码流，进而可以将第一码流和第二码流传输给显示端。需要说明的是，第一码流和第二码流可以先后串接合并为一个码流，也可以以预设方式融合为一个码流，还可以作为单独的码流逐一传输，对此不做具体限定。
另一种方式是，采集端生成N×M组参数，每组参数包括k个参数，N×M组参数与待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据N×M组参数分别对对应的图像块进行处理以得到高动态范围图层hdrLayer；对hdrLayer进行编码以得到第三码流。
采集端也可以根据N×M组参数生成hdrLayer，再将hdrLayer编码后得到的第三码流传输给显示端，再由显示端解码流恢复出hdrLayer，这样可以提高显示端的处理效率。
图10为采集端编码过程的示意图，如图10所示，采集端除了获取元数据，还可以生成hdrLayer，再将元数据、待处理图像和hdrLayer进行编码得到第一码流和第三码流，进而可以将第一码流和第三码流传输给显示端。需要说明的是，第一码流和第三码流可以先后串接合并为一个码流，也可以以预设方式融合为一个码流，还可以作为单独的码流逐一传输，对此不做具体限定。
此外，采集端也可以除了传输第一码流外，将第二码流和第三码流均传输给显示端，此时，第一码流、第二码流和第三码流可以先后串接合并为一个码流，也可以以预设方式融合为一个码流，还可以作为单独的码流逐一传输，对此不做具体限定。
本申请实施例中，N×M组参数可以通过机器学习模型(机器学习模型可以参照上文描述，此处不再赘述)得到；或者，N×M组参数也可以基于待处理图像的直方图得到。
示例性的，图11为N×M组参数的生成示意图，如图11所示，采集端将待处理图像(原图)分成N×M块，每块输出k个参数，总共可以获取到N×M×k个参数。
本申请实施例中，可以把原图缩放到一个较小的分辨率，例如，256×256。缩略图进入机器学习模型(例如网络)，通过网络学习出N×M×k个参数，该网络可以包括局部分支和全局分支。对缩略图做卷积操作、下采样、通道数增多等处理。重复这些操作，例如，做4次(4次下采样)，此时分辨率就变成16×16了。此后，进入局部分支，该局部分支分辨率维持16×16，但做一些卷积，不做下采样。进入全局分支，全局分支继续做下采样，直到变成1×1。再把局部分支的输出和全局分支的输出相加(分辨率16×16与分辨率1×1相加，会先把1×1的变成16×16，例如，重复拷贝)，然后再做一些卷积，变成16×16×k，k这里可以取9,17等等，大概是2的n次方加1。最后输出N×M×k个参数。
另外，根据N×M组参数生成hdrLayer本质是一个插值的过程，N×M×k个参数的数值范围是0～1，也可以认为是0～255。N和M是空间划分，将图像划分成了N×M个块，k是值域的划分，把值域划分成了k-1段，k个定点。但实际上，输入的数值是连续的，不会恰好是k个值，所以中间需要插值得到。空间上插值也是一样的。亦即，空域上是二维插值，可以称之为双线性插值，值域上是线性插值。
示例性的，空域上是N×M个块，为了保证块间的平滑，需要取邻近的四个块进行插值。值域上的k，输入的原图的亮度Y是连续的，而这个k是间隔的，所以中间也需要插值。值域的k，以范围是0～255为例，输出为255时，hdrLayer上就很亮，输出为0时，hdrLayer上就很暗，k个值就是0～255直接的数值。图12为值域插值的示意图，如图12所示，在横坐标BinN和BinN+1之间插值得到Vi，再从曲线上找到与Vi对应的纵轴坐标Gam[Vi]。图13为空域插值的示意图，如图13所示，取邻近4个块，P点离哪个块越近，哪个块的权重就越大。
图14为本申请实施例的应用于电子设备的图像显示方法的过程1400的流程图。过程1400可由上文的显示端电子设备(亦即视频解码器30)执行，其中，显示目标图像时可以由显示组件执行，该显示组件可以是集成于电子设备上的显示模块，例如，触摸屏，该显示组件也可以是独立于电子设备的显示器，例如，电子设备外接的显示器，电子设备投屏的智慧屏、幕布等，对此不做具体限定。过程1400描述为一系列的步骤或操作，应当理解的是，过程1400可以以各种顺序执行和/或同时发生，不限于图14所示的执行顺序。过程1400可以包括：
步骤1401、获取待处理图像。
显示端接收来自采集端的码流，解码码流以得到待处理图像，可以采用上文的混合解码方式，也可以采用端到端解码方式，还可以采用基于机器学习模型的解码方式，等等，本申请实施例对待处理图像的解码方式不做具体限定。
步骤1402、获取高亮增强数据，高亮增强数据包括hdrLayer。
在显示端，可以获取一张高动态范围图层(hdrLayer)，hdrLayer可以是一张二维单通道8bit的图像，用于标记待处理图像中的高亮区域，hdrLayer的分辨率可以等于待处理图像的分辨率，hdrLayer的分辨率也可以小于待处理图像的分辨率，对此不做具体限定。
hdrLayer主要是辅助显示端对图像进行亮度调节，以适应人眼感知，因此显示端要获取hdrLayer可以采用以下三种方式：
一种方式是，接收码流，解码码流以得到hdrLayer。
与上文图9所示实施例中采集端采用的方式相对应，采集端生成hdrLayer，将其编码为码流传输给显示端。相应的，显示端可以接收码流，解码流直接得到hdrLayer。这样可以提高显示端的处理效率。
另一种方式是，接收码流，解码码流以得到N×M组参数，每组参数包括k个参数，N×M组参数与待处理图像包括的N×M个图像块对应；根据N×M组参数分别对对应的图像块进行处理以得到hdrLayer。
与上文图8所示实施例中采集端采用的方式相对应，采集端生成N×M组参数，将其编码为码流传输给显示端。相应的，显示端可以接收码流，解码流先得到N×M组参数，再根据N×M组参数获取hdrLayer。这样可以节省码流，并提高传输效率。
又一种方式是，生成N×M组参数，每组参数包括k个参数，N×M组参数与待处理图像包括的N×M个图像块对应；根据N×M组参数分别对对应的图像块进行处理以得到hdrLayer。
本申请实施例中，采集端可以不针对hdrLayer做处理，即既不需要生成hdrLayer，又不需要生成N×M组参数，完全由显示端根据待处理图像生成N×M组参数，进而获取hdrLayer。这样可以节省码流，并提高传输效率。
显示端可以将待处理图像包括的N×M个图像块，针对每个图像块获取k个参数，从而可以得到N×M组参数。每个图像块的k个参数可以表示成一维表。将N×M组参数作用待处理图像上，得到最终的hdrLayer，该过程可以参照上文描述，此处不再赘述。
其中，N×M组参数通过机器学习模型得到；或者，N×M组参数基于待处理图像的直方图得到，可以参照上文描述，此处不再赘述。
需要说明的是，本申请实施例中还可以采用其他方式获取hdrLayer，对此不做具体限定。
在一种可能的实现方式中，高亮增强数据还包括元数据。元数据可以包括采集场景的动态范围、最大亮度、最小亮度等。显示端可以采用以下两种方式获取元数据：
一种方法是接收码流，解码流以得到元数据。
本申请实施例中，采集端可以在获取元数据后，将元数据和待处理图像编码以得到码流，再将码流传输给显示端。相应的，显示端可以接收并解码码流，从而直接获取到元数据。
另一种方法是接收码流，解码流以得到采集场景的拍照参数，根据拍照参数计算得到元数据。
本申请实施例中，采集端可以将获取元数据所需的采集场景的拍照参数编入码流传输给显示端，这样显示端接收并解码码流得到的就是采集场景的拍照参数，然后再根据该拍照参数获取元数据。
示例性的，采集场景的拍照参数可以包括：真实的采集场景的最大亮度baseLum(255对应的亮度)，标记出待处理图像中各个像素值对应的亮度，存为lumLUT[256]，亦即，真实场景的亮度和图片像素值的一一对应关系，图像像素值的范围为0～255，共256个值，选取的基准就是让各个像素值和场景真实亮度值一一对应，用minval标记像素的图像灰阶，对应的感光度(ISO)baseISO，曝光时间baseExp。实拍时，N帧的ISO curISO，曝光时间curExp，S帧降电子伏特(electron volt，EV)对应的收益Dgain，亦即，S帧是通过降EV实现的，EV有不同大小，不同大小对应不同的Dgain，如果没有S帧，Dgain为1。因此，显示端可以采用以下方法计算采集场景的最大亮度maxLumScene和最小量度minLumScene：
maxLumScene＝(baseISO/curISO)Dgain×(curExp/baseExp)×baseLum
minLumScene＝(baseISO/curISO)Dgain×(curExp/baseExp)×lumLUT[minval]
需要说明的是，本申请实施例还可以采用其他方法获取采集场景的最大亮度和最小量度，对此不做具体限定。
步骤1403、获取电子设备的初始背光亮度。
电子设备具有背光技术，因此可以根据周围环境设置电子设备的初始背光亮度，可以参照相关背光技术，不再赘述。
步骤1404、根据初始背光亮度获取电子设备的目标背光亮度。
为了得到较好的视觉体验，显示端可以结合元数据中与采集场景相关的亮度信息(例如，采集场景的动态范围、最大亮度、最小亮度等)对电子设备的背光进行调节，包括提升背光亮度或者降低背光亮度。相比于相关技术中，考虑到屏幕功耗而降低背光亮度的情况，可以提升背光亮度，以充分利用电子设备的屏幕的高动态范围(high dynamic range，HDR)，因此电子设备的目标背光亮度高于电子设备的初始背光亮度。
示例性的，显示端可以采用以下两种方法获取电子设备的目标背光亮度：
一种方法是根据预设背光调节比例对初始背光亮度进行处理以得到目标背光亮度。
显示端可以基于历史记录、大数据分析、电子设备的屏幕属性等预先设定一个比例，例如，背光提升比例(用于提升背光亮度，目标背光亮度＞初始背光亮度)或者背光降低比例(用于降低背光亮度，目标背光亮度＜初始背光亮度)。显示端可以根据该预设背光调节比例对初始背光亮度进行处理，例如，将预设背光调节比例与初始背光亮度相乘以得到目标背光亮度。
需要说明的是，上文描述的方法不构成限定，本申请实施例对预设背光调节比例的设置方式，以及目标背光亮度的获取方式均不作具体限定。
另一种方法是根据元数据获取背光调节比例；根据背光调节比例对初始背光亮度进行处理以得到目标背光亮度。
与上一方法的区别在于背光调节比例不是预先设定，可以由显示端计算得到。背光调节比例也可以是背光提升比例(用于提升背光亮度，目标背光亮度＞初始背光亮度)或者背光降低比例(用于降低背光亮度，目标背光亮度＜初始背光亮度)。
本申请实施例中，显示端可以根据采集场景的最大亮度获取第一比例，该第一比例是采集场景的人眼的亮度感知与白色漫反射感知的比例；根据第一比例获取第二比例，第二比例是显示端的人眼的亮度感知与白色漫反射感知的比例，该第二比例小于或等于第一比例；根据第二比例获取背光调节比例。
在不同的白色漫反射下，人眼对亮度感知通常满足幂函数，如图15所示，per＝lum1/γ，通常情况下，人眼在显示端的亮度感知小于在采集端的亮度感知，在白色漫反射相同的情况下，可以得到P2＝a×P1，a表示预设系数，a≤1。而最理想的状态下，人眼在显示端的亮度感知与在采集端的亮度感知一样，在白色漫反射相同的情况下，可以得到P1＝P2。
代入上述幂函数可以得到：
P1＝L11/γs
其中，Lmax表示采集场景的最大亮度；
P2＝(gainBL×L2)1/γd
其中，gainBL表示背光调节比例；
AmbientLum表示环境光强度；
根据P1和P2的等式关系可以得到背光调节比例：
最理想状态下，a＝1。
显示端可以根据背光调节比例对初始背光亮度进行处理，例如，将背光调节比例与初始背光亮度相乘以得到目标背光亮度。
需要说明的是，本申请实施例还可以采用其他方法获取背光调节比例，对此不做具体限定。
步骤1405、根据hdrLayer对待处理图像进行亮度调节以得到适用于目标背光亮度的目标图像。
上述步骤中，以尽可能趋近于达到人眼在显示端的亮度感知等于在采集端的亮度感知的最理想状态为目的，计算得到了电子设备的目标背光亮度，并将电子设备的背光亮度调节为目标背光亮度，使得待处理图像在显示端的显示效果符合人眼对真实采集场景下的亮度感知。但是，待处理图像中有一些HDR区域，经过前述背光调节后可能会失真，例如，当目标背光亮度大于初始背光亮度时，就是提升电子设备的背光亮度，此时待处理图像中的HDR区域可能会比较刺眼。
为了保证人眼在显示端的亮度感知尽可能趋近于在采集端的亮度感知，可以对待处理图像进行像素处理，调整部分区域的像素值，使得该部分区域的亮度和背光调节之前相同，避免刺眼。
本申请实施例可以采用以下方法调整部分区域的像素值：显示端根据hdrLayer获取目标权重。例如，显示端可以将hdrLayer中第一像素值除以预设阈值以得到第一像素值的第一权重值，该第一像素值是hdrLayer中的任意一个像素值，目标权重包括第一权重值；再根据目标权重对待处理图像进行亮度调节以得到目标图像。
例如，上述过程可以表示为如下公式：
pixelLow＝pow(1/gainBL,1/2.2)×pixelSrc；
weight＝hdrLayer/255；
pixelOut＝pixelSrc×weight+pixelLow×(1–weight)
其中，pow(1/gainBL,1/2.2)表示像素调整系数；pixelSrc表示待处理图像中的任意一个像素值；pixelLow表示前述任意一个像素值经调整后的像素值；weight表示目标权重；pixelOut表示前述任意一个像素值对应的目标像素值。
待处理图像中的所有像素都可以采用上述方法处理后，得到目标图像。
可选的，本申请实施例还可以将hdrLayer作为一个引导图片或参考图片，获取待处理图像中的像素值与目标图像中的像素值之间的对应关系，然后根据该对应关系对待处理图像的像素值进行处理，从而得到目标图像。
除此之外，本申请实施例还可以采用其他方法调整部分区域的像素值，获取目标图像，对此不做具体限定。
本申请实施例中，如果电子设备的背光亮度被提升，那么可能待处理图像的部分区域可能会过亮导致刺眼，因此基于hdrLayer的像素调整可以降低前述部分区域的像素亮度，从而避免刺眼；如果电子设备的背光亮度被降低，那么可能待处理图像的部分区域可能会过暗导致细节缺失，因此基于hdrLayer的像素调整可以提升前述部分区域的像素亮度，从而避免细节缺失。
步骤1406、在目标背光亮度下显示目标图像。
在步骤1404中获取了电子设备的目标背光亮度，因此可以基于电子设备的背光技术，对电子设备的屏幕亮度进行调节，从而使其达到目标背光亮度，再在该亮度下显示经步骤1405调节的目标图像，既可以解决因背光亮度提升，出现的待处理图像的部分区域过亮导致刺眼的问题，也可以解决背光亮度降低，出现的待处理图像的部分区域过暗导致细节缺失的问题。
图16为显示端的处理过程的示意图，如图16所示，显示端采用上述实施例所描述的方法获取待处理图像和元数据，并通过上述步骤1402的三种方法获取hdrLayer。通过元数据获取背光调节比例，进而对电子设备的背光亮度进行调节。通过hdrLayer对待处理图像中的像素进行调整。二者结合得到最终的目标图像，进而将目标图像送显。
本申请实施例，根据电子设备的初始背光亮度获取其目标背光亮度，从而对电子设备的背光亮度进行调节，以充分利用屏幕的亮度范围进行图像显示，同时对于待处理图像中由于亮度调节出现失真的区域，结合hdrLayer进行像素调整以得到适用于目标背光亮度的目标图像，从而解决图像失真的问题，再在目标背光亮度下显示目标图像，目标背光亮度和目标图像配合显示，实现了端到端呈现出最佳的效果体验。
图17为本申请实施例应用于电子设备的图像显示装置1700的一个示例性的结构示意图，如图17所示，本实施例的应用于电子设备的图像显示装置1700可以应用于解码端30。该应用于电子设备的图像显示装置1700可以包括：获取模块1701、调节模块1702和显示模块1703。其中，
获取模块1701，用于获取待处理图像；获取高亮增强数据，所述高亮增强数据包括高动态范围图层hdrLayer；获取所述电子设备的初始背光亮度；根据所述初始背光亮度获取所述电子设备的目标背光亮度；调节模块1702，用于根据所述hdrLayer对所述待处理图像进行亮度调节以得到适用于所述目标背光亮度的目标图像；显示模块1703，用于在所述目标背光亮度下显示所述目标图像。
在一种可能的实现方式中，所述获取模块1701，具体用于接收码流，解码所述码流以得到所述hdrLayer。
在一种可能的实现方式中，所述获取模块1701，具体用于接收码流，解码所述码流以得到N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到所述hdrLayer。
在一种可能的实现方式中，所述获取模块1701，具体用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到所述hdrLayer。
在一种可能的实现方式中，所述获取模块1701，具体用于根据预设背光调节比例对所述初始背光亮度进行处理以得到所述目标背光亮度。
在一种可能的实现方式中，所述高亮增强数据还包括元数据；所述获取模块1701，具体用于根据所述元数据获取背光调节比例；根据所述背光调节比例对所述初始背光亮度进行处理以得到所述目标背光亮度。
在一种可能的实现方式中，所述调节模块1702，具体用于根据所述hdrLayer获取目标权重；根据所述目标权重对所述待处理图像进行亮度调节以得到所述目标图像。
在一种可能的实现方式中，所述调节模块1702，具体用于将所述hdrLayer中第一像素值除以预设阈值以得到所述第一像素值的第一权重值，所述第一像素值是所述hdrLayer中的任意一个像素值，所述目标权重包括所述第一权重值。
在一种可能的实现方式中，所述调节模块1702，具体用于获取像素调整系数；根据所述像素调整系数和所述待处理图像获取经调整的图像；根据所述待处理图像、所述经调整的图像和所述目标权重获取所述目标图像。
在一种可能的实现方式中，所述N×M组参数通过机器学习模型得到；或者，所述N×M组参数基于所述待处理图像的直方图得到。
在一种可能的实现方式中，所述元数据包括采集场景的最大亮度；所述获取模块1701，具体用于根据所述采集场景的最大亮度获取第一比例，所述第一比例是所述采集场景的人眼的亮度感知与白色漫反射感知的比例；根据所述第一比例获取第二比例，所述第二比例是显示端的人眼的亮度感知与白色漫反射感知的比例，所述第二比例小于或等于所述第一比例；根据所述第二比例获取所述背光调节比例。
在一种可能的实现方式中，所述获取模块1701，具体用于根据以下公式计算得到所述第一比例：
P1＝L11/γs
其中，P1表示所述第一比例；
Lmax表示所述采集场景的最大亮度；
在一种可能的实现方式中，所述获取模块1701，具体用于根据以下公式计算得到所述第二比例：
P2＝a×P1
其中，P2表示所述第二比例；
a表示预设系数，a≤1。
在一种可能的实现方式中，所述获取模块1701，具体用于根据以下公式计算得到所述背光调节比例：
其中，gainBL表示所述背光调节比例；
AmbientLum表示环境光强度；
在一种可能的实现方式中，所述元数据是通过以下方式获取的：解码码流以得到所述元数据；或者，接收码流，解码码流以得到采集场景的拍照参数，再根据所述拍照参数计算得到所述元数据。
在一种可能的实现方式中，所述元数据还包括所述采集场景的最小亮度和/或所述采集场景的动态范围。
本实施例的装置，可以用于执行图14所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图18为本申请实施例编码装置1800的一个示例性的结构示意图，如图18所示，本实施例的编码装置1800可以应用于编码端20。该编码装置1800可以包括：获取模块1801和编码模块1802。其中，
获取模块1801，用于获取待处理图像；获取元数据，所述元数据包括采集场景的最大亮度；编码模块1802，用于对所述待处理图像和所述元数据进行编码以得到第一码流。
在一种可能的实现方式中，所述获取模块1801，还用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；所述编码模块1802，还用于对所述N×M组参数进行编码以得到第二码流。
在一种可能的实现方式中，所述获取模块1801，还用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到高动态范围图层hdrLayer；所述编码模块，还用于对所述hdrLayer进行编码以得到第三码流。
在一种可能的实现方式中，所述N×M组参数通过机器学习模型得到；或者，所述N×M组参数基于所述待处理图像的直方图得到。
在一种可能的实现方式中，所述获取模块1801，具体用于根据长曝光图片、正常曝光图片和短曝光图片获取所述元数据；或者，根据预先设定的拍照参数计算得到所述元数据。
在一种可能的实现方式中，所述元数据还包括所述采集场景的最小亮度和/或所述采集场景的动态范围。
本实施例的装置，可以用于执行图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
此外，本申请还提供一种计算机可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行图5或图14所示方法实施例的技术方案。
本申请还提供一种计算机程序产品，所述计算机程序产品中包含指令，其特征在于，当所述指令在计算机或处理器上运行时，使得所述计算机或所述处理器实现图5或图14所示方法实施例的技术方案。
本申请还提供一种码流，该码流可以存储在计算机可读存储介质中，或通过电磁波等信号形式进行传输，该码流中包括经编码的图像数据和元数据，元数据包括采集场景的最大亮度。采集场景为采集编码前的图像时的场景。
本申请还提供一种芯片系统，其特征在于，所述芯片系统包括逻辑电路和输入输出接口，其中：所述输入输出接口用于与所述芯片系统之外的其他通信装置进行通信，所述逻辑电路用于执行图5或图14所示方法实施例的技术方案。
在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、特定应用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (48)

1.一种应用于电子设备的图像显示方法，其特征在于，包括：
获取待处理图像；
获取高亮增强数据，所述高亮增强数据包括高动态范围图层hdrLayer；
获取所述电子设备的初始背光亮度；
根据所述初始背光亮度，获取所述电子设备的目标背光亮度；
根据所述hdrLayer对所述待处理图像进行亮度调节以得到适用于所述目标背光亮度的目标图像；
在所述目标背光亮度下显示所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取高亮增强数据，包括：
接收码流，解码所述码流以得到所述hdrLayer。
3.根据权利要求1所述的方法，其特征在于，所述获取高亮增强数据，包括：
接收码流，解码所述码流以得到N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；
根据所述N×M组参数分别对对应的所述图像块进行处理以得到所述hdrLayer。
4.根据权利要求1所述的方法，其特征在于，所述获取高亮增强数据，包括：
生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；
根据所述N×M组参数分别对对应的所述图像块进行处理以得到所述hdrLayer。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述初始背光亮度，获取所述电子设备的目标背光亮度，包括：
根据预设背光调节比例对所述初始背光亮度进行处理以得到所述目标背光亮度。
6.根据权利要求1-4中任一项所述的方法，其特征在于，所述高亮增强数据还包括元数据；所述根据所述初始背光亮度，获取所述电子设备的目标背光亮度，包括：
根据所述元数据获取背光调节比例；
根据所述背光调节比例对所述初始背光亮度进行处理以得到所述目标背光亮度。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述hdrLayer对所述待处理图像进行亮度调节以得到适用于所述目标背光亮度的目标图像，包括：
根据所述hdrLayer获取目标权重；
根据所述目标权重对所述待处理图像进行亮度调节以得到所述目标图像。
8.根据权利要求7所述的方法，其特征在于，所述根据所述hdrLayer获取目标权重，包括：
将所述hdrLayer中第一像素值除以预设阈值以得到所述第一像素值的第一权重值，所述第一像素值是所述hdrLayer中的任意一个像素值，所述目标权重包括所述第一权重值。
9.根据权利要求7或8所述的方法，其特征在于，所述根据所述目标权重对所述待处理图像进行亮度调节以得到目标图像，包括：
获取像素调整系数；
根据所述像素调整系数和所述待处理图像获取经调整的图像；
根据所述待处理图像、所述经调整的图像和所述目标权重获取所述目标图像。
10.根据权利要求4所述的方法，其特征在于，所述N×M组参数通过机器学习模型得到；或者，所述N×M组参数基于所述待处理图像的直方图得到。
11.根据权利要求6所述的方法，其特征在于，所述元数据包括采集场景的最大亮度；所述根据所述元数据获取背光调节比例，包括：
根据所述采集场景的最大亮度获取第一比例，所述第一比例是所述采集场景的人眼的亮度感知与白色漫反射感知的比例；
根据所述第一比例获取第二比例，所述第二比例是显示端的人眼的亮度感知与白色漫反射感知的比例，所述第二比例小于或等于所述第一比例；
根据所述第二比例获取所述背光调节比例。
12.根据权利要求11所述的方法，其特征在于，所述根据所述采集场景的最大亮度获取第一比例，包括：
根据以下公式计算得到所述第一比例：
P1＝L11/γs
其中，P1表示所述第一比例；
Lmax表示所述采集场景的最大亮度；
13.根据权利要求12所述的方法，其特征在于，所述根据所述第一比例获取第二比例，包括：
根据以下公式计算得到所述第二比例：
P2＝a×P1
其中，P2表示所述第二比例；
a表示预设系数，a≤1。
14.根据权利要求13所述的方法，其特征在于，所述根据所述第二比例获取所述背光调节比例，包括：
根据以下公式计算得到所述背光调节比例：
其中，gainBL表示所述背光调节比例；
AmbientLum表示环境光强度；
15.根据权利要求6所述的方法，其特征在于，所述元数据是通过以下方式获取的：
解码码流以得到所述元数据；或者，
解码码流以得到采集场景的拍照参数，再根据所述拍照参数计算得到所述元数据。
16.根据权利要求6所述的方法，其特征在于，所述元数据还包括所述采集场景的最小亮度和/或所述采集场景的动态范围。
17.一种编码方法，其特征在于，所述方法包括：
获取待处理图像；
获取元数据，所述元数据包括采集场景的最大亮度；
对所述待处理图像和所述元数据进行编码以得到第一码流。
18.根据权利要求17所述的方法，其特征在于，还包括：
生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；
对所述N×M组参数进行编码以得到第二码流。
19.根据权利要求17所述的方法，其特征在于，还包括：
生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；
根据所述N×M组参数分别对对应的所述图像块进行处理以得到高动态范围图层hdrLayer；
对所述hdrLayer进行编码以得到第三码流。
20.根据权利要求18或19所述的方法，其特征在于，所述N×M组参数通过机器学习模型得到；或者，所述N×M组参数基于所述待处理图像的直方图得到。
21.根据权利要求17-20中任一项所述的方法，其特征在于，所述获取元数据，包括：
根据长曝光图片、正常曝光图片和短曝光图片获取所述元数据；或者，根据预先设定的拍照参数计算得到所述元数据。
22.根据权利要求17-21中任一项所述的方法，其特征在于，所述元数据还包括所述采集场景的最小亮度和/或所述采集场景的动态范围。
23.一种应用于电子设备的图像显示装置，其特征在于，包括：
获取模块，用于获取待处理图像；获取高亮增强数据，所述高亮增强数据包括高动态范围图层hdrLayer；获取所述电子设备的初始背光亮度；根据所述初始背光亮度，获取所述电子设备的目标背光亮度；
调节模块，用于根据所述hdrLayer对所述待处理图像进行亮度调节以得到适用于所述目标背光亮度的目标图像；
显示模块，用于在所述目标背光亮度下显示所述目标图像。
24.根据权利要求23所述的装置，其特征在于，所述获取模块，具体用于接收码流，解码所述码流以得到所述hdrLayer。
25.根据权利要求23所述的装置，其特征在于，所述获取模块，具体用于接收码流，解码所述码流以得到N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到所述hdrLayer。
26.根据权利要求23所述的装置，其特征在于，所述获取模块，具体用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到所述hdrLayer。
27.根据权利要求23-26中任一项所述的装置，其特征在于，所述获取模块，具体用于根据预设背光调节比例对所述初始背光亮度进行处理以得到所述目标背光亮度。
28.根据权利要求23-26中任一项所述的装置，其特征在于，所述高亮增强数据还包括元数据；所述获取模块，具体用于根据所述元数据获取背光调节比例；根据所述背光调节比例对所述初始背光亮度进行处理以得到所述目标背光亮度。
29.根据权利要求23-28中任一项所述的装置，其特征在于，所述调节模块，具体用于根据所述hdrLayer获取目标权重；根据所述目标权重对所述待处理图像进行亮度调节以得到所述目标图像。
30.根据权利要求29所述的装置，其特征在于，所述调节模块，具体用于将所述hdrLayer中第一像素值除以预设阈值以得到所述第一像素值的第一权重值，所述第一像素值是所述hdrLayer中的任意一个像素值，所述目标权重包括所述第一权重值。
31.根据权利要求29或30所述的装置，其特征在于，所述调节模块，具体用于获取像素调整系数；根据所述像素调整系数和所述待处理图像获取经调整的图像；根据所述待处理图像、所述经调整的图像和所述目标权重获取所述目标图像。
32.根据权利要求26所述的装置，其特征在于，所述N×M组参数通过机器学习模型得到；或者，所述N×M组参数基于所述待处理图像的直方图得到。
33.根据权利要求28所述的装置，其特征在于，所述元数据包括采集场景的最大亮度；所述获取模块，具体用于根据所述采集场景的最大亮度获取第一比例，所述第一比例是所述采集场景的人眼的亮度感知与白色漫反射感知的比例；根据所述第一比例获取第二比例，所述第二比例是显示端的人眼的亮度感知与白色漫反射感知的比例，所述第二比例小于或等于所述第一比例；根据所述第二比例获取所述背光调节比例。
34.根据权利要求33所述的装置，其特征在于，所述获取模块，具体用于根据以下公式计算得到所述第一比例：
P1＝L11/γs
其中，P1表示所述第一比例；
Lmax表示所述采集场景的最大亮度；
35.根据权利要求34所述的装置，其特征在于，所述获取模块，具体用于根据以下公式计算得到所述第二比例：
P2＝a×P1
其中，P2表示所述第二比例；
a表示预设系数，a≤1。
36.根据权利要求35所述的装置，其特征在于，所述获取模块，具体用于根据以下公式计算得到所述背光调节比例：
其中，gainBL表示所述背光调节比例；
AmbientLum表示环境光强度；
37.根据权利要求28所述的装置，其特征在于，所述元数据是通过以下方式获取的：
解码码流以得到所述元数据；或者，
解码码流以得到采集场景的拍照参数，再根据所述拍照参数计算得到所述元数据。
38.根据权利要求28所述的装置，其特征在于，所述元数据还包括所述采集场景的最小亮度和/或所述采集场景的动态范围。
39.一种编码装置，其特征在于，包括：
获取模块，用于获取待处理图像；获取元数据，所述元数据包括采集场景的最大亮度；
编码模块，用于对所述待处理图像和所述元数据进行编码以得到第一码流。
40.根据权利要求39所述的装置，其特征在于，所述获取模块，还用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；
所述编码模块，还用于对所述N×M组参数进行编码以得到第二码流。
41.根据权利要求39所述的装置，其特征在于，所述获取模块，还用于生成N×M组参数，每组参数包括k个参数，所述N×M组参数与所述待处理图像包括的N×M个图像块对应，N和M均为正整数，N×M＞1，k＞1；根据所述N×M组参数分别对对应的所述图像块进行处理以得到高动态范围图层hdrLayer；
所述编码模块，还用于对所述hdrLayer进行编码以得到第三码流。
42.根据权利要求40或41所述的装置，其特征在于，所述N×M组参数通过机器学习模型得到；或者，所述N×M组参数基于所述待处理图像的直方图得到。
43.根据权利要求39-42中任一项所述的装置，其特征在于，所述获取模块，具体用于根据长曝光图片、正常曝光图片和短曝光图片获取所述元数据；或者，根据预先设定的拍照参数计算得到所述元数据。
44.根据权利要求39-43中任一项所述的装置，其特征在于，所述元数据还包括所述采集场景的最小亮度和/或所述采集场景的动态范围。
45.一种解码器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-16中任一项所述的方法。
46.一种编码器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求17-22中任一项所述的方法。
47.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行权利要求1-22中任一项所述的方法。
48.一种计算机程序产品，所述计算机程序产品中包含指令，其特征在于，当所述指令在计算机或处理器上运行时，使得所述计算机或所述处理器实现上述权利要求1-22中任一项所述的方法。
CN202210831137.6A 2022-07-15 2022-07-15 应用于电子设备的图像显示方法、编码方法及相关装置 Pending CN117478902A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210831137.6A CN117478902A (zh) 2022-07-15 2022-07-15 应用于电子设备的图像显示方法、编码方法及相关装置
PCT/CN2023/104105 WO2024012227A1 (zh) 2022-07-15 2023-06-29 应用于电子设备的图像显示方法、编码方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210831137.6A CN117478902A (zh) 2022-07-15 2022-07-15 应用于电子设备的图像显示方法、编码方法及相关装置

Publications (1)

Publication Number Publication Date
CN117478902A true CN117478902A (zh) 2024-01-30

Family

ID=89535527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210831137.6A Pending CN117478902A (zh) 2022-07-15 2022-07-15 应用于电子设备的图像显示方法、编码方法及相关装置

Country Status (2)

Country Link
CN (1) CN117478902A (zh)
WO (1) WO2024012227A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118972696B (zh) * 2024-10-15 2025-01-10 深圳市臻呈科技有限公司 基于智能光感测试的镜头自动切换方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620819B (zh) * 2009-06-25 2013-10-16 北京中星微电子有限公司 显示图像背光亮度的动态调整方法、装置及移动显示设备
US10104334B2 (en) * 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
CN107545871B (zh) * 2017-09-30 2020-03-24 青岛海信电器股份有限公司 图像亮度处理方法及装置
CN108510955A (zh) * 2018-04-23 2018-09-07 Oppo广东移动通信有限公司 调整显示屏亮度的方法以及相关产品
CN113496685B (zh) * 2020-04-08 2022-11-18 华为技术有限公司 一种显示亮度调整方法及相关装置
CN114639356B (zh) * 2022-03-14 2024-02-06 Oppo广东移动通信有限公司 显示亮度调节方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2024012227A1 (zh) 2024-01-18

Similar Documents

Publication Publication Date Title
CN110532871B (zh) 图像处理的方法和装置
US20230214976A1 (en) Image fusion method and apparatus and training method and apparatus for image fusion model
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
CN112598579B (zh) 面向监控场景的图像超分辨率方法、装置及存储介质
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
US20230065862A1 (en) Scalable coding of video and associated features
CN113284054A (zh) 图像增强方法以及图像增强装置
CN112887728A (zh) 电子装置、电子装置的控制方法以及系统
TWI826160B (zh) 圖像編解碼方法和裝置
US12052443B2 (en) Loop filtering method and apparatus
CN113284055B (zh) 一种图像处理的方法以及装置
WO2024002211A1 (zh) 一种图像处理方法及相关装置
CN118302788A (zh) 从有噪原始图像进行高动态范围视图合成
WO2021057091A1 (zh) 视点图像处理方法及相关设备
CN113096021A (zh) 一种图像处理方法、装置、设备及存储介质
CN114915783A (zh) 编码方法和装置
WO2022211657A9 (en) Configurable positions for auxiliary information input into a picture data processing neural network
CN110324605B (zh) 一种基于神经网络的智能裸眼3d显示系统
WO2024012227A1 (zh) 应用于电子设备的图像显示方法、编码方法及相关装置
CN115700771A (zh) 编解码方法及装置
US20240161488A1 (en) Independent positioning of auxiliary information in neural network based picture processing
JP2024528205A (ja) 画像処理方法及び装置、並びに車両
CN116862801A (zh) 图像处理方法、装置、电子设备及存储介质
CN119277214A (zh) 图像处理方法及相关装置
CN111028199A (zh) 一种基于端到端的质量评价机制的色调映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination