CN114092360A - 图像处理方法、设备及可读存储介质 - Google Patents
图像处理方法、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114092360A CN114092360A CN202111469660.0A CN202111469660A CN114092360A CN 114092360 A CN114092360 A CN 114092360A CN 202111469660 A CN202111469660 A CN 202111469660A CN 114092360 A CN114092360 A CN 114092360A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- processed
- data
- channel data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000012937 correction Methods 0.000 claims abstract description 135
- 238000011156 evaluation Methods 0.000 claims abstract description 42
- 238000013210 evaluation model Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法包括:从视频流中获取待处理图像;将待处理图像转换为YUV格式,得到第一图像,并提取第一图像对应的Y通道数据;利用Y通道数据,生成第一图像各个像素分别对应的亮度校正参数;利用亮度校正参数对各个像素分别对应的Y通道数据进行伽马亮度校正,得到校正后数据;利用校正后数据替换Y通道数据,得到第二图像,并将第二图像转换为RGB格式,得到处理后图像;将处理后图像和历史相邻帧优化图像输入评价模型,得到用于表征处理后图像与历史相邻帧优化图像之间亮度差距的评价参数;确定评价参数不处于目标区间,则将处理后图像确定为待处理图像对应的亮度优化图像;使得视频流亮度保持总体平稳。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及图像处理方法、电子设备及计算机可读存储介质。
背景技术
网络直播是一种在现场架设独立的信号采集设备采集信号(音频和/或视频)并导入导播端(导播设备或平台),导播端通过网络将信号上传至服务器,进而发布至指定的网址供人观看的技术。在某些较昏暗的场景下,为了使用户能够看清楚直播的图像,通常会对采集到的视频流进行处理,提高其亮度。当前,是直接对视频流的整个界面进行统一固定的亮度提升处理,即对直播过程中生成的所有图片的各个部分提升相同的亮度。然而,场景的昏暗程度可能发生变化,即由昏暗转变为明亮,统一固定的亮度提升处理会使得导致亮度提升后的图像太亮,影响用户的视觉体验。
发明内容
有鉴于此,本申请的目的在于提供一种图像处理方法、电子设备及计算机可读存储介质,使得用户能够具有较好的视觉体验。
为解决上述技术问题,第一方面,本申请提供了一种图像处理方法,包括:
从视频流中获取待处理图像;所述待处理图像为RGB格式;
将所述待处理图像转换为YUV格式,得到第一图像,并提取所述第一图像对应的Y通道数据;
利用所述Y通道数据,生成所述第一图像各个像素分别对应的亮度校正参数;
利用所述亮度校正参数对各个像素分别对应的所述Y通道数据进行伽马亮度校正,得到校正后数据;
利用所述校正后数据替换所述Y通道数据,得到第二图像,并将所述第二图像转换为RGB格式,得到处理后图像;
将所述处理后图像和历史相邻帧优化图像输入评价模型,得到用于表征所述处理后图像与所述历史相邻帧优化图像之间亮度差距的评价参数;
确定所述评价参数不处于目标区间,则将所述处理后图像确定为所述待处理图像对应的亮度优化图像。
可选地,所述从视频流中获取待处理图像,包括:
根据历史相邻帧图像从所述视频流中获取初始图像,并对所述初始图像进行归一化处理,得到归一化图像;
将所述归一化图像映射到线性色彩空间,得到第一中间图像;
提升所述第一中间图像中各个色彩通道的对比度,得到第二中间图像;
将所述第二中间图像映射到伽马色彩空间,得到第三中间图像;
将所述第三中间图像进行反归一化处理,得到所述待处理图像。
可选地,所述利用所述Y通道数据,生成所述第一图像各个像素分别对应的亮度校正参数,包括:
对各个所述像素对应的所述Y通道数据按照大小或出现频次排序,得到数据序列;
将所述数据序列中处于预设比例位置的目标数据确定为所述亮度校正参数。
可选地,所述利用所述Y通道数据,生成所述第一图像各个像素分别对应的亮度校正参数,包括:
确定各个所述像素对应的临近范围;
将所述像素和所述临近范围内的临近像素对应的所述Y通道数据按照大小或出现频次排序,得到数据序列;
将所述数据序列中处于预设比例位置的目标数据确定为所述像素对应的所述亮度校正参数。
可选地,所述利用所述亮度校正参数对各个像素分别对应的所述Y通道数据进行伽马亮度校正,得到校正后数据,包括:
利用最大亮度值与所述亮度校正参数之间的亮度差值,生成与所述亮度差值成反比的幂值,并利用所述幂值和所述Y通道数据进行归一化的伽马计算,得到所述校正后数据。
可选地,所述利用最大亮度值与所述亮度校正参数之间的亮度差值,生成与所述亮度差值成反比的幂值,并利用所述幂值和所述Y通道数据进行归一化的伽马计算,得到所述校正后数据,包括:
利用所述最大亮度值与所述亮度校正参数生成大于零的所述亮度差值;
利用所述亮度差值和预设阈值生成幂值;所述幂值与所述亮度差值成反比,所述幂值大于零;
利用所述Y通道数据和所述最大亮度值的比值作为底数,并利用所述底数和所述幂值得到幂函数值;
将所述幂函数值与所述最大亮度值相乘,得到所述校正后数据。
可选地,若所述评价参数处于目标区间,包括:
更新所述亮度校正参数,以便利用更新后的所述亮度校正参数重新对各个像素分别对应的所述Y通道数据进行伽马亮度校正,得到新的校正后数据,进而利用新的校正后数据得到新的处理后图像,利用新的处理后图像得到新的评价参数,直至新的评价参数不处于目标区间,得到所述亮度优化图像。
可选地,所述更新所述亮度校正参数,包括:
若所述处理后图像比所述历史相邻帧优化图像更暗,则降低所述亮度校正参数;
若所述处理后图像比所述历史相邻帧优化图像更亮,则提高所述亮度校正参数。
可选地,还包括:
可视化输出所述处理后图像;
获取用于响应所述处理后图像的用户反馈信息,并根据所述用户反馈信息生成训练数据,并利用所述训练数据对所述评价模型进行追加训练。
可选地,还包括:
利用所述视频流中的所有视频帧对应的处理后图像构成优化视频流,并可视化输出所述优化视频流。
第二方面,本申请还提供了一种电子设备,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现上述的图像处理方法。
第三方面,本申请还提供了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现上述的图像处理方法。
本申请提供的图像处理方法,从视频流中获取待处理图像;待处理图像为RGB格式;将待处理图像转换为YUV格式,得到第一图像,并提取第一图像对应的Y通道数据;利用Y通道数据,生成第一图像各个像素分别对应的亮度校正参数;利用亮度校正参数对各个像素分别对应的Y通道数据进行伽马亮度校正,得到校正后数据;利用校正后数据替换Y通道数据,得到第二图像,并将第二图像转换为RGB格式,得到处理后图像;将处理后图像和历史相邻帧优化图像输入评价模型,得到评价参数;确定评价参数不处于目标区间,则将处理后图像确定为待处理图像对应的亮度优化图像。
可见,该方法在获取到待处理图像后,将其转换为YUV格式,其中Y通道数据用于表示图像的亮度,通过颜色格式的转换,可以尽可能降低亮度校正对图像颜色的影响。根据待处理图像中各个像素对应的Y通道数据,可以确定待处理图像的总体亮度情况,进而确定对其进行亮度调节的基础,即亮度校正参数。利用亮度校正参数,可以基于Y通道数据的具体情况,对Y通道数据进行伽马亮度校正,能够根据需要对待处理图像中昏暗的部分进行较大程度的提升,而对明亮的部分进行较小程度的提升或不提升,使得图像清晰自然。利用得到的校正数据生成第二图像后将其恢复为RGB格式,得到处理后图像。评价模型基于用户对图像亮度的需要和喜好进行训练得到,其具有良好的空间自适应和时间自适应能力。评价模型能够评价处理后图像与历史相邻帧优化图像在时序上的亮度变化响应是否良好。若评价参数处于目标区间,所述目标区间用于指示处理后图像在历史相邻帧优化图像的基础上亮度变化异常,因此若不处于目标区间,则说明对待处理图像的亮度优化合理,因此将处理后图像确定为亮度优化后的亮度优化图像,确定对待处理图像的优化流程结束。利用评价参数可以在视频流获取场景的明亮程度发生变化时相应的改变对不同待处理图像的伽马亮度校正方式,使得各个处理后图像的亮度在时域上连续。视频流的亮度在各个时刻上保持总体平稳,且各个处理后图像均经过伽马亮度校正,使得用户能够具有较好的视觉体验。
此外,本申请还提供了一种电子设备及计算机可读存储介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法所适用的硬件组成框架示意图;
图2为本申请实施例提供的另一种图像处理方法所适用的硬件组成框架示意图;
图3为本申请实施例提供的一种图像处理方法的流程示意图;
图4为本申请实施例提供的一种待处理图像;
图5为本申请实施例提供的一种按照相关处理方式处理得到处理后图像;
图6为本申请实施例提供的一种具体的RGB格式转YUV格式的流程示意图;
图7为本申请实施例提供的一种具体的图像处理方法的流程示意图;
图8为本申请实施例提供的一种具体的图像处理前后效果比对图;
图9为本申请实施例提供的另一种具体的图像处理前后效果比对图;
图10为本申请实施例提供的一种优化视频流效果示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解,先对本申请实施例提供的图像处理方法,和/或,音频处理方法对应的方案所使用的硬件组成框架进行介绍。请参考图1,图1为本申请实施例提供的一种图像处理方法所适用的硬件组成框架示意图。其中电子设备100可以包括处理器101和存储器102,还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。
其中,处理器101用于控制电子设备100的整体操作,以完成图像处理方法,和/或,音频处理方法中的全部或部分步骤;存储器102用于存储各种类型的数据以支持在电子设备100的操作,这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令,以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory,EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、只读存储器(Read-Only Memory,ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。在本实施例中,存储器102中至少存储有用于实现以下功能的程序和/或数据:
从视频流中获取待处理图像;待处理图像为RGB格式;
将待处理图像转换为YUV格式,得到第一图像,并提取第一图像对应的Y通道数据;
利用Y通道数据,生成第一图像各个像素分别对应的亮度校正参数;
利用亮度校正参数对各个像素分别对应的Y通道数据进行伽马亮度校正,得到校正后数据;
利用校正后数据替换Y通道数据,得到第二图像,并将第二图像转换为RGB格式,得到处理后图像;
将处理后图像和历史相邻帧优化图像输入评价模型,得到评价参数;
确定评价参数不处于目标区间,则将处理后图像确定为待处理图像对应的亮度优化图像。
多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件105可以包括:Wi-Fi部件,蓝牙部件,NFC部件。
电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、数字信号处理器(Digital Signal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field ProgrammableGate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行图像处理方法。
当然,图1所示的电子设备100的结构并不构成对本申请实施例中电子设备的限定,在实际应用中电子设备100可以包括比图1所示的更多或更少的部件,或者组合某些部件。
可以理解的是,本申请实施例中并不对电子设备的数量进行限定,其可以是多个电子设备共同协作完成图像处理方法,和/或,音频处理方法。在一种可能的实施方式中,请参考图2,图2为本申请实施例提供的另一种图像处理方法所适用的硬件组成框架示意图。由图2可知,该硬件组成框架可以包括:第一电子设备11和第二电子设备12,二者之间通过网络13连接。
在本申请实施例中,第一电子设备11与第二电子设备12的硬件结构可以参考图1中电子设备100。即可以理解为本实施例中具有两个电子设备100,两者进行数据交互。进一步,本申请实施例中并不对网络13的形式进行限定,即,网络13可以是无线网络(如WIFI、蓝牙等),也可以是有线网络。
其中,第一电子设备11和第二电子设备12可以是同一种电子设备,如第一电子设备11和第二电子设备12均为服务器;也可以是不同类型的电子设备,例如,第一电子设备11可以是智能手机或其它智能终端,第二电子设备12可以是服务器。在一种可能的实施方式中,可以利用计算能力强的服务器作为第二电子设备12来提高数据处理效率及可靠性,进而提高图像处理的处理效率。同时利用成本低,应用范围广的智能手机作为第一电子设备11,用于实现第二电子设备12与用户之间的交互。可以理解的是,该交互过程可以为:智能手机获取组成视频流的各个图像,并将视频流或图像发送至服务器,由服务器进行亮度校正。服务器将得到的亮度优化图像至智能手机。
基于上述说明,请参考图3,图3为本申请实施例提供的一种图像处理方法的一种流程示意图。该实施例中的方法包括:
S101:从视频流中获取待处理图像。
视频流,是指被进行亮度校正处理的视频,其中包括多个视频帧,各个视频帧均可以作为待处理图像进行处理,示例性的,各个视频帧按照时间顺序依次被选为待处理图像进行处理。其中,待处理图像为RGB格式。RGB格式也被称为RGB色彩,即常说的光学三原色,R代表Red(红色),G代表Green(绿色),B代表Blue(蓝色)。自然界中肉眼所能看到的任何色彩都可以由这三种色彩混合叠加而成,因此RGB格式下合成色彩的模式也称为加色模式。
为了保证视频流各个时刻的图像亮度均符合要求,可以将视频流中的非首个视频帧作为待处理图像进行亮度校正处理。具体的,可以根据上一次被处理的视频帧确定本次处理的待处理图像。因此对于视频流中的首个视频帧来说,其不具有对应的历史相邻帧图像,不具有相应的判断依据,故此可以不对首个视频帧做任何处理,或者可以对首个视频帧的亮度(例如平均亮度)调节为预设亮度。此外,为了更好的进行亮度校正,可以对原本的视频帧进行一系列预处理,得到更方便进行亮度校正的对象,即待处理图像。优选的,在一种实施方式中,可以提高视频帧的对比度,使亮处更亮,暗处更暗,以便在后续伽马亮度校正时跟准确地确定校正强度。具体的,从视频流中获取待处理图像的过程可以包括:
步骤11:根据历史相邻帧图像从视频流中获取初始图像,并对初始图像进行归一化处理,得到归一化图像。
步骤12:将归一化图像映射到线性色彩空间,得到第一中间图像。
步骤13:提升第一中间图像中各个色彩通道的对比度,得到第二中间图像。
步骤14:将第二中间图像映射到伽马色彩空间,得到第三中间图像。
步骤15:将第三中间图像进行反归一化处理,得到待处理图像。
其中,初始图像,是指视频流中处于历史相邻帧图像之后一个时刻的视频帧,历史相邻帧图像,是指上一次图像处理过程的待处理图像,即视频流中待处理图像的上一帧图像。归一化处理,是指将初始图像的各个颜色通道的像素值映射至0到1的区间的处理,经过归一化处理得到的像素值能够按照一定的方式映射到线性色彩空间,得到映射后的图像即第一中间图像。通过提升第一中间图像的对比度,完成图像对比度的提升。在线性空间内进行对比度的提升,相比在伽马色彩空间等非线性空间内进行对比度提升,处理后的图像鲁棒性更好,外在表现为图像的视觉观感更好。将第二中间图像映射回伽马色彩空间后得到第三中间图像,再经过反归一化的处理完成像素值的恢复,即将像素值从0到1的区间映射回原本色彩通道的取值区间,得到待处理图像。对于色彩空间映射的具体方式本实施例不做限定,可以根据需要进行设置。
S102:将待处理图像转换为YUV格式,得到第一图像,并提取第一图像对应的Y通道数据。
其中,YUV格式,是一种颜色编码方法,其具有Y、U、V三个色彩通道,其中,Y表示明亮度(Luminance或Luma),也就是灰阶值;U和V表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。通过将待处理图像由RGB格式转换为YUV格式,可以得到用于表示亮度的Y通道数据。需要说明的是,对于第一图像来说,其中的每个像素均具有一组YUV数据,因此提取得到的第一图像对应的Y通道数据的数量为多个,且与第一图像的像素数量相同。示例性的,若第一图像(即待处理图像)的长边有H个像素,宽边有W个像素,则像素数量为W*H,Y通道数据的数量也为W*H。本实施例并不限定图像格式转换的具体方式。
S103:利用Y通道数据,生成第一图像各个像素分别对应的亮度校正参数。
单个Y通道数据可以表征单个像素的亮度水平,而第一图像对应的所有Y通道数据能够表征第一图像的整体亮度水平,根据Y通道数据,可以确定第一图像是否较暗,以及较暗的程度,并根据亮度水平确定像素对一个的呢亮度校正参数。亮度校正参数,是指用于生成后续进行伽马亮度校正时采用的伽马参数的基础参数,根据伽马参数的生成方式的不同,亮度校正参数的数量和具体确定方式不做限定。具体的,当伽马参数小于1时,会拉伸图像中亮度较低的区域,同时会压缩亮度较高的部分,对外表现为图像中较暗的部分亮度提升较大,较亮的部分亮度提升较小;伽马参数大于1时,会拉伸图像中亮度较高的区域,同时会压缩亮度较低的部分,表现为图像的对比度提高。在本实施例中,为了进行亮度调节,应当保证亮度校正参数处于0至1的范围,由于其大小影响了伽马亮度校正对亮度的提升程度,因此可以利用第一图像所有像素对应的Y通道数据确定亮度校正参数,实现根据第一图像的整体亮度水平确定亮度校正参数,进而根据第一图像的整体亮度水平确定伽马亮度校正幅度的效果。
在一种实施方式中,亮度校正参数为全局参数,即第一图像的所有像素对应于相同的亮度校正参数。全局参数的亮度校正参数可以快速确定,能够对第一图像进行统一的亮度矫正。具体的,利用Y通道数据,生成第一图像各个像素分别对应的亮度校正参数的过程可以包括:
步骤21:对各个像素对应的Y通道数据按照大小或出现频次排序,得到数据序列。
步骤22:将数据序列中处于预设比例位置的目标数据确定为亮度校正参数。
对Y通道数据排序时,可以按照从大到小的顺序排序,或者可以按照从小到大的顺序排序,或者可以统计其出现频次,并按照频次从大到小或频次从小到大的顺序排序。其中,预设比例位置可以为95%位置,或者为80%位置,即Y通道数据的数量取95%或80%后,将数据序列中序号为该值的Y通道数据确定为处于预设比例位置的目标数据,并将目标数据确定为亮度校正参数。全局参数的亮度校正参数仅需确定一次,因此其确定速度较快。但是全局参数无法针对同一图像不同部分的情况进行单独的亮度校正。为了解决该问题,在另一种实施方式中,亮度校正参数为局部参数,即每个像素对应的亮度校正参数可以不同,局部参数的亮度校正参数具有局部自适应性。具体的,利用Y通道数据,生成第一图像各个像素分别对应的亮度校正参数的过程可以包括:
步骤31:确定各个像素对应的临近范围。
步骤32:将像素和临近范围内的临近像素对应的Y通道数据按照大小或出现频次排序,得到数据序列。
步骤33:将数据序列中处于预设比例位置的目标数据确定为像素对应的亮度校正参数。
其中,临近范围,是指与指定的像素距离较近的范围,临近范围内的像素可以视为图像上的一个部分,其中各个像素的Y通道数据能够综合起来表征该部分的亮度水平。临近范围的具体大小和确定方式不做限定,示例性的,可以选择距离某一像素两个像素距离的范围为临近范围。即,对于某一指定的像素,与其的距离小于或等于两个像素距离的其他像素均处于该像素的临近范围内,这些其他像素即为临近像素。
通过在对临近范围内的像素对应的Y通道数据进行排序并确定亮度校正参数,可以根据图像中某部分的亮度确定该部分像素对应的亮度校正参数,使得后续的伽马亮度校正过程具备了局部自适应的能力。
S104:利用亮度校正参数对各个像素分别对应的Y通道数据进行伽马亮度校正,得到校正后数据。
在得到亮度校正参数后,利用其确定伽马亮度校正所需的伽马参数,进而利用伽马参数对各个像素对应的Y通道数据进行伽马亮度校正。伽马亮度校正,即按照伽马变换公式对Y通道数据进行校正,伽马变换公式为:
s=c*rγ
其中c为系数,在本申请的应用场景下,其为最大亮度值,即255,r为经过归一化的Y通道数据,γ即为伽马参数,s为校正后数据。对于利用亮度校正参数生成伽马参数的具体方式,可以根据需要进行设定,该具体方式同样与亮度校正参数的具体选取方式相关。具体的,在一种实施方式中,利用亮度校正参数对各个像素分别对应的Y通道数据进行伽马亮度校正,得到校正后数据的过程可以包括:
步骤41:利用最大亮度值与亮度校正参数之间的亮度差值,生成与亮度差值成反比的幂值,并利用幂值和Y通道数据进行归一化的伽马计算,得到校正后数据。
在本实施例中,可以利用最大亮度值与亮度校正参数确定亮度差值,最大亮度值,是指Y通道参数可选范围内的最大值。亮度差值能够表示第一图像或第一图像的某个部分的亮度水平,可以理解的是,该差值越小,说明亮度越高,反之说明亮度越低。由于伽马参数在小于1的情况下,伽马参数越小,对暗部区域的亮度提升越大,伽马参数越大,对暗部区域的亮度提升越小,因此在确定伽马参数时,需要其与亮度差值成反比,即亮度差值越小,伽马参数越大,亮度参数越大,伽马参数越小。
伽马变换公式可以被视为一种幂函数,伽马参数即为其中的幂值。将Y通道数据进行归一化后的值确定为r值,完成伽马计算,即可得到校正后数据。
进一步的,上述步骤41可以进一步细化包括如下步骤:
步骤51:利用最大亮度值与亮度校正参数生成大于零的亮度差值。
步骤52:利用亮度差值和预设阈值生成幂值;幂值与亮度差值成反比,幂值大于零。
步骤53:利用Y通道数据和最大亮度值的比值作为底数,并利用底数和幂值得到幂函数值。
步骤54:将幂函数值与最大亮度值相乘,得到校正后数据。
由于伽马参数必须大于零,因此在生成亮度差值时,需要利用最大亮度值减去亮度校正参数,得到大于零的亮度差值,在得到亮度差值后,将其与预设阈值按照预设公式进行计算,得到幂值。预设公式的具体内容不做限定,示例性的,其可以为:
gamma=1-β×(255-y_max)/255
其中,gamma即为伽马参数,β为预设阈值,其大小不做限定,例如可以为0.45,y_max为亮度校正参数,255-y_max为亮度差值。
S105:利用校正后数据替换Y通道数据,得到第二图像,并将第二图像转换为RGB格式,得到处理后图像。
在得到校正后数据后,将其作为新的Y通道数据,对原本的Y通道数据进行替换,与U通道数据和V通道数据组成第二图像,并将其转回RGB格式,得到处理后图像。处理后图像虽然经过了一次亮度校正,但是其仍可能不满足预设的要求(例如画质要求),或者不满足用户的需要。为了保证亮度校正的效果,在得到处理后图像后,还可以对其进行评价。
S106:将处理后图像和历史相邻帧优化图像输入评价模型,得到用于表征处理后图像与历史相邻帧优化图像之间亮度差距的评价参数。
评价模型,是指对处理后图像的亮度水平进行评价的模型,模型的结构、类型等不做限定,例如,可以利用卷积神经网络模型训练得到评价模型。示例性的,可以利用训练数据对卷积神经网络模型进行训练得到评价模型,其中,训练数据为多组,每组训练数据包括两张训练图像,可以称为第一训练图像和第二训练图像,第一训练图像和第二训练图像分别为在时序上两个相邻时刻分别对应的图像,第一训练图像和第二训练图像的亮度可以相同或不同。根据图像亮度的差距大小标注标签,例如,可以计算第一训练图像的第一平均亮度和第二训练图像的第二平均亮度,并将第一平均亮度与第二平均亮度相减,得到亮度差距,并将该亮度差距确定为本组训练图像的标签值;或者,可以采用基于像素位置的加权平均的亮度计算方式,并在计算得到第一平均亮度和第二平均亮度后相减得到亮度差距。标注可以采用人工标注或自动标注。利用多组训练数据对作为初始模型的卷积神经网络模型进行训练,在训练过程中,初始模型能够根据标签学习到准确识别两张图像的亮度差距的能力,得到评价模型。具体的,评价模型以输出评价参数的方式表示两张图像的亮度差距的大小,例如当评价参数越大,表明二者亮度差距越小;或者可以为评价参数越小,表明二者亮度差距越小。
由于视频流中不同视频帧生成时所处的环境亮度可能发生变化,因此采用相同的亮度矫正参数进行的相同的亮度校正过程对不同的待处理图像进行亮度矫正处理后得到的最终效果不同。历史相邻帧优化图像,是指历史相邻帧图像对应的亮度优化图像,历史相邻帧图像即为上述S101步骤中所提到的历史相邻帧图像。为了使得视频流中每个视频帧对应的处理后图像在时序上保持亮度的相对平稳,可以将处理后图像和历史相邻帧优化图像输入评价模型,利用评价模型输出评价参数,通过评价参数的形式对处理后图像与历史相邻帧优化图像之间的亮度差距进行表征,以便利用评价参数对处理后图像与历史相邻帧优化图像亮度水平是否一致进行评价。评价参数的形式不做限定,示例性的,可以为百分制分数。
S107:判断评价参数是否处于目标区间。
若处于目标区间,则执行S108步骤,否则执行S109步骤。
S108:更新亮度校正参数,以便利用更新后的亮度校正参数重新对各个像素分别对应的Y通道数据进行伽马亮度校正,得到新的校正后数据,进而利用新的校正后数据得到新的处理后图像,利用新的处理后图像得到新的评价参数,直至新的评价参数不处于目标区间,得到所述亮度优化图像。
目标区间,是指表明处理后图像与历史相邻帧优化图像亮度水平不一致,亮度差距较大的区间,具体范围和上下限值不做限定。评价参数处于目标区间时,说明历史相邻帧优化图像和处理后图像之间的亮度差异较大,亮度优化效果不佳,需要重新对待处理图像进行亮度校正,因此更新亮度校正参数,以便重新进行伽马亮度校正,即更新亮度校正参数后重新执行S104步骤,得到新的校正后数据,进而利用新的校正后数据得到新的处理后图像,利用新的处理后图像得到新的评价参数,直至新的评价参数不处于目标区间,得到所述亮度优化图像。
在一种实施方式中,若采用上述的方式确定亮度校正参数以及进行伽马亮度校正,更新亮度校正参数的过程可以包括:
步骤61:若处理后图像比历史相邻帧优化图像更暗,则降低亮度校正参数。
步骤62:若处理后图像比历史相邻帧优化图像更亮,则提高亮度校正参数。
若处理后图像比历史相邻帧优化图像更暗,在评价参数处于目标区间的情况下,需要降低亮度校正参数,以便增加亮度差值,进而导致伽马参数减小,使得亮度提升的程度更大。反之,需要提高亮度校正参数,以便减少亮度差值,提高伽马参数,使得亮度提升的程度更小。
进一步的,在一种实施方式中,评价模型可以按照用户的偏好确定亮度评价的基准亮度,即评价模型在保证历史相邻帧优化图像和处理后图像的亮度水平一致时,还需要保证其与基准亮度相匹配。示例性的,对于视频流中的第一张视频帧,其不具有历史相邻帧优化图像,在生成其对应的处理后图像后,可以利用其与基准亮度进行比对,判断是否需要进行亮度校正参数的更新,进而确定后续亮度校正的基调。此外,还可以获取用户对处理后图像的反馈,进而对评价模型进行训练,以便评价模型能够满足用户的偏好。具体还可以包括如下步骤:
步骤71:可视化输出处理后图像。
步骤72:获取用于响应处理后图像的用户反馈信息,并根据用户反馈信息生成训练数据,并利用训练数据对评价模型进行追加训练。
其中,用户反馈信息的具体形式不做限定。利用用户反馈信息和处理后图像,可以组成训练数据,并利用其对评价模型进行追加训练,使得评价模型能够更加准确地了解用户对图像亮度的偏好。
由于待处理图像源自视频流,因此可以利用视频流中的所有视频帧对应的处理后图像构成优化视频流,并可视化输出优化视频流,以便用户查看亮度合适的视频。
S109:确定评价参数不处于目标区间,则将处理后图像确定为待处理图像对应的亮度优化图像。
评价参数不处于目标区间,则说明历史相邻帧优化图像和处理后图像之间的亮度差异较小,亮度优化效果较好,不需要重新对待处理图像进行亮度校正。因此将处理后图像确定为待处理图像的亮度优化图像。
应用本申请实施例提供的图像处理方法,在获取到待处理图像后,将其转换为YUV格式,其中Y通道数据用于表示图像的亮度,通过颜色格式的转换,可以尽可能降低亮度校正对图像颜色的影响。根据待处理图像中各个像素对应的Y通道数据,可以确定待处理图像的总体亮度情况,进而确定对其进行亮度调节的基础,即亮度校正参数。利用亮度校正参数,可以基于Y通道数据的具体情况,对Y通道数据进行伽马亮度校正,能够根据需要对待处理图像中昏暗的部分进行较大程度的提升,而对明亮的部分进行较小程度的提升或不提升,使得图像清晰自然。利用得到的校正数据生成第二图像后将其恢复为RGB格式,得到处理后图像。评价模型基于用户对图像亮度的需要和喜好进行训练得到,其具有良好的空间自适应和时间自适应能力。评价模型能够评价处理后图像与历史相邻帧优化图像在时序上的亮度变化响应是否良好。若评价参数处于目标区间,所述目标区间用于指示处理后图像在历史相邻帧优化图像的基础上亮度变化异常,因此若不处于目标区间,则说明对待处理图像的亮度优化合理,因此将处理后图像确定为亮度优化后的亮度优化图像,确定对待处理图像的优化流程结束。利用评价参数可以在视频流获取场景的明亮程度发生变化时相应的改变对不同待处理图像的伽马亮度校正方式,使得各个处理后图像的亮度在时域上连续。视频流的亮度在各个时刻上保持总体平稳,且各个处理后图像均经过伽马亮度校正,使得用户能够具有较好的视觉体验。
基于上述实施例,本实施例将说明一种具体的实施例。首先,请参考图4和图5,图4为本申请实施例提供的一种待处理图像,图5为本申请实施例提供的一种按照相关处理方式处理得到处理后图像。可以看出,相关处理方式对整个待处理图像进行亮度提升,在原本已经较亮的部分上仍然进行提升,使得图像质量较差,丢失亮部信息。且视频流中的各个图像帧之间没有相关性,在外部场景亮度发生变化时,处理后的视频流的亮度也会随之变化。
为了解决上述问题,本申请提供了一种图像处理方法,请参考图6,图6为本申请实施例提供的一种具体的RGB格式转YUV格式的流程示意图。首先,设定好预设阈值β和预设比例位置(用于生成y_max),输入RGB图像作为待处理图像,对待处理图像进行预处理。具体的,获取其中每个像素的RGB信息,并分别将其归一化至[0,1],得到R’数据、G’数据和B’数据,或R1数据、G1数据和B1数据。对R’数据、G’数据和B’数据分别进行从gamma空间到线性空间的转换,转换方式是:当R’数据、G’数据或B’数据小于等于0.04045时,除以12.92;当RGB值大于0.04045时,返回pow((RGB+0.055)/1.055,2.4),即:
其中,color1为R’数据、G’数据和B’数据,即归一化图像对应的数据,color2为第一中间图像对应的数据,其可以具体分为R”数据、G”数据和B”数据,或R2数据、G2数据和B2数据。
在转换完毕后,进行对比度提升,作用是提升图像的对比度,公式如下:
color3=hdrmode×(color2/hdr mod e)hdrGamma (3)
其中,hdrmode和hdrGamma是两个固定参数,用来调整图像的亮度,其值大于零,具体可以根据需要进行设置。color3为第二中间图像对应的数据,其可以具体分为R”’数据、G”’数据和B”’数据,或R3数据、G3数据和B3数据。当color2的值为1.5857时输出图像与原图像相同。很显然,当RGB<1.5857时图像亮度降低,当RGB>1.5857时图像亮度增加。
在处理完毕后,再将其转换为伽马色彩空间:
color4=12.92×color3,color3≤0.0031308 (4)
color4为第三中间图像对应的数据,其可以具体分为R””数据、G””数据和B””数据,或R4数据、G4数据和B4数据。
对color4乘以1.2,并映射到[0,255]范围内,生成待处理图像即:
color5=1.2×color4×255 (6)
color5为待处理图像对应的数据其可以具体分为R””’数据、G””’数据和B””’数据,或R5数据、G5数据和B5数据。得到待处理图像后,即带渲染的RGB图后,将其转换为YUV格式,具体的:
公式(7)中的R数据、G数据和B数据具体是指R5数据、G5数据和B5数据。获取图像的亮度Y通道信息(即Y通道数据),分析图像的亮度值的分布并排序,取从小到大亮度序列的top95%的值,记为亮度校正参数,其中top95%即为预设比例位置。假设图像宽和高分别为w像素和h像素,则记录w×h个像素的亮度值,统计每个亮度值出现的频次。将0-255的亮度值以及出现频次按亮度值从小到大进行排序,取从小到大的第w×h×0.95的亮度值作为整个图像最大的亮度值记为y_max。之所以不取最大亮度值,是因为大部分图像可能有部分像素的亮度值为255,会导致无法进行亮度校正。进行伽马亮度校正:
gamma=1-β×(255-y_maX)/255 (9)
Y’为矫正后数据。由于β值大于0,取值在0到1之间。当整个图片都比较暗时,y_max会比较小,从而gamma值较大,视频亮度提高的会比较多;而当图像是正常亮度图片时,y_max接近于255,此时gamma的值会趋于1,对图像基本没有变化。实际使用时,β预设值是0.45。UV通道不变,合成Y’UV,再转换成RGB图像,得到渲染的图像,即处理后图像,YUV转为RGB的方式如下:
请参考图7,图7为本申请实施例提供的一种具体的图像处理方法的流程示意图。将输入的视频经过自适应算法去处理,如公式11:
APA表示自适应算法对图像的处理,即亮度校正的过程,Hin表示输入图像,表示经过自适应算法得到的在迭代的图像,即处理后图像,随后连同视频流中待处理图像上一帧的处理后图像,即历史相邻帧优化图像输入评价网络MASK,评价网络输出一个分数,根据该分数判断处理后图像是否为最优画质和/或是否为用户最喜欢的亮度。如果为否,例如处于目标区间,该系统继续把原视频送入自适应算法去优化,通过去调节β和y_max不断去优化视频,直到输出的结果为用户最喜欢的,画质最优的,且分数最高的视频,并将该视频输出。如公式12:
请参考图8和图9,图8为本申请实施例提供的一种具体的图像处理前后效果比对图,图9为本申请实施例提供的另一种具体的图像处理前后效果比对图。其中,a图像和b图像具体可以为在视频直播场景下,主播端获取到的视频流中的视频帧,a1图像和b1图像可以为优化视频流中的视频帧。可以看出,图8中的a1图像相比a图像,较暗部分的人脸进行了提亮,使画面看着清晰自然,而对于背光原图中的明亮部分,自适应的做稍微调整或者不调整。图9中的b1图像相比b图像,对人脸后面较暗的场景自适应的做亮度增强,使得画面看起来清晰自然。
请参考图10,图10为本申请实施例提供的一种优化视频流效果示意图。其中曲线图是小图部分各个像素点的响应曲线,从曲线可以看出,本申请提供的亮度矫正方法的时域响应特性表现良好,此外其在空间域上有连续性和自适应性。
下面对本申请实施例提供的计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的图像处理方法可相互对应参照。
本申请还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述的图像处理方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应该认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语包括、包含或者其他任何变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
从视频流中获取待处理图像;所述待处理图像为RGB格式;
将所述待处理图像转换为YUV格式,得到第一图像,并提取所述第一图像对应的Y通道数据;
利用所述Y通道数据,生成所述第一图像各个像素分别对应的亮度校正参数;
利用所述亮度校正参数对各个像素分别对应的所述Y通道数据进行伽马亮度校正,得到校正后数据;
利用所述校正后数据替换所述Y通道数据,得到第二图像,并将所述第二图像转换为RGB格式,得到处理后图像;
将所述处理后图像和历史相邻帧优化图像输入评价模型,得到用于表征所述处理后图像与所述历史相邻帧优化图像之间亮度差距的评价参数;
确定所述评价参数不处于目标区间,则将所述处理后图像确定为所述待处理图像对应的亮度优化图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述从视频流中获取待处理图像,包括:
根据历史相邻帧图像从所述视频流中获取初始图像,并对所述初始图像进行归一化处理,得到归一化图像;
将所述归一化图像映射到线性色彩空间,得到第一中间图像;
提升所述第一中间图像中各个色彩通道的对比度,得到第二中间图像;
将所述第二中间图像映射到伽马色彩空间,得到第三中间图像;
将所述第三中间图像进行反归一化处理,得到所述待处理图像。
3.根据权利要求1所述的图像处理方法,其特征在于,所述利用所述Y通道数据,生成所述第一图像各个像素分别对应的亮度校正参数,包括:
对各个所述像素对应的所述Y通道数据按照大小或出现频次排序,得到数据序列;
将所述数据序列中处于预设比例位置的目标数据确定为所述亮度校正参数。
4.根据权利要求1所述的图像处理方法,其特征在于,所述利用所述Y通道数据,生成所述第一图像各个像素分别对应的亮度校正参数,包括:
确定各个所述像素对应的临近范围;
将所述像素和所述临近范围内的临近像素对应的所述Y通道数据按照大小或出现频次排序,得到数据序列;
将所述数据序列中处于预设比例位置的目标数据确定为所述像素对应的所述亮度校正参数。
5.根据权利要求1所述的图像处理方法,其特征在于,所述利用所述亮度校正参数对各个像素分别对应的所述Y通道数据进行伽马亮度校正,得到校正后数据,包括:
利用最大亮度值与所述亮度校正参数之间的亮度差值,生成与所述亮度差值成反比的幂值,并利用所述幂值和所述Y通道数据进行归一化的伽马计算,得到所述校正后数据。
6.根据权利要求5所述的图像处理方法,其特征在于,所述利用最大亮度值与所述亮度校正参数之间的亮度差值,生成与所述亮度差值成反比的幂值,并利用所述幂值和所述Y通道数据进行归一化的伽马计算,得到所述校正后数据,包括:
利用所述最大亮度值与所述亮度校正参数生成大于零的所述亮度差值;
利用所述亮度差值和预设阈值生成幂值;所述幂值与所述亮度差值成反比,所述幂值大于零;
利用所述Y通道数据和所述最大亮度值的比值作为底数,并利用所述底数和所述幂值得到幂函数值;
将所述幂函数值与所述最大亮度值相乘,得到所述校正后数据。
7.根据权利要求1所述的图像处理方法,其特征在于,若所述评价参数处于目标区间,包括:
更新所述亮度校正参数,以便利用更新后的所述亮度校正参数重新对各个像素分别对应的所述Y通道数据进行伽马亮度校正,得到新的校正后数据,进而利用新的校正后数据得到新的处理后图像,利用新的处理后图像得到新的评价参数,直至新的评价参数不处于目标区间,得到所述亮度优化图像。
8.根据权利要求7所述的图像处理方法,其特征在于,所述更新所述亮度校正参数,包括:
若所述处理后图像比所述历史相邻帧优化图像更暗,则降低所述亮度校正参数;
若所述处理后图像比所述历史相邻帧优化图像更亮,则提高所述亮度校正参数。
9.根据权利要求1所述的图像处理方法,其特征在于,还包括:
可视化输出所述处理后图像;
获取用于响应所述处理后图像的用户反馈信息,并根据所述用户反馈信息生成训练数据,并利用所述训练数据对所述评价模型进行追加训练。
10.根据权利要求1所述的图像处理方法,其特征在于,还包括:
利用所述视频流中的所有视频帧对应的处理后图像构成优化视频流,并可视化输出所述优化视频流。
11.一种电子设备,其特征在于,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现如权利要求1至10任一项所述的图像处理方法。
12.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的图像处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111469660.0A CN114092360A (zh) | 2021-12-03 | 2021-12-03 | 图像处理方法、设备及可读存储介质 |
PCT/CN2022/120792 WO2023098251A1 (zh) | 2021-12-03 | 2022-09-23 | 图像处理方法、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111469660.0A CN114092360A (zh) | 2021-12-03 | 2021-12-03 | 图像处理方法、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114092360A true CN114092360A (zh) | 2022-02-25 |
Family
ID=80306465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111469660.0A Pending CN114092360A (zh) | 2021-12-03 | 2021-12-03 | 图像处理方法、设备及可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114092360A (zh) |
WO (1) | WO2023098251A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827723A (zh) * | 2022-04-25 | 2022-07-29 | 阿里巴巴(中国)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
WO2023098251A1 (zh) * | 2021-12-03 | 2023-06-08 | 腾讯音乐娱乐科技(深圳)有限公司 | 图像处理方法、设备及可读存储介质 |
CN117133252A (zh) * | 2023-02-27 | 2023-11-28 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977214A (zh) * | 2023-07-21 | 2023-10-31 | 萱闱(北京)生物科技有限公司 | 图像优化方法、装置、介质和计算设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7881554B2 (en) * | 2006-06-05 | 2011-02-01 | Stmicroelectronics S.R.L. | Method for correcting a digital image |
US10777148B2 (en) * | 2015-07-31 | 2020-09-15 | Sony Corporation | Image signal luminance processing method, device and display apparatus |
CN105427257A (zh) * | 2015-11-18 | 2016-03-23 | 四川汇源光通信有限公司 | 图像增强方法及装置 |
CN110111288B (zh) * | 2019-04-15 | 2022-11-08 | 电子科技大学 | 基于深度辅助学习的图像增强及盲图质量评价网络系统 |
CN114092360A (zh) * | 2021-12-03 | 2022-02-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 图像处理方法、设备及可读存储介质 |
-
2021
- 2021-12-03 CN CN202111469660.0A patent/CN114092360A/zh active Pending
-
2022
- 2022-09-23 WO PCT/CN2022/120792 patent/WO2023098251A1/zh unknown
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023098251A1 (zh) * | 2021-12-03 | 2023-06-08 | 腾讯音乐娱乐科技(深圳)有限公司 | 图像处理方法、设备及可读存储介质 |
CN114827723A (zh) * | 2022-04-25 | 2022-07-29 | 阿里巴巴(中国)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN114827723B (zh) * | 2022-04-25 | 2024-04-09 | 阿里巴巴(中国)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN117133252A (zh) * | 2023-02-27 | 2023-11-28 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023098251A1 (zh) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5632890B2 (ja) | シーンの白色点を計算するためのノイズ最適化された選択基準の使用 | |
CN114092360A (zh) | 图像处理方法、设备及可读存储介质 | |
CN109801240B (zh) | 一种图像增强方法以及图像增强装置 | |
KR101634090B1 (ko) | 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들 | |
WO2021244440A1 (zh) | 电视画质调整方法、装置和系统及电视机设备 | |
US7835588B2 (en) | Contrast optimization of images | |
CN101778246B (zh) | 多画面视频图像处理方法和装置 | |
CN107909553B (zh) | 一种图像处理方法及设备 | |
US8159616B2 (en) | Histogram and chrominance processing | |
KR20120107429A (ko) | 구역 기반의 톤 매핑 | |
US20130202204A1 (en) | Image processing apparatus and method of controlling the same | |
US20170324959A1 (en) | Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream | |
CN111163268B (zh) | 一种图像处理方法、装置以及计算机存储介质 | |
CN109313796A (zh) | 一种图像处理方法以及装置 | |
CN108495054B (zh) | 高动态范围信号的处理方法、装置及计算机存储介质 | |
CN111724447B (zh) | 一种图像处理方法、系统及电子设备和存储介质 | |
CN114500843A (zh) | 拍摄方法、装置、存储介质以及电子设备 | |
US20230057829A1 (en) | Encoder, decoder, system, and method for determining tone mapping curve parameters | |
CN115239578A (zh) | 图像处理方法及装置、计算机可读存储介质、终端设备 | |
CN115527474A (zh) | 图像显示方法、装置、显示设备、投影设备及存储介质 | |
CN113411553A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR101903428B1 (ko) | 연관 이미지간 컬러 보정 시스템 및 보정방법 | |
Lee et al. | Piecewise tone reproduction for high dynamic range imaging | |
CN111369459A (zh) | 一种优化全局色调映射对比度的方法及装置 | |
CN113099200B (zh) | 处理视频信号的方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |