CN116249018A - 图像的动态范围压缩方法、装置、电子设备和存储介质 - Google Patents

图像的动态范围压缩方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116249018A
CN116249018A CN202310527771.5A CN202310527771A CN116249018A CN 116249018 A CN116249018 A CN 116249018A CN 202310527771 A CN202310527771 A CN 202310527771A CN 116249018 A CN116249018 A CN 116249018A
Authority
CN
China
Prior art keywords
pixel
frame
reference frame
dynamic range
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310527771.5A
Other languages
English (en)
Other versions
CN116249018B (zh
Inventor
卢东东
张乐
杨作兴
周承涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen MicroBT Electronics Technology Co Ltd
Original Assignee
Shenzhen MicroBT Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen MicroBT Electronics Technology Co Ltd filed Critical Shenzhen MicroBT Electronics Technology Co Ltd
Priority to CN202310527771.5A priority Critical patent/CN116249018B/zh
Publication of CN116249018A publication Critical patent/CN116249018A/zh
Application granted granted Critical
Publication of CN116249018B publication Critical patent/CN116249018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Abstract

本发明实施方式提出图像的动态范围压缩方法、装置、电子设备和存储介质。方法包括:获取高动态范围图像的当前帧;确定所述当前帧与参考帧的全局像素差异和直方图差异,所述参考帧是所述当前帧的先前帧;当所述全局像素差异小于第一阈值或所述直方图差异小于第二阈值时,基于所述当前帧与所述参考帧的每个像素差异,确定所述当前帧中的像素变化区域;基于像素映射曲线,以插值方式更新所述像素变化区域中的每个像素的像素值,其中所述像素映射曲线是基于所述参考帧及对所述参考帧执行动态范围压缩的输出帧确定的。无需对每帧图像都执行基于人工智能的动态范围压缩的算法处理,降低了功耗,还提高了实时性。

Description

图像的动态范围压缩方法、装置、电子设备和存储介质
技术领域
本发明属于图像处理技术领域,特别是涉及图像的动态范围压缩(Dynamic RangeCompression,DRC)方法、装置、电子设备和存储介质。
背景技术
高动态范围(High Dynamic Range,HDR)成像技术越来越成熟,许多摄像头已经具有该功能,使得相机可以在各种场景下拍摄到亮度合适、细节丰富的高动态图像。DRC技术可以将高动态图像压缩为低动态图像,也称为影调映射(tone-mapping)。随着人工智能(Artificial Intelligence,AI)技术的发展,已经出现基于AI的DRC方式,可以称为AI DRC算法。
目前,每帧HDR图像都需要经过AI DRC算法的处理,难以实现低功耗和实时性。
发明内容
本发明实施方式提出一种图像的DRC方法、装置、电子设备和存储介质。
本发明实施方式的技术方案如下:
一种图像的DRC方法,包括:
获取HDR图像的当前帧;
确定所述当前帧与参考帧的全局像素差异和直方图差异,所述参考帧是所述当前帧的先前帧;
当所述全局像素差异小于第一阈值或所述直方图差异小于第二阈值时,基于所述当前帧与所述参考帧的每个像素差异,确定所述当前帧中的像素变化区域;
基于像素映射曲线,以插值方式更新所述像素变化区域中的每个像素的像素值,其中所述像素映射曲线是基于所述参考帧及对所述参考帧执行DRC的输出帧确定的。
在一个实施方式中,包括:
当所述全局像素差异大于等于所述第一阈值且所述直方图差异大于等于所述第二阈值时,以基于AI的DRC方式对所述当前帧执行DRC。
在一个实施方式中,包括:
根据基于AI的DRC方式对所述当前帧执行DRC的输出帧,更新所述对参考帧执行DRC的输出帧。
在一个实施方式中,包括:
确定所述当前帧中除所述像素变化区域之外的剩余区域;
基于所述剩余区域在所述对参考帧执行DRC的输出帧中的对应区域中的像素的像素值,确定所述剩余区域中的对应像素的像素值。
在一个实施方式中,所述确定当前帧与参考帧的直方图差异包括:
分别将所述当前帧与参考帧对应分成M*N个的块,其中M和N都是正整数;
计算所述当前帧中的每个块与所述参考帧中的对应块之间的直方图差异的均值,以得到M*N个的计算结果;
基于所述M*N个的计算结果的求和值,确定所述当前帧与所述参考帧的直方图差异。
在一个实施方式中,包括:
分别将所述参考帧与所述对参考帧执行DRC的输出帧对应分成M*N个的块,其中M和N都是正整数;
基于所述参考帧中的每个块的直方图,确定所述参考帧中的每个块的第一累计直方图;
基于所述对参考帧执行DRC的输出帧中的每个块的直方图,确定所述对参考帧执行DRC的输出帧中的每个块的第二累计直方图;
基于每个块的第一累计直方图及对应块的第二累计直方图,确定每个块的像素映射曲线,其中所述像素映射曲线包含第一累计直方图中对应于任意像素值的第一比例值与第二累计直方图中对应于所述任意像素值的第二比例值之间的映射关系;其中:所述第一比例值表征所述参考帧中的所述每个块中、像素值小于该任意像素值的像素数目,与所述参考帧中的所述每个块的总像素数目的比值;所述第二比例值表征所述对参考帧执行DRC的输出帧中的所述对应块中、像素值小于该任意像素值的像素数目,与所述对参考帧执行DRC的输出帧中的所述对应块的总像素数目的比值。
在一个实施方式中,所述基于像素映射曲线,以插值方式更新所述像素变化区域中的每个像素的像素值包括:
确定所述像素变化区域中的像素的T个相邻块,其中T为正整数;
基于所述像素的当前像素值及T个相邻块的T个像素映射曲线,确定所述像素的T个映射值;
基于所述像素的坐标、所述T个映射值和所述T个相邻块的T个中心点的坐标,以插值算法确定所述当前像素值的更新值;
基于所述更新值更新所述当前像素值。
一种图像的DRC装置,包括:
获取模块,用于获取HDR图像的当前帧;
第一确定模块,用于确定所述当前帧与参考帧的全局像素差异和直方图差异,所述参考帧是所述当前帧的先前帧;
第二确定模块,用于当所述全局像素差异小于第一阈值或所述直方图差异小于第二阈值时,基于所述当前帧与所述参考帧的每个像素差异,确定所述当前帧中的像素变化区域;
更新模块,用于基于像素映射曲线,以插值方式更新所述像素变化区域中的每个像素的像素值,其中所述像素映射曲线是基于所述参考帧及对所述参考帧执行DRC的输出帧确定的。
一种电子设备,包括:
存储器;
处理器;
其中所述存储器中存储有可被所述处理器执行的应用程序,用于使得所述处理器执行如上任一项所述的图像的DRC方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令在被处理器执行时,使所述处理器执行如上任一项所述的图像的DRC方法。
从上述技术方案可以看出,在本发明实施方式中,获取HDR图像的当前帧;确定当前帧与参考帧的全局像素差异和直方图差异,参考帧是当前帧的先前帧;当全局像素差异小于第一阈值或直方图差异小于第二阈值时,基于当前帧与参考帧的每个像素差异,确定当前帧中的像素变化区域;基于像素映射曲线,以插值方式更新像素变化区域中的每个像素的像素值,其中像素映射曲线是基于参考帧与对参考帧执行DRC的输出帧确定的。可见,无需对每帧图像都执行AI DRC的算法处理,降低了功耗,还提高了实时性。
附图说明
图1为本发明实施方式的图像的DRC方法的流程图。
图2为本发明实施方式确定直方图的示范性示意图。
图3为本发明实施方式确定像素映射曲线的示范性流程图。
图4为本发明实施方式更新像素变化区域中的像素点的像素值的示范性流程图。
图5为本发明实施方式的图像的DRC处理过程的示范性示意图。
图6为本发明实施方式的运动检测过程的示范性示意图。
图7为本发明实施方式的图像的DRC装置的结构图。
图8为本发明实施方式的电子设备的示范性结构图。
实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
为了描述上的简洁和直观,下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显,本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案,一些实施方式没有进行细致地描述,而是仅给出了框架。下文中,“包括”是指“包括但不限于”,“根据……”是指“至少根据……,但不限于仅根据……”。由于汉语的语言习惯,下文中没有特别指出一个成分的数量时,意味着该成分可以是一个也可以是多个,或可理解为至少一个。
考虑到对每帧HDR图像都执行基于AI的DRC方式(也就是,AI DRC算法)的缺陷,在本发明实施方式中,并不简单地对每帧HDR图像都执行AI DRC算法,而是对当前帧进行分析,基于分析结果确定执行DRC的具体策略。其中:如果当前帧不符合执行AI DRC算法的条件时,基于像素映射曲线对当前帧中的像素变化区域进行插值计算,而除像素变化区域之外的剩余区域中的像素点的像素值则与对参考帧执行DRC(优选为执行AI DRC算法)的输出帧中的对应区域中的像素点的像素值保持一致。如果当前帧符合执行AI DRC算法的条件时,则利用AI DRC算法对当前帧执行DRC处理。由于减少了AI DRC算法的执行次数,可以降低功耗,并提高实时性。
图1为本发明实施方式的图像的DRC方法的流程图。如图1所示,该方法包括:
步骤101:获取HDR图像的当前帧。
与普通图像相比,HDR图像可以提供更多的动态范围和图像细节。可以利用每个曝光时间相对应的、具有较佳细节的多张低动态范围图像(Low Dynamic Range,LDR)图像合成HDR图像。HDR图像能够更好地反映出真实环境中的视觉效果。具体地,HDR图像可以为静态图像或动态图像(比如,视频流)。
步骤102:确定当前帧与参考帧的全局像素差异和直方图差异,参考帧是当前帧的先前帧。
在这里,参考帧可以是当前帧之前的任意帧。比如,参考帧可以是当前帧在HDR图像中的前一帧、当前帧在HDR图像中的前一帧的前一帧,当前帧在HDR图像中的前一帧的前一帧的前一帧,等等。
在一个实施方式中,确定当前帧与参考帧的全局像素差异包括:对当前帧与参考帧执行减法操作(也就是:当前帧的每个像素点的像素值减去参考帧中的对应像素点的像素值),减法操作的结果表征当前帧与参考帧的每个对应像素点之间的差异。然后,对减法操作的结果的绝对值取均值,该均值即为全局像素差异。全局像素差异表征当前帧与参考帧的像素点的整体差异。
举例,假定当前帧为I,参考帧为I’。首先,计算diff_mask,其中diff_mask =Abs(I-I’), 其中Abs为取绝对值函数。然后,基于diff_mask计算全局像素差异diff_pixel。其中:diff_pixel=Mean(diff_mask),Mean为求平均数的函数。其中:diff_mask表征当前帧I与参考帧I’之间的每个像素的差异;diff_pixel表征当前帧I与参考帧I’的全局像素差异。
在当前帧与参考帧的各自的直方图中,横坐标均为像素值,纵坐标均为像素数目。在一个实施方式中,可以直接对当前帧的直方图与参考帧的直方图执行减法操作,以得到当前帧与参考帧的直方图差异。在另一个实施方式中,确定当前帧与参考帧的直方图差异包括:分别将当前帧与参考帧对应分成M*N个的块,其中M和N都是正整数;计算当前帧中的每个块与参考帧中的对应块之间的直方图差异的均值,以得到M*N个的计算结果;基于M*N个的计算结果的求和值,确定当前帧与参考帧的直方图差异。优选地,N与M的值相同,从而降低分块的复杂度。
图2为本发明实施方式确定直方图的示范性示意图。以当前帧为例进行说明。在图2中,当前帧被分割为4*4个块。针对任意的块,都可以统计出直方图。比如,对于第一行第四列的块,统计出该块中的任意像素值与具有该任意像素值的像素点的数量之间的对应关系,即可得到直方图hist_1_4。再比如,对于第三行第二列的块,统计出该块中的任意像素值与具有该任意像素值的像素点的数量之间的对应关系,即可得到直方图hist_3_2。类似地,参考帧被分割为4*4个同样的块,针对参考帧中的任意块,同样统计出各自的直方图。然后,计算当前帧中的每个块与参考帧中的对应块之间的直方图差异的均值,以得到4*4个的计算结果。然后,基于4*4个的计算结果的求和值,确定当前帧与参考帧的直方图差异。比如,将求和值除以块数(即4*4)的结果,确定为当前帧与参考帧的直方图差异。
举例,假定将当前帧I等分成N*N个子块,N为设定的参数,分别计算每个子块的直方图hist, 其中hist[i]表示当前帧I中的第i个块的直方图分布。类似地,将参考帧I’等分成N*N个子块,分别计算参考帧I’中的每个子块的直方图hist’, hist’[i]表示参考帧I’中的第i个块的直方图分布。
计算当前帧I与参考帧I’的直方图差异diff_hist。其中:
Figure SMS_1
其中:abs为取绝对值函数;mean为取均值函数。
以上示范性描述了确定全局像素差异与直方图差异的典型实例,本领域技术人员可以意识到,这种描述仅是示范性的,并不用于限定本发明实施方式的保护范围。
步骤103:当全局像素差异小于第一阈值或直方图差异小于第二阈值时,基于当前帧与参考帧的每个像素差异,确定当前帧中的像素变化区域。
在这里,当全局像素差异较小时,表明当前帧相对于参考帧近乎静止,因此无需对当前帧执行AI DRC算法。而且,考虑到DRC处理对象主要是亮度、颜色和对比度,这些对象对于运动是不敏感的,比如在输入亮度不变的情况下,一个物体从画面的左下角移动到右上角,虽然发生了很大的运动,但是整体的亮度分布(直方图)基本不变,而经过DRC处理后的亮度映射关系应该是相近的。因此,当直方图差异较小时,同样无需对当前帧执行AI DRC算法。
基于当前帧与参考帧的每个像素差异,确定当前帧中的像素变化区域。比如,假定当前帧为I,参考帧为I’。计算diff_mask,其中diff_mask =Abs(I-I’), 其中Abs为取绝对值函数。diff_mask表征当前帧I与参考帧I’之间的每个像素差异。diff_mask所覆盖的区域即为当前帧中的像素变化区域。
步骤104:基于像素映射曲线,以插值方式更新像素变化区域中的每个像素的像素值,其中像素映射曲线是基于参考帧与对参考帧执行DRC的输出帧确定的。
在这里,当确定无需对当前帧执行AI DRC算法后,可以基于参考帧与对参考帧执行DRC(优选为AI DRC)的输出帧确定的像素映射曲线,以插值方式更新像素变化区域中的每个像素的像素值。通过插值方式更新像素变化区域中的每个像素的像素值,可以实现快速运算。
在一个实施方式中,该方法包括:确定当前帧中除像素变化区域之外的剩余区域;基于剩余区域在对参考帧执行DRC的输出帧中的对应区域中的像素的像素值,确定剩余区域中的对应像素的像素值。比如,像素变化区域之外的剩余区域中的像素的像素值,等同于对参考帧执行DRC的输出帧中的对应区域中的像素的像素值。可见,针对全局像素差异小于第一阈值或直方图差异小于第二阈值的当前帧,无需执行AI DRC算法,因此降低了功耗,并提高了实时性。
在一个实施方式中,该方法包括:当全局像素差异大于等于第一阈值且直方图差异大于等于第二阈值时,以基于AI的DRC方式对当前帧执行DRC。因此,当全局像素差异大于等于第一阈值且直方图差异大于等于第二阈值时,以基于AI的DRC方式(也就是 AI DRC算法)对当前帧执行DRC,因此保证了压缩效率。
在一个实施方式中,该方法包括:根据基于AI的DRC方式对当前帧执行DRC的输出帧,更新对参考帧执行DRC的输出帧。相应地,利用当前帧更新参考帧。因此,利用基于AI的DRC方式对当前帧执行DRC的输出帧,更新对参考帧执行DRC的输出帧。而且,基于当前帧(作为更新的参考帧)及对当前帧执行DRC的输出帧(作为对参考帧执行DRC的输出帧的更新结果)重新确定像素映射曲线,可以实现更新像素映射曲线,从而提高像素映射曲线的准确度。
通常情况下,DRC处理过程较为复杂,亮度颜色的调整具有空间自适应的特性。也就是,相同亮度的不同像素点在不同位置可能有不同的映射结果。比如,对于0-255的亮度范围,暗区的20经过DRC算法提亮到50,而亮区的20经过DRC压暗则可能降低为10。因此,为了适应这种1对多的映射关系,优选将图像等分成多个子块,然后分别计算每个子块的像素映射曲线。虽然每个子块的像素映射曲线具有单调的1对1关系,但是全部子块的整体而言,可以实现1对多的关系,其中分的子块越多,则误差越小。
在一个实施方式中,该方法包括:分别将参考帧与对参考帧执行DRC的输出帧对应分成M*N个的块,其中M和N都是正整数;基于参考帧中的每个块的直方图,确定参考帧中的每个块的第一累计直方图;基于对参考帧执行DRC的输出帧中的每个块的直方图,确定对参考帧执行DRC的输出帧中的每个块的第二累计直方图;基于每个块的第一累计直方图及对应块的第二累计直方图,确定每个块的像素映射曲线,其中像素映射曲线包含第一累计直方图中对应于任意像素值的第一比例值与第二累计直方图中对应于任意像素值的第二比例值之间的映射关系;其中:第一比例值表征参考帧中的每个块中、像素值小于该任意像素值的像素数目,与参考帧中的每个块的总像素数目的比值;第二比例值表征对参考帧执行DRC的输出帧中的对应块中、像素值小于该任意像素值的像素数目,与对参考帧执行DRC的输出帧中的对应块的总像素数目的比值。
图3为本发明实施方式确定像素映射曲线的示范性流程图。在图3中,第一累积直方图的横坐标为参考帧中的一个块(比如,标记为块i)的像素值,纵坐标为块i中像素值小于横坐标对应的像素值的像素数目与块i的总像素数目的比例。第二累积直方图的横坐标为对参考帧执行DRC的输出帧中的、对应于块i的块i’的像素值,纵坐标为块i’中像素值小于横坐标对应的像素值的像素数目与块i’的总像素数目的比例。在第一累积直方图中,纵坐标上的X对应于横坐标上的像素值T。在第二累积直方图中,纵坐标上的X对应于横坐标上的像素值T’。因此,对于X,可以获得映射关系:Map_i[T] = T’。该映射关系表示对于X,可以将T(输入值)映射为T’(输出值)。类似地,随着X值的变化,可以计算出多个映射关系,其中每个映射关系包含对应于各自纵坐标取值的数据对(T,T’)。然后,对这多个数据对进行插值可以得到连续的曲线,即为块i的像素映射曲线。根据类似方式,可以确定出每个块的像素映射曲线。
当全局像素差异(diff_pixel)较小或者直方图差异(diff_hist)较小时,不需要针对当前帧应用AI DRC算法。通过参考帧的像素映射曲线,以插值算法就可以对像素变化区域执行DRC处理,即确定DRC处理后的像素变化区域中的每个像素的像素值的更新结果。
在一个实施方式中,基于像素映射曲线,以插值方式更新像素变化区域中的每个像素的像素值包括:确定像素变化区域中的像素的T个相邻块,其中T为正整数;基于像素的当前像素值及T个相邻块的T个像素映射曲线,确定像素的T个映射值;基于像素的坐标、T个映射值和T个相邻块的T个中心点的坐标,以插值算法确定当前像素值的更新值;基于更新值更新当前像素值。
图4为本发明实施方式更新像素变化区域中的像素点的像素值的示范性流程图。
如图4所示,N取为4,当前帧被分成4x4个子块,框21表示像素变化区域(即Diff_mask大于零或预定阈值的区域),表示该区域存在像素变化。框21以外的区域的像素的像素值,直接使用对参考帧执行DRC的输出帧(优选为对参考帧执行AI DRC的输出帧)中的对应区域的对应像素的像素值。
对于框21内的像素,通过查询相邻的四个块的映射曲线,再经过双线性插值,可以得到更新像素值。在图4中,点E位于框21内,点E的坐标为(x,y);点E的当前像素值为a。点A、点B、点C和点D分别为点E的相邻4个块的中心点。点A的坐标为(x1,y1)。将像素值a输入点A所在的块的像素映射曲线,得到映射值Q12。点B的坐标为(x2,y2)。将像素值a输入点B所在的块的像素映射曲线,得到映射值Q13。点C的坐标为(x3,y3)。将像素值a输入点C所在的块的像素映射曲线,得到映射值Q22。点D的坐标为(x4,y4)。将像素值a输入点D所在的块的像素映射曲线,得到映射值Q23。
然后,计算点E经DRC处理后的像素值F(a),其中:
F(a)=(Q12*(x2-x)*(y1-y)+Q22*(x2-x)(y-y2)+Q13*(x-x1)(y1-y)+Q23*(x– x1)(y-y2))/((x2-x1)*(y1-y2))。
类似地,对于框21内的任意像素点,都可以确定出经DRC处理后的像素值。将框21内的所有像素点的像素值,都更新为各自经DRC处理后的像素值。当前帧中除框21之外的任意像素点的像素值,经DRC处理后的像素值等同于对参考帧执行DRC的输出帧中的对应位置处的像素的像素值。因此,当前帧的全部像素都可以获得DRC处理后的像素值,从而完成当前帧的DRC处理。
图5为本发明实施方式的图像的DRC处理过程的示范性示意图。DRC处理过程包括:
步骤a:执行图像采集处理,以得到多级曝光图像(同一场景的不同亮度的多张图像)。多级曝光图像经HDR融合处理,得到高位宽(像素数值范围更大)、高动态(细节更多)的融合后图像I_merge。
步骤b:基于参考帧对I_merge中的当前帧I执行运动检测处理,参考帧是I_merge中的当前帧I的先前帧,其中计算当前帧I与参考帧I’的全局像素差异Diff_pixel和直方图差异Diff_hist。如果Diff_pixel 大于预定阈值T1且Diff_hist大于预定阈值T2, 则输出1,并进入步骤c; 否则输出0,并进入步骤e。
步骤c:运动检测处理输出1,表示当前帧I和参考帧I’在像素分布上差异较大且局部直方图的差异较大,因此对当前帧I执行AI DRC处理, AI DRC处理得到输出帧I_out。
步骤d:根据I_out和当前帧I对应NxN个块的像素分布,计算每个块的像素映射曲线,将各个块的块的像素映射曲线更新到用于保存像素映射曲线的缓存中,进入步骤f 。
步骤e:运动检测处理输出0,表示当前帧I和参考帧I’在像素分布上差异较小或局部直方图的差异较小,从保存像素映射曲线的缓存中读取像素变化区域中的像素的相邻块的像素映射曲线,基于相邻块的像素映射曲线更新像素变化区域中的像素的像素值。对于除像素变化区域之外的剩余区域,则基于剩余区域在对参考帧执行DRC的输出帧中的对应区域中的像素的像素值,确定剩余区域中的对应像素的像素值。最后的输出结果为I_out。
步骤f:将I_out更新到输出缓存中。
图6为本发明实施方式的运动检测过程的示范性示意图。运动检测过程包括:
根据当前帧I和参考帧I’,计算diff_mask=abs(I-I’), diff_pixel= mean(diff_mask)。其中diff_mask表示每个像素的差异,diff_pixel表示整体差异。如果diff_pixel小于设定的阈值T1,表示相对于参考帧,当前帧I近乎静止,因此无需对当前帧I执行AIDRC,此时输出diff_mask; 否则,表示当前帧I和参考帧I’存在一定的像素差异,画面存在运动。将当前帧I等分成NxN个子块,N为设定的参数,分别计算每个子块的直方图Hist,Hist[i]表示第i个块的直方图分布,再和参考帧I’,的直方图Hist’比较,计算出直方图差异diff_hist。如果diff_hist小于设定的阈值T2,则认为直方图变化较小,不需要对当前帧I计算AI DRC,输出Diff mask;否则,则认定需要对当前帧计算AI DRC。
图7为本发明实施方式的图像的DRC装置的结构图。如图7所示,图像的DRC装置600包括:
获取模块601,用于获取HDR图像的当前帧;
第一确定模块602,用于确定当前帧与参考帧的全局像素差异和直方图差异,参考帧是当前帧的先前帧;
第二确定模块603,用于当全局像素差异小于第一阈值或直方图差异小于第二阈值时,基于当前帧与参考帧的每个像素差异,确定当前帧中的像素变化区域;
更新模块604,用于基于像素映射曲线,以插值方式更新像素变化区域中的每个像素的像素值,其中像素映射曲线是基于参考帧及对参考帧执行DRC缩的输出帧确定的。
在一个实施方式中,第二确定模块603,用于当全局像素差异大于等于第一阈值且直方图差异大于等于第二阈值时,以基于AI的DRC方式对当前帧执行DRC。
在一个实施方式中,第二确定模块603,根据基于AI的DRC方式对当前帧执行DRC的输出帧,更新对参考帧执行DRC的输出帧。
在一个实施方式中,第二确定模块603,用于确定当前帧中除像素变化区域之外的剩余区域;基于剩余区域在对参考帧执行DRC的输出帧中的对应区域中的像素的像素值,确定剩余区域中的对应像素的像素值。
在一个实施方式中,第二确定模块603,用于分别将当前帧与参考帧对应分成M*N个的块,其中M和N都是正整数;计算当前帧中的每个块与参考帧中的对应块之间的直方图差异的均值,以得到M*N个的计算结果;基于M*N个的计算结果的求和值,确定当前帧与参考帧的直方图差异。
在一个实施方式中,第二确定模块603,分别将参考帧与对参考帧执行DRC的输出帧对应分成M*N个的块,其中M和N都是正整数;基于参考帧中的每个块的直方图,确定参考帧中的每个块的第一累计直方图;基于对参考帧执行DRC的输出帧中的每个块的直方图,确定对参考帧执行DRC的输出帧中的每个块的第二累计直方图;基于每个块的第一累计直方图及对应块的第二累计直方图,确定每个块的像素映射曲线,其中像素映射曲线包含第一累计直方图中对应于任意像素值的第一比例值与第二累计直方图中对应于任意像素值的第二比例值之间的映射关系;其中:第一比例值表征参考帧中的每个块中、像素值小于该任意像素值的像素数目,与参考帧中的每个块的总像素数目的比值;第二比例值表征对参考帧执行DRC的输出帧中的对应块中、像素值小于该任意像素值的像素数目,与对参考帧执行DRC的输出帧中的对应块的总像素数目的比值。
在一个实施方式中,更新模块604,用于确定像素变化区域中的像素的T个相邻块,其中T为正整数;基于像素的当前像素值及T个相邻块的T个像素映射曲线,确定像素的T个映射值;基于像素的坐标、T个映射值和T个相邻块的T个中心点的坐标,确定当前像素值的更新值;基于更新值更新当前像素值。
图8为本发明实施方式的电子设备的示范性结构图。通常,电子设备800包括:处理器801和存储器802。处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称中央处理器(Central Processing Unit,CPU);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施方式中,处理器801可以在集成有图像处理器(GraphicsProcessing Unit,GPU),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施方式中,处理器801还可以包括AI处理器,该AI处理器用于处理有关机器学习的计算操作。比如,AI处理器可以实施为神经网络处理器。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施方式中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本公开中各个实施方式提供的图像的DRC方法。在一些实施方式中,语音合成装置800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将输入/输出(Input /Output,I/O)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施方式中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施方式中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施方式对此不加以限定。
射频电路804用于接收和发射射频(Radio Frequency,RF)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或无线保真(Wireless Fidelity,Wi-Fi)网络。在一些实施方式中,射频电路804还可以包括近距离无线通信(Near Field Communication,NFC)有关的电路,本公开对此不加以限定。
显示屏805用于显示用户界面(User Interface,UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施方式中,显示屏805可以为一个,设置在语音合成装置800的前面板;在另一些实施方式中,显示屏805可以为至少两个,分别设置在语音合成装置800的不同表面或呈折叠设计;在一些实施方式中,显示屏805可以是柔性显示屏,设置在语音合成装置800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施方式中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(Virtual Reality,VR)拍摄功能或者其它融合拍摄功能。在一些实施方式中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在语音合成装置800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施方式中,音频电路807还可以包括耳机插孔。定位组件808用于定位语音合成装置800的当前地理位置,以实现导航或基于位置的服务(Location Based Service,LBS)。定位组件808可以是基于美国的全球定位系统(Global Positioning System,GPS)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。电源809用于为语音合成装置800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。
本领域技术人员可以理解,上述的结构并不构成对语音合成装置800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。需要说明的是,上述各流程和各结构图中不是所有的步骤和模块都是必须的,可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的,可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分,实际实现时,一个模块可以分由多个模块实现,多个模块的功能也可以由同一个模块实现,这些模块可以位于同一个设备中,也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如,一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器,如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式,或是采用专用的永久性电路,或是采用临时配置的电路(如由软件进行配置)来实现硬件模块,可以根据成本和时间上的考虑来决定。
本发明还提供了一种机器可读的存储介质,存储用于使一机器执行如本申请方法的指令。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施方式中任一实施方式的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外,还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作,从而实现上述实施方式中任一实施方式的功能。
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机或云上下载程序代码。
以上,仅为本发明的较佳实施方式而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像的动态范围压缩方法,其特征在于,包括:
获取高动态范围图像的当前帧;
确定所述当前帧与参考帧的全局像素差异和直方图差异,所述参考帧是所述当前帧的先前帧;
当所述全局像素差异小于第一阈值或所述直方图差异小于第二阈值时,基于所述当前帧与所述参考帧的每个像素差异,确定所述当前帧中的像素变化区域;
基于像素映射曲线,以插值方式更新所述像素变化区域中的每个像素的像素值,其中所述像素映射曲线是基于所述参考帧及对所述参考帧执行动态范围压缩的输出帧确定的。
2.根据权利要求1所述的方法,其特征在于,包括:
当所述全局像素差异大于等于所述第一阈值且所述直方图差异大于等于所述第二阈值时,以基于人工智能的动态范围压缩方式对所述当前帧执行动态范围压缩。
3.根据权利要求2所述的方法,其特征在于,包括:
根据基于人工智能的动态范围压缩方式对所述当前帧执行动态范围压缩的输出帧,更新所述对参考帧执行动态范围压缩的输出帧。
4.根据权利要求1所述的方法,其特征在于,包括:
确定所述当前帧中除所述像素变化区域之外的剩余区域;
基于所述剩余区域在所述对参考帧执行动态范围压缩的输出帧中的对应区域中的像素的像素值,确定所述剩余区域中的对应像素的像素值。
5.根据权利要求1所述的方法,其特征在于,所述确定当前帧与参考帧的直方图差异包括:
分别将所述当前帧与参考帧对应分成M*N个的块,其中M和N都是正整数;
计算所述当前帧中的每个块与所述参考帧中的对应块之间的直方图差异的均值,以得到M*N个的计算结果;
基于所述M*N个的计算结果的求和值,确定所述当前帧与所述参考帧的直方图差异。
6.根据权利要求1-5中任一项所述的方法,其特征在于,包括:
分别将所述参考帧与所述对参考帧执行动态范围压缩的输出帧对应分成M*N个的块,其中M和N都是正整数;
基于所述参考帧中的每个块的直方图,确定所述参考帧中的每个块的第一累计直方图;
基于所述对参考帧执行动态范围压缩的输出帧中的每个块的直方图,确定所述对参考帧执行动态范围压缩的输出帧中的每个块的第二累计直方图;
基于每个块的第一累计直方图及对应块的第二累计直方图,确定每个块的像素映射曲线,其中所述像素映射曲线包含第一累计直方图中对应于任意像素值的第一比例值与第二累计直方图中对应于所述任意像素值的第二比例值之间的映射关系;其中:所述第一比例值表征所述参考帧中的所述每个块中、像素值小于该任意像素值的像素数目,与所述参考帧中的所述每个块的总像素数目的比值;所述第二比例值表征所述对参考帧执行动态范围压缩的输出帧中的所述对应块中、像素值小于该任意像素值的像素数目,与所述对参考帧执行动态范围压缩的输出帧中的所述对应块的总像素数目的比值。
7.根据权利要求6所述的方法,其特征在于,所述基于像素映射曲线,以插值方式更新所述像素变化区域中的每个像素的像素值包括:
确定所述像素变化区域中的像素的T个相邻块,其中T为正整数;
基于所述像素的当前像素值及T个相邻块的T个像素映射曲线,确定所述像素的T个映射值;
基于所述像素的坐标、所述T个映射值和所述T个相邻块的T个中心点的坐标,确定所述当前像素值的更新值;
基于所述更新值更新所述当前像素值。
8.一种图像的动态范围压缩装置,其特征在于,包括:
获取模块,用于获取高动态范围图像的当前帧;
第一确定模块,用于确定所述当前帧与参考帧的全局像素差异和直方图差异,所述参考帧是所述当前帧的先前帧;
第二确定模块,用于当所述全局像素差异小于第一阈值或所述直方图差异小于第二阈值时,基于所述当前帧与所述参考帧的每个像素差异,确定所述当前帧中的像素变化区域;
更新模块,用于基于像素映射曲线,以插值方式更新所述像素变化区域中的每个像素的像素值,其中所述像素映射曲线是基于所述参考帧及对所述参考帧执行动态范围压缩的输出帧确定的。
9.一种电子设备,其特征在于,包括:
存储器;
处理器;
其中所述存储器中存储有可被所述处理器执行的应用程序,用于使得所述处理器执行如权利要求1至7中任一项所述的图像的动态范围压缩方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令在被处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的图像的动态范围压缩方法。
CN202310527771.5A 2023-05-11 2023-05-11 图像的动态范围压缩方法、装置、电子设备和存储介质 Active CN116249018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310527771.5A CN116249018B (zh) 2023-05-11 2023-05-11 图像的动态范围压缩方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310527771.5A CN116249018B (zh) 2023-05-11 2023-05-11 图像的动态范围压缩方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN116249018A true CN116249018A (zh) 2023-06-09
CN116249018B CN116249018B (zh) 2023-09-08

Family

ID=86624608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310527771.5A Active CN116249018B (zh) 2023-05-11 2023-05-11 图像的动态范围压缩方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116249018B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637293A (zh) * 2011-02-12 2012-08-15 株式会社日立制作所 运动图像处理装置及运动图像处理方法
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置
US20130089247A1 (en) * 2011-10-07 2013-04-11 Zakrytoe akcionemoe obshchestvo "Impul's" Method of Noise Reduction in Digital X-Ray Frames Series
CN103186887A (zh) * 2011-12-30 2013-07-03 株式会社日立制作所 图像除雾装置和图像除雾方法
CN103226822A (zh) * 2013-05-15 2013-07-31 清华大学 医疗影像拼接方法
CN103778599A (zh) * 2012-10-23 2014-05-07 浙江大华技术股份有限公司 一种图像处理方法及系统
CN104574290A (zh) * 2013-10-17 2015-04-29 想象技术有限公司 色调映射
CN108537758A (zh) * 2018-04-23 2018-09-14 北京理工大学 一种基于显示器与人眼视觉特性的图像对比度增强方法
CN108830146A (zh) * 2018-05-04 2018-11-16 南京邮电大学 一种基于滑动窗口的非压缩域镜头边界检测方法
US20190089993A1 (en) * 2017-09-20 2019-03-21 Kabushiki Kaisha Toshiba Dynamic range compression device and image processing device
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
CN111629262A (zh) * 2020-05-08 2020-09-04 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质
CN114157895A (zh) * 2021-12-03 2022-03-08 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN114742857A (zh) * 2022-06-13 2022-07-12 深圳比特微电子科技有限公司 一种首帧图像的去噪方法、去噪装置、电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102637293A (zh) * 2011-02-12 2012-08-15 株式会社日立制作所 运动图像处理装置及运动图像处理方法
US20130089247A1 (en) * 2011-10-07 2013-04-11 Zakrytoe akcionemoe obshchestvo "Impul's" Method of Noise Reduction in Digital X-Ray Frames Series
CN103186887A (zh) * 2011-12-30 2013-07-03 株式会社日立制作所 图像除雾装置和图像除雾方法
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置
CN103778599A (zh) * 2012-10-23 2014-05-07 浙江大华技术股份有限公司 一种图像处理方法及系统
CN103226822A (zh) * 2013-05-15 2013-07-31 清华大学 医疗影像拼接方法
CN104574290A (zh) * 2013-10-17 2015-04-29 想象技术有限公司 色调映射
US20190089993A1 (en) * 2017-09-20 2019-03-21 Kabushiki Kaisha Toshiba Dynamic range compression device and image processing device
CN108537758A (zh) * 2018-04-23 2018-09-14 北京理工大学 一种基于显示器与人眼视觉特性的图像对比度增强方法
CN108830146A (zh) * 2018-05-04 2018-11-16 南京邮电大学 一种基于滑动窗口的非压缩域镜头边界检测方法
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
CN111629262A (zh) * 2020-05-08 2020-09-04 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质
CN114157895A (zh) * 2021-12-03 2022-03-08 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN114742857A (zh) * 2022-06-13 2022-07-12 深圳比特微电子科技有限公司 一种首帧图像的去噪方法、去噪装置、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王想;郭延文;杜振龙;武港山;张福炎;彭群生;: "图像和视频亮度的自动调整", 电子学报, no. 1 *

Also Published As

Publication number Publication date
CN116249018B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN110622497B (zh) 具备具有不同焦距的相机的设备及实现相机的方法
CN110059685B (zh) 文字区域检测方法、装置及存储介质
CN107945163B (zh) 图像增强方法及装置
CN110097576B (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
CN110599593A (zh) 数据合成的方法、装置、设备及存储介质
CN110503159B (zh) 文字识别方法、装置、设备及介质
CN111586413B (zh) 视频调整方法、装置、计算机设备及存储介质
CN110991457A (zh) 二维码处理方法、装置、电子设备及存储介质
CN111104893A (zh) 目标检测方法、装置、计算机设备及存储介质
CN110572710B (zh) 视频生成方法、装置、设备及存储介质
CN109754439B (zh) 标定方法、装置、电子设备及介质
CN111325220A (zh) 图像生成方法、装置、设备及存储介质
CN111586444A (zh) 视频处理方法、装置、电子设备及存储介质
CN116249018B (zh) 图像的动态范围压缩方法、装置、电子设备和存储介质
US20220360707A1 (en) Photographing method, photographing device, storage medium and electronic device
CN113096022A (zh) 图像虚化处理方法、装置、存储介质与电子设备
CN112383719B (zh) 图像亮度的调整方法、装置、设备及可读存储介质
CN115798417A (zh) 背光亮度的确定方法、装置、设备及计算机可读存储介质
CN111770339B (zh) 视频编码方法、装置、设备及存储介质
CN111127539B (zh) 视差确定方法、装置、计算机设备及存储介质
CN110335224B (zh) 图像处理方法、装置、计算机设备及存储介质
CN114202617A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN110443841B (zh) 地面深度的测量方法、装置及系统
CN115147466A (zh) 图像配准方法及装置、图像处理方法及装置以及存储介质
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant