CN115293994B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115293994B CN115293994B CN202211206631.XA CN202211206631A CN115293994B CN 115293994 B CN115293994 B CN 115293994B CN 202211206631 A CN202211206631 A CN 202211206631A CN 115293994 B CN115293994 B CN 115293994B
- Authority
- CN
- China
- Prior art keywords
- image
- video
- dynamic range
- target
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 355
- 230000000694 effects Effects 0.000 claims abstract description 104
- 238000006243 chemical reaction Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000007704 transition Effects 0.000 claims description 52
- 238000009499 grossing Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 31
- 230000014759 maintenance of location Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 230000000873 masking effect Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims 4
- 230000002708 enhancing effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 19
- 238000001914 filtration Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 244000025254 Cannabis sativa Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机设备和存储介质。涉及网络媒体领域,包括:获取对原始视频中的视频图像进行格式转换生成的第一图像;第一图像的图像动态范围与视频图像的图像动态范围相同;获取图像动态范围采用第二类动态范围表示的第二图像;根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图;目标图像为第一图像或第二图像;基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像;基础图像为第一图像或第二图像且与目标图像不同;基于原始视频中各视频图像分别对应的融合图像生成融合视频。采用本方法能够提升图像的显示效果。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的发展,图像成为快速、直观地获取信息的通道。图像可以为任意类动态范围的图像,任意类动态范围包括但不限于是SDR(Standard Dynamic Range,标准动态范围)、HDR(High Dynamic Range,高动态范围)和伪HDR。目前很多场景中会存在将一类动态范围的图像转换为另外一类动态范围的图像的需求。例如,存在将视频中的SDR图像转换为HDR图像的需求。
传统技术中,通常是采用对图像本身进行图像处理的方式,将一类动态范围的图像转换为另外一类动态范围的图像。
然而,采用对图像本身进行图像处理的方式生成的图像存在风格不协调的问题,导致生成的图像的显示效果较差。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升图像的显示效果的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一方面,本申请提供了一种图像处理方法。所述方法包括:获取对原始视频中的视频图像进行格式转换生成的第一图像;所述视频图像的图像动态范围采用第一类动态范围表示,所述第一图像的图像动态范围采用第二类动态范围表示,所述第一图像的图像动态范围与所述视频图像的图像动态范围相同;获取与所述视频图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第二图像;所述第二图像的图像动态范围高于所述视频图像的图像动态范围;根据所述视频图像在所述原始视频中的显示顺序,确定目标图像对应的融合权重图;所述目标图像为所述第一图像或所述第二图像;基于所述融合权重图中记录的所述目标图像中各像素点分别对应的融合权重值,将所述目标图像融合至基础图像中生成所述视频图像对应的融合图像;所述基础图像为所述第一图像或所述第二图像且与所述目标图像不同;基于所述原始视频中各视频图像分别对应的融合图像生成融合视频。
另一方面,本申请还提供了一种图像处理装置。所述装置包括:第一图像获取模块,用于获取对原始视频中的视频图像进行格式转换生成的第一图像;所述视频图像的图像动态范围采用第一类动态范围表示,所述第一图像的图像动态范围采用第二类动态范围表示,所述第一图像的图像动态范围与所述视频图像的图像动态范围相同;第二图像获取模块,用于获取与所述视频图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第二图像;所述第二图像的图像动态范围高于所述视频图像的图像动态范围;权重图得到模块,用于根据所述视频图像在所述原始视频中的显示顺序,确定目标图像对应的融合权重图;所述目标图像为所述第一图像或所述第二图像;融合图像得到模块,用于基于所述融合权重图中记录的所述目标图像中各像素点分别对应的融合权重值,将所述目标图像融合至基础图像中生成所述视频图像对应的融合图像;所述基础图像为所述第一图像或所述第二图像且与所述目标图像不同;融合视频得到模块,用于基于所述原始视频中各视频图像分别对应的融合图像生成融合视频。
在一些实施例中,所述权重图得到模块,还用于确定所述原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量;确定所述视频图像的显示顺序与所述原始视频中的起始图像的显示顺序之间的顺序差值;根据所述顺序差值以及所述间隔图像数量,确定所述目标图像中各像素点分别对应的融合权重值;所述融合权重值与所述顺序差值成正相关关系;基于所述目标图像中各像素点分别对应的融合权重值,生成目标图像对应的融合权重图。
在一些实施例中,所述权重图得到模块,还用于计算所述顺序差值与所述间隔图像数量的比值,得到所述目标图像中各像素点分别对应的初始权重值;利用预设权重调整值对所述目标图像中各像素点分别对应的初始权重值进行调整,确定所述目标图像中各像素点分别对应的融合权重值。
在一些实施例中,所述权重图得到模块,还用于根据所述顺序差值以及所述间隔图像数量,确定所述目标图像中融合区域位置处的像素点的初始权重值;所述融合区域位置为所述基础图像中的待改变显示效果的融合区域的位置;将像素屏蔽值确定为所述目标图像中所述融合区域位置之外的位置处的像素点的初始权重值;基于所述目标图像中各像素点分别对应的初始权重值,确定所述目标图像中各像素点分别对应的融合权重值。
在一些实施例中,所述权重图得到模块,还用于对所述目标图像中各像素点分别对应的初始权重值进行平滑处理,得到所述目标图像中各像素点分别对应的平滑权重值;基于所述目标图像中各像素点分别对应的平滑权重值,确定所述目标图像中各像素点分别对应的融合权重值。
在一些实施例中,所述装置还包括第二图像得到模块,得到所述第二图像的所述第二图像得到模块用于:对原始视频中的视频图像进行格式转换,得到与所述视频图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的所述第一图像;对所述第一图像进行增强处理,得到图像动态范围高于所述视频图像的图像动态范围的所述第二图像。
在一些实施例中,所述融合图像得到模块,还用于针对所述目标图像中的每个像素位置处的目标像素点,从所述基础图像中确定所述像素位置处的基础像素点;根据所述目标像素点的融合权重值,确定所述像素位置处的基础像素点的融合权重值;利用所述目标像素点以及所述基础像素点分别对应的融合权重值,对所述目标像素点和所述基础像素点分别对应的像素值进行融合,得到所述像素位置处的融合像素值;基于各所述像素位置的融合像素值生成所述视频图像对应的融合图像。
在一些实施例中,所述第一图像获取模块,还用于播放来自于第一视频源的缓存数据;所述第一视频源用于提供第一视频,所述第一视频中的图像的图像动态范围采用所述第一类动态范围表示;响应于动态范围切换指令,从来自于所述第一视频源的未播放的缓存数据中,确定动态范围过渡时段的视频片段;所述原始视频为所述动态范围过渡时段的视频片段;将所述动态范围过渡时段的视频片段中的视频图像进行格式转换生成第一图像;所述装置还用于:在所述动态范围过渡时段播放所述融合视频,并在所述动态范围过渡时段结束后,切换为播放来自于所述第二视频源的缓存数据;所述第二视频源用于提供第二视频,所述第二视频中的图像的图像动态范围采用所述第二类动态范围表示。
另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述图像处理方法中的步骤。
另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法中的步骤。
另一方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述图像处理方法中的步骤。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品,由于视频图像的图像动态范围采用第一类动态范围表示,第一图像的图像动态范围采用第二类动态范围表示,第一图像的图像动态范围与视频图像的图像动态范围相同,第二图像与视频图像的图像内容一致,第二图像的图像动态范围采用第二类动态范围表示,第二图像的图像动态范围高于视频图像的图像动态范围,目标图像为第一图像或第二图像,基础图像为第一图像或第二图像且与目标图像不同,从而基础图像与目标图像的显示效果是不同的,而根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图,可以使得融合权重图随着显示顺序而自动更新,从而基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像,基于原始视频中各视频图像分别对应的融合图像生成融合视频,可以使得融合视频中的融合图像中融入的来自于目标图像的显示效果随着显示顺序而变化,从而在播放融合视频时可以呈现出显示效果的平滑过渡的现象,提高了图像的显示效果。
另一方面,本申请提供了一种图像处理方法。所述方法包括:对采用第一类动态范围表示图像动态范围的原始图像进行格式转换,生成采用第二类动态范围表示图像动态范围的第三图像;获取与所述原始图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第四图像;所述第四图像的图像动态范围高于所述原始图像的图像动态范围;将像素保留值确定为目的图像中融合区域位置处的像素点的原始权重值,将像素屏蔽值确定为所述目的图像中所述融合区域位置之外的像素点的原始权重值;所述融合区域位置为源图像中的融合区域的位置,所述源图像和所述目的图像为所述第三图像或所述第四图像、且所述源图像与所述目的图像不同;对各所述像素点的原始权重值进行平滑处理,得到所述目的图像中各像素点分别对应的目标权重值;利用所述目标权重值将所述目的图像融合至所述源图像中,生成所述原始图像对应的融合图像。
另一方面,本申请还提供了一种图像处理装置。所述装置包括:图像生成模块,用于对采用第一类动态范围表示图像动态范围的原始图像进行格式转换,生成采用第二类动态范围表示图像动态范围的第三图像;图像获取模块,用于获取与所述原始图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第四图像;所述第四图像的图像动态范围高于所述原始图像的图像动态范围;原始权重值得到模块,用于将像素保留值确定为目的图像中融合区域位置处的像素点的原始权重值,将像素屏蔽值确定为所述目的图像中所述融合区域位置之外的像素点的原始权重值;所述融合区域位置为源图像中的融合区域的位置,所述源图像和所述目的图像为所述第三图像或所述第四图像、且所述源图像与所述目的图像不同;目标权重值得到模块,用于对各所述像素点的原始权重值进行平滑处理,得到所述目的图像中各像素点分别对应的目标权重值;融合图像生成模块,用于利用所述目标权重值将所述目的图像融合至所述源图像中,生成所述原始图像对应的融合图像。
在一些实施例中,所述图像获取模块,还用于对所述第三图像进行增强处理,得到与所述原始图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第四图像。
在一些实施例中,所述目标权重值得到模块,还用于对各所述像素点的原始权重值进行平滑处理,得到所述目的图像中各像素点分别对应的平滑处理权重值;利用预设权重调整值对所述目的图像中各像素点分别对应的平滑处理权重值进行调整,得到所述目的图像中各像素点分别对应的目标权重值。
另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述图像处理方法中的步骤。
另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像处理方法中的步骤。
另一方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述图像处理方法中的步骤。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品,由于第三图像的图像动态范围采用第二类动态范围表示、第四图像与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示,第四图像的图像动态范围高于原始图像的图像动态范围,源图像和目的图像为第三图像或第四图像、且源图像与目的图像不同,故源图像和目的图像的显示效果不同,从而利用目标权重值将目的图像融合至源图像中,可以在源图像中融入目的图像的显示效果,由于目标权重值是对各像素点的原始权重值进行平滑处理得到的,从而利用目标权重值将目的图像融合至源图像中,生成原始图像对应的融合图像,可以提高融合图像中不同显示效果之间的平滑过渡,提高了图像的显示效果。
附图说明
图1为一些实施例中图像处理方法的应用环境图;
图2为一些实施例中图像处理方法的流程示意图;
图3为一些实施例中格式转换的原理图;
图4为一些实施例中融合区域的示意图;
图5为一些实施例中图像处理方法的流程示意图;
图6为一些实施例中图像处理方法的原理图;
图7为一些实施例中编码的原理图;
图8为一些实施例中图像处理方法的流程示意图;
图9为一些实施例中图像处理装置的结构框图;
图10为一些实施例中图像处理装置的结构框图;
图11为一些实施例中计算机设备的内部结构图;
图12为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的图像处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他服务器上。
具体地,终端102可以获取对原始视频中的视频图像进行格式转换生成的第一图像,视频图像的图像动态范围采用第一类动态范围表示,第一图像的图像动态范围采用第二类动态范围表示,第一图像的图像动态范围与视频图像的图像动态范围相同,获取与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第二图像,第二图像的图像动态范围高于视频图像的图像动态范围,根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图,目标图像为第一图像或第二图像,基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像,基础图像为第一图像或第二图像且与目标图像不同,基于原始视频中各视频图像分别对应的融合图像生成融合视频。终端102可以存储生成的融合视频或者将生成的融合视频发送至其他设备,例如可以发送至服务器104,服务器104可以存储该融合视频或者将该融合视频转发至其他设备。
当然,生成融合视频的过程也可以是由服务器执行的,例如,服务器104可以获取对原始视频中的视频图像进行格式转换生成的第一图像,视频图像的图像动态范围采用第一类动态范围表示,第一图像的图像动态范围采用第二类动态范围表示,第一图像的图像动态范围与视频图像的图像动态范围相同,获取与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第二图像,第二图像的图像动态范围高于视频图像的图像动态范围,根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图,目标图像为第一图像或第二图像,基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像,基础图像为第一图像或第二图像且与目标图像不同,基于原始视频中各视频图像分别对应的融合图像生成融合视频。服务器104可以存储生成的融合视频或者将生成的融合视频发送至其他设备,例如可以发送至终端102。
其中,终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或云服务器来实现。云服务器可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中,如图2所示,提供了一种图像处理方法,该方法可以由终端或服务器执行,还可以由终端和服务器共同执行,以该方法应用于图1中的终端102为例进行说明,包括以下步骤:
步骤202,获取对原始视频中的视频图像进行格式转换生成的第一图像;视频图像的图像动态范围采用第一类动态范围表示,第一图像的图像动态范围采用第二类动态范围表示,第一图像的图像动态范围与视频图像的图像动态范围相同。
其中,动态范围(Dynamic Range)是指单个场景的最大亮度与最小亮度的跨度,通常它描述的是视频或图像的最大亮度和最小亮度的比率。存在多种类型的动态范围,包括但不限于是SDR(Standard Dynamic Range,标准动态范围)、HDR(High Dynamic Range,高动态范围)和伪HDR。第一类动态范围与第二类动态范围可以为任意类型的动态范围、且第一类动态范围与第二类动态范围不同,例如,第一类动态范围为标准动态范围,第二类动态范围为高动态范围。每个图像对应有自身的图像动态范围。图像动态范围是指图像自身的动态范围,例如图像的最大亮度和最小亮度的比率。图像动态范围采用第一类动态范围表示,是指图像动态范围满足第一类动态范围的要求,图像动态范围不超过第一类动态范围所能表示出的最大的动态范围,例如,图像动态范围是采用SDR表示的或者采用HDR表示的。
原始视频可以是任意的视频,可以是完整的视频或者完整视频中的一部分视频片段。原始视频包括多帧图像,多帧是指至少两帧,原始视频中的每一帧图像为视频图像。原始视频中的视频图像的图像动态范围均是采用第一类动态范围表示的。第一图像是对视频图像进行格式转换生成的。格式转换是指转换动态范围,即将采用第一类动态范围表示图像动态范围转换为采用第二类动态范围表示图像动态范围,从而得到采用第二类动态范围表示图像动态范围的第一图像。由于格式转换前后图像动态范围是相同的,因此格式转换前后图像的显示效果相同,即视频图像与对视频图像进行格式转换生成的第一图像的显示效果相同,例如颜色、亮度等均相同。区别在于表示方式不同。
具体地,第一图像可以是终端生成的,也可以是服务器生成由终端从服务器获取的。在需要改变原始视频中的视频图像的显示效果、或者需要利用视频图像的显示效果改变其他图像的显示效果的情况下,终端可以获取对原始视频中的视频图像进行格式转换生成的第一图像。
在一些实施例中,以第一类动态范围为标准动态范围,第二类动态范围为高动态范围为例,如图3所示,提供了一种格式转换的原理图,格式转换的目的是将SDR格式的图像转换为HDR格式的图像。图3中,ISDR为采用标准动态范围表示图像动态范围的图像,IS为对ISDR进行格式转换生成的采用高动态范围的表示图像动态范围的图像,格式转换的步骤包括:第1步归一化:根据视频或图像的色彩位深和电平范围,将视频或图像重新归一化为0至1之间的浮点数;第2步YUV转RGB:根据视频或图像的矩阵系数对应的标准规定的方法,将视频或图像转换为RGB格式,例如,对于BT.601标准的视频或图像,参考BT.601标准的方法,将YUV转换为RGB。其中,RGB代表red(红)、green(绿)、blue(蓝)三种颜色,YUV中的Y表示亮度,U表示blue的色差信息,V表示Red的色差信息。第3步线性化:根据视频或图像的传输曲线对应的标准规定的方法,将视频或图像转换为线性光,为了保证转换后的显示效果一致,可以使用display-referred转换方法,在转换过程中加入相应的OOTF(opto-optical transferfunction,光光转换函数)。例如,对于常见的BT.709标准的伽马曲线,可以使用BT.1886标准规定的方法进行转换;第4步色域转换:根据视频或图像的色域,将视频或图像转换为BT.2020色域,对于BT.709标准色域的视频或图像,可以使用BT.2087标准规定的方法进行转换。
步骤204,获取与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第二图像;第二图像的图像动态范围高于视频图像的图像动态范围。
其中,第一图像与第二图像的清晰度相同,即分辨率和尺寸相同,例如,第一图像和第二图像的尺寸均为1280*720(单位,像素)。图像内容一致是指图像中的前景和背景在内容上是一致、且前景在背景中的位置是一致的,但显示效果可以存在差异,例如,背景都是相同的草地,前景都是草地上奔跑的小狗。第二图像可以是对视频图像进行格式转换和增强处理后生成的,例如,在第一类动态范围为标准动态范围,第二类动态范围为高动态范围的情况下,可以对视频图像进行HDR转制生成第二图像,当然,第二图像也可以是原生的HDR图像,例如可以是通过计算机合成或通过相机拍摄得到的,例如原始视频为原生的SDR视频,原始视频存在视频内容一致的原生的HDR视频,例如,制作出的电视剧A存在SDR和HDR两种格式的视频,在原始视频为电视剧A的SDR格式的视频中的某个位置的图像的情况下,第二图像为电视剧A的HDR格式的视频中的该位置的图像。
图像动态范围采用第二类动态范围表示,是指图像动态范围满足第二类动态范围的要求,图像动态范围不超过第二类动态范围所能表示出的最大的动态范围。
由于第二图像的图像动态范围高于视频图像的图像动态范围,而第一图像的图像动态范围与视频图像的图像动态范围相同,因此,第二图像的显示效果与第一图像的显示效果不同。
具体地,终端可以对视频图像进行转制生成第二图像。转制可以包括格式转换和增强处理,终端可以先对视频图像进行格式转换,将格式转换得到的图像进行增强处理生成第二图像。其中,增强处理是用于提高图像的图像动态范围的处理。
在一些实施例中,终端可以基于逆色调映射(iTM,inverse Tone Mapping)算法,对视频图像进行转制生成第二图像,例如对SDR图像转制生成HDR图像。其中,逆色调映射算法可以是传统算法,也可以是深度学习等以神经网络为基础的AI(ArtificialIntelligence,人工智能)算法。
步骤206,根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图;目标图像为第一图像或第二图像。
其中,融合权重图的尺寸与视频图像的尺寸相同。融合权重图中每个像素位置处的像素点存储的数据为该像素位置对应的融合权重值,即融合权重图中每个像素位置处的像素点的像素值为该像素位置对应的融合权重值,像素位置是指像素点在图像中的位置。
显示顺序是指在按照显示时间排列的情况下的顺序,原始视频中各视频图像分别对应有显示时间,在播放原始视频时,按照显示时间从前到后即从早到晚的顺序进行播放视频图像。融合权重图中的每个像素位置对应的融合权重值,是根据视频图像在原始视频中的显示顺序确定的,例如,视频图像在原始视频中的显示顺序越靠后,则融合权重图中的每个像素位置对应的融合权重值越大,融合权重图中的每个像素位置对应的融合权重值可以相同也可以不同。
目标图像是第一图像和第二图像中用于融入或改变基础图像的显示效果的图像。目标图像与基础图像相对立,基础图像是第一图像和第二图像中需要融入或改变显示效果的图像,基础图像为第一图像或第二图像且与目标图像不同,例如,目标图像为第一图像,基础图像为第二图像,或者,目标图像为第二图像,基础图像为第一图像。
具体地,在需要改变整个基础图像的显示效果的情况下,融合权重图中的每个像素位置对应的融合权重值相同,终端可以根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图,视频图像在原始视频中的显示顺序越靠后,则融合权重图中的每个像素位置对应的融合权重值越大。例如,原始视频中的每帧图像分别为视频图像,原始视频中的每个视频图像分别对应有帧号,帧号越大则视频图像在原始视频中的显示顺序越靠后,针对原始视频中的每个视频图像,终端可以计算该视频图像的帧号与原始视频中的起始帧的帧号之间的差值,得到帧号差值,基于帧号差值确定每个像素位置对应的融合权重值,像素位置对应的融合权重值与帧号差值成正相关关系。其中,原始视频中的起始帧是指原始视频中显示顺序最靠前的一帧,即原始视频中帧号最小的一帧。终端可以基于各像素位置处的融合权重值生成融合权重图,即将像素位置处的融合权重值作为该像素位置处的像素值得到融合权重图。
在一些实施例中,终端可以统计原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量。在得到帧号差值的情况下,终端可以计算帧号差值与间隔图像数量的比值,基于计算出的比值确定像素位置对应的融合权重值。例如,终端可以将帧号差值与间隔图像数量的比值,作为每个像素位置分别对应的融合权重值。或者,终端可以对帧号差值与间隔图像数量的比值进行调整,将调整的结果作为各像素位置分别对应的融合权重值。间隔图像数量可以采用帧号之间的差值来表征,例如,终端可以计算原始视频中起始帧的帧号与结束帧的帧号之间的差值,得到总帧号差值,则总帧号差值即为间隔图像数量,终端可以计算该视频图像的帧号与原始视频中的起始帧的帧号之间的帧号差值与总帧号差值的比值,基于计算出的比值确定像素位置对应的融合权重值,例如可以将计算出的比值确定为像素位置对应的融合权重值。例如,原始视频中的帧号为t的视频图像的融合权重值可以表示为w=(t-N)/k,其中,N为原始视频中的起始帧的帧号,k为原始视频中起始帧的帧号与结束帧的帧号之间的差值即总帧号差值。当然,终端也可以对帧号差值与总帧号差值的比值进行调整,将调整的结果作为各像素位置分别对应的融合权重值。
在一些实施例中,在需要将目标图像中部分显示效果融合至基础图像中的情况下,终端可以从基础图像中确定融合区域的位置,融合区域是指希望柔和地改变为或融入目标效果的区域,从空域融合的角度考虑,目标效果是指融合区域中希望改变或融入的有别于基础效果的另一种效果,基础效果是指背景区域的主体效果,与目标效果相对立。背景区域表示几乎不改变原本的基础效果的区域,即基础图像中除融合区域之外的区域。空域融合是指在忽略时间单纯考虑单张图像中融合显示效果的场景,如图4所示,展示了融合区域和背景区域。对于时域融合的场景,基础效果是指时域上起始时的效果,目标效果是指时域上结束时相对于起始时希望改变或融入的效果。
在一些实施例中,在确定融合区域的位置的情况下,终端可以根据视频图像在原始视频中的显示顺序,确定目标图像中与融合区域的位置一致的区域中的各像素位置分别对应的初始权重值,目标图像中与融合区域的位置一致的区域可以称为第一区域,将像素屏蔽值作为目标图像中除第一区域之外的像素位置对应的初始权重值,从而得到目标图像中各像素位置分别对应的初始权重值。终端可以基于各像素位置分别对应的初始权重值生成初始权重图,即将像素位置处的初始权重值作为该像素位置处的像素值得到初始权重图。终端可以将初始权重图作为目标图像的融合权重图,或者,终端可以对初始权重图进行滤波处理,得到滤波处理后的权重图,终端可以将滤波处理后的权重图作为目标图像的融合权重图,或者终端可以对滤波处理后的权重图中的各权重值进行调整,将调整后所得到的结果确定为目标图像的融合权重图。其中,像素屏蔽值用于屏蔽目标图像中的像素点的像素值,从而使得目标图像中该像素点的显示效果不影响基础图像中对应位置处的像素点的显示效果,像素屏蔽值例如为数值0。
在一些实施例中,视频图像在原始视频中的显示顺序越靠后,则融合区域中的像素位置对应的初始权重值越大。例如,针对原始视频中的每个视频图像,终端可以计算该视频图像的帧号与原始视频中的起始帧的帧号之间的差值,得到帧号差值,基于帧号差值确定融合区域中的像素位置对应的初始权重值,像素位置对应的初始权重值与帧号差值成正相关关系。在得到帧号差值的情况下,终端可以计算帧号差值与间隔图像数量的比值,基于计算出的比值确定融合区域中像素位置对应的初始权重值。例如,终端可以将帧号差值与间隔图像数量的比值,作为融合区域中每个像素位置分别对应的初始权重值。
在一些实施例中,终端可以对初始权重图进行平滑滤波处理,得到滤波处理后的权重图,例如,终端可以利用二维高斯滤波方法对初始权重图进行平滑滤波处理,得到滤波处理后的权重图,基于滤波处理后的权重图得到融合权重图。二维高斯滤波方法可以表示为WF = GaussianFilter(W, kernel, sigma),其中,为GaussianFilter为二维高斯滤波函数,W为初始权重,kernel以及sigma为二维高斯滤波函数的参数,WF为滤波处理后的权重图。通过调节kernel和sigma参数,可达到不同的柔化效果。对初始权重图进行平滑滤波,使融合权重图中的权重值在空域上平滑过渡,从而保证空域融合中,目标效果在基础效果中能够自然融入,两种效果在空域上柔和地过渡,降低了融合效果的生硬。本实施例中,根据视频图像在原始视频中的显示顺序确定初始权重图,提高了时域的平滑过度,对初始权重图进行平滑滤波处理,提高了空域上的平滑过渡,从而提高了时域和空域上的平滑过渡。
步骤208,基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像;基础图像为第一图像或第二图像且与目标图像不同。
其中,基础图像是第一图像和第二图像中需要融入或改变显示效果的图像,目标图像是第一图像和第二图像中用于融入或改变基础图像的显示效果的图像。基础图像为第一图像或第二图像且与目标图像不同,例如,目标图像为第一图像,基础图像为第二图像,或者,目标图像为第二图像,基础图像为第一图像。
具体地,针对目标图像中的每个像素位置,终端可以利用该像素位置对应的融合权重值,对目标图像和基础图像中该像素位置处的像素点的像素值进行融合,得到该像素位置对应的融合像素值,基于各像素位置分别对应的融合像素值生成融合图像。
在一些实施例中,针对目标图像和基础图像中同一像素位置处的目标像素点和基础像素点,目标像素点为目标图像中的像素点,基础像素点为基础图像中的像素点,终端可以从融合权重图中获取该像素位置对应的融合权重值,将该像素位置对应的融合权重值作为目标像素点的加权权重,并基于该像素位置对应的融合权重值确定基础像素点的加权权重,利用目标像素点和基础像素点分别对应的加权权重,对目标像素点处的像素值和基础像素点处的像素值进行加权求和,得到该像素位置对应的融合像素值。
步骤210,基于原始视频中各视频图像分别对应的融合图像生成融合视频。
具体地,得到原始视频中各视频图像分别对应的融合图像的情况下,终端可以按照各视频图像在原始视频的显示顺序,确定各视频图像分别对应的融合图像的显示顺序,生成融合视频。视频图像对应的融合图像在融合视频中的显示顺序与该视频图像在原始视频中的显示顺序相同。
在一些实施例中,终端可以根据视频图像在原始图像中的显示顺序,确定基础图像中的融合区域,具体地,终端可以利用竖向分割线对基础图像进行划分,视频图像在原始图像中的显示顺序越靠后,则竖向分割线在基础图像的位置越靠右,终端可以将基础图像中竖向分割线左侧的图像区域确定为融合区域。终端可以确定融合区域的位置,得到融合区域位置,将像素保留值作为目标图像中该融合区域位置处的各像素点分别对应的初始权重值,将像素屏蔽值确定为目标图像中该融合区域位置之外的像素点的初始权重值,对各像素点的初始权重值组成的权重图进行滤波处理,得到包括各像素点分别对应的融合权重值的融合权重图。终端可以基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像,基于原始视频中各视频图像分别对应的融合图像生成融合视频。其中,像素保留值用于保留目标图像中像素点的像素值,从而使得该像素点的显示效果改变基础图像中对应位置处的像素点的显示效果,像素保留值例如可以为数值1。由于视频图像在原始图像中的显示顺序越靠后,则竖向分割线在基础图像的位置越靠右,从而在播放融合视频播放的过程中,可以观察到显示效果的过渡过程,提高了融合的平滑度。本实施例的方法应用于动态范围切换的场景中,可以提高动态切换过程中的平滑度。
在一些实施例中,在得到融合视频或融合图像的情况下,终端可以对融合图像进行编码,得到融合图像对应的编码图像,终端可以将编码图像发送至其他设备或者进行展示,例如,可以将融合视频中各融合图像分别对应的编码图像组成编码视频,将编码视频发送至其他设备。如图5所示,展示了对融合图像进行编码的原理图,图5中,IO代表融合图像,IPQ和IHLG均代表编码图像,非线性化阶段,根据SMPTE ST 2084和ARIB STD B67标准,将线性光转换为非线性光,分别输出经过PQ(perceptual quantizer,感知量化)曲线和HLG(hybrid log–gamma,混合对数伽马)曲线编码的图像,在非线性化阶段采用PQ曲线的情况下,得到的编码图像为IPQ,在非线性化阶段采用HLG曲线的情况下,得到的编码图像为IHLG;RGB转YUV阶段,使用BT.2020 NCL方式进行转换。量化阶段,根据希望输出的色彩位深和电平范围,将YUV量化为定点数;压缩编码阶段,可根据需要,使用H.265或其他视频编码器,将图像进行压缩编码,输出HDR10或HLG码流,进行下一步的分发或展示。
上述图像处理方法中,由于视频图像的图像动态范围采用第一类动态范围表示,第一图像的图像动态范围采用第二类动态范围表示,第一图像的图像动态范围与视频图像的图像动态范围相同,第二图像与视频图像的图像内容一致,第二图像的图像动态范围采用第二类动态范围表示,第二图像的图像动态范围高于视频图像的图像动态范围,目标图像为第一图像或第二图像,基础图像为第一图像或第二图像且与目标图像不同,从而基础图像与目标图像的显示效果是不同的,而根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图,可以使得融合权重图随着显示顺序而自动更新,从而基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像,基于原始视频中各视频图像分别对应的融合图像生成融合视频,可以使得融合视频中的融合图像中融入的来自于目标图像的显示效果随着显示顺序而变化,从而在播放融合视频时可以呈现出显示效果的平滑过渡的现象,提高了图像和视频的显示效果。
在一些实施例中,根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图包括:确定原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量;确定视频图像的显示顺序与原始视频中的起始图像的显示顺序之间的顺序差值;基于顺序差值以及间隔图像数量,确定目标图像中各像素点分别对应的融合权重值;融合权重值与顺序差值成正相关关系;基于目标图像中各像素点分别对应的融合权重值,生成目标图像对应的融合权重图。
其中,原始视频中的起始图像是指原始视频中显示顺序最靠前的一帧图像。顺序差值是指视频图像的显示顺序与起始图像的显示顺序之间的差值,例如,视频图像的显示顺序为3,起始图像的显示顺序为1,则顺序差值为3-1=2。起始图像也可以称为起始帧。融合权重值与顺序差值成正相关关系;正相关关系指的是:在其他条件不变的情况下,两个变量变动方向相同,一个变量由大到小变化时,另一个变量也由大到小变化。
具体地,终端可以统计原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量。原始视频中的每个视频图像可以对应有帧号,原始视频中的视频图像的帧号按照显示顺序确定,显示顺序越靠后,则帧号越大,原始视频中的视频图像的帧号是连续的正整数。顺序差值可以为帧号差值。针对每个视频图像,终端可以计算该视频图像的帧号与原始视频中的起始帧的帧号之间的差值,得到帧号差值,在需要改变整个基础图像的显示效果的情况下,终端可以计算帧号差值与间隔图像数量的比值,基于计算出的比值确定每个像素位置对应的融合权重值,例如,终端可以将帧号差值与间隔图像数量的比值确定为每个像素位置对应的融合权重值,或者,终端可以对帧号差值与间隔图像数量的比值进行调整,将调整的结果作为各像素位置分别对应的融合权重值。其中,原始视频中的起始帧是指原始视频中显示顺序最靠前的一帧,即原始视频中帧号最小的一帧。终端可以基于目标图像中各像素点分别对应的融合权重值生成融合权重图。
在一些实施例中,在需要将目标图像中部分显示效果融合至基础图像中的情况下,终端可以从基础图像中确定融合区域的位置,根据视频图像在原始视频中的显示顺序,确定目标图像中与融合区域的位置一致的区域中的各像素位置分别对应的初始权重值,目标图像中与融合区域的位置一致的区域可以称为第一区域,将像素屏蔽值作为目标图像中除第一区域之外的像素位置对应的初始权重值,从而得到目标图像中各像素位置分别对应的初始权重值。终端可以基于各像素位置分别对应的初始权重值生成初始权重图,即将像素位置处的初始权重值作为该像素位置处的像素值得到初始权重图。终端可以将初始权重图作为目标图像的融合权重图,或者,终端可以对初始权重图进行滤波处理,得到滤波处理后的权重图,终端可以将滤波处理后的权重图作为目标图像的融合权重图,或者终端可以对滤波处理后的权重图中的各权重值进行调整,将调整后所得到的结果确定为目标图像的融合权重图。
本实施例中,根据顺序差值以及间隔图像数量,确定目标图像中各像素点分别对应的融合权重值,由于融合权重值与顺序差值成正相关关系,从而显示顺序越靠后,则融合权重值越大,从而使得生成的融合视频在播放时可以呈现出由一类动态范围的显示效果平滑切换到另外一类动态范围的显示效果的动态过程,提高了视频在切换动态范围过程中的平滑度。
在一些实施例中,根据顺序差值以及间隔图像数量,确定目标图像中各像素点分别对应的融合权重值包括:计算顺序差值与间隔图像数量的比值,得到目标图像中各像素点分别对应的初始权重值;利用预设权重调整值对目标图像中各像素点分别对应的初始权重值进行调整,确定目标图像中各像素点分别对应的融合权重值。
其中,预设权重调整值是预设的数值,可以根据需要预先设置或用户可手动调整,预设权重调整值的取值区间为[0, 1],可用于控制最终融合后,空域融合场景下的融合区域或时域融合场景下结束帧的目标效果的比重。
具体地,在需要改变整个基础图像的显示效果的情况下,终端可以计算顺序差值与间隔图像数量的比值,将计算出的比值确定为目标图像中各像素点分别对应的初始权重值,将初始权重值与预设权重调整值进行乘积运算,将乘积运算的结果确定为目标图像中各像素点分别对应的融合权重值。
本实施例中,利用预设权重调整值对目标图像中各像素点分别对应的初始权重值进行调整,确定目标图像中各像素点分别对应的融合权重值,从而可以利用预设权重调整值调整融合的效果,提高了融合的灵活性。
在一些实施例中,根据顺序差值以及间隔图像数量,确定目标图像中各像素点分别对应的融合权重值包括:根据顺序差值以及间隔图像数量,确定目标图像中融合区域位置处的像素点的初始权重值;融合区域位置为基础图像中的待改变显示效果的融合区域的位置;将像素屏蔽值确定为目标图像中融合区域位置之外的位置处的像素点的初始权重值;基于目标图像中各像素点分别对应的初始权重值,确定目标图像中各像素点分别对应的融合权重值。
其中,融合区域是指基础图像中待改变为目标效果或融入目标效果的区域。目标图像中融合区域位置处的区域可以称为第一区域。融合区域位置是指融合区域的位置。
具体地,融合区域位置可以是指定的或者是通过对基础图像进行检测所确定的。例如,在原始视频中包括目标对象的情况下,若需要将原始视频中目标对象的显示效果从第一类动态范围更新为第二类动态范围,则可以从视频图像中检测目标对象所占的图像区域,将目标对象所占的图像区域确定为融合区域。其中,目标对象可以是有生命的人或动物,也可以是无生命物体,也可以是人、动物或无生命物体中一部分,例如可以是人脸。例如,针对对人脸感兴趣的场景,可使用人脸检测算法,检测和输出视频画面中的人脸位置信息,将人脸位置信息确定为融合区域的位置信息。
在一些实施例中,终端可以计算顺序差值与间隔图像数量的比值,将计算出的比值确定为目标图像中该融合区域位置处的像素点的初始权重值,将像素屏蔽值确定为目标图像中融合区域位置之外的位置处的像素点的初始权重值。
在一些实施例中,针对目标图像中的每个像素点,终端可以将该像素点对应的初始权重值作为该像素点对应的融合权重值,或者,终端可以对目标图像中各像素点分别对应的初始权重值进行平滑处理,得到目标图像中各像素点分别对应的融合权重值。
本实施例中,根据顺序差值以及间隔图像数量,确定目标图像中融合区域位置处的像素点的初始权重值,从而可以使得在时域上平滑的融合,将像素屏蔽值确定为目标图像中融合区域位置之外的位置处的像素点的初始权重值,从而可以使得在空域上平滑的融合,提高了融合的平滑度,从而提升了图像和视频的显示效果。
在一些实施例中,基于目标图像中各像素点分别对应的初始权重值,确定目标图像中各像素点分别对应的融合权重值包括:对目标图像中各像素点分别对应的初始权重值进行平滑处理,得到目标图像中各像素点分别对应的平滑权重值;基于目标图像中各像素点分别对应的平滑权重值,确定目标图像中各像素点分别对应的融合权重值。
具体地,终端可以基于各像素位置分别对应的初始权重值生成初始权重图,即将像素位置处的初始权重值作为该像素位置处的像素值得到初始权重图。终端可以对初始权重图进行滤波处理,得到滤波处理后的权重图,终端可以将滤波处理后的权重图作为目标图像的融合权重图,或者终端可以对滤波处理后的权重图中的各权重值进行调整,将调整后所得到的结果确定为目标图像的融合权重图。
在一些实施例中,终端可以利用预设权重调整值,对滤波处理后的权重图中的各权重值进行调整得到融合权重图,具体地,针对滤波处理后的权重图中的每个像素位置处的权重值,终端可以将该像素位置处的权重值与预设权重调整值相乘,得到该像素位置处的融合权重值,将各像素位置处的融合权重值组成融合权重图,融合权重图中某个像素位置处的像素点的像素值,为目标图像中同一像素位置处的像素点对应的融合权重值。
本实施例中,对目标图像中各像素点分别对应的初始权重值进行平滑处理,得到目标图像中各像素点分别对应的平滑权重值,基于目标图像中各像素点分别对应的平滑权重值,确定目标图像中各像素点分别对应的融合权重值,从而提高了空域融合的平滑度,提高了图像和视频的显示效果。
在一些实施例中,得到第二图像的步骤包括:对原始视频中的视频图像进行格式转换,得到与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第一图像;对第一图像进行增强处理,得到图像动态范围高于视频图像的图像动态范围的第二图像。
其中,增强处理是用于提高图像的图像动态范围的处理。
具体地,对于原始视频中的每个视频图像,终端可以对该对视频图像进行格式转换,从而得到与该视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第一图像。终端可以对第一图像进行增强处理,提高图像的图像动态范围,得到图像动态范围高于视频图像的图像动态范围的第二图像。
在一些实施例中,第一类动态范围为标准动态范围,第二类动态范围为高动态范围,基础图像为第二图像,目标图像为第一图像,并且得到第二图像的步骤包括:对原始视频中的视频图像进行格式转换,得到与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第一图像;对第一图像进行增强处理,得到图像动态范围高于视频图像的图像动态范围的第二图像。由于,当前SDR转HDR的上变换转制算法在工业界应用尚面临特定区域转制效果不佳或风格不协调的问题,本实施例中,基础图像为第二图像,目标图像为第一图像,从而对上变换后的HDR画面内容进行特定调整,特别是对人眼敏感或具备较强先验经验的局部内容进行特定保护,能明显提高上变换HDR的画质和鲁棒性。上变换后的HDR是指利用对SDR图像进行转制生成的HDR图像。
本实施例中,对原始视频中的视频图像进行格式转换,得到与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第一图像,对第一图像进行增强处理,得到图像动态范围高于视频图像的图像动态范围的第二图像,从而在没有原生的第二图像的情况下,可以通过本实施例提供的方法生成第二图像,拓展了本申请提供的图像处理方法的适用性。
在一些实施例中,基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像包括:针对目标图像中的每个像素位置处的目标像素点,从基础图像中确定像素位置处的基础像素点;根据目标像素点的融合权重值,确定像素位置处的基础像素点的融合权重值;利用目标像素点以及基础像素点分别对应的融合权重值,对目标像素点和基础像素点分别对应的像素值进行融合,得到像素位置处的融合像素值;基于各像素位置的融合像素值生成视频图像对应的融合图像。
其中,目标像素点是指目标图像中的像素点,基础像素点是指基础图像中的像素点。像素位置处的基础像素点的融合权重值,与该像素位置处的目标图像的融合权重值成负相关关系。负相关关系指的是:在其他条件不变的情况下,两个变量变动方向相反,一个变量由大到小变化时,另一个变量由小到大变化。
具体地,针对目标图像中的每个像素位置,终端可以从融合权重图中获取该像素位置处的像素点的像素值,得到该像素位置处的目标像素点的融合权重值。终端根据该像素位置处的目标像素点的融合权重值,确定该像素位置处的基础像素点的融合权重值,例如该像素位置处的基础像素点的融合权重值为:1-该像素位置处的目标像素点的融合权重值。
在一些实施例中,终端可以利用目标像素点以及基础像素点分别对应的融合权重值,对目标像素点和基础像素点分别对应的像素值进行加权求和运算,将运算的结果确定为该像素位置处的融合像素值,从而得到融合图像。例如可以采用公式IO=(1-WF*f)*IB+WF*f*IF得到融合图像IO,其中,IO为融合图像,WF*f为经过f调整得到的包括目标像素点对应的融合权重值的融合权重图,IB为基础图像,IF为目标图像,WF为经f调整之前的权重图,f为预设权重调整值。
在一些实施例中,基础图像和目标图像的确定可以是通过参数控制的,例如可以利用参数s来确定基础图像和目标图像,参数s为用户可手动设置的参数,取值为0或1。s为0时表示基础效果为第二类动态范围,目标效果为第一类动态范围。对于空域融合场景,表示背景区域为第二类动态范围的效果,在融合区域中融入第一类动态范围的效果,对于时域融合场景,表示在从起始帧到结束帧播放时由第二类动态范围的效果逐渐过渡为第一类动态范围的效果。s为1时表示基础效果为第一类动态范围,目标效果为第二类动态范围。对于空域融合场景,表示背景区域为第一类动态范围的效果,在融合区域中融入第二类动态范围的效果,对于时域融合场景,表示在从起始帧到结束帧播放时由第一类动态范围的效果逐渐过渡为第二类动态范围的效果。从而,如果s等于0,则将第一图像作为目标图像,第二图像作为基础图像,如果s等于1,则将第一图像作为基础图像,将第二图像作为目标图像以第一类动态范围为SDR,第二类动态范围为HDR为例,如果s等于0,则IF = IS,IB = IHDR,如果s等于1,IF = IHDR,IB = IS,其中,IS为第一图像,IHDR为第二图像。
本实施例中,利用目标像素点以及基础像素点分别对应的融合权重值,对目标像素点和基础像素点分别对应的像素值进行融合,得到像素位置处的融合像素值,基于各像素位置的融合像素值生成视频图像对应的融合图像,从而按照利用显示顺序确定的融合权重值进行图像的融合,使得图像融合在时域上平滑的过渡,提高了图像和视频的显示效果。
在一些实施例中,获取对原始视频中的视频图像进行格式转换生成的第一图像包括:播放来自于第一视频源的缓存数据;第一视频源用于提供第一视频,第一视频中的图像的图像动态范围采用第一类动态范围表示;响应于动态范围切换指令,从来自于第一视频源的未播放的缓存数据中,确定动态范围过渡时段的视频片段;原始视频为动态范围过渡时段的视频片段;将动态范围过渡时段的视频片段中的视频图像进行格式转换生成第一图像;方法还包括:在动态范围过渡时段播放融合视频,并在动态范围过渡时段结束后,切换为播放来自于第二视频源的缓存数据;第二视频源用于提供第二视频,第二视频中的图像的图像动态范围采用第二类动态范围表示。
其中,在播放视频的过程中,通常会存在切换视频的动态范围的情况,例如,当播放的视频同时存在第一类动态范围的视频源和第二类动态范围的视频源的情况下,通过切换视频源可以实现切换视频的动态范围的目的。视频源是指下载视频的地址。
第一视频源为下载该第一视频的地址,第二视频源为下载第二视频的地址。第一视频与第二视频的内容相同,区别在于图像动态范围的表示方式不同,且图像动态范围也不同,第二视频中的图像的图像动态范围高于第一视频中的图像的图像动态范围。例如,在播放的是某部电视剧,第一类动态范围为SDR,第二类动态范围为HDR,在从第一视频源下载视频数据并采用SDR播放该电视剧的情况下,当终端接收到切换为采用HDR播放该电视剧的情况下,则切换为从第二视频源下载视频数据并采用HDR播放从第二视频源下载的视频数据。
为了增加切换过程中动态范围的平滑过渡,可以确定动态范围过渡时段,动态范围过渡时段是用于呈现动态范围切换的现象的时段。动态范围切换指令用于触发切换动态范围的类型。
具体地,在播放来自于第一视频源的缓存数据的情况下,响应于动态范围切换指令,从来自于第一视频源的未播放的缓存数据中确定动态范围过渡时段的视频片段,例如,终端可以确定当前时刻播放的视频图像的帧号,得到当前帧号,从该未播放的缓存数据中确定帧号与当前帧号之间的差值大于差值阈值的视频图像,将确定出的视频图像的显示时间确定为动态范围过渡时段的起始时间,差值阈值可以根据需要设置,例如可以为100或60,将从起始时间起目标时长内的视频片段确定为动态范围过渡时段的视频片段,动态范围过渡时段的时长为该目标时长。目标时长可以根据需要设置,例如可以是5秒或10秒等。
在一些实施例中,在得到动态范围过渡时段的视频片段的情况下,终端可以获取对视频片段中的视频图像进行格式转换生成的第一图像,获取与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第二图像,根据视频图像在视频片段中的显示顺序,确定目标图像对应的融合权重图,目标图像为第一图像或第二图像中的一个,基于融合权重图将目标图像融合至基础图像中,得到该视频图像对应的融合图像,基础图像为第一图像或第二图像中的一个、且与目标图像不同,终端可以将视频片段中各视频图像分别对应的融合图像组成融合视频。由于第一视频和第二视频的内容相同,区别只是图像动态范围不同,因此,终端可以根据视频图像的帧号或显示时间,从来自于第二视频源的缓存数据中确定帧号相同或显示时间相同的视频图像,作为该视频图像对应的第二图像。
在一些实施例中,终端响应于动态范围切换指令,在播放到动态范围过渡时段之前,终端继续播放来自于第一视频源的缓存数据,在需要播放动态范围过渡时段中的视频数据时,在动态范围过渡时段播放融合视频,并在动态范围过渡时段结束后,切换为播放来自于第二视频源的缓存数据,从而实现了有过渡的动态范围切换过程,提高了切换过程的视频的平滑度,提高了视频的播放效果。
本实施例中,响应于动态范围切换指令,从来自于第一视频源的未播放的缓存数据中,确定动态范围过渡时段的视频片段,在动态范围过渡时段播放融合视频,并在动态范围过渡时段结束后,切换为播放来自于第二视频源的缓存数据,从而实现了有过渡的动态范围切换过程,提高了切换过程的视频的平滑度,提高了视频的播放效果。本实施例可以用于HDR与SDR视频或图像的融合场景中,能够根据应用场景的需要,对局部区域或整图进行融合,实现HDR和SDR效果在空域或的时域平滑过渡、切换、同步对比播放和展示。在支持HDR的设备上切换同一个视频的不同格式时,用户可观看到视频效果由SDR平滑地切换到HDR,或由HDR平滑地切换到SDR的动态过程。
在一些实施例中,如图6所示,提供了一种图像处理方法,该方法可以由终端或服务器执行,还可以由终端和服务器共同执行,以该方法应用于终端为例进行说明,包括以下步骤:
步骤602,获取对原始视频中的视频图像进行格式转换生成的第一图像。
其中,原始视频可以是任意的视频,可以是完整的视频或者完整视频中的一部分视频片段。原始视频包括多帧图像,多帧是指至少两帧,原始视频中的每一帧图像为视频图像。原始视频中的视频图像的图像动态范围均是采用第一类动态范围表示的。
第一图像是对视频图像进行格式转换生成的。格式转换是指转换动态范围,即将采用第一类动态范围表示图像动态范围转换为采用第二类动态范围表示图像动态范围,从而得到采用第二类动态范围表示图像动态范围的第一图像。由于格式转换前后图像动态范围是相同的,因此格式转换前后图像的显示效果相同,即视频图像与对视频图像进行格式转换生成的第一图像的显示效果相同,例如颜色、亮度等均相同。区别在于表示方式不同。
步骤604,获取与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第二图像。
其中,第一图像与第二图像的清晰度相同,即分辨率和尺寸相同,例如,第一图像和第二图像的尺寸均为1280*720(单位,像素)。图像内容一致是指图像中的前景和背景在内容上是一致、且前景在背景中的位置是一致的,但显示效果可以存在差异,例如,背景都是相同的草地,前景都是草地上奔跑的小狗。
第二图像可以是对视频图像进行格式转换和增强处理后生成的,例如,在第一类动态范围为标准动态范围,第二类动态范围为高动态范围的情况下,可以对视频图像进行HDR转制生成第二图像,当然,第二图像也可以是原生的HDR图像,例如可以是通过计算机合成或通过相机拍摄得到的,例如原始视频为原生的SDR视频,原始视频存在视频内容一致的原生的HDR视频,例如,制作出的电视剧A存在SDR和HDR两种格式的视频,在原始视频为电视剧A的SDR格式的视频中的某个位置的图像的情况下,第二图像为电视剧A的HDR格式的视频中的该位置的图像。
图像动态范围采用第二类动态范围表示,是指图像动态范围满足第二类动态范围的要求,图像动态范围不超过第二类动态范围所能表示出的最大的动态范围。
步骤606,确定原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量。
具体地,终端可以统计原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量。
步骤608,确定视频图像的显示顺序与原始视频中的起始图像的显示顺序之间的顺序差值。
其中,原始视频中的起始图像是指原始视频中显示顺序最靠前的一帧图像。顺序差值是指视频图像的显示顺序与起始图像的显示顺序之间的差值,例如,视频图像的显示顺序为3,起始图像的显示顺序为1,则顺序差值为3-1=2。
步骤610,根据顺序差值以及间隔图像数量,确定目标图像中各像素点分别对应的融合权重值。
其中,融合权重值与顺序差值成正相关关系。终端可以计算帧号差值与间隔图像数量的比值,基于计算出的比值确定每个像素位置对应的融合权重值,例如,终端可以将帧号差值与间隔图像数量的比值确定为每个像素位置对应的融合权重值,或者,终端可以对帧号差值与间隔图像数量的比值进行调整,将调整的结果作为各像素位置分别对应的融合权重值。
步骤612,基于目标图像中各像素点分别对应的融合权重值,生成目标图像对应的融合权重图。
具体地,在需要将目标图像中部分显示效果融合至基础图像中的情况下,终端可以从基础图像中确定融合区域的位置,根据视频图像在原始视频中的显示顺序,确定目标图像中与融合区域的位置一致的区域中的各像素位置分别对应的初始权重值,目标图像中与融合区域的位置一致的区域可以称为第一区域,将像素屏蔽值作为目标图像中除第一区域之外的像素位置对应的初始权重值,从而得到目标图像中各像素位置分别对应的初始权重值。终端可以基于各像素位置分别对应的初始权重值生成初始权重图,即将像素位置处的初始权重值作为该像素位置处的像素值得到初始权重图。终端可以将初始权重图作为目标图像的融合权重图,或者,终端可以对初始权重图进行滤波处理,得到滤波处理后的权重图,终端可以将滤波处理后的权重图作为目标图像的融合权重图,或者终端可以对滤波处理后的权重图中的各权重值进行调整,将调整后所得到的结果确定为目标图像的融合权重图。
步骤614,针对目标图像中的每个像素位置处的目标像素点,从基础图像中确定像素位置处的基础像素点。
其中,目标像素点是指目标图像中的像素点,基础像素点是指基础图像中的像素点。
步骤616,根据目标像素点的融合权重值,确定像素位置处的基础像素点的融合权重值。
具体地,终端根据该像素位置处的目标像素点的融合权重值,确定该像素位置处的基础像素点的融合权重值,例如该像素位置处的基础像素点的融合权重值为:1-该像素位置处的目标像素点的融合权重值。
步骤618,利用目标像素点以及基础像素点分别对应的融合权重值,对目标像素点和基础像素点分别对应的像素值进行融合,得到像素位置处的融合像素值。
具体地,终端可以利用目标像素点以及基础像素点分别对应的融合权重值,对目标像素点和基础像素点分别对应的像素值进行加权求和运算,将运算的结果确定为该像素位置处的融合像素值。
步骤620,基于各像素位置的融合像素值生成视频图像对应的融合图像。
具体地,终端可以按照像素位置对各融合像素值进行排列,生成视频图像对应的融合图像。
步骤622,基于原始视频中各视频图像分别对应的融合图像生成融合视频。
具体地,终端可以将各视频图像分别对应的融合图像组成的视频确定为融合视频。
本实施例中,实现了一种新的进行图像融合的方法,由于视频图像的图像动态范围采用第一类动态范围表示,第一图像的图像动态范围采用第二类动态范围表示,第一图像的图像动态范围与视频图像的图像动态范围相同,第二图像与视频图像的图像内容一致,第二图像的图像动态范围采用第二类动态范围表示,第二图像的图像动态范围高于视频图像的图像动态范围,目标图像为第一图像或第二图像,基础图像为第一图像或第二图像且与目标图像不同,从而基础图像与目标图像的显示效果是不同的,而根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图,可以使得融合权重图随着显示顺序而自动更新,从而基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像,基于原始视频中各视频图像分别对应的融合图像生成融合视频,可以使得融合视频中的融合图像中融入的来自于目标图像的显示效果随着显示顺序而变化,从而在播放融合视频时可以呈现出显示效果的平滑过渡的现象,提高了图像和视频的显示效果。
在一些实施例中,如图7所示,提供了一种图像处理方法,该方法可以由终端或服务器执行,还可以由终端和服务器共同执行,以该方法应用于终端为例进行说明,包括:
步骤702,对采用第一类动态范围表示图像动态范围的原始图像进行格式转换,生成采用第二类动态范围表示图像动态范围的第三图像。
步骤704,获取与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第四图像;第四图像的图像动态范围高于原始图像的图像动态范围。
步骤706,将像素保留值确定为目的图像中融合区域位置处的像素点的原始权重值,将像素屏蔽值确定为目的图像中融合区域位置之外的像素点的原始权重值;融合区域位置为源图像中的融合区域的位置,源图像和目的图像为第三图像或第四图像、且源图像与目的图像不同。
步骤708,对各像素点的原始权重值进行平滑处理,得到目的图像中各像素点分别对应的目标权重值。
步骤710,利用目标权重值将目的图像融合至源图像中,生成原始图像对应的融合图像。
其中,原始图像的图像动态范围是采用第一类动态范围表示的,原始图像可以是原生的图像也可以是计算机合成的图像。第三图像的图像动态范围采用第二类动态范围表示。第四图像的图像内容一致与原始图像的图像内容一致、图像动态范围采用第二类动态范围表示、且第四图像的图像动态范围高于原始图像的图像动态范围。第四图像可以是原生的图像,也可以是对原始图像进行转制处理生成的图像。像素保留值为1,像素屏蔽值为0。
源图像是第三图像和第四图像中需要融入或改变显示效果的图像,目的图像是第三图像和第四图像中用于融入或改变源图像的显示效果的图像。源图像为第三图像或第四图像中之一且与目的图像不同,例如,目的图像为第三图像,源图像为第四图像,或者,目的图像为第四图像,源图像为第三图像。即源图像的概念等同于上述的基础图像,目的图像的概念等同于上述的目标图像。
具体地,终端可以对各像素点的原始权重值进行平滑处理,得到目的图像中各像素点分别对应的目标权重值,例如,终端可以将各像素点的原始权重值组成原始权重图,原始权重图中像素位置处的像素点的像素值,为目的图像中该像素位置处的像素点的原始权重值,终端可以对原始权重图进行平滑滤波处理,得到目标权重图,目标权重图中包括目的图像中各像素点分别对应的目标权重值,目标权重图中像素位置处的像素点的像素值,为目的图像中该像素位置处的像素点的目标权重值。
在一些实施例中,针对目的图像和源图像中同一像素位置处的目的像素点和源像素点,目的像素点为目的图像中的像素点,源像素点为源图像中的像素点,终端可以从目标权重图中获取该像素位置对应的目标权重值,将该像素位置对应的目标权重值作为目的像素点的加权权重,并基于该像素位置对应的目的权重值确定该像素位置处的目的像素点的加权权重,例如,像素位置处的目的像素点的加权权重与该像素位置对应的目的权重值成负相关关系,例如,像素位置处的目的像素点的加权权重=1-该像素位置对应的目的权重值,利用目的像素点和源像素点分别对应的加权权重,对目的像素点处的像素值和源像素点处的像素值进行加权求和,得到该像素位置对应的融合像素值,基于各像素位置分别对应的融合像素值生成原始图像对应的融合图像。
在一些实施例中,在得到融合图像的情况下,终端可以对融合图像进行编码,得到融合图像对应的编码图像,终端可以将编码图像发送至其他设备或者进行展示。
上述图像处理方法中,由于第三图像的图像动态范围采用第二类动态范围表示、第四图像与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示,第四图像的图像动态范围高于原始图像的图像动态范围,源图像和目的图像为第三图像或第四图像、且源图像与目的图像不同,故源图像和目的图像的显示效果不同,从而利用目标权重值将目的图像融合至源图像中,可以在源图像中融入目的图像的显示效果,由于目标权重值是对各像素点的原始权重值进行平滑处理得到的,从而利用目标权重值将目的图像融合至源图像中,生成原始图像对应的融合图像,可以提高融合图像中不同显示效果之间的平滑过渡,提高了图像的显示效果。
在一些实施例中,获取与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第四图像包括:对第三图像进行增强处理,得到与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第四图像。
具体地,终端可以对第三图像进行增强处理,得到与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第四图像。其中,增强处理是用于提高图像的图像动态范围的处理。
本实施例中,第三图像进行增强处理,得到与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第四图像,从而在没有原生的第四图像的情况下,可以通过本实施例提供的方法生成第四图像,拓展了本申请提供的图像处理方法的适用性。
在一些实施例中,对各像素点的原始权重值进行平滑处理,得到目的图像中各像素点分别对应的目标权重值包括:对各像素点的原始权重值进行平滑处理,得到目的图像中各像素点分别对应的平滑处理权重值;利用预设权重调整值对目的图像中各像素点分别对应的平滑处理权重值进行调整,得到目的图像中各像素点分别对应的目标权重值。
其中,预设权重调整值是预设的数值,可以根据需要预先设置或用户可手动调整,预设权重调整值的取值区间为[0, 1],可用于控制最终融合后,空域融合场景下的融合区域或时域融合场景下结束帧的目标效果的比重。平滑处理权重值是经过平滑处理后得到的权重值,例如可以通过滤波处理得到的权重值。
具体地,终端可以将平滑处理权重值与预设权重调整值进行乘积运算,将乘积运算的结果确定为目的图像中各像素点分别对应的目标权重值。
参考图8来说明本申请提供的图像处理方法,图8中,ISDR为采用标准动态范围表示图像动态范围的图像,IS为对ISDR进行格式转换生成的采用高动态范围表示图像动态范围、但显示效果依然为标准动态范围的图像,IHDR为采用高动态范围表示图像动态范围且图像内容与ISDR一致的图像,可以是通过对ISDR进行HDR转制生成的也可以是原生的图像。以原始图像为IS、第三图像为ISDR、第四图像为IHDR为例,在区域检测阶段,确定融合区域的位置M,在权重计算阶段根据融合区域的位置M生成原始权重图W,在平滑滤波阶段对原始权重图W进行平滑滤波处理得到平滑滤波处理后的WF,终端可以将平滑滤波处理后的WF作为目标权重图,也可以对平滑滤波处理后的WF进行调整得到目标权重图。融合阶段采用目标权重图对IS和IHDR进行融合,生成融合图像IO。再对融合图像IO进行编码得到IHRD10或IHLG。
本实施例中,利用预设权重调整值对目的图像中各像素点分别对应的平滑处理权重值进行调整,得到目的图像中各像素点分别对应的目标权重值,从而可以利用预设权重调整值调整融合的效果,提高了融合的灵活性。
本申请提供的图像处理方法可以应用于网络媒体领域中切换视频格式的场景中,切换视频格式是指将第一类动态范围的视频切换为第二类动态范围的视频,例如将SDR视频切换为HDR视频。本申请提供的图像处理方法应用于视频格式切换的场景中,提升了格式切换过程中的平滑度。具体地,终端可以播放来自于第一视频源的缓存数据,第一视频源用于提供第一视频,第一视频中的图像的图像动态范围采用第一类动态范围表示,终端可以响应于动态范围切换指令,从来自于第一视频源的未播放的缓存数据中,确定动态范围过渡时段的视频片段,将视频片段中视频图像进行格式转换,生成采用第二类动态范围表示图像动态范围的第一图像,获取与视频图像的图像内容一致、采用第二类动态范围表示图像动态范围的第二图像,根据视频图像在视频片段中的显示顺序,确定目标图像对应的融合权重图,从第一图像和第二图像中确定目标图像和基础图像,基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像,基于视频片段中各视频图像分别对应的融合图像生成融合视频,在动态范围过渡时段播放融合视频,并在动态范围过渡时段结束后,切换为播放来自于第二视频源的缓存数据,第二视频源用于提供第二视频,第二视频中的图像的图像动态范围采用第二类动态范围表示。从而实现了格式切换过程的平滑过渡。
本申请提供的图像处理方法可以应用于视频分屏显示的场景中,具体地,获取对原始视频中的视频图像进行格式转换生成的第一图像,视频图像的图像动态范围采用第一类动态范围表示,第一图像的图像动态范围采用第二类动态范围表示,第一图像的图像动态范围与视频图像的图像动态范围相同,获取与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第二图像,第二图像的图像动态范围高于视频图像的图像动态范围,从第一图像和第二图像中确定目标图像和基础图像,根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图,基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像,基于原始视频中各视频图像分别对应的融合图像生成融合视频。终端可以对显示屏幕进行分屏,得到第一分屏区域和第二分屏区域,在第一分屏区域播放原始视频,并在第二分屏区域播放融合视频。从而,通过在支持HDR的设备上分屏显示,用户可在空间上的不同位置同时观看和对比SDR和HDR的效果,如屏幕左边显示视频的SDR效果、屏幕右边显示视频的HDR效果。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
在一些实施例中,如图9所示,提供了一种图像处理装置,包括:第一图像获取模块902、第二图像获取模块904、权重图得到模块906、融合图像得到模块908和融合视频得到模块910,其中:
第一图像获取模块902,用于获取对原始视频中的视频图像进行格式转换生成的第一图像;视频图像的图像动态范围采用第一类动态范围表示,第一图像的图像动态范围采用第二类动态范围表示,第一图像的图像动态范围与视频图像的图像动态范围相同。
第二图像获取模块904,用于获取与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第二图像;第二图像的图像动态范围高于视频图像的图像动态范围。
权重图得到模块906,用于根据视频图像在原始视频中的显示顺序,确定目标图像对应的融合权重图;目标图像为第一图像或第二图像。
融合图像得到模块908,用于基于融合权重图中记录的目标图像中各像素点分别对应的融合权重值,将目标图像融合至基础图像中生成视频图像对应的融合图像;基础图像为第一图像或第二图像且与目标图像不同。
融合视频得到模块910,用于基于原始视频中各视频图像分别对应的融合图像生成融合视频。
在一些实施例中,权重图得到模块906,还用于确定原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量;确定视频图像的显示顺序与原始视频中的起始图像的显示顺序之间的顺序差值;根据顺序差值以及间隔图像数量,确定目标图像中各像素点分别对应的融合权重值;融合权重值与顺序差值成正相关关系;基于目标图像中各像素点分别对应的融合权重值,生成目标图像对应的融合权重图。
在一些实施例中,权重图得到模块906,还用于计算顺序差值与间隔图像数量的比值,得到目标图像中各像素点分别对应的初始权重值;利用预设权重调整值对目标图像中各像素点分别对应的初始权重值进行调整,确定目标图像中各像素点分别对应的融合权重值。
在一些实施例中,权重图得到模块906,还用于根据顺序差值以及间隔图像数量,确定目标图像中融合区域位置处的像素点的初始权重值;融合区域位置为基础图像中的待改变显示效果的融合区域的位置;将像素屏蔽值确定为目标图像中融合区域位置之外的位置处的像素点的初始权重值;基于目标图像中各像素点分别对应的初始权重值,确定目标图像中各像素点分别对应的融合权重值。
在一些实施例中,权重图得到模块906,还用于对目标图像中各像素点分别对应的初始权重值进行平滑处理,得到目标图像中各像素点分别对应的平滑权重值;基于目标图像中各像素点分别对应的平滑权重值,确定目标图像中各像素点分别对应的融合权重值。
在一些实施例中,装置还包括第二图像得到模块,得到第二图像的第二图像得到模块用于:对原始视频中的视频图像进行格式转换,得到与视频图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第一图像;对第一图像进行增强处理,得到图像动态范围高于视频图像的图像动态范围的第二图像。
在一些实施例中,融合图像得到模块908,还用于针对目标图像中的每个像素位置处的目标像素点,从基础图像中确定像素位置处的基础像素点;根据目标像素点的融合权重值,确定像素位置处的基础像素点的融合权重值;利用目标像素点以及基础像素点分别对应的融合权重值,对目标像素点和基础像素点分别对应的像素值进行融合,得到像素位置处的融合像素值;基于各像素位置的融合像素值生成视频图像对应的融合图像。
在一些实施例中,第一图像获取模块902,还用于播放来自于第一视频源的缓存数据;第一视频源用于提供第一视频,第一视频中的图像的图像动态范围采用第一类动态范围表示;响应于动态范围切换指令,从来自于第一视频源的未播放的缓存数据中,确定动态范围过渡时段的视频片段;原始视频为动态范围过渡时段的视频片段;将动态范围过渡时段的视频片段中的视频图像进行格式转换生成第一图像;装置还用于:在动态范围过渡时段播放融合视频,并在动态范围过渡时段结束后,切换为播放来自于第二视频源的缓存数据;第二视频源用于提供第二视频,第二视频中的图像的图像动态范围采用第二类动态范围表示。
在一些实施例中,如图10所示,提供了一种图像处理装置,包括:图像生成模块1002、图像获取模块1004、原始权重值得到模块1006、目标权重值得到模块1008和融合图像生成模块1010,其中:
图像生成模块1002,用于对采用第一类动态范围表示图像动态范围的原始图像进行格式转换,生成采用第二类动态范围表示图像动态范围的第三图像;
图像获取模块1004,用于获取与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第四图像;第四图像的图像动态范围高于原始图像的图像动态范围。
原始权重值得到模块1006,用于将像素保留值确定为目的图像中融合区域位置处的像素点的原始权重值,将像素屏蔽值确定为目的图像中融合区域位置之外的像素点的原始权重值;融合区域位置为源图像中的融合区域的位置,源图像和目的图像为第三图像或第四图像、且源图像与目的图像不同。
目标权重值得到模块1008,用于对各像素点的原始权重值进行平滑处理,得到目的图像中各像素点分别对应的目标权重值。
融合图像生成模块1010,用于利用目标权重值将目的图像融合至源图像中,生成原始图像对应的融合图像。
在一些实施例中,图像获取模块1004,还用于对第三图像进行增强处理,得到与原始图像的图像内容一致、且图像动态范围采用第二类动态范围表示的第四图像。
在一些实施例中,目标权重值得到模块1008,还用于对各像素点的原始权重值进行平滑处理,得到目的图像中各像素点分别对应的平滑处理权重值;利用预设权重调整值对目的图像中各像素点分别对应的平滑处理权重值进行调整,得到目的图像中各像素点分别对应的目标权重值。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理方法中涉及到的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11和图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述图像处理方法中的步骤。
在一些实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述图像处理方法中的步骤。
在一些实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述图像处理方法中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (24)
1.一种图像处理方法,其特征在于,所述方法包括:
获取对原始视频中的视频图像进行格式转换生成的第一图像;所述视频图像的图像动态范围采用第一类动态范围表示,所述第一图像的图像动态范围采用第二类动态范围表示,所述第一图像的图像动态范围与所述视频图像的图像动态范围相同;格式转换是指将采用第一类动态范围表示图像动态范围转换为采用第二类动态范围表示图像动态范围;
获取与所述视频图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第二图像;所述第二图像的图像动态范围高于所述视频图像的图像动态范围;
根据所述视频图像在所述原始视频中的显示顺序,确定目标图像对应的融合权重图;所述目标图像为所述第一图像或所述第二图像;
基于所述融合权重图中记录的所述目标图像中各像素点分别对应的融合权重值,将所述目标图像融合至基础图像中生成所述视频图像对应的融合图像;所述基础图像为所述第一图像或所述第二图像且与所述目标图像不同;
基于所述原始视频中各视频图像分别对应的融合图像生成融合视频。
2.根据权利要求1所述的方法,其特征在于,所述根据所述视频图像在所述原始视频中的显示顺序,确定目标图像对应的融合权重图包括:
确定所述原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量;
确定所述视频图像的显示顺序与所述原始视频中的起始图像的显示顺序之间的顺序差值;
根据所述顺序差值以及所述间隔图像数量,确定所述目标图像中各像素点分别对应的融合权重值;所述融合权重值与所述顺序差值成正相关关系;
基于所述目标图像中各像素点分别对应的融合权重值,生成目标图像对应的融合权重图。
3.根据权利要求2所述的方法,其特征在于,所述根据所述顺序差值以及所述间隔图像数量,确定所述目标图像中各像素点分别对应的融合权重值包括:
计算所述顺序差值与所述间隔图像数量的比值,得到所述目标图像中各像素点分别对应的初始权重值;
利用预设权重调整值对所述目标图像中各像素点分别对应的初始权重值进行调整,确定所述目标图像中各像素点分别对应的融合权重值。
4.根据权利要求2所述的方法,其特征在于,所述根据所述顺序差值以及所述间隔图像数量,确定所述目标图像中各像素点分别对应的融合权重值包括:
根据所述顺序差值以及所述间隔图像数量,确定所述目标图像中融合区域位置处的像素点的初始权重值;所述融合区域位置为所述基础图像中的待改变显示效果的融合区域的位置;
将像素屏蔽值确定为所述目标图像中所述融合区域位置之外的位置处的像素点的初始权重值;所述像素屏蔽值用于屏蔽所述目标图像中的像素点的像素值;
基于所述目标图像中各像素点分别对应的初始权重值,确定所述目标图像中各像素点分别对应的融合权重值。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标图像中各像素点分别对应的初始权重值,确定所述目标图像中各像素点分别对应的融合权重值包括:
对所述目标图像中各像素点分别对应的初始权重值进行平滑处理,得到所述目标图像中各像素点分别对应的平滑权重值;
基于所述目标图像中各像素点分别对应的平滑权重值,确定所述目标图像中各像素点分别对应的融合权重值。
6.根据权利要求1所述的方法,其特征在于,得到所述第二图像的步骤包括:
对原始视频中的视频图像进行格式转换,得到与所述视频图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的所述第一图像;
对所述第一图像进行增强处理,得到图像动态范围高于所述视频图像的图像动态范围的所述第二图像。
7.根据权利要求1所述的方法,其特征在于,所述基于所述融合权重图中记录的所述目标图像中各像素点分别对应的融合权重值,将所述目标图像融合至基础图像中生成所述视频图像对应的融合图像包括:
针对所述目标图像中的每个像素位置处的目标像素点,从所述基础图像中确定所述像素位置处的基础像素点;
根据所述目标像素点的融合权重值,确定所述像素位置处的基础像素点的融合权重值;
利用所述目标像素点以及所述基础像素点分别对应的融合权重值,对所述目标像素点和所述基础像素点分别对应的像素值进行融合,得到所述像素位置处的融合像素值;
基于各所述像素位置的融合像素值生成所述视频图像对应的融合图像。
8.根据权利要求1所述的方法,其特征在于,所述获取对原始视频中的视频图像进行格式转换生成的第一图像包括:
播放来自于第一视频源的缓存数据;所述第一视频源用于提供第一视频,所述第一视频中的图像的图像动态范围采用所述第一类动态范围表示;
响应于动态范围切换指令,从来自于所述第一视频源的未播放的缓存数据中,确定动态范围过渡时段的视频片段;所述原始视频为所述动态范围过渡时段的视频片段;
将所述动态范围过渡时段的视频片段中的视频图像进行格式转换生成第一图像;
所述方法还包括:
在所述动态范围过渡时段播放所述融合视频,并在所述动态范围过渡时段结束后,切换为播放来自于第二视频源的缓存数据;所述第二视频源用于提供第二视频,所述第二视频中的图像的图像动态范围采用所述第二类动态范围表示。
9.一种图像处理方法,其特征在于,所述方法包括:
对采用第一类动态范围表示图像动态范围的原始图像进行格式转换,生成采用第二类动态范围表示图像动态范围的第三图像;格式转换是指将采用第一类动态范围表示图像动态范围转换为采用第二类动态范围表示图像动态范围;所述第三图像的图像动态范围与所述原始图像的图像动态范围相同;
获取与所述原始图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第四图像;所述第四图像的图像动态范围高于所述原始图像的图像动态范围;
将像素保留值确定为目的图像中融合区域位置处的像素点的原始权重值,将像素屏蔽值确定为所述目的图像中所述融合区域位置之外的像素点的原始权重值;所述融合区域位置为源图像中的融合区域的位置,所述源图像和所述目的图像为所述第三图像或所述第四图像、且所述源图像与所述目的图像不同;所述像素保留值用于保留所述目的图像中像素点的像素值,所述像素屏蔽值用于屏蔽所述目的图像中像素点的像素值;
对各所述像素点的原始权重值进行平滑处理,得到所述目的图像中各像素点分别对应的目标权重值;
利用所述目标权重值将所述目的图像融合至所述源图像中,生成所述原始图像对应的融合图像。
10.根据权利要求9所述的方法,其特征在于,所述获取与所述原始图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第四图像包括:
对所述第三图像进行增强处理,得到与所述原始图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第四图像。
11.根据权利要求9所述的方法,其特征在于,所述对各所述像素点的原始权重值进行平滑处理,得到所述目的图像中各像素点分别对应的目标权重值包括:
对各所述像素点的原始权重值进行平滑处理,得到所述目的图像中各像素点分别对应的平滑处理权重值;
利用预设权重调整值对所述目的图像中各像素点分别对应的平滑处理权重值进行调整,得到所述目的图像中各像素点分别对应的目标权重值。
12.一种图像处理装置,其特征在于,所述装置包括:
第一图像获取模块,用于获取对原始视频中的视频图像进行格式转换生成的第一图像;所述视频图像的图像动态范围采用第一类动态范围表示,所述第一图像的图像动态范围采用第二类动态范围表示,所述第一图像的图像动态范围与所述视频图像的图像动态范围相同;格式转换是指将采用第一类动态范围表示图像动态范围转换为采用第二类动态范围表示图像动态范围;
第二图像获取模块,用于获取与所述视频图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第二图像;所述第二图像的图像动态范围高于所述视频图像的图像动态范围;
权重图得到模块,用于根据所述视频图像在所述原始视频中的显示顺序,确定目标图像对应的融合权重图;所述目标图像为所述第一图像或所述第二图像;
融合图像得到模块,用于基于所述融合权重图中记录的所述目标图像中各像素点分别对应的融合权重值,将所述目标图像融合至基础图像中生成所述视频图像对应的融合图像;所述基础图像为所述第一图像或所述第二图像且与所述目标图像不同;
融合视频得到模块,用于基于所述原始视频中各视频图像分别对应的融合图像生成融合视频。
13.根据权利要求12所述的装置,其特征在于,所述权重图得到模块,还用于:
确定所述原始视频中起始图像与结束图像之间间隔的视频图像的数量,得到间隔图像数量;
确定所述视频图像的显示顺序与所述原始视频中的起始图像的显示顺序之间的顺序差值;
根据所述顺序差值以及所述间隔图像数量,确定所述目标图像中各像素点分别对应的融合权重值;所述融合权重值与所述顺序差值成正相关关系;
基于所述目标图像中各像素点分别对应的融合权重值,生成目标图像对应的融合权重图。
14.根据权利要求13所述的装置,其特征在于,所述权重图得到模块,还用于:
计算所述顺序差值与所述间隔图像数量的比值,得到所述目标图像中各像素点分别对应的初始权重值;
利用预设权重调整值对所述目标图像中各像素点分别对应的初始权重值进行调整,确定所述目标图像中各像素点分别对应的融合权重值。
15.根据权利要求13所述的装置,其特征在于,所述权重图得到模块,还用于:
根据所述顺序差值以及所述间隔图像数量,确定所述目标图像中融合区域位置处的像素点的初始权重值;所述融合区域位置为所述基础图像中的待改变显示效果的融合区域的位置;
将像素屏蔽值确定为所述目标图像中所述融合区域位置之外的位置处的像素点的初始权重值;所述像素屏蔽值用于屏蔽所述目标图像中的像素点的像素值;
基于所述目标图像中各像素点分别对应的初始权重值,确定所述目标图像中各像素点分别对应的融合权重值。
16.根据权利要求15所述的装置,其特征在于,所述权重图得到模块,还用于:
对所述目标图像中各像素点分别对应的初始权重值进行平滑处理,得到所述目标图像中各像素点分别对应的平滑权重值;
基于所述目标图像中各像素点分别对应的平滑权重值,确定所述目标图像中各像素点分别对应的融合权重值。
17.根据权利要求12所述的装置,其特征在于,所述装置还包括第二图像得到模块,得到所述第二图像的所述第二图像得到模块用于:
对原始视频中的视频图像进行格式转换,得到与所述视频图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的所述第一图像;
对所述第一图像进行增强处理,得到图像动态范围高于所述视频图像的图像动态范围的所述第二图像。
18.根据权利要求12所述的装置,其特征在于,所述融合图像得到模块,还用于:
针对所述目标图像中的每个像素位置处的目标像素点,从所述基础图像中确定所述像素位置处的基础像素点;
根据所述目标像素点的融合权重值,确定所述像素位置处的基础像素点的融合权重值;
利用所述目标像素点以及所述基础像素点分别对应的融合权重值,对所述目标像素点和所述基础像素点分别对应的像素值进行融合,得到所述像素位置处的融合像素值;
基于各所述像素位置的融合像素值生成所述视频图像对应的融合图像。
19.根据权利要求12所述的装置,其特征在于,所述第一图像获取模块,还用于:
播放来自于第一视频源的缓存数据;所述第一视频源用于提供第一视频,所述第一视频中的图像的图像动态范围采用所述第一类动态范围表示;
响应于动态范围切换指令,从来自于所述第一视频源的未播放的缓存数据中,确定动态范围过渡时段的视频片段;所述原始视频为所述动态范围过渡时段的视频片段;
将所述动态范围过渡时段的视频片段中的视频图像进行格式转换生成第一图像;
所述装置还用于:
在所述动态范围过渡时段播放所述融合视频,并在所述动态范围过渡时段结束后,切换为播放来自于第二视频源的缓存数据;所述第二视频源用于提供第二视频,所述第二视频中的图像的图像动态范围采用所述第二类动态范围表示。
20.一种图像处理装置,其特征在于,所述装置包括:
图像生成模块,用于对采用第一类动态范围表示图像动态范围的原始图像进行格式转换,生成采用第二类动态范围表示图像动态范围的第三图像;格式转换是指将采用第一类动态范围表示图像动态范围转换为采用第二类动态范围表示图像动态范围;所述第三图像的图像动态范围与所述原始图像的图像动态范围相同;
图像获取模块,用于获取与所述原始图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第四图像;所述第四图像的图像动态范围高于所述原始图像的图像动态范围;
原始权重值得到模块,用于将像素保留值确定为目的图像中融合区域位置处的像素点的原始权重值,将像素屏蔽值确定为所述目的图像中所述融合区域位置之外的像素点的原始权重值;所述融合区域位置为源图像中的融合区域的位置,所述源图像和所述目的图像为所述第三图像或所述第四图像、且所述源图像与所述目的图像不同;所述像素保留值用于保留所述目的图像中像素点的像素值,所述像素屏蔽值用于屏蔽所述目的图像中像素点的像素值;
目标权重值得到模块,用于对各所述像素点的原始权重值进行平滑处理,得到所述目的图像中各像素点分别对应的目标权重值;
融合图像生成模块,用于利用所述目标权重值将所述目的图像融合至所述源图像中,生成所述原始图像对应的融合图像。
21.根据权利要求20所述的装置,其特征在于,所述图像获取模块,还用于:
对所述第三图像进行增强处理,得到与所述原始图像的图像内容一致、且图像动态范围采用所述第二类动态范围表示的第四图像。
22.根据权利要求20所述的装置,其特征在于,所述目标权重值得到模块,还用于:
对各所述像素点的原始权重值进行平滑处理,得到所述目的图像中各像素点分别对应的平滑处理权重值;
利用预设权重调整值对所述目的图像中各像素点分别对应的平滑处理权重值进行调整,得到所述目的图像中各像素点分别对应的目标权重值。
23.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
24.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206631.XA CN115293994B (zh) | 2022-09-30 | 2022-09-30 | 图像处理方法、装置、计算机设备和存储介质 |
PCT/CN2023/121004 WO2024067461A1 (zh) | 2022-09-30 | 2023-09-25 | 图像处理方法、装置、计算机设备和存储介质 |
US18/587,667 US20240205376A1 (en) | 2022-09-30 | 2024-02-26 | Image processing method and apparatus, computer device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206631.XA CN115293994B (zh) | 2022-09-30 | 2022-09-30 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115293994A CN115293994A (zh) | 2022-11-04 |
CN115293994B true CN115293994B (zh) | 2022-12-16 |
Family
ID=83835048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211206631.XA Active CN115293994B (zh) | 2022-09-30 | 2022-09-30 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240205376A1 (zh) |
CN (1) | CN115293994B (zh) |
WO (1) | WO2024067461A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115293994B (zh) * | 2022-09-30 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
Citations (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101809617A (zh) * | 2007-07-30 | 2010-08-18 | 杜比实验室特许公司 | 提高图像动态范围 |
CN103069809A (zh) * | 2010-08-25 | 2013-04-24 | 杜比实验室特许公司 | 扩展图像动态范围 |
US9413980B1 (en) * | 2015-03-17 | 2016-08-09 | Via Alliance Semiconductor Co., Ltd. | Methods for generating HDR (high dynamic range) images and apparatuses using the same |
CN106791865A (zh) * | 2017-01-20 | 2017-05-31 | 杭州当虹科技有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
CN107736024A (zh) * | 2015-06-08 | 2018-02-23 | 高通股份有限公司 | 到高动态范围和/或广色域视频数据的固定转移函数的内容自适应应用 |
CN108293141A (zh) * | 2015-12-28 | 2018-07-17 | 索尼公司 | 用于高动态范围视频数据的发送装置、发送方法、接收装置以及接收方法 |
WO2018176925A1 (zh) * | 2017-03-31 | 2018-10-04 | 华为技术有限公司 | Hdr图像的生成方法及装置 |
CN108769677A (zh) * | 2018-05-31 | 2018-11-06 | 宁波大学 | 一种基于感知的高动态范围视频动态范围可分级编码方法 |
CN110149507A (zh) * | 2018-12-11 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 视频处理方法、数据处理设备及存储介质 |
CN111683269A (zh) * | 2020-06-12 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
CN112106104A (zh) * | 2018-05-16 | 2020-12-18 | 辛纳普蒂克斯公司 | 高动态范围(hdr)数据转换和色彩空间映射 |
WO2021036991A1 (zh) * | 2019-08-30 | 2021-03-04 | 华为技术有限公司 | 高动态范围视频生成方法及装置 |
CN112819702A (zh) * | 2019-11-15 | 2021-05-18 | 北京金山云网络技术有限公司 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
CN113196378A (zh) * | 2018-12-13 | 2021-07-30 | Ati科技无限责任公司 | 改进高动态范围显示器的混合层中的可见性的方法和系统 |
CN113205460A (zh) * | 2020-01-31 | 2021-08-03 | 佳能株式会社 | 图像处理装置、图像处理方法和存储介质 |
CN113518185A (zh) * | 2020-12-30 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 视频转换处理方法、装置、计算机可读介质及电子设备 |
CN113781370A (zh) * | 2021-08-19 | 2021-12-10 | 北京旷视科技有限公司 | 图像的增强方法、装置和电子设备 |
CN113935911A (zh) * | 2021-09-26 | 2022-01-14 | 珠海全志科技股份有限公司 | 高动态范围视频图像处理方法、计算机装置及计算机可读存储介质 |
CN113962884A (zh) * | 2021-10-10 | 2022-01-21 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
CN114079816A (zh) * | 2020-08-12 | 2022-02-22 | 艾锐势企业有限责任公司 | 用于显示视频的设备和方法 |
WO2022067615A1 (zh) * | 2020-09-30 | 2022-04-07 | 京东方科技集团股份有限公司 | 视频色域分析及显示的方法、装置及系统与计算机设备 |
WO2022072884A1 (en) * | 2020-10-02 | 2022-04-07 | Dolby Laboratories Licensing Corporation | Adaptive local reshaping for sdr-to-hdr up-conversion |
CN114429438A (zh) * | 2022-01-28 | 2022-05-03 | 广州华多网络科技有限公司 | 图像增强方法及其装置、设备、介质、产品 |
CN114466134A (zh) * | 2021-08-17 | 2022-05-10 | 荣耀终端有限公司 | 生成hdr图像的方法及电子设备 |
WO2022141265A1 (zh) * | 2020-12-30 | 2022-07-07 | 华为技术有限公司 | 图像处理方法和设备 |
CN114866809A (zh) * | 2022-06-13 | 2022-08-05 | 百果园技术(新加坡)有限公司 | 视频转换方法、装置、设备、存储介质及程序产品 |
EP4050558A1 (en) * | 2019-10-21 | 2022-08-31 | Zhejiang Uniview Technologies Co., Ltd. | Image fusion method and apparatus, storage medium, and electronic device |
CN115115518A (zh) * | 2022-07-01 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 高动态范围图像的生成方法、装置、设备、介质及产品 |
CN115239591A (zh) * | 2022-07-28 | 2022-10-25 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019512953A (ja) * | 2016-03-14 | 2019-05-16 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | ダイナミックレンジマッピングのための飽和処理仕様 |
US10129485B2 (en) * | 2016-06-10 | 2018-11-13 | Microsoft Technology Licensing, Llc | Methods and systems for generating high dynamic range images |
CN108205797B (zh) * | 2016-12-16 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
US10445865B1 (en) * | 2018-03-27 | 2019-10-15 | Tfi Digital Media Limited | Method and apparatus for converting low dynamic range video to high dynamic range video |
CN108717690B (zh) * | 2018-05-21 | 2022-03-04 | 电子科技大学 | 一种高动态范围图片的合成方法 |
CN111050177B (zh) * | 2018-10-15 | 2021-07-20 | 腾讯科技(深圳)有限公司 | 视频编码、视频解码方法、装置、计算机设备和存储介质 |
US11128809B2 (en) * | 2019-02-15 | 2021-09-21 | Samsung Electronics Co., Ltd. | System and method for compositing high dynamic range images |
CN110728648B (zh) * | 2019-10-25 | 2022-07-19 | 北京迈格威科技有限公司 | 图像融合的方法、装置、电子设备及可读存储介质 |
CN114630053B (zh) * | 2020-12-11 | 2023-12-12 | 青岛海信移动通信技术有限公司 | 一种hdr图像显示方法及显示设备 |
WO2022141477A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种图像处理方法以及装置 |
US11671715B2 (en) * | 2021-01-14 | 2023-06-06 | Qualcomm Incorporated | High dynamic range technique selection for image processing |
CN114862729A (zh) * | 2021-02-04 | 2022-08-05 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN114418908A (zh) * | 2021-12-20 | 2022-04-29 | 北京爱芯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114708143A (zh) * | 2022-02-18 | 2022-07-05 | 北京旷视科技有限公司 | 一种hdr图像生成方法、设备、产品及介质 |
CN114998173B (zh) * | 2022-06-07 | 2024-03-15 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
CN115293994B (zh) * | 2022-09-30 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
-
2022
- 2022-09-30 CN CN202211206631.XA patent/CN115293994B/zh active Active
-
2023
- 2023-09-25 WO PCT/CN2023/121004 patent/WO2024067461A1/zh unknown
-
2024
- 2024-02-26 US US18/587,667 patent/US20240205376A1/en active Pending
Patent Citations (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101809617A (zh) * | 2007-07-30 | 2010-08-18 | 杜比实验室特许公司 | 提高图像动态范围 |
CN103069809A (zh) * | 2010-08-25 | 2013-04-24 | 杜比实验室特许公司 | 扩展图像动态范围 |
US9413980B1 (en) * | 2015-03-17 | 2016-08-09 | Via Alliance Semiconductor Co., Ltd. | Methods for generating HDR (high dynamic range) images and apparatuses using the same |
CN107736024A (zh) * | 2015-06-08 | 2018-02-23 | 高通股份有限公司 | 到高动态范围和/或广色域视频数据的固定转移函数的内容自适应应用 |
CN108293141A (zh) * | 2015-12-28 | 2018-07-17 | 索尼公司 | 用于高动态范围视频数据的发送装置、发送方法、接收装置以及接收方法 |
CN106791865A (zh) * | 2017-01-20 | 2017-05-31 | 杭州当虹科技有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
WO2018176925A1 (zh) * | 2017-03-31 | 2018-10-04 | 华为技术有限公司 | Hdr图像的生成方法及装置 |
CN112106104A (zh) * | 2018-05-16 | 2020-12-18 | 辛纳普蒂克斯公司 | 高动态范围(hdr)数据转换和色彩空间映射 |
CN108769677A (zh) * | 2018-05-31 | 2018-11-06 | 宁波大学 | 一种基于感知的高动态范围视频动态范围可分级编码方法 |
CN110149507A (zh) * | 2018-12-11 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 视频处理方法、数据处理设备及存储介质 |
CN113196378A (zh) * | 2018-12-13 | 2021-07-30 | Ati科技无限责任公司 | 改进高动态范围显示器的混合层中的可见性的方法和系统 |
WO2021036991A1 (zh) * | 2019-08-30 | 2021-03-04 | 华为技术有限公司 | 高动态范围视频生成方法及装置 |
EP4050558A1 (en) * | 2019-10-21 | 2022-08-31 | Zhejiang Uniview Technologies Co., Ltd. | Image fusion method and apparatus, storage medium, and electronic device |
CN112819702A (zh) * | 2019-11-15 | 2021-05-18 | 北京金山云网络技术有限公司 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
CN113205460A (zh) * | 2020-01-31 | 2021-08-03 | 佳能株式会社 | 图像处理装置、图像处理方法和存储介质 |
CN111683269A (zh) * | 2020-06-12 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
CN114079816A (zh) * | 2020-08-12 | 2022-02-22 | 艾锐势企业有限责任公司 | 用于显示视频的设备和方法 |
WO2022067615A1 (zh) * | 2020-09-30 | 2022-04-07 | 京东方科技集团股份有限公司 | 视频色域分析及显示的方法、装置及系统与计算机设备 |
WO2022072884A1 (en) * | 2020-10-02 | 2022-04-07 | Dolby Laboratories Licensing Corporation | Adaptive local reshaping for sdr-to-hdr up-conversion |
WO2022141265A1 (zh) * | 2020-12-30 | 2022-07-07 | 华为技术有限公司 | 图像处理方法和设备 |
CN113518185A (zh) * | 2020-12-30 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 视频转换处理方法、装置、计算机可读介质及电子设备 |
CN114466134A (zh) * | 2021-08-17 | 2022-05-10 | 荣耀终端有限公司 | 生成hdr图像的方法及电子设备 |
CN113781370A (zh) * | 2021-08-19 | 2021-12-10 | 北京旷视科技有限公司 | 图像的增强方法、装置和电子设备 |
CN113935911A (zh) * | 2021-09-26 | 2022-01-14 | 珠海全志科技股份有限公司 | 高动态范围视频图像处理方法、计算机装置及计算机可读存储介质 |
CN113962884A (zh) * | 2021-10-10 | 2022-01-21 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
CN114429438A (zh) * | 2022-01-28 | 2022-05-03 | 广州华多网络科技有限公司 | 图像增强方法及其装置、设备、介质、产品 |
CN114866809A (zh) * | 2022-06-13 | 2022-08-05 | 百果园技术(新加坡)有限公司 | 视频转换方法、装置、设备、存储介质及程序产品 |
CN115115518A (zh) * | 2022-07-01 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 高动态范围图像的生成方法、装置、设备、介质及产品 |
CN115239591A (zh) * | 2022-07-28 | 2022-10-25 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
Non-Patent Citations (8)
Title |
---|
"Analysis and Evaluation on Conversions Between SDR and HDR";Yun Zhou等;《2022 International Wireless Communications and Mobile Computing》;20220719;第1290-1295页 * |
"HDR-Like Image from Pseudo-Exposure Image Fusion:A Genetic Algorithm Approach";Ki-Doo Kim等;《IEEE Transactions on Consumer Electronics》;20210531;第67卷(第2期);第119-128页 * |
"NTIRE 2022 challenge on High Dynamic Range Imaging:Methods and Results";yonglin Luo等;《2022 CVPR》;20220630;第1009-1023页 * |
"Rate-distortion optimization of multi-exposure image coding for high dynamic range image coding";Jui-Chui Chiang等;《Signal Processing:Image Communication》;20210731;第95卷;第134-145页 * |
"SDR节目上变换到HDR的创新实践";罗映辉等;《广播与电视技术》;20191231;第46卷(第7期);第50-54页 * |
"基于YCbCr空间融合的高动态范围成像方法";汤璐等;《激光与光电子学进展》;20220731;第59卷(第14期);第1-12页 * |
"基于指标融合的HDR视频质量评价算法";刘雨奇等;《电视技术》;20211231;第45卷(第7期);第138-142页 * |
"视频增强技术及其应用效果评价研究";徐超等;《广播电视信息》;20220731(第7期);第82-86页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2024067461A1 (zh) | 2024-04-04 |
CN115293994A (zh) | 2022-11-04 |
US20240205376A1 (en) | 2024-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111683269B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
Bandoh et al. | Recent advances in high dynamic range imaging technology | |
CN107948733B (zh) | 视频图像处理方法及装置、电子设备 | |
US10114838B2 (en) | Reference card for scene referred metadata capture | |
CN114286172B (zh) | 数据处理方法及装置 | |
US20240205376A1 (en) | Image processing method and apparatus, computer device, and storage medium | |
CN114501023B (zh) | 视频处理方法、装置、计算机设备、存储介质 | |
Eilertsen | The high dynamic range imaging pipeline | |
Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
CN113822803A (zh) | 图像超分处理方法、装置、设备及计算机可读存储介质 | |
CN111696034B (zh) | 图像处理方法、装置及电子设备 | |
CN116324961A (zh) | 为不同类型的显示器增强图像数据 | |
Korshunov et al. | Context-dependent JPEG backward-compatible high-dynamic range image compression | |
CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
WO2018219004A1 (zh) | 全息影像的成像方法和数据生成方法及装置 | |
KR20230022153A (ko) | 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진 | |
CN116569191A (zh) | 对情境注意特征和卷积特征的门控 | |
CN116137674B (zh) | 视频播放方法、装置、计算机设备和存储介质 | |
WO2024088322A1 (zh) | 视频展示方法、装置、视频展示设备和存储介质 | |
CN118071659A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
WO2023174743A1 (en) | Image synthesis | |
CN116886984A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN116939225A (zh) | 影像处理方法、影像处理装置、存储介质 | |
de Melo | High dynamic range video for mobile devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40076039 Country of ref document: HK |