CN112003996B - 一种视频的生成方法、终端及计算机存储介质 - Google Patents
一种视频的生成方法、终端及计算机存储介质 Download PDFInfo
- Publication number
- CN112003996B CN112003996B CN202010808669.9A CN202010808669A CN112003996B CN 112003996 B CN112003996 B CN 112003996B CN 202010808669 A CN202010808669 A CN 202010808669A CN 112003996 B CN112003996 B CN 112003996B
- Authority
- CN
- China
- Prior art keywords
- frame
- image frame
- image
- video
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 101
- 238000001514 detection method Methods 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 24
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000004927 fusion Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000668842 Lepidosaphes gloverii Species 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G06T5/90—
Abstract
本申请实施例公开了一种视频的生成方法,该方法应用于一终端中,包括:按照终端的帧率,获取待生成视频的原始图像帧,当帧率大于等于第一预设阈值时,将原始图像帧转换成HDR图像帧,采用预设的多帧降噪算法对HDR图像帧进行处理,得到多帧降噪后的图像帧,根据多帧降噪后的图像帧,生成视频。本申请实施例还同时提供了一种终端及计算机存储介质。从而提高了视频的动态范围和降低了视频的噪声,进而提高了视频的视觉效果。
Description
技术领域
本申请涉及视频生成技术,尤其涉及一种视频的生成方法、终端及计算机存储介质。
背景技术
现今,人们使用手机进行视频录制生成视频,或者使用手机进入视频预览模式生成预览视频,在这两种情况下,在获取到图像帧之后,根据获取到的图像帧合成得到录制成功的视频或者生成预览视频。
然而,为了保证帧率,采用上述方法所生成的视频往往动态范围不够且噪声较大;由此可以看出,现有的录制的视频或者生成的预览视频存在动态范围不够且噪声较大的技术问题。
发明内容
本申请实施例提供一种视频的生成方法、终端及计算机存储介质,能够提高所生成的视频的动态范围和降低所生成视频的噪声。
本申请的技术方案是这样实现的:
本申请实施例提供了一种视频的生成方法,该方法应用于一终端中,包括:
按照所述终端的帧率,获取待生成视频的原始图像帧;
当所述帧率大于等于第一预设阈值时,将所述原始图像帧转换成HDR图像帧,采用预设的多帧降噪算法对所述HDR图像帧进行处理,得到多帧降噪后的图像帧;
根据所述多帧降噪后的图像帧,生成视频。
本申请实施例提供了一种终端,所述终端包括:
获取模块,用于按照所述终端的帧率,获取待生成视频的原始图像帧;
处理模块,用于当所述帧率大于等于第一预设阈值时,将所述原始图像帧转换成HDR图像帧,采用预设的多帧降噪算法对所述HDR图像帧进行处理,得到多帧降噪后的图像帧;
生成模块,用于根据所述多帧降噪后的图像帧,生成视频。
本申请实施例还提供了一种终端,所述终端包括:处理器以及存储有所述处理器可执行指令的存储介质,所述存储介质通过通信总线依赖所述处理器执行操作,当所述指令被所述处理器执行时,执行上述一个或多个实施例所述视频的生成方法。
本申请实施例提供了一种计算机存储介质,存储有可执行指令,当所述可执行指令被一个或多个处理器执行的时候,所述处理器执行上述一个或多个实施例所述视频的生成方法。
本申请实施例提供了一种视频的生成方法、终端及计算机存储介质,该方法应用于一终端中,包括:按照终端的帧率,获取待生成视频的原始图像帧,当帧率大于等于第一预设阈值时,将原始图像帧转换成HDR图像帧,其中,HDR图像相比于普通的图像,可以提供更多的动态范围和图像细节,采用预设的多帧降噪算法对HDR图像帧进行处理,得到多帧降噪后的图像帧,根据多帧降噪后的图像帧生成视频;也就是说,在本申请实施例中,首先按照终端的帧率获取原始图像帧,针对帧率大于等于第一预设阈值的情况,先将原始图像帧转换成HDR图像帧,再对HDR图像帧进行多帧降噪处理得到多帧降噪后的图像帧,最后根据多帧降噪后的图像帧生成视频,这样,在生成视频的过程中,针对高帧率获取的原始图像帧先转换成HDR图像帧再进行多帧降噪处理,如此,采用HDR技术可以提高图像帧的动态范围,采用多帧降噪算法可以降低图像帧的噪声,从而提高了视频的动态范围和降低了视频的噪声,进而提高了视频的视觉效果。
附图说明
图1为本申请实施例提供的一种可选的视频的生成方法的流程示意图;
图2为本申请实施例提供的一种可选的视频的生成方法的实例的流程示意图;
图3A为本申请实施例提供的一种可选的高帧率模式的示意图;
图3B为本申请实施例提供的一种可选的低帧率模式的示意图;
图4为本申请实施例提供的一种可选的超分重建网络的实例的结构示意图;
图5为本申请实施例提供的一种终端的结构示意图一;
图6为本申请实施例提供的一种终端的结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
实施例一
本申请实施例提供了一种视频的生成方法,该方法应用于一终端中,图1为本申请实施例提供的一种可选的视频的生成方法的流程示意图,参考图1所示,上述视频的生成方法可以包括:
S101:按照终端的帧率,获取待生成视频的原始图像帧;
目前,用户使用手机进行视频预览或者视频录制时,为了保证帧率,用户使用手机获取到原始图像帧之后,利用获取到的原始图像帧所生成的视频往往动态范围不够,并且噪声比较大。
为了获得高动态范围且噪声较低的视频,在本申请实施例中,为了在保证帧率的同时可以增加动态范围并弱化噪声,首先,终端按照终端的帧率获取待生成视频的原始图像帧,具体来说,终端的帧率可以是预先存储在终端中的,也可以是终端实时确定出的,这里,本申请实施例对此不作具体限定。
进一步地,在获取原始图像帧之前,需要确定出终端的帧率,为了确定出适用于当前环境的帧率,在一种可选的实施例中,在S101之前,该方法还可以包括:
获取环境的光线参数;
根据光线参数,确定终端的帧率。
具体来说,首先,终端获取环境的光线参数,即终端根据当前环境的光线情况来为终端确定帧率,这样,使得确定出的帧率适用于当前环境,从而能够真实的展现出所生成的视频的视觉效果。
需要说明的是,上述光线参数可以为光强,亮度,感光度(ISO,InternationalStandardization Organization photosensibility)和照度(LUX,Luminosity)等等,这里,本申请实施例对此不作具体限定。
为了根据光线参数确定出终端的帧率,在一种可选的实施例中,当光线参数包括:感光度和照度;
相应地,根据光线参数,确定终端的帧率,包括:
当感光度小于等于第二预设阈值且照度大于等于第三预设阈值时,确定帧率为第一预设帧率;
当感光度大于第二预设阈值和/或照度小于第三预设阈值时,确定帧率为第二预设帧率;
其中,第一预设帧率大于等于第一预设阈值,第二预设帧率小于第一预设阈值;也就是说,首先,判断感光度与第二预设阈值的大小关系,以及照度与第三预设阈值之间的大小关系,当感光度小于等于第二预设阈值,同时照度大于等于第三预设阈值时,说明此时光线较好,当前环境处于白天,图像所呈现的细节较多,可以将帧率设置成高帧率,确定出帧率为第一预设帧率,该第一预设帧率大于等于第一预设阈值,这样,可以获取到更多的图像细节,这里,大于等于第一预设阈值的帧率为高帧率。
当感光度大于第二预设阈值,同时照度小于等于第三预设阈值时,说明此时光线较差,当前环境处于夜晚,图像所呈现的细节相较于白天较少,可以将帧率设置成低帧率,确定出帧率为第二预设帧率,该第二预设帧率小于第一预设阈值,这里,小于第一预设阈值的帧率为低帧率。
这样,可以根据当前环境的光线参数确定出合适的帧率,从而使得终端可以在合适的帧率下获取原始图像帧,如此,更有利于终端获取到合适数量的原始图像帧以生成高质量的视频。
S102:当帧率大于等于第一预设阈值时,将原始图像帧转换成HDR图像帧,采用预设的多帧降噪算法对HDR图像帧进行处理,得到多帧降噪后的图像帧;
在确定出帧率之后,可以判断确定出的帧率与第一预设阈值之间的关系,当帧率大于等于第一预设阈值时,说明此时确定出的帧率为高帧率,当前环境处于白天,白天的光线比较好,采用高帧率获取原始图像可以获得较多的原始图像帧,为了提高所生成视频的动态范围并降低噪声,这里,针对高帧率获取到的原始图像帧,首先,采用高动态范围(HDR,High-Dynamic Range)技术将原始图像帧转换成HDR图像帧,这样,可以增加原始图像帧的动态范围,再对HDR图像帧采用多帧降噪算法进行处理,从而可以得到多帧降噪后的图像帧,如此,能够增加高帧率获取到的原始图像帧的动态范围,并且弱化了噪声。
在一种可选的实施例中,还方法还可以包括:
当帧率小于第一预设阈值时,采用多帧降噪算法对原始图像帧进行处理,得到多帧降噪后的图像帧。
具体来说,,当帧率小于第一预设阈值时,说明此时确定出的帧率为低帧率,当前环境处于夜晚,夜晚的光线比较差,采用低帧率获取原始图像即可,由于夜晚所抓取到的图像帧的光线较差,可展示的细节较少,所以这里仅仅采用多帧降噪算法对原始图像帧进行处理,具体来说,针对低帧率获取到的原始图像帧,首先,对原始图像帧采用多帧降噪算法进行处理,从而可以得到多帧降噪后的图像帧,如此,能够弱化高帧率获取到的原始图像帧的噪声。
这里,需要说明的是,上述多帧降噪算法可以是先将图像帧进行对齐,然后将对齐后的图像帧采用小波融合算法进行处理,从而可以得到多帧降噪后的图像帧;上述多帧降噪算法还可以是由粗到精的块匹配和LK光流算法,这里,本申请实施例对此不作具体限定。
S103:根据多帧降噪后的图像帧,生成视频。
具体来说,在得到多帧降噪后的图像帧之后,根据多帧降噪后的图像帧生成视频,这里,可以直接采用多帧降噪后的图像帧生成视频,也可以在对多帧降噪后的图像帧继续进行处理,然后再根据处理后的图像帧来生成视频,这里,本申请实施例对此不作具体限定。
这里,针对不同环境下的原始图像帧进行不同的处理,针对光线较好的原始图像可以提高所生成视频的动态范围并弱化噪声,针对光线较差的原始图像帧可以弱化噪声,这样,可以提高所生成视频的视觉效果。
进一步地,为了提高所生成视频的视觉效果,在一种可选的实施例中,S103可以包括:
根据预设的场景识别算法对多帧降噪后的图像帧进行处理,得到识别结果;其中,识别结果用于指示多帧降噪后的图像帧所处的场景;
根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧。
具体来说,这里,终端采用场景识别算法对多帧降噪后的图像帧进行识别,从而可以得到多帧降噪后的图像帧所处的场景,其中,针对某些特定场景会影响所生成视频的质量,所以,这里,针对识别出的某些特定场景,可以确定出该场景对应的场景优化算法,从而根据场景优化算法对多帧降噪后的图像帧进行处理,从而得到优化后的图像帧,进而提高所生成图像帧的质量。
其中,针对有雾场景来说,在一种可选的实施例中,根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧,可以包括:
当识别结果指示多帧降噪后的图像帧所处的场景为有雾场景时,确定识别结果对应的场景优化算法为去雾算法;
根据去雾算法对多帧降噪后的图像帧进行处理,得到去雾后的图像帧;
利用去雾后的图像帧生成视频。
具体来说,当识别结果显示多帧降噪后的图像帧所处的场景为有雾场景,为了提高所生成视频的质量,这里,采用去雾算法对多帧降噪后的图像帧进行处理,以消除多帧降噪后的图像帧中的发雾所引起的图像不清晰,提升图像帧的内容的可见度;其中,上述去雾算法通常采用基于暗通道的去雾算法。
针对存在光斑衍射的场景来说,在一种可选的实施例中,根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧,包括:
当识别结果指示多帧降噪后的图像帧所处的场景为光斑衍射场景时,确定识别结果对应的场景优化算法为消除光斑衍射算法;
根据消除光斑衍射算法对多帧降噪后的图像帧进行处理,得到消除光斑衍射后的图像帧;
利用消除光斑衍射后的图像帧生成视频。
具体来说,当识别结果显示多帧降噪后的图像帧所处的场景存在光斑衍射,即为光斑衍射场景,为了提高所生成视频的质量,这里,采用消除光斑衍射算法对多帧降噪后的图像帧进行处理,以消除多帧降噪后的图像帧中的光斑衍射,提升图像帧的质量;其中,上述消除光斑衍射算法通常采用Retinex算法。
针对逆光或者暗光的场景,在一种可选的实施例中,根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧,包括:
当识别结果指示多帧降噪后的图像帧所处的场景为逆光场景或暗光场景时,确定识别结果对应的场景优化算法为光线校正算法;
根据光线校正算法对多帧降噪后的图像帧进行处理,得到光线校正后的图像帧;
利用光线校正后的图像帧生成视频。
具体来说,当识别结果显示多帧降噪后的图像帧所处的场景的光线较差,确定该场景为逆光场景或者暗光场景,为了提高所生成视频的质量,这里,采用光线校正算法对多帧降噪后的图像帧进行处理,以校正多帧降噪后的图像帧的亮度和对比度,提升图像帧的质量;其中,上述光线较正算法通常采用基于局部Gamma校正对比度增强算法。
另外,还可以对多帧降噪后的图像帧进行人脸检测,在一种可选的实施例中,根据多帧降噪后的图像帧,生成视频,包括:
根据预设的人脸检测算法对多帧降噪后的图像帧进行处理,得到检测结果;其中,检测结果用于指示多帧降噪后的图像帧中是否存在人脸图像;
当检测结果指示多帧降噪后的图像帧中存在人脸图像时,采用预设的超分重建算法对多帧降噪后的图像帧进行处理,得到超分重建后的图像帧;
利用超分重建后的图像帧生成视频。
具体来说,先采用人脸检测算法对多帧降噪后的图像帧进行处理得到检测结果,针对检测结果指示多帧降噪后的图像帧中存在人脸图像的情况,可以采用超分重建算法对多帧降噪后的图像帧进行处理,最后利用超分重建后的图像帧生成视频,这里,对于人脸区域构建一个椭圆区域,然后采用超分重建算法处理椭圆区域,最后,采用图像融合算法将超分重建后的椭圆区域与背景区域进行融合,从而利用融合后的图像帧生成视频;其中,这里的图像融合算法可以为拉普拉斯融合算法,还可以为泊松融合算法,本申请实施例对此不作具体限定。
下面举实例来对上述一个或多个实施例中所述的视频的生成方法进行说明。
图2为本申请实施例提供的一种可选的视频的生成方法的实例的流程示意图,如图2所示,该方法可以包括:
S201:确定是否是白天模式,若为是,执行S202,若为否,执行S203;
具体来说,终端根据当前环境的ISO和当前环境的LUX,判断当前环境是处于白天还是夜晚,若是白天,终端采用白天模式,若是夜晚,终端采用夜晚模式;例如,如果ISO<ISO_value和LUX>LUX_value两个条件同时满足,则确定为白天模式,否则确定为夜晚模式。其中,ISO_value和LUX_value为在终端预先设置好的值。
S202:确定是白天模式时,终端采用H帧长短曝光数据,执行S204;
S203:确定是夜晚模式时,终端采用L帧正常曝光数据,执行S205;
具体来说,当终端采用白天模式时,终端的sensor工作在高帧率模式下,每秒出图H帧;当终端采用夜晚模式时,终端的sensor工作在低帧率模式下,每秒出图L帧,在本实例中,ISO_value取800,LUX_value取400,H取60,L取30。
图3A为本申请实施例提供的一种可选的高帧率模式的示意图,图3B为本申请实施例提供的一种可选的低帧率模式的示意图,如图3A所示,横坐标为时间,每一个长方形代表一个图像帧,长方形的宽带代表每一个图像帧的曝光时间,由图3A可以看出随着时间的推移,将每一个图像帧进行编号,得到H1,H2,……,Hn,同理,如图3B所示,横坐标为时间,每一个长方形代表一个图像帧,长方形的宽带代表每一个图像帧的曝光时间,由图3B可以看出随着时间的推移,将每一个图像帧进行编号,得到L1,L2,……,Ln。
S204:终端将多帧合成一帧高动态图片,执行S205;
具体来说,当sensor处于高帧率模式时,H(2k+1)、H(2k)和H(2k-1)会进行HDR处理得到HDR(k),H(2k+1)为参考帧;通过HDR融合能够增加图像帧的动态范围,
S205:终端进行多帧降噪;
具体来说,HDR(k-1)、HDR(k)和HDR(k+1)会进行多帧降噪处理,HDR(k)为参考帧。
当sensor处于低帧率模式时,L(k-2)、L(k-1)、L(k)、L(k+1)、L(k+2)会进行多帧降噪融合,L(k)为参考帧,参与融合的其余帧均为匹配帧,匹配帧与参考帧采用由粗到精的块匹配和LK(Lucas–Kanade)光流算法进行匹配。
S206:终端进行场景检测和人脸检测;
具体来说,终端对多帧降噪后的帧NR(k)进行场景检测和人脸检测,场景检测算法采用mobilenet v2算法,人脸检测算法采用多任务级联卷积神经网络(MTCNN,Multi-taskCascaded Convolutional Networks)算法,人脸检测算法输出人脸框坐标(left,top,width,height)和鼻子、两个眼睛、两个嘴角等5个关键点的坐标(x,y)。
S207:终端确定是否有雾,若为是,执行S208,否则,执行S209;
S208:终端去雾处理;
具体来说,如果是有雾场景,使用基于暗通道的去雾算法去除发雾现象,提升图片内容的可见度;
S209:终端确定是否有衍射光斑,若为是,执行S210,否则,执行S211;
S210:终端去光斑衍射处理;
具体来说,如果是有光斑衍射的场景,使用基于Retinex算法消除光斑衍射;
S211:终端确定是否逆光、暗光场景,若为是,执行S212,否则,执行S213;
S212:终端提亮处理;
具体来说,如果是逆光或者暗光场景,使用基于局部Gamma校正的对比度增强算法自适应提升整幅图片的亮度和对比度;
S213:终端检测是否有主体人脸,若为是,执行S214,否则,执行S215;
S214:终端对人脸进行超分重建;
另外,如果有主体人脸,则根据五点坐标构建椭圆形区域,并进行超分重建,当多帧降噪后的图像帧有主体人脸,此时对主体人脸进行超分重建,首先,终端构建一个椭圆区域,具体地,以眼睛的连线为短轴,以眼睛连线的中点为椭圆中心,以两个嘴角中点到椭圆中点的连线为半长轴,将短轴扩大shortScale,将长轴的扩大longScale,得到超分区域,shortScale和longScale取值2.2和1.8。
S215:终端生成L帧数据。
具体来说,终端得到人脸检测后的L个图像帧。
图4为本申请实施例提供的一种可选的超分重建网络的实例的结构示意图,如图4所示为超分重建网络,该网络依次包括:两个3*3卷积层,一个UNet神经网络,一个3*3卷积层。
在本实例中,首先,终端采集各种情况下低质量的图片和对应的高质量图片,执行S204-S205所示的方法进行对齐(匹配),本实例中使用类似ESRGAN的方式训练网络,使用人脸超分网络处理包含主体人脸的椭圆区域,最后使用拉普拉斯融合算法将超分重建后的椭圆区域和背景区域进行融合得到最终的结果。
通过上述实例,在保证帧率的情况下,可以获取更高动态和更低噪声的图片。利用轻量化的场景检测算法和人脸检测算法,获取场景信息和人脸信息。根据这些信息识别出有雾场景、暗光和逆光场景,以及有主体人脸的场景,对这样场景进行细致地处理,进一步提升了图片质量,同时避免不必要的计算量。
本申请实施例提供了一种视频的生成方法,该方法应用于一终端中,包括:按照终端的帧率,获取待生成视频的原始图像帧,当帧率大于等于第一预设阈值时,将原始图像帧转换成HDR图像帧,其中,HDR图像相比于普通的图像,可以提供更多的动态范围和图像细节,采用预设的多帧降噪算法对HDR图像帧进行处理,得到多帧降噪后的图像帧,根据多帧降噪后的图像帧生成视频;也就是说,在本申请实施例中,首先按照终端的帧率获取原始图像帧,针对帧率大于等于第一预设阈值的情况,先将原始图像帧转换成HDR图像帧,再对HDR图像帧进行多帧降噪处理得到多帧降噪后的图像帧,最后根据多帧降噪后的图像帧生成视频,这样,在生成视频的过程中,针对高帧率获取的原始图像帧先转换成HDR图像帧再进行多帧降噪处理,如此,采用HDR技术可以提高图像帧的动态范围,采用多帧降噪算法可以降低图像帧的噪声,从而提高了视频的动态范围和降低了视频的噪声,进而提高了视频的视觉效果。
实施例二
图5为本申请实施例提供的一种终端的结构示意图一,如图5所示,本申请实施例提供了一种终端,包括:
获取模块51,用于按照终端的帧率,获取待生成视频的原始图像帧;
处理模块52,用于当帧率大于等于第一预设阈值时,将原始图像帧转换成HDR图像帧,采用预设的多帧降噪算法对HDR图像帧进行处理,得到多帧降噪后的图像帧;
生成模块53,用于根据多帧降噪后的图像帧,生成视频。
可选的,处理模块52,还用于当帧率小于第一预设阈值时,采用多帧降噪算法对原始图像帧进行处理,得到多帧降噪后的图像帧。
可选的,该终端还包括:确定模块,
获取模块51,还用于在按照获取到的终端的帧率,获取待生成视频的原始图像帧之前,获取环境的光线参数;
确定模块,用于根据光线参数,确定终端的帧率。
可选的,当光线参数包括:感光度和照度;
相应地,确定模块,具体用于:
当感光度小于等于第二预设阈值且照度大于等于第三预设阈值时,确定帧率为第一预设帧率;其中,第一预设帧率大于等于第一预设阈值;
当感光度大于第二预设阈值和/或照度小于第三预设阈值时,确定帧率为第二预设帧率;其中,第二预设帧率小于第一预设阈值。
可选的,生成模块53,具体用于:
根据预设的场景识别算法对多帧降噪后的图像帧进行处理,得到识别结果;其中,识别结果用于指示多帧降噪后的图像帧所处的场景;
根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧。
可选的,生成模块53根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧,包括:
当识别结果指示多帧降噪后的图像帧所处的场景为有雾场景时,确定识别结果对应的场景优化算法为去雾算法;
根据去雾算法对多帧降噪后的图像帧进行处理,得到去雾后的图像帧;
利用去雾后的图像帧生成视频。
可选的,生成模块53根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧,包括:
当识别结果指示多帧降噪后的图像帧所处的场景为光斑衍射场景时,确定识别结果对应的场景优化算法为消除光斑衍射算法;
根据消除光斑衍射算法对多帧降噪后的图像帧进行处理,得到消除光斑衍射后的图像帧;
利用消除光斑衍射后的图像帧生成视频。
可选的,生成模块53根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧,包括:
当识别结果指示多帧降噪后的图像帧所处的场景为逆光场景或暗光场景时,确定识别结果对应的场景优化算法为光线校正算法;
根据光线校正算法对多帧降噪后的图像帧进行处理,得到光线校正后的图像帧;
利用光线校正后的图像帧生成视频。
可选的,生成模块53,具体还用于:
根据预设的人脸检测算法对多帧降噪后的图像帧进行处理,得到检测结果;其中,检测结果用于指示多帧降噪后的图像帧中是否存在人脸图像;
当检测结果指示多帧降噪后的图像帧中存在人脸图像时,采用预设超分重建算法对多帧降噪后的图像帧进行处理,得到超分重建后的图像帧;
利用超分重建后的图像帧生成视频。
在实际应用中,上述获取模块51、处理模块52、生成模块53和确定模块可由位于终端上的处理器实现,具体为CPU、微处理器(MPU,Microprocessor Unit)、数字信号处理器(DSP,Digital Signal Processing)或现场可编程门阵列(FPGA,Field ProgrammableGate Array)等实现。
图6为本申请实施例提供的一种终端的结构示意图二,如图6所示,本申请实施例提供了一种终端600,包括:
处理器61以及存储有所述处理器61可执行指令的存储介质62,所述存储介质62通过通信总线63依赖所述处理器61执行操作,当所述指令被所述处理器61执行时,执行上述实施例一所述的视频的生成方法。
需要说明的是,实际应用时,终端中的各个组件通过通信总线63耦合在一起。可理解,通信总线63用于实现这些组件之间的连接通信。通信总线63除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图6中将各种总线都标为通信总线63。
本申请实施例提供了一种计算机存储介质,存储有可执行指令,当所述可执行指令被一个或多个处理器执行的时候,所述处理器执行实施例一所述的视频的生成方法。
其中,计算机可读存储介质可以是磁性随机存取存储器(ferromagnetic randomaccess memory,FRAM)、只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。
Claims (11)
1.一种视频的生成方法,其特征在于,所述方法应用于一终端中,包括:
按照所述终端的帧率,获取待生成视频的原始图像帧;
当所述帧率大于等于第一预设阈值时,将所述原始图像帧转换成HDR图像帧,采用预设的多帧降噪算法对所述HDR图像帧进行处理,得到多帧降噪后的图像帧;
根据所述多帧降噪后的图像帧,生成视频;
其中,所述根据所述多帧降噪后的图像帧,生成视频,包括:
根据预设的场景识别算法对所述多帧降噪后的图像帧进行处理,得到识别结果;其中,所述识别结果用于指示所述多帧降噪后的图像帧所处的场景;
根据所述识别结果所对应的场景优化算法,对所述多帧降噪后的图像帧进行处理,得到优化后的图像帧。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述帧率小于所述第一预设阈值时,采用所述多帧降噪算法对所述原始图像帧进行处理,得到所述多帧降噪后的图像帧。
3.根据权利要求1或2所述的方法,其特征在于,在按照所述终端的帧率,获取待生成视频的原始图像帧之前,所述方法还包括:
获取环境的光线参数;
根据所述光线参数,确定所述终端的帧率。
4.根据权利要求3所述的方法,其特征在于,当所述光线参数包括:感光度和照度;
所述根据所述光线参数,确定所述终端的帧率,包括:
当所述感光度小于等于第二预设阈值且所述照度大于等于第三预设阈值时,确定所述帧率为第一预设帧率;其中,所述第一预设帧率大于等于所述第一预设阈值;
当所述感光度大于第二预设阈值和/或所述照度小于第三预设阈值时,确定所述帧率为第二预设帧率;其中,所述第二预设帧率小于所述第一预设阈值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述识别结果所对应的场景优化算法,对所述多帧降噪后的图像帧进行处理,得到优化后的图像帧,包括:
当所述识别结果指示所述多帧降噪后的图像帧所处的场景为有雾场景时,确定所述识别结果对应的场景优化算法为去雾算法;
根据所述去雾算法对所述多帧降噪后的图像帧进行处理,得到去雾后的图像帧;
利用所述去雾后的图像帧生成视频。
6.根据权利要求1所述的方法,其特征在于,所述根据所述识别结果所对应的场景优化算法,对所述多帧降噪后的图像帧进行处理,得到优化后的图像帧,包括:
当所述识别结果指示所述多帧降噪后的图像帧所处的场景为光斑衍射场景时,确定所述识别结果对应的场景优化算法为消除光斑衍射算法;
根据所述消除光斑衍射算法对所述多帧降噪后的图像帧进行处理,得到消除光斑衍射后的图像帧;
利用所述消除光斑衍射后的图像帧生成视频。
7.根据权利要求1所述的方法,其特征在于,所述根据所述识别结果所对应的场景优化算法,对所述多帧降噪后的图像帧进行处理,得到优化后的图像帧,包括:
当所述识别结果指示所述多帧降噪后的图像帧所处的场景为逆光场景或暗光场景时,确定所述识别结果对应的场景优化算法为光线校正算法;
根据所述光线校正算法对所述多帧降噪后的图像帧进行处理,得到光线校正后的图像帧;
利用所述光线校正后的图像帧生成视频。
8.根据权利要求1或2所述的方法,其特征在于,所述根据所述多帧降噪后的图像帧,生成视频,包括:
根据预设的人脸检测算法对所述多帧降噪后的图像帧进行处理,得到检测结果;其中,所述检测结果用于指示所述多帧降噪后的图像帧中是否存在人脸图像;
当所述检测结果指示所述多帧降噪后的图像帧中存在人脸图像时,采用预设的超分重建算法对所述多帧降噪后的图像帧进行处理,得到超分重建后的图像帧;
利用所述超分重建后的图像帧生成视频。
9.一种终端,其特征在于,包括:
获取模块,用于按照所述终端的帧率,获取待生成视频的原始图像帧;
处理模块,用于当所述帧率大于等于第一预设阈值时,将所述原始图像帧转换成HDR图像帧,采用预设的多帧降噪算法对所述HDR图像帧进行处理,得到多帧降噪后的图像帧;
生成模块,用于根据所述多帧降噪后的图像帧,生成视频;
其中,所述生成模块,具体用于根据预设的场景识别算法对多帧降噪后的图像帧进行处理,得到识别结果;其中,识别结果用于指示多帧降噪后的图像帧所处的场景;根据识别结果所对应的场景优化算法,对多帧降噪后的图像帧进行处理,得到优化后的图像帧。
10.一种终端,其特征在于,所述终端包括:处理器以及存储有所述处理器可执行指令的存储介质,所述存储介质通过通信总线依赖所述处理器执行操作,当所述指令被所述处理器执行时,执行上述的权利要求1至8任一项所述的视频的生成方法。
11.一种计算机存储介质,其特征在于,存储有可执行指令,当所述可执行指令被一个或多个处理器执行的时候,所述处理器执行所述的权利要求1至8任一项所述的视频的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010808669.9A CN112003996B (zh) | 2020-08-12 | 2020-08-12 | 一种视频的生成方法、终端及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010808669.9A CN112003996B (zh) | 2020-08-12 | 2020-08-12 | 一种视频的生成方法、终端及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112003996A CN112003996A (zh) | 2020-11-27 |
CN112003996B true CN112003996B (zh) | 2023-04-18 |
Family
ID=73462462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010808669.9A Active CN112003996B (zh) | 2020-08-12 | 2020-08-12 | 一种视频的生成方法、终端及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112003996B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114005066B (zh) * | 2021-11-04 | 2022-07-26 | 北京智慧眼信息技术有限公司 | 基于hdr的视频帧图像处理方法、装置、计算机设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008022485A (ja) * | 2006-07-14 | 2008-01-31 | Canon Inc | 画像処理装置及び画像処理方法 |
CN106127698A (zh) * | 2016-06-15 | 2016-11-16 | 深圳市万普拉斯科技有限公司 | 图像降噪处理方法和装置 |
CN109993722A (zh) * | 2019-04-09 | 2019-07-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110062159A (zh) * | 2019-04-09 | 2019-07-26 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
CN110191291A (zh) * | 2019-06-13 | 2019-08-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
CN110248106A (zh) * | 2019-06-13 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、电子设备以及存储介质 |
CN110443766A (zh) * | 2019-08-06 | 2019-11-12 | 厦门美图之家科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
-
2020
- 2020-08-12 CN CN202010808669.9A patent/CN112003996B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008022485A (ja) * | 2006-07-14 | 2008-01-31 | Canon Inc | 画像処理装置及び画像処理方法 |
CN106127698A (zh) * | 2016-06-15 | 2016-11-16 | 深圳市万普拉斯科技有限公司 | 图像降噪处理方法和装置 |
CN109993722A (zh) * | 2019-04-09 | 2019-07-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110062159A (zh) * | 2019-04-09 | 2019-07-26 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法、装置、电子设备 |
CN110191291A (zh) * | 2019-06-13 | 2019-08-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
CN110248106A (zh) * | 2019-06-13 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、电子设备以及存储介质 |
CN110443766A (zh) * | 2019-08-06 | 2019-11-12 | 厦门美图之家科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112003996A (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rao et al. | A Survey of Video Enhancement Techniques. | |
CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107886484B (zh) | 美颜方法、装置、计算机可读存储介质和电子设备 | |
US11127117B2 (en) | Information processing method, information processing apparatus, and recording medium | |
Im et al. | Single image-based ghost-free high dynamic range imaging using local histogram stretching and spatially-adaptive denoising | |
CN110536068B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN107172354B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
WO2015184208A1 (en) | Constant bracketing for high dynamic range operations (chdr) | |
CN107690804B (zh) | 一种图像处理方法及用户终端 | |
CN109089046B (zh) | 图像降噪方法、装置、计算机可读存储介质及电子设备 | |
CN111028137A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN113034384A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
CN112272832A (zh) | 用于基于dnn的成像的方法和系统 | |
CN107547803B (zh) | 视频分割结果边缘优化处理方法、装置及计算设备 | |
CN113315884A (zh) | 一种实时视频降噪方法、装置、终端及存储介质 | |
CN115086567A (zh) | 延时摄影方法和装置 | |
CN112003996B (zh) | 一种视频的生成方法、终端及计算机存储介质 | |
CN110213462B (zh) | 图像处理方法、装置、电子设备、图像处理电路及存储介质 | |
CN112581481B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN112822413B (zh) | 拍摄预览方法、装置、终端和计算机可读存储介质 | |
CN107578372B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN116055895B (zh) | 图像处理方法及其装置、芯片系统和存储介质 | |
CN114584831B (zh) | 提高视频清晰度的视频优化处理方法、装置、设备和存储介质 | |
CN115719316A (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |