CN112118394A - 一种基于图像融合技术的暗光视频优化方法及装置 - Google Patents

一种基于图像融合技术的暗光视频优化方法及装置 Download PDF

Info

Publication number
CN112118394A
CN112118394A CN202010881763.7A CN202010881763A CN112118394A CN 112118394 A CN112118394 A CN 112118394A CN 202010881763 A CN202010881763 A CN 202010881763A CN 112118394 A CN112118394 A CN 112118394A
Authority
CN
China
Prior art keywords
image
shooting
lens
video
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010881763.7A
Other languages
English (en)
Other versions
CN112118394B (zh
Inventor
沈准文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yealink Network Technology Co Ltd
Original Assignee
Xiamen Yealink Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yealink Network Technology Co Ltd filed Critical Xiamen Yealink Network Technology Co Ltd
Priority to CN202010881763.7A priority Critical patent/CN112118394B/zh
Publication of CN112118394A publication Critical patent/CN112118394A/zh
Application granted granted Critical
Publication of CN112118394B publication Critical patent/CN112118394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于图像融合技术的暗光视频优化方法及装置，所述方法包括：在拍摄设备接收视频拍摄指令后，判断当前拍摄场景的光线条件；若判断当前拍摄场景的光线条件满足第一条件时，则调用拍摄设备的第一镜头进行拍摄并保存对应的第一图像；若判断当前拍摄场景的光线条件满足第二条件时，则调用拍摄设备的第二镜头进行拍摄并保存对应的第二图像；在完成拍摄后，启动预设算法将第一镜头拍摄的第一图像与第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。本发明通过在暗光条件下使用低像素镜头进行拍摄，并与高像素镜头提取的边缘信息进行融合，在不增加拍摄功耗的前提下提升视频解析力和显示效果，并节约存储空间。

Description

一种基于图像融合技术的暗光视频优化方法及装置
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于图像融合技术的暗光视频优化方法及装置。
背景技术
随着多媒体技术的飞速发展，多媒体技术所应用的场合和行业也越来越广泛，人们也在日常生活中越来越频繁且大量使用图像信息。并且随着网络通信的进步，由于视频比照片包含更大的信息量和直观性的特点，人们也越来越热衷于拍摄或制作视频，用于记录和分享生活。而对于其它行业，随着人工智能技术的兴起，多媒体技术与人工智能的结合也越来越紧密，因此对多媒体技术中的图像处理的技术要求也随之提高。
然而，目前的成像技术在暗光条件下容易受到低信噪比和低亮度的影响，导致图像的成像质量受到很大的影响，因此需要进行图像提亮、图像修复和图像增强等处理，以改善图像的视觉效果。现有技术中提出了一种Quad bayer sensor方案进行拍摄视频，Quadbayer sensor是一种“四像素合一”的技术，简单来说就是将像素密度提高四倍，在光线充足的情况下，可以输出4倍于之前像素数量的分辨率的图像；在光线不足的情况下，通过将四像素合一可以输出一张像素较低但信噪比较高、亮度较好的图像。
但是，在对现有技术的研究与实践的过程中，本发明的发明人发现，现有技术存在如下缺陷，以64M Quad bayer sensor为例，目前市面上的Quad bayer sensor方案在拍摄视频时，若在白天或者光线充足的情况下，则使用64M高分辨率输出；但是在夜晚或光线不足的情况下，若使用64M输出则会带来高功耗和感光不足造成视频效果较差的情况，而若使用16M输出，则会造成清晰度不足的效果。因此，亟需一种能够克服上述缺陷的暗光情况下视频效果优化的方法。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于图像融合技术的暗光视频优化方法及装置，能够对拍摄的暗光视频进行优化。
为解决上述问题，本发明的一个实施例提供了一种基于图像融合技术的暗光视频优化方法，至少包括如下步骤：
在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；
若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；
若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；
在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
作为优选方案，所述启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，具体为：
读取所述第一图像中的每一图像帧并转换为灰度图像；
采用高通滤波器对所述第一图像中的每一图像帧进行图像特征信息提取，提取得到对应的边缘特征信息；
将所述第一图像中的边缘特征信息与对应的所述第二图像中的每一相邻的图像帧进行融合叠加处理；
在所述第二图像中的每一帧图像帧均完成融合叠加处理后进行图像拼接，拼接得到暗光优化视频。
作为优选方案，所述通过拍摄设备判断当前拍摄场景的光线条件，具体为：
通过识别所述拍摄设备的当前曝光策略，判断曝光策略中的ISO值是否大于预设阈值；
若是，则判定当前拍摄场景的光线条件为第一光线条件，调用所述拍摄设备的第一镜头进行拍摄；
若否，则判定当前拍摄场景的光线条件为第二光线条件，调用所述拍摄设备的第二镜头进行拍摄。
作为优选方案，所述基于图像融合技术的暗光视频优化方法，还包括：
在调用所述拍摄设备的第二镜头进行拍摄时，每隔预设固定帧数抓取一帧图乡帧作为参考帧，并调用第一镜头进行拍摄，以抓取一帧图像帧作为关键帧。
作为优选方案，所述预设固定帧数的调整方式为：
根据所述拍摄设备的平台性能和拍摄视频的帧率进行调整。
作为优选方案，所述高通滤波器为Butterworth高通滤波器。
作为优选方案，所述第一镜头和第二镜头均支持4in1合成功能。
本发明的一个实施例提供了一种基于图像融合技术的暗光视频优化装置，包括：
光线判断模块，用于在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；
拍摄模块，用于若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；
视频优化模块，用于在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
本发明的一个实施例还提供了一种基于图像融合技术的暗光视频优化的终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于图像融合技术的暗光视频优化方法。
本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的基于图像融合技术的暗光视频优化方法。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的一种基于图像融合技术的暗光视频优化方法及装置，所述方法包括：在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
与现有技术相比，本发明实施例能够通过在暗光条件下使用低像素镜头进行拍摄，并与高像素镜头提取的边缘信息进行融合，在不增加拍摄功耗的前提下提升视频解析力和显示效果；在存储视频时，只需要存储低像素镜头拍摄的视频和高像素镜头提取的关键帧，播放视频时通过算法还原高清视频，节约了存储空间。
附图说明
图1为本发明第一实施例提供的一种基于图像融合技术的暗光视频优化方法的流程示意图；
图2为本发明第一实施例提供的图像融合叠加的流程示意图；
图3为本发明第二实施例提供的一种基于图像融合技术的暗光视频优化装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
首先介绍本发明可以提供的应用场景，如对暗光条件下拍摄的视频进行优化。
本发明第一实施例：
请参阅图1-2。
如图1所示，本实施例提供了一种基于图像融合技术的暗光视频优化方法，至少包括如下步骤：
S1、在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；
具体的，对于步骤S1，在用户需要拍摄视频时，拍摄设备接收用户发送的视频拍摄指令，拍摄设备判断当前拍摄场景的光线条件，从而调用对应的摄像镜头进行视频的拍摄。
S2、若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；
具体的，对于步骤S2，若判断当前拍摄场景的光线条件满足第一条件时，即判定当前拍摄场景为白天或者光线充足的场景，则采用高像素镜头(例如64M镜头)进行拍摄，并保存对应的第一图像。光线充足情况下，很小的pixel size就能接收足够的光源能量来保证图像视频的亮度，所以为了输出高分辨率高质量的图像视频，并不需要启用大pixel size模式进行拍摄。
S3、若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；
具体的，对于步骤S3，若判断当前拍摄场景的光线条件满足第二条件时，即判定当前拍摄场景为夜景或者光线不足的情况下，切换低像素镜头(例如16M镜头)进行拍摄，此时使用的pixel size比较大，能够有很好的感光能力，对于夜景拍摄视频的亮度和噪声有很大的改善。
S4、在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
具体的，对于步骤S4，拍摄完毕后启动算法，将拍摄的64M图像经过高通滤波器，提取其中的边缘特征信息，与拍摄出来的16M视频中相邻帧进行融合叠加，从而提升16M镜头拍摄出来的视频效果。
在优选的实施例中，如图2所示，所述启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，具体为：
S41、读取所述第一图像中的每一图像帧并转换为灰度图像；
S42、采用高通滤波器对所述第一图像中的每一图像帧进行图像特征信息提取，提取得到对应的边缘特征信息；
S43、将所述第一图像中的边缘特征信息与对应的所述第二图像中的每一相邻的图像帧进行融合叠加处理；
S44、在所述第二图像中的每一帧图像帧均完成融合叠加处理后进行图像拼接，拼接得到暗光优化视频。
具体的，首先将第一镜头拍摄的64M图像帧转换为灰度图像，采用巴特沃斯高通滤波器，对64M帧图像特征信息进行提取，将第二镜头拍摄的16M帧图像和步骤S42获取的边缘特征信息进行融合，提升每一帧16M图像的细节丰富度，最后,存储16M视频和64M关键帧，视频播放的时候,将64M镜头拍摄的视频和16M处理后的视频进行拼接，从而最终提升整个视频的清晰度噪声质量。
在实际的实施例中，首先读取64M图像帧，并将64M图像帧转换为灰度图像，采用巴特沃斯高通滤波器，对64M帧图像特征信息进行提取。其中，具体的提取过程包括：将64M灰度图像进行傅里叶转换后，转换数据矩阵，对其傅里叶变换进行中心化，即将其坐标原点转移到频谱图中央位置；获取矩阵的行数和列数，设置截止频率，进行二阶巴特沃斯高通滤波器处理，获取坐标原点位置，并对最终得到的图像每一点的值进行处理，包括频域中点到频域平面的距离，并通过滤波器转移函数处理得到图像经过滤波器后的结果。
在优选的实施例中，所述判断当前拍摄场景的光线条件，具体为：
通过识别所述拍摄设备的当前曝光策略，判断曝光策略中的ISO值是否大于预设阈值；
若是，则判定当前拍摄场景的光线条件为第一光线条件，调用所述拍摄设备的第一镜头进行拍摄；
若否，则判定当前拍摄场景的光线条件为第二光线条件，调用所述拍摄设备的第二镜头进行拍摄。
具体的，对于不同的场景，都会有不同的曝光策略，即不同的曝光和增益(ISO)组合，夜景场景的ISO要比白天场景大，所以通过ISO可以区别当前拍摄场景为白天和夜景，从而调用对应的镜头进行视频的拍摄。
在优选的实施例中，所述基于图像融合技术的暗光视频优化方法，还包括：
在调用所述拍摄设备的第二镜头进行拍摄时，每隔预设固定帧数抓取一帧图乡帧作为参考帧，并调用第一镜头进行拍摄，以抓取一帧图像帧作为关键帧。
具体的，在第二镜头拍摄16M视频的时候，每隔几帧抓取参考帧，例如5帧(根据平台性能，视频帧率等因素进行调整)，开启64M镜头进行拍摄，抓取一帧图像作为关键帧，然后关闭64M镜头，继续使用16M镜头进行拍摄，如此反复直至视频拍摄完毕，在最后拼接时，将16M视频的每帧图像，和相邻的64M提取的边缘特征进行相加，提升每一帧16M图像的效果，最后将这些16M图像进行拼接，提升16M视频的效果。本实施例通过每隔合适的帧数抓取64M关键帧，再对关键帧进行边缘特征信息提取，最后与16M镜头拍摄的视频进行融合，从而提升16M视频的清晰度。
在优选的实施例中，所述预设固定帧数的调整方式为：
根据所述拍摄设备的平台性能和拍摄视频的帧率进行调整。
具体的，所述预设固定帧数根据所述拍摄设备的平台性能和拍摄视频的帧率进行调整，例如平台性能优或者视频帧率高，可以适当增加抓取的参考帧，这样合成的效果会更优，而在平台性能较差的时候，可以性能优先，即抓取比较少参考帧，以确保不会影响到拍照速度等性能。参考帧选择的频率，即抓取的数量，会影响到最后合成视频的效果质量。
在优选的实施例中，所述高通滤波器为Butterworth高通滤波器。
具体的，在本实例中采用巴特沃斯高通滤波器对边缘特征信息进行提取，在边缘特征信息提取后与原始图像进行融合叠加，从而增强细节表现。由于理想高通滤波器不可能完全通过电子元器件来实现，此外还存在振铃现象。所以在实际中最常用的高通滤波器是巴特沃斯高通滤波器(即Butterworth高通滤波器)。
在优选的实施例中，所述第一镜头和第二镜头均支持4in1合成功能。
具体的，在本实例中，第一镜头和第二镜头的像素并不固定，只需要满足第一镜头的像素比第二镜头的像素高即可。同时，所述第一镜头和第二镜头都必须支持4in1合成功能。
本实施例提供的一种基于图像融合技术的暗光视频优化方法，包括：在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
与现有技术相比，本实施例能够通过在暗光条件下使用低像素镜头进行拍摄，并与高像素镜头提取的边缘信息进行融合，在不增加拍摄功耗的前提下提升视频解析力和显示效果；在存储视频时，只需要存储低像素镜头拍摄的视频和高像素镜头提取的关键帧，播放视频时通过算法还原高清视频，节约了存储空间。
本发明第二实施例：
请参阅图3。
如图3所示，本实施例提供了一种基于图像融合技术的暗光视频优化装置，包括：
光线判断模块100，用于在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；
具体的，对于光线判断模块100，在用户需要拍摄视频时，拍摄设备接收用户发送的视频拍摄指令，拍摄设备判断当前拍摄场景的光线条件，从而调用对应的摄像镜头进行视频的拍摄。
拍摄模块200，用于若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；
具体的，对于拍摄模块200，若判断当前拍摄场景的光线条件满足第一条件时，即判定当前拍摄场景为白天或者光线充足的场景，则采用高像素镜头(例如64M镜头)进行拍摄，并保存对应的第一图像。光线充足情况下，很小的pixel size就能接收足够的光源能量来保证图像视频的亮度，所以为了输出高分辨率高质量的图像视频，并不需要启用大pixelsize模式进行拍摄。
若判断当前拍摄场景的光线条件满足第二条件时，即判定当前拍摄场景为夜景或者光线不足的情况下，切换低像素镜头(例如16M镜头)进行拍摄，此时使用的pixel size比较大，能够有很好的感光能力，对于夜景拍摄视频的亮度和噪声有很大的改善。
视频优化模块300，用于在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
具体的，对于视频优化模块300，拍摄完毕后启动算法，将拍摄的64M图像经过高通滤波器，提取其中的边缘特征信息，与拍摄出来的16M视频中相邻帧进行融合叠加，从而提升16M镜头拍摄出来的视频效果。
在优选的实施例中，所述视频优化模块300，具体为：
读取所述第一图像中的每一图像帧并转换为灰度图像；
采用高通滤波器对所述第一图像中的每一图像帧进行图像特征信息提取，提取得到对应的边缘特征信息；
将所述第一图像中的边缘特征信息与对应的所述第二图像中的每一相邻的图像帧进行融合叠加处理；
在所述第二图像中的每一帧图像帧均完成融合叠加处理后进行图像拼接，拼接得到暗光优化视频。
具体的，首先将第一镜头拍摄的64M图像帧转换为灰度图像，采用巴特沃斯高通滤波器，对64M帧图像特征信息进行提取，将第二镜头拍摄的16M帧图像和步骤S42获取的边缘特征信息进行融合，提升每一帧16M图像的细节丰富度，最后,存储16M视频和64M关键帧，视频播放的时候,将64M镜头拍摄的视频和16M处理后的视频进行拼接，从而最终提升整个视频的清晰度噪声质量。
在实际的实施例中，首先读取64M图像帧，并将64M图像帧转换为灰度图像，采用巴特沃斯高通滤波器，对64M帧图像特征信息进行提取。其中，具体的提取过程包括：将64M灰度图像进行傅里叶转换后，转换数据矩阵，对其傅里叶变换进行中心化，即将其坐标原点转移到频谱图中央位置；获取矩阵的行数和列数，设置截止频率，进行二阶巴特沃斯高通滤波器处理，获取坐标原点位置，并对最终得到的图像每一点的值进行处理，包括频域中点到频域平面的距离，并通过滤波器转移函数处理得到图像经过滤波器后的结果。
本实施例提供的一种基于图像融合技术的暗光视频优化装置，包括：光线判断模块，用于在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；拍摄模块，用于若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；视频优化模块，用于在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
本实施例能够通过在暗光条件下使用低像素镜头进行拍摄，并与高像素镜头提取的边缘信息进行融合，在不增加拍摄功耗的前提下提升视频解析力和显示效果；在存储视频时，只需要存储低像素镜头拍摄的视频和高像素镜头提取的关键帧，播放视频时通过算法还原高清视频，同时节约了存储空间。
本发明的一个实施例还提供了一种基于图像融合技术的暗光视频优化的终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于图像融合技术的暗光视频优化方法。
本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的基于图像融合技术的暗光视频优化方法。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (10)

1.一种基于图像融合技术的暗光视频优化方法，其特征在于，至少包括如下步骤：
在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；
若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；
若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；
在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
2.根据权利要求1所述的基于图像融合技术的暗光视频优化方法，其特征在于，所述启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，具体为：
读取所述第一图像中的每一图像帧并转换为灰度图像；
采用高通滤波器对所述第一图像中的每一图像帧进行图像特征信息提取，提取得到对应的边缘特征信息；
将所述第一图像中的边缘特征信息与对应的所述第二图像中的每一相邻的图像帧进行融合叠加处理；
在所述第二图像中的每一帧图像帧均完成融合叠加处理后进行图像拼接，拼接得到暗光优化视频。
3.根据权利要求1所述的基于图像融合技术的暗光视频优化方法，其特征在于，所述通过拍摄设备判断当前拍摄场景的光线条件，具体为：
通过识别所述拍摄设备的当前曝光策略，判断曝光策略中的ISO值是否大于预设阈值；
若是，则判定当前拍摄场景的光线条件为第一光线条件，调用所述拍摄设备的第一镜头进行拍摄；
若否，则判定当前拍摄场景的光线条件为第二光线条件，调用所述拍摄设备的第二镜头进行拍摄。
4.根据权利要求1所述的基于图像融合技术的暗光视频优化方法，其特征在于，还包括：
在调用所述拍摄设备的第二镜头进行拍摄时，每隔预设固定帧数抓取一帧图乡帧作为参考帧，并调用第一镜头进行拍摄，以抓取一帧图像帧作为关键帧。
5.根据权利要求4所述的基于图像融合技术的暗光视频优化方法，其特征在于，所述预设固定帧数的调整方式为：
根据所述拍摄设备的平台性能和拍摄视频的帧率进行调整。
6.根据权利要求1所述的基于图像融合技术的暗光视频优化方法，其特征在于，所述高通滤波器为Butterworth高通滤波器。
7.根据权利要求1所述的基于图像融合技术的暗光视频优化方法，其特征在于，所述第一镜头和第二镜头均支持4in1合成功能。
8.一种基于图像融合技术的暗光视频优化装置，其特征在于，包括：
光线判断模块，用于在拍摄设备接收视频拍摄指令后，通过拍摄设备判断当前拍摄场景的光线条件；
拍摄模块，用于若判断当前拍摄场景的光线条件满足第一条件时，则调用所述拍摄设备的第一镜头进行拍摄，并保存对应的第一图像；若判断当前拍摄场景的光线条件满足第二条件时，则调用所述拍摄设备的第二镜头进行拍摄，并保存对应的第二图像；
视频优化模块，用于在完成拍摄后，启动预设算法将所述第一镜头拍摄的第一图像与所述第二镜头拍摄的第二图像进行图像融合叠加处理，得到暗光优化视频。
9.一种基于图像融合技术的暗光视频优化的终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于图像融合技术的暗光视频优化方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的基于图像融合技术的暗光视频优化方法。
CN202010881763.7A 2020-08-27 2020-08-27 一种基于图像融合技术的暗光视频优化方法及装置 Active CN112118394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010881763.7A CN112118394B (zh) 2020-08-27 2020-08-27 一种基于图像融合技术的暗光视频优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010881763.7A CN112118394B (zh) 2020-08-27 2020-08-27 一种基于图像融合技术的暗光视频优化方法及装置

Publications (2)

Publication Number Publication Date
CN112118394A true CN112118394A (zh) 2020-12-22
CN112118394B CN112118394B (zh) 2022-02-11

Family

ID=73803932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010881763.7A Active CN112118394B (zh) 2020-08-27 2020-08-27 一种基于图像融合技术的暗光视频优化方法及装置

Country Status (1)

Country Link
CN (1) CN112118394B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079325A (zh) * 2021-03-18 2021-07-06 北京拙河科技有限公司 暗光条件下的十亿级像素成像方法、装置、介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010566A (ja) * 2007-06-27 2009-01-15 Yamaguchi Univ 写真画像のダイナミックレンジを拡大する方法及び撮像装置
CN103164855A (zh) * 2013-02-26 2013-06-19 清华大学深圳研究生院 一种结合反射光照的贝叶斯决策前景提取方法
CN106851119A (zh) * 2017-04-05 2017-06-13 奇酷互联网络科技（深圳）有限公司 一种图片生成的方法和设备以及移动终端
CN107770438A (zh) * 2017-09-27 2018-03-06 维沃移动通信有限公司 一种拍照方法及移动终端
US20180069996A1 (en) * 2016-09-08 2018-03-08 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN108391035A (zh) * 2018-03-26 2018-08-10 华为技术有限公司 一种拍摄方法、装置与设备
CN108737728A (zh) * 2018-05-03 2018-11-02 Oppo广东移动通信有限公司 一种图像拍摄方法、终端及计算机存储介质
US20190304075A1 (en) * 2016-07-22 2019-10-03 Sony Corporation Image processing apparatus and image processing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010566A (ja) * 2007-06-27 2009-01-15 Yamaguchi Univ 写真画像のダイナミックレンジを拡大する方法及び撮像装置
CN103164855A (zh) * 2013-02-26 2013-06-19 清华大学深圳研究生院 一种结合反射光照的贝叶斯决策前景提取方法
US20190304075A1 (en) * 2016-07-22 2019-10-03 Sony Corporation Image processing apparatus and image processing method
US20180069996A1 (en) * 2016-09-08 2018-03-08 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN106851119A (zh) * 2017-04-05 2017-06-13 奇酷互联网络科技（深圳）有限公司 一种图片生成的方法和设备以及移动终端
CN107770438A (zh) * 2017-09-27 2018-03-06 维沃移动通信有限公司 一种拍照方法及移动终端
CN108391035A (zh) * 2018-03-26 2018-08-10 华为技术有限公司 一种拍摄方法、装置与设备
CN108737728A (zh) * 2018-05-03 2018-11-02 Oppo广东移动通信有限公司 一种图像拍摄方法、终端及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079325A (zh) * 2021-03-18 2021-07-06 北京拙河科技有限公司 暗光条件下的十亿级像素成像方法、装置、介质及设备
CN113079325B (zh) * 2021-03-18 2023-01-06 北京拙河科技有限公司 暗光条件下的十亿级像素成像方法、装置、介质及设备

Also Published As

Publication number Publication date
CN112118394B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
Chen et al. Seeing motion in the dark
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN107948500A (zh) 图像处理方法和装置
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
CN110198417A (zh) 图像处理方法、装置、存储介质及电子设备
CN105493493B (zh) 摄像装置、摄像方法及图像处理装置
CN113850367B (zh) 网络模型的训练方法、图像处理方法及其相关设备
CN113992850B (zh) 基于isp的图像处理方法及装置、存储介质和摄像设备
US9826171B2 (en) Apparatus and method for reconstructing high dynamic range video
CN115086567B (zh) 延时摄影方法和装置
WO2023202200A1 (zh) 一种重建hdr图像的方法、终端及电子设备
CN113259594A (zh) 图像处理方法及装置、计算机可读存储介质、终端
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
CN115115516A (zh) 基于Raw域的真实世界视频超分辨率算法
CN112118394B (zh) 一种基于图像融合技术的暗光视频优化方法及装置
CN110706162A (zh) 一种图像处理方法、装置及计算机存储介质
US10769416B2 (en) Image processing method, electronic device and storage medium
CN108401109B (zh) 图像获取方法、装置、存储介质及电子设备
CN108600631A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US20090324127A1 (en) Method and System for Automatic Red-Eye Correction
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备
CN105282428B (zh) 一种移动终端拍摄的方法及移动终端
CN116055895A (zh) 图像处理方法及其相关设备
CN113992859A (zh) 一种画质提升方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant