CN117689559A - 一种图像融合方法、装置、电子设备及存储介质 - Google Patents
一种图像融合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117689559A CN117689559A CN202310987708.XA CN202310987708A CN117689559A CN 117689559 A CN117689559 A CN 117689559A CN 202310987708 A CN202310987708 A CN 202310987708A CN 117689559 A CN117689559 A CN 117689559A
- Authority
- CN
- China
- Prior art keywords
- frame
- target
- frame selection
- selection strategy
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 230000007613 environmental effect Effects 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 15
- 238000007726 management method Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000002411 adverse Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000007499 fusion processing Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请提供了一种图像融合方法、装置、电子设备及存储介质，涉及图像处理技术领域，包括：获取拍摄场景的目标环境信息，以及获取所述拍摄场景的多帧抓拍图像；在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略；基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像；对各所述目标图像进行融合，得到融合图像。本申请实施例改善了抓拍图像的质量。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、电子设备及存储介质。
背景技术
图像抓拍大多应用于动态场景，目前常用的实现方式多为采集短时间内的多帧图像，在多帧图像中选取拍摄效果较好的几帧作为抓拍结果。在所采集的多帧图像中选取抓拍结果的过程即为图像选帧。相关技术中，当拍摄场景所处的环境不利于拍摄时(尤其是较为极端的环境)，抓拍图像的质量往往不尽如人意。
发明内容
本申请实施例的目的在于提供一种图像融合方法、装置、电子设备及存储介质，以实现改善抓拍图像的质量。具体技术方案如下：
第一方面，本申请实施例提供了一种图像融合方法，所述方法包括：
获取拍摄场景的目标环境信息，以及获取所述拍摄场景的多帧抓拍图像；
在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略；
基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像；
对各所述目标图像进行融合，得到融合图像。
本申请的一个实施例中，所述目标环境信息包括环境亮度；各所述选帧策略各自对应不同的环境亮度区间；
所述在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略，包括：
按照预先确定的环境亮度区间与选帧策略的对应关系，确定与所述目标环境信息对应的目标选帧策略。
本申请的一个实施例中，所述预设的多个选帧策略包括一般选帧策略、去banding选帧策略以及帧融合选帧策略，所述一般选帧策略对应第一环境亮度区间，所述去banding选帧策略对应第二环境亮度区间、所述帧融合选帧策略对应第三环境亮度区间；其中，所述第一环境亮度区间的亮度值高于所述第二环境亮度区间的亮度值，所述第二环境亮度区间的亮度值高于所述第三环境亮度区间的亮度值。
本申请的一个实施例中，所述目标环境信息包括环境温度及环境亮度；
所述在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略，包括：
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第一环境亮度区间的情况下，确定目标选帧策略为所述一般选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第二环境亮度区间的情况下，确定目标选帧策略为所述去banding选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第三环境亮度区间的情况下，确定目标选帧策略为所述帧融合选帧策略。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述一般选帧策略的情况下，从所述多帧抓拍图像中选取第一数量的正常曝光帧得到多个目标图像。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述去banding选帧策略的情况下，从所述多帧抓拍图像中选取第二数量的正常曝光帧及第三数量的短曝光帧，得到多个目标图像，其中，所述第三数量大于所述第二数量。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述帧融合选帧策略的情况下，从所述多帧抓拍图像中选取第四数量的正常曝光帧及第四数量的短曝光帧，得到多个目标图像。
第二方面，本申请实施例提供了一种图像融合装置，所述装置包括：
环境信息获取模块，用于获取拍摄场景的目标环境信息，以及获取所述拍摄场景的多帧抓拍图像；
选帧策略确定模块，用于在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略；
图像选取模块，用于基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像；
图像融合模块，用于对各所述目标图像进行融合，得到融合图像。
本申请的一个实施例中，所述目标环境信息包括环境亮度；各所述选帧策略各自对应不同的环境亮度区间；
所述选帧策略确定模块，具体用于：
按照预先确定的环境亮度区间与选帧策略的对应关系，确定与所述目标环境信息对应的目标选帧策略。
本申请的一个实施例中，所述预设的多个选帧策略包括一般选帧策略、去banding选帧策略以及帧融合选帧策略，所述一般选帧策略对应第一环境亮度区间，所述去banding选帧策略对应第二环境亮度区间、所述帧融合选帧策略对应第三环境亮度区间；其中，所述第一环境亮度区间的亮度值高于所述第二环境亮度区间的亮度值，所述第二环境亮度区间的亮度值高于所述第三环境亮度区间的亮度值。
本申请的一个实施例中，所述目标环境信息包括环境温度及环境亮度；
所述选帧策略确定模块，具体用于：
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第一环境亮度区间的情况下，确定目标选帧策略为所述一般选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第二环境亮度区间的情况下，确定目标选帧策略为所述去banding选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第三环境亮度区间的情况下，确定目标选帧策略为所述帧融合选帧策略。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块，具体用于：
在所述目标选帧策略为所述一般选帧策略的情况下，从所述多帧抓拍图像中选取第一数量的正常曝光帧得到多个目标图像。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块，具体用于：
在所述目标选帧策略为所述去banding选帧策略的情况下，从所述多帧抓拍图像中选取第二数量的正常曝光帧及第三数量的短曝光帧，得到多个目标图像，其中，所述第三数量大于所述第二数量。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块，具体用于：
在所述目标选帧策略为所述帧融合选帧策略的情况下，从所述多帧抓拍图像中选取第四数量的正常曝光帧及第四数量的短曝光帧，得到多个目标图像。
第三方面，本申请实施例提供了一种电子设备，包括：
一个或多个处理器和存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如上述任一项所述的图像融合方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如上述任意一项所述的图像融合方法。
本申请实施例有益效果：
本申请实施例提供的图像融合方法，获取拍摄场景的目标环境信息，以及获取拍摄场景的多帧抓拍图像，在预设的多个选帧策略中，确定与目标环境信息对应的目标选帧策略，基于目标选帧策略在各抓拍图像中选取多个目标图像，对各目标图像进行融合，得到融合图像。针对于不同环境的拍摄场景，以不同的选帧策略选取多帧图像进行融合，将所得到的融合图像作为抓拍图像结果，降低了环境不同(尤其是不利于拍照的环境)给抓拍图像带来的不良影响，有效地改善了抓拍图像的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1-1为本申请实施例提供的一种相关技术中抓拍图像的方法流程示例图；
图1-2A为本申请实施例提供的一种图像融合方法的应用场景示例的系统桌面图；
图1-2B为本申请实施例提供的第一种图像融合方法的应用场景示例的预览图；
图1-2C为本申请实施例提供的第二种图像融合方法的应用场景示例的预览图；
图2为本申请实施例提供的电子设备的第一种结构示意图；
图3为本申请实施例提供的电子设备的第二种结构示意图；
图4为本申请实施例提供的电子设备的一种软件结构框图；
图5为本申请实施例提供的一种图像融合方法的流程示意图；
图6为本申请实施例提供的步骤S102的一种可能的实现方式；
图7-1为本申请实施例提供的一种图像融合方法的应用示例图；
图7-2A为本申请实施例提供的一种相关技术中高动态场景下的抓拍图像；
图7-2B为本申请实施例提供的一种图像融合方法在高动态场景下的应用示例图；
图7-3A为本申请实施例提供的一种相关技术中banding场景下的抓拍图像；
图7-3B为本申请实施例提供的一种图像融合方法在banding场景下的应用示例图；
图8为本申请实施例提供的一种图像融合装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，抓拍图像的流程如图1-1所示，，感知引擎通过决策拍照算法来检测是否满足抓拍条件，在满足抓拍条件时，感知引擎输出信息给选帧算法管理模块，选帧算法管理模块基于该信息给选帧算法实现模块下发选帧任务，选帧算法实现模块基于现有选帧算法实现该选帧任务，从TBM(待定)区域选取多帧图像，拍照算法对选取的图像帧进行融合，并将融合图像发送给SITAdapter(Super Image Turbo Adapter，强大的图像处理系统适配层)，由SITAdapter将融合图像发送给HwCfgServer(一种节点服务)，由HwCfgServer将融合图像发送到架构层，并最终发送到应用层；应用层的GalleryAPP(一种图片管理应用)对融合图像进行存储及展示等处理，从而完成图像抓拍。其中，TBM(Target BufferManager，目标buffer管理模块)中包括待使用的图像帧，N帧是指正常曝光帧，S帧是指短曝光帧，SIT(Super Image Turbo)表示强大的图像处理系统。
但当拍摄场景所处的环境不利于拍摄时(尤其是亮度较为极端的环境时)，N帧图像也存在一定的问题，直接选取N帧作为抓拍图像结果，所得到的抓拍图像的质量往往不尽如人意，例如当拍摄场景为Banding(传感器捕捉到闪烁而在图像上形成的条带的现象)场景、高动态场景等，抓拍图像容易出现色带图案覆盖、像素模糊等问题。
有鉴于此，为了解决这个问题，本申请实施例提供了一种图像融合方法、装置、电子设备及存储介质。
本申请实施例的所提供的图像融合方法可以应用于任一具备图像抓拍、图像处理等能力的电子设备中，电子设备可以为具有显示屏硬件以及相应软件支持的电子设备。例如，电子设备可以为智能数码相机、手机、平板电脑、智能眼镜、智能监控摄像头、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、家居设备等设备，本申请对电子设备的具体类型不作任何限制。
在一种可能的实施例中，为了更清楚地对本申请实施例提供的电子设备进行说明，下面将对本申请实施例提供的电子设备的一种可能的应用场景进行示例性的说明。可以理解的是，以下示例仅是本申请实施例提供的电子设备的一种可能的应用场景，在其他可能的实施例中，本申请实施例提供的电子设备也可以应用于其他可能的应用场景中，以下示例对此不做任何限制。
本申请实施例提供的图像融合方法适用于任意抓拍图像的应用场景，例如，在户外抓拍风景图像、在室内抓拍人物图像、对场景内的物品进行抓拍等。尤其适用于对所处环境不利于抓拍的拍摄场景进行抓拍的应用场景，例如，高动态场景(指亮暗差异较大的场景)下抓拍动态的车辆、运动员、动物等；也例如banding场景，即曝光时间与光源周期不匹配、易产生条纹问题，如在频闪光源场景下的拍摄场景抓拍物体。
本申请的一个实施例中，提供了一种图像融合方法的应用场景示例，如图1-2A至图1-2C所示。示例性的，结合电子设备上提供的用户交互(user interface，UI)界面描述。图1-2A示出了本申请实施例涉及的系统桌面111，图1-2B示出了本申请实施例提供的预览界面，用户可以在此选择开启“鹰眼精彩抓拍”功能。响应于用户操作，电子设备可以显示图1-2C所示的预览界面，在此预览界面中，“鹰眼精彩抓拍”选项112已切换显示形式，例如颜色加深显示，以提示电子设备的“鹰眼精彩抓拍”功能已开启。在“鹰眼精彩抓拍”功能开启的情况下，用户操作电子设备对拍摄场景进行抓拍。响应于用户的抓拍操作，电子设备基于本申请提供的图像融合方法得到拍摄场景的抓拍图像。示例性的，用户的抓拍操作可以是点击图1-2C的预览界面中的拍摄键，也可以是在预先开启电子设备的“自动抓拍”功能的情况下，能够让电子设备检测到抓拍意图的动作，例如，将摄像头对准拍摄场景(如运动中的人)。
应理解，上述为对场景的举例说明，并不对本申请的场景作任何限定。
下面将结合附图对本申请实施例的实施方式进行详细描述。
首先，在本申请实施例的第一方面，提供一种电子设备，如图2所示，包括:
存储器201，用于存放计算机程序；
处理器202，用于执行存储器201上所存放的程序时，实现如下步骤：
获取拍摄场景的目标环境信息，以及获取所述拍摄场景的多帧抓拍图像；
在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略；
基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像；
对各所述目标图像进行融合，得到融合图像。
并且上述电子设备还可以包括通信总线和/或通信接口，处理器202、通信接口、存储器201通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
为了便于说明，以电子设备为手机为例进行示意。
如图3所示，在一些实施例中，电子设备300可以包括处理器301和通信模块302等。
其中，处理器301与图2中处理器202相同，可以包括一个或多个处理单元，例如：处理器301可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频流编解码器，数字信号处理器，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器301中。
控制器可以是电子设备300的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器301中还可以设置存储器，用于存储指令和数据。
在一些实施例中，处理器301中的存储器为高速缓冲存储器。该存储器可以保存处理器301刚用过或循环使用的指令或数据。如果处理器301需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器301的等待时间，因而提高了系统的效率。
在一些实施例中，处理器301可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
通信模块302可以包括天线1，天线2，移动通信模块，和/或无线通信模块。
如图3所示，在一些实施例中，电子设备300还可以包括外部存储器接口305、内部存储器304，USB接口306、充电管理模块307、电源管理模块308、电池309、和传感器模块303等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备300的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
充电管理模块307用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
在一些有线充电的实施例中，充电管理模块307可以通过USB接口306接收有线充电器的充电输入。
在一些无线充电的实施例中，充电管理模块307可以通过电子设备300的无线充电线圈接收无线充电输入。充电管理模块307为电池309充电的同时，还可以通过电源管理模块308为电子设备300供电。
电源管理模块308用于连接电池309，充电管理模块307与处理器301。电源管理模块308接收电池309和/或充电管理模块307的输入，为处理器301，内部存储器304，外部存储器，和通信模块302等供电。电源管理模块308还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。
在其他一些实施例中，电源管理模块308也可以设置于处理器301中。
在另一些实施例中，电源管理模块308和充电管理模块307也可以设置于同一个器件中。
外部存储器接口305可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备300的存储能力。外部存储卡通过外部存储器接口305与处理器301通信，实现数据存储功能。例如将音乐，视频流等文件保存在外部存储卡中。
内部存储器304可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器301通过运行存储在内部存储器304的指令，从而执行电子设备300的各种功能应用以及数据处理。内部存储器304可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备300使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器304可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
电子设备300中的传感器模块303可以包括图像传感器、触摸传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、环境光传感器、指纹传感器、温度传感器、骨传导传感器等部件，以实现对于不同信号的感应和/或获取功能。
可选地，电子设备300还可以包括外设设备，例如鼠标、按键、指示灯、键盘、扬声器、麦克风等。
按键包括开机键，音量键等。按键可以是机械按键。也可以是触摸式按键。电子设备300可以接收按键输入，产生与电子设备300的用户设置以及功能控制有关的键信号输入。
指示器可以是指示灯，可以用于指示充电状态和电量变化，也可以用于指示消息、未接来电、和通知等。
可以理解的是，本实施例示意的结构并不构成对电子设备300的具体限定。
在另一些实施例中，电子设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
在电子设备中，其软件系统可以分成若干层，如图4所示，图4为本申请实施例提供的电子设备的一种软件结构框图，分层架构将系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为五层，从上至下分别为应用程序层，应用框架层(framework)、硬件抽象层(hardware abstract layer，HAL)、驱动层以及硬件层。其中：
应用程序层(application)可以包括一系列应用程序包。例如，应用程序包可以包括相机应用，以及图库、通话等应用程序。相机应用可包括但不限于：UI模块、拍照模块、存图模块等等。其中，UI模块可以是本文其他实施例中提及的相机UI模块，主要可负责相机应用的人机交互，检测及响应预览界面中发生的用户操作。拍照模块可包括普通拍照模块及抓拍模块，以提供普通拍照功能、抓拍功能等。存图模块可用于将用户拍摄的图像存储在电子设备的文件系统或特定数据库中，以供图库等应用调取。
应用框架层(framework)可主要涉及相机框架，可包括相机管理和相机设备等相机访问接口，起到呈上启下的作用，可通过应用编程接口(applicationprograminterface，API)上与相机应用交互，可通过HAL接口定义语言(HAL interfacedefinition language，HIDL)下与HAL交互。
硬件抽象层(HAL)是位于应用框架层以及驱动层之间的接口层，为操作系统提供虚拟硬件平台。HAL可以包括感知引擎、选帧算法模块、图形服务器及调度器。感知引擎中包括决策拍照算法；选帧算法模块包括选帧算法管理模块、选帧算法实现模块、去Banding选帧算法实现、一般选帧算法实现、帧融合选帧算法实现等。
驱动层为硬件和软件之间的层。驱动层包括各种硬件的驱动。驱动层可以包括摄像头驱动、数字信号处理器驱动以及图像处理器驱动等。其中，摄像头驱动用于驱动摄像头模组中的一个或多个摄像头的图像传感器采集图像以及驱动图像信号处理器对图像进行预处理。数字信号处理器驱动用于驱动数字信号处理器处理图像。图像处理器驱动用于驱动图形处理器处理图像。
硬件层可以包括摄像头模组、图像信号处理器、数字信号处理器、图像处理器。摄像头模组中可以包括一个或多个摄像头的图像传感器(例如，图像传感器1、图像传感器2，等等)。可选的，摄像头模组中还可以包括飞行时间(time of flight，TOF)传感器、多光谱传感器，等等。
为了改善抓拍图像的质量，本申请实施例的第二方面，如图5所示，图5为本申请实施例提供的第一种图像融合方法的流程示意图，包括：
步骤S101，获取拍摄场景的目标环境信息，以及获取所述拍摄场景的多帧抓拍图像。
拍摄场景为待抓拍图像的场景，具体的，场景中可以包括待抓拍的人、物、风景等。拍摄场景的环境信息指场景所处环境的具体情况，示例性的，环境信息可以表示拍摄场景当前光线(拍摄曝光)正常与否、拍摄场景是静态场景还是动态场景、拍摄场景的温度信息等。
在抓拍的过程中，首先获取针对于拍摄场景的多帧抓拍图像，这些抓拍图像的拍摄效果及质量不一，存在质量较好和较差的多帧图像，示例性的，多帧抓拍图像中存在多帧正常曝光帧(N帧)的图像，以及多帧短曝光帧(S帧)的图像。
步骤S102，在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略。
针对于不同的环境信息，预先设定多个不同的选帧策略与之对应。可以理解的是，在不同的环境信息下，对符合需求的图像的选取准则是不同的，例如，在光线较差的环境下，需要选取曝光较长的图像；在光线较强的环境下，则需选取曝光较短的图像。
不同的选帧策略表示能够对应不同的环境信息，基于不同的准则来选取最适宜的符合需求的图像。
在得到拍摄场景的目标环境信息之后，在多个选帧策略中确定与目标环境信息对应的目标选帧策略。
步骤S103，基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像。
基于目标选帧策略在各抓拍图像中选取多个目标图像。所选取的目标图像符合拍摄场景的环境信息的需求。
步骤S104，对各所述目标图像进行融合，得到融合图像。
在得到多帧目标图像之后，对各目标图像进行融合，得到抓拍结果，即融合图像。
本申请实施例提供的图像融合方法，获取拍摄场景的目标环境信息，以及获取拍摄场景的多帧抓拍图像，在预设的多个选帧策略中，确定与目标环境信息对应的目标选帧策略，基于目标选帧策略在各抓拍图像中选取多个目标图像，对各目标图像进行融合，得到融合图像。针对于不同环境的拍摄场景，以不同的选帧策略选取多帧图像进行融合，将所得到的融合图像作为抓拍图像结果，降低了环境不同(尤其是不利于拍照的环境)给抓拍图像带来的不良影响，有效地改善了抓拍图像的质量。
本申请的一个实施例中，所述目标环境信息包括环境亮度；各所述选帧策略各自对应不同的环境亮度区间；
所述在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略，包括：
按照预先确定的环境亮度区间与选帧策略的对应关系，确定与所述目标环境信息对应的目标选帧策略。
针对于环境亮度不同的场景，选帧策略选取图像的基准不同，例如，在环境亮度较低的场景下，选取图像的基准为曝光较长；在环境亮度较低的场景下，选取图像的基准为曝光较短。
预先设定的多个选帧策略分别对应多个不同的环境亮度区间，按照选帧策略与环境亮度区间的对应关系，确定目标环境亮度所在的环境亮度区间对应的选帧策略，得到目标选帧策略。
本申请的一个实施例中，预设的多个选帧策略包括一般选帧策略、去banding选帧策略以及帧融合选帧策略，所述一般选帧策略对应第一环境亮度区间，所述去banding选帧策略对应第二环境亮度区间、所述帧融合选帧策略对应第三环境亮度区间；其中，所述第一环境亮度区间的亮度值高于所述第二环境亮度区间的亮度值，所述第二环境亮度区间的亮度值高于所述第三环境亮度区间的亮度值。
一般选帧策略指对多帧抓拍图像进行较为简单地选取，示例性的，在正常曝光帧中随机选取几帧作为目标图像即可。因此，一般选帧策略对应的环境信息较为适宜，或有利于拍摄，即该环境信息不会对图像拍摄尤其是抓拍的效果及质量带来不利影响，例如，环境亮度适宜的静态场景。故而一般选帧策略对应的第一环境亮度区间的亮度值高于第二环境亮度区间的亮度值以及第三环境亮度区间的亮度值。示例性的，第一环境亮度区间可以为亮度值超过200的亮度区间。
去banding选帧策略指选取能够达成去banding目的的帧作为目标图像进行后续处理，具体的，去banding选帧策略为对应banding场景的选帧策略，banding场景例如由于曝光时间与光源周期不匹配导致抓拍图像中存在色带异常的场景，如在频闪光源场景下的拍摄场景抓拍物体。去banding选帧策略表示为在易出现色带异常情况的环境信息下抓拍得到的图像进行去banding处理，所以去banding选帧策略对应的第二环境亮度区间为易出现banding场景的亮度值，示例性的，第二环境亮度区间可以为亮度值为50-200的区间。
帧融合选帧策略指选取能够帧融合的几帧相互对应的帧图像作为目标图像进行后续处理，具体的，帧融合选帧策略为对应高动态场景的选帧策略，例如在高动态场景下拍摄高速运动的场景，如拍摄行驶中的车辆、运动中的人或物体等。帧融合选帧策略表示为在环境信息为高动态的场景下抓拍的图像进行长短帧融合处理，所以帧融合选帧策略对应的第三环境亮度区间为高动态场景下常见的亮度值，示例性的，第三环境亮度区间可以为亮度值为低于50的区间。
本申请实施例提供的图像融合方法，针对于不同的环境亮度，预先设定一般选帧策略、去banding选帧策略及帧融合选帧策略，根据拍摄场景的环境亮度在其中进行选取最适宜的选帧策略，基于此选帧策略得到的目标图像能够降低banding场景、高动态场景等不利于拍摄的场景给抓拍图像带来的不良影响，有针对性地改善了抓拍的效果和图像的质量。
本申请的一个实施例中，所述目标环境信息包括环境温度及环境亮度；如图6所示，上述步骤S102在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略，包括：
步骤S201，在环境温度处于预设温度阈值之下、且所述环境亮度处于第一环境亮度区间的情况下，确定目标选帧策略为所述一般选帧策略；
步骤S202，在环境温度处于预设温度阈值之下、且环境亮度处于第二环境亮度区间的情况下，确定目标选帧策略为所述去banding选帧策略；
步骤S203，在环境温度处于预设温度阈值之下、且环境亮度处于第三环境亮度区间的情况下，确定目标选帧策略为所述帧融合选帧策略。
能够对抓拍效果及图像质量造成影响的除环境亮度之外，还有环境温度，所以环境信息包括环境亮度及环境温度。预先将影响较明显的温度数值作为预设温度阈值，将预设温度阈值与环境亮度区间一同作为选帧策略选取的依据。
示例性的，预设温度阈值为42℃，第一环境亮度区间为亮度值在200以上，第二环境亮度区间为亮度值在50-200之间，第三环境亮度区间为亮度值在50以下。在环境温度处于42℃之下、且环境亮度为亮度值在200以上的情况下，基于一般选帧策略在多帧抓拍图像中选取目标图像；在环境温度处于42℃之下、且环境亮度为亮度值在50-200之间的情况下，基于去banding选帧策略在多帧抓拍图像中选取目标图像；在环境温度处于42℃之下、且环境亮度为亮度值在50以下的情况下，基于帧融合选帧策略在多帧抓拍图像中选取目标图像。
本申请实施例提供的图像融合方法，预先设定环境亮度区间和预设温度阈值，在不同的环境亮度及环境温度的情况下，选取一般选帧策略或去banding选帧策略或帧融合选帧策略作为目标选帧策略，基于此选帧策略得到的目标图像能够降低banding场景、高动态场景等不利于拍摄的场景给抓拍图像带来的不良影响，有针对性地改善了抓拍的效果和图像的质量。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；上述步骤S103基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述一般选帧策略的情况下，从所述多帧抓拍图像中选取第一数量的正常曝光帧得到多个目标图像。
在目标选帧策略为一般选帧策略的情况下，表示当前拍摄场景的环境较为适宜，从多帧抓拍图像中随机选取几帧正常曝光帧，示例性的，在正常曝光帧中随机选取四帧图像，得到目标图像。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；上述步骤S103基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述去banding选帧策略的情况下，从所述多帧抓拍图像中选取第二数量的正常曝光帧及第三数量的短曝光帧，得到多个目标图像，其中，所述第三数量大于所述第二数量。
在目标选帧策略为去banding选帧策略的情况下，表示当前拍摄场景为banding场景，从多帧抓拍图像中选取多帧正常曝光帧和短曝光帧，且短曝光帧的数量多于正常曝光帧，得到目标图像，从而在后续的融合过程中使得多张短曝光帧能够弥补正常曝光帧存在的banding问题。示例性的，从ZSL队列(TBM中能够获取的待使用的图像帧队列)中选取一帧正常曝光帧和四帧短曝光帧作为目标图像进行后续处理。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；上述步骤S103基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述帧融合选帧策略的情况下。
从所述多帧抓拍图像中选取第四数量的正常曝光帧及第四数量的短曝光帧，得到多个目标图像。
在目标选帧策略为帧融合选帧策略的情况下，表示当前拍摄场景为高动态场景，从多帧抓拍图像中选取数量相同的多帧正常曝光帧和短曝光帧得到目标图像，从而在后续的融合过程中进行长短帧融合处理，以弥补高动态场景下抓拍图像存在的信息缺失问题。示例性的，从ZSL队列中选取两帧正常曝光帧和两帧短曝光帧作为目标图像进行后续处理。
本申请实施例提供的图像融合方法，在目标选帧策略不同的情况下，选取数量不同的正常曝光帧和短曝光帧，来降低不同的环境信息给抓拍带来的不利影响，尤其是降低banding场景、高动态场景等不利于拍摄的场景给抓拍图像带来的不良影响，有针对性地改善了抓拍的效果和图像的质量。
本申请的一个实施例中，提供了一种图像融合方法的流程示例图，如图7-1所示。在鹰眼抓拍场景开启自动抓拍开关的情况下，感知引擎中的决策拍照算法模块对环境信息进行感知，决策得到环境亮度和环境温度，并将环境信息传输给选帧算法管理模块。选帧算法管理模块根据环境信息选取目标选帧策略，当温度在42℃之下、环境亮度在50-200时，选取去banding选帧策略作为目标选帧策略，选帧算法实现模块基于去banding选帧算法实现从ZSL队列中选取一帧正常曝光帧和四帧短曝光帧作为目标图像；当温度在42℃之下、环境亮度在50以下时，选取帧融合选帧策略作为目标选帧策略，选帧算法实现模块基于帧融合选帧算法实现从ZSL队列中选取两帧正常曝光帧和两帧短曝光帧作为目标图像；当温度在42℃之下、环境亮度在200以上时，选取一般选帧策略作为目标选帧策略，选帧算法实现模块基于一般选帧算法实现选取四帧正常曝光帧作为目标图像。将目标图像传输给拍照算法进行融合处理，得到融合图像作为抓拍图像结果(例如JPEG图像)。
本申请的一个实施例中，还提供了两种本申请实施例提供的图像融合方法的应用与相关技术中图像融合方法的应用对比示例图，如图7-2A、图7-2B和图7-3A、图7-3B所示。图7-2A为相关技术中高动态场景下的抓拍图像，图7-2B为应用本申请实施例提供的图像融合方法在高动态场景下的抓拍图像；图7-3A为相关技术中banding场景下的抓拍图像，图7-3B为应用本申请实施例提供的图像融合方法在banding场景下的抓拍图像。
如图8所示，第三方面，本申请实施例提供了一种图像融合装置的结构示意图，所述装置包括：
环境信息获取模块801，用于获取拍摄场景的目标环境信息，以及获取所述拍摄场景的多帧抓拍图像；
选帧策略确定模块802，用于在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略；
图像选取模块803，用于基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像；
图像融合模块804，用于对各所述目标图像进行融合，得到融合图像。
本申请实施例提供的图像融合装置，获取拍摄场景的目标环境信息，以及获取拍摄场景的多帧抓拍图像，在预设的多个选帧策略中，确定与目标环境信息对应的目标选帧策略，基于目标选帧策略在各抓拍图像中选取多个目标图像，对各目标图像进行融合，得到融合图像。针对于不同环境的拍摄场景，以不同的选帧策略选取多帧图像进行融合，将所得到的融合图像作为抓拍图像结果，降低了环境不同(尤其是不利于拍照的环境)给抓拍图像带来的不良影响，有效地改善了抓拍图像的质量。
本申请的一个实施例中，所述目标环境信息包括环境亮度；各所述选帧策略各自对应不同的环境亮度区间；
所述选帧策略确定模块802，具体用于：
按照预先确定的环境亮度区间与选帧策略的对应关系，确定与所述目标环境信息对应的目标选帧策略。
本申请的一个实施例中，所述预设的多个选帧策略包括一般选帧策略、去banding选帧策略以及帧融合选帧策略，所述一般选帧策略对应第一环境亮度区间，所述去banding选帧策略对应第二环境亮度区间、所述帧融合选帧策略对应第三环境亮度区间；其中，所述第一环境亮度区间的亮度值高于所述第二环境亮度区间的亮度值，所述第二环境亮度区间的亮度值高于所述第三环境亮度区间的亮度值。
本申请实施例提供的图像融合装置，针对于不同的环境亮度，预先设定一般选帧策略、去banding选帧策略及帧融合选帧策略，根据拍摄场景的环境亮度在其中进行选取最适宜的选帧策略，基于此选帧策略得到的目标图像能够降低banding场景、高动态场景等不利于拍摄的场景给抓拍图像带来的不良影响，有针对性地改善了抓拍的效果和图像的质量。
本申请的一个实施例中，所述目标环境信息包括环境温度及环境亮度；
所述选帧策略确定模块802，具体用于：
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第一环境亮度区间的情况下，确定目标选帧策略为所述一般选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第二环境亮度区间的情况下，确定目标选帧策略为所述去banding选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第三环境亮度区间的情况下，确定目标选帧策略为所述帧融合选帧策略。
本申请实施例提供的图像融合装置，预先设定环境亮度区间和预设温度阈值，在不同的环境亮度及环境温度的情况下，选取一般选帧策略或去banding选帧策略或帧融合选帧策略作为目标选帧策略，基于此选帧策略得到的目标图像能够降低banding场景、高动态场景等不利于拍摄的场景给抓拍图像带来的不良影响，有针对性地改善了抓拍的效果和图像的质量。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块803，具体用于：
在所述目标选帧策略为所述一般选帧策略的情况下，从所述多帧抓拍图像中选取第一数量的正常曝光帧得到多个目标图像。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块803，具体用于：
在所述目标选帧策略为所述去banding选帧策略的情况下，从所述多帧抓拍图像中选取第二数量的正常曝光帧及第三数量的短曝光帧，得到多个目标图像，其中，所述第三数量大于所述第二数量。
本申请的一个实施例中，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块803，具体用于：
在所述目标选帧策略为所述帧融合选帧策略的情况下，从所述多帧抓拍图像中选取第四数量的正常曝光帧及第四数量的短曝光帧，得到多个目标图像。
本申请实施例提供的图像融合装置，在目标选帧策略不同的情况下，选取数量不同的正常曝光帧和短曝光帧，来降低不同的环境信息给抓拍带来的不利影响，尤其是降低banding场景、高动态场景等不利于拍摄的场景给抓拍图像带来的不良影响，有针对性地改善了抓拍的效果和图像的质量。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的图像融合方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像融合方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (16)
1.一种图像融合方法，其特征在于，所述方法包括：
获取拍摄场景的目标环境信息，以及获取所述拍摄场景的多帧抓拍图像；
在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略；
基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像；
对各所述目标图像进行融合，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，所述目标环境信息包括环境亮度；各所述选帧策略各自对应不同的环境亮度区间；
所述在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略，包括：
按照预先确定的环境亮度区间与选帧策略的对应关系，确定与所述目标环境信息对应的目标选帧策略。
3.根据权利要求2所述的方法，其特征在于，所述预设的多个选帧策略包括一般选帧策略、去banding选帧策略以及帧融合选帧策略，所述一般选帧策略对应第一环境亮度区间，所述去banding选帧策略对应第二环境亮度区间、所述帧融合选帧策略对应第三环境亮度区间；其中，所述第一环境亮度区间的亮度值高于所述第二环境亮度区间的亮度值，所述第二环境亮度区间的亮度值高于所述第三环境亮度区间的亮度值。
4.根据权利要求3所述的方法，其特征在于，所述目标环境信息包括环境温度及环境亮度；
所述在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略，包括：
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第一环境亮度区间的情况下，确定目标选帧策略为所述一般选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第二环境亮度区间的情况下，确定目标选帧策略为所述去banding选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第三环境亮度区间的情况下，确定目标选帧策略为所述帧融合选帧策略。
5.根据权利要求3或4所述的方法，其特征在于，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述一般选帧策略的情况下，从所述多帧抓拍图像中选取第一数量的正常曝光帧得到多个目标图像。
6.根据权利要求3或4所述的方法，其特征在于，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述去banding选帧策略的情况下，从所述多帧抓拍图像中选取第二数量的正常曝光帧及第三数量的短曝光帧，得到多个目标图像，其中，所述第三数量大于所述第二数量。
7.根据权利要求3或4所述的方法，其特征在于，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像，包括：
在所述目标选帧策略为所述帧融合选帧策略的情况下，从所述多帧抓拍图像中选取第四数量的正常曝光帧及第四数量的短曝光帧，得到多个目标图像。
8.一种图像融合装置，其特征在于，所述装置包括：
环境信息获取模块，用于获取拍摄场景的目标环境信息，以及获取所述拍摄场景的多帧抓拍图像；
选帧策略确定模块，用于在预设的多个选帧策略中，确定与所述目标环境信息对应的目标选帧策略；
图像选取模块，用于基于所述目标选帧策略在各所述抓拍图像中选取多个目标图像；
图像融合模块，用于对各所述目标图像进行融合，得到融合图像。
9.根据权利要求8所述的装置，其特征在于，所述目标环境信息包括环境亮度；各所述选帧策略各自对应不同的环境亮度区间；
所述选帧策略确定模块，具体用于：
按照预先确定的环境亮度区间与选帧策略的对应关系，确定与所述目标环境信息对应的目标选帧策略。
10.根据权利要求9所述的装置，其特征在于，所述预设的多个选帧策略包括一般选帧策略、去banding选帧策略以及帧融合选帧策略，所述一般选帧策略对应第一环境亮度区间，所述去banding选帧策略对应第二环境亮度区间、所述帧融合选帧策略对应第三环境亮度区间；其中，所述第一环境亮度区间的亮度值高于所述第二环境亮度区间的亮度值，所述第二环境亮度区间的亮度值高于所述第三环境亮度区间的亮度值。
11.根据权利要求10所述的装置，其特征在于，所述目标环境信息包括环境温度及环境亮度；
所述选帧策略确定模块，具体用于：
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第一环境亮度区间的情况下，确定目标选帧策略为所述一般选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第二环境亮度区间的情况下，确定目标选帧策略为所述去banding选帧策略；
在所述环境温度处于预设温度阈值之下、且所述环境亮度处于第三环境亮度区间的情况下，确定目标选帧策略为所述帧融合选帧策略。
12.根据权利要求10或11所述的装置，其特征在于，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块，具体用于：
在所述目标选帧策略为所述一般选帧策略的情况下，从所述多帧抓拍图像中选取第一数量的正常曝光帧得到多个目标图像。
13.根据权利要求10或11所述的装置，其特征在于，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块，具体用于：
在所述目标选帧策略为所述去banding选帧策略的情况下，从所述多帧抓拍图像中选取第二数量的正常曝光帧及第三数量的短曝光帧，得到多个目标图像，其中，所述第三数量大于所述第二数量。
14.根据权利要求10或11所述的装置，其特征在于，所述多帧抓拍图像包括多帧正常曝光帧及多帧短曝光帧；
所述图像选取模块，具体用于：
在所述目标选帧策略为所述帧融合选帧策略的情况下，从所述多帧抓拍图像中选取第四数量的正常曝光帧及第四数量的短曝光帧，得到多个目标图像。
15.一种电子设备，其特征在于，包括：
一个或多个处理器和存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至7中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310987708.XA CN117689559A (zh) | 2023-08-07 | 2023-08-07 | 一种图像融合方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310987708.XA CN117689559A (zh) | 2023-08-07 | 2023-08-07 | 一种图像融合方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117689559A true CN117689559A (zh) | 2024-03-12 |
Family
ID=90137827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310987708.XA Pending CN117689559A (zh) | 2023-08-07 | 2023-08-07 | 一种图像融合方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689559A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170195596A1 (en) * | 2014-05-27 | 2017-07-06 | Rambus Inc. | Oversampled high dynamic-range image sensor |
| CN109547699A (zh) * | 2018-12-24 | 2019-03-29 | 成都西纬科技有限公司 | 一种拍照的方法及装置 |
| CN111246051A (zh) * | 2018-11-09 | 2020-06-05 | 浙江宇视科技有限公司 | 自动检测条纹并抑制的方法、装置、设备及存储介质 |
| CN112804464A (zh) * | 2020-12-30 | 2021-05-14 | 北京迈格威科技有限公司 | 一种hdr图像生成方法、装置、电子设备及可读存储介质 |
| CN113259594A (zh) * | 2021-06-22 | 2021-08-13 | 展讯通信（上海）有限公司 | 图像处理方法及装置、计算机可读存储介质、终端 |
| CN113472994A (zh) * | 2020-03-30 | 2021-10-01 | 北京小米移动软件有限公司 | 拍照方法及装置、移动终端及存储介质 |
| CN113938602A (zh) * | 2021-09-08 | 2022-01-14 | 荣耀终端有限公司 | 图像处理方法、电子设备、芯片及可读存储介质 |
| US20220224820A1 (en) * | 2021-01-14 | 2022-07-14 | Qualcomm Incorporated | High dynamic range technique selection for image processing |
| WO2022193288A1 (zh) * | 2021-03-19 | 2022-09-22 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置及计算机可读存储介质 |
| CN115802146A (zh) * | 2021-09-07 | 2023-03-14 | 荣耀终端有限公司 | 一种录像中抓拍图像的方法及电子设备 |
| WO2023040622A1 (zh) * | 2021-09-17 | 2023-03-23 | 荣耀终端有限公司 | Hdr图像处理方法及电子设备 |
| CN116320783A (zh) * | 2022-09-14 | 2023-06-23 | 荣耀终端有限公司 | 一种录像中抓拍图像的方法及电子设备 |
-
2023
- 2023-08-07 CN CN202310987708.XA patent/CN117689559A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170195596A1 (en) * | 2014-05-27 | 2017-07-06 | Rambus Inc. | Oversampled high dynamic-range image sensor |
| CN111246051A (zh) * | 2018-11-09 | 2020-06-05 | 浙江宇视科技有限公司 | 自动检测条纹并抑制的方法、装置、设备及存储介质 |
| CN109547699A (zh) * | 2018-12-24 | 2019-03-29 | 成都西纬科技有限公司 | 一种拍照的方法及装置 |
| CN113472994A (zh) * | 2020-03-30 | 2021-10-01 | 北京小米移动软件有限公司 | 拍照方法及装置、移动终端及存储介质 |
| CN112804464A (zh) * | 2020-12-30 | 2021-05-14 | 北京迈格威科技有限公司 | 一种hdr图像生成方法、装置、电子设备及可读存储介质 |
| US20220224820A1 (en) * | 2021-01-14 | 2022-07-14 | Qualcomm Incorporated | High dynamic range technique selection for image processing |
| WO2022193288A1 (zh) * | 2021-03-19 | 2022-09-22 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置及计算机可读存储介质 |
| CN113259594A (zh) * | 2021-06-22 | 2021-08-13 | 展讯通信（上海）有限公司 | 图像处理方法及装置、计算机可读存储介质、终端 |
| CN115802146A (zh) * | 2021-09-07 | 2023-03-14 | 荣耀终端有限公司 | 一种录像中抓拍图像的方法及电子设备 |
| CN113938602A (zh) * | 2021-09-08 | 2022-01-14 | 荣耀终端有限公司 | 图像处理方法、电子设备、芯片及可读存储介质 |
| WO2023040622A1 (zh) * | 2021-09-17 | 2023-03-23 | 荣耀终端有限公司 | Hdr图像处理方法及电子设备 |
| CN116320783A (zh) * | 2022-09-14 | 2023-06-23 | 荣耀终端有限公司 | 一种录像中抓拍图像的方法及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 孙艳艳;董峰;龚惠兴;: "相机移动场景下的多曝光图像融合系统设计", 电子设计工程, no. 12, 20 June 2016 (2016-06-20) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021052232A1 (zh) | 一种延时摄影的拍摄方法及设备 | |
| JP7266672B2 (ja) | 画像処理方法および画像処理装置、ならびにデバイス | |
| US20220417416A1 (en) | Photographing method in telephoto scenario and mobile terminal | |
| WO2018048177A1 (ko) | 전자 장치 및 복수의 영상을 처리하는 방법 | |
| CN112532892A (zh) | 图像处理方法及电子装置 | |
| US20210176430A1 (en) | Image capturing apparatus using learned model, information processing apparatus, methods of controlling respective apparatuses, learned model selection system, and storage medium | |
| WO2023231687A1 (zh) | 一种摄像头切换方法及电子设备 | |
| CN115967851A (zh) | 快速拍照方法、电子设备及计算机可读存储介质 | |
| CN117499779A (zh) | 一种图像预览方法、设备以及存储介质 | |
| WO2022170866A1 (zh) | 数据传输方法、装置及存储介质 | |
| CN117689559A (zh) | 一种图像融合方法、装置、电子设备及存储介质 | |
| CN116723383A (zh) | 一种拍摄方法及相关设备 | |
| CN117097993B (zh) | 图像处理方法及相关装置 | |
| CN116723264B (zh) | 确定目标位置信息的方法、设备及存储介质 | |
| CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
| CN116723382B (zh) | 一种拍摄方法及相关设备 | |
| WO2024093854A1 (zh) | 一种图像处理方法及电子设备 | |
| CN113179362B (zh) | 电子设备及其图像显示方法 | |
| CN116668836B (zh) | 拍照处理方法和电子设备 | |
| CN115442517B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| WO2024055764A1 (zh) | 图像处理方法及装置 | |
| CN115640414B (zh) | 图像的显示方法及电子设备 | |
| CN115941836B (zh) | 一种界面显示方法、电子设备及存储介质 | |
| CN117156293A (zh) | 拍照方法和相关装置 | |
| CN116347217A (zh) | 图像处理方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |