CN116055894A - 基于神经网络的图像去频闪方法和装置 - Google Patents

Abstract

本申请实施例提供一种基于神经网络的图像去频闪方法和装置，方法包括：终端设备显示第一界面，第一界面中包括用于拍摄的第一控件；响应于针对第一控件的操作，终端设备获取图像序列，图像序列中包括：M个短帧图像以及N个长帧图像；M和N均为自然数；终端设备将图像序列输入到第一神经网络模型中，输出目标图像；其中，第一神经网络模型用于融合M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像，融合N个长帧图像中细节满足第二预设要求的特征点得到目标长帧图像，并对目标短帧图像以及目标长帧图像进行融合处理，得到目标图像。使得终端设备可以通过融合M个短帧图像中细节满足第一预设要求的特征点，去除短帧中条带。

Description

基于神经网络的图像去频闪方法和装置

技术领域

本申请涉及终端技术领域，尤其涉及一种基于神经网络的图像去频闪方法和装置。

背景技术

目前，随着终端技术的发展，终端设备已经成为人们工作生活的一部分。终端设备中可以设置有相机应用，该相机应用可以实现用户拍摄照片以及拍摄视频等需求。

当拍摄环境中包括由照明设备提供的光照时，由于照明设备在交流电的驱动下工作，受到交流电的影响，照明设备存在频闪现象。即照明设备的亮度受到交流电的影响，随着交流电幅值的周期性变化。当用户利用终端设备进行拍摄时，照明设备的频闪现象将影响电子设备的曝光，使得终端设备拍摄得到带有条带（band）的图像。

发明内容

本申请实施例提供一种基于神经网络的图像去频闪方法和装置，使得终端设备可以通过第一神经网络模型去除图像中的条带。

第一方面，本申请实施例提供一种基于神经网络的图像去频闪方法，方法包括：终端设备显示第一界面，第一界面中包括用于拍摄的第一控件；响应于针对第一控件的操作，终端设备获取图像序列，图像序列中包括：M个短帧图像以及N个长帧图像；M和N均为自然数；终端设备将图像序列输入到第一神经网络模型中，输出目标图像；其中，第一神经网络模型用于融合M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像，融合N个长帧图像中细节满足第二预设要求的特征点得到目标长帧图像，并对目标短帧图像以及目标长帧图像进行融合处理，得到目标图像。使得终端设备可以通过融合M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像的方式，去除短帧中条带对应的特征点，进而得到去除条带且亮度合适的目标图像。

在一种可能的实现方式中，M个短帧图像中细节满足第一预设要求的特征点包括：M个短帧图像中的各位置处细节数值最大的特征点，或者M个短帧图像中的各位置处细节数值大于预设阈值的特征点中的任一特征点；N个长帧图像中细节满足第二预设要求的特征点包括：N个长帧图像中的各位置处细节数值的均值对应的特征点。这样，使得终端设备不仅去除短帧中的条带，还可以保障长帧图像的清晰度，使得目标图像更符合用户的拍摄需求。

在一种可能的实现方式中，N个长帧图像中任一长帧图像的曝光时间为交流电能量周期的整数倍，交流电能量周期是照明设备提供光照的周期，照明设备为终端设备的拍摄场景提供照明；M个短帧图像中任一短帧图像的曝光时间小于N个长帧图像中任一长帧图像的曝光时间。这样，可以通过长帧图像的曝光时间的设置，避免长帧图像中出现条带的情况。

在一种可能的实现方式中，第一神经网络模型中包括N+M个相同的残差Unet网络，N+M个残差Unet网络用于对M个短帧图像以及N个长帧图像进行图像特征处理。这样，终端设备可以通过M+N个残差Unet网络的设置，以及M+N个残差Unet网络独立分别对M个短帧图像以及N个长帧图像进行图像特征处理，减少图像处理过程中的鬼影现象。

在一种可能的实现方式中，N+M个残差Unet网络中的任一网络中包括：第一卷积层以及第二卷积层，方法还包括：在第一卷积层中，终端设备对M个短帧图像中的图像分别进行卷积处理得到M个第一卷积特征图像，以及对N个长帧图像中的图像分别进行卷积处理得到N个第二卷积特征图像；终端设备对M个第一卷积特征图像以及N个第二卷积特征图像进行融合处理，得到第一融合图像；在第二卷积层中，终端设备利用第一融合图像分别对M个第一卷积特征图像进行卷积处理得到M个第三卷积特征图像，以及利用第一融合图像分别对N个第二卷积特征图像进行卷积处理得到N个第四卷积特征图像；终端设备对M个第三卷积特征图像以及N个第四卷积特征图像进行卷积处理，得到目标图像。这样，可以在残差Unet网络的两层卷积之间进行图像融合处理，以改善短帧画面的条带情况。

在一种可能的实现方式中，N+M个残差Unet网络中的任一网络中还包括：第三卷积层，终端设备对M个第三卷积特征图像以及N个第四卷积特征图像进行卷积处理，得到目标图像，包括：终端设备对M个第三卷积特征图像以及N个第四卷积特征图像进行融合处理，得到第二融合图像；在第三卷积层中，终端设备利用第二融合图像分别对M个第三卷积特征图像进行卷积处理得到M个第五卷积特征图像，以及利用第二融合图像分别对N个第四卷积特征图像进行卷积处理得到N个第六卷积特征图像；终端设备对M个第五卷积特征图像以及N个第六卷积特征图像进行卷积处理，得到目标图像。这样，当残差Unet网络中包括多个卷积层时，也可以对图像进行多次融合处理，以提高去频闪的效果。

在一种可能的实现方式中，在第二卷积层中，终端设备利用第一融合图像分别对M个第一卷积特征图像进行卷积处理得到M个第三卷积特征图像，以及利用第一融合图像分别对N个第一卷积特征图像进行卷积处理得到N个第四卷积特征图像，包括：终端设备对M个第一卷积特征图像以及N个第二卷积特征图像分别进行池化处理，得到第M个第一池化特征图像以及N个第二池化特征图像；在第二卷积层中，终端设备利用第一融合图像分别对M个第一池化特征图像进行卷积处理得到M个第三卷积特征图像，以及利用第一融合图像分别对N个第二池化特征图像进行卷积处理得到N个第四卷积特征图像。

在一种可能的实现方式中，终端设备将图像序列输入到第一神经网络模型中，输出目标图像，包括：在检测到图像序列中的任一图像中存在条带的情况下，终端设备将图像序列输入到第一神经网络模型中，输出目标图像。这样，使得终端设备可以在检测到图像序列中的任一图像中存在条带的情况下，将图像序列输入到神经网络模型中进行条带去除，节约算法的资源占用。

第二方面，本申请实施例提供一种基于神经网络的图像去频闪装置，基于神经网络的图像去频闪装置包括显示单元以及处理单元，显示单元，用于显示第一界面，第一界面中包括用于拍摄的第一控件；响应于针对第一控件的操作，处理单元，用于获取图像序列，图像序列中包括：M个短帧图像以及N个长帧图像；M和N均为自然数；处理单元，还用于将图像序列输入到第一神经网络模型中，输出目标图像；其中，第一神经网络模型用于融合M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像，融合N个长帧图像中细节满足第二预设要求的特征点得到目标长帧图像，并对目标短帧图像以及目标长帧图像进行融合处理，得到目标图像。

在一种可能的实现方式中，M个短帧图像中细节满足第一预设要求的特征点包括：M个短帧图像中的各位置处细节数值最大的特征点，或者M个短帧图像中的各位置处细节数值大于预设阈值的特征点中的任一特征点；N个长帧图像中细节满足第二预设要求的特征点包括：N个长帧图像中的各位置处细节数值的均值对应的特征点。

在一种可能的实现方式中，N个长帧图像中任一长帧图像的曝光时间为交流电能量周期的整数倍，交流电能量周期是照明设备提供光照的周期，照明设备为终端设备的拍摄场景提供照明；M个短帧图像中任一短帧图像的曝光时间小于N个长帧图像中任一长帧图像的曝光时间。

在一种可能的实现方式中，第一神经网络模型中包括N+M个相同的残差Unet网络，N+M个残差Unet网络用于对M个短帧图像以及N个长帧图像进行图像特征处理。

在一种可能的实现方式中，N+M个残差Unet网络中的任一网络中包括：第一卷积层以及第二卷积层，处理单元，还用于：在第一卷积层中，对M个短帧图像中的图像分别进行卷积处理得到M个第一卷积特征图像，以及对N个长帧图像中的图像分别进行卷积处理得到N个第二卷积特征图像；对M个第一卷积特征图像以及N个第二卷积特征图像进行融合处理，得到第一融合图像；在第二卷积层中，利用第一融合图像分别对M个第一卷积特征图像进行卷积处理得到M个第三卷积特征图像，以及利用第一融合图像分别对N个第二卷积特征图像进行卷积处理得到N个第四卷积特征图像；对M个第三卷积特征图像以及N个第四卷积特征图像进行卷积处理，得到目标图像。

在一种可能的实现方式中，N+M个残差Unet网络中的任一网络中还包括：第三卷积层，处理单元，还用于：对M个第三卷积特征图像以及N个第四卷积特征图像进行融合处理，得到第二融合图像；在第三卷积层中，利用第二融合图像分别对M个第三卷积特征图像进行卷积处理得到M个第五卷积特征图像，以及利用第二融合图像分别对N个第四卷积特征图像进行卷积处理得到N个第六卷积特征图像；对M个第五卷积特征图像以及N个第六卷积特征图像进行卷积处理，得到目标图像。

在一种可能的实现方式中，在第二卷积层中，处理单元，还用于：对M个第一卷积特征图像以及N个第二卷积特征图像分别进行池化处理，得到第M个第一池化特征图像以及N个第二池化特征图像；在第二卷积层中，利用第一融合图像分别对M个第一池化特征图像进行卷积处理得到M个第三卷积特征图像，以及利用第一融合图像分别对N个第二池化特征图像进行卷积处理得到N个第四卷积特征图像。

在一种可能的实现方式中，在检测到图像序列中的任一图像中存在条带的情况下，处理单元，还用于将图像序列输入到第一神经网络模型中，输出目标图像。

第三方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时，使得终端设备执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

第五方面，本申请实施例提供一种包括计算机程序的计算机程序产品，当计算机程序在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

应当理解的是，本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种场景示意图；

图2为本申请实施例提供的一种终端设备的硬件结构示意图；

图3为本申请实施例提供的一种基于神经网络的图像去频闪方法的流程示意图；

图4为本申请实施例提供的一种训练神经网络模型的流程示意图；

图5为本申请实施例提供的一种训练神经网络模型的原理示意图；

图6为本申请实施例提供的一种特征图像融合的原理示意图；

图7为本申请实施例提供的另一种基于神经网络模型的图像去频闪方法的流程示意图；

图8为本申请实施例提供的一种基于神经网络模型的图像去频闪装置的结构示意图；

图9为本申请实施例提供的另一种终端设备的硬件结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一值和第二值仅仅是为了区分不同的值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。

为了更清楚描述本申请实施例提供的方法，首先对本申请实施例中涉及的相关技术进行介绍：

交错（stagger）：stagger可以理解为一种以“行”为输出单位的图像出帧方式，stagger可以实现在一次拍摄时同时获取曝光时间长短不同的多帧图像，例如在一次拍摄中获取长帧和短帧。Stagger出帧方式可以减少帧与帧之间的时间间隔，从而减少鬼影的出现。

长帧与短帧：长帧可以理解为长曝光帧图像，短帧可以理解为短曝光帧图像。其中，以曝光参数为曝光时长为例，则长帧的曝光时长可以大于短帧的曝光时长。对于如stagger等一次可以生成多帧图像的出帧技术，该多帧图像可以根据曝光时长区分出长帧以及短帧。

示例性的，图1为本申请实施例提供的一种场景示意图。在图1对应的实施例中，以终端设备为手机、且拍摄场景中包括照明设备提供的光照为例进行示例说明，该示例不构成对本申请实施例的限定。

当终端设备接收到用户打开相机应用的操作时，终端设备可以显示如图1中的a所示的界面。如图1中的a所示的界面，该界面中可以包括：拍照控件101、以及预览画面102，该界面中还可以包括：夜景功能控件、人像功能控件、拍照功能控件、录像功能控件、电影功能控件、用于查看相册的控件等。

如图1中的a所示的界面，当终端设备接收到用户针对拍照控件101的触发操作时，终端设备可以基于stagger出帧采集图像序列，并通过对图像序列的融合，得到拍摄图像，进而将拍摄图像存储在相册中。当终端设备接收到查看相册的操作时，如接收到用户针对图1中的a所示的用于查看相册的控件的触发操作时，终端设备可以显示如图1中的b所示的界面，该界面中可以包括终端设备得到的拍摄图像。由于拍摄场景中包括：以交流电供电的照明设备，且照明设备存在频闪，因此该频闪可以使得拍摄图像中存在明显的条带，影响用户拍摄体验。如图1中的b所示的界面，该界面中还可以包括：分享控件、收藏控件、编辑控件、删除控件、更多控件以及拍摄图像对应的拍摄信息等内容，本申请实施例中对图1中的a或图1中的b所示的界面中显示的具体内容不做限定。

具体的，以提供拍摄光源的设备为交流电供电的照明设备，且图像出帧模式为stagger为例进行示例说明，当照明设备在交流电的驱动下工作时，50Hz的交流电使得日光灯在1s中频闪100次。终端设备生成拍摄图像的过程中，图像传感器在stagger出帧模式下，通过逐行曝光的方式生成长帧以及短帧，并通过长帧以及短帧的图像融合得到拍摄图像。其中，由于长帧曝光时间满足交流电能量周期（或也可以理解为照明设备的频闪一次的频闪时长）的整数倍，而短帧曝光时间不满足交流电能量周期的整数倍，因此照明设备的频闪影响短帧中不同行的曝光，使得短帧中出现条带，进而当长短帧进行图像融合得到拍摄图像时，则会使得拍摄图像中出现明暗条纹的现象，如图1中的b所示的界面中的图像。

有鉴于此，本申请实施例提供一种基于神经网络的图像去频闪方法，使得终端设备可以利用第一神经网络模型中的图像融合步骤融合M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像，以及融合M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像，并对目标短帧图像以及目标长帧图像进行融合处理，得到目标图像。这样，使得终端设备可以通过融合步骤去除各短帧图像中的条带，使得第一神经网络模型可以输出清晰且去除条带的目标图像。

可以理解的是，上述终端设备也可以称为终端，（terminal）、用户设备（userequipment，UE）、移动台（mobilestation，MS）、移动终端（mobile terminal，MT）等。终端设备可以为手机（mobilephone）、智能门锁、考勤设备、穿戴式设备、平板电脑（Pad）、带无线收发功能的电脑、虚拟现实（virtual reality，VR）终端设备、增强现实（augmented reality，AR）终端设备、工业控制（industrialcontrol）中的无线终端、无人驾驶（self-driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smarthome）中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。

因此，为了能够更好地理解本申请实施例，下面对本申请实施例的终端设备的结构进行介绍。示例性的，图2为本申请实施例提供的一种终端设备的结构示意图。

终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。

可能的实现方式中，该传感器模块180中也可以包括下述一种或多种：指纹传感器，触摸传感器，压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，温度传感器，环境光传感器，或骨传导传感器（图2中未示出）等。

可以理解的是，本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

无线通信模块160可以提供应用在终端设备上的包括无线局域网（wirelesslocalarea networks，WLAN）（如无线保真（wirelessfidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigation satellite system，GNSS），调频（frequencymodulation，FM）等无线通信的解决方案。

终端设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，终端设备可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获静态图像或视频。在一些实施例中，终端设备可以包括1个或N个摄像头193，N为大于1的正整数。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。

终端设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。耳机接口170D用于连接有线耳机。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。本申请实施例中，终端设备可以拥有设置一个麦克风170C。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

终端设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等，在此不再赘述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的，图3为本申请实施例提供的一种基于神经网络的图像去频闪方法的流程示意图。如图3所示，该基于神经网络的图像去频闪方法可以包括如下步骤：

S301、终端设备采集图像序列（长帧和短帧）。

其中，该图像序列中可以包括多个连续的图像帧，该图像序列中可以包括： M个短帧以及N个长帧，如该图像序列中可以包括5帧，即3个短帧以及2个长帧，长帧以及短帧交错排布，本申请实施例中对图像序列中的帧数不做具体限定。

示例性的，如图1中的a所示的界面，当终端设备接收到用户针对拍照控件101的触发操作时，终端设备中的图像传感器可以基于stagger出帧采集图像序列。

S302、终端设备将图像序列输入到目标神经网络模型中，输出该图像序列对应的目标图像。

本申请实施例中，目标神经网络模块（或称为深度学习模型）可以由多条结构相同的残差Unet网络分支组成，该残差Unet网络可以用于提取图像不同尺度的特征与重构不同信息特征。可以理解的是，该残差Unet网络仅作为一种网络的示例，其也可以替换为其他网络，本申请实施例中对此不做限定。

可能的实现方式中，终端设备可以检测图像序列中是否存在条带，并在检测到图像序列中的任一图像中存在条带时，将图像序列输入到目标神经网络模型中，并输出该图像序列对应的目标图像。其中，终端设备可以基于图像序列中的各一图像的亮度确定图像序列中的图像是否存在条带。

训练得到目标神经网络模型的过程可以参见图4对应的实施例。示例性的，图4为本申请实施例提供的一种训练神经网络模型的流程示意图。

具体的，S401、终端设备获取训练数据，并对训练数据中的短帧进行退化处理。

其中，训练数据可以为由真实场景的视频构成的图像集合，训练数据可以来源于网络或也可以为终端设备实际采集的包含真实场景的视频图像，本申请实施例中对此不做限定。

退化处理用于对训练数据的短帧中每行的亮度进行调整，使得短帧中出现条带，模拟由于拍摄场景中存在频闪的照明设备使得采集的短帧中呈现出条带的情况。

可能的实现方式中，当训练数据中的短帧存在条带时，也可以不对短帧进行退化处理。

针对一次训练过程，终端设备可以从图像集中I中顺次选取连续的5帧图像，参考图像帧可以为，终端设备提供一组曝光比例，并从该一组曝光比例中选取任一曝光比例，如作为短帧与长帧的曝光时间比，设定长帧的曝光时间为交流电能量周期的整数倍，则长帧不存在条带。短帧的曝光时间可以由曝光比例、以及长帧的曝光时间确定，由于短帧的曝光时间不满足交流电能量周期的整数倍，则短帧中存在条带。例如，当随机从曝光比例中选取任一曝光比例，则短帧的条带退化模型可以由下述公式确定：

，其中，可以理解为每帧图像第i行的起始曝光时间，=*长帧的曝光时间，可以理解为短帧的曝光时间，可以理解为交流电能量周期，L可以理解为亮度，可以理解为每一行的亮度比例调整值。

，其中，可以理解为短帧图像中第q帧图像第p行的亮度值，可以理解为经过退化处理的第q帧图像的第p行的亮度值。

可以理解的是，终端设备可以通过退化处理为训练数据中的短帧增加条带，得到退化处理后的训练数据。

S402、终端设备将退化处理后的训练数据的图像格式由红绿蓝（red green blue，RGB）格式处理为未加工的（RAW）格式。

可以理解的是，由于相机传感器的每个像素只对应单一颜色的滤波片（红色、绿色或者蓝色），且排列为Bayer模式，即相机传感器出图的图像格式为RAW。因此，对于每一帧RGB图像，终端设备根据Bayer过滤模式忽略其他两种颜色，最终可得到stagger出帧模式下的RAW域图像，称为格式处理后的训练数据。

S403、终端设备将格式处理后的训练数据输入到初始神经网络模型中进行训练，得到训练好的目标神经网络模型。

示例性的，终端设备在获取到格式处理后的训练数据后，可以将格式处理后的训练数据以及该格式处理后的训练数据所对应的真实图像（带有标签）输入到初始神经网络模型中，输出该格式处理后的训练数据对应的预测图像；利用损失函数计算预测图像与真实图像之间的损失值；完成本次训练后，再利用随机梯度下降更新初始神经网络模型中的模型参数，之后再进行下一次训练，直至模型收敛，即得到训练好的目标神经网络模块。其中，在将格式处理后的训练数据输入到模型后，模型也可以对格式处理后的训练数据进行图像预处理，该图像预处理可以包括下述一种或多种：水平翻转、上下翻转、或者将格式处理后的训练数据的大小调整至预设尺寸等。

目标神经网络模型的结构、以及针对格式处理后的训练数据的任一次训练过程可以参见图5对应的实施例。示例性的，图5为本申请实施例提供的一种训练神经网络模型的原理示意图。

如图5所示，该格式处理后的训练数据可以包括：第一短帧、第一长帧、第二短帧、第二长帧以及第三短帧。在初始神经网络模型的训练过程中，终端设备可以提取格式处理后的5帧分别对应的特征图像，得到第一短帧对应的第一特征图像、第一长帧对应的第二特征图像、第二短帧对应的第三特征图像、第二长帧对应的第四特征图像、以及第三短帧对应的第五特征图像。

利用5个独立的残差Unet网络分别对5个特征图像进行处理。其中，该5个独立的残差Unet网络的结构可以相同，例如任一残差Unet网络中可以包括：卷积处理、池化处理、以及上采样处理等，或者该任一残差Unet网络中可以包括至少1次卷积处理，如2次卷积处理等，本申请实施例中对残差Unet网络中的处理步骤以及处理次数不做限定。并且残差Unet网络中可以包括融合模块，融合模块用于对不同分支的特征图像进行融合处理，实现从暗区恢复准确的图像细节以及条带的细节信息。

具体的，终端设备可以在5个残差Unet网络中对5个特征图像分别进行两次卷积处理，得到5个卷积处理后的特征图像，进而对该5个卷积处理后的特征图像进行融合，得到融合后的特征图像，同时终端设备可以对卷积处理后的特征图像进行池化处理，得到池化处理后的特征图像。进一步的，终端设备可以将融合后的图像输入至下一个网络层进行处理，如终端设备可以将融合处理后的图像、以及池化处理后的图像输入到卷积层，并再次卷积处理。类似的，如图5所示，终端设备可以在任一残差Unet网络中对图像进行4次融合处理，并在最后一次卷积处理后对5个图像进行拼接，再进行两次卷积处理，得到神经网络模型的输出的预测图像。

可以理解的是，神经网络模型的训练过程中可以包括至少一次图像融合处理，且本申请实施例中对该神经网络模型中的融合次数、以及融合模块所在位置不做限定。其中，融合处理的过程可以参见图6对应的实施例。示例性的，图6为本申请实施例提供的一种特征图像融合的原理示意图。

可以理解的是，由于短帧具有清晰的细节信息，长帧具有图像各区域的亮度信息，为了充分交融各图像帧之间的信息，神经网络模型中可以采用融合模块融合图像不同分支的特征，该融合模块可以从暗区恢复准确的图像细节以暗条带的细节信息。

如图6所示，针对任一融合模块，终端设备可以从5个网络分支中得到的短帧特征图像(L1,L3,L5)和长帧特征图像(L2，L4)，并根据长短帧不同特点执行最大值和平均值操作以提取有用的信息。

，其中，max可以用于提取三个短帧特征图像中各位置处的数值较高的特征点，该数值较高的特征点可以包含较多的非条带细节特征，因此可以通过max处理减少短帧中的条带。

可能的实现方式中，终端设备也可以提取三个短帧特征图像中各位置处的数值大于预设阈值的特征点中的任一特征点。

，其中，可以用于对2个长帧特征图像中各位置处的数值取平均值。

可以理解的是，由于短帧的亮度较暗且通常伴随一定的噪声，因此可以通过平均处理保留长帧的亮度，以便在后端短帧以及长帧融合时提升融合处理后的图像的亮度；并且，通过对特征点的平均处理可以提升融合处理后的图像的信噪比。另外，由于长帧的曝光时间较长，因此终端设备的抖动、以及拍摄对象的运动等均会对长帧的画面清晰度造成影响，使得长帧出现模糊的画面，因此平均处理也便于提升长帧的清晰度。

进一步的，终端设备对以及进行拼接，并对拼接后的特征图像进行卷积处理，得到融合后的图像。并将融合后的图像输入到各残差Unet网络的下一卷积层。

可以理解的是，终端设备可以基于卷积层+池化结构提取图像帧的特征，再通过上采样将空间维度被压缩的逐层恢复到原始输入尺寸，并通过融合处理去除短帧中的条带以及长帧中的模糊区域，在改善输入图像信噪的同时提高图像输出结果的清晰度。

可以理解的是，图4对应的实施例中描述的神经网络模型的训练过程可以在终端设备中实现，或者也可以在云服务器或其他设备中实现。例如，终端设备可以在获取到图像序列后将图像序列发送至云服务器或其他设备中，并在云服务器或其他设备中利用神经网络模块获取该图像序列对应的目标图像，进而云服务器或其他设备可以将该目标图像返回至终端设备中，本申请实施例中对此不做限定。本申请实施例描述的基于神经网络模型的图像去频闪方法中，终端设备中可以设置有训练好的目标神经网络模型，并且可以实现对于目标神经网络模型的使用。

基于图3对应的实施例中的描述，本申请实施例提供的一种基于神经网络模型的图像去频闪方法不仅可以应用于如图1所示的拍摄场景，还可以应用于视频场景、预览画面的去频闪场景中等，本申请实施例中对此不做限定。

基于图3对应的实施例中描述的内容，可能的实现方式中，本申请实施例还提供一种基于神经网络模型的图像去频闪方法的具体实现。示例性的，图7为本申请实施例提供的另一种基于神经网络模型的图像去频闪方法的流程示意图。

如图7所示，该基于神经网络模型的图像去频闪方法可以包括如下步骤：

S701、终端设备获取拍摄频闪条带数据或者序列视频图像数据，得到训练数据。

S702、终端设备对训练数据进行退化处理，得到退化处理后的训练数据（3张短帧+2张长帧）。

S703、终端设备将退化处理后的训练数据输入到初始神经网络模型中，输出预测图像。

在S703所示的步骤中，该退化处理后的训练数据可以理解为模型使用时的输入数据。

S704、终端设备利用预测图像以及带有标签的真实图像计算损失值，并训练初始神经网络模型。

示例性的，终端设备利用预测图像以及带有标签的真实图像计算损失值，并基于损失值调整初始神经网络模型中的参数取值，至到模型收敛，得到训练好的目标神经网络模型。其中，目标神经网络模型的训练过程可以参见S403所示的步骤中的描述，在此不再赘述。

S705、终端设备将退化处理后的训练数据输入到目标神经网络模型中，输出目标图像。

其中，S701-S704所示的步骤为目标神经网络模型的训练过程，S705为目标神经网络模型的使用过程。例如，当终端设备接收到用户拍摄照片的操作时，终端设备可以基于摄像头采集得到图像序列，该图像序列可以称为S705中描述的退化处理后的训练数据，并将该退化处理后的训练数据输入到目标神经网络模型中输出清晰且无噪声的目标图像。

基于此，使得终端设备可以利用目标神经网络模型中的图像融合步骤对短帧以及长帧进行融合，并通过提取短帧中数值最高的特征点的方式去除各短帧中的条带，使得目标神经网络模型可以输出清晰且去除条带的目标图像。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

上面结合图3-图7，对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。

如图8所示，图8为本申请实施例提供的一种基于神经网络模型的图像去频闪装置的结构示意图，该基于神经网络模型的图像去频闪装置可以是本申请实施例中的终端设备，也可以是终端设备内的芯片或芯片系统。

如图8所示，基于神经网络模型的图像去频闪装置800可以用于通信设备、电路、硬件组件或者芯片中，该基于神经网络模型的图像去频闪装置包括：显示单元801、以及处理单元802。其中，采集单元801用于支持基于神经网络模型的图像去频闪装置800执行显示的步骤，处理单元802用于支持基于神经网络模型的图像去频闪装置800执行数据处理的步骤。

具体的，本申请实施例提供一种基于神经网络的图像去频闪装置，基于神经网络的图像去频闪装置包括显示单元801以及处理单元802，显示单元801，用于显示第一界面，第一界面中包括用于拍摄的第一控件；响应于针对第一控件的操作，处理单元802，用于获取图像序列，图像序列中包括：M个短帧图像以及N个长帧图像；M和N均为自然数；处理单元802，还用于将图像序列输入到第一神经网络模型中，输出目标图像；其中，第一神经网络模型用于融合M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像，融合N个长帧图像中细节满足第二预设要求的特征点得到目标长帧图像，并对目标短帧图像以及目标长帧图像进行融合处理，得到目标图像。

可能的实现方式中，该基于神经网络模型的图像去频闪装置800中也可以包括通信单元803。具体的，通信单元803用于支持基于神经网络模型的图像去频闪装置800执行数据的发送以及数据的接收的步骤。其中，该通信单元803可以是输入或者输出接口、管脚或者电路等。

可能的实施例中，基于神经网络模型的图像去频闪装置800还可以包括：存储单元804。处理单元802、存储单元804通过线路相连。存储单元804可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。存储单元804可以独立存在，通过通信线路与基于神经网络模型的图像去频闪装置具有的处理单元802相连。存储单元804也可以和处理单元802集成在一起。

存储单元804可以存储终端设备中的方法的计算机执行指令，以使处理单元802执行上述实施例中的方法。存储单元804可以是寄存器、缓存或者RAM等，存储单元804可以和处理单元802集成在一起。存储单元804可以是只读存储器（read-only memory，ROM）或者可存储静态信息和指令的其他类型的静态存储设备，存储单元804可以与处理单元802相独立。

图9为本申请实施例提供的另一种终端设备的硬件结构示意图，如图9所示，该终端设备包括处理器901，通信线路904以及至少一个通信接口（图9中示例性的以通信接口903为例进行说明）。

处理器901可以是一个通用中央处理器（central processing unit，CPU），微处理器，特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路904可包括在上述组件之间传送信息的电路。

通信接口903，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线局域网（wireless local area networks，WLAN）等。

可能的，该终端设备还可以包括存储器902。

存储器902可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electricallyerasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路904与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器902用于存储执行本申请方案的计算机执行指令，并由处理器901来控制执行。处理器901用于执行存储器902中存储的计算机执行指令，从而实现本申请实施例所提供的方法。

可能的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器901可以包括一个或多个CPU，例如图9中的CPU0和CPU1。

在具体实现中，作为一种实施例，终端设备可以包括多个处理器，例如图9中的处理器901和处理器905。这些处理器中的每一个可以是一个单核（single-CPU）处理器，也可以是一个多核（multi-CPU）处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质（例如，软盘、硬盘或磁带）、光介质（例如，数字通用光盘（digitalversatile disc，DVD））、或者半导体介质（例如，固态硬盘（solid state disk，SSD））等。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器（compactdisc read-only memory，CD-ROM）、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘（CD），激光盘，光盘，数字通用光盘（digital versatile disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

上述的组合也应包括在计算机可读介质的范围内。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种基于神经网络的图像去频闪方法，其特征在于，所述方法包括：

终端设备显示第一界面，所述第一界面中包括用于拍摄的第一控件；

响应于针对所述第一控件的操作，所述终端设备获取图像序列，所述图像序列中包括：M个短帧图像以及N个长帧图像；M和N均为自然数；

所述终端设备将所述图像序列输入到第一神经网络模型中，输出目标图像；其中，所述第一神经网络模型用于融合所述M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像，融合所述N个长帧图像中细节满足第二预设要求的特征点得到目标长帧图像，并对所述目标短帧图像以及所述目标长帧图像进行融合处理，得到所述目标图像。

2.根据权利要求1所述的方法，其特征在于，所述M个短帧图像中细节满足第一预设要求的特征点包括：所述M个短帧图像中的各位置处细节数值最大的特征点，或者所述M个短帧图像中的各位置处细节数值大于预设阈值的特征点中的任一特征点；所述N个长帧图像中细节满足第二预设要求的特征点包括：所述N个长帧图像中的各位置处细节数值的均值对应的特征点。

3.根据权利要求1或2所述的方法，其特征在于，所述N个长帧图像中任一长帧图像的曝光时间为交流电能量周期的整数倍，所述交流电能量周期是照明设备提供光照的周期，所述照明设备为所述终端设备的拍摄场景提供照明；所述M个短帧图像中任一短帧图像的曝光时间小于所述N个长帧图像中任一长帧图像的曝光时间。

4.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型中包括N+M个相同的残差Unet网络，所述N+M个残差Unet网络用于对所述M个短帧图像以及所述N个长帧图像进行图像特征处理。

5.根据权利要求4所述的方法，其特征在于，所述N+M个残差Unet网络中的任一网络中包括：第一卷积层以及第二卷积层，所述方法还包括：

在所述第一卷积层中，所述终端设备对所述M个短帧图像中的图像分别进行卷积处理得到M个第一卷积特征图像，以及对所述N个长帧图像中的图像分别进行卷积处理得到N个第二卷积特征图像；

所述终端设备对所述M个第一卷积特征图像以及所述N个第二卷积特征图像进行融合处理，得到第一融合图像；

在所述第二卷积层中，所述终端设备利用所述第一融合图像分别对所述M个第一卷积特征图像进行卷积处理得到M个第三卷积特征图像，以及利用所述第一融合图像分别对所述N个第二卷积特征图像进行卷积处理得到N个第四卷积特征图像；

所述终端设备对所述M个第三卷积特征图像以及所述N个第四卷积特征图像进行卷积处理，得到所述目标图像。

6.根据权利要求5所述的方法，其特征在于，所述N+M个残差Unet网络中的任一网络中还包括：第三卷积层，所述终端设备对所述M个第三卷积特征图像以及所述N个第四卷积特征图像进行卷积处理，得到所述目标图像，包括：

所述终端设备对所述M个第三卷积特征图像以及所述N个第四卷积特征图像进行融合处理，得到第二融合图像；

在所述第三卷积层中，所述终端设备利用所述第二融合图像分别对所述M个第三卷积特征图像进行卷积处理得到M个第五卷积特征图像，以及利用所述第二融合图像分别对所述N个第四卷积特征图像进行卷积处理得到N个第六卷积特征图像；

所述终端设备对所述M个第五卷积特征图像以及所述N个第六卷积特征图像进行卷积处理，得到所述目标图像。

7.根据权利要求5所述的方法，其特征在于，在所述第二卷积层中，所述终端设备利用所述第一融合图像分别对所述M个第一卷积特征图像进行卷积处理得到M个第三卷积特征图像，以及利用所述第一融合图像分别对所述N个第一卷积特征图像进行卷积处理得到N个第四卷积特征图像，包括：

所述终端设备对所述M个第一卷积特征图像以及所述N个第二卷积特征图像分别进行池化处理，得到第M个第一池化特征图像以及N个第二池化特征图像；

在所述第二卷积层中，所述终端设备利用所述第一融合图像分别对所述M个第一池化特征图像进行卷积处理得到所述M个第三卷积特征图像，以及利用所述第一融合图像分别对所述N个第二池化特征图像进行卷积处理得到所述N个第四卷积特征图像。

8.根据权利要求1所述的方法，其特征在于，所述终端设备将所述图像序列输入到第一神经网络模型中，输出目标图像，包括：

在检测到所述图像序列中的任一图像中存在条带的情况下，所述终端设备将所述图像序列输入到所述第一神经网络模型中，输出所述目标图像。

9.一种基于神经网络的图像去频闪装置，其特征在于，所述基于神经网络的图像去频闪装置包括显示单元以及处理单元，

所述显示单元，用于显示第一界面，所述第一界面中包括用于拍摄的第一控件；

响应于针对所述第一控件的操作，所述处理单元，用于获取图像序列，所述图像序列中包括：M个短帧图像以及N个长帧图像；M和N均为自然数；

所述处理单元，还用于将所述图像序列输入到第一神经网络模型中，输出目标图像；其中，所述第一神经网络模型用于融合所述M个短帧图像中细节满足第一预设要求的特征点得到目标短帧图像，融合所述N个长帧图像中细节满足第二预设要求的特征点得到目标长帧图像，并对所述目标短帧图像以及所述目标长帧图像进行融合处理，得到所述目标图像。

10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述终端设备执行如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1至8任一项所述的方法。

Images