CN113688820A - 频闪条带信息识别方法、装置和电子设备 - Google Patents

Abstract

本申请公开了一种频闪条带信息识别方法、装置和电子设备，属于图像识别技术领域。在本申请实施例中，能够通过对拍摄预览图像进行检测，根据拍摄预览图像确定其对应预设成像方向的像素均值向量，根据像素均值向量提取向量特征信息，得到均值编码向量信息，并根据均值编码向量信息判断是否存在频闪条带。基于对应成像方向的像素均值向量提取特征信息，能够针对每一帧预览图像得到更为准确的频闪条带识别结果。并且在判断存在频闪条带的情况下，将均值编码向量信息与拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和强度信息。

Description

频闪条带信息识别方法、装置和电子设备

技术领域

本申请属于图像识别技术领域，具体涉及一种频闪条带信息识别方法、装置和电子设备。

背景技术

电子卷帘快门是电子设备上的一种拍摄装置，电子卷帘快门是通过控制图像传感器，使其不同部分在不同时间下对光的敏感度不同，逐行进行曝光，直到所有的像素点被曝光。但由于每一行曝光时间不同，获得的光能量也可能不同；如果快门在不同的感光面接收到的光能量不一样，则会产生图像上的频闪条带，也即产生banding现象，从而影响电子设备拍摄的成像效果。

为此，现有技术中有种通过反冲带值确定图像存在banding的方法，反冲带值是电子设备拍摄时用于对抗光源闪烁频率的设备参数，通过电子设备拍摄时自动确定的反冲带值，判定拍摄时是否产生了banding。但不同环境下的不同光源具有一定的复杂性，自动确定的反冲带值准确性较差。而如果电子设备不能准确识别出成像时是否产了频闪条带，会导致即使产生banding现象设备也会完成拍摄，并输出存在频闪带条的图像，使得拍摄成片率低，影响用户拍摄体验。

发明内容

本申请实施例的目的是提供一种频闪条带信息识别方法、装置和电子设备，能够准确检测电子设备拍摄图像中的频闪条带信息。

第一方面，本申请实施例提供了一种频闪条带信息识别方法，该方法包括：

获取拍摄预览图像；

根据拍摄预览图像，确定其对应预设成像方向的像素均值向量；

根据像素均值向量提取向量特征信息，得到均值编码向量信息；

在根据均值编码向量信息确定拍摄预览图像中存在频闪条带的情况下，将均值编码向量信息与对拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和/或强度信息。

第二方面，本申请实施例提供了一种频闪条带识别装置，装置包括：

获取模块，获取拍摄预览图像；

第一确定模块，根据拍摄预览图像，确定其对应预设成像方向的像素均值向量；

第一提取模块，用于根据像素均值向量提取向量特征信息，得到均值编码向量信息；

融合模块，用于在根据均值编码向量信息确定拍摄预览图像中存在频闪条带的情况下，将均值编码向量信息与对拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和/或强度信息。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，能够通过对拍摄预览图像进行检测，根据拍摄预览图像确定其对应预设成像方向的像素均值向量，根据像素均值向量提取向量特征信息，得到均值编码向量信息，并根据均值编码向量信息判断是否存在频闪条带。由于频闪条带的产生与图像成像方向有关，因此本申请实施例基于对应成像方向的像素均值向量提取特征信息，能够针对每一帧预览图像得到更为准确的频闪条带识别结果。并且本申请实施例在判断存在频闪条带的情况下，将均值编码向量信息与拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和强度信息；本申请实施例将频闪条带信息的识别精确到位置和强度，利于基于这些信息去除频闪条带得到无banding现象的图像，继而提高电子设备拍摄的成片率。

附图说明

图1是本申请实施例提供的一种频闪条带信息识别方法的流程示意图；

图2是本申请一个具体示例中，将拍摄预览图像切割为多个子图像的示意图；

图3是本申请一个具体示例中，通过第二模型进行向量特征提取的示意图；

图4是本申请一个具体实施例中步骤S103的流程示意图；

图5是本申请一个具体示例中，通过第一模型进行图像特征提取和banding信息识别的示意图；

图6是本申请实施例提供的一种频闪条带信息识别装置的结构示意图；

图7是本申请实施例提供的一种电子设备的硬件结构示意图；

图8是本申请另一实施例提供电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

图像的banding，是指由于光源的光线按固定的频率闪烁，使得光线亮度不停变化导致成像后产生条带效应。一般的，室内有人造光源影响时，例如中国家用电标准是220V50Hz，光强的波动是100Hz，周期为10ms，这种情况下如果电子设备(如相机或手机)使用例如电子卷帘式曝光方式时，由于每一行曝光时间不同，获得的能量也可能不同；那么在不同的感光面接收到的光能量不一样，从而产生了图像上的频闪条纹。

在普通场景下，电子设备快门的速度较低，一般不会出现banding现象。在拍摄运动物体时，为了捕捉到清晰的图像，需要提高快门速度，但是当快门速度过高后，往往会出现频闪问题，即拍摄出的图像会出现频闪banding(即频闪条带)。

相关技术中为了解决图像banding问题，一种解决方式是将快门速度控制在一定的阈值范围内，这样较低的快门速度可以避免banding，但同时限制了成像的质量，导致拍摄额的图像出现部分模糊，影像成像质量低。还有一种解决方式是，通过硬件判断光源闪烁频率，从而控制快门速度，避免banding出现。但这种方式中硬件判断光源闪烁频率的准确性较低，并且无法适应不同频率的光源，甚至复杂光源，因此由于适用性差导致不能在成像时完全避免banding的出现。

相关技术中由于很难直接从硬件控制方面避免出现banding现象，因此还有一些方案中会通过电子设备自动确定的反冲带值判别拍摄是否发生banding。但由于光源的复杂性，自动确定的反冲带值适应性较低，因此通过这种方式判别拍摄是否产生banding的准确性也较低。

针对上述相关技术中存在的至少一个问题，本申请实施例提供了一种频闪条带信息识别方法、装置、电子设备和可读存储介质。

需要说明的是，本申请实施例中的频闪条带信息识别方法的步骤可以通过具有拍摄功能的电子设备执行，该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，具有拍摄功能的移动电子设备可以为数码相机(Digital Still Camera，DSC，简称：Digital Camera，DC)、手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，具有拍摄功能的非移动电子设备可以为个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的频闪条带信息识别方法进行详细地说明。

图1示出的是本申请实施例提供的频闪条带信息识别方法的流程示意图。如图1所示，方法可以包括步骤S101～S104：

S101：获取拍摄预览图像。

拍摄预览图像可以是用户通过电子设备拍摄时的预览图像。

S102：根据拍摄预览图像，确定其对应预设成像方向的像素均值向量。

预设成像方向可以为电子设备拍摄时快门的图像传感器(sensor)的扫描方向。由于每个电子设备的快门扫描方向固定，如从上到下扫描以逐行曝光像素成像，所以每帧拍摄图像的成像方向相同。

本申请的发明人发现，由于频闪banding与电子设备的图像传感器扫描方向有关，因此在成像时，图像的banding只会出现带状的情况，即使受复杂光源影像，banding的带状性依旧存在。

基于上述发现，本步骤中，对拍摄预览图像进行对应其预设成像方向的数据处理，计算得到对应其预设成像方向上的像素均值向量，以通过后续对像素均值向量的特征提取处理，进而快速得到是否在banding的判断结果。

S103：根据像素均值向量提取向量特征信息，得到均值编码向量信息。

对像素均值向量进行特征提取，提取出该对应成像方向的像素均值向量的向量特征，得到均值编码向量信息。

由于像素均值向量是按照成像方向计算得到的，而拍摄预览图像出现的banding具有带状性的特征，所以进行向量特征信息提取后，可以一定程度上去掉无关特征的影响，得到相关性较高的向量特征信息，用于识别图像是否产生banding时，可以更好的捕捉对应每帧图像中的banding带状信息，提高对图像中banding识别的准确性和效率。

S104.在根据均值编码向量信息确定拍摄预览图像中存在频闪条带的情况下，将均值编码向量信息与对拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和/或强度信息。

如果根据均值编码向量信息进行判断后，确定拍摄预览图像中存在频闪条带，则将均值编码向量信息与对拍摄预览图像提取的图像特征信息融合，通过像素均值向量特征与图像特征信息融合，通过信息特征更为丰富的融合数据，识别出频闪条带的位置和/或强度信息。

在本申请实施例中，能够通过对拍摄预览图像进行检测，根据拍摄预览图像确定其对应预设成像方向的像素均值向量，根据像素均值向量提取向量特征信息，得到均值编码向量信息，并根据均值编码向量信息判断是否存在频闪条带。由于频闪条带的产生与图像成像方向有关，因此本申请实施例基于对应成像方向的像素均值向量提取特征信息，能够针对每一帧预览图像得到更为准确的频闪条带识别结果。并且本申请实施例在判断存在频闪条带的情况下，将均值编码向量信息与拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和强度信息；本申请实施例将频闪条带信息的识别精确到位置和强度，利于基于这些信息去除频闪条带得到无banding现象的图像，继而提高电子设备拍摄的成片率。

为提高对拍摄预览图像频闪条带信息识别的准确性，本申请实施例通过步骤S101得到拍摄预览图像之后，在通过步骤S102进行对拍摄预览图像的数据处理时，可以包括以下步骤S201～S204：

S201:将拍摄预览图像灰度化。

拍摄预览图像灰度化，即将图像每个像素点的RGB(R：Red，G：Green，B：Blue)三个分量统一成同一个值，简化图像的处理难度。

S202：获取拍摄预览图像对应其预设成像方向的第一像素均值向量。

拍摄预览图像对应其预设成像方向统计图像中的像素均值，得到第一像素均值向量。

S203：获取子图像对应预设成像方向的第二像素均值向量，子图像为多个，多个子图像为按照预设成像方向对拍摄预览图像分割得到。

由于光源的闪烁特性，一般情况下光源呈现周期性的亮度变化，这种亮度变化可能会一定程度的反映在图像产生的banding中，并且为了降低图像本身因素(如图像背景)对后续检测结果造成的影响，故而本步骤中，将拍摄预览图像按照预设成像方向进行切割，得到多个子图像。如图2所示，将拍摄预览图像201按照从上到下的扫描方向，切割为5个子图像202。

示例性的，为降低计算复杂度，切割时各子图像的尺寸大小相等，其中尺寸大小的单位为像素。在其他示例中，拍摄预览图像的切割数量可以不限，且切割的子图像大小也可以不相等。

对切割后的子图像分别按照预设成像方向计算像素均值，得到各个子图像在预设成像方向上的像素均值向量，即得到多个子图像的向量像素均值。

S204：将第一像素均值向量和第二像素均值向量进行归一化处理。

将第一像素均值向量和第二像素均值向量中的像素均值进行归一化处理，使得每个像素均值处于适合的预设阈值范围，可以加快后续处理过程的效率。

得到上述能够反映拍摄预览图像全局信息的第一像素均值向量和反映各局部信息的第二像素均值向量后，可以通过步骤S103进行向量特征提取。

为提高像素均值向量特征提取的效率和对向量特征分析的准确性，本申请实施例中通过预设的神经网络进行特征的提取和识别。

示例性的，该神经网络可以包括第一模型和第二模型，其中第一模型可以用于图像特征提取和banding具体信息的识别，第二模型用于像素均值向量特征提取和识别是否存在banding。

示例性的，参考图3所示，第二模型可以包括全连接层(Fully Connected Layer)和分类器，则通过步骤S103根据像素均值向量提取向量特征信息，得到均值编码向量信息中，具体可以包括步骤S301～S302：

S301：提取所述第一像素均值向量和所述第二像素均值向量的向量特征信息；

S302：将第一像素均值向量的向量特征信息和第二像素均值向量的向量特征信息连接，得到均值编码向量信息。

结合图2所示的例子进行说明。通过步骤S102对图2所示的拍摄预览图像切割处理后，可以得到一个包含全局像素信息的第一像素均值向量和五个包含局部像素信息的第二像素均值向量。再结合图3所示，将上述的六个像素均值向量301输入第二模型，在第二模型中经过全连接层302提取向量特征信息并整合，可以得到将每个像素均值向量的向量特征连接在一起的均值编码向量信息303。

本步骤中，得到均值编码向量信息的过程，是对于图像均值向量进行编码和信息统一的过程，可以更好的表示出图像的带状数据信息。

并且本步骤中，上述的六个像素均值向量经过全连接层302后，能够将六个向量数据映射为固定长度的特征向量(即均值编码向量)，该均值编码向量信息中保留了拍摄预览图像中感兴趣的关键信息，忽略位置等无关信息，进而利于快速计算拍摄预览图像的特征，判定是否存在banding。

为提高判定图像是否存在banding的效率，示例性的，在上述步骤S302后，该频闪条带信息识别方法还包括：

S303.通过二分类预测算法对均值编码向量信息分类，根据分类结果确定拍摄预览图像中是否存在频闪条带。

示例性的，可以通过第二模型执行步骤S303，其中，第二模型中包括的分类器可以为通过二分类预测算法实现的二分类器，二分类预测算法可以为softmax函数(即归一化指数函数)。

参考图3，将步骤S302得到的均值编码向量信息303再接入全连接层304和softmax函数，其中，softmax函数可以用于对数据进行逻辑回归处理，得到二分类的类别输出结果。本示例中，将均值编码向量信息经过softmax函数处理，输出的分类结果包括两个概率值p1和p2，p1表示图像中存在banding的概率，p2表示图像中没有banding的概率，p1和p2之和为1。

若p1的概率值大于p2，则表示图像存在banding，执行进行步骤S104；反之，若p1的概率小于p2，则表示图像不存在banding，可以直接输出拍摄预览图像，得到最终的成像。这样可以快速准确判断出拍摄预览图像是否存在banding，进而可以避免输出具有频闪banding的图像，还可以避免电子设备在拍摄图像没有banding时进行后续不必要的banding去除操作，保障拍摄效率。

并且，如果识别出拍摄预览图像存在频闪banding，可以取消继续输出拍摄图像，也可以通过banding去除手段消除频闪banding后，再输出拍摄图像，从而提高电子设备的拍摄成片率。

为了在确定拍摄预览图像存在频闪banding的情况下，有针对性的消除图像中的频闪banding，本申请实施例中可以基于第一模型执行步骤S104来识别图像中频闪条带的位置和/或强度。具体的，如图4所示，步骤S104可以包括步骤S401～S403：

S401.在确定拍摄预览图像中存在频闪条带的情况下，通过第一模型提取拍摄预览图像和子图像的图像特征信息。

示例性的，第一模型可以为神经网络，神经网络包括第一网络层，第一网络层至少包括卷积层，还可以包括池化层。其中，卷积层包括多个依次连接的带状卷积核，每个带状卷积核包括两个非对称卷积块，多个带状卷积核大小不同。

步骤S401通过第一模型提取所述拍摄预览图像和所述子图像的图像特征信息中，具体可以包括S4011～S4015：

S4011：统一拍摄预览图像和对应的多个子图像的尺寸大小。

示例性的，对于输入的拍摄预览图像以及多个不同图像区域的子图像，统一图像尺寸大小，以降低后续神经网络对图像的处理复杂度。例如将一张拍摄预览图像和五张子图像的尺寸大小，统一为512×512像素大小。

S4012.将拍摄预览图像输入第一网络层，通过多个带状卷积核提取图像特征，得到拍摄预览图像的图像特征；以及

S4013.将所述子图像输入所述第一网络层，通过所述多个带状卷积核提取图像特征，得到所述子图像的图像特征；

S4014.将所述拍摄预览图像的图像特征和子图像的图像特征连接，得到图像特征编码信息，

S4015.将所述图像特征编码信息确定为所述图像特征信息。

将拍摄预览图像和多个子图像一一输入第一网络层，通过步骤S4012～S4012使每个图像均分别通过第一网络层中卷积层的多个带状卷积核处理，然后经过池化层，得到提取出对应图像特征的二维信息，然后将各个二维信息映射为固定长度的向量，得到图像特征编码信息。

以上述一张拍摄预览图像和五张对应子图像的例子进行说明，每个图像在第一网络层的处理过程包括：

参考图5，首先对输入第一网络层的图像501进行全局的卷积操作，卷积核可以采用标准方形卷积核，如3×3大小，全局卷积后得到第一矩阵(图中未标示)。第一矩阵再被带状卷积核进行二次卷积操作，例如该带状卷积核可以由一个7×1和1×7的两个非对称卷积块组成。由于带状的卷积核可以更好的学习到图像的带状banding信息，且两个非对称卷积块可以等效于相同尺寸的标准方形卷积核，不会增加时间开销，同时相对于标准方形卷积核可以增强特征提取精度，因此本实施例中，通过带状卷积核提取图像的特征。

第一矩阵分别经过第一带状卷积核502对应的两个非对称卷积块(如7×1和1×7的卷积块)，利用卷积的可加性，则可以得到与7×7方形核等效的第二矩阵。之后第二矩阵分别经过第二带状卷积核503对应的两个非对称卷积块(如5×1和1×5的卷积块)，可以得到与5×5方形核等效的第二矩阵。第二矩阵分别经过第三带状卷积核504对应的两个非对称卷积块(如3×1和1×3的卷积块)，可以得到与3×3方形核等效的第三矩阵，最后通过池化层505进行全局平均池化，提取出图像的二维信息(也即图像特征第四矩阵)。

对拍摄预览图像和各个子图像分别进行上述的图像特征提取，分别得到各个图像的图像特征，每个图像的图像特征为二维信息。将各个图像对应的二维信息映射为一个固定长度的特征向量，即图像特征编码信息506，将该图像特征编码信息确定为图像特征信息进行后续S402～S403的步骤。

S402.将所述均值编码向量信息与所述图像特征信息融合，得到融合特征信息。

示例性的，第一模型除了包括上述进行图像特征提取的第一网络层外，还可以包括进行banding具体信息的识别第二网络层，该第二网络层至少包括全连接层和逻辑回归函数。

拍摄预览图像的不同区域对应的图像(包括全局图像和局部的子图像)，有不同的感受野信息，多区域的特征信息融合能够辅助神经网络进行更准确的判断。因此本示例中，利用包含全局图像特征和各局部图像特征的图像特性编码信息506进行banding信息的计算，并且利用图像的均值编码向量信息507提供一定的banding信息。

本步骤中，通过第二网络层的全连接层融合图像特征编码信息506和均值编码向量507，得到图像特征和像素均值特征的融合数据508。

S403.根据融合特征信息回归预测，得到频闪条带在所述拍摄预览图像中的位置和/或强度信息。

示例性的，回归预测可以是对融合数据508进行Logistic回归，得到W×1的向量509，其中，W×1的向量509中W表示对应图像的宽度，该向量为一维向量。全局图像和子图像中的宽边一致，经过对融合数据的回归预测后，W×1的向量中包含的数据对应不同的图像位置，每个位置对应的数据范围在0-1之间。每个图像区域位置的数值越接近1，说明banding的强度越强，反之，每个图像区域位置的数值越接近0，则banding的强度越弱。

通过上述步骤得到反映拍摄预览图像的banding位置和banding强度的向量后，本申请实施例的方法还可以包括步骤S105～S107：

S105.在得到频闪条带在所述拍摄预览图像中的位置信息的情况下，根据位置信息消除频闪条带；

S106.在得到频闪条带在拍摄预览图像中的强度信息的情况下，根据强度信息消除频闪条带；

S107.显示消除频闪条带的目标图像。

示例性的，通过神经网络学习图像中存在频闪条带的位置和强度，去除banding，得到消除频闪条带的目标图像，显示在电子设备屏幕上。或者可以通过确定的频闪条带的位置和强度调整电子设备的拍摄参数(如快门速度)重新获取不存在频闪banding的目标图像。

本实施例的频闪条带信息识别方法，可以在单张预览图像上快速准确的判断出图像是否存在banding现象，一方面可以避免电子设备在拍摄图像中没有banding时进行不必要的操作，另一方面可以根据banding检测结果，辅助去除图像中的banding，从而给用户呈现出无banding的成像效果。

在其他实施例中，还可以通过步骤S101～S104进行多帧图像的预测。示例性的，在步骤S101获取拍摄预览图像也后，步骤S201具体可以包括：

S501：获取拍摄预览图像对应预设成像方向的第一像素均值向量和第一像素均值向量插值。

计算拍摄预览图像对应预设成像方向的第一像素均值向量和该像素均值向量的插值，相当于计算当前帧拍摄预览图像像素均值，并得到该帧拍摄预览图像的下一帧插值图像的像素均值。

S502.获取子图像对应预设成像方向的第二像素均值向量和第二像素均值向量插值，子图像为多个，多个子图像为按照预设成像方向对拍摄预览图像分割得到。

对拍摄预览图像按照预设成像方向进行分割，得到多个子图像，每个子图像计算第二像素均值向量，并计算该第二像素均值向量的差值，相当于计算当前帧各子图像像素均值，并得到该帧子图像的下一帧插值子图像的像素均值。

通过各像素均值向量的差值，模拟当前帧拍摄预览图像的下一帧拍摄图像，进而形成连续帧图像。

S503.将第一像素均值向量、第一像素均值向量插值、第二像素均值向量以及第二像素均值向量插值确定为像素均值向量。

将第一像素均值向量、第一像素均值向量插值、第二像素均值向量以及第二像素均值向量插值确定为像素均值向量后，该像素均值向量为连续帧图像的向量，将该向量执行后续步骤S103～S104，可以识别出连续帧图像中是否存在banding以及banding的位置和/或强度，进而模拟出拍摄过程中banding的变化过程，可用于预测后续图像拍摄时的banding情况。

应理解，本实施例中，基于连续帧图像进行上述步骤S103和S104的处理，与上述基于单张拍摄预览图像进行步骤S103和S104的处理的过程相同，为避免重复，这里不再赘述。

需要说明的是，本申请实施例提供的频闪条带信息识别方法，执行主体可以为频闪条带信息识别装置，或者该频闪条带信息识别装置中的用于执行频闪条带信息识别方法的控制模块。本申请实施例中以频闪条带信息识别装置执行频闪条带信息识别方法为例，说明本申请实施例提供的频闪条带信息识别装置。

图6示出了本申请实施例提供的一种频闪条带信息识别装置，装置包括：

获取模块601，用于获取拍摄预览图像；

第一确定模块602，用于根据所述拍摄预览图像，确定其对应预设成像方向的像素均值向量；

第一提取模块603，用于根据所述像素均值向量提取向量特征信息，得到均值编码向量信息；

融合模块604，用于在根据所述均值编码向量信息确定所述拍摄预览图像中存在频闪条带的情况下，将所述均值编码向量信息与对所述拍摄预览图像提取的图像特征信息融合，得到所述频闪条带的位置和/或强度信息。

在本申请实施例中，能够通过对拍摄预览图像进行检测，根据拍摄预览图像确定其对应预设成像方向的像素均值向量，根据像素均值向量提取向量特征信息，得到均值编码向量信息，并根据均值编码向量信息判断是否存在频闪条带。由于频闪条带的产生与图像成像方向有关，因此本申请实施例基于对应成像方向的像素均值向量提取特征信息，能够针对每一帧预览图像得到更为准确的频闪条带识别结果。并且本申请实施例在判断存在频闪条带的情况下，将均值编码向量信息与拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和强度信息；本申请实施例将频闪条带信息的识别精确到位置和强度，利于基于这些信息去除频闪条带得到无banding现象的图像，继而提高电子设备拍摄的成片率。

可选的，为提高对拍摄预览图像频闪条带信息识别的准确性，第一确定模块602具体可以包括：

第一获取子模块6021，用于获取所述拍摄预览图像对应预设成像方向的所述第一像素均值向量；以及，

第二获取子模块6022，用于获取子图像对应预设成像方向的所述第二像素均值向量，所述子图像为多个，多个子图像为按照所述预设成像方向对所述拍摄预览图像分割得到。

为提高像素均值向量特征提取的效率和对向量特征分析的准确性，本申请实施例中通过预设的神经网络进行特征的提取和识别。

示例性的，该神经网络可以包括第一模型和第二模型，其中第一模型可以用于图像特征提取和banding具体信息的识别，第二模型用于像素均值向量特征提取和识别是否存在banding。

参考图3所示，第二模型可以包括全连接层(Fully Connected Layer)和分类器，第二模型中包括的分类器可以为通过二分类预测算法实现的二分类器，二分类预测算法可以为softmax函数(即归一化指数函数)。对应的，第一提取模块603可以包括：

第一提取子模块6031，用于提取所述第一像素均值向量和所述第二像素均值向量的向量特征信息；

第一连接子模块6032，用于将第一像素均值向量的向量特征信息和第二像素均值向量的向量特征信息连接，得到均值编码向量信息。

第一确定子模块6033，用于通过二分类预测算法对所述均值编码向量信息分类，根据分类结果确定所述拍摄预览图像中是否存在频闪条带。

本示例可以快速准确判断出拍摄预览图像是否存在banding，进而可以避免输出具有频闪banding的图像，还可以避免电子设备在拍摄图像没有banding时进行后续不必要的banding去除操作，保障拍摄效率。

并且，如果识别出图像存在频闪banding，可以取消继续输出拍摄图像，也可以通过banding去除手段消除频闪banding后，再输出拍摄图像，从而提高电子设备的拍摄成片率。

为了有针对性的消除图像中的频闪banding，本申请实施例中可以基于第一模型通过第一融合模块604来识别图像中频闪条带的位置和/或强度。

可选的，第一模型可以为神经网络，神经网络包括第一网络层，第一网络层至少包括卷积层，还可以包括池化层。其中，卷积层包括多个依次连接的带状卷积核，每个带状卷积核包括两个非对称卷积块，多个带状卷积核大小不同。

可选的，第一模型除了包括上述进行图像特征提取的第一网络层外，还可以包括进行banding具体信息的识别第二网络层，该第二网络层至少包括全连接层和逻辑回归函数。

对应的，第一融合模块604可以包括：

第二提取子模块6041，用于在确定拍摄预览图像中存在频闪条带的情况下，通过第一模型提取拍摄预览图像和子图像的图像特征信息；

融合子模块6042，用于将均值编码向量信息与图像特征信息融合，得到融合特征信息；

预测子模块6043，用于根据融合特征信息回归预测，得到频闪条带在所述拍摄预览图像中的位置和/或强度信息。

可选的，装置还可以包括：

消除模块605，用于在得到所述频闪条带在所述拍摄预览图像中的位置信息的情况下，根据所述位置信息消除所述频闪条带；在得到所述频闪条带在所述拍摄预览图像中的强度信息的情况下，根据所述强度信息消除所述频闪条带；

显示模块606，用于显示消除所述频闪条带的目标图像。

本实施例的频闪条带信息识别装置，可以在单张预览图像上快速准确的判断出图像是否存在banding现象，一方面可以避免电子设备在拍摄图像中没有banding时进行不必要的操作，另一方面可以根据banding检测结果，辅助去除图像中的banding，从而给用户呈现出无banding的成像效果。

本申请实施例中的频闪条带信息识别装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为数码相机、手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的频闪条带信息识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的频闪条带信息识别装置能够实现图1至图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选的，如图7所示，本申请实施例还提供一种电子设备700，包括处理器701，存储器702，存储在存储器702上并可在所述处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述频闪条带信息识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，输入单元804，用于获取拍摄预览图像；

处理器810，用于根据拍摄预览图像，确定其对应预设成像方向的像素均值向量；以及

根据像素均值向量提取向量特征信息，得到均值编码向量信息；

在根据均值编码向量信息确定拍摄预览图像中存在频闪条带的情况下，将均值编码向量信息与对拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和/或强度信息。

本实施例的电子设备，能够通过对拍摄预览图像进行检测，根据拍摄预览图像确定其对应预设成像方向的像素均值向量，根据像素均值向量提取向量特征信息，得到均值编码向量信息，并根据均值编码向量信息判断是否存在频闪条带。由于频闪条带的产生与图像成像方向有关，因此本申请实施例基于对应成像方向的像素均值向量提取特征信息，能够针对每一帧预览图像得到更为准确的频闪条带识别结果。并且本申请实施例在判断存在频闪条带的情况下，将均值编码向量信息与拍摄预览图像提取的图像特征信息融合，得到频闪条带的位置和强度信息；本申请实施例将频闪条带信息的识别精确到位置和强度，利于基于这些信息去除频闪条带得到无banding现象的图像，继而提高电子设备拍摄的成片率。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述频闪条带信息识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述频闪条带信息识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种频闪条带信息识别方法，其特征在于，所述方法包括：

获取拍摄预览图像；

根据所述拍摄预览图像，确定其对应预设成像方向的像素均值向量；

根据所述像素均值向量提取向量特征信息，得到均值编码向量信息；

在根据所述均值编码向量信息确定所述拍摄预览图像中存在频闪条带的情况下，将所述均值编码向量信息与对所述拍摄预览图像提取的图像特征信息融合，得到所述频闪条带的位置和/或强度信息。

2.根据权利要求1所述的方法，其特征在于，所述像素均值向量包括第一像素均值向量和第二像素均值向量，所述根据所述拍摄预览图像，确定其对应预设成像方向的像素均值向量，包括：

获取所述拍摄预览图像对应预设成像方向的所述第一像素均值向量；以及，

获取子图像对应预设成像方向的所述第二像素均值向量，所述子图像为多个，多个子图像为按照所述预设成像方向对所述拍摄预览图像分割得到。

3.根据权利要求1所述的方法，其特征在于，所述根据所述拍摄预览图像，确定其对应预设成像方向的像素均值向量，包括：

获取所述拍摄预览图像对应预设成像方向的第一像素均值向量和第一像素均值向量插值；

获取子图像对应预设成像方向的第二像素均值向量和第二像素均值向量插值，所述子图像为多个，多个子图像为按照所述预设成像方向对所述拍摄预览图像分割得到；

将所述第一像素均值向量、第一像素均值向量插值、第二像素均值向量以及第二像素均值向量插值确定为所述像素均值向量。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述像素均值向量提取向量特征信息，得到均值编码向量信息，包括：

提取所述第一像素均值向量和所述第二像素均值向量的向量特征信息；

将第一像素均值向量的向量特征信息和第二像素均值向量的向量特征信息连接，得到均值编码向量信息。

5.根据权利要求1所述的方法，其特征在于，在所述根据所述像素均值向量提取向量特征信息，得到均值编码向量信息之后，所述方法还包括：

通过二分类预测算法对所述均值编码向量信息分类，根据分类结果确定所述拍摄预览图像中是否存在频闪条带。

6.根据权利要求2或3所述的方法，所述在根据所述均值编码向量信息确定所述拍摄预览图像中存在频闪条带的情况下，将所述均值编码向量信息与对所述拍摄预览图像提取的图像特征信息融合，得到所述频闪条带的位置和/或强度信息，包括：

在确定所述拍摄预览图像中存在频闪条带的情况下，通过第一模型提取所述拍摄预览图像和所述子图像的图像特征信息；

将所述均值编码向量信息与所述图像特征信息融合，得到融合特征信息；

根据所述融合特征信息回归预测，得到所述频闪条带在所述拍摄预览图像中的位置和/或强度信息。

7.根据权利要求6所述的方法，其特征在于，所述第一模型为神经网络，所述神经网络包括第一网络层，第一网络层至少包括卷积层，所述卷积层包括多个依次连接的带状卷积核，每个带状卷积核包括两个非对称卷积块，多个带状卷积核大小不同；

所述通过第一模型提取所述拍摄预览图像和所述子图像的图像特征信息，包括：

将所述拍摄预览图像输入所述第一网络层，通过所述多个带状卷积核提取图像特征，得到所述拍摄预览图像的图像特征；

将所述子图像输入所述第一网络层，通过所述多个带状卷积核提取图像特征，得到所述子图像的图像特征；

将所述拍摄预览图像的图像特征和子图像的图像特征连接，得到图像特征编码信息，

将所述图像特征编码信息确定为所述图像特征信息。

8.根据权利要求1所述的方法，其特征在于，在所述得到所述频闪条带在所述拍摄预览图像中的位置和/或强度信息之后，所述方法还包括：

在得到所述频闪条带在所述拍摄预览图像中的位置信息的情况下，根据所述位置信息消除所述频闪条带；

在得到所述频闪条带在所述拍摄预览图像中的强度信息的情况下，根据所述强度信息消除所述频闪条带；

显示消除所述频闪条带的目标图像。

9.一种频闪条带信息识别装置，其特征在于，所述装置包括：

获取模块，获取拍摄预览图像；

第一确定模块，根据所述拍摄预览图像，确定其对应预设成像方向的像素均值向量；

第一提取模块，用于根据所述像素均值向量提取向量特征信息，得到均值编码向量信息；

融合模块，用于在根据所述均值编码向量信息确定所述拍摄预览图像中存在频闪条带的情况下，将所述均值编码向量信息与对所述拍摄预览图像提取的图像特征信息融合，得到所述频闪条带的位置和/或强度信息。

10.根据权利要求9所述的装置，其特征在于，所述像素均值向量包括第一像素均值向量和第二像素均值向量，所述第一确定模块具体包括：

第一获取子模块，用于获取所述拍摄预览图像对应预设成像方向的所述第一像素均值向量；以及，

第二获取子模块，用于获取子图像对应预设成像方向的所述第二像素均值向量，所述子图像为多个，多个子图像为按照所述预设成像方向对所述拍摄预览图像分割得到。

11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述的方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-8任一项所述的方法的步骤。

Images