CN114359802B - 处理图像序列的方法及装置 - Google Patents

处理图像序列的方法及装置 Download PDF

Info

Publication number
CN114359802B
CN114359802B CN202111680425.8A CN202111680425A CN114359802B CN 114359802 B CN114359802 B CN 114359802B CN 202111680425 A CN202111680425 A CN 202111680425A CN 114359802 B CN114359802 B CN 114359802B
Authority
CN
China
Prior art keywords
image
recognition
images
image sequence
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111680425.8A
Other languages
English (en)
Other versions
CN114359802A (zh
Inventor
王瑶
张珏
程和平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jingruikang Molecular Medicine Technology Co ltd
Original Assignee
Nanjing Jingruikang Molecular Medicine Technology Co ltd
Filing date
Publication date
Application filed by Nanjing Jingruikang Molecular Medicine Technology Co ltd filed Critical Nanjing Jingruikang Molecular Medicine Technology Co ltd
Priority to CN202111680425.8A priority Critical patent/CN114359802B/zh
Publication of CN114359802A publication Critical patent/CN114359802A/zh
Application granted granted Critical
Publication of CN114359802B publication Critical patent/CN114359802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本申请公开了一种处理图像序列的方法及装置。所述方法包括：利用第一神经网络对所述图像序列进行多次识别，其中，所述第一神经网络在所述多次识别中采用的模型参数不同；根据所述多次识别，确定所述第一神经网络对所述图像序列中的图像的识别结果；利用多种识别算法对所述图像序列进行多视角识别；根据所述多视角识别，确定所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性；根据所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性，从所述图像序列中选取第一图像集合，其中，所述第一图像集合中的图像的识别结果无需进行人工质检。

Description

处理图像序列的方法及装置
技术领域
本申请涉及计算机技术领域，具体涉及一种处理图像序列的方法及装置。
背景技术
随着计算机技术的发展，利用基于神经网络的机器视觉对图像序列进行自动识别已经得到广泛的应用。但机器视觉仍然不能达到人眼的准确率。因此，在当前的大数据高频率采集条件下，仍需要通过遍历所有图像帧的识别结果的方式进行人工质检。这样一来，就导致了人工质检的工作量大、效率低的问题。
发明内容
为了解决上述问题，本申请实施例提供一种处理图像序列的方法及装置，以降低人工质检的工作量，提高人工质检的效率。
第一方面，提供一种处理图像序列的方法，包括：利用第一神经网络对所述图像序列进行多次识别，其中，所述第一神经网络在所述多次识别中采用的模型参数不同；根据所述多次识别，确定所述第一神经网络对所述图像序列中的图像的识别结果；利用多种识别算法对所述图像序列进行多视角识别；根据所述多视角识别，确定所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性；根据所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性，从所述图像序列中选取第一图像集合，其中，所述第一图像集合中的图像的识别结果无需进行人工质检。
在一种可能的实现方式中，所述多种识别算法均为无监督的识别算法。
在一种可能的实现方式中，所述图像序列中的除所述第一图像集合之外的剩余图像构成第二图像集合，所述方法还包括：根据所述多次识别，确定所述第一神经网络对所述第二图像集合中图像序列的图像的识别结果的一致性；根据所述第二图像集合中图像序列的图像的识别结果的一致性，从所述第二图像集合中选取第三图像集合；其中，所述第三图像集合中的图像的识别结果无需进行人工质检。
在一种可能的实现方式中，所述根据所述多次识别，确定所述第一神经网络对所述第二图像集合中图像序列的图像的识别结果的一致性，包括：根据所述多次识别，确定所述第二图像集合中图像序列的每帧图像的多个识别结果；根据所述每帧图像的多个识别结果之间的一致性，确定所述第一神经网络对所述每帧图像的识别结果的一致性。
在一种可能的实现方式中，根据所述多次识别，确定所述第一神经网络对所述第二图像集合中图像序列的图像的识别结果的一致性，包括：根据所述多次识别，确定所述第二图像集合中图像序列的识别结果；根据所述第二图像集合中图像序列的识别结果，确定所述图像序列中的每帧图像的识别结果与所述图像序列中的所述每帧图像的相邻图像的识别结果之间的一致性；根据所述每帧图像的识别结果与所述相邻图像的识别结果之间的一致性，确定所述第一神经网络对所述图像序列中的图像的识别结果的一致性。
在一种可能的实现方式中，所述多次识别中采用的模型参数是通过对所述第一神经网络进行随机失活的方式得到的。
在一种可能的实现方式中，所述图像序列为动物的自由运动视频图像序列。
第二方面，提供一种处理图像序列的装置，包括：第一识别模块，用于利用第一神经网络对所述图像序列进行多次识别，其中，所述第一神经网络在所述多次识别中采用的模型参数不同；第一确定模块，用于根据所述多次识别，确定所述第一神经网络对所述图像序列中的图像的识别结果；第二识别模块，用于利用多种识别算法对所述图像序列进行多视角识别；第二确定模块，用于根据所述多视角识别，确定所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性；第一筛选模块，用于根据所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性，从所述图像序列中选取第一图像集合，其中，所述第一图像集合中的图像的识别结果无需进行人工质检。
在一种可能的实现方式中，所述多种识别算法均为无监督的识别算法。
在一种可能的实现方式中，所述图像序列中的除所述第一图像集合之外的剩余图像构成第二图像集合，所述第一确定模块用于：根据所述多次识别，确定所述第一神经网络对所述第二图像集合中图像序列的图像的识别结果的一致性；所述装置还包括：第二筛选模块，用于根据所述第二图像集合中图像序列的图像的识别结果的一致性，从所述第二图像集合中选取第三图像集合；其中，所述第三图像集合中的图像的识别结果无需进行人工质检。
在一种可能的实现方式中，所述第一确定模块还用于：根据所述多次识别，确定所述第二图像集合中图像序列的每帧图像的多个识别结果；根据所述每帧图像的多个识别结果之间的一致性，确定所述第一神经网络对所述每帧图像的识别结果的一致性。
在一种可能的实现方式中，所述第一确定模块还用于：根据所述多次识别，确定所述第二图像集合中图像序列的识别结果；根据所述第二图像集合中图像序列的识别结果，确定所述图像序列中的每帧图像的识别结果与所述图像序列中的所述每帧图像的相邻图像的识别结果之间的一致性；根据所述每帧图像的识别结果与所述相邻图像的识别结果之间的一致性，确定所述第一神经网络对所述图像序列中的图像的识别结果的一致性。
在一种可能的实现方式中，所述多次识别中采用的模型参数是通过对所述第一神经网络进行随机失活的方式得到的。
在一种可能的实现方式中，所述图像序列为动物的自由运动视频图像序列。
本申请实施例通过利用第一神经网络对图像序列进行识别，同时利用多种识别算法对图像序列进行多视角识别，并根据多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性，从图像序列中选取无需进行人工质检的图像集合，从而降低了需要人工质检的工作量，提高了人工质检的效率。
附图说明
图1是本申请实施例提供的一种处理图像序列的方法的流程示意图。
图2是本申请实施例提供的一种处理图像序列的装置的结构示意图。
图3是本申请实施例提供的一种回收拒绝评价的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。
基于现有技术中的问题，本申请实施例提供了一种处理图像序列的方法，利用第一神经网络对图像序列进行识别，同时利用多种识别算法对图像序列进行多视角识别，并根据多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性，从图像序列中选取无需进行人工质检的图像集合，从而降低了需要人工质检的工作量，提高了人工质检的效率。
本申请实施例适用于视频或图像序列处理分析中。本申请实施例可以应用于图像序列中的生物进行识别和追踪，如对生物的姿态和运动轨迹进行识别和追踪。该生物例如可以是动物，如小鼠。
图1为本申请实施例提供的一种处理图像序列的方法的流程示意图。下面对图1所示的方法的各个步骤进行详细地举例说明。
步骤S11，利用第一神经网络对图像序列进行多次识别。
本申请实施例对第一神经网络模型的类型或结构不做具体限定。作为一个示例，第一神经网络可以为HRNet。作为另一示例，该第一神经网络模型可以为ResNet。
第一神经网络在多次识别中可以采用不同的模型参数。作为一个示例，第一神经网络可以具有多个子模型，每次识别可以采用不同的子模型进行识别。
作为另一个示例，第一神经网络可以是基于随机失活(dropout)的神经网络模型。基于随机失活的神经网络模型在每次识别时会将隐藏层中的部分权重参数随机归零，从而使得每次识别对应的模型参数不完全相同。基于随机失活的神经网络模型进行多次识别，可以以简单的模型的结构得到参数不同的多次识别结果。
在一些实施例中，利用第一神经网络对图像序列进行多次识别，可获得图像序列中的每帧图像的多个识别结果和多个识别结果对应的多个置信度。作为一个示例，利用第一神经网络对图像序列中的小鼠姿态进行多次识别，可以得到图像序列中的每帧图像上的每个关键点的多个识别序列Ap和每个关键点的多个识别序列对应的多个置信度Sk：
其中，i为当前帧的图像序列，N为总的图像预测序列；j为当前的预测次数，K为预测总次数；u为当前的关键点，ω为关键点的总个数；代表第i帧第u个关键点第j次预测的横坐标，代表第i帧第u个关键点第j次预测的纵坐标。
在利用第一神经网络对图像序列进行多次识别之前，还需要对第一神经网络进行模型训练，以对小鼠自由运动的图像序列中的姿态识别为例，示例性地说明其模型训练步骤，具体如下：
步骤1，采集得到小鼠自由运动的图像序列，作为一个示例，小鼠运动的原始视频可以在1080p的摄像头下进行采集，采集时间可以为24h，采集频率可以为30Hz。
步骤2，将小鼠自由运动的图像序列中的每帧图像对应的人工标注关键点坐标Ugt作为训练集：
其中，Nt为训练集中人工标注的关键点图像帧数，ω为关键点的数目。
步骤3，使用初始网络参数D0配置第一神经网络，利用配置初始网络参数D0后的第一神经网络对训练集Ugt进行识别预测，可获得预测结果为Ua：
根据人工标注的关键点坐标和网络预测的关键点的坐标确定预测结果的均方差损失函数f(Ua,Ugt)：
采用批量梯度下降的方法更新参数D0，使得目标函数Fraw(Ua,Ugt)最小，以获取最佳参数D0。即：
其中，γi表示每帧图像差异的权重。
利用获取的最佳参数D0配置第一神经网络。
步骤S12，根据所述多次识别，确定所述第一神经网络对所述图像序列中的图像的识别结果。
利用第一神经网络对图像序列的图像进行多次识别，可以获得第一神经网络对图像序列中的每帧图像的多个识别结果。本申请对第一神经网络对图像序列中的每帧图像的识别结果不做具体限定，例如，可以选择多次识别结果中的某一次识别结果作为第一神经网络对图像序列的识别结果。又例如，还可以将多次识别结果求均值，作为第一神经网络对图像序列的识别结果A：
步骤S13，利用多种识别算法对图像序列进行多视角识别。
在一些实施例中，多种识别算法可以为无监督的识别算法，例如，多种识别算法可以包含但不限于以下算法中的至少两种：集成学习(BOOSTING)，多示例学习跟踪(MultipleInstance Learning，MIL)，核相关滤波(Kernel Correlation Filter，KCF)，对象跟踪算法(Tracking-Learning-Detection，TLD),中值流跟踪(MEDIANFLOW),利用回归网络的目标跟踪算法(Generic Object Tracking Using Regression Networks，GOTURN)，基于最小化平方和误差的目标跟踪算法(Minimum Output Sum of Squared Error，MOSSE)，像素匹配(Pixel-Matching Method)，直方图匹配(Histogram-Matching Method)和哈希匹配(Hash-Matching Method)等。
步骤S14，根据多视角识别，确定多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性；
在一些实施例中，多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性的评价方法可以是：根据多种识别算法对图像序列中的图像的多视角识别，确定图像序列中的图像的多种识别结果；根据多种识别算法对图像序列中的图像的多种识别结果与第一神经网络对图像序列中的图像的识别结果之间的一致性，确定多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性。
在一些实施例中，多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性的评价方法还可以是：从多种识别算法中，选出识别结果误差较小的至少两种识别算法，根据至少两种识别算法对图像序列中的图像的至少两种识别结果与第一神经网络对图像序列中的图像的识别结果之间的一致性，确定多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性。
作为一个示例，从多种识别算法对应的多种识别结果中去除当前识别算法对应的识别结果，然后计算多种识别结果中剩余识别结果的方差。按照上述方法可以计算确定多种识别算法对应的多个方差。将多个方差按照从大到小排序，可以选取排位靠前的至少两种识别算法对应的识别结果作为对图像序列中的图像的至少两种识别结果，利用至少两种识别算法对图像序列中的图像的至少两种识别结果与第一神经网络对图像序列中的图像的识别结果之间的一致性，确定多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性。
更具体的说，可以将多种识别算法构成集合D：
D＝{D1,D2,…,Dm}
其中，m为多种识别算法的种类。
根据多种识别算法对图像序列中的图像的多视角识别，确定多种识别算法对图像序列的多种识别结果Dv：
从多种识别算法对图像序列的多种识别结果中，去除当前识别算法对应的识别结果，然后计算多种识别结果中剩余识别结果的方差
其中，表示除第v′种识别算法的识别结果外，剩余(m-1)种识别算法的识别结果的方差；Z2的数量为m-1，代表除第v′种识别算法之外的其他(m-1)种识别算法。
去除第v′种识别算法的识别结果后，若变小，则说明第v′种识别算法的识别结果的误差较大。若变大，则说明第v′种识别算法的识别结果的误差较小。按照上述方法，将获得的m种识别算法对应的m个方差将m种识别算法对应的m个方差按照从大到小排序。作为一个示例，多种识别算法可以为识别结果误差较小的前m′种识别算法，其中，m′的个数至少为2。
将m′种识别算法对应的m′种识别结果分别与第一神经网络对图像序列中的图像的识别结果作差，得到差值Gv：
将m′种识别结果对应的m′个差值求平均，可得到m′种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性评价系数
其中，θrc为预设阈值。
更具体的说，如果一致性评价参数小于阈值θrc，则认为m′种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性较高。否则，则认为m′种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性较低。
步骤S15，根据多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性，从图像序列中选取第一图像集合A1，其中，第一图像集合A1中的图像的识别结果无需进行人工质检。
在一些实施例中，图像序列中的图像的识别结果集合A中除第一图像集合A1之外的剩余图像可以构成第二图像集合A2，继续参见图1，本申请实施例提供的一种处理图像序列的方法10还可以包括步骤S16-S17，下面对图1所示的方法的步骤S16-S17进行详细地举例说明。
步骤S16，根据多次识别，确定第一神经网络对第二图像集合A2中图像序列的图像的识别结果的一致性。
在一些实施例中，第一神经网络对第二图像集合A2中图像序列的图像的识别结果的一致性的评价方法可以是：根据第一神经网络对第二图像集合A2中图像序列的多次识别，确定该图像序列中的每帧图像的多个识别结果；根据该每帧图像的多个识别结果之间的一致性，确定第一神经网络对第二图像集合A2中的每帧图像的识别结果的一致性。
作为一个示例，每帧图像的多个识别结果之间的一致性可以利用多个识别结果Ap对应的多个置信度SK判断。根据每帧图像上的每个关键点的多次识别结果对应的多个置信度，计算多个置信度的均值将一致性评价参数与预设阈值θraw比较，判断第一神经网络对每帧图像上的每个关键点的多次识别结果的一致性：
更具体的说，如果图像序列中的每帧图像上的每个关键点的置信度均值大于阈值θraw，则认为第一神经网络对该帧图像上的该关键点的多次识别结果一致性较高，则第一神经网络对该帧图像上的该关键点的识别结果(即为识别输出结果)判定为1。如果该帧图像上的该关键点的置信度均值小于阈值θraw，则认为第一神经网络对该帧图像上的该关键点的识别结果的一致性较低，则该帧图像上的该关键点的识别结果判定为0。即：
利用上述判定规则，可以将第一神经网络对第二图像集合A2中的每帧图像上的每个关键点的识别结果的划分为0/1序列E：
根据第一神经网络对每帧图像上的每个关键点的识别结果的0/1序列，可以作为判别器(即，上述判定规则)对识别结果正确和错误的初步分类。
作为另一个示例，每帧图像的多个识别结果之间的一致性也可以根据每帧图像上的每个关键点的多次识别结果对应的多个置信度的均值和方差进行评价。根据多个置信度的均值和方差确定每帧图像上每个关键点的置信度的均值和方差的比值将一致性评价参数与预设阈值θraw2作比较，判断第一神经网络对得到每帧图像的每个关键点的多次识别结果的一致性：
更具体的说，如果一致性评价参数大于阈值θraw2，则认为第一神经网络对图像序列中的帧图像上的关键点的多次识别结果的一致性较高。否则，则认为多次识别结果的一致性较低。
在一些实施例中，第一神经网络对图像序列中的图像的识别结果的一致性的评价方法还可以是：根据多次识别，确定图像序列的识别结果；根据图像序列的识别结果，确定图像序列中的每帧图像的识别结果与图像序列中的每帧图像的相邻图像的识别结果之间的一致性；根据每帧图像的识别结果与图像序列中的每帧图像的相邻图像的识别结果之间的一致性，确定第一神经网络对图像序列中的图像的识别结果的一致性。
作为一个示例，根据图像序列的识别结果，确定图像序列中的每帧图像的识别结果与图像序列中的每帧图像的相邻图像的识别结果之间的一致性，可以是：根据每帧图像的识别结果与图像序列中的每帧图像的相邻图像的识别结果之间的方差将评价参数与预设阈值θraw3作比较，判断图像序列中的每帧图像的识别结果与图像序列中的每帧图像的相邻图像的识别结果之间的一致性：
其中，Z1表示在一段时间范围内的图像序列的连续图像帧数，Z1一般取3-7帧之间；分别表示同一个关键点在连续图像帧数Z1之间的预测结果的横纵坐标的均值。
更具体的说，如果一致性评价参数小于阈值θraw3，则认为图像序列中的每帧图像的识别结果与图像序列中的每帧图像的相邻图像的识别结果之间的一致性较高。否则，则认为图像序列中的每帧图像的识别结果与图像序列中的每帧图像的相邻图像的识别结果之间的一致性较低。
在一些实施例中，第一神经网络对图像序列中的图像的识别结果的一致性评价可以采用一致性评价参数进行评价；也可以采用一致性评价参数进行评价；也可以采用一致性评价参数进行评价；还可以根据综合评价参数进行评价：
其中，α1,α2,α3表示权重；θrj表示综合评价参数的预设阈值。本申请对权重α1,α2,α3和预设阈值θrj的取值范围不做具体限定。
更具体的说，如果一致性评价参数大于阈值θrj，则认为第一神经网络对图像序列中的图像的识别结果的一致性较高。否则，则认为第一神经网络对图像序列中的图像的识别结果的一致性较低。
步骤S17，根据第二图像集合A2中的图像序列的图像的识别结果的一致性，从第二图像集合A2中选取第三图像集合A3；其中，第三图像集合A3中的图像的识别结果无需进行人工质检。
需要说明的是，本申请对上述处理图像序列的方法10的执行顺序不做具体限定。
上文结合图1详细描述了本申请的方法实施例，下面结合图2详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
图2是本申请实施例提供的一种处理图像序列装置的结构示意图。图2中所示的处理图像序列的装置20可以包括第一识别模块21，第一确定模块22，第二识别模块23，第二确定模块24以及第一筛选模块25。下面对这些模块进行详细介绍。
第一识别模块21可以用于利用第一神经网络对图像序列进行多次识别，其中，第一神经网络在多次识别中采用的模型参数不同。
第一确定模块22可以用于根据多次识别，确定第一神经网络对图像序列中的图像的识别结果。
第二识别模块23，可以用于利用多种识别算法对图像序列进行多视角识别；
第二确定模块24，可以用于根据多视角识别，确定多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性；
第一筛选模块25，可以用于根据多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性，从图像序列中选取第一图像集合A1，其中，第一图像集合A1中的图像的识别结果无需进行人工质检。
在一种可能的实现方式中，所述多种识别算法均为无监督的识别算法。
在一种可能的实现方式中，所述图像序列中的除所述第一图像集合A1之外的剩余图像构成第二图像集合A2，所述第一确定模块22用于：根据多次识别，确定第一神经网络对第二图像集合A2中图像序列的图像的识别结果的一致性；图像处理装置20还可以包括：第二筛选模块26，用于根据第二图像集合A2中图像序列的图像的识别结果的一致性，从第二图像集合A2中选取第三图像集合A3；其中，第三图像集合A3中的图像的识别结果无需进行人工质检。
在一种可能的实现方式中，第一确定模块22还用于：根据所述多次识别，确定第二图像集合A2中图像序列的每帧图像的多个识别结果；根据该每帧图像的多个识别结果之间的一致性，确定第一神经网络对该每帧图像的识别结果的一致性。
在一种可能的实现方式中，第一确定模块22还用于：根据多次识别，确定第二图像集合A2中图像序列的识别结果；根据第二图像集合A2中图像序列的识别结果，确定图像序列中的每帧图像的识别结果与图像序列中的每帧图像的相邻图像的识别结果之间的一致性；根据每帧图像的识别结果与相邻图像的识别结果之间的一致性，确定第一神经网络对第二图像集合A2中图像序列的图像的识别结果的一致性。
在一种可能的实现方式中，所述多次识别中采用的模型参数是通过对第一神经网络进行随机失活的方式得到的。
在一种可能的实现方式中，所述图像序列为动物的自由运动视频图像序列。
为了更好的理解本申请，结合图3，对本申请实施例提供的一种处理图像序列的方法10以图形结构的方式进行详细描述。
首先对金标准、拒绝专家、回收专家等相关名词进行定义。
金标准是指对图像序列中的每帧图像上的关键点进行人工标注的结果。
若金标准认为正确，判别器认为是1的识别结果，则认为该识别结果是真阳性。
若金标准认为错误，判别器认为是1的识别结果，则认为该识别结果是假阳性。
若金标准认为正确，判别器认为是0的识别结果，则认为该识别结果是假阴性。
若金标准认为错误，判别器认为是0的识别结果，则认为该识别结果是真阴性。
拒绝专家是指根据第一神经网络对图像序列中的图像的识别结果的一致性拒绝假阳性结果的评价。
回收专家是指根据多种识别算法与第一神经网络对图像序列中的图像的识别结果的一致性回收假阴性结果的评价。
如图3所示，第一神经网络对图像序列中的图像的识别输出结果为集合A，判别器对识别结果集合A进行判别并生成识别正确与否的0/1序列判别器线。根据理论上的金标准结果，识别结果集合A会存在一条理论上的金标准线。根据金标准线和判别器线，识别结果集合A可被划分为真阴性识别结果、真阳性识别结果、假阴性识别结果以及假阳性识别结果。当然，根据判别器的识别结果不同，识别结果集合A也可能不存在假阴性结果和/或假阳性结果。作为一个示例，本申请以存在假阴性结果和假阳性结果的情况为例进行说明。
在一些实施例中，回收专家可以回收假阴性结果，增加真阳性结果。即，可以根据回收专家评价，从识别结果集合A中选取第一图像集合A1，其中，第一图像集合A1中的图像的识别结果无需进行人工质检。
在一些实施例中，识别结果集合A中的除第一图像集合A1之外的剩余图像构成第二图像集合A2。拒绝专家可以拒绝假阳性结果，增加真阴性结果。即，可以根据拒绝专家评价，从第二图像集合A2中选取第三图像集合A3，其中，第三图像集合A3中的图像的识别结果无需进行人工质检。
通过回收拒绝评价，最终可以得到面向客户的高效质检系统，大大减少了人工质检的工作量，提高了人工质检的工作效率。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种处理图像序列的方法，其特征在于，包括：
利用第一神经网络对所述图像序列进行多次识别，其中，所述第一神经网络在所述多次识别中采用的模型参数不同；
根据所述多次识别，确定所述第一神经网络对所述图像序列中的图像的识别结果；
利用多种识别算法对所述图像序列进行多视角识别；
根据所述多视角识别，确定所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性；
根据所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性，从所述图像序列中选取第一图像集合，其中，所述第一图像集合中的图像的识别结果无需进行人工质检。
2.根据权利要求1所述的方法，其特征在于，所述多种识别算法均为无监督的识别算法。
3.根据权利要求1所述的方法，其特征在于，所述图像序列中的除所述第一图像集合之外的剩余图像构成第二图像集合，所述方法还包括：
根据所述多次识别，确定所述第一神经网络对所述第二图像集合中图像序列的图像的识别结果的一致性；
根据所述第二图像集合中图像序列的图像的识别结果的一致性，从所述第二图像集合中选取第三图像集合；其中，所述第三图像集合中的图像的识别结果无需进行人工质检。
4.根据权利要求3所述的方法，其特征在于，所述根据所述多次识别，确定所述第一神经网络对所述第二图像集合中图像序列的图像的识别结果的一致性，包括：
根据所述多次识别，确定所述第二图像集合中图像序列的每帧图像的多个识别结果；
根据所述每帧图像的多个识别结果之间的一致性，确定所述第一神经网络对所述每帧图像的识别结果的一致性。
5.根据权利要求3所述的方法，其特征在于，根据所述多次识别，确定所述第一神经网络对所述第二图像集合中图像序列的图像的识别结果的一致性，包括：
根据所述多次识别，确定所述第二图像集合中图像序列的识别结果；
根据所述第二图像集合中图像序列的识别结果，确定所述图像序列中的每帧图像的识别结果与所述图像序列中的所述每帧图像的相邻图像的识别结果之间的一致性；
根据所述每帧图像的识别结果与所述相邻图像的识别结果之间的一致性，确定所述第一神经网络对所述图像序列中的图像的识别结果的一致性。
6.根据权利要求3-5中任一项所述的方法，其特征在于，所述多次识别中采用的模型参数是通过对所述第一神经网络进行随机失活的方式得到的。
7.根据权利要求1所述的方法，其特征在于，所述图像序列为动物的自由运动视频图像序列。
8.一种处理图像序列的装置，其特征在于，包括：
第一识别模块，用于利用第一神经网络对所述图像序列进行多次识别，其中，所述第一神经网络在所述多次识别中采用的模型参数不同；
第一确定模块，用于根据所述多次识别，确定所述第一神经网络对所述图像序列中的图像的识别结果；
第二识别模块，用于利用多种识别算法对所述图像序列进行多视角识别；
第二确定模块，用于根据所述多视角识别，确定所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性；
第一筛选模块，用于根据所述多种识别算法与所述第一神经网络对所述图像序列中的图像的识别结果的一致性，从所述图像序列中选取第一图像集合，其中，所述第一图像集合中的图像的识别结果无需进行人工质检。
9.根据权利要求8所述的装置，其特征在于，所述多种识别算法均为无监督的识别算法。
10.根据权利要求8所述的装置，其特征在于，所述图像序列中的除所述第一图像集合之外的剩余图像构成第二图像集合，所述第一确定模块用于：根据所述多次识别，确定所述第一神经网络对所述第二图像集合中图像序列的图像的识别结果的一致性；
所述装置还包括：
第二筛选模块，用于根据所述第二图像集合中图像序列的图像的识别结果的一致性，从所述第二图像集合中选取第三图像集合；其中，所述第三图像集合中的图像的识别结果无需进行人工质检。
11.根据权利要求10所述的装置，其特征在于，所述第一确定模块还用于：根据所述多次识别，确定所述第二图像集合中图像序列的每帧图像的多个识别结果；根据所述每帧图像的多个识别结果之间的一致性，确定所述第一神经网络对所述每帧图像的识别结果的一致性。
12.根据权利要求10所述的装置，其特征在于，所述第一确定模块还用于：根据所述多次识别，确定所述第二图像集合中图像序列的识别结果；根据所述第二图像集合中图像序列的识别结果，确定所述图像序列中的每帧图像的识别结果与所述图像序列中的所述每帧图像的相邻图像的识别结果之间的一致性；根据所述每帧图像的识别结果与所述相邻图像的识别结果之间的一致性，确定所述第一神经网络对所述图像序列中的图像的识别结果的一致性。
13.根据权利要求10-12中任一项所述的装置，其特征在于，所述多次识别中采用的模型参数是通过对所述第一神经网络进行随机失活的方式得到的。
14.根据权利要求8所述的装置，其特征在于，所述图像序列为动物的自由运动视频图像序列。
CN202111680425.8A 2021-12-30 处理图像序列的方法及装置 Active CN114359802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111680425.8A CN114359802B (zh) 2021-12-30 处理图像序列的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111680425.8A CN114359802B (zh) 2021-12-30 处理图像序列的方法及装置

Publications (2)

Publication Number Publication Date
CN114359802A CN114359802A (zh) 2022-04-15
CN114359802B true CN114359802B (zh) 2024-07-05

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325445A (zh) * 2018-09-19 2019-02-12 智慧互通科技有限公司 一种车牌识别分类的方法及装置
CN111027347A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 一种视频识别方法、装置和计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325445A (zh) * 2018-09-19 2019-02-12 智慧互通科技有限公司 一种车牌识别分类的方法及装置
CN111027347A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 一种视频识别方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN107133948B (zh) 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN107423690B (zh) 一种人脸识别方法及装置
CN106485215B (zh) 基于深度卷积神经网络的人脸遮挡检测方法
CN110941594B (zh) 一种视频文件的拆分方法、装置、电子设备及存储介质
CN111368683B (zh) 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法
KR101993266B1 (ko) 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
US11804071B2 (en) Method for selecting images in video of faces in the wild
CN111914665B (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
CN105224947B (zh) 分类器训练方法和系统
CN109543760A (zh) 基于图像滤镜算法的对抗样本检测方法
CN110580510B (zh) 一种聚类结果评价方法和系统
US20060257017A1 (en) Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN113034476A (zh) 皮革瑕疵检测方法、系统、储存介质及计算机设备
CN114359802B (zh) 处理图像序列的方法及装置
CN117409347A (zh) 一种基于esnn的早期火灾检测方法
JP2003317084A (ja) 顔画像からの目検出システム、目検出方法および目検出用プログラム
Gibran et al. Analysis of face recognition with fuzzy C-means clustering image segmentation and learning vector quantization
CN114359802A (zh) 处理图像序列的方法及装置
CN114359677A (zh) 处理图像序列的方法及装置
CN113435248A (zh) 口罩人脸识别底库增强方法、装置、设备及可读存储介质
CN113657315A (zh) 人脸图像的质量筛选方法、装置、设备及存储介质
CN112329597A (zh) 一种人脸识别的方法和装置
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant