CN103324618B - 一种基于电子印迹的视频检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于电子印迹的视频检测方法及系统，涉及视频检测领域。所述方法包括步骤：对电子帧进行筛选，删除无关的电子帧；将选中的电子帧映射到相应的视频帧上，然后识别目标视觉标示符。所述系统包括：电子帧筛选单元和识别单元；所述电子帧筛选单元，用于对电子帧进行筛选，删除无关的电子帧；所述识别单元，用于将选中的电子帧映射到相应的视频帧上，然后识别目标视觉标示符。所述基于电子印迹的视频检测方法及系统，通过引入电子印迹对原始电子帧和原始视频帧进行筛选，并结合筛选后的电子帧和视频帧识别目标物体的视觉标示符，解决了在海量视频数据中高效地辨识目标物体的视觉标示符的问题。

Description

一种基于电子印迹的视频检测方法及系统

技术领域

本发明涉及视频检测技术领域，特别涉及一种基于电子印迹的视频检测方法及系统。

背景技术

基于视频的监视系统已经被广泛布置于社会的各个角落，并被用来连续地监控诸如交运中心，学校，政府机构等公共区域。这种系统的目标是在不同地点对目标物体进行识别和跟踪。然而，由于一些挑战的存在，基于视频的监视系统并不总能提供理想的效能。这些挑战如下：(1)海量数据：为了完全覆盖一块大型区域，需要大量的摄像机。随着时间的增长，这些摄像机所产生的图像帧将变得不可控制。(2)目标物体可能在视觉上被遮挡或存在多个不一致的视觉标示符。

下面是两个视频监视的典型工作场景：(1)警官通过分析摄影机拍摄的视频序列对罪犯进行追踪；(2)人们通过检索在公共区域内拍摄的视频序列来寻找失散老人和儿童。在第一个场景中，罪犯可能会有意地隐藏他们的面部，这使得警察必须搜索大量的视频来准确识别罪犯的外貌。在第二个场景中，人们提供的失散老人或儿童的照片也许不是最新的，这就需要大量的时间来处理老照片和当前照片中失散人物的外貌一致性问题。总之，现有基于视频的监视技术需耗费大量人力才能获得较为满意的结果。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提供一种基于电子印迹的视频检测方法及系统，以克服现有基于视频的监视技术需耗费大量人力，并且处理速度较低的问题。

(二)技术方案

为解决上述技术问题，本发明提供一种基于电子印迹的视频检测方法，其包括步骤：

A：对电子帧进行筛选，删除无关的电子帧；

B：将选中的电子帧映射到相应的视频帧上，然后识别目标视觉标示符。

优选地，所述电子帧包括在采集时刻采集到的所有电子信号，每个所述电子信号对应一个电子标示符；所述视频帧包括在采集时刻的采集到的所有视频信号，每个所述视频信号对应一个视觉标示符。

优选地，所述步骤A具体包括步骤：

A1：收集所有所述电子帧中出现的电子标示符，构造矩阵E＝{e_ij}＝(e₁，e₂，...，e_n)^T；所述矩阵E的列是电子标示符的编号，行是所述电子帧的编号；其中，e_ij表示电子帧e_i的第j个元素，如果编号为j的电子标示符出现在电子帧e_i中，则e_ij＝0，否则，e_ij＝1；i，j和n均为自然数；

A2：定义所述矩阵E和所述矩阵E中行向量e_i的求补运算如下：

$\stackrel{\‾}{E}{(\stackrel{\‾}{e_1},\stackrel{\‾}{e_2},...,\stackrel{\‾}{e_n})}^T=\{1-e_{\mathrm{ij}}\};$

定义所述矩阵E中行向量e_i和e_j的合取运算如下：

e_i∩e_j＝(e_i1∧e_j1，e_i2∧e_j2，...，e_in∧e_jn)；

A3：定义矩阵E’＝{e_ij’}，如果目标电子标示符出现在所述矩阵E的行向量e_i中，那么所述矩阵E’的行向e′_i＝e_i，否则 定义e^*是这样一个向量：它在目标电子标示符所在列中的元素是1，其余的元素都为0；

A4：判断所述电子帧中是否存在缺失或者额外的电子标示符，如果否，执行步骤A5；否则执行步骤A6；

A5：从所述矩阵E’中找到一个最小集合P1＝{e_p1’，e_p2’，...，e_pl’}，它的元素e_pi’是所述矩阵E’的行向量，并且l为自然数，将所述最小集合P1作为目标集合，执行步骤A8；

A6：采用平滑法对所述矩阵E进行预处理，得到矩阵E2；

A7：从所述矩阵E2中找出一个最小集合P2＝{e2_p1，e2_p2，...，e2_p1}，它的元素e2_pi是所述矩阵E2的行向量，并且其中τ是预定阈值，将所述最小集合P2作为目标集合；

A8：根据当前目标集合，从所述矩阵E中删除无关的电子帧，将剩余的电子帧作为选中的电子帧。

优选地，所述预定阈值τ大于4。

优选地，所述步骤B具体包括步骤：

B1：将选中的电子帧映射到相应的视频帧上，删除无关的视频帧，得到选中的视频帧；

B2：根据目标电子标示符在每个所述选中的电子帧中的出现和消失的情况，计算每个视觉标示符在相应的所述选中的视频帧中的出现和消失的概率之积，将结果值最大的视觉标示符识别为目标视觉标示符。

优选地，所述步骤B1中，根据时间序列将选中的电子帧映射到相应的视频帧上，删除无关的视频帧，得到选中的视频帧。

优选地，所述步骤B2中，所述视觉标示符在相应的所述选中的视频帧中的出现和消失的概率之积的计算公式如下：

$P({\mathrm{VID}}_i={\mathrm{VID}}^{*})=\mathrm{\ΠP}({\mathrm{VID}}_i\∈v_m)\×\mathrm{\ΠP}({\mathrm{VID}}_i\∉v_n);$

其中，VID_i表示当前待计算的视觉标示符；VID^＊表示目标视觉标示符；v_m表示所述目标电子标示符出现的电子帧对应的视频帧；P(VID_i∈v_m)表示视觉标示符VID_i在视频帧v_m中出现的概率；v_n表示所述目标电子标示符消失的电子帧对应的视频帧；表示视觉标示符VID_i在视频帧v_n中消失的概率。

优选地，所述P(VID_i∈v_m)的计算公式如下：

$P({\mathrm{VID}}_i\∈V_m)=P({\mathrm{VID}}_i={\mathrm{VID}}_j^m,1\≤j\≤k)=\max \left(s_{\mathrm{ij}}\right);$

其中，表示视频帧v_m中编号为j的视觉标示符，j为自然数，k表示视频帧v_m中视觉标示符的总数；s_ij表示视觉标示符VID_i与视觉标示符的相似度。

优选地，所述的计算公式如下：

$P({\mathrm{VID}}_i\∉v_n)=P({\mathrm{VID}}_i\≠{\mathrm{VID}}_j^n,1\≤j\≤k)=1-\max \left(s_{\mathrm{ij}}\right);$

其中，表示视频帧v_n中编号为j的视觉标示符，j为自然数，k表示视频帧v_n中视觉标示符的总数；s_ij表示视觉标示符VID_i与视觉标示符的相似度。

本发明还提供一种基于电子印迹的视频检测系统，所述系统包括：电子帧筛选单元和识别单元；

所述电子帧筛选单元，用于对电子帧进行筛选，删除无关的电子帧；

所述识别单元，用于将选中的电子帧映射到相应的视频帧上，然后识别目标视觉标示符。

(三)有益效果

本发明的基于电子印迹的视频检测方法及系统，通过引入电子印迹对原始电子帧和原始视频帧进行筛选，并结合筛选后的电子帧和视频帧识别目标视觉标示符，解决了在海量视频数据中高效地辨识目标物体的视觉标示符的问题。

附图说明

图1是本发明实施例所述基于电子印迹的视频检测方法的流程图；

图2a是本发明实施例所述矩阵E的示例图；

图2b是本发明实施例所述矩阵E’的示例图；

图3是本发明实施例所述平滑法的原理示意图；

图4是本发明实施例所述相似度矩阵示例图；

图5a是相似度分布曲线图；

图5b是近似处理后的相似度曲线图；

图6是选中的视频帧示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明实施例所述基于电子印迹的视频检测方法的流程图，如图1所示，所述方法包括步骤：

A：对电子帧进行筛选，删除无关的电子帧。

电子帧筛选可以辅助选择最重要的视频帧，并对其做进一步的处理。所述电子帧包括在采集时刻采集到的所有电子信号，每个所述电子信号对应一个电子标示符。所述视频帧包括在采集时刻的采集到的所有视频信号，每个所述视频信号对应一个视觉标示符。该步骤A需要研究当所有物体的电子标示符(以下简称EID)完整和不完整的两种情况。所谓“完整”，即指在任何电子帧中都没有缺失或者额外的EID。对于EID是否完整，一般可以基于经验进行判断，比如对于RFID(RadioFrequencyIdentification，射频识别)扫描，一般可以认为属于完整EID的情况。

首先说明基于完整EID的电子帧筛选过程。

正如前面所提到的，如果给定目标电子标示符(以下简称EID^*)，想要找到它对应的目标视觉标示符(以下简称VID^*，即目标物体的视觉外观)，可以使用物体们的EID来选择关键的视频帧，以便进一步处理。在这些视频帧里，必须保证EID^*和VID^*可以被唯一确定，或者说“可辨识的”。所以，需要先定义一下在电子帧和视频帧中的一个EID和VID的“可辨识性”。

首先收集在所有电子帧中曾经出现过的EID。每个EID必须以EID_number的形式编号，其中EID^*被命名为EID₀。然后，可以构造一个矩阵E＝{e_ij}＝(e₁，e₂，...，e_n)^T。图2a是本发明实施例所述矩阵E的示例图，如图2a所示，它的列是EID_number，它的行是不同的电子帧，称为e_i，e_ij是e_i的第j个元素。如果EID_j出现在电子帧e_i中，将e_ij设为1，否则将其设为0。这样，可以得到以下定义。

定义1.在一个电子帧集合P中，EID^*与另一个EID_i可区分，当且仅当下列条件被满足：

定义1抓住了下列实质，即EID^*与另一个EID_i可区分，只要这两个电子标识符不在电子帧和相应的视频帧内同时出现或者消失。基于所述定义1，可得到定义2。

定义2.EID^*在一个电子帧集合P中是可被区分的，当且仅当对于任意不等于EID^*的EID_i，EID^*与EID_i都是可区分的。

通过图2a对上述定义2进行说明。在图2a中，可以用电子帧e₁和e₂将EID^*与EID₁分开。但是EID^*却无法与EID₄分开，因为无法发现这样的电子帧e_a和e_b。所以EID^*在图2a的例子中是不可区分的。但是，如果将EID₄从该例中移除，EID^*是可区分的。这里有一点需要注意，必须确保EID^*至少出现一次。这意味着从E中选中的某一行必须在EID^*列有一个1。这是一个合理的要求，如果EID^*从来不出现，那么谈论它的可区分性也变得没有意义。

定义2给出了一种一般的方法来决定EID的可区分性。如果在E中没有一列与当前EID完全相同，那么该EID就可以被唯一地识别了。

下面，进一步定义矩阵和向量的求补操作，如下所示：

$\stackrel{\‾}{E}={(\stackrel{\‾}{e_1},\stackrel{\‾}{e_2},...,\stackrel{\‾}{e_n})}^T=\{1-e_{\mathrm{id}}\};$

另外定义矩阵E中行向量的合取操作，如下所示：

e_i∩e_j＝(e_i1∧e_j1，e_i2∧e_j2，...，e_in∧e_jn)；

现在，再定义另一个矩阵E’＝{e_ij’}，矩阵E’中的行向量e′_i满足：如果EID^*出现在e_i中，那么e′_i＝e_i；如果EID^*没有出现在e_i中，那么 图2b是本发明实施例所述矩阵E’的示例图，如图2b所示，该矩阵E’由图2a所示矩阵E转换得到。再设定e^*是这样一个向量，它在EID^*所在列中的元素是1，其余的元素都为0。

有了上述的定义，可得定理1。由于空间有限且易于证明，在此省略了该定理的证明步骤。

定理1.EID^*在E中是可区分的，当且仅当下列条件满足：

其元素是E’的所有行向量，使得其中e^*＝(1，0，0，…)。

根据定理1，能够定义当EID^*是可区分的情形下的最小集问题。

定义3.元素区分问题(以下简称EDP)：找出这样的一个最小集合P1＝{e_p1’，e_p2’，...，e_p1’}，它的元素是E’所有的行向量，使得根据所述最小集合P1，可以从所述矩阵E中删除无关的电子帧，将剩余的电子帧作为选中的电子帧。

所述EDP是NP完全的。因为在EDP中，被选中的P1的每一列必须有一个元素是0。这意味着E’中所有的0元素必须覆盖除EID^*外的所有列。因而，就可以将EDP归结为一个经典的NP完全问题：集合覆盖问题。

接着，说明基于不完整EID的电子帧筛选。

在前述情形中，假设EID是完整的。然而，在现实世界中，这种假设有时不成立。在感测到的数据中可能存在错误：有可能得到误警和漏警，即缺失标识符或存在额外的标识符。这些错误发生的主要原因可能是由于传感器不够理想，同时数据处理也会产生错误。例如，可能在电子帧中丢失一个EID，这是因为信号收到了干扰并且正好没有被收到。

对于上述错误，一般来说，可以运用某些类型的预处理来解决这类问题。可以利用某些物体移动的内在属性或者其他先验知识来过滤掉明显错误的数据。

本发明实施例采用平滑法克服上述错误。图3是本发明实施例所述平滑法的原理示意图，如图3所示，所述平滑法使用了一个平滑过滤器来处理掉感应数据中的一些过于突然的变化。这种方法较为合理，因为物体的基础物理运动总是连续的，并且不会有太多突然的变化。例如，人不可能突然传输到另一个地点。所以，一个被检测到的EID将有很大的概率在下一幅电子帧中出现。

平滑法可以通过对一个记录物体出现/消失的矩阵(例如所述E矩阵)使用平滑核心来实现。选择何种平滑法以及相应的参数是随具体情况而定的，这方面的讨论超出了本文的范围，在此不予赘述。对于所述E矩阵的列，使用一个简单的平均运动过滤器就能达到较好的效果。

然而，平滑法也会引起一些问题。最突出的一个就是对所述E矩阵采用平滑法预处理后得到的矩阵E2不再是二元(0/1)的。所以需要修改EDP问题，于是给出下述GEDP问题的定义。

定义4.广义元素区分问题(GEDP)：找出这样的一个最小集合P2＝{e2_p1，e2_p2，...，e2_p1}，它的元素e2_pi是所述矩阵E2的行向量，使得其中τ是一个预设的阈值，一般大于4。根据所述最小集合P2，可以从所述矩阵E中删除无关的电子帧，将剩余的电子帧作为选中的电子帧。

除了平滑法，也可以利用先验知识来帮助减少偶然错误。所得的物体列表可能会带有对物体的一些测量值。例如，在无线感知中，除了MAC地址外，也可以得到接受信号强度指示值(RSSI)。可以利用对于这些测量值的先验知识来帮助标识符映射的过程。

B：将选中的电子帧映射到相应的视频帧上，然后识别目标物体的视觉标示符。

一旦根据上述EDP或者GEDP算法已经选择了一组能够唯一确定EID^*的电子帧，就可以根据时间序列将这些选中的电子帧对应到相应的视频帧上，从而得到选中的视频帧，进而来辨识VID^*。在某些情形下，E-V系统(即本发明所述基于电子印迹的视频检测系统)的输入可能是模糊的VID，直接将输入的VID和所述选中的视频帧中的VID进行匹配可能不会提供较为理想的结果。如果输入的VID不是最新的，或者某个VID存在误警，即多个不清晰的视觉标示符，那么VID^*的辨识将变得困难。为了解决这个问题，首先将检查每一个VID在这些视频帧中的出现和消失，如果这些信息与EID^*在相应的电子帧中的出现和消失是一一对应的，那么该VID将成为VID^*的候选。然后，将输入的VID与候选VID进行匹配以最终确定VID^*。

由于一个物体被观察到的特征将随造型或者照明的改变而发生细微的变化，关联到同一物体的VID只是相似而不完全相同。因此，首先建立一个矩阵，反映来自于同一视频帧或不同视频帧的任意两个VID间的相似度，图4是本发明实施例所述相似度矩阵示例图。如图4所示，把VID_i和VID_j的相似度写成s(VID_i，VID_j)或者s_ij，这种相似度是对称的；固定两个出现在同一视频帧的任意两个VID的相似度为0，这是因为他们不可能属于同一个人；图5中N/A表示相同的VID。由于需要在较短的时间(例如一天)内确定一个人或者一个EID，假设每个人的EID和VID之间的关联不发生变化。即使人们偶然改变某些视觉标示符，比如着衣，仍可以通过步态等其他的特征来区分不同的人，并且找到一个合理的相似度测量标准。

两个VID之间的相似度对于他们是否来自于同一个物体的判断提供了一种概率化的测量手段。如果在不同帧中对同一个人进行比较，可以得到一个相似度的分布。称这个分布函数为f1(s)，图5a是相似度分布曲线图。如果比较在所有帧中出现的各对人，也可以得到相似度的分布。称这个分布函数为f2(s)。这两个相似函数反映了两个VID有多大的可能是来自同一个人或者不同的人。对于VID_i和VID_j，它们属于同一个人的概率是：P(VID_i＝VID_j)＝f₁(s_ij)，它们属于不同人的概率是P(VID_i≠VID_j)＝f₂(s_ij)。然而，这两个函数的具体形式很难得到，同时它们将随着场景的变化而改变，图5b是近似处理后的相似度曲线图，如图5b所示，相似度越大，两个VID属于同一个人(不同的人)的可能性就越大(越小)。从常识上来看，这是很合理的。进而，有以下公式：P(VID_i＝VID_j)≈s_ij，P(VID_i≠VID_j)≈1-s_ij。对于一组VID，{VID₁，...VID_k}，VID₀不是其中任意一个VID的概率是：

$P({\mathrm{VID}}_0\≠{\mathrm{VID}}_i,i=1,\·\·\·,k)={\mathrm{\Π}}_{j=1}^k{f}_2\left(s_{0j}\right).---\left(1\right)$

VID₀是其中一个VID_i(1≤i≤k)的概率是：

$P({\mathrm{VID}}_0={\mathrm{VID}}_i)=\frac{f_1\left(s_{0i}\right)}{f_2\left(s_{0i}\right)}\·{\mathrm{\Π}}_{j=1}^k{f}_2\left(s_{0j}\right).---\left(2\right)$

注意上述的概率需要进行规范化，以排除VID₀和来自于同一时刻的同一视频帧的两个VID，VID_i和VID_j，具有相同的概率。在顺利的条件下，式1和式2中的乘积的很多项都是1或者0，所以可以进一步将VID₀不是VID_i的概率简化成1-max(s0_i)，而VID₀是VIDi其中一个的概率写成max(s_0i)。这两个近似更易于计算，并且在实际实验中工作地很好。

基于相似度的VID出现和消失概率可以与EID^*的出现模式进行匹配，并以此来辨识VID^*的候选者。假定用EDP和GEDP选出n幅视频帧，并将它们命名为v₁到v_n。图6是选中的视频帧示意图，如图6所示，在帧v_i中有m_i个VID，并将它们命名为到那么，就有了下面定义5所给出的公式化表述。

定义5.n分图最佳匹配问题(以下简称nBM)：从所述选中的视频帧中，找到这样的一个VID，它的出现和消失概率之积与EID^*在相应的所述选中的电子帧中的出现和消失的情况最匹配。

从直观上看，定义5是基于只知道VID^*和EID^*同时出现或者消失。所以，为了解决nBM问题，可以评估每个VID在每一所述选中的视频帧内出现和消失的概率。假设选中的视频帧包括视频帧v₁、v₂和v₃，并且知道EID^*只出现在视频帧v₁和v₃对应的电子帧中。为了选择哪个VID是VID^*，计算每个VID的出现和消失概率。例如，首先选择来计算：

$P({\mathrm{VID}}_1^1={\mathrm{VID}}^{*})=P({\mathrm{VID}}_1^1\∈v_1)\×P({\mathrm{VID}}_1^1\∉v_2)\×({\mathrm{VID}}_1^1\∈v_3);$

概括后得到任一视觉标示符VID_i在相应的所述选中的视频帧中的出现和消失的概率之积的计算公式如下：

$P({\mathrm{VID}}_i={\mathrm{VID}}^{*})=\mathrm{\ΠP}({\mathrm{VID}}_i\∈v_m)\×\mathrm{\ΠP}({\mathrm{VID}}_i\∉v_n);---\left(3\right)$

其中，VID_i表示当前待计算的视觉标示符；VID^＊表示目标视觉标示符；v_m表示所述目标电子标示符出现的电子帧对应的视频帧；P(VID_i∈v_m)表示视觉标示符VID_i在视频帧v_m中出现的概率；v_n表示所述目标电子标示符消失的电子帧对应的视频帧；表示视觉标示符VID_i在视频帧v_n中消失的概率。由公式3容易看出，视觉标示符VID_i在相应的所述选中的视频帧中的出现和消失的概率之积，等于视觉标示符VID_i是目标视觉标示符VID^＊的概率，因此，公式3的结果值越大，相应的视觉标示符就是越可能是目标视觉标示符VID^＊。

公式3中P(VID_i∈v_m)和可以根据所述公式1和2计算得到，在此不再赘述。

采用公式3对每个VID进行计算，选择结果值最大的那个VID作为VID^*，因为它的出现和消失概率和EID^*的出现和消失情况匹配地最好。

本发明实施例所述基于电子印迹的视频检测系统包括：电子帧筛选单元和识别单元；所述电子帧筛选单元，用于对电子帧进行筛选，删除无关的电子帧；所述识别单元，用于将选中的电子帧映射到相应的视频帧上，然后识别目标视觉标示符。

为了验证本发明所述方法及系统的标识符映射机制的性能，我们进行了多组大规模仿真。在仿真实验中，总计有120个物体，每个物体都有EID以及原始图像。原始图像是从INRIA(Institutnationalderechercheeninformatiqueetenautomatique，法国国家信息科学及自动控制研究院)人物数据库中的行人样本中选取的。VID的相似度是通过和真实世界实验中相同的颜色柱状图来计算的。根据随机路点模型，所有物体分布于4个独立场景中，其中每个场景是一块100m×100m的区域。基于一个给定物体在相应场景中的坐标，我们模拟了电子信号检测器所收到的该物体的RSSI。同时，根据该物体到摄像机的距离，我们对它的原始图像进行了透视扭曲，通过对该图像加载随机噪声，我们可模拟该物体的VID。

我们使用两个标准测量所提出的机制：(1)电子帧筛选的效率，这是通过测算EDP和GEDP算法输出帧相对所有输入帧所占的百分比来确定的；(2)辨识VID^*的精确度。实验结果表明，EDP和GEDP极大地减少了需要进一步处理的视频帧数。当输入帧数增加时，被筛选出的视频帧数的比例相应地下降，这说明了我们提出的机制在面临海量输入帧时的扩展性。对于GEDP算法，选择大于4的数作为τ值，将使输出帧的数量更少。

通过对随机生成的电子帧和视频帧进行反复运行，并设置相应的参数，EDP和GEDP算法的平均精确度超过了95％。输入帧的数量不同并不会对辨识VID^*的精确度带来太大的影响。

我们还模拟了当EID的失检率为1％，10％，30％和50％时，辨识VID^*的精确度。总体上看，VID的失检率随着EID的失检率上升而上升。但是，即便EID的失检率达到了50％，辨识VID^*的精确度仍能达到90％。考虑在实际情况中，一些因素将导致一个VID在某些场景中失检，我们在仿真中研究了这种失检对标识符映射机制的影响。我们随机地丢弃一些VID来模拟真实视频系统中的失检率。我们进一步模拟了不同的VID失检率(2.5％，5％，7.5％，10％)。这种失检率缺失给VID^*辨识的精确度带来了负面影响。但是，即使在VID失检率高达10％(该失检率远高于摄像机在实际场景中对人物的失检率)的情况下，我们的VID匹配机制仍能在EDP和GEDP算法筛选过的视频帧中取得较为理想的VID^*辨识精确度。

本发明实施例所述基于电子印迹的视频检测方法及系统，通过引入电子印迹(即电子标示符)对原始电子帧和原始视频帧进行筛选，并结合筛选后的电子帧和视频帧识别目标物体的视觉标示符，解决了在海量视频数据中高效地辨识目标物体的视觉标示符的问题。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (6)

1.一种基于电子印迹的视频检测方法，其特征在于，包括步骤：

A：对电子帧进行筛选，删除无关的电子帧；

B：将选中的电子帧映射到相应的视频帧上，然后识别目标视觉标示符；

其中，所述电子帧包括在采集时刻采集到的所有电子信号，每个所述电子信号对应一个电子标示符；所述视频帧包括在采集时刻的采集到的所有视频信号，每个所述视频信号对应一个视觉标示符；

所述步骤A具体包括步骤：

A1：收集所有所述电子帧中出现的电子标示符，构造矩阵E＝{e_ij}＝(e₁,e₂,…,e_n)^T；所述矩阵E的列是电子标示符的编号，行是所述电子帧的编号；其中，e_ij表示电子帧e_i的第j个元素，如果编号为j的电子标示符出现在电子帧e_i中，则e_ij＝0，否则，e_ij＝1；i,j和n均为自然数；

A2：定义所述矩阵E和所述矩阵E中行向量e_i的求补运算如下：

$\stackrel{\‾}{E}={(\stackrel{\‾}{e_1},\stackrel{\‾}{e_2},...,\stackrel{\‾}{e_n})}^T=\{1-e_{ij}\};$

定义所述矩阵E中行向量e_i和e_j的合取运算如下：

e_i∩e_j＝(e_i1∧e_j1,e_i2∧e_j2,…,e_in∧e_jn)；

A3：定义矩阵E’＝{e_ij’}，如果目标电子标示符出现在所述矩阵E的行向量e_i中，那么所述矩阵E’的行向量e′_i＝e_i，否则定义e*是这样一个向量：它在目标电子标示符所在列中的元素是1，其余的元素都为0；

A4：判断所述电子帧中是否存在缺失或者额外的电子标示符，如果否，执行步骤A5；否则执行步骤A6；

A5：从所述矩阵E’中找到一个最小集合P1＝{e_p1’,e_p2’,…,e_pl’}，它的元素e_pi’是所述矩阵E’的行向量，并且l为自然数，将所述最小集合P1作为目标集合，执行步骤A8；

A6：采用平滑法对所述矩阵E进行预处理，得到矩阵E2；

A7：从所述矩阵E2中找出一个最小集合P2＝{e2_p1,e2_p2,…,e2_pl}，它的元素e2_pi是所述矩阵E2的行向量，并且其中τ是预定阈值，将所述最小集合P2作为目标集合；

A8：根据当前目标集合，从所述矩阵E中删除无关的电子帧，将剩余的电子帧作为选中的电子帧；

所述步骤B具体包括步骤：

B1：将选中的电子帧映射到相应的视频帧上，删除无关的视频帧，得到选中的视频帧；

B2：根据目标电子标示符在每个所述选中的电子帧中的出现和消失的情况，计算每个视觉标示符在相应的所述选中的视频帧中的出现和消失的概率之积，将结果值最大的视觉标示符识别为目标视觉标示符。

2.如权利要求1所述的方法，其特征在于，所述预定阈值τ大于4。

3.如权利要求1所述的方法，其特征在于，所述步骤B1中，根据时间序列将选中的电子帧映射到相应的视频帧上，删除无关的视频帧，得到选中的视频帧。

4.如权利要求1所述的方法，其特征在于，所述步骤B2中，所述视觉标示符在相应的所述选中的视频帧中的出现和消失的概率之积的计算公式如下：

$P({\mathrm{VID}}_i={\mathrm{VID}}^{*})=\ΠP({\mathrm{VID}}_i\∈v_m)\×\ΠP({\mathrm{VID}}_i\∉v_n);$

其中，VID_i表示当前待计算的视觉标示符；VID^*表示目标视觉标示符；v_m表示所述目标电子标示符出现的电子帧对应的视频帧；P(VID_i∈v_m)表示视觉标示符VID_i在视频帧v_m中出现的概率；v_n表示所述目标电子标示符消失的电子帧对应的视频帧；表示视觉标示符VID_i在视频帧v_n中消失的概率。

5.如权利要求4所述的方法，其特征在于，所述P(VID_i∈v_m)的计算公式如下：

$P({\mathrm{VID}}_i\∈v_m)=P({\mathrm{VID}}_i={\mathrm{VID}}_j^m,1\≤j\≤k)=max\left(s_{ij}\right);$

其中，表示视频帧v_m中编号为j的视觉标示符，j为自然数，k表示视频帧v_m中视觉标示符的总数；s_ij表示视觉标示符VID_i与视觉标示符的相似度。

6.如权利要求4所述的方法，其特征在于，所述的计算公式如下：

$P({\mathrm{VID}}_i\∉v_n)=P({\mathrm{VID}}_i\≠{\mathrm{VID}}_j^n,1\≤j\≤k)=1-max\left(s_{ij}\right);$

其中，表示视频帧v_n中编号为j的视觉标示符，j为自然数，k表示视频帧v_n中视觉标示符的总数；s_ij表示视觉标示符VID_i与视觉标示符的相似度。