CN103049530B - 深入融合视频审查方法和系统 - Google Patents

Abstract

一种深入融合视频审查方法及系统，该方法包括步骤：采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类；提取所述待审查视频帧中的各类特征；分别根据所述待审查视频帧中的各类特征、所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性；根据所述待审查视频帧属于所述视频大类下的各视频小类的可能性，综合确定所述待审查视频帧所属的视频小类。本发明方案基于该待审查视频帧中的各类特征、以及视频大类的特征审查融合参数，综合考虑了视频帧中的各类特征在该视频大类中的视频帧中所起的作用，对不同类特征对不同类型视频帧的作用加以区分，提高了视频审查的准确度。

Description

深入融合视频审查方法和系统

技术领域

本发明涉及视频审查领域，特别涉及一种深入融合视频审查方法、一种深入融合视频审查系统。

背景技术

视频内容的应用日益广泛，对视频内容的审查成为针对视频内容的处理中的重要的一部分。目前针对视频内容的审查，最普通、最简单的方式是通过人眼观看的方式，通过将视频文件的内容从头到尾观看一遍，据此审查视频内容是否是限制性发布或者不允许发布的视频内容。作为对这种人工审查方式的改进，出现了进行视频融合的审查方式，这种视频融合的审查方式中，是按照固定的方式对听觉、视觉等特征进行融合，例如采用加权平均进行融合。采用加权平均进行融合的方式中，假设该视频内容在文字上有60％的可能性为不雅裸露视频，在声音上有90％的可能性为不雅裸露视频，在图像上有30％的可能性为不雅裸露视频，则通过加权综合判定该视频内容有(60％+90％+30％)/3的可能性为不雅裸露视频。

在目前的这种针对视频内容的融合审查中，是按照固定的方式对听觉、视觉等特征进行融合，而实际上，对不同类型的视频来说，视觉、听觉特征的明显度、可判度，例如文字、图像、声音特征的明显度与可判度，对视频审查中的可信度的共享是不同的。例如，声音在枪击类视频中所起的作用、融合时所占的比例应当远大于在裸体类视频中的作用与比例，而图像在裸体类视频中所起的作用、融合时所占的比例应当远大于在反动言论类视频中所起的作用与比例，而文字在反动言论类视频中所起的作用、融合时所占的比例应远大于斗殴类视频中所起的作用与比例。目前的针对视频内容的审查，并未对不同特征对不同类型视频文件的作用加以区分，从而导致审查的准确度大大降低。

发明内容

基于此，针对上述现有技术中存在的问题，本发明的目的在于提供一种深入融合视频审查方法、深入融合视频审查系统，其可以提高视频融合审查的准确度。

为达到上述目的，本发明采用以下技术方案：

一种深入融合视频审查方法，包括步骤：

采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类；

提取所述待审查视频帧中的各类特征；

分别根据所述待审查视频帧中的各类特征、所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性；

根据所述待审查视频帧属于所述视频大类下的各视频小类的可能性，综合确定所述待审查视频帧所属的视频小类。

一种深入融合视频审查系统，包括：

视频大类融合确定模块，用于采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类；

特征提取模块，用于提取所述待审查视频帧中的各类特征；

视频小类融合确定模块，用于分别根据所述待审查视频帧中的各类特征、所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性，并根据所述待审查视频帧属于所述视频大类下的各视频小类的可能性，综合确定所述待审查视频帧所属的视频小类。

根据发明方案，其在进行审查时，是先采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类，再基于该视频大类的特征审查融合参数、以及该待审查视频帧中的各类特征，确定出该待审查视频帧属于上述确定的视频大类下的各视频小类的可能性，并基于属于各视频小类的可能性，综合确定出上述待审查视频帧所属的视频小类。其基于该待审查视频帧中的各类特征、以及视频大类的特征审查融合参数，综合考虑了视频帧中的各类特征在该视频大类中的视频帧中所起的作用，对不同类特征对不同类型视频帧的作用加以区分，提高了视频审查的准确度。

附图说明

图1是本发明的深入融合视频审查方法实施例的流程示意图；

图2是一个具体示例中确定各视频大类的特征审查融合参数的流程示意图；

图3是一个具体示例中的深入融合视频审查的流程示意图；

图4是本发明的深入融合视频审查系统实施例的结构示意图。

具体实施方式

以下结合其中的较佳实施例对本发明方案进行详细说明。在下述说明中，先对本发明的深入融合视频审查方法的实施例进行说明，再对本发明的深入融合视频审查系统的实施例进行说明。

图1中示出了本发明的深入融合视频审查方法实施例的流程示意图。如图1所示，本实施例中的方法包括步骤：

步骤S101：采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类；

步骤S102：提取待审查视频帧中的各类特征；

步骤S103：分别根据待审查视频帧中的各类特征、上述视频大类的特征审查融合参数，确定待审查视频帧属于上述视频大类下的各视频小类的可能性；

步骤S104：根据待审查视频帧属于上述视频大类下的各视频小类的可能性，综合确定待审查视频帧所属的视频小类。

根据本实施例中的方案，其在进行审查时，是先采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类，再基于该视频大类的特征审查融合参数、以及该待审查视频帧中的各类特征，确定出该待审查视频帧属于上述确定的视频大类下的各视频小类的可能性，并基于属于各视频小类的可能性，综合确定出上述待审查视频帧所属的视频小类。其基于该待审查视频帧中的各类特征、以及视频大类的特征审查融合参数，综合考虑了视频帧中的各类特征在该视频大类中的视频帧中所起的作用，对不同类特征对不同类型视频帧的作用加以区分，提高了视频审查的准确度。

其中，在其中一个具体实现方式中，上述视频大类的特征审查融合参数，可以是基于建立的视频样本数据库来确定。图2中示出了一个具体示例中确定各视频大类的特征审查融合参数的流程示意图。

如图2所示，该具体示例中确定各视频大类的特征审查融合参数的方式包括：

步骤S201：采用上述预设融合审查分类方式对视频样本数据库中的各视频帧进行分类，获得融合审查的各视频大类的视频帧；

步骤S202：分别采用各类特征审查方法对上述视频样本数据库中的各视频帧进行分类，分别获得各类特征审查后的各视频大类的视频帧；

步骤S203：根据上述融合审查的各视频大类的视频帧、各类特征审查后的各视频大类的视频帧，确定各视频大类的各类特征审查的准确率；

步骤S204：根据各视频大类的各类特征审查的准确率，确定各视频大类的特征审查融合参数。

以下结合图2中的确定各视频大类的特征审查融合参数为例，就其中的一个具体示例进行详细说明。

在本发明方案中，各视频大类、各类特征、各类特征审查方法基于实际需要的设定可以有所不同。在本发明的该具体示例中，以视频大类包括有黄色视频、暴力视频、反动视频为例，以各类特征包括有文字、声音、图像，各类特征审查包括文字特征审查、声音特征审查、图像特征审查为例进行说明，这种说明仅仅只是一种示例性的说明，并不用以对本发明方案进行限定。图3中示出了该具体示例的流程示意图。

在确定各视频大类的特征审查融合参数之前，在视频样本数据库中可预先存储有一定数量的视频样本，即在视频样本数据库中存储有一定数量的视频帧，后续的确定各视频大类的特征审查融合参数是结合视频样本数据库中的视频帧进行说明。

然后，首先，采用上述预设融合审查分类方式对视频样本数据库中的各视频帧进行分类，获得融合审查的各视频大类的视频帧，即分别属于黄色视频的视频帧、属于暴力视频的视频帧、属于反动视频的视频帧。在获得融合审查的各视频大类的视频帧之后，可以将分类后的各视频大类的视频帧分别放入在融合审查的各视频大类的库中，即将分类后的黄色视频的视频帧放入融合审查的黄色视频库(记为RH)中，将分类后的暴力视频的视频帧放入融合审查的暴力视频库(记为RB)中，将分类后的反动视频的视频帧放入融合审查的反动视频库(记为RF)中。其中，上述预设融合审查分类方式，可以是采用目前已有以及以后出现的任何一种方式进行，只要能够对视频帧是属于黄色视频、暴力视频、反动视频等当中的哪种视频大类即可，在此不予详加赘述。

然后分别采用各类特征审查方法对上述视频样本数据库中的视频帧进行分类，分别获得各类特征审查后的各视频大类的视频帧。以上述各类特征包括文字、声音、图像的情况下，具体可以是如下所述。

采用文字特征审查方式对视频样本视频数据库中的各视频帧进行分类，获得文字特征审查的各视频大类的视频帧，即分别属于黄色视频的视频帧、属于暴力视频的视频帧、属于反动视频的视频帧。在获得文字特征审查的各视频大类的视频帧之后，可以将分类后的各视频大类的视频帧分别放入在文字特征审查的各视频大类的库中，即将分类后的黄色视频的视频帧放入文字特征审查的黄色视频库(记为WH)中，将分类后的暴力视频的视频帧放入文字特征审查的暴力视频库(记为WB)中，将分类后的反动视频的视频帧放入文字特征审查的反动视频库(记为WF)中。其中，具体的文字特征审查方式，可以是采用目前已有的以及以后可能出现的任何一种方式进行，在此不予详加赘述。

采用声音特征审查方式对视频样本视频数据库中的各视频帧进行分类，获得声音特征审查的各视频大类的视频帧，即分别属于黄色视频的视频帧、属于暴力视频的视频帧、属于反动视频的视频帧。在获得声音特征审查的各视频大类的视频帧之后，可以将分类后的各视频大类的视频帧分别放入在声音特征审查的各视频大类的库中，即将分类后的黄色视频的视频帧放入声音特征审查的黄色视频库(记为VH)中，将分类后的暴力视频的视频帧放入声音特征审查的暴力视频库(记为VB)中，将分类后的反动视频的视频帧放入声音特征审查的反动视频库(记为VF)中。其中，具体的文字特征审查方式，可以是采用目前已有的以及以后可能出现的任何一种方式进行，在此不予详加赘述。

采用图像特征审查方式对视频样本视频数据库中的各视频帧进行分类，获得图像特征审查的各视频大类的视频帧，即分别属于黄色视频的视频帧、属于暴力视频的视频帧、属于反动视频的视频帧。在获得图像特征审查的各视频大类的视频帧之后，可以将分类后的各视频大类的视频帧分别放入在图像特征审查的各视频大类的库中，即将分类后的黄色视频的视频帧放入图像特征审查的黄色视频库(记为GH)中，将分类后的暴力视频的视频帧放入图像特征审查的暴力视频库(记为GB)中，将分类后的反动视频的视频帧放入图像特征审查的反动视频库(记为GF)中。其中，具体的图像特征审查方式，可以是采用目前已有的以及以后可能出现的任何一种方式进行，在此不予详加赘述。

然后，根据融合审查的各视频大类的视频帧、各类特征审查后的各视频大类的视频帧，确定各视频大类的各类特征审查的准确率。在其中一个具体实现方式中，具体的确定各视频大类的各类特征审查的准确率的方式可以是：

分别获取属于当前类特征审查的当前视频大类、但不属于融合审查的当前视频大类的视频帧的第一视频帧数目；

将第一视频帧数目除以融合审查的当前视频大类的视频帧的样本数目的值作为该当前类特征审查的误判率；

分别获取属于融合审查的当前视频大类的视频帧、但不属于当前类特征审查的当前视频大类的第二视频帧数目；

将第二视频帧数目与除以融合审查的当前视频大类的视频帧的样本数目的值作为该当前类特征审查的漏判率；

根据当前类特征审查的误判率、漏判率确定当前视频大类的当前类特征审查的准确率。

结合上述本发明的具体示例中的说明，各视频大类包括有黄色视频、暴力视频、反动视频，所进行的各类特征审查包括有文字特征审查、声音特征审查、图像特征审查。因而最后可以得到黄色视频(暴力视频、反动视频)的文字特征审查的准确率、声音特征审查的准确率、图像特征审查的准确率，共计九种准确率。

针对确定暴力视频的各类特征审查的准确率为例，具体过程可以是如下所述。

首先，对于暴力视频的文本审查的准确率，可以是以融合审查的暴力视频库RB为标准，确定文字审查的暴力视频库WB的误判率、漏判率，再基于该误判率、漏判率综合确定暴力视频的文本审查的准确率。

对于误判率，确定属于文字审查的暴力视频库WB、但是却不属于融合审查的暴力视频库RB的视频帧的数目，再将该数目除以融合审查的暴力视频库RB的视频帧的数目，将所得到的值作为暴力视频文本审查的误判率，即：

暴力视频文本审查的误判率＝(属于文字审查的暴力视频库WB、但是却不属于融合审查的暴力视频库RB的视频帧的数目)/(融合审查的暴力视频库RB的视频帧的数目)。

对于漏判率，确定属于融合审查的暴力视频库RB、但是不属于文字审查的暴力视频库WB的视频帧的数目，再将该数目除以融合审查的暴力视频库RB的视频帧的数目，将所得到的值作为暴力视频文本审查的漏判率，即：

暴力视频文本审查的漏判率＝(属于融合审查的暴力视频库RB、但是却不属于文本审查的暴力视频库WB的视频帧的数目)/(融合审查的暴力视频库RB的视频帧的数目)。

然后，根据暴力视频文本审查的误判率、漏判率综合确定暴力视频文本审查的准确率。具体综合确定时，可以是将暴力视频文本审查的误判率、暴力视频文本审查的漏判率中的较大值、较小值、平均值、加权平均值或者通过其他方式计算所得的值作为暴力视频文本审查的准确率，具体的综合确定方式根据实际应用需求的不同可以有所不同。

暴力视频声音审查的准确率、暴力视频图像审查的准确率的确定方式与上述确定暴力视频文本审查的准确率的方式类似。

对于暴力视频的声音审查的准确率，可以是以融合审查的暴力视频库RB为标准，确定声音审查的暴力视频库VB的误判率、漏判率，再基于该误判率、漏判率综合确定暴力视频的声音审查的准确率。

对于误判率，确定属于声音审查的暴力视频库VB、但是却不属于融合审查的暴力视频库RB的视频帧的数目，再将该数目除以融合审查的暴力视频库RB的视频帧的数目，将所得到的值作为暴力视频声音审查的误判率，即：

暴力视频声音审查的误判率＝(属于声音审查的暴力视频库VB、但是却不属于融合审查的暴力视频库RB的视频帧的数目)/(融合审查的暴力视频库RB的视频帧的数目)。

对于漏判率，确定属于融合审查的暴力视频库RB、但是不属于声音审查的暴力视频库VB的视频帧的数目，再将该数目除以融合审查的暴力视频库RB的视频帧的数目，将所得到的值作为暴力视频声音审查的漏判率，即：

暴力视频声音审查的漏判率＝(属于融合审查的暴力视频库RB、但是却不属于声音审查的暴力视频库VB的视频帧的数目)/(融合审查的暴力视频库RB的视频帧的数目)。

然后，根据暴力视频声音审查的误判率、漏判率综合确定暴力视频声音审查的准确率。具体综合确定时，可以是将暴力视频声音审查的误判率、暴力视频声音审查的漏判率中的较大值、较小值、平均值、加权平均值或者通过其他方式计算所得的值作为暴力视频声音审查的准确率，具体的综合确定方式根据实际应用需求的不同可以有所不同。

对于暴力视频的图像审查的准确率，可以是以融合审查的暴力视频库RB为标准，确定图像审查的暴力视频库GB的误判率、漏判率，再基于该误判率、漏判率综合确定暴力视频的图像审查的准确率。

对于误判率，确定属于图像审查的暴力视频库GB、但是却不属于融合审查的暴力视频库RB的视频帧的数目，再将该数目除以融合审查的暴力视频库RB的视频帧的数目，将所得到的值作为暴力视频图像审查的误判率，即：

暴力视频图像审查的误判率＝(属于图像审查的暴力视频库GB、但是却不属于融合审查的暴力视频库RB的视频帧的数目)/(融合审查的暴力视频库RB的视频帧的数目)。

对于漏判率，确定属于融合审查的暴力视频库RB、但是不属于图像审查的暴力视频库GB的视频帧的数目，再将该数目除以融合审查的暴力视频库RB的视频帧的数目，将所得到的值作为暴力视频图像审查的漏判率，即：

暴力视频图像审查的漏判率＝(属于融合审查的暴力视频库RB、但是却不属于图像审查的暴力视频库GB的视频帧的数目)/(融合审查的暴力视频库RB的视频帧的数目)。

然后，根据暴力视频图像审查的误判率、漏判率综合确定暴力视频图像审查的准确率。具体综合确定时，可以是将暴力视频图像审查的误判率、暴力视频图像审查的漏判率中的较大值、较小值、平均值、加权平均值或者通过其他方式计算所得的值作为暴力视频图像审查的准确率，具体的综合确定方式根据实际应用需求的不同可以有所不同。

上述说明中，是以确定暴力视频文字审查的准确率、暴力视频声音审查的准确率、暴力视频图像审查的准确率进行说明。对于黄色视频、反动视频等其他视频大类来说，具体的确定各类特征审查的准确率的方式与上述类似，在此不予详加赘述。

然后，根据各视频大类的各类特征审查的准确率，可综合确定各视频大类的特征审查融合参数。

以上述暴力视频的各类特征审查的准确率(包括暴力视频文字审查的准确率、暴力视频声音审查的准确率、暴力视频图像审查的准确率)为例，暴力视频的特征审查融合参数可以记为(rw,rv,rg)，其中rw表示暴力视频文字审查的融合参数，rv表示暴力视频声音审查的融合参数，rg表示暴力视频图像审查的融合参数。

在其中一个具体示例中，参数rw、rv、rg可以分别采用下述方式确定：

rw＝暴力视频文字审查的准确率/(暴力视频文字审查的准确率+暴力视频声音审查的准确率、暴力视频图像审查的准确率)；

rv＝暴力视频声音审查的准确率/(暴力视频文字审查的准确率+暴力视频声音审查的准确率、暴力视频图像审查的准确率)；

rg＝暴力视频图像审查的准确率/(暴力视频文字审查的准确率+暴力视频声音审查的准确率、暴力视频图像审查的准确率)。

需要说明的是，这种确定方式仅仅只是一种示例性的说明，本领域技术人员可以预见还可以通过其他的方式来对融合参数进行综合性的确定，在此不予穷举。

对于黄色视频、反动视频等其他视频大类的特征融合参数，具体的综合确定可以与上述暴力视频的特征融合参数的确定方式类似，在此不予详加赘述。

上述获得的各视频大类的特征融合参数，可以予以储存，以便于后续对待审查视频帧的融合审查。

在对待审查视频帧进行融合审查时，可先采用上述预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类。出于说明的目的，在此假设该待审查所属的视频大类为暴力视频。

然后，从该待审查视频帧中提取出相应的各类特征，具体可以包括有文字特征、声音特征、图像特征。

然后，基于该待审查视频帧的文字特征、声音特征、图像特征，结合暴力视频的特征融合参数，确定该待审查视频帧属于暴力视频下的各视频小类的可能性。以下结合其中一个具体示例进行详细说明。

假设该待审查视频帧所属的暴力视频的大类为i大类，该暴力视频又被划分为N个小类，分别记为i1、i2、i3、……、iN。

然后，根据该待审查视频帧的文字特征，判断该待审查视频帧或者该文字特征属于第i1个小类的可能性wi1、属于第i2个小类的可能性wi2、属于第i3个小类的可能性wi3、……、属于第iN个小类的可能性wiN。从而必然会有wi1+wi2+wi3+……+wiN＝1。

根据该待审查视频帧的声音特征，判断该待审查视频帧或者该声音特征属于第i1个小类的可能性vi1、属于第i2个小类的可能性vi2、属于第i3个小类的可能性vi3、……、属于第iN个小类的可能性viN。从而必然会有vi1+vi2+vi3+……+viN＝1。

根据该待审查视频帧的图像特征，判断该待审查视频帧或者该图像特征属于第i1个小类的可能性gi1、属于第i2个小类的可能性gi2、属于第i3个小类的可能性gi3、……、属于第iN个小类的可能性giN。从而必然会有gi1+gi2+gi3+……+giN＝1。

从而基于上述获得的结果，可以得到上述待审查视频帧属于暴力视频下各小类的可能性分别为：

该待审查视频帧属于第i1个小类的可能性为：pi1＝rw*wi1+rv*vi1+rg*gi1；

该待审查视频帧属于第i2个小类的可能性为：pi2＝rw*wi2+rv*vi2+rg*gi2；

该待审查视频帧属于第i3个小类的可能性为：pi3＝rw*wi3+rv*vi3+rg*gi3；

……

该待审查视频帧属于第iN个小类的可能性为：piN＝rw*wiN+rv*viN+rg*giN。

从而，根据该待审查视频帧属于暴力视频下的第i1、i2、i3、……、iN个小类的可能性pi1、pi2、pi3、……、piN，可以综合确定该待审查视频帧所属的视频小类。一般情况下，可以将pi1、pi2、pi3、……、piN中的最大值对应的视频小类确定为该待审查视频帧所属的视频小类。

根据上述本发明的深入融合视频审查方法，本发明还提供一种深入融合视频审查系统，以下对本发明的深入融合视频审查系统的实施例进行详细说明。

图4中示出了本发明的深入融合视频审查系统实施例的结构示意图。如图4所示，本实施例中的深入融合视频审查系统包括有：

视频大类融合确定模块401，用于采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类；

特征提取模块402，用于提取所述待审查视频帧中的各类特征；

视频小类融合确定模块403，用于分别根据所述待审查视频帧中的各类特征、所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性，并根据所述待审查视频帧属于所述视频大类下的各视频小类的可能性，综合确定所述待审查视频帧所属的视频小类。

根据本实施例中的方案，其在进行审查时，是先采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类，再基于该视频大类的特征审查融合参数、以及该待审查视频帧中的各类特征，确定出该待审查视频帧属于上述确定的视频大类下的各视频小类的可能性，并基于属于各视频小类的可能性，综合确定出上述待审查视频帧所属的视频小类。其基于该待审查视频帧中的各类特征、以及视频大类的特征审查融合参数，综合考虑了视频帧中的各类特征在该视频大类中的视频帧中所起的作用，对不同类特征对不同类型视频帧的作用加以区分，提高了视频审查的准确度。

图4所示中，本实施例中的深入融合视频审查系统，还可以包括有：用于确定所述各视频大类的特征审查融合参数的融合参数确定模块404。

如图4所示，该融合参数确定模块404包括有：

样本融合审查模块4041，用于采用所述预设融合审查分类方式对视频样本数据库中的各视频帧进行分类，获得融合审查的各视频大类的视频帧；

样本分类审查模块4042，用于分别采用各类特征审查方法对所述视频样本数据库中的各视频帧进行分类，分别获得各类特征审查后的各视频大类的视频帧；

样本准确率确定模块4043，用于根据所述融合审查的各视频大类的视频帧、各类特征审查后的各视频大类的视频帧，确定各视频大类的各类特征审查的准确率；

融合参数综合确定模块4044，根据各视频大类的各类特征审查的准确率，确定各视频大类的特征审查融合参数。

在其中一个具体示例中，上述融合参数综合确定模块4044，可以是将当前视频大类的当前类特征审查的准确率相对于当前视频大类的各类特征审查的准确率之和的比例作为当前视频大类的当前类特征审查的融合参数，当前视频大类的特征融合审查参数包括当前视频大类的各类特征审查的融合参数。

其中，如图4所示，上述样本准确率确定模块4043具体可以包括有：

误判率确定模块40431，用于分别获取属于当前类特征审查的当前视频大类、但不属于融合审查的当前视频大类的视频帧的第一视频帧数目，并将所述第一视频帧数目除以所述融合审查的当前视频大类的视频帧的样本数目的值作为该当前类特征审查的误判率；

漏判率确定模块40432，用于分别获取属于融合审查的当前视频大类的视频帧、但不属于当前类特征审查的当前视频大类的第二视频帧数目，并将所述第二视频帧数目与除以所述融合审查的当前视频大类的视频帧的样本数目的值作为该当前类特征审查的漏判率；

准确率确定模块40433，用于根据当前类特征审查的误判率、漏判率确定当前视频大类的当前类特征审查的准确率。

在其中一个具体示例中，上述准确率确定模块40433，可以将当前类特征审查的误判率、漏判率的平均值或者加权平均值作为当前视频大类的当前类特征审查的准确率。

如图4所示，在其中一个示例中，上述视频小类融合确定模块403具体可以包括：

特征小类可能性确定模块4031，用于分别判断待审查视频帧中的各类特征属于所述视频大类下的各视频小类的可能性；

视频小类可能性确定模块4032，用于根据各类特征属于所述视频大类下的各视频小类的可能性，以及所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性；

小类确定模块，用于确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性的最大值，并将该可能性的最大值对应的视频小类确定为所述待审查视频帧所属的视频小类。

本发明的深入融合视频审查系统中各模块的具体实现方式，可以与上述本发明的深入融合视频审查方法中的相同，在此不予赘述。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种深入融合视频审查方法，其特征在于，包括步骤：

采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类；

提取所述待审查视频帧中的各类特征；

分别根据所述待审查视频帧中的各类特征、所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性；

根据所述待审查视频帧属于所述视频大类下的各视频小类的可能性，综合确定所述待审查视频帧所属的视频小类；

视频大类的特征审查融合参数的确定方式包括：

采用所述预设融合审查分类方式对视频样本数据库中的各视频帧进行分类，获得融合审查的各视频大类的视频帧；

分别采用各类特征审查方法对所述视频样本数据库中的各视频帧进行分类，分别获得各类特征审查后的各视频大类的视频帧；

根据所述融合审查的各视频大类的视频帧、各类特征审查后的各视频大类的视频帧，确定各视频大类的各类特征审查的准确率；

根据各视频大类的各类特征审查的准确率，确定各视频大类的特征审查融合参数。

2.根据权利要求1所述的深入融合视频审查方法，其特征在于，确定各视频大类的各类特征审查的准确率的方式包括：

分别获取属于当前类特征审查的当前视频大类、但不属于融合审查的当前视频大类的视频帧的第一视频帧数目；

将所述第一视频帧数目除以所述融合审查的当前视频大类的视频帧的样本数目的值作为该当前类特征审查的误判率；

分别获取属于融合审查的当前视频大类的视频帧、但不属于当前类特征审查的当前视频大类的第二视频帧数目；

将所述第二视频帧数目与除以所述融合审查的当前视频大类的视频帧的样本数目的值作为该当前类特征审查的漏判率；

根据当前类特征审查的误判率、漏判率确定当前视频大类的当前类特征审查的准确率。

3.根据权利要求2所述的深入融合视频审查方法，其特征在于，将当前类特征审查的误判率、漏判率的平均值或者加权平均值作为当前视频大类的当前类特征审查的准确率。

4.根据权利要求1所述的深入融合视频审查方法，其特征在于，根据各视频大类的各类特征审查的准确率，确定各视频大类的特征审查融合参数的方式包括：

将当前视频大类的当前类特征审查的准确率相对于当前视频大类的各类特征审查的准确率之和的比例作为当前视频大类的当前类特征审查的融合参数；

当前视频大类的特征融合审查参数包括当前视频大类的各类特征审查的融合参数。

5.根据权利要求1至4任意一项所述的深入融合视频审查方法，其特征在于，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性的方式包括：

分别判断待审查视频帧中的各类特征属于所述视频大类下的各视频小类的可能性；

根据各类特征属于所述视频大类下的各视频小类的可能性，以及所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性。

6.根据权利要求1至4任意一项所述的深入融合视频审查方法，其特征在于，综合确定所述待审查视频帧所属的视频小类的方式包括：

确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性的最大值；

将该可能性的最大值对应的视频小类确定为所述待审查视频帧所属的视频小类。

7.一种深入融合视频审查系统，其特征在于，包括：

视频大类融合确定模块，用于采用预设融合审查分类方式对待审查视频帧进行分类，获得该待审查视频帧所属的视频大类；

特征提取模块，用于提取所述待审查视频帧中的各类特征；

视频小类融合确定模块，用于分别根据所述待审查视频帧中的各类特征、所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性，并根据所述待审查视频帧属于所述视频大类下的各视频小类的可能性，综合确定所述待审查视频帧所属的视频小类；

融合参数确定模块，用于确定所述各视频大类的特征审查融合参数；

所述融合参数确定模块包括：

样本融合审查模块，用于采用所述预设融合审查分类方式对视频样本数据库中的各视频帧进行分类，获得融合审查的各视频大类的视频帧；

样本分类审查模块，用于分别采用各类特征审查方法对所述视频样本数据库中的各视频帧进行分类，分别获得各类特征审查后的各视频大类的视频帧；

样本准确率确定模块，用于根据所述融合审查的各视频大类的视频帧、各类特征审查后的各视频大类的视频帧，确定各视频大类的各类特征审查的准确率；

融合参数综合确定模块，根据各视频大类的各类特征审查的准确率，确定各视频大类的特征审查融合参数。

8.根据权利要求7所述的深入融合视频审查方法，其特征在于，所述样本准确率确定模块包括：

误判率确定模块，用于分别获取属于当前类特征审查的当前视频大类、但不属于融合审查的当前视频大类的视频帧的第一视频帧数目，并将所述第一视频帧数目除以所述融合审查的当前视频大类的视频帧的样本数目的值作为该当前类特征审查的误判率；

漏判率确定模块，用于分别获取属于融合审查的当前视频大类的视频帧、但不属于当前类特征审查的当前视频大类的第二视频帧数目，并将所述第二视频帧数目与除以所述融合审查的当前视频大类的视频帧的样本数目的值作为该当前类特征审查的漏判率；

准确率确定模块，用于根据当前类特征审查的误判率、漏判率确定当前视频大类的当前类特征审查的准确率。

9.根据权利要求8所述的深入融合视频审查系统，其特征在于，所述准确率确定模块，将当前类特征审查的误判率、漏判率的平均值或者加权平均值作为当前视频大类的当前类特征审查的准确率。

10.根据权利要求7所述的深入融合视频审查系统，其特征在于，所述融合参数综合确定模块，将当前视频大类的当前类特征审查的准确率相对于当前视频大类的各类特征审查的准确率之和的比例作为当前视频大类的当前类特征审查的融合参数，当前视频大类的特征融合审查参数包括当前视频大类的各类特征审查的融合参数。

11.根据权利要求7至10任意一项所述的深入融合视频审查系统，其特征在于，视频小类融合确定模块包括：

特征小类可能性确定模块，用于分别判断待审查视频帧中的各类特征属于所述视频大类下的各视频小类的可能性；

视频小类可能性确定模块，用于根据各类特征属于所述视频大类下的各视频小类的可能性，以及所述视频大类的特征审查融合参数，确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性；

小类确定模块，用于确定所述待审查视频帧属于所述视频大类下的各视频小类的可能性的最大值，并将该可能性的最大值对应的视频小类确定为所述待审查视频帧所属的视频小类。