CN103064940B - 一种基于感知知识库的视频内容审查系统及方法 - Google Patents

一种基于感知知识库的视频内容审查系统及方法 Download PDF

Info

Publication number
CN103064940B
CN103064940B CN201210572338.5A CN201210572338A CN103064940B CN 103064940 B CN103064940 B CN 103064940B CN 201210572338 A CN201210572338 A CN 201210572338A CN 103064940 B CN103064940 B CN 103064940B
Authority
CN
China
Prior art keywords
knowledge
video
pending trial
sample characteristics
subitem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210572338.5A
Other languages
English (en)
Other versions
CN103064940A (zh
Inventor
朱定局
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201210572338.5A priority Critical patent/CN103064940B/zh
Publication of CN103064940A publication Critical patent/CN103064940A/zh
Priority to PCT/CN2013/085484 priority patent/WO2014101539A1/zh
Application granted granted Critical
Publication of CN103064940B publication Critical patent/CN103064940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content

Abstract

本发明提出一种基于感知知识库的视频内容审查系统，包括视频样本数据库、样本数据感知特征抽取模块、视频感知知识库、感知特征模糊匹配模块、视频数据类型模糊判别模块、用户视频数据类型库和审查结果综合查询模块，根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。本发明还提出一种基于感知知识库的视频内容审查方法。本发明对样本视频数据自动抽取感知知识并采用数据库管理，利用感知知识自动地审查视频内容，达到了全自动审查的目的，无需人工操作、无需编写特定的审查算法，通用性强。

Description

一种基于感知知识库的视频内容审查系统及方法
【技术领域】
本发明涉及多媒体处理技术，更具体地说，涉及一种基于感知知识库的视频内容审查系统及方法。
【背景技术】
目前视频内容审查基本上都是采用人工观看的方式，一个视频节目需要用户人工从头到尾看一遍，有时还需要多个用户分别多次观看，耗费大量时间和人力，效率较低。现有技术也提出一些算法，用于识别特定的视频内容，如特定类型的裸体。但现有技术的算法通用性差，对于稍有变化或不符合预先定义类型的视频内容就无法识别，实用性较低。
【发明内容】
基于此，本发明提出一种基于感知知识库的视频内容审查系统，包括：视频样本数据库，包括至少一视频样本子库，分别存储并管理与至少一类特定审查类别对应的样本视频；样本数据感知特征抽取模块，对视频样本子库中的样本视频逐帧进行感知特征抽取，产生与其每一帧对应的样本特征描述；对样本特征描述进行汇总得到样本特征知识，定义样本特征知识的取值范围；视频感知知识库，存储并管理样本特征知识及其取值范围；待审数据感知特征抽取模块，对待审视频逐帧进行感知特征抽取，产生与其每一帧对应的待审特征描述；感知特征模糊匹配模块，分别从视频感知知识库中搜索与各待审特征描述最接近的样本特征知识；视频数据类型模糊判别模块，分析找到的样本特征知识，确定待审特征描述对应待审视频帧所属的特定审查类别；用户视频数据类型库，存储并管理待审视频帧及其所属的特定审查类别和审查结果综合查询模块，根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。
其中，上述样本数据感知特征抽取模块分别对样本视频每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项。
其中，上述样本数据感知特征抽取模块对样本特征描述进行汇总得到样本特征知识，是对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；样本数据感知特征抽取模块分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围。
其中，视频感知知识库包括与至少一类特定审查类别对应的视频感知知识子库，分别存储与特定审查类别对应的分项样本特征知识及其取值范围；
其中，上述待审数据感知特征抽取模块分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项。
对于待审特征描述的所有分项均与视频感知知识库中某一样本特征知识相应分项最接近的，视频数据类型模糊判别模块分别比较待审特征描述的各分项是否均落入样本特征知识的相应分项的取值范围，是则确定待审特征描述属于样本特征知识对应的特定类型,否则感知特征模糊匹配模块从视频感知知识库中搜索所有分项均与待审特征描述的相应分项次接近的样本特征知识；视频数据类型模糊判别模块分别比较待审特征描述的各分项是否均落入次接近的样本特征知识的相应分项的取值范围，是则确定待审特征描述属于次接近的样本特征知识对应的特定类型,否则感知特征模糊匹配模块继续查找次接近的样本特征知识，直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
对于待审特征描述某一分项与视频感知知识库中第一样本特征知识的对应分项最接近，且其他分项均与第二样本特征知识的相应分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与第一样本特征知识的总距离、待审特征描述与第二样本特征知识的总距离；视频数据类型模糊判别模块比较待审特征描述与第一样本特征知识的总距离和待审特征描述与第二样本特征知识的总距离，从总距离较小的样本特征知识到总距离较大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；如果待审特征描述的各分项既未均落入总距离较小的样本特征知识的相应分项的取值范围，也未均落入总距离较大的样本特征知识相应分项的取值范围，则感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述某一分项与对应分项次接近的第一样本特征知识，且其他分项均与相应分项次接近的第二样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
对于待审特征描述各分项分别与视频感知知识库中至少一样本特征知识的对应一分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与各样本特征知识的总距离；视频数据类型模糊判别模块比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；如果待审特征描述的各分项未均落入任何一样本特征知识相应分项的取值范围，，则感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述某一分项与对应分项次接近的至少一样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
本发明还提出一种基于感知知识库的视频内容审查方法，包括：视频样本数据库包括至少一视频样本子库，分别预先存储并管理与至少一类特定审查类别对应的样本视频的步骤；样本数据感知特征抽取模块对视频样本子库中预先存储的样本视频，分别根据每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项的步骤；样本数据感知特征抽取模块对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围的步骤；视频感知知识库将与特定审查类别对应的分项样本特征知识及其取值范围存入与至少一类特定审查类别对应的视频感知知识子库中的步骤；待审数据感知特征抽取模块分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项的步骤；感知特征模糊匹配模块分别从视频感知知识库中搜索相应分项与待审特征描述的至少一分项最接近的样本特征知识的步骤；视频数据类型模糊判别模块分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别的步骤；用户视频数据类型库存储并管理待审视频帧及其所属的特定审查类别的步骤；和审查结果综合查询模块根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别的步骤；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警的步骤。
其中，上述视频数据类型模糊判别模块分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别的步骤包括：视频数据类型模糊判别模块分析待审特征描述各分项分别与视频感知知识库中哪些样本特征知识的对应分项最接近的步骤；对于待审特征描述各分项均与一样本特征知识的对应分项最接近的，视频数据类型模糊判别模块比较待审特征描述的各分项是否落入样本特征知识的相应分项的取值范围，由此确定待审特征描述属于样本特征知识对应的特定类型的步骤；对于待审特征描述各分项分别与至少二样本特征知识的对应分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与各样本特征知识的总距离的步骤；视频数据类型模糊判别模块比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型的步骤；如果待审特征描述的各分项未能均落入找到的样本特征知识相应分项的取值范围，则感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述各分项与对应分项次接近的至少一样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找的步骤。
本发明对样本视频数据自动抽取感知知识并采用数据库管理，利用感知知识自动地审查视频内容，达到了全自动审查的目的，无需人工操作、无需编写特定的审查算法，通用性强。
【附图说明】
图1为本发明一实施例的基于感知知识库的视频内容审查系统系统结构示意图；
图2为本发明一实施例的基于感知知识库的视频内容审查方法流程示意图；
图3为本发明一实施例的确定待审视频帧所属的特定审查类别部分流程示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明第一实施例参照图1示出的基于感知知识库的视频内容审查系统系统结构示意图和图2示出的视频内容审查主要流程示意图，本发明提出基于感知知识库的视频内容审查系统一实施例包括：
视频样本数据库S，包括至少一视频样本子库Si，分别存储并管理与至少一类特定审查类别对应的样本视频；
样本数据感知特征抽取模块1，对视频样本子库Si中的样本视频逐帧进行感知特征抽取，产生与其每一帧对应的样本特征描述；对样本特征描述进行汇总得到样本特征知识，定义样本特征知识的取值范围；
视频感知知识库K，存储并管理样本特征知识及其取值范围；
待审数据感知特征抽取模块2，对待审视频逐帧进行感知特征抽取，产生与其每一帧对应的待审特征描述；
感知特征模糊匹配模块3，分别从视频感知知识库K中搜索与各待审特征描述最接近的样本特征知识；
视频数据类型模糊判别模块4，分析找到的样本特征知识，确定待审特征描述对应待审视频帧所属的特定审查类别；
用户视频数据类型库U，存储并管理待审视频帧及其所属的特定审查类别；
审查结果综合查询模块5，根据用户指令查询用户视频数据类型库U中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。
基于上述实施例，本发明提出一实施例，样本数据感知特征抽取模块1分别对样本视频每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项。视频包括文字、图像和/或声音等特征，则对应获得样本特征描述的分项为：文字特征描述、图像特征描述和/或声音特征描述。
本实施例的样本数据感知特征抽取模块1对样本特征描述进行汇总得到样本特征知识，是对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；样本数据感知特征抽取模块1分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围。
视频感知知识库K包括与至少一类特定审查类别对应的视频感知知识子库Ki，分别存储与特定审查类别对应的分项样本特征知识及其取值范围；
待审数据感知特征抽取模块2分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项。
基于上述实施例，本发明提出一实施例，其中感知特征模糊匹配模块3和视频数据类型模糊判别模块4配合，共同确定待审特征描述对应待审视频帧所属的特定审查类别。
本实施例将感知特征模糊匹配模块3找到的样本特征知识分为以下三种情况：
第一种情况，对于待审特征描述的所有分项均与视频感知知识库K中某一样本特征知识相应分项最接近的，视频数据类型模糊判别模块4分别比较待审特征描述的各分项是否均落入样本特征知识的相应分项的取值范围，是则确定待审特征描述属于样本特征知识对应的特定类型,否则
感知特征模糊匹配模块3从视频感知知识库K中搜索所有分项均与待审特征描述的相应分项次接近的样本特征知识；
视频数据类型模糊判别模块4分别比较待审特征描述的各分项是否均落入次接近的样本特征知识的相应分项的取值范围，是则确定待审特征描述属于次接近的样本特征知识对应的特定类型,否则
感知特征模糊匹配模块3继续查找次接近的样本特征知识，直到确定待审特征描述所属的特定类型，或完成对视频感知知识库K中所有样本特征知识的查找。
第二种情况，对于待审特征描述某一分项与视频感知知识库K中第一样本特征知识的对应分项最接近，且其他分项均与第二样本特征知识的相应分项最接近的，视频数据类型模糊判别模块4分别求出待审特征描述与第一样本特征知识的总距离、待审特征描述与第二样本特征知识的总距离。
视频数据类型模糊判别模块4比较待审特征描述与第一样本特征知识的总距离和待审特征描述与第二样本特征知识的总距离，从总距离较小的样本特征知识到总距离较大的样本特征知识，视频数据类型模糊判别模块4分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型。
如果待审特征描述的各分项既未均落入总距离较小的样本特征知识的相应分项的取值范围，也未均落入总距离较大的样本特征知识相应分项的取值范围，则
感知特征模糊匹配模块3从视频感知知识库K中搜索待审特征描述某一分项与对应一分项次接近的第一样本特征知识，且其他分项均与相应分项次接近的第二样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库K中所有样本特征知识的查找。
第三种情况，对于待审特征描述各分项分别与视频感知知识库K中至少一样本特征知识的对应分项最接近的，视频数据类型模糊判别模块4分别求出待审特征描述与各样本特征知识的总距离。
视频数据类型模糊判别模块4比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块4分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；
如果待审特征描述的各分项未均落入任何一样本特征知识相应分项的取值范围，则
感知特征模糊匹配模块3从视频感知知识库K中搜索待审特征描述某一分项与对应分项次接近的至少一样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库K中所有样本特征知识的查找。
以下给出本发明一具体实施例说明本发明方案。
设视频样本数据库S包括至少一视频样本子库Si，分别对应i类类特定审查类别。如第一视频样本子库S1对应1类枪击视频；第二视频样本子库S2对应2类性交视频；第三视频样本子库S3对应3类裸乳视频；第四视频样本子库S4对应4类裸臀视频；第五视频样本子库S5对应5类打砸视频等。
设第i类视频字库Si中包含样本视频的m个视频帧，Si＝{si1,si2,…,sim},样本数据感知特征抽取模块1分别对样本视频每一帧的文字、图像和声音特征进行感知特征抽取，获得与每一帧分别对应的文字特征描述、图像特征描述和声音特征描述。样本数据感知特征抽取模块1运行文字特征抽取函数fw得到样本文字特征描述fw(si1)、fw(si2)、…、fw(sim)；运行声音特征抽取函数fv得到样本声音特征描述fv(si1)、fv(si2)、…、fv(sim)；运行图像特征抽取函数fg得到样本图像特征描述fg(si1)、fg(si2)、…、fg(sim))。
样本数据感知特征抽取模块1对样本特征描述的至少一分项进行汇总，本实施例是采用加权平均，得到至少一分项样本特征知识，包括：文字样本特征知识kwi＝(fw(si1)+fw(si2)+…+fw(sim))/m；声音样本特征知识kvi＝(fv(si1)+fv(si2)+…+fv(sim))/m；图像样本特征知识kgi＝(fg(si1)+fg(si2)+…+fg(sim))/m。
样本数据感知特征抽取模块1分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围。文字样本特征知识最小值kwi_min＝min(fw(si1)+fw(si2)+…+fw(sim))，文字样本特征知识最大值kwi_max＝max(fw(si1)+fw(si2)+…+fw(sim))；声音样本特征知识最小值kvi_min＝min(fv(si1)+fv(si2)+…+fv(sim))，声音样本特征知识最大值kvi_max＝max(fv(si1)+fv(si2)+…+fv(sim))；图像样本特征知识最小值kgi_min＝min(fg(si1)+fg(si2)+…+fg(sim))，图像样本特征知识最大值kgi_max＝max(fg(si1)+fg(si2)+…+fg(sim)))。
与视频样本库S中的视频样本子库Si一一对应地，视频感知知识库K包括多个视频感知知识子库Ki，分别存储样本特征知识及其取值范围：文字特征知识kwi及其取值范围(kwi_min,kwi_max)、声音特征知识kvi及其取值范围(kvi_min,kvi_max)、图像特征知识kgi及其取值范围(kgi_min,kgi_max)。
设用户提交的待审视频Vi＝{vi1,vi2,…,vin}，包含待审视频的n个视频帧。待审数据感知特征抽取模块2对其每一帧的文字、图像和声音特征进行感知特征抽取，运行文字特征抽取函数fw得到待审文字特征描述fw(vij)＝{fw(vi1)，fw(vi2)，…,fw(vin)}、运行声音特征抽取fv得到待审声音特征描述fv(vij)＝{fv(vi1)，fv(vi2)，…,fv(vin)}；运行图像特征抽取fg得到得到待审图像特征描述fg(vij)＝{fg(vi1)，fg(vi2)，…,fg(vin)}。
参照图3示出的确定待审视频帧所属的特定审查类别部分流程示意图，其中图3(a)示出对于第一种情况，确定待审视频帧vij所属的特定审查类别的方案，包括：
步骤S611、感知特征模糊匹配模块3找到某一样本特征知识，待审特征描述的所有分项均与其相应分项最接近，进行步骤S711；
即感知特征模糊匹配模块3从视频感知知识库K中找到第一样本特征知识ka，包括第一文字特征知识kwa、第一声音特征知识kva和第一图像特征知识kga。待审文字特征描述fw(vij)与其第一文字特征知识kwa最接近，且待审声音特征描述fv(vij)与其第一声音特征知识kva最接近且待审图像特征描述fg(vij)与其第一图像特征知识kga最接近。
步骤S711、视频数据类型模糊判别模块4分别比较待审特征描述的各分项是否均落入样本特征知识的相应分项的取值范围，如果是则进行步骤S712，否则进行步骤S612；
即判断是否待审文字特征描述fw(vij)落入第一文字特征知识取值范围(kwa_min,kwa_max),且待审声音特征描述fv(vij)落入第一声音特征知识取值范围(kva_min,kva_max)范围,且待审图像特征描述fg(vij)落入第一图像特征知识取值范围(kga_min,kga_max)。
步骤S712、确定待审视频帧vij属于与第一样本特征知识ka对应的第a类特定审查类别，如枪击类视频，本流程结束。
步骤S612、判断是否已经完成对视频感知知识库3中所有样本特征知识的查找，如果否则进行步骤S613，如果是则本流程结束。
步骤S613、感知特征模糊匹配模块3从视频感知知识库K中搜索所有分项均与待审特征描述的相应分项次接近的样本特征知识，进行步骤711；
即从视频感知知识库K中取与待审视频帧vij次接近的第二样本特征知识kb。
本发明又提出一实施例，参照图3(b)所示的对于第二种情况，确定待审视频帧vij所属的特定审查类别的方案包括：
步骤S621、感知特征模糊匹配模块3找到第一样本特征知识ka和第二样本特征知识kb，待审文字特征描述fw(vij)的某一分项与第一样本特征知识ka的对应分项最接近，待审文字特征描述fw(vij)的其他二分项均与第二样本特征知识kn的相应二分项最接近，则进行步骤721；
例如待审文字特征描述fw(vij)与第一文字特征知识kwa最接近，待审声音特征描述fv(vij)与第二声音特征知识kvb最接近，且待审图像特征描述fg(vij)与第二图像特征知识kgb最接近，或
如果待审文字特征描述fw(vij)与第一文字特征知识kwa最接近，待审声音特征描述fv(vij)与第二声音特征知识kvb最接近，且待审图像特征描述fg(vij)与第一图像特征知识kga最接近，或
如果待审文字特征描述fw(vij)与第二文字特征知识kwb最接近，待审声音特征描述fv(vij)与第一声音特征知识kva最接近，且待审图像特征描述fg(vij)与第一图像特征知识kga最接近，或
如果待审文字特征描述fw(vij)与第二文字特征知识kwb最接近，待审声音特征描述fv(vij)与第一声音特征知识kva最接近，且待审图像特征描述fg(vij)与第二图像特征知识kgb最接近，或
如果待审文字特征描述fw(vij)与第二文字特征知识kwb最接近，待审声音特征描述fv(vij)与第二声音特征知识kvb最接近，且待审图像特征描述fg(vij)与第一图像特征知识kga最接近……等多种情况。
步骤S721、视频数据类型模糊判别模块4分别求出待审特征描述与第一样本特征知识的总距离、待审特征描述与第二样本特征知识的总距离；
例如分别求出待审文字特征描述fw(vij)与第一文字特征知识kwa的距离dwa、待审声音特征描述fv(vij)与第一声音特征知识kva的距离dva，待审图像特征描述fg(vij)与第一图像特征知识kga的距离dga，综合三距离得到待审特征描述与第一样本特征知识ka的总距离da＝((dwa)^2+(dva)^2+(dga)^2)^(1/2)))。同样地求出待审特征描述与第二样本特征知识的kb的总距离db＝((dwb)^2+(dvb)^2+(dgb)^2)^(1/2)))。
步骤S722，视频数据类型模糊判别模块4比较待审特征描述与第一样本特征知识ka的总距离da和待审特征描述与第二样本特征知识kb的总距离db，如果da<db,则进行步骤S723，否则进行步骤S727。
步骤S723、判断是否待审文字特征描述fw(vij)落入第一文字特征知识取值范围(kwa_min,kwa_max),且待审声音特征描述fv(vij)落入第一声音特征知识取值范围(kva_min,kva_max),且待审图像特征描述fg(vij)落入第一图像特征知识取值范围(kga_min,kga_max)；如果是则进行步骤S724，否则进行步骤S725。
步骤S724、待审视频帧vij属于与第一样本特征知识ka对应的第a类特定审查类别，如枪击类视频，本流程结束。
步骤S725、判断是否待审文字特征描述fw(vij)落入第二文字特征知识取值范围(kwb_min,kwb_max),且待审声音特征描述fv(vij)落入第二声音特征知识取值范围(kvb_min,kvb_max),且待审图像特征描述fg(vij)落入第二图像特征知识取值范围(kgb_min,kgb_max)；如果是则进行步骤S726，否则进行步骤S622。
步骤S726、确定待审视频帧vij属于与第二样本特征知识kb对应的第b类特定审查类别，如抢砸类视频，本流程结束。
步骤S727、判断是否待审文字特征描述fw(vij)落入第二文字特征知识取值范围(kwb_min,kwb_max),且待审声音特征描述fv(vij)落入第二声音特征知识取值范围(kvb_min,kvb_max),且待审图像特征描述fg(vij)落入第二图像特征知识取值范围(kgb_min,kgb_max)；如果是则进行步骤S726，否则进行步骤S728。
步骤S728、判断是否待审文字特征描述fw(vij)落入第一文字特征知识取值范围(kwa_min,kwa_max),且待审声音特征描述fv(vij)落入第一声音特征知识取值范围(kva_min,kva_max),且待审图像特征描述fg(vij)落入第一图像特征知识取值范围(kga_min,kga_max)；如果是则进行步骤S724，否则进行步骤S622。
步骤S622、判断是否已经完成对视频感知知识库3中所有样本特征知识的查找，如果否则进行步骤S623，如果是则本流程结束。
步骤S623、感知特征模糊匹配模块3从视频感知知识库K中搜索对应分项与待审特征描述某一分项次接近的第一样本特征知识，及相应分项均与其他分项次接近的第二样本特征知识，然后进行步骤S721。
本发明又提出一实施例，参照图3(c)所示的对于第三种情况，确定待审视频帧vij所属的特定审查类别的方案包括：
步骤S631、感知特征模糊匹配模块3找到第一样本特征知识ka、第二样本特征知识kb和第三样本特征知识kc，三者分别有一分项是与待审特征描述某一分项最接近，则进行步骤S731；
即如果待审文字特征描述fw(vij)与第一文字特征知识kwa最接近，待审声音特征描述fv(vij)与第二声音特征知识kvb最接近，而待审图像特征描述fg(vij)与第三图像特征知识kgc最接近。
步骤S731、视频数据类型模糊判别模块4分别求出待审特征描述与各样本特征知识的总距离；
即分别求出待审文字特征描述fw(vij)与第一文字特征知识kwa的距离dwa，待审声音特征描述fv(vij)与第一声音特征知识kva的距离dva，待审图像特征描述fg(vij)与第一图像特征知识kga的距离dga，得到待审特征描述与第一样本特征知识ka的总距离da。同样地分别求出待审特征描述与第二样本特征知识的kb的总距离db和待审特征描述与第三样本特征知识的kc的总距离dc。
步骤S732、视频数据类型模糊判别模块4比较待审特征描述与各样本特征知识的总距离，如果da<db<dc,则进行步骤S733。
步骤S733、判断是否待审文字特征描述fw(vij)落入第一文字特征知识取值范围(kwa_min,kwa_max),且待审声音特征描述fv(vij)落入第一声音特征知识取值范围(kva_min,kva_max)范围,且待审图像特征描述fg(vij)落入第一图像特征知识取值范围(kga_min,kga_max)；如果是则进行步骤S734，否则进行步骤S735。
步骤S734、待审视频帧vij属于与第一样本特征知识ka对应的第a类特定审查类别，如枪击类视频，则本流程结束。
步骤S735、判断是否待审文字特征描述fw(vij)落入第二文字特征知识取值范围(kwb_min,kwb_max),且待审声音特征描述fv(vij)落入第二声音特征知识取值范围(kvb_min,kvb_max)范围,且待审图像特征描述fg(vij)落入第二图像特征知识取值范围(kgb_min,kgb_max)；如果是则进行步骤S736，否则进行步骤S737。
步骤S736、确定待审视频帧vij属于与第二样本特征知识kb对应的第b类特定审查类别，如抢砸类视频，则本流程结束。
步骤S737、判断是否待审文字特征描述fw(vij)落入第三文字特征知识取值范围(kwc_min,kwc_max),且待审声音特征描述fv(vij)落入第三声音特征知识取值范围(kvc_min,kvc_max)范围,且待审图像特征描述fg(vij)落入第三图像特征知识取值范围(kgc_min,kgc_max)；如果是则进行步骤S738，否则进行步骤S632。
步骤S738、确定待审视频帧vij属于与第三样本特征知识kc对应的第c类特定审查类别，如裸臀类视频。
步骤S632、判断是否已经完成对视频感知知识库3中所有样本特征知识的查找，如果否则进行步骤S633，如果是则本流程结束。
步骤S633、感知特征模糊匹配模块3从视频感知知识库K中搜索对应一分项分别与待审特征描述各分项次接近的第一样本特征知识ka、第二样本特征知识kb和第三样本特征知识kc，然后进行步骤S731。
对于db<da<dc、dc<db<da等多种情况，按照从总距离最小的样本特征知识到总距离最大的顺序，调整比较顺序，采用与步骤S733至步骤S738类似的步骤，依次比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型，具体流程不再赘述。若比较完三个样本特征知识，待审特征描述的各分项没有均落入同一样本特征知识的取值范围，则进行步骤S632。
本发明采用的特征抽取、汇总、求距离、求总距离、求取值范围等数据处理均不限于上述各实施例中给出的示例方案，还可采用其他方案实现。
参照图2示出的总流程示意图，本发明还提出一种基于感知知识库的视频内容审查方法，包括：
步骤S1、视频样本数据库S包括至少一视频样本子库Si，分别预先存储并管理与至少一类特定审查类别对应的样本视频；
步骤S2、样本数据感知特征抽取模块1对视频样本子库Si中预先存储的样本视频，分别根据每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项；
步骤S3、样本数据感知特征抽取模块1对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围；
步骤S4、视频感知知识库K将与特定审查类别对应的分项样本特征知识及其取值范围存入与至少一类特定审查类别对应的视频感知知识子库Ki中；
步骤S5、待审数据感知特征抽取模块2分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项；
步骤S6、感知特征模糊匹配模块3分别从视频感知知识库K中搜索相应分项与待审特征描述的至少一分项最接近的样本特征知识；
步骤S7、视频数据类型模糊判别模块4分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别；
步骤S8、用户视频数据类型库U存储并管理待审视频帧及其所属的特定审查类别；
步骤S9、审查结果综合查询模块5根据用户指令查询用户视频数据类型库U中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。
本发明提出一实施例，基于上述实施例提出，步骤S6和步骤S7具体包括：
步骤S701、视频数据类型模糊判别模块4分析待审特征描述各分项分别与视频感知知识库K中哪些样本特征知识的对应分项最接近；
步骤S702、对于待审特征描述各分项均与一样本特征知识的对应分项最接近的，视频数据类型模糊判别模块4比较待审特征描述的各分项是否落入样本特征知识的相应分项的取值范围，由此确定待审特征描述属于样本特征知识对应的特定类型；
步骤S703、对于待审特征描述各分项分别与至少二样本特征知识的对应分项最接近的，视频数据类型模糊判别模块4分别求出待审特征描述与各样本特征知识的总距离；
步骤S704、视频数据类型模糊判别模块4比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块4分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；如果待审特征描述的各分项未能均落入找到的样本特征知识相应分项的取值范围，则
步骤S601、感知特征模糊匹配模块3从视频感知知识库K中搜索待审特征描述各分项与对应分项次接近的至少一样本特征知识，重复求出总距离并比较判断直到完成对视频感知知识库K中所有样本特征知识的查找。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于感知知识库的视频内容审查系统，包括：
视频样本数据库，包括至少一视频样本子库，分别存储并管理与至少一类特定审查类别对应的样本视频；
样本数据感知特征抽取模块，对视频样本子库中的样本视频逐帧进行感知特征抽取，产生与其每一帧对应的样本特征描述；对样本特征描述进行汇总得到样本特征知识，定义样本特征知识的取值范围；
视频感知知识库，存储并管理样本特征知识及其取值范围；
待审数据感知特征抽取模块，对待审视频逐帧进行感知特征抽取，产生与其每一帧对应的待审特征描述；
感知特征模糊匹配模块，分别从视频感知知识库中搜索与各待审特征描述最接近的样本特征知识；
视频数据类型模糊判别模块，分析找到的样本特征知识，确定所述待审特征描述对应待审视频帧所属的特定审查类别；
用户视频数据类型库，存储并管理待审视频帧及其所属的特定审查类别；
审查结果综合查询模块，根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警；其中，
对于待审特征描述的所有分项均与视频感知知识库中某一样本特征知识相应分项最接近的，视频数据类型模糊判别模块分别比较待审特征描述的各分项是否均落入所述样本特征知识的相应分项的取值范围，是则确定待审特征描述属于所述样本特征知识对应的特定类型,否则
感知特征模糊匹配模块从视频感知知识库中搜索所有分项均与所述待审特征描述的相应分项次接近的样本特征知识；
视频数据类型模糊判别模块分别比较待审特征描述的各分项是否均落入所述次接近的样本特征知识的相应分项的取值范围，是则确定待审特征描述属于所述次接近的样本特征知识对应的特定类型,否则
感知特征模糊匹配模块继续查找次接近的样本特征知识，直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
2.根据权利要求1所述的基于感知知识库的视频内容审查系统，其特征在于：
所述样本数据感知特征抽取模块分别对样本视频每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项。
3.根据权利要求2所述的基于感知知识库的视频内容审查系统，其特征在于：
所述样本数据感知特征抽取模块对样本特征描述进行汇总得到样本特征知识，是对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；所述样本数据感知特征抽取模块分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围。
4.根据权利要求2所述的基于感知知识库的视频内容审查系统，其特征在于：
视频感知知识库包括与至少一类特定审查类别对应的视频感知知识子库，分别存储与特定审查类别对应的分项样本特征知识及其取值范围。
5.根据权利要求2所述的基于感知知识库的视频内容审查系统，其特征在于：
所述待审数据感知特征抽取模块分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项。
6.根据权利要求2至5任意一项所述的基于感知知识库的视频内容审查系统，其特征在于：
对于待审特征描述某一分项与视频感知知识库中第一样本特征知识的对应分项最接近，且其他分项均与第二样本特征知识的相应分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与第一样本特征知识的总距离、待审特征描述与第二样本特征知识的总距离；
视频数据类型模糊判别模块比较待审特征描述与第一样本特征知识的总距离和待审特征描述与第二样本特征知识的总距离，从总距离较小的样本特征知识到总距离较大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；
如果待审特征描述的各分项既未均落入总距离较小的样本特征知识的相应分项的取值范围，也未均落入总距离较大的样本特征知识相应分项的取值范围，则
感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述某一分项与对应分项次接近的第一样本特征知识，且其他分项均与相应分项次接近的第二样本特征知识，重复求出所述总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
7.根据权利要求2至5任意一项所述的基于感知知识库的视频内容审查系统，其特征在于：
对于待审特征描述各分项分别与视频感知知识库中至少一样本特征知识的对应一分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与各样本特征知识的总距离；
视频数据类型模糊判别模块比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；
如果待审特征描述的各分项未均落入任何一样本特征知识相应分项的取值范围，则
感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述某一分项与对应分项次接近的至少一样本特征知识，重复求出所述总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
8.一种基于感知知识库的视频内容审查方法，包括：
视频样本数据库包括至少一视频样本子库，分别预先存储并管理与至少一类特定审查类别对应的样本视频；
样本数据感知特征抽取模块对视频样本子库中预先存储的样本视频，分别根据每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项；
样本数据感知特征抽取模块对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围；
视频感知知识库将与特定审查类别对应的分项样本特征知识及其取值范围存入与至少一类特定审查类别对应的视频感知知识子库中；
待审数据感知特征抽取模块分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项；
感知特征模糊匹配模块分别从视频感知知识库中搜索相应分项与待审特征描述的至少一分项最接近的样本特征知识；
视频数据类型模糊判别模块分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别；
用户视频数据类型库存储并管理待审视频帧及其所属的特定审查类别；
审查结果综合查询模块根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警；其中，所述视频数据类型模糊判别模块分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别包括：
视频数据类型模糊判别模块分析待审特征描述各分项分别与视频感知知识库中哪些样本特征知识的对应分项最接近；
对于待审特征描述各分项均与一样本特征知识的对应分项最接近的，视频数据类型模糊判别模块比较待审特征描述的各分项是否均落入所述样本特征知识的相应分项的取值范围，由此确定待审特征描述属于所述样本特征知识对应的特定类型；
对于待审特征描述各分项分别与至少二样本特征知识的对应分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与各样本特征知识的总距离；
视频数据类型模糊判别模块比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；
如果待审特征描述的各分项未能均落入找到的样本特征知识相应分项的取值范围，则
感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述各分项与对应分项次接近的至少一样本特征知识，重复求出所述总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
CN201210572338.5A 2012-12-25 2012-12-25 一种基于感知知识库的视频内容审查系统及方法 Active CN103064940B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210572338.5A CN103064940B (zh) 2012-12-25 2012-12-25 一种基于感知知识库的视频内容审查系统及方法
PCT/CN2013/085484 WO2014101539A1 (zh) 2012-12-25 2013-10-18 一种基于感知知识库的视频内容审查系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210572338.5A CN103064940B (zh) 2012-12-25 2012-12-25 一种基于感知知识库的视频内容审查系统及方法

Publications (2)

Publication Number Publication Date
CN103064940A CN103064940A (zh) 2013-04-24
CN103064940B true CN103064940B (zh) 2016-02-10

Family

ID=48107570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210572338.5A Active CN103064940B (zh) 2012-12-25 2012-12-25 一种基于感知知识库的视频内容审查系统及方法

Country Status (2)

Country Link
CN (1) CN103064940B (zh)
WO (1) WO2014101539A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064940B (zh) * 2012-12-25 2016-02-10 深圳先进技术研究院 一种基于感知知识库的视频内容审查系统及方法
CN109783689B (zh) * 2018-12-28 2021-05-21 广州华多网络科技有限公司 信息处理方法、装置及电子设备
CN113792600B (zh) * 2021-08-10 2023-07-18 武汉光庭信息技术股份有限公司 一种基于深度学习的视频抽帧方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1445696A (zh) * 2002-03-18 2003-10-01 朗迅科技公司 自动检索图像数据库中相似图象的方法
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
CN101035281A (zh) * 2007-04-19 2007-09-12 鲍东山 分级内容审核系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761545B2 (en) * 2010-11-19 2014-06-24 Rovi Technologies Corporation Method and apparatus for identifying video program material or content via differential signals
CN103064940B (zh) * 2012-12-25 2016-02-10 深圳先进技术研究院 一种基于感知知识库的视频内容审查系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1445696A (zh) * 2002-03-18 2003-10-01 朗迅科技公司 自动检索图像数据库中相似图象的方法
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
CN101035281A (zh) * 2007-04-19 2007-09-12 鲍东山 分级内容审核系统

Also Published As

Publication number Publication date
CN103064940A (zh) 2013-04-24
WO2014101539A1 (zh) 2014-07-03

Similar Documents

Publication Publication Date Title
Jain et al. Investigating gender recognition in smartphones using accelerometer and gyroscope sensor readings
CN104537336B (zh) 一种具备自学习功能的人脸识别方法和系统
Koyuncu et al. Visual and auditory data fusion for energy-efficient and improved object recognition in wireless multimedia sensor networks
CN102880879B (zh) 基于分布式和svm分类器的室外海量物体识别方法和系统
KR101191223B1 (ko) 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN103064940B (zh) 一种基于感知知识库的视频内容审查系统及方法
CN109213882A (zh) 图片排序方法及终端
CN104951553B (zh) 一种数据处理准确的内容搜集与数据挖掘平台及其实现方法
JP6708043B2 (ja) データ検索プログラム、データ検索方法およびデータ検索装置
CN102831405A (zh) 基于分布式和暴力匹配的室外大规模物体识别方法和系统
CN105279496A (zh) 一种人脸识别的方法和装置
CN111125396B (zh) 一种单模型多分支结构的图像检索方法
Zhou et al. Dual memory units with uncertainty regulation for weakly supervised video anomaly detection
Lin et al. Person search challenges and solutions: A survey
CN104765739B (zh) 基于形状空间的大规模人脸数据库检索方法
Tu et al. Agglomerative transformer for human-object interaction detection
US11886499B2 (en) Apparatus for training recognition model, apparatus for analyzing video, and apparatus for providing video search service
Raja et al. Classification of indoor/outdoor scene
CN106557533B (zh) 一种单目标多图像联合检索的方法和装置
Liu et al. Naming faces in broadcast news video by image google
Feng et al. Improved YOLOv4 Based on Dilated Convolution and Focal Loss
Tang et al. Visual Concept Selection with Textual Knowledge for Understanding Activities of Daily Living and Life Moment Retrieval.
Vo-Le et al. Violence Detection using Feature Fusion of Optical Flow and 3D CNN on AICS-Violence Dataset
Bakhshi et al. Violence Detection in Real-Life Audio Signals Using Lightweight Deep Neural Networks
Zhang et al. Tree hierarchical cnns for object parsing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant