CN106599133B - 一种基于草图交互的监控视频可视分析方法 - Google Patents

一种基于草图交互的监控视频可视分析方法 Download PDF

Info

Publication number
CN106599133B
CN106599133B CN201611095165.7A CN201611095165A CN106599133B CN 106599133 B CN106599133 B CN 106599133B CN 201611095165 A CN201611095165 A CN 201611095165A CN 106599133 B CN106599133 B CN 106599133B
Authority
CN
China
Prior art keywords
sketch
stroke
connecting line
video
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611095165.7A
Other languages
English (en)
Other versions
CN106599133A (zh
Inventor
马翠霞
郑猛
王宏安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN201611095165.7A priority Critical patent/CN106599133B/zh
Publication of CN106599133A publication Critical patent/CN106599133A/zh
Application granted granted Critical
Publication of CN106599133B publication Critical patent/CN106599133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于草图交互的监控视频可视分析方法。本方法为：1)对监控视频进行标注，为目标案件中的设定目标添加特征属性描述信息；然后根据标注信息对视频进行关键帧提取，并建立关键帧索引；2)绘制该目标案件的关联草图；并在该关联草图的节点连接线上进行关联标注、在该关联草图的节点周围进行节点信息标注；3)识别该关联草图的结构，计算该关联草图的有向有权图；4)对该有向有权图进行关联分析，求取该关联草图中的关键路径，获得目标案件的关联紧密事件集合；5)计算目标案件的关联草图子图、关联草图子图结构与其他案件关联草图的相似度，得到与目标案件的关联草图子图的相似子图。本发明可有效描述用户意图、增强视频语义。

Description

一种基于草图交互的监控视频可视分析方法
技术领域
本发明属于人机交互领域，具体涉及一种基于草图交互的监控视频可视分析方法。
背景技术
随着数字多媒体技术、网络技术的发展，视频资源数量呈海量式增长。视频作为一类重要的信息传递媒体，以其直观方便、信息内容丰富的特点越来越受到人们的重视，视频已经成为了传递信息的重要载体。视频具有非结构性、数据量大、维数高以及语义多样性等特点，使得视频信息的提取有一定的难度。海量的视频信息因缺乏智能处理机制，增加了人们的认知负担，降低了人们获取知识、掌握规律以及进行决策的效率。
监控视频作为一类重要的视频资源，其不仅具有发现犯罪、预防犯罪、威慑犯罪等重要功能，而且具有锁定目标、提供线索、固定证据、辅助审讯等拓展功能，对维护社会安全有着重要作用。视频侦查工作对于监控视频中的重要信息的挖掘具有重要作用，但由于监控视频的数据量大和结构复杂等特点，视频侦查工作同样面临着巨大的挑战。监控视频具有典型的时空数据特点，能够利用时间、空间的二维属性反映案件事实，从而实现打击和防控形势犯罪的目的。除了时间与空间的二维属性，监控视频还具有典型的大数据的特点，为了真实的还原案件过程，追踪案件密切相关的信息，需要采集大量的监控视频数据。目前的视频侦查工作主要依靠侦查员浏览监控视频来发现与案件相关的线索，巨大的监控视频数据会导致案件相关信息获取实时性差、误判与漏判等问题，同时人类的工作负荷对于注意力的影响也会降低获取监控视频信息的效率(参考文献：Pelletier S,Suss J,Vachon F,Tremblay S,Atypical Visual Display for Monitoring Multiple CCTV Feeds.NewYork:ACM,2015:1145-1150)。对于现有案件侦办模式等方面的限制，监控视频的利用率还远未达到人们的预期目标，因而如何有效提取监控视频内容，缩短视频长度，分析视频内容间的关联关系，实现视频内容的挖掘匹配，提高监控视频的信息利用率和研判分析过程的效率是当前需要迫切解决的问题。
手绘草图是人类一种自然而直接的思路外化和交流方式，草图能够使用简单的形状来表达人们抽象的思维意图，基于草图交互的关联草图，可以从关联草图中找出事件的核心信息及信息背后隐藏的规律。监控系统语义挖掘就是从关联草图中发现符合条件、频繁出现的子图结构，对找出事件活动规律及事件发展动态趋势提供了参考依据，目前一些监控系统语义挖掘并不能发现某些具有丰富语义结构模式，也不能为决策提供及时有用的信息。
发明内容
本发明的目的在于提供一种基于草图交互的监控视频内容可视分析方法，由于草图作为一种抽象的形象化语言，可以有效地描述用户意图、表述或增强视频语义，缩小视频底层物理特征与高层语义之间的鸿沟。本发明所提出的方法主要包括对监控视频的实时标注、基于监控视频信息的关联草图绘制、关联草图结构识别、白板上的案件分析回放及案件串并中的相似子图挖掘等过程。我们的目标是通过监控视频标注和草图绘制，将判案过程和案件中的人物事件关系转换成关联草图的形式进行展示，尽可能丰富地描述案件信息及判案分析过程。基于草图交互的监控视频内容分析的优势在于：记录判案过程，简洁概要的描述视频内容；实现关联草图的结构分析及案件过程的关联分析；挖掘多个案件中的相似犯罪模式，以辅助判案决策。
为实现上述发明目的，本发明采用如下的技术方案：
一种基于草图交互的监控视频可视分析方法，其步骤为：
1)通过对监控视频进行人工圈划标注，实现对目标案件中的设定目标或嫌疑对象特征属性的描述，添加文本标注和草图标注，并根据标注时间及特征属性对视频进行关键帧提取，建立关键帧索引；
2)使用1)所确定的关键帧及标注信息，根据案件发展及事件之间的关联绘制关联草图；并在关联草图的节点连接线上进行关联标注，在节点周围进行节点信息标注，其中关联标注是采用手写文字的方式来表示事件与嫌疑人之间的联系，节点信息标注是采用预置草图库中的草图符号来表示节点的重要程度；
3)对所绘关联草图进行结构识别，实现关联草图的结构存储；
4)根据关联标注和节点信息标注，计算该结构的连接线权值和节点值，获得关联草图的有向有权图；
5)对获得的有向有权图进行关联分析，求取该关联草图中的关键路径，获得关联紧密事件集合，即由权值较大的连接线所连接的节点集合；
6)利用不同案件关联草图子图节点间的相似性度量和不同案件关联草图子图结构的相似性进行判断，挖掘其他案件关联草图中的相似子图，对找出事件活动规律及事件发展动态趋势提供参考依据。
进一步的，根据标注的时间和在视频图像中的标注位置进行视频帧提取；视频标注分为视频播放时的标注和视频暂停时的标注，并且标注的结构信息不仅包括文本标注和草图标注，还有标注时间和标注的持续时间以及标注人的信息。
进一步的，视频暂停时的标注是对视频帧中设定的目标对象的标注；视频播放时的标注是对包含设定目标对象的一段视频进行标注，在标注时记录下标注的起始时间t1和结束时间t2,根据直方图变化提取时间段[t1,t2]内的关键帧。采用基于PFG(peer groupfiltering)的关键帧提取算法，依据相邻两帧颜色直方图的相似度提取关键帧，其中，视频帧i和视频帧j的直方图差为
HDij＝Hij+Sij+Vij
其中，
Figure BDA0001169341940000031
hH,hS,hV分别为H颜色向量、S颜色向量和V颜色向量的归一化直方图，b为变换空间的颜色数。
进一步的，根据对嫌疑对象的特征属性添加的文本标注和草图标注，对提取得到的关键帧建立索引，即帧图像索引。
进一步的，根据帧图像和案件情况绘制关联草图，其中，关联草图的节点可以是关键帧图片也可以是描述事件或者嫌疑人信息的草图，节点代表事件或者人物，节点之间的连线代表事件发生的先后顺序或者人与事件之间的关联。
进一步的，使用已定义的关系标注库或者自定义草图进行节点之间的关系标注，同时对节点之间的连接线进行重描，通过连接线的粗细和颜色用来表明不同节点之间的关系类型和关系强弱，最终生成一个有向有权图。
进一步的，识别所绘关联草图的结构，对于该关联草图中的箭头连接线，设定箭头连接线末端的参照点为极坐标系的极点，定义节点与箭头连接线之间的相对位置关系，定义di为参照点与箭头连接线上第i点之间的距离，即第i点的极径，αi为参照点与箭头连接线上第i个点的连线的夹角，即第i点的极角，则参照点与箭头连接线之间相对位置的特征向量可以表示为S＝{[d1,α1],[d2,α2],...,[dn,αn]}。
进一步的，根据上述的特征向量，采用RNN分类器识别出上述连接线中的连接箭头，得到连接箭头及其方向信息。
进一步的，在箭头识别的基础上，对非箭头笔画，根据笔画之间的距离和笔画集合的笔画密度对笔画进行合并操作，当dist(Si,Sj)＜stroke_thres时，计算如果合并得到的笔画集合的笔画密度den(Bi)，否则不进行合并，其中dist(Si,Sj)代表笔画集合Si与Sj之间的距离，stroke_thres代表笔画合并阈值，其计算公式为：
Figure BDA0001169341940000032
其中n代表该关联草图中的笔画总数，di为笔画i边界框的对角线长度。比较如果合并得到的笔画集合的笔画密度den(Bi)和笔画密度阈值block_thres，若den(Bi)＜block_thres，则不进行合并，否则进行合并，其中
Figure BDA0001169341940000041
lenj为笔画j的长度，diai为笔画集合Bi边界框的对角线长度，di为笔画i边界框的对角线长度，k为如果合并得到的笔画集合的笔画总数，n为该关联草图中的笔画总数。同时对于作为节点而存在的帧图片，该节点不进行笔画合并操作。
进一步的，采用草图文本分割方法，将所有不包含连接箭头的草图按照text和non-text进行分割，得到文本草图和非文本草图，其中非文本草图即为节点周围的草图标注符号。
进一步的，在识别出节点之间的连接线和通过笔画合并得到的笔画集合的基础上，为了判断笔画集合与连接线的位置关系，首先设定笔画集合中心点与箭头连接线两端端点的距离阈值t1及与连接线的中心点距离阈值t2，通过计算笔画集合中心点与箭头连接线两端点的距离d1、d2及与连接线中心点的距离d3，如果满足d1<t1或者d2<t1或者d3<t2，则该笔画集合与箭头连接线关联，否则该笔画集合与箭头连接线不关联。然后以箭头连接线两端端点构成的直线为x轴，以箭头连接线的中心点为坐标原点建立平面坐标系，通过比较笔画集合与箭头连接线两个端点之间的角度，判断该笔画集合是节点还是箭头连接线上的关联标注。重复笔画集合与箭头连接线的关联操作，直至所有笔画集合均与箭头连接线关联，则完成关联草图的结构识别。
进一步的，在实现草图文本分割和关联草图结构识别的基础上，采用文本草图识别方法识别分割得到的文本草图，采用草图标注符号识别方法识别非文本草图，并对帧图片节点信息进行识别分析，根据关键帧节点的图像特征、草图标注和文本标注，本发明定义一个三元组N＝<N1,N2,N3>，其中N代表节点值，N1代表关键帧的图像特征,N2代表草图标注语义,N3代表文本标注语义。
进一步的，根据节点连接线的草图特征，实现连接线的权值设定，其中Wi＝k*Color(i)+(1-k)*Bold(i)，其中Wi代表连接线i的权值，Color(i)代表连接线i的颜色所对应的特定值，Bold(i)代表连接线i的粗细度，k为特定系数。
进一步的，在获得关联草图的节点值和边的权重的基础上，即获得了一个有权有向图，只考虑边的权重，采用改进的Dijkstra算法，查找关联草图中指定两个节点之间的最大权值路径，获得关联紧密的事件集合。
进一步的，对已经经过结构识别的关联草图，选择某个子图作为候选图，采用相似子图挖掘算法VF2(Luigi P.Cordella,Pasquale Foggia,Carlo Sansone,Mario Vento,A(Sub)Graph Isomorphism Algorithm for Matching Large Graphs,IEEE Transactionson Pattern Analysis and Machine Intelligence,2004,26(10):1367-1372)进行相似度计算，在其他关联草图中查找具有相似结构的子图，获得相似犯罪模式，实现案件关联分析，辅助判案。
本发明的主要内容包括：
1、监控视频实时标注
监控视频中有效信息的筛选，传统的方法是视频侦查人员观看监控视频，并从监控视频中进行信息筛选，用纸笔记录下具体的有用信息，然后再进行信息汇总分析。该种方法效率低下，而且对所标注筛选的信息不易进行管理。视频标注是在观看监控视频的过程中，将有用的信息采用草图的方式进行圈划，采用草图和文本结合的方式进行记录，并在草图标签库中选择相应的标签，实现传统纸笔记录的电子化，以提高工作效率。视频观看分析过程中添加的标注，不仅包括标准本身，还包括标注的时间、标注的持续时间以及标注的人员信息，其中视频标注分为视频帧标注和视频片段标注，视频帧标注是在视频暂停状态下的视频标注，是对该视频帧中的某个对象或事件的标注，而视频片段标注是在视频播放状态下的视频标注，是对某个时间段内的视频的标注，记录下该段视频中所包含的重要信息。
本发明利用草图简单、直观的特点，在观看监控视频时，通过对嫌疑对象和车辆等进行圈划，实现有效内容的标注，并采用文本注释和草图注释方式实现对嫌疑对象特征属性的描述。对于视频帧标注，将标注的视频帧作为该标注的帧图片，而对于视频片段标注，从该时间段内的视频中提取关键帧作为该标注的帧图片。本发明采用基于聚类的关键帧提取算法，依据相邻两帧颜色直方图的相似度提取关键帧，其中，视频帧i和视频帧j的直方图差为
HDij＝Hij+Sij+Vij
其中，
Figure BDA0001169341940000051
hH,hS,hV分别为H颜色向量、S颜色向量和V颜色向量的归一化直方图。
设某个镜头Si包含n个图像帧，可以表示为Si＝{Fi1,Fi2,……,Fin}，其中Fi1为首帧，Fin为尾帧。并且相邻两帧之间的相似度定义是这相邻两帧颜色直方图的相似度(也即是直方图特征差别)，预定义一个阈值δ控制聚类的密度。设现存某个聚类质心Ci，d(Fik,Ci)为当前帧Fik与现存聚类质心Fi的相似度，当d(Fik,Ci)＜δ时，Fik不能加入该聚类；当d(Fik,Ci)均小于δ时，Fik形成一个新的聚类，Fik为新聚类的质心；否则将该帧加入到与之相似度最大的聚类中。最后，从每个聚类中抽取离聚类质心最近的帧作为这个聚类的代表帧。因此利用关键帧组成的帧序列代表该视频片段，减少视频数据流在内容上的冗余度，在数量精简的同时又能够反映视频内容。
2、基于草图交互的关联草图绘制
基于监控视频的关联草图，目的是将监控视频中的重要信息以关联草图的形式进行可视展示，同时显化事件之间的先后顺序及关联关系。关联草图有效利用草图直观自然的特性，同监控视频相结合，将案件的整个案情发展展现成草图的方式，进行直观有效的表达。
关联草图中节点代表着人物或者具体的事件，比如抢劫、枪击、逃逸等，并且节点采用草图和帧图像作为其数据源，当节点是帧图像时，其作为索引链接着该帧所在的视频片段或该帧在监控视频中的播放位置，通过点击实现标注信息在原监控视频中的展示。研判草图中的节点连接线采用带有箭头的连接线，箭头方向指向案件发展方向，其基本的顺序设定按照发生的时间顺序进行，节点的下一节点的不同代表着不同的事件发展的可能方向。在节点周围和连接线两侧可采用草图进行标注，标注可以采用自定义草图，也可直接使用草图库中的预定义草图符号，节点周围的标注可以表示节点所表示的事件的重要程度，连接线上的标注用来表示两个节点即两个事件之间的具体信息。
其中，本发明中允许对关联草图的连接线进行个性化，即可以设置连接线的颜色和粗细，以代表节点之间的强弱关联关系，本发明中指定部分颜色和粗细，并给出了根据连接线的颜色和粗细求取节点之间关联关系强弱的算法，计算公式如下：
Wi＝k×Color(i)+(1-k)×Bold(i)
其中，Wi代表连接线i的权值，Color(i)代表连接线i的颜色所对应的特定值，Bold(i)代表连接线i的粗细度，k为特定系数。
3、基于草图交互的关联草图结构识别
目前，草图结构的识别算法大多都是针对于具体的领域及具体的图表，比如数学公式、电路图、流程图和有限自动机等。由于每种图表都有自身的特点，因此每种图表的识别算法也不尽相同，由于基于监控视频的关联草图的复杂性，这些方法往往不能进行有效的识别。一方面这些算法是针对特定的草图进行识别，而这些草图中的节点往往具有固定的模板，对于由非模板草图构成的节点以及由图片构成的节点，并不能进行有效识别；另一方面，由于关联草图是一种分析草图，在节点周围和节点之间的连接线上存在相应的草图标注，不同于其他的草图，其他的草图识别算法无法将草图标注与其他草图节点和连接线进行关联。综合以上考虑，为了更好的进行关联草图的结构识别，本发明结合草图特征和基于监控视频的关联草图特点，采用了交互式草图结构识别算法。
(a)箭头识别
由于关联草图节点之间的连接线是有向箭头，所以箭头的识别是结构识别中的重要步骤。目前关于由箭头连接的草图识别主要有两种方法：一种是首先检测箭头，然后再对其他笔画进行分割检测，此种方法对箭头的绘制进行限制，需要绘制较为标准的箭头；另一种是采用分类器，将箭头和其他的笔画同时进行分类，但是箭头的方向和箭头的形状需要绘制许多的箭头样本。本发明中的基于监控视频的关联草图中的元素主要是图片节点、草图节点、箭头连接线、连接线标注和节点标注等，其中节点块和连线块之间的距离很近，有些甚至是几乎相连，所以无法单纯的根据笔画之间的距离比较实现，所以本发明中的结构识别算法采用首先检测连接箭头，然后再对其他笔画进行分割检测的方法。关于箭头的识别，本发明采用了文献(参考文献：Bresler M,Prusa D,HIavac V,Detection of Arrowsin On-Line Sketched Diagrams Using Relative Stroke Positioning.IEEE ComputerSociety,2015:610-617)所论述箭头识别算法，文献中对节点之间的相对位置采用新的计算方法，将得到的相对位置特征向量使用RNN分类器进行训练和识别，该方法对于箭头的绘制标准并没有特别的要求，并不要求箭头绘制的特别标准，同时也不要求需要一笔画出箭头。
(b)笔画合并和草图文本分割
在连接线识别的基础上，根据笔画之间的距离和笔画集合的笔画密度对笔画进行合并操作，当dist(Si,Sj)＜stroke_thres时，合并笔画，其中dist(Si,Sj)代表笔画集合Si与Sj之间的距离，stroke_thres代表笔划合并阈值，其计算公式为：
Figure BDA0001169341940000071
其中n代表该草图中的笔画总数，di为笔画i选择框的对角线长度。在合并的同时，计算合并后的笔画集合的笔画密度den(Bi)和笔画密度阈值block_thres，若den(Bi)＜block_thres，则不进行合并，其中
Figure BDA0001169341940000072
lenj为笔画j的长度，且j∈Bi，diai为笔画集合Bi边界框的对角线长度。同时对于作为节点而存在的帧图片，将图片单独作为节点进行设置。随后对笔画进行分割，采用现有草图文本分割方法(参考文献：Van Phan,T.,Nakagawa,M.:Text/non-text classification in online handwritten documents with recurrentneural networks.14th International Conference on Frontiers in HandwritingRecognition,IEEE Computer Society,2014:23-28)，将草图分成文字和非文字两个部分。
(c)结构识别
在连接箭头和笔画合并及文本分割的基础上，实现对关联草图的整体结构识别，并将识别结果存放在邻接矩阵中。整体结构的识别同样基于经过笔画合并得到的笔画集合与经过箭头识别得到的连接箭头之间的相对距离及笔画集合与连接线笔画端点的角度。笔画集合Bi的中心点Ci(xi,yi)与箭头的两个端点p1(x1,y1)、p2(x2,y2)构成的向量v1(x1-xi,y1-yi)、v2(x2-xi,y2-yi)，与箭头两端点p1和p2所确定的向量v(x2-x1,y2-y1)之间的夹角分别为α1和α2，通过对角度的判断实现笔画集合与箭头的相对位置的判断，判断规则如下：如果cosα1*cosα2＜0，则该笔画集合的位置在箭杆的上下两侧；如果cosα1*cosα2≥0，则该笔画集合的位置在箭头两个端点的周围，其中
Figure BDA0001169341940000081
Figure BDA0001169341940000082
在判断完笔画集合相对位置的基础上，通过距离判断是否该将该笔画集合和该箭头进行关联，当距离d≤threshold时，则该笔画集合属于该连接箭头；当距离d>threshold时，则该笔画集合不属于该连接箭头。
4、草图节点的多模态语义描述
在步骤3获得关联草图的结构和连接线的权值后，如果需要进行相关的关联分析和数据挖掘，仍然需要相关的节点信息。基于监控视频的关联草图的节点可以图片也可以是草图文字或者草图符号，不像其他图表的节点都是较为标准的符号，可以通过分类器或者模板进行识别匹配，所以基于监控视频的关联草图的节点值的表示要比其他草图节点的表示复杂。在进行视频实时标注时，对视频帧或者某个视频片段都会记录下相应的关键帧、草图注释和文本注释信息，本发明将综合这些信息作为节点值进行挖掘。对每个节点，本发明定义一个三元组N＝<N1,N2,N3>，其中N代表节点值，N1代表关键帧的图像特征,N2代表草图标注语义,N3代表文本标注语义。
其中，对于N1所代表的关键帧图像特征，本发明利用从帧图像中提取到的尺度不变特征变换算法(简称SIFT算法)特征进行表示，SIFT特征对于图像明显变化的区域要比那些模糊的区域更为敏感(参考文献：Ponqnumkul,S.Wanq,J.Cohen,M.Creating map-basedstoryboards for browsing tour videos.In proc.UIST2008,ACM Press(2008),13-22.)；对于N2所代表的草图标注语义，首先采用草图分割算法将该草图中的文字和符号进行分割，然后分别采用文字识别和库中符号识别，将其转换成具体语义向量N2(T,S)，其中T代表草图中所识别出的文本，S代表草图中识别出的草图符号；N3所代表的文本语义，通过基于HMM的分词处理，首先去掉文本标注中的无实际语义词，将限定词和中文词性标注等去掉，然后对剩下词中的动词和名词进行进一步处理，提取出关键字，则该文本语义采用关键词序列表示，即N3(T1,T2…Tn)。
5、相似子图挖掘
在识别出关联草图结构和节点及连接线权值的基础上，对该图进行挖掘，以获得该图背后隐藏的有用信息。现有的针对于监控视频的信息挖掘主要是对于视频内容本身的有效信息挖掘，并且目前对于关联草图的信息挖掘方面的工作相对较少，而对基于监控视频的关联草图的信息挖掘工作相比来说更少。基于监控视频的关联草图是案件信息的一种有效可视表示形式，其可以明显的表示出案件事件中的关联关系，通过对关联草图的挖掘，可以得到关联草图背后的信息，有效利用已经绘制的基于案件的关联草图，以辅助判案分析。
本发明对基于监控视频的关联草图的挖掘主要是对通过将当前绘制的关联草图中的嫌疑草图作为候选子图，然后在已有的关联草图库中进行相似子图挖掘。对于当前绘制的关联草图，选择一个具有明显的嫌疑特征的子图G′＝(N′,B′)，其中N′是候选子图的点集，B′是候选子图的边集，我们希望找一组映射(n,m)，使得两个图的对应节点值相同并且结构相同，本发明采用VF2算法(Luigi P.Cordella,Pasquale Foggia,Carlo Sansone,Mario Vento,A(Sub)Graph Isomorphism Algorithm for Matching Large Graphs,IEEETransactions on Pattern Analysis and Machine Intelligence,2004,26(10):1367-1372)，以解决候选子图与以后关联草图中子图的匹配问题，即子图同构问题。传统的子图匹配算法中匹配节点时需要判断节点值完全相同，因为本发明中的关联草图的节点采用一个三元组来表示，并不是一个特定的值，因此在子图匹配过程中，使用节点间的相似度计算，实现节点匹配和子图相似结构查找。
对于节点的SIFT图像特征匹配采用欧氏距离对SIFT的特征向量进行匹配，并且在匹配时比较与关键点的特征向量最近的和次近的关键点。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前2个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点，定义最终匹配点与所有关键点的比例为相似度Simage。草图特征匹配，节点中的草图标注包括特定草图符号标注和草图文本标注，将草图符号标注与预定义草图库中的符号进行比对，得到草图符号相似度Ssketch。对于草图文本标注首先采用草图文本识别算法，对草图进行识别，并将识别结果加入节点的文本特征向量。文本特征匹配对于前面获得的文本分别进行基于HMM的分词处理，首先去掉无实际语义词，将限定词和中文词性标注等去掉，然后对剩下的动词和名词进行进一步处理。采用基于语义和次序的句子相似度计算方法，计算相似度Stext。基于前面获得的相似度，两个节点的相似度Snode的计算公式为Snode＝a×Simage+b×Ssketch+(1-a-b)×Stext，其中a,b为特定系数。
综上，和现有技术相比，本发明具有的优点和积极效果如下：
1、本发明将草图用于监控视频内容分析过程中，利用草图能够表征监控视频对象特征和用户意图等信息，有效的通过一种关联草图的表示方式描述基于监控视频的案件信息，表达了更加丰富的案件内容，增强了监控视频信息的描述能力。
2、本发明在提供了一种草图结构识别算法，针对于节点可以是草图或者图片，由箭头连接，并且在节点周围和连接线上有标注的关联草图，充分考虑关联草图的结构特征，实现关联草图中节点、连接线以及相关注释的识别。
3、本发明在基于监控视频的关联草图的基础上，支持频繁子图挖掘，实现关联草图背后规律的挖掘，并根据挖掘出的相似子图进行案件串并，辅助判案分析。
附图说明
图1系统概要说明图示；
图2基于草图交互的监控视频可视分析过程；
图3基于监控视频的关联草图结构识别流程；
图4基于极坐标的笔画相对位置图示；
图5结构识别中笔画节点相对位置图示；
(a)笔画节点、连接线注释与连接箭头的相对位置图示；
(b)连接箭头弯曲时连接线注释与连接线的相对位置图示；
图6基于监控视频的关联草图图示；
图7基于监控视频的关联草图结构识别结果图示。
具体实施方式
为了使本技术领域的人员更好的理解本发明，以下结合附图进一步详细描述本发明所提供的基于草图交互的监控视频可视分析方法与技术，但不构成对本发明的限制。
1、选定要处理的视频资源，本示例中从现有监控视频素材中选取了5个路口同一时段长约1小时的监控视频作为对象；
2、采用前面步骤1所述的方法对该视频段进行观看、文本标注和草图标注，以及关键帧提取等处理；
3、采用前面步骤2中所述的方法绘制基于监控视频的关联草图，如附图5；
4、采用草图结构识别算法对关联草图进行结构识别，识别结构如附图6；
5、采用前面步骤4所述的方法，计算关联草图中的连接线权值和节点值；
6、基于获得的关联草图，进行最大路径挖掘，并将该关联草图放入关联草图库，进行频发子图挖掘，求出对应的关联紧密事件集合和相似犯罪模式子图，如附图7。
以上对本发明所述的基于草图交互的监控视频可视分析方法与技术进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (10)

1.一种基于草图交互的监控视频可视分析方法，其步骤为：
1)对监控视频进行标注，为目标案件中的设定目标添加特征属性描述信息；然后根据标注信息对视频进行关键帧提取，并建立关键帧索引；
2)根据步骤1)所确定的关键帧及标注信息，以及案件发展和事件之间的关联绘制该目标案件的关联草图；并在该关联草图的节点连接线上进行关联标注、在该关联草图的节点周围进行节点信息标注；
3)识别该关联草图的结构，然后根据关联标注和节点信息标注计算该结构的连接线权值和节点值，获得该关联草图的有向有权图；
4)对该有向有权图进行关联分析，求取该关联草图中的关键路径，获得目标案件的关联紧密事件集合；
5)计算目标案件的关联草图子图与其他案件关联草图子图节点间的相似度，以及目标案件的关联草图子图结构与其他案件关联草图子图结构的相似度，得到与目标案件的关联草图子图的相似子图。
2.如权利要求1所述的方法，其特征在于，所述特征属性描述信息包括文本标注和草图标注。
3.如权利要求2所述的方法，其特征在于，所述特征属性描述信息还包括标注时间和标注的持续时间以及标注人的信息。
4.如权利要求1或2或3所述的方法，其特征在于，对监控视频进行标注包括监控视频播放时的标注和监控视频暂停时的标注；其中，监控视频暂停时的标注是对视频帧中的设定对象的标注；监控视频播放时的标注是对包含设定目标对象的一段视频的标注，记录下标注的起始时间t1和结束时间t2,根据直方图变化提取时间段[t1,t2]内的关键帧。
5.如权利要求1所述的方法，其特征在于，所述关联标注包括事件与设定目标之间的联系；所述节点信息标注包括节点的重要程度信息。
6.如权利要求1所述的方法，其特征在于，该关联草图的节点是关键帧图片或草图，节点代表设定目标，节点之间的连线代表事件发生的先后顺序或者设定目标之间的关联。
7.如权利要求1或6所述的方法，其特征在于，识别该关联草图的结构的方法为：
1)对于该关联草图中的箭头连接线，设定箭头连接线末端的参照点为极坐标系的极点，di为参照点与箭头连接线上第i点之间的距离，即第i点的极径，设αi为参照点与箭头连接线上第i个点的连线的夹角，即第i点的极角，则参照点与箭头连接线之间相对位置的特征向量表示为S＝{[d1,α1]，[d2,α2],…,[di,αi],…,[dn,αn]}；其中，n代表该关联草图中的笔画总数；
2)根据特征向量S，采用RNN分类器进行连接箭头识别，得到连接箭头及其方向信息；
3)对非连接箭头的连接线，根据连接线之间的距离和笔画集合的笔画密度对笔画进行合并操作，当dist(Si,Sj)<stroke_thres时，合并笔画，其中dist(Si,Sj)代表笔画集合Si与笔画集合Sj之间的距离，stroke_thres代表笔画合并阈值，Sj为连接线上第j点的笔画集合，Si为连接线上第i点的笔画集合；
4)计算合并后的笔画集合Bi的笔画密度den(Bi)和笔画密度阈值block_thres，若den(Bi)<block_thres，则不再进行笔画合并；否则，重复步骤3)；
5)采用草图文本分割方法，将所有不包含箭头的草图按照文本text和非文本non-text进行分割，得到文本草图和非文本草图；然后用文本草图识别方法识别文本草图得到草图标注、采用草图标注符号识别方法识别非文本草图得到文本标注，并对帧图片节点信息进行识别分析，得到关键帧节点的图像特征；
6)设定笔画集合中心点与连接线两端端点的距离阈值t1及与连接线的中心点距离阈值t2，以连接线两端端点构成的直线为x轴，以连接线的中心点为坐标原点建立平面坐标系，通过比较连接线的笔画集合与连接线两个端点之间的角度与距离，获得可能与该连接线关联的候选笔画集合，建立笔画集合与连接线的关联。
8.如权利要求7所述的方法，其特征在于，该笔画合并阈值
Figure FDA0002207012840000021
该笔画密度阈值
Figure FDA0002207012840000022
其中di为笔画i边界框的对角线长度；所述笔画密度
Figure FDA0002207012840000023
lenj为笔画j的长度，且j∈Bi，diai为笔画集合Bi边界框的对角线长度，k为合并得到的笔画集合Bi的笔画总数。
9.如权利要求1所述的方法，其特征在于，所述连接线权值为Wi＝k*Color(i)+(1-k)*Bold(i)；其中，Wi代表连接线i的权值，Color(i)代表连接线i的颜色所对应的值，Bold(i)代表连接线i的粗细度，k为设定系数。
10.如权利要求1所述的方法，其特征在于，采用改进的Dijkstra算法，查找关联草图中指定两个节点之间的最大权值路径，获得关联紧密的事件集合。
CN201611095165.7A 2016-12-02 2016-12-02 一种基于草图交互的监控视频可视分析方法 Active CN106599133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611095165.7A CN106599133B (zh) 2016-12-02 2016-12-02 一种基于草图交互的监控视频可视分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611095165.7A CN106599133B (zh) 2016-12-02 2016-12-02 一种基于草图交互的监控视频可视分析方法

Publications (2)

Publication Number Publication Date
CN106599133A CN106599133A (zh) 2017-04-26
CN106599133B true CN106599133B (zh) 2020-04-17

Family

ID=58596207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611095165.7A Active CN106599133B (zh) 2016-12-02 2016-12-02 一种基于草图交互的监控视频可视分析方法

Country Status (1)

Country Link
CN (1) CN106599133B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729478B (zh) * 2017-10-16 2021-03-02 天津微迪加科技有限公司 一种数据分析方法和装置
CN108319904A (zh) * 2018-01-24 2018-07-24 江苏金陵科技集团有限公司 一种辅助人脸或车牌识别的可视化交互方法
CN109165322B (zh) * 2018-08-01 2022-04-19 成都数联铭品科技有限公司 基于路径关系的网络特征提取系统及方法
CN109614418A (zh) * 2018-11-23 2019-04-12 武汉烽火众智数字技术有限责任公司 基于大数据的挖掘嫌疑目标的方法及系统
CN110674346A (zh) * 2019-10-11 2020-01-10 北京达佳互联信息技术有限公司 视频处理方法、装置、设备及存储介质
CN110933520B (zh) * 2019-12-10 2020-10-16 中国科学院软件研究所 一种基于螺旋摘要的监控视频展示方法及存储介质
CN114840107B (zh) * 2021-04-28 2023-08-01 中国科学院软件研究所 一种草图数据重用与场景草图辅助构建方法及系统
CN117349386B (zh) * 2023-10-12 2024-04-12 吉玖(天津)技术有限责任公司 一种基于数据强弱关联模型的数字人文应用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763439A (zh) * 2010-03-05 2010-06-30 中国科学院软件研究所 一种基于草图的超视频构建方法
CN101807198A (zh) * 2010-01-08 2010-08-18 中国科学院软件研究所 一种基于草图的视频摘要生成方法
CN103106038A (zh) * 2013-02-06 2013-05-15 清华大学 基于草图手势及弧形摘要时间轴的视频交互方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831615A (zh) * 2011-06-13 2012-12-19 索尼公司 对象监控方法和装置,以及监控系统操作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807198A (zh) * 2010-01-08 2010-08-18 中国科学院软件研究所 一种基于草图的视频摘要生成方法
CN101763439A (zh) * 2010-03-05 2010-06-30 中国科学院软件研究所 一种基于草图的超视频构建方法
CN103106038A (zh) * 2013-02-06 2013-05-15 清华大学 基于草图手势及弧形摘要时间轴的视频交互方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Sketchboard：Supporting natural interaction for video organization and navigation using sketching annotation";Cuixia Ma，et al;《2011 6th International Conference on Pervasive Computing and Applications》;20111219;第253-259页 *
"一种基于草图注释的视频浏览技术";詹启等;《计算机辅助设计与图形学报》;20130630;第900-905页 *

Also Published As

Publication number Publication date
CN106599133A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106599133B (zh) 一种基于草图交互的监控视频可视分析方法
CN103593464B (zh) 基于视觉特征的视频指纹检测及视频序列匹配方法及系统
CN108537269B (zh) 一种弱交互式的物体检测深度学习方法及其系统
Kirac et al. Hierarchically constrained 3D hand pose estimation using regression forests from single frame depth data
CN108459785A (zh) 一种视频多尺度可视化方法与交互方法
Lai et al. Video object retrieval by trajectory and appearance
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
Wang et al. S 3 d: scalable pedestrian detection via score scale surface discrimination
Nag et al. A new unified method for detecting text from marathon runners and sports players in video (PR-D-19-01078R2)
Xia et al. Predicting saccadic eye movements in free viewing of webpages
Mahapatra et al. Automatic hierarchical table of contents generation for educational videos
Liu et al. Transfer latent SVM for joint recognition and localization of actions in videos
Zhou et al. Modeling perspective effects in photographic composition
Jin et al. Object-based video forgery detection via dual-stream networks
Hong et al. Advances in Multimedia Information Processing–PCM 2018: 19th Pacific-Rim Conference on Multimedia, Hefei, China, September 21-22, 2018, Proceedings, Part III
Tavenard et al. Time-sensitive topic models for action recognition in videos
Zhou et al. Training convolutional neural network for sketch recognition on large-scale dataset.
Peng et al. Computational visual analysis in political communication
Meessen et al. Progressive learning for interactive surveillance scenes retrieval
Wario et al. A survey of the constraints encountered in dynamic vision-based sign language hand gesture recognition
Lee et al. Sequence feature generation with temporal unrolling network for zero-shot action recognition
Nikzad et al. Two-person interaction recognition from bilateral silhouette of key poses
Du Introducing the visual imaging feature to the text analysis: high efficient soft computing models with bayesian network
Han et al. Actionness-pooled Deep-convolutional Descriptor for fine-grained action recognition
Wong et al. Enriched and discriminative human features for person re-identification based on explainable behaviors of convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant