CN113743184B - 基于要素挖掘和视频分析的异常行为人群检测方法和装置 - Google Patents

基于要素挖掘和视频分析的异常行为人群检测方法和装置 Download PDF

Info

Publication number
CN113743184B
CN113743184B CN202110636655.8A CN202110636655A CN113743184B CN 113743184 B CN113743184 B CN 113743184B CN 202110636655 A CN202110636655 A CN 202110636655A CN 113743184 B CN113743184 B CN 113743184B
Authority
CN
China
Prior art keywords
crowd
abnormal
motion
behavior
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110636655.8A
Other languages
English (en)
Other versions
CN113743184A (zh
Inventor
孙小芳
陈鹏
顾海硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Original Assignee
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA filed Critical PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority to CN202110636655.8A priority Critical patent/CN113743184B/zh
Publication of CN113743184A publication Critical patent/CN113743184A/zh
Application granted granted Critical
Publication of CN113743184B publication Critical patent/CN113743184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03Data mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于要素挖掘和视频分析的异常行为人群检测方法和装置,方法包括:S100、构建异常人群行为事件的场景特征知识要素推理树;S200、获取各类事件中人群的运动特征参数,生成对应的时间序列特征数据;S300、基于获取的各类事件中人群的运动特征参数,建立异常人群行为模式数据库;S400、训练LSTM分类器;S500、将当前视频中人群的运动特征参数对应的时间序列特征数据输入LSTM分类器,输出当前视频中的人群行为模式;S600、将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入场景特征知识要素推理树,判断是否发生异常人群行为事件,若是则输出关于事件性质的检测结果。本发明可以精确地检测到群体异常行为,减少误报率。

Description

基于要素挖掘和视频分析的异常行为人群检测方法和装置
技术领域
本发明涉及异常人群行为检测领域,具体涉及一种基于要素挖掘和视频分析的异常行为人群检测方法和装置。
背景技术
突发性群体事件的发生、扩散受到发生时间、发生地点等环境特征的影响,因此,通常对突发性群体事件的预测预警通过抽取影响事件的要素建立指标体系并以此为基础建立基于指标的事件风险预警模型,或者通过机器学习的方式建立基于指标的机器学习模型,但是这种方法是对事件整体态势的预警,对特定场景下异常人群行为或事件的精准预警指导性比较有限。视频监控为分析特定场景下人群行为提供了便利,在突发性群体事件的预警中起到了重要作用,但是传统的视频监控“只记录不判断”,需靠人眼辨识群体异常行为,而人的精力是有限的,在长时间大范围的查看视频监控时容易发生漏报的情况,因此,如何使监控系统自动检测异常行为并报警是目前亟待解决的问题。
对视频中人群运动特征的提取和分析,对于异常行为或事件的检测至关重要,影响着检测的准确性。目前,在对视频中人群行为进行分析时,通常提取人群的光流特征、轨迹特征、动态纹理特征以及时空上下文特征。对于异常行为的检测机制大致可以分为监督学习、无监督学习和半监督学习三种方式,监督学习的方式多为建立异常行为检测分类模型,二分类模型一般将样本数据分为“正常行为”和“异常行为”两类,多分类模型分为“正常行为”以及“同方向运动”、“突然逃跑”等多种异常行为。监督学习利用标记为“正常行为”和“异常行为”的标签数据训练模型,模型将对输入的特征数据映射为输出,根据匹配程度分类为“正常行为”或者“异常行为”。无监督学习的方法通过观测数据的统计特性学习正常行为和异常行为的运动模式,无需对数据进行训练,直接构建运动模式模型。半监督学习是一种介于监督学习与无监督学习之间的方式,它只对正常行为的样本数据进行训练,将与正常模型不匹配的运动特征数据判别为异常行为。
目前,基于视频特征的异常人群行为或事件检测方法缺乏对事件场景特征的分析,在对异常人群行为或事件进行辨识时只关注了群体行为的异常,忽略了群体异常行为的时空背景,导致误判率较高。对视频中人群特征的提取和分析是建立群体异常行为检测模型的关键,目前,基于视频特征的异常人群行为或事件的检测方法在对视频中人群进行分析时大多只针对视频图像中人群的基本表观特征,忽略了视频图像深层次的语义特征,缺乏对群体突发聚集性事件中人群行为模式的认识。
发明内容
针对现有技术中存在的缺陷,本发明的目的在于提供一种基于要素挖掘和视频分析的异常行为人群检测方法和装置,可以精确地检测到群体异常行为,减少误报率。
为实现上述目的,本发明采用的技术方案如下:
一种基于要素挖掘和视频分析的异常行为人群检测方法,包括:
S100、从案例文本数据库中抽取异常人群行为事件的各场景特征,通过关联规则算法挖掘各场景特征之间的关联规则,基于各场景特征之间的关联规则,构建异常人群行为事件的场景特征知识要素推理树,各场景特征包括:发生日期、发生地点、参与人数、人群行为模式和事件性质;
S200、基于异常人群行为事件的人群行为视频数据库,获取各类事件中人群的运动特征参数,生成对应的时间序列特征数据;
S300、基于获取的各类事件中人群的运动特征参数,建立异常人群行为事件的异常人群行为模式数据库;
S400、基于所述异常人群行为模式数据库,训练LSTM分类器,所述 LSTM分类器包括基于LSTM神经网络的二分类模型和多分类模型;
S500、将当前视频中人群的运动特征参数对应的时间序列特征数据输入所述LSTM分类器,输出当前视频中的人群行为模式;
S600、将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入所述场景特征知识要素推理树,判断是否发生异常人群行为事件,若是则输出关于事件性质的检测结果。
进一步,如上所述的方法,S100包括:
从案例文本数据库中抽取异常人群行为事件的各场景特征;
通过关联规则算法从各场景特征之间寻找频繁项集,将支持度大于或等于预设的最小支持度阈值的项集作为频繁项集,将置信度大于或等于预设的最小置信度阈值的规则作为强关联规则;
将各场景特征之间的强关联规则转化为概率值,对各场景特征进行统计分析;
基于统计分析结果,建立场景特征知识要素推理树,对概率值小于预设阈值的分支进行剪枝操作。
进一步,如上所述的方法,S200包括:
通过目标检测器对所述人群行为视频数据库中每个事件的人群进行检测,通过Deep-Sort算法对检测到的每个个体进行跟踪,获取各类事件中人群的运动特征参数,跟踪过程包括:运动状态估计、轨迹处理、运动匹配度和外观匹配度、级联匹配,所述运动特征参数包括人数、速度、角度、加速度、角速度。
进一步,如上所述的方法,所述跟踪过程包括:
1)运动状态估计:在图像坐标系中,通过一个8维空间估计目标轨迹在某一个时刻的状态其中,(u,v)为预测框的中心位置,x,y为横纵坐标,r为纵横比,h为预测框高度,通过卡尔曼滤波器进行轨迹的预测和更新,(u,v,r,h)为预测变量;
2)轨迹处理:为每条轨迹设置计数器,计数器在卡尔曼滤波预测期间递增,当跟踪结果和检测结果匹配上时,将该计数器置零,如果一条轨迹在给定时间内没有匹配上检测结果,将该条轨迹删除;
对于在某帧出现无法与当前所有跟踪结果匹配的检测结果时,为该目标创建新的轨迹,如果连续三帧新创建的轨迹对目标的预测结果不能与检测结果匹配,则将该条轨迹删除,如果在三帧内能够匹配,则确认出现了新的目标轨迹;
3)运动匹配度和外观匹配度:Deep-Sort算法利用马氏距离和特征余弦距离两个指标度量检测框和预测框之间匹配程度;
4)级联匹配:从小到大对消失时间相同的轨迹进行匹配,优先考虑常见的目标,以此来解决马氏距离带来的不确定性问题。
进一步,如上所述的方法,所述人群行为视频数据库中包括异常行为和正常行为的视频数据;
所述异常行为1的群体特征表现为人群聚集,所述异常行为2的群体特征表现为定向匀速运动,所述异常行为3的群体特征表现为多方向快速运动,所述异常行为4的群体特征表现为同方向快速运动,所述正常行为的群体特征表现为多方向匀速运动;
所述异常人群行为模式数据库中包括:人群聚集、定向匀速运动、多方向快速运动、同方向快速运动、多方向匀速运动五种人群行为模式。
进一步,如上所述的方法,S400包括:
以人群聚集、定向匀速运动、多方向快速运动、同方向快速运动为负类样本,标签为“0”,多方向匀速运动为父类样本,标签为“1”,训练4个二分类模型;
以人群聚集、定向匀速运动、多方向快速运动、同方向快速运动和多方向匀速运动为样本数据,标签分别为“0”、“1”、“2”、“3”和“4”,训练多分类模型。
进一步,如上所述的方法,S500包括:
将当前视频中人群的运动特征参数对应的时间序列特征数据所描述的群体异常行为与所述异常人群行为模式数据库中的行为模式进行匹配,输出匹配程度相似性最大的人群行为模式。
本发明实施例还提供一种基于要素挖掘和视频分析的异常行为人群检测方法和装置,包括:
构建模块,用于从案例文本数据库中抽取异常人群行为事件的各场景特征,通过关联规则算法挖掘各场景特征之间的关联规则,基于各场景特征之间的关联规则构建异常人群行为事件的场景特征知识要素推理树,各场景特征包括:发生日期、发生地点、参与人数、人群行为模式和事件性质;
获取模块,用于基于异常人群行为事件的人群行为视频数据库,获取各类事件中人群的运动特征参数,生成对应的时间序列特征数据;
建立模块,用于基于获取的各类事件中人群的运动特征参数,建立异常人群行为事件的异常人群行为模式数据库;
训练模块,用于基于所述异常人群行为模式数据库,训练LSTM分类器,所述LSTM分类器包括基于LSTM神经网络的二分类模型和多分类模型;
分类模块,用于将当前视频中人群的运动特征参数对应的时间序列特征数据输入所述LSTM分类器,输出当前视频中的人群行为模式;
检测模块,用于将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入所述场景特征知识要素推理树,判断是否发生异常人群行为事件,若是则输出关于事件性质的检测结果。
进一步,如上所述的装置,所述构建模块具体用于:
从案例文本数据库中抽取异常人群行为事件的各场景特征;
通过关联规则算法从各场景特征之间寻找频繁项集,将支持度大于或等于预设的最小支持度阈值的项集作为频繁项集,将置信度大于或等于预设的最小置信度阈值的规则作为强关联规则;
将各场景特征之间的强关联规则转化为概率值,对各场景特征进行统计分析;
基于统计分析结果,建立场景特征知识要素推理树,对概率值小于预设阈值的分支进行剪枝操作。
进一步,如上所述的装置,所述获取模块具体用于:
通过目标检测器对所述人群行为视频数据库中每个事件的人群进行检测,通过Deep-Sort算法对检测到的每个个体进行跟踪,获取各类事件中人群的运动特征参数,跟踪过程包括:运动状态估计、轨迹处理、运动匹配度和外观匹配度、级联匹配,所述运动特征参数包括人数、速度、角度、加速度、角速度。
本发明的有益效果在于:本发明能够检测到群体异常行为,并且结合场景特征可以推理出是否发生了突发性群体事件及事件性质,减少误报率。
附图说明
图1为本发明实施例中提供的一种基于要素挖掘和视频分析的异常行为人群检测方法的流程示意图;
图2为本发明实施例中提供的一种基于要素挖掘和视频分析的异常行为人群检测方法的技术路线图;
图3为本发明实施例中提供的异常人群行为事件要素结构图;
图4为本发明实施例中提供的场景特征知识要素推理树的结构示意图;
图5为本发明实施例中提供的一种基于要素挖掘和视频分析的异常行为人群检测装置的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面将结合附图对本发明实施例的技术方案作进一步的详细描述。
本发明实施例提供了基于要素挖掘和视频分析的异常行为人群检测方法,如图1所示,该方法包括:
S100、从案例文本数据库中抽取异常人群行为事件的各场景特征,通过关联规则算法挖掘各场景特征之间的关联规则,基于各场景特征之间的关联规则,构建异常人群行为事件的场景特征知识要素推理树,各场景特征包括:发生日期、发生地点、参与人数、人群行为模式和事件性质。
S100包括:从案例文本数据库中抽取异常人群行为事件的各场景特征;通过关联规则算法从各场景特征之间寻找频繁项集,将支持度大于或等于预设的最小支持度阈值的项集作为频繁项集,将置信度大于或等于预设的最小置信度阈值的规则作为强关联规则;将各场景特征之间的强关联规则转化为概率值,对各场景特征进行统计分析;基于统计分析结果,建立场景特征知识要素推理树,对概率值小于预设阈值的分支进行剪枝操作。
本发明实施例中,如图2所示,首先建立案例文本数据库,从数据库中抽取案例的发生时间、发生地点、涉及人数和事件性质等要素,并利用关联规则算法(包括并不限于apriori、fp-tree等关联规则算法)挖掘要素间关联关系,根据关联关系构建异常人群行为事件的知识要素推理树。建立案例文本数据库通过网络查阅的方式收集,建立案例文本数据库后,从数据库中抽取案例的发生时间、发生地点、涉及人数和事件性质等要素并将抽取的要素概化处理,发生时间可以划分为节假日和工作日,并以符号Ta、Tb表示;发生地点可以划分为机关场所、企业场所和公共场所,并以符号La、Lb和 Lc表示;涉及人数可以根据处置等级划分为10-200人、200-500人、500人以上,并以符号Na、Nb和Nc表示;事件中人群特征可以划分为人群聚集、人群定向匀速运动、人群多方向快速运动,并以符号Fa、Fb、Fc表示;事件性质可以划分为异常行为1、异常行为2、异常行为3、异常行为4,并以符号Ra、Rb、Rc和Rd表示。要素数据的多维属性结构图如图3所示。
对抽取的要素进行关联规则挖掘分析,利用Aproiri算法挖掘要素间强关联规则,首先通过迭代检索的方式来从C中寻找频繁集L,主要有以下两个步骤:
1)连接:为找出频繁集Lk,通过将Lk-1(所有的频繁k-1项集的集合)与自身连接产生候选项集的集合,候选集合记作Ck,l1和l2是Lk-1中的成员,对事务集或项集中的项按字典次序排序,即对于(k-1)项集l1,l1[1]<l1[2]<………l1 [k-1]。将Lk-1与自身连接,如果(l1[1]=l1[2])&&(l1[2]=l2[2])&&……&& (l1[k-2]=l2[k-2])&&(l1[k-1]<l2[k-1]),则认为l1和l2是可连接。连接l1和l2产生的结果为{l1[1],l1[2],……,l1[k-1],l1[k],l2[k]}。
2)修剪:扫描数据表,确定Ck中每个候选的计数,从而确定Lk。为压缩Ck,可以使用Apriori性质:任何非频繁的(k-1)-项集都不是可能是频繁k-项集的子集。因此,如果一个候选k-项集的(k-1)-子集不在Ck-1中,则该候选集也不可能是频繁的,从而可以从Ck中删除。
生成频繁项集后设定最小支持度阈值和最小置信度阈值,则支持度不小于最小支持度阈值的项集为频繁项集,置信度不小于最小置信度阈值的规则作为强关联规则输出。
为了更加准确地描述异常行为等事件与场景特征的关系,将关联性转化为概率值,对群体突发聚集性案例的各个场景特征进行统计分析。例如,对群体特征为人群聚集的群突发性事件进行统计,有50%的案例发生在机关场所,30%发生在企业场所,20%发生在公共场所;再对群体特征为人群聚集发生在机关场所的突发性群体事件进行统计,有80%的案例发生在工作日, 20%的案例发生在节假日;再对群体特征为人群聚集发生在机关场所并且发生在工作日的突发性群体事件进行统计,有30%涉及人数在10-500人之间,70%涉及人数达到500人以上;再对群体特征为人群聚集在机关场所并且发生在工作日、涉及人数在10-500人之间的突发性群体事件进行统计,有60%的案例的事件性质是异常行为1。按照以上方法对群体特征为人群定向有序运动和人群多方向快速运动的案例的场景特征进行统计分析。建立如图4所示场景特征知识要素判别树,对于概率值小于0.3的分支进行剪枝操作,以提高系统准确率,减少误报,例如异常行为1在节假日发生在机关场所的概率值很小,因此如果在该场景下检测到了人群聚集的异常行为很有可能是误报,系统暂时不会发出预警。
S200、基于异常人群行为事件的人群行为视频数据库,获取各类事件中人群的运动特征参数,生成对应的时间序列特征数据。
S200包括:通过目标检测器对人群行为视频数据库中每个事件的人群进行检测,通过Deep-Sort算法对检测到的每个个体进行跟踪,获取各类事件中人群的运动特征参数,跟踪过程包括:运动状态估计、轨迹处理、运动匹配度和外观匹配度、级联匹配,运动特征参数包括人数、速度、角度、加速度、角速度。
本发明实施例中,在步骤S100之后,还需要利用目标检测和目标跟踪算法对输入视频流进行检测,输出视频中人数、人群运动速度、角度、加速度、角速度5个特征参数的时间序列数据。步骤S100中利用在PASCAL VOC 数据集上训练好的YOLOv3目标检测器对输入视频中人群进行检测,利用 Deep-Sort算法对检测到的人进行跟踪,跟踪的过程如下:
1)运动状态估计:在图像坐标系中,通过一个8维空间估计目标轨迹在某一个时刻的状态其中,(u,v)为预测框的中心位置,x,y为横纵坐标,r为纵横比,h为预测框高度,通过卡尔曼滤波器进行轨迹的预测和更新,(u,v,r,h)为预测变量。
2)轨迹处理:为每条轨迹设置计数器,计数器在卡尔曼滤波预测期间递增,当跟踪结果和检测结果匹配上时,将该计数器置零,如果一条轨迹在给定时间内没有匹配上检测结果,将该条轨迹删除。对于在某帧出现无法与当前所有跟踪结果匹配的检测结果时,为该目标创建新的轨迹,如果连续三帧新创建的轨迹对目标的预测结果不能与检测结果匹配,则将该条轨迹删除,如果在三帧内能够匹配,则确认出现了新的目标轨迹。
3)运动匹配度和外观匹配度:Deep-Sort算法利用马氏距离和特征余弦距离两个指标度量检测框和预测框之间匹配程度。利用马氏距离描述检测框和跟踪器预测框的运动关联程度,卡尔曼预测状态与目标检测结果之间马氏距离:
(yi,Si)表示第i个轨迹分布到检测空间的投影,dj表示第j个目标检测框的位置,yi表示第i个跟踪器对目标的预测位置,Si表示由卡尔曼滤波器预测得到的当前时刻观测空间的协方差矩阵。马氏距离通过计算检测位置和平均跟踪位置之间的标准差来衡量状态估计的不确定性,通过从逆分布计算的 95%置信区间内对马氏距离进行阈值化来排除不可信关联。四维检测空间的阈值为t(1)=9.4877,如果第i个跟踪轨迹和第j个检测之间的关系是可采纳的,则:
马氏距离在视频中运动目标的运动不确定性很低时是一种适合的关联度量,但是卡尔曼滤波在进行运动状态估计时仅仅提供目标位置的粗略估计,而且在有遮挡的情况下马氏距离度量结果很不准确,因此引入了第二个关联度量。对每个检测块dj求一个||ri||=1的外观描述符ri,并对每条轨迹创建一个 Lk=100的关联外观描述符的原型库用来储存最新100帧关联成功的特征向量。外观检测空间中第i个轨迹和第j个检测之间的最小余弦距离为:
如果以上距离小于指定阈值,外观关联成功,指定阈值如下:
将马氏距离和余弦距离两个指标的线性加权作为最终的关联度量:
ci,j=λd(1)(i,j)+(1-λ)d(2)(i,j)
只有当两个指标都满足各自阈值条件的时候才进行融合。马氏距离度量方法对短期的预测和匹配效果好,外观特征度量方法对长时间遮挡情况比较有效。
4)级联匹配:从小到大对消失时间相同的轨迹进行匹配,优先考虑常见的目标,以此来解决马氏距离带来的不确定性问题。具体来说,在卡尔曼滤波器的预测过程中,遮挡时间长的轨迹,得到的马氏距离更小,这样检测框会倾向于分配给丢失时间更长轨迹,但是实际上检测框应该分配给在时间上最近的轨迹,因此引入级联匹配,让更常见的目标分配的优先级更高。对步骤S200中跟踪轨迹进行计算:
为了得到人群整体速度,首先要计算视频中每个个体的速度:
其中,表示第i个个体的位移,/>表示第i个个体的速度,t表示时间。
根据每个个体的速度得出视频中人群整体速度
人群整体速度大小v为:
其中,vx表示人群整体水平方向速度,vy表示人群整体垂直方向速度。
角度大小α为:
为了直观体现人群运动态势的变化,引入速度和角度的一阶状态变量。加速度a是描述速度变化量与时间的比值,是描述运动速度变化快慢的物理量,可以反映出视频中群体运动速度变化快慢,从而感知人群态势,加速度公式为:
角速度ω是连接运动质心和圆点的半径在单位时间内转过的弧度,是描述角度变化的物理量,可以反映出视频中人群运动方向变化的快慢,角速度公式为:
S300、基于获取的各类事件中人群的运动特征参数,建立异常人群行为事件的异常人群行为模式数据库。
人群行为视频数据库中包括异常行为和正常行为的视频数据。异常行为1的群体特征表现为人群聚集,异常行为2的群体特征表现为定向匀速运动,异常行为3的群体特征表现为多方向快速运动,异常行为4的群体特征表现为同方向快速运动,正常行为的群体特征表现为多方向匀速运动。异常人群行为模式数据库中包括:人群聚集、定向匀速运动、多方向快速运动、同方向快速运动、多方向匀速运动五种人群行为模式。
本发明实施例中,首先需要采集异常行为1和正常行为建立突发性群体事件人群行为视频数据库(视频格式为.MP4),利用步骤S200中的方法获得各类事件中人群人数、速度、加速度、角度特征,并进行分析。异常行为1 群体特征表现为人群在固定地点聚集,异常行为2中,人群缓慢朝着同一方向行走,暴力冲突行为中,人群突然朝着不同方向无序运动,异常行为4中,人群朝着同样同一方向逃跑,正常行为中人群朝着不同方向缓慢行走。因此,各类人群行为分类为人群聚集、定向匀速运动、多方向快速运动、同方向快速运动、多方向匀速运动五种人群行为模式,建立异常人群行为模式数据库。
S400、基于异常人群行为模式数据库,训练LSTM分类器,LSTM分类器包括基于LSTM神经网络的二分类模型和多分类模型。
本发明实施例中,将异常人群行为模式数据库中人群运动特征数据作为训练数据,训练基于LSTM神经网络二分类模型和多分类模型。分别以人群聚集、定向匀速运动、多方向快速运动、同方向快速运动为负类样本,标签为“0”,多方向匀速运动为父类样本,标签为“1”,训练4个二分类模型;以人群聚集、定向匀速运动、多方向快速运动、同方向快速运动和多方向匀速运动为样本数据,标签分别为“0”、“1”、“2”、“3”和“4”,训练多分类模型。
S500、将当前视频中人群的运动特征参数对应的时间序列特征数据输入 LSTM分类器,输出当前视频中的人群行为模式。
S500包括:将当前视频中人群的运动特征参数对应的时间序列特征数据所描述的群体异常行为与异常人群行为模式数据库中的行为模式进行匹配,输出匹配程度相似性最大的人群行为模式。
本发明实施例中,可以根据实际需要,选用LSTM二分类模型或者LSTM 多分类模型对5个运动特征参数所描述的群体异常行为和异常人群行为数据库中行为模式进行匹配,输出匹配结果。利用LSTM二分类模型分类人群聚集和多方向匀速运动时,将输入时间序列特征数据所表示的人群行为模式与突发性群体事件人群行为模式数据库中人群聚集、多方向匀速运动两种行为模式进行匹配,输出匹配程度相似性最大的分类结果,同理,利用LSTM二分类模型分别分类定向匀速运动、多方向快速运动、同方向快速运动和多方向匀速运动时以同样的方式输出分类结果。LSTM多分类模型将输入时间序列特征数据所表示的人群行为模式与突发性群体事件人群行为模式数据库中人群聚集、定向匀速运动、多方向快速运动、同方向快速运动、多方向匀速运动五种行为模式进行匹配,输出匹配程度相似性最大的分类结果。LSTM 分类器的输入数据是长度为10的时间序列特征数据,输出是一个分类结果。
S600、将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入场景特征知识要素推理树,判断是否发生异常人群行为事件,若是则输出关于事件性质的检测结果。
本发明实施例中,结合分类结果和突发性群体事件知识要素推理树得到最后推理结果。获取视频中发生异常行为的时间、地点、人数等环境特征输入到突发性群体事件知识要素推理树中,如图4所示,判断是否发生了突发性群体事件,如果发生了突发性群体事件输出关于事件性质的推理结果。
采用本发明实施例的方法,能够检测到群体异常行为,并且结合场景特征可以推理出是否发生了突发性群体事件及事件性质,减少误报率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种基于要素挖掘和视频分析的异常行为人群检测装置,如图5所示,包括:
构建模块100,用于从案例文本数据库中抽取异常人群行为事件的各场景特征,通过关联规则算法挖掘各场景特征之间的关联规则,基于各场景特征之间的关联规则,构建异常人群行为事件的场景特征知识要素推理树,各场景特征包括:发生日期、发生地点、参与人数、人群行为模式和事件性质;
获取模块200,用于基于异常人群行为事件的人群行为视频数据库,获取各类事件中人群的运动特征参数,生成对应的时间序列特征数据;
建立模块300,用于基于获取的各类事件中人群的运动特征参数,建立异常人群行为事件的异常人群行为模式数据库;
训练模块400,用于基于异常人群行为模式数据库,训练LSTM分类器, LSTM分类器包括基于LSTM神经网络的二分类模型和多分类模型;
分类模块500,用于将当前视频中人群的运动特征参数对应的时间序列特征数据输入LSTM分类器,输出当前视频中的人群行为模式;
检测模块600,用于将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入场景特征知识要素推理树,判断是否发生异常人群行为事件,若是则输出关于事件性质的检测结果。
需要说明的是,该装置与上述的一种基于要素挖掘和视频分析的异常行为人群检测方法属于同一发明构思,技术特征以及实现方式不再赘述。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于要素挖掘和视频分析的异常行为人群检测方法,其特征在于,包括:
S100、从案例文本数据库中抽取异常人群行为事件的各场景特征,通过关联规则算法挖掘各场景特征之间的关联规则,基于各场景特征之间的关联规则,构建异常人群行为事件的场景特征知识要素推理树,各场景特征包括:发生日期、发生地点、参与人数、人群行为模式和事件性质;
S200、基于异常人群行为事件的人群行为视频数据库,获取各类事件中人群的运动特征参数,生成对应的时间序列特征数据;
S300、基于获取的各类事件中人群的运动特征参数,建立异常人群行为事件的异常人群行为模式数据库;
S400、基于所述异常人群行为模式数据库,训练LSTM分类器,所述LSTM分类器包括基于LSTM神经网络的二分类模型和多分类模型;
S500、将当前视频中人群的运动特征参数对应的时间序列特征数据输入所述LSTM分类器,输出当前视频中的人群行为模式;
S600、将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入所述场景特征知识要素推理树,判断是否发生异常人群行为事件,若是则输出关于事件性质的检测结果。
2.根据权利要求1所述的方法,其特征在于,S100包括:
从案例文本数据库中抽取异常人群行为事件的各场景特征;
通过关联规则算法从各场景特征之间寻找频繁项集,将支持度大于或等于预设的最小支持度阈值的项集作为频繁项集,将置信度大于或等于预设的最小置信度阈值的规则作为强关联规则;
将各场景特征之间的强关联规则转化为概率值,对各场景特征进行统计分析;
基于统计分析结果,建立场景特征知识要素推理树,对概率值小于预设阈值的分支进行剪枝操作。
3.根据权利要求1所述的方法,其特征在于,S200包括:
通过目标检测器对所述人群行为视频数据库中每个事件的人群进行检测,通过Deep-Sort算法对检测到的每个个体进行跟踪,获取各类事件中人群的运动特征参数,跟踪过程包括:运动状态估计、轨迹处理、运动匹配度和外观匹配度、级联匹配,所述运动特征参数包括人数、速度、角度、加速度、角速度。
4.根据权利要求3所述的方法,其特征在于,所述跟踪过程包括:
1)运动状态估计:在图像坐标系中,通过一个8维空间估计目标轨迹在某一个时刻的状态其中,(u,v)为预测框的中心位置,x,y为横纵坐标,r为纵横比,h为预测框高度,通过卡尔曼滤波器进行轨迹的预测和更新,(u,v,r,h)为预测变量;
2)轨迹处理:为每条轨迹设置计数器,计数器在卡尔曼滤波预测期间递增,当跟踪结果和检测结果匹配上时,将该计数器置零,如果一条轨迹在给定时间内没有匹配上检测结果,将该条轨迹删除;
对于在某帧出现无法与当前所有跟踪结果匹配的检测结果时,为该目标创建新的轨迹,如果连续三帧新创建的轨迹对目标的预测结果不能与检测结果匹配,则将该条轨迹删除,如果在三帧内能够匹配,则确认出现了新的目标轨迹;
3)运动匹配度和外观匹配度:Deep-Sort算法利用马氏距离和特征余弦距离两个指标度量检测框和预测框之间匹配程度;
4)级联匹配:从小到大对消失时间相同的轨迹进行匹配,优先考虑常见的目标,以此来解决马氏距离带来的不确定性问题。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述人群行为视频数据库中包括异常行为和正常行为的视频数据;
所述异常行为1的群体特征表现为人群聚集,所述异常行为2的群体特征表现为定向匀速运动,所述异常行为3的群体特征表现为多方向快速运动,所述异常行为4的群体特征表现为同方向快速运动,所述正常行为的群体特征表现为多方向匀速运动;
所述异常人群行为模式数据库中包括:人群聚集、定向匀速运动、多方向快速运动、同方向快速运动、多方向匀速运动五种人群行为模式。
6.根据权利要求5所述的方法,其特征在于,S400包括:
以人群聚集、定向匀速运动、多方向快速运动、同方向快速运动为负类样本,标签为“0”,多方向匀速运动为父类样本,标签为“1”,训练4个二分类模型;
以人群聚集、定向匀速运动、多方向快速运动、同方向快速运动和多方向匀速运动为样本数据,标签分别为“0”、“1”、“2”、“3”和“4”,训练多分类模型。
7.根据权利要求1所述的方法,其特征在于,S500包括:
将当前视频中人群的运动特征参数对应的时间序列特征数据所描述的群体异常行为与所述异常人群行为模式数据库中的行为模式进行匹配,输出匹配程度相似性最大的人群行为模式。
8.一种基于要素挖掘和视频分析的异常行为人群检测装置,其特征在于,包括:
构建模块,用于从案例文本数据库中抽取异常人群行为事件的各场景特征,通过关联规则算法挖掘各场景特征之间的关联规则,基于各场景特征之间的关联规则构建异常人群行为事件的场景特征知识要素推理树,各场景特征包括:发生日期、发生地点、参与人数、人群行为模式和事件性质;
获取模块,用于基于异常人群行为事件的人群行为视频数据库,获取各类事件中人群的运动特征参数,生成对应的时间序列特征数据;
建立模块,用于基于获取的各类事件中人群的运动特征参数,建立异常人群行为事件的异常人群行为模式数据库;
训练模块,用于基于所述异常人群行为模式数据库,训练LSTM分类器,所述LSTM分类器包括基于LSTM神经网络的二分类模型和多分类模型;
分类模块,用于将当前视频中人群的运动特征参数对应的时间序列特征数据输入所述LSTM分类器,输出当前视频中的人群行为模式;
检测模块,用于将当前视频中的人群行为模式、发生日期、发生地点、参与人数输入所述场景特征知识要素推理树,判断是否发生异常人群行为事件,若是则输出关于事件性质的检测结果。
9.根据权利要求8所述的装置,其特征在于,所述构建模块具体用于:
从案例文本数据库中抽取异常人群行为事件的各场景特征;
通过关联规则算法从各场景特征之间寻找频繁项集,将支持度大于或等于预设的最小支持度阈值的项集作为频繁项集,将置信度大于或等于预设的最小置信度阈值的规则作为强关联规则;
将各场景特征之间的强关联规则转化为概率值,对各场景特征进行统计分析;
基于统计分析结果,建立场景特征知识要素推理树,对概率值小于预设阈值的分支进行剪枝操作。
10.根据权利要求8所述的装置,其特征在于,所述获取模块具体用于:
通过目标检测器对所述人群行为视频数据库中每个事件的人群进行检测,通过Deep-Sort算法对检测到的每个个体进行跟踪,获取各类事件中人群的运动特征参数,跟踪过程包括:运动状态估计、轨迹处理、运动匹配度和外观匹配度、级联匹配,所述运动特征参数包括人数、速度、角度、加速度、角速度。
CN202110636655.8A 2021-06-08 2021-06-08 基于要素挖掘和视频分析的异常行为人群检测方法和装置 Active CN113743184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110636655.8A CN113743184B (zh) 2021-06-08 2021-06-08 基于要素挖掘和视频分析的异常行为人群检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110636655.8A CN113743184B (zh) 2021-06-08 2021-06-08 基于要素挖掘和视频分析的异常行为人群检测方法和装置

Publications (2)

Publication Number Publication Date
CN113743184A CN113743184A (zh) 2021-12-03
CN113743184B true CN113743184B (zh) 2023-08-29

Family

ID=78728421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110636655.8A Active CN113743184B (zh) 2021-06-08 2021-06-08 基于要素挖掘和视频分析的异常行为人群检测方法和装置

Country Status (1)

Country Link
CN (1) CN113743184B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115309871B (zh) * 2022-10-12 2023-03-21 中用科技有限公司 一种基于人工智能算法的工业大数据处理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480578A (zh) * 2016-06-08 2017-12-15 国家计算机网络与信息安全管理中心 一种利用人群行为分析的视频检测系统及方法
CN107862437A (zh) * 2017-10-16 2018-03-30 中国人民公安大学 基于风险概率评估的公共区域人群聚集预警方法及系统
CN109299646A (zh) * 2018-07-24 2019-02-01 北京旷视科技有限公司 人群异常事件检测方法、装置、系统和存储介质
CN110097028A (zh) * 2019-05-14 2019-08-06 河北工业大学 基于三维金字塔图像生成网络的人群异常事件检测方法
CN110245603A (zh) * 2019-06-12 2019-09-17 成都信息工程大学 一种群体异常行为实时检测方法
CN111402237A (zh) * 2020-03-17 2020-07-10 山东大学 基于时空级联自编码器的视频图像异常检测方法及系统
CN111753651A (zh) * 2020-05-14 2020-10-09 南京熊猫电子股份有限公司 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法
WO2021069053A1 (en) * 2019-10-07 2021-04-15 Huawei Technologies Co., Ltd. Crowd behavior anomaly detection based on video analysis

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812543B2 (en) * 2011-03-31 2014-08-19 Infosys Limited Methods and systems for mining association rules

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480578A (zh) * 2016-06-08 2017-12-15 国家计算机网络与信息安全管理中心 一种利用人群行为分析的视频检测系统及方法
CN107862437A (zh) * 2017-10-16 2018-03-30 中国人民公安大学 基于风险概率评估的公共区域人群聚集预警方法及系统
CN109299646A (zh) * 2018-07-24 2019-02-01 北京旷视科技有限公司 人群异常事件检测方法、装置、系统和存储介质
CN110097028A (zh) * 2019-05-14 2019-08-06 河北工业大学 基于三维金字塔图像生成网络的人群异常事件检测方法
CN110245603A (zh) * 2019-06-12 2019-09-17 成都信息工程大学 一种群体异常行为实时检测方法
WO2021069053A1 (en) * 2019-10-07 2021-04-15 Huawei Technologies Co., Ltd. Crowd behavior anomaly detection based on video analysis
CN111402237A (zh) * 2020-03-17 2020-07-10 山东大学 基于时空级联自编码器的视频图像异常检测方法及系统
CN111753651A (zh) * 2020-05-14 2020-10-09 南京熊猫电子股份有限公司 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
突发性群体事件实时决策中的情景演变路径与应对分析;黄鸿志 等;《中国人民公安大学学报 (社会科学版)》(第3期);85-89 *

Also Published As

Publication number Publication date
CN113743184A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN111694879B (zh) 一种多元时间序列异常模式预测方法及数据采集监控装置
Faria et al. Novelty detection in data streams
Jiang et al. A dynamic hierarchical clustering method for trajectory-based unusual video event detection
US9286693B2 (en) Method and apparatus for detecting abnormal movement
CN102163290B (zh) 基于时空关联信息的多视角视频监控中异常事件建模方法
US20140046878A1 (en) Method and system for detecting sound events in a given environment
CN109829382B (zh) 基于行为特征智能分析的异常目标预警追踪系统及方法
KR102028930B1 (ko) 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
Bozcan et al. Gridnet: Image-agnostic conditional anomaly detection for indoor surveillance
CN113743184B (zh) 基于要素挖掘和视频分析的异常行为人群检测方法和装置
Rezaee et al. Deep-Transfer-learning-based abnormal behavior recognition using internet of drones for crowded scenes
Zhang et al. A Multiple Instance Learning and Relevance Feedback Framework for Retrieving Abnormal Incidents in Surveillance Videos.
Yu et al. Long-term identity-aware multi-person tracking for surveillance video summarization
Khalid et al. Frameworks for multivariate m-mediods based modeling and classification in Euclidean and general feature spaces
KR20230060214A (ko) 인공지능 기반 영상 객체 추적 장치 및 방법
Patino et al. Activity discovery from video employing soft computing relations
Mohanty et al. Fraud detection using outlier analysis: a survey
Tronchin et al. Explainable ai for car crash detection using multivariate time series
Kokila et al. Efficient abnormality detection using patch-based 3D convolution with recurrent model
Ghuge et al. An Integrated Approach Using Optimized Naive Bayes Classifier and Optical Flow Orientation for Video Object Retrieval.
Kang et al. Motion pattern study and analysis from video monitoring trajectory
Bilski et al. Decision Trees Implementation in Monitoring of Elderly Persons Based on the Depth Sensors Data
Elnekave et al. Discovering regular groups of mobile objects using incremental clustering
Ramoliya et al. Insights of Deep Learning-Based Video Anomaly Detection Approaches
Tamura et al. Classifying of time series using local sequence alignment and its performance evaluation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant