CN113037783A - 一种异常行为检测方法及系统 - Google Patents

一种异常行为检测方法及系统 Download PDF

Info

Publication number
CN113037783A
CN113037783A CN202110561988.9A CN202110561988A CN113037783A CN 113037783 A CN113037783 A CN 113037783A CN 202110561988 A CN202110561988 A CN 202110561988A CN 113037783 A CN113037783 A CN 113037783A
Authority
CN
China
Prior art keywords
behavior
category
video sequence
abnormal
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110561988.9A
Other languages
English (en)
Other versions
CN113037783B (zh
Inventor
郭克华
陶泽
奎晓燕
赵颖
胡斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110561988.9A priority Critical patent/CN113037783B/zh
Publication of CN113037783A publication Critical patent/CN113037783A/zh
Application granted granted Critical
Publication of CN113037783B publication Critical patent/CN113037783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种异常行为检测方法及系统,在使用深度学习技术的基础上,综合边缘服务器、云端的体系结构优势,保证了边缘服务器高响应、低延迟。边缘服务器上传开放场景出现的异常行为至云端和下载云端系统中新增的行为类别。云端通过主动标签学习将异常行为由已知行为进行表示。由此构建了完善的边缘服务器和云端的异常行为检测闭环,边缘服务器无需与云端保持长连接,减轻了网络传输压力,异常行为的行为类别支持更新也更加符合开放场景下的异常行为检测需要。

Description

一种异常行为检测方法及系统
技术领域
本发明涉及深度学习领域,具体是一种异常行为检测方法及系统。
背景技术
智慧城市的快速发展,监控设备和5G高速网络的大规模部署,造成了大量的安防视频数据呈指数增长,更严重的是,此类监视视频数据还包含异常行为数据,严重危害城市的安全。因此,如何有效地管理,分析和挖掘公共场所的异常行为已成为业界最关注的问题之一[1]。过去,视频监控系统依赖大量的人工参与,并由于工作人员疲劳工作等原因,极易造成漏检、误检,无法保证异常行为检测的实时动态分析,使得对监控视频内容的自动化分析成为一项迫切需求。随着人工智能技术的发展,准确、有效地分析和挖掘视频数据中的行为模式已经成为可能。若将人工智能技术用于异常行为检测,不但可以减轻工作人员的工作压力,还能提高工作效率和异常检测准确率,为保障公共场所安全保驾护航。
现有的异常行为检测研究主要是综合深度学习与云服务技术,它们为大规模的部署终端视频监视设备提供出色的数据分析、存储能力[2][3]。但云端需要长时间保持与终端视频监控设备的连接,且云端在实时收集大量动态视频数据时,容易造成通信网络的堵塞[4],给实时视频数据的传输带来了极大的隐患,导致视频数据中的异常行为无法及时识别[5]。尽管当前边缘计算被视为云服务的一种有效补充,它通过将大量需要实时处理的视频数据迁移到网络边缘的本地服务器进行处理,无需长时间与云端保持连接,降低了网络传输的巨大压力,但它并不适用于大量计算和巨额存储消耗的深度学习模型[6]
现有的异常行为检测系统通常是基于预设数量的行为类别数据进行监督学习,忽略了开放场景下异常行为的多样性和不可预测性,行为类别的更新主要依赖于技术人员定期地添加新行为类别至系统中,需要耗费巨大的人力成本去搜集行为数据。当此类系统无法识别某类行为类别时,只能等待下一次行为类别更新[7]才能识别某类行为类别。并且,此类系统的监督学习过程整段输入完整的行为类别视频,但由于视频中往往重复会出现某种行为动作,粗粒度的输入导致最终获得预测行为类别仍不够准确[8],识别结果也只能粗略地描述异常类型,无法显示异常行为的原因,其中包括行为发生时间及行为类型等[9][10]
具体来说,异常行为检测系统[11]尽管作为边缘服务器与云端结合的先进技术,但该系统存在以下技术缺陷:1)系统获得的输入视频序列的预测行为类别、循环一致点不作为卷积层输入,导致异常行为识别准确率低;2)该系统运行过程中完全依赖于系统内部的自动调整,未添加外界的人工可干预参数,进一步导致异常行为识别准确率低;3)该系统云端最终提供给边缘服务器的是主动学习训练后的异常行为检测模型,边缘服务器需要替换之前的异常行为检测模型,操作便利性差。
综上,一方面,现有的异常行为检测由于网络传输延迟、基于预设数量的行为类别数据进行监督学习,无法满足开放场景下的异常行为检测需求。另一方面,异常行为检测系统[11]尽管同时使用到边缘服务器、云端和主动学习过程,但由于其仍存在大量的技术缺陷,导致其在开放场景下异常行为识别准确率、操作便利性上效果不佳。因此,如何在保证高响应、低延迟的情况下,操作人员可调整异常行为检测系统的运行状态,异常行为检测系统又能够自我监督地主动学习未知行为类别,并符合开放场景下的检测需求是亟待解决的技术问题。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种异常行为检测方法及系统,提高异常行为检测精度。
为解决上述技术问题,本发明所采用的技术方案是:一种异常行为检测方法,包括以下步骤:
1)输入测试行为类别的视频序列
Figure 795345DEST_PATH_IMAGE001
、已知行为类别的视频序列
Figure 647239DEST_PATH_IMAGE002
;分别将两个序列 拆分为若干个完整的子行为序列
Figure 426977DEST_PATH_IMAGE003
;其中,
Figure 822186DEST_PATH_IMAGE004
表示视频序列
Figure 574241DEST_PATH_IMAGE001
可拆分的子行为序列数量,
Figure 396704DEST_PATH_IMAGE005
表示视频序列
Figure 601420DEST_PATH_IMAGE006
可拆分的子行为序列数量,
Figure 738003DEST_PATH_IMAGE007
表示视频序列
Figure 406882DEST_PATH_IMAGE001
的第
Figure 337929DEST_PATH_IMAGE008
个子行为序列,
Figure 92258DEST_PATH_IMAGE009
表示视频序列
Figure 829270DEST_PATH_IMAGE010
的第
Figure 290338DEST_PATH_IMAGE011
个子行为序列;
2)将子行为序列依次输入高维空间
Figure 720183DEST_PATH_IMAGE012
中进行映射,表示为
Figure 899491DEST_PATH_IMAGE013
Figure 174615DEST_PATH_IMAGE014
,并 获得
Figure 818086DEST_PATH_IMAGE015
Figure 153252DEST_PATH_IMAGE016
的相似度矩阵,
Figure 819857DEST_PATH_IMAGE017
Figure 898671DEST_PATH_IMAGE018
分别为子行为序列
Figure 331402DEST_PATH_IMAGE001
Figure 103049DEST_PATH_IMAGE019
的高维空间映射值;
3)通过相似度矩阵的最小化距离寻找出
Figure 991371DEST_PATH_IMAGE020
Figure 873876DEST_PATH_IMAGE021
的行为循环对齐点
Figure 226360DEST_PATH_IMAGE022
,输入
Figure 106591DEST_PATH_IMAGE023
与视 频序列
Figure 544526DEST_PATH_IMAGE001
到卷积层,获得所述测试行为类别的视频序列的特征向量,并将该特征向量输入 Softmax激活函数,得到视频序列
Figure 965143DEST_PATH_IMAGE001
的预测行为类别;若在当前已知行为类别中无法找到该 预测行为类别时,则将视频序列
Figure 375396DEST_PATH_IMAGE001
视为异常行为序列。
与现有技术相比,本发明基于行为循环对齐点表征行为类型的特征向量,能充分 反映不同行为类别之间的差异,使得获得的预测行为类别更加准确,从而提高了异常行为 检测精度。因为不同行为类别在高维空间
Figure 488845DEST_PATH_IMAGE024
映射,进一步放大了不同行为类别的数据差异 性,使得原本数据相互耦合的不同行为类别是可划分的,因此,由本发明的方法获得的行为 循环对齐点
Figure 351759DEST_PATH_IMAGE025
能够准确表征当前行为类别的数据信息。同时,本发明将
Figure DEST_PATH_IMAGE027A
与视频序列
Figure DEST_PATH_IMAGE029A
输入 到卷积层,获得测试行为类别的视频序列的特征向量,该特征向量具备了行为类别之间差 异信息,能够准确表征视频序列b与视频序列v的关联,极大地提高了异常行为识别的准确 性,即提高了异常行为的检测精度。
本发明的方法还包括以下步骤(即主动学习过程):
A)获取各类已知行为类别的视频序列的高维空间映射平均值
Figure 389116DEST_PATH_IMAGE030
Figure 450613DEST_PATH_IMAGE031
的距离
Figure 669717DEST_PATH_IMAGE032
,其中,
Figure 82244DEST_PATH_IMAGE033
为当前已知行为类别的类别数量,
Figure 110243DEST_PATH_IMAGE034
为第
Figure 229509DEST_PATH_IMAGE033
类类别的已知行为类别 的视频序列的高维空间映射值的平均值;
B)若
Figure 419182DEST_PATH_IMAGE035
中最小值
Figure 319005DEST_PATH_IMAGE036
小于或者等于距离阈值,将第
Figure 822798DEST_PATH_IMAGE037
类行为类别作为视频序列
Figure 124467DEST_PATH_IMAGE038
的预测行为类别,并将该预测行为类别与视频序列
Figure 485041DEST_PATH_IMAGE038
保存至已知行为类别中,结束;
Figure 809843DEST_PATH_IMAGE039
的取值范围为
Figure 179644DEST_PATH_IMAGE040
;若
Figure 70240DEST_PATH_IMAGE041
中最小值
Figure 804978DEST_PATH_IMAGE042
大于距离阈值,则将视频序列
Figure 413814DEST_PATH_IMAGE001
的预测行为类别设置 为未知行为类别,并将该未知行为类别与视频序列
Figure 587306DEST_PATH_IMAGE001
保存在未知行为类别中,进入步骤C);
C)将已知行为类别和未知行为类别中视频序列聚类为
Figure 535670DEST_PATH_IMAGE043
,其中
Figure 503626DEST_PATH_IMAGE044
表 示聚类后的行为类别的类别数量,
Figure 599758DEST_PATH_IMAGE045
表示聚类后的第
Figure 249046DEST_PATH_IMAGE046
类已知行为类别;对于未知行为类别 的视频序列,根据其与已知行为类别的视频序列的高维空间映射距离
Figure 114233DEST_PATH_IMAGE047
设 置量化类别权重
Figure 253091DEST_PATH_IMAGE048
;将未知行为类别量化为各类已知行为类别乘以量化类别 权重
Figure 774202DEST_PATH_IMAGE049
的集合,将量化后的未知行为类别称为伪类别;
D)若相同伪类别的视频序列能再一次聚类到同一簇类别
Figure 23918DEST_PATH_IMAGE050
中,则将该伪类别作为视频序列的预测行为类别,并将该预测行为类别与视频序列保存至已知行为类别中。
与现有技术相比,本发明无需额外补充已知行为类别至系统中,通过主动标签学 习将未知行为类别表示为当前系统中已知行为类别的集合,实现了行为类别间的自我补 充,降低了搜集行为数据的人力成本,更加适用于开放场景下异常行为检测的使用需求,并 且通过实验证明,本发明产生的预测行为类别能够有效表示未知行为类别的数据信息。产 生上述优势的原因是本发明构建了完整的行为表示过程,包括:1)将异常行为类别转换为 未知行为类别;2)通过未知行为类别与系统中已知行为类别的高维空间
Figure 9191DEST_PATH_IMAGE051
映射距离
Figure 253703DEST_PATH_IMAGE041
获得 各类行为类别间的量化类别权重
Figure 324427DEST_PATH_IMAGE049
;3)依据量化类别权重
Figure 377834DEST_PATH_IMAGE049
表示预测行为类别;4)将预测 行为类别新增到已知行为类别中使用。本发明获得最后由已知行为类别表示的视频序列的 过程施加了人工可干预参数(距离阈值),使得已知行为类别表示过程更加准确,进而提高 了异常行为检测系统的异常行为识别准确率。人工可干预参数使得系统运行过程是操作人 员可人为干预的,操作人员可依据当前异常行为检测系统的状态(如:预测输入的预测行为 类别的结果是否准确,当前系统内的已知行为类别、未知行为类别的数量比例)动态地调整 人工可干预参数,使系统处于预期运行状态。同时,本发明只需要更新已知行为类别,无需 更新异常行为检测模型,使用时直接将已知行为类别导入边缘服务器即可,无需重新配置 本地环境,因此极大了提高了操作便利性。
本发明中,所述距离阈值设置为0.3。该距离阈值的设置能够充分地将未知行为类别与已知行为类别划分开,降低二者之间数据信息的耦合程度。
本发明中,
Figure 155297DEST_PATH_IMAGE052
,其中,
Figure 635957DEST_PATH_IMAGE053
,且当
Figure 928398DEST_PATH_IMAGE054
时,设置
Figure 785496DEST_PATH_IMAGE055
Figure DEST_PATH_IMAGE057A
Figure DEST_PATH_IMAGE059A
中的最 大值。
Figure 355148DEST_PATH_IMAGE060
值的设置是一种平均性的考虑结果,它是实验过程中调整的最佳值,
Figure 6710DEST_PATH_IMAGE061
值的设 置能够避免部分未知行为类别与已知行为类别的差异性过大,导致量化类别权重
Figure 989709DEST_PATH_IMAGE049
值整体 偏小,进而影响表示后的预测行为类别的有效性。
循环对齐点
Figure 384918DEST_PATH_IMAGE062
的计算公式为:
Figure 933711DEST_PATH_IMAGE063
,其中,
Figure 959436DEST_PATH_IMAGE064
Figure 226470DEST_PATH_IMAGE065
Figure 425370DEST_PATH_IMAGE066
Figure 766352DEST_PATH_IMAGE067
Figure 25295DEST_PATH_IMAGE068
Figure 779625DEST_PATH_IMAGE069
Figure 454320DEST_PATH_IMAGE070
Figure 977705DEST_PATH_IMAGE071
Figure 407549DEST_PATH_IMAGE072
分别为子行 为序列
Figure 383596DEST_PATH_IMAGE073
Figure 859052DEST_PATH_IMAGE074
的高维空间映射值。循环对齐点
Figure 502523DEST_PATH_IMAGE075
由输入干个子行为类别的高维空间
Figure 837689DEST_PATH_IMAGE076
映射获 得。与整段的输入完整的行为类别对比,本发明考虑到了完整的行为类别序列中可能重复 出现某行为类别动作,精细划分能够解耦原本数据相互耦合的行为类别,并且上述计算公 式中使用到了每一项子行为类别的高维空间
Figure 504294DEST_PATH_IMAGE077
映射值,使得获得循环对齐点
Figure 583108DEST_PATH_IMAGE078
更加准确。
相应的,本发明还提供了一种异常行为检测系统,其包括计算机设备;所述计算机设备被配置或编程为用于执行上述方法的步骤。
本发明的异常行为检测系统中,所述计算机设备包括边缘服务器和云端;所述边缘服务器被配置为用于执行以下步骤:
1)输入测试行为类别的视频序列
Figure 81086DEST_PATH_IMAGE001
、已知行为类别的视频序列
Figure 524836DEST_PATH_IMAGE002
;分别将两个序列 拆分为若干个完整的子行为序列
Figure 741054DEST_PATH_IMAGE003
;其中,
Figure 623559DEST_PATH_IMAGE079
表示视频序列
Figure 913727DEST_PATH_IMAGE001
可拆分的子行为序列数量,
Figure 856275DEST_PATH_IMAGE080
表示视频序列
Figure 294209DEST_PATH_IMAGE010
可拆分的子行为序列数量,
Figure 652509DEST_PATH_IMAGE081
表示视频序列
Figure 125079DEST_PATH_IMAGE001
的第
Figure 972949DEST_PATH_IMAGE008
个子行为序列,
Figure 835863DEST_PATH_IMAGE082
表示视频序列
Figure 60171DEST_PATH_IMAGE083
的第
Figure 387247DEST_PATH_IMAGE084
个子行为序列;
2)将子行为序列依次输入高维空间
Figure 609281DEST_PATH_IMAGE085
中进行映射,表示为
Figure 21808DEST_PATH_IMAGE086
Figure 784228DEST_PATH_IMAGE087
,并 获得
Figure 903493DEST_PATH_IMAGE088
Figure 358745DEST_PATH_IMAGE089
的相似度矩阵,
Figure 258568DEST_PATH_IMAGE090
Figure 759432DEST_PATH_IMAGE091
分别为子行为序列
Figure 795521DEST_PATH_IMAGE001
Figure 421675DEST_PATH_IMAGE010
的高维空间映射值;
3) 通过相似度矩阵的最小化距离寻找出
Figure 808794DEST_PATH_IMAGE092
Figure 850699DEST_PATH_IMAGE089
的行为循环对齐点
Figure 6874DEST_PATH_IMAGE093
,输入
Figure 803929DEST_PATH_IMAGE094
与视 频序列
Figure 84868DEST_PATH_IMAGE001
到卷积层,获得所述测试行为类别的视频序列的特征向量,并将该特征向量输入 Softmax激活函数,得到视频序列
Figure 258361DEST_PATH_IMAGE001
的预测行为类别;若在当前已知行为类别中无法找到该 预测行为类别时,则将视频序列
Figure 269042DEST_PATH_IMAGE001
视为异常行为序列。
边缘服务器最终输出异常行为序列的高维空间映射值
Figure 440261DEST_PATH_IMAGE095
至所述云端。所述云端被 配置为用于执行以下步骤:
A)获取各类已知行为类别的视频序列的高维空间映射平均值
Figure 536393DEST_PATH_IMAGE030
Figure 982417DEST_PATH_IMAGE096
的距离
Figure 988551DEST_PATH_IMAGE032
,其中,
Figure 127408DEST_PATH_IMAGE033
为当前已知行为类别的类别数量,
Figure 710836DEST_PATH_IMAGE097
为第
Figure 960552DEST_PATH_IMAGE033
类类别的已知行为类别 的视频序列的高维空间映射值的平均值;
B)若
Figure 883508DEST_PATH_IMAGE041
中最小值
Figure 193267DEST_PATH_IMAGE042
小于或者等于距离阈值,将第
Figure 263991DEST_PATH_IMAGE039
类行为类别作为视频序列
Figure 989502DEST_PATH_IMAGE001
的预测行为类别,并将该预测行为类别与视频序列
Figure 829282DEST_PATH_IMAGE001
保存至已知行为类别中,结束;
Figure 309942DEST_PATH_IMAGE039
的取值范围为
Figure 802715DEST_PATH_IMAGE040
;若中
Figure 659813DEST_PATH_IMAGE098
最小值
Figure 354099DEST_PATH_IMAGE042
大于距离阈值,则将视频序列
Figure 943344DEST_PATH_IMAGE001
的预测行为类别设置 为未知行为类别,并将该未知行为类别与视频序列
Figure 988660DEST_PATH_IMAGE001
保存在未知行为类别中,进入步骤C);
C)将已知行为类别和未知行为类别中视频序列聚类为
Figure 383869DEST_PATH_IMAGE099
,其中
Figure 604766DEST_PATH_IMAGE100
表 示聚类后的行为类别的类别数量,
Figure 692808DEST_PATH_IMAGE045
表示聚类后的第
Figure 959841DEST_PATH_IMAGE046
类已知行为类别;对于未知行为类别 的视频序列,根据其与已知行为类别的视频序列的高维空间映射距离
Figure 96425DEST_PATH_IMAGE101
设 置量化类别权重
Figure 437407DEST_PATH_IMAGE049
;将未知行为类别量化为各类已知行为类别乘以量化类别权重
Figure 696350DEST_PATH_IMAGE049
的集 合,将量化后的未知行为类别称为伪类别;
D)若相同伪类别的视频序列能再一次聚类到同一簇类别
Figure 185100DEST_PATH_IMAGE102
中,则将该伪类别作为视频序列的预测行为类别,并将该预测行为类别与视频序列保存至已知行为类别中。
所述云端还用于将已知行为类别传送至所述边缘服务器。
本发明中,边缘服务器上传开放场景出现的异常行为至云端和下载云端系统中新增的行为类别。云端通过主动标签学习将异常行为由已知行为进行表示。由此构建了完善的边缘服务器和云端的异常行为检测闭环,边缘服务器无需与云端保持长连接,减轻了网络传输压力,异常行为的行为类别支持更新也更加符合开放场景下的异常行为检测需要。
与现有技术相比,本发明所具有的有益效果为:本发明在使用深度学习技术的基础上,综合边缘服务器、云端的体系结构优势,保证了边缘服务器高响应、低延迟。边缘服务器上传开放场景出现的异常行为至云端和下载云端系统中新增的行为类别。云端通过主动标签学习将异常行为由已知行为进行表示。由此构建了完善的边缘服务器和云端的异常行为检测闭环,边缘服务器无需与云端保持长连接,减轻了网络传输压力,异常行为的行为类别支持更新也更加符合开放场景下的异常行为检测需要。实验证明,上述方案增强了异常行为检测算法的异常行为分类准确率,本发明的可行性高,能有效的降低目前视频监控系统的人工参与程度,解决了基于恒定种类的异常行为检测方法在开放场景下的难适用问题。相对于现有的异常行为检测系统而言,本发明提高了异常行为识别准确率和操作便利性。
附图说明
图1为本发明实施例系统架构图。
图2为本发明实施例异常行为检测和主动标签学习阶段原理图。
具体实施方式
如图1所示,本发明实施例1的体系结构由三部分组成:(1)物联网设备层:半球、全球相机等物联网设备录制实时视频序列,并传输到边缘服务器执行异常行为检测。(2)边缘服务器:边缘服务器对物联网设备层中出现的视频序列进行识别,若当前边缘服务器系统中已知行为类别中。若识别为异常行为,则将该行为数据上传至云端,并等待云端答复。边缘服务器保存云端回传的新增行为类别至边缘服务器系统中,再次执行当前视频序列的异常行为检测,完成行为识别。(3)云端:由于云端具有分布式边缘服务器的全局知识和更强大的计算功能,因此它可以帮助边缘服务器检测异常行为类别数据。具体为,通过主动标签学习将异常行为由当前云端系统中的已知行为类别进行表示,并回传云端系统中新增的已知行为类别至边缘服务器。
异常行为检测算法监督训练步骤如下:
第一步:输入测试行为类别的视频序列
Figure 390954DEST_PATH_IMAGE001
、异常行为检测系统的已知行为类别的视 频序列
Figure 914339DEST_PATH_IMAGE006
,由于视频序列
Figure 78604DEST_PATH_IMAGE001
Figure 320230DEST_PATH_IMAGE010
中可能会重复出现该行为类别的动作,将依据整个行为序列 的总帧数以及完成该行为类别的动作所需帧数,将整个行为序列拆分为若干个完整的子行 为序列
Figure 798615DEST_PATH_IMAGE003
。其中,
Figure 176507DEST_PATH_IMAGE103
表示视频序列
Figure 777253DEST_PATH_IMAGE001
可拆分的子行为序列数 量,
Figure 912699DEST_PATH_IMAGE005
表示视频序列
Figure 257093DEST_PATH_IMAGE083
可拆分的子行为序列数量,
Figure 755070DEST_PATH_IMAGE104
表示视频序列
Figure 484908DEST_PATH_IMAGE001
的第
Figure 701126DEST_PATH_IMAGE105
个子行为序列,
Figure 583631DEST_PATH_IMAGE106
表示视频序列
Figure 608219DEST_PATH_IMAGE006
的第
Figure 285188DEST_PATH_IMAGE005
个子行为序列。
第二步:由第一步获得的子行为序列
Figure 723122DEST_PATH_IMAGE107
,将子行为 序列依次输入高维空间
Figure 347002DEST_PATH_IMAGE108
中进行映射,表示为
Figure 553992DEST_PATH_IMAGE109
Figure 667442DEST_PATH_IMAGE110
Figure 795935DEST_PATH_IMAGE111
Figure 20243DEST_PATH_IMAGE089
分别为子行为序列
Figure 347319DEST_PATH_IMAGE001
Figure 303774DEST_PATH_IMAGE006
的高维空间映射值,并获得
Figure 450721DEST_PATH_IMAGE017
Figure 478720DEST_PATH_IMAGE112
的相似度矩阵
Figure 863565DEST_PATH_IMAGE113
,其中
Figure 318817DEST_PATH_IMAGE066
,其中
Figure 218640DEST_PATH_IMAGE067
Figure 456854DEST_PATH_IMAGE114
Figure 492943DEST_PATH_IMAGE071
取值等于
Figure 119097DEST_PATH_IMAGE115
Figure 178320DEST_PATH_IMAGE072
取值等于
Figure 548121DEST_PATH_IMAGE116
第三步:由第二步获得的相似度矩阵
Figure 704296DEST_PATH_IMAGE113
,通过相似度矩阵的最小 化距离寻找出
Figure 701683DEST_PATH_IMAGE092
Figure 310519DEST_PATH_IMAGE089
的行为循环对齐点
Figure 218432DEST_PATH_IMAGE117
,具体过程为:
Figure 901218DEST_PATH_IMAGE063
,其中
Figure 869174DEST_PATH_IMAGE118
Figure 965306DEST_PATH_IMAGE119
Figure 676910DEST_PATH_IMAGE120
。循环对齐点
Figure 745360DEST_PATH_IMAGE117
可以表征视频序列
Figure 884217DEST_PATH_IMAGE001
与视频序列
Figure 202066DEST_PATH_IMAGE006
的行为类别的 相似程度,输入
Figure 655044DEST_PATH_IMAGE121
与视频序列
Figure 640318DEST_PATH_IMAGE001
到卷积层获得该测试行为类别的视频序列的特征向量,并将 该特征向量输入Softmax激活函数,Softmax激活函数将依据输入与当前已知行为类别的相 似程度得到视频序列
Figure 950076DEST_PATH_IMAGE001
的预测行为类别。若在当前已知行为类别中无法找到该预测行为类 别时,则将视频序列
Figure 692904DEST_PATH_IMAGE001
视为异常行为序列,并将其高维空间映射值
Figure 746311DEST_PATH_IMAGE031
输出到主动标签学习算 法中,等待进一步操作。
主动标签学习算法自监督学习步骤如下:
第一步:获得测试行为类别的视频序列
Figure 586091DEST_PATH_IMAGE001
的高维空间映射值
Figure 270013DEST_PATH_IMAGE122
后。比较各类已知行 为类别的视频序列的高维空间映射平均值
Figure 828034DEST_PATH_IMAGE123
Figure 419552DEST_PATH_IMAGE124
的距离
Figure 51521DEST_PATH_IMAGE032
,其中,
Figure 703083DEST_PATH_IMAGE033
为当前已 知行为类别的类别数量,
Figure 482820DEST_PATH_IMAGE125
为第
Figure 878029DEST_PATH_IMAGE033
类类别的已知行为类别的视频序列的高维空间映射值的 平均值。
第二步:若
Figure 630084DEST_PATH_IMAGE041
中最小值
Figure 452547DEST_PATH_IMAGE042
小于或者等于距离阈值0.3时,说明测试行为类别与第
Figure 719580DEST_PATH_IMAGE039
类的已知行为类别相同。则将第
Figure 853234DEST_PATH_IMAGE039
类行为类别作为视频序列
Figure 459796DEST_PATH_IMAGE001
的预测行为类别,并 将该预测行为类别与视频序列
Figure 453159DEST_PATH_IMAGE001
保存至已知行为类别中,此时,主动标签学习算法结束。其 中,
Figure 207489DEST_PATH_IMAGE039
的取值范围为1至
Figure 147763DEST_PATH_IMAGE126
,并且距离阈值可人为调整。
第三步:若
Figure 671148DEST_PATH_IMAGE041
中最小值
Figure 835413DEST_PATH_IMAGE042
大于距离阈值0.3时,说明测试行为类别与各类已知行 为类别均不相同。则将视频序列
Figure 14722DEST_PATH_IMAGE001
的预测行为类别设置为未知行为类别。并将该未知行为类 别与视频序列
Figure 555425DEST_PATH_IMAGE001
保存在未知行为类别中。其中,
Figure 933316DEST_PATH_IMAGE039
的取值范围为1至
Figure 471745DEST_PATH_IMAGE126
,并且距离阈值可人 为调整。
第四步:使用DBSCAN聚类算法将已知行为类别和未知行为类别中视频序列聚类为
Figure 935088DEST_PATH_IMAGE127
,其中
Figure 279481DEST_PATH_IMAGE128
表示使用DBSCAN聚类后的行为类别的类别数量,
Figure 449562DEST_PATH_IMAGE045
表示聚类后的 第
Figure 221209DEST_PATH_IMAGE046
类已知行为类别。对于未知行为类别的视频序列,根据其与已知行为类别的视频序列的 高维空间映射距离
Figure DEST_PATH_IMAGE129
设置量化类别权重
Figure DEST_PATH_IMAGE130
,量化类别权重
Figure DEST_PATH_IMAGE131
等于
Figure DEST_PATH_IMAGE132
除以
Figure DEST_PATH_IMAGE133
,其中,
Figure 47214DEST_PATH_IMAGE133
一般等于
Figure DEST_PATH_IMAGE134
,但当
Figure 929719DEST_PATH_IMAGE134
大于或者等于2.0时,将导致部分量化 类别权重过小,此时,人为调整
Figure 216957DEST_PATH_IMAGE133
为2.0。进而,将未知行为类别表示各类已知行为类别乘以 量化类别权重
Figure 159505DEST_PATH_IMAGE049
的集合,并将量化后的未知行为类别称为伪类别。考虑到伪类别种类仍然 十分丰富,因此,需要对伪类别再次执行DBSCAN聚类以进一步减少伪类别种类。
第五步:若相同伪类别的视频序列再一次聚类到同一簇类别
Figure DEST_PATH_IMAGE135
中,则将该伪类别作为视频序列的预测行为类别,并将该预测行为类别与视频序列一起保存至已知行为类别中。此时,主动标签学习算法结束。综上,主动标签学习算法实现了测试行为类别到已知行为类别的转换,使得当前系统新增了部分的已知行为类别。
本发明使用到的参考文献如下:
[1] Li M, Gao J, Zhao L, and Shen X, “Deep reinforcement learning forcollaborative edge computing in vehicular networks,” IEEE Transactions onCognitive Communications and Networking, 2020, vol. 17, no. 6(4), pp:1122-1135.
[2] Khan LU, Yaqoob I, Tran NH, Kazmi SA, Dang TN, and Hong CS,“Edge-Computing-Enabled Smart Cities: A Comprehensive Survey,” IEEE Internetof Things Journal, 2020, vol. 7, no. 10, pp:10200-10232.
[3] W. Shi, J. Cao, Q. Zhang, Y. Li, and L. Xu, “Edge computing:Vision and challenges,” IEEE Internet of Things Journal, 2016, vol. 3, no. 5,pp.637–646.
[4] S. Y. Nikouei, Y. Chen, S. Song, R. Xu, B.-Y. Choi, and T. R.Faughnan, “Real-time human detection as an edge service enabled by alightweight cnn,”arXiv preprint, 2018,arXiv:1805.00330.
[5] Premsankar G, Di Francesco M, and Taleb T, “Edge computing forthe Internet of Things: A case study,” IEEE Internet of Things Journal, 2018,vol. 5, no. 2, pp:1275-84.
[6] Rafique W, Qi L, Yaqoob I, Imran M, Rasool RU, and Dou W,“Complementing IoT services through software defined networking and edgecomputing: A comprehensive survey, ” IEEE Communications Surveys & Tutorials,2020, vol. 26, no. 22(3), pp:1761-804.
[7] N. Chen, Y. Chen, Y. You, H. Ling, P. Liang, and R. Zimmermann,“Dy-namic urban surveillance video stream processing using fog computing,” inMultimedia Big Data (BigMM), 2016 IEEE Second International Conference on.IEEE, 2016, pp:105–112.
[8] Chen G, Liu P, Liu Z, Tang H, Hong L, Dong J, Conradt J, Knoll A,“NeuroAED: Towards Efficient Abnormal Event Detection in Visual SurveillanceWith Neuromorphic Vision Sensor,” IEEE Transactions on Information Forensicsand Security, 2020, vol. 14, no. 16, pp:923-936.
[9] R. Xu, S. Y. Nikouei, Y. Chen, E. Blasch, and A. Aved, “Blendmas:A blockchain-enabled decentralized microservices architecture for smartpublic safety,” arXiv preprint, 2019, arXiv:1902.10567.
[10] Nakao T, Hanaoka S, Nomura Y, Murata M, Takenaga T, Miki S,Watadani T, Yoshikawa T, Hayashi N, and Abe O, “Unsupervised Deep AnomalyDetection in Chest Radiographs,” Journal of Digital Imaging, 2021, pp:1-10.
[11] Guo K, Hu B, Ma J, Ren S, Tao Z, and Zhang J,“Toward AnomalyBehavior Detection as an Edge Network Service Using a Dual-Task InteractiveGuided Neural Network,” IEEE Internet of Things Journal, 2020.

Claims (8)

1.一种异常行为检测方法,其特征在于,包括以下步骤:
1)输入测试行为类别的视频序列
Figure DEST_PATH_IMAGE001
、已知行为类别的视频序列
Figure DEST_PATH_IMAGE002
;分别将两个序列拆分为若干个完整的子行为序列
Figure DEST_PATH_IMAGE003
;其中,
Figure DEST_PATH_IMAGE004
表示视频序列
Figure 189343DEST_PATH_IMAGE001
可拆分的子行为序列数量,
Figure DEST_PATH_IMAGE005
表示视频序列
Figure DEST_PATH_IMAGE006
可拆分的子行为序列数量,
Figure DEST_PATH_IMAGE007
表示视频序列
Figure 699958DEST_PATH_IMAGE001
的第
Figure DEST_PATH_IMAGE008
个子行为序列,
Figure DEST_PATH_IMAGE009
表示视频序列
Figure DEST_PATH_IMAGE010
的第
Figure 807592DEST_PATH_IMAGE005
个子行为序列;
2)将子行为序列依次输入高维空间
Figure DEST_PATH_IMAGE011
中进行映射,表示为
Figure DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
,并获得
Figure DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE015
的相似度矩阵,
Figure DEST_PATH_IMAGE016
Figure DEST_PATH_IMAGE017
分别为子行为序列
Figure 622708DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE018
的高维空间映射值;
3)通过相似度矩阵的最小化距离寻找出
Figure DEST_PATH_IMAGE019
Figure 499397DEST_PATH_IMAGE017
的行为循环对齐点
Figure 587438DEST_PATH_IMAGE020
,输入
Figure 120051DEST_PATH_IMAGE020
与视频序列
Figure 351574DEST_PATH_IMAGE001
到卷积层,获得所述测试行为类别的视频序列的特征向量,并将该特征向量输入Softmax激活函数,得到视频序列
Figure 286032DEST_PATH_IMAGE001
的预测行为类别;若在当前已知行为类别中无法找到该预测行为类别时,则将视频序列
Figure 544975DEST_PATH_IMAGE001
视为异常行为序列。
2.根据权利要求1所述的异常行为检测方法,其特征在于,还包括:
A)获取各类已知行为类别的视频序列的高维空间映射平均值
Figure DEST_PATH_IMAGE021
Figure 96042DEST_PATH_IMAGE019
的距离
Figure DEST_PATH_IMAGE022
,其中,
Figure DEST_PATH_IMAGE023
为当前已知行为类别的类别数量,
Figure DEST_PATH_IMAGE024
为第
Figure 426530DEST_PATH_IMAGE023
类类别的已知行为类别的视频序列的高维空间映射值的平均值;
B)若
Figure DEST_PATH_IMAGE025
中最小值
Figure DEST_PATH_IMAGE026
小于或者等于距离阈值,将第
Figure DEST_PATH_IMAGE027
类行为类别作为视频序列
Figure 776346DEST_PATH_IMAGE001
的预测行为类别,并将该预测行为类别与视频序列
Figure 471770DEST_PATH_IMAGE001
保存至已知行为类别中,结束;若
Figure 244554DEST_PATH_IMAGE025
中最小值
Figure 785256DEST_PATH_IMAGE026
大于距离阈值,则将视频序列
Figure 694307DEST_PATH_IMAGE001
的预测行为类别设置为未知行为类别,并将该未知行为类别与视频序列
Figure 560631DEST_PATH_IMAGE001
保存在未知行为类别中,进入步骤C);
Figure DEST_PATH_IMAGE028
的取值范围为
Figure DEST_PATH_IMAGE029
C)将已知行为类别和未知行为类别中视频序列聚类为
Figure DEST_PATH_IMAGE030
,其中
Figure DEST_PATH_IMAGE031
表示聚类后的行为类别的类别数量,
Figure DEST_PATH_IMAGE032
表示聚类后的第
Figure DEST_PATH_IMAGE033
类已知行为类别;对于未知行为类别的视频序列,根据其与已知行为类别的视频序列的高维空间映射距离
Figure DEST_PATH_IMAGE034
设置量化类别权重
Figure DEST_PATH_IMAGE035
;将未知行为类别量化为各类已知行为类别乘以量化类别权重
Figure DEST_PATH_IMAGE036
的集合,将量化后的未知行为类别称为伪类别;
D)若相同伪类别的视频序列能再一次聚类到同一簇类别中,则将该伪类别作为视频序列的预测行为类别,并将该预测行为类别与视频序列保存至已知行为类别中。
3.根据权利要求2所述的异常行为检测方法,其特征在于,所述距离阈值设置为0.3。
4.根据权利要求2所述的异常行为检测方法,其特征在于,
Figure DEST_PATH_IMAGE037
,其中,
Figure DEST_PATH_IMAGE038
,其中,
Figure DEST_PATH_IMAGE039
,且当
Figure DEST_PATH_IMAGE040
时,设置
Figure DEST_PATH_IMAGE041
5.根据权利要求2~4之一所述的异常行为检测方法,其特征在于,循环对齐点
Figure DEST_PATH_IMAGE042
的计算公式为:
Figure DEST_PATH_IMAGE043
,其中
Figure DEST_PATH_IMAGE044
Figure DEST_PATH_IMAGE045
Figure DEST_PATH_IMAGE047
Figure DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE049
Figure DEST_PATH_IMAGE050
Figure DEST_PATH_IMAGE051
Figure DEST_PATH_IMAGE052
Figure DEST_PATH_IMAGE053
分别为子行为序列
Figure DEST_PATH_IMAGE054
Figure DEST_PATH_IMAGE055
的高维空间映射值。
6.一种异常行为检测系统,其特征在于,包括计算机设备;所述计算机设备被配置或编程为用于执行权利要求1~5之一所述方法的步骤。
7.根据权利要求6所述的异常行为检测系统,其特征在于,所述计算机设备包括边缘服务器和云端;所述边缘服务器被配置为用于执行权利要求1所述的步骤,并输出异常行为序列的高维空间映射值至所述云端;所述云端被配置为用于执行权利要求2~5之一所述方法的步骤。
8.根据权利要求7所述的异常行为检测系统,其特征在于,所述云端还用于将已知行为类别传送至所述边缘服务器。
CN202110561988.9A 2021-05-24 2021-05-24 一种异常行为检测方法及系统 Active CN113037783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110561988.9A CN113037783B (zh) 2021-05-24 2021-05-24 一种异常行为检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110561988.9A CN113037783B (zh) 2021-05-24 2021-05-24 一种异常行为检测方法及系统

Publications (2)

Publication Number Publication Date
CN113037783A true CN113037783A (zh) 2021-06-25
CN113037783B CN113037783B (zh) 2021-08-06

Family

ID=76455543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110561988.9A Active CN113037783B (zh) 2021-05-24 2021-05-24 一种异常行为检测方法及系统

Country Status (1)

Country Link
CN (1) CN113037783B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487027A (zh) * 2021-07-08 2021-10-08 中国人民大学 基于时序对齐预测的序列距离度量方法、存储介质及芯片
CN114168949A (zh) * 2021-12-21 2022-03-11 江西省锐华互联网科技有限公司 一种应用于人工智能的应用软件异常检测方法及系统
CN116827686A (zh) * 2023-08-28 2023-09-29 晨越建设项目管理集团股份有限公司 一种基于云-边协同的智慧社区系统数据异常检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150579A (zh) * 2013-02-25 2013-06-12 东华大学 一种基于视频序列的人体异常行为检测方法
US20130346411A1 (en) * 2011-12-09 2013-12-26 International Business Machines Corporation Identifying inconsistencies in object similarities from multiple information sources
CN105787472A (zh) * 2016-03-28 2016-07-20 电子科技大学 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
US20190041842A1 (en) * 2016-05-09 2019-02-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for detection in an industrial internet of things data collection environment with expert systems diagnostics and process adjustments for vibrating components
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109902640A (zh) * 2019-03-05 2019-06-18 江南大学 基于边缘计算和机器学习的视频质量异常检测系统及其检测方法
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法
CN111160117A (zh) * 2019-12-11 2020-05-15 青岛联合创智科技有限公司 一种基于多示例学习建模的异常行为检测方法
CN111585955A (zh) * 2020-03-31 2020-08-25 中南大学 一种http请求异常检测方法及系统
CN111914873A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种两阶段云服务器无监督异常预测方法
CN111932027A (zh) * 2020-08-28 2020-11-13 电子科技大学 一种融合边缘设施的云服务综合调度优化系统及方法
CN112565301A (zh) * 2019-12-26 2021-03-26 北京航空航天大学 基于小样本学习的服务器运行网络流量异常数据检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130346411A1 (en) * 2011-12-09 2013-12-26 International Business Machines Corporation Identifying inconsistencies in object similarities from multiple information sources
CN103150579A (zh) * 2013-02-25 2013-06-12 东华大学 一种基于视频序列的人体异常行为检测方法
CN105787472A (zh) * 2016-03-28 2016-07-20 电子科技大学 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
US20190041842A1 (en) * 2016-05-09 2019-02-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for detection in an industrial internet of things data collection environment with expert systems diagnostics and process adjustments for vibrating components
CN109389055A (zh) * 2018-09-21 2019-02-26 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109902640A (zh) * 2019-03-05 2019-06-18 江南大学 基于边缘计算和机器学习的视频质量异常检测系统及其检测方法
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法
CN111160117A (zh) * 2019-12-11 2020-05-15 青岛联合创智科技有限公司 一种基于多示例学习建模的异常行为检测方法
CN112565301A (zh) * 2019-12-26 2021-03-26 北京航空航天大学 基于小样本学习的服务器运行网络流量异常数据检测方法
CN111585955A (zh) * 2020-03-31 2020-08-25 中南大学 一种http请求异常检测方法及系统
CN111914873A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种两阶段云服务器无监督异常预测方法
CN111932027A (zh) * 2020-08-28 2020-11-13 电子科技大学 一种融合边缘设施的云服务综合调度优化系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEHUA GUO: "Toward Anomaly Behavior Detection as an Edge Network Service Using a Dual-Task Interactive Guided Neural Network", 《IEEE INTERNET OF THINGS JOURNAL》 *
刘雪奇: "基于深度学习的人体异常行为检测", 《信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487027A (zh) * 2021-07-08 2021-10-08 中国人民大学 基于时序对齐预测的序列距离度量方法、存储介质及芯片
CN113487027B (zh) * 2021-07-08 2023-09-22 中国人民大学 基于时序对齐预测的序列距离度量方法、存储介质及芯片
CN114168949A (zh) * 2021-12-21 2022-03-11 江西省锐华互联网科技有限公司 一种应用于人工智能的应用软件异常检测方法及系统
CN116827686A (zh) * 2023-08-28 2023-09-29 晨越建设项目管理集团股份有限公司 一种基于云-边协同的智慧社区系统数据异常检测方法
CN116827686B (zh) * 2023-08-28 2023-11-17 晨越建设项目管理集团股份有限公司 一种基于云-边协同的智慧社区系统数据异常检测方法

Also Published As

Publication number Publication date
CN113037783B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113037783B (zh) 一种异常行为检测方法及系统
EP3940591A1 (en) Image generating method, neural network compression method, and related apparatus and device
CN112232416B (zh) 一种基于伪标签加权的半监督学习方法
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
WO2020087974A1 (zh) 生成模型的方法和装置
WO2022111219A1 (zh) 一种域自适应设备运检系统和方法
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN111695622B (zh) 变电作业场景的标识模型训练方法、标识方法及装置
EP3767536A1 (en) Latent code for unsupervised domain adaptation
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN114241282A (zh) 一种基于知识蒸馏的边缘设备场景识别方法及装置
WO2021253510A1 (zh) 基于双向交互网络的行人搜索方法、系统、装置
CN113361645B (zh) 基于元学习及知识记忆的目标检测模型构建方法及系统
CN113762377B (zh) 网络流量识别方法、装置、设备及存储介质
CN112950642A (zh) 点云实例分割模型的训练方法、装置、电子设备和介质
CN111739285A (zh) 交通流量的预测方法、装置、设备及计算机存储介质
CN116662817B (zh) 物联网设备的资产识别方法及系统
CN114064928A (zh) 一种知识图谱的知识推理方法、装置、设备及存储介质
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN114333062B (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN113792892A (zh) 联邦学习建模优化方法、设备、可读存储介质及程序产品
CN112115996B (zh) 图像数据的处理方法、装置、设备及存储介质
CN111737371B (zh) 可动态预测的数据流量检测分类方法及装置
CN115577797A (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
CN115965078A (zh) 分类预测模型训练方法、分类预测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant