CN113128288A - 监控方法及相关产品 - Google Patents

监控方法及相关产品 Download PDF

Info

Publication number
CN113128288A
CN113128288A CN201911418124.0A CN201911418124A CN113128288A CN 113128288 A CN113128288 A CN 113128288A CN 201911418124 A CN201911418124 A CN 201911418124A CN 113128288 A CN113128288 A CN 113128288A
Authority
CN
China
Prior art keywords
image
images
user
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911418124.0A
Other languages
English (en)
Other versions
CN113128288B (zh
Inventor
梁晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Qingdao Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Yuntian Lifei Technology Co ltd, Shenzhen Intellifusion Technologies Co Ltd filed Critical Qingdao Yuntian Lifei Technology Co ltd
Priority to CN201911418124.0A priority Critical patent/CN113128288B/zh
Publication of CN113128288A publication Critical patent/CN113128288A/zh
Application granted granted Critical
Publication of CN113128288B publication Critical patent/CN113128288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种监控方法及相关产品,该方法包括:在检测到用户进入监控区域时,控制图像采集装置在第一时长内采用第一抓拍频率对所述用户进行抓拍,得到N帧第一图像,所述N为大于1的整数;根据所述N帧第一图像对所述用户的行为进行识别,在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像,所述第二抓拍频率小于所述第一抓拍频率,所述M为大于等于1的整数;根据所述M帧第二图像对所述用户进行监控。采用本申请实施例有利于提高监控效率。

Description

监控方法及相关产品
技术领域
本申请涉及图像识别技术领域,具体涉及一种监控方法及相关产品。
背景技术
随着人工智能的发展,图像识别技术也越来越成熟,应用领域也越来越广泛。例如,安防领域、人脸识别、视频监控,等领域。但是,在视频监控时,会抓拍很多帧图像对用户进行监控。然而,可能由于用户的移动幅度比较小,导致抓拍到的多张图像之间相似度极其高,甚至一样,从而导致获得多帧冗余的图像。例如,用户在监控区域徘徊时,抓拍到的图像几乎是一样的。由于,即使获得了冗余图像,仍然会对每帧图像进行识别,进而影响识别效率,大量的冗余图像会占用大量的存储空间,不利于视频监控的部署。
发明内容
本申请实施例提供了一种监控方法及相关产品,通过第一时长内抓拍到的图像对用户进行行为识别,在确定出用户徘徊时,在预设时间段采用第二抓拍频率进行抓拍,从而避免抓拍冗余图像,提高监控效率。
第一方面,本申请实施例提供一种监控方法,包括:
在检测到用户进入监控区域时,控制图像采集装置在第一时长内采用第一抓拍频率对所述用户进行抓拍,得到N帧第一图像,所述N为大于1的整数;
根据所述N帧第一图像对所述用户的行为进行识别,在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像,所述第二抓拍频率小于所述第一抓拍频率,所述M为大于等于1的整数;
根据所述M帧第二图像对所述用户进行监控。
第二方面,本申请实施例提供一种监控装置,包括:
抓拍单元,用于在检测到用户进入监控区域时,控制图像采集装置在第一时长内采用第一抓拍频率对所述用户进行抓拍,得到N帧第一图像,所述N为大于1的整数;
识别单元,用于根据所述N帧第一图像对所述用户的行为进行识别;
所述抓拍单元,还用于在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像,所述第二抓拍频率小于所述第一抓拍频率,所述M为大于等于1的整数;
监控单元,用于根据所述M帧第二图像对所述用户进行监控。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如第一方面所述的方法中的步骤的指令。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例,具有如下有益效果:
可以看出,在本申请实施例中,当监控到用户进入监控区域后,控制图像采集装置在第一时长内采用第一抓拍频率对用户进行抓拍,得到N帧第一图像,通过该N帧第一图像识别出该用户在该监控区域徘徊时,控制该图像采集装置在预设时间段内采用第二抓拍频率进行抓拍,得到M帧第二图像;由于第二抓拍频率小于第一抓拍频率,从而在预设时间段抓拍到的图像数量较少,也就保证在用户徘徊时,不会抓拍到过多的冗余图像,进而提高监控效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供的一种监控系统的架构图;
图1B为本申请实施例提供的一种监控方法的流程示意图
图2为本申请实施例提供的另一种监控方法的流程示意图;
图3为本申请实施例提供的另一种监控方法的流程示意图;
图4为本申请实施例提供的一种监控装置的结构示意图;
图5为本申请实施例提供的一种监控装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参阅图1A,图1A为本申请实施例一种监控系统的系统架构图,该监控系统包括:监控装置10和图像采集装置20,其中:
图像采集装置20,用于对监控区域进行图像采集,并将采集到的图像上传给监控装置10;
监控装置10,用于对该图像进行识别,在检测到用户进入该监控区域时,控制图像采集装置20在第一时长内采用第一抓拍频率对该用户进行抓拍;
图像采集装置20,用于按照第一采样频率对该用户进行抓拍,并将抓拍到的N帧第一图像上传给监控装置10;
监控装置10,用于根据所述N帧第一图像对该用户的行为进行识别,在识别出该用户在所述监控区域徘徊时,控制图像采集装置20在预设时间段内采用第二抓拍频率对该用户进行抓拍,该预设时间段为从第一时长的结束时刻开始到该用户离开该监控区域时的时间段;其中,该第二抓拍频率小于该第一抓拍频率;
图像采集装置20,用于按照该第二抓拍频率对该用户进行抓拍,并将抓拍到的M帧第二图像上传给监控装置10;
监控装置10,用于根据该M帧第二图像对该用户进行监控。
参阅图1B,图1B为本申请实施例提供的一种监控方法的流程示意图。该方法应用于监控装置,该方法包括但不限于如下步骤:
101:在检测到用户进入监控区域时,监控装置控制图像采集装置在第一时长内采用第一抓拍频率对所述用户进行抓拍,得到N帧第一图像。
其中,该第一时长是根据历史监控数据确定出来的。该历史监控数据是对存在徘徊行为的用户进行抓拍得到的图像。然后,通过该第一时长内抓拍到的图像,即可识别出该用户在该监控区域内是否有徘徊行为,N为大于1的整数。
该第一抓拍频率为该监控装置正常工作下的抓拍频率。
102:监控装置根据所述N帧第一图像对所述用户的行为进行识别,在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像。
其中,该预设时间段可以为从第一时长的结束时刻开始到该用户离开该监控区域整个过程所对应的时间段。即在第一时长结束后,用户在该监控区域在该监控区域内的时间段。
其中,该第一抓拍频率小于第二抓拍频率。
在实际应用中,可设置第二抓拍频率远小于第一抓拍频率,即以最大的可能减少在预设时间段内抓拍到的冗余图像的数量。甚至在未来时间内可以仅抓拍该用户离开该监控区域时的第二图像。
可选的,对该N帧第一图像中的每帧第一图像进行识别,得到该用户在每帧第一图像中的行进方向;将该用户行进方向一致,且相邻的第一图像组成第一图像集合;然后,根据每个第一图像集中的第一图像的数量以及该第一抓拍频率确定该每个第一图像对应的行进时长;最后,获取任意两个相邻的第一图像集的行进时长的差值,得到多个第一差值,确定该多个第一差值中小于第一阈值的第一数量;在该第一数量相对于该多个第一差值的数量的占比大于第二阈值的情况下,确定该用户在该监控区域徘徊。
举例来说,如N=120,前40帧第一图像的行驶方向为第一方向、中间40帧第一图像的行驶方向为第二方向、后40帧第一图像的行驶方向为第一方向,将前40帧第一图像组成为第一个第一图像集,中间40帧第一图像组成为第二个第一图像集,后40帧第一图像组成为第三个第一图像集。如抓拍频率为20FPS,则抓拍时间间隔为1/20s,则该三个第一图像集对应的行驶时长为(40*1/20=2S)。
可选的,监控装置根对所述用户的行为进行识别还可以通过如下方式实现:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
提取每个第一图像集中每帧第一图像的特征,得到每帧第一图像的特征图;
将第一图像集A中的第一图像a的特征图与第一图像集B中的第一图像b的特征图进行匹配,得到多个第一匹配值,确定所述多个第一匹配值的第一均值,得到与所述第一图像集A以及所述第一图像集B对应的匹配值,所述第一图像集A与所述第一图像集B为所述多个第一图像集中任意两个相邻的第一图像集,所述第一图像a为所述第一图像集A中任意一帧第一图像,所述第一图像b为所述第一图像集B中与所述第一图像a对应的第一图像;
确定所述多个第一图像集中所有相邻的第一图像集的匹配值的第二均值,在所述第二均值大于第三阈值时,确定所述用户在所述监控区域徘徊。
具体来说,用户在该监控区域徘徊,会来回行驶一些位置,故相邻的两个第一图像集中存在对应的两个第一图像,该第一图像可由对应的抓拍时间确定。举例来说,相邻的两个第一图像集中,抓拍时间处于靠前的第一图像集中最先抓拍到的第一图像,与抓拍时间靠后的第一图像集中最晚抓拍到的第一图像属于两个对应的第一图像;将该两个第一图像的特征图进行匹配,得到该两个第一图像的匹配值;由于该两个第一图像集中存在多个对应的第一图像,故可以得到多个匹配值,将该多个匹配值的第一均值作为该两个第一图像集的匹配值。同样,由于存在多个第一图像集,故存在多个相邻的第一图像集,可得到多个匹配值,确定该多个匹配值的第二均值,在该第二均值大于第三阈值的情况下,确定该用户在该监控区域徘徊。
举例来说,如N=120,且前40帧的行驶方向为第一方向、中间40帧的行驶方向为第二方向、后40帧的行驶方向为第一方向,则将前40帧第一图像组成为第一个第一图像集,中间40帧第一图像组成为第二个第一图像集,后40帧第一图像组成为第三个第一图像集。在将第一个第一图像集与第二个第一图像集进行匹配时,则是将第一个第一图像集中第1帧第一图像的特征图,与第二图像集中的第40帧第一图像的特征图进行匹配,得到匹配值。依次类推,在一一匹配后,得到四十个匹配,将该四十个匹配值的第一均值作为第一个第一图像集与第二个第一图像集的匹配值;同样,计算第二个第一图像集与第三个第一图像集的匹配值;然后,将两个匹配值的第二平均值作为最终的匹配值,在该最终的匹配值大于该第三阈值的情况下,确定该用户在该监控区域徘徊。
可选的,确定用户是否在该监控区域徘徊,还可以通过如下方式:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
根据第一图像集A中的第一图像a确定所述用户在所述监控区域的位置,根据第一图像a所对应的位置以及第一图像b所对应的位置确定在抓拍所述第一图像a和第一图像b时所述用户的相对行驶距离,所述第一图像集为所述多个第一图像集中的任意一个第一图像集,所述第一图像a以及所述第一图像b为所述第一图像集A中任意两个相邻的第一图像;
根据所述第一抓拍频率以及所述相对行驶距离,确定抓拍抓拍所述第一图像a和第一图像b时所述用户的行驶速度;
获取所述第一图像集A中任意相邻两帧对应的行驶速度的均值,得到与所述第一图像集A对应的行驶速度;
获取所述第一图像集A与第一图像集B对应的行驶速度的速度差,得到多个速度差,所述第一图像集A与所述第一图像集B为所述多个第一图像中任意两个相邻的第一图像集;
获取所述多个速度差的相似度,在该相似度大于第四阈值的情况下,确定所述用户在所述监控区域徘徊,该相似度可以为该多个速度差的方差或标准差;
103:根据所述M帧第二图像对所述用户进行监控。
根据该M帧第二图像对该用户在该监控区域的运动轨迹进行识别,以对该用户进行监控。
可以看出,在本申请实施例中,当监控到用户进入监控区域后,控制图像采集装置在第一时长内采用第一抓拍频率对用户进行抓拍,得到N帧第一图像,通过该N帧第一图像识别出该用户在该监控区域徘徊时,控制该图像采集装置在预设时间段内采用第二抓拍频率进行抓拍,得到M帧第二图像;由于第二抓拍频率远小于第一抓拍频率,从而在预设时间段抓拍到的图像数量较少,在用户徘徊时,不会抓拍到过多的冗余图像,进而提高监控效率。
在一种可能的实施方式中,该第一时长是通过机器学习算法确定出来的。
下面提供一种确定第一时长的详细过程。
获取每个目标用户在监控区域徘徊时的W帧第三图像,所述W帧第三图像是每个用户在所述监控区域徘徊时,所述图像采集装置采用所述第一抓拍频率对每个目标用户进行抓拍得到的,其中,该目标用户相当于训练数据,即获取每个目标用户在该监控区域徘徊时的真值图像,其中,对于不同的目标用户来说,在监控区域徘徊时所对应的真值图像的数量可以相同,也可以不同,本申请对此不做限定;
确定每个目标用户的W帧第三图像中的P帧目标第三图像,即按照抓拍的先后顺序依次从每个目标用户的W帧第三图像中选出多帧第三图像,根据该多帧第三图像对每个目标用户的行为进行识别,如在选出P帧第三图像时,识别出该目标用户在该监控区域徘徊,则将该P帧第三图像作为P帧目标第三图像;
根据所述第一抓拍频率以及所述P帧目标第三图像确定每个目标用户的目标时长,也就是说,在该目标时长抓拍到的图像就可以判定出该目标用户在该监控区域徘徊;
进一步地,根据多个目标用户的目标时长确定所述第一时长。
可选的,该第一时长可以通过如下公式表示:
Figure BDA0002351691360000081
其中,
Figure BDA0002351691360000082
第一时长,x1至xn为n个目标用户的目标时长;
可选的,该第一时长可以通过如下公式表示:
Figure BDA0002351691360000083
其中,σ1为方差,x1至xn为n个目标用户的目标时长,
Figure BDA0002351691360000084
为n个目标用户的目标时长的平均值;
Figure BDA0002351691360000085
其中,p为置信区间的下限,q为置信区间的上限,
Figure BDA0002351691360000086
为平均值,t为大于零的自然数,σ1为方差。
这里,可以令第一时长等于置信区间的上限或者置信区间的下限。
在一种可能的实施方式中,该监控方法还包括:
当该监控区域为安防领域(例如,银行的ATM取款机)时,用户在监控区域内徘徊,在一定程度上存不法行为。因此,从该N帧第一图像和/或所述M帧第二图像筛选出任意一帧目标图像,该目标图像为包含有该用户正脸的图像,并基于该目标图像进行人脸识别,在识别出该用户为嫌疑人员的情况下,对目标第一图像进行识别,得到所述用户进入所述监控区域所携带物品的第一数量,该目标第一图像为所述N帧第一图像中最先抓拍到的第一图像,即该用户进入该监控区域时所抓拍到的图像,其中,对物品进行识别可以通过目标检测算法进行识别,即识别出该第一图像中目标的数量,将该目标的数量作为用户进入该监控区域所携带物品的第一数量;对该目标第二图像进行识别,得到该用户离开所述监控区域时所携带物品的第二数量,该目标第二图像为该M帧第二图像中最晚抓拍到的第二图像;在所述第一数量与所述第二数量不一致的情况下,进行预警提示,以提示工作人员进行危险物排查。
对于不法人员来说,可能会在监控区域留下危险物品,故通过图像识别,在第一数量与第二数量不一致的情况下,说明该用户在该监控区域遗留了物品或者行窃了物品,从而进行预警提示,进而提高监控的安全度。
在一种可能的实施方式中,在识别出该用户为嫌疑人员时,该监控方法还包括:
根据所述N帧第一图像确定所述用户的相对行驶速度;
生成包围所述用户的目标框,并控制所述目标框按照所述相对行驶速度进行移动,以获取所述用户的移动轨迹;
根据所述移动轨迹对所述用户进行监控。
在本示例中,生成目标框对用户进行监控,实现针对性监控。
参阅图2,图2为本申请实施例提供的另一种监控方法的流程示意图。该方法应用于监控装置,该方法包括但不限于如下步骤:
201:监控装置获取每个目标用户的W帧第三图像。
该W帧第三图像是每个用户在所述监控区域徘徊时,控制所述图像采集装置采用第一抓拍频率对每个目标用户进行抓拍得到的。
202:监控装置确定每个目标用户的W帧第三图像中的P帧目标第三图像。
203:监控装置根据所述第一抓拍频率以及所述P帧目标第三图像确定每个目标用户的目标时长。
204:监控装置根据多个目标用户的目标时长确定所述第一时长。
205:在检测到用户进入监控区域时,监控装置控制图像采集装置在所述第一时长内采用所述第一抓拍频率对所述用户进行抓拍,得到N帧第一图像。
206:监控装置根据所述N帧第一图像对所述用户的行为进行识别,在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像。
207:监控装置根据所述M帧第二图像对所述用户进行监控。
需要说明的是,图2所示的方法的各个步骤的具体实现过程可参见上述图1B所述方法的具体实现过程,在此不再叙述。
可以看出,在本申请实施例中,当监控到用户进入监控区域后,控制图像采集装置在第一时长内采用第一抓拍频率对用户进行抓拍,得到N帧第一图像,通过该N帧第一图像识别出该用户在该监控区域徘徊时,控制该图像采集装置在预设时间段内采用第二抓拍频率进行抓拍,得到M帧第二图像;由于第二抓拍频率远小于第一抓拍频率,从而在预设时间段抓拍到的图像数量较少,在用户徘徊时,不会抓拍到过多的冗余图像,进而提高监控效率;而且,该第一时间段是使用对大量目标用户进行抓拍的图像而确定出来的,故通过该第一时间段的N帧第一图像可以精确的识别出该用户是否在监控区域徘徊,进而提高监控精度。
参阅图3,图3为本申请实施例提供的另一种监控方法的流程示意图。该方法应用于监控装置,该方法包括但不限于如下步骤:
301:监控装置获取每个目标用户的W帧第三图像。
该W帧第三图像是每个用户在所述监控区域徘徊时,控制所述图像采集装置采用第一抓拍频率对每个目标用户进行抓拍得到的。
302:监控装置确定每个目标用户的W帧第三图像中的P帧目标第三图像。
303:监控装置根据所述第一抓拍频率以及所述P帧目标第三图像确定每个目标用户的目标时长。
304:监控装置根据多个目标用户的目标时长确定所述第一时长。
305:在检测到用户进入监控区域时,监控装置控制图像采集装置在所述第一时长内采用所述第一抓拍频率对所述用户进行抓拍,得到N帧第一图像。
306:监控装置对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向。
307:监控装置按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集。
308:监控装置根据所述第一抓拍频率以及每个第一图像集中第一图像的数量确定每个第一图像集对应的行进时长。
309:监控装置获取所述多个第一图像集中任意两个相邻的第一图像集的行进时长的差值,得到多个第一差值。
310:监控装置确定所述多个第一差值中小于第一阈值的第一数量,在所述第一数量相对于所述多个第一差值的数量的占比大于第二阈值的情况下,确定所述用户在所述监控区域徘徊。
311:监控装置控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像。
312:监控装置根据所述M帧第二图像对所述用户进行监控。
需要说明的是,图3所示的方法的各个步骤的具体实现过程可参见上述图1所述方法的具体实现过程,在此不再叙述。
可以看出,在本申请实施例中,当监控到用户进入监控区域后,控制图像采集装置在第一时长内采用第一抓拍频率对用户进行抓拍,得到N帧第一图像,通过该N帧第一图像识别出该用户在该监控区域徘徊时,控制该图像采集装置在预设时间段内采用第二抓拍频率进行抓拍,得到M帧第二图像;由于第二抓拍频率远小于第一抓拍频率,从而在预设时间段抓拍到的图像数量较少,在用户徘徊时,不会抓拍到过多的冗余图像,进而提高监控效率;而且,该第一时间段是使用对大量目标用户进行抓拍的图像而确定出来的,故通过该第一时间段的N帧第一图像可以精确的识别出该用户是否在监控区域徘徊,进而提高监控精度。
参阅图4,图4为本申请实施例提供的一种监控装置的结构示意图。如图4所示,监控装置400包括处理器、存储器、通信接口以及一个或多个程序,其中,且上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
在检测到用户进入监控区域时,控制图像采集装置在第一时长内采用第一抓拍频率对所述用户进行抓拍,得到N帧第一图像,所述N为大于1的整数;
根据所述N帧第一图像对所述用户的行为进行识别,在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像,所述第二抓拍频率小于所述第一抓拍频率,所述M为大于等于1的整数;
根据所述M帧第二图像对所述用户进行监控。
在一种可能的实施方式中,在根据所述N帧第一图像对所述用户的行为进行识别方面,上述程序具体用于执行以下步骤的指令:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
根据所述第一抓拍频率以及每个第一图像集中第一图像的数量确定每个第一图像集对应的行进时长;
获取所述多个第一图像集中任意两个相邻的第一图像集的行进时长的差值,得到多个第一差值;
确定所述多个第一差值中小于第一阈值的第一数量;
在所述第一数量相对于所述多个第一差值的数量的占比大于第二阈值的情况下,确定所述用户在所述监控区域徘徊。
在一种可能的实施方式中,在据所述N帧第一图像对所述用户的行为进行识别方面,上述程序具体用于执行以下步骤的指令:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
提取每个第一图像集中每帧第一图像的特征,得到每帧第一图像的特征图;
将第一图像集A中的第一图像a的特征图与第一图像集B中的第一图像b的特征图进行匹配,得到多个第一匹配值,确定所述多个第一匹配值的第一均值,得到与所述第一图像集A以及所述第一图像集B对应的匹配值,所述第一图像集A与所述第一图像集B为所述多个第一图像集中任意两个相邻的第一图像集,所述第一图像a为所述第一图像集A中任意一帧第一图像,所述第一图像b为所述第一图像集B中与所述第一图像a对应的第一图像;
确定所述多个第一图像集中所有相邻的第一图像集的匹配值的第二均值,在所述第二均值大于第三阈值时,确定所述用户在所述监控区域徘徊。
在一种可能的实施方式中,上述程序还用于执行以下步骤的指令:
获取每个目标用户的W帧第三图像,所述W帧第三图像是每个用户在所述监控区域徘徊时,控制所述图像采集装置采用所述第一抓拍频率对每个目标用户进行抓拍得到的;
确定每个目标用户的W帧第三图像中的P帧目标第三图像,P≤M;
根据所述第一抓拍频率以及所述P帧目标第三图像确定每个目标用户的目标时长;
根据多个目标用户的目标时长确定所述第一时长。
在一种可能的实施方式中,在确定每个目标用户的W帧第三图像中的P帧目标第三图像方面,上述程序具体用于执行以下步骤的指令:
按照抓拍的先后顺序依次从每个目标用户的W帧第三图像中选出多帧第三图像,根据所述多帧第三图像对每个目标用户的行为进行识别;
在选出P帧第三图像,且根据所述P帧第三图像识别出每个目标用户在所述监控区域徘徊时,得到每个目标用户的W帧第三图像中的P帧目标第三图像,所述P为大于等于2的整数。
在一种可能的实施方式中,上述程序还用于执行以下步骤的指令:
使用任意一帧图像进行人脸识别,所述任意一帧图像为所述N帧第一图像和/或所述M帧第二图像中包含有正脸的任意一帧图像
在识别出所述用户为嫌疑人员的情况下,对目标第一图像进行识别,得到所述用户进入所述监控区域时所携带物品的第一数量,所述目标第一图像为所述N帧第一图像中最先抓拍的第一图像;
对所述目标第二图像进行识别,得到所述用户离开所述监控区域时所携带物品的第二数量,所述目标第二图像为所述M帧第二图像中最晚抓拍的第二图像;
在所述第一数量与所述第二数量不一致的情况下,进行预警提示。
参阅图5,图5本申请实施例提供的一种监控装置的功能单元组成框图。监控装置500包括:抓拍单元510、识别单元520和监控单元530,其中:
抓拍单元510,用于在检测到用户进入监控区域时,控制图像采集装置在第一时长内采用第一抓拍频率对所述用户进行抓拍,得到N帧第一图像,所述N为大于1的整数;
识别单元520,用于根据所述N帧第一图像对所述用户的行为进行识别;
抓拍单元520,还用于在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像,所述第二抓拍频率小于所述第一抓拍频率,所述M为大于等于1的整数;
监控单元530,用于根据所述M帧第二图像对所述用户进行监控。
在一种可能的实施方式中,在根据所述N帧第一图像对所述用户的行为进行识别方面,识别单元520,具体用于:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
根据所述第一抓拍频率以及每个第一图像集中第一图像的数量确定每个第一图像集对应的行进时长;
获取所述多个第一图像集中任意两个相邻的第一图像集的行进时长的差值,得到多个第一差值;
确定所述多个第一差值中小于第一阈值的第一数量;
在所述第一数量相对于所述多个第一差值的数量的占比大于第二阈值的情况下,确定所述用户在所述监控区域徘徊。
在一种可能的实施方式中,在根据所述N帧第一图像对所述用户的行为进行识别方面,识别单元520,具体用于:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
提取每个第一图像集中每帧第一图像的特征,得到每帧第一图像的特征图;
将第一图像集A中的第一图像a的特征图与第一图像集B中的第一图像b的特征图进行匹配,得到多个第一匹配值,确定所述多个第一匹配值的第一均值,得到与所述第一图像集A以及所述第一图像集B对应的匹配值,所述第一图像集A与所述第一图像集B为所述多个第一图像集中任意两个相邻的第一图像集,所述第一图像a为所述第一图像集A中任意一帧第一图像,所述第一图像b为所述第一图像集B中与所述第一图像a对应的第一图像;
确定所述多个第一图像集中所有相邻的第一图像集的匹配值的第二均值,在所述第二均值大于第三阈值时,确定所述用户在所述监控区域徘徊。
在一种可能的实施方式中,监控装置500还包括确定单元540;
确定单元540,用于:
获取每个目标用户的W帧第三图像,所述W帧第三图像是每个用户在所述监控区域徘徊时,控制所述图像采集装置采用所述第一抓拍频率对每个目标用户进行抓拍得到的;
确定每个目标用户的W帧第三图像中的P帧目标第三图像,P≤M;
根据所述第一抓拍频率以及所述P帧目标第三图像确定每个目标用户的目标时长;
根据多个目标用户的目标时长确定所述第一时长。
在一种可能的实施方式中,在确定每个目标用户的W帧第三图像中的P帧目标第三图像方面,确定单元540,具体用于:
按照抓拍的先后顺序依次从每个目标用户的W帧第三图像中选出多帧第三图像,根据所述多帧第三图像对每个目标用户的行为进行识别;
在选出P帧第三图像,且根据所述P帧第三图像识别出每个目标用户在所述监控区域徘徊时,得到每个目标用户的W帧第三图像中的P帧目标第三图像,所述P为大于等于2的整数。
在一种可能的实施方式中,监控装置500还包括预警单元550;
预警单元550,用于:
使用任意一帧图像进行人脸识别,所述任意一帧图像为所述N帧第一图像和/或所述M帧第二图像中包含有正脸的任意一帧图像
在识别出所述用户为嫌疑人员的情况下,对目标第一图像进行识别,得到所述用户进入所述监控区域时所携带物品的第一数量,所述目标第一图像为所述N帧第一图像中最先抓拍的第一图像;
对所述目标第二图像进行识别,得到所述用户离开所述监控区域时所携带物品的第二数量,所述目标第二图像为所述M帧第二图像中最晚抓拍的第二图像;
在所述第一数量与所述第二数量不一致的情况下,进行预警提示。
本申请实施例还提供一种计算机存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种监控方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种监控方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种监控方法,其特征在于,包括:
在检测到用户进入监控区域时,控制图像采集装置在第一时长内采用第一抓拍频率对所述用户进行抓拍,得到N帧第一图像,所述N为大于1的整数;
根据所述N帧第一图像对所述用户的行为进行识别,在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像,所述第二抓拍频率小于所述第一抓拍频率,所述M为大于等于1的整数;
根据所述M帧第二图像对所述用户进行监控。
2.根据权利要求1所述的方法,其特征在于,所述根据所述N帧第一图像对所述用户的行为进行识别,包括:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
根据所述第一抓拍频率以及每个第一图像集中第一图像的数量确定每个第一图像集对应的行进时长;
获取所述多个第一图像集中任意两个相邻的第一图像集的行进时长的差值,得到多个第一差值;
确定所述多个第一差值中小于第一阈值的第一数量;
在所述第一数量相对于所述多个第一差值的数量的占比大于第二阈值的情况下,确定所述用户在所述监控区域徘徊。
3.根据权利要求1所述的方法,其特征在于,所述根据所述N帧第一图像对所述用户的行为进行识别,包括:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
提取每个第一图像集中每帧第一图像的特征,得到每帧第一图像的特征图;
将第一图像集A中的第一图像a的特征图与第一图像集B中的第一图像b的特征图进行匹配,得到多个第一匹配值,所述第一图像集A与所述第一图像集B为所述多个第一图像集中任意两个相邻的第一图像集,所述第一图像a为所述第一图像集A中任意一帧第一图像,所述第一图像b为所述第一图像集B中与所述第一图像a对应的第一图像;
确定所述多个第一匹配值的第一均值,得到与所述第一图像集A以及所述第一图像集B对应的匹配值;
确定所述多个第一图像集中所有相邻的第一图像集的匹配值的第二均值,在所述第二均值大于第三阈值时,确定所述用户在所述监控区域徘徊。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
获取每个目标用户的W帧第三图像,所述W帧第三图像是每个用户在所述监控区域徘徊时,控制所述图像采集装置采用所述第一抓拍频率对每个目标用户进行抓拍得到的;
确定每个目标用户的W帧第三图像中的P帧目标第三图像,P≤M;
根据所述第一抓拍频率以及所述P帧目标第三图像确定每个目标用户的目标时长;
根据多个目标用户的目标时长确定所述第一时长。
5.根据权利要求4所述的方法,其特征在于,所述确定每个目标用户的W帧第三图像中的P帧目标第三图像,包括:
按照抓拍的先后顺序依次从每个目标用户的W帧第三图像中选出多帧第三图像,根据所述多帧第三图像对每个目标用户的行为进行识别;
在选出P帧第三图像,且根据所述P帧第三图像识别出每个目标用户在所述监控区域徘徊时,得到每个目标用户的W帧第三图像中的P帧目标第三图像,所述P为大于等于2的整数。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述方法还包括:
使用任意一帧图像进行人脸识别,所述任意一帧图像为所述N帧第一图像和/或所述M帧第二图像中包含有正脸的任意一帧图像
在识别出所述用户为嫌疑人员的情况下,对目标第一图像进行识别,得到所述用户进入所述监控区域时所携带物品的第一数量,所述目标第一图像为所述N帧第一图像中最先抓拍的第一图像;
对所述目标第二图像进行识别,得到所述用户离开所述监控区域时所携带物品的第二数量,所述目标第二图像为所述M帧第二图像中最晚抓拍的第二图像;
在所述第一数量与所述第二数量不一致的情况下,进行预警提示。
7.一种监控装置,其特征在于,包括:
抓拍单元,用于在检测到用户进入监控区域时,控制图像采集装置在第一时长内采用第一抓拍频率对所述用户进行抓拍,得到N帧第一图像,所述N为大于1的整数;
识别单元,用于根据所述N帧第一图像对所述用户的行为进行识别;
所述抓拍单元,还用于在识别出所述用户在所述监控区域徘徊时,控制所述图像采集装置在预设时间段内采用第二抓拍频率对所述用户进行抓拍,得到M帧第二图像,所述第二抓拍频率小于所述第一抓拍频率,所述M为大于等于1的整数;
监控单元,用于根据所述M帧第二图像对所述用户进行监控。
8.根据权利要求7所述的装置,其特征在于,在根据所述N帧第一图像对所述用户的行为进行识别方面,所述识别单元,具体用于:
对所述N帧第一图像中的每帧第一图像进行识别,得到所述用户在每帧第一图像中的行进方向;
按照抓拍的先后顺序将所述N帧第一图像中所述用户的行进方向一致,且相邻的第一图像组成第一图像集,得到多个第一图像集;
根据所述第一抓拍频率以及每个第一图像集中第一图像的数量确定每个第一图像集对应的行进时长;
获取所述多个第一图像集中任意两个相邻的第一图像集的行进时长的差值,得到多个第一差值;
确定所述多个第一差值中小于第一阈值的第一数量;
在所述第一数量相对于所述多个第一差值的数量的占比大于第二阈值的情况下,确定所述用户在所述监控区域徘徊。
9.一种电子设备,其特征在于,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行权利要求1-6任一项方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的方法。
CN201911418124.0A 2019-12-31 2019-12-31 监控方法及相关产品 Active CN113128288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911418124.0A CN113128288B (zh) 2019-12-31 2019-12-31 监控方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911418124.0A CN113128288B (zh) 2019-12-31 2019-12-31 监控方法及相关产品

Publications (2)

Publication Number Publication Date
CN113128288A true CN113128288A (zh) 2021-07-16
CN113128288B CN113128288B (zh) 2024-06-11

Family

ID=76770683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911418124.0A Active CN113128288B (zh) 2019-12-31 2019-12-31 监控方法及相关产品

Country Status (1)

Country Link
CN (1) CN113128288B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304176A (zh) * 2023-05-19 2023-06-23 江苏苏宁银行股份有限公司 基于实时数据中台的处理方法及处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128053A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别人员逗留徘徊报警方法和装置
WO2019011073A1 (zh) * 2017-07-11 2019-01-17 Oppo广东移动通信有限公司 人脸活体检测方法及相关产品
CN109766779A (zh) * 2018-12-20 2019-05-17 深圳云天励飞技术有限公司 徘徊人员识别方法及相关产品
CN109871775A (zh) * 2019-01-22 2019-06-11 北京影谱科技股份有限公司 一种基于行为检测的滑冰场监控方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128053A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别人员逗留徘徊报警方法和装置
WO2019011073A1 (zh) * 2017-07-11 2019-01-17 Oppo广东移动通信有限公司 人脸活体检测方法及相关产品
CN109766779A (zh) * 2018-12-20 2019-05-17 深圳云天励飞技术有限公司 徘徊人员识别方法及相关产品
CN109871775A (zh) * 2019-01-22 2019-06-11 北京影谱科技股份有限公司 一种基于行为检测的滑冰场监控方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾志松;沈春锋;姚文韬;董文生;: "高清人像抓拍检索系统的设计与实现", 控制工程, no. 1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304176A (zh) * 2023-05-19 2023-06-23 江苏苏宁银行股份有限公司 基于实时数据中台的处理方法及处理系统
CN116304176B (zh) * 2023-05-19 2023-08-22 江苏苏宁银行股份有限公司 基于实时数据中台的处理方法及处理系统

Also Published As

Publication number Publication date
CN113128288B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN111325089B (zh) 跟踪对象的方法和设备
US11010905B2 (en) Efficient object detection and tracking
CN108229321B (zh) 人脸识别模型及其训练方法和装置、设备、程序和介质
CN111311635A (zh) 一种目标定位方法、装置及系统
CN109241829B (zh) 基于时空注意卷积神经网络的行为识别方法及装置
CN109190601A (zh) 一种监控场景下目标对象识别方法及装置
CN110276309B (zh) 视频处理方法、装置、计算机设备及存储介质
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
Pujol et al. A soft computing approach to violence detection in social media for smart cities
CN111063083B (zh) 门禁控制方法、装置、计算机可读存储介质和计算机设备
CN108021846A (zh) 一种人脸识别方法和装置
CN102750709A (zh) 利用视频检测打架行为的方法和装置
CN108596157B (zh) 一种基于运动检测的人群惊扰场景检测方法及系统
CN110599129A (zh) 一种基于图像追踪校园考勤方法、装置、识别终端及系统
CN111091025B (zh) 图像处理方法、装置和设备
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
CN104794446A (zh) 基于合成描述子的人体动作识别方法及系统
CN110175553A (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN113128288A (zh) 监控方法及相关产品
CN114764895A (zh) 异常行为检测装置和方法
Baba et al. Stray dogs behavior detection in urban area video surveillance streams
CN112749605A (zh) 身份识别方法、系统和设备
CN107025433B (zh) 视频事件类人概念学习方法及装置
CN109472195A (zh) 识别对象的方法、装置和系统
CN114613010A (zh) 检测模型的训练方法及装置、吸烟行为的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant