CN111209778B - 一种物体运动识别方法、装置和系统 - Google Patents

一种物体运动识别方法、装置和系统 Download PDF

Info

Publication number
CN111209778B
CN111209778B CN201811393430.9A CN201811393430A CN111209778B CN 111209778 B CN111209778 B CN 111209778B CN 201811393430 A CN201811393430 A CN 201811393430A CN 111209778 B CN111209778 B CN 111209778B
Authority
CN
China
Prior art keywords
human body
window
detection
value
railing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811393430.9A
Other languages
English (en)
Other versions
CN111209778A (zh
Inventor
宋炳辉
王大朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201811393430.9A priority Critical patent/CN111209778B/zh
Publication of CN111209778A publication Critical patent/CN111209778A/zh
Application granted granted Critical
Publication of CN111209778B publication Critical patent/CN111209778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)

Abstract

本发明实施例提出一种物体运动识别方法、装置和系统,涉及物体运动识别领域。判断检测区域中的目标物为人体或物体,当目标物为人体时,检测人体的运动行为以获得运动行为的危险值,当危险值超过安全阈值时,输出第一预警信息,当目标物为物体时,检测物体的当前运动轨迹,当当前运动轨迹满足预警条件时,输出第二预警信息。通过判断检测区域中的目标物为人体或物体,当目标物为人体时获取该人体运动行为的危险值并判断是否输出第一预警信息,当目标物为物体时依据物体的运动轨迹输出第二预警信息。依据目标物的运动行为或运动轨迹提前发出预警信息,故解决了在发生目标物坠楼事件之前没有提前的危险预警的问题。

Description

一种物体运动识别方法、装置和系统
技术领域
本发明涉及物体运动识别领域,具体而言,涉及一种物体运动识别方法、装置和系统。
背景技术
随着城市化进程的不断推进,高层建筑成了城市的标配,高层建筑虽然大幅提升了城市土地的使用率,加快了城市化进程,但同时也带来了问题,例如高空抛物、人的高空危险行为等。
目前应对上述问题主要采取在高层建筑周围安装监控摄像头,在高空抛物造成人身伤亡或重大财物损失的情况下,通过人工调取监控摄像头的视频录像来确定高空抛物的责任人,以及在发生跳楼或者意外坠楼事件后,才通过人工调取监控摄像头的视频录像来进行该事件的回溯,没有做到在发生高空抛物时预先生成相应的危险警示以及在发生跳楼或者意外坠楼事件之前生成相应的危险警示以做到提前预防。
发明内容
本发明实施例的目的在于提供一种物体运动识别方法、装置和系统,依据目标物的运动行为或运动轨迹提前发出预警信息,解决了在发生高空抛物、跳楼或意外坠楼事件之前没有提前作出危险预警的问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提出一种物体运动识别方法,所述方法包括:判断检测区域中的目标物为人体或物体;当所述目标物为人体时,检测所述人体的运动行为以获得所述运动行为的危险值;当所述危险值超过安全阈值时,输出第一预警信息;当所述目标物为物体时,检测所述物体的当前运动轨迹;当所述当前运动轨迹满足预警条件时,输出第二预警信息。
第二方面,本发明实施例还提出一种物体运动识别装置,所述装置包括:检测模块,用于当目标物为人体时,检测所述人体的运动行为以获得运动行为的危险值,以及用于当所述目标物为物体时,检测所述物体的当前运动轨迹;判断模块,用于判断检测区域中的目标物为人体或物体;预警信息生成模块,当危险值超过安全阈值时,用于输出第一预警信息,当所述当前运动轨迹满足预警条件时,用于输出第二预警信息。
第三方面,本发明实施例还提出一种物体运动识别系统,所述物体运动识别系统包括上述的物体运动识别装置以及监控平台。
本发明实施例所提供的物体运动识别方法、装置和系统,判断检测区域中的目标物为人体或物体,当所述目标物为人体时,检测所述人体的运动行为以获得所述运动行为的危险值,当所述危险值超过安全阈值时,输出第一预警信息,当所述目标物为物体时,检测所述物体的当前运动轨迹,当所述当前运动轨迹满足预警条件时,输出第二预警信息。通过判断检测区域中的目标物为人体或物体,当目标物为人体时获取该人体运动行为的危险值并判断是否输出第一预警信息,当目标物为物体时依据物体的运动轨迹输出第二预警信息,由于依据目标物的运动行为或运动轨迹提前发出预警信息,故解决了在发生高空抛物、跳楼或意外坠楼事件之前没有提前作出危险预警的问题。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人体员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种物体运动识别系统的示意图。
图2示出了本发明实施例所提供的一种前端相机的应用环境示意图。
图3示出了本发明实施例所提供的高楼画面中检测区域以及检测线划分的示意图。
图4示出了本发明实施例所提供的物体运动识别装置的结构框图。
图5示出了本发明实施例所提供的一种物体运动识别方法的流程示意图。
图6示出了本发明实施例所提供的另一种物体运动识别方法的流程示意图。
图7示出了本发明实施例所提供的判断人体运动行为危险性的流程示意图。
图8示出了本发明实施例所提供的物体在检测区域的运动情况的示意图。
图9示出了本发明实施例所提供的判断物体是否越过检测区域的流程示意图。
图10示出了本发明实施例所提供的判断物体是否越过检测线的流程示意图。
图11示出了本发明实施例所提供的物体运动识别装置的功能模块示意图。
图标:10-物体运动识别系统;100-物体运动识别装置;110-存储器;120-处理器;130-通信接口;140-摄像头;200-监控平台;300-物体运动识别装置;301-检测模块;302-判断模块;303-预警信息生成模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人体员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参照图1,为本发明实施例所提供的一种物体运动识别系统10的示意图。该物体运动识别系统10包括物体运动识别装置100和监控平台200,物体运动识别装置100与监控平台200通信连接。在本实施例中,物体运动识别装置100可以为前端相机,前端相机用于拍摄相应画面,判断画面的检测区域中的目标物为人体或物体,当目标物为人体时,检测人体的运动行为以获得该运动行为的危险值,当危险值超过安全阈值时向监控平台200输出第一预警信息,当目标物为物体时,检测物体的当前运动轨迹,当该当前运动轨迹满足预警条件时,向监控平台200输出第二预警信息。监控平台200用于接收前端相机发送的第一预警信息以及第二预警信息,并依据第一预警信息以及第二预警信息生成相应的告警提示,从而达到依据目标物的运动行为或运动轨迹提前发出预警的目的。
请参照图2,为本发明实施例所提供的一种前端相机的应用环境示意图。前端相机A和前端相机B安装在高楼楼顶或高楼所在地面的附近位置,例如,前端相机A安装于高楼1的地面附近,用于拍摄高楼1一侧的画面,前端相机B安装于高楼2的楼顶,用于拍摄高楼1的另一侧的画面,前端相机A和前端相机B均与一监控平台200通信连接,共同检测高楼A两侧的画面,从而达到对高楼A的完整检测的目的。在本实施例中,前端相机的个数可以是一个或多个,本发明对前端相机的个数不做限制,前端相机可以与一跟踪球机连接,控制跟踪球机跟踪目标物,该目标物包括人体以及物体。
在本实施例中,前端相机对拍摄到的画面进行检测区域以及检测线的划分,检测区域包括被检测的目标区域,检测线位于检测区域的下方,被检测的目标区域可以是窗口、阳台以及楼顶。如图3所示,假设该高楼的画面中,g1至g6为窗口,h1至h6为阳台,t为楼顶,上述的窗口、阳台以及楼顶作为被检测的目标区域,均需要进行检测区域以及检测线的划分以便前端相机能够正确检测到位于上述窗口、阳台以及楼顶中的目标物。检测区域以及检测线的划分的方式包括人工预先划分或是智能算法自动划分,本发明对此不做限制。
如图4所示,为本发明实施例所提供的前端相机的结构框图。前端相机可以包括存储器110、处理器120、通信接口130和摄像头140,该存储器110、处理器120、通信接口130和摄像头140,各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。物体运动识别装置300包括至少一个可以软件或固件(firmware)的形式存储于存储器110或固化在前端相机的操作系统(operating system,OS)中的软件功能模块。存储器110可用于存储软件程序及模块,如本发明实施例所提供的物体运动识别方法及装置对应的程序指令/模块,处理器120通过执行存储在存储器110内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口130可用于与监控平台200进行信令或数据的通信,该摄像头140用于拍摄相应画面,并可以将该画面发送至存储器110进行存储,还可以发送至处理器120进行检测,以及还可以通过通信接口130发送至监控平台200以供监控人员调取。
其中,存储器110可以是但不限于,随机存取存储器110(Random Access Memory,RAM),只读存储器110(Read Only Memory,ROM),可编程只读存储器110(ProgrammableRead-Only Memory,PROM),可擦除只读存储器110(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器110(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。
处理器120可能是一种集成电路芯片,具有信号处理能力。该处理器120可以是通用处理器120,包括中央处理器120(Central Processing Unit,CPU)、网络处理器120(Network Processor,NP)等;还可以是数字信号处理器120(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图4所示的结构仅为示意,前端相机还可包括比图4中所示更多或者更少的组件,或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
基于上述图1及图3所示的实施例,下面给出一种物体运动识别方法的可能的实现方式,请参照图5,为本发明实施例所提供的一种物体运动识别方法的流程示意图,该方法执行主体为前端相机,方法包括如下步骤:
步骤10,判断检测区域中的目标物为人体或物体。
步骤20,当目标物为人体时,检测人体的运动行为以获得运动行为的危险值。
步骤30,当危险值超过安全阈值时,输出第一预警信息。
步骤40,当目标物为物体时,检测物体的当前运动轨迹。
步骤50,当当前运动轨迹满足预警条件时,输出第二预警信息。
在本实施例中,前端相机用于拍摄相应画面,判断画面的检测区域中的目标物为人体或物体,当目标物为人体时,检测人体的运动行为以获得该运动行为的危险值,当危险值超过安全阈值时向监控平台200输出第一预警信息,当目标物为物体时,检测物体的当前运动轨迹,当该当前运动轨迹满足预警条件时,向监控平台200输出第二预警信息。监控平台200用于接受前端相机发送的第一预警信息以及第二预警信息,并依据第一预警信息以及第二预警信息生成相应的告警提示,从而达到依据目标物的运动行为或运动轨迹提前发出预警的目的。
在图5的基础上,,下面给出一种完整方案可能的实现方式,具体的,请参照图6,为本发明实施例所提供的另一种物体运动识别方法的流程示意图。需要说明的是,本发明实施例提供的物体运动识别方法并不以图6以及以下的具体顺序为限制,应当理解,在其它实施例中,本发明实施例提供的物体运动识别方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。该物体运动识别方法可应用于上述的物体运动识别系统10,下面将对图6所示的具体流程进行详细阐述。
步骤101,判断目标物是否从画面中的非检测区域进入。
在本实施例中,当前端相机在画面中检测到有目标物在运动时,判断目标物是否从画面中的非检测区域进入,当目标物是从画面中的非检测区域进入时,执行步骤107,当目标物不是从画面中的非检测区域进入时(即目标物在检测区域出现),执行步骤102。其中,画面中除检测区域以外的画面均为非检测区域,前端相机可以是高清摄像机、热成像摄像机等。
步骤102,判断检测区域中的目标物为人体或物体。
在本实施例中,当前端相机在检测区域检测到有目标物在运动时,对目标物进行检测以判断目标物为人体或物体。
步骤103,当目标物为人体时,检测人体的运动行为以获得运动行为的危险值。
在本实施例中,依据场景类型对人体的运动行为进行划分,场景类型包括窗口和/或栏杆。人体的运动行为包括窗口场景类型下的第一运动行为以及栏杆(栏杆安装于阳台、楼顶)场景类型下的第二运动行为,第一运动行为包括腿跨到窗口、坐到窗口、站到窗口以及身体超过第一阈值在窗口外侧,上述的腿跨到窗口、坐到窗口、站到窗口以及身体超过第一阈值在窗口外侧分别对应一权重值,第二运动行为包括腿跨到栏杆、坐到栏杆、站到栏杆以及身体超过第二阈值在栏杆外侧,上述的腿跨到栏杆、坐到栏杆、站到栏杆以及身体超过第二阈值在栏杆外侧分别对应一权重值,危险值为不小于1的整数。可以理解的是,本发明的场景类型可以依据具体的实施环境而设置,并不仅限于窗口和栏杆的场景类型,例如场景类型还可以为阳台、楼顶等。
在本实施例中,本步骤包括:判断人体处于的场景类型;当场景类型为窗口时,评估人体的第一运动行为;当场景类型为栏杆时,评估人体的第二运动行为。
其中,当第一运动行为符合腿跨到窗口、坐到窗口、站到窗口或者身体超过第一阈值在窗口外侧中的任意一项时,将初始权重值加上第一运动行为对应的权重值以得到最终权重值,并将最终权重值乘以危险系数以得到危险值;当场景类型为栏杆时,当第二运动行为符合腿跨到栏杆、坐到栏杆、站到栏杆或者身体超过第二阈值在栏杆外侧中的任意一项时,将初始权重值加上第二运动行为对应的权重值以得到最终权重值,并将最终权重值乘以危险系数以得到危险值。
在本实施例中,当人体在窗口的场景类型时,假设腿跨到窗口的权重值P1=1、坐到窗口的权重值P2=2、站到窗口的权重值P3=3、身体超过第一阈值在窗口外侧的权重值P4=4,危险系数β=3,初始权重值C1=0,危险阈值Z=10,人体的行为动作符合腿跨到窗口,则最终权重值C2=C1+P1=1,从而计算出危险值Z1=C2×β=3,然后将初始权重值设置为最终权重值,即此时的初始权重值C1由0设置为1,以便累计计算人体的第一运动行为的危险值。
当人体在栏杆的场景类型时,假设腿跨到栏杆的权重值Q1=1、坐到栏杆的权重值Q2=2、站到栏杆的权重值Q3=3、身体超过第二阈值在栏杆外侧的权重值Q4=4,危险系数β=2,初始权重值C1=2,危险阈值Z=10,人体的行为动作符合腿跨到栏杆,则最终权重值C2=C1+Q1=3,从而计算出危险值Z1=C2×β=6,然后将初始权重值设置为最终权重值,即此时的初始权重值C1由2设置为3,以便累计计算人体的第二运动行为的危险值。
步骤104,当危险值超过安全阈值时,输出第一预警信息。
在本实施例中,当危险值超过安全阈值时,前端相机生成第一预警信息并向监控平台200发送该第一预警信息以便监控人员依据该第一预警信息在监控平台200上调出对应的监控画面,进行人工风险确认,假如监控人员确认为误报,则取消告警,假如监控人员确认画面中的人存在危险行为,则通过电话、对讲机、短信、微信等方式通知相关人员(例如警方、物业安保人员)到现场进行处理。然后将危险系数加上一预设值,例如,假设预设值为1,危险系数为2,危险值为12,危险阈值为10,由于12>10,故危险系数为2+1=3。
在本实施例中,当累计预设时间段内未发生危险值超过危险阈值时,危险系数按照预设百分比减小,直到危险系数降至1。假设预设时间段为1个月,危险系数为5,预设百分比为50%,当累计在1个月内均未发生危险值超过危险阈值时,危险系数变为5×50%=2.5。
在本实施例中,如图7所示,对于图6中步骤103涉及的安全阈值,下面给出一种可能的实现方式,包括:
步骤201,判断人体的静止时间是否超过第一静止阈值。
在本实施例中,判断人体的静止时间是否超过第一静止阈值以确定人体是否存在继续进行危险行为的可能,当人体的静止时间超过第一静止阈值时,执行步骤202,当人体的静止时间未超过第一静止阈值时,执行步骤203。
步骤202,结束对运动行为的检测。
在本实施例中,当静止时间超过第一静止阈值时,则判断该人体不存在继续进行危险行为的可能,结束对该人体运动行为的检测,并将初始权重值设置为0。
步骤203,判断人体是否消失。
在本实施例中,当静止时间未超过第一静止阈值时,判断人体是否消失以确定人体是否存在继续进行危险行为的可能。
步骤204,结束对运动行为的检测。
在本实施例中,当人体消失时,判断该人体不存在继续进行危险行为的可能,结束对该人体运动行为的检测,并将初始权重值设置为0。
在本实施例中,当人体未消失时,再次执行步骤103。
步骤105,当目标物为物体时,检测物体的当前运动轨迹。
在本实施例中,当目标物为物体时,物体的运动轨迹包括五种情况。如图8所示,情况W1为物体在本区域内首次被检测到,并跨越了检测区域,但是尚未向下越过检测线,例如进行空调外机安装、窗口附近固定的附属物(如花盆等)在大风等情况下发生运动等,发生该情况时,前端相机及时向监控平台200上报相应的预警信息,监控平台200并可通过声光电的形式提醒底下的过往行人注意。情况W2为物体在检测区域内首次被检测到,并超出了矩形检测区域以及超过了检测线,例如高空抛物、窗口附近固定的附属物坠楼等,发生该情况时,及时向监控平台200上报相应的预警信息,监控平台200并可通过声光电的形式提醒底下的过往行人注意。情况W3为物体坠落过程中越过窗口,该情况不需前端相机上报相应的预警信息。情况W4为物体在检测区域内部移动,前端相机保持检测,但不做任何响应。情况W5为物体坠落过程中,坠入到检测区域,需要生成相应的预警信息并发送到监控平台200。
步骤106,当当前运动轨迹满足预警条件时,输出第二预警信息。
本步骤包括:当当前运动轨迹超出检测区域时,生成坠落预警信息;当当前运动轨迹超出检测线时,生成坠落信息。
其中,请参照图9,针对图6中的步骤106,对于如何生成坠落预警信息,给出一种可能的实现方式:
步骤301,判断物体是否在检测区域内消失。
在本实施例中,当物体在检测区域内消失时,执行步骤302以结束对当前运动轨迹的检测,当物体未在检测区域内消失时,执行步骤303。
步骤302,结束对当前运动轨迹的检测。
步骤303,判断物体的静止时间是否超过第二静止阈值。
在本实施例中,当静止时间超过第二静止阈值时,判断该物体没有危险性,执行步骤304以结束对当前运动轨迹的检测,当静止时间未超过第二静止阈值时判断物体具有危险性,继续执行步骤305。
步骤304,结束对当前运动轨迹的检测。
步骤305,判断当前运动轨迹是否超出检测区域。
在本实施例中,当前运动轨迹超出检测区域时,执行步骤306以生成坠落预警信息,当前运动轨迹未超出检测区域时,再次执行步骤301以继续检测该物体。
步骤306,生成坠落预警信息并将坠落预警信息发送至监控平台200以便监控平台200依据坠落预警信息生成相应的告警提示。
请参照图10,针对图6中的步骤106,对于如何生成坠落信息,给出一种可能的实现方式,包括:
步骤401,判断物体是否消失,当物体消失时,结束对当前运动轨迹的检测。
在本实施例中,当物体消失时,执行步骤402以结束对当前运动轨迹的检测,当物体未消失时,执行步骤403。
步骤402,结束对当前运动轨迹的检测。
步骤403,判断物体的静止时间是否超过第三静止阈值。
在本实施例中,当静止时间超过第三静止阈值时判断物体没有危险性,执行步骤404以结束对当前运动轨迹的检测,当静止时间未超过第三静止阈值时判断物体具有危险性,继续执行步骤405。
步骤404,结束对当前运动轨迹的检测。
步骤405,判断当前运动轨迹是否超出检测线。
在本实施例中,当前运动轨迹超出检测线时,执行步骤406以生成坠落信息,当前运动轨迹未超出检测线时,再次执行步骤401以继续检测当前运动轨迹。
步骤406,生成坠落信息并将坠落信息发送至监控平台200以便监控平台200依据坠落信息生成相应的告警提示,并继续检测物体的当前运动轨迹。
继续参照图6,步骤107,判断目标物是否在画面中消失。
在本实施例中,当目标物在画面中消失时,执行步骤108,当目标物未在画面中消失时,执行步骤109。
步骤108,继续检测目标物。
步骤109,判断目标物是否在其中一个检测区域消失。
在本实施例中,当目标物在其中一个检测区域消失,判断目标物落入该检测区域,执行步骤111以向监控平台200发送目标物落入信息。当目标物没有在其中任何一个检测区域消失时,执行步骤110以结束对目标物的检测。
步骤110,结束对目标物的检测。
步骤111,向监控平台200发送目标物落入信息并结束对目标物的检测。
请参照图11,为本发明实施例所提供的物体运动识别装置300的功能模块示意图。需要说明的是,本实施例所提供的物体运动识别装置300可以采用图4所示的前端相机的具体实现结构,也可以采用其他的实体设备结构,例如,将检测功能与判断功能、预警功能部署在系统的不同节点设备上实现,此处不予限定。其基本原理及产生的技术效果与前述方法实施例相同,为简要描述,本实施例中未提及部分,可参考前述方法实施例中的相应内容。物体运动识别装置300应用于上述的物体运动识别系统10,其包括检测模块301、判断模块302、预警信息生成模块303。
该检测模块301用于检测画面中的目标物,以及用于当目标物为人体时,检测人体的运动行为以获得运动行为的危险值。
可以理解的是,检测模块301可以执行上述步骤20、步骤40。
该判断模块302用于判断检测区域中的目标物为人体或物体。
可以理解的是,判断模块302可以执行上述步骤10。
该预警信息生成模块303用于当危险值超过安全阈值时,输出第一预警信息,还用于当当前运动轨迹满足预警条件时,输出第二预警信息。
可以理解的是,预警信息生成模块303可以执行上述步骤30、步骤50。
该判断模块302还用于当画面中检测到目标物时,判断目标物是否从画面中的非检测区域进入,还用于当目标物不是从画面中的非检测区域进入时,判断检测区域中的目标物为人体或物体,还用于当目标物是从画面中的非检测区域进入时,判断目标物是否在画面中消失。
可以理解的是,判断模块302可以执行上述步骤101、步骤102、步骤107。
该检测模块301用于当目标物为人体时,检测人体的运动行为以获得运动行为的危险值,还用于当目标物为物体时,检测物体的当前运动轨迹。
可以理解的是,检测模块301可以执行上述步骤103、步骤105。
该预警信息生成模块303用于当危险值超过安全阈值时,输出第一预警信息,还用于当当前运动轨迹满足预警条件时,输出第二预警信息。
可以理解的是,预警信息生成模块303可以执行上述步骤104、步骤106。
该判断模块302还用于当目标物从画面中的非检测区域进入时,判断目标物是否在画面中消失,以及用于当目标物在画面中消失时,判断目标物是否在其中一个检测区域消失。
可以理解的是,判断模块302可以执行上述步骤107、步骤109。
该检测模块301还用于当目标物未在画面中消失时,继续检测目标物,还用于当目标物未在其中任何一个检测区域消失时,结束对目标物的检测。
可以理解的是,检测模块301可以执行上述步骤108、步骤110。
该预警信息生成模块303还用于当目标物在其中一个检测区域消失时,向监控平台200发送目标物落入信息并结束对目标物的检测。
可以理解的是,预警信息生成模块303可以执行上述步骤111。
该判断模块302还用于判断人体的静止时间是否超过第一静止阈值,以及还用于当人体的静止时间未超过第一静止阈值时,判断人体是否消失。
可以理解的是,判断模块302可以执行上述步骤201、步骤203。
该检测模块301还用于当人体的静止时间超过第一静止阈值时,结束对运动行为的检测,还用于当人体消失时,结束对运动行为的检测。
可以理解的是,检测模块301可以执行上述步骤202、步骤204。
该判断模块302还用于判断物体是否在检测区域内消失,还用于当物体未在检测区域内消失时,判断物体的静止时间是否超过第二静止阈值,以及还用于当物体的静止时间未超过第二静止阈值时,判断当前运动轨迹是否超出检测区域。
可以理解的是,判断模块302可以执行上述步骤301、步骤303以及步骤305。
该检测模块301还用于当物体在检测区域内消失时,结束对当前运动轨迹的检测,还用于当物体的静止时间是否超过第二静止阈值时,结束对当前运动轨迹的检测。
可以理解的是,检测模块301可以执行上述步骤302、步骤304。
该预警信息生成模块303还用于当当前运动轨迹超出检测区域时,生成坠落预警信息并将坠落预警信息发送至监控平台200以便监控平台200依据坠落预警信息生成相应的告警提示。
可以理解的是,预警信息生成模块303可以执行上述步骤306。
该判断模块302还用于判断物体是否消失,还用于当物体未消失时,判断物体的静止时间是否超过第三静止阈值,以及还用于当物体的静止时间未超过第三静止阈值时,判断当前运动轨迹是否超出检测线。
可以理解的是,判断模块302可以执行上述步骤401、步骤403以及步骤405。
该检测模块301还用于当物体消失时,结束对当前运动轨迹的检测,还用于当物体的静止时间是否超过第三静止阈值时,结束对当前运动轨迹的检测。
可以理解的是,检测模块301可以执行上述步骤402、步骤404。
该预警信息生成模块303还用于当当前运动轨迹超出检测线时,生成坠落信息并发送至监控平台200以便监控平台200依据坠落信息生成相应的告警提示,并继续检测物体的当前运动轨迹。
可以理解的是,预警信息生成模块303可以执行上述步骤406。
综上所述,本发明实施例所提供的物体运动识别方法、装置和系统。判断检测区域中的目标物为人体或物体,当目标物为人体时,检测人体的运动行为以获得运动行为的危险值,当危险值超过安全阈值时,输出第一预警信息,当目标物为物体时,检测物体的当前运动轨迹,当当前运动轨迹满足预警条件时,输出第二预警信息。通过判断检测区域中的目标物为人体或物体,当目标物为人体时获取该人体运动行为的危险值并判断是否输出第一预警信息,当目标物为物体时依据物体的运动轨迹输出第二预警信息,由于依据目标物的运动行为或运动轨迹提前发出预警信息,故解决了在发生高空抛物、跳楼或意外坠楼事件之前没有提前的危险预警的问题。
本领域内的技术人体员应明白,本发明实施例可提供为方法、装置、设备或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人体计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的可选实施例而已,并不用于限制本发明,对于本领域的技术人体员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (8)

1.一种物体运动识别方法,其特征在于,所述方法包括:
判断检测区域中的目标物为人体或物体;
当所述目标物为人体时,检测所述人体的运动行为以获得所述运动行为的危险值;所述运动行为根据所述人体所处的场景类型确定,所述危险值为最终权重值与危险系数的乘积,其中,所述最终权重值为所述人体的运动行为对应的权重值与初始权重值的和;
所述检测所述人体的运动行为以获得所述运动行为的危险值的步骤包括:
判断所述人体处于的场景类型,其中,所述场景类型包括窗口和/或栏杆;
当所述场景类型为所述窗口时,评估所述人体的第一运动行为,其中所述第一运动行为包括腿跨到所述窗口、坐到所述窗口、站到所述窗口以及身体超过第一阈值在所述窗口外侧,所述腿跨到所述窗口、所述坐到所述窗口、所述站到所述窗口以及所述身体超过所述第一阈值在所述窗口外侧分别对应一权重值;
当所述场景类型为所述栏杆时,评估所述人体的第二运动行为,其中所述第二运动行为包括腿跨到所述栏杆、坐到所述栏杆、站到所述栏杆以及身体超过第二阈值在所述栏杆外侧,所述腿跨到所述栏杆、所述坐到所述栏杆、所述站到所述栏杆以及所述身体超过所述第二阈值在所述栏杆外侧分别对应一权重值;
所述评估所述人体的第一运动行为的步骤包括:
当所述第一运动行为符合所述腿跨到所述窗口、所述坐到所述窗口、所述站到所述窗口或者所述身体超过所述第一阈值在所述窗口外侧中的任意一项时,将初始权重值加上所述第一运动行为对应的所述权重值以得到最终权重值,并将所述最终权重值乘以危险系数以得到所述危险值,其中所述危险值为不小于1的整数;
所述评估所述人体的第二运动行为的步骤包括:
当所述第二运动行为符合所述腿跨到所述栏杆、所述坐到所述栏杆、所述站到所述栏杆或者所述身体超过所述第二阈值在所述栏杆外侧中的任意一项时,将初始权重值加上所述第二运动行为对应的所述权重值以得到最终权重值,并将所述最终权重值乘以危险系数以得到所述危险值,其中所述危险值为不小于1的整数;
当所述危险值超过安全阈值时,输出第一预警信息;
当所述目标物为物体时,检测所述物体的当前运动轨迹;
当所述当前运动轨迹满足预警条件时,输出第二预警信息。
2.如权利要求1所述的物体运动识别方法,其特征在于,所述检测所述人体的运动行为以获得所述运动行为的危险值的步骤之后,所述方法还包括:
当所述危险值未超过所述安全阈值时,判断所述人体的静止时间是否超过第一静止阈值;
当所述静止时间超过所述第一静止阈值时,结束对所述运动行为的检测;
当所述静止时间未超过所述第一静止阈值时,判断所述人体是否消失;
当所述人体消失时,结束对所述运动行为的检测;
当所述人体未消失时,再次执行所述检测所述人体的运动行为以获得所述运动行为的危险值的步骤。
3.如权利要求1所述的物体运动识别方法,其特征在于,当所述当前运动轨迹满足预警条件时,输出第二预警信息的步骤包括:
当所述当前运动轨迹超出所述检测区域时,生成坠落预警信息;
当所述当前运动轨迹超出检测线时,生成坠落信息。
4.如权利要求3所述的物体运动识别方法,其特征在于,所述当所述当前运动轨迹超出所述检测区域时,生成坠落预警信息的步骤包括:
判断所述物体是否在所述检测区域内消失,当所述物体在所述检测区域内消失时,结束对所述当前运动轨迹的检测;
当所述物体未在所述检测区域消失时,判断所述物体的静止时间是否超过第二静止阈值;
当所述静止时间超过所述第二静止阈值时,结束对所述当前运动轨迹的检测;
当所述静止时间未超过所述第二静止阈值时,判断所述当前运动轨迹是否超出所述检测区域;
当所述当前运动轨迹未超出所述检测区域时,再次执行所述判断所述物体是否在所述检测区域内消失的步骤;
当所述当前运动轨迹超出所述检测区域时,生成坠落预警信息并将所述坠落预警信息发送至监控平台以便所述监控平台依据所述坠落预警信息生成相应的告警提示。
5.如权利要求3所述的物体运动识别方法,其特征在于,所述当所述当前运动轨迹超出检测线时,生成坠落信息的步骤包括:
判断所述物体是否消失,当所述物体消失时,结束对所述当前运动轨迹的检测;
当所述物体未消失时,判断所述物体的静止时间是否超过第三静止阈值;
当所述物体的静止时间超过所述第三静止阈值时,结束对所述当前运动轨迹的检测;
当所述物体的静止时间未超过所述第三静止阈值时,判断所述当前运动轨迹是否超出所述检测线;
当所述当前运动轨迹超出所述检测线时,生成坠落信息并将所述坠落信息发送至监控平台以便所述监控平台依据所述坠落信息生成相应的告警提示,并继续检测所述物体的当前运动轨迹;
当所述物体未越过所述检测线时,再次执行所述判断所述物体是否消失的步骤。
6.如权利要求1所述的物体运动识别方法,其特征在于,应用于前端相机,所述前端相机与监控平台通信连接,所述前端相机在拍摄到的画面中设置若干检测区域以及检测线,所述判断检测区域中的目标物为人体或物体的步骤之前,所述方法还包括:
判断所述目标物是否从所述画面中的非检测区域进入;
当所述目标物从所述非检测区域进入时,检测所述目标物并判断所述目标物是否在所述画面中消失;
当所述目标物未在所述画面中消失时,继续检测所述目标物;
当所述目标物在所述画面中消失时,判断所述目标物是否在其中一个检测区域消失;
当所述目标物在所述其中一个检测区域消失时,向所述监控平台发送目标物落入信息并结束对所述目标物的检测。
7.一种物体运动识别装置,其特征在于,所述装置包括:
检测模块,用于当目标物为人体时,检测所述人体的运动行为以获得运动行为的危险值,以及用于当所述目标物为物体时,检测所述物体的当前运动轨迹;所述运动行为根据所述人体所处的场景类型确定,所述危险值为最终权重值与危险系数的乘积,其中,所述最终权重值为所述人体的运动行为对应的权重值与初始权重值的和;
所述检测模块,还用于判断所述人体处于的场景类型,其中,所述场景类型包括窗口和/或栏杆;当所述场景类型为所述窗口时,评估所述人体的第一运动行为,其中所述第一运动行为包括腿跨到所述窗口、坐到所述窗口、站到所述窗口以及身体超过第一阈值在所述窗口外侧,所述腿跨到所述窗口、所述坐到所述窗口、所述站到所述窗口以及所述身体超过所述第一阈值在所述窗口外侧分别对应一权重值;当所述场景类型为所述栏杆时,评估所述人体的第二运动行为,其中所述第二运动行为包括腿跨到所述栏杆、坐到所述栏杆、站到所述栏杆以及身体超过第二阈值在所述栏杆外侧,所述腿跨到所述栏杆、所述坐到所述栏杆、所述站到所述栏杆以及所述身体超过所述第二阈值在所述栏杆外侧分别对应一权重值;
所述检测模块,还用于当所述第一运动行为符合所述腿跨到所述窗口、所述坐到所述窗口、所述站到所述窗口或者所述身体超过所述第一阈值在所述窗口外侧中的任意一项时,将初始权重值加上所述第一运动行为对应的所述权重值以得到最终权重值,并将所述最终权重值乘以危险系数以得到所述危险值,其中所述危险值为不小于1的整数;
所述检测模块,还用于当所述第二运动行为符合所述腿跨到所述栏杆、所述坐到所述栏杆、所述站到所述栏杆或者所述身体超过所述第二阈值在所述栏杆外侧中的任意一项时,将初始权重值加上所述第二运动行为对应的所述权重值以得到最终权重值,并将所述最终权重值乘以危险系数以得到所述危险值,其中所述危险值为不小于1的整数;
判断模块,用于判断检测区域中的目标物为人体或物体;
预警信息生成模块,当危险值超过安全阈值时,用于输出第一预警信息,当所述当前运动轨迹满足预警条件时,用于输出第二预警信息。
8.一种物体运动识别系统,所述物体运动识别系统包括如权利要求7所述的物体运动识别装置以及监控平台。
CN201811393430.9A 2018-11-21 2018-11-21 一种物体运动识别方法、装置和系统 Active CN111209778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811393430.9A CN111209778B (zh) 2018-11-21 2018-11-21 一种物体运动识别方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811393430.9A CN111209778B (zh) 2018-11-21 2018-11-21 一种物体运动识别方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111209778A CN111209778A (zh) 2020-05-29
CN111209778B true CN111209778B (zh) 2024-08-02

Family

ID=70783872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811393430.9A Active CN111209778B (zh) 2018-11-21 2018-11-21 一种物体运动识别方法、装置和系统

Country Status (1)

Country Link
CN (1) CN111209778B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184774A (zh) * 2020-09-30 2021-01-05 青岛聚好联科技有限公司 一种高空抛物危害程度的确定方法及装置
CN112329668B (zh) * 2020-11-11 2022-11-08 索克科技服务股份有限公司 一种物业管理系统
CN112560751A (zh) * 2020-12-24 2021-03-26 湘潭大学 一种阳台高空坠物风险检测方法及系统
CN113160266A (zh) * 2021-04-21 2021-07-23 上海闻泰信息技术有限公司 高空坠物的检测方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348102A (zh) * 2010-07-30 2012-02-08 鸿富锦精密工业(深圳)有限公司 天台安全监控系统及方法
CN107358783A (zh) * 2017-07-26 2017-11-17 深圳市盛路物联通讯技术有限公司 一种远程监护方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601939B (zh) * 2013-10-31 2018-02-06 周振东 一种监测高空抛物以及消除其危害的方法和系统
CN103895649B (zh) * 2014-04-10 2016-05-25 徐州柏瑞高新技术科技有限公司 一种驾驶员安全驾驶预警方法
CN104408874B (zh) * 2014-11-28 2017-02-01 广东欧珀移动通信有限公司 一种安全预警方法及装置
CN105575049B (zh) * 2015-06-26 2018-05-15 宇龙计算机通信科技(深圳)有限公司 一种预警方法、装置及终端
CN106066487A (zh) * 2016-08-20 2016-11-02 厦门精图信息技术有限公司 一种保障公共安全的高空抛物警报系统和方法
CN106530633B (zh) * 2016-09-28 2019-01-01 中国人民解放军国防科学技术大学 一种智能事中处置的安防方法及系统
US10859698B2 (en) * 2016-12-20 2020-12-08 DataGarden, Inc. Method and apparatus for detecting falling objects
CN107103101A (zh) * 2017-06-14 2017-08-29 刘晓龙 一种建立交通意外高危人群信息库的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348102A (zh) * 2010-07-30 2012-02-08 鸿富锦精密工业(深圳)有限公司 天台安全监控系统及方法
CN107358783A (zh) * 2017-07-26 2017-11-17 深圳市盛路物联通讯技术有限公司 一种远程监护方法及装置

Also Published As

Publication number Publication date
CN111209778A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111209778B (zh) 一种物体运动识别方法、装置和系统
US9594963B2 (en) Determination of object presence and motion state
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
US8365871B2 (en) Electronic device and method for monitoring an elevator
US7859419B2 (en) Smoke detecting method and device
CN115565330A (zh) 一种建筑施工现场布点式火情监控系统及方法
CN107633210B (zh) 工地违章登高监控系统、方法、装置、介质及设备
CN110766915A (zh) 一种用于识别消防通道状态的报警方法及系统
US20100097474A1 (en) Smoke detecting method and system
CN107920223B (zh) 一种对象行为检测方法及装置
CN102116664A (zh) 水位监测系统及方法
CN110543803A (zh) 监控方法、装置、服务器和存储介质
JP7305965B2 (ja) ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム
KR102428613B1 (ko) 디지털 안전보건환경 산업 특화용 이미지 학습 모델을 이용한 안전관리 방법 및 시스템
KR100690279B1 (ko) 다목적 영상감지 시스템
CN116506664B (zh) 一种视频码流生成方法、装置、电子设备及介质
WO2013132711A1 (ja) 物体検知装置、物体検知方法及びプログラム
JP2010200190A (ja) 映像監視システム
CN113705357A (zh) 基于摄像机识别电动车的方法及系统、设备及存储介质
CN113890991A (zh) 一种应用于高空抛物检测的隐私保护方法及装置
CN115965894A (zh) 巡逻机器人的控制方法、装置、电子设备及存储介质
CN116128169A (zh) 一种用于智能交通的多系统联动控制方法及装置
JP2003324726A (ja) 監視カメラを用いた物体検出装置
CN114863372A (zh) 一种泊车管理方法、泊车管理装置和计算机可读存储介质
CN113378728A (zh) 一种监控方法、系统、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant