CN110378179A - 基于红外热成像的地铁逃票行为检测方法及系统 - Google Patents

基于红外热成像的地铁逃票行为检测方法及系统 Download PDF

Info

Publication number
CN110378179A
CN110378179A CN201910010440.8A CN201910010440A CN110378179A CN 110378179 A CN110378179 A CN 110378179A CN 201910010440 A CN201910010440 A CN 201910010440A CN 110378179 A CN110378179 A CN 110378179A
Authority
CN
China
Prior art keywords
pedestrian
image
gate
ride
top view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910010440.8A
Other languages
English (en)
Other versions
CN110378179B (zh
Inventor
高新闻
李帅青
简明
胡珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Publication of CN110378179A publication Critical patent/CN110378179A/zh
Application granted granted Critical
Publication of CN110378179B publication Critical patent/CN110378179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于红外热成像的地铁逃票行为检测方法及系统。本方法包括如下步骤:检测行人是否进入闸机图像行人检测范围;利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像;对提取到的行人红外热成像俯视图图像进行形态学处理,得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像;对二值化的行人俯视图图像进行并行感兴趣子区域(ROI)提取,设置ROI区域与闸机口个数(N)相同,获得N个相互独立的二值化闸机通道行人俯视图;对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记,获取行人参数;对N个闸机口逃票行为判定。采用本发明能够有效的识别并避免逃票行为。

Description

基于红外热成像的地铁逃票行为检测方法及系统
技术领域
本发明属于图像处理技术领域控领域,具体涉及一种基于红外热成像的地铁逃票行为检测方法及系统。
背景技术
传统的行为检测有很多方案,但受一些客观因素所限,比如人带面具或穿各种颜色衣服伪装,胖瘦,高低,携带大型箱包,物品遮挡或妨碍了正常普通单目摄像头对图像的正常处理,用普通摄像头不易检测出来带行李背包的人是否逃票,如果衣服和周边环境相同且蒙面的人,很难检测有人尾随逃票或者下蹲逃票。
总之,普通摄像头检测误报率高或者很难立刻准确判断是否有人尾随逃票,需要有在职人员现场查看,范围有限,人力成本高。而红外热成像仪能忽视人带面具,穿各种颜色衣服伪装,胖瘦,高低的各种影响图像处理的难点,无视体重,携带大型箱包,物品的影响,获取的是人体温度的图像,将人独立于物体区别开来,使图像便于利用图像算法处理,大大增强了方法的实用性。
随着研究的深入,图像模式识别,机器计算机视觉等技术在近年来有了长足的发展,各种智能算法的提出为解决实际工程问题提供了理论保障;而随着我国地铁快速发展,现在越来越多的人乘坐地铁,亟需一种方法完善地铁监控系统,维护国家财产,保持人们有序乘坐地铁,减少或杜绝逃票事件迫在眉睫,这就为一种监控地铁逃票行为检测方法显得尤为重要;同时相应的监控摄像系统遍布了生产生活中的许多角落,这就为本发明提出的监控地铁逃票行为检测方法提供了硬件基础和实现条件。
现有地铁监控系统,尚没有解决行人逃票这一问题。所以应社会的需求监控地铁逃票行为检测方法是必要的。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足,提供一种基于红外热成像的地铁逃票行为检测方法及系统,以解决现有技术中的上述缺陷,其可根据行人俯视红外热成像图比较准确地克服了正常图像中无法克服的携带大型装备,箱包造成的人体俯视图图像采集的难度,从而准确分析判断行人逃票的情况。
为达到上述目的,本发明的构思是:
一种基于红外热成像的地铁逃跑检测方法,检测设备包括热成像图像采集设备、图像处理计算机,检测系统包括以下四个模块,图像采集模块:用于采集行人热成像俯视图;图像处理模块:用于提取行人二值连通域距离与面积变化;逃票判断模块:进行并行式逃票与蹲跨式逃票判定;语音报警模块:用于语音提示行人与工作人员逃票行为,将根据判断结果,触发报警。
根据上述发明构思,本发明采用下述技术方案:
一种基于红外热成像的地铁逃票行为检测方法,检测方法包括按顺序执行的下列步骤:
步骤S1,基于深度学习的行人检测,检测行人是否进入闸机图像行人检测范围;
步骤S2,利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像;
步骤S3,得到基于自动更新阈值的二值化行人通过闸机口的俯视图图像,对二值化行人俯视图图像进行形态学处理;
步骤S4:对二值化的行人俯视图图像进行并行感兴趣子区域(ROI)提取,设置ROI区域与闸机口个数(N)相同,获得N个相互独立的二值化闸机通道行人俯视图;
步骤S5:对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记,获取行人参数;
步骤S6:对N个闸机口逃票行为判定;
具体地,步骤S1中利用自动更新背景进行背景差分,提取行人俯视图方法包括:
首先获取运动目标区域和噪音组成的差分图像d(x,y,t);
得到运动目标需要依据阈值分割的方法进一步处理;
将计算结果在一定阈值r限制下进行二值化,判断出当前图像中出现的偏离背景模型值较大的那些象素,则为出现的运动目标像素;
具体地,对背景图像进行及时更新采用基于核函数密度估计的背景模型构造方法;
选用的核函数为高斯函数X1,…,Xn为一像素点的N个连续的采样值,在t时刻得到该点像素值为Xt的概率用核函数的密度估计来计算;
将视频序列中相邻两帧的差分作为样本;
取得M个背景样本,获得核函数为高斯函数的背景估计值,进一步判断是否属于运动目标;
进一步的,在本发明的一个优选实施例中,利用自动图像分割提取法基于类间方差法分割图像,其方法:
在二值化的时候采用OTSU算法来自动选取阈值进行二值化;
OTSU最大类间方差法将灰度图像转换为二值图像,获取一个阈值;
采用基于最大方差自动获取阈值的方法进行ROI提取;
先考虑图像只存在目标和背景2个区域的情况,设图像f(x,y)的像素按灰度级用阈值T分为C0和C1两部分,则:C0={f1(x,y)|fmin≤f(x,y)≤T}C1={f2(x,y)|fmax≤f(x,y)≤T}式中:fmin,fmax分别为图像f(x,y)中灰度的最小值和最大值。设Ni是灰度值为i(fmin≤f≤fmax)像素数;
图像f(x,y)总的像素为N=∑iNi各灰度级出现的概率为C0部分出现的总概率为:其均值为:
C1部分出现的总概率为:
两个区域的平均灰度为u0和u1,整幅图像的平均灰度为u,计算类间方差区域间的方差为:σ2(T)=P0(T)(u(T)-u0(T))2+P1(T)(u(T)-u1(T))2];
当被分割的2个区域的方差达到最大时,可以认为是2个区域的最佳分离状态,由此可以确定最佳阈值T在0.08~0.15之间。
二值化处理图像,即:
具体地,图像形态学处理方法:
用一个结构元素(3×3)扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“与”操作,如果都为1,则该像素为1,否则为0。中心及领域有一个点不是黑点,该点就被腐蚀成白点,如果都为0,则该像素为0,否则为1,消弭狭窄的间断,消除小的孔洞。
优选地,步骤S4:并行感兴趣子区域(ROI)提取方法包括:
运用并行ROI特征区域提取,针对每个闸机口进行独立的检测,在减轻运算负担的条件下,将N条闸机通道分割开来,独立进行行人图像处理与检测;
使用OpenCV进行并行感兴趣子区域(ROI)提取,同时对多个子区域进行处理,设置一个感兴趣区域,创建一个和源图像属性相同的子图像,大小为感兴趣区域大小并设定相同的原点标准,设定感兴趣区域的数据区域,对图像数据进行处理;
优选地,步骤S5:通过二值图像连通区域标记方法包括:
图像初步标记:为每个像素赋予临时标记,并且将临时标记的等价关系记录在等价表中;
整理等价表,将具有等价关系的临时标记全部等价为其中的最小值;对连通区域以自然数顺序重新编号,得到临时标记与最终标记之间的等价系;
图像代换:对图像进行逐像素代换,将临时标记代换为最终标记.经过3个环节处理后,算法输出标记后的图像,图像中连通域按照由上到下,由左至右出现的顺序被标以连续的自然数;
根据权利要求1所述的一种基于地铁逃票行为检测方法,其中,所述行人参数包括:行人形心位置,行人俯视图面积,闸机线位置。
具体地,确定所述行人参数包括:
1)对所述经过处理的二值图像标定闸机在位置为一条直线;
2)获取行人形心位置,由形心位置接近闸机附近δ阈值内作为逃票初始判定a、b依据,根据形心位置与闸机线位置确定行人前后位置;
3)根据形心位置与闸机线位置确定行人前后位置;
4)计算连通域最短距离进行逃票判定;
5)获取行人俯视图面积;
6)根据标记行人俯视图面积前后比值,进行逃票判定;
所述步骤S6中,利用同时对N个不同区域(即N个闸机出口)进行两种种逃票判定:
a,检测是否有人并行正身或者斜身并逃票;
b,检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过;
具体地,所述逃票判定a方法包括:
设区域1的中心为对于m×n的二值图像,物体的中心位置与物体的质心相同,因此可以使用下式求物体的中心位置,物体的位置为:
其中B[i,j]为图像在坐标点[i,j]处的灰度值,A为图像零阶矩,为图像一阶矩,是区域相对于左上角图像的中心坐标;
已知图像中N个闸机并排的的纵坐标(在实际图像中其实是一条直线)Y0,则需根据D2=Y0-Y2 D1=Y0-Y1
若D1是负数且D2是负数则判断两人都为过闸机,若D1≥D2,则D1在D2前面,由此判断行人在前后位置;
若D1的值小于某额定值,则进入图像处理判定开启;
若对任意Di>γ,则将对象标记丢失,重新进行图像标记,等待D1触发图像处理判定开启,行人离开则取消标记,连通域标记重新标定;
找到前一个人的连通域的标记L1,找到后一个人的连通域的标记L2,如果有第三人依次类推,判断行人个数;
获取图像中标记L1的每一个像素点的坐标a[i,j],获取图像中标记L2的每一个像素点的坐标b[i,j];
对任意i,j,使在{a[i,j]-b[i,j]}2中找出最小值Dmin,行人间最短距离;
找到最小值Dmin对应的L1,L2行人的具体坐标[X1,Y1]=amin[i,j]与[X2,Y2]=bmin[i,j],用欧几里德距离:计算两连通域最短距离;
1)依据两连通域最短距离Dmin=dEuc与两行人并行距离最短值ρ相比较,若Dmin≤ρ,则判断两行人距离过近,若两行人L1,L2同时在闸机口δ范围内,即L1,L2行人的具体形心坐标2)或者在两行人L1,L2同时在闸机口δ范围内,但L1,L2行人连通域L1,L2重合,L2消失,只含有一个连通域在两行人并行接触时形心则可判定在闸机口位置发生并行或者斜身平行逃票。
检测ROIn分割提取的区域的值n,即可判断第n个闸机出现逃跑行为,并警报。
具体地,所述逃票判定方法b步骤包括:
计算二值图像连通域值为1的个数既为其人体俯视平面图的面积,相对于上一系列帧图像的面积比例,若相对于站立面积的面积比大于一个系数β,则判断报警。
1.1一幅二值图像区域的面积(或零阶矩)为:计算行人刚进入闸机人形俯视区域的面积A1,计算行人在闸机口处人形俯视区域的面积A2;检测行人俯视图闸机出口处范围由阈值δ判定,该阈值δ基于每个通行闸机口行人的形心与闸机并排线的距离界定。
若行人进入阈值δ范围内,则采集并处理到的二值图像行人俯视图的面积记为A2。
1.2设定面积比系数αi,令将采集到的每一帧图像分别与刚进入闸机入口的行人俯视图面积A1进行比较,
①得到一系列的αi值,若αi大于阈值β则判断行人有下蹲或跨越逃票嫌疑,并检测该行人连通域标号,得到该行人标号为Li;
②取该时刻行人形心坐标,判断形心坐标是否在闸机出口处阈值δ范围内;
③若同时满足以上两个条件,则触发时间定时器中断,开始计时,超出计时时间θ时,判断行人有迟滞行为,即可判定行人下蹲逃票或者双腿跪在闸机门/棍上翻越,同时识别ROIn区域所在闸机位置n,判定在第n闸机发现行人逃票行为。
④,若③没有判定逃票,则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率,在捕捉到面积突变即αi超过阈值β且平均速率超出正常步行速率ω0时,即判定助跑式翻越闸机行为,同时识别ROIn区域所在闸机位置n,判定在第n闸机发现行人逃票行为。
本发明还提供了一种基于红外热成像地铁逃票行为检测系统,应用于上述方法,其特征在于:包括一个图像采集模块经一个图像处理模块和一个逃票判断模块连接一个语音报警模块。
所述图像采集模块:用于采集行人热成像俯视图,判断是否有行人到来,如果是,执行图像处理模块,如果否,则返回执行图像采集模块。
所述图像处理模块:用于背景差分,形态学处理,提取行人二值连通域距离与面积变化,传递信息给逃票判定模块。
所述逃票判定模块:进行并行式逃票与蹲/跨式逃票判定所述语音报警模块:用于语音提示行人与工作人员逃票行为。
本发明与现有技术相比较,具有如下显而易见的突出实质性特点和显著性技术进步:本发明根据行人俯视红外热成像图进行检测,克服了正常图像中无法克服的携带大型装备,箱包造成的人体俯视图图像采集的难度,从而准确分析判断行人逃票的情况。相比现有技术,减少了检测误报率,大幅提升了准确率。同时无需人工干预,可以自动分析判断行人逃票的情况,降低人力成本。
附图说明
图1是本发明实施例所示的一种地铁逃票行为检测系统图;
图2是本发明实施例所示的一种地铁逃票行为检测方法流程示意图;
图3是本发明实施例所示的判定方法a,检测是否有人并行正身或者斜身并逃票实例图;
图4是本发明实施例所示的判定方法b,检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过示意图;
图5本发明实施例所示的判定方法b,检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过实例图;
图6是本发明实施例所示的判定方法b,检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过示意图;
具体实施方式
下面结合优选实施例,对本发明一种地铁逃票行为检测方法做进一步详细说明:
实施例一:
参见图二,本基于红外热成像的地铁逃跑行为检测方法,具体操作步骤如下:
步骤S1,基于深度学习的行人检测:CNN提取图像特征,SVM对特征分类,检测行人是否进入闸机图像行人检测范围;
步骤S2,利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像;
步骤S3,对提取到的行人红外热成像俯视图图像进行形态学处理,得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像;
步骤S4:对二值化的行人俯视图图像进行并行感兴趣子区域ROI提取,设置ROI区域与闸机口个数N相同,获得N个相互独立的二值化闸机通道行人俯视图;
步骤S5:对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记,获取行人参数;
步骤S6:对N个闸机口逃票行为判定。
实施例二:
本实施例与实施例一基本相同,特别之处如下:
所述步骤S4中,运用并行ROI特征区域提取,针对每个闸机口进行独立的检测,在减轻运算负担的条件下,将N条闸机通道分割开来,独立进行行人图像处理与检测。
所述步骤S6中,同时对N个不同区域即N个闸机出口进行两种逃票判定:
a,检测是否有人并行正身或者斜身并行逃票;
b,检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过。
所述逃票判定a方法步骤包括:
设行人二值图像连通区域的中心为对于m×n的二值图像,使用下式求物体的中心位置:
其中B[i,j]为图像在坐标点[i,j]处的灰度值,A为图像零阶矩,为图像一阶矩;
确定N个并排闸机位置的纵坐标Y0,两行人形心纵坐标Y1、Y2,计算行人与闸机纵向位置关系D2=Y0-Y2 D1=Y0-Y1
若D1是负数且D2是负数则判断两人都过闸机,若D1≥D2,则D1在D2前面,由此判断行人在前后位置;
若D1的值小于某额定值γ,则进入图像处理判定开启;
若对任意Di>γ,则将对象标记丢失,重新进行图像标记,等待D1触发图像处理判定开启,图像触发判定开启基于检测行人俯视图闸机出口处范围由阈值δ=1.5m矩形范围判定,行人离开则取消标记,连通域标记重新标记;
找到前一个人的连通域的标记L1,找到后一个人的连通域的标记L2,如果有第三人依次类推,判断行人个数;获取图像中标记L1的每一个像素点的坐标a[i,j],获取图像中标记L2的每一个像素点的坐标b[i,j];
对任意i,j,使在{a[i,j]-b[i,j]}2中找出最小值Dmin,行人间最短距离;
找到最小值Dmin对应的L1,L2行人的具体坐标[X1,Y1]=amin[i,j]与[X2,Y2]=bmin[i,j],用欧几里德距离:计算两连通域最短距离;
依据两连通域最短距离Dmin=dEuc与两行人并行距离最短值ρ相比较,若Dmin≤ρ,则判断两行人距离过近,若两行人L1,L2同时在闸机口δ=1.5m矩形范围内,即L1,L2行人的具体形心坐标或者在两行人L1,L2同时在闸机口δ范围内,但L1,L2行人连通域L1,L2重合,L2消失,只含有一个连通域在两行人并行接触时形心则可判定在闸机口位置发生并行或者斜身平行逃票
检测ROIn分割提取的区域的值n,即可判断第n个闸机出现逃跑行为,并警报。
所述逃票判定方法b步骤包括:
计算二值图像连通域值为1的个数即为其人体俯视平面图的面积,相对于上一系列帧图像的面积比例,若相对于站立面积的面积比大于一个系数β,则判断报警;
1.1一幅二值图像区域的面积或零阶矩为:计算行人刚进入闸机人形俯视区域的面积A1,计算行人在闸机口处人形俯视区域的面积A2;
检测行人俯视图闸机出口处范围由阈值δ矩形范围判定,该阈值δ矩形范围基于每个通行闸机口行人的形心与闸机并排线的距离界定。
若行人进入阈值δ矩形范围内,则采集并处理到的二值图像行人俯视图的面积记为A2。
1.2设定面积比系数αi,令将采集到的每一帧图像分别与刚进入闸机入口的行人俯视图面积A1进行比较,
①得到一系列的αi值,若αi大于阈值β则判断行人有下蹲或跨越逃票嫌疑,并检测该行人连通域标号,得到该行人标号为Li;
②取该时刻行人形心坐标,判断形心坐标是否在闸机出口处阈值δ范围内;
③若同时满足以上两个条件,则触发时间定时器中断,开始计时,超出计时时间θ时,判断行人有迟滞行为,即可判定行人下蹲逃票或者双腿跪在闸机门/棍上翻越,同时识别ROIn区域所在闸机位置n,判定在第n闸机发现行人逃票行为。
④,若③没有判定逃票,则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率,在捕捉到面积突变即αi超过阈值β且平均速率超出正常步行速率ω0时,即判定助跑式翻越闸机行为,同时识别ROIn区域所在闸机位置n,判定在第n闸机发现行人逃票行为。
实施例三:
本基于红外热成像的地铁逃跑检测系统,用于上述方法,其特征在于:包括一个图像采集模块(1)经一个图像处理模块(2)和一个逃票判断模块(3)连接一个语音报警模块(4);
所述图像采集模块:用于采集行人热成像俯视图
所述图像处理模块:用于提取行人二值连通域距离与面积变化
所述逃票判断模块:进行并行式逃票与蹲/跨式逃票判定
所述语音报警模块:用于语音提示行人与工作人员逃票行为。
实施例四:
本基于红外热成像的地铁逃跑检测方法,热成像图像采集设备:该设备布置于闸机正上方以采集行人俯视热成像图像,固定方式要满足远离固有频率,避免设备震动,并正好在闸机的并排正中,可以采集到每个闸机口的行人俯视图像。图像处理计算机:用于将采集到的热成像图像信号,进行处理,计算,判断,将判断结果,触发报警。
步骤S1:基于深度学习的行人检测系统整体步骤包括:
输入图像红外热成像行人俯视图;
利用选择性搜索的快速模型(Fast Model)提取预选区域;
对提取到的区域调整为合适大小;
提取3中区域图像的CNN特征;
利用linear SVMs对CNN特征分类,判断是否为行人,且行人是否到达闸机区域。目前深度学习形容检测比较成熟,样本选择俯视行人数据库。
步骤S2:利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像;
步骤包括以下子步骤:
首先获取运动目标区域和噪音组成的差分图像d(x,y,t),即
d(x,y,t)=I(x,y,t)-b(x,y,t)+n(x,y,y)
得到运动目标需要依据某一判断原则进一步处理,最常用的方法为阈值分割的
将计算结果在一定阈值r限制下进行二值化,判断出当前图像中出现的偏离背景模型值较大的那些象素,则为出现的运动目标像素
对背景图像进行及时更新采用基于核函数密度估计的背景模型构造方法
选用的核函数为高斯函数X1,…,Xn为一像素点的N个连续的采样值,在t时刻得到该点像素值为Xt的概率用核函数的密度估计来计算:
Kh(Xt-Xi)=η(Xt-Xi,∑i)
式中Kh表示窗口宽度为h的核函数,N表示样本的个数。
将视频序列中相邻两帧的差分作为样本:
S为背景样本,I为视频帧图像,T为阈值,如果两帧图像的差小于某一阈值则视为背景样本,否则不参与运算。
取得M个背景样本,核函数为高斯函数的背景估计为:
根据P(It(x,y)),利用下式来判断某一像素是否属于运动目标:
Mt(x,y)为0则说明该点属于背景点,为1属于运动目标。
利用巴特沃思低通滤波器(BLPF)进行进一步滤波:
其中Ωd为滤波器的截止频率。
步骤S3:红外热成像图像形态学处理步骤包括以下子步骤:
1利用形态学图像处理中的闭操作:
用一个结构元素(3×3)扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“与”操作,如果都为1,则该像素为1,否则为0。中心及领域有一个点不是黑点,该点就被腐蚀成白点,如果都为0,则该像素为0,否则为1,消弭狭窄的间断,消除小的孔洞。
对一幅二值离散图像做二值运算:
E(m,n)=AΘB=Min(i,j)∈1{A(m-i,n-j)-B(i,j)+1}
其中D为膨胀结果,D(m,n)表示像素点(m,n)的取值(0或1)E为腐蚀结果,E(m,n)表示像素点(m,n)的取值(0或1)。
在本实施例中,利用自动图像分割提取法基于类间方差法分割图像:
步骤包括以下子步骤:
2.1在二值化的时候采用OTSU算法来自动选取阈值进行二值化
2.2OTSU最大类间方差法将灰度图像转换为二值图像,获取一个阈值
2.3采用基于最大方差自动获取阈值的方法进行ROI提取
2.4先考虑图像只存在目标和背景2个区域的情况,设图像f(x,y)的像素按灰度级用阈值T分为C0和C1两部分,则:
C0={f1(x,y)|fmin≤f(x,y)≤T}
C1={f2(x,y)|fmax≤f(x,y)≤T}式中:fmin,fmax分别为图像f(x,y)中灰度的最小值和最大值。设Ni是灰度值为i(fmin≤f≤fmax)像素数
2.5图像f(x,y)总的像素为N=∑iNi各灰度级出现的概率为C0部分出现的总概率为:其均值为:
2.6 C1部分出现的总概率为:
2.7两个区域的平均灰度为u0和u1,整幅图像的平均灰度为u,计算类间方差区域间的方差为:σ2(T)=P0(T)(u(T)-u0(T))2+P1(T)(u(T)-u1(T))2]
2.8当被分割的2个区域的方差达到最大时,可以认为是2个区域的最佳分离状态,由此可以确定最佳阈值T在0.08~0.15之间,本实例中取T=0.1
2.9二值化处理图像,即:
步骤S4:并行感兴趣子区域(ROI)提取步骤包括以下子步骤:
使用OpenCV进行并行感兴趣子区域(ROI)提取,同时对多个子区域进行处理,设置一个感兴趣区域,创建一个和源图像属性相同的子图像,大小为感兴趣区域大小并设定相同的原点标准,设定感兴趣区域的数据区域,对图像数据进行处理
步骤S5:通过二值图像连通区域标记步骤包括以下子步骤:
3通过二值图像连通区域标记,标记行人,用来监控并处理行人位置信息,该方法具体包括有如下步骤:
3.1通过L=bwlabel(BW,n)返回一个和BW大小相同的L矩阵,标记了BW中每个连通区域的类别标签,这些标签的值为1、2、num(连通区域的个数),n的值为8选择按8连通寻找;
3.2[L,num]=bwlabel(BW,n),num返回的就是BW中连通区域的个数,通过一次遍历图像,记下每一行(或列)中连续的团和标记的等价对;
3.3用稀疏矩阵与DulmageMendelsohn分解算法用来消除等价对,然后通过等价对对原来的图像进行重新标记;
上述步骤,可以完全标记ROIn区域行人的编号,
例如第ROIn个闸机口行人甲俯视图L1=1,行人乙俯视图L2=2,图像矩阵为s=[00 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0;0 0 0 0 0 1 1 1 1 1 1 1 0 0 0 0 0;0 0 0 0 0 01 1 1 1 1 0 0 0 0 0 0;0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0;0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0;0 0 0 0 0 0 0 2 2 2 0 0 0 0 0 0 0;0 0 0 0 0 2 2 2 2 2 2 2 0 0 0 00;0 0 0 0 0 0 2 2 2 2 2 0 0 0 0 0 0;0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0];
步骤S6逃票行为判定步骤包括以下子步骤:
同时对N个不同区域(即N个闸机出口)进行两种逃票判定:
a,检测是否有人并行正身或者斜身并行逃票
b,检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过
计算两人的距离,设区域1的中心为对于m×n的二值图像,物体的中心位置与物体的质心相同,因此可以使用下式求物体的中心位置,物体的位置为:
其中B[i,j]为图像在坐标点[i,j]处的灰度值,A为图像零阶矩,为图像一阶矩,是区域相对于左上角图像的中心坐标;
求出X1,Y1=(315,207)X2,Y2=(135,201)X4,Y4=(177,201)X3,Y3=(86,200)X5,Y5=(40,202)
已知图像中N个闸机并排的的纵坐标(在实际图像中其实是一条直线)Y0,则需根据D2=Y0-Y2D1=Y0-Y1
若D1是负数且D2是负数则判断两人都为过闸机,若D1≥D2,则D1在D2前面,由此判断行人在前后位置
若D1的值小于某额定值γ,则进入图像处理判定开启
若对任意Di>γ,则将对象标记丢失,重新进行图像标记,等待D1触发图像处理判定开启,行人离开则取消标记,连通域标记重新标定
找到前一个人的连通域的标记L1,找到后一个人的连通域的标记L2,如果有第三人依次类推,判断行人个数
获取图像中标记L1的每一个像素点的坐标a[i,j],获取图像中标记L2的每一个像素点的坐标b[i,j]
对任意i,j,使在{a[i,j]-b[i,j]}2中找到最小值Dmin对应的L1,L2行人的具体坐标[X1,Y1]=amin[i,j]与[X2,Y2]=bmin[i,j],用欧几里德距离:
计算两连通域最短距离:图3中1和2最短距离S12=108.1,图3中3和4最短距离S34=27.45
设修正系数为C,则实际距离为S12=C*108.1,S34=C*27.45。若两人的实际距离重合,则判断两人身体接触
找到最小值Dmin对应的L1,L2行人的具体坐标a1=amin[i,j]与b1=bmin[i,j];
判断第来自ROIn中n等于2,则判断第2个闸机出口出现逃跑行为,并警报。
计算二值图像连通域值为1的个数既为其人体俯视平面图的面积,相对于上一系列帧图像的面积比例,若相对于站立面积的面积比大于一个系数β,则判断报警
1.1一幅二值图像区域的面积(或零阶矩)为:计算行人刚进入闸机人形俯视区域的面积A1,计算行人在闸机口处人形俯视区域的面积A2;
检测行人俯视图闸机出口处范围由阈值δ判定,该阈值δ基于每个通行闸机口行人的形心与闸机并排线的距离界定。
若行人进入阈值δ范围内,则采集并处理到的二值图像行人俯视图的面积记为A2。
1.2设定面积比系数αi,令将采集到的每一帧图像分别与刚进入闸机入口的行人俯视图面积A1进行比较,
①得到一系列的αi值,若αi大于阈值β则判断行人有下蹲或跨越逃票嫌疑,并检测该行人连通域标号,得到该行人标号为Li;
②取该时刻行人形心坐标,判断形心坐标是否在闸机出口处阈值δ范围内;
③若同时满足以上两个条件,则触发时间定时器中断,开始计时,超出计时时间θ时,判断行人有迟滞行为,即可判定行人下蹲逃票或者双腿跪在闸机门/棍上翻越,同时识别ROIn区域所在闸机位置n,判定在第n闸机发现行人逃票行为。
④,若③没有判定逃票,则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率,在捕捉到面积突变即αi超过阈值β且平均速率超出正常步行速率ω0时,即判定助跑式翻越闸机行为,同时识别ROIn区域所在闸机位置n,判定在第n闸机发现行人逃票行为。

Claims (6)

1.一种基于红外热成像的地铁逃票行为检测方法,其特征在于具体操作步骤如下:
步骤S1,基于深度学习的行人检测:CNN提取图像特征,SVM对特征分类,检测行人是否进入闸机图像行人检测范围;
步骤S2,利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像;
步骤S3,对提取到的行人红外热成像俯视图图像进行形态学处理,得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像;
步骤S4:对二值化的行人俯视图图像进行并行感兴趣子区域ROI提取,设置ROI区域与闸机口个数N相同,获得N个相互独立的二值化闸机通道行人俯视图;
步骤S5:对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记,获取行人参数;
步骤S6:对N个闸机口逃票行为判定。
2.根据权利要求1所述的一种基于红外热成像的地铁逃票行为检测方法,其特征在于:所述步骤S4中,运用并行ROI特征区域提取,针对每个闸机口进行独立的检测,在减轻运算负担的条件下,将N条闸机通道分割开来,独立进行行人图像处理与检测。
3.根据权利要求1所述的一种基于地铁逃票行为检测方法,其中,所述步骤S6中,同时对N个不同区域即N个闸机出口进行两种逃票判定:
a,检测是否有人并行正身或者斜身并行逃票;
b,检测是否有人下蹲或爬式从地铁下穿过或从地铁上部跨过。
4.根据权利要求3所述的一种基于红外热成像的地铁逃票行为检测方法,其中,所述逃票判定a方法步骤包括:
设行人二值图像连通区域的中心为对于m×n的二值图像,使用下式求物体的中心位置:
其中B[i,j]为图像在坐标点[i,j]处的灰度值,A为图像零阶矩,为图像一阶矩;
确定N个并排闸机位置的纵坐标Y0,两行人形心纵坐标Y1、Y2,计算行人与闸机纵向位置关系D2=Y0-Y2 D1=Y0-Y1
若D1是负数且D2是负数则判断两人都过闸机,若D1≥D2,则D1在D2前面,由此判断行人在前后位置;
若D1的值小于某额定值γ,则进入图像处理判定开启;
若对任意Di>γ,则将对象标记丢失,重新进行图像标记,等待D1触发图像处理判定开启,图像触发判定开启基于检测行人俯视图闸机出口处范围由阈值δ=1.5m矩形范围判定,行人离开则取消标记,连通域标记重新标记;
找到前一个人的连通域的标记L1,找到后一个人的连通域的标记L2,如果有第三人依次类推,判断行人个数;获取图像中标记L1的每一个像素点的坐标a[i,j],获取图像中标记L2的每一个像素点的坐标b[i,j];
对任意i,j,使在{a[i,j]-b[i,j]}2中找出最小值Dmin,行人间最短距离;
找到最小值Dmin对应的L1,L2行人的具体坐标[X1,Y1]=amin[i,j]与[X2,Y2]=bmin[i,j],用欧几里德距离:dEuc=([X1,Y1],计算两连通域最短距离;
依据两连通域最短距离Dmin=dEuc与两行人并行距离最短值p相比较,若Dmin≤p,则判断两行人距离过近,若两行人L1,L2同时在闸机口δ=1.5m矩形范围内,即L1,L2行人的具体形心坐标或者在两行人L1,L2同时在闸机口δ范围内,但L1,L2行人连通域L1,L2重合,L2消失,只含有一个连通域在两行人并行接触时形心则判定在闸机口位置发生并行或者斜身平行逃票;检测ROIn分割提取的区域的值n,即判断第n个闸机出现逃跑行为,并警报。
5.根据权利要求3所述的一种基于红外热成像的地铁逃票行为检测方法,其中,所述逃票判定方法b步骤包括:
计算二值图像连通域值为1的个数即为其人体俯视平面图的面积,相对于上一系列帧图像的面积比例,若相对于站立面积的面积比大于一个系数β,则判断报警;
1.1一幅二值图像区域的面积或零阶矩为:计算行人刚进入闸机人形俯视区域的面积A1,计算行人在闸机口处人形俯视区域的面积A2;
检测行人俯视图闸机出口处范围由阈值δ矩形范围判定,该阈值δ矩形范围基于每个通行闸机口行人的形心与闸机并排线的距离界定;
若行人进入阈值δ矩形范围内,则采集并处理到的二值图像行人俯视图的面积记为A2;
1.2设定面积比系数αi,令将采集到的每一帧图像分别与刚进入闸机入口的行人俯视图面积A1进行比较,
①得到一系列的αi值,若αi大于阈值β则判断行人有下蹲或跨越逃票嫌疑,并检测该行人连通域标号,得到该行人标号为Li;
②取该时刻行人形心坐标,判断形心坐标是否在闸机出口处阈值δ范围内;
③若同时满足以上两个条件,则触发时间定时器中断,开始计时,超出计时时间θ时,判断行人有迟滞行为,即判定行人下蹲逃票或者双腿跪在闸机门/棍上翻越,同时识别ROIn区域所在闸机位置n,判定在第n闸机发现行人逃票行为;
④,若③没有判定逃票,则进行基于连通域标记的形心在闸机两侧的坐标计算距离并除以两形心的时刻差得到平均速率,在捕捉到面积突变即αi超过阈值β且平均速率超出正常步行速率ω0时,即判定助跑式翻越闸机行为,同时识别ROIn区域所在闸机位置n,判定在第n闸机发现行人逃票行为。
6.一种基于红外热成像地铁逃票行为检测系统,用于根据权利要求1所述的基于红外热成像地铁逃票检测方法其特征在于:包括一个图像采集模块(1)经一个图像处理模块(2)和一个逃票判断模块(3)连接一个语音报警模块(4);
所述图像采集模块:用于采集行人热成像俯视图
所述图像处理模块:用于提取行人二值连通域距离与面积变化
所述逃票判断模块:进行并行式逃票与蹲/跨式逃票判定
所述语音报警模块:用于语音提示行人与工作人员逃票行为。
CN201910010440.8A 2018-05-02 2019-01-07 基于红外热成像的地铁逃票行为检测方法及系统 Active CN110378179B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018104075306 2018-05-02
CN201810407530 2018-05-02

Publications (2)

Publication Number Publication Date
CN110378179A true CN110378179A (zh) 2019-10-25
CN110378179B CN110378179B (zh) 2023-07-18

Family

ID=68248361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910010440.8A Active CN110378179B (zh) 2018-05-02 2019-01-07 基于红外热成像的地铁逃票行为检测方法及系统

Country Status (1)

Country Link
CN (1) CN110378179B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008568A (zh) * 2019-11-07 2020-04-14 浙江大华技术股份有限公司 逃票检测方法及其相关装置
CN111126257A (zh) * 2019-12-23 2020-05-08 上海商汤智能科技有限公司 行为检测方法及装置
CN111414836A (zh) * 2020-03-16 2020-07-14 深圳市万睿智能科技有限公司 一种翻越闸机的识别方法、装置、计算机设备及存储介质
CN112200828A (zh) * 2020-09-03 2021-01-08 浙江大华技术股份有限公司 一种逃票行为的检测方法、装置及可读存储介质
CN112530059A (zh) * 2020-11-24 2021-03-19 厦门熵基科技有限公司 一种通道闸内拉杆箱判断方法、装置、设备和存储介质
WO2021114765A1 (zh) * 2019-12-09 2021-06-17 深圳市鸿逸达科技有限公司 一种基于深度图像的自助通道防尾随检测方法和系统
CN113159009A (zh) * 2021-06-25 2021-07-23 华东交通大学 一种车站预防逃票的智能监控识别方法及系统
CN113392683A (zh) * 2020-03-13 2021-09-14 广东毓秀科技有限公司 一种基于深度学习的地铁公交刷票及逃票行为的识别方法
CN113627345A (zh) * 2021-08-11 2021-11-09 深圳市捷顺科技实业股份有限公司 一种通道闸行人检测方法、装置、设备及可读存储介质
CN114019879A (zh) * 2021-11-08 2022-02-08 河南数字中原数据有限公司 一种高低压配电柜监控系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025418A (zh) * 2016-01-29 2017-08-08 广州地铁集团有限公司 基于图像处理的防逃票检测方法、检测系统及其系统
CN107180403A (zh) * 2016-03-10 2017-09-19 上海骏聿数码科技有限公司 一种公共交通客流量统计管理方法及系统
WO2018037392A1 (en) * 2016-08-26 2018-03-01 Outmind, Lda System and method for access control in open restricted areas

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025418A (zh) * 2016-01-29 2017-08-08 广州地铁集团有限公司 基于图像处理的防逃票检测方法、检测系统及其系统
CN107180403A (zh) * 2016-03-10 2017-09-19 上海骏聿数码科技有限公司 一种公共交通客流量统计管理方法及系统
WO2018037392A1 (en) * 2016-08-26 2018-03-01 Outmind, Lda System and method for access control in open restricted areas

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008568A (zh) * 2019-11-07 2020-04-14 浙江大华技术股份有限公司 逃票检测方法及其相关装置
CN111008568B (zh) * 2019-11-07 2023-09-05 浙江大华技术股份有限公司 逃票检测方法及其相关装置
WO2021114765A1 (zh) * 2019-12-09 2021-06-17 深圳市鸿逸达科技有限公司 一种基于深度图像的自助通道防尾随检测方法和系统
CN111126257A (zh) * 2019-12-23 2020-05-08 上海商汤智能科技有限公司 行为检测方法及装置
CN111126257B (zh) * 2019-12-23 2023-08-11 上海商汤智能科技有限公司 行为检测方法及装置
CN113392683A (zh) * 2020-03-13 2021-09-14 广东毓秀科技有限公司 一种基于深度学习的地铁公交刷票及逃票行为的识别方法
CN111414836A (zh) * 2020-03-16 2020-07-14 深圳市万睿智能科技有限公司 一种翻越闸机的识别方法、装置、计算机设备及存储介质
CN112200828A (zh) * 2020-09-03 2021-01-08 浙江大华技术股份有限公司 一种逃票行为的检测方法、装置及可读存储介质
CN112530059B (zh) * 2020-11-24 2022-07-05 厦门熵基科技有限公司 一种通道闸内拉杆箱判断方法、装置、设备和存储介质
CN112530059A (zh) * 2020-11-24 2021-03-19 厦门熵基科技有限公司 一种通道闸内拉杆箱判断方法、装置、设备和存储介质
CN113159009A (zh) * 2021-06-25 2021-07-23 华东交通大学 一种车站预防逃票的智能监控识别方法及系统
CN113627345A (zh) * 2021-08-11 2021-11-09 深圳市捷顺科技实业股份有限公司 一种通道闸行人检测方法、装置、设备及可读存储介质
CN114019879A (zh) * 2021-11-08 2022-02-08 河南数字中原数据有限公司 一种高低压配电柜监控系统
CN114019879B (zh) * 2021-11-08 2024-03-15 河南数字中原数据有限公司 一种高低压配电柜监控系统

Also Published As

Publication number Publication date
CN110378179B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110378179A (zh) 基于红外热成像的地铁逃票行为检测方法及系统
CN106203274B (zh) 一种视频监控中行人实时检测系统及方法
CN105095829B (zh) 一种人脸识别方法及系统
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN106919921B (zh) 结合子空间学习与张量神经网络的步态识别方法及系统
CN106128022B (zh) 一种智慧金睛识别暴力动作报警方法
CN105184818B (zh) 一种视频监控异常行为检测方法及其检测系统
CN108052900A (zh) 一种通过监控视频自动判断着装规范的方法
CN107622258A (zh) 一种结合静态底层特征和运动信息的快速行人检测方法
CN106204640A (zh) 一种运动目标检测系统及方法
CN107392885A (zh) 一种基于视觉对比机制的红外弱小目标检测方法
CN105701467A (zh) 一种基于人体形态特征的多人异常行为识别方法
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN104657712A (zh) 一种监控视频中蒙面人检测方法
CN111259718B (zh) 一种基于高斯混合模型的扶梯滞留检测方法及系统
CN110008793A (zh) 人脸识别方法、装置及设备
CN109784130A (zh) 行人重识别方法及其装置和设备
Liu et al. Anomaly detection in surveillance video using motion direction statistics
CN105825233B (zh) 一种基于在线学习随机蕨分类器的行人检测方法
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
Karpagavalli et al. Estimating the density of the people and counting the number of people in a crowd environment for human safety
CN106709438A (zh) 一种基于视频会议的人数统计方法
CN108764251A (zh) 一种工件表面裂缝检测方法及系统
CN103390151A (zh) 人脸检测方法及装置
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant