CN106156695A - 出口和/或入口区域识别方法和装置 - Google Patents

出口和/或入口区域识别方法和装置 Download PDF

Info

Publication number
CN106156695A
CN106156695A CN201510144127.5A CN201510144127A CN106156695A CN 106156695 A CN106156695 A CN 106156695A CN 201510144127 A CN201510144127 A CN 201510144127A CN 106156695 A CN106156695 A CN 106156695A
Authority
CN
China
Prior art keywords
movement locus
entrance area
region
candidate
outlet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510144127.5A
Other languages
English (en)
Other versions
CN106156695B (zh
Inventor
梁大为
周波
刑腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to CN201510144127.5A priority Critical patent/CN106156695B/zh
Publication of CN106156695A publication Critical patent/CN106156695A/zh
Application granted granted Critical
Publication of CN106156695B publication Critical patent/CN106156695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种出口和/或入口区域识别方法及装置,用于基于视频识别出口和/或入口区域,包括:从视频中提取多条由运动目标形成的运动轨迹,并确定每一条运动轨迹的候选出口区域和/或候选入口区域;对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域;其中所述投票图像的尺寸大于或等于所述视频的帧图像的尺寸。本发明以图像平面上的运动目标轨迹作为输入,利用投票方法来确定图像平面上的出口和/或入口区域,根据本发明的监控视频中出口和/或入口区域识别方法不需要摄像机标定,不需要任何参数化的假设,就可以快速准确地识别监控视频中的出口和/或入口区域。

Description

出口和/或入口区域识别方法和装置
技术领域
本发明涉及视频监控领域,尤其涉及一种用于识别监控视频中的出口和/或入口区域的方法和装置。
背景技术
视频监控是公共安全领域的重要组成部分。数不清的监控摄像头被安装在我们生活的城市的各个角落里,如路口、地铁、银行、广场等,采集到海量的监控数据。为了快速地从海量的监控数据中获取有价值的信息,对监控视频中的出口和/或入口区域进行识别非常重要。这是由于,运动目标通常从入口进入场景,并从出口离开场景,根据出口和/或入口区域有利于理解监控视频的场景,还可以判断一些异常的事件,如有人掉入场景中的下水道等。
考虑到不同的监控场景具有不同的出口和/或入口形状,目前已提出利用场景中运动目标的轨迹信息自动识别出口和/或入口区域的方法。例如,非专利参考文献1提出了基于图像平面的轨迹信息,采用参数化的椭圆来描述出口和/或入口区域的方法。其中,由于椭圆的参数和数目均通过迭代估计得到,使得该方法需要较高的计算代价来估计椭圆的数量。
又例如,专利参考文献1提出了基于摄像机标定后地平面的轨迹信息,采用贝叶斯推断来估计出口和/或入口区域的后验概率的方法。然而,由于摄像机标定并非一直可行,并且即使可行,对获取轨迹的跟踪算法的要求也较高,需要精确地确定被跟踪目标和地平面接触的位置信息,这些都使得该方法也难以推广应用。
非专利参考文献1:Chris Stauffer,Estimating Tracking Sources and Sinks,Computer Vision and Pattern Recognition Workshop,2003.CVPRW'03,2003.6.22。
专利参考文献1:US2011/0085702A1,Object tracking by hierarchicalassociation of detection responses,公开日2011.4.14。
发明内容
技术问题
有鉴于此,本发明要解决的技术问题是,如何快速、准确地识别监控视频中的出口和/或入口区域。
解决方案
为了解决上述问题,本申请提出了一种出口和/或入口区域识别方法,用于基于视频识别出口和/或入口区域,包括:
从视频中提取多条由运动目标形成的运动轨迹,并确定每一条运动轨迹的候选出口区域和/或候选入口区域;
对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域;其中所述投票图像的尺寸大于或等于所述视频的帧图像的尺寸。
对于上述方法,在一种可能的实现方式中,所述每一条运动轨迹的候选出口区域通过以下方法确定:
确定运动轨迹的结束点区域,并沿所述运动轨迹的行进方向继续移动第一预定距离以作为所述运动轨迹的所述候选出口区域。
对于上述方法,在一种可能的实现方式中,还包括通过以下方法确定所述运动轨迹上的非出口区域:
根据所述运动轨迹在每一帧图像上覆盖的区域,通过求解图像并集区域的方式,将所述运动轨迹覆盖的所有区域的并集确定为所述运动轨迹上的非出口区域。
对于上述方法,在一种可能的实现方式中,对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域,包括:
将所述候选出口区域对应的像素作为正票投票,将所述非出口区域作为反票投票;统计所述投票图像中正票大于反票的像素集合作为出口区域像素集合。
对于上述方法,在一种可能的实现方式中,还包括:根据所述出口区域像素点集合,通过连通区域分析提取出口区域,具体包括通过图像处理领域常用的连通区域分析提取所述出口投票图像上的连通区域作为所述出口区域,从而完成所述出口区域识别。
对于上述方法,在一种可能的实现方式中,所述第一预定距离通过以下方法确定:
确定所述视频中所述运动轨迹的结束点区域对应的一帧图像,并根据该帧图像及前一帧图像中的运动目标之间的距离作为所述第一预定距离。
对于上述方法,在一种可能的实现方式中,所述每一条运动轨迹的候选入口区域通过以下方法确定:
确定运动轨迹的起始点区域,并沿所述运动轨迹的行进方向相反的方向移动第二预定距离以作为所述运动轨迹的所述候选入口区域。
对于上述方法,在一种可能的实现方式中,还包括通过以下方法确定所述运动轨迹上的非入口区域:
根据所述运动轨迹在每一帧图像上覆盖的区域,通过求解图像并集区域的方式,将所述运动轨迹覆盖的所有区域的并集确定为所述运动轨迹上的非入口区域。
对于上述方法,在一种可能的实现方式中,对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域,包括:
将所述候选入口区域对应的像素作为正票投票,将所述非入口区域作为反票投票;统计所述投票图像中正票大于反票的像素集合作为入口区域像素集合。
对于上述方法,在一种可能的实现方式中,还包括:根据所述入口区域像素点集合,通过连通区域分析提取入口区域,具体包括通过图像处理领域常用的连通区域分析提取所述入口投票图像上的连通区域作为所述入口区域,从而完成所述入口区域识别。
对于上述方法,在一种可能的实现方式中,所述第二预定距离通过以下方法确定:
确定所述视频中所述运动轨迹的起始点区域对应的一帧图像,并根据该帧图像及后一帧图像中的运动目标之间的距离作为所述第二预定距离。
本发明还提出一种出口和/或入口区域识别装置,用于基于视频识别出口和/或入口区域,包括:
运动轨迹提取模块,用于从视频中提取多条由运动目标形成的运动轨迹;
候选区域确定模块,与所述运动轨迹提取模块连接,用于确定每一条运动轨迹的候选出口区域和/或候选入口区域;
出口和/或入口区域确定模块,用于对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域,其中所述投票图像的尺寸大于或等于所述视频的帧图像的尺寸。
对于上述装置,在一种可能的实现方式中,所述运动轨迹提取模块被配置为:确定运动轨迹的结束点区域,并沿所述运动轨迹的行进方向继续移动第一预定距离以作为所述运动轨迹的所述候选出口区域。
对于上述装置,在一种可能的实现方式中,还包括:
非出口区域确定模块,用于根据所述运动轨迹在每一帧图像上覆盖的区域,通过求解图像并集区域的方式,将所述运动轨迹覆盖的所有区域的并集确定为所述运动轨迹上的非出口区域。
对于上述装置,在一种可能的实现方式中,所述出口和/或入口区域确定模块被配置为:
将所述候选出口区域对应的像素作为正票投票,将所述非出口区域作为反票投票;统计所述投票图像中正票大于反票的像素集合作为出口区域像素集合。
对于上述装置,在一种可能的实现方式中,所述出口和/或入口区域确定模块还被配置为:根据所述出口区域像素点集合,通过连通区域分析提取出口区域:
通过图像处理领域常用的连通区域分析提取所述出口投票图像上的连通区域作为所述出口区域,从而完成所述出口区域识别。
对于上述装置,在一种可能的实现方式中,所述运动轨迹提取模块还被配置为:
确定所述视频中所述运动轨迹的结束点区域对应的一帧图像,并根据该帧图像及前一帧图像中的运动目标之间的距离作为所述第一预定距离。
对于上述装置,在一种可能的实现方式中,所述运动轨迹提取模块被配置为:
确定运动轨迹的起始点区域,并沿所述运动轨迹的行进方向相反的方向移动第二预定距离以作为所述运动轨迹的所述候选入口区域。
对于上述装置,在一种可能的实现方式中,还包括:
非入口区域确定模块,用于根据所述运动轨迹在每一帧图像上覆盖的区域,通过求解图像并集区域的方式,将所述运动轨迹覆盖的所有区域的并集确定为所述运动轨迹上的非入口区域。
对于上述装置,在一种可能的实现方式中,所述出口和/或入口区域确定模块被配置为:
将所述候选入口区域对应的像素作为正票投票,将所述非入口区域作为反票投票;统计所述投票图像中正票大于反票的像素集合作为入口区域像素集合。
对于上述装置,在一种可能的实现方式中,所述出口和/或入口区域确定模块还被配置为:根据所述入口区域像素点集合,通过连通区域分析提取入口区域,具体包括通过图像处理领域常用的连通区域分析提取所述入口投票图像上的连通区域作为所述入口区域,从而完成所述入口区域识别。
对于上述装置,在一种可能的实现方式中,所述运动轨迹提取模块还被配置为:
确定所述视频中所述运动轨迹的起始点区域对应的一帧图像,并根据该帧图像及后一帧图像中的运动目标之间的距离作为所述第二预定距离。
有益效果
本发明通过以图像平面上的运动目标轨迹作为输入,利用投票方法来确定图像平面上的出口和/或入口区域,根据本发明的监控视频中出口和/或入口区域识别方法不需要摄像机标定,不需要任何参数化的假设,就可以快速准确地识别监控视频中的出口和/或入口区域。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面,并且用于解释本发明的原理。
图1示出根据本发明一实施例的出口和/或入口区域识别方法的流程图。
图2示出根据本发明另一实施例的出口区域识别方法的流程图。
图3示出根据本发明另一实施例的入口区域识别方法的流程图。
图4示出根据本发明另一实施例的出口和/或入口区域识别装置。
图5示出根据本发明另一实施例的出口和/或入口区域识别装置。
图6示出根据本发明另一实施例的出口和/或入口区域识别装置。
图7a至图7c示出监控视频出入口区域不相同的情况的识别结果。
图8a至图8c示出监控视频出入口区域相同的情况的识别结果。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本发明的主旨。
图1示出根据本发明一实施例的出口和/或入口区域识别方法的流程图。如图1所示,该出口和/或入口区域识别方法用于基于针对某一场景的监控视频识别出所述场景中的出口和/或入口区域,该方法主要包括:
步骤101、从视频中提取具有统计意义的多条运动轨迹,并确定每一条运动轨迹的候选出口区域和/或候选入口区域。
其中提取运动轨迹可以采用多种方法,例如:可以采用基于检测的跟踪方法,通过检测器得到每一个物体(如行人)在每一个视频帧中的位置,然后采用基于贪心算法的数据关联技术得到每一个物体的轨迹。
具体而言,监控视频包括多个按照时间顺序的帧图像,将监控视频的各帧图像以某一位置例如帧图像的左上角的像素为原点建立图像坐标系,可以确定各运动目标的在该视频所检测的时间范围内的运动轨迹。通常在一段监控视频中会出现多个运动目标,每个运动目标至少可以提取一条运动轨迹(如果运动轨迹的跟踪不连续,一个运动目标可能出现多条运动轨迹)。
举例而言,在一段监控视频中可以提取的运动轨迹的集合为T={Tk|k=1…N},其中Tk代表第k条运动轨迹。每条运动轨迹包括该轨迹在所有帧图像中覆盖的区域(像素块)的集合其中i代表第i帧;而每个区域可以采用一个五元组来表示,其中,表示运动轨迹在第i帧所包括的区域的中心点横坐标,表示该区域的中心点纵坐标,表示该区域的宽度,表示该区域的高度,表示第i帧的时间。该五元组的含义仅为一种示例,也可以采用其他方式来表示每个区域的位置信息。例如:表示运动轨迹第i帧所包括的区域的左上角横坐标,表示该区域的左上角纵坐标。
通常,运动轨迹出口和/或入口区域最有可能出现在运动轨迹的结束或开始位置附近,并且出口和/或入口区域也有可能位于监控场景之外,因此选取的投票图像的尺寸可以设置为大于或等于监控视频的帧图像的尺寸。为了方便统计投票结果,在进行投票之前,可以将投票图像的所有像素初始化为同一个特定值,本发明对该特定值并不做出特殊的限定,可以根据实际应用场景进行自由选择,下述以初始化为0作为示例进行说明。在进行投票过程中,也可以采用两个投票图像分别作为正票累积器和反票累积器进行统计,具体过程将在后续的实施例中描述。
其中,从监控视频中可以获取多条运动轨迹,对于每一条运动轨迹分别在投票图像上进行出口和/或入口区域的投票,将当前处理的运动轨迹作为关注运动轨迹,则步骤101具体可以包括:
步骤1011、确定与关注运动轨迹相关联的候选出口区域、非出口区域、候选入口区域和非入口区域至少之一的位置信息。
步骤1012、按预定的投票规则,改变所述投票图像上与所确定的位置信息相关联的像素的投票结果。
步骤102、在投票图像上,按像素累计统计以确定所述出口和/或所述入口区域,其中所述投票图像的尺寸大于或等于所述视频的帧图像的尺寸。
具体地,针对投票图像上各像素进行投票后,可以确定出监控视频的场景中哪些像素所对应的位置属于出口和/或入口区域。在确定了出口和/或入口区域后,输出的识别结果图像可以采用具有强烈对比的彩色图、灰度图、二值图等将出口和/或入口区域显示出来。以二值图为例,可以将确定的出口和/或入口区域像素统一设置为1,而其余区域像素为0。
图2示出根据本发明另一实施例的出口和/或入口区域识别方法的流程图。如图2所示,本实施例与上述实施例标号相同的步骤具有相同的含义,在此不再赘述。本实施例的出口区域识别方法主要说明识别出口区域的过程,具体可以包括出口正票和出口反票处理过程。
出口正票处理过程如下:
步骤1011可以包括步骤201,确定与关注运动轨迹相关联的候选出口区域的位置信息。以线性预测为例,使所述关注运动轨迹的结束点沿所述关注运动轨迹的行进方向移动第一预定距离,并计算所述结束点移动后的位置信息作为与所述关注运动轨迹相关联的出口区域的位置信息。
其中,确定第一预定距离的方法可以包括:确定所述监控视频中与所述关注运动轨迹相关联的最后两帧图像;分别确定所述关注运动轨迹对应的运动目标在所述最后两帧图像中的位置作为最后两个位置;计算所述最后两个位置之间的距离,作为所述第一预定距离。
例如:根据关注运动轨迹对应的运动目标在最后两帧图像中的位置信息采用式可以使运动轨迹的结束点沿关注运动轨迹的行进方向移动第一预定距离,从而计算得到表示出口区域的位置信息,其中表示第一预定距离的坐标信息。
其中,第一预定距离也可以为0,这种情况下,相当于将关注运动轨迹结束点所在的位置信息作为与关注运动轨迹相关联的候选出口区域的位置信息。
步骤1012可以包括步骤202,对候选出口区域投正票,具体而言,使所述投票图像上与所述候选出口区域的位置信息相关联的像素的第一投票结果增加预定的第一递增量。
例如,将出口正票投票图像上与确定的候选出口区域的位置信息Rexit(Tk)内的各个像素的值增加1。其中,第一递增量可以根据实际场景的需求灵活选择,可以为递增1,也可以递增其他数值。
出口反票处理过程如下:
步骤1021可以包括步骤203,确定与关注运动轨迹相关联的非出口区域的位置信息。具体而言,可以根据所述关注运动轨迹上的像素的位置信息,确定与所述关注运动轨迹相关联的非出口区域的位置信息。
例如,可以通过求解图像并集区域来确定关注运动轨迹,例如取轨迹覆盖的所有区域(i的取值范围为从1~Nk)的点的横坐标最左点和最右点、以及纵坐标最上点和最下点,求得并集区域的宽和高,设置一个和该宽和高相同的标志图像,并将标志图像的所有位置的像素值初始化为0,随后遍历轨迹覆盖的每一个区域的每一个像素,将其在标志图像上对应位置的值设置为1,最后遍历标志图像的所有像素,将值为1的像素确定为所述关注运动轨迹。采用标志图像进行遍历后获得的所述关注运动轨迹,可以对轨迹上的重叠区域进行去重,避免在重叠区域上重复投票而造成的虚假票数。根据所述关注运动轨迹上的像素的位置信息,确定与所述关注运动轨迹相关联的非出口区域的位置信息。
其中,非出口区域的位置信息与上述选取的投票图像的尺寸以及确定的候选出口区域的位置信息有关。
具体而言,如果第一位移为0,可以将所关注运动轨迹的结束点的位置信息确定为候选出口区域的位置信息,然后根据所关注运动轨迹上不与候选出口区域重叠的所有像素的位置信息来确定非出口区域的位置信息,换言之,对该运动轨迹上已经投正票的区域不再投反票。采用这种方法确定候选出口区域和非出口区域,则选取的投票图像的尺寸可以等于或大于监控视频的帧图像的尺寸。
如果第一位移不为0,在所关注运动轨迹的结束帧的下一帧确定候选出口区域的位置信息,可以将所关注运动轨迹上的所有像素的位置信息确定为非出口区域的位置信息。这样,候选出口区域有可能位于监控场景之外,采用这种方法确定候选出口区域和非出口区域,则选取的投票图像的尺寸最好大于监控视频的帧图像的尺寸。
步骤1012可以包括步骤204,对非出口区域投反票。具体而言,可以使所述投票图像上与所述非出口区域的位置信息相关联的像素的第二投票结果增加第二递增量。
例如:根据确定的非出口区域,将出口反票投票图像上与非出口区域的位置信息相关联的像素的值增加1。
本实施例中在投正票和投反票的处理过程中采用了数值相同的第一递增量和第二增量,根据应用场景的需要,也可以将投第一增量和第二增量设置为不同。
判断步骤205,判断是否已经对所有的运动轨迹均执行了上述步骤201至步骤204,若是,则继续进行步骤206;若否,则可以继续选择另一条未处理的运动轨迹作为关注运动轨迹,再次执行上述步骤201至步骤204。
步骤102具体可以包括步骤206,将所述投票图像上所述第一投票结果大于所述第二投票结果的像素区域,确定为所述场景中的出口区域。
具体而言,对投票图像上各个像素的投票结果,如果某一像素的第一投票结果大于第二投票结果,可以说明对该像素投正票的数量大于投反票的数量,则可以将该像素认为属于出口区域的像素。采用类似的方法,可以判断投票图像的哪些像素属于出口区域,并且可以进一步将属于出口区域的像素的值统一设置为1,采用二值化处理来显示出口区域。当然,也可以将像素的值统一设置为不为0的其他值,或者不对属于出口区域的像素进一步统一设置。
作为对上述出口区域识别方法的一个示例,可以采用如下方式实现:可以采用两个累积器分别对投票图像的各像素的投票结果进行计算,可以参见式PosExit(x)=0,NegExit(x)=0,ExitMap(x)=0,将正票累积器、反票累积器以及二值化的投票图像初始化为0,其中,PosExit(x)为像素x的正票累积数量,NegExit(x)为像素x的反票累积数量,ExitMap(x)为投票图像上像素x的值。
在出口正票处理过程中,采用正票累积器来计算对投票图像上的每个像素投正票的数量。具体而言,假设有N条运动轨迹,对于每条运动轨迹,将所确定的候选出口区域的位置信息相关联的像素在正票累积器的相应位置加1,即PosExit(x)=PosExit(x)+1。
在出口反票的场景时,采用反票累积器来计算对投票图像上的每个像素投反票的数量。具体而言,对于每条运动轨迹,将所确定的非出口区域的位置信息相关联的像素在反票累积器的相应位置加1,即NegExit(x)=NegExit(x)+1。
最后,比较投票图像上的每个像素在正票累积器与反票累积器的相应位置的数值,如果PosExit(x)>NegExit(x),即第一投票结果大于第二投票结果,表示正票累积器在像素x相应位置的值大于反票累积器在像素x相应位置的值(简称正票大于反票),可以确定像素x属于出口区域,相应的在投票图像上将属于出口区域的像素的值标记为1,即ExitMap(x)=1。
在本实施例中,由于已经记录了第一投票结果和第二投票结果,在确定出口区域的过程中,还可以设置阈值进行判断,例如设定在第一投票结果所占比例大于预设阈值时,即第一投票结果/(第一投票结果+第二投票结果)大于预设阈值时,认为像素x属于出口区域。
可以进一步的利用对投票图像上各个像素的第一投票结果、第二投票结果,计算每个像素属于所述出口区域的概率,概率的计算采用第一投票结果/(第一投票结果+第二投票结果),可以从概率的角度描述像素点属于所述出口区域的情况,并输出一个出口区域概率分布图。
本实施例的出口正票与出口反票的场景的处理过程没有时序要求,可以先执行正票再执行反票,也可以先执行反票再执行正票。或者在采用两个累积器的情况下,可以同时执行,本发明对此不进行限定。
图3示出根据本发明另一实施例的出口和/或入口区域识别方法的流程图。如图3所示,本实施例与上述实施例标号相同的步骤具有相同的含义,在此不再赘述。本实施例的入口区域识别方法主要说明识别入口区域的过程,具体可以包括入口正票和入口反票处理过程。
入口正票处理过程如下:
步骤1011可以包括步骤301,确定与关注运动轨迹相关联的候选入口区域的位置信息。以线性预测为例,使所述关注运动轨迹的起始点沿所述关注运动轨迹的行进方向相反的方向移动第二预定距离,并计算所述起始点移动后的位置信息作为与所述关注运动轨迹相关联的候选入口区域的位置信息。
其中,确定第二预定距离的方法可以包括:确定所述监控视频中与所述关注运动轨迹相关联的最初两帧图像;分别确定所述关注运动轨迹对应的运动目标在所述最初两帧图像中的位置作为最初两个位置;计算所述最初两个位置之间的距离,作为所述第二预定距离。
例如:根据关注运动轨迹对应的运动目标在最初两帧图像中的位置信息采用式可以使运动轨迹的起始点沿关注运动轨迹的行进方向相反的方向移动第二位移,从而计算得到表示候选入口区域的位置信息,其中表示第二预定距离的坐标信息。
其中,第二位移也可以为0,这种情况下,相当于将关注运动轨迹起始点所在的位置信息作为与关注运动轨迹相关联的候选入口区域的位置信息。
步骤1012可以包括步骤302,对候选入口区域投正票,具体而言,使所述投票图像上与所述候选入口区域的位置信息相关联的像素的第三投票结果增加预定的第三递增量。
例如,将入口正票投票图像上与确定的候选入口区域的位置信息Rentry(Tk)内的各个像素的值增加1。其中,第三递增量可以根据实际场景的需求灵活选择,可以为递增1,也可以递增其他数值,可以设置成和第一增量、第二增量相同,也可以和第一增量、第二增量不同。
入口反票处理过程如下:
步骤1011可以包括步骤303,确定与关注运动轨迹相关联的非入口区域的位置信息。具体而言,可以根据所述关注运动轨迹上的像素的位置信息,确定与所述关注运动轨迹相关联的非入口区域的位置信息。
例如,可以通过求解图像并集区域来确定关注运动轨迹,例如可使用步骤203中描述的方式确定非入口区域。其中,非入口区域的位置信息与上述选取的投票图像的尺寸以及确定的候选入口区域的位置信息有关,可以参见上一实施例中关于非出口区域的相关描述。
步骤1012可以包括步骤304,对非入口区域投反票。具体而言,可以使所述投票图像上与所述非入口区域的位置信息相关联的像素的第四投票结果增加第四递增量。
例如:根据确定的非入口区域,将入口反票投票图像上与非入口区域的位置信息相关联的像素的值增加1。
本实施例中在投正票和投反票的处理过程中采用了数值相同的第三递增量和第四递增量,根据应用场景的需要,也可以将投正票的第三递增量和投反票的第四递增量设置为不同。
判断步骤305,判断是否已经对所有的运动轨迹均执行了上述步骤301至步骤304,若是,则继续进行步骤306;若否,则可以继续选择另一条未处理的运动轨迹作为关注运动轨迹,再次执行上述步骤301至步骤304。
步骤103具体可以包括步骤306,将所述投票图像上所述第三投票结果大于所述第四投票结果的像素区域,确定为所述场景中的入口区域。
具体而言,对投票图像上各个像素的投票结果,如果某一像素的第三投票结果大于第四投票结果,可以说明对该像素投正票的数量大于投反票的数量,则可以将该像素认为属于入口区域的像素。采用类似的方法,可以判断投票图像的哪些像素属于入口区域,并且可以进一步将属于入口区域的像素的值统一设置为1,采用二值化处理来显示入口区域。当然,也可以将像素的值统一设置为不为0的其他值,或者不对属于入口区域的像素进一步统一设置。
作为对上述入口区域识别方法的一个示例,可以采用如下方式实现:可以采用两个累积器分别对投票图像的各像素的投票结果进行计算,可以参见式PosEntry(x)=0,NegEntry(x)=0,EntryMap(x)=0,将正票累积器、反票累积器以及二值化的投票图像初始化为0,其中,PosEntry(x)为像素x的正票累积数量,NegEntry(x)为像素x的反票累积数量,EntryMap(x)为投票图像上像素x的值。
在入口正票处理过程中,采用正票累积器来计算对投票图像上的每个像素投正票的数量。具体而言,假设有N条运动轨迹,对于每条运动轨迹,将所确定的候选入口区域的位置信息相关联的像素在正票累积器的相应位置加1,即PosEntry(x)=PosEntry(x)+1。
在入口反票的场景时,采用反票累积器来计算对投票图像上的每个像素投反票的数量。具体而言,对于每条运动轨迹,将所确定的非入口区域的位置信息相关联的像素在反票累积器的相应位置加1,即NegEntry(x)=NegEntry(x)+1。
最后,比较投票图像上的每个像素在正票累积器与反票累积器的相应位置的数值,如果PosEntry(x)>NegEntry(x),即第三投票结果大于第四投票结果,表示正票累积器在像素x相应位置的值大于反票累积器在像素x相应位置的值(简称正票大于反票),可以确定像素x属于入口区域,相应的在投票图像上将属于入口区域的像素的值标记为1,即EntryMap(x)=1。
在本实施例中,由于已经记录了第三投票结果和第四投票结果,在进行确定入口区域的过程中,还可以设置阈值进行判断,例如设定在第三投票结果所占比例大于预设阈值时,即第三投票结果/(第三投票结果+第四投票结果)大于预设阈值时,认为像素x属于入口区域。
可以进一步的利用对投票图像上各个像素的第三投票结果、第四投票结果,计算每个像素属于所述入口区域的概率,概率的计算采用第三投票结果/(第三投票结果+第四投票结果),可以从概率的角度描述像素点属于所述入口区域的情况,并输出一个入口区域概率分布图。
本实施例的入口正票与入口反票的场景的处理过程没有时序要求,可以先执行正票再执行反票,也可以先执行反票再执行正票。或者在采用两个累积器的情况下,可以同时执行,本发明对此不进行限定。
图4示出根据本发明另一实施例的出口和/或入口区域识别装置。如图4所示,该出口和/或入口区域识别装置用于基于针对某一场景的监控视频识别出所述场景中的出口和/或入口区域,该装置主要包括:
运动轨迹提取模块401,用于从视频中提取多条由运动目标形成的运动轨迹。
候选区域确定模块402,用于确定每一条运动轨迹的候选出口区域和/或候选入口区域。
出口和/或入口区域确定模块403,用于对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域;其中所述投票图像的尺寸大于或等于所述视频的帧图像的尺寸。
具体而言,通常运动轨迹出口和/或入口区域最有可能出现在运动轨迹的结束或开始位置附近,并且出口和/或入口区域也有可能位于监控场景之外,因此选取的投票图像的尺寸可以设置为大于或等于监控视频的帧图像的尺寸。为了方便统计投票结果,在进行投票之前,可以将投票图像的所有像素初始化为同一个特定值,本发明对该特定值并不做出特殊的限定,可以根据实际应用场景进行自由选择,下述以初始化为0作为示例进行说明。在进行投票过程中,也可以采用两个投票图像分别作为正票累积器和反票累积器进行统计。
进一步地,在针对投票图像上各像素进行投票后,可以确定出监控视频的场景中哪些像素所对应的位置属于出口和/或入口区域。在确定了出口和/或入口区域后,输出的识别结果图像可以采用具有强烈对比的彩色图、灰度图、二值图等将出口和/或入口区域显示出来。以二值图为例,可以将确定的出口和/或入口区域像素统一设置为1,而其余区域像素为0。
图5示出根据本发明另一实施例的出口和/或入口区域识别装置。图5与图4相同的组件具有相同的功能,为简明起见,省略对这些组件的详细说明。
如图5所示,与上述实施例的主要区别在于,本实施例的出口和/或入口区域识别装置可以用来识别出口区域,具体可以包括用于进行出口正票处理的模块和用于进行出口反票处理的模块。
其中,用于进行出口正票处理的模块可以包括:
运动轨迹提取模块401,其被配置为确定与关注运动轨迹相关联的候选出口区域的位置信息。具体实现方式可以参见步骤201中的描述。
出口和/或入口区域确定模块403,其被配置为对候选出口区域投正票。具体投票方式可以参见步骤202中的描述。
进一步地,用于进行出口反票处理的模块可以包括:
非出口区域确定模块501,其被配置为确定与关注运动轨迹相关联的非出口区域的位置信息。具体实现方式可以参见步骤203中的描述。
出口和/或入口区域确定模块403,其还被配置为对非出口区域投反票。具体投票方式可以参见步骤204中的描述。
出口和/或入口区域确定模块403,其还被配置为将所述投票图像上所述第一投票结果大于所述第二投票结果的像素区域,确定为所述场景中的出口区域。具体确定方式,可以参见步骤206中的描述。
图6示出根据本发明另一实施例的出口和/或入口区域识别装置。图6与图4、图5相同的组件具有相同的功能,为简明起见,省略对这些组件的详细说明。
如图6所示,与上述实施例的主要区别在于,本实施例的出口和/或入口区域识别装置还可以用来识别入口区域,具体可以包括用于进行入口正票处理的模块和用于进行入口反票处理的模块。
其中,用于进行入口正票处理的模块可以包括:
运动轨迹提取模块401,其被配置为确定与关注运动轨迹相关联的候选入口区域的位置信息。具体实现方式可以参见步骤301中的描述。
出口和/或入口区域确定模块403,其被配置为对候选入口区域投正票。具体投票方式可以参见步骤302中的描述。
进一步地,用于进行入口反票处理的模块可以包括:
非入口区域确定模块601,其被配置为确定与关注运动轨迹相关联的非入口区域的位置信息。具体实现方式可以参见步骤303中的描述。
出口和/或入口区域确定模块403,其还被配置为对非入口区域投反票。具体投票方式可以参见步骤304中的描述。
出口和/或入口区域确定模块403,其还被配置为将所述投票图像上所述第一投票结果大于所述第二投票结果的像素区域,确定为所述场景中的入口区域。具体确定方式,可以参见步骤306中的描述。
图7a至图7c为根据道路的监控视频所确定的入口区域和出口区域的二值化图像;其中,由于隔离带两边的车辆的行驶方向不同,所确定的入口区域和出口区域也不相同。
图8a至图8c为根据室内监控视频所确定的入口区域和出口区域的二值化图像,其中,该走廊的门作为出口区域和入口区域是重叠的。
因此,采用本发明实施例的出口和/或入口区域识别方法和装置,根据监控视频中的运动目标的运动轨迹,在投票图像上按像素对出口和/或入口区域进行投票,能够快速、准确地识别监控视频中的出口和/或入口区域,无需进行复杂的摄像机标定以及参数化假设。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种出口和/或入口区域识别方法,用于基于视频识别出口和/或入口区域,其特征在于,包括:
从视频中提取多条由运动目标形成的运动轨迹,并确定每一条运动轨迹的候选出口区域和/或候选入口区域;
对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域;其中所述投票图像的尺寸大于或等于所述视频的帧图像的尺寸。
2.根据权利要求1所述的方法,其特征在于,其中所述每一条运动轨迹的候选出口区域通过以下方法确定:
确定运动轨迹的结束点区域,并沿所述运动轨迹的行进方向继续移动第一预定距离以作为所述运动轨迹的所述候选出口区域。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括通过以下方法确定所述运动轨迹上的非出口区域:
根据所述运动轨迹在每一帧图像上覆盖的区域,通过求解图像并集区域的方式,将所述运动轨迹覆盖的所有区域的并集确定为所述运动轨迹上的非出口区域。
4.根据权利要求3所述的方法,其特征在于,对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域,包括:
将所述候选出口区域对应的像素作为正票投票,将所述非出口区域作为反票投票;统计所述投票图像中正票大于反票的像素集合作为出口区域像素集合。
5.根据权利要求4所述的方法,其特征在于,还包括:根据所述出口区域像素点集合,通过连通区域分析提取出口区域,具体包括通过图像处理领域常用的连通区域分析提取所述投票图像上的连通区域作为所述出口区域,从而完成所述出口区域识别。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述第一预定距离通过以下方法确定:
确定所述视频中所述运动轨迹的结束点区域对应的一帧图像,并根据该帧图像及前一帧图像中的运动目标之间的距离作为所述第一预定距离。
7.根据权利要求1所述的方法,其特征在于,其中所述每一条运动轨迹的候选入口区域通过以下方法确定:
确定运动轨迹的起始点区域,并沿所述运动轨迹的行进方向相反的方向移动第二预定距离以作为所述运动轨迹的所述候选入口区域。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括通过以下方法确定所述运动轨迹上的非入口区域:
根据所述运动轨迹在每一帧图像上覆盖的区域,通过求解图像并集区域的方式,将所述运动轨迹覆盖的所有区域的并集确定为所述运动轨迹上的非入口区域。
9.根据权利要求8所述的方法,其特征在于,对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域,包括:
将所述候选入口区域对应的像素作为正票投票,将所述非入口区域作为反票投票;统计所述投票图像中正票大于反票的像素集合作为入口区域像素集合。
10.根据权利要求9所述的方法,其特征在于,还包括:根据所述入口区域像素点集合,通过连通区域分析提取入口区域,具体包括通过图像处理领域常用的连通区域分析提取所述投票图像上的连通区域作为所述入口区域,从而完成所述入口区域识别。
11.根据权利要求7-10任一项所述的识别方法,其特征在于,所述第二预定距离通过以下方法确定:
确定所述视频中所述运动轨迹的起始点区域对应的一帧图像,并根据该帧图像及后一帧图像中的运动目标之间的距离作为所述第二预定距离。
12.一种出口和/或入口区域识别装置,用于基于视频识别出口和/或入口区域,其特征在于,包括:
运动轨迹提取模块,用于从视频中提取多条由运动目标形成的运动轨迹;
候选区域确定模块,与所述运动轨迹提取模块连接,用于确定每一条运动轨迹的候选出口区域和/或候选入口区域;
出口和/或入口区域确定模块,用于对每一条运动轨迹的所述候选出口和/或所述候选入口区域,在由视频生成的投票图像中按像素累计统计以确定所述出口和/或所述入口区域,其中所述投票图像的尺寸大于或等于所述视频的帧图像的尺寸。
13.根据权利要求12所述的装置,其特征在于,所述运动轨迹提取模块被配置为:确定运动轨迹的结束点区域,并沿所述运动轨迹的行进方向继续移动第一预定距离以作为所述运动轨迹的所述候选出口区域。
14.根据权利要求13所述的装置,其特征在于,还包括:
非出口区域确定模块,用于根据所述运动轨迹在每一帧图像上覆盖的区域,通过求解图像并集区域的方式,将所述运动轨迹覆盖的所有区域的并集确定为所述运动轨迹上的非出口区域。
15.根据权利要求14所述的装置,其特征在于,所述出口和/或入口区域确定模块被配置为:
将所述候选出口区域对应的像素作为正票投票,将所述非出口区域作为反票投票;统计所述投票图像中正票大于反票的像素集合作为出口区域像素集合。
16.根据权利要求15所述的装置,其特征在于,所述出口和/或入口区域确定模块还被配置为:根据所述出口区域像素点集合,通过连通区域分析提取出口区域:
通过图像处理领域常用的连通区域分析提取所述投票图像上的连通区域作为所述出口区域,从而完成所述出口区域识别。
17.根据权利要求13-16任一项所述的装置,其特征在于,所述运动轨迹提取模块还被配置为:
确定所述视频中所述运动轨迹的结束点区域对应的一帧图像,并根据该帧图像及前一帧图像中的运动目标之间的距离作为所述第一预定距离。
18.根据权利要求12所述的装置,其特征在于,所述运动轨迹提取模块被配置为:
确定运动轨迹的起始点区域,并沿所述运动轨迹的行进方向相反的方向移动第二预定距离以作为所述运动轨迹的所述候选入口区域。
19.根据权利要求18所述的装置,其特征在于,还包括:
非入口区域确定模块,用于根据所述运动轨迹在每一帧图像上覆盖的区域,通过求解图像并集区域的方式,将所述运动轨迹覆盖的所有区域的并集确定为所述运动轨迹上的非入口区域。
20.根据权利要求19所述的装置,其特征在于,所述出口和/或入口区域确定模块被配置为:
将所述候选入口区域对应的像素作为正票投票,将所述非入口区域作为反票投票;统计所述投票图像中正票大于反票的像素集合作为入口区域像素集合。
21.根据权利要求20所述的装置,其特征在于,所述出口和/或入口区域确定模块还被配置为:根据所述入口区域像素点集合,通过连通区域分析提取入口区域,具体包括通过图像处理领域常用的连通区域分析提取所述投票图像上的连通区域作为所述入口区域,从而完成所述入口区域识别。
22.根据权利要求18-21任一项所述的装置,其特征在于,所述运动轨迹提取模块还被配置为:
确定所述视频中所述运动轨迹的起始点区域对应的一帧图像,并根据该帧图像及后一帧图像中的运动目标之间的距离作为所述第二预定距离。
CN201510144127.5A 2015-03-30 2015-03-30 出口和/或入口区域识别方法和装置 Active CN106156695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510144127.5A CN106156695B (zh) 2015-03-30 2015-03-30 出口和/或入口区域识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510144127.5A CN106156695B (zh) 2015-03-30 2015-03-30 出口和/或入口区域识别方法和装置

Publications (2)

Publication Number Publication Date
CN106156695A true CN106156695A (zh) 2016-11-23
CN106156695B CN106156695B (zh) 2019-09-20

Family

ID=57340481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510144127.5A Active CN106156695B (zh) 2015-03-30 2015-03-30 出口和/或入口区域识别方法和装置

Country Status (1)

Country Link
CN (1) CN106156695B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108668233A (zh) * 2017-03-31 2018-10-16 高德软件有限公司 一种建筑物入口检测方法及系统
CN110609281A (zh) * 2019-08-23 2019-12-24 珠海格力电器股份有限公司 一种区域检测方法及装置
CN110717926A (zh) * 2018-07-13 2020-01-21 杭州海康威视数字技术股份有限公司 一种获取行人流量信息的方法及装置
CN112613809A (zh) * 2020-12-15 2021-04-06 拉扎斯网络科技(上海)有限公司 一种标签数据获得方法、装置、电子设备以及存储介质
CN112632413A (zh) * 2020-12-30 2021-04-09 北京嘀嘀无限科技发展有限公司 辅助行程的方法、装置、设备、存储介质和程序产品
CN113785299A (zh) * 2019-05-03 2021-12-10 丰田汽车欧洲股份有限公司 用于发现对象的图像获取设备
CN114509080A (zh) * 2021-12-07 2022-05-17 高德软件有限公司 常用出口、入口的挖掘方法、路线推荐方法及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630364A (zh) * 2009-08-20 2010-01-20 天津大学 基于融合特征的步态信息处理与身份识别方法
CN102063613A (zh) * 2010-12-28 2011-05-18 北京智安邦科技有限公司 基于头部识别的人群计数方法及装置
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102385690A (zh) * 2010-09-01 2012-03-21 汉王科技股份有限公司 基于视频图像的目标跟踪方法及系统
CN102521565A (zh) * 2011-11-23 2012-06-27 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630364A (zh) * 2009-08-20 2010-01-20 天津大学 基于融合特征的步态信息处理与身份识别方法
CN102385690A (zh) * 2010-09-01 2012-03-21 汉王科技股份有限公司 基于视频图像的目标跟踪方法及系统
CN102063613A (zh) * 2010-12-28 2011-05-18 北京智安邦科技有限公司 基于头部识别的人群计数方法及装置
CN102289660A (zh) * 2011-07-26 2011-12-21 华南理工大学 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN102521565A (zh) * 2011-11-23 2012-06-27 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108668233A (zh) * 2017-03-31 2018-10-16 高德软件有限公司 一种建筑物入口检测方法及系统
CN108668233B (zh) * 2017-03-31 2020-11-03 阿里巴巴(中国)有限公司 一种建筑物入口检测方法及系统
CN110717926B (zh) * 2018-07-13 2022-05-17 杭州海康威视数字技术股份有限公司 一种获取行人流量信息的方法及装置
CN110717926A (zh) * 2018-07-13 2020-01-21 杭州海康威视数字技术股份有限公司 一种获取行人流量信息的方法及装置
CN113785299A (zh) * 2019-05-03 2021-12-10 丰田汽车欧洲股份有限公司 用于发现对象的图像获取设备
CN113785299B (zh) * 2019-05-03 2023-12-19 丰田汽车欧洲股份有限公司 用于发现对象的图像获取设备
CN110609281A (zh) * 2019-08-23 2019-12-24 珠海格力电器股份有限公司 一种区域检测方法及装置
CN112613809A (zh) * 2020-12-15 2021-04-06 拉扎斯网络科技(上海)有限公司 一种标签数据获得方法、装置、电子设备以及存储介质
CN112613809B (zh) * 2020-12-15 2024-03-22 拉扎斯网络科技(上海)有限公司 一种标签数据获得方法、装置、电子设备以及存储介质
CN112632413A (zh) * 2020-12-30 2021-04-09 北京嘀嘀无限科技发展有限公司 辅助行程的方法、装置、设备、存储介质和程序产品
CN112632413B (zh) * 2020-12-30 2024-05-14 北京嘀嘀无限科技发展有限公司 辅助行程的方法、装置、设备、存储介质和程序产品
CN114509080A (zh) * 2021-12-07 2022-05-17 高德软件有限公司 常用出口、入口的挖掘方法、路线推荐方法及产品
CN114509080B (zh) * 2021-12-07 2024-04-16 高德软件有限公司 常用出口、入口的挖掘方法、路线推荐方法及产品

Also Published As

Publication number Publication date
CN106156695B (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN106156695A (zh) 出口和/或入口区域识别方法和装置
CN103986910A (zh) 一种基于智能分析摄像机的客流统计方法和系统
KR102373753B1 (ko) 딥러닝 기반의 차량식별추적 방법, 및 시스템
Hoang et al. Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning
EP2709066A1 (en) Concept for detecting a motion of a moving object
CN105512640A (zh) 一种基于视频序列的人流量统计方法
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN107239762A (zh) 一种基于视觉的公交车内乘客人数统计方法
CN103605967A (zh) 一种基于图像识别的地铁防逃票系统及其工作方法
CN109657580B (zh) 一种城市轨道交通闸机通行控制方法
CN105427342A (zh) 一种水下小目标声呐图像目标检测跟踪方法和系统
Prokaj et al. Using 3d scene structure to improve tracking
Masmoudi et al. Trajectory analysis for parking lot vacancy detection system
Zhang et al. Image-based approach for parking-spot detection with occlusion handling
CN114155489A (zh) 一种多设备协同的无人机飞手检测方法、设备及存储介质
Al Nasim et al. An automated approach for the recognition of bengali license plates
BOURJA et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
CN110909607B (zh) 一种智慧地铁运营中客流感知的装置系统
EP2709065A1 (en) Concept for counting moving objects passing a plurality of different areas within a region of interest
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN114663839B (zh) 一种遮挡行人重识别方法及系统
CN105206060A (zh) 一种基于sift特征的车型识别装置及其方法
Balci et al. Front-View Vehicle Make and Model Recognition on Night-Time NIR Camera Images
Lin et al. Incorporating appearance and edge features for vehicle detection in the blind-spot area
Xie et al. Feature Enhancement and Alignment for Oriented Object Detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant