CN116912779A - 一种排队检测方法、装置、电子设备和可读存储介质 - Google Patents

一种排队检测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN116912779A
CN116912779A CN202311168161.7A CN202311168161A CN116912779A CN 116912779 A CN116912779 A CN 116912779A CN 202311168161 A CN202311168161 A CN 202311168161A CN 116912779 A CN116912779 A CN 116912779A
Authority
CN
China
Prior art keywords
queuing
personnel
area
preset
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311168161.7A
Other languages
English (en)
Other versions
CN116912779B (zh
Inventor
陈友明
陈思竹
郭莉莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Honghe Digital Intelligence Group Co ltd
Original Assignee
Sichuan Honghe Digital Intelligence Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Honghe Digital Intelligence Group Co ltd filed Critical Sichuan Honghe Digital Intelligence Group Co ltd
Priority to CN202311168161.7A priority Critical patent/CN116912779B/zh
Priority to CN202311613106.4A priority patent/CN117475380A/zh
Publication of CN116912779A publication Critical patent/CN116912779A/zh
Application granted granted Critical
Publication of CN116912779B publication Critical patent/CN116912779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种排队检测方法、装置、电子设备和可读存储介质,涉及图像领域,其中的方法包括:在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息;基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线;若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队;若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。通过上述方法,有助于提高异常排队检测的准确率和效率。

Description

一种排队检测方法、装置、电子设备和可读存储介质
技术领域
本申请涉及图像领域,尤其涉及一种排队检测方法、装置、电子设备和可读存储介质。
背景技术
维持银行、机场、加油站等公共场所的秩序稳定十分重要,其中,通过及时调整乱排队、队伍歪斜等异常排队的情况来保证人员排队的秩序性至关紧要。
在先技术中,通常通过在现场对排队情况进行人工判断,或是通过摄像头人工观测排队情况,进而实现对异常排队情况的检测,然后再对异常排队情况进行调整。然而通过人工判断异常排队情况的方法不仅效率太低;而且在摄像头存在遮挡物或是非直线排队等视角混淆的情况下,往往会进一步影响人工判断异常排队的结果,降低异常排队检测的正确率。
发明内容
本申请实施例提供一种排队检测方法、装置、电子设备和可读存储介质,有助于提高异常排队情况的检测效率和正确率。
为了解决上述问题,第一方面,本申请实施例公开了一种排队检测方法,所述方法包括:
在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息;
基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线;
若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队;
若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。
可选地,所述基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线,包括:
根据所述转角的位置和/或所述遮挡物的位置将所述排队区域划分为至少两个子区域;
基于所述子区域内的人员位置信息进行霍夫变换,得到至少两条人员排队直线,其中,一个子区域对应一条人员排队直线。
可选地,所述人员位置信息包括排队人员所处位置的纵坐标和横坐标;所述基于所述子区域内的人员位置信息进行霍夫变换,得到至少两条人员排队直线,包括:
针对每个子区域,将所述子区域的人员位置信息对应的第一极坐标参数公式,映射为霍夫空间中的第二极坐标参数公式,所述第二极坐标参数公式中包括距离参数、角度参数、排队人员的横坐标和纵坐标;
遍历多个预设的角度参数,将预设的角度参数、所述子区域中的排队人员所处位置的纵坐标和横坐标输入所述第二极坐标参数公式,计算得到对应的距离参数结果;
统计同一预设的角度参数下的不同距离参数结果的出现次数;
将所述出现次数满足预设条件的角度参数下的距离参数结果确定为目标距离参数,将所述目标距离参数对应的角度参数确定为目标角度参数;
基于所述目标距离参数和所述目标角度参数,确定所述第二极坐标参数公式对应的目标极坐标公式,并将所述目标极坐标公式对应的直线确定为人员排队直线。
可选地,根据所述转角的位置和/或所述遮挡物的位置将所述排队区域划分为至少两个子区域,包括:
若在所述排队区域中存在转角,则以转角所在的位置为边界,将所述排队区域划分为至少两个子区域;
若检测到所述排队区域内存在遮挡物,则以所述遮挡物为边界,将所述排队区域划分为至少两个子区域。
可选地,所述方法还包括:
若所述排队区域内的排队情况为正常排队,则获取工作区域内的工作人员数量和所述排队区域内的排队人员数量;
若所述工作人员数量为零,且所述排队人员数量不为零,则将所述排队情况修改为异常排队并发送提醒消息;
若所述工作人员数量不为零,且各个排队区域内的排队人员数量不满足预设的人员数量条件,则将所述排队情况修改为异常排队并发送提醒消息。
可选地,所述预设的人员数量条件包括:排队人员数量最多的排队区域与排队人员数量最少的排队区域的数量差值大于预设阈值。
可选地,所述预设位置条件包括所述至少两条人员排队直线相互平行、所述至少两条人员排队直线属于同一条直线和所述至少两条人员排队直线的交点位于所述排队区域内中的任意一项。
第二方面,本申请实施例公开了一种排队检测装置,所述装置包括:
信息获取模块,用于在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息;
回归模块,用于基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线;
异常检测模块,用于若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队;
正常检测模块,用于若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。
第三方面,本申请实施例公开了一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器可以执行所述计算机程序以实现如前述一个或多个所述的排队检测方法。
第四方面,本申请实施例公开了一种可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如前述一个或多个所述的排队检测方法。
本申请实施例包括以下优点:
本申请提供了一种排队检测方法,通过在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息;基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线;若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队;若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。通过上述方法,利用直线回归处理可以实时得到排队区域中的至少两条人员排队直线,即可以快速得到该排队区域内各个排列队伍整体走势情况,而利用队伍整体走势情况则有助于提高异常排队检测的准确率;并且,不再需要人工进行异常排队情况的检测,有助于提高异常排队检测的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种排队检测方法的步骤流程图;
图2是本申请实施例提供的另一种排队检测方法的流程示意图;
图3是本申请实施例提供的一种基于队列人数的排队检测方法的流程图;
图4是本申请的一种排队检测装置实施例的结构框图;
图5是本申请实施例提出的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
方法实施例
参照图1,示出了本申请的一种排队检测方法实施例的步骤流程图,所述方法具体可以包括如下步骤:
步骤101、在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息。
其中,排队区域是指预设的用于人员排队的区域,例如收银台、飞机检票口前面的划定的排队区域。人员位置信息是指排队人员在排队区域中的具体位置,具体可以通过笛卡尔坐标系、极坐标等方式进行表示,本申请对此不作限定。
存在转角的排队区域是指非直线排列的排队区域,例如L型、Z型排队区域等。遮挡物具体可以指遮挡住摄像头的物体。基于此,可以理解的是,在所述排队区域中存在转角和/或检测到遮挡物的情况下,由于视角混淆的原因,容易造成对排队情况判断不准确的情况发生,因此为了提高异常排队检测的准确性,可以在排队区域中存在转角和/或检测到遮挡物的情况下,实时检测预设的排队区域内的人员位置信息,以便于及时识别异常排队情况并进行调整。
具体地,可以利用外设的多个摄像头实时获取排队区域的图像,并通过YOLOV5、YOLOV7等基于深度学习的图像识别方法对排队区域中的排队人员进行位置检测,例如利用基于深度学习的目标跟踪算法检测排队人员的人头,并将人头中心点所处的位置作为排队人员在排队区域中的具体位置,当然,也可以根据排队人员双脚连线的中心点所在位置作为排队人员在排队区域中的具体位置,具体可以根据实际情况进行设定,本申请对此不作限定。
作为一种示例,参照图2所示的本申请实施例提供的另一种排队检测方法的流程示意图,可以通过布设在现场的包括多个摄像头的摄像头集群采集预设的排队区域的图像并进行识别。在识别出排队区域为非直线排队或检测到遮挡物的情况下,进一步采集排队区域内各个排队人员现场排队人员的图像信息。然后利用预设的深度学习模型检测各个排队人员的人头,将人头中心点所处的位置作为排队人员在排队区域中的具体位置,从而获取到排队人员的人员位置信息。接下来便可以基于获取到的人员位置信息执行后续异常排队检测的步骤,得到各个排队区域分别对应的排队情况,即异常排队检测结果。
另外,以收银区为例,用于图像识别的深度学习模型的训练过程可以参照下述过程:
1、获取大量的收银区内人员排队数据,所述人员排队数据中包括排列区域图像和对应的排队人员标签。
2、对获取的人员排队数据利用数据裁剪、缩放大小和水平翻转等数据增强技术进行预处理。
3、基于预处理后的排列区域图像和对应的排队人员标签对初始的深度学习模型进行训练,得到用于执行步骤101的深度学习模型。
步骤102、基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线。
直线回归处理是指一种通过对不同位置的点进行回归处理从而归纳后的直线的处理方法,该直线用于形容不同点之间的线性关系。其中,直线回归处理的具体方式包括但不限于霍夫变换、最小二乘法、岭回归等方式,具体可以根据实际的队伍回归效果进行确定。
人员排队直线是指根据单个排队区域中各个排队人员的位置经过回归处理得到的直线,用于标识排队人员构成的队伍的整体走势,可以根据排列区域对应的转角或遮挡物进行划分,例如Z型排队区域可以划分为一个“|”型子区域和两个“一”型子区域,可以针对每个子区域中的排队人员分别进行直线回归处理,从而得到三条人员排队直线。并且,本申请也不限定回归处理后得到的一定是直线,也可以是由排列队伍的长短确定的人员排队线段,具体应用可以根据实际情况进行选择。
可以理解的是,在所述排队区域中存在转角和/或检测到遮挡物的情况下,由于视角混淆的原因,容易造成对排队情况判断不准确的情况发生。因此,在本申请实施例中,利用排队区域中的人员位置信息,对由各个排队人员构成的队伍进行直线回归处理,得到至少两条人员排队直线,即得到了该排队区域内各个排列队伍整体走势情况,而利用队伍整体走势情况则有助于提高异常排队检测的准确率;并且,不再需要人工进行异常排队情况的检测,有助于提高异常排队检测的效率。
以排队区域A为L型排队路线为例,L型的排队区域实质上可以划分为“|”型子区域和“一”型子区域,每个区域对应一个人员排队直线,若“|”型区域中的人员排队直线和“一”型区域中的人员排队直线未相交于排队区域内,则说明两条直线中至少存在一条直线对应的排列队伍过于歪斜,需要进行调整。
而在排队区域中不存在转角且未检测到遮挡物等异常状况的情况下,则可以直接通过摄像头采集不同排队区域的排队人员数量信息,并根据各个排队区域的排队人员数量进行调整,以在保证现场秩序的同时,提高工作的执行效率。基于此。也可以根据排队区域的人员流动数量判断工作人员的工作效率,本申请对此不作限定。
步骤103、若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队。
其中,预设位置条件为检测同一排队区域内的人员排队直线即排列队伍是否有序的条件,例如在存在摄像头遮挡物的情况下,遮挡物前后的两条人员排队直线需要平行、在一条直线上才能确定为正常排队情况,若是两条直线的整体走势偏差过大,则说明该排列区域中的排列队伍排列过于混乱,属于异常排队;在排队区域中存在转角的情况下,则可以根据不同人员排队直线或人员排队线段的相交情况来判断是否属于异常排队。
在至少两条人员排队直线的相对位置关系不满足预设位置条件,则可以确定排队区域内的排队情况为异常排队,进而进行预警,以及时调整排队区域的秩序,避免由于现场秩序过乱导致现场工作的运营效率降低的问题发生。
步骤104、若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。
而在所述至少两条人员排队直线的相对位置关系满足预设位置条件,则说明该排队区域内的队伍并未出现过于混乱的情况,即可以确定该排队区域内的排队情况为正常排队。在正常排队的情况下,则有助于提高后续人员数量检测、人员疏导等工作的执行效率。
综上所述,本申请提供了一种排队检测方法,通过在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息;基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线;若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队;若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。通过上述方法,利用直线回归处理可以实时得到排队区域中的至少两条人员排队直线,即可以快速得到该排队区域内各个排列队伍整体走势情况,而利用队伍整体走势情况则有助于提高异常排队检测的准确率;并且,不再需要人工进行异常排队情况的检测,有助于提高异常排队检测的效率。
可选地,步骤102所述基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线,包括:
步骤S11、根据所述转角的位置和/或所述遮挡物的位置将所述排队区域划分为至少两个子区域;
步骤S12、基于所述子区域内的人员位置信息进行霍夫变换,得到至少两条人员排队直线,其中,一个子区域对应一条人员排队直线。
其中,其中霍夫(Hough)变换是图像处理中的一种特征提取技术,通过一种投票算法检测具有特定形状的物体。在进行直线检测时,将要检测的对象转到霍夫空间中,利用累加器找到最优解,该最优解即为所求直线。而在将对象转换到霍夫空间的过程中,可以根据检测对象的不同选择不同的表达方式,例如基于笛卡尔空间坐标系的坐标表达方式、极坐标表达方式等,具体可以根据实际情况进行选择,本申请对此不做限定。
而为了降低排队区域中存在转角以及遮挡物等情况对排队检测的干扰,可以根据转角的位置和/或遮挡物的位置将排队区域划分为至少两个子区域,再进行基于每个子区域中排队人员的霍夫变换,这种处理方式有助于将复杂的排队情况简单化,避免转角或遮挡物等对于直线回归的误导,提高异常排队检测的正确率。
可选地,所述人员位置信息包括排队人员所处位置的纵坐标和横坐标;步骤S12所述基于所述子区域内的人员位置信息进行霍夫变换,得到至少两条人员排队直线,可以包括:
步骤S21、针对每个子区域,将所述子区域的人员位置信息对应的第一极坐标参数公式,映射为霍夫空间中的第二极坐标参数公式,所述第二极坐标参数公式中包括距离参数、角度参数、排队人员的横坐标和纵坐标;
步骤S22、遍历多个预设的角度参数,将预设的角度参数、所述子区域中的排队人员所处位置的纵坐标和横坐标输入所述第二极坐标参数公式,计算得到对应的距离参数结果;
步骤S23、统计同一预设的角度参数下的不同距离参数结果的出现次数;
步骤S24、将所述出现次数满足预设条件的角度参数下的距离参数结果确定为目标距离参数,将所述目标距离参数对应的角度参数确定为目标角度参数;
步骤S25、基于所述目标距离参数和所述目标角度参数,确定所述第二极坐标参数公式对应的目标极坐标公式,并将所述目标极坐标公式对应的直线确定为人员排队直线。
为了表达排队人员在排队区域中的位置信息,因此,可以利用预设的笛卡尔坐标系来衡量每个排队人员的相对位置。其中,(xi,yi)则可以表示当前排队子区域中第i个排队人员的位置。
可以理解的是,在笛卡尔坐标系中,一条直线可以由两个位置点(x1,y1)和(x2,y2)唯一确定。假设当前子区域对应的人员排队直线的直线方程式为y=ax+b,那么将该方程写为(a,b)的表达式转换后则为:
,(1)
其中,a、b表示待确定的人员排队直线的方程式的参数,转换后得到的公式(1)所表达的空间即为霍夫空间,也即笛卡尔坐标系中的一条直线对应霍夫空间中的一个点(a,b),该直线可以由点(a,b)唯一确定。
而考虑到可能存在的“a的值不存在”的情况,因此,可以将笛卡尔坐标系中的直线方程式转换为极坐标公式进行表达,其中,极坐标公式可以表示为下述公式第一极坐标参数公式:
,(2)
对上述公式(2)进行简单变换后即可得到第二极坐标参数公式:
,(3)
其中,ρ是点到原点的距离,θ是点的法线与x轴的夹角,x、y分别表示排队区域中排队人员所在位置的横纵坐标。
而为了计算符合当前子区域中人员排队直线的(ρ,θ),可以遍历每个预设的角度参数,并将当前角度参数和每个(xi,yi)输入到上述公式(3)中,即可得到第j个角度参数θj、第i个排队人员位置点(xi,yi)对应的距离参数ρ(i,j)。然后统计同一角度参数下ρ(i,j)的出现次数,将出现满足预设条件的ρ(i,j)确定为目标距离参数ρmax,将该目标距离参数ρmax对应的角度参数确定为目标角度参数θmax。其中,预设条件包括但不限于出现次数大于预设阈值、出现次数的排名符合预设排名等。
将极值点(ρmax,θmax)转换回笛卡尔坐标系。在θmax不为0或π的情况下,参照下述公式:
,(4)
便可以求出当前子区域的人员排队直线的参数方程式中的参数k和b,代入上述公式(1),得到当前子区域的人员排队直线为:
,(5)
在对每个子区域中的排队人员位置进行霍夫变换之后,得到每个子区域分别对应的人员排队直线。
以预设条件为出现次数最多为例,假定在一个8×8的平面像素中有一条直线,每个像素点的坐标分别为(8,1)、(7,2)、(6,3)、(5,4)、(4,5)、(3,6)、(2,7)、(1,8)、并且从左上角(1,8)像素点开始分别计算θ为0°、45°、90°、135°、180°时的ρ,将上述坐标和θ分别代入上述公式(3),可以得到不同坐标点和不同θ所对应的不同ρ值,例如(1,8)对应的ρ分别为1、(9)/2、8、(7/>)/2、-1,并给这5个值分别记一票,同理计算像素点(3,6)在θ为0°、45°、90°、135°、180°时对应的ρ值,再给计算出来的5个ρ值分别记一票。以此类推,当遍历完整个8×8的像素空间以及每个θ的时候,“θ=45°,ρ = (9/>)/2”就记了5票,别的角度参数θ对应的ρ值的票数均小于5票,所以得到该直线在这个8×8的像素坐标中的极坐标方程为 (9/>)/2=x×cos45°+y×sin45°,即该人员排队直线的方程表达式为:x+y=9。其中,预设的角度参数可以根据实际情况进行调整,本申请对此不作限定。
在上述基于极坐标的霍夫变换的直线回归方式中,针对每个排队人员对应的坐标点进行独立处理,因此即使存在部分内容被遮挡了也可以通过投票处理进行直线回归,可以较好地解决存在遮挡物的问题,有助于提高排列队伍对应直线的识别准确率。
可选地,步骤S11根据所述转角的位置和/或所述遮挡物的位置将所述排队区域划分为至少两个子区域,包括:
步骤S31、若在所述排队区域中存在转角,则以转角所在的位置为边界,将所述排队区域划分为至少两个子区域;
步骤S32、若检测到所述排队区域内存在遮挡物,则以所述遮挡物为边界,将所述排队区域划分为至少两个子区域。
在排队区域中存在转角的情况下,可以转角所在的位置为边界,将所述排队区域划分为至少两个子区域。例如,Z型排队区域可以划分为一个“|”型子区域和两个“一”型子区域。
在检测到遮挡物的情况下,则可以以遮挡物为边界,按照遮挡物所在位置将排队区域划分为至少两个子区域。例如,当矩形排队区域A中存在一个遮挡物时,以A的长边为参照,可以将遮挡物前后的区域划分为两个子区域。
而在排队区域中存在转角且检测到遮挡物的情况下,则可以分别以遮挡物和转角为边界,将排队区域划分为至少三个子区域。例如,当前排队区域B为“L”型区域,同时,摄像头在检测“一”型子区域时检测到存在遮挡物挡住镜头,因此,可以将该“一”型子区域按照遮挡物所在位置进一步划分为两个子区域,也即将检测到遮挡物的“L”型区域划分为三个子区域。
可选地,所述方法还包括:
步骤S41、若所述排队区域内的排队情况为正常排队,则获取工作区域内的工作人员数量和所述排队区域内的排队人员数量;
步骤S42、若所述工作人员数量为零,且所述排队人员数量不为零,则将所述排队情况修改为异常排队并发送提醒消息;
步骤S43、若所述工作人员数量不为零,且各个排队区域内的排队人员数量不满足预设的人员数量条件,则将所述排队情况修改为异常排队并发送提醒消息。
其中,正常排队的排队情况包括但不限于排队区域中不存在转角且未检测到遮挡物的情况、如图1内容中所述的至少两条直线符合预设条件的情况等。
为了实现对不同排队区域中排队人员的合理调度,提高现场的运营效率,因此可以根据工作人员数量以及不同排队区域中排队人员的数量进行二次排队情况检测和预警。其中,预设的人员数量条件包括但不限于各个排队区域中排队人数的差值、单个排队区域中人数不超过预设值等,具体可以根据实际情况继续调整,本申请对此不做限定。
具体地,在排队区域对应工作人员人数为零的情况下,说明该排队区域不提供服务,在该排队区域属于异常排队;而在排队区域对应工作人员人数不为零的情况下,还要权衡不同排队区域的运营效率,若各个排队区域内的排队人员数量不满足预设的人员数量条件,则需要发出提示消息以调整排列区域中的排队人数。
以银行收银区为例,参照图3所示的本申请实施例提供的一种基于队列人数的排队检测方法的流程图,其中,Y表示是,N表示否。在排队区域内的排队情况为正常排队的情况下,检测工作人员数量,若检测到某排列区域无工作人员且有排队人员,则输出异常排队,并发送提示消息以将该区域的排队人员调整到其他区域或安排工作人员到该区域;若检测到有工作人员且有排队人员,则计算多个排队队列中的排队人员数量的最大值和最小值,即图3中所述的“队列最大值和最小值”,并计算最大值和最小值的差值,将该差值与预设的异常排队的人数阈值进行比较。若差值小于或等于预设的人数阈值,则为正常排队,若差值大于阈值,则为异常排队并进行预警,以及时调整排队区域的秩序,避免由于现场秩序过乱导致现场工作的运营效率降低的问题发生。
另外,还可以根据追踪排队人员的数量来统计工作人员效率。即使用深度学习算法对排队人员进行人头目标跟踪,根据一定时间内的事项完成的排队人员数量来对工作人员效率进行判定,从而方便进行经营策略调整和人员优化。
可选地,所述预设的人员数量条件包括:排队人员数量最多的排队区域与排队人员数量最少的排队区域的数量差值大于预设阈值。
其中,预设阈值可以根据实际情况进行调整,本申请对此不做限定。
可选地,所述预设位置条件包括所述至少两条人员排队直线相互平行、所述至少两条人员排队直线属于同一条直线和所述至少两条人员排队直线的交点位于所述排队区域内中的任意一项。
针对“所述至少两条直线相互平行”以及“所述至少两条直线属于同一条直线”的位置条件,考虑到排队人员的个体差异性和直线回归处理可能存在的误差,因此在本申请实施例中,可以“同一直线”和“平行条件”拓展为“在至少两条直线中,任一相邻直线之间的钝角夹角大于或等于预设的角度”,其中,预设的角度可以根据实际情况进行调整,本申请对此不做限定。
另外,为了进一步提高异常排队检测的准确性,也可以针对排队区域中存在转角以及检测到遮挡物等不同的情况,针对性设置预设位置条件。例如,在存在摄像头遮挡物的情况下,将预设位置条件设置为“所述至少两条直线相互平行”、“所述至少两条直线属于同一条直线”以及“在至少两条直线中,任一相邻直线之间的钝角夹角大于或等于预设的角度”中的任意一项;在排队区域中存在转角的情况下,则可以将预设位置条件设置为“所述至少两条直线的交点位于所述排队区域内”。基于此,有助于进一步降低转角、遮挡物等情况对于直线回归处理的干扰,提高异常排队检测的准确率。
装置实施例
参照图4,示出了本申请的一种排队检测装置实施例的结构框图,排队检测装置200具体可以包括:
信息获取模块201,用于在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息;
回归模块202,用于基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线;
异常检测模块203,用于若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队;
正常检测模块204,用于若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。
可选地,所述回归模块,包括:
区域划分子模块,用于根据所述转角的位置和/或所述遮挡物的位置将所述排队区域划分为至少两个子区域;
霍夫变换子模块,用于基于所述子区域内的人员位置信息进行霍夫变换,得到至少两条人员排队直线,其中,一个子区域对应一条人员排队直线。
可选地,所述人员位置信息包括排队人员所处位置的纵坐标和横坐标;所述霍夫变换子模块,包括:
空间映射子模块,用于针对每个子区域,将所述子区域的人员位置信息对应的第一极坐标参数公式,映射为霍夫空间中的第二极坐标参数公式,所述第二极坐标参数公式中包括距离参数、角度参数、排队人员的横坐标和纵坐标;
参数计算子模块,用于遍历多个预设的角度参数,将预设的角度参数、所述子区域中的排队人员所处位置的纵坐标和横坐标输入所述第二极坐标参数公式,计算得到对应的距离参数结果;
统计子模块,用于统计同一预设的角度参数下的不同距离参数结果的出现次数;
目标参数确定子模块,用于将所述出现次数满足预设条件的角度参数下的距离参数结果确定为目标距离参数,将所述目标距离参数对应的角度参数确定为目标角度参数;
直线确定子模块,用于基于所述目标距离参数和所述目标角度参数,确定所述第二极坐标参数公式对应的目标极坐标公式,并将所述目标极坐标公式对应的直线确定为人员排队直线。
可选地,根据所述转角的位置和/或所述遮挡物的位置将所述排队区域划分为至少两个子区域,包括:
第一区域划分子模块,用于若在所述排队区域中存在转角,则以转角所在的位置为边界,将所述排队区域划分为至少两个子区域;
第二区域划分子模块,用于若检测到所述排队区域内存在遮挡物,则以所述遮挡物为边界,将所述排队区域划分为至少两个子区域。
可选地,所述方法还包括:
人员数量获取模块,用于若所述排队区域内的排队情况为正常排队,则获取工作区域内的工作人员数量和所述排队区域内的排队人员数量;
第一提示模块,用于若所述工作人员数量为零,且所述排队人员数量不为零,则将所述排队情况修改为异常排队并发送提醒消息;
第二提示模块,用于若所述工作人员数量不为零,且各个排队区域内的排队人员数量不满足预设的人员数量条件,则将所述排队情况修改为异常排队并发送提醒消息。
可选地,所述预设的人员数量条件包括:排队人员数量最多的排队区域与排队人员数量最少的排队区域的数量差值大于预设阈值。
可选地,所述预设位置条件包括所述至少两条人员排队直线相互平行、所述至少两条人员排队直线属于同一条直线和所述至少两条人员排队直线的交点位于所述排队区域内中的任意一项。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于同一发明构思,本申请实施例公开一种电子设备,图5示出了本申请实施例提出的电子设备的示意图,如图5所示,电子设备100包括:存储器110和处理器120,存储器110与处理器120之间通过总线通信连接,存储器110中存储有计算机程序,该计算机程序可在处理器120上运行,以实现本申请实施例公开的排队检测方法中的步骤。
基于同一发明构思,本申请实施例公开一种可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现本申请实施例公开的排队检测方法中的步骤。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其他设备固有相关。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图,或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请的排序设备中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内所做的任何修改、等同替换和改进等,均应包含在本申请的保护范围之内。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
需要说明的是,本申请实施例中获取各种数据相关过程,都是在遵照所在地相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。

Claims (10)

1.一种排队检测方法,其特征在于,所述方法包括:
在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息;
基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线;
若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队;
若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。
2.根据权利要求1所述的排队检测方法,其特征在于,所述基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线,包括:
根据所述转角的位置和/或所述遮挡物的位置将所述排队区域划分为至少两个子区域;
基于所述子区域内的人员位置信息进行霍夫变换,得到至少两条人员排队直线,其中,一个子区域对应一条人员排队直线。
3.根据权利要求2所述的排队检测方法,其特征在于,所述人员位置信息包括排队人员所处位置的纵坐标和横坐标;所述基于所述子区域内的人员位置信息进行霍夫变换,得到至少两条人员排队直线,包括:
针对每个子区域,将所述子区域的人员位置信息对应的第一极坐标参数公式,映射为霍夫空间中的第二极坐标参数公式,所述第二极坐标参数公式中包括距离参数、角度参数、排队人员的横坐标和纵坐标;
遍历多个预设的角度参数,将预设的角度参数、所述子区域中的排队人员所处位置的纵坐标和横坐标输入所述第二极坐标参数公式,计算得到对应的距离参数结果;
统计同一预设的角度参数下的不同距离参数结果的出现次数;
将所述出现次数满足预设条件的角度参数下的距离参数结果确定为目标距离参数,将所述目标距离参数对应的角度参数确定为目标角度参数;
基于所述目标距离参数和所述目标角度参数,确定所述第二极坐标参数公式对应的目标极坐标公式,并将所述目标极坐标公式对应的直线确定为人员排队直线。
4.根据权利要求2所述的排队检测方法,其特征在于,根据所述转角的位置和/或所述遮挡物的位置将所述排队区域划分为至少两个子区域,包括:
若在所述排队区域中存在转角,则以转角所在的位置为边界,将所述排队区域划分为至少两个子区域;
若检测到所述排队区域内存在遮挡物,则以所述遮挡物为边界,将所述排队区域划分为至少两个子区域。
5.根据权利要求1所述的排队检测方法,其特征在于,所述排队检测方法还包括:
若所述排队区域内的排队情况为正常排队,则获取工作区域内的工作人员数量和所述排队区域内的排队人员数量;
若所述工作人员数量为零,且所述排队人员数量不为零,则将所述排队情况修改为异常排队并发送提醒消息;
若所述工作人员数量不为零,且各个排队区域内的排队人员数量不满足预设的人员数量条件,则将所述排队情况修改为异常排队并发送提醒消息。
6.根据权利要求5所述的排队检测方法,其特征在于,所述预设的人员数量条件包括:排队人员数量最多的排队区域与排队人员数量最少的排队区域的数量差值大于预设阈值。
7.根据权利要求1所述的排队检测方法,其特征在于,所述预设位置条件包括所述至少两条人员排队直线相互平行、所述至少两条人员排队直线属于同一条直线和所述至少两条人员排队直线的交点位于所述排队区域内中的任意一项。
8.一种排队检测装置,其特征在于,所述装置包括:
信息获取模块,用于在预设的排队区域中存在转角和/或检测到遮挡物的情况下,实时检测所述排队区域内的人员位置信息;
回归模块,用于基于所述人员位置信息进行直线回归处理,得到至少两条人员排队直线;
异常检测模块,用于若所述至少两条人员排队直线的相对位置关系不满足预设位置条件,则确定所述排队区域内的排队情况为异常排队;
正常检测模块,用于若所述至少两条人员排队直线的相对位置关系满足预设位置条件,则确定所述排队区域内的排队情况为正常排队。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现权利要求1-7中任一所述的排队检测方法中的步骤。
10.一种可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-7中任一所述的排队检测方法中的步骤。
CN202311168161.7A 2023-09-12 2023-09-12 一种排队检测方法、装置、电子设备和可读存储介质 Active CN116912779B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202311168161.7A CN116912779B (zh) 2023-09-12 2023-09-12 一种排队检测方法、装置、电子设备和可读存储介质
CN202311613106.4A CN117475380A (zh) 2023-09-12 2023-09-12 一种加能站排队检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311168161.7A CN116912779B (zh) 2023-09-12 2023-09-12 一种排队检测方法、装置、电子设备和可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311613106.4A Division CN117475380A (zh) 2023-09-12 2023-09-12 一种加能站排队检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN116912779A true CN116912779A (zh) 2023-10-20
CN116912779B CN116912779B (zh) 2023-12-22

Family

ID=88363333

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311168161.7A Active CN116912779B (zh) 2023-09-12 2023-09-12 一种排队检测方法、装置、电子设备和可读存储介质
CN202311613106.4A Pending CN117475380A (zh) 2023-09-12 2023-09-12 一种加能站排队检测方法、装置、电子设备和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311613106.4A Pending CN117475380A (zh) 2023-09-12 2023-09-12 一种加能站排队检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (2) CN116912779B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236784A (zh) * 2010-05-07 2011-11-09 株式会社理光 屏幕区域检测方法及系统
JP2013084221A (ja) * 2011-10-12 2013-05-09 Tottori Univ 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム
CN205445296U (zh) * 2015-12-29 2016-08-10 嘉兴市南湖区凤桥镇中心小学 自动排队装置
US20160284092A1 (en) * 2015-03-23 2016-09-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN107958222A (zh) * 2017-12-12 2018-04-24 海信集团有限公司 一种路面检测方法、装置及终端
CN108877024A (zh) * 2018-07-01 2018-11-23 郑玉修 一种共用文明排队系统及其排队方法
CN108961524A (zh) * 2018-07-01 2018-12-07 郑玉修 一种文明排队装置及其方法
CN113129595A (zh) * 2021-04-23 2021-07-16 济南金宇公路产业发展有限公司 一种用于道路交叉口的交通信号控制方法、设备及介质
TWI750950B (zh) * 2020-12-11 2021-12-21 晶睿通訊股份有限公司 拍攝角度偵測方法及其相關監控設備
CN115690043A (zh) * 2022-10-31 2023-02-03 上海悠络客电子科技股份有限公司 基于多部位检测的排队统计方法、装置、设备和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236784A (zh) * 2010-05-07 2011-11-09 株式会社理光 屏幕区域检测方法及系统
JP2013084221A (ja) * 2011-10-12 2013-05-09 Tottori Univ 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム
US20160284092A1 (en) * 2015-03-23 2016-09-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN205445296U (zh) * 2015-12-29 2016-08-10 嘉兴市南湖区凤桥镇中心小学 自动排队装置
CN107958222A (zh) * 2017-12-12 2018-04-24 海信集团有限公司 一种路面检测方法、装置及终端
CN108877024A (zh) * 2018-07-01 2018-11-23 郑玉修 一种共用文明排队系统及其排队方法
CN108961524A (zh) * 2018-07-01 2018-12-07 郑玉修 一种文明排队装置及其方法
TWI750950B (zh) * 2020-12-11 2021-12-21 晶睿通訊股份有限公司 拍攝角度偵測方法及其相關監控設備
CN113129595A (zh) * 2021-04-23 2021-07-16 济南金宇公路产业发展有限公司 一种用于道路交叉口的交通信号控制方法、设备及介质
CN115690043A (zh) * 2022-10-31 2023-02-03 上海悠络客电子科技股份有限公司 基于多部位检测的排队统计方法、装置、设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HALE YENGINER等: "Lane line detection by using Hough Transform", 《 2018 26TH SIGNAL PROCESSING AND COMMUNICATIONS APPLICATIONS CONFERENCE (SIU)》, pages 1 - 4 *
ZHAN QI等: "A Measurement Method for Vehicle Queue Length of Intersection Based on Image Processing", 《2018 EIGHTH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING THEORY, TOOLS AND APPLICATIONS (IPTA)》, pages 1 - 6 *
周惠暖等: "智能取餐服务排队系统评价与改进研究——以广工商第一饭堂为例", 《中国储运》, pages 156 - 158 *

Also Published As

Publication number Publication date
CN116912779B (zh) 2023-12-22
CN117475380A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN103942824B (zh) 一种三维点云直线特征提取方法
CN111898486B (zh) 监控画面异常的检测方法、装置及存储介质
CN104517125B (zh) 高速物体的图像实时跟踪方法与系统
WO2021227790A1 (zh) 视频图像目标关联方法、装置及终端设备
CN108875531B (zh) 人脸检测方法、装置、系统及计算机存储介质
WO2020146980A1 (zh) 车道线识别方法、车道线识别装置以及非易失性存储介质
JP2011192071A (ja) 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム
CN111738225B (zh) 人群聚集检测方法、装置、设备及存储介质
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
US11687886B2 (en) Method and device for identifying number of bills and multiple bill areas in image
CN109993134A (zh) 一种基于hog和svm分类器的道路交叉口车辆检测方法
CN110135420A (zh) 表盘状态识别方法及装置、可读存储介质和电子设备
CN110956062A (zh) 轨迹路线生成方法、设备及计算机可读存储介质
CN116912779B (zh) 一种排队检测方法、装置、电子设备和可读存储介质
WO2021200038A1 (ja) 道路劣化診断装置、道路劣化診断方法、及び、記録媒体
CN110188607A (zh) 一种多线程并行计算的交通视频目标检测方法及装置
CN103034998A (zh) 旋转对称图形的中心与旋转角检测方法及装置
CN112101134A (zh) 物体的检测方法及装置、电子设备和存储介质
CN114783181B (zh) 一种基于路侧感知的交通流量统计方法和装置
CN110737276A (zh) 预警方法、巡逻机器人及计算机可读存储介质
CN113435358B (zh) 用于训练模型的样本生成方法、装置、设备、程序产品
CN113824880B (zh) 一种基于目标检测和uwb定位的车辆跟踪方法
CN113326793B (zh) 一种远距离行人位置识别方法、系统及存储介质
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN110245568B (zh) 一种基于人脸识别的区域安防方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant