CN109241853B - 行人特征采集方法、装置、计算机设备及存储介质 - Google Patents
行人特征采集方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109241853B CN109241853B CN201810908592.5A CN201810908592A CN109241853B CN 109241853 B CN109241853 B CN 109241853B CN 201810908592 A CN201810908592 A CN 201810908592A CN 109241853 B CN109241853 B CN 109241853B
- Authority
- CN
- China
- Prior art keywords
- human
- human skeleton
- key points
- skeleton key
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 claims 1
- 210000003414 extremity Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 210000001217 buttock Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种行人特征采集方法、装置、计算机设备及存储介质,通过以行人所在地理位置坐标为原点引出预设个方向位置的角度线,若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的同一条直线与所述预设个方向位置的角度线中的一条角度线重合,或若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的同一条直线与所述预设个方向位置的角度线中的一条角度线平行,则采集所述人体特征区域中的人体特征。避免了由于行人的人体姿势发生改变导致行人的肢体与肢体之间发生遮挡而无法采集到被遮挡的人体区域的人体特征的问题。
Description
技术领域
本发明涉及金融科技领域,尤其涉及一种行人特征采集方法、装置、计算机设备及存储介质。
背景技术
目前,行人跟踪技术对社会的安全性越来越重要,很多企业也越来越重视行人跟踪技术的应用。
在金融科技领域中,当进行行人跟踪识别时,需要对人体特征进行采集,但是,目前的采集方法在采集行人的人体特征时,由于行人的人体姿势容易发生改变,如,侧身或蹲下等姿势,以至于行人的肢体与肢体之间发生遮挡,从而导致无法采集到被遮挡的人体区域的人体特征。
发明内容
基于此,有必要针对上述技术问题,提供可以避免由于行人的人体姿势发生改变导致行人的肢体与肢体之间发生遮挡而无法采集到被遮挡的人体区域的特征的一种行人特征采集方法、装置、计算机设备及存储介质。
一种行人特征采集方法,包括:
以行人所在地理位置坐标为原点引出预设个方向位置的角度线;
判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否重合,或者判断所述预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否平行,所述预先确定得到的人体特征区域为被遮挡的人体特征区域;
若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线平行,则采集所述人体特征区域中的人体特征。
一种特征采集装置,包括:
引出模块,用于以行人所在地理位置坐标为原点引出预设个方向位置的角度线;
判断模块,用于判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否重合,或者判断所述预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否平行,所述预先确定得到的人体特征区域为被遮挡的人体特征区域;
采集模块,用于若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线平行,则采集所述人体特征区域中的人体特征。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述行人特征采集方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述行人特征采集方法的步骤。
上述行人特征采集方法、装置、计算机设备及存储介质,通过以行人所在地理位置坐标为原点引出预设个方向位置的角度线,判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否重合,或者判断所述预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否平行,若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线平行,则采集所述人体特征区域中的人体特征。由于预设个方向位置的角度线是由原点引出,也即预设个方向位置的角度线是由行人引出,并且预设个方向位置可以自定义,也即所述角度线可以自定义,如,30度角度线或45度角度线等,所以可以通过自定义的角度线的方式兼顾到行人的被遮挡的人体特征区域,当预先确定得到的被遮挡的人体特征区域中任意两个人体骨骼关键点所在的同一条直线与一条角度线重合时,或当预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的同一条直线与一条角度线平行时,所述重合或平行代表两条直线的方向相同或相反,也即,当预先确定得到的人体特征区域中任意两个人体骨骼关键点在预设个方向位置上或在与预设个方向位置相反的方向上时,则采集所述人体特征区域中的人体特征,所述在预设个方向位置上或在与预设个方向位置相反的方向上方便了特征采集,从而避免了由于行人的人体姿势发生改变导致行人的肢体与肢体之间发生遮挡而无法采集到被遮挡的人体区域的人体特征的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中行人特征采集方法的一应用环境示意图;
图2是本发明一实施例中行人特征采集方法的一流程图;
图3是本发明一实施例中行人特征采集方法中确定人体特征区域的一流程图;
图4是本发明一实施例中行人特征采集方法中采集人体特征的一流程图;
图5是本发明一实施例中行人特征采集方法中45特征角度方向位置引出其中一条角度线的示意图;
图6是本发明一实施例中特征采集装置的一示意图;
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的行人特征采集方法,可应用在如图1的应用环境中,其中,计算机设备通过网络与服务端进行通信。服务端以行人所在地理位置坐标为原点引出预设个方向位置的角度线,服务端判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线是否重合,或者服务端判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否平行,所述预先确定得到的人体特征区域为被遮挡的人体特征区域,若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线平行,则服务端采集所述人体特征区域中的人体特征。其中,计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种行人特征采集方法,该行人特征采集方法应用在金融科技行业中,以该方法应用在图1中的服务端为例进行说明,包括如下步骤:
S10:以行人所在地理位置坐标为原点引出预设个方向位置的角度线;
在本实施例中,在以行人所在地理位置坐标为原点引出预设个方向位置的角度线之前,需要先采用地理位置信息获取工具获取行人所在的经度信息和纬度信息,所述目标对象没有特别说明一般是指人或与人有关的主体,所述地理位置信息,是指地球上的地理位置信息,包括经度信息和纬度信息,如,北纬N24°55′55.54″东经E112°36′33.34″。
需要说明的是,地理位置信息获取工具可以为JavaScript脚本中的showPosition(),地理位置信息获取工具的具体内容,可以根据实际需求进行设定,此处不做限制,其中,JavaScript,是指一种动态类型、弱类型、基于原型的语言,showPosition()是指JavaScript中个的一个接口函数。
具体地,以行人所在地理位置坐标为原点引出预设个方向位置的角度线,其中,角度线的条数与方向位置的个数相等,角度线与横坐标轴之间形成特征角度,如30度,该横坐标轴为以行人所在地理位置坐标为原点构建好的坐标系中的坐标轴。
S20:判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线是否重合,或者判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线是否平行;
在本发明实施例中,预先确定得到的人体特征区域为被遮挡的人体特征区域。
具体地,判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线是否重合,或者判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线是否平行。
S30:若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线平行,则采集人体特征区域中的人体特征。
在本发明实施例中,在引出角度线之前,先要确定原点。所述确定原点为,首先将地理位置信息确定为坐标原点,可以理解地,该原点可以为二维空间原点,也可以为三维空间原点等;然后,以该原点为中心,将该中心的圆周平均分解成预设个角度方向位置;最后,由分解后的不同的预设个角度方向位置分别引出不同的角度线。
在一实施例中,通过根据行人地理位置确定方向位置,从而不需要前后左右四个方向安排拍摄设备,进而节省了金融公司在应用行人跟踪技术时的成本开支,其中,拍摄设备可以为相机或其他拍摄设备,拍摄设备的的具体内容,可以根据实际需求进行设定,此处不做限制。
具体地,首先,通过预先训练好的OpenCV模型获取行人身体上的预先确定得到的被遮挡的人体特征区域中的各个人体关键点,也可以通过预先训练好的openpose模型获取行人身体上的预先确定得到的被遮挡的人体特征区域中的各个人体关键点;然后,当各个人体关键点中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线重合时,或者当各个人体关键点中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线平行时,采集人体特征区域中的人体特征;当各个人体关键点中的任意两个人体骨骼关键点所在的直线不与预设个方向位置的角度线中的一条角度线重合时,或者当各个人体关键点中的任意两个人体骨骼关键点所在的直线不与预设个方向位置的角度线中的一条角度线平行时,不采集人体特征区域中的人体特征;其中,所述人体关键点是指人体骨骼关键点,人体关键点包括右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶和脖子。
需要说明的是,OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,其中,BSD,英文全称为Berkeley Software Distribution,中文名称为伯克利软件套件,是Unix的衍生系统,Unix是一个多用户、多任务操作系统。OpenPose是一个由CMU开源的实时多人关键点检测库。
通过预先训练好的OpenCV模型或OpenPose模型获取行人身体上的预先确定得到的被遮挡的人体特征区域中的各个人体关键点,由于OpenCV模型和OpenPose模型具有轻量级而且高效实效性,从而提高了获取人体关键点的效率。
在图2对应的实施例中,通过以行人所在地理位置坐标为原点引出预设个方向位置的角度线,判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否重合,或者判断所述预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否平行,若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线平行,则采集所述人体特征区域中的人体特征。由于预设个方向位置的角度线是由原点引出,也即预设个方向位置的角度线是由行人引出,并且预设个方向位置可以自定义,也即所述角度线可以自定义,如,30度角度线或45度角度线等,所以可以通过自定义的角度线的方式兼顾到行人的被遮挡的人体特征区域,当预先确定得到的被遮挡的人体特征区域中任意两个人体骨骼关键点所在的同一条直线与一条角度线重合时,或当预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的同一条直线与一条角度线平行时,所述重合或平行代表两条直线的方向相同或相反,也即,当预先确定得到的人体特征区域中任意两个人体骨骼关键点在预设个方向位置上或在与预设个方向位置相反的方向上时,则采集所述人体特征区域中的人体特征,所述在预设个方向位置上或在与预设个方向位置相反的方向上方便了特征采集,从而避免了由于行人的人体姿势发生改变导致行人的肢体与肢体之间发生遮挡而无法采集到被遮挡的人体区域的人体特征的问题。
进一步地,在一实施例中,该行人特征采集方法应用在金融行业中,如图3所示图2对应实施例中一种行人特征采集方法中确定人体特征区域在一个应用场景下的流程图,所述人体特征区域通过以下步骤确定:
S201:将各个预先确定的第一被遮挡人体骨骼关键点中的任意四个第一被遮挡人体骨骼关键点确定为四个目标人体骨骼关键点,或者将各个预先确定的第二被遮挡人体骨骼关键点与各个近距离人体骨骼关键点确定为四个目标人体骨骼关键点;
S202:根据四个目标人体骨骼关键点获取各个目标人体骨骼关键点的横坐标和纵坐标;
S203:将各个目标人体骨骼关键点的横坐标和纵坐标代入如下计算公式,得到人体特征区域的两个对角线位置点的坐标值;
其中,xA是人体骨骼关键点A的横坐标,xB是人体骨骼关键点B的横坐标,xC是人体骨骼关键点C的横坐标,xD是人体骨骼关键点D的横坐标,yA是人体骨骼关键点A的纵坐标,yB是人体骨骼关键点B的纵坐标,yC是人体骨骼关键点C的纵坐标,yD是人体骨骼关键点D的纵坐标,xT1是对角线位置点T1的横坐标,yT1是对角线位置点T1的纵坐标,xT2是对角线位置点T2的横坐标,yT2是对角线位置点T2的纵坐标。
S204:将两个对角线位置点的横坐标的差的绝对值作为长,两个对角位置点的纵坐标的差的绝对值作为宽,构建矩形作为人体特征区域。
对应上述步骤S201,可以理解为,首先,通过人工肉眼分辨的方式确定出各个第一被遮挡人体骨骼关键点和各个第二被遮挡人体骨骼关键点,然后,当被遮挡的人体骨骼关键点的个数大于或等于四时,将各个预先确定的第一被遮挡人体骨骼关键点中的任意四个第一被遮挡人体骨骼关键点确定为四个目标人体骨骼关键点,当第二被遮挡人体骨骼关键点的个数大于零且小于四时,将各个预先确定的第二被遮挡人体骨骼关键点与各个近距离人体骨骼关键点确定为四个目标人体骨骼关键点,所述近距离人体骨骼关键点为与各个预先确定的第二被遮挡人体骨骼关键点的距离的平均值越接近的人体骨骼关键点,其中,所述第二被遮挡人体骨骼关键点的个数与所述近距离人体骨骼关键点的和为四。
对应上述步骤S202,可以理解为,基于得到的四个目标人体骨骼关键点获取各个目标人体骨骼关键点的横坐标和纵坐标。
对应上述步骤S203,可以理解为,将各个目标人体骨骼关键点的横坐标和纵坐标代入上述公式1、公式2、公式3和公式4,得到人体特征区域的两个对角线位置点的坐标值。其中,人体特征区域是指需要采集人体特征的被遮挡区域。
对应上述步骤S204,可以理解为,首先,将两个对角位置点的横坐标值的差的绝对值作为长,两个对角位置点的纵坐标值的差的绝对值作为宽,构建多边形,如矩形,然后,将构建好的多边形作为预设的人体特征区域。
需要说明的是,人体特征区域可以同时存在一个及两个以上,如,人体肩部、人体手臂或人体腿部的其中之一,或者人体肩部、人体手臂和人体腿部的组合,如,当人体运动时,人体肩部被遮挡,可以将人体特征区域定位在人体手臂上。
进一步地,也可以构建多边形的人体特征区域,多边形可以六角形等,多边形的具体内容,可以根据实际需求进行设定,此处不做限制。
在图3对应的实施例中,通过上述步骤S201~步骤S204,获取人体关键点的平均值,由于由平均值组合成的人体特征区域不会包括过大的值或过小的值,也即,这样获得人体特征区域不会存在过大或过小的干扰面积,从而可以避免将干扰的面积确定为人体特征区域,从而保证了获取人体特征区域的准确性。
进一步地,在一实施例中,该行人特征采集方法应用在金融行业中,如图4所示图1对应实施例中一种行人特征采集方法中采集人体特征在一个应用场景下的流程图,所述采集人体特征包括如下步骤:
S301:获取行人的目标图像;
S302:从目标图像中提取人体特征的图像数据;
S303:将图像数据输入到预设训练好的分类器得到人体特征。
对应上述步骤S301,可以理解为,采用两个摄像设备模仿人眼同步对行人进行采集,得到左右两幅目标图像。其中,所述摄像设备可以为数码相机或录像机等其他设备,摄像设备的具体内容,可以根据实际需求进行设定,此处不做限制。其中,采集方法可以为实时连续执行或定时执行。
对应上述步骤S302,可以理解为,人体特征是指人不同的特征,如:衣服、身高、体重、性别或肤色等。
具体地,从目标图像中提取人体特征的图像数据。优选地,可提取该目标图像中设定人体部位对应像素点信息作为身高相关的图像数据,也可提取该目标图像中人体某些部位的轮廓特征作为体重和性别相关的图像数据。
对应上述步骤S303,可以理解为,将得到的图像数据输入到预设训练好的分类器进行分类,根据所述预设训练好的分类器的分类结果确定所述目标人体的特征。其中,所述预设训练好的分类器可以是最近邻分类器、贝叶斯分类器、支持向量机或卷积神经网络分类器等,预设训练好的分类器由图像数据作为样本训练得到。
在图4对应的实施例中,通过上述步骤S301~步骤S303,可以从获取到的行人的目标图像中提取人体特征的图像数据,将得到的图像数据输入到预设训练好的分类器中确定出人体特征,由于预设训练好的分类器都是包括机器学习算法的分类器,机器学习算法的分类器为预先经过大量样本训练出人体特征的模型,从而可以准确地得到想要的人体特征,提高了采集人体特征的准确性。
进一步地,在一实施例中,该行人特征采集方法应用在金融行业中,一种行人特征采集方法中所述图像数据及确定法线夹角具体为:图像数据为所述行人的人脸的轮廓特征、肩部的轮廓特征、胸部的轮廓特征和臀部的轮廓特征,行人的正面的法线与获取目标图像的摄像设备的光轴之间存在法线夹角,法线夹角由如下计算公式计算得到:
其中,β为法线夹角,x1为行人的所有人体骨骼关键点中最高像素人体骨骼关键点的横坐标,y1为行人的所有人体骨骼关键点中最高像素人体骨骼关键点的纵坐标,z1为行人的所有人体骨骼关键点中最高像素人体骨骼关键点的竖坐标,x2为行人的所有人体骨骼关键点中最低像素人体骨骼关键点的横坐标,y2为行人的所有人体骨骼关键点中最低像素人体骨骼关键点的纵坐标,z2为行人的所有人体骨骼关键点中最低像素人体骨骼关键点的竖坐标。
在本一实施例中,通过设置法线夹角可以避免由于人体在运动过程中的侧身导致特征变化带来的人脸、肩部、胸部和臀部估算误差,从而可以实现实时监测,达到减少误差的目的。
进一步地,在一实施例中,该行人特征采集方法应用在金融行业中,角度线与横坐标轴之间形成特征角度,该特征角度为小于90度的角度,横坐标轴为行人所在地理位置坐标为原点构建的坐标系中的横坐标轴,一种行人特征采集方法中所述人体特征区域中人体骨骼关键点所在的直线的满足预设条件具体为:人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线重合,或者人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线平行具体为:人体特征区域中任意两个人体骨骼关键点的横坐标差值的绝对值与纵坐标差值的绝对值的比等于特征角度的正切值,图5为该特征角度与角度线的示意图,特征角度的正切值由如下公式计算得到:
其中,tanα为特征角度的正切值,α为特征角度,xA是指人体骨骼关键点A的横坐标,yA是指人体骨骼关键点A的纵坐标,xB是指人体骨骼关键点B的横坐标,yB是指人体骨骼关键点B的纵坐标。
在本一实施例中,通过判断人体特征区域中任意两个人体骨骼关键点的横坐标差值的绝对值与纵坐标差值的绝对值的比是否等于特征角度的正切值,也即,人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线的斜率是否一样,由于斜率一样代表人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线重合或平行,从而当人体关键点在特征角度线的方向上时,便可以采集人体特征,从而给人体特征的采集带来了方便性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种特征采集装置,该特征采集装置与上述实施例中行人特征采集方法一一对应。如图6所示,该特征采集装置包括引出模块801、判断模块802和采集模块803。各功能模块详细说明如下:
引出模块801,用于以行人所在地理位置坐标为原点引出预设个方向位置的角度线,其中,角度线存在两条以上,角度线与坐标轴之间形成预设的第一角度,或者任意两条不同的角度线之间形成预设的第二角度,坐标轴为行人所在地理位置坐标为原点构建好的坐标系中的坐标轴;
判断模块802,用于判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线是否重合,或者判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否平行,预先确定得到的人体特征区域为被遮挡的人体特征区域;
采集模块803,用于若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与预设个方向位置的角度线中的一条角度线平行,则采集人体特征区域中的人体特征。
进一步地,采集人体特征装置还包括:
确定模块804,用于将各个预先确定的第一被遮挡人体骨骼关键点中的任意四个第一被遮挡人体骨骼关键点确定为四个目标人体骨骼关键点,或者将各个预先确定的第二被遮挡人体骨骼关键点与各个近距离人体骨骼关键点确定为四个目标人体骨骼关键点,近距离人体骨骼关键点为与各个预先确定的第二被遮挡人体骨骼关键点的距离的平均值越接近的人体骨骼关键点,第一被遮挡人体骨骼关键点的个数大于或等于四,第二被遮挡人体骨骼关键点的个数大于零且小于四,第二被遮挡人体骨骼关键点的个数与近距离人体骨骼关键点的和为四;
获取模块805,用于根据四个目标人体骨骼关键点获取各个目标人体骨骼关键点的横坐标和纵坐标;
计算模块806,用于将各个目标人体骨骼关键点的横坐标和纵坐标代入如下计算公式,得到人体特征区域的两个对角线位置点的坐标值;
其中,xA是人体骨骼关键点A的横坐标,xB是人体骨骼关键点B的横坐标,xC是人体骨骼关键点C的横坐标,xD是人体骨骼关键点D的横坐标,yA是人体骨骼关键点A的纵坐标,yB是人体骨骼关键点B的纵坐标,yC是人体骨骼关键点C的纵坐标,yD是人体骨骼关键点D的纵坐标,xT1是对角线位置点T1的横坐标,yT1是对角线位置点T1的纵坐标,xT2是对角线位置点T2的横坐标,yT2是对角线位置点T2的纵坐标。
构建模块807,用于将两个对角线位置点的横坐标的差的绝对值作为长,两个对角位置点的纵坐标的差的绝对值作为宽,构建矩形作为人体特征区域。
进一步地,采集模块803包括:
第一提取子模块8031,用于获取行人的目标图像;
第二提取子模块8032,用于从目标图像中提取人体特征的图像数据;
输入子模块8033,用于将图像数据输入到预设训练好的分类器得到人体特征,所述预设训练好的分类器由图像数据作为样本训练得到。
进一步地,第二提取子模块8032包括:
第一筹算子模块80321,用于图像数据为所述行人的人脸的轮廓特征、肩部的轮廓特征、胸部的轮廓特征和臀部的轮廓特征,行人的正面的法线与获取目标图像的摄像设备的光轴之间存在法线夹角,法线夹角由如下计算公式计算得到:
其中,β为法线夹角,x1为行人的所有人体骨骼关键点中最高像素人体骨骼关键点的横坐标,y1为行人的所有人体骨骼关键点中最高像素人体骨骼关键点的纵坐标,z1为行人的所有人体骨骼关键点中最高像素人体骨骼关键点的竖坐标,x2为行人的所有人体骨骼关键点中最低像素人体骨骼关键点的横坐标,y2为行人的所有人体骨骼关键点中最低像素人体骨骼关键点的纵坐标,z2为行人的所有人体骨骼关键点中最低像素人体骨骼关键点的竖坐标。
进一步地,采集人体特征装置还包括:
第二筹算子模块8034,用于人体特征区域中任意两个人体骨骼关键点的横坐标差值的绝对值与纵坐标差值的绝对值的比等于特征正切值,该特征角度为小于90度的角度,特征角度的正切值由如下公式计算得到:
其中,tanα为特征角度的正切值,α为特征角度,xA是指人体骨骼关键点A的横坐标,yA是指人体骨骼关键点A的纵坐标,xB是指人体骨骼关键点B的横坐标,yB是指人体骨骼关键点B的纵坐标。
关于特征采集装置的具体限定可以参见上文中对于行人特征采集方法的限定,在此不再赘述。上述特征采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储行人特征采集方法涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行人特征采集方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例行人特征采集方法的步骤,例如图2所示的步骤S10至步骤S30。或者,处理器执行计算机程序时实现上述实施例中特征采集装置的各模块/单元的功能,例如图6所示引出模块801至采集模块803的功能。为避免重复,这里不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例中行人特征采集方法,或者,该计算机程序被处理器执行时实现上述装置实施例中特征采集装置中各模块/单元的功能。为避免重复,这里不再赘述。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (8)
1.一种行人特征采集方法,其特征在于,所述行人特征采集方法包括:
以行人所在地理位置坐标为原点引出预设个方向位置的角度线;
判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否重合,或者判断所述预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否平行,所述预先确定得到的人体特征区域为被遮挡的人体特征区域;
若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线平行,则采集所述人体特征区域中的人体特征;
所述人体特征区域通过以下步骤确定:
将各个预先确定的第一被遮挡人体骨骼关键点中的任意四个第一被遮挡人体骨骼关键点确定为四个目标人体骨骼关键点,或者将各个预先确定的第二被遮挡人体骨骼关键点与各个近距离人体骨骼关键点确定为四个目标人体骨骼关键点,所述近距离人体骨骼关键点为与各个预先确定的第二被遮挡人体骨骼关键点的距离的平均值越接近的人体骨骼关键点,所述第一被遮挡人体骨骼关键点的个数大于或等于四,所述第二被遮挡人体骨骼关键点的个数大于零且小于四,所述第二被遮挡人体骨骼关键点的个数与所述近距离人体骨骼关键点的和为四;
根据所述四个目标人体骨骼关键点获取各个所述目标人体骨骼关键点的横坐标和纵坐标;
将各个所述目标人体骨骼关键点的横坐标和纵坐标代入如下计算公式,得到所述人体特征区域的两个对角线位置点的坐标值;
;
;
;
;
其中,是人体骨骼关键点/>的横坐标,/>是人体骨骼关键点/>的横坐标,/>是人体骨骼关键点/>的横坐标,/>是人体骨骼关键点/>的横坐标,/>是人体骨骼关键点/>的纵坐标,/>是人体骨骼关键点/>的纵坐标,/>是人体骨骼关键点/>的纵坐标,/>是人体骨骼关键点/>的纵坐标,/>是对角线位置点/>的横坐标,/>是对角线位置点/>的纵坐标,/>是对角线位置点/>的横坐标,/>是对角线位置点/>的纵坐标;
将所述两个对角线位置点的横坐标的差的绝对值作为长,所述两个对角线位置点的纵坐标的差的绝对值作为宽,构建矩形作为所述人体特征区域。
2.如权利要求1所述的行人特征采集方法,其特征在于,所述采集人体特征包括:
获取所述行人的目标图像;
从所述目标图像中提取所述人体特征的图像数据;
将所述图像数据输入到预设训练好的分类器得到所述人体特征,所述预设训练好的分类器由图像数据作为样本训练得到。
3.如权利要求2所述的行人特征采集方法,其特征在于,所述图像数据为所述行人的人脸的轮廓特征、肩部的轮廓特征、胸部的轮廓特征和臀部的轮廓特征,所述行人的正面的法线与获取所述目标图像的摄像设备的光轴之间存在法线夹角,所述法线夹角由如下计算公式计算得到:
其中,为所述法线夹角,/>为所述行人的所有人体骨骼关键点中最高像素人体骨骼关键点的横坐标,/>为所述行人的所有人体骨骼关键点中最高像素人体骨骼关键点的纵坐标,/>为所述行人的所有人体骨骼关键点中最高像素人体骨骼关键点的竖坐标,/>为所述行人的所有人体骨骼关键点中最低像素人体骨骼关键点的横坐标,/>为所述行人的所有人体骨骼关键点中最低像素人体骨骼关键点的纵坐标,/>为所述行人的所有人体骨骼关键点中最低像素人体骨骼关键点的竖坐标。
4.如权利要求1至3任一项所述的行人特征采集方法,其特征在于,所述角度线与横坐标轴之间形成特征角度,所述特征角度为小于90度的角度,所述横坐标轴为所述行人所在地理位置坐标为原点构建的坐标系中的横坐标轴,所述人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线重合,或者人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线平行具体为:所述人体特征区域中任意两个人体骨骼关键点的横坐标差值的绝对值与纵坐标差值的绝对值的比等于所述特征角度的正切值,所述特征角度的正切值由如下公式计算得到:
其中,为所述特征角度的正切值,/>为所述特征角度,/>是指人体骨骼关键点/>的横坐标,/>是指人体骨骼关键点/>的纵坐标,/>是指人体骨骼关键点/>的横坐标,/>是指人体骨骼关键点/>的纵坐标。
5.一种特征采集装置,其特征在于,所述特征采集装置包括:
引出模块,用于以行人所在地理位置坐标为原点引出预设个方向位置的角度线;
判断模块,用于判断预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否重合,或者判断所述预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线是否平行,所述预先确定得到的人体特征区域为被遮挡的人体特征区域;
采集模块,用于若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线重合,或者若预先确定得到的人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线平行,则采集所述人体特征区域中的人体特征;所述人体特征区域通过以下模块确定:
确定模块,用于将各个预先确定的第一被遮挡人体骨骼关键点中的任意四个第一被遮挡人体骨骼关键点确定为四个目标人体骨骼关键点,或者将各个预先确定的第二被遮挡人体骨骼关键点与各个近距离人体骨骼关键点确定为四个目标人体骨骼关键点,所述近距离人体骨骼关键点为与各个预先确定的第二被遮挡人体骨骼关键点的距离的平均值越接近的人体骨骼关键点,所述第一被遮挡人体骨骼关键点的个数大于或等于四,所述第二被遮挡人体骨骼关键点的个数大于零且小于四,所述第二被遮挡人体骨骼关键点的个数与所述近距离人体骨骼关键点的和为四;
获取模块,用于根据所述四个目标人体骨骼关键点获取各个所述目标人体骨骼关键点的横坐标和纵坐标;
计算模块,用于将各个所述目标人体骨骼关键点的横坐标和纵坐标代入如下计算公式,得到所述人体特征区域的两个对角线位置点的坐标值;
;
;
;
;
其中,是人体骨骼关键点/>的横坐标,/>是人体骨骼关键点/>的横坐标, />是人体骨骼关键点/>的横坐标,/>是人体骨骼关键点/>的横坐标,/>是人体骨骼关键点/>的纵坐标,/>是人体骨骼关键点 的纵坐标,/>是人体骨骼关键点 />的纵坐标,/>是人体骨骼关键点/>的纵坐标,/>是对角线位置点/>的横坐标, />是对角线位置点/>的纵坐标,/>是对角线位置点/>的横坐标,/>是对角线位置点/>的纵坐标;
构建模块,用于将所述两个对角线位置点的横坐标的差的绝对值作为长,所述两个对角线位置点的纵坐标的差的绝对值作为宽,构建矩形作为所述人体特征区域。
6.如权利要求5所述的特征采集装置,其特征在于,所述角度线与横坐标轴之间形成特征角度,所述特征角度为小于90度的角度,所述横坐标轴为所述行人所在地理位置坐标为原点构建的坐标系中的横坐标轴,所述人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线重合,或者人体特征区域中的任意两个人体骨骼关键点所在的直线与所述预设个方向位置的角度线中的一条角度线平行具体为:第二筹算子模块,用于所述人体特征区域中任意两个人体骨骼关键点的横坐标差值的绝对值与纵坐标差值的绝对值的比等于所述特征角度的正切值,所述特征角度的正切值由如下公式计算得到:
其中,为所述特征角度的正切值,/>为所述特征角度,/>是指人体骨骼关键点/>的横坐标,/>是指人体骨骼关键点/>的纵坐标,/>是指人体骨骼关键点/>的横坐标,/>是指人体骨骼关键点/>的纵坐标。
7.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述行人特征采集方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述行人特征采集方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810908592.5A CN109241853B (zh) | 2018-08-10 | 2018-08-10 | 行人特征采集方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810908592.5A CN109241853B (zh) | 2018-08-10 | 2018-08-10 | 行人特征采集方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109241853A CN109241853A (zh) | 2019-01-18 |
CN109241853B true CN109241853B (zh) | 2023-11-24 |
Family
ID=65070967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810908592.5A Active CN109241853B (zh) | 2018-08-10 | 2018-08-10 | 行人特征采集方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109241853B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110070029B (zh) * | 2019-04-17 | 2021-07-16 | 北京易达图灵科技有限公司 | 一种步态识别方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598867A (zh) * | 2013-10-30 | 2015-05-06 | 中国艺术科技研究所 | 一种人体动作自动评估方法及舞蹈评分系统 |
CN107301370A (zh) * | 2017-05-08 | 2017-10-27 | 上海大学 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
CN107622262A (zh) * | 2017-11-06 | 2018-01-23 | 深圳市唯特视科技有限公司 | 一种基于重叠肢体和自适应视点选择的姿势估计方法 |
WO2018058419A1 (zh) * | 2016-09-29 | 2018-04-05 | 中国科学院自动化研究所 | 二维图像人体关节点定位模型的构建方法及定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881881B (zh) * | 2014-02-27 | 2018-04-10 | 株式会社理光 | 运动对象表示方法及其装置 |
-
2018
- 2018-08-10 CN CN201810908592.5A patent/CN109241853B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598867A (zh) * | 2013-10-30 | 2015-05-06 | 中国艺术科技研究所 | 一种人体动作自动评估方法及舞蹈评分系统 |
WO2018058419A1 (zh) * | 2016-09-29 | 2018-04-05 | 中国科学院自动化研究所 | 二维图像人体关节点定位模型的构建方法及定位方法 |
CN107301370A (zh) * | 2017-05-08 | 2017-10-27 | 上海大学 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
CN107622262A (zh) * | 2017-11-06 | 2018-01-23 | 深圳市唯特视科技有限公司 | 一种基于重叠肢体和自适应视点选择的姿势估计方法 |
Non-Patent Citations (1)
Title |
---|
基于骨骼线约束的随机蕨抗干扰三维体态识别;张丹 等;科学技术与工程;第15卷(第35期);第208-212页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109241853A (zh) | 2019-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110502986B (zh) | 识别图像中人物位置方法、装置、计算机设备和存储介质 | |
CN110569721B (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
CN109448090B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109035299B (zh) | 目标跟踪方法、装置、计算机设备及存储介质 | |
CN109325412B (zh) | 行人识别方法、装置、计算机设备及存储介质 | |
CN108875524B (zh) | 视线估计方法、装置、系统和存储介质 | |
KR102592270B1 (ko) | 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체 | |
US20180225527A1 (en) | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line | |
US11093737B2 (en) | Gesture recognition method and apparatus, electronic device, and computer-readable storage medium | |
CN108875507B (zh) | 行人跟踪方法、设备、系统和计算机可读存储介质 | |
CN112528812A (zh) | 行人跟踪的方法、行人跟踪装置以及行人跟踪系统 | |
EP2704056A2 (en) | Image processing apparatus, image processing method | |
CN111126208B (zh) | 行人归档方法、装置、计算机设备及存储介质 | |
CN109255802B (zh) | 行人跟踪方法、装置、计算机设备及存储介质 | |
CN109448007A (zh) | 图像处理方法、图像处理装置及存储介质 | |
WO2014180108A1 (en) | Systems and methods for matching face shapes | |
WO2019033567A1 (zh) | 眼球动作捕捉方法、装置及存储介质 | |
CN112651291A (zh) | 基于视频的姿势估计方法、装置、介质及电子设备 | |
CN111680675A (zh) | 人脸活体检测方法、系统、装置、计算机设备和存储介质 | |
CN109214324A (zh) | 基于多相机阵列的最正脸图像输出方法及输出系统 | |
JP2013206458A (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
CN109740659A (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
WO2014188446A2 (en) | Method and apparatus for image matching | |
CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
CN111832561B (zh) | 基于计算机视觉的字符序列识别方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |