CN111126275B - 一种基于多粒度特征融合的行人再识别方法及装置 - Google Patents
一种基于多粒度特征融合的行人再识别方法及装置 Download PDFInfo
- Publication number
- CN111126275B CN111126275B CN201911349169.7A CN201911349169A CN111126275B CN 111126275 B CN111126275 B CN 111126275B CN 201911349169 A CN201911349169 A CN 201911349169A CN 111126275 B CN111126275 B CN 111126275B
- Authority
- CN
- China
- Prior art keywords
- information
- human body
- feature information
- global
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于多粒度特征融合的行人再识别方法及装置,其中,所述方法包括:利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息;基于优化后的Resnet50卷积神经网模型提取全局特征信息和中层特征信息;基于人体上、下半身的坐标信息对全局特征信息和中层特征信息分别进行特征分割处理;删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息;计算剩余的分割全局特征信息和局部细粒度特征信息之间的相似度;基于遮挡情况对相似度得分进行加权融合,并根据加权融合结果进行行人再识别。在本发明实施例中,可以在存在遮挡情况下,对行人实现准确的、快速的识别,并达到良好的识别效果。
Description
技术领域
本发明涉及图像识别技术领域,尤其涉及一种基于多粒度特征融合的行人再识别方法及装置。
背景技术
严防生产安全事的故发生是工业生产的重中之重,许多安全事故是因为错误的人在错误的时间处于错误的位置而引发的;因此,一旦发生生产安全事故,事故责任的追踪溯源就变得非常重要;将行人再识别应用于事故责任的追查之中,借助事故现场的监控探头实现监控视频中的嫌疑人追踪,可以在第一时间确定造成事故的嫌疑人身份;同时行人再识别对犯罪嫌疑人的追逃、失踪人口搜寻等安防工作都有较大帮助。
行人再识别(Person re-identification)就是给定某个监控摄像系统中的某个目标样本,在另一个监控摄像系统中找出能与该目标正确匹配起来的样本,通俗点说就是判断在一个给定的监控摄像系统中出现的目标样本是否与在另一监控摄像系统中出现的样本为同一个人。目前,行人再识别技术已经渗透到很多领域,例如行人追踪、智慧交通等,但由于摄像头拍摄视角不同,机器本身分辨率也存在差异,加上行人衣着经常更换、不同行人身体区域对不齐、人体局部被遮挡以及自然条件发生变化、例如雨雪大雾天气影响、光照变化、外界背景变化等因素等。正因为这些影响因素存在使得行人再识别算法在实际应用中的效果差强人意。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于多粒度特征融合的行人再识别方法及装置,可以在存在遮挡情况下,对行人实现准确的、快速的识别,并达到良好的识别效果。
为了解决上述技术问题,本发明实施例提供了一种基于多粒度特征融合的行人再识别方法,所述方法包括:
对行人目标检测模型进行优化,并利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息;
基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息;
基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,获得分割全局特征信息和局部细粒度特征信息;
删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息;
利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,获得相似度得分;
基于遮挡情况对所述相似度得分进行加权融合,并根据加权融合结果进行行人再识别。
可选的,所述对行人目标检测模型进行优化,包括:
在Yolo目标检测模型的基础上,将所述Yolo目标检测模型的输入层限定的输入图像尺寸由448*448修改为256*128;以及,
将所述Yolo目标检测模型的网格分割方法由7*7修改为8*4,获得修改后的行人目标检测模型;
利用标注Market1501行人再识别数据集中训练集对所述修改后的行人目标检测模型进行训练至收敛,获得优化后行人目标检测模型。
可选的,所述利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息,包括:
基于所述优化后行人目标检测模型对直立人体图像进行人体上、下半身的坐标信息提取处理,并判断所述直立人体图像是否遮挡导致无法被检测区域;
若是,采用随机坐标补充被遮挡区域内的坐标并给予异常标记,获得直立人体图像中的人体上、下半身的坐标信息。
可选的,所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息,包括:
向所述优化后的Resnet50卷积神经网模型输入3*256*128的直立人体图像,在第四阶段后输出大小为1024*16*8的特征图像;
将所述优化后的Resnet50卷积神经网模型的第四阶段分为3条支路,其中,第一支路为全局特征支路,第二支路为局部特征支路,第三支路为中层特征支路;
将所述大小为1024*16*8的特征图像输入第一支路中的第五阶段获得直立人体图像中的全局特征信息,将所述大小为1024*16*8的特征图像输入第三支路中的第四阶段获得直立人体图像中的中层特征信息;
其中,所述第一支路的第五阶段中的下采样卷积层的滑动步长为2;所述第二支路的第五阶段中的下采样卷积层的滑动步长为1。
可选的,所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息之后,还包括:
利用所述全局特征信息和中层特征信息对所述人体上、下半身的坐标信息的尺度进行尺度转换,获得尺度转换后的人体上、下半身的坐标信息;
其中,根据输入图像尺寸和输出的全局特征信息及中层特征信息图像尺寸计算出变换尺度;
对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略,对于人体下半身的坐标信息采用对原坐标上采样减1的变换策略进行转化;
其中,根据输入图像尺寸和输出的全局特征信息及中层特征信息图像尺寸计算出变换尺度的公式如下:
;
对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略的公式如下:
;
;
其中,m表示变换尺度;表示输入图像尺寸,表示输出的全局特征信息及中层特征信息图像尺寸;表示人体上半身的坐标信息变换输出;表示人体上半身的坐标信息变换输入;表示人体下半身的坐标信息变换输出;表示人体下半身的坐标信息变换输入。
可选的,所述基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,包括:
利用尺度转换后的人体上、下半身的坐标信息对所述全局特征信息进行特征分割处理,获得分割全局特征信息;
利用尺度转换后的人体上、下半身的坐标信息对所述中层特征信息分别进行特征分割处理,获得局部细粒度特征信息。
可选的,所述删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,包括:
基于所述优化后行人目标检测模型采用随机坐标补充被遮挡区域内的坐标并给予异常标记,获得被遮挡区域;
删除所述被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息。
可选的,所述利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,包括:
采用余弦距离分别计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度。
可选的,所述基于遮挡情况对所述相似度得分进行加权融合,包括:
在不存在遮挡情况下,利用所述相似度得分中的全局特征信息相似度得分与所述相似度得分中的局部细粒度特征信息相似度得分进行累加融合;
在存在遮挡情况下,赋予所述相似度得分中的全局特征信息相似度得分第一权重与赋予所述相似度得分中的局部细粒度特征信息相似度得分第二权重之后再进行累加融合。
另外,本发明实施例还提供了一种基于多粒度特征融合的行人再识别装置,所述装置包括:
目标检测模块:用于对行人目标检测模型进行优化,并利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息;
特征提取模块:用于基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息;
特征分割模块:用于基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,获得分割全局特征信息和局部细粒度特征信息;
特征删除模块:用于删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息;
相似度计算模块:用于利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,获得相似度得分;
融合再识别模块:用于基于遮挡情况对所述相似度得分进行加权融合,并根据加权融合结果进行行人再识别。
在本发明实施例中,通过优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息和优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息之后,进行特征分割、遮挡区域特征删除等处理之后,计算相似度得分然后进行加权融合来实现行人再识别,可以在存在遮挡情况下,对行人实现准确的、快速的识别,并达到良好的识别效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于多粒度特征融合的行人再识别方法的流程示意图;
图2是本发明实施例中的优化后的Resnet50卷积神经网模型的结构组成示意图;
图3是本发明实施例中的优化后的Resnet50卷积神经网模型的部分结构组成示意图;
图4是本发明实施例中的人体上下半身分割策略图;
图5是本发明实施例中的四分割策略图;
图6是本发明实施例中的基于多粒度特征融合的行人再识别装置的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例
请参阅图1,图1是本发明实施例中的基于多粒度特征融合的行人再识别方法的流程示意图。
如图1所示,一种基于多粒度特征融合的行人再识别方法,所述方法包括:
S11:对行人目标检测模型进行优化,并利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息;
在本发明具体实施例过程中,所述对行人目标检测模型进行优化,包括:在Yolo目标检测模型的基础上,将所述Yolo目标检测模型的输入层限定的输入图像尺寸由448*448修改为256*128;以及,将所述Yolo目标检测模型的网格分割方法由7*7修改为8*4,获得修改后的行人目标检测模型;利用标注Market1501行人再识别数据集中训练集对所述修改后的行人目标检测模型进行训练至收敛,获得优化后行人目标检测模型。
进一步的,所述利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息,包括:基于所述优化后行人目标检测模型对直立人体图像进行人体上、下半身的坐标信息提取处理,并判断所述直立人体图像是否遮挡导致无法被检测区域;若是,采用随机坐标补充被遮挡区域内的坐标并给予异常标记,获得直立人体图像中的人体上、下半身的坐标信息。
具体的,在本发明中的人目标检测模型为Yolo目标检测模型,首先需要对Yolo目标检测模型进行优化,即在Yolo目标检测模型的基础上,将Yolo目标检测模型中的输入层限定的输入图像尺寸由448*448修改为256*128;并且将Yolo目标检测模型的网格分割方法由7*7修改为8*4,从而得到修改后的行人目标检测模型;在完成修改之后,利用标注Market1501行人再识别数据集中训练集中行人图像的上、半身对修改后的行人目标检测模型记性训练,在训练收敛后或者达到相应训练次数后,得到优化后行人目标检测模型。
通过该优化后行人目标检测模型对直立人体图像进行行人体上、下半身的坐标信息提取处理,从而获得直立人体图像中的人体上、下半身的坐标信息BOX;,由于行人可能存在遮挡,在不存在遮挡的情况下,直接获得直立人体图像中的人体上、下半身的坐标信息BOX,在存在遮挡的情况下,采用随机坐标补充被遮挡区域内的坐标并给予异常标记R,获得直立人体图像中的人体上、下半身的坐标信息。
S12:基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息;
在本发明具体实施过程中,所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息,包括:向所述优化后的Resnet50卷积神经网模型输入3*256*128的直立人体图像,在第四阶段后输出大小为1024*16*8的特征图像;将所述优化后的Resnet50卷积神经网模型的第四阶段分为3条支路,其中,第一支路为全局特征支路,第二支路为局部特征支路,第三支路为中层特征支路;将所述大小为1024*16*8的特征图像输入第一支路中的第五阶段获得直立人体图像中的全局特征信息,将所述大小为1024*16*8的特征图像输入第三支路中的第四阶段获得直立人体图像中的中层特征信息;其中,所述第一支路的第五阶段中的下采样卷积层的滑动步长为2;所述第二支路的第五阶段中的下采样卷积层的滑动步长为1。
进一步的,所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息之后,还包括:利用所述全局特征信息和中层特征信息对所述人体上、下半身的坐标信息的尺度进行尺度转换,获得尺度转换后的人体上、下半身的坐标信息;其中,根据输入图像尺寸和输出的全局特征信息及中层特征信息图像尺寸计算出变换尺度;对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略,对于人体下半身的坐标信息采用对原坐标上采样减1的变换策略进行转化;其中,根据输入图像尺寸和输出的全局特征信息及中层特征信息图像尺寸计算出变换尺度的公式如下:
;
对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略的公式如下:
;
;
其中,m表示变换尺度;表示输入图像尺寸,表示输出的全局特征信息及中层特征信息图像尺寸;表示人体上半身的坐标信息变换输出;表示人体上半身的坐标信息变换输入;表示人体下半身的坐标信息变换输出;表示人体下半身的坐标信息变换输入。
具体的,优化后的Resnet50卷积神经网模型(如图2所示),向该优化后的Resnet50卷积神经网模型输入3*256*128的直立人体图像,在第四阶段(stage4)后输出大小为1024*16*8的特征图像,然后将该优化后的Resnet50卷积神经网模型后续的网络结构分为3条支路(如图3所示),分别为第一支路b为全局特征支路、第二支路ul为局部特征支路、第三支路p4为中层特征支路;第一支路b将stage4的输出输入到stage5(第五阶段)层中得到2048*8*4的特征图;第二支路ul是上、下半身局部特征提取支路,这条支路首先将stage5层的第一个卷积层的滑动步长由2改为1,得到新的stage5~层,然后将stage4的输出输入到stage5~层中得到2048*16*8的特征图;第三支路p4是四分割中层特征提取支路,其直接使用stage4的输出作为这条支路的输出特征图。
计算stage4层、stage5~层的输出特征图尺寸:16*8与输入图像尺寸:256*128之间的相差倍数m作为变换尺度。
具体的计算公式如下:
;
对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略的公式如下:
;
;
其中,m表示变换尺度;表示输入图像尺寸,表示输出的全局特征信息及中层特征信息图像尺寸;表示人体上半身的坐标信息变换输出;表示人体上半身的坐标信息变换输入;表示人体下半身的坐标信息变换输出;表示人体下半身的坐标信息变换输入。
S13:基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,获得分割全局特征信息和局部细粒度特征信息;
在本发明具体实施过程中,所述基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,包括:利用尺度转换后的人体上、下半身的坐标信息对所述全局特征信息进行特征分割处理,获得分割全局特征信息;利用尺度转换后的人体上、下半身的坐标信息对所述中层特征信息分别进行特征分割处理,获得局部细粒度特征信息。
具体的,需要对特征图拆分,然后根据尺寸变换后的上、下半身坐标、对特征图拆分后的特征图进行上下半身分割,得到尺寸为局部特征图与,其分割图例如4所示,将的坐标框上限与坐标框下限重新融合,得到人体全身框坐标;计算水平四分割中每一部的分割点纵坐标;
;
将特征图拆分,根据与对拆分后的特征图进行水平四分割,得到、、、局部特征图,其分割图例如图5所示。
对特征图、、、、、、进行全局最大值池化,将、、转变成为2048*1*1的特征向量、、,将、、、转化为1024*1*1的特征向量、、、。
采用卷积核为1、且滑动步长为1、包含256个神经元的卷积层,一个BatchNormalization层,以及Leakey ReLU激活函数构成降维层,将特征向量、、、、、、输入到降维层中,得到统一输出为的特征向量、、、、、、;降维层网络结构如图5所示。
S14:删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息;
在本发明具体实施过程中,所述删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,包括:基于所述优化后行人目标检测模型采用随机坐标补充被遮挡区域内的坐标并给予异常标记,获得被遮挡区域;删除所述被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息。
具体的,删除异常标记R被置1区域所对应的特征向量,保留异常标记R被置0的区域所对应的特征向量其中。
S15:利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,获得相似度得分;
在本发明具体实施过程中,所述利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,包括:采用余弦距离分别计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度。
具体的,通过余弦距离分别计算不同图片的剩余特征向量、全局特征向量的相似度得到每一份特征向量相似度得分与。
S16:基于遮挡情况对所述相似度得分进行加权融合,并根据加权融合结果进行行人再识别。
在本发明具体实施过程中,所述基于遮挡情况对所述相似度得分进行加权融合,包括:在不存在遮挡情况下,利用所述相似度得分中的全局特征信息相似度得分与所述相似度得分中的局部细粒度特征信息相似度得分进行累加融合;在存在遮挡情况下,赋予所述相似度得分中的全局特征信息相似度得分第一权重与赋予所述相似度得分中的局部细粒度特征信息相似度得分第二权重之后再进行累加融合。
具体的,对相似度得分进行加权融合,针对遮挡情况采用两种融合策略:1、不遮挡时对相似度得分与进行简单求和;2、若存在遮挡现象,则对全局特征向量相似度得分施加0.5的权重,对其他剩余特征向量得分施加2的权重,降低全局相似度得分在总得分中的占比,加强局部特征相似度得分在总分中的占比。最终采用总得分作为衡量行人相似度的标准。
在本发明实施例中,通过优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息和优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息之后,进行特征分割、遮挡区域特征删除等处理之后,计算相似度得分然后进行加权融合来实现行人再识别,可以在存在遮挡情况下,对行人实现准确的、快速的识别,并达到良好的识别效果。
实施例
请参阅图6,图6是本发明实施例中的基于多粒度特征融合的行人再识别装置的结构组成示意图。
如图6所示,一种基于多粒度特征融合的行人再识别装置,所述装置包括:
目标检测模块21:用于对行人目标检测模型进行优化,并利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息;
在本发明具体实施例过程中,所述对行人目标检测模型进行优化,包括:在Yolo目标检测模型的基础上,将所述Yolo目标检测模型的输入层限定的输入图像尺寸由448*448修改为256*128;以及,将所述Yolo目标检测模型的网格分割方法由7*7修改为8*4,获得修改后的行人目标检测模型;利用标注Market1501行人再识别数据集中训练集对所述修改后的行人目标检测模型进行训练至收敛,获得优化后行人目标检测模型。
进一步的,所述利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息,包括:基于所述优化后行人目标检测模型对直立人体图像进行人体上、下半身的坐标信息提取处理,并判断所述直立人体图像是否遮挡导致无法被检测区域;若是,采用随机坐标补充被遮挡区域内的坐标并给予异常标记,获得直立人体图像中的人体上、下半身的坐标信息。
具体的,在本发明中的人目标检测模型为Yolo目标检测模型,首先需要对Yolo目标检测模型进行优化,即在Yolo目标检测模型的基础上,将Yolo目标检测模型中的输入层限定的输入图像尺寸由448*448修改为256*128;并且将Yolo目标检测模型的网格分割方法由7*7修改为8*4,从而得到修改后的行人目标检测模型;在完成修改之后,利用标注Market1501行人再识别数据集中训练集中行人图像的上、半身对修改后的行人目标检测模型记性训练,在训练收敛后或者达到相应训练次数后,得到优化后行人目标检测模型。
通过该优化后行人目标检测模型对直立人体图像进行行人体上、下半身的坐标信息提取处理,从而获得直立人体图像中的人体上、下半身的坐标信息BOX;,由于行人可能存在遮挡,在不存在遮挡的情况下,直接获得直立人体图像中的人体上、下半身的坐标信息BOX,在存在遮挡的情况下,采用随机坐标补充被遮挡区域内的坐标并给予异常标记R,获得直立人体图像中的人体上、下半身的坐标信息。
特征提取模块22:用于基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息;
在本发明具体实施过程中,所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息,包括:向所述优化后的Resnet50卷积神经网模型输入3*256*128的直立人体图像,在第四阶段后输出大小为1024*16*8的特征图像;将所述优化后的Resnet50卷积神经网模型的第四阶段分为3条支路,其中,第一支路为全局特征支路,第二支路为局部特征支路,第三支路为中层特征支路;将所述大小为1024*16*8的特征图像分别输入第一支路和第二支路中的第五阶段获得直立人体图像中的全局特征信息和中层特征信息;其中,所述第一支路的第五阶段中的下采样卷积层的滑动步长为2;所述第二支路的第五阶段中的下采样卷积层的滑动步长为1。
进一步的,所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息之后,还包括:利用所述全局特征信息和中层特征信息对所述人体上、下半身的坐标信息的尺度进行尺度转换,获得尺度转换后的人体上、下半身的坐标信息;其中,根据输入图像尺寸和输出的全局特征信息及中层特征信息图像尺寸计算出变换尺度;对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略,对于人体下半身的坐标信息采用对原坐标上采样减1的变换策略进行转化;其中,根据输入图像尺寸和输出的全局特征信息及中层特征信息图像尺寸计算出变换尺度的公式如下:
;
对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略的公式如下:
;
;
其中,m表示变换尺度;表示输入图像尺寸,表示输出的全局特征信息及中层特征信息图像尺寸;表示人体上半身的坐标信息变换输出;表示人体上半身的坐标信息变换输入;表示人体下半身的坐标信息变换输出;表示人体下半身的坐标信息变换输入。
具体的,优化后的Resnet50卷积神经网模型(如图2所示),向该优化后的Resnet50卷积神经网模型输入3*256*128的直立人体图像,在第四阶段(stage4)后输出大小为1024*16*8的特征图像,然后将该优化后的Resnet50卷积神经网模型后续的网络结构分为3条支路(如图3所示),分别为第一支路b为全局特征支路、第二支路ul为局部特征支路、第三支路p4为中层特征支路;第一支路b将stage4的输出输入到stage5(第五阶段)层中得到2048*8*4的特征图;第二支路ul是上、下半身局部特征提取支路,这条支路首先将stage5层的第一个卷积层的滑动步长由2改为1,得到新的stage5~层,然后将stage4的输出输入到stage5~层中得到2048*16*8的特征图;第三支路p4是四分割中层特征提取支路,其直接使用stage4的输出作为这条支路的输出特征图。
计算stage4层、stage5~层的输出特征图尺寸:16*8与输入图像尺寸:256*128之间的相差倍数m作为变换尺度。
具体的计算公式如下:
;
对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略的公式如下:
;
;
其中,m表示变换尺度;表示输入图像尺寸,表示输出的全局特征信息及中层特征信息图像尺寸;表示人体上半身的坐标信息变换输出;表示人体上半身的坐标信息变换输入;表示人体下半身的坐标信息变换输出;表示人体下半身的坐标信息变换输入。
特征分割模块23:用于基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,获得分割全局特征信息和局部细粒度特征信息;
在本发明具体实施过程中,所述基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,包括:利用尺度转换后的人体上、下半身的坐标信息对所述全局特征信息进行特征分割处理,获得分割全局特征信息;利用尺度转换后的人体上、下半身的坐标信息对所述中层特征信息分别进行特征分割处理,获得局部细粒度特征信息。
具体的,需要对特征图拆分,然后根据尺寸变换后的上、下半身坐标、对特征图拆分后的特征图进行上下半身分割,得到尺寸为局部特征图与,其分割图例如4所示,将的坐标框上限与坐标框下限重新融合,得到人体全身框坐标;计算水平四分割中每一部的分割点纵坐标;
;
将特征图拆分,根据与对拆分后的特征图进行水平四分割,得到、、、局部特征图,其分割图例如图5所示。
对特征图、、、、、、进行全局最大值池化,将、、转变成为2048*1*1的特征向量、、,将、、、转化为1024*1*1的特征向量、、、。
采用卷积核为1、且滑动步长为1、包含256个神经元的卷积层,一个BatchNormalization层,以及Leakey ReLU激活函数构成降维层,将特征向量、、、、、、输入到降维层中,得到统一输出为的特征向量、、、、、、;降维层网络结构如图5所示。
特征删除模块24:用于删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息;
在本发明具体实施过程中,所述删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,包括:基于所述优化后行人目标检测模型采用随机坐标补充被遮挡区域内的坐标并给予异常标记,获得被遮挡区域;删除所述被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息。
具体的,删除异常标记R被置1区域所对应的特征向量,保留异常标记R被置0的区域所对应的特征向量其中。
相似度计算模块25:用于利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,获得相似度得分;
在本发明具体实施过程中,所述利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,包括:采用余弦距离分别计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度。
具体的,通过余弦距离分别计算不同图片的剩余特征向量、全局特征向量的相似度得到每一份特征向量相似度得分与。
融合再识别模块26:用于基于遮挡情况对所述相似度得分进行加权融合,并根据加权融合结果进行行人再识别。
在本发明具体实施过程中,所述基于遮挡情况对所述相似度得分进行加权融合,包括:在不存在遮挡情况下,利用所述相似度得分中的全局特征信息相似度得分与所述相似度得分中的局部细粒度特征信息相似度得分进行累加融合;在存在遮挡情况下,赋予所述相似度得分中的全局特征信息相似度得分第一权重与赋予所述相似度得分中的局部细粒度特征信息相似度得分第二权重之后再进行累加融合。
具体的,对相似度得分进行加权融合,针对遮挡情况采用两种融合策略:1、不遮挡时对相似度得分与进行简单求和;2、若存在遮挡现象,则对全局特征向量相似度得分施加0.5的权重,对其他剩余特征向量得分施加2的权重,降低全局相似度得分在总得分中的占比,加强局部特征相似度得分在总分中的占比。最终采用总得分作为衡量行人相似度的标准。
在本发明实施例中,通过优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息和优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息之后,进行特征分割、遮挡区域特征删除等处理之后,计算相似度得分然后进行加权融合来实现行人再识别,可以在存在遮挡情况下,对行人实现准确的、快速的识别,并达到良好的识别效果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,ReadOnly Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于多粒度特征融合的行人再识别方法及装置进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于多粒度特征融合的行人再识别方法,其特征在于,所述方法包括:
对行人目标检测模型进行优化,并利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息;
基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息;
基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,获得分割全局特征信息和局部细粒度特征信息;
删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息;
利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,获得相似度得分;
基于遮挡情况对所述相似度得分进行加权融合,并根据加权融合结果进行行人再识别;
所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息,包括:
向所述优化后的Resnet50卷积神经网模型输入3*256*128的直立人体图像,在第四阶段后输出大小为1024*16*8的特征图像;
将所述优化后的Resnet50卷积神经网模型的第四阶段分为3条支路,其中,第一支路为全局特征支路,第二支路为局部特征支路,第三支路为中层特征支路;
将所述大小为1024*16*8的特征图像输入第一支路中的第五阶段获得直立人体图像中的全局特征信息,将所述大小为1024*16*8的特征图像输入第三支路中的第四阶段获得直立人体图像中的中层特征信息;
其中,所述第一支路的第五阶段中的下采样卷积层的滑动步长为2;所述第二支路的第五阶段中的下采样卷积层的滑动步长为1;
所述基于遮挡情况对所述相似度得分进行加权融合,包括:
在不存在遮挡情况下,利用所述相似度得分中的全局特征信息相似度得分与所述相似度得分中的局部细粒度特征信息相似度得分进行累加融合;
在存在遮挡情况下,赋予所述相似度得分中的全局特征信息相似度得分第一权重与赋予所述相似度得分中的局部细粒度特征信息相似度得分第二权重之后再进行累加融合。
2.根据权利要求1所述的行人再识别方法,其特征在于,所述对行人目标检测模型进行优化,包括:
在Yolo目标检测模型的基础上,将所述Yolo目标检测模型的输入层限定的输入图像尺寸由448*448修改为256*128;以及,
将所述Yolo目标检测模型的网格分割方法由7*7修改为8*4,获得修改后的行人目标检测模型;
利用标注Market1501行人再识别数据集中训练集对所述修改后的行人目标检测模型进行训练至收敛,获得优化后行人目标检测模型。
3.根据权利要求1所述的行人再识别方法,其特征在于,所述利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息,包括:
基于所述优化后行人目标检测模型对直立人体图像进行人体上、下半身的坐标信息提取处理,并判断所述直立人体图像是否遮挡导致无法被检测区域;
若是,采用随机坐标补充被遮挡区域内的坐标并给予异常标记,获得直立人体图像中的人体上、下半身的坐标信息。
4.根据权利要求1所述的行人再识别方法,其特征在于,所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息之后,还包括:
利用所述全局特征信息和中层特征信息对所述人体上、下半身的坐标信息的尺度进行尺度转换,获得尺度转换后的人体上、下半身的坐标信息;
其中,根据输入图像尺寸和输出的全局特征信息及中层特征信息图像尺寸计算出变换尺度;
对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略,对于人体下半身的坐标信息采用对原坐标上采样减1的变换策略进行转化;
其中,根据输入图像尺寸和输出的全局特征信息及中层特征信息图像尺寸计算出变换尺度的公式如下:
;
对于人体上半身的坐标信息采用对原坐标下采样加1的变换策略的公式如下:
;
;
其中,m表示变换尺度;表示输入图像尺寸,表示输出的全局特征信息及中层特征信息图像尺寸;表示人体上半身的坐标信息变换输出;表示人体上半身的坐标信息变换输入;表示人体下半身的坐标信息变换输出;表示人体下半身的坐标信息变换输入。
5.根据权利要求1所述的行人再识别方法,其特征在于,所述基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,包括:
利用尺度转换后的人体上、下半身的坐标信息对所述全局特征信息进行特征分割处理,获得分割全局特征信息;
利用尺度转换后的人体上、下半身的坐标信息对所述中层特征信息分别进行特征分割处理,获得局部细粒度特征信息。
6.根据权利要求1所述的行人再识别方法,其特征在于,所述删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,包括:
基于所述优化后行人目标检测模型采用随机坐标补充被遮挡区域内的坐标并给予异常标记,获得被遮挡区域;
删除所述被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息。
7.根据权利要求1所述的行人再识别方法,其特征在于,所述利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,包括:
采用余弦距离分别计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度。
8.一种基于多粒度特征融合的行人再识别装置,其特征在于,所述装置包括:
目标检测模块:用于对行人目标检测模型进行优化,并利用优化后行人目标检测模型获得直立人体图像中的人体上、下半身的坐标信息;
特征提取模块:用于基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息;
特征分割模块:用于基于所述人体上、下半身的坐标信息对所述全局特征信息和中层特征信息分别进行特征分割处理,获得分割全局特征信息和局部细粒度特征信息;
特征删除模块:用于删除被遮挡区域内对应的分割后的全局特征信息和局部细粒度特征信息,获得剩余的分割全局特征信息和局部细粒度特征信息;
相似度计算模块:用于利用距离计算函数计算不同直立人体图像中的剩余的分割全局特征信息和局部细粒度特征信息之间的相似度,获得相似度得分;
融合再识别模块:用于基于遮挡情况对所述相似度得分进行加权融合,并根据加权融合结果进行行人再识别;
所述基于优化后的Resnet50卷积神经网模型提取直立人体图像中的全局特征信息和中层特征信息,包括:
向所述优化后的Resnet50卷积神经网模型输入3*256*128的直立人体图像,在第四阶段后输出大小为1024*16*8的特征图像;
将所述优化后的Resnet50卷积神经网模型的第四阶段分为3条支路,其中,第一支路为全局特征支路,第二支路为局部特征支路,第三支路为中层特征支路;
将所述大小为1024*16*8的特征图像输入第一支路中的第五阶段获得直立人体图像中的全局特征信息,将所述大小为1024*16*8的特征图像输入第三支路中的第四阶段获得直立人体图像中的中层特征信息;
其中,所述第一支路的第五阶段中的下采样卷积层的滑动步长为2;所述第二支路的第五阶段中的下采样卷积层的滑动步长为1;
所述基于遮挡情况对所述相似度得分进行加权融合,包括:
在不存在遮挡情况下,利用所述相似度得分中的全局特征信息相似度得分与所述相似度得分中的局部细粒度特征信息相似度得分进行累加融合;
在存在遮挡情况下,赋予所述相似度得分中的全局特征信息相似度得分第一权重与赋予所述相似度得分中的局部细粒度特征信息相似度得分第二权重之后再进行累加融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911349169.7A CN111126275B (zh) | 2019-12-24 | 2019-12-24 | 一种基于多粒度特征融合的行人再识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911349169.7A CN111126275B (zh) | 2019-12-24 | 2019-12-24 | 一种基于多粒度特征融合的行人再识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111126275A CN111126275A (zh) | 2020-05-08 |
CN111126275B true CN111126275B (zh) | 2023-05-05 |
Family
ID=70500571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911349169.7A Active CN111126275B (zh) | 2019-12-24 | 2019-12-24 | 一种基于多粒度特征融合的行人再识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126275B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666851B (zh) * | 2020-05-28 | 2022-02-15 | 大连理工大学 | 一种基于多粒度标签的交叉域自适应行人重识别方法 |
CN111783613B (zh) * | 2020-06-28 | 2021-10-08 | 北京百度网讯科技有限公司 | 异常检测方法、模型的训练方法、装置、设备及存储介质 |
CN112633183B (zh) * | 2020-12-25 | 2023-11-14 | 平安银行股份有限公司 | 影像遮挡区域自动检测方法、装置及存储介质 |
CN112801008A (zh) * | 2021-02-05 | 2021-05-14 | 电子科技大学中山学院 | 行人重识别方法、装置、电子设备及可读存储介质 |
CN114549921B (zh) * | 2021-12-30 | 2023-04-07 | 浙江大华技术股份有限公司 | 目标识别方法、电子设备及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919141A (zh) * | 2019-04-09 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架姿态的行人再识别方法 |
CN110008913A (zh) * | 2019-04-08 | 2019-07-12 | 南京工业大学 | 基于姿态估计与视点机制融合的行人再识别方法 |
CN110163110A (zh) * | 2019-04-23 | 2019-08-23 | 中电科大数据研究院有限公司 | 一种基于迁移学习和深度特征融合的行人重识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699151B2 (en) * | 2016-06-03 | 2020-06-30 | Miovision Technologies Incorporated | System and method for performing saliency detection using deep active contours |
-
2019
- 2019-12-24 CN CN201911349169.7A patent/CN111126275B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008913A (zh) * | 2019-04-08 | 2019-07-12 | 南京工业大学 | 基于姿态估计与视点机制融合的行人再识别方法 |
CN109919141A (zh) * | 2019-04-09 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架姿态的行人再识别方法 |
CN110163110A (zh) * | 2019-04-23 | 2019-08-23 | 中电科大数据研究院有限公司 | 一种基于迁移学习和深度特征融合的行人重识别方法 |
Non-Patent Citations (1)
Title |
---|
晋丽榕 ; 王海梅 ; 徐丹萍 ; .基于LBP-HSV模型及改进SIFT算法的行人再识别算法.计算机测量与控制.2018,(第05期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111126275A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126275B (zh) | 一种基于多粒度特征融合的行人再识别方法及装置 | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
US20130114858A1 (en) | Method for Detecting a Target in Stereoscopic Images by Learning and Statistical Classification on the Basis of a Probability Law | |
Van Pham et al. | Front-view car detection and counting with occlusion in dense traffic flow | |
CN111860291A (zh) | 基于行人外观和步态信息的多模态行人身份识别方法和系统 | |
Cepni et al. | Vehicle detection using different deep learning algorithms from image sequence | |
CN109101932A (zh) | 基于目标检测的多任务及临近信息融合的深度学习算法 | |
CN113920436A (zh) | 一种基于改进YOLOv4算法的遥感图像海上船舶识别系统及其方法 | |
CN111932582A (zh) | 一种视频图像中的目标跟踪方法及装置 | |
CN111582126A (zh) | 基于多尺度行人轮廓分割融合的行人重识别方法 | |
Kamijo et al. | Pedestrian detection algorithm for on-board cameras of multi view angles | |
Ding et al. | Improved object detection algorithm for drone-captured dataset based on yolov5 | |
CN114241310B (zh) | 基于改进yolo模型的堤防管涌险情智能识别方法 | |
CN116109950A (zh) | 一种低空域反无人机视觉检测、识别与跟踪方法 | |
CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
CN111767919B (zh) | 一种多层双向特征提取与融合的目标检测方法 | |
CN115797970B (zh) | 基于YOLOv5模型的密集行人目标检测方法及系统 | |
Hossen et al. | License plate detection and recognition system based on morphological approach and feed-forward neural network | |
Cao et al. | Vehicle detection in remote sensing images using deep neural networks and multi-task learning | |
Lu et al. | Research on target detection and tracking system of rescue robot | |
CN111178158B (zh) | 一种骑车人检测方法及系统 | |
Ding et al. | Human detection in dense scene of classrooms | |
CN111640071A (zh) | 基于卷积神经网络修复帧差法获取全景前景目标的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |