CN106250874A - 一种服饰及随身物品的识别方法和装置 - Google Patents

一种服饰及随身物品的识别方法和装置 Download PDF

Info

Publication number
CN106250874A
CN106250874A CN201610678102.8A CN201610678102A CN106250874A CN 106250874 A CN106250874 A CN 106250874A CN 201610678102 A CN201610678102 A CN 201610678102A CN 106250874 A CN106250874 A CN 106250874A
Authority
CN
China
Prior art keywords
target
score value
classification
labelling
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610678102.8A
Other languages
English (en)
Other versions
CN106250874B (zh
Inventor
任鹏远
许健
李岩
张丛喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netposa Technologies Ltd
Original Assignee
Netposa Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netposa Technologies Ltd filed Critical Netposa Technologies Ltd
Priority to CN201610678102.8A priority Critical patent/CN106250874B/zh
Publication of CN106250874A publication Critical patent/CN106250874A/zh
Application granted granted Critical
Publication of CN106250874B publication Critical patent/CN106250874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种服饰及随身物品的识别方法和装置,其中,该方法包括:获取监控视频并从监控视频中提取待识别的图像信息;将图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,分值图包括:中心域分值图、轮廓域分值图、以及类别域分值图;根据各个目标类别对应的分值图确定图像信息中各个目标的外接矩形、掩模图形、以及主类别;根据各个目标的外接矩形和掩模图形确定各个目标的属性信息。本发明实施例通过采用组合域的方式进行目标检测与识别,可以准确地对图像信息中的多个服饰及随身物品进行目标检测与分割,并准确地提取各个目标的属性信息,从而满足视频监控图像中多目标的服饰及随身物品识别的实际需求。

Description

一种服饰及随身物品的识别方法和装置
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种服饰及随身物品的识别方法和装置。
背景技术
目前,在视频监控领域中,对于行人的服饰及随身物品的检测和识别有着巨大的需求,若能够精确地检测并识别出视频图像中所有人的着装以及随身物品的款式、纹理、颜色等信息,从而,将能够大大提升智能监控系统提取的人体结构化信息量,进而在基于语义的行人检索应用中有很大应用价值。
当前,相关技术中利用传统算法只能粗略定位人的上半身下半身区域并估计其中的颜色,在功能上和精度上还没有满足服饰识别的需求。随着深度学习技术的兴起,越来越多的图像识别技术领域得到了大幅改进提高,例如:图像分类、目标检测、图像语义分割等领域,基于深度学习的目标检测技术在PASCAL VOC数据集的20类目标、Microsoft COCO数据集的80类目标、ImageNet数据集的200类目标的检测上均已达到了相当高的检测识别性能。但是对于服饰检测识别这类与人们生活息息相关的应用领域却鲜见有成熟的解决方案,其中,原因在于服饰的识别相比于上述公开数据集的识别有着一些特殊的难点,主要可概括为:第一,服饰包含难以计数的款型,因此形态和纹理差异极大;第二,人体是非刚性物体,服饰穿在身上同样为非刚性物体,同时服饰又不像人体那样有着统一的结构(如头、肩、躯干、四肢);第三,在目标密集的场景,人体服饰相比于人脸、车辆等目标更容易产生遮挡;第四,上衣、裤子、书包这些服饰目标会在一个人身上同时出现,甚至在空间会有交叠,因此服饰目标具有很强的共现性。而对于PASCAL VOC等公开数据集的目标检测模型,由于各类别的共现性较小,神经网络隐含地可以利用目标周围的背景来判断出目标处于哪种场景,进而推断出哪些类目标可能出现,哪些类目标不可能出现。
在实现本发明的过程中,发明人发现相关技术中至少存在以下问题:目前相关技术中的并未给出有效的服饰及随身物品识别的技术方案,进而无法满足视频监控图像中多目标的服饰及随身物品识别的实际需求。
发明内容
有鉴于此,本发明实施例的目的在于提供一种服饰及随身物品的识别方法和装置,以准确地对图像信息中的多个服饰及随身物品进行目标检测与分割,并准确地提取各个目标的属性信息,从而满足视频监控图像中多目标的服饰及随身物品识别的实际需求。
第一方面,本发明实施例提供了一种服饰及随身物品的识别方法,该方法包括:
获取监控视频并从该监控视频中提取待识别的图像信息;
将上述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,该分值图包括:中心域分值图、轮廓域分值图、以及类别域分值图;
根据上述各个目标类别对应的分值图确定上述图像信息中各个目标的外接矩形、掩模图形、以及主类别;
根据各个目标的上述外接矩形和上述掩模图形确定各个目标的属性信息,该目标的属性信息包括:目标的子类别、目标的颜色、以及目标的纹理。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,上述基于组合域的深度神经网络模型是通过如下步骤获得的:
获取训练样本数据的标记图,该标记图包括:中心域标记图、轮廓域标记图、以及类别域标记图;
采用随机梯度下降法根据上述训练样本数据的上述标记图训练得到基于组合域的深度神经网络模型。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,将上述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,包括:
对上述图像信息进行特征提取处理,得到各个像素点的特征,并对该各个像素点的特征进行分类处理;
将分类处理后的各个像素点的特征输入至Softmax函数,计算得到各个上述像素点在中心域、轮廓域和类别域中对应于各个目标类别通道的分值;
根据计算得到的各个目标类别的多个分值绘制各个目标类别对应的分值图。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,根据上述各个目标类别对应的分值图确定上述图像信息中各个目标的外接矩形、掩模图形、以及主类别,包括:
根据各个目标类别对应的上述中心域分值图确定各个目标的主类别;
对上述中心域分值图进行二值化处理,并对二值化处理后的上述中心域分值图进行连通域分析,对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图;
利用分水岭算法根据上述轮廓域分值图对上述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图;
根据上述最终标记图分别确定各个目标的外接矩形和掩模图形。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,对上述中心域分值图进行二值化处理,并对二值化处理后的上述中心域分值图进行连通域分析,对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图,包括:
依次从类别域的多个目标类别中选取一个目标类别作为先验类别,对上述先验类别对应的中心域分值图进行二值化处理;
利用Two-Pass算法或者种子填充算法确定二值化处理后的上述中心域分值图中的多个连通域,将各个目标的上述连通域作为各个目标的中心域;
在与上述类别域分值图大小相等的灰度图中对各个目标的中心域包含的像素点标记相应的目标ID号;
将标记的各个目标的中心域包含的像素点灰度图作为初始标记图。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,利用分水岭算法根据上述轮廓域分值图对上述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图,包括:
对上述轮廓域分值图进行定点化并取反处理,将定点化并取反后的上述轮廓域分值图作为山坳图像;
将上述初始标记图和上述山坳图像输入至分水岭算法,得到各个目标的分割结果;
根据上述分割结果对上述初始标记图上未标记目标ID号的像素点进行标记;
将标记后的上述初始标记图作为最终标记图。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,根据各个目标的上述外接矩形和上述掩模图形确定各个目标的属性信息,包括:
将各个目标的外接矩形和掩模图形输入至基于属性分类的深度神经网络模型的特征层,根据各个目标的上述外接矩形对该特征层进行抠图处理,并将各个目标的上述掩模图形以外的像素点的图像特征设置为零,得到各个目标的特征图像;
将各个目标的上述特征图像输入至基于属性分类的深度神经网络模型的池化层,对各个目标的上述特征图像进行池化处理,得到各个目标的特征向量,其中,该池化处理包括:最大池化处理或者平均池化处理;
将各个目标的上述特征向量输入至基于属性分类的深度神经网络模型的全连接层,从各个目标的上述特征向量中提取各个目标的属性特征;
将提取出的各个目标的上述属性特征输入至以Softmax作为分值计算函数的属性分类器,得到各个目标的属性信息,上述属性分类器包括以下中的一种或多种:子类别分类器、颜色分类器或者纹理分类器。
结合第一方面至第一方面的第六种可能的实施方式中的任一种,本发明实施例提供了第一方面的第七种可能的实施方式,其中,上述方法还包括:
利用后验概率验证法对确定出的各个目标的上述主类别进行确认;
当确认结果为正确时,则输出上述目标的外接矩形、掩模图形、以及主类别;
当确认结果为不正确时,则不输出上述目标的外接矩形、掩模图形、以及主类别。
结合第一方面的第七种可能的实施方式,本发明实施例提供了第一方面的第八种可能的实施方式,其中,利用后验概率验证法对确定出的各个目标的上述主类别进行确认,包括:
根据选取的先验类别从类别域分值图中提取与上述先验类别对应的类别域分值图;
根据上述类别域分值图和后验概率计算公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率;
分别判断各个目标的上述后验概率是否大于上述先验类别对应的阈值;
若大于,则确定上述目标的实际主类别与上述先验类别一致,并将确认结果设置为正确;
若小于等于,则确定上述目标的实际主类别与上述先验类别不一致,并将确认结果设置为不正确。
结合第一方面的第八种可能的实施方式,本发明实施例提供了第一方面的第九种可能的实施方式,其中,根据上述类别域分值图和后验概率计算公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率,包括:
根据上述类别域分值图和公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率,其中,Pa表示第a个目标的后验概率,表示第a个目标的掩模图形内第n个像素点的类别域分值,na表示第a个目标的掩模图形内第n个像素点,Na表示第a个目标的掩模图形内像素点总数,na=1,...,Na
第二方面,本发明实施例还提供了一种服饰及随身物品的识别装置,该装置包括:
提取模块,用于获取监控视频并从该监控视频中提取待识别的图像信息;
分值图确定模块,用于将上述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,该分值图包括:中心域分值图、轮廓域分值图、以及类别域分值图;
目标分割模块,用于根据上述各个目标类别对应的分值图确定上述图像信息中各个目标的外接矩形、掩模图形、以及主类别;
属性信息确定模块,用于根据各个目标的上述外接矩形和上述掩模图形确定各个目标的属性信息,该目标的属性信息包括:目标的子类别、目标的颜色、以及目标的纹理。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,上述装置还包括:
样本获取模块,用于获取训练样本数据的标记图,该标记图包括:中心域标记图、轮廓域标记图、以及类别域标记图;
模型训练模块,用于采用随机梯度下降法根据上述训练样本数据的上述标记图训练得到基于组合域的深度神经网络模型。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,上述分值图确定模块包括:
特征提取单元,用于对上述图像信息进行特征提取处理,得到各个像素点的特征,并对该各个像素点的特征进行分类处理;
分值计算单元,用于将分类处理后的各个像素点的特征输入至Softmax函数,计算得到各个上述像素点在中心域、轮廓域和类别域中对应于各个目标类别通道的分值;
分值图绘制单元,用于根据计算得到的各个目标类别的多个分值绘制各个目标类别对应的分值图。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,上述目标分割模块包括:
主类别确定单元,用于根据各个目标类别对应的上述中心域分值图确定各个目标的主类别;
初始标记图生成单元,用于对上述中心域分值图进行二值化处理,并对二值化处理后的上述中心域分值图进行连通域分析,对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图;
最终标记图生成单元,用于利用分水岭算法根据上述轮廓域分值图对上述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图;
目标分割单元,用于根据上述最终标记图分别确定各个目标的外接矩形和掩模图形。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第四种可能的实施方式,其中,上述初始标记图生成单元包括:
二值化子单元,用于依次从类别域的多个目标类别中选取一个目标类别作为先验类别,对上述先验类别对应的中心域分值图进行二值化处理;
中心域确定子单元,用于利用Two-Pass算法或者种子填充算法确定二值化处理后的上述中心域分值图中的多个连通域,将各个目标的上述连通域作为各个目标的中心域;
第一目标ID号标记子单元,用于在与上述类别域分值图大小相等的灰度图中对各个目标的中心域包含的像素点标记相应的目标ID号;
初始标记图确定子单元,用于将标记的各个目标的中心域包含的像素点灰度图作为初始标记图。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第五种可能的实施方式,其中,上述最终标记图生成单元包括:
山坳图像生成子单元,用于对上述轮廓域分值图进行定点化并取反处理,将定点化并取反后的上述轮廓域分值图作为山坳图像;
分割结果确定子单元,用于将上述初始标记图和上述山坳图像输入至分水岭算法,得到各个目标的分割结果;
第二目标ID号标记子单元,用于根据上述分割结果对上述初始标记图上未标记目标ID号的像素点进行标记;
最终标记图确定子单元,用于将标记后的上述初始标记图作为最终标记图。
结合第二方面,本发明实施例提供了第二方面的第六种可能的实施方式,其中,上述属性信息确定模块包括:
特征图像提取单元,用于将各个目标的外接矩形和掩模图形输入至基于属性分类的深度神经网络模型的特征层,根据各个目标的上述外接矩形对该特征层进行抠图处理,并将各个目标的上述掩模图形以外的像素点的图像特征设置为零,得到各个目标的特征图像;
特征向量确定单元,用于将各个目标的上述特征图像输入至基于属性分类的深度神经网络模型的池化层,对各个目标的上述特征图像进行池化处理,得到各个目标的特征向量,其中,该池化处理包括:最大池化处理或者平均池化处理;
属性特征提取单元,用于将各个目标的上述特征向量输入至基于属性分类的深度神经网络模型的全连接层,从各个目标的上述特征向量中提取各个目标的属性特征;
属性信息确定单元,用于将提取出的各个目标的上述属性特征输入至以Softmax作为分值计算函数的属性分类器,得到各个目标的属性信息,上述属性分类器包括以下中的一种或多种:子类别分类器、颜色分类器或者纹理分类器。
结合第二方面至第二方面的第六种可能的实施方式中的任一种,本发明实施例提供了第二方面的第七种可能的实施方式,其中,上述装置还包括:
主类别验证模块,用于利用后验概率验证法对确定出的各个目标的上述主类别进行确认;当确认结果为正确时,则输出上述目标的外接矩形、掩模图形、以及主类别;当确认结果为不正确时,则不输出上述目标的外接矩形、掩模图形、以及主类别。
结合第二方面的第七种可能的实施方式,本发明实施例提供了第二方面的第八种可能的实施方式,其中,上述主类别验证模块包括:
类别域分值图选取单元,用于根据选取的先验类别从类别域分值图中提取与上述先验类别对应的类别域分值图;
后验概率计算单元,用于根据上述类别域分值图和后验概率计算公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率;
主类别验证单元,用于分别判断各个目标的上述后验概率是否大于上述先验类别对应的阈值;若大于,则确定上述目标的实际主类别与上述先验类别一致,并将确认结果设置为正确;若小于等于,则确定上述目标的实际主类别与上述先验类别不一致,并将确认结果设置为不正确。
结合第二方面的第八种可能的实施方式,本发明实施例提供了第二方面的第九种可能的实施方式,其中,上述后验概率计算单元包括:
后验概率计算子单元,用于根据上述类别域分值图和公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率,其中,Pa表示第a个目标的后验概率,表示第a个目标的掩模图形内第n个像素点的类别域分值,na表示第a个目标的掩模图形内第n个像素点,Na表示第a个目标的掩模图形内像素点总数,na=1,...,Na
在本发明实施例提供的服饰及随身物品的识别方法和装置中,该方法包括:首先,获取监控视频并从监控视频中提取待识别的图像信息;然后,将图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,分值图包括:中心域分值图、轮廓域分值图、以及类别域分值图;最后,根据各个目标类别对应的分值图确定图像信息中各个目标的外接矩形、掩模图形、以及主类别;再根据各个目标的外接矩形和掩模图形确定各个目标的属性信息。本发明实施例通过采用组合域的方式进行目标检测与识别,可以准确地对图像信息中的多个服饰及随身物品进行目标检测与分割,并准确地提取各个目标的属性信息,从而满足视频监控图像中多目标的服饰及随身物品识别的实际需求,进而能够提升从智能监控系统中提取的人体结构化信息量。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种服饰及随身物品的识别方法的流程示意图;
图2示出了本发明实施例所提供的一种服饰及随身物品的识别装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到目前相关技术中的并未给出有效的服饰及随身物品识别的技术方案,进而无法满足视频监控图像中多目标的服饰及随身物品识别的实际需求。基于此,本发明实施例提供了一种服饰及随身物品的识别方法和装置,下面通过实施例进行描述。
如图1所示,本发明实施例提供了一种服饰及随身物品的识别方法,该方法包括步骤S102-S108,具体如下:
步骤S102:获取监控视频并从该监控视频中提取待识别的图像信息;
步骤S104:将上述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,该分值图包括:中心域分值图、轮廓域分值图、以及类别域分值图;
步骤S106:根据上述各个目标类别对应的分值图确定上述图像信息中各个目标的外接矩形、掩模图形、以及主类别,该掩模图形为目标的轮廓图像;
步骤S108:根据各个目标的上述外接矩形和上述掩模图形确定各个目标的属性信息,该目标的属性信息包括:目标的子类别、目标的颜色、以及目标的纹理。
其中,上述组合域具体包括中心域、轮廓域和类别域,目标中心域可以分为像素点位于目标中心、或者非目标中心两种情况,即中心域包含两个类别:中心、非中心;目标轮廓域可以分为像素点位于内域、边缘、或者背景,即轮廓域包含三个类别:内域、边缘、背景;类别域是指像素点所属的服饰主类别,即类别域包含N个类别,N指待分类的目标类别数,对于服饰识别而言,目标类别即主类别包括但不限于:长款外衣、上衣、裤子、裙子、短裤、帽子、或者随身物品等等。
在本发明提供的实施例中,首先,利用基于组合域的深度神经网络模型确定各个目标类别对应的分值图;然后,根据组合域分值图进行目标的识别与分割,确定各个目标的主类别和外接矩形、掩模图形;最后,再根据各个目标的外接矩形和掩模图形确定属性信息,通过采用组合域的方式进行目标检测与识别,即结合中心域、轮廓域和类别域的预测结果来对不同类别目标的个体进行分割,并提取目标的属性信息,可以准确地对图像信息中的多个服饰及随身物品进行目标检测与分割,并准确地提取各个目标的属性信息,从而满足视频监控图像中多目标的服饰及随身物品识别的实际需求,进而能够提升从智能监控系统中提取的人体结构化信息量。
其中,上述基于组合域的深度神经网络模型是通过如下步骤获得的:
获取训练样本数据的标记图,该标记图包括:中心域标记图、轮廓域标记图、以及类别域标记图;
采用随机梯度下降法根据上述训练样本数据的上述标记图训练得到基于组合域的深度神经网络模型。
具体的,在本发明提供的实施例中,深度神经网络模型的训练需要绘制与分类卷积层输出尺寸相同大小的多个标记图,每个中心域、轮廓域和类别域均对应一个标记图,生成标记图之前先将训练集中标注的目标坐标信息从原始图像坐标空间换算到特征图像空间,例如,设降维比率为m,原始图像坐标(x,y)在特征图中的坐标为(x/m,y/m),下面所涉及的目标标注位置全部采用转换后的坐标。
(1)绘制中心域标记图的具体过程包括:
确定中心点坐标,其中,如果目标是按轮廓标注的,则计算轮廓线坐标的平均值;如果目标是以矩形框标注的,则计算矩形框的中心坐标;
以中心点坐标为中心,r个像素为半径在标记图上绘制圆形或正方形,填充值为中心类的类别号;
标记图的其他区域赋值为非中心类的类别号。
(2)绘制轮廓域标记图的具体过程包括:
将每个目标标注的轮廓绘制在标记图上,其中,如果目标以矩形框标注,则绘制矩形框,绘制值为边缘类类别号;
用形态学算法对绘制的轮廓图像进行膨胀,核半径为r;
标记图像中目标轮廓以内的区域填充为内域类类别号;
标记图的其他区域赋值为背景类类别号。
(3)绘制类别域标记图的具体过程包括:
以目标类别号将标注的目标轮廓绘制在标记图上,并以目标类别号对轮廓进行填充。
在本发明提供的实施例中,采用随机梯度下降法对深度神经网络进行训练,中心域、轮廓域和类别域均采用独立的Softmax损失函数,采用多任务的方式进行训练,其中,中心域、轮廓域和类别域的损失函数只计算目标轮廓以内区域的误差,即采用组合域(轮廓域、中心域和类别域)训练并实现用于服饰及随身物品检测的深度神经网络模型。
具体的,将上述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,具体包括:
对上述图像信息进行特征提取处理,得到各个像素点的特征,并对该各个像素点的特征进行分类处理;
将分类处理后的各个像素点的特征输入至Softmax函数,计算得到各个上述像素点在中心域、轮廓域和类别域中对应于各个目标类别通道的分值;
根据计算得到的各个目标类别的多个分值绘制各个目标类别对应的分值图。
其中,输入的待识别图像信息经过特征提取及分类卷积神经网络后经过Softmax函数获取每个像素点分别在中心域、轮廓域、类别域中对应于某个类别通道的分值,由此生成一系列类别分值图,具体的,中心域、轮廓域和类别域均分别对应一个Softmax函数,以轮廓域为例:Softmax函数输出内域、边缘、背景三个类别的分值图,在本发明提供的实施例中,轮廓域分值图是抽取了其中的内域的分值图,中心域分值图是抽取了其中的中心的分值图,类别域分值图是分别抽取各个目标类别的分值图。其中,Softmax函数为for j=1,...,K,z表示深度神经网络的输出参数,以及作为Softmax函数的输入参数,K表示中心域、轮廓域、类别域包含的类别数,σ(z)j表示第j个类别通道的分值,σ(z)j∈[0,1],对于中心域而言,K=2,对于轮廓域而言,K=3,对于类别域而言,K=N。
具体的,采用一个深度神经网络模型提取输入的待识别图像的各像素的特征,设输入的待识别图像的宽高为[Width,Height],则深度神经网络模型中卷积神经网络输出的特征图像宽高为[Width/m,Height/m],每个特征像素包含C个通道,其中,m(m≥1)为由池化层降维导致的降维比率(说明输入的待识别图像中的m×m个像素共享一个特征层特征)。在特征层的后面采用1×1大小的核以卷积神经网络的方式实现每个像素的分类,每个域中的每个类别都对应一个卷积输出通道,每个域采用Softmax对像素点进行分类,为了保证各类别的分类准确度,可以给每个目标类别分配专有的中心域和轮廓域。
其中,在本发明提供的实施例中,可以使用中心域中的中心分值图、轮廓域中的内域分值图、类别域中所有类别的分值图作为目标识别与分割过程的输入参数。
具体的,根据上述各个目标类别对应的分值图确定上述图像信息中各个目标的外接矩形、掩模图形、以及主类别,包括:
根据各个目标类别对应的上述中心域分值图确定各个目标的主类别,其中,可以使用N个主类别检测器(基于中心分值图+边缘分值图+分水岭)分别检测各自类别的目标,例如,对于主类别A,如果A类中心分值图中没有大于阈值的点,则A类别检测到0个目标;如果A类的中心分值图中有n个大于阈值的连通域,则A类别检测到n个目标;
对上述中心域分值图进行二值化处理,并对二值化处理后的上述中心域分值图进行连通域分析(每个目标中心对应一个亮斑,确定各个目标的中心域包含的像素点),对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图;
利用分水岭算法根据上述轮廓域分值图对上述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图;
根据上述最终标记图分别确定各个目标的外接矩形和掩模图形。
在本发明提供的实施例中,通过在深度神经网络模型输出的分值图上计算连通域,并利用分水岭算法确定不同目标个体的区域。具体为:将卷积神经网络输出的中心域分值图转化为标记图像(初始标记图),利用分水岭算法在轮廓域分值图中找到各目标的轮廓,分别在中心域、轮廓域和类别域中实现目标区域分割和目标分类,大幅降低了类别易混淆像素点分类错误导致目标分割错误的情况,避免了使用耗时的CRF算法;并且将中心域像素分类与轮廓域像素分类相结合,实现了同类相邻目标的分割,使图像语义分割算法可以当做目标检测算法来用,提出了一种新的基于深度学习的图像分割算法,不仅可以分割不同语义类别的区域,而且可以分割同语义类别的相邻的不同目标个体,从而适用于服饰及随身物品检测识别这种高难度的应用领域。
其中,对上述中心域分值图进行二值化处理,并对二值化处理后的上述中心域分值图进行连通域分析,对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图,包括:
依次从类别域的多个目标类别中选取一个目标类别作为先验类别,对上述先验类别对应的中心域分值图进行二值化处理,其中,每个目标类别(对于服饰识别而言,目标类别即为主类别)均对应一个中心域分值图和一个轮廓域分值图,每个目标类别可各自设定二值化阈值,取值原则是在二值化图像中保留真实目标的中心点,消除虚假目标的中心点;
利用Two-Pass算法或者种子填充算法确定二值化处理后的上述中心域分值图中的多个连通域,将各个目标的上述连通域作为各个目标的中心域;
在与上述类别域分值图大小相等的灰度图中对各个目标的中心域包含的像素点标记相应的目标ID号;
将标记的各个目标的中心域包含的像素点灰度图作为初始标记图。
具体的,(1)对于每个目标类别,将该类别对应的中心分值图进行二值化,每个目标类别可各自设定二值化阈值,取值原则是在二值化图像中保留真实目标的中心点,消除虚假目标的中心点;
(2)用Two-Pass或种子填充方法获取中心二值图像中的连通域,每个连通域代表一个目标的中心点,以1为起始值给图像中每个目标中心赋予不同的ID号;
(3)生成一个与类别分值图大小相等的灰度图作为标记图像(初始标记图),将中心二值图像中找到的连通域以每个目标的ID号绘制填充到标记图像(初始标记图)中,并在标记图像(初始标记图)中,将每个内域分值图分值小于特定阈值的像素位置对应的标记图像(初始标记图)素赋值为0,其中,0在标记图像(初始标记图)中代表背景的ID号。
其中,利用分水岭算法根据上述轮廓域分值图对上述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图,包括:
对上述轮廓域分值图进行定点化并取反处理,将定点化并取反后的上述轮廓域分值图作为山坳图像;
将上述初始标记图和上述山坳图像输入至分水岭算法,得到各个目标的分割结果;
根据上述分割结果对上述初始标记图上未标记目标ID号的像素点进行标记;
将标记后的上述初始标记图作为最终标记图。
具体的,(1)生成山坳图像,即将内域分值图定点化并取反,其中,由于分值图的取值范围是[0,1]之间的浮点数,那么定点化(以256个级别为例)每个像素的值为Y=255-floor(X*255)(floor为向下取整);
(2)山坳图像和标记图像(初始标记图)作为分水岭(WaterShed)算法的输入,获取每个目标的图像分割结果。
其中,在山坳图像中,背景处的地势最高,目标内域的地势最低,相互遮挡目标边缘处的地势相对比内域高,形成山脊。在标记图像(初始标记图)中,每个目标的中心接近山坳图中的谷底位置。以标记图像(初始标记图)中已标记部分(背景及各目标中心)作为初始水域,水平面由0至255进行上升。对于每一个水平面高度,每个水域淹没低于水平面的外延像素形成水域生长,各个水域交替完成一次外延生长,直到所有水域都不再生长。等水平面升至255后,会在独立或相互遮挡目标的边缘轮廓处形成分水岭。利用分水岭算法输出的标记图(最终标记图),记录每个目标包含的像素点位置,完成目标分割。
需要说明的是,在本发明提供的实施例中,“目标类别”含义是Target Classes(标的类别)的意思,不是Object Classes的意思;上衣、裤子、裙子等类都是目标类别(标的类别、或目的类别),是该检测算法要实现的应用目标;中心、边缘、内域等类是辅助类别,是实现目标的辅助手段。
具体的,根据各个目标的上述外接矩形和上述掩模图形确定各个目标的属性信息,包括:
将各个目标的外接矩形和掩模图形输入至基于属性分类的深度神经网络模型的特征层,根据各个目标的上述外接矩形对该特征层进行抠图处理,并将各个目标的上述掩模图形以外的像素点的图像特征设置为零,得到各个目标的特征图像;
将各个目标的上述特征图像输入至基于属性分类的深度神经网络模型的池化层,对各个目标的上述特征图像进行池化处理,得到各个目标的特征向量,该池化处理包括:最大池化处理或者平均池化处理,其中,将每个目标的特征图像传输至池化层,产生固定大小为k×k的池化层输出,这要求根据每个目标的尺寸调整池化层池化窗口尺寸和池化半径,设目标在特征层中的尺寸为[W,H],则池化窗口的尺寸为[ceil(W/k),ceil(H/k)](其中,ceil为向上取整),池化步长大小与池化窗口尺寸相同;
将各个目标的上述特征向量输入至基于属性分类的深度神经网络模型的全连接层,从各个目标的上述特征向量中提取各个目标的属性特征;
将提取出的各个目标的上述属性特征输入至以Softmax作为分值计算函数的属性分类器,得到各个目标的属性信息,上述属性分类器包括以下中的一种或多种:子类别分类器、颜色分类器或者纹理分类器,其中,每个主类别对应一个子类别分类器,并有一个公用的颜色分类器和一个纹理分类器;对于每个检测出的目标,输出该目标的主类别、子类别(主类别对应的子类别分类器的输出类别)、颜色类别、纹理类别,其中,子类别、颜色、纹理的分类器以Softmax作为分值计算函数,基于随机梯度下降法进行神经网络的训练,以多任务的方式进行训练。
具体的,在本发明提供的实施例中,服饰主类别可以包括:长款外衣、上衣、裤子、裙子、短裤、帽子、随身物品,将以上主类别作为组合域分割算法的目标类别。其中,主类别的目标检测出来后,进一步获取该目标的属性信息,该属性信息包括:子类别、颜色、纹理等。
其中,每个主类别包含若干子类别,举例如下:
(1)长款外衣类:连衣裙、风衣、长款羽绒服、皮大衣、雨衣等;
(2)上衣类:T恤、衬衫、运动服、夹克、西服、棉服等;
(3)裤子类:休闲裤、牛仔裤、运动裤、西裤、七分裤、紧身裤等;
(4)裙子类:短裙、长裙等;
(5)短裤类:短裤、五分裤、超短裙等;
(6)帽子类:棒球帽、毛线帽、沿帽、头盔、头巾等;
(7)随身物品类:双肩背包、单肩背包、手提包、塑料袋、购物袋、手持瓶子、怀抱盒子、拉杆箱等。
目标的颜色信息可以包括:黑、白、灰、红、橙、黄、绿、青、蓝、紫、棕、粉等。
目标的纹理信息可以包括:纯色、横条、竖条、格子、拼色、大花等。
在本发明提供的实施例中,以图像分割产生的目标区域(各个目标的外接矩形和掩模图形)作为特征掩模,提取目标轮廓内的深度神经网络图像特征,用来识别目标的属性信息,从而实现准确地提取各个目标的属性信息。
进一步的,考虑到上述确定出的图像信息中的各个目标的主类别可能存在误判的情况,基于此,上述方法还包括:
利用后验概率验证法对确定出的各个目标的上述主类别进行确认;
当确认结果为正确时,则输出上述目标的外接矩形、掩模图形、以及主类别;
当确认结果为不正确时,则不输出上述目标的外接矩形、掩模图形、以及主类别。
具体的,(1)对于每个分割出来的目标,由于是利用特定目标类别的中心分值图和内域分值图求得的,因此都有一个先验目标类别。利用这个先验类别,在类别域中抽取对应类别的分值图,以此计算这个先验类别的后验概率。后验概率的计算方法为在目标轮廓范围内统计目标类别分值图的平均值,即后验概率=轮廓内分值累加值/轮廓内像素总数;
如果一个目标的后验概率大于按其先验类别设定的阈值,则可判断该目标真实有效;反之,判断该目标为误检,将其舍弃。
(2)将通过后验判定的每个目标的ID号、目标的外接矩形、掩模图形、以及主类别等信息作为目标检测算法的输出。
具体的,利用后验概率验证法对确定出的各个目标的上述主类别进行确认,包括:
根据选取的先验类别从类别域分值图中提取与上述先验类别对应的类别域分值图;
根据上述类别域分值图和后验概率计算公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率;
分别判断各个目标的上述后验概率是否大于上述先验类别对应的阈值;
若大于,则确定上述目标的实际主类别与上述先验类别一致,并将确认结果设置为正确;
若小于等于,则确定上述目标的实际主类别与上述先验类别不一致,并将确认结果设置为不正确。
其中,根据上述类别域分值图和后验概率计算公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率,包括:
根据上述类别域分值图和公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率,其中,Pa表示第a个目标的后验概率,表示第a个目标的掩模图形内第n个像素点的类别域分值,na表示第a个目标的掩模图形内第n个像素点,Na表示第a个目标的掩模图形内像素点总数,na=1,...,Na
本发明实施例提供的服饰及随身物品的识别方法中,首先,利用基于组合域的深度神经网络模型确定各个目标类别对应的分值图;然后,根据组合域分值图进行目标的识别与分割,确定各个目标的主类别和外接矩形、掩模图形;最后,再根据各个目标的外接矩形和掩模图形确定属性信息,通过采用组合域的方式进行目标检测与识别,即结合中心域、轮廓域和类别域的预测结果来对不同类别目标的个体进行分割,并提取目标的属性信息,可以准确地对图像信息中的多个服饰及随身物品进行目标检测与分割,并准确地提取各个目标的属性信息,从而满足视频监控图像中多目标的服饰及随身物品识别的实际需求,进而能够提升从智能监控系统中提取的人体结构化信息量;进一步的,对检测出的目标进行主类别确认,从而提高了目标检测与分割的准确度,同时,深度神经网络的同一层的每个神经单元间是相互独立的,可以实现并行处理,从而进一步提高了服饰及随身物品的检测与识别速度。
本发明实施例还提供一种服饰及随身物品的识别装置,如图2所示,该装置包括:
提取模块202,用于获取监控视频并从该监控视频中提取待识别的图像信息;
分值图确定模块204,用于将上述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,该分值图包括:中心域分值图、轮廓域分值图、以及类别域分值图;
目标分割模块206,用于根据上述各个目标类别对应的分值图确定上述图像信息中各个目标的外接矩形、掩模图形、以及主类别;
属性信息确定模块208,用于根据各个目标的上述外接矩形和上述掩模图形确定各个目标的属性信息,该目标的属性信息包括:目标的子类别、目标的颜色、以及目标的纹理。
进一步的,上述装置还包括:
样本获取模块,用于获取训练样本数据的标记图,上述标记图包括:中心域标记图、轮廓域标记图、以及类别域标记图;
模型训练模块,用于采用随机梯度下降法根据上述训练样本数据的上述标记图训练得到基于组合域的深度神经网络模型。
进一步的,上述分值图确定模块204包括:
特征提取单元,用于对上述图像信息进行特征提取处理,得到各个像素点的特征,并对上述各个像素点的特征进行分类处理;
分值计算单元,用于将分类处理后的各个像素点的特征输入至Softmax函数,计算得到各个上述像素点在中心域、轮廓域和类别域中对应于各个目标类别通道的分值;
分值图绘制单元,用于根据计算得到的各个目标类别的多个分值绘制各个目标类别对应的分值图。
进一步的,上述目标分割模块206包括:
主类别确定单元,用于根据各个目标类别对应的上述中心域分值图确定各个目标的主类别;
初始标记图生成单元,用于对上述中心域分值图进行二值化处理,并对二值化处理后的上述中心域分值图进行连通域分析,对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图;
最终标记图生成单元,用于利用分水岭算法根据上述轮廓域分值图对上述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图;
目标分割单元,用于根据上述最终标记图分别确定各个目标的外接矩形和掩模图形。
进一步的,上述初始标记图生成单元包括:
二值化子单元,用于依次从类别域的多个目标类别中选取一个目标类别作为先验类别,对上述先验类别对应的中心域分值图进行二值化处理;
中心域确定子单元,用于利用Two-Pass算法或者种子填充算法确定二值化处理后的上述中心域分值图中的多个连通域,将各个目标的上述连通域作为各个目标的中心域;
第一目标ID号标记子单元,用于在与上述类别域分值图大小相等的灰度图中对各个目标的中心域包含的像素点标记相应的目标ID号;
初始标记图确定子单元,用于将标记的各个目标的中心域包含的像素点灰度图作为初始标记图。
进一步的,上述最终标记图生成单元包括:
山坳图像生成子单元,用于对上述轮廓域分值图进行定点化并取反处理,将定点化并取反后的上述轮廓域分值图作为山坳图像;
分割结果确定子单元,用于将上述初始标记图和上述山坳图像输入至分水岭算法,得到各个目标的分割结果;
第二目标ID号标记子单元,用于根据上述分割结果对上述初始标记图上未标记目标ID号的像素点进行标记;
最终标记图确定子单元,用于将标记后的上述初始标记图作为最终标记图。
进一步的,上述属性信息确定模块208包括:
特征图像提取单元,用于将各个目标的外接矩形和掩模图形输入至基于属性分类的深度神经网络模型的特征层,根据各个目标的上述外接矩形对该特征层进行抠图处理,并将各个目标的上述掩模图形以外的像素点的图像特征设置为零,得到各个目标的特征图像;
特征向量确定单元,用于将各个目标的上述特征图像输入至基于属性分类的深度神经网络模型的池化层,对各个目标的上述特征图像进行池化处理,得到各个目标的特征向量,其中,该池化处理包括:最大池化处理或者平均池化处理;
属性特征提取单元,用于将各个目标的上述特征向量输入至基于属性分类的深度神经网络模型的全连接层,从各个目标的上述特征向量中提取各个目标的属性特征;
属性信息确定单元,用于将提取出的各个目标的上述属性特征输入至以Softmax作为分值计算函数的属性分类器,得到各个目标的属性信息,上述属性分类器包括以下中的一种或多种:子类别分类器、颜色分类器或者纹理分类器。
进一步的,上述装置还包括:
主类别验证模块,用于利用后验概率验证法对确定出的各个目标的上述主类别进行确认;当确认结果为正确时,则输出上述目标的外接矩形、掩模图形、以及主类别;当确认结果为不正确时,则不输出上述目标的外接矩形、掩模图形、以及主类别。
进一步的,上述主类别验证模块包括:
类别域分值图选取单元,用于根据选取的先验类别从类别域分值图中提取与上述先验类别对应的类别域分值图;
后验概率计算单元,用于根据上述类别域分值图和后验概率计算公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率;
主类别验证单元,用于分别判断各个目标的上述后验概率是否大于上述先验类别对应的阈值;若大于,则确定上述目标的实际主类别与上述先验类别一致,并将确认结果设置为正确;若小于等于,则确定上述目标的实际主类别与上述先验类别不一致,并将确认结果设置为不正确。
进一步的,上述后验概率计算单元包括:
后验概率计算子单元,用于根据上述类别域分值图和公式计算利用上述先验类别确定出的各个目标的分割区域的后验概率,其中,Pa表示第a个目标的后验概率,表示第a个目标的掩模图形内第n个像素点的类别域分值,na表示第a个目标的掩模图形内第n个像素点,Na表示第a个目标的掩模图形内像素点总数,na=1,...,Na
基于上述分析可知,本发明实施例提供的服饰及随身物品的识别装置中,首先,利用基于组合域的深度神经网络模型确定各个目标类别对应的分值图;然后,根据组合域分值图进行目标的识别与分割,确定各个目标的主类别和外接矩形、掩模图形;最后,再根据各个目标的外接矩形和掩模图形确定属性信息,通过采用组合域的方式进行目标检测与识别,即结合中心域、轮廓域和类别域的预测结果来对不同类别目标的个体进行分割,并提取目标的属性信息,可以准确地对图像信息中的多个服饰及随身物品进行目标检测与分割,并准确地提取各个目标的属性信息,从而满足视频监控图像中多目标的服饰及随身物品识别的实际需求,进而能够提升从智能监控系统中提取的人体结构化信息量;进一步的,对检测出的目标进行主类别确认,从而提高了目标检测与分割的准确度,同时,深度神经网络的同一层的每个神经单元间是相互独立的,可以实现并行处理,从而进一步提高了服饰及随身物品的检测与识别速度。
本发明实施例所提供的服饰及随身物品的识别装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种服饰及随身物品的识别方法,其特征在于,所述方法包括:
获取监控视频并从所述监控视频中提取待识别的图像信息;
将所述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,所述分值图包括:中心域分值图、轮廓域分值图、以及类别域分值图;
根据所述各个目标类别对应的分值图确定所述图像信息中各个目标的外接矩形、掩模图形、以及主类别;
根据各个目标的所述外接矩形和所述掩模图形确定各个目标的属性信息,所述目标的属性信息包括:目标的子类别、目标的颜色、以及目标的纹理。
2.根据权利要求1所述的方法,其特征在于,所述基于组合域的深度神经网络模型是通过如下步骤获得的:
获取训练样本数据的标记图,所述标记图包括:中心域标记图、轮廓域标记图、以及类别域标记图;
采用随机梯度下降法根据所述训练样本数据的所述标记图训练得到基于组合域的深度神经网络模型。
3.根据权利要求1所述的方法,其特征在于,将所述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,包括:
对所述图像信息进行特征提取处理,得到各个像素点的特征,并对所述各个像素点的特征进行分类处理;
将分类处理后的各个像素点的特征输入至Softmax函数,计算得到各个所述像素点在中心域、轮廓域和类别域中对应于各个目标类别通道的分值;
根据计算得到的各个目标类别的多个分值绘制各个目标类别对应的分值图。
4.根据权利要求1所述的方法,其特征在于,根据所述各个目标类别对应的分值图确定所述图像信息中各个目标的外接矩形、掩模图形、以及主类别,包括:
根据各个目标类别对应的所述中心域分值图确定各个目标的主类别;
对所述中心域分值图进行二值化处理,并对二值化处理后的所述中心域分值图进行连通域分析,对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图;
利用分水岭算法根据所述轮廓域分值图对所述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图;
根据所述最终标记图分别确定各个目标的外接矩形和掩模图形。
5.根据权利要求4所述的方法,其特征在于,对所述中心域分值图进行二值化处理,并对二值化处理后的所述中心域分值图进行连通域分析,对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图,包括:
依次从类别域的多个目标类别中选取一个目标类别作为先验类别,对所述先验类别对应的中心域分值图进行二值化处理;
利用Two-Pass算法或者种子填充算法确定二值化处理后的所述中心域分值图中的多个连通域,将各个目标的所述连通域作为各个目标的中心域;
在与所述类别域分值图大小相等的灰度图中对各个目标的中心域包含的像素点标记相应的目标ID号;
将标记的各个目标的中心域包含的像素点灰度图作为初始标记图。
6.根据权利要求4所述的方法,其特征在于,利用分水岭算法根据所述轮廓域分值图对所述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图,包括:
对所述轮廓域分值图进行定点化并取反处理,将定点化并取反后的所述轮廓域分值图作为山坳图像;
将所述初始标记图和所述山坳图像输入至分水岭算法,得到各个目标的分割结果;
根据所述分割结果对所述初始标记图上未标记目标ID号的像素点进行标记;
将标记后的所述初始标记图作为最终标记图。
7.根据权利要求1所述的方法,其特征在于,根据各个目标的所述外接矩形和所述掩模图形确定各个目标的属性信息,包括:
将各个目标的外接矩形和掩模图形输入至基于属性分类的深度神经网络模型的特征层,根据各个目标的所述外接矩形对所述特征层进行抠图处理,并将各个目标的所述掩模图形以外的像素点的图像特征设置为零,得到各个目标的特征图像;
将各个目标的所述特征图像输入至基于属性分类的深度神经网络模型的池化层,对各个目标的所述特征图像进行池化处理,得到各个目标的特征向量,其中,所述池化处理包括:最大池化处理或者平均池化处理;
将各个目标的所述特征向量输入至基于属性分类的深度神经网络模型的全连接层,从各个目标的所述特征向量中提取各个目标的属性特征;
将提取出的各个目标的所述属性特征输入至以Softmax作为分值计算函数的属性分类器,得到各个目标的属性信息,所述属性分类器包括以下中的一种或多种:子类别分类器、颜色分类器或者纹理分类器。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
利用后验概率验证法对确定出的各个目标的所述主类别进行确认;
当确认结果为正确时,则输出所述目标的外接矩形、掩模图形、以及主类别;
当确认结果为不正确时,则不输出所述目标的外接矩形、掩模图形、以及主类别。
9.根据权利要求8所述的方法,其特征在于,利用后验概率验证法对确定出的各个目标的所述主类别进行确认,包括:
根据选取的先验类别从类别域分值图中提取与所述先验类别对应的类别域分值图;
根据所述类别域分值图和后验概率计算公式计算利用所述先验类别确定出的各个目标的分割区域的后验概率;
分别判断各个目标的所述后验概率是否大于所述先验类别对应的阈值;
若大于,则确定所述目标的实际主类别与所述先验类别一致,并将确认结果设置为正确;
若小于等于,则确定所述目标的实际主类别与所述先验类别不一致,并将确认结果设置为不正确。
10.根据权利要求9所述的方法,其特征在于,根据所述类别域分值图和后验概率计算公式计算利用所述先验类别确定出的各个目标的分割区域的后验概率,包括:
根据所述类别域分值图和公式计算利用所述先验类别确定出的各个目标的分割区域的后验概率,其中,Pa表示第a个目标的后验概率,表示第a个目标的掩模图形内第n个像素点的类别域分值,na表示第a个目标的掩模图形内第n个像素点,Na表示第a个目标的掩模图形内像素点总数,na=1,...,Na
11.一种服饰及随身物品的识别装置,其特征在于,所述装置包括:
提取模块,用于获取监控视频并从所述监控视频中提取待识别的图像信息;
分值图确定模块,用于将所述图像信息输入至基于组合域的深度神经网络模型,得到各个目标类别对应的分值图,所述分值图包括:中心域分值图、轮廓域分值图、以及类别域分值图;
目标分割模块,用于根据所述各个目标类别对应的分值图确定所述图像信息中各个目标的外接矩形、掩模图形、以及主类别;
属性信息确定模块,用于根据各个目标的所述外接矩形和所述掩模图形确定各个目标的属性信息,所述目标的属性信息包括:目标的子类别、目标的颜色、以及目标的纹理。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
样本获取模块,用于获取训练样本数据的标记图,所述标记图包括:中心域标记图、轮廓域标记图、以及类别域标记图;
模型训练模块,用于采用随机梯度下降法根据所述训练样本数据的所述标记图训练得到基于组合域的深度神经网络模型。
13.根据权利要求11所述的装置,其特征在于,所述分值图确定模块包括:
特征提取单元,用于对所述图像信息进行特征提取处理,得到各个像素点的特征,并对所述各个像素点的特征进行分类处理;
分值计算单元,用于将分类处理后的各个像素点的特征输入至Softmax函数,计算得到各个所述像素点在中心域、轮廓域和类别域中对应于各个目标类别通道的分值;
分值图绘制单元,用于根据计算得到的各个目标类别的多个分值绘制各个目标类别对应的分值图。
14.根据权利要求11所述的装置,其特征在于,所述目标分割模块包括:
主类别确定单元,用于根据各个目标类别对应的所述中心域分值图确定各个目标的主类别;
初始标记图生成单元,用于对所述中心域分值图进行二值化处理,并对二值化处理后的所述中心域分值图进行连通域分析,对各个目标的中心域包含的像素点标记目标ID号,生成的初始标记图;
最终标记图生成单元,用于利用分水岭算法根据所述轮廓域分值图对所述初始标记图上未标记目标ID号的像素点进行标记,生成对所有像素点均标记目标ID号的最终标记图;
目标分割单元,用于根据所述最终标记图分别确定各个目标的外接矩形和掩模图形。
15.根据权利要求14所述的装置,其特征在于,所述初始标记图生成单元包括:
二值化子单元,用于依次从类别域的多个目标类别中选取一个目标类别作为先验类别,对所述先验类别对应的中心域分值图进行二值化处理;
中心域确定子单元,用于利用Two-Pass算法或者种子填充算法确定二值化处理后的所述中心域分值图中的多个连通域,将各个目标的所述连通域作为各个目标的中心域;
第一目标ID号标记子单元,用于在与所述类别域分值图大小相等的灰度图中对各个目标的中心域包含的像素点标记相应的目标ID号;
初始标记图确定子单元,用于将标记的各个目标的中心域包含的像素点灰度图作为初始标记图。
16.根据权利要求14所述的装置,其特征在于,所述最终标记图生成单元包括:
山坳图像生成子单元,用于对所述轮廓域分值图进行定点化并取反处理,将定点化并取反后的所述轮廓域分值图作为山坳图像;
分割结果确定子单元,用于将所述初始标记图和所述山坳图像输入至分水岭算法,得到各个目标的分割结果;
第二目标ID号标记子单元,用于根据所述分割结果对所述初始标记图上未标记目标ID号的像素点进行标记;
最终标记图确定子单元,用于将标记后的所述初始标记图作为最终标记图。
17.根据权利要求11所述的装置,其特征在于,所述属性信息确定模块包括:
特征图像提取单元,用于将各个目标的外接矩形和掩模图形输入至基于属性分类的深度神经网络模型的特征层,根据各个目标的所述外接矩形对所述特征层进行抠图处理,并将各个目标的所述掩模图形以外的像素点的图像特征设置为零,得到各个目标的特征图像;
特征向量确定单元,用于将各个目标的所述特征图像输入至基于属性分类的深度神经网络模型的池化层,对各个目标的所述特征图像进行池化处理,得到各个目标的特征向量,其中,所述池化处理包括:最大池化处理或者平均池化处理;
属性特征提取单元,用于将各个目标的所述特征向量输入至基于属性分类的深度神经网络模型的全连接层,从各个目标的所述特征向量中提取各个目标的属性特征;
属性信息确定单元,用于将提取出的各个目标的所述属性特征输入至以Softmax作为分值计算函数的属性分类器,得到各个目标的属性信息,所述属性分类器包括以下中的一种或多种:子类别分类器、颜色分类器或者纹理分类器。
18.根据权利要求11-17任一项所述的装置,其特征在于,所述装置还包括:
主类别验证模块,用于利用后验概率验证法对确定出的各个目标的所述主类别进行确认;当确认结果为正确时,则输出所述目标的外接矩形、掩模图形、以及主类别;当确认结果为不正确时,则不输出所述目标的外接矩形、掩模图形、以及主类别。
19.根据权利要求18所述的装置,其特征在于,所述主类别验证模块包括:
类别域分值图选取单元,用于根据选取的先验类别从类别域分值图中提取与所述先验类别对应的类别域分值图;
后验概率计算单元,用于根据所述类别域分值图和后验概率计算公式计算利用所述先验类别确定出的各个目标的分割区域的后验概率;
主类别验证单元,用于分别判断各个目标的所述后验概率是否大于所述先验类别对应的阈值;若大于,则确定所述目标的实际主类别与所述先验类别一致,并将确认结果设置为正确;若小于等于,则确定所述目标的实际主类别与所述先验类别不一致,并将确认结果设置为不正确。
20.根据权利要求19所述的装置,其特征在于,所述后验概率计算单元包括:
后验概率计算子单元,用于根据所述类别域分值图和公式计算利用所述先验类别确定出的各个目标的分割区域的后验概率,其中,Pa表示第a个目标的后验概率,表示第a个目标的掩模图形内第n个像素点的类别域分值,na表示第a个目标的掩模图形内第n个像素点,Na表示第a个目标的掩模图形内像素点总数,na=1,...,Na
CN201610678102.8A 2016-08-16 2016-08-16 一种服饰及随身物品的识别方法和装置 Active CN106250874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610678102.8A CN106250874B (zh) 2016-08-16 2016-08-16 一种服饰及随身物品的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610678102.8A CN106250874B (zh) 2016-08-16 2016-08-16 一种服饰及随身物品的识别方法和装置

Publications (2)

Publication Number Publication Date
CN106250874A true CN106250874A (zh) 2016-12-21
CN106250874B CN106250874B (zh) 2019-04-30

Family

ID=57592195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610678102.8A Active CN106250874B (zh) 2016-08-16 2016-08-16 一种服饰及随身物品的识别方法和装置

Country Status (1)

Country Link
CN (1) CN106250874B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845373A (zh) * 2017-01-04 2017-06-13 天津大学 面向监控视频的行人属性预测方法
CN107909580A (zh) * 2017-11-01 2018-04-13 深圳市深网视界科技有限公司 一种行人衣着颜色识别方法、电子设备及存储介质
CN108710881A (zh) * 2018-05-23 2018-10-26 中国民用航空总局第二研究所 神经网络模型、候选目标区域生成方法、模型训练方法
CN109816406A (zh) * 2019-02-26 2019-05-28 北京理工大学 一种物品标记方法、装置、设备和介质
CN109934077A (zh) * 2017-12-19 2019-06-25 杭州海康威视数字技术股份有限公司 一种图像识别方法和电子设备
CN109993789A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种共享单车的违停判定方法、装置及相机
CN110175595A (zh) * 2019-05-31 2019-08-27 北京金山云网络技术有限公司 人体属性识别方法、识别模型训练方法及装置
WO2019228089A1 (zh) * 2018-05-30 2019-12-05 腾讯科技(深圳)有限公司 人体属性识别方法、装置、设备及介质
CN110969093A (zh) * 2019-11-05 2020-04-07 武汉菲旺软件技术有限责任公司 基于区块链的小区安防视频取证方法、装置、设备及介质
CN111025254A (zh) * 2019-12-25 2020-04-17 惠州市德赛西威智能交通技术研究院有限公司 基于数字滤波器的车载毫米波雷达近距虚假目标消除方法
CN111046796A (zh) * 2019-12-12 2020-04-21 哈尔滨拓博科技有限公司 一种基于双摄像头深度信息的低成本空间手势控制方法及系统
WO2020134532A1 (zh) * 2018-12-29 2020-07-02 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质
CN111428637A (zh) * 2020-03-24 2020-07-17 新石器慧通(北京)科技有限公司 无人驾驶车辆主动发起人机交互的方法及无人驾驶车辆
WO2020168515A1 (zh) * 2019-02-21 2020-08-27 深圳市大疆创新科技有限公司 一种图像处理方法、装置、图像拍摄和处理系统及载体
CN111814513A (zh) * 2019-04-11 2020-10-23 富士通株式会社 行人物品检测装置及方法、电子设备
CN111915636A (zh) * 2020-07-03 2020-11-10 闽江学院 一种废弃物目标定位和分割的方法和装置
CN112149520A (zh) * 2020-09-03 2020-12-29 上海趋视信息科技有限公司 一种多目标管理方法、系统及装置
CN112926427A (zh) * 2021-02-18 2021-06-08 浙江智慧视频安防创新中心有限公司 一种目标用户着装属性识别方法及装置
CN113628287A (zh) * 2021-08-16 2021-11-09 杭州知衣科技有限公司 一种基于深度学习的单阶段服装颜色识别系统及方法
CN113673576A (zh) * 2021-07-26 2021-11-19 浙江大华技术股份有限公司 图像检测方法、终端及其计算机可读存储介质
JP2022173399A (ja) * 2017-08-09 2022-11-18 キヤノン株式会社 画像処理装置、画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260747A (zh) * 2015-09-30 2016-01-20 广东工业大学 基于衣物共现信息与多任务学习的衣物识别方法
JP2016031746A (ja) * 2014-07-30 2016-03-07 キヤノン株式会社 情報処理装置、情報処理方法
CN105426455A (zh) * 2015-11-12 2016-03-23 中国科学院重庆绿色智能技术研究院 基于图片处理来对衣服进行分类管理的方法和装置
CN105447529A (zh) * 2015-12-30 2016-03-30 商汤集团有限公司 一种服饰检测及其属性值识别的方法和系统
CN105469087A (zh) * 2015-07-13 2016-04-06 百度在线网络技术(北京)有限公司 识别服饰图片的方法、服饰图片的标注方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016031746A (ja) * 2014-07-30 2016-03-07 キヤノン株式会社 情報処理装置、情報処理方法
CN105469087A (zh) * 2015-07-13 2016-04-06 百度在线网络技术(北京)有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN105260747A (zh) * 2015-09-30 2016-01-20 广东工业大学 基于衣物共现信息与多任务学习的衣物识别方法
CN105426455A (zh) * 2015-11-12 2016-03-23 中国科学院重庆绿色智能技术研究院 基于图片处理来对衣服进行分类管理的方法和装置
CN105447529A (zh) * 2015-12-30 2016-03-30 商汤集团有限公司 一种服饰检测及其属性值识别的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邹大海: "人体图像中周边物品检测分类技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈鸿翔: "基于卷积神经网络的图像语义分割", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845373A (zh) * 2017-01-04 2017-06-13 天津大学 面向监控视频的行人属性预测方法
US12020474B2 (en) 2017-08-09 2024-06-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP7482181B2 (ja) 2017-08-09 2024-05-13 キヤノン株式会社 画像処理装置、画像処理方法
JP2022173399A (ja) * 2017-08-09 2022-11-18 キヤノン株式会社 画像処理装置、画像処理方法
CN107909580A (zh) * 2017-11-01 2018-04-13 深圳市深网视界科技有限公司 一种行人衣着颜色识别方法、电子设备及存储介质
CN109934077B (zh) * 2017-12-19 2020-12-04 杭州海康威视数字技术股份有限公司 一种图像识别方法和电子设备
CN109934077A (zh) * 2017-12-19 2019-06-25 杭州海康威视数字技术股份有限公司 一种图像识别方法和电子设备
CN109993789A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种共享单车的违停判定方法、装置及相机
CN109993789B (zh) * 2017-12-29 2021-05-25 杭州海康威视数字技术股份有限公司 一种共享单车的违停判定方法、装置及相机
CN108710881A (zh) * 2018-05-23 2018-10-26 中国民用航空总局第二研究所 神经网络模型、候选目标区域生成方法、模型训练方法
CN108710881B (zh) * 2018-05-23 2020-12-29 中国民用航空总局第二研究所 神经网络模型、候选目标区域生成方法、模型训练方法
US11275932B2 (en) 2018-05-30 2022-03-15 Tencent Technology (Shenzhen) Company Limited Human body attribute recognition method, apparatus, and device and medium
WO2019228089A1 (zh) * 2018-05-30 2019-12-05 腾讯科技(深圳)有限公司 人体属性识别方法、装置、设备及介质
WO2020134532A1 (zh) * 2018-12-29 2020-07-02 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质
WO2020168515A1 (zh) * 2019-02-21 2020-08-27 深圳市大疆创新科技有限公司 一种图像处理方法、装置、图像拍摄和处理系统及载体
CN109816406A (zh) * 2019-02-26 2019-05-28 北京理工大学 一种物品标记方法、装置、设备和介质
CN109816406B (zh) * 2019-02-26 2021-01-22 北京理工大学 一种物品标记方法、装置、设备和介质
CN111814513A (zh) * 2019-04-11 2020-10-23 富士通株式会社 行人物品检测装置及方法、电子设备
US11488410B2 (en) 2019-04-11 2022-11-01 Fujitsu Limited Pedestrian article detection apparatus and method and electronic device
CN111814513B (zh) * 2019-04-11 2024-02-13 富士通株式会社 行人物品检测装置及方法、电子设备
CN110175595A (zh) * 2019-05-31 2019-08-27 北京金山云网络技术有限公司 人体属性识别方法、识别模型训练方法及装置
CN110969093A (zh) * 2019-11-05 2020-04-07 武汉菲旺软件技术有限责任公司 基于区块链的小区安防视频取证方法、装置、设备及介质
CN110969093B (zh) * 2019-11-05 2024-02-13 武汉菲旺软件技术有限责任公司 基于区块链的小区安防视频取证方法、装置、设备及介质
CN111046796A (zh) * 2019-12-12 2020-04-21 哈尔滨拓博科技有限公司 一种基于双摄像头深度信息的低成本空间手势控制方法及系统
CN111025254A (zh) * 2019-12-25 2020-04-17 惠州市德赛西威智能交通技术研究院有限公司 基于数字滤波器的车载毫米波雷达近距虚假目标消除方法
CN111428637A (zh) * 2020-03-24 2020-07-17 新石器慧通(北京)科技有限公司 无人驾驶车辆主动发起人机交互的方法及无人驾驶车辆
CN111915636B (zh) * 2020-07-03 2023-10-24 闽江学院 一种废弃物目标定位和分割的方法和装置
CN111915636A (zh) * 2020-07-03 2020-11-10 闽江学院 一种废弃物目标定位和分割的方法和装置
CN112149520B (zh) * 2020-09-03 2023-05-09 上海趋视信息科技有限公司 一种多目标管理方法、系统及装置
CN112149520A (zh) * 2020-09-03 2020-12-29 上海趋视信息科技有限公司 一种多目标管理方法、系统及装置
CN112926427A (zh) * 2021-02-18 2021-06-08 浙江智慧视频安防创新中心有限公司 一种目标用户着装属性识别方法及装置
CN113673576A (zh) * 2021-07-26 2021-11-19 浙江大华技术股份有限公司 图像检测方法、终端及其计算机可读存储介质
CN113628287A (zh) * 2021-08-16 2021-11-09 杭州知衣科技有限公司 一种基于深度学习的单阶段服装颜色识别系统及方法
CN113628287B (zh) * 2021-08-16 2024-07-09 杭州知衣科技有限公司 一种基于深度学习的单阶段服装颜色识别系统及方法

Also Published As

Publication number Publication date
CN106250874B (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
CN106250874A (zh) 一种服饰及随身物品的识别方法和装置
Wang et al. T-CNN: Trilinear convolutional neural networks model for visual detection of plant diseases
CN104978762B (zh) 服装三维模型生成方法及系统
CN105389584B (zh) 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN107403183A (zh) 整合目标检测和图像分割为一体的智能分割方法
CN109344874A (zh) 一种基于深度学习的染色体自动分析方法及系统
CN103514456B (zh) 基于压缩感知多核学习的图像分类方法及其装置
CN108875595A (zh) 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN109670591A (zh) 一种神经网络的训练方法及图像匹配方法、装置
CN106504255B (zh) 一种基于多标签多示例学习的多目标图像联合分割方法
CN109948425A (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN105740915B (zh) 一种融合感知信息的协同分割方法
CN105205804B (zh) 血细胞图像中白细胞的核浆分离方法、分类方法及装置
CN107590489A (zh) 基于级联卷积神经网络的目标检测方法
CN107145845A (zh) 基于深度学习及多特征点融合的行人检测方法
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN110334687A (zh) 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN108280397A (zh) 基于深度卷积神经网络的人体图像头发检测方法
CN107273905A (zh) 一种结合运动信息的目标主动轮廓跟踪方法
CN104408733B (zh) 基于对象随机游走的遥感图像视觉显著性检测方法及系统
CN108052952A (zh) 一种基于特征提取的服装相似度判定方法及其系统
CN109344872A (zh) 一种少数民族服装图像的识别方法
CN104331716A (zh) 面向大规模训练数据的svm主动学习分类算法
CN105069816B (zh) 一种进出口人流量统计的方法及系统
CN105138975B (zh) 一种基于深度信念网络的人体肤色区域分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20220726

Granted publication date: 20190430