CN110555393A - 一种从视频数据中分析行人着装特征的方法和装置 - Google Patents

Abstract

本发明公开了一种从视频数据中分析行人着装特征的方法和装置，属于大数据、视频分析应用技术领域，解决了目前衣服颜色识别中通过深度学习模型分割行人的上下身，对分割后的区域使用颜色直方图等方式，容易丢失了象素点所在的空间位置信息的问题，其中装置包括：视频采集装置，人体姿态识别装置，行人着装分析方法与装置。人体姿态识别装置，能够快速识别出人体形体关键点及其关联关系。行人着装特征分析方法与装置，能够利用人体形体关键点辅助分析人体着装特征；本申请内置的行人着装特征分析装置通过一套人体着装特征的采样分析方法能够快速识别行人内外穿搭颜色及衣袖长短，对多样化的人体姿态具有较强的鲁棒性，适用于视频流的快速分析。

Description

一种从视频数据中分析行人着装特征的方法和装置

技术领域

本发明涉及大数据、视频分析应用技术领域，具体是涉及一种从视频数据中分析行人着装特征的方法和装置。

背景技术

近年来，基于视频的分析在众多领域(如公共安全、商业零售)得到广泛应用，视频中，行人的着装特征识别，也成为分析的重要目标。衣服颜色和长短作为最显著的外观特征，可以简单快速地进行特定行人检索，行人追踪等，可见行人着装的特征识别具有很大的应用价值。

目前衣服颜色识别的一种常用方法是通过深度学习模型分割行人的上下身，对分割后的区域使用颜色直方图等方式，通过颜色的数值分布获取对应区域的颜色作为上下身衣服的颜色。该方法本质是对整块区域的颜色识别，丢失了象素点所在的空间位置信息。比如对于上衣前胸与袖子颜色不同，或者穿敞口外套/大衣的行人，其外衣和内搭衣服通常为不同颜色，该方法的识别效果会受到较大干扰。

人体姿态识别作为一项相对准确的AI视频分析技术，可以快速识别视频流中的人体形体(如四肢、头部、和颈部)的关键点及其关系。通过关键点辅助对行人着装的特征区域进行定位及采样，并经过特定判别算法处理采样结果，快速判断视频流中行人内外穿搭的颜色及衣袖长短。

发明内容

针对现有技术存在的不足，本发明实施例的目的在于提供一种从视频数据中分析行人着装特征的方法和装置，利用相对准确的人体姿态识别技术，辅助对行人的着装特征区域进行精确的定位与采样，更准备识别行人衣服内外穿搭的颜色及衣袖的长短。本发明能够在多数非极端拍摄环境取得较好的识别效果，无需额外的训练集，识别结果对人体姿态具有自适应性，以解决上述背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：

一种从视频数据中分析行人着装特征的装置，包括：

视频采集装置

视频采集装置为所需监控场所的监控摄像头等具有无线传输功能的视频采集设备，能够通过无线网络将监控现场的视频影像以视频流传输到人体姿态识别装置；

人体姿态识别装置

人体姿态识别装置为人体形体关键点的识别装置，能够逐帧处理接收到的视频采集装置传输的视频流，快速识别出每帧图片中行人的人体形体关键点的像素位置及关键点之间的关联关系；

人体姿态识别装置可以通过预训练模型识别的人体形体关键点，包括：鼻子，脖颈，双肩，双肘，双手，双髋，双膝，双脚等。

行人着装特征分析装置

能够通过人体形体关键点及其关系，从视频流的每帧图片中选取一定数量具有高代表性和鲁棒性的着装特征像素及人体特征像素，利用HSV颜色空间的色彩划分范围识别特征像素的颜色，并根据投票原则确定着装特征区域的颜色及人体肤色；

行人着装特征分析装置，能够综合着装特征区域的颜色及人体肤色，按照特定判别算法快速判定行人的内外穿搭颜色及衣袖长短。

一种从视频数据中分析行人着装特征的方法，能够依据人体形体关键点及其关系，对外衣、内搭、衣袖及下装等着装特征区域准确定位，分别采样一定数量具有高代表性和鲁棒性的特征像素，利用HSV颜色空间的色彩划分范围和投票原则确定着装的特征区域所属的颜色域，含有如下步骤：

步骤1、视频流采集

视频流采集是指利用监控摄像头等视频采集设备，通过无线网络将监控现场的视频影像以视频流传输到人体姿态识别装置。

步骤2、人体姿态识别

人体姿态识别是指利用人体姿态识别装置逐帧处理接收到的视频流，识别出每帧图片中行人的人体形体关键点的像素位置及关键点之间的关联关系。

人体姿态识别装置可以通过预训练模型识别的人体形体关键点，包括：鼻子，脖颈，双肩，双肘，双手，双髋，双膝，双脚等。

步骤3、外衣特征点采样

外衣特征点采样是指选择对视频流中行人外衣颜色和衣袖颜色具有高代表性的像素，如图2中虚线所示，分别从行人肩部到肘部、肩部到髋部的连线上均匀选取10个像素，作为外衣颜色的特征点；从行人肘部到手部的连线上均匀选取10个像素，作为衣袖颜色的特征点。

步骤4、下装特征点采样

下装特征点采样是指选择对视频流中行人下装颜色具有高代表性的像素，如图2中虚线所示，从髋部到膝部的连线上均匀选取10个像素，作为下装颜色的特征点。

步骤5、判断行人正反朝向

判断行人正反朝向是指判断视频流中的行人是否背对视频采集设备，若行人背对视频采集设备，则无需进一步采集行人内搭衣服的特征点。

步骤6、内搭衣服特征点采样

内搭衣服特征点采样是指选择对视频流中行人内搭衣服颜色具有高代表性的像素。

步骤7、人体肤色特征点采样

人体肤色识别用于辅助判断衣袖长短，考虑到鼻子作为面部被遮挡可能性最小的部位，选取行人鼻子关键点及其周围8个像素，作为人体肤色特征点。

步骤8、特征区域颜色识别

特征区域颜色识别是指分别对步骤3、4、6、7中的采样点判断颜色，并根据投票原则确定待识别特征区域的颜色。

步骤9、着装颜色分析

着装颜色分析是指根据特征区域的颜色，综合判断着装颜色。

步骤10、衣袖长短分析

衣袖长短分析是指根据衣袖区域，外衣区域的颜色和人体肤色，综合判断衣袖长短。

综上所述，本发明实施例与现有技术相比具有以下有益效果：

(1)提出一种人体着装特征区域的采样方法，能够通过人体形体关键点及其关联关系确定准确的人体着装区域，并能相应选取高代表性、高鲁棒性的采样像素点，利用HSV色彩划分范围和投票原则确定着装特征区域的颜色。

(2)提出一种人体着装特征的分析方法，能够综合着装的特征区域颜色及人体肤色，按照特定判别算法快速判断人体内外穿搭颜色及衣袖长短。

为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。

附图说明

图1为发明实施例中实际的从视频数据中分析行人着装特征的方法和装置的示意图。

图2为发明实施例中行人着装特征分析装置的特征点采样方法的示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案做进一步的说明。

参见图1所示，一种从视频数据中分析行人着装特征的装置，包括：

视频采集装置

视频采集装置为所需监控场所的监控摄像头等具有无线传输功能的视频采集设备，能够通过无线网络将监控现场的视频影像以视频流传输到人体姿态识别装置；

人体姿态识别装置

人体姿态识别装置为人体形体关键点的识别装置，能够逐帧处理接收到的视频采集装置传输的视频流，快速识别出每帧图片中行人的人体形体关键点的像素位置及关键点之间的关联关系；

人体姿态识别装置可以通过预训练模型识别的人体形体关键点，包括：鼻子，脖颈，双肩，双肘，双手，双髋，双膝，双脚等。

行人着装特征分析装置

能够通过人体形体关键点及其关系，从视频流的每帧图片中选取一定数量具有高代表性和鲁棒性的着装特征像素及人体特征像素，利用HSV颜色空间的色彩划分范围识别特征像素的颜色，并根据投票原则确定着装特征区域的颜色及人体肤色；

行人着装特征分析装置，能够综合着装特征区域的颜色及人体肤色，按照特定判别算法快速判定行人的内外穿搭颜色及衣袖长短。

本发明还公开了一种从视频数据中分析行人着装特征的方法，能够依据人体形体关键点及其关系，对外衣、内搭、衣袖及下装等着装特征区域准确定位，分别采样一定数量具有高代表性和鲁棒性的特征像素，利用HSV颜色空间的色彩划分范围和投票原则确定着装的特征区域所属的颜色域，含有如下步骤：

步骤1、视频流采集

视频流采集是指利用监控摄像头等视频采集设备，通过无线网络将监控现场的视频影像以视频流传输到人体姿态识别装置。

步骤2、人体姿态识别

人体姿态识别是指利用人体姿态识别装置逐帧处理接收到的视频流，识别出每帧图片中行人的人体形体关键点的像素位置及关键点之间的关联关系。

人体姿态识别装置可以通过预训练模型识别的人体形体关键点，包括：鼻子，脖颈，双肩，双肘，双手，双髋，双膝，双脚等。

步骤3、外衣特征点采样

外衣特征点采样是指选择对视频流中行人外衣颜色和衣袖颜色具有高代表性的像素，如图2中虚线所示，分别从行人肩部到肘部、肩部到髋部的连线上均匀选取10个像素，作为外衣颜色的特征点；从行人肘部到手部的连线上均匀选取10个像素，作为衣袖颜色的特征点。

步骤4、下装特征点采样

下装特征点采样是指选择对视频流中行人下装颜色具有高代表性的像素，如图2中虚线所示，从髋部到膝部的连线上均匀选取10个像素，作为下装颜色的特征点。

步骤5、判断行人正反朝向

判断行人正反朝向是指判断视频流中的行人是否背对视频采集设备，若行人背对视频采集设备，则无需进一步采集行人内搭衣服的特征点。

判断行人朝向的方法具体为：

1、若人体形体关键点识别的结果包含五官位置，则行人正对视频采集装置。

2、若人体形体关键点识别的结果不包含五官位置，则行人背对视频采集装置。

步骤6、内搭衣服特征点采样

内搭衣服特征点采样是指选择对视频流中行人内搭衣服颜色具有高代表性的像素，如图2中虚线所示，从颈部到两髋中点的连线上均匀选取10个像素，作为内搭衣服颜色的特征点。

步骤7、人体肤色特征点采样

人体肤色识别用于辅助判断衣袖长短，考虑到鼻子作为面部被遮挡可能性最小的部位，选取行人鼻子关键点及其周围8个像素，作为人体肤色特征点。

步骤8、特征区域颜色识别

特征区域颜色识别是指分别对步骤3、4、6、7中的采样点判断颜色，并根据投票原则确定待识别特征区域的颜色。

具体为根据HSV色彩划分范围判定每个特征像素的所属的颜色域，分别对外衣区域、衣袖区域、下装区域、内搭区域及人体肤色的特征点的颜色进行投票，选取票数最多的颜色作为对应特征区域的颜色。

步骤9、着装颜色分析

着装颜色分析是指根据特征区域的颜色，综合判断着装颜色，具体分析方法为：

1、若内搭区域和外衣区域不同，则判定行人穿着敞口外套，取对应区域的颜色作为行人内外穿搭的颜色。

2、若内搭区域和外衣区域相同，则判定行人未穿外套或外套未敞开，只取外衣区域的颜色作为行人上衣的颜色。

3、取下装区域的颜色作为行人下装颜色。

步骤10、衣袖长短分析

衣袖长短分析是指根据衣袖区域，外衣区域的颜色和人体肤色，综合判断衣袖长短，具体分析方法为：

1、若衣袖区域的颜色与人体肤色一致，且与外衣区域颜色不同，则判定行人上衣为短袖。

2、若衣袖区域与外衣区域的颜色一致，且与人体肤色不同，则判定行人上衣为长袖。

其余情况说明行人上衣颜色与肤色相近，不做衣服长短判断。

相关的方法由Python语言开发实现，完成了从视频数据中分析行人着装特征的方法和装置的全部处理过程。

以上结合具体实施例描述了本发明的技术原理，仅是本发明的优选实施方式。本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (10)

1.一种从视频数据中分析行人着装特征的装置，其特征在于，包括：

视频采集装置，为具有无线传输功能的视频采集设备，通过无线网络将监控现场的视频影像以视频流传输到人体姿态识别装置；

人体姿态识别装置，为人体形体关键点的识别装置，逐帧处理接收到的视频采集装置传输的视频流，快速识别出每帧图片中行人的人体形体关键点的像素位置及关键点之间的关联关系；

行人着装特征分析装置，通过人体形体关键点及其关系，从视频流的每帧图片中选取着装特征像素及人体特征像素，利用HSV颜色空间的色彩划分范围识别特征像素的颜色，并根据投票原则确定着装特征区域的颜色及人体肤色，综合着装特征区域的颜色及人体肤色，按照特定判别算法快速判定行人的内外穿搭颜色及衣袖长短。

2.根据权利要求1所述的从视频数据中分析行人着装特征的装置，其特征在于，所述人体姿态识别装置通过预训练模型识别的人体形体关键点，人体形体关键点包括鼻子、脖颈、双肩、双肘、双手、双髋、双膝和双脚中的一种或多种。

3.一种从视频数据中分析行人着装特征的方法，其特征在于，含有如下步骤：

步骤1、视频流采集

利用视频采集设备，通过无线网络将监控现场的视频影像以视频流传输到人体姿态识别装置；

步骤2、人体姿态识别

利用人体姿态识别装置逐帧处理接收到的视频流，识别出每帧图片中行人的人体形体关键点的像素位置及关键点之间的关联关系；

步骤3、外衣特征点采样

选择对视频流中行人外衣颜色和衣袖颜色具有高代表性的像素作为特征点；

步骤4、下装特征点采样

选择对视频流中行人下装颜色具有高代表性的像素作为下装颜色的特征点；

步骤5、判断行人正反朝向

判断视频流中的行人是否背对视频采集设备，若行人背对视频采集设备，则无需进一步采集行人内搭衣服的特征点；

步骤6、内搭衣服特征点采样

选择对视频流中行人内搭衣服颜色具有高代表性的像素作为内搭衣服颜色的特征点；

步骤7、人体肤色特征点采样

用于辅助判断衣袖长短，选取行人鼻子关键点及其周围8个像素，作为人体肤色特征点；

步骤8、特征区域颜色识别

分别对步骤3、4、6、7中的采样点判断颜色，并根据投票原则确定待识别特征区域的颜色；

步骤9、着装颜色分析

根据特征区域的颜色，综合判断着装颜色；

步骤10、衣袖长短分析

根据衣袖区域，外衣区域的颜色和人体肤色，综合判断衣袖长短。

4.根据权利要求3所述的从视频数据中分析行人着装特征的方法，其特征在于，步骤2中，分别从行人肩部到肘部、肩部到髋部的连线上均匀选取10个像素，作为外衣颜色的特征点；从行人肘部到手部的连线上均匀选取10个像素，作为衣袖颜色的特征点。

5.根据权利要求4所述的从视频数据中分析行人着装特征的方法，其特征在于，步骤4中，从髋部到膝部的连线上均匀选取10个像素，作为下装颜色的特征点。

6.根据权利要求5所述的从视频数据中分析行人着装特征的方法，其特征在于，步骤5中判断行人朝向的方法为：

若人体形体关键点识别的结果包含五官位置，则行人正对视频采集装置；

若人体形体关键点识别的结果不包含五官位置，则行人背对视频采集装置。

7.根据权利要求6所述的从视频数据中分析行人着装特征的方法，其特征在于，步骤6中，从颈部到两髋中点的连线上均匀选取10个像素，作为内搭衣服颜色的特征点。

8.根据权利要求7所述的从视频数据中分析行人着装特征的方法，其特征在于，步骤8中，据HSV色彩划分范围判定每个特征像素的所属的颜色域，分别对外衣区域、衣袖区域、下装区域、内搭区域及人体肤色的特征点的颜色进行投票，选取票数最多的颜色作为对应特征区域的颜色。

9.根据权利要求8所述的从视频数据中分析行人着装特征的方法，其特征在于，步骤9中，综合判断着装颜色的分析方法为：

若内搭区域和外衣区域不同，则判定行人穿着敞口外套，取对应区域的颜色作为行人内外穿搭的颜色；

若内搭区域和外衣区域相同，则判定行人未穿外套或外套未敞开，只取外衣区域的颜色作为行人上衣的颜色；

取下装区域的颜色作为行人下装颜色。

10.根据权利要求9所述的从视频数据中分析行人着装特征的方法，其特征在于，步骤10中，综合判断衣袖长短的分析方法为：

若衣袖区域的颜色与人体肤色一致，且与外衣区域颜色不同，则判定行人上衣为短袖；

若衣袖区域与外衣区域的颜色一致，且与人体肤色不同，则判定行人上衣为长袖；

其余情况说明行人上衣颜色与肤色相近，不做衣服长短判断。