CN110222625A - 一种在视频监控图像中识别行人属性的方法及系统 - Google Patents

一种在视频监控图像中识别行人属性的方法及系统 Download PDF

Info

Publication number
CN110222625A
CN110222625A CN201910475271.5A CN201910475271A CN110222625A CN 110222625 A CN110222625 A CN 110222625A CN 201910475271 A CN201910475271 A CN 201910475271A CN 110222625 A CN110222625 A CN 110222625A
Authority
CN
China
Prior art keywords
pedestrian
image
video monitoring
monitoring image
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910475271.5A
Other languages
English (en)
Inventor
周康明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201910475271.5A priority Critical patent/CN110222625A/zh
Publication of CN110222625A publication Critical patent/CN110222625A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明公开了一种在视频监控图像中识别行人属性的方法及系统，其方法包括：获取视频监控图像；利用目标检测模型对视频监控图像中的行人进行检测，获取行人区域图像；利用行人特征点检测模型对行人区域图像进行检测，并提取行人的人体关节部位特征点；将行人区域图像和从该图像中提取的人体关节部位特征点一起输入至行人属性分类模型，获得标识有行人属性标签的行人图像。其系统包括存储数据和程序指令的存储器；与所述存储器建立通信的处理器，该处理器执行程序指令以执行任一项所述方法的步骤。本发明主要应用于监控领域中的行人属性识别，其实现了判断过程中的全自动识别，既节约了人力，又保证了判断的准确性和高效性。

Description

一种在视频监控图像中识别行人属性的方法及系统
技术领域
本发明涉及城市安全监控的人工智能识别技术领域，特别涉及一种在视频监控图像中识别行人属性的方法及系统。
背景技术
随着视频监控系统大量普及，视频分析技术在公共安全保障与刑事侦测中发挥越来越关键的作用，无重叠视频下的行人检索问题，即行人属性分析已经成为安全领域一个重要问题。
传统的行人属性检索主要通过工作人员去查找，该方法人工成本较高，效率较低，并大量的视频重复性的查看容易产生疲劳，疏忽等不良状态，影响最终查询结果。
如何准确、快速的检索视频中的行人属性，同时避免人工查找的高成本，易疲劳、易遗漏弊端，是急需解决的技术问题。
发明内容
本发明的目的是：提出一种在视频监控图像中识别行人属性的方法及系统，判断待检测行人是否和目标属性一致，以满足如今监控领域工作效率和准确率的要求。
本发明解决其技术问题所采用的技术方案是：
一种在视频监控图像中识别行人属性的方法，包括如下步骤：
S1、获取视频监控图像，所述视频监控图像内包含行人；
S2、利用预设的基于深度学习的目标检测模型对获取到的所述视频监控图像中的行人进行检测，并获取行人区域图像；
S3、利用预设的基于深度学习的行人特征点检测模型对获取到的所述行人区域图像进行检测，并从所述行人区域图像中提取行人的人体关节部位特征点；
S4、将获取到的所述视频监控图像和该视频监控图像中提取到的所述人体关节部位特征点一起输入至预设的基于深度学习的行人属性分类模型，获得标识有行人属性标签的行人图像。
进一步优化技术方案，在本方案的方法实施之前，还需准备以下步骤：
A1、预建立基于深度学习的目标检测模型；
A2、预建立基于深度学习的行人特征点检测模型；
A3、预建立基于深度学习的行人属性分类模型。
进一步优化技术方案，所述预建立基于深度学习的目标检测模型包括如下步骤：
A11、搭建目标检测深度学习网络；
A12、获取不同角度、光照、场景的监控图像样本，且每张所述监控图像样本内都包含行人；
A13、采用矩形框标记每张所述监控图像样本内行人区域所在的位置，并输出矩形框位置坐标信息；
A14、以每张所述监控图像样本和该监控图像样本中矩形框位置坐标信息为一组训练数据，形成目标检测训练数据集；
A15、使用所述目标检测训练数据集训练所述目标检测深度学习网络，获取基于深度学习的目标检测模型。
进一步优化技术方案，所述预建立基于深度学习的行人特征点检测模型包括如下步骤：
A21、搭建行人特征点深度学习网络；
A22、获取不同光照、背景、光照的单个行人图像样本；
A23、用点标记每张所述行人图像样本中行人的人体关节部位的所在的位置，并输出点坐标信息；
A24、以每张所述行人图像样本和该行人图像样本中人体关节部位的点坐标信息为一组训练数据，形成行人特征点训练数据集；
A25、使用行人特征点训练数据集训练所述行人特征点深度学习网络，获取基于深度学习的行人特征点检测模型。
进一步优化技术方案，所述预建立基于深度学习的行人属性分类模型包括如下步骤：
A31、搭建行人属性分类深度学习网络；
A32、获取不同光照、背景、光照的单个行人图像样本；
A33、用点标记出每张所述行人图像样本中行人的人体关节点位置信息及行人各个属性，所述人体关节点位置信息以点坐标形式输出，所述行人各个属性以属性标签形式输出；
A34、以每张所述行人图像样本和标记该行人图像样本的人体关节点位置信息和属性标签为一组训练数据，形成行人属性训练数据集；
A35、使用所述行人属性训练数据集训练所述行人属性分类深度学习网络，获取基于深度学习的行人属性分类模型。
进一步优化技术方案，在步骤S2中所述获取行人区域图像的具体步骤如下：
采用矩形框将所述视频监控图像中的行人标出，且所述矩形框内包含完整的行人；
记录矩形框的位置坐标[x’,y’,width’,height’]；其中，x’,y’表示矩形框左上角坐标点，width’表示矩形宽度，height’表示矩形高度；
根据所述矩形框的位置坐标[x’,y’,width’,height’]，从所述视频监控图像中截取，从而获得行人区域图像；
输出所述行人区域图像至所述基于深度学习的行人特征点检测模型。
进一步优化技术方案，在步骤S3中所述提取行人的人体关节部位特征点的具体步骤如下：
采用点标注的方法，将所述行人区域图像内行人的人体关节部分的特征点进行标注；
记录每个人体关节部分的特征点坐标信息；
输出所述人体关节部分的特征点坐标信息至所述基于深度学习的行人属性分类模型。
进一步优化技术方案，在步骤S4中所述获得标识有行人属性标签的行人图像的具体步骤包括：
获取所述视频监控图像，以及从该视频监控图像中提取的所述人体关节部分的特征点坐标信息；
将上述两种信息同时输入至所述基于深度学习的行人属性分类模型，得到一组行人属性标签；
将得到的多个行人属性标签标注在行人图像的相应位置，从而获得标识有行人属性标签的行人图像。
一种在视频监控图像中识别行人属性的系统，包括：
存储器，被配置为存储数据及计算机程序指令；
与存储器建立通信的处理器，所述处理器执行所述计算机程序指令以执行任一项所述方法的步骤。
本发明的有益效果是：本发明主要应用于监控领域中的行人属性识别，其实现了判断过程中的全自动识别，既节约了人力，又保证了判断的准确性和高效性。
附图说明
图1是本发明实施流程示意图。
图2是行人区域图像获取示意图。
图3是人体关节部位特征点提取示意图。
具体实施方式
以下结合附图。对本发明做进一步说明。
在实施本发明的步骤之前，需预先建立3个基于深度学习的神经网络模型，分别为：基于深度学习的目标检测模型、基于深度学习的行人特征点检测模型和基于深度学习的行人属性分类模型。
其中，预建立基于深度学习的目标检测模型包括如下步骤：
A11、搭建目标检测深度学习网络；
A12、获取不同角度、光照、场景的监控图像样本，且每张所述监控图像样本内都包含行人；
A13、采用矩形框标记每张所述监控图像样本内行人区域所在的位置，并输出矩形框位置坐标信息；
A14、以每张所述监控图像样本和该监控图像样本中矩形框位置坐标信息为一组训练数据，形成目标检测训练数据集；
A15、使用所述目标检测训练数据集训练所述目标检测深度学习网络，获取基于深度学习的目标检测模型。
其中，预建立基于深度学习的行人特征点检测模型包括如下步骤：
A21、搭建行人特征点深度学习网络；
A22、获取不同光照、背景、光照的单个行人图像样本；
A23、用点标记每张所述行人图像样本中行人的人体关节部位的所在的位置，并输出点坐标信息；
A24、以每张所述行人图像样本和该行人图像样本中人体关节部位的点坐标信息为一组训练数据，形成行人特征点训练数据集；
A25、使用行人特征点训练数据集训练所述行人特征点深度学习网络，获取基于深度学习的行人特征点检测模型。
其中，预建立基于深度学习的行人属性分类模型包括如下步骤：
A31、搭建行人属性分类深度学习网络；
A32、获取不同光照、背景、光照的单个行人图像样本；
A33、用点标记出每张所述行人图像样本中行人的人体关节点位置信息及行人各个属性，所述人体关节点位置信息以点坐标形式输出，所述行人各个属性以属性标签形式输出；
A34、以每张所述行人图像样本和标记该行人图像样本的人体关节点位置信息和属性标签为一组训练数据，形成行人属性训练数据集；
A35、使用所述行人属性训练数据集训练所述行人属性分类深度学习网络，获取基于深度学习的行人属性分类模型。
本发明的具体实施流程如图1所示，一种在视频监控图像中识别行人属性的方法，包括如下步骤：
S1、获取视频监控图像，所述视频监控图像内包含行人；
S2、利用预设的基于深度学习的目标检测模型对获取到的所述视频监控图像中的行人进行检测，并获取行人区域图像；
S3、利用预设的基于深度学习的行人特征点检测模型对获取到的所述行人区域图像进行检测，并从所述行人区域图像中提取行人的人体关节部位特征点；
S4、将获取到的所述视频监控图像和该视频监控图像中提取到的所述人体关节部位特征点一起输入至预设的基于深度学习的行人属性分类模型，获得标识有行人属性标签的行人图像。
本方案中先通过提取视频监控图像中的行人区域图像和标记行人的人体关节部位特征点位置信息，能够有效避免北京所带来的干扰，充分利用整体和局部特征的共同作用，提高了行人属性识别的准确度。
其中，获取行人区域图像的具体步骤如2所示，包括：
采用矩形框将所述视频监控图像中的行人标出，且所述矩形框内包含完整的行人；
记录矩形框的位置坐标[x’,y’,width’,height’]；其中，x’,y’表示矩形框左上角坐标点，width’表示矩形宽度，height’表示矩形高度；
根据所述矩形框的位置坐标[x’,y’,width’,height’]，从所述视频监控图像中截取，从而获得行人区域图像；
输出所述行人区域图像至所述基于深度学习的行人特征点检测模型。
其中，提取行人的人体关节部位特征点的具体步骤如3所示，包括：
采用点标注的方法，将所述行人区域图像内行人的人体关节部分的特征点进行标注；
记录每个人体关节部分的特征点坐标信息；
输出所述人体关节部分的特征点坐标信息至所述基于深度学习的行人属性分类模型。
其中，获得标识有行人属性标签的行人图像的具体步骤包括：
获取所述视频监控图像，以及从该视频监控图像中提取的所述人体关节部分的特征点坐标信息；
将上述两种信息同时输入至所述基于深度学习的行人属性分类模型，得到一组行人属性标签；其中，行人属性标签包括：行人上半身衣服颜色、行人下半身衣服颜色、行人上衣样式(短袖或长袖)、行人是否背包或挎包和行人下衣样式(短裤或长裤)等；
将得到的多个行人属性标签标注在行人图像的相应位置，从而获得标识有行人属性标签的行人图像。
另外，本发明的一种在视频监控图像中识别行人属性的系统，包括：
存储器，被配置为存储数据及计算机程序指令；
与存储器建立通信的处理器，所述处理器执行所述计算机程序指令以执行任一项所述方法的步骤。
以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种在视频监控图像中识别行人属性的方法，其特征在于，包括如下步骤：
S1、获取视频监控图像，所述视频监控图像内包含行人；
S2、利用预设的基于深度学习的目标检测模型对获取到的所述视频监控图像中的行人进行检测，并获取行人区域图像；
S3、利用预设的基于深度学习的行人特征点检测模型对获取到的所述行人区域图像进行检测，并从所述行人区域图像中提取行人的人体关节部位特征点；
S4、将获取到的所述视频监控图像和该视频监控图像中提取到的所述人体关节部位特征点一起输入至预设的基于深度学习的行人属性分类模型，获得标识有行人属性标签的行人图像。
2.如权利要求1所述的一种在视频监控图像中识别行人属性的方法，其特征在于，在所述方法执行前还需准备以下步骤：
A1、预建立基于深度学习的目标检测模型；
A2、预建立基于深度学习的行人特征点检测模型；
A3、预建立基于深度学习的行人属性分类模型。
3.如权利要求2所述的一种在视频监控图像中识别行人属性的方法，其特征在于，所述预建立基于深度学习的目标检测模型包括如下步骤：
A11、搭建目标检测深度学习网络；
A12、获取不同角度、光照、场景的监控图像样本，且每张所述监控图像样本内都包含行人；
A13、采用矩形框标记每张所述监控图像样本内行人区域所在的位置，并输出矩形框位置坐标信息；
A14、以每张所述监控图像样本和该监控图像样本中矩形框位置坐标信息为一组训练数据，形成目标检测训练数据集；
A15、使用所述目标检测训练数据集训练所述目标检测深度学习网络，获取基于深度学习的目标检测模型。
4.如权利要求2所述的一种在视频监控图像中识别行人属性的方法，其特征在于，所述预建立基于深度学习的行人特征点检测模型包括如下步骤：
A21、搭建行人特征点深度学习网络；
A22、获取不同光照、背景、光照的单个行人图像样本；
A23、用点标记每张所述行人图像样本中行人的人体关节部位的所在的位置，并输出点坐标信息；
A24、以每张所述行人图像样本和该行人图像样本中人体关节部位的点坐标信息为一组训练数据，形成行人特征点训练数据集；
A25、使用行人特征点训练数据集训练所述行人特征点深度学习网络，获取基于深度学习的行人特征点检测模型。
5.如权利要求2所述的一种在视频监控图像中识别行人属性的方法，其特征在于，所述预建立基于深度学习的行人属性分类模型包括如下步骤：
A31、搭建行人属性分类深度学习网络；
A32、获取不同光照、背景、光照的单个行人图像样本；
A33、用点标记出每张所述行人图像样本中行人的人体关节点位置信息及行人各个属性，所述人体关节点位置信息以点坐标形式输出，所述行人各个属性以属性标签形式输出；
A34、以每张所述行人图像样本和标记该行人图像样本的人体关节点位置信息和属性标签为一组训练数据，形成行人属性训练数据集；
A35、使用所述行人属性训练数据集训练所述行人属性分类深度学习网络，获取基于深度学习的行人属性分类模型。
6.如权利要求2所述的一种在视频监控图像中识别行人属性的方法，其特征在于，在步骤S2中所述获取行人区域图像的具体步骤如下：
采用矩形框将所述视频监控图像中的行人标出，且所述矩形框内包含完整的行人；
记录矩形框的位置坐标[x’,y’,width’,height’]；其中，x’,y’表示矩形框左上角坐标点，width’表示矩形宽度，height’表示矩形高度；
根据所述矩形框的位置坐标[x’,y’,width’,height’]，从所述视频监控图像中截取，从而获得行人区域图像；
输出所述行人区域图像至所述基于深度学习的行人特征点检测模型。
7.如权利要求6所述的一种在视频监控图像中识别行人属性的方法，其特征在于，在步骤S3中所述提取行人的人体关节部位特征点的具体步骤如下：
采用点标注的方法，将所述行人区域图像内行人的人体关节部分的特征点进行标注；
记录每个人体关节部分的特征点坐标信息；
输出所述人体关节部分的特征点坐标信息至所述基于深度学习的行人属性分类模型。
8.如权利要求7所述的一种在视频监控图像中识别行人属性的方法，其特征在于，在步骤S4中所述获得标识有行人属性标签的行人图像的具体步骤包括：
获取所述视频监控图像，以及从该视频监控图像中提取的所述人体关节部分的特征点坐标信息；
将上述两种信息同时输入至所述基于深度学习的行人属性分类模型，得到一组行人属性标签；
将得到的多个行人属性标签标注在行人图像的相应位置，从而获得标识有行人属性标签的行人图像。
9.一种在视频监控图像中识别行人属性的系统，其特征在于，包括：
存储器，被配置为存储数据及计算机程序指令；
与所述存储器建立通信的处理器，所述处理器执行所述计算机程序指令以执行权利要求1至8中任一项所述方法的步骤。
CN201910475271.5A 2019-06-03 2019-06-03 一种在视频监控图像中识别行人属性的方法及系统 Pending CN110222625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910475271.5A CN110222625A (zh) 2019-06-03 2019-06-03 一种在视频监控图像中识别行人属性的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910475271.5A CN110222625A (zh) 2019-06-03 2019-06-03 一种在视频监控图像中识别行人属性的方法及系统

Publications (1)

Publication Number Publication Date
CN110222625A true CN110222625A (zh) 2019-09-10

Family

ID=67819453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910475271.5A Pending CN110222625A (zh) 2019-06-03 2019-06-03 一种在视频监控图像中识别行人属性的方法及系统

Country Status (1)

Country Link
CN (1) CN110222625A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291632A (zh) * 2020-01-17 2020-06-16 厦门中控智慧信息技术有限公司 一种行人状态检测方法、装置以及设备
CN112580494A (zh) * 2020-12-16 2021-03-30 北京影谱科技股份有限公司 基于深度学习的监控视频中人员的识别跟踪方法和装置
CN113378752A (zh) * 2021-06-23 2021-09-10 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
CN113409398A (zh) * 2021-06-04 2021-09-17 北京复数健康科技有限公司 基于图像识别进行数据映射的方法及系统
CN114299429A (zh) * 2021-12-24 2022-04-08 宁夏广天夏电子科技有限公司 一种基于深度学习的人体识别方法、系统及装置
CN116485587A (zh) * 2023-04-21 2023-07-25 深圳润高智慧产业有限公司 社区服务获取方法与提供方法、电子设备、存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291632A (zh) * 2020-01-17 2020-06-16 厦门中控智慧信息技术有限公司 一种行人状态检测方法、装置以及设备
CN112580494A (zh) * 2020-12-16 2021-03-30 北京影谱科技股份有限公司 基于深度学习的监控视频中人员的识别跟踪方法和装置
CN113409398A (zh) * 2021-06-04 2021-09-17 北京复数健康科技有限公司 基于图像识别进行数据映射的方法及系统
CN113378752A (zh) * 2021-06-23 2021-09-10 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
CN113378752B (zh) * 2021-06-23 2022-09-06 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
CN114299429A (zh) * 2021-12-24 2022-04-08 宁夏广天夏电子科技有限公司 一种基于深度学习的人体识别方法、系统及装置
CN116485587A (zh) * 2023-04-21 2023-07-25 深圳润高智慧产业有限公司 社区服务获取方法与提供方法、电子设备、存储介质
CN116485587B (zh) * 2023-04-21 2024-04-09 深圳润高智慧产业有限公司 社区服务获取方法与提供方法、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN110222625A (zh) 一种在视频监控图像中识别行人属性的方法及系统
CN106845357B (zh) 一种基于多通道网络的视频人脸检测和识别方法
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN106096577B (zh) 一种摄像头分布地图中的目标追踪方法
Shechtman et al. Matching local self-similarities across images and videos
KR101355974B1 (ko) 복수의 객체를 추적하는 객체 추적 방법 및 장치
CN110110650A (zh) 行人中的人脸识别方法
CN108109055B (zh) 一种基于图像渲染的跨场景服装检索方法
CN107909033A (zh) 基于监控视频的嫌疑人快速追踪方法
CN110378179A (zh) 基于红外热成像的地铁逃票行为检测方法及系统
CN102779270B (zh) 一种针对购物图像搜索的目标衣物图像提取方法
CN110008913A (zh) 基于姿态估计与视点机制融合的行人再识别方法
CN110232379A (zh) 一种车辆姿态检测方法及系统
CN109344842A (zh) 一种基于语义区域表达的行人重识别方法
CN110647906A (zh) 基于Faster R-CNN方法的服饰目标检测方法
CN105718552A (zh) 基于服装手绘草图的服装图像检索方法
AU2021203869B2 (en) Methods, devices, electronic apparatuses and storage media of image processing
CN107644227A (zh) 一种用于商品图像搜索的融合多视角的仿射不变描述子
CN110008828A (zh) 基于差异正则化的成对约束成分分析度量优化方法
CN111508006A (zh) 一种基于深度学习的运动目标同步检测、识别与跟踪方法
JP2014016968A (ja) 人物検索装置及びデータ収集装置
CN114758362A (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
Guo et al. Chinese traffic police gesture recognition in complex scene
CN104820711A (zh) 复杂场景下对人形目标的视频检索方法
CN106980864B (zh) 一种基于支持样本间接式的行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190910