CN111079713A - 一种提取行人颜色特征的方法及终端设备 - Google Patents

一种提取行人颜色特征的方法及终端设备 Download PDF

Info

Publication number
CN111079713A
CN111079713A CN201911420414.9A CN201911420414A CN111079713A CN 111079713 A CN111079713 A CN 111079713A CN 201911420414 A CN201911420414 A CN 201911420414A CN 111079713 A CN111079713 A CN 111079713A
Authority
CN
China
Prior art keywords
color
point cloud
dimensional point
pedestrian
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911420414.9A
Other languages
English (en)
Inventor
莫晨添
叶生晅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WHALE Inc
Original Assignee
WHALE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WHALE Inc filed Critical WHALE Inc
Priority to CN201911420414.9A priority Critical patent/CN111079713A/zh
Publication of CN111079713A publication Critical patent/CN111079713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种提取行人特征的方法及终端设备，所述提取行人特征的方法包括如下步骤：通过RGBD摄像头实时拍摄行人以获取行人的深度图像与彩色图像；根据所述深度图像与所述彩色图像生成三维点云；对所述三维点云进行背景去除化处理；在Z轴方向上将所述三维点云分为若干段；通过HSV空间颜色直方图统计的方法得到所述每段三维点云的颜色直方图，并将其作为所述每段三维点云的颜色特征；将所述每段三维点云的颜色特征合并为整个三维点云的颜色特征，并将其作为行人的颜色特征。本发明具有避免了近大远小透视原理导致行人特征识别准确率低的优点。

Description

一种提取行人颜色特征的方法及终端设备
技术领域
本发明涉及智能监控技术领域，尤其涉及一种提取行人颜色特征的方法及终端设备。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着互联网的发展，智能监控已经成为了人们日常生活不可或缺的一部分，智能监控在安防、交通管理等领域有着广泛的应用，智能监控不仅可以降低人力监控的成本，还可以提高工作效率，因此智能监控具有重大的应用价值。现有技术中，智能监控常采用普通RGB监控摄像机通过人脸或人体识别进行监控。
这类技术方案存在以下缺陷：
由于近大远小的透视原理，行人在镜头中的大小、姿势变化较大，采用普通RGB监控摄像机的智能监控系统得出的行人特征的识别结果准确率较低。
例如，“一种行人检测方法及系统”，公开号为：CN106874848A，通过对视频的图像进行预处理，将RGB空间的图像转换为HSV颜色空间的图像并噪声滤波；判断所述图像中不同位置不同大小的候选区域的颜色纹理是否镜像对称，根据判断结果筛选出所述图像的所有行人候选区域；根据预先训练得到的行人肩膀区域与人头区域联合模型对所有行人候选区域进行检测，判断各个行人候选区域是否为真正行人区域。
该技术方案仅仅利用RGB监控摄像机获取RGB图像，由于近大远小的透视原理，行人在镜头中的大小、姿势变化较大，因此行人的识别结果准确率较低。
综上，需对现有技术做进一步改进。
发明内容
本发明主要解决现有技术中无法避免近大远小透视原理导致行人特征识别准确率较低的缺点，提供一种提取行人颜色特征的方法及终端设备，本发明具有避免了近大远小透视原理导致行人特征识别准确率低的优点。
为了解决上述技术问题，本发明采用以下技术方案：
一种提取行人颜色特征的方法，包括如下步骤通过RGBD摄像头实时拍摄行人以获取行人的深度图像与彩色图像；根据所述深度图像与所述彩色图像生成三维点云；对所述三维点云进行背景去除化处理；在Z轴方向上将所述三维点云分为若干段；通过HSV空间颜色直方图统计的方法得到所述每段三维点云的颜色直方图，并将其作为所述每段三维点云的颜色特征；将所述每段三维点云的颜色特征合并为整个三维点云的颜色特征，并将其作为行人的颜色特征。
可选地，所述的根据所述深度图像与所述彩色图像生成三维点云包括如下步骤：对RGBD摄像头进行配准，将深度摄像头参考系配准到彩色摄像头参考系下；根据配准后深度图像中的相应的像素值计算彩色图像中的任一点在空间中的三维位置信息；依次遍历整幅深度图像，得到RGBD摄像头对应的三维点云。
可选地，所述的对所述三维点云进行背景去除化处理包括如下步骤：通过RGBD摄像头拍摄无行人时的空背景的深度图像与彩色图像；根据所述空背景的深度图像与彩色图像生成三维点云；对比所述空背景的深度图像与彩色图像和所述行人的深度图像与彩色图像；通过背景去除，去除背景不变的部分。
可选地，所述的通过HSV空间颜色直方图统计的方法得到所述每段三维点云的颜色直方图，并将其作为所述每段三维点云的颜色特征包括如下步骤：将HSV空间划分为若干个颜色区域；分别统计所述每段三维点云出落在所述每个颜色区域的像素点的个数；基于出落在所述每个颜色区域的像素点的个数，得到所述每段三维点云反映其颜色分布的直方图；基于所述每段三维点云反映其颜色分布的直方图得到所述每段三维点云的颜色特征。
可选地，所述的将所述每段三维点云的颜色特征合并为整个三维点云的颜色特征，并将其作为行人的颜色特征包括如下步骤：将所述每段三维点云所对应的颜色特征按照分段时的顺序依次连接；得到所述行人的三维点云的颜色特征，并将其作为行人的颜色特征。
可选地，还包括：接收用户反馈结果，根据用户反馈结果对提取行人特征结果进行调整，进行重新提取行人特征。
本发明还提出了一种终端设备，包括处理器和计算机可读存储介质，所述处理器，用于实现各指令，所述指令适于由所述处理器加载并执行上述的一种提取行人颜色特征的方法；所述计算机可读存储介质，用于存储多条指令。
本发明采用了以上技术方案，具有如下有益效果：
本发明通过RGBD摄像头实时获取行人的深度图像与彩色图像，并将行人深度图像与彩色图像转化为三维点云对其进行背景去除化处理，然后将三维点云在z轴方向上分段并分别提取每段三维点云的颜色直方图，并将其作为每段三维点云的颜色特征，将这些颜色特征合并作为行人的颜色特征，与现有技术相比，充分利用了图像的深度信息，避免了近大远小的透视原理所导致的行人在镜头中大小、姿势变化大的情况，提高了行人特征的识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是提取行人颜色特征的方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明做进一步的详细说明，应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的秒速，以避免不必要地混淆本发明的概念。
实施例一：
图1是提取行人颜色特征的方法的流程示意图。
如图1所示，本发明的实施例提供了一种提取行人颜色特征的方法，包括如下步骤：
通过RGBD摄像头实时拍摄行人以获取行人的深度图像与彩色图像；根据深度图像与彩色图像生成三维点云；对三维点云进行背景去除化处理；在Z轴方向上将三维点云分为若干段；通过HSV空间颜色直方图统计的方法得到每段三维点云的颜色直方图，并将其作为每段三维点云的颜色特征；将每段三维点云的颜色特征合并为整个三维点云的颜色特征，并将其作为行人的颜色特征。
其中，根据深度图像与彩色图像生成三维点云包括如下步骤：对RGBD摄像头进行配准，将深度摄像头参考系配准到彩色摄像头参考系下；根据配准后深度图像中的相应的像素值计算彩色图像中的任一点在空间中的三维位置信息；依次遍历整幅深度图像，得到RGBD摄像头对应的三维点云。
本实施例中，通过开源的openni接口读取图像的深度信息与彩色信息，RGBD摄像头可为双目摄像头。其中，在本实施例中，上述深度图像可以是由该双目摄像头通过两张彩色图像计算得到。例如：双目摄像头可按照预设拍摄方式对当前场景进行拍摄以得到两张彩色图像，并将拍摄到的两张彩色图像进行计算，以得到一张深度图像。具体地可对双目摄像头进行标定，得到该双目摄像头的内外参数、单应矩阵，并根据标定结果对采集的原始图像校正，校正后的两张图像位于同一平面且互相平行，对校正后的两张彩色图像进行像素点匹配，并根据匹配结果计算出每个像素的深度，从而获得深度图像。
对三维点云进行背景去除化处理包括如下步骤：通过RGBD摄像头拍摄无行人时的空背景的深度图像与彩色图像；根据空背景的深度图像与彩色图像生成三维点云；对比空背景的深度图像与彩色图像和行人的深度图像与彩色图像；通过背景去除，去除背景不变的部分。在本实施例中，RGBD摄像头可对当前场景进行深度图像和彩色图像的采集，并利用背景差分方式对该深度图像及彩色图像进行背景去除。
通过HSV空间颜色直方图统计的方法得到每段三维点云的颜色直方图，并将其作为每段三维点云的颜色特征包括如下步骤：将HSV空间划分为若干个颜色区域；分别统计每段三维点云出落在每个颜色区域的像素点的个数；基于出落在每个颜色区域的像素点的个数，得到每段三维点云反映其颜色分布的直方图；基于每段三维点云反映其颜色分布的直方图得到每段三维点云的颜色特征。
在本实施例中，采用HSV空间颜色直方图统计方法，先将每段三维点云转换为RGB模式的图像，然后将RGB模式的图像映射到HSV空间。其中，根据V分量和S分量的分段线性函数将彩色和非彩色区域区分开，对于非彩色区域，由V分量决定但不限于黑白灰3个颜色区域的分割线。对于彩色区域，由H分量决定但不限于红黄绿蓝紫5个颜色区域的分割，分别统计出落在每个颜色区域内的像素点的个数，得到每段三维点云反映其颜色分布的直方图，以此作为每段三维点云的颜色特征。
将每段三维点云的颜色特征合并为整个三维点云的颜色特征，并将其作为行人的颜色特征包括如下步骤：将每段三维点云所对应的颜色特征按照分段时的顺序依次连接；得到行人的三维点云的颜色特征，并将其作为行人的颜色特征。
本实施例的提取行人颜色特征的方法还包括：根据用户反馈结果对提取行人的颜色特征结果进行调整。如果用户对结果不满意，则适当调整提取方法，重新进行行人的颜色特征提取。
在本实施例中，当用户对行人的颜色特征结果不满意，可根据用户的反馈调整提取方法，例如：用户反馈行人的颜色特征结果周围存在噪点，则重新进行三维点云的背景去除化处理，再进行接下来的步骤直至得到新的行人颜色特征结果；用户反馈行人的颜色特征结果分段太多导致颜色杂乱，则重新进行三维点云的分段，可将三维点云分为头部、上身、下身，再进行接下来的步骤直至得到新的行人颜色特征结果。
实施例二：
根据本公开的一个或多个实施例的一个方面，提供一种终端设备。
一种终端设备，包括处理器和计算机可读存储介质，处理器，用于实现各指令，指令适于由处理器加载并执行上述的一种提取行人颜色特征的方法；计算机可读存储介质，用于存储多条指令。
这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。
在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备。这里所使用的计算机可读存储介质不被解释为瞬时信号本身。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
需要说明的是：
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.一种提取行人颜色特征的方法，其特征在于，包括如下步骤：
通过RGBD摄像头实时拍摄行人以获取行人的深度图像与彩色图像；
根据所述深度图像与所述彩色图像生成三维点云；
对所述三维点云进行背景去除化处理；
在Z轴方向上将所述三维点云分为若干段；
通过HSV空间颜色直方图统计的方法得到所述每段三维点云的颜色直方图，并将其作为所述每段三维点云的颜色特征；
将所述每段三维点云的颜色特征合并为整个三维点云的颜色特征，并将其作为行人的颜色特征。
2.根据权利要求1所述的一种提取行人颜色特征的方法，其特征在于，
所述的根据所述深度图像与所述彩色图像生成三维点云包括如下步骤：
对RGBD摄像头进行配准，将深度摄像头参考系配准到彩色摄像头参考系下；
根据配准后深度图像中的相应的像素值计算彩色图像中的任一点在空间中的三维位置信息；
依次遍历整幅深度图像，得到RGBD摄像头对应的三维点云。
3.根据权利要求1所述的一种提取行人颜色特征的方法，其特征在于，
所述的对所述三维点云进行背景去除化处理包括如下步骤：
通过RGBD摄像头拍摄无行人时的空背景的深度图像与彩色图像；
根据所述空背景的深度图像与彩色图像生成三维点云；
对比所述空背景的深度图像与彩色图像和所述行人的深度图像与彩色图像；
通过背景去除，去除背景不变的部分。
4.根据权利要求1所述的一种提取行人颜色特征的方法，其特征在于，
所述的通过HSV空间颜色直方图统计的方法得到所述每段三维点云的颜色直方图，并将其作为所述每段三维点云的颜色特征包括如下步骤：
将HSV空间划分为若干个颜色区域；
分别统计所述每段三维点云出落在所述每个颜色区域的像素点的个数；
基于出落在所述每个颜色区域的像素点的个数，得到所述每段三维点云反映其颜色分布的直方图；
基于所述每段三维点云反映其颜色分布的直方图得到所述每段三维点云的颜色特征。
5.根据权利要求1所述的一种提取行人颜色特征的方法，其特征在于，
所述的将所述每段三维点云的颜色特征合并为整个三维点云的颜色特征，并将其作为行人的颜色特征包括如下步骤：
将所述每段三维点云所对应的颜色特征按照分段时的顺序依次连接；
得到所述行人的三维点云的颜色特征，并将其作为行人的颜色特征。
6.根据权利要求1所述的一种提取行人颜色特征的方法，其特征在于，
还包括：
接收用户反馈结果，根据用户反馈结果对提取行人特征结果进行调整，进行重新提取行人特征。
7.一种终端设备，包括处理器和计算机可读存储介质，其特征在于，
所述处理器，用于实现各指令，所述指令适于由所述处理器加载并执行如权利要求1-6任一项所述的一种提取行人颜色特征的方法；
所述计算机可读存储介质，用于存储多条指令。
CN201911420414.9A 2019-12-31 2019-12-31 一种提取行人颜色特征的方法及终端设备 Pending CN111079713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911420414.9A CN111079713A (zh) 2019-12-31 2019-12-31 一种提取行人颜色特征的方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911420414.9A CN111079713A (zh) 2019-12-31 2019-12-31 一种提取行人颜色特征的方法及终端设备

Publications (1)

Publication Number Publication Date
CN111079713A true CN111079713A (zh) 2020-04-28

Family

ID=70321243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911420414.9A Pending CN111079713A (zh) 2019-12-31 2019-12-31 一种提取行人颜色特征的方法及终端设备

Country Status (1)

Country Link
CN (1) CN111079713A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783580A (zh) * 2020-06-19 2020-10-16 宁波智能装备研究院有限公司 基于人腿检测的行人识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106296721A (zh) * 2015-05-14 2017-01-04 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN106384079A (zh) * 2016-08-31 2017-02-08 东南大学 一种基于rgb‑d信息的实时行人跟踪方法
CN106874884A (zh) * 2017-03-03 2017-06-20 中国民航大学 基于部位分割的人体再识别方法
CN108537196A (zh) * 2018-04-17 2018-09-14 中国民航大学 基于运动历史点云生成的时空分布图的人体行为识别方法
CN110610505A (zh) * 2019-09-25 2019-12-24 中科新松有限公司 一种融合深度和色彩信息的图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296721A (zh) * 2015-05-14 2017-01-04 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106384079A (zh) * 2016-08-31 2017-02-08 东南大学 一种基于rgb‑d信息的实时行人跟踪方法
CN106874884A (zh) * 2017-03-03 2017-06-20 中国民航大学 基于部位分割的人体再识别方法
CN108537196A (zh) * 2018-04-17 2018-09-14 中国民航大学 基于运动历史点云生成的时空分布图的人体行为识别方法
CN110610505A (zh) * 2019-09-25 2019-12-24 中科新松有限公司 一种融合深度和色彩信息的图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵小川 编著: "《MATLAB图像处理 程序实现与模块化仿真》", 北京：北京航空航天大学出版社, pages: 250 - 253 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783580A (zh) * 2020-06-19 2020-10-16 宁波智能装备研究院有限公司 基于人腿检测的行人识别方法
CN111783580B (zh) * 2020-06-19 2022-11-15 宁波智能装备研究院有限公司 基于人腿检测的行人识别方法

Similar Documents

Publication Publication Date Title
CA2867365C (en) Method, system and computer storage medium for face detection
EP3757890A1 (en) Method and device for image processing, method and device for training object detection model
CN110363047B (zh) 人脸识别的方法、装置、电子设备和存储介质
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN110909640A (zh) 水位线的确定方法及装置、存储介质、电子装置
CN112149513A (zh) 基于深度学习的工业制造现场安全帽佩戴识别系统和方法
CN113449639A (zh) 一种物联网网关对仪表的无接触数据采集方法
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN110188640B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN116309607A (zh) 基于机器视觉的船艇式智能水上救援平台
CN113781421A (zh) 基于水下的目标识别方法、装置及系统
CN111723805B (zh) 一种信号灯的前景区域识别方法及相关装置
CN114170565A (zh) 一种基于无人机航拍的图像对比方法、装置及终端设备
CN111079713A (zh) 一种提取行人颜色特征的方法及终端设备
CN110135382B (zh) 一种人体检测方法和装置
CN109635679B (zh) 一种实时的靶纸定位及环线识别方法
KR100488014B1 (ko) ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
CN111695374A (zh) 监控视角中斑马线区域的分割方法、系统、介质及设备
CN113065559B (zh) 图像比对方法、装置、电子设备及存储介质
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
Chang et al. Automatic detection and correction for glossy reflections in digital photograph
CN112926676B (zh) 一种虚假目标识别方法、装置及计算机设备
CN112329572B (zh) 一种基于边框和闪光点的快速静态活体检测方法及装置
CN111325209B (zh) 一种车牌识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination