CN112749645A - 基于监控视频的服装颜色检测方法、装置和设备 - Google Patents

基于监控视频的服装颜色检测方法、装置和设备 Download PDF

Info

Publication number
CN112749645A
CN112749645A CN202011620542.0A CN202011620542A CN112749645A CN 112749645 A CN112749645 A CN 112749645A CN 202011620542 A CN202011620542 A CN 202011620542A CN 112749645 A CN112749645 A CN 112749645A
Authority
CN
China
Prior art keywords
color
human body
feature vector
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011620542.0A
Other languages
English (en)
Other versions
CN112749645B (zh
Inventor
杨淼
谢宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Yunstare Technology Co ltd
Original Assignee
Chengdu Yunstare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Yunstare Technology Co ltd filed Critical Chengdu Yunstare Technology Co ltd
Priority to CN202011620542.0A priority Critical patent/CN112749645B/zh
Publication of CN112749645A publication Critical patent/CN112749645A/zh
Application granted granted Critical
Publication of CN112749645B publication Critical patent/CN112749645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于监控视频的服装颜色检测方法、装置和设备。其中，所述方法包括：从监控视频中逐帧提取视频图像；对视频图像依次进行人体检测；若检测到存在人体，则对检测区域进行切分，得到人体图像切片；对人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵；基于标准高斯分布模型、标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配。如此设置，可以通过获取监控视频自动检测人员是否穿着规定颜色的服装，例如应用于门店中检测员工是否穿着工服时，可以快速实现检测，检测时间短，效率高，因此可以大大缩短管理者的工作量，降低人工成本。

Description

基于监控视频的服装颜色检测方法、装置和设备
技术领域
本申请涉及计算机图像处理技术领域，尤其涉及一种基于监控视频的服装颜色检测方法、装置和设备。
背景技术
在实际生活或工作中，人们经常存在判断服装颜色的需求。比如，在超市等门店中，都需要员工按着装要求穿着规定颜色的服装(也即工服)。目前通常是由相关管理者负责直接检查员工穿着是否符合要求，但是当门店较大，员工数量较多时，管理者往往需要付出很大的工作量，且工作时间长、效率低下，导致人工成本较高。
发明内容
本申请提供一种基于监控视频的服装颜色检测方法、装置和设备，以解决门店管理者检查员工着装时人工成本较高的问题。
本申请的上述目的是通过以下技术方案实现的：
第一方面，本申请实施例提供一种基于监控视频的服装颜色检测方法，其包括：
从监控视频中逐帧提取视频图像；
对每一帧视频图像依次进行人体检测，以检测各帧视频图像的检测区域内是否存在人体；若检测到存在人体，则对所述检测区域进行切分，得到人体图像切片；
对所述人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵；
基于所述标准高斯分布模型、所述标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配。
可选的，所述对每一帧视频图像依次进行人体检测，包括：
基于单帧视频图像生成检测区域图像；
利用预先训练的检测模型对所述检测区域图像进行人体检测；其中，所述检测模型是基于深度学习模型训练得到的。
可选的，所述对所述人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵，包括：
对所述人体图像切片进行服装主要颜色的分割提取，生成主要颜色类；
基于所述主要颜色类生成主要颜色的特征向量集，并计算所述主要颜色的特征向量集的协方差矩阵和分布中心；
基于所述主要颜色的特征向量集的协方差矩阵和分布中心，计算得到所述主要颜色的特征向量集的标准高斯分布模型和标准化矩阵。
可选的，所述对所述人体图像切片进行服装主要颜色的分割提取，生成主要颜色类，包括：
对所述人体图像切片进行预处理，具体包括高斯模糊和下采样；
对所述预处理后得到的图像进行HLS颜色空间变换，并进行通道拆分，得到单一H、L、S的数据，对H、S数据按照像素坐标进行拼接为N×2的向量，将该向量作为聚类数据，其中，N＝wb×hb，wb,hb分别为所述人体图像切片的宽和高；
基于预设聚类算法生成M个颜色类；
对生成的每一个颜色类的特征向量进行统计，得到每一类的大小；
如果聚类数量大于3类，也即M>3，则对各类的大小进行从大到小的排序，并结合所述人体图像切片的尺寸计算各类对应的占比，将占比大于等于预设阈值的类作为备选类；如果聚类数量小于等于3类，也即M≤3，则将全部类作为备选类；
使用欧式距离公式，以图像中心点为固定端点，图像点p＝(i,j)为另一端点，连成线段，生成与所述人体图像切片相同尺寸的距离；其中，中心像素值为0，离中心越远，像素值越大；
用各所述备选类的各像素所在坐标，取对应距离的像素值做累加，将累加结果作为各所述备选类的误差；
取误差最小的备选类作为所述主要颜色类。
可选的，所述基于所述主要颜色类生成主要颜色的特征向量集，并计算所述主要颜色的特征向量集的协方差矩阵和分布中心，包括：
获取所述主要颜色类以及进行所述通道拆分后得到的H、S数据；
对应所述主要颜色类存储的各像素坐标，提取对应的H、S数据，生成所述主要颜色的特征向量集；
计算所述主要颜色的特征向量集中的H、S通道中的分布中心；
对所述主要颜色的特征向量集进行协方差的计算，生成协方差矩阵。
可选的，所述基于所述主要颜色的特征向量集的协方差矩阵和分布中心，计算得到所述主要颜色的特征向量集的标准高斯分布模型和标准化矩阵，包括：
基于所述协方差矩阵得到所述主要颜色的特征向量集的标准高斯分布模型的3σ区间半径；
基于所述分布中心得到平移矩阵；
计算所述协方差矩阵中的特征值及特征向量；
取计算得到的对应特征值最大的一个特征向量，计算所述主要颜色的特征向量集的倾角；
对所述倾角进行修正；
利用修正后的倾角，计算旋转矩阵；
基于所述平移矩阵和所述旋转矩阵得到标准化矩阵。
可选的，所述基于所述标准高斯分布模型、所述标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配，包括：
基于所述平移矩阵对所述预设的目标颜色特征向量进行修正，得到标准化的目标颜色特征向量；
基于所述标准化矩阵对所述标准化的目标颜色特征向量进行变换，得到判决颜色特征向量；
基于所述标准高斯分布模型的3σ区间半径构建标准椭圆方程；
将所述判决颜色特征向量代入所述标准椭圆方程，若结果小于或等于1，则该人员的服装颜色与目标颜色相匹配，否则不匹配。
可选的，所述预设的目标颜色特征向量的设置过程包括：
获取用户设定的目标颜色；通过将RGB图像转换为HLS图像的转换公式，对所述目标颜色进行变换，得到所述预设的目标颜色特征向量；
或者，
获取模板图像，并基于所述模板图像生成所述预设的目标颜色特征向量；其中，所述模板图像为穿着目标颜色服装的人体图像；
或者，获取模板图像切片，并基于所述模板图像切片生成所述预设的目标颜色特征向量；其中，所述模板图像切片为对所述穿着目标颜色服装的人体图像进行分割提取得到的目标颜色服装的图像。
第二方面，本申请实施例还提供一种基于监控视频的服装颜色检测装置，其包括：
提取模块，用于从监控视频中逐帧提取视频图像；
第一生成模块，用于对每一帧视频图像依次进行人体检测，以检测各帧视频图像的检测区域内是否存在人体；若检测到存在人体，则对所述检测区域进行切分，得到人体图像切片；
第二生成模块，用于对所述人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵；
判断模块，用于基于所述标准高斯分布模型、所述标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配。
第三方面，本申请实施例还提供一种基于监控视频的服装颜色检测设备，其包括：
存储器和与所述存储器相连接的处理器；
所述存储器，用于存储程序，所述程序至少用于实现第一方面任一项所述的基于监控视频的服装颜色检测方法；
所述处理器，用于调用并执行所述存储器存储的所述程序。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请的实施例提供的技术方案中，首先从监控视频获取视频图像，并进行人体检测以及在检测到人体后进行人体图像切片，然后对人体图像切片进行主要颜色的分割提取，得到主要颜色的特征向量集的标准高斯分布模型和标准化矩阵，再基于得到的标准高斯分布模型和标准化矩阵以及预先设定的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配，从而即可根据判断确定该人员是否穿着指定颜色的服装。如此设置，相对于传统的判断方法，可以有效降低人工成本，节约时间，提升效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种基于监控视频的服装颜色检测方法的流程示意图；
图2为本申请实施例提供的生成标准高斯分布模型和标准化矩阵的流程示意图；
图3为本申请实施例提供的一种基于监控视频的服装颜色检测装置的结构示意图；
图4为本申请实施例提供的一种基于监控视频的服装颜色检测设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了解决背景技术中提到的问题，也即，减少门店管理者在确定各员工是否穿着指定颜色的服装(工服)时的工作量，降低人工成本，节约时间，提升效率，本申请提供一种基于监控视频的服装颜色检测方案，以下通过实施例进行详细说明。
实施例
参照图1，图1为本申请实施例提供的一种基于监控视频的服装颜色检测方法的流程示意图。如图1所示，该方法至少包括以下步骤：
S101：从监控视频中逐帧提取视频图像；
其中，监控视频可以有设置在特定位置的摄像头提供，该特定位置优选为能够拍摄到所有员工的位置，比如当应用于门店时，可以是门店的员工入口处等。
S102：对每一帧视频图像依次进行人体检测，以检测各帧视频图像的检测区域内是否存在人体；若检测到存在人体，则对所述检测区域进行切分，得到人体图像切片；
其中，检测区域是监控视频图像(背景图像)中的全部或部分区域，可以根据实际情况进行设置，设置时具体可以是以坐标的形式进行设置，而当用户设置检测区域的坐标后，相应设备自动对设定的检测区域进行合理性判定，判定方法为根据背景图像尺寸进行限制，检测区域长宽坐标的最大值为背景图像长宽最大值，最小值为0。此外，对检测区域进行切分得到人体图像切片，是指将检测区域内的人体图像部分进行切分(实质是对服装部分的切分)，得到多个不同的子图像，该过程可以参照现有技术中的方法实现，不再进行详细说明。此外需要说明的是，本实施例中所提及的人体图像及其切片均指的是仅包含单一人体的图像及其切片。
此外，如果是第一次应用该方法，则除了需要预先设定检测区域，还要预先设定各算法参数并存储，比如：聚类算法的参数，例如当应用到DBSCAN(Density-Based SpatialClustering of Applications with Noise)聚类算法时则需要设定相应的聚类半径α，面积比例系数β；后续步骤S1031中用于确定备选类的预设阈值Thresh；对于服装颜色标准高斯分布模型的颜色特征向量的分布统计阈值参数ε；对于深度学习模型设置后处理参数，如NMS(Non-Maximum Suppression，非极大值抑制)参数ρ，置信度参数σ，Top数量参数τ；等等。
此外，对每一帧视频图像依次进行人体检测，然后得到人体图像切片的一种可行的过程，具体包括：
获取设定的检测区域坐标，并加载预先训练的检测模型；
基于单帧视频图像生成检测区域图像；
利用预先训练的检测模型对所述检测区域图像进行人体检测；其中，所述检测模型是基于深度学习模型训练得到的；比如YOLOv3、YOLOV4、YOLOV5、FasterRCNN、SSD、MTCNN等深度学习模型，优选为YOLOv3；
若存在人体检测框，则进行人体图像切片，否则传入下一帧图像。
S103：对所述人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵；
其中，在具体实现时，如图2所示，该步骤S103主要包括：
S1031：获取人体图像切片，并对所述人体图像切片进行服装主要颜色的分割提取，生成主要颜色类；具体包括：
对所述人体图像切片进行预处理，具体包括高斯模糊和下采样；高斯模糊(Gaussian Blur)，也叫高斯平滑，用于减少图像噪声以及降低细节层次；此外，对于一幅图像I，尺寸为M×N，对其进行s倍下采样，即得到
Figure BDA0002872226970000081
尺寸的分辨率图像，即把原始图像s×s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值；通过预处理，对检测图像进一步优化，可以加快后续处理速度，同时进一步避免不必要的干扰；
对所述预处理后得到的图像进行HLS(Hue色相、Lightness亮度、Saturation饱和度)颜色空间变换，并进行通道拆分，得到单一H、L、S的数据，对H、S数据按照像素坐标进行拼接为N×2的向量，将该向量作为聚类数据ClusterData，其中，N＝wb×hb，wb,hb分别为所述人体图像切片的宽和高；
基于预设聚类算法生成M个颜色类，也即class＝(class0,class1,class2,...classm-1)；比如，可以采用DBSCAN聚类算法实现，应用该算法前，需先设置面积比例参数β、聚类半径α等参数，则聚类时，首先计算DBSCAN参数min_P ts＝N×β，然后根据聚类半径α和计算得到的min_P ts，对聚类数据ClusterData进行基于密度的聚类，即可得到M个颜色类；当然，也可以采用其他聚类算法，比如Kmeans等，不再一一列举；其中，优选为DBSCAN聚类算法，因为同Kmeans算法相比，不用预设聚类个数，效果更直观稳定，更加符合预期；
对生成的每一个颜色类的特征向量进行统计，得到每一类的大小；
如果聚类数量大于3类，也即M>3，则对各类的大小进行从大到小的排序，并结合所述人体图像切片的尺寸计算各类对应的占比，将占比大于等于预设阈值T res的类作为备选类；如果聚类数量小于等于3类，也即M≤3，则将全部类作为备选类；
使用欧式距离公式，以图像中心点
Figure BDA0002872226970000091
为固定端点，图像点p＝(i,j)为另一端点，连成线段，生成与所述人体图像切片相同尺寸的距离Mask；其中，中心像素值为0，离中心越远，像素值越大，表达式为：
Figure BDA0002872226970000092
i∈[0,Wb),j∈[0,Hb)；
用各所述备选类的各像素所在坐标，取对应距离Mask的像素值做累加，将累加结果作为各所述备选类的误差ern，表达式为：
Figure BDA0002872226970000093
取误差最小的备选类作为所述主要颜色类，表达式为：id＝argmin(er0,er1,er2,...ern)id∈n≤M，其中n为所述备选类的个数，则所述主要颜色类为main_class＝classid。
S1032：基于所述主要颜色类生成主要颜色的特征向量集，并计算所述主要颜色的特征向量集的协方差矩阵和分布中心；具体包括：
获取所述主要颜色类以及进行所述通道拆分后得到的H、S数据；
对应所述主要颜色类存储的各像素坐标，提取对应的H、S数据，生成所述主要颜色的特征向量集Data；
计算所述主要颜色的特征向量集Data中的H、S通道中的分布中心μ，表达式为：
μ＝(center,centers)；
Figure BDA0002872226970000094
对所述主要颜色的特征向量集Data进行协方差的计算，生成协方差矩阵Cov(H,S)，表达式为：
Figure BDA0002872226970000101
式中，σ(H)和σ(S)分别为H通道和S通道的方差，σ(H,S)为H通道和S通道的协方差。
S1033：基于所述主要颜色的特征向量集的协方差矩阵和分布中心，计算得到所述主要颜色的特征向量集的标准高斯分布模型和标准化矩阵；具体包括：
基于所述协方差矩阵Cov(H,S)得到所述主要颜色的特征向量集Data的标准高斯分布模型的3σ区间半径(a,b)，若令H分量代表长轴，S分量代表短轴，则表达式为：
Figure BDA0002872226970000102
其中，ε为预设的分布统计阈值；ε通常取值为
Figure BDA0002872226970000103
基于所述分布中心μ得到平移矩阵T为：
Figure BDA0002872226970000104
计算所述协方差矩阵Cov(H,S)中的特征值λ＝(λ1，λ2)T(常规计算公式)及特征向量χ＝(χ1，χ2)T(常规计算公式)；其中χi＝(vi1,vi2)；
取计算得到的对应特征值最大的一个特征向量，计算所述主要颜色的特征向量集Data的倾角θ；其中取最大的一个特征向量的下标的表达式为：idx＝argmax(λ1，λ2)；倾角计算表达式为：
Figure BDA0002872226970000105
由于反正切函数引起了角度偏移，所以对所述倾角θ进行如下修正：
Figure BDA0002872226970000106
利用修正后的倾角θ，计算旋转矩阵R，表达式为：
Figure BDA0002872226970000107
基于所述平移矩阵T和所述旋转矩阵R得到标准化矩阵U，表达式为：U＝R×T。
通过上述步骤S1031-S1033即可得到标准高斯分布模型和标准化矩阵，用于在后续步骤中使用。
S104：基于所述标准高斯分布模型、所述标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配。
具体的，在上述步骤中得到标准高斯分布模型和标准化矩阵后，即可用于判断该人员的服装颜色是否与目标颜色相匹配；具体过程包括：
基于所述平移矩阵T对所述预设的目标颜色特征向量进行修正，得到标准化的目标颜色特征向量；该修正为使用平移矩阵T中的centerh，对目标颜色特征向量Tar中的H分量Tar进行修正，其中，在HLS空间中，红色对应的色调Hred处于特殊区间，即Hred∈[0,20]∪[312,360]，但是算法所需是最短距离，故需修正Tar。具体修正过程为：若Tar与centerh的差大于0.5，Tar自减1；若差小于-0.5，Tar自加1，表达式如下：
Figure BDA0002872226970000111
基于所述标准化矩阵对所述标准化的目标颜色特征向量进行变换，得到判决颜色特征向量V；表达式为：
Figure BDA0002872226970000112
基于所述标准高斯分布模型的3σ区间半径(a,b)构建标准椭圆方程，即
Figure BDA0002872226970000113
其中x代表H分量，y代表S分量；
将所述判决颜色特征向量V代入所述标准椭圆方程，得到结果ans：
Figure BDA0002872226970000114
若结果ans小于或等于1，则认为判决颜色特征向量V在主要颜色特征向量的标准高斯分布内，即为目标颜色特征向量在主要颜色特征向量的标准高斯分布3σ区间半径内，亦即该人员的服装颜色与目标颜色相匹配；否则不匹配。
当通过上述方法获得判断结果后，可以将判断结果输出，并且当执行上述方法的设备/系统预先与其他智能设备(例如管理者的智能手机)相连接时，则还可以在判断结果为不匹配时，向对应的智能设备发送提示，以便相应人员及时处理。
此外，在具体应用中，上述方案中的目标颜色特征向量Tar的设置过程有多种：
比如，可以获取用户设定的目标颜色(目标颜色可以包括多种颜色)；通过将RGB图像转换为HLS图像的转换公式，对所述目标颜色进行变换，得到所述预设的目标颜色特征向量Tar；其中，Tar＝(Tar Tars)，具体为：
Figure BDA0002872226970000121
k＝max(R,G,B)-min(R,G,B)；
Figure BDA0002872226970000122
Figure BDA0002872226970000123
或者，直接获取(比如用户输入的)模板图像，基于所述模板图像生成所述预设的目标颜色特征向量，其中，所述模板图像为穿着目标颜色服装的人体图像(拍摄或其它方式得到，没有额外要求)，具体包括：使用人体检测算法生成人体图像(过程与步骤S102的人体检测一致)，对生成的人体图像进行分割提取(过程与步骤S103中的分割提取一致)，并生成目标颜色特征向量Tar＝(Tar Tars)；
又或者，直接获取(比如用户输入的)对人体图像进行分割提取后得到的模板图像切片(不限制通过何种途径或方式得到)，并基于所述模板图像切片生成所述预设的目标颜色特征向量Tar＝(Tar Tars)。
上述技术方案中，首先从监控视频获取视频图像，并进行人体检测以及在检测到人体后进行人体图像切片，然后对人体图像切片进行主要颜色的分割提取，得到主要颜色的特征向量集的标准高斯分布模型和标准化矩阵，再基于得到的标准高斯分布模型和标准化矩阵以及预先设定的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配，从而即可根据判断确定该人员是否穿着指定颜色的服装。如此设置，相对于传统的判断方法，可以有效降低人工成本，节约时间，提升效率。
此外，对应于上述实施例的基于监控视频的服装颜色检测方法，本申请实施例还提供一种基于监控视频的服装颜色检测装置。该装置为相应设备中基于软件、硬件或其结合的功能集合体。
参照图3，图3为本申请实施例提供的一种基于监控视频的服装颜色检测装置的结构示意图。如图3所示，该装置主要包括以下结构：
提取模块31，用于从监控视频中逐帧提取视频图像；
第一生成模块32，用于对每一帧视频图像依次进行人体检测，以检测各帧视频图像的检测区域内是否存在人体；若检测到存在人体，则对所述检测区域进行切分，得到人体图像切片；
第二生成模块33，用于对所述人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵；
判断模块34，用于基于所述标准高斯分布模型、所述标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配。
其中，上述功能模块的所执行的具体方法步骤的实现方法可以参照前述方法实施例中的相应内容，此处不再详述。
此外，对应于上述实施例的基于监控视频的服装颜色检测方法，本申请实施例还提供一种基于监控视频的服装颜色检测设备。
参照图4，图4为本申请实施例提供的一种基于监控视频的服装颜色检测设备的结构示意图。如图4所示，该设备包括：
存储器41和与所述存储器41相连接的处理器42；
存储器41用于存储程序，所述程序至少用于实现上述的基于监控视频的服装颜色检测方法；
处理器42用于调用并执行存储器41存储的所述程序。
其中，所述设备可以集成至监控设备前端(摄像头)，也可以是相对独立的设备，只要能够与监控设备相连接以获取监控视频即可。此外，所述程序所实现的方法的具体步骤可以参照前述方法实施例中的相应内容，此处不再详述。
通过上述方案，可供门店管理者在门店日常经营中，通过视频图像检测及时发现员工是否按照着装要求穿着规定颜色的服装，可以显著降低门店管理者的工作量，降低人工成本，节约时间，提升效率。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于监控视频的服装颜色检测方法，其特征在于，包括：
从监控视频中逐帧提取视频图像；
对每一帧视频图像依次进行人体检测，以检测各帧视频图像的检测区域内是否存在人体；若检测到存在人体，则对所述检测区域进行切分，得到人体图像切片；
对所述人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵；
基于所述标准高斯分布模型、所述标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配。
2.根据权利要求1所述的方法，其特征在于，所述对每一帧视频图像依次进行人体检测，包括：
基于单帧视频图像生成检测区域图像；
利用预先训练的检测模型对所述检测区域图像进行人体检测；其中，所述检测模型是基于深度学习模型训练得到的。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵，包括：
对所述人体图像切片进行服装主要颜色的分割提取，生成主要颜色类；
基于所述主要颜色类生成主要颜色的特征向量集，并计算所述主要颜色的特征向量集的协方差矩阵和分布中心；
基于所述主要颜色的特征向量集的协方差矩阵和分布中心，计算得到所述主要颜色的特征向量集的标准高斯分布模型和标准化矩阵。
4.根据权利要求3所述的方法，其特征在于，所述对所述人体图像切片进行服装主要颜色的分割提取，生成主要颜色类，包括：
对所述人体图像切片进行预处理，具体包括高斯模糊和下采样；
对所述预处理后得到的图像进行HLS颜色空间变换，并进行通道拆分，得到单一H、L、S的数据，对H、S数据按照像素坐标进行拼接为N×2的向量，将该向量作为聚类数据，其中，N＝wb×hb，wb,hb分别为所述人体图像切片的宽和高；
基于预设聚类算法生成M个颜色类；
对生成的每一个颜色类的特征向量进行统计，得到每一类的大小；
如果聚类数量大于3类，也即M>3，则对各类的大小进行从大到小的排序，并结合所述人体图像切片的尺寸计算各类对应的占比，将占比大于等于预设阈值的类作为备选类；如果聚类数量小于等于3类，也即M≤3，则将全部类作为备选类；
使用欧式距离公式，以图像中心点为固定端点，图像点p＝(i,j)为另一端点，连成线段，生成与所述人体图像切片相同尺寸的距离；其中，中心像素值为0，离中心越远，像素值越大；
用各所述备选类的各像素所在坐标，取对应距离的像素值做累加，将累加结果作为各所述备选类的误差；
取误差最小的备选类作为所述主要颜色类。
5.根据权利要求4所述的方法，其特征在于，所述基于所述主要颜色类生成主要颜色的特征向量集，并计算所述主要颜色的特征向量集的协方差矩阵和分布中心，包括：
获取所述主要颜色类以及进行所述通道拆分后得到的H、S数据；
对应所述主要颜色类存储的各像素坐标，提取对应的H、S数据，生成所述主要颜色的特征向量集；
计算所述主要颜色的特征向量集中的H、S通道中的分布中心；
对所述主要颜色的特征向量集进行协方差的计算，生成协方差矩阵。
6.根据权利要求5所述的方法，其特征在于，所述基于所述主要颜色的特征向量集的协方差矩阵和分布中心，计算得到所述主要颜色的特征向量集的标准高斯分布模型和标准化矩阵，包括：
基于所述协方差矩阵得到所述主要颜色的特征向量集的标准高斯分布模型的3σ区间半径；
基于所述分布中心得到平移矩阵；
计算所述协方差矩阵中的特征值及特征向量；
取计算得到的对应特征值最大的一个特征向量，计算所述主要颜色的特征向量集的倾角；
对所述倾角进行修正；
利用修正后的倾角，计算旋转矩阵；
基于所述平移矩阵和所述旋转矩阵得到标准化矩阵。
7.根据权利要求6所述的方法，其特征在于，所述基于所述标准高斯分布模型、所述标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配，包括：
基于所述平移矩阵对所述预设的目标颜色特征向量进行修正，得到标准化的目标颜色特征向量；
基于所述标准化矩阵对所述标准化的目标颜色特征向量进行变换，得到判决颜色特征向量；
基于所述标准高斯分布模型的3σ区间半径构建标准椭圆方程；
将所述判决颜色特征向量代入所述标准椭圆方程，若结果小于或等于1，则该人员的服装颜色与目标颜色相匹配，否则不匹配。
8.根据权利要求1所述的方法，其特征在于，所述预设的目标颜色特征向量的设置过程包括：
获取用户设定的目标颜色；通过将RGB图像转换为HLS图像的转换公式，对所述目标颜色进行变换，得到所述预设的目标颜色特征向量；
或者，
获取模板图像，并基于所述模板图像生成所述预设的目标颜色特征向量；其中，所述模板图像为穿着目标颜色服装的人体图像；
或者，获取模板图像切片，并基于所述模板图像切片生成所述预设的目标颜色特征向量；其中，所述模板图像切片为对所述穿着目标颜色服装的人体图像进行分割提取得到的目标颜色服装的图像。
9.一种基于监控视频的服装颜色检测装置，其特征在于，包括：
提取模块，用于从监控视频中逐帧提取视频图像；
第一生成模块，用于对每一帧视频图像依次进行人体检测，以检测各帧视频图像的检测区域内是否存在人体；若检测到存在人体，则对所述检测区域进行切分，得到人体图像切片；
第二生成模块，用于对所述人体图像切片进行服装主要颜色的分割提取，生成该人员服装主要颜色的特征向量集的标准高斯分布模型和标准化矩阵；
判断模块，用于基于所述标准高斯分布模型、所述标准化矩阵和预设的目标颜色特征向量，判断该人员的服装颜色是否与目标颜色相匹配。
10.一种基于监控视频的服装颜色检测设备，其特征在于，包括：
存储器和与所述存储器相连接的处理器；
所述存储器，用于存储程序，所述程序至少用于实现如权利要求1-8任一项所述的基于监控视频的服装颜色检测方法；
所述处理器，用于调用并执行所述存储器存储的所述程序。
CN202011620542.0A 2020-12-30 2020-12-30 基于监控视频的服装颜色检测方法、装置和设备 Active CN112749645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011620542.0A CN112749645B (zh) 2020-12-30 2020-12-30 基于监控视频的服装颜色检测方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011620542.0A CN112749645B (zh) 2020-12-30 2020-12-30 基于监控视频的服装颜色检测方法、装置和设备

Publications (2)

Publication Number Publication Date
CN112749645A true CN112749645A (zh) 2021-05-04
CN112749645B CN112749645B (zh) 2023-08-01

Family

ID=75650312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011620542.0A Active CN112749645B (zh) 2020-12-30 2020-12-30 基于监控视频的服装颜色检测方法、装置和设备

Country Status (1)

Country Link
CN (1) CN112749645B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516062A (zh) * 2021-06-24 2021-10-19 深圳开思信息技术有限公司 用于汽修门店的客户识别方法和系统
CN114636618A (zh) * 2022-05-13 2022-06-17 河南银金达新材料股份有限公司 一种性能稳定的pet膜制备工艺
US20220253641A1 (en) * 2021-02-09 2022-08-11 Samsung Sds Co., Ltd. Method and apparatus for clustering images
CN115830641A (zh) * 2023-02-08 2023-03-21 四川弘和通讯集团有限公司 一种员工识别方法、装置、电子设备及存储介质
CN116030417A (zh) * 2023-02-13 2023-04-28 四川弘和通讯集团有限公司 一种员工识别方法、装置、设备、介质及产品
CN117495986A (zh) * 2023-12-29 2024-02-02 宁波经纬数控股份有限公司 一种布料图案颜色采集方法及系统
US12013918B2 (en) * 2021-02-09 2024-06-18 Samsung Sds Co., Ltd. Method and apparatus for clustering images

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009281762A1 (en) * 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
WO2014072737A1 (en) * 2012-11-12 2014-05-15 Bae Systems Plc Cloud feature detection
CN105930819A (zh) * 2016-05-06 2016-09-07 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN106295551A (zh) * 2016-08-05 2017-01-04 南京理工大学 一种基于视频分析的人员安全帽佩戴情况实时检测方法
CN107197233A (zh) * 2017-06-23 2017-09-22 安徽大学 基于边缘计算模型的监控视频数据质量评测方法及装置
CN110807807A (zh) * 2018-08-01 2020-02-18 深圳市优必选科技有限公司 一种单目视觉的目标定位的图案、方法、装置及设备
CN111060014A (zh) * 2019-10-16 2020-04-24 杭州安脉盛智能技术有限公司 一种基于机器视觉的在线自适应烟丝宽度测量方法
CN111401269A (zh) * 2020-03-19 2020-07-10 成都云盯科技有限公司 基于监控视频的商品热点检测方法、装置和设备
CN111968172A (zh) * 2020-07-16 2020-11-20 中冶华天工程技术有限公司 料场物料的体积测量方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009281762A1 (en) * 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
WO2014072737A1 (en) * 2012-11-12 2014-05-15 Bae Systems Plc Cloud feature detection
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN105930819A (zh) * 2016-05-06 2016-09-07 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN106295551A (zh) * 2016-08-05 2017-01-04 南京理工大学 一种基于视频分析的人员安全帽佩戴情况实时检测方法
CN107197233A (zh) * 2017-06-23 2017-09-22 安徽大学 基于边缘计算模型的监控视频数据质量评测方法及装置
CN110807807A (zh) * 2018-08-01 2020-02-18 深圳市优必选科技有限公司 一种单目视觉的目标定位的图案、方法、装置及设备
CN111060014A (zh) * 2019-10-16 2020-04-24 杭州安脉盛智能技术有限公司 一种基于机器视觉的在线自适应烟丝宽度测量方法
CN111401269A (zh) * 2020-03-19 2020-07-10 成都云盯科技有限公司 基于监控视频的商品热点检测方法、装置和设备
CN111968172A (zh) * 2020-07-16 2020-11-20 中冶华天工程技术有限公司 料场物料的体积测量方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王开鑫;王世峰;孙琪;刘传义;陈森;: "点云分割匹配的三维重建算法", 长春理工大学学报(自然科学版) *
谢天;解利军;宋广华;郑耀;: "基于平面颜色分布的增强现实自然特征注册算法", 浙江大学学报(工学版) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220253641A1 (en) * 2021-02-09 2022-08-11 Samsung Sds Co., Ltd. Method and apparatus for clustering images
US12013918B2 (en) * 2021-02-09 2024-06-18 Samsung Sds Co., Ltd. Method and apparatus for clustering images
CN113516062A (zh) * 2021-06-24 2021-10-19 深圳开思信息技术有限公司 用于汽修门店的客户识别方法和系统
CN114636618A (zh) * 2022-05-13 2022-06-17 河南银金达新材料股份有限公司 一种性能稳定的pet膜制备工艺
CN115830641A (zh) * 2023-02-08 2023-03-21 四川弘和通讯集团有限公司 一种员工识别方法、装置、电子设备及存储介质
CN116030417A (zh) * 2023-02-13 2023-04-28 四川弘和通讯集团有限公司 一种员工识别方法、装置、设备、介质及产品
CN117495986A (zh) * 2023-12-29 2024-02-02 宁波经纬数控股份有限公司 一种布料图案颜色采集方法及系统
CN117495986B (zh) * 2023-12-29 2024-04-16 宁波经纬数控股份有限公司 一种布料图案颜色采集方法及系统

Also Published As

Publication number Publication date
CN112749645B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN112749645B (zh) 基于监控视频的服装颜色检测方法、装置和设备
JP6445775B2 (ja) 画像処理装置、画像処理方法
TWI686774B (zh) 人臉活體檢測方法和裝置
CN108921782B (zh) 一种图像处理方法、装置及存储介质
US20200286239A1 (en) Iterative method for salient foreground detection and multi-object segmentation
US8737740B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
KR20210149848A (ko) 피부질 검출 방법, 피부질 등급 분류 방법, 피부질 검출 장치, 전자 기기 및 저장 매체
US8532414B2 (en) Region-of-interest video quality enhancement for object recognition
EP2879080B1 (en) Image processing device and method, and computer readable medium
JP2012530994A (ja) 半顔面検出のための方法および装置
CN109859236B (zh) 运动物体检测方法、系统、计算设备及存储介质
AU2010241260A1 (en) Foreground background separation in a scene with unstable textures
CN106327488B (zh) 一种自适应的前景检测方法及其检测装置
CN110059666B (zh) 一种注意力检测方法及装置
JP2014041476A (ja) 画像処理装置、画像処理方法及びプログラム
CN109190617B (zh) 一种图像的矩形检测方法、装置及存储介质
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN108875474A (zh) 评估人脸识别算法的方法、装置及计算机存储介质
WO2021084972A1 (ja) 物体追跡装置および物体追跡方法
CN112784854B (zh) 基于数理统计的服装颜色分割提取方法、装置和设备
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
AU2018202801A1 (en) Method, apparatus and system for producing a foreground map
US20160210755A1 (en) Method and apparatus for generating temporally consistent superpixels
CN112750151B (zh) 基于数理统计的服装颜色匹配方法、装置和设备
Rosell-Ortega et al. A combined self-configuring method for object tracking in colour video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant