CN111444806B - 基于监控视频的商品触碰信息聚类方法、装置和设备 - Google Patents

基于监控视频的商品触碰信息聚类方法、装置和设备 Download PDF

Info

Publication number
CN111444806B
CN111444806B CN202010196405.2A CN202010196405A CN111444806B CN 111444806 B CN111444806 B CN 111444806B CN 202010196405 A CN202010196405 A CN 202010196405A CN 111444806 B CN111444806 B CN 111444806B
Authority
CN
China
Prior art keywords
image
detection
current
frame
projection transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010196405.2A
Other languages
English (en)
Other versions
CN111444806A (zh
Inventor
杨淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Yunstare Technology Co ltd
Original Assignee
Chengdu Yunstare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Yunstare Technology Co ltd filed Critical Chengdu Yunstare Technology Co ltd
Priority to CN202010196405.2A priority Critical patent/CN111444806B/zh
Publication of CN111444806A publication Critical patent/CN111444806A/zh
Application granted granted Critical
Publication of CN111444806B publication Critical patent/CN111444806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请涉及一种基于监控视频的商品触碰信息聚类方法、装置和设备。所述方法包括：从对商品的实时监控视频中逐帧提取视频图像；基于当前视频图像和预设的背景图像生成检测区域的差分梯度图像和二值特征图像；若二值特征图像中像素值非0的像素点的个数大于预设的阈值，则以差分梯度图像作为检测图像；基于检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数；将被触碰次数在实时监控视频中进行显示。本申请采用信息聚类的方式识别特定区域中商品被触碰次数，从而可以反映该区域商品在市场中的受关注程度，并且检测算法简单、计算量小，技术鲁棒，检测效果好。

Description

基于监控视频的商品触碰信息聚类方法、装置和设备
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于监控视频的商品触碰信息聚类方法、装置和设备。
背景技术
目前，在各种商品的零售门店内，通常会设置摄像头对售卖的商品进行监控，一是为了避免发生盗窃损失，二来商家也可以通过监控视频了解哪些商品更受关注，即哪些商品被触碰的次数较多，从而提升门店日常管理、商品推销策略以及备货方案的精准度。
对于上述第二种用途，目前有几种不同的实现方法，一是人工统计法，即人工肉眼持续观看监控视频，其缺点是人工成本较高；二是基于图像的物体检测法，该方法需要识别出被检测的商品的类别，由于商品种类繁多，因此需要不断迭代检测模型，最终使得模型极为庞大，存储难度大、且算法计算量大、计算时间长。
发明内容
本申请提供一种基于监控视频的商品触碰信息聚类方法、装置和设备，以解决现有的商品触碰检测方法存在的人工成本高或检测过程复杂的问题。
本申请的上述目的是通过以下技术方案实现的：
第一方面，本申请实施例提供一种基于监控视频的商品触碰信息聚类方法，包括：
从对商品的实时监控视频中逐帧提取视频图像；
基于当前视频图像和预设的背景图像生成检测区域的差分梯度图像和二值特征图像；其中，所述预设的背景图像为用户设定的初始背景图像或对所述初始背景图像进行过正交投影变换后的图像，所述检测区域为商品所在的区域；
若所述二值特征图像中像素值非0的像素点的个数大于预设的阈值，则以所述差分梯度图像作为检测图像；
基于所述检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数；
将所述被触碰次数在实时监控视频中进行显示。
可选的，所述从对商品的实时监控视频中逐帧提取视频图像之前，还包括：
获取用户设定的初始背景图像，以及获取用户基于所述初始背景图像设定的检测区域；
基于用户的指令，若用户选择进行正交投影变换，则根据所述检测区域的像素坐标计算得到投影变换矩阵，并利用所述投影变换矩阵对用户设定的初始背景图像进行正交投影变换后，作为所述预设的背景图像；若用户选择不进行正交投影变换，则以所述初始背景图像作为所述预设的背景图像。
可选的，所述基于当前视频图像和预设的背景图像生成所述检测区域的差分梯度图像和二值特征图像，包括：
由所述当前视频图像生成所述检测区域的当前梯度图像和当前显著图像；其中，若所述预设的背景图像为进行过正交投影变换后的图像，则对所述当前视频图像进行正交投影变换后，再生成所述当前梯度图像和所述当前显著图像；
基于所述当前梯度图像和由所述背景图像预先生成的模板梯度图像进行差分，得到差分梯度图像；
基于预设的自适应阈值，对所述当前梯度图像进行二值化，得到二值梯度图像，以及对所述当前显著图像进行二值化，得到二值显著图像；
基于所述二值梯度图像和所述二值显著图像，计算得到二值特征图像。
可选的，所述若所述二值特征图像的像素个数大于预设的阈值，则以所述差分梯度图像作为检测图像之后，还包括：
更新所述模板梯度图像，以所述当前梯度图像作为更新后的模板梯度图像。
可选的，所述基于所述检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数，包括：
对当前帧检测图像执行滑窗算法；
依次判断每个滑窗内的像素值非0的像素点的个数是否大于0，若个数大于0，则在当前滑窗内生成包含所有像素值非0的像素点的一级检测框；
基于检测框大小信息和重合度信息，对当前帧检测图像内的全部一级检测框进行相邻合并，得到多个二级检测框；
对各所述二级检测框进行坐标限制，得到坐标限制在预设的坐标阈值范围内的多个三级检测框；
基于检测框大小信息和重合度信息，对当前帧检测图像内的各所述三级检测框以及上一帧检测图像的终级检测框进行聚类融合，得到当前帧检测图像内的终级检测框；每完成一次聚类融合，则表示对应位置的商品的被触碰次数加1；
其中，上述各级检测框的形状均为矩形。
可选的，所述方法还包括：
对当前帧检测图像内的所述终级检测框进行去重复和信息校验，从而提高得到的商品被触碰次数的精度。
可选的，所述将所述被触碰次数在实时监控视频中进行显示，包括：
将所述被触碰次数以热力图或数字的形式，在实时监控视频中进行显示。
第二方面本申请实施例还提供一种基于监控视频的商品热点检测装置，包括：
提取模块，用于从对商品的实时监控视频中逐帧提取视频图像；
生成模块，用于基于当前视频图像和预设的背景图像生成检测区域的差分梯度图像和二值特征图像；其中，所述预设的背景图像为用户设定的初始背景图像或对所述初始背景图像进行过正交投影变换后的图像，所述检测区域为商品所在的区域；
设置模块，用于若所述二值特征图像中像素值非0的像素点的个数大于预设的阈值，则以所述差分梯度图像作为检测图像；
统计模块，用于基于所述检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数；
显示模块，用于将所述被触碰次数在实时监控视频中进行显示。
可选的，所述装置还包括：
获取模块，用于获取用户设定的初始背景图像，以及获取用户基于所述初始背景图像设定的检测区域；
投影变换模块，用于基于用户的指令，若用户选择进行正交投影变换，则根据所述检测区域的像素坐标计算得到投影变换矩阵，并利用所述投影变换矩阵对用户设定的初始背景图像进行正交投影变换后，作为所述预设的背景图像；若用户选择不进行正交投影变换，则以所述初始背景图像作为所述预设的背景图像。
第三方面，本申请实施例还提供一种基于监控视频的商品热点检测设备，包括：
存储器和与所述存储器相连接的处理器；
所述存储器，用于存储程序，所述程序至少用于执行上述的基于监控视频的商品触碰信息聚类方法；
所述处理器，用于调用并执行所述存储器存储的所述程序。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请的实施例提供的技术方案中，通过对商品的监控视频进行处理和分析，能够基于聚类统计的方法，识别商品被触碰次数，相对于传统的方法，本申请提供的技术方案，可以在复杂门店环境下实时输出检测区域内商品的被触碰次数及相关热力图，且对商品摆放角度无特殊要求，从而能够大大减轻门店经营者、管理人员的工作量。由于检测过程全部由设备自动完成，因此可以节约人工成本，并且检测算法简单、计算量小，可以直接应用于摄像头等边缘设备，此外算法中对环境噪声进行了一定抑制，技术鲁棒，检测效果好。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种基于监控视频的商品触碰信息聚类方法的流程示意图；
图2为本申请实施例提供的一种基于监控视频的商品触碰信息聚类装置的结构示意图；
图3为本申请实施例提供的一种基于监控视频的商品触碰信息聚类设备的结构示意图；
图4为本申请实施例提供的一种基于监控视频的商品触碰信息聚类系统的结构示意图；
图5为图4所示系统的配置模块的工作流程示意图；
图6为图4所示系统的初始化模块的工作流程示意图；
图7为图4所示系统的检测图像生成模块的工作流程示意图；
图8为图4所示系统的聚类统计模块的工作流程示意图；
图9为图4所示系统的输出模块的工作流程示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
实施例
请参阅图1，图1为本申请实施例提供的一种基于监控视频的商品触碰信息聚类方法的流程示意图。如图1所示，该方法包括以下步骤：
S101：从对商品的实时监控视频中逐帧提取视频图像；
一些实施例中，在S101之前，该方法还包括：获取用户设定的初始背景图像，以及获取用户基于所述初始背景图像设定的检测区域；基于用户的指令，若用户选择进行正交投影变换，则根据所述检测区域的像素坐标计算得到投影变换矩阵，并利用所述投影变换矩阵对用户设定的初始背景图像进行正交投影变换后，作为所述预设的背景图像；若用户选择不进行正交投影变换，则以所述初始背景图像作为所述预设的背景图像。
也就是说，如果是第一次应用该方法进行检测，则需要用户首先设定初始背景图像，并在初始背景图像内设置检测区域。其中，初始背景图像即从监控视频(实时或历史均可)中选择的光线情况与实际进行检测时相同的、无人情况下的图像，检测区域即待检测商品所在的区域，举例说明，假设摄像头监控的是一张桌子上摆放的商品以及该桌子四周的情况，那么可以将整张桌子所在的区域设置为检测区域，桌子范围外的监控画面为非检测区域，非检测区域的监控画面变化在后续步骤中检测和分析时不予考虑。
此外，正交投影变换是为了将三维场景投影到二维图像，且保持物体之间的相对距离在变换后不变。具体实施时，首先通过传入的检测区域坐标，生成RoI坐标、Src坐标与Dst坐标，上述坐标除RoI坐标外均按照左上，右上，右下，左下排列,计算公式如下：
其中RoI坐标：
RoI_x＝min(x0,x1,x2,x3)
RoI_y＝min(y0,y1,y2,y3)
RoI_w＝max(x0,x1,x2,x3)-min(x0,x1,x2,x3)
RoI_h＝max(y0,y1,y2,y3)-min(y0,y1,y2,y3)
Src坐标：
Src_xi＝xi-RoI_x
Src_yi＝yi-RoI_y
Dst坐标：
Dst_xi＝(0,RoI_w,RoI_w,0)
Dst_yi＝(0,RoI_h,RoI_h,0)
随后，联合Src坐标与Dst坐标，通过svd(Singular Value Decomposition，奇异值分解)算法求解投影变换矩阵M：
Figure GDA0004208331480000071
该投影变换矩阵M在后续的步骤中也会再次用到。
S102：基于当前视频图像和预设的背景图像生成检测区域的差分梯度图像和二值特征图像；其中，所述预设的背景图像为用户设定的初始背景图像或对所述初始背景图像进行过正交投影变换后的图像，所述检测区域为商品所在的区域；
一些实施例中，生成差分梯度图像和二值特征图像的具体过程包括：
由所述当前视频图像生成所述检测区域的当前梯度图像和当前显著图像；其中，若所述预设的背景图像为进行过正交投影变换后的图像，则对所述当前视频图像进行正交投影变换后，再生成所述当前梯度图像和所述当前显著图像；基于所述当前梯度图像和由所述背景图像预先生成的模板梯度图像进行差分，得到差分梯度图像；基于预设的自适应阈值，对所述当前梯度图像进行二值化，得到二值梯度图像，以及对所述当前显著图像进行二值化，得到二值显著图像；基于所述二值梯度图像和所述二值显著图像，计算得到二值特征图像。
具体的，图像的梯度可以把图像看成二维离散函数，其实际就是这个二维离散函数的求导。显著图像是显示每个像素独特性的图像，其目标在于将一般图像的表示简化或是改变为更容易分析的样式。在本实施例中，可以对检测图像分别采用Sobel检测算法和AC算法来得到梯度图像和显著图像，这两种算法都是现有技术中常用的算法，其具体计算过程不再赘述。只是要注意，如果预设的背景图像进行过正交投影变换，则同样需要当前视频图像进行正交投影变换，之后再获取当前梯度图像和当前显著图像。
此外，预设的自适应阈值adaptiveThreshold的计算公式如下：
Figure GDA0004208331480000081
式中，Area为检测区域面积，α0，α1，β0，β1，γ0，γ1，c为自定义的计算参数，其取值取决于实际的检测环境。
二值化是指，将图像的像素转化为只有0(黑色)和255(白色)两个值(也可以设定为0和1)，从而使整个图像呈现出明显的黑白效果。
基于上述自适应阈值，二值梯度图像BinaryImage可以用公式表述为：
Figure GDA0004208331480000082
式中，x为实际像素值，上述公式表示，当实际像素值大于设定的自适应阈值adaptiveThreshold时，其二值化的结果为1(白色)，否则二值化的结果为0(黑色)。
同理，二值显著图像SalientImage可以用公式表述为：
Figure GDA0004208331480000091
进一步的，二值特征图像FeatureImage可以用公式表述为：
FeatureIma ge(i,j)＝BinaryIma ge(i,j)×SalientIma ge(i,j)
其中，(i,j)为像素点的坐标，即第i行第j列。
S103：若所述二值特征图像中像素值非0的像素点的个数大于预设的阈值，则以所述差分梯度图像作为检测图像；
具体的，在上述计算结果FeatureImage的基础上，统计非0像素点的个数，如果大于设定的阈值，则将上述步骤中计算得到的差分梯度图像作为检测图像。
此外，一些实施例中，随后还可以将上述步骤中计算得到的当前梯度图像作为更新后的模板梯度图像，从而提高后续其他帧图像的检测精度。
S104：基于所述检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数；
一些实施例中，该步骤的具体过程包括：
对当前帧检测图像执行滑窗算法；依次判断每个滑窗内的像素值非0的像素点的个数是否大于0，若个数大于0，则在当前滑窗内生成包含所有像素值非0的像素点的一级检测框；基于检测框大小信息和重合度信息，对当前帧检测图像内的全部一级检测框进行相邻合并，得到多个二级检测框；对各所述二级检测框进行坐标限制，得到坐标限制在预设的坐标阈值范围内的多个三级检测框；基于检测框大小信息和重合度信息，对当前帧检测图像内的各所述三级检测框以及上一帧检测图像的终级检测框进行聚类融合，得到当前帧检测图像内的终级检测框；每完成一次聚类融合，则表示对应位置的商品的被触碰次数加1，其中，各级检测框的形状均为矩形。
具体的，生成的所述一级检测框指的是包含所有像素值非0的像素点的最小的矩形框。
检测框大小信息是指矩形检测框的宽高(或者面积)数值，如果小于预设值则会被其他检测框合并；重合度信息是指两个(或多个)检测框的重合面积占总面积的比例，如果高于预设值则进行合并。进行相邻合并的过程可以用公式表述为：
Figure GDA0004208331480000101
式中，Recta和Rectb分别为检测框a和检测框b的坐标信息，坐标由三个信息组成，分别是左上角像素的坐标(i,j)、检测框的宽Eidth和高Heigh。
此外，坐标限制是指将上述步骤得到的二级检测框的宽和高限制在预设的最大宽高范围内。聚类融合的过程与上述相邻合并的过程类似，也可以通过上述公式表示。每完成一次聚类融合，则表示对应位置的商品的被触碰次数加1。
一些实施例中，还可以对当前帧检测图像内的所述终级检测框进行去重复和信息校验，从而提高得到的商品被触碰次数的精度。去重复是指排除对同一次触碰的多次统计的情况，信息校验是验证去重复后的检测框的信息是否正确。
S105：将所述被触碰次数在实时监控视频中进行显示。
其中，如果前述步骤进行了正交投影变换，则需要计算投影变换矩阵的逆矩阵，并利用该逆矩阵对上述步骤得到的检测框进行逆变换。
随后可以将所述被触碰次数以热力图或数字的形式，在实时监控视频中进行显示。热力图的形式是指以不同的颜色(或颜色的深浅)表示不同的被触碰次数，数字的形式则是指以具体数字指示相应的被触碰次数。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请的实施例提供的技术方案中，通过对商品的监控视频进行处理和分析，能够基于聚类统计的方法，识别商品被触碰次数，相对于传统的方法，本申请提供的技术方案，可以在复杂门店环境下实时输出检测区域内商品的被触碰次数及相关热力图，且对商品摆放角度无特殊要求，从而能够大大减轻门店经营者、管理人员的工作量。由于检测过程全部由设备自动完成，因此可以节约人工成本，并且检测算法简单、计算量小，可以直接应用于摄像头等边缘设备，此外算法中对环境噪声进行了一定抑制，技术鲁棒，检测效果好。
为了对本申请的技术方案进行更全面的说明，对应于本申请上述实施例提供的基于监控视频的商品触碰信息聚类方法，本申请实施例还提供一种基于监控视频的商品触碰信息聚类装置。
请参阅图2，图2为本申请实施例提供的一种基于监控视频的商品触碰信息聚类装置的结构示意图。如图2所示，该装置包括：
提取模块21，用于从对商品的实时监控视频中逐帧提取视频图像；
生成模块22，用于基于当前视频图像和预设的背景图像生成检测区域的差分梯度图像和二值特征图像；其中，所述预设的背景图像为用户设定的初始背景图像或对所述初始背景图像进行过正交投影变换后的图像，所述检测区域为商品所在的区域；
设置模块23，用于若所述二值特征图像中像素值非0的像素点的个数大于预设的阈值，则以所述差分梯度图像作为检测图像；
统计模块24，用于基于所述检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数；
显示模块25，用于将所述被触碰次数在实时监控视频中进行显示。
一些实施例中，所述装置还包括：
获取模块，用于获取用户设定的初始背景图像，以及获取用户基于所述初始背景图像设定的检测区域；
投影变换模块，用于基于用户的指令，若用户选择进行正交投影变换，则根据所述检测区域的像素坐标计算得到投影变换矩阵，并利用所述投影变换矩阵对用户设定的初始背景图像进行正交投影变换后，作为所述预设的背景图像；若用户选择不进行正交投影变换，则以所述初始背景图像作为所述预设的背景图像。
具体的，上述每个功能模块的功能的具体实现方式可以参照上述基于监控视频的商品触碰信息聚类方法中的内容来实现，对此不再详述。
为了对本申请的技术方案进行更全面的说明，对应于本申请上述实施例提供的基于监控视频的商品触碰信息聚类方法，本申请实施例还提供一种基于监控视频的商品触碰信息聚类设备。
请参阅图3，图3为本申请实施例提供的一种基于监控视频的商品触碰信息聚类设备的结构示意图。如图3所示，该设备包括：
存储器31和与存储器31相连接的处理器32；
存储器31用于存储程序，所述程序至少用于执行上述的基于监控视频的商品触碰信息聚类方法；
处理器32用于调用并执行存储器31存储的所述程序。
具体的，该设备可以是计算机或类似的独立设备，也可以直接集成到监控摄像头等边缘设备，其中程序的功能的具体实现方式可以参照上述基于监控视频的商品触碰信息聚类方法中的内容来实现，对此不再详述。
以上是对本申请技术方案的整体介绍，为了便于技术人员理解，以下将通过一个具体示例进行说明。
请参阅图4-9，图4为本申请实施例提供的一种基于监控视频的商品触碰信息聚类系统的结构示意图，图5-9为图4所示系统的各模块的工作流程示意图。
如图4所示，该系统包括：配置模块41、初始化模块42、检测图像生成模块43、聚类统计模块44和输出模块45。
其中，配置模块41，主要是用于设置检测区域及判断其坐标的合理性，其工作流程如图5所示，包括：
背景图像的输入，即用户选择的光线情况与实际进行检测时相同的、无人情况下的图像；
检测区域设置，即用户设置需要检测的、包含商品的区域；
检测区域坐标的合理性判定及存储，合理性的判定方法为依背景图像尺寸进行限制，检测区域长宽坐标的最大值为背景图像长宽最大值，最小值为0；
用户选择是否正交投影变换，若是，根据检测区域坐标计算投影变换矩阵，并存储该矩阵参数；若否，结束本模块的过程。
初始化模块42，主要是用于对所需各算法进行相关初始化，其工作流程如图6所示，包括：
传入背景图像，并将其作为pbMask保存；
读取配置模块41中的检测区域坐标；
自适应阈值adaptiveThreshold计算；
各存储空间的初始化；
结合pbMask及配置模块41中的投影变换矩阵，如果选择投影变换，则对pbMask使用投影变换矩阵进行正交投影变换，否则不进行变换，之后基于生成的pbMask，分别采用AC算法和Sobel检测算法构建初始化的显著图像SalientMask及模板梯度图像GradientMask。
检测图像生成模块43，主要是用于生成具体的检测图像，其工作流程如图7所示，包括：
传入当前帧检测区域图像，并选择是否进行投影变换，若是，传入配置模块41的投影变换矩阵进行投影变换；
当前帧检测梯度图像及显著图像生成，并结合初始化模块42生成的模板梯度图像生成当前帧差分梯度图像；
对当前帧差分梯度图像进行自适应阈值的二值化，并结合二值显著图像，得到二值特征图像；
二值特征图像非0像素个数统计bCnt及统计阈值判定，若大于阈值，设置差分梯度图像为检测图像；
更新GradientMask，设置当前梯度图像为GradientMask。
聚类统计模块44，主要是用于通过信息聚类的方法，统计得到热点次数，其工作流程如图8所示，包括：
对检测图像使用滑窗算法，得到当前滑窗内的像素最大值，并统计当前滑窗内的非0像素个数，根据统计个数，若个数大于0，生成滑窗大小的检测框DetBoxNow，设置检测框大小信息nType为1，检测框当前标志位nFlag为0，并记录当前滑窗内的像素最大值作为该检测框内最大触碰次数nTouch，否则下一个滑窗；其中，检测框大小信息nType为1表示在后续的迭代过程中，该检测框的大小信息(即宽高)可变，例如可以在与其他检测框合并后变大，如果nType为0则表示不可变；检测框当前标志位nFlag为0表示在后续的迭代过程中，该检测框的标志位(左上角像素坐标)不可变，如果nFlag为1则表示可变；
初始化输出检测框DetBoxOut信息；
对DetBoxNow迭代，结合检测框大小信息及重合度信息合并相邻框，并更新相应信息，得到DetBoxMerge；
对DetBoxMerge进行检测区域坐标限制；
结合上一帧检测框DetBoxPre及其相关信息，应用检测框大小信息对DetBoxMerge进行融合、信息聚类，更新最大触碰次数，之后设置检测框大小信息nType为0，检测框当前标志位nFlag为1；
对检测框去重复；
检测框信息进行校验，确保信息正确，并存入输出检测框DetBoxOut，并更新DetBoxPre，即将DetBoxNow作为DetBoxPre。
输出模块45，主要是用于得到聚类统计模块45所生成的检测框信息，及绘制相应的热力图像，其工作流程如图9所示，包括：
投影校验，如果使用了正交投影变换，需传入配置模块41的投影变换矩阵，计算该矩阵的逆矩阵并对检测框集合DetBoxOut进行坐标逆投影；
进行热力图绘制及热点次数统计图像输出。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于监控视频的商品触碰信息聚类方法，其特征在于，包括：
从对商品的实时监控视频中逐帧提取视频图像；
基于当前视频图像和预设的背景图像生成检测区域的差分梯度图像和二值特征图像；其中，所述预设的背景图像为用户设定的初始背景图像或对所述初始背景图像进行过正交投影变换后的图像，所述检测区域为商品所在的区域；
若所述二值特征图像中像素值非0的像素点的个数大于预设的阈值，则以所述差分梯度图像作为检测图像；
基于所述检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数；
将所述被触碰次数在实时监控视频中进行显示；
所述从对商品的实时监控视频中逐帧提取视频图像之前，还包括：
获取用户设定的初始背景图像，以及获取用户基于所述初始背景图像设定的检测区域；
基于用户的指令，若用户选择进行正交投影变换，则根据所述检测区域的像素坐标计算得到投影变换矩阵，并利用所述投影变换矩阵对用户设定的初始背景图像进行正交投影变换后，作为所述预设的背景图像；若用户选择不进行正交投影变换，则以所述初始背景图像作为所述预设的背景图像；
基于当前视频图像和预设的背景图像生成所述检测区域的差分梯度图像和二值特征图像，包括：
由所述当前视频图像生成所述检测区域的当前梯度图像和当前显著图像；其中，若所述预设的背景图像为进行过正交投影变换后的图像，则对所述当前视频图像进行正交投影变换后，再生成所述当前梯度图像和所述当前显著图像；
基于所述当前梯度图像和由所述背景图像预先生成的模板梯度图像进行差分，得到差分梯度图像；
基于预设的自适应阈值，对所述当前梯度图像进行二值化，得到二值梯度图像，以及对所述当前显著图像进行二值化，得到二值显著图像；
基于所述二值梯度图像和所述二值显著图像，计算得到二值特征图像。
2.根据权利要求1所述的方法，其特征在于，所述若所述二值特征图像的像素个数大于预设的阈值，则以所述差分梯度图像作为检测图像之后，还包括：
更新所述模板梯度图像，以所述当前梯度图像作为更新后的模板梯度图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数，包括：
对当前帧检测图像执行滑窗算法；
依次判断每个滑窗内的像素值非0的像素点的个数是否大于0，若个数大于0，则在当前滑窗内生成包含所有像素值非0的像素点的一级检测框；
基于检测框大小信息和重合度信息，对当前帧检测图像内的全部一级检测框进行相邻合并，得到多个二级检测框；
对各所述二级检测框进行坐标限制，得到坐标限制在预设的坐标阈值范围内的多个三级检测框；
基于检测框大小信息和重合度信息，对当前帧检测图像内的各所述三级检测框以及上一帧检测图像的终级检测框进行聚类融合，得到当前帧检测图像内的终级检测框；每完成一次聚类融合，则表示对应位置的商品的被触碰次数加1；
其中，上述各级检测框的形状均为矩形。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对当前帧检测图像内的所述终级检测框进行去重复和信息校验，从而提高得到的商品被触碰次数的精度。
5.根据权利要求1所述的方法，其特征在于，所述将所述被触碰次数在实时监控视频中进行显示，包括：
将所述被触碰次数以热力图或数字的形式，在实时监控视频中进行显示。
6.一种基于监控视频的商品热点检测装置，其特征在于，包括：
提取模块，用于获取用户设定的初始背景图像，以及获取用户基于所述初始背景图像设定的检测区域；基于用户的指令，若用户选择进行正交投影变换，则根据所述检测区域的像素坐标计算得到投影变换矩阵，并利用所述投影变换矩阵对用户设定的初始背景图像进行正交投影变换后，作为预设的背景图像；若用户选择不进行正交投影变换，则以所述初始背景图像作为预设的背景图像；从对商品的实时监控视频中逐帧提取视频图像；
生成模块，用于基于当前视频图像和预设的背景图像生成检测区域的差分梯度图像和二值特征图像，包括：由所述当前视频图像生成所述检测区域的当前梯度图像和当前显著图像；其中，若所述预设的背景图像为进行过正交投影变换后的图像，则对所述当前视频图像进行正交投影变换后，再生成所述当前梯度图像和所述当前显著图像；基于所述当前梯度图像和由所述背景图像预先生成的模板梯度图像进行差分，得到差分梯度图像；基于预设的自适应阈值，对所述当前梯度图像进行二值化，得到二值梯度图像，以及对所述当前显著图像进行二值化，得到二值显著图像；基于所述二值梯度图像和所述二值显著图像，计算得到二值特征图像；其中，所述预设的背景图像为用户设定的初始背景图像或对所述初始背景图像进行过正交投影变换后的图像，所述检测区域为商品所在的区域；
设置模块，用于若所述二值特征图像中像素值非0的像素点的个数大于预设的阈值，则以所述差分梯度图像作为检测图像；
统计模块，用于基于所述检测图像，通过信息聚类的方法，统计得到不同商品的被触碰次数；
显示模块，用于将所述被触碰次数在实时监控视频中进行显示。
7.根据权利要求6所述的装置，其特征在于，还包括：
获取模块，用于获取用户设定的初始背景图像，以及获取用户基于所述初始背景图像设定的检测区域；
投影变换模块，用于基于用户的指令，若用户选择进行正交投影变换，则根据所述检测区域的像素坐标计算得到投影变换矩阵，并利用所述投影变换矩阵对用户设定的初始背景图像进行正交投影变换后，作为所述预设的背景图像；若用户选择不进行正交投影变换，则以所述初始背景图像作为所述预设的背景图像。
8.一种基于监控视频的商品热点检测设备，其特征在于，包括：
存储器和与所述存储器相连接的处理器；
所述存储器，用于存储程序，所述程序至少用于执行如权利要求1-5任一项所述的基于监控视频的商品触碰信息聚类方法；
所述处理器，用于调用并执行所述存储器存储的所述程序。
CN202010196405.2A 2020-03-19 2020-03-19 基于监控视频的商品触碰信息聚类方法、装置和设备 Active CN111444806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010196405.2A CN111444806B (zh) 2020-03-19 2020-03-19 基于监控视频的商品触碰信息聚类方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010196405.2A CN111444806B (zh) 2020-03-19 2020-03-19 基于监控视频的商品触碰信息聚类方法、装置和设备

Publications (2)

Publication Number Publication Date
CN111444806A CN111444806A (zh) 2020-07-24
CN111444806B true CN111444806B (zh) 2023-06-20

Family

ID=71653376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010196405.2A Active CN111444806B (zh) 2020-03-19 2020-03-19 基于监控视频的商品触碰信息聚类方法、装置和设备

Country Status (1)

Country Link
CN (1) CN111444806B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347985A (zh) * 2020-11-30 2021-02-09 广联达科技股份有限公司 一种物料类别检测方法及装置
CN112784854B (zh) * 2020-12-30 2023-07-14 成都云盯科技有限公司 基于数理统计的服装颜色分割提取方法、装置和设备
CN112750151B (zh) * 2020-12-30 2023-09-26 成都云盯科技有限公司 基于数理统计的服装颜色匹配方法、装置和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2676219C (en) * 2007-01-23 2017-10-24 Euclid Discoveries, Llc Computer method and apparatus for processing image data
JP5310247B2 (ja) * 2009-05-13 2013-10-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9454712B2 (en) * 2014-10-08 2016-09-27 Adobe Systems Incorporated Saliency map computation
CN109543650A (zh) * 2018-12-04 2019-03-29 钟祥博谦信息科技有限公司 仓库智能监控方法和系统
CN109635733B (zh) * 2018-12-12 2020-10-27 哈尔滨工业大学 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN110069664B (zh) * 2019-04-24 2021-04-06 北京博视未来科技有限公司 动漫作品封面图提取方法及其系统
CN110827231A (zh) * 2019-09-19 2020-02-21 北京航空航天大学 一种显著性驱动下的主动学习多源图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A novel shape descriptor based on salient keypoints detection for binary image matching and retrieval;Houssem Chatbri et al.,;《Multimed Tools Appl》;第77卷;28925–28948 *
Multi-scale weighted gradient-based fusion for multi-focus images;Zhiqiang Zhou et al.;《Information Fusion》;第20卷;60–72 *
Salient object detection in hyperspectral imagery using multi-scale spectral-spatial gradient;Lei Zhang et al.,;《Neurocomputing》;第291卷;215–225 *
基于梯度响应图与视觉显著性的快速实时目标检测;马翠红等;《工业控制计算机》;第32卷(第5期);85-87 *

Also Published As

Publication number Publication date
CN111444806A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111401269B (zh) 基于监控视频的商品热点检测方法、装置和设备
CN111444806B (zh) 基于监控视频的商品触碰信息聚类方法、装置和设备
Mura et al. Automatic room detection and reconstruction in cluttered indoor environments with complex room layouts
JP6871314B2 (ja) 物体検出方法、装置及び記憶媒体
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
US9025875B2 (en) People counting device, people counting method and people counting program
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
US8355079B2 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
US11145080B2 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
EP2194504A1 (en) Generation of a depth map
CN106997459B (zh) 一种基于神经网络和图像叠合分割的人数统计方法及系统
WO2014044158A1 (zh) 一种图像中的目标物体识别方法及装置
Friedman et al. Online detection of repeated structures in point clouds of urban scenes for compression and registration
US10318844B2 (en) Detection and presentation of differences between 3D models
Pound et al. A patch-based approach to 3D plant shoot phenotyping
CN111310733A (zh) 基于监控视频的人员进出检测方法、装置和设备
Zhao et al. Region-based saliency estimation for 3D shape analysis and understanding
Patel et al. Reflection symmetry aware image retargeting
JP7247573B2 (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
Cao et al. Extracting Sharp Features from RGB‐D Images
Raghuraman et al. Evaluating the efficacy of RGB-D cameras for surveillance
EP3018626A1 (en) Apparatus and method for image segmentation
Zou et al. Automatic inpainting by removing fence-like structures in RGBD images
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant