CN108985169A - 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法 - Google Patents

基于深度学习目标检测与动态背景建模的商店跨门经营检测方法 Download PDF

Info

Publication number
CN108985169A
CN108985169A CN201810619324.1A CN201810619324A CN108985169A CN 108985169 A CN108985169 A CN 108985169A CN 201810619324 A CN201810619324 A CN 201810619324A CN 108985169 A CN108985169 A CN 108985169A
Authority
CN
China
Prior art keywords
layer
shop
door operation
characteristic pattern
storefront
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810619324.1A
Other languages
English (en)
Other versions
CN108985169B (zh
Inventor
陈晋音
龚鑫
李玉玮
泮安涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopuxiong Electronic Commerce Co.,Ltd.
Shanghai Yingzhi Information Technology Co ltd
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810619324.1A priority Critical patent/CN108985169B/zh
Publication of CN108985169A publication Critical patent/CN108985169A/zh
Application granted granted Critical
Publication of CN108985169B publication Critical patent/CN108985169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，包括：(1)获取道路监控视频，并将该道路监控视频截成帧图像；(2)利用店面检测模型获取帧图像中的店面所在位置；(3)当视频视角固定时，划分帧图像中店面外道板区域，并利用改进的ViBe方法对道板区域进行背景建模差分处理，获得店外物体，然后，利用店外物体分类模型对店外物体进行分类，获得店外物体的类别；(4)当视频视角不固定时，利用物体检测模型对帧图像进行检测，获得帧图像中的物体所在位置及类别，然后，根据物体所在位置，筛选得到店外物体及类别；(5)当店外物体属于店面经营物体时，即进行跨门经营报警。

Description

基于深度学习目标检测与动态背景建模的商店跨门经营检测 方法
技术领域
本发明属于智能城市管理应用领域，具体设计一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法。
背景技术
跨门经营，又称店外经营，指经营者通过占用其经营场所店面以外或附近的公共场所进行经营活动的行为，是一种较为常见的不规范经营现象。目前，城市中已广泛部署道路监控探头，但是监控数据量巨大，人工数据处理需要大量的时间和人力成本。随着人工智能技术的快速发展，可以使用深度学习的方法来自动检测跨门经营的行为，提高城市管理部门的工作效率。
商店经营者的跨门经营行为存在一定的动态性，即在“不存在店外经营”与“存在店外经营”两种状态之间进行转换，具有一定的动态变化过程，因此，可以通过动态变化的检测来做初步的检测。目前常见的动态物体检测方法有：光流法、帧间差分法、背景差分法等。根据不同的背景建模方式，背景差分法又衍生出混合高斯背景建模差分、ViBe(visualbackground extractor)算法等方法。
ViBe算法是一种基于随机像素替换的背景建模、前景差分算法，其拥有算法简单、运算速度快、鬼影(Ghost Shadow)区域消除效果较好等优点。ViBe算法常用于检测行人、车辆等动态性较强的物体。在店外经营检测的应用场景中，每家店面在“不存在店外经营”与“存在店外经营”两种状态之间转换的动态性相对来说较低，实际场景中监控探头易产生晃动，造成图像偏移，这都会时ViBe算法产生一定的偏差，也就是现有的ViBe算法并不适用于对跨门经营图像的检测。
在跨门经营检测的过程中，需要从图像中检测出店面，然后检测店面门口物品所属的类别，根据其是否属于店铺经营的商品，来判断是否存在跨门经营现象。因此，需要采用目标检测方法，从图像中找出人们感兴趣的物体，并对其进行识别。目前常见的目标检测方法都基于深度学习技术，有Faster R-CNN、YOLO、SSD等方法。Faster R-CNN(快速区域卷积神经网)是一种用于目标检测的主流深度学习网络框架，它的优点在于具有比别的方法更高的识别精度。
发明内容
本发明的目的提供一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，该商店跨门经营检测方法能够自动检测获得存在跨门经营行为的商贩。
为实现上述发明，采用的技术方案如下：
一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，包括以下步骤：
(1)获取道路监控视频，并将该道路监控视频截成帧图像；
(2)利用店面检测模型获取帧图像中的店面所在位置；
(3)当视频视角固定时，划分帧图像中店面外道板区域，并利用改进的ViBe方法对道板区域进行背景建模差分处理，获得店外物体，然后，利用店外物体分类模型对店外物体进行分类，获得店外物体的类别；
(4)当视频视角不固定时，利用物体检测模型对帧图像进行检测，获得帧图像中的物体所在位置及类别，然后，根据物体所在位置，筛选得到店外物体及类别；
(5)当店外物体属于店面经营物体时，即进行跨门经营报警；
所述店外物体分类模型由VGG网络经训练得到，所述店面检测模型和物体检测模型均由VGG网络和Faster R-CNN网络组成的学习网络经训练得到。
其中，所述店面检测模型和物体检测模型对应的学习网络包括：
VGG网络，用于由10个卷积层和3个最大池化层、2个全连接层组成，10个卷积层和3个最大池化层用于提取输入图像的特征，输出特征图；第一个全连接层用于将特征图连接成1*1*4096维的向量并输出，第二个全连接层用于对1*1*4096维的向量中的物体进行分类，输出物体类别及分类置信度；
RPN，接收VGG网络输出的特征图，用于在VGG网络输出的特征图中，提取可能存在目标的矩形候选区域ROI；
ROI池化层，连接在RPN与第一个全连接层之间，接收VGG网络输出的特征图和RPN输出的矩形候选区域ROI，用于将矩形候选区域ROI映射到特征图上后输出特征图；
第三全连接层，连接于第一全连接层之后，用于对1*1*4096维的向量中ROI框选的物体进行边界确定，输出物体坐标。
具体地，所述VGG网络包括：
第一层、第二层均为卷积核为3*3，通道数为64的卷积层，输出尺寸为960*640的特征图；
第三层为第一最大值池化层，将尺寸为960*640的特征图压缩至尺寸为480*320的特征图；
第四层、第五层均为卷积核为3*3，通道数为128的卷积层，输出尺寸为480*320的特征图；
第六层为第二最大值池化层，将尺寸为480*320的特征图压缩至尺寸为240*160的特征图；
第七层、第八层均为卷积核为3*3，通道数为256的卷积层，输出尺寸为240*160的特征图；
第九层为卷积核为1*1，通道数为256的卷积层，输出尺寸为240*160的特征图；
第十层为第三最大值池化层，将尺寸为240*160的特征图压缩至尺寸为60*40的特征图；
第十一层、第十二层均为卷积核为3*3，通道数为512的卷积层，输出尺寸为60*40的特征图；
第十三层为卷积核为1*1，通道数为512的卷积层，输出尺寸为60*40的特征图；
第十四层为1*1*4096的全连接层，输出1*1*4096维的向量。
第十五层为1*1*N的全连接层，用于对1*1*4096维的向量中的物体进行分类，输出物体类别及分类置信度，N为类别总数。
与现有技术相比，本发明具有的有益效果为：
本发明提供的商店跨门经营检测方法结合深度学习技术和改进的ViBe方法能够自动化地实现跨门经营检测功能，利用现有的城市道路视频监控网络，有效地提高城市管理部门的效率，减少人力成本。
附图说明
图1是本发明提供的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法的流程图；
图2是本发明提供的店面检测模型和物体检测模型对应的学习网络的结构图，其中输出分类信息的FC层维度为1*1*N，N表示分类的数量，进行边界回归的FC层维度为1*1*4，表示检测目标在图中的矩形框坐标；
图3是本发明提供的VGG网络的结构图，其中输出分类信息的FC层维度为1*1*N，N表示分类的数量。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是本发明提供的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法的流程图。如图1所示，本实施例提供的商店跨门经营检测方法包括以下步骤：
S101，获取道路监控视频，并将该道路监控视频截成帧图像。
具体地，以每秒1～5帧的频率将该道路监控视频截成帧图像。更具体地，以每秒1帧的频率将该道路监控视频截成帧图像。商店跨门经营的物体的流动性相对比较弱，以每秒1帧的频率截取帧图像，根据该些帧图像足以准确地获得店面信息和物体信息，且能够降低数据量，节省计算开销。
S102，利用店面检测模型获取帧图像中的店面所在位置。
本实施例利用的店面检测模型是由VGG网络和Faster R-CNN网络组成的学习网络经训练得到。如图2所示，店面检测模型对应的学习网络包括VGG网络、RPN、ROI池化层以及第三全连接层。
如图2、图3所示，VGG网络包括：
第一层、第二层均为卷积核为3*3，通道数为64的卷积层，输出尺寸为960*640的特征图；
第三层为第一最大值池化层，将尺寸为960*640的特征图压缩至尺寸为480*320的特征图；
第四层、第五层均为卷积核为3*3，通道数为128的卷积层，输出尺寸为480*320的特征图；
第六层为第二最大值池化层，将尺寸为480*320的特征图压缩至尺寸为240*160的特征图；
第七层、第八层均为卷积核为3*3，通道数为256的卷积层，输出尺寸为240*160的特征图；
第九层为卷积核为1*1，通道数为256的卷积层，输出尺寸为240*160的特征图；
第十层为第三最大值池化层，将尺寸为240*160的特征图压缩至尺寸为60*40的特征图；
第十一层、第十二层均为卷积核为3*3，通道数为512的卷积层，输出尺寸为60*40的特征图；
第十三层为卷积核为1*1，通道数为512的卷积层，输出尺寸为60*40的特征图；
第十四层为1*1*4096的全连接层，输出1*1*4096维的向量。
第十五层为1*1*N的全连接层，用于对1*1*4096维的向量中的物体进行分类，输出物体类别及分类置信度，N为类别总数。
RPN，连接在卷积核为1*1，通道数为512的卷积层之后，接收卷积核为1*1，通道数为512的卷积层输出的特征图，用于在特征图中，提取可能存在目标的矩形候选区域ROI。
ROI池化层，连接在RPN与第一个全连接层之间，接收卷积核为1*1，通道数为512的卷积层输出的特征图和RPN输出的矩形候选区域ROI，用于将矩形候选区域ROI映射到特征图上后输出特征图。
尺寸为1*1*4的全连接层，连接于第一全连接层之后，用于对1*1*4096维的向量中ROI框选的物体进行边界确定，输出物体坐标。
训练样本的构建：以大量店面图像及对应的标签作为训练样本，店面图像来自于道路监控视频中截取的帧图像，还可以来自于从网络中爬取的大量店面图像，为这些店面图像进行分类，形成店面图像对应的标签。
利用上述构建的训练样本对上述网络进行训练，当网络收敛或达到迭代次数后，确定网络参数，即获得店面检测模型。
当店面检测模型确定后，将待检测的帧图像输入至该店面检测模型后，即可以获得店面的类别及店面所在位置。
S103，判断视频视角是否固定，若是，执行S104～S106，否则，执行S107～S108。
在本实施例中，根据视频视角是否固定，采用两种方案判断物体是否为跨店经营商品。当视频视角固定，即每一帧拍摄到的店面位置不变时，则利用改进的ViBe方法确定店外物体，然后再用店外物体分类模型对店外物体进行分类；当视频视角不固定时，采用物体检测模型确定帧图像中的物体分类和物体所在位置，然后根据物体所在位置确定店外物体。
S104，划分帧图像中店面外道板区域。
具体地，本实施中采用人工方式在图像中划分店面外道板的位置。
S105，利用改进的ViBe方法对道板区域进行背景建模差分处理，获得店外物体。
采用改进的ViBe方法进行背景建模差分，获得动态的前景图像。由于流动的行人、车辆等物体也会被判断为前景图像，需要进行基于时间的滤波操作，即滤除存在时间较短的前景目标，剩下的即为长时间存在的前景物体。若前景物体位于已划分出的道板上，则认为是店外物体。
传统的ViBe方法，使用了深度为N的背景，通过随机像素替换的方法进行背景建模。处理每一帧时，都需要对背景模型进行更新，因此开始需要给定一个初始模型。对于当前帧图像中的每一个像素，在N个背景中随机选取一个背景，用该像素替换该背景中相同位置的像素。
ViBe方法中有关键参数R与Nmin，用于前景、背景的差分选取。对于当前帧图像中的每一个像素，都要判断其属于背景还是前景。具体方法是，取N个背景中相同位置的总共N个像素，计算当前像素与这N个像素灰度值之间的欧氏距离，统计N个点中与当前像素点点的欧氏距离小于R的点的数量，若数量大于Nmin，则判断当前像素点为前景，否则判断为背景。由此可知，参数N的大小，能够影响背景更替速度的快慢，N越小，背景变化越快。参数R与Nmin能够影响差分的效果，R越小，Nmin越大，则差分效果越明显。
考虑到实际的道路监控情况，监控探头往往会在风吹、雨滴等干扰下发生细微的抖动，或者因为探头旋转，在同一个角度预制位上产生一定的偏差，此时监控画面会产生一定程度上的细微偏移，导致背景与实际场景的错位；跨门经营检测有别于普通的动态物体检测，跨门经营的行为相对来说动态性不强，店外物体图像变化缓慢。
上述的传统ViBe方法并不适用于如跨门经营这种动态物体的检测，因此，对传统的ViBe方法进行改进，以满足对动态物体的检测。具体地，在改进的ViBe方法中：当进行背景像素替换时，针对N个目标背景图，从当前像素点以及其上下左右四邻域内4个像素点中随机选取一个像素点替换每个目标背景图中与当前像素点相同位置的像素点。
假设当前帧的坐标为(i,j)的当前像素点为则像素点的上下左右四个邻域内4个像素点分别为则从像素点以及这5个像素点中随机选择一个像素点替换像素点 表示第k个目标背景图中坐标为(i,j)的像素点。这样，在进行背景像素替换时，增加了空间上的随机因素，可以有效地降低图像轻微偏差产生的影响。
再者，在改进的ViBe方法中：当进行背景像素替换时，针对N个目标背景图，从当前像素点以及其八邻域内8个像素点中随机选取一个像素点替换每个目标背景图中与当前像素点相同位置的像素点。
假设当前帧的坐标为(i,j)的当前像素点为则像素点的八个邻域内8个像素点分别为 则从像素点 以及这9个像素点中随机选择一个像素点替换像素点 表示第k个目标背景图中坐标为(i,j)的像素点。这样，在进行背景像素替换时，增加了空间上的随机因素，可以有效地降低图像轻微偏差产生的影响。
此外，在处理跨门经营问题时，为更稳定地进行背景建模差分，需要降低帧率，调整参数，减慢背景更替的速度。由于“不存在店外经营”与“存在店外经营”两种状态之间的转换，并不是快速的转换过程，因此需要减慢背景更替的速度，以延长差分算法能够起效的时间。增大N参数能有效减慢背景更替速度，但同时会提高算法的时间、空间复杂度。考虑到跨门经营检测的动态性不高，时间周期长，因此本发明并不对每一帧都进行处理，而是每1秒取1帧图像，同时设参数N＝15～25，具体地，设置参数N＝20，进行ViBe算法的改进，能够同时满足检测准确率与实时性的要求。
S106，利用店外物体分类模型对店外物体进行分类，获得店外物体的类别。
利用改进的ViBe方法虽然能够确定店外物体，但是不能确定店外物体的类别，也就是无法区分店外物体是否为店面经营物体，此时需要采用店外物体分类模型对店外物体进行分类，以确定店外物体的类别。
在本实施例中，店外物体分类模型是以图3所示的VGG网络经训练得到。以大量物体图像及对应的标签作为训练样本，物体图像来自于道路监控视频中截取的帧图像，还可以来自于从网络中爬取的大量物体图像，为这些物体图像进行分类，形成物体图像对应的标签。利用上述构建的训练样本对图3所示的VGG网络进行训练，当网络收敛或达到迭代次数后，确定网络参数，即获得物体分类模型。这里的物体是指可以经营销售的产品，如水果、衣服、箱包、饰品等，对于店外的垃圾桶、共享单车等公共设施，并不属于本发明所述的物体范围内，即不对此类物体进行分类。
当物体分类模型确定后，将改进的ViBe方法获得的店外物体图片输入至该物体分类模型后，即可以获得店外物体的类别。
S107，利用物体检测模型对帧图像进行检测，获得帧图像中的物体所在位置及类别。
当监控探头视角不固定，即存在移动情况时，那么拍摄到的店面位置将存在变化，此时难以寻找道板位置。此时采用物体检测模型对帧图像进行检测，确定帧图像中的物体所在位置及类别。
本实施例利用的物体检测模型是如图2所示的由VGG网络和Faster R-CNN网络组成的学习网络经训练得到。
以大量物体图像及对应的标签作为训练样本，物体图像来自于道路监控视频中截取的帧图像，还可以来自于从网络中爬取的大量物体图像，为这些物体图像进行分类，形成物体图像对应的标签。利用上述构建的训练样本对图2所示的学习网络进行训练，当网络收敛或达到迭代次数后，确定网络参数，即获得物体检测模型。当物体检测模型确定后，将待检测的帧图像输入至该物体检测模型后，即可以获得物体的类别及物体所在位置。
S108，根据物体所在位置，筛选得到店外物体及类别。
利用物体检测模型对帧图像进行检测，虽然能够获得物体的类别及所在位置，但并不确定哪些是店外物体，本发明只对店外物体进行检测，因此，根据获得的物体所在位置筛选处于店外的物体及物体类别。
S109，当店外物体属于店面经营物体时，即进行跨门经营报警。
虽然经过S104～S108已经确定了店外物体及类别，但有些店外物体不属于店面经营物体，则这些店外物体并不属于跨门经营，因此，还需要根据店面经营物体类型，对店外物体进行筛选，当店外物体属于店面经营物体时，才认为这些店外物体属于跨门经营，对此进行跨门经营报警。
本实施例提供的商店跨门经营检测方法结合深度学习技术，能够自动化地实现跨门经营检测功能，利用现有的城市道路视频监控网络，有效地提高城市管理部门的效率，减少人力成本。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，包括以下步骤：
(1)获取道路监控视频，并将该道路监控视频截成帧图像；
(2)利用店面检测模型获取帧图像中的店面所在位置；
(3)当视频视角固定时，划分帧图像中店面外道板区域，并利用改进的ViBe方法对道板区域进行背景建模差分处理，获得店外物体，然后，利用店外物体分类模型对店外物体进行分类，获得店外物体的类别；
(4)当视频视角不固定时，利用物体检测模型对帧图像进行检测，获得帧图像中的物体所在位置及类别，然后，根据物体所在位置，筛选得到店外物体及类别；
(5)当店外物体属于店面经营物体时，即进行跨门经营报警；
所述店外物体分类模型由VGG网络经训练得到，所述店面检测模型和物体检测模型均由VGG网络和Faster R-CNN网络组成的学习网络经训练得到。
2.如权利要求1所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，步骤(1)中，以每秒1～5帧的频率将该道路监控视频截成帧图像。
3.如权利要求2所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，步骤(1)中，以每秒1帧的频率将该道路监控视频截成帧图像。
4.如权利要求1所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，所述店面检测模型和物体检测模型对应的学习网络包括：
VGG网络，用于由10个卷积层和3个最大池化层、2个全连接层组成，10个卷积层和3个最大池化层用于提取输入图像的特征，输出特征图；第一个全连接层用于将特征图连接成1*1*4096维的向量并输出，第二个全连接层用于对1*1*4096维的向量中的物体进行分类，输出物体类别及分类置信度；
RPN，接收VGG网络输出的特征图，用于在VGG网络输出的特征图中，提取可能存在目标的矩形候选区域ROI；
ROI池化层，连接在RPN与第一个全连接层之间，接收VGG网络输出的特征图和RPN输出的矩形候选区域ROI，用于将矩形候选区域ROI映射到特征图上后输出特征图；
第三全连接层，连接于第一全连接层之后，用于对1*1*4096维的向量中ROI框选的物体进行边界确定，输出物体坐标。
5.如权利要求1或4所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，所述VGG网络包括：
第一层、第二层均为卷积核为3*3，通道数为64的卷积层，输出尺寸为960*640的特征图；
第三层为第一最大值池化层，将尺寸为960*640的特征图压缩至尺寸为480*320的特征图；
第四层、第五层均为卷积核为3*3，通道数为128的卷积层，输出尺寸为480*320的特征图；
第六层为第二最大值池化层，将尺寸为480*320的特征图压缩至尺寸为240*160的特征图；
第七层、第八层均为卷积核为3*3，通道数为256的卷积层，输出尺寸为240*160的特征图；
第九层为卷积核为1*1，通道数为256的卷积层，输出尺寸为240*160的特征图；
第十层为第三最大值池化层，将尺寸为240*160的特征图压缩至尺寸为60*40的特征图；
第十一层、第十二层均为卷积核为3*3，通道数为512的卷积层，输出尺寸为60*40的特征图；
第十三层为卷积核为1*1，通道数为512的卷积层，输出尺寸为60*40的特征图；
第十四层为1*1*4096的全连接层，输出1*1*4096维的向量。
第十五层为1*1*N的全连接层，用于对1*1*4096维的向量中的物体进行分类，输出物体类别及分类置信度，N为类别总数。
6.如权利要求1所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，在所述改进的ViBe方法中：
当进行背景像素替换时，针对N个目标背景图，从当前像素点以及其上下左右四邻域内4个像素点中随机选取一个像素点替换每个目标背景图中与当前像素点相同位置的像素点。
7.如权利要求1所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，在所述改进的ViBe方法中：
当进行背景像素替换时，针对N个目标背景图，从当前像素点以及其八邻域内8个像素点中随机选取一个像素点替换每个目标背景图中与当前像素点相同位置的像素点。
8.如权利要求6或7所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，所述N取值为15～25。
9.如权利要8所述的基于深度学习目标检测与动态背景建模的商店跨门经营检测方法，其特征在于，所述N取值为20。
CN201810619324.1A 2018-06-15 2018-06-15 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法 Active CN108985169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810619324.1A CN108985169B (zh) 2018-06-15 2018-06-15 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810619324.1A CN108985169B (zh) 2018-06-15 2018-06-15 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法

Publications (2)

Publication Number Publication Date
CN108985169A true CN108985169A (zh) 2018-12-11
CN108985169B CN108985169B (zh) 2020-12-11

Family

ID=64541301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810619324.1A Active CN108985169B (zh) 2018-06-15 2018-06-15 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法

Country Status (1)

Country Link
CN (1) CN108985169B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785356A (zh) * 2018-12-18 2019-05-21 北京中科晶上超媒体信息技术有限公司 一种视频图像的背景建模方法
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
CN110458090A (zh) * 2019-08-08 2019-11-15 成都睿云物联科技有限公司 挖掘机工作状态检测方法、装置、设备和存储介质
CN111553355A (zh) * 2020-05-18 2020-08-18 城云科技（中国）有限公司 基于监控视频的出店经营检测及通知管理店主的方法
CN111723603A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 物料监控方法、系统及装置
CN111738300A (zh) * 2020-05-27 2020-10-02 复旦大学 一种交通标志及信号灯检测和识别的优化算法
CN111881786A (zh) * 2020-07-13 2020-11-03 深圳力维智联技术有限公司 门店经营行为管理方法、装置及存储介质
CN111881787A (zh) * 2020-07-13 2020-11-03 深圳力维智联技术有限公司 基于摄像头的门店违规经营行为识别方法及系统
CN112036236A (zh) * 2020-07-22 2020-12-04 济南浪潮高新科技投资发展有限公司 一种基于GhostNet的检测模型的训练方法、设备及介质
CN112560743A (zh) * 2020-12-23 2021-03-26 平安银行股份有限公司 公共区域异物检测方法、装置、设备及存储介质
CN110309765B (zh) * 2019-06-27 2021-08-24 浙江工业大学 一种视频运动目标高效检测方法
CN113920467A (zh) * 2021-12-13 2022-01-11 成都考拉悠然科技有限公司 一种摊位检测与场景分割结合的游商检测方法及其系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034212A (zh) * 2010-06-21 2011-04-27 艾浩军 一种基于视频分析的城市管理系统
CN104331905A (zh) * 2014-10-31 2015-02-04 浙江大学 一种基于运动物体检测的监控视频摘要提取方法
CN105046206A (zh) * 2015-06-24 2015-11-11 北京系统工程研究所 基于视频中运动先验信息的行人检测方法及装置
CN106210615A (zh) * 2015-04-30 2016-12-07 北京文安智能技术股份有限公司 一种城市管理自动监测方法、装置及系统
CN106488180A (zh) * 2015-08-31 2017-03-08 上海悠络客电子科技有限公司 视频阴影检测方法
CN107430679A (zh) * 2015-01-29 2017-12-01 尤尼伐控股有限公司 计算机视觉系统
CN107944499A (zh) * 2017-12-10 2018-04-20 上海童慧科技股份有限公司 一种针对前景背景同时建模的背景检测方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034212A (zh) * 2010-06-21 2011-04-27 艾浩军 一种基于视频分析的城市管理系统
CN104331905A (zh) * 2014-10-31 2015-02-04 浙江大学 一种基于运动物体检测的监控视频摘要提取方法
CN107430679A (zh) * 2015-01-29 2017-12-01 尤尼伐控股有限公司 计算机视觉系统
CN106210615A (zh) * 2015-04-30 2016-12-07 北京文安智能技术股份有限公司 一种城市管理自动监测方法、装置及系统
CN105046206A (zh) * 2015-06-24 2015-11-11 北京系统工程研究所 基于视频中运动先验信息的行人检测方法及装置
CN106488180A (zh) * 2015-08-31 2017-03-08 上海悠络客电子科技有限公司 视频阴影检测方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN107944499A (zh) * 2017-12-10 2018-04-20 上海童慧科技股份有限公司 一种针对前景背景同时建模的背景检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OLIVIER BARNICH ET AL: "ViBe: A Universal Background Subtraction Algorithm for Video Sequences", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
李晓飞: "基于深度学习的行人及骑车人车载图像识别方法", 《中国博士学位论文全文数据库 信息科技辑》 *
骆晓娟: "市容违章行为智能识别系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785356A (zh) * 2018-12-18 2019-05-21 北京中科晶上超媒体信息技术有限公司 一种视频图像的背景建模方法
CN109785356B (zh) * 2018-12-18 2021-02-05 北京中科晶上超媒体信息技术有限公司 一种视频图像的背景建模方法
CN109977782B (zh) * 2019-02-27 2021-01-08 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
CN111723603A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 物料监控方法、系统及装置
CN110309765B (zh) * 2019-06-27 2021-08-24 浙江工业大学 一种视频运动目标高效检测方法
CN110458090A (zh) * 2019-08-08 2019-11-15 成都睿云物联科技有限公司 挖掘机工作状态检测方法、装置、设备和存储介质
CN111553355A (zh) * 2020-05-18 2020-08-18 城云科技（中国）有限公司 基于监控视频的出店经营检测及通知管理店主的方法
CN111553355B (zh) * 2020-05-18 2023-07-28 城云科技（中国）有限公司 基于监控视频的出店经营检测及通知管理店主的方法
CN111738300A (zh) * 2020-05-27 2020-10-02 复旦大学 一种交通标志及信号灯检测和识别的优化算法
CN111881786A (zh) * 2020-07-13 2020-11-03 深圳力维智联技术有限公司 门店经营行为管理方法、装置及存储介质
CN111881787A (zh) * 2020-07-13 2020-11-03 深圳力维智联技术有限公司 基于摄像头的门店违规经营行为识别方法及系统
CN111881786B (zh) * 2020-07-13 2023-11-03 深圳力维智联技术有限公司 门店经营行为管理方法、装置及存储介质
CN112036236A (zh) * 2020-07-22 2020-12-04 济南浪潮高新科技投资发展有限公司 一种基于GhostNet的检测模型的训练方法、设备及介质
CN112036236B (zh) * 2020-07-22 2023-07-14 山东浪潮科学研究院有限公司 一种基于GhostNet的图像检测方法、设备及介质
CN112560743A (zh) * 2020-12-23 2021-03-26 平安银行股份有限公司 公共区域异物检测方法、装置、设备及存储介质
CN113920467A (zh) * 2021-12-13 2022-01-11 成都考拉悠然科技有限公司 一种摊位检测与场景分割结合的游商检测方法及其系统

Also Published As

Publication number Publication date
CN108985169B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN108985169A (zh) 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
EP3614308B1 (en) Joint deep learning for land cover and land use classification
Zhang et al. Joint Deep Learning for land cover and land use classification
Kim et al. Deep-hurricane-tracker: Tracking and forecasting extreme climate events
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN104408482B (zh) 一种高分辨率sar图像目标检测方法
Dai et al. Multi-task faster R-CNN for nighttime pedestrian detection and distance estimation
CN107220949A (zh) 公路监控视频中运动车辆阴影的自适应消除方法
CN106686377B (zh) 一种基于深层神经网络的视频重点区域确定方法
CN102136059A (zh) 一种基于视频分析的烟雾检测方法
CN110874592A (zh) 一种基于总有界变分的森林火灾烟雾图像检测方法
CN109934224A (zh) 基于马尔科夫随机场和视觉对比机制的小目标检测方法
CN104680554B (zh) 基于surf的压缩跟踪方法和系统
CN108154159A (zh) 一种基于多级检测器的具有自恢复能力的目标跟踪方法
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
Karpagavalli et al. Estimating the density of the people and counting the number of people in a crowd environment for human safety
CN104463869A (zh) 一种视频火焰图像复合识别方法
CN108921215A (zh) 一种基于局部极值共生模式和能量分析的烟雾检测
CN107194393A (zh) 一种检测临时车牌的方法及装置
CN109615604A (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN110309765A (zh) 一种视频运动目标高效检测方法
Zhang et al. Application research of YOLO v2 combined with color identification
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
Gao et al. Full-scale video-based detection of smoke from forest fires combining ViBe and MSER algorithms
Hoogs et al. A common set of perceptual observables for grouping, figure-ground discrimination, and texture classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230531

Address after: Room 101, Building 14, Tian'an Headquarters Center, No. 555 North Panyu Avenue, Donghuan Street, Panyu District, Guangzhou City, Guangdong Province, 510000

Patentee after: Guangzhou Xiaopuxiong Electronic Commerce Co.,Ltd.

Address before: 201800 room 4, 1 story E, 4 358_368, 4 Fu Fu Road, Shanghai.

Patentee before: SHANGHAI YINGZHI INFORMATION TECHNOLOGY Co.,Ltd.

Effective date of registration: 20230531

Address after: 201800 room 4, 1 story E, 4 358_368, 4 Fu Fu Road, Shanghai.

Patentee after: SHANGHAI YINGZHI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 310014 No. 18 Chao Wang Road, Xiacheng District, Zhejiang, Hangzhou

Patentee before: JIANG University OF TECHNOLOGY