CN111881786A - 门店经营行为管理方法、装置及存储介质 - Google Patents

门店经营行为管理方法、装置及存储介质 Download PDF

Info

Publication number
CN111881786A
CN111881786A CN202010671239.7A CN202010671239A CN111881786A CN 111881786 A CN111881786 A CN 111881786A CN 202010671239 A CN202010671239 A CN 202010671239A CN 111881786 A CN111881786 A CN 111881786A
Authority
CN
China
Prior art keywords
store
matrix
top center
image information
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010671239.7A
Other languages
English (en)
Other versions
CN111881786B (zh
Inventor
吴肖
邵新庆
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Original Assignee
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZNV Technology Co Ltd, Nanjing ZNV Software Co Ltd filed Critical Shenzhen ZNV Technology Co Ltd
Priority to CN202010671239.7A priority Critical patent/CN111881786B/zh
Publication of CN111881786A publication Critical patent/CN111881786A/zh
Application granted granted Critical
Publication of CN111881786B publication Critical patent/CN111881786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种门店经营行为管理方法、装置及存储介质，将门店周围区域的图像信息输入预先构建的卷积神经网络中，可以得到分类矩阵、边框距离矩阵和门店顶端中心矩阵，根据边框距离矩阵和门店顶端中心矩阵确定了图像信息中的门店区域，根据分类矩阵可判断门店区域对应的门店经营行为的类别，根据判断结果对门店经营行为进行管理，能够更有效地监控和管理跨门经营、占道堆物等门店违规经营行为。

Description

门店经营行为管理方法、装置及存储介质
技术领域
本发明涉及人工智能技术领域，具体涉及一种门店经营行为管理方法、装置及存储介质。
背景技术
跨门经营、占道堆物等门店违规经营行为不仅影响了市容市貌，占据人行道的物品还会影响行人或车辆的通行，给人们的出行带来极大的不便。
针对这些门店经营行为，目前是单纯依靠城管人员的巡查、督导来进行治理，需要投入大量的人力，并且门店老板或工作人员等城管人员离开后，可以马上将物品摆到门店外面，反反复复，既困扰着周边居民生活，破坏城市形象，也存在交通安全隐患，危害人身安全。
发明内容
本发明主要解决的技术问题是如何更有效地监控和管理门店经营行为。
根据第一方面，一种实施例中提供一种门店经营行为管理方法，包括：
获取门店周围区域的图像信息；
将所述图像信息输入预先构建的卷积神经网络中，所述预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵；
根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域；再根据所述分类矩阵，判断所述门店区域对应的门店经营行为的类别；
根据判断结果，对所述门店区域对应的门店经营行为进行管理。
进一步地，所述预先构建的卷积神经网络包括：特征提取子网络、多尺度特征融合子网络和结果预测子网络；
所述特征提取子网络用于提取所述图像信息中的多个特征矩阵，所述特征矩阵含有不同尺度的信息；
所述多尺度特征融合子网络用于将多个所述特征矩阵进行多尺度融合，得到一个融合后的特征矩阵；
所述结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，所述分类预测分支基于融合后的特征矩阵得到分类矩阵，所述边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，所述门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。
进一步地，所述根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域包括：
将所述门店顶端中心矩阵中概率值大于预设阈值的点对应于所述图像信息中的像素点作为所述图像信息中的门店顶端中心点；
基于所述边框距离矩阵，提取所述门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定所述门店顶端中心点距门店区域左边界、下边界和右边界的距离；
根据所述图像信息中的门店顶端中心点及其对应的三个距离值，确定所述图像信息中的门店区域。
进一步地，所述门店经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。
进一步地，所述根据判断结果，对所述门店区域对应的门店经营行为进行管理包括：
若判断结果为所述门店区域对应的门店经营行为是跨门经营、乱堆物违规经营和占道经营中的一个，获取所述门店区域对应的位置信息；
根据所述门店区域对应的位置信息和图像信息，生成报警信息，将所述报警信息输出给门店管理人员。
根据第二方面，一种实施例中提供一种门店经营行为管理装置，包括：
图像获取模块，用于获取门店周围区域的图像信息；
卷积处理模块，用于将所述图像信息输入预先构建的卷积神经网络中，所述预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵；
门店管理模块，用于根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域；再根据所述分类矩阵，判断所述门店区域对应的门店经营行为的类别；根据判断结果，对所述门店区域对应的门店经营行为进行管理。
进一步地，所述预先构建的卷积神经网络包括：特征提取子网络、多尺度特征融合子网络和结果预测子网络；
所述特征提取子网络用于提取所述图像信息中的多个特征矩阵，所述特征矩阵含有不同尺度的信息；
所述多尺度特征融合子网络用于将多个所述特征矩阵进行多尺度融合，得到一个融合后的特征矩阵；
所述结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，所述分类预测分支基于融合后的特征矩阵得到分类矩阵，所述边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，所述门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。
进一步地，所述门店管理模块根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域包括：
将所述门店顶端中心矩阵中概率值大于预设阈值的点对应于所述图像信息中的像素点作为所述图像信息中的门店顶端中心点；
基于所述边框距离矩阵，提取所述门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定所述门店顶端中心点距门店区域左边界、下边界和右边界的距离；
根据所述图像信息中的门店顶端中心点及其对应的三个距离值，确定所述图像信息中的门店区域。
进一步地，所述门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。
根据第三方面，一种实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述实施例所述的方法。
依据上述实施例的门店经营行为管理方法、装置及存储介质，由于将门店周围区域的图像信息输入预先构建的卷积神经网络中，可以得到分类矩阵、边框距离矩阵和门店顶端中心矩阵，根据边框距离矩阵和门店顶端中心矩阵确定了图像信息中的门店区域，根据分类矩阵可判断门店区域对应的门店经营行为的类别，即可得到门店区域是何种经营行为的门店，根据判断结果对门店经营行为进行管理，能够更有效地监控和管理跨门经营、占道堆物等门店违规经营行为。
附图说明
图1为一种实施例的门店经营行为管理方法的流程图；
图2为一种实施例的预先构建的卷积神经网络的结构图；
图3为一种实施例的门店区域示意图；
图4为一种实施例的门店经营行为管理装置的结构框图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
实施例一：
请参考图1，图1为一种实施例的门店经营行为管理方法的流程图，所述的管理方法可以在服务器中执行，其包括步骤S10至步骤S30，下面具体说明。
步骤S10，获取门店周围区域的图像信息。本实施例中的图像信息中可能存在多个门店，也可能只有一个门店，或者一个门店也没有，所获取的图像信息可以为图片或者视频中的一帧图像。
在本实施例中，可以通过设置在门店周围的监控摄像头来采集门店周围区域的图像信息，一般情况下，在城市核心区域的街道上均分布有各种监控摄像头，可以是门店商家自己安装的监控摄像头，也可以是公安机关用于监控公共安全的监控摄像头，摄像头可通过网络等通信方式将其采集的门店周围区域的图像信息传输给服务器。
步骤S20，将图像信息输入预先构建的卷积神经网络中，预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵。
在本实施例中，将图像信息输入预先构建的卷积神经网络之前，需要先对所构建的卷积神经网络进行训练，具体训练方法如下：
首先，获取多组已具有门店区域和门店区域类别标签的图像信息，也就是该图像信息中的门店区域为已知的，在图像信息中其通过矩形框已进行标记，并且所标记的门店区域的分类类别也是已知的，其可通过类别标签进行标记；然后，将已具有门店区域和门店区域类别标签的图像信息输入到待训练的卷积神经网络中，对卷积神经网络中的参数进行多次训练，以得到最优的卷积神经网络参数，即完成卷积神经网络的训练。对于已训练后的卷积神经网络，当输入未知门店区域的图像信息时，其能够输出分类矩阵、边框距离矩阵和门店顶端中心矩阵，以确定图像信息中的门店区域以及门店区域的分类类别。
请参考图2，图2为一种实施例的预先构建的卷积神经网络的结构图，其包括特征提取子网络、多尺度特征融合子网络和结果预测子网络。
其中：特征提取子网络用于提取图像信息中的多个特征矩阵，多个特征矩阵含有不同尺度的信息。在本实施例中，特征提取子网络包括但不限于常用的基础网络结构如MobileNet、VGG、Resnet、UperNet、HRNet等，此外本实施例中的特征提取子网络采用一种或多种扩张率的空洞/扩张卷积方法对所输入的图像信息矩阵进行卷积处理。
多尺度特征融合子网络用于将多个特征矩阵进行多尺度融合，得到一个融合后的特征矩阵。本实施例利用图像特征提取子网路输出的多个特征矩阵，对各特征矩阵中的特征进行融合，通过聚合不同尺度的特征矩阵，提升了卷积神经网络的性能。本实施例中的多尺度特征融合子网络可采用例如DeepLab、PSPNet、Fast-FCN等网络模块。此外本实施例中的的多尺度特征融合子网络采用扩张率的分组卷积对特征矩阵进行多尺度特征融合。
结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，分类预测分支基于融合后的特征矩阵得到分类矩阵，边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。
步骤S30，根据门店顶端中心矩阵和边框距离矩阵，确定图像信息中的门店区域；再根据分类矩阵，判断门店区域对应的门店经营行为的类别，即判断门店区域是何种经营行为的门店；根据判断结果，对门店区域对应的门店经营行为进行管理。本实施例中图像信息中的门店区域是指图片等图像信息中用合适大小的矩形框来标记图像信息中门店的位置和大小。
在一实施例中，步骤S30中根据门店顶端中心矩阵和边框距离矩阵，确定图像信息中的门店区域包括步骤S301至步骤S302，下面具体说明。
步骤S301，将门店顶端中心矩阵中概率值大于预设阈值的点对应于图像信息中的像素点作为图像信息中的门店顶端中心点；
步骤S302，基于所述边框距离矩阵，提取门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定门店顶端中心点距门店区域左边界、下边界和右边界的距离；
步骤S303，根据所述图像信息中的门店顶端中心点及其对应的三个距离值，确定门店区域。
在一种实施方式下，输入卷积神经网络的为800*600(宽*高)的3通道RGB图片，卷积神经网络输出三个矩阵，分别为100*75*C维的分类矩阵、100*75*3维的边框距离矩阵和100*75*1维门店顶端中心矩阵。其中，100*75可以认为相对于输入图片800*600缩小了8倍，该缩小倍数取决于卷积神经网络的结构设计，通常为2的整数倍，基于该缩小倍数可以推得输出矩阵中每个点对应于输入图片中的位置。本实施例将100*75*1维门店顶端中心矩阵看作一个100*75的点阵，点阵中的每个点附有一个值，该值即为点阵中每个点为门店顶端中心点的概率值，若概率值大于预设阈值，则表明该点对应于图片(图像信息)中的像素点即为门店顶端中心点，预设阈值可人为设置，本实施例设为0.9。需要说明的是，点阵中若有多个点的概率值均大于预设阈值，则表面图片中可能存在多个门店顶端中心点。与门店顶端中心矩阵同理，100*75*3维的边框距离矩阵可以看作一个100*75维点阵，点阵中每个点均附有三个值，若点阵中某个点经门店顶端中心矩阵确定为门店顶端中心点，则该点对应在边框距离矩阵中附有的三个值则分别为门店顶端中心点距离门店区域左边界、右边界和下边界的距离值，将该距离值换算值图片(图像信息)中，即可确定图片(图像信息)中门店顶端中心点距离门店区域左边界的距离值l、距右边界的距离值r和距下边界的距离值b，如图3所示，根据这三个距离值，可确定门店区域，即图3中的矩形框所圈定的区域为门店区域。
在一实施例中，门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。其中，跨门经营、乱堆无违规经营和占道经营均为违规经营行为。
对于上述实施例中100*75*C维的分类矩阵中，C的值不同代表该门店区域经营行为的类别不同，其中门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。根据判断结果，对门店经营行为进行管理包括：若判断结果是门店区域经营行为为违规经营行为，即跨门经营、乱堆物违规经营、占道经营中的一个，获取门店区域对应的位置信息；根据门店区域对应的位置信息和图像信息，生成报警信息，将报警信息输出给门店管理人员。本实施例可以建立服务器与城管人员监管系统的网络连接，服务器生成报警信息后，将报警信息通过网络传输至监管系统，城管人员通过查看报警信息来查找违规门店，其中门店区域对应的位置信息可通过该门店区域的图形信息的监控摄像头的位置信息来确定门店区域的位置信息，此外图像信息可以作为城管人员对违规门店进行处罚的证据。
本发明实施例通过监控摄像头获取门店周围区域的图像信息，将门店周围区域的图像信息输入预先构建的卷积神经网络中，可以得到分类矩阵、边框距离矩阵和门店顶端中心矩阵，根据边框距离矩阵和门店顶端中心矩阵确定了图像信息中的门店区域，根据分类矩阵可判断门店区域是何种经营行为的门店，将违规门店的门店区域的位置信息和图像信息生成为报警信息发送给城管人员，以便城管人员对违规门店的商家进行监督和处罚，能够更有效地监控和管理跨门经营、占道堆物等门店违规经营行为。
实施例二：
请参考图4，图4为一种实施例的门店经营行为管理装置的结构框图，所述的管理装置包括图像获取模块101、卷积处理模块102和门店管理模块103。
其中，图像获取模块101用于获取门店周围区域的图像信息。在本实施例中，可以通过设置在门店周围的监控摄像头来采集门店周围区域的图像信息，一般情况下，在城市核心区域的街道上均分布有各种监控摄像头，可以是门店商家自己安装的监控摄像头，也可以是公安机关用于监控公共安全的监控摄像头。
卷积处理模块102用于将所述图像信息输入预先构建的卷积神经网络中，所述预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵。
预先构建的卷积神经网络包括特征提取子网络、多尺度特征融合子网络和结果预测子网络。
其中：特征提取子网络用于提取图像信息中的多个特征矩阵，多个特征矩阵含有不同尺度的信息。在本实施例中，特征提取子网络包括但不限于常用的基础网络结构如MobileNet、VGG、Resnet、UperNet、HRNet等，此外本实施例中的特征提取子网络采用一种或多种扩张率的空洞/扩张卷积方法对所输入的图像信息矩阵进行卷积处理。
多尺度特征融合子网络用于将多个特征矩阵进行多尺度融合，得到一个融合后的特征矩阵。本实施例利用图像特征提取子网路输出的多个特征矩阵，对各特征矩阵中的特征进行融合，通过聚合不同尺度的特征矩阵，提升了卷积神经网络的性能。本实施例中的多尺度特征融合子网络可采用例如DeepLab、PSPNet、Fast-FCN等网络中的模块。
结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，分类预测分支基于融合后的特征矩阵得到分类矩阵，边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。
门店管理模块103用于根据门店顶端中心矩阵和边框距离矩阵，确定图像信息中的门店区域；再根据分类矩阵，判断门店区域对应的门店经营行为的类别，即判断门店区域是何种经营行为的门店；根据判断结果，对门店区域对应的门店经营行为进行管理。
在一实施例中，根据门店顶端中心矩阵和边框距离矩阵，确定图像信息中的门店区域包括：将门店顶端中心矩阵中概率值大于预设阈值的点对应于图像信息中的像素点作为图像信息中的门店顶端中心点；基于边框距离矩阵，提取门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定门店顶端中心点距门店区域左边界、下边界和右边界的距离；根据图像信息中的门店顶端中心点及其对应的三个距离值，确定门店区域。
在一实施例中，门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。其中，跨门经营、乱堆无违规经营和占道经营均为违规经营行为。
本实施例装置中的各个模块所实现的功能与上述实施例的方法中的步骤相对应，其具体实现和技术效果参见上述实施例方法步骤的描述，此处不再赘述。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种门店经营行为管理方法，其特征在于，包括：
获取门店周围区域的图像信息；
将所述图像信息输入预先构建的卷积神经网络中，所述预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵；
根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域；再根据所述分类矩阵，判断所述门店区域对应的门店经营行为的类别；
根据判断结果，对所述门店区域对应的门店经营行为进行管理。
2.如权利要求1所述的门店经营行为管理方法，其特征在于，所述预先构建的卷积神经网络包括：特征提取子网络、多尺度特征融合子网络和结果预测子网络；
所述特征提取子网络用于提取所述图像信息中的多个特征矩阵，所述特征矩阵含有不同尺度的信息；
所述多尺度特征融合子网络用于将多个所述特征矩阵进行多尺度融合，得到一个融合后的特征矩阵；
所述结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，所述分类预测分支基于融合后的特征矩阵得到分类矩阵，所述边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，所述门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。
3.如权利要求1所述的门店经营行为管理方法，其特征在于，所述根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域包括：
将所述门店顶端中心矩阵中概率值大于预设阈值的点对应于所述图像信息中的像素点作为所述图像信息中的门店顶端中心点；
基于所述边框距离矩阵，提取所述门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定所述门店顶端中心点距门店区域左边界、下边界和右边界的距离；
根据所述图像信息中的门店顶端中心点及其对应的三个距离值，确定所述图像信息中的门店区域。
4.如权利要求1所述的门店经营行为管理方法，其特征在于，所述门店经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。
5.如权利要求4所述的门店经营行为管理方法，其特征在于，所述根据判断结果，对所述门店区域对应的门店经营行为进行管理包括：
若判断结果为所述门店区域对应的门店经营行为是跨门经营、乱堆物违规经营和占道经营中的一个，获取所述门店区域对应的位置信息；
根据所述门店区域对应的位置信息和图像信息，生成报警信息，将所述报警信息输出给门店管理人员。
6.一种门店经营行为管理装置，其特征在于，包括：
图像获取模块，用于获取门店周围区域的图像信息；
卷积处理模块，用于将所述图像信息输入预先构建的卷积神经网络中，所述预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵；
门店管理模块，用于根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域；再根据所述分类矩阵，判断所述门店区域对应的门店经营行为的类别；根据判断结果，对所述门店区域对应的门店经营行为进行管理。
7.如权利要求6所述的门店经营行为管理装置，其特征在于，所述预先构建的卷积神经网络包括：特征提取子网络、多尺度特征融合子网络和结果预测子网络；
所述特征提取子网络用于提取所述图像信息中的多个特征矩阵，所述特征矩阵含有不同尺度的信息；
所述多尺度特征融合子网络用于将多个所述特征矩阵进行多尺度融合，得到一个融合后的特征矩阵；
所述结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，所述分类预测分支基于融合后的特征矩阵得到分类矩阵，所述边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，所述门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。
8.如权利要求6所述的门店经营行为管理装置，其特征在于，所述门店管理模块根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域包括：
将所述门店顶端中心矩阵中概率值大于预设阈值的点对应于所述图像信息中的像素点作为所述图像信息中的门店顶端中心点；
基于所述边框距离矩阵，提取所述门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定所述门店顶端中心点距门店区域左边界、下边界和右边界的距离；
根据所述图像信息中的门店顶端中心点及其对应的三个距离值，确定所述图像信息中的门店区域。
9.如权利要求6所述的门店经营行为管理装置，其特征在于，所述门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。
10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-5中任一项所述的方法。
CN202010671239.7A 2020-07-13 2020-07-13 门店经营行为管理方法、装置及存储介质 Active CN111881786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010671239.7A CN111881786B (zh) 2020-07-13 2020-07-13 门店经营行为管理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010671239.7A CN111881786B (zh) 2020-07-13 2020-07-13 门店经营行为管理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111881786A true CN111881786A (zh) 2020-11-03
CN111881786B CN111881786B (zh) 2023-11-03

Family

ID=73150844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010671239.7A Active CN111881786B (zh) 2020-07-13 2020-07-13 门店经营行为管理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111881786B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052106A (zh) * 2021-04-01 2021-06-29 重庆大学 一种基于PSPNet网络的飞机起降跑道识别方法
CN113158759A (zh) * 2021-02-19 2021-07-23 合肥海赛信息科技有限公司 一种基于视频分析的出店经营智能检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366621A (ja) * 2001-06-05 2002-12-20 Komatsu Noriko 店舗経営指導情報提供方法およびそのサーバのプログラム
CN105869012A (zh) * 2016-03-17 2016-08-17 石平安 一种基于或囊括商家信用系统及手机通讯录的营销系统
CN108985169A (zh) * 2018-06-15 2018-12-11 浙江工业大学 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN109190555A (zh) * 2018-08-31 2019-01-11 上海悠络客电子科技股份有限公司 一种基于图片对比的智能巡店系统
CN109697622A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 基于智能店铺的信息生成方法和装置
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
CN110472458A (zh) * 2018-05-11 2019-11-19 深眸科技(深圳)有限公司 一种无人店铺秩序管理方法及系统
WO2020088029A1 (zh) * 2018-10-29 2020-05-07 北京三快在线科技有限公司 活体检验方法、存储介质和电子设备
CN111243358A (zh) * 2020-03-18 2020-06-05 优依学(北京)教育科技有限公司 一种基于物联网的教学系统
CN111353436A (zh) * 2020-02-28 2020-06-30 罗普特科技集团股份有限公司 基于图像深度学习算法的超门店经营分析方法和装置
KR102129771B1 (ko) * 2020-04-27 2020-07-03 (주)투비소프트 Cctv 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 cctv 관리 시스템 장치 및 그 동작 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366621A (ja) * 2001-06-05 2002-12-20 Komatsu Noriko 店舗経営指導情報提供方法およびそのサーバのプログラム
CN105869012A (zh) * 2016-03-17 2016-08-17 石平安 一种基于或囊括商家信用系统及手机通讯录的营销系统
CN109697622A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 基于智能店铺的信息生成方法和装置
CN110472458A (zh) * 2018-05-11 2019-11-19 深眸科技(深圳)有限公司 一种无人店铺秩序管理方法及系统
CN108985169A (zh) * 2018-06-15 2018-12-11 浙江工业大学 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN109190555A (zh) * 2018-08-31 2019-01-11 上海悠络客电子科技股份有限公司 一种基于图片对比的智能巡店系统
WO2020088029A1 (zh) * 2018-10-29 2020-05-07 北京三快在线科技有限公司 活体检验方法、存储介质和电子设备
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
CN111353436A (zh) * 2020-02-28 2020-06-30 罗普特科技集团股份有限公司 基于图像深度学习算法的超门店经营分析方法和装置
CN111243358A (zh) * 2020-03-18 2020-06-05 优依学(北京)教育科技有限公司 一种基于物联网的教学系统
KR102129771B1 (ko) * 2020-04-27 2020-07-03 (주)투비소프트 Cctv 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 cctv 관리 시스템 장치 및 그 동작 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VIRENDER SINGH等: "Real-Time Anomaly Recognition Through CCTV Using Neural Networks", 《PROCEDIA COMPUTER SCIENCE》, vol. 173, pages 254 - 263, XP086204411, DOI: 10.1016/j.procs.2020.06.030 *
张彭程: "开放环境下目标物体快速识别研究与系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 8, pages 138 - 851 *
蒋立伟 等: "超高清视频监控行业发展研究", 《中国安防》, no. 9, pages 24 - 31 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158759A (zh) * 2021-02-19 2021-07-23 合肥海赛信息科技有限公司 一种基于视频分析的出店经营智能检测方法
CN113052106A (zh) * 2021-04-01 2021-06-29 重庆大学 一种基于PSPNet网络的飞机起降跑道识别方法

Also Published As

Publication number Publication date
CN111881786B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
Chi et al. Automated object identification using optical video cameras on construction sites
CN107705574A (zh) 一种精准快速的道路违章停车全自动抓拍系统
CN106971552B (zh) 套牌现象检测方法和系统
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
KR100785757B1 (ko) 고정된 카메라를 이용한 자동 불법 주정차 단속 시스템 및방법
CN104123544A (zh) 基于视频分析的异常行为检测方法及系统
DE112013001858T5 (de) Mehrfachhinweis-Objekterkennung und -Analyse
CN111131771B (zh) 一种视频监控系统
CN108269331A (zh) 一种智能视频大数据处理系统
Uy et al. Automated traffic violation apprehension system using genetic algorithm and artificial neural network
CN111881786A (zh) 门店经营行为管理方法、装置及存储介质
CN110659546B (zh) 一种违法摊位检测方法及装置
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
CN104134067A (zh) 基于智能视觉物联网的道路车辆监控系统
Ismail Application of computer vision techniques for automated road safety analysis and traffic data collection
CN113672689A (zh) 一种智慧边防信息处理系统及方法
CN112382097A (zh) 一种基于动态交通流的城市道路监管方法、系统及可读存储介质
DE102011075412A1 (de) Verfahren und System zum Erfassen einer statischen Szene, zum Bestimmen von Rohereignissen und zum Erkennen von freien Flächen in einem Beobachtungsgebiet
CN112532921A (zh) 一种水利系统智能化监控实现方法及系统
CN204884166U (zh) 一种交通禁停区域违章停车监测装置
CN106530727A (zh) 交通违规信息的处理系统
CN104809438B (zh) 一种检测电子眼的方法和设备
Noh et al. SafetyCube: Framework for potential pedestrian risk analysis using multi-dimensional OLAP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant