CN111932704A - 一种基于视频行为识别的经营规范智能巡查方法 - Google Patents
一种基于视频行为识别的经营规范智能巡查方法 Download PDFInfo
- Publication number
- CN111932704A CN111932704A CN202010695616.0A CN202010695616A CN111932704A CN 111932704 A CN111932704 A CN 111932704A CN 202010695616 A CN202010695616 A CN 202010695616A CN 111932704 A CN111932704 A CN 111932704A
- Authority
- CN
- China
- Prior art keywords
- intelligent
- store
- patrol
- behavior
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000007689 inspection Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 238000012986 modification Methods 0.000 abstract 2
- 230000004048 modification Effects 0.000 abstract 2
- 238000013486 operation strategy Methods 0.000 abstract 2
- 238000012549 training Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
本发明公开了一种基于视频行为识别的经营规范智能巡查方法。该方法涉及信息化、视频分析和图像识别领域,尤其涉及一种基于门店经营场景环境下的对象行为规范检测的智能巡查方法。本发明所述的行为规范智能判断检测方法,只针对门店经营中违规检查、智能巡查、巡查问题处理的场景,在该场景下,店员需要在经营场所按照企业统一规定,对顾客、商品和经营场所进行特定操作。由于经营场所的特殊性,店员行为本身也伴随着时间变化、企业经营策略变化等因素改变行为方式。同时伴随着经营策略变化,经营场所本身的属性也需要跟随调整,而本发明公开的方法就是智能判断经营场所本身的状况,经营场所内摆放的商品,经营场所内进入的顾客以及链接这一切“人”、“货”和“场”的“店员”是否依照公司定义规范正常运转。如果遇到不合规的状况,需要智能建立巡查任务,通知相关人进行整改,并智能反馈整改结果,最终实现经营规范智能巡查的方法。
Description
技术领域
本发明涉及计算机技术领域,具体说是一种基于图像识别的算法应用。
背景技术
连锁店的门店经营管理一直是一个复杂而麻烦的问题。所有门店品牌经营者,无论是采用直营还是加盟的方式,都希望扩大经营规模,开设更多的门店,提高品牌的品牌影响力和营收能力。而伴随着连锁店规模越来越大,管理难度急速提升同时管理成本也越来越大。当前背景下,门店一般在经营设备上已经完成了信息化建设,即门店本身有收银系统,盘点系统,库存系统等,已经完成了信息化的基本覆盖。
在信息化基本完善的背景之下,品牌经营方已经能够大致了解每一家门店“人”“货”“场”三要素中“货”的情况,经营者能够及时知道门店中商品的库存情况和销售情况。而对于三要素中更为重要的“人”和“场”的情况一无所知,而大多数的经营行为,本身也不光体现在“货”的角度。
当前在连锁巡查管理过程中主要还是依赖于巡查人员的人力管理,在特定时间阶段安排工作人员进行巡查,以保障尽可能的去保证所有门店合规经营。整个过程存在如下弊端:
1.人力资源消耗大,巡查周期长,效果较差
2.行为标准依赖人力判断,无法保证统一标准化执行企业规定
3.人力资源消耗巨大,无法做到长期完整覆盖检查
发明内容
本发明就是针对以上不足,为连锁门店经营场所提供一套智慧、公平、高效、不知疲倦和可扩展的经营违规智能巡查方法。
本发明解决其技术问题所用的技术方案是:一种基于视频行为识别的连锁门店经营场所经营违规智能巡查的方法。该方法包含了对门店经营违规行为的持续训练,训练过程中需要持续采集和标记相关样本,进而达到更好的效果。在这个过程中,包含对连锁门店经营行业行为规范、常规违规行为的理解,并且在实现过程中,需要持续积累素材,涵盖正确的范例和错误的样例。素材涵盖视频素材和图片素材,而针对视频素材,需要将视频素材导入GPU服务器,将这些素材按照合适规则切割成图片,基于这些图片进行后续处理。
本发明所述的图片处理包含图片的行为标记和训练。在这个过程中,需要预先设定具体行为,以及具体行为的哪些表现或者状态为合规,哪些表现和状态为违规。例如在经营场所中,营业人员长期离开经营场所明显违反行为规范,在经营场所中有零散的垃圾或者商品等违反环境规范,需要对图片进行标记,标记合规和未合规的样本,将这些样本输入GPU服务器进行行为识别训练。
本发明所述的训练方法和训练结果,将会按照不同模型的需求写入到对应的设备中。其中对象检测和基本行为检测类模型会写入终端设备中,依托终端摄像头的边缘计算能力,完成基本的经营场景下的对象属性和行为侦测,并完成数据基本采集工作,并将采集数据和源数据视频流一起传输到中央GPU服务器集群。
中央服务器获取到边缘计算侦测结果和对应图片之后,对图片进行计算处理。计算中需要对监测行为进行二次检测,判断前端检测的准确度和真实性。同时采集摄像头会按照某种时间规律,定时给中央处理服务器发送采集图片,中央处理器还需要针对设定规则,对这些无判断图片进行处理,以探测是否有企业定义的其它问题。
这种实时和随机图片的结合,可以极大提高连锁门店经营行为违规检测的灵活性和准确性,如果经营方未来需要对一些其它信息进行核查,也能够基于这些图片进行处理,保障了整套系统的可扩展性和延展性。
中央GPU处理器集群将门店场景的经营问题进行判定分类之后,会将这些结果配合图片传输到“智能巡查算法平台”中,该算法品牌包含了大量的算法模型,例如对门店的标签化算法,对店员的标签化算法,对可能会出现问题的预测算法等等。算法平台将相关问题处理之后,会将问题进行输出。输出方式是为门店经营者建立一套“自动化”的智能巡查方法。在该方法内,需要立即建立一个巡查任务,该巡查任务分为“环境违规”、“经营违规”和“行为违规”,将这些异常进行规则性下发,例如在整个控制中心,需要确定每一个任务的具体情况,执行者和当前问题,而问题的执行者需要获取问题,了解问题的详细情况,以及任务是偶发性任务还是突发性任务,以做好处理和确认。而智能系统本身还是会持续追踪问题,保证问题的执行,同时还需要去监控问题的情况,智能判断建立的问题当前的更改进度。如果当前的问题已经完成,智能更改任务的状态,从而完成在流程上建立-更改-验证的全智能闭环。
附图说明
下面结合附图对本发明进一步说明。
图1为一种基于视频行为识别的经营规范智能巡查方法的原理框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
本方法是基于视频行为识别的经营违规智能巡查方法,基于连锁门店的实际情况和连锁经营公司的实际情况,选择合适的点位方向安装合适的摄像头,摄像头选择搭载智能计算平台的智能摄像头,摄像头需要覆盖整个经营场所。摄像头架设完毕之后,根据经营管理的需求选择边缘计算进行人脸检测、人脸采集,场景检测和场景采集。采集之后的数据进行场景规范对比,对比结论数据传输进入“智能巡查算法平台”,基于该算法,将异常信息按照异常原因进行归档,并按照不同的类型自动建立巡查任务,在巡查任务之后,将这些任务自动分发给特定的负责人员和整改人员。同时智能巡查算法平台依然会根据之前的巡查任务,对异常进行持续追踪,如果追踪到相关问题已经整改会自动核验,更改问题状态,通知相关人员。
实施例1:
由技术人员选定一家门店作为经营违规智能巡查案例,在该案例中,首先根据门店经营场所的实际情况,门店内商品的摆放情况,选择合适的点位就合适的方向选择合适摄像头安装。一般情况下,需要安装门店门口走廊,了解路过门店的客群详情,安装进门区域,以了解门店进店情况,安装核心商品区域,了解商品核心销售区域的环境、商品、店员和顾客情况。
由技术人员进行配置,将门店摄像头接入GPU服务器集群,将人脸探测采集算法、行为识别算法和人脸识别算法部署进GPU服务器集群,保证图像识别算法的可靠性。GPU服务器首先对接入的视频进行处理,探测到人脸或定义行为之后,将监测对象进行抓取,采集和质量判断,并将异常结果输出到智能巡查管理系统。
智能巡查探知到异常之后,会将异常信息按照异常原因进行归档,例如环境规范,经营规范或者行为规范。并按照不同的类型自动建立巡查任务,在巡查任务之后,将这些任务自动分发给特定的负责人员和整改人员。
当相关人在系统内接受到任务之后,会对异常进行整改。整改过程中,智能巡查系统依然会根据之前的巡查任务,指挥前端摄像头进行持续追踪,如果追踪到相关问题已经整改会自动核验,更改问题状态,通知相关人员。
通过上面具体实施方式,所有门店管理人员都可以容易的实现本发明。任意技术工程师都可以依据我们的方法实现该过程。
Claims (4)
1.一种基于门店经营场景下的经营规范智能巡查方法。包含在门店的关键经营位置安装带有计算模块的智能摄像头,门店本地数据传输网络假设,中心化的图片处理GPU集群和基于图像处理结构进行智能巡店的信息化智能系统。在门店端,将人脸检测采集算法、商品检测采集算法和特定行为检测算法写入摄像头,让摄像头基于边缘计算,降低大型连锁店的技术资金投入成本。边缘计算系统将检测出来的行为,以图片或者短视频的方式传输回门店经营公司搭建的中心化图片处理服务器,对图片进行深入处理和分析,将分析结果输送如门店经营数据中台。基于数据中台数据基础,根据检测出问题的分类,自动构建不同等级的巡查任务,发放给不同的责任人进行处理。在处理过程中,对于智能化能自动识别的问题,智能巡查方法会定时巡查,自动核验整改效果,最终完成从智能发现问题到智能追踪问题到智能核验问题的完整自动巡查智能化的构建。
2.根据权利要求1所述将品牌下门店接入管理数据中台。数据采集摄像头同时在其中扮演着计算终端的角色,这样保证门店网络越大,计算能力越强,同时设备将终端采集的行为图片和短视频,通过公用网络传输到中心处理服务器,在中心服务器对素材进行深入识别和计算。
S1.数据采集端分散在各个门店,同时数据采集端又是边缘计算的计算设备,承担解决方案的计算部分。
S2.边缘计算和中心计算均可用于探知人脸,检测场景,判断图片和视频质量,截取合适素材。
S3.基于设备信息加场景信息,用中心化的方式进行深入计算和处理,既保证计算力的最大化释放,同时保证算法的可持续优化。
3.根据权利要求1所述的将经营场所行为判断结论输出到智能巡查系统,由智能巡查系统完成各类巡查任务判断和分发。
4.根据权利要求1所述的将门店经营场所各类问题自动检测出来和分发之后,根据问题类型,定时或者随机验证问题整改情况,完成整个智能系统的全自动运作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010695616.0A CN111932704A (zh) | 2020-07-17 | 2020-07-17 | 一种基于视频行为识别的经营规范智能巡查方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010695616.0A CN111932704A (zh) | 2020-07-17 | 2020-07-17 | 一种基于视频行为识别的经营规范智能巡查方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111932704A true CN111932704A (zh) | 2020-11-13 |
Family
ID=73313713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010695616.0A Pending CN111932704A (zh) | 2020-07-17 | 2020-07-17 | 一种基于视频行为识别的经营规范智能巡查方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111932704A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112822443A (zh) * | 2020-12-30 | 2021-05-18 | 浙江易时科技股份有限公司 | 一种智能门店远程巡检系统 |
CN113441555A (zh) * | 2021-09-01 | 2021-09-28 | 广东电网有限责任公司中山供电局 | 一种基于作业现场人员音视频的人员异常行为评估系统 |
CN114241392A (zh) * | 2021-12-23 | 2022-03-25 | 苏州企智信息科技有限公司 | 一种基于视频行为识别的工厂规范自动巡检方法 |
CN115994772A (zh) * | 2023-02-22 | 2023-04-21 | 中信联合云科技有限责任公司 | 图书资料处理方法及系统、图书快速铺货方法、电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防系统 |
CN110458123A (zh) * | 2019-08-15 | 2019-11-15 | 成都睿晓科技有限公司 | 一种基于视频监控的加油站服务效率智能分析系统 |
CN110472870A (zh) * | 2019-08-15 | 2019-11-19 | 成都睿晓科技有限公司 | 一种基于人工智能的收银台服务规范检测系统 |
CN111027467A (zh) * | 2019-12-06 | 2020-04-17 | 浩云科技股份有限公司 | 一种银行现金柜台使用规范智能检测方法及装置 |
CN111263126A (zh) * | 2020-03-31 | 2020-06-09 | 陈小河 | 一种视频智能识别与信息推送防范管理系统 |
-
2020
- 2020-07-17 CN CN202010695616.0A patent/CN111932704A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防系统 |
CN110458123A (zh) * | 2019-08-15 | 2019-11-15 | 成都睿晓科技有限公司 | 一种基于视频监控的加油站服务效率智能分析系统 |
CN110472870A (zh) * | 2019-08-15 | 2019-11-19 | 成都睿晓科技有限公司 | 一种基于人工智能的收银台服务规范检测系统 |
CN111027467A (zh) * | 2019-12-06 | 2020-04-17 | 浩云科技股份有限公司 | 一种银行现金柜台使用规范智能检测方法及装置 |
CN111263126A (zh) * | 2020-03-31 | 2020-06-09 | 陈小河 | 一种视频智能识别与信息推送防范管理系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112822443A (zh) * | 2020-12-30 | 2021-05-18 | 浙江易时科技股份有限公司 | 一种智能门店远程巡检系统 |
CN113441555A (zh) * | 2021-09-01 | 2021-09-28 | 广东电网有限责任公司中山供电局 | 一种基于作业现场人员音视频的人员异常行为评估系统 |
CN113441555B (zh) * | 2021-09-01 | 2021-11-19 | 广东电网有限责任公司中山供电局 | 一种基于作业现场人员音视频的人员异常行为评估系统 |
CN114241392A (zh) * | 2021-12-23 | 2022-03-25 | 苏州企智信息科技有限公司 | 一种基于视频行为识别的工厂规范自动巡检方法 |
CN115994772A (zh) * | 2023-02-22 | 2023-04-21 | 中信联合云科技有限责任公司 | 图书资料处理方法及系统、图书快速铺货方法、电子设备 |
CN115994772B (zh) * | 2023-02-22 | 2024-03-08 | 中信联合云科技有限责任公司 | 图书资料处理方法及系统、图书快速铺货方法、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111932704A (zh) | 一种基于视频行为识别的经营规范智能巡查方法 | |
CN109657624A (zh) | 目标对象的监控方法、装置和系统 | |
US20140063263A1 (en) | System and method for object tracking and timing across multiple camera views | |
CN206672041U (zh) | 一种基于增强现实的矿用设备智能巡检和维护辅助系统 | |
US20070253595A1 (en) | Still Image Queue Analysis System and Method | |
CN109325605A (zh) | 基于增强现实ar技术的电力信通机房巡检平台及巡检方法 | |
CN113033293A (zh) | 一种出入口管理设备、系统和方法 | |
CN111063144A (zh) | 异常行为的监控方法、装置、设备及计算机可读存储介质 | |
CN110210338A (zh) | 一种对目标人员的着装信息进行检测识别的方法及系统 | |
CN113989503A (zh) | 一种生产线巡检系统、方法、电子设备及存储介质 | |
US10593169B2 (en) | Virtual manager with pre-defined rules to generate an alert in response to a specified event | |
CN110738691A (zh) | 基于在线智能视觉网络的行李跟踪系统 | |
CN115861940A (zh) | 基于人体跟踪及识别技术的工作场景行为评估方法及系统 | |
CN113038079A (zh) | 一种基于5g+mec的定位视频联动系统和方法 | |
US11170331B2 (en) | Virtual management system data processing unit and method with rules and alerts | |
CN109711565A (zh) | 物业设施设备维修调度方法及其系统、物业综合管理系统 | |
CN112153341B (zh) | 一种任务监督方法、装置、系统、电子设备及存储介质 | |
CN112165526B (zh) | 一种基于“智能传感器”的移动巡查方法 | |
CN114241392A (zh) | 一种基于视频行为识别的工厂规范自动巡检方法 | |
CN110769042B (zh) | 一种用于铁路装卸作业信息采集的系统 | |
CN113128414A (zh) | 人员跟踪方法、装置、计算机可读存储介质及电子设备 | |
WO2017048148A1 (en) | Monitoring a flow of objects by a sim card detector | |
CN112766118A (zh) | 对象识别方法、装置、电子设备和介质 | |
Ji et al. | A Computer Vision-Based System for Metal Sheet Pick Counting. | |
Viharos et al. | Vision based, statistical learning system for fault recognition in industrial assembly environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201113 |