CN102881100B - 基于视频分析的实体店面防盗监控方法 - Google Patents

基于视频分析的实体店面防盗监控方法 Download PDF

Info

Publication number
CN102881100B
CN102881100B CN201210303931.XA CN201210303931A CN102881100B CN 102881100 B CN102881100 B CN 102881100B CN 201210303931 A CN201210303931 A CN 201210303931A CN 102881100 B CN102881100 B CN 102881100B
Authority
CN
China
Prior art keywords
customer
commodity
hand
entity storefront
storefront
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210303931.XA
Other languages
English (en)
Other versions
CN102881100A (zh
Inventor
陶鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Navitas Space-Time Information Technology Co., Ltd.
Original Assignee
JINAN NAWEI INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JINAN NAWEI INFORMATION TECHNOLOGY Co Ltd filed Critical JINAN NAWEI INFORMATION TECHNOLOGY Co Ltd
Priority to CN201210303931.XA priority Critical patent/CN102881100B/zh
Publication of CN102881100A publication Critical patent/CN102881100A/zh
Application granted granted Critical
Publication of CN102881100B publication Critical patent/CN102881100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Burglar Alarm Systems (AREA)

Abstract

本发明公开了一种基于视频分析的实体店面防盗监控方法。该方法中,通过视频分析跟踪实体店面中顾客的运动轨迹,并识别顾客在实体店面特定地点的手部及上肢动作,结合顾客离开该特定地点前后的商品变化,判断顾客是否有疑似的偷盗行为;当判断顾客有疑似的偷窃行为时,持续跟踪该顾客,当顾客即将离开实体店面时,向店内服务人员或安保人员发出提示。本发明可以快速准确地捕捉顾客在实体店面浏览时的疑似偷盗行为信息,并通过持续跟踪增大对偷盗行为判断的准确性。在基本不增加人工成本的前提下,大大降低实体店面因顾客偷盗行为造成的经济损失,提升实体店面的经济效益。

Description

基于视频分析的实体店面防盗监控方法
技术领域
本发明涉及一种防盗监控方法,尤其涉及一种基于视频图像分析技术实现的实体店面防盗监控方法,属于智能视频分析技术领域。
背景技术
实体店面在零售业中长期占据主导的地位。每天有大量的顾客光顾典型的实体店面如服装店、礼品店、配件店、超级市场等,其中会发生比例不高但绝对数量和涉案金额都非常惊人的偷盗行为。这些偷盗行为主要针对那些便于被藏入身体内的商品,例如可折叠的衣物、小礼品、小包装食品等。对于此类偷盗行为,如果仍然依靠店内服务人员或安保人员进行人工监控的安全防范方式,相应的人力物力投入都是十分巨大的。
为了解决实体店面的防盗问题,人们进行了多方面的技术探索。例如大型商场、超市普遍采用电子商品防盗系统(简称为EAS系统)。该系统有三部分组成:电子标签、解码器和探测器。探测器安装于商场的总出入口或特殊设定的顾客通道出口。当窃贼携带未付款的商品通过出口处的检测门时,EAS系统检测出来后会发出报警声。EAS系统是当前大型商场、超市应用最为广泛的安全防范技术。
近年来,摄像头和视频监控系统越来越普及,现有的摄像头和视频监控系统的数据采集精度也日渐提高。随着视频监控系统在实现视频报警、自动跟踪、实时处理等方面的长足发展,使视频监控系统在整个安全防范技术体系中具有举足轻重的地位。在大型商场、超市内安装视频监控系统,不仅可以看到顾客的购物情况,还可以提早发现犯罪分子,并可自动进行录像以作为证据,对那些有不良企图的人们也起到一定的威慑作用。
例如申请号为201110349935.7的中国发明专利申请公开了一种大型超市监控报警指挥系统,其主要特点是:由前端监控系统、网络传输系统、监控管理系统组成;其中监控管理系统包括存储服务器、流媒体服务器、管理服务器、解码器、以太网交换机、电视墙,前端监控系统根据不同超市进行安装设置,包括货架、收银台、出入口、仓库出入口、停车场,每个监控点配置相应的前端监控设施,包括摄像机、电子防盗报警器、接入交换机,在收银台安装拾音器设备,可更好处理与顾客的纠纷。
然而,现有的视频监控系统仍然需要人工全程注视屏幕,无法主动提示疑似的偷盗行为,更无法在疑似偷盗行为发生-尤其是嫌疑人离开现场时,发出必要的提示。
发明内容
本发明所要解决的技术问题在于提供一种基于视频分析的实体店面防盗监控方法。该方法可以帮助实体店面安保人员及时发现疑似的偷盗行为。
为实现上述的发明目的,本发明采用下述的技术方案:
一种基于视频分析的实体店面防盗监控方法,通过在实体店面分布的多个摄像头实现,其特征在于包括如下步骤:
(1)利用所述摄像头对实体店面中的商品进行定位、识别及标注,通过计算机视觉和图像处理技术对商品所在区域的视频图像进行图像分割、对商品区域进行特征抽取,并基于所述特征进行商品的分类、聚类;
(2)在实体店面的监控视频图像中,使用针对人体的视频匹配跟踪模型进行相似性匹配,跟踪顾客整体及其头脸部分的运动轨迹;
(3)通过视频分析跟踪实体店面中顾客的运动轨迹,并识别顾客在实体店面特定地点的手部及上肢动作,结合顾客离开该特定地点前后的商品变化,判断顾客是否有疑似的偷盗行为;
(4)当判断顾客有疑似的偷窃行为时,重复步骤(3),持续跟踪该顾客,当顾客即将离开实体店面时,向店内服务人员或安保人员发出提示。
其中较优地,在所述步骤(1)中,首先利用商品的样本图片建立样本图片库,然后基于样本图片的数据对所述摄像头所采集的商品图像进行初步的匹配、识别,对每个商品图像给出可能与之匹配的商品名称,最后经由人工审核确定。
其中较优地,在所述步骤(2)中,所述摄像头如果发现视频图像中出现了移动物体,分割出所述移动物体的图像并进行识别;当确定移动物体为活动的人形物体时认为顾客进入,随即对所述顾客赋予一个系统编号,开始跟踪所述顾客的运动轨迹。
其中较优地,在所述步骤(2)中,通过顾客是否接触商品或者停留在商品周围是否超过预定时间来判断顾客是否对所述商品感兴趣。其中,在一段设定的时间长度内,通过顾客头部的中心在商品周围的空间偏离度是否小于阈值来判断顾客是否停留在商品周围。或者,通过识别视频图像中分割出的顾客区域是否部分覆盖视频图像中分割出的商品区域,并且商品在部分覆盖的时间段内位置、形状是否发生改变来判断顾客是否与商品接触。
其中较优地,在所述步骤(3)中,所述摄像头如果发现图像内人形物体的手部移动并导致其所接触过的某商品消失,标注为该商品被该顾客的手部接触后消失。
其中较优地,在所述步骤(3)中,对于顾客手部接触过的商品在原位置消失且未出现在顾客手中或购物篮中的情形,或顾客经过后商品在原位置消失且未出现在顾客手中或购物篮中的情形,标注为顾客疑似随身藏匿了该商品。
一种基于视频分析的实体店面防盗监控方法,包括在实体店面分布的多个摄像头,其特征在于还包括:
商品定位标识单元,用于利用所述摄像头对实体店面中的商品进行定位、识别及标注,通过计算机视觉和图像处理技术对商品所在区域的视频图像进行图像分割、对商品区域进行特征抽取,并基于所述特征进行商品的分类、聚类;
顾客运动轨迹跟踪单元,用于在实体店面的监控视频图像中,使用针对人体的视频匹配跟踪模型进行相似性匹配,跟踪顾客整体及其头脸部分的运动轨迹;
顾客行为判断单元,用于通过视频分析跟踪实体店面中顾客的运动轨迹,并识别顾客在实体店面特定地点的手部及上肢动作,结合顾客离开该特定地点前后的商品变化,判断顾客是否有疑似的偷盗行为;
偷窃行为报警单元,用于在判断顾客有疑似的偷窃行为时持续跟踪该顾客,当顾客即将离开实体店面时,向店内服务人员或安保人员发出提示。
本发明可以快速准确地捕捉顾客在实体店面浏览时的疑似偷盗行为信息,并通过持续跟踪增大对偷盗行为判断的准确性。在基本不增加人工成本的前提下,利用本发明可以大大降低实体店面因顾客偷盗行为造成的经济损失,提升实体店面的经济效益。
附图说明
图1为本发明所提供的实体店面防盗监控方法的操作流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的详细说明。
参照图1所示,本发明所提供的实体店面防盗监控方法主要通过如下的技术环节实现:对实体店面中商品的定位、识别及标注;顾客的运动轨迹追踪及对顾客移走商品的发现和跟踪等;通过分析顾客手部动作及相关商品的变化,发现疑似的偷盗行为。下面分别展开详细的说明。
1.商品的定位、识别及标注
目前,较大规模的实体店面都会设置由多个摄像头和监视器等构成的闭路监视系统。在该闭路监视系统中,具备彩色摄像、自动变焦能力的摄像头安装在货架区域的上方,可以对实体店面的顾客购物情况进行全方位动态实时监视。由现有的闭路监视系统与计算机等设备组合成的实体店面防盗监控系统为实现本实体店面防盗监控方法奠定了必要的硬件基础。该实体店面防盗监控系统的硬件部分是计算机视觉领域普通技术人员都能掌握的常规设计,在此就不赘述了。
在本发明中,通过闭路监视系统中的摄像头在店面内合理布局(具体布局方式可以参考现有的闭路监视系统。该闭路监视系统已有成熟的解决方案,可以做到基本不留死角),能“看到”店面内所有陈列的商品。这样,实体店面防盗监控系统的使用者可以在尚无顾客访问信息的视频画面中,框选各种商品,并手动输入商品名字或从商品型号的下拉框选项中进行选择,从而完成商品的识别、标注工作。
在本发明的实施例中,可以通过多种方式实现对商品的识别和标注,分别说明如下:
第一种识别方式:闭路监视系统中的摄像头直接根据商品上附着的品牌、型号的标识进行识别。具体而言,当摄像头采集的视频图像精度达到一定程度,且实体店面防盗监控系统自身已经积累了大量已标注的商品影像时,实体店面防盗监控系统可以直接识别出商品的品牌、型号,并提示客户选择确定。例如在数码相机的视频截图上有该相机的品牌、型号标识,通过对轮廓外观特征的图像分析,首先识别其分属的大类“相机”,进一步通过OCR(光学字符识别)等技术对上面印制的品牌型号标识进行分析并识别出来。
第二种识别方式:闭路监视系统中的摄像头根据商品所在橱窗上的商品标签进行识别。当摄像头采集的视频图像精度达到一定程度,实体店面防盗监控系统可以直接“观看”商品所在橱窗位置的商品标签,通过OCR技术和/或手写体识别技术等识别出商品的品牌、型号,并提示客户选择确定。
上述第一种识别方式直接采集并识别商品的品牌、型号信息,但适用的商品范围有限。对于一些形状不确定或者没有在表面印制品牌、型号标识的商品而言效果不佳。第二种识别方式所获得的商品品牌、型号信息更加准确,但对商品标签的依赖程度较高。如果商品标签的安放位置不佳或者记载的信息错误,会严重影响识别结果的准确性。
在第三种识别方式中,考虑到商品一般都有相应的样本图片,因此可以建立一个样本图片库,并且让实体店面防盗监控系统中的计算机通过基于内容的图像检索(CBIR,Content-Based Image Retrieval)软件进行预先“学习”。在实际识别过程中,CBIR软件可以基于已有的样本图片的数据对摄像头所采集的商品图像进行初步的匹配、识别,对每个商品图像给出可能与之匹配的商品名称,最后经由人工审核确定。一旦商品被唯一标识后,其在视频场景中的移动追踪,可以通过业已成熟的移动物体追踪技术(具体可以参见http://en.wikipedia.org/wiki/Video_tracking及相关参考文献)实现,在此就不详细赘述了。
当商品被识别、标注后,通过计算机视觉、图像处理等技术手段,可以对商品所在区域的视频图像进行图像分割、对商品区域进行特征抽取,如形状特征、灰度分布、颜色空间特征等,并基于这些特征进行商品的分类、聚类等。
基于这些特征及商品所在的大致位置,实体店面防盗监控系统可以在周边位置这一限制条件下,正确匹配及识别商品。具体而言,通过分析所提取的特征与周围其他商品的特征的区别,建立分类器,并追踪该商品在周边位置内的位移。如果该商品在视频图像中消失,实体店面防盗监控系统可以直接发现。
2.顾客的运动轨迹追踪及对顾客移走商品的发现和跟踪
实体店面防盗监控系统通过分布于店面各处的摄像头实施监控。顾客进入店面后,该系统首先可以发现视频图像中出现了移动物体,随之在视频图像中分割出移动物体的图像并进行识别。当确定移动物体为活动的人形物体时,认为顾客已经进入,然后自动提取顾客的体态特征,自动分割识别出顾客。实体店面防盗监控系统随即对该顾客赋予一个系统编号,开始跟踪顾客的运动轨迹。
顾客在后续的购物过程中,该系统会根据视频中的图像,使用针对人体的视频匹配跟踪模型进行相似性匹配,跟踪顾客整体及其头脸部分、上肢及手部的运动轨迹,以及其所携带的购物篮或推动的购物车的运动轨迹。此处提到的针对人体的视频匹配跟踪模型,实际上是前文提及的移动物体追踪技术针对特定的人形物体的具体实现。该模型考虑了人的面部和头部的颜色、纹理特征、躯干形态、四肢形体及躯干、四肢、头部的相互位置和连接关系,用来识别移动物体是否人形物体及其头脸部、手部,并追踪整体及各部分的移动轨迹。对此,可以参考Zui Zhang等的论文《Tracking People in Crowds by a PartMatching Approach》(刊载于《Proceedings of the 2008IEEE Fifth InternationalConference on Advanced Video and Signal Based Surveillance》,p.88-95,September01-03,2008),在此就不详细说明了。
当顾客停留在某商品周围超过预定时间时,即一段设定的时间长度内,顾客头部的中心(通过顾客头部区域的重心计算得到)在商品周围的空间偏离度小于某个阈值时,实体店面防盗监控系统可以认为顾客对该商品存在兴趣(对商品感兴趣往往是顾客偷窃行为的重要诱因),值得予以重点关注。在判断顾客是否接触某商品时,实体店面防盗监控系统可以通过识别视频图像中通过图像分割得出的顾客区域是否接触或者部分覆盖视频图像中通过图像分割得出的商品区域,并且相应的商品在前后两个时间点内位置、形状是否发生改变来判断顾客是否接触了某商品。
当顾客经过某商品附近时,顾客的手部区域可以被识别、分割出来。实体店面防盗监控系统可以通过识别视频图像中由图像分割得出的顾客手部区域是否接触或者部分覆盖视频图像中由图像分割得出的商品区域,顾客手部是否发生形态改变(抓、握物体),并且相应位置的商品(单个或者多个)在前后两个时间点内位置、形状是否发生改变来判断顾客是否接触了某商品。上述判断过程中的技术实现步骤具体如下:
1)识别、分割并标注顾客手部区域的各部分及相应特征
基于对顾客整体的识别及跟踪,识别、分割并标注顾客手部区域的位置、纹理、颜色特征。例如通过上肢与躯干上部连接,整体形状的外包(通过数学形态学的Closing算子处理后)相比上肢呈椭圆状凸起,则可以将该区域判断识别为手部区域(包含有手掌和5个细长形状的手指);进一步地,通过数学形态学的Opening算子处理得到手掌部分后,其差集可以判断识别为手指。通过计算手指远离手掌端的纹理及颜色,可判断识别出指甲,从而判断出手的正反面;通过手部区域各部分(手指、手背部分的各个相邻骨块)的夹角变化,可以判断手部的各种状态及运动轨迹,如上举、下移,并可以结合是否有其他物体与手接触且与手的动作轨迹一致,来判断是否手持某物或抓握某物等。对此,可以进一步参考阳澄海、陈开等人的论文《基于分类特征提取的手部动作识别方法的应用与研究》(刊载于《计算机应用与软件》,2011年6月,第28卷第6期),在此就不详细说明了。
通过上述的计算过程,顾客的手部整体以及手掌(正面及背面)、手指(正面及背面)均被识别并被追踪。
2)判定顾客手部区域是否接触了某商品:
在步骤1)完成的情况下,现有的图像处理算法很容易判断出每帧图片中被识别分割出的商品部分,是否与顾客的手指或手掌部分在空间上有交集,即存在接触或覆盖;
通过交集部分的前后覆盖关系和手掌/手指的正面背面朝向,可以判断手指或手掌是正面朝向商品还是背面朝向商品。
通过顾客的手指及手掌部分的形状变化,比如手指从直伸变化为弯曲(侧面看表现较为明显,形状由直转为有弧度的弯曲形状;正面看表现为手指的上部消失或缩小,尤其指甲部分消失及缩小),可以判断出手部动作是伸展、握住或者其它动作状态。
另外,通过与顾客手部区域接触的商品形状改变和位置变化,也可以辅助判断该商品是否被顾客接触。
3.通过分析顾客手部动作及相关商品的变化,发现疑似的偷盗行为
在判断顾客是否接触了某商品之后,进一步判断顾客是否有疑似的偷盗行为。具体判断过程如下:
当顾客离开后,被顾客身体遮住的商品(原来有可能被顾客身体遮挡住看不到)将会被实体店面防盗监控系统重新定位。该防盗监控系统可以识别顾客到来前后的大致区域的商品的显示区域,并监测出消失的商品。
对消失商品的监测可以依据这一空间范围内,顾客离开前后实体店面防盗监控系统监测到的商品列表,基于形状、纹理、颜色匹配后,前后监测到的商品列表的差集。如果某商品出现在顾客离开前的系统监测列表中,但是没有出现在之后的监测列表中,说明该商品消失。
实体店面防盗监控系统中的摄像头如果发现视频图像内人形物体的手部移动并导致其所接触过的某商品消失,标注为该商品被该顾客的手部接触后消失;如果发现视频图像内的某商品被手持有,即标注为该商品被某顾客手持;如果发现图像内某商品被该顾客的手部接触后消失后,放入购物篮(车)内,即标注更新为该商品被某顾客放置入购物篮(车)内,取消原标注的”某商品被该顾客的手部接触后消失”状态。
实体店面防盗监控系统会监测顾客手持的商品、放入购物篮(车)内的商品的形状、纹理、颜色,并与顾客手部接触过的商品及顾客经过后消失的商品进行匹配,分别对手持商品、购物篮(车)内商品进行标注。相应地,对应每个购物篮(车)内商品及顾客手持商品,在实体店面防盗监控系统中会写入记录。这些记录表示:顾客的购物篮内目前有某商品,或顾客手持某商品。
对于顾客手部接触过的商品在原位置消失且未出现在顾客手中或购物篮(车)中的情形,或顾客经过后(摄像头无法看到手部的情形下)商品在原位置消失且未出现在顾客手中或购物篮(车)中的情形,实体店面防盗监控系统将标注顾客疑似随身藏匿了该商品。
此外,实体店面防盗监控系统通过视频分析技术还将监测到下述几种情形,并相应修正顾客所移走商品的状态记录:
1)顾客将手持商品放入购物篮(车)中,即标注更新为该商品被某顾客放置入购物篮(车)内,取消原标注的”某商品被手持有”状态。
2)顾客将手持商品放到店内某处,即放弃持有该商品。
3)顾客将购物篮(车)中商品放置于手中。
实体店面防盗监控系统通过视频监测、持续追踪顾客的行为,相应地更新、修改顾客-商品相关状态记录,始终保持最新的顾客手持、疑似藏匿及放入购物篮(车)内的商品列表。
当顾客即将离开实体店面时,实体店面防盗监控系统会通过短信等多种通知方式,向店内服务人员或安保人员发出报警提示:即将离开的某顾客手持、疑似藏匿及放入购物篮(车)内的商品列表。
此外,本发明的具体实施方式可以以软件、硬件或者软件和硬件的结合来实现。其中硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明中的系统及其组件可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上对本发明所提供的基于视频分析的实体店面防盗监控方法进行了详细的说明,但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说,在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (9)

1.一种基于视频分析的实体店面防盗监控方法,通过在实体店面分布的多个摄像头实现,其特征在于包括如下步骤:
(1)利用所述摄像头对实体店面中的商品进行定位、识别及标注,通过计算机视觉和图像处理技术对商品所在区域的视频图像进行图像分割、对商品区域进行特征抽取,并基于所述特征进行商品的分类、聚类;
(2)在实体店面的监控视频图像中,使用针对人体的视频匹配跟踪模型进行相似性匹配,跟踪顾客整体及其头脸部分的运动轨迹;
(3)通过视频分析跟踪实体店面中顾客的运动轨迹,并识别顾客在实体店面特定地点的手部及上肢动作,结合顾客离开该特定地点前后的商品变化,判断顾客是否有疑似的偷盗行为;其中,通过如下步骤识别顾客的手部动作:
利用上肢与躯干上部连接,整体形状的外包相比上肢呈椭圆状凸起,将相应区域识别为手部区域;通过数学形态学的Opening算子处理得到手掌部分后,其差集判断识别为手指;通过计算手指远离手掌端的纹理及颜色,识别出指甲,从而判断手的正反面;通过手部区域各部分的夹角变化,判断手部的各种状态及运动轨迹;结合是否有其他物体与手接触且与手的动作轨迹一致,判断是否手持某物或抓握某物;
(4)当判断顾客有疑似的偷窃行为时,重复步骤(3),持续跟踪该顾客,当顾客即将离开实体店面时,向店内服务人员或安保人员发出提示。
2.如权利要求1所述的实体店面防盗监控方法,其特征在于:
在所述步骤(1)中,首先利用商品的样本图片建立样本图片库,然后基于样本图片的数据对所述摄像头所采集的商品图像进行初步的匹配、识别,对每个商品图像给出可能与之匹配的商品名称,最后经由人工审核确定。
3.如权利要求1所述的实体店面防盗监控方法,其特征在于:
在所述步骤(2)中,所述摄像头如果发现视频图像中出现了移动物体,分割出所述移动物体的图像并进行识别;当确定移动物体为活动的人形物体时认为顾客进入,随即对所述顾客赋予一个系统编号,开始跟踪所述顾客的运动轨迹。
4.如权利要求1所述的实体店面防盗监控方法,其特征在于:
在所述步骤(2)中,通过顾客是否接触商品或者停留在商品周围是否超过预定时间来判断顾客是否对所述商品感兴趣。
5.如权利要求4所述的实体店面防盗监控方法,其特征在于:
在一段设定的时间长度内,通过顾客头部的中心在商品周围的空间偏离度是否小于阈值来判断顾客是否停留在商品周围。
6.如权利要求4所述的实体店面防盗监控方法,其特征在于:
通过识别视频图像中分割出的顾客区域是否部分覆盖视频图像中分割出的商品区域,并且商品在部分覆盖的时间段内位置、形状是否发生改变来判断顾客是否与商品接触。
7.如权利要求1所述的实体店面防盗监控方法,其特征在于:
在所述步骤(3)中,所述摄像头如果发现图像内人形物体的手部移动并导致其所接触过的某商品消失,标注为该商品被该顾客的手部接触后消失。
8.如权利要求1所述的实体店面防盗监控方法,其特征在于:
在所述步骤(3)中,对于顾客手部接触过的商品在原位置消失且未出现在顾客手中或购物篮中的情形,或顾客经过后商品在原位置消失且未出现在顾客手中或购物篮中的情形,标注为顾客疑似随身藏匿了该商品。
9.一种基于视频分析的实体店面防盗监控方法,包括在实体店面分布的多个摄像头,其特征在于还包括:
商品定位标识单元,用于利用所述摄像头对实体店面中的商品进行定位、识别及标注,通过计算机视觉和图像处理技术对商品所在区域的视频图像进行图像分割、对商品区域进行特征抽取,并基于所述特征进行商品的分类、聚类;
顾客运动轨迹跟踪单元,用于在实体店面的监控视频图像中,使用针对人体的视频匹配跟踪模型进行相似性匹配,跟踪顾客整体及其头脸部分的运动轨迹;
顾客行为判断单元,用于通过视频分析跟踪实体店面中顾客的运动轨迹,并识别顾客在实体店面特定地点的手部及上肢动作,结合顾客离开该特定地点前后的商品变化,判断顾客是否有疑似的偷盗行为;其中,通过如下步骤识别顾客的手部动作:
利用上肢与躯干上部连接,整体形状的外包相比上肢呈椭圆状凸起,将相应区域识别为手部区域;通过数学形态学的Opening算子处理得到手掌部分后,其差集判断识别为手指;通过计算手指远离手掌端的纹理及颜色,识别出指甲,从而判断手的正反面;通过手部区域各部分的夹角变化,判断手部的各种状态及运动轨迹;结合是否有其他物体与手接触且与手的动作轨迹一致,判断是否手持某物或抓握某物;
偷窃行为报警单元,用于在判断顾客有疑似的偷窃行为时持续跟踪该顾客,当顾客即将离开实体店面时,向店内服务人员或安保人员发出提示。
CN201210303931.XA 2012-08-24 2012-08-24 基于视频分析的实体店面防盗监控方法 Active CN102881100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210303931.XA CN102881100B (zh) 2012-08-24 2012-08-24 基于视频分析的实体店面防盗监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210303931.XA CN102881100B (zh) 2012-08-24 2012-08-24 基于视频分析的实体店面防盗监控方法

Publications (2)

Publication Number Publication Date
CN102881100A CN102881100A (zh) 2013-01-16
CN102881100B true CN102881100B (zh) 2017-07-07

Family

ID=47482407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210303931.XA Active CN102881100B (zh) 2012-08-24 2012-08-24 基于视频分析的实体店面防盗监控方法

Country Status (1)

Country Link
CN (1) CN102881100B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN105518755A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 安全系统、安全方法和非暂时性计算机可读介质
CN106170820A (zh) * 2014-02-26 2016-11-30 株式会社索思未来 图像识别系统以及半导体集成电路
CN104146471A (zh) * 2014-07-22 2014-11-19 中国地质大学(武汉) 带提醒功能的文具盒
JP2016057908A (ja) * 2014-09-10 2016-04-21 宮田 清蔵 万引き予防システム及びソフトウエア
CN104268770A (zh) * 2014-09-20 2015-01-07 无锡北斗星通信息科技有限公司 超市到访顾客特征分析系统
CN104766225B (zh) * 2015-04-14 2018-07-13 孙晞红 一种可识别卖场非正常购物行为的自助购物装置及方法
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
CN106558061A (zh) * 2015-09-29 2017-04-05 上海悠络客电子科技有限公司 一种基于云计算的收银防损方法及系统
CN105227918B (zh) * 2015-09-30 2016-10-19 珠海安联锐视科技股份有限公司 一种智能监控方法
WO2017215362A1 (zh) * 2016-06-13 2017-12-21 南京亿猫信息技术有限公司 一种基于超市购物车的智能购物系统及其控制方法
CN106340143B (zh) * 2016-08-26 2018-07-27 北京中盛益华科技有限公司 商超收银过程防盗监控方法
CN107426535A (zh) * 2017-05-26 2017-12-01 中国石油大学(华东) 超市收银台货物防丢失视频处理系统及方法
CN108021865B (zh) 2017-11-03 2020-02-21 阿里巴巴集团控股有限公司 无人值守场景中非法行为的识别方法和装置
CN108520520B (zh) * 2018-04-12 2019-01-01 绍兴柯桥东茂织造有限公司 关键部位鼓包程度检测系统
CN108765870A (zh) * 2018-06-28 2018-11-06 信利光电股份有限公司 车内安全监控方法、装置、设备及计算机可读存储介质
CN108985199B (zh) * 2018-07-02 2021-02-19 百度在线网络技术(北京)有限公司 商品取放操作的检测方法、装置及存储介质
CN110738077B (zh) * 2018-07-19 2023-08-08 杭州海康慧影科技有限公司 一种异物检测方法及装置
CN109035658B (zh) * 2018-08-21 2020-09-25 北京深瞐科技有限公司 一种文物安全防护方法及装置
CN109271873B (zh) * 2018-08-23 2021-09-14 四创科技有限公司 抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法
CN111260685B (zh) * 2018-11-30 2023-03-31 阿里巴巴集团控股有限公司 视频处理方法、装置及电子设备
CN111263224B (zh) * 2018-11-30 2022-07-15 阿里巴巴集团控股有限公司 视频处理方法、装置及电子设备
CN109697815A (zh) * 2019-01-24 2019-04-30 广州市天河区保安服务公司 防盗通讯网络报警方法、装置设备及存储介质
CN110147723B (zh) * 2019-04-11 2022-08-19 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及系统
CN110267010B (zh) * 2019-06-28 2021-04-13 Oppo广东移动通信有限公司 图像处理方法、装置、服务器及存储介质
CN110191324B (zh) * 2019-06-28 2021-09-14 Oppo广东移动通信有限公司 图像处理方法、装置、服务器及存储介质
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
CN111223260A (zh) * 2020-01-19 2020-06-02 上海智勘科技有限公司 在仓储管理中智能监控货物防盗损的方法和系统
CN111597962B (zh) * 2020-05-12 2023-05-02 盛景智能科技(嘉兴)有限公司 仓储物料防盗报警方法、装置及电子设备
CN113781730B (zh) * 2021-09-15 2024-02-02 深圳市智享科技发展有限公司 一种具有智能监控功能的智能超市
CN114005068A (zh) * 2021-11-08 2022-02-01 支付宝(杭州)信息技术有限公司 监测货物移动的方法及装置
CN114708696B (zh) * 2022-04-02 2023-06-16 河南大学 基于上肢微动作识别的电梯轿厢扒窃行为监控方法及系统
CN115272978A (zh) * 2022-08-11 2022-11-01 北京拙河科技有限公司 一种行为监控方法和系统
CN115965249B (zh) * 2022-12-16 2024-01-23 多彩贵州印象网络传媒股份有限公司 基于人工智能技术的视联网客户智能分析管理系统
CN117253194B (zh) * 2023-11-13 2024-03-19 网思科技股份有限公司 商品损坏检测方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268478A (zh) * 2005-03-29 2008-09-17 斯达普力特有限公司 采用视频分析检测可疑活动的方法及装置
CN101571982A (zh) * 2009-05-11 2009-11-04 宁波海视智能系统有限公司 一种判断视频监控范围内物品失窃的方法
CN201773466U (zh) * 2009-09-09 2011-03-23 深圳辉锐天眼科技有限公司 物体滞留/偷窃事件检测、跟踪和识别的视频监控预警装置
CN102122346A (zh) * 2011-02-28 2011-07-13 济南纳维信息技术有限公司 基于视频分析的实体店面顾客兴趣点采集方法
CN102224526A (zh) * 2008-09-24 2011-10-19 马来西亚微电子系统有限公司 基于有效的运动分析识别人的行为意图的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3538112B2 (ja) * 2000-03-21 2004-06-14 日本電信電話株式会社 遠隔監視方法、装置、および遠隔監視プログラムを記録した記録媒体
US20060045310A1 (en) * 2004-08-27 2006-03-02 General Electric Company System and method for tracking articulated body motion
JP4972491B2 (ja) * 2007-08-20 2012-07-11 株式会社構造計画研究所 顧客動作判定システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101268478A (zh) * 2005-03-29 2008-09-17 斯达普力特有限公司 采用视频分析检测可疑活动的方法及装置
CN102224526A (zh) * 2008-09-24 2011-10-19 马来西亚微电子系统有限公司 基于有效的运动分析识别人的行为意图的系统和方法
CN101571982A (zh) * 2009-05-11 2009-11-04 宁波海视智能系统有限公司 一种判断视频监控范围内物品失窃的方法
CN201773466U (zh) * 2009-09-09 2011-03-23 深圳辉锐天眼科技有限公司 物体滞留/偷窃事件检测、跟踪和识别的视频监控预警装置
CN102122346A (zh) * 2011-02-28 2011-07-13 济南纳维信息技术有限公司 基于视频分析的实体店面顾客兴趣点采集方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一个基于行为分析的智能视频监控系统的原型;李建文等;《科学技术与工程》;20090331;第9卷(第6期);1567-1570 *
基于视频序列的任务跟踪与行为分析技术研究;李松;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110515(第5期);I138-975 *
基于视频检测的智能监控系统及其关键技术研究;栾海龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120315(第3期);I138-2083 *

Also Published As

Publication number Publication date
CN102881100A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
CN102881100B (zh) 基于视频分析的实体店面防盗监控方法
CN111415461B (zh) 物品识别方法及系统、电子设备
Ayers et al. Monitoring human behavior from video taken in an office environment
US10078693B2 (en) People searches by multisensor event correlation
US6424370B1 (en) Motion based event detection system and method
US7280673B2 (en) System and method for searching for changes in surveillance video
US9158975B2 (en) Video analytics for retail business process monitoring
US20020141637A1 (en) Method and apparatus to distinguish deposit and removal in surveillance videio
CN111263224B (zh) 视频处理方法、装置及电子设备
US20050102183A1 (en) Monitoring system and method based on information prior to the point of sale
KR20040053307A (ko) 비디오 프리미티브를 적용한 비디오 감시 시스템
Trinh et al. Detecting human activities in retail surveillance using hierarchical finite state machine
MX2007016406A (es) Deteccion y rastreo de objetivo a partir de flujos de video aereos.
CN113205636B (zh) 一种无人零售系统及无人零售方法
Chang et al. Localized detection of abandoned luggage
Patil et al. Suspicious movement detection and tracking based on color histogram
CN111260685B (zh) 视频处理方法、装置及电子设备
Liao et al. Security event recognition for visual surveillance
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
WO2022184872A1 (en) Method and apparatus for the detection of behaviours in a retail environment
JP5752975B2 (ja) 画像監視装置
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质
CN109961457A (zh) 一种收银防损方法及系统
CN106503618A (zh) 基于视频监控平台的人员游荡行为检测方法
CN115546900B (zh) 风险识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 1101-61, No. 379 Tayuan Road, Suzhou High-tech Zone, Suzhou City, Jiangsu Province 215011

Patentee after: Suzhou Navitas Space-Time Information Technology Co., Ltd.

Address before: Room 1-403, Block B, Qilu Software Building, No. 1768 Xinluo Street, High-tech Zone, Jinan City, Shandong Province, 250101

Patentee before: JINAN NAWEI INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address