CN117424981A - 无人值守商店的付款核对方法 - Google Patents
无人值守商店的付款核对方法 Download PDFInfo
- Publication number
- CN117424981A CN117424981A CN202311326857.8A CN202311326857A CN117424981A CN 117424981 A CN117424981 A CN 117424981A CN 202311326857 A CN202311326857 A CN 202311326857A CN 117424981 A CN117424981 A CN 117424981A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- monitoring interface
- moving picture
- track
- payment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 511
- 238000012806 monitoring device Methods 0.000 claims description 80
- 230000000694 effects Effects 0.000 claims description 48
- 230000001960 triggered effect Effects 0.000 claims description 43
- 238000012795 verification Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 9
- 235000012206 bottled water Nutrition 0.000 description 4
- 235000015895 biscuits Nutrition 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 206010006895 Cachexia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 208000026500 emaciation Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/002—Vending machines being part of a centrally controlled network of vending machines
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
- G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请公开了一种无人值守商店的付款核对方法;该方案可通过接收本地监控设备发送的针对目标对象的付款核对消息,并根据该付款核对消息生成多个监控界面,比如关于目标对象在该商店中活动轨迹的第三监控界面、及关于目标对象在监控区域内的活动画面的第四监控界面等,其中,第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置,对这些界面进行显示,以便用户基于这些界面执行付款核对操作;该方案不仅可降低监控数据量,显示可供灵活友好操作的监控界面,以提高处理效率,而且,还可对交易进行实时无感监控,提高交易安全性。
Description
本申请是分案申请,原申请的申请号为:“202310732329.6”、申请日为:“2023年06月20日”发明名称为:“无人值守商店监控界面的显示方法及装置”。
技术领域
本申请涉及互联网领域,尤其涉及一种无人值守商店的付款核对方法。
背景技术
近年来,无人值守商店由于具有人工成本低、购物无感灵活等优点,逐渐受到人们的追捧。所谓无人值守商店,指的是无需工作人员进行值守、购物买单完全自助的商铺。
虽然无人值守商店可以大大降低人工成本,但是,由于目前的经营模式一般都完全依附于商店对顾客的信任,即顾客买单全凭自觉,因此,常常会出现商品丢失、错付或漏付的情况,导致商店财物损失。为了避免商店财物损失,在现有技术中,用户常常需要回看监控视频,来对无人值守商店里的情况进行监督。但是,在对现有技术的研究和实践过程中,本申请的发明人发现,由于现有的监控视频的数据量庞大,因此,用户在回看时,需要耗费大量的精力和时间,处理效率极低,而且,由于是事后回看,因此,其监控的效果并不佳,仍然会出现商品丢失、错付或漏付的情况。
发明内容
本申请实施例提供一种无人值守商店的付款核对方法,不仅可以降低监控数据的数据量,显示可供灵活、友好操作的监控界面,以提高处理效率,而且,还可以对商品交易进行实时无感监控,避免出现商品丢失、错付或漏付的情况,降低商店财物损失。
一种无人值守商店的付款核对方法,应用于无人值守商店的监控系统,所述无人值守商店的监控系统包括本地监控设备和远程监控设备,所述本地监控设备设置在无人值守商店中,所述远程监控设备与多家无人值守商店的本地监控设备连接;所述监付款核对方法包括:
所述远程监控设备接收目标对象的付款核对消息,所述付款核对消息携带所述目标对象的付款信息、所述目标对象在无人值守商店中的活动轨迹、以及所述目标对象在监控区域内的活动画面,所述监控区域设置在所述无人值守商店的货柜前;
所述远程监控设备根据所述付款核对消息生成关于所述无人值守商店的第一监控界面、关于付款信息的第二监控界面、关于活动轨迹的第三监控界面和关于活动画面的第四监控界面,所述第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置;
所述远程监控设备上对所述第一监控界面、第二监控界面、第三监控界面和第四监控界面进行显示,以便用户基于第一监控界面、第二监控界面、第三监控界面和第四监控界面执行付款核对操作。
本申请实施例所提供的无人值守商店的付款核对方法,可以通过远程监控设备接收本地监控设备发送的针对目标对象的付款核对消息,并根据该付款核对消息生成关于该无人值守商店的第一监控界面、关于该目标对象付款信息的第二监控界面、关于该目标对象在该无人值守商店中活动轨迹的第三监控界面、以及关于该目标对象在监控区域(设置在该无人值守商店的货柜前)内的活动画面的第四监控界面,其中,该第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置,在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行显示,以便用户基于显示的第一监控界面、第二监控界面、第三监控界面和第四监控界面执行付款核对操作;由于该方案只对需要进行付款核对操作的目标对象在特定区域内的视频数据,比如活动轨迹、以及在监控区域内的活动画面进行监控,因此,可以大大降低需要查看的监控数据的数据量;而且,针对不同的监控数据会生成不同的可供灵活、友好操作的监控界面,在显示这些监控界面的同时,标识出它们之间的关联性,使得用户可以更加便捷地查看这些监控数据,大大提高处理效率。此外,由于该方案可以对无人值守商店中的交易进行实时无感监控,因此,可以大大减少商品丢失、错付或漏付的情况的发生,降低商店财物损失,提高商店交易的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中无人值守商店监控系统的场景示意图;
图2为本申请实施例中无人值守商店的示例图;
图3为本申请实施例提供的无人值守商店监控界面的显示方法的流程图;
图4为本申请实施例提供的无人值守商店监控界面的示意图;
图5为本申请实施例提供的无人值守商店监控界面的另一示意图;
图6为本申请实施例提供的无人值守商店监控界面的显示方法的另一流程图;
图7为本申请实施例提供的无人值守商店监控界面的显示方法的场景示意图;
图8为本申请实施例中活动轨迹的示例图;
图9为本申请实施例中监控界面及分屏显示的示例图;
图10为本申请实施例中监控界面及分屏显示的另一示例图;
图11为本申请实施例中C屏切换画面展示方向时的示例图;
图12为本申请实施例中D屏切换画面展示方向时的示例图;
图13为本申请实施例中C屏点击轨迹点时的示例图;
图14为本申请实施例提供的显示装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种无人值守商店监控界面的显示方法及装置,以下将分别进行详细说明。
如图1所示,无人值守商店监控系统可以包括远程监控设备以及本地监控设备,其中,本地监控设备设置在无人值守商店中。所谓无人值守商店(简称商店),指的是指的是无需工作人员进行值守、购物买单完全自助的商铺。该无人值守商店一般设置有商店入口、商店出口和货柜,货柜前设置有监控区域。
该本地监控设备用于对该监控区域、以及该无人值守商店内部所有区域进行拍摄,得到监控数据(比如监控视频);而该远程监控设备则可以部署在云端,与多家无人值守商店的本地监控设备连接,比如具体可以通过有线或无线网络进行连接并进行通信。
例如,参见图2,该图为无人值守商店的一种示例。其中,本地监控设备可以包括多个摄像头,比如摄像头1、摄像头2、摄像头3、摄像头4、摄像头5、摄像头6、摄像头7……以及摄像头n等,这些摄像头可以根据实际应用的需求安装在该无人值守商店的各个位置,以便对该无人值守商店内部所有区域、特别是监控区域进行拍摄,得到监控数据。该监控数据可以提供给远程监控设备。
其中,摄像头的型号、数量以及安装位置均可以根据实际应用的需求而定,而监控区域则需要设置在货柜前,不过,其面积大小可以不作限定,具体可以根据实际应用的需求进行设置,只需确保当目标对象(比如顾客)与商品接触如挑选商品时,能够位于该监控区域内即可。比如,图2中货柜前虚线框内(即阴影部分)即为监控区域。也就是说,当顾客与商品接触时,必然是位于监控区域内,所以,本地监控设备只需重点监控这些监控区域,便可以知悉顾客是否拿取了商品、以及拿取了何种商品,而对于监控区域外的其他区域,由于顾客无法接触到商品,所以,其拍摄到的监控数据如监控视频可以不作重点关注,只需作为辅助数据即可,这样,可以大大降低后续监控数据分析的数据量,提高处理效率。
基于上述的无人值守商店监控系统,本申请实施例提供一种无人值守商店监控界面的显示方法,包括:通过远程监控设备接收本地监控设备发送的针对目标对象的付款核对消息,其中,该付款核对消息携带该目标对象的付款信息、该目标对象在无人值守商店中的活动轨迹、以及该目标对象在监控区域内的活动画面,该监控区域设置在该无人值守商店的货柜前;根据该付款核对消息生成关于该无人值守商店的第一监控界面、关于付款信息的第二监控界面、关于活动轨迹的第三监控界面和关于活动画面的第四监控界面,该第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置、以及画面拍摄角度,当第四监控界面当前所显示的活动画面发生切换时,第三监控界面中的活动轨迹上的标识内容对应进行更新;在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示,以便用户基于分屏显示的第一监控界面、第二监控界面、第三监控界面和第四监控界面执行付款核对操作。
以下将从无人值守商店监控界面的显示装置(简称显示装置)的角度,对该无人值守商店监控界面的显示方法进行详细说明。该显示装置具体可以以独立的实体设置在云端,也可以集成在远程监控设备中。
如图3所示,该无人值守商店监控界面的显示方法的具体流程可以如下:
101、通过远程监控设备接收本地监控设备发送的针对目标对象的付款核对消息。
其中,该付款核对消息携带该目标对象的付款信息、该目标对象在无人值守商店中的活动轨迹、以及该目标对象在监控区域内的活动画面,其中,该付款信息可以包括已付款商品信息、付款金额和/或已付款商品数量等。可选的,该付款核对消息还可以携带该本地监控设备所在的无人值守商店的商店信息等其他信息。
其中,目标对象指的是需要进行监控的人或其他生物,为了描述方便,在申请实施例中,将均以该目标对象具体为人,即顾客为例进行说明。
可选的,付款核对消息可以在远程监控设备需要时,向本地监控设备获取,也可以由本地监控设备在确定需要进行付款核对操作时,提供给远程监控设备。即在步骤“通过远程监控设备接收本地监控设备发送的针对目标对象的付款核对消息”之前,该无人值守商店监控界面的显示方法还可以包括:
当目标对象进入商店入口时,采集该目标对象的特征信息;当该目标对象进入该商店出口时,根据该特征信息从本地监控设备拍摄的监控数据如监控视频中调取与该目标对象对应的视频帧;根据该视频帧生成该目标对象在无人值守商店中的活动轨迹、以及该目标对象在监控区域内的活动画面;获取该目标对象对应的付款信息;在基于该付款信息、活动轨迹和活动画面确定不需要进行付款核对操作,允许该活动跟踪对象通过该商店出口;否则,在基于该付款信息、活动轨迹和活动画面确定需要进行付款核对操作时,通过本地监控设备向远程监控设备发送针对该目标对象的付款核对消息。
其中,该目标对象的特征信息指的是最能反映该目标对象特征,且可用于识别该目标对象的必不可少的、基本的信息。比如,以该目标对象为人为例,则该目标对象的特征信息可以包括人脸特征信息、和/或人体特征信息等。即步骤“根据该特征信息从本地监控设备拍摄的监控数据如监控视频中调取与该目标对象对应的视频帧”具体可以为:
根据人脸特征信息、和/或人体特征信息从本地监控设备拍摄的监控数据如监控视频中调取与该目标对象对应的视频帧。
例如,以该特征信息包括人脸特征信息和人体特征信息为例,则具体可以利用预设的人脸及人体识别模型对该人脸特征信息和人体特征信息进行融合,得到融合后特征信息,然后,根据融合后特征信息从本地监控设备拍摄的监控数据如监控视频中调取与该目标对象对应的视频帧。
其中,人脸特征信息可以包括几何特征和表征特征,几何特征是指眼睛、鼻子和嘴等面部特征之间的几何关系,如距离、面积和角度等,表征特征指的是利用人脸图像的灰度信息,通过一些算法,比如局部二值模式(LBP,Local Binary Patterns)算法所提取的全局或局部特征。而人体特征则可以包括人体的高度、宽度(肥瘦)、颜色(如着装颜色和肤色)、纹理、深度、行为特征、和/或运动方向等特征。
可选的,“根据该视频帧生成该目标对象在无人值守商店中的活动轨迹、以及该目标对象在监控区域内的活动画面”可以有多种,例如,具体如下:
根据该视频帧确定该目标对象在商店内的位置信息和时间信息;筛选出位于该监控区域内的位置信息,得到筛选后位置信息;根据该筛选后位置信息在预设的商店地图中生成该目标对象的轨迹点;按照时间信息的先后顺序对该轨迹点进行连接,得到该目标对象在商店内的活动轨迹;根据该位置信息和时间信息筛选出该目标对象位于监控区域内,且停留时间大于设定值的视频帧,得到该目标对象在监控区域内的活动画面。
其中,该设定值可以根据实际应用的需求进行设置,在此不作赘述。
或者,还可以采用这种方式:从该视频帧中筛选出该目标对象位于该监控区域内的视频帧,得到筛选后视频帧;根据该筛选后视频帧确定该目标对象在商店内的位置信息和时间信息;根据该位置信息在预设的商店地图中生成该目标对象的轨迹点,按照时间信息的先后顺序对该轨迹点进行连接,得到该活动跟踪对象在商店内的活动轨迹;从该筛选后视频帧中提取关键帧,得到该活动跟踪对象在监控区域内的活动画面。
可选的,基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作的方式也可以有多种,例如,针对容易出现错付或漏付的几种情况,具体可以如下任意一种方式来确定是否需要进行付款核对操作:
(一)与商品接触多,但购买商品过少的情况
根据该已付款商品信息确定该已付款商品信息对应的商品陈列区域,获取该商品陈列区域在该活动轨迹中的占比,若该占比小于第一阈值,则确定需要进行付款核对操作,否则,若该占比大于等于第一阈值,则确定不需要进行付款核对操作。
其中,第一阈值可以根据实际应用的需求进行设置,比如,可以设置为5%、10%或20%,等等。
其中,商品陈列区域指的是某件或某类商品在货柜的所属区域,该商品陈列区域位于该监控区域内,每个监控区域可以包括至少一个商品陈列区域。该已付款商品信息对应的商品陈列区域指的是该已付款商品信息所对应的商品在货柜的所属区域。即步骤“获取该商品陈列区域在该活动轨迹中的占比”具体可以为:
统计该已付款商品信息对应的商品陈列区域的数量,并根据该活动轨迹确定该目标对象涉及的商品陈列区域的总数,然后,计算该已付款商品信息对应的商品陈列区域的数量与该总数的比值,得到该商品陈列区域在该活动轨迹中的占比。
比如,以第一阈值为20%为例,若张三的活动轨迹中共涉及了四个监控区域,如监控区域1、监控区域7、监控区域3和监控区域4。其中,在监控区域1中,张三涉及的商品陈列区域为3个;在监控区域7中,张三涉及的商品陈列区域为4个;在监控区域3中,张三涉及的商品陈列区域为1个,在监控区域4中,张三涉及的商品陈列区域为2个;也就是说,张三的活动轨迹共涉及10个商品陈列区域,那么,若张三购买了1件商品,该商品对应的商品陈列区域位于监控区域1,则此时,可以计算出该已付款商品信息对应的商品陈列区域在该活动轨迹中的占比为:
1:10=10%
由于10%小于20%,因此,可以确定需要进行付款核对操作。
又例如,还是以上例子,只是张三购买了3件商品,其中两件商品对应的商品陈列区域分别位于监控区域1的商品陈列区域1和商品陈列区域2,另一件商品对应的商品陈列区域分别位于监控区域3,则此时,可以计算出该已付款商品信息对应的商品陈列区域在该活动轨迹中的占比为:
3:10=30%
由于30%大于20%,因此,可以确定不需要进行付款核对操作,可以直接允许该目标对象通过该商店出口。
(二)付款金额过小的情况
若该付款信息中的付款金额小于第二阈值,则确定需要进行付款核对操作(这是因为,付款金额过小容易出现错付或漏付的情况);若该付款信息中的付款金额大于等于第二阈值,则根据该已付款商品信息确定该已付款商品信息对应的商品陈列区域,获取该商品陈列区域在该活动轨迹中的占比,若该占比小于第一阈值,则确定需要进行付款核对操作,否则,若该占比大于等于第一阈值,则确定不需要进行付款核对操作。
(三)商品数量较多的情况
若付款信息中的已付款商品数量大于第三阈值,则确定需要进行付款核对操作;若付款信息中的已付款商品数量小于等于第三阈值,则确定该已付款商品信息对应的商品陈列区域,获取该商品陈列区域在该活动轨迹中的占比,若该占比小于第一阈值,则确定需要进行付款核对操作,否则,若该占比大于等于第一阈值,则确定不需要进行付款核对操作。
(四)综合以上几种情况
若付款信息中的付款金额小于第二阈值或已付款商品数量大于第三阈值,则确定需要进行付款核对操作;若该付款信息中的付款金额大于等于第二阈值,且已付款商品数量小于等于第三阈值,则确定该已付款商品信息对应的商品陈列区域,获取该商品陈列区域在该活动轨迹中的占比;若该占比小于第一阈值,则确定需要进行付款核对操作;若该占比大于等于第一阈值,则确定不需要进行付款核对操作。
(五)只逛不买的情况
若该付款信息为空白(比如获取不到付款信息或获取到的付款信息为空白信息),则根据该活动轨迹和活动画面确定该活动跟踪对象在各个商品陈列区域的停留时间;若该停留时间大于第四阈值,则确定需要进行付款核对操作;否则,若该停留时间小于等于第四阈值,则确定不需要进行付款核对操作,允许该目标对象通过该商店出口。
其中,与第一阈值类似,该第二阈值、第三阈值和第四阈值也可以根据实际应用的需求进行设置,在此不作赘述。
此外,需说明的是,在方式(二)、(三)和(四)等情况中,“商品陈列区域在该活动轨迹中的占比”的具体计算方式可参见方式(一),在此也不作赘述。
102、根据该付款核对消息生成关于该无人值守商店的第一监控界面、关于付款信息的第二监控界面、关于活动轨迹的第三监控界面、以及关于活动画面的第四监控界面。其中,该第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置、以及画面拍摄角度;当第四监控界面当前所显示的活动画面发生切换时,第三监控界面中的活动轨迹上的标识内容对应进行更新。例如,具体可以如下:
获取发送该付款核对消息的本地监控设备所在的无人值守商店的商店信息,根据该商店信息生成第一监控界面;
根据该付款核对消息中的付款信息生成第二监控界面;
根据该付款核对消息中的活动轨迹生成第三监控界面;
根据该付款核对消息中的活动画面生成第四监控界面;
其中,如图4所示,该第三监控界面可以包括缩略图显示控件和拍摄角度切换控件。该缩略图显示控件用于根据第四监控界面当前所显示的活动画面生成缩略图,以及确定该活动画面对应的轨迹点,根据该轨迹点在第三监控界面中的活动轨迹上显示该缩略图;该拍摄角度切换控件用于确定第四监控界面当前所显示的活动画面的画面拍摄角度,在第三监控界面中的活动轨迹上标识出该画面拍摄角度。
其中,画面拍摄角度,指的是拍摄该活动画面时的角度。需说明的是,由于该本地监控设备包括有多个摄像头,因此,可以从多个角度对该目标对象进行拍摄,因此,对于同一位置(比如同一监控区域或同一商品陈列区域),可能会存在多个画面拍摄角度的活动画面,比如,从南边一号摄像头拍摄的活动画面,从西边二号摄像头拍摄的活动画面,以此类推,等等。该画面拍摄角度可以用多种方式来进行表示,比如,可以采用方向来进行标识,或者,也可以采用该摄像头的位置、摄像头的编号、或坐标信息等来标识。
可选的,为了方便用户查看同一区域上不同拍摄角度的活动画面,该拍摄角度切换控件还可以用于响应于用户的基于该拍摄角度切换控件所触发的拍摄角度切换指令,获取切换后拍摄角度在当前位置所对应的活动画面,得到切换后活动画面,将第四监控界面中当前所显示的活动画面更新为该切换后活动画面。
可选的,为了方便用户查看已付款商品在活动轨迹中的位置,如图5所示,该第三监控界面还可以包括付款信息显示控件,用于根据已付款商品信息确定对应的商品陈列区域,并确定该商品陈列区域对应的轨迹点,根据该已付款商品信息生成缩略信息,根据确定的轨迹点在第三监控界面中的活动轨迹上显示该缩略信息。
可选的,为了方便用户查看活动画面在活动轨迹中的位置,以及对活动画面进行切换,如图5所示,该第三监控界面还可以包括画面切换控件,用于响应于用户通过点击轨迹点所触发的活动画面切换指令,通过该画面切换控件获取用户点击的轨迹点所对应的活动画面,得到切换后活动画面,将第四监控界面中当前所显示的活动画面更新为所述切换后活动画面。
可选的,如图5所示,第一监控界面中还可以包括商店切换控件,用于响应于用户基于该商店切换控件所触发的商店切换指令,对需要进行监控的无人值守商店进行切换,这样的话,用户,比如监控人员便可以通过触发该商店切换控件,对需要进行监控的商店灵活地进行选择或切换。
可选的,为了方便查看付款信息中已付款商品信息所对应的活动轨迹位置和/或活动画面,如图5所示,第二监控界面中还可以包括痕迹选择控件,该痕迹选择控件可以用于响应于用户基于该痕迹选择控件所触发的已付款商品信息选择指令,在第三监控界面中显示的活动轨迹上,标识出选择的已付款商品信息所对应的商品所在的商品陈列区域(比如突出显示该商品陈列区域),以及在第三监控界面中显示目标对象在该商品陈列区域的活动画面。
可选的,为了方便用户对活动轨迹和活动画面进行显示,如图5所示,该第二监控界面中还可以包括活动轨迹显示触发键和活动画面显示触发键等。
其中,活动轨迹显示触发键,用于响应于用户基于该活动轨迹显示触发键所触发的活动轨迹显示指令,显示第三监控界面中的活动轨迹,以及响应于用户基于该活动轨迹显示触发键所触发的活动轨迹关闭指令,停止显示第三监控界面中的活动轨迹。
活动画面显示触发键,用于响应于用户基于该活动画面显示触发键所触发的活动画面显示指令,显示第四监控界面中的活动画面,以及响应于用户基于该活动画面显示触发键所触发的活动画面关闭指令,停止显示第四监控界面中的活动画面。
可选的,为了方便用户对活动画面进行选择和切换,如图5所示,该第四监控界面还可以包括向前切换控件和/或向后切换控件。
该向前切换控件,可以用于响应于用户通过该向前切换控件所触发的活动画面切换指令,获取第四监控界面当前所显示的活动画面的上一张活动画面,将第四监控界面中当前所显示的活动画面更新为该上一张活动画面。
该向后切换控件,可以用于响应于用户通过该向后切换控件所触发的活动画面切换指令,获取第四监控界面当前所显示的活动画面的下一张活动画面,将第四监控界面中当前所显示的活动画面更新为该下一张活动画面。
103、在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示,以便用户基于这些监控界面执行付款核对操作。
其中,分屏显示的形式可以根据实际应用的需求进行设置,比如,可以并排进行显示,又或者,还可以如图4和图5所示,可以将屏幕分成四宫格,如左上、左下、右上和右下进行显示,等等。
可选的,若第三监控界面包括缩略图显示控件,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
确定第四监控界面当前显示的活动画面对应的轨迹点,利用该缩略图显示控件生成该当前显示的活动画面的缩略图,并根据确定的轨迹点,通过该缩略图显示控件在第三监控界面中的活动轨迹上的相应位置上,显示该当前显示的活动画面的缩略图。
比如,若确定的轨迹点为轨迹点A,则此时,可以通过该缩略图显示控件在第三监控界面中的活动轨迹的轨迹点A附近的空白处,显示该当前显示的活动画面的缩略图,以此类推,等等。
可选的,若第三监控界面包括拍摄角度切换控件,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
响应于用户基于该拍摄角度切换控件所触发的拍摄角度切换指令,获取切换后拍摄角度在当前位置所对应的活动画面,得到切换后活动画面,将第四监控界面中当前所显示的活动画面更新为该切换后活动画面。
可选的,若该第三监控界面包括付款信息显示控件,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
生成该已付款商品信息的缩略信息,根据已付款商品信息确定对应的商品陈列区域,并确定该商品陈列区域对应的轨迹点,然后,根据确定的轨迹点,利用付款信息显示控件在第三监控界面中的活动轨迹上显示该缩略信息。
比如,若确定的轨迹点为轨迹点A,则此时,可以用该付款信息显示控件在第三监控界面中的活动轨迹的轨迹点A附近的空白处,显示该缩略信息,以此类推,等等。
可选的,若该第三监控界面还包括与每个轨迹点关联的画面切换控件,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
响应于用户通过点击轨迹点所触发的活动画面切换指令,通过该画面切换控件获取用户点击的轨迹点所对应的活动画面,得到切换后活动画面;将第四监控界面中当前所显示的活动画面更新为该切换后活动画面。
比如,若第四监控界面中当前所显示的活动画面为轨迹点A对应的活动画面,则当用户点击第三监控界面中的轨迹点B时,会生成关于轨迹点B的活动画面切换指令,然后,根据该关于轨迹点B的活动画面切换指令,通过该画面切换控件获取轨迹点B所对应的活动画面,再然后,便可将第四监控界面中当前所显示的轨迹点A对应的活动画面更新为轨迹点B所对应的活动画面,以此类推,等等。
可选的,若第二监控界面包括痕迹选择控件,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
响应于用户基于该痕迹选择控件所触发的已付款商品信息选择指令,在第三监控界面中显示的活动轨迹上,标识出选择的已付款商品信息所对应的商品所在的商品陈列区域,以及在第三监控界面中显示目标对象在该商品陈列区域的活动画面。
可选的,若第二监控界面包括活动轨迹显示触发键,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
响应于用户基于该活动轨迹显示触发键所触发的活动轨迹显示指令,显示第三监控界面中的活动轨迹,以及响应于用户基于该活动轨迹显示触发键所触发的活动轨迹关闭指令,停止显示(比如隐藏或不显示)第三监控界面中的活动轨迹。
可选的,若第二监控界面包括活动画面显示触发键,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
响应于用户基于该活动画面显示触发键所触发的活动画面显示指令,显示第四监控界面中的活动画面,以及响应于用户基于该活动画面显示触发键所触发的活动画面关闭指令,停止显示第四监控界面中的活动画面。
可选的,若第四监控界面包括向前切换控件,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
响应于用户通过该向前切换控件所触发的活动画面切换指令,获取第四监控界面当前所显示的活动画面的上一张活动画面,将第四监控界面中当前所显示的活动画面更新为该上一张活动画面;利用该缩略图显示控件生成该上一张活动画面的缩略图,以及确定该上一张活动画面对应的轨迹点,根据确定的轨迹点在第三监控界面中的活动轨迹上显示该上一张活动画面的缩略图,并停止显示原来显示的缩略图;利用该拍摄角度切换控件确定该上一张活动画面的画面拍摄角度,根据确定的轨迹点在第三监控界面中的活动轨迹上标识出该画面拍摄角度。
可选的,若第四监控界面包括向后切换控件,则在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
响应于用户通过该向后切换控件所触发的活动画面切换指令,获取第四监控界面当前所显示的活动画面的下一张活动画面,将第四监控界面中当前所显示的活动画面更新为该下一张活动画面;利用该缩略图显示控件生成该下一张活动画面的缩略图,以及确定该下一张活动画面对应的轨迹点,根据确定的轨迹点在第三监控界面中的活动轨迹上显示该下一张活动画面的缩略图,并停止显示原来显示的缩略图;利用该拍摄角度切换控件确定该下一张活动画面的画面拍摄角度,根据确定的轨迹点在第三监控界面中的活动轨迹上标识出该画面拍摄角度。
可选的,若用户如监控人员经过付款核对后,确定没有问题,则可以向本地监控设备发送核对通过的响应消息,以便本地监控设备运行该目标对象通过商店出口,否则,若确定付款存在问题,则可以采取相应的措施,比如向本地监控设备发送核对不通过的响应消息。即在步骤“在该远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示”之后,该无人值守商店监控界面的显示方法还可以包括:
若用户如监控人员经过付款核对后,确定没有问题,则可以向本地监控设备发送核对通过的响应消息,本地监控设备在接收到该核对通过的响应消息后,允许活动跟踪对象通过商店出口,比如可以控制商店出口的门禁打开等,否则,若确定付款存在问题,则向本地监控设备发送核对不通过的响应消息,本地监控设备在接收到该核对不通过的响应消息后,可以根据预设策略执行相应的操作,比如可以播放提醒信息,以便目标对象重新进行付款、或者进行报警等操作。
其中,该预设策略可根据实际应用的需求进行设置,在此不作赘述。
由上可知,本申请实施例所提供的无人值守商店监控界面的显示方法,可以通过远程监控设备接收本地监控设备发送的针对目标对象的付款核对消息,并根据该付款核对消息生成关于该无人值守商店的第一监控界面、关于该目标对象付款信息的第二监控界面、关于该目标对象在该无人值守商店中活动轨迹的第三监控界面、以及关于该目标对象在监控区域内的活动画面的第四监控界面,其中,该第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置、以及画面拍摄角度,当第四监控界面当前所显示的活动画面发生切换时,第三监控界面中的活动轨迹上的标识内容对应进行更新,然后,在该远程监控设备上对这些界面进行分屏显示,以便用户基于这些界面执行付款核对操作;由于该方案只对需要进行付款核对操作的目标对象在特定区域内的视频数据,比如活动轨迹、以及在监控区域内的活动画面进行监控,因此,可以大大降低需要查看的监控数据的数据量;而且,针对不同的监控数据会生成不同的可供灵活、友好操作的监控界面,在分屏显示这些监控界面的同时,标识出它们之间的关联性,使得用户,比如监控人员可以更加便捷地查看这些监控数据,大大提高处理效率。此外,由于该方案可以对无人值守商店中的交易进行实时无感监控,因此,可以大大减少商品丢失、错付或漏付的情况的发生,降低商店财物损失,提高商店交易的安全性。
基于上面所描述的实施例,以下将举例作进一步详细说明。
在本实施例中,将以该显示装置具体集成在远程监控设备为例进行说明。
如图6所示,一种无人值守商店监控界面的显示方法,具体流程如下:
201、当目标对象进入商店入口时,本地监控设备采集该目标对象的特征信息,并在目标对象进入商店出口时,根据该特征信息从本地监控设备拍摄的监控视频中调取与该目标对象对应的视频帧,根据该视频帧生成目标对象在该商店中的活动轨迹、以及目标对象在监控区域内的活动画面。
例如,当目标对象进入该商店入口时,本地监控设备采集该目标对象的人脸特征信息和人体特征信息,并将该人脸特征信息和人体特征信息进行融合,得到融合后特征信息,然后,当该目标对象进入该商店出口时,本地监控设备便可从监控视频中调取与该融合后特征信息匹配的视频帧,得到与该目标对象对应的视频帧,再然后,根据该调取到的视频帧确定该目标对象在该商店内的中的位置信息和时间信息,筛选出位于监控区域内的位置信息,得到筛选后位置信息,此后,根据该筛选后位置信息在预设的商店地图中生成该目标对象的轨迹点,并按照时间信息的先后顺序对该轨迹点进行连接,便得到该目标对象在商店内的活动轨迹,其中,该活动轨迹的起点为商场入口,终点为商场出口。此外,本地监控设备还可根据该位置信息和时间信息筛选出该目标对象位于监控区域内,且停留时间大于设定值的视频帧,便可以得到该目标对象在监控区域内的活动画面。
其中,该设定值可以根据实际应用的需求进行设置,在此不作赘述。
比如,参见图7,若目标对象张三进入该商店后,所进入的监控区域依次为监控区域1、监控区域7、监控区域3和监控区域4,则此时,本地监控设备可以筛选出张三位于监控区域1、监控区域7、监控区域3和监控区域4的位置信息,得到筛选后位置信息,然后,根据该筛选后位置信息在预设的商店地图中生成张三的轨迹点,比如,如图8所示,依次生成商场入口的轨迹点A、在监控区域1中的轨迹点B、在监控区域7中的轨迹点C、在监控区域3中的轨迹点D、在监控区域4中的轨迹点E、以及在商场出口的轨迹点F,再然后,按照时间信息的先后顺序对这些轨迹点进行连接,便可得到张三在商店内的活动轨迹:A—>B—>C—>D—>E—>F。
需说明的是,活动轨迹和活动画面的生成顺序可以不分先后,此外,为了绘图方便,在图7-图11中,将商品陈列区域简称为“陈列区域”。
其中,该监控视频可以由本地监控设备,比如图7中摄像头1、摄像头2、摄像头3、摄像头4、摄像头5、摄像头6、摄像头7……摄像头n等对该商店内的所有区域及监控区域,如监控区域1、监控区域2、监控区域3、监控区域4、监控区域5、监控区域6和监控区域7等进行拍摄所得到。
202、本地监控设备获取该目标对象对应的付款信息,并基于该付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作,若是,则执行步骤203,若否,则允许该目标对象通过商店出口。
可选的,为了更好地对顾客进行提醒和引导,在允许该目标对象通过该商店出口时,还可以设置相应的语音提示信息和/或光影提示信息,比如当门禁打开时,该本地监控设备可以播放提示信息:“请通行,欢迎下次光临”,与此同时,门口指示灯为“绿色”,等等。
其中,该付款信息可以包括已付款商品信息、付款金额和已付款商品数量等信息,此外,判断是否需要进行付款核对操作方式可参见前面的实施例,在此不作赘述。
203、本地监控设备向远程监控设备发送针对目标对象的付款核对消息,其中,该付款核对消息携带该目标对象的付款信息、该目标对象在无人值守商店中的活动轨迹、以及该目标对象在监控区域内的活动画面。
204、远程监控设备在接收到该付款核对消息后,根据该付款核对消息生成关于该无人值守商店的第一监控界面、关于付款信息的第二监控界面、关于活动轨迹的第三监控界面、以及关于活动画面的第四监控界面。
其中,第一监控界面、第二监控界面、第三监控界面和第四监控界面的样式可以根据实际应用的需求而定。例如,参见图9,具体可以如下:
远程监控设备根据获取发送该付款核对消息的本地监控设备所在的无人值守商店的商店信息,然后,根据该商店信息生成第一监控界面301;根据该付款核对消息中的付款信息生成第二监控界面302;根据该付款核对消息中的活动轨迹生成第三监控界面303;以及根据该付款核对消息中的活动画面生成第四监控界面304;其中,各个监控界面具体可以如下:
(1)第一监控界面301;
第一监控界面301用于显示商店信息,比如商店编号、商店的地址、联系电话、负责人信息、以及该活动轨迹和活动画面的拍摄日期和时间等。
可选的,该第一监控界面301还可以包括商店切换控件3011,该切换控件3011的用于响应于用户基于该商店切换控件3011所触发的商店切换指令,对需要进行监控的无人值守商店进行切换。
其中,该商店切换控件3011的样式可以根据实际应用的需求进行设置,比如,如图9所示,可以将该商店切换控件3011的样式设置为一“搜索框”,当用户在该搜索框内输入需要搜索的商店编号,并点击旁边的“放大镜”图标进行搜索时,该商店切换控件3011便可被触发。
(2)第二监控界面302;
第二监控界面302用于显示付款信息等内容。
可选的,如图9所示,第二监控界面302还可以包括痕迹选择控件3201、活动轨迹显示触发键3022和活动画面显示触发键3023,具体如下:
该痕迹选择控件3021可以用于响应于用户基于该痕迹选择控件3021所触发的已付款商品信息选择指令,在第三监控界面303中显示的活动轨迹上,标识出选择的已付款商品信息所对应的商品所在的商品陈列区域(比如突出显示该商品陈列区域),以及在第三监控界面303中显示目标对象在该商品陈列区域的活动画面。
动轨迹显示触发键3022,用于响应于用户基于该活动轨迹显示触发键3022所触发的活动轨迹显示指令,显示第三监控界面303中的活动轨迹,以及响应于用户基于该活动轨迹显示触发键3022所触发的活动轨迹关闭指令,停止显示第三监控界面303中的活动轨迹。
活动画面显示触发键3023,用于响应于用户基于该活动画面显示触发键3023所触发的活动画面显示指令,显示第四监控界面304中的活动画面,以及响应于用户基于该活动画面显示触发键3023所触发的活动画面关闭指令,停止显示第四监控界面304中的活动画面。
其中,该痕迹选择控件3021、动轨迹显示触发键3022和活动画面显示触发键3023的样式可以根据实际应用的需求进行设置,比如,如图9所示,可以将痕迹选择控件3021设置在“付款信息”上,使得当用户点击付款信息上的某一个已付款商品信息时,该痕迹选择控件3021被触发,并生成已付款商品信息选择指令,其中,该已付款商品信息选择指令中携带该被点击的已付款商品信息。动轨迹显示触发键3022的样式可以设置为一触发键“活动轨迹”,类似的,活动画面显示触发键3023的样式也可以设置为一触发键“活活动画面”,等等。
(3)第三监控界面303;
第三监控界面303用于显示活动轨迹等内容,除此之外,该第三监控界面303还包括缩略图显示控件3031和拍摄角度切换控件3032,具体如下:
缩略图显示控件3031,用于根据第四监控界面304当前所显示的活动画面生成缩略图,以及确定该活动画面对应的轨迹点,根据该轨迹点在第三监控界面303中的活动轨迹上显示该缩略图,比如可以在靠近该轨迹点,比如轨迹点B的空白处显示该活动画面的缩略图,等等。
拍摄角度切换控件3032,用于确定第四监控界面304当前所显示的活动画面的画面拍摄角度,在第三监控界面303中的活动轨迹上标识出该画面拍摄角度。该拍摄角度切换控件3032,还可以用于响应于用户的基于该拍摄角度切换控件3032所触发的拍摄角度切换指令,获取切换后拍摄角度在当前位置所对应的活动画面,得到切换后活动画面,将第四监控界面4中当前所显示的活动画面更新为该切换后活动画面,以及将第三监控界面303中显示的缩略图更新为该切换后活动画面的缩略图。
其中,该拍摄角度切换控件3032的样式可以根据实际应用的需求而定,比如,以拍摄角度分别用“东向(E)、西向(W)、南向(S)或北向(N)”来表示为例,则该拍摄角度切换控件3032可以设置为如图9所示的方向标识,在该方向标识中,可以突出显示当前显示的活动画面对应的拍摄角度,譬如,参见图9,若该活动画面是由摄像头从南向进行拍摄得到的,则此时该方向标识可以突出显示南向(S)。此外,当用户点击该方向标识中的某一方向,如西向(W)时,该方向标识被触发,并生成相应的拍摄角度切换指令,其中,该拍摄角度切换指令携带的切换后拍摄角度为该被点击的方向,如西向(W),这样,后续便可以根据该拍摄角度切换指令获取同一商品陈列区域中,与切换后拍摄角度对应的活动画面,作为切换后活动画面。
可选的,如图9所示,第三监控界面303还可以包括付款信息显示控件3033和画面切换控件,具体可以如下:
付款信息显示控件3033,用于根据已付款商品信息确定对应的商品陈列区域,并确定该商品陈列区域对应的轨迹点,根据该已付款商品信息生成缩略信息,根据确定的轨迹点在第三监控界面303中的活动轨迹上显示该缩略信息,比如,具体可以在靠近该已付款商品信息对应的商品陈列区域的空白处显示该已付款商品信息的缩略信息。
例如,若张三在商品陈列区域Z1(轨迹点B)购买的商品为一瓶X瓶装水,其价格为¥3元,在商品陈列区域Z2(轨迹点D)购买的商品为一包Y饼干,其价格为¥8元,则如图9和10所示,可以在轨迹点B的空白处显示“X瓶装水,1-¥3.0”,以及在轨迹点D的空白处显示“Y饼干,1-¥8.0”。这样,当用户看到该信息时,便可获悉张三在这两处停留是为了购买一瓶X瓶装水和一包Y饼干,且这两件商品已付款,因此,用户可以快速查看或略过这两处的活动画面,直接查看其他监控领域的活动画面即可,进而提高付款核对操作的效率。
画面切换控件,用于响应于用户通过点击轨迹点所触发的活动画面切换指令,通过该画面切换控件获取用户点击的轨迹点所对应的活动画面,得到切换后活动画面,将第四监控界面304中当前所显示的活动画面更新为所述切换后活动画面。
其中,该画面切换控件的样式可以根据实际应用的需求而定,比如,可以将该画面切换控件设置在每个轨迹点上(由于轨迹点较多,故图9中并未标出),当用户点击某个轨迹点时,便可触发该画面切换控件,以获取用户点击的轨迹点所对应的活动画面,得到切换后活动画面。
(4)第四监控界面304;
第四监控界面304用于显示活动画面等内容。
可选的,如图9所示,第四监控界面304还可以包括向前切换控件3041和向后切换控件3042,具体可以如下:
向前切换控件3041,用于响应于用户通过向前切换控件3041所触发的活动画面切换指令,获取第四监控界面304当前所显示的活动画面的上一张活动画面,将第四监控界面304中当前所显示的活动画面更新为该上一张活动画面。
向后切换控件3042,用于响应于用户通过向后切换控件3042所触发的活动画面切换指令,获取第四监控界面304当前所显示的活动画面的下一张活动画面,将第四监控界面304中当前所显示的活动画面更新为该下一张活动画面。
其中,向前切换控件3041和向后切换控件3042的样式可以根据实际应用的需求而定,比如,如图9所示,向前换控件3041的样式可以设置为触发键“上一页”,向前换控件3041的样式可以设置为触发键“下一页”,等等。
205、远程监控设备上对该第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示,以便用户基于这些界面执行付款核对操作。
其中,分屏的方式可以根据实际应用的需求以及用户的喜好而定。
例如,如图9和图10所示,可以分为四屏:A屏、B屏、C屏和D屏,其中,A屏用于第一监控界面301;B屏可以显示第二监控界面;C屏用于显示第三监控界面;而D屏则用于显示第四监控界面304。
可选的,在显示活动画面时,可以只显示一张活动画面,比如参见图9,或者,也可以同时显示多张活动画面,比如图10中的D屏,即同时显示张三位于轨迹点B时,摄像头从不同角度拍摄到的4张活动画面。
可选的,对于显示的活动轨迹和活动画面,用户如监控人员还可以通过触发各类控件或触发键,以执行相应的操作,进而更好地进行付款核对。
例如,以拍摄角度切换控件3032的样式设置为如图11所示的方向标识来为例,当用户点击轨迹点B对应的方向标识中的西向(W)时,该拍摄角度切换控件3032被触发,并生成相应的拍摄角度切换指令,其中,该拍摄角度切换指令携带的切换后拍摄角度为该被点击的方向——西向(W),然后,远程监控设备根据该拍摄角度切换指令,从轨迹点B对应的多张活动画面中获取与西向(W)对应的活动画面作为切换后活动画面,再然后,再将第四监控界面304中当前所显示的活动画面更新为该切换后活动画面,比如,参见图12。此外,远程监控设备还可以利用缩略图显示控件3031生成该切换后活动画面的缩略图,将第三监控界面303中轨迹点B上原来显示的缩略图,更新为该切换后活动画面的缩略图。
又例如,以画面切换控件设置在每个轨迹点上为例,如图13所示,当用户点击某个轨迹点,比如点击轨迹点E时,该画面切换控件被触发,进而生成活动画面切换指令,然后,根据该活动画面切换指令获取该被点击的轨迹点——轨迹点E所对应的活动画面,得到切换后活动画面,再然后,将第四监控界面304中当前所显示的活动画面更新为该切换后活动画面。此外,远程监控设备还可以利用缩略图显示控件3031生成该切换后活动画面的缩略图,以及利用该拍摄角度切换控件3032确定该切换后活动画面的画面拍摄角度,然后,停止显示第三监控界面303中轨迹点B上原来显示的缩略图和关于画面拍摄角度的标识(即将轨迹点B恢复原状,参见图13),并在第三监控界面303中靠近轨迹点E的空白处显示该切换后活动画面的缩略图、以及标识出该画面拍摄角度,比如若该画面拍摄角度为南向(S),则可以在显示的方向标识上,突出显示南向(S),参见图11,等等。
又例如,以痕迹选择控件3021设置在付款信息上为例,当用户点击付款信息上的某一个已付款商品信息,比如“X瓶装水”时,该痕迹选择控件3021被触发,并生成已付款商品信息选择指令,其中,该已付款商品信息选择指令中携带该被点击的已付款商品信息,然后,根据该已付款商品信息选择指令确定该已付款商品信息所对应的商品所在的商品陈列区域、以及获取目标对象在该商品陈列区域的活动画面,再然后,在第三监控界面303中突出显示该商品陈列区域,比如,可以用鲜艳的颜色突出商品陈列区域等,以及在第四监控界面304中显示获取到的活动画面。当然,还可以基于第四监控界面304中显示的活动画面生成相应的缩略图和画面拍摄角度,并在第三监控界面303中显示该缩略图和画面拍摄角度,该缩略图和画面拍摄角度的生成和显示方法可参见前面的实施例,在此不作赘述。
又例如,以向前切换控件3041的样式设置为触发键“上一页”为例,当用户点击触发键“上一页”时,向前切换控件3041被触发,进而生成活动画面切换指令,然后,根据活动画面切换指令获取第四监控界面304当前所显示的活动画面的上一张活动画面,将第四监控界面304中当前所显示的活动画面更新为该上一张活动画面。此外,还可利用缩略图显示控件3031生成该上一张活动画面的缩略图,以及确定该上一张活动画面对应的轨迹点,根据确定的轨迹点在第三监控界面303中的活动轨迹上显示该上一张活动画面的缩略图,并停止显示原来显示的缩略图;与此同时,还可以利用拍摄角度切换控件3032确定该上一张活动画面的画面拍摄角度,根据确定的轨迹点在第三监控界面303中的活动轨迹上标识出该画面拍摄角度。
类似的,以向后切换控件3042的样式设置为触发键“下一页”为例,当用户点击触发键“下一页”时,向后切换控件3042被触发,进而生成活动画面切换指令,然后,根据该活动画面切换指令获取第四监控界面304当前所显示的活动画面的下一张活动画面,将第四监控界面304中当前所显示的活动画面更新为该下一张活动画面。此外,还可以利用该缩略图显示控件3031生成该下一张活动画面的缩略图,以及确定该下一张活动画面对应的轨迹点,根据确定的轨迹点在第三监控界面303中的活动轨迹上显示该下一张活动画面的缩略图,并停止显示原来显示的缩略图;与此同时,还可以利用该拍摄角度切换控件3032确定该下一张活动画面的画面拍摄角度,根据确定的轨迹点在第三监控界面303中的活动轨迹上标识出该画面拍摄角度。
可选的,若用户如监控人员经过付款核对后,确定没有问题,则可以向本地监控设备发送核对通过的响应消息,本地监控设备在接收到该核对通过的响应消息后,允许活动跟踪对象通过商店出口,比如可以控制商店出口的门禁打开等;否则,若确定付款存在问题,则向本地监控设备发送核对不通过的响应消息,本地监控设备在接收到该核对不通过的响应消息后,可以根据预设策略执行相应的操作,比如提醒目标对象重新进行付款等。
可选的,为了更好地对顾客进行提醒和引导,还可以设置相应的语音提示信息和/或光影提示信息,比如当门禁打开时,本地监控设备可以播放提示信息:“请通行,欢迎下次光临”,与此同时,门口指示灯为“绿色”,而当确定付款存在问题时,则本地监控设备可以播放提醒信息:“请检查下商品是否均已付款”,与此同时,门口指示灯为“红色”,等等。
由上可知,由于该方案可以采用传统的货架成列商品,以供顾客自由进行挑选,因此,可以保证较佳的购物体验感。与此同时,该方案还可以基于顾客的付款信息、以及顾客在商店内的活动轨迹和活动画面来自动判断是否需要进行付款核对操作,只有在异常的情况下,才会进行付款核对操作,而且,由于发送给远程监控设备的付款核对消息中所携带的活动轨迹和活动画面,均是基于顾客与商品最可能发生接触的“监控区域”来生成的,而并不是采用所有的监控视频,因此,其数据处理量可以得到大幅度减少,大大提高了其处理效率,使得该监控系统在监控时,可以作出快速反应,因此,对于顾客而言,该监控是无感的,并不会影响购物流程,也就是说,该方案可以在保障顾客快速、灵活购物的同时,实现无感监控,尽可能避免商品丢失、错付或漏付的情况的发生,减低商店财物损失。
此外,由于该方案可以针对不同的监控数据生成多个不同类型的监控界面,而且,在分屏显示这些监控界面的同时,还标识出它们之间的关联性,并设置了多种控件和触发键,以供用户进行操作,因此,使得用户可以更加便捷地查看这些监控数据,大大提高了操作的灵活性和友好性、以及进一步提高了监控人员在执行付款核对操作时的处理效率。
相应的,为了更好地实施以上方法,本申请实施例还提供一种无人值守商店监控界面的显示装置(简称显示装置),该显示装置可以作为独立的实体进行实现,也可以集成在无人值守商店监控系统(简称监控系统)中的远程监控设备中。其中,该监控系统可以包括远程监控设备以及设置在无人值守商店中的本地监控设备,该无人值守商店设置有商店入口、商店出口和货柜,该货柜前设置有监控区域,具体可参见前面的方法实施例,在此不作赘述。
如图14所示,该显示装置可以包括收发单元401、生成单元402和显示单元403,具体如下:
收发单元401,用于接收本地监控设备发送的针对目标对象的付款核对消息,其中,该付款核对消息携带该目标对象的付款信息、该目标对象在无人值守商店中的活动轨迹、以及该目标对象在监控区域内的活动画面。
生成单元402,用于根据该付款核对消息生成关于该无人值守商店的第一监控界面、关于付款信息的第二监控界面、关于活动轨迹的第三监控界面和关于活动画面的第四监控界面;其中,该第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置、以及画面拍摄角度,当第四监控界面当前所显示的活动画面发生切换时,第三监控界面中的活动轨迹上的标识内容对应进行更新。
显示单元403,用于在对第一监控界面、第二监控界面、第三监控界面和第四监控界面进行分屏显示,以便用户基于分屏显示的第一监控界面、第二监控界面、第三监控界面和第四监控界面执行付款核对操作。
可选的,生成单元402所生成的第一监控界面、第二监控界面、第三监控界面和第四监控界面上,还可以包括多种控件和/或触发键,具体可参见前面的方法实施例,在此不作赘述。
若生成单元403所生成的这些监控界面中还包括其他控件和/或触发键,则显示单元403在对这些监控界面进行分屏显示之后,还可以响应于用户基于这些控件和/或触发键所触发的指令,执行相应的操作,具体可参见前面的方法实施例,在此也不作赘述。
此外,可选的,收发单元401,还可以用于在确定付款核对通过时,向本地监控设备发送核对通过的响应消息,以便本地监控设备运行该目标对象通过商店出口,否则,若确定付款核对不通过,向本地监控设备发送核对不通过的响应消息。
以上各个单元的实施,具体可参见前面的方法实施例,在此不作赘述。
需说明的是,具体实施时,以上各个单元可以进行任意组合,集成在一个或若干个模块中,也可以作为独立的实体实现。此外,上述单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
该显示装置不仅可以降低监控数据的数据量,显示可供灵活、友好操作的监控界面,以提高处理效率,而且,还可以对商品交易进行实时无感监控,避免出现商品丢失、错付或漏付的情况,降低商店财物损失。
以上对本申请实施例所提供的一种无人值守商店监控界面的显示方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种无人值守商店的付款核对方法,其特征在于,应用于无人值守商店的监控系统,所述无人值守商店的监控系统包括本地监控设备和远程监控设备,所述本地监控设备设置在无人值守商店中,所述远程监控设备与多家无人值守商店的本地监控设备连接;所述付款核对方法包括:
所述远程监控设备接收目标对象的付款核对消息,所述付款核对消息携带所述目标对象的付款信息、所述目标对象在无人值守商店中的活动轨迹、以及所述目标对象在监控区域内的活动画面,所述监控区域设置在所述无人值守商店的货柜前;
所述远程监控设备根据所述付款核对消息生成关于所述无人值守商店的第一监控界面、关于付款信息的第二监控界面、关于活动轨迹的第三监控界面和关于活动画面的第四监控界面,所述第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置;
所述远程监控设备上对所述第一监控界面、第二监控界面、第三监控界面和第四监控界面进行显示,以便用户基于第一监控界面、第二监控界面、第三监控界面和第四监控界面执行付款核对操作。
2.根据权利要求1所述的方法,其特征在于,所述第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置以及画面拍摄角度,当所述第四监控界面当前所述显示的活动画面发生切换时,第三监控界面中的活动轨迹上的标识内容对应进行更新。
3.根据权利要求2所述的方法,其特征在于,所述根据所述付款核对消息生成关于所述无人值守商店的第一监控界面、关于付款信息的第二监控界面、关于活动轨迹的第三监控界面和关于活动画面的第四监控界面,所述第三监控界面中的活动轨迹上标识有第四监控界面当前所显示的活动画面对应的位置、以及画面拍摄角度,当第四监控界面当前所显示的活动画面发生切换时,第三监控界面中的活动轨迹上的标识内容对应进行更新,包括:
获取发送所述付款核对消息的本地监控设备所在的无人值守商店的商店信息,根据所述商店信息生成第一监控界面;
根据所述付款核对消息中的付款信息生成第二监控界面;
根据所述付款核对消息中的活动轨迹生成第三监控界面;
根据所述付款核对消息中的活动画面生成第四监控界面;
所述第三监控界面包括缩略图显示控件和拍摄角度切换控件,所述缩略图显示控件用于根据第四监控界面当前所显示的活动画面生成缩略图,以及确定所述活动画面对应的轨迹点,根据所述轨迹点在第三监控界面中的活动轨迹上显示所述缩略图;所述拍摄角度切换控件用于确定第四监控界面当前所显示的活动画面的画面拍摄角度,在第三监控界面中的活动轨迹上标识出所述画面拍摄角度。
4.根据权利要求3所述的方法,其特征在于,所述在所述远程监控设备上对所述第一监控界面、第二监控界面、第三监控界面和第四监控界面进行显示之后,还包括:
响应于用户基于所述拍摄角度切换控件所触发的拍摄角度切换指令,获取切换后拍摄角度在当前位置所对应的活动画面,得到切换后活动画面;
将第四监控界面中当前所显示的活动画面更新为所述切换后活动画面。
5.根据权利要求3所述的方法,其特征在于,所述第三监控界面还包括与每个轨迹点关联的画面切换控件,在所述远程监控设备上对所述第一监控界面、第二监控界面、第三监控界面和第四监控界面进行显示之后,还包括:
响应于用户通过点击轨迹点所触发的活动画面切换指令,通过所述画面切换控件获取用户点击的轨迹点所对应的活动画面,得到切换后活动画面;
将第四监控界面中当前所显示的活动画面更新为所述切换后活动画面。
6.根据权利要求3至5任一项所述的方法,其特征在于,所述第四监控界面包括向前切换控件和/或向后切换控件,所述在所述远程监控设备上对所述第一监控界面、第二监控界面、第三监控界面和第四监控界面进行显示之后,还包括:
响应于用户通过所述向前切换控件所触发的活动画面切换指令,获取第四监控界面当前所显示的活动画面的上一张活动画面,将第四监控界面中当前所显示的活动画面更新为所述上一张活动画面;利用所述缩略图显示控件生成所述上一张活动画面的缩略图,以及确定所述上一张活动画面对应的轨迹点,根据确定的轨迹点在第三监控界面中的活动轨迹上显示所述上一张活动画面的缩略图,并停止显示原来显示的缩略图;利用所述拍摄角度切换控件确定所述上一张活动画面的画面拍摄角度,根据确定的轨迹点在第三监控界面中的活动轨迹上标识出所述画面拍摄角度;和/或,
响应于用户通过所述向后切换控件所触发的活动画面切换指令,获取第四监控界面当前所显示的活动画面的下一张活动画面,将第四监控界面中当前所显示的活动画面更新为所述下一张活动画面;利用所述缩略图显示控件生成所述下一张活动画面的缩略图,以及确定所述下一张活动画面对应的轨迹点,根据确定的轨迹点在第三监控界面中的活动轨迹上显示所述下一张活动画面的缩略图,并停止显示原来显示的缩略图;利用所述拍摄角度切换控件确定所述下一张活动画面的画面拍摄角度,根据确定的轨迹点在第三监控界面中的活动轨迹上标识出所述画面拍摄角度。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述付款信息包括已付款商品信息,所述第三监控界面包括付款信息显示控件,所述在所述远程监控设备上对所述第一监控界面、第二监控界面、第三监控界面和第四监控界面进行显示之后,还包括:
生成所述已付款商品信息的缩略信息;
根据已付款商品信息确定对应的商品陈列区域,并确定所述商品陈列区域对应的轨迹点,所述商品陈列区域位于监控区域内;
根据确定的轨迹点,利用所述付款信息显示控件在第三监控界面中的活动轨迹上显示所述缩略信息。
8.根据权利要求1至5任一项所述的方法,其特征在于,所述无人值守商店设置有商店入口和商店出口,所述通过远程监控设备接收本地监控设备发送的针对目标对象的付款核对消息之前,还包括:
当目标对象进入所述商店入口时,采集所述目标对象的特征信息;
当所述目标对象进入所述商店出口时,根据所述特征信息从本地监控设备拍摄的监控视频中调取与所述目标对象对应的视频帧;
根据所述视频帧生成所述目标对象在无人值守商店中的活动轨迹、以及所述目标对象在监控区域内的活动画面;
获取所述目标对象对应的付款信息;
在基于所述付款信息、活动轨迹和活动画面确定不需要进行付款核对操作时,允许所述目标对象通过所述商店出口;
在基于所述付款信息、活动轨迹和活动画面确定需要进行付款核对操作时,通过本地监控设备向远程监控设备发送针对所述目标对象的付款核对消息。
9.根据权利要求8所述的方法,其特征在于,所述根据所述视频帧生成所述目标对象在无人值守商店中的活动轨迹、以及所述目标对象在监控区域内的活动画面,包括:
根据所述视频帧确定所述目标对象在商店内的位置信息和时间信息;
筛选出位于所述监控区域内的位置信息,得到筛选后位置信息;
根据所述筛选后位置信息在预设的商店地图中生成所述目标对象的轨迹点;
按照时间信息的先后顺序对所述轨迹点进行连接,得到所述目标对象在商店内的活动轨迹;
根据所述位置信息和时间信息筛选出所述目标对象位于监控区域内,且停留时间大于设定值的视频帧,得到所述目标对象在监控区域内的活动画面。
10.根据权利要求8所述的方法,其特征在于,所述付款信息包括已付款商品信息、付款金额和已付款商品数量,基于所述付款信息、活动轨迹和活动画面确定是否需要进行付款核对操作,包括:
若所述付款信息中的付款金额小于第二阈值或已付款商品数量大于第三阈值,则确定需要进行付款核对操作;
若所述付款信息中的付款金额大于等于第二阈值,且已付款商品数量小于等于第三阈值,则根据所述已付款商品信息确定对应的商品陈列区域,所述商品陈列区域位于所述监控区域内;
获取所述商品陈列区域在所述活动轨迹中的占比;
若所述占比小于第一阈值,则确定需要进行付款核对操作;
若所述占比大于等于第一阈值,则确定不需要进行付款核对操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311326857.8A CN117424981A (zh) | 2023-06-20 | 2023-06-20 | 无人值守商店的付款核对方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311326857.8A CN117424981A (zh) | 2023-06-20 | 2023-06-20 | 无人值守商店的付款核对方法 |
CN202310732329.6A CN116471383B (zh) | 2023-06-20 | 2023-06-20 | 无人值守商店监控界面的显示方法及装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310732329.6A Division CN116471383B (zh) | 2023-06-20 | 2023-06-20 | 无人值守商店监控界面的显示方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117424981A true CN117424981A (zh) | 2024-01-19 |
Family
ID=87175699
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311326857.8A Pending CN117424981A (zh) | 2023-06-20 | 2023-06-20 | 无人值守商店的付款核对方法 |
CN202310732329.6A Active CN116471383B (zh) | 2023-06-20 | 2023-06-20 | 无人值守商店监控界面的显示方法及装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310732329.6A Active CN116471383B (zh) | 2023-06-20 | 2023-06-20 | 无人值守商店监控界面的显示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN117424981A (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5962916B2 (ja) * | 2012-11-14 | 2016-08-03 | パナソニックIpマネジメント株式会社 | 映像監視システム |
JP6730079B2 (ja) * | 2016-04-28 | 2020-07-29 | 東芝テック株式会社 | 監視装置及びプログラム |
CN109558785A (zh) * | 2017-09-25 | 2019-04-02 | 北京缤歌网络科技有限公司 | 安防监控系统及应用其的无人便利店 |
CN110009836A (zh) * | 2019-03-29 | 2019-07-12 | 江西理工大学 | 基于高光谱摄像技术的深度学习的系统及方法 |
CN110263613A (zh) * | 2019-04-25 | 2019-09-20 | 深圳市商汤科技有限公司 | 监控视频处理方法及装置 |
CN110490697A (zh) * | 2019-08-01 | 2019-11-22 | 广州织点智能科技有限公司 | 无人便利店结算方法、装置、计算机及存储介质 |
CN111784445B (zh) * | 2020-06-18 | 2024-03-01 | 杭州海康威视系统技术有限公司 | 一种商品购物清单的确定方法、装置、系统及电子设备 |
CN114445927A (zh) * | 2020-10-16 | 2022-05-06 | 喆优(东莞)电子科技有限公司 | 一种远程共享督导门店系统及其应用方法 |
CN114943846A (zh) * | 2022-04-06 | 2022-08-26 | 杭州海康威视系统技术有限公司 | 一种订单申诉的处理方法及装置 |
-
2023
- 2023-06-20 CN CN202311326857.8A patent/CN117424981A/zh active Pending
- 2023-06-20 CN CN202310732329.6A patent/CN116471383B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN116471383A (zh) | 2023-07-21 |
CN116471383B (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10185965B2 (en) | Stay duration measurement method and system for measuring moving objects in a surveillance area | |
US10965913B2 (en) | Monitoring apparatus, monitoring system and monitoring method | |
CN110866429B (zh) | 漏扫识别方法、装置、自助收银终端及系统 | |
US10180326B2 (en) | Staying state analysis device, staying state analysis system and staying state analysis method | |
EP3745296A1 (en) | Image monitoring-based commodity sensing system and commodity sensing method | |
US10445589B2 (en) | Method and system for queue length analysis | |
CN105516648B (zh) | 活动状况分析装置、活动状况分析系统及活动状况分析方法 | |
US11087271B1 (en) | Identifying user-item interactions in an automated facility | |
CN111263224B (zh) | 视频处理方法、装置及电子设备 | |
US20210398097A1 (en) | Method, a device and a system for checkout | |
US20150127485A1 (en) | Customer management device, customer management system and customer management method | |
CN111222870B (zh) | 结算方法、装置和系统 | |
CN109447598A (zh) | 支付数据处理方法、装置、计算机设备和存储介质 | |
CN116471384B (zh) | 无人值守商店监控系统的控制方法及控制装置 | |
CN109978668A (zh) | 基于时间戳匹配的交易顾客识别方法、系统、设备及介质 | |
CN111260685B (zh) | 视频处理方法、装置及电子设备 | |
CN116471383B (zh) | 无人值守商店监控界面的显示方法及装置 | |
CN111507792A (zh) | 一种自助购物方法、计算机可读存储介质及系统 | |
JP2023504871A (ja) | 不正検出システムおよび方法 | |
CN116958908A (zh) | 监控数据处理方法及系统 | |
KR102585358B1 (ko) | 인공지능 기반의 영상 분석 모델을 이용하여 무인 매장 고객의 행동 패턴을 분석하는 방법 및 장치 | |
US11494729B1 (en) | Identifying user-item interactions in an automated facility | |
KR102620264B1 (ko) | 인공지능 모델을 이용하여 분석된 무인 매장 고객 행동 분석 결과를 표현하는 방법 및 장치, 그리고 시스템 | |
EP4372653A1 (en) | Risk identification method, apparatus, device and storage medium for self-service checkout | |
KR102585357B1 (ko) | 무인 매장 내 장치의 효율적인 정보 송수신 방법, 및 효율적인 정보 송수신을 위한 무인 매장 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |