CN109271847A - 无人结算场景中异常检测方法、装置及设备 - Google Patents

无人结算场景中异常检测方法、装置及设备 Download PDF

Info

Publication number
CN109271847A
CN109271847A CN201810865617.8A CN201810865617A CN109271847A CN 109271847 A CN109271847 A CN 109271847A CN 201810865617 A CN201810865617 A CN 201810865617A CN 109271847 A CN109271847 A CN 109271847A
Authority
CN
China
Prior art keywords
image
detection
region
depth
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810865617.8A
Other languages
English (en)
Other versions
CN109271847B (zh
Inventor
侯章军
杨旭东
张晓博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810865617.8A priority Critical patent/CN109271847B/zh
Publication of CN109271847A publication Critical patent/CN109271847A/zh
Priority to SG11202010377RA priority patent/SG11202010377RA/en
Priority to EP19844523.1A priority patent/EP3779776B1/en
Priority to PCT/CN2019/089187 priority patent/WO2020024691A1/zh
Priority to TW108119153A priority patent/TWI723411B/zh
Priority to US17/086,150 priority patent/US11132559B2/en
Application granted granted Critical
Publication of CN109271847B publication Critical patent/CN109271847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本说明书实施例提供一种无人结算场景中异常检测方法、装置及设备，本说明书实施例通过在无人结算场景中设置拍摄区域至少包括检测区域的深度摄像设备，可以利用从深度摄像设备中获取的图像数据，对进入检测区域的人体对象进行检测，由于图像数据包括深度图像和RGB图像，检测区域是结算前对待结算商品进行检测的区域，从而可以实现至少利用深度图像和RGB图像判断检测区域的人数是否异常或人体手势是否异常，进而决定是否通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。

Description

无人结算场景中异常检测方法、装置及设备
技术领域
本说明书涉及数据处理领域，尤其涉及无人结算场景中异常检测方法、装置及设备。
背景技术
随着科技的发展，无人结算场景越来越多的应用到日常生活中，例如无人商店、无人商场等。在顾客选购商品后，可以进入指定的检测区域进行自动检测和结算。在检测区域内，中控系统可以自动检测顾客所购商品，并将商品信息传送至支付平台，完成自动结算操作。然而，在检测区域内，可能发生异常事件而给商家或顾客造成损失等。因此，需要在无人结算场景中提供一种有效的异常检测方案。
发明内容
为克服相关技术中存在的问题，本说明书提供了无人结算场景中异常检测方法、装置及设备。
根据本说明书实施例的第一方面，提供一种无人结算场景中异常检测方法，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述方法包括：
获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RGB图像；
利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
在一个实施例中，所述人数检测的步骤包括：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。
在一个实施例中，所述深度图像和RGB图像是深度摄像设备在同一时刻采集同一场景获得，所述手势检测的步骤包括：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；
结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势。
在一个实施例中，所述结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势，包括：
对深度图像中表征独立人体的连通区域进行人体手部定位；
若获得手部区域，则对RGB图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；
若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应RGB图像的独立人体区域，对RGB图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。
在一个实施例中，所述方法还包括以下一种或多种方式：
利用深度图像检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测；
利用深度图像检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。
根据本说明书实施例的第二方面，提供一种无人结算场景中异常检测装置，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述装置包括：
数据获取模块，用于：获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RGB图像；
异常检测模块，用于：利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
异常处理模块，用于：基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
在一个实施例中，所述异常检测模块用于：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。
在一个实施例中，所述深度图像和RGB图像是深度摄像设备在同一时刻采集同一场景获得，所述异常检测模块用于：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；
结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势。
在一个实施例中，所述异常检测模块具体用于：
对深度图像中表征独立人体的连通区域进行人体手部定位；
若获得手部区域，则对RGB图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；
若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应RGB图像的独立人体区域，对RGB图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。
根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，其中，所述处理器执行所述程序时实现如下方法：
获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RGB图像；
利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本说明书实施例通过在无人结算场景中设置拍摄区域至少包括检测区域的深度摄像设备，可以利用从深度摄像设备中获取的图像数据，对进入检测区域的人体对象进行检测，由于图像数据包括深度图像和RGB图像，检测区域是结算前对待结算商品进行检测的区域，从而可以实现利用深度图像和RGB图像判断检测区域的人数是否异常或人体手势是否异常，进而决定是否通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测方法的流程图。
图2是本说明书根据一示例性实施例示出的另一种无人结算场景中异常检测方法的流程图。
图3是本说明书根据一示例性实施例示出的一种异常检测方法的应用场景示意图。
图4是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测装置所在计算机设备的一种硬件结构图。
图5是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着移动支付技术的不断深化，当无人超市的出现，则由于其具有“无人值守”以及顾客完全自主结算的特点，彻底颠覆了传统的零售模式。在顾客选购商品后，可以进入检测区域进行商品检测，进而实现自动结算，例如，进入“支付门”进行结算。然而正由于“无人值守”的特点，在检测区域内，可能出现顾客将商品举起以避免商品被检测到的情况，又或者，可能出现将其他顾客所购商品识别为当前顾客所购商品等异常情况。
鉴于此，本说明书实施例提供一种无人结算场景中异常检测方案，通过在无人结算场景中设置拍摄区域至少包括检测区域的深度摄像设备，可以利用从深度摄像设备中获取的图像数据，对进入检测区域的人体对象进行检测，由于图像数据包括深度图像和RGB图像，检测区域是结算前对待结算商品进行检测的区域，从而可以实现利用深度图像和RGB图像判断检测区域的人数是否异常或人体手势是否异常，进而决定是否通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。
以下结合附图对本说明书实施例进行示例说明。
如图1所示，是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测方法的流程图，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述方法可以包括：
在步骤102中，获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RGB图像；
在步骤104中，利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
在步骤106中，基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
在该实施例中，无人结算场景可以是没有人工进行商品结算的场景，例如，无人超市、无人商店、无人商场等场景。在一个实施例中，顾客可以到检测区域内完成商品检测操作，中控系统可以将检测结果发送至支付平台，由支付平台完成结算操作。例如，进入支付门所指示的检测区域完成商品检测，进而完成商品结算操作。在一个实施例中，支付门可以是拥有至少一道门的支付通道，商品检测可以在该通道内完成，而商品结算操作可以在该通道内完成，也可以不在该通道内完成。例如，一种实现方式中，在结算完成后，才控制门打开，对顾客进行放行。另一种实现方式中，由于预先对顾客的支付账户进行关联，因此在对商品检测完成后即可控制门打开，后续执行结算操作，而无需等到结算流程结束。因此，支付通道又可以称为检测通道。在一个例子中，支付通道可以是封闭式的。而在另一个例子中，为了提高用户体验，支付通道也可以不是封闭式的。
本说明书实施例方法可以应用在无人结算场景中。在一个实施例中，所述方法可以应用于设置在支付通道的嵌入式开发板中，嵌入式开发板可以具有GPU运算功能，实现异常检测和商品检测的一体化。进一步的，还可以采用模型压缩的方式，减少嵌入式开发板的计算量。
在本实施例的无人结算场景中，设有拍摄区域至少包括检测区域的深度摄像设备。深度摄像设备可以是能采集深度图像和RGB图像的摄像设备。深度图像的每个像素点值可用于表征场景中某一点距离摄像设备的距离，该像素值又可以称为该像素点的深度值或深度信息。不同的深度摄像设备可以采用不同的深度图像获取方法。例如，可以利用由双RGB摄像头组成的深度摄像设备，采用双目匹配法获得深度图像。又如，可以利用由一个RGB摄像头+结构光头投射器(红外)+结构光深度感应器构成的深度摄像设备，采用结构光检测法获得深度图像。应当理解的是，还可以采用其他深度摄像设备以及其他获取深度图像的方法，在此不一一赘述。
深度摄像设备的拍摄区域至少包括检测区域，可以基于该目的将深度摄像设备设置在与支付通道关联的位置处。在一个实施例中，可以将深度摄像设备设置在支付通道的末端、并以能拍摄到检测区域为标准而设置深度摄像设备，以实现顾客从支付通道首端走向末端时，深度图像中用于指示顾客的深度值越来越小。
为了能利用图像数据对进入检测区域的人体对象进行检测，可以预先对检测区域进行标定，以确定实际场景中检测区域与图像的关系。在一个实施例中，可以根据检测设置在检测区域边界的指定对象，标定检测区域对应在图像中的区域。例如，将指定对象设置在实际场景中检测区域的边界处，以界定检测区域的边界。从深度摄像设备中获取深度图像和RGB图像，利用RGB图像进行图像识别以检测指定对象在图像中的区域，利用深度图像获取指定对象的深度值，从而完成检测区域的自动标定。在一个实施例中，指定对象可以是方形板，以降低检测难度。
在本说明书实施例中，可以利用图像数据对进入检测区域的人体对象进行检测，以判断是否发生异常事件，并在发生异常事件时进行报警以及停止商品检测。异常事件可以据具体应用场景而定，基于不同的异常事件，配置不同的预设异常条件。
在一个实施例中，为了避免误将其他顾客的商品识别为当前顾客的商品，可以限制进入检测区域的人数。异常条件可以包括：进入检测区域的人体对象的人数大于预设人数阈值。相应的，在进入检测区域的人体对象的人数大于预设人数阈值时，判定发生异常事件。预设人数阈值根据应用场景所配置的设备而定。在一个例子中，预设人数阈值可以为1，从而实现限制进入检测区域的人数为1，在人数大于1时，停止商品检测，并进行报警。
关于人数检测，人数检测可以基于对从深度摄像设备获取的深度图像进行检测获得。例如，基于深度图像，进行运动行人检测、行人分割，以获得检测区域内的人数。以下以一种具体实现手段进行示例说明，人数检测的步骤可以包括：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。
其中，背景建模可以是动态不断更新的过程，可以不断的读取数据并重新进行背景建模。例如，采用上一次更新获得的背景模型判断检测区域是否有人，定时获取无人图像、并利用高斯背景建模的方式对上一次更新的背景模型进行更新。其中，初始背景模型基于采集的无人图像初始化获得。
将当前获取的深度图像(当前帧的深度图像)与背景模型进行比较，可以从当前帧深度图像中获取用于表示运动对象的前景图像。例如，对比当前帧的深度图像和背景图像，计算二者在每个相对应的像素点的差，并找出差值满足一定条件的各个像素点的位置坐标，从而获得前景图像。
在该实施例中，可以通过深度视频完成背景建模的过程，当有物体进入检测区域，可以将有变化的运动对象视为运动前景，再通过图像识别技术判断运动对象是否为人体。
由于同一个人的深度值往往比较接近，而同一个个体又具有连通性，因此，可以结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得检测区域内的人数。连通区域(Connected Component)可以是指图像中具有相近像素值且位置相邻的前景像素点组成的图像区域(Region，Blob)。连通区域分析可以是指将图像中的各个连通区域找出并标记。
在一个例子中，可以采用领域判断来对前景图像进行连通区域分析。判断一个像素点的领域位置上各个像素点是否与该像素点的性质相似，并把这些性质相似的像素点归为同一整体。本实施例中，性质相似可以是指深度值相近。
由上述实施例可见，本实施例通过背景建模的方式提取前景图像，在判定前景图像中运动对象为人体对象时，结合深度图像中的深度值对前景图像进行连通区域分析，实现人体分割，相对于用RGB图像进行人体分割而言，能快速获得检测区域内的人数，减少运算量。
在另一个实施例中，顾客可能为了逃单而执行某些异常行为，特别是异常手势，因此可以检测进入检测区域内人体的手势，在进入检测区域的人体对象的手势为预设异常手势时，判定发生异常事件。预设异常手势可以视商品检测装置可检测范围而定，例如，可以将能避开检测装置可检测范围的手势确定为预设异常手势。如，预设异常手势可以是举手手势或将手抬高手势等，以实现在顾客执行异常手势时可以避免商品被监测。在某些场景中，异常手势还可以按左右手进行区分，以实现不同手执行相同手势时判定结果不同。其中，左右手的异常手势可以视具体场景而定。
关于手势检测，手势检测可以基于对从深度摄像设备获取的深度图像和RGB图像进行检测获得。其中，所述深度图像和RGB图像是深度摄像设备在同一时刻采集同一场景获得。深度图像和RGB图像是以不同数据反应同一场景的图像，深度图像采用深度值反应场景中某一点距离摄像设备的距离。在一个例子中，基于深度图像和RGB图像，进行运动行人检测、行人分割、人体手部定位和截取以及手势识别，以获得检测区域内行人的手势。以下以一种具体实现手段进行示例说明，手势检测的步骤可以包括：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；
结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势。
其中，前景图像获取、人体对象判断以及连通区域分析等与人数检测中相关技术相同，在此不一一赘述。该实施例采用深度图像获得表征独立人体的连通区域，相较于采用RGB图像获得表征独立人体的连通区域，可以节约运算量。
本实施例在通过深度图像获得表征独立人体的连通区域后，可以结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势。在获得连通区域后，可以结合RGB图像和深度图像进行手势识别。例如，利用深度图像确定手部区域的置信度，若置信度大于预设阈值，则将深度图像中手部区域映射到RGB图像中，对RGB图像中与手部区域相对应区域进行手势判断。若无法通过深度图像判断出手部区域，则将深度图像中连通区域映射到RGB图像上，通过RGB图像判断手部区域以及手势。具体的，所述结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势，可以包括：
对深度图像中表征独立人体的连通区域进行人体手部定位；
若获得手部区域，则对RGB图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；
若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应RGB图像的独立人体区域，对RGB图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。
在该实施例中，可以通过人体分割的信息获取每个人体单独的深度连通区域，并且通过单独人体的深度信息获取相对于人体前端的手部区域，最后通过前端区域与身体区域的相对位置进行左右手的判断和截取，从而获得手部区域。使用在深度图像中获取的手部区域的位置，在RGB图像中的相应区域进行手部截取，获得手部图像。对手部图像进行手部骨骼形态识别，获取手部骨骼的形态，并在此基础上进行手势识别。例如，可以通过手部骨骼检测方法获取手部的骨架，然后通过手部骨架中五个手指骨架的形状判别，实现手部动作的识别。
由上述实施例可见，先利用深度图像获得手部区域，再对RGB图像中与手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势，可以减少计算量。
应当理解的是，异常条件还可以包括其他条件，例如，进入检测区域的人体对象的人体姿态为预设异常姿态，因此，所述检测还可以包括人体姿态检测，针对其他情况在此不一一赘述。
在预设异常条件满足时，可以通知中控系统停止商品检测，并触发报警操作。商品检测是结算操作的前序工作，因此，在商品检测中断时，结算操作也中断。其中，中控系统可以是结算前对商品进行检测的系统。对商品进行检测，可以包括识别商品，获得商品数量、价格等用于结算所需的商品信息。例如，可以采用射频识别Radio FrequencyIdentification，RFID)技术读取商品上的电子标签，以获得用于结算所需的商品信息。当然，也可以采用其他手段对商品进行检测，以获得用于结算所需的商品信息，在此不做限制。报警操作可以由本执行端通过中控系统进行触发，也可以由本执行端直接通知报警模块进行报警操作。
由上述实施例可见，本实施例通过在无人结算场景中设置拍摄区域至少包括检测区域的深度摄像设备，可以利用从深度摄像设备中获取的图像数据，对进入检测区域的人体对象进行检测，由于图像数据包括深度图像和RGB图像，检测区域是结算前对待结算商品进行检测的区域，从而可以实现利用深度图像判断检测区域的人数是否异常，或，利用深度图像和RGB图像判断检测区域内人体手势是否异常，进而决定是否通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。
为了避免中控系统实时检测导致资源浪费，在一个实施例中，可以利用深度图像检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测。
在该实施例中，当检测区域从无人体对象到有人体对象时，可以开启商品检测功能。可见，在有人体对象进入无人体对象的检测区域时才触发商品检测操作，可以实现自动开启商品检测功能。
在另一个实施例中，可以利用深度图像检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。
在该实施例中，当人体对象离开检测区域、且没有其他人进入检测区域时，可以关闭商品检测功能。进一步的，若当前人体对象离开检测区域后的预设时间段内，若未存在其他人体对象进入检测区域时，则可以通知中控系统停止商品检测。
可见，通过深度图像可以自动关闭商品检测功能，避免中控系统实时检测导致资源浪费。
以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
以下以其中一种组合进行示例说明。
如图2所示，是本说明书根据一示例性实施例示出的另一种无人结算场景中异常检测方法的流程图，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述方法包括：
在步骤202中，获取深度摄像设备在同一时刻采集同一场景的深度图像和RGB图像。
其中，深度摄像设备可以处于常开状态，或在指定工作时间段处于常开状态。例如，指定工作时间可以是无人商店的营业时间。
在步骤204中，利用所述深度图像进行运动行人检测，若检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测；若检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。
在一个例子中，可以根据背景模型和当前获取的深度图像，从深度图像中获取用于表示运动对象的前景图像，利用所述前景图像判断运动对象是否为人体对象。
在步骤206中，对运动行人检测结果进行行人分割，获得表征独立人体的连通区域以及进入检测区域的人体对象的人数，并结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势。
其中，可以结合深度图像中的深度值对所述前景图像进行连通区域分析，以进行行人分割。
在步骤208中，若进入检测区域的人体对象的人数大于预设人数阈值，则通知中控系统停止商品检测，并触发报警操作。
在步骤210中，若进入检测区域的人体对象的手势为预设异常手势，则通知中控系统停止商品检测，并触发报警操作。
其中，图2与图1中相关技术相同，在此不一一赘述。
在该实施例中，通过深度图像实现运动行人检测、行人分割，结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势，可以减少计算量；并且可以自动控制商品检测功能的开启和关闭，避免商品检测功能处于常开状态导致的资源浪费，而且可以在检测区域内人数异常以及人体手势异常时，通知中控系统停止商品检测以及触发报警操作，避免异常情况给顾客或商家造成的损失。
本说明书实施例还以一种具体应用场景为例对无人结算场景中异常检测方案进行示例说明。如图3所示，是本说明书根据一示例性实施例示出的一种异常检测方法的应用场景示意图。在该实施例中，支付通道可以是非封闭式的，深度摄像设备可以是设置在支付通道末端的RGBD摄像头。支付通道所在区域为检测区域。由于可以实时从RGBD摄像头中获取深度图像和RGB图像，因此，可以利用深度图像判断是否有顾客走入检测区域，若是，则可以通知中控系统开启商品检测功能。利用深度图像和RGB图像判断是否发生异常事件，在发生异常事件时，阻止中控系统检测顾客所持商品，并触发报警操作，避免异常事件导致的利益冲突。若未发生异常事件，中控系统可以继续进行商品检测，并将获得的商品信息传送至支付平台，利用支付平台完成结算操作。例如，在检测区域内存在多个顾客时，可以控制中控系统停止检测顾客所持商品，并触发报警操作。顾客在检测区域内执行异常手势时，可以控制中控系统停止检测顾客所持商品，并触发报警操作。支付通道末端还可以设置阀门，在检测完成，或者结算完成时，打开阀门，对顾客进行放行。
与前述无人结算场景中异常检测方法的实施例相对应，本说明书还提供了无人结算场景中异常检测装置及其所应用的电子设备的实施例。
本说明书无人结算场景中异常检测装置的实施例可以应用在计算机设备，计算机设备可以具有GPU运算功能。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本说明书无人结算场景中异常检测装置所在计算机设备的一种硬件结构图，除了图4所示的处理器410、网络接口420、内存430、以及非易失性存储器440之外，实施例中无人结算场景中异常检测装置431所在的计算机设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
如图5所示，是本说明书根据一示例性实施例示出的一种无人结算场景中异常检测装置的框图，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述装置包括：
数据获取模块52，用于：获取深度摄像设备中的图像数据，所述图像数据可以包括深度图像和RGB图像；
异常检测模块54，用于：利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
异常处理模块56，用于：基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
在一个实施例中，所述异常检测模块54用于：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。
在一个实施例中，所述深度图像和RGB图像是深度摄像设备在同一时刻采集同一场景获得，所述异常检测模块54用于：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；
结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势。
在一个实施例中，所述异常检测模块54具体用于：
对深度图像中表征独立人体的连通区域进行人体手部定位；
若获得手部区域，则对RGB图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；
若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应RGB图像的独立人体区域，对RGB图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。
在一个实施例中，所述异常处理模块56，还用于执行以下一种或多种处理：
利用深度图像检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测；
利用深度图像检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本说明书实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，其中，所述处理器执行所述程序时实现如下方法：
获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RG B图像；
利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令包括：
获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RGB图像；
利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (11)

1.一种无人结算场景中异常检测方法，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述方法包括：
获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RGB图像；
利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
2.根据权利要求1所述的方法，所述人数检测的步骤包括：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。
3.根据权利要求1所述的方法，所述深度图像和RGB图像是深度摄像设备在同一时刻采集同一场景获得，所述手势检测的步骤包括：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；
结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势。
4.根据权利要求3所述的方法，所述结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势，包括：
对深度图像中表征独立人体的连通区域进行人体手部定位；
若获得手部区域，则对RGB图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；
若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应RGB图像的独立人体区域，对RGB图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。
5.根据权利要求1至4任一项所述的方法，所述方法还包括以下一种或多种方式：
利用深度图像检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测；
利用深度图像检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。
6.一种无人结算场景中异常检测装置，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，所述装置包括：
数据获取模块，用于：获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RGB图像；
异常检测模块，用于：利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
异常处理模块，用于：基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
7.根据权利要求6所述的装置，所述异常检测模块用于：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果获得所述检测区域内的人数。
8.根据权利要求6所述的装置，所述深度图像和RGB图像是深度摄像设备在同一时刻采集同一场景获得，所述异常检测模块用于：
根据背景模型和当前获取的深度图像，从所述深度图像中获取用于表示运动对象的前景图像，所述背景模型基于利用在没有运动对象经过检测区域时获得的深度图像进行背景建模获得；
若利用所述前景图像判定运动对象为人体对象，结合深度图像中的深度值对所述前景图像进行连通区域分析，并根据分析结果将所述前景图像中的人体区域进行分割，获得表征独立人体的连通区域；
结合深度图像中的连通区域、以及RGB图像中与连通区域相应的区域，确定人体对象的手势。
9.根据权利要求8所述的装置，所述异常检测模块具体用于：
对深度图像中表征独立人体的连通区域进行人体手部定位；
若获得手部区域，则对RGB图像中与所述手部区域对应的区域进行手部骨架检测，并根据检测结果确定人体对象的手势；
若未获得手部区域，则根据深度图像中表征独立人体的连通区域，获取对应RGB图像的独立人体区域，对RGB图像中独立人体区域进行手部骨架检测，并根据检测结果确定人体对象的手势。
10.根据权利要求6至9任一项所述的装置，所述异常处理模块，还用于执行以下一种或多种处理：
利用深度图像检测到有人体对象进入无人体对象的检测区域时，通知中控系统开始商品检测；
利用深度图像检测到当前人体对象离开、且未存在其他人体对象进入检测区域时，通知中控系统停止商品检测。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，在无人结算场景中设有拍摄区域至少包括检测区域的深度摄像设备，所述检测区域是结算前对待结算商品进行检测的区域，其中，所述处理器执行所述程序时实现如下方法：
获取深度摄像设备中的图像数据，所述图像数据包括深度图像和RGB图像；
利用所述图像数据对进入检测区域的人体对象进行检测，所述检测包括人数检测、手势检测中的一种或多种，
基于检测结果确定预设异常条件满足时，通知中控系统停止商品检测，并触发报警操作，所述异常条件包括：进入检测区域的人体对象的人数大于预设人数阈值、进入检测区域的人体对象的手势为预设异常手势中的一种或多种。
CN201810865617.8A 2018-08-01 2018-08-01 无人结算场景中异常检测方法、装置及设备 Active CN109271847B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810865617.8A CN109271847B (zh) 2018-08-01 2018-08-01 无人结算场景中异常检测方法、装置及设备
SG11202010377RA SG11202010377RA (en) 2018-08-01 2019-05-30 Abnormality detection method, apparatus, and device for unmanned checkout
EP19844523.1A EP3779776B1 (en) 2018-08-01 2019-05-30 Abnormality detection method, apparatus and device in unmanned settlement scenario
PCT/CN2019/089187 WO2020024691A1 (zh) 2018-08-01 2019-05-30 无人结算场景中异常检测方法、装置及设备
TW108119153A TWI723411B (zh) 2018-08-01 2019-06-03 無人結算場景中異常檢測方法、裝置及設備
US17/086,150 US11132559B2 (en) 2018-08-01 2020-10-30 Abnormality detection method, apparatus, and device for unmanned checkout

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810865617.8A CN109271847B (zh) 2018-08-01 2018-08-01 无人结算场景中异常检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN109271847A true CN109271847A (zh) 2019-01-25
CN109271847B CN109271847B (zh) 2023-04-07

Family

ID=65148314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810865617.8A Active CN109271847B (zh) 2018-08-01 2018-08-01 无人结算场景中异常检测方法、装置及设备

Country Status (6)

Country Link
US (1) US11132559B2 (zh)
EP (1) EP3779776B1 (zh)
CN (1) CN109271847B (zh)
SG (1) SG11202010377RA (zh)
TW (1) TWI723411B (zh)
WO (1) WO2020024691A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262731A (zh) * 2019-05-29 2019-09-20 阿里巴巴集团控股有限公司 一种交互系统的输入信息获取方法、装置及电子设备
WO2020024691A1 (zh) * 2018-08-01 2020-02-06 阿里巴巴集团控股有限公司 无人结算场景中异常检测方法、装置及设备
CN111144231A (zh) * 2019-12-09 2020-05-12 深圳市鸿逸达科技有限公司 一种基于深度图像的自助通道防尾随检测方法和系统
CN111640150A (zh) * 2019-09-20 2020-09-08 于贵庆 视频数据来源解析系统及方法
CN111988579A (zh) * 2020-08-31 2020-11-24 杭州海康威视系统技术有限公司 数据审核方法、系统和电子设备
CN114724041A (zh) * 2022-06-02 2022-07-08 浙江天铂云科光电股份有限公司 基于深度学习的电力设备红外热图的识别方法及系统
CN115497055A (zh) * 2022-11-18 2022-12-20 四川汉唐云分布式存储技术有限公司 无人值守商店的商品防盗检测方法、装置及存储介质
CN115965249A (zh) * 2022-12-16 2023-04-14 多彩贵州印象网络传媒股份有限公司 基于人工智能技术的视联网客户智能分析管理系统
CN116258489A (zh) * 2022-12-19 2023-06-13 深圳市中磁计算机技术有限公司 一种应用于pos机的安全支付方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052144B (zh) * 2021-04-30 2023-02-28 平安科技（深圳）有限公司 活体人脸检测模型的训练方法、装置、设备及存储介质
CN113139804A (zh) * 2021-05-11 2021-07-20 支付宝(杭州)信息技术有限公司 一种结算设备
JP2023077805A (ja) * 2021-11-25 2023-06-06 東芝テック株式会社 決済者監視装置及びそのプログラム、決済者監視方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467657A (zh) * 2010-11-16 2012-05-23 三星电子株式会社 手势识别系统和方法
US20120330788A1 (en) * 2011-06-27 2012-12-27 Robert Hanson Payment selection and authorization by a mobile device
CN102930524A (zh) * 2012-09-11 2013-02-13 无锡数字奥森科技有限公司 一种基于垂直放置的深度摄像头的人头检测方法
CN103530892A (zh) * 2013-10-21 2014-01-22 清华大学深圳研究生院 一种基于Kinect传感器的双手跟踪方法与装置
CN103926999A (zh) * 2013-01-16 2014-07-16 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
CN104038799A (zh) * 2014-05-21 2014-09-10 南京大学 一种面向立体电视的手势操控方法
CN104714649A (zh) * 2015-03-31 2015-06-17 王子强 一种基于kinect的裸眼3D UI交互方法
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN104899947A (zh) * 2015-05-25 2015-09-09 郑州天迈科技股份有限公司 公交客流统计方法
CN105608479A (zh) * 2016-03-01 2016-05-25 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
CN106530310A (zh) * 2016-10-25 2017-03-22 深圳大学 一种基于人体头顶部识别的行人统计方法及装置
CN106886994A (zh) * 2017-02-08 2017-06-23 青岛大学 一种基于深度相机的人流量智能检测装置和检测方法
CN107067621A (zh) * 2017-04-21 2017-08-18 湖南孚利购科技有限公司 一种防盗方法及系统

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263088B1 (en) * 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US20090134221A1 (en) * 2000-11-24 2009-05-28 Xiaoxun Zhu Tunnel-type digital imaging-based system for use in automated self-checkout and cashier-assisted checkout operations in retail store environments
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
JP2007233828A (ja) * 2006-03-02 2007-09-13 Toshiba Tec Corp セルフチェックアウト端末
US8903119B2 (en) * 2010-10-11 2014-12-02 Texas Instruments Incorporated Use of three-dimensional top-down views for business analytics
US8418919B1 (en) * 2011-01-04 2013-04-16 Intellectual Ventures Fund 79 Llc Apparatus and method for mobile checkout
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US8908903B2 (en) 2011-08-31 2014-12-09 The Nielsen Company (Us), Llc Image recognition to support shelf auditing for consumer research
GB201117412D0 (en) * 2011-10-07 2011-11-23 Tensator Ltd Call forward system
US8678274B1 (en) * 2012-08-30 2014-03-25 Symbol Technologies, Inc. Point-of-transaction checkout system for and method of processing targets electro-optically readable by a clerk-operated workstation and by a customer-operated accessory reader
US9311668B2 (en) * 2013-01-30 2016-04-12 Wal-Mart Stores, Inc. Determining to audit a customer utilizing analytics
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9589433B1 (en) * 2013-07-31 2017-03-07 Jeff Thramann Self-checkout anti-theft device
JP6249021B2 (ja) * 2013-09-06 2017-12-20 日本電気株式会社 セキュリティシステム、セキュリティ方法及びセキュリティプログラム
CN204465737U (zh) * 2015-02-07 2015-07-08 北京市商汤科技开发有限公司 通关检测系统
CN104866830B (zh) * 2015-05-27 2019-01-25 北京格灵深瞳信息技术有限公司 一种异常动作检测方法及装置
CN108780545A (zh) * 2016-01-14 2018-11-09 迪堡多富公司 销售点交易
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
CN107547826A (zh) 2016-06-23 2018-01-05 吕嘉雄 图框分析装置
US10460582B2 (en) * 2016-10-04 2019-10-29 Avigilon Corporation Presence detection and uses thereof
EP3306528B1 (en) 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
CN114501721A (zh) * 2016-12-09 2022-05-13 路创技术有限责任公司 具有可见光传感器的负载控制系统
EP3340104B1 (en) 2016-12-21 2023-11-29 Axis AB A method for generating alerts in a video surveillance system
US20180197139A1 (en) * 2017-01-06 2018-07-12 Position Imaging, Inc. Package delivery sharing systems and methods
US10581975B2 (en) * 2017-05-19 2020-03-03 Walmart Apollo, Llc System and method for smart facilities monitoring
CN108039010B (zh) * 2018-01-08 2020-02-07 深圳正品创想科技有限公司 一种防盗方法、装置及无人商店
US11321592B2 (en) * 2018-04-25 2022-05-03 Avigilon Corporation Method and system for tracking an object-of-interest without any required tracking tag theron
CN110555356A (zh) * 2018-06-01 2019-12-10 财团法人工业技术研究院 自助结帐系统、方法与装置
US20200028703A1 (en) * 2018-07-19 2020-01-23 Rivieh Inc. Intelligent Environment Control Systems And Methods
CN109271847B (zh) * 2018-08-01 2023-04-07 创新先进技术有限公司 无人结算场景中异常检测方法、装置及设备
US11250606B2 (en) * 2019-07-31 2022-02-15 Grabango Co. Privacy protection in vision systems

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467657A (zh) * 2010-11-16 2012-05-23 三星电子株式会社 手势识别系统和方法
US20120330788A1 (en) * 2011-06-27 2012-12-27 Robert Hanson Payment selection and authorization by a mobile device
CN102930524A (zh) * 2012-09-11 2013-02-13 无锡数字奥森科技有限公司 一种基于垂直放置的深度摄像头的人头检测方法
CN103926999A (zh) * 2013-01-16 2014-07-16 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
CN103530892A (zh) * 2013-10-21 2014-01-22 清华大学深圳研究生院 一种基于Kinect传感器的双手跟踪方法与装置
CN104038799A (zh) * 2014-05-21 2014-09-10 南京大学 一种面向立体电视的手势操控方法
CN104714649A (zh) * 2015-03-31 2015-06-17 王子强 一种基于kinect的裸眼3D UI交互方法
CN104899947A (zh) * 2015-05-25 2015-09-09 郑州天迈科技股份有限公司 公交客流统计方法
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN105608479A (zh) * 2016-03-01 2016-05-25 北京正安维视科技股份有限公司 结合深度数据的异常行为检测方法及系统
CN106530310A (zh) * 2016-10-25 2017-03-22 深圳大学 一种基于人体头顶部识别的行人统计方法及装置
CN106886994A (zh) * 2017-02-08 2017-06-23 青岛大学 一种基于深度相机的人流量智能检测装置和检测方法
CN107067621A (zh) * 2017-04-21 2017-08-18 湖南孚利购科技有限公司 一种防盗方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
大虾玩学: "京东无人超市PK阿里无人超市，谁技高一筹？", 《HTTPS://WWW.SOHU.COM/A/208496789_100078322》 *
极客公园: "阿里巴巴这个无人超市，究竟有哪些值得注意的黑科技", 《HTTP://TECH.SINA.COM.CN/ROLL/2017-07-07/DOC-IFYHVYIE0525331.SHTML》 *
谁是大英雄: "阿里巴巴这个无人超市，究竟有哪些值得注意的黑科技", 《HTTPS://WWW.GEEKPARK.NET/NEWS/220377》 *
郎诗文: "无人超市竞品分析（1）：淘咖啡VSAmazon GO", 《HTTP://WWW.WOSHIPM.COM/EVALUATING/844631.HTML》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132559B2 (en) 2018-08-01 2021-09-28 Advanced New Technologies Co., Ltd. Abnormality detection method, apparatus, and device for unmanned checkout
WO2020024691A1 (zh) * 2018-08-01 2020-02-06 阿里巴巴集团控股有限公司 无人结算场景中异常检测方法、装置及设备
CN110262731A (zh) * 2019-05-29 2019-09-20 阿里巴巴集团控股有限公司 一种交互系统的输入信息获取方法、装置及电子设备
CN111640150A (zh) * 2019-09-20 2020-09-08 于贵庆 视频数据来源解析系统及方法
CN111144231B (zh) * 2019-12-09 2022-04-15 深圳市鸿逸达科技有限公司 一种基于深度图像的自助通道防尾随检测方法和系统
CN111144231A (zh) * 2019-12-09 2020-05-12 深圳市鸿逸达科技有限公司 一种基于深度图像的自助通道防尾随检测方法和系统
CN111988579A (zh) * 2020-08-31 2020-11-24 杭州海康威视系统技术有限公司 数据审核方法、系统和电子设备
CN114724041A (zh) * 2022-06-02 2022-07-08 浙江天铂云科光电股份有限公司 基于深度学习的电力设备红外热图的识别方法及系统
CN114724041B (zh) * 2022-06-02 2022-09-06 浙江天铂云科光电股份有限公司 基于深度学习的电力设备红外热图的识别方法及系统
CN115497055A (zh) * 2022-11-18 2022-12-20 四川汉唐云分布式存储技术有限公司 无人值守商店的商品防盗检测方法、装置及存储介质
CN115497055B (zh) * 2022-11-18 2023-03-24 四川汉唐云分布式存储技术有限公司 无人值守商店的商品防盗检测方法、装置及存储介质
CN115965249A (zh) * 2022-12-16 2023-04-14 多彩贵州印象网络传媒股份有限公司 基于人工智能技术的视联网客户智能分析管理系统
CN115965249B (zh) * 2022-12-16 2024-01-23 多彩贵州印象网络传媒股份有限公司 基于人工智能技术的视联网客户智能分析管理系统
CN116258489A (zh) * 2022-12-19 2023-06-13 深圳市中磁计算机技术有限公司 一种应用于pos机的安全支付方法

Also Published As

Publication number Publication date
TWI723411B (zh) 2021-04-01
EP3779776A4 (en) 2021-05-26
US11132559B2 (en) 2021-09-28
EP3779776B1 (en) 2023-08-02
US20210049370A1 (en) 2021-02-18
SG11202010377RA (en) 2020-11-27
TW202008320A (zh) 2020-02-16
CN109271847B (zh) 2023-04-07
EP3779776A1 (en) 2021-02-17
WO2020024691A1 (zh) 2020-02-06

Similar Documents

Publication Publication Date Title
CN109271847A (zh) 无人结算场景中异常检测方法、装置及设备
CN111415461B (zh) 物品识别方法及系统、电子设备
CN108198052A (zh) 用户选购商品识别方法、装置以及智能货架系统
US9471889B2 (en) Video tracking based method for automatic sequencing of vehicles in drive-thru applications
Piątkowska et al. Spatiotemporal multiple persons tracking using dynamic vision sensor
CN108876504B (zh) 一种无人售卖系统及其控制方法
CN109840504A (zh) 物品取放行为识别方法、装置、存储介质及设备
CN108109293A (zh) 一种商品防盗结算方法、装置及电子设备
CN112037245B (zh) 一种确定追踪目标相似度的方法和系统
CA3160731A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
JP6589321B2 (ja) システム、検索方法およびプログラム
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN112651386B (zh) 一种身份信息的确定方法、装置及设备
CN111161486A (zh) 基于结算箱的商品防盗方法及系统
CN109145127A (zh) 图像处理方法及装置、电子设备和存储介质
CN111126119A (zh) 基于人脸识别的到店用户行为统计方法和装置
CN109243112A (zh) 一种开放式环境购物控制方法和装置
CN110490697A (zh) 无人便利店结算方法、装置、计算机及存储介质
CN108174026A (zh) 一种移动终端的安全提醒方法、装置及电子设备
CN109447619A (zh) 基于开放环境的无人结算方法、装置、设备和系统
CN111178116A (zh) 无人售货方法、监控摄像机及系统
CN107730245A (zh) 基于无人商店的自动结账方法、无人商店
CN108052928A (zh) 一种用户信用度评价方法、装置及电子设备
CN115457706B (zh) 存储柜的控制方法、装置、电子设备及存储介质
CN110246280B (zh) 人货绑定方法及装置、计算机设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003574

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant