CN114529850A - 自助收银的风险识别方法、装置及系统 - Google Patents

Abstract

本申请实施例公开了一种自助收银的风险识别方法、装置及系统。具体技术方案包括：获取顾客在自助收银区域的视频信息，对所述视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息；若获取到支付成功信息，根据从所述视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息；基于所述未扫码商品信息确定第二风险信息；依据所述第一风险信息和所述第二风险信息，输出风险识别结果。本申请能够自动进行自助收银的风险识别，降低了商户的人工防损成本。并且，本申请采用双重风险识别的方式，降低单纯对用户具体扫码行为分析所产生的漏检概率，提高风险识别结果的准确性。

Description

自助收银的风险识别方法、装置及系统

技术领域

本申请涉及计算机技术领域，特别是涉及一种自助收银的风险识别方法、装置及系统。

背景技术

随着信息技术、人工智能技术的不断突破以及成熟落地，新零售产业也不断向着便捷化、智能化方向发展。例如国内外大量商超卖场等已经采用自助收银设备，让顾客自助进行账单结算。既为顾客提供了方便，又为商户节省了大量收银人工成本，提高了整体运营的净利润。

然而，自助收银也使得商户面临严重的支付盗损问题。顾客在使用自助收银过程中可能存在故意不扫码、商品偷换标签扫码、假装扫码等恶意偷盗行为，也可能存在因为扫码失败、购买商品过多等原因出现的无意漏扫等行为，给商户的防损工作带来非常大的压力以及高额的防损人工成本。因此亟需一种能够自动进行自助收银的风险识别方式，降低商户的防损成本。

发明内容

有鉴于此，本申请提供了一种自助收银的风险识别方法、装置及系统，从而自动进行自助收银的风险识别，降低商户的防损成本。

本申请提供了如下方案：

根据第一方面，提供了一种自助收银的风险识别方法，包括：

获取顾客在自助收银区域的视频信息，对所述视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息；

若获取到支付成功信息，根据从所述视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息；基于所述未扫码商品信息确定第二风险信息；

依据所述第一风险信息和所述第二风险信息，输出风险识别结果。

根据本申请实施例提供的一种可实现的方式，对所述视频信息中用户对商品的扫码行为进行异常行为识别之前，还包括：

若检测到所述视频信息中出现顾客进入自助收银区域，设置检测状态为未使用且设备前有顾客，对所述视频信息中的商品信息进行识别，并初始化各商品的属性为未扫码；或者，

若在未使用且设备前有顾客状态下获取到扫码开始信息，设置检测状态为正在使用，在正在使用状态下执行所述对所述视频信息中用户对商品的扫码行为进行异常行为识别的步骤，并将被扫码成功的商品的属性设置为已扫码。

根据本申请实施例提供的一种可实现的方式，对所述视频信息中的商品信息进行识别包括：

根据视频信息中的商品轨迹信息和商品特征信息，识别得到各商品信息。

根据本申请实施例提供的一种可实现的方式，该方法还包括：在检测到所述视频信息中出现顾客进入自助收银区域之前，设置检测状态为未使用且设备前无顾客；

在未使用且设备前无顾客状态下，若从所述视频信息中检测到自助收银设备处有商品，则输出提醒信息。

根据本申请实施例提供的一种可实现的方式，该方法还包括：

若获取到进入支付页面的信息，设置检测状态为正在支付；

在正在支付状态下，获取到所述支付成功信息且从所述视频信息中检测到所述顾客未离开所述自助收银区域，则设置检测状态为支付完成且顾客未离开；

在支付完成且顾客未离开状态下执行所述根据从所述视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息的步骤。

根据本申请实施例提供的一种可实现的方式，该方法还包括：

在支付完成且顾客未离开状态下，若从所述视频信息中检测到新的顾客进入所述自助收银区域，则设置检测状态为未使用且设备前有顾客；和/或，

在支付完成且顾客未离开状态下，若从所述视频信息中检测到所述顾客离开所述自助收银区域且未检测到新的顾客进入所述自助收银区域，则设置检测状态为未使用且设备前无顾客。

根据本申请实施例提供的一种可实现的方式，所述对所述视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息包括：

对所述视频信息中的商品位置信息和/或人体姿态信息进行识别，依据识别结果执行以下至少一种：

若商品轨迹经过扫码装置前区域的设定时长内未收到扫码成功信息，则确定存在商品经过扫码区未扫码风险；

若获取到扫码成功信息，将扫码成功信息包含的商品标签信息在商品特征库中对应的商品特征与从视频信息中识别出的商品特征进行相似度计算，若相似度低于预设相似度阈值，则确定存在商品偷换标签扫码风险；

若商品轨迹在扫码装置前区域且顾客对该商品执行多次扫码动作的设定时长内未收到扫码成功信息，则确定存在商品多次扫码失败风险；

若商品轨迹未经过扫码装置前区域且出现异常运动轨迹且未收到该商品扫码成功的信息，则确定存在商品异常运动未扫码风险；

若商品成功被扫码后从购买清单中被删除或该商品计数为0，则确定存在商品扫码后被删除风险；

若扫码后未接收到支付成功信息且从所述视频信息检测到所述顾客离开所述自助收银区域，则确定存在未支付离开风险。

根据本申请实施例提供的一种可实现的方式，基于所述未扫码商品信息确定第二风险信息包括：

对已扫码商品和未扫码商品进行相似度计算，对相似度大于预设相似度阈值的未扫码商品进行过滤，其中所述相似度基于商品的轨迹信息和/或特征信息计算得到；

若经过过滤处理后仍存在未扫码商品，则确定存在第二风险。

根据本申请实施例提供的一种可实现的方式，依据所述第一风险信息和所述第二风险信息，输出风险识别结果包括：

依据所述第一风险信息的等级和所述第二风险信息的等级，采用与对应等级相适应的记录、提醒或预警方式。

根据第二方面，还提供了一种自助收银的风险识别装置，包括：

视频获取单元，被配置为获取顾客在自助收银区域的视频信息；

第一风险分析单元，被配置为对所述视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息；

第二风险分析单元，被配置为若获取到支付成功信息，根据从所述视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息；基于所述未扫码商品信息确定第二风险信息；

风险结果输出单元，被配置为依据所述第一风险信息和所述第二风险信息，输出风险识别结果。

根据第三方面，提供了一种自助收银的风险识别系统，包括视频采集设备、自助收银设备、监防设备以及如上第二方面提供的风险识别装置：

所述视频采集装置，被配置为采集顾客在自助收银区域的视频信息，并将所述视频信息提供给所述风险识别装置；

所述自助收银设备包括扫码装置、购物台和支付装置；

所述扫码装置，被配置为在顾客的操作下对商品进行扫码，并将扫码的商品信息提供给所述风险识别装置；

所述购物台用于存放商品；

所述支付装置，被配置为向顾客提供可交互式支付界面，并依据顾客在所述界面上的支付操作向所述风险识别装置发送支付相关信息；

监防设备，被配置为获取并展示所述风险识别装置输出的风险识别结果。

根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。

根据第五方面，提供了一种电子设备，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面中任一项所述的方法的步骤。

根据本申请提供的具体实施例，本申请可以具备以下优点：

1)本申请能够自动进行自助收银的风险识别，降低了商户的人工防损成本。

2)本申请采用双重风险识别的方式，降低单纯对用户具体扫码行为分析所产生的漏检概率，提高风险识别结果的准确性。

3)本申请仅需要在自助收银区域中关注扫码装置前区域，无需进行其他功能区域的划分，更加简单和通用。

4)对自助收银机的风险检测状态进行了不同阶段的划分，使得风险识别逻辑更加清晰和准确。

5)对第一风险识别进行更加全面的类型划分，以便商户能够依据不同类型的第一风险采用灵活的处理方式。

6)在第二风险识别中基于商品相似度对未扫码商品进行过滤处理，提高风险识别的准确率，降低了误识别的概率。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本申请实施例的自助收银系统的示例性系统架构；

图2为本申请实施例提供的自助收银的风险识别方法的主要流程图；

图3是本申请实施例提供的第一风险类型的示意图；

图4是本申请实施例提供的检测状态转移示意图；

图5是示出根据一个实施例的风险识别装置的示意性框图；

图6示例性的展示出了电子设备的架构。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

为了方便对本申请的理解，首先对本申请所提供的自助收银系统进行描述。

图1示出了可以应用本申请实施例的自助收银系统的示例性系统架构，如图1中所示，该系统可以包括自助收银设备100、视频采集设备110、风险识别装置120和监防设备130。

其中，自助收银设备100可以设置于任意需要收银的场合，例如超市、商场、卖场、商店、书店等等。可以设置于这些场合的出口处或者其他位置。顾客可以在挑选完商品后，在自助收银设备100处进行自助结账。

自助收银设备100可以具体包括扫码装置101、购物台102和支付装置103。其中，扫码装置101用以在顾客的操作下对商品进行扫码，并将扫码的商品信息提供给风险识别装置120。购物台102用以存放商品。支付装置103用以向顾客提供可交互式支付界面，并根据顾客在界面上的支付操作向风险识别装置103发送支付相关信息。

例如，顾客选取完商品后来到自助收银设备100，可以将商品放置于购物台102上，然后使用诸如扫码枪等扫码装置101对商品进行扫码，扫码完成后，可交互式支付界面上会显示购买清单(包含所有已扫码的商品)，用户可以通过触发可交互式支付界面上的组件进行支付操作。在进入支付页面时，支付装置103会向风险识别装置120发送进入支付页面的信息。在支付完成且成功时，支付装置103会向风险识别装置120发送支付成功信息。在支付失败时，支付装置103会向风险识别装置120发送支付失败信息。等等。

上述风险识别装置120用以对顾客的整个自助结账过程进行风险识别，并输出风险识别结果。该风险识别装置120可以如图1中所示设置于服务器端，例如风险识别服务器。服务器可以是单个的服务器，也可以是由多个服务器组成的服务器集群，服务器可以是云服务器。但除此方式之外，也可以设置于其他设备，例如具有较强计算能力的计算机终端。

监防设备130用以获取并展示风险识别装置120输出的风险识别结果，或者还可以进一步向自助收银设备100发送控制信息。该监防设备可以是任意形式的终端设备，例如显示器、智能移动设备、可穿戴式设备、PC(Personal Computer，个人计算机)等。其中智能移动设备可以包括诸如手机、平板电脑、笔记本电脑、PDA(个人数字助理)等。可穿戴式设备可以包括诸如智能手表、智能眼镜、智能手环等等。

需要说明的是，该系统架构中仅示意性的包含了风险识别所需的主要设备，对于其他与自助收银相关的设备例如第三方结算服务器等并未示出。

图2为本申请实施例提供的自助收银的风险识别方法的主要流程图，该方法由图1所示系统架构中的风险识别装置120执行。如图2中所示，该方法主要包括以下步骤：

步骤201：获取顾客在自助收银区域的视频信息，对视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息。

步骤202：若获取到支付成功信息，根据从视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息；基于未扫码商品信息确定第二风险信息。

步骤203：依据第一风险信息和第二风险信息，输出风险识别结果。

可以看出，本申请能够自动进行自助收银的风险识别，降低了商户的人工防损成本。并且，本申请采用双重风险识别的方式，降低单纯对用户具体扫码行为分析所产生的漏检概率，提高风险识别结果的准确性。

下面对上述各步骤进行详细描述。首先结合实施例对上述步骤201即“获取顾客在自助收银区域的视频信息，对视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息”进行详细描述。

在本申请实施例中，可以由图1所示系统架构中的图像采集装置进行视频信息的采集。该图像采集装置可以架设于诸如商场、超市、卖场等场所的特定位置，以使得图像采集装置能够朝向自助收银区域，并采集到顾客在自助收银区域的视频信息。该图像采集装置在布设时，需要保证无遮挡且清晰地采集到顾客在自助收银区域的行为、捕捉到商品特征、人体特征等信息。图像采集装置可以是摄像头、摄像机等设备，能够将采集到的视频信息以视频流的形式发送给风险识别装置。

本步骤中，风险识别装置可以通过对视频信息中的商品位置信息和/或人体姿态信息进行识别，依据识别结果进行第一风险信息的识别。

需要说明的是，本申请实施例中涉及的“第一”、“第二”等限定并不具备大小、顺序和数量等方面的限制，仅仅用以在名称上加以区分，例如“第一风险信息”和“第二风险信息”用以区分两个阶段的风险，其中第一风险信息体现的是在自助收银过程中的中间风险，第二风险信息体现的是在自助收银结束时的最终风险。

一方面，风险识别装置会获取对视频信息中的商品进行识别的结果。具体地，可以根据视频信息中的商品运动信息和商品特征信息识别得到各商品信息。其中，商品运动信息主要是依据商品位置确定出的商品轨迹信息、姿态信息等。商品位置的识别可以通过图像检测算法来实现，对于具体的算法本申请并不加以限制，仅仅利用了商品位置检测的结果。商品特征信息可以使用深度学习算法来实现，对于具体的算法本申请同样不加以限制，仅仅利用了提取出的商品特征信息。

另一方面，风险识别装置会获取对视频信息中的人体姿态进行识别的结果。具体地，可以通过诸如ResNet(残差网络)等网络算法从视频信息中提取人体特征信息，用于进行人体跟踪和顾客识别。还可以进一步结合诸如YOLO(即You Only Look Once，是一种对象检测算法)系列算法、Faster R-CNN(快速区域卷积神经网络)算法等多任务检测算法对诸如人手等人体部位进行识别。然后进一步采用诸如OpenPose、HRnet(高分辨率网络)等算法对人体关键点进行检测，提取人体关键点。人体关键点可以用于计算人体精细位置以及分析人手与商品交互信息等。然后根据人体位置信息、人体特征信息和人体关键点信息等，分析顾客的行为轨迹，从而识别出人体姿态。同样，对于具体的算法本申请不加以限制，仅仅利用了识别出的人体姿态信息。

如图3中所示，根据商品位置信息、人体姿态信息进行分析，可以得到但不限于以下第一风险类型：

1)商品经过扫码区未扫码风险：

若商品轨迹经过扫码装置前区域的设定时长内未收到扫码成功信息，则确定存在商品经过扫码区未扫码风险。例如，对商品轨迹进行识别后，发现商品轨迹虽然经过扫码装置前区域但设定时长内未收到扫码成功信息，则有可能用户假装对商品进行扫码，只有扫码动作使商品在扫码装置前，但并未真正扫码，因此，这种情况下，存在一定的风险，作为第一风险类型之一。

2)商品偷换标签扫码风险：

若获取到扫码成功信息，将扫码成功信息包含的商品标签信息在商品特征库中对应的商品特征与从视频信息中识别出的商品特征进行相似度计算，若相似度低于预设相似度阈值，则确定存在商品偷换标签扫码风险。

在一些情况下，顾客可能将高价商品的标签撕下来，换成低价商品的标签。为了检测这种情况的发生，可以将扫码得到的商品标签信息在商品特征库中查询，找到对应的商品特征，然后将该商品特征与从视频信息中识别出的刚刚扫码的商品的特征进行相似度计算，看是否为同一件商品。举个例子，假设顾客对一件商品扫码，通过扫码得到的商品标签信息在商品特征库中查询得到该商品为一袋红色包装的薯片，而通过对视频信息中刚扫码的商品特征进行比对，若视频信息中刚扫码的商品特征并非红色包装，那必然两者相似度较低，可以确定存在商品偷换标签扫码风险，作为第一风险类型之一。同时可以将该风险与对应的已扫码商品标签信息进行记录，在后续作为风险识别结果之一进行输出，以便辅助商超排查风险的具体信息。

3)商品多次扫码失败风险：

若商品轨迹在扫码装置前区域且用户对该商品执行多次扫码动作的设定时长内未收到扫码成功信息，则确定存在商品多次扫码失败风险。

这种情况是对商品轨迹和用户姿态均进行分析，发现商品轨迹在扫码装置前区域并且用户对该商品执行了多次扫码动作，但并未扫码成功，这种情况下用户通常并非有意扫码失败，而可能因为标签缺失、不平整等原因导致。识别出该风险主要为了进行风险提示后，由商户尽快干预解决该问题，提升用户体验。

4)商品异常运动未扫码风险：

若商品轨迹未经过扫码装置前区域且出现异常运动轨迹且未收到该商品扫码成功的信息，则确定存在商品异常运动未扫码风险。

这种情况主要是对商品轨迹进行分析后，发现商品轨迹并未经过扫码装置前区域并且并未扫码，例如，商品从购物台左侧绕过扫码装置前区域被放置到购物台右侧，或者商品从购物台左侧染过扫码装置前区域被直接装包，但均未扫码，则可能是顾客有意躲避扫码，作为第一风险类型之一。

5)商品扫码后被删除风险：

若商品成功被扫码后从购买清单中被删除或该商品计数为0，则确定存在商品扫码后被删除风险。

这种情况有可能是顾客对商品进行扫码后，又故意将其从购买清单中删除，有可能造成最终并未对该商品进行支付却将其带走，因此可以将其作为第一风险类型之一。但也有可能是顾客进行扫码后确实不想要了，而将其从购买清单中删除，这时也需要对这种情况进行识别，进一步判断该商品是否最终被顾客带走，以防止发生漏检。

6)未支付离开风险：

若扫码后未进行支付且从所述视频信息检测到所述顾客离开所述自助收银区域，则确定存在未支付离开风险。

若检测到用户的扫码动作或者接收到商品扫码成功的信息后未接收到支付成功信息，却从视频信息中检测到顾客离开自助收银区域，则需要防止用户是否未结账就将商品带走，因此可以将其作为第一风险类型之一，提醒商户对此风险进行排查。

下面结合实施例对上述步骤202即“若获取到支付成功信息，根据从视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息；基于未扫码商品信息确定第二风险信息”进行详细描述。

由于从视频信息中能够识别出自助收银区域的所有商品信息，获取到支付成功信息后，可以利用已扫码的商品信息和从视频信息中识别出的商品信息确定出未扫码的商品信息。

作为一种可实现的方式，可以利用所有未扫码的商品信息确定第二风险信息，即在第二风险信息中输出所有未扫码的商品信息。

但在一些偶然情况下，由于顾客无意对商品的遮挡或者其他物品对商品的遮挡等会使得商品出现轨迹信息的中断，而可能将同一件商品被识别为两件以上商品。或者由于商品被摆放的形态等其他因素，也可能造成同一件商品被识别为两件以上商品。这对这些情况，提供一种更优选的实现方式，对已扫码商品和未扫码商品进行相似度计算，对相似度大于或等于预设相似度阈值的未扫码商品进行过滤；若经过过滤处理后仍存在未扫码商品，则确定存在第二风险，可以在第二风险信息中包含过滤处理后的未扫码商品信息。其中，在对已扫码商品和未扫码商品进行相似度计算时，可以基于商品的轨迹信息和/特征信息计算得到。

举一个例子，假设从视频信息中识别得到商品A、B和C，在获取到支付成功信息后，说明用户已经完成支付，但扫码商品仅有B和C。此时，可以将未扫码商品A分别与商品B、商品C进行相似度计算。假设商品A与商品B在轨迹上和特征上均高度相似，则可以认为商品A和商品B本为一件商品，但误被识别为两件商品，将商品A从未扫码商品中过滤掉。可以看出，该过滤处理，提高了风险识别的准确率，降低了误识别的概率。

下面结合实施例对上述步骤203即“依据第一风险信息和第二风险信息，输出风险识别结果”进行详细描述。

在本步骤中可以综合第一风险信息和第二风险信息来输出风险识别结果。

作为一种可实现的方式，如果存在第二风险信息，则可以将第一风险信息和第二风险信息均包含在风险识别结果中输出。

作为另一种可实现的方式，如果不存在第二风险信息，则可以认为没有风险，并将没有风险作为风险识别结果输出。没有第二风险可以说明视频信息中所有商品都被扫码且支付，因此可以认为没有风险。

作为再一种可实现的方式，如果不存在第二风险信息，可以将全部或部分第一风险信息包含在风险识别结果中输出。在一些情况下，第一风险信息和第二风险信息可能是存在矛盾的，例如，第一风险中识别出商品经过扫描区未扫码，但第二风险却表明所有商品均扫码且支付，那么可以以第二风险为准，也可以将第一风险信息输出由商户来进一步判别是否真的存在风险，因此可以将全部第一风险信息包含在风险识别结果中输出，也可以将其中一些重要的第一风险信息包含在风险识别结果中输出。

对于输出风险结果的方式，可以依据第一风险信息的等级和第二风险信息的等级，采用与对应等级相适应的记录、提醒或预警方式。

例如，如果存在第二风险，则可以记录该第二风险并采用报警的方式输出风险识别结果。

例如，如果识别出商品经过扫描区未扫码、商品偷换标签扫码、商品异常运动未扫码、未支付离开等第一风险，则可以记录该第一风险并在风险识别结果中进行提醒，或者采用预警方式。

再例如，如果识别出商品多次扫码失败，则很有可能是顾客因商品标签不平整或者破损等问题导致，往往顾客需要帮助，这种情况下，可以采用在自助收银设备进行闪灯、闪屏、对监防设备发送消息等方式提醒商户的工作人员来帮助顾客，也不会给顾客的体验带来很大影响。

除了上述方式之外，还可以灵活采用其他措施，例如，如果识别出商品经过扫描区未扫码、商品异常运动未扫码等第一风险时，可以在支付交互界面上提示用户发生漏扫现象，禁止用户进行支付。

为了使得自助收银的风险识别流程更加清晰和准确，可以将整个风险识别流程划分为五个检测状态：未使用且设备前无顾客、未使用且设备前有顾客、正在使用、正在支付和支付完成且顾客未离开。这五个检测状态对应不同的切换条件，且各检测状态下对应不同的识别处理。下面结合实施例对整个风险识别过程进行详细描述。

如图4中所示，初始状态下设置检测状态为状态1：未使用且设备前无顾客。

在该检测状态下，可以执行处理1：若从视频信息中检测到自助收银设备处有商品，则很可能是之前顾客遗留下来的，为了避免该商品干扰后续顾客进行自助结账，可以输出提醒信息，提醒商户的工作人员来将该商品清理走。其中提醒信息可以通过消息发送给监防设备，也可以采用该语音的形式播报给商户工作人员，还可以通过闪灯等方式提醒商户工作人员自助收银设备处有商品需要清理。商品清理完成后，商户工作人员可以通过安防设备关闭该提醒信息。

若在状态1的基础上检测到条件2即视频信息中出现顾客进入自助收银区域，设置检测状态为状态2：未使用且设备前有顾客。

在该状态下可以开始执行处理2：对视频信息中的商品信息进行识别，并初始化各商品的属性为未扫码。另外，在该状态下可以开始对商品轨迹和人体姿态等进行识别，从而识别出顾客的各动作。

若在状态2的基础上检测到条件3即获取到扫码开始信息，则设置检测状态为状态3：正在使用。

该状态下执行处理3：对视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息。并且将被扫码成功的商品的属性设置为已扫码。

关于处理3中第一风险信息的确定参见图2所示实施例中关于步骤201的具体描述，在此不做赘述。

若在状态2的基础上检测到条件1即顾客并未携带商品且直接离开，则设置检测状态为状态1：未使用且设备前无顾客。

若在状态3的基础上检测到条件4即获取到进入支付页面的信息，则设置检测状态为状态4：正在支付。

若在状态4的基础上检测到条件5即获取到支付成功信息且从视频信息中检测到顾客未离开自助收银区域，则设置检测状态为状态5：支付完成且顾客未离开。

在该状态下，可以执行处理4：根据从视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息，基于未扫码商品信息确定第二风险信息。关于处理4中第二风险信息的确定参见图2所示实施例中关于步骤202的具体描述，在此不做赘述。

若在状态5的基础上检测到条件6即从视频信息中检测到顾客离开自助收银区域且未检测到新的顾客进入该自助收银区域，则设置检测状态为状态1：未使用且设备前无顾客。

若在状态5的基础上检测到条件7即获取到扫码开始信息，这种情况下可能是顾客发现有遗漏的商品未扫码，又接着扫码支付，此时设置检测状态为状态3：正在使用。

若在状态5的基础上检测到条件8即从视频信息中检测到新的顾客进入该自助收银区域，这种情况往往是上一顾客还未完全离开新的顾客已经迫不及待的进入自助收银区域，因此可以直接设置检测状态为状态2：未使用且设备前有顾客。

需要说明的是，上述检测状态以及检测状态之间的转移方式仅为本申请实施例提供的一种优选实施方式，在此基础之上对检测状态或检测状态之间的转移方式进行的删减、增加、修改等，若在本申请的精神原则之内均属于本申请的保护范围。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

根据另一方面的实施例，提供了一种自助收银的风险识别装置。图5示出根据一个实施例的风险识别装置的示意性框图，该装置可以为位于服务器端的应用，或者还可以为位于服务器端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者，还可以位于具有较强计算能力的计算机设备，本发明实施例对此不进行特别限定。如图5所示，该装置500包括：视频获取单元501、第一风险分析单元502、第二风险分析单元503和风险结果输出单元504，还可以进一步包括信息获取单元505、商品特征库单元506、人体检测单元507、人体姿态估计单元508、商品检测单元509、商品特征提取单元510和状态控制单元511。其中各组成单元的主要功能如下：

视频获取单元501，被配置为获取顾客在自助收银区域的视频信息。

第一风险分析单元502，被配置为对视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息。

第二风险分析单元503，被配置为若获取到支付成功信息，根据从视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息；基于未扫码商品信息确定第二风险信息。

风险结果输出单元504，被配置为依据第一风险信息和第二风险信息，输出风险识别结果。

除了上述视频获取单元501之外，本申请实施例还可以包括诸如信息获取单元505、商品特征库单元506等采集端模块。

其中信息获取单元505，被配置为从扫码装置获取扫码相关信息，从支付装置获取支付相关信息。

商品特征库单元506，被配置为预先存储商品特征信息，构建商品特征库。例如，对于设置于商超的自助收银系统，商品特征库单元506可以将商超中所有商品的特征信息构建为商品特征库。可以通过商品标签、商品条形码等进行检索查询。

上述第一风险分析单元502和第二风险分析单元503属于策略分析模块。第一风险分析单元502可以具体被配置为对视频信息中的商品位置信息和/或人体姿态信息进行识别，依据识别结果执行以下至少一种：

若商品轨迹经过扫码装置前区域的设定时长内未收到扫码成功信息，则确定存在商品经过扫码区未扫码风险；

若获取到扫码成功信息，将扫码成功信息包含的商品标签信息在商品特征库中对应的商品特征与从视频信息中识别出的商品特征进行相似度计算，若相似度低于预设相似度阈值，则确定存在商品偷换标签扫码风险；

若商品轨迹在扫码装置前区域且顾客对该商品执行多次扫码动作的设定时长内未收到扫码成功信息，则确定存在商品多次扫码失败风险；

若商品轨迹未经过扫码装置前区域且出现异常运动轨迹且未收到该商品扫码成功的信息，则确定存在商品异常运动未扫码风险；

若商品成功被扫码后从购买清单中被删除或该商品计数为0，则确定存在商品扫码后被删除风险；

若扫码后未进行支付且从所述视频信息检测到所述顾客离开所述自助收银区域，则确定存在未支付离开风险。

作为一种优选的实施方式，第二风险分析单元503可以具体被配置为对已扫码商品和未扫码商品进行相似度计算，对相似度大于预设相似度阈值的未扫码商品进行过滤，其中所述相似度基于商品的轨迹信息和/或特征信息计算得到；若经过过滤处理后仍存在未扫码商品，则确定存在第二风险。

为了支撑策略分析，需要一些视觉算法模块作为基础。如图6中所示，可以包括诸如人体检测单元507、人体姿态估计单元508、商品检测单元509、商品特征提取单元510等。

其中，人体检测单元507可以被配置为通过诸如ResNet等网络算法从视频信息中提取人体特征信息，进一步结合诸如YOLO系列算法、Faster R-CNN算法等多任务检测算法识别出人体或特定的人体部位，例如人手。还可以采用诸如OpenPose、HRnet等算法对人体关键点进行检测，提取人体关键点。

人体姿态估计单元508，可以被配置为根据人体位置信息、人体特征信息和人体关键点信息等，分析顾客的行为轨迹，从而识别出人体姿态，以便对顾客的行为进行分析。

商品特征提取单元510，可以被配置为从视频信息中采用深度学习算法提取出商品的特征信息。

商品检测单元509，可以被配置为通过图像检测算法识别视频信息中商品的位置信息，从而形成商品的轨迹信息。

在此需要说明的是，诸如上述的人体姿态估计单元508、商品检测单元509等单元还可以进一步拆分成多个功能模块来进行实现。或者上述诸如人体检测模块507、商品检测模块509等多个单元可以合成一个模块来实现，通过一个算法模型来输出不同的检测结果。上述视觉算法模块中的各单元可以采用目前已经较为成熟的算法来实现，本申请可以仅仅利用上述视觉算法模块的输出结果。

上述的第一风险分析单元502和第二风险分析单元503属于策略分析模块，策略分析模块还可以进一步包括状态控制单元511，具体被配置为：

初始状态时，在检测到视频信息中出现顾客进入自助收银区域之前，设置检测状态为未使用且设备前无顾客。在未使用且设备前无顾客状态下，若从视频信息中检测到自助收银设备处有商品，则可以触发风险结果输出单元504输出提醒信息。

若检测到视频信息中出现顾客进入自助收银区域，设置检测状态为未使用且设备前有顾客，对视频信息中的商品信息进行识别，并初始化各商品的属性为未扫码。

若在未使用且设备前有顾客状态下获取到扫码开始信息，设置检测状态为正在使用，在正在使用状态下触发第一风险分析单元502执行对视频信息中用户对商品的扫码行为进行异常行为识别的处理，并将被扫码成功的商品的属性设置为已扫码。

若获取到进入支付页面的信息，设置检测状态为正在支付。在正在支付状态下，获取到支付成功信息且从视频信息中检测到所述顾客未离开自助收银区域，则设置检测状态为支付完成且顾客未离开。

在支付完成且顾客未离开状态下触发第二风险分析单元503执行根据从视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息的处理。

在支付完成且顾客未离开状态下，若从视频信息中检测到新的顾客进入自助收银区域，则设置检测状态为未使用且设备前有顾客。

在支付完成且顾客未离开状态下，若从视频信息中检测到顾客离开自助收银区域且未检测到新的顾客进入所述自助收银区域，则设置检测状态为未使用且设备前无顾客。

在此需要说明的是，上述第一风险分析单元502可以拆分成多个功能模块来执行，例如可以进一步拆分出对顾客对商品交互行为的分析模块。上述第二风险分析单元503也可以进一步拆分出多个功能模块来执行，例如可以进一步拆分出对商品特征进行检索的模块，对基于商品相似度对未扫码商品进行过滤处理的模块等等。另外，对于视觉算法模块可以额外设置为其他服务器来实现，例如由图像处理服务器进行视觉算法的相关处理，将处理结果提供给策略分析模块所在服务器。

本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。

另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。

以及一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。

其中，图6示例性的展示出了电子设备的架构，具体可以包括处理器610，视频显示适配器611，磁盘驱动器612，输入/输出接口613，网络接口614，以及存储器620。上述处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614，与存储器620之间可以通过通信总线630进行通信连接。

其中，处理器610可以采用通用的CPU、微处理器、应用专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器620可以采用ROM(Read Only Memory，只读存储器)、RAM(RandomAccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器620可以存储用于控制电子设备600运行的操作系统621，用于控制电子设备600的低级别操作的基本输入输出系统(BIOS)622。另外，还可以存储网页浏览器623，数据存储管理系统624，以及风险识别装置625等等。上述风险识别装置625就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器620中，并由处理器610来调用执行。

输入/输出接口613用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口614用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线630包括一通路，在设备的各个组件(例如处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614，与存储器620)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器610、视频显示适配器611、磁盘驱动器612、输入/输出接口613、网络接口614，存储器620，总线630等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的方法、装置、系统等进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.自助收银的风险识别方法，包括：

获取顾客在自助收银区域的视频信息，对所述视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息；

若获取到支付成功信息，根据从所述视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息；基于所述未扫码商品信息确定第二风险信息；

依据所述第一风险信息和所述第二风险信息，输出风险识别结果。

2.根据权利要求1所述的方法，其中，对所述视频信息中用户对商品的扫码行为进行异常行为识别之前，还包括：

若检测到所述视频信息中出现顾客进入自助收银区域，设置检测状态为未使用且设备前有顾客，对所述视频信息中的商品信息进行识别，并初始化各商品的属性为未扫码；或者，

若在未使用且设备前有顾客状态下获取到扫码开始信息，设置检测状态为正在使用，在正在使用状态下执行所述对所述视频信息中用户对商品的扫码行为进行异常行为识别的步骤，并将被扫码成功的商品的属性设置为已扫码。

3.根据权利要求2所述的方法，其中，对所述视频信息中的商品信息进行识别包括：

根据视频信息中的商品轨迹信息和商品特征信息，识别得到各商品信息。

4.根据权利要求2所述的方法，该方法还包括：在检测到所述视频信息中出现顾客进入自助收银区域之前，设置检测状态为未使用且设备前无顾客；

在未使用且设备前无顾客状态下，若从所述视频信息中检测到自助收银设备处有商品，则输出提醒信息。

5.根据权利要求1所述的方法，该方法还包括：

若获取到进入支付页面的信息，设置检测状态为正在支付；

在正在支付状态下，获取到所述支付成功信息且从所述视频信息中检测到所述顾客未离开所述自助收银区域，则设置检测状态为支付完成且顾客未离开；

在支付完成且顾客未离开状态下执行所述根据从所述视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息的步骤。

6.根据权利要求5所述的方法，该方法还包括：

在支付完成且顾客未离开状态下，若从所述视频信息中检测到新的顾客进入所述自助收银区域，则设置检测状态为未使用且设备前有顾客；和/或，

在支付完成且顾客未离开状态下，若从所述视频信息中检测到所述顾客离开所述自助收银区域且未检测到新的顾客进入所述自助收银区域，则设置检测状态为未使用且设备前无顾客。

7.根据权利要求1所述的方法，其中，所述对所述视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息包括：

对所述视频信息中的商品位置信息和/或人体姿态信息进行识别，依据识别结果执行以下至少一种：

若商品轨迹经过扫码装置前区域的设定时长内未收到扫码成功信息，则确定存在商品经过扫码区未扫码风险；

若获取到扫码成功信息，将扫码成功信息包含的商品标签信息在商品特征库中对应的商品特征与从视频信息中识别出的商品特征进行相似度计算，若相似度低于预设相似度阈值，则确定存在商品偷换标签扫码风险；

若商品轨迹在扫码装置前区域且顾客对该商品执行多次扫码动作的设定时长内未收到扫码成功信息，则确定存在商品多次扫码失败风险；

若商品轨迹未经过扫码装置前区域且出现异常运动轨迹且未收到该商品扫码成功的信息，则确定存在商品异常运动未扫码风险；

若商品成功被扫码后从购买清单中被删除或该商品计数为0，则确定存在商品扫码后被删除风险；

若扫码后未接收到支付成功信息且从所述视频信息检测到所述顾客离开所述自助收银区域，则确定存在未支付离开风险。

8.根据权利要求1所述的方法，其中，基于所述未扫码商品信息确定第二风险信息包括：

对已扫码商品和未扫码商品进行相似度计算，对相似度大于预设相似度阈值的未扫码商品进行过滤，其中所述相似度基于商品的轨迹信息和/或特征信息计算得到；

若经过过滤处理后仍存在未扫码商品，则确定存在第二风险。

9.根据权利要求1至8中任一项所述的方法，其中，依据所述第一风险信息和所述第二风险信息，输出风险识别结果包括：

依据所述第一风险信息的等级和所述第二风险信息的等级，采用与对应等级相适应的记录、提醒或预警方式。

10.自助收银的风险识别装置，包括：

视频获取单元，被配置为获取顾客在自助收银区域的视频信息；

第一风险分析单元，被配置为对所述视频信息中用户对商品的扫码行为进行异常行为识别，根据识别结果确定第一风险信息；

第二风险分析单元，被配置为若获取到支付成功信息，根据从所述视频信息中识别出的商品信息以及已扫码的商品信息，确定未扫码商品信息；基于所述未扫码商品信息确定第二风险信息；

风险结果输出单元，被配置为依据所述第一风险信息和所述第二风险信息，输出风险识别结果。

11.自助收银的风险识别系统，包括视频采集设备、自助收银设备、监防设备以及如权利要求10所述的风险识别装置：

所述视频采集装置，被配置为采集顾客在自助收银区域的视频信息，并将所述视频信息提供给所述风险识别装置；

所述自助收银设备包括扫码装置、购物台和支付装置；

所述扫码装置，被配置为在顾客的操作下对商品进行扫码，并将扫码的商品信息提供给所述风险识别装置；

所述购物台用于存放商品；

所述支付装置，被配置为向顾客提供可交互式支付界面，并依据顾客在所述界面上的支付操作向所述风险识别装置发送支付相关信息；

监防设备，被配置为获取并展示所述风险识别装置输出的风险识别结果。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至9中任一项所述的方法的步骤。

Images