CN112001349B - 数据审核方法、系统及电子设备 - Google Patents

Abstract

本申请提供了数据审核方法、系统及电子设备。本申请中，当指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时发生异常，则本实施例针对上述异常先尝试采用智能审核以得到用于纠正所述异常的目标数据，而若智能审核失败，则再触发审核客户端借助人工审核得到用于纠正所述异常的目标数据，后续即可依据目标数据生成商品订单，确保了商品订单的准确性，提高了无感支付的购物体验。

Description

数据审核方法、系统及电子设备

技术领域

本申请涉及图像处理技术，特别涉及数据审核方法、系统及电子设备。

背景技术

随着图像识别技术以及支付技术的发展，无感支付的应用越来越广泛。以无人超市为例，在无人超市中用户选购商品之后无需排队支付结算即可直接离开，无人超市对应的智能系统会基于智能算法判断用户购买了哪些商品并触发结算扣款。这种无感支付给用户带来了极大的便利。

但是，在无感支付应用中，智能系统在进行识别时常会出现一些异常，比如无法将新进入指定区域(比如无人超市、无人仓库等，统称指定区域)的用户和已注册的支付账户绑定、无法将用户与商品关联、无法确定用户选购的商品的类别、数量等。而这些异常会导致最终为用户生成的应用于上述指定区域(比如无人超市等)的商品订单不准确。

发明内容

本申请实施例提供了数据审核方法、系统及电子设备，以确保商品订单的准确。

本申请提供的技术方案包括：

本申请实施例提供一种数据审核方法，该方法包括：

当监测到第一审核服务请求时，所述第一审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常触发的，则依据所述第一审核服务请求携带的事件类型审核所述第一审核服务请求携带的第一告警数据以得到用于纠正所述异常的目标数据，并在审核失败时，向审核客户端发送所述第一审核服务请求，以由审核客户端得到用于纠正所述异常的目标数据。

可选地，所述依据所述第一审核服务请求携带的事件类型审核所述审核服务携带的第一告警数据包括：

依据所述事件类型确定与所述事件类型匹配的审核策略；

按照所述审核策略对所述第一审核服务请求携带的第一告警数据进行审核以得到用于纠正所述异常的目标数据。

可选地，所述事件类型为第一类型，所述第一类型用于指示新生成的目标用户轨迹与任一用户在进入指定区域时被分配的已知用户ID关联失败；第一告警数据包括所述至少一个采集图像对应的图像信息、所述目标用户轨迹；所述审核策略为用户轨迹审核策略；

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

从所述图像信息对应的至少一个采集图像中提取所述目标用户轨迹对应的用户图像区域；

依据所述目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID。

可选地，所述依据目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID包括：

将所述目标用户轨迹对应的用户图像区域输入至已训练的第一卷积神经网络得到目标人体特征模型；

将已获得的至少一个已知用户ID对应的用户图像区域输入至所述第一卷积神经网络得到各已知用户ID对应的候选人体特征模型；

依据所述目标人体特征模型与每一候选人体特征模型之间的相似度，将其中一个候选人体特征模型对应的已知用户ID确定为所述第一目标用户ID。

可选地，所述事件类型为用于指示人货关联异常的第二类型；所述第一告警数据包括目标时刻、目标货格、目标行为、目标商品的商品信息；目标货格是指目标商品所处的货格，目标时刻是指所述目标商品被执行所述目标行为的时刻，目标行为是指取拿或者放回；所述审核策略为人货关联审核策略；

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

获得至少一个指定采集设备在所述目标时刻之前已采集的且时长为第一时长的第一视频图像；以及，获得至少一个指定采集设备在所述目标时刻之后已采集的且时长为第二时长的第二视频图像；所述至少一个指定采集设备是指视场区域至少包括所述目标货格的采集设备；

依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID。

可选地，所述依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID包括：

从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列；疑似用户是指处于目标货格前方的设定区域的用户，疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成；依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果，若有一个疑似用户对应的行为分析结果与所述目标行为相匹配，则确定该疑似用户对应的用户ID为所述第二目标用户ID；或者，

从至少一个第一视频图像中提取至少一个第一图像区域，第一图像区域与所述目标货格前方的设定区域对应；从至少一个第二视频图像中提取第二图像区域，第二图像区域与所述目标货格前方的设定区域对应；依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果，所述疑似用户是指处于所述目标货格前方的设定区域的用户；若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，确定该疑似用户对应的用户ID为所述第二目标用户ID。

可选地，所述依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID包括：

从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列；疑似用户是指处于目标货格前方的设定区域的用户，疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成；依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果，若有一个疑似用户对应的行为分析结果与所述目标行为相匹配，则确定该疑似用户对应的用户ID为第一候选用户ID；

从至少一个第一视频图像中提取至少一个第一图像区域，第一图像区域与所述目标货格前方的设定区域对应；从至少一个第二视频图像中提取第二图像区域，第二图像区域与目标货格前方的设定区域对应；依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果，疑似用户是指处于所述目标货格前方的设定区域的用户；若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，确定该疑似用户对应的用户ID为第二候选用户ID；

若所述第一候选用户ID与所述第二候选用户ID一致，则确定所述第二目标用户ID为所述第一候选用户ID或者所述第二候选用户ID。

可选地，所述依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果包括：

将每一疑似用户的人体图像序列输入至已训练的第二卷积神经网络得到疑似用户对应的行为分析结果。

可选地，所述依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果包括：

将至少一个第一图像区域输入至已训练的第三卷积神经网络得到至少一个第一商品信息，第一商品信息至少包括：商品类别、商品数量、商品位置的对应关系；依据已获得的疑似用户ID对应的手部轨迹从至少一个第一商品信息中确定与疑似用户相关联的第一商品信息；

将至少一个第二图像区域输入至所述第三卷积神经网络得到至少一个第二商品信息，第二商品信息至少包括：商品类别、商品数量、商品位置的对应关系；依据已获得的疑似用户ID对应的手部轨迹从至少一个第二商品信息中确定与疑似用户相关联的第二商品信息；

依据同一疑似用户相关联的第一商品信息和/或第二商品信息确定同一疑似用户在所述目标时刻前后对应的手持商品分析结果。

可选地，所述事件类型为用于指示商品识别异常的第三类型；所述第一告警数据包括目标时刻、目标货格、目标行为；目标货格是指目标商品所处的货格，目标时刻是指执行所述目标行为的时刻，目标行为是指取拿或者放回；所述审核策略为商品识别审核策略；

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

获得至少一个指定采集设备已采集的所述目标时刻之前且时长为第三时长的第三视频图像；以及，获得至少一个指定采集设备已采集的所述目标时刻之后且时长为第四时长的第四视频图像；指定采集设备是指视场区域至少包括所述目标货格的采集设备；

依据至少一个第三视频图像和至少一个第四视频图像确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息；依据商品变化信息确定被执行所述目标行为的目标商品的目标商品信息；目标商品信息至少包括：目标商品类别和目标商品数量。

可选地，所述依据至少一个第三视频图像和至少一个第四视频图像确定同一类别的商品在所述目标时刻前后发生的商品变化信息包括：

从至少一个第三视频图像中提取第三图像区域，第三图像区域与所述目标货格前方的设定区域对应；将至少一个第三图像区域输入至已训练的第四卷积神经网络得到第三商品信息，第三商品信息至少包括：商品类别、商品数量之间的对应关系；

从至少一个第四视频图像中提取第四图像区域，第四图像区域与所述目标货格前方的设定区域对应；将至少一个第四图像区域输入至所述第四卷积神经网络得到第四商品信息；第四商品信息至少包括：商品类别、商品数量之间的对应关系；

依据至少一个第三商品信息和/或至少一个第四商品信息确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息。

可选地，所述向审核客户端发送所述第一审核服务请求包括：

向已配置的服务端发送所述第一审核服务请求，以由所述服务端依据所述第一审核服务请求生成对应的第二审核服务请求，所述第二审核服务请求携带所述事件类型和第二告警数据，所述第二告警数据至少包括所述第一告警数据；并从当前已接入的且开启了审核服务功能的所有审核客户端中选择用于审核所述第二审核服务请求的审核客户端，并向选择的审核客户端发送所述第二审核服务请求。

本申请实施例提供一种数据审核方法，该方法应用于审核客户端，包括：

通过所述审核客户端的第一显示屏显示与已获得的第二审核服务请求相关联的第一类图像；所述第二审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常所触发的；所述第一类图像至少包括所述至少一个采集图像；

通过所述审核客户端的第二显示屏显示与所述审核服务请求所携带的事件类型对应的第二类图像；所述事件类型用于表征所述异常；所述第二类图像至少包括：已获得的用于纠正所述异常的至少一个图像；

获得基于所述第一类图像以及所述第二类图像审核所述异常所得到的审核结果，所述审核结果至少包括用于纠正所述异常的目标数据。

可选地，所述第二审核服务请求还包括：第二告警数据；

当通过审核客户端的第一显示屏显示与审核服务请求相关联的第一类图像时该方法进一步包括：在所述第一显示屏的指定位置显示所述第二告警数据和所述事件类型。

可选地，所述第二告警数据还包括目标时刻、目标位置；

所述第一类图像包括：所述指定区域内已安装的M个采集设备已采集的与所述目标时刻的时差小于或等于第一设定时间阈值的视频；所述M个采集设备的视场区域包含所述目标位置，M大于或等于1。

可选地，所述第二告警数据还包括：所述指定区域内已安装的N个采集设备的设备标识；所述N个采集设备的视场区域的中心位置与所述目标位置之间的距离小于或等于设定距离，N大于等于1；

所述第二类图像包括：N个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频；或者，

所述第二类图像包括：N个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频、以及基于深度审核指令扩充的除N个采集设备之外的至少一个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频。

可选地，所述第二告警数据还包括：至少一个头肩框位置信息；

所述通过审核客户端的第二显示屏显示与所述审核服务请求所携带的事件类型对应的第二类图像时进一步在所述第二类图像上叠加所述头肩框位置信息对应的头肩框。

可选地，所述事件类型为：第一类型，所述第一类型用于指示新生成的目标用户轨迹与任一用户在进入指定区域时被分配的已知用户ID关联失败；所述目标位置为所述目标用户轨迹中的至少一个位置；所述目标时刻为所述采集图像的采集时刻；所述审核结果是基于第一类图像、第二类图像上叠加的头肩框从已获得的所有已知用户ID中选中与所述目标用户轨迹相关联的目标已知用户ID；或者，

所述事件类型为：第二类型，所述第二类型用于指示人货关联异常；所述目标位置为目标商品所处的目标货格；所述目标时刻为所述目标商品被执行目标行为的时刻，所述目标行为包括取拿或放回；所述审核结果是基于所述第一类图像、以及所述第二类图像上叠加的头肩框从两个以上疑似用户中选中对所述目标商品执行目标行为的目标用户ID。

可选地，所述事件类型为第三类型，所述第三类型用于指示商品识别异常；所述目标位置为目标商品所处的目标货格，所述目标时刻为目标时刻为所述目标商品被执行目标行为的时刻，所述目标行为包括取拿或放回；

所述第二类图像包括：已获得的所述目标货架上各货格所存放的商品的商品图像；或者，

所述第二类图像包括：已获得的所述目标货架上各货格所存放的商品的商品图像、以及基于深度审核指令扩充的除目标货架之外的至少一个非目标货架上各货格所存放的商品的商品图像。

可选地，所述第二告警数据还包括：头肩框位置信息；

所述通过所述第一显示屏显示第一类图像包括：在所述第一显示屏显示的第一类图像上叠加所述头肩框位置信息对应的头肩框；

所述第二告警数据还包括用户轨迹ID，以使审核客户端基于所述第一类图像上叠加的所述头肩框以及已获得的所述用户轨迹ID对应的用户轨迹从所述第二显示屏显示的商品图像中选中的目标商品图像；所述目标数据为所述目标商品图像对应的目标商品信息。

本申请实施例提供一种数据审核系统，该审核系统包括：

智能审核系统，用于监测到的审核服务请求时，执行如上第一种方法中的步骤；

审核客户端，用于在所述智能审核系统基于所述审核服务请求审核失败后获得所述审核服务请求，则执行如上第二种方法中的步骤。

本申请实施例提供一种电子设备，其特征在于，该电子设备包括：处理器和机器可读存储介质；

所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如上任一项的方法步骤。

由以上技术方案可以看出，本申请中，当指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时发生异常，则本实施例先尝试采用智能审核以得到用于纠正所述异常的目标数据，而若智能审核失败，则再触发审核客户端借助人工审核得到用于纠正所述异常的目标数据，后续即可依据目标数据生成商品订单，确保了商品订单的准确性，提高了无感支付的购物体验。

进一步地，本实施例通过在诸如无人超市等指定区域引入审核机制，则可改善目前诸如无人超市等指定区域内配置的智能系统只能处理不会发生上述异常的理想购物行为。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本申请实施例提供的系统结构图；

图2为本申请实施例提供的方法流程图；

图3为本申请实施例提供的步骤202中审核第一告警数据的流程图；

图4为本申请实施例1提供的实现上述步骤302的流程图；

图5为本申请实施例1提供的步骤402实现流程图；

图6为本申请实施例2提供的实现上述步骤302的流程图；

图7为本申请实施例2提供的步骤603实现流程图；

图8为本申请实施例2提供的步骤603第二实现流程图；

图9为本申请实施例2提供的步骤803中确定手持商品分析结果的实现流程图；

图10为本申请实施例2提供的步骤603第三实现流程图；

图11为本申请实施例3提供的实现上述步骤302的流程图；

图12为本申请实施例3提供的商品变化信息确定流程图；

图13为本申请实施例提供的另一方法流程图；

图14为本申请实施例4提供的第一显示屏显示的第一类图像的示意图；

图15为本申请实施例4提供的第二显示屏显示的第二类图像的示意图；

图16为本申请实施例6提供的第一显示屏显示的第一类图像的示意图；

图17为本申请实施例6提供的第二显示屏显示的第二类图像的示意图；

图18为本申请实施例提供的审核客户端确定流程示意图；

图19为本申请实施例提供的审核结果处理流程图；

图20为本申请实施例提供的装置结构图；

图21为本申请实施例提供的另一装置结构图；

图22为本申请实施例提供的电子设备结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了解决如背景技术描述的异常引起的商品订单不准确问题，本申请提供了一种审核机制，通过该审核机制消除上述异常，以保证商品订单的准确性。为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

首先，对本申请提供的用于数据审核的系统进行描述：

参见图1，图1为本申请实施例提供的系统结构图。该系统可包括：智能审核系统和审核客户端。作为一个实施例，智能审核系统可与指定区域内已配置的智能系统部署在同一物理设备，也可部署在不同物理设备，本实施例并不具体限定。作为另一个实施例，审核客户端可部署在终端设备或者其他电子设备，本实施例并不具体限定。这里的指定区域可为诸如无人超市、无人仓库等区域。

其中，智能审核系统可执行如下文图2所示流程，这里暂不赘述。

审核客户端用于执行下文如图13所示流程，这里暂不赘述。

下面对图2所示流程进行描述：

参见图2，图2为本申请实施例提供的方法流程图。该流程应用于上述智能审核系统。如图2所示，该流程可包括以下步骤：

步骤201，当监测到第一审核服务请求时，第一审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常触发的，则执行步骤202。

在一个例子中，指定区域内已配置的智能系统在获得已被采集的至少一个图像(记为采集图像)时，会基于已配置的智能算法对采集图像进行对应的处理(比如智能算法为商品识别算法，则从采集图像中识别商品等)。之后即可根据处理结果生成对应的商品订单。而智能系统在对采集图像进行处理时有可能会出现异常。作为一个实施例，上述异常有很多种，比如新进入指定区域的用户无法与已注册的支付账户关联、指定区域内一商品与多个疑似用户关联(简称人货关联失败)、新生成的用户轨迹无法与已分配的任一用户ID关联、用户选购的商品的类别、数量等参数识别失败或者识别不出等。

而上述异常假若不纠正，则会影响后续商品订单，比如在新进入指定区域的用户无法与已注册的支付账户关联时，生成的商品订单无法结算，或者在指定区域内一商品与多个疑似用户关联时可能针对某一用户生成错误的商品订单等。

基于此，应用于本实施例，一旦智能系统在对采集图像进行处理时出现异常，则智能系统会触发上述第一审核服务请求，最终上述的智能审核系统会检测到第一审核服务请求，即实现了上述步骤201中监测到第一审核服务请求。需要说明的是，这里的第一审核服务请求只是便于区分而进行的命名，并非用于限定。

步骤202，依据所述第一审核服务请求携带的事件类型审核审核服务携带的第一告警数据以得到用于纠正所述异常的目标数据，并在审核失败时，向审核客户端发送所述第一审核服务请求，以由审核客户端审核得到纠正所述异常的目标数据。

本实施例中，如上述步骤201描述，当上述智能审核系统监测到第一审核服务请求，其会从第一审核服务请求中提取第一审核服务请求携带的事件类型。这里的事件类型用于表征上述异常。之后如步骤202描述，依据第一审核服务请求携带的事件类型审核第一审核服务请求携带的第一告警数据以得到用于纠正所述异常的目标数据。这里，第一告警数据只是为便于描述而进行的命名，其用于指示发生上述异常时与上述采集图像相关联的数据，下文会举例描述，这里暂不赘述。

可选地，步骤202中智能审核系统依据第一审核服务请求携带的事件类型审核上述第一告警数据以得到用于纠正所述异常的目标数据有很多实现方式，图3举例示出其中一种实现方式，这里暂不赘述。而在一个例子中，智能审核系统有可能在依据第一审核服务请求携带的事件类型审核上述第一告警数据时发生审核失败，在此前提下智能审核系统会将上述第一审核服务请求转发给审核客户端以触发人工审核。

至此，完成图2所示流程。

通过图2所示流程可以看出，当指定区域内已配置的智能系统基于已配置的智能算法对至少一个采集图像进行处理时发生异常，则本实施例先尝试采用智能审核以得到用于纠正所述异常的目标数据，而若智能审核失败，则再将触发审核客户端借助人工审核得到用于纠正所述异常的目标数据，后续即可依据目标数据生成商品订单，确保了商品订单的准确性，提高了无感支付的购物体验。

进一步地，本实施例通过在诸如无人超市等指定区域引入图2所示的审核机制，则可改善目前诸如无人超市等指定区域内配置的智能系统只能处理不会发生上述异常的理想购物行为。

下面对上述步骤202中依据第一审核服务请求携带的事件类型审核第一告警数据进行描述：

参见图3，图3为本申请实施例提供的步骤202中审核第一告警数据的流程图。如图3所示，该流程可包括以下步骤：

步骤301，依据上述事件类型确定与述事件类型匹配的审核策略。

在本实施例中，不同的异常有不同的审核策略，基于此，本步骤301可基于上述事件类型确定相匹配的审核策略，下文会举例描述，这里暂不赘述。

步骤302，按照审核策略对所述第一审核服务请求携带的第一告警数据进行审核以得到用于纠正上述异常的目标数据。

一旦上述步骤301确定好审核策略后，则本步骤302即可运行审核策略对上述第一告警数据进行审核以得到用于纠正上述异常的目标数据。下文会通过三个实施例描述步骤302中如何按照审核策略对第一审核服务请求携带的第一告警数据进行审核以得到用于纠正上述异常的目标数据：

实施例1：

在实施例1中，上述的事件类型为：第一类型。可选地，第一类型用于指示新生成的用户轨迹(记为目标用户轨迹)与任一用户在进入指定区域时被分配的用户ID(记为已知用户ID)关联失败。

在实施例1中，任一用户在进入指定区域时都会被分配一个对应的用户ID(记为已知用户ID)，以用于表征该用户，并关联该用户后续在指定区域内的轨迹(记为用户轨迹)。在实施例1中，指定区域内会安装多个采集设备(比如双目相机)，以保证能够完全覆盖指定区域内的所有位置，并对进入指定区域的用户进行跟踪。而在跟踪过程中，常会出现上述异常(记为第一异常)：新生成的用户轨迹(记为目标用户轨迹)与任一用户在进入指定区域时被分配的已知用户ID关联失败。之所以会发生第一异常，其主要原因可能为：如果跟踪系统是基于人脸跟踪，则可能是由于被跟踪的用户低头或者被遮挡等诸多原因导致人脸抓拍识别失败，进而导致上述第一异常；而如果跟踪系统是基于全场目标跟踪，则可能是跟踪中断而导致上述第一异常。本实施例并不具体限定导致上述第一异常的原因，主要是针对发生上述第一异常后，如何智能审核以得到用于纠正上述第一异常的目标数据。

可选地，在实施例1中，上述步骤302中按照审核策略对第一审核服务请求携带的第一告警数据进行审核以得到用于纠正所述异常的目标数据可参见图4所示流程。

参见图4，图4为本申请实施例1提供的实现上述步骤302的流程图。在该流程中，应用于上述第一异常，上述审核策略对应为用户轨迹审核策略。对应地，图4所示流程是基于用户轨迹审核策略执行的。

另外，在图4所示流程中，应用于上述第一异常，上述第一告警数据可为提示出现上述第一异常的数据。可选地，第一告警数据可包括：图像信息和上述目标用户轨迹。其中，图像信息可为用于描述上述至少一个采集图像的信息，比如上述采集图像被采集的采集时间点、采集上述采集图像的采集设备的设备标识等，其最终目的是为了基于图像信息获得上述采集图像。

如图4所示，该流程可包括以下步骤：

步骤401，从上述图像信息对应的至少一个采集图像中提取目标用户轨迹对应的用户图像区域。

以上述图像信息包括设备标识、采集时间点为例，则本步骤401中，可先基于设备标识查找到对应的采集设备，之后再基于采集时间点获得采集设备在上述采集时间点采集的图像(即上述图像信息对应的至少一个采集图像)，最终查找到上述图像信息对应的至少一个采集图像。当查找到上述图像信息对应的至少一个采集图像后，则从该查找到的至少一个采集图像中提取目标用户轨迹对应的用户图像区域。

可选地，本实施例中，上述目标用户轨迹对应的用户图像区域是指上述至少一个采集图像中指定位置上的用户所处的图像区域。这里的指定位置可为上述目标用户轨迹中的各位置。

步骤402，依据所述目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID。

基于上面描述的已知用户ID，可选地，上述已知用户ID对应的用户图像区域可为：已知用户ID对应的用户在所有采集图像(指定区域内已安装的所有采集设备采集的)中所处的图像区域。

通过步骤402，最终可从已分配的已知用户ID中为上述目标用户轨迹匹配出相关联的一个已知用户ID(即上述的第一目标用户ID)，之后借助第一目标用户ID就可将上述目标用户轨迹与第一目标用户ID原本已关联的用户轨迹连接起来，形成第一目标用户ID对应的用户在上述指定区域内的整个轨迹。应用于图4所示流程，上述的第一目标用户ID即为用于纠正上述第一异常的目标数据。

至于本实施例1中步骤402如何依据目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从至少一个已知用户ID中确定与目标用户轨迹相匹配的第一目标用户ID，其在具体实现时有很多方式，下文图5举例示出其中一种实现方式：

参见图5，图5为本申请实施例1提供的步骤402实现流程图。如图5所示，该流程可包括以下步骤：

步骤501，将目标用户轨迹对应的用户图像区域输入至已训练的第一卷积神经网络得到目标人体特征模型。

这里的目标人体特征模型与上述的目标用户轨迹对应。

可选地，本实施例中，第一卷积神经网络主要用于特征建模，其在具体实现时有很多实现方式，比如可为InceptionNet等网络，本实施例并不具体限定。至于第一卷积神经网络如何特征建模，其类似现有特征建模方式，这里不再一一赘述。

步骤502，将已获得的至少一个已知用户ID对应的用户图像区域输入至上述第一卷积神经网络得到各已知用户ID对应的候选人体特征模型。

在应用中，每一已知用户ID都有对应的用户轨迹(可称候选用户轨迹)，基于此，这里的各已知用户ID对应的候选人体特征模型其也可为各候选用户轨迹对应的候选人体特征模型。

步骤503，依据所述目标人体特征模型与每一候选人体特征模型之间的相似度，将其中一个候选人体特征模型对应的已知用户ID确定为所述第一目标用户ID。

可选地，本步骤503中，计算目标人体特征模型与每一候选人体特征模型之间的相似度(比如余弦相似度等)，之后，依据相似度从所有候选人体特征模型中选取一个。可选地，这里选取的候选人体特征模型与上述目标人体特征模型之间的相似度满足以下条件：大于或等于设定相似度阈值(比如0.9)。之后，将选取的候选人体特征模型对应的已知用户ID确定为上述第一目标用户ID。

至此，完成图5所示流程。

通过图5所示流程，即可实现上述步骤402如何依据目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从至少一个已知用户ID中确定与目标用户轨迹相匹配的第一目标用户ID。需要说明的是，图5所示流程只是实现上述步骤402的一种具体实现方式，并非用于限定。

以上对实施例1进行了描述。需要说明的是，本实施例1中，假若最终并不能确定与所述目标用户轨迹相匹配的第一目标用户ID，则可选地，如步骤202描述，可向审核客户端发送上述第一审核服务请求，以触发人工审核得到与所述目标用户轨迹相匹配的第一目标用户ID，具体见下文图13所示流程。

实施例2：

应用于本实施例2中，上述的事件类型为第二类型。可选地，第二类型用于指示人货关联异常。在本实施例2中，当指定区域中已配置的智能系统在判断某件商品(记为目标商品)被目标货格(目标商品所处的货格)前哪位用户执行目标行为时发现有多位用户，无法精确确定出最终的目标用户，即出现了上述人货关联异常(记为第二异常)。

在本实施例2中，上述步骤302中如何按照审核策略对第一审核服务请求携带的第一告警数据进行审核以得到用于纠正所述异常的目标数据可参见图6所示流程：

参见图6，图6为本申请实施例2提供的实现上述步骤302的流程图。在该流程中，应用于上述第二异常，上述审核策略对应为人货关联审核策略。对应地，图6所示流程是基于人货关联审核策略执行的。

另外，在图6所示流程中，应用于上述第二异常，上述第一告警数据即为提示出现上述第二异常的数据。可选地，第一告警数据可包括：目标时刻、目标货格、目标行为、目标商品的商品信息。这里，目标货格是指目标商品所处的货格。目标时刻是指目标商品被执行目标行为的时刻，目标行为是指取拿或者放回。目标商品的商品信息可包括目标商品的商品类别、商品数量等。可选地，上述目标时刻、目标货格、目标行为、目标商品的商品信息可从目标货格上已配置的重力传感器的监测信息中获得。重力传感器会监测到包含上述目标时刻、目标货格、目标行为、目标商品的商品信息的监测信息，具体监测方式类似现有重力传感器的货品监测方式，这里不再赘述。

如图6所示，该流程可包括以下步骤：

步骤601，获得至少一个指定采集设备在上述目标时刻之前已采集的且时长为第一时长的第一视频图像。

这里，至少一个指定采集设备是指视场区域至少包括上述目标货格的采集设备。

可选地，本实施例2中，预先存储指定区域内已安装的各采集设备(比如双目相机等)的视场区域，基于此，这里即可依据已获得的指定区域内已安装的各采集设备(比如双目相机等)的视场区域查找到视场区域包含上述目标货格的至少一个指定采集设备，之后可从该至少一个指定采集设备，或者专用于存放该至少一个指定采集设备录制的视频的存储介质中获取该至少一个指定采集设备在上述目标时刻之前已采集的且时长为第一时长的第一视频图像。

通过步骤601可以获得上述目标时刻前的第一视频图像。需要说明的是，当指定采集设备的数量大于1，则上述获得的第一视频图像的数量也有可能大于1，即出现了多个第一视频图像。

步骤602，获得至少一个指定采集设备已采集的上述目标时刻之后且时长为第二时长的第二视频图像。

与上述步骤601类似，可选地，本实施例2中，预先存储指定区域内已安装的各采集设备(比如双目相机等)的视场区域，基于此，这里即可依据已获得的指定区域内已安装的各采集设备(比如双目相机等)的视场区域查找到视场区域包含上述目标货格的至少一个指定采集设备，之后可从该至少一个指定采集设备，或者专用于存放该至少一个指定采集设备录制的视频的存储介质中获取该至少一个指定采集设备在上述目标时刻之后已采集的且时长为第二时长的第二视频图像。可选地，这里的第二时长可与上述的第一时长相同或不同。

通过步骤602可以获得上述目标时刻后的第二视频图像。需要说明的是，当指定采集设备的数量大于1，则上述获得的第二视频图像的数量也有可能大于1，即出现了多个第二视频图像。

步骤603，依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对目标商品执行所述目标行为的第二目标用户ID。

这里，第二目标用户ID即为上述的目标数据。

通过图6所示流程即可最终确定哪一位用户(即第二目标用户ID对应的用户)针对上述目标商品执行上述目标行为。最终实现了人货关联，之后即可基于该人货关联生成对应的商品订单以进行结算。

可选地，本实施例中，步骤603中依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID有很多实现方式，下文会举例描述其中的三种方式：

方式1：

本方式1是借助行为分析以实现上述步骤603中确定对目标商品执行所述目标行为的第二目标用户ID，具体可见图7所示流程：

参见图7，图7为本申请实施例2提供的步骤603实现流程图。如图7所示，该流程可包括以下步骤：

步骤701，从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列。

这里，疑似用户是指第一视频图像和第二视频图像中处于指定区域的用户，指定区域与所述目标货格前方的设定区域对应。设定区域可根据实际需求设置，这里不具体限定。

在本步骤701中，疑似用户的人体图像序列是由该疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成。

步骤702，依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果，若有一个疑似用户对应的行为分析结果与所述目标行为相匹配，则确定该疑似用户对应的用户ID为所述第二目标用户ID。

可选地，本步骤702中依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果可包括：将每一疑似用户的人体图像序列输入至已训练的第二卷积神经网络得到每一疑似用户对应的行为分析结果。这里的第二卷积神经网络基于行为分析算法分析每一疑似用户对应的行为分析结果。可选地，第二卷积神经网络在具体实现时可为三维卷积网络(C3D：3D Convolutional Networks)。至于第二卷积神经网络如何基于行为分析算法，其类似现有商品检测方式，这里不再一一赘述。

可选地，本实施例中，上述在依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果时还进一步确定该行为分析结果的置信度，比如上述第二卷积神经网络在得到每一疑似用户对应的行为分析结果时还会进一步得到每一疑似用户对应的行为分析结果的置信度。基于此，上述步骤502中在确定该疑似用户对应的用户ID为所述第二目标用户ID之前，还可进一步判断该疑似用户对应的行为分析结果的置信度是否大于或等于设定阈值比如0.9，若置信度大于或等于设定阈值比如0.9，则确定该疑似用户对应的用户ID为所述第二目标用户ID。

至此，完成图7所示流程。

通过图7所示流程，最终实现了上述步骤603中依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID。

方式2：

本方式2是借助手持商品分析实现上述步骤603中确定对所述目标商品执行所述目标行为的第二目标用户ID，具体可参见图8所示流程：

参见图8，图8为本申请实施例2提供的步骤603第二实现流程图。如图8所示，该流程可包括以下步骤：

步骤801，从至少一个第一视频图像中提取第一图像区域，第一图像区域与所述目标货格前方的设定区域对应。

本步骤801中，第一图像区域是第一视频图像中与目标货格前方的设定区域对应的图像区域。当第一视频图像的数量大于1时，第一图像区域的数量也可能大于1。

步骤802，从至少一个第二视频图像中提取第二图像区域，第二图像区域与所述目标货格前方的设定区域对应。

本步骤802中，第二图像区域是第二视频图像中与目标货格前方的设定区域对应的图像区域。当第二视频图像的数量大于1时，第二图像区域的数量也可能大于1。

步骤803，依据至少一个第一图像区域以及至少一个第二图像区域确定每一疑似用户在目标时刻前后对应的手持商品分析结果，疑似用户是指处于所述目标货格前方的设定区域的用户，若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，确定该疑似用户对应的用户ID为所述第二目标用户ID。

基于上面描述的第一视频图像是目标时刻之前已采集的视频图像，则从第一视频图像提取的第一图像区域也就是目标时刻之前目标货格前方的设定区域对应的场景；同样，基于上面描述的第二视频图像是目标时刻之后已采集的视频图像，则从第二视频图像提取的第二图像区域也就是目标时刻之后目标货格前方的设定区域对应的场景，基于这两个不同场景很容易确定每一疑似用户在目标时刻前后对应的手持商品分析结果。下文通过图9所示流程举例描述步骤803中如何依据至少一个第一图像区域以及至少一个第二图像区域确定每一疑似用户在目标时刻前后对应的手持商品分析结果：

参见图9，图9为本申请实施例2提供的步骤803中确定手持商品分析结果的实现流程图。如图9所示，该流程可包括以下步骤：

步骤901，将至少一个第一图像区域输入至已训练的第三卷积神经网络得到至少一个第一商品信息，依据已获得的疑似用户ID对应的手部轨迹从至少一个第一商品信息中确定与疑似用户相关联的第一商品信息。

这里，第三卷积神经网络基于可用于商品检测的算法比如FasterRCNN和InceptionNet等进行商品检测，以得到商品信息。至于具体检测方式，其类似现有商品检测方式，这里不再一一赘述。这里的第一商品信息至少包括：商品类别、商品数量、商品位置的对应关系。可选地，商品位置可通过商品的外接矩形框的位置表示。当第一图像区域的数量大于1时，第一商品信息的数量也可能会大于1。

如上描述的第一图像区域是第一视频图像中与所述目标货格前方的设定区域对应的图像区域，基于此，本步骤901中得到的第一商品信息就为在目标时刻前处于目标货格前方设定区域的疑似用户手持的商品信息。而第一商品信息具体是哪一个疑似用户(具体是手部)手持的商品信息，则可依据已获得的疑似用户ID对应的手部轨迹从至少一个第一商品信息中确定与疑似用户相关联的第一商品信息。可选地，假若第一商品信息中商品位置为一个疑似用户ID对应的手部轨迹中的其中一个位置，或者第一商品信息中商品位置与其中一个疑似用户ID对应的手部轨迹中的其中一个位置之间的距离最小，则可认为该第一商品信息与该疑似用户ID关联(也可认为该第一商品信息与该疑似用户ID对应的疑似用户关联)。最终实现了上述步骤901中依据已获得的疑似用户ID对应的手部轨迹从至少一个第一商品信息中确定与疑似用户相关联的第一商品信息。

步骤902，将至少一个第二图像区域输入至上述第三卷积神经网络得到至少一个第二商品信息，依据已获得的疑似用户ID对应的手部轨迹从至少一个第二商品信息中确定与疑似用户相关联的第二商品信息。

本步骤902类似上述的步骤901，不再赘述。

步骤903，依据同一疑似用户相关联的第一商品信息和/或第二商品信息确定同一疑似用户在所述目标时刻前后对应的手持商品分析结果。

对于任一疑似用户，其可能在目标时刻前不存在手持商品信息(也即该疑似用户不存在相关联的第一商品信息)，而在目标时刻之后存在手持商品信息(也即该疑似用户存在相关联的第二商品信息)，此种情况下，依据该疑似用户相关联的第二商品信息确定该疑似用户在所述目标时刻前后对应的手持商品分析结果，比如手持商品分析结果中包括动作行为(取拿)、商品类别(该疑似用户相关联的第二商品信息中的商品类别)、商品数量(该疑似用户相关联的第二商品信息中的商品数量)等。

至此，通过图9所示流程即实现了步骤803中如何依据至少一个第一图像区域以及至少一个第二图像区域确定每一疑似用户在目标时刻前后对应的手持商品分析结果。

在确定出各疑似用户在目标时刻前后对应的手持商品分析结果后，则如步骤803描述，假若有一个疑似用户在目标时刻前后对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，比如，疑似用户在目标时刻前后对应的手持商品分析结果中的动作行为与上述目标行为一致，且手持商品分析结果中的商品类别、商品数量与目标商品信息一致，则认为疑似用户在目标时刻前后对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配。基于此，即可确定该疑似用户对应的用户ID为所述第二目标用户ID。

可选地，本实施例中，上述在依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果时还进一步确定该手持商品分析结果的置信度。基于此，上述步骤803中在确定该疑似用户对应的用户ID为所述第二目标用户ID之前，还可进一步判断该疑似用户对应的手持商品分析结果的置信度是否大于或等于设定阈值比如0.9，若置信度大于或等于设定阈值比如0.9，则确定该疑似用户对应的用户ID为所述第二目标用户ID。可选地，手持商品分析结果的置信度可通过以下方式计算：比如，获得确定该手持商品分析结果时用到的第一商品信息的置信度(上述第三卷积神经网络在得到该第一商品信息时会进一步得到该第一商品信息的置信度)和/或第二商品信息的置信度(上述第三卷积神经网络在得到该第二商品信息时会进一步得到该第二商品信息的置信度)，依据获得的置信度确定手持商品分析结果的置信度，比如，在获得1个置信度时，直接将获得的置信度确定手持商品分析结果的置信度，在获得2个置信度时，将获得的2个置信度进行设定运算(比如平均、求和等)得到的结果确定为手持商品分析结果的置信度。

至此，完成方式2的描述。

通过方式2，最终实现了上述步骤603中依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID。

方式3：

本方式3通过结合上述方式1和方式2实现步骤603中确定对所述目标商品执行所述目标行为的第二目标用户ID，具体可参见图10所示流程。

参见图10，图10为本申请实施例2提供的步骤603第三实现流程图。如图10所示，该流程可包括以下步骤：

步骤1001，从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列；疑似用户是指处于目标货格前方的设定区域的用户，疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成；依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果，若有一个疑似用户对应的行为分析结果与所述目标行为相匹配，则确定该疑似用户对应的用户ID为第一候选用户ID。

本步骤1001可参考上述方式1，这里不再赘述。

步骤1002，从至少一个第一视频图像中提取至少一个第一图像区域，第一图像区域与所述目标货格前方的设定区域对应；从至少一个第二视频图像中提取第二图像区域，第二图像区域与目标货格前方的设定区域对应；依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果，疑似用户是指处于所述目标货格前方的设定区域的用户；若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，确定该疑似用户对应的用户ID为第二候选用户ID。

本步骤1002可参考上述方式2，这里不再赘述。

步骤1003，若所述第一候选用户ID与所述第二候选用户ID一致，则确定所述第二目标用户ID为所述第一候选用户ID或者所述第二候选用户ID。

至此，完成图10所示流程。

通过图10所示流程，最终实现了上述步骤603中依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID。

以上对实施例2进行了描述。需要说明的是，本实施例2中，假若最终并不能确定对所述目标商品执行所述目标行为的第二目标用户ID，则可选地，如步骤202描述，可向审核客户端发送上述第一审核服务请求，以触发人工审核确定对所述目标商品执行所述目标行为的第二目标用户ID，具体见下文图13所示流程。

实施例3：

本实施例3中，事件类型为第三类型。可选地，第三类型用于指示商品识别异常(记为第三异常)。作为一个实施例，第三异常可为商品识别失败、有人拿放了异常的商品或无法识别商品等。

在本实施例3中，上述步骤302中如何按照审核策略对所述第一审核服务请求携带的第一告警数据进行审核以得到用于纠正所述异常的目标数据可参见图11所示流程：

参见图11，图11为本申请实施例3提供的实现上述步骤302的流程图。在该流程中，应用于上述第三异常，上述审核策略对应为商品识别审核策略。对应地，图11所示流程是基于商品识别审核策略执行的。

另外，在图11所示流程中，应用于上述第三异常，上述第一告警数据即为指示出现上述第三异常的数据。可选地，第一告警数据可包括：目标时刻、目标货格、目标行为。这里，目标货格是指目标商品所处的货格。目标时刻是指目标商品被执行目标行为的时刻，目标行为是指取拿或者放回。可选地，上述目标时刻、目标货格、目标行为可从目标货格上已配置的重力传感器的监测信息中获得。重力传感器会监测到包含上述目标时刻、目标货格、目标行为的监测信息，具体监测方式类似现有重力传感器的货品监测方式，这里不再赘述。

如图11所示，该流程可包括以下步骤：

步骤1101，获得至少一个指定采集设备在上述目标时刻之前已采集的且时长为第三时长的第三视频图像。

本步骤1101类似上述的步骤601，这里不再赘述。

可选地，这里的第三时长与上述的第一时长、第二时长中的一个相同，或者第三时长不同于第一时长、第二时长。

步骤1102，获得至少一个指定采集设备已采集的上述目标时刻之后且时长为第四时长的第四视频图像。

本步骤1102类似上述的步骤602，这里不再赘述。

可选地，这里的第四时长与上述的第一时长、第二时长、第三时长中的一个相同，或者第四时长不同于第一时长、第二时长、第三时长。

步骤1103，依据已获得的至少一个第三视频图像和至少一个第四视频图像确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息，依据商品变化信息确定被执行所述目标行为的目标商品的目标商品信息。

这里的目标商品信息至少包括：目标商品类别和目标商品数量。至于如何依据已获得的至少一个第三视频图像和至少一个第四视频图像确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息，下文图12所示流程给出了一种实施方式：

如图12所示，该流程可包括：

步骤1201，从至少一个第三视频图像中提取第三图像区域，第三图像区域与所述目标货格前方的设定区域对应，将至少一个第三图像区域输入至已训练的第四卷积神经网络得到至少一个第三商品信息。

本步骤1201中从至少一个第三视频图像中提取第三图像区域类似上述的步骤801。这里不再赘述。本步骤1201中的第四卷积神经网络可与上述的第三卷积神经网络相同或者不同，其最终目的是识别出第三商品信息。可选地，第三商品信息可包括：商品类别、商品数量之间的对应关系。

步骤1202，从至少一个第四视频图像中提取第四图像区域，第四图像区域与所述目标货格前方的设定区域对应，将至少一个第四图像区域输入至所述第四卷积神经网络得到第四商品信息。

本步骤1202中从至少一个第四视频图像中提取第四图像区域类似上述的步骤802。这里不再赘述。可选地，第四商品信息至少包括：商品类别、商品数量之间的对应关系。

步骤1203，依据至少一个第三商品信息和/或至少一个第四商品信息确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息。

比如，目标时刻前不存在包含某一商品类别(记为商品类别a)对应的第三商品信息，而在目标时刻后存在包含商品类别a对应的第四商品信息，则就认为商品类别a在目标时刻前后发生变化，商品变化信息即可为包含商品类别a对应的第三商品信息。

再比如，目标时刻前存在包含某一商品类别(记为商品类别b)对应的第三商品信息，而在目标时刻后也存在包含商品类别b对应的第四商品信息，但第三商品信息中商品类别b对应的商品数量为K1，第四商品信息中商品类别b对应的商品数量为不同于K1的K2，则也认为商品类别b在目标时刻前后发生变化，商品变化信息即可为包含商品类别b、K2与K1之差的绝对值。

最终通过图12所示流程实现依据已获得的至少一个第三视频图像和至少一个第四视频图像确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息。可选地，如上述步骤1103描述的，一旦确定出同一商品类别的商品在所述目标时刻前后发生的商品变化信息，则可依据该商品变化信息确定出对应的动作行为，比如，以上述商品类别a为例，则对应的动作行为可为取拿，再以上述商品类别b为例，假若K1大于K2，则对应的动作行为可为放回。在确定出动作行为后，若有一个动作行为与上述目标行为一致，则该将动作行为对应的商品变化信息确定为上述目标商品信息。最终实现了上述步骤903描述的依据商品变化信息确定被执行所述目标行为的目标商品的目标商品信息。

以上对实施例3进行了描述。需要说明的是，本实施例3中，假若最终并不能确定被执行所述目标行为的目标商品的目标商品信息，则可选地，如步骤202描述，可向审核客户端发送上述第一审核服务请求，以触发人工审核确定被执行所述目标行为的目标商品的目标商品信息，具体见下文图13所示流程。

以上对上述步骤202中依据第一审核服务请求携带的事件类型审核所述审核服务携带的第一告警数据以得到用于纠正所述异常的目标数据进行了描述。

在本实施例中，假若上述智能审核系统审核失败，则向审核客户端发送第一审核服务请求。可选地，为实现上述步骤202中向审核客户端发送第一审核服务请求，则上述图1所示的系统还可进一步包括服务端，服务端通过网关设备与审核客户端进行网络通信。

基于服务端的部署，则上述步骤202中向审核客户端发送第一审核服务请求可包括：向已配置的服务端发送第一审核服务请求，服务端接收到第一审核服务请求后，则依据第一审核服务请求生成对应的第二审核服务请求，并从当前已接入的且开启了审核服务功能的所有审核客户端中选择用于审核所述第二审核服务请求的审核客户端，并向选择的审核客户端发送所述第二审核服务请求。下文图18所示流程描述了服务端如何从当前已接入的且开启了审核服务功能的所有审核客户端中选择用于审核所述第二审核服务请求的审核客户端，这里暂不赘述。

作为一个实施例，第二审核服务请求只是为便于描述而进行的命名，并非用于限定。在一个例子中，第二审核服务请求可与上述第一审核服务请求相同。在另一个例子中，第二审核服务请求也可与上述第一审核服务请求不同，其中该不同主要体现在携带的告警数据的不同，即第二审核服务请求携带的告警数据(记为第二告警数据)与上述第一告警数据不同，比如，第二告警数据包括上述第一告警数据以及其他数据(根据实际需求设置，最终目的是协助人工审核)。下文会举例描述第二告警数据，这里暂不赘述。

下面描述审核客户端收到第二审核服务请求后，基于第二审核服务请求的处理方式：

在本实施例中，审核客户端被配置了两个显示屏，其中一个可记为第一显示屏，另一个记为第二显示屏。这里，第一显示屏、第二显示屏只是为便于描述而进行的命名，并非用于限定。另外，本实施例不限定第一显示屏、第二显示屏的位置关系，比如第一显示屏和第二显示屏可上下部署，或者左右部署等，本实施例并不具体限定。

当审核客户端获得上述第二审核服务请求后，其通过上述第一显示屏、第二显示屏实现可视化的人工审核，具体见下文图13所示流程：

参见图13，图13为本申请实施例提供的另一方法流程图。该流程应用于上述的审核客户端，如图13所示，该流程可包括以下步骤：

步骤1301，审核客户端通过第一显示屏显示与已获得的第二审核服务请求相关联的第一类图像。

可选地，当审核客户端获得上述第二审核服务请求时，若监测到该第二审核服务请求被触发(比如点击、触摸等)，其会先通过审核客户端的第一显示屏显示与已获得的第二审核服务请求相关联的第一类图像。这里的第一类图像包括至少一个上述的采集图像(指定区域内已配置的智能系统在监测到异常时正处理的图像)。下面会对第一类图像、以及审核客户端如何通过第一显示屏显示与第二审核服务请求相关联的第一类图像进行描述，这里暂不赘述。

步骤1302，审核客户端通过第二显示屏显示与第二审核服务请求所携带的事件类型对应的第二类图像。

在本实施例中，事件类型用于表征上述异常。基于此，上述与事件类型对应的第二类图像其可为已采集得到的一些图像。本实施例中，之所以通过审核客户端的第二显示屏显示第二类图像，其目的是方便审核员结合上述第一类图像审核以纠正上述异常。基于此，对应地，上述第二类图像也可称用于纠正上述异常的图像。下面会对第二类图像、以及审核客户端如何通过第二显示屏显示第二审核服务请求所携带的事件类型对应的第二类图像进行描述，这里暂不赘述。

步骤1303，获得基于所述第一类图像以及所述第二类图像审核所述异常所得到的审核结果，所述审核结果至少包括用于纠正所述异常的目标数据。

如上描述的第一显示屏显示的第一类图像以及第二显示屏显示的第二类图像，则审核员通过结合上述第一类图像和第二类图像很容易直观纠正上述异常以得到审核结果。这里的审核结果至少包括用于纠正上述异常的目标数据。比如，假若上述异常为新生成的用户轨迹无法与已分配的任一用户ID关联，则最终的审核结果为：从已分配的所有用户ID中查找到与新用户轨迹关联的用户ID，将该新用户轨迹与查找到的用户ID关联起来(对应地，上述的目标数据也即为查找到的目标用户ID)。再以上述异常为指定区域内一商品(记为指定商品)与多个疑似用户关联(简称人货关联失败)，则最终的审核结果为：从多个疑似用户中选择到底是哪一位用户与指定商品关联(对应地，上述的目标数据也即为选择出的用户对应的用户ID)。再以上述异常为用户选购的商品(记为目标商品)的类别、数量等参数识别失败或者识别不出等，则最终的审核结果为输出目标商品的商品类别、商品数量(对应地，上述的目标数据也即为目标商品的商品类别、商品数量)。

至此，完成图13所示流程。

通过图13所示流程可以看出，本实施例中，当指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常，则审核客户端通过双显示屏(上述第一显示屏、第二显示屏)对造成异常的场景和数据(比如上述第一类图像、第二类图像)进行拆解和分析，以获得纠正上述异常的目标数据，后续即可依据目标数据生成商品订单，确保了商品订单的准确性，提高了无感支付的购物体验。

进一步地，本实施例提供的通过双显示屏(上述第一显示屏、第二显示屏)对造成异常的场景和数据(比如上述第一类图像、第二类图像)进行拆解和分析，这种可视化界面能方便人工审核，有效提高审核效率，减少因为异常而导致的人力成本过高问题。

下面通过三个不同实施例对上述图13所示流程进行描述：

实施例4：

在本实施例4中，上述第二审核服务请求携带的事件类型为第一类型。如实施例1描述，第一类型用于指示新生成的用户轨迹(记为目标用户轨迹)与已分配的任一用户ID关联失败(也即上述的第一异常)。

应用于本实施例4中，第二审核服务请求还包括第二告警数据。第二告警数据可用于指示发生上述第一异常时与上述采集图像相关联的数据。可选地，对应上述第一异常，第二告警数据可包括目标时刻和目标位置。这里目标时刻可为上述采集图像的采集时刻。这里目标位置可为上述新生成的目标用户轨迹中的至少一个位置。基于此，可选地，应用于本实施例4中，上述第一类图像可包括：指定区域内已安装的M个采集设备已采集的与上述目标时刻的时差小于或等于第一设定时间阈值的视频。

作为一个实施例，M个采集设备的视场区域包含上述目标位置。可选地，作为一个实施例，本实施例4中，审核客户端会预先获得指定区域内已安装的各采集设备(比如双目相机等)的视场区域，基于此，这里即可依据已获得的指定区域内已安装的各采集设备(比如相机等)的视场区域查找到视场区域包含上述目标位置的M个采集设备，之后可从该M个采集设备或者专用于存放该M个采集设备录制的视频的存储介质中获取该M个采集设备已采集的与目标时刻的时差小于或等于第一设定时间阈值的视频。在本实施例中，M大于或等于1。

在本实施例4中，第一设定时间阈值可根据实际需求设置比如设置为10秒，也即，上述第一类图像可包括：指定区域内已安装的M个采集设备已采集的在上述目标时刻前后10秒内的视频。

可选地，在本实施例中，为方便审核员查看上述第二告警数据和事件类型，则可在上述步骤1301通过审核客户端的第一显示屏显示第一类图像时，进一步在第一显示屏的指定位置显示上述第二告警数据和所述事件类型。可选地，第一显示屏可划分至少两个区域，其中一个区域为画面区域，用于显示与第二审核服务请求相关联的第一类图像，另一个区域为告警显示区域，用于显示第二告警数据和所述事件类型。基于此，上述的指定位置即可为告警显示区域。图14举例示出了第一显示屏显示的第一类图像的示意图。

在本实施例4中，第二告警数据还可进一步包括：指定区域内已安装的N个采集设备的设备标识。在本实施例4中，N个采集设备的视场区域的中心位置与上述目标位置之间的距离小于或等于设定距离，N大于等于1。可选地，这里的N大于上述的M，以使得相比上述M个采集设备，选用N个采集设备可扩大搜索范围，具体见下文描述。在本实施例4中，上述N个采集设备可在转发上述第二审核服务请求前由发送上述第二审核服务请求的源设备比如上述的服务端确定，其目的是为了借助该N个采集设备采集的视频纠正该异常，下文会具体描述。

基于此，在本实施例4中，第二类图像可包括：N个采集设备已采集的与目标时刻的时差小于或等于第二设定时间阈值的视频。这里的第二设定阈值可根据实际需求设置比如设置为300秒，也即，上述第二类图像可包括：N个采集设备已采集的在上述目标时刻前后300秒内的视频。

为了方便审核员确定上述目标用户轨迹关联的目标用户ID，上述第二告警数据可进一步携带至少一个用户的头肩框位置信息。可选地，头肩框位置信息具体可为上述第二类图像中各用户的头肩框位置信息。本实施例4中，可在转发上述第二审核服务请求前，由发送上述第二审核服务请求的源设备比如上述的服务端按照类似上述确定第二类图像的方式确定上述第二类图像，并确定上述第二类图像中各用户在的头肩框位置信息，最终保证第二告警数据携带的头肩框位置信息正好为上述第二类图像中各用户在的头肩框位置信息。基于此，应用于本实施例4中，上述步骤1302中通过客户端的第二显示屏显示第二类图像时进一步包括：在通过客户端的第二显示屏显示的所述第二类图像上叠加头肩框位置信息对应的头肩框。图15举例示出通过第二显示屏显示第二类图像和头肩框。

之后，即可基于第一类图像、第二显示屏显示的第二类图像上叠加的头肩框从已获得的所有已知用户ID中选中与上述新用户轨迹相关联的目标用户ID(即得到了审核结果，目标数据为目标用户ID)。比如，审核员通过查看第一类图像各个用户、并借鉴第二类图像上叠加的头肩框直接人工选中目标用户ID。

至此，完成实施例4的描述。

实施例5：

在本实施例5中，上述事件类型为第二类型。如实施例2描述，第二类型用于指示人货关联异常(记为第二异常)。

与实施例4类似，应用于本实施例5中，第二审核服务请求还携带第二告警数据。这里，第二告警数据可用于指示发生上述第二异常时与上述采集图像相关联的数据。可选地，对应上述第二异常，第二告警数据可包括目标时刻和目标位置。这里目标时刻可为目标商品被执行目标行为的时刻，目标行为是指取拿或者放回，目标位置为目标商品所处的货格。

与实施例4类似，本实施例5中，上述第一类图像可包括：指定区域内已安装的M个采集设备已采集的与上述目标时刻的时差小于或等于第一设定时间阈值的视频。M个采集设备的视场区域包含上述目标位置。具体可参见实施例4有关第一类图像的描述，这里不再赘述。

可选地，在本实施例中，为方便审核员查看上述第二告警数据和事件类型，则可在上述步骤1301通过审核客户端的第一显示屏显示第一类图像时，进一步在第一显示屏的指定位置显示上述第二告警数据和所述事件类型。可选地，第一显示屏可划分至少两个区域，其中一个区域为画面区域，用于显示与第二审核服务请求相关联的第一类图像，另一个区域为告警显示区域，用于显示第二告警数据和所述事件类型。基于此，上述的指定位置即可为告警显示区域。

与实施例4类似，在本实施例5中，第二告警数据还可进一步包括：指定区域内已安装的N个采集设备的设备标识。在本实施例5中，N个采集设备的视场区域的中心位置与上述目标位置之间的距离小于或等于设定距离，N大于等于1。可选地，这里的N大于上述的M，以使得相比上述M个采集设备，选用N个采集设备可扩大搜索范围，具体见下文描述。在本实施例5中，上述N个采集设备可在转发上述第二审核服务请求前由发送上述第二审核服务请求的源设备比如上述的服务端确定，其目的是为了借助该N个采集设备采集的视频纠正该异常，下文会具体描述。

基于此，在本实施例5中，第二类图像可包括：N个采集设备已采集的与目标时刻的时差小于或等于第二设定时间阈值的视频。这里的第二设定阈值可根据实际需求设置比如设置为300秒，也即，上述第二类图像可包括：N个采集设备已采集的在上述目标时刻前后300秒内的视频。

本实施例5中，上述第二告警数据还包括：两个以上头肩框位置信息。可选地，头肩框位置信息具体可为上述第二类图像中各用户的头肩框位置信息。可选地，本实施例5中，服务端在事件类型为第二类型(人货关联失败)时确定上述第二类图像(参考上面描述的第二类图像的确定方式)，并确定上述第二类图像中各用户在的头肩框位置信息，最终保证第二告警数据携带的头肩框位置信息正好为上述第二类图像中各用户在的头肩框位置信息。

基于此，上述通过审核客户端的第二显示屏显示与所述第二审核服务请求所携带的事件类型对应的第二类图像包括：在通过审核客户端的第二显示屏显示的所述第二类图像上叠加所述头肩框位置信息对应的头肩框，类似上述的图15。

之后，即可基于所述第一类图像比如各疑似用户执行的动作行为、以及所述第二类图像上叠加的头肩框从两个以上疑似用户中选中目标用户ID；所述目标数据为所述目标用户对应的目标用户ID(即得到了审核结果，目标数据为目标用户ID)。比如，审核员通过查看第一类图像各个疑似用户对上述目标货格上商品执行上述动作行为的情况、并借鉴第二类图像上叠加的头肩框直接人工选中目标用户ID。

至此，完成实施例5的描述。

需要说明的是，在本实施例5中，也可能会存在以下情况：审核员在基于第二类图像审核时发现还不能纠正上述异常，则需要扩大搜索范围进行深度审核。基于此，上述第二类图像可包括：N个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频、以及基于深度审核指令扩充的除N个采集设备之外的至少一个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频。可选地，第二类图像可包括指定区域内所有采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频。之后，可按照上述类似的方式得到审核结果。为和上述审核方式区分，这里可将审核结果认为是审核客户端基于深度审核指令确定的。

实施例6：

在本实施例6中，上述事件类型为第三类型。如实施例3描述，第三类型用于指示商品识别异常(记为第三异常)。这里的第三异常可为商品识别失败、有人拿放了异常的商品或无法识别商品等。

与实施例4类似，应用于本实施例6中，第二审核服务请求还携带第二告警数据。这里，第二告警数据可用于指示发生上述第三异常时与上述采集图像相关联的数据。可选地，对应上述第三异常，第二告警数据可包括目标时刻、目标位置。其中，目标位置可为指定区域内目标货架上的目标货格(比如货架ID：15，货格ID：0304表示指定区域内目标货架上的目标货格，其也可由重力传感器感知)。目标时刻具体可为上述目标货格上目标商品被执行动作行为(取拿商品或者放回商品)的时刻(其可通过目标位置上配置的重力传感器感知)。

与实施例4类似，可选地，在本实施例6中，第一类图像可包括：指定区域内已安装的M个采集设备已采集的与上述目标时刻的时差小于或等于第一设定时间阈值的视频。M个采集设备的视场区域包含上述目标位置比如上述目标货架上的目标货格。具体可参见实施例4有关第一类图像的描述，这里不再赘述。图16举例示出了在上述第三异常时通过审核客户端的第一显示屏显示第一类图像。

可选地，在本实施例6中，第二类图像可包括：已获得的上述目标货架上各货格上商品的商品图像。在本实施例6之前，审核客户端可预先从服务端获取并存储指定区域内所有货架上各货格内商品的商品图像。基于此，当接收到上述第二审核服务请求时，直接从已存储的所有商品图像中查找到上述目标货架上各货格所存放的商品的商品图像，并通过上述审核客户端的第二显示屏显示。即最终实现了上述步骤1302中通过审核客户端的第二显示屏显示与第二审核服务请求所携带的事件类型对应的第二类图像。图17以目标货架为货架ID为15的货架为例示出了通过审核客户端的第二显示屏显示与第二审核服务请求所携带的事件类型对应的第二类图像。

基于上述第一类图像、第二类图像，下面描述如何纠正上述异常：

本实施例6中，如上描述的事件类型为第三类型(用于指示商品识别异常比如商品识别失败、有人拿放了异常的商品或无法识别商品等)，在此前提下，本实施例6应用于如下应用场景：商品未知，但对该未知商品执行上述动作行为的目标用户已知。基于该应用场景，为引导审核人员明确对哪一目标用户执行审核，上述第二告警数据还会进一步携带目标用户的头肩框位置信息和用户轨迹ID。这里的头肩框位置信息和用户轨迹ID可由发送上述第二审核服务请求的源设备比如上述的服务端在上述第三异常时按照上述确定第一类图像的方式确定第一类图像并确定上述目标用户在上述第一类图像中的头肩框位置信息。最终保证第二告警数据携带的头肩框位置信息正好为目标用户在上述第一类图像中的头肩框位置信息。

基于此，本实施例6中，上述步骤1301通过第一显示屏显示第一类图像可包括：在第一显示屏显示的第一类图像上叠加头肩框位置信息对应的头肩框。具体可参见图16示出的头肩框。之后，审核员即可基于第一类图像上叠加的头肩框、已获得的上述用户轨迹ID对应的用户轨迹从第二显示屏显示的商品图像中选中目标商品图像。比如，审核员通过查看目标用户(对应上述头肩框)在第一类图像上的操作、以及上述用户轨迹最终会发现上述目标用户是对哪一个商品执行上述动作行为，即最终会得到上述审核结果(此时目标商品图像对应的商品即为上述目标数据)。

需要说明的是，在本实施例6中，也可能会存在以下情况：审核员在基于上述的第二类图像和第一类图像审核时发现还不能纠正上述异常，则需要扩大搜索范围进行深度审核。基于此，上述第二类图像可包括：已获得的目标货架上各货格所存放的商品的商品图像、以及基于深度审核指令扩充的除目标货架之外的至少一个非目标货架上各货格所存放的商品的商品图像。可选地，第二类图像可包括指定区域内所有货架上各货格所存放的商品的商品图像。之后，可按照上述类似的方式得到审核结果。为和上述审核方式区分，这里可在审核结果携带深度审核标识，以指示审核客户端基于深度审核指令确定审核结果的。需要说明的，应用于本实施例6，这里的深度审核指令一般是在目标用户离开上述指定区域后执行，基于此，审核员会主动确定目标用户进入指定区域至离开指定区域这一段时间内选购的所有商品信息(也即上述审核结果中目标数据)。下文会具体描述对应的处理，这里暂不赘述。

至此，完成实施例6的描述。

下文对图18所示流程进行描述：

参见图18，图18为本申请实施例提供的审核客户端确定流程示意图。该流程应用于上述服务端，包括以下步骤：

步骤1801，检查本地是否已接入第二审核服务请求相关联的审核客户端，如果是，执行步骤1802，如果否，执行步骤1803。

作为一个实施例，服务端在接收到第一审核服务请求时，发现当前没有一个审核客户端接入或者有审核客户端接入但接入的审核客户端未开启审核服务功能，则可选地，服务端可先将上述第一审核服务请求记录至已配置的数据库。依次类推，最终数据库可能会记录很多条第一审核服务请求。之后，当服务端后续发现有审核客户端接入且该审核客户端开启了审核服务功能或者发现已接入的审核客户端开启了审核服务功能，则按照第一审核服务请求记录至数据库的时间的先后顺序取出P(P大于等于1，比如P取值为10)条审核服务请求。针对每一审核服务请求(仍以上述的第一审核服务请求为例)，先依据第一审核服务请求生成对应的第二审核服务请求(具体见上文描述)，之后，如步骤1801所述，检查本地是否已接入第二审核服务请求相关联的审核客户端。

可选地，第二审核服务请求携带的第二告警数据中可包括用户ID或者用户轨迹ID等(记为关键字)，基于此，第二审核服务请求相关联的审核客户端是指审核客户端标识对应的审核客户端，而审核客户端标识是指数据库中已记录的包含该关键字的审核结果所对应的审核客户端标识。

作为另一个实施例，在本步骤1801中，服务端在接收到第一审核服务请求时，假若发现当前有审核客户端接入且开启了审核服务功能，则针对第一审核服务请求，先依据第一审核服务请求生成对应的第二审核服务请求(具体见上文描述)，之后，如步骤1801所述，检查本地是否已接入第二审核服务请求相关联的审核客户端。

步骤1802，在审核客户端开启审核服务功能时，向审核客户端发送第二审核服务请求。

本实施例中，当上述步骤1802中服务端将第二审核服务请求发送给审核客户端，则审核客户端会获得第二审核服务请求。当审核客户端获得第二审核服务请求时可执行上文图13所示流程，这里暂不赘述。

步骤1803，按照负载分担方式从已接入的且开启了审核服务功能的所有审核客户端中确定一个审核客户端，向确定的审核客户端发送第二审核服务请求。

这里，按照负载分担方式确定一个审核客户端有很多种实现方式，比如依据各审核客户端当前的负载(比如待审核的审核服务请求的数量等)、各审核客户端的数量确定一个审核客户端，本实施例不再一一限定。

当审核客户端获得第二审核服务请求时，执行上述图13所示流程，这里不再赘述。

至此，完成图18所示流程。

通过图18所示流程，最终实现了上述如何从当前已接入的且开启审核服务功能的所有审核客户端中确定一个审核客户端。需要说明的是，图18只是一种举例，并非用于限定。

可选地，在本实施例中，上述审核客户端在基于上述图13所示流程或者在上述实施例4至实施例6中得到审核结果后，还可将上述审核结果发送给已配置的服务端。

可选地，当上述服务端接收到审核结果时，其会将审核结果、以及发送给审核结果的审核客户端的审核客户端标识对应记录至上述数据库，以便作为追溯、以及防止数据丢失而导致后续商品订单有误等缺陷。这里的审核结果可包含上述第二审核服务请求、上述目标数据等，本实施例不具体限定。

可选地，在本实施例中，当服务端接收到审核结果时，假若审核结果中事件类型为第一类型且审核结果还携带深度审核标识，则还会执行如图19所示流程。

参见图19，图19为本申请实施例提供的审核结果处理流程图。如图19所示，该流程可包括以下步骤：

步骤1901，服务端获得审核结果时，若审核结果中事件类型为第一类型且审核结果还携带深度审核标识，则执行步骤1902。

如上描述的第一类型用于指示商品识别异常。

基于上述实施例6描述，当审核结果携带深度审核标识，则指示审核客户端基于深度审核指令确定审核结果。

步骤1902，将用户ID对应的用户购物车数据更新为审核结果携带的商品信息，并依据更新后的购物车数据生成对应的商品订单，所述用户ID为所述审核结果携带的用户ID。

基于实施例6描述的深度审核指令一般是在目标用户离开上述指定区域后执行，则可选地，上述实施例6得到的审核结果即如实施例6中所述的审核员会主动确定目标用户进入指定区域至离开指定区域这一段时间内选购的所有商品信息(也即上述审核结果中目标数据)，在此前提下，可直接将上述目标用户的用户ID对应的用户购物车数据更新为审核结果携带的商品信息，并依据更新后的购物车数据生成对应的商品订单。之后，可通过网关设备将商品订单发送给上述智能系统，以使智能系统触发根据商品订单进行商品结算。

以上是以审核结果中事件类型为第一类型且审核结果还携带深度审核标识为例描述，而在其他示例比如审核结果中事件类型不为第一类型，或者事件类型为第一类型但审核结果未携带深度审核标识等，则服务端可将上述审核结果通过网关设备发送给上述智能系统，以由智能系统触发根据审核结果生成商品订单并进行商品结算。

至此，完成图19所示流程。

以上对本实施例提供的方法进行了描述。下面对本实施例提供的装置进行描述：

参见图20，图20为本申请实施例提供的装置结构图。该装置对应于图2所示流程，如图20所示，该装置可包括：

审核单元，用于当监测到第一审核服务请求时，所述第一审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常触发的，则依据所述第一审核服务请求携带的事件类型审核所述第一审核服务请求携带的第一告警数据以得到用于纠正所述异常的目标数据；

发送单元，用于在所述审核单元审核失败时，向审核客户端发送所述第一审核服务请求，以由审核客户端得到用于纠正所述异常的目标数据。

可选地，所述审核单元依据所述第一审核服务请求携带的事件类型审核所述审核服务携带的第一告警数据包括：

依据所述事件类型确定与所述事件类型匹配的审核策略；

按照所述审核策略对所述第一审核服务请求携带的第一告警数据进行审核以得到用于纠正所述异常的目标数据。

可选地，所述事件类型为第一类型，所述第一类型用于指示新生成的目标用户轨迹与任一用户在进入指定区域时被分配的已知用户ID关联失败；第一告警数据包括所述至少一个采集图像对应的图像信息、所述目标用户轨迹；所述审核策略为用户轨迹审核策略；

所述审核单元按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

从所述图像信息对应的至少一个采集图像中提取所述目标用户轨迹对应的用户图像区域；

依据所述目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID。

可选地，所述审核单元依据目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID包括：

将所述目标用户轨迹对应的用户图像区域输入至已训练的第一卷积神经网络得到目标人体特征模型；

将已获得的至少一个已知用户ID对应的用户图像区域输入至所述第一卷积神经网络得到各已知用户ID对应的候选人体特征模型；

依据所述目标人体特征模型与每一候选人体特征模型之间的相似度，将其中一个候选人体特征模型对应的已知用户ID确定为所述第一目标用户ID。

可选地，所述事件类型为用于指示人货关联异常的第二类型；所述第一告警数据包括目标时刻、目标货格、目标行为、目标商品的商品信息；目标货格是指目标商品所处的货格，目标时刻是指所述目标商品被执行所述目标行为的时刻，目标行为是指取拿或者放回；所述审核策略为人货关联审核策略；

所述可选单元按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

获得至少一个指定采集设备在所述目标时刻之前已采集的且时长为第一时长的第一视频图像；以及，获得至少一个指定采集设备在所述目标时刻之后已采集的且时长为第二时长的第二视频图像；所述至少一个指定采集设备是指视场区域至少包括所述目标货格的采集设备；

依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID。

可选地，所述可选单元依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID包括：

从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列；疑似用户是指处于目标货格前方的设定区域的用户，疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成；依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果，若有一个疑似用户对应的行为分析结果与所述目标行为相匹配，则确定该疑似用户对应的用户ID为所述第二目标用户ID；或者，

从至少一个第一视频图像中提取至少一个第一图像区域，第一图像区域与所述目标货格前方的设定区域对应；从至少一个第二视频图像中提取第二图像区域，第二图像区域与所述目标货格前方的设定区域对应；依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果，所述疑似用户是指处于所述目标货格前方的设定区域的用户；若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，确定该疑似用户对应的用户ID为所述第二目标用户ID。

可选地，所述审核单元依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID包括：

从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列；疑似用户是指处于目标货格前方的设定区域的用户，疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成；依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果，若有一个疑似用户对应的行为分析结果与所述目标行为相匹配，则确定该疑似用户对应的用户ID为第一候选用户ID；

从至少一个第一视频图像中提取至少一个第一图像区域，第一图像区域与所述目标货格前方的设定区域对应；从至少一个第二视频图像中提取第二图像区域，第二图像区域与目标货格前方的设定区域对应；依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果，疑似用户是指处于所述目标货格前方的设定区域的用户；若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，确定该疑似用户对应的用户ID为第二候选用户ID；

若所述第一候选用户ID与所述第二候选用户ID一致，则确定所述第二目标用户ID为所述第一候选用户ID或者所述第二候选用户ID。

可选地，所述审核单元依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果包括：

将每一疑似用户的人体图像序列输入至已训练的第二卷积神经网络得到疑似用户对应的行为分析结果。

可选地，所述审核单元依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果包括：

将至少一个第一图像区域输入至已训练的第三卷积神经网络得到至少一个第一商品信息，第一商品信息至少包括：商品类别、商品数量、商品位置的对应关系；依据已获得的疑似用户ID对应的手部轨迹从至少一个第一商品信息中确定与疑似用户相关联的第一商品信息；

将至少一个第二图像区域输入至所述第三卷积神经网络得到至少一个第二商品信息，第二商品信息至少包括：商品类别、商品数量、商品位置的对应关系；依据已获得的疑似用户ID对应的手部轨迹从至少一个第二商品信息中确定与疑似用户相关联的第二商品信息；

依据同一疑似用户相关联的第一商品信息和/或第二商品信息确定同一疑似用户在所述目标时刻前后对应的手持商品分析结果。

可选地，所述事件类型为用于指示商品识别异常的第三类型；所述第一告警数据包括目标时刻、目标货格、目标行为；目标货格是指目标商品所处的货格，目标时刻是指执行所述目标行为的时刻，目标行为是指取拿或者放回；所述审核策略为商品识别审核策略；

可选地，所述审核单元按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

获得至少一个指定采集设备已采集的所述目标时刻之前且时长为第三时长的第三视频图像；以及，获得至少一个指定采集设备已采集的所述目标时刻之后且时长为第四时长的第四视频图像；指定采集设备是指视场区域至少包括所述目标货格的采集设备；

依据至少一个第三视频图像和至少一个第四视频图像确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息；依据商品变化信息确定被执行所述目标行为的目标商品的目标商品信息；目标商品信息至少包括：目标商品类别和目标商品数量。

可选地，所述审核单元依据至少一个第三视频图像和至少一个第四视频图像确定同一类别的商品在所述目标时刻前后发生的商品变化信息包括：

从至少一个第三视频图像中提取第三图像区域，第三图像区域与所述目标货格前方的设定区域对应；将至少一个第三图像区域输入至已训练的第四卷积神经网络得到第三商品信息，第三商品信息至少包括：商品类别、商品数量之间的对应关系；

从至少一个第四视频图像中提取第四图像区域，第四图像区域与所述目标货格前方的设定区域对应；将至少一个第四图像区域输入至所述第四卷积神经网络得到第四商品信息；第四商品信息至少包括：商品类别、商品数量之间的对应关系；

依据至少一个第三商品信息和/或至少一个第四商品信息确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息。

可选地，所述发送单元向审核客户端发送所述第一审核服务请求包括：

向已配置的服务端发送所述第一审核服务请求，以由所述服务端依据所述第一审核服务请求生成对应的第二审核服务请求，所述第二审核服务请求携带所述事件类型和第二告警数据，所述第二告警数据至少包括所述第一告警数据；并从当前已接入的且开启了审核服务功能的所有审核客户端中选择用于审核所述第二审核服务请求的审核客户端，并向选择的审核客户端发送所述第二审核服务请求。

至此，完成图20所示装置的结构描述。

参见图21，图21为本申请实施例提供的另一装置结构图。该装置对应用于图13所示流程，可包括：

第一显示单元，通过所述审核客户端的第一显示屏显示与已获得的第二审核服务请求相关联的第一类图像；所述第二审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常所触发的；所述第一类图像至少包括所述至少一个采集图像；

第二显示单元，通过所述审核客户端的第二显示屏显示与所述审核服务请求所携带的事件类型对应的第二类图像；所述事件类型用于表征所述异常；所述第二类图像至少包括：已获得的用于纠正所述异常的至少一个图像；

获得单元，用于获得基于所述第一类图像以及所述第二类图像审核所述异常所得到的审核结果，所述审核结果至少包括用于纠正所述异常的目标数据。

可选地，所述第二审核服务请求还包括：第二告警数据；

所述第一显示单元当通过审核客户端的第一显示屏显示与审核服务请求相关联的第一类图像时进一步在所述第一显示屏的指定位置显示所述第二告警数据和所述事件类型。

可选地，所述第二告警数据还包括目标时刻、目标位置；

所述第一类图像包括：所述指定区域内已安装的M个采集设备已采集的与所述目标时刻的时差小于或等于第一设定时间阈值的视频；所述M个采集设备的视场区域包含所述目标位置，M大于或等于1。

可选地，所述第二告警数据还包括：所述指定区域内已安装的N个采集设备的设备标识；所述N个采集设备的视场区域的中心位置与所述目标位置之间的距离小于或等于设定距离，N大于等于1；

所述第二类图像包括：N个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频；或者，

所述第二类图像包括：N个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频、以及基于深度审核指令扩充的除N个采集设备之外的至少一个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频。

可选地，所述第二告警数据还包括：至少一个头肩框位置信息；

所述通过审核客户端的第二显示屏显示与所述审核服务请求所携带的事件类型对应的第二类图像时进一步在所述第二类图像上叠加所述头肩框位置信息对应的头肩框。

可选地，所述事件类型为：第一类型，所述第一类型用于指示新生成的目标用户轨迹与任一用户在进入指定区域时被分配的已知用户ID关联失败；所述目标位置为所述目标用户轨迹中的至少一个位置；所述目标时刻为所述采集图像的采集时刻；所述审核结果是基于第一类图像、第二类图像上叠加的头肩框从已获得的所有已知用户ID中选中与所述目标用户轨迹相关联的目标已知用户ID；或者，

所述事件类型为：第二类型，所述第二类型用于指示人货关联异常；所述目标位置为目标商品所处的目标货格；所述目标时刻为所述目标商品被执行目标行为的时刻，所述目标行为包括取拿或放回；所述审核结果是基于所述第一类图像、以及所述第二类图像上叠加的头肩框从两个以上疑似用户中选中对所述目标商品执行目标行为的目标用户ID。

可选地，所述事件类型为第三类型，所述第三类型用于指示商品识别异常；所述目标位置为目标商品所处的目标货格，所述目标时刻为目标时刻为所述目标商品被执行目标行为的时刻，所述目标行为包括取拿或放回；

所述第二类图像包括：已获得的所述目标货架上各货格所存放的商品的商品图像；或者，

所述第二类图像包括：已获得的所述目标货架上各货格所存放的商品的商品图像、以及基于深度审核指令扩充的除目标货架之外的至少一个非目标货架上各货格所存放的商品的商品图像。

可选地，所述第二告警数据还包括：头肩框位置信息；

所述第一显示单元通过所述第一显示屏显示第一类图像包括：在所述第一显示屏显示的第一类图像上叠加所述头肩框位置信息对应的头肩框；

所述第二告警数据还包括用户轨迹ID，以使审核客户端基于所述第一类图像上叠加的所述头肩框以及已获得的所述用户轨迹ID对应的用户轨迹从所述第二显示屏显示的商品图像中选中的目标商品图像；所述目标数据为所述目标商品图像对应的目标商品信息。

至此，完成图21所示装置的结构描述。

对应地，本申请还提供了图20或图21所示装置的硬件结构。参见图22，该硬件结构可包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的方法。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的方法。

示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (21)

1.一种数据审核方法，其特征在于，该方法包括：

当监测到第一审核服务请求时，所述第一审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常触发的，则依据所述第一审核服务请求携带的事件类型审核所述第一审核服务请求携带的第一告警数据以得到用于纠正所述异常的目标数据，并在审核失败时，向审核客户端发送所述第一审核服务请求，以由审核客户端得到用于纠正所述异常的目标数据；

其中，所述向审核客户端发送所述第一审核服务请求包括：

向已配置的服务端发送所述第一审核服务请求，以由所述服务端依据所述第一审核服务请求生成对应的第二审核服务请求，所述第二审核服务请求携带所述事件类型和第二告警数据，所述第二告警数据至少包括所述第一告警数据；并从当前已接入的且开启了审核服务功能的所有审核客户端中选择用于审核所述第二审核服务请求的审核客户端，并向选择的审核客户端发送所述第二审核服务请求。

2.根据权利要求1所述的方法，其特征在于，所述依据所述第一审核服务请求携带的事件类型审核所述审核服务携带的第一告警数据包括：

依据所述事件类型确定与所述事件类型匹配的审核策略；

按照所述审核策略对所述第一审核服务请求携带的第一告警数据进行审核以得到用于纠正所述异常的目标数据。

3.根据权利要求2所述的方法，其特征在于，所述事件类型为第一类型，所述第一类型用于指示新生成的目标用户轨迹与任一用户在进入指定区域时被分配的已知用户ID关联失败；第一告警数据包括所述至少一个采集图像对应的图像信息、所述目标用户轨迹；所述审核策略为用户轨迹审核策略；

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

从所述图像信息对应的至少一个采集图像中提取所述目标用户轨迹对应的用户图像区域；

依据所述目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID。

4.根据权利要求3所述的方法，其特征在于，所述依据目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域，从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID包括：

将所述目标用户轨迹对应的用户图像区域输入至已训练的第一卷积神经网络得到目标人体特征模型；

将已获得的至少一个已知用户ID对应的用户图像区域输入至所述第一卷积神经网络得到各已知用户ID对应的候选人体特征模型；

依据所述目标人体特征模型与每一候选人体特征模型之间的相似度，将其中一个候选人体特征模型对应的已知用户ID确定为所述第一目标用户ID。

5.根据权利要求2所述的方法，其特征在于，所述事件类型为用于指示人货关联异常的第二类型；所述第一告警数据包括目标时刻、目标货格、目标行为、目标商品的商品信息；目标货格是指目标商品所处的货格，目标时刻是指所述目标商品被执行所述目标行为的时刻，目标行为是指取拿或者放回；所述审核策略为人货关联审核策略；

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

获得至少一个指定采集设备在所述目标时刻之前已采集的且时长为第一时长的第一视频图像；以及，获得至少一个指定采集设备在所述目标时刻之后已采集的且时长为第二时长的第二视频图像；所述至少一个指定采集设备是指视场区域至少包括所述目标货格的采集设备；

依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID。

6.根据权利要求5所述的方法，其特征在于，所述依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID包括：

从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列；疑似用户是指处于目标货格前方的设定区域的用户，疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成；依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果，若有一个疑似用户对应的行为分析结果与所述目标行为相匹配，则确定该疑似用户对应的用户ID为所述第二目标用户ID；或者，

从至少一个第一视频图像中提取至少一个第一图像区域，第一图像区域与所述目标货格前方的设定区域对应；从至少一个第二视频图像中提取第二图像区域，第二图像区域与所述目标货格前方的设定区域对应；依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果，所述疑似用户是指处于所述目标货格前方的设定区域的用户；若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，确定该疑似用户对应的用户ID为所述第二目标用户ID。

7.根据权利要求6所述的方法，其特征在于，所述依据已获得的至少一个第一视频图像和至少一个第二视频图像，确定对所述目标商品执行所述目标行为的第二目标用户ID包括：

从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列；疑似用户是指处于目标货格前方的设定区域的用户，疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成；依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果，若有一个疑似用户对应的行为分析结果与所述目标行为相匹配，则确定该疑似用户对应的用户ID为第一候选用户ID；

从至少一个第一视频图像中提取至少一个第一图像区域，第一图像区域与所述目标货格前方的设定区域对应；从至少一个第二视频图像中提取第二图像区域，第二图像区域与目标货格前方的设定区域对应；依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果，疑似用户是指处于所述目标货格前方的设定区域的用户；若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配，确定该疑似用户对应的用户ID为第二候选用户ID；

若所述第一候选用户ID与所述第二候选用户ID一致，则确定所述第二目标用户ID为所述第一候选用户ID或者所述第二候选用户ID。

8.根据权利要求6或7所述的方法，其特征在于，所述依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果包括：

将每一疑似用户的人体图像序列输入至已训练的第二卷积神经网络得到疑似用户对应的行为分析结果。

9.根据权利要求6或7所述的方法，其特征在于，所述依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果包括：

将至少一个第一图像区域输入至已训练的第三卷积神经网络得到至少一个第一商品信息，第一商品信息至少包括：商品类别、商品数量、商品位置的对应关系；依据已获得的疑似用户ID对应的手部轨迹从至少一个第一商品信息中确定与疑似用户相关联的第一商品信息；

将至少一个第二图像区域输入至所述第三卷积神经网络得到至少一个第二商品信息，第二商品信息至少包括：商品类别、商品数量、商品位置的对应关系；依据已获得的疑似用户ID对应的手部轨迹从至少一个第二商品信息中确定与疑似用户相关联的第二商品信息；

依据同一疑似用户相关联的第一商品信息和/或第二商品信息确定同一疑似用户在所述目标时刻前后对应的手持商品分析结果。

10.根据权利要求2所述的方法，其特征在于，所述事件类型为用于指示商品识别异常的第三类型；所述第一告警数据包括目标时刻、目标货格、目标行为；目标货格是指目标商品所处的货格，目标时刻是指执行所述目标行为的时刻，目标行为是指取拿或者放回；所述审核策略为商品识别审核策略；

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括：

获得至少一个指定采集设备已采集的所述目标时刻之前且时长为第三时长的第三视频图像；以及，获得至少一个指定采集设备已采集的所述目标时刻之后且时长为第四时长的第四视频图像；指定采集设备是指视场区域至少包括所述目标货格的采集设备；

依据至少一个第三视频图像和至少一个第四视频图像确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息；依据商品变化信息确定被执行所述目标行为的目标商品的目标商品信息；目标商品信息至少包括：目标商品类别和目标商品数量。

11.根据权利要求10所述的方法，其特征在于，所述依据至少一个第三视频图像和至少一个第四视频图像确定同一类别的商品在所述目标时刻前后发生的商品变化信息包括：

从至少一个第三视频图像中提取第三图像区域，第三图像区域与所述目标货格前方的设定区域对应；将至少一个第三图像区域输入至已训练的第四卷积神经网络得到第三商品信息，第三商品信息至少包括：商品类别、商品数量之间的对应关系；

从至少一个第四视频图像中提取第四图像区域，第四图像区域与所述目标货格前方的设定区域对应；将至少一个第四图像区域输入至所述第四卷积神经网络得到第四商品信息；第四商品信息至少包括：商品类别、商品数量之间的对应关系；

依据至少一个第三商品信息和/或至少一个第四商品信息确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息。

12.一种数据审核方法，其特征在于，该方法应用于审核客户端，包括：

通过所述审核客户端的第一显示屏显示与已获得的第二审核服务请求相关联的第一类图像；所述第二审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常所触发的；所述第一类图像至少包括所述至少一个采集图像；

通过所述审核客户端的第二显示屏显示与所述审核服务请求所携带的事件类型对应的第二类图像；所述事件类型用于表征所述异常；所述第二类图像至少包括：已获得的用于纠正所述异常的至少一个图像；

获得基于所述第一类图像以及所述第二类图像审核所述异常所得到的审核结果，所述审核结果至少包括用于纠正所述异常的目标数据。

13.根据权利要求12所述的方法，其特征在于，所述第二审核服务请求还包括：第二告警数据；

当通过审核客户端的第一显示屏显示与审核服务请求相关联的第一类图像时该方法进一步包括：在所述第一显示屏的指定位置显示所述第二告警数据和所述事件类型。

14.根据权利要求13所述的方法，其特征在于，所述第二告警数据还包括目标时刻、目标位置；

所述第一类图像包括：所述指定区域内已安装的M个采集设备已采集的与所述目标时刻的时差小于或等于第一设定时间阈值的视频；所述M个采集设备的视场区域包含所述目标位置，M大于或等于1。

15.根据权利要求14所述的方法，其特征在于，所述第二告警数据还包括：所述指定区域内已安装的N个采集设备的设备标识；所述N个采集设备的视场区域的中心位置与所述目标位置之间的距离小于或等于设定距离，N大于等于1；

所述第二类图像包括：N个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频；或者，所述第二类图像包括：N个采集设备已采集的与所述目标时刻的时差小

于或等于第二设定时间阈值的视频、以及基于深度审核指令扩充的除N个采集设备之外的至少一个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频。

16.根据权利要求15所述的方法，其特征在于，所述第二告警数据还包括：至少一个头肩框位置信息；

其中，所述通过审核客户端的第二显示屏显示与所述审核服务请求所携带的事件类型对应的第二类图像还包括：在所述第二类图像上叠加所述头肩框位置信息对应的头肩框。

17.根据权利要求15或16所述的方法，其特征在于，

所述事件类型为：第一类型，所述第一类型用于指示新生成的目标用户轨迹与任一用户在进入指定区域时被分配的已知用户ID关联失败；所述目标位置为所述目标用户轨迹中的至少一个位置；所述目标时刻为所述采集图像的采集时刻；所述审核结果是基于第一类图像、第二类图像上叠加的头肩框从已获得的所有已知用户ID中选中与所述目标用户轨迹相关联的目标已知用户ID；或者，

所述事件类型为：第二类型，所述第二类型用于指示人货关联异常；所述目标位置为目标商品所处的目标货格；所述目标时刻为所述目标商品被执行目标行为的时刻，所述目标行为包括取拿或放回；所述审核结果是基于所述第一类图像、以及所述第二类图像上叠加的头肩框从两个以上疑似用户中选中对所述目标商品执行目标行为的目标用户ID。

18.根据权利要求14所述的方法，其特征在于，所述事件类型为第三类型，所述第三类型用于指示商品识别异常；所述目标位置为目标商品所处的目标货格，所述目标时刻为所述目标商品被执行目标行为的时刻，所述目标行为包括取拿或放回；

所述第二类图像包括：已获得的目标货架上各货格所存放的商品的商品图像；或者，

所述第二类图像包括：已获得的所述目标货架上各货格所存放的商品的商品图像、以及基于深度审核指令扩充的除目标货架之外的至少一个非目标货架上各货格所存放的商品的商品图像。

19.根据权利要求18所述的方法，其特征在于，所述第二告警数据还包括：头肩框位置信息；

所述通过所述第一显示屏显示第一类图像包括：在所述第一显示屏显示的第一类图像上叠加所述头肩框位置信息对应的头肩框；

所述第二告警数据还包括用户轨迹ID，以使审核客户端基于所述第一类图像上叠加的所述头肩框以及已获得的所述用户轨迹ID对应的用户轨迹从所述第二显示屏显示的商品图像中选中的目标商品图像；所述目标数据为所述目标商品图像对应的目标商品信息。

20.一种数据审核系统，其特征在于，该审核系统包括：

智能审核系统，用于监测到的审核服务请求时，执行如权利要求1至11任一所述方法中的步骤；

审核客户端，用于在所述智能审核系统基于所述审核服务请求审核失败后获得所述审核服务请求，则执行如权利要求12至19任一所述方法中的步骤。

21.一种电子设备，其特征在于，该电子设备包括：处理器和机器可读存储介质；

所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现权利要求1-19任一项的方法步骤。