CN111145430A - 检测商品摆放状态的方法、装置及计算机存储介质 - Google Patents

Abstract

本申请公开了一种检测商品摆放状态的方法、装置及计算机存储介质，属于人工智能领域。方法包括：根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度；如果多个图像区域中存在第一图像区域，则在目标图像中标记第一图像区域；生成第一重新摆放提示消息，第一重新摆放提示消息携带标记有第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。因此，通过上述方式可以实现自动检测商品摆放状态，以确定补货人员摆放的商品是否符合相关要求，无需通过人工方式，从而节约了大量的人力成本。

Description

检测商品摆放状态的方法、装置及计算机存储介质

技术领域

本申请涉及人工智能技术领域，特别涉及一种检测商品摆放状态的方法、装置及计算机存储介质。

背景技术

随着人工智能技术的发展，无人货柜因其便利性而越来越受到用户的欢迎。当无人货柜中的商品出现短缺时，补货人员需要向无人货柜添加商品，以保证无人货柜的货源充足。在补货人员向无人货柜添加商品后，需要确保商品的摆放状态符合规范，以便于后续售卖过程中后台服务器能够通过无人货柜采集的图像正确识别用户购买的商品。

相关技术中，在补货人员向无人货柜添加商品后，通常是质检人员通过人工方式来检测商品摆放状态是否符合要求，导致检测过程需要耗费大量的人力资源。

发明内容

本申请实施例提供了一种检测商品摆放状态的方法、装置及计算机存储介质，可以节约检测商品摆放状态所需的人力成本。所述技术方案如下：

一方面、提供了一种检测商品摆放状态的方法，该方法包括：

根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度，每个图像区域对应的置信度用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率，所述目标图像用于指示补货人员向无人货柜添加商品后所述无人货柜中的商品摆放状态；

如果所述多个图像区域中存在第一图像区域，则在所述目标图像中标记所述第一图像区域，所述第一图像区域是指所述多个图像区域中对应的置信度小于第一置信度阈值的图像区域；

生成第一重新摆放提示消息，所述第一重新摆放提示消息携带标记有所述第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。

可选地，所述方法还包括：

如果所述多个图像区域中不存在所述第一图像区域，则生成摆放成功确认消息。

可选地，所述如果所述多个图像区域中不存在所述第一图像区域，则生成摆放成功确认消息，包括：

如果所述多个图像区域中不存在所述第一图像区域、存在第二图像区域，则通过异常检测模型对所述目标图像进行处理，得到异常识别结果，所述异常检测模型用于确定所述目标图像中的商品摆放位置是否异常，所述第二图像区域是指所述多个图像区域中对应的置信度大于或等于所述第一置信度阈值且小于第二置信度阈值的图像区域；

如果所述异常识别结果用于指示所述目标图像中商品摆放位置正常，则生成所述摆放成功确认消息。

可选地，所述通过异常检测模型对所述目标图像进行处理，得到异常识别结果之后，还包括：

如果所述异常识别结果用于指示所述目标图像中商品摆放位置异常，则在所述目标图像中标记所述第二图像区域；

生成第二重新摆放提示信息，所述第二重新摆放提示信息携带标记有所述第二图像区域的目标图像。

可选地，所述方法还包括：

如果所述多个图像区域中存在所述第一图像区域，则生成微调提示消息，用于提示补货人员对商品的位置进行微调。

可选地，所述方法还包括：

获取所述无人货柜在售卖商品过程中的商品识别成功率；

根据所述商品识别成功率和成功率阈值，调整所述第一置信度阈值，其中，如果所述商品识别成功率小于成功率阈值，则调整后的第一置信度阈值小于调整前的第一置信度阈值。

可选地，所述方法还包括：

获取所述补货人员每次补货成功所需的平均时长；

根据所述平均时长和时长阈值，调整所述第二置信度阈值，其中，如果所述平均时长大于时长阈值，则调整后的第二置信度阈值小于调整前的第二置信度阈值。

第二方面、提供了一种检测商品摆放状态的装置，该装置包括：

识别模块，用于根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度，每个图像区域对应的置信度用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率，所述目标图像用于指示补货人员向无人货柜添加商品后所述无人货柜中的商品摆放状态；

第一标记模块，用于如果所述多个图像区域中存在第一图像区域，则在所述目标图像中标记所述第一图像区域，所述第一图像区域是指所述多个图像区域中对应的置信度小于第一置信度阈值的图像区域；

第一生成模块，用于生成第一重新摆放提示消息，所述第一重新摆放提示消息携带标记有所述第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。

可选地，该装置还包括：

第二生成模块，用于如果所述多个图像区域中不存在所述第一图像区域，则生成摆放成功确认消息。

可选地，所述第二生成模块用于：

如果所述多个图像区域中不存在所述第一图像区域、存在第二图像区域，则通过异常检测模型对所述目标图像进行处理，得到异常识别结果，所述异常检测模型用于确定所述目标图像中的商品摆放位置是否异常，所述第二图像区域是指所述多个图像区域中对应的置信度大于或等于所述第一置信度阈值且小于第二置信度阈值的图像区域；

如果所述异常识别结果用于指示所述目标图像中商品摆放位置正常，则生成所述摆放成功确认消息。

可选地，所述装置还包括：

第二标记模块，用于如果所述异常识别结果用于指示所述目标图像中商品摆放位置异常，则在所述目标图像中标记所述第二图像区域；

第二生成模块，用于生成第二重新摆放提示信息，所述第二重新摆放提示信息携带标记有所述第二图像区域的目标图像。

可选地，该装置还包括：

第三生成模块，用于如果所述多个图像区域中存在所述第一图像区域，则生成微调提示消息，用于提示补货人员对商品的位置进行微调。

可选地，该装置还包括：

第一获取模块，用于获取所述无人货柜在售卖商品过程中的商品识别成功率；

第一调整模块，用于根据所述商品识别成功率和成功率阈值，调整所述第一置信度阈值，其中，如果所述商品识别成功率小于成功率阈值，则调整后的第一置信度阈值小于调整前的第一置信度阈值。

可选地，该装置还包括：

第二获取模块，用于获取所述补货人员每次补货成功所需的平均时长；

第二调整模块，用于根据所述平均时长和时长阈值，调整所述第二置信度阈值，其中，如果所述平均时长大于时长阈值，则调整后的第二置信度阈值小于调整前的第二置信度阈值。

第三方面、提供了一种检测商品摆放状态的装置，该装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述第一方面中任一方面所述的方法的步骤。

第四方面、一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述上述第一方面中任一方面所述的方法的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

在本申请中，可以根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度；如果所述多个图像区域中存在第一图像区域，则在目标图像中标记第一图像区域；生成第一重新摆放提示消息，该第一重新摆放提示消息携带标记有第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。因此，通过上述方式可以实现自动检测商品摆放状态，以确定补货人员摆放的商品是否符合相关要求，无需通过人工方式，从而节约了大量的人力成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种摆放状态符合鱼眼镜头的示意图；

图2是本申请实施例提供的一种检测商品摆放状态的系统架构图；

图3是本申请实施例提供的一种检测商品摆放状态的方法流程图；

图4是本申请实施例提供的一种商品识别模型的识别结果展示示意图；

图5是本申请实施例提供的一种标记后的目标图像的示意图；

图6是本申请实施例提供的一种商品摆放状态异常的展示示意图；

图7是本申请实施例提供的一种检测商品摆放状态的装置的结构示意图；

图8是本申请实施例提供的另一种检测商品摆放状态的装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例提供的检测商品摆放状态的方法进行解释说明之前，先对本申请实施例的应用场景进行解释说明。

采用人工智能技术可以实现无人货柜(其中，无人货柜也称为智能柜等)自动准确识别商品。目前主要采用训练的网络模型对无人货柜中的商品的图像进行识别。在大范围商业场景下，如果无人货柜中的商品随意摆放，导致无人货柜中每一层商品之间都可能出现各种各样的遮挡，此时如果完全依网络赖模型来识别遮挡场景下的大量的商品，将很难实现长期稳定的精确识别。所以，除了要求网络模型有极高的商品检测和识别能力，以便于能够从图像中定位和识别出商品的位置和类别。也需要合理的摆放每一层的众多商品，使他们在图像中都能清晰，明显的展现自己。

为了实现商业化，需要采用物美价廉的图像输入设备(其中，图像输入设备也可以称为图像采集设备等)。目前最经济有效的方案是在无人货柜的每一层货架顶部中心位置安装一个清晰度较高的采用鱼眼镜头的相机。因为鱼眼镜头是呈放射状180度(半球状)收集光线来生成图像的，所以如果商品随意摆放，每一层的靠近中心区域的较高的商品可能对相邻的外侧区域较矮的商品产生明显的遮挡，使较矮的商品的主要特征区域被挡住，从而导致网络模型无法良好的识别出较矮的商品，甚至人眼也无法分辨出来。所以在补货人员补货时，特别需要一种监控和反馈机制，来保证补货人员对于货物的摆放状态能够更好的符合鱼眼镜头的特性，从而所有商品都能有良好的展现，提高网络模型的识别效果。图1是本申请实施例提供的一种摆放状态符合鱼眼镜头的示意图。如图1所示，较高的商品摆放在外侧，较矮的商品摆放在外侧，且相邻商品之间没有遮挡关键特征区域。对于图1所示的摆放状态，网络模型便可精确识别其中的每个商品。

其中，对于不同的商品识别技术和策略，有不同的配套的补货方案。

对于每一层采用多个摄像头拍摄图像，进行识别、融合结果的方案，因为该方案成本高，目前没有实际商用案例，不做讨论。对于通用的采用单个鱼眼镜头的方案，目前市场上的商品识别技术，倾向于把智能柜的每一层划分为若干个货道，每个货道事先约定摆放特定类型的商品。然后采用机器学习的技术，对于每个货道的商品数量的进行识别，从而实现对于顾客购买情况的判断。这种方案要求补货员在每个货道补货特定品类的商品。好处是因为商品是人为挑选的，智能柜每个位置的商品的高度和宽度已知，很容易从补货上避开鱼眼镜头遮挡的问题。但是这种补货方案人工度参与多，补货要求高，耗时耗力。而且无人货柜能够摆放的商品种类较少，容易影响顾客体验和销量，并且顾客也可能会把商品从一个货道移动到另一个货道，从而影响网络模型的识别效果。

对于不规定商品货道的摆放方案，因为鱼眼镜头的特性，很容易出现明显的遮挡情况，从而影响通过网络模型进行识别的效果，最终影响顾客体验，无法实现长期稳定的高精度识别。

由此可见，为了能够识别出摆放在无人货柜中每一个商品，遮挡是必须要解决的问题。这里的遮挡是指会挡住商品主要特征位置造成模型难以识别的情况。因此，在补货人员补货完成后，需要检测商品摆放状态，目前无人货柜领域没有一个完整通用方案来检测商品摆放状态。本申请实施例提供的检测商品摆放状态的方法就应用于上述场景，以使补货人员补货后的商品摆放状态能够便于网络模型进行识别。

图2是本申请实施例提供的一种检测商品摆放状态的系统架构图。如图2所示，该系统200包括无人货柜201和服务器202。无人货柜201和服务器202之间通过有线或无线方式连接以进行通信。

其中，无人货柜201包括图像采集设备和UI(ueser-interface，用户交互)界面设备。该图像采集设备可以为鱼眼摄像头，也可以为其他类型的摄像头。无人货柜的每一层货架的顶端均安装有一个该图像采集设备。该UI界面设备可以为显示器位于无人货柜的外侧，用于提供人机交互界面。

当补货人员在无人货柜201中添加商品后，可以通过UI界面设备生成商品摆放状态检测指令，以触发图像采集设备采集图像。无人货柜根据该图像生成商品摆放状态检测请求，并将该商品摆放状态检测请求发送至服务器202。当服务器202接收到该商品摆放状态检测请求后，根据该图像就商品摆放状态进行检测，并将相应的检测结果返回至无人货柜201。关于服务器202对商品摆放状态进行检测的详细实现方式，将在下述实施例中进行说明，在此就先不阐述。

上述无人货柜201还可以称为智能柜或智能商品柜等。上述服务器202可以为独立的服务器、还可以为服务器集群，对此不做具体限定。

需要说明的是，上述系统架构以及后续的方法实施例均是以服务器来检测商品状态为例进行说明。可选地，上述根据图像检测商品状态也可以由无人货柜本端来处理，此时无人货柜本端具有商品状态检测的能力，本申请实施例对此不做具体限定。

接下来对本申请实施例提供的检测商品摆放状态的方法进行详细解释说明。

图3是本申请实施例提供的一种检测商品摆放状态的方法流程图。如图3所示，该方法包括如下步骤：

步骤301：服务器根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度。

步骤301中的目标图像用于指示补货人员向无人货柜添加商品后无人货柜中的商品摆放状态。

其中，该目标图像可以通过无人货柜中的图像采集设备采集得到。

在一种可能的实现方式中，无人货柜的UI界面设备的显示界面上可以显示有商品添加成功选项。当补货人员在确定完成向无人货柜中添加商品后，可以通过预设操作选择该商品添加成功选项。当无人货柜检测到补货人员选择该商品添加成功选项后，便可控制图像采集采集目标图像，并基于该目标图像生成摆放检测请求，该摆放检测请求携带该目标图像。无人货柜将摆放检测请求发送至服务器。上述预设操作可以为点击操作、滑动操作或语音操作等等。

当服务器接收到该摆放检测请求时，通过商品识别模型对该目标图像进行处理，得到针对目标图像的识别结果。该商品识别模型用于对目标图像中的商品进行识别，该商品识别模型是预先训练的神经网络模型或深度学习模型，本申请实施例并不限定商品识别模型的具体类型以及训练该商品识别模型的过程，任何能够识别商品的模型均在本申请实施例提供的商品识别模型的保护范围之内。

上述每个图像区域对应的置信度用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率。比如，对于任一图像区域，假设该图像区域对应的商品识别结果为“可乐”，如果该图像区域对应的置信度为80％，则表明该图像区域中的商品有80％的可能为“可乐”，如果该图像区域对应的置信度为50％，则表明该图像区域中的商品有50％的可能为“可乐”，如果该该图像区域对应的置信度为10％，则表明该图像区域中的商品有10％的可能为“可乐”.

比如，图4是本申请实施例提供的一种商品识别模型的识别结果展示示意图。如图4所示，目标图像中的每个灰色方框代表一个图像区域，识别结果中包括针对每个图像区域对应的商品识别结果和每个图像区域对应的置信度，在此就不再一一举例说明。需要说明的是，图3仅仅用于对商品识别模型的识别结果进行举例说明，在应用本申请实施例时，服务器中无需向前端的无人货柜展示图3所示的图像，只需向无人货柜反馈最终的检测结果即可。

步骤302：如果多个图像区域中存在第一图像区域，服务器则在目标图像中标记第一图像区域，第一图像区域是指多个图像区域中对应的置信度小于第一置信度阈值的图像区域。

当通过商品识别模型对目标图像进行识别之后，如果目标图像中存在无法识别的商品，则该商品所在的图像区域的置信度比较低。因此，服务器可以预先设置一个较低的第一置信度阈值，如果图像区域对应的置信度低于第一置信度阈值，则表明商品识别模型无法识别该图像区域所指示的商品，此时则可以提示补货人员重新怕摆放商品。

因此，为了便于补货人员快速调整商品的摆放状态，如果多个图像区域中存在第一图像区域，服务器则在目标图像中标记第一图像区域，以便于通过下述步骤303提示补货人员目标图像中的这些区域对应的商品需要重新调整。其中，第一图像区域可以是多个图像区域中的一个图像区域，也可以是多个图像区域中的两个或两个以上的图像区域，本申请实施例并不限定第一图像区域的数量。

比如，对于图4所示的识别结果，假设靠近最左侧的第二列方框中从上到下第二个方框和第三个方框所指示的图像区域对应的置信度小于第一置信度阈值。因此，服务器可以在目标图像中将这两个图像区域标记出来，得到图5所示的标记后的目标图像。

步骤303：服务器生成第一重新摆放提示消息，第一重新摆放提示消息携带标记有第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。

由于目标图像中存在置信度很低的图像区域，表明当前的商品摆放中存在商品识别模型无法准确识别的商品，因此，服务器需要生成第一重新摆放提示消息，并将该第一重新摆放提示消息发送至无人货柜。

当无人货柜接收到该第一重新摆放提示消息时，可以通过UI界面设备的显示界面中显示该标记后的目标图像，以提示补货人员根据标记后的目标图像重新调整商品摆放状态。比如，当标记后的目标图像为图5所示的目标图像时，补货人员根据经验确定可能是图6中箭头所指的商品对图5中标记的商品造成了遮挡，从而导致图5中标记的图像区域无法被准确识别。此时，补货人员可以调整图6中箭头所指的商品的位置，从而实现对商品摆放状态的调整。

进一步地，为了提醒补货人员第一图像区域是摆放出现异常的商品对应的图像区域，服务器还可以在标记后的目标图像中标记异常提示信息，以使UI界面设备的显示界面中在显示该显示该标记后的目标图像时，还显示该异常提示信息。

上述步骤302和步骤303用于解释说明多个图像区域中存在第一图像区域的情况下服务器的处理过程。相应地，如果多个图像区域中不存在第一图像区域，在一种可能的实现方式中，服务器可以直接生成摆放成功消息，并将该摆放成功消息发送至无人货柜。当无人货柜接收到该摆放成功消息时，可以通过UI界面设备显示该摆放成功消息，以使补货人员确认当前摆放符合相关要求。

进一步地，如果多个图像区域中不存在第一图像区域，也即是，目标图像中识别出的商品的置信度都不低，但是也可能存在商品识别模型本身存在识别误差的原因，比如对于外形相似的商品商品识别模型可能存在识别错误的情况。因此，在另一种可能的实现方式中，如果不在第一图像区域，还可以进一步对目标图像通过下述步骤304至步骤307进行处理，以避免由于商品识别模型本身识别误差的原因，导致识别出的商品的置信度都不低。

步骤304：如果多个图像区域中不存在第一图像区域、存在第二图像区域，服务器则通过异常检测模型对目标图像进行处理，得到异常识别结果，异常检测模型用于确定目标图像中的商品摆放位置是否异常，第二图像区域是指多个图像区域中对应的置信度大于或等于第一置信度阈值且小于第二置信度阈值的图像区域。

如果对应的置信度在第一置信度与第二置信度之间的商品，此时如果单纯靠置信度的标准不足以判断该层商品的摆放情况符合要求，因此服务器预先收集大量商品的摆放数据，包含正常摆放和异常摆放的各种情况，训练一个用于识别商品摆放位置是否异常的模型。采用训练好的异常检测模型来识别目标图像，判断是否存在由于遮挡等原因导致商品摆放异常。

其中，第二图像区域可以是多个图像区域中的一个图像区域，也可以是多个图像区域中的两个或两个以上的图像区域，本申请实施例同样并不限定第二图像区域的数量。

步骤305：如果异常识别结果用于指示目标图像中商品摆放位置正常，服务器则生成摆放成功确认消息。

如果识别出的商品摆放位置正常，则表明当前商品摆放位置正常，且各个商品均能被商品识别模型识别，因此可以通过补货检测阶段，也即是通过步骤304生成摆放成功确认消息。

服务器在生成摆放成功确认消息之后，将该摆放成功确认消息反馈至无恶人货柜。当无人货柜接收到该摆放成功消息时，可以通过UI界面设备显示该摆放成功消息，以使补货人员确认当前摆放符合相关要求。

步骤306：如果异常识别结果用于指示目标图像中商品摆放位置异常，服务求则在目标图像中标记第二图像区域。

步骤307：服务器生成第二重新摆放提示信息，第二重新摆放提示信息携带标记有第二图像区域的目标图像。

如果识别出的商品摆放位置异常，则表明虽然各个商品均能被商品识别模型识别，但是商品的摆放位置异常，此时可能存在有些商品因为部分特征别遮挡而被识别为别的商品的情况，因此可以通过步骤305和步骤306提示补货人员重新摆放商品，以调整商品摆放状态。

因此，当服务器生成第二重新摆放提示消息，需将该第二重新摆放提示消息发送至无人货柜。当无人货柜接收到该第二重新摆放提示消息时，可以通过UI界面设备的显示界面中显示该标记有第二图像区域的目标图像，以提示补货人员根据标记后的目标图像重新调整商品摆放状态。

其中，步骤306和步骤307的实现方式可以参考上述步骤302和步骤303，在此不再重复说明。

此外，对于置信度较低的图像区域所指示的商品，此时，也有可能商品摆放位置中不存在异常，但是由于部分遮挡的原因导致置信度较低。因此，如果多个图像区域中存在第一图像区域，服务器还可以生成微调提示消息，并将该微调提示消息发送至无人货柜。当无人货柜接收到该微调提示消息时，通过UI界面设备显示或播放该微调提示消息，以提示补充人员对各个商品的摆放位置进行微调。比如前后左右移动，旋转该商品，稍微移远或者整理附近遮挡该商品的其他商品(比如面包商品包装上沿会遮挡矮罐装可乐，可以折叠面包包装上沿)等，以提高这些商品的识别功率率。

上述第二置信度阈值也是服务器预先设置的。其中，第二置信度阈值大于第一置信度阈值。

在本申请实施例中，可以通过根据商品识别模型识别的历史统计数据合理调整第一置信度阈值和第二置信度阈值，以提高本申请提供的检测商品摆放状态的方法的应用成功性。

在一种可能的实现方式中，调整第一置信度阈值的实现过程可以为：获取无人货柜在售卖商品过程中的商品识别成功率；根据商品识别成功率和成功率阈值，调整第一置信度阈值，其中，如果该商品识别成功率小于成功率阈值，则调整后的第一置信度阈值小于调整前的第一置信度阈值。

相应地，如果该商品识别成功率大于成功率阈值，也可以对第一置信度进行调整，此时调整后的第一置信度阈值可以大于调整前的第一置信度阈值。

如果按照本申请实施例提供的检测商品摆放状态的方法通过了补货人员的补货，但是后续商品售卖过程中发现商品识别成功率较低，表明在检测摆放状态时使用的第一置信度阈值过高，导致没有正确识别的商品被认为正确识别了，因此，需要降低第一置信度阈值，以提高通过补充人员补货的门槛。

上述对第一置信度阈值进行调整的幅度可以由服务器自行设置，本申请实施例对此不做具体限定。

另外，在一种可能的实现方式中，调整第二置信度阈值的实现过程可以为：获取补货人员每次补货成功所需的平均时长；根据平均时长和时长阈值，调整第二置信度阈值，其中，如果平均时长大于时长阈值，则调整后的第二置信度阈值小于调整前的第二置信度阈值。

相应地，如果平均时长小于时长阈值，也可以对第二置信度进行调整，此时调整后的第二置信度阈值大于调整前的第二置信度阈值。

如果按照本申请实施例提供的检测商品摆放状态的方法对补充人员的补充流程进行监控，但是发现补充人员补充时间较长，表明过补充人员补货的门槛较高，因此，可以适当地降低过补充人员补货的门槛。也即是，降低第二置信度阈值。

同样地，上述对第二置信度阈值进行调整的幅度可以由服务器自行设置，本申请实施例对此不做具体限定。

此外，对于可能因为遮挡严重，导致商品识别模型“看得见”的商品的置信度都高于第二置信度阈值，但是商品识别模型“看不见”的商品，完全没有被检测到，同时自然也没有置信度的情况。这种情况，本申请实施例提供的方案结合实际通用的补货推单算法，可以自动消除掉这种情况。因为当前没有检测到部分严重遮挡的商品，下一次补货推单算法推单的商品可能超过该无人货柜真实的空位(通用的补货推单原则都倾向于把货柜补满，具有普适性)，从而导致下一次实际补货时该无人货柜摆放不下，也即是出现爆仓的情况，此时补货人员可以选择把多余的商品拿走，或者将多余的商品堆叠到该无人货柜。如果全部堆叠，由于前述的商品识别模型是在大量无堆叠的情况下采集的数据中训练出的，所以堆叠后肯定出现较多低置信度的商品，很可能出现低于第一置信度阈值的情况，此时则很容易导致检测商品状态不符合相关要求的结果，也即是出现补货不通过的结果。或者，在存在第二图像区域时，被上述异常检测模型检测出异常，同样出现补货不通过的结果。无论上述哪种情况，补货人员只能把多余的商品拿走，如果补货人员将拿走，需要补货人员携带这部分商品到其他地方，耗时耗力，补货人员肯定不愿意反复这样操作，从而更注意调整自己的摆放。此外，同时多余的商品不论是放到其他智能柜，或是返仓都很容易监测到，进而采取措施。因此，对于遮挡特别严重导致存在采集不到的商品这种情况实际上是很难出现的。

在本申请实施例中，可以根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度；如果多个图像区域中存在第一图像区域，则在目标图像中标记第一图像区域；生成第一重新摆放提示消息，第一重新摆放提示消息携带标记有第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。因此，通过上述方式可以实现自动检测商品摆放状态，以确定补货人员摆放的商品是否符合相关要求，无需通过人工方式，从而节约了大量的人力成本。

图7是本申请实施例提供的一种检测商品摆放状态的装置的结构示意图。如图7所示，该装置700包括：

识别模块701，用于根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度，每个图像区域对应的置信度用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率，目标图像用于指示补货人员向无人货柜添加商品后无人货柜中的商品摆放状态；

第一标记模块702，用于如果多个图像区域中存在第一图像区域，则在目标图像中标记第一图像区域，第一图像区域是指多个图像区域中对应的置信度小于第一置信度阈值的图像区域；

第一生成模块703，用于生成第一重新摆放提示消息，第一重新摆放提示消息携带标记有第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。

可选地，该装置还包括：

第二生成模块，用于如果多个图像区域中不存在第一图像区域，则生成摆放成功确认消息。

可选地，第二生成模块用于：

如果多个图像区域中不存在第一图像区域、存在第二图像区域，则通过异常检测模型对目标图像进行处理，得到异常识别结果，异常检测模型用于确定目标图像中的商品摆放位置是否异常，第二图像区域是指多个图像区域中对应的置信度大于或等于第一置信度阈值且小于第二置信度阈值的图像区域；

如果异常识别结果用于指示目标图像中商品摆放位置正常，则生成摆放成功确认消息。

可选地，装置还包括：

第二标记模块，用于如果异常识别结果用于指示目标图像中商品摆放位置异常，则在目标图像中标记第二图像区域；

第二生成模块，用于生成第二重新摆放提示信息，第二重新摆放提示信息携带标记有第二图像区域的目标图像。

可选地，该装置还包括：

第三生成模块，用于如果多个图像区域中存在第一图像区域，则生成微调提示消息，用于提示补货人员对商品的位置进行微调。

可选地，该装置还包括：

第一获取模块，用于获取无人货柜在售卖商品过程中的商品识别成功率；

第一调整模块，用于根据商品识别成功率和成功率阈值，调整第一置信度阈值，其中，如果商品识别成功率小于成功率阈值，则调整后的第一置信度阈值小于调整前的第一置信度阈值。

可选地，该装置还包括：

第二获取模块，用于获取补货人员每次补货成功所需的平均时长；

第二调整模块，用于根据平均时长和时长阈值，调整第二置信度阈值，其中，如果平均时长大于时长阈值，则调整后的第二置信度阈值小于调整前的第二置信度阈值。

在本申请实施例中，可以根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度；如果多个图像区域中存在第一图像区域，则在目标图像中标记第一图像区域；生成第一重新摆放提示消息，第一重新摆放提示消息携带标记有第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。因此，通过上述方式可以实现自动检测商品摆放状态，以确定补货人员摆放的商品是否符合相关要求，无需通过人工方式，从而节约了大量的人力成本。

需要说明的是：上述实施例提供的检测商品摆放状态的装置在检测商品摆放状态时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的检测商品摆放状态的装置与检测商品摆放状态的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是本申请实施例提供的一种检测商品摆放状态的装置的结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲：

服务器800包括中央处理单元(CPU)801、包括随机存取存储器(RAM)802和只读存储器(ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。服务器800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说，大容量存储设备807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

根据本申请的各种实施例，服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的检测商品摆放状态的方法的指。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的检测商品摆放状态的方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在服务器上运行时，使得服务器执行上述实施例提供的检测商品摆放状态的方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种检测商品摆放状态的方法，其特征在于，所述方法包括：

根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度，每个图像区域对应的置信度用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率，所述目标图像用于指示补货人员向无人货柜添加商品后所述无人货柜中的商品摆放状态；

如果所述多个图像区域中存在第一图像区域，则在所述目标图像中标记所述第一图像区域，所述第一图像区域是指所述多个图像区域中对应的置信度小于第一置信度阈值的图像区域；

生成第一重新摆放提示消息，所述第一重新摆放提示消息携带标记有所述第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述多个图像区域中不存在所述第一图像区域，则生成摆放成功确认消息。

3.如权利要求2所述的方法，其特征在于，所述如果所述多个图像区域中不存在所述第一图像区域，则生成摆放成功确认消息，包括：

如果所述多个图像区域中不存在所述第一图像区域、存在第二图像区域，则通过异常检测模型对所述目标图像进行处理，得到异常识别结果，所述异常检测模型用于确定所述目标图像中的商品摆放位置是否异常，所述第二图像区域是指所述多个图像区域中对应的置信度大于或等于所述第一置信度阈值且小于第二置信度阈值的图像区域；

如果所述异常识别结果用于指示所述目标图像中商品摆放位置正常，则生成所述摆放成功确认消息。

4.如权利要求3所述的方法，其特征在于，所述通过异常检测模型对所述目标图像进行处理，得到异常识别结果之后，还包括：

如果所述异常识别结果用于指示所述目标图像中商品摆放位置异常，则在所述目标图像中标记所述第二图像区域；

生成第二重新摆放提示信息，所述第二重新摆放提示信息携带标记有所述第二图像区域的目标图像。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述多个图像区域中存在所述第一图像区域，则生成微调提示消息，用于提示补货人员对商品的位置进行微调。

6.如权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

获取所述无人货柜在售卖商品过程中的商品识别成功率；

根据所述商品识别成功率和成功率阈值，调整所述第一置信度阈值，其中，如果所述商品识别成功率小于成功率阈值，则调整后的第一置信度阈值小于调整前的第一置信度阈值。

7.如权利要求3或4所述的方法，其特征在于，所述方法还包括：

获取所述补货人员每次补货成功所需的平均时长；

根据所述平均时长和时长阈值，调整所述第二置信度阈值，其中，如果所述平均时长大于时长阈值，则调整后的第二置信度阈值小于调整前的第二置信度阈值。

8.一种检测商品摆放状态的装置，其特征在于，所述装置包括：

识别模块，用于根据商品识别模型对目标图像进行处理，得到多个图像区域、每个图像区域对应的商品识别结果、以及每个图像区域对应的置信度，每个图像区域对应的置信度用于指示相应图像区域中的商品为对应的商品识别结果所指示的商品的概率，所述目标图像用于指示补货人员向无人货柜添加商品后所述无人货柜中的商品摆放状态；

第一标记模块，用于如果所述多个图像区域中存在第一图像区域，则在所述目标图像中标记所述第一图像区域，所述第一图像区域是指所述多个图像区域中对应的置信度小于第一置信度阈值的图像区域；

第一生成模块，用于生成第一重新摆放提示消息，所述第一重新摆放提示消息携带标记有所述第一图像区域的目标图像，用于提示补货人员根据标记后的目标图像重新调整商品摆放状态。

9.一种检测商品摆放状态的装置，其特征在于，所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述权利要求1至权利要求7中的任一项权利要求所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述权利要求1至权利要求7中的任一项权利要求所述的方法的步骤。

Images