CN111739091A - 一种物品放回检测方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种物品放回检测方法、装置、设备及介质，所述方法包括：获取至少一个目标图像帧；识别出所述目标图像帧中的目标物品，获取所述目标物品的位置与预设目标位置区域之间的目标距离信息，根据所述目标距离信息确定所述目标物品的物品放回概率；其中，所述预设目标位置区域是所述目标物品在所述售货设备中的预设放置区域；根据各所述目标图像帧对应的物品放回概率，获得所述目标物品是否被放回的检测结果。本发明实施例提供的方法通过结合各目标图像帧对应的物品放回概率判断目标物品是否被放回，实现了在不更改无人售货设备的硬件配置的情况下，提高物品放回判断结果的准确性。

Description

一种物品放回检测方法、装置、设备及介质

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种物品放回检测方法、装置、设备及介质。

背景技术

随着智能化的发展，通过无人设备(如无人售货机、无人超市等)进行售货成为了一种新型售货模式。无人售货设备能够使顾客如同在超市一样自助选取商品，通过重力推算、图像识别等技术手段推算顾客购买商品，智能结算。

现有的无人售货设备一般通过设置于设备中的摄像头采集的图像信息以及报货层中设置的重量传感器确定推算顾客的购买商品清单。但是，在购物过程中不可避免地会出现顾客挑选商品后不满意又放回的情况。为此，直接应用图像识别技术，仅仅能判断顾客“拿出”的商品，而无法判断顾客拿出商品后是否“放回”。目前，无人售货设备判断用户是否放回商品的处理方案主要有以下三种：1、对于每一帧图像进行物品检测，利用跟踪算法或者其他方法建立商品的运动轨迹，利用运动轨迹来判断商品的拿放。2、利用重量秤的读数计算出被放回商品的重量，以此来判断顾客放回商品。3、把摄像头安装位置改为每一层摆货层的上方，以完整地看到售货设备内部摆放的商品，通过计算顾客购买前后售货设备内部减少的商品，即可形成顾客的购买清单。

在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：建立商品运动轨迹的方式，对实时性以及图像识别算法要求都很高，进而对计算单元及摄像头的性能要求很高，鲁棒性很差；利用重力信息进行判断不够全面，容易产生误判；更改摄像头安放位置不能根据顾客的拿放动作给出反馈，用户体验较差，且售货设备内部商品的摆放位置及商品品类的限制较多。

发明内容

本发明实施例提供了一种物品放回检测方法、装置、设备及介质，以实现在不更改无人售货设备的硬件配置的情况下，提高物品放回判断结果的准确性。

第一方面，本发明实施例提供了一种物品放回检测方法，包括：

获取至少一个目标图像帧；

识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率；其中，预设目标位置区域是目标物品在售货设备中的预设放置区域；

根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果。

第二方面，本发明实施例还提供了一种物品放回检测装置，包括：

目标图像获取模块，用于获取至少一个目标图像帧；

物品放回概率模块，用于识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的距离信息，根据距离信息确定目标物品的物品放回概率，其中，预设目标位置区域是目标物品在售货设备中的预设放置区域；

目标放回检测模块，用于根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果。

第三方面，本发明实施例还提供了一种计算机设备，设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的物品放回检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的物品放回检测方法。

本发明实施例通过获取至少一个目标图像帧；识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率；其中，预设目标位置区域是目标物品在售货设备中的预设放置区域；根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果，通过结合各目标图像帧对应的物品放回概率判断目标物品是否被放回，实现了在不更改无人售货设备的硬件配置的情况下，提高物品放回判断结果的准确性。

附图说明

图1a是本发明实施例一所提供的一种物品放回检测方法的流程图；

图1b是本发明实施例一所提供的一种预设目标位置区域的示意图；

图2是本发明实施例二所提供的一种物品放回检测方法的流程图；

图3是本发明实施例三所提供的一种物品放回检测方法的流程图；

图4是本发明实施例四所提供的一种物品放回检测装置的结构示意图；

图5是本发明实施例五所提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a是本发明实施例一所提供的一种物品放回检测方法的流程图。本实施例可适用于判断无人售货设备中物品是否被放回时的情形。该方法可以由物品放回检测装置执行，该物品放回检测装置可以采用软件和/或硬件的方式实现，例如，该物品放回检测装置可配置于计算机设备中。如图1a所示，所述方法包括：

S110、获取至少一个目标图像帧。

在本实施例中，无人售货设备可以为各种形式的无人售卖设备，如无人售货柜、无人超市中的货架等。具体的，通过根据目标图像帧计算目标物品的物品放回概率，基于目标物品的物品放回概率辅助判断目标物品是否被放回至售货设备，以提高物品是否被放回的检测结果的准确性。

在本实施例中，可以在存在物品放回检测需求时获取目标图像帧。一个实施例中，获取目标图像帧，包括：检测到设定位置的物品重量发生变化时，获取位于物品重量变化时刻之前的设定数量的图像帧作为目标图像帧。其中，设定位置可以为售货设备中的物品摆放位置。以无人售货柜为例，无人售货柜中的每个摆货层上都设置有重量传感器，用于实时监测摆货层上的物品重量。当无人售货柜中的任意一个重量传感器检测到的物品重量发生变化时，表示该重量传感器对应的物品摆放位置的物品状态发生了变化。可以理解的是，当用户从无人售货柜中取走物品时，该物品对应的重量传感器检测到的物品重量降低，当用户将物品放回无人售货柜中时，该物品的放回位置对应的重量传感器检测到的物品重量增加。结合本实施例中需要计算目标物品的物品放回概率的目的，优选的，可以在无人售货柜中任一重量传感器检测到的物品重量增大时，获取无人售货柜中摄像头获取的，位于物品重量增大时刻之前的设定数量的图像帧作为目标图像帧，以根据获取到的目标图像帧计算目标物体的物品放回概率。其中，设定数量可以根据实际需求设置，设定数量越大，物品放回概率的计算越准确。

S120、识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率。

在本实施例中，针对每个目标图像帧，通过物品识别方法识别出目标图像帧中的目标物品，根据目标物品在目标图像帧中的位置信息确定目标物品与预设目标位置区域之间的目标距离信息，最后根据目标物品与目标位置区域之间的目标距离信息确定该目标图像帧中目标物品的物品放回概率。

其中，预设目标位置区域可以为目标物品在售货设备中的预设放置区域。可选的，目标物品在售货设备中的预设放置区域可以为目标物品在售货设备中的具体放置位置，也可为预设的表示售货设备的内部区域。图1b是本发明实施例一所提供的一种预设目标位置区域的示意图。图1b以无人售货柜为例，示意性的示出了预设目标位置区域在图像中的位置。图1b展示的是位于无人售货柜顶部的摄像头向下拍摄的图像，如图1b所示，将图像中的中上部分区域10设定为无人售货柜的内部区域，并将其作为预设目标位置区域。

可选的，目标物品与预设目标位置区域之间的目标距离信息可以根据目标物品的设定特征点与预设目标位置区域之间的距离确定。示例性的，计算目标物品的各设定特征点与预设目标位置区域之间的特征距离，将各设定特征点对应的特征距离进行融合得到目标物品与预设目标位置区域之间的目标距离信息。示例性的，可以为各设定特征点的特征距离设置权值，对各设定特征点对应的特征距离进行加权求和后取均值作为目标物品与预设目标位置区域之间的目标距离信息。其中，目标物品的设定特征点可以根据实际需求设置，例如可以将目标物品的边缘点和/或中心点等点作为目标物品的设定特征点。

在本发明的一种实施方式中，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率，包括：获取目标物品的目标识别框，根据预设得分地图得到目标识别框内目标像素点与预设目标位置区域之间的距离得分，根据各目标像素点与预设目标位置区域的距离得分确定目标物品的位置与预设目标位置区域之间的目标距离信息，其中，得分地图包含图像中各像素点与预设目标位置区域的最小距离；基于预设概率计算算法，通过目标距离信息得到目标物品的物品放回概率。

可选的，将目标物品的设定特征点具体化为目标物品的目标识别框内的目标像素点。在本实施例中，可以预先采用动态规划算法计算得分地图，用于指示图像中像素点与预设目标位置区域的最小距离，获取目标图像帧中目标物品的目标识别框后，根据预先设定的得分地图确定目标识别框内各目标像素点与预设目标位置区域之间的距离得分，然后根据各目标像素点与预设目标位置区域的距离得分确定目标物品的位置与预设目标位置区域之间的目标距离信息；最后根据预先设定的概率计算算法，通过目标距离信息得到目标图像帧中目标物品的物品放回概率。

一个实施例中，可以采用动态规划算法得到得分地图。假设目标图像帧的左上角像素点坐标为(0，0)，像素点位置坐标为(x,y)，x为横坐标，y为纵坐标，设定目标图像帧中的区域N作为预设目标位置区域。则依据动态规划算法，可以从上往上、从左往右依次按照下列规则得到得分地图：若像素点(x,y)在预设目标位置区域N内部，则score(x,y)＝0；若像素点(x,y)不在预设目标位置区域N内部，且y＝0，则score(x,y)＝1；若像素点(x,y)不在预设目标位置区域N内部，且y≠0，则score(x,y)＝min(score(x-1,y-1),score(x,y-1),score(x+1,y-1))+1。

一个实施例中，概率计算算法可以根据目标距离信息与物品放回概率之间的关系设定。可以理解的是，目标距离信息越大，目标物品的物品放回概率越小。在此基础上，还可以将目标图像帧与物品重量增大时刻之间的时间差作为计算物品放回概率的参数之一，当目标图像帧的拍摄时刻越接近物品重量增大时刻，且目标图像帧中目标距离信息越近时，目标物品的物品放回概率越大。示例性的，可以通过P_s,t＝exp(-μ)α^t计算目标图像帧中目标物品的物品放回概率，其中，s为目标物品的物品标识，t表示目标图像帧是在物品重量增大时前t帧的图像I_t，μ为目标图像帧中目标物体与预设目标位置区域之间的目标距离信息，α为预先设定的衰减系数，α的值越大，表示目标图像帧的图像拍摄时间对物品放回概率的影响越大。可选的，α的值可以为0.95。

在上述方案的基础上，根据预设得分地图得到目标识别框内目标像素点与预设目标位置区域之间的距离得分，根据各目标像素点与预设目标位置区域的距离得分确定目标物品的位置与预设目标位置区域之间的目标距离信息，包括：根据预设得分地图得到目标识别框内所有像素点与预设目标位置区域之间的距离得分；将各像素点对应的距离得分的均值作为目标物品的位置与预设目标位置区域之间的目标距离信息。可选的，可以将目标识别框内所有像素点作为目标像素点，针对每个目标像素点，根据预设得分地图得到该目标像素点与预设目标位置区域之间的距离得分，将各目标像素点对应的距离得分的均值作为目标物品的位置与预设目标位置区域之间的目标距离信息。将目标识别框内的所有像素点作为目标像素点，基于各目标像素点对应的距离得分得到目标距离信息使得目标距离信息的计算更加准确。

S130、根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果。

在本实施例中，确定各目标图像帧中目标物品的物品放回概率后，结合目标物品的物品放回概率，以及其他方式确定的候选放回物品，确定候选放回物品是否被放回的检测结果。

在本发明的一种实施方式中，所述根据各所述目标图像帧对应的目标物品的物品放回概率，获得所述目标物品是否被放回的检测结果，包括：根据各所述目标图像帧对应的目标物品的物品放回概率，得到所述目标物品的目标放回概率；基于所述目标放回概率确定所述目标物品是否被放回的检测结果。具体的，将各目标图像帧中目标物品的物品放回概率进行统计计算，得到目标物品的目标放回概率，基于目标物品的物品放回概率，对目标物品是否被放回进行辅助性判断，得到目标物品是否被放回的检测结果。其中，根据各目标图像帧中目标物品的物品放回概率得到目标物品的目标放回概率的方式在此不做限定。示例性的，可以将所有目标图像帧中目标物品的物品放回概率的均值作为目标物品的物品放回概率；也可以根据目标图像帧的图像拍摄顺序对目标物品的物品放回概率进行修正，将最终修正结果作为目标物品的目标放回概率。

可选的，目标图像帧中的目标物品可能为多个。示例性的，假设获取的多个目标图像帧中共包含两个目标物品：目标物品1和目标物品2。针对每个目标物品，根据各目标图像帧中该目标物品的物品放回概率得到该目标物品的目标放回概率，即根据各目标图像帧中目标物品1的物品放回概率得到目标物品1的目标放回概率1，根据各目标图像帧中目标物品2的物品放回概率得到目标物品2的目标放回概率2，将目标放回概率1和目标放回概率2作为目标物品1以及目标物品2是否被放回的辅助判断参数，判断目标物品1和目标物品2是否被放回。示例性的，若重量传感器检测到某一重量的物品被放回，且目标图像帧中的目标物品1和目标物品2均为该重量，则需要从目标物品1和目标物品2中选择一目标物品作为目标放回物品，当目标放回概率1大于目标放回概率2时，说明目标物品1的放回概率大于目标物品2的放回概率，选择目标物品1为目标放回物品，即判定目标物品1被放回，目标物品2未被放回。

本发明实施例通过获取至少一个目标图像帧；识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率；其中，预设目标位置区域是目标物品在售货设备中的预设放置区域；根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果，通过结合各目标图像帧对应的物品放回概率判断目标物品是否被放回，实现了在不更改无人售货设备的硬件配置的情况下，提高物品放回判断结果的准确性。

实施例二

图2是本发明实施例二所提供的一种物品放回检测方法的流程图。本实施例在上述实施例的基础上，对根据各目标图像帧对应的目标物品的物品放回概率，得到目标物品的目标放回概率进行了具体化。如图2所示，所述方法包括：

S210、获取至少一个目标图像帧。

S220、识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率。

S230、根据目标图像帧的图像拍摄顺序，顺次将每一目标图像帧作为基础目标图像帧，将与基础目标图像帧相邻的，位于基础目标图像帧之后的目标图像帧作为参考目标图像帧，根据参考目标图像帧对应的目标物品的物品放回概率，对基础目标图像帧对应的目标物品的物品放回概率进行修正，将最后一帧目标图像帧作为参考目标图像帧得到的物品放回概率作为目标物品的目标放回概率。

在本实施例中，将根据各目标图像帧对应的目标物品的物品放回概率，得到目标物品的目标放回概率进行了具体化，通过结合各目标图像帧的图像拍摄时间对各目标图像帧中目标物品的物品放回概率进行修正，得到目标物品的目标放回概率。

具体的，将目标图像帧根据图像拍摄顺序进行顺序排序后，根据排序顺序，依次将每一目标图像帧作为基础目标图像帧，将位于基础目标图像帧之后，且与基础目标图像帧相邻的目标图像帧作为参考目标图像帧，使用参考目标图像帧中目标物品的物品放回概率对基础目标图像帧中目标物品的物品放回概率进行修正，将修正结果作为参考目标图像帧中目标图像的物品放回概率，直到将最后一帧目标图像帧作为参考目标图像帧获得的修正结果作为目标物品的目标放回概率。综合历史检测信息，对目标物品的物品放回概率进行修正，得到目标放回概率，使得目标物品的目标放回概率计算更加准确，进而使得基于目标放回概率判断的目标物品是否被放回的检测结果更加准确。

示例性的，假设将目标图像帧根据图像拍摄顺序进行顺序排序后，得到的排序顺序为目标图像帧1、目标图像帧2、目标图像帧3和目标图像帧4，且目标图像帧1中目标物品的物品放回概率为物品放回概率1，目标图像帧2中目标物品的物品放回概率为物品放回概率2，目标图像帧3中目标物品的物品放回概率为物品放回概率3，目标图像帧4中目标物品的物品放回概率为物品放回概率4，则依次将目标图像帧1、目标图像帧2、目标图像帧3作为基础目标图像帧，对目标物品的物品放回概率进行修正，得到目标物品的目标放回概率。具体的，先将目标图像帧1作为基础目标图像帧，将目标图像帧2作为参考目标图像帧，使用物品放回概率2对物品放回概率1进行修正，得到修正结果物品放回概率5，将物品放回概率5作为目标图像帧2中目标物品的修正物品放回概率；然后将目标图像帧2作为基础目标图像帧，将目标图像帧3作为参考目标图像帧，使用物品放回概率3对物品放回概率5进行修正，得到修正结果物品放回概率6，将物品放回概率6作为目标图像帧3中目标物品的修正物品放回概率；再将目标图像帧3作为基础目标图像帧，将目标图像帧4作为参考目标图像帧，使用物品放回概率4对物品放回概率6进行修正，得到修正结果物品放回概率7，将物品放回概率7作为目标物品的目标放回概率。

在本发明的一种实施方式中，根据参考目标图像帧对应的目标物品的物品放回概率，对基础目标图像帧对应的目标物品的物品放回概率进行修正，包括：若参考目标图像帧对应的目标物品的物品放回概率大于基础目标图像帧对应的目标物品的物品放回概率，则将参考目标图像帧对应的目标物品的物品放回概率作为修正后的物品放回概率；若参考目标图像帧对应的目标物品的物品放回概率不大于基础目标图像帧对应的物品放回概率，则将参考目标图像帧对应的目标物品的物品放回概率与基础目标图像帧对应的目标物品的物品放回概率的均值作为修正后的物品放回概率。

可选的，可以根据基础目标图像帧对应的目标物品的物品放回概率以及参考图像帧对应的目标物品的物品放回概率的大小，对目标物品的物品放回概率进行修正。示例性的，若基础目标图像帧对应的目标物品的物品放回概率为P_s,f，参考基础目标图像帧对应的目标物品的物品放回概率为P_s,t，则比较P_s,f与P_s,t的大小，若P_s,f＜P_s,t，则将P_s,t作为修正后的物品放回概率，否则，将(P_s,f+P_s,t)/2作为修正后的物品放回概率。

S240、基于目标放回概率确定目标物品是否被放回的检测结果。

本发明实施例在上述实施例的基础上，对根据各目标图像帧对应的目标物品的物品放回概率，得到目标物品的目标放回概率进行了具体化，通过根据目标图像帧的图像拍摄顺序，顺次将每一目标图像帧作为基础目标图像帧，将与基础目标图像帧相邻的，位于基础目标图像帧之后的目标图像帧作为参考目标图像帧，根据参考目标图像帧对应的目标物品的物品放回概率，对基础目标图像帧对应的目标物品的物品放回概率进行修正，将最后一帧目标图像帧作为参考目标图像帧得到的物品放回概率作为目标物品的目标放回概率，通过综合目标图像帧的图像拍摄时间对目标物品的物品放回概率进行修正，使得目标物品的目标放回概率更加准确。

实施例三

图3是本发明实施例三所提供的一种物品放回检测方法的流程图。本实施例在上述实施例的基础上，将无人收货设备具体化为无人售货柜，提供了一种优选实施例。如图3所示，所述方法包括：

S310、采用动态规划算法计算得分地图。

在本实施例中，通过现有的图像识别技术的结果进行推断，无需改动摄像头的位置或无人售货柜的流程，得到可能被放回物品的类别和被放回概率，进而辅助无人售货柜生成顾客购买清单。一般的，在物品被顾客放回售货柜前，物品的位置应该是靠近冰箱内部的。为此，仅需要调用重量秤读数发生变化的前几帧视频，用图像识别技术检测物品的类别和位置，位置越靠近售货柜内部的物品，则越有可能被放回。根据上述思路，可直接划定一个靠近售货柜内部的区域，如果在该区域内检测到某个物品，则认为该物品被放回的概率比较大。但上述判定方式过于简单生硬，无法很好地描述物品靠近售货柜内部区域的程度。在本实施例中，根据与内部区域的距离远近给图像中的每个像素点打分，建立得分地图。根据得分地图和物品检测的历史结果，计算每个被检测物品的得分均值，进而得到被检测物品的被放回概率，最后根据被检测物品的被放回概率辅助判断被检测物品是否被放回。可选的，可以采用动态规划算法计算得分地图，具体的，得分地图的计算方式可参见上述实施例，在此不再赘述。

S320、在重量秤检测到物品被放回后，调用物品被放回前设定数量帧的图像。

S330、结合得分地图计算检测图像中物品被放回的概率。

在重量秤检测到用户放回物品之后，调用秤发生变化前N帧的图像，结合得分地图计算检测物品被放回的概率。如果物品在N帧的图像中出现多次，可以利用前后的得分情况来粗略地估计物品轨迹，修正被放回概率。记秤发生变化前t帧的图像为I_t，结合得分地图计算检测物品被放回的概率可以为：

1)令t＝N，记可能被放回的物品集合Φ＝{}；

2)使用图像识别技术对图像I_t进行处理，得到检测物品类别及其对应检测方框。

3)对于I_t检测到的每一个物品s：

a)根据得分地图计算其检测方框内所有像素点的距离得分，将各像素点的距离得分的均值记为μ，通过P_s,t＝exp(-μ)α^t计算I_t中物品s被放回的概率，其中，α为设定的衰减系数。

b)如果

则将s添加至Φ中，并且记P_s,f＝P_s,t。

如果s∈Φ，则比较预先记载的P_s,f与P_s,t之间的大小，若P_s,f＜P_s,t，则将P_s,t记为新的P_s,f，否则，将(P_s,f+P_s,t)/2记为新的P_s,f。

4)令t＝t-1，若t≠0，则跳转至步骤2，继续对物品被放回的概率进行修正；若t＝0，则算法终止，输出被放回的物品集合Φ及物品集合Φ中各物品被放回的概率。

S340、基于物品被放回的概率确定物品是否被放回的检测结果。

获取物品集合中各物品被放回的概率后，将物品被放回的概率作为辅助信息，对物品是否被放回进行判断，得到物品是否被放回的检测结果。

本发明实施例利用物品识别结果中物品的检测框信息，计算物品被放回的概率；引入得分地图描述物品到冰箱内部区域的距离，采用动态规划方法计算得分地图；综合利用历史检测信息，计算并修正物品被放回的概率的算法过程，使得物品被放回的概率计算更加准确，从而使得基于物品被放回的概率计算辅助判断物品是否被放回的检测结果更加准确。

实施例四

图4是本发明实施例四所提供的一种物品放回检测装置的结构示意图。该物品放回检测装置可以采用软件和/或硬件的方式实现，例如该物品放回检测装置可以配置于计算机设备中。如图4所示，所述装置包括目标图像获取模块410、物品放回概率模块420和目标放回检测模块430，其中：

目标图像获取模块410，用于获取至少一个目标图像帧；

物品放回概率模块420，用于识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的距离信息，根据距离信息确定目标物品的物品放回概率，其中，预设目标位置区域是目标物品在售货设备中的预设放置区域；

目标放回检测模块430，用于根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果。

本发明实施例通过目标图像获取模块获取至少一个目标图像帧；物品放回概率模块识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率；其中，预设目标位置区域是目标物品在售货设备中的预设放置区域；目标放回检测模块根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果，通过结合各目标图像帧对应的物品放回概率判断目标物品是否被放回，实现了在不更改无人售货设备的硬件配置的情况下，提高物品放回判断结果的准确性。

可选的，在上述方案的基础上，物品放回概率模块420包括：

目标距离获取单元，用于获取目标物品的目标识别框，根据预设得分地图得到目标识别框内目标像素点与预设目标位置区域之间的距离得分，根据各目标像素点与预设目标位置区域的距离得分确定目标物品的位置与预设目标位置区域之间的目标距离信息，其中，得分地图包含图像中各像素点与预设目标位置区域的最小距离；

放回概率计算单元，用于基于预设概率计算算法，通过目标距离信息得到目标物品的物品放回概率。

可选的，在上述方案的基础上，目标距离获取单元具体用于：

根据预设得分地图得到目标识别框内所有像素点与预设目标位置区域之间的距离得分；

将各像素点对应的距离得分的均值作为目标物品的位置与预设目标位置区域之间的目标距离信息。

可选的，在上述方案的基础上，目标放回检测模块430包括：

目标概率确定单元，用于根据各目标图像帧对应的目标物品的物品放回概率，得到目标物品的目标放回概率；

物品放回结果单元，用于基于目标放回概率确定目标物品是否被放回的检测结果。

可选的，在上述方案的基础上，目标概率确定单元具体用于：

根据目标图像帧的图像拍摄顺序，顺次将每一目标图像帧作为基础目标图像帧，将与基础目标图像帧相邻的，位于基础目标图像帧之后的目标图像帧作为参考目标图像帧，根据参考目标图像帧对应的目标物品的物品放回概率，对基础目标图像帧对应的目标物品的物品放回概率进行修正，将最后一帧目标图像帧作为参考目标图像帧得到的物品放回概率作为目标物品的目标放回概率。

可选的，在上述方案的基础上，目标概率确定单元具体用于：

若参考目标图像帧对应的目标物品的物品放回概率大于基础目标图像帧对应的目标物品的物品放回概率，则将参考目标图像帧对应的目标物品的物品放回概率作为修正后的物品放回概率；

若参考目标图像帧对应的目标物品的物品放回概率不大于基础目标图像帧对应的物品放回概率，则将参考目标图像帧对应的目标物品的物品放回概率与基础目标图像帧对应的目标物品的物品放回概率的均值作为修正后的物品放回概率。

可选的，在上述方案的基础上，目标图像获取模块410具体用于：

检测到设定位置的物品重量发生变化时，获取位于物品重量变化时刻之前的设定数量的图像帧作为目标图像帧。

本发明实施例所提供的物品放回检测装置可执行本发明任意实施例所提供的物品放回检测方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五所提供的计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，系统存储器528，连接不同系统组件(包括系统存储器528和处理器516)的总线518。

总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的物品放回检测方法，该方法包括：

获取至少一个目标图像帧；

识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率；其中，预设目标位置区域是目标物品在售货设备中的预设放置区域；

根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的物品放回检测方法的技术方案。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的物品放回检测方法，该方法包括：

获取至少一个目标图像帧；

识别出目标图像帧中的目标物品，获取目标物品的位置与预设目标位置区域之间的目标距离信息，根据目标距离信息确定目标物品的物品放回概率；其中，预设目标位置区域是目标物品在售货设备中的预设放置区域；

根据各目标图像帧对应的物品放回概率，获得目标物品是否被放回的检测结果。

当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的物品放回检测方法的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种物品放回检测方法，其特征在于，包括：

获取至少一个目标图像帧；

识别出所述目标图像帧中的目标物品，获取所述目标物品的位置与预设目标位置区域之间的目标距离信息，根据所述目标距离信息确定所述目标物品的物品放回概率；其中，所述预设目标位置区域是所述目标物品在所述售货设备中的预设放置区域；

根据各所述目标图像帧对应的物品放回概率，获得所述目标物品是否被放回的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述目标物品的位置与预设目标位置区域之间的目标距离信息，根据所述目标距离信息确定所述目标物品的物品放回概率，包括：

获取所述目标物品的目标识别框，根据预设得分地图得到所述目标识别框内目标像素点与所述预设目标位置区域之间的距离得分，根据各所述目标像素点与所述预设目标位置区域的距离得分确定所述目标物品的位置与所述预设目标位置区域之间的目标距离信息，其中，所述得分地图包含图像中各像素点与预设目标位置区域的最小距离；

基于预设概率计算算法，通过所述目标距离信息得到所述目标物品的物品放回概率。

3.根据权利要求2所述的方法，其特征在于，所述根据预设得分地图得到所述目标识别框内目标像素点与所述预设目标位置区域之间的距离得分，根据各所述目标像素点与所述预设目标位置区域的距离得分确定所述目标物品的位置与所述预设目标位置区域之间的目标距离信息，包括：

根据所述预设得分地图得到所述目标识别框内所有像素点与所述预设目标位置区域之间的距离得分；

将各所述像素点对应的距离得分的均值作为所述目标物品的位置与所述预设目标位置区域之间的目标距离信息。

4.根据权利要求1所述的方法，其特征在于，所述根据各所述目标图像帧对应的目标物品的物品放回概率，获得所述目标物品是否被放回的检测结果，包括：

根据各所述目标图像帧对应的目标物品的物品放回概率，得到所述目标物品的目标放回概率；

基于所述目标放回概率确定所述目标物品是否被放回的检测结果。

5.根据权利要求4所述的方法，其特征在于，所述根据各所述目标图像帧对应的目标物品的物品放回概率，得到所述目标物品的目标放回概率，包括：

根据所述目标图像帧的图像拍摄顺序，顺次将每一目标图像帧作为基础目标图像帧，将与所述基础目标图像帧相邻的，位于所述基础目标图像帧之后的目标图像帧作为参考目标图像帧，根据所述参考目标图像帧对应的目标物品的物品放回概率，对所述基础目标图像帧对应的目标物品的物品放回概率进行修正，将最后一帧目标图像帧作为参考目标图像帧得到的物品放回概率作为所述目标物品的目标放回概率。

6.根据权利要求5所述的方法，其特征在于，所述根据所述参考目标图像帧对应的目标物品的物品放回概率，对所述基础目标图像帧对应的目标物品的物品放回概率进行修正，包括：

若所述参考目标图像帧对应的目标物品的物品放回概率大于所述基础目标图像帧对应的目标物品的物品放回概率，则将所述参考目标图像帧对应的目标物品的物品放回概率作为修正后的物品放回概率；

若所述参考目标图像帧对应的目标物品的物品放回概率不大于所述基础目标图像帧对应的物品放回概率，则将所述参考目标图像帧对应的目标物品的物品放回概率与所述基础目标图像帧对应的目标物品的物品放回概率的均值作为修正后的物品放回概率。

7.根据权利要求1所述的方法，其特征在于，所述获取目标图像帧，包括：

检测到设定位置的物品重量发生变化时，获取位于物品重量变化时刻之前的设定数量的图像帧作为所述目标图像帧。

8.一种物品放回检测装置，其特征在于，包括：

目标图像获取模块，用于获取至少一个目标图像帧；

物品放回概率模块，用于识别出所述目标图像帧中的目标物品，获取所述目标物品的位置与预设目标位置区域之间的距离信息，根据所述距离信息确定所述目标物品的物品放回概率，其中，所述预设目标位置区域是所述目标物品在所述售货设备中的预设放置区域；

目标放回检测模块，用于根据各所述目标图像帧对应的物品放回概率，获得所述目标物品是否被放回的检测结果。

9.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的物品放回检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的物品放回检测方法。

Images