CN111222377A - 一种商品信息确定方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种商品信息确定方法、装置及电子设备，所述方法包括：获取包含商品区域的第一图像；确定第一图像所包含的目标区域；其中，目标区域为第一图像相对于第二图像发生商品变化的区域，第二图像为已确定商品信息的、包含商品区域的图像；识别目标区域中的商品的第一商品信息；基于第一商品信息和第二商品信息，确定第一图像中的商品的目标商品信息，其中，第二商品信息为第二图像所包含参考区域中的商品的商品信息，参考区域为除与目标区域所对应区域以外的区域。通过本发明实施例提供的技术方案，可以提高商品信息确定方法的场景实用性，并提高确定商品信息的效率以及所确定的商品信息的准确率。

Description

一种商品信息确定方法、装置及电子设备

技术领域

本发明涉及数据识别技术领域，特别是涉及一种商品信息确定方法、装置及电子设备。

背景技术

随着科学技术的发展，无人售货机的应用范围越来越广，其中，该无人售货机可以为无人售货架或无人售货柜。例如，无人售货机可以应用到超市、办公室、校园、食堂、商场等。

由于无人售货机没有工作人员的管理，为了确保无人售货机中的商品能够正常有序地销售，需要识别无人售货机中放置的商品的商品信息，如商品的类别，各类别商品的商品数量等；进而，利用该商品信息进行后续的商品处理过程，例如，基于识别所得到的商品信息，确定用户所拿取商品的商品类别和商品数量。相关技术中，确定商品信息的过程通常为：获取图像采集设备所采集的包含商品区域的目标图像，对该目标图像中各个商品的标签区域进行信息识别，得到该目标图像中的商品的商品信息。

但是，在实际场景中，无人售货机中通常放置有多个商品，且这多个商品之间可能存在遮挡，因此，图像采集设备所获取的图像可能未能包含各个商品的标签区域，最终导致未能成功识别放置在无人售货机中的商品的商品信息。可见，现有的这种确定商品信息的方法存在场景实用性较低的问题。

发明内容

本发明实施例的目的在于提供一种商品信息确定方法、装置及电子设备，以提高商品信息确定方法的场景实用性，并提高确定商品信息的效率以及所确定的商品信息的准确率。具体技术方案如下：

第一方面，本发明实施例提供了一种商品信息确定方法，所述方法包括：

获取包含商品区域的第一图像；

确定所述第一图像所包含的目标区域；其中，所述目标区域为所述第一图像相对于第二图像发生商品变化的区域，所述第二图像为已确定商品信息的、包含所述商品区域的图像；

识别所述目标区域中的商品的第一商品信息；

基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息，其中，所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息，所述参考区域为除与所述目标区域所对应区域以外的区域。

可选的，在所述识别所述目标区域中的商品的第一商品信息的步骤之前，所述方法还包括：

对所述第一图像中的各个商品进行位置识别，得到所述第一图像中的各个商品对应的第一区域；

所述识别所述目标区域中的商品的第一商品信息的步骤，包括：

从所述第一图像中的各个商品对应的第一区域中，确定位于所述目标区域的各个第一区域；

对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

可选的，所述识别所述目标区域中的商品的第一商品信息的步骤，包括：

对所述目标区域中的各个商品进行位置识别，得到位于所述目标区域中的各个第一区域；

对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

可选的，所述确定所述第一图像所包含的目标区域的步骤，包括：

获取第二图像；

针对所述第一图像中的每一区域，将该区域与所述第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值；

将差异值大于预设差异值的区域确定为目标区域。

可选的，所述对所述第一图像中的各个商品进行位置识别，得到所述第一图像中的各个商品对应的第一区域的步骤，包括：

将所述第一图像输入预先训练好的第一神经网络，得到第一图像中的各个商品的位置信息；

针对所述第一图像中的每一商品，将该商品的位置信息所对应的区域，确定为该商品对应的第一区域；

其中，所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。

可选的，所述对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息的步骤，包括：

将所述各个第一区域输入到预先训练好的第二神经网络，得到所述各个第一区域对应的商品类别；

基于所述各个第一区域对应的商品类别，确定所述目标区域中的商品的第一商品信息；

其中，所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。

可选的，所述第一商品信息包括：商品类别和每一商品类别对应的商品数量；

在所述基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息的步骤之后，所述方法还包括：

将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量，与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对，得到用户所拿取商品的商品类别及商品数量；

其中，所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。

可选的，在所述将所述第一图像中的商品的商品类别和每一类别商品的数量，与第三图像中的商品的商品类别和每一类别商品的数量进行差异比对，得到用户所拿取商品的商品类别及商品数量的步骤之后，所述方法还包括：

基于用户所拿取商品的商品类别，确定用户所拿取商品的商品价格；

基于所确定的商品价格与商品数量，计算用户所拿取商品的商品总价；

将所述商品总价发送至所述用户的用户终端。

第二方面，本发明实施例提供了一种商品信息确定装置，所述装置包括：

第一图像获取模块，用于获取包含商品区域的第一图像；

目标区域确定模块，用于确定所述第一图像所包含的目标区域；其中，所述目标区域为所述第一图像相对于第二图像发生商品变化的区域，所述第二图像为已确定商品信息的、包含所述商品区域的图像；

商品信息识别模块，用于识别所述目标区域中的商品的第一商品信息；

商品信息确定模块，用于基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息，其中，所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息，所述参考区域为除与所述目标区域所对应区域以外的区域。

可选的，所述装置还包括：

第一区域确定模块，用于在所述商品信息识别模块识别所述目标区域中的商品的第一商品信息之前，对所述第一图像中的各个商品进行位置识别，得到所述第一图像中的各个商品对应的第一区域；

相应地，所述商品信息识别模块，包括：

第一区域确定单元，用于从所述第一图像中的各个商品对应的第一区域中，确定位于所述目标区域的各个第一区域；

商品类别识别单元，用于对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

可选的，所述商品信息识别模块，包括：

第一区域确定单元，用于对所述目标区域中的各个商品进行位置识别，得到位于所述目标区域中的各个第一区域；

商品类别识别单元，用于对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

可选的，所述目标区域确定模块，具体用于：

获取第二图像；

针对所述第一图像中的每一区域，将该区域与所述第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值；

将差异值大于预设差异值的区域确定为目标区域。

可选的，所述第一区域确定模块，具体用于：

将所述第一图像输入预先训练好的第一神经网络，得到第一图像中的各个商品的位置信息；

针对所述第一图像中的每一商品，将该商品的位置信息所对应的区域，确定为该商品对应的第一区域；

其中，所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。

可选的，所述商品类别识别单元，具体用于：

将所述各个第一区域输入到预先训练好的第二神经网络，得到所述各个第一区域对应的商品类别；

基于所述各个第一区域对应的商品类别，确定所述目标区域中的商品的第一商品信息；

其中，所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。

可选的，所述第一商品信息包括：商品类别和每一商品类别对应的商品数量；

所述装置还包括：

商品信息比对模块，用于在所述商品信息确定模块基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息之后，将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量，与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对，得到用户所拿取商品的商品类别及商品数量；

其中，所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。

可选的，所述装置还包括：

商品价格确定模块，用于在所述商品信息比对模块得到用户所拿取商品的商品类别及商品数量之后，基于用户所拿取商品的商品类别，确定用户所拿取商品的商品价格；

商品总价计算模块，用于基于所确定的商品价格与商品数量，计算用户所拿取商品的商品总价；

商品总价发送模块，用于将所述商品总价发送至所述用户的用户终端。

第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面所述的商品信息确定方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的商品信息确定方法。

可见，本发明实施例提供的技术方案，第一图像中包含商品区域时，就可以确定第一图像中的商品的目标商品信息，因此，本方案提供的商品信息确定方法的场景实用性较高；并且，在确定第一图像中的商品的目标商品信息的过程中，利用了已确定商品信息的、包含该商品区域的第二图像，并只识别第一图像相对于第二图像发生商品变化的区域中的第一商品信息，而对于第一图像相对于第二图像未发生商品变化的区域中的商品信息而言，则可以直接利用第二图像所包含的参考区域中的第二商品信息来确定，因此，可以提高确定商品信息的效率，并且，对于第一图像中未发生商品变化的区域的商品信息而言，可以降低因单次确定商品信息而造成商品信息错误，从而可以提高所确定商品信息的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种商品信息确定方法的流程图；

图2为本发明实施例所提供的一种商品信息确定装置的示意图；

图3为本发明实施例所提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提高商品信息确定方法的场景实用性，并提高确定商品信息的效率以及所确定的商品信息的准确率，本发明实施例提供了一种商品信息确定方法、装置及电子设备。

第一方面，下面首先对本发明实施例所提供的一种商品信息确定方法进行介绍。

需要说明的是，本发明实施例所提供的一种商品信息确定方法的执行主体可以为一种商品信息确定装置，该商品信息确定装置可以运行于电子设备中，其中，该电子设备可以为采集第一图像的图像采集设备，或者，与采集第一图像采集设备通信连接的后台服务器等，本发明实施例对该电子设备不做限定。

为了方案描述清楚，首先对本发明实施例提供的技术方案的应用场景进行阐述。在实际应用中，对于设置有若干层货架的售货柜，可以在每层货架的顶部安装一图像采集设备，该图像采集设备所采集的图像包含该层货架中全部商品。用户在需要拿取售货柜中的商品时，需要打开售货柜的柜门，并且在拿取售货柜中的商品后，关闭售货柜的柜门。在关闭售货柜的柜门时，触发售货柜中安装的图像采集设备采集图像，进而电子设备可以执行本发明实施例提供的商品信息确定方法。当然，本发明实施例提供的技术方案还可以应用到其他需要确定商品信息的应用场景中，本发明实施例对应用场景不做具体限定。

如图1所示，本发明实施例所提供的一种商品信息确定方法，可以包括如下步骤：

S110，获取包含商品区域的第一图像。

由上述描述可知，图像采集设备在接收到触发指令后，可以采集包含商品区域的图像。在图像采集设备采集到包含商品区域的图像后，电子设备即可以获取包含商品区域的图像，为了方便描述，可以将包含商品区域的图像称为第一图像。

需要说明的是，电子设备获取包含商品区域的第一图像的方式可以有如下两种。

第一种方式：电子设备可以实时检测图像采集设备是否采集到包含商品区域的第一图像，如果检测到图像采集设备采集到包含商品区域的第一图像，电子设备可以从图像采集设备获取到包含商品区域的第一图像。

第二种方式：电子设备图像采集设备在采集到包含商品区域的第一图像之后，可以将该包含商品区域的第一图像发送至图像采集设备，从而电子设备可以获取到包含商品区域的第一图像。

S120，确定第一图像所包含的目标区域。

其中，目标区域为第一图像相对于第二图像发生商品变化的区域，第二图像为已确定商品信息的、包含商品区域的图像。

通常情况下，用户在购买无人售货机中的商品时，通常只购买无人售货机中的部分商品，而不会一次性地将无人售货机中的所有商品都购买完。因此，第一图像与第二图像可能存在相同的区域，也可能存在不同的区域。可以理解的是，第一图像与第二图像相同的区域为：商品未发生变化的区域；第一图像与第二图像不同的区域为：商品发生变化的区域，为了方便描述，可以将该商品发生变化的区域称为目标区域。

需要说明的是，第二图像可以为已确定商品信息的、包含商品区域的任一图像。该第二图像可以为上一次确定商品信息的、包含商品区域的图像，即可以是下面实施例所述的第三图像；还可以是前几次任一次确定商品信息的、包含商品区域的图像，这都是合理的。

在一种实施方式中，确定第一图像所包含的目标区域的步骤，可以包括：

获取第二图像；

针对第一图像中的每一区域、将该区域与第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值；

将差异值大于预设差异值的区域确定为目标区域。

可以理解的是，第一图像可以被划分为多个区域，在获取到第二图像后，针对第一图像中的每一区域，可以将该区域与第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值。并且，如果一个区域的差异值大于预设差异值，说明该区域与第二图像中相应位置的区域的差异较大，该区域很可能为商品变化区域，因此，可以将该区域确定为目标区域。预设差异值可以根据根据实际情况进行设定，本发明实施例对预设差异值的大小不做具体限定。

需要说明的是，针对第一图像中的每一区域，将该区域与第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值；将差异值大于预设差异值的区域确定为目标区域的具体实现方式可以有多种。

在第一种实施方式中，针对第一图像中的每一区域，可以将该区域中的每一像素点与第二图像中相应位置的像素点进行像素值作差，得到该像素点对应的像素值差值。可以理解的是，如果第一图像中的一个区域中的每一像素点对应的像素点差值均大于预设阈值，说明该区域与第二图像中相应位置的区域差异较大，该区域很可能为商品变化区域，因此，该区域对应的差异值较大，即该区域对应的差异值大于预设差异值，可以将该区域确定为目标区域。

需要说明的是，预设阈值可以根据根据实际情况进行设定，本发明实施例对预设阈值的大小不做具体限定。

在第二种实施方式中，针对第一图像中的每一区域，可以提取该区域的统计特征，为了方便描述，可以将该统计特征称为第一统计特征，并提取第二图像中与该区域位置相应的区域的统计特征，可以将该统计特征称为第二统计特征。基于第一统计特征与第二统计特征的差异可以确定该区域对应的差异值，并将差异值大于预设差异值的区域确定为目标区域。其中，第一统计特征和第二统计特征可以为直方图特征等。

在第三种实施方式中，针对第一图像中的每一区域，可以提取该区域的特征点，为了方便描述，可以将该特征点称为第一特征点，并提取第二图像中与该区域位置相应的区域的特征点，可以将该特征点称为第二特征点。基于第一特征点与第二特征点的差异可以确定该区域对应的差异值，并将差异值大于预设差异值的区域确定为目标区域。

需要强调的是，针对第一图像中的每一区域，将该区域与第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值；将差异值大于预设差异值的区域确定为目标区域，还可以通过其他方式来实现，本发明对此不做具体限定。

S130，识别目标区域中的商品的第一商品信息。

由于目标区域为第一图像相当于第二图像发生商品变化的区域，为了确定第一图像中的商品的商品信息，需要识别目标区域中的商品的商品信息，为了方便描述，可以将目标区域中的商品的商品信息称为第一商品信息。

在一种实施方式中，在识别目标区域中的商品的第一商品信息的步骤之前，所述商品信息确定方法还可以包括：

对第一图像中的各个商品进行位置识别，得到第一图像中的各个商品对应的第一区域；

此时，识别目标区域中的商品的第一商品信息的步骤，可以包括：

从第一图像中的各个商品对应的第一区域中，确定位于目标区域的各个第一区域；

对各个第一区域进行商品类别识别，并基于类别识别结果，确定目标区域中的商品的第一商品信息。

在该实施方式中，在识别目标区域中的商品的第一商品信息之前，可以对第一图像中的各个商品进行位置识别，得到第一图像中的各个商品对应的第一区域。这样，在识别目标区域中的商品的第一商品信息时，可以从第一图像中的各个商品对应的第一区域中，查找到位于目标区域的各个第一区域。可以理解的是，位于目标区域的各个第一区域，即为位于目标区域中的商品的商品区域。通过对各个第一区域进行商品类别识别，即可以得到位于目标区域中的各个商品的商品类别，从而可以基于类别识别结果，确定出目标区域中的商品的第一商品信息。

为了方案完整和描述清楚，将在下面实施例中详细阐述对第一图像中的各个商品进行位置识别，得到第一图像中的各个商品对应的第一区域的具体实施方式，以及对各个第一区域进行商品类别识别，并基于类别识别结果，确定目标区域中的商品的第一商品信息的具体实施方式。

在另一种实施方式中，识别目标区域中的商品的第一商品信息的步骤，可以包括：

对目标区域中的各个商品进行位置识别，得到位于目标区域中的各个第一区域；

对各个第一区域进行商品类别识别，并基于类别识别结果，确定目标区域中的商品的第一商品信息。

在该实施例方式中，在识别目标区域中的商品的第一商品信息时，可以对目标区域中的各个商品进行位置识别，得到位于目标区域中的各个第一区域，即确定目标区域中的商品所在的区域；然后，通过对各个第一区域进行商品类别识别，即可以得到位于目标区域中的各个商品的商品类别，从而可以基于类别识别结果，确定出目标区域中的商品的第一商品信息。

为了方案完整和描述清楚，将在下面实施例中详细阐述对各个第一区域进行商品类别识别，并基于类别识别结果，确定目标区域中的商品的第一商品信息的具体实施方式。

S140，基于第一商品信息和第二商品信息，确定第一图像中的商品的目标商品信息。

其中，第二商品信息为第二图像所包含参考区域中的商品的商品信息，参考区域为除与目标区域所对应区域以外的区域。

识别目标区域中的商品的第一商品信息，即确定了第一图像相对应第二图像发生商品变化的区域中的商品的商品信息。为了确定第一图像中的商品的商品信息，还需要确定第一图像中除目标区域以外的其他区域中的商品的商品信息，而第一图像中除目标区域以外的其他区域中的商品的商品信息，与第二图像所包含参考区域中的商品的商品信息相同，因此，可以将第二图像所包含参考区域中的商品的商品信息，作为第一图像中除目标区域以外的其他区域中的商品的商品信息，为了方便描述，可以将第二图像所包含参考区域中的商品的商品信息称为第二商品信息。

需要说明的是，该第二商品信息可以包含：商品类别、商品数量等。

可见，本发明实施例提供的技术方案，第一图像中包含商品区域时，就可以确定第一图像中的商品的目标商品信息，因此，本方案提供的商品信息确定方法的场景实用性较高；并且，在确定第一图像中的商品的目标商品信息的过程中，利用了已确定商品信息的、包含该商品区域的第二图像，并只识别第一图像相对于第二图像发生商品变化的区域中的第一商品信息，而对于第一图像相对于第二图像未发生商品变化的区域中的商品信息而言，则可以直接利用第二图像所包含的参考区域中的第二商品信息来确定，因此，可以提高确定商品信息的效率，并且，对于第一图像中未发生商品变化的区域的商品信息而言，可以降低因单次确定商品信息而造成商品信息错误，从而可以提高所确定商品信息的准确率。

为了方案完整及描述清楚，下面将详细阐述对第一图像中的各个商品进行位置识别，得到第一图像中的各个商品对应的第一区域的步骤进行详细阐述。

在一种实施方式，对第一图像中的各个商品进行位置识别，得到第一图像中的各个商品对应的第一区域的步骤，可以包括：

将第一图像输入预先训练好的第一神经网络，得到第一图像中的各个商品的位置信息；

针对第一图像中的每一商品，将该商品的位置信息所对应的区域，确定为该商品对应的第一区域；

其中，第一神经网络是基于样本图像和样本图像所包含的各个商品在商品图像的位置信息训练得到的。

在该实施方式中，在对第一图像中的各个商品进行位置识别时，可以将第一图像输入到预先训练好的第一神经网络中，得到第一图像中的各个商品的位置信息。

需要说明的是，商品的位置信息可以为商品轮廓中的点的坐标；还可以是商品上某一可识别标识区域中的点的坐标。本发明实施例对商品的位置信息不作具体限定。

举例而言，商品的位置信息可以为商品轮廓中，左上角的点的坐标、右上角的点的坐标，左下角的点的坐标及右下角的点的坐标。

在确定了第一图像中的每一商品的位置信息后，可以将该商品的位置信息所对应的区域，确定为该商品对应的第一区域。需要说明的是，不同商品的位置信息，所对应的区域的形状及大小可能不同。例如，商品的位置信息所对应的区域可以为矩阵或者其他商品轮廓形状，本发明实施例对商品的位置信息所对应的区域的形状及大小不做具体限定。

需要强调的是，在对目标区域中的各个商品进行位置识别，得到位于目标区域中的各个第一区域时，也可以采用上述类似的方式，在此不再赘述。

为了方案完整及描述清楚，下面将详细阐述对各个第一区域进行商品类别识别，并基于类别识别结果，确定目标区域中的商品的第一商品信息的具体实施方式。

在一种实施方式中，对各个第一区域进行商品类别识别，并基于类别识别结果，确定目标区域中的商品的第一商品信息的步骤，可以包括：

将各个第一区域输入到预先训练好的第二神经网络，得到各个第一区域对应的商品类别；

基于各个第一区域对应的商品类别，确定目标区域中的商品的第一商品信息；

其中，第二神经网络是基于样本图像和样本图像所包含的商品的商品类别训练得到的。

在该实施例中，由于第二神经网络是基于样本图像和样本图像所包含的商品的商品类别训练得到的，因此，在将各个第一区域输入到预先训练好的第二神经网络后，可以得到各个第一区域对应的商品类别。

在确定了各个第一区域对应的商品类别之后，即确定了目标区域中的每个商品的商品类别，进而可以确定目标区域包含的商品的商品类别和商品数量。

为了确定用户所拿取商品的商品类别及商品数量，在一种实施方式中，第一商品信息包括：商品类别和每一商品类别对应的商品数量；

在基于第一商品信息和第二商品信息，确定第一图像中的商品的目标商品信息的步骤之后，所述商品信息确定方法还可以包括：

将第一图像中的商品的商品类别和每一商品类别对应的商品数量，与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对，得到用户所拿取商品的商品类别及商品数量；

其中，第三图像为上一次确定商品信息的、包含商品区域的图像。

举例而言，第一图像中，商品类别为类别1和类别2，类别1对应的商品数量为5，类别2对应的商品数量为3。第三图像中，商品类别为类别1和类别2，类别1对应的商品数量为7，类别2对应的商品数量为3，通过差异比对，即可得出用户所拿取商品的商品类别为类别1，商品数量为2。

在一种实施方式中，在将第一图像中的商品的商品类别和每一类别商品的数量，与第三图像中的商品的商品类别和每一类别商品的数量进行差异比对，得到用户所拿取商品的商品类别及商品数量的步骤之后，所述商品信息确定方法还可以包括：

基于用户所拿取商品的商品类别，确定用户所拿取商品的商品价格；

基于所确定的商品价格与商品数量，计算用户所拿取商品的商品总价；

将商品总价发送至用户的用户终端。

在该实施方式中，确定了用户所拿取商品的商品类别后，即可以根据商品类别与商品价格的对应关系，确定用户所拿取商品的商品价格；并可以将用户所拿取商品的商品价格与商品数量相乘，即可得到用户所拿取商品的商品总价，并将该商品总价发送至用户的用户终端，进而用户可以进行付款操作。

可见，通过本发明实施例提供的技术方案，在确定了第一图像的目标商品信息后，还可以确定用户所拿取的商品的商品类别及商品数量，并将商品总价发给用户终端，从而用户可以付款操作，提高了用户体验。

第二方面，本发明实施例提供了一种商品信息确定装置，如图2所示，所述装置包括：

第一图像获取模块210，用于获取包含商品区域的第一图像；

目标区域确定模块220，用于确定所述第一图像所包含的目标区域；其中，所述目标区域为所述第一图像相对于所述第二图像发生商品变化的区域，所述第二图像为已确定商品信息的、包含所述商品区域的图像；

商品信息识别模块230，用于识别所述目标区域中的商品的第一商品信息；

商品信息确定模块240，用于基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息，其中，所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息，所述参考区域为除与所述目标区域所对应区域以外的区域。

可见，本发明实施例提供的技术方案，第一图像中包含商品区域时，就可以确定第一图像中的商品的目标商品信息，因此，本方案提供的商品信息确定方法的场景实用性较高；并且，在确定第一图像中的商品的目标商品信息的过程中，利用了已确定商品信息的、包含该商品区域的第二图像，并只识别第一图像相对于第二图像发生商品变化的区域中的第一商品信息，而对于第一图像相对于第二图像未发生商品变化的区域中的商品信息而言，则可以直接利用第二图像所包含的参考区域中的第二商品信息来确定，因此，可以提高确定商品信息的效率，并且，对于第一图像中未发生商品变化的区域的商品信息而言，可以降低因单次确定商品信息而造成商品信息错误，从而可以提高所确定商品信息的准确率。

可选的，所述装置还包括：

第一区域确定模块，用于在所述商品信息识别模块识别所述目标区域中的商品的第一商品信息之前，对所述第一图像中的各个商品进行位置识别，得到所述第一图像中的各个商品对应的第一区域；

相应地，所述商品信息识别模块，包括：

第一区域确定单元，用于从所述第一图像中的各个商品对应的第一区域中，确定位于所述目标区域的各个第一区域；

商品类别识别单元，用于对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

可选的，所述商品信息识别模块，包括：

第一区域确定单元，用于对所述目标区域中的各个商品进行位置识别，得到位于所述目标区域中的各个第一区域；

商品类别识别单元，用于对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

可选的，所述目标区域确定模块，具体用于：

获取第二图像；

针对所述第一图像中的每一区域，将该区域与所述第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值；

将差异值大于预设差异值的区域确定为目标区域。

可选的，所述第一区域确定模块，具体用于：

将所述第一图像输入预先训练好的第一神经网络，得到第一图像中的各个商品的位置信息；

针对所述第一图像中的每一商品，将该商品的位置信息所对应的区域，确定为该商品对应的第一区域；

其中，所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。

可选的，所述商品类别识别单元，具体用于：

将所述各个第一区域输入到预先训练好的第二神经网络，得到所述各个第一区域对应的商品类别；

基于所述各个第一区域对应的商品类别，确定所述目标区域中的商品的第一商品信息；

其中，所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。

可选的，所述第一商品信息包括：商品类别和每一商品类别对应的商品数量；

所述装置还包括：

商品信息比对模块，用于在所述商品信息确定模块基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息之后，将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量，与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对，得到用户所拿取商品的商品类别及商品数量；

其中，所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。

可选的，所述装置还包括：

商品价格确定模块，用于在所述商品信息比对模块得到用户所拿取商品的商品类别及商品数量之后，基于用户所拿取商品的商品类别，确定用户所拿取商品的商品价格；

商品总价计算模块，用于基于所确定的商品价格与商品数量，计算用户所拿取商品的商品总价；

商品总价发送模块，用于将所述商品总价发送至所述用户的用户终端。

第三方面，本发明实施例还提供了一种电子设备，如图3所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，实现第一方面所述的商品信息确定方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可见，本发明实施例提供的技术方案，第一图像中包含商品区域时，就可以确定第一图像中的商品的目标商品信息，因此，本方案提供的商品信息确定方法的场景实用性较高；并且，在确定第一图像中的商品的目标商品信息的过程中，利用了已确定商品信息的、包含该商品区域的第二图像，并只识别第一图像相对于第二图像发生商品变化的区域中的第一商品信息，而对于第一图像相对于第二图像未发生商品变化的区域中的商品信息而言，则可以直接利用第二图像所包含的参考区域中的第二商品信息来确定，因此，可以提高确定商品信息的效率，并且，对于第一图像中未发生商品变化的区域的商品信息而言，可以降低因单次确定商品信息而造成商品信息错误，从而可以提高所确定商品信息的准确率。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的商品信息确定方法。

可见，本发明实施例提供的技术方案，第一图像中包含商品区域时，就可以确定第一图像中的商品的目标商品信息，因此，本方案提供的商品信息确定方法的场景实用性较高；并且，在确定第一图像中的商品的目标商品信息的过程中，利用了已确定商品信息的、包含该商品区域的第二图像，并只识别第一图像相对于第二图像发生商品变化的区域中的第一商品信息，而对于第一图像相对于第二图像未发生商品变化的区域中的商品信息而言，则可以直接利用第二图像所包含的参考区域中的第二商品信息来确定，因此，可以提高确定商品信息的效率，并且，对于第一图像中未发生商品变化的区域的商品信息而言，可以降低因单次确定商品信息而造成商品信息错误，从而可以提高所确定商品信息的准确率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (18)

1.一种商品信息确定方法，其特征在于，所述方法包括：

获取包含商品区域的第一图像；

确定所述第一图像所包含的目标区域；其中，所述目标区域为所述第一图像相对于第二图像发生商品变化的区域，所述第二图像为已确定商品信息的、包含所述商品区域的图像；

识别所述目标区域中的商品的第一商品信息；

基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息，其中，所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息，所述参考区域为除与所述目标区域所对应区域以外的区域。

2.根据权利要求1所述的方法，其特征在于，在所述识别所述目标区域中的商品的第一商品信息的步骤之前，所述方法还包括：

对所述第一图像中的各个商品进行位置识别，得到所述第一图像中的各个商品对应的第一区域；

所述识别所述目标区域中的商品的第一商品信息的步骤，包括：

从所述第一图像中的各个商品对应的第一区域中，确定位于所述目标区域的各个第一区域；

对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

3.根据权利要求1所述的方法，其特征在于，所述识别所述目标区域中的商品的第一商品信息的步骤，包括：

对所述目标区域中的各个商品进行位置识别，得到位于所述目标区域中的各个第一区域；

对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述确定所述第一图像所包含的目标区域的步骤，包括：

获取第二图像；

针对所述第一图像中的每一区域，将该区域与所述第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值；

将差异值大于预设差异值的区域确定为目标区域。

5.根据权利要求2所述的方法，其特征在于，所述对所述第一图像中的各个商品进行位置识别，得到所述第一图像中的各个商品对应的第一区域的步骤，包括：

将所述第一图像输入预先训练好的第一神经网络，得到第一图像中的各个商品的位置信息；

针对所述第一图像中的每一商品，将该商品的位置信息所对应的区域，确定为该商品对应的第一区域；

其中，所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。

6.根据权利要求2或3所述的方法，其特征在于，所述对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息的步骤，包括：

将所述各个第一区域输入到预先训练好的第二神经网络，得到所述各个第一区域对应的商品类别；

基于所述各个第一区域对应的商品类别，确定所述目标区域中的商品的第一商品信息；

其中，所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。

7.根据权利要求1所述的方法，其特征在于，所述第一商品信息包括：商品类别和每一商品类别对应的商品数量；

在所述基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息的步骤之后，所述方法还包括：

将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量，与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对，得到用户所拿取商品的商品类别及商品数量；

其中，所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。

8.根据权利要求7所述的方法，其特征在于，在所述将所述第一图像中的商品的商品类别和每一类别商品的数量，与第三图像中的商品的商品类别和每一类别商品的数量进行差异比对，得到用户所拿取商品的商品类别及商品数量的步骤之后，所述方法还包括：

基于用户所拿取商品的商品类别，确定用户所拿取商品的商品价格；

基于所确定的商品价格与商品数量，计算用户所拿取商品的商品总价；

将所述商品总价发送至所述用户的用户终端。

9.一种商品信息确定装置，其特征在于，所述装置包括：

第一图像获取模块，用于获取包含商品区域的第一图像；

目标区域确定模块，用于确定所述第一图像所包含的目标区域；其中，所述目标区域为所述第一图像相对于第二图像发生商品变化的区域，所述第二图像为已确定商品信息的、包含所述商品区域的图像；

商品信息识别模块，用于识别所述目标区域中的商品的第一商品信息；

商品信息确定模块，用于基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息，其中，所述第二商品信息为所述第二图像所包含参考区域中的商品的商品信息，所述参考区域为除与所述目标区域所对应区域以外的区域。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第一区域确定模块，用于在所述商品信息识别模块识别所述目标区域中的商品的第一商品信息之前，对所述第一图像中的各个商品进行位置识别，得到所述第一图像中的各个商品对应的第一区域；

相应地，所述商品信息识别模块，包括：

第一区域确定单元，用于从所述第一图像中的各个商品对应的第一区域中，确定位于所述目标区域的各个第一区域；

商品类别识别单元，用于对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

11.根据权利要求9所述的装置，其特征在于，所述商品信息识别模块，包括：

第一区域确定单元，用于对所述目标区域中的各个商品进行位置识别，得到位于所述目标区域中的各个第一区域；

商品类别识别单元，用于对所述各个第一区域进行商品类别识别，并基于类别识别结果，确定所述目标区域中的商品的第一商品信息。

12.根据权利要求9-11任一项所述的装置，其特征在于，所述目标区域确定模块，具体用于：

获取第二图像；

针对所述第一图像中的每一区域，将该区域与所述第二图像中相应位置的区域进行差异比对，得到该区域对应的差异值；

将差异值大于预设差异值的区域确定为目标区域。

13.根据权利要求10所述的装置，其特征在于，所述第一区域确定模块，具体用于：

将所述第一图像输入预先训练好的第一神经网络，得到第一图像中的各个商品的位置信息；

针对所述第一图像中的每一商品，将该商品的位置信息所对应的区域，确定为该商品对应的第一区域；

其中，所述第一神经网络是基于样本图像和所述样本图像所包含的各个商品在所述商品图像的位置信息训练得到的。

14.根据权利要求10或11所述的装置，其特征在于，所述商品类别识别单元，具体用于：

将所述各个第一区域输入到预先训练好的第二神经网络，得到所述各个第一区域对应的商品类别；

基于所述各个第一区域对应的商品类别，确定所述目标区域中的商品的第一商品信息；

其中，所述第二神经网络是基于样本图像和所述样本图像所包含的商品的商品类别训练得到的。

15.根据权利要求9所述的装置，其特征在于，所述第一商品信息包括：商品类别和每一商品类别对应的商品数量；

所述装置还包括：

商品信息比对模块，用于在所述商品信息确定模块基于所述第一商品信息和第二商品信息，确定所述第一图像中的商品的目标商品信息之后，将所述第一图像中的商品的商品类别和每一商品类别对应的商品数量，与第三图像中的商品的商品类别和每一商品类别对应的商品数量进行差异比对，得到用户所拿取商品的商品类别及商品数量；

其中，所述第三图像为上一次确定商品信息的、包含所述商品区域的图像。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：

商品价格确定模块，用于在所述商品信息比对模块得到用户所拿取商品的商品类别及商品数量之后，基于用户所拿取商品的商品类别，确定用户所拿取商品的商品价格；

商品总价计算模块，用于基于所确定的商品价格与商品数量，计算用户所拿取商品的商品总价；

商品总价发送模块，用于将所述商品总价发送至所述用户的用户终端。

17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。

Images