CN109977825B - 物品识别方法及装置 - Google Patents

Abstract

本发明提出一种物品识别方法及装置，其中方法包括：获取待检测的货道对应的视觉识别结果和重力识别结果；视觉识别结果和重力识别结果为货道上的物品发生变化时的识别结果；视觉识别结果包括：物品种类以及数量、置信度；重力识别结果包括：至少一个物品种类以及数量；获取与货道绑定的物品种类；根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定货道识别结果；货道识别结果包括：货道上被取放的物品种类以及被取放的物品数量，从而能够结合视觉识别结果、重力识别结果以及与货道绑定的物品种类来确定货道识别结果，避免遮挡所造成的影响，提高物品数量识别的准确度，提高物品识别的准确度。

Description

物品识别方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种物品识别方法及装置。

背景技术

目前的物品识别方法主要有视觉检测方法等。视觉检测方法中，摄像头监控货道，获取顾客取放物品的视频，对视频进行识别得到取放种类、物品种类以及数量，但该方法对物品数量的识别准确度低，且对遮挡比较敏感，对物品种类的识别准确度难以得到保障。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种物品识别方法，用于解决现有技术中物品识别准确度差的问题。

本发明的第二个目的在于提出一种物品识别装置。

本发明的第三个目的在于提出另一种物品识别装置。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种物品识别方法，包括：

获取待检测的货道对应的视觉识别结果和重力识别结果；所述视觉识别结果和所述重力识别结果为所述货道上的物品发生变化时的识别结果；所述视觉识别结果包括：物品种类以及数量、置信度；所述重力识别结果包括：至少一个物品种类以及数量；

获取与所述货道绑定的物品种类；

根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果；所述货道识别结果包括：所述货道上被取放的物品种类以及被取放的物品数量。

进一步地，所述根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果，包括：

根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值；

根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果。

进一步地，所述根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，包括：

当所述视觉识别结果中的物品种类包含在所述重力识别结果中时，所述重力与视觉识别校验位的数值为第一数值；当所述视觉识别结果中的物品种类未包含在所述重力识别结果中时，所述重力与视觉识别校验位的数值为第二数值；

当与所述货道绑定的物品种类包含在所述重力识别结果中时，所述重力与绑定货道校验位的数值为第一数值；当与所述货道绑定的物品种类未包含在所述重力识别结果中时，所述重力与绑定货道校验位的数值为第二数值；

当所述视觉识别结果中的置信度大于置信度阈值时，所述视觉识别置信度决策位的数值为第一数值；当所述视觉识别结果中的置信度小于等于置信度阈值时，所述视觉识别置信度决策位的数值为第二数值。

进一步地，所述根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果，包括：

若视觉识别置信度决策位的数值为第一数值，则将所述视觉识别结果中的物品种类确定为所述货道识别结果中的物品种类；

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第一数值，则将与所述货道绑定的物品种类确定为所述货道识别结果中的物品种类；

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第一数值，则将所述视觉识别结果中的物品种类确定为所述货道识别结果中的物品种类；

根据所述货道识别结果中的物品种类、所述视觉识别结果以及所述重力识别结果，确定所述货道识别结果中被取放的物品数量。

进一步地，所述根据所述货道识别结果中的物品种类、所述视觉识别结果以及所述重力识别结果，确定所述货道识别结果中被取放的物品数量，包括：

根据所述重力识别结果中物品种类以及数量，确定所述货道的重量差值；

根据所述货道识别结果中的物品种类、所述重量差值，确定所述货道识别结果中被取放的物品数量。

进一步地，所述根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果，还包括：

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第二数值，则提示审核人员进行人工审核。

进一步地，所述视觉识别结果的数量为多个；

所述根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果，包括：

根据多个视觉识别结果，所述重力识别结果以及与所述货道绑定的物品种类，确定多个货道识别结果以及对应的融合可信度；

选择对应的融合可信度最高的货道识别结果。

进一步地，所述视觉识别结果的获取方式为，获取摄像头对所述货道进行监控得到的视频，对所述视频进行识别，得到视觉识别结果；

所述重力识别结果的获取方式为，获取重力传感器对所述货道进行检测得到的重量差值，结合重量差值以及各个物品的重量，确定重力识别结果。

本发明实施例的物品识别方法，通过获取待检测的货道对应的视觉识别结果和重力识别结果；视觉识别结果和重力识别结果为货道上的物品发生变化时的识别结果；视觉识别结果包括：物品种类以及数量、置信度；重力识别结果包括：至少一个物品种类以及数量；获取与货道绑定的物品种类；根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定货道识别结果；货道识别结果包括：货道上被取放的物品种类以及被取放的物品数量，从而能够结合视觉识别结果、重力识别结果以及与货道绑定的物品种类来确定货道识别结果，避免遮挡所造成的影响，提高物品数量识别的准确度，提高物品识别的准确度。

为达上述目的，本发明第二方面实施例提出了一种物品识别装置，包括：

获取模块，用于获取待检测的货道对应的视觉识别结果和重力识别结果；所述视觉识别结果和所述重力识别结果为所述货道上的物品发生变化时的识别结果；所述视觉识别结果包括：物品种类以及数量、置信度；所述重力识别结果包括：至少一个物品种类以及数量；

所述获取模块，还用于获取与所述货道绑定的物品种类；

确定模块，用于根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果；所述货道识别结果包括：所述货道上被取放的物品种类以及被取放的物品数量。

进一步地，所述确定模块包括：第一确定单元和第二确定单元；

所述第一确定单元，用于根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值；

所述第二确定单元，用于根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果。

进一步地，所述第一确定单元具体用于，

当所述视觉识别结果中的物品种类包含在所述重力识别结果中时，所述重力与视觉识别校验位的数值为第一数值；当所述视觉识别结果中的物品种类未包含在所述重力识别结果中时，所述重力与视觉识别校验位的数值为第二数值；

当与所述货道绑定的物品种类包含在所述重力识别结果中时，所述重力与绑定货道校验位的数值为第一数值；当与所述货道绑定的物品种类未包含在所述重力识别结果中时，所述重力与绑定货道校验位的数值为第二数值；

当所述视觉识别结果中的置信度大于置信度阈值时，所述视觉识别置信度决策位的数值为第一数值；当所述视觉识别结果中的置信度小于等于置信度阈值时，所述视觉识别置信度决策位的数值为第二数值。

进一步地，所述第二确定单元具体用于，

若视觉识别置信度决策位的数值为第一数值，则将所述视觉识别结果中的物品种类确定为所述货道识别结果中的物品种类；

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第一数值，则将与所述货道绑定的物品种类确定为所述货道识别结果中的物品种类；

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第一数值，则将所述视觉识别结果中的物品种类确定为所述货道识别结果中的物品种类；

根据所述货道识别结果中的物品种类、所述视觉识别结果以及所述重力识别结果，确定所述货道识别结果中被取放的物品数量。

进一步地，所述第二确定单元具体用于，

根据所述重力识别结果中物品种类以及数量，确定所述货道的重量差值；

根据所述货道识别结果中的物品种类、所述重量差值，确定所述货道识别结果中被取放的物品数量。

进一步地，所述第二确定单元具体还用于，

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第二数值，则提示审核人员进行人工审核。

进一步地，所述视觉识别结果的数量为多个；

所述确定模块具体用于，

根据多个视觉识别结果，所述重力识别结果以及与所述货道绑定的物品种类，确定多个货道识别结果以及对应的融合可信度；

选择对应的融合可信度最高的货道识别结果。

进一步地，所述视觉识别结果的获取方式为，获取摄像头对所述货道进行监控得到的视频，对所述视频进行识别，得到视觉识别结果；

所述重力识别结果的获取方式为，获取重力传感器对所述货道进行检测得到的重量差值，结合重量差值以及各个物品的重量，确定重力识别结果。

本发明实施例的物品识别装置，通过获取待检测的货道对应的视觉识别结果和重力识别结果；视觉识别结果和重力识别结果为货道上的物品发生变化时的识别结果；视觉识别结果包括：物品种类以及数量、置信度；重力识别结果包括：至少一个物品种类以及数量；获取与货道绑定的物品种类；根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定货道识别结果；货道识别结果包括：货道上被取放的物品种类以及被取放的物品数量，从而能够结合视觉识别结果、重力识别结果以及与货道绑定的物品种类来确定货道识别结果，避免遮挡所造成的影响，提高物品数量识别的准确度，提高物品识别的准确度。

为达上述目的，本发明第三方面实施例提出了另一种物品识别装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的物品识别方法。

为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的物品识别方法。

为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的物品识别方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种物品识别方法的流程示意图；

图2为本发明实施例提供的另一种物品识别方法的流程示意图；

图3为本发明实施例提供的一种物品识别装置的结构示意图；

图4为本发明实施例提供的另一种物品识别装置的结构示意图；

图5为本发明实施例提供的另一种物品识别装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的物品识别方法及装置。

图1为本发明实施例提供的一种物品识别方法的流程示意图。如图1所示，该物品识别方法包括以下步骤：

S101、获取待检测的货道对应的视觉识别结果和重力识别结果；视觉识别结果和重力识别结果为货道上的物品发生变化时的识别结果；视觉识别结果包括：物品种类以及数量、置信度；重力识别结果包括：至少一个物品种类以及数量。

本发明提供的物品识别方法的执行主体为物品识别装置，物品识别装置可以为终端设备、服务器等硬件设备，或者为硬件设备上安装的软件。物品识别装置可以与监控货道的摄像头连接，获取摄像头对货道进行监控得到的视频，对视频进行识别，得到视觉识别结果；物品识别装置还可以与货道下方设置的重力传感器连接，获取重力传感器对货道进行检测得到的重量差值，结合重量差值以及各个物品的重量，确定重力识别结果。另外，物品识别装置还可以从其他与摄像头和重力传感器连接的设备上获取视觉识别结果和重力识别结果。

另外，视觉识别结果和重力识别结果中还可以包括：取放种类。由于视觉识别和重力识别对取放种类的识别准确度都比较高，因此可以将视觉识别结果或者重力识别结果中的取放种类确定为货道识别结果中的取放种类。

S102、获取与货道绑定的物品种类。

本实施例中，与货道绑定的物品种类，一般为货道上所放置的物品的种类。一个货道上一个种类的物品。

S103、根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定货道识别结果；货道识别结果包括：货道上被取放的物品种类以及被取放的物品数量。

本发明实施例的物品识别方法，通过获取待检测的货道对应的视觉识别结果和重力识别结果；视觉识别结果和重力识别结果为货道上的物品发生变化时的识别结果；视觉识别结果包括：物品种类以及数量、置信度；重力识别结果包括：至少一个物品种类以及数量；获取与货道绑定的物品种类；根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定货道识别结果；货道识别结果包括：货道上被取放的物品种类以及被取放的物品数量，从而能够结合视觉识别结果、重力识别结果以及与货道绑定的物品种类来确定货道识别结果，避免遮挡所造成的影响，提高物品数量识别的准确度，提高物品识别的准确度。

图2为本发明实施例提供的另一种物品识别方法的流程示意图。如图2所示，在图1所示实施例的基础上，步骤103具体可以包括以下步骤：

S1031、根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值。

本实施例中，物品识别装置执行步骤1031的过程具体可以为，当视觉识别结果中的物品种类包含在重力识别结果中时，重力与视觉识别校验位的数值为第一数值；当视觉识别结果中的物品种类未包含在重力识别结果中时，重力与视觉识别校验位的数值为第二数值；当与货道绑定的物品种类包含在重力识别结果中时，重力与绑定货道校验位的数值为第一数值；当与货道绑定的物品种类未包含在重力识别结果中时，重力与绑定货道校验位的数值为第二数值；当视觉识别结果中的置信度大于置信度阈值时，视觉识别置信度决策位的数值为第一数值；当视觉识别结果中的置信度小于等于置信度阈值时，视觉识别置信度决策位的数值为第二数值。其中，第一数值例如可以为1，第二数值例如可以为0。

S1032、根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果。

本实施例中，物品识别装置执行步骤1032的过程具体可以为，若视觉识别置信度决策位的数值为第一数值，则将视觉识别结果中的物品种类确定为货道识别结果中的物品种类；若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第一数值，则将与货道绑定的物品种类确定为货道识别结果中的物品种类；若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第一数值，则将视觉识别结果中的物品种类确定为货道识别结果中的物品种类；根据货道识别结果中的物品种类、视觉识别结果以及重力识别结果，确定货道识别结果中被取放的物品数量。

其中，物品识别装置确定货道识别结果中被取放的物品数量的过程具体可以为，根据重力识别结果中物品种类以及数量，确定货道的重量差值；根据货道识别结果中的物品种类、重量差值，确定货道识别结果中被取放的物品数量。

另外，若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第二数值，则提示审核人员进行人工审核。

本实施例中，货道识别结果的确定表格例如可以如以下表1所示。

表1

进一步地，在上述实施例的基础上，视觉识别结果的数量可以为多个。由于重力识别结果的准确度比视觉识别结果的准确度高，因此，需要选取与重力识别结果融合可信度较高的视觉识别结果。对应的，物品识别装置执行步骤103的过程具体可以为，根据多个视觉识别结果，重力识别结果以及与货道绑定的物品种类，确定多个货道识别结果以及对应的融合可信度；选择对应的融合可信度最高的货道识别结果。

其中，融合可信度的确定方法为，根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定视觉识别结果和重力识别结果的level值，根据level值确定融合可信度。其中，level值越小，融合可信度越高。

本发明实施例的物品识别方法，通过获取待检测的货道对应的视觉识别结果和重力识别结果；视觉识别结果和重力识别结果为货道上的物品发生变化时的识别结果；视觉识别结果包括：物品种类以及数量、置信度；根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值；根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果，从而能够根据重力识别结果以及视觉识别结果的准确度，从中选择准确度较高的物品种类作为货道识别结果中的物品种类，避免遮挡所造成的影响，提高物品种类和数量识别的准确度，提高物品识别的准确度。

图3为本发明实施例提供的一种物品识别装置的结构示意图。如图3所示，包括：获取模块31和确定模块32。

其中，获取模块31，用于获取待检测的货道对应的视觉识别结果和重力识别结果；所述视觉识别结果和所述重力识别结果为所述货道上的物品发生变化时的识别结果；所述视觉识别结果包括：物品种类以及数量、置信度；所述重力识别结果包括：至少一个物品种类以及数量；

所述获取模块31，还用于获取与所述货道绑定的物品种类；

确定模块32，用于根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果；所述货道识别结果包括：所述货道上被取放的物品种类以及被取放的物品数量。

本发明提供的物品识别装置可以为终端设备、服务器等硬件设备，或者为硬件设备上安装的软件。物品识别装置可以与监控货道的摄像头连接，获取摄像头对货道进行监控得到的视频，对视频进行识别，得到视觉识别结果；物品识别装置还可以与货道下方设置的重力传感器连接，获取重力传感器对货道进行检测得到的重量差值，结合重量差值以及各个物品的重量，确定重力识别结果。另外，物品识别装置还可以从其他与摄像头和重力传感器连接的设备上获取视觉识别结果和重力识别结果。

另外，视觉识别结果和重力识别结果中还可以包括：取放种类。由于视觉识别和重力识别对取放种类的识别准确度都比较高，因此可以将视觉识别结果或者重力识别结果中的取放种类确定为货道识别结果中的取放种类。

本实施例中，与货道绑定的物品种类，一般为货道上所放置的物品的种类。一个货道上一个种类的物品。

本发明实施例的物品识别装置，通过获取待检测的货道对应的视觉识别结果和重力识别结果；视觉识别结果和重力识别结果为货道上的物品发生变化时的识别结果；视觉识别结果包括：物品种类以及数量、置信度；重力识别结果包括：至少一个物品种类以及数量；获取与货道绑定的物品种类；根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定货道识别结果；货道识别结果包括：货道上被取放的物品种类以及被取放的物品数量，从而能够结合视觉识别结果、重力识别结果以及与货道绑定的物品种类来确定货道识别结果，避免遮挡所造成的影响，提高物品数量识别的准确度，提高物品识别的准确度。

进一步地，结合参考图4，在图3所示实施例的基础上，所述确定模块32可以包括：第一确定单元321和第二确定单元322。

其中，所述第一确定单元321，用于根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值；

所述第二确定单元322，用于根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果。

其中，第一确定单元321具体可以用于，当视觉识别结果中的物品种类包含在重力识别结果中时，重力与视觉识别校验位的数值为第一数值；当视觉识别结果中的物品种类未包含在重力识别结果中时，重力与视觉识别校验位的数值为第二数值；当与货道绑定的物品种类包含在重力识别结果中时，重力与绑定货道校验位的数值为第一数值；当与货道绑定的物品种类未包含在重力识别结果中时，重力与绑定货道校验位的数值为第二数值；当视觉识别结果中的置信度大于置信度阈值时，视觉识别置信度决策位的数值为第一数值；当视觉识别结果中的置信度小于等于置信度阈值时，视觉识别置信度决策位的数值为第二数值。其中，第一数值例如可以为1，第二数值例如可以为0。

其中，第二确定单元322具体可以用于，若视觉识别置信度决策位的数值为第一数值，则将视觉识别结果中的物品种类确定为货道识别结果中的物品种类；若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第一数值，则将与货道绑定的物品种类确定为货道识别结果中的物品种类；若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第一数值，则将视觉识别结果中的物品种类确定为货道识别结果中的物品种类；根据货道识别结果中的物品种类、视觉识别结果以及重力识别结果，确定货道识别结果中被取放的物品数量。

其中，第二确定单元322确定货道识别结果中被取放的物品数量的过程具体可以为，根据重力识别结果中物品种类以及数量，确定货道的重量差值；根据货道识别结果中的物品种类、重量差值，确定货道识别结果中被取放的物品数量。

另外，第二确定单元322具体还用于，若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第二数值，则提示审核人员进行人工审核。

进一步地，在上述实施例的基础上，视觉识别结果的数量可以为多个。由于重力识别结果的准确度比视觉识别结果的准确度高，因此，需要选取与重力识别结果融合可信度较高的视觉识别结果。对应的，确定模块32具体可以用于，根据多个视觉识别结果，重力识别结果以及与货道绑定的物品种类，确定多个货道识别结果以及对应的融合可信度；选择对应的融合可信度最高的货道识别结果。

其中，融合可信度的确定方法为，根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定视觉识别结果和重力识别结果的level值，根据level值确定融合可信度。其中，level值越小，融合可信度越高。

本发明实施例的物品识别装置，通过获取待检测的货道对应的视觉识别结果和重力识别结果；视觉识别结果和重力识别结果为货道上的物品发生变化时的识别结果；视觉识别结果包括：物品种类以及数量、置信度；根据视觉识别结果、重力识别结果以及与货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值；根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果，从而能够根据重力识别结果以及视觉识别结果的准确度，从中选择准确度较高的物品种类作为货道识别结果中的物品种类，避免遮挡所造成的影响，提高物品种类和数量识别的准确度，提高物品识别的准确度。

图5为本发明实施例提供的另一种物品识别装置的结构示意图。该物品识别装置包括：

存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。

处理器1002执行所述程序时实现上述实施例中提供的物品识别方法。

进一步地，物品识别装置还包括：

通信接口1003，用于存储器1001和处理器1002之间的通信。

存储器1001，用于存放可在处理器1002上运行的计算机程序。

存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器1002，用于执行所述程序时实现上述实施例所述的物品识别方法。

如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。

处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。

本发明还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的物品识别方法。

本发明还提供一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的物品识别方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种物品识别方法，其特征在于，包括：

获取待检测的货道对应的视觉识别结果和重力识别结果；所述视觉识别结果和所述重力识别结果为所述货道上的物品发生变化时的识别结果；所述视觉识别结果包括：物品种类以及数量、置信度；所述重力识别结果包括：至少一个物品种类以及数量；

获取与所述货道绑定的物品种类；

根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果；所述货道识别结果包括：所述货道上被取放的物品种类以及被取放的物品数量，其中，所述货道识别结果中的物品种类通过判断所述视觉识别结果中的物品种类是否包含在所述重力识别结果的物品种类中、所述货道绑定的物品种类是否包含在所述重力识别结果的物品种类中以及所述视觉识别结果中的置信度是否大于置信度阈值来确定。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果，包括：

根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值；

根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果；

所述根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，包括：

当所述视觉识别结果中的物品种类包含在所述重力识别结果中时，所述重力与视觉识别校验位的数值为第一数值；当所述视觉识别结果中的物品种类未包含在所述重力识别结果中时，所述重力与视觉识别校验位的数值为第二数值；

当与所述货道绑定的物品种类包含在所述重力识别结果中时，所述重力与绑定货道校验位的数值为第一数值；当与所述货道绑定的物品种类未包含在所述重力识别结果中时，所述重力与绑定货道校验位的数值为第二数值；

当所述视觉识别结果中的置信度大于置信度阈值时，所述视觉识别置信度决策位的数值为第一数值；当所述视觉识别结果中的置信度小于等于置信度阈值时，所述视觉识别置信度决策位的数值为第二数值；

其中，所述根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果，包括：

若视觉识别置信度决策位的数值为第一数值，则将所述视觉识别结果中的物品种类确定为所述货道识别结果中的物品种类；

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第一数值，则将与所述货道绑定的物品种类确定为所述货道识别结果中的物品种类；

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第一数值，则将所述视觉识别结果中的物品种类确定为所述货道识别结果中的物品种类；

根据所述货道识别结果中的物品种类、所述视觉识别结果以及所述重力识别结果，确定所述货道识别结果中被取放的物品数量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述货道识别结果中的物品种类、所述视觉识别结果以及所述重力识别结果，确定所述货道识别结果中被取放的物品数量，包括：

根据所述重力识别结果中物品种类以及数量，确定所述货道的重量差值；

根据所述货道识别结果中的物品种类、所述重量差值，确定所述货道识别结果中被取放的物品数量。

4.根据权利要求2所述的方法，其特征在于，所述根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果，还包括：

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第二数值，则提示审核人员进行人工审核。

5.根据权利要求1所述的方法，其特征在于，所述视觉识别结果的数量为多个；

所述根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果，包括：

根据多个视觉识别结果，所述重力识别结果以及与所述货道绑定的物品种类，确定多个货道识别结果以及对应的融合可信度；

选择对应的融合可信度最高的货道识别结果。

6.根据权利要求1所述的方法，其特征在于，所述视觉识别结果的获取方式为，获取摄像头对所述货道进行监控得到的视频，对所述视频进行识别，得到视觉识别结果；

所述重力识别结果的获取方式为，获取重力传感器对所述货道进行检测得到的重量差值，结合重量差值以及各个物品的重量，确定重力识别结果。

7.一种物品识别装置，其特征在于，包括：

获取模块，用于获取待检测的货道对应的视觉识别结果和重力识别结果；所述视觉识别结果和所述重力识别结果为所述货道上的物品发生变化时的识别结果；所述视觉识别结果包括：物品种类以及数量、置信度；所述重力识别结果包括：至少一个物品种类以及数量；

所述获取模块，还用于获取与所述货道绑定的物品种类；

确定模块，用于根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定货道识别结果；所述货道识别结果包括：所述货道上被取放的物品种类以及被取放的物品数量，其中，所述货道识别结果中的物品种类通过判断所述视觉识别结果中的物品种类是否包含在所述重力识别结果的物品种类中、所述货道绑定的物品种类是否包含在所述重力识别结果的物品种类中以及所述视觉识别结果中的置信度是否大于置信度阈值来确定。

8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：第一确定单元和第二确定单元；

所述第一确定单元，用于根据所述视觉识别结果、所述重力识别结果以及与所述货道绑定的物品种类，确定重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值；

所述第二确定单元，用于根据重力与视觉识别校验位的数值、重力与绑定货道校验位的数值以及视觉识别置信度决策位的数值，确定货道识别结果；

所述第一确定单元具体用于，

当所述视觉识别结果中的物品种类包含在所述重力识别结果中时，所述重力与视觉识别校验位的数值为第一数值；当所述视觉识别结果中的物品种类未包含在所述重力识别结果中时，所述重力与视觉识别校验位的数值为第二数值；

当与所述货道绑定的物品种类包含在所述重力识别结果中时，所述重力与绑定货道校验位的数值为第一数值；当与所述货道绑定的物品种类未包含在所述重力识别结果中时，所述重力与绑定货道校验位的数值为第二数值；

当所述视觉识别结果中的置信度大于置信度阈值时，所述视觉识别置信度决策位的数值为第一数值；当所述视觉识别结果中的置信度小于等于置信度阈值时，所述视觉识别置信度决策位的数值为第二数值；

其中，所述第二确定单元具体用于，

若视觉识别置信度决策位的数值为第一数值，则将所述视觉识别结果中的物品种类确定为所述货道识别结果中的物品种类；

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第一数值，则将与所述货道绑定的物品种类确定为所述货道识别结果中的物品种类；

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第一数值，则将所述视觉识别结果中的物品种类确定为所述货道识别结果中的物品种类；

根据所述货道识别结果中的物品种类、所述视觉识别结果以及所述重力识别结果，确定所述货道识别结果中被取放的物品数量。

9.根据权利要求8所述的装置，其特征在于，所述第二确定单元具体用于，

根据所述重力识别结果中物品种类以及数量，确定所述货道的重量差值；

根据所述货道识别结果中的物品种类、所述重量差值，确定所述货道识别结果中被取放的物品数量。

10.根据权利要求8所述的装置，其特征在于，所述第二确定单元具体还用于，

若视觉识别置信度决策位的数值为第二数值，且重力与绑定货道校验位的数值为第二数值，且重力与视觉识别校验位的数值为第二数值，则提示审核人员进行人工审核。

11.根据权利要求7所述的装置，其特征在于，所述视觉识别结果的数量为多个；

所述确定模块具体用于，

根据多个视觉识别结果，所述重力识别结果以及与所述货道绑定的物品种类，确定多个货道识别结果以及对应的融合可信度；

选择对应的融合可信度最高的货道识别结果。

12.根据权利要求7所述的装置，其特征在于，所述视觉识别结果的获取方式为，获取摄像头对所述货道进行监控得到的视频，对所述视频进行识别，得到视觉识别结果；

所述重力识别结果的获取方式为，获取重力传感器对所述货道进行检测得到的重量差值，结合重量差值以及各个物品的重量，确定重力识别结果。

13.一种物品识别装置，其特征在于，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的物品识别方法。

14.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的物品识别方法。

15.一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如权利要求1-6中任一所述的物品识别方法。

Images