CN110610149A - 一种信息处理方法、装置及计算机存储介质 - Google Patents

Abstract

本申请实施例公开了一种信息处理方法、装置及计算机存储介质，方法包括：获取采集设备采集的待识别的图像；如果确定所述待识别的图像为第一采集设备拍摄的图像，确定所述待识别的图像为货架图像；根据所述货架图像，获得实体商店的布局结构，所述布局结构包括货架的结构图像；如果确定所述待识别的图像为第二采集设备拍摄的图像，确定所述待识别的图像为商品图像；根据所述商品图像，确定所述商品在货架中位置。即通过低要求的采集设备就可以采集商品信息，以便进行货架商品的识别处理。

Description

一种信息处理方法、装置及计算机存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种信息处理方法、装置及计算机存储介质。

背景技术

目前，为了向用户展示商品，经常将商品陈列在货架上，以便用户挑选所需的商品。但是，由于用户预先不知道所需的商品在实体商店中的具体位置，因此，每次都需要花费大量的时间寻找所需的商品，用户体验感极差。

虽然，通过电子设备的显示屏可以显示实体商店中货架的所有商品，以便用户通过电子设备可以查找到所需的商品在实体商店中大致的位置，提高用户的体验感。

但是，目前，为了采集实体商店中的商品信息，需要提供一种采集设备，该采集设备的表面能够感应放置在其上的商品，并且能够确定商品的位置。因此，该采集设备的要求比较高，消耗的成本太大。

发明内容

有鉴于此，本申请实施例为解决现有技术中存在的至少一个问题而提供一种信息处理方法、装置及计算机存储介质，通过低要求的采集设备就可以采集商品信息，以便进行货架商品的识别处理。

为达到上述目的，本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种信息处理方法，所述方法包括：

获取采集设备采集的待识别的图像；

如果确定所述待识别的图像为第一采集设备拍摄的图像，确定所述待识别的图像为货架图像；

根据所述货架图像，获得实体商店的布局结构，所述布局结构包括货架的结构图像；

如果确定所述待识别的图像为第二采集设备拍摄的图像，确定所述待识别的图像为商品图像；

根据所述商品图像，确定所述商品在货架中位置。

上述技术方案中，所述根据所述货架图像，获得实体商店的布局结构，包括：

根据所述采集设备的标识，确定所述第一采集设备的位置；

根据所述第一采集设备的位置对所述货架图像进行三维重建，得到实体商店的布局结构。

上述技术方案中，所述根据所述货架图像，获得实体商店的布局结构之后，还包括：

根据所述货架的结构图像，确定所述货架的类型；

根据所述货架的类型以及所述实体商店的布局结构，获得所述货架的位置。

上述技术方案中，所述根据所述货架的类型以及所述实体商店的布局结构，获得所述货架的位置之后，还包括：

根据所述货架的位置，确定所述货架的分区是否合理；

如果所述货架的分区合理，显示所述货架的位置；

如果所述货架的分区不合理，生成提示信息，所述提示信息用于指示所述货架的分区不合理。

上述技术方案中，所述根据所述商品图像，确定所述商品在货架中位置，包括：

根据所述商品图像，确定所述商品的种类；

根据商品图像中的货架信息以及所述商品的种类，确定所述商品在货架中的位置。

上述技术方案中，所述确定所述商品在货架中的位置之后，还包括：

根据所述商品在货架中的位置，确定所述商品摆放是否合理；

如果所述商品摆放合理，显示所述商品在货架的位置；

如果所述商品摆放不合理，生成提示信息，所述提示信息用于指示所述商品摆放不合理。

上述技术方案中，所述确定所述待识别的图像为商品图像之后，还包括：

根据所述商品图像，得到所述货架上商品的总数量；

确定所述商品的总数量是否大于设定阈值；

如果所述商品的总数量大于所述设定阈值，显示所述货架上商品的总数量；

如果所述商品的总数量小于或者等于所述设定阈值，生成提示信息，所述提示信息用于指示用户需要在所述货架上补充所述商品。

上述技术方案中，所述第一采集设备的高度高于所述第二采集设备的高度，和/或，所述第二采集设备的可移动性强于所述第一采集设备的可移动性。

第二方面，本申请实施例提供一种信息处理装置，所述装置包括：

获取单元，用于获取采集设备采集的待识别的图像以及采集设备的标识；

确定单元，用于根据所述采集设备的标识确定所述采集设备是否是第一采集设备；

第一处理单元，用于如果所述采集设备是所述第一采集设备，确定所述待识别的图像为货架图像；根据所述货架图像，获得实体商店的布局结构，所述布局结构包括货架的结构图像；

第二处理单元，用于如果所述采集设备不是所述第一采集设备，确定所述待识别的图像为商品图像；根据所述商品图像，确定所述商品在货架中位置。

第三方面，本申请实施例提供一种信息处理装置，所述装置包括网络接口、存储器和处理器；其中，

所述网络接口，配置为实现组件之间的连接通信；

所述存储器，配置为存储能够在所述处理器上运行的计算机程序；

所述处理器，配置为在运行所述计算机程序时，执行第一方面所述方法。

第四方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时实现第一方面所述任一方法。

本申请实施例所提供的一种信息处理方法、装置及计算机存储介质，通过获取采集设备采集的待识别的图像；如果确定待识别的图像为第一采集设备拍摄的图像，则确定待识别的图像为货架图像，并根据货架图像，获得实体商店的布局结构；如果确定待识别的图像为第二采集设备拍摄的图像，则确定待识别的图像为商品图像，并根据商品图像，确定所述商品在货架中位置。通过第一采集设备采集的货架图像，获得实体商店的大致布局，以便用户获得各类货架的大致位置。通过其他采集设备采集的商品图像，获得商品在货架中的准确位置，即通过低要求的采集设备就可以采集商品信息，以便进行货架商品的识别处理。

附图说明

图1为本申请实施例提供的一种信息处理方法的实现流程示意图一；

图2为本申请实施例提供的一种信息处理方法的实现流程示意图二；

图3为本发明实施例提供的一种信息处理装置300的结构示意图；

图4为本发明实施例提供的一种信息处理装置400的具体硬件结构。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

本申请实施例提供一种信息处理方法，该信息处理方法可以应用于终端，还可以应用于服务器，本申请实施例以服务器为例，结合信息处理方法进行以下说明，图1为本申请实施例提供的一种信息处理方法的实现流程示意图一，如图1所示，该方法主要包括以下步骤：

步骤101、获取采集设备采集的待识别的图像。

需要说明的是，采集设备包括第一采集设备和第二采集设备。其中，第一采集设备用于采集固定位置的货架图像，该第一采集设备可以是监控摄像头等不可移动的设备。第二采集设备用于采集货架上精确的商品图片，该第二采集设备可以是手机摄像头等可移动的设备。即第一采集设备的高度高于第二采集设备的高度，和/或，第二采集设备的可移动性强于第一采集设备的可移动性，例如，第一采集设备是监控摄像头，第二采集设备是手机摄像头，监控摄像头的高度高于手机摄像头，以便监控摄像头可以拍摄实体商店中更多的货架，而手机摄像头的可移动性强于监控摄像头，以便手机摄像头可以任意拍摄所需的商品图像。

第一采集设备采集到当前的货架图像，并将采集到的货架图像实时发送至服务器。第二采集设备采集当前的货架上的商品图像，并将采集到的商品图像实时发送至服务器。

需要说明的是，该货架图像、商品图像均为待识别的图像。当采集设备采集到待识别的图像后，将待识别的图像实时发送至服务器，服务器即可获取采集设备采集的待识别的图像。

步骤102、如果确定待识别的图像为第一采集设备拍摄的图像，确定待识别的图像为货架图像。

需要说明的是，当服务器确定待识别的图像为第一采集设备拍摄的图像，则可以确定待识别的图像为货架图像。例如，用户可以预设第一采集设备向服务器上传前N个图像，第二采集设备向服务器上传后M个图像，当服务器确定该待识别的图像为前N个图像中的一个图像，则确定待识别的图像为货架图像。

另外，还可以根据采集设备的标识确定采集设备是否是第一采集设备。采集设备的标识用于唯一标识采集设备、即根据采集设备的标识可以唯一确定采集设备具体为哪一个采集设备，根据采集设备的标识可以确定该采集设备是否为第一采集设备。如果采集设备是第一采集设备，则确定待识别的图像为货架图像。由于第一采集设备用于采集固定位置的货架图像。因此，当确定采集设备是第一采集设备时，可以确定该采集设备采集的待识别的图像为货架图像，以便后续针对货架图像进行处理。

步骤103、根据货架图像，获得实体商店的布局结构，布局结构包括货架的结构图像。

需要说明的是，当确定待识别的图像为货架图像时，可以根据货架图像，获得实体商店的布局结构，以便用户根据实体商店的布局结构判断各类货架的大致位置。

需要说明的是，根据货架图像，获得实体商店的布局结构，包括：根据采集设备的标识，确定第一采集设备的位置；根据第一采集设备的位置对货架图像进行三维重建，得到实体商店的布局结构。其中，三维重建(3D Reconstruction)是指根据图像的二维信息重建现实环境中的三维信息的过程，是建立表示客观世界的虚拟现实的关键技术。

通过至少一个第一采集设备采集同一货架的至少一个货架图像，该货架图像包括表征货架表面的点云数据，该点云数据为货架图像的点数据，包括每个点的三维数据。根据监控摄像头的位置，进行摄像机的标定，并对监控摄像头采集的同一货架的不同角度的点云数据进行坐标变换，变换到同一坐标系下，以完成多角度点云数据的配准。以监控摄像头的位置为原点构造网格，该网格把点云数据所组成的空间分割成极多的细小立方体，以实现对货架图像进行三维重建，获得货架的三维重建模型。

通过第一采集设备的位置对货架图像进行三维重建，获得各货架的三维重建模型，组合所有货架的三维重建模型，形成实体商店的布局结构。

需要说明的是，在根据货架图像，获得实体商店的布局结构之后，还包括：根据货架的结构图像，确定货架的类型；根据货架的类型以及实体商店的布局结构，获得货架的位置。其中，实体商店的布局结构包括各货架的结构图像，不同类型的货架对应的货架结构图像不同，因此，通过货架结构图像可以确定货架的类型。可以通过卷积神经网络模型对货架的结构图像进行识别，以确定货架的类型、即货架的结构图像经过卷积神经网络的输入层、卷积层、激活层、池化层、全连接层和输出层的一系列计算，输出货架的类型。本发明实施例并不限于卷积神经网络模型，还可以是其他的神经网络模型。

通过对待识别的图像进行三维重建，获得实体商店的布局结构，并根据实体商店的布局结构中的货架的结构图像，确定各货架的类型，根据各货架的类型以及实体商店的布局结构，可以获得准确的各类型货架的位置。

需要说明的是，根据货架的类型以及实体商店的布局结构，获得货架的位置之后，还包括：根据货架的位置，确定货架的分区是否合理；如果货架的分区合理，显示货架的位置；如果货架的分区不合理，生成提示信息，提示信息用于指示所述货架的分区不合理。其中，货架的分区是指实体商店的布局结构是否合理、即各类型货架的位置关系是否合理。用户可以在服务器中预先设定货架的位置表，该位置表包括货架、与货架的位置的关系，根据各类型货架的位置、与货架的位置表确定货架的分区是否合理，如果确定货架的分区合理，则显示货架的位置；如果确定货架的分区不合理，则生成提示信息，以指示所述货架的分区不合理。

步骤104、如果确定待识别的图像为第二采集设备拍摄的图像，确定待识别的图像为商品图像。

需要说明的是，当服务器确定待识别的图像为第二采集设备拍摄的图像，则可以确定待识别的图像为商品图像。例如，用户可以预设第一采集设备向服务器上传前N个图像，第二采集设备向服务器上传后M个图像，当服务器确定该待识别的图像为后M个图像中的一个图像，则确定待识别的图像为商品图像。

需要说明的是，由于第二采集设备用于采集货架上精确的商品图片。因此，当确定采集设备不是第一采集设备时，则可以确定该采集设备为第二采集设备，从而确定采集的待识别的图像为商品图像，以便后续针对商品图像进行处理。

步骤105、根据商品图像，确定商品在货架中位置。

需要说明的是，当根据采集设备不是第一采集设备，可以确定待识别的图像为商品图像，从而根据商品图像，确定商品在货架中位置。

需要说明的是，根据商品图像，确定商品在货架中位置，包括：根据商品图像，确定商品的种类；根据商品图像中的货架信息以及商品的种类，确定商品在货架中的位置。其中，第二采集设备采集的商品图像包括货架信息和商品信息，可以对商品图像进行识别处理，确定出商品图像中的商品具体是哪种商品。通过卷积神经网络模型对商品图像进行识别，以确定商品的种类、即商品图像经过卷积神经网络模型中的输入层、卷积层、激活层、池化层、全连接层和输出层的一系列计算，输出商品的种类。对商品图像进行图像处理，确定出商品图像中的商品在商品图像内的坐标，以及商品图像中的货架在商品图像内的坐标，根据商品在商品图像内的坐标和货架在商品图像内的坐标，确定出商品在货架中的位置。

需要说明的是，确定商品在货架中的位置之后，还包括：根据商品在货架中的位置，确定商品摆放是否合理；如果商品摆放合理，显示商品在货架的位置；如果商品摆放不合理，生成提示信息，所述提示信息用于指示所述商品摆放不合理。其中，用户可以在服务器中预先设定商品摆放位置表，该商品摆放位置表包括商品、与商品在货架的位置的关系，根据商品在货架中的位置、与商品摆放位置表确定商品摆放是否合理，如果确定商品摆放合理，则显示商品在货架的位置；如果确定商品摆放不合理，则生成提示信息，以指示所述商品摆放不合理。

需要说明的是，确定待识别的图像为商品图像之后，还包括：根据商品图像，得到货架上商品的总数量；确定商品的总数量是否大于设定阈值；如果商品的总数量大于设定阈值，显示货架上商品的总数量；如果商品的总数量小于或者等于设定阈值，生成提示信息，所述提示信息用于指示用户需要在所述货架上补充所述商品。其中，对商品图像进行图像处理，获得货架上商品的总数量，将商品的总数量与设定阈值进行比较，当商品的总数量大于设定阈值，说明货架上的商品充足，不需要补充商品；当商品的总数量小于或者等于设定阈值，说明货架上的商品不足，需要用户补充商品。

本申请实施例通过第一采集设备采集的货架图像，获得实体商店的大致布局，以便用户获得各类货架的大致位置，还可以通过其他采集设备采集的商品图像，获得商品在货架中的准确位置，即通过低要求的采集设备就可以采集商品信息，以便进行货架商品的识别处理。

本申请实施例提供一种信息处理方法，该信息处理方法可以应用于终端，还可以应用于服务器，本申请实施例以服务器为例，结合信息处理方法进行以下说明，图2为本申请实施例提供的一种信息处理方法的实现流程示意图二，如图2所示，该方法主要包括以下步骤：

步骤201、获取采集设备采集的待识别的图像以及采集设备的标识。

需要说明的是，采集设备包括监控摄像头和手机摄像头。其中，监控摄像头为位于实体商店中固定位置的摄像头，用于采集各种固定位置的货架图像，以便后续用于识别实体商店中不同类型的货架，以构建整个实体商店的布局。用户通过手机摄像头拍摄货架上的商品图片，手机摄像头的位置可以根据用户的需求进行改变、即手机摄像头的位置并不固定，手机摄像头用于采集货架上精确的商品图片。

需要说明的是，监控摄像头采集当前的货架图像，并将采集到的货架图像和监控摄像头的标识实时发送至服务器。手机摄像头采集当前的货架上的商品图像，并将采集到的商品图像和手机摄像头的标识实时发送至服务器。

当服务器接收到监控摄像头采集的货架图像后，可将该货架图像保存至存储器中，当服务器接收到手机摄像头采集的商品图像后，可将该商品图像保存至存储器中。该存储器可以是服务器本地的存储器，还可以是其他电子设备的存储器，当存储器为其他电子设备的存储器时，服务器可以通过与其他电子设备进行交互获取货架图像或商品图像。

需要说明的是，该货架图像、商品图像均为待识别的图像，监控摄像头、手机摄像头均为采集设备。当服务器保存货架图像或商品图像至存储器、即服务器保存采集设备采集的待识别的图像至存储器后，服务器可以从存储器中获取采集设备采集的待识别的图像。后续当需要用户对货架或商品进行进一步的校对时，可从服务器中获取保存的货架图像或商品图像进行人工校对。

步骤202、根据采集设备的标识确定采集设备是否是监控摄像头，如果确定采集设备是监控摄像头，则转入步骤203；如果确定采集设备不是监控摄像头，则转入步骤210或步骤215。

需要说明的是，采集设备的标识用于唯一标识采集设备、即根据采集设备的标识可以唯一确定采集设备具体为哪一个采集设备，例如根据采集设备的标识可以确定该采集设备为监控摄像头1，从而确定采集设备是监控摄像头，则转入步骤203，对货架图像进行识别处理；根据采集设备的标识可以确定该采集设备为手机摄像头1，从而确定采集设备是手机摄像头，则转入步骤210或步骤215，对商品图像进行识别处理。

步骤203、根据采集设备的标识确定监控摄像头的位置。

需要说明的是，由于采集设备可以为监控摄像头，且监控摄像头的位置是固定的，因此，用户可以在服务器中预先存储采集设备的位置表，该采集设备的位置表包括采集设备的标识、与监控摄像头的位置的对应关系，将采集设备的标识与采集设备的位置表进行匹配，根据采集设备的标识、与采集设备的标识、与监控摄像头的位置的对应关系，获得监控摄像头的位置，例如，采集设备的位置表包括监控摄像头1与监控摄像头1的位置的对应关系，将监控摄像头1与采集设备的位置表进行匹配，得到监控摄像头1的位置。

步骤204、根据监控摄像头的位置对待识别的图像进行三维重建，获得实体商店的布局结构，所述布局结构包括货架的结构图像。

需要说明的是，所述布局结构包括货架的结构图像，三维重建是指根据图像的二维信息重建现实环境中的三维信息的过程，是建立表示客观世界的虚拟现实的关键技术。

通过多个监控摄像头对同一货架进行不同角度的拍摄、即通过至少一个监控摄像头采集同一货架的至少一个货架图像，该货架图像包括表征货架表面的点云数据，该点云数据为货架图像的点数据，包括每个点的三维数据。点云数据为非结构化的散乱点云，属于三维重建特有的特征。根据监控摄像头的位置，进行摄像机的标定，并对监控摄像头采集的同一货架的不同角度的点云数据进行坐标变换，变换到同一坐标系下，以完成多角度点云数据的配准。配准后的点云数据仍为三维空间中散乱无序的点数据，仅能展现货架的部分信息，因此，需要对点云数据进行融合处理，以获得更加精细的三维重建模型。以监控摄像头的位置为原点构造网格，该网格把点云数据所组成的空间分割成极多的细小立方体，该立方体为体素(Voxel)，每一个体素包括有效距离场(Signed Distance Field，SDF)值，该SDF值为该体素到三维重建模型表面的最小距离值，来隐式地模拟货架的表面，以实现对待识别的图像进行三维重建，获得货架的三维重建模型。

需要说明的是，通过监控摄像头的位置对待识别的图像进行三维重建，获得各货架的三维重建模型，组合所有货架的三维重建模型，形成实体商店的布局结构。

步骤205、根据实体商店的布局结构中的货架的结构图像，确定各货架的类型。

需要说明的是，实体商店的布局结构包括各货架的结构图像，不同类型的货架对应的货架结构图像不同、即通过货架的结构图像可以确定货架的类型，例如水产品的货架结构大部分为水槽，而果蔬的货架结构大部分为木架，用于存储水产品的货架结构和放置果蔬的货架结构不同，因此，通过货架结构图像可以确定货架的类型。

本申请实施例通过卷积神经网络模型对货架的结构图像进行识别，以确定货架的类型。其中，卷积神经网络模型包括输入层、卷积层、激活层、池化(Pooling)层、全连接层和输出层。输入层用于输入货架的结构图像，并将货架的结构图像输入至卷积层。卷积层用于对货架的结构图像进行特征提取，得到维度为W*H*C的特征图像，并将该特征图像输入至池化层，其中，W表示输入层中货架的结构图像的宽度，H表示输入层中货架的结构图像的高度，C表示输入层中货架的结构图像的通道数、即颜色通道数，例如，当输入的货架的结构图像为黑白图像，则C＝1，说明货架的结构图像包括1个颜色通道，当输入的货架的结构图像为红绿蓝(Red Green Blue，RGB)图像，则C＝3，说明货架的结构图像包括3个颜色通道。激活层中包含激励函数，该激励函数用于协助表达卷积神经网络中的复杂特征，即对卷积层的输出进行映射，将映射结果输入至池化层，其中激励函数可以是线性整流函数(Rectified Linear Unit,ReLU)、Sigmoid函数和双曲正切函数(Hyperbolic Tangent)。池化层用于对特征图像进行下采样，去除特征图像中不重要的特征，保留特征图像中大部分重要特征，以缩小特征图像，简化计算的复杂度，并输出池化后的图像至全连接层。其中，池化层可以采用多种池化的方法去除特征图像中不重要的特征，例如平均池化(AveragePooling)、最大池化(Max Pooling)，其中，平均池化用于计算特征图像区域的平均值，并将该平均值作为该特征图像区域池化后的值，最大池化用于将计算特征图像区域中的最大值，并将该最大值作为该特征图像区域池化后的值。全连接层用于整合池化后的图像，并获得多种类型的货架的概率，并将该多种类型的货架的概率输出至输出层，例如，通过全连接层的处理后，获得水产的货架的概率为0.9、果蔬的货架的概率为0.5、日用品的货架的概率为0.2。输出层用于根据多种类型的货架的概率，确定货架的类型，例如根据多种类型的货架的概率的最大值，确定对应该最大值的货架的类型，由于多种类型的货架的概率的最大值为水产品的货架的概率0.9，则根据该待识别的图像，确定监控摄像头采集的是水产品的货架图像。由于随着输入数据在隐藏层内的逐级传递，其均值和标准差会发生改变，会产生协变漂移现象。因此，卷积神经网络模型还可以包括分批归一化(Batch Normalization，BN)层，BN层引入额外学习参数为代价部分可以解决协变漂移的问题，即在隐含层中将特征标准化，然后通过两个线性参数将标准化的特征放大作为各层新的输入。其中，BN层在卷积层之后、激活层之前，用于将卷积层的输出进行归一化，使激活层的输入在[0,1]之间，避免梯度消失的问题，加速训练。

需要说明的是，服务器可通过如下方式实现对卷积神经网络模型的训练：

将训练样本数据输入到卷积神经网络模型的输入层，所述训练样本数据用于训练卷积神经网络模型识别货架的类型，经过隐藏层(卷积层、激活层、池化层、全连接层)，最后到达输出层并输出结果，该过程为卷积神经网络模型的前向传播过程，由于卷积神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛，使得该卷积神经网络模型可以识别货架的类型。

步骤206、根据各货架的类型以及实体商店的布局结构，获得各类型货架的位置。

需要说明的是，通过对待识别的图像进行三维重建，获得实体商店的布局结构，并根据实体商店的布局结构中的货架的结构图像，确定各货架的类型，根据各货架的类型以及实体商店的布局结构，可以获得准确的各类型货架的位置。

由于实体商店的布局结构展示了所有货架的大致摆放位置，因此，根据所有货架的大致摆放位置以及各货架的类型，可以获得各类型货架的位置，以便后续用户可以根据各类型货架的位置，快速定位所需商品的大致位置。

本发明实施例还可以根据待识别的图像确定货架的类型。

需要说明的是，当确定采集设备是监控摄像头，则该待识别的图像为货架图像，该货架图像包括货架数据、即通过货架数据可以确定该货架的类型，不同类型的货架所对应的货架图像也不同，例如某些货架用于储存水产品，某些货架用于放置果蔬，用于储存水产品的货架结构和放置果蔬的货架结构不同，因此，水产品的货架图像和果蔬的货架图像不同，通过货架图像可以确定货架的类型。

通过卷积神经网络模型对待识别的图像进行识别，以确定货架的类型。其中，卷积神经网络模型包括输入层、卷积层、激活层、池化层、全连接层和输出层。其中，全连接层用于整合池化后的图像，并获得货架的概率，并将该货架的概率输出至输出层。输出层用于根据货架的概率，确定货架的类型。

本发明实施例还可以根据监控摄像头的位置以及货架的类型，确定各类型货架的位置。

需要说明的是，服务器可以根据监控摄像头的位置大致确定监控摄像头采集的货架图像中的货架的位置，根据货架的位置以及货架的类型，确定各类型货架的位置，例如，如果监控摄像头位于实体商店的区域1，则根据监控摄像头的位置可以确定监控摄像头采集的货架图像中的货架位于实体商店的区域1。

步骤207、根据各类型货架的位置确定货架的分区是否合理，如果确定货架的分区合理，则转入步骤208；如果确定货架的分区不合理，则转入步骤209。

需要说明的是，所述货架的分区是指实体商店的布局结构是否合理、即各类型货架的位置关系是否合理。

用户可以在服务器中预先设定货架的位置表，该位置表包括货架、与货架的位置的关系，根据各类型货架的位置、与货架的位置表确定货架的分区是否合理，如果确定货架的分区合理，则转入步骤208；如果确定货架的分区不合理，则转入步骤209，例如水产品货架的位置为区域1，而货架的位置表中水产品的位置为区域2，则根据水产品货架的位置、与货架的位置表中水产品的位置，确定水产品货架的分区不合理。

需要说明的是，用户可以在服务器中预先设定货架的位置关系表，该位置关系表包括货架之间的位置关系，例如水产品货架与果蔬货架相邻，根据各类型货架的位置，可以确定货架之间的位置关系，根据确定出的货架之间的位置关系、与货架的位置关系表确定货架的分区是否合理，如果确定货架的分区合理，则转入步骤208；如果确定货架的分区不合理，则转入步骤209，例如水产品货架的位置为区域1，果蔬货架的位置为区域2，则确定水产品货架与果蔬货架相邻，并且货架的位置关系表中水产品货架与果蔬货架相邻，则根据水产品货架的位置、果蔬货架的位置、与货架的位置关系表确定水产品货架与果蔬货架的分区合理。

步骤208、显示各类型货架的位置，结束当前流程。

需要说明的是，当确定货架的分区合理，则在服务器的显示界面上显示各类型货架的位置，以便用户根据商品需求快速定位商品的大致位置。

服务器还可以向其他电子设备发送该各类型货架的位置，以便其他的电子设备在显示界面上显示各类型货架的位置。

步骤209、生成提示信息，所述提示信息用于指示货架的分区不合理，结束当前流程。

需要说明的是，当确定货架的分区不合理，则服务器自动生成提示信息，该提示信息用于指示货架的分区不合理，以便用户根据提示信息，重新更新货架的分区，大规模调整实体商店的布局结构。

步骤210、根据待识别的图像中的商品信息，确定商品的种类。

需要说明的是，当根据采集设备的标识确定采集设备不是监控摄像头、即确定采集设备是手机摄像头，则手机摄像头采集的待识别的图像为精准的商品图像，该商品图像包括货架信息和商品信息，需要对商品图像进行识别处理，确定待识别的图像中的商品具体是哪种商品。

手机摄像头采集货架上的商品，不同的商品对应的商品图像不同，根据商品图像可以确定商品的种类，从而实现对商品的识别。

通过卷积神经网络模型对待识别的图像进行识别，以确定商品的种类。其中，卷积神经网络模型包括输入层、卷积层、激活层、池化层、全连接层和输出层。输入层用于输入待识别的图像，并将待识别的图像输入至卷积层。卷积层用于对待识别的图像进行特征提取，得到维度为W*H*C的特征图像，并将该特征图像输入至池化层，其中，W表示输入层中待识别的图像的宽度，H表示输入层中待识别的图像的高度，C表示输入层中待识别的图像的通道数、即颜色通道数，例如，当输入的待识别图像为RGB图像，则C＝3，说明待识别图像包括3个颜色通道。激活层中包含激励函数，该激励函数用于协助表达卷积神经网络中的复杂特征，即对卷积层的输出进行映射，将映射结果输入至池化层，其中激励函数可以是线性整流函数、Sigmoid函数和双曲正切函数。池化层用于对特征图像进行下采样，去除特征图像中不重要的特征，保留特征图像中大部分重要特征，并输出池化后的图像至全连接层。全连接层用于整合池化后的图像，并获得多种种类的商品的概率，并将该多种种类的商品的概率输出至输出层。输出层用于根据多种种类的商品的概率，确定商品的种类，例如向卷积神经网络模型输入待识别的图像，识别出待识别的图像包括可乐、雪碧。卷积神经网络模型还可以包括分批归一化层，其中，BN层在卷积层之后、激活层之前，用于将卷积层的输出进行归一化，使激活层的输入在[0,1]之间，避免梯度消失的问题，加速训练。BN层引入额外学习参数为代价部分可以解决协变漂移的问题，即在隐含层中将特征标准化，然后通过两个线性参数将标准化的特征放大作为各层新的输入。

需要说明的是，服务器可通过如下方式实现对卷积神经网络模型的训练：

将训练样本数据输入到卷积神经网络模型的输入层，所述训练样本数据用于训练卷积神经网络模型识别商品的种类，经过隐藏层(卷积层、激活层、池化层、全连接层)，最后达到输出层并输出结果，该过程为卷积神经网络模型的前向传播过程，由于卷积神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛，使得该卷积神经网络模型可以识别商品的种类。

步骤211、根据待识别的图像中的货架信息以及商品种类，确定商品在货架中的位置。

需要说明的是，对待识别的图像进行图像处理，确定出待识别的图像中的商品在待识别的图像内的坐标，以及待识别的图像中的货架在待识别的图像内的坐标，根据商品在待识别的图像内的坐标和货架在待识别的图像内的坐标，确定出商品在货架中的位置，例如商品在货架的层数。

根据货架在待识别的图像内的坐标、以及货架的边缘特征，可以对货架进行分层、即获取货架每一层的位置。获取了货架每一层的位置后，可以根据商品在待识别的图像内的坐标，确定商品在货架中的位置，例如确定待识别的图像中的可乐位于货架的第三层。

需要说明的是，当货架信息还包括标签信息，该标签信息可以包括商品的售价、折扣等文字信息，对待识别的图像中的标签信息进行文字识别，并根据商品的种类，确定出商品的售价、折扣等信息。

步骤212、根据商品在货架中的位置确定商品摆放是否合理，如果确定商品摆放合理，则转入步骤213；如果确定商品摆放不合理，则转入步骤214。

需要说明的是，用户可以在服务器中预先设定商品摆放位置表，该商品摆放位置表包括商品、与商品在货架的位置的关系，根据商品在货架中的位置、与商品摆放位置表确定商品摆放是否合理，如果确定商品摆放合理，则转入步骤213；如果确定商品摆放不合理，则转入步骤214，例如识别出可乐在货架的第一层，而商品摆放位置表中可乐位置为货架的第二层，则根据可乐在货架的位置、与商品摆放位置表中可乐的位置，确定可乐摆放不合理。

步骤213、显示商品在货架中的位置，结束当前流程。

需要说明的是，当确定商品摆放合理，则在服务器的显示界面上显示商品在货架中的位置，以便用户根据商品需求快速定位商品的准确位置。

服务器还可以向其他电子设备发送商品在货架中的位置，以便其他的电子设备在显示界面上显示商品在货架中的位置。

步骤214、生成提示信息，所述提示信息用于指示商品摆放不合理，结束当前流程。

需要说明的是，当确定商品摆放不合理，则服务器自动生成提示信息，该提示信息用于指示商品摆放不合理，以便用户根据提示信息，重新更新货架上商品的位置。

需要说明的是，步骤210-214是根据待识别的图像获取商品在货架中的位置，并根据商品在货架中的位置调整商品位置的过程，以下步骤215-221是根据待识别的图像获取货架上商品的总数量，并根据货架上商品的总数量调整商品数量的过程。步骤210-214与步骤215-221并无明显的先后顺序。

步骤215、对至少一个待识别的图像进行图像拼接，得到同一货架上商品的正面图像，所述待识别的图像为手机摄像头采集的商品的正面图像。

需要说明的是，当用户用手机摄像头拍摄货架上的商品时，由于同一货架比较长，一般情况下，一张图像不能包括同一货架上所有的商品，因此，需要用户依次拍摄多张同一货架上的商品图像，将多张同一货架上的商品图像进行拼接，可以得到同一货架上所有的商品图像。

待识别的图像为手机摄像头采集的商品的正面图像，依次将手机摄像头采集的商品的正面图像进行图像拼接，组成同一货架上商品的正面图像，以便后续识别商品的数量。

步骤216、根据同一货架上商品的正面图像，确定正面货架上商品的数量。

需要说明的是，由于同一商品会在同一层货架上摆放多列(货架正面商品的数量)、多行(货架侧面商品的数量)。根据同一货架上商品的正面图像，识别同一商品的个数、即获得同一商品的列数，根据同一商品的列数获得正面货架上商品的数量M。

步骤217、根据待识别的图像，确定侧面货架上商品的数量，所述待识别的图像为手机摄像头采集的商品的侧面图像。

需要说明的是，根据同一货架上商品的侧面图像，识别同一商品的个数、即获得同一商品的行数，根据同一商品的行数获得侧面货架上各商品的数量K。

需要说明的是，用户还可以在服务器中预先设置侧面货架上商品的数量、即设置经验值，例如可以设置侧面货架上商品的数量为4。

步骤218、根据正面货架上商品的数量以及侧面货架上商品的数量，确定货架上商品的总数量。

需要说明的是，正面货架上商品的数量M乘以侧面货架上商品的数量K，得到货架上商品的总数量M*K，例如，正面货架上可乐的数量为5，侧面货架上可乐的数量为4，则货架上可乐的总数量为20。

步骤219、确定货架上商品的总数量是否大于设定阈值，如果大于设定阈值，则转入步骤220；如果小于或者等于设定阈值，则转入步骤221。

需要说明的是，用户可以在服务器中预先设定阈值，当确定货架上商品的总数量大于设定阈值，则无需在货架上补充商品；当确定货架上商品的总数量小于或者等于设定阈值，则需要在货架上补充商品，避免商品售空的情况。

步骤220、显示货架上商品的总数量，结束当前流程。

需要说明的是，当确定货架上商品的总数量大于设定阈值时，则在服务器的显示界面上显示货架上商品的总数量，以便用户获得商品的数量信息。

服务器还可以向其他电子设备发送该货架上商品的总数量，以便其他的电子设备在显示界面上显示货架上商品的总数量。

步骤221、生成提示信息，所述提示信息用于指示用户在货架上补充商品。

需要说明的是，当确定货架上商品的总数量小于或者等于设定阈值，则服务器自动生成提示信息，该提示信息用于指示货架上商品数量不够，以便用户根据提示信息，在货架上补充商品，结束当前流程。

需要说明的是，服务器获得了实体商店的结构布局以及商品图像后，可以将实体商店的结构布局以及商品图像输出至其他电子设备，以便其他电子设备显示实体商店的结构布局以及商品图像。其中，所述电子设备可以是用户终端，以便用户实时查看实体商店中的商品信息，所述电子设备还可以是实体商店大屏幕，以便用户清晰查看实体商店中的商品信息。

需要说明的是，当用户在电子设备上对实体商店的结构布局以及商品的图像进行货架类别选择操作，例如点击、滑动操作时，电子设备可以获取用户选择的货架类别，并将用户选择的货架类别发送至服务器，服务器可以根据用户选择的货架类别，获取货架类别对应的热销商品的信息，并将该货架类别对应的热销商品的信息发送至电子设备，以便电子设备在显示界面上对热销商品进行标识，用户根据该标识可以快速了解实体商店中热卖的商品。其中，服务器获得的热销商品可以是对收银台的商品数据进行统计得到，例如对收银台的商品数据进行降序排序，选取前N个商品作为热销商品。

基于上述实施例的同一发明构思，本申请实施例提供一种信息处理装置，图3为本发明实施例提供的一种信息处理装置300的结构示意图，如图3所示，所述装置300包括：

获取单元301，用于获取采集设备采集的待识别的图像以及采集设备的标识；

第一处理单元302，用于如果确定所述待识别的图像为第一采集设备拍摄的图像，确定所述待识别的图像为货架图像；根据所述货架图像，获得实体商店的布局结构，所述布局结构包括货架的结构图像；

第二处理单元303，用于如果确定所述待识别的图像为第二采集设备拍摄的图像，确定所述待识别的图像为商品图像；根据所述商品图像，确定所述商品在货架中位置。

需要说明的是，所述第一处理单元302具体用于根据所述采集设备的标识，确定所述第一采集设备的位置；根据所述第一采集设备的位置对所述货架图像进行三维重建，得到实体商店的布局结构。

需要说明的是，所述信息处理装置300还包括：

第三处理单元304，用于根据所述货架的结构图像，确定所述货架的类型；

根据所述货架的类型以及所述实体商店的布局结构，获得所述货架的位置。

需要说明的是，所述信息处理装置300还包括：

第四处理单元305，用于根据所述货架的位置，确定所述货架的分区是否合理；如果所述货架的分区合理，显示所述货架的位置；如果所述货架的分区不合理，生成提示信息，所述提示信息用于指示所述货架的分区不合理。

需要说明的是，所述第二处理单元303具体用于根据所述商品图像，确定所述商品的种类；根据商品图像中的货架信息以及所述商品的种类，确定所述商品在货架中的位置。

需要说明的是，所述信息处理装置300还包括：

第五处理单元306，用于根据所述商品在货架中的位置，确定所述商品摆放是否合理；如果所述商品摆放合理，显示所述商品在货架的位置；如果所述商品摆放不合理，生成提示信息，所述提示信息用于指示所述商品摆放不合理。

需要说明的是，所述信息处理装置300还包括：

第六处理单元307，用于根据所述商品图像，得到所述货架上商品的总数量；确定所述商品的总数量是否大于设定阈值；如果所述商品的总数量大于所述设定阈值，显示所述货架上商品的总数量；如果所述商品的总数量小于或者等于所述设定阈值，生成提示信息，所述提示信息用于指示用户需要在所述货架上补充所述商品。

在本发明实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

因此，本发明实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述实施例所述的步骤。

参见图4，示出了本发明实施例提供的一种信息处理装置400的具体硬件结构，包括：网络接口401、存储器402和处理器403；各个组件通过总线系统404耦合在一起。可理解，总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统404。其中，所述网络接口401，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

存储器402，用于存储能够在处理器403上运行的计算机程序；

处理器403，用于在运行所述计算机程序时，执行：

获取采集设备采集的待识别的图像以及采集设备的标识；

根据所述采集设备的标识确定所述采集设备是否是第一采集设备；

如果所述采集设备是所述第一采集设备，确定所述待识别的图像为货架图像；

根据所述货架图像，获得实体商店的布局结构，所述布局结构包括货架的结构图像；

如果所述采集设备不是所述第一采集设备，确定所述待识别的图像为商品图像；

根据所述商品图像，确定所述商品在货架中位置。

可以理解，本发明实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Sync Link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的方法的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器403可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器403中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器403可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器403读取存储器402中的信息，结合其硬件完成上述方法的步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

Claims (10)

1.一种信息处理方法，其特征在于，所述方法包括：

获取采集设备采集的待识别的图像；

如果确定所述待识别的图像为第一采集设备拍摄的图像，确定所述待识别的图像为货架图像；

根据所述货架图像，获得实体商店的布局结构，所述布局结构包括货架的结构图像；

如果确定所述待识别的图像为第二采集设备拍摄的图像，确定所述待识别的图像为商品图像；

根据所述商品图像，确定所述商品在货架中位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述货架图像，获得实体商店的布局结构，包括：

根据所述采集设备的标识，确定所述第一采集设备的位置；

根据所述第一采集设备的位置对所述货架图像进行三维重建，得到实体商店的布局结构。

3.根据权利要求1所述的方法，其特征在于，所述根据所述货架图像，获得实体商店的布局结构之后，还包括：

根据所述货架的结构图像，确定所述货架的类型；

根据所述货架的类型以及所述实体商店的布局结构，获得所述货架的位置。

4.根据权利要求3所述的方法，其特征在于，所述根据所述货架的类型以及所述实体商店的布局结构，获得所述货架的位置之后，还包括：

根据所述货架的位置，确定所述货架的分区是否合理；

如果所述货架的分区合理，显示所述货架的位置；

如果所述货架的分区不合理，生成提示信息，所述提示信息用于指示所述货架的分区不合理。

5.根据权利要求1所述的方法，其特征在于，所述根据所述商品图像，确定所述商品在货架中位置，包括：

根据所述商品图像，确定所述商品的种类；

根据商品图像中的货架信息以及所述商品的种类，确定所述商品在货架中的位置。

6.根据权利要求1或5所述的方法，其特征在于，所述确定所述商品在货架中的位置之后，还包括：

根据所述商品在货架中的位置，确定所述商品摆放是否合理；

如果所述商品摆放合理，显示所述商品在货架的位置；

如果所述商品摆放不合理，生成提示信息，所述提示信息用于指示所述商品摆放不合理。

7.根据权利要求1所述的方法，其特征在于，所述确定所述待识别的图像为商品图像之后，还包括：

根据所述商品图像，得到所述货架上商品的总数量；

确定所述商品的总数量是否大于设定阈值；

如果所述商品的总数量大于所述设定阈值，显示所述货架上商品的总数量；

如果所述商品的总数量小于或者等于所述设定阈值，生成提示信息，所述提示信息用于指示用户需要在所述货架上补充所述商品。

8.一种信息处理装置，其特征在于，所述装置包括：

获取单元，用于获取采集设备采集的待识别的图像；

第一处理单元，用于如果确定所述待识别的图像为第一采集设备拍摄的图像，确定所述待识别的图像为货架图像；根据所述货架图像，获得实体商店的布局结构，所述布局结构包括货架的结构图像；

第二处理单元，用于如果确定所述待识别的图像为第二采集设备拍摄的图像，确定所述待识别的图像为商品图像；根据所述商品图像，确定所述商品在货架中位置。

9.一种信息处理装置，其特征在于，所述装置包括网络接口、存储器和处理器；其中，

所述网络接口，配置为实现组件之间的连接通信；

所述存储器，配置为存储能够在所述处理器上运行的计算机程序；

所述处理器，配置为在运行所述计算机程序时，执行权利要求1至7任一项所述方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时实现如权利要求1至7中任一项所述方法。