CN114445958B - 一种售货方法、装置、售货柜及介质 - Google Patents

Abstract

本申请实施例适用于自动化技术领域，提供了一种售货方法、装置、售货柜及介质，所述方法包括：获取所述售货柜上的多个传感器中的传感数据，每个所述传感数据具有对应的时间信息；根据所述时间信息，对所述传感数据进行融合，得到融合传感数据；获取所述售货柜上的多个摄像装置的摄像数据；将所述摄像数据投影到同一世界坐标下，得到融合摄像数据；基于所述融合摄像数据和所述融合传感数据，确定顾客从所述售货柜中取走的待付款商品；对所述待付款商品进行结算。通过上述方法，能够更准确地识别出顾客从售货柜中取走的待付款商品。

Description

一种售货方法、装置、售货柜及介质

技术领域

本申请属于自动化技术领域，特别是涉及一种售货方法、装置、售货柜及介质。

背景技术

自动售货柜可以进行无人售货。自动售货柜在无人售货过程中需要能够识别出顾客取走的商品，然后对商品进行结算。

目前自动售货柜可以采用摄像头对顾客取走的商品进行识别。但是摄像头容易被遮挡，可能造成自动售货柜对取走的商品识别不准确。根据不准确的识别结果进行结算，会造成商家或者顾客的损失，不利于自动售货柜的使用。

发明内容

有鉴于此，本申请实施例提供了一种售货方法、装置、售货柜及介质，采用该方法可以结合传感数据和摄像数据对顾客取走的待结算商品进行准确地识别，从而确保对商品的正确结算，保障商家和顾客的利益。

本申请实施例的第一方面提供了一种售货方法，应用于售货柜，所述方法包括：

获取所述售货柜上的多个传感器中的传感数据，每个所述传感数据具有对应的时间信息；

根据所述时间信息，对所述传感数据进行融合，得到融合传感数据；

获取所述售货柜上的多个摄像装置的摄像数据；

将所述摄像数据投影到同一世界坐标下，得到融合摄像数据；

基于所述融合摄像数据和所述融合传感数据，确定顾客从所述售货柜中取走的待付款商品；

对所述待付款商品进行结算。

本申请实施例的第二方面提供了一种售货装置，应用于售货柜，所述装置包括：

传感数据获取模块，用于获取所述售货柜上的多个传感器中的传感数据，每个所述传感数据具有对应的时间信息；

传感数据融合模块，用于根据所述时间信息，对所述传感数据进行融合，得到融合传感数据；

摄像数据获取模块，用于获取所述售货柜上的多个摄像装置的摄像数据；

摄像数据融合模块，用于将所述摄像数据投影到同一世界坐标下，得到融合摄像数据；

待付款商品确定模块，用于基于所述融合摄像数据和所述融合传感数据，确定顾客从所述售货柜中取走的待付款商品；

结算模块，用于对所述待付款商品进行结算。

本申请实施例的第三方面提供了一种售货柜，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在售货柜上运行时，使得所述售货柜执行上述第一方面所述的方法。

与现有技术相比，本申请实施例包括以下优点：

本申请实施例中，售货柜可以采集到售货柜从打开到关闭期间的多个摄像数据和多个传感数据，分别对多个传感数据和多个摄像数据进行融合，得到融合传感数据和融合摄像数据；结合融合传感数据和融合摄像数据对顾客从售货柜中取出的待付款商品进行识别，再根据识别结果对待付款商品进行结算，完成自动售货过程。在本申请实施例中，进行待付款商品的识别时，对多个摄像装置摄像数据和多个传感器的传感数据进行了融合，不用的数据之间可以相互佐证和相互补充，从而使得待付款商品的识别结果更为准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种售货方法的步骤流程示意图；

图2是本申请实施例提供的一种售货柜的结构示意图；

图3是本申请实施例提供的一种售货方法的示意图；

图4是本申请实施例提供的一种售货装置的结构示意图；

图5是本申请实施例提供的另一种售货柜的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“实施例提供”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在实施例提供中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

下面通过具体实施例来说明本申请的技术方案。

参照图1，示出了本申请实施例提供的一种数据处理方法的步骤流程示意图，具体可以包括如下步骤：

S101，获取所述售货柜上的多个传感器中的传感数据，每个所述传感数据具有对应的时间信息。

本实施例的执行主体为售货柜，具体可以由售货柜中的处理器或控制模块执行本实施例中的方法。

售货柜可以包括一个或一个以上的柜体，每个柜体可以包括一个或一个以上的货架，每个柜体包含两个或两个以上的传感器。例如，传感器类型可以包括光栅传感器、重力传感器以及重量传感器等。光栅传感器指采用光栅叠栅条纹原理测量位移的传感器，可以用来采集商品的位移数据；重力传感器可以采集重力变化数据，基于重力变化数据可以分析商品的振动、倾斜或者姿态；重量传感器可以采集售货柜中商品的重量信息。

本实施例中的售货柜，可以直接用来进行商品售卖，比如售货柜可以放在指定位置，顾客可以通过人脸识别或者扫码的方式打开该售货柜，当顾客关闭该售货柜时，售货柜可以基于人脸识别等方式直接从顾客的账户中扣除购买商品的费用。售货柜也可以用在无人商店中，售货柜可以识别客户从售货柜中取走的商品，然后将结算信息发送至无人商店的结算系统中进行结算。

具体地，用户可以通过扫码或者人脸识别等方式打开售货柜的柜门。当售货柜的柜门打开时，售货柜上的多个传感器可以采集传感数据，传感器在采集数据的同时可以获取时钟信息，从而确定出传感数据对应的时间信息；当用户关闭柜门时，售货柜上的多个传感器可以停止采集传感数据。

各个传感器采集到的传感数据可以上传到指定位置或存储到数据库中，售货柜中的处理器可以从指定位置或者数据库中获取到售货柜的柜门打开到关闭期间的多个传感数据，也就是获取顾客购物过程中的多个传感数据。

S102，根据所述时间信息，对所述传感数据进行融合，得到融合传感数据。

具体地，可以建立从售货柜被打开到售货柜被关闭的时间轴；基于每个传感数据的时间信息，可以将传感数据标注到时间轴上，实现对传感数据的时钟同步，从而得到融合传感数据。

融合传感数据中结合了多个传感器的数据，可以相互验证和相互补充，从而使得融合传感数据的数据信息更为准确和广泛。

S103，获取所述售货柜上的多个摄像装置的摄像数据。

具体地，售货柜上可以包括多个摄像装置，比如普通光学摄像头、结构光摄像头和红外摄像头。普通光学摄像头可以用来采集售货柜中商品的二维视频；结构光摄像头可以采集到三维数据；红外摄像头可以在黑暗环境下采集到视频信息。此外，摄像头也可以不安装到售货柜上，而是安装到其他方便拍摄商品的位置。

当售货柜识别到柜门被关上时，可以获取在售货柜的柜门从打开到关闭的时间内各个摄像头采集的摄像数据，摄像数据为视频数据。

S104，将所述摄像数据投影到同一世界坐标下，得到融合摄像数据。

可以基于普通光学摄像头的摄像数据和红外摄像头的摄像数据，得到二维摄像数据；基于结构光摄像头的摄像数据，得到三维摄像数据；然后将二维摄像数据和三维摄像数据投影到同一世界坐标系下，得到全景点云数据；将全景点云数据作为融合摄像数据。

具体地，可以采用张正友标定法对摄像头进行标定得到图像坐标，然后确定摄像头的内参和外参。内参反映相机坐标系和图像坐标系的转换关系，外参指相机坐标系和世界坐标系之间的变换矩阵，因此每个摄像头的图像坐标可以通过内参转换到相机坐标系下的坐标，再通过外参转换到世界坐标系下的坐标。将多个摄像数据分别转换到统一坐标系下，可以形成2D和3D融合的摄像数据。融合摄像数据中可以包括每个摄像头的数据，从而能够包含更多的柜门打开到关闭之间的商品信息，便于对顾客取走的商品进行识别。

S105，基于所述融合摄像数据和所述融合传感数据，确定顾客从所述售货柜中取走的待付款商品。

可以分别根据融合摄像数据和融合传感数据得到对应的两个识别结果，然后基于两个识别结果确定待付款商品。

具体地，可以对所述融合摄像数据进行目标检测和目标跟踪，得到第一识别结果，所述第一识别结果中包括第一商品种类和第一商品数量。融合摄像数据为视频数据，因此可以采用目标检测算法和目标根据算法进行目标跟踪和目标检测，从而确定出视频中多个商品的轨迹，基于多个商品的轨迹，可以确定出被顾客从售货柜中去除的商品的种类和数量。例如，可以采用CASCADE-RCNN算法对2D和3D点云数据进行检测，结合孪生神经网络进行目标跟踪，得到待付款商品种类以及数量。

具体地，可以采用支持向量机算法对所述融合传感数据进行回归分析，得到第二初步识别结果；然后对所述第二初步识别结果进行贝叶斯分析，得到第二识别结果。

之后可以采用卡尔曼滤波和非线性优化算法，对所述第一识别结果和所述第二识别结果进行融合，得到所述待付款商品。卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。结合卡尔曼滤波和非线性优化算法，可以去除掉识别结果中的噪音，得到准确的识别结果。

S106，对所述待付款商品进行结算。

根据待付款商品的种类，售货柜可以从数据库中查找到对应的单价，然后采用待付款商品的单价和数量，计算出顾客的应付款信息，基于应付款信息，完成对待付款商品的结算。

在进行结算时，可以向顾客展示应付款信息，然后提供多种付款渠道以供顾客选择；另外，还可以直接根据顾客的人脸识别信息从顾客的账户中扣除掉应付款金额。

在一种可能的实现方式中，售货柜可以包括多个柜门，每个柜门用于一个顾客进行购物；当售货柜识别到顾客的购物请求时，可以检测售货柜是否有关闭的柜门；若售货柜又关闭的柜门，则可以打开该柜门并通知顾客到该柜门进行购物。每当有柜门关闭时，售货柜可以基于本实施例中的步骤分别确定出每个柜门对应的待付款商品的种类和数量，从而按照柜门进行结算。当售货柜有多个柜门时，可以同时满足多个顾客的购物需求，增加了售货柜的空间利用率，有利于售货柜得到更多的销售额。

在本实施例中，在确定顾客从售货柜取出的待付款商品时，采用了两次融合。第一次融合是将多个摄像数据进行融合以及将多个传感数据进行融合。第一次数据融合可以实现数据之间的相互补充和相互验证，从而能够使得数据中包含信息的准确率升高，信息密度升高，便于进行识别。第二次融合是对识别结果的融合，将第一识别结果的商品种类和数量以及第二识别结果中的商品种类和数量进行融合，使得传感数据和摄像数据可以相互补充和验证，从而得到更精确的识别结果。

另外，本实施例中，包括多个传感器和多个摄像装置，很难同时遮挡所有的传感器或者摄像装置，能够确保售货柜在售货过程中采集到数据。对于摄像数据的融合以及对于传感数据的融合，避免了每条数据处理一次，降低了计算成本。

需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图2是本申请实施例提供的一种售货柜的结构示意图，如图2所示，所述售货柜包括控制模块、锁、电源、通信模块、计算模块、云端计算中心和结算模块。控制模块与锁、电源、通信模块以及柜体相连；通信模块与云端计算中心、计算模块以及控制模块相连；柜体与控制模块、计算模块相连；结算模块与云端计算中心相连。

控制模块可以控制售货柜的柜门打开。控制模块可以接收扫码信息和人脸识别信息，当识别到有顾客需要进行购物时，可以通过控制售货柜的锁来控制售货柜的一个柜门打开。控制模块还可以用于对售货柜进行启动，控制模块可以通过对电源的控制，来控制售货柜是否启动。当售货柜启动后，售货柜才可以用于购物。

计算模块，用于进行数据前融合，数据前融合为根据多个摄像头的摄像数据得到融合摄像数据；数据前融合还可以为根据多个传感器的传感数据得到融合传感数据。

通信模块，用于将数据模块与云端计算中心进行通信；还用于计算模块与云端计算中心进行通信。

云端计算中心可以包括视频识别模块，视频识别模块可以根据融合摄像数据确定待付款商品的第一识别结果；云端计算中心还可以包括重力、光栅处理模块，重力、光栅处理模块用于根据融合传感数据得到待付款商品的第二识别结果；云端计算中心还包括数据融合模块，数据融合模块用于根据司仪识别把结果的第二识别结果得到最终的待付款商品的种类和数量。

结算模块，用于根据待付款商品的种类和数量，确定待付款金额，基于待付款金额，进行结算。

售货柜可以包括多个柜体，每个柜体均包括摄像头、重力传感器和光栅，每个柜体可以为一个顾客提供购物服务。在一种可能的实现方式中，售货柜在进行收货时，可以对售货柜中多个柜体的摄像数据及传感数据进行汇总，然后从多个柜体的摄像数据及传感数据中确定出包括目标柜体的摄像数据和传感数据。再基于多个柜体的摄像数据及传感数据采用本申请中的方法对待付款商品进行识别。以此，可以覆盖更多的待付款商品的信息，从而提高识别的准确率。图2中的售货柜可以根据图3中的方法进行售货。图3是本申请实施例提供的一种售货方法的示意图。如图3所示，当售货柜投入使用时，控制模块与计算模块均开启，从一个或多个光学摄像头、结构光摄像头、红外摄像头、光栅传感器、重力传感器持续地获取采集到的数据和时钟，然后将获取到的所有数据传送至控制模块与计算模块。售货柜在控制模块与计算模块对所获取的传感器数据进行时钟同步。采用张正友标定法对摄像头进行标定，对重力传感器和光栅传感器进行内参和外参的标定。基于摄像头内外参将摄像头数据投影到同一个世界坐标系下，形成全景点云数据，进行前融合。通过通信模块将数据传输到云端算力中心。基于CASCADE-RCNN算法对2D和3D点云数据进行检测，结合孪生神经网络进行目标跟踪，得到种类以及数量的第一识别结果。基于SVM算法对其他传感器数据进行回归，得到数量和种类的第二结果，并用贝叶斯分析将其精确化。基于卡尔曼滤波和非线性优化对第一识别结果和第二识别结果进行后融合，相较于单类传感器系统增加其算法鲁棒性。将融合后的结果与云数据库进行比对结算。

在本实施例中，融合了多个传感数据以及多个摄像数据来确定待付款商品的识别结果，可以使得售货柜的识别更为准确，从而确保对待付款商品的准确识别，保障商家和顾客的利益，也有利于售货柜的推广使用。

参照图4，示出了本申请实施例提供的一种售货装置的示意图，具体可以包括传感数据获取模块41、传感数据融合模块42、摄像数据获取模块43、像数据融合模块44、待付款商品确定模块45和结算模块46，其中：

传感数据获取模块41，用于获取售货柜上的多个传感器中的传感数据，每个传感数据具有对应的时间信息；

传感数据融合模块42，用于根据时间信息，对传感数据进行融合，得到融合传感数据；

摄像数据获取模块43，用于获取售货柜上的多个摄像装置的摄像数据；

摄像数据融合模块44，用于将摄像数据投影到同一世界坐标下，得到融合摄像数据；

待付款商品确定模块45，用于基于融合摄像数据和融合传感数据，确定顾客从售货柜中取走的待付款商品；

结算模块46，用于对待付款商品进行结算。

在一种可能的实现方式中，上述传感数据融合模块42包括：

建立子模块，用于建立从所述售货柜被打开到所述售货柜被关闭的时间轴；

融合子模块，用于根据所述时间信息，将每个所述传感数据标注到所述时间轴上，得到融合传感数据。

在一种可能的实现方式中，所述摄像装置包括普通光学摄像头、结构光摄像头和红外摄像头，所述摄像数据融合模块44包括：

二维摄像数据确定子模块，用于基于所述普通光学摄像头的摄像数据和所述红外摄像头的摄像数据，得到二维摄像数据；

三维摄像数据确定子模块，用于基于所述结构光摄像头的摄像数据，得到三维摄像数据；

投影子模块，用于将所述二维摄像数据和所述三维摄像数据投影到同一世界坐标系下，得到全景点云数据；

确定子模块，用于将所述全景点云数据作为所述融合摄像数据。

在一种可能的实现方式中，待付款商品确定模块45包括：

第一识别结果获取子模块，用于对所述融合摄像数据进行目标检测和目标跟踪，得到第一识别结果，所述第一识别结果中包括第一商品种类和第一商品数量；

第二初步识别结果获取子模块，用于采用支持向量机算法对所述融合传感数据进行回归分析，得到第二初步识别结果；

第二识别结果获取子模块，用于对所述第二初步识别结果进行贝叶斯分析，得到第二识别结果；

待付款商品确定子模块，用于基于所述第一识别结果和所述第二识别结果，确定所述待付款商品。

在一种可能的实现方式中，上述待付款商品确定子模块包括：

结果融合单元，采用卡尔曼滤波和非线性优化算法，对所述第一识别结果和所述第二识别结果进行融合，得到所述待付款商品。

在一种可能的实现方式中，上述装置还包括：

启动模块，用于当识别到所述售货柜的柜门打开时，启动所述摄像装置采集所述摄像数据，并启动所述传感器采集所述传感数据。

在一种可能的实现方式中，所述售货柜包括多个柜门，每个所述柜门用于一个顾客进入所述售货柜进行购物，所述装置还包括：

分别结算模块，用于当所述售货柜中有多个顾客购物时，对每个所述柜门进入的顾客的待付款商品分别进行结算。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。

图5为本申请实施例提供的另一种售货柜的结构示意图。如图5所示，该实施例的售货柜5包括：至少一个处理器50(图5中仅示出一个)处理器、存储器51以及存储在存储器51中并可在至少一个处理器50上运行的计算机程序52，处理器50执行计算机程序52时实现上述任意各个方法实施例中的步骤。

售货柜5可以是桌上型计算机、笔记本、掌上电脑及云端售货柜等售货柜。该售货柜可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是售货柜5的举例，并不构成对售货柜5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器51在一些实施例中可以是售货柜5的内部存储单元，例如售货柜5的硬盘或内存。存储器51在另一些实施例中也可以是售货柜5的外部存储设备，例如售货柜5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器51还可以既包括售货柜5的内部存储单元也包括外部存储设备。存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在售货柜上运行时，使得售货柜执行时实现可实现上述各个方法实施例中的步骤。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/售货柜的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/售货柜和方法，可以通过其它的方式实现。例如，以上所描述的装置/售货柜实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种售货方法，其特征在于，应用于售货柜，所述方法包括：

获取所述售货柜上的多个传感器中的传感数据，每个所述传感数据具有对应的时间信息，所述传感器数据包括商品的位移数据、商品的重力变化数据、售货柜中商品的重量信息；

根据所述时间信息，对所述传感数据进行融合，得到融合传感数据；

获取所述售货柜上的多个摄像装置的摄像数据；

将所述摄像数据投影到同一世界坐标下，得到融合摄像数据；

基于所述融合摄像数据和所述融合传感数据，确定顾客从所述售货柜中取走的待付款商品；

对所述待付款商品进行结算；

所述摄像装置包括普通光学摄像头、结构光摄像头和红外摄像头，所述将所述摄像数据投影到同一世界坐标下，得到融合摄像数据，包括：

基于所述普通光学摄像头的摄像数据和所述红外摄像头的摄像数据，得到二维摄像数据；

基于所述结构光摄像头的摄像数据，得到三维摄像数据；

将所述二维摄像数据和所述三维摄像数据投影到同一世界坐标系下，得到全景点云数据；

将所述全景点云数据作为所述融合摄像数据；

所述基于所述融合摄像数据和所述融合传感数据，确定顾客从所述售货柜中的取走的待付款商品，包括：

对所述融合摄像数据进行目标检测和目标跟踪，得到第一识别结果，所述第一识别结果中包括第一商品种类和第一商品数量；

采用支持向量机算法对所述融合传感数据进行回归分析，得到第二初步识别结果；

对所述第二初步识别结果进行贝叶斯分析，得到第二识别结果，所述第二识别结果包括第二商品种类和第二商品数量；

基于所述第一识别结果和所述第二识别结果，确定所述待付款商品；

其中，采用CASCADE-RCNN算法对二维摄像数据和三维摄像数据点云数据进行检测，根据孪生神经网络进行目标跟踪，得到待付款商品的第一商品种类和第一商品数量；

所述基于所述第一识别结果和所述第二识别结果，确定所述待付款商品，包括：

采用卡尔曼滤波和非线性优化算法，对所述第一识别结果和所述第二识别结果进行融合，得到所述待付款商品。

2.如权利要求1所述的方法，其特征在于，所述根据所述时间信息，对所述传感数据进行融合，得到融合传感数据，包括：

建立从所述售货柜被打开到所述售货柜被关闭的时间轴；

根据所述时间信息，将每个所述传感数据标注到所述时间轴上，得到融合传感数据。

3.如权利要求1或2所述的方法，其特征在于，在获取所述售货柜上的多个传感器中的传感数据之前，所述方法还包括：

当识别到所述售货柜的柜门打开时，启动所述摄像装置采集所述摄像数据，并启动所述传感器采集所述传感数据。

4.如权利要求1所述的方法，其特征在于，所述售货柜包括多个柜门，每个所述柜门用于一个顾客进入所述售货柜进行购物，所述方法还包括：

当所述售货柜中有多个顾客购物时，对每个所述柜门进入的顾客的待付款商品分别进行结算。

5.一种售货装置，其特征在于，应用于售货柜，所述装置包括：

传感数据获取模块，用于获取所述售货柜上的多个传感器中的传感数据，每个所述传感数据具有对应的时间信息，所述传感器数据包括商品的位移数据、商品的重力变化数据、售货柜中商品的重量信息；

传感数据融合模块，用于根据所述时间信息，对所述传感数据进行融合，得到融合传感数据；

摄像数据获取模块，用于获取所述售货柜上的多个摄像装置的摄像数据；

摄像数据融合模块，用于将所述摄像数据投影到同一世界坐标下，得到融合摄像数据；

待付款商品确定模块，用于基于所述融合摄像数据和所述融合传感数据，确定顾客从所述售货柜中取走的待付款商品；

结算模块，用于对所述待付款商品进行结算；

所述摄像装置包括普通光学摄像头、结构光摄像头和红外摄像头，所述摄像数据融合模块包括：

二维摄像数据确定子模块，用于基于所述普通光学摄像头的摄像数据和所述红外摄像头的摄像数据，得到二维摄像数据；

三维摄像数据确定子模块，用于基于所述结构光摄像头的摄像数据，得到三维摄像数据；

投影子模块，用于将所述二维摄像数据和所述三维摄像数据投影到同一世界坐标系下，得到全景点云数据；

确定子模块，用于将所述全景点云数据作为所述融合摄像数据；

所述待付款商品确定模块包括：

第一识别结果获取子模块，用于对所述融合摄像数据进行目标检测和目标跟踪，得到第一识别结果，所述第一识别结果中包括第一商品种类和第一商品数量；

第二初步识别结果获取子模块，用于采用支持向量机算法对所述融合传感数据进行回归分析，得到第二初步识别结果；

第二识别结果获取子模块，用于对所述第二初步识别结果进行贝叶斯分析，得到第二识别结果；

待付款商品确定子模块，用于基于所述第一识别结果和所述第二识别结果，确定所述待付款商品；

所述待付款商品确定子模块包括：

结果融合单元，采用卡尔曼滤波和非线性优化算法，对所述第一识别结果和所述第二识别结果进行融合，得到所述待付款商品；

其中，采用CASCADE-RCNN算法对二维摄像数据和三维摄像数据点云数据进行检测，根据孪生神经网络进行目标跟踪，得到待付款商品的第一商品种类和第一商品数量。

6.一种售货柜，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述的方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的方法。

Images