CN111126110A - 一种商品信息识别方法、结算方法、装置及无人零售系统 - Google Patents
一种商品信息识别方法、结算方法、装置及无人零售系统 Download PDFInfo
- Publication number
- CN111126110A CN111126110A CN201811289011.0A CN201811289011A CN111126110A CN 111126110 A CN111126110 A CN 111126110A CN 201811289011 A CN201811289011 A CN 201811289011A CN 111126110 A CN111126110 A CN 111126110A
- Authority
- CN
- China
- Prior art keywords
- commodity
- determining
- area
- category
- commodities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 135
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims description 94
- 238000003062 neural network model Methods 0.000 claims description 39
- 238000005259 measurement Methods 0.000 claims description 28
- 230000009471 action Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 98
- 239000000047 product Substances 0.000 description 49
- 230000008569 process Effects 0.000 description 41
- 238000012549 training Methods 0.000 description 19
- 238000011176 pooling Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了一种商品信息识别方法、结算方法、装置及无人零售系统。所述商品信息识别方法包括：获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。应用本发明实施例能够实现完善商品信息的类型的目的。
Description
技术领域
本发明涉及计算机视觉领域，特别是涉及一种商品信息识别方法、结算方法、装置及无人零售系统。
背景技术
由于无人零售模式可以节省销售的人工成本，并可以为用户带来购物便利，近几年来，在商品销售领域，无人零售模式获得了快速发展。常见的无人零售模式包括无人售卖机及无人超市等。
无人零售模式的实现过程，可以分为商品信息识别环节和结算环节。具体的，在商品信息识别环节，可以针对用户选择的商品，识别出类别等商品信息；在结算环节，可以根据识别出的商品信息确定结算金额，并对所确定的结算金额进行结算。其中，针对商品信息识别环节，可以采用图像识别技术实现。相关技术中，商品信息识别的具体过程为：对用户所选商品进行拍摄；通过神经网络对拍摄的图像进行识别，确定商品的类别等商品本身的属性信息，从而将所确定的商品本身的属性信息作为后续结算所依赖的商品信息。
但是，由于用户在选购商品时是动态过程，而上述相关技术中商品信息仅包括商品本身的静态的属性信息，因此，用于商品结算的信息类型较为单一，无疑后续会影响到商品结算的准确性。
发明内容
本发明实施例的目的在于提供一种商品信息识别方法、结算方法、装置及无人零售系统，以实现完善商品信息的类型的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种商品信息识别方法，所述方法包括：
获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；
当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；
针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；
针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。
可选的，每一商品的运动轨迹的轨迹节点内容包括：该商品的位置信息；
所述基于该商品的运动轨迹，确定该商品对应的商品选择行为，包括：
基于该商品的运动轨迹所包括的起始位置信息，确定该商品所对应的起始坐标，基于该商品的运动轨迹所包括的终止位置信息，确定该商品所对应的终止坐标，所述起始坐标为所述起始位置信息所对应位置区域中一像素点的坐标，所述终止坐标为所述终止位置信息所对应位置区域中一像素点的坐标；
基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为。
可选的，所述实时画面以预设参考线被划分为近商品区域和远商品区域；
所述基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为，包括：
判断所述起始坐标和所述终止坐标是否同时位于所述近商品区域或所述远商品区域；
当判断结果为否时，确定所述起始坐标和所述终止坐标构成的目标向量；
计算所述目标向量与所述预设参考线的法向量的夹角的余弦值；其中，所述预设参考线的法向量的方向为：由近商品区域到远商品区域或由远商品区域到近商品区域；
基于所计算的余弦值，确定该商品对应的商品选择行为为拿取商品或放回商品。
可选的，所述基于所计算的余弦值，确定该商品对应的商品选择行为为拿取商品或放回商品，包括：
当所述预设参考线的法向量的方向为由近商品区域到远商品区域时，如果所述余弦值大于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值小于0，则确定该商品对应的商品选择行为为放回商品；
当所述预设参考线的法向量的方向为由远商品区域到近商品区域时，如果所述余弦值小于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值大于0，则确定该商品对应的商品选择行为为放回商品。
可选的，每一商品的运动轨迹的轨迹节点内容包括：基于该商品的位置信息所确定的区域图像；
所述针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别，包括：
从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像；
对所述目标区域图像进行商品类别识别，得到该商品的类别。
可选的，所述从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像，包括：
针对所述运动轨迹所包括的每一区域图像，确定该区域图像在预定的各个图像衡量维度下的分值，将所确定出的多个分值进行加权，得到该区域图像的总分值；
在多个总分值中，选择最大的一个总分值，并将所选择的总分值所对应的区域图像作为目标区域图像。
可选的，所述预定的各个图像衡量维度包括：第一图像衡量维度、第二图像衡量维度和第三图像衡量维度中的一个或多个；
其中，所述第一图像衡量维度用于衡量区域图像的尺寸与预定尺寸的匹配程度；所述第二图像衡量维度用于衡量区域图像的曝光度；所述第三图像衡量维度用于衡量区域图像中目标商品的完整度。
可选的，所述对所述目标区域图像进行商品类别识别，得到该商品的类别，包括：
将所述目标区域图像输入至预先训练的神经网络模型，得到该区域图像中商品的特征向量；其中，所述神经网络模型用于获得图像中商品的特征向量；
计算该特征向量与预先注册的各个样本特征向量的余弦相似度，得到多个相似度数值；
将所述多个相似度数值中，最大的相似度数值所对应的样本特征向量作为目标样本特征向量；
在预设的类别对应关系中，确定所述目标样本特征向量对应的商品的类别，并将确定出的类别作为该目标商品的类别；其中，所述预设的类别对应关系用于表征样本特征向量和商品的类别的对应关系。
第二方面，本发明实施例提供了一种结算方法，所述方法包括：
获取各个商品对应的商品信息，其中，所述商品信息包括商品的类别和商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品；
在获取的多个商品信息中，确定所述商品选择行为为拿取商品的多个目标商品信息；
针对所述多个目标商品信息中的每一类别，统计包括该类别的目标商品信息的数量，作为该类别的商品的数量，以及在预设的价格对应关系中，确定该类别的商品的单价，所述预设的价格对应关系用于表征商品的类别和单价的对应关系；
针对所述多个目标商品信息中的每一类别，计算该类别的商品的数量和单价的乘积，得到该类别的商品的总价；
将多个类别的商品的总价求和，得到结算金额，并根据所述结算金额完成结算。
第三方面，本发明实施例提供了一种商品信息识别装置，所述装置包括：
检测模块，用于获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；
追踪模块，用于当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；
第一确定模块，用于针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；
第二确定模块，用于针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。
可选的，每一商品的运动轨迹的轨迹节点内容包括：该商品的位置信息；
所述第一确定模块，包括：
第一确定子模块，用于基于该商品的运动轨迹所包括的起始位置信息，确定该商品所对应的起始坐标，基于该商品的运动轨迹所包括的终止位置信息，确定该商品所对应的终止坐标，所述起始坐标为所述起始位置信息所对应位置区域中一像素点的坐标，所述终止坐标为所述终止位置信息所对应位置区域中一像素点的坐标；
第二确定子模块，用于基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为。
可选的，所述实时画面以预设参考线被划分为近商品区域和远商品区域；
所述第二确定子模块，具体用于：
判断所述起始坐标和所述终止坐标是否同时位于所述近商品区域或所述远商品区域；
当判断结果为否时，确定所述起始坐标和所述终止坐标构成的目标向量；
计算所述目标向量与所述预设参考线的法向量的夹角的余弦值；其中，所述预设参考线的法向量的方向为：由近商品区域到远商品区域或由远商品区域到近商品区域；
基于所计算的余弦值，确定该商品对应的商品选择行为为拿取商品或放回商品。
可选的，所述第二确定子模块，具体用于：
当所述预设参考线的法向量的方向为由近商品区域到远商品区域时，如果所述余弦值大于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值小于0，则确定该商品对应的商品选择行为为放回商品；
当所述预设参考线的法向量的方向为由远商品区域到近商品区域时，如果所述余弦值小于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值大于0，则确定该商品对应的商品选择行为为放回商品。
第四方面，本发明实施例提供了一种结算装置，所述装置包括：
获取模块，用于获取各个商品对应的商品信息，其中，所述商品信息包括商品的类别和商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品；
第一确定模块，用于在获取的多个商品信息中，确定所述商品选择行为为拿取商品的多个目标商品信息；
第二确定模块，用于针对所述多个目标商品信息中的每一类别，统计包括该类别的目标商品信息的数量，作为该类别的商品的数量，以及在预设的价格对应关系中，确定该类别的商品的单价，所述预设的价格对应关系用于表征商品的类别和单价的对应关系；
计算模块，用于针对所述多个目标商品信息中的每一类别，计算该类别的商品的数量和单价的乘积，得到该类别的商品的总价；
结算模块，用于将多个类别的商品的总价求和，得到结算金额，并根据所述结算金额完成结算。
第五方面，本发明实施例提供了一种无人零售系统，所述系统包括：
商品信息识别子系统，用于获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息，并将各个商品对应的商品信息发送给结算子系统；
结算子系统，用于基于接收到的各个商品对应的商品信息，确定结算金额，并完成结算。
本发明实施例所提供的方案中，当检测到预设商品识别区域的实时画面出现商品时，对所述实时画面中出现的各个商品进行位置追踪，得到各个商品的运动轨迹；然后针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为，并将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。本发明实施例所提供的方案，可以采用视觉方法在用户拿取商品的过程中，基于用户选购商品的动态过程，确定商品选择行为和商品的类别，继而确定商品信息。因此，相比于相关技术，本发明实施例所提供的方案可以提供更为完善的商品信息的类型，能够在后续的商品结算过程中，依据所确定的商品选择行为，准确地确定待结算的商品，提高结算的准确性。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种商品信息识别方法的流程示意图；
图2为本发明实施例的基于所计算的余弦值，确定该商品对应的商品选择行为的流程示意图；
图3为本发明实施例所提供的一种商品信息识别装置的结构示意图；
图4为本发明实施例所提供的一种用于商品信息识别的电子设备的结构示意图；
图5为本发明实施例所提供的一种结算方法的流程示意图；
图6为本发明实施例所提供的一种结算装置的结构示意图；
图7为本发明实施例所提供的一种用于结算的电子设备的结构示意图；
图8为本发明实施例所提供的一种无人零售系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现完善商品信息的类型的目的，本发明实施例提供了一种商品信息识别方法、装置及电子设备。在本发明实施例所提供的一种商品信息识别方法的基础上，本发明实施例还提供了一种结算方法、装置及电子设备，以提高商品结算的准确性。另外，本发明实施例还提供了一种无人零售系统，以提高商品结算的准确性。以下对各部分的内容分别进行介绍。
第一方面，本发明实施例提供了一种商品信息识别方法，所述商品信息识别方法的执行主体可以为一种商品信息识别装置。具体的，所述装置可以运行于电子设备中。示例性的，所述电子设备可以为图像采集设备，或者，所述电子设备可以为与图像采集设备相通信的具有计算功能的设备，等等。在具体应用中，所述图像采集设备可以为摄像头或摄像机等等。
如图1所示，本发明实施例所提供的一种商品信息识别方法，可以包括如下步骤：
S101，获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；
在本发明实施例中，可以预先设置一个商品识别区域，所述商品识别区域内并不陈列商品。所述商品识别区域可以位于商品陈列区域至结算区域之间的路径内。比如，针对一个无人零售货柜，可以将该货柜门外30cm内的区域，设置为商品识别区域。或者，针对一个无人超市，可以在商品陈列架至结算设备之间的路径内，任选一个区域作为商品识别区域，等等，这都是合理的。
针对商品识别区域，可以利用图像采集设备实时地采集该区域内的画面。比如，针对上述示例中的无人货柜，可以在该货柜外架设一个框架，在框架的顶端安装一个摄像头，由该摄像头获取该货柜的预设商品识别区域内的实时画面。
在获取到预设商品识别区域的每一帧实时画面后，可以检测所获取的实时画面中是否出现商品。由于所述商品识别区域内并不陈列商品，一旦检测到该商品识别区域的实时画面中出现商品，判定有可能是用户选择了商品需要进行结算，则可以触发后续的步骤。
其中，检测所获取的实时画面中是否出现商品，可以采用图像识别技术来实现。示例性的，所述图像识别技术可以是预先训练的一神经网络模型，所述神经网络模型可以用于识别图像中是否存在商品。
具体的，可以将所获取的实时画面输入所述神经网络模型，得到所述实时画面中各个对象的置信度，所述置信度用于表征对象为商品的概率；当有至少一个置信度大于置信度阈值时，检测到所获取的实时画面中出现商品。其中，所述置信度阈值可以根据经验值设定，比如，所述置信度阈值可以为80％等。
当然，检测所获取的实时画面中是否出现商品的方法不限于以上所述的方式。
S102，当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；
当检测到一帧实时画面中出现商品时，可以确定该帧实时画面中各个商品的位置信息，基于各帧实时画面的各个商品的位置信息，可以对各个商品进行位置追踪，确定每个商品在各帧实时画面中的位置信息。针对每个商品，利用确定出的多个位置信息，可以确定该商品的运动轨迹。其中，每一商品的运动轨迹的轨迹节点内容包括：该商品的位置信息。
需要说明的是，任一商品在一帧实时画面的位置信息用于表征该商品在该帧实时画面中的位置，具体可以是一个或多个像素点的坐标。示例性的，所述位置信息可以为：表征该帧实时画面中包含该商品的检测框的多个像素点的坐标，也可以为：该检测框所包围区域内一预设位置的像素点的坐标，比如该检测框中心的像素点的坐标等等。所述检测框可以为矩形或圆形等。
当然，每一商品的运动轨迹的轨迹节点内容还可以包括：该商品的位置信息对应的时间戳、该商品的位置信息所属实时画面的标识等，其中，所述位置信息对应的时间戳为该位置信息所属实时画面的时间戳。
为了布局清晰以及方案清楚，后续具体说明S102的实施步骤。
S103，针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；
以下，对确定商品对应的商品选择行为的过程和确定商品的类别的过程，分别进行说明。
1)针对商品对应的商品选择行为的确定过程，说明如下：
可以理解的是，每一商品的运动轨迹包含该商品的多个位置信息，因此，可以基于该商品的多个位置信息确定该商品的运动方向，根据运动方向确定商品选择行为，所述商品选择行为包括拿取商品或放回商品。
可选的，所述基于该商品的运动轨迹，确定该商品对应的商品选择行为，可以包括步骤a1和步骤a2：
步骤a1，基于该商品的运动轨迹所包括的起始位置信息，确定该商品所对应的起始坐标，基于该商品的运动轨迹所包括的终止位置信息，确定该商品所对应的终止坐标，所述起始坐标为所述起始位置信息所对应位置区域中一像素点的坐标，所述终止坐标为所述终止位置信息所对应位置区域中一像素点的坐标；
示例性的，如果所述位置信息为表征包含该商品的检测框的多个像素点的坐标，步骤a1可以是，首先从该商品的运动轨迹所包括的起始位置信息中，确定该检测框所包围区域的中心点的坐标，将所确定的坐标，作为该商品所对应的起始坐标；然后从该商品的运动轨迹所包括的终止位置信息中，确定该检测框所包围区域的中心点的坐标，将所确定的坐标作为该商品所对应的终止坐标。
当然，起始坐标和终止坐标，也可以是检测框所包围区域内其他预定位置的像素点的坐标，比如，所述预定位置可以是矩形检测框的左上角、左下角、右上角或右下角等等。需要说明的是，同一商品，所述起始坐标和所述终止坐标属于同一预定位置。
示例性的，如果所述位置信息为检测框所包围区域的中心点的坐标，步骤a1可以是，将该商品的运动轨迹所包括的起始位置信息，作为该商品所对应的起始坐标；将该商品的运动轨迹所包括的终止位置信息，作为该商品所对应的终止坐标。当然，所述位置信息也可以是检测框所包围区域内其他预定位置的像素点的坐标，在此不再赘述。
步骤a2，基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为。
在本发明实施例中，可以将所述实时画面以预设参考线划分为近商品区域和远商品区域。通过判断所述起始坐标、所述终止坐标和所述预设参考线之间的位置关系，可以确定该商品对应的商品选择行为。
可选的，所述基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为，参见图2所示，可以包括以下步骤：
S201，判断所述起始坐标和所述终止坐标是否同时位于所述近商品区域或所述远商品区域，如果否，执行S202；
可以预先确定出所述近商品区域的坐标范围和所述远商品区域的坐标范围，然后判断所述起始坐标和所述终止坐标是否同时位于所述近商品区域，或者，所述起始坐标和所述终止坐标是否同时位于所述远商品区域的坐标范围，如果判断结果为是，则无需执行后续操作，如果判断结果为否，则执行S202。
可以理解的是，如果所述起始坐标和所述终止坐标同时位于所述近商品区域，可能是用户拿取了该商品，但最终又将该商品放回；如果所述起始坐标和所述终止坐标同时位于所述远商品区域，该商品的来源可能并非是所述商品陈列区域；针对上面两种情况的任意一种，都无需对该商品进行结算，因而不必对该商品的商品选择行为进行确定。
S202，确定所述起始坐标和所述终止坐标构成的目标向量；
S203，计算所述目标向量与所述预设参考线的法向量的夹角的余弦值；
其中，所述预设参考线的法向量的方向为：由近商品区域到远商品区域或由远商品区域到近商品区域。计算两个向量的夹角的余弦值，可以利用现有技术实现，在此不进行详细说明。
S204，基于所计算的余弦值，确定该商品对应的商品选择行为为拿取商品或放回商品。
在S204中，根据所述预设参考线的法向量的方向不同，可以采用不同的确定方式：
当所述预设参考线的法向量的方向为由近商品区域到远商品区域时，所对应的确定方式为：
如果所述余弦值大于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值小于0，则确定该商品对应的商品选择行为为放回商品。
可以理解的是，在所述预设参考线的法向量的方向为由近商品区域到远商品区域时，如果所述余弦值大于0，则所述目标向量与所述预设参考线的法向量的夹角为锐角，此时，目标向量和预设参考线的法向量的方向一致，因此，可以确定该商品对应的商品选择行为为拿取商品；反之，如果所述余弦值小于0，则所述目标向量与所述预设参考线的法向量的夹角为钝角，此时，目标向量和预设参考线的法向量的方向相反，因此，可以确定该商品对应的商品选择行为为放回商品。
当所述预设参考线的法向量的方向为由远商品区域到近商品区域时，所对应的确定方式为：
如果所述余弦值小于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值大于0，则确定该商品对应的商品选择行为为放回商品。
可以理解的是，在所述预设参考线的法向量的方向为由远商品区域到近商品区域时，如果所述余弦值小于0，则所述目标向量与所述预设参考线的法向量的夹角为钝角，此时，目标向量和预设参考线的法向量的方向相反，因此，可以确定该商品对应的商品选择行为为拿取商品；反之，如果所述余弦值大于0，则所述目标向量与所述预设参考线的法向量的夹角为锐角，此时，目标向量和预设参考线的法向量的方向一致，因此，可以确定该商品对应的商品选择行为为放回商品。
2)针对商品的类别的确定过程，说明如下：
在本发明实施例中，每一商品的运动轨迹的轨迹节点内容还可以包括：基于该商品的位置信息所确定的区域图像；该区域图像可以是根据包含该商品的检测框的范围内的多个像素点的坐标，从所述实时画面中截取的该商品的图像。
那么，所述针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别，可以包括以下步骤b1和步骤b2：
步骤b1，从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像；
可以从该商品的运动轨迹所包括的多个区域图像中，任意选择一个区域图像作为目标区域图像。
可选的，为了提高后续的商品类别的识别准确性，可以在该商品的运动轨迹所包括的多个区域图像中，选择满足图像要求的一个区域图像作为目标区域图像。其中，所述图像要求可以是清晰度最高或商品的完整度最高等等。
为了布局清晰以及方案清楚，后续具体说明从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像的实施步骤。
步骤b2，对所述目标区域图像进行商品类别识别，得到该商品的类别。
在本发明实施例中，可以利用预定的识别方式，来识别所述目标区域图像中商品的类别。任何一种能够识别所述目标区域图像中商品的类别的实现方式，均可以作为该预定的识别方式。
为了布局清晰以及方案清楚，后续具体说明对所述目标区域图像进行商品类别识别，得到该商品的类别的实施步骤。
S104，针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。
本发明实施例所提供的方案中，当检测到预设商品识别区域的实时画面出现商品时，对所述实时画面中出现的各个商品进行位置追踪，得到各个商品的运动轨迹；然后针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为，并将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。本发明实施例所提供的方案，可以采用视觉方法在用户拿取商品的过程中，基于用户选购商品的动态过程，确定商品选择行为和商品的类别，继而确定商品信息。因此，相比于相关技术，本发明实施例所提供的方案可以提供更为完善的商品信息的类型，能够在后续的商品结算过程中，依据所确定的商品选择行为，准确地确定待结算的商品，提高结算的准确性。
以下，补充介绍几种现有的商品信息识别方法，这些商品信息识别方法识别出的商品信息也均是商品本身的静态的属性信息，比如商品的类别和单价等。相比于这些方法，本发明实施例可以提供更为完善的商品信息的类型。除此之外，相比于这些方法，本发明实施例还具有其他的有益效果，以下以三种现有的商品信息识别方法进行说明，具体的：
第一种商品信息识别方法为：识别RFID标签的方法。该方法需要预先对每个类别的商品设置对应的RFID标签，通过识别商品上的RFID标签，获知该商品的类别或价格等商品信息。由于该方法使用的RFID标签成本较高，并且需要人为进行RFID贴签，导致该方法的成本较高。可见，相比于该方法，本发明实施例可以有效降低成本。
第二种商品信息识别方法为：依靠重力传感器的方法。该方法检测商品的重力，将检测到的重力，根据预设的重力与商品信息的对应关系，确定商品的商品信息，比如，商品的类别等。但是该方法会因为重力需有明显区别而限制可售卖商品的种类。可见，相比于该方法，本发明实施例并不限制商品的种类。
第三种商品信息识别方法为：采用静态视觉技术对商品进行类别识别。该方法可以对关门前后，售货机货架的图像的对比，来判断用户拿取了哪一种商品，从而确定被购买的商品的类别。但是该方案要求商品互相不能堆叠，对商品摆放有严格限制，在商品倾倒时会影响识别效果。可见，相比于该方法，本发明实施例对商品摆放没有限制，鲁棒性强。
以下，详细说明S102确定各个商品的运动轨迹的实施过程，该过程可以包括步骤c1-步骤c4：
步骤c1，针对每一帧实时画面，确定该帧实时画面中，各个商品的位置信息；
在步骤c1中，确定一帧实时画面中各个商品的位置信息，采用的一种实现方式可以是：当S101检测到一帧实时画面中出现商品时，在步骤c1进一步利用图像识别技术对该帧实时画面进行检测，确定该帧实时画面中各个商品的位置信息。
可选的，在S102中，识别出一帧实时画面中各个商品的位置信息的过程，采用的另一种实现方式可以是在S101的实现过程中完成的。具体的，该种实现方式中，S101可以包括以下步骤：
第一步，将所获取的实时画面输入预先训练的神经网络模型，得到所述实时画面中各个对象的置信度和位置信息；
其中，所述位置信息可以为实时画面中，包含一对象的矩形检测框边线上各个像素点的坐标，所述置信度用于表征对象为商品的概率。
所述神经网络模型用于识别画面中，每个对象的位置信息以及置信度。所述神经网络模型是根据样本画面中各个对象的位置信息以及置信度，训练得到的。
该神经网络模型可以基于现有的卷积神经网络结构得到。示例性的，该神经网络模型可以包括11层。从输入到输出依次分别是：数据输入层、第一卷积层、第一池化层、第二卷积层部分、第二池化层、第三卷积层部分、第三池化层、第四卷积层部分、卷积缓冲层、卷积回归层及信息输出层。
其中，第一卷积层的卷积核大小为3x3，第二卷积层部分和第三卷积层部分采用卷积核为1x1-3x3-1x1的bottleneck形式；第四卷积层部分采用卷积核为1x1-3x3-1x1-3x3-1x1的bottleneck形式；第二卷积层部分、第三卷积层部分和第四卷积层部分均含有至少一个卷积层；卷积缓冲层由两个卷积子层组成，每个卷积子层的卷积核大小为3x3；卷积回归层由90个3x3的卷积核组成；各个池化层均采用2倍降采样的采样方式；信息输出层根据卷积回归层输出的数据，进行坐标转换、置信度滤除及非极大值抑制等操作，最终输出各个对象的位置信息和置信度。
第二步，将得到的多个置信度分别与置信度阈值比较，得到比较结果；
第三步，如果比较结果中有至少一个置信度大于置信度阈值，则检测到所获取的实时画面中出现商品，并将大于置信度阈值的目标置信度所对应的位置信息确定为识别出的商品的位置信息。
可见，针对该种实现方式，在S101检测所获取的实时画面中是否出现商品时，可以在检测到出现商品时，得到商品的位置信息。因此，该种实现方式可以简化本发明实施例的实施步骤，提高后续的识别效率。
步骤c2，基于多帧实时画面中各个商品的位置信息，确定所述多帧实时画面中同一商品的各个位置信息；
在本发明实施例中，可以对每相邻两帧实时画面中各个商品的位置信息分别进行比较，确定同一商品在所述两帧实时画面中的位置信息，继而，确定所述多帧实时画面中同一商品的各个位置信息。
为了便于理解，对上述过程举例说明，假设第一帧实时画面中有两个商品C和D，第二帧实时画面中有两个商品E和F。
首先，可以从每个商品的位置信息中，确定该商品的目标坐标，该目标坐标可以为该商品对应的矩形检测框所包围区域的中心点的坐标；
然后，针对第一帧实时画面中的商品C，计算C的目标坐标与第二帧实时画面中各个商品的目标坐标的距离，得到距离dCE及距离dCF，确定dCE和dCF中最小的距离，比如最小的距离为dCF，则确定商品F和商品C是同一商品，从而确定商品C在第二帧实时画面中的位置信息为商品F的位置信息；
同理，针对第一帧实时画面中的商品D，计算D的目标坐标与第二帧实时画面中各个商品的目标坐标的距离，得到距离dDE及距离dDF，确定最小的距离为dDE，则确定商品D和商品E是同一商品，从而确定商品D在第二帧实时画面中的位置信息为商品E的位置信息。
可选的，为了提高同一商品的判断准确性，还可以进一步判断得到的最小的距离dCF是否小于预设距离阈值，如果是，则判定确定商品F和商品C是同一商品；判断得到的最小的距离dDE是否小于预设距离阈值，如果是，则判定确定商品D和商品E是同一商品。
步骤c3，针对每一商品，将该商品的各个位置信息按照预定排列方式进行排列，基于排列后的各个位置信息，确定该商品的运动轨迹。
其中，所述预定排列方式为依据所述各个位置信息对应的时间戳的先后顺序进行排列的方式，任一位置信息对应的时间戳为该位置信息所属实时画面的时间戳。
其中，每一商品的运动轨迹的轨迹节点内容包括：该商品的位置信息，还包括：基于该商品的位置信息所确定的区域图像。
所述从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像的具体实现方式存在多种。下面进行举例介绍。
可选的，所述从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像，可以包括步骤d1和步骤d2：
步骤d1，针对所述运动轨迹所包括的每一区域图像，确定该区域图像在预定的各个图像衡量维度下的分值，将所确定出的多个分值进行加权，得到该区域图像的总分值；
可选的，在本发明实施例中，所述预定的各个图像衡量维度可以包括：第一图像衡量维度、第二图像衡量维度和第三图像衡量维度中的一个或多个。
其中，所述第一图像衡量维度用于衡量区域图像的尺寸与预定尺寸的匹配程度；所述第二图像衡量维度用于衡量区域图像的曝光度；所述第三图像衡量维度用于衡量区域图像中目标商品的完整度。
具体的，针对所述第一图像衡量维度，首先可以计算区域图像的尺寸与预定尺寸的匹配程度，比如匹配程度为50％等，其中，每一商品的运动轨迹的轨迹节点内容可以包括区域图像的尺寸；然后根据计算得到的匹配程度，根据预设的匹配程度与分值的对应关系，得到第一图像衡量维度的分值，匹配程度越高，分值越高。
针对所述第二图像衡量维度，首先可以检测区域图像的曝光度，得到曝光度的数值，然后将得到的曝光度数值与预设的曝光度阈值求取差值，并根据预设的差值与分值的对应关系，得到第二图像衡量维度的分值，差值越小，分值越高。
针对所述第三图像衡量维度，首先可以计算所述区域图像中商品的像素点，在所述区域图像中预设目标区域内的比例，其中，所述预设目标区域可以是所述所述区域图像内，位于中心的一个矩形框；然后根据预设的比例与分值的对应关系，得到第三图像衡量维度的分值，比例越高，分值越高。
每个图像衡量维度有对应的加权系数，可以利用各个图像衡量维度的加权系数，将上述三个图像衡量维度的分值进行加权，得到该区域图像对应的总分值。
步骤d2，在多个总分值中，选择最大的一个总分值，并将所选择的总分值所对应的区域图像作为目标区域图像。
可以理解的是，通过上述图像衡量维度，得到的总分值最大的目标区域图像的图像质量最高，使用该目标区域图像进行商品的类别的识别，可以提高识别的准确性。
所述对所述目标区域图像进行商品类别识别，得到该商品的类别的具体实现方式存在多种。下面进行举例介绍。
可选的，所述对所述目标区域图像进行商品类别识别，得到该商品的类别，可以包括步骤e1-步骤e4：
步骤e1，将所述目标区域图像输入至预先训练的神经网络模型，得到该区域图像中商品的特征向量；
其中，所述神经网络模型用于获得图像中商品的特征向量。所述特征向量表征的图像特征包括但不限于形状、颜色、纹理、文字、条码及尺寸等特征。
所述神经网络模型是根据预先注册的商品的样本图像和样本图像中商品的特征向量，训练得到的。关于所述神经网络模型的训练过程，在后文中进行说明。
步骤e2，计算该特征向量与预先注册的各个样本特征向量的余弦相似度，得到多个相似度数值；
其中，预先注册的样本特征向量是预先注册的商品的样本图像经过所述预先训练的神经网络模型得到的。
计算两个特征向量的余弦相似度的过程，可以采用现有技术实现，在此不做详细说明。
步骤e3，将所述多个相似度数值中，最大的相似度数值所对应的样本特征向量作为目标样本特征向量；
步骤e4，在预设的类别对应关系中，确定所述目标样本特征向量对应的商品的类别，并将确定出的类别作为该目标商品的类别。
其中，所述预设的类别对应关系用于表征样本特征向量和商品的类别的对应关系。
在上述实现步骤中，如果商品类型出现变化，比如有新的商品类型出现，可以对该新的商品进行注册，只需要将该新的商品的区域图像输入至该神经网络模型，得到该新的商品类型对应的特征向量，再将该特征向量与该商品的类型，在所述类别对应关系中进行更新即可，而无需重新训练该神经网络模型，因此，支持的商品类型的数目不受限制，通过更新类别对应关系即可轻松实现商品类别的增减，具有较高的便利性。
以下补充说明所述神经网络模型的训练过程，该神经网络模型的训练过程可以包括以下步骤：
第一步，获取多个商品的样本区域图像及每个样本区域图像对应的商品的类别；
针对每个商品，可以采集不同角度的多张图像作为该商品的样本图像。
其中，确定样本区域图像对应的商品的类别可以由人工完成，也可以利用其他工具自动完成。
第二步，利用所述样本区域图像、所述样本区域图像对应的商品的类别，训练预先构建的初始神经网络模型，得到所述神经网络模型。
其中，所述初始神经网络模型可以为现有的一种神经网络模型。示例性的，该初始神经网络模型可以包括11层。从输入到输出依次分别是：数据输入层、第一卷积层、第一池化层、第二卷积层部分、第二池化层、第三卷积层部分、第三池化层、第四卷积层部分、第四池化层、第五卷积层部分及信息输出层。
其中，第一卷积层的卷积核大小为3x3；第二卷积层部分和第三卷积层部分采用卷积核为1x1-3x3-1x1的bottleneck形式；第四卷积层部分和第五卷积层部分采用卷积核为1x1-3x3-1x1-3x3-1x1的bottleneck形式；第二卷积层部分、第三卷积层部分、第四卷积层部分和第五卷积层部分均含有至少一个卷积层；各个池化层采用2倍降采样的采样方式；特征输出层用于将第五卷积层部分的特征图压缩成特征向量。
关于该步骤的神经网络模型的训练过程具体可以为：
1)将多组训练集输入所述初始神经网络模型，每一组训练集包括一样本区域图像及该样本区域图像对应的商品的类别；并将一组训练集中样本区域图像对应的商品的类别，作为该组训练集对应的所述初始神经网络模型的真值。
2)在(0,1)范围内随机初始化初始神经网络模型中的参数，所述参数包括神经元的连接权重等。
3)将各个训练集通过所述初始神经网络模型的训练，获得对应的训练结果。
4)将训练结果和对应的真值进行比较，得到输出结果；
5)根据输出结果，计算所述初始神经网络模型的损失函数Loss的值；
6)根据所述Loss的值，调整初始神经网络模型的参数，并重新进行3)-6)步骤，直至所述Loss的值达到了一定的收敛条件，也就是所述Loss的值达到最小，这时，确定初始神经网络模型的参数，完成初始神经网络模型的训练，获得训练完成的神经网络模型。
需要说明的是，本申请中的其他神经网络模型的训练过程与该神经网络模型的训练过程是相似的，可以参见该神经网络模型的训练过程进行理解。
第二方面，针对第一方面提出的一种商品信息识别方法，本发明实施例还提出了一种商品信息识别装置，如图3所示，该装置包括：
检测模块301，用于获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；
追踪模块302，用于当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；
第一确定模块303，用于针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；
第二确定模块304，用于针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。
可选的，在本发明实施例中，每一商品的运动轨迹的轨迹节点内容包括：该商品的位置信息；
所述第一确定模块303，包括：
第一确定子模块，用于基于该商品的运动轨迹所包括的起始位置信息，确定该商品所对应的起始坐标，基于该商品的运动轨迹所包括的终止位置信息，确定该商品所对应的终止坐标，所述起始坐标为所述起始位置信息所对应位置区域中一像素点的坐标，所述终止坐标为所述终止位置信息所对应位置区域中一像素点的坐标；
第二确定子模块，用于基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为。
可选的，在本发明实施例中，所述实时画面以预设参考线被划分为近商品区域和远商品区域；
所述第二确定子模块，具体用于：
判断所述起始坐标和所述终止坐标是否同时位于所述近商品区域或所述远商品区域；
当判断结果为否时，确定所述起始坐标和所述终止坐标构成的目标向量；
计算所述目标向量与所述预设参考线的法向量的夹角的余弦值；其中，所述预设参考线的法向量的方向为：由近商品区域到远商品区域或由远商品区域到近商品区域；
基于所计算的余弦值，确定该商品对应的商品选择行为为拿取商品或放回商品。
可选的，在本发明实施例中，所述第二确定子模块，具体用于：
当所述预设参考线的法向量的方向为由近商品区域到远商品区域时，如果所述余弦值大于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值小于0，则确定该商品对应的商品选择行为为放回商品；
当所述预设参考线的法向量的方向为由远商品区域到近商品区域时，如果所述余弦值小于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值大于0，则确定该商品对应的商品选择行为为放回商品。
可选的，在本发明实施例中，每一商品的运动轨迹的轨迹节点内容包括：基于该商品的位置信息所确定的区域图像；
所述第一确定模块303，包括：
第三确定子模块，用于从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像；
第四确定子模块，用于对所述目标区域图像进行商品类别识别，得到该商品的类别。
可选的，在本发明实施例中，所述第三确定子模块，具体用于：
针对所述运动轨迹所包括的每一区域图像，确定该区域图像在预定的各个图像衡量维度下的分值，将所确定出的多个分值进行加权，得到该区域图像的总分值；
在多个总分值中，选择最大的一个总分值，并将所选择的总分值所对应的区域图像作为目标区域图像。
可选的，在本发明实施例中，所述预定的各个图像衡量维度包括：第一图像衡量维度、第二图像衡量维度和第三图像衡量维度中的一个或多个；
其中，所述第一图像衡量维度用于衡量区域图像的尺寸与预定尺寸的匹配程度；所述第二图像衡量维度用于衡量区域图像的曝光度；所述第三图像衡量维度用于衡量区域图像中目标商品的完整度。
可选的，在本发明实施例中，所述第四确定子模块，具体用于：
将所述目标区域图像输入至预先训练的神经网络模型，得到该区域图像中商品的特征向量；其中，所述神经网络模型用于获得图像中商品的特征向量；
计算该特征向量与预先注册的各个样本特征向量的余弦相似度，得到多个相似度数值；
将所述多个相似度数值中，最大的相似度数值所对应的样本特征向量作为目标样本特征向量；
在预设的类别对应关系中，确定所述目标样本特征向量对应的商品的类别，并将确定出的类别作为该目标商品的类别；其中，所述预设的类别对应关系用于表征样本特征向量和商品的类别的对应关系。
本发明实施例所提供的方案中，当检测到预设商品识别区域的实时画面出现商品时，对所述实时画面中出现的各个商品进行位置追踪，得到各个商品的运动轨迹；然后针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为，并将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。本发明实施例所提供的方案，可以采用视觉方法在用户拿取商品的过程中，基于用户选购商品的动态过程，确定商品选择行为和商品的类别，继而确定商品信息。因此，相比于相关技术，本发明实施例所提供的方案可以提供更为完善的商品信息的类型，能够在后续的商品结算过程中，依据所确定的商品选择行为，准确地确定待结算的商品，提高结算的准确性。
第三方面，针对第一方面提出的一种商品信息识别方法，本发明实施例还提出了一种用于商品信息识别的电子设备，如图4所示，所述电子设备可以包括处理器401和存储器402，其中，
所述存储器402，用于存放计算机程序；
所述处理器401，用于执行所述存储器402上所存放的程序时，实现本发明实施例所提供的商品信息识别方法的步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：当检测到预设商品识别区域的实时画面出现商品时，对所述实时画面中出现的各个商品进行位置追踪，得到各个商品的运动轨迹；然后针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为，并将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。本发明实施例所提供的方案，可以采用视觉方法在用户拿取商品的过程中，基于用户选购商品的动态过程，确定商品选择行为和商品的类别，继而确定商品信息。因此，相比于相关技术，本发明实施例所提供的方案可以提供更为完善的商品信息的类型，能够在后续的商品结算过程中，依据所确定的商品选择行为，准确地确定待结算的商品，提高结算的准确性。
第四方面，针对第一方面提出的一种商品信息识别方法，本发明实施例还提供了一种用于商品信息识别的计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例所提供的商品信息识别方法的步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的商品信息识别方法的应用程序，因此能够实现：当检测到预设商品识别区域的实时画面出现商品时，对所述实时画面中出现的各个商品进行位置追踪，得到各个商品的运动轨迹；然后针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为，并将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。本发明实施例所提供的方案，可以采用视觉方法在用户拿取商品的过程中，基于用户选购商品的动态过程，确定商品选择行为和商品的类别，继而确定商品信息。因此，相比于相关技术，本发明实施例所提供的方案可以提供更为完善的商品信息的类型，能够在后续的商品结算过程中，依据所确定的商品选择行为，准确地确定待结算的商品，提高结算的准确性。
第五方面，本发明实施例提供了一种结算方法，所述结算方法的执行主体可以为一种结算装置。具体的，所述装置可以运行于电子设备中。示例性的，所述电子设备可以为POS(point of sale，销售终端)机等等。
如图5所示，本发明实施例所提供的一种结算方法，可以包括如下步骤：
S501，获取各个商品对应的商品信息；
其中，所述商品信息包括商品的类别和商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品。
其中，关于商品信息的详细内容，可以参见第一方面所述的商品信息识别方法中的具体内容。
S502，在获取的多个商品信息中，确定所述商品选择行为为拿取商品的多个目标商品信息；
S503，针对所述多个目标商品信息中的每一类别，统计包括该类别的目标商品信息的数量，作为该类别的商品的数量，以及在预设的价格对应关系中，确定该类别的商品的单价，所述预设的价格对应关系用于表征商品的类别和单价的对应关系；
S504，针对所述多个目标商品信息中的每一类别，计算该类别的商品的数量和单价的乘积，得到该类别的商品的总价；
S505，将多个类别的商品的总价求和，得到结算金额，并根据所述结算金额完成结算。
为了便于理解S501-S505的实施过程，对上述过程举例说明：
假设获取到四个商品对应的商品信息，四个商品分别是商品1、商品2、商品3和商品4；
在商品1-商品4的商品信息中，确定所述商品选择行为为拿取商品的多个目标商品信息，分别为商品1-商品3的商品信息。其中，商品1的类别为X，商品2的类别为Y，商品3的类别为X；
针对类别X，统计得到该类别的数量为2，并且在预设的价格对应关系中，确定类别X的商品的单价为2元，则可以得到类别X的商品的总价为2×2＝4元；
针对类别Y，统计得到该类别的数量为1，并且在预设的价格对应关系中，确定类别Y的商品的单价为3元，则可以得到类别Y的商品的总价为1×3＝3元；
将类别X和类别Y的商品的总价求和，得到结算金额为3+4＝7元；然后，可以在POS机上显示该结算金额7元，并接收用户在该POS机上支付的该结算金额。
本发明实施例所提供的方案中，所获取的商品信息包括商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品。相比于相关技术，本发明实施例所提供的方案中，用于结算的商品信息的类型较完善，因此，在结算时，可以基于所述商品选择行为为拿取商品的多个目标商品信息，确定准确的结算金额实现结算。
第六方面，针对第五方面提出的一种结算方法，本发明实施例还提出了一种结算装置，如图6所示，该装置包括：
获取模块601，用于获取各个商品对应的商品信息，其中，所述商品信息包括商品的类别和商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品；
第一确定模块602，用于在获取的多个商品信息中，确定所述商品选择行为为拿取商品的多个目标商品信息；
第二确定模块603，用于针对所述多个目标商品信息中的每一类别，统计包括该类别的目标商品信息的数量，作为该类别的商品的数量，以及在预设的价格对应关系中，确定该类别的商品的单价，所述预设的价格对应关系用于表征商品的类别和单价的对应关系；
计算模块604，用于针对所述多个目标商品信息中的每一类别，计算该类别的商品的数量和单价的乘积，得到该类别的商品的总价；
结算模块605，用于将多个类别的商品的总价求和，得到结算金额，并根据所述结算金额完成结算。
本发明实施例所提供的方案中，所获取的商品信息包括商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品。相比于相关技术，本发明实施例所提供的方案中，用于结算的商品信息的类型较完善，因此，在结算时，可以基于所述商品选择行为为拿取商品的多个目标商品信息，确定准确的结算金额实现结算。
第七方面，针对第五方面提出的一种结算方法，本发明实施例还提出了一种用于结算的电子设备，如图7所示，所述电子设备可以包括处理器701和存储器702，其中，
所述存储器702，用于存放计算机程序；
所述处理器701，用于执行所述存储器702上所存放的程序时，实现本发明实施例所提供的结算方法的步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：所获取的商品信息包括商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品。相比于相关技术，本发明实施例所提供的方案中，用于结算的商品信息的类型较完善，因此，在结算时，可以基于所述商品选择行为为拿取商品的多个目标商品信息，确定准确的结算金额实现结算。
第八方面，针对第五方面提出的一种结算方法，本发明实施例还提供了一种用于结算的计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例所提供的结算方法的步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的结算方法的应用程序，因此能够实现：所获取的商品信息包括商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品。相比于相关技术，本发明实施例所提供的方案中，用于结算的商品信息的类型较完善，因此，在结算时，可以基于所述商品选择行为为拿取商品的多个目标商品信息，确定准确的结算金额实现结算。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
第九方面，针对第一方面提出的一种商品信息识别方法和第五方面提出的一种结算方法，本发明实施例还提供了一种无人零售系统800，所述系统包括：
商品信息识别子系统810，用于获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息，并将各个商品对应的商品信息发送给结算子系统；
结算子系统820，用于基于接收到的各个商品对应的商品信息，确定结算金额，并完成结算。
其中，所述商品信息识别子系统810的处理过程，可以参见第一方面所述的一种商品信息识别方法的具体步骤，在此不再赘述。
所述结算子系统820的处理过程，可以参见第二方面所述的一种结算方法的具体步骤，在此不再赘述。
本发明实施例所提供的方案中，所述商品信息识别子系统可以采用视觉方法在用户拿取商品的过程中，基于用户选购商品的动态过程，确定商品选择行为和商品的类别，继而确定商品信息。因此，相比于相关技术，本发明实施例所提供的方案可以提供更为完善的商品信息的类型，而所述结算子系统在接收到所述商品信息识别子系统发送的多个商品信息后，可以确定所述商品选择行为为拿取商品的多个目标商品信息，并基于所述多个目标商品信息，确定准确的结算金额实现结算。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (15)
1.一种商品信息识别方法，其特征在于，包括：
获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；
当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；
针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；
针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。
2.根据权利要求1所述的方法，其特征在于，每一商品的运动轨迹的轨迹节点内容包括：该商品的位置信息；
所述基于该商品的运动轨迹，确定该商品对应的商品选择行为，包括：
基于该商品的运动轨迹所包括的起始位置信息，确定该商品所对应的起始坐标，基于该商品的运动轨迹所包括的终止位置信息，确定该商品所对应的终止坐标，所述起始坐标为所述起始位置信息所对应位置区域中一像素点的坐标，所述终止坐标为所述终止位置信息所对应位置区域中一像素点的坐标；
基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为。
3.根据权利要求2所述的方法，其特征在于，所述实时画面以预设参考线被划分为近商品区域和远商品区域；
所述基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为，包括：
判断所述起始坐标和所述终止坐标是否同时位于所述近商品区域或所述远商品区域；
当判断结果为否时，确定所述起始坐标和所述终止坐标构成的目标向量；
计算所述目标向量与所述预设参考线的法向量的夹角的余弦值；其中，所述预设参考线的法向量的方向为：由近商品区域到远商品区域或由远商品区域到近商品区域；
基于所计算的余弦值，确定该商品对应的商品选择行为为拿取商品或放回商品。
4.根据权利要求3所述的方法，其特征在于，所述基于所计算的余弦值，确定该商品对应的商品选择行为为拿取商品或放回商品，包括：
当所述预设参考线的法向量的方向为由近商品区域到远商品区域时，如果所述余弦值大于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值小于0，则确定该商品对应的商品选择行为为放回商品；
当所述预设参考线的法向量的方向为由远商品区域到近商品区域时，如果所述余弦值小于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值大于0，则确定该商品对应的商品选择行为为放回商品。
5.根据权利要求1所述的方法，其特征在于，每一商品的运动轨迹的轨迹节点内容包括：基于该商品的位置信息所确定的区域图像；
所述针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别，包括：
从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像；
对所述目标区域图像进行商品类别识别，得到该商品的类别。
6.根据权利要求5所述的方法，其特征在于，所述从该商品的运动轨迹所包括的多个区域图像中，选择一个区域图像作为目标区域图像，包括：
针对所述运动轨迹所包括的每一区域图像，确定该区域图像在预定的各个图像衡量维度下的分值，将所确定出的多个分值进行加权，得到该区域图像的总分值；
在多个总分值中，选择最大的一个总分值，并将所选择的总分值所对应的区域图像作为目标区域图像。
7.根据权利要求6所述的方法，其特征在于，所述预定的各个图像衡量维度包括：第一图像衡量维度、第二图像衡量维度和第三图像衡量维度中的一个或多个；
其中，所述第一图像衡量维度用于衡量区域图像的尺寸与预定尺寸的匹配程度；所述第二图像衡量维度用于衡量区域图像的曝光度；所述第三图像衡量维度用于衡量区域图像中目标商品的完整度。
8.根据权利要求5所述的方法，其特征在于，所述对所述目标区域图像进行商品类别识别，得到该商品的类别，包括：
将所述目标区域图像输入至预先训练的神经网络模型，得到该区域图像中商品的特征向量；其中，所述神经网络模型用于获得图像中商品的特征向量；
计算该特征向量与预先注册的各个样本特征向量的余弦相似度，得到多个相似度数值；
将所述多个相似度数值中，最大的相似度数值所对应的样本特征向量作为目标样本特征向量；
在预设的类别对应关系中，确定所述目标样本特征向量对应的商品的类别，并将确定出的类别作为该目标商品的类别；其中，所述预设的类别对应关系用于表征样本特征向量和商品的类别的对应关系。
9.一种结算方法，其特征在于，包括：
获取各个商品对应的商品信息，其中，所述商品信息包括商品的类别和商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品；
在获取的多个商品信息中，确定所述商品选择行为为拿取商品的多个目标商品信息；
针对所述多个目标商品信息中的每一类别，统计包括该类别的目标商品信息的数量，作为该类别的商品的数量，以及在预设的价格对应关系中，确定该类别的商品的单价，所述预设的价格对应关系用于表征商品的类别和单价的对应关系；
针对所述多个目标商品信息中的每一类别，计算该类别的商品的数量和单价的乘积，得到该类别的商品的总价；
将多个类别的商品的总价求和，得到结算金额，并根据所述结算金额完成结算。
10.一种商品信息识别装置，其特征在于，包括：
检测模块，用于获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；
追踪模块，用于当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；
第一确定模块，用于针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；
第二确定模块，用于针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息。
11.根据权利要求10所述的装置，其特征在于，每一商品的运动轨迹的轨迹节点内容包括：该商品的位置信息；
所述第一确定模块，包括：
第一确定子模块，用于基于该商品的运动轨迹所包括的起始位置信息，确定该商品所对应的起始坐标，基于该商品的运动轨迹所包括的终止位置信息，确定该商品所对应的终止坐标，所述起始坐标为所述起始位置信息所对应位置区域中一像素点的坐标，所述终止坐标为所述终止位置信息所对应位置区域中一像素点的坐标；
第二确定子模块，用于基于所述起始坐标和所述终止坐标，确定该商品对应的商品选择行为。
12.根据权利要求11所述的装置，其特征在于，所述实时画面以预设参考线被划分为近商品区域和远商品区域；
所述第二确定子模块，具体用于：
判断所述起始坐标和所述终止坐标是否同时位于所述近商品区域或所述远商品区域；
当判断结果为否时，确定所述起始坐标和所述终止坐标构成的目标向量；
计算所述目标向量与所述预设参考线的法向量的夹角的余弦值；其中，所述预设参考线的法向量的方向为：由近商品区域到远商品区域或由远商品区域到近商品区域；
基于所计算的余弦值，确定该商品对应的商品选择行为为拿取商品或放回商品。
13.根据权利要求12所述的装置，其特征在于，所述第二确定子模块，具体用于：
当所述预设参考线的法向量的方向为由近商品区域到远商品区域时，如果所述余弦值大于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值小于0，则确定该商品对应的商品选择行为为放回商品；
当所述预设参考线的法向量的方向为由远商品区域到近商品区域时，如果所述余弦值小于0，则确定该商品对应的商品选择行为为拿取商品，如果所述余弦值大于0，则确定该商品对应的商品选择行为为放回商品。
14.一种结算装置，其特征在于，包括：
获取模块，用于获取各个商品对应的商品信息，其中，所述商品信息包括商品的类别和商品对应的商品选择行为；所述商品选择行为包括拿取商品或放回商品；
第一确定模块，用于在获取的多个商品信息中，确定所述商品选择行为为拿取商品的多个目标商品信息；
第二确定模块，用于针对所述多个目标商品信息中的每一类别，统计包括该类别的目标商品信息的数量，作为该类别的商品的数量，以及在预设的价格对应关系中，确定该类别的商品的单价，所述预设的价格对应关系用于表征商品的类别和单价的对应关系；
计算模块，用于针对所述多个目标商品信息中的每一类别，计算该类别的商品的数量和单价的乘积，得到该类别的商品的总价；
结算模块，用于将多个类别的商品的总价求和，得到结算金额，并根据所述结算金额完成结算。
15.一种无人零售系统，其特征在于，包括：
商品信息识别子系统，用于获取针对预设商品识别区域的实时画面，并检测所获取的实时画面中是否出现商品；当检测结果为是时，对所述实时画面中出现的各个商品进行位置追踪，得到所述各个商品的运动轨迹；针对所述各个商品中的每一商品，基于该商品的运动轨迹，确定该商品的类别以及确定该商品对应的商品选择行为；其中，所述商品选择行为包括拿取商品或放回商品；针对所述各个商品中的每一商品，将该商品的类别和该商品对应的商品选择行为，作为该商品对应的商品信息，并将各个商品对应的商品信息发送给结算子系统；
结算子系统，用于基于接收到的各个商品对应的商品信息，确定结算金额，并完成结算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811289011.0A CN111126110B (zh) | 2018-10-31 | 2018-10-31 | 一种商品信息识别方法、结算方法、装置及无人零售系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811289011.0A CN111126110B (zh) | 2018-10-31 | 2018-10-31 | 一种商品信息识别方法、结算方法、装置及无人零售系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126110A true CN111126110A (zh) | 2020-05-08 |
| CN111126110B CN111126110B (zh) | 2024-01-05 |
Family
ID=70485693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811289011.0A Active CN111126110B (zh) | 2018-10-31 | 2018-10-31 | 一种商品信息识别方法、结算方法、装置及无人零售系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126110B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991380A (zh) * | 2021-04-28 | 2021-06-18 | 北京每日优鲜电子商务有限公司 | 基于视频图像的轨迹生成方法、装置、电子设备和介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007114845A (ja) * | 2005-10-18 | 2007-05-10 | Matsushita Electric Ind Co Ltd | 商品情報提供システムおよび情報通信端末 |
| WO2015140853A1 (ja) * | 2014-03-20 | 2015-09-24 | 日本電気株式会社 | Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
| CN105320778A (zh) * | 2015-11-25 | 2016-02-10 | 焦点科技股份有限公司 | 一种适用于电子商务中文网站商品标签化的方法 |
| JP2016201105A (ja) * | 2015-04-07 | 2016-12-01 | 三菱電機株式会社 | 情報処理装置及び情報処理方法 |
| CN107705129A (zh) * | 2017-09-15 | 2018-02-16 | 泾县麦蓝网络技术服务有限公司 | 一种应用于实体零售店的购物结算方法和系统 |
| US20180060943A1 (en) * | 2016-08-26 | 2018-03-01 | Wal-Mart Stores, Inc. | Apparatus and method for management of a hybrid store |
| CN108198052A (zh) * | 2018-03-02 | 2018-06-22 | 北京京东尚科信息技术有限公司 | 用户选购商品识别方法、装置以及智能货架系统 |
| CN108230559A (zh) * | 2018-02-08 | 2018-06-29 | 中山简单点网络技术有限公司 | 一种自动售货装置及其运行方法及自动售货系统 |
| CN108287544A (zh) * | 2018-01-16 | 2018-07-17 | 中国科学院福建物质结构研究所 | 一种智能机器人路线规划及沿原路径返回的方法及系统 |
| CN108320379A (zh) * | 2018-02-28 | 2018-07-24 | 成都果小美网络科技有限公司 | 基于图像比对的售货方法、装置和无人售货机 |
| CN108364209A (zh) * | 2018-02-01 | 2018-08-03 | 北京京东金融科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
| CN108389316A (zh) * | 2018-03-02 | 2018-08-10 | 北京京东尚科信息技术有限公司 | 自动售货方法、装置和计算机可读存储介质 |
| CN108447061A (zh) * | 2018-01-31 | 2018-08-24 | 深圳市阿西莫夫科技有限公司 | 商品信息处理方法、装置、计算机设备和存储介质 |
| CN108520605A (zh) * | 2018-03-23 | 2018-09-11 | 阿里巴巴集团控股有限公司 | 一种自助购物风控方法及系统 |
| CN108629665A (zh) * | 2018-05-08 | 2018-10-09 | 北京邮电大学 | 一种个性化商品推荐方法和系统 |
-
2018
- 2018-10-31 CN CN201811289011.0A patent/CN111126110B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007114845A (ja) * | 2005-10-18 | 2007-05-10 | Matsushita Electric Ind Co Ltd | 商品情報提供システムおよび情報通信端末 |
| WO2015140853A1 (ja) * | 2014-03-20 | 2015-09-24 | 日本電気株式会社 | Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
| JP2016201105A (ja) * | 2015-04-07 | 2016-12-01 | 三菱電機株式会社 | 情報処理装置及び情報処理方法 |
| CN105320778A (zh) * | 2015-11-25 | 2016-02-10 | 焦点科技股份有限公司 | 一种适用于电子商务中文网站商品标签化的方法 |
| US20180060943A1 (en) * | 2016-08-26 | 2018-03-01 | Wal-Mart Stores, Inc. | Apparatus and method for management of a hybrid store |
| CN107705129A (zh) * | 2017-09-15 | 2018-02-16 | 泾县麦蓝网络技术服务有限公司 | 一种应用于实体零售店的购物结算方法和系统 |
| CN108287544A (zh) * | 2018-01-16 | 2018-07-17 | 中国科学院福建物质结构研究所 | 一种智能机器人路线规划及沿原路径返回的方法及系统 |
| CN108447061A (zh) * | 2018-01-31 | 2018-08-24 | 深圳市阿西莫夫科技有限公司 | 商品信息处理方法、装置、计算机设备和存储介质 |
| CN108364209A (zh) * | 2018-02-01 | 2018-08-03 | 北京京东金融科技控股有限公司 | 商品信息的展示方法、装置、介质及电子设备 |
| CN108230559A (zh) * | 2018-02-08 | 2018-06-29 | 中山简单点网络技术有限公司 | 一种自动售货装置及其运行方法及自动售货系统 |
| CN108320379A (zh) * | 2018-02-28 | 2018-07-24 | 成都果小美网络科技有限公司 | 基于图像比对的售货方法、装置和无人售货机 |
| CN108389316A (zh) * | 2018-03-02 | 2018-08-10 | 北京京东尚科信息技术有限公司 | 自动售货方法、装置和计算机可读存储介质 |
| CN108198052A (zh) * | 2018-03-02 | 2018-06-22 | 北京京东尚科信息技术有限公司 | 用户选购商品识别方法、装置以及智能货架系统 |
| CN108520605A (zh) * | 2018-03-23 | 2018-09-11 | 阿里巴巴集团控股有限公司 | 一种自助购物风控方法及系统 |
| CN108629665A (zh) * | 2018-05-08 | 2018-10-09 | 北京邮电大学 | 一种个性化商品推荐方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孙海侠: "超商货架商品分割与识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 张红阳: "导购机器人自主导航与人机交互" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991380A (zh) * | 2021-04-28 | 2021-06-18 | 北京每日优鲜电子商务有限公司 | 基于视频图像的轨迹生成方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126110B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11501523B2 (en) | Goods sensing system and method for goods sensing based on image monitoring | |
| US11151427B2 (en) | Method and apparatus for checkout based on image identification technique of convolutional neural network | |
| CN107463946B (zh) | 一种结合模板匹配与深度学习的商品种类检测方法 | |
| CN108549870B (zh) | 一种对物品陈列进行鉴别的方法及装置 | |
| CN111340126B (zh) | 物品识别方法、装置、计算机设备和存储介质 | |
| WO2019165892A1 (zh) | 自动售货方法、装置和计算机可读存储介质 | |
| US11887051B1 (en) | Identifying user-item interactions in an automated facility | |
| CN111415461A (zh) | 物品识别方法及系统、电子设备 | |
| CN112464697A (zh) | 基于视觉和重力感应的商品与顾客的匹配方法和装置 | |
| US20230037427A1 (en) | Identifying barcode-to-product mismatches using point of sale devices and overhead cameras | |
| CN111126990B (zh) | 物品自动识别方法、结算方法、装置、终端及存储介质 | |
| US11238401B1 (en) | Identifying user-item interactions in an automated facility | |
| CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
| CN114332602A (zh) | 一种智能货柜的商品识别方法 | |
| CN114743307A (zh) | 智能货柜的商品识别方法、装置、电子设备及存储介质 | |
| CN112232334B (zh) | 一种智能售货商品识别检测方法 | |
| CN111126110B (zh) | 一种商品信息识别方法、结算方法、装置及无人零售系统 | |
| CN115661624A (zh) | 一种货架的数字化方法、装置及电子设备 | |
| Yin et al. | Computer vision-based quantity detection of goods in vending cabinets | |
| US11494729B1 (en) | Identifying user-item interactions in an automated facility | |
| CN111008210A (zh) | 商品识别方法、装置、编解码器及存储装置 | |
| CN111222377A (zh) | 一种商品信息确定方法、装置及电子设备 | |
| US20240029274A1 (en) | System and method for detecting a trigger event for identification of an item | |
| US20240029405A1 (en) | System and method for selecting an item from a plurality of identified items by filtering out back images of the items | |
| US20240020858A1 (en) | System and method for search space reduction for identifying an item |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |