CN117191169A - 用于购物防欺骗的物体称重方法及其系统 - Google Patents

Abstract

本发明公开了一种用于购物防欺骗的物体称重方法及其系统，其判断装有购物物品的购物车的外观质量是否符合预定标准；响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重；以及，基于所述重量数据来生成购物清单和价格总额。这样，可以保证称重的精准度。

Description

用于购物防欺骗的物体称重方法及其系统

技术领域

本发明涉及智能化称重技术领域，尤其涉及一种用于购物防欺骗的物体称重方法及其系统。

背景技术

无人超市是一种新型的零售概念，它利用先进的技术和自动化系统，提供无人值守的购物体验。在无人超市中，顾客可以自由进入店铺，选择商品并完成购买，而无需人工服务的介入。

RFID（Radio Frequency Identification）标签是一种用于无线识别和跟踪物品的技术。在无人超市中，商品通常会附带RFID标签，以便系统能够跟踪和记录商品信息。为了防止购物欺骗行为，通常会采取相应措施，例如将RFID标签与商品绑定，确保只有在购买时才能正确解除标签。然而，消磁器作为一种常见的破解RFID标签的方法被一些购物欺骗者加以利用。消磁器可以通过破坏或改变RFID标签中的存储信息，使其无法被系统正确读取，从而达到购物欺骗的目的，给商家带来巨大损失。

因此，期待一种新型的购物防欺骗方法。

发明内容

本发明实施例提供一种用于购物防欺骗的物体称重方法及其系统，其判断装有购物物品的购物车的外观质量是否符合预定标准；响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重；以及，基于所述重量数据来生成购物清单和价格总额。这样，可以保证称重的精准度。

本发明实施例还提供了一种用于购物防欺骗的物体称重方法，其包括：

判断装有购物物品的购物车的外观质量是否符合预定标准；

响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重；以及

基于所述重量数据来生成购物清单和价格总额。

本发明实施例还提供了一种用于购物防欺骗的物体称重系统，其包括：

外观质量判断模块，用于判断装有购物物品的购物车的外观质量是否符合预定标准；

称重模块，用于响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重；以及

购物清单和价格总额生成模块，用于基于所述重量数据来生成购物清单和价格总额。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种用于购物防欺骗的物体称重方法的流程图。

图2为本发明实施例中提供的一种用于购物防欺骗的物体称重方法的系统架构的示意图。

图3为本发明实施例中提供的一种用于购物防欺骗的物体称重方法中步骤110的子步骤的流程图。

图4为本发明实施例中提供的一种用于购物防欺骗的物体称重系统的框图。

图5为本发明实施例中提供的一种用于购物防欺骗的物体称重方法的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

无人超市是一种新型的零售概念，利用先进的技术和自动化系统，提供无人值守的购物体验。在无人超市中，顾客可以自由进入店铺，选择商品并完成购买，而无需人工服务的介入。

无人超市的运作方式如下：

入口和身份验证：顾客通过入口门进入无人超市，通常需要进行身份验证，例如扫描身份证、人脸识别或使用移动支付应用程序。

商品识别和跟踪：无人超市中的商品通常会附带RFID（Radio FrequencyIdentification）标签或其他识别技术，以便系统能够跟踪和记录商品信息。这样，系统可以准确地知道顾客选择了哪些商品。

购物过程：顾客可以自由地在无人超市中浏览和选择商品。通常，超市内部会配备摄像头和传感器来监测顾客的行为和商品的库存情况。

自动结账：当顾客完成购物后，系统会自动计算购物车中商品的总价，并从顾客的账户中扣款。支付可以通过移动支付应用程序、银行卡或其他电子支付方式进行。

出口和安全检查：顾客完成支付后，可以通过出口门离开无人超市。在某些情况下，可能会进行安全检查，例如通过RFID标签的解除或其他安全措施来确保商品未被盗窃。

进一步地，无人超市可以全天候开放，方便顾客根据个人时间安排进行购物，顾客可以自由选择商品，无需排队等待人工服务。无人超市不需要大量的人力资源，可以减少人工成本，通过跟踪和记录顾客的购买行为，无人超市可以收集大量数据，用于分析和改进业务。

然而，无人超市也面临一些挑战，例如技术故障、商品损坏或盗窃等问题。因此，确保系统的安全性和可靠性是无人超市运营的重要考虑因素之一。

RFID（Radio Frequency Identification）标签是一种用于无线识别和跟踪物品的技术，由一个微芯片和一个天线组成，可以通过无线电信号与读写器进行通信。

RFID标签的工作原理包括：

标签激活：当RFID标签处于读写器的工作范围内时，读写器会向标签发送无线电信号，激活标签。

信号传输：激活后，RFID标签会将存储在内部微芯片中的信息通过无线电信号传输给读写器。这些信息可以是关于物品的唯一标识符、制造商、批次号、价格等。

数据读取：读写器接收到RFID标签传输的信号后，可以解码并读取标签中的信息。读写器可以连接到计算机系统，将读取到的数据传输到后台数据库进行处理和管理。

RFID标签可以通过无线电信号与读写器进行通信，无需接触或视线直接可见，适用于自动化识别和跟踪。RFID标签的读取速度快，可以在短时间内同时读取多个标签，提高了物品识别和库存管理的效率。RFID标签的读取距离可以从几厘米到几十米不等，具有较大的覆盖范围。RFID标签的内部微芯片可以存储较大量的数据，可以记录物品的详细信息，并支持数据的读写操作。RFID标签可以多次擦写和重写，方便对物品信息进行更新和修改。

RFID技术在许多领域得到广泛应用，包括物流和供应链管理、零售业、医疗保健、智能交通等。它可以提高物品追踪的准确性和效率，简化库存管理和资产跟踪，并提供更好的数据可视化和决策支持。

为了防止购物欺骗行为，通常会采取相应措施，例如将RFID标签与商品绑定，确保只有在购买时才能正确解除标签。然而，消磁器作为一种常见的破解RFID标签的方法被一些购物欺骗者加以利用。消磁器可以通过破坏或改变RFID标签中的存储信息，使其无法被系统正确读取，从而达到购物欺骗的目的，给商家带来巨大损失。

因此，在本申请中提供一种新型的购物防欺骗方法。

在本发明的一个实施例中，图1为本发明实施例中提供的一种用于购物防欺骗的物体称重方法的流程图。如图1所示，根据本发明实施例的用于购物防欺骗的物体称重方法100，包括：110，判断装有购物物品的购物车的外观质量是否符合预定标准；120，响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重；以及，130，基于所述重量数据来生成购物清单和价格总额。

在所述步骤110中，确保购物车的外观质量判断准确可靠，以避免误判或漏判。通过判断购物车的外观质量，可以初步筛选出可能存在购物欺骗行为的情况，提高购物防欺骗的准确性。

在所述步骤120中，确保称重设备准确可靠，能够正确识别购物车中的物品重量。通过对购物车进行称重，可以获取购物车中物品的实际重量数据，进一步验证购物物品的真实性和数量，提高购物防欺骗的可靠性。

在所述步骤130中，确保重量数据的准确性和可靠性，以避免漏算或误算。基于购物车中物品的重量数据，可以生成准确的购物清单，包括物品名称、数量和价格。这样可以提供给顾客一个清晰的购物明细，同时也方便商家进行结算和管理，提高购物防欺骗的透明度和可追溯性。

这种物体称重方法可以通过判断购物车的外观质量、进行称重和生成购物清单，从不同角度验证购物物品的真实性和数量，提高购物防欺骗的准确性和可靠性。它可以帮助防止顾客故意或无意间的欺骗行为，保障无人超市的购物安全和信誉。

针对上述技术问题，本申请的技术构思为通过物体称重的方式来进行购物防欺骗，而为了防止物体不被放置于称重装置的中心而导致重量数据发生偏差，直接将购物车和购物物品作为整体来进行称重。但是，在装有购物物品的购物车进行称重的过程中，仍然存在一些问题，例如购物车表面可能会附着垃圾或者购物车可能发生损坏，导致称重精度发生影响。因此，在本申请的技术方案中，在进行称重之前，需对于购物车的外观进行基于机器视觉的预检，来保证称重的精准度。

图2为本发明实施例中提供的一种用于购物防欺骗的物体称重方法的系统架构的示意图。图3为本发明实施例中提供的一种用于购物防欺骗的物体称重方法中步骤110的子步骤的流程图。如图2和图3所示，判断装有购物物品的购物车的外观质量是否符合预定标准，包括：111，获取由摄像头采集的购物车图像；112，对所述购物车图像进行图像特征分析以得到购物车表观特征；以及，113，基于所述购物车表观特征，确定所述装有购物物品的购物车的外观质量是否符合预定标准。

首先，在所述步骤111中，获取由摄像头采集的购物车图像，确保摄像头位置和角度适当，能够全面捕捉购物车的图像。同时，要确保图像的清晰度和质量，以提供准确的视觉信息。通过获取购物车图像，可以提供用于后续分析和判断的视觉数据，帮助评估购物车的外观质量。

然后，在所述步骤112中，对所述购物车图像进行图像特征分析以得到购物车表观特征，选择适当的图像特征提取方法，如边缘检测、颜色分析、纹理特征等，以获取购物车的表观特征。确保特征提取方法能够准确地捕捉购物车的外观特征。通过对购物车图像进行特征分析，可以提取出购物车的表观特征，如形状、尺寸、结构等。这些特征可以用于后续的外观质量判断。

接着，在所述步骤113中，基于所述购物车表观特征，确定所述装有购物物品的购物车的外观质量是否符合预定标准，定义和设定购物车外观质量的预定标准，包括形状、结构、损伤等方面的要求。将购物车的表观特征与预定标准进行比较和评估，以确定外观质量是否符合要求。通过基于购物车表观的判断，可以确定购物车的外观质量是否符合预定标准。如果购物车的外观不符合标准，可能存在损坏、变形或其他质量问题，需要进行相应的处理和管理。

通过获取购物车图像、进行图像特征分析并基于购物车表观进行判断，可以评估购物车的外观质量是否符合预定标准。这样可以提高购物防欺骗系统对购物车外观质量的准确性和可靠性，从而保障无人超市的购物安全和信誉。

对于所述步骤111，获取由摄像头采集的购物车图像。通过对购物车图像的分析，可以检测购物车的外观特征，比如购物车的形状、尺寸、结构等，这些特征可以与预定的标准进行比较，以判断购物车的外观质量是否符合要求。购物车图像可以用于检测购物车上是否存在异常情况，比如损坏、变形、缺失零件等，这些异常情况可能影响购物车的使用性能和安全性，需要及时发现和处理。

购物车图像可以用于检测是否存在购物欺骗行为，比如故意遮挡、隐藏、替换物品等，通过对图像进行分析，可以识别出购物车中物品的真实情况，避免顾客进行欺骗行为。购物车图像可以实时采集和监控，对购物车的外观质量进行动态评估，如果购物车的外观质量发生变化或异常情况，可以及时发出警报或通知相关人员进行处理。

通过摄像头采集购物车图像，可以提供视觉信息用于判断购物车的外观质量是否符合预定标准。这样可以增加购物防欺骗系统的准确性和可靠性，提高无人超市的购物安全性。

具体地，在本申请的技术方案中，首先，获取由摄像头采集的购物车图像。接着，使用在图像的隐含特征提取方面具有优异表现的基于卷积神经网络模型的特征提取器来进行所述购物车图像的特征挖掘。特别地，考虑到在实际进行所述购物车的外观质量预检时，应着重关注于购物车的外观状态特征信息，例如购物车的轮廓、边缘、颜色和纹理等特征信息，这些特征对于购物车的表观语义表达尤为重要。而金字塔网络主要是解决目标检测中的多尺度问题，其可以同时利用低层特征、中层特征和高层特征信息，通过融合这些不同层的特征达到很好的特征表达效果。

在本申请的一个实施例中，对于所述步骤112，对所述购物车图像进行图像特征分析以得到购物车表观特征，包括：通过基于深度神经网络模型的多尺度特征提取器对所述购物车图像进行多尺度特征提取以得到购物车表观浅层特征图、购物车表观中层特征图和购物车表观深层特征图；以及，对所述购物车表观浅层特征图、所述购物车表观中层特征图和所述购物车表观深层特征图进行特征展平化和上下文语义关联编码处理以得到所述购物车表观特征。

其中，所述深度神经网络模型为金字塔网络。

其中，深度神经网络模型可以在不同层次上提取图像的多尺度特征，浅层特征图通常包含边缘、纹理等低级特征，中层特征图可以捕捉到更高级的语义信息，而深层特征图则可以表示更抽象和语义丰富的特征。通过多尺度特征提取，可以综合利用不同层次的特征，更全面地描述购物车的表观特征。

对购物车表观浅层特征图、中层特征图和深层特征图进行特征展平化，即将多维的特征图转换为一维向量，这样可以保留特征之间的空间关系，并且方便后续的特征处理和分类任务。

购物车表观特征可以通过上下文语义关联编码处理进行进一步的特征提取和关联建模。这种处理可以捕捉购物车内不同物品之间的关联性，并且考虑到它们在购物车中的相对位置和布局。这有助于更准确地表示购物车的整体表观特征。

通过基于深度神经网络模型的多尺度特征提取器对购物车图像进行特征提取和编码处理，可以得到购物车的表观特征。这样的处理方法可以提高购物车表观特征的表达能力和区分度，为后续的外观质量判断和购物防欺骗提供更可靠的特征表示。

基于此，在本申请的技术方案中，将所述购物车图像通过基于金字塔网络的多尺度特征提取器以得到购物车表观浅层特征图、购物车表观中层特征图和购物车表观深层特征图。也就是，使用所述基于金字塔网络的多尺度特征提取器来对于所述购物车图像进行编码处理，以在提取出所述购物车图像中有关于购物车的结构和材质等隐含抽象语义特征信息的同时，保留其在浅层的纹理和边缘等特征信息以及在中层的颜色和形状等特征信息，进而在后续分类时提高对于购物车外观质量检测的准确性。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行预测，大幅提升了对于购物车外观质量检测的性能和精准度。

在本申请的一个实施例中，对所述购物车表观浅层特征图、所述购物车表观中层特征图和所述购物车表观深层特征图进行特征展平化和上下文语义关联编码处理以得到所述购物车表观特征，包括：将所述购物车表观浅层特征图的沿通道维度的各个特征矩阵、所述购物车表观中层特征图的沿通道维度的各个特征矩阵和所述购物车表观深层特征图的沿通道维度的各个特征矩阵进行特征展平化以得到多个购物车表观浅层特征向量、多个购物车表观中层特征向量和多个购物车表观深层特征向量；以及，将所述多个购物车表观浅层特征向量、所述多个购物车表观中层特征向量和所述多个购物车表观深层特征向量通过基于转换器模块的特征上下文编码器以得到购物车表观语义上下文特征向量。

然后，由于所述购物车的浅层、中层和深层特征图中都包含有关于该购物车的不同类型的局部语义特征信息，为了能够对于这些关于所述购物车的各个不同类型的局部语义特征信息进行关联融合，以此来提高对于购物车外观质量检测的精准度，在本申请的技术方案中，需要将所述购物车表观浅层特征图的沿通道维度的各个特征矩阵、所述购物车表观中层特征图的沿通道维度的各个特征矩阵和所述购物车表观深层特征图的沿通道维度的各个特征矩阵进行特征展平化以得到多个购物车表观浅层特征向量、多个购物车表观中层特征向量和多个购物车表观深层特征向量。这种特征展平化的过程可以将高维的特征表示转换为一维的特征向量，方便后续的数据处理和分析，并防止过拟合。通过这种方式，便于后续提取购物车的不同层次的局部特征之间的关联特征信息，并用于后续的分类和检测任务中，从而有利于提高对于购物车外观质量检测的精准度。

进一步地，对于有关于所述购物车的不同层次的局部特征信息来说，这些特征信息之间具有着整体的关联语义关系，共同对于购物车的外观质量的表征有着影响。因此，为了能够提高对于购物车外观质量预检的精度，需要进一步将所述多个购物车表观浅层特征向量、所述多个购物车表观中层特征向量和所述多个购物车表观深层特征向量通过基于转换器模块的特征上下文编码器中进行编码，以提取出所述购物车的外观质量的不同层次的局部特征信息之间基于全局的购物车表观语义上下文关联特征信息，从而得到购物车表观语义上下文特征向量。

基于转换器模块的特征上下文编码器是一种用于将多个特征向量进行上下文编码的方法，可以将购物车表观浅层特征向量、表观中层特征向量和表观深层特征向量融合为购物车表观语义上下文特征向量。以下是上下文编码器的介绍：

上下文编码器基于转换器模块（Transformer Module），是一种基于自注意力机制的神经网络模型，可以学习特征之间的关联性和重要性，并将这些关联性应用于特征的编码过程中。转换器模块由多个注意力头组成，每个头都可以关注输入特征中的不同部分。

上下文编码器的优势在于它能够捕捉购物车表观特征之间的关联性和上下文信息，从而提高特征的表达能力和区分度，可以帮助系统更好地理解购物车的整体特征，并更准确地判断购物车的外观质量。同时，基于转换器模块的上下文编码器还具有并行计算的能力，可以加速特征编码的过程。

通过基于转换器模块的特征上下文编码器，可以将多个购物车表观特征向量融合为购物车表观语义上下文特征向量。这样可以提高购物车特征的表达能力和语义关联性，进一步提升购物防欺骗系统的准确性和可靠性。

在本申请的一个实施例中，对于所述步骤113，基于所述购物车表观特征，确定所述装有购物物品的购物车的外观质量是否符合预定标准，包括：对所述购物车表观语义上下文特征向量进行特征分布优化以得到优化购物车表观语义上下文特征向量；以及，将所述优化购物车表观语义上下文特征向量通过分类器以得到分类结果，所述分类结果用于表示装有购物物品的购物车的外观质量是否符合预定标准。

通过对购物车表观语义上下文特征向量进行特征分布优化，可以调整特征向量中不同维度的权重和相关性，有助于突出与外观质量相关的特征，并减少无关特征的影响。通过优化特征分布，可以提高特征的表达能力和区分度，使其更能反映购物车的外观质量。

将优化后的购物车表观语义上下文特征向量输入分类器进行分类，分类器可以是一个训练有监督的机器学习模型，如支持向量机（SVM）、随机森林（Random Forest）或深度神经网络（Deep Neural Network）等。分类器通过学习特征向量与外观质量之间的关系，可以对购物车的外观质量进行预测和分类。

分类结果表示装有购物物品的购物车的外观质量是否符合预定标准，根据分类器的输出，可以将购物车划分为符合预定标准和不符合预定标准两类。这样的分类结果可以作为购物防欺骗系统的反馈，帮助判断购物车是否存在欺诈行为或外观质量问题。

通过特征分布优化和分类器的应用，可以提高购物车表观语义上下文特征的表达能力和分类准确性。这有助于更准确地判断购物车的外观质量，提高购物防欺骗系统的可靠性和效果。同时，通过分类结果的反馈，可以及时采取措施，防止不符合预定标准的购物车通过无人超市的结算系统，保障购物的安全和可信度。

在本申请的一个实施例中，对所述购物车表观语义上下文特征向量进行特征分布优化以得到优化购物车表观语义上下文特征向量，包括：将所述多个购物车表观浅层特征向量、所述多个购物车表观中层特征向量和所述多个购物车表观深层特征向量进行级联以得到级联特征向量；以及，对所述级联特征向量和所述购物车表观语义上下文特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到所述优化购物车表观语义上下文特征向量。

特别地，在本申请的技术方案中，将所述购物车图像通过基于金字塔网络的多尺度特征提取器后，得到的所述购物车表观浅层特征图、所述购物车表观中层特征图和所述购物车表观深层特征图分别表示与所述金字塔网络的不同尺度对应的不同深度下的所述购物车图像的图像语义特征，由此展平后的所述多个购物车表观浅层特征向量、所述多个购物车表观中层特征向量和所述多个购物车表观深层特征向量具有与不同尺度下的不同深度的局部关联图像语义特征对应的密集采样式图像语义特征表达，在通过基于转换器模块的特征上下文编码器时，考虑到在进行基于特征向量的全局分布的上下文关联编码的同时，尽可能保留向量的每个特征值的图像语义特征信息，因此基于所述购物车表观语义上下文特征向量与所述多个购物车表观浅层特征向量、所述多个购物车表观中层特征向量和所述多个购物车表观深层特征向量之间的逐点齐次对应性，对所述多个购物车表观浅层特征向量、所述多个购物车表观中层特征向量和所述多个购物车表观深层特征向量级联后得到的级联特征向量，例如记为和所述购物车表观语义上下文特征向量，例如记为/>进行齐次吉尔伯特空间度量式密集点分布采样融合，来优化所述购物车表观语义上下文特征向量，例如记为/>，具体表示为：以如下融合优化公式对所述级联特征向量和所述购物车表观语义上下文特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到所述优化购物车表观语义上下文特征向量；其中，所述融合优化公式为：其中，/>是所述级联特征向量，/>是所述购物车表观语义上下文特征向量，/>是所述购物车表观语义上下文特征向量的转置向量，/>表示闵式距离，且/>为超参数，/>和/>分别是所述级联特征向量和所述购物车表观语义上下文特征向量的全局特征均值，且特征向量/>和/>均为行向量，/>为按位置点乘，/>为按位置加法，/>是所述优化购物车表观语义上下文特征向量。

这里，通过对所述级联特征向量和所述购物车表观语义上下文特征向量/>的特征分布中心的齐次吉尔伯特空间度量，来对所述级联特征向量/>和所述购物车表观语义上下文特征向量/>的融合特征分布进行高维特征空间内的融合特征流形超平面的真实（ground-truth）几何中心约束，并以交叉式距离约束的逐点特征关联作为偏置项，来实现特征分布的关联约束界限内的特征密集点采样式分布融合，从而增强向量间的齐次采样关联融合性，这样，就提升了优化后的购物车表观语义上下文特征向量/>对向量的特征值粒度下的不同尺度和深度的局部关联图像语义特征信息的表达，从而提升了其通过分类器得到的分类结果的准确性。这样，能够在无人超市中保证购物称重的精准度，为无人超市和自助结账系统提供更可靠的技术支持，从而减少购物欺骗行为的发生，避免给商家造成经济损失。

继而，再将所述购物车表观语义上下文特征向量通过分类器以得到分类结果，所述分类结果用于表示装有购物物品的购物车的外观质量是否符合预定标准。也就是说，利用所述购物车的不同层次的全局语义关联特征信息来进行分类处理，以此来进行购物车的外观质量检测，从而判断装有购物物品的购物车的外观质量是否符合预定标准。进而，响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重，并基于所述重量数据来生成购物清单和价格总额。这样，能够保证称重的精准度，减少购物欺骗行为的发生，为无人超市和自助结账系统提供更可靠的功能。

综上，基于本发明实施例的用于购物防欺骗的物体称重方法100被阐明，通过物体称重的方式来进行购物防欺骗，而为了防止物体不被放置于称重装置的中心而导致重量数据发生偏差，直接将购物车和购物物品作为整体来进行称重。但是，在装有购物物品的购物车进行称重的过程中，仍然存在一些问题，例如购物车表面可能会附着垃圾或者购物车可能发生损坏，导致称重精度发生影响。因此，在本申请的技术方案中，在进行称重之前，需对于购物车的外观进行基于机器视觉的预检，来保证称重的精准度。

图4为本发明实施例中提供的一种用于购物防欺骗的物体称重系统的框图。如图4所示，所述用于购物防欺骗的物体称重系统，包括：外观质量判断模块210，用于判断装有购物物品的购物车的外观质量是否符合预定标准；称重模块220，用于响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重；以及，购物清单和价格总额生成模块230，用于基于所述重量数据来生成购物清单和价格总额。

在所述用于购物防欺骗的物体称重系统中，所述外观质量判断模块，包括：图像获取单元，用于获取由摄像头采集的购物车图像；图像特征分析单元，用于对所述购物车图像进行图像特征分析以得到购物车表观特征；以及，购物车外观质量确定单元，用于基于所述购物车表观特征，确定所述装有购物物品的购物车的外观质量是否符合预定标准。

本领域技术人员可以理解，上述用于购物防欺骗的物体称重系统中的各个步骤的具体操作已经在上面参考图1到图3的用于购物防欺骗的物体称重方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本发明实施例的用于购物防欺骗的物体称重系统100可以实现在各种终端设备中，例如用于购物防欺骗的物体称重的服务器等。在一个示例中，根据本发明实施例的用于购物防欺骗的物体称重系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于购物防欺骗的物体称重系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于购物防欺骗的物体称重系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该用于购物防欺骗的物体称重系统100与该终端设备也可以是分立的设备，并且该用于购物防欺骗的物体称重系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图5为本发明实施例中提供的一种用于购物防欺骗的物体称重方法的应用场景图。如图5所示，在该应用场景中，首先，获取由摄像头采集的购物车图像（例如，如图5中所示意的C）；然后，将获取的购物车图像输入至部署有用于购物防欺骗的物体称重算法的服务器（例如，如图5中所示意的S）中，其中所述服务器能够基于用于购物防欺骗的物体称重算法对所述购物车图像进行处理，以确定所述装有购物物品的购物车的外观质量是否符合预定标准。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于购物防欺骗的物体称重方法，其特征在于，包括：

判断装有购物物品的购物车的外观质量是否符合预定标准；

响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重；以及

基于所述重量数据来生成购物清单和价格总额。

2.根据权利要求1所述的用于购物防欺骗的物体称重方法，其特征在于，判断装有购物物品的购物车的外观质量是否符合预定标准，包括：

获取由摄像头采集的购物车图像；

对所述购物车图像进行图像特征分析以得到购物车表观特征；以及

基于所述购物车表观特征，确定所述装有购物物品的购物车的外观质量是否符合预定标准。

3.根据权利要求2所述的用于购物防欺骗的物体称重方法，其特征在于，对所述购物车图像进行图像特征分析以得到购物车表观特征，包括：

通过基于深度神经网络模型的多尺度特征提取器对所述购物车图像进行多尺度特征提取以得到购物车表观浅层特征图、购物车表观中层特征图和购物车表观深层特征图；以及

对所述购物车表观浅层特征图、所述购物车表观中层特征图和所述购物车表观深层特征图进行特征展平化和上下文语义关联编码处理以得到所述购物车表观特征。

4.根据权利要求3所述的用于购物防欺骗的物体称重方法，其特征在于，所述深度神经网络模型为金字塔网络。

5.根据权利要求4所述的用于购物防欺骗的物体称重方法，其特征在于，对所述购物车表观浅层特征图、所述购物车表观中层特征图和所述购物车表观深层特征图进行特征展平化和上下文语义关联编码处理以得到所述购物车表观特征，包括：

将所述购物车表观浅层特征图的沿通道维度的各个特征矩阵、所述购物车表观中层特征图的沿通道维度的各个特征矩阵和所述购物车表观深层特征图的沿通道维度的各个特征矩阵进行特征展平化以得到多个购物车表观浅层特征向量、多个购物车表观中层特征向量和多个购物车表观深层特征向量；以及

将所述多个购物车表观浅层特征向量、所述多个购物车表观中层特征向量和所述多个购物车表观深层特征向量通过基于转换器模块的特征上下文编码器以得到购物车表观语义上下文特征向量。

6.根据权利要求5所述的用于购物防欺骗的物体称重方法，其特征在于，基于所述购物车表观特征，确定所述装有购物物品的购物车的外观质量是否符合预定标准，包括：

对所述购物车表观语义上下文特征向量进行特征分布优化以得到优化购物车表观语义上下文特征向量；以及

将所述优化购物车表观语义上下文特征向量通过分类器以得到分类结果，所述分类结果用于表示装有购物物品的购物车的外观质量是否符合预定标准。

7.根据权利要求6所述的用于购物防欺骗的物体称重方法，其特征在于，对所述购物车表观语义上下文特征向量进行特征分布优化以得到优化购物车表观语义上下文特征向量，包括：

将所述多个购物车表观浅层特征向量、所述多个购物车表观中层特征向量和所述多个购物车表观深层特征向量进行级联以得到级联特征向量；以及

对所述级联特征向量和所述购物车表观语义上下文特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到所述优化购物车表观语义上下文特征向量。

8.根据权利要求7所述的用于购物防欺骗的物体称重方法，其特征在于，对所述级联特征向量和所述购物车表观语义上下文特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到所述优化购物车表观语义上下文特征向量，包括：

以如下融合优化公式对所述级联特征向量和所述购物车表观语义上下文特征向量进行齐次吉尔伯特空间度量式密集点分布采样融合以得到所述优化购物车表观语义上下文特征向量；

其中，所述融合优化公式为：其中，/>是所述级联特征向量，/>是所述购物车表观语义上下文特征向量，/>是所述购物车表观语义上下文特征向量的转置向量，/>表示闵式距离，且/>为超参数，/>和/>分别是所述级联特征向量和所述购物车表观语义上下文特征向量的全局特征均值，且特征向量/>和/>均为行向量，/>为按位置点乘，/>为按位置加法，/>是所述优化购物车表观语义上下文特征向量。

9.一种用于购物防欺骗的物体称重系统，其特征在于，包括：

外观质量判断模块，用于判断装有购物物品的购物车的外观质量是否符合预定标准；

称重模块，用于响应于所述装有购物物品的购物车的外观质量符合预定要求，对所述装有购物物品的购物车进行称重；以及

购物清单和价格总额生成模块，用于基于所述重量数据来生成购物清单和价格总额。

10.根据权利要求9所述的用于购物防欺骗的物体称重系统，其特征在于，所述外观质量判断模块，包括：

图像获取单元，用于获取由摄像头采集的购物车图像；

图像特征分析单元，用于对所述购物车图像进行图像特征分析以得到购物车表观特征；以及

购物车外观质量确定单元，用于基于所述购物车表观特征，确定所述装有购物物品的购物车的外观质量是否符合预定标准。