CN112508659B - 商品结算处理方法、装置及计算设备、计算机存储介质 - Google Patents

商品结算处理方法、装置及计算设备、计算机存储介质 Download PDF

Info

Publication number
CN112508659B
CN112508659B CN202110161431.6A CN202110161431A CN112508659B CN 112508659 B CN112508659 B CN 112508659B CN 202110161431 A CN202110161431 A CN 202110161431A CN 112508659 B CN112508659 B CN 112508659B
Authority
CN
China
Prior art keywords
commodity
settlement
settled
counting
branch network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110161431.6A
Other languages
English (en)
Other versions
CN112508659A (zh
Inventor
魏耀武
邵蔚元
张鹏
张飞云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koubei Shanghai Information Technology Co Ltd
Zhejiang Koubei Network Technology Co Ltd
Original Assignee
Koubei Shanghai Information Technology Co Ltd
Zhejiang Koubei Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koubei Shanghai Information Technology Co Ltd, Zhejiang Koubei Network Technology Co Ltd filed Critical Koubei Shanghai Information Technology Co Ltd
Priority to CN202111255842.8A priority Critical patent/CN114004672A/zh
Priority to CN202110161431.6A priority patent/CN112508659B/zh
Publication of CN112508659A publication Critical patent/CN112508659A/zh
Application granted granted Critical
Publication of CN112508659B publication Critical patent/CN112508659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G06Q20/145—Payments according to the detected use or quantity

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明公开了一种商品结算处理方法、装置及计算设备、计算机存储介质，该方法包括：获取经拍摄得到的商品结算图像；将所述商品结算图像进行检测，判断所述商品结算图像是否包含需计数结算的至少一个第一商品；所述第一商品包含一个或多个待计数单品；若是，则根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果；根据所述第一商品结算结果进行商品结算处理。通过上述方式，满足了实际场景中按单品个数进行结算的需求，提升了智慧收银系统的效能。

Description

商品结算处理方法、装置及计算设备、计算机存储介质
技术领域
本发明涉及智慧收银技术领域，具体涉及一种商品结算处理方法、装置及计算设备、计算机存储介质。
背景技术
智慧门店是基于物联网和云计算技术为门店量身打造的智能管理系统，通过客户自主点餐系统、服务呼叫系统、后厨互动系统、智慧收银系统以及信息管理系统可显著地节约用工数量、降低经营成本、提升管理绩效。
现有技术中，智慧收银系统可以直接对客户拿到的菜品进行拍照，对拍照图像进行菜品检测，识别出菜品种类和名称，然后根据信息管理系统提供的菜品价格对菜品进行结算，实现自助收银。但在有些情况下，不同商户对菜品的单份结算方式定义不一致，例如一碗馄饨算一份，按碗计费；但是一盘鸡腿按照鸡腿的单品个数计费。也即，现有技术中存在对菜品或其它类似商品按份结算和按单品个数结算的需求。然而，现有技术的商品结算解决方案无法满足按单品个数结算的需求。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的商品结算处理方法、装置及计算设备、计算机存储介质。
根据本发明实施例的一个方面，提供了一种商品结算处理方法，包括：
获取经拍摄得到的商品结算图像；
将所述商品结算图像进行检测，判断所述商品结算图像是否包含需计数结算的至少一个第一商品；所述第一商品包含一个或多个待计数单品；
若是，则根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果；
根据所述第一商品结算结果进行商品结算处理。
在一种可选的方式中，所述将所述商品结算图像进行检测，判断所述商品结算图像是否包含需计数结算的至少一个第一商品进一步包括：
将所述商品结算图像进行检测，得到至少一个待结算商品及其单品数量信息；
根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品；其中，所述商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息。
在一种可选的方式中，所述方法还包括：在商品结算页面中呈现所述至少一个待结算商品的预测框，至少一个待结算商品的商品描述信息和/或至少一个第一商品的单品数量信息。
在一种可选的方式中，所述根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果具体为：根据所述至少一个第一商品的单品数量信息以及单品价格信息，得到第一商品结算结果。
在一种可选的方式中，所述方法还包括：
根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含无需计数结算的至少一个第二商品；
若是，则根据所述至少一个第二商品的商品价格信息，得到第二商品结算结果；
所述根据所述第一商品结算结果进行商品结算处理具体为：根据所述第一商品结算结果和第二商品结算结果进行商品结算处理。
在一种可选的方式中，所述将所述商品结算图像进行检测，得到至少一个待结算商品及其单品数量信息进一步包括：
将所述商品结算图像进行计数检测，得到计数热力图；其中，所述计数热力图的热力点数据为所述商品结算图像中对应像素点为待计数单品的中心点的概率；
根据所述计数热力图，得到所述商品结算图像中至少一个待结算商品的单品数量信息。
在一种可选的方式中，所述根据所述计数热力图，得到所述商品结算图像中至少一个待结算商品的单品数量信息进一步包括：
针对任一待结算商品，统计该待结算商品的预测框内热力点数据高于第一预设阈值的热力点的数目，根据数目得到所述待结算商品的单品数量信息。
在一种可选的方式中，根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品进一步包括：
将所述至少一个待结算商品的单品数量信息与第二预设阈值进行比较，根据比较结果和/或商品配置信息判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品。
在一种可选的方式中，所述判断所述商品结算图像是否包含需计数结算的至少一个第一商品进一步包括：
查询所述商品结算图像中至少一个待结算商品的商品配置信息，其中，所述商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息；
根据所述至少一个待结算商品的商品配置信息，判断所述商品结算图像是否包含需计数结算的至少一个第一商品。
在一种可选的方式中，所述方法还包括：训练得到预测网络，所述预测网络至少包括计数分支网络；
所述将所述商品结算图像进行计数检测，得到计数热力图进一步包括：将所述商品结算图像输入到所述计数分支网络中，得到所述计数分支网络输出的计数热力图。
在一种可选的方式中，所述预测网络还包括：定位分支网络和分类分支网络；
所述将所述商品结算图像进行检测，得到至少一个待结算商品进一步包括：将所述商品结算图像输入到所述定位分支网络和所述分类分支网络中，得到所述定位分支网络和所述分类分支网络输出的至少一个待结算商品的预测框的位置信息。
在一种可选的方式中，在得到至少一个待结算商品的预测框的位置信息之后，所述方法还包括：
对所述至少一个待结算商品的预测框进行过滤处理，过滤掉与其它预测框存在部分重合的预测框，和/或，过滤掉置信度低于预设置信度阈值的预测框。
在一种可选的方式中，所述预测网络还包括：特征提取分支网络；
所述方法还包括：在将所述商品结算图像输入到所述计数分支网络、所述定位分支网络和/或所述分类分支网络之前，利用特征提取分支网络对所述商品结算图像进行特征提取。
在一种可选的方式中，所述预测网络还包括：下采样分支网络；
所述方法还包括：在将所述商品结算图像输入到所述计数分支网络、所述定位分支网络和/或所述分类分支网络之前，利用下采样分支网络对经过特征提取的商品结算图像进行下采样处理。
在一种可选的方式中，所述训练得到预测网络进一步包括：
获取样本图像集合，对所述样本图像集合中的样本图像进行标注；
从样本图像集合中提取一样本图像，将样本图像输入至待训练的预测网络中，根据该样本图像的标注分别生成计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息；
分别根据计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息，对计数分支网络、定位分支网络和分类分支网络进行训练。
在一种可选的方式中，所述对所述样本图像集合中的样本图像进行标注进一步包括：对样本图像中的至少一个样本商品的检测框进行标注，对样本图像中的至少一个待计数样本单品的检测框进行标注；
所述根据该样本图像的标注分别生成计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息进一步包括：
将所标注的样本图像中的至少一个样本商品的检测框作为定位分支网络和分类分支网络的监督信息；
根据所标注的样本图像中的至少一个待计数样本单品的检测框计算至少一个待计数样本单品的中心点位置，将至少一个待计数样本单品的中心点位置作为计数分支网络的监督信息。
根据本发明实施例的另一方面，提供了一种商品结算处理装置，包括：
图像获取模块，用于获取经拍摄得到的商品结算图像；
检测模块，用于将所述商品结算图像进行检测，判断所述商品结算图像是否包含需计数结算的至少一个第一商品；所述第一商品包含一个或多个待计数单品；
结算模块，用于若判断出所述商品结算图像包含需计数结算的至少一个第一商品，则根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果；
处理模块，用于根据所述第一商品结算结果进行商品结算处理。
在一种可选的方式中，所述检测模块进一步用于：
将所述商品结算图像进行检测，得到至少一个待结算商品及其单品数量信息；
根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品；其中，所述商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息。
在一种可选的方式中，所述装置还包括：呈现模块，用于在商品结算页面中呈现所述至少一个待结算商品的预测框，至少一个待结算商品的商品描述信息和/或至少一个第一商品的单品数量信息。
在一种可选的方式中，所述结算模块进一步用于：根据所述至少一个第一商品的单品数量信息以及单品价格信息，得到第一商品结算结果。
在一种可选的方式中，所述检测模块还用于：根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含无需计数结算的至少一个第二商品；
所述结算模块还用于：若判断出所述至少一个待结算商品包含无需计数结算的至少一个第二商品，根据所述至少一个第二商品的商品价格信息，得到第二商品结算结果；
所述处理模块具体用于：根据所述第一商品结算结果和第二商品结算结果进行商品结算处理。
在一种可选的方式中，所述检测模块进一步用于：
将所述商品结算图像进行计数检测，得到计数热力图；其中，所述计数热力图的热力点数据为所述商品结算图像中对应像素点为待计数单品的中心点的概率；
根据所述计数热力图，得到所述商品结算图像中至少一个待结算商品的单品数量信息。
在一种可选的方式中，所述检测模块进一步用于：针对任一待结算商品，统计该待结算商品的预测框内热力点数据高于第一预设阈值的热力点的数目，根据数目得到所述待结算商品的单品数量信息。
在一种可选的方式中，所述检测模块进一步用于：
将所述至少一个待结算商品的单品数量信息与第二预设阈值进行比较，根据比较结果和/或商品配置信息判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品。
在一种可选的方式中，所述检测模块进一步用于：
查询所述商品结算图像中至少一个待结算商品的商品配置信息，其中，所述商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息；
根据所述至少一个待结算商品的商品配置信息，判断所述商品结算图像是否包含需计数结算的至少一个第一商品。
在一种可选的方式中，所述装置还包括：训练模块，用于训练得到预测网络，所述预测网络至少包括计数分支网络；
所述检测模块进一步用于：将所述商品结算图像输入到所述计数分支网络中，得到所述计数分支网络输出的计数热力图。
在一种可选的方式中，所述预测网络还包括：定位分支网络和分类分支网络；
所述检测模块进一步用于：将所述商品结算图像输入到所述定位分支网络和所述分类分支网络中，得到所述定位分支网络和所述分类分支网络输出的至少一个待结算商品的预测框的位置信息。
在一种可选的方式中，所述检测模块还用于：
对所述至少一个待结算商品的预测框进行过滤处理，过滤掉与其它预测框存在部分重合的预测框，和/或，过滤掉置信度低于预设置信度阈值的预测框。
在一种可选的方式中，所述预测网络还包括：特征提取分支网络；
所述检测模块还用于：在将所述商品结算图像输入到所述计数分支网络、所述定位分支网络和/或所述分类分支网络之前，利用特征提取分支网络对所述商品结算图像进行特征提取。
在一种可选的方式中，所述预测网络还包括：下采样分支网络；
所述检测模块还用于：在将所述商品结算图像输入到所述计数分支网络、所述定位分支网络和/或所述分类分支网络之前，利用下采样分支网络对经过特征提取的商品结算图像进行下采样处理。
在一种可选的方式中，所述训练模块进一步用于：
获取样本图像集合，对所述样本图像集合中的样本图像进行标注；
从样本图像集合中提取一样本图像，将样本图像输入至待训练的预测网络中，根据该样本图像的标注分别生成计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息；
分别根据计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息，对计数分支网络、定位分支网络和分类分支网络进行训练。
在一种可选的方式中，所述训练模块进一步用于：
对样本图像中的至少一个样本商品的检测框进行标注，对样本图像中的至少一个待计数样本单品的检测框进行标注；
将所标注的样本图像中的至少一个样本商品的检测框作为定位分支网络和分类分支网络的监督信息；
根据所标注的样本图像中的至少一个待计数样本单品的检测框计算至少一个待计数样本单品的中心点位置，将至少一个待计数样本单品的中心点位置作为计数分支网络的监督信息。
根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述商品结算处理方法对应的操作。
根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述商品结算处理方法对应的操作。
根据本发明实施例提供的商品结算处理方法及装置，通过对商品结算图像进行检测，可以识别出待结算商品，接着判断待结算商品中是否存在需计数结算的第一商品，若是，则按第一商品的单品数量信息进行第一商品的结算处理。本发明实施例能够区分出按份结算和按单品个数结算的商品，针对按单品个数结算的商品，根据所获取的单品数量信息对商品进行结算，满足了实际场景中按单品个数进行结算的需求，提升了智慧收银系统的效能。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明一个实施例提供的商品结算处理方法的流程图；
图2示出了本发明另一个实施例提供的商品结算处理方法的流程图；
图3示出了本发明一个实施例中商品结算图像的示意图；
图4示出了本发明又一个实施例提供的商品结算处理方法的流程图；
图5示出了本发明一个实施例提供的预测网络的训练方法流程图；
图6示出了本发明实施例预测网络的结构示意图；
图7示出了本发明实施例提供的商品结算处理装置的结构示意图；
图8示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明一个实施例提供的商品结算处理方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，获取经拍摄得到的商品结算图像。
当用户在智慧门店中选购了一些商品之后，将选购的待结算商品放置到智慧收银系统的摄像头下方，摄像头拍摄这些待结算商品得到商品结算图像。智慧收银系统获取经拍摄得到的商品结算图像，进行后续的检测分析。
步骤102，将商品结算图像进行检测，判断商品结算图像是否包含需计数结算的至少一个第一商品；其中第一商品包含一个或多个待计数单品。
将商品结算图像进行检测，得到至少一个待结算商品，判断至少一个待结算商品中是否存在需计数结算的至少一个第一商品。以待结算商品为菜品为例，用户同时选购了一盘鸡腿（包含2个鸡腿）、一盘红烧狮子头（包含3个狮子头）、一盘土豆丝和一碗米饭，通过对商品结算图像进行检测，得到多个待结算商品为：鸡腿、红烧狮子头、土豆丝和米饭。其中，通过检测可以获知用户所选购的这盘鸡腿和红烧狮子头是能够按单品个数进行计数结算的商品，这盘鸡腿中的单个鸡腿可记为待计数单品，红烧狮子头中的狮子头记为待计数单品，而土豆丝和米饭是按份结算的商品。
进一步的，通过对商品结算图像进行检测，还可以得到各个待结算商品的单品数量信息（以下用count值来表示）。在上面的例子中，所得到的待结算商品的count值为：鸡腿为2、红烧狮子头为3、土豆丝为0和米饭为0。对于检测出的无需计数结算的商品，其count值可以设定为0，也可以设定为负数，用于与其它可计数结算的商品的count值做区分，本发明对此不作具体限制。
作为本发明实施例的一种可选的实施方式，判断商品结算图像是否包含需计数结算的至少一个第一商品具体包括：查询商品结算图像中至少一个待结算商品的商品配置信息，其中，商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息；根据至少一个待结算商品的商品配置信息，判断商品结算图像是否包含需计数结算的至少一个第一商品。在该实施方式中，商户可以根据自身运营需求来设置商品配置信息，虽然通过检测得到鸡腿和红烧狮子头是能够按单品个数进行计数结算的商品，但商户仍可以根据自身需要来设置相应的商品是否需计数结算。例如，商户对鸡腿设置的配置信息为需计数结算，对红烧狮子头设置的配置信息为无需计数结算，通过查询商品配置信息，可以判断从商品结算图像中识别出的哪些待结算商品是需计数结算的第一商品。
作为本发明实施例的另一种可选的实施方式，判断商品结算图像是否包含需计数结算的至少一个第一商品具体包括：根据至少一个待结算商品的单品数量信息，判断商品结算图像是否包含需计数结算的至少一个第一商品。在该实施方式中，可以直接根据检测结果来确定商品结算图像中是否包含第一商品。在上面的例子中，通过检测可以获知用户所选购的鸡腿和红烧狮子头是能够按单品个数进行计数结算的商品，则直接将鸡腿和红烧狮子头作为第一商品输出。
步骤103，若是，则根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果。
若判断出商品结算图像包含需计数结算的至少一个第一商品，则根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果。具体的，根据至少一个第一商品的单品数量信息以及单品价格信息，得到第一商品结算结果。针对任一第一商品，获取第一商品的单品价格与第一商品的count值相乘的结果作为第一商品的价格，将所有第一商品的价格进行累加得到第一商品结算结果。例如，对于步骤102判断得到的需计数结算的鸡腿来说，将鸡腿单品价格与鸡腿个数相乘得到这盘鸡腿的价格。
进一步的，若判断出商品结算图像除了包含需计数结算的至少一个第一商品之外，还根据至少一个待结算商品的单品数量信息和/或商品配置信息，判断出至少一个待结算商品还包含无需计数结算的至少一个第二商品，则根据至少一个第二商品的商品价格信息，得到第二商品结算结果。例如，对于步骤102判断得到的无需计数结算的其它商品来说，属于第二商品，需按份结算，将各个商品的商品价格进行累加，得到第二商品结算结果。
步骤104，根据第一商品结算结果进行商品结算处理。
根据步骤103得到的商品结算结果进行商品结算处理。具体的，向用户展示商品结算页面，在商品结算页面中呈现待结算商品的相关信息以及待结算商品的结算总价，以供用户完成支付。可选地，在商品结算处理过程中，可以在商品结算页面中实时呈现商品结算图像，并在商品结算图像中标注出所检测得到的至少一个待结算商品的预测框，至少一个待结算商品的商品描述信息（包括商品名称、商品价格等）和/或至少一个第一商品的单品数量信息。
本发明实施例提供的方法应用于智慧收银系统，具体可应用于自助餐厅或快餐店等餐饮门店中，用于对用户自选的菜品进行结算；也可应用于水果、生鲜、超市等商铺中，用于对用户自选的商品进行结算，以水果为例，本发明实施例可根据商户需求进行按个结算。
根据本发明实施例提供的商品结算处理方法，通过对商品结算图像进行检测，可以识别出待结算商品，接着判断待结算商品中是否存在需计数结算的第一商品，若是，则按第一商品的单品数量信息进行第一商品的结算处理。本发明实施例能够区分出按份结算和按单品个数结算的商品，针对按单品个数结算的商品，根据所获取的单品数量信息对商品进行结算，满足了实际场景中按单品个数进行结算的需求，提升了智慧收银系统的效能。
图2示出了本发明另一个实施例提供的商品结算处理方法的流程图，如图2所示，该方法包括以下步骤：
步骤201，获取经拍摄得到的商品结算图像。
图3示出了本发明一个实施例中商品结算图像的示意图，如图3所示，假设用户在某餐厅就餐，选购了四样菜品放入托盘中，将托盘放置到智慧收银系统的摄像头下方，摄像头拍摄菜品图像得到商品结算图像30。
步骤202，将商品结算图像进行定位检测，得到至少一个待结算商品。
将商品结算图像进行定位检测，定位检测的目的是检测商品结算图像中至少一个待结算商品的位置信息，如图3所示，通过定位检测，得到商品结算图像30中四样菜品的预测框31、32、33和34，可选地，待结算商品的位置信息可以利用预测框的中心点位置和预测框的长宽来表征。
进一步的，在确定商品结算图像中至少一个待结算商品的位置信息之后，对相应预测框内的商品进行进一步识别，得到商品的描述信息，如商品名称、商品价格等描述信息。例如，通过识别获知预测框31、32、33和34分别对应于一盘鸡腿（包含2个鸡腿）、一盘红烧狮子头（包含3个狮子头）、一盘土豆丝和一碗米饭。
步骤203，将商品结算图像进行计数检测，得到计数热力图。
将商品结算图像进行计数检测，计数检测的目的是检测商品结算图像中各个像素点为待计数单品的中心点的概率，得到计数热力图。计数热力图的热力点数据具体为商品结算图像中对应像素点为待计数单品的中心点的概率。
计数热力图的热力点与商品结算图像的像素点一一对应。如图3所示，假设目标框311是预测框31对应的商品所包含的一个单品，那么在计数热力图中该目标框311的中心点的热力点数据要高于其它非中心点的热力点数据，同理，其它单品对应的目标框的中心点的热力点数据高于其它非中心点的热力点数据。
本实施例中，定位检测和计数检测是两个独立的过程，执行顺序不分先后，也即本实施例对步骤202和步骤203的执行顺序不作限定，可以先后执行，也可以同时执行。
步骤204，根据计数热力图，得到商品结算图像中至少一个待结算商品的单品数量信息。
根据上面的描述可知，计数热力图表征了商品结算图像中像素点为待计数单品的中心点的概率，那么，针对任一待结算商品，统计该待结算商品的预测框内热力点数据高于第一预设阈值的热力点的数目，根据数目得到待结算商品的单品数量信息。
具体地，本步骤结合步骤202和步骤203的输出结果，统计各个待结算商品的单品数量信息。首先，根据步骤202的输出结果，定位各个待结算商品的位置信息（定位各个待结算商品的预测框）；然后，根据步骤203输出的计数热力图，统计该待结算商品的预测框内热力点数据高于第一预设阈值的热力点的数目，其中，第一预设阈值为预设值。如图3所示，预测框31、32、33和34内热力点数据高于第一预设阈值的热力点的数目分别为2、3、0、0。结合上面的例子，所得到的待结算商品的count值为：鸡腿为2、红烧狮子头为3、土豆丝为0和米饭为0。
步骤205，根据至少一个待结算商品的单品数量信息和/或商品配置信息，判断至少一个待结算商品是否包含需计数结算的至少一个第一商品和/或无需计数结算的至少一个第二商品。
将至少一个待结算商品的单品数量信息与第二预设阈值进行比较，得到比较结果。其中，第二预设阈值可以为0或1，具体为：判断各个待结算商品的count值是否大于0，或是否大于或等于1，若是，则表明待结算商品包含数个单品。
进一步的，根据比较结果和/或商品配置信息判断至少一个待结算商品是否包含需计数结算的至少一个第一商品。
作为本发明实施例的一种可选的实施方式，根据商品配置信息判断至少一个待结算商品是否包含需计数结算的至少一个第一商品，具体为：查询商品结算图像中至少一个待结算商品的商品配置信息，其中，商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息；根据至少一个待结算商品的商品配置信息，判断商品结算图像是否包含需计数结算的至少一个第一商品。在该实施方式中，商户可以根据自身运营需求来设置商品配置信息，虽然通过检测得到鸡腿和红烧狮子头是能够按单品个数进行计数结算的商品，但商户仍可以根据自身需要来设置相应的商品是否需计数结算。例如，商户对鸡腿设置的配置信息为需计数结算，对红烧狮子头设置的配置信息为无需计数结算，通过查询商品配置信息，可以判断从商品结算图像中识别出的哪些待结算商品是需计数结算的第一商品。
作为本发明实施例的另一种可选的实施方式，根据比较结果判断至少一个待结算商品是否包含需计数结算的至少一个第一商品，在上面的例子中，通过检测可以获知用户所选购的鸡腿和红烧狮子头是能够按单品个数进行计数结算的商品，则直接将鸡腿和红烧狮子头作为第一商品输出。
步骤206，根据至少一个第一商品的单品数量信息及单品价格信息，得到第一商品结算结果；和/或，根据至少一个第二商品的商品价格信息，得到第二商品结算结果。
针对任一第一商品，获取第一商品的单品价格与第一商品的count值相乘的结果作为第一商品的价格，将所有第一商品的价格进行累加得到第一商品结算结果。
进一步的，若根据至少一个待结算商品的单品数量信息和/或商品配置信息，判断出至少一个待结算商品包含无需计数结算的至少一个第二商品，则根据至少一个第二商品的商品价格信息，得到第二商品结算结果。
步骤207，根据第一商品结算结果和/或第二商品结算结果进行商品结算处理。
在得到第一商品结算结果和/或第二商品结算结果之后，进行商品结算处理。具体的，向用户展示商品结算页面，在商品结算页面中呈现待结算商品的相关信息以及待结算商品的结算总价，以供用户完成支付。可选地，在商品结算处理过程中，可以在商品结算页面中实时呈现商品结算图像，并在商品结算图像中标注出所检测得到的至少一个待结算商品的预测框，至少一个待结算商品的商品描述信息（包括商品名称、商品价格等）和/或至少一个第一商品的单品数量信息。
根据本发明实施例提供的商品结算处理方法，通过对商品结算图像进行定位检测和计数检测，可以识别出待结算商品并确定待结算商品的单品数量信息，接着判断待结算商品中是否存在需计数结算的第一商品，若是，则按第一商品的单品数量信息进行第一商品的结算处理。本发明实施例能够区分出按份结算和按单品个数结算的商品，针对按单品个数结算的商品，根据所获取的单品数量信息对商品进行结算，满足了实际场景中按单品个数进行结算的需求，提升了智慧收银系统的效能。计数检测输出的计数热力图能准确地反映商品结算图像中各个像素点为待计数单品的中心点的概率，根据计数热力图能够准确地得到待结算商品的单品数量信息，提升了智能收银识别的准确率。
图4示出了本发明又一个实施例提供的商品结算处理方法的流程图，如图4所示，该方法包括以下步骤：
步骤401，训练得到预测网络。
为了提升技术方案的通用性和可扩展性，本实施例采用预先训练预测网络的方式，训练得到的预测网络可以实现商品结算图像的定位检测和计数检测。
图5示出了本发明一个实施例提供的预测网络的训练方法流程图，如图5所示，预测网络的训练包括如下步骤：
步骤501，获取样本图像集合，对样本图像集合中的样本图像进行标注。
首先，采集样本图像，获取样本图像集合，其中样本图像中包含至少一个样本商品。样本图像集合中应当具有一定数量的样本图像，这些样本图像包含可按单品计数的样本商品，以保证样本多样性和丰富性。
对样本图像集合中的样本图像进行标注，样本图像的标注主要是检测框的标注，其中包括：样本商品的检测框的标注和待计数样本单品的检测框的标注。可参考图3，假设图3为一样本图像，标注工作具体为：对样本图像中的样本商品的检测框（对应于预测框）进行标注，对样本图像中的待计数样本单品的检测框（对应于目标框）进行标注。
步骤502，从样本图像集合中提取一样本图像，将样本图像输入至待训练的预测网络中，根据该样本图像的标注分别生成计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息。
该预测网络包括：用于学习样本商品的检测框的定位分支网络和分类分支网络，以及用于根据待计数样本单品的检测框学习计数热力图的计数分支网络。
其中定位分支网络和分类分支网络用于定位检测，将所标注的样本图像中的至少一个样本商品的检测框作为定位分支网络和分类分支网络的监督信息。其中，定位分支网络利用监督信息，学习样本商品的检测框，具体对每个检测框的中心点以及检测框的长宽信息使用高斯核生成中心点的热力图。分类分支网络不对商品类别进行区分，也不用于识别商品，使用监督信息训练二分类模型，分类为商品类和非商品类（即背景类）。结合定位分支网络和分类分支网络实现商品定位。
计数分支网络用于计数检测，根据所标注的样本图像中的至少一个待计数样本单品的检测框计算至少一个待计数样本单品的中心点位置，将至少一个待计数样本单品的中心点位置作为计数分支网络的监督信息。具体的，计数分支网络利用监督信息，学习待计数样本单品的中心点的热力图。
步骤503，分别根据计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息，对计数分支网络、定位分支网络和分类分支网络进行训练。
在一个具体的实施方式中，预测网络还包括：特征提取分支网络和下采样分支网络，在训练过程中，首先样本图像经过特征提取分支网络进行特征提取，得到样本图像的特征图；通过下采样分支网络对样本图像的特征图进行下采样处理，例如以倍率R进行下采样；随后，经过计数分支网络、定位分支网络和分类分支网络，得到样本商品的位置信息和类别（仅有商品类一类），还得到待计数样本单品的中心点热力图。分类分支网络使用分类损失函数学习所有商品中心点的概率。定位分支网络学习原图上的商品中心点与特征图上商品中心点下采样导致的偏移量以及每个商品中心点对应检测框的长宽。计数分支网络仅学习待计数单品的检测框内需要计数的单品的中心点（如两根香肠为一个菜品，每根香肠有个计数中心点）。
具体地，将原样本图像（原图）中标注的检测框的中心点映射至特征图上，即：
Figure 993176DEST_PATH_IMAGE001
其中，R为下采样倍率，p为原样本图像，p ̃为特征图上的点，p/R向下取整得到点在特征图上的位置，通过如下高斯核分散到特征图上。
Figure 972633DEST_PATH_IMAGE002
计数标注的检测框同样使用上述操作映射至特征图上，并用高斯核处理，得到计数分支网络的监督信息。
分类分支网络和计数分支网络使用如下函数作为损失函数：
Figure 752370DEST_PATH_IMAGE003
该损失函数是交叉熵损失函数的改进版，用于学习特征图上每个点是否为商品中心点的概率。
定位损失包含两个，其一是特征图上中心点相对于原图的偏移量，如下：
Figure 147579DEST_PATH_IMAGE004
其二使用L1 loss（预测值与真实值之差的绝对值）学习每个检测框的长宽。据此，定位分支网络可以得到预测的中心点和长宽，以此得到预测的框。
步骤402，获取经拍摄得到的商品结算图像。
步骤403，将商品结算图像输入至预测网络中，利用预测网络进行定位预测和计数预测，得到至少一个待结算商品的预测框以及商品结算图像对应的计数热力图。
图6示出了本发明实施例预测网络的结构示意图。参照图6，在将商品结算图像（原图）输入至预测网络中之后，首先利用特征提取分支网络对商品结算图像进行特征提取，然后利用下采样分支网络对经过特征提取的商品结算图像进行下采样处理，得到特征图。
接着，将特征图输入到定位分支网络和分类分支网络中，得到定位分支网络和分类分支网络输出的至少一个待结算商品的预测框的位置信息。以下采样倍率为4为例，分类分支网络输出一个H/4×W/4×1的热力图，表示是商品的概率，概率值为0~1之间，概率越大表明是商品的可能性越大。定位分支网络输出一个H/4×W/4×2的的偏移量和一个H/4×W/4×2的长宽，分别表示热力图上每个点对应的原图上的商品中心点与特征图上商品中心点下采样导致的偏移量，以及每个商品中心点对应预测框的长宽，此处仅将分类的热力图上概率大于阈值的点（分类为商品类的点），结合其偏移量和长宽得到预测框。
同时，将特征图输入到计数分支网络中，得到计数热力图。以下采样倍率为4为例，得到一个H/4×W/4×1的热力图，表示是待计数单品的概率，概率值为0~1之间，概率越大表明是待计数单品的可能性越大。
步骤404，对至少一个待结算商品的预测框进行过滤处理，过滤掉与其它预测框存在部分重合的预测框，和/或，过滤掉置信度低于预设置信度阈值的预测框。
为了提升定位预测的准确性，在得到至少一个待结算商品的预测框之后，进行过滤处理，过滤掉冗余的预测框。具体方式是，根据预测框的重合情况进行过滤，对于两个存在部分重合的预测框或重合范围超过一范围阈值的预测框，可以考虑过滤掉其中一个预测框，或者，根据预测框的置信度进行过滤，过滤掉置信度低于预设置信度阈值的预测框。
步骤405，根据至少一个待结算商品的预测框以及商品结算图像对应的计数热力图，得到商品结算图像中至少一个待结算商品的单品数量信息。
步骤406，根据至少一个待结算商品的单品数量信息和/或商品配置信息，判断至少一个待结算商品是否包含需计数结算的至少一个第一商品和/或无需计数结算的至少一个第二商品。
步骤407，根据至少一个第一商品的单品数量信息及单品价格信息，得到第一商品结算结果；和/或，根据至少一个第二商品的商品价格信息，得到第二商品结算结果。
步骤408，根据第一商品结算结果和/或第二商品结算结果进行商品结算处理。
上述步骤405至步骤408的具体执行过程可以参见图2对应的实施例的描述，在此不再赘述。
由于本发明实施例的预测网络的功能是对待结算商品的定位预测，不能识别待结算商品的商品名称，本发明可借助其它现有的商品识别模型得到待结算商品的商品名称。本发明对所使用的商品识别模型不作限定。
本发明实施例采用训练的预测网络对商品结算图像进行定位预测和计数预测，由于该预测网络利用大量的样本图像进行训练得到，样本图像来源于不同的商户，而且预测网络是与商品类别无关的模型，因此预测网络具有广泛的通用性和可扩展性，一方面，不同的商户可以使用相同的预测网络，实现了资源共享；另一方面，当商户更换或增加商品时，无需重新训练预测网络，避免了商品漏检测，也避免了系统进行频繁更新，提升了运行效率。
本发明实施例中，将计数分支网络嵌入到预测网络中，与定位分支网络和分类分支网络共同作用，当用户选购的商品包含按单品个数结算的商品时，根据计数分支网络的输出结果能区分出按份结算和按单品个数结算的商品，针对按单品个数结算的商品，根据所获取的单品数量信息对商品进行结算，满足了实际场景中按单品个数进行结算的需求，提升了智慧收银系统的效能。
图7示出了本发明实施例提供的商品结算处理装置的结构示意图。如图7所示，该装置700包括：
图像获取模块701，用于获取经拍摄得到的商品结算图像；
检测模块702，用于将所述商品结算图像进行检测，判断所述商品结算图像是否包含需计数结算的至少一个第一商品；所述第一商品包含一个或多个待计数单品；
结算模块703，用于若判断出所述商品结算图像包含需计数结算的至少一个第一商品，则根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果；
处理模块704，用于根据所述第一商品结算结果进行商品结算处理。
在一种可选的方式中，所述检测模块进一步用于：
将所述商品结算图像进行检测，得到至少一个待结算商品及其单品数量信息；
根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品；其中，所述商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息。
在一种可选的方式中，所述装置还包括：呈现模块，用于在商品结算页面中呈现所述至少一个待结算商品的预测框，至少一个待结算商品的商品描述信息和/或至少一个第一商品的单品数量信息。
在一种可选的方式中，所述结算模块进一步用于：根据所述至少一个第一商品的单品数量信息以及单品价格信息，得到第一商品结算结果。
在一种可选的方式中，所述检测模块还用于：根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含无需计数结算的至少一个第二商品；
所述结算模块还用于：若判断出所述至少一个待结算商品包含无需计数结算的至少一个第二商品，根据所述至少一个第二商品的商品价格信息，得到第二商品结算结果；
所述处理模块具体用于：根据所述第一商品结算结果和第二商品结算结果进行商品结算处理。
在一种可选的方式中，所述检测模块进一步用于：
将所述商品结算图像进行计数检测，得到计数热力图；其中，所述计数热力图的热力点数据为所述商品结算图像中对应像素点为待计数单品的中心点的概率；
根据所述计数热力图，得到所述商品结算图像中至少一个待结算商品的单品数量信息。
在一种可选的方式中，所述检测模块进一步用于：针对任一待结算商品，统计该待结算商品的预测框内热力点数据高于第一预设阈值的热力点的数目，根据数目得到所述待结算商品的单品数量信息。
在一种可选的方式中，所述检测模块进一步用于：
将所述至少一个待结算商品的单品数量信息与第二预设阈值进行比较，根据比较结果和/或商品配置信息判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品。
在一种可选的方式中，所述检测模块进一步用于：
查询所述商品结算图像中至少一个待结算商品的商品配置信息，其中，所述商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息；
根据所述至少一个待结算商品的商品配置信息，判断所述商品结算图像是否包含需计数结算的至少一个第一商品。
在一种可选的方式中，所述装置还包括：训练模块705，用于训练得到预测网络，所述预测网络至少包括计数分支网络；
所述检测模块进一步用于：将所述商品结算图像输入到所述计数分支网络中，得到所述计数分支网络输出的计数热力图。
在一种可选的方式中，所述预测网络还包括：定位分支网络和分类分支网络；
所述检测模块进一步用于：将所述商品结算图像输入到所述定位分支网络和所述分类分支网络中，得到所述定位分支网络和所述分类分支网络输出的至少一个待结算商品的预测框的位置信息。
在一种可选的方式中，所述检测模块还用于：
对所述至少一个待结算商品的预测框进行过滤处理，过滤掉与其它预测框存在部分重合的预测框，和/或，过滤掉置信度低于预设置信度阈值的预测框。
在一种可选的方式中，所述预测网络还包括：特征提取分支网络；
所述检测模块还用于：在将所述商品结算图像输入到所述计数分支网络、所述定位分支网络和/或所述分类分支网络之前，利用特征提取分支网络对所述商品结算图像进行特征提取。
在一种可选的方式中，所述预测网络还包括：下采样分支网络；
所述检测模块还用于：在将所述商品结算图像输入到所述计数分支网络、所述定位分支网络和/或所述分类分支网络之前，利用下采样分支网络对经过特征提取的商品结算图像进行下采样处理。
在一种可选的方式中，所述训练模块进一步用于：
获取样本图像集合，对所述样本图像集合中的样本图像进行标注；
从样本图像集合中提取一样本图像，将样本图像输入至待训练的预测网络中，根据该样本图像的标注分别生成计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息；
分别根据计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息，对计数分支网络、定位分支网络和分类分支网络进行训练。
在一种可选的方式中，所述训练模块进一步用于：
对样本图像中的至少一个样本商品的检测框进行标注，对样本图像中的至少一个待计数样本单品的检测框进行标注；
将所标注的样本图像中的至少一个样本商品的检测框作为定位分支网络和分类分支网络的监督信息；
根据所标注的样本图像中的至少一个待计数样本单品的检测框计算至少一个待计数样本单品的中心点位置，将至少一个待计数样本单品的中心点位置作为计数分支网络的监督信息。
根据本发明实施例提供的商品结算处理装置，通过对商品结算图像进行检测，可以识别出待结算商品，判断待结算商品中是否存在需计数结算的第一商品，若是，则按第一商品的单品数量信息进行第一商品的结算处理。本发明实施例能够区分出按份结算和按单品个数结算的商品，针对按单品个数结算的商品，根据所获取的单品数量信息对商品进行结算，满足了实际场景中按单品个数进行结算的需求，提升了智慧收银系统的效能。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的商品结算处理方法。
图8示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图8所示，该计算设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中：
处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。
通信接口804，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器802，用于执行程序810，具体可以执行上述商品结算处理方法实施例中的相关步骤。
具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。
处理器802可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行上述任意方法实施例中的商品结算处理方法。程序810中各步骤的具体实现可以参见上述商品结算处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (19)

1.一种商品结算处理方法，其特征在于，包括：
获取经拍摄得到的商品结算图像；
将所述商品结算图像进行定位检测，得到商品结算图像中至少一个待结算商品的预测框的位置信息；
判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品；所述第一商品包含一个或多个待计数单品；
若是，则根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果，其中，第一商品的单品数量信息是根据统计第一商品的预测框内单品的数目而得到；
根据所述第一商品结算结果进行商品结算处理。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述商品结算图像进行计数检测，统计任一预测框内单品的数目作为对应的待结算商品的单品数量信息；
所述判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品进一步包括：根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品；其中，所述商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在商品结算页面中呈现所述至少一个待结算商品的预测框，至少一个待结算商品的商品描述信息和/或至少一个第一商品的单品数量信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果具体为：根据所述至少一个第一商品的单品数量信息以及单品价格信息，得到第一商品结算结果。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含无需计数结算的至少一个第二商品；
若是，则根据所述至少一个第二商品的商品价格信息，得到第二商品结算结果；
所述根据所述第一商品结算结果进行商品结算处理具体为：根据所述第一商品结算结果和第二商品结算结果进行商品结算处理。
6.根据权利要求2所述的方法，其特征在于，所述将所述商品结算图像进行计数检测，统计任一预测框内单品的数目作为对应的待结算商品的单品数量信息进一步包括：
将所述商品结算图像进行计数检测，得到计数热力图；其中，所述计数热力图的热力点数据为所述商品结算图像中对应像素点为待计数单品的中心点的概率；
根据所述计数热力图，统计任一预测框内单品的数目作为对应的待结算商品的单品数量信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述计数热力图，统计任一预测框内单品的数目作为对应的待结算商品的单品数量信息进一步包括：
针对任一待结算商品，统计该待结算商品的预测框内热力点数据高于第一预设阈值的热力点的数目，根据数目得到所述待结算商品的单品数量信息。
8.根据权利要求2-3、5-7中任一项所述的方法，其特征在于，根据所述至少一个待结算商品的单品数量信息和/或商品配置信息，判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品进一步包括：
将所述至少一个待结算商品的单品数量信息与第二预设阈值进行比较，根据比较结果和/或商品配置信息判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品。
9.根据权利要求1所述的方法，其特征在于，所述判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品进一步包括：
查询所述商品结算图像中至少一个待结算商品的商品配置信息，其中，所述商品配置信息包含商户对待结算商品预先配置的是否需计数结算的信息；
根据所述至少一个待结算商品的商品配置信息，判断所述商品结算图像是否包含需计数结算的至少一个第一商品。
10.根据权利要求6所述的方法，其特征在于，所述方法还包括：训练得到预测网络，所述预测网络至少包括计数分支网络；
所述将所述商品结算图像进行计数检测，得到计数热力图进一步包括：将所述商品结算图像输入到所述计数分支网络中，得到所述计数分支网络输出的计数热力图。
11.根据权利要求10所述的方法，其特征在于，所述预测网络还包括：定位分支网络和分类分支网络；
所述将所述商品结算图像进行定位检测，得到商品结算图像中至少一个待结算商品的预测框的位置信息进一步包括：将所述商品结算图像输入到所述定位分支网络和所述分类分支网络中，得到所述定位分支网络和所述分类分支网络输出的至少一个待结算商品的预测框的位置信息。
12.根据权利要求11所述的方法，其特征在于，在得到至少一个待结算商品的预测框的位置信息之后，所述方法还包括：
对所述至少一个待结算商品的预测框进行过滤处理，过滤掉与其它预测框存在部分重合的预测框，和/或，过滤掉置信度低于预设置信度阈值的预测框。
13.根据权利要求11所述的方法，其特征在于，所述预测网络还包括：特征提取分支网络；
所述方法还包括：在将所述商品结算图像输入到所述计数分支网络、所述定位分支网络和/或所述分类分支网络之前，利用特征提取分支网络对所述商品结算图像进行特征提取。
14.根据权利要求13所述的方法，其特征在于，所述预测网络还包括：下采样分支网络；
所述方法还包括：在将所述商品结算图像输入到所述计数分支网络、所述定位分支网络和/或所述分类分支网络之前，利用下采样分支网络对经过特征提取的商品结算图像进行下采样处理。
15.根据权利要求11所述的方法，其特征在于，所述训练得到预测网络进一步包括：
获取样本图像集合，对所述样本图像集合中的样本图像进行标注；
从样本图像集合中提取一样本图像，将样本图像输入至待训练的预测网络中，根据该样本图像的标注分别生成计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息；
分别根据计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息，对计数分支网络、定位分支网络和分类分支网络进行训练。
16.根据权利要求15所述的方法，其特征在于，所述对所述样本图像集合中的样本图像进行标注进一步包括：对样本图像中的至少一个样本商品的检测框进行标注，对样本图像中的至少一个待计数样本单品的检测框进行标注；
所述根据该样本图像的标注分别生成计数分支网络的监督信息，以及，定位分支网络和分类分支网络的监督信息进一步包括：
将所标注的样本图像中的至少一个样本商品的检测框作为定位分支网络和分类分支网络的监督信息；
根据所标注的样本图像中的至少一个待计数样本单品的检测框计算至少一个待计数样本单品的中心点位置，将至少一个待计数样本单品的中心点位置作为计数分支网络的监督信息。
17.一种商品结算处理装置，其特征在于，包括：
图像获取模块，用于获取经拍摄得到的商品结算图像；
检测模块，用于将所述商品结算图像进行定位检测，得到商品结算图像中至少一个待结算商品的预测框的位置信息；判断所述至少一个待结算商品是否包含需计数结算的至少一个第一商品；所述第一商品包含一个或多个待计数单品；
结算模块，用于若判断出所述商品结算图像包含需计数结算的至少一个第一商品，则根据所获取的至少一个第一商品的单品数量信息，得到第一商品结算结果；其中，第一商品的单品数量信息是根据统计第一商品的预测框内单品的数目而得到；
处理模块，用于根据所述第一商品结算结果进行商品结算处理。
18.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-16中任一项所述的商品结算处理方法对应的操作。
19.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-16中任一项所述的商品结算处理方法对应的操作。
CN202110161431.6A 2021-02-05 2021-02-05 商品结算处理方法、装置及计算设备、计算机存储介质 Active CN112508659B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111255842.8A CN114004672A (zh) 2021-02-05 2021-02-05 商品结算处理方法、装置及计算设备、计算机存储介质
CN202110161431.6A CN112508659B (zh) 2021-02-05 2021-02-05 商品结算处理方法、装置及计算设备、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110161431.6A CN112508659B (zh) 2021-02-05 2021-02-05 商品结算处理方法、装置及计算设备、计算机存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111255842.8A Division CN114004672A (zh) 2021-02-05 2021-02-05 商品结算处理方法、装置及计算设备、计算机存储介质

Publications (2)

Publication Number Publication Date
CN112508659A CN112508659A (zh) 2021-03-16
CN112508659B true CN112508659B (zh) 2021-09-07

Family

ID=74953209

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110161431.6A Active CN112508659B (zh) 2021-02-05 2021-02-05 商品结算处理方法、装置及计算设备、计算机存储介质
CN202111255842.8A Pending CN114004672A (zh) 2021-02-05 2021-02-05 商品结算处理方法、装置及计算设备、计算机存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111255842.8A Pending CN114004672A (zh) 2021-02-05 2021-02-05 商品结算处理方法、装置及计算设备、计算机存储介质

Country Status (1)

Country Link
CN (2) CN112508659B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906697B (zh) * 2021-05-06 2021-07-30 浙江口碑网络技术有限公司 商品识别及结算方法、装置、电子设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN110059654A (zh) * 2019-04-25 2019-07-26 台州智必安科技有限责任公司 一种基于细粒度识别的菜品自动结算及饮食健康管理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112034450A (zh) * 2019-06-03 2020-12-04 富士通株式会社 物品检测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN110059654A (zh) * 2019-04-25 2019-07-26 台州智必安科技有限责任公司 一种基于细粒度识别的菜品自动结算及饮食健康管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Objects as Points》目标检测、关键点回归;zuo yi;《https://blog.nowcoder.net/n/baaeb8887efc428b9da548e9f4171510》;20191017;第1-7页 *

Also Published As

Publication number Publication date
CN114004672A (zh) 2022-02-01
CN112508659A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN109409964B (zh) 优质品牌的识别方法及装置
WO2020215952A1 (zh) 物品识别方法和系统
WO2021042698A1 (zh) 基于视觉和重力感应的商品识别方法、装置和系统
CN104792398A (zh) 一种基于水果蔬菜的识别的一体秤
CN111061890A (zh) 一种标注信息验证的方法、类别确定的方法及装置
CN110942293B (zh) 物品信息的处理方法、设备、存储介质及系统
CN109635705B (zh) 一种基于二维码和深度学习的商品识别方法及装置
CN108090807B (zh) 信息推荐方法及装置
CN112686220B (zh) 商品识别方法及装置、计算设备、计算机存储介质
CN112906697B (zh) 商品识别及结算方法、装置、电子设备、存储介质
CN113344012B (zh) 物品识别方法、装置及设备
CN115393639B (zh) 商品智能打标方法、系统、终端设备及可读存储介质
CN112508659B (zh) 商品结算处理方法、装置及计算设备、计算机存储介质
CN111091403B (zh) 物品信息与数据处理方法、系统、设备及存储介质
CN110826481A (zh) 数据处理方法、商品识别方法、服务器和存储介质
RU2724797C1 (ru) Кассовая система и способ для идентификации блюд на подносе
CN112364702A (zh) 一种物品核验方法及装置
JP2015194791A (ja) Ｐｏｓ端末装置
CN110019983B (zh) 标签结构的扩展方法、装置及电子设备
CN111415328B (zh) 物品分析数据确定方法、装置、电子设备
CN110750623A (zh) 商品组合方法、装置、电子设备及可读存储介质
CN115601686A (zh) 物品交付确认的方法、装置和系统
CN110096946A (zh) 一种基于压感和视觉融合的无人售货系统
CN109242601A (zh) 商品信息查询方法和系统
CN112700002A (zh) 图神经网络的训练方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant