CN109697801A - 自助结算设备、方法、装置、介质及电子设备 - Google Patents
自助结算设备、方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN109697801A CN109697801A CN201710994598.4A CN201710994598A CN109697801A CN 109697801 A CN109697801 A CN 109697801A CN 201710994598 A CN201710994598 A CN 201710994598A CN 109697801 A CN109697801 A CN 109697801A
- Authority
- CN
- China
- Prior art keywords
- commodity
- settled accounts
- self
- accounts
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000001737 promoting effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006854 communication Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/009—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being an RFID reader
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
本发明提供了一种自助结算设备、方法、装置、介质及电子设备，该自助结算方法包括：在待结算商品放置在结算区域时，识别所述待结算商品是否为目标类型的商品；若所述待结算商品是所述目标类型的商品，则识别所述待结算商品的数量并获取所述待结算商品的单价，根据所述待结算商品的数量和单价生成结算信息；若所述待结算商品不是所述目标类型的商品，则识别所述待结算商品的种类并获取所述待结算商品的重量，根据所述待结算商品的种类和重量生成结算信息。本发明实施例的技术方案提高了自助结算的适用范围，有利于提升用户的自助结算体验。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种自助结算设备、方法、装置、介质及电子设备。
背景技术
传统的线下零售通常采用有人收银台的模式进行结算，主要包括收银员扫码、出票、付款等流程。在这种方案中，一个收银台需要一个收银员，人力成本较高。随着新零售概念的提出，市面上目前出现了自助结算机，这种自助结算机需要顾客自己操作扫码枪扫描商品背面的条形码，虽然解放了收银员，降低了人力成本，但扫码对顾客操作熟练程度要求偏高，影响了自助结算的效率。同时，顾客自助扫码只适用于标准品的结算，而对于非标准品，如水果、蔬菜等需要称重结算的商品并不支持。
因此，如何能够提高自助结算的适用范围，进而提升用户的自助结算体验成为亟待解决的技术问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于提供一种自助结算设备、方法、装置、介质及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面，提供了一种自助结算设备，包括：结算台，所述结算台上设置有商品放置区域；称重设备，设置在所述结算台上，用于对待结算商品进行称重；识别设备，设置在所述结算台上，用于识别待结算商品的信息；处理器，与所述称重设备和所述识别设备电连接，用于根据所述称重设备获得的重量信息和所述识别设备的识别结果，生成结算信息；输出设备，电连接至所述处理器，用于输出所述结算信息。
在本发明的一些实施例中，基于前述方案，所述识别设备包括：至少一个图像采集设备，用于采集所述待结算商品的图像信息，并将采集的图像信息传输至所述处理器。
在本发明的一些实施例中，基于前述方案，所述至少一个图像采集设备形成的图像采集区域覆盖所述商品放置区域。
在本发明的一些实施例中，基于前述方案，所述输出设备通过支架设置在所述结算台上，所述支架上延伸出对应于所述商品放置区域的承载部，所述至少一个图像采集设备设置在所述承载部上。
在本发明的一些实施例中，基于前述方案，所述识别设备包括：射频识别器，用于识别所述待结算商品上设置的射频标签，以得到所述待结算商品的信息。
在本发明的一些实施例中，基于前述方案，所述识别设备包括：条码识别器，用于识别所述待结算商品上设置的条码，以得到所述待结算商品的信息。
在本发明的一些实施例中，基于前述方案，所述输出设备包括：显示设备，所述显示设备设置在所述结算台上，用于显示所述结算信息；和/或音频播放设备，用于通过语音的方式播放所述结算信息。
根据本发明实施例的第二方面，提供了一种自助结算方法，应用于如上述实施例中第一方面所述的自助结算设备，该自助结算方法包括：在待结算商品放置在结算区域时，识别所述待结算商品是否为目标类型的商品；若所述待结算商品是所述目标类型的商品，则识别所述待结算商品的数量并获取所述待结算商品的单价，根据所述待结算商品的数量和单价生成结算信息；若所述待结算商品不是所述目标类型的商品，则识别所述待结算商品的种类并获取所述待结算商品的重量，根据所述待结算商品的种类和重量生成结算信息。
在本发明的一些实施例中，基于前述方案，识别所述待结算商品是否为目标类型的商品，包括：判断通过射频识别器和/或条码识别器是否能够识别到所述待结算商品的信息；若通过射频识别器和/或条码识别器能够识别到所述待结算商品的信息，则确定所述待结算商品为所述目标类型的商品。
在本发明的一些实施例中，基于前述方案，识别所述待结算商品是否为目标类型的商品，包括：通过图像采集设备采集包含所述待结算商品的图像；根据所述图像识别所述待结算商品的种类；根据识别到的种类，确定所述待结算商品是否为所述目标类型的商品。
在本发明的一些实施例中，基于前述方案，根据所述图像识别所述待结算商品的种类，包括：基于目标检测技术识别所述图像中的商品信息；对所述商品信息进行特征编码，以得到所述待结算商品的特征；将所述待结算商品的特征与预存储的特征进行比对，以确定所述待结算商品的种类。
在本发明的一些实施例中，基于前述方案，对所述商品信息进行特征编码，以得到所述待结算商品的特征，包括：通过多个深度神经网络分别对所述商品信息进行特征编码，以得到多个编码结果；将所述多个编码结果进行拼接，以得到所述待结算商品的特征。
在本发明的一些实施例中，基于前述方案，将所述待结算商品的特征与预存储的特征进行比对，以确定所述待结算商品的种类，包括：计算所述待结算商品的特征与预存储的特征之间的距离；将预存储的特征中与所述待结算商品的特征之间的距离小于预定阈值的特征作为匹配到的目标特征；将所述目标特征对应的商品种类作为所述待结算商品的种类。
在本发明的一些实施例中，基于前述方案，基于Faster-RCNN算法识别所述图像中的商品信息。
在本发明的一些实施例中，基于前述方案，所述的自助结算方法还包括：输出所述结算信息。
根据本发明实施例的第三方面，提供了一种自助结算装置，应用于如上述实施例中第一方面所述的自助结算设备，该自助结算装置包括：识别单元，用于在待结算商品放置在结算区域时，识别所述待结算商品是否为目标类型的商品；第一处理单元，用于在所述待结算商品是所述目标类型的商品时，识别所述待结算商品的数量并获取所述待结算商品的单价，根据所述待结算商品的数量和单价生成结算信息；第二处理单元，用于在所述待结算商品不是所述目标类型的商品时，识别所述待结算商品的种类并获取所述待结算商品的重量，根据所述待结算商品的种类和重量生成结算信息。
根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的自助结算方法。
根据本发明实施例的第五方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的自助结算方法。
在本发明的一些实施例所提供的技术方案中，由于自助结算设备包括称重设备和识别设备，因此当待结算商品放置在结算台上的商品放置区域时，若识别设备识别到待结算商品为标准品，则可以直接进行结算，若识别设备识别到待结算商品为非标准品，则可以通过称重设备来获取重量信息，以根据重量信息来进行结算。可见，本发明实施例中的自助结算设备不仅能够对标准品进行结算，而且能够对非标准品进行结算，提高了自助结算的适用范围，有利于提升用户的自助结算体验。
在本发明的一些实施例所提供的技术方案中，通过在待结算商品放置在结算区域时，识别待结算商品是否为目标类型的商品(如是否为标准品)，若待结算商品是目标类型的商品，则根据待结算商品的数量和单价生成结算信息，若待结算商品不是目标类型的商品，则根据待结算商品的重量和种类生成结算信息，使得能够对不同类型的商品(如标准品和非标准品)都能够自动生成结算信息，提高了自助结算的适用范围，有利于提升用户的自助结算体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据本发明的第一个实施例的自助结算设备的结构示意图；
图2示出了根据本发明的实施例的摄像头的设置位置示意图；
图3示出了根据本发明的第二个实施例的自助结算设备的结构示意图；
图4示意性示出了根据本发明的实施例的自助结算方法的流程图；
图5示意性示出了根据本发明的实施例的根据图像识别待结算商品的种类的流程图；
图6示意性示出了根据本发明的实施例的自助结算装置的框图；
图7示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了根据本发明的第一个实施例的自助结算设备的结构示意图。
参照图1所示，该自助结算设备包括结算台11，结算台11上设置有商品放置区域111，结算台11上设置有称重设备和识别设备。其中，称重设备优选设置在商品放置区域111中，这样便于对待结算商品进行称重。识别设备用于识别待结算商品的信息。
该自助结算设备还包括：处理器与输出设备。其中，该处理器与称重设备和识别设备电连接，用于根据所述称重设备获得的重量信息和所述识别设备的识别结果，生成结算信息；输出设备电连接至所述处理器，用于输出所述结算信息。
在本发明的实施例中，如图1所示，上述的输出设备可以是显示设备16，该显示设备16用于显示结算信息，显示设备16通过支架14设置在结算台11上。当然，输出设备还可以包括音频播放设备，该音频播放设备可以用于播放结算信息。
在本发明的实施例中，识别设备可以包括射频识别器，该射频识别器用于识别待结算商品上设置的射频标签，以得到待结算商品的信息。可选地，如图1所示，射频识别器可以设置在显示设备16下方的区域13处，这样当待结算商品放置在商品放置区域111上时，射频识别器可以方便地识别到待结算商品的信息。
在本发明的实施例中，识别设备还可以包括用于采集待结算商品的图像信息的至少一个图像采集设备。可选地，该图像采集设备可以是摄像头。其中，至少一个图像采集设备形成的图像采集区域可以覆盖商品放置区域111，以便于采集放置在商品放置区域111内的商品图像。
可选地，在本发明的实施例中，如图1所示，支架14上延伸出对应于商品放置区域111的承载部15，上述的至少一个图像采集设备设置在承载部15上。在本发明的实施例中，如图2所示，可以在承载部15上设置4个摄像头12，以用于采集待结算商品的图像信息。
需要说明的是，在本发明的其它实施例中，可以根据实际需要调整摄像头的数量，并且还可以在结算台11上设置摄像头，以对待结算商品进行全方位拍摄。此外，还可以设置单独的用于放置图像采集设备的支架。
在本发明的实施例中，所述识别设备还可以包括：条码识别器，用于识别所述待结算商品上设置的条码，以得到所述待结算商品的信息。
在本发明的实施例中，自助结算设备还可以设置为可移动式的，具体如图3所示，这样能够提高自助结算设备的灵活性。
在介绍了本发明实施例的自助结算设备的结构之后，以下对本发明实施例的自助结算方法进行阐述。
图4示意性示出了根据本发明的实施例的自助结算方法的流程图，该自助结算方法可以应用于上述实施例中所述的自助结算设备。
参照图4所示，根据本发明的实施例的自助结算方法，包括：
步骤S402，在待结算商品放置在结算区域时，识别所述待结算商品是否为目标类型的商品。
在本发明的实施例中，目标类型的商品是不需要进行称重即可进行结算的商品，比如已经包装好的具有条码或射频标签的标准品等。
对于识别待结算商品是否为目标类型的商品，本发明提出了如下几种识别方案：
识别方案一：
判断通过射频识别器是否能够识别到所述待结算商品的信息；若通过射频识别器能够识别到所述待结算商品的信息，则确定所述待结算商品为所述目标类型的商品。
在识别方案一中需要在商品上设置射频标签，这样能够通过射频识别器识别待结算商品是否为目标类型的商品。
识别方案二：
判断通过条码识别器是否能够识别到所述待结算商品的信息；若通过条码识别器能够识别到所述待结算商品的信息，则确定所述待结算商品为所述目标类型的商品。
识别方案三：
通过图像采集设备采集包含所述待结算商品的图像；根据所述图像识别所述待结算商品的种类；根据识别到的种类，确定所述待结算商品是否为所述目标类型的商品。
对于识别方案三，参照图5所示，根据所述图像识别所述待结算商品的种类，包括以下步骤：
步骤S501，基于目标检测技术识别所述图像中的商品信息。
在本发明的实施例中，目标检测技术需要构建相应的距离函数来捕获相应的特征来进行检测。例如如果目标是识别人脸，那么就需要构建一个距离函数去强化合适的特征(如发色，脸型等)；而如果目标是识别姿势，那么就需要构建一个捕获姿势相似度的距离函数。为了处理各种各样的特征相似度，可以针对特定的任务通过选择合适的特征并手动构建距离函数。然而这种方法需要很大的人工投入，并且也会出现对数据的改变适应性不强的问题。因此本发明的实施例采用了度量学习的方案作为替代，以根据不同的任务来自主学习出针对某个特定任务的度量距离函数。
需要说明的是：度量学习(Metric Learning)就是常说的相似度学习。如果需要计算两张图片之间的相似度，如何度量图片之间的相似度使得不同类别的图片相似度小而相同类别的图片相似度大(maximize the inter-class variations and minimize theintra-class variations)就是度量学习的目标。
在本发明的实施例中，可以采用Faster-RCNN进行商品检测，Faster-RCNN是一种由RPN(Region Proposal Network)和RCNN(Region CNN)组成，RPN输出可能是感兴趣物体的位置和大小，RCNN对每一个候选位置进行分类。RPN和RCNN本质上均是卷积神经网络(Convolutional Neural Network，CNN)，但两者共享了特征抽取层，因此Faster-RCNN执行效率高，在GPU(Graphics Processing Unit，图形处理器)的帮助下，可以做到实时。
步骤S502，对所述商品信息进行特征编码，以得到所述待结算商品的特征。
在本发明的示例性实施例中，步骤S502包括：通过多个深度神经网络分别对所述商品信息进行特征编码，以得到多个编码结果；将所述多个编码结果进行拼接，以得到所述待结算商品的特征。
具体地，步骤S501的检测结果为包含待结算商品的矩形框，因此步骤S502的目的是对处于该矩形框内的图像信息进行特征编码。可选地，可以对softmax loss和tripletloss这两种神经网络模型进行训练，然后基于训练结果来对商品信息进行特征编码。当然，本发明的实施例并不限于此，还可以采用其他的神经网络模型。
步骤S503，将所述待结算商品的特征与预存储的特征进行比对，以确定所述待结算商品的种类。
在本发明的示例性实施例中，步骤S503包括：计算所述待结算商品的特征与预存储的特征之间的距离；将预存储的特征中与所述待结算商品的特征之间的距离小于预定阈值的特征作为匹配到的目标特征；将所述目标特征对应的商品种类作为所述待结算商品的种类。
需要说明的是，待结算商品的种类可以通过SKU(Stock Keeping Unit，库存量单位，现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号)来进行标识。如果没有匹配到目标特征，则算法返回空。
继续参照图4所示，所示的自助结算方法还包括：
步骤S404，若所述待结算商品是所述目标类型的商品，则识别所述待结算商品的数量并获取所述待结算商品的单价，根据所述待结算商品的数量和单价生成结算信息。
在本发明的实施例中，可以通过图像采集设备，如摄像头来识别待结算商品的数量。而待结算商品的单价可以根据识别到的商品信息来确定。
步骤S406，若所述待结算商品不是所述目标类型的商品，则识别所述待结算商品的种类并获取所述待结算商品的重量，根据所述待结算商品的种类和重量生成结算信息。
在本发明的实施例中，当生成结算信息之后，可以输出结算信息。如通过显示设备显示该结算信息，和/或通过音频播放设备播放该结算信息。当然，还可以将该结算信息发送至指定的设备，比如用户的手机中。
基于上述实施例中的自助结算设备与自助结算方法，以下介绍本发明的一个具体应用场景：
a、顾客将商品放置于结算台上的识别区域。
b、称重台在重量稳定后，获得重量信息，并触发图像采集设备采集商品的图像信息。
c、设置在不同位置处的图像采集设备将采集到的图像信息上传到后台进行算法处理，并返回识别出的商品SKU。
d、后台同时接受RFID(Radio Frequency Identification，射频识别)阅读器的识别结果。
e、如果RFID有结果，则可以直接在显示器上显示出所购买商品。如果对图像处理的算法返回结果(即返回商品的SKU)，则区分该SKU是标准品还是非标准品：若是标准品，则根据算法结果返回SKU数量，以通过数量和单价进行结算；若是非标准品，则根据重量信息进行结算。
f、如果顾客不放置商品，而是直接用扫码枪进行扫码识别，则直接进行扫码识别结算。
本发明上述实施例的自助结算方法中提出的图像处理方案对商品的识别速度快，识别率高。同时，本发明实施例中的自助结算方法支持标准品和非标准品的识别结算，并且支持RFID、条形码、图像识别结算，适用范围广，有利于提升用户的结算体验。
图6示意性示出了根据本发明的实施例的自助结算装置的框图，该自助结算装置可以应用于如上述实施例中所述的自助结算设备。
参照图6所示，根据本发明的实施例的自助结算装置600，包括：识别单元602、第一处理单元604和第二处理单元606。
具体地，识别单元602用于在待结算商品放置在结算区域时，识别所述待结算商品是否为目标类型的商品；第一处理单元604用于在所述待结算商品是所述目标类型的商品时，识别所述待结算商品的数量并获取所述待结算商品的单价，根据所述待结算商品的数量和单价生成结算信息；第二处理单元606用于在所述待结算商品不是所述目标类型的商品时，识别所述待结算商品的种类并获取所述待结算商品的重量，根据所述待结算商品的种类和重量生成结算信息。
在本发明的一些实施例中，基于前述方案，识别单元602配置为：判断通过射频识别器和/或条码识别器是否能够识别到所述待结算商品的信息；若通过射频识别器和/或条码识别器能够识别到所述待结算商品的信息，则确定所述待结算商品为所述目标类型的商品。
在本发明的一些实施例中，基于前述方案，识别单元602配置为：通过图像采集设备采集包含所述待结算商品的图像；根据所述图像识别所述待结算商品的种类；根据识别到的种类，确定所述待结算商品是否为所述目标类型的商品。
在本发明的一些实施例中，基于前述方案，识别单元602包括：执行单元，用于基于目标检测技术识别所述图像中的商品信息；特征编码单元，用于对所述商品信息进行特征编码，以得到所述待结算商品的特征；确定单元，用于将所述待结算商品的特征与预存储的特征进行比对，以确定所述待结算商品的种类。
在本发明的一些实施例中，基于前述方案，所述特征编码单元配置为：通过多个深度神经网络分别对所述商品信息进行特征编码，以得到多个编码结果；将所述多个编码结果进行拼接，以得到所述待结算商品的特征。
在本发明的一些实施例中，基于前述方案，所述确定单元配置为：计算所述待结算商品的特征与预存储的特征之间的距离；将预存储的特征中与所述待结算商品的特征之间的距离小于预定阈值的特征作为匹配到的目标特征；将所述目标特征对应的商品种类作为所述待结算商品的种类。
在本发明的一些实施例中，基于前述方案，识别单元602基于Faster-RCNN算法识别所述图像中的商品信息。
在本发明的一些实施例中，基于前述方案，所述的自助结算装置600还包括：输出单元，用于输出所述结算信息。
下面参考图7，其示出了适于用来实现本发明实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备的计算机系统700仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的自助结算方法。
例如，所述电子设备可以实现如图4中所示的：步骤S402，在待结算商品放置在结算区域时，识别所述待结算商品是否为目标类型的商品；步骤S404，若所述待结算商品是所述目标类型的商品，则识别所述待结算商品的数量并获取所述待结算商品的单价，根据所述待结算商品的数量和单价生成结算信息；步骤S406，若所述待结算商品不是所述目标类型的商品，则识别所述待结算商品的种类并获取所述待结算商品的重量，根据所述待结算商品的种类和重量生成结算信息。
又如，所述电子设备可以实现如图5中所示的各个步骤。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (18)
1.一种自助结算设备，其特征在于，包括：
结算台，所述结算台上设置有商品放置区域；
称重设备，设置在所述结算台上，用于对待结算商品进行称重；
识别设备，设置在所述结算台上，用于识别待结算商品的信息；
处理器，与所述称重设备和所述识别设备电连接，用于根据所述称重设备获得的重量信息和所述识别设备的识别结果，生成结算信息；
输出设备，电连接至所述处理器，用于输出所述结算信息。
2.根据权利要求1所述的自助结算设备，其特征在于，所述识别设备包括：
至少一个图像采集设备，用于采集所述待结算商品的图像信息，并将采集的图像信息传输至所述处理器。
3.根据权利要求2所述的自助结算设备，其特征在于，所述至少一个图像采集设备形成的图像采集区域覆盖所述商品放置区域。
4.根据权利要求2所述的自助结算设备，其特征在于，所述输出设备通过支架设置在所述结算台上，所述支架上延伸出对应于所述商品放置区域的承载部，所述至少一个图像采集设备设置在所述承载部上。
5.根据权利要求1所述的自助结算设备，其特征在于，所述识别设备包括：
射频识别器，用于识别所述待结算商品上设置的射频标签，以得到所述待结算商品的信息。
6.根据权利要求1所述的自助结算设备，其特征在于，所述识别设备包括：
条码识别器，用于识别所述待结算商品上设置的条码，以得到所述待结算商品的信息。
7.根据权利要求1至6中任一项所述的自助结算设备，其特征在于，所述输出设备包括：
显示设备，所述显示设备设置在所述结算台上，用于显示所述结算信息；和/或
音频播放设备，用于通过语音的方式播放所述结算信息。
8.一种自助结算方法，应用于如权利要求1至7中任一项所述的自助结算设备，其特征在于，包括：
在待结算商品放置在结算区域时，识别所述待结算商品是否为目标类型的商品；
若所述待结算商品是所述目标类型的商品，则识别所述待结算商品的数量并获取所述待结算商品的单价，根据所述待结算商品的数量和单价生成结算信息；
若所述待结算商品不是所述目标类型的商品，则识别所述待结算商品的种类并获取所述待结算商品的重量，根据所述待结算商品的种类和重量生成结算信息。
9.根据权利要求8所述的自助结算方法，其特征在于，识别所述待结算商品是否为目标类型的商品，包括：
判断通过射频识别器和/或条码识别器是否能够识别到所述待结算商品的信息；
若通过射频识别器和/或条码识别器能够识别到所述待结算商品的信息，则确定所述待结算商品为所述目标类型的商品。
10.根据权利要求8所述的自助结算方法，其特征在于，识别所述待结算商品是否为目标类型的商品，包括：
通过图像采集设备采集包含所述待结算商品的图像；
根据所述图像识别所述待结算商品的种类；
根据识别到的种类，确定所述待结算商品是否为所述目标类型的商品。
11.根据权利要求10所述的自助结算方法，其特征在于，根据所述图像识别所述待结算商品的种类，包括：
基于目标检测技术识别所述图像中的商品信息；
对所述商品信息进行特征编码，以得到所述待结算商品的特征；
将所述待结算商品的特征与预存储的特征进行比对，以确定所述待结算商品的种类。
12.根据权利要求11所述的自助结算方法，其特征在于，对所述商品信息进行特征编码，以得到所述待结算商品的特征，包括：
通过多个深度神经网络分别对所述商品信息进行特征编码，以得到多个编码结果；
将所述多个编码结果进行拼接，以得到所述待结算商品的特征。
13.根据权利要求11所述的自助结算方法，其特征在于，将所述待结算商品的特征与预存储的特征进行比对，以确定所述待结算商品的种类，包括：
计算所述待结算商品的特征与预存储的特征之间的距离；
将预存储的特征中与所述待结算商品的特征之间的距离小于预定阈值的特征作为匹配到的目标特征；
将所述目标特征对应的商品种类作为所述待结算商品的种类。
14.根据权利要求11所述的自助结算方法，其特征在于，基于Faster-RCNN算法识别所述图像中的商品信息。
15.根据权利要求8至14中任一项所述的自助结算方法，其特征在于，还包括：输出所述结算信息。
16.一种自助结算装置，应用于如权利要求1至7中任一项所述的自助结算设备，其特征在于，包括：
识别单元，用于在待结算商品放置在结算区域时，识别所述待结算商品是否为目标类型的商品；
第一处理单元，用于在所述待结算商品是所述目标类型的商品时，识别所述待结算商品的数量并获取所述待结算商品的单价，根据所述待结算商品的数量和单价生成结算信息；
第二处理单元，用于在所述待结算商品不是所述目标类型的商品时，识别所述待结算商品的种类并获取所述待结算商品的重量，根据所述待结算商品的种类和重量生成结算信息。
17.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求8至15中任一项所述的自助结算方法。
18.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求8至15中任一项所述的自助结算方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710994598.4A CN109697801A (zh) | 2017-10-23 | 2017-10-23 | 自助结算设备、方法、装置、介质及电子设备 |
| PCT/CN2018/106540 WO2019080674A1 (zh) | 2017-10-23 | 2018-09-19 | 自助结算设备、方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710994598.4A CN109697801A (zh) | 2017-10-23 | 2017-10-23 | 自助结算设备、方法、装置、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109697801A true CN109697801A (zh) | 2019-04-30 |
Family
ID=66225967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710994598.4A Pending CN109697801A (zh) | 2017-10-23 | 2017-10-23 | 自助结算设备、方法、装置、介质及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109697801A (zh) |
| WO (1) | WO2019080674A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163315A (zh) * | 2019-05-06 | 2019-08-23 | 南京倍便利智能科技有限公司 | 一种针对连锁无人超市的商品视觉识别方法 |
| CN110718016A (zh) * | 2019-09-02 | 2020-01-21 | 上海理工大学 | 一种生鲜自助售卖系统 |
| CN110930585A (zh) * | 2019-12-06 | 2020-03-27 | 创新奇智(成都)科技有限公司 | 一种使用图像标签辅助识别商品的方法及其系统 |
| CN110956459A (zh) * | 2019-11-28 | 2020-04-03 | 浙江由由科技有限公司 | 一种商品处理方法及系统 |
| CN112381184A (zh) * | 2021-01-15 | 2021-02-19 | 北京每日优鲜电子商务有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
| CN113362543A (zh) * | 2021-05-21 | 2021-09-07 | 北京百度网讯科技有限公司 | 结算方法、装置、电子设备以及存储介质 |
| CN114445980A (zh) * | 2022-01-28 | 2022-05-06 | 成都商汤科技有限公司 | 商品的结账方法及装置、电子设备和存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463853A (zh) * | 2022-02-25 | 2022-05-10 | 创新奇智(南京)科技有限公司 | 一种商品漏扫码行为的识别方法、装置、存储介质和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012084138A1 (de) * | 2010-12-21 | 2012-06-28 | Bizerba Gmbh & Co. Kg | Verfahren zum betrieb einer ladenwaage |
| CN104361698A (zh) * | 2014-11-25 | 2015-02-18 | 湖南大学 | 自助式智能电子称重结算方法及系统 |
| CN106781121A (zh) * | 2016-12-14 | 2017-05-31 | 朱明� | 基于视觉分析的超市自助结账智能系统 |
| CN106951904A (zh) * | 2016-01-06 | 2017-07-14 | 东芝泰格有限公司 | 图像识别装置 |
| CN107067587A (zh) * | 2017-04-23 | 2017-08-18 | 秦皇岛中秦智能装备有限公司 | 综合称重收银一体机 |
| CN107221107A (zh) * | 2014-01-08 | 2017-09-29 | 东芝泰格有限公司 | 信息处理装置及其控制方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3262562B1 (en) * | 2015-02-23 | 2022-10-19 | Pentland Firth Software GmbH | System and method for the identification of products in a shopping cart |
| JP6762123B2 (ja) * | 2016-04-01 | 2020-09-30 | 東芝テック株式会社 | 計量システムおよび情報処理装置 |
| CN106651354A (zh) * | 2016-10-11 | 2017-05-10 | 重庆钧爱博科技有限公司 | 一种自助购物结算购物车、智能终端及自助购物结算系统 |
-
2017
- 2017-10-23 CN CN201710994598.4A patent/CN109697801A/zh active Pending
-
2018
- 2018-09-19 WO PCT/CN2018/106540 patent/WO2019080674A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012084138A1 (de) * | 2010-12-21 | 2012-06-28 | Bizerba Gmbh & Co. Kg | Verfahren zum betrieb einer ladenwaage |
| CN107221107A (zh) * | 2014-01-08 | 2017-09-29 | 东芝泰格有限公司 | 信息处理装置及其控制方法 |
| CN104361698A (zh) * | 2014-11-25 | 2015-02-18 | 湖南大学 | 自助式智能电子称重结算方法及系统 |
| CN106951904A (zh) * | 2016-01-06 | 2017-07-14 | 东芝泰格有限公司 | 图像识别装置 |
| CN106781121A (zh) * | 2016-12-14 | 2017-05-31 | 朱明� | 基于视觉分析的超市自助结账智能系统 |
| CN107067587A (zh) * | 2017-04-23 | 2017-08-18 | 秦皇岛中秦智能装备有限公司 | 综合称重收银一体机 |
Non-Patent Citations (2)
| Title |
|---|
| 桑军，郭沛，项志立，罗红玲，陈欣: "Faster-RCNN的车型识别分析", 《重庆大学学报》 * |
| 毛金莲: "《智能图像检索关键技术概述》", 30 June 2015, 北京理工大学出版社 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163315A (zh) * | 2019-05-06 | 2019-08-23 | 南京倍便利智能科技有限公司 | 一种针对连锁无人超市的商品视觉识别方法 |
| CN110718016A (zh) * | 2019-09-02 | 2020-01-21 | 上海理工大学 | 一种生鲜自助售卖系统 |
| CN110956459A (zh) * | 2019-11-28 | 2020-04-03 | 浙江由由科技有限公司 | 一种商品处理方法及系统 |
| CN110930585A (zh) * | 2019-12-06 | 2020-03-27 | 创新奇智(成都)科技有限公司 | 一种使用图像标签辅助识别商品的方法及其系统 |
| CN110930585B (zh) * | 2019-12-06 | 2022-04-19 | 创新奇智(浙江)科技有限公司 | 一种使用图像标签辅助识别商品的方法及其系统 |
| CN112381184A (zh) * | 2021-01-15 | 2021-02-19 | 北京每日优鲜电子商务有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
| CN112381184B (zh) * | 2021-01-15 | 2021-05-25 | 北京每日优鲜电子商务有限公司 | 图像检测方法、装置、电子设备和计算机可读介质 |
| CN113362543A (zh) * | 2021-05-21 | 2021-09-07 | 北京百度网讯科技有限公司 | 结算方法、装置、电子设备以及存储介质 |
| CN113362543B (zh) * | 2021-05-21 | 2023-10-31 | 北京百度网讯科技有限公司 | 结算方法、装置、电子设备以及存储介质 |
| CN114445980A (zh) * | 2022-01-28 | 2022-05-06 | 成都商汤科技有限公司 | 商品的结账方法及装置、电子设备和存储介质 |
| CN114445980B (zh) * | 2022-01-28 | 2023-11-28 | 成都商汤科技有限公司 | 商品的结账方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019080674A1 (zh) | 2019-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697801A (zh) | 自助结算设备、方法、装置、介质及电子设备 | |
| US10825068B2 (en) | Method of using apparatus, product, and system for a no touch point-of-sale self-checkout | |
| US10540551B2 (en) | Generation of two-dimensional and three-dimensional images of items for visual recognition in checkout apparatus | |
| US10290031B2 (en) | Method and system for automated retail checkout using context recognition | |
| US20210056498A1 (en) | Method and device for identifying product purchased by user and intelligent shelf system | |
| CN109816441B (zh) | 策略推送方法、系统及相关装置 | |
| CN109508974B (zh) | 一种基于特征融合的购物结账系统和方法 | |
| CN109191261A (zh) | 一种商品推荐方法和系统 | |
| CN108364209A (zh) | 商品信息的展示方法、装置、介质及电子设备 | |
| CN109063653A (zh) | 图像处理方法和装置 | |
| CN107451785A (zh) | 用于输出信息的方法和装置 | |
| CN108062544A (zh) | 用于人脸活体检测的方法和装置 | |
| CN109190706A (zh) | 无人售货方法、装置及系统 | |
| CN108960110A (zh) | 用于生成信息的方法和装置 | |
| CN109086834A (zh) | 字符识别方法、装置、电子设备及存储介质 | |
| US11705133B1 (en) | Utilizing sensor data for automated user identification | |
| CN106203225A (zh) | 基于深度的图像元素删除 | |
| JP2023526196A (ja) | ユーザの自動識別のための電子デバイス | |
| CN108509904A (zh) | 用于生成信息的方法和装置 | |
| CN110473042A (zh) | 用于获取信息的方法及装置 | |
| CN108399401A (zh) | 用于检测人脸图像的方法和装置 | |
| CN108388851A (zh) | 信息统计方法、装置、存储介质及电子设备 | |
| CN110401793A (zh) | 用于控制智能终端的方法和装置 | |
| CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
| CN109697610A (zh) | 订单操作方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190430 |
|
| RJ01 | Rejection of invention patent application after publication |