CN116308327A - 一种基于rfid技术的自助收银系统及方法 - Google Patents
一种基于rfid技术的自助收银系统及方法 Download PDFInfo
- Publication number
- CN116308327A CN116308327A CN202211696442.5A CN202211696442A CN116308327A CN 116308327 A CN116308327 A CN 116308327A CN 202211696442 A CN202211696442 A CN 202211696442A CN 116308327 A CN116308327 A CN 116308327A
- Authority
- CN
- China
- Prior art keywords
- commodity
- color
- settlement
- identification
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012795 verification Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 239000013598 vector Substances 0.000 claims description 43
- 238000005303 weighing Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 3
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及人工智能技术，揭露了一种基于RFID技术的自助收银系统及方法，该系统中包括信息提取模块、商品核验模块、核验失败模块、核验成功模块、商品结算模块及结算成功模块，可利用购物车获取待结算商品的商品重量、商品标签以及标识信息，利用商品重量、商品标签以及标识信息对放入购物车中的待结算商品进行核验，将核验成功的商品的结算信息存储一级RFID组件，并在结算车间统一进行结算，从而将逐个商品核验并结算的步骤拆分到了购物的过程中，减少了结算车间内的等候时间，提高了自助收银时的收银效率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于RFID技术的自助收银系统及方法。
背景技术
随着人们消费水平的提升，商品制造商也生产了越来越多的商品以满足人们的需求，这进一步扩充了超市的商品清单，也使得超市收银的工作量大大增加，为了提高人们的购物体验，减少购物收银时的等待时间，需要建设自助收银系统。
现有的自助收银系统多为单一的基于统一的收银机扫码获取商品信息，进而实现自助收银，例如，在购物的最终环节，消费者在收银机上按照提示逐个进行商品扫码，从而生成账单结账，实际应用中，基于统一的收银机自助收银在人工结账时需要人工逐个进行扫码确认，导致单个消费者的结账时间较长，结账队伍等候时间较多，且单一的扫码结账无法实现商品核验，可能导致商品和商品码的不对应，从而导致自助收银时的效率较低。
发明内容
本发明提供一种基于RFID技术的自助收银系统及方法，其主要目的在于解决自助收银时的效率较低的问题。
为实现上述目的，本发明提供的一种基于RFID技术的自助收银系统，其特征在于，所述系统包括信息提取模块、商品核验模块、核验失败模块、核验成功模块、商品结算模块及结算成功模块，其中：
所述信息提取模块，用于利用购物车的摄像组件获取待结算商品的商品图片和商品码图片，从所述商品码图片中提取出标识信息，从所述商品图片中提取出商品特征，根据所述商品特征生成商品标签；
所述商品核验模块，用于利用所述购物车的称重组件获取所述待结算商品的商品重量，根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度，并判断所述置信度是否大于预设的置信度阈值；
所述核验失败模块，用于当所述置信度小于或等于所述置信度阈值时，利用所述购物车提示客户更换所述待结算商品，并返回所述利用购物车的摄像组件获取待结算商品的商品图片和商品码图片的步骤；
所述核验成功模块，用于当所述置信度大于所述置信度阈值时，从所述标识信息中提取出结算信息，将所述结算信息添加至所述购物车的一级RFID组件中；
所述商品结算模块，用于当所述购物车进入预设的结算车间时，利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，并根据所有的所述结算信息生成收款码，提示所述客户进行付款；
所述结算成功模块，用于当所述收款码支付成功时，清除所述一级RFID组件中的所述结算信息，打开所述结算车间的出口，结束自助收银。
可选地，所述信息提取模块在从所述商品码图片中提取出标识信息时，具体用于：
对所述商品码图片中的商品码进行定位，得到定位角点，并根据定位角点确定所述商品码；
对所述商品码进行格式译码，得到编码格式；
对所述商品码进行版本译码，得到编码版本；
对所述商品码进行掩模运算，得到字符数据和纠错编码，并利用所述纠错编码对所述字符数据进行纠错，得到标准字符数据；
根据所述编码版本和所述编码格式对所述标准字符数据进行转码，得到标识信息。
可选地，所述信息提取模块在对所述商品码图片中的商品码进行定位，得到定位角点时，具体用于：
对所述商品码图片进行图片去噪，得到去噪商品码图片；
对所述去噪商品码图片进行二值化，得到二值商品码图片；
对所述二值商品码图片进行轮廓特征提取，得到商品码轮廓特征；
从所述商品码轮廓特征中提取出角点特征，将所述角点特征对应的图片作为所述商品码图片的定位角点。
可选地，所述信息提取模块在从所述商品图片中提取出商品特征时，具体用于：
对所述商品图片进行轮廓特征提取，得到商品轮廓图片；
根据所述商品轮廓图片对所述商品图片进行图像分层，得到标准商品图片；
对所述标准商品图片进行色彩分割，得到商品色彩特征；
对所述标准商品图片进行种类特征提取，得到商品种类特征；
将所述商品色彩特征和所述商品种类特征汇集成所述商品特征。
可选地，所述信息提取模块在对所述标准商品图片进行色彩分割，得到商品色彩特征时，具体用于：
读取出所述标准商品图片的像素数据；
统计出所述像素数据中每种颜色的像素点的占比，得到像素分布数据；
对所述像素分布数据进行色彩特征编码，得到商品色彩特征。
可选地，所述信息提取模块在对所述标准商品图片进行种类特征提取，得到商品种类特征时，具体用于：
对所述标准商品图片分别进行卷积采样和下采样，得到初级种类特征；
对所述初级种类特征进行特征池化，得到次级种类特征，并将所述次级种类特征归一化成标准种类特征；
利用如下的种类特征公式计算所述标准种类特征与预设的商品特征库中每个商品特征的种类相似度，并选取数值最大的所述种类相似度对应的所述商品特征作为商品种类特征：
其中，S是指所述种类相似度，n是指所述标准种类特征中特征元素的总数量，且所述标准种类特征中的特征元素总数量等于所述商品特征的特征元素总数量，i是指第i个特征元素，Ai是指标准种类特征中的第i个特征元素，Bi是指所述商品特征中的第i个特征元素，α是预设的基准系数，β是预设的平衡系数。
可选地，所述商品结算模块在利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息时，具体用于：
利用所述二级RFID组件轮询发送覆盖所述结算车间的射频信号；
利用所述射频信号激活所述一级RFID组件，并获取激活后的所述一级RFID组件发送的包含所有的所述结算信息的载波信号；
对所述载波信号进行解码，得到所有的所述结算信息。
为了解决上述问题，本发明还提供一种基于RFID技术的自助收银方法，所述方法包括：
利用购物车的摄像组件获取待结算商品的商品图片和商品码图片，从所述商品码图片中提取出标识信息，从所述商品图片中提取出商品特征，根据所述商品特征生成商品标签；
利用所述购物车的称重组件获取所述待结算商品的商品重量，根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度；
判断所述置信度是否大于预设的置信度阈值；
当所述置信度小于或等于所述置信度阈值时，利用所述购物车提示客户更换所述待结算商品，并返回所述利用购物车的摄像组件获取待结算商品的商品图片和商品码图片的步骤；
当所述置信度大于所述置信度阈值时，从所述标识信息中提取出结算信息，将所述结算信息添加至所述购物车的一级RFID组件中；
当所述购物车进入预设的结算车间时，利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，并根据所有的所述结算信息生成收款码，提示所述客户进行付款；
当所述收款码支付成功时，清除所述一级RFID组件中的所述结算信息，打开所述结算车间的出口，结束自助收银。
本发明实施例通过在客户将待结算商品放入购物车时进行扫码结算和商品特征提取，能够将扫码结算的时刻进行分割，从而减少最后结算车间的停留时间，进而提高自助收银的效率，同时能够根据商品特征生成商品标签，方便后续对商品的核验，保证自助收银的准确率，通过根据所述商品重量、所述商品标签与所述标识信息进行对比，从而确定所述待结算商品与所述商品码的对应关系，进而实现了所述待结算商品的核验，确保了收银时的准确率，通过利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，能够实现所述结算信息的自动感应传输，相较于人工扫码结算而言提高了结算的效率，通过根据所有的所述结算信息生成收款码，提示所述客户进行付款，实现了快速收银，提高了收银的效率。因此本发明提出的基于RFID技术的自助收银系统及方法，可以提高自助收银时的效率。
附图说明
图1为本发明一实施例提供的基于RFID技术的自助收银系统的系统架构图；
图2为本发明一实施例提供的基于RFID技术的自助收银方法的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
实际上，基于RFID技术的自助收银系统所部署的服务端设备可能是由一台或多台设备构成的。上述基于RFID技术的自助收银系统可以实现为：业务实例、虚拟机、硬件设备。比如，该基于RFID技术的自助收银系统可以实现为部署在云节点中的一个或多个设备上的一种业务实例。简单来说，该基于RFID技术的自助收银系统可以理解为是部署在云节点上的一种软件，用于为各用户端提供基于RFID技术的自助收银系统。或者，该基于RFID技术的自助收银系统也可以实现为部署在云节点中的一个或多个设备上的一种虚拟机。该虚拟机中安装有用于管理各用户端的应用软件。或者，该基于RFID技术的自助收银系统还可以实现为由众多相同或不同类型的硬件设备构成的服务端，设置一个或多个硬件设备用于为各用户端提供基于RFID技术的自助收银系统。
在实现形式上，基于RFID技术的自助收银系统和用户端相互适应。即，基于RFID技术的自助收银系统作为安装于云服务平台的应用，则用户端作为与该应用建立通信连接的客户端；或实现基于RFID技术的自助收银系统作为网站实现，则用户端作为网页实现；再或实现基于RFID技术的自助收银系统作为云服务平台实现，则用户端作为即时通信应用中的小程序实现。
如图1所示，是本发明一实施例提供的基于RFID技术的自助收银系统的系统架构图。
本发明所述基于RFID技术的自助收银系统100可以设置于云端服务器中，在实现形式上，可以作为一个或多个服务设备，也可以作为一应用安装于云端(例如移动服务运营方的服务器、服务器集群等)上，或者也可以开发为网站。根据实现的功能，所述基于RFID技术的自助收银系统100可以包括信息提取模块101、商品核验模块102、核验失败模块103、核验成功模块104、商品结算模块105及结算成功模块106。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
本发明实施例中，基于RFID技术的自助收银系统中，上述各个模块均可独立实现，且与其他模块调用。这里的调用可以理解为，某一模块可以连接另一类型的多个模块，并为其连接的多个模块提供相应服务。比如，分享评测模块可以调用同一信息采集模块，以获取该信息采集模块采集的信息基于上述特性，本发明实施例提供的基于RFID技术的自助收银系统中，无需修改程序代码，即可通过增加模块、并直接调用的形式来调整基于RFID技术的自助收银系统架构的适用范围，实现集群式水平拓展，以便达到快捷灵活拓展基于RFID技术的自助收银系统的目的。实际应用中，上述模块可以设置在同一设备或不同设备中，也可以是设置在虚拟设备中，例如云端服务器中的服务实例。
下面结合具体实施例，分别针对基于RFID技术的自助收银系统的各个组成部分以及具体工作流程进行说明：
所述信息提取模块101，用于利用购物车的摄像组件获取待结算商品的商品图片和商品码图片，从所述商品码图片中提取出标识信息，从所述商品图片中提取出商品特征，根据所述商品特征生成商品标签。
本发明其中一个实际应用场景中，现有的自助收银系统多为在结算车间统一结算，进而实现自主收银，在所述结算车间进行扫码结算的过程中，需要人工逐个扫取商品的商品码，进而完成结算，需要花费大量时间，导致了结算队伍的阻塞，且单纯依靠商品码进行结算无法实现商品的核实确认，可能导致自主收银的准确率下降。
本发明实施例中，可以通过所述信息提取模块101在客户将待结算商品放入购物车时进行扫码结算和商品特征提取，能够将扫码结算的时刻进行分割，从而减少最后结算车间的停留时间，进而提高自助收银的效率，同时能够根据商品特征生成商品标签，方便后续对商品的核验，保证自助收银的准确率。
本发明实施例中，所述摄像组件可以安装在所述购物车的把手居中位置处，从而方便获取所述待结算商品的商品图片以及所述商品码图片。
详细地，所述商品码图片是指包含商品码的图片，其中，所述商品码可以是二维码或条形码。
详细地，所述标识信息包含标识标签、标识重量以及标识价格等信息，其中，所述标识标签包含所述待结算商品的标识名称、标识种类以及标识颜色，所述标识名称例如“呀土豆”，所述标识种类例如“膨化食品”，所述标识颜色例如“橙黄色”，所述标识重量例如“40克”，所述标识价格例如“5元”。
本发明实施例中，所述信息提取模块101在从所述商品码图片中提取出标识信息时，具体用于：
对所述商品码图片中的商品码进行定位，得到定位角点，并根据定位角点确定所述商品码；
对所述商品码进行格式译码，得到编码格式；
对所述商品码进行版本译码，得到编码版本；
对所述商品码进行掩模运算，得到字符数据和纠错编码，并利用所述纠错编码对所述字符数据进行纠错，得到标准字符数据；
根据所述编码版本和所述编码格式对所述标准字符数据进行转码，得到标识信息。
详细地，所述定位角点是指位于所述商品码固定位置上的定位图形，通过所述定位角点可以进行商品码的识别和转码。
详细地，所述信息提取模块101在对所述商品码图片中的商品码进行定位，得到定位角点时，具体用于：
对所述商品码图片进行图片去噪，得到去噪商品码图片；
对所述去噪商品码图片进行二值化，得到二值商品码图片；
对所述二值商品码图片进行轮廓特征提取，得到商品码轮廓特征；
从所述商品码轮廓特征中提取出角点特征，将所述角点特征对应的图片作为所述商品码图片的定位角点。
详细地，可以利用高斯滤波或均值滤波对所述商品码图片进行图片去噪，得到去噪商品码图片。
具体地，可以利用双峰法、P参数法或者最大类间方差法对所述去噪商品码图片进行二值化，得到二值商品码图片。
详细地，可以利用opencv的findContours()算法或蚁群算法对所述二值商品码图片进行轮廓特征提取，得到商品码轮廓特征。
本发明实施例中，所述信息提取模块101在从所述商品图片中提取出商品特征时，具体用于：
对所述商品图片进行轮廓特征提取，得到商品轮廓图片；
根据所述商品轮廓图片对所述商品图片进行图像分层，得到标准商品图片；
对所述标准商品图片进行色彩分割，得到商品色彩特征；
对所述标准商品图片进行种类特征提取，得到商品种类特征；
将所述商品色彩特征和所述商品种类特征汇集成所述商品特征。
详细地，所述信息提取模块101在对所述商品图片进行轮廓特征提取，得到商品轮廓图片时的方法与所述信息提取模块101在对所述二值商品码图片进行轮廓特征提取，得到商品码轮廓特征时的方法一致，这里不再赘述。
详细地，所述信息提取模块101在对所述标准商品图片进行色彩分割，得到商品色彩特征时，具体用于：
读取出所述标准商品图片的像素数据；
统计出所述像素数据中每种颜色的像素点的占比，得到像素分布数据；
对所述像素分布数据进行色彩特征编码，得到商品色彩特征。
详细地，可以利用imread算法读取出所述标准商品图片的像素数据，其中所述像素数据包含每个像素点的像素色彩和像素色度。
具体地，所述对所述像素分布数据进行特征编码，得到商品色彩特征，例如，当所述像素分布数据为橙色80％、绿色10％、黑色5％、白色3％、黄色2％时，选取颜色占比前四的颜色进行色彩特征编码，将橙色80％编码成(255,128,0，80)，绿色10％编码成(0,255,0，10)、黑色5％编码成(0,0,0，5)、白色3％编码成(255,255,255，10)，并将所有的编码后的色彩特征编码汇集成商品色彩特征。
详细地，所述信息提取模块101在对所述标准商品图片进行种类特征提取，得到商品种类特征时，具体用于：
对所述标准商品图片分别进行卷积采样和下采样，得到初级种类特征；
对所述初级种类特征进行特征池化，得到次级种类特征，并将所述次级种类特征归一化成标准种类特征；
利用如下的种类特征公式计算所述标准种类特征与预设的商品特征库中每个商品特征的种类相似度，并选取数值最大的所述种类相似度对应的所述商品特征作为商品种类特征：
其中，S是指所述种类相似度，n是指所述标准种类特征中特征元素的总数量，且所述标准种类特征中的特征元素总数量等于所述商品特征的特征元素总数量，i是指第i个特征元素，Ai是指标准种类特征中的第i个特征元素，Bi是指所述商品特征中的第i个特征元素，α是预设的基准系数，β是预设的平衡系数。
详细地，所述商品特征库中包含着提前录入的各种商品的标准种类特征。
本发明实施例中，所述信息提取模块101通过利用所述种类特征公式计算所述标准种类特征与预设的商品特征库中每个商品特征的种类相似度，能够考量所述标准种类特征中的每项特征元素的相关性，进而确定整体的相似度，提高了种类相似度的表征性。
详细地，所述信息提取模块101在根据所述商品特征生成商品标签时，具体用于：将所述商品特征中的商品种类特征转化成商品种类，将所述商品特征中的商品色彩特征转化商品颜色，将所述商品种类与所述商品颜色组合成商品标签，其中，所述将所述商品特征中的商品种类特征转化成商品种类是指将所述商品种类特征对应的种类字符作为所述商品种类，其中，所述将所述商品特征中的商品色彩特征转化商品颜色是指将所述商品色彩特征每个色彩特征编码向量化后得到色彩特征向量，并将所有的色彩特征向量组成商品颜色。
所述商品核验模块102，用于利用所述购物车的称重组件获取所述待结算商品的商品重量，根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度，并判断所述置信度是否大于预设的置信度阈值。
本发明实施例中，可以通过所述商品核验模块102获取每个被所述客户投入所述购物车中的待结算商品的商品重量，并根据所述商品重量、所述商品标签与所述标识信息进行对比，从而确定所述待结算商品与所述商品码的对应关系，进而实现了所述待结算商品的核验，确保了收银时的准确率。
本发明实施例中，所述承重组件设置于所述购物车的车篮底部。
本发明实施例中，所述商品核验模块102在根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度时，具体用于：
从所述标识信息中提取出标识重量、标识种类以及标识颜色，从所述商品标签中提取出商品种类以及商品颜色；
将所述标识种类向量化得到标识种类词向量，将所述商品种类向量化得到商品种类词向量；
利用如下的商品置信度公式根据所述标识重量、所述商品重量、所述标识种类词向量、所述商品种类词向量、所述标识颜色以及所述商品颜色计算出所述待结算商品的置信度：
其中，Z为所述置信度，ρ为预先训练的重量对抗系数，h为所述标识重量，
为所述商品重量，σ为预先训练的词向量对抗系数，c为所述标识种类词向量，/>
为所述商品种类词向量，m为所述商品颜色对应的色彩特征向量的总数，且，所述商品颜色对应的色彩特征向量的总数与所述标识颜色对应的色彩特征向量的总数相同，k为第k个所述色彩特征向量，yk是指所述标识颜色中的第k个所述色彩特征向量，/>
是指商品颜色中的第k个所述色彩特征向量。
本发明实施例中，所述信息提取模块101通过利用所述商品置信度公式根据所述标识重量、所述商品重量、所述标识种类词向量、所述商品种类词向量、所述标识颜色以及所述商品颜色计算出所述待结算商品的置信度，能够在商品的颜色，重量以及种类三方面进行置信度计算，从而提高商品与商品码核对时的准确率。
所述核验失败模块103，用于当所述置信度小于或等于所述置信度阈值时，利用所述购物车提示客户更换所述待结算商品，并返回所述利用购物车的摄像组件获取待结算商品的商品图片和商品码图片的步骤。
本发明实施例中，所述核验失败模块103可以利用所述购物车的扬声器组件提示客户更换所述待结算商品，并利用所述称重组件检测所述待结算商品是否离开所述购物车，在所述待结算商品离开所述购物车之后返回所述利用购物车的摄像组件获取待结算商品的商品图片和商品码图片的步骤。
本发明实施例中，通过利用所述核验失败模块103提示客户更换所述待结算商品，并返回所述利用购物车的摄像组件获取待结算商品的商品图片和商品码图片的步骤，能够智能识别商品码与实物不符合的商品，从而提高结算的准确率。
所述核验成功模块104，用于当所述置信度大于所述置信度阈值时，从所述标识信息中提取出结算信息，将所述结算信息添加至所述购物车的一级RFID组件中。
本发明实施例中，所述结算信息包括标识名称和标识价格。
本发明实施例中，所述核验成功模块104可以利用RFID读写器将所述结算信息进行编码，并将编码后的所述结算信息添加至所述购物车的一级RFID组件中。
本发明实施例中，通过利用所述核验成功模块104将所述结算信息添加至所述购物车的一级RFID组件中，能够确保通过核验的待结算商品的结算信息能够在购物时进行积累，方便后续在结算车间同时结算，从而提升结算的效率。
所述商品结算模块105，用于当所述购物车进入预设的结算车间时，利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，并根据所有的所述结算信息生成收款码，提示所述客户进行付款。
本发明实施例中，所述结算车间为自助收银系统中用于商品结算付款的区域，所述结算车间内设置二级RFID组件不停发送覆盖整个结算车间的RFID射频信号，且由于所述结算车间由射频屏蔽材料构成，因此可以防止所述二级RFID组件的射频信号外漏，使得每次结算时仅结算所述结算车间内的唯一一个客户的商品，避免了射频信号重叠导致的错误结算。
本发明实施例中，所述商品结算模块105在利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息时，具体用于：
利用所述二级RFID组件轮询发送覆盖所述结算车间的射频信号；
利用所述射频信号激活所述一级RFID组件，并获取激活后的所述一级RFID组件发送的包含所有的所述结算信息的载波信号；
对所述载波信号进行解码，得到所有的所述结算信息。
本发明实施例中，通过所述商品结算模块105利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，能够实现所述结算信息的自动感应传输，相较于人工扫码结算而言提高了结算的效率，通过根据所有的所述结算信息生成收款码，提示所述客户进行付款，实现了快速收银，提高了收银的效率。
所述结算成功模块106，用于当所述收款码支付成功时，清除所述一级RFID组件中的所述结算信息，打开所述结算车间的出口，结束自助收银。
本发明实施例中，所述结算成功模块106在清除所述一级RFID组件中的所述结算信息之后，会自动打开所述结算车间的出口，并提示客户取走所述购物车中的商品，确保未结算的客户无法离开所述结算车间，从而实现自助收银，且清除所述结算信息后的所述一级RFID组件能够确保所述购物车被反复利用，节省所述自助收银系统的维护成本。
参照图2所示，为本发明一实施例提供的基于RFID技术的自助收银方法的流程示意图。在本实施例中，所述基于RFID技术的自助收银方法包括：
S1、利用购物车的摄像组件获取待结算商品的商品图片和商品码图片，从所述商品码图片中提取出标识信息，从所述商品图片中提取出商品特征，根据所述商品特征生成商品标签。
S2、利用所述购物车的称重组件获取所述待结算商品的商品重量，根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度；
S3、判断所述置信度是否大于预设的置信度阈值。
S4、当所述置信度小于或等于所述置信度阈值时，利用所述购物车提示客户更换所述待结算商品，并返回所述利用购物车的摄像组件获取待结算商品的商品图片和商品码图片的步骤。
S5、当所述置信度大于所述置信度阈值时，从所述标识信息中提取出结算信息，将所述结算信息添加至所述购物车的一级RFID组件中。
S6、当所述购物车进入预设的结算车间时，利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，并根据所有的所述结算信息生成收款码，提示所述客户进行付款。
S7、当所述收款码支付成功时，清除所述一级RFID组件中的所述结算信息，打开所述结算车间的出口，结束自助收银。
本发明实施例通过在客户将待结算商品放入购物车时进行扫码结算和商品特征提取，能够将扫码结算的时刻进行分割，从而减少最后结算车间的停留时间，进而提高自助收银的效率，同时能够根据商品特征生成商品标签，方便后续对商品的核验，保证自助收银的准确率，通过根据所述商品重量、所述商品标签与所述标识信息进行对比，从而确定所述待结算商品与所述商品码的对应关系，进而实现了所述待结算商品的核验，确保了收银时的准确率，通过利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，能够实现所述结算信息的自动感应传输，相较于人工扫码结算而言提高了结算的效率，通过根据所有的所述结算信息生成收款码，提示所述客户进行付款，实现了快速收银，提高了收银的效率。因此本发明提出的基于RFID技术的自助收银方法，可以提高自助收银时的效率。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于RFID技术的自助收银系统，其特征在于，所述系统包括信息提取模块、商品核验模块、核验失败模块、核验成功模块、商品结算模块及结算成功模块，其中：
所述信息提取模块，用于利用购物车的摄像组件获取待结算商品的商品图片和商品码图片，从所述商品码图片中提取出标识信息，从所述商品图片中提取出商品特征，根据所述商品特征生成商品标签；
所述商品核验模块，用于利用所述购物车的称重组件获取所述待结算商品的商品重量，根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度，并判断所述置信度是否大于预设的置信度阈值，其中，所述商品核验模块在根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度时，具体用于：
从所述标识信息中提取出标识重量、标识种类以及标识颜色，从所述商品标签中提取出商品种类以及商品颜色；
将所述标识种类向量化得到标识种类词向量，将所述商品种类向量化得到商品种类词向量；
利用如下的商品置信度公式根据所述标识重量、所述商品重量、所述标识种类词向量、所述商品种类词向量、所述标识颜色以及所述商品颜色计算出所述待结算商品的置信度：
其中，Z为所述置信度，ρ为预先训练的重量对抗系数，h为所述标识重量，
为所述商品重量，σ为预先训练的词向量对抗系数，c为所述标识种类词向量，/>
为所述商品种类词向量，m为所述商品颜色对应的色彩特征向量的总数，且，所述商品颜色对应的色彩特征向量的总数与所述标识颜色对应的色彩特征向量的总数相同，k为第k个所述色彩特征向量，yk是指所述标识颜色中的第k个所述色彩特征向量，/>
是指商品颜色中的第k个所述色彩特征向量；
所述核验失败模块，用于当所述置信度小于或等于所述置信度阈值时，利用所述购物车提示客户更换所述待结算商品，并返回所述利用购物车的摄像组件获取待结算商品的商品图片和商品码图片的步骤；
所述核验成功模块，用于当所述置信度大于所述置信度阈值时，从所述标识信息中提取出结算信息，将所述结算信息添加至所述购物车的一级RFID组件中；
所述商品结算模块，用于当所述购物车进入预设的结算车间时，利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，并根据所有的所述结算信息生成收款码，提示所述客户进行付款；
所述结算成功模块，用于当所述收款码支付成功时，清除所述一级RFID组件中的所述结算信息，打开所述结算车间的出口，结束自助收银。
2.如权利要求1所述的基于RFID技术的自助收银系统，其特征在于，所述信息提取模块在从所述商品码图片中提取出标识信息时，具体用于：
对所述商品码图片中的商品码进行定位，得到定位角点，并根据定位角点确定所述商品码；
对所述商品码进行格式译码，得到编码格式；
对所述商品码进行版本译码，得到编码版本；
对所述商品码进行掩模运算，得到字符数据和纠错编码，并利用所述纠错编码对所述字符数据进行纠错，得到标准字符数据；
根据所述编码版本和所述编码格式对所述标准字符数据进行转码，得到标识信息。
3.如权利要求2所述的基于RFID技术的自助收银系统，其特征在于，所述信息提取模块在对所述商品码图片中的商品码进行定位，得到定位角点时，具体用于：
对所述商品码图片进行图片去噪，得到去噪商品码图片；
对所述去噪商品码图片进行二值化，得到二值商品码图片；
对所述二值商品码图片进行轮廓特征提取，得到商品码轮廓特征；
从所述商品码轮廓特征中提取出角点特征，将所述角点特征对应的图片作为所述商品码图片的定位角点。
4.如权利要求1所述的基于RFID技术的自助收银系统，其特征在于，所述信息提取模块在从所述商品图片中提取出商品特征时，具体用于：
对所述商品图片进行轮廓特征提取，得到商品轮廓图片；
根据所述商品轮廓图片对所述商品图片进行图像分层，得到标准商品图片；
对所述标准商品图片进行色彩分割，得到商品色彩特征；
对所述标准商品图片进行种类特征提取，得到商品种类特征；
将所述商品色彩特征和所述商品种类特征汇集成所述商品特征。
5.如权利要求4所述的基于RFID技术的自助收银系统，其特征在于，所述信息提取模块在对所述标准商品图片进行色彩分割，得到商品色彩特征时，具体用于：
读取出所述标准商品图片的像素数据；
统计出所述像素数据中每种颜色的像素点的占比，得到像素分布数据；
对所述像素分布数据进行色彩特征编码，得到商品色彩特征。
6.如权利要求4所述的基于RFID技术的自助收银系统，其特征在于，所述信息提取模块在对所述标准商品图片进行种类特征提取，得到商品种类特征时，具体用于：
对所述标准商品图片分别进行卷积采样和下采样，得到初级种类特征；
对所述初级种类特征进行特征池化，得到次级种类特征，并将所述次级种类特征归一化成标准种类特征；
利用如下的种类特征公式计算所述标准种类特征与预设的商品特征库中每个商品特征的种类相似度，并选取数值最大的所述种类相似度对应的所述商品特征作为商品种类特征：
其中，S是指所述种类相似度，n是指所述标准种类特征中特征元素的总数量，且所述标准种类特征中的特征元素总数量等于所述商品特征的特征元素总数量，i是指第i个特征元素，Ai是指标准种类特征中的第i个特征元素，Bi是指所述商品特征中的第i个特征元素，α是预设的基准系数，β是预设的平衡系数。
7.如权利要求1所述的基于RFID技术的自助收银系统，其特征在于，所述商品结算模块在利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息时，具体用于：
利用所述二级RFID组件轮询发送覆盖所述结算车间的射频信号；
利用所述射频信号激活所述一级RFID组件，并获取激活后的所述一级RFID组件发送的包含所有的所述结算信息的载波信号；
对所述载波信号进行解码，得到所有的所述结算信息。
8.一种基于RFID技术的自助收银方法，其特征在于，所述方法包括：
S1：利用购物车的摄像组件获取待结算商品的商品图片和商品码图片，从所述商品码图片中提取出标识信息，从所述商品图片中提取出商品特征，根据所述商品特征生成商品标签；
S2：利用所述购物车的称重组件获取所述待结算商品的商品重量，根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度；
S3：判断所述置信度是否大于预设的置信度阈值，其中，所述根据所述商品重量、所述商品标签与所述标识信息计算出所述待结算商品的置信度时，具体用于：
S31：从所述标识信息中提取出标识重量、标识种类以及标识颜色，从所述商品标签中提取出商品种类以及商品颜色；
S32：将所述标识种类向量化得到标识种类词向量，将所述商品种类向量化得到商品种类词向量；
S33：利用如下的商品置信度公式根据所述标识重量、所述商品重量、所述标识种类词向量、所述商品种类词向量、所述标识颜色以及所述商品颜色计算出所述待结算商品的置信度：
其中，Z为所述置信度，ρ为预先训练的重量对抗系数，h为所述标识重量，
为所述商品重量，σ为预先训练的词向量对抗系数，c为所述标识种类词向量，/>
为所述商品种类词向量，m为所述商品颜色对应的色彩特征向量的总数，且，所述商品颜色对应的色彩特征向量的总数与所述标识颜色对应的色彩特征向量的总数相同，k为第k个所述色彩特征向量，yk是指所述标识颜色中的第k个所述色彩特征向量，/>
是指商品颜色中的第k个所述色彩特征向量；
S4：当所述置信度小于或等于所述置信度阈值时，利用所述购物车提示客户更换所述待结算商品，并返回所述利用购物车的摄像组件获取待结算商品的商品图片和商品码图片的步骤；
S5：当所述置信度大于所述置信度阈值时，从所述标识信息中提取出结算信息，将所述结算信息添加至所述购物车的一级RFID组件中；
S6：当所述购物车进入预设的结算车间时，利用所述结算车间的二级RFID组件获取所述一级RFID组件中所有的所述结算信息，并根据所有的所述结算信息生成收款码，提示所述客户进行付款；
S7：当所述收款码支付成功时，清除所述一级RFID组件中的所述结算信息，打开所述结算车间的出口，结束自助收银。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211696442.5A CN116308327B (zh) | 2022-12-28 | 2022-12-28 | 一种基于rfid技术的自助收银系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211696442.5A CN116308327B (zh) | 2022-12-28 | 2022-12-28 | 一种基于rfid技术的自助收银系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116308327A true CN116308327A (zh) | 2023-06-23 |
| CN116308327B CN116308327B (zh) | 2023-10-27 |
Family
ID=86829412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211696442.5A Active CN116308327B (zh) | 2022-12-28 | 2022-12-28 | 一种基于rfid技术的自助收银系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116308327B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005704A (ja) * | 2003-06-13 | 2004-01-08 | Mitsubishi Electric Corp | 買物信任完結型会計機能付き買物篭システム |
| CN101918988A (zh) * | 2007-11-08 | 2010-12-15 | 沃尔玛公司 | 使用射频识别技术自动顾客结账的方法和装置 |
| CN103984914A (zh) * | 2013-02-07 | 2014-08-13 | 东芝泰格有限公司 | 信息处理装置及其控制方法 |
| US20150139493A1 (en) * | 2013-11-20 | 2015-05-21 | Toshiba Tec Kabushiki Kaisha | Commodity recognition apparatus and commodity recognition method |
| CN108280738A (zh) * | 2017-12-13 | 2018-07-13 | 西安电子科技大学 | 基于图像和社会化标签的商品推荐方法 |
| CN108335408A (zh) * | 2018-03-02 | 2018-07-27 | 北京京东尚科信息技术有限公司 | 用于自动售货机的物品识别方法、装置、系统及存储介质 |
| CN108875664A (zh) * | 2018-06-27 | 2018-11-23 | 北京京东尚科信息技术有限公司 | 选购商品的识别方法、装置以及售货机 |
| CN109920177A (zh) * | 2019-03-15 | 2019-06-21 | 南京亿猫信息技术有限公司 | 一种具有防盗损功能的自助收银系统 |
| CN113111213A (zh) * | 2021-04-23 | 2021-07-13 | 大同市巴什卡机械制造有限公司 | 一种仓储系统自动存储物品方法及装置 |
| JP2021149545A (ja) * | 2020-03-19 | 2021-09-27 | 東芝テック株式会社 | 携帯端末、商品認識システム、及びプログラム |
-
2022
- 2022-12-28 CN CN202211696442.5A patent/CN116308327B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005704A (ja) * | 2003-06-13 | 2004-01-08 | Mitsubishi Electric Corp | 買物信任完結型会計機能付き買物篭システム |
| CN101918988A (zh) * | 2007-11-08 | 2010-12-15 | 沃尔玛公司 | 使用射频识别技术自动顾客结账的方法和装置 |
| CN103984914A (zh) * | 2013-02-07 | 2014-08-13 | 东芝泰格有限公司 | 信息处理装置及其控制方法 |
| US20150139493A1 (en) * | 2013-11-20 | 2015-05-21 | Toshiba Tec Kabushiki Kaisha | Commodity recognition apparatus and commodity recognition method |
| CN108280738A (zh) * | 2017-12-13 | 2018-07-13 | 西安电子科技大学 | 基于图像和社会化标签的商品推荐方法 |
| CN108335408A (zh) * | 2018-03-02 | 2018-07-27 | 北京京东尚科信息技术有限公司 | 用于自动售货机的物品识别方法、装置、系统及存储介质 |
| CN108875664A (zh) * | 2018-06-27 | 2018-11-23 | 北京京东尚科信息技术有限公司 | 选购商品的识别方法、装置以及售货机 |
| CN109920177A (zh) * | 2019-03-15 | 2019-06-21 | 南京亿猫信息技术有限公司 | 一种具有防盗损功能的自助收银系统 |
| JP2021149545A (ja) * | 2020-03-19 | 2021-09-27 | 東芝テック株式会社 | 携帯端末、商品認識システム、及びプログラム |
| CN113111213A (zh) * | 2021-04-23 | 2021-07-13 | 大同市巴什卡机械制造有限公司 | 一种仓储系统自动存储物品方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116308327B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11861584B2 (en) | Self-service settlement method, apparatus and storage medium | |
| US9659204B2 (en) | Image processing methods and systems for barcode and/or product label recognition | |
| US8746557B2 (en) | Secure self-checkout | |
| US7909248B1 (en) | Self checkout with visual recognition | |
| CN102214343A (zh) | 数字销售点分析器 | |
| EP3355286A1 (en) | Remote weigh station with delayed fraud intervention | |
| CN111191662B (zh) | 图像特征提取方法、装置、设备、介质及对象匹配方法 | |
| Lin et al. | Real-time automatic recognition of omnidirectional multiple barcodes and dsp implementation | |
| CN102760335A (zh) | 无线移动智能收银系统及其实现方法 | |
| CN111222382A (zh) | 一种基于图像的商品结算方法、装置、介质及电子设备 | |
| CN105575011A (zh) | 一种智能虹膜支付机 | |
| CN110599156A (zh) | 一种收款方法、收款装置、终端设备及介质 | |
| US11782972B2 (en) | Information processing system, information code generating system, information processing method, and information code generating method | |
| CN109003403B (zh) | 购物车商品称重和计价方法、装置及系统 | |
| CN114417000A (zh) | 微服务划分方法、装置、设备及存储介质 | |
| CN114612897A (zh) | 一种智能果蔬称重打票方法、装置、电子设备及存储介质 | |
| CN207624043U (zh) | 商品通关设备及购物系统 | |
| CN116308327B (zh) | 一种基于rfid技术的自助收银系统及方法 | |
| CN111507119A (zh) | 标识码识别方法、装置、电子设备及计算机可读存储介质 | |
| CN110084960B (zh) | 基于rfid技术的无人售货方法及装置 | |
| Narayan et al. | Barcode recognition from video by combining image processing and xilinx | |
| CN116011822A (zh) | 一种门店收银管理方法、装置、计算机设备及存储介质 | |
| CN115393470A (zh) | 一种文物数字线图的绘制方法、绘制系统及绘制装置 | |
| US9047742B2 (en) | Visual security for point of sale terminals | |
| US11657400B2 (en) | Loss prevention using video analytics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |