CN109447756A - 一种无人值守超市购物方法及系统 - Google Patents

一种无人值守超市购物方法及系统 Download PDF

Info

Publication number
CN109447756A
CN109447756A CN201811285620.9A CN201811285620A CN109447756A CN 109447756 A CN109447756 A CN 109447756A CN 201811285620 A CN201811285620 A CN 201811285620A CN 109447756 A CN109447756 A CN 109447756A
Authority
CN
China
Prior art keywords
customer
shelf
identity information
information
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811285620.9A
Other languages
English (en)
Inventor
李义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811285620.9A priority Critical patent/CN109447756A/zh
Publication of CN109447756A publication Critical patent/CN109447756A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/0008—General problems related to the reading of electronic memory record carriers, independent of its reading method, e.g. power transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种无人值守超市购物方法及系统，所述系统包括：身份信息采集装置、物理感应装置、身份认证装置、若干商品摄像头、身份识别装置和后台服务器。本发明实施例能够大幅度降低无人智能零售场景下计算成本，大幅度提升物品识别综合准确率，可以在商业上实现落地开放场景多人同时购物的无人值守超市。

Description

一种无人值守超市购物方法及系统
技术领域
本发明涉及无人商超或智能无人零售领域，具体涉及一种无人值守超市购物方法及系统。
背景技术
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理。
现有技术中，亚马逊和阿里巴巴所提出的无人值守商超方案，采用动态识别方案，需要识别大量场景动作和人物行为，并且无法防止顾客恶意行为，此方案不仅计算量太大而且综合识别准确率太低，无法落地实现；同时在传统的无人超市领域，大多数商家所采用的依然是基于RFID等传统技术，每一份商品都需要额外固定成本，并且如果放在开放的无人值守场景，用户支付与否完全靠自觉，也无法商用。
发明内容
本发明实施例的目的在于提供一种无人值守超市购物方法及系统，用以解决现有技术用以解决现有技术无人值守超市计算量太大、用户支付无监控而无法商用的问题。
为实现上述目的，本发明实施例提供了一种无人值守超市购物方法，所述方法包括：在身份信息采集区域采集进入超市的顾客的第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列；在每个货架前方的身份信息验证区域获取所述顾客的第二身份信息，并对所述顾客的第二身份信息进行验证，当所述顾客的第二身份信息验证通过时，向货架门禁发送打开的第一信号；获取所述货架门禁开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息；及在结算区域根据所述顾客在所有货架上的选购商品综合计算得到顾客最终购物清单，根据所述最终购物清单进行结算并将所述顾客的身份信息从身份信息队列中剔除。
优选地，所述对所述顾客的第二身份信息进行验证，包括：对比第二身份信息与所述第一身份信息；当所述第二身份信息与所述第一身份信息相同时，所述顾客的第二身份信息验证通过，否则所述顾客的第二身份信息验证失败。
优选地，所述获取所述顾客的第二身份信息之前，包括：通过物理感应装置判断所述顾客是否进入每个货架前的物理感应区域；如果所述顾客进入所述货架前的物理感应区域后，则认定所述顾客具有购买意向；及获取所述物理感应装置发送的第二信号，所述第二信号用于打开所述货架前方的身份认证装置。
优选地，所述获取所述货架门禁开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息，包括：在所述货架门禁打开前，向所述货架每一层的商品摄像头发出第三信号，所述第三信号用于指示每一层的商品摄像头拍摄所述货架每一层商品的第一图像，并分析所述第一图像得到第一商品信息；当所述物理感应装置检测到所述顾客离开所述货架的物理感应区域时，向所述货架每一层的商品摄像头发出第四信号，所述第四信号用于指示每一层的商品摄像头拍摄所述货架每一层商品的第二图像，分析所述第二图像得到第二商品信息；对比所述第一商品信息和所述第二商品信息，得到所述顾客在所述货架的购物信息；及整个无人值守超市由若干独立的所述货架组成，通过综合顾客在所有所述货架的购物明细来获得顾客在无人值守超市内的完整购物信息。
优选地，当所述物理感应装置检测到所述顾客离开所述货架前方的物理感应区域时，获取所述物理感应装置发送的第五信号，所述第五信号用于指示关闭所述货架门禁。
优选地，所述在结算区域根据所述顾客在所有货架上的选购商品综合计算得到顾客最终购物清单，包括：当所述顾客走入结算区域时，通过身份识别装置采集顾客的第三身份信息，并根据所述第三身份信息对所述顾客的身份信息进行识别，识别到所述顾客身份信息后，盘点所述顾客的全部购物信息，根据所述顾客的全部购物信息得到最终购物清单。
优选地，所述根据所述最终购物清单进行结算，包括：如果所述顾客不进入结算区域进行结算，所述身份信息队列超过预定长度时，强制结算排在最前面的顾客的购物清单；及将强制结算顾客的身份信息从身份信息队列中剔除，被剔除的顾客需重新在身份信息采集区域重新注册以获得再次购物的权限。
优选地，所述第一身份信息、所述第二身份信息和所述第三身份信息均是通过若干人脸识别摄像头获取的所述顾客的面部图像信息；或所述第一身份信息、所述第二身份信息和所述第三身份信息均是通过RFID设备或NFC设备或二维码扫描装置获取的所述顾客的身份ID信息。
另外一方面，本发明实施例提供了一种无人值守超市购物系统，所述系统包括：身份信息采集装置，设置在身份信息采集区域用于采集进入超市的顾客的第一身份信息；物理感应装置，设置在每个货架的前方用于感应所述顾客是否进入及是否离开每个货架前的物理感应区域；身份认证装置，设置在每个货架的前方用于获取所述顾客的第二身份信息；若干商品摄像头，设置在每个货架每一层顶部用于监控拍摄货架门禁开启前和关闭后所述货架每一层商品的商品图像；身份识别装置，设置在结算区域用于采集结算顾客的第三身份信息；和后台服务器，用于从所述身份信息采集装置接收所述第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列；从所述物理感应装置接收第二信号并打开所述货架前方的所述身份认证装置；从所述身份认证装置接收所述第二身份信息并根据所述第一身份信息和所述第二身份信息对比对所述顾客身份进行验证；当所述顾客的第二身份信息验证通过时，向所述货架门禁发送打开的第一信号；从所述物理感应装置接收感应到所述顾客离开每个货架前的物理感应区域发出的第五信号并关闭所述货架门禁；从每个货架每一层的商品摄像头接收在货架门禁开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息；从所述身份识别装置接收第三身份信息，并根据所述第三身份信息对所述顾客的身份信息进行识别；识别到所述顾客身份信息后，盘点所述顾客的全部购物信息，根据所述顾客的全部购物信息得到最终购物清单；及根据所述最终购物清单进行结算。
优选地，所述身份信息采集装置、所述身份认证装置和所述身份识别装置分别由若干注册摄像头、若干认证摄像头和若干识别摄像头形成，所述注册摄像头、所述认证摄像头和所述识别摄像头均为用于获取所述顾客的面部图像信息的多角度人脸识别摄像头；或所述身份信息采集装置、所述身份认证装置和所述身份识别装置均由用于获取所述顾客的身份ID信息的RFID设备或NFC设备或二维码扫描装置形成。
本发明实施例具有如下优点：
本发明实施例提出的一种无人值守超市购物方法及系统，能够大幅度降低无人智能零售场景下计算成本，大幅度提升物品识别综合准确率，可以在商业上实现落地开放场景多人同时购物的无人值守超市。
附图说明
图1为本发明实施例1提供的一种无人值守超市购物系统的结构示意图。
图2为本发明实施例1提供的一种无人值守超市购物方法的流程示意图。
01-身份信息采集装置、02-物理感应装置、03-身份认证装置、04-货架门禁、05-商品摄像头、06-身份识别装置、07-后台服务器。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下实施例用于说明本发明，但不用来限制本发明的范围。需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
如图1所示，本发明实施例公开的一种无人值守超市购物系统包括：身份信息采集装置01，设置在身份信息采集区域用于采集进入超市的顾客的第一身份信息；物理感应装置02，设置在每个货架的前方用于感应所述顾客是否进入及是否离开每个货架前的物理感应区域；身份认证装置03，设置在每个货架的前方用于获取所述顾客的第二身份信息；若干商品摄像头05，设置在每个货架每一层顶部用于监控拍摄货架门禁04开启前和关闭后所述货架每一层商品的商品图像；身份识别装置06，设置在结算区域用于采集结算顾客的第三身份信息；和后台服务器07，用于从所述身份信息采集装置01接收所述第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列；从所述物理感应装置02接收第二信号并打开所述货架前方的所述身份认证装置03；从所述身份认证装置03接收所述第二身份信息并根据所述第一身份信息和所述第二身份信息对比对所述顾客身份进行验证；当所述顾客的第二身份信息验证通过时，向所述货架门禁04发送打开的第一信号；从所述物理感应装置02接收感应到所述顾客离开每个货架前的物理感应区域发出的第五信号并关闭所述货架门禁04；从每个货架每一层的商品摄像头05接收在货架门禁04开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息；从所述身份识别装置06接收第三身份信息，并根据所述第三身份信息对所述顾客的身份信息进行识别；识别到所述顾客身份信息后，盘点所述顾客的全部购物信息，根据所述顾客的全部购物信息得到最终购物清单；及根据所述最终购物清单进行结算。
如图2所示，本发明实施例提供的一种无人值守超市购物方法，包括：步骤S01：在身份信息采集区域采集进入超市的顾客的第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列；步骤S02：在每个货架前方的身份信息验证区域获取所述顾客的第二身份信息，并对所述顾客的第二身份信息进行验证，当所述顾客的第二身份信息验证通过时，向货架门禁04发送打开的第一信号；步骤S03：获取所述货架门禁04开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息；及步骤S01：在结算区域根据所述顾客在所有货架上的选购商品综合计算得到顾客最终购物清单，根据所述最终购物清单进行结算并将所述顾客的身份信息从身份信息队列中剔除。
进一步地，本发明实施例中，在步骤S01中，具体需要说明的是，所述身份信息采集装置01由若干注册摄像头形成，所述注册摄像头为用于获取所述顾客的面部图像信息的多角度人脸识别摄像头，第一身份信息是通过若干人脸识别摄像头获取的所述顾客的面部图像信息，顾客进门之后，首先去身份信息采集区域采集顾客的面部图像信息，需要说明的是，顾客进入无人值守超市可以通过红外感应装置控制无人值守超市门开启和关闭，当红外感应装置感应到有人进入时，门打开，顾客进入无人值守超市，当顾客进入超市后，可以通过语音提示顾客需要先进入身份信息采集区域采集顾客的面部图像信息进行注册。身份信息采集装置01通过采集人脸特征信息获取进入超市的顾客的第一身份信息后传给后台服务器07，后台服务器07接收第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列。
在步骤S02中：获取所述顾客的第二身份信息之前，通过物理感应装置02判断所述顾客是否进入每个货架前的物理感应区域，每一个货架上都安装一个物理感应装置02，如果所述顾客进入每个货架前的物理感应区域后，则认定所述顾客具有购买意向；此时物理感应装置02向后台服务器07发送第二信号，后台服务器07收到第二信号打开货架前面的身份认证装置03。
进一步地，所述身份认证装置03由若干认证摄像头形成，所述认证摄像头为用于获取所述顾客的面部图像信息的多角度人脸识别摄像头，认证摄像头开始验证顾客身份，认证摄像头设置在货架前方，并且每个货架前方都设置有若干认证摄像头，认证摄像头用于实时检测当前货架前面是否有人，出现人脸之后将图像传给后台服务器07。
第二身份信息也是通过若干人脸识别摄像头获取的所述顾客的面部图像信息，顾客开始购物之前需要在无人值守超市身份信息验证区域采集顾客的第二身份信息，第二身份信息和第一身份信息需要保持一致。进一步地，所述对所述顾客的第二身份信息进行验证，包括：对比第二身份信息与所述第一身份信息；当所述第二身份信息与所述第一身份信息相同时，所述顾客的第二身份信息验证通过，否则所述顾客的第二身份信息验证失败，没有经过第二身份信息验证的顾客无法开启无人值守超市中任何一个货架门禁04。
在步骤S03中，无人值守超市由多个独立货架组成，每个货架有多层，每一层顶部都装置了一个或多个摄像头，用于监测当前层商品变化，这类摄像头称为商品摄像头05。如果顾客通过第二身份信息验证，并顺利确定顾客身份，后台服务器07将先向当前货架的商品摄像头05发出第三信号，拍摄当前货架每一层商品图片得到第一图像，分析处理第一图像中所有商品种类和每个种类的商品数量，得到第一商品信息，之后向货架门禁04发送打开的第一信号，货架门禁04打开，顾客选购该货架上的商品。
顾客选购完商品后，从当前货架离开，顾客离开货架判定：当当前货架物理感应装置02检测到顾客离开该货架前的物流感应区域时，判定顾客已经离开此货架，当前货架前的物理感应装置02向后台服务器07发送第五信号，后台服务器07收到第五信号指示关闭当前货架的货架门禁04。此时再向此货架的货架门禁04发出第四信号，拍摄货架每一层商品图片得到第二图像，分析处理第二图像中所有商品种类和每个种类的商品数量，得到第二商品信息。
对比顾客打开和离开货架前后的第一商品信息和第二商品信息，即可得到顾客在该货架的购物信息；整个无人值守超市由若干独立的所述货架组成，通过综合顾客在所有所述货架的购物明细来获得顾客在无人值守超市内的完整购物信息。
在步骤S04中，当顾客走入结算区域时，代表其要求结算，此时先使用身份识别装置06采集顾客的第三身份信息并发送给后台服务器07；所述身份识别装置06由若干识别摄像头形成，所述识别摄像头也为用于获取所述顾客的面部图像信息的多角度人脸识别摄像头，第三身份信息是通过若干人脸识别摄像头获取的所述顾客的面部图像信息；然后，后台服务器07根据所述第三身份信息对所述顾客的身份信息进行识别，即，将顾客的第三身份信息与第一身份信息进行对比，识别到所述顾客身份信息后，盘点所述顾客的全部购物信息，根据所述顾客的全部购物信息得到最终购物清单；优选地，根据所述最终购物清单进行结算后将所述顾客的身份信息从身份信息队列中剔除。
如果所述顾客不进入结算区域进行结算，所述身份信息队列超过预定长度时，强制结算排在最前面的顾客的购物清单；及将强制结算顾客的身份信息从身份信息队列中剔除，被剔除的顾客需重新在身份信息采集区域重新注册以获得再次购物的权限。
在进行注册时，需将所述顾客的身份信息与顾客的付款账号信息绑定并获得顾客的扣款授权，当所述顾客进入结算区域进行结算时，自动从顾客的付款账号上扣款。需要说明的是，顾客可以随时离开超市，付款自动完成。
另外，顾客可能在多个货架购买了商品，每次打开一个货架时，都会先经过进行第二身份信息验证，选购完成后得到当前顾客在当前货架的购物信息，顾客离开时统计顾客在所有货架上的购物信息即可。由于将货架分为多层，每一层都安装了商品摄像头，在货架门禁打开前拍摄一张图片，在货架门禁关闭前再拍摄一张图片，使用深度学习和图像检测技术检测前后两张图片中物体的差别，依此得到顾客在每一层所购买的商品，综合当前货架所有层的购买结果即可得到顾客在当前货架的购物信息。由于在拍摄图片时只拍摄相对封闭的区域，所以可以最大程度对抗环境变换影响，大大提升了识别准确率。同时由于只计算购物前后两张图片中商品清单，使得计算成本大大降低。
本发明实施例中，使用人脸来验证身份，可以在顾客无意识间完成了身份认证并打开货架门禁，相比于掌脉或者其他电子设备需要顾客不断地去人为操作，极大提升了购物体验。同时，只维护预定长度的面部特征信息库，一方面，可以达到强制结算处于队列前面的顾客的购物清单的目的，防止顾客恶意逃单。另一方面，固定长度的人脸特征队列，是一个小量的数据，使得认证准确率极高，速度也极快，因为人脸特征验证过程需要一一比对所有顾客面部信息才能确定每一个顾客的身份。
本发明实施例中，将商超分为多个独立的货架，每个货架单独计算顾客的购物信息，再综合顾客在所有货架中的购物信息即可得到顾客最终购物清单，这样可以极大降低计算性能要求，也可以极大提升识别准确率。现有的技术方案需要实时计算整个商超内所有顾客所有时间的实时购物信息，这样的计算消耗非常大，而且准确率很低。
本发明实施例中，采用静态识别仅对比顾客购物前后每一个货架的商品信息变动，依次得到顾客的购物信息。比使用实时动态的商品检测识别方法节约了非常大的计算成本，使得该方法商业化成为可能，同时由于将识别区域限定在固定环境(货架的每一层)下，可以大幅度提高识别准确率。同时该方法相比于RFID技术等，只要一个货架内的商品组合不变动，一个识别模型可以复制无数份，可以节约固件成本和人力成本。
本发明实施例中，采用强制自动结算，可以规避有些顾客逃单的情况，如果没有强制结算的步骤会导致有些顾客购物之后直接离开而没有结算。
总之，本发明实施例公开的技术方案同时为提升购物体验，需要将技术无意识植入到顾客购物流程中，使用人脸识别技术来绑定支付，并且用于自动开启每个货架的货架门禁。同时由于在多人场景下，纯粹的人脸识别容易导致货架误开门，使用结合物理感应的方法，当顾客走到特定区域时才认为顾客有购买意向，然后才开启认证摄像头检测验证顾客身份，身份验证通过之后会打开货架门禁。另外，可大幅度降低无人智能零售场景下计算成本，大幅度提升物品识别综合准确率，可以在商业上实现落地开放场景多人同时购物的无人值守商超。
实施例2
如图1所示，本发明实施例公开的一种无人值守超市购物系统包括：身份信息采集装置01，设置在身份信息采集区域用于采集进入超市的顾客的第一身份信息；物理感应装置02，设置在每个货架的前方用于感应所述顾客是否进入及是否离开每个货架前的物理感应区域；身份认证装置03，设置在每个货架的前方用于获取所述顾客的第二身份信息；若干商品摄像头05，设置在每个货架每一层顶部用于监控拍摄货架门禁04开启前和关闭后所述货架每一层商品的商品图像；身份识别装置06，设置在结算区域用于采集结算顾客的第三身份信息；和后台服务器07，用于从所述身份信息采集装置01接收所述第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列；从所述物理感应装置02接收第二信号并打开所述货架前方的所述身份认证装置03；从所述身份认证装置03接收所述第二身份信息并根据所述第一身份信息和所述第二身份信息对比对所述顾客身份进行验证；当所述顾客的第二身份信息验证通过时，向所述货架门禁04发送打开的第一信号；从所述物理感应装置02接收感应到所述顾客离开每个货架前的物理感应区域发出的第五信号并关闭所述货架门禁04；从每个货架每一层的商品摄像头05接收在货架门禁04开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息；从所述身份识别装置06接收第三身份信息，并根据所述第三身份信息对所述顾客的身份信息进行识别；识别到所述顾客身份信息后，盘点所述顾客的全部购物信息，根据所述顾客的全部购物信息得到最终购物清单；及根据所述最终购物清单进行结算。
如图2所示，本发明实施例提供的一种无人值守超市购物方法，包括：步骤S01：在身份信息采集区域采集进入超市的顾客的第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列；步骤S02：在每个货架前方的身份信息验证区域获取所述顾客的第二身份信息，并对所述顾客的第二身份信息进行验证，当所述顾客的第二身份信息验证通过时，向货架门禁04发送打开的第一信号；步骤S03：获取所述货架门禁04开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息；及步骤S01：在结算区域根据所述顾客在所有货架上的选购商品综合计算得到顾客最终购物清单，根据所述最终购物清单进行结算并将所述顾客的身份信息从身份信息队列中剔除。
进一步地，本发明实施例中，在步骤S01中，具体需要说明的是，所述身份信息采集装置01由RFID设备或NFC设备或二维码扫描装置形成，所述RFID设备或NFC设备或二维码扫描装置用于获取所述顾客的身份ID信息，第一身份信息是通过RFID设备或NFC设备或二维码扫描装置获取的所述顾客的身份ID信息，顾客进门之后，首先去身份信息采集区域采集顾客的身份ID信息，需要说明的是，顾客进入无人值守超市可以通过红外感应装置控制无人值守超市门开启和关闭，当红外感应装置感应到有人进入时，门打开，顾客进入无人值守超市，当顾客进入超市后，可以通过语音提示顾客需要先进入身份信息采集区域采集顾客的身份ID信息进行注册。身份信息采集装置01通过采集身份ID信息获取进入超市的顾客的第一身份信息后传给后台服务器07，后台服务器07接收第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列。
在步骤S02中：获取所述顾客的第二身份信息之前，通过物理感应装置02判断所述顾客是否进入每个货架前的物理感应区域，每一个货架上都安装一个物理感应装置02，如果所述顾客进入每个货架前的物理感应区域后，则认定所述顾客具有购买意向；此时物理感应装置02向后台服务器07发送第二信号，后台服务器07收到第二信号打开货架前面的身份认证装置03。
进一步地，所述身份认证装置03由RFID设备或NFC设备或二维码扫描装置形成，RFID设备或NFC设备或二维码扫描装置用于获取所述顾客的身份ID信息的，RFID设备或NFC设备或二维码扫描装置开始验证顾客身份，RFID设备或NFC设备或二维码扫描装置设置在货架前方，并且每个货架前方都设置有RFID设备或NFC设备或二维码扫描装置，RFID设备或NFC设备或二维码扫描装置用于检测当前货架前面是否有顾客通过RFID设备或NFC设备或二维码扫描装置进行第二身份信息验证，如果有，将第二身份信息传给后台服务器07。
第二身份信息也是通过通过RFID设备或NFC设备或二维码扫描装置获取的所述顾客的身份ID信息，顾客开始购物之前需要在无人值守超市身份信息验证区域采集顾客的第二身份信息，第二身份信息和第一身份信息需要保持一致。进一步地，所述对所述顾客的第二身份信息进行验证，包括：对比第二身份信息与所述第一身份信息；当所述第二身份信息与所述第一身份信息相同时，所述顾客的第二身份信息验证通过，否则所述顾客的第二身份信息验证失败，没有经过第二身份信息验证的顾客无法开启无人值守超市中任何一个货架门禁04。
在步骤S03中，无人值守超市由多个独立货架组成，每个货架有多层，每一层顶部都装置了一个或多个摄像头，用于监测当前层商品变化，这类摄像头称为商品摄像头05。如果顾客通过第二身份信息验证，并顺利确定顾客身份，后台服务器07将先向当前货架的商品摄像头05发出第三信号，拍摄当前货架每一层商品图片得到第一图像，分析处理第一图像中所有商品种类和每个种类的商品数量，得到第一商品信息，之后向货架门禁04发送打开的第一信号，货架门禁04打开，顾客选购该货架上的商品。
顾客选购完商品后，从当前货架离开，顾客离开货架判定：当当前货架物理感应装置02检测到顾客离开该货架前的物流感应区域时，判定顾客已经离开此货架，当前货架前的物理感应装置02向后台服务器07发送第五信号，后台服务器07收到第五信号指示关闭当前货架的货架门禁04。此时再向此货架的货架门禁04发出第四信号，拍摄货架每一层商品图片得到第二图像，分析处理第二图像中所有商品种类和每个种类的商品数量，得到第二商品信息。
对比顾客打开和离开货架前后的第一商品信息和第二商品信息，即可得到顾客在该货架的购物信息；整个无人值守超市由若干独立的所述货架组成，通过综合顾客在所有所述货架的购物明细来获得顾客在无人值守超市内的完整购物信息。
在步骤S04中，当顾客走入结算区域时，代表其要求结算，此时先使用身份识别装置06采集顾客的第三身份信息并发送给后台服务器07；所述身份识别装置06由RFID设备或NFC设备或二维码扫描装置形成，RFID设备或NFC设备或二维码扫描装置用于获取所述顾客的身份ID信息，第三身份信息也是通过RFID设备或NFC设备或二维码扫描装置获取的所述顾客的身份ID信息；然后，后台服务器07根据所述第三身份信息对所述顾客的身份信息进行识别，即，将顾客的第三身份信息与第一身份信息进行对比，识别到所述顾客身份信息后，盘点所述顾客的全部购物信息，根据所述顾客的全部购物信息得到最终购物清单；优选地，根据所述最终购物清单进行结算后将所述顾客的身份信息从身份信息队列中剔除。
如果所述顾客不进入结算区域进行结算，所述身份信息队列超过预定长度时，强制结算排在最前面的顾客的购物清单；及将强制结算顾客的身份信息从身份信息队列中剔除，被剔除的顾客需重新在身份信息采集区域重新注册以获得再次购物的权限。
在进行注册时，需将所述顾客的身份信息与顾客的付款账号信息绑定并获得顾客的扣款授权，当所述顾客进入结算区域进行结算时，自动从顾客的付款账号上扣款。需要说明的是，顾客可以随时离开超市，只要系统后台系统维护的顾客的身份信息队列超过限定，系统会自动结算前面没有结算的顾客。
另外，顾客可能在多个货架购买了商品，每次打开一个货架时，都会先经过进行第二身份信息验证，选购完成后得到当前顾客在当前货架的购物信息，顾客离开时统计顾客在所有货架上的购物信息即可。由于将货架分为多层，每一层都安装了商品摄像头，在货架门禁打开前拍摄一张图片，在货架门禁关闭前再拍摄一张图片，使用深度学习和图像检测技术检测前后两张图片中物体的差别，依此得到顾客在每一层所购买的商品，综合当前货架所有层的购买结果即可得到顾客在当前货架的购物信息。由于在拍摄图片时只拍摄相对封闭的区域，所以可以最大程度对抗环境变换影响，大大提升了识别准确率。同时由于只计算购物前后两张图片中商品清单，使得计算成本大大降低。
本发明实施例中，只维护预定长度的面部特征信息库，一方面，可以达到强制结算处于队列前面的顾客的购物清单的目的，防止顾客恶意逃单。另一方面，固定长度的人脸特征队列，是一个小量的数据，使得认证准确率极高，速度也极快，因为人脸特征验证过程需要一一比对所有顾客面部信息才能确定每一个顾客的身份。
本发明实施例中，将商超分为多个独立的货架，每个货架单独计算顾客的购物信息，再综合顾客在所有货架中的购物信息即可得到顾客最终购物清单，这样可以极大降低计算性能要求，也可以极大提升识别准确率。现有的技术方案需要实时计算整个商超内所有顾客所有时间的实时购物信息，这样的计算消耗非常大，而且准确率很低。
本发明实施例中，采用静态识别仅对比顾客购物前后每一个货架的商品信息变动，依次得到顾客的购物信息。比使用实时动态的商品检测识别方法节约了非常大的计算成本，使得该方法商业化成为可能，同时由于将识别区域限定在固定环境(货架的每一层)下，可以大幅度提高识别准确率。同时该方法相比于RFID技术等，只要一个货架内的商品组合不变动，一个识别模型可以复制无数份，可以节约固件成本和人力成本。
本发明实施例中，采用强制自动结算，可以规避有些顾客逃单的情况，如果没有强制结算的步骤会导致有些顾客购物之后直接离开而没有结算。
总之，本发明实施例公开的技术方案同时为提升购物体验，需要将技术无意识植入到顾客购物流程中，使用RFID或NFC或二维码识别技术来绑定支付，并且用于自动开启每个货架的货架门禁。同时由于在多人场景下，为了避免识别容易导致货架误开门，使用结合物理感应的方法，当顾客走到特定区域时才认为顾客有购买意向，然后才开启是通过RFID设备或NFC设备或二维码扫描装置获取的所述顾客的身份ID信息检测验证顾客身份，身份验证通过之后会打开货架门禁。另外，可大幅度降低无人智能零售场景下计算成本，大幅度提升物品识别综合准确率，可以在商业上实现落地开放场景多人同时购物的无人值守商超。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种无人值守超市购物方法，其特征在于，所述方法包括：
在身份信息采集区域采集进入超市的顾客的第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列；
在每个货架前方的身份信息验证区域获取所述顾客的第二身份信息，并对所述顾客的第二身份信息进行验证，当所述顾客的第二身份信息验证通过时，向货架门禁发送打开的第一信号；
获取所述货架门禁开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息；及
在结算区域根据所述顾客在所有货架上的选购商品综合计算得到顾客最终购物清单，根据所述最终购物清单进行结算并将所述顾客的身份信息从身份信息队列中剔除。
2.如权利要求1所述一种无人值守超市购物方法，其特征在于，所述对所述顾客的第二身份信息进行验证，包括：
对比所述第二身份信息与所述第一身份信息；
当所述第二身份信息与所述第一身份信息相同时，所述顾客的第二身份信息验证通过，否则所述顾客的第二身份信息验证失败。
3.如权利要求2所述一种无人值守超市购物方法，其特征在于，所述获取所述顾客的第二身份信息之前，包括：
通过物理感应装置判断所述顾客是否进入每个货架前的物理感应区域；
如果所述顾客进入所述货架前的物理感应区域后，则认定所述顾客具有购买意向；及
获取所述物理感应装置发送的第二信号，所述第二信号用于打开所述货架前方的身份认证装置。
4.如权利要求3所述一种无人值守超市购物方法，其特征在于，所述获取所述货架门禁开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息，包括：
在所述货架门禁打开前，向所述货架每一层的商品摄像头发出第三信号，所述第三信号用于指示每一层的商品摄像头拍摄所述货架每一层商品的第一图像，并分析所述第一图像得到第一商品信息；
当所述物理感应装置检测到所述顾客离开所述货架的物理感应区域时，向所述货架每一层的商品摄像头发出第四信号，所述第四信号用于指示每一层的商品摄像头拍摄所述货架每一层商品的第二图像，分析所述第二图像得到第二商品信息；
对比所述第一商品信息和所述第二商品信息，得到所述顾客在所述货架的购物信息；及
整个无人值守超市由若干独立的所述货架组成，通过综合顾客在所有所述货架的购物明细来获得顾客在无人值守超市内的完整购物信息。
5.如权利要求4所述一种无人值守超市购物方法，其特征在于，当所述物理感应装置检测到所述顾客离开所述货架前方的物理感应区域时，获取所述物理感应装置发送的第五信号，所述第五信号用于指示关闭所述货架门禁。
6.如权利要求1至5中任一项所述一种无人值守超市购物方法，其特征在于，所述在结算区域根据所述顾客在所有货架上的选购商品综合计算得到顾客最终购物清单，包括：
当所述顾客走入结算区域时，通过身份识别装置采集顾客的第三身份信息，并根据所述第三身份信息对所述顾客的身份信息进行识别，识别到所述顾客身份信息后，盘点所述顾客的全部购物信息，根据所述顾客的全部购物信息得到最终购物清单。
7.如权利要求6所述一种无人值守超市购物方法，其特征在于，所述根据所述最终购物清单进行结算，包括：
如果所述顾客不进入结算区域进行结算，所述身份信息队列超过预定长度时，强制结算排在最前面的顾客的购物清单；及
将强制结算顾客的身份信息从身份信息队列中剔除，被剔除的顾客需重新在身份信息采集区域重新注册以获得再次购物的权限。
8.如权利要求7所述一种无人值守超市购物方法，其特征在于，所述第一身份信息、所述第二身份信息和所述第三身份信息均是通过若干人脸识别摄像头获取的所述顾客的面部图像信息；或所述第一身份信息、所述第二身份信息和所述第三身份信息均是通过RFID设备或NFC设备或二维码扫描装置获取的所述顾客的身份ID信息。
9.一种无人值守超市购物系统，其特征在于，所述系统包括：
身份信息采集装置，设置在身份信息采集区域用于采集进入超市的顾客的第一身份信息；
物理感应装置，设置在每个货架的前方用于感应所述顾客是否进入及是否离开每个货架前的物理感应区域；
身份认证装置，设置在每个货架的前方用于获取所述顾客的第二身份信息；
若干商品摄像头，设置在每个货架每一层顶部用于监控拍摄货架门禁开启前和关闭后所述货架每一层商品的商品图像；
身份识别装置，设置在结算区域用于采集结算顾客的第三身份信息；和
后台服务器，用于从所述身份信息采集装置接收所述第一身份信息并对所述顾客的第一身份信息进行注册生成身份信息队列；
从所述物理感应装置接收第二信号并打开所述货架前方的所述身份认证装置；
从所述身份认证装置接收所述第二身份信息并根据所述第一身份信息和所述第二身份信息对比对顾客身份进行验证；
当所述顾客的第二身份信息验证通过时，向所述货架门禁发送打开的第一信号；
从所述物理感应装置接收感应到所述顾客离开每个货架前的物理感应区域发出的第五信号并关闭所述货架门禁；
从每个货架每一层的商品摄像头接收在货架门禁开启前和关闭后对所述货架上的商品监控拍摄的商品图像，并根据所述商品图像得到所述顾客在所述货架的购物信息；
从所述身份识别装置接收第三身份信息，并根据所述第三身份信息对所述顾客的身份信息进行识别；
识别到所述顾客的身份信息后，盘点所述顾客的全部购物信息，根据所述顾客的全部购物信息得到最终购物清单；及
根据所述最终购物清单进行结算。
10.如权利要求9所述一种无人值守超市购物系统，其特征在于，所述身份信息采集装置、所述身份认证装置和所述身份识别装置分别由若干注册摄像头、若干认证摄像头和若干识别摄像头形成，所述注册摄像头、所述认证摄像头和所述识别摄像头均为用于获取所述顾客的面部图像信息的多角度人脸识别摄像头；或所述身份信息采集装置、所述身份认证装置和所述身份识别装置均由用于获取所述顾客的身份ID信息的RFID设备或NFC设备或二维码扫描装置形成。
CN201811285620.9A 2018-10-31 2018-10-31 一种无人值守超市购物方法及系统 Pending CN109447756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811285620.9A CN109447756A (zh) 2018-10-31 2018-10-31 一种无人值守超市购物方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811285620.9A CN109447756A (zh) 2018-10-31 2018-10-31 一种无人值守超市购物方法及系统

Publications (1)

Publication Number Publication Date
CN109447756A true CN109447756A (zh) 2019-03-08

Family

ID=65550209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811285620.9A Pending CN109447756A (zh) 2018-10-31 2018-10-31 一种无人值守超市购物方法及系统

Country Status (1)

Country Link
CN (1) CN109447756A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390271A (zh) * 2019-06-28 2019-10-29 联想(北京)有限公司 一种无人售货方法和设备
CN110837824A (zh) * 2019-08-09 2020-02-25 达闼科技（北京）有限公司 用于售货装置中的商品识别方法、售货装置及存储介质
CN111127174A (zh) * 2020-01-06 2020-05-08 鄂尔多斯市东驿科技有限公司 智能化无人超市控制系统
CN111145409A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体识别定位跟踪系统
CN111145224A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体跟踪系统
CN111783509A (zh) * 2019-08-29 2020-10-16 北京京东尚科信息技术有限公司 自动结算方法、装置、系统和存储介质
CN113723383A (zh) * 2021-11-03 2021-11-30 武汉星巡智能科技有限公司 异视角同步识别同区域商品的订单生成方法及智能售货机

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222603A1 (en) * 2012-06-08 2014-08-07 Ronny Hay Computer-controlled, unattended, automated checkout store outlet
CN107330698A (zh) * 2017-06-20 2017-11-07 厦门益东互联科技有限公司 一种无人值守的智能购物系统
CN107688980A (zh) * 2017-06-29 2018-02-13 深兰科技（上海）有限公司 一种无人值守智能购物方法和无人值守智能购物系统
CN107749023A (zh) * 2017-10-30 2018-03-02 周燕红 一种无人超市自动管理方法及装置
CN107862515A (zh) * 2017-12-25 2018-03-30 东莞弘驰智能技术有限公司 一种售货方法及系统
CN108198027A (zh) * 2017-12-29 2018-06-22 珠海国芯云科技有限公司 基于物联网的超市智能排队结算顺序调度方法及装置
CN108230559A (zh) * 2018-02-08 2018-06-29 中山简单点网络技术有限公司 一种自动售货装置及其运行方法及自动售货系统
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108399692A (zh) * 2018-01-29 2018-08-14 阿里巴巴集团控股有限公司 自助购物方法、智能购物设备、后台系统及自助购物系统
CN108416499A (zh) * 2018-01-30 2018-08-17 深圳市赛亿科技开发有限公司 一种无人超市的人流量管理方法及系统
CN108629573A (zh) * 2018-04-08 2018-10-09 深圳奥比中光科技有限公司 一种智能自助购物方法及系统
CN108648338A (zh) * 2018-04-12 2018-10-12 广州杰赛科技股份有限公司 自动售货机的商品信息采集方法、装置和售货机

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222603A1 (en) * 2012-06-08 2014-08-07 Ronny Hay Computer-controlled, unattended, automated checkout store outlet
CN107330698A (zh) * 2017-06-20 2017-11-07 厦门益东互联科技有限公司 一种无人值守的智能购物系统
CN107688980A (zh) * 2017-06-29 2018-02-13 深兰科技（上海）有限公司 一种无人值守智能购物方法和无人值守智能购物系统
CN107749023A (zh) * 2017-10-30 2018-03-02 周燕红 一种无人超市自动管理方法及装置
CN107862515A (zh) * 2017-12-25 2018-03-30 东莞弘驰智能技术有限公司 一种售货方法及系统
CN108198027A (zh) * 2017-12-29 2018-06-22 珠海国芯云科技有限公司 基于物联网的超市智能排队结算顺序调度方法及装置
CN108399692A (zh) * 2018-01-29 2018-08-14 阿里巴巴集团控股有限公司 自助购物方法、智能购物设备、后台系统及自助购物系统
CN108416499A (zh) * 2018-01-30 2018-08-17 深圳市赛亿科技开发有限公司 一种无人超市的人流量管理方法及系统
CN108230559A (zh) * 2018-02-08 2018-06-29 中山简单点网络技术有限公司 一种自动售货装置及其运行方法及自动售货系统
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108629573A (zh) * 2018-04-08 2018-10-09 深圳奥比中光科技有限公司 一种智能自助购物方法及系统
CN108648338A (zh) * 2018-04-12 2018-10-12 广州杰赛科技股份有限公司 自动售货机的商品信息采集方法、装置和售货机

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390271A (zh) * 2019-06-28 2019-10-29 联想(北京)有限公司 一种无人售货方法和设备
CN110837824A (zh) * 2019-08-09 2020-02-25 达闼科技（北京）有限公司 用于售货装置中的商品识别方法、售货装置及存储介质
CN111783509A (zh) * 2019-08-29 2020-10-16 北京京东尚科信息技术有限公司 自动结算方法、装置、系统和存储介质
CN111127174A (zh) * 2020-01-06 2020-05-08 鄂尔多斯市东驿科技有限公司 智能化无人超市控制系统
CN111145409A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体识别定位跟踪系统
CN111145224A (zh) * 2020-01-06 2020-05-12 鄂尔多斯市东驿科技有限公司 人体跟踪系统
CN113723383A (zh) * 2021-11-03 2021-11-30 武汉星巡智能科技有限公司 异视角同步识别同区域商品的订单生成方法及智能售货机

Similar Documents

Publication Publication Date Title
CN109447756A (zh) 一种无人值守超市购物方法及系统
US11704936B2 (en) Object tracking and best shot detection system
US11790433B2 (en) Constructing shopper carts using video surveillance
CN108198052B (zh) 用户选购商品识别方法、装置以及智能货架系统
CN108491799B (zh) 一种基于图像识别的智能售货柜商品管理方法及系统
CN109272347A (zh) 一种门店客流量的统计分析方法及系统
CN108140123A (zh) 人脸活体检测方法、电子设备和计算机程序产品
CN101556717A (zh) 一种atm智能安保系统及监测方法
CN103605971B (zh) 一种捕获人脸图像的方法及装置
CN109635623A (zh) 一种面部识别系统以及自动识别和跟踪系统
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
WO2020065954A1 (ja) 認証装置、認証方法および記憶媒体
CN109003347A (zh) 一种防作弊移动考勤终端
CN108399693A (zh) 一种基于智能购物篮/车的无人超市系统
CN112215167A (zh) 一种基于图像识别的智能商店控制方法和系统
CN110647825A (zh) 无人超市物品确定方法、装置、设备及存储介质
CN108592915A (zh) 导航方法、购物车及导航系统
EP3629228B1 (en) Image processing for determining relationships between tracked objects
CN108961559A (zh) 智能化售货系统及其售货方法
CN112257617B (zh) 多模态目标识别方法和系统
CN111080307A (zh) 基于量子ai遥感视觉的智能交易和社交方法及系统
JP2022155061A (ja) 画像処理装置、画像処理方法およびプログラム
Mohaghegh et al. A four-component people identification and counting system using deep neural network
CN112069915A (zh) 一种具有人脸识别系统的atm机
US20190244026A1 (en) Method for training a person recognition model using images from a camera, and method for recognizing persons from a trained person recognition model by means of a second camera in a camera network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308

RJ01 Rejection of invention patent application after publication