CN108320379A - 基于图像比对的售货方法、装置和无人售货机 - Google Patents

基于图像比对的售货方法、装置和无人售货机 Download PDF

Info

Publication number
CN108320379A
CN108320379A CN201810168159.2A CN201810168159A CN108320379A CN 108320379 A CN108320379 A CN 108320379A CN 201810168159 A CN201810168159 A CN 201810168159A CN 108320379 A CN108320379 A CN 108320379A
Authority
CN
China
Prior art keywords
image
article
self
shelf
service machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810168159.2A
Other languages
English (en)
Inventor
王毕才
吕廷迅
谭勇
袁俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Fruit Xiaomei Network Technology Co Ltd
Original Assignee
Chengdu Fruit Xiaomei Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Fruit Xiaomei Network Technology Co Ltd filed Critical Chengdu Fruit Xiaomei Network Technology Co Ltd
Priority to CN201810168159.2A priority Critical patent/CN108320379A/zh
Publication of CN108320379A publication Critical patent/CN108320379A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F9/00Details other than those peculiar to special kinds or types of apparatus
    • G07F9/002Vending machines being part of a centrally controlled network of vending machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于图像比对的售货方法、装置和无人售货机,该方法包括:图像获取步骤:在无人售货机的门被打开或者将要被打开时,获取无人售货机中货架上的物品的图像作为原始图像,并且在无人售货机的门被打开后,每隔预设时间间隔获取所述货架上的物品的图像;物品检测步骤:将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;和购买结算步骤:在无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。采用该方法,每隔一定时间获取物品图像,通过对相邻图像进行分析判断,从而能够正确判断用户从所述货架上提取的物品或者放回到所述货架的物品。

Description

基于图像比对的售货方法、装置和无人售货机
技术领域
本申请涉及图像处理领域,特别是涉及一种基于图像比对的售货方法、装置和无人售货机。
背景技术
现有的智能无人售货机,购买者在购物时需要系统自动识别用户拿走的商品。在公共场所设置这样的机器,不但方便了用户,同时还节省了大量人工费用。然而,通常这样的智能售货机都是采用高速摄像头实时捕捉用户拿取商品的过程来识别购买的商品。然而,有时用户拿取物品的速度过快,会导致摄像头来不及跟踪,从而造成识别困难,或者完全无法识别;有时用户完全握住物品或者只是露出物品的一部分,或者用户有意或无意遮挡住物品的关键部位,也会造成识别困难,或者完全无法识别。上述这些情况都会导致结算错误,使得用户不能顺利购物,用户体验变差。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面,提供了一种售货方法,应用于无人售货机,所述方法包括:
图像获取步骤:在所述无人售货机的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设时间间隔获取所述货架上的物品的图像;
物品检测步骤:将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;和
购买结算步骤:在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
采用该方法,每隔一定时间获取物品图像,通过对相邻图像进行分析判断,从而能够正确判断用户从所述货架上提取的物品或者放回到所述货架的物品。
可选地,所述物品检测步骤包括:
图像特征提取步骤:通过尺度不变特征变换算法分别计算所述图像与该图像的前一个图像的特征点,进行特征点匹配;
待检测图像确定步骤:如果所述图像中存在未匹配成功的特征点,则认为用户放回了物品,将所述图像作为待检测图像;如果该图像的前一个图像中存在未匹配成功的特征点,则认为用户提取了物品,将前一个图像作为待检测图像;
待检测图像处理步骤:对于待检测图像,保留未匹配成功的特征点所对应的图像部分;和
物品确定步骤:利用机器学习的方法对处理后的待检测图像进行识别,确定所述待检测图像中的物品。
根据该方法,能够判断用户从所述货架上提取的物品或者放回到所述货架的物品。在用户从所述货架上提取物品后又将该物品放回的情况下,该方法也能正确识别用户购买的物品。
可选地,所述待检测图像处理步骤包括:
将所述待检测图像中匹配成功的特征点所对应的图像部分设置为纯色,未匹配成功的特征点所对应的图像部分保持不变。
根据该方法,将匹配成功的特征点所对应的图像部分设置为纯色,从而不会对后续机器学习步骤造成干扰。
可选地,所述购买结算步骤包括:
最终图像获取步骤:在所述无人售货机的门被关闭时或者关闭后并且在结算前,获得所述货架上的物品的图像作为最终图像;
清单确定步骤:根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单;和
清单验证步骤:将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
根据该方法,对购物清单进行二次计算和验证,可以避免识别错误的情况,提高结算的准确率。
根据本申请的另一个方面,还提供了一种售货装置,应用于无人售货机,所述装置包括:
图像获得模块,被配置成在所述无人售货机的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设间隔获取所述货架上的物品的图像;
物品检测模块,被配置成将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;和
购买结算模块,被配置成在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
采用该方法,每隔一定时间获取物品图像,通过对相邻图像进行分析判断,从而能够正确判断用户从所述货架上提取的物品或者放回到所述货架的物品。
可选地,所述物品检测模块包括:
图像特征提取模块,其被配置成通过尺度不变特征变换算法分别计算所述图像与该图像的前一个图像的特征点,进行特征点匹配;
待检测图像确定模块,其被配置成如果所述图像中存在未匹配成功的特征点,则认为用户放回了物品,将所述图像作为待检测图像,如果该图像的前一个图像中存在未匹配成功的特征点,则认为用户提取了物品,将前一个图像作为待检测图像;
待检测图像处理模块,其被配置成对于待检测图像,保留未匹配成功的特征点所对应的图像部分;和
物品确定模块,其被配置成利用机器学习的方法对处理后的待检测图像进行识别,确定所述待检测图像中的物品。
可选地,所述待检测图像处理模块被配置成所述待检测图像处理模块被配置成将所述待检测图像中匹配成功的特征点所对应的图像部分设置为纯色,未匹配成功的特征点所对应的图像部分保持不变。
可选地,所述购买结算模块包括:
最终图像获取模块,被配置成在所述无人售货机的门被关闭时或者关闭后并且在结算前,获得所述货架上的物品的图像作为最终图像;
清单确定模块,被配置成根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单;和
清单验证模块,被配置成将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
根据本申请的另一个发明,还提供了一种无人售货机,包括:柜体、所述柜体内的货架、摄像头和处理器,其中,所述摄像头设置在所述柜体内,所述摄像头连接至所述处理器;
所述摄像头被设置成,在所述无人售货机的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设间隔获取所述货架上的物品的图像,将获取的所有图片传送至所述处理器;
所述处理器被设置成,将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
可选地,所述摄像头还被配置成,在所述无人售货机的门被关闭时或者关闭后,拍摄所述货架上的物品,得到最终图像,并传送给所述处理器;
所述处理器还被配置成,根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单,将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
本申请提供了一种商品识别的整体解决方案,旨在解决用户使用无人售货机购买商品过程中的物品识别问题。现有技术中的解决方案大多是是通过识别客户购买录像,关注点集中于客户购买动作,而由于客观环境和用户购买习惯的复杂多样性、硬件采购成本高、对网络状况要求严格、对服务后端架构压力大等因素导致无人售货机的整体解决方案面临极大的挑战。因此,本申请从智能货柜硬件、网络、服务整条线上降低了成本,提高了系统的稳定性,改善了用户体验,为无人售货机的普及创造了更加有利的条件。
根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本申请的售货方法的一个实施例的流程图;
图2是无人售货机的某一层的原始图像;
图3是用户提取物品后拍摄的图像;
图4是对待检测图像进行处理后得到的图像;
图5是购买结算步骤的一个实施例的流程图;
图6是根据本申请的售货装置的一个实施例的框图;
图7根据本申请的无人售货机的一个实施例的框图。
具体实施方式
根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
图1示出了根据本申请的一个方面的一种售货方法,应用于无人售货机,所述方法包括:
图像获取步骤:在所述无人售货机的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设时间间隔获取所述货架上的物品的图像;
物品检测步骤:将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;和
购买结算步骤:在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
本申请所提供的方法能够实时识别客户购买的商品,由于采取的是静态画面的比对,不必对客户购买行为进行不合理的约束也不需要高速摄像装置来采集高清的画面,极大的提高了识别准确率,提升了用户体验,降低了无人售货机的成本。
其中,无人售货机可以是柜子、箱子或者其他形状。当无人售货机的门被打开或者将要被打开的状态可以通过用户的操作进行判断。例如,无人售货机的柜体外部可以贴有二维码标签,用户使用移动智能终端扫描所述二维码标签时,访问后台服务器,后台服务器给无人售货机发送解锁指令,此时,能够判断出柜门将要被用户打开。例如,无人售货机的柜体外部可以设置有生物信息采集装置,用于采集用户的生物信息或者手机信息,访问后台服务器,后台服务器给无人售货机发送解锁指令;其中,所述生物信息包括指纹信息、掌纹信息、掌静脉信息、指静脉信息、眼红膜信息或人脸信息;所述手机信息包括SIM卡信息、NFC信息等。还可以通过其他方式判断门被打开或者将要被打开,例如传感器感测门的移动。
可选地,柜体内每一层都可以设置有摄像装置,从而为每一层商品拍摄一张图像作为原始图像。图2示出了某一层的原始图像。
可选地,预设时间间隔范围为1秒至5秒,优选为1秒钟。
可选地,所述物品检测步骤包括:
图像特征提取步骤:通过尺度不变特征变换算法分别计算所述图像与该图像的前一个图像的特征点,进行特征点匹配;
待检测图像确定步骤:如果所述图像中存在未匹配成功的特征点,则认为用户放回了物品,将所述图像作为待检测图像;如果该图像的前一个图像中存在未匹配成功的特征点,则认为用户提取了物品,将前一个图像作为待检测图像;
待检测图像处理步骤:对于待检测图像,保留未匹配成功的特征点所对应的图像部分;和
物品确定步骤:利用机器学习的方法对处理后的待检测图像进行识别,确定所述待检测图像中的物品。
无人售货机的每层货架上按照要求摆放着对应的商品,假设某层货架上按照顺序摆放有小桶泡面、酸菜泡面、可乐、椰汁、薯片等商品。摄像装置可以是摄像头。例如,图1为摄像头在某个时刻对准该层商品拍摄了第一张图像。用户从最外层拿取了可乐,此时参见图2,摄像头拍摄了第二张图片,通过SIFT算法比对第一张图片和第二张图片。由于SIFT算法具备尺度不变形、旋转不变形、图像亮度和拍摄视角的鲁棒性,同时由于目前大多数商品为了吸引客户颜色都比较鲜艳,特征比较丰富,因此SIFT算法能够在前后两张图片上都提取出比较多的图像特征点。将前后两张照片特征点进行匹配,匹配时考虑了商品的位置因素,被拿取的可乐将不会被匹配到。由于第二张图像具有第一张图像没有的特征点,因此认为客户提取了物品,将第二张图像作为待检测图像。假设客户不想买可乐了,又将该瓶可乐放回原位,此时摄像头拍摄了第三张图片,通过SIFT算法比对第二张图片和第三张图片,第三张图片中存在第二张图片中没有的特征点,则认为客户放回了物品,将第三张图片作为待检测图像。对于待检测图像,保留未匹配成功的特征点所对应的图像部分,将该图片用机器学习的方法检测,识别出商品的数量和类别。
本申请除了采用SIFT算法外,还可以通过高斯拉普拉斯算子检测(LoG)算法、行列式值(DoH)方法、加速稳健特征(SURF)算法、二进制稳健基元独立特征(BRIEF)算法等检测算法实现,这些算法的实质都是在检测和发现图像的特征点,并最终用于比较图片局部或整体的相似性。
该步骤还能够在更复杂的情况下提高结算的正确率。更复杂的情况下可以是用户在购买过程中出现遮挡其他商品的情况。例如,用户在购买可乐的过程中,不小心遮挡了泡面,导致第二张照片相比第一张照片少了一盒泡面,这时系统认为客户同时也购买了泡面。当顾客去确认订单的时候,摄像头已经拍摄了第三张照片,通过与第二张图片的比对,发现多了一盒泡面,因此系统会消除掉前面因客户遮挡导致的错误。通过前面的流程判断可以实现客户购买流程的实时识别。
可选地,所述待检测图像处理步骤包括:将所述待检测图像中匹配成功的特征点所对应的图像部分设置为纯色,未匹配成功的特征点所对应的图像部分保持不变。
可选地,纯色可以为黑色、白色或其他颜色。参见图4,该图为对待检测图像进行处理后的图像。例如,将所有被匹配到的特征点及其周围都重置为白色,这样第一张图片中的可乐就没有被白色覆盖,将该图片利用机器学习的方法检测,识别出商品对应的类别,就可以判断出用户购买了一瓶可乐。
可选地,图5示出了所述购买结算步骤,该步骤包括:
最终图像获取步骤:在所述无人售货机的门被关闭时或者关闭后并且在结算前,获得所述货架上的物品的图像作为最终图像;
清单确定步骤:根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单;和
清单验证步骤:将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
在所述无人售货机的门被关闭时、关闭后或者确认订单之后,摄像头继续拍摄一张照片作为最终图像,将该图像与用户开始购买时的第一张图像进行SIFT特征比对,一次识别出顾客购买的所有商品,比对实时流程和确认流程的识别结果可以更进一步确认整个流程的正确性,提高了系统的鲁棒性,进一步增强系统的正确率和其他情况导致的误差,提升了用户体验。
根据本申请的另一个方面,参见图5,还提供了一种售货装置,应用于无人售货机,所述装置包括:
图像获得模块,被配置成在所述无人售货机的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设时间间隔获取所述货架上的物品的图像;
物品检测模块,被配置成将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;和
购买结算模块,被配置成在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
可选地,所述物品检测模块包括:
图像特征提取模块,其被配置成通过尺度不变特征变换算法分别计算所述图像与该图像的前一个图像的特征点,进行特征点匹配;
待检测图像确定模块,其被配置成如果所述图像中存在未匹配成功的特征点,则认为用户放回了物品,将所述图像作为待检测图像,如果该图像的前一个图像中存在未匹配成功的特征点,则认为用户提取了物品,将前一个图像作为待检测图像;
待检测图像处理模块,其被配置成对于待检测图像,保留未匹配成功的特征点所对应的图像部分;和
物品确定模块,其被配置成利用机器学习的方法对处理后的待检测图像进行识别,确定所述待检测图像中的物品。
可选地,所述待检测图像处理模块被配置成所述待检测图像处理模块被配置成将所述待检测图像中匹配成功的特征点所对应的图像部分设置为纯色,未匹配成功的特征点所对应的图像部分保持不变。
可选地,所述购买结算模块包括:
最终图像获取模块,被配置成在所述无人售货机的门被关闭时或者关闭后并且在结算前,获得所述货架上的物品的图像作为最终图像;
清单确定模块,被配置成根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单;和
清单验证模块,被配置成将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
根据本申请的另一个方面,参见图7,提供了一种无人售货机,包括:柜体1、所述柜体内的货架2、摄像头3和处理器(未示出),其中,所述摄像头设置在所述柜体内,所述摄像头连接至所述处理器;
所述摄像头在所述柜体的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设时间间隔获取所述货架上的物品的图像,将获取的所有图片传送至所述处理器;
所述处理器将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
可选地,所述处理器通过尺度不变特征变换算法分别计算所述图像与该图像的前一个图像的特征点,进行特征点匹配;如果所述图像中存在未匹配成功的特征点,则认为用户放回了物品,将所述图像作为待检测图像;如果该图像的前一个图像中存在未匹配成功的特征点,则认为用户提取了物品,将前一个图像作为待检测图像;对于待检测图像,保留未匹配成功的特征点所对应的图像部分;利用机器学习的方法对处理后的待检测图像进行识别,确定所述待检测图像中的物品。
可选地,所述处理器将所述待检测图像中匹配成功的特征点所对应的图像部分设置为纯色,未匹配成功的特征点所对应的图像部分保持不变。
可选地,所述摄像头可以设置在柜体内的顶壁以及每层货架的下方,以便对下方的货架进行拍摄;也可以设置在柜体内的侧壁;也可以设置在其他适当的位置。可以理解的是,可以由一个或者多个摄像头对每层货架的物品进行拍摄,在利用多个摄像头进行拍摄的情况下,该多个摄像头可以设置在该层货架上方,或者设置在该层货架旁边的柜体内壁,或者二者的结合。
可选地,所述摄像头还被配置成在所述门被关闭时或者关闭后,拍摄所述货架上的物品,得到最终图像,并传送给所述处理器;
所述处理器根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单,将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
可选地,无人售货机还可以包括照明灯,该照明灯用于货柜内部的照明,以稳定货柜内部光线条件,保证SIFT检测和商品识别的准确性。
无人售货机还可以包括显示屏,该显示屏用于实时显示顾客购买商品的名称和数量,并且用于客户确定订单。例如,客户可以通过与显示屏连接的键盘、显示屏显示的软键盘或者触摸该显示屏进行订单的确认。
在一个优选的实施方案中,所述处理器将特征点发送至后台服务器,该后台服务器将所述特征点进行匹配并且实现后续图像处理和识别步骤。
可选地,无人售货机还可以设置有重力传感器,所述重力传感器连接至处理器,所述重力传感器检测货架的物品被提取前后的变化重量,通过处理器发送至后台服务器;后台服务器根据所述变化重量和图像处理的结果二者结合起来,对用户提取或者放回的物品进行检测。
可选地,所述货架为多层货架,每层货架上分别设置摄像头,或者每层货架上分别设置摄像头和重力传感器。
可选地,无人售货机还包括安装在门上的锁具,所述锁具连接处理器。可选地,该控制锁具可以是磁力锁、电插锁或电控锁。
可选地,可以由处理器控制所述门的打开和/或关闭,或者由后台服务器)通过处理器控制所述门的打开和/或关闭。
可选地,无人售货机还包括设置在柜体外部的结算装置,该结算装置可以说刷卡机、NFC感应区,用于读取用户刷卡信息或者手机的信息,通过后台服务器进行结算
用户在靠近无人售货机期间,利用移动终端向所述处理器或者所述后台服务器发起购物流程,无人售货机识别出是否是注册用户,当判定用户的购买意图之后,自动打开无人售货机的门,客户提取自己想要的商品,所述处理器或者所述后台服务器获取所述被提取的物品的种类和数量,同时显示屏上显示用户拿取的商品、个数以及总价,客户购买完毕后,查看购买清单,在显示屏上确认本次购买并离开,无人售货机的门自动关闭,本次购买结束,无人售货机等待为下一个用户服务。
本发明解决了智能无人售货机硬件采购成本高、对外部环境依赖程度高、对网络实时性和带宽要求高、对后端压力大、要求限制用户购买习惯等不利条件,为智能无人售货机的广泛推广奠定了基础。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。在计算机加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种售货方法,应用于无人售货机,所述方法包括:
图像获取步骤:在所述无人售货机的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设时间间隔获取所述货架上的物品的图像;
物品检测步骤:将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;和
购买结算步骤:在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
2.根据权利要求1所述的方法,其特征在于,所述物品检测步骤包括:
图像特征提取步骤:通过尺度不变特征变换(SIFT)算法分别计算所述图像与该图像的前一个图像的特征点,进行特征点匹配;
待检测图像确定步骤:如果所述图像中存在未匹配成功的特征点,则认为用户放回了物品,将所述图像作为待检测图像;如果该图像的前一个图像中存在未匹配成功的特征点,则认为用户提取了物品,将前一个图像作为待检测图像;
待检测图像处理步骤:对于待检测图像,保留未匹配成功的特征点所对应的图像部分;和
物品确定步骤:利用机器学习的方法对处理后的待检测图像进行识别,确定所述待检测图像中的物品。
3.根据权利要求2所述的方法,其特征在于,所述待检测图像处理步骤包括:
将所述待检测图像中匹配成功的特征点所对应的图像部分设置为纯色,未匹配成功的特征点所对应的图像部分保持不变。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述购买结算步骤包括:
最终图像获取步骤:在所述无人售货机的门被关闭时或者关闭后并且在结算前,获得所述货架上的物品的图像作为最终图像;
清单确定步骤:根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单;和
清单验证步骤:将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
5.一种售货装置,应用于无人售货机,所述装置包括:
图像获得模块,被配置成在所述无人售货机的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设时间间隔获取所述货架上的物品的图像;
物品检测模块,被配置成将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;和
购买结算模块,被配置成在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
6.根据权利要求5所述的装置,其特征在于,所述物品检测模块包括:
图像特征提取模块,其被配置成通过尺度不变特征变换算法分别计算所述图像与该图像的前一个图像的特征点,进行特征点匹配;
待检测图像确定模块,其被配置成如果所述图像中存在未匹配成功的特征点,则认为用户放回了物品,将所述图像作为待检测图像,如果该图像的前一个图像中存在未匹配成功的特征点,则认为用户提取了物品,将前一个图像作为待检测图像;
待检测图像处理模块,其被配置成对于待检测图像,保留未匹配成功的特征点所对应的图像部分;和
物品确定模块,其被配置成利用机器学习的方法对处理后的待检测图像进行识别,确定所述待检测图像中的物品。
7.根据权利要求6所述的装置,其特征在于,所述待检测图像处理模块被配置成所述待检测图像处理模块被配置成将所述待检测图像中匹配成功的特征点所对应的图像部分设置为纯色,未匹配成功的特征点所对应的图像部分保持不变。
8.根据权利要求5至7中任一项所述的装置,其特征在于,所述购买结算模块包括:
最终图像获取模块,被配置成在所述无人售货机的门被关闭时或者关闭后并且在结算前,获得所述货架上的物品的图像作为最终图像;
清单确定模块,被配置成根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单;和
清单验证模块,被配置成将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
9.一种无人售货机,包括:柜体、所述柜体内的货架、摄像头和处理器,其中,所述摄像头设置在所述柜体内,所述摄像头连接至所述处理器;
所述摄像头在所述柜体的门被打开或者将要被打开时,获取所述无人售货机中货架上的物品的图像作为原始图像,并且在所述无人售货机的门被打开后,每隔预设时间间隔获取所述货架上的物品的图像,将获取的所有图片传送至所述处理器;
所述处理器将获取的每一个图像与所述图像的前一个图像进行特征比对,确定用户从所述货架上提取的物品或者放回到所述货架的物品;在所述无人售货机的门被关闭时或者关闭后,确定用户最终提取的物品,进行结算。
10.根据权利要求9所述的无人售货机,其特征在于,所述摄像头还被配置成,在所述无人售货机的门被关闭时或者关闭后,拍摄所述货架上的物品,得到最终图像,并传送给所述处理器;
所述处理器根据所述最终图像之前的图像确定第一购物清单,将所述原始图像与所述最终图像进行特征对比,确定用户购买物品的第二购物清单,将所述第一购物清单与所述第二购物清单进行对比,如果所述第一购物清单和所述第二购物清单的内容一致,则确定最终的购物清单并进行结算。
CN201810168159.2A 2018-02-28 2018-02-28 基于图像比对的售货方法、装置和无人售货机 Pending CN108320379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810168159.2A CN108320379A (zh) 2018-02-28 2018-02-28 基于图像比对的售货方法、装置和无人售货机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810168159.2A CN108320379A (zh) 2018-02-28 2018-02-28 基于图像比对的售货方法、装置和无人售货机

Publications (1)

Publication Number Publication Date
CN108320379A true CN108320379A (zh) 2018-07-24

Family

ID=62901822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810168159.2A Pending CN108320379A (zh) 2018-02-28 2018-02-28 基于图像比对的售货方法、装置和无人售货机

Country Status (1)

Country Link
CN (1) CN108320379A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108806086A (zh) * 2018-08-03 2018-11-13 虫极科技(北京)有限公司 一种柱状商品识别系统和方法
CN108922029A (zh) * 2018-08-15 2018-11-30 济南每日优鲜便利购网络科技有限公司 自动售货设备及其控制方法
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、系统和无人售货系统
CN109190705A (zh) * 2018-09-06 2019-01-11 深圳码隆科技有限公司 无人售货方法、装置及系统
CN109214299A (zh) * 2018-08-09 2019-01-15 合肥美的智能科技有限公司 货柜的物品监控方法、装置以及货柜
CN109272647A (zh) * 2018-08-29 2019-01-25 北京华沁智联科技有限公司 自动售卖仓库物品状态的更新方法及装置
CN109447756A (zh) * 2018-10-31 2019-03-08 李义 一种无人值守超市购物方法及系统
CN109472581A (zh) * 2018-10-31 2019-03-15 京东方科技集团股份有限公司 自动售货方法及自动售货机
CN109543527A (zh) * 2018-10-19 2019-03-29 北京陌上花科技有限公司 用于无人货架的商品检测方法、装置以及零售终端
CN109726759A (zh) * 2018-12-28 2019-05-07 北京旷视科技有限公司 无人售货方法、装置、系统、电子设备及计算机可读介质
CN109949479A (zh) * 2019-03-18 2019-06-28 成都好享你网络科技有限公司 基于图像差异的数据处理方法、装置和智能售货机
CN110020511A (zh) * 2019-03-26 2019-07-16 深兰科技(上海)有限公司 一种物品的管理方法及装置
CN110136326A (zh) * 2019-04-24 2019-08-16 深兰科技(上海)有限公司 一种售货柜控制方法及装置
CN110472962A (zh) * 2019-08-13 2019-11-19 广州云徙科技有限公司 一种基于图像识别的无人支付方法以及无人支付货架系统
CN111126110A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售系统
CN111209911A (zh) * 2020-01-07 2020-05-29 创新奇智(合肥)科技有限公司 基于语义分割网络的自定义标签识别系统及识别方法
CN111523348A (zh) * 2019-02-01 2020-08-11 百度(美国)有限责任公司 信息生成方法和装置、用于人机交互的设备
CN111539418A (zh) * 2020-07-10 2020-08-14 支付宝(杭州)信息技术有限公司 一种无人售货装置
CN111753728A (zh) * 2020-06-24 2020-10-09 京东方科技集团股份有限公司 确定货架展位状态的方法和装置、货架
CN111783528A (zh) * 2020-05-22 2020-10-16 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统
CN111915794A (zh) * 2019-05-09 2020-11-10 顺丰科技有限公司 一种无人售货机及其售货方法
CN112052708A (zh) * 2019-06-06 2020-12-08 杭州海康威视数字技术股份有限公司 物品检测方法、装置及系统
CN112184751A (zh) * 2019-07-04 2021-01-05 虹软科技股份有限公司 物体识别方法及系统、电子设备
CN112613358A (zh) * 2020-12-08 2021-04-06 浙江三维万易联科技有限公司 物品的识别方法、装置、存储介质以及电子装置
CN113538784A (zh) * 2021-06-23 2021-10-22 支付宝(杭州)信息技术有限公司 智能货柜以及物品识别方法
CN113706227A (zh) * 2021-11-01 2021-11-26 微晟(武汉)技术有限公司 一种货架商品推荐方法及装置
CN115797707A (zh) * 2023-02-06 2023-03-14 威海海洋职业学院 一种基于计算机视觉的物品识别方法和系统
CN116862390A (zh) * 2023-09-01 2023-10-10 常熟市恒仕达电器有限公司 商品售卖柜的管理方法、商品售卖柜及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170062778A (ko) * 2015-11-30 2017-06-08 롯데알미늄 주식회사 사진 인화 기능을 갖는 자동판매기 및 그의 제어방법
CN107123006A (zh) * 2017-07-12 2017-09-01 杨智勇 一种智能购物系统
CN107134053A (zh) * 2017-04-19 2017-09-05 石道松 智能售货门店
CN107293049A (zh) * 2017-07-05 2017-10-24 胡雷刚 一种商品自助销售方法及其装置
CN107330684A (zh) * 2017-07-06 2017-11-07 广州联业商用机器人科技股份有限公司 一种云端智能管控无人商店及其自动结算方法
CN107393152A (zh) * 2017-08-14 2017-11-24 杭州纳戒科技有限公司 自助售货机及自助售货系统
CN107481414A (zh) * 2017-08-21 2017-12-15 文彬 一种开放式无人售卖装置的实时导购方法及系统
CN206961241U (zh) * 2017-05-10 2018-02-02 文彬 一种开门式售货机

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170062778A (ko) * 2015-11-30 2017-06-08 롯데알미늄 주식회사 사진 인화 기능을 갖는 자동판매기 및 그의 제어방법
CN107134053A (zh) * 2017-04-19 2017-09-05 石道松 智能售货门店
CN206961241U (zh) * 2017-05-10 2018-02-02 文彬 一种开门式售货机
CN107293049A (zh) * 2017-07-05 2017-10-24 胡雷刚 一种商品自助销售方法及其装置
CN107330684A (zh) * 2017-07-06 2017-11-07 广州联业商用机器人科技股份有限公司 一种云端智能管控无人商店及其自动结算方法
CN107123006A (zh) * 2017-07-12 2017-09-01 杨智勇 一种智能购物系统
CN107393152A (zh) * 2017-08-14 2017-11-24 杭州纳戒科技有限公司 自助售货机及自助售货系统
CN107481414A (zh) * 2017-08-21 2017-12-15 文彬 一种开放式无人售卖装置的实时导购方法及系统

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108806086B (zh) * 2018-08-03 2024-05-03 虫极科技(北京)有限公司 一种柱状商品识别系统和方法
CN108806086A (zh) * 2018-08-03 2018-11-13 虫极科技(北京)有限公司 一种柱状商品识别系统和方法
CN109214299A (zh) * 2018-08-09 2019-01-15 合肥美的智能科技有限公司 货柜的物品监控方法、装置以及货柜
CN108922029A (zh) * 2018-08-15 2018-11-30 济南每日优鲜便利购网络科技有限公司 自动售货设备及其控制方法
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、系统和无人售货系统
WO2020037728A1 (zh) * 2018-08-21 2020-02-27 深圳码隆科技有限公司 商品信息确定方法、系统、存储介质和无人售货系统
CN109272647A (zh) * 2018-08-29 2019-01-25 北京华沁智联科技有限公司 自动售卖仓库物品状态的更新方法及装置
CN109190705A (zh) * 2018-09-06 2019-01-11 深圳码隆科技有限公司 无人售货方法、装置及系统
WO2020047919A1 (zh) * 2018-09-06 2020-03-12 深圳码隆科技有限公司 无人售货方法、装置、系统、服务器及计算机可读存储介质
CN109543527A (zh) * 2018-10-19 2019-03-29 北京陌上花科技有限公司 用于无人货架的商品检测方法、装置以及零售终端
CN111126110B (zh) * 2018-10-31 2024-01-05 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售系统
CN111126110A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售系统
CN109472581A (zh) * 2018-10-31 2019-03-15 京东方科技集团股份有限公司 自动售货方法及自动售货机
CN109447756A (zh) * 2018-10-31 2019-03-08 李义 一种无人值守超市购物方法及系统
CN109726759A (zh) * 2018-12-28 2019-05-07 北京旷视科技有限公司 无人售货方法、装置、系统、电子设备及计算机可读介质
CN109726759B (zh) * 2018-12-28 2021-08-17 北京旷视科技有限公司 无人售货方法、装置、系统、电子设备及计算机可读介质
CN111523348A (zh) * 2019-02-01 2020-08-11 百度(美国)有限责任公司 信息生成方法和装置、用于人机交互的设备
CN111523348B (zh) * 2019-02-01 2024-01-05 百度(美国)有限责任公司 信息生成方法和装置、用于人机交互的设备
CN109949479A (zh) * 2019-03-18 2019-06-28 成都好享你网络科技有限公司 基于图像差异的数据处理方法、装置和智能售货机
CN110020511A (zh) * 2019-03-26 2019-07-16 深兰科技(上海)有限公司 一种物品的管理方法及装置
CN110136326A (zh) * 2019-04-24 2019-08-16 深兰科技(上海)有限公司 一种售货柜控制方法及装置
CN111915794A (zh) * 2019-05-09 2020-11-10 顺丰科技有限公司 一种无人售货机及其售货方法
CN112052708A (zh) * 2019-06-06 2020-12-08 杭州海康威视数字技术股份有限公司 物品检测方法、装置及系统
CN112184751A (zh) * 2019-07-04 2021-01-05 虹软科技股份有限公司 物体识别方法及系统、电子设备
CN110472962A (zh) * 2019-08-13 2019-11-19 广州云徙科技有限公司 一种基于图像识别的无人支付方法以及无人支付货架系统
CN111209911A (zh) * 2020-01-07 2020-05-29 创新奇智(合肥)科技有限公司 基于语义分割网络的自定义标签识别系统及识别方法
CN111783528A (zh) * 2020-05-22 2020-10-16 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统
WO2021233058A1 (zh) * 2020-05-22 2021-11-25 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统
CN111753728A (zh) * 2020-06-24 2020-10-09 京东方科技集团股份有限公司 确定货架展位状态的方法和装置、货架
WO2021259209A1 (zh) * 2020-06-24 2021-12-30 京东方科技集团股份有限公司 确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质
CN111539418A (zh) * 2020-07-10 2020-08-14 支付宝(杭州)信息技术有限公司 一种无人售货装置
CN112613358A (zh) * 2020-12-08 2021-04-06 浙江三维万易联科技有限公司 物品的识别方法、装置、存储介质以及电子装置
CN113538784A (zh) * 2021-06-23 2021-10-22 支付宝(杭州)信息技术有限公司 智能货柜以及物品识别方法
CN113538784B (zh) * 2021-06-23 2024-01-05 支付宝(杭州)信息技术有限公司 智能货柜以及物品识别方法
CN113706227A (zh) * 2021-11-01 2021-11-26 微晟(武汉)技术有限公司 一种货架商品推荐方法及装置
CN115797707A (zh) * 2023-02-06 2023-03-14 威海海洋职业学院 一种基于计算机视觉的物品识别方法和系统
CN116862390B (zh) * 2023-09-01 2023-12-12 常熟市恒仕达电器有限公司 商品售卖柜的管理方法、商品售卖柜及计算机存储介质
CN116862390A (zh) * 2023-09-01 2023-10-10 常熟市恒仕达电器有限公司 商品售卖柜的管理方法、商品售卖柜及计算机存储介质

Similar Documents

Publication Publication Date Title
CN108320379A (zh) 基于图像比对的售货方法、装置和无人售货机
US20210304176A1 (en) Information processing system
CN106781014B (zh) 自动售货机及其运行方法
US11501614B2 (en) Skip-scanning identification method, apparatus, and self-service checkout terminal and system
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
CN206757798U (zh) 自动售货机
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
US10943128B2 (en) Constructing shopper carts using video surveillance
CN112464697B (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN108460908A (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
US10846678B2 (en) Self-service product return using computer vision and Artificial Intelligence
WO2018137136A1 (zh) 自动售货机及其运行方法
CN108291876A (zh) 用于检测产品的真实性的系统及方法
CN107967603B (zh) 购物结算方法及售卖设备
CN108492451A (zh) 自动售货方法
EP3185146A1 (en) Information processing apparatus
JP2023014207A (ja) 情報処理システム
CN111222870B (zh) 结算方法、装置和系统
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
WO2019165895A1 (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
JP2024008245A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
CN108171286B (zh) 无人售货方法及其系统
CN108279946B (zh) 一种调取销售者应用的方法和装置
US20220270061A1 (en) System and method for indicating payment method availability on a smart shopping bin
JP7338706B2 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180724