CN108776770A - 一种智能购物车的信息处理方法及智能购物车 - Google Patents

一种智能购物车的信息处理方法及智能购物车 Download PDF

Info

Publication number
CN108776770A
CN108776770A CN201810375424.4A CN201810375424A CN108776770A CN 108776770 A CN108776770 A CN 108776770A CN 201810375424 A CN201810375424 A CN 201810375424A CN 108776770 A CN108776770 A CN 108776770A
Authority
CN
China
Prior art keywords
information
commodity
image
shopping trolley
intelligent shopping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810375424.4A
Other languages
English (en)
Inventor
邓想全
许星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201810375424.4A priority Critical patent/CN108776770A/zh
Publication of CN108776770A publication Critical patent/CN108776770A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62BHAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B3/00Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
    • B62B3/14Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Handcart (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明提供一种智能购物车的信息处理方法及智能购物车,方法包括如下步骤:预存商品特征信息数据库;实时采集所述智能购物车内全部商品的图像信息;处理所述全部商品的图像信息,提取单个商品的全部或部分图像信息;处理所述单个商品的全部或部分图像信息,提取所述单个商品的全部或部分特征信息,并将所述特征信息与所述预存商品特征信息数据库进行对比;通过所述对比,确定所述单个商品的基本信息,生成购物清单及结算请求;接受对所述购物清单的核对和支付。可以实时获取所购商品的信息并生成购物清单及结算请求供消费者快速支付,本方法无需使用RFID电子标签标识商品,进一步降低了无人超市的管理、运营成本。

Description

一种智能购物车的信息处理方法及智能购物车
技术领域
本发明涉及光学及电子技术领域,尤其涉及一种智能购物车的信息处理方法及智能购物车。
背景技术
随着互联网电商及物流行业的发展,传统线下零售行业受到了前所未有的冲击,普遍萎靡不振。经研究发现,导致传统线下零售行业萎靡的主要原因包括:一、经营成本日益攀升;二、消费者的用户体验糟糕;三、同行恶性竞争等。其中,人工成本、维护成本占据了传统线下零售行业经营成本的主要部分。面对日益飙升的人工成本及维护成本,市面上逐渐出现一些自助售卖机、“无人超市”等新模式的零售产业。这些新模式的零售产业一般以云计算、物联网、移动支付、大数据等技术作为依托,采用无人值守的销售模式,以最大限度地降低人工成本、维护成本以及提升消费者的用户体验。
现有技术方案中的“无人超市”虽然能够基本实现消费者的自助购物功能,但也存在着一系列的局限性。比如,结算模块一般需要等待消费者离开购物区时,才开始检测贴在商品表面的RFID电子标签,以获取选购商品的信息及结算选购商品的总金额。另外,用于标识商品信息的RFID电子标签,其制作成本高昂,容易损毁或被干扰,并不适用于金属等某些特殊商品的标识。
所以,现有技术中缺乏一种更智能的购物车能够不依赖RFID电子标签实时获取消费者所选购商品的信息及生成购物清单。
发明内容
本发明为了解决现有技术“无人超市”依然依赖于RFID电子标签的问题,提供一种智能购物车的信息处理方法及智能购物车。
为了解决上述问题,本发明采用的技术方案如下所述:
一种智能购物车的信息处理方法,包括如下步骤:S1:预存商品特征信息数据库;S2:实时采集所述智能购物车内全部商品的图像信息;S3:处理所述全部商品的图像信息,提取单个商品的全部或部分图像信息;S4:处理所述单个商品的全部或部分图像信息,提取所述单个商品的全部或部分特征信息,并将所述特征信息与所述预存商品特征信息数据库进行对比;S5:通过所述对比,确定所述单个商品的基本信息,生成购物清单及结算请求;S6:接受对所述购物清单的核对和支付。
还提供一种智能购物车的信息处理方法,包括S7:对已支付的购物清单的商品进行消磁处理。
又提供一种智能购物车的信息处理方法,步骤S2还包括将图像信息已经采集的商品移出采集区域。
在上述方法的一种实施例中,所述商品特征信息数据库包括单个商品的尺寸信息和/或彩色图像信息,以及商品位置信息、商品重量信息、商品生产信息中的零个、一个或至少一个的组合;所述图像信息包括深度图像或RGB图像或RGB-D图像;所述基本信息包括商品的类别、单价、数量信息中的一种或多种组合;生成所述结算请求包括将所述购物清单发送给消费者或生成付款码供消费者扫描。
本发明还提供一种智能购物车,包括:储物箱体,固定在载物框内用于存放选购的商品;采集模块,用于采集所述储物箱体内商品的图像信息;处理模块,与所述采集模块电连接,用于接收、处理所述图像信息,识别选购的商品,获取所述商品的基本信息;生成购物清单以及结算请求;通讯模块,与所述处理模块电连接,用于将所述处理模块生成的所述购物清单及结算请求发送至消费者。
更进一步的,一种智能购物车还包括与所述处理模块连接的消磁模块,用于对所述储物箱体内已支付的商品消磁;所述储物箱体还包括临时储物区用于存放已经获取图像信息的商品;所述采集模块包括深度相机和/或RGB相机;所述处理模块通过图像分割、特征提取、特征匹配技术对所述图像信息进行处理,所述图像分割包括图像阈值分割、区域生长、标记区域分割中的一种或多种组合。
本发明的有益效果为:提供一种智能购物车的信息处理方法及智能购物车,所述方法实时采集智能购物车内全部商品的图像信息并对图像信息进行处理,与预先存储的商品特征信息数据库进行比对获取商品的基本信息并生成购物清单生成购物清单及结算请求,供消费者快速支付,本方法无需使用RFID电子标签标识商品,进一步降低了无人超市的管理、运营成本。
更进一步的,采用本发明提供的信息处理方法更适合堆叠商品的信息处理,符合消费者的购物习惯。
附图说明
图1是根据本发明实施例的一种智能购物车的结构示意图。
图2是根据本发明实施例的一种商品信息采集模块的分布示意图。
图3(a)是根据本发明实施例的堆叠商品的主视深度图。
图3(b)是根据本发明实施例的堆叠商品的60度侧视深度图。
图3(c)是根据本发明实施例的堆叠商品的俯视深度图。
图4是根据本发明实施例的另一种智能购物车结构示意图。
图5是根据本发明实施例的一种智能购物车的信息处理方法示意图。
图6是根据本发明实施例的另一种智能购物车的信息处理方法示意图。
其中,100-智能购物车,101-车体,102-处理模块,103-储物箱体,104-采集模块,105-无线通讯模块,106-电源,110-选购商品,201-208-深度相机,210-选购商品,220-储物箱体,400-智能购物车,401-车体,402-处理模块,403-储物箱体,404-采集模块,405-无线通讯模块,406-电源,407-自动闸门,408-临时储物区,410-选购商品。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。应当理解的是,所述实施例仅仅是本发明的一部分实施例,而不是全部实施例,不能理解为对本发明的限制。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应该属于本发明保护的范围。
需要说明的是,本发明实施例中所含盖的功能模块,可以根据需要,通过现有技术中的一种或多种编程语言实现。对于公知的编程原理和软件构成,下文虽然不作详细阐述,但应属于本发明技术方案的一部分。
图1是根据本发明实施例的一种智能购物车的结构示意图。该实施例中,智能购物车100包括,车体101、处理模块102、储物箱体103、采集模块104、无线通讯模块105以及电源106,可以应用于“无人超市”中,方便消费者自主购物。在其他等效实施例中,智能购物车100或者还包括重力传感器(图中未示出)。重力传感器可以有两个方面的作用:1.可以实时获取当前购物车中所有商品的重量,并告知消费者当前所购商品的重量,方便消费者;2.对于有些需要称重的商品,可以获取这些商品的重量并与预先存储的单价信息相结合获取这些称重商品的价格;当然在一些实施例中,也可以摈弃传统超市的概念,预先将散装的商品打包好或用盒子装好并标定好价格信息。
类似于传统的购物车,消费者可以直接将选购商品110添加至储物箱体103内;区别在于,该智能购物车100通过采集模块104采集选购商品110的图像信息或者还包括重量信息,并通过有线/无线设备反馈给处理模块102;处理模块102通过图像分割技术、特征提取技术及特征匹配技术获取每一个选购商品的基本信息,生成购物清单;在一种实施例中,购物车还包括可触摸交互的显示器(图中未画出),用于实时显示购物车内已添加商品所对应的基本信息,即显示消费者所添置商品的购物清单;当消费者确认结束购物时,点击显示器的结算按钮,生成结算二维码,消费者扫码支付。在另一种实施方式中,通过输入消费者手机号,以便购物车无线通讯模块向消费者移动终端发送购物清单及结算请求。消费者在完成购物结算后可快速离开“无人超市”。需要理解的是,所述选购商品的基本信息包括但不仅限于,商品的类别、单价、数量信息等。可以理解的是,此处仅仅是在购物结束的时候与购物车内的购物清单发生关联,并没有在开始购物的时候就绑定消费者的账号信息是为了避免中间有推错购物车的情况。
为了使消费者离开时带走的商品全部为已经支付的商品,还需要在购物车的车体设置一圈消磁模块(图中未画出),保证储物箱体103中所有商品在消磁模块的工作范围内。因为超市的购物区内所有商品都进行磁处理,商品完成结算后,购物车的消磁模块对商品进行统一消磁,消费者在离开购物区域时,先过一道具有磁性检测的大门,如果没检查出磁性,便开启离开通道大门。在一种具体实施例中,消磁模块是非接触式解码器,只需要将商品上标签通过扫描即可解码。超市门口一般设置报警装置,又称“防损门”,里面装有磁性感应器。如果商品没有经过消磁而通过防损门时则会报警。
上述购物车不仅可以实现快速、实时结算,结算之后还可以继续购物,然后再对继续买的东西进行结算。
其中,车体101包括推把、载物框以及方向轮,消费者也可通过推把控制车体的运动。在其他的一些实施方式中,车体101还包括电机、控制器、陀螺仪等设备,消费者可以通过控制器直接操控车体的运动。
其中,处理模块102包括存储器、处理器、接口电路、PCB板等元器件(图中未示出),通过相关接口与电源106、采集模块104以及无线通讯模块105电连接,用于接收/处理各个模块的信息数据,以及控制各个模块的运作。具体地,所述处理模块102可以通过一种或多种逻辑运算、相关图像分割算法、特征提取算法、特征比对算法等完成信息数据的处理、特征的比对,以识别商品基本信息及生成购物清单。可以理解的是,所述逻辑运算、相关图像特征分割算法、特征点提取算法、特征点比对算法等程序都永久或短暂性的保存在所述存储器中,在一种实施例中,算法也会实时更新。需要理解的是,应当预先对购物区域的全部商品,进行图像信息采集及特征标记处理,构建商品的特征信息数据库,并保存于存储器中,以便处理器在执行特征比对操作时,能够通过类比的方法搜索特征信息数据库,确定消费者所选购商品的类别信息、单价信息等。特征信息数据库中包括单个商品的尺寸信息和/或彩色图像信息,更进一步的还包括商品的位置信息、重量信息和生产信息,生产信息是指商品的产地、生产厂家、生产日期、到期时间等商品生产制造的信息。在其他的一些实施例中,处理模块可以由“无人超市”系统的后台服务器代替,其工作过程与所述处理模块基本类似,区别在于,所述采集模块获取的商品信息/数据需要通过无线通讯模块发送至后台服务器,这里的后台服务器实际是与购物车上处理模块是相当的,也是可以预先存储商品的全部特征信息等,具体过程就类似于购物车处理模块。在一种实施例中,存储器中还存放商品位置信息,消费者可以根据商品位置信息快速购物;或者更进一步的,存储器和处理器协同作用,处理器根据存储器的商品位置信息以及消费者的购物计划规划购物路线,比如先购置可以常温放置的商品最后购置需要冷藏的商品,最大的优势是合理规划购物路线节约消费者的时间,防止消费者来回寻找商品。
其中,储物箱体103可以由透明树脂或透明玻璃组合而成,固定在载物框内,用于存放消费者所选购的商品。需要理解的是,在一种实施方式中,储物箱体103的全部区域应该落在采集模块104的采集范围内。具体由采集模块104性质决定,此处不做特别限定。这样设计的好处是,可以确保商品能够完全被采集模块104捕获,以最大限度地降低采集模块104的盲区。
其中,采集模块104包括深度相机、RGB相机、补光灯等,设置在载物框内,用于连续或间歇采集储物箱体103内选购商品的RGB-D图像信息,并传输给处理模块。可以理解的,所述商品的RGB-D图像信息包括商品的深度图像信息和/或商品的彩色图像信息,即对应。在其他的一些实施例中,采集模块104还包括重力传感器,用于采集选购商品的重量信息。具体地,一种实施方式中,所述重力传感器设置在储物箱体103下方,以实时获取消费者所选购商品的重量信息,并传输给处理模块。
其中,无线通讯模块105包括,射频发射/接收设备、采集串口设备、单片机、接口设备等,用于将处理模块102生成的购物清单信息及结算请求发送至消费者的移动终端。具体地,一种实施方式中,无线通讯模块优选窄带低功耗的JTT-433-UDlpm201模块。选用该无线通讯模块105的好处是,一方面其具有很强的抗干扰能力外;另一方面,其还具有灵敏度高、体积小、透明出射、功耗低、传输距离远等特点。
其中,电源106,与处理模块102、采集模块104以及无线通讯模块105等设备电连接,用于各个模块、设备的供电。
图2是根据本发明实施例的一种商品信息采集模块的分布示意图。考虑到消费者往购物车添加商品的随机性,所添加的商品之间可能存在堆叠的现象。可以理解的,商品的堆叠必然会导致商品的部分图像信息被其他商品遮挡,并且越是在底部或中间的商品,其图像信息被遮挡的部分越多,从而影响采集模块对商品图像的采集。
为了尽可能完整地采集商品的图像信息,以便处理模块尽可能多地获取商品的图像特征信息,该实施例中,在载物框的四根支柱上设置多个采集模块,以便从多个角度/方位采集选购商品210的图像信息。为了便于理解,仅以采集模组的深度相机为例,进行示意性说明,但不应当理解为对本发明的限制。
具体地,一种实施方式中,载物框的每根支柱设置至少两个深度相机(包括RGB相机),并且每根支柱设置深度相机的方式应当保持一致,即要求同一支柱的深度相机设置在同一直线上,并且深度相机之间的距离保持一致。具体比如,深度相机201与深度相机205设置在同一直线上;深度相机201、深度相机202,深度相机203以及深度相机204设置在同一水平面上。
这样设置的好处包括,一方面可以减少深度相机之间的相互干扰,降低深度相机之间的采集盲区;另一方面,可以保证在同一水平面上的深度相机201-深度相机204(或者深度相机205-深度相机208)所采集的图像信息,能够完整地拼接在一起,以降低后期处理模块对商品三维数据的拼接运算量。
此外,为了避免商品距离深度相机过近,而导致深度相机无法采集商品的图像信息或者商品直接撞击深度相机,在购物框内设置储物箱体220。可以理解的,该储物箱体220应当在深度相机的有效工作区域内。
在一些其他实施方式中,也可以在载物框的其他地方设置深度相机(包括RGB相机),以便更为方便地采集选购商品210的RGB-D图像信息。或者设置更多或更少的深度相机,采集商品的RGB-D图像信息。
图3是根据本发明实施例的一种堆叠商品在不同方位的深度图;其中,图3(a)是堆叠商品的主视深度图;图3(b)是堆叠商品的60度侧视深度图;图3(c)是堆叠商品的俯视深度图。为了便于理解,图中仅以4种不同尺寸的规则形状的堆叠商品(商品A、商品B、商品C以及商品D)为例,进行示意性说明,在实际应用中,或者包括更为复杂的商品形状或更多的堆叠商品。
需要理解的是,采集模块在采集堆叠商品的深度图像时,一般会同时采集到购物车载物筐等背景深度图像;所述背景图像对商品的图像信息会造成不必要的干扰,因此需要处理模块利用虚化背景等相关图像处理技术,将堆叠商品的深度图像部分标定出来,并抠离虚化背景,以提取堆叠商品的深度图像信息。具体地,一种实施方式中,可以通过堆叠商品的深度值的渐变性或突变性来标定堆叠商品,以将堆叠商品的深度图像从购物车载物筐的背景深度图像中区分出来。
可以理解的,所述堆叠商品的深度图像中,包括了每一个商品的全部或部分深度图像信息,在一些其他实施例中,或者还包括了全部或部分商品的RGB图像信息(图中未示出)。如果能够将堆叠的商品进一步区分开来,提取每一个商品的全部或部分深度图像信息(包括RGB图像信息),便可提取每一个商品全部或部分特征信息;基于特征信息与预存特征信息数据库作比对处理,即可获得每一个商品的基本信息(包括类别信息、单价信息等),以及完成消费者选购商品的统计,生成购物清单。
基于采集模块所采集的堆叠商品的RGB-D图像信息,一种实施方式中,处理模块通过图像阈值分割技术,分割所述堆叠商品的RGB-D图像,以提取每一个商品的全部或部分RGB-D图像。具体地,可以根据不同商品之间的图像灰度值、深度值的差异,预设一个阈值或阈值区间,对堆叠商品的RGB-D图像进行单个商品RGB-D图像分割、提取。进一步地,以图3(a)堆叠商品的主视深度图为例进行描述。由图3(a)可知,商品A与商品B的交界处,其深度值远小于商品A或商品B其他区域的深度值,因此可以预设一个临界阈值或阈值区间,对堆叠商品的深度图像进行扫描比对处理,以找出商品A、B、C、D的分界线,进而提取每个单一商品的全部或部分深度图像。在其他实施例中,也可以通过商品之间RGB图像的色彩差异,辅助处理模块找出堆叠商品的分界线,分割堆叠商品的深度图像,提取单个商品的全部或部分深度图像信息。
基于采集模块所采集的堆叠商品的RGB-D图像信息,另一种实施方式中,处理模块可以通过区域生长技术,分割所述堆叠商品的RGB-D图像,以提取每一个商品的全部或部分RGB-D图像。具体地,可以选择堆叠商品的RGB-D图像中的一小块区域,再制定生长准则,以生长出单个商品的全部或部分RGB-D图像。具体地,可以利用深度学习的卷积神经网络算法实现,此处不做过分阐述。
类似地,基于采集模块所采集的堆叠商品的RGB-D图像信息,在一些等效实施方式中,处理模块还可以通过标记特定区域(即基于标记的区域分割技术),对堆叠商品的RGB-D图像进行分割处理,以提取单个商品的全部或部分RGB-D图像信息。具体地,可以通过使用不同的标号来对欲分割的堆叠商品图像的不同局域进行描述,并以一定方式对图像中的每个像素点进行标记处理;针对标记相同的像素点,组成该标记所代表的局域(即常用的松弛技术),以找出堆叠商品RGB-D图像中每一种商品之间的分界线,提取单一商品的全部或部分RGB-D图像信息。
图4是根据本发明实施例的一种智能购物车的示意图。如图所示,智能购物车400包括车体401,车体401设置储物箱体403,还包括电源406,与处理模块402、采集模块404以及无线通讯模块405等设备电连接,用于各个模块、设备的供电。为了避免商品的多层堆叠,造成商品信息的全部丢失,需要限制一次性添加商品的数量,智能购物车400内新增自动闸门407,在采集模块404完成图像采集后,处理模块402控制自动闸门407开启,使得商品落入临时储物区408。这样设计的好处是限制消费者一次性添加过多的商品,导致部分商品图像信息无法被采集。在本实施例中,消磁模块优选的可以设置在临时储物区408周围一圈。
可以理解的是,图4仅给出一种具体的实施例,并局限于此设计,本设计的目的就是为了将已经获取图像信息的商品移出扫描区域,防止商品过多堆叠层数过多。也可以将临时储物区直接设置成购物袋或者其他储物方式,存储已经获取图像信息的商品。
图5是根据本发明实施例的一种智能购物车的信息处理方法示意图。包括如下步骤:
S1:预存商品特征信息数据库;
这里的商品特征信息数据库是可以实时更新的,比如可以增加、删减商品的类别、数量等信息。
S2:实时采集所述智能购物车内全部商品的图像信息;
这里说的全部商品的图像信息是指当前在扫描区域内所有商品的图像信息,可以理解的是,所购商品的放置区域在扫描区域的范围内。
S3:处理所述全部商品的图像信息,提取单个商品的全部或部分图像信息;
S4:处理所述单个商品的全部或部分图像信息,提取所述单个商品的全部或部分特征信息,并将所述特征信息与所述预存商品特征信息数据库进行对比;
S5:通过所述对比,确定所述单个商品的基本信息,生成购物清单及结算请求;
S6:接受对所述购物清单的核对和支付。
如图6所示,为了支付完成之后,消费者可以快速离开超市或者区别开接下来的购物,还包括步骤S7:对已支付的购物清单的所购商品进行消磁处理。
因为消费者购物习惯不同可能同时放置多个商品,那么为了防止商品之间相互遮挡导致采集不到个别商品的图像信息的情况,步骤S2中还包括将图像信息已经采集的商品移出采集区域,那么留在采集区域的商品即为还未采集图像信息的商品,这样防止商品堆叠层数过多。
在上述方法的一种具体实施例中,智能购物车的信息处理方法具体包括:
步骤1,采集模块采集智能购物车储物箱体内的全部商品的RGB-D图像,或者还包括储物箱体等背景RGB-D图像,并通过有线或无线设备反馈给处理模块;处理模块通过商品的深度值与购物车储物箱体的深度值的差异,确定商品的RGB-D图像区域,并虚化其他不相关背景的RGB-D图像区域,以提取商品的RGB-D图像。
步骤2,处理模块通过图像阈值分割技术或者图像区域生长技术或者标记区域分割技术等,对堆叠商品的RGB-D图像进行处理,以提取每一个商品的全部或部分RGB-D图像。
步骤3,处理模块通过特征信息提取技术,处理每一个商品的全部或部分RGB-D图像,提取每一个商品的全部或部分特征点信息,具体可以包括商品的色彩特征信息、尺寸特征信息等,并将所提取的商品特征信息与预存的全部商品特征信息数据库进行比对处理。
步骤4,处理模块通过特征信息比对,获取单一商品的基本信息,包括商品类别信息、单价信息、数量信息等;进一步地,处理模块通过逻辑运算模块统计消费者所选购的商品的单价、类别、数量信息,以生成购物清单及结算请求,并通过无线通讯模块发送至消费者的移动终端。
步骤5,消费者根据移动终端所接收到的购物清单进行商品核对及商品结算,并完成自助购物后,快速离开购物区域。
区别于现有技术方案中的无人超市结算方式,本发明提供一种智能购物车,其有益效果是:智能购物车通过采集模块,实时采集消费者所添加至购物车内的商品的RGB-D图像,或者还包括重量信息,反馈给处理模块;处理模块通过相关图像处理算法、图像分割技术,处理所述商品的RGB-D图像,以分割出单个商品的RGB图像信息以及提取单个商品的特征信息;进而处理模块通过相关特征比对算法,比对所述商品的特征信息与预存全部商品的特征信息数据库,确定所述选购商品的基本信息及生成购物清单,并通过无线通讯设备发送至消费者的移动终端,以便消费者可以快速完成商品的结算及离开无人超市。此外,该实施例的智能购物车,无需使用RFID电子标签标识商品,进一步降低了无人超市的管理、运营成本。
需要理解的是,本实施例中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施例中并没有将与解决本发明所提出的技术问题关系不密切的单元引入,但这并不代表本实施例中不存在其它的单元。
需要指出,根据实施的需要,可将本申请中描述的各个步骤/模块拆分为更多步骤/模块,也可将两个或多个步骤/模块或者步骤/模块的部分操作组合成新的步骤/模块,以实现本发明的目的。
上述根据本发明的智能购物车的工作流程可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的处理方法。此外,当通用计算机访问用于实现在此示出的处理的代码时,代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (10)

1.一种智能购物车的信息处理方法,其特征在于,包括如下步骤:
S1:预存商品特征信息数据库;
S2:实时采集所述智能购物车内全部商品的图像信息;
S3:处理所述全部商品的图像信息,提取单个商品的全部或部分图像信息;
S4:处理所述单个商品的全部或部分图像信息,提取所述单个商品的全部或部分特征信息,并将所述特征信息与所述预存商品特征信息数据库进行对比;
S5:通过所述对比,确定所述单个商品的基本信息,生成购物清单及结算请求;
S6:接受对所述购物清单的核对和支付。
2.如权利要求1所述的智能购物车的信息处理方法,其特征在于,还包括S7:对已支付的购物清单的商品进行消磁处理。
3.如权利要求1所述的智能购物车的信息处理方法,其特征在于,所述商品特征信息数据库包括单个商品的尺寸信息和/或彩色图像信息,以及商品位置信息、商品重量信息、商品生产信息中的零个、一个或至少一个的组合。
4.如权利要求1所述的智能购物车的信息处理方法,其特征在于,步骤S2还包括将图像信息已经采集的商品移出采集区域。
5.如权利要求1所述的智能购物车的信息处理方法,其特征在于,所述图像信息包括深度图像或RGB图像或RGB-D图像。
6.如权利要求1所述的智能购物车的信息处理方法,其特征在于,所述基本信息包括商品的类别、单价、数量信息中的一种或多种组合。
7.如权利要求1所述的智能购物车的信息处理方法,其特征在于,生成所述结算请求包括将所述购物清单发送给消费者或生成付款码供消费者扫描。
8.一种采用如权利要求1-7任一所述的智能购物车的信息处理方法的智能购物车,其特征在于,包括:
储物箱体,固定在载物框内用于存放选购的商品;
采集模块,用于采集所述储物箱体内商品的图像信息;
处理模块,与所述采集模块电连接,用于接收、处理所述图像信息,识别选购的商品,获取所述商品的基本信息;生成购物清单以及结算请求;
通讯模块,与所述处理模块电连接,用于将所述处理模块生成的所述购物清单及结算请求发送至消费者。
9.如权利要求8所述的智能购物车,其特征在于,还包括与所述处理模块连接的消磁模块,用于对所述储物箱体内已支付的商品消磁。
10.如权利要求8所述的智能购物车,其特征在于,
所述储物箱体还包括临时储物区用于存放已经获取图像信息的商品;
所述采集模块包括深度相机和/或RGB相机;
所述处理模块通过图像分割、特征提取、特征匹配技术对所述图像信息进行处理,所述图像分割包括图像阈值分割、区域生长、标记区域分割中的一种或多种组合。
CN201810375424.4A 2018-04-24 2018-04-24 一种智能购物车的信息处理方法及智能购物车 Pending CN108776770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810375424.4A CN108776770A (zh) 2018-04-24 2018-04-24 一种智能购物车的信息处理方法及智能购物车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810375424.4A CN108776770A (zh) 2018-04-24 2018-04-24 一种智能购物车的信息处理方法及智能购物车

Publications (1)

Publication Number Publication Date
CN108776770A true CN108776770A (zh) 2018-11-09

Family

ID=64026523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810375424.4A Pending CN108776770A (zh) 2018-04-24 2018-04-24 一种智能购物车的信息处理方法及智能购物车

Country Status (1)

Country Link
CN (1) CN108776770A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543057A (zh) * 2018-11-20 2019-03-29 广州逗号智能零售有限公司 基于智能收银台的商品识别方法、装置、设备及存储介质
CN109712324A (zh) * 2018-12-28 2019-05-03 广东便捷神科技股份有限公司 一种自动售货机图像识别方法、售货方法及自动售货设备
CN109886112A (zh) * 2019-01-16 2019-06-14 创新奇智(合肥)科技有限公司 一种基于图像的物体识别方法、商品自助收银系统及电子设备
CN110163315A (zh) * 2019-05-06 2019-08-23 南京倍便利智能科技有限公司 一种针对连锁无人超市的商品视觉识别方法
CN110223150A (zh) * 2019-06-20 2019-09-10 京东方科技集团股份有限公司 商品的购买方法、装置及购物车
CN110588737A (zh) * 2019-10-10 2019-12-20 高岩松 超市自助结算式购物车
CN110942295A (zh) * 2019-11-08 2020-03-31 九洲云联(武汉)科技有限公司 一种智能收银系统及其收银方法
CN111222382A (zh) * 2018-11-27 2020-06-02 北京京东尚科信息技术有限公司 一种基于图像的商品结算方法、装置、介质及电子设备
CN112381512A (zh) * 2020-11-15 2021-02-19 周岳 一种核验系统及核验方法
CN112785289A (zh) * 2021-01-27 2021-05-11 支付宝(杭州)信息技术有限公司 购物结算方法、装置和购物车
WO2021121314A1 (zh) * 2019-12-19 2021-06-24 胜斗士(上海)科技技术发展有限公司 用于食品自动贩卖机的控制装置及方法
CN113706274A (zh) * 2021-10-28 2021-11-26 苏州贝塔智能制造有限公司 一种双路不同步输入防错处理方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06180785A (ja) * 1992-12-11 1994-06-28 Casio Comput Co Ltd 売上データ処理装置
CN204250118U (zh) * 2014-12-03 2015-04-08 嘉兴学院 一种自带结算功能的购物车
CN105069675A (zh) * 2015-07-31 2015-11-18 天津云锦瑞物联网技术研发有限责任公司 一种智能购物系统及其使用方法
CN105095987A (zh) * 2015-06-30 2015-11-25 北京奇虎科技有限公司 一种购物导航方法及用于购物导航的服务器、客户端
CN106204030A (zh) * 2016-08-17 2016-12-07 成都仁通融合信息技术有限公司 一种基于二维码的超市自助购物系统及方法
CN106314509A (zh) * 2016-09-20 2017-01-11 重庆科技学院 智能购物车及其控制方法
CN106355484A (zh) * 2016-10-12 2017-01-25 李兆洲 基于终端设备以进行购物的方法、及其购物系统
CN106408369A (zh) * 2016-08-26 2017-02-15 成坤 智能鉴别购物车内商品信息的算法
CN106504074A (zh) * 2016-11-14 2017-03-15 上海卓易科技股份有限公司 一种智能购物方法及系统
CN106651354A (zh) * 2016-10-11 2017-05-10 重庆钧爱博科技有限公司 一种自助购物结算购物车、智能终端及自助购物结算系统
CN106910086A (zh) * 2017-01-18 2017-06-30 甄启源 一种超市智能购物系统
CN107221098A (zh) * 2017-04-25 2017-09-29 深圳中兴网信科技有限公司 辅助购物方法、装置和智能购物车
CN107563872A (zh) * 2017-09-11 2018-01-09 江苏弘冠智能科技有限公司 一种购物系统和购物方法
CN206907162U (zh) * 2017-05-17 2018-01-19 河海大学常州校区 自结算超市购物车及超市结算系统
CN107705129A (zh) * 2017-09-15 2018-02-16 泾县麦蓝网络技术服务有限公司 一种应用于实体零售店的购物结算方法和系统
CN107856709A (zh) * 2017-11-03 2018-03-30 东南大学 一种智能购物车

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06180785A (ja) * 1992-12-11 1994-06-28 Casio Comput Co Ltd 売上データ処理装置
CN204250118U (zh) * 2014-12-03 2015-04-08 嘉兴学院 一种自带结算功能的购物车
CN105095987A (zh) * 2015-06-30 2015-11-25 北京奇虎科技有限公司 一种购物导航方法及用于购物导航的服务器、客户端
CN105069675A (zh) * 2015-07-31 2015-11-18 天津云锦瑞物联网技术研发有限责任公司 一种智能购物系统及其使用方法
CN106204030A (zh) * 2016-08-17 2016-12-07 成都仁通融合信息技术有限公司 一种基于二维码的超市自助购物系统及方法
CN106408369A (zh) * 2016-08-26 2017-02-15 成坤 智能鉴别购物车内商品信息的算法
CN106314509A (zh) * 2016-09-20 2017-01-11 重庆科技学院 智能购物车及其控制方法
CN106651354A (zh) * 2016-10-11 2017-05-10 重庆钧爱博科技有限公司 一种自助购物结算购物车、智能终端及自助购物结算系统
CN106355484A (zh) * 2016-10-12 2017-01-25 李兆洲 基于终端设备以进行购物的方法、及其购物系统
CN106504074A (zh) * 2016-11-14 2017-03-15 上海卓易科技股份有限公司 一种智能购物方法及系统
CN106910086A (zh) * 2017-01-18 2017-06-30 甄启源 一种超市智能购物系统
CN107221098A (zh) * 2017-04-25 2017-09-29 深圳中兴网信科技有限公司 辅助购物方法、装置和智能购物车
CN206907162U (zh) * 2017-05-17 2018-01-19 河海大学常州校区 自结算超市购物车及超市结算系统
CN107563872A (zh) * 2017-09-11 2018-01-09 江苏弘冠智能科技有限公司 一种购物系统和购物方法
CN107705129A (zh) * 2017-09-15 2018-02-16 泾县麦蓝网络技术服务有限公司 一种应用于实体零售店的购物结算方法和系统
CN107856709A (zh) * 2017-11-03 2018-03-30 东南大学 一种智能购物车

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543057A (zh) * 2018-11-20 2019-03-29 广州逗号智能零售有限公司 基于智能收银台的商品识别方法、装置、设备及存储介质
CN111222382A (zh) * 2018-11-27 2020-06-02 北京京东尚科信息技术有限公司 一种基于图像的商品结算方法、装置、介质及电子设备
CN109712324B (zh) * 2018-12-28 2020-12-18 广东便捷神科技股份有限公司 一种自动售货机图像识别方法、售货方法及自动售货设备
CN109712324A (zh) * 2018-12-28 2019-05-03 广东便捷神科技股份有限公司 一种自动售货机图像识别方法、售货方法及自动售货设备
CN109886112A (zh) * 2019-01-16 2019-06-14 创新奇智(合肥)科技有限公司 一种基于图像的物体识别方法、商品自助收银系统及电子设备
CN110163315A (zh) * 2019-05-06 2019-08-23 南京倍便利智能科技有限公司 一种针对连锁无人超市的商品视觉识别方法
CN110223150A (zh) * 2019-06-20 2019-09-10 京东方科技集团股份有限公司 商品的购买方法、装置及购物车
CN110588737A (zh) * 2019-10-10 2019-12-20 高岩松 超市自助结算式购物车
CN110942295A (zh) * 2019-11-08 2020-03-31 九洲云联(武汉)科技有限公司 一种智能收银系统及其收银方法
WO2021121314A1 (zh) * 2019-12-19 2021-06-24 胜斗士(上海)科技技术发展有限公司 用于食品自动贩卖机的控制装置及方法
CN112381512A (zh) * 2020-11-15 2021-02-19 周岳 一种核验系统及核验方法
CN112785289A (zh) * 2021-01-27 2021-05-11 支付宝(杭州)信息技术有限公司 购物结算方法、装置和购物车
CN113706274A (zh) * 2021-10-28 2021-11-26 苏州贝塔智能制造有限公司 一种双路不同步输入防错处理方法
CN113706274B (zh) * 2021-10-28 2022-03-18 苏州贝塔智能制造有限公司 一种双路不同步输入防错处理方法

Similar Documents

Publication Publication Date Title
CN108776770A (zh) 一种智能购物车的信息处理方法及智能购物车
CN106228688B (zh) 一种智能大型多规格商品售货系统及其方法
CN108491799B (zh) 一种基于图像识别的智能售货柜商品管理方法及系统
CN207783158U (zh) 目标物定位系统
CN107103516A (zh) 一种线上线下购物深度结合的购物系统及其购物控制方法
CN108629573A (zh) 一种智能自助购物方法及系统
CN106097049A (zh) 基于声波标签技术的超市购物系统及购物方法
CN107833083A (zh) 一种货物订单处理方法、装置、服务器、购物终端及系统
CN109829777A (zh) 一种智能购物系统和购物方法
CN106952402A (zh) 一种数据处理方法及装置
CN108573286A (zh) 一种理赔业务的数据处理方法、装置、设备及服务器
CN106219055B (zh) 一种酒品销售智能防伪云系统
JP7257403B2 (ja) 物理的な売り場で購買を支援するための方法及びシステム
CN108198315A (zh) 一种身份验证方法以及身份验证装置
CN108256442A (zh) 改进的从卡的数字图像中提取金融账户信息
CN109712324B (zh) 一种自动售货机图像识别方法、售货方法及自动售货设备
CN108198046A (zh) 智能购物数据处理方法、智能购物车、设备及存储介质
CN108389230A (zh) 冰箱容量自动检测方法、系统、设备及存储介质
CN115497055B (zh) 无人值守商店的商品防盗检测方法、装置及存储介质
CN113129103B (zh) 车载冰箱物品推荐方法、装置、设备和存储介质
CN110490066A (zh) 基于图片分析的目标检测方法、装置及计算机设备
CN107862590B (zh) 基于人像识别的社区租售共享经济数据处理方法
Liu et al. A design of smart unmanned vending machine for new retail based on binocular camera and machine vision
CN109784172A (zh) 商场中地堆商品占地面积估算方法、系统、设备及介质
CN108875690A (zh) 无人零售商品识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co.,Ltd.

Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181109