CN108053582B - 一种应用于智慧商圈的人工智能购物设备及其系统 - Google Patents
一种应用于智慧商圈的人工智能购物设备及其系统 Download PDFInfo
- Publication number
- CN108053582B CN108053582B CN201711214252.4A CN201711214252A CN108053582B CN 108053582 B CN108053582 B CN 108053582B CN 201711214252 A CN201711214252 A CN 201711214252A CN 108053582 B CN108053582 B CN 108053582B
- Authority
- CN
- China
- Prior art keywords
- user
- artificial intelligence
- background server
- equipment
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 51
- 230000009977 dual effect Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 16
- 239000007787 solid Substances 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000004321 preservation Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0081—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being a portable scanner or data reader
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
- G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
- G06Q20/322—Aspects of commerce using mobile devices [M-devices]
- G06Q20/3224—Transactions dependent on location of M-devices
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/01—Details for indicating
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Lock And Its Accessories (AREA)
Abstract
本发明公开了一种人工智能购物设备,包括:主机身、行进驱动系统、机身控制接口、外部感知系统、中央智能系统、远程通信系统、定位系统、显示触控系统;其中,所述外部感知系统包括:双摄像头、防碰撞雷达。本发明的人工智能购物设备及其系统,可自主驱动低速行进,具有路径导航自动行驶、障碍躲避、用户跟随、物品保藏的功能,可以帮助在智慧商圈范围内活动的用户进行快速结账、物品承载、寄存的功能。该人工智能购物设备充分结合了人工智能、移动支付等技术手段,能够针对用户在大型商圈购物休闲活动的全过程实现改善体验、提升效率。
Description
技术领域
本发明涉及人工智能设备领域,具体为一种应用于智慧商圈的人工智能购物设备。
背景技术
城市中的大型商圈一般以超大型购物中心和超级市场为核心区域,在一定的地理空间范围内部设置大量类型多样的门店,涵盖了生活超市、逛街购物、电影院线、电玩娱乐、儿童早教、体育健身等丰富的服务。
大型商圈是广大城市居民生活的重要场所,特别是节假日,很多人往往会花费大半天甚至一整天时间在商圈中活动,除了购物以外,还会从事吃饭、娱乐、健身、美容等各种活动。大型商圈当中设置的储物柜数量往往非常有限,无法满足绝大部分顾客的需求,因此顾客经常不得不一边携带着已经购买的物品一边继续下面的购物或其它活动,当购买的物品较多较重时会使顾客行动不便、身体疲劳,而且很容易发生丢失。这种情况也会降低顾客的乐趣,影响顾客享受商圈内其他的服务。
随着移动互联网的全面覆盖和智能化终端的日益普及,以及物联网、大数据、人工智能等新兴技术对传统业务模式的改造,大型商圈通过软件、硬件多个方面的信息化与智能化升级,转化为新的智慧商圈。商品查询与购物导航、广告推送、网络预约、个性化商品与服务的定制、移动支付等新的业务形态就是智慧商圈的典型体现。智慧商圈的核心价值是给用户提供更为便捷、更为符合个性化的服务,改善用户体验。
但是,目前实际投入应用的智慧商圈主要还是采用面向顾客的智能手机提供信息、导航、支付、客服、优惠券等线上服务的形式来实现,这些线上服务虽然能够提供一定的便利,但是对上面提到的顾客真实购物过程当中实际体验上的缺陷无法根本改善。目前在线下的真实购物场景当中面向顾客提供智慧商圈型服务的硬件设施主要是各类的无人售卖施以及无人商店,这些设施只将注意力集中在了购买环节本身,虽然能在一定程度上节约购买过程本身的时间,但是无法为顾客在大型商圈当中的购物休闲全过程随时随地提供帮助,以实现帮助用户改善体验、增加乐趣之目的。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种应用于智慧商圈的人工智能购物设备。该人工智能购物设备可自主驱动低速行进,具有路径导航自动行驶、障碍躲避、用户跟随、物品保藏的功能,可以帮助在智慧商圈范围内活动的用户进行物品承载、寄存的功能。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
一种人工智能购物设备,其特征在于,包括:主机身、行进驱动系统、机身控制接口、外部感知系统、中央智能系统、远程通信系统、定位系统、显示触控系统;其中,所述外部感知系统包括:双摄像头、防碰撞雷达;
所述主机身用于提供一个容纳承载物品的空间,并且可以控制锁闭和解锁位于该空间顶面的盖体,以及用于安装所述行进驱动系统;
所述行进驱动系统用于带动本设备自主行进,以及调节行进速度和方向;
所述机身控制接口用于向所述主机身发送解锁所述盖体的解锁指令,以及向所述行进驱动系统发送控制其行进、停止和速度的指令;
所述远程通信系统用于连接到后台服务器,与后台服务器进行双向通信;
所述定位系统用于实现对本设备的实时定位;
所述外部感知系统的双摄像头用于拍摄本设备前方的左视角视频画面和右视角视频画面;所述外部感知系统的防碰撞雷达用于感知本设备周围方向上一定距离内是否存在障碍物;
所述显示触控系统为液晶显示器和电容式触控面板;
所述中央智能系统基于双摄像头拍摄的用户位置,设定自主行驶路径,并通过机身控制接口控制行进驱动系统按照自主行驶路径行进,根据双摄像头拍摄的行进实时画面以及防碰撞雷达的障碍检测,调节行进的过程;所述中央智能系统还通过与用户的人机交互,通过机身控制接口控制电子锁合器解锁盖体;以及用于获取本设备承载的未付款物品列表,将未付款物品列表通过远程通信系统上传给后台服务器;从后台服务器接收根据未付款物品列表生成的支付二维码,在显示触控系统上显示该支付二维码,以便供用户扫码付款。
优选的是,所述主机身包括:物品承载箱体、底盘、箱盖、电子锁合器;物品承载箱体的箱体侧面外壁安装所述防碰撞雷达;箱体侧面外壁在前方安装双摄像头,箱体侧面外壁上还安装显示触控系统;物品承载箱体的箱体侧面内壁安装有电子标签读取器,用于读取放入该箱体的商品附带的电子标签包含的信息;所述盖体通过铰接枢轴可转动地安装在物品承载箱体上;所述盖体在与铰接枢轴相对的一端具有锁扣,电子锁合器安装在物品承载箱体的箱体侧面内壁上;当盖体扣合后,所述电子锁合器通过锁扣锁闭所述盖体;并且电子锁合器根据所述机身控制接口发来的解锁指令而解锁盖体;底盘位于物品承载箱体的底部,底盘上安装了行进驱动系统。
优选的是,所述行进驱动系统包括X形支架、第一后轮、第二后轮、驱动电机、驱动杆、第一前轮、第二前轮、转向驱动电机、转向控制轴杆;两个前轮和两个后轮分别安装在X形支架的各个分支上,其中两个后轮连接驱动杆,由驱动电机带动驱动杆旋转,从而带动两个后轮转动,为本设备的自主行进提供动力;驱动电机固定安装在X形支架上;转向驱动电机的电机轴连接转向控制轴杆,转向控制轴杆连接两个前轮,且两个前轮与X形支架的两个分支是通过万向节连接的,随着转向驱动电机的电机轴输出转矩,转向控制轴杆带动两个前轮调整一定的角度,从而调节本设备的行进方向。
优选的是,所述中央智能系统具体包括:目标立体感知子系统、用户识别子系统、自主行驶控制子系统、人机交互子系统;目标立体感知子系统从双摄像头获得所述左视角视频画面和右视角视频画面,利用基于边缘检测和矢量信息的目标识别算法提取视频画面中的各个目标,并且确定各个目标的三维位置信息;所述用户识别子系统用于将所述目标立体感知子系统提取的各个目标与预先采集并存储的用户特征进行比对,从所提取的全部目标中识别出用户目标,确定该用户目标的三维位置信息;自主行驶控制子系统根据用户目标的三维位置信息设定本设备拟自主行驶的路径,并通过机身控制接口控制行进驱动系统按照自主行驶路径行进;所述人机交互子系统于从显示触控系统获得用户的触摸输入命令,或者通过远程通信系统从后台服务器获得用户的远程输入命令。
优选的是,所述自主行驶控制子系统在用户跟随模式下,实时从所述用户识别子系统获得用户目标的三维位置信息,设定从本设备当前位置指向用户目标当前位置的自主行驶路径;并通过机身控制接口控制行进驱动系统按照自主行驶路径行进。
优选的是,所述目标立体感知子系统从双摄像头获得所述左视角视频画面和右视角视频画面,利用基于梯度的边缘检测算法,从背景中提取各个目标区域的边缘,取得目标区域边缘的外接矩形,针对该外接矩形获取其中心点;建立以该中心点为起点、以该目标区域的每个边缘像素为终点的特征矢量,将全部特征矢量集合为特征矢量组,作为目标特征。
优选的是,所述目标立体感知子系统获得各个目标区域的中心点在视频画面当中的平面坐标(x,y),并且可以根据左、右视角视频画面的视差推算视频画面中某一目标距离本设备的深度坐标z。深度坐标z的计算方法为:
其中,z为像素点的深度坐标,b为左视角摄像头和右视角摄像头的成像面中心之间的距离,f为左视角摄像头和右视角摄像头的的焦距,二者焦距相等,dis为对应于目标的同一位置的像素点在水平方向的偏移量。
优选的是,所述自主行驶控制子系统根据定位系统为本设备定位的当前位置,判定本设备已经到达允许行驶的最大区域范围的边界,则控制本系统停止行进并发出报警提示。
优选的是,所述人机交互系统在定点等待模式下通过远程通信系统从后台服务器获得解锁密码,并且验证用户通过显示触控系统输入的密码与解锁密码算法匹配;若匹配则通过机身控制接口控制电子锁合器解锁盖体。
本发明进而提供了一种应用于智慧商圈的人工智能购物系统,其特征在于,包括:人工智能购物设备、后台服务器以及用户智能终端;所述人工智能购物设备接入所述后台服务器;用户智能终端连接至后台服务器;
用户通过所述用户智能终端向所述后台服务器发送携带一台人工智能购物设备的序列号的租用请求;
后台服务器根据该租用请求,将该用户与人工智能购物设备绑定,然后向对应的人工智能购物设备下达激活命令;
所述人工智能购物设备根据后台服务器的命令而激活后,首先利用双摄像头拍摄该用户的画面并从中提取出该用户的用户特征;
用户跟随模式下,该人工智能购物设备跟随用户行进,接收用户投入的商品,并且将该商品登记至未付款物品列表;根据用户输入的结账指令向后台服务器上传未付款物品列表,并且从后台服务器接收支付二维码,然后将该支付二维码显示出来;用户智能终端扫描该支付二维码完成支付;定点等待模式下,该人工智能购物设备锁闭盖体以寄存所承载的物品,并且从后台服务器接收解锁密码,与用户输入的密码比对;若匹配则解锁盖体。
(三)有益效果
通过本发明的人工智能购物设备及其系统,可自主驱动低速行进,具有路径导航自动行驶、障碍躲避、用户跟随、物品保藏的功能,可以帮助在智慧商圈范围内活动的用户进行快速结账、物品承载、寄存的功能。该人工智能购物设备充分结合了人工智能、移动支付等技术手段,能够针对用户在大型商圈购物休闲活动的全过程实现改善体验、提升效率。
附图说明
图1为本发明所述人工智能购物设备的整体结构示意图;
图2为本发明所述人工智能购物设备的主机身结构示意图;
图3为本发明所述人工智能购物设备的行进驱动系统的结构仰视图;
图4为本发明所述人工智能购物设备的行进驱动系统轴杆连接示意图;
图5为本发明所述人工智能购物设备的中央智能系统组成示意图;
图6为本发明所述人工智能购物系统架构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明提供了一种应用于智慧商圈的人工智能购物设备。该人工智能购物设备可自主驱动低速行进,具有路径导航自动行驶、障碍躲避、用户跟随、物品保藏的功能,可以帮助在智慧商圈范围内活动的用户进行物品承载、寄存的功能。
图1为本发明所述人工智能购物设备的整体结构示意图。该人工智能购物设备包括:主机身、行进驱动系统、机身控制接口、外部感知系统、中央智能系统、远程通信系统、定位系统、显示触控系统。其中,所述外部感知系统包括双摄像头、防碰撞雷达。
所述主机身的结构如图2所示,包括物品承载箱体201、底盘202、盖体203、电子锁合器204。所述物品承载箱体201的箱体侧面外壁可以至少在前、后、左、右四个方向各安装一个所述防碰撞雷达205,当然也可以在更多的方向上安装防碰撞雷达205,并且箱体侧面外壁在前方安装双摄像头206;在箱体侧面外壁上还安装显示触控系统207,该显示触控系统207为液晶显示器和电容式触控面板。物品承载箱体201的内部形成一个封闭的空间,仅在箱体的顶面敞开,用于容纳用户放置在箱体内的物品;物品承载箱体201在其高度接近顶面的箱体侧面内壁安装有电子标签读取器208,可以读取放入该箱体的选购商品附带的电子标签包含的信息。所述盖体203通过铰接枢轴209可转动地安装在物品承载箱体201之上,通过转动,用户可以以该盖体203扣合该箱体的敞开顶面,或者掀开该盖体203。盖体203在与铰接枢轴209相对的一端具有锁扣210,电子锁合器204安装在物品承载箱体201高度邻接顶面的箱体侧面内壁上,电子锁合器204具备锁孔211,锁孔内部具有感应电路和锁栓,当盖体203扣合后,锁扣210插入电子锁合器204的锁孔211,锁孔内部的感应电路感测到锁扣210插入则使锁栓弹出并插入锁扣210,实现对盖体203的锁闭;而锁闭之后电子锁合器204要收到所述机身控制接口发来的解锁指令才能够收回锁栓从而解锁盖体203。底盘202位于物品承载箱体201的底部,底盘202上安装了行进驱动系统以及本设备的电子主板,所述机身控制接口、中央智能系统、远程通信系统、定位系统都集成在该电子主板之上。
所述行进驱动系统用于带动本设备自主行进以及调节行进速度和方向。图3示出了该行进驱动系统的结构仰视图,包括X形支架301、第一后轮302、第二后轮303、驱动电机304、驱动杆305、第一前轮306、第二前轮307、转向驱动电机308、转向控制轴杆309;两个前轮和两个后轮分别安装在X形支架301的各个分支上,其中两个后轮连接驱动杆305,由驱动电机304带动驱动杆305旋转,从而带动两个后轮转动,为本设备的自主行进提供动力;驱动电机304固定安装在X形支架301上;转向驱动电机308的机身固定安装在所述底盘202内,且该转向驱动电机308的电机轴连接转向控制轴杆309,如图4,转向驱动电机308的电机轴与转向控制轴杆309二者连接为一个T字形,转向控制轴杆309连接两个前轮306和307,且前轮306、307与X形支架301的两个分支是通过万向节310连接的,因此,随着转向驱动电机308的电机轴输出转矩,转向控制轴杆309可以带动前轮306、307调整一定的角度,从而调节本设备的行进方向。X形支架301除了安装上述结构之外,还具有承托本设备的主机身的功能,以及与底盘固定在一起。其中,驱动电机304根据机身控制接口的速度控制信号而控制自身转动、静止以及转动时候的转速,从而驱动本设备的行进与否以及行进速度;转向驱动电机308输出的转动角度大小也收到机身控制接口的方向控制信号的控制。
所述远程通信系统可以基于WIFI、3G、4G协议接入互联网并且连接到本系统的后台服务器,远程通信系统也可以接入部署在智慧商圈的本系统专用基站覆盖的无线网络,并且通过该专用的无线网络连接到后台服务器;通过远程通信系统可以使本设备与后台服务器进行双向通信交互。
所述定位系统利用GPS以及可适用于室内的定位技术实现对本设备的实时定位。
所述中央智能系统用于基于双摄像头拍摄的用户位置,设定自主行驶路径,并通过机身控制接口控制行进驱动系统按照自主行驶路径行进,根据双摄像头拍摄的行进实时画面以及防碰撞雷达的障碍检测,调节行进的过程。所述中央智能系统还通过与用户的人机交互,验证用户身份后通过机身控制接口控制电子锁合器解锁盖体。中央智能系统还获取本设备承载的未付款物品列表,从而为用户的快速结账提供便利。中央智能系统通过远程通信系统与智慧商圈后台服务器或用户移动设备通信、以及通过定位系统获取本设备的自身实时位置。
如图5所示,所述中央智能系统具体包括如下子系统:目标立体感知子系统、用户识别子系统、自主行驶控制子系统、人机交互子系统。
所述人机交互子系统用于从显示触控系统获得用户的触摸输入命令,或者通过远程通信系统从后台服务器获得用户的远程输入命令,该远程输入命令是本设备登记用户利用智能终端上的APP输入并上传给该后台服务器的,后台服务器再将该远程输入命令中转至本设备。
外部感知系统的双摄像头包括左视角摄像头和右视角摄像头,分别用于拍摄本设备前方的左视角视频画面和右视角视频画面。目标立体感知子系统从双摄像头获得所述左视角视频画面和右视角视频画面,利用基于边缘检测和矢量信息的目标识别算法提取视频画面中的各个目标。首先,利用基于梯度的边缘检测算法,从背景中提取各个目标区域的边缘,取得目标区域边缘的外接矩形,针对该外接矩形获取其中心点;建立以该中心点为起点、以该目标区域的每个边缘像素为终点的特征矢量,将全部特征矢量集合为特征矢量组,作为目标特征。获得各个目标区域的中心点在视频画面当中的平面坐标(x,y),并且可以根据左、右视角视频画面的视差推算视频画面中某一目标距离本设备的深度坐标z。深度坐标z的计算方法为:
其中,z为像素点的深度坐标,b为左视角摄像头和右视角摄像头的成像面中心之间的距离,f为左视角摄像头和右视角摄像头的的焦距,二者焦距相等,dis为对应于目标的同一位置的像素点在水平方向的偏移量。从而,目标立体感知子系统将坐标(x,y,z)作为目标的三维位置信息。
所述用户识别子系统用于在用户跟随模式下,将所述目标立体感知子系统提取的各个目标与预先采集并存储的用户特征进行比对,即将每个目标区域的特征矢量组与预存储的用户特征矢量组进行比对,判断特征矢量一致性,从而从所提取的全部目标中识别出用户目标,确定该用户目标的三维位置信息。用户希望租用本设备时,可以利用智能终端上的APP扫描本设备上印制的或者通过显示触控系统显示出来的二维码,获得本设备的序列号,从而将携带该序列号的租用请求上传给后台服务器;后台服务器根据该租用请求,向本设备下达激活命令;当本设备从空闲状态根据后台服务器的命令而激活后,用户识别子系统即利用双摄像头拍摄用户画面,并从中提取出以用户画面区域的中心点为起点、以该用户画面区域的每个边缘像素为终点的特征矢量组,作为该用户的用户特征,用于后续的比对识别。
在用户跟随模式下,自主行驶控制子系统实时从所述用户识别子系统获得用户目标的当前位置信息,即(x,y,z),进而设定从本设备当前位置指向用户目标当前位置的自主行驶路径;并通过机身控制接口控制行进驱动系统按照自主行驶路径行进。
在行进过程中,本设备可以利用现有技术中已经成熟的自动驾驶导航技术,实现速度调节、障碍躲避和路径修正。例如,如果根据双摄像头拍摄的行进实时画面以及防碰撞雷达的障碍检测,检测到行进路径上存在障碍物,则控制本设备停止行进,等待障碍物消失后继续行进或者由自主行驶控制子系统修正路径。自主行驶控制子系统还具有本设备行驶区域限制的功能,即围绕智慧商圈设定本设备允许行驶的最大区域范围,根据定位系统为本设备定位的当前位置,判定本设备已经到达允许行驶的最大区域范围的边界,则控制本系统停止行进并发出报警提示。
在用户跟随模式下,用户本人也可以将选中的商品放入本设备的物品承载箱体,并且被箱体内的电子标签读取器读取和登记该商品加入未付款物品列表;然后,用户关闭盖体,通过显示触控系统向本设备输入快速结账的指令,人机交互子系统响应该指令,将未付款物品列表通过远程通信系统上传给后台服务器;后台服务器根据未付款物品列表合计应付费用,并且生成支付二维码;后台服务器将该支付二维码发送给本设备;本设备的人机交互子系统通过远程通信系统接收到该支付二维码之后,在显示触控系统上显示该支付二维码,由用户利用智能终端进行扫码付款。
用户在用户跟随模式下,也可以合上并且锁闭盖体,并且通过显示触控系统指令本设备进入定点等待模式,然后去从事自己的活动。而本设备将会在原地等待用户。而用户则可以利用这个时间去从事看电影、健身、吃饭、喝咖啡等娱乐活动,活动结束后来到等待地点,控制本人工智能购物设备恢复为用户跟随模式,这样用户就可以将购买的物品或者是用户自带的物品寄放在该设备中。当用户希望取出该人工智能购物设备内寄存的物品时,则就可以向本系统的后台服务器请求一个解锁密码;后台服务器同时将该解锁密码发送给该用户绑定的人工智能购物设备;则用户可以通过显示触控系统输入密码,人机交互子系统验证密码来实现解锁,使用户可以取出寄存的物品。
如图6所示,经营方可以在智慧商圈的场地空间范围投放一定数量的本发明的人工智能购物设备,并且部署后台服务器,人工智能购物设备通过接入互联网连接该后台服务器,或者是基于本系统专用的无线网络连接至后台服务器。用户可以在手机等智能终端上安装本系统的APP,通过启用该APP连接至本系统的后台服务器。
用户希望租用时,可以利用智能终端上的APP扫描一台本发明的人工智能购物设备上印制的或者通过显示触控系统显示出来的本机二维码,获得该人工智能购物设备的序列号,从而将携带该序列号的租用请求上传给后台服务器;后台服务器根据该租用请求,在后台的管理系统中将该用户与人工智能购物设备绑定,然后向对应的人工智能购物设备下达激活命令;该人工智能购物设备从空闲状态根据后台服务器的命令而激活后,首先利用双摄像头拍摄该用户的画面并从中提取出该用户的用户特征。进而,该人工智能购物设备进入用户跟随模式,伴随着用户在智慧商圈当中行动。当用户在门店选中某件商品,就可以将该商品投入人工智能购物设备的物品承载箱体,并且由人工智能购物设备的商品管理子系统将该商品登记至未付款物品列表;人工智能购物设备的显示触控系统可以显示出来所有加入到本设备内的未付款物品列表的明细、单价及总价。当用户在门店内选购完成之后,可以通过显示触控系统向人工智能购物设备输入结账的指令,本设备通过远程通信系统上传未付款物品列表,并且从后台服务器接收支付二维码,然后通过人机交互子系统将该支付二维码显示出来,用户可以利用扫描该支付二维码完成支付。本设备可切换为定点等待模式,锁闭盖体以寄存所承载的物品,并且在保持在等待位置直至用户前来取走购买的物品。
可见,通过本发明的人工智能购物设备及其系统,可自主驱动低速行进,具有路径导航自动行驶、障碍躲避、用户跟随、物品保藏的功能,可以帮助在智慧商圈范围内活动的用户进行快速结账、物品承载、寄存的功能。该人工智能购物设备充分结合了人工智能、移动支付等技术手段,能够针对用户在大型商圈购物休闲活动的全过程实现改善体验、提升效率。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种人工智能购物设备,其特征在于,包括:主机身、行进驱动系统、机身控制接口、外部感知系统、中央智能系统、远程通信系统、定位系统、显示触控系统;其中,所述外部感知系统包括:双摄像头、防碰撞雷达;
所述主机身用于提供一个容纳承载物品的空间,并且控制锁闭和解锁位于该空间顶面的盖体,以及用于安装所述行进驱动系统;所述主机身包括:物品承载箱体、底盘、盖体、电子锁合器;所述盖体通过铰接枢轴可转动地安装在物品承载箱体上;所述盖体在与铰接枢轴相对的一端具有锁扣,电子锁合器安装在物品承载箱体的箱体侧面内壁上;当盖体扣合后,所述电子锁合器通过锁扣锁闭所述盖体;并且电子锁合器根据所述机身控制接口发来的解锁指令而解锁盖体;底盘位于物品承载箱体的底部,底盘上安装了行进驱动系统;
所述行进驱动系统用于带动本设备自主行进,以及调节行进速度和方向;所述行进驱动系统包括X形支架、第一后轮、第二后轮、驱动电机、驱动杆、第一前轮、第二前轮、转向驱动电机、转向控制轴杆;两个前轮和两个后轮分别安装在X形支架的各个分支上,其中两个后轮连接驱动杆,由驱动电机带动驱动杆旋转,从而带动两个后轮转动,为本设备的自主行进提供动力;驱动电机固定安装在X形支架上;转向驱动电机的电机轴连接转向控制轴杆,转向驱动电机的电机轴与转向控制轴杆二者连接为一个T字形,转向控制轴杆连接两个前轮,且两个前轮与X形支架的两个分支是通过万向节连接的,随着转向驱动电机的电机轴输出转矩,转向控制轴杆带动两个前轮调整一定的角度,从而调节本设备的行进方向;
所述机身控制接口用于向所述主机身发送解锁所述盖体的解锁指令,以及向所述行进驱动系统发送控制其行进、停止和速度的指令;
所述远程通信系统用于连接到后台服务器,与后台服务器进行双向通信;
所述定位系统用于实现对本设备的实时定位;
所述外部感知系统的双摄像头用于拍摄本设备前方的左视角视频画面和右视角视频画面;所述外部感知系统的防碰撞雷达用于感知本设备周围方向上一定距离内是否存在障碍物;
所述显示触控系统为液晶显示器和电容式触控面板;
所述中央智能系统在用户跟随模式下基于双摄像头拍摄的用户位置,设定自主行驶路径,并通过机身控制接口控制行进驱动系统按照自主行驶路径行进,根据双摄像头拍摄的行进实时画面以及防碰撞雷达的障碍检测,调节行进的过程;所述中央智能系统在锁闭所述盖体后,根据显示触控系统的指令进入定点等待模式,并且在定点等待模式下验证用户通过所述显示触控系统输入的密码,在验证通过后通过机身控制接口控制电子锁合器解锁盖体;以及用于获取本设备承载的未付款物品列表,将未付款物品列表通过远程通信系统上传给后台服务器;从后台服务器接收根据未付款物品列表生成的支付二维码,在显示触控系统上显示该支付二维码,以便供用户扫码付款。
2.根据权利要求1所述的人工智能购物设备,其特征在于,物品承载箱体的箱体侧面外壁安装所述防碰撞雷达;箱体侧面外壁在前方安装双摄像头,箱体侧面外壁上还安装显示触控系统;物品承载箱体的箱体侧面内壁安装有电子标签读取器,用于读取放入该箱体的商品附带的电子标签包含的信息。
3.根据权利要求1所述的人工智能购物设备,其特征在于,所述中央智能系统具体包括:目标立体感知子系统、用户识别子系统、自主行驶控制子系统、人机交互子系统;目标立体感知子系统从双摄像头获得所述左视角视频画面和右视角视频画面,利用基于边缘检测和矢量信息的目标识别算法提取视频画面中的各个目标,并且确定各个目标的三维位置信息;所述用户识别子系统用于将所述目标立体感知子系统提取的各个目标与预先采集并存储的用户特征进行比对,从所提取的全部目标中识别出用户目标,确定该用户目标的三维位置信息;自主行驶控制子系统根据用户目标的三维位置信息设定本设备拟自主行驶的路径,并通过机身控制接口控制行进驱动系统按照自主行驶路径行进;所述人机交互子系统于从显示触控系统获得用户的触摸输入命令,或者通过远程通信系统从后台服务器获得用户的远程输入命令。
4.根据权利要求3所述的人工智能购物设备,其特征在于,所述自主行驶控制子系统在用户跟随模式下,实时从所述用户识别子系统获得用户目标的三维位置信息,设定从本设备当前位置指向用户目标当前位置的自主行驶路径;并通过机身控制接口控制行进驱动系统按照自主行驶路径行进。
5.根据权利要求3所述的人工智能购物设备,其特征在于,所述目标立体感知子系统从双摄像头获得所述左视角视频画面和右视角视频画面,利用基于梯度的边缘检测算法,从背景中提取各个目标区域的边缘,取得目标区域边缘的外接矩形,针对该外接矩形获取其中心点;建立以该中心点为起点、以该目标区域的每个边缘像素为终点的特征矢量,将全部特征矢量集合为特征矢量组,作为目标特征。
6.根据权利要求5所述的人工智能购物设备,其特征在于,所述目标立体感知子系统获得各个目标区域的中心点在视频画面当中的平面坐标(x,y),并且根据左、右视角视频画面的视差推算视频画面中某一目标距离本设备的深度坐标z;深度坐标z的计算方法为:
其中,z为像素点的深度坐标,b为左视角摄像头和右视角摄像头的成像面中心之间的距离,f为左视角摄像头和右视角摄像头的的焦距,二者焦距相等,dis为对应于目标的同一位置的像素点在水平方向的偏移量。
7.根据权利要求3所述的人工智能购物设备,其特征在于,所述自主行驶控制子系统根据定位系统为本设备定位的当前位置,判定本设备已经到达允许行驶的最大区域范围的边界,则控制本系统停止行进并发出报警提示。
8.根据权利要求3所述的人工智能购物设备,其特征在于,所述人机交互系统在定点等待模式下通过远程通信系统从后台服务器获得解锁密码,并且验证用户通过显示触控系统输入的密码与解锁密码算法匹配;若匹配则通过机身控制接口控制电子锁合器解锁盖体。
9.一种应用于智慧商圈的人工智能购物系统,其特征在于,包括:根据权利要求1-8中任意一项所述的人工智能购物设备、后台服务器以及用户智能终端;所述人工智能购物设备接入所述后台服务器;用户智能终端连接至后台服务器;
用户通过所述用户智能终端向所述后台服务器发送携带一台人工智能购物设备的序列号的租用请求;
后台服务器根据该租用请求,将该用户与人工智能购物设备绑定,然后向对应的人工智能购物设备下达激活命令;
所述人工智能购物设备根据后台服务器的命令而激活后,首先利用双摄像头拍摄该用户的画面并从中提取出该用户的用户特征;
用户跟随模式下,该人工智能购物设备跟随用户行进,接收用户投入的商品,并且将该商品登记至未付款物品列表;根据用户输入的结账指令向后台服务器上传未付款物品列表,并且从后台服务器接收支付二维码,然后将该支付二维码显示出来;用户智能终端扫描该支付二维码完成支付;定点等待模式下,该人工智能购物设备锁闭盖体以寄存所承载的物品,并且从后台服务器接收解锁密码,与用户输入的密码比对;若匹配则解锁盖体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711214252.4A CN108053582B (zh) | 2017-11-28 | 2017-11-28 | 一种应用于智慧商圈的人工智能购物设备及其系统 |
PCT/CN2018/087232 WO2019104951A1 (zh) | 2017-11-28 | 2018-05-17 | 一种应用于智慧商圈的人工智能购物设备及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711214252.4A CN108053582B (zh) | 2017-11-28 | 2017-11-28 | 一种应用于智慧商圈的人工智能购物设备及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108053582A CN108053582A (zh) | 2018-05-18 |
CN108053582B true CN108053582B (zh) | 2018-11-27 |
Family
ID=62120778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711214252.4A Active CN108053582B (zh) | 2017-11-28 | 2017-11-28 | 一种应用于智慧商圈的人工智能购物设备及其系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108053582B (zh) |
WO (1) | WO2019104951A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109032139A (zh) * | 2018-07-25 | 2018-12-18 | 云南中商正晓农业科技有限公司 | 智慧式自动跟随学生箱包及其控制系统和商业模式 |
CN112960022B (zh) * | 2021-04-12 | 2021-12-21 | 吉林大学 | 一种基于可穿戴终端的超市智能购物车系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2550114Y (zh) * | 2002-06-26 | 2003-05-14 | 南昌大学 | 爬行式全位置焊机器人轮式后驱车 |
CN201500454U (zh) * | 2009-02-20 | 2010-06-09 | 广东奥飞动漫文化股份有限公司 | 可实现漂移的玩具遥控车 |
CN104916050A (zh) * | 2015-05-29 | 2015-09-16 | 浙江大学 | 基于二维码及移动支付的雨伞自动租借设备 |
CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
CN105719400A (zh) * | 2016-01-19 | 2016-06-29 | 山东省立医院 | 一种轮椅自助租赁系统及运行方式 |
CN106933096A (zh) * | 2017-03-14 | 2017-07-07 | 广州幻境科技有限公司 | 一种为第三方提供空间定位信息的自跟随机器人装置及方法 |
CN106971330A (zh) * | 2017-03-08 | 2017-07-21 | 武汉理工大学 | 一种智能导购购物车系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5145681B2 (ja) * | 2006-09-29 | 2013-02-20 | 富士通株式会社 | 買物支援システム、買物支援方法、および買物支援プログラム |
KR20090080773A (ko) * | 2008-01-22 | 2009-07-27 | 동국대학교 산학협력단 | 지능형 쇼핑 카트, 매장 관리 시스템 및 매장 관리 방법 |
US20150088642A1 (en) * | 2013-09-26 | 2015-03-26 | Mastercard International Incorporated | Intelligent shopping cart service |
CN106204240A (zh) * | 2016-07-23 | 2016-12-07 | 山东华旗新能源科技有限公司 | 智慧购物管理系统 |
CN106297083B (zh) * | 2016-07-29 | 2019-03-15 | 广州市沃希信息科技有限公司 | 一种商场购物方法、购物服务器以及购物机器人 |
CN206344840U (zh) * | 2016-08-19 | 2017-07-21 | 四川西部动力机器人科技有限公司 | 一种超市智能购物车 |
-
2017
- 2017-11-28 CN CN201711214252.4A patent/CN108053582B/zh active Active
-
2018
- 2018-05-17 WO PCT/CN2018/087232 patent/WO2019104951A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2550114Y (zh) * | 2002-06-26 | 2003-05-14 | 南昌大学 | 爬行式全位置焊机器人轮式后驱车 |
CN201500454U (zh) * | 2009-02-20 | 2010-06-09 | 广东奥飞动漫文化股份有限公司 | 可实现漂移的玩具遥控车 |
CN104916050A (zh) * | 2015-05-29 | 2015-09-16 | 浙江大学 | 基于二维码及移动支付的雨伞自动租借设备 |
CN105719400A (zh) * | 2016-01-19 | 2016-06-29 | 山东省立医院 | 一种轮椅自助租赁系统及运行方式 |
CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
CN106971330A (zh) * | 2017-03-08 | 2017-07-21 | 武汉理工大学 | 一种智能导购购物车系统 |
CN106933096A (zh) * | 2017-03-14 | 2017-07-07 | 广州幻境科技有限公司 | 一种为第三方提供空间定位信息的自跟随机器人装置及方法 |
Non-Patent Citations (1)
Title |
---|
"机器视觉在工业机器人抓取技术中的应用";朱良;《中国优秀硕士学位论文全文数据库信息科技辑》;20161115(第11期);I138-427 * |
Also Published As
Publication number | Publication date |
---|---|
CN108053582A (zh) | 2018-05-18 |
WO2019104951A1 (zh) | 2019-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108109288B (zh) | 一种基于物联网实现的无人化购物系统 | |
JP6823023B2 (ja) | 仮想プラノグラム管理、システム及び方法 | |
US11537352B1 (en) | Map on a phone used to find and operate public multi-user devices | |
US20070187183A1 (en) | System, method and process for computer controlled delivery of classified goods and services through an amalgamated drive-thru complex | |
US20040249497A1 (en) | System, method and process for order and delivery of classified goods and services through an amalgamated drive-thru complex | |
CN107977834A (zh) | 一种虚拟现实/增强现实空间环境中的数据对象交互方法及装置 | |
CN107481413A (zh) | 一种酒店智能前台及其使用方法 | |
AU2014274905A1 (en) | Store of the future | |
CN109804416A (zh) | 模块化自动售货机 | |
CN108053582B (zh) | 一种应用于智慧商圈的人工智能购物设备及其系统 | |
CA2609835A1 (en) | System, method and process for order and delivery of classified goods and services through an amalgamated drive-thru complex | |
CA3042356A1 (en) | Fams | |
US10924603B1 (en) | Phone map used to find and operate multiuser devices | |
CN111210316B (zh) | 基于物联网的购物方法和模块化物联网购物车系统 | |
CN109008145A (zh) | 一种智慧式无人餐饮熟食运售车及共享系统及商业模式 | |
CN107346506A (zh) | 一种共享经济电商交易系统 | |
CN112184997A (zh) | 一种基于共享无人售货终端的商品分销系统及其方法 | |
US20230036188A1 (en) | Wireless network, systems and methods for configuration, operation and use of motorized, wheeled and steerable passenger-carrying carts for entertainment purposes | |
CN113126629A (zh) | 一种机器人主动搜索目标的方法及智能机器人 | |
CN109101016A (zh) | 智慧式自动运售车及共享系统及商业模式 | |
CN110047020A (zh) | 一种旅游高峰部署的移动式景区智能服务站及系统 | |
US11397509B1 (en) | Mixed reality glasses that display a mid-air touch control panel for public multiuser devices | |
KR100373115B1 (ko) | 코디 시뮬레이션을 기반으로 한 인터넷 패션 몰 관리방법 | |
CN207198963U (zh) | 一种酒店智能前台 | |
WO2019217309A1 (en) | Systems and methods for programming, controlling and monitoring wireless networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |