CN113011351A - 一种智能购物车的工作方法及智能购物车 - Google Patents

一种智能购物车的工作方法及智能购物车 Download PDF

Info

Publication number
CN113011351A
CN113011351A CN202110313995.7A CN202110313995A CN113011351A CN 113011351 A CN113011351 A CN 113011351A CN 202110313995 A CN202110313995 A CN 202110313995A CN 113011351 A CN113011351 A CN 113011351A
Authority
CN
China
Prior art keywords
shopping cart
intelligent shopping
intelligent
commodity
personal computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110313995.7A
Other languages
English (en)
Inventor
徐朴勇
杨辰光
占宏
戴诗陆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110313995.7A priority Critical patent/CN113011351A/zh
Publication of CN113011351A publication Critical patent/CN113011351A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
    • B62B3/02—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor involving parts being adjustable, collapsible, attachable, detachable or convertible
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B5/00—Accessories or details specially adapted for hand carts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Combustion & Propulsion (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Handcart (AREA)

Abstract

本发明公开了一种智能购物车的工作方法及智能购物车，智能购物车包括从下至上依次连接的底座、可调节支架以及用于放置商品的购物篮；购物篮安装有深度摄像头和扫描摄像头，底座包含有工控机、底层控制板、惯性测量单元、里程计、无线通信定位模块、多个直流电机以及多个麦克纳姆轮，购物篮或者底座上安装有激光雷达模块。智能购物车能够根据深度摄像头、扫描摄像头、惯性测量单元、里程计和激光雷达模块采集的数据，自动跟随目标、智能导航和自主避障，可满足顾客多样化的需求，提供更便捷的购物体验，智能购物车具有较高的智能化水平。

Description

一种智能购物车的工作方法及智能购物车
技术领域
本发明涉及购物车技术领域，特别是一种智能购物车的工作方法及智能购物车。
背景技术
当前的大型商场中仍旧采用传统的手推式购物车，依靠顾客自己将购物车推到指定的地点。顾客拿取货架上的商品，放置到购物车当中，最后再将其推到结算地点进行结算。这种购物车基本上只实现了一种暂存商品的功能，一方面需要靠人力推动，如果顾客选择的商品较多，那么推着放满商品的购物车行走便会十分费力。当商场中顾客较多时，全部的顾客将购物车推到指定的地点去结算，也有可能造成一定程度的拥挤，所以，对于传统的手推式购物车，有必要探索更多实用的功能，以解决传统购物车存在的诸多问题。
目前已经有提出自动跟随或者可实现顾客自助结算的购物车技术，例如专利文件CN205387157U公开了一种可自动跟随特定目标、方便购物的购物车，可实现手推模式和自动跟随模式。当顾客选择自动跟随模式时，购物车上搭载的RGB-D摄像头采集周围的环境信息并获取移动目标的具体位置信息，然后由计算机进行处理，再将控制购物车运动速度和方向的命令下传给动力控制装置，动力控制装置再驱动车轮转动，达到自动跟随的目的。然而，该购物车仅仅考虑对目标的自动跟随，忽略了在购物超市这种充满动态物体(如人、移动的购物车)的可变环境中可能需要实时地检测动态障碍物，并进行快速的自主避障的实际问题，因此并不能完全适用于实际的购物环境当中。
另外还有专利文件CN211055226U，其公开了一种智能结算购物车，购物车上集成的RFID读写器可用来读取放入购物车当中的商品的RFID芯片信息，微处理器中存储有超市内商品信息的数据库，读取的RFID芯片信息在后台与数据库中的内容进行匹配，然后自动计算当前全部商品的总价格，顾客可以通过液晶触控显示屏来决定继续添加商品或者结束添加并开始结算。这种自助结算功能虽然大大节约了排队结算支付的时间，但也存在的明显的不足：首先，该智能结算购物车仍旧是靠人力推动，存在着传统购物车的缺点；其次，该智能结算购物车是依靠读取商品中的RFID芯片信息来确定添加的商品的种类信息，那么就需要对每个商品都增加RFID芯片，而当是应用在大型的超市时，所有商品都增加RFID芯片会造成非常大的工作量，费时费力；另外需要在每个购物车上安装可以触控交互的显示屏，也会增加了超市成本。
综上，单一的自动跟随购物车功能上仍不完善，不一定能适应复杂多变的超市环境，并在自主避障方面功能缺失；而拥有自助结算功能的购物车又依然存在着需要手推的缺点，且商品信息的采集不便；一些智能购物车上虽然安装上了可以触控交互的显示屏，可用于自助结算，但是却大大增加了成本。此外，顾客也希望智能购物车可以有更多的工作模式，例如可以带领顾客找到指定的商品，满足顾客多样的购物习惯和需求。
发明内容
本发明的第一目的在于解决现有技术的不足，提出一种智能购物车的工作方法，可自动跟随顾客、智能导航和自主避障，为顾客提供更便捷的购物体验。
本发明的第二目的在于提出一种智能购物车，具备自动跟随、智能导航和自主避障的功能。
本发明的第一目的通过下述技术方案实现：
一种智能购物车的工作方法，包括如下步骤：
(1)当顾客在商场使用智能购物车开始购物时，智能购物车的工控机先通过无线通信定位模块与用户终端相连接，并接收用户终端输入的控制信息；
(2)在购物的过程中，智能购物车的深度摄像头实时采集周围环境的彩色图像和深度图像，智能购物车的惯性测量单元实时检测购物车的位姿、角速度，智能购物车的里程计实时检测购物车的速度，智能购物车的激光雷达模块实时检测周围的静、动态障碍物，并且分别将采集的数据发送给智能购物车的底层控制板；
底层控制板将采集的数据上传给智能购物车的工控机，工控机根据采集的数据和用户终端输入的控制信息生成相应的控制指令，并下发给底层控制板；
底层控制板根据控制指令控制智能购物车的直流电机的工作状态，直流电机进而驱动智能购物车的麦克纳姆轮转动，使智能购物车朝移动目标全向移动；
(3)当顾客将商品放入智能购物车的购物篮时，智能购物车的扫描摄像头扫描商品的标签以获取对应的商品信息，并将商品信息发送给工控机，工控机将扫描摄像头所获取的商品信息发送到用户终端上进行显示；
(4)当顾客在用户终端完成商品支付后，工控机通过直流电机控制麦克纳姆轮转动，使智能购物车移动至商场集中回收购物车的位置。
优选的，在步骤(1)中，用户终端输入的控制信息包括智能购物车的启停指令和车速、智能购物车的运动模式、待购买的商品以及智能购物车的移动目标；
智能购物车的运动模式进一步包括自动跟随模式和智能导航模式，当智能购物车为自动跟随模式时，移动目标为顾客，无线通信定位模块检测顾客的方向和顾客与智能购物车的距离，工控机将顾客的方位作为目标点，根据周围环境的彩色图像、深度图像以及障碍物的情况，控制其所在的智能购物车跟随顾客以及躲避智能购物车与顾客之间的障碍物；
当智能购物车为智能导航模式时，移动目标为待购买的商品，工控机根据智能购物车的位置、待购买商品的位置和商场全局地图生成导航路线，并按照该导航路线控制其所在的智能购物车到达待购买商品所在位置；每到达其中一个待购买商品的位置，工控机控制智能购物车停止并进入等待状态，直到顾客将商品放到购物篮并在用户终端选择继续导航时，才前往下一个待购买商品的位置。
更进一步的，当智能购物车为智能导航模式时，工控机生成导航路线具体有如下三种：
(1)以用户终端上输入待购买商品的顺序作为默认的购买顺序，工控机根据智能购物车的位置、默认的购买顺序和商场全局地图生成导航路线；
(2)顾客在用户终端调整待购买商品的购买顺序，工控机根据智能购物车的位置、调整后的购买顺序和商场全局地图生成导航路线；
(3)工控机根据购物车自身的位置、待购买商品的位置和商场全局地图计算出最短路线，该最短路线即作为导航路线。
更进一步的，在智能导航模式下，工控机在控制智能购物车全向移动的过程中，实时运行着动态环境下的SLAM算法和和实时运动规划算法：
先采用深度神经网络算法对深度摄像头实时采集的彩色图像进行语义分割，得到语义图像，并识别出语义图像中的动态障碍物；
然后将深度图像与语义图像相融合，结合激光雷达模块检测到的动态障碍物的位置，得到动态障碍物在商场中的精确位置；
利用惯性测量单元实时检测的智能购物车位姿预测动态障碍物的轨迹，并估计出动态障碍物未来一段时间之内可行驶的区域，从而生成包含可行驶区域和动态障碍物的局部地图；
根据商场全局地图和SLAM算法得到的局部地图，利用改进的VFH*规划算法生成适用于全向移动的智能购物车的局部轨迹，并根据智能购物车与障碍物的距离计算对应的速度和旋转角速度，生成相应的控制指令下达给底层控制板。
更进一步的，工控机利用改进的VFH*规划算法生成智能购物车的局部轨迹的过程包括：
针对智能购物车全向移动的特点，将智能购物车的360°周围区域划分为n个扇区，每个扇区的角度为360°/n；
根据各个扇区的障碍物分布情况构造一个直方图，直方图的横坐标为扇区号，纵坐标为智能购物车与该扇区内障碍物发生碰撞的概率，纵坐标的值越高，表示朝该扇区的方向运动，越容易与障碍物发生碰撞；
设定一个阈值，将直方图中小于阈值的扇区定义为可通行扇区，然后根据连续的可通行扇区的大小选定若干个候选方向，再根据设定的代价函数对每一个候选方向打分，从中选出分值最低的候选方向作为接下来的运动方向；
代价函数g(c0)的表达式如下：
Figure BDA0002990386900000051
Figure BDA0002990386900000052
其中，c0表示候选方向；μ1、μ2、μ3是三个自定义大小的常系数；kt表示智能购物车到目标的连线的方向；θn表示智能购物车当前朝向的角度；α为每一个扇区的度数；kn-1表示上一个时刻选择的运动方向；Δ(c1,c2)表示两个候选方向之间相差的扇区个数，c1和c2表示两个候选方向所对应的扇区。
优选的，在步骤(3)中，扫描摄像头扫描商品的标签时，还结合深度学习识别算法识别商品。
优选的，在步骤(1)中，用户终端扫描智能购物车上的二维码来无线连接至智能购物车；用户终端通过购物车控制系统输入对智能购物车的控制信息，以及显示扫描摄像头所获取的商品信息、商品的待支付总金额，连接该智能购物车的全部用户终端的账号信息。
本发明的第二目的通过下述技术方案实现：
一种智能购物车，包括：从下至上依次连接的底座、可调节支架以及用于放置商品的购物篮；其中，购物篮安装有深度摄像头和扫描摄像头，深度摄像头显露在购物篮外表面，用于实时采集周围环境的彩色图像和深度图像；扫描摄像头显露在购物篮内表面，用于扫描商品的标签以获取对应的商品信息；
底座包含有工控机、底层控制板、惯性测量单元、里程计、无线通信定位模块、多个直流电机，以及分别与对应的一个直流电机相连接的多个麦克纳姆轮；工控机通过无线通信定位模块无线连接使用该智能购物车的对应顾客的用户终端，并接收用户终端输入的控制信息，以及向用户终端发送扫描摄像头所获取的商品信息；
购物篮或者底座上安装有激光雷达模块；惯性测量单元用于实时检测购物车的位姿、角速度，里程计用于实时检测购物车的速度，激光雷达模块用于实时检测周围的障碍物；惯性测量单元、里程计、深度摄像头、扫描摄像头和激光雷达模块分别连接底层控制板，并向其发送所采集的数据；
工控机连接底层控制板，用于通过底层控制板获取采集的数据，并根据采集的数据和用户终端输入的控制信息生成相应的控制指令，底层控制板连接直流电机，并根据工控机下发的控制指令控制直流电机，直流电机进而驱动麦克纳姆轮转动，使智能购物车朝移动目标全向移动。
优选的，智能购物车设有对应的二维码，用户终端通过扫描该二维码，以无线连接至该智能购物车的无线通信定位模块。
优选的，用户终端安装有购物车控制系统，购物车控制系统包括用户管理模块、商品信息显示模块、控制信息输入模块和结算模块，用户管理模块和商品信息显示模块分别连接控制信息输入模块，控制信息输入模块连接结算模块；
其中，用户管理模块用于生成包含连接至同一智能购物车的全部用户终端的账号信息的用户列表；
商品信息显示模块用于显示扫描摄像头所获取的商品信息和购物篮中已结算商品的待支付总金额；
控制信息模块用于选择智能购物车的运动模式，查询及选择商场中待购买的商品，输入智能购物车的启停指令和设置智能购物车的车速、移动目标，移动目标为用户列表中的某一用户终端或者是待购买的商品；
结算模块用于结算和支付购物篮内的商品。
本发明相对于现有技术具有如下的优点及效果：
1、本发明智能购物车可与用户终端交互，能够集用户可控、自动跟随用户、智能导航、自主避障、自助结算支付等多项功能于一体，具有较高的智能化水平，因此适用于复杂多变的超市环境，可辅助顾客购物。
2、本发明智能购物车搭载了多个可以全向运动的麦克纳姆轮，能够对周围的障碍物及时反应，实现任意方向的快速避障，对于商场这种复杂动态环境更具适应性。
3、本发明智能购物车为顾客提供不同的运行模式，比如在自动跟随模式下能够自动跟随特定的顾客，在智能导航模式下能带领顾客找到所需要的所有商品，不同的工作模式满足需求习惯不同的顾客，为顾客提供更便捷的购物体验。
4、本发明智能购物车以工控机为核心，搭载了深度摄像头和激光雷达等传感器，结合动态环境中的SLAM算法，能够在充满动态物体的超市商场之中准确地对周围的环境进行建模并精确地定位自身的位置，探测到周围的静态和动态障碍物，之后再通过运动规划算法实时快速地规划出导航路线并相应控制智能购物车移动，实现了在复杂动态环境中的自主导航和避障。
5、本发明智能购物车将自助结算支付功能和运动控制功能分开，各自独立运行，可提高各自的数据处理效率。
附图说明
图1是实施例1智能购物车的示意图。
图2是实施例1智能购物车的连接示意图。
其中，1-麦克纳姆轮，2-底座，3-可调节支架，4-购物篮，5-扫描摄像头，6-二维码，7-深度摄像头，8-激光雷达模块。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例提供了一种智能购物车，可投放在超市商场中供顾客使用。如图1所示，包括底座2、安装在底座上的可调节支架3以及固定在可调节支架上的购物篮4，购物篮可用于放置顾客选择的商品。可调节支架可通过上下伸缩来调整购物篮的高度，以便适应不同身高的顾客。
如图1和图2所示，购物篮安装有深度摄像头7和扫描摄像头5，深度摄像头显露在购物篮外表面，具体可设置在购物篮前方，以便实时采集周围环境的彩色图像和深度图像。扫描摄像头显露在购物篮内表面，可用于扫描商品的标签以获取对应的商品信息。
底座由保护外壳、位于保护外壳内的微型的工控机、底层控制板、惯性测量单元(IMU)、里程计、无线通信定位模块和多个直流电机，以及分布在保护外壳侧面的多个麦克纳姆轮1构成。
惯性测量单元可用于实时检测购物车的位姿、角速度，里程计可用于实时检测购物车的速度。购物篮或者底座的保护外壳上还安装有激光雷达模块8，激光雷达模块具体可以设置在购物篮或者保护外壳的前方，以便实时检测周围的障碍物。惯性测量单元、里程计、深度摄像头、扫描摄像头和激光雷达模块分别连接底层控制板，并向其发送所采集的数据。
每个直流电机分别连接对应的一个麦克纳姆轮，可用来驱动所连接的麦克纳姆轮转动，本实施例的麦克纳姆轮和直流电机的数量均为4个，4个麦克纳姆轮对称分布在保护外壳左、右两侧，智能购物车可以朝着任意方向移动，实现灵活的运动和避障。
工控机通过无线通信定位模块无线连接使用该智能购物车的对应顾客的用户终端，工控机通过线缆连接底层控制板，底层控制板再通过线缆连接直流电机，工控机可通过底层控制板获取采集的数据，并根据采集的数据和用户终端输入的控制信息生成相应的控制指令。底层控制板可以根据工控机下发的控制指令控制直流电机，直流电机进而驱动麦克纳姆轮转动，使智能购物车朝移动目标全向移动。
在本实施例中，工控机上搭载有开源机器人操作系统(ROS)，是控制智能购物车运动的核心，数据的处理以及各种算法都在工控机上运行。底层控制板可采用STM32系列芯片，接收工控机传来的速度和角速度命令再输出PWM电平来驱动直流电机转动，直流电机的减速比可设为35:1。
用户终端可以是智能手机，且还安装有购物车控制系统，购物车控制系统可以是客户端，也可以是小程序。智能购物车可以在购物篮上设置对应的二维码6，可参见图1，用户终端通过扫码来无线连接至该智能购物车的无线通信定位模块，从而无线通信定位模块可以接收用户终端在购物车控制系统输入的控制信息，以及向用户终端发送扫描摄像头所获取的商品信息。无线通信定位模块可以是蓝牙模块，无线连接方式即对应是蓝牙连接。
例如，顾客可以先打开智能手机中的蓝牙，然后使用智能手机的微信客户端来扫描购物篮上的二维码，使智能手机中的蓝牙与智能购物车中的蓝牙模块进行连接，之后即可进入到购物车控制系统中进行数据的收发和查看。当多人使用同辆智能购物车一起购物时，可以一起扫描该智能购物车上的二维码以进入购物车控制系统界面，从而都可以对该智能购物车进行控制。
这里，购物车控制系统包括用户管理模块、商品信息显示模块、控制信息输入模块和结算模块，用户管理模块和商品信息显示模块分别连接控制信息输入模块，控制信息输入模块连接结算模块。
其中，用户管理模块可用于生成包含连接至同一智能购物车的全部用户终端的账号信息的用户列表。
商品信息显示模块可用于显示扫描摄像头所获取的商品信息和购物篮中已结算商品的待支付总金额。具体来说，当顾客将商品从货架上取出，拿到购物篮内扫描商品标签，再放入到购物篮后，该商品即可同时添加到已添加商品列表中，该商品列表即显示当前放置在购物篮中待支付的商品的信息。
控制信息模块可用于选择智能购物车的运动模式为自动跟随模式或智能导航模式，搜索及选择商场中待购买的商品，被选中的商品可生成对应的购物清单。控制信息模块可以向后台服务器的数据库查询商场中的商品，顾客可以根据商品类别、商品名称进行搜索，也可以语音进行搜索，搜索到的商品信息包括商品的位置、价格、生产日期、重量等信息。
控制信息模块还可用于输入智能购物车的启停指令和设置智能购物车的车速、移动目标，这里，移动目标可以是用户列表中的某一用户终端，也可以是待购买的商品。
智能购物车在自动跟随模式下，可根据顾客在用户列表选择的需要跟随的一个顾客，由无线通信定位模块实时地检测该顾客的位置，工控机再根据顾客的位置控制直流电机驱动麦克纳姆轮转动以跟随该顾客。在智能导航模式下，智能购物车自主移动带领顾客到达每一个待购买商品的位置，每到达一个商品的位置，购物车停下，以便顾客将商品拿到购物篮中扫描商品标签并放入购物篮，之后顾客再通过用户终端启动智能购物车，则开始导航到下一个商品。
结算模块可用于结算和支付购物篮内的商品，顾客无需再排队结账。商品在放入购物篮并扫描商品标签的过程相当于对商品进行结算，此时后台自动计算商品的待支付总金额，在结算模块列出商品的总清单，顾客在结算模块确认后，即可通过电子钱包输入密码进行支付，无需排队结算，节省时间。
在此需要说明的是，本实施例的购物车控制系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，本实施例还提供了一种智能购物车的工作方法，可应用于上述智能购物车，包括如下步骤：
(1)当顾客在商场使用智能购物车开始购物时，智能购物车的工控机先通过无线通信定位模块与用户终端相连接，并接收用户终端输入的控制信息。具体来说，用户终端扫描智能购物车上的二维码来无线连接至智能购物车，并进入购物车控制系统的界面，然后输入对智能购物车的控制信息如智能购物车的启停指令和车速、智能购物车的运动模式(自动跟随模式或智能导航模式)，录入待购买的商品、智能购物车的移动目标，该界面显示用户列表和购物清单。
(2)在购物的过程中，智能购物车的深度摄像头实时采集周围环境的彩色图像和深度图像，智能购物车的惯性测量单元实时检测购物车的位姿、角速度，智能购物车的里程计实时检测购物车的速度，智能购物车的激光雷达模块实时检测周围的静态障碍物(如货物柜)、动态障碍物(如走动的顾客、移动的购物车)，并且分别将采集的数据发送给智能购物车的底层控制板；
底层控制板将采集的数据上传给工控机，工控机根据采集的数据和用户终端输入的控制信息生成相应的控制指令，并下发给底层控制板；
底层控制板根据控制指令控制智能购物车的直流电机的工作状态，直流电机进而驱动智能购物车的麦克纳姆轮转动，使智能购物车朝移动目标全向移动。
其中，1)当智能购物车为自动跟随模式时，移动目标为顾客：
无线通信定位模块检测顾客的方向和顾客与智能购物车的距离，工控机将顾客的方位作为目标点，根据周围环境的彩色图像、深度图像以及障碍物的情况，控制其所在的智能购物车跟随顾客以及躲避智能购物车与顾客之间的障碍物。
2)当智能购物车为智能导航模式时，移动目标为待购买的商品：
工控机根据智能购物车的位置、待购买商品的位置和商场全局地图生成导航路线，并按照该导航路线控制其所在的智能购物车到达待购买商品所在位置；每到达其中一个待购买商品的位置，工控机控制智能购物车停止并进入等待状态，直到顾客将商品放到购物篮并在用户终端选择继续导航时，才前往下一个待购买商品的位置。
这里，顾客可以先在用户终端上进行设置，工控机再生成对应的导航路线，具体有如下三种情况：
a)若以用户终端上输入待购买商品的顺序(即购物清单中商品的顺序)作为默认的购买顺序，则工控机根据智能购物车的位置、默认的购买顺序和商场全局地图生成导航路线；
b)若顾客在用户终端调整购物清单中待购买商品的顺序，则工控机根据智能购物车的位置、调整后的购物清单的商品顺序和商场全局地图生成导航路线；
c)工控机根据购物车自身的位置、待购买商品的位置和商场全局地图计算出最短路线，该最短路线即作为导航路线。
工控机在控制智能购物车全向移动的过程中，实时运行着动态环境下的SLAM算法和实时运动规划算法：
2-1)先采用深度神经网络算法对深度摄像头实时采集的彩色图像进行语义分割，得到语义图像，并识别出语义图像中的动态障碍物。
2-2)然后将深度图像与语义图像相融合，结合激光雷达模块检测到的动态障碍物的位置，得到动态障碍物在商场中的精确位置，从而可以减少动态物体的影响，更准确地估计摄像机的姿态。
2-3)利用惯性测量单元实时检测的智能购物车位姿预测动态障碍物的轨迹，并估计出动态障碍物未来一段时间(如半小时，可根据实际情况设定)之内可行驶的区域，从而生成包含可行驶区域和动态障碍物的局部地图。
2-4)根据商场全局地图和SLAM算法得到的局部地图，利用改进的VFH*规划算法生成适用于全向移动的智能购物车的局部轨迹，并根据智能购物车与障碍物的距离计算对应的速度和旋转角速度，生成相应的控制指令下达给底层控制板，再驱动电机转动，最终智能购物车能够按照规划的轨迹行驶并能够躲避障碍物。
其中，生成局部轨迹的过程为：
2-4-1)针对智能购物车全向移动的特点，将智能购物车的360°周围区域划分为n个扇区，每个扇区的角度为360°/n；
2-4-2)根据各个扇区的障碍物分布情况构造一个直方图，直方图的横坐标为扇区号，纵坐标为智能购物车与该扇区内障碍物发生碰撞的概率，纵坐标的值越高，表示朝该扇区的方向运动，越容易与障碍物发生碰撞；
2-4-3)设定一个阈值，将直方图中小于阈值的扇区定义为可通行扇区，然后根据连续的可通行扇区的大小选定若干个候选方向，再根据设定的代价函数对每一个候选方向打分，从中选出分值最低的候选方向作为接下来的运动方向；
代价函数g(c0)的表达式如下：
Figure BDA0002990386900000141
Figure BDA0002990386900000142
其中，c0表示候选方向；μ1、μ2、μ3是三个可以自己定义大小的常系数；kt表示智能购物车到目标的连线的方向；θn表示智能购物车当前朝向的角度；α为每一个扇区的度数；kn-1表示上一个时刻选择的运动方向；Δ(c1,c2)表示两个候选方向之间相差扇区的个数，c1和c2表示两个候选方向所对应的扇区。
(3)当顾客将商品放入智能购物车的购物篮时，扫描摄像头扫描商品的标签以获取对应的商品信息，并将商品信息发送给工控机，工控机将扫描摄像头所获取的商品信息发送到用户终端，用户终端显示商品信息、商品的待支付总金额。
这里，为进一步提高商品信息的获取准确度，扫描摄像头扫描商品的标签时，还可以结合深度学习识别算法识别商品。
(4)当顾客在用户终端完成商品支付后，工控机通过直流电机控制麦克纳姆轮转动，使智能购物车移动至商场集中回收购物车的位置。
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (10)

1.一种智能购物车的工作方法，其特征在于，包括如下步骤：
(1)当顾客在商场使用智能购物车开始购物时，智能购物车的工控机先通过无线通信定位模块与用户终端相连接，并接收用户终端输入的控制信息；
(2)在购物的过程中，智能购物车的深度摄像头实时采集周围环境的彩色图像和深度图像，智能购物车的惯性测量单元实时检测购物车的位姿、角速度，智能购物车的里程计实时检测购物车的速度，智能购物车的激光雷达模块实时检测周围的静、动态障碍物，并且分别将采集的数据发送给智能购物车的底层控制板；
底层控制板将采集的数据上传给智能购物车的工控机，工控机根据采集的数据和用户终端输入的控制信息生成相应的控制指令，并下发给底层控制板；
底层控制板根据控制指令控制智能购物车的直流电机的工作状态，直流电机进而驱动智能购物车的麦克纳姆轮转动，使智能购物车朝移动目标全向移动；
(3)当顾客将商品放入智能购物车的购物篮时，智能购物车的扫描摄像头扫描商品的标签以获取对应的商品信息，并将商品信息发送给工控机，工控机将扫描摄像头所获取的商品信息发送到用户终端上进行显示；
(4)当顾客在用户终端完成商品支付后，工控机通过直流电机控制麦克纳姆轮转动，使智能购物车移动至商场集中回收购物车的位置。
2.根据权利要求1所述的智能购物车的工作方法，其特征在于，在步骤(1)中，用户终端输入的控制信息包括智能购物车的启停指令和车速、智能购物车的运动模式、待购买的商品以及智能购物车的移动目标；
智能购物车的运动模式进一步包括自动跟随模式和智能导航模式，当智能购物车为自动跟随模式时，移动目标为顾客，无线通信定位模块检测顾客的方向和顾客与智能购物车的距离，工控机将顾客的方位作为目标点，根据周围环境的彩色图像、深度图像以及障碍物的情况，控制其所在的智能购物车跟随顾客以及躲避智能购物车与顾客之间的障碍物；
当智能购物车为智能导航模式时，移动目标为待购买的商品，工控机根据智能购物车的位置、待购买商品的位置和商场全局地图生成导航路线，并按照该导航路线控制其所在的智能购物车到达待购买商品所在位置；每到达其中一个待购买商品的位置，工控机控制智能购物车停止并进入等待状态，直到顾客将商品放到购物篮并在用户终端选择继续导航时，才前往下一个待购买商品的位置。
3.根据权利要求2所述的智能购物车的工作方法，其特征在于，当智能购物车为智能导航模式时，工控机生成导航路线具体有如下三种：
(1)以用户终端上输入待购买商品的顺序作为默认的购买顺序，工控机根据智能购物车的位置、默认的购买顺序和商场全局地图生成导航路线；
(2)顾客在用户终端调整待购买商品的购买顺序，工控机根据智能购物车的位置、调整后的购买顺序和商场全局地图生成导航路线；
(3)工控机根据购物车自身的位置、待购买商品的位置和商场全局地图计算出最短路线，该最短路线即作为导航路线。
4.根据权利要求2所述的智能购物车的工作方法，其特征在于，在智能导航模式下，工控机在控制智能购物车全向移动的过程中，实时运行着动态环境下的SLAM算法和和实时运动规划算法：
先采用深度神经网络算法对深度摄像头实时采集的彩色图像进行语义分割，得到语义图像，并识别出语义图像中的动态障碍物；
然后将深度图像与语义图像相融合，结合激光雷达模块检测到的动态障碍物的位置，得到动态障碍物在商场中的位置；
利用惯性测量单元实时检测的智能购物车位姿预测动态障碍物的轨迹，并估计出动态障碍物未来一段时间之内可行驶的区域，从而生成包含可行驶区域和动态障碍物的局部地图；
根据商场全局地图和SLAM算法得到的局部地图，利用改进的VFH*规划算法生成适用于全向移动的智能购物车的局部轨迹，并根据智能购物车与障碍物的距离计算对应的速度和旋转角速度，生成相应的控制指令下达给底层控制板。
5.根据权利要求4所述的智能购物车的工作方法，其特征在于，工控机利用改进的VFH*规划算法生成智能购物车的局部轨迹的过程包括：
针对智能购物车全向移动的特点，将智能购物车的360°周围区域划分为n个扇区，每个扇区的角度为360°/n；
根据各个扇区的障碍物分布情况构造一个直方图，直方图的横坐标为扇区号，纵坐标为智能购物车与该扇区内障碍物发生碰撞的概率，纵坐标的值越高，表示朝该扇区的方向运动，越容易与障碍物发生碰撞；
设定一个阈值，将直方图中小于阈值的扇区定义为可通行扇区，然后根据连续的可通行扇区的大小选定若干个候选方向，再根据设定的代价函数对每一个候选方向打分，从中选出分值最低的候选方向作为接下来的运动方向；
代价函数g(c0)的表达式如下：
Figure FDA0002990386890000031
Figure FDA0002990386890000032
其中，c0表示候选方向；μ1、μ2、μ3是三个自定义大小的常系数；kt表示智能购物车到目标的连线的方向；θn表示智能购物车当前朝向的角度；α为每一个扇区的度数；kn-1表示上一个时刻选择的运动方向；Δ(c1,c2)表示两个候选方向之间相差的扇区个数，c1和c2表示两个候选方向所对应的扇区。
6.根据权利要求1所述的智能购物车的工作方法，其特征在于，在步骤(3)中，扫描摄像头扫描商品的标签时，还结合深度学习识别算法识别商品。
7.根据权利要求1所述的智能购物车的工作方法，其特征在于，在步骤(1)中，用户终端扫描智能购物车上的二维码来无线连接至智能购物车；用户终端通过购物车控制系统输入对智能购物车的控制信息，以及显示扫描摄像头所获取的商品信息、商品的待支付总金额，连接该智能购物车的全部用户终端的账号信息。
8.一种智能购物车，其特征在于，包括：从下至上依次连接的底座、可调节支架以及用于放置商品的购物篮；其中，购物篮安装有深度摄像头和扫描摄像头，深度摄像头显露在购物篮外表面，用于实时采集周围环境的彩色图像和深度图像；扫描摄像头显露在购物篮内表面，用于扫描商品的标签以获取对应的商品信息；
底座包含有工控机、底层控制板、惯性测量单元、里程计、无线通信定位模块、多个直流电机，以及分别与对应的一个直流电机相连接的多个麦克纳姆轮；工控机通过无线通信定位模块无线连接使用该智能购物车的对应顾客的用户终端，并接收用户终端输入的控制信息，以及向用户终端发送扫描摄像头所获取的商品信息；
购物篮或者底座上安装有激光雷达模块；惯性测量单元用于实时检测购物车的位姿、角速度，里程计用于实时检测购物车的速度，激光雷达模块用于实时检测周围的障碍物；惯性测量单元、里程计、深度摄像头、扫描摄像头和激光雷达模块分别连接底层控制板，并向其发送所采集的数据；
工控机连接底层控制板，用于通过底层控制板获取采集的数据，并根据采集的数据和用户终端输入的控制信息生成相应的控制指令；底层控制板连接直流电机，并根据工控机下发的控制指令控制直流电机，直流电机进而驱动麦克纳姆轮转动，使智能购物车朝移动目标全向移动。
9.根据权利要求8所述的智能购物车，其特征在于，智能购物车设有对应的二维码，用户终端通过扫描该二维码，以无线连接至该智能购物车的无线通信定位模块。
10.根据权利要求8所述的智能购物车，其特征在于，用户终端安装有购物车控制系统，购物车控制系统包括用户管理模块、商品信息显示模块、控制信息输入模块和结算模块，用户管理模块和商品信息显示模块分别连接控制信息输入模块，控制信息输入模块连接结算模块；
其中，用户管理模块用于生成包含连接至同一智能购物车的全部用户终端的账号信息的用户列表；
商品信息显示模块用于显示扫描摄像头所获取的商品信息和购物篮中已结算商品的待支付总金额；
控制信息模块用于选择智能购物车的运动模式，查询及选择商场中待购买的商品，输入智能购物车的启停指令和设置智能购物车的车速、移动目标，移动目标为用户列表中的某一用户终端或者是待购买的商品；
结算模块用于结算和支付购物篮内的商品。
CN202110313995.7A 2021-03-24 2021-03-24 一种智能购物车的工作方法及智能购物车 Pending CN113011351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110313995.7A CN113011351A (zh) 2021-03-24 2021-03-24 一种智能购物车的工作方法及智能购物车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110313995.7A CN113011351A (zh) 2021-03-24 2021-03-24 一种智能购物车的工作方法及智能购物车

Publications (1)

Publication Number Publication Date
CN113011351A true CN113011351A (zh) 2021-06-22

Family

ID=76406190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110313995.7A Pending CN113011351A (zh) 2021-03-24 2021-03-24 一种智能购物车的工作方法及智能购物车

Country Status (1)

Country Link
CN (1) CN113011351A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689502A (zh) * 2021-09-01 2021-11-23 南京信息工程大学 一种多信息融合的障碍物测量方法
CN115856917A (zh) * 2023-02-27 2023-03-28 深圳市永泰光电有限公司 一种基于激光雷达和摄像头的物体识别系统及方法
CN117422937A (zh) * 2023-12-18 2024-01-19 成都阿加犀智能科技有限公司 一种智能购物车状态识别方法、装置、设备及存储介质
WO2024103469A1 (zh) * 2022-11-15 2024-05-23 深圳先进技术研究院 一种智能拐杖式助行、生活载物导航机器人

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063609A1 (en) * 2014-08-29 2016-03-03 Wal-Mart Stores, Inc. In-Store Navigation Without Electronic Positioning
CN106647760A (zh) * 2016-12-30 2017-05-10 东南大学 智能购物车及智能购物方法
CN106971330A (zh) * 2017-03-08 2017-07-21 武汉理工大学 一种智能导购购物车系统
CN107730035A (zh) * 2017-09-30 2018-02-23 京东方科技集团股份有限公司 智能购物方法及系统、智能购物车
CN108983767A (zh) * 2018-05-31 2018-12-11 赵建彪 基于物联网的商超智能购物车系统
CN109398463A (zh) * 2018-10-19 2019-03-01 五邑大学 一种购物车及其购物方法
CN109703607A (zh) * 2017-10-25 2019-05-03 北京眸视科技有限公司 一种智能行李车
CN110733039A (zh) * 2019-10-10 2020-01-31 南京驭行科技有限公司 基于vfh+与视觉辅助决策的机器人自动驾驶方法
CN111645746A (zh) * 2020-06-19 2020-09-11 上海电力大学 一种智能侍从购物车
CN111660313A (zh) * 2020-07-14 2020-09-15 桂林理工大学 基于ros和人工智能算法的超市导购机器人
CN212500605U (zh) * 2020-05-26 2021-02-09 中南大学 一种智能购物车

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063609A1 (en) * 2014-08-29 2016-03-03 Wal-Mart Stores, Inc. In-Store Navigation Without Electronic Positioning
CN106647760A (zh) * 2016-12-30 2017-05-10 东南大学 智能购物车及智能购物方法
CN106971330A (zh) * 2017-03-08 2017-07-21 武汉理工大学 一种智能导购购物车系统
CN107730035A (zh) * 2017-09-30 2018-02-23 京东方科技集团股份有限公司 智能购物方法及系统、智能购物车
CN109703607A (zh) * 2017-10-25 2019-05-03 北京眸视科技有限公司 一种智能行李车
CN108983767A (zh) * 2018-05-31 2018-12-11 赵建彪 基于物联网的商超智能购物车系统
CN109398463A (zh) * 2018-10-19 2019-03-01 五邑大学 一种购物车及其购物方法
CN110733039A (zh) * 2019-10-10 2020-01-31 南京驭行科技有限公司 基于vfh+与视觉辅助决策的机器人自动驾驶方法
CN212500605U (zh) * 2020-05-26 2021-02-09 中南大学 一种智能购物车
CN111645746A (zh) * 2020-06-19 2020-09-11 上海电力大学 一种智能侍从购物车
CN111660313A (zh) * 2020-07-14 2020-09-15 桂林理工大学 基于ros和人工智能算法的超市导购机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IWAN ULRICH AND JOHANN BORENSTEIN: "VFH+: Reliable Obstacle Avoidance for Fast Mobile Robots", 《PROCEEDINGS OF THE 1998 IFFF》 *
滕光松 等: "一种智能超市购物车的设计", 《电子世界》 *
陈文强 等: "基于ROS的全向移动机器人动态路径规划的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689502A (zh) * 2021-09-01 2021-11-23 南京信息工程大学 一种多信息融合的障碍物测量方法
CN113689502B (zh) * 2021-09-01 2023-06-30 南京信息工程大学 一种多信息融合的障碍物测量方法
WO2024103469A1 (zh) * 2022-11-15 2024-05-23 深圳先进技术研究院 一种智能拐杖式助行、生活载物导航机器人
CN115856917A (zh) * 2023-02-27 2023-03-28 深圳市永泰光电有限公司 一种基于激光雷达和摄像头的物体识别系统及方法
CN117422937A (zh) * 2023-12-18 2024-01-19 成都阿加犀智能科技有限公司 一种智能购物车状态识别方法、装置、设备及存储介质
CN117422937B (zh) * 2023-12-18 2024-03-15 成都阿加犀智能科技有限公司 一种智能购物车状态识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113011351A (zh) 一种智能购物车的工作方法及智能购物车
US10311400B2 (en) Intelligent service robot and related systems and methods
CN109703607B (zh) 一种智能行李车
CN107730035A (zh) 智能购物方法及系统、智能购物车
US20180043542A1 (en) Customer service robot and related systems and methods
US20200339354A1 (en) Autonomous robotic system for automatically monitoring the state of shelves in shops
US20170075962A1 (en) Systems and methods to provide searchable content related to a plurality of locations in a region in connection with navigational guidance to the locations in the region
CN107203793A (zh) 一种基于机器人的图书馆服务系统及方法
US20040128069A1 (en) Method and system for the visually impaired to navigate a route through a facility
WO2018106719A1 (en) Intelligent service robot and related systems and methods
US11000953B2 (en) Robot gamification for improvement of operator performance
JP2003099629A (ja) 遠隔商品販売システムおよび方法
CN108564435A (zh) 用于车载导航购物的系统和方法
US20180260800A1 (en) Unmanned vehicle in shopping environment
JP7268155B2 (ja) 顧客支援ロボットピッキング
US11590997B1 (en) Autonomous shopping cart
CN115169639A (zh) 自助购物车导购方法、装置、设备及存储介质
Zheng et al. Research on AGV trackless guidance technology based on the global vision
KR20210005767A (ko) 자율주행차량 기반의 ａｒ 도로 광고 제공 시스템, 그리고 이를 위한 자율주행차량 장치
CN115374982A (zh) 一种超市智能购物车及购物方法
CN210680518U (zh) 一种大型超市云购物机器装置
US20240144354A1 (en) Dynamic store feedback systems for directing users
US11488212B2 (en) Server apparatus, information processing system, storage medium, mobile shop, and method of operating information processing system
CN114074334A (zh) 远程控制购物方法及系统
US11972391B2 (en) Autonomous traveling unit, information processing method and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210622

RJ01 Rejection of invention patent application after publication