CN115856917B - 一种基于激光雷达和摄像头的物体识别系统及方法 - Google Patents
一种基于激光雷达和摄像头的物体识别系统及方法 Download PDFInfo
- Publication number
- CN115856917B CN115856917B CN202310169907.XA CN202310169907A CN115856917B CN 115856917 B CN115856917 B CN 115856917B CN 202310169907 A CN202310169907 A CN 202310169907A CN 115856917 B CN115856917 B CN 115856917B
- Authority
- CN
- China
- Prior art keywords
- user
- commodity
- information
- unmanned intelligent
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于激光雷达和摄像头的物体识别系统及方法，属于物体探测识别技术领域。该系统包括：无人智能商超模块、数字化处理模块、路径分析模块、智能导购模块；所述无人智能商超模块的输出端与所述数字化处理模块的输入端相连接；所述数字化处理模块的输出端与所述路径分析模块的输入端相连接；所述路径分析模块的输出端与所述智能导购模块的输入端相连接。本申请通过带有激光雷达和摄像头的无人智能导购车，实现智能优化最佳行驶路径，实时采集用户选购信息，构建二次导航分析模型，能够适用于无人商超的商品导购，相较于人工服务，其更加的便捷、干净，同时对于用户数据把握更加精准，能进一步提升用户购物的体验感和舒适性。
Description
技术领域
本发明涉及物体探测识别技术领域，具体为一种基于激光雷达和摄像头的物体识别系统及方法。
背景技术
激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态甚至形状等参数，从而对目标进行探测、跟踪和识别。
在目前技术中，无人商超逐渐走入人们视线，利用机器人进行商超内部的导购监控，一方面能够提高商超的整洁性，一方面也可以为用户提供极大地便利。在无人商超中，由于每次的摆货位置并不相同或者用户并不熟悉各类商品的布置，常常会导致寻找不到想要购买的商品的问题。
发明内容
本发明的目的在于提供一种基于激光雷达和摄像头的物体识别系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于激光雷达和摄像头的物体识别方法，该方法包括以下步骤：
S1、用户登录注册无人智能商超系统，选择一种无人智能导购车，所述无人智能导购车上设置有摄像头用于采集用户数据信息，所述用户数据信息包括用户人脸信息、用户选购信息，设置有激光雷达用于识别障碍物，实现无人安全驾驶；
S2、无人智能导购车获取用户人脸信息数据，上传至商超系统的数字化处理模块，若判断用户为新用户，为用户生成新的信息数据存储单元；若判断用户为老用户，调用老用户的信息数据存储单元，获取老用户的购买数据；
S3、用户输入购买商品元素，所述购买商品元素包括购买商品名称、购买商品类型的任一种，所述购买商品名称指用户输入的为直接的商品名称，例如用户购买酒水，直接输入“某花啤酒”；所述购买商品类型指用户输入的为想要购买的商品类型，例如用户购买酒水，在不清楚自己具体想买的酒水名称或者想要选购时，可以直接输入“白酒”、“啤酒”等类别选项，无人智能导购车的信息搜寻单元获取到用户输入的购买商品元素的位置信息，智能优化出最佳行驶路径；
S4、实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户所在位置、用户选购的商品；构建二次导航分析模型，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航。
根据上述技术方案，所述无人安全驾驶包括：
获取无人商超内货架与人员的三维点云数据，将原始点云作为输入，利用VoxelNet进行处理；
所述VoxelNet包括：特征学习网络、中间卷积层和区域建议网络；
所述特征学习网络用于将三维点云数据划分为体素Voxel形式，通过VFE层提取特征，得到体素级的特征向量，包括：体素划分、分组、随机抽样、堆叠体素特征编码；
所述体素划分用于将空间划分成均匀的体素；所述分组用于将点云根据空间位置划分到相对应的体素中由于距离、遮挡、物体相对姿态和采样不均匀等原因，激光雷达获取的点云在空间中的分布不均匀，所以分组时会造成不同的体素中包含的点云数量不同；所述随机抽样用于随机从拥有多于W个点的体素中随机采样W个点云，随机抽样策略从一定程度上减少了体素之间点云分布不平衡，减少了采样的偏移，更有利于训练，节省计算量，W为系统预设值；所述堆叠体素特征编码用于通过级联VFE层实现基于点的点特征和局部特征的融合；
所述中间卷积层用于将特征向量进行三维卷积，提取特征，获取全局特征；
所述区域建议网络用于将特征进行整合，输出障碍物的预测结果，系统设置阈值进行判断，最终输出至无人智能商超系统。
根据上述技术方案，所述智能优化出最佳行驶路径包括以下步骤：
S3-1、获取目标商品位置，生成到达路径，按照路径花费时间以从小到大进行排序，依次选取路径，获取最短路径上的转弯节点，并进行标记，获取无人智能导购车到达各转弯节点的时间点，获取所有已运行无人智能导购车的规划最佳行驶路径，获取各个无人智能导购车到达标记转弯节点的时刻点；
S3-2、设置无人智能导购车转弯时间t0，若存在丨a0-b0丨≤t0，判断两条路径存在转弯点交汇；其中，a0指当前无人智能导购车到达规划行驶路径上任一转弯点A的时刻点，b0指任一辆已运行无人智能导购车在规划最佳行驶路径上到达A的时刻点；
S3-3、获取转弯点在当前无人智能导购车规划行驶路径上的先后顺序，分别按顺序将转弯点记为A1、A2、……、An；n为转弯点交汇的数量；
S3-4、选取第一个交汇的转弯点A1，计算交汇延误时长：
其中，tp代表两车交汇时，新增的误差耽误时长；T0代表转弯点的交汇延误时长；
S3-5、将T0加入到当前无人智能导购车规划行驶路径上剩余转弯点的时刻点上，生成全新的到达剩余转弯点的时刻点；若存在丨T0+a0-c0丨≤t0，舍弃当前路径，其中c0指除去b0对应的无人智能导购车外任一辆已运行无人智能导购车在规划最佳行驶路径上到达A的时刻点；
S3-6、重复步骤S3-2至S3-5，直至转弯点交汇的数量n=0为止，获取此时到达目标商品位置的时刻点，记为当前路径的最终时刻点；
S3-7、获取生成的所有到达路径的最终时刻点，选取其中最短的作为最佳行驶路径。
根据上述技术方案，所述构建二次导航分析模型包括：
实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户选购的商品；
设置停留时间阈值k0，获取用户在货架前停留时间超出停留时间阈值k0的货架信息，标记为当前货架，调取当前货架下的商品信息数据；
构建二次导航分析模型：
其中，D0代表两组商品信息数据的相似度；xi代表当前货架下的商品的任一数据特征；yi代表其他货架下的商品的任一数据特征；i代表序号；m代表特征数量；
选取最大的D0对应的商品作为二次导航的目标商品，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航。
一种基于激光雷达和摄像头的物体识别系统，该系统包括：无人智能商超模块、数字化处理模块、路径分析模块、智能导购模块；
所述无人智能商超模块用于用户登录注册无人智能商超系统，选择一种无人智能导购车，所述无人智能导购车设置有激光雷达和摄像头；所述数字化处理模块用于根据人脸信息数据，判断用户类型；所述路径分析模块用于在用户输入购买商品元素后，所述购买商品元素包括购买商品名称、购买商品类型的任一种，无人智能导购车的信息搜寻单元获取到用户输入的购买商品元素的位置信息，智能优化出最佳行驶路径；所述智能导购模块用于实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户所在位置、用户选购的商品；构建二次导航分析模型，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航；
所述无人智能商超模块的输出端与所述数字化处理模块的输入端相连接；所述数字化处理模块的输出端与所述路径分析模块的输入端相连接；所述路径分析模块的输出端与所述智能导购模块的输入端相连接。
根据上述技术方案，所述无人智能商超模块包括激光雷达单元、摄像头单元；
所述激光雷达单元用于在无人智能导购车上设置有激光雷达，用于识别行驶路径的障碍物，实现无碰撞驾驶；所述摄像头单元用于在无人智能导购车上设置有摄像头，采集用户数据信息，所述用户数据信息包括用户人脸信息、用户选购信息；
所述激光雷达单元、摄像头单元的输出端均连接至数字化处理模块的输入端。
根据上述技术方案，所述数字化处理模块包括数据采集单元、数据判断单元；
所述数据采集单元用于获取用户人脸信息数据；所述数据判断单元调用用户注册登录信息，若判断用户为新用户，为用户生成新的信息数据存储单元；若判断用户为老用户，调用老用户的信息数据存储单元，获取老用户的购买数据；
所述数据采集单元的输出端与所述数据判断单元的输入端相连接。
根据上述技术方案，所述路径分析模块包括商品元素分析单元、信息搜寻单元；
所述商品元素分析单元用于获取用户输入的购买商品元素，若判断为老用户，调取输入的购买商品元素下与老用户购买记录相同的商品作为目标商品，智能优化出最佳行驶路径，若判断为新用户，则进入信息搜寻单元；所述信息搜寻单元用于根据用户输入的购买商品元素的位置信息，智能优化出最佳行驶路径；
所述商品元素分析单元的输出端与所述信息搜寻单元的输入端相连接。
根据上述技术方案，所述智能导购模块包括用户行为分析单元、二次导航分析单元；
所述用户行为分析单元用于实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户所在位置、用户选购的商品；所述二次导航分析单元用于构建二次导航分析模型，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航；
所述用户行为分析单元的输出端与所述二次导航分析单元的输入端相连接。
与现有技术相比，本发明所达到的有益效果是：
本发明借助无人智能导购车，依托于激光雷达和摄像头的识别检测手段，实现功能避障行驶，能够适用于无人商超的商品导购，相较于人工服务，其更加的便捷、干净，同时对于用户数据把握更加精准，能进一步提升用户购物的体验感和舒适性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于激光雷达和摄像头的物体识别系统及方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，在本实施例中，以用户在智能商超买酒为例：
用户登录注册无人智能商超系统，选择一种无人智能导购车，无人智能导购车获取用户人脸信息数据，上传至商超系统的数字化处理模块，判断用户为老用户，调用老用户的信息数据存储单元，获取老用户的购买数据；
用户输入购买商品元素“酒”，无人智能导购车的信息搜寻单元获取到用户输入的购买商品元素的位置信息，调用老用户的购买数据，以老用户购买数据中最多的“酒”作为目标商品，例如在本申请中，发现用户购买“某花啤酒”最多，则以“某花啤酒”作为目标商品，优化出最佳行驶路径：
在本实施例的前提，因为导购车的智能性，所以在设置过程中，正在运行的导购车具备优先级，即在路径规划过程中，后序导购车需要考虑前序导购车，而且前序导购车优先通行。
S3-1、获取目标商品位置，生成到达路径，按照路径花费时间以从小到大进行排序，依次选取路径，获取最短路径上的转弯节点，并进行标记，获取无人智能导购车到达各转弯节点的时间点，获取所有已运行无人智能导购车的规划最佳行驶路径，获取各个无人智能导购车到达标记转弯节点的时刻点；
S3-2、设置无人智能导购车转弯时间t0=1min，若存在丨a0-b0丨≤t0，判断两条路径存在转弯点交汇；其中，a0指当前无人智能导购车到达规划行驶路径上任一转弯点A的时刻点，b0指任一辆已运行无人智能导购车在规划最佳行驶路径上到达A的时刻点；
S3-3、获取转弯点在当前无人智能导购车规划行驶路径上的先后顺序，分别按顺序将转弯点记为A1、A2、……、An；n为转弯点交汇的数量；
S3-4、选取第一个交汇的转弯点A1，计算交汇延误时长：
其中，tp代表两车交汇时，新增的误差耽误时长；T0代表转弯点的交汇延误时长；
在本申请中，以第一个交汇的转弯点为例，时间a0为10:30:00，b0为10:29:30；则T0=丨a0-b0丨+t0+tp=2min，其中tp取0.5min；
S3-5、将T0加入到当前无人智能导购车规划行驶路径上剩余转弯点的时刻点上，生成全新的到达剩余转弯点的时刻点；若存在丨T0+a0-c0丨≤t0，舍弃当前路径，其中c0指除去b0对应的无人智能导购车外任一辆已运行无人智能导购车在规划最佳行驶路径上到达A的时刻点；
设置c0为10:31:20；原计划中，丨a0-c0丨是不满足≤t0的条件的，但是由于某一条路径的交汇后，当前路径转变为10:32:00还在A点，则会出现二次交汇，在一条路径出现多次交汇的情况下，考虑到商超的实际情况，则对路径予以舍弃；
S3-6、重复步骤S3-2至S3-5，直至转弯点交汇的数量n=0为止，获取此时到达目标商品位置的时刻点，记为当前路径的最终时刻点；
S3-7、获取生成的所有到达路径的最终时刻点，选取其中最短的作为最佳行驶路径。
在路径上的无人安全驾驶包括：
获取无人商超内货架与人员的三维点云数据，将原始点云作为输入，利用VoxelNet进行处理；
所述特征学习网络用于将三维点云数据划分为体素Voxel形式，通过VFE层提取特征，得到体素级的特征向量，包括：体素划分、分组、随机抽样、堆叠体素特征编码；
所述体素划分用于将空间划分成均匀的体素；所述分组用于将点云根据空间位置划分到相对应的体素中；所述随机抽样用于随机从拥有多于W个点的体素中随机采样W个点云，W为系统预设值；所述堆叠体素特征编码用于通过级联VFE层实现基于点的点特征和局部特征的融合；
在本申请中，以第一层VFE层为例，建立如下流程：
首先对每个网格的点云进行去中心化，得到每个点的VFE层的输入；
每个点经过包含ReLU函数和BN(Batch Normal)运算的全连接网络，得到点特征；
对每个点特征进行最大池化运算，得到局部聚合特征；
最后，将点特征和局部聚合特征进行结合运算，得到最后的特征向量；
对每个体素进行处理，得到特征提取层的输出；
所述中间卷积层用于将特征向量进行三维卷积，提取特征，获取全局特征；
所述区域建议网络用于将特征进行整合，输出障碍物的预测结果，系统设置阈值进行判断，最终输出至无人智能商超系统。
实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户选购的商品；
设置停留时间阈值
，获取用户在货架前停留时间超出停留时间阈值/>
的货架信息，标记为当前货架，调取当前货架下的商品信息数据；
构建二次导航分析模型：
其中，D0代表两组商品信息数据的相似度；xi代表当前货架下的商品的任一数据特征；yi代表其他货架下的商品的任一数据特征；i代表序号；m代表特征数量；
因为在商超的货架上，同类商品一般摆放在一起，例如用户买啤酒，其站在酒类商品的货架前进行选购，在本申请中，数据特征包括有价格、啤酒类型、品牌等等。
选取最大的D0对应的商品作为二次导航的目标商品，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航。
在本实施例二中，提供一种基于激光雷达和摄像头的物体识别系统，该系统包括：无人智能商超模块、数字化处理模块、路径分析模块、智能导购模块；
所述无人智能商超模块用于用户登录注册无人智能商超系统，选择一种无人智能导购车，所述无人智能导购车设置有激光雷达和摄像头；所述数字化处理模块用于根据人脸信息数据，判断用户类型；所述路径分析模块用于在用户输入购买商品元素后，所述购买商品元素包括购买商品名称、购买商品类型的任一种，无人智能导购车的信息搜寻单元获取到用户输入的购买商品元素的位置信息，智能优化出最佳行驶路径；所述智能导购模块用于实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户所在位置、用户选购的商品；构建二次导航分析模型，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航；
所述无人智能商超模块的输出端与所述数字化处理模块的输入端相连接；所述数字化处理模块的输出端与所述路径分析模块的输入端相连接；所述路径分析模块的输出端与所述智能导购模块的输入端相连接。
所述无人智能商超模块包括激光雷达单元、摄像头单元；
所述激光雷达单元用于在无人智能导购车上设置有激光雷达，用于识别行驶路径的障碍物，实现无碰撞驾驶；所述摄像头单元用于在无人智能导购车上设置有摄像头，采集用户数据信息，所述用户数据信息包括用户人脸信息、用户选购信息；
所述激光雷达单元、摄像头单元的输出端均连接至数字化处理模块的输入端。
所述数字化处理模块包括数据采集单元、数据判断单元；
所述数据采集单元用于获取用户人脸信息数据；所述数据判断单元调用用户注册登录信息，若判断用户为新用户，为用户生成新的信息数据存储单元；若判断用户为老用户，调用老用户的信息数据存储单元，获取老用户的购买数据；
所述数据采集单元的输出端与所述数据判断单元的输入端相连接。
所述路径分析模块包括商品元素分析单元、信息搜寻单元；
所述商品元素分析单元用于获取用户输入的购买商品元素，若判断为老用户，调取输入的购买商品元素下与老用户购买记录相同的商品作为目标商品，智能优化出最佳行驶路径，若判断为新用户，则进入信息搜寻单元；所述信息搜寻单元用于根据用户输入的购买商品元素的位置信息，智能优化出最佳行驶路径；
所述商品元素分析单元的输出端与所述信息搜寻单元的输入端相连接。
所述智能导购模块包括用户行为分析单元、二次导航分析单元；
所述用户行为分析单元用于实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户所在位置、用户选购的商品；所述二次导航分析单元用于构建二次导航分析模型，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航；
所述用户行为分析单元的输出端与所述二次导航分析单元的输入端相连接。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于激光雷达和摄像头的物体识别方法，其特征在于：该方法包括以下步骤：
S1、用户登录注册无人智能商超系统，选择一种无人智能导购车，所述无人智能导购车上设置有摄像头用于采集用户数据信息，所述用户数据信息包括用户人脸信息、用户选购信息，设置有激光雷达用于识别障碍物，实现无人安全驾驶；
S2、无人智能导购车获取用户人脸信息数据，上传至商超系统的数字化处理模块，若判断用户为新用户，为用户生成新的信息数据存储单元；若判断用户为老用户，调用老用户的信息数据存储单元，获取老用户的购买数据；
S3、用户输入购买商品元素，所述购买商品元素包括购买商品名称、购买商品类型的任一种，无人智能导购车的信息搜寻单元获取到用户输入的购买商品元素的位置信息，智能优化出最佳行驶路径；
S4、实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户所在位置、用户选购的商品；构建二次导航分析模型，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航；
所述无人安全驾驶包括：
获取无人商超内货架与人员的三维点云数据，将原始点云作为输入，利用VoxelNet进行处理；
所述VoxelNet包括：特征学习网络、中间卷积层和区域建议网络；
所述特征学习网络用于将三维点云数据划分为体素Voxel形式，通过VFE层提取特征，得到体素级的特征向量，包括：体素划分、分组、随机抽样、堆叠体素特征编码；
所述体素划分用于将空间划分成均匀的体素；所述分组用于将点云根据空间位置划分到相对应的体素中；所述随机抽样用于随机从拥有多于W个点的体素中随机采样W个点云，W为系统预设值；所述堆叠体素特征编码用于通过级联VFE层实现基于点的点特征和局部特征的融合；
所述中间卷积层用于将特征向量进行三维卷积，提取特征，获取全局特征；
所述区域建议网络用于将特征进行整合，输出障碍物的预测结果，系统设置阈值进行判断，最终输出至无人智能商超系统；
所述智能优化出最佳行驶路径包括以下步骤：
S3-1、获取目标商品位置，生成到达路径，按照路径花费时间以从小到大进行排序，依次选取路径，获取最短路径上的转弯节点，并进行标记，获取无人智能导购车到达各转弯节点的时间点，获取所有已运行无人智能导购车的规划最佳行驶路径，获取各个无人智能导购车到达标记转弯节点的时刻点；
S3-2、设置无人智能导购车转弯时间
，若存在/>
，判断两条路径存在转弯点交汇；其中，/>
指当前无人智能导购车到达规划行驶路径上任一转弯点A的时刻点，/>
指任一辆已运行无人智能导购车在规划最佳行驶路径上到达A的时刻点；
S3-3、获取转弯点在当前无人智能导购车规划行驶路径上的先后顺序，分别按顺序将转弯点记为
、/>
；n为转弯点交汇的数量；
S3-4、选取第一个交汇的转弯点
，计算交汇延误时长：
其中，tp代表两车交汇时，新增的误差耽误时长；
代表转弯点的交汇延误时长；
S3-5、将
加入到当前无人智能导购车规划行驶路径上剩余转弯点的时刻点上，生成全新的到达剩余转弯点的时刻点；若存在/>
，舍弃当前路径，其中/>
指除去/>
对应的无人智能导购车外任一辆已运行无人智能导购车在规划最佳行驶路径上到达A的时刻点；
S3-6、重复步骤S3-2至S3-5，直至转弯点交汇的数量n=0为止，获取此时到达目标商品位置的时刻点，记为当前路径的最终时刻点；
S3-7、获取生成的所有到达路径的最终时刻点，选取其中最短的作为最佳行驶路径。
2.根据权利要求1所述的一种基于激光雷达和摄像头的物体识别方法，其特征在于：所述构建二次导航分析模型包括：
实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户选购的商品；
设置停留时间阈值
，获取用户在货架前停留时间超出停留时间阈值k0的货架信息，标记为当前货架，调取当前货架下的商品信息数据；
构建二次导航分析模型：
其中，D0代表两组商品信息数据的相似度；
代表当前货架下的商品的任一数据特征；yi代表其他货架下的商品的任一数据特征；/>
代表序号；m代表特征数量；
选取最大的
对应的商品作为二次导航的目标商品，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航。
3.应用权利要求1所述的一种基于激光雷达和摄像头的物体识别方法的一种基于激光雷达和摄像头的物体识别系统，其特征在于：该系统包括：无人智能商超模块、数字化处理模块、路径分析模块、智能导购模块；
所述无人智能商超模块用于用户登录注册无人智能商超系统，选择一种无人智能导购车，所述无人智能导购车设置有激光雷达和摄像头；所述数字化处理模块用于根据人脸信息数据，判断用户类型；所述路径分析模块用于在用户输入购买商品元素后，所述购买商品元素包括购买商品名称、购买商品类型的任一种，无人智能导购车的信息搜寻单元获取到用户输入的购买商品元素的位置信息，智能优化出最佳行驶路径；所述智能导购模块用于实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户所在位置、用户选购的商品；构建二次导航分析模型，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航；
所述无人智能商超模块的输出端与所述数字化处理模块的输入端相连接；所述数字化处理模块的输出端与所述路径分析模块的输入端相连接；所述路径分析模块的输出端与所述智能导购模块的输入端相连接。
4.根据权利要求3所述的一种基于激光雷达和摄像头的物体识别系统，其特征在于：所述无人智能商超模块包括激光雷达单元、摄像头单元；
所述激光雷达单元用于在无人智能导购车上设置有激光雷达，用于识别行驶路径的障碍物，实现无碰撞驾驶；所述摄像头单元用于在无人智能导购车上设置有摄像头，采集用户数据信息，所述用户数据信息包括用户人脸信息、用户选购信息；
所述激光雷达单元、摄像头单元的输出端均连接至数字化处理模块的输入端。
5.根据权利要求3所述的一种基于激光雷达和摄像头的物体识别系统，其特征在于：所述数字化处理模块包括数据采集单元、数据判断单元；
所述数据采集单元用于获取用户人脸信息数据；所述数据判断单元调用用户注册登录信息，若判断用户为新用户，为用户生成新的信息数据存储单元；若判断用户为老用户，调用老用户的信息数据存储单元，获取老用户的购买数据；
所述数据采集单元的输出端与所述数据判断单元的输入端相连接。
6.根据权利要求3所述的一种基于激光雷达和摄像头的物体识别系统，其特征在于：所述路径分析模块包括商品元素分析单元、信息搜寻单元；
所述商品元素分析单元用于获取用户输入的购买商品元素，若判断为老用户，调取输入的购买商品元素下与老用户购买记录相同的商品作为目标商品，智能优化出最佳行驶路径，若判断为新用户，则进入信息搜寻单元；所述信息搜寻单元用于根据用户输入的购买商品元素的位置信息，智能优化出最佳行驶路径；
所述商品元素分析单元的输出端与所述信息搜寻单元的输入端相连接。
7.根据权利要求3所述的一种基于激光雷达和摄像头的物体识别系统，其特征在于：所述智能导购模块包括用户行为分析单元、二次导航分析单元；
所述用户行为分析单元用于实时采集用户选购信息，所述用户选购信息包括用户在货架前停留时间、用户所在位置、用户选购的商品；所述二次导航分析单元用于构建二次导航分析模型，设置时间周期，在时间周期下用户未添加商品至购物车，开启二次导航；
所述用户行为分析单元的输出端与所述二次导航分析单元的输入端相连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310169907.XA CN115856917B (zh) | 2023-02-27 | 2023-02-27 | 一种基于激光雷达和摄像头的物体识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310169907.XA CN115856917B (zh) | 2023-02-27 | 2023-02-27 | 一种基于激光雷达和摄像头的物体识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115856917A CN115856917A (zh) | 2023-03-28 |
| CN115856917B true CN115856917B (zh) | 2023-06-30 |
Family
ID=85659122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310169907.XA Active CN115856917B (zh) | 2023-02-27 | 2023-02-27 | 一种基于激光雷达和摄像头的物体识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115856917B (zh) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106971330A (zh) * | 2017-03-08 | 2017-07-21 | 武汉理工大学 | 一种智能导购购物车系统 |
| CN107330698A (zh) * | 2017-06-20 | 2017-11-07 | 厦门益东互联科技有限公司 | 一种无人值守的智能购物系统 |
| CN107507017A (zh) * | 2017-07-07 | 2017-12-22 | 阿里巴巴集团控股有限公司 | 一种线下导购方法和装置 |
| CN107730035A (zh) * | 2017-09-30 | 2018-02-23 | 京东方科技集团股份有限公司 | 智能购物方法及系统、智能购物车 |
| US20200182634A1 (en) * | 2018-12-05 | 2020-06-11 | Uxr Llc | Providing path directions relating to a shopping cart |
| CN112597382B (zh) * | 2020-12-10 | 2022-10-21 | 上海爱购智能科技有限公司 | 无人商店人员追踪系统 |
| CN113011351A (zh) * | 2021-03-24 | 2021-06-22 | 华南理工大学 | 一种智能购物车的工作方法及智能购物车 |
| CN113159867A (zh) * | 2021-05-17 | 2021-07-23 | 厦门盈趣汽车电子有限公司 | 一种具有精准识别用户及用户需求的无人售卖系统 |
| CN114022941A (zh) * | 2021-11-18 | 2022-02-08 | 陕西科技大学 | 一种基于人脸识别技术的商品推荐系统 |
| CN114240578A (zh) * | 2021-12-27 | 2022-03-25 | 汪玮 | 一种无人超市智能购物方法及系统 |
| CN115169639A (zh) * | 2022-05-27 | 2022-10-11 | 湖北文理学院 | 自助购物车导购方法、装置、设备及存储介质 |
-
2023
- 2023-02-27 CN CN202310169907.XA patent/CN115856917B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115856917A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wulfmeier et al. | Watch this: Scalable cost-function learning for path planning in urban environments | |
| Hahnel et al. | Map building with mobile robots in dynamic environments | |
| US11176597B2 (en) | Associating shoppers together | |
| US12014320B2 (en) | Systems, devices, and methods for estimating stock level with depth sensor | |
| CN114127805A (zh) | 深度网络的训练方法 | |
| CN110705385B (zh) | 一种障碍物角度的检测方法、装置、设备及介质 | |
| CN112833903B (zh) | 一种轨迹预测方法、装置、设备和计算机可读存储介质 | |
| JP2019174164A (ja) | 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法 | |
| CN114298198A (zh) | 一种货物智能存储库房 | |
| CN114937083A (zh) | 一种应用于动态环境的激光slam系统及方法 | |
| CN105260458A (zh) | 一种用于显示装置的视频推荐方法及显示装置 | |
| CN115856917B (zh) | 一种基于激光雷达和摄像头的物体识别系统及方法 | |
| CN114091515A (zh) | 障碍物检测方法、装置、电子设备和存储介质 | |
| Lee et al. | An obstacle classification method using multi-feature comparison based on 2D LIDAR database | |
| CN115083199A (zh) | 一种车位信息确定方法及其相关设备 | |
| US11597383B1 (en) | Methods and systems for parking a vehicle | |
| CN112132868A (zh) | 一种支付信息的确定方法、装置及设备 | |
| CN113052871A (zh) | 一种基于智能选择策略的目标检测与自动跟踪算法 | |
| CN111178968A (zh) | 一种线上店铺与线下店铺的营销方法和装置 | |
| CN112446752B (zh) | 信息推送方法、装置、电子商务系统以及存储介质 | |
| CN112749710A (zh) | 目标检测、智能行驶方法、装置、设备及存储介质 | |
| CN116343198B (zh) | 一种基于多模型的菜品识别方法及设备 | |
| CN114549605B (zh) | 基于点云匹配的图像优化方法、装置、设备及存储介质 | |
| CN116129336A (zh) | 一种货架商品的检测方法、装置、设备及存储介质 | |
| CN117872907A (zh) | 基于无人驾驶技术的购物车控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |