CN108827317B - 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 - Google Patents

基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 Download PDF

Info

Publication number
CN108827317B
CN108827317B CN201810949172.1A CN201810949172A CN108827317B CN 108827317 B CN108827317 B CN 108827317B CN 201810949172 A CN201810949172 A CN 201810949172A CN 108827317 B CN108827317 B CN 108827317B
Authority
CN
China
Prior art keywords
indoor
autonomous navigation
cloud server
map
balance car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810949172.1A
Other languages
English (en)
Other versions
CN108827317A (zh
Inventor
陈君兰
王科
汤新蔚
张连华
熊周兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinmei Automotive Electronics Co ltd
Original Assignee
Chongqing Jinmei Automotive Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinmei Automotive Electronics Co ltd filed Critical Chongqing Jinmei Automotive Electronics Co ltd
Priority to CN201810949172.1A priority Critical patent/CN108827317B/zh
Publication of CN108827317A publication Critical patent/CN108827317A/zh
Application granted granted Critical
Publication of CN108827317B publication Critical patent/CN108827317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本发明公开了基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法,其特征在于:包括如下步骤:S1:建立室内多平衡车自主导航与联动调度系统;S2:地图采样车采集室内环境对应的三维稀疏点云地图,并将地图存储在后台云端服务器中;S3:后台云端服务器根据多车联动调度策略,保证室内自主导航平衡车的合理分布;S4:室内自主导航平衡车在使用者上车之后,通过对使用者的人脸扫描来获取对使用者的身份确认,进而获得使用者在室内的目的地;S5:各室内自主导航平衡车通过车与云的通讯机制,自动上传、下载和更新室内三维稀疏点云地图,并根据使用者出行需求,自动将使用者带到目的地;可广泛应用在机场、办公大楼、车站等场合。

Description

基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法
技术领域
本发明涉及车辆自主导航方法,具体涉及基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法。
背景技术
随着经济社会的发展,城市的建设,面向室内封闭环境下的便捷、智慧代步驾驶,已经成为人们的广泛社会需求。现代社会不断发展,城市建设日新月异,人们的活动范围不断扩大,随之带来的问题是人们在不熟悉的机场、办公大楼、车站、商场、场馆内,非常容易迷失方向,不能在计划的时间内找到目的地,而耽搁后续行程安排。同时,室内环境下GPS信号失效,无法使用GPS设备来提供精确定位服务,使得该问题变得更加困难。作为新型室内自主驾驶式车辆工具,本发明公开的自主式室内平衡车可以满足人们在室内场景下对便利出行的需求。
目前,常用的室内代步工具,主要以手动驾驶模式为主,其技术要点在于,通过手柄、方向盘、踏板等钮来完成代步行驶。该方案解决了代步出行问题,但尚未解决便捷、智能、自主室内代步问题。因此,本发明拟建立基于3维稀疏点云构建的室内多平衡车自主导航与联动调度方法,这对于未来室内的智能便利代步,具有重要的意义。
发明内容
本发明所要解决的技术问题在于提供基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法。
本发明为了解决上述技术问题,本发明的技术方案是:基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法,其特征在于:包括如下步骤:
S1:建立室内多平衡车自主导航与联动调度系统,该系统包括地图采样车、多台室内自主导航平衡车、固定点位充电系统、后台云端服务器;后台云端服务器作为局域网云端使用,后台云端服务器为所有室内自主导航平衡车提供三维数据支持。
S2:在系统构建阶段,地图采样车采集室内环境对应的三维稀疏点云地图,并将地图存储在后台云端服务器中,供室内自主导航平衡车使用;各室内自主导航平衡车通过局域网通信网络与后台云端服务器通信,后台云端服务器维护与室内环境对应的三维稀疏点云图。
S3:后台云端服务器根据多车联动调度策略,分析当前多台自主导航平衡车在室内的分布情况,并进行合理调度,保证室内自主导航平衡车的合理分布。
S4:室内自主导航平衡车在使用者上车之后,通过对使用者的人脸扫描来获取对使用者的身份确认,后台云端服务器通过万维网获得用户的出行信息,进而获得使用者在室内的目的地。
S5:各室内自主导航平衡车在工作过程中,通过车与云的通讯机制,自动上传、下载和更新室内三维稀疏点云地图;自主导航平衡车根据使用者出行需求,自动将使用者带到使用者目的地。
根据本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的优选方案,地图采样车采集室内环境对应的三维稀疏点云地图,具体为,首先对地图采样车上的双目机器视觉进行参数标定,获得变换矩阵;地图采样车在室内无死角行驶,行驶过程中地图采样车的双目机器视觉获得双目视频流,在基本矩阵的约束下,以变换矩阵为基础,采用三角测量方法,将双目视频流中对应的2D特征点对映射到基于室内坐标系的三维空间中去。
所述双目视频流中对应的2D特征点对,具体为3D环境中表示为同一个特征在双目机器视觉中的不同成像;获取方法具体为,采用ORB((Oriented FAST and RotatedBRIEF))特征提取方法,提取视频流对应时间戳下的二幅图像中的ORB对应特征点,并采用图像特征点匹配方法,获得2D特征点间的匹配关系,获得2D特征点对。
后台云端服务器在存储三维稀疏点云地图的过程中,采用基于区块Section分区的块状存储方法,将室内区域分为若干个区块,每个区块对应各自独一无二的ID,为每个区块的边沿标记不同的标识,每个区块的大小控制在一个固定值,所有的区块之和覆盖整个室内区域空间。
各自主导航平衡车在工作过程中,通过射频频段,连接到后台云端服务器,建立车与云间的连接;后台云端服务器通过有线光钎网络,实现和外部的信息交互。
根据本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的优选方案,步骤S2所述各自主导航平衡车在工作过程中,通过车与云的通讯机制,自动上传、下载和更新室内三维稀疏点云地图;具体方法为,当车辆进入到某个区块之后,后台云端服务器把当前这个区块的三维稀疏点云地图,通过所述局域网通信网络传给室内自主导航平衡车,便于室内自主导航平衡车在该区块内导航使用;当室内自主导航平衡车驶出该区块之后,会把在当前区块新采集的三维稀疏点云地图上传到后台云端服务器;后台云端服务器采用证据判定方法,更新后台云端服务器中的地图数据。
其中,所述后台云端服务器采用证据判定方法,更新云端服务器中的地图数据,具体方法为,各室内自主导航平衡车在驶离当前区块的同时,会将当前本车识别的三维稀疏点云地图数据上传到后台云端服务器,后台云端服务器将该上传的地图数据作为临时地图数据保存,当同一区块对应的临时地图数据超过设定份数时,后台云端服务器采用D/S证据方法对临时地图数据进行证据判定,获得高置信度的地图数据,并将此三维稀疏点云地图数据作为当前区块对应的地图数据,并替换原后台云端服务器中备份的三维稀疏点云地图数据。
根据本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的优选方案,步骤S4具体包括如下内容:
S41:使用者在使用室内自主导航平衡车之前,需要通过网络访问后台云端服务器,进行注册,预约出行数据;
S42:室内自主导航平衡车通过机器视觉拍摄使用者的面部图片,并将图片通过无线通信机制传输给后台云端服务器,后台云端服务器对传来的使用者面部图片进行特征扫描,获得多个面部点位的分布图,将此分布图和后台云端服务器中存储的图像数据进行对比分析,获得使用者的身份信息;
S43:后台云端服务器以步骤S42获得的使用者身份信息为索引,获取使用者在后台云端服务器中登记的出行数据信息,获取使用者的出行目的地;如果后台云端服务器的数据库中暂无当前使用者的出行数据,则提醒使用者通过室内自主导航平衡车上的人机交互界面选择待出行目的地;
S44:室内自主导航平衡车通过双目机器视觉获取当前车辆位置信息,并将当前位置信息上传给后台云端服务器,后台云端服务器综合室内自主导航平衡车当前的位置和目的地位置进行轨迹规划,并将轨迹规划结果发送给室内自主导航平衡车;
S45:室内自主导航平衡车通过双目机器视觉获得当前环境的图像数据,并以获得的图像数据为输入,基于卷积神经网络构建环境感知模型,获得周围环境中的行人、可通行道路和障碍物的信息,构建三维语义环境模型,再以三维语义环境模型为基础,构建环境中行人、障碍物,以及本身自主导航平衡车的人工势场,基于人工势场的互斥原理,在后台云端服务器提供的室内轨迹规划基础上,进行前方局部范围的轨迹规划,并以轨迹规划为基础进行自动驾驶。该自动驾驶包括:“向前行驶”、“向后倒退”、“左转弯”、“向右转弯”、“制动”和“停止”。
步骤S44中所述的自主导航平衡车通过双目机器视觉获取当前车辆位置信息;具体方法为,室内自主导航平衡车实时通过双目机器视觉获取车辆当前环境的三维数据,并采用RANSAC匹配方法,将实时获取的三维数据与从后台云端服务器下载的三维稀疏点云地图数据进行特征匹配,通过匹配关系解算,来获取室内自主导航平衡车的实时位置信息。
步骤S44中所述后台云端服务器综合自主导航平衡车当前的位置和目的地位置进行轨迹规划;具体方法为,后台云端服务器根据最短距离原理,计算出自主导航平衡车从当前位置行驶到目的地位置,所需要经过的所有区块的ID号,并计算室内自主导航平衡车需要驶入的每个区块的边沿标识号,和需要驶出的每个区块边沿标识号。
根据本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的优选方案,步骤S3所述的后台云端服务器根据多车联动调度策略,分析当前多台自主导航平衡车在室内的分布情况,进行合理调度,保证室内自主导航平衡车的合理分布,其具体方法为:
S31:采用视频监控方法,监视室内各区域的人流情况,通过对人流的统计,获得不同时段内室内人流分布热点分布图。
S32:根据步骤S31所述的人流分布热点分布图,将室内的区块划分为不同等级;比如分成“最高”、“高”、“中”、“低”、“最低”共5个等级,以确定不同时段内不同区块对应的室内自主导航平衡车的目标分布数量。
S33:后台云端服务器每间隔设定时间,统计不同区块中当前处于待使用状态的室内自主导航平衡车数量,并根据目标分布数量,对当前区块中的室内自主导航平衡车数量进行调整。
即:计算当前区块中的实际数量和目标分布数量之差;并将实际需要的调入、调出数量向后台云端服务器登记,后台云端服务器根据登记的调入、调出数量,依据调度距离最短原则,制定调度规则表,根据调度规则表,将当前区块多出来的室内自主导航平衡车调配到周边需要室内自主导航平衡车的区块中,完成调配任务。
本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的有益效果是:本发明面向室内封闭环境,采用基于3维稀疏点云建模和驾驶人身份识别的方法,完成多个自主导航平衡车在室内的自主代步任务;该发明能够帮助人们在不熟悉环境中,不再迷失方向,实现快速到达目的地,起到智慧代步的功能,进而提升室内环境的智能化水平,给宾客以人性化和智能化关怀;本发明以车载双目摄像机为主要车载传感器,以后台云端服务器为技术、控制中枢,能够在低成本的情况下,形成安全可靠的自主导航平衡车安全决策,保证了自主导航平衡车的安全行驶,可广泛应用在机场、办公大楼、车站、商场等场合。
附图说明
图1是本发明所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法的流程图。
图2是室内多平衡车自主导航与联动调度系统结构图。
图3是室内环境三维点云建构效果图。
图4是驾驶人身份认证与信息同步流程图。
图5是基于室内人流分布热点分布图的多平衡车调度策略流程图。
具体实施方式
参见图1与图2,基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法,包括如下步骤:
S1:建立室内多平衡车自主导航与联动调度系统,该系统包括地图采样车、多台室内自主导航平衡车、固定点位充电系统、后台云端服务器;后台云端服务器作为局域网云端使用,后台云端服务器为所有室内自主导航平衡车提供三维数据支持。
S2:在系统构建阶段,地图采样车采集室内环境对应的三维稀疏点云地图,参见图3,并将地图存储在后台云端服务器中,供室内自主导航平衡车使用;各室内自主导航平衡车通过局域网通信网络与后台云端服务器通信,后台云端服务器维护与室内环境对应的三维稀疏点云图。其中,三维稀疏点云地图由室内环境中的3维稀疏特征点构成,是将视频流中对应的特征点投影到3维空间中形成3维稀疏特征点。所述的3维稀疏特征点包括Harris角点、Fast角点等。
S3:后台云端服务器根据多车联动调度策略,分析当前多台自主导航平衡车在室内的分布情况,并进行合理调度,保证室内自主导航平衡车的合理分布。
S4:室内自主导航平衡车在使用者上车之后,通过对使用者的人脸扫描来获取对使用者的身份确认,后台云端服务器通过万维网获得用户的出行信息,进而获得使用者在室内的目的地。
S5:各室内自主导航平衡车在工作过程中,通过车与云的通讯机制,自动上传、下载和更新室内三维稀疏点云地图;即使用过程中,室内自主导航平衡车为地图提供持续更新;自主导航平衡车根据使用者出行需求,自动将使用者带到使用者目的地。
在具体实施例中,地图采样车采集室内环境对应的三维稀疏点云地图,具体为,首先对地图采样车上的双目机器视觉进行参数标定,获得变换矩阵M;地图采样车在室内无死角行驶,行驶过程中地图采样车的双目机器视觉获得双目视频流,在基本矩阵的约束下,以变换矩阵M为基础,采用三角测量方法,将双目视频流中对应的2D特征点对映射到基于室内坐标系的三维空间中去。
所述双目视频流中对应的2D特征点对,具体为3D环境中表示为同一个特征在双目机器视觉中的不同成像;获取方法具体为,采用ORB特征提取方法,提取视频流对应时间戳下的二幅图像中的ORB对应特征点,并采用图像特征点匹配方法,获得2D特征点间的匹配关系,获得2D特征点对。
后台云端服务器在存储三维稀疏点云地图的过程中,采用基于区块Section分区的块状存储方法,将室内范围分为若干个区块Section,每个区块Section对应各自独一无二的ID,如:1,2,3,4等,为每个区块Section的边沿标记不同的标识,如:A,B,C,D,E等,每个区块Section的大小控制在一个固定值,如20m*20m,所有的区块Section叠加之和可以覆盖整个室内区域空间。
自主导航平衡车通过室内wifi与后台云端服务器连接,后台云端服务器通过万维网与广域网其他站点服务器连接;具体方法为,各自主导航平衡车在工作过程中,通过2.4GUHF射频频段,连接到后台云端服务器,建立车与云间的连接;后台云端服务器通过有线光钎网络,实现和外部的信息交互。
在具体实施例中,所述各自主导航平衡车在工作过程中,通过车与云的通讯机制,自动上传、下载和更新室内三维稀疏点云地图;具体方法为,当车辆进入到某个区块Section之后,云端服务器将会把当前区块Section的三维稀疏点云地图,通过所述局域网通信网络传给室内自主导航平衡车,便于室内自主导航平衡车在该区域内导航使用;当室内自主导航平衡车驶出该区块Section之后,会把更新后的三维稀疏点云地图上传到后台云端服务器;后台云端服务器采用证据判定方法,更新云端服务器中的地图数据。
其中,所述云端服务器采用证据判定方法,更新云端服务器中的地图数据,具体方法为,各自主导航平衡车在驶离当前区块Section的同时,会将当前本车识别的三维稀疏点云地图数据上传到后台云端服务器,后台云端服务器将该上传的地图数据作为临时地图数据保存,当同一区块Section对应的临时地图数据超过设定份数时,如5份时,后台云端服务器采用D/S(Dempster/Shafer)证据方法对临时地图数据进行证据判定,获得高置信度的地图数据,并将此三维稀疏点云地图数据作为当前区块Section对应的地图数据,替换原后台云端服务器中备份的3D稀疏点云数据。
在具体实施例中,参见图4,步骤S4具体包括如下内容:
S41:使用者在使用室内自主导航平衡车之前,需要通过网络访问后台云端服务器,进行注册,并上传本人的照片、身份认证等注册信息和预约出行数据,如出行时间、出发地点、目的地点。
S42:室内自主导航平衡车通过机器视角即车载摄像机拍摄使用者的面部图片,并将图片通过无线通信机制传输给后台云端服务器,后台云端服务器对传来的使用者面部图片进行特征扫描,获得眉骨、鼻梁、颧骨、眼间距、下巴、嘴唇、鼻骨等80多个面部点位的分布图,将此分布图和后台云端服务器中存储的图像数据进行对比分析,获得使用者的身份信息。
S43:后台云端服务器以步骤S42获得的使用者身份信息为索引,获取使用者在后台云端服务器中登记的出行数据信息,获取使用者的出行目的地;如果后台云端服务器的数据库中暂无当前使用者的出行数据,则提醒使用者通过人机交互界面选择待出行目的地。
S44:室内自主导航平衡车通过车载双目摄像机获取当前车辆位置信息,并将当前位置信息上传给后台云端服务器,后台云端服务器综合室内自主导航平衡车当前的位置和目的地位置进行轨迹规划,并将轨迹规划结果发送给室内自主导航平衡车;
S45:室内自主导航平衡车通过双目机器视觉获得当前环境的图像数据,并以获得的图像数据为输入,基于卷积神经网络构建环境感知模型,获得周围环境中的行人、可通行道路和障碍物的信息,构建三维语义环境模型,再以三维语义环境模型为基础,构建环境中行人、障碍物,以及本身自主导航平衡车的人工势场,基于人工势场的互斥原理,在后台云端服务器提供的室内轨迹规划基础上,进行前方局部范围的轨迹规划,并以轨迹规划为基础进行自动驾驶。该自动驾驶包括:“向前行驶”、“向后倒退”、“左转弯”、“向右转弯”、“制动”和“停止”。
步骤S44中所述的自主导航平衡车通过车载双目摄像机获取当前车辆位置信息;具体方法为,室内自主导航平衡车实时通过车载双目摄像机获取车辆当前环境的三维数据,并采用RANSAC(Random Sample Consensus)匹配方法,将实时获取的三维数据与从后台云端服务器下载的三维稀疏点云地图进行特征匹配,通过匹配关系解算,来获取室内自主导航平衡车的实时位置信息。
步骤S44中所述后台云端服务器综合自主导航平衡车当前的位置和目的地位置进行轨迹规划;具体方法为,后台云端服务器根据最短距离原理,计算出自主导航平衡车从当前位置行驶到目的地位置,所需要经过的所有区块Section的ID号,并计算室内自主导航平衡车需要驶入的每个区块Section的边沿标识号,和需要驶出的每个区块Section边沿标识号,室内自主导航平衡车在单个区块Section中进行局部轨迹规划。
在具体实施例中,参见图5,步骤S3所述的后台云端服务器根据多车联动调度策略,分析当前多台自主导航平衡车在室内的分布情况,进行合理调度,保证室内自主导航平衡车的合理分布,其具体方法为:
S31:采用视频监控方法,监视室内各区域的人流情况,通过对人流的统计,获得不同时段内室内人流分布热点分布图。
具体为,对最近30天时间内,不同时段内室内每个区块Section的人流分布数量进行统计。其中,不同时段具体为早晨:6:00-9:00;上午:9:00-11:00;中午:11:00-14:00,下午:14:00-16:00,傍晚16:00-17:00;晚上17:00-21:00。根据不同时段人流分布数量的统计,绘制室内不同区块Section在不同时段对应的人流分布热点分布图。
S32:根据步骤S31所述的人流分布热点分布图,将室内区域的不同区块Section划分为不同等级,比如分成“最高”、“高”、“中”、“低”、“最低”共5个等级,以确定不同时段内不同区块Section对应的室内自主导航平衡车的目标分布数量;具体为,“最高”等级对应区块Section目标平衡车数量为总数量的30%,“高”为25%,“中”为20%,“低”15%,“最低”为10%。
S33:后台云端服务器每间隔设定时间,比如每1小时的最后10分钟,统计当前不同区块Section中处于待使用状态的室内自主导航平衡车数量,并根据目标分布数量,对当前区块Section中的室内自主导航平衡车数量进行调整。
即:计算当前区块Section中的实际数量和目标分布数量之差;并将实际需要的调入、调出数量向后台云端服务器登记,后台云端服务器根据登记的调入、调出数量,依据调度距离最短原则,制定调度规则表,根据调度规则表,将多出来的室内自主导航平衡车调配到周边需要自主导航平衡车的区块Section中,完成调配任务。
本发明针对室内环境下的智能、便利、自主代步需求,本发明提出复杂室内环境下基于3维稀疏点云建模和驾驶人身份识别的多平衡车自主导航方法,来实现对室内多平衡车的控制。采用本发明专利公开的技术方案,可以很好地满足人们在室内场景下对便利出行的使用需求。

Claims (5)

1.基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法,其特征在于:包括如下步骤:
S1:建立室内多平衡车自主导航与联动调度系统,该系统包括地图采样车、多台室内自主导航平衡车、固定点位充电系统和后台云端服务器;
S2:在系统构建阶段,地图采样车采集室内环境对应的三维稀疏点云地图,并将地图存储在后台云端服务器中,供室内自主导航平衡车使用;各室内自主导航平衡车通过局域网通信网络与后台云端服务器通信,后台云端服务器维护与室内环境对应的三维稀疏点云图;
S3:后台云端服务器根据多车联动调度策略,分析当前多台自主导航平衡车在室内的分布情况,并进行合理调度,保证室内自主导航平衡车的合理分布;
S4:室内自主导航平衡车在使用者上车之后,通过对使用者的人脸扫描来获取对使用者的身份确认,后台云端服务器通过万维网获得用户的出行信息,进而获得使用者在室内的目的地;
S5:各室内自主导航平衡车在工作过程中,通过车与云的通讯机制,自动上传、下载和更新室内三维稀疏点云地图;自主导航平衡车根据使用者出行需求,自动将使用者带到目的地;
步骤S4具体包括如下内容:
S41:使用者在使用室内自主导航平衡车之前,需要通过网络访问后台云端服务器,进行注册,预约出行数据;
S42:室内自主导航平衡车通过机器视觉拍摄使用者的面部图片,并将图片通过无线通信机制传输给后台云端服务器,后台云端服务器对传来的使用者面部图片进行特征扫描,获得多个面部点位的分布图,将此分布图和后台云端服务器中存储的图像数据进行对比分析,获得使用者的身份信息;
S43:后台云端服务器以步骤S42获得的使用者身份信息为索引,获取使用者在后台云端服务器中登记的出行数据信息,获取使用者的出行目的地;如果后台云端服务器的数据库中暂无当前使用者的出行数据,则提醒使用者通过室内自主导航平衡车上的人机交互界面选择待出行目的地;
S44:室内自主导航平衡车通过双目机器视觉获取当前车辆位置信息,并将当前位置信息上传给后台云端服务器,后台云端服务器综合室内自主导航平衡车当前的位置和目的地位置进行轨迹规划,并将轨迹规划结果发送给室内自主导航平衡车;
S45:室内自主导航平衡车通过双目机器视觉获得当前环境的图像数据,并以获得的图像数据为输入,基于卷积神经网络构建环境感知模型,获得周围环境中的行人、可通行道路和障碍物的信息,构建三维语义环境模型,再以三维语义环境模型为基础,构建环境中行人、障碍物,以及本身自主导航平衡车的人工势场,基于人工势场的互斥原理,在后台云端服务器提供的室内轨迹规划基础上,进行前方局部范围的轨迹规划,并以轨迹规划为基础进行自动驾驶。
2.根据权利要求1所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法,其特征在于:
地图采样车采集室内环境对应的三维稀疏点云地图,具体为,首先对地图采样车上的双目机器视觉进行参数标定,获得变换矩阵;地图采样车在室内无死角行驶,行驶过程中地图采样车的双目机器视觉获得双目视频流,在基本矩阵的约束下,以变换矩阵为基础,采用三角测量方法,将双目视频流中对应的2D特征点对映射到基于室内坐标系的三维空间中去;
所述双目视频流中对应的2D特征点对,具体为3D环境中表示为同一个特征在双目机器视觉中的不同成像;获取方法具体为,采用ORB特征提取方法,提取视频流对应时间戳下的二幅图像中的ORB对应特征点,并采用图像特征点匹配方法,获得2D特征点间的匹配关系,获得2D特征点对;
后台云端服务器在存储三维稀疏点云地图的过程中,采用基于区块分区的块状存储方法,将室内区域分为若干个区块,每个区块对应各自独一无二的ID,为每个区块的边沿标记不同的标识,每个区块的大小控制在一个固定值,所有的区块之和覆盖整个室内区域空间。
3.根据权利要求2所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法,其特征在于:
所述各自主导航平衡车在工作过程中,通过车与云的通讯机制,自动上传、下载和更新室内三维稀疏点云地图;具体方法为,当车辆进入到某个区块之后,后台云端服务器把当前区块的三维稀疏点云地图,通过所述局域网通信网络传给室内自主导航平衡车,便于室内自主导航平衡车在该区块内导航使用;当室内自主导航平衡车驶出该区块之后,会把在当前区块新采集的三维稀疏点云地图上传到后台云端服务器;后台云端服务器采用证据判定方法,更新后台云端服务器中的地图数据;
其中,所述后台云端服务器采用证据判定方法,更新云端服务器中的地图数据,具体方法为,各室内自主导航平衡车在驶离当前区块的同时,将当前本车识别的三维稀疏点云地图数据上传到后台云端服务器,后台云端服务器将该上传的地图数据作为临时地图数据保存,当同一区块对应的临时地图数据超过设定份数时,后台云端服务器采用D/S证据方法对临时地图数据进行证据判定,获得高置信度的地图数据,并将此三维稀疏点云地图数据作为当前区块对应的地图数据,替换原后台云端服务器中备份的三维稀疏点云地图数据。
4.根据权利要求1所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法,其特征在于:步骤S44中所述的自主导航平衡车通过双目机器视觉获取当前车辆位置信息;具体方法为:
室内自主导航平衡车实时通过双目机器视觉获取车辆当前环境的三维数据,并将该三维数据与从后台云端服务器下载的三维稀疏点云地图数据进行特征匹配,通过匹配关系解算,来获取室内自主导航平衡车的实时位置信息;
步骤S44中所述后台云端服务器综合自主导航平衡车当前的位置和目的地位置进行轨迹规划;具体方法为,后台云端服务器根据最短距离原理,计算出自主导航平衡车从当前位置行驶到目的地位置,所需要经过的所有区块的ID号,并计算室内自主导航平衡车需要驶入的每个区块的边沿标识号,和需要驶出的每个区块边沿标识号。
5.根据权利要求1所述的基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法,其特征在于:
步骤S3所述的后台云端服务器根据多车联动调度策略,分析当前多台自主导航平衡车在室内的分布情况,进行合理调度,保证室内自主导航平衡车的合理分布,其具体方法为:
S31:采用视频监控方法,监视室内各区域的人流情况,通过对人流的统计,获得不同时段内室内人流分布热点分布图;
S32:根据步骤S31所述的人流分布热点分布图,将室内的不同区块划分为不同等级,以确定不同时段内不同区块对应的室内自主导航平衡车的目标分布数量;
S33:后台云端服务器每间隔设定时间,统计不同区块中当前处于待使用状态的室内自主导航平衡车数量,并根据目标分布数量,对当前区块中的室内自主导航平衡车数量进行调整;
即:计算当前区块中的实际数量和目标分布数量之差;并将实际需要的调入、调出数量向后台云端服务器登记,后台云端服务器根据登记的调入、调出数量,依据调度距离最短原则,制定调度规则表,根据调度规则表,将当前区块多出来的室内自主导航平衡车调配到周边需要室内自主导航平衡车的区块中,完成调配任务。
CN201810949172.1A 2018-08-20 2018-08-20 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 Active CN108827317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810949172.1A CN108827317B (zh) 2018-08-20 2018-08-20 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810949172.1A CN108827317B (zh) 2018-08-20 2018-08-20 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法

Publications (2)

Publication Number Publication Date
CN108827317A CN108827317A (zh) 2018-11-16
CN108827317B true CN108827317B (zh) 2022-05-24

Family

ID=64151161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810949172.1A Active CN108827317B (zh) 2018-08-20 2018-08-20 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法

Country Status (1)

Country Link
CN (1) CN108827317B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11313696B2 (en) * 2019-03-01 2022-04-26 GM Global Technology Operations LLC Method and apparatus for a context-aware crowd-sourced sparse high definition map
MX2021014278A (es) * 2019-05-23 2022-02-03 Vid Scale Inc Corrientes de nube de puntos basadas en video.
CN110287276B (zh) * 2019-05-27 2021-08-31 百度在线网络技术(北京)有限公司 高精地图更新方法、装置及存储介质
CN112489080A (zh) * 2020-11-27 2021-03-12 的卢技术有限公司 基于双目视觉slam的车辆定位及车辆3d检测方法
CN113535743B (zh) * 2021-06-30 2023-11-14 上海西井科技股份有限公司 无人驾驶地图实时更新方法、装置、电子设备、存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199428A (zh) * 2014-09-17 2014-12-10 上海畔慧信息技术有限公司 群体机器人管理服务器及其方法
CN105115498A (zh) * 2015-09-30 2015-12-02 长沙开山斧智能科技有限公司 一种机器人定位导航系统及其导航方法
CN105823478A (zh) * 2016-03-14 2016-08-03 武汉卓拔科技有限公司 一种自主避障导航信息共享和使用方法
US9607401B2 (en) * 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN106548486A (zh) * 2016-11-01 2017-03-29 浙江大学 一种基于稀疏视觉特征地图的无人车位置跟踪方法
CN106600381A (zh) * 2016-12-28 2017-04-26 深圳市无电通科技有限公司 交通工具共享出租系统及其应用
CN206178476U (zh) * 2016-11-02 2017-05-17 深圳市招科智控科技有限公司 一种基于云端智能服务器的无人车
CN107174418A (zh) * 2017-06-28 2017-09-19 歌尔股份有限公司 一种智能轮椅及其控制方法
CN107515002A (zh) * 2016-06-17 2017-12-26 趣之科技(深圳)有限公司 一种基于LiDAR和云计算实现机器人实时室内地图构建和定位导航的系统方法和装置
CN107830854A (zh) * 2017-11-06 2018-03-23 深圳精智机器有限公司 基于orb稀疏点云与二维码的视觉定位方法
CN108389264A (zh) * 2018-02-07 2018-08-10 网易(杭州)网络有限公司 坐标系统确定方法、装置、存储介质及电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607401B2 (en) * 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN104199428A (zh) * 2014-09-17 2014-12-10 上海畔慧信息技术有限公司 群体机器人管理服务器及其方法
CN105115498A (zh) * 2015-09-30 2015-12-02 长沙开山斧智能科技有限公司 一种机器人定位导航系统及其导航方法
CN105823478A (zh) * 2016-03-14 2016-08-03 武汉卓拔科技有限公司 一种自主避障导航信息共享和使用方法
CN107515002A (zh) * 2016-06-17 2017-12-26 趣之科技(深圳)有限公司 一种基于LiDAR和云计算实现机器人实时室内地图构建和定位导航的系统方法和装置
CN106548486A (zh) * 2016-11-01 2017-03-29 浙江大学 一种基于稀疏视觉特征地图的无人车位置跟踪方法
CN206178476U (zh) * 2016-11-02 2017-05-17 深圳市招科智控科技有限公司 一种基于云端智能服务器的无人车
CN106600381A (zh) * 2016-12-28 2017-04-26 深圳市无电通科技有限公司 交通工具共享出租系统及其应用
CN107174418A (zh) * 2017-06-28 2017-09-19 歌尔股份有限公司 一种智能轮椅及其控制方法
CN107830854A (zh) * 2017-11-06 2018-03-23 深圳精智机器有限公司 基于orb稀疏点云与二维码的视觉定位方法
CN108389264A (zh) * 2018-02-07 2018-08-10 网易(杭州)网络有限公司 坐标系统确定方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN108827317A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108827317B (zh) 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法
CN109029463B (zh) 面向车辆安全行驶的室内多平衡车自主导航与调度系统
US11293761B2 (en) Verification and updating of map data
DK180774B1 (en) Automatic annotation of environmental features in a map during navigation of a vehicle
JP7070974B2 (ja) 自律車両ナビゲーションのための疎な地図
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
CN112703423B (zh) 合并来自多个LiDAR装置的数据
EP3705846A1 (en) Object location indicator system and method
DE112020002604T5 (de) Systeme und verfahren für die fahrzeugnavigation
JP2021088357A (ja) 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信
WO2019099633A1 (en) Systems and methods for generating sparse geographic data for autonomous vehicles
DE112018002143T5 (de) Systeme und verfahren zur kompression von fahrspurdaten
JP2022523613A (ja) レーンマッピング及びナビゲーション
JP7271669B2 (ja) 自律車両のための自動性能チェック
CN110083163A (zh) 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统
US20200401817A1 (en) Determining weights of points of a point cloud based on geometric features
US20160061618A1 (en) Technique for navigating a vehicle to a parking place
DE112021000094T5 (de) Systeme und verfahren zur fahrzeugnavigation, die ampeln und verkehrszeichen einbezieht
CN116539052A (zh) 用于车辆导航的系统、方法和装置
EP3647733A1 (en) Automatic annotation of environmental features in a map during navigation of a vehicle
DE112020000925T5 (de) Systeme und verfahren zur fahrzeugnavigation
CN110473422B (zh) 一种室外公共区域地面停车位导航装置
JP2003287434A (ja) 画像情報検索システム
CN108375977A (zh) 一种基于雾节点的城市环境自动驾驶方法
CN114518122A (zh) 行车导航方法、装置、计算机设备、存储介质和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220505

Address after: 400722 No. 117-808, Yunhan Avenue, Beibei District, Chongqing

Applicant after: Chongqing Jinmei Automotive Electronics Co.,Ltd.

Address before: 401331 No.37 Middle Road, University Town, Shapingba District, Chongqing

Applicant before: CHONGQING NORMAL University

Applicant before: Chongqing University

GR01 Patent grant
GR01 Patent grant