CN117629188A - 一种基于激光和视觉融合的agv导航方法及系统 - Google Patents

Abstract

本发明公开了一种基于激光和视觉融合的AGV导航方法及系统，涉及AGV导航技术领域，通过获取到所有激光和视觉融合的针对AGV导航时的时间同步机制，并对每一个机制按照其在实际场景下模拟时的情况进行分析，根据初步分析结果能够确定初始的机制来进行AGV导航，确定初始的方式；之后能对所有的机制进行实时评价，及时优化不同方式，并在不同情况下选择是否及时的切换时间同步的方式，能够时刻保证数据采集的同步性；本发明简答有效，且易于实用。

Description

一种基于激光和视觉融合的AGV导航方法及系统

技术领域

本发明属于AGV导航技术领域，具体是一种基于激光和视觉融合的AGV导航方法及系统。

背景技术

AGV车用导航技术，一般包括激光雷达导航，激光导航技术通过搭载在AGV上的激光雷达发射激光束，接收反射回来的光束来感知周围环境并计算距离，从而获得3D点云地图。这些点云数据可以用来进行定位和导航，同时结合内部定位传感器提高导航精度。激光导航技术具有较高的可靠性、精准性和灵活性，能够直接在任何环境中使用，无需对环境进行改造；

同时包括视觉导航，利用相机捕捉图像信息，通过对图像的分析来识别环境特征和路径，视觉系统通常对环境的纹理和颜色变化较为敏感，可以在弱纹理环境下提取有效特征；

之后就是将激光雷达导航和视觉导航进行融合，一般采用数据层面的融合和任务层面的融合；数据层面融合的核心在于将图像数据和点云数据统一到一个数据描述框架中，解决两种数据的同步性和目标对应问题；而任务层面的融合则是在SLAM过程中，充分发挥图像和点云的优势，互补两者的不足，提升整体的定位和地图构建性能。

算法原理：在实际操作中，AGV首先通过激光雷达建立环境的栅格地图，确定初始位姿。然后，通过运动模型更新粒子群的位置，并通过激光雷达当前帧计算出与栅格地图的匹配程度；最终用高斯分布描述机器人的位姿信息，并将规划的路径发送给控制系统；在运动过程中，如果相机扫描到二维码，解算出的二维码坐标可以作为新的初始位置散布粒子群，形成闭环控制；

但是，基于激光和视觉融合的AGV导航，存在一个问题，激光雷达和视觉传感器通常以不同的频率采集数据时，如何确保数据的同步性；尤其涉及一些必须保证高精准的导航情况下，如何精准平衡两种策略的时间同步问题，在不考虑实际成本情况下；

基于此，提供一种解决方案。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一；

为此，本发明提出了一种基于激光和视觉融合的AGV导航方法及系统，该方法包括如下步骤：

获取到所有激光和视觉融合的针对AGV导航时的时间同步机制，对每一个机制按照其在实际场景下模拟时的失误次、失误率和非同率进行采集，综合计算到若干个机制的选择率，按照选择率对所有的机制进行降序排列，得到机制选择序列；失误次和失误率均根据对应机制在进行导航时的失误次数决定，非同率根据当前机制时间同步失败的次数决定；

首先选择机制选择序列中第一个机制进行时间同步；

对进行导航时的机制进行实时的伴随分析，伴随分析方式为对每一个机制都设置对应的评价方式，在当前使用机制不满足评价方式时，自动切换到机制选择序列中的下一个机制，此处被选择的机制必须满足对应机制的评价方式。

进一步地，时间同步机制包括机制一和机制二，机制一为基于IEEE1588的以太网时间同步机制，机制二为基于GPS时间同步的机制。

进一步地，机制一和机制二在实际场景进行T2周期的实际模拟，T2为预设数值。

进一步地，获取到机制一和机制二的测评数据，测评数据包括试错数据和非同率，其中试错数据包括失误率和失误次，试错数据通过如下方式进行采集，获取到在分别利用机制一和机制二两种情况下，在一个周期内采用相同的实验场景进行目标场地的导航测试，获取到机制一的失误率和机制二的失误率，分别为失误率一和失误率二；

同时获得机制一和机制二对应的失误次一和失误次二；

非同率具体获取方式为：

获取到一个周期实际模拟过程中，进行同步两个传感器数据采集的次数，获取到未同步的次数，将未同步的次数除以总次数，得到的数值为非同率，分别标记为非同率一和非同率二，分别对应机制一和机制二；

得到机制一对应的失误次一、失误率一和非同率一；机制二对应的失误次二、失误率二和非同率二。

进一步地，失误率定义为：实验场景内包含若干条路径构成，路径采用工作人员预先设定方式确定；每个路径存在一个节点，当任意路径中出现错误时，将其标记为一次失误，得到所有的失误的次数，在相同场景内出现失误且T1时间内自动更正后，计失误次为一，若T1时间到了之后未进行更正或者更正失败，则自动将失误次加一，之后重新计时，重新计算失误次，将失误次除以路径数，得到的数值标记为失误率。

进一步地，对机制一和机制二的评价方式为：

利用公式计算机制一的选择率一，具体计算公式为：

选择率一=0.25*失误次一+0.33*失误率一+0.42*非同率一；

式中，0.25、0.33和0.42均为管理员根据需求预设的权重值；

之后按照相同原理对机制二进行计算，得到机制二的选择率二；

当选择率二大于选择率一时，采用机制一的方式进行时间同步，确保激光雷达和相机在同一时间进行数据采集。

进一步地，伴随分析的具体方式为：

在进行数据采集过程中同步获取到实时网速和GPS实时的信号强度，将实时网速标记为Wi，i=1、...、n，将实时的信号强度标记为Hj，j=1、...、m；此处Wn表示最新时刻的实时网速，此处采集采用预设周期采集一次；

从Wi中选择距离当下最近的至少五组数据，最多15组数据，得到数据组G[o]，o=1、...、l，5≤l≤15；

对选中的数据组进行波动值Bd计算，具体计算公式为：

；

当Bd超过X2时，且G[o]中最小值小于等于Wy，此处Wy和Bd均为预设数值，产生波动信号；此处Wy为管理员设置的最低网速值，能够保证时间同步精确性的情况；

获取到Hm，当Hm≤1.5Hy时，Hy为GPS信号强度能够满足时间同步精确性的最低值，会自动获取到Hm前五组数据，将其标记为对比数据组，也就是Hm-5到Hm-1五个数据，若对比数据组中存在三个不相同的数值且军均大于Hm，则产生低强信号；

当产生波动信号时且未产生低强信号，若此时采用的为机制一，则自动切换为机制二；

当产生低强信号且为产生波动信号，此时若采用的为机制二，则自动切换为机制二；

其余情况维持当前选择不变；

对实时的时间同步机制不做改变，持续进行时间同步进行数据采集。

进一步地，从Wi中选择数据具体方式为：

Wn开始往前推15组数据选中，不满15组时，从满5组数据进行选中，也就是此处选中的实时网速的数据必须大于5组，小于等于15组。

一种基于激光和视觉融合的AGV导航系统，该系统用于执行前述方法来对AGV进行导航。

与现有技术相比，本发明的有益效果是：

本发明通过获取到所有激光和视觉融合的针对AGV导航时的时间同步机制，并对每一个机制按照其在实际场景下模拟时的情况进行分析，根据初步分析结果能够确定初始的机制来进行AGV导航，确定初始的方式；

之后能对所有的机制进行实时评价，及时优化不同方式，并在不同情况下选择是否及时的切换时间同步的方式，能够时刻保证数据采集的同步性；本发明简答有效，且易于实用。

附图说明

图1为本发明的导航方法流程图；

图2为本发明的失误率计算过程中路径演示图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本申请提供了一种基于激光和视觉融合的AGV导航，常见的做法是使用外部触发信号来同步两个传感器的数据采集；具体可选用两种方式，首先是硬件时间同步：激光雷达通常支持基于IEEE1588的以太网时间同步机制，这是一种精确的网络时间同步协议；而相机则可以通过外部触发信号来进行同步，这样当激光雷达发出触发信号时，相机也会在同一时刻采集图像数据。

基于GPS的时间同步，另一种方法是使用GPS时间作为参考，通过GPS接收器提供的精确时间戳来标记每个传感器的数据，从而实现同步。

硬件时间同步依赖于网络的稳定性和可靠性，如果网络出现问题，同步可能会受到影响；

GPS时间同步则依赖于GPS信号的接收，如果GPS信号受到干扰或遮挡，同步精度可能会降低；

因此基于上述内容，如图1所示，提供一种基于激光和视觉融合的AGV导航方法，该方法具体包括如下步骤：

步骤一：首先，将基于硬件时间同步的也就是基于IEEE1588的以太网时间同步机制标记为机制一，基于GPS时间同步的标记为机制二；

步骤二：对机制一和机制二进行环境测评，具体测评方式为利用机制一和机制二在现场进行T2周期的实际模拟，T2数值一般为一个月；获取到测评数据，测评数据包括试错数据和非同率，其中试错数据包括失误率和失误次，试错数据通过如下方式进行采集，获取到在分别利用机制一和机制二两种情况下，在一个月里面采用相同的实验场景进行目标场地的导航测试，获取到机制一的失误率和机制二的失误率，分别为失误率一和失误率二；

失误率定义为：实验场景内包含若干条路径构成，路径采用工作人员预先设定方式确定；每个路径存在一个节点，当任意路径中出现错误时，将其标记为一次失误，得到所有的失误的次数，在相同场景内出现失误且T1时间内自动更正后，计失误次为一，若T1时间到了之后未进行更正或者更正失败，则自动将失误次加一，之后重新计时，重新计算失误次，将失误次除以路径数，得到的数值标记为失误率；如图2所示，每个菱形为一个节点，则存在4个路径，按照上述方式获取到AGV在每一个路径失误的次数，将该次数除以4则得到失误率，失误率不一定小于一，不限制具体大小。

同时获得机制一和机制二对应的失误次一和失误次二；

非同率具体获取方式为：

获取到一个周期实际模拟过程中，进行同步两个传感器数据采集的次数，获取到未同步的次数，将未同步的次数除以总次数，得到的数值为非同率，分别标记为非同率一和非同率二，分别对应机制一和机制二；

得到机制一对应的失误次一、失误率一和非同率一；机制二对应的失误次二、失误率二和非同率二；

步骤三：进行初步的机制选择，具体方式为：

利用公式计算机制一的选择率一，具体计算公式为：

选择率一=0.25*失误次一+0.33*失误率一+0.42*非同率一；

式中，0.25、0.33和0.42均为管理员根据需求预设的权重值；

之后按照相同原理对机制二进行计算，得到机制二的选择率二；

当选择率二大于选择率一时，采用机制一的方式进行时间同步，确保激光雷达和相机在同一时间进行数据采集；

当然，作为本申请的实施例二，本实施例在实施例一的基础上实施，提供一种进一步的时间同步方案；本实施例与实施例一不同之处在于，本实施例在进行完实施例一的步骤三之后，在进行实时的数据采集过程中，还需要进行下述步骤：

进行伴随分析，伴随分析具体方式为：

在进行数据采集过程中同步获取到实时网速和GPS实时的信号强度，将实时网速标记为Wi，i=1、...、n，将实时的信号强度标记为Hj，j=1、...、m；此处Wn表示最新时刻的实时网速，此处采集采用预设周期采集一次，一般可选为2秒，当然可以视需求采用其他周期；

从Wn开始往前推15组数据选中，不满15组时，从满5组数据进行选中，也就是此处选中的实时网速的数据必须大于5组，小于等于15组，得到数据组G[o]，o=1、...、l，5≤l≤15；

对选中的数据组进行波动值Bd计算，具体计算公式为：

；

当Bd超过X2时，且G[o]中最小值小于等于Wy，此处Wy和Bd均为预设数值，产生波动信号；此处Wy为管理员设置的最低网速值，能够保证时间同步精确性的情况；

获取到Hm，当Hm≤1.5Hy时，Hy为GPS信号强度能够满足时间同步精确性的最低值，会自动获取到Hm前五组数据，将其标记为对比数据组，也就是Hm-5到Hm-1五个数据，若对比数据组中存在三个不相同的数值且军均大于Hm，则产生低强信号；

当产生波动信号时且未产生低强信号，若此时采用的为机制一，则自动切换为机制二；

当产生低强信号且为产生波动信号，此时若采用的为机制二，则自动切换为机制二；

其余情况维持当前选择不变；

对实时的时间同步机制不做改变，持续进行时间同步进行数据采集；

作为本申请的实施例三，本实施例在实施例二的基础上进行实施，与实施例二不同之处在于，可以采用多种机制同时进行，假设存在若干种机制，在预先选择时间同步机制时，先按照实施例一中公开的方式进行每一种机制的选择率进行计算，按照升序的方式对若干种机制进行排序，得到的序列标记为机制选择序列，在进行实施例二的调整时，会按照实施例二中先计算当前的机制是否低于一个对应评价该机制的预设的阈值，若低于，则证明当前的机制不合适，此时按照机制选择序列顺序选择下一个机制进行时间同步，此时的下一个机制必须满足时间同步需求，也就是机制的评价值是高于阈值的情况；

当然，作为本申请的另一实施例，本申请还提供一种基于激光和视觉融合的AGV导航系统，该系统用于执行前述任一项实施例中提供的基于激光和视觉融合的AGV导航方法来对AGV进行导航。

上述公式中的部分数据均是去除量纲取其数值计算，公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式；公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (9)

1.一种基于激光和视觉融合的AGV导航方法，其特征在于，该方法包括如下步骤：

获取到所有激光和视觉融合的针对AGV导航时的时间同步机制，对每一个机制按照其在实际场景下模拟时的失误次、失误率和非同率进行采集，综合计算到若干个机制的选择率，按照选择率对所有的机制进行降序排列，得到机制选择序列；失误次和失误率均根据对应机制在进行导航时的失误次数决定，非同率根据当前机制时间同步失败的次数决定；

首先选择机制选择序列中第一个机制进行时间同步；

对进行导航时的机制进行实时的伴随分析，伴随分析方式为对每一个机制都设置对应的评价方式，在当前使用机制不满足评价方式时，自动切换到机制选择序列中的下一个机制，此处被选择的机制必须满足对应机制的评价方式。

2.根据权利要求1所述的一种基于激光和视觉融合的AGV导航方法，其特征在于，时间同步机制包括机制一和机制二，机制一为基于IEEE1588的以太网时间同步机制，机制二为基于GPS时间同步的机制。

3.根据权利要求2所述的一种基于激光和视觉融合的AGV导航方法，其特征在于，机制一和机制二在实际场景进行T2周期的实际模拟，T2为预设数值。

4.根据权利要求3所述的一种基于激光和视觉融合的AGV导航方法，其特征在于，获取到机制一和机制二的测评数据，测评数据包括试错数据和非同率，其中试错数据包括失误率和失误次，试错数据通过如下方式进行采集，获取到在分别利用机制一和机制二两种情况下，在一个周期内采用相同的实验场景进行目标场地的导航测试，获取到机制一的失误率和机制二的失误率，分别为失误率一和失误率二；

同时获得机制一和机制二对应的失误次一和失误次二；

非同率具体获取方式为：

获取到一个周期实际模拟过程中，进行同步两个传感器数据采集的次数，获取到未同步的次数，将未同步的次数除以总次数，得到的数值为非同率，分别标记为非同率一和非同率二，分别对应机制一和机制二；

得到机制一对应的失误次一、失误率一和非同率一；机制二对应的失误次二、失误率二和非同率二。

5.根据权利要求4所述的一种基于激光和视觉融合的AGV导航方法，其特征在于，失误率定义为：实验场景内包含若干条路径构成，路径采用工作人员预先设定方式确定；每个路径存在一个节点，当任意路径中出现错误时，将其标记为一次失误，得到所有的失误的次数，在相同场景内出现失误且T1时间内自动更正后，计失误次为一，若T1时间到了之后未进行更正或者更正失败，则自动将失误次加一，之后重新计时，重新计算失误次，将失误次除以路径数，得到的数值标记为失误率。

6.根据权利要求5所述的一种基于激光和视觉融合的AGV导航方法，其特征在于，对机制一和机制二的评价方式为：

利用公式计算机制一的选择率一，具体计算公式为：

选择率一=0.25*失误次一+0.33*失误率一+0.42*非同率一；

式中，0.25、0.33和0.42均为管理员根据需求预设的权重值；

之后按照相同原理对机制二进行计算，得到机制二的选择率二；

当选择率二大于选择率一时，采用机制一的方式进行时间同步，确保激光雷达和相机在同一时间进行数据采集。

7.根据权利要求6所述的一种基于激光和视觉融合的AGV导航方法，其特征在于，伴随分析的具体方式为：

在进行数据采集过程中同步获取到实时网速和GPS实时的信号强度，将实时网速标记为Wi，i=1、...、n，将实时的信号强度标记为Hj，j=1、...、m；此处Wn表示最新时刻的实时网速，此处采集采用预设周期采集一次；

从Wi中选择距离当下最近的至少五组数据，最多15组数据，得到数据组G[o]，o=1、...、l，5≤l≤15；

对选中的数据组进行波动值Bd计算，具体计算公式为：

；

当Bd超过X2时，且G[o]中最小值小于等于Wy，此处Wy和Bd均为预设数值，产生波动信号；此处Wy为管理员设置的最低网速值，能够保证时间同步精确性的情况；

获取到Hm，当Hm≤1.5Hy时，Hy为GPS信号强度能够满足时间同步精确性的最低值，会自动获取到Hm前五组数据，将其标记为对比数据组，也就是Hm-5到Hm-1五个数据，若对比数据组中存在三个不相同的数值且军均大于Hm，则产生低强信号；

当产生波动信号时且未产生低强信号，若此时采用的为机制一，则自动切换为机制二；

当产生低强信号且为产生波动信号，此时若采用的为机制二，则自动切换为机制二；

其余情况维持当前选择不变；

对实时的时间同步机制不做改变，持续进行时间同步进行数据采集。

8.根据权利要求7所述的一种基于激光和视觉融合的AGV导航方法，其特征在于，从Wi中选择数据具体方式为：

Wn开始往前推15组数据选中，不满15组时，从满5组数据进行选中，也就是此处选中的实时网速的数据必须大于5组，小于等于15组。

9.一种基于激光和视觉融合的AGV导航系统，其特征在于，该系统用于执行权利要求1-8任一项方法来对AGV进行导航。