CN112184598B - 行驶设备的数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种行驶设备的数据处理方法、装置、设备及存储介质，该方法包括：确定行驶设备采集的初始环境图像的背景分割阈值；若所述背景分割阈值不在预设阈值范围内，则调整所述行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像；从所述目标环境图像中提取预设图像的特征信息，并根据所述特征信息确定所述行驶设备与所述预设图像之间的相对位姿；根据所述相对位姿，进行所述行驶设备的定位和/或环境地图的构建。能够在环境光线不稳定的情况下，精准对行驶设备进行定位和/或精准构建环境地图，为行驶设备的数据处理提供了一种新思路。

Description

行驶设备的数据处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种行驶设备的数据处理方法、装置、设备及存储介质。

背景技术

随着计算机技术的发展，自动行驶设备在生产和生活中的应用越来越广泛。例如，餐饮领域，通过机器人进行送餐；物流领域，通过机器人进行货物的投放等。自动行驶设备在行驶过程中，通常需要摄像头拍摄环境图像来进行视觉即时定位，但是受环境光线不稳定的干扰，从环境图像中提取的特征信息准确性较差，导致后续基于该特征信息确定的行驶设备定位信息或为行驶设备构建的环境地图误差较大，亟需改进。

发明内容

本发明实施例提供了一种行驶设备的数据处理方法、装置、设备及存储介质，能够在环境光线不稳定的情况下，精准对行驶设备进行定位和/或精准构建环境地图，为行驶设备的数据处理提供了一种新思路。

第一方面，本发明实施例提供了一种行驶设备的数据处理方法，该方法包括：

确定行驶设备采集的初始环境图像的背景分割阈值；

若所述背景分割阈值不在预设阈值范围内，则调整所述行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像；

从所述目标环境图像中提取预设图像的特征信息，并根据所述特征信息确定所述行驶设备与所述预设图像之间的相对位姿；

根据所述相对位姿，进行所述行驶设备的定位和/或环境地图的构建。

第二方面，本发明实施例还提供了一种行驶设备的数据处理装置，该装置包括：

阈值确定模块，用于确定行驶设备采集的初始环境图像的背景分割阈值；

参数调整模块，用于若所述背景分割阈值不在预设阈值范围内，则调整所述行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像；

位姿确定模块，用于从所述目标环境图像中提取预设图像的特征信息，并根据所述特征信息确定所述行驶设备与所述预设图像之间的相对位姿；

定位/地图构建模块，用于根据所述相对位姿，进行所述行驶设备的定位和/或环境地图的构建。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的行驶设备的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的行驶设备的数据处理方法。

本发明实施例的技术方案，对于行驶设备采集的初始环境图像，先确定背景分割阈值，若该背景分割阈值不在预设阈值范围内，则调整行驶设备的图像采集参数后，再次控制行驶设备重新进行环境图像的采集，得到目标环境图像，从目标环境图像中提取预设图像的特征信息，并基于该特征信息确定行驶设备与预设图像之间的相对位姿，进而根据该相对位姿对行驶设备进行定位和/或构建环境地图。本发明实施例的方案，将行驶设备采集的环境图像的背景分割阈值作为评判指标，来确定是否需要调整行驶设备的图像采集参数，从而实现在环境光线不稳定的情况下，通过自动调整行驶设备的图像采集参数来保证采集到预设图像清晰的环境图像，进而保证在任何环境光线下，都可以准确提取环境图像中的预设图像特征信息，极大的提高了基于该特征信息确定的行驶设备定位信息和/或为行驶设备构建的环境地图的精准性。为行驶设备的数据处理提供了一种新思路。

附图说明

图1A是本发明实施例一提供的一种行驶设备的数据处理方法的流程图；

图1B是本发明实施例一提供的行驶设备采集环境图像的场景示意图；

图2是本发明实施例二提供的一种行驶设备的数据处理方法的流程图；

图3A是本发明实施例三提供的一种行驶设备的定位方法的流程图；

图3B是本发明实施例三提供的一种行驶设备的地图构建方法的流程图；

图4是本发明实施例四提供的一种行驶设备的数据处理装置的结构框图；

图5是本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1A是本发明实施例一提供的一种行驶设备的数据处理方法的流程图；图1B是本发明实施例一提供的行驶设备采集环境图像的场景示意图。本实施例可适用于在自动行驶设备运行过程中，基于视觉即时定位与地图构建（simultaneous localization andmapping，slam）技术，进行行驶设备定位和/或构建环境地图的情况。该方法可以由配置有行驶设备的数据处理装置的电子设备来执行，该装置可以采用软件和/或硬件的方式实现。该电子设备可以是行驶设备，还可以是服务器设备等，对此本实施例不进行限定。

可选的，如图1A-1B所示，该方法具体包括如下步骤：

S101，确定行驶设备采集的初始环境图像的背景分割阈值。

其中，本发明实施例中的行驶设备可以是任意能够自动在道路上行驶的设备，优选的，该行驶设备多用于在室内空间自动行驶。例如，可以是室内送餐机器人设备或货物投放机器人设备等。初始环境图像可以是行驶设备在某一行驶位置处，没有调整图像采集参数之前拍摄的环境图像。该初始环境图像是包含有预设图像的图像。该预设图像可以是位置固定的人造光源（如不可见波段的人造光源）投影得到某一固定位置（如行驶设备上方区域）的图案，还可以是环境中已有物体（如屋顶标签、桌子和服务台等）对应的图案等。示例性的，如图1B所示，在行驶设备1上预先配置有图像采集装置2(如摄像头)，行驶设备1在行驶到预设图像附近时，可以通过图像采集装置2采集包含预设图像3的环境图像，若行驶设备在行驶到预设图像附近，且在该位置处没有进行过图像采集参数的调整，则此时获取的环境图像为初始环境图像。初始环境图像的背景分割阈值可以是用于区分初始环境图像中的各像素点是背景像素点，还是预设图像像素点的划分阈值。例如，可以是初始环境图像中灰度值大于背景分割阈值的像素点为预设图像对应的像素点；灰度值小于或等于背景分割阈值的像素点为背景区域对应的像素点。

可选的，在本发明实施例中，在获取到行驶设备采集的初始环境图像后，需要先确定该初始环境图像的背景分割阈值。具体的，本发明实施例可以是采用阈值分割的方式来确定初始环境图像的背景分割阈值，其中，阈值分割的方式有很多，例如，可以包括但不限于：人工经验选择法、灰度直方图法、类间方差法、自适应阈值法、全局阈值法和局部阈值法等。本发明实施例可以采用上述任意一种方式来确定初始环境图像的背景分割阈值，对此不进行限定。

可选的，本发明实施例采用灰度直方图法确定初始环境图像的背景分割阈值的具体过程可以包括如下两个子步骤：

S1011，确定行驶设备采集的初始环境图像的灰度直方图。

具体的，若行驶设备采集的初始环境图像的像素点的灰度值范围在0-255之间，可以是遍历该初始环境图像中各像素点的灰度值，针对0-255，共256个灰度值，统计各灰度值对应的像素点的个数，并基于此，构建横坐标为灰度值，纵坐标为像素点个数的灰度直方图。

S1012，根据灰度直方图，确定初始环境图像的背景分割阈值。

可选的，在确定出初始环境图像的灰度直方图后，可以是先确定出对应像素点个数最多的灰度值，即目标灰度值，其对应的像素点个数为目标数值；然后在灰度直方图中，遍历灰度值1-255，找到第一个大于目标数值的四分之一位置处的灰度值作为第一灰度值；若第一灰度值不等于1，则可以再遍历灰度值1-255，找到第一个小于目标数值的四分之一位置处的灰度值作为第二灰度值；若第二灰度值不等于255，则可以是取第一灰度值和第二灰度值的均值作为初始环境图像的背景分割阈值。

S102，若背景分割阈值不在预设阈值范围内，则调整行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像。

其中，本发明实施例中的图像采集参数可以是，行驶设备上的图像采集装置（如摄像头）采集环境图像时需要配置的参数。可选的，本发明实施例中的图像采集参数可以包括图像采集装置自身的硬件设备参数，例如，可以是图像采集参数（如摄像头）的增益参数；还可以包括额外安装在图像采集设备上的硬件组件的参数。例如，可以是安装在摄像头上的灯圈的占空比参数。

可选的，本发明实施例可以是在确定出初始环境图像的背景分割阈值后，将其与预先设置的预设阈值范围（如80-110）进行比较，若背景分割阈值不在该预设阈值范围内，则说明初始环境图像过亮或过暗，需要调整行驶设备的图像采集参数，并在对行驶设备的图像采集参数调整完成后，控制行驶设备在该位置处重新采集环境图像，并对重新采集的环境图像执行S101确定背景分割阈值，以及S102判断该阈值是否在预设阈值范围内的操作，若还不在，则返回再次执行调整图像采集参数，以及执行后续确定背景分割阈值等操作，直到新采集的环境图像的背景分割阈值在预设阈值范围内，则将该新采集的环境图像作为目标环境图像，后续操作都以该目标环境图像为基础进行处理。若背景分割阈值在预设范围内，则直接将该初始环境图像作为目标环境图像，无需对行驶设备的图像采集参数进行调整，直接进行后续S103的操作。

可选的，本发明实施例调整行驶设备的图像采集参数的过程可以包括以下两种情况：

情况一、若背景分割阈值小于预设阈值范围，则调高行驶设备的图像采集装置的增益参数和/或调高安装在图像采集装置上的灯圈的占空比参数。具体的，若背景分割阈值小于预设阈值范围，则说明初始环境图像过暗，也就是说行驶设备的图像采集装置的进光亮较少，此时可以是通过调高图像采集装置的增益参数，和/或调高安装在图像采集装置上的灯圈的占空比参数来提高图像采集装置采集图像时的进光量，进而提高采集到的环境图像的亮度。需要说明的是，本实施例可以选择调整增益参数和占空比参数中的至少一个。

情况二、若背景分割阈值大于所述预设阈值范围，则调低行驶设备的图像采集装置的增益参数和/或调低安装在图像采集装置上的灯圈的占空比参数。具体的，若背景分割阈值大于预设阈值范围，则说明初始环境图像过亮，也就是说行驶设备的图像采集装置的进光亮较多，此时可以是通过调低图像采集装置的增益参数，和/或调低安装在图像采集装置上的灯圈的占空比参数来降低图像采集装置采集图像时的进光量，进而降低采集到的环境图像的亮度。需要说明的是，本实施例可以选择调整增益参数和占空比参数中的至少一个。

可选的，本发明实施例调整图像采集装置的增益参数时，可以通过相关寄存器来设置调高或调低增益参数。例如，可以是设置图像采集装置的寄存器以10%递增调高增益参数，以提高采集的环境图像的亮度，或以10%递减调低增益参数，以降低采集的环境图像的亮度。本实施例调整灯圈的占空比参数时，可以是通过嵌入式开发板（即ARM板）的输入输出接口（即IO口）来发送脉冲宽度调制（PWM）脉冲，通过调节PWM脉冲的占空比来调节灯圈的功率。例如，可以按照10%递增占空比来调高灯圈功率，从而提高采集的环境图像的亮度；或者按照10%递减占空比来调低灯圈功率，从而降低采集的环境图像的亮度。

S103，从目标环境图像中提取预设图像的特征信息，并根据特征信息确定行驶设备与预设图像之间的相对位姿。

可选的，本发明实施例可以是采用特征提取算法从目标环境图像中提取该目标环境图像包含的预设图像的特征信息。其中，该特征信息包括轮廓特征、角点特征或直线特征中的至少一种。本发明实施例中提取预设图像的特征信息所采用的特征提取算法也可以有很多，对此本实施例不进行限定，例如，可以包括：尺度不变特征转换（Scale-invariantfeature transform，SIFT）算法、快速特征点提取（Oriented FAST and Rotated BRIEF）ORB算法和加速稳健特征（Speeded-Up Robust Features，SURF）算法中的至少一种。可选的，本实施例可以是将目标环境图像输入到预先配置的特征提取算法中，并运行该特征提取算法对应的程序代码，即可实现对目标环境图像中的预设图像进行特征识别，提取出该预设图像的特征信息。

可选的，本发明实施例在提取出预设图像的特征信息后，需要通过该特征信息确定行驶设备与预设图像之间的相对位姿，具体的确定方式可以是利用行驶设备的图像采集装置的成像原理、预设图像的物理尺寸与预设图像在目标环境图像中的像素尺寸之间的关系，来计算采集该帧目标环境图像时，行驶设备与预设图像之间的相对位姿。具体的，假设行驶设备与预设图像之间的相对位姿为（Xc，Yc，Zc），行驶设备的图像采集装置的焦距为f，预设图像中的某一特征点在目标环境图像中的位置为（x，y），根据图像采集装置的成像原理和相似三角形原理得到下述公式（1）和（2）：

Xc=x×Zc/f（1）；

Yc=y×Zc/f（2）；

由于预设图像在实际环境中的物理尺寸dL已知，预设图像在目标环境图像中的像素尺寸dD也可计算得到，因此，可以得到环境图像上该特征点的一组相对关系，即下述公式（3）：

dL/dD=f/Zc（3）；

结合上述公式（1）-（3），即可求解行驶设备与预设图像之间的相对位姿：

Xc = x × dD / dL;

Yc = y × dD/ dL;

Zc = dD × f / dL;

S104，根据相对位姿，进行行驶设备的定位和/或环境地图的构建。

可选的，本发明实施例根据该相对位姿，是进行行驶设备的实时定位，还是构建环境地图取决于当前所处场景。具体的：如果S101-S103是行驶设备在已经构建好环境地图的区域行驶过程中执行的操作，则此时可以是根据该相对位姿，来对在区域内行驶的行驶设备进行实时定位。如果S101-S103是行驶设备在未构建环境地图的区域行驶过程中执行的操作，则此时可以是根据该相对位姿，来构建环境地图。可选的，还可以是先让行驶设备在未构建环境地图的区域行驶并采集环境图像，然后执行S101-S103的操作，并基于此时确定的相对位姿完成环境地图构建后，再让行驶设备在已构建环境地图的区域行驶并采集环境图像，然后执行S101-S103的操作，并基于此时确定的相对位姿，对行驶设备进行实时定位。若行驶设备仅通过传感器采集环境特征，根据采集到的特性信息构建地图，由于传感器有限的精确度和餐厅场景中外加的环境噪声，导致附加到地图上更新的所有特征都将会含有相应的误差。随着时间的推移和运动的变化，定位和地图构建的误差累计增加，从而会对地图本身和行驶设备的定位、导航等能力的精度产生很大的扭曲。本方案中，预设图像的定位信息作为可靠的观测值，被检测到时可以较准确的对地图进行误差补偿，用于纠正地图，解决长时间的累计误差问题。因此，准确高效获取预设定位信息能够提升本方案行驶设备的定位导航能力，以及提高构建的环境地图的精准性。

可选的，本发明实施例在根据行驶设备与预设图像之间的相对位姿，进行行驶设备的定位时，可以根据该相对位姿和该预设图像在已经构建好的环境地图中的位置，来确定行驶设备当前的实时定位信息，例如，可以是将该预设图像在已经构建好的环境地图中的位置与该预设图像与行驶设备之间的相对位姿进行相加，得到行驶设备在全局地图中进行实时定位。本发明实施例在根据行驶设备与预设图像之间的相对位姿，构建环境地图时，可以是根据该相对位姿和已知的行驶设备的当前定位信息，来确定该预设图像的位置信息，对于环境区域中的每个预设图像都确定出其特征信息和位置信息后，在每个预设图像的位置信息处标注出该预设图像的特征信息，即可得到环境地图。针对上述实时定位和地图构建的具体实现过程将在后续实施例进行详细介绍。在此本实施例不进行赘述。

本发明实施例的行驶设备的数据处理方法，对于行驶设备采集的初始环境图像，先确定背景分割阈值，若该背景分割阈值不在预设阈值范围内，则调整行驶设备的图像采集参数后，再次控制行驶设备重新进行环境图像的采集，得到目标环境图像，从目标环境图像中提取预设图像的特征信息，并基于该特征信息确定行驶设备与预设图像之间的相对位姿，进而根据该相对位姿对行驶设备进行定位和/或构建环境地图。本发明实施例的方案，将行驶设备采集的环境图像的背景分割阈值作为评判指标，来确定是否需要调整行驶设备的图像采集参数，从而实现在环境光线不稳定的情况下，通过自动调整行驶设备的图像采集参数来保证采集到预设图像清晰的环境图像，进而保证在任何环境光线下，都可以准确提取环境图像中的预设图像特征信息，极大的提高了基于该特征信息确定的行驶设备定位信息和/或为行驶设备构建的环境地图的精准性。为行驶设备的数据处理提供了一种新思路。

实施例二

图2是本发明实施例二提供的一种行驶设备的数据处理方法的流程图。本实施例在上述实施例的基础上，进行了进一步的优化，给出了从所述目标环境图像中提取预设图像的特征信息的具体情况介绍。如图2所示，该方法具体包括：

S201，确定行驶设备采集的初始环境图像的背景分割阈值。

S202若背景分割阈值不在预设阈值范围内，则调整行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像。

S203，对目标环境图像进行滤波处理,得到滤波图像。

可选的，为了保证预设图像的特征信息提取的准确性，本发明实施例可以是先对目标环境图像进行滤波处理。本实施例可以采用的滤波算法有很多，例如，可以包括但不限于：均值滤波算法、中值滤波算法、形态学滤波算法、双边滤波算法等。以均值滤波算法为例，可以是定义一个3×3的滤波窗口，该滤波窗口中的各元素值为1，基于该滤波窗口对目标环境图像做均值滤波，得到滤波图像。

S204，根据背景分割阈值，对滤波图像进行二值化处理，得到二值图像。

可选的，本发明实施例可以是针对滤波图像中的每个像素点，将其像素值与背景分割阈值进行比较，若该像素点的像素值大于背景分割阈值，则将该像素点的像素值设置为1，否则将该像素点的像素值设置为0，进而得到仅有0和1表征的二值图像。

S205，根据预设图像的属性信息，对二值图像进行去噪处理，得到去噪图像。

其中，预设图像的属性信息可以是表征预设图像结构的相关信息，例如，可以包括但不限于：组成预设图像的特征点的个数、该预设图像中相邻两特征点之间的间距（即相邻特征点间距），以及特征点尺寸等等。

通常情况下，二值图像中的像素值为1的连通区域（即目标连通区域），表征的是环境图像中预设图像所在区域。本步骤可以是根据预设图像的属性信息，对二值图像中像素值为1的目标连通区域进行分析，找出不符合预设图像的属性信息，且像素值为1的目标连通区域，即这类目标连通区域并不属于预设图像对应的区域，为保证后续准确提取预设图像的特征信息，需要将这类目标连通区域进行去除，如将这类目标连通区域的像素值改为0，得到去噪图像。

可选的，本发明实施例根据预设图像的属性信息，对所述二值图像进行去噪处理的过程可以具体包括以下两个子步骤：

S2051，若二值图像中的目标连通区域的个数大于预设图像的属性信息中的特征点个数，则根据属性信息中的相邻特征点间距和/或特征点尺寸，确定噪声连通区域。

可选的，本子步骤可以是先将二值图像中的目标连通区域（即像素值为1的连通区域）的个数，与预设图像的属性信息中的特征点个数进行比较，若目标连通区域的个数大于特征点个数，则说明目标连通区域中有不属于预设图像的区域，此时需要进一步结合预设图像的属性信息中的相邻特征点间距，和/或特征点尺寸，从目标连通区域中，找到不符合该相邻特征点间距，和/或特征点尺寸的目标连通区域，将其作为噪声连通区域。示例性的，假设预设图像是由36个特征点按照6×6排列组成的边处为60cm的正方形，此时该预设图像的属性信息为：特征点个数为36个、相邻特征点间距转换到环境图像后为30个像素、特征点尺寸转换到环境图像后为50个像素。此时若二值图像中的目标连通区域有38个，大于36个，则需要进一步判断这38个目标连通区域中两两连通区域之间的间隔像素点个数与30的第一差值是否在第一范围内，和/或判断每个目标连通区域内的像素点个数与50的第二差值是否在第二范围内，将第一差值不在第一范围内，和/或第二差值不在第二范围内的目标连通区域作为噪声连通区域。

S2052，从目标连通区域中去除噪声连通区域。具体的，本子步骤在目标连通区域中去除噪声连通区域的过程可以是将去噪连通区域的像素值设置为0，即可完成去噪过程，得到去噪图像。

S206，从去噪图像中提取预设图像的特征信息。

可选的，本发明实施例可以是采用特征提取算法从去噪图像中提取预设图像的特征信息。优选的，可以是根据去噪图像中像素值为1的目标连通区域，来提取预设图像的特征信息。

S207，根据特征信息确定行驶设备与预设图像之间的相对位姿。

S208，根据相对位姿，进行行驶设备的定位和/或环境地图的构建。

本发明实施例的行驶设备的数据处理方法，对于行驶设备采集的初始环境图像，先确定背景分割阈值，若该背景分割阈值不在预设阈值范围内，则调整行驶设备的图像采集参数后，再次控制行驶设备重新进行环境图像的采集，得到目标环境图像，对目标图像进行滤波、二值化、去噪处理后，从去噪图像中提取预设图像的特征信息，并基于该特征信息确定行驶设备与预设图像之间的相对位姿，进而根据该相对位姿对行驶设备进行定位和/或构建环境地图。本发明实施例的方案，在从目标图像中提取预设图像的特征信息时，对目标图像进行了滤波、二值化、去噪处理，提高了提取出的预设图像特征信息的准确性。另外，本实施例进行去噪处理依据的是预设图像的属性信息，使得去噪后的预设图像区域更为准确，为后续精准进行相对位姿确定，以及进行行驶设备定位和/或地图构建提供了保障。

实施例三

图3A是本发明实施例三提供的一种行驶设备的定位方法的流程图；图3B是本发明实施例三提供的一种行驶设备的地图构建方法的流程图。本实施例在上述实施例的基础上，进行了进一步的优化，给出了根据相对位姿，进行行驶设备的定位和/或环境地图的构建的具体情况介绍。

可选的，如图3A所示，根据行驶设备与预设图像之间的相对位姿进行行驶设备的定位时，该方法具体包括：

S301，确定行驶设备采集的初始环境图像的背景分割阈值。

S302，若背景分割阈值不在预设阈值范围内，则调整行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像。

S303，从目标环境图像中提取预设图像的特征信息，并根据特征信息确定行驶设备与预设图像之间的相对位姿。

S304，根据相对位姿和预设图像在环境地图中的位置信息，确定行驶设备的第一定位信息。

可选的，环境地图中标注有该行驶环境内各预设图像的特征信息和位置信息。本步骤可以是先将S303提取的预设图像的特征信息，与环境地图中的各预设图像的特征信息进行匹配，确定环境地图中记录的那个预设图像与S303提取的预设图像对应，然后从环境地图中获取该预设图像的位置信息。由于S303已经确定出了行驶设备与预设图像之间的相对位姿，此时可以在该预设图像的位置信息的基础上，加上行驶设备与预设图像之间的相对位姿，可得到行驶设备的位置信息，即第一定位信息。

S305，根据第一定位信息和/或采用候选定位方式确定的第二定位信息，确定行驶设备的最终定位信息。

考虑到行驶设备在环境中行驶的过程中，实时采集的环境图像中不一定都存在预设图像，此时对于不存在预设图像的环境图像可能就无法确定出第一定位信息，所以为了保证行驶设备在环境区域内行驶的过程中，实时对行驶设备进行定位，本实施例可以是根据执行S301-S303通过解析环境图像的方式确定的第一定位信息，和/或采用其他候选定位方式确定的第二定位信息，对行驶设备进行实时定位。具体的，可以是在行驶设备采集的目标环境图像中包含预设图像时，直接将执行S301-S303确定的第一定位信息作为行驶设备的最终定位信息。在行驶设备采集的目标环境图像中不包含预设图像时，采用候选定位方式确定的第二定位信息作为最终定位信息；还可是在行驶设备采集的目标环境图像中包含预设图像时，将第一定位信息与第二定位信息进行融合（如进行扩展卡尔曼滤波位姿的融合），并将融合后的定位信息作为行驶设备的最终的定位信息。以提高行驶设备最终定位信息确定的准确性和灵活性。

可选的，本发明实施例采用的其他候选定位方式有很多，对此本实施例不进行限定。例如：

候选定位方式一、设置行驶设备的初始位置，在行驶设备运行过程中，通过记步装置来统计行驶设备的运行步数，或行驶设备的轮子转动圈数，根据行驶设备上配置的角度测量设备（如陀螺仪）可以测量出行驶设备的行驶方向；由编码器在行驶设备的初始位置和行驶方向的基础上，累加上基于该运行步数或轮子转动圈数换算的移动距离，得到行驶设备的实时定位信息，即第二定位信息。

候选定位方式二、通过行驶设备上配置的距离传感器（如激光雷达）采集行驶设备距离预设的静态环境参考物（如环境中的墙面、桌子等）之间的距离和方向，然后由编码器结合静态环境参考物在环境中的实际位置和该行驶设备距离该静态环境参考物之间的距离和方向，确定出行驶设备的实时定位信息，即第二定位信息。

候选定位方式三、还可以是将行驶道路划分为多个方格，并在地面中各方格中标注上该方格对应的位置信息，行驶设备在道路上行驶的过程中，可以通过扫描其所在方格对应的位置信息，并将该位置信息作为自身的定位信息，即第二定位信息。

可选的，如图3B所示，根据行驶设备与预设图像之间的相对位姿，构建环境地图时，该方法具体包括：

S306，确定行驶设备采集的初始环境图像的背景分割阈值。

S307，若背景分割阈值不在预设阈值范围内，则调整行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像。

S308，从目标环境图像中提取预设图像的特征信息，并根据特征信息确定行驶设备与预设图像之间的相对位姿。

S309，根据相对位姿和行驶设备的当前定位信息，确定预设图像的位置信息。

可选的，本步骤可以在已知行驶设备的当前定位信息的基础上，累加上S308确定出的行驶设备与预设图像之间的相对位姿，即可得到预设图像的位置信息。其中，所述行驶设备的当前定位信息是基于至少一种定位方式确定的。可选的，可以是通过上述候选定位方式中的至少一种方式确定，若通过多种不同方式确定是，可以是将多种方式确定的各个当前定位信息进行融合，得到最终的当前定位信息，以提高当前定位信息确定的灵活性和准确性。

S310，根据预设图像的位置信息和预设图像的特征信息，对历史环境地图进行误差补偿，得到补偿后的环境地图。

可选的，本发明实施例可以是让行驶设备在环境区域中按照预设轨迹行驶一遍，保证对环境区域中的每个预设图像都采集至少一张目标环境图像，并针对每一张目标环境图像，都执行上述操作，确定出该目标环境图像中包含的预设图像的位置信息。然后对每个预设图像的位置信息进行融合，得到每个预设图像最终的位置信息；对每个预设图像的特征信息进行融合，得到每个预设图像最终的特征信息。此时若历史环境地图中没有标注该特征信息对应的预设图像，则此时可以在历史环境地图中该预设图像对应的位置信息处标注上该预设图像的特征信息，若历史环境地图中标注有该特征信息对应的预设图像，此时可以是基于本次融合得到的该预设图像的位置信息，对历史环境地图中标注的该预设图像的位置信息进行误差补偿处理，以修正该预设图像在历史环境地图中的位置信息，从而完善历史环境地图，即完成环境地图的构建。

需要说明的是，本发明实施例若根据相对位姿，进行行驶设备的定位和环境地图的构建时，可以是先按照S306-S310的方式，让行驶设备在环境区域中按照预设轨迹行驶一遍，并根据行驶设备行驶过程中采集的目标环境图像，和采集每张目标环境图像时的当前位置信息，构建出环境地图后，再让行驶设备在该环境区域中任意行驶，此时可以基于S306-S310构建的环境地图，采S301-S305的方式，实现对行驶过程中的行驶设备的实时定位。

本发明实施例的行驶设备的数据处理方法，给出了基于行驶设备采集的初始环境图像的背景分割阈值，对行驶设备的图像采集参数进行调整，并基于参数调整后的行驶设备重新采集目标环境图像。降低了环境光线不稳定对目标图像效果的影响。针对采集的目标环境图像，确定行驶设备与目标环境图像中的预设图像之间的相对位姿，在已经构建好历史环境地图的情况下，可以基于该相对位姿和已经构建的历史环境地图，来对行驶设备进行实时定位；在已知行驶设备当前定位信息的情况下，可以基于该相对位姿和行驶设备的当前定位信息，来完善已构建的历史环境地图。本实施例可以实现针对不同场景下采集的目标环境图像，进行行驶设备的定位，或环境地图的构建。且在对行驶设备进行实时定位时，是基于分析目标环境图像确定的第一定位信息和采用其他候选方式确定的第二定位信息融合得到最终定位信息，提高了最终定位信息的准确性和灵活性。

实施例四

图4是本发明实施例四提供的一种行驶设备的数据处理装置的结构框图，该装置可以配置于电子设备中。该电子设备可以是行驶设备，还可以是服务器设备等。该装置可执行本发明上述任意实施例所提供的行驶设备的数据处理方法，可适用于在自动行驶设备运行过程中，基于slam技术，进行行驶设备定位和/或构建环境地图的情况。具体执行方法相应的功能模块和有益效果。如图4所示，该装置包括：

阈值确定模块401，用于确定行驶设备采集的初始环境图像的背景分割阈值。

参数调整模块402，用于若所述背景分割阈值不在预设阈值范围内，则调整所述行驶设备的图像采集参数。

图像采集模块403，用于获取参数调整后的行驶设备采集的目标环境图像。

位姿确定模块404，用于从所述目标环境图像中提取预设图像的特征信息，并根据所述特征信息确定所述行驶设备与所述预设图像之间的相对位姿。

定位/地图构建模块405，用于根据所述相对位姿，进行所述行驶设备的定位和/或环境地图的构建。

本发明实施例的行驶设备的数据处理装置，对于行驶设设备采集的初始环境图像，先确定背景分割阈值，若该背景分割阈值不在预设阈值范围内，则调整行驶设备的图像采集参数后，再次控制行驶设备重新进行环境图像的采集，得到目标环境图像，从目标环境图像中提取预设图像的特征信息，并基于该特征信息确定行驶设备与预设图像之间的相对位姿，进而根据该相对位姿对行驶设备进行定位和/或构建环境地图。本发明实施例的方案，将行驶设备采集的环境图像的背景分割阈值作为评判指标，来确定是否需要调整行驶设备的图像采集参数，从而实现在环境光线不稳定的情况下，通过自动调整行驶设备的图像采集参数来保证采集到预设图像清晰的环境图像，进而保证在任何环境光线下，都可以准确提取环境图像中的预设图像特征信息，极大的提高了基于该特征信息确定的行驶设备定位信息和/或为行驶设备构建的环境地图的精准性。为行驶设备的数据处理提供了一种新思路。

进一步的，所述参数调整模块402具体用于：

若所述背景分割阈值小于所述预设阈值范围，则调高所述行驶设备的图像采集装置的增益参数和/或调高安装在所述图像采集装置上的灯圈的占空比参数。

若所述背景分割阈值大于所述预设阈值范围，则调低所述行驶设备的图像采集装置的增益参数和/或调低安装在所述图像采集装置上的灯圈的占空比参数。

进一步的，所述设阈值确定模块401具体用于：

确定所述行驶设备采集的初始环境图像的灰度直方图；根据所述灰度直方图，确定所述初始环境图像的背景分割阈值。

进一步的，所述位姿确定模块404包括：

滤波单元，用于对所述目标环境图像进行滤波处理,得到滤波图像；二值化单元，用于根据所述背景分割阈值，对所述滤波图像进行二值化处理，得到二值图像；去噪单元，用于根据预设图像的属性信息，对所述二值图像进行去噪处理，得到去噪图像；特征提取单元，用于从所述去噪图像中提取预设图像的特征信息。

进一步的，所述去噪单元具体用于：

若二值图像中的目标连通区域的个数大于所述预设图像的属性信息中的特征点个数，则根据所述属性信息中的相邻特征点间距和/或特征点尺寸，确定噪声连通区域；从所述目标连通区域中去除所述噪声连通区域。

进一步的，所述定位/地图构建模块405包括定位单元，所述定位单元具体用于：

根据所述相对位姿和所述预设图像在环境地图中的位置信息，确定所述行驶设备的第一定位信息；根据所述第一定位信息和/或采用候选定位方式确定的第二定位信息，确定所述行驶设备的最终定位信息。

进一步的，所述定位/地图构建模块405包括地图构建单元，所述地图构建单元具体用于：

根据所述相对位姿和所述行驶设备的当前定位信息，确定所述预设图像的位置信息；其中，所述行驶设备的当前定位信息是基于至少一种定位方式确定的；据所述预设图像的位置信息和所述预设图像的特征信息，对历史环境地图进行误差补偿，得到补偿后的环境地图。

实施例五

图5为本发明实施例五提供的一种电子设备的结构示意图，图5示出了适于用来实现本发明实施例实施方式的示例性电子设备的框图。图5显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。该行驶设备典型可以是行驶设备，如自动行驶的机器人设备。

如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：一个或者多个处理单元或者处理器516，存储器528，连接不同系统组件（包括存储器528和处理器516）的总线518。

总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。

电子设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）530和/或高速缓存存储器532。电子设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质（图5未显示，通常称为“硬盘驱动器”）。尽管图5中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。

具有一组（至少一个）程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明实施例所描述的实施例中的功能和/或方法。

电子设备500也可以与一个或多个外部设备514（例如键盘、指向设备、显示器524等）通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口522进行。并且，电子设备500还可以通过网络适配器520与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图5所示，网络适配器520通过总线518与电子设备500的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器516通过运行存储在存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任一实施例所提供的行驶设备的数据处理方法。

实施例六

本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序（或称为计算机可执行指令），该程序被处理器执行时可以用于执行本发明上述任一实施例所提供的行驶设备的数据处理方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种行驶设备的数据处理方法，其特征在于，所述方法包括：

确定行驶设备采集的初始环境图像的背景分割阈值；

若所述背景分割阈值不在预设阈值范围内，则调整所述行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像；

从所述目标环境图像中提取预设图像的特征信息，并根据所述特征信息确定所述行驶设备与所述预设图像之间的相对位姿；

根据所述相对位姿，进行所述行驶设备的定位和/或环境地图的构建；

其中，从所述目标环境图像中提取预设图像的特征信息，包括：

对所述目标环境图像进行滤波处理,得到滤波图像；

根据所述背景分割阈值，对所述滤波图像进行二值化处理，得到二值图像；

根据预设图像的属性信息，对所述二值图像进行去噪处理，得到去噪图像；

从所述去噪图像中提取预设图像的特征信息；

其中，根据预设图像的属性信息，对所述二值图像进行去噪处理，包括：

若二值图像中的目标连通区域的个数大于所述预设图像的属性信息中的特征点个数，则根据所述属性信息中的相邻特征点间距和/或特征点尺寸，确定噪声连通区域；

从所述目标连通区域中去除所述噪声连通区域。

2.根据权利要求1所述的方法，其特征在于，若所述背景分割阈值不在预设阈值范围内，则调整所述行驶设备的图像采集参数，包括：

若所述背景分割阈值小于所述预设阈值范围，则调高所述行驶设备的图像采集装置的增益参数和/或调高安装在所述图像采集装置上的灯圈的占空比参数；

若所述背景分割阈值大于所述预设阈值范围，则调低所述行驶设备的图像采集装置的增益参数和/或调低安装在所述图像采集装置上的灯圈的占空比参数。

3.根据权利要求1所述的方法，其特征在于，确定行驶设备采集的初始环境图像的背景分割阈值，包括：

确定所述行驶设备采集的初始环境图像的灰度直方图；

根据所述灰度直方图，确定所述初始环境图像的背景分割阈值。

4.根据权利要求1所述的方法，其特征在于，根据所述相对位姿，进行所述行驶设备的定位，包括：

根据所述相对位姿和所述预设图像在环境地图中的位置信息，确定所述行驶设备的第一定位信息；

根据所述第一定位信息和/或采用候选定位方式确定的第二定位信息，确定所述行驶设备的最终定位信息。

5.根据权利要求1所述的方法，其特征在于，根据所述相对位姿，进行环境地图的构建，包括：

根据所述相对位姿和所述行驶设备的当前定位信息，确定所述预设图像的位置信息；其中，所述行驶设备的当前定位信息是基于至少一种定位方式确定的；

根据所述预设图像的位置信息和所述预设图像的特征信息，对历史环境地图进行误差补偿，得到补偿后的环境地图。

6.一种行驶设备的数据处理装置，其特征在于，所述装置包括：

阈值确定模块，用于确定行驶设备采集的初始环境图像的背景分割阈值；

参数调整模块，用于若所述背景分割阈值不在预设阈值范围内，则调整所述行驶设备的图像采集参数，并获取参数调整后的行驶设备采集的目标环境图像；

位姿确定模块，用于从所述目标环境图像中提取预设图像的特征信息，并根据所述特征信息确定所述行驶设备与所述预设图像之间的相对位姿；

定位/地图构建模块，用于根据所述相对位姿，进行所述行驶设备的定位和/或环境地图的构建；

其中，所述位姿确定模块包括：

滤波单元，用于对所述目标环境图像进行滤波处理,得到滤波图像；二值化单元，用于根据所述背景分割阈值，对所述滤波图像进行二值化处理，得到二值图像；去噪单元，用于根据预设图像的属性信息，对所述二值图像进行去噪处理，得到去噪图像；特征提取单元，用于从所述去噪图像中提取预设图像的特征信息；

其中，所述去噪单元具体用于：

若二值图像中的目标连通区域的个数大于所述预设图像的属性信息中的特征点个数，则根据所述属性信息中的相邻特征点间距和/或特征点尺寸，确定噪声连通区域；从所述目标连通区域中去除所述噪声连通区域。

7.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的行驶设备的数据处理方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的行驶设备的数据处理方法。

Images