CN113611143B - 一种记忆泊车系统及其建图系统 - Google Patents

Abstract

本发明涉及一种新型记忆泊车系统及其建图系统，在建图和定位中都添加了相机选择模块，与同时使用多视角相机相比，节省了大量的计算量，降低了对硬件的要求，由保证了系统的鲁棒性；与仅使用单相机建图相比，提高了建图与定位的成功率，且不过多的增加计算资源的开销。也就是说，本发明通过切换视角的方式利用了不同相机的不同视野，在附加较少计算量的情况下，提高建图与定位的整体性能，且在召车功能中若路径相同，方向相反，可复用泊车阶段的地图，简化用户操作，在自主泊车市场上的应用价值广阔。

Description

一种记忆泊车系统及其建图系统

技术领域

本发明涉及汽车泊车技术领域，具体涉及一种新型记忆泊车系统及其建图系统。

背景技术

记忆泊车功能中，用户需先建立并记忆泊车时的地图与行驶轨迹。后续泊车时加载记忆，并根据实时检测的特征与地图特征进行匹配定位，得出车辆在地图中的位置与朝向，再将定位信息传至控制系统以指导车辆完成泊车。根据需求，可再添加召车功能，响应用户召唤从车位开出，并前往指定终点。

当前记忆泊车产品中，广泛使用相机参与建图与定位，且车辆上一般都安装了多个相机，从不同的视角观测环境，若同时使用多个相机用于建图与定位，对系统计算性能要求较高。若使用一个相机，不仅成功率受单一视角影响，例如在某个视角下场景缺乏纹理，而且，即使泊车的行驶路径与召车的路径相同，可能由于行驶方向相反，定位与建图时观测视角相差过大，地图特征无法准确匹配，导致召车无法复用泊车阶段的地图，需独立再建图，增加用户的操作，使用繁琐。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种新型记忆泊车系统及其建图系统，以提高建图与定位的成功率。

为实现上述目的，本发明采用的技术方案是：

一种新型记忆泊车的建图系统，所述建图系统选择性地获取一个或多个相机的视觉信息，并基于该视觉信息对车辆的环境进行建图并保存；所述建图系统包括N个相机、第一相机选择模块、建图模块、地图保存模块；

N个相机均连接第一相机选择模块，负责实时感知在行驶环境中同一时刻不同视角下的视觉信息，并将其传递给第一相机选择模块；所述第一相机选择模块获取N个相机的视觉信息，并对其进行评价，然后依据评价分数选择其中的一个或多个相机的视觉信息传递给建图模块；

所述建图模块依据输入的相机的视觉信息，对车辆行驶的环境进行建图；所述地图保存模块用于保存建图模块建立的地图信息，至少包括使用的相机编号与视角信息。

所述第一相机选择模块对相机的视角进行评价，依据评价得分选择合适的相机；所述评价指标以下的一个或多个：

一、相机视角下图像纹理的丰富程度，纹理越丰富分值越高；

二、相机视角下最近n帧图像的光照变化程度，变化越小分值越高。

所述建图系统还包括车辆运动信息感知模块和环境检测模块，所述车辆运动信息感知模块用来获取车辆运动信息，所述环境检测模块用来检测车辆周围环境；所述车辆运动信息感知模块和环境检测模块均连接至建图模块，以辅助建图模块进行建图；所述环境检测模块连接第一相机选择模块，以供第一相机选择模块在进行相机选择时将车辆周围环境信息作为评价指标；即所述评价指标还包括：

相机视角下的动态物体数量，数量越少分值越高。

所述第一相机选择模块依据视角将N个相机分为M组观测组，每一观测组包含一个或多个相机；M个观测组设有优先级，按优先级从高到低从相应的观测组中选择相机；具体如下：

第一相机选择模块在选择相机时，首先从当前使用中的相机所在的观测组中选择评价得分大于阈值的相机，若所选择的相机数量小于设定数量TX，按照优先级依次选择观测组，并从相应观测组中选择评价得分大于阈值的相机，直到所选择的相机数量达到设定数量TX，或者已经完成所有观测组的筛选；当完成所有所有观测组的筛选后，若所选择相机数量不为0，则将当前所选的相机作为最终选择的相机；若所选择相机数量为0，则将所有相机的得分进行降序排序，选择前TX个相机作为最终选择的相机。

一种新型记忆泊车系统，其包括如上所述的建图系统、以及定位装置，所述定位装置包括定位模块、地图信息获取模块和第二相机选择模块；

所述第二相机选择模块连接N个相机、地图信息获取模块，地图信息获取模块连接地图保存模块，用于获取建图后保存的地图信息；N个相机则将其拍摄到图像传递给第二相机选择模块，以供第二相机从中选择合适的相机；所述第二相机选择模块根据地图信息以及相机视角信息，选择合适的一个或多个视角用于定位；所述定位模块在选择的相机图像中提取环境特征，根据实时检测的特征与地图特征进行匹配定位，得出车辆在地图中的位置与朝向。

所述第二选择模块对相机的选择具体如下：

判断有无初始位姿信息，若无初始位姿信息，选择所有的相机；

若有初始位姿信息，获取建图轨迹中距离车辆当前位置的最近处P，并获取在P处建图使用的相机视角方向集合{vm}；当前位置从初始位姿信息中获取；

获取当前车辆位置C处所有相机在地图中的所有相机视角集合{vc}；然后从所有相机视角集合{vc}中选取与{vm}中相机视角夹角最小值所对应的相机，即对于集合{vm}中的每一个相机，应该从相机视角集合{vc}中选择对应的一个相机，最终选择的相机数量是与集合{vm}中的相机数量是一致的。

采用上述方案后，本发明在建图和定位中都添加了相机选择模块，与同时使用多视角相机相比，节省了大量的计算量，降低了对硬件的要求，由保证了系统的鲁棒性；与仅使用单相机建图相比，提高了建图与定位的成功率，且不过多的增加计算资源的开销。也就是说，本发明通过切换视角的方式利用了不同相机的不同视野，在附加较少计算量的情况下，提高建图与定位的整体性能，且在召车功能中若路径相同，方向相反，可复用泊车阶段的地图，简化用户操作，在自主泊车市场上的应用价值广阔。

附图说明

图1为建图系统的结构框图；

图2为相机分组示意图；

图3为第一相机选择模块的选择流程图；

图4为定位系统的结构框图；

图5为第二相机选择模块的选择流程图；

图6为第二相机选择模块的选择示意图。

具体实施方式

如图1所示，本发明揭示了一种新型记忆泊车的建图系统，其选择性地获取一个或多个相机的视觉信息，基于该视觉信息对车辆的环境进行建图并保存。该建图系统包括N个相机、第一相机选择模块、建图模块、地图保存模块、车辆运动信息感知模块和环境检测模块。

其中，N个相机均连接第一相机选择模块，负责实时感知在行驶环境中同一时刻不同视角下的视觉信息，并将其传递给第一相机选择模块。相机之间的相对位姿关系一般为已知，若未知，可执行相机标定方法进行相对位姿的标定，相机标定方法采用现有的标定方法即可。第一相机选择模块可依据视角将N个相机分为M组观测组，每一观测组包含一个或多个相机。例如，如图2所示，朝前观测的前视观测组C1，朝后观测的后视观测组C2，朝其他方向的观测组CN。

车辆运动信息感知模块用来获取车辆运动信息，其包括IMU传感器、轮速计等可检测车辆运动信息的传感器。环境检测模块用来检测车辆周围环境，如行人检测、车辆检测、障碍物检测、可行驶区域检测等。车辆运动信息感知模块和环境检测模块均连接至建图模块，以供建图模块进行建图。环境检测模块还可以连接第一相机选择模块，以便第一相机选择模块在进行相机选择时将车辆周围环境信息作为参考因素。

第一相机选择模块获取N个相机的视觉信息，并对其进行评价，然后依据评价分数选择其中的一个或多个相机的视觉信息传递给建图模块。对相机的评价可以综合以下指标中的一个或多个：

一、M个观测组设有优先级，按优先级从高到低从相应的观测组中选择相机。观测组的优先级可以根据实际情况进行设置，本实施例中各光测组的优先级从高到低为：使用中的相机所在的观测组、前视观测组、后视观测组、其他观测组。

二、相机视角下图像纹理的丰富程度（例如，图像中的边缘大小及分布范围、角点的数量以及空间分布范围、图像的整体熵值），纹理越丰富越好。

三、相机视角下最近n帧图像的光照变化程度（以图像亮度值或灰度值变化度量），变化越小越好。

四、相机视角下的动态物体数量，如行人、周围车辆的数量及占图面积，数量越少越好。

从上述指标可以看出，第一相机选择模块在选择相机时，首先从当前使用中的相机所在的观测组中选择评价得分大于阈值的相机，若所选择的相机数量小于设定数量TX，按照优先级依次选择观测组，并从相应观测组中选择评价得分大于阈值的相机，直到所选择的相机数量达到设定数量TX，或者已经完成所有观测组的筛选；当完成所有所有观测组的筛选后，若所选择相机数量不为0，则将当前所选的相机作为最终选择的相机；若所选择相机数量为0，则将所有相机的得分进行降序排序，选择前TX个相机作为最终选择的相机。第一相机选择模块将最终选择的相机对应的视觉信息传递至建图模块，以供建图模块进行建图。

在本实施例中，相机分为前视观测组C1，朝后观测的后视观测组C2，朝其他方向的观测组CN。那么，如图3所示，第一相机选择模块的相机选择方法具体如下：

步骤1、计算当前观测组CP中各相机视角的评价得分，按分数降序排序，并选择分数大于阈值T1的前Np个相机，那么当前选择的相机数量X为Np；判断当前选择的相机数量X是否小于要选择相机的目标个数TX，若小于，则进入下一步骤，否则，完成相机选择。

其中，当前观测组CP为当前正在使用的相机所在的观测组，其为前视观测组C1、后视观测组C2或其他观测组CN。当完成当前观测组CP的相机选择，且选择数量不够时，下一步骤就是按照优先级从剩余的观测组中选择满足条件的相机。本实施例中，假设当前观测组CP为前视观测组C1，那么步骤1选择的相机数量为N1，那么在当前相机选择数量不够的情况下，会依次从后视观测组C2或其他观测组CN中继续选择。

步骤2、计算后视观测组C2中各相机视角的评价得分，按照分数降序排序，并选择分数大于阈值T2的前N2个相机，那么当前所选择的相机数量X为Np+N2；判断当前所选择的相机数量X是否小于要选择相机的目标个数TX，若小于，进入下一步骤，否则完成相机选择。

步骤3、计算其他观测组CN中各相机视角的评价得分，按分数降序排序，并选择分数大于阈值T2的前Nn个相机，那么，当前所选择的相机数量X为Np+N2+Nn；然后判断当前所选择的相机数量X是否等于0，当等于0时，将所有相机的评价得分进行降序培训，选择前TX个相机，完成相机选择；否则，将当前所选择的相机作为最终选择的相机，完成相机选择。

上述步骤中，要选择相机的目标个数TX取值范围为[1，相机总数]，每个步骤中选择的相机数量Np、N1、N2、Nn的取值为[0，TX-X]，由于在每一步骤中，X的取值是不同的，所以Np、N1、N2、Nn的取值不相同。在步骤1中，Np和N1是相等的，其取值为[0,TX]；步骤2中，N2取值为[0，TX-Np]；步骤3中，Nn取值为[0,TX-Np-N2]。这就意味着，Np（N1）+N2+Nn小于等于TX，即最终选择的相机数量小于等于TX。

第一相机选择模块将经过上述选择后确定的相机的对应图像传递到建图模块后，建图模块依据输入的图像信息和车辆运动信息、周围环境信息，对车辆行驶的环境进行建图，并记录此时使用的相机标号和视角信息。地图保存模块用于保存建图模块建立的地图信息，包括环境特征信息、车辆行驶过程中的位姿信息、使用的相机编号与视角信息。

上述建图系统增设了第一相机选择模块，其在建图之前对相机进行评价，然后根据相机评价得分选择符合条件的相机，然后选取相应相机的图像进行建图，以应对某些视角下不适合建图的问题，提高系统建图的成功率。

基于同一发明构思，本发明揭示了一种新型记忆泊车系统，其包括N个相机、车辆运动信息感知模块、环境检测模块、建图装置和定位装置。其中，建图装置包括建图模块、地图保存模块和第一相机选择模块；定位装置包括定位模块、地图信息获取模块和第二相机选择模块。

记忆泊车系统通过建图模块、地图保存模块、第一相机选择模块与相机、车辆运动信息感知模块和环境检测模块进行建图，其建图的方法及原理与上述建图系统相同，此处不再赘述。

建图完成后，记忆泊车系统基于建图得到的地图信息进行定位。具体地，如图4所示，记忆泊车系统通过定位模块、地图信息获取模块、第二相机选择模块与相机、车辆运动信息感知模块、环境检测模块以及建图装置的地图保存模块完成车辆的定位。其中，相机、车辆运动信息感知模块、环境检测模块和地图保存模块已在上面阐述，此处也不再赘述。

第二相机选择模块连接N个相机、地图信息获取模块，地图信息获取模块连接地图保存模块，用于获取建图后保存的地图信息。N个相机则将其拍摄到图像传递给第二相机选择模块，以供第二相机从中选择合适的相机。第二相机选择模块根据地图信息以及相机视角信息，选择合适的一个或多个视角用于定位。如图5所示，具体选择的方法：

判断有无初始位姿信息，若无初始位姿信息，选择所有的相机；

若有初始位姿信息，获取建图轨迹中距离车辆当前位置（初始位姿）的最近处P，并获取在P处建图使用的相机视角方向集合{vm}；

获取当前车辆位置C（初始位姿）处所有相机在地图中的视角集合{vc}；然后从所有相机视角集合{vc}中选取与{vm}中相机视角夹角最小值所对应的相机，即对于集合{vm}中的每一个相机，应该从相机视角集合{vc}中选择对应的一个相机，那么最终选择的相机数量是与集合{vm}中的相机数量是一致的。例如，如图6所示，如果集合{vm}中只有一个元素vm1，代表建图只使用了一个相机，所以，此时应选择vc1视角的相机参与定位。

定位模块在选择的相机图像中提取环境特征，根据实时检测的特

征与地图特征进行匹配定位，得出车辆在地图中的位置与朝向（位

姿）。

上述当前位置（初始位姿信息）是一个粗略的位置信息，其可通过GPS、北斗等导航系统中获取。当无法获知当前位置时，可以假设当前位置为地图的起点附近。若无法假设，则选择全部相机视角的图像，与全部地图特征匹配进行定位。定位结果可融合车辆运动信息感知模块和环境检测模块再进一步处理。

综上，本发明的关键在于，本发明一方面在建图过程中添加了第一相机选择模块，以应对某些视角下不适合建图的问题，提高系统建图的成功率；另一方面在定位过程中添加了第二相机选择模块，其根据地图的观测视角选择用于定位的观测视角，不仅解决视角差距过大而无法定位的问题，也解决了召车阶段复用泊车阶段地图的问题。本发明在建图和定位中都添加了相机选择模块，与同时使用多视角相机相比，节省了大量的计算量，降低了对硬件的要求，由保证了系统的鲁棒性；与仅使用单相机建图相比，提高了建图与定位的成功率，且不过多的增加计算资源的开销。也就是说，本发明通过切换视角的方式利用了不同相机的不同视野，在附加较少计算量的情况下，提高建图与定位的整体性能，且在召车功能中若路径相同，方向相反，可复用泊车阶段的地图，简化用户操作，在自主泊车市场上的应用价值广阔。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种记忆泊车建图系统，其特征在于：所述建图系统选择性地获取一个或多个相机的视觉信息，并基于该视觉信息对车辆的环境进行建图并保存；所述建图系统包括N个相机、第一相机选择模块、建图模块、地图保存模块；

N个相机均连接第一相机选择模块，负责实时感知在行驶环境中同一时刻不同视角下的视觉信息，并将其传递给第一相机选择模块；所述第一相机选择模块获取N个相机的视觉信息，并对其进行评价；所述第一相机选择模块依据视角将N个相机分为M组观测组，每一观测组包含一个或多个相机；M个观测组设有优先级，按优先级从高到低从相应的观测组中选择相机，并将所选择的相机的视觉信息传递给建图模块；所述第一相机选择模块从观测组中选择相机时依据评价分数进行选择；

所述建图模块依据输入的相机的视觉信息，对车辆行驶的环境进行建图；所述地图保存模块用于保存建图模块建立的地图信息，至少包括使用的相机编号与视角信息。

2.根据权利要求1所述的一种记忆泊车建图系统，其特征在于：所述第一相机选择模块对相机的视角进行评价，依据评价得分选择合适的相机；评价所采用的评价指标为以下的一个或多个：

一、相机视角下图像纹理的丰富程度，纹理越丰富分值越高；

二、相机视角下最近n帧图像的光照变化程度，变化越小分值越高。

3.根据权利要求2所述的一种记忆泊车建图系统，其特征在于：所述建图系统还包括车辆运动信息感知模块和环境检测模块，所述车辆运动信息感知模块用来获取车辆运动信息，所述环境检测模块用来检测车辆周围环境；所述车辆运动信息感知模块和环境检测模块均连接至建图模块，以辅助建图模块进行建图；所述环境检测模块连接第一相机选择模块，以供第一相机选择模块在进行相机选择时将车辆周围环境信息作为评价指标；即所述评价指标还包括：

相机视角下的动态物体数量，数量越少分值越高。

4.根据权利要求2所述的一种记忆泊车建图系统，其特征在于：所述第一相机选择模块选择相机具体如下：

第一相机选择模块在选择相机时，首先从当前使用中的相机所在的观测组中选择评价得分大于阈值的相机，若所选择的相机数量小于设定数量TX，按照优先级依次选择观测组，并从相应观测组中选择评价得分大于阈值的相机，直到所选择的相机数量达到设定数量TX，或者已经完成所有观测组的筛选；当完成所有所有观测组的筛选后，若所选择相机数量不为0，则将当前所选的相机作为最终选择的相机；若所选择相机数量为0，则将所有相机的得分进行降序排序，选择前TX个相机作为最终选择的相机。

5.根据权利要求3所述的一种记忆泊车建图系统，其特征在于：所述第一相机选择模块选择相机具体如下：

第一相机选择模块在选择相机时，首先从当前使用中的相机所在的观测组中选择评价得分大于阈值的相机，若所选择的相机数量小于设定数量TX，按照优先级依次选择观测组，并从相应观测组中选择评价得分大于阈值的相机，直到所选择的相机数量达到设定数量TX，或者已经完成所有观测组的筛选；当完成所有所有观测组的筛选后，若所选择相机数量不为0，则将当前所选的相机作为最终选择的相机；若所选择相机数量为0，则将所有相机的得分进行降序排序，选择前TX个相机作为最终选择的相机。

6.一种记忆泊车系统，其特征在于：包括如权利要求1-5任一所述的建图系统，所述记忆泊车系统还包括定位装置，所述定位装置包括定位模块、地图信息获取模块和第二相机选择模块；

所述第二相机选择模块连接N个相机、地图信息获取模块，地图信息获取模块连接地图保存模块，用于获取建图后保存的地图信息；N个相机则将其拍摄到图像传递给第二相机选择模块，以供第二相机选择模块从中选择合适的相机；所述第二相机选择模块根据地图信息以及相机视角信息，选择合适的一个或多个视角用于定位；所述定位模块在选择的相机图像中提取环境特征，根据实时检测的特征与地图特征进行匹配定位，得出车辆在地图中的位置与朝向。

7.根据权利要求6所述的一种记忆泊车系统，其特征在于：所述第二相机选择模块对相机的选择具体如下：

判断有无初始位姿信息，若无初始位姿信息，选择所有的相机；

若有初始位姿信息，获取建图轨迹中距离车辆当前位置的最近处P，并获取在P处建图使用的相机视角方向集合{vm}；当前位置从初始位姿信息中获取；

获取当前车辆位置C处所有相机在地图中的所有相机视角集合{vc}；然后从所有相机视角集合{vc}中选取与{vm}中相机视角夹角最小值所对应的相机，即对于集合{vm}中的每一个相机，应该从相机视角集合{vc}中选择对应的一个相机，最终选择的相机数量是与集合{vm}中的相机数量是一致的。

Images