CN111563840B - 分割模型的训练方法、装置、位姿检测方法及车载终端 - Google Patents

Abstract

本说明书公开一种分割模型的训练方法、装置、位姿检测方法及车载终端，其中该位姿检测方法包括：将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图；所述第一俯视图中提取得到第一地面纹理特征，从所述第二俯视图中提取得到第二地面纹理特征；将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变。

Description

分割模型的训练方法、装置、位姿检测方法及车载终端

技术领域

本说明书涉及智能驾驶领域，具体而言，涉及一种分割模型的训练方法、装置、位姿检测方法及车载终端。

背景技术

常见的车载环视相机一般会安装在车辆的后视镜(或后备箱)上，这样在后视镜(或后备箱)开关过程中，相机的位姿可能会发生改变，从而将相机外参的误差引入到后续环视拼接过程中。一般会通过观察拼接图接缝纹理是否对齐，人为判定相机位姿是否改变。

由于现有方法依赖人为观察，车载系统无法自动获取相机位姿改变消息。这样随着车载环视系统的使用，相机位姿的偏差可能持续累积，而车载环视系统无法自动进入位姿修正节点，从而导致车载环视系统呈现效果完全错误。

发明内容

本说明书提供一种分割模型的训练方法、装置、位姿检测方法及车载终端，用以克服现有技术中存在的至少一个问题。

根据本说明书实施例的第一方面，提供一种车载环视相机位姿检测方法，包括以下步骤：

将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图；

从所述第一俯视图中提取得到第一地面纹理特征，从所述第二俯视图中提取得到第二地面纹理特征；

将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变。

可选的，所述第一地面纹理特征和所述第二地面纹理特征为车位线。

可选的，所述将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图包括：

根据预先配置的、车载环视相机中前、后视相机的内、外参数，将前、后视相机获取的图像投射到一起，得到第一俯视图；

根据预先配置的、车载环视相机中左、右视相机的内、外参数，将左、右视相机获取的图像投射到一起，得到第二俯视图。

可选的，所述将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变包括：

将所述第一地面纹理特征和所述第二地面纹理特征合并到一起，判断车载环视相机中的各相机的位姿是否发生改变。

可选的，当判定车载环视相机中的某个相机位姿发生改变时，提示用户或系统对对应相机进行重新标定。

根据本说明书实施例的第二方面，还提供一种地面纹理特征分割模型的训练方法，包括以下步骤：

对由车载环视相机获取的图像得到的俯视图进行标注，形成训练样本集，所述训练样本集包括多个训练样本，每个所述训练样本包括俯视图及对应标注的地面纹理特征；

通过所述训练样本集对地面纹理特征分割模型进行训练，所述地面纹理特征分割模型使得所述训练样本集中的俯视图与其对应的地面纹理特征相关联。

可选的，所述地面纹理特征为车位线。

根据本说明书实施例的第三方面，还提供一种车载终端，包括：

拼接模块，被配置为将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图；

特征提取模块，被配置为从所述第一俯视图中提取得到第一地面纹理特征，从所述第二俯视图中提取得到第二地面纹理特征；

位姿判定模块，被配置为将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变。

可选的，所述第一地面纹理特征和所述第二地面纹理特征为车位线。

可选的，所述拼接模块包括：

第一拼接单元，被配置为根据预先配置的、车载环视相机中前、后视相机的内、外参数，将前、后视相机获取的图像投射到一起，得到第一俯视图；

第二拼接单元，被配置为根据预先配置的、车载环视相机中左、右视相机的内、外参数，将左、右视相机获取的图像投射到一起，得到第二俯视图。

可选的，所述位姿判定模块进一步被配置为：

将所述第一地面纹理特征和所述第二地面纹理特征合并到一起，判断车载环视相机中的各相机的位姿是否发生改变。

根据本说明书实施例的第四方面，还提供一种地面纹理特征分割模型的训练装置，包括：

样本集生成模块，被配置为对由车载环视相机获取的图像得到的俯视图进行标注，形成训练样本集，所述训练样本集包括多个训练样本，每个所述训练样本包括俯视图及对应标注的地面纹理特征；

模型训练模块，被配置为通过所述训练样本集对地面纹理特征分割模型进行训练，所述地面纹理特征分割模型使得所述训练样本集中的俯视图与其对应的地面纹理特征相关联。

可选的，所述地面纹理特征为车位线。

本说明书实施例通过从车载环视相机中各相机获取的图像提取地面纹理特征作为相机位姿是否发生改变的判定依据，从而准确判定相机位姿是否发生改变，进而在相机位姿发生变化时提醒用户自动进入位姿修正节点，避免导致车载环视系统呈现效果出现完全错误的情况；同时由于所采用的判定方法对图像特征不敏感，且能够抵抗较强的光照变化，鲁棒性较好。

本说明书实施例的发明点至少包括：

1、将从车载环视相机中各相机获取的图像提取地面纹理特征作为相机位姿是否发生改变的判定依据，对图像特征不敏感，且能够抵抗较强的光照变化，鲁棒性较好，是本发明的发明点之一。

2、采用深度学习算法对预先标注好的俯视拼接图进行训练，得到可以对车载环视相机所获取的俯视拼接图进行地面纹理特征的自动提取，为后续相机位姿是否发生改变的判定提供可靠依据，是本发明的发明点之一。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个实施例的地面纹理特征分割模型的训练方法流程图；

图2为本说明书一个实施例的车载环视相机位姿检测方法流程图；

图3a示出了根据本说明书一实施例的俯视拼接图；

图3b为图3a的标注图；

图4为前、后视相机获取的图像组合得到的前后俯视拼接图；

图5为左、右视相机获取的图像组合得到的左右俯视拼接图；

图6为图4的前后俯视拼接图中提取的前后车位线；

图7为图5的左右俯视拼接图中提取的左右车位线；

图8为图6中提取的前后车位线和图7提取的左右车位线的结果比对图；

图9为前视相机位姿改变时的俯视图；

图10为前视相机位姿改变时车位线提取结果比对图；

图11示出了本说明书一个实施例的地面纹理特征分割模型的训练装置模块图；

图12示出了本说明书一个实施例的车载终端模块图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

需要说明的是，本说明书实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书实施例公开了一种分割模型的训练方法、装置、位姿检测方法及车载终端。以下分别进行详细说明。

图1为本说明书一个实施例的地面纹理特征分割模型的训练方法流程图；如图1所示，该训练方法包括以下步骤：

S110，对由车载环视相机获取的图像得到的俯视图进行标注，形成训练样本集，所述训练样本集包括多个训练样本，每个所述训练样本包括俯视图及对应标注的地面纹理特征。

一种实施方式中，可以针对配备环视系统的车辆，采集足够多的环视俯视图，由数据标注员对俯视图上的地面纹理特征进行标注，所采用的地面纹理特征可以是车位线等比较明显的纹理特征。

如图3a、图3b所示，图3a示出了根据本说明书一实施例的俯视拼接图；图3b为图3a的标注图；其中，图3b中灰度较深的标注线为车位区间线，灰度较浅标注线为车位线。

S120，通过所述训练样本集对地面纹理特征分割模型进行训练，所述地面纹理特征分割模型使得所述训练样本集中的俯视图与其对应的地面纹理特征相关联。

一种实现方式中，可以采用深度学习算法对训练样本集进行训练建立地面纹理特征分割模型。在选择好学习模型后即可基于训练样本集进行模型训练，训练后的地面纹理分割模型使得训练样本集中的俯视图与其对应标注的地面纹理特征相关联。对地面纹理特征为车位线的使用场景，对训练好的分割模型输入根据车载环视相机获取的图像得到的俯视拼接图，输出为同比例车位轮廓线、车位线概率信息，转换为同比例二值化的分割结果，从而提取到分割车位线。

采用深度学习算法对预先标注好的俯视拼接图进行训练，得到可以对车载环视相机所获取的俯视拼接图进行地面纹理特征的自动提取，为后续相机位姿是否发生改变的判定提供可靠依据，是本发明的发明点之一。

一种实现方式中，步骤S130之后还包括：当判定车载环视相机中的某个相机位姿发生改变时，提示用户或系统对对应相机进行重新标定。

本实施例在判断结果为相机位姿发生变化时提醒用户或系统进入位姿修正节点，对相应相机的参数重新进行标定，避免导致车载环视系统呈现效果出现完全错误的情况。

图2为本说明书一个实施例的车载环视相机位姿检测方法流程图；如图2所示，该位姿检测方法包括以下步骤：

S210，将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图。

一种实现方式中，所述将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图包括：

根据预先配置的、车载环视相机中前、后视相机的内、外参数，将前、后视相机获取的图像投射到一起，得到第一俯视图；

根据预先配置的、车载环视相机中左、右视相机的内、外参数，将左、右视相机获取的图像投射到一起，得到第二俯视图。

S220，从所述第一俯视图中提取得到第一地面纹理特征，从所述第二俯视图中提取得到第二地面纹理特征。

一种实现方式中，可以通过预先训练得到的地面纹理特征分割模型来进行地面纹理特征的提取。在具体实现时，所述第一地面纹理特征和所述第二地面纹理特征可以为车位线。

S230，将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变。当相机位姿发生变化时，通过第一地面纹理特征和第二地面纹理特征提取到的车位线将发生明显地错位，可以通过统计提取的车位线信息进行判定。如图8，第一地面纹理与第二地面纹理提取车位线基本重合，此时相机位姿为正常状态；当相机位姿改变(前视相机位姿改变，第一地面纹理特征改变，而第二地面纹理特征不变)，提取到的车位线将明显错位，如图10，车位线基本无法对齐。

一种实现方式中，所述将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变包括：

将所述第一地面纹理特征和所述第二地面纹理特征合并到一起，判断车载环视相机中的各相机的位姿是否发生改变。

将从车载环视相机中各相机获取的图像提取地面纹理特征作为相机位姿是否发生改变的判定依据，对图像特征不敏感，且能够抵抗较强的光照变化，鲁棒性较好，是本发明的发明点之一。

本说明书实施例通过从车载环视相机中各相机获取的图像提取地面纹理特征作为相机位姿是否发生改变的判定依据，从而准确判定相机位姿是否发生改变，进而在相机位姿发生变化时提醒用户自动进入位姿修正节点，避免导致车载环视系统呈现效果出现完全错误的情况；同时由于所采用的判定方法对图像特征不敏感，且能够抵抗较强的光照变化，鲁棒性较好。

图4-图10示出了本说明书一实施例的车载环视相机位姿检测的过程图像；图4为前、后视相机获取的图像组合得到的前后俯视拼接图；图5为左、右视相机获取的图像组合得到的左右俯视拼接图；图6为图4的前后俯视拼接图中提取的前后车位线；图7为图5的左右俯视拼接图中提取的左右车位线；图8为图6中提取的前后车位线和图7提取的左右车位线的结果比对图，由图可见，图6中提取的前后车位线与图7中提取的左右车位线基本重合，表明此时相机位姿为正常状态；图9为前视相机位姿改变时的俯视图；图10为前视相机位姿改变时车位线提取结果比对图，由图可见，此时两组车位线明显错位。在比对时，统计俯视图上的车位线信息，并两两比对，给出相机位姿是否改变的判定结果。如图8所示，将图6、7提取的车位线合并到一起比较。当相机位姿改变，俯视图改变，如图9所示，对应的比对图如图10所示。

与前述的方法实施例相适应，图11示出了本说明书一实施例的地面纹理特征分割模型的训练装置模块图；如图11所示，该训练装置1100包括：

样本集生成模块1110，被配置为对由车载环视相机获取的图像得到的俯视图进行标注，形成训练样本集，所述训练样本集包括多个训练样本，每个所述训练样本包括俯视图及对应标注的地面纹理特征；

模型训练模块1120，被配置为通过所述训练样本集对地面纹理特征分割模型进行训练，所述地面纹理特征分割模型使得所述训练样本集中的俯视图与其对应的地面纹理特征相关联。

可选的，所述地面纹理特征为车位线。

与前述方法实施例相适应，图12示出了本说明书一实施例的车载终端模块图。如图12所示，该车载终端1200包括：

拼接模块1210，被配置为将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图；

特征提取模块1220，被配置为从所述第一俯视图中提取得到第一地面纹理特征，从所述第二俯视图中提取得到第二地面纹理特征；

位姿判定模块1230，被配置为将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变。

具体地，在一个示例性实施例中，第一地面纹理特征和第二地面纹理特征为车位线，在将第一地面纹理特征与第二地面纹理特征进行对比时，基于两组车位线是否基本对齐或重合来判定车载环视各相机的位姿是否发生改变。例如，当两组车位线基本重合时，表明车载环视各相机的位姿处于正常状态；当两组车位线明显错位时，表明存在处于非正常位姿状态下的相机需要重新进行标定。

可选的，所述拼接模块包括：

第一拼接单元，被配置为根据预先配置的、车载环视相机中前、后视相机的内、外参数，将前、后视相机获取的图像投射到一起，得到第一俯视图；

第二拼接单元，被配置为根据预先配置的、车载环视相机中左、右视相机的内、外参数，将左、右视相机获取的图像投射到一起，得到第二俯视图。

可选的，所述位姿判定模块进一步被配置为：

将所述第一地面纹理特征和所述第二地面纹理特征合并到一起，判断车载环视相机中的各相机的位姿是否发生改变。

本说明书实施例通过从车载环视相机中各相机获取的图像提取地面纹理特征作为相机位姿是否发生改变的判定依据，从而准确判定相机位姿是否发生改变，进而在相机位姿发生变化时提醒用户自动进入位姿修正节点，避免导致车载环视系统呈现效果出现完全错误的情况；同时由于所采用的判定方法对图像特征不敏感，且能够抵抗较强的光照变化，鲁棒性较好。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本说明书所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本说明书的技术方案，而非对其限制；尽管参照前述实施例对本说明书进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本说明书实施例技术方案的精神和范围。

Claims (7)

1.一种车载环视相机位姿检测方法，其特征在于，包括以下步骤：

将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图；

从所述第一俯视图中提取得到第一地面纹理特征，从所述第二俯视图中提取得到第二地面纹理特征；

将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变。

2.根据权利要求1所述的检测方法，其特征在于，所述第一地面纹理特征和所述第二地面纹理特征为车位线。

3.根据权利要求1-2中任一项所述的检测方法，其特征在于，所述将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图包括：

根据预先配置的、车载环视相机中前、后视相机的内、外参数，将前、后视相机获取的图像投射到一起，得到第一俯视图；

根据预先配置的、车载环视相机中左、右视相机的内、外参数，将左、右视相机获取的图像投射到一起，得到第二俯视图。

4.根据权利要求1所述的检测方法，其特征在于，所述将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变包括：

将所述第一地面纹理特征和所述第二地面纹理特征合并到一起，判断车载环视相机中的各相机的位姿是否发生改变。

5.根据权利要求1所述的检测方法，其特征在于，还包括以下步骤：

当判定车载环视相机中的某个相机位姿发生改变时，提示用户或系统对对应相机进行重新标定。

6.一种车载终端，其特征在于，包括：

拼接模块，被配置为将车载环视前、后相机获取的图像进行拼接得到第一俯视图，将车载环视左、右相机获取的图像进行拼接得到第二俯视图；

特征提取模块，被配置为从所述第一俯视图中提取得到第一地面纹理特征，从所述第二俯视图中提取得到第二地面纹理特征；

位姿判定模块，被配置为将所述第一地面纹理特征和所述第二地面纹理特征进行对比，判定车载环视各相机的位姿是否发生改变。

7.根据权利要求6所述的车载终端，其特征在于，所述拼接模块包括：

第一拼接单元，被配置为根据预先配置的、车载环视相机中前、后视相机的内、外参数，将前、后视相机获取的图像投射到一起，得到第一俯视图；

第二拼接单元，被配置为根据预先配置的、车载环视相机中左、右视相机的内、外参数，将左、右视相机获取的图像投射到一起，得到第二俯视图。