CN114758004A - 基于域控制器平台的道路线标定方法以及域控制器平台 - Google Patents

Abstract

本发明提供一种基于域控制器平台的道路线标定方法以及域控制器平台，该标定方法包括：S101：域控制器平台获取AVM系统的待标定镜头，重投影待标定镜头的图像序列生成待处理图像序列；S102：检测待处理图像序列中的道路线，根据检测的道路线的信息对待标定镜头进行标定，信息包括车道线、停止线的位置、方向以及宽度信息。本发明通过利用道路线进行标定的方式，避免了需要使用特定的标定场地、相关的工作人员以及相应的标定设备进行标定的问题，操作简单、标定速度快、成本低且能够保证标定的精度，提升了用户的使用体验。

Description

基于域控制器平台的道路线标定方法以及域控制器平台

技术领域

本发明涉及AVM系统镜头标定领域，尤其涉及一种基于域控制器平台的道路线标定方法以及域控制器平台。

背景技术

AVM作为辅助驾驶系统其市场越来越大，因为它可以通过全面的展示车体四周的环境，给司机提供一个安全，舒适的驾驶环境。因客观因素的影响AVM系统的镜头难免会发生各种冲击碰撞，需要更换重装，从而引起镜头外参的变化。然而镜头重新标定很不方便，需要特定的标定场地，相关的工作人员，以及相应的标定设备，操作麻烦，耗时长且成本高，难以满足用户的使用需求。

发明内容

为了克服现有技术的不足，本发明提出一种基于域控制器平台的道路线标定方法以及域控制器平台，利用域控制器平台获取待标定镜头，将待标定镜头的图像序列进行重投影生成待处理图像序列，根据待处理图像序列中道路线的信息进行镜头标定，通过利用道路线进行标定的方式，避免了需要使用特定的标定场地、相关的工作人员以及相应的标定设备进行标定的问题，操作简单、标定速度快、成本低且能够保证标定的精度，提升了用户的使用体验。

为解决上述问题，本发明采用的一个技术方案为：一种基于域控制器平台的道路线标定方法，所述基于域控制器平台的道路线标定方法包括：所述基于域控制器平台的道路线标定方法包括：S101：域控制器平台获取AVM系统的待标定镜头，重投影所述待标定镜头的图像序列生成待处理图像序列；S102：检测所述待处理图像序列中的道路线，根据检测的道路线的信息对所述待标定镜头进行标定，所述信息包括车道线、停止线的位置、方向以及宽度信息。

进一步地，所述域控制器平台获取AVM系统的待标定镜头的步骤具体包括：域控制器平台获取AVM系统中每个镜头拍摄的图像，根据所述图像中车道、车道线与正常车道、车道线的对比结果识别待标定镜头。

进一步地，所述根据所述图像中车道、车道线与正常车道、车道线的对比结果识别待标定镜头的步骤具体包括：获取所述图像中车道、车道线的宽度信息，判断所述宽度信息与正常车道、车道线的宽度信息是否一致；若是，则确定拍摄所述图像的镜头不是待标定镜头；若否，则确定拍摄所述图像的镜头是待标定镜头。

进一步地，所述重投影所述待标定镜头的图像序列生成待处理图像序列的步骤具体包括：根据所述待标定镜头拍摄的视频获取图像序列，基于小孔成像和镜头畸变参数重投影所述图像序列生成代理处图像序列。

进一步地，所述检测所述待处理图像序列中的道路线的步骤具体包括：判断所述待处理图像序列中是否存在停止线；若是，则检测所述图像序列中的车道线和停止线；若否，则检测所述图像序列中的车道线。

进一步地，所述根据检测的道路线的信息对所述待标定镜头进行标定的步骤具体包括：根据所述道路线形成的消失点对所述待标定镜头进行镜头偏航角、俯仰角、翻滚角的初步标定；通过道路线的信息构建待优化目标函数，通过优化器优化所述待优化目标函数获取所述待标定镜头的标定结果。

进一步地，所述根据所述道路线形成的消失点对所述待标定镜头进行镜头偏航角、俯仰角、翻滚角的初步标定的步骤具体包括：判断所述道路线的信息是否包括停止线的信息；若是，则根据所述车道线、停止线形成的消失点进行镜头偏航角、俯仰角以及翻滚角的标定；若否，则根据所述车道线形成的消失点进行镜头偏航角、俯仰角以及翻滚角的标定。

进一步地，所述通过道路线的信息构建待优化目标函数的步骤具体包括：根据所述道路线的预设要求和道路线的信息构建待优化目标函数，并在所述待优化目标函数中引入所述车道线的尺寸信息。

进一步地，所述根据检测的道路线的信息对所述待标定镜头进行标定的步骤之后还包括：判断所述待标定镜头的数量是否满足预设条件；若是，则利用通过所述待处理图像序列提取的车道线中线以及不同待标定镜头中的车道线的信息对所述待标定镜头进行联合标定优化；若否，则不对所述待标定镜头进行联合标定优化。

基于相同的发明构思，本发明还提出一种域控制器平台，所述域控制器平台包括处理器、存储器，所述处理器与所述存储器通信连接，所述存储器存储有计算机程序，所述计算机程序被用于执行如上所述的基于域控制器平台的道路线标定方法。

相比现有技术，本发明的有益效果在于：利用域控制器平台获取待标定镜头，将待标定镜头的图像序列进行重投影生成待处理图像序列，根据待处理图像序列中道路线的信息进行镜头标定，通过利用道路线进行标定的方式，避免了需要使用特定的标定场地、相关的工作人员以及相应的标定设备进行标定的问题，操作简单、标定速度快、成本低且能够保证标定的精度，提升了用户的使用体验。

附图说明

图1为本发明基于域控制器平台的道路线标定方法一实施例的流程图；

图2为本发明基于域控制器平台的道路线标定方法另一实施例的流程图；

图3为本发明基于域控制器平台的道路线标定方法中前镜头原始图像一实施例的示意图；

图4为图3的车道线检测结果图；

图5为本发明基于域控制器平台的道路线标定方法中前镜头原始图像另一实施例的示意图；

图6为图5的车道线、停止线检测结果图；

图7为本发明基于域控制器平台的道路线标定方法中联合标定前俯视图的效果图；

图8为本发明基于域控制器平台的道路线标定方法中联合标定后俯视图的效果图；

图9为本发明域控制器平台一实施例的结构图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，通常在此处附图中描述和示出的各本公开实施例在不冲突的前提下，可相互组合，其中的结构部件或功能模块可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

在本申请公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

请参阅图1至图8，其中，图1为本发明基于域控制器平台的道路线标定方法一实施例的流程图；图2为本发明基于域控制器平台的道路线标定方法另一实施例的流程图；图3为本发明基于域控制器平台的道路线标定方法中前镜头原始图像一实施例的示意图；图4为图3的车道线检测结果图；图5为本发明基于域控制器平台的道路线标定方法中前镜头原始图像另一实施例的示意图；图6为图5的车道线、停止线检测结果图；图7为本发明基于域控制器平台的道路线标定方法中联合标定前俯视图的效果图；图8为本发明基于域控制器平台的道路线标定方法中联合标定后俯视图的效果图，其中，图4、图6中白色线条两侧的黑色线条表示检测结果。结合图1至图8对本发明基于域控制器平台的道路线标定方法作详细说明。

在本实施例中，域控制器平台设置在车辆中，其与车辆上用于采集图像、视频的镜头连接，通过镜头采集的视频进行镜头标定。

在本实施例中，基于域控制器平台的道路线标定方法包括：

S101：域控制器平台获取AVM系统的待标定镜头，重投影待标定镜头的图像序列生成待处理图像序列。

在本实施例中，因为未标定的镜头与标定后的镜头拍摄的图像中车道以及车道线的图像存在差别，因此，域控制器平台获取AVM系统的待标定镜头的步骤具体包括：域控制器平台获取AVM系统中每个镜头拍摄的图像，根据图像中车道、车道线与正常车道、车道线的对比结果识别待标定镜头。

其中，根据图像中车道、车道线与正常车道、车道线的对比结果识别待标定镜头的步骤具体包括：获取图像中车道、车道线的宽度信息，判断宽度信息与正常车道、车道线的宽度信息是否一致；若是，则确定拍摄图像的镜头不是待标定镜头；若否，则确定拍摄图像的镜头是待标定镜头。

在本实施例中，获取待标定镜头后，还可以判断该待标定镜头的数量是否大于零小于五，若是，则只需重投影操作，若不是，则结束对镜头的标定。

在一个具体的实施例中，符合车道线绘制国标的车道线都满足车道线的边平行，且车道、车道线的宽度固定。因此，根据标定后，车道线两个边缘在图像中是否平行，以及车道线及车道的宽度是否为预设值来判断域控制器平台连接的镜头是否为待标定镜头。具体的。标定正常的镜头，在获取的图像中，车道及车道线的宽度应该是可以计算出来的一个预期常量。如果根据图像计算出的常量和预期常量不符合，那么该镜头就需要标定。

重投影待标定镜头的图像序列生成待处理图像序列的步骤具体包括：根据待标定镜头拍摄的视频获取图像序列，基于小孔成像和镜头畸变参数重投影图像序列生成代理处图像序列。

在本实施例中，域控制器平台解码待标定镜头拍摄的视频生成图像序列，启动域控制器平台中的图像序列重投影模块，获得待处理图像序列，图像序列重投影模块利用小孔成像的原理，结合预存的镜头畸变参数，对获取的图像序列进行预处理从而获得待处理图像序列。其中，待处理图像序列的图像内容与解码得到的图像序列的内容一致。通过对获得的图像序列进行重投影获取待处理取图像序列的方式实现了对待标定镜头内参焦距的解耦。重投影得到的图像不依赖于镜头真实的内参焦距，只需要一个人为的虚拟的焦距，从而避免了镜头内参焦距对标定的影响。

S102：检测待处理图像序列中的道路线，根据检测的道路线的信息对待标定镜头进行标定，信息包括车道线、停止线的位置、方向以及宽度信息。

在本实施例中，通过骨架算法检测待处理序列中的道路线，通过骨架算法检测以及多帧图像处理检测道路线的方式降低了道路线检测精度待料的标定误差。

检测待处理图像序列中的道路线的步骤具体包括：判断待处理图像序列中是否存在停止线；若是，则检测图像序列中的车道线和停止线；若否，则检测图像序列中的车道线。

在上述实施例中，检测到道路线后，还需要获取道路线的坐标、宽度、方向等信息，通过对车道线进行检测和获取车道线的信息的方式，使得标定在有无停止线的情况线都可以完成独立标定，减少标定初期前后标定结果对左右镜头标定结果的影响，同时减少对重合区域的依赖及多颗镜头数据同步的依赖。

其中，在检测道路线时，对于图像中检测到的道路线可以通过线条进行标注。

在一个优选的实施例中，利用在车道线或停止线的两侧标注黑色线段的方式标注检测到的道路线或停止线。

在本实施例中，根据检测的道路线的信息对待标定镜头进行标定的步骤具体包括：根据道路线形成的消失点对待标定镜头进行镜头偏航角、俯仰角、翻滚角的初步标定；通过道路线的信息构建待优化目标函数，通过优化器优化待优化目标函数获取所述待标定镜头的标定结果，其中，对各待标定镜头分别进行独立标定。

具体的，根据道路线形成的消失点对待标定镜头进行镜头偏航角、俯仰角、翻滚角的初步标定的步骤具体包括：判断道路线的信息是否包括停止线的信息；若是，则根据车道线、停止线形成的消失点进行镜头偏航角、俯仰角以及翻滚角的标定；若否，则根据车道线形成的消失点进行镜头偏航角、俯仰角以及翻滚角的标定。

在一个具体的实施例中，前后镜头标定包括：如果检测的道路线中没有停止线，获取车道线对应形成的消失点p(空间中的平行线在成像时相交形成的交点)进行镜头偏航角β和俯仰角α初步标定，翻滚角可采用默认值。具体计算方式为：

其中，p为消失点的齐次坐标，其维数为3*1，K^-1为镜头的虚拟内参矩阵的逆矩阵，其维数为3*3。如果检测的道路线中有停止线，检测到的车道线和停止线对应形成的消失点进行镜头偏航角和俯仰角以及翻滚角初步标定，计算方式与没有停止线的计算方式相同。

在另一个具体的实施例中，左右镜头的初步标定方式与前后镜头的初步标定方式相同。如果待处理图像序列中未检测到停止线，利用待处理图像序列中检测到的车道线对应形成的消失点进行镜头偏航角和翻滚角初步标定，俯仰角可采用默认值。如果待处理图像序列中有停止线，利用待处理图像序列中检测到的车道线和停止线对应形成的消失点进行镜头偏航角和俯仰角以及翻滚角初步标定。

通过道路线的信息构建待优化目标函数的步骤具体包括：根据道路线的预设要求和道路线的信息构建待优化目标函数，并在待优化目标函数中引入车道线的尺寸信息。其中，道路线的预设要求包括车道线在待标定镜头形成的俯视图序列中相互平行、左右车道线等宽、车道线的物理尺寸要求、停止线与车道线垂直等与车道线、停止线相关的要求。

在本实施例中，利用优化器优化时，优化的对象为待优化目标函数中的三个欧拉角，通过优化器的优化使通过待标定镜头获取的俯视图车道线相互平行，左右车道线等宽，如存在停止线则停止线和车道线垂直。根据目标函数最小化的需求迭代优化三个欧拉角。

具体的，利用待处理图像序列中的检测的道路线的信息构建待优化目标函数，待优化目标函数为车道线在对应镜头形成的俯视图序列中相互平行，左右车道线等宽，如存在停止线则待优化目标函数还包括停止线和车道线垂直。同时在目标函数中引入左右车道线的物理尺寸(从对应的车道线标准中获得)，通过优化器进行优化，从而完成镜头标定。

根据检测的道路线的信息对待标定镜头进行标定的步骤之后还包括：判断待标定镜头的数量是否满足预设条件；若是，则利用通过待处理图像序列提取的车道线中线以及不同待标定镜头中的车道线的信息对待标定镜头进行联合标定优化；若否，则不对待标定镜头进行联合标定优化。

其中，联合标定优化包括：利用获得的道路线的数据形成变量为三个欧拉角的待优化目标函数，通过优化器，迭代优化使待优化目标函数最小化，优化三个欧拉角达到目标效果。

在本实施例中，预设条件为待标定镜头数量为4个，且分别为前后左右镜头。具体的，各自完成4颗镜头的独立标定，利用骨架算法提取图像序列中的车道线中线，进行四颗镜头的联合标定优化，待优化目标函数为在俯视图中，车道线在左镜头成像生成的图像中提取的骨架横坐标与对应车道线在前镜头成像生成的图像中提取的骨架横坐标对齐，车道线在右镜头成像生成的图像中提取的骨架横坐标与对应车道线在前镜头成像生成的图像中提取的骨架横坐标对齐，车道线在后镜头成像提取的骨架横坐标与对应车道线在前镜头成像提取的骨架横坐标对齐，从而完成AVM系统镜头的联合标定优化。

本发明首先基于小孔成像，利用镜头畸变系数，创新地提出了对AVM系统鱼眼镜头获得的图像序列进行重投影以获待处理取图像序列，此步骤对待标定镜头内参焦距进行了解耦(重投影图像不依赖于镜头真实的内参焦距，只需要一个人为的虚拟的焦距即可)。其次对视频序列多帧处理，引入骨架算法，降低车道检测精度的偏差带来的标定误差。最后利用道路线绘制的统一标准构建待优化目标函数，并在待优化目标函数中引入了道路线的宽度信息，使得标定在有无停止线的情况线都可以完成独立标定，减少标定初期前后镜头标定结果对左右镜头标定结果的影响，同时减少对重合区域的依赖及多颗镜头数据同步的依赖。

基于相同的发明构思，本发明还提出一种域控制器平台，请参阅图9，其中，图9为本发明域控制器平台一实施例的结构图。结合图9对本发明的域控制器平台进行详细说明。

在本实施例中，域控制器平台包括处理器、存储器，处理器与存储器通信连接，存储器存储有计算机程序，计算机程序被用于执行如上述实施例所述的基于域控制器平台的道路线标定方法。

在一些实施例中，存储器可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程功能器件、分立门或者晶体管功能器件、分立硬件组件。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于域控制器平台的道路线标定方法，其特征在于，所述基于域控制器平台的道路线标定方法包括：

S101：域控制器平台获取AVM系统的待标定镜头，重投影所述待标定镜头的图像序列生成待处理图像序列；

S102：检测所述待处理图像序列中的道路线，根据检测的道路线的信息对所述待标定镜头进行标定，所述信息包括车道线、停止线的位置、方向以及宽度信息。

2.如权利要求1所述的基于域控制器平台的道路线标定方法，其特征在于，所述域控制器平台获取AVM系统的待标定镜头的步骤具体包括：

域控制器平台获取AVM系统中每个镜头拍摄的图像，根据所述图像中车道、车道线与正常车道、车道线的对比结果识别待标定镜头。

3.如权利要求2所述的基于域控制器平台的道路线标定方法，其特征在于，所述根据所述图像中车道、车道线与正常车道、车道线的对比结果识别待标定镜头的步骤具体包括：

获取所述图像中车道、车道线的宽度信息，判断所述宽度信息与正常车道、车道线的宽度信息是否一致；

若是，则确定拍摄所述图像的镜头不是待标定镜头；

若否，则确定拍摄所述图像的镜头是待标定镜头。

4.如权利要求1所述的基于域控制器平台的道路线标定方法，其特征在于，所述重投影所述待标定镜头的图像序列生成待处理图像序列的步骤具体包括：

根据所述待标定镜头拍摄的视频获取图像序列，基于小孔成像和镜头畸变参数重投影所述图像序列生成代理处图像序列。

5.如权利要求4所述的基于域控制器平台的道路线标定方法，其特征在于，所述检测所述待处理图像序列中的道路线的步骤具体包括：

判断所述待处理图像序列中是否存在停止线；

若是，则检测所述图像序列中的车道线和停止线；

若否，则检测所述图像序列中的车道线。

6.如权利要求1所述的基于域控制器平台的道路线标定方法，其特征在于，所述根据检测的道路线的信息对所述待标定镜头进行标定的步骤具体包括：

根据所述道路线形成的消失点对所述待标定镜头进行镜头偏航角、俯仰角、翻滚角的初步标定；

通过道路线的信息构建待优化目标函数，通过优化器优化所述待优化目标函数获取所述待标定镜头的标定结果。

7.如权利要求6所述的基于域控制器平台的道路线标定方法，其特征在于，所述根据所述道路线形成的消失点对所述待标定镜头进行镜头偏航角、俯仰角、翻滚角的初步标定的步骤具体包括：

判断所述道路线的信息是否包括停止线的信息；

若是，则根据所述车道线、停止线形成的消失点进行镜头偏航角、俯仰角以及翻滚角的标定；

若否，则根据所述车道线形成的消失点进行镜头偏航角、俯仰角以及翻滚角的标定。

8.如权利要求6所述的基于域控制器平台的道路线标定方法，其特征在于，所述通过道路线的信息构建待优化目标函数的步骤具体包括：

根据所述道路线的预设要求和道路线的信息构建待优化目标函数，并在所述待优化目标函数中引入所述车道线的尺寸信息。

9.如权利要求1所述的基于域控制器平台的道路线标定方法，其特征在于，所述根据检测的道路线的信息对所述待标定镜头进行标定的步骤之后还包括：

判断所述待标定镜头的数量是否满足预设条件；

若是，则利用通过所述待处理图像序列提取的车道线中线以及不同待标定镜头中的车道线的信息对所述待标定镜头进行联合标定优化；

若否，则不对所述待标定镜头进行联合标定优化。

10.一种域控制器平台，其特征在于，所述域控制器平台包括处理器、存储器，所述处理器与所述存储器通信连接，所述存储器存储有计算机程序，所述计算机程序被用于执行如权利要求1-9任一项所述的基于域控制器平台的道路线标定方法。

Images