CN113486836A - 针对低通度障碍物的自动驾驶操控方法 - Google Patents

Abstract

本发明公开了一种针对低通度障碍物的自动驾驶操控方法，通过对自动驾驶车辆持续行驶过程中采集的图像内容进行两级视觉识别，获得目标障碍物的精准信息，并结合映射成像原理，将现有通过诸如相位及时差关系的测距方法改进为通过平面几何关系求解目标障碍物距离的方式，尤其适合于低通度障碍物的距离测算；并且为了确保测距结果的精准度，提出对多种求解结果进行融合，最后利用识别出的目标障碍物信息以及精准的测距结果，实现以障碍物类型为导向的自适应避障决策。本发明实现了对低通度障碍物的精准检测并显著简化了测距过程，同时配合低通度障碍的检测结果可灵活调整驾驶安全措施，达到具有针对性地合理避让或通过低通度障碍物的目的。

Description

针对低通度障碍物的自动驾驶操控方法

技术领域

本发明涉及自动驾驶领域，尤其涉及一种针对低通度障碍物的自动驾驶操控方法。

背景技术

自动驾驶汽车通过高精地图+定位系统、雷达探测系统、高清摄像头实现对环境的感知。雷达探测系统可以实现对障碍物的测距，高清摄像头采集图像，通过机器视觉识别可以判断出障碍物是人还是车或者其他事物。其中，雷达适合对感应范围内，具有一定高度的物体进行探测，但是车辆行驶的路况较为复杂，雷达对于地面的减震带、坑洼、偶遇的砖石、路面积水等低通度物体则难以做到探测无误，这里所述的低通度障碍物是指相对于车辆坐标系而言，Z方向上占据较小区间的障碍物(可以简单理解为较为低矮的障碍物)；而安装在自动驾驶汽车上的激光雷达虽然可以侦测到低通度障碍物并绘制点云数据，但是同样受限于对目标场景物体的捕捉角度，对于低通度障碍物的成像分辨率并不会太高，生成的三维点云数据也难以准确描述低通度障碍物的距离。

因而，现有技术对低通度障碍物的测距效果并不理想。由于缺少了准确的距离探测，可以预想到，现阶段自动驾驶汽车的域控制器在面对低通度障碍物时的轨迹规划是被简化的。

发明内容

鉴于上述，本发明旨在提供一种针对低通度障碍物的自动驾驶操控方法，以获得更为准确的低通度障碍物检测结果，进而实现精准的避让及通过操控。

本发明采用的技术方案如下：

一种针对低通度障碍物的自动驾驶操控方法，其中包括：

在行驶过程中持续接收安装于车辆前部的摄像头所采集的前方道路的图像；

对各帧所述图像中的物体进行初步识别，判断所述图像中是否存在疑似低通度障碍物；

若是，则记录所述疑似低通度障碍物的识别信息；

基于所述识别信息，对后续所采集图像中的所述疑似低通度障碍物进行精细识别；

当识别出所述疑似低通度障碍物为目标障碍物时，获取所述目标障碍物的类型信息并基于投影成像原理对所述目标障碍物进行距离测定；其中，所述距离测定包含若干种求解算法；

将对应若干种求解算法的距离测定结果进行融合，得到最终的测距信息；

根据当前的车辆行驶信息、所述测距信息以及如下一种或多种所述目标障碍物的信息：位置信息和尺寸信息，确定针对当前所述目标障碍物的类型信息的避让通过策略。

在其中至少一种可能的实现方式中，所述基于投影成像原理对所述目标障碍物进行距离测定包括：

预先构造摄像头的虚拟成像面，并确定摄像头与所述虚拟成像面之间的成像距离以及摄像头投影至所述虚拟成像面上的第一交点；

将由初步识别后得到的所述疑似低通度障碍物投影至所述虚拟成像面，得到第二交点以及第一投影距离，所述第一投影距离表征所述第一交点与所述第二交点的间距；

将由精细识别后得到的所述目标障碍物投影至所述虚拟成像面，得到第三交点以及第二投影距离，所述第一投影距离表征所述第一交点与所述第三交点的间距；

利用所述第一投影距离、所述第二投影距离、预先确定的摄像头离地高度以及由初步识别至精细识别过程所对应的车辆前进距离，并按照既定的若干种几何算法求解出车辆与所述目标障碍物的若干个测距结果。

在其中至少一种可能的实现方式中，所述预先构造摄像头的虚拟成像面包括：

以摄像头的镜头面中点为起点，依据摄像头的安装角度向前方延伸出射线；

将所述射线与地面线的交汇点作为垂足，形成垂直于地面线的平面，得到所述虚拟成像面。

在其中至少一种可能的实现方式中，在所述虚拟成像面获得疑似低通度障碍物或目标障碍物的投影交点的方式包括：

以摄像头的镜头面中点为起点，将摄像头与障碍物进行连线并延长至虚拟成像面，得到障碍物的投影交点以及对应的投影位置信息。

在其中至少一种可能的实现方式中，所述识别信息包括：相对位置信息、尺寸信息以及视觉特征信息。

在其中至少一种可能的实现方式中，所述将对应若干种求解算法的距离测定结果进行融合包括：

求取若干个距离测定结果的均值；或者，

按照既定的权重对若干个距离测定结果进行加权求和。

在其中至少一种可能的实现方式中，所述方法还包括：若判断所述图像中存在疑似低通度障碍物，则暂停车辆的加速模式并进入预减速模式，直至获得精细识别结果。

在其中至少一种可能的实现方式中，所述方法还包括：在进行所述距离测定之前，根据车辆的当前行驶信息以及路况信息，决策是否开始执行所述距离测定。

本发明的设计构思在于，通过对自动驾驶车辆持续行驶过程中采集的图像内容进行两级视觉识别，可以准确确定出目标障碍物的相关信息，并结合映射成像原理，将现有通过诸如反射波的相位及时差关系的测距方法改进为通过平面几何关系求解目标障碍物距离的方式，尤其适合于相对紧附于地面的低通度障碍物的距离测算；并且为了确保测距计算结果的精准度，提出对多种求解结果进行融合，最后利用识别出的目标障碍物信息以及精准的测距结果，实现以障碍物类型为导向的自适应避障决策。本发明解决了低通度障碍物难以检测并测距的问题，实现了对低通度障碍物的精准检测并显著简化了测距过程，同时配合低通度障碍的检测结果可灵活调整驾驶安全措施，达到具有针对性地合理避让或通过低通度障碍物的目的。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明实施例提供的针对低通度障碍物的自动驾驶操控方法的流程图；

图2为本发明实施例提供的用于距离求解的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提出了一种针对低通度障碍物的自动驾驶操控方法的实施例，具体来说，如图1所示，可以包括如下：

步骤S1、在行驶过程中持续接收安装于车辆前部的摄像头所采集的前方道路的图像；

步骤S2、对各帧所述图像中的物体进行初步识别，判断所述图像中是否存在疑似低通度障碍物；

若是，则执行步骤S3、记录所述疑似低通度障碍物的识别信息；

步骤S4、基于所述识别信息，对后续所采集图像中的所述疑似低通度障碍物进行精细识别；

步骤S5、当识别出所述疑似低通度障碍物为目标障碍物时，获取所述目标障碍物的类型信息并基于投影成像原理对所述目标障碍物进行距离测定；

步骤S6、将对应若干种求解算法的距离测定结果进行融合，得到最终的测距信息；

步骤S7、根据当前的车辆行驶信息、所述测距信息以及如下一种或多种所述目标障碍物的信息：位置信息和尺寸信息，确定针对当前所述目标障碍物的类型信息的避让通过策略。

进一步地，所述基于投影成像原理对所述目标障碍物进行距离测定包括：

预先构造摄像头的虚拟成像面，并确定摄像头与所述虚拟成像面之间的成像距离以及摄像头投影至所述虚拟成像面上的第一交点；

将由初步识别后得到的所述疑似低通度障碍物投影至所述虚拟成像面，得到第二交点以及第一投影距离，所述第一投影距离表征所述第一交点与所述第二交点的间距；

将由精细识别后得到的所述目标障碍物投影至所述虚拟成像面，得到第三交点以及第二投影距离，所述第一投影距离表征所述第一交点与所述第三交点的间距；

利用所述第一投影距离、所述第二投影距离、预先确定的摄像头离地高度以及由初步识别至精细识别过程所对应的车辆前进距离，并按照既定的若干种几何算法求解出车辆与所述目标障碍物的若干个测距结果。

进一步地，所述预先构造摄像头的虚拟成像面包括：

以摄像头的镜头面中点为起点，依据摄像头的安装角度向前方延伸出射线；

将所述射线与地面线的交汇点作为垂足，形成垂直于地面线的平面，得到所述虚拟成像面。

进一步地，在所述虚拟成像面获得疑似低通度障碍物或目标障碍物的投影交点的方式包括：

以摄像头的镜头面中点为起点，将摄像头与障碍物进行连线并延长至虚拟成像面，得到障碍物的投影交点以及对应的投影位置信息。

进一步地，所述识别信息包括：相对位置信息、尺寸信息以及视觉特征信息。

进一步地，所述将对应若干种求解算法的距离测定结果进行融合包括：

求取若干个距离测定结果的均值；或者，

按照既定的权重对若干个距离测定结果进行加权求和。

进一步地，所述方法还包括：若判断所述图像中存在疑似低通度障碍物，则暂停车辆的加速模式并进入预减速模式，直至获得精细识别结果。

进一步地，所述方法还包括：在进行所述距离测定之前，根据车辆的当前行驶信息以及路况信息，决策是否开始执行所述距离测定。

为了便于理解上述实施例及其优选方案，此处提供如下具体说明供参考：

自动驾驶汽车在行驶过程中，摄像头不断捕捉前方道路的图像，形成一帧帧的平面图像(称为帧图像)。摄像头将平面图像信息传送给自动驾驶汽车的域控制器。域控制器对接收到的平面图像信息进行粗略判断，即各帧图像中是否可能存在所述低通度障碍物(判定标准可以是平面图像中是否存在颜色突变的集中区域，或采用其他快捷的现有逻辑算法。此处仅为初步的粗略判断)。若判断可能存在所述低通度障碍物，则对疑似障碍物的信息(例如但不限于相对位置、视觉特征等)进行锁定，并调用预置的低通度障碍物识别模块，对继续行驶过程中后续采集的平面图像中被前步判定为疑似障碍物(由锁定的疑似障碍物信息在后续图像中定位到该障碍物)的低通度障碍物进行精细识别。与此同时，域控制器指示自动驾驶汽车不再有加油门动作，直到图像识别模块完成了最终的识别分析，此阶段汽车进入预减速模式，例如滑行、轻制动或进入能量回收状态。

关于前述对低通度障碍物的精细识别具体可基于卷积神经网络实现，例如对每一种低通度障碍物拥有多个卷积核(可以是颜色、形状、积水表面的水纹等特征)，并且通过网络自身的深度学习可以不断优化卷积核，在实际识别操作时，利用这些卷积核对后续平面图像中的疑似障碍物进行多层次的池化和激活，最终完成图像的识别。在实际操作中，可以采用机器视觉领域中已有的成熟技术，对识别技术本身本发明可不作限定。

若最终经检测判定不是低通度障碍物，则将识别结果返回给域控制器，域控制器恢复正常的自动驾驶操控；若判定是目标障碍物，则确定出目标障碍物的类型并将该识别结果返回给域控制器，域控制器触发基于投影成像原理预置的低通度障碍物测距算法，在持续行驶条件下对该目标障碍物进行距离测定。需指出的是，本发明所述的低通度障碍物测距算法被触发的前提，可以是车辆以相对较高速度正在开阔且整体较为平坦的路面行驶，而非行驶在障碍物相对密集的狭窄路面，因为通常来说，当行驶诸如障碍物密集的狭窄路面等特殊路况时，自动驾驶车辆的预设车速策略一般会出于安全优先机制采用相对较低的速度行驶，所以不必然需要执行本发明所述的低通度障碍物测距算法，也不需要再次降低车速或改变汽车行驶方向。

关于本发明提出的投影成像测距方式，具体来说，可以参考如下：

如图2所示，可以预先构造出摄像头的虚拟成像面，具体地，可以从位于车辆前部的摄像头的镜头面中点，按摄像头的安装角度(通常相对地面线略微向下)向前方延伸出射线，由于安装角度的客观存在，可以理解的，该射线与地面线在有限远处(可以取决于摄像头的可视距离)交汇为一点，以该交汇点作为垂足，形成垂直于地面线的平面，即构成所述虚拟成像面。

并且，摄像头所在位置与所述虚拟成像面之间的间距是固定的，结合图示，L0即为摄像头与所述虚拟成像面的距离，可称其为成像距离，并且还可以据此得到摄像头投影至所述虚拟平面上的点，即所示第一交点，并可由预先构建的虚拟成像面的坐标系得到对应的坐标信息(上述成像距离、第一交点、坐标信息等参数在摄像头的安装位置及角度确定后便可以固化)。图示中的h是摄像头在车辆上安装位置的离地高度，该参数也是可以预先确定的。

根据前述在平面图像中识别出的低通度障碍物，以摄像头所在位置(即图示的车头)为起点，可将摄像头与目标障碍物进行连线(较佳地，可以如图示连接在低通度障碍物靠近摄像头的位置)并延长至虚拟成像面得到第二交点(及对应的坐标信息)，并且此段连线涉及的角度α即为当前时刻摄像头拍摄到低通障碍物时的成像夹角(此角度可以由摄像头成像信息获得)，由此可以得到摄像头与低通障碍物在虚拟成像面上的投影距离L1(第一交点至第二交点的距离)。由于摄像头拍摄的帧图像与虚拟成像面上的图像具有比例放大关系，因此在实际操作中，L1可以通过对摄像头所拍摄到的帧图像中图像的绝对零点和低通度障碍物所在的像素点的像素距离，按预设比例放大而计算得到。

在前文提及的两级图像识别算法进行过程中，车辆实际已经行驶一段距离ΔS(利用车速对时间的积分可以求得)，那么按上一段落所述，在经过行驶ΔS距离后，可以获得针对目标障碍物的第三交点(及对应的坐标信息)，并得到投影距离L2(第一交点至第三交点的距离，其计算过程可以参考前文对L1获取方式的说明)，其中涉及的成像夹角β同样可以由实际成像角获得，而图中的S即为待测算的当前时刻车辆与目标障碍物的间距。本领域技术人员可以理解的是，在实际操作中，利用上述参数，为了计算低通度障碍物距离自动驾驶汽车的距离S，可以有多种平面几何求解方式，此处结合前述投影成像构思，提供但不限于如下两种求解方式供参考：

或者，

进一步地，为了提升求解的精准度，还可以考虑采用多种求解结果(如上述两种)的均值，或者按照既定的权重关系对各个求解结果进行加权求和，以此作为S的最终取值。这里提及求均值或加权的融合构思，是考虑到每种求解方式均可能存在一定误差，例如参数量过少信息不全面，或者参数量过多引入额外干扰等，因此利用融合机制可以弱化单一求解方式的不足，从而得到更为全面、准确、可靠的最终测距结果。

接续前文，域控制器在获得目标障碍物的位置、类型以及当前时刻与本车的距离等信息之后，便可以规划出下一时刻车辆的行驶方式，以使自动驾驶车辆做出针对性的应对决策。

举例来说，当图像识别结果反馈该目标障碍物为减速带等类似无法避让的低通度障碍物类型时，便可以控制车辆进入主动减速模式，具体来说是依据默认的通过速度V0、当前车速V、该类型低通度障碍物与本车距离S，计算出以何种减速度完成减速通过。

当图像识别结果反馈该目标障碍物为相对较小的砖石、他车掉落物、井盖、浅坑等低通度障碍物类型时，便可以控制车辆根据当前车速V、该类型低通度障碍物与本车距离S以及相对位置，选择转向避让，或者还可以微调车辆行驶方向，以使该低通度障碍物靠近车辆的中线，即，使低通度障碍物在车辆左右轮之间通过。

当图像识别结果反馈该目标障碍物为较小面积积水时，可以参考前述的降速通过策略或者僻让通过策略，此处不作赘述；而当该目标障碍物为较大面积积水或类似的低通度障碍物，则可以根据测距信息，执行紧急制动策略或平缓制动策略，以使自动驾驶汽车在涉险前制动停驻，并可以重新规划新的行驶路线。

综上所述，本发明的设计构思在于，通过对自动驾驶车辆持续行驶过程中采集的图像内容进行两级视觉识别，可以准确确定出目标障碍物的相关信息，并结合映射成像原理，将现有通过诸如反射波的相位及时差关系的测距方法改进为通过平面几何关系求解目标障碍物距离的方式，尤其适合于相对紧附于地面的低通度障碍物的距离测算；并且为了确保测距计算结果的精准度，提出对多种求解结果进行融合，最后利用识别出的目标障碍物信息以及精准的测距结果，实现以障碍物类型为导向的自适应避障决策。本发明解决了低通度障碍物难以检测并测距的问题，实现了对低通度障碍物的精准检测并显著简化了测距过程，同时配合低通度障碍的检测结果可灵活调整驾驶安全措施，达到具有针对性地合理避让或通过低通度障碍物的目的。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (8)

1.一种针对低通度障碍物的自动驾驶操控方法，其特征在于，包括：

在行驶过程中持续接收安装于车辆前部的摄像头所采集的前方道路的图像；

对各帧所述图像中的物体进行初步识别，判断所述图像中是否存在疑似低通度障碍物；

若是，则记录所述疑似低通度障碍物的识别信息；

基于所述识别信息，对后续所采集图像中的所述疑似低通度障碍物进行精细识别；

当识别出所述疑似低通度障碍物为目标障碍物时，获取所述目标障碍物的类型信息并基于投影成像原理对所述目标障碍物进行距离测定；其中，所述距离测定包含若干种求解算法；

将对应若干种求解算法的距离测定结果进行融合，得到最终的测距信息；

根据当前的车辆行驶信息、所述测距信息以及如下一种或多种所述目标障碍物的信息：位置信息和尺寸信息，确定针对当前所述目标障碍物的类型信息的避让通过策略。

2.根据权利要求1所述的针对低通度障碍物的自动驾驶操控方法，其特征在于，所述基于投影成像原理对所述目标障碍物进行距离测定包括：

预先构造摄像头的虚拟成像面，并确定摄像头与所述虚拟成像面之间的成像距离以及摄像头投影至所述虚拟成像面上的第一交点；

将由初步识别后得到的所述疑似低通度障碍物投影至所述虚拟成像面，得到第二交点以及第一投影距离，所述第一投影距离表征所述第一交点与所述第二交点的间距；

将由精细识别后得到的所述目标障碍物投影至所述虚拟成像面，得到第三交点以及第二投影距离，所述第一投影距离表征所述第一交点与所述第三交点的间距；

利用所述第一投影距离、所述第二投影距离、预先确定的摄像头离地高度以及由初步识别至精细识别过程所对应的车辆前进距离，并按照既定的若干种几何算法求解出车辆与所述目标障碍物的若干个测距结果。

3.根据权利要求2所述的针对低通度障碍物的自动驾驶操控方法，其特征在于，所述预先构造摄像头的虚拟成像面包括：

以摄像头的镜头面中点为起点，依据摄像头的安装角度向前方延伸出射线；

将所述射线与地面线的交汇点作为垂足，形成垂直于地面线的平面，得到所述虚拟成像面。

4.根据权利要求2所述的针对低通度障碍物的自动驾驶操控方法，其特征在于，在所述虚拟成像面获得疑似低通度障碍物或目标障碍物的投影交点的方式包括：

以摄像头的镜头面中点为起点，将摄像头与障碍物进行连线并延长至虚拟成像面，得到障碍物的投影交点以及对应的投影位置信息。

5.根据权利要求1所述的针对低通度障碍物的自动驾驶操控方法，其特征在于，所述识别信息包括：相对位置信息、尺寸信息以及视觉特征信息。

6.根据权利要求1所述的针对低通度障碍物的自动驾驶操控方法，其特征在于，所述将对应若干种求解算法的距离测定结果进行融合包括：

求取若干个距离测定结果的均值；或者，

按照既定的权重对若干个距离测定结果进行加权求和。

7.根据权利要求1～6任一项所述的针对低通度障碍物的自动驾驶操控方法，其特征在于，所述方法还包括：若判断所述图像中存在疑似低通度障碍物，则暂停车辆的加速模式并进入预减速模式，直至获得精细识别结果。

8.根据权利要求1～6任一项所述的针对低通度障碍物的自动驾驶操控方法，其特征在于，所述方法还包括：在进行所述距离测定之前，根据车辆的当前行驶信息以及路况信息，决策是否开始执行所述距离测定。

Images