CN112241717B - 前车检测方法、前车检测模型的训练获取方法及装置 - Google Patents

前车检测方法、前车检测模型的训练获取方法及装置 Download PDF

Info

Publication number
CN112241717B
CN112241717B CN202011148083.0A CN202011148083A CN112241717B CN 112241717 B CN112241717 B CN 112241717B CN 202011148083 A CN202011148083 A CN 202011148083A CN 112241717 B CN112241717 B CN 112241717B
Authority
CN
China
Prior art keywords
front vehicle
vehicle
vertex
vanishing point
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011148083.0A
Other languages
English (en)
Other versions
CN112241717A (zh
Inventor
卢美奇
李国镇
杨宏达
李友增
戚龙雨
吴若溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202011148083.0A priority Critical patent/CN112241717B/zh
Publication of CN112241717A publication Critical patent/CN112241717A/zh
Application granted granted Critical
Publication of CN112241717B publication Critical patent/CN112241717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种前车检测方法、前车检测模型的训练获取方法及装置，前车检测方法包括：获取当前车辆的前向视野的目标图像；将所述目标图像输入预先训练获取的前车检测模型，得到所述前车检测模型输出的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离；若存在前车，则根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标。该方法可以较好地适用于计算能力较弱的后装ADAS设备中。

Description

前车检测方法、前车检测模型的训练获取方法及装置
技术领域
本申请涉及智能驾驶技术领域，具体而言，涉及一种前车检测方法、前车检测模型的训练获取方法及装置。
背景技术
随着智能驾驶技术的不断发展，高级辅助驾驶系统(Advanced DrivingAssistance System，简称ADAS)相关设备被广泛设计和使用。ADAS相关设备可以包前装ADAS设备以及后装ADAS设备。前装ADAS设备是在车辆出厂前集成到车辆的设备。后装ADAS设备是在车辆出厂后安装至车辆的设备，例如，将ADAS与行车记录仪集成的后装ADAS设备。相比于前装ADAS设备来说，后装ADAS设备受成本等因素的限制，其计算能力相对较弱。ADAS相关设备具有多种功能，其中，进行前车检测是其中一项重要功能。通过进行前车检测，可以获知车辆的前车的距离等，用以辅助后续的驾驶操作。
现有技术中，使用多目标检测的方式进行前车检测。基于采集到的前向视野的图像，对图像中的所有车辆进行检测，并同时进行车道线检测，通过多个车辆与本车所在车道的关系，检测出前车。
但是，现有技术的方法所需执行的计算处理较为复杂，对设备的计算能力要求较高，因此，无法适用于计算能力较弱的后装ADAS设备中。
发明内容
有鉴于此，本申请实施例的目的在于提供一种前车检测方法、前车检测模型的训练获取方法、装置及设备，能够适用于计算能力较弱的后装ADAS设备。
根据本申请的第一方面，提供一种前车检测方法，包括：
获取当前车辆的前向视野的目标图像。
将所述目标图像输入预先训练获取的前车检测模型，得到所述前车检测模型输出的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，其中，各方向上的锚点为多个，每个锚点用于标识图像中该方向上的一个坐标。
若存在前车，则根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标。
在一些实施例中，所述锚点包括水平方向的一组锚点以及垂直方向的一组锚点，所述水平方向的一组锚点包括第一预设数量的锚点，所述垂直方向的一组锚点包括第二预设数量的锚点。
在一些实施例中，所述根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标，包括：
确定所述前车的第一顶点在水平方向上与水平方向上第一预设数量锚点的距离的第一平均值，将所述第一平均值作为所述第一顶点在水平方向上的坐标，所述第一顶点为所述前车在所述目标图像中的任一顶点。
确定所述前车的第一顶点在垂直方向上与垂直方向上第二预设量的锚点的距离的第二平均值，将所述第二平均值作为所述第一顶点在垂直方向上的坐标。
确定所述前车的消失点与垂直方向上第二预设数量锚点的距离的第三平均值，将所述第三平均值作为所述消失点的坐标。
在一些实施例中，所述根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标之后，还包括：
根据所述前车的顶点坐标以及所述前车的消失点坐标，确定所述当前车辆与所述前车的距离。
在一些实施例中，所述根据所述前车的顶点坐标以及所述前车的消失点坐标，确定所述当前车辆与所述前车的距离，包括：
根据所述前车的顶点在垂直方向的坐标、所述前车的消失点坐标以及图像采集设备的俯仰角，确定所述当前车辆与所述前车的纵向距离。
在一些实施例中，所述获取当前车辆的前向视野的目标图像，包括：
获取图像采集设备采集的当前车辆的前向视野的原始图像。
将所述原始图像裁剪至具有第一预设尺寸且包含前车图像的中间图像。
将所述中间图像缩放至具有第二预设尺寸的所述目标图像。
根据本申请的第二方面，提供一种前车检测模型的训练获取方法，包括：
采集获取训练样本图像，所述训练样本图像的标记信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离。
采用所述训练样本图像，训练得到前车检测模型，所述前车检测模型用于检测当前车辆的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，其中，所述锚点为多个，每个锚点用于标识图像中的一个坐标。
在一些实施例中，所述采集获取训练样本图像，包括：
获取对摄像头采集的包含前车图像的原始图像进行裁剪和缩放处理后的训练样本图像，并获取预先标注的所述训练样本图像中前车的顶点坐标、前车的消失点坐标。
根据所述顶点坐标、所述消失点坐标以及各预设锚点，确定前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，得到所述训练样本图像的标记信息，其中，所述锚点为多个，每个锚点用于标识图像中的一个坐标。
在一些实施例中，所述前车检测模型包括第一分支以及多个第二分支，所述第一分支用于检测是否存在前车，所述第二分支用于输出前车的顶点及消失点在各方向上的坐标与该方向上各预设锚点的距离。
在一些实施例中，所述采用所述训练样本图像，训练得到前车检测模型，包括：
采用所述训练样本图像，使用第一损失函数，训练所述第一分支。
采用所述训练样本图像，使用第二损失函数以及第三损失函数，训练各所述第二分支，所述第二损失函数用于对每个第二分支各自的准确度进行衡量，所述第三损失函数用于对各第二分支的综合准确度进行衡量。
根据本申请的第三方面，提供一种前车检测装置，包括：
获取模块，用于获取当前车辆的前向视野的目标图像。
处理模块，用于将所述目标图像输入预先训练获取的前车检测模型，得到所述前车检测模型输出的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，其中，各方向上的锚点为多个，每个锚点用于标识图像中该方向上的一个坐标。
确定模块，用于在存在前车时，根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标。
在一些实施例中，所述锚点包括水平方向的一组锚点以及垂直方向的一组锚点，所述水平方向的一组锚点包括第一预设数量的锚点，所述垂直方向的一组锚点包括第二预设数量的锚点。
在一些实施例中，所述确定模块具体用于：
确定所述前车的第一顶点在水平方向上与水平方向上第一预设数量锚点的距离的第一平均值，将所述第一平均值作为所述第一顶点在水平方向上的坐标，所述第一顶点为所述前车在所述目标图像中的任一顶点。
确定所述前车的第一顶点在垂直方向上与垂直方向上第二预设量的锚点的距离的第二平均值，将所述第二平均值作为所述第一顶点在垂直方向上的坐标。
确定所述前车的消失点与垂直方向上第二预设数量锚点的距离的第三平均值，将所述第三平均值作为所述消失点的坐标。
在一些实施例中，所述确定模块还用于：
根据所述前车的顶点坐标以及所述前车的消失点坐标，确定所述当前车辆与所述前车的距离。
在一些实施例中，所述确定模块具体用于：
根据所述前车的顶点在垂直方向的坐标、所述前车的消失点坐标以及图像采集设备的俯仰角，确定所述当前车辆与所述前车的纵向距离。
在一些实施例中，所述获取模块具体用于：
获取图像采集设备采集的当前车辆的前向视野的原始图像。
将所述原始图像裁剪至具有第一预设尺寸且包含前车图像的中间图像。
将所述中间图像缩放至具有第二预设尺寸的所述目标图像。
根据本申请的第四方面，提供一种前车检测模型的训练获取装置，包括：
采集模块，用于采集获取训练样本图像，所述训练样本图像的标记信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离。
训练模块，用于采用所述训练样本图像，训练得到前车检测模型，所述前车检测模型用于检测当前车辆的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，其中，所述锚点为多个，每个锚点用于标识图像中的一个坐标。
在一些实施例中，所述采集模块具体用于：
获取对摄像头采集的包含前车图像的原始图像进行裁剪和缩放处理后的训练样本图像，并获取预先标注的所述训练样本图像中前车的顶点坐标、前车的消失点坐标。
根据所述顶点坐标、所述消失点坐标以及各预设锚点，确定前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，得到所述训练样本图像的标记信息，其中，所述锚点为多个，每个锚点用于标识图像中的一个坐标。
在一些实施例中，所述前车检测模型包括第一分支以及多个第二分支，所述第一分支用于检测是否存在前车，所述第二分支用于输出前车的顶点及消失点在各方向上的坐标与该方向上各预设锚点的距离。
在一些实施例中，所述训练模块具体用于：
采用所述训练样本图像，使用第一损失函数，训练所述第一分支。
采用所述训练样本图像，使用第二损失函数以及第三损失函数，训练各所述第二分支，所述第二损失函数用于对每个第二分支各自的准确度进行衡量，所述第三损失函数用于对各第二分支的综合准确度进行衡量。
根据本申请的第五方面，提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行上述第一方面的步骤或上述第二方面的步骤。
根据本申请的第六方面，提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面的步骤或上述第二方面的步骤。
本申请实施例的有益效果为：
目标图像输入前车检测模型后，前车检测模型可以处理得到目标图像中前车的顶点在各方向与该方向上各预设锚点的距离，进而可以基于这些距离确定出前车的顶点坐标，同时，模型可以处理得到前车的消失点与所在方向上各预设锚点的距离，进而可以基于这些距离确定出前车的消失点，从而完成前车检测。这种基于锚点的坐标回归方式，相对于现有的直接进行目标检测的方式，在保证检测结果准确性的前提下，可以极大减小模型的计算量，从而可以较好地适用于计算能力较弱的后装ADAS设备中。
另外，通过在水平方向和垂直方向上分别设置第一预设数量和第二预设数量的锚点，使得模型可以基于这些锚点确定出前车顶点在垂直方向和水平方向上与各锚点的距离，进而可以同时得到顶点的垂直坐标和水平坐标，使得获得的信息更加丰富，可以更好地应用于后续的自动驾驶控制等处理过程中。
另外，基于第一顶点在水平方向上与第一预设数量锚点的距离的平均值，可以得到第一顶点的水平坐标，基于第一顶点在垂直方向上与第二预设数量锚点的距离的平均值，可以得到第一顶点的垂直坐标，基于消失点与第二预设数量锚点的距离的平均值，可以得到消失点的坐标，这种处理方式在保证准确性的前提下，减少了计算量，提升了处理效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例的一种示例性的场景示意图；
图2示出了本申请实施例提供的前车检测方法的流程示意图；
图3示出了前车坐标的示例图；
图4示出了图像中锚点的示例图；
图5示出了本申请实施例中确定前车的顶点坐标以及消失点坐标的一种可选方式的流程示意图；
图6示出了当前车辆与前车的纵向距离示意图；
图7示出了本申请实施例提供的前车检测模型的训练获取方法的流程示意图；
图8示出了训练前车检测模型时的处理过程示例图；
图9示出了本申请实施例的前车检测装置的框图；
图10示出了本申请些实施例的前车检测模型的训练获取装置的框图；
图11示出了本申请实施例的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
在本申请提出申请之前，现有的技术方案为：使用多目标检测的方式进行前车检测。具体过程为：基于采集到的前向视野的图像，对图像中的所有车辆进行检测，并同时进行车道线检测，将与当前车辆在同一车道线线上的车辆作为当前车辆的前车。
在现有的前车检测方法中，需要检测出现在图像中的所有车辆，并且，还需要进行车道线检测，这些图像处理过程较为复杂，对于检测设备的计算能力要求较高。然而，目前越来越被广泛使用的后装ADAS设备受到成本的限制，其计算平台的能力相对较弱。因此，现有的前车检测方法并不能适用于广泛使用的计算能力较弱的后装ADAS设备中。
考虑到现有的前车检测方法并不能适用于广泛使用的计算能力较弱的后装ADAS设备中，本申请实施例基于利用锚点坐标回归检测唯一前车这一发明构思，使用较小的计算量即可准确进行前车检测，因此可以较好地适用于计算能力较弱的ADAS设备中。
图1示出了本申请实施例的一种示例性的场景示意图，如图1所示，本申请实施例可以应用于使用辅助驾驶的场景中。该场景中涉及当前车辆以及设置在当前车辆内的ADAS设备。当前车辆上安装传感器，传感器例如可以包括：摄像头、毫米波雷达传感器、激光雷达传感器等。其中，摄像头用于采集当前车辆所在环境中的图像，出于不同的需要，当前车辆上的摄像头可以包括多个，分别可以安装在车辆的不同位置，并分别采集不同视野方向上的图像。本申请实施例中，可以使用采集前向视野的图像的前向视野摄像头，该前向视野摄像头例如可以安装在当前车辆的挡风玻璃上方，以采集前向视野的图像。ADAS设备可以为独立设置的具有ADAS功能的设备；或者，ADAS设备还可以与其他设备集成设置，例如，可以与行车记录仪集成为一体，成为具有ADAS功能的行车记录仪；或者，ADAS设备还可以设置在当前车辆的车载中控平台或车辆电子控制单元(Electronic Control Unit，简称ECU)中。作为一种示例，当ADAS设备独立设置或者设置在当前车辆的车载中控平台或ECU中时，ADAS设备可以获取车辆的前向视野摄像头所采集的图像，并使用本申请实施例的方法进行前车检测。当ADAS设备与行车记录仪集成设置时，由于行车记录仪具有图像采集功能，因此，ADAS设备可以不需要获取车辆的摄像头采集的图像，而直接使用行车记录仪的摄像头所采集的前向视野图像，并使用本申请实施例的方法进行前车检测。
值得说明的是，本申请实施例的方法可以应用于无人驾驶车辆中，也可以应用于有人驾驶车辆中。即，上述图1所示的当前车辆，可以是指无人驾驶车辆，也可以是指有人驾驶车辆。当应用于有人驾驶车辆中时，可以基于本申请实施例的检测结果及时向用户输出预警信息，以便用户控制车辆执行相应的预警措施。当应用于无人驾驶车辆中时，可以基于本申请实施例的检测结果向车辆控制系统及时输出预警信息，以便车辆控制系统控制车辆执行相应的预警措施。
图2示出了本申请实施例提供的前车检测方法的流程示意图，该方法的执行主体为上述图1所示的ADAS设备。如图2所示，该方法包括：
S201、获取当前车辆的前向视野的目标图像。
当前车辆在行驶过程中，ADAS设备可以实时获取当前车辆的前向视野的目标图像，并实时进行前车检测。以ADAS设备与行车记录仪集成设置为例，行车记录仪实时采集前向视野的图像并形成视频。ADAS设备可以每间隔预设时间从行车记录仪采集的图像中读取当前时间的一帧图像，作为上述的目标图像，并使用下述实施例的方法进行前车检测。
S202、将上述目标图像输入预先训练获取的前车检测模型，得到该前车检测模型输出的前车信息，该前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离，其中，各方向上的锚点分别为多个，每个锚点用于标识图像中该方向上的一个坐标。
其中，上述前车检测模型可以预先通过训练样本训练得到，训练上述前车检测模型的过程将在下述实施例中详细说明。
上述目标图像输入上述前车检测模型之后，前车检测模型可以输出以下几种信息：
第一，是否存在前车。
该信息表示当前车辆的前方是否存在车辆。
本申请实施例中，当前车辆的前车可以指前方的唯一前车，该唯一前车例如可以是和当前车辆位于同一车道的前车。车辆在实际行驶过程中，在同一时刻最需关注的为唯一前车，因此，本申请实施例使用训练的前车检测模型，仅识别是否存在唯一前车，通过这种处理，在保证前车检测的准确性的前提下，可以极大减小检测的计算量。
应理解，在上述的前车表示唯一前车的前提下，本申请以下实施例所涉及的前车的顶点坐标与预设锚点的距离、前车消失点与预设锚点的距离以及当前车辆与前车的距离等，均是针对唯一前车而言，本申请以下实施例中不再另行解释。
当前车检测模型检测到存在前车时，前车检测模型输出的下述的前车的顶点坐标与预设锚点的距离、前车消失点与预设锚点的距离以及当前车辆与前车的距离为有效信息，ADAS设备基于这些信息可以进行后续的测距、控制等操作。当前车检测模型检测到不存在前车时，前车检测模型可以不输出下述的顶点坐标与预设锚点的距离、前车消失点与预设锚点的距离以及当前车辆与前车的距离，或者，即使前车检测模型输出这些信息，ADAS设备可以确定这些信息为无效的信息，不再使用这些信息进行后续的测距、控制等操作。
第二，前车的顶点在各方向上与该方向上各预设锚点的距离。
本申请实施例中，前车的顶点可以指目标图像中能够将前车图像包含在内的最小矩形框的顶点。图3示出了前车坐标的示例图，如图3所示，在目标图像中，能够将前车图像包含在内的最小矩形框的顶点包括顶点A、顶点B、顶点C和顶点D，其中，顶点A的坐标为(x1，y1)，x1为水平方向的坐标，y1为垂直方向的坐标；顶点B的坐标为(x2，y1)，x2为水平方向的坐标，y1为垂直方向的坐标；顶点C的坐标为(x2，y2)，x2为水平方向的坐标，y2为垂直方向的坐标；顶点D的坐标为(x1，y2)，x1为水平方向的坐标，y2为垂直方向的坐标。
各方向上预先均设置多个锚点，以垂直方向为例，假设前车检测模型输入的图像尺寸为960*960，图4示出了图像中锚点的示例图，如图4所示，垂直方向上设置8个锚点，分别从锚点0至锚点7，其中，锚点0的坐标为0，锚点1的坐标为120，锚点2的坐标为240，锚点3的坐标为360，锚点4的坐标为480，锚点5的坐标为600，锚点6的坐标为720，锚点7的坐标为840。
参照图4，对于一个前车顶点E(x，y)，模型可以输出顶点E在垂直方向上与图4中垂直方向上8个锚点中每个锚点的距离，例如，在垂直方向上，与锚点0的距离为delta0，与锚点7的距离为delta7，以此类推。
在上述的过程中，将目标图像输入前车检测模型之后，模型并不直接计算前车的顶点坐标，而是计算顶点与各预设锚点的距离，ADAS设备再基于该距离计算出前车的顶点坐标。即，本申请实施例使用的基于锚点的坐标回归的方法，相对于现有的直接进行目标检测的方法，本申请实施例的这种方式仅需要模型计算出距离信息，因此，能够在保证准确性的前提下极大减少计算量。
可选的，上述各方向可以指垂直和/或水平方向，相应的，上述各方向上的锚点可以包括垂直和/或水平方向上的锚点，每个方向上均可以设置如上述图4所示例的多个预设锚点。基于实际场景的需要，模型可以输出前车的顶点在垂直和/或水平方向上与该方向上各预设锚点的距离。
第三，前车的消失点的坐标与消失点所在方向上各预设锚点的距离。
消失点可以指平行线的视觉相交点，本申请实施例中，可以选择平行的车道线交点作为前车的消失点。继续参照上述图3，前车在图像中的消失点ep可以为垂直方向上的一坐标。
目标图像输入前车检测模型后，模型在输出上述第二点的信息的同时，还输出消失点的坐标(即垂直方向上的坐标)与垂直方向上各预设锚点的距离。其中，垂直方向上各预设锚点已在上述第二点中进行说明，不再赘述。
与上述第二点中相同，本申请中，模型计算消失点坐标与各预设锚点的距离，ADAS设备再基于该距离计算出消失点坐标，从而极大减小计算量。
S203、若存在前车，则根据上述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据上述前车的消失点与消失点所在方向上各预设锚点的距离，确定前车的消失点坐标。
可选的，基于实际场景的需要，确定的前车的顶点坐标可以包括顶点在垂直和/或水平方向上的坐标。以图3所示例的前车为例，顶点可以包括左上角顶点A以及右下角顶点C，也可以包括全部的四个顶点，即顶点A、顶点B、顶点C以及顶点D。
在根据距离确定坐标时，以消失点为例，可以使用对各距离取平均值的方式确定前车的消失点坐标，或者，按照各预设锚点对应的权重计算前车的消失点坐标。顶点坐标的计算方式也可以相应使用该方式。
由于各种后装ADAS设备的俯仰角差异较大，而俯仰角会直接影响与前车距离的计算，因此，模型通过输出消失点与各预设锚点的距离，进而基于距离确定消失点坐标，可以实现对不同ADAS设备安装角度的标定。
在经过上述步骤确定出前车的顶点坐标以及消失点之后，即实现了前车检测，基于前车检测所得到的这些信息，ADAS设备可以确定前车与当前车辆的距离、判断前车的刹车状态等，对于自动驾驶车辆，还可以基于这些信息进行自动驾驶控制等。
本实施例中，目标图像输入前车检测模型后，前车检测模型可以处理得到目标图像中前车的顶点在各方向与该方向上各预设锚点的距离，进而可以基于这些距离确定出前车的顶点坐标，同时，模型可以处理得到前车的消失点与所在方向上各预设锚点的距离，进而可以基于这些距离确定出前车的消失点，从而完成前车检测。这种基于锚点的坐标回归方式，相对于现有的直接进行目标检测的方式，在保证检测结果准确性的前提下，可以极大减小模型的计算量，从而可以较好地适用于计算能力较弱的后装ADAS设备中。
如前文所述，基于实际场景的需要，模型可以输出前车的顶点在垂直和/或水平方向上与该方向上各预设锚点的距离。例如，如果ADAS设备在后续处理中仅需要使用顶点在垂直方向的坐标，模型可以仅输出顶点在垂直方向上的坐标与垂直方向上各预设锚点的距离。
作为一种可选的实施方式，模型可以输出前车的顶点在垂直方向上与垂直方向上各预设锚点的距离，以及输出前车的顶点在水平方向上与水平方向上各预设锚点的距离。相应的，对于模型来说，上述步骤S202中的锚点包括水平方向的一组锚点以及垂直方向的一组锚点，其中，水平方向的一组锚点包括第一预设数量的锚点，垂直方向的锚点包括第二预设数量的锚点。
可选的，上述第一预设数量和第二预设数量均为大于1的整数。即在垂直方向和水平方向上均设置多个锚点。第一预设数量和第二数量可以相同，或者，也可以不同。
本实施例中，通过在水平方向和垂直方向上分别设置第一预设数量和第二预设数量的锚点，使得模型可以基于这些锚点确定出前车顶点在垂直方向和水平方向上与各锚点的距离，进而可以同时得到顶点的垂直坐标和水平坐标，使得获得的信息更加丰富，可以更好地应用于后续的自动驾驶控制等处理过程中。
当锚点同时包括上述的水平方向的第一预设数量的锚点以及垂直方向的第二预设数量的锚点时，上述步骤S203的一种可选方式如下。
图5示出了本申请实施例中确定前车的顶点坐标以及消失点坐标的一种可选方式的流程示意图，如图5所示，上述步骤S203包括：
S501、确定前车的第一顶点在水平方向上与水平方向上第一预设数量锚点的距离的第一平均值，将该第一平均值作为第一顶点在水平方向上的坐标。
其中，上述第一顶点为前车在上述目标图像中的任一顶点。
示例性的，第一顶点为图3所示例的顶点A，水平方向上包括8个锚点，则模型可以输出顶点A在水平方向上与这8个锚点中每个锚点的距离，从而得到8个距离，在此基础上，可以计算该8个距离的平均值，从而得到第一顶点在水平方向的坐标值。
S502、确定前车的第一顶点在垂直方向上与垂直方向上第二预设量的锚点的距离的第二平均值，将该第二平均值作为第一顶点在垂直方向上的坐标。
本步骤中计算垂直方向上坐标的方法与上述步骤S501中的方法相同，此处不再赘述。
本实施例中，所得到第一顶点的顶点坐标包括水平坐标和垂直坐标。
S503、确定前车的消失点与垂直方向上第二预设数量锚点的距离的第三平均值，将第三平均值作为消失点的坐标。
如图3所示例的，消失点ep为垂直方向上一坐标，模型可以输出消失点与垂直方向上第二预设数量锚点中每个锚点的距离，从而得到第二预设数量的距离。在此基础上，可以计算该第二预设数量的距离的平均值，从而得到消失点ep的坐标，即垂直坐标。
本实施例中，基于第一顶点在水平方向上与第一预设数量锚点的距离的平均值，可以得到第一顶点的水平坐标，基于第一顶点在垂直方向上与第二预设数量锚点的距离的平均值，可以得到第一顶点的垂直坐标，基于消失点与第二预设数量锚点的距离的平均值，可以得到消失点的坐标，这种处理方式在保证准确性的前提下，减少了计算量，提升了处理效率。
如前文所述，在得到前车的顶点坐标之后，可以用于后续的确定前车与当前车辆的距离、判断前车的刹车状态以及自动驾驶控制等。
以下说明确定前车与当前车辆的距离的过程。
可选的，基于上述的前车的顶点坐标以及前车的消失点坐标，可以确定当前车辆与前车的距离。
其中，上述的当前车辆与前车的距离，可以包括当前车辆与前车的纵向距离，和/或，可以包括当前车辆与前车的横向距离。
其中，当前车辆与前车的纵向距离，可以指当前车辆的车头与前车的车头的距离，可以参照下述的图6，图6中的标记d表示当前车辆与前车的纵向距离。当前车辆与前车的横向距离，可以指当前车辆在水平方向上相对于前车的距离。
作为一种可选的实施方式，在确定上述纵向距离时，可以根据前车的顶点在垂直方向坐标、前车的消失点坐标以及图像采集设备的俯仰角，确定当前车辆与前车的纵向距离。
可选的，上述图像采集设备例如可以为设置在车辆上的摄像头或者与ADAS设备集成设置的行车记录仪上的摄像头等。
图6示出了当前车辆与前车的纵向距离示意图，如图6所述，假设图像采集设备的安装位置距离地面的高度为H，图像采集设备安装位置到当前车辆的车头的距离为lhead，该两个数据可以在车辆出厂以及图像采集设备安装后得到，则当前车辆与前车的纵向距离d可以使用下述公式(1)、公式(2)以及公式(3)计算得到。
ep＝cy+fytanα (1)
Figure BDA0002740296090000171
Figure BDA0002740296090000172
其中，ep为前车的消失点，cy为图像采集设备的主点纵坐标，fy为图像采集设备的焦距，α为图像采集设备的俯仰角(本申请中认为图像采集设备的横滚角和偏航角可忽略不计)，H和lhead的定义见前述的说明，不再赘述。
在上述公式(1)-公式(3)中，是利用针孔相机的成像原理，基于上述的各参数之间的关系，计算出当前车辆与前车的纵向距离。
值得说明的是，上述公式(1)-公式(3)中y2是指图3所示例的前车图像中的y2，即前车的下边沿的纵坐标。作为另一种方式，还可以使用y1，即前车的上边沿的纵坐标，并基于y1和y2之间的预设转换关系，得到y2，进而使用上述公式(1)-公式(3)计算当前车辆与前车之间的纵向距离。
在计算出当前车辆与前车的纵向距离后，可以进一步利用该纵向距离进行车辆行驶中的预警、自动驾驶控制操作控制等。
本实施例中，利用前车的顶点在垂直方向的坐标、前车的消失点坐标以及图像采集设备的俯仰角，基于针孔相机的成像原理，可以确定出当前车辆与前车的纵向距离，在保证计算结果准确的前提下，计算量小，处理效率高。
作为一种可选的实施方式，前述实施例所涉及的目标图像，可以是在摄像头采集的原始图像上进行预处理之后所得到的图像。预处理过程可以包括：
首先，获取图像采集设备采集的当前车辆的前向视野的原始图像，进而，将原始图像裁剪至具有第一预设尺寸且包含前车图像的中间图像，进而，将该中间图像缩放至具有第二预设尺寸的上述目标图像。
一种示例中，上述第一预设尺寸可以为960*960，上述第二预设尺寸可以为128*128。
本实施例中，通过对原始图像进行截取和缩放，能够减少输入模型的尺寸，进而可以减少模型进行卷积等运算时的功耗和开销。
以下对训练获取上述前车检测模型的过程进行说明。
图7示出了本申请实施例提供的前车检测模型的训练获取方法的流程示意图，该方法的执行主体可以为具有计算处理能力的电子设备，例如服务器等。如图7所示，该方法包括：
S701、采集获取训练样本图像，该训练样本图像的标记信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离。
S702、采用上述训练样本图像，训练得到前车检测模型，该前车检测模型用于检测当前车辆的前车信息，前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离。
其中，上述锚点为多个，每个锚点用于标识图像中的一个坐标。
本实施例中，利用包含了标记信息的训练样本图像可以训练得到前车检测模型，由于训练样本图像标记了是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离这些信息，因此，所训练处的前车检测模型可以处理得到这些信息，因此，可以实现前述的基于锚点的坐标回归，以较好地适用于计算能力较弱的ADAS设备等。
作为一种可选的实施方式，上述步骤S701中采集获取训练样本图像的一种可选方式包括：
获取对摄像头采集的包含前车图像的原始图像进行裁剪和缩放处理后的训练样本图像，并获取预先标注的训练样本图像中前车的顶点坐标、前车的消失点坐标。进而，根据顶点坐标、消失点坐标以及各预设锚点，确定前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离，得到训练样本图像的标记信息，其中，锚点为多个，每个锚点用于标识图像中的一个坐标。
在训练阶段，模型所需要的标记信息为上述的距离信息，通过上述的方式，可以不用逐个标记距离信息，而仅保证图像中前车的顶点坐标，进而，可以自动计算出上述的各种距离信息，因此，可以减少数据标记时的工作量，提升数据标记的效率。
基于前述的实施例，前车检测模型需要输出的信息包括是否存在前车，前车的顶点及消失点在各方向上的坐标与该方向上各预设锚点的距离。其中，是否存在前车为分类问题，确定前车的顶点及消失点在各方向上的坐标与该方向上各预设锚点的距离为回归问题，因此，作为一种可选的方式，在设计前车检测模型时，可以设计前车检测模型包括第一分支以及多个第二分支，其中，第一分支用于检测是否存在前车，第二分支用于输出前车的顶点及消失点在各方向上的坐标与该方向上各预设锚点的距离。以图3所示例的前车坐标为例，最终需要基于模型得到的顶点坐标包括x1，y1，x2，y2，ep，相应的，模型可以包括5个第二分支，每个第二分支可以输出每个坐标所对应的多个距离。例如，对于坐标y2，垂直方向的预设锚点为8个，则y2对应的第二分支可以输出顶点与8个预设锚点的8个距离的值。
需要说明的是，本申请实施例中均以模型输出距离，在模型之外基于距离计算坐标为例进行说明，具体实施时，基于距离计算坐标也可以在模型内部完成。
本实施例中，通过上述的第一分支和多个第二分支的设计方式，使得模型的不同类型的功能可以基于相应的分支完成，因此可以提升模型的鲁棒性和准确性。
可选的，基于上述的第一分支和多个第二分支的设计，本申请实施例可以使用相应的损失函数进行训练。具体包括：
采用上述训练样本图像，使用第一损失函数，训练上述第一分支；以及，采用上述训练样本图像，使用第二损失函数以及第三损失函数，训练各上述第二分支，该第二损失函数用于对每个第二分支各自的准确度进行衡量，该第三损失函数用于对各第二分支的综合准确度进行衡量。
示例性的，上述第一损失函数可以为focal损失函数，第二损失函数可以为balanced L1损失函数，第三损失函数可以为GIoU函数。
图8示出了训练前车检测模型时的处理过程示例图，如图8所示，对于原始图像可以首先进行前述的预处理并输入模型，模型首先进行特征提取，进而，将提取的特征分别输入第一分支和第二分支，其中，在第二分支的基础上，还可以得到第二分支重建的结果，该结果是对各第二分支的输出结果统一进行处理所得到的。进而，使用功能第一损失函数衡量第一分支的结果，使用第二损失函数衡量各第二分支的结果，使用第三损失函数衡量由各第二分支得到的重建结果。基于各损失函数的衡量结果，可以对模型进行修正，并在满足模型收敛条件时得到上述前车检测模型。
本实施例中，基于上述的第一分支和多个第二分支的设计方式，使用各分支对应的损失函数进行模型训练，可以使得训练得到的模型的鲁棒性和准确率更高。
图9示出了本申请实施例的前车检测装置的框图，该前车检测装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述ADAS设备，或ADAS设备的处理器，也可以理解为独立于上述ADAS设备或处理器之外的在ADAS设备控制下实现本申请功能的组件，如图9所示，前车检测装置可以包括：
获取模块901，用于获取当前车辆的前向视野的目标图像。
处理模块902，用于将目标图像输入预先训练获取的前车检测模型，得到前车检测模型输出的前车信息，前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离，其中，各方向上的锚点为多个，每个锚点用于标识图像中该方向上的一个坐标。
确定模块903，用于在存在前车时，根据前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据前车的消失点与消失点所在方向上各预设锚点的距离，确定前车的消失点坐标。
作为一种可选的方式，上述锚点包括水平方向的一组锚点以及垂直方向的一组锚点，水平方向的一组锚点包括第一预设数量的锚点，垂直方向的一组锚点包括第二预设数量的锚点。
作为一种可选的方式，确定模块903具体用于：
确定前车的第一顶点在水平方向上与水平方向上第一预设数量锚点的距离的第一平均值，将第一平均值作为第一顶点在水平方向上的坐标，第一顶点为前车在目标图像中的任一顶点。
确定前车的第一顶点在垂直方向上与垂直方向上第二预设量的锚点的距离的第二平均值，将第二平均值作为第一顶点在垂直方向上的坐标。
确定前车的消失点与垂直方向上第二预设数量锚点的距离的第三平均值，将第三平均值作为消失点的坐标。
作为一种可选的方式，确定模块903还用于：
根据前车的顶点坐标以及前车的消失点坐标，确定当前车辆与前车的距离。
作为一种可选的方式，确定模块903具体用于：
根据前车的顶点在垂直方向的坐标、前车的消失点坐标以及图像采集设备的俯仰角，确定当前车辆与前车的纵向距离。
作为一种可选的方式，获取模块901具体用于：
获取图像采集设备采集的当前车辆的前向视野的原始图像；将原始图像裁剪至具有第一预设尺寸且包含前车图像的中间图像；将中间图像缩放至具有第二预设尺寸的所述目标图像。
图10示出了本申请些实施例的前车检测模型的训练获取装置的框图，该前车检测模型的训练获取装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述用于模型训练的电子设备，或电子设备的处理器，也可以理解为独立于上述电子设备或处理器之外的在电子设备控制下实现本申请功能的组件，如图所示，该装置包括：
采集模块1001，用于采集获取训练样本图像，训练样本图像的标记信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离。
训练模块1002，用于采用训练样本图像，训练得到前车检测模型，前车检测模型用于检测当前车辆的前车信息，前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离，其中，锚点为多个，每个锚点用于标识图像中的一个坐标。
作为一种可选的方式，采集模块1001具体用于：
获取对摄像头采集的包含前车图像的原始图像进行裁剪和缩放处理后的训练样本图像，并获取预先标注的所述训练样本图像中前车的顶点坐标、前车的消失点坐标。
根据顶点坐标、消失点坐标以及各预设锚点，确定前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与消失点所在方向上各预设锚点的距离，得到训练样本图像的标记信息，其中，锚点为多个，每个锚点用于标识图像中的一个坐标。
作为一种可选的方式，前车检测模型包括第一分支以及多个第二分支，第一分支用于检测是否存在前车，第二分支用于输出前车的顶点及消失点在各方向上的坐标与该方向上各预设锚点的距离。
作为一种可选的方式，训练模块1002具体用于：
采用训练样本图像，使用第一损失函数，训练第一分支；采用训练样本图像，使用第二损失函数以及第三损失函数，训练各第二分支，第二损失函数用于对每个第二分支各自的准确度进行衡量，第三损失函数用于对各第二分支的综合准确度进行衡量。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
需要说明的是，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital SingnalProcessor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
图11示出了本申请实施例的电子设备的结构示意图，该电子设备可以为上述的ADAS设备，或者，为上述用于训练前车检测模型的电子设备。如图11所示，该电子设备包括：处理器1101和存储器1102，其中：存储器1102用于存储程序，处理器1101调用存储器1102存储的程序，以执行上述的实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种前车检测方法，其特征在于，包括：
获取当前车辆的前向视野的目标图像；
将所述目标图像输入预先训练获取的前车检测模型，得到所述前车检测模型输出的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，其中，各方向上的锚点为多个，每个锚点用于标识图像中该方向上的一个坐标；
若存在前车，则根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标；
所述锚点包括垂直和/或水平方向上的锚点。
2.根据权利要求1所述的方法，其特征在于，所述锚点包括水平方向的一组锚点以及垂直方向的一组锚点，所述水平方向的一组锚点包括第一预设数量的锚点，所述垂直方向的一组锚点包括第二预设数量的锚点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标，包括：
确定所述前车的第一顶点在水平方向上与水平方向上第一预设数量锚点的距离的第一平均值，将所述第一平均值作为所述第一顶点在水平方向上的坐标，所述第一顶点为所述前车在所述目标图像中的任一顶点；
确定所述前车的第一顶点在垂直方向上与垂直方向上第二预设量的锚点的距离的第二平均值，将所述第二平均值作为所述第一顶点在垂直方向上的坐标；
确定所述前车的消失点与垂直方向上第二预设数量锚点的距离的第三平均值，将所述第三平均值作为所述消失点的坐标。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标之后，还包括：
根据所述前车的顶点坐标以及所述前车的消失点坐标，确定所述当前车辆与所述前车的距离。
5.根据权利要求4所述的方法，其特征在于，所述根据所述前车的顶点坐标以及所述前车的消失点坐标，确定所述当前车辆与所述前车的距离，包括：
根据所述前车的顶点在垂直方向的坐标、所述前车的消失点坐标以及图像采集设备的俯仰角，确定所述当前车辆与所述前车的纵向距离。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述获取当前车辆的前向视野的目标图像，包括：
获取图像采集设备采集的当前车辆的前向视野的原始图像；
将所述原始图像裁剪至具有第一预设尺寸且包含前车图像的中间图像；
将所述中间图像缩放至具有第二预设尺寸的所述目标图像。
7.一种前车检测模型的训练获取方法，其特征在于，包括：
采集获取训练样本图像，所述训练样本图像的标记信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离；
采用所述训练样本图像，训练得到前车检测模型，所述前车检测模型用于检测当前车辆的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，其中，所述锚点为多个，每个锚点用于标识图像中的一个坐标；
所述锚点包括垂直和/或水平方向上的锚点。
8.根据权利要求7所述的方法，其特征在于，所述采集获取训练样本图像，包括：
获取对摄像头采集的包含前车图像的原始图像进行裁剪和缩放处理后的训练样本图像，并获取预先标注的所述训练样本图像中前车的顶点坐标、前车的消失点坐标；
根据所述顶点坐标、所述消失点坐标以及各预设锚点，确定前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，得到所述训练样本图像的标记信息，其中，所述锚点为多个，每个锚点用于标识图像中的一个坐标。
9.根据权利要求7或8所述的方法，其特征在于，所述前车检测模型包括第一分支以及多个第二分支，所述第一分支用于检测是否存在前车，所述第二分支用于输出前车的顶点及消失点在各方向上的坐标与该方向上各预设锚点的距离。
10.根据权利要求9所述的方法，其特征在于，所述采用所述训练样本图像，训练得到前车检测模型，包括：
采用所述训练样本图像，使用第一损失函数，训练所述第一分支；
采用所述训练样本图像，使用第二损失函数以及第三损失函数，训练各所述第二分支，所述第二损失函数用于对每个第二分支各自的准确度进行衡量，所述第三损失函数用于对各第二分支的综合准确度进行衡量。
11.一种前车检测装置，其特征在于，包括：
获取模块，用于获取当前车辆的前向视野的目标图像；
处理模块，用于将所述目标图像输入预先训练获取的前车检测模型，得到所述前车检测模型输出的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，其中，各方向上的锚点为多个，每个锚点用于标识图像中该方向上的一个坐标；
确定模块，用于在存在前车时，根据所述前车的顶点在各方向上与该方向上各预设锚点的距离，确定前车的顶点坐标，并根据所述前车的消失点与所述消失点所在方向上各预设锚点的距离，确定前车的消失点坐标；
所述锚点包括垂直和/或水平方向上的锚点。
12.一种前车检测模型的训练获取装置，其特征在于，包括：
采集模块，用于采集获取训练样本图像，所述训练样本图像的标记信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离；
训练模块，用于采用所述训练样本图像，训练得到前车检测模型，所述前车检测模型用于检测当前车辆的前车信息，所述前车信息包括：是否存在前车、前车的顶点在各方向上与该方向上各预设锚点的距离，以及，前车的消失点与所述消失点所在方向上各预设锚点的距离，其中，所述锚点为多个，每个锚点用于标识图像中的一个坐标；
所述锚点包括垂直和/或水平方向上的锚点。
13.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至6任一所述的前车检测方法的步骤或权利要求7至10任一所述的前车检测模型的训练获取方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的前车检测方法的步骤或权利要求9至12任一所述的前车检测模型的训练获取方法的步骤。
CN202011148083.0A 2020-10-23 2020-10-23 前车检测方法、前车检测模型的训练获取方法及装置 Active CN112241717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011148083.0A CN112241717B (zh) 2020-10-23 2020-10-23 前车检测方法、前车检测模型的训练获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011148083.0A CN112241717B (zh) 2020-10-23 2020-10-23 前车检测方法、前车检测模型的训练获取方法及装置

Publications (2)

Publication Number Publication Date
CN112241717A CN112241717A (zh) 2021-01-19
CN112241717B true CN112241717B (zh) 2021-11-16

Family

ID=74169658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011148083.0A Active CN112241717B (zh) 2020-10-23 2020-10-23 前车检测方法、前车检测模型的训练获取方法及装置

Country Status (1)

Country Link
CN (1) CN112241717B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466303B (zh) * 2022-01-26 2024-03-19 上海海拉电子有限公司 Uwb锚点的寻址方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260701A (zh) * 2015-09-14 2016-01-20 中电海康集团有限公司 一种适用于复杂场景下的前方车辆检测方法
JP2019079182A (ja) * 2017-10-23 2019-05-23 株式会社Ｓｏｋｅｎ 道路認識装置
CN110163200A (zh) * 2018-02-15 2019-08-23 株式会社小糸制作所 车辆检测装置以及车辆用灯具系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914234B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
JP6013884B2 (ja) * 2012-11-08 2016-10-25 日立オートモティブシステムズ株式会社 物体検出装置及び物体検出方法
CN107341478A (zh) * 2017-07-11 2017-11-10 京东方科技集团股份有限公司 一种辅助驾驶系统的车辆检测方法及其装置
JP7018277B2 (ja) * 2017-09-14 2022-02-10 株式会社デンソー 物体検出装置、物体検出方法及び車両制御システム
KR102553247B1 (ko) * 2018-04-27 2023-07-07 주식회사 에이치엘클레무브 전방 차량 추종 제어 시 안전성을 향상할 수 있는 차선 유지 보조 시스템 및 방법
CN109541583B (zh) * 2018-11-15 2020-05-01 众安信息技术服务有限公司 一种前车距离检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260701A (zh) * 2015-09-14 2016-01-20 中电海康集团有限公司 一种适用于复杂场景下的前方车辆检测方法
JP2019079182A (ja) * 2017-10-23 2019-05-23 株式会社Ｓｏｋｅｎ 道路認識装置
CN110163200A (zh) * 2018-02-15 2019-08-23 株式会社小糸制作所 车辆检测装置以及车辆用灯具系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Front Vehicle Detection and Distance Estimation Using Single-Lens Video Camera;Chao-Ho Chen et al.;《2015 Third International Conference on Robot, Vision and Signal Processing (RVSP)》;20160204;14-17 *
Spatio-temporal Consistency and Hierarchical Matching for Multi-Target;Peilun Li et al.;《computer vision》;20200331;222-230 *
基于DSP的前方车辆检测方法研究;李诚;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20190215;B026-42 *

Also Published As

Publication number Publication date
CN112241717A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN111830953B (zh) 车辆自定位方法、装置及系统
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN110705458B (zh) 边界检测方法及装置
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
US10872246B2 (en) Vehicle lane detection system
CN112836633A (zh) 停车位检测方法以及停车位检测系统
CN111141311B (zh) 一种高精度地图定位模块的评估方法及系统
CN109472251B (zh) 一种物体碰撞预测方法及装置
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN110659548B (zh) 车辆及其目标检测方法、装置
CN110341621B (zh) 一种障碍物检测方法及装置
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN111046809B (zh) 一种障碍物检测方法、装置、设备及计算机可读存储介质
CN112241717B (zh) 前车检测方法、前车检测模型的训练获取方法及装置
CN110197104B (zh) 基于车辆的测距方法及装置
Leu et al. High speed stereo vision based automotive collision warning system
CN110660113A (zh) 特征地图的建立方法、装置、采集设备和存储介质
CN108665473B (zh) 一种视觉导引及视觉里程计复用方法
JPH11339012A (ja) 車両用画像処理装置
CN114373001B (zh) 一种雷达和图像的联合标定方法及装置
CN114724118B (zh) 一种斑马线检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant