CN111090096B - 夜间车辆检测方法、装置及系统 - Google Patents

Abstract

本申请实施例公开一种夜间车辆检测方法、装置及系统。本申请涉及智能驾驶领域，解决现有车辆检测技术检测准确性和效率较低的问题。本申请的夜间车辆检测方法通过接收与目标车辆相关的雷达数据和图像，然后将雷达数据映射到图像中，得到雷达映射图，之后检测目标车辆在图像中的位置，最终确定雷达映射图中与目标车辆在图像中的位置相关联的雷达映射图点。该夜间车辆检测方法能够在夜间，特别是在目标车辆的能见度非常差的远距离处，检测目标车辆并精确测量其与本车的距离，克服了目前视觉解决方案的局限性，增强了夜间车辆检测的鲁棒性，准确性和快速性。

Description

夜间车辆检测方法、装置及系统

技术领域

本发明涉及智能驾驶领域，尤其涉及一种夜间车辆检测方法、装置及系统。

背景技术

随着自动驾驶技术的发展，车辆检测是其中重要的一环，快速而可靠的车辆检测是自动驾驶技术的最为关键的技术之一，准确地实现车辆检测一直是自动驾驶技术中的重点和难点。现有的主流车辆检测技术基于计算机视觉的方法，诸如天气原因、光照、环境等各种不利因素造成能见度较差场景，都可能导致车辆检测变的困难，这些基于计算机视觉的方法可能无法检测到车辆的存在，最为典型的应用场景是夜晚无灯光情况下，夜间检测黑色车辆变得尤为困难。目前主要的难点是检测和测量目标车辆距离，在该模式下仅可见目标车辆的刹车灯，很难获得目标车辆的边缘，尤其是在较远区域的黑色车辆，因此这些现有的车辆检测技术容易出现错误检测，导致准确性方面的检测效率降低，并使这种系统的可靠性受到影响。而不可靠的车辆检测对自动驾驶来说是非常危险的状况。因此业内已经开发出许多利用不同技术的检测系统和设备，其中，采用诸如毫米波雷达、激光雷达、超声波雷达、图像等多种传感器实现车辆检测是重要的手段。

发明内容

本发明提供一种夜间车辆检测方法、装置及系统，以解决现有车辆检测技术检测准确性和效率较低的问题。

第一方面，本发明提供一种夜间车辆检测方法，所述方法包括：

接收与目标车辆相关的雷达数据和图像，所述雷达数据至少包括所述目标车辆与主车辆之间的横向距离和纵向距离；

将所述雷达数据映射到所述图像中，得到雷达映射图；

检测所述目标车辆在所述图像中的位置；

确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点。

结合第一方面，在第一方面的第一种可实现方式中，将所述雷达数据映射到所述图像中，得到雷达映射图，包括：

根据所述目标车辆与主车辆之间的横向距离和纵向距离，获得所述图像的二维坐标；

将所述雷达数据映射到所述二维坐标中，得到雷达映射图；

根据所述目标车辆与主车辆之间的纵向距离，计算所述图像中在所述目标车辆的高度方向产生的偏移误差；

根据所述偏移误差，对所述雷达映射图进行误差补偿，得到误差补偿后的雷达映射图。

结合第一方面的第一种可实现方式，在第一方面的第二种可实现方式中，根据所述横向距离和所述纵向距离，计算所述图像中在所述目标车辆的高度方向产生的偏移误差，包括：

在水平视场角FOV为52度，1280*720像素的图像的情况下，根据S=（0.002 * D²）-0.5D + 33，计算所述图像中在所述目标车辆的高度方向产生的偏移误差；

其中，偏移量S是为了补偿在所述目标车辆的高度方向产生的偏移误差，需要在所述图像中减去的像素数，D是所述目标车辆与主车辆之间的纵向距离。

结合第一方面，在第一方面的第三种可实现方式中，检测所述目标车辆在所述图像中的位置，包括：

将所述图像转换为预处理后的图像，其中，所述预处理后的图像为YUV格式；

对所述预处理后的图像中的V分量进行滤波，得到滤波后的图像；

将所述滤波后的图像转换为二进制图像，进行二值化处理，获得灰度图；

检测所述目标车辆在所述二进制图像中的位置。

结合第一方面，在第一方面的第四种可实现方式中，确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点，包括：

根据所述目标车辆与主车辆之间的纵向距离，计算所述雷达映射图中的雷达映射图点的搜索区域；

根据所述搜索区域，计算高亮像素点数阈值；

识别所述雷达映射图点周围亮像素的数量；

如果所述亮像素的数量大于所述高亮像素点数阈值，确定所述雷达映射图点是与所述目标车辆在图像中的位置相关联的雷达映射图点。

结合第一方面的第四种可实现方式，在第一方面的第五种可实现方式中，根据所述目标车辆与主车辆之间的纵向距离，计算所述雷达映射图中的雷达映射图点的搜索区域H*V：

V = 6564/D；

H = 3692/D；

其中，H*V是所述搜索区域，V是所述搜索区域水平像素点数，H是所述搜索区域垂直像素点数，D是目标车辆与主车辆之间的纵向距离，搜索区域指示要在雷达映射图点附近搜索的图像中的像素数。

结合第一方面的第五种可实现方式，在第一方面的第六种可实现方式中，根据所述搜索区域，计算高亮像素点数阈值包括：

根据T = H*V/100计算所述高亮像素点数阈值，其中，T是高亮像素点数阈值；

同步地，使用L=1625/D计算高亮像素中心点的距离，其中，D是目标车辆与主车辆之间的纵向距离。

结合第一方面，在第一方面的第七种可实现方式中，确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点之前，所述方法还包括：将所述雷达数据指示为假目标。

第二方面，本发明提供一种夜间车辆检测装置，所述装置包括：

接收单元，用于接收与目标车辆相关的雷达数据和图像，所述雷达数据至少包括所述目标车辆与主车辆之间的横向距离和纵向距离；

映射单元，用于将所述雷达数据映射到所述图像中，得到雷达映射图；

检测单元，用于检测所述目标车辆在所述图像中的位置；

确定单元，用于确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点。

第三方面，本发明提供一种夜间车辆检测系统，所述系统包括：雷达传感器、图像传感器以及处理装置；

所述雷达传感器，用于采集与目标车辆有关的雷达数据；

所述图像传感器，用于采集与目标车辆有关的图像；

所述处理装置，用于接收与目标车辆相关的雷达数据和图像，所述雷达数据至少包括所述目标车辆与主车辆之间的横向距离和纵向距离，将所述雷达数据映射到所述图像中，得到雷达映射图，检测所述目标车辆在所述图像中的位置，确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点。

本发明的有益效果如下：本发明提供的一种夜间车辆检测方法、装置及系统，通过接收与目标车辆相关的雷达数据和图像，然后将雷达数据映射到图像中，得到雷达映射图，之后检测目标车辆在图像中的位置，最终确定雷达映射图中与目标车辆在图像中的位置相关联的雷达映射图点，本发明能够在夜间，特别是在目标车辆的能见度非常差的远距离处，检测目标车辆并测量其与本车辆的距离，克服了现有解决方案的局限性，增强了夜间车辆检测的鲁棒性，准确性和快速性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的夜间车辆检测方法的流程图；

图2为本发明实施例提供的夜间车辆检测方法的一种可选实施方式的流程图；

图3为本发明实施例提供的夜间车辆检测方法的一种可选实施方式的流程图；

图4为本发明实施例提供的夜间车辆检测方法的一种可选实施方式的流程图；

图5为本发明实施例提供的夜间车辆检测方法中确定搜索区域的示意图；

图6为本发明实施例提供的夜间车辆检测装置的示意图；

图7为本发明实施例提供的夜间车辆检测系统的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，结合本发明具体实施例及相应的附图对本发明技术方案进行详细描述。所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种夜间车辆检测方法。所述方法具体可以包括：

步骤S101，接收与目标车辆相关的雷达数据和图像，所述雷达数据至少包括所述目标车辆与主车辆之间的横向距离和纵向距离，目标车辆的ID信息、相对速度信息等。

其中，主车辆上设置雷达传感器和图像传感器，并进行毫米波雷达与图像传感器坐标系的标定。通过雷达传感器采集与目标车辆有关的雷达数据，通过图像传感器采集目标车辆的图像，并将相关数据传输到相关的运算单元。雷达数据至少包括所述目标车辆与主车辆之间的横向距离和纵向距离，目标车辆在雷达目标点的ID等信息，由于主车辆前方可能有多台车或多个障碍物目标，通过ID标记每一个目标的位置信息。

步骤S102，将所述雷达数据映射到所述图像中，得到雷达映射图，雷达检测到相关目标ID及相关ID目标的映射点图。

如图2所示，作为一种实施方式，将所述雷达数据映射到所述图像中，得到雷达映射图，具体可以包括：

步骤S201，根据所述目标车辆与主车辆之间的横向距离和纵向距离，获得所述图像的二维坐标，将接收到的雷达数据映射到图像中。

步骤S202，将所述雷达数据映射到所述二维坐标中，得到误差补偿前的雷达映射图。

在将接收到的雷达数据映射到图像中以获得雷达映射图时，通过对与目标车辆相对应的雷达数据进行滤波，综合基于与目标有关的多个点之间的关联来确定对应目标雷达目标点，并形成一个或多个雷达映射图点。由于在图像中仅映射了与目标车辆距主车辆的纵向和横向距离有关的二维数据，存在高度方向的偏移误差。因此，雷达映射图点位于目标车辆的底部。为了补偿此偏移误差，需要在图像中垂直减去几个像素。但是，在所有纵向距离上，需要相减的像素数都不相同。因此需要通过补偿与目标车辆的高度有关的偏移误差来获得更加准确的雷达映射图点，该偏移误差至少基于目标车辆与主车辆的纵向距离而确定。

步骤S203，根据所述目标车辆与主车辆之间的纵向距离，计算所述图像中在所述目标车辆的高度方向产生的偏移误差。

在本实施例中，可以根据S=（0.002 * D²）-0.5D + 33，计算所述图像中在所述目标车辆的高度方向产生的偏移误差。其中，偏移量S是为了补偿在所述目标车辆的高度方向产生的偏移误差，需要在所述图像中减去的像素数，D是所述目标车辆与主车辆之间的纵向距离，该算术中的参数为统计经验值。

步骤S204，根据所述偏移误差，对所述误差补偿前的雷达映射图进行误差补偿，得到误差补偿后的雷达映射图。

步骤S103，检测所述目标车辆在所述图像中的位置。

请参阅图3，作为一种可选的实施方式，检测所述目标车辆在所述图像中的位置，具体可以包括：

步骤S301，将所述图像转换为预处理后的图像，其中，所述预处理后的图像为YUV格式。

YUV格式将图像的颜色划分为Y，U和V值，并将亮度存储为Y值，并将色度存储为U和V值。因此，以任何合适的图像格式的接收图像被转换为YUV格式。

步骤S302，对所述预处理后的图像中的V分量进行滤波，得到滤波后的图像。

如果目标车辆在远处区域，则在夜间仅可见目标车辆的制动灯。由于大多数车辆的刹车灯是红色的，所以通过提取红色通道以检测车辆的存在，通过从YUV格式的预处理图像中过滤V分量来执行红色通道的提取。

步骤S303，将所述滤波后的图像转换为二进制图像。

在上述提取中获得滤波图像。此外，为了适当提取制动光以检测目标车辆的位置，可以将滤波后的图像转换为二进制图像。

步骤S304，检测所述目标车辆在所述二进制图像中的位置。

检测图像中目标车辆的位置以便确认雷达映射图点，对接收到的图像的进行处理时可以在雷达映射图点附近定义的区域中执行，极大缩小了搜索范围，由于未处理整个图像，因此减少了处理器的计算负荷。

步骤S104，确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点。

如图4所示，确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点，具体可以包括：

步骤S401，根据所述目标车辆与主车辆之间的纵向距离，计算所述雷达映射图中的雷达映射图点的搜索区域。

确定雷达映射图点与目标车辆在车辆中的检测位置时通过检测图像中的搜索区域来获得图像。如图5所示，假设在通用水平视场角FOV为52度，1280*720像素的图像中检测到图像中的雷达映射点，并根据该雷达映射点ID定位目标车辆可能存在区域，进行车辆尾灯的刹车灯光有关的像素的搜索。根据所述目标车辆与主车辆之间的纵向距离，基于车辆在图像中的像素点区域，并适当扩大1倍的检索区域，经过经验验证以及计算所述雷达映射图中的雷达映射图点的搜索区域H*V：

V = 6564/D；

H = 3692/D。

其中，H*V是所述搜索区域，V是所述搜索区域水平像素点数，H是所述搜索区域垂直像素点数，D是目标车辆与主车辆之间的纵向距离。搜索区域指示要在雷达映射图点附近搜索的图像中的像素数。

步骤S402，根据所述搜索区域，计算高亮像素点数阈值。具体地，根据所述搜索区域，计算高亮像素点数阈值具体可以包括：

根据刹车尾灯判断，搜索区域高亮像素数，像素数量阈值计算方法为：T = H*V/100。

其中，T是所述高亮像素点数阈值。

基于使用检测到的搜索区域确定高亮像素点数阈值的计算，确认雷达映射图点确认为图像中的目标车辆的位置。

同步的，使用L=1625/D计算高亮像素中心点的距离。

其中，D是目标车辆与主车辆之间的纵向距离。计算两个高亮像素中心点的距离，用于确认高亮像素为汽车刹车制动尾灯，基于使用检测到的搜索区域确定高亮像素距离的计算，将进一步确认雷达映射图点确认为图像中的目标车辆的位置。

步骤S403，识别所述雷达映射图点周围亮像素的数量。

具体地，可通过分析雷达映射图点周围明亮像素的数量来进行针对雷达映射图点的确认。通过步骤S4031判断亮像素的数量是否大于所述高亮像素点数阈值。

步骤S404，如果所述亮像素的数量大于所述高亮像素点数阈值，确定所述雷达映射图点是与所述目标车辆在图像中的位置相关联的雷达映射图点。

在雷达检测距离的顶部进行图像处理后，通过缩小检测区域，并基于图像二值化处理计算高亮像素点数、高亮像素中心距离等措施，解决夜晚图像检测的异常干扰以及错误检测。因此，与现有技术相比，本发明的实施例提供了更好的结果。

作为一种可选的实施方式，确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点之前，所述方法还包括：将所述雷达数据指示为假目标。假目标是指误检的情况，雷达传感器或者图像传感器单独使用时都可能存在误检的情况，例如显示有检测到车辆而实际却没有，或者把别的物体识别为车辆，因此，本发明在还未将雷达映射图点确认为图像中目标车辆的位置的情况下，处理器将雷达数据指示为假目标，可以减少误检和误检后的输出。

请参阅图6，本发明实施例还提供一种夜间车辆检测装置，所述装置包括：

接收单元601，用于接收与目标车辆相关的雷达数据和图像，所述雷达数据至少包括所述目标车辆与主车辆之间的横向距离和纵向距离。

映射单元602，用于将所述雷达数据映射到所述图像中，得到雷达映射图。

检测单元603，用于检测所述目标车辆在所述图像中的位置。

确定单元604，用于确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点。

请参阅图7，本发明实施例还提供一种夜间车辆检测系统，系统包括：雷达传感器11、图像传感器12以及处理装置2。雷达传感器11，用于采集与目标车辆有关的雷达数据。图像传感器12，用于采集与目标车辆有关的图像。处理装置2，用于接收与目标车辆相关的雷达数据和图像，雷达数据至少包括目标车辆与主车辆之间的横向距离和纵向距离，将雷达数据映射到图像中，得到雷达映射图，检测目标车辆在图像中的位置，确定雷达映射图中与目标车辆在图像中的位置相关联的雷达映射图点。

在本实施例中，在夜间车辆检测系统包括输入装置1、处理装置2和出输出装置3。其中，输入单元1包括一个或多个雷达传感器11，以采集与目标车辆有关的雷达数据。用于短程或长程检测的雷达传感器11可以位于主车辆和目标车辆的前面和后面。此外，输入单元1还包括配置在车辆中的一个或多个图像传感器12或摄像头，以捕获主车辆的视野的图像。

在本实施例中，图像传感器12或摄像头可以放置在主车辆的前部。处理装置2可以包括处理器22和存储器23，或可以与车辆的现有系统和控制集成在一起，以实现自动驾驶或智能驾驶相关功能。

处理装置2可以包括一个或多个处理器22。一个或多个处理器22可以被实现为一个或多个微处理器，或相关的中央处理单元，该处理器22可以实现相关图像或雷达数据运算、处理及相关算法运算。处理装置2中存储器23可以存储实现处理器22相关功能的算法、应用或者数据。

存储器23中的相关功能算法、应用或者数据可以在本地运算处理器处理，也可以在分布式计算环境中实践。在本实施例中，存储器23中的相关功能的算法、应用或者数据执行本发明实施例提供的一种夜间车辆检测方法。本发明的实施例利用了雷达和图像两种方法的集成，因此能够通过消除所有错误检测来检测实际目标车辆，同时增加检测的精确性、速度等。本发明的各种实施例利用了几个独特的特征。例如，目标车辆的检测与车辆特征无关。此外，本发明的实施例利用雷达数据并将其转换成与本车辆的视野有关的图像，使得局部图像可以在雷达映射图点区域周围执行处理，以确认是否存在目标车辆或雷达数据是否为假目标。局部图像处理这减少了处理器上的计算负担。

处理装置2还可以包括接口21。接口21可以包括各种接口，例如，用于数据输入和输出设备的接口，被称为I / 0设备，存储设备等。接口21还可以提供用于处理装置2的一个或多个组件的通信路径。这样的组件的示例包括但不限于处理引擎25和数据24。处理引擎25可以被实现为硬件和算法、数据处理的组合，以实现处理引擎25的一个或多个功能。在本示例中，处理装置2可以包括存储指令和执行指令的处理资源的机器可读存储介质，或者机器可读存储介质可以是分离的，但是处理装置2和处理资源可以访问。在其他示例中，处理引擎25可以由电子电路实现。数据24可以包括由于处理引擎25的任何组件所实现的功能而被存储或生成的数据。在示例性实施例中，引擎25可以包括数据接收模块251，雷达数据映射模块252，图像处理模块253，关联决策模块254和其他模块255。

数据接收模块251接收与目标车辆相关的雷达数据和图像，所述雷达数据至少包括所述目标车辆与主车辆之间的横向距离和纵向距离。雷达数据映射模块252将所述雷达数据映射到所述图像中，得到雷达映射图。图像处理模块253检测所述目标车辆在所述图像中的位置。关联决策模块254确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点。

本发明实施例中的技术方案本质上是基于一套完整的软硬件平台来实现，硬件包括传感器输入、中央处理单元、数据处理模块、存储介质、以及车机通讯输出接口等，软件部分包括雷达数据映射、图像处理、图像或雷达数据存储、相关算法及应用可执行程序等执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于夜间车辆检测装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (2)

1.一种夜间车辆检测方法，其特征在于，所述方法包括：

步骤S101：接收与目标车辆相关的雷达数据和图像，所述雷达数据至少包括所述目标车辆与主车辆之间的横向距离和纵向距离；

步骤S102：将所述雷达数据映射到所述图像中，得到雷达映射图，包括：

根据所述目标车辆与主车辆之间的横向距离和纵向距离，获得所述图像的二维坐标；

将所述雷达数据映射到所述二维坐标中，得到雷达映射图；

根据所述目标车辆与主车辆之间的纵向距离，计算所述图像中在所述目标车辆的高度方向产生的偏移误差；在水平视场角FOV为52度，1280*720像素的图像的情况下，根据S=（0.002 * D²）-0.5D + 33，计算所述图像中在所述目标车辆的高度方向产生的偏移量；其中，偏移量S是为了补偿在所述目标车辆的高度方向产生的偏移误差，需要在所述图像中减去的像素数，D是所述目标车辆与主车辆之间的纵向距离；

根据所述偏移误差，对所述雷达映射图进行误差补偿，得到误差补偿后的雷达映射图；

步骤S103：检测所述目标车辆在所述图像中的位置，包括：

将所述图像转换为预处理后的图像，其中，所述预处理后的图像为YUV格式；

对所述预处理后的图像中的V分量进行滤波，得到滤波后的图像；

将所述滤波后的图像转换为二进制图像；

检测所述目标车辆在所述二进制图像中的位置；

步骤S104：确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点，包括：

根据所述目标车辆与主车辆之间的纵向距离，计算所述雷达映射图中的雷达映射图点的搜索区域H*V：

V = 6564/D；

H = 3692/D；

其中，H*V是所述搜索区域，V是所述搜索区域水平像素点数，H是所述搜索区域垂直像素点数，D是目标车辆与主车辆之间的纵向距离，搜索区域指示要在雷达映射图点附近搜索的图像中的像素数；

根据所述搜索区域，计算高亮像素点数阈值：根据T = H*V/100，计算所述高亮像素点数阈值，其中，T是高亮像素点数阈值；

同步地，使用L=1625/D计算高亮像素中心点的距离，其中，L是高亮像素中心点的距离，D是目标车辆与主车辆之间的纵向距离；

识别所述雷达映射图点周围亮像素的数量；

如果所述亮像素的数量大于所述高亮像素点数阈值，确定所述雷达映射图点是与所述目标车辆在图像中的位置相关联的雷达映射图点。

2.如权利要求1所述的方法，其特征在于，确定所述雷达映射图中与所述目标车辆在图像中的位置相关联的雷达映射图点之前，所述方法还包括：

将所述雷达数据指示为假目标。

Images