CN115063778A - 一种基于双目相机的车前行人测距方法及终端 - Google Patents

Abstract

本发明提供一种基于双目相机的车前行人测距方法及终端，包括：对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于双目相机预先拍摄的行人视频集训练得到行人识别模型；启动双目相机，采用行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，若识别到行人目标则提取行人目标在当前车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；随机提取行人目标的多个关键节点，并在ROI深度图中获取各个关键节点的深度信息，以各个关键节点的深度信息的均值作为行人距离，并将识别到行人目标的车前图像和行人距离实时显示在车载显示屏中。本发明可在行人前方有遮挡物的情况下快速且精确地测量车辆与目标行人的距离。

Description

一种基于双目相机的车前行人测距方法及终端

技术领域

本发明涉及车辆自动驾驶技术领域，尤其是涉及一种基于双目相机的车前行人测距方法及终端。

背景技术

自动驾驶汽车是汽车领域今后发展的主流，在基于视觉导航的自动驾驶系统中，目标的检测和测距是其中的关键技术，决定了自动驾驶系统的性能。

现有的基于双目相机立体视觉的自动驾驶辅助目标检测的方法主要是通过同步采集双目相机的左右目图像，获取图像的深度图，并输出目标障碍物的位置信息。

但这种方法非常消耗计算时间，并且当目标障碍物前方有其他障碍物阻挡时，输出的位置信息会存在误差。

发明内容

本发明所要解决的技术问题是：提供一种基于双目相机的车前行人测距方法及终端，可以在行人前方有遮挡物的情况下快速且精确地测量车辆与目标行人的距离，克服现有基于双目相机的行人检测和测距中存在的检测速度不足和检测精度不够的缺陷。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于双目相机的车前行人测距方法，包括步骤：

S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；

S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；

S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。

为了解决上述技术问题，本发明采用的另一个技术方案为：

一种基于双目相机的车前行人测距终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：

S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；

S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；

S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。

本发明的有益效果在于：本发明提供一种基于双目相机的车前行人测距方法及终端，通过在车辆外侧顶端部署一双目相机，对双目相机进行标定、立体匹配以及行人识别模型训练，当车辆在自动驾驶过程中，可以及时通过行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，并通过获取去除了遮挡在行人前方的遮挡物后的ROI深度图计算行人目标的多个关键节点在ROI深度图上的深度信息的均值，作为当前行人与车辆的距离，并实时显示在车载显示屏中，即通过人体关键节点的检测和感兴趣区域的提取，提高了车前行人检测和测距的速率和精度，并且当行人目标前方有遮挡物阻挡时也不妨碍行人的识别和距离的测量，满足了在复杂的交通环境下自动驾驶车辆快速且精确地测量与车前行人的距离。

附图说明

图1为本发明实施例的一种基于双目相机的车前行人测距方法的整体流程图；

图2为本发明实施例的一种基于双目相机的车前行人测距方法的具体流程图；

图3为本发明实施例的一种基于双目相机的车前行人测距终端的结构示意图。

标号说明：

1、一种基于双目相机的车前行人测距终端；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

在此之前，对本发明中涉及到的英文缩写及专业术语进行如下释义：

1、ROI，Region Of Interest，感兴趣区域；

2、AlphaPose代码，一种开源的人体姿态识别代码；

3、SGBM算法，semi-global block matching，一种用于计算双目视觉中视差(disparity)的半全局匹配算法；

4、SAD，Sum of absolute differences，一种图像匹配算法；

5、张氏标定法，张正友博士在1999年发表在国际顶级会议ICCV上的论文《Flexible Camera Calibration By Viewing a Plane From Unknown Orientations》中提出的一种利用平面棋盘格进行相机标定的实用方法；

6、yolov4神经网络算法，一种基于神经网络的目标检测算法。

请参照图1及图2，一种基于双目相机的车前行人测距方法，包括步骤：

S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；

S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；

S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。

由上述描述可知，本发明的有益效果在于：通过在车辆外侧顶端部署一双目相机，对双目相机进行标定、立体匹配以及行人识别模型训练，当车辆在自动驾驶过程中，可以及时通过行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，并通过获取去除了遮挡在行人前方的遮挡物后的行人目标ROI深度图计算行人目标的多个关键节点在ROI深度图上的深度信息的均值，作为当前行人与车辆的距离，并实时显示在车载显示屏中，即通过人体关键节点的检测和感兴趣区域的提取，提高了车前行人检测和测距的速率和精度，并且当行人目标前方有遮挡物阻挡时也不妨碍行人的识别和距离的精确测量，满足了在复杂的交通环境下自动驾驶车辆快速且精确地测量与车前行人的距离。

进一步地，所述步骤S2具体为：

S21、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像逐帧进行行人目标识别，若识别到所述行人目标，则执行步骤S22和步骤S23，否则继续识别下一帧所述车前图像；

S22、截取所述行人目标在当前帧下的所述车前图像上的最小外切矩形区域，并获取所述最小外切矩形的四个顶点坐标，生成图像掩膜；

S23、提取所述图像掩膜中所述行人目标所在的ROI区域，去除背景信息及位于所述行人目标前方的遮挡物信息后采用所述立体匹配对所述ROI区域进行立体校正，得到ROI深度图。

由上述描述可知，先采用行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，只需对识别到行人目标的车前图像进行后续处理，而无需对未识别到行人目标的车前图像进行处理，提高驾驶过程中车前行人识别的效率；同时通过对识别到行人目标的车前图像进行行人目标区域截取，获取行人所在的ROI区域后去除ROI区域的遮挡物和背景信息，再进行立体匹配得到仅仅只有行人区域的ROI深度图，不仅减小了双目相机的图像处理压力，也避免了行人前方有遮挡物遮挡造成后续车前行人距离测量的误差，进一步提高了测距的精度。

进一步地，所述步骤S3中随机提取所述行人目标的多个关键节点，具体为：

利用AlphaPose代码随机提取所述行人目标的18个关键节点。

由上述描述可知，通过人体姿态识别代码——AlphaPose代码提取识别到的行人目标的18个关键节点，后续由多个关键节点确定最终的车前行人距离，进一步提高距离测量的精度。

进一步地，所述步骤S1中对双目相机进行标定，具体为：

采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；

所述步骤S1中对所述双目相机进行立体匹配，具体为：

采用SGBM算法，从所述双目相机预先拍摄的所述行人视频集中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参和所述外参对所述某一帧图像进行立体校正，得到校正完成的图像深度图；

对所述图像深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述图像深度图的深度信息与所述某一帧图像对应帧下的行人距所述双目相机的实际距离之间的误差小于预设距离为止。

由上述描述可知，采用张氏标定法对双目相机进行标定，标定过程仅需使用一个棋盘格，并从不同的方向拍摄几组图像即可，不仅实用、灵活方便，且精度高，鲁棒性好；同时采用SGBM算法对标定得到的双目相机的参数进行畸变校正和立体校正，以修正视差产生的错误匹配，使得双目相机的距离测量精度更为精准。

进一步地，所述步骤S1中基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型，具体为：

采用yolov4神经网络算法，利用所述双目相机预先拍摄车辆行驶过程中在不同场景下的行人图像，对所述行人图像中的行人进行标记，并将标记好的所述行人图像按预设比例随机划分为训练集、测试集和验证集，进行训练、测试和验证后最终得到所述行人识别模型。

由上述描述可知，通过yolov4神经网络算法进行双目相机的行人识别模型训练，后续直接通过行人识别模型对双目相机实时拍摄的车前图像进行行人识别，快速准确。

请参照图3，一种基于双目相机的车前行人测距终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：

S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；

S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；

S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到的所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。

由上述描述可知，本发明的有益效果在于：基于同一技术构思，配合上述的一种基于双目相机的车前行人测距方法，提供一种基于双目相机的车前行人测距终端，通过在车辆外侧顶端部署一双目相机，对双目相机进行标定、立体匹配以及行人识别模型训练，当车辆在自动驾驶过程中，可以及时通过行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，并通过获取去除了遮挡在行人前方的遮挡物后的ROI深度图计算行人目标的多个关键节点在ROI深度图上的深度信息的均值，作为当前行人与车辆的距离，并实时显示在车载显示屏中，即通过人体关键节点的检测和感兴趣区域的提取，提高了车前行人检测和测距的速率和精度，并且当行人目标前方有遮挡物阻挡时也不妨碍，满足了在复杂的交通环境下自动驾驶车辆快速且精确地测量与车前行人的距离。

进一步地，所述步骤S2具体为：

S21、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像逐帧进行行人目标识别，若识别到所述行人目标，则执行步骤S22和步骤S23，否则继续识别下一帧所述车前图像；

S22、截取所述行人目标在当前帧下的所述车前图像上的最小外切矩形区域，并获取所述最小外切矩形的四个顶点坐标，生成图像掩膜；

S23、提取所述图像掩膜中所述行人目标所在的ROI区域，去除背景信息及位于所述行人目标前方的遮挡物信息后采用所述立体匹配对所述ROI区域进行立体校正，得到ROI深度图。

由上述描述可知，先采用行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，只需对识别到行人目标的车前图像进行后续处理，而无需对未识别到行人目标的车前图像进行处理，提高驾驶过程中车前行人识别的效率；同时通过对识别到行人目标的车前图像进行行人目标区域截取，获取行人所在的ROI区域后去除ROI区域的遮挡物和背景信息，再进行立体匹配得到仅仅只有行人区域的ROI深度图，不仅减小了双目相机的图像处理压力，也避免了行人前方有遮挡物遮挡造成后续车前行人距离测量的误差，进一步提高了测距的精度。

进一步地，所述步骤S3中随机提取所述行人目标的多个关键节点，具体为：

利用AlphaPose代码随机提取所述行人目标的18个关键节点。

由上述描述可知，通过人体姿态识别代码——AlphaPose代码提取识别到的行人目标的18个关键节点，后续由多个关键节点确定最终的车前行人距离，进一步提高距离测量的精度。

进一步地，所述步骤S1中对双目相机进行标定，具体为：

采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；

所述步骤S1中对所述双目相机进行立体匹配，具体为：

采用SGBM算法，从所述双目相机预先拍摄的所述行人视频集中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参和所述外参对所述某一帧图像进行立体校正，得到校正完成的图像深度图；

对所述图像深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述图像深度图的深度信息与所述某一帧图像对应帧下的行人距所述双目相机的实际距离之间的误差小于预设距离为止。

由上述描述可知，采用张氏标定法对双目相机进行标定，标定过程仅需使用一个棋盘格，并从不同的方向拍摄几组图像即可，不仅实用、灵活方便，且精度高，鲁棒性好；同时采用SGBM算法对标定得到的双目相机的参数进行畸变校正和立体校正，以修正视差产生的错误匹配，使得双目相机的距离测量精度更为精准。

进一步地，所述步骤S1中基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型，具体为：

采用yolov4神经网络算法，利用所述双目相机预先拍摄车辆行驶过程中在不同场景下的行人图像，对所述行人图像中的行人进行标记，并将标记好的所述行人图像按预设比例随机划分为训练集、测试集和验证集，进行训练、测试和验证后最终得到所述行人识别模型。

由上述描述可知，通过yolov4神经网络算法进行双目相机的行人识别模型训练，后续直接通过行人识别模型对双目相机实时拍摄的车前图像进行行人识别，快速准确。

本发明提供的一种基于双目相机的车前行人测距方法及终端，适用于自动驾驶车辆在行驶过程中对出现在车辆前方的行人进行及时识别及准确距离测量，并显示给乘车人员以及时做出相应处理，以下结合实施例具体说明。

请参照图1，本发明的实施例一为：

一种基于双目相机的车前行人测距方法，如图1所示，包括步骤：

S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于双目相机预先拍摄的行人视频集训练得到行人识别模型。

S2、启动双目相机，采用行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，若识别到行人目标则提取行人目标在当前车前图像上的ROI区域，并去除遮挡物后得到ROI深度图。

S3、随机提取行人目标的多个关键节点，并在ROI深度图中获取各个关键节点的深度信息，以各个关键节点的深度信息的均值作为行人距离，并将识别到行人目标的车前图像和行人距离实时显示在车载显示屏中。

即在本实施例中，首先可以通过在车辆外侧顶端部署一双目相机，并调节双目相机的位置和角度，使其可以清晰地拍摄到车辆前方的景象，然后对固定好的双目相机进行标定、立体匹配以及行人识别模型训练，当车辆在自动驾驶过程中，可以及时通过行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，并通过获取去除了遮挡在行人前方的遮挡物后的ROI深度图计算行人目标的多个关键节点在ROI深度图上的深度信息的均值，作为当前行人与车辆的距离，并实时显示在车载显示屏中，即通过人体关键节点的检测和感兴趣区域的提取，提高了车前行人检测和测距的速率和精度，并且当行人目标前方有遮挡物阻挡时也不妨碍行人的识别和距离的精确测量，满足了在复杂的交通环境下自动驾驶车辆快速且精确地测量与车前行人的距离。在本实施例中，可以在车辆内部设置一个中央处理控制器，例如树莓派等，并采用千兆网线将树莓派、车载显示屏和双目相机连接在同一个网络下，实现各设备之间的通信传输，比如双目相机将拍摄的图像传输到树莓派中，行人识别模型的训练、双目相机的标定及立体匹配过程等也均可以在树莓派中实现，然后在树莓派中采用行人识别模型对双目相机实时拍摄的车前图像进行行人识别及行人距离测量后再传输到车载显示屏中进行显示。

请参照图2，本发明的实施例二为：

一种基于双目相机的车前行人测距方法，在上述实施例一的基础上，在本实施例中，步骤S1中对双目相机进行标定，具体为：

采用张氏标定法和棋盘格对双目相机进行标定，获取双目相机的内参、外参和畸变参数。在本实施例中，获取的双目相机的内参、外参和畸变参数分别为：内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量。

即在本实施例中，通过采用张氏标定法对双目相机进行标定，标定过程仅需使用一个棋盘格，并从不同的方向拍摄几组图像即可，不仅实用、灵活方便，且精度高，鲁棒性好。

其中，步骤S1中对双目相机进行立体匹配，具体为：

采用SGBM算法，从双目相机预先拍摄的行人视频集中获取某一帧图像，并利用畸变参数对某一帧图像进行畸变校正、利用内参和外参对某一帧图像进行立体校正，得到校正完成的图像深度图；

对图像深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到图像深度图的深度信息与某一帧图像对应帧下的行人距双目相机的实际距离之间的误差小于预设距离为止。

即在本实施例中，同时采用SGBM算法对标定得到的双目相机的参数进行畸变校正和立体校正，以修正视差产生的错误匹配，使得双目相机的距离测量精度更为精准。在本实施例中，步骤S22中的预设距离可以设置为0.1m。

其中，在本实施例中，步骤S1中基于双目相机预先拍摄的行人视频集训练得到行人识别模型，具体为：

采用yolov4神经网络算法，利用双目相机预先拍摄车辆行驶过程中在不同场景下的行人图像，对行人图像中的行人进行标记，并将标记好的行人图像按预设比例随机划分为训练集、测试集和验证集，进行训练、测试和验证后最终得到行人识别模型。

即通过yolov4神经网络算法训练双目相机的行人识别模型，后续直接通过行人识别模型对双目相机实时拍摄的车前图像进行行人识别，快速准确。

其中，在本实施例中，步骤S2具体为：

S21、启动双目相机，采用行人识别模型对双目相机实时拍摄的车前图像逐帧进行行人目标识别，若识别到行人目标，则执行步骤S22和步骤S23，否则继续识别下一帧车前图像。

S22、截取行人目标在当前帧下的车前图像上的最小外切矩形区域，并获取最小外切矩形的四个顶点坐标，生成图像掩膜。

S23、提取图像掩膜中行人目标所在的ROI区域，去除背景信息及位于行人目标前方的遮挡物信息后采用立体匹配对ROI区域进行立体校正，得到ROI深度图。

即在本实施例中，先采用行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，只需对识别到行人目标的车前图像进行后续处理，而无需对未识别到目标行人的车前图像进行处理，提高驾驶过程中车前行人识别的效率；同时通过对识别到行人目标的车前图像进行行人目标区域截取，获取行人所在的ROI区域后去除ROI区域的遮挡物和背景信息，再进行立体匹配得到仅仅只有行人区域的ROI深度图，不仅减小了双目相机的图像处理压力，也避免了行人前方有遮挡物遮挡造成后续车前行人距离测量的误差，进一步提高了测距的精度。

然后，在获取了ROI深度图后，需要获取行人目标的关键节点，即步骤S3中随机提取行人目标的多个关键节点，在本实施例中具体为：

利用AlphaPose代码随机提取行人目标的18个关键节点。

即通过人体姿态识别代码——AlphaPose代码提取识别到的行人目标的18个关键节点，后续由多个关键节点的深度信息的均值以确定最终的车前行人距离，进一步提高距离测量的精度。在本实施例中，AlphaPose代码可以预先部署在车辆内部的中央处理器中。

请参照图3，本发明的实施例三为：

一种基于双目相机的车前行人测距终端1，包括存储器2、处理器3以及存储在存储器2是上并可在处理器3上执行的计算机程序，在本实施例中，处理器3执行计算机程序时实现上述实施例一至实施例二中任一实施例的步骤。

综上所述，本发明提供的一种基于双目相机的车前行人测距方法及终端，通过在车辆外侧顶端部署一双目相机，对双目相机进行标定、立体匹配以及行人识别模型训练，当车辆在自动驾驶过程中，可以及时通过行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，并通过获取去除遮挡在行人前方的遮挡物后的行人目标的ROI深度图计算行人目标的多个关键节点在ROI深度图上的深度信息的均值，作为当前行人与车辆的距离，并实时显示在车载显示屏中，即使车前有遮挡也不妨碍行人的识别和距离的测量，满足了在复杂的交通环境下自动驾驶车辆快速且精确地测量与车前行人的距离。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于双目相机的车前行人测距方法，其特征在于，包括步骤：

S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；

S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；

S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。

2.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S2具体为：

S21、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像逐帧进行行人目标识别，若识别到所述行人目标，则执行步骤S22和步骤S23，否则继续识别下一帧所述车前图像；

S22、截取所述行人目标在当前帧下的所述车前图像上的最小外切矩形区域，并获取所述最小外切矩形的四个顶点坐标，生成图像掩膜；

S23、提取所述图像掩膜中所述行人目标所在的ROI区域，去除背景信息及位于所述行人目标前方的遮挡物信息后采用所述立体匹配对所述ROI区域进行立体校正，得到ROI深度图。

3.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S3中随机提取所述行人目标的多个关键节点，具体为：

利用AlphaPose代码随机提取所述行人目标的18个关键节点。

4.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S1中对双目相机进行标定，具体为：

采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；

所述步骤S1中对所述双目相机进行立体匹配，具体为：

采用SGBM算法，从所述双目相机预先拍摄的所述行人视频集中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参和所述外参对所述某一帧图像进行立体校正，得到校正完成的图像深度图；

对所述图像深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述图像深度图的深度信息与所述某一帧图像对应帧下的行人距所述双目相机的实际距离之间的误差小于预设距离为止。

5.根据权利要求4所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S1中基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型，具体为：

采用yolov4神经网络算法，利用所述双目相机预先拍摄车辆行驶过程中在不同场景下的行人图像，对所述行人图像中的行人进行标记，并将标记好的所述行人图像按预设比例随机划分为训练集、测试集和验证集，进行训练、测试和验证后最终得到所述行人识别模型。

6.一种基于双目相机的车前行人测距终端，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：

S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；

S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；

S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。

7.根据权利要求6所述的一种基于双目相机的车前行人测距终端，其特征在于，所述步骤S2具体为：

S21、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像逐帧进行行人目标识别，若识别到所述行人目标，则执行步骤S22和步骤S23，否则继续识别下一帧所述车前图像；

S22、截取所述行人目标在当前帧下的所述车前图像上的最小外切矩形区域，并获取所述最小外切矩形的四个顶点坐标，生成图像掩膜；

S23、提取所述图像掩膜中所述行人目标所在的ROI区域，去除背景信息及位于所述行人目标前方的遮挡物信息后采用所述立体匹配对所述ROI区域进行立体校正，得到ROI深度图。

8.根据权利要求6所述的一种基于双目相机的车前行人测距终端，其特征在于，所述步骤S3中随机提取所述行人目标的多个关键节点，具体为：

利用AlphaPose代码随机提取所述行人目标的18个关键节点。

9.根据权利要求6所述的一种基于双目相机的车前行人测距终端，其特征在于，所述步骤S1中对双目相机进行标定，具体为：

采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；

所述步骤S1中对所述双目相机进行立体匹配，具体为：

采用SGBM算法，从所述双目相机预先拍摄的所述行人视频集中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参和所述外参对所述某一帧图像进行立体校正，得到校正完成的图像深度图；

对所述图像深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述图像深度图的深度信息与所述某一帧图像对应帧下的行人距所述双目相机的实际距离之间的误差小于预设距离为止。

10.根据权利要求9所述的一种基于双目相机的车前行人测距终端，其特征在于，所述步骤S1中基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型，具体为：

采用yolov4神经网络算法，利用所述双目相机预先拍摄车辆行驶过程中在不同场景下的行人图像，对所述行人图像中的行人进行标记，并将标记好的所述行人图像按预设比例随机划分为训练集、测试集和验证集，进行训练、测试和验证后最终得到所述行人识别模型。

Images