CN113673493A - 一种基于工业车辆视觉的行人感知和定位的方法和系统 - Google Patents

Abstract

本申请涉及一种基于工业车辆视觉的行人感知和定位的方法和系统，其中，该方法包括：通过图像采集设备单元采集环境图像，并通过感知处理单元对环境图像进行双目立体视觉匹配，得到视差图，通过相机标定结果对视差图进行三维重建，得到3D点云图；接着，感知处理单元对摄像头位姿和地面进行标定，并对环境图像进行行人目标检测处理，定位得到行人窗口，感知处理单元将行人窗口与3D点云图进行融合，得到环境图像中行人所在区域的立体重建信息；最后，感知处理单元通过摄像头位姿和地面标定结果，对行人所在区域的障碍物进行地面投影，处理得到行人与车辆之间的距离和方位信息。通过本申请，提升了工业车辆作业的安全性。

Description

一种基于工业车辆视觉的行人感知和定位的方法和系统

技术领域

本申请涉及汽车感知技术领域，特别是涉及一种基于工业车辆视觉的行人感知和定位的方法和系统。

背景技术

工业车辆往往视野盲区大，而操作员又需同时兼顾多个操作面，很容易顾此失彼。因此，为了提高行车安全，工业车辆需要一种能主动对行人进行感知与定位的手段，为操作员对车辆周边态势的研判提供依托。

现如今，随着图像采集处理设备和计算机视觉的发展，复杂背景下人员等目标的实时监测、物体空间位置信息感知等技术已经相对成熟。因此，利用机器视觉辅助工业车辆或机械实现人员感知与定位已成为当前需要解决的实际工程问题。

然而在相关技术中，工业车辆在实际使用中受到设备成本的限制。

目前针对相关技术中，在工业车辆或机械的视觉下对人员进行感知与定位时，存在的成本高、准确度较低和实时性差的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于工业车辆视觉的行人感知和定位的方法和系统，以至少解决相关技术中在工业车辆或机械的视觉下对人员进行感知与定位时，存在的成本高、准确度较低和实时性差的问题。

第一方面，本申请实施例提供了一种基于工业车辆视觉的行人感知和定位的方法，应用于基于工业车辆双目视觉进行行人感知与定位的系统中，所述系统包括：图像采集设备单元和感知处理单元；

通过所述图像采集设备单元采集环境图像，并通过所述感知处理单元对所述环境图像进行双目立体视觉匹配，得到视差图，通过相机标定结果对所述视差图进行三维重建，得到3D点云图；

所述感知处理单元对摄像头位姿和地面进行标定，并对所述环境图像进行行人目标检测处理，定位得到行人窗口，所述感知处理单元将所述行人窗口与所述3D点云图进行融合，得到所述环境图像中行人所在区域的立体重建信息；

所述感知处理单元通过摄像头位姿和地面标定结果，对所述行人所在区域的障碍物进行地面投影，处理得到行人与车辆之间的距离和方位信息。

在其中一些实施例中，在通过所述感知处理单元对所述环境图像进行双目立体视觉匹配之前，所述方法包括：

对相机进行标定，通过标定物坐标与所述环境图像点之间的对应关系，得到相机系统的内外参数；

根据所述相机系统的内外参数，对所述环境图像的像素坐标进行校正处理，得到像素的灰度值。

在其中一些实施例中，所述通过所述感知处理单元对所述环境图像进行双目立体视觉匹配，得到视差图包括：

通过水平Sobel算子对所述环境图像进行预处理，得到所述环境图像的梯度信息；

通过采样计算得到所述梯度信息的梯度代价计算，并得到所述环境图像的SAD代价计算，并根据动态规划得到总匹配代价；

对经过处理的环境图像进行唯一性检测、亚像素插值和左右一致性检测，最终得到所述视差图。

在其中一些实施例中，所述对所述环境图像进行行人目标检测处理包括：

对所述环境图像进行局部跨阶段卷积提取特征，下采样得到多尺度分支，并对所述多尺度分支进行特征聚合和特征距离，得到多尺度特征图；

对所述多尺度特征图进行转译操作，得到多个目标预测向量，并将所述多个目标预测向量进行sigmoid函数还原和非极大值抑制处理，筛选得到最适合的目标预测向量。

在其中一些实施例中，在对所述环境图像进行局部跨阶段卷积提取特征之前，所述方法包括：

对所述环境图像进行图像几何校正，并对校正后的环境图像进行尺寸归一和切片处理。

在其中一些实施例中，所述感知处理单元将所述行人窗口与所述3D点云图进行融合包括：

根据所述行人窗口在所述视差图上进行裁剪，得到对应区域，并对所述区域进行三维重建，得到所述行人窗口的3D点云信息；

将所述3D点云进行地平面投影，得到投影点，针对所述投影点进行快速密度峰聚类，确定所述投影点的最集中区域，并在所述最集中区域中，通过距离三分位数确定投影中心点，得到行人的投影位置。

在其中一些实施例中，将所述3D点云进行地平面投影，得到投影点包括：

在所述3D点的离地高度小于预设高度阈值的情况下，或者所述3D点在地平面以下时，所述3D点均不产生投影点。

第二方面，本申请实施例提供了一种基于工业车辆视觉的行人感知和定位的系统，所述系统包括：图像采集设备单元和感知处理单元，其中，所述感知处理单元与所述图像采集设备单元双向通讯连接；

所述图像采集设备单元采集环境图像，并通过所述感知处理单元对所述环境图像进行双目立体视觉匹配，得到视差图，通过相机标定结果对所述视差图进行三维重建，得到3D点云图；

所述感知处理单元对摄像头位姿和地面进行标定，并对所述环境图像进行行人目标检测处理，定位得到行人窗口，所述感知处理单元将所述行人窗口与所述3D点云图进行融合，得到所述环境图像中行人所在区域的立体重建信息；

所述感知处理单元通过摄像头位姿和地面标定结果，对所述行人所在区域的障碍物进行地面投影，处理得到行人与车辆之间的距离和方位信息。

在其中一些实施例中，所述系统还包括CAN通讯单元，

所述CAN通讯单元为所述系统与车辆之间的交互提供通讯接口，其中，所述CAN通讯单元与所述感知处理单元双向通讯连接。

在其中一些实施例中，所述系统还包括电源，

所述电源由车辆的车载控制器提供，其中，所述电源与所述图像采集设备单元、所述感知处理单元和CAN通讯单元通过电连接。

相比于相关技术，本申请实施例提供的基于工业车辆视觉的行人感知和定位的方法，应用于基于工业车辆双目视觉进行行人感知与定位的系统中，该系统包括：图像采集设备单元和感知处理单元；具体地，通过图像采集设备单元采集环境图像，并通过感知处理单元对环境图像进行双目立体视觉匹配，得到视差图，通过相机标定结果对视差图进行三维重建，得到3D点云图；接着，感知处理单元对摄像头位姿和地面进行标定，并对环境图像进行行人目标检测处理，定位得到行人窗口，感知处理单元将行人窗口与3D点云图进行融合，得到环境图像中行人所在区域的立体重建信息；最后，感知处理单元通过摄像头位姿和地面标定结果，对行人所在区域的障碍物进行地面投影，处理得到行人与车辆之间的距离和方位信息。

本申请通过对系统部署的实时场景进行分析，检测附近行人，并进行位置准确定位，实现实时快速地对车辆附近人员进行检测和定位的效果。解决了在工业车辆或机械的视觉下对人员进行感知与定位时，存在的成本高、准确度较低和实时性差的问题。可应用于多种工业车辆环境或大型机械环境下，提升了工业车辆作业的安全性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于工业车辆视觉的行人感知和定位的系统的结构框图；

图2是根据本申请实施例的基于工业车辆视觉的行人感知和定位的方法的流程图；

图3是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种基于工业车辆视觉的行人感知和定位的系统，该系统包括：图像采集设备单元和感知处理单元，其中，感知处理单元与图像采集设备单元双向通讯连接。需要说明的是，图像采集设备单元由安装于车辆后部的双目深度相机和对应的支架、线材组成，主要负责实时采集车辆后方视野弱区的双目图像。其中，用于采集图像的双目深度相机的基线为120mm，能采集到车后方大于120°视野范围，以及介于0.2米至8米距离范围的环境图像。感知处理单元则是整个系统的核心组成部分，承担采集图像信息并分析处理的工作。

具体地，图像采集设备单元采集环境图像，并通过感知处理单元对环境图像进行双目立体视觉匹配，得到视差图，通过相机标定结果对视差图进行三维重建，得到3D点云图；接着，感知处理单元对摄像头位姿和地面进行标定，并对环境图像进行行人目标检测处理，获取目标预测向量，并定位得到行人窗口，感知处理单元将目标预测向量与3D点云图进行融合，得到环境图像中行人所在区域的立体重建信息；最后，感知处理单元通过摄像头位姿和地面标定结果，对行人所在区域的障碍物进行地面投影，处理得到行人与车辆之间的距离和方位信息。本实施例通过对系统部署的实时场景进行分析，检测附近行人，并进行位置准确定位，实现实时快速地对车辆附近人员进行检测和定位的效果，提高了定位准确度和检测实时性，也为多种工业车辆或大型机械作业提供了安全保障。

优选的，系统还包括CAN通讯单元，CAN通讯单元为系统与车辆之间的交互提供通讯接口，其中，CAN通讯单元与感知处理单元双向通讯连接。

此外，系统还包括电源，这里的系统电源由车辆的车载控制器提供，其中，该电源与图像采集设备单元、感知处理单元和CAN通讯单元通过电连接。

图1是根据本申请实施例的基于工业车辆视觉的行人感知和定位的系统的结构框图，如图1所示，该系统100包括CAN通讯单元101、图像采集设备单元102、感知处理单元103和电源104。电源104为图像采集设备单元、感知处理单元、CAN通讯单元，以及显示器供电，感知处理单元103获取图像采集设备单元102采集到的环境图像，并对环境图像进行分析处理，得到的处理结果发送到显示器中进行显示。其中，CAN通讯单元101与感知处理单元103双向通讯连接，还与车载控制器双向通讯连接，为整车与系统的交互提供通讯接口。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本申请实施例还提供了一种基于工业车辆视觉的行人感知和定位的方法，该方法应用于上述的一种基于工业车辆双目视觉进行行人感知与定位的系统中，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本申请实施例的基于工业车辆视觉的行人感知和定位的方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，通过图像采集设备单元采集环境图像，并通过感知处理单元对环境图像进行双目立体视觉匹配，得到视差图，通过相机标定结果对视差图进行三维重建，得到3D点云图；

优选的，在采集环境图像之前，需要打开车载控制器，使感知处理单元通电后自动开启，激活整个系统状态；

接着，通过图像采集设备单元采集车辆后方视野弱区的环境图像，并通过感知处理单元对左右相机采集到的环境图像根据SGBM(Semi-Global-Block-Matching)算法进行双目立体视觉匹配，得到视差图。优选的，本实施例通过水平Sobel算子对环境图像进行预处理，得到该环境图像的梯度信息，并对图像像素点进行映射，得到新的图像；接着，对经过预处理得到的梯度信息基于采样的方法进行梯度代价计算，并对原环境图像基于采样的方法进行SAD代价计算；然后，在每个方向上按照动态规划的思想进行能量积累，并将每个方向上的匹配代价进行相加，得到总的匹配代价；最后，对环境图像进行唯一性检测、亚像素插值和左右一致性检测，最终得到视差图。

需要说明的是，在对环境图像进行双目立体视觉匹配之前需要进行相机标定和图像校正处理。具体地，对双目深度相机的镜头参数进行标定，通过建立标定物上坐标已知的点与环境图像点之间的对应关系，求解得到相机系统的内外参数，包括本征矩阵、畸变向量、旋转矩阵和平移向量等。紧接着，根据上述得到的相机系统的内外参数，对环境图像进行空间坐标变换，首先建立环境图像像素点坐标（行、列号）与物方或参考图对应点坐标之间的映射关系，求解得到映射关系中的未知参数，然后根据映射关系对图像各个像素坐标进行校正，确定得到各像素点的灰度值，即灰度内插。

进一步地，通过上述得到的相机标定结果对视差图进行图像坐标到相机坐标的三维重建，得到3D点云图；

步骤S202，感知处理单元对摄像头位姿和地面进行标定，并对环境图像进行行人目标检测处理，定位得到行人窗口，感知处理单元将行人窗口与3D点云图进行融合，得到环境图像中行人所在区域的立体重建信息；

本实施例中，感知处理单元对摄像头位姿和地面进行标定，具体地，在图像上选取地平面点，对应地，可以获取所选地平面点的空间坐标（相对左相机坐标）；通过多个地面点，拟合得到对应地平面的参数方程（相对左相机坐标），然后根据该地平面参数方程，计算出双目深度相机的离地高度、俯角和滚转角信息。

与此同时，感知处理单元对环境图像进行行人目标检测处理，即以行人为目标在原始环境图像上定位出行人目标的矩形边缘框，得到行人窗口，并获取目标预测向量。具体步骤如下：

S1，图像预处理：先对原始环境图像进行图像几何校正处理，然后对校正后的环境图像进行尺寸归一化操作，使得图像尺寸大小统一为640×640，然后进行切片处理，即将图像进行通道（RGB三通道）分离，将图片等分为2N×2N块，并将尺寸为（640×640×3）的图像重新组合拉伸为（320×320×12）尺寸；

S2，图像特征提取的主干网络：将S1中得到的图片（320×320×12）分别经过若干局部跨阶段卷积结构提取特征，并分别通过若干步长为2的下采样卷积实现1/32下采样、1/16下采样和1/8下采样，构建得到三个多尺度分支；

S3，图像特征的路径聚合：将S2中得到的三个多尺度分支先进行从底到顶的特征聚合，再进行从顶到底的特征距离，增大特征提取网络上各个分支的感受野，最后得到（80×80×128）、（40×40×256）和（20×20×512）的三个特征图；

S4，获取目标预测向量：将S3中得到的三个特征图分别进行一次转译，即1×1卷积的操作，得到（80×80×（3×6））、（40×40×（3×6））和（20×20×（3×6）），共计25200组目标预测向量，需要说明的是，上述得到的每个预测向量维度为6，主要包括目标值得分、目标边缘框中心点坐标位置、目标边缘框长宽、类别置信度得分等信息。接着，将得到的所有目标预测向量进行sigmoid函数还原和非极大值抑制处理，筛选出最适合的目标预测向量，并定位得到行人目标在环境图像上的矩形边缘框，即行人窗口。

进一步地，感知处理单元将上述得到的行人窗口与步骤S201中得到的3D点云图进行融合，得到环境图像中行人所在区域的立体重建信息。优选地，本实施例通过窗口裁剪、地面投影、投影点聚类与行人投影点定位，对行人窗口与3D点云图进行融合，得到环境图像中行人所在区域的立体重建信息。具体步骤如下：

S1，窗口裁剪：根据行人窗口在视差图上进行裁剪，得到对应区域，并对该区域进行三维重建，得到行人窗口的3D点云信息；

S2，地面投影：将行人窗口中的3D点进行地平面投影，得到投影点。优选地，在3D点的离地高度小于预设高度阈值的情况下，该3D点不产生投影点，此外，3D点在地平面以下时，该3D点也不产生投影点；

S3，投影点聚类与行人投影点定位：针对S2中得到的投影点进行快速密度峰聚类，确定投影点的最集中区域，并在该最集中区域中，通过距离三分位数确定投影中心点，表征行人在地平面上的投影位置。

通过上述步骤得到环境图像中行人所在区域的立体重建信息；

步骤S203，感知处理单元通过摄像头位姿和地面标定结果，对行人所在区域的障碍物进行地面投影，处理得到行人与车辆之间的距离和方位信息。实现对车辆附近人员进行检测和定位的效果。

通过上述步骤S201至步骤S203，本实施例本申请通过对系统部署的实时场景进行分析，检测附近行人，并进行位置准确定位，实现实时快速地对车辆附近人员进行检测和定位的效果。解决了在工业车辆或机械的视觉下对人员进行感知与定位时，存在的成本高、准确度较低和实时性差的问题。可应用于多种工业车辆环境或大型机械环境下，提升了工业车辆作业的安全性。

需要说明的是，上述步骤中的图像信息采集、图像信息处理分析和数据输出的工作流程会循环进行，直至系统关闭。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。此外，上述流程中或者附图的流程图中示出的步骤可根据实际需求进行顺序调整、合并和删减。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

另外，结合上述实施例中的基于工业车辆视觉的行人感知和定位的方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于工业车辆视觉的行人感知和定位的方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于工业车辆视觉的行人感知和定位的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图3是根据本申请实施例的电子设备的内部结构示意图，如图3所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图3所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于工业车辆视觉的行人感知和定位的方法，数据库用于存储数据。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于工业车辆视觉的行人感知和定位的方法，应用于基于工业车辆双目视觉进行行人感知与定位的系统中，其特征在于，所述系统包括：图像采集设备单元和感知处理单元；

通过所述图像采集设备单元采集环境图像，并通过所述感知处理单元对所述环境图像进行双目立体视觉匹配，得到视差图，通过相机标定结果对所述视差图进行三维重建，得到3D点云图；

所述感知处理单元对摄像头位姿和地面进行标定，并对所述环境图像进行行人目标检测处理，定位得到行人窗口，所述感知处理单元将所述行人窗口与所述3D点云图进行融合，得到所述环境图像中行人所在区域的立体重建信息；

所述感知处理单元通过摄像头位姿和地面标定结果，对所述行人所在区域的障碍物进行地面投影，处理得到行人与车辆之间的距离和方位信息。

2.根据权利要求1所述的方法，其特征在于，在通过所述感知处理单元对所述环境图像进行双目立体视觉匹配之前，所述方法包括：

对相机进行标定，通过标定物坐标与所述环境图像点之间的对应关系，得到相机系统的内外参数；

根据所述相机系统的内外参数，对所述环境图像的像素坐标进行校正处理，得到像素的灰度值。

3.根据权利要求1所述的方法，其特征在于，所述通过所述感知处理单元对所述环境图像进行双目立体视觉匹配，得到视差图包括：

通过水平Sobel算子对所述环境图像进行预处理，得到所述环境图像的梯度信息；

通过采样计算得到所述梯度信息的梯度代价计算，并得到所述环境图像的SAD代价计算，并根据动态规划得到总匹配代价；

对经过处理的环境图像进行唯一性检测、亚像素插值和左右一致性检测，最终得到所述视差图。

4.根据权利要求1所述的方法，其特征在于，所述对所述环境图像进行行人目标检测处理包括：

对所述环境图像进行局部跨阶段卷积提取特征，下采样得到多尺度分支，并对所述多尺度分支进行特征聚合和特征距离，得到多尺度特征图；

对所述多尺度特征图进行转译操作，得到多个目标预测向量，并将所述多个目标预测向量进行sigmoid函数还原和非极大值抑制处理，筛选得到最适合的目标预测向量。

5.根据权利要求4所述的方法，其特征在于，在对所述环境图像进行局部跨阶段卷积提取特征之前，所述方法包括：

对所述环境图像进行图像几何校正，并对校正后的环境图像进行尺寸归一和切片处理。

6.根据权利要求1所述的方法，其特征在于，所述感知处理单元将所述行人窗口与所述3D点云图进行融合包括：

根据所述行人窗口在所述视差图上进行裁剪，得到对应区域，并对所述区域进行三维重建，得到所述行人窗口的3D点云信息；

将所述3D点云进行地平面投影，得到投影点，针对所述投影点进行快速密度峰聚类，确定所述投影点的最集中区域，并在所述最集中区域中，通过距离三分位数确定投影中心点，得到行人的投影位置。

7.根据权利要求6所述的方法，其特征在于，将所述3D点云进行地平面投影，得到投影点包括：

在所述3D点的离地高度小于预设高度阈值的情况下，或者所述3D点在地平面以下时，所述3D点均不产生投影点。

8.一种基于工业车辆视觉的行人感知和定位的系统，其特征在于，所述系统包括：图像采集设备单元和感知处理单元，其中，所述感知处理单元与所述图像采集设备单元双向通讯连接；

所述图像采集设备单元采集环境图像，并通过所述感知处理单元对所述环境图像进行双目立体视觉匹配，得到视差图，通过相机标定结果对所述视差图进行三维重建，得到3D点云图；

所述感知处理单元对摄像头位姿和地面进行标定，并对所述环境图像进行行人目标检测处理，定位得到行人窗口，所述感知处理单元将所述行人窗口与所述3D点云图进行融合，得到所述环境图像中行人所在区域的立体重建信息；

所述感知处理单元通过摄像头位姿和地面标定结果，对所述行人所在区域的障碍物进行地面投影，处理得到行人与车辆之间的距离和方位信息。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括CAN通讯单元，

所述CAN通讯单元为所述系统与车辆之间的交互提供通讯接口，其中，所述CAN通讯单元与所述感知处理单元双向通讯连接。

10.根据权利要求8或9所述的系统，其特征在于，所述系统还包括电源，

所述电源由车辆的车载控制器提供，其中，所述电源与所述图像采集设备单元、所述感知处理单元和CAN通讯单元通过电连接。

Images