CN114359865A - 一种障碍物的检测方法及相关装置 - Google Patents

Abstract

本发明实施例提供了一种障碍物的检测方法及相关装置，该方法包括：分别调用第一摄像头、第二摄像头向地面采集多帧第一原始图像数据、多帧第二原始图像数据，从多帧第一原始图像数据、第二原始图像数据中选定在时间上同步的第一目标图像数据、第二目标图像数据，然后将第一目标图像数据与第二目标图像数据对齐，对齐后则计算第一目标图像数据与第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据，最后根据感知差异图像数据检测障碍物。本发明实施例通过第一目标图像数据与第二目标图像数据的感知差异进行障碍物检测，而不是对障碍物进行分类学习因此检测结果不受障碍物种类限制，相对于传统视觉感知技术扩大了障碍物检测的范围。

Description

一种障碍物的检测方法及相关装置

技术领域

本发明涉及计算机视觉的技术领域，尤其涉及一种障碍物的检测方法及相关装置。

背景技术

随着科技的进步，车辆作为当今社会的主要交通工具之一，与进步的科学技术融合时向大众展示出车辆自动驾驶的概念。实现车辆自动驾驶带来的效果是将车辆驾驶驾驶员的双手与双眼从驾驶过程中解放出来，并且通过对车辆周围环境的感知以及路况数据分析，降低安全事故发生率，规划效率更高的驾驶线路。

在进行车辆自动驾驶的研究时，车辆对周围环境的感知，包括障碍物的判断、交通标识的识别等构成指示车辆在自动驾驶条件下驾驶的重要因素，通过分析上述因素保障了车辆自动驾驶技术在实践中对公众而言的安全性。

目前用于车辆自动驾驶过程中障碍物的识别与判断的主要有传统视觉感知技术、激光感知技术等。其中传统视觉感知技术应用于车辆自动驾驶技术时，多针对车辆驾驶路上有限类别的障碍物进行识别，例如道路上其他车辆、行人以及交通标志等，而驾驶道路上障碍物种类是多样的，若对使用车辆自动驾驶技术的车辆适用传统视觉感知技术针对有限种类的障碍物进行识别并提示，则当有限种类障碍物以外的障碍物对车辆驾驶造成影响时，车辆难以对该障碍物作出反应，使乘客或处于车辆以外的人员、财产受到安全威胁。激光感知技术应用于车辆自动驾驶技术时，则首先由于光线的影响，使被检测物体的激光反射强度与真实的激光反射强度存在差异，使得在估计被检测物的形状与距离时出现偏差。其次在检测车辆周围低矮的障碍物，激光点云稀疏，则根据反射回来的激光分析的障碍物形状与距离与实际情况偏差较大，提升了了车辆自动驾驶过程中的危险性。

发明内容

本发明实施例提出了一种障碍物的检测方法及相关装置，以解决车辆在自动驾驶过程中或者机器人在自动行驶过程中，进行障碍物检测时受到障碍物种类限制或计算障碍物形状与距离时与实际情况偏差较大的问题。

第一方面，本发明实施例提供了一种障碍物的检测方法，包括：

分别调用所述第一摄像头向地面采集多帧第一原始图像数据、调用所述第二摄像头向地面采集多帧第二原始图像数据；

分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，所述第一目标图像数据与所述第二目标图像数据在时间上同步；

将所述第一目标图像数据与所述第二目标图像数据对齐；

若完成对齐，则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据；

根据所述感知差异图像数据检测障碍物。。

第二方面本发明实施例还提供了一种障碍物的检测装置，包括：

原始图像数据采集模块，用于分别调用所述第一摄像头向地面采集多帧第一原始图像数据、调用所述第二摄像头向地面采集多帧第二原始图像数据；

目标图像数据选取模块，用于分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，所述第一目标图像数据与所述第二目标图像数据在时间上同步；

图像数据对齐模块，用于将所述第一目标图像数据与所述第二目标图像数据对齐；

感知差异图像数据第一获取模块，用于若完成对齐，则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据；

障碍物检测模块，用于根据所述感知差异图像数据检测障碍物。第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的障碍物的检测方法。

第四方面本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的障碍物的检测方法。

第五方面本发明实施例还提供了一种车辆，所述车辆包括如第二方面所述的装置或如第三方面所述的计算机设备。

第六方面本发明实施例还提供了一种机器人，所述机器人包括如第二方面所述的装置或如第三方面所述的计算机设备。

本发明实施例中，通过在车辆或者机器人上配置安装位置存在差异的第一摄像头、第二摄像头，并分别调用第一摄像头针对地面采集第一原始图像数据、调用第二摄像头采集第二图像数据，并将在时间上同步的第一原始图像数据和第二原始图像数据作为本发明实施例用于分析确定地面上可能存在的障碍物的第一目标图像数据、第二目标图像数据，在将第一目标图像数据对齐至第二图像数据后，则计算第一目标图像数据与第二图像数据在垂直方向上的感知差异，以获得感知差异图像数据，根据感知差异图像数据检测得到车辆或机器人周围地面上的障碍物，从而帮助自动驾驶中的车辆或自动行驶的机器人进行障碍物定位，指导车辆在驾驶时规避障碍物或停止驾驶以及帮助机器人规划行驶路线与避障，由此保障了乘客及乘客以外的人员、财产安全或者机器人行驶过程的顺利。

本发明实施例中通过在车辆或机器人上安装第一摄像头、第二摄像头，且两个摄像头之间安装位置存在差异，扩大了车辆在驾驶途中可采集图像数据的范围，减少了因单个摄像头视野有限而漏采集障碍物图像数据带来的车辆或机器人难以及时规避障碍物的风险，并且通过第一目标图像数据与第二目标图像数据的感知差异进行障碍物检测，而不是对障碍物进行分类学习因此检测结果不受障碍物种类限制，相对于传统视觉感知技术扩大了障碍物检测的范围。进一步的本发明实施例通过第一摄像头、第二摄像头安装在不同位置，全方位的采集车辆或机器人周围的障碍物图像数据用于障碍物检测分析，弥补了在搭载自动驾驶技术的车辆或搭载自动行驶技术的机器人上应用激光感知技术时因激光点云稀疏等原因难以检测到位于低矮处的小尺寸障碍物的缺点，提升了车辆自动驾驶或机器人自动行驶过程中检测障碍物的准确性，提高了根据检测到的障碍物指导车辆自动驾驶或机器人自动行驶的指令的可靠性，进而提高了车辆或机器人行进路上的安全性。

附图说明

图1为本发明实施例一提供的一种障碍物的检测方法的流程图；

图2为本发明实施例一提供的一种VGG11的层数示意图；

图3为本发明实施例一提供的室内条件下障碍物示意图；

图4为本发明实施例一提供的室外条件下障碍物示意图；

图5为本发明实施例一提供的室内条件下障碍物的感知差异图；

图6为本发明实施例一提供的室外条件下障碍物的感知差异图；

图7为本发明实施例二提供的一种障碍物的检测装置的结构示意图；

图8为本发明实施例三提供的一种计算机设备的结构示意图；

图9为本发明实施例五提供的一种车辆的示意图；

图10为本发明实施例五提供的一种车辆应用障碍物的检测装置的示意图；

图11为本发明实施例六提供的一种机器人的示意图；

图12为本发明实施例六提供的一种机器人应用障碍物的检测装置的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种障碍物的检测方法的流程图，本实施例可适用于检测车辆周围的障碍物的情况，该方法可以由障碍物的检测装置来执行，该障碍物检测装置可以由软件和/或硬件实现，可配置在计算机设备中，尤其是车辆、机器人，车辆或机器人上分别安装有位置存在差异的第一摄像头、第二摄像头，具体包括如下步骤：

步骤101、分别调用第一摄像头向地面采集多帧第一原始图像数据、调用第二摄像头向地面采集多帧第二原始图像数据。

本实施例中，可以将障碍物的检测方法应用于搭载自动驾驶技术的车辆。自动驾驶，可以指车辆本身拥有环境感知、路径规划并且自主实现车辆控制的能力，也就是用电子技术控制车辆进行的仿人驾驶。

根据对车辆操控任务的把握程度，自动驾驶车辆可以分为L0非自动化(NoAutomotion)、L1驾驶人辅助(Driver Assistance)、L2部分自动化(Partial Automation)、L3有条件自动化(Conditional Automation)、L4高自动化(High Automation)、L5全自动化(Full Automation)。

本实施例中自动驾驶的车辆，可以指满足L1-L5中任一要求的车辆，其中，系统在L1-L3起辅助功能，当到达L4，车辆驾驶将交给系统，因此，自动驾驶的车辆可选为满足L4、L5中任一要求的车辆。

本实施例中，还可以将障碍物的检测方法应用于搭载自动行驶技术的机器人上，目前机器人主要通过两种方法实现自动行驶，一种是利用机器人本身的传感器系统实现，单个的机器人上大多采用多种感知系统，例如摄像头、雷达等，另一种是利用云端系统，从云端发送控制指令控制机器人自动行驶。本实施例中则可以将障碍物的检测方法应用于配置有包括多个摄像头的感知系统的机器人。

本实施例中，可以在搭载自动驾驶技术的车辆上或者搭载自动行驶技术的机器人上安装有位置存在差异的第一摄像头、第二摄像头，在车辆自动驾驶或停靠的过程中，例如车辆自动驾驶或者机器人自动行驶的过程中，若地面上存在障碍物例如体积较小且紧贴地面、阻碍车辆自动驾驶的物体，则车辆或机器人此时可以调用以第一摄像头向地面采集的多帧第一原始图像数据，调用以第二摄像头向地面采集的多帧第二原始图像数据，来进行之后的感知差异计算，帮助车辆或机器人避开自动驾驶路上的位于低矮处的障碍物。本实施例中可以设置将第一摄像头采集的第一原始图像数据与第二摄像头采集的第二原始图像数据分别存入不同的缓冲队列，例如可以为第一摄像头配置第一缓冲队列，当第一摄像头采集到第一原始图像数据后，第一原始图像数据将存入第一缓冲队列，而第二摄像头采集的第二原始图像数据则可以存入第二缓冲队列。

进一步地本实施例中还可以设置第一摄像头采集第一原始图像数据的动作与第二摄像头同步，包括设定第一摄像头、第二摄像头的采集帧率相同当第一摄像头采集第一原始图像数据的帧率为30帧/秒时，第二摄像头的采集帧率也为30帧/秒，以及设定第一摄像头与第二摄像头同时开始采集动作。

在上述第一摄像头、第二摄像头同步的基础上，则本实施例在通过分析第一原始图像数据、第二原始图像数据确定障碍物时，可以选取采集时间最接近的，近乎同时采集的第一原始图像数据、第二原始图像数据作为分析对象，提升后续通过第一摄像头、第二摄像头的感知差异确定的准确率。本实施例中在未检测到位于自动驾驶车辆驾驶路上或者机器人自动行驶路上的障碍物时，通过分析第一原始图像数据、第二原始图像数据还可以对自动驾驶车辆的倒车，交通标志识别等进行指导。进一步地，本实施例中还可以为仓库中承担物流工作的车辆例如自动导引运输车配置第一摄像头、第二摄像头，以帮助自动导引运输车规划驾驶路线或者规避障碍物等。

在本发明的一个实施例中，第一摄像头与第二摄像头的安装位置差异主要体现在：

第一摄像头可以位于第二摄像头的上方，第一摄像头与第二摄像头之间间隔预设的距离，本实施例中这一预设的距离可以通过多次试验得到例如选取在多次实验中，使得车辆的检测范围最大的第一摄像头与第二摄像头之间的距离作为预设的距离。优选的，第一摄像头可以位于第二摄像头的垂直上方，则第一摄像头的光轴可以与第二摄像头的光轴平行，在后续计算单应矩阵时可以不对第一摄像头、第二摄像头进行外部参数标定，且此时第一摄像头采集的第一原始图像数据中任意一点与第二摄像头采集的第二原始图像数据中的对应点将具有相同的横坐标，由此简化了单应矩阵的计算过程。本实施例中，第一摄像头的拍摄角度相对于水平面向下倾斜指定的角度，第二摄像头的拍摄角度与水平面平齐。本实施例中第一摄像头的拍摄角度可以设置为相对于水平面向下倾斜20度。当第一摄像头以相对于水平面向下倾斜20度的角度进行第一原始图像数据采集时，则可以针对位于地面上的较低矮且体积较小的障碍物进行第一原始图像数据的采集，为车辆或机器人提供更全面的视野。

步骤102、分别从多帧第一原始图像数据中选定第一目标图像数据、从多帧第二原始图像数据中选定第二目标图像数据，第一目标图像数据与第二目标图像数据在时间上同步。

本实施例中，本实施例中在采集到第一原始图像数据、第二原始图像数据以后，并不是无选择地从缓存的第一原始图像数据、第二原始图像数据中提取原始图像数据进行障碍物感知差异分析，而是考虑提取在同一时刻采集的第一原始图像数据、第二原始图像数据进行分析，以提升分析结果准确率，然而在实践中，由于指令的传输时间难以同步，不同摄像头的指令反应时间不同，以及随时使用过程中不同摄像头之间性能不同步衰减等因素，通常难以做到第一摄像头、第二摄像头在同一时刻完成原始图像数据的采集，因此本实施例中考虑在已缓存的第一原始图像数据、第二原始图像数据中时间同步的，即采集时间最接近的第一原始图像数据、第二原始图像数据分别作为第一目标图像数据、第二目标图像数据。

选取第一目标图像数据、第二目标图像数据时，考虑到由于本实施例中将多帧第一原始图像数据存储在第一缓冲队列中、多帧第二原始图像数据存储在第二缓冲队列中，即第一原始图像数据，第二原始图像数据地存储地址并不相同。

因此确定第一目标图像数据、第二目标图像数据时首先可以从第一缓冲队列中提取一帧第一原始图像数据，第一原始图像数据携带有第一时间戳，通俗的讲,时间戳是一份能够表示一份数据在一个特定时间点已经存在的完整的可验证的数据，在实践中，时间戳通常表现为一串字符序列。

本实施例中当第一摄像头或第二摄像头，采集到第一原始图像数据或者第二原始图像数据后，第一原始图像数据、第二原始图像数据上会自动地带有第一时间戳、第二时间戳，本实施例中时间戳可以用于表示第一原始图像数据、第二原始图像数据的采集时刻。在提取出带有第一时间戳的第一原始图像数据后，可以继续从第二缓冲队列中提取一帧第二原始图像数据，第二原始图像数据携带有第二时间戳，然后查找是否存在第一时间戳与第二时间戳之间的差值小于预设的第一阈值的第一原始图像数据、第二原始图像数据，如前述本实施例中在设置时第一摄像头与第二摄像头时，是设定第一摄像头与第二摄像头同步进行采集动作的，即开始采集的时刻相同，采集帧率相同，因此在理想状态下可以获取到采集时刻一致的第一原始图像数据、第二原始图像数据，但在第一摄像头、第二摄像头的工作过程中，由于各种外部因素例如外力损坏或者内部因素例如老化程度不一致等，都会导致采集到的第一原始图像数据、第二原始图像数据并不能在采集时刻上做到完全一致。因此本实施例中可以通过采集时刻尽可能相近的第一原始图像数据、第二原始图像数据作为在时间上同步的第一目标图像数据、第二目标图像数据并进行分析，以提升本发明实施例中障碍物确定的准确性。

本实施例中在选取时间上尽可能相近的第一目标图像数据和第二目标图像数据时可以根据第一时间戳、第二时间戳从缓冲队列中提取完成。

进一步地本实施例中还可以预设一个第一阈值作为满足采集时刻尽可能相近的标准，例如当第一摄像头、第二摄像头的采集帧率为30帧/秒时，则每帧第一原始图像数据之间的采集时刻相差20毫秒，本实施例中可以将第一阈值设置为10毫秒，使一帧第一原始图像数据只和一帧第二原始图像数据对应。若存在第一时间戳和第二时间戳的差值小于第一阈值的第一原始图像数据、第二原始图像数据，则确定第一原始图像数据与第二原始图像数据在时间上同步，分别标记时间上同步的第一原始图像数据为第一目标图像数据、标记第二原始图像数据为第二目标图像数据，若不存在，则可以重启第一摄像头、第二摄像头，并继续执行查找是否存在第一时间戳与第二时间戳之间的差值小于预设的第一阈值的第一原始图像数据与第二原始图像数据。

步骤103、将第一目标图像数据与第二目标图像数据对齐。

本实施例中，由于第一摄像头、第二摄像头采集的在安装角度上存在差异，，且本实施例中第一摄像头可以位于第二摄像头的垂直上方，则可以为车辆或者机器人提供相邻的两个视角，针对车辆或机器人周围的环境获取两幅独立的图像，即第一目标图像数据、第二目标图像数据。在实际中，车辆或机器人周围的同一物体由于第一摄像头、第二摄像头的安装位置的不同，因此在第一目标图像数据、第二目标图像数据中的位置并不相同，因此为避免进行第一目标图像数据、第二目标图像数据间确定障碍物的感知差异计算时，由于视角的差异将同时存在于第一目标图像数据、第二目标图像数据中的相同事物误判为障碍物，可以将第一目标图像数据对齐至第二目标图像数据中，本实施例中对齐第一目标图像数据至第二目标图像数据中表示将第一目标图像数据根据第二目标图像数据进行变形，使第一目标图像数据、第二目标图像数据中相同事物的坐标一致。

在一种对齐方式中，可以分别查询对第一摄像头标定的第一内参、对第二摄像头标定的第二内参，本实施例中从车辆或机器人周围环境中的事物到第一摄像头、第二摄像头采集第一原始图像数据、第二原始图像数据，现实世界中的事物经历了从世界坐标系到摄像头坐标系再到图像坐标系的过程，其中从世界坐标系到摄像头坐标系的变化，是三维点到三维点的转化，通过摄像头外参等完成，而从摄像头坐标系到图像坐标系的转化则是三维点到二维点的转化，通过摄像头内参来完成。要注意的是，为了取得好的成像效果，通常在摄像头的镜头前添加透镜，然而在摄像头成像过程中，透镜会对光的传播产生影响从而影响摄像头的成像效果，产生畸变，例如透镜自身的形状对光线的传播产生影响，形成的畸变称为径向畸变，径向畸变主要包括桶形畸变和枕形畸变。以及由于透镜与成像平面不可能绝对平行造成的切向畸变。因此本实施例中为进一步保障检测障碍物时的准确性，还可以在对齐第一目标图像数据至第二目标图像数据之前，分别使用查询到的第一摄像头内参计算第一摄像头的第一畸变参数、使用第二摄像头内参计算第二摄像头的第二畸变参数，然后分别使用第一畸变参数校正第一目标图像数据、使用第二畸变参数校正第二目标图像数据。本实施例中，摄像头外参、摄像头内参都是通过摄像头标定得到的，摄像头标定是指图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像头成像的几何模型,这些几何模型参数就是摄像头参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为摄像头标定。通过摄像头标定还可以获取摄像头外参，以及根据摄像头内参计算得到摄像头的畸变参数。

本实施例中可以采用张正友摄像头标定法对第一摄像头、第二摄像头进行标定，以获取第一摄像头内参、第二摄像头内参。本实施例中使用第一摄像头内参计算第一畸变参数的过程表现为：根据标定得到的第一摄像头内参，以及同样可以依据张正友标定法得到的第一摄像头的摄像头外参，重新对多个原来获取的三维点进行投影计算，得到多个新的二维点，然后根据计算得到的多个新的二维点与多个原有的二维点之间的误差，计算第一畸变参数中表示径向畸变的参数k1、k2、k3，表示切向畸变的参数p1、p2。本实施例中第二畸变参数的获取过程与第一畸变参数相同。

本实施例中校正第一目标图像数据的过程则可以表现为利用第一畸变系数进行如下的计算：首先选取矫正前的第一目标图像数据中多个像素坐标，用(x，y)表示，并用(x1，y1)表示校正后的，无畸变的像素坐标。

则本实施例中计算径向畸变表现为：

x＝x1(1+k1r²+k2r³+k3r⁶)；

y＝y1(1+k1r²+k2r³+k3r⁶)。其中r为x²+y²的和的平方根。

本实施例中计算切向畸变的表现为：

x＝x1+[2p1x1y1+p2(r²+2x1²)]；

y＝y1+[p1(r²+2y²)+2p2x1y1]。

由此获取校正后的各像素坐标，并根据校正后的各像素坐标组成校正后的第一目标图像数据，本实施例中第二目标图像数据的校正过程与第一目标图像数据的校正过程相同。

若完成校正，则分别从第一目标图像数据中提取多个第一特征点、从第二目标图像数据中提取多个第二特征点，第一特征点与第二特征点匹配。本实施例中完成校正后，则将经过校正的第一目标图像数据对齐至同样经过校正的第二目标图像数据中，对齐过程可以通过计算第一目标图像数据、第二目标图像数据间的单应矩阵完成。单应(Homography)是射影几何中的概念，又称为射影变换。它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上，并且把直线映射为直线，具有保线性质。总的来说，单应是关于三维齐次矢量的一种线性变换，可以用一个3×3的非奇异矩阵H表示，即单应矩阵。计算第一目标图像数据、第二目标图像数据间的单应矩阵首先要分别从第一目标图像数据和第二目标图像数据中提取多组对应的特征点，例如可以提取四组对应的点，因为上述单应矩阵有八个未知量，因此至少提取四组对应的特征点进行单应矩阵的计算。可以推断得到的是，若提取的特征点越多则单应矩阵的计算越准确。

计算第一特征点与第二特征点之间的单应矩阵，本实施例中提取第一特征点和第二特征点，以及计算第一特征点与第二特征点之间的单应矩阵都可以调用OpenCV的findHomography函数完成，OpenCV是一个基于BSD((Berkeley Software Distribution，伯克利软件套件))许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在多种操作系统上。findHomography函数的功能则是找到两个平面之间的转换矩阵。

然后将第一目标图像数据乘以单应矩阵，以仿射至第二目标图像数据所在的坐标系中。本实施例在获取到单应矩阵后则可以将第一目标图像数据中各个像素点与得到的单应矩阵相乘，使第一目标图像数据中各个像素点都投影至第二目标图像数据中各个像素点所在的坐标系中，使得第一目标图像数据变形为与第二目标图像数据同样的空间布局。本实施例中可以将完成仿射的第一目标图像数据作为上述的对齐至第二目标图像数据后的第一目标图像数据。

当然，除了将第一目标图像数据对齐至第二目标图像数据之外还可以选择将第二目标图像数据对齐至第一目标图像数据，本实施例对此不加以限制。

步骤104、若完成对齐，则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据。

本实施例的最终目的是通过对第一目标图像数据，第二目标图像数据进行计算分析以确定车辆或者机器人周围，可能对车辆驾驶或机器人行驶造成安全威胁、形成阻碍的障碍物，特别是针对位于地面低矮处的、体积较小的障碍物。因此在对齐第一目标图像数据至第二目标图像数据后，还要针对对齐后的第一目标图像数据、第二目标图像数据，根据两者间在垂直方向上的感知差异进行计算(因为本实施例中第一摄像头和第二摄像头垂直，水平位置相同，因此第一目标图像数据、第二目标图像数据中各个相同事物的横坐标相同，感知差异计算的结果为0，所以对垂直方向上的感知差异进行计算)，获取关于障碍物的感知差异图像数据，感知差异图像数据可以用于检测障碍物。

在本发明的一个实施例中，计算第一目标图像数据与第二目标图像数据关于在垂直方式向上关于障碍物的感知差异首先要确定图像感知模型，图像感知模型中具有多层特征提取网络。在本发明的一个实施例中，可以使用VGG(Visual Geometry Group，视觉几何组)网络作为图像感知模型，例如VGG11网络。VGG11网络中11代表的是有11个参数层，其中8层卷积层，3层全连接层，在卷积层之间还间隔插入有池化层，则实际上VGG11中具有不止11层的特征提取网络，VGG11的具体层数可以参见图2。图2中Conv表示卷积，卷积后则得到卷积层。MaxPool表示最大池化，经MaxPool后即得到池化层，FC表示全连接层，filter表示核，stride表示步幅、padding表示填充。在卷积层中，VGG11网络将通过卷积核对第一目标图像数据进行卷积操作，卷积操作的实质则相当于特征提取，卷积核则相当于过滤器，可以从第一目标图像数据中提取出确定障碍物时想要的特征，生成特征图像数据。然而在卷积操作后得到的特征图像数据中存在较多的特征信息，同时相邻区域存在着相似的特征信息，相似的特征信息之间可以互相替代，因此若全部保留这些特征信息则将会造成信息冗余，增加后续的计算难度。此时池化层可以用于对在池化层之前的卷积层得到的特征图像数据进行降维处理，降维处理表现为在一个小矩阵区域内，取该区域的最大值或平均值来代替该区域，小矩阵区域的大小可以在搭建VGG11网络时自主设置。

本实施例中在确定图像感知模型后则可以将对齐后的第一目标图像数据输入图像感知模型中进行处理，并提取指定的多层特征提取网络输出的多帧第一特征图像数据，由前述可知VGG11中具有多个参数层以及池化层，第一目标图像数据每经过一个参数层或池化层，可以生成与该参数层、池化层对应的特征图。本实施例中可以指定提取某一层对应的特征图像数据，用于后续的计算。例如本实施例可以在考虑随着层数的递增，第一目标图像数据被池化后得到的，对应于每一参数层的特征图中被忽略的局部信息越来越多，并且特征图的宽度与高度也会随着每个池化操作缩小50％，但特征图的深度则随着卷积操作的次数，以每次增加一倍的倍率增加的基础上，指定VGG11网络中第3层、第6层、第11层、第16层对应的特征图像数据作为第一特征图像数据。参见图2可以知道本实施例中第3层为池化层、第6层为池化层，第11层、第16层为卷积层。

将第二目标图像数据输入图像感知模型中进行处理，并提取指定的多层特征提取网络输出的多帧第二特征图像数据，本实施例中针对第二目标图像数据获取第二特征图像数据的方式与获取第一特征图像数据的方式相同。

若第一特征图像数据与第二特征图像数据处于相同的层，则计算第一特征图像数据与第二特征图像数据之间的差异，作为特征差异图像数据。本实施例中在获取到第一特征图像数据、第二特征图像数据后，可以获取其中序号相同层的特征图像数据进行差异计算。例如第一特征图像数据中、第二特征图像数据中位于第3层的特征图像数据可以表现为矩阵形式，且位于同一层的特征图像数据的矩阵大小相同，本实施例中差异计算则是对第一特征图像数据、第二特征图像数据中位于同一层、大小相同的矩阵，例如第一特征图像数据中的第3层与第二特征图像数据的第3层。然后分别计算位于矩阵相同位置的数值的差值，得到一个差值矩阵，该差值矩阵则表示第3层的特征差异图像数据，

然而由于输入的图像感知模型的第一目标图像数据、第二目标图像数据为RGB图像，则在使用图像感知模型进行特征提取时，为了进行图像数据特征的标准化，则上述计算位于矩阵相同位置的数值的差值，得到一个差值矩阵在本实施例中可以表现为首先计算表示第一特征图像数据、第二特征图像数据之间在各个通道的差值，对各个通道的差值计算平均值，作为特征差异图像数据。例如先提取第一特征图像数据、第二特征图像数据中相同层的特征图像数据(例如第3层的特征图像数据)，计算表示前述相同层特征图像数据不同通道维度的矩阵(RGB图像具有R、G、B三个通道维度)在相同位置上的数值的差值，得到三个差值矩阵，然后计算三个差值矩阵相同位置的均值，生成一个新的差值矩阵。这一新的差值矩阵即最终表示本实施例中第一特征图像数据与第二特征图像数据间的特征差异图像数据。

在本发明的一个实施例中，在分别计算得到各个相同层的特征差异图像数据后，还要将他们合并作为最后的，表示第一目标图像数据与第二目标图像数据间感知差异的感知差异图像数据,即将多帧特征差异图像数据合并为感知差异图像数据。且由前述可知，经过池化层后并且特征图像数据的宽度与高度也会随着每个池化操作缩小，相应的则用于表示每一层特征图像数据的矩阵的大小也各不相同。

因此在本发明的一个实施例中，还要在获得初步的特征差异图像数据后对不同层的特征差异图像数据进行上采样，获得灰度图像数据，上采样后用于表示特征差异图像数据的矩阵大小恢复一致，然后对灰度图像数据配置权重，权重数值大小可以综合考虑结合数字较小的层可以提供更多的细节以及数字较大的层可以提供的更好的、更深层的特征，使得为每一层配置的权重的数值大小每一层的数值大小正相关。例如对第3层的特征差异图像数据转化的灰度图像数据配置1/32的权重，对第6层的灰度图像数据配置1/16的权重，对第11层的灰度图像数据配置1/8的权重，对第16层的灰度图像数据配置数值为1的权重，权重的数值可通过多次试验得到。

然后对每个矩阵相同位置上的数值进行加权平均，即将灰度图像数据和权重的乘积相加，得到最终的感知差异图像数据。加权平均的过程在本实施例具体可以表现为：将表征不同层的灰度图像数据的矩阵中，处于相同位置的数值乘以对应的权重，然后相加，生成一个新的矩阵，该矩阵则在本实施例中可以表示最终得出的感知差异图像数据，将该矩阵表示的感知差异图像数据图像化即可以得到感知差异图。本实施例中可以在室内条件下或者室外条件下对地面生成第一摄像头、第二摄像头之间的感知差异图，从而检测出障碍物。如图3所示，可以对走廊上倒下的，位于地面低矮处的，体积较小的交通锥采集第一原始图像数据、第二原始图像数据。还可以针对室外道路上倒下的交通锥采集第一原始图像数据、第二原始图像数据，如图4所示。图5、图6则分别为针对图3、图4计算得到的感知差异图。

由上述感知差异图可以看出，本实施例中通过将不同层的特征差异图像数经上采样后的灰度图像数据按照预设的权重进行融合，结合浅层即数字较小的层所采集的特征差异图像数据的分辨率高、空间几何特征细节丰富的特点以及深层即数字较大的层所采集的特征差异图像数据感受野较大、语义表征能力较强的特点，使得在通过感知差异图进行障碍物的检测时，可以更好地排除感知差异图像数据中障碍物以外的因素对分析障碍物的影响，并且可以通过浅层提供的高分辨率针对体积较小的障碍物进行识别，通过深层提供的更大的感受野针对体积较大的障碍物进行识别，从而综合提升了通过本实施例提供的方法进行障碍物检测的准确率。

步骤105、根据感知差异图像数据检测障碍物。

本实施例中在经过前述步骤获取到第一目标图像数据、第二目标图像数据间的感知差异图像数据后，还要查询感知差异图像数据中各个像素点的灰度值，若像素点的灰度值大于预设的第二阈值，则确定像素点的语义为障碍物，其中预设的第二阈值可以通过VGG11图像感知模型在经过多次的第一目标图像数据、第二目标图像数据感知差异计算后得出。当确定像素点的语义为障碍物后，则可以根据语义为障碍物的像素点的集合检测到障碍物所在位置。

本发明实施例中，通过在车辆或者机器人上配置安装位置存在差异的第一摄像头、第二摄像头，分别调用第一摄像头针对地面采集第一原始图像数据、调用第二摄像头采集第二图像数据，并将在时间上同步的第一原始图像数据和第二原始图像数据作为本发明实施例用于分析确定地面上可能存在的障碍物的第一目标图像数据、第二目标图像数据，在将第一目标图像数据对齐至第二图像数据后，则计算第一目标图像数据与第二图像数据在垂直方向上的感知差异，以获得感知差异图像数据，根据感知差异图像数据检测得到车辆或机器人周围地面上的障碍物，从而帮助自动驾驶中的车辆或自动行驶的机器人进行障碍物定位，指导车辆在驾驶时规避障碍物或停止驾驶以及帮助机器人规划行驶路线与避障，由此保障了乘客及乘客以外的人员、财产安全或者机器人行驶过程的顺利。

本发明实施例中通过在车辆或机器人上安装第一摄像头、第二摄像头，且两个摄像头之间安装位置存在差异，扩大了车辆在驾驶途中可采集图像数据的范围，减少了因单个摄像头视野有限而漏采集障碍物图像数据带来的车辆或机器人难以及时规避障碍物的风险，并且通过第一目标图像数据与第二目标图像数据的感知差异进行障碍物检测，而不是对障碍物进行分类学习因此检测结果不受障碍物种类限制，相对于传统视觉感知技术扩大了障碍物检测的范围。进一步的本发明实施例通过第一摄像头、第二摄像头安装在不同位置，全方位的采集车辆或机器人周围的障碍物图像数据用于障碍物检测分析，弥补了在搭载自动驾驶技术的车辆或搭载自动行驶技术的机器人上应用激光感知技术时因激光点云稀疏等原因难以检测到位于低矮处的小尺寸障碍物的缺点，提升了车辆自动驾驶或机器人自动行驶过程中检测障碍物的准确性，提高了根据检测到的障碍物指导车辆自动驾驶或机器人自动行驶的指令的可靠性，进而提高了车辆或机器人行进路上的安全性。实施例二

图7为本发明实施例二提供的一种障碍物的检测装置的结构示意图，具体可以包括如下模块：

原始图像数据采集模块710，用于分别调用所述第一摄像头向地面采集多帧第一原始图像数据、调用所述第二摄像头向地面采集多帧第二原始图像数据。

目标图像数据选取模块720，用于分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，所述第一目标图像数据与所述第二目标图像数据在时间上同步。

图像数据对齐模块730，用于将所述第一目标图像数据与所述第二目标图像数据对齐。

感知差异图像数据第一获取模块740，用于若完成对齐，则则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据。

障碍物检测模块750，用于根据所述感知差异图像数据检测障碍物。

在本发明的一个实施例中，所述第一摄像头位于所述第二摄像头的上方，所述第一摄像头与所述第二摄像头之间间隔预设的距离，所述第一摄像头的拍摄角度相对于水平面向下倾斜指定的角度，所述第二摄像头的拍摄角度与水平面平齐。

在本发明的一个实施例中，所述目标图像数据选取模块720包括：

第一原始图像数据提取模块，用于从所述第一缓冲队列中提取一帧所述第一原始图像数据，所述第一原始图像数据携带有第一时间戳；

第二原始图像数据提取模块，用于从所述第二缓冲队列中提取一帧所述第二原始图像数据，所述第二原始图像数据携带有第二时间戳；

时间同步图像数据查找模块，用于查找是否存在所述第一时间戳与所述第二时间戳之间的差值小于预设的第一阈值的所述第一原始图像数据与所述第二原始图像数据，若存在则调用，若不存在则调用

目标图像数据标记模块，用于确定所述第一原始图像数据与所述第二原始图像数据在时间上同步，分别标记所述第一原始图像数据为第一目标图像数据、标记所述第二原始图像数据为第二目标图像数据；

摄像头重启模块，用于重启所述第一摄像头、所述第二摄像头，并在重启后返回调用时间同步图像数据查找模块。

在本发明的一个实施例中，所述图像数据对齐模块730包括：

内参查询模块，用于分别查询对所述第一摄像头标定的第一摄像头内参、对所述第二摄像头标定的第二摄像头内参；

畸变参数计算模块，用于分别使用所述第一摄像头内参计算所述第一摄像头的第一畸变参数、使用所述第二摄像头内参计算所述第二摄像头的第二畸变参数；

目标图像数据校正模块，用于分别使用所述第一畸变参数校正所述第一目标图像数据、使用所述第二畸变参数校正所述第二目标图像数据，若完成校正，则调用特征点匹配模块。

特征点匹配模块，用于分别从所述第一目标图像数据中提取多个第一特征点、从所述第二目标图像数据中提取多个第二特征点，所述第一特征点与所述第二特征点匹配；

单应矩阵计算模块，用于计算所述第一特征点与所述第二特征点之间的单应矩阵；

将所述第一目标图像数据乘以所述单应矩阵，以仿射至所述第二目标图像数据所在的坐标系中；

第一目标图像数据更新模块，用于将完成仿射的所述第一目标图像数据作为对齐至所述第二目标图像数据后的所述第一目标图像数据。

在本发明的一个实施例中，所述感知差异图像数据第一获取模块740包括：

图像感知模型确定模块，用于确定图像感知模型，所述图像感知模型中具有多层特征提取网络；

第一特征图像数据提取模块，用于将所述第一目标图像数据输入所述图像感知模型中进行处理，并提取指定的多层所述特征提取网络输出的多帧第一特征图像数据；

第二特征图像数据提取模块，用于将所述第二目标图像数据输入所述图像感知模型中进行处理，并提取指定的多层所述特征提取网络输出的多帧第二特征图像数据；

特征差异图像数据第一计算模块，用于若所述第一特征图像数据与所述第二特征图像数据处于相同的层，则计算所述第一特征图像数据与所述第二特征图像数据之间的差异，作为特征差异图像数据；

感知差异图像数据第二获取模块，用于将多帧所述特征差异图像数据合并为感知差异图像数据。

在本发明的一个实施例中，所述图像感知模型包括VGG11卷积神经网络模型，指定的层包括第3层、第6层、第11层、第16层。

在本发明的一个实施例中，所述特征差异图像数据第一计算模块包括：

通道差值计算模块，用于计算所述第一特征图像数据与所述第二特征图像数据之间在各个通道的差值；

特征差异图像数据第二计算模块，用于对各个通道的所述差值计算平均值，作为特征差异图像数据

在本发明的一个实施例中，感知差异图像数据第二获取模块包括：

灰度图像数据获取模块，用于对所述特征差异图像数据进行上采样，获得灰度图像数据；

权重配置模块，用于对所述灰度图像数据配置权重，所述权重与所述特征差异图像数据所处的层数正相关；

感知差役图像数据第三获取模块，用于将所述灰度图像数据与所述权重之间的乘积相加，获得感知差异图像数据。

在本发明的一个实施例中，所述障碍物检测模块750包括：

灰度值查询模块，用于查询所述感知差异图像数据中各个像素点的灰度值，若所述像素点的灰度值大于预设的第二阈值，则调用障碍物确定模块。

障碍物确定模块，用于确定所述像素点的语义为所述障碍物。本发明实施例所提供的障碍物检测装置可执行本发明任意实施例所提供的障碍物的检测方法，具备执行方法相应的功能模块和有益效果。

实施例三

图8为本发明实施例三提供的一种计算机设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图8显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图8中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种障碍物的检测方法。

实施例四

本发明实施例四还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述障碍物的检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

实施例五

图9为本发明实施例五提供的一种车辆的示意图。

本实施例中车辆900可以包括驾驶控制设备910、车身总线920、ECU(ElectronicControl Unit，电子控制单元)930、传感器940以及执行器件990。

驾驶控制设备(又称为车载大脑)910负责整个车辆900的总体智能控制。驾驶控制设备910可以是单独设置的控制器，例如，可编程逻辑控制器(ProgrammableLogicController，PLC)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。驾驶控制设备910可以对从车身总线920上接收到的各个ECU930发来的数据和/或各个传感器940发来的数据进行分析处理，作出相应的决策，并将决策对应的指令发送到车身总线920。

车身总线920可以是用于连接驾驶控制设备910，ECU930，传感器940以及车辆900的其他未示出的设备的总线。由于CAN(Controller AreaNetwork，控制器局域网络)总线的高性能和可靠性已被广泛认同，因此本实施例中可以采用CAN总线作为车身总线920。当然，可以理解的是车身总线920也可以是其他类型的总线。

车身总线920可以将驾驶控制设备910发出的指令发送给ECU930，ECU930再将上述指令进行分析处理后发给相应的执行器件990执行。

传感器940包括但不限于激光雷达、摄像头、麦克风，等等。本实施例中摄像头可以包括第一摄像头、第二摄像头。

应该理解，图9中的车辆900、驾驶控制设备910、车身总线920、ECU930、传感器940和执行器件990的数目仅仅是示意性的。根据实现需要，可以具有任意数目的车辆900、驾驶控制设备910、车身总线920、ECU930和传感器940。

需要说明的是，本发明实施例所提供的障碍物的检测方法可以由驾驶控制设备910执行。障碍物的检测装置可以应用在车辆中，图10则为障碍物的检测装置1001应用在车辆1002中的示意图。进一步地障碍物的检测装置一般设置于驾驶控制设备910中。或者车辆900可以包括一种计算机设备，该计算机设备配置在车辆上，可以用于实现前述的障碍物的检测方法。当然，本发明实施例所提供的障碍物的检测方法也可以由驾驶控制设备910连接的服务器执行，相应地，障碍物的检测方法一般设置于驾驶控制设备910连接的服务器中，本发明实施例对此不加以限制。

实施例六

图11为本发明实施例提供的一种机器人的示意图。

本发明实施例中机器人1110可以由稳压电源控制器1120、感应处理器1130、主控制模块1140、传感器1150及驱动装置1160组成。

稳压电源控制器1120，用于为机器人1110的自动行驶或完成其他工作进行供电。

感应处理器1130，本实施例中感应处理器1130可以将传感器1150采集到的外部数据进行处理并将处理后的外部数据传输至主控制模块1140。

主控制模块1140，负责机器人1110总体的智能控制，并可以根据接收到的处理后的外部数据进行路径规划，帮助机器人1110在行驶过程中进行避障。

传感器1150，包括但不限于激光雷达、摄像头、麦克风，等等。本实施例中传感器1150可以包括第一摄像头、第二摄像头。

需要说明的是，本发明实施例所提供的障碍物的检测方法可以由主控制模块1140执行。障碍物的检测装置可以应用在车辆中，图12则为障碍物的检测装置1201应用在机器人1202中的示意图。进一步地障碍物的检测装置一般设置于主控制模块1140中。或者机器人1110可以包括一种计算机设备，该计算机设备配置在机器人上，可以用于实现前述的障碍物的检测方法。当然，本发明实施例所提供的障碍物的检测方法也可以由主控制模块1140连接的服务器执行，相应地，障碍物的检测方法一般设置于主控制模块1140连接的服务器中，本发明实施例对此不加以限制。注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种障碍物的检测方法，其特征在于，应用于车辆或机器人，所述车辆或机器人安装有位置存在差异的第一摄像头、第二摄像头，所述方法包括：

分别调用所述第一摄像头向地面采集多帧第一原始图像数据、调用所述第二摄像头向地面采集多帧第二原始图像数据；

分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，所述第一目标图像数据与所述第二目标图像数据在时间上同步；

将所述第一目标图像数据与所述第二目标图像数据对齐；

若完成对齐，则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据；

根据所述感知差异图像数据检测障碍物。

2.根据权利要求1所述的方法，其特征在于，所述第一摄像头位于所述第二摄像头的上方，所述第一摄像头与所述第二摄像头之间间隔预设的距离，所述第一摄像头的拍摄角度相对于水平面向下倾斜指定的角度，所述第二摄像头的拍摄角度与水平面平齐。

3.根据权利要求1所述的方法，其特征在于，多帧所述第一原始图像数据存储在第一缓冲队列中、多帧所述第二原始图像数据存储在第二缓冲队列中，所述分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，包括：

从所述第一缓冲队列中提取一帧所述第一原始图像数据，所述第一原始图像数据携带有第一时间戳；

从所述第二缓冲队列中提取一帧所述第二原始图像数据，所述第二原始图像数据携带有第二时间戳；

查找是否存在所述第一时间戳与所述第二时间戳之间的差值小于预设的第一阈值的所述第一原始图像数据与所述第二原始图像数据；

若存在则确定所述第一原始图像数据与所述第二原始图像数据在时间上同步，分别标记所述第一原始图像数据为第一目标图像数据、标记所述第二原始图像数据为第二目标图像数据；

若不存在，则重启所述第一摄像头、所述第二摄像头，并执行所述查找是否存在所述第一时间戳与所述第二时间戳之间的差值小于预设的第一阈值的所述第一原始图像数据与所述第二原始图像数据。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一目标图像数据与所述第二目标图像数据对齐，包括：

分别查询对所述第一摄像头标定的第一摄像头内参、对所述第二摄像头标定的第二摄像头内参；

分别使用所述第一摄像头内参计算所述第一摄像头的第一畸变参数、使用所述第二摄像头内参计算所述第二摄像头的第二畸变参数；

分别使用所述第一畸变参数校正所述第一目标图像数据、使用所述第二畸变参数校正所述第二目标图像数据；

若完成校正，则分别从所述第一目标图像数据中提取多个第一特征点、从所述第二目标图像数据中提取多个第二特征点，所述第一特征点与所述第二特征点匹配；

计算所述第一特征点与所述第二特征点之间的单应矩阵；

将所述第一目标图像数据乘以所述单应矩阵，以仿射至所述第二目标图像数据所在的坐标系中；

将完成仿射的所述第一目标图像数据作为对齐至所述第二目标图像数据后的所述第一目标图像数据。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据，包括：

确定图像感知模型，所述图像感知模型中具有多层特征提取网络；

将所述第一目标图像数据输入所述图像感知模型中进行处理，并提取指定的多层所述特征提取网络输出的多帧第一特征图像数据；

将所述第二目标图像数据输入所述图像感知模型中进行处理，并提取指定的多层所述特征提取网络输出的多帧第二特征图像数据；

若所述第一特征图像数据与所述第二特征图像数据处于相同的层，则计算所述第一特征图像数据与所述第二特征图像数据之间的差异，作为特征差异图像数据；

将多帧所述特征差异图像数据合并为感知差异图像数据。

6.根据权利要求5所述的方法，其特征在于，所述图像感知模型包括VGG11卷积神经网络模型指定的层包括第3层、第6层、第11层、第16层。

7.根据权利要求5所述的方法，其特征在于，所述计算所述第一特征图像数据与所述第二特征图像数据之间的差异，作为特征差异图像数据，包括：

计算所述第一特征图像数据与所述第二特征图像数据之间在各个通道的差值；

对各个通道的所述差值计算平均值，作为特征差异图像数据。

8.根据权利要求5所述的方法，其特征在于，所述将多帧所述特征差异图像数据合并为感知差异图像数据，包括：

对所述特征差异图像数据进行上采样，获得灰度图像数据；

对所述灰度图像数据配置权重，所述权重与所述特征差异图像数据所处的层数正相关；

将所述灰度图像数据与所述权重之间的乘积相加，获得感知差异图像数据。

9.根据权利要求1-4、6-8中任一项所述的方法，其特征在于，所述根据所述感知差异图像数据检测障碍物，包括：

查询所述感知差异图像数据中各个像素点的灰度值；

若所述像素点的灰度值大于预设的第二阈值，则确定所述像素点的语义为障碍物。

10.一种障碍物的检测装置，其特征在于，包括：

原始图像数据采集模块，用于分别调用所述第一摄像头向地面采集多帧第一原始图像数据、调用所述第二摄像头向地面采集多帧第二原始图像数据；

目标图像数据选取模块，用于分别从多帧所述第一原始图像数据中选定第一目标图像数据、从多帧所述第二原始图像数据中选定第二目标图像数据，所述第一目标图像数据与所述第二目标图像数据在时间上同步；

图像数据对齐模块，用于将所述第一目标图像数据与所述第二目标图像数据对齐；

感知差异图像数据第一获取模块，用于若完成对齐，则计算所述第一目标图像数据与所述第二目标图像数据之间在垂直方向上的感知差异，获得感知差异图像数据；

障碍物检测模块，用于根据所述感知差异图像数据检测障碍物。

11.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的障碍物的检测方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的障碍物的检测方法。

13.一种车辆，其特征在于，包括权利要求10的装置或权利要求11的计算机设备。

14.一种机器人，其特征在于，包括权利要10的装置或权利要求11的计算机设备。

Images