CN110084133A - 障碍物检测方法、装置、车辆、计算机设备和存储介质 - Google Patents

障碍物检测方法、装置、车辆、计算机设备和存储介质 Download PDF

Info

Publication number
CN110084133A
CN110084133A CN201910265132.XA CN201910265132A CN110084133A CN 110084133 A CN110084133 A CN 110084133A CN 201910265132 A CN201910265132 A CN 201910265132A CN 110084133 A CN110084133 A CN 110084133A
Authority
CN
China
Prior art keywords
image
ground
depth
frame image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910265132.XA
Other languages
English (en)
Other versions
CN110084133B (zh
Inventor
金文耀
李金鹏
秦硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910265132.XA priority Critical patent/CN110084133B/zh
Publication of CN110084133A publication Critical patent/CN110084133A/zh
Application granted granted Critical
Publication of CN110084133B publication Critical patent/CN110084133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种障碍物检测方法、装置、车辆、计算机设备和计算机可读存储介质。其中,该方法包括:获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;将第一帧图像中的所有像素点确定为道路地面上的点,得到针对场景的地面深度图像;基于帧间相机位姿变化,将地面深度图像投影至第二帧图像上;根据投影后的地面深度图像和第二帧图像,生成畸变图像;对畸变图像中的深度信息进行检测,确定场景中的障碍物。从而解决单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的图像检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。

Description

障碍物检测方法、装置、车辆、计算机设备和存储介质
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种障碍物检测方法、装置、车辆、计算机设备和计算机可读存储介质。
背景技术
在自动驾驶领域中,图像中的障碍物检测是最重要的算法之一,帮助自动驾驶车辆对环境建模,影响下游控制模块的决策。相关技术中,自动驾驶的图像障碍物检测方式可以有以下两种:第一种方式,可以通过单张图片,利用单目视觉检测或者跟踪算法对障碍物进行检测;第二种方式,可以通过多摄像头拍摄多张图片,对该多张图片中的各像素点进行匹配算法,计算障碍物的深度,从而达到通用的障碍物检测效果。
但是,目前存在的问题是:对于单张图片的图像检测算法,无法检测出准确的深度信息,使算法对3维环境的障碍物建模更困难,无法对通用的障碍物进行检测;对于多摄像头的检测方法,由于受多图图像特征匹配不准的问题影响,在工程上难以实现,从而影响检测结果的准确性。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种障碍物检测方法。该方法可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
本发明的第二个目的在于提出一种障碍物检测装置。
本发明的第三个目的在于提出一种车辆。
本发明的第四个目的在于提出一种计算机设备。
本发明的第五个目的在于提出一种计算机可读存储介质。
为达上述目的,本发明第一方面实施例提出了一种障碍物检测方法,包括以下步骤:获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像;基于帧间相机位姿变化,将所述地面深度图像投影至所述第二帧图像上;根据投影后的地面深度图像和所述第二帧图像,生成畸变图像;对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。
本发明实施例的障碍物检测方法,通过将一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到其邻近帧下,使得该错误默认的图像中非地面像素发生畸变,与所述邻近帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,之后再使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果;并且,融合了多帧图像的深度信息,可以实现对通用障碍物的准确检测,提高了检测方式的适配效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
为达上述目的,本发明第二方面实施例提出了一种障碍物检测装置,包括:图像获取模块,用于获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;地面深度图像获取模块,用于将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像;图像投影模块,用于基于帧间相机位姿变化,将所述地面深度图像投影至所述第二帧图像上;畸变图像生成模块,用于根据投影后的地面深度图像和所述第二帧图像,生成畸变图像;障碍物检测模块,用于对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。
本发明实施例的障碍物检测装置,通过图像获取模块获取针对同一场景拍摄得到的第一帧图像和第二帧图像,通过地面深度图像获取模块将该第一帧图像中的所有点错误默认为地面上的点以得到地面深度图像,通过图像投影模块将该地面深度图像转换到第二帧图像下,畸变图像生成模块根据投影后的地面深度图像和第二帧图像生成畸变图像,障碍物检测模块对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。即通过将一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到其邻近帧下,使得该错误默认的图像中非地面像素发生畸变,与所述邻近帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,通过障碍物检测模块,使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
为达上述目的,本发明第三方面实施例提出了一种车辆,包括图像采集装置,用于对当前场景进行图像采集;本发明第二方面实施例所述的障碍物检测装置。
为达上述目的,本发明第四方面实施例提出了一种计算机设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本发明第一方面实施例所述的障碍物检测方法。
为达上述目的,本发明第五方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现本发明第一方面实施例所述的障碍物检测方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一个实施例的障碍物检测方法的流程图;
图2是本发明实施例的通过图像采集装置拍摄到的图像的示意图;
图3是本发明实施例的畸变图像的示意图;
图4是本发明实施例的障碍物检测装置的结构示意图;
图5是本发明一个实施例的车辆的结构示意图;
图6是本发明一个实施例的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的障碍物检测方法、装置、车辆、计算机设备和计算机可读存储介质。
图1是根据本发明一个实施例的障碍物检测方法的流程图。需要说明的是,本发明实施例的障碍物检测方法可应用于本发明实施例的障碍物检测装置,该障碍物检测装置可配置于本发明实施例的车辆上。其中,在本发明的实施例中,该车辆可以具有自动驾驶功能的车辆,例如,该车辆可利用自动驾驶技术实现在道路上行驶。
如图1所示,该障碍物检测方法包括以下步骤:
步骤110,获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像。
可选地,图像采集装置可设置于车辆上,可通过图像采集装置对当前场景进行图像采集,从而可以获得图像采集装置拍摄得到的多帧图像。其中,该图像采集装置可以为但不限于摄像机、数码相机等录像设备。
在本步骤中,可获取图像采集装置针对同一场景拍摄得到的多帧图像,如第一帧图像和第二帧图像。需要说明的是,该第一帧图像和第二帧图像可以来源于同一个图像采集装置采集的上下帧,必须在同一场景中,即需要两帧图像之间场景没有巨大的变化。例如,该图像采集装置为单目摄像头,该第一帧图像和第二帧图像可为该单目摄像头的上下帧,两帧图像之间场景没有巨大的变化。
又如,该图像采集装置为双目摄像头,可通过该双目摄像头进行图像采集以得到该第一帧图像和第二帧图像,比如该双目摄像头中的两个摄像头分别对场景进行图像采集,各自得到一帧图像,其中,这两个摄像头之间的距离相差不大,以使得这两个摄像头各自拍摄的图像之间场景没有巨大变化。
步骤120,将第一帧图像中的所有像素点确定为道路地面上的点,得到针对场景的地面深度图像。
可选地,确定第一帧图像中位于地面的像素点,并根据相机位姿参数,确定该位于地面上的像素点的深度信息,将该第一帧图像中非地面上的像素点附上该位于地面上的像素点的深度信息,从而得到针对该场景的地面深度图像。其中,在本发明的实施例中,该位于地面上的像素点即为图像中道路地面上的像素点;非地面上的像素点即为图像道路地面之上的像素点,即高于地面的像素点,如图像中障碍物的像素点。
也就是说,不管第一帧图像中的像素点是否为地面上的像素点,可将整个第一帧图像中的每个像素点都默认为该地面上的点。例如,可对该图像采集装置进行标定,以确定该图像采集装置的相机位姿参数(如相机外参数),并基于该相机外参数计算出该位于地面上的像素点的深度信息,通过将该第一帧图像中的非地面上的像素点附上地面上像素点的深度信息,使该非地面上的像素点附上错误的深度信息,从而使该图像中的所有点均转换为地面上的点。其中,该错误的深度信息指的是假设图像中的像素均来源于地面上的点从而使用投影而计算的深度信息,由于假设不成立,所以是错误的。
步骤130,基于帧间相机位姿变化,将地面深度图像投影至第二帧图像上。
具体的,因为投影是一个降维的过程,将三维物体投影到视平面。在本实施例中,可将附有地面深度信息的第一帧图像投影到第二帧图像上,相关的投影方法有很多,在本步骤中,可以运用小孔成像的投影方法来实现,例如,可根据帧间相机位姿变化,确定该地面深度图像与第二帧图像之间的逆透视变换矩阵,然后根据逆透视变换矩阵,将该地面深度图像投影至第二帧图像上。其中,在本发明的实施例中,该帧间相机位姿变化可理解为第一帧图像和第二帧图像两帧之间的相对位姿变化,比如可通过惯导传感器来获得两帧之间的相对位姿变化。
举例而言,假设对于地面深度图像中任意一点(X,Y,Z),投影到第二帧图像下之后的对应像点为(u,v,1),则可确定出该(X,Y,Z)与其像素点之间的映射关系,并根据投影之后的像素点(u,v,1)、该映射关系和帧间相机位姿变化,计算出地面深度图像转换到第二帧图像时需使用的逆透视变换矩阵,从而可以基于该逆透视变换矩阵,将该地面深度图像投影到第二帧图像上。
步骤140,根据投影后的地面深度图像和第二帧图像,生成畸变图像。
可选地,计算投影后的地面深度图像与第二帧图像之间的各像素差值,然后将该计算得到的各像素差值形成的图像确定为畸变图像。例如,可利用该投影后的地面深度图像中的各像素对应减去该第二帧图像的像素,得到各像素的差值;或者,可利用该第二帧图像中的各像素对应减去该投影后的地面深度图像的像素,得到各像素的差值。
举例而言,假设可获得图像采集装置拍摄到的第一帧图像和第二帧图像均为如图2所示,可将其中第一帧图像中非地面上点附上错误的深度信息,并基于帧间相机位姿变化将此时的第一帧图像投影到第二帧图像,使该第一帧图像的非地面上点产生畸变,如图3所示,即为第二帧图像减去第一帧图像产生畸变后的图像。
需要说明的是,因为在上述步骤120中,第一帧图像中只有非地面点不符合之前所说的所有点均为地面点的假设,所以有了错误的深度信息。用了错误的深度信息再使用投影算法,就会产生畸变。其中,生成畸变图像的方式有很多种,比如对图像相加、相减、平移、旋转等。在这里,可以使用投影后的地面深度图像(也就是附有错误深度信息的第一帧图像转换到第二帧图像上后的图像)减去第二帧图像,也可以用第二帧图像减去投影后的地面深度图像,得出两种图像产生的明显像素差。
步骤150,对畸变图像中的深度信息进行检测,确定场景中的障碍物。
作为一种示例,可根据已训练的神经网络模型对畸变图像中的深度信息进行预测,确定场景中的障碍物;其中,该神经网络模型已训练得到各畸变图像与各畸变图像中障碍物的深度信息之间的对应关系。
需要说明的是,在本发明的实施例中,所述神经网络模型可以是利用基于单目图像的深度估计算法而训练得到的。在本实施例中,可利用大量的畸变图像(即针对两帧相差不大的图像,将其中一帧图像中的所有点错误默认为地面上点,并将该帧图像投影至另一帧图像并与其进行像素差计算而得到的图像)和其对应的标注数据(即该畸变图像中标注出实际障碍物的深度信息)对神经网络模型进行训练,从而可以使得该神经网络模型训练学习得到各畸变图像与各畸变图像中障碍物的深度信息之间的对应关系,以便实际应用中利用该已训练好的神经网络模型对待检测的畸变图像中的深度信息进行预测,从而可以准确的确定出场景中的障碍物。由此,由于利用单目图像的深度估计算法建立神经网络模型,使得该模型融合了多帧图像的深度信息,从而可以实现对通用障碍物的准确检测,提高了检测方式的适配效果。
综上,本发明实施例的障碍物检测方法,通过将一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到其邻近帧下,使得该错误默认的图像中非地面像素发生畸变,与所述邻近帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,之后再使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
与上述几种实施例提供的障碍物检测方法相对应,本发明的一种实施例还提供一种障碍物检测装置,由于本发明实施例提供的障碍物检测装置与上述几种实施例提供的障碍物检测方法相对应,因此在前述障碍物检测方法的实施方式也适用于本实施例提供的障碍物检测装置,在本实施例中不再详细描述。图4是本发明实施例的障碍物检测装置的结构示意图。如图4所示,该障碍物检测装置40包括:图像获取模块11、地面深度图像获取模块12、图像投影模块13、畸变图像生成模块14和障碍物检测模块15。其中,
图像获取模块11,用于获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像。
地面深度图像获取模块12,用于将第一帧图像中的所有像素点确定为道路地面上的点,得到针对场景的地面深度图像。作为一种示例,地面深度图像获取模块12可确定第一帧图像中位于地面上的像素点,并根据相机位姿参数,确定位于地面上的像素点的深度信息,并将第一帧图像中非地面上的像素点附上位于地面上的像素点的深度信息,得到针对场景的地面深度图像。
图像投影模块13,用于基于帧间相机位姿变化,将地面深度图像投影至第二帧图像上。在本发明的一个实施例中,图像投影模块13可根据帧间相机位姿变化,确定地面深度图像与第二帧图像之间的逆透视变换矩阵,并根据逆透视变换矩阵,将地面深度图像投影至第二帧图像上。
畸变图像生成模块14,用于根据投影后的地面深度图像和第二帧图像,生成畸变图像。在本发明的一个实施例中,畸变图像生成模块14可计算投影后的地面深度图像与第二帧图像之间的各像素差值,并将计算得到的各像素差值形成的图像确定为畸变图像。
障碍物检测模块15,用于对畸变图像中的深度信息进行检测,确定场景中的障碍物。在本发明的一个实施例中,障碍物检测模块15可根据已训练的神经网络模型对畸变图像中的深度信息进行预测,确定场景中的障碍物。其中,该神经网络模型已训练得到各畸变图像与各畸变图像中障碍物的深度信息之间的对应关系。
本发明实施例的障碍物检测装置,通过图像获取模块获取针对同一场景拍摄得到的第一帧图像和第二帧图像,通过地面深度图像获取模块将该第一帧图像中的所有点错误默认为地面上的点以得到地面深度图像,通过图像投影模块将该地面深度图像转换到第二帧图像下,畸变图像生成模块根据投影后的地面深度图像和第二帧图像生成畸变图像,障碍物检测模块对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。即通过将一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到其邻近帧下,使得该错误默认的图像中非地面像素发生畸变,与所述邻近帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,通过障碍物检测模块,使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
为了实现上述实施例,本发明还提出一种车辆。
图5是根据本发明一个实施例的车辆的结构示意图。如图5所示,该车辆50可包括:图像采集装置51和障碍物检测装置40。
其中,图像采集装置51可用于对当前场景进行图像采集。图像采集装置51在采集到图像后,可将采集到的图像发送给障碍物检测装置40,以便障碍物检测装置40利用图像采集装置51采集到的图像进行处理,以实现障碍物的检测。
障碍物检测装置40的具体功能描述可参见上述图4所示实施例的功能描述,在此不做赘述。
本发明实施例的车辆,通过障碍物检测装置获取针对同一场景拍摄得到的第一帧图像和第二帧图像,并将该第一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到第二帧图像下,使得该错误默认的图像中非地面像素发生畸变,与第二帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,之后再使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
为了实现上述实施例,本发明还提出一种计算机设备。
图6是根据本发明一个实施例的计算机设备的结构示意图,如图6所示,该计算机设备60可包括:存储器61、处理器62及存储在存储器61上并可在处理器62上运行的计算机程序63,处理器62执行计算机程序63时,实现本发明上述任一实施例所述的障碍物检测方法。
本发明实施例还提出一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现本发明上述任一实施例所述的障碍物检测方法。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种障碍物检测方法,其特征在于,包括以下步骤:
获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;
将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像;
基于帧间相机位姿变化,将所述地面深度图像投影至所述第二帧图像上;
根据投影后的地面深度图像和所述第二帧图像,生成畸变图像;
对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。
2.根据权利要求1所述的方法,其特征在于,将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像,包括:
确定所述第一帧图像中位于地面上的像素点;
根据相机位姿参数,确定所述位于地面上的像素点的深度信息;
将所述第一帧图像中非地面上的像素点附上所述位于地面上的像素点的深度信息,得到针对所述场景的地面深度图像。
3.根据权利要求1所述的方法,其特征在于,基于帧间相机位姿变化,将所述地面深度图像投影至所述第二帧图像上,包括:
根据所述帧间相机位姿变化,确定所述地面深度图像与第二帧图像之间的逆透视变换矩阵;
根据所述逆透视变换矩阵,将所述地面深度图像投影至所述第二帧图像上。
4.根据权利要求1所述的方法,其特征在于,根据投影后的地面深度图像和所述第二帧图像,生成畸变图像,包括:
计算投影后的地面深度图像与所述第二帧图像之间的各像素差值;
将计算得到的各像素差值形成的图像确定为所述畸变图像。
5.根据权利要求1至4中任一项所述的方法,其特征在于,对所述畸变图像中的深度信息进行检测,包括:
根据已训练的神经网络模型对所述畸变图像中的深度信息进行预测,确定所述场景中的障碍物;
其中,所述神经网络模型已训练得到各畸变图像与所述各畸变图像中障碍物的深度信息之间的对应关系。
6.一种障碍物检测装置,其特征在于,包括:
图像获取模块,用于获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;
地面深度图像获取模块,用于将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像;
图像投影模块,用于基于帧间相机位姿变化,将所述地面深度图像投影至所述第二帧图像上;
畸变图像生成模块,用于根据投影后的地面深度图像和所述第二帧图像,生成畸变图像;
障碍物检测模块,用于对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。
7.根据权利要求6所述的装置,其特征在于,所述地面深度图像获取模块具体用于:
确定所述第一帧图像中位于地面上的像素点;
根据相机位姿参数,确定所述位于地面上的像素点的深度信息;
将所述第一帧图像中非地面上的像素点附上所述位于地面上的像素点的深度信息,得到针对所述场景的地面深度图像。
8.根据权利要求6所述的装置,其特征在于,所述图像投影模块具体用于:
根据所述帧间相机位姿变化,确定所述地面深度图像与第二帧图像之间的逆透视变换矩阵;
根据所述逆透视变换矩阵,将所述地面深度图像投影至所述第二帧图像上。
9.根据权利要求6所述的装置,其特征在于,所述畸变图像生成模块具体用于:
计算投影后的地面深度图像与所述第二帧图像之间的各像素差值;
将计算得到的各像素差值形成的图像确定为所述畸变图像。
10.根据权利要求6至9中任一项所述的装置,其特征在于,所述障碍物检测模块具体用于:
根据已训练的神经网络模型对所述畸变图像中的深度信息进行预测,确定所述场景中的障碍物;
其中,所述神经网络模型已训练得到各畸变图像与所述各畸变图像中障碍物的深度信息之间的对应关系。
11.一种车辆,其特征在于,包括:
图像采集装置,用于对当前场景进行图像采集;
如权利要求6至10中任一项所述的障碍物检测装置。
12.一种计算机设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1至5中任一项所述的障碍物检测方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的障碍物检测方法。
CN201910265132.XA 2019-04-03 2019-04-03 障碍物检测方法、装置、车辆、计算机设备和存储介质 Active CN110084133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910265132.XA CN110084133B (zh) 2019-04-03 2019-04-03 障碍物检测方法、装置、车辆、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910265132.XA CN110084133B (zh) 2019-04-03 2019-04-03 障碍物检测方法、装置、车辆、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110084133A true CN110084133A (zh) 2019-08-02
CN110084133B CN110084133B (zh) 2022-02-01

Family

ID=67414198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910265132.XA Active CN110084133B (zh) 2019-04-03 2019-04-03 障碍物检测方法、装置、车辆、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110084133B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046809A (zh) * 2019-12-16 2020-04-21 中科院微电子研究所昆山分所 一种障碍物检测方法、装置、设备及计算机可读存储介质
CN111428651A (zh) * 2020-03-26 2020-07-17 广州小鹏汽车科技有限公司 一种车辆的障碍信息获取方法、系统及车辆
CN112124318A (zh) * 2019-09-30 2020-12-25 百度(美国)有限责任公司 自主驾驶车辆的障碍物感知校准系统
CN112912895A (zh) * 2021-01-29 2021-06-04 华为技术有限公司 一种检测方法、装置和车辆
CN113887400A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN114399919A (zh) * 2021-12-31 2022-04-26 展讯通信(上海)有限公司 泊车影像生成方法、终端设备、介质及泊车系统
CN116543032A (zh) * 2023-07-06 2023-08-04 中国第一汽车股份有限公司 冲击物测距方法、装置、测距设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296721A (zh) * 2015-05-14 2017-01-04 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN107392965A (zh) * 2017-07-24 2017-11-24 王华锋 一种基于深度学习和双目立体视觉相结合的测距方法
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学(武汉) 一种车辆驾驶路径偏移的识别方法及系统
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
US20180253099A1 (en) * 2014-03-04 2018-09-06 Cybernet Systems Corporation All weather autonomously driven vehicles
CN108536157A (zh) * 2018-05-22 2018-09-14 上海迈陆海洋科技发展有限公司 一种智能水下机器人及其系统、物标跟踪方法
CN108596009A (zh) * 2017-12-29 2018-09-28 西安智加科技有限公司 一种用于农机自动驾驶的障碍物检测方法和系统
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障系统及方法
US20190035098A1 (en) * 2017-07-25 2019-01-31 Parrot Drones Electronic device and method for generating, from at least one pair of successive images of a scene, a depth map of the scene, associated drone and computer program
CN109300151A (zh) * 2018-07-02 2019-02-01 浙江商汤科技开发有限公司 图像处理方法和装置、电子设备
CN109472180A (zh) * 2017-09-07 2019-03-15 聚晶半导体股份有限公司 道路图像处理方法与道路图像处理装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253099A1 (en) * 2014-03-04 2018-09-06 Cybernet Systems Corporation All weather autonomously driven vehicles
CN106296721A (zh) * 2015-05-14 2017-01-04 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN107392965A (zh) * 2017-07-24 2017-11-24 王华锋 一种基于深度学习和双目立体视觉相结合的测距方法
US20190035098A1 (en) * 2017-07-25 2019-01-31 Parrot Drones Electronic device and method for generating, from at least one pair of successive images of a scene, a depth map of the scene, associated drone and computer program
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学(武汉) 一种车辆驾驶路径偏移的识别方法及系统
CN109472180A (zh) * 2017-09-07 2019-03-15 聚晶半导体股份有限公司 道路图像处理方法与道路图像处理装置
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108596009A (zh) * 2017-12-29 2018-09-28 西安智加科技有限公司 一种用于农机自动驾驶的障碍物检测方法和系统
CN108536157A (zh) * 2018-05-22 2018-09-14 上海迈陆海洋科技发展有限公司 一种智能水下机器人及其系统、物标跟踪方法
CN109300151A (zh) * 2018-07-02 2019-02-01 浙江商汤科技开发有限公司 图像处理方法和装置、电子设备
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障系统及方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
ADRIAN BURLACU等: "Obstacle Detection in Stereo Sequences using Multiple Representations of the Disparity Map", 《2016 20TH INTERNATIONAL CONFERENCE ON SYSTEM THEORY, CONTROL AND COMPUTING (ICSTCC)》 *
ANDREAS WEDEL等: "Realtime Depth Estimation and Obstacle Detection from Monocular Video", 《PATTERN RECOGNITION》 *
MICHELE MANCINI等: "Fast Robust Monocular Depth Estimation for Obstacle Detection with Fully Convolutional Networks", 《ARXIV:1607.06349V1》 *
STEFAN BOHRER,等: "An Integrated Obstacle Detection Framework for intelligent cruise control on motorways", 《PROCEEDINGS OF THE INTELLIGENT VEHICLES "95. SYMPOSIUM》 *
于洋等: "基于DSSD的无人车障碍物检测方法", 《沈阳理工大学学报》 *
刘维: "基于双目立体视觉的物体深度信息提取系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张天翼: "基于立体视觉的移动机器人避障技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨磊等: "一种基于深度信息的障碍物检测方法", 《计算机技术与发展》 *
胡颖等: "卷积神经网络双目视觉路面障碍物检测", 《计算机工程与设计》 *
赵申: "基于立体视觉与纹理特征相结合的障碍物探测", 《软件导刊》 *
迟晶: "基于立体视觉的地平面障碍物检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112124318A (zh) * 2019-09-30 2020-12-25 百度(美国)有限责任公司 自主驾驶车辆的障碍物感知校准系统
CN111046809A (zh) * 2019-12-16 2020-04-21 中科院微电子研究所昆山分所 一种障碍物检测方法、装置、设备及计算机可读存储介质
CN111046809B (zh) * 2019-12-16 2023-09-12 昆山微电子技术研究院 一种障碍物检测方法、装置、设备及计算机可读存储介质
CN111428651A (zh) * 2020-03-26 2020-07-17 广州小鹏汽车科技有限公司 一种车辆的障碍信息获取方法、系统及车辆
CN111428651B (zh) * 2020-03-26 2023-05-16 广州小鹏汽车科技有限公司 一种车辆的障碍信息获取方法、系统及车辆
CN112912895A (zh) * 2021-01-29 2021-06-04 华为技术有限公司 一种检测方法、装置和车辆
CN113887400A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN114399919A (zh) * 2021-12-31 2022-04-26 展讯通信(上海)有限公司 泊车影像生成方法、终端设备、介质及泊车系统
CN116543032A (zh) * 2023-07-06 2023-08-04 中国第一汽车股份有限公司 冲击物测距方法、装置、测距设备及存储介质
CN116543032B (zh) * 2023-07-06 2023-11-21 中国第一汽车股份有限公司 冲击物测距方法、装置、测距设备及存储介质

Also Published As

Publication number Publication date
CN110084133B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN110084133A (zh) 障碍物检测方法、装置、车辆、计算机设备和存储介质
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN105339980B (zh) 具有嵌入辅助图案的条纹的绝对相位测量方法和系统
US5436672A (en) Video processing system for modifying a zone in successive images
CN107431786A (zh) 图像处理设备、图像处理系统、图像处理方法和计算机程序
CN103649998B (zh) 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法
Zhang et al. On 3D scene flow and structure estimation
CN107240124A (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
CN109961468A (zh) 基于双目视觉的体积测量方法、装置及存储介质
US10950032B2 (en) Object capture coverage evaluation
JP4929828B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
CN110070611A (zh) 一种基于深度图像融合的人脸三维重建方法和装置
CN109948684A (zh) 点云数据标注质量的质检方法、装置及其相关设备
CN107924461A (zh) 用于多因素图像特征配准和跟踪的方法、电路、设备、系统及相关计算机可执行代码
CN113689540A (zh) 基于rgb视频的物体重建方法和装置
CN101419667A (zh) 识别图像中障碍物的方法和装置
CN110136174B (zh) 一种目标对象跟踪方法和装置
Shukla et al. Speed determination of moving vehicles using Lucas-Kanade algorithm
CN106600628A (zh) 一种基于红外热像仪的目标物识别的方法与装置
CN112017243B (zh) 一种介质能见度识别方法
CN108362205A (zh) 基于条纹投影的空间测距方法
Bolles et al. Spatiotemporal consistency checking of passive range data
CN108957024A (zh) 一种速度测量的方法、装置以及电子设备
Nejadasl et al. Optical flow based vehicle tracking strengthened by statistical decisions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant