CN110084133B - 障碍物检测方法、装置、车辆、计算机设备和存储介质 - Google Patents
障碍物检测方法、装置、车辆、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110084133B CN110084133B CN201910265132.XA CN201910265132A CN110084133B CN 110084133 B CN110084133 B CN 110084133B CN 201910265132 A CN201910265132 A CN 201910265132A CN 110084133 B CN110084133 B CN 110084133B
- Authority
- CN
- China
- Prior art keywords
- image
- ground
- frame image
- frame
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种障碍物检测方法、装置、车辆、计算机设备和计算机可读存储介质。其中,该方法包括:获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;将第一帧图像中的所有像素点确定为道路地面上的点,得到针对场景的地面深度图像;基于帧间相机位姿变化,将地面深度图像投影至第二帧图像上;根据投影后的地面深度图像和第二帧图像,生成畸变图像;对畸变图像中的深度信息进行检测,确定场景中的障碍物。从而解决单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的图像检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
Description
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种障碍物检测方法、装置、车辆、计算机设备和计算机可读存储介质。
背景技术
在自动驾驶领域中,图像中的障碍物检测是最重要的算法之一,帮助自动驾驶车辆对环境建模,影响下游控制模块的决策。相关技术中,自动驾驶的图像障碍物检测方式可以有以下两种:第一种方式,可以通过单张图片,利用单目视觉检测或者跟踪算法对障碍物进行检测;第二种方式,可以通过多摄像头拍摄多张图片,对该多张图片中的各像素点进行匹配算法,计算障碍物的深度,从而达到通用的障碍物检测效果。
但是,目前存在的问题是:对于单张图片的图像检测算法,无法检测出准确的深度信息,使算法对3维环境的障碍物建模更困难,无法对通用的障碍物进行检测;对于多摄像头的检测方法,由于受多图图像特征匹配不准的问题影响,在工程上难以实现,从而影响检测结果的准确性。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种障碍物检测方法。该方法可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
本发明的第二个目的在于提出一种障碍物检测装置。
本发明的第三个目的在于提出一种车辆。
本发明的第四个目的在于提出一种计算机设备。
本发明的第五个目的在于提出一种计算机可读存储介质。
为达上述目的,本发明第一方面实施例提出了一种障碍物检测方法,包括以下步骤:获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像;基于帧间相机位姿变化,将所述地面深度图像投影至所述第二帧图像上;根据投影后的地面深度图像和所述第二帧图像,生成畸变图像;对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。
本发明实施例的障碍物检测方法,通过将一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到其邻近帧下,使得该错误默认的图像中非地面像素发生畸变,与所述邻近帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,之后再使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果;并且,融合了多帧图像的深度信息,可以实现对通用障碍物的准确检测,提高了检测方式的适配效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
为达上述目的,本发明第二方面实施例提出了一种障碍物检测装置,包括:图像获取模块,用于获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;地面深度图像获取模块,用于将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像;图像投影模块,用于基于帧间相机位姿变化,将所述地面深度图像投影至所述第二帧图像上;畸变图像生成模块,用于根据投影后的地面深度图像和所述第二帧图像,生成畸变图像;障碍物检测模块,用于对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。
本发明实施例的障碍物检测装置,通过图像获取模块获取针对同一场景拍摄得到的第一帧图像和第二帧图像,通过地面深度图像获取模块将该第一帧图像中的所有点错误默认为地面上的点以得到地面深度图像,通过图像投影模块将该地面深度图像转换到第二帧图像下,畸变图像生成模块根据投影后的地面深度图像和第二帧图像生成畸变图像,障碍物检测模块对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。即通过将一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到其邻近帧下,使得该错误默认的图像中非地面像素发生畸变,与所述邻近帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,通过障碍物检测模块,使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
为达上述目的,本发明第三方面实施例提出了一种车辆,包括图像采集装置,用于对当前场景进行图像采集;本发明第二方面实施例所述的障碍物检测装置。
为达上述目的,本发明第四方面实施例提出了一种计算机设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本发明第一方面实施例所述的障碍物检测方法。
为达上述目的,本发明第五方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现本发明第一方面实施例所述的障碍物检测方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一个实施例的障碍物检测方法的流程图;
图2是本发明实施例的通过图像采集装置拍摄到的图像的示意图;
图3是本发明实施例的畸变图像的示意图;
图4是本发明实施例的障碍物检测装置的结构示意图;
图5是本发明一个实施例的车辆的结构示意图;
图6是本发明一个实施例的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的障碍物检测方法、装置、车辆、计算机设备和计算机可读存储介质。
图1是根据本发明一个实施例的障碍物检测方法的流程图。需要说明的是,本发明实施例的障碍物检测方法可应用于本发明实施例的障碍物检测装置,该障碍物检测装置可配置于本发明实施例的车辆上。其中,在本发明的实施例中,该车辆可以具有自动驾驶功能的车辆,例如,该车辆可利用自动驾驶技术实现在道路上行驶。
如图1所示,该障碍物检测方法包括以下步骤:
步骤110,获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像。
可选地,图像采集装置可设置于车辆上,可通过图像采集装置对当前场景进行图像采集,从而可以获得图像采集装置拍摄得到的多帧图像。其中,该图像采集装置可以为但不限于摄像机、数码相机等录像设备。
在本步骤中,可获取图像采集装置针对同一场景拍摄得到的多帧图像,如第一帧图像和第二帧图像。需要说明的是,该第一帧图像和第二帧图像可以来源于同一个图像采集装置采集的上下帧,必须在同一场景中,即需要两帧图像之间场景没有巨大的变化。例如,该图像采集装置为单目摄像头,该第一帧图像和第二帧图像可为该单目摄像头的上下帧,两帧图像之间场景没有巨大的变化。
又如,该图像采集装置为双目摄像头,可通过该双目摄像头进行图像采集以得到该第一帧图像和第二帧图像,比如该双目摄像头中的两个摄像头分别对场景进行图像采集,各自得到一帧图像,其中,这两个摄像头之间的距离相差不大,以使得这两个摄像头各自拍摄的图像之间场景没有巨大变化。
步骤120,将第一帧图像中的所有像素点确定为道路地面上的点,得到针对场景的地面深度图像。
可选地,确定第一帧图像中位于地面的像素点,并根据相机位姿参数,确定该位于地面上的像素点的深度信息,将该第一帧图像中非地面上的像素点附上该位于地面上的像素点的深度信息,从而得到针对该场景的地面深度图像。其中,在本发明的实施例中,该位于地面上的像素点即为图像中道路地面上的像素点;非地面上的像素点即为图像道路地面之上的像素点,即高于地面的像素点,如图像中障碍物的像素点。
也就是说,不管第一帧图像中的像素点是否为地面上的像素点,可将整个第一帧图像中的每个像素点都默认为该地面上的点。例如,可对该图像采集装置进行标定,以确定该图像采集装置的相机位姿参数(如相机外参数),并基于该相机外参数计算出该位于地面上的像素点的深度信息,通过将该第一帧图像中的非地面上的像素点附上地面上像素点的深度信息,使该非地面上的像素点附上错误的深度信息,从而使该图像中的所有点均转换为地面上的点。其中,该错误的深度信息指的是假设图像中的像素均来源于地面上的点从而使用投影而计算的深度信息,由于假设不成立,所以是错误的。
步骤130,基于帧间相机位姿变化,将地面深度图像投影至第二帧图像上。
具体的,因为投影是一个降维的过程,将三维物体投影到视平面。在本实施例中,可将附有地面深度信息的第一帧图像投影到第二帧图像上,相关的投影方法有很多,在本步骤中,可以运用小孔成像的投影方法来实现,例如,可根据帧间相机位姿变化,确定该地面深度图像与第二帧图像之间的逆透视变换矩阵,然后根据逆透视变换矩阵,将该地面深度图像投影至第二帧图像上。其中,在本发明的实施例中,该帧间相机位姿变化可理解为第一帧图像和第二帧图像两帧之间的相对位姿变化,比如可通过惯导传感器来获得两帧之间的相对位姿变化。
举例而言,假设对于地面深度图像中任意一点(X,Y,Z),投影到第二帧图像下之后的对应像点为(u,v,1),则可确定出该(X,Y,Z)与其像素点之间的映射关系,并根据投影之后的像素点(u,v,1)、该映射关系和帧间相机位姿变化,计算出地面深度图像转换到第二帧图像时需使用的逆透视变换矩阵,从而可以基于该逆透视变换矩阵,将该地面深度图像投影到第二帧图像上。
步骤140,根据投影后的地面深度图像和第二帧图像,生成畸变图像。
可选地,计算投影后的地面深度图像与第二帧图像之间的各像素差值,然后将该计算得到的各像素差值形成的图像确定为畸变图像。例如,可利用该投影后的地面深度图像中的各像素对应减去该第二帧图像的像素,得到各像素的差值;或者,可利用该第二帧图像中的各像素对应减去该投影后的地面深度图像的像素,得到各像素的差值。
举例而言,假设可获得图像采集装置拍摄到的第一帧图像和第二帧图像均为如图2所示,可将其中第一帧图像中非地面上点附上错误的深度信息,并基于帧间相机位姿变化将此时的第一帧图像投影到第二帧图像,使该第一帧图像的非地面上点产生畸变,如图3所示,即为第二帧图像减去第一帧图像产生畸变后的图像。
需要说明的是,因为在上述步骤120中,第一帧图像中只有非地面点不符合之前所说的所有点均为地面点的假设,所以有了错误的深度信息。用了错误的深度信息再使用投影算法,就会产生畸变。其中,生成畸变图像的方式有很多种,比如对图像相加、相减、平移、旋转等。在这里,可以使用投影后的地面深度图像(也就是附有错误深度信息的第一帧图像转换到第二帧图像上后的图像)减去第二帧图像,也可以用第二帧图像减去投影后的地面深度图像,得出两种图像产生的明显像素差。
步骤150,对畸变图像中的深度信息进行检测,确定场景中的障碍物。
作为一种示例,可根据已训练的神经网络模型对畸变图像中的深度信息进行预测,确定场景中的障碍物;其中,该神经网络模型已训练得到各畸变图像与各畸变图像中障碍物的深度信息之间的对应关系。
需要说明的是,在本发明的实施例中,所述神经网络模型可以是利用基于单目图像的深度估计算法而训练得到的。在本实施例中,可利用大量的畸变图像(即针对两帧相差不大的图像,将其中一帧图像中的所有点错误默认为地面上点,并将该帧图像投影至另一帧图像并与其进行像素差计算而得到的图像)和其对应的标注数据(即该畸变图像中标注出实际障碍物的深度信息)对神经网络模型进行训练,从而可以使得该神经网络模型训练学习得到各畸变图像与各畸变图像中障碍物的深度信息之间的对应关系,以便实际应用中利用该已训练好的神经网络模型对待检测的畸变图像中的深度信息进行预测,从而可以准确的确定出场景中的障碍物。由此,由于利用单目图像的深度估计算法建立神经网络模型,使得该模型融合了多帧图像的深度信息,从而可以实现对通用障碍物的准确检测,提高了检测方式的适配效果。
综上,本发明实施例的障碍物检测方法,通过将一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到其邻近帧下,使得该错误默认的图像中非地面像素发生畸变,与所述邻近帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,之后再使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
与上述几种实施例提供的障碍物检测方法相对应,本发明的一种实施例还提供一种障碍物检测装置,由于本发明实施例提供的障碍物检测装置与上述几种实施例提供的障碍物检测方法相对应,因此在前述障碍物检测方法的实施方式也适用于本实施例提供的障碍物检测装置,在本实施例中不再详细描述。图4是本发明实施例的障碍物检测装置的结构示意图。如图4所示,该障碍物检测装置40包括:图像获取模块11、地面深度图像获取模块12、图像投影模块13、畸变图像生成模块14和障碍物检测模块15。其中,
图像获取模块11,用于获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像。
地面深度图像获取模块12,用于将第一帧图像中的所有像素点确定为道路地面上的点,得到针对场景的地面深度图像。作为一种示例,地面深度图像获取模块12可确定第一帧图像中位于地面上的像素点,并根据相机位姿参数,确定位于地面上的像素点的深度信息,并将第一帧图像中非地面上的像素点附上位于地面上的像素点的深度信息,得到针对场景的地面深度图像。
图像投影模块13,用于基于帧间相机位姿变化,将地面深度图像投影至第二帧图像上。在本发明的一个实施例中,图像投影模块13可根据帧间相机位姿变化,确定地面深度图像与第二帧图像之间的逆透视变换矩阵,并根据逆透视变换矩阵,将地面深度图像投影至第二帧图像上。
畸变图像生成模块14,用于根据投影后的地面深度图像和第二帧图像,生成畸变图像。在本发明的一个实施例中,畸变图像生成模块14可计算投影后的地面深度图像与第二帧图像之间的各像素差值,并将计算得到的各像素差值形成的图像确定为畸变图像。
障碍物检测模块15,用于对畸变图像中的深度信息进行检测,确定场景中的障碍物。在本发明的一个实施例中,障碍物检测模块15可根据已训练的神经网络模型对畸变图像中的深度信息进行预测,确定场景中的障碍物。其中,该神经网络模型已训练得到各畸变图像与各畸变图像中障碍物的深度信息之间的对应关系。
本发明实施例的障碍物检测装置,通过图像获取模块获取针对同一场景拍摄得到的第一帧图像和第二帧图像,通过地面深度图像获取模块将该第一帧图像中的所有点错误默认为地面上的点以得到地面深度图像,通过图像投影模块将该地面深度图像转换到第二帧图像下,畸变图像生成模块根据投影后的地面深度图像和第二帧图像生成畸变图像,障碍物检测模块对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物。即通过将一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到其邻近帧下,使得该错误默认的图像中非地面像素发生畸变,与所述邻近帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,通过障碍物检测模块,使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
为了实现上述实施例,本发明还提出一种车辆。
图5是根据本发明一个实施例的车辆的结构示意图。如图5所示,该车辆50可包括:图像采集装置51和障碍物检测装置40。
其中,图像采集装置51可用于对当前场景进行图像采集。图像采集装置51在采集到图像后,可将采集到的图像发送给障碍物检测装置40,以便障碍物检测装置40利用图像采集装置51采集到的图像进行处理,以实现障碍物的检测。
障碍物检测装置40的具体功能描述可参见上述图4所示实施例的功能描述,在此不做赘述。
本发明实施例的车辆,通过障碍物检测装置获取针对同一场景拍摄得到的第一帧图像和第二帧图像,并将该第一帧图像中的所有点错误默认为地面上的点,并将该错误默认的图像转换到第二帧图像下,使得该错误默认的图像中非地面像素发生畸变,与第二帧图像对比会产生明显的像素差,基于该像素差即可大大降低图像检测的难度,之后再使用图像检测算法对该像素差进行深度估计,可以提高检测结果的准确率,提高检测效果,从而可以解决现有技术中单张图片的图像检测算法无法检测出准确的深度信息,多摄像头的检测方法受多图图像特征匹配不准而影响检测结果准确性的技术问题。
为了实现上述实施例,本发明还提出一种计算机设备。
图6是根据本发明一个实施例的计算机设备的结构示意图,如图6所示,该计算机设备60可包括:存储器61、处理器62及存储在存储器61上并可在处理器62上运行的计算机程序63,处理器62执行计算机程序63时,实现本发明上述任一实施例所述的障碍物检测方法。
本发明实施例还提出一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现本发明上述任一实施例所述的障碍物检测方法。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种障碍物检测方法,其特征在于,包括以下步骤:
获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;
将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像,其中,所述地面深度图像包括所述第一帧图像中非地面上的像素点的深度信息;
基于所述第一帧图像和所述第二帧图像之间的相对位姿变化,确定所述地面深度图像与第二帧图像之间的逆透视变换矩阵,并根据所述逆透视变换矩阵将所述地面深度图像投影至所述第二帧图像上,以使所述第一帧图像的非地面上的像素点产生畸变;
根据投影后的地面深度图像和所述第二帧图像,生成畸变图像,所述畸变图像包括由所述地面深度图像与所述第二帧图像之间的各像素差值形成的图像;
对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物;
对所述畸变图像中的深度信息进行检测,包括:
根据已训练的神经网络模型对所述畸变图像中的深度信息进行预测,确定所述场景中的障碍物;
其中,利用大量的畸变图像和畸变图像对应的标注数据对所述神经网络模型进行训练,使得所述神经网络模型训练学习得到各畸变图像与所述各畸变图像中障碍物的深度信息之间的对应关系。
2.根据权利要求1所述的方法,其特征在于,将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像,包括:
确定所述第一帧图像中位于地面上的像素点;
根据相机位姿参数,确定所述位于地面上的像素点的深度信息;
将所述第一帧图像中非地面上的像素点附上所述位于地面上的像素点的深度信息,得到针对所述场景的地面深度图像。
3.根据权利要求1所述的方法,其特征在于,根据投影后的地面深度图像和所述第二帧图像,生成畸变图像,包括:
计算投影后的地面深度图像与所述第二帧图像之间的各像素差值;
将计算得到的各像素差值形成的图像确定为所述畸变图像。
4.一种障碍物检测装置,其特征在于,包括:
图像获取模块,用于获取图像采集装置针对同一场景拍摄得到的第一帧图像和第二帧图像;
地面深度图像获取模块,用于将所述第一帧图像中的所有像素点确定为道路地面上的点,得到针对所述场景的地面深度图像,其中,所述地面深度图像包括所述第一帧图像中非地面上的像素点的深度信息;
图像投影模块,用于基于所述第一帧图像和所述第二帧图像之间的相对位姿变化,确定所述地面深度图像与第二帧图像之间的逆透视变换矩阵,并根据所述逆透视变换矩阵将所述地面深度图像投影至所述第二帧图像上,以使所述第一帧图像的非地面上的像素点产生畸变;
畸变图像生成模块,用于根据投影后的地面深度图像和所述第二帧图像,生成畸变图像,所述畸变图像包括由所述地面深度图像与所述第二帧图像之间的各像素差值形成的图像;
障碍物检测模块,用于对所述畸变图像中的深度信息进行检测,确定所述场景中的障碍物,其中,用于对所述畸变图像中的深度信息进行检测,包括:
根据已训练的神经网络模型对所述畸变图像中的深度信息进行预测,确定所述场景中的障碍物;
其中,所述神经网络模型已训练得到各畸变图像与所述各畸变图像中障碍物的深度信息之间的对应关系。
5.根据权利要求4所述的装置,其特征在于,所述地面深度图像获取模块具体用于:
确定所述第一帧图像中位于地面上的像素点;
根据相机位姿参数,确定所述位于地面上的像素点的深度信息;
将所述第一帧图像中非地面上的像素点附上所述位于地面上的像素点的深度信息,得到针对所述场景的地面深度图像。
6.根据权利要求4所述的装置,其特征在于,所述畸变图像生成模块具体用于:
计算投影后的地面深度图像与所述第二帧图像之间的各像素差值;
将计算得到的各像素差值形成的图像确定为所述畸变图像。
7.一种车辆,其特征在于,包括:
图像采集装置,用于对当前场景进行图像采集;
如权利要求4至6中任一项所述的障碍物检测装置。
8.一种计算机设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1至3中任一项所述的障碍物检测方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的障碍物检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910265132.XA CN110084133B (zh) | 2019-04-03 | 2019-04-03 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910265132.XA CN110084133B (zh) | 2019-04-03 | 2019-04-03 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110084133A CN110084133A (zh) | 2019-08-02 |
CN110084133B true CN110084133B (zh) | 2022-02-01 |
Family
ID=67414198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910265132.XA Active CN110084133B (zh) | 2019-04-03 | 2019-04-03 | 障碍物检测方法、装置、车辆、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084133B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11352010B2 (en) * | 2019-09-30 | 2022-06-07 | Baidu Usa Llc | Obstacle perception calibration system for autonomous driving vehicles |
CN111046809B (zh) * | 2019-12-16 | 2023-09-12 | 昆山微电子技术研究院 | 一种障碍物检测方法、装置、设备及计算机可读存储介质 |
CN111428651B (zh) * | 2020-03-26 | 2023-05-16 | 广州小鹏汽车科技有限公司 | 一种车辆的障碍信息获取方法、系统及车辆 |
WO2022160232A1 (zh) * | 2021-01-29 | 2022-08-04 | 华为技术有限公司 | 一种检测方法、装置和车辆 |
CN113887400B (zh) * | 2021-09-29 | 2022-10-14 | 北京百度网讯科技有限公司 | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 |
CN114399919A (zh) * | 2021-12-31 | 2022-04-26 | 展讯通信(上海)有限公司 | 泊车影像生成方法、终端设备、介质及泊车系统 |
CN116543032B (zh) * | 2023-07-06 | 2023-11-21 | 中国第一汽车股份有限公司 | 冲击物测距方法、装置、测距设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296721A (zh) * | 2015-05-14 | 2017-01-04 | 株式会社理光 | 基于立体视觉的对象聚集检测方法和装置 |
CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学(武汉) | 一种车辆驾驶路径偏移的识别方法及系统 |
US20180253099A1 (en) * | 2014-03-04 | 2018-09-06 | Cybernet Systems Corporation | All weather autonomously driven vehicles |
CN108596009A (zh) * | 2017-12-29 | 2018-09-28 | 西安智加科技有限公司 | 一种用于农机自动驾驶的障碍物检测方法和系统 |
CN109048926A (zh) * | 2018-10-24 | 2018-12-21 | 河北工业大学 | 一种基于立体视觉的机器人智能避障系统及方法 |
CN109472180A (zh) * | 2017-09-07 | 2019-03-15 | 聚晶半导体股份有限公司 | 道路图像处理方法与道路图像处理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107392965B (zh) * | 2017-07-24 | 2020-10-30 | 王华锋 | 一种基于深度学习和双目立体视觉相结合的测距方法 |
FR3069690A1 (fr) * | 2017-07-25 | 2019-02-01 | Parrot Drones | Dispositif electronique et procede de generation, a partir d'au moins une paire d'images successives d'une scene, d'une carte de profondeur de la scene, drone et programme d'ordinateur associes |
CN108229366B (zh) * | 2017-12-28 | 2021-12-14 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
CN108536157A (zh) * | 2018-05-22 | 2018-09-14 | 上海迈陆海洋科技发展有限公司 | 一种智能水下机器人及其系统、物标跟踪方法 |
CN109300151B (zh) * | 2018-07-02 | 2021-02-12 | 浙江商汤科技开发有限公司 | 图像处理方法和装置、电子设备 |
-
2019
- 2019-04-03 CN CN201910265132.XA patent/CN110084133B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180253099A1 (en) * | 2014-03-04 | 2018-09-06 | Cybernet Systems Corporation | All weather autonomously driven vehicles |
CN106296721A (zh) * | 2015-05-14 | 2017-01-04 | 株式会社理光 | 基于立体视觉的对象聚集检测方法和装置 |
CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学(武汉) | 一种车辆驾驶路径偏移的识别方法及系统 |
CN109472180A (zh) * | 2017-09-07 | 2019-03-15 | 聚晶半导体股份有限公司 | 道路图像处理方法与道路图像处理装置 |
CN108596009A (zh) * | 2017-12-29 | 2018-09-28 | 西安智加科技有限公司 | 一种用于农机自动驾驶的障碍物检测方法和系统 |
CN109048926A (zh) * | 2018-10-24 | 2018-12-21 | 河北工业大学 | 一种基于立体视觉的机器人智能避障系统及方法 |
Non-Patent Citations (3)
Title |
---|
An Integrated Obstacle Detection Framework for intelligent cruise control on motorways;Stefan Bohrer,等;《Proceedings of the Intelligent Vehicles "95. Symposium》;20020806;第276-281页 * |
基于立体视觉的地平面障碍物检测;迟晶;《中国优秀硕士学位论文全文数据库信息科技辑》;20120615(第06期);第I138-1983页摘要、第1章第1.1.2节、第4章第4.1.2节图4.2、第4章第4.2.3节图4.4、4.5 * |
迟晶.基于立体视觉的地平面障碍物检测.《中国优秀硕士学位论文全文数据库信息科技辑》.2012,(第06期),第I138-1983页. * |
Also Published As
Publication number | Publication date |
---|---|
CN110084133A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084133B (zh) | 障碍物检测方法、装置、车辆、计算机设备和存储介质 | |
Levinson et al. | Automatic online calibration of cameras and lasers. | |
CN109949347B (zh) | 人体跟踪方法、装置、系统、电子设备和存储介质 | |
US9374571B2 (en) | Image processing device, imaging device, and image processing method | |
US9189859B2 (en) | 3D image generation | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
EP2194725B1 (en) | Method and apparatus for correcting a depth image | |
US7764284B2 (en) | Method and system for detecting and evaluating 3D changes from images and a 3D reference model | |
TWI393980B (zh) | The method of calculating the depth of field and its method and the method of calculating the blurred state of the image | |
KR20140027468A (ko) | 깊이 측정치 품질 향상 | |
CN110956603B (zh) | 深度图像边缘飞点的检测方法、装置及电子设备 | |
KR101592798B1 (ko) | 배향 센서들에 기초한 호모그래피 분해 모호성의 해결 | |
US10192141B2 (en) | Determining scale of three dimensional information | |
KR20200132065A (ko) | 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템 | |
JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
JP2000121319A5 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
CN113917475A (zh) | 定位方法、装置、电子设备和计算机可读存储介质 | |
KR101578029B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
US20130142388A1 (en) | Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus | |
CN113674361B (zh) | 一种车载环视校准实现方法及系统 | |
CN113536909B (zh) | 一种基于眼动数据的预瞄距离计算方法、系统和设备 | |
CN111260538A (zh) | 基于长基线双目鱼眼相机的定位及车载终端 | |
JP2009104366A (ja) | ステレオ画像処理方法 | |
JP3864491B2 (ja) | 視差算出装置、距離算出装置およびこれらの方法 | |
JP4021036B2 (ja) | ステレオ画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |