CN116092050A - 机动车障碍物检测方法、装置及计算机可读存储介质 - Google Patents

机动车障碍物检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN116092050A
CN116092050A CN202211716370.6A CN202211716370A CN116092050A CN 116092050 A CN116092050 A CN 116092050A CN 202211716370 A CN202211716370 A CN 202211716370A CN 116092050 A CN116092050 A CN 116092050A
Authority
CN
China
Prior art keywords
image
obstacle
parallax
original
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211716370.6A
Other languages
English (en)
Inventor
童文超
罗小平
石玉璞
曾峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Original Assignee
Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Longhorn Automotive Electronic Equipment Co Ltd filed Critical Shenzhen Longhorn Automotive Electronic Equipment Co Ltd
Priority to CN202211716370.6A priority Critical patent/CN116092050A/zh
Publication of CN116092050A publication Critical patent/CN116092050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种机动车障碍物检测方法、装置及计算机可读存储介质，所述方法包括：从视频影像中获得原始图像帧；对原始图像帧进行处理以获得原始校正图；对原始图像帧进行处理获得补偿校正图，图像补偿模型是基于车载摄像头的成像平面依据预设虚拟运动矩阵进行虚拟运动前后原始校正图中预先标定的非障碍物区域的灰度差最小原理构建获得；计算获得原始校正图与补偿校正图的视差图，对视差图求导获得视差导数图，计算实际灰度均值，依据实际灰度均值和视差导数图计算每个像素点的参考灰度值；以及对比实际灰度值与对应的参考灰度值标记出障碍物像素点和为障碍物。本实施例能有效提升障碍物检测的效率和准确度。

Description

机动车障碍物检测方法、装置及计算机可读存储介质
技术领域
本发明实施例涉及机动车辅助驾驶技术领域，尤其涉及一种机动车障碍物检测方法、装置及计算机可读存储介质。
背景技术
机动车辅助驾驶系统中采用车载摄像头实现广义障碍物(即任意类型、任意形状的障碍物)检测是一种尤为重要技术。目前，针对广义障碍物检测的方法主要包括：基于运动补偿的广义障碍物检测、基于立体视觉的广义障碍物检测、基于结构光或者TOF(time offlight，飞行时间法)的广义障碍物检测和基于深度学习的障碍物检测等。
但是，基于运动补偿需要准确对车载摄像头进行运动估计，在图像的弱纹理区域、结构化重复或成像光照条件不佳等状况下下相机运动估计的精度较差；基于立体视觉效果受制造工艺影响较大，同时采用多目摄像头进行障碍物检测时，由于各镜头之间的空间布置导致的基线长度有限，进而造成可检测范围较小；基于结构光或者TOF所采用的车载摄像头的图像传感器制造工艺复杂，成本较高；而基于深度学习需要复杂的标定过程，而且在实际检测过程中存在较为严重的工作域漂移问题；另外，上述四种方法对投影在地面和水面的非障碍物、运动强光源干扰和坑洼路面等场景都会存在误检，最终造成障碍物检测失败，检测效率低。
发明内容
本发明实施例要解决的技术问题在于，提供一种机动车障碍物检测方法，能有效提升障碍物检测的效率和准确度。
本发明实施例进一步要解决的技术问题在于，提供一种机动车障碍物检测装置，能有效提升障碍物检测的效率和准确度。
本发明实施例进一步要解决的技术问题在于，提供一种计算机可读存储介质，以存储能有效提升障碍物检测的效率和准确度的计算机程序。
为了解决上述技术问题，本发明实施例首先提供以下技术方案：一种机动车障碍物检测方法，包括以下步骤：
从车载摄像头采集的视频影像中逐帧提取获得原始图像帧；
依据预存的图像校正模型对所述原始图像帧进行校正处理以获得原始校正图；
基于预存的图像补偿模型和所述图像校正模型对原始图像帧进行补偿和校正处理获得补偿校正图，所述图像补偿模型是基于所述车载摄像头的成像平面依据预设虚拟运动矩阵在行驶路面进行虚拟运动前后所述原始校正图中预先标定的非障碍物区域的灰度差最小原理构建获得；基于不同图像相对领域的归一化相关性原理计算获得所述原始校正图与所述补偿校正图的视差图，对所述视差图求导获得视差导数图，计算所述视差导数图中消失线以上区域的实际灰度均值，依据所述实际灰度均值和所述视差导数图中每个像素点与所述消失线的实际距离计算每个所述像素点的参考灰度值，其中，所述参考灰度值与所述实际距离成反比且与所述实际灰度均值成正比；以及
对比所述视差导数图中每个像素点的实际灰度值与对应的参考灰度值，在视差导数图中将所述实际灰度值大于所述参考灰度值的像素点标记为障碍物像素点，将相邻的各个所述障碍物像素点组合形成的区域标记为障碍物。
进一步的，所述图像校正模型为将所述原始图像帧校正为多张所述原始校正图的多面体投影校正模型，多张所述原始校正图组合而成的视野范围与对应的原始图像帧的视野范围相同，基于预存的图像补偿模型和所述图像校正模型对原始图像帧进行处理以获得与所述原始校正图一一对应的补偿校正图，每张所述原始校正图和对应的补偿校正图基于不同图像相对领域的归一化相关性原理计算生成一张所述视差导数图，针对每张所述视差导数图对应标记所述障碍物像素点和障碍物。
进一步的，所述参考灰度值
Figure BDA0004026611760000021
其中，Tx表示视差导数图中每个像素点x的参考灰度值，C表示所述视差图中第一预定尺寸邻域内对应的归一化相关性，D表示像素点x与所述消失线的实际距离，Tmean表示所述视差导数图中消失线以上区域的实际灰度均值。
进一步的，所述基于不同图像相对领域的归一化相关性原理计算获得所述原始校正图与所述补偿校正图的视差图具体包括：
在所述原始校正图中选取一个像素点作为第一像素点，计算以所述第一像素点为圆心的第二预定尺寸邻域内的第一灰度均值，在所述补偿校正图中选取一个像素点作为第二像素点，计算以所述第二像素点为圆心的第二预定尺寸邻域内的第二灰度均值，其中，所述第二像素点与第二像素点的垂直图像坐标相同而水平图像坐标相对偏移d个像素点；
依据所述第一灰度均值、第二灰度均值和预存的所述原始校正图与补偿校正图的归一化相关性的计算公式计算所述原始校正图与补偿校正图的归一化相关性最大时的最优d值，将所述最优d值作为所述视差图中一个视差像素点的灰度值，每个所述视差像素点的图像坐标与每个所述第一像素点的图像坐标一一对应；以及
遍历所述原始校正图中所有在所述补偿校正图中存在对应的第二像素点的第一像素点和所述补偿校正图中对应的第二像素点计算对应所述视差像素点的灰度值即获得所述视差图。
进一步的，所述方法还包括以下步骤：
在所述视差导数图中标记出障碍物后依据所述障碍物修正所述图像补偿模型。
进一步的，所述在所述视差导数图中标记出障碍物后依据所述障碍物修正所述图像补偿模型具体包括：
判断所述障碍物是否满足预设标定条件，所述预设标定条件包括所述障碍物为满足预定尺寸阈值的细长障碍物且所述障碍物处于所述视差导数图中的所述非障碍物区域内；
当所述障碍物满足所述预设标定条件时基于所述视频影像中的当前帧及其前一帧的LK光流，计算所述当前图像帧与所述前一帧的相关映射；
基于所述相关映射计算所述前一帧的补偿图像；
计算所述补偿图像与所述当前图像帧中对应的所述非障碍物区域的归一化相关性，比较所述实际归一化相关性与预设相关性阈值；
当所述实际归一化相关性小于所述预设相关性阈值时计算所述当前帧与所述前一帧中满足预设虚拟运动矩阵的实际匹配区域，采用所述当前帧中的实际匹配区域更新所述非障碍物区域；以及
依据所述当前帧中最新的所述非障碍物区域修正所述图像补偿模型。
另一方面，为了解决上述技术问题，本发明实施例再提供以下技术方案：一种机动车障碍物检测装置，与用于拍摄并提供视频影像的车载摄像头相连，所述机动车障碍物检测装置包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的机动车障碍物检测方法。
进一步的，所述车载摄像头为鱼眼摄像机。
再一方面，为了解决上述技术问题，本发明实施例再提供以下技术方案：一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项所述的机动车障碍物检测方法。
采用上述技术方案后，本发明实施例至少具有如下有益效果：本发明实施例通过从车载摄像头获得原始图像帧后，通过对所述原始图像帧进行处理以获得原始校正图，同时采用图像补偿模型和所述图像校正模型对原始图像帧进行处理获得补偿校正图，由于图像补偿模型是基于所述车载摄像头的成像平面依据预设虚拟运动矩阵在行驶路面进行虚拟运动前后所述原始校正图中预先标定的非障碍物区域的灰度差最小原理构建获得，补偿校正图的生成不受相机曝光、外部光照、数字信号转换的影响，且补偿校正图与原始校正图满足光度一致性假设，因此，补偿校正图有效解决了弱纹理、结构重复和场景光照多变等影响运动估计的精确度；由于图像补偿模型是基于所述车载摄像头的成像平面依据预设虚拟运动矩阵在行驶路面进行虚拟运动，因此，补偿校正图是将行驶路面作为先验条件，而实际检测过程中，投影在非障碍物区域内即行驶路面上的伪障碍物、运动强光源在行驶路面上的投影干扰或行驶路面的低浅坑洼等目标均会被归类为满足平面运动的目标而不会被误检，有效地降低误检；然后，通过计算出所述原始校正图与所述补偿校正图的视差图后，由于障碍物区域与非障碍物区域的视差之间存在明显的波谷，因此，依据视差图计算获得视差导数图以及视差导数图中消失线以上区域的实际灰度均值，最后通过对比所述视差导数图中每个像素点的实际灰度值与对应的参考灰度值，即可确定出视差导数图中的障碍物像素点，而将相邻的各个所述障碍物像素点组合形成的区域即可标记为障碍物，能有效提升障碍物检测的效率和准确度。
附图说明
图1为本发明机动车障碍物检测方法一个可选实施例的步骤流程图。
图2为本发明机动车障碍物检测方法一个可选实施例步骤S4具体的流程图。
图3为本发明机动车障碍物检测方法又一个可选实施例的步骤流程图。
图4为本发明机动车障碍物检测方法一个可选实施例步骤S6具体的流程图。
图5为本发明机动车障碍物检测装置一个可选实施例原理框图。
图6为本发明机动车障碍物检测装置一个可选实施例功能模块图。
具体实施方式
下面结合附图和具体实施例对本申请作进一步详细说明。应当理解，以下的示意性实施例及说明仅用来解释本发明，并不作为对本发明的限定，而且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
如图1所示，本发明一个可选实施例提供一种机动车障碍物检测方法，包括以下步骤：
S1：从车载摄像头1采集的视频影像中逐帧提取获得原始图像帧；
S2：依据预存的图像校正模型对所述原始图像帧进行校正处理以获得原始校正图；
S3：基于预存的图像补偿模型和所述图像校正模型对原始图像帧进行补偿和校正处理获得补偿校正图，所述图像补偿模型是基于所述车载摄像头1的成像平面依据预设虚拟运动矩阵在行驶路面进行虚拟运动前后所述原始校正图中预先标定的非障碍物区域的灰度差最小原理构建获得；
S4：基于不同图像相对领域的归一化相关性原理计算获得所述原始校正图与所述补偿校正图的视差图，对所述视差图求导获得视差导数图，计算所述视差导数图中消失线以上区域的实际灰度均值，依据所述实际灰度均值和所述视差导数图中每个像素点与所述消失线的实际距离计算每个所述像素点的参考灰度值，其中，所述参考灰度值与所述实际距离成反比且与所述实际灰度均值成正比；以及
S5：对比所述视差导数图中每个像素点的实际灰度值与对应的参考灰度值，在视差导数图中将所述实际灰度值大于所述参考灰度值的像素点标记为障碍物像素点，将相邻的各个所述障碍物像素点组合形成的区域标记为障碍物。
本发明实施例通过从车载摄像头1获得原始图像帧后，通过对所述原始图像帧进行处理以获得原始校正图，同时采用图像补偿模型和所述图像校正模型对原始图像帧进行处理获得补偿校正图，由于图像补偿模型是基于所述车载摄像头1的成像平面依据预设虚拟运动矩阵在行驶路面进行虚拟运动前后所述原始校正图中预先标定的非障碍物区域的灰度差最小原理构建获得，补偿校正图的生成不受相机曝光、外部光照、数字信号转换的影响，且补偿校正图与原始校正图满足光度一致性假设，因此，补偿校正图有效解决了弱纹理、结构重复和场景光照多变等影响运动估计的精确度；由于图像补偿模型是基于所述车载摄像头1的成像平面依据预设虚拟运动矩阵在行驶路面进行虚拟运动，因此，补偿校正图是将行驶路面作为先验条件，而实际检测过程中，投影在非障碍物区域内即行驶路面上的伪障碍物、运动强光源在行驶路面上的投影干扰或行驶路面的低浅坑洼等目标均会被归类为满足平面运动的目标而不会被误检，有效地降低误检；然后，通过计算出所述原始校正图与所述补偿校正图的视差图后，由于障碍物区域与非障碍物区域的视差之间存在明显的波谷，因此，依据视差图计算获得视差导数图以及视差导数图中消失线以上区域的实际灰度均值，最后通过对比所述视差导数图中每个像素点的实际灰度值与对应的参考灰度值，即可确定出视差导数图中的障碍物像素点，而将相邻的各个所述障碍物像素点组合形成的区域即可标记为障碍物，能有效提升障碍物检测的效率和准确度。在具体实施时，步骤S2和步骤S3的执行顺序可以不分先后，可以同时进行。
在本发明一个可选实施例中，所述图像校正模型为将所述原始图像帧校正为多张所述原始校正图的多面体投影校正模型，多张所述原始校正图组合而成的视野范围与对应的原始图像帧的视野范围相同，基于预存的图像补偿模型和所述图像校正模型对原始图像帧进行处理以获得与所述原始校正图一一对应的补偿校正图，每张所述原始校正图和对应的补偿校正图基于不同图像相对领域的归一化相关性原理计算生成一张所述视差导数图，针对每张所述视差导数图对应标记所述障碍物像素点和障碍物。本实施例中，图像校正模型采用多面体投影校正模型，多面体投影校正模型可对一张原始图像帧进行处理而虚拟成多个窄视野相机拍摄的多张原始校正图，通过分别对每张原始校正图的进行障碍物检测，即可实现原始图像帧的大视野范围的障碍物检测。
在具体实施时，由于车载摄像头1的成像平面A中任意一点P与光心O的夹角小于90度，因此，大视野镜头(例如：鱼眼镜头)采集获得图像在常规图像校正后入射角θ大于90度的视野区域会丢失，而多面体投影校正模型是将原有与光轴垂直(理想状态)的成像平面绕着平行所述成像平面的轴旋转预定角度α，以此获得更大的入射角，实现多面体的鱼眼全视野矫正；构建多面体投影校正模型的具体过程如下：
在步骤S2中，首先，构建三维空间旋转矩阵用于旋转成像平面，其中，旋转矩阵定义为R：
Figure BDA0004026611760000061
然后，设定标准化后的成像平面点P表示为：
P＝{X 1 Z} (公式2)
接着，将成像平面点P旋转到指定平面Pr表示为：
Pr＝R*P＝{Xr Yr Zr} (公式3)
进一步的，旋转后的理论入射角θ表示为：
Figure BDA0004026611760000062
进一步的，计算所述理论入射角θ下的原始图像帧的成像半径rfish表示为：
Figure BDA0004026611760000063
其中，ki表示车载摄像头的畸变曲线多项式系数；
进一步的，计算旋转后的所述成像平面点Pr对应原始图像帧的图像坐标(u，v)的对应关系如下：
Figure BDA0004026611760000064
其中，(Xc，Zc)表示标准化后成像平面的中心，(ucenter，vcenter)表示原始图像帧的图像中心；
进一步的，计算旋转后的所述成像平面点Pr与原始校正图的的图像坐标对应关系如下：
Figure BDA0004026611760000065
其中(u′，v′)是旋转后成像平面点Pr对应的原始校正图的图像坐标，Iwidth和Iheight分别表示原始校正图像的宽和高；
最后，综合公式1-公式7可得，多面体投影校正模型表示为：
Iundist(u′，v′)＝Ifish(u，v) (公式8)
其中，Iundist和Ifish分别表示原始校正图和原始图像帧；
在具体实施时，通过调整所述预定角度α的取值，即可依据一张原始图像帧获得多张原始校正图，每张原始校正图对应一个预定角度α的取值，本发明实施例在具体实施例，通常预定角度α设置三个取值，而对应生成三张原始校正图。
在步骤S3中，为了突出立体障碍物与其背景(非立体障碍物区域)的差异，本发明实施例首先设定预设相机虚拟运动的矢量满足条件：围绕平行于车载摄像头的成像平面的轴旋转，在垂直于成像平面的平面上平移(例如：机动车在行驶路面上运动)，预设虚拟运动矩阵表示为：
Figure BDA0004026611760000071
其中，θ′表示预设车载摄像头模拟绕垂直行驶路面的轴旋转的角度，Δx和Δy分别表示模拟车载摄像头在平行于行驶路面上移动的横向和纵向距离，均为人为预先设定的经验值；
进一步的，首先计算车载摄像头的成像平面进行虚拟运动后成像平面的点，将公式3中的点Pr基于相机虚拟运动矩阵实现平移和旋转获得虚拟运动后的成像平面内的点：
Pr_move＝Twc*Pr (公式10)
进一步的，将点Pr_move代入公式3中替换Pr并依据公式4-8进行图像校正获得原始校正图进行虚拟运动后的虚拟运动图Imove；
进一步的，原始校正图像Iundist中预先标定的非障碍物区域(即行驶路面)表示为：
Figure BDA0004026611760000072
进一步的，依据虚拟运动图像Imove和原始校正图像Iundist中的非障碍物区域基于直接法估计相机运动：
首先，车载摄像头的前后两帧的成像平面点之间对应关系表示为：
Figure BDA0004026611760000073
其中，Pmove为运动后的平面点，SE3(twc)表示所述预设虚拟运动矩阵的李代数；
接着，计算车载摄像头运动后的图像的投影坐标(u′mv，v′mv)可以表示为：
Figure BDA0004026611760000081
其中，fx和fy分别为校正图像对应理想镜头的U和V方向的焦距；(cx，cy)为校正图像的中心。
接着，基于所述车载摄像头1的成像平面依据预设虚拟运动矩阵在行驶路面进行虚拟运动前后所述原始校正图中预先标定的非障碍物区域的灰度差最小原理，对车载摄像头1进行运动估计：
Figure BDA0004026611760000082
其中，Iundist(u′i，v′i)表示原始校正图的非障碍物区域，
Figure BDA0004026611760000083
表示原始校正图进行虚拟运动后的图像对应的非障碍物区域；
接着，基于公式14计算获得SE3(twc)obj补偿虚拟运动图Imove可得：
Figure BDA0004026611760000084
最后，将点
Figure BDA0004026611760000085
代入公式3中替换Pr并依据公式4-8进行图像校正获得补偿校正图Ishadow。
在本发明一个可选实施例中，所述参考灰度值
Figure BDA0004026611760000086
其中，Tx表示视差导数图中每个像素点x的参考灰度值，C表示所述视差图中第一预定尺寸邻域内对应的归一化相关性，D表示像素点x与所述消失线的实际距离，Tmean表示所述视差导数图中消失线以上区域的实际灰度均值。本实施例中，采用如同上述的公式计算参考灰度值Tx，并将视差图中第一预定尺寸邻域内的归一化相关性引入计算参考灰度值Tx，而视差图中第一预定尺寸邻域内的归一化相关性可以用以评价视差图的第一预定尺寸邻域内的纹理丰富度，进而提高后续障碍物检测的准确度。在具体实施时，通常将第一预定尺寸邻域设置为32*32的正方形领域。
在本发明一个可选实施例中，如图2所示，所述步骤S4具体包括：
S41：在所述原始校正图中选取一个像素点作为第一像素点，计算以所述第一像素点为圆心的第二预定尺寸邻域内的第一灰度均值，在所述补偿校正图中选取一个像素点作为第二像素点，计算以所述第二像素点为圆心的第二预定尺寸邻域内的第二灰度均值，其中，所述第二像素点与第二像素点的垂直图像坐标相同而水平图像坐标相对偏移d个像素点；
S42：依据所述第一灰度均值、第二灰度均值和预存的所述原始校正图与补偿校正图的归一化相关性的计算公式计算所述原始校正图与补偿校正图的归一化相关性最大时的最优d值，将所述最优d值作为所述视差图中一个视差像素点的灰度值，每个所述视差像素点的图像坐标与每个所述第一像素点的图像坐标一一对应；以及
S43：遍历所述原始校正图中所有在所述补偿校正图中存在对应的第二像素点的第一像素点和所述补偿校正图中对应的第二像素点计算对应所述视差像素点的灰度值即获得所述视差图。
本实施例中，理论上补偿校正图是原始校正图在非障碍物区域计算出相机运动的补偿后的图像，因此，补偿校正图与原始校正图的障碍物区域的灰度差异远大于非障碍物区域；本发明提出采用补偿校正图和原始校正图的视差来检测障碍物，障碍物区域视差和非障碍物区域的视差之间存在明显的波谷，有助于提取障碍物。
在步骤S41中，在原始校正图Iundist中取一个点x，计算以x为圆心的第二预定尺寸领域R上的第一灰度均值μ1，同理，在补偿校正图Ishadow中计算出一个以x+d为圆心的第二预定尺寸领域R上的第二灰度均值μ2，通常地，所述第二预定尺寸领域R为32*32的圆形领域。
在步骤S42中，基于原始校正图与补偿校正图的归一化相关性的计算公式：
Figure BDA0004026611760000091
基于NCC计算公式，计算两个原始校正图与补偿校正图的局部相关性，在补偿校正图Ishadow的虚拟极线(因为相机是虚拟运动，设置了理想运动矢量，无需极线校正)的领域附近遍历一个区域，该区域与原始校正图Iundist中定义的区域计算获得NCC值最大，此时，d值即为原始校正图与补偿校正图一个点x的视差；
在步骤S43中，将原始校正图Iundist图像中每一个点遍历执行步骤S41和步骤S42步骤，即可获得一个与图像尺寸一致的视差图Idisparty；
接着，对视差图Idisparty求导得到视差导数图Idisparty′；
进一步的，计算视差导数图Idisparty′中消失线以上区域的实际灰度均值Tmean；
进一步的，计算参考灰度值
Figure BDA0004026611760000092
其中，Tx表示视差导数图中坐标点x的参考灰度值。
最后，在步骤S5中，依据以下公式即可进行障碍物像素点标记并输出障碍物图像Iobstacle(x)：
Iobstacle(x)＝Idisparty′(x)＞Tx (公式18)。
在本发明一个可选实施例中，如图3所示，所述方法还包括以下步骤：
S6：在所述视差导数图中标记出障碍物后依据所述障碍物修正所述图像补偿模型。
本实施例中，还通过依据检测出障碍物的障碍物对图像补偿模型进行修正，从而提高后续障碍物检测准确度。
在本发明一个可选实施例中，如图4所示，所述步骤S6具体包括：
S61：判断所述障碍物是否满足预设标定条件，所述预设标定条件包括所述障碍物为满足预定尺寸阈值的细长障碍物且所述障碍物处于所述视差导数图中的所述非障碍物区域内；
S62：当所述障碍物满足所述预设标定条件时基于所述视频影像中的当前帧及其前一帧的LK光流，计算所述当前图像帧与所述前一帧的相关映射；
S63：基于所述相关映射计算所述前一帧的补偿图像；
S64：计算所述补偿图像与所述当前图像帧中对应的所述非障碍物区域的归一化相关性，比较所述实际归一化相关性与预设相关性阈值；
S65：当所述实际归一化相关性小于所述预设相关性阈值时计算所述当前帧与所述前一帧中满足预设虚拟运动矩阵的实际匹配区域，采用所述当前帧中的实际匹配区域更新所述非障碍物区域；以及
S66：依据所述当前帧中最新的所述非障碍物区域修正所述图像补偿模型。
结合前述，本发明实施例中原始校正图中的非障碍物区域在障碍物检测系统初次运行而针对视频影像的第一帧图像时是人工标定的，而在后续帧中，通常障碍物为细长是不符合正常经验的，且障碍物不应处于非障碍物区域内，因此，在满足上述预设标定条件时，系统则则认定障碍物检测存在误差，需要重新对非障碍物区域进行标定；进一步依次基于LK光流和相关映射原理计算出视频影像的当前图像帧的补偿图像，不考虑运动突变的状态，补偿图像与所述当前图像帧在通常状况下的归一化相关性应较高，通过判断补偿图像与所述当前图像帧中对应的所述非障碍物区域的归一化相关性，从而进一步确定非障碍物区域无法满足当前机动车的运动，由于车载摄像头按照预设虚拟运动矩阵在行驶路面进行虚拟运动是严格模拟行驶路面进行的，所以视频影像中的相邻两帧图像帧的非障碍物区域内的点相比立体障碍物区域的点运动更趋近于模拟运动，因此，计算所述当前帧与所述前一帧中满足预设虚拟运动矩阵的实际匹配区域，采用所述当前帧中的实际匹配区域更新所述非障碍物区域，最后依据所述当前帧中最新的所述非障碍物区域即可修正所述图像补偿模型。
另一方面，如图5所示，本发明实施例再提供一种机动车障碍物检测装置3，与用于拍摄并提供视频影像的车载摄像头1相连，所述机动车障碍物检测装置3包括处理器30、存储器32以及存储在所述存储器32中且被配置为由所述处理器执行的计算机程序，所述处理器30执行所述计算机程序时实现如上述任一项所述的机动车障碍物检测方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器32中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述机动车障碍物检测装置3中的执行过程。例如，所述计算机程序可以被分割成图6所述的机动车障碍物检测装置3中的功能模块，其中，图像帧提取模块41、原始校正图计算模块42、补偿校正图计算模块43、视差导数图计算模块44以及障碍物标记模块45分别对应执行以上的步骤S1-步骤S5。
所述机动车障碍物检测装置3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述机动车障碍物检测装置3可包括，但不仅限于，处理器30、存储器32。本领域技术人员可以理解，所述示意图仅仅是机动车障碍物检测装置3的示例，并不构成对机动车障碍物检测装置3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述机动车障碍物检测装置3还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器30是所述机动车障碍物检测装置3的控制中心，利用各种接口和线路连接整个机动车障碍物检测装置3的各个部分。
所述存储器32可用于存储所述计算机程序和/或模块，所述处理器30通过运行或执行存储在所述存储器32内的计算机程序和/或模块，以及调用存储在存储器32内的数据，实现所述机动车障碍物检测装置3的各种功能。所述存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图形识别功能、图形层叠功能等)等；存储数据区可存储根据机动车障碍物检测装置3的使用所创建的数据(比如图形数据等)等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明实施例所述的功能如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器30执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明一个可选实施例中，所述车载摄像头1为鱼眼摄像机。本实施例中，车载摄像头1采用鱼眼摄像机，其拍摄的图像视野范围广，能为机动车提供更大视野范围的障碍物检测。
再一方面，本发明实施例再提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项所述的机动车障碍物检测方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (9)

1.一种机动车障碍物检测方法，其特征在于，所述方法包括以下步骤：
从车载摄像头采集的视频影像中逐帧提取获得原始图像帧；
依据预存的图像校正模型对所述原始图像帧进行校正处理以获得原始校正图；
基于预存的图像补偿模型和所述图像校正模型对原始图像帧进行补偿和校正处理获得补偿校正图，所述图像补偿模型是基于所述车载摄像头的成像平面依据预设虚拟运动矩阵在行驶路面进行虚拟运动前后所述原始校正图中预先标定的非障碍物区域的灰度差最小原理构建获得；基于不同图像相对领域的归一化相关性原理计算获得所述原始校正图与所述补偿校正图的视差图，对所述视差图求导获得视差导数图，计算所述视差导数图中消失线以上区域的实际灰度均值，依据所述实际灰度均值和所述视差导数图中每个像素点与所述消失线的实际距离计算每个所述像素点的参考灰度值，其中，所述参考灰度值与所述实际距离成反比且与所述实际灰度均值成正比；以及
对比所述视差导数图中每个像素点的实际灰度值与对应的参考灰度值，在视差导数图中将所述实际灰度值大于所述参考灰度值的像素点标记为障碍物像素点，将相邻的各个所述障碍物像素点组合形成的区域标记为障碍物。
2.如权利要求1所述的机动车障碍物检测方法，其特征在于，所述图像校正模型为将所述原始图像帧校正为多张所述原始校正图的多面体投影校正模型，多张所述原始校正图组合而成的视野范围与对应的原始图像帧的视野范围相同，基于预存的图像补偿模型和所述图像校正模型对原始图像帧进行处理以获得与所述原始校正图一一对应的补偿校正图，每张所述原始校正图和对应的补偿校正图基于不同图像相对领域的归一化相关性原理计算生成一张所述视差导数图，针对每张所述视差导数图对应标记所述障碍物像素点和障碍物。
3.如权利要求1所述的机动车障碍物检测方法，其特征在于，所述参考灰度值
Figure FDA0004026611750000011
其中，Tx表示视差导数图中每个像素点x的参考灰度值，C表示所述视差图中第一预定尺寸邻域内对应的归一化相关性，D表示像素点x与所述消失线的实际距离，Tmean表示所述视差导数图中消失线以上区域的实际灰度均值。
4.如权利要求1所述的机动车障碍物检测方法，其特征在于，所述基于不同图像相对领域的归一化相关性原理计算获得所述原始校正图与所述补偿校正图的视差图具体包括：
在所述原始校正图中选取一个像素点作为第一像素点，计算以所述第一像素点为圆心的第二预定尺寸邻域内的第一灰度均值，在所述补偿校正图中选取一个像素点作为第二像素点，计算以所述第二像素点为圆心的第二预定尺寸邻域内的第二灰度均值，其中，所述第二像素点与第二像素点的垂直图像坐标相同而水平图像坐标相对偏移d个像素点；
依据所述第一灰度均值、第二灰度均值和预存的所述原始校正图与补偿校正图的归一化相关性的计算公式计算所述原始校正图与补偿校正图的归一化相关性最大时的最优d值，将所述最优d值作为所述视差图中一个视差像素点的灰度值，每个所述视差像素点的图像坐标与每个所述第一像素点的图像坐标一一对应；以及
遍历所述原始校正图中所有在所述补偿校正图中存在对应的第二像素点的第一像素点和所述补偿校正图中对应的第二像素点计算对应所述视差像素点的灰度值即获得所述视差图。
5.如权利要求1所述的机动车障碍物检测方法，其特征在于，所述方法还包括以下步骤：
在所述视差导数图中标记出障碍物后依据所述障碍物修正所述图像补偿模型。
6.如权利要求5所述的机动车障碍物检测方法，其特征在于，所述在所述视差导数图中标记出障碍物后依据所述障碍物修正所述图像补偿模型具体包括：
判断所述障碍物是否满足预设标定条件，所述预设标定条件包括所述障碍物为满足预定尺寸阈值的细长障碍物且所述障碍物处于所述视差导数图中的所述非障碍物区域内；
当所述障碍物满足所述预设标定条件时基于所述视频影像中的当前帧及其前一帧的LK光流，计算所述当前图像帧与所述前一帧的相关映射；
基于所述相关映射计算所述前一帧的补偿图像；
计算所述补偿图像与所述当前图像帧中对应的所述非障碍物区域的归一化相关性，比较所述实际归一化相关性与预设相关性阈值；
当所述实际归一化相关性小于所述预设相关性阈值时计算所述当前帧与所述前一帧中满足预设虚拟运动矩阵的实际匹配区域，采用所述当前帧中的实际匹配区域更新所述非障碍物区域；以及
依据所述当前帧中最新的所述非障碍物区域修正所述图像补偿模型。
7.一种机动车障碍物检测装置，与用于拍摄并提供视频影像的车载摄像头相连，其特征在于，所述机动车障碍物检测装置包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的机动车障碍物检测方法。
8.如权利要求7所述的机动车障碍物检测装置，其特征在于，所述车载摄像头为鱼眼摄像机。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任一项所述的机动车障碍物检测方法。
CN202211716370.6A 2022-12-29 2022-12-29 机动车障碍物检测方法、装置及计算机可读存储介质 Pending CN116092050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211716370.6A CN116092050A (zh) 2022-12-29 2022-12-29 机动车障碍物检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211716370.6A CN116092050A (zh) 2022-12-29 2022-12-29 机动车障碍物检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116092050A true CN116092050A (zh) 2023-05-09

Family

ID=86200327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211716370.6A Pending CN116092050A (zh) 2022-12-29 2022-12-29 机动车障碍物检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116092050A (zh)

Similar Documents

Publication Publication Date Title
US10097812B2 (en) Stereo auto-calibration from structure-from-motion
JP7448921B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
US10789719B2 (en) Method and apparatus for detection of false alarm obstacle
JP3868876B2 (ja) 障害物検出装置及び方法
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
EP3673233A2 (en) Vehicle environment modeling with a camera
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
KR20140027468A (ko) 깊이 측정치 품질 향상
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN112529966A (zh) 一种车载环视系统的在线标定方法及其车载环视系统
CN111295667A (zh) 图像立体匹配的方法和辅助驾驶装置
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN113658262A (zh) 相机外参标定方法、装置、系统及存储介质
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
KR101697229B1 (ko) 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116092050A (zh) 机动车障碍物检测方法、装置及计算机可读存储介质
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法
CN115131273A (zh) 信息处理方法、测距方法及装置
Unger et al. Efficient stereo matching for moving cameras and decalibrated rigs
WO2023074907A1 (ja) 地図作成装置、地図作成方法、及び地図作成プログラム
US20210404843A1 (en) Information processing apparatus, control method for information processing apparatus, and storage medium
CN113763560B (zh) 点云数据的生成方法、系统、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination