CN117197771A - 基于双目立体匹配的智能驾驶辅助图像处理方法 - Google Patents

基于双目立体匹配的智能驾驶辅助图像处理方法 Download PDF

Info

Publication number
CN117197771A
CN117197771A CN202311480087.2A CN202311480087A CN117197771A CN 117197771 A CN117197771 A CN 117197771A CN 202311480087 A CN202311480087 A CN 202311480087A CN 117197771 A CN117197771 A CN 117197771A
Authority
CN
China
Prior art keywords
texture
image
similarity
road
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311480087.2A
Other languages
English (en)
Other versions
CN117197771B (zh
Inventor
汤中宜
钱灏
谭海川
马朝华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangjiagang Jikejia Intelligent Technology Research And Development Co ltd
Original Assignee
Zhangjiagang Jikejia Intelligent Technology Research And Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangjiagang Jikejia Intelligent Technology Research And Development Co ltd filed Critical Zhangjiagang Jikejia Intelligent Technology Research And Development Co ltd
Priority to CN202311480087.2A priority Critical patent/CN117197771B/zh
Publication of CN117197771A publication Critical patent/CN117197771A/zh
Application granted granted Critical
Publication of CN117197771B publication Critical patent/CN117197771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及基于双目立体匹配的智能驾驶辅助图像处理方法,包括:获取道路灰度图像对序列;根据道路灰度图像对序列得到第一参考窗口区域以及第二参考窗口区域;根据第一参考窗口区域以及第二参考窗口区域得到纹理关键点;根据纹理关键点得到映射关键点;根据映射关键点以得到梯度相似度;根据梯度相似度得到最终纹理相似因子;根据最终纹理相似因子得到图像相似度;根据图像相似度对道路灰度图像对进行驾驶预警。本发明降低了消耗成本,提高了弱纹理区域的识别精度,使智能驾驶辅助图像的效果更好。

Description

基于双目立体匹配的智能驾驶辅助图像处理方法
技术领域
本发明涉及图像处理技术领域,具体涉及基于双目立体匹配的智能驾驶辅助图像处理方法。
背景技术
在智能驾驶场景中,车辆智能系统会通过安装的多个图像采集设备采集路面图像进行图像识别判断,同一个物体会同时存在多个设备在不同角度拍摄的图像中,在不同角度拍摄图像之中进行匹配,确定物体的具体位置,为智能驾驶提供准确的物体识别。
传统方法利用双目立体匹配算法对拍摄图像内的像素点进行匹配获取视差图,从而完成物体识别;但由于传统的双目立体匹配算法在根据区域灰度均值在对弱纹理区域进行匹配时,会使弱纹理区域可能会与图中其他区域产生纹理重复情况,从而造成误匹配,使弱纹理区域的识别精度较低。
发明内容
本发明提供基于双目立体匹配的智能驾驶辅助图像处理方法,以解决现有的问题:传统的双目立体匹配算法在根据区域灰度均值在对弱纹理区域进行匹配时,会使弱纹理区域可能会与图中其他区域产生纹理重复情况,从而造成误匹配,使弱纹理区域的识别精度较低。
本发明的基于双目立体匹配的智能驾驶辅助图像处理方法采用如下技术方案:
包括以下步骤:
获取双目相机每次拍摄时采集的两张道路灰度图像;其中任意一张道路灰度图像记为第一参考道路图像,将另一个道路灰度图像记为第二参考道路图像;
根据第一参考道路图像以及第二参考道路图像进行窗口划分,得到第一参考道路图像中每个像素点的第一参考窗口区域以及第二参考窗口区域;根据第一参考道路图像上每个像素点的第一参考窗口区域以及第二参考道路图像上每个像素点的第二参考窗口区域,得到第一参考道路图像上的每个纹理关键点和第二参考道路图像上每个纹理关键点;
对于第一参考道路图像和第二参考道路图像上的任意一个纹理关键点,根据第一参考道路图像、第二参考道路图像以及纹理关键点得到纹理关键点的若干映射关键点;根据映射关键点以及纹理关键点得到每个纹理关键点与每个映射关键点的梯度相似度;根据梯度相似度得到每个纹理关键点的纹理相似因子;根据纹理相似因子得到若干最终纹理相似因子;将第一参考道路图像与第二参考道路图像共同记为道路灰度图像对,根据最终纹理相似因子得到每个道路灰度图像对的图像相似度;
根据图像相似度对道路灰度图像对进行驾驶预警。
优选的,所述根据第一参考道路图像以及第二参考道路图像进行窗口划分,得到第一参考道路图像中每个像素点的第一参考窗口区域以及第二参考窗口区域,包括的具体方法为:
将预设的两个窗口边长分别记为T1、T2;将第一参考道路图像中任意一个像素点记为目标像素点,以目标像素点为窗口中心,获取窗口大小为T1×T2的窗口,并记为目标像素点的第一参考窗口区域;将第二参考道路图像中与目标像素点位置一致的像素点记为目标像素点的匹配像素点;在第二参考道路图像中,以匹配像素点为窗口中心,获取窗口大小为T1×T2的窗口,并记为目标像素点的第二参考窗口区域。
优选的,所述根据第一参考道路图像上每个像素点的第一参考窗口区域以及第二参考道路图像上每个像素点的第二参考窗口区域,得到第一参考道路图像上的每个纹理关键点和第二参考道路图像上每个纹理关键点,包括的具体方法为:
若干纹理关键点包括第一参考窗口区域的纹理关键点和第二参考窗口区域的纹理关键点;
将第一参考道路图像中任意一个像素点记为目标像素点,利用sobel算子获取目标像素点的第一参考窗口区域中所有像素点的梯度幅值;将梯度幅值最大的像素点记为目标像素点的第一参考窗口区域的纹理关键点;利用sobel算子获取目标像素点的第二参考窗口区域中所有像素点的梯度幅值;将梯度幅值最大的像素点记为目标像素点的第二参考窗口区域的纹理关键点。
优选的,所述根据第一参考道路图像、第二参考道路图像以及纹理关键点得到纹理关键点的若干映射关键点,包括的具体方法为:
将第一参考道路图像中任意一个像素点记为目标像素点,将预设的纹理关键点数量记为T3;对于第一参考道路图像中任意一个目标像素点的第一参考窗口区域的纹理关键点,在第二参考道路图像中将与纹理关键点位置一致的像素点记为纹理关键点的理想映射关键点;
在所有目标像素点的第二参考窗口区域内的纹理关键点中,将与理想映射关键点之间欧式距离最小的T3个纹理关键点均记为纹理关键点的映射关键点。
优选的,所述根据映射关键点以及纹理关键点得到每个纹理关键点与每个映射关键点的梯度相似度,包括的具体方法为:
对于任意一个纹理关键点的任意一个映射关键点,纹理关键点的梯度幅值与梯度方向构成纹理关键点的梯度向量,映射关键点的梯度幅值与梯度方向构成映射关键点的梯度向量,将映射关键点的梯度向量与纹理关键点的梯度向量的余弦相似度作为映射关键点与纹理关键点的梯度相似度。
优选的,所述根据梯度相似度得到每个纹理关键点的纹理相似因子,包括的具体方法为:
对于任意一个纹理关键点,式中,β表示纹理关键点的纹理相似因子;I表示纹理关键点的所有映射关键点的数量;αi表示纹理关键点的第i个映射关键点与纹理关键点的梯度相似度;di表示纹理关键点的第i个映射关键点与纹理关键点的欧式距离;di+1表示纹理关键点的第i+1个映射关键点与纹理关键点的欧式距离;||表示取绝对值。
优选的,所述根据纹理相似因子得到若干最终纹理相似因子,包括的具体方法为:
将第一参考道路图像中所有纹理关键点的纹理相似因子,将所有纹理相似因子输入premnmx( )函数,将每个输出结果记为最终纹理相似因子,所述最终纹理相似因子的取值范围为[-1,1]。
优选的,所述根据最终纹理相似因子得到每个道路灰度图像对的图像相似度,包括的具体方法为:
将目标像素点的第一参考窗口区域内纹理关键点的最终纹理相似因子记为第一纹理相似因子,将目标像素点的第二参考窗口区域内纹理关键点的最终纹理相似因子记为第一纹理相似因子对应的第二纹理相似因子;
对于任意一个道路灰度图像对,式中,S表示道路灰度图像对的图像相似度;n表示道路灰度图像对中第一参考道路图像上所有第一纹理相似因子的数量;β1j表示道路灰度图像对中第一参考道路图像上第j个第一纹理相似因子;β2j表示道路灰度图像对中第一参考道路图像上第j个第一纹理相似因子对应的第二纹理相似因子;β1z表示道路灰度图像对中第一参考道路图像上第z个第一纹理相似因子;β2y表示道路灰度图像对中第一参考道路图像上第y个第一纹理相似因子对应的第二纹理相似因子;γ表示预设的超参数。
优选的,所述根据图像相似度对道路灰度图像对进行驾驶预警,包括的具体方法为:
对于任意一个道路灰度图像对,根据该道路灰度图像对的图像相似度利用双目立体匹配算法获取每个纹理关键点的深度值,将预设的深度值阈值记为R,若存在纹理关键点的深度值小于R,那么进行预警。
优选的,所述根据该道路灰度图像对的图像相似度利用双目立体匹配算法获取每个纹理关键点的深度值,包括的具体方法为:
将双目立体匹配算法中的Normalized Cross-Correlation算法的计算结果替换为道路灰度图像对的图像相似度,然后根据图像相似度利用双目立体匹配算法中的代价聚合算法得到每个纹理关键点的视差结果,根据纹理关键点的视差结果利用双目测距算法得到每个纹理关键点的深度值。
本发明的技术方案的有益效果是:根据道路灰度图像得到纹理关键点,根据纹理关键点得到映射关键点,根据映射关键点得到最终纹理相似因子,根据最终纹理相似因子得到图像相似度,根据图像相似度对道路灰度图像对进行驾驶预警;相较于现有技术在根据区域灰度均值在对弱纹理区域进行匹配时,会使弱纹理区域可能会与图中其他区域产生纹理重复情况,从而造成误匹配,使弱纹理区域的识别精度较低;本发明的最终纹理相似因子反映了第一参考窗口区域与第二参考窗口区域之间的信息损失程度,图像相似度反映了道路灰度图像对内的两张道路灰度图像在内容方面的相关性,降低了消耗成本,提高了弱纹理区域的识别精度,使智能驾驶辅助图像的效果更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于双目立体匹配的智能驾驶辅助图像处理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于双目立体匹配的智能驾驶辅助图像处理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于双目立体匹配的智能驾驶辅助图像处理方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于双目立体匹配的智能驾驶辅助图像处理方法的步骤流程图,该方法包括以下步骤:
步骤S001:采集双目相机若干次拍摄时的道路灰度图像对。
需要说明的是,传统方法利用双目立体匹配算法对拍摄图像内的像素点进行匹配获取视差图,从而完成物体识别;但由于传统的双目立体匹配算法在根据区域灰度均值在对弱纹理区域进行匹配时,会使弱纹理区域可能会与图中其他区域产生纹理重复情况,从而造成误匹配,使弱纹理区域的识别精度较低。为此,本实施例提出了基于双目立体匹配的智能驾驶辅助图像处理方法。
具体的,为了实现本实施例提出的基于双目立体匹配的智能驾驶辅助图像处理方法,首先需要获取道路灰度图像对,具体过程为:使用车辆搭载的双目相机每隔一秒拍摄一次道路景象得到两张道路图像,共拍摄5分钟;利用双目相机的内外参数对每张道路图像进行畸变校正得到若干校正后的道路图像;对每张校正后的道路图像进行灰度化处理得到若干灰度图像,记为道路灰度图像;将每次拍摄的两张道路图像的道路图像灰度图像记为道路灰度图像对。其中利用双目相机的内外参数进行图像校正的过程是畸变校正的公知内容,本实施例不再赘述;灰度化处理是公知技术,本实施例不再赘述。另外需要说明的是,双目相机内置有两个同型号的摄像头,可以同时拍摄两张道路图像,对于这两张道路图像而言,拍摄时间一致,图像大小一致。
至此,通过上述方法得到双目相机若干次拍摄时的道路灰度图像对。
步骤S002:根据道路灰度图像对进行窗口划分,得到若干第一参考窗口区域以及第二参考窗口区域;根据第一参考窗口区域以及第二参考窗口区域得到若干纹理关键点。
需要说明的是,拍摄的道路图像中一般存在多个物体,例如车辆、标识以及行人等,这些物体都具有明显的纹理特征,所以可以通过分析纹理特征进行匹配;而物体的表面通常并不是完全均匀光滑的,所以同一物体在不同视角下所观察的纹理会存在一定的差异;对于同一物体而言,纹理变化存在一定的变化规律,所以同一物体在不同视角下所观察的纹理差异并不会很大,因此可以通过分析同一物体在不同视角下所观察的纹理之间的相似性得到纹理相似因子,以便后续分析匹配处理。
进一步需要说明的是,在道路灰度图像中分布着若干纹理区域,无论对于纹理较明显的纹理区域还是纹理较模糊的纹理区域而言,都存在着一定长度的灰度边缘;在实际场景中,灰度边缘并不是均匀分布,所以灰度边缘上的不同像素点所代表的明显程度也存在不同差异,其中处于较明显灰度边缘的像素点能更好地表示纹理区域的边缘细节;在正常情况下,纹理较明显的纹理区域的灰度边缘通常会较明显,纹理较模糊的纹理区域通常会较模糊;纹理较模糊的纹理区域传统的双目立体匹配算法会认为是弱纹理区域,由于弱纹理区域的灰度边缘不是均匀分布,所以也存在若干可以较明显表示弱纹理区域的边缘细节的像素点,将这些像素点作为纹理关键点,根据这些关键点进行分析,在保证匹配精度较高的基础上,提高处理效率。
具体的,以道路灰度图像对序列中任意一对道路灰度图像对为例,将该道路灰度图像对中任意一个道路灰度图像记为第一参考道路图像,将该道路灰度图像对中另一个道路灰度图像记为第二参考道路图像;预设两个窗口边长T1、T2,其中本实施例以T1=5、T2=5为例进行叙述,本实施例不进行具体限定,其中T1、T2可根据具体实施情况而定;将第一参考道路图像中任意一个像素点记为目标像素点,以该目标像素点为窗口中心,获取窗口大小为T1×T2的窗口,并记为目标像素点的第一参考窗口区域;将第二参考道路图像中与该目标像素点位置一致的像素点记为目标像素点的匹配像素点,在第二参考道路图像中,以该匹配像素点为窗口中心,获取窗口大小为T1×T2的窗口,并记为该目标像素点的第二参考窗口区域。其中第一参考道路图像中每个像素点在第二参考道路图像中均对应一个像素点;每个第一参考窗口区域内包含多个像素点,每个第二参考窗口区域包含多个像素点。另外需要说明的是,在获取像素点的窗口区域的过程中,若以像素点为窗口中心,不存在满足T1×T2大小的窗口时,那么以像素点实际存在的窗口大小为准获取窗口区域。
进一步的,利用sobel算子获取该目标像素点的第一参考窗口区域中所有像素点的梯度幅值;将梯度幅值最大的像素点记为该目标像素点的第一参考窗口区域的纹理关键点;利用sobel算子获取该目标像素点的第二参考窗口区域中所有像素点的梯度幅值;将梯度幅值最大的像素点记为该目标像素点的第二参考窗口区域的纹理关键点。获取所有目标像素点的第一参考窗口区域的纹理关键点以及所有目标像素点的第二参考窗口区域的纹理关键点。其中利用sobel算子获取梯度幅值的过程是sobel算子的公知内容,本实施例不再赘述。
至此,通过上述方法得到所有目标像素点的第一参考窗口区域的纹理关键点以及所有目标像素点的第二参考窗口区域的纹理关键点。
步骤S003:根据纹理关键点得到每个纹理关键点的若干映射关键点;根据映射关键点以及纹理关键点得到每个纹理关键点与每个映射关键点的梯度相似度;根据梯度相似度得到每个纹理关键点的最终纹理相似因子;根据最终纹理相似因子得到每对道路灰度图像对的图像相似度。
需要说明的是,在获取纹理相似因子的过程中,对于任意一对道路灰度图像对而言,由于拍摄角度不同,所以同一个物体在该道路灰度图像对中的两张道路灰度图像中会存在一定程度的位置偏移,从而产生了一定的纹理差异;可以通过分析位置偏移得到纹理相似因子,以便后续分析处理。
具体的,预设一个纹理关键点数量T3,其中本实施例以T3=5为例进行叙述,本实施例不进行具体限定,其中T3可根据具体实施情况而定;以该第一参考道路图像中任意一个目标像素点的第一参考窗口区域的纹理关键点为例,在该第二参考道路图像中将与该纹理关键点位置一致的像素点记为该纹理关键点的理想映射关键点;在所有目标像素点的第二参考窗口区域内的纹理关键点中,将与该理想映射关键点之间欧式距离最小的T3个纹理关键点均记为该纹理关键点的映射关键点,将该纹理关键点的所有映射关键点按照与该纹理关键点欧式距离从小到大进行排序。其中欧式距离的获取是公知技术,本实施例不再赘述。
进一步的,以该纹理关键点的任意一个映射关键点为例,该纹理关键点的梯度幅值与梯度方向构成纹理关键点的梯度向量,该映射关键点的梯度幅值与梯度方向构成映射关键点的梯度向量,将该映射关键点的梯度向量与该纹理关键点的梯度向量的余弦相似度作为该映射关键点与该纹理关键点的梯度相似度;获取所有映射关键点与该纹理关键点的梯度相似度,根据梯度相似度得到该纹理关键点的纹理相似因子。其中该纹理关键点的纹理相似因子的计算方法为:
;
式中,β表示纹理关键点的纹理相似因子;I表示纹理关键点的所有映射关键点的数量;αi表示纹理关键点的第i个映射关键点与纹理关键点的梯度相似度;di表示纹理关键点的第i个映射关键点与纹理关键点的欧式距离;di+1表示纹理关键点的第i+1个映射关键点与纹理关键点的欧式距离;||表示取绝对值;|di-di+1|-1表示像素特征位置的偏移程度。其中若该纹理关键点的纹理相似因子越大,说明该目标像素点的第一参考窗口区域中像素特征位置产生的偏移程度越小,反映该目标像素点的第一参考窗口区域与第二参考窗口区域之间的信息损失越少。获取该第一参考道路图像中所有纹理关键点的纹理相似因子,将所有纹理相似因子输入premnmx( )函数,将每个输出结果记为最终纹理相似因子,所述最终纹理相似因子的取值范围为[-1,1]。其中premnmx( )函数是Matlab程序的公知内容,本实施例不再赘述。
进一步的,将每个目标像素点的第一参考窗口区域内纹理关键点的最终纹理相似因子记为第一纹理相似因子,将每个目标像素点的第二参考窗口区域内纹理关键点的最终纹理相似因子记为第一纹理相似因子对应的第二纹理相似因子;根据第一纹理相似因子以及第二纹理相似因子得到该道路灰度图像对的图像相似度。其中该道路灰度图像对的图像相似度的计算方法为:
;
式中,S表示道路灰度图像对的图像相似度;n表示道路灰度图像对中第一参考道路图像上所有第一纹理相似因子的数量;β1j表示道路灰度图像对中第一参考道路图像上第j个第一纹理相似因子;β2j表示道路灰度图像对中第一参考道路图像上第j个第一纹理相似因子对应的第二纹理相似因子;β1z表示道路灰度图像对中第一参考道路图像上第z个第一纹理相似因子;β2y表示道路灰度图像对中第一参考道路图像上第y个第一纹理相似因子对应的第二纹理相似因子;γ表示预设的超参数,本实施例预设γ=1,用于防止分母为0。其中若该道路灰度图像对的图像相似度越大,说明该道路灰度图像对内的两张道路灰度图像之间越相似,反映该道路灰度图像对内的两张道路灰度图像在内容方面越相关。获取所有道路灰度图像对的图像相似度。
至此,通过上述方法得到所有道路灰度图像对的图像相似度。
步骤S004:根据图像相似度对道路灰度图像对进行驾驶预警。
具体的,以任意一对道路灰度图像对为例,将传统的双目立体匹配算法中的Normalized Cross-Correlation算法的相似度值替换为该道路灰度图像对的图像相似度,将双目立体匹配算法中的Normalized Cross-Correlation算法的计算结果替换为道路灰度图像对的图像相似度,然后根据图像相似度利用双目立体匹配算法中的代价聚合算法得到每个纹理关键点的视差结果,根据纹理关键点的视差结果利用双目测距算法得到每个纹理关键点的深度值;预设一个异常程度阈值R,其中本实施例以R=20米为例进行叙述,本实施例不进行具体限定,其中R可根据具体实施情况而定;将预设的深度值阈值记为R,若存在纹理关键点的深度值小于R,那么进行预警。其中将双目立体匹配算法、代价聚合算法以及双目测距算法均为公知技术,本实施例不再赘述。
需要说明的是,获取的纹理关键点的深度值表征着纹理关键点所属的物体与双目相机之间的实际距离,若深度值越小,说明该物体与车辆距离越近,车辆越有可能与该物体相撞,需要驾驶员注意车速进行规避。
至此,本实施例完成。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,该方法包括以下步骤:
获取双目相机每次拍摄时采集的两张道路灰度图像;其中任意一张道路灰度图像记为第一参考道路图像,将另一个道路灰度图像记为第二参考道路图像;
根据第一参考道路图像以及第二参考道路图像进行窗口划分,得到第一参考道路图像中每个像素点的第一参考窗口区域以及第二参考窗口区域;根据第一参考道路图像上每个像素点的第一参考窗口区域以及第二参考道路图像上每个像素点的第二参考窗口区域,得到第一参考道路图像上的每个纹理关键点和第二参考道路图像上每个纹理关键点;
对于第一参考道路图像和第二参考道路图像上的任意一个纹理关键点,根据第一参考道路图像、第二参考道路图像以及纹理关键点得到纹理关键点的若干映射关键点;根据映射关键点以及纹理关键点得到每个纹理关键点与每个映射关键点的梯度相似度;根据梯度相似度得到每个纹理关键点的纹理相似因子;根据纹理相似因子得到若干最终纹理相似因子;将第一参考道路图像与第二参考道路图像共同记为道路灰度图像对,根据最终纹理相似因子得到每个道路灰度图像对的图像相似度;
根据图像相似度对道路灰度图像对进行驾驶预警。
2.根据权利要求1所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据第一参考道路图像以及第二参考道路图像进行窗口划分,得到第一参考道路图像中每个像素点的第一参考窗口区域以及第二参考窗口区域,包括的具体方法为:
将预设的两个窗口边长分别记为T1、T2;将第一参考道路图像中任意一个像素点记为目标像素点,以目标像素点为窗口中心,获取窗口大小为T1×T2的窗口,并记为目标像素点的第一参考窗口区域;将第二参考道路图像中与目标像素点位置一致的像素点记为目标像素点的匹配像素点;在第二参考道路图像中,以匹配像素点为窗口中心,获取窗口大小为T1×T2的窗口,并记为目标像素点的第二参考窗口区域。
3.根据权利要求1所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据第一参考道路图像上每个像素点的第一参考窗口区域以及第二参考道路图像上每个像素点的第二参考窗口区域,得到第一参考道路图像上的每个纹理关键点和第二参考道路图像上每个纹理关键点,包括的具体方法为:
若干纹理关键点包括第一参考窗口区域的纹理关键点和第二参考窗口区域的纹理关键点;
将第一参考道路图像中任意一个像素点记为目标像素点,利用sobel算子获取目标像素点的第一参考窗口区域中所有像素点的梯度幅值;将梯度幅值最大的像素点记为目标像素点的第一参考窗口区域的纹理关键点;利用sobel算子获取目标像素点的第二参考窗口区域中所有像素点的梯度幅值;将梯度幅值最大的像素点记为目标像素点的第二参考窗口区域的纹理关键点。
4.根据权利要求1所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据第一参考道路图像、第二参考道路图像以及纹理关键点得到纹理关键点的若干映射关键点,包括的具体方法为:
将第一参考道路图像中任意一个像素点记为目标像素点,将预设的纹理关键点数量记为T3;对于第一参考道路图像中任意一个目标像素点的第一参考窗口区域的纹理关键点,在第二参考道路图像中将与纹理关键点位置一致的像素点记为纹理关键点的理想映射关键点;
在所有目标像素点的第二参考窗口区域内的纹理关键点中,将与理想映射关键点之间欧式距离最小的T3个纹理关键点均记为纹理关键点的映射关键点。
5.根据权利要求1所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据映射关键点以及纹理关键点得到每个纹理关键点与每个映射关键点的梯度相似度,包括的具体方法为:
对于任意一个纹理关键点的任意一个映射关键点,纹理关键点的梯度幅值与梯度方向构成纹理关键点的梯度向量,映射关键点的梯度幅值与梯度方向构成映射关键点的梯度向量,将映射关键点的梯度向量与纹理关键点的梯度向量的余弦相似度作为映射关键点与纹理关键点的梯度相似度。
6.根据权利要求1所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据梯度相似度得到每个纹理关键点的纹理相似因子,包括的具体方法为:
对于任意一个纹理关键点,式中,β表示纹理关键点的纹理相似因子;I表示纹理关键点的所有映射关键点的数量;αi表示纹理关键点的第i个映射关键点与纹理关键点的梯度相似度;di表示纹理关键点的第i个映射关键点与纹理关键点的欧式距离;di+1表示纹理关键点的第i+1个映射关键点与纹理关键点的欧式距离;||表示取绝对值。
7.根据权利要求1所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据纹理相似因子得到若干最终纹理相似因子,包括的具体方法为:
将第一参考道路图像中所有纹理关键点的纹理相似因子,将所有纹理相似因子输入premnmx( )函数,将每个输出结果记为最终纹理相似因子,所述最终纹理相似因子的取值范围为[-1,1]。
8.根据权利要求4所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据最终纹理相似因子得到每个道路灰度图像对的图像相似度,包括的具体方法为:
将目标像素点的第一参考窗口区域内纹理关键点的最终纹理相似因子记为第一纹理相似因子,将目标像素点的第二参考窗口区域内纹理关键点的最终纹理相似因子记为第一纹理相似因子对应的第二纹理相似因子;
;
对于任意一个道路灰度图像对,式中,S表示道路灰度图像对的图像相似度;n表示道路灰度图像对中第一参考道路图像上所有第一纹理相似因子的数量;β1j表示道路灰度图像对中第一参考道路图像上第j个第一纹理相似因子;β2j表示道路灰度图像对中第一参考道路图像上第j个第一纹理相似因子对应的第二纹理相似因子;β1z表示道路灰度图像对中第一参考道路图像上第z个第一纹理相似因子;β2y表示道路灰度图像对中第一参考道路图像上第y个第一纹理相似因子对应的第二纹理相似因子;γ表示预设的超参数。
9.根据权利要求1所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据图像相似度对道路灰度图像对进行驾驶预警,包括的具体方法为:
对于任意一个道路灰度图像对,根据该道路灰度图像对的图像相似度利用双目立体匹配算法获取每个纹理关键点的深度值,将预设的深度值阈值记为R,若存在纹理关键点的深度值小于R,那么进行预警。
10.根据权利要求9所述基于双目立体匹配的智能驾驶辅助图像处理方法,其特征在于,所述根据该道路灰度图像对的图像相似度利用双目立体匹配算法获取每个纹理关键点的深度值,包括的具体方法为:
将双目立体匹配算法中的Normalized Cross-Correlation算法的计算结果替换为道路灰度图像对的图像相似度,然后根据图像相似度利用双目立体匹配算法中的代价聚合算法得到每个纹理关键点的视差结果,根据纹理关键点的视差结果利用双目测距算法得到每个纹理关键点的深度值。
CN202311480087.2A 2023-11-08 2023-11-08 基于双目立体匹配的智能驾驶辅助图像处理方法 Active CN117197771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311480087.2A CN117197771B (zh) 2023-11-08 2023-11-08 基于双目立体匹配的智能驾驶辅助图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311480087.2A CN117197771B (zh) 2023-11-08 2023-11-08 基于双目立体匹配的智能驾驶辅助图像处理方法

Publications (2)

Publication Number Publication Date
CN117197771A true CN117197771A (zh) 2023-12-08
CN117197771B CN117197771B (zh) 2024-01-23

Family

ID=88991021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311480087.2A Active CN117197771B (zh) 2023-11-08 2023-11-08 基于双目立体匹配的智能驾驶辅助图像处理方法

Country Status (1)

Country Link
CN (1) CN117197771B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830301A (zh) * 2024-03-04 2024-04-05 青岛正大正电力环保设备有限公司 基于红外可见光融合特征的捞渣区域检测方法
CN117830301B (zh) * 2024-03-04 2024-05-14 青岛正大正电力环保设备有限公司 基于红外可见光融合特征的捞渣区域检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862926A (zh) * 2022-05-25 2022-08-05 华中科技大学 融合ad代价和多模局部特征代价的立体匹配方法及系统
CN116309757A (zh) * 2023-05-24 2023-06-23 山东省青东智能科技有限公司 基于机器视觉的双目立体匹配方法
CN116520915A (zh) * 2023-06-28 2023-08-01 泰山学院 基于热红外图像的网络中心机房温度预警控制系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862926A (zh) * 2022-05-25 2022-08-05 华中科技大学 融合ad代价和多模局部特征代价的立体匹配方法及系统
CN116309757A (zh) * 2023-05-24 2023-06-23 山东省青东智能科技有限公司 基于机器视觉的双目立体匹配方法
CN116520915A (zh) * 2023-06-28 2023-08-01 泰山学院 基于热红外图像的网络中心机房温度预警控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830301A (zh) * 2024-03-04 2024-04-05 青岛正大正电力环保设备有限公司 基于红外可见光融合特征的捞渣区域检测方法
CN117830301B (zh) * 2024-03-04 2024-05-14 青岛正大正电力环保设备有限公司 基于红外可见光融合特征的捞渣区域检测方法

Also Published As

Publication number Publication date
CN117197771B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN111784747B (zh) 一种基于关键点检测和校正的车辆多目标跟踪系统及方法
US7583817B2 (en) Object determining apparatus
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN108447016B (zh) 基于直线交点的光学图像和sar图像的匹配方法
CN110021029B (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN110110793B (zh) 基于双流卷积神经网络的双目图像快速目标检测方法
CN111837158A (zh) 图像处理方法、装置、拍摄装置和可移动平台
CN111797684B (zh) 一种运动车辆双目视觉测距方法
CN104346833A (zh) 一种基于单目视觉的车辆重构算法
CN111178193A (zh) 一种车道线的检测方法、检测装置及计算机可读存储介质
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
CN113221739B (zh) 基于单目视觉的车距测量方法
CN111027474B (zh) 人脸区域获取方法、装置、终端设备和存储介质
CN117197771B (zh) 基于双目立体匹配的智能驾驶辅助图像处理方法
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
CN117218029A (zh) 基于神经网络的夜间暗光图像智能处理方法
CN114782507B (zh) 一种基于无监督学习的非对称双目立体匹配方法及系统
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN104484647A (zh) 一种高分辨率遥感图像云高度检测方法
CN115239623A (zh) 一种检测弓网接触力的方法
CN110428462B (zh) 多相机立体匹配方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant