CN116503481B - 基于图像视觉引导的自动泊车位姿检测系统 - Google Patents
基于图像视觉引导的自动泊车位姿检测系统 Download PDFInfo
- Publication number
- CN116503481B CN116503481B CN202310745650.8A CN202310745650A CN116503481B CN 116503481 B CN116503481 B CN 116503481B CN 202310745650 A CN202310745650 A CN 202310745650A CN 116503481 B CN116503481 B CN 116503481B
- Authority
- CN
- China
- Prior art keywords
- edge pixel
- pixel point
- gray
- edge
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 11
- 238000005286 illumination Methods 0.000 claims abstract description 116
- 238000012937 correction Methods 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010606 normalization Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G06T5/75—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及数据处理技术领域,具体涉及一种基于图像视觉引导的自动泊车位姿检测系统。该系统基于车位线的形状特征获取全景灰度图像中的每个边缘像素点为车位线边缘像素点的初始概率。由于夜间低照度环境下受到车灯的点光源影响,会产生不均匀光照的现象,所以进一步根据不均匀光照的影响获得光照影响因子,利用光照影响因子对每个边缘像素点的初始概率进行调整,获得精确概率。通过精确概率获得每个边缘像素点的修正系数。进而通过修正系数对图像进行增强,获得高质量全景灰度图像。最后对高质量全景灰度图像进行分析,来指导车辆进行精确定位和方向调整,实现自动泊车位姿精准检测。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于图像视觉引导的自动泊车位姿检测系统。
背景技术
由于狭小的停车位空间和复杂的停车场环境易导致驾驶员泊车时发生刮擦事故,带来不必要的经济损失和交通的拥堵,所以自动泊车位姿检测技术得到快速的发展,其通过摄像头获取车辆周围环境信息,利用计算机视觉和机器学习等技术对车辆的位置和方向进行识别和估计。
当在白天光照较好的情况下,车辆周围环境信息易于识别,但在夜间低照度条件下,由于不均匀光照的影响导致采集到的图像对比度低,会造成车辆周围环境信息识别困难,进而影响自动泊车过程中车辆位置和方向的精确定位和调整。
发明内容
为了解决夜间低照度条件下不均匀光照的影响导致采集到的图像对比度低进而影响自动泊车过程的技术问题,本发明的目的在于提供一种基于图像视觉引导的自动泊车位姿检测系统,所采用的技术方案具体如下:
本发明提出了一种基于图像视觉引导的自动泊车位姿检测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现以下方法步骤:
获取车辆周围环境的全景灰度图像,获取所述全景灰度图像中的边缘线;
根据每个所述边缘线上边缘像素点与其他边缘线上边缘像素点之间的分布情况,筛选出每个所述边缘像素点的对称边缘像素点;根据每个所述边缘像素点与对应的对称边缘像素点之间的距离和梯度方向差异,获得所述边缘像素点的对称性;根据每个所述边缘像素点的梯度方向与所属边缘线对应的法线方向之间的差异,以及梯度方向垂直方向上的灰度变化,获得所述边缘像素点的规则性;根据所述规则性和所述对称性获得每个所述边缘像素点为车位线边缘像素点的初始概率;
获得每个所述边缘像素点与对应的对称边缘像素点之间像素点集合的灰度变化特征,根据所述像素点集合中的整体梯度信息获得光照方向影响特征,根据所述灰度变化特征以及光照方向影响特征获得每个所述边缘像素点的光照影响因子,根据所述光照影响因子调整所述初始概率,获得每个所述边缘像素点的精确概率;
根据每个所述边缘像素点的所述精确概率获取每个所述边缘像素点的修正系数;非边缘像素点的修正系数为预设值;
根据所述修正系数对所述全景灰度图像中每个像素点进行增强,获得高质量全景灰度图像,根据所述高质量全景灰度图像对自动泊车位姿进行检测。
进一步地,所述对称边缘像素点的获取包括:
沿每个所述边缘像素点的灰度梯度方向做一条直线,统计每个所述边缘像素点在对应直线上与位于其他边缘线上的边缘像素点的欧式距离,将最小欧式距离对应的其他边缘像素点作为所述边缘像素点的对称边缘像素点。
进一步地,所述对称性的获取包括:
所述对称性包括第一对称性和第二对称性;
根据每个所述边缘像素点与对应的对称边缘像素点的欧式距离获得欧式距离集合,将所述欧式距离集合中每个所述边缘像素点对应的欧式距离出现的频次占比作为每个所述边缘像素点的第一对称性;
将每个所述边缘像素点的灰度梯度方向所处直线与对应的对称边缘像素点的灰度梯度方向所处直线的夹角值作为第二夹角值;若所述边缘像素点存在两个对称边缘像素点,则取两个第二夹角值中的较小值作为所述第二夹角值;将所述第二夹角值进行负相关映射作为每个所述边缘像素点的第二对称性。
进一步地,所述规则性的获取包括:
所述规则性包括第一规则性和第二规则性;
将每个所述边缘像素点的灰度梯度方向所处直线与所属边缘线的法线的夹角值作为第一夹角值,将所述第一夹角值进行负相关映射作为第一规则性;
将每个所述边缘像素点与对应的灰度梯度方向垂线上相邻像素点的灰度值差值绝对值的均值进行负相关映射,获得第二规则性。
进一步地,所述每个所述边缘像素点为车位线边缘像素点的初始概率的获取包括:
若所述边缘像素点存在对应的对称边缘像素点,则根据所述规则性与所述对称性获得所述边缘像素点的所述初始概率,所述规则性与所述对称性均与所述初始概率呈正相关关系;
若所述边缘像素点不存在对应的对称边缘像素点,则所述边缘像素点为车位线边缘像素点的初始概率为0。
进一步地,所述光照方向影响特征的获取包括:
利用中值差分公式获取所述像素点集合中每个像素点的梯度,获取由所述像素点集合中的像素点组成的线段,将所述线段上每个像素点与所述线段垂直方向上的像素点进行中值差分,获取所述线段上所有像素点的梯度矢量集合;
根据每个所述边缘像素点的梯度值和梯度方向获得每个所述边缘像素点的梯度矢量;获得每个所述边缘像素点对应的所述梯度矢量集合中除端点外所有像素点的梯度矢量和;
以每个所述边缘像素点的梯度矢量与对应的所述梯度矢量和之间的夹角作为光照夹角值;
将所述光照夹角值归一化后的值作为所述光照方向影响特征。
进一步地,所述光照影响因子的获取包括:
将每个所述边缘像素点对应的所述像素点集合的灰度值方差作为每个所述边缘像素点的第一灰度变化特征;
获得所述像素点集合对应的灰度值序列,获得所述灰度值序列的差分序列;统计所述差分序列中的正值数量和负值数量;以正值数量与负值数量之间的最大值作为第二灰度变化特征;
将所述第二灰度变化特征归一化后的值与所述第一灰度变化特征相乘作为所述灰度变化特征;
将所述光照方向影响特征与所述灰度变化特征相乘作为所述光照影响因子;
若边缘像素点存在两个对称边缘像素点,则将两个光照影响因子中的较小值作为所述边缘像素点的光照影响因子。
进一步地,所述每个所述边缘像素点的精确概率的获取包括:
将每个所述边缘像素点的所述光照影响因子反比归一化后的值与对应的所述初始概率相乘作为每个所述边缘像素点的精确概率。
进一步地,所述边缘像素点的所述修正系数的获取包括:
根据每个所述边缘像素点的精确概率获得精确概率集合;对所述精确概率集合进行归一化操作获得归一化集合;
将每个所述边缘像素点在归一化集合中对应的值加1作为每个所述边缘像素点的修正系数。
进一步地,所述检测包括:
根据所述全景灰度图像中每个像素点的修正系数利用反锐化掩膜算法进行图像对比度增强,获得所述全景灰度图像的高质量全景灰度图像;
根据所述高质量全景灰度图像进行车位线检测和定位,利用几何学计算出车辆相对于停车位的位置和姿态,根据姿态估计结果,生成相应的控制指令,来指导车辆进行精确定位和方向调整,实现自动泊车位姿的精准检测。
本发明具有如下有益效果:
本发明首先获取车辆周围环境的全景灰度图像中的边缘线,方便后续对车位线进行检测;进一步地,基于车位线的形状特征获取每个边缘像素点的对称性和规则性,对称性综合了每个边缘像素点与对应的对称边缘像素点的距离信息以及梯度方向差异信息;规则性综合了每个边缘像素点的灰度变化信息以及每个边缘像素点的梯度方向差异信息;故将每个边缘像素点的对称性与规则性进行结合进而表征出每个边缘像素点为车位线边缘像素点的初始概率。由于夜间低照度环境下受车灯的点光源影响,会产生采集到的车辆周围环境的全景图像出现不均匀光照现象,影响车位线的识别,故进一步分析光照对于车位线检测产生的影响,获得每个边缘像素点对应的光照影响因子,光照影响因子综合了光照方向影响特征以及在光照影响下的每个边缘像素点对应的灰度变化特征,因此可以根据光照影响因子对每个边缘像素点为车位线边缘像素点的初始概率进行调整获得每个边缘像素点的精确概率。进而根据每个边缘像素点的精确概率获得每个边缘像素点的修正系数,边缘像素点的修正系数综合考虑了车位线的形状特征以及不均匀光照的影响,可以提高后续对车位线检测的准确性。进一步根据全景灰度图像中每个像素点的修正系数获得全景灰度图像的高质量全景灰度图像,高质量全景灰度图像提高了后续进行车位线检测的准确性,进而实现自动泊车位姿的精准检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图像视觉引导的自动泊车位姿检测系统的实现方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于图像视觉引导的自动泊车位姿检测系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像视觉引导的自动泊车位姿检测系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于图像视觉引导的自动泊车位姿检测系统的实现方法流程图。本发明实施例提供了一种基于图像视觉引导的自动泊车位姿检测系统,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器在执行计算机程序时,可以实现以下方法步骤,该方法步骤对应的流程图如图1所示,具体包括:
步骤S1:获取车辆周围环境的全景灰度图像,获取全景灰度图像中的边缘线。
本发明需要对车位线进行检测,故在本发明实施例中利用车载摄像头采集车辆周围环境的全景图像,进而对采集到的车辆周围环境的全景图像进行灰度化处理,获得全景灰度图像。利用Canny边缘检测算法对全景灰度图像进行检测,获取全景灰度图像中的边缘线以及每个边缘像素点对应的灰度梯度;获取边缘线以及每个边缘像素点对应的灰度梯度为后续计算每个边缘像素点为车位线边缘像素点的概率做准备。需要说明的是,具体拍摄装置的选择,实施者可根据具体实施场景进行调整,对图像进行灰度化处理以及Canny边缘检测算法为本领域技术人员熟知的技术手段,在此不做赘述及具体限定。
步骤S2:根据每个边缘线上边缘像素点与其他边缘线上边缘像素点之间的分布情况,筛选出每个边缘像素点的对称边缘像素点;根据每个边缘像素点与对应的对称边缘像素点之间的距离和梯度方向差异,获得边缘像素点的对称性;根据每个边缘像素点的梯度方向与所属边缘线对应的法线方向之间的差异,以及梯度方向垂直方向上的灰度变化,获得边缘像素点的规则性;根据规则性和对称性获得每个边缘像素点为车位线边缘像素点的初始概率。
由于车位线的规格一致,故在采集到的车辆周围环境的全景灰度图像中车位线的宽度应一致,即可以基于车位线的形状特征获得步骤S1中获得的边缘线上的边缘像素点为车位线边缘像素点的初始概率。
因为每条车位线为规则的矩形区域,即一条车位线存在两条边缘线,并且两条边缘线之间每个位置都存在对应的对称点,因此可以根据每条边缘线上的边缘像素点与其他边缘线上的边缘像素点之间的分布情况筛选出每个边缘像素点的对称边缘像素点,对称边缘像素点为后续获取每个边缘像素点的对称性提供参考。
优选地,本发明一个实施例中,对称边缘像素点的获取包括:
以任意一个边缘像素点为例,过该边缘像素点沿其灰度梯度方向做一条直线,统计该边缘像素点在对应直线上与位于其他边缘线上的边缘像素点的欧式距离,由于车位线形状特征规则,并且同一条车位线的两条边缘线之间距离较近,故选择将最小的欧式距离对应的其他边缘像素点作为该边缘像素点的对称边缘像素点;需要说明的是,欧式距离的计算方法为公知技术,在此不做赘述。
由于车位线的形状特征为具有一定规格的矩形,且根据欧式距离获得了每个边缘像素点的对称边缘像素点,所以可以根据每个像素点的对称性来表征车位线的形状特征,故根据边缘像素点与对应的对称边缘像素点的距离信息以及梯度方向可以获得每个边缘像素点的对称性,即对称性越大说明对应的边缘像素点越属于车位线边缘像素点。
优选地,本发明一个实施例中,边缘像素点的对称性的获取包括:
对称性包括第一对称性和第二对称性;
第一对称性的获取包括:
根据每个边缘像素点与对应的对称边缘像素点之间的欧式距离获得一个欧式距离集合,其中/>表示全景灰度图像中第/>个边缘像素点与对应的对称边缘像素点之间的欧式距离。
统计欧式距离集合中每个边缘像素点对应的欧式距离出现的频次占比,将每个边缘像素点对应的欧式距离的频次占比作为该边缘像素点的第一对称性。
第二对称性的获取包括:
以任意一个边缘像素点为例,将边缘像素点的灰度梯度方向所处直线与边缘像素点对应的对称边缘像素点的灰度梯度方向所处直线的夹角值作为第二夹角值;若边缘像素点存在两个对称边缘像素点,则取两个第二夹角值中的较小值作为第二夹角值;将第二夹角值进行负相关映射作为边缘像素点的第二对称性。
由于车位线的规格一致,故采集到的车辆周围环境全景图像内车位线的宽度应一致,因此,当边缘像素点与对应的对称边缘像素点之间的欧式距离出现的次数越多,即边缘像素点对应的欧式距离的频次占比越大,并且第二夹角值越小,说明该边缘像素点为车线边缘像素点的概率就越大。对称性为后续获取每个边缘像素点为车位线边缘像素点的初始概率提供参考。
由于车位线的形状特征不仅具有对称性,同时具有一定的规则性,即边缘线为规则的直线,且边缘线上的像素点灰度值应当相似,故可以根据每个边缘像素点的梯度方向与所属边缘线对应的法线方向之间的差异,以及梯度方向垂直方向上的灰度变化,获得边缘像素点的规则性,即规则性越大说明对应的边缘像素点越属于车位线边缘像素点。
优选地,本发明一个实施例中,边缘像素点的规则性的获取包括:
规则性包括第一规则性和第二规则性,以任意一个边缘像素点为例。
第一规则性的获取包括:
将边缘像素点的灰度梯度方向所处直线与所属边缘线的法线的夹角值作为第一夹角值,将第一夹角值进行负相关映射作为边缘像素点的第一规则性。
第二规则性的获取包括:
将边缘像素点与对应的灰度梯度方向垂线上相邻像素点的灰度值差值绝对值的均值进行负相关映射,获得边缘像素点的第二规则性。
根据车位线的形状特征可知,当边缘像素点为车位线边缘像素点时,每个边缘像素点的灰度值与对应的灰度梯度方向垂线上的像素点的灰度值相似,所以当边缘像素点与对应的灰度梯度方向垂线上相邻像素点的灰度值差值绝对值的均值越小,并且第一夹角值越小,说明该边缘像素点为车线边缘像素点的概率就越大。规则性也为后续获取每个边缘像素点为车位线边缘像素点的初始概率提供参考。
进一步地,由于对称性和规则性是基于车位线的形状特征获得的,故可以根据每个边缘像素点对应的对称性和规则性获得每个边缘像素点为车位线边缘像素点的初始概率。
每个边缘像素点为车位线边缘像素点的初始概率的公式模型为:
其中,表示全景灰度图像中第/>个边缘像素点为车位线边缘像素点的初始概率,表示全景灰度图像中边缘像素点的个数,/>表示第/>个边缘像素点对应的欧式距离出现的次数,/>表示第/>个边缘像素点对应的第二夹角值,/>表示第/>个边缘像素点对应的第一夹角值,/>表示第/>个边缘像素点与对应的灰度梯度方向垂线上相邻像素点的灰度值差值绝对值的均值,/>表示第/>个边缘像素点对应的欧式距离。
在初始概率的公式模型中,由于车位线的规格一致,所以在采集的车辆周围环境全景图像内车位线的宽度应一致,故当边缘像素点不存在对应的对称边缘像素点时,即,则令该边缘像素点为车位线边缘像素点的初始概率为0,即/>;当边缘像素点存在对应的对称边缘像素点时,即/>时,则欧式距离/>值的频次占比/>越大,该边缘像素点为车位线边缘的概率越大。由于两直线的夹角值范围为[0°,90°],则/>和/>都处于区间[0°,90°]内;而根据车位线的形状特征可知,该边缘像素点的灰度梯度方向所在直线、该边缘像素点所属边缘线的法线以及对应的对称边缘像素点的灰度梯度方向所在直线,三条直线应当平行,即/>接近于0,且该边缘像素点与对应的灰度梯度方向的垂线上像素点灰度值相似,即/>接近于0,故以归一化的/>为/>的调整值,两者的乘积越小,该边缘像素点为车位线边缘的概率越大。因此以/>为反比归一化/>的调整值,两者的乘积表示该边缘像素点为车位线边缘像素点的初始概率。需要说明的是,归一化操作为本领域技术人员熟知的技术手段,在本发明其他实施例中也可采用其他的归一化方法,在此不做赘述以及具体限定。
至此,基于车位线的形状特征将每个边缘像素点的对称性与规则性进行结合获得了每个边缘像素点为车位线边缘像素点的初始概率。
步骤S3:获得每个边缘像素点与对应的对称边缘像素点之间像素点集合的灰度变化特征,根据像素点集合中的整体梯度信息获得光照方向影响特征,根据灰度变化特征以及光照方向影响特征获得每个边缘像素点的光照影响因子,根据光照影响因子调整初始概率,获得每个边缘像素点的精确概率。
当在白天光照较好的情况下,车辆周围环境信息易于识别,但是当在夜间低照度环境下采集的车辆周围环境全景图像,在进行车位线边缘检测时受车灯的点光源影响,会产生不均匀光照现象,进而会导致全景灰度图像中边缘像素点的灰度梯度方向存在误差,令步骤S2中获得的每个边缘像素点为车位线边缘像素点的初始概率不准确。因此本发明进一步分析不均匀光照,即光照影响因子对车位线检测产生的影响,获取每个边缘像素点为车位线边缘像素点的精确概率。
光照影响因子综合了光照方向影响特征以及灰度变化特征,本发明实施例获取每个边缘像素点与对应的对称边缘像素点之间像素点集合,其中/>表示每个边缘像素点与对应的对称边缘像素点之间的欧式距离;该像素点集合方便后续获得光照方向影响特征以及灰度变化特征,而光照方向影响特征根据像素点集合中的整体梯度信息获得。
优选地,本发明一个实施例中,光照方向影响特征的获取包括:
以任意一个边缘像素点为例,利用中值差分公式获取边缘像素点对应的像素点集合中每个像素点的梯度,获取由像素点集合中的像素点组成的线段,将线段上每个像素点与线段垂直方向上的像素点进行中值差分,获取线段上所有像素点的梯度矢量集合。
根据边缘像素点的梯度值和梯度方向获得边缘像素点的梯度矢量;获得边缘像素点对应的梯度矢量集合中除端点外所有像素点的梯度矢量和;
以边缘像素点的梯度矢量与对应的梯度矢量和之间的夹角作为光照夹角值,光照夹角值的公式模型为:
其中,表示光照夹角值,/>表示边缘像素点的梯度矢量,/>表示梯度矢量集合中第/>个像素点的梯度矢量,/>为边缘像素点与对应的对称边缘像素点之间的欧式距离,/>为求和符号,/>为反余弦函数。
将光照夹角值归一化后的值作为边缘像素点的光照方向影响特征,光照方向影响特征的公式模型为:
其中,为光照方向影响特征,/>为光照夹角值。
需要说明的是,中值差分公式为公知技术,在此不做赘述,归一化操作为本领域技术人员熟知的技术手段,在本发明其他实施例中也可采用其他的归一化方法,在此不做限定。
由于不均匀光照的影响包含了方向角度的影响以及在不均匀光照的影响下会发生灰度值的变化,故可以根据灰度变化特征以及光照方向影响特征获得边缘像素点的光照影响因子。
优选地,本发明一个实施例中,边缘像素点的光照影响因子的获取包括:
以任意一个边缘像素点为例,由于边缘像素点的光照影响因子包括灰度变化特征以及光照方向影响特征,故首先获取灰度变化特征。
灰度变化特征包括第一灰度变化特征和第二灰度变化特征;
将边缘像素点对应的像素点集合的灰度值方差作为每个边缘像素点的第一灰度变化特征;使用方差的目的在于可以反映出像素点集合中的灰度值波动程度,可以使获得的第一灰度变化特征更具代表性,更能反映出数据的整体趋势。需要说明的是,本发明实施例中也可通过使用标准差等来表示第一灰度变化特征,在此不做限定。
由于收到点光源的影响,所以像素点集合中的灰度值应为递增或递减变化,因此获得像素点集合对应的灰度值序列的差分序列;统计差分序列中的正值数量和负值数量;正值数量表示了像素点集合中相邻像素点灰度值的递增变化,负值数量表示了像素点集合中相邻像素点灰度值的递减变化;以正值数量与负值数量之间的最大值作为第二灰度变化特征;
将第二灰度变化特征归一化后的值与第一灰度变化特征相乘作为灰度变化特征,灰度变化特征的公式模型为:
其中,表示灰度变化特征,/>表示第二灰度变化特征,/>表示第一灰度变化特征,/>表示边缘像素点到对应的对称边缘像素点的欧式距离,即/>表示差分序列的长度。
在灰度变化特征的公式模型中,已知当该边缘像素点为车位线边缘像素点时,该边缘像素点到其对应的对称边缘像素点所处直线段上的像素点应都为车位线像素点,其灰度值应相似。故此时该直线段上的像素点灰度值只受夜间车灯的不均匀光照影响,即第一灰度变化特征越大,说明光照影响越大,且沿光照方向亮度逐渐减小,即该直线段上的像素点的灰度值应呈递增变化或者递减变化,因此第二灰度变化特征/>越大,则第一灰度变化特征/>越可信,故用归一化后的第二灰度变化特征/>为第二灰度变化特征/>的调整值,两者的乘积表示在不均匀光照的影响下的灰度变化特征。
将光照方向影响特征与灰度变化特征相乘作为光照影响因子,光照影响因子的公式模型为:
其中,表示光照影响因子,/>表示光照方向影响特征,/>表示灰度变化特征。
在光照影响因子的公式模型中,当光照方向与车位线的宽度方向平行时,光照不影响车位线边缘像素点的梯度方向,因此当矢量和矢量/>的夹角值,即光照夹角值越接近于90°时,光照方向对车位线边缘像素点的梯度方向的影响越大,故用归一化后的光照夹角值/>即光照方向影响特征/>为灰度变化特征/>的调整值,二者的乘积越大,即光照影响因子/>越大,则边缘像素点为车位线边缘像素点的初始概率的可信度越小。若边缘像素点存在两个对称边缘像素点,则将两个光照影响因子中的较小值作为该边缘像素点的光照影响因子。原因在于若该边缘像素点存在两个对称边缘像素点,且该边缘像素点灰度梯度方向所处直线与其两个对称边缘像素点灰度梯度方向所处直线的夹角值相同时,当该边缘像素点为车位线边缘时,该边缘像素点与对应的在车位线边缘线上的对称边缘像素点的直线段上应都为车位线像素点,即直线段上的像素点灰度值相似,故取其对应两直线段上的较小的光照影响因子作为该边缘像素点的光照影响因子。
光照影响因子包含了不均匀光照对车位线检测的影响,步骤S2中获得的初始概率包含了车位线的形状特征因素,故可以根据光照影响因子调整每个边缘像素点为车位线边缘像素点的初始概率,获得每个边缘像素点的精确概率。
优选地,本发明一个实施例中,每个边缘像素点的精确概率的获取包括:
由于光照影响因子越大,则每个边缘像素点为车位线边缘像素点的可信度越小,故将每个边缘像素点的光照影响因子反比归一化后的值与对应的初始概率相乘作为每个边缘像素点的精确概率,精确概率的公式模型为:
其中,表示全景灰度图像中第/>个边缘像素点的精确概率,/>表示全景灰度图像中第/>个边缘像素点的初始概率,/>表示光照影响因子,/>表示以自然常数/>为底的指数函数。
在精确概率的公式模型中,当光照影响因子越大,则边缘像素点为车位线边缘像素点的精确概率越小,当光照影响因子越小,则边缘像素点为车位线边缘像素点的精确概率越大。
至此,通过分析光照对于车位线检测产生的影响,利用光照影响因子对每个边缘像素点的初始概率进行修正,获得每个边缘像素点的精确概率。
步骤S4:根据每个边缘像素点的精确概率获取每个边缘像素点的修正系数;非边缘像素点的修正系数为预设值。
步骤S3中的每个边缘像素点的精确概率的获取基于车位线的形状特征并且分析了不均匀光照产生的影响,进一步可以根据每个边缘像素点的精确概率获取每个边缘像素点的修正系数,修正系数是后续对全景灰度图像中每个像素点进行增强做准备。
优选地,本发明一个实施例中,边缘像素点的修正系数的获取包括:
根据每个边缘像素点的精确概率获得精确概率集合,其中/>表示全景灰度图像中边缘像素点的数量,对该精确概率集合进行归一化操作,即令精确概率集合中各个精确概率除以精确概率集合中精确概率的最大值,获得归一化集合/>;
将每个边缘像素点在归一化集合中对应的值加1作为每个边缘像素点的修正系数,修正系数的公式模型为:
其中,表示全景灰度图像中第/>个边缘像素点的修正系数,/>表示全景灰度图像中第/>个边缘像素点对应的精确概率归一化后的值,/>表示全景灰度图像中边缘像素点的数量。
在修正系数的公式模型中,由于每个边缘像素点的精确概率不同,故每个边缘像素点的修正系数也会有所差异,则当边缘像素点为车位线边缘像素点的精确概率越大,对应的修正系数也越大,当边缘像素点为车位线边缘像素点的精确概率越小,对应的修正系数也越小;即每个边缘像素点的修正系数是自适应的,可以保障后续车位线的检测准确性。
需要说明的是,本发明将全景灰度图像中的非边缘像素点的修正系数设置为预设值1,边缘像素点的修正系数取值范围为,具体数值实施者可根据实际需求自行设定,在此不做限定。
至此,获得了全景灰度图像中每个像素点的修正系数。
步骤S5:根据修正系数对全景灰度图像中每个像素点进行增强,获得高质量全景灰度图像,根据高质量全景灰度图像对自动泊车位姿进行检测。
在白天光照较好的情况下,车辆周围环境信息易于识别,但在夜间光照极低条件下,采集到的图像对比度较低,会导致车辆周围环境信息识别困难,影响自动泊车位姿检测的准确性,故在本发明一个实施例中,根据全景灰度图像中每个像素点的修正系数利用反锐化掩膜算法进行图像对比度增强,获得全景灰度图像的高质量全景灰度图像;即当边缘像素点为车位线边缘像素点的精确概率越大,对应的修正系数也越大,则通过对比度增强后可以显著增强车位线边缘细节特征;当边缘像素点为车位线边缘像素点的精确概率越小,对应的修正系数也越小则通过对比度增强后可以防止出现伪影问题。可以有效提高车位线检测的准确性,进而提高自动泊车位姿检测的准确性。
将高质量的车辆周围环境的全景图像传输至数据分析平台,先通过图像处理和分析技术提取并分析图像信息,对图像中的车位线进行检测和定位,以确定停车位的位置、大小和方向等信息,再利用几何学计算出车辆相对于停车位的位置和姿态,根据姿态估计结果,生成相应的控制指令,来指导车辆进行精确定位和方向调整,实现自动泊车位姿精准检测。
综上所述,本发明实施例基于车位线的形状特征对获取到的全景灰度图像中的边缘像素点进行初步分析,获得每个边缘像素点为车位线边缘像素点的初始概率。但是由于对夜间低照度环境下采集到的全景灰度图像进行分析时,在进行车位线边缘检测过程中受到车灯的点光源影响,会产生不均匀光照的现象,所以本发明进一步分析不均匀光照对车位线检测产生的影响。通过计算光照方向影响特征以及在光照影响下每个边缘像素点对应的灰度变化特征,获得光照影响因子,利用光照影响因子对获得的每个边缘像素点为车位线边缘像素点的初始概率进行调整,获得每个边缘像素点的精确概率。进一步通过每个边缘像素点的精确概率获得每个边缘像素点对应的自适应修正系数,非边缘像素点的修正系数为预设值。进而根据全景灰度图像中每个像素点的修正系数利用反锐化掩膜算法对图像进行增强,获得高质量全景灰度图像。最后通过对高质量全景灰度图像进行分析,对图像中的车位线进行检测和定位,以确定停车位的位置、大小和方向等信息,再利用几何学计算出车辆相对于停车位的位置和姿态,根据姿态估计结果,生成相应的控制指令,来指导车辆进行精确定位和方向调整,实现自动泊车位姿精准检测。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (2)
1.一种基于图像视觉引导的自动泊车位姿检测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现以下方法步骤:
获取车辆周围环境的全景灰度图像,获取所述全景灰度图像中的边缘线;
根据每个边缘线上边缘像素点与其他边缘线上边缘像素点之间的分布情况,筛选出每个所述边缘像素点的对称边缘像素点;根据每个所述边缘像素点与对应的对称边缘像素点之间的距离和梯度方向差异,获得所述边缘像素点的对称性;根据每个所述边缘像素点的梯度方向与所属边缘线对应的法线方向之间的差异,以及梯度方向垂直方向上的灰度变化,获得所述边缘像素点的规则性;根据所述规则性和所述对称性获得每个所述边缘像素点为车位线边缘像素点的初始概率;
获得每个所述边缘像素点与对应的对称边缘像素点之间像素点集合的灰度变化特征,根据所述像素点集合中的整体梯度信息获得光照方向影响特征,根据所述灰度变化特征以及光照方向影响特征获得每个所述边缘像素点的光照影响因子,根据所述光照影响因子调整所述初始概率,获得每个所述边缘像素点的精确概率;
根据每个所述边缘像素点的所述精确概率获取每个所述边缘像素点的修正系数;非边缘像素点的修正系数为预设值;
根据所述修正系数对所述全景灰度图像中每个像素点进行增强,获得高质量全景灰度图像,根据所述高质量全景灰度图像对自动泊车位姿进行检测;
所述对称边缘像素点的获取包括:
沿每个所述边缘像素点的灰度梯度方向做一条直线,统计每个所述边缘像素点在对应直线上与位于其他边缘线上的边缘像素点的欧式距离,将最小欧式距离对应的其他边缘像素点作为所述边缘像素点的对称边缘像素点;
所述对称性包括第一对称性和第二对称性;
根据每个所述边缘像素点与对应的对称边缘像素点的欧式距离获得欧式距离集合,将所述欧式距离集合中每个所述边缘像素点对应的欧式距离出现的频次占比作为每个所述边缘像素点的第一对称性;
将每个所述边缘像素点的灰度梯度方向所处直线与对应的对称边缘像素点的灰度梯度方向所处直线的夹角值作为第二夹角值;若所述边缘像素点存在两个对称边缘像素点,则取两个第二夹角值中的较小值作为所述第二夹角值;将所述第二夹角值进行负相关映射作为每个所述边缘像素点的第二对称性;
所述规则性的获取包括:
所述规则性包括第一规则性和第二规则性;
将每个所述边缘像素点的灰度梯度方向所处直线与所属边缘线的法线的夹角值作为第一夹角值,将所述第一夹角值进行负相关映射作为第一规则性;
将每个所述边缘像素点与对应的灰度梯度方向垂线上相邻像素点的灰度值差值绝对值的均值进行负相关映射,获得第二规则性;
所述每个所述边缘像素点为车位线边缘像素点的初始概率的获取包括:
若所述边缘像素点存在对应的对称边缘像素点,则根据所述规则性与所述对称性获得所述边缘像素点的所述初始概率,所述规则性的值与所述对称性的值均与所述初始概率呈正相关关系;
若所述边缘像素点不存在对应的对称边缘像素点,则所述边缘像素点为车位线边缘像素点的初始概率为0;
所述光照方向影响特征的获取包括:
利用中值差分公式获取所述像素点集合中每个像素点的梯度,获取由所述像素点集合中的像素点组成的线段,将所述线段上每个像素点与所述线段垂直方向上的像素点进行中值差分,获取所述线段上所有像素点的梯度矢量集合;
根据每个所述边缘像素点的梯度值和梯度方向获得每个所述边缘像素点的梯度矢量;获得每个所述边缘像素点对应的所述梯度矢量集合中除端点外所有像素点的梯度矢量和;
以每个所述边缘像素点的梯度矢量与对应的所述梯度矢量和之间的夹角作为光照夹角值;
将所述光照夹角值归一化后的值作为所述光照方向影响特征;
所述光照影响因子的获取包括:
将每个所述边缘像素点对应的所述像素点集合的灰度值方差作为每个所述边缘像素点的第一灰度变化特征;
获得所述像素点集合对应的灰度值序列,获得所述灰度值序列的差分序列;统计所述差分序列中的正值数量和负值数量;以正值数量与负值数量之间的最大值作为第二灰度变化特征;
将所述第二灰度变化特征归一化后的值与所述第一灰度变化特征相乘作为所述灰度变化特征;
将所述光照方向影响特征与所述灰度变化特征相乘作为所述光照影响因子;
若边缘像素点存在两个对称边缘像素点,则将两个光照影响因子中的较小值作为所述边缘像素点的光照影响因子;
所述每个所述边缘像素点的精确概率的公式模型为:
其中,表示全景灰度图像中第/>个边缘像素点的精确概率,/>表示全景灰度图像中第个边缘像素点的初始概率,/>表示光照影响因子,/>表示以自然常数/>为底的指数函数;
所述边缘像素点的所述修正系数的获取包括:
根据每个所述边缘像素点的精确概率获得精确概率集合;对所述精确概率集合进行归一化操作获得归一化集合;
将每个所述边缘像素点在归一化集合中对应的值加1作为每个所述边缘像素点的修正系数。
2.根据权利要求1所述的一种基于图像视觉引导的自动泊车位姿检测系统,其特征在于,所述检测包括:
根据所述全景灰度图像中每个像素点的修正系数利用反锐化掩膜算法进行图像对比度增强,获得所述全景灰度图像的高质量全景灰度图像;
根据所述高质量全景灰度图像进行车位线检测和定位,利用几何学计算出车辆相对于停车位的位置和姿态,根据姿态估计结果,生成相应的控制指令,来指导车辆进行精确定位和方向调整,实现自动泊车位姿的精准检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310745650.8A CN116503481B (zh) | 2023-06-25 | 2023-06-25 | 基于图像视觉引导的自动泊车位姿检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310745650.8A CN116503481B (zh) | 2023-06-25 | 2023-06-25 | 基于图像视觉引导的自动泊车位姿检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116503481A CN116503481A (zh) | 2023-07-28 |
CN116503481B true CN116503481B (zh) | 2023-08-29 |
Family
ID=87323386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310745650.8A Active CN116503481B (zh) | 2023-06-25 | 2023-06-25 | 基于图像视觉引导的自动泊车位姿检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116503481B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658133A (zh) * | 2021-08-16 | 2021-11-16 | 江苏鑫丰源机电有限公司 | 一种基于图像处理的齿轮表面缺陷检测方法及系统 |
WO2022088900A1 (zh) * | 2020-11-02 | 2022-05-05 | 亿咖通(湖北)技术有限公司 | 停车区域的车位线检测方法和计算机设备 |
CN114898335A (zh) * | 2022-05-16 | 2022-08-12 | 南通顺沃供应链管理有限公司 | 基于霍夫变换的车道线识别方法及系统 |
CN115187607A (zh) * | 2022-09-14 | 2022-10-14 | 山东鑫亚格林鲍尔燃油系统有限公司 | 一种基于图像处理的喷油器喷雾形态检测方法 |
CN115631116A (zh) * | 2022-12-21 | 2023-01-20 | 南昌航空大学 | 基于双目视觉的飞行器电力巡检系统 |
CN115797872A (zh) * | 2023-01-31 | 2023-03-14 | 捷易(天津)包装制品有限公司 | 基于机器视觉的包装缺陷识别方法、系统、设备及介质 |
WO2023065792A1 (zh) * | 2021-10-22 | 2023-04-27 | 杭州睿胜软件有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
-
2023
- 2023-06-25 CN CN202310745650.8A patent/CN116503481B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022088900A1 (zh) * | 2020-11-02 | 2022-05-05 | 亿咖通(湖北)技术有限公司 | 停车区域的车位线检测方法和计算机设备 |
CN113658133A (zh) * | 2021-08-16 | 2021-11-16 | 江苏鑫丰源机电有限公司 | 一种基于图像处理的齿轮表面缺陷检测方法及系统 |
WO2023065792A1 (zh) * | 2021-10-22 | 2023-04-27 | 杭州睿胜软件有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN114898335A (zh) * | 2022-05-16 | 2022-08-12 | 南通顺沃供应链管理有限公司 | 基于霍夫变换的车道线识别方法及系统 |
CN115187607A (zh) * | 2022-09-14 | 2022-10-14 | 山东鑫亚格林鲍尔燃油系统有限公司 | 一种基于图像处理的喷油器喷雾形态检测方法 |
CN115631116A (zh) * | 2022-12-21 | 2023-01-20 | 南昌航空大学 | 基于双目视觉的飞行器电力巡检系统 |
CN115797872A (zh) * | 2023-01-31 | 2023-03-14 | 捷易(天津)包装制品有限公司 | 基于机器视觉的包装缺陷识别方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116503481A (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107305632B (zh) | 基于单目计算机视觉技术的目标对象距离测量方法与系统 | |
CN106682646B (zh) | 一种车道线的识别方法及装置 | |
CN114494210B (zh) | 基于图像处理的塑料膜生产缺陷检测方法及系统 | |
US11663740B2 (en) | Method for calibrating the position and orientation of a camera relative to a calibration pattern | |
CN115861291B (zh) | 基于机器视觉的贴片电路板生产缺陷检测方法 | |
CN110211185B (zh) | 在一组候选点内识别校准图案的特征点的方法 | |
CN111080661A (zh) | 基于图像的直线检测方法、装置以及电子设备 | |
CN115359053B (zh) | 一种金属板材缺陷智能检测方法及系统 | |
WO2006117951A1 (ja) | 車両、画像処理システム、画像処理方法、画像処理プログラム、画像処理システムの構成方法、およびサーバ | |
CN115131354B (zh) | 一种基于光学手段的实验室用塑料薄膜缺陷检测方法 | |
CN116310845B (zh) | 一种用于污水处理的智能监测系统 | |
CN111462156B (zh) | 获取角膜顶点的图像处理方法 | |
JP2009009331A (ja) | 白線検出装置および白線検出方法 | |
CN117557820B (zh) | 一种基于机器视觉的量子点光学膜损伤检测方法及系统 | |
CN113221739B (zh) | 基于单目视觉的车距测量方法 | |
CN117522719B (zh) | 基于机器学习的支气管镜图像辅助优化系统 | |
CN110288608B (zh) | 作物行中心线提取方法和装置 | |
CN116503481B (zh) | 基于图像视觉引导的自动泊车位姿检测系统 | |
CN115984836B (zh) | 一种铁路油罐车罐口识别定位方法 | |
CN111428538B (zh) | 一种车道线提取方法、装置和设备 | |
CN111626180B (zh) | 基于偏振成像的车道线检测方法及其装置 | |
CN111539329B (zh) | 一种自适应的变电站指针仪表识别方法 | |
CN117557587B (zh) | 一种内窥镜冷光源亮度自动调节系统 | |
CN117061710B (zh) | 一种远程查看车内情况的系统及方法 | |
CN117670886B (zh) | 显示屏缺陷检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |