CN110852278A - 地面标识线识别方法、设备及计算机可读存储介质 - Google Patents
地面标识线识别方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110852278A CN110852278A CN201911103398.0A CN201911103398A CN110852278A CN 110852278 A CN110852278 A CN 110852278A CN 201911103398 A CN201911103398 A CN 201911103398A CN 110852278 A CN110852278 A CN 110852278A
- Authority
- CN
- China
- Prior art keywords
- ground
- identification
- image
- identification line
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种地面标识线识别方法、设备及计算机可读存储介质,所述方法包括:基于车体上所安装的摄像装置获取地面图像,并识别所述地面图像中各标识元素的初始位置;从所述地面图像中分离出地面特征区域,并根据所述地面特征区域和各所述初始位置,确定各所述标识元素中目标元素的质心位置;根据各所述质心位置,确定各所述目标元素的深度数据坐标,并根据各所述深度数据坐标,识别所述地面图像中的地面标识线。本发明先初步识别地面标识线中标识元素的初始位置,再在排除干扰的基础上精确识别其精准的质心位置,使得由质心位置所确定的深度数据坐标准确反映了各标识元素的位置,提高了地面标识线识别的准确性。
Description
技术领域
本发明涉及智能驾驶技术领域,尤其涉及一种地面标识线识别方法、设备及计算机可读存储介质。
背景技术
随着智能技术的发展,智能仓库的应用也越来越广泛;目前智能仓库通过导航来引导车辆按照一定的行驶路径自动行驶,实现货物的运输。行驶路径通过地面标识线进行规划,车辆行驶过程中先识别地面标识线的位置,再按照地面标识线所形成的行驶路径行驶。
车辆在行驶过程中,如果对地面标识线识别度不够,将会导致车辆跑偏,从而发生意外;现有技术中缺少对智能仓库中地面标识线的准确识别方式,如何准确识别智能仓库的地面标识线已成为亟待解决的技术问题。
发明内容
本发明的主要目的在于提供一种地面标识线识别方法、设备及计算机可读存储介质,旨在解决现有中如何准确识别地面标识线的技术问题。
为实现上述目的,本发明提供一种地面标识线识别方法,所述地面标识线识别方法包括步骤:
基于车体上所安装的摄像装置获取地面图像,并识别所述地面图像中各标识元素的初始位置;
从所述地面图像中分离出地面特征区域,并根据所述地面特征区域和各所述初始位置,确定各所述标识元素中目标元素的质心位置;
根据各所述质心位置,确定各所述目标元素的深度数据坐标,并根据各所述深度数据坐标,识别所述地面图像中的地面标识线。
优选地,所述识别所述地面图像中各标识元素的初始位置的步骤包括:
对所述地面图像进行背景处理,并从经背景处理的所述地面图像中提取出各标识元素;
对各所述标识元素依次经过边缘提取、轮廓查找和折线拟合处理,得到各所述标识元素的初始轮廓;
将各所述初始轮廓传输到预设函数中,确定各所述标识元素在所述地面图像中的初始坐标;
以各所述初始坐标为圆心,设定圆形区域,并将各所述圆形区域识别为所述地面图像中各标识元素的初始位置。
优选地,所述从所述地面图像中分离出地面特征区域的步骤包括:
根据所述摄像装置的安装参数,识别所述地面图像中的障碍物成像;
将所述地面图像中的障碍物成像去除,以从所述地面图像中分离出地面特征区域。
优选地,所述根据所述摄像装置的安装参数,识别所述地面图像中的障碍物成像的步骤包括:
读取所述摄像装置的安装高度、安装角度、视场角度和有效像素行数,并逐一针对所述地面图像中的待识别点执行以下步骤:
检测所述摄像装置与所述待识别点之间的识别深度值,以及所述待识别点的点所在像素行数;
根据所述安装角度、视场角度、有效像素行数和点所在像素行数,确定与所述待识别点对应的像素所在行的偏角;
根据所述识别深度值和所述像素所在行的偏角,确定所述待识别点在预设方向上的投影中间值;
根据所述安装高度和所述投影中间值,生成所述待识别点的投影高度,直到所述地面图像中的各所述待识别点均生成投影高度;
确定各所述投影高度中大于投影阈值的目标投影高度,并将与各所述目标投影高度对应的待识别点识别为所述地面图像中的障碍物成像。
优选地,所述根据所述地面特征区域和各所述初始位置,确定各所述标识元素中目标元素的质心位置的步骤包括:
根据预设坐标原点,将所述地面特征区域和各所述初始位置进行合并,提取所述地面特征区域和各所述初始位置之间的重合特征区域;
将各所述重合特征区域传输到预设模型,筛选出各所述标识元素中的目标元素,并计算各所述目标元素的元素坐标作为各所述目标元素的质心位置。
优选地,所述根据各所述质心位置,确定各所述目标元素的深度数据坐标的步骤包括:
读取所述摄像装置的安装高度、安装角度、垂直视场角度、水平视场角度、有效像素行数和有效像素列数,并逐一对各所述质心位置执行以下步骤:
检测所述质心位置到所述摄像装置之间的深度值,以及所述质心位置的所在像素行数和所在像素列数;
根据所述安装角度、垂直视场角度、所在像素行数、有效像素行数和所述深度值,确定所述质心位置的极坐标模值;
根据所述水平视场角度、安装高度、安装角度、垂直视场角度、所在像素列数、有效像素列数、所在像素行数和有效像素行数,确定所述质心位置的极坐标角度;
将所述极坐标模值和所述极坐标角度设为与所述质心位置对应的目标元素的深度数据坐标,直到各所述质心位置均生成所述极坐标模值和所述极坐标角度。
优选地,所述根据各所述深度数据坐标,识别所述地面图像中的地面标识线的步骤包括:
根据预设范围区间,确定各所述深度数据坐标的目标数据坐标,并根据各所述目标数据坐标生成直线方程;
根据所述直线方程,识别所述地面图像中的地面标识线。
优选地,所述根据各所述质心位置,确定各所述目标元素的深度数据坐标的步骤之前包括:
逐一检测所述地面特征区域中的空洞数据,并读取与所述空洞数据对应的周边深度数据;
根据所述周边深度数据,对所述空调数据进行填充,直到所述地面特征区域中的空洞数据均填充完成,以基于经填充的所述地面特征区域确定所述深度数据坐标。
此外,为实现上述目的,本发明还提供一种地面标识线识别设备,所述地面标识线识别设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的地面标识线识别程序,所述地面标识线识别程序被所述处理器执行时实现如上所述的地面标识线识别方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有地面标识线识别程序,所述地面标识线识别程序被处理器执行时实现如上所述的地面标识线识别方法的步骤。
本发明先通过车体上安装的摄像装置获取地面图像,并识别其中各标识元素的初始位置,再对地面图像进行去噪处理,从其中分离出地面特征区域,此后依据地面特征区域和各初始位置之间的相对位置,确定各标识元素中的目标元素及其质心位置;进而依据质心位置来确定各目标元素的深度数据坐标,并由各深度数据坐标所形成的直线方程来还原地面图像中的地面标识线。通过先初步识别地面标识线中标识元素的初始位置,再在排除干扰的基础上精确识别其精准的质心位置,使得由质心位置所确定的深度数据坐标准确反映了各标识元素的位置,提高了地面标识线识别的准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图;
图2是本发明地面标识线识别方法第一实施例的流程示意图;
图3是本发明地面标识线识别方法第一实施例的流程示意图;
图4是本发明地面标识线识别方法第一实施例的流程示意图;
图5是本发明地面标识线识别方法中标识元素的初始位置示意图;
图6是本发明地面标识线识别方法中直线方程的生成示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
如图1所示,该地面标识线识别设备可以包括:处理器1001,例如CPU,用户接口1003,网络接口1004,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的地面标识线识别设备结构并不构成对地面标识线识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及地面标识线识别程序。其中,操作系统是管理和控制地面标识线识别设备硬件和软件资源的程序,支持地面标识线识别程序以及其它软件或程序的运行。
在图1所示的地面标识线识别设备中,用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;而处理器1001可以用于调用存储器1005中存储的地面标识线识别程序,并执行以下操作:
基于车体上所安装的摄像装置获取地面图像,并识别所述地面图像中各标识元素的初始位置;
从所述地面图像中分离出地面特征区域,并根据所述地面特征区域和各所述初始位置,确定各所述标识元素中目标元素的质心位置;
根据各所述质心位置,确定各所述目标元素的深度数据坐标,并根据各所述深度数据坐标,识别所述地面图像中的地面标识线。
进一步地,所述识别所述地面图像中各标识元素的初始位置的步骤包括:
对所述地面图像进行背景处理,并从经背景处理的所述地面图像中提取出各标识元素;
对各所述标识元素依次经过边缘提取、轮廓查找和折线拟合处理,得到各所述标识元素的初始轮廓;
将各所述初始轮廓传输到预设函数中,确定各所述标识元素在所述地面图像中的初始坐标;
以各所述初始坐标为圆心,设定圆形区域,并将各所述圆形区域识别为所述地面图像中各标识元素的初始位置。
进一步地,所述从所述地面图像中分离出地面特征区域的步骤包括:
根据所述摄像装置的安装参数,识别所述地面图像中的障碍物成像;
将所述地面图像中的障碍物成像去除,以从所述地面图像中分离出地面特征区域。
进一步地,所述根据所述摄像装置的安装参数,识别所述地面图像中的障碍物成像的步骤包括:
读取所述摄像装置的安装高度、安装角度、视场角度和有效像素行数,并逐一针对所述地面图像中的待识别点执行以下步骤:
检测所述摄像装置与所述待识别点之间的识别深度值,以及所述待识别点的点所在像素行数;
根据所述安装角度、视场角度、有效像素行数和点所在像素行数,确定与所述待识别点对应的像素所在行的偏角;
根据所述识别深度值和所述像素所在行的偏角,确定所述待识别点在预设方向上的投影中间值;
根据所述安装高度和所述投影中间值,生成所述待识别点的投影高度,直到所述地面图像中的各所述待识别点均生成投影高度;
确定各所述投影高度中大于投影阈值的目标投影高度,并将与各所述目标投影高度对应的待识别点识别为所述地面图像中的障碍物成像。
进一步地,所述根据所述地面特征区域和各所述初始位置,确定各所述标识元素中目标元素的质心位置的步骤包括:
根据预设坐标原点,将所述地面特征区域和各所述初始位置进行合并,提取所述地面特征区域和各所述初始位置之间的重合特征区域;
将各所述重合特征区域传输到预设模型,筛选出各所述标识元素中的目标元素,并计算各所述目标元素的元素坐标作为各所述目标元素的质心位置。
进一步地,所述根据各所述质心位置,确定各所述目标元素的深度数据坐标的步骤包括:
读取所述摄像装置的安装高度、安装角度、垂直视场角度、水平视场角度、有效像素行数和有效像素列数,并逐一对各所述质心位置执行以下步骤:
检测所述质心位置到所述摄像装置之间的深度值,以及所述质心位置的所在像素行数和所在像素列数;
根据所述安装角度、垂直视场角度、所在像素行数、有效像素行数和所述深度值,确定所述质心位置的极坐标模值;
根据所述水平视场角度、安装高度、安装角度、垂直视场角度、所在像素列数、有效像素列数、所在像素行数和有效像素行数,确定所述质心位置的极坐标角度;
将所述极坐标模值和所述极坐标角度设为与所述质心位置对应的目标元素的深度数据坐标,直到各所述质心位置均生成所述极坐标模值和所述极坐标角度。
进一步地,所述根据各所述深度数据坐标,识别所述地面图像中的地面标识线的步骤包括:
根据预设范围区间,确定各所述深度数据坐标的目标数据坐标,并根据各所述目标数据坐标生成直线方程;
根据所述直线方程,识别所述地面图像中的地面标识线。
进一步地,所述根据各所述质心位置,确定各所述目标元素的深度数据坐标的步骤之前,处理器1001可以用于调用存储器1005中存储的地面标识线识别程序,并执行以下操作:
逐一检测所述地面特征区域中的空洞数据,并读取与所述空洞数据对应的周边深度数据;
根据所述周边深度数据,对所述空调数据进行填充,直到所述地面特征区域中的空洞数据均填充完成,以基于经填充的所述地面特征区域确定所述深度数据坐标。
基于上述的结构,提出地面标识线识别方法的各个实施例。
参照图2,图2为本发明地面标识线识别方法第一实施例的流程示意图。
本发明实施例提供了地面标识线识别方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
具体地,地面标识线识别方法包括:
步骤S10,基于车体上所安装的摄像装置获取地面图像,并识别所述地面图像中各标识元素的初始位置;
本实施例的地面标识线识别方法应用于智能自动驾驶过程中,对形成行驶路径的地面标识线进行识别,以确保车辆在行驶路径中行驶,避免偏离;其中智能自动驾驶可适用于封闭环境的仓库货运、也可适用于开放环境的道路运输,本实施例以仓库货运为例加以说明。具体地,用于自动驾驶的AGV(Automated Guided Vehicle,自动引导运输车)小车的车体上安装有摄像装置,该摄像装置优选为立体相机;AGV小车在行驶过程中,立体相机实时对行驶方向的侧面地面进行拍摄成像,生成侧面地面的地面图像。
可理解地,仓库中的地面标识线其实质为粘贴在地面上的胶带,通常由两种颜色相互间隔形成的菱形块图案组成,如黑色菱形块搭配黄色菱形块,黑色菱形块搭配白色菱形块等。在生成地面图像之后,两种颜色的菱形块均会呈现在地面图像中,为了提高识别效率,选取其中一种颜色作为对象进行处理,同时为了确保处理效果优先选择颜色深的作为处理对象;即对于黑白的地面标识线和黑黄的地面标识线,均选取其中的黑色菱块作为处理对象。将黑色菱块作为地面图像中的标识元素,在去除掉其他颜色在地面图像中的成像后,对标识元素进行处理,得到其初始轮廓及其初始位置。具体地,识别地面图像中各标识元素的初始位置的步骤包括:
步骤S11,对所述地面图像进行背景处理,并从经背景处理的所述地面图像中提取出各标识元素;
步骤S12,对各所述标识元素依次经过边缘提取、轮廓查找和折线拟合处理,得到各所述标识元素的初始轮廓;
步骤S13,将各所述初始轮廓传输到预设函数中,确定各所述标识元素在所述地面图像中的初始坐标;
步骤S14,以各所述初始坐标为圆心,设定圆形区域,并将各所述圆形区域识别为所述地面图像中各标识元素的初始位置。
进一步地,通过漫水填充对地面图像进行剥离背景的处理,预先设定8-10个多种颜色的种子对地面图像进行填充,以去除地面图像中的其他物质;其中种子依据实际需求设定,如可设定地面图像中的4个角的顶点,以及地面图像边缘三等分点等,对此不做限定。此后,结合OpenCV(Open Source Computer Vision Library,开源计算机视觉库)中用于实现HSV(hue、saturation、value,色调、色饱和度、值)颜色识别的预设函数,提取出作为标识元素的黑色菱块。
更进一步地,调用OpenCV中用于提取边缘的预设函数,设定边缘范围参数传输到该预设函数中,对提取的各标识元素进行边缘提取;当某一标识元素的边缘大小在边缘范围参数内,则对该标识元素进行边缘提取操作,得到各黑色菱块在地面图像中形成的边缘像素点;当某一标识元素的边缘大小不在边缘范围参数内,则不对其进行边缘提取操作,而将其作为干扰去除。此后,调用OpenCV中用于轮廓查找的预设函数,设定轮廓范围参数传输到该预设函数中,在边缘提取的基础上对各标识元素进行轮廓查找;当某一标识元素的轮廓大小在轮廓范围参数内,则对该标识元素的轮廓进行保留操作,得到其轮廓点;当某一标识元素的轮廓大小不在轮廓范围参数内,则对其轮廓进行去除,以去除地面图像中的干扰轮廓。在各标识元素均经过边缘提取和轮廓查找,得到满足需求的各标识元素的轮廓点之后,对各标识元素的轮廓点进行折线拟合处理,得到各标识元素的初始轮廓。
此外,本实施例预先建立有三维空间坐标系,该三维空间坐标系以立体相机所在位置作为坐标原点,以AGV小车所在平面为XY平面,以与XY平面垂直的上部空间为Z轴正方向所在空间;其中对于XY平面,车辆行驶正前方为X轴方向,车辆右侧与X轴方向垂直的方向为Y轴方向。在得到各表示元素的初始轮廓后,调用OpenCV中用于计算质心位置的预设函数,将各标识元素的初始轮廓传输到该预设函数中,经过该预设函数的处理,输出坐标值,该坐标值即为各标识元素的在地面图像中的初始坐标。此后,调用预先设定的半径数值,以初始坐标作为为圆心设定与各个标识元素对应的圆形区域,该圆形区域即为标识元素在地面图像中的初始位置。请参照图5,其中标号1.1为AGV小车车体;标号1.2为立体相机视场范围;标号1.3为立体相机;标号1.4为地面障碍物;标号2.1-2.2为各标识元素的初始位置。
步骤S20,从所述地面图像中分离出地面特征区域,并根据所述地面特征区域和各所述初始位置,确定各所述标识元素中目标元素的质心位置;
可理解地,AGV小车行驶的路径中可能存在有障碍物,障碍物在地面图像中成像,形成干扰信号被误识别为标识元素;为了避免干扰信号的干扰,设置有地面特征区域提取机制。地面特征区域为地面在地面图像中成像所占的区域,因障碍物在三维空间坐标系的Z轴上具有一定的投影高度,可通过设定一定的投影阈值来识别地面图像中的障碍物,并将识别的障碍物从地面图像中去除,得到地面特征区域。
进一步地,将三维空间坐标系中的坐标原点作为预设坐标原点,地面特征区域和各初始位置均依据三维空间坐标系生成,可在预设坐标原点的基础上,对表征地面特征区域的图像和表征各初始位置的图像进行处理,以确定各标识元素中的目标元素,以及各目标元素的质心坐标。具体地,根据地面特征区域和各初始位置,确定各标识元素中目标元素的质心位置的步骤包括:
步骤S21,根据预设坐标原点,将所述地面特征区域和各所述初始位置进行合并,提取所述地面特征区域和各所述初始位置之间的重合特征区域;
步骤S22,将各所述重合特征区域传输到预设模型,筛选出各所述标识元素中的目标元素,并计算各所述目标元素的元素坐标作为各所述目标元素的质心位置。
更进一步地,以预设坐标原点为基础点,对地面特征区域和各初始位置进行合并操作,取RGB和深度图像的交集,得到地面特征区域和各初始位置之间的重合特征区域。调用预先设定的预设模型,并将各重合特征区域传输到预设模型中,对各重合特征区域进行特征分类,筛选出符合地面特征并且有黑色块的区域,该区域即为各标识元素中满足黑色菱块特征的目标元素。同时预设模型具有对筛选出的区域进行坐标计算的功能,通过该计算功能得到各目标元素的元素坐标;该元素坐标其实质为目标元素的质心坐标,将其作为目标元素的质心位置。
步骤S30,根据各所述质心位置,确定各所述目标元素的深度数据坐标,并根据各所述深度数据坐标,识别所述地面图像中的地面标识线。
更进一步地,在得到各目标元素的质心位置后,结合立体相机的安装参数对表征质心位置的质心坐标进行极坐标转换,得到各目标元素的深度数据坐标,以依据深度数据坐标拟合成直线方程,由直线方程生成地面还原标识线。如图6所述,其中标号4.1为相机坐标原点;标号4.2为立体相机与目标元素之间的距离值;标号4.3为立体相机与目标元素在垂直方向的角度;标号4.4为立体相机与目标原在水平方向的角度;标号5为经各质心坐标计算拟合的直线方程;标号6.1-6.5为目标元素的质心坐标。
考虑到立体相机在成像过程中,可能因其本身特征、反光、吸收、折射等因素的影响,使得地面图像中会存在空洞数据,空洞数据在转换过程中无法得到深度数据坐标,导致极坐标转换的失败,需要在转换之间进行预处理,对空洞数据进行填充。具体地,根据各质心位置,确定各目标元素的深度数据坐标的步骤之前包括:
步骤a,逐一检测所述地面特征区域中的空洞数据,并读取与所述空洞数据对应的周边深度数据;
步骤b,根据所述周边深度数据,对所述空调数据进行填充,直到所述地面特征区域中的空洞数据均填充完成,以基于经填充的所述地面特征区域确定所述深度数据坐标。
对地面特征区域进行扫描,逐一检测其中的空洞数据,每当检测到空洞数据,则读取其周围的其他数据作为与检测到的空洞数据对应的周边深度数据,通过膨胀算法用周边深度数据对空洞数据进行邻域扩张,实现空洞数据的填平。在地面特征区域中的所有空洞数据均进行了填充,则可在填充后的地面特征区域的基础上,对各质心坐标进行极坐标转换,得到各目标元素的深度数据坐标。此后,调用预先设置的预设算法来对转换的各深度数据坐标进行计算,以识别地面图像中的地面标识线;具体地,根据各深度数据坐标,识别地面图像中的地面标识线的步骤包括:
步骤S31,根据预设范围区间,确定各所述深度数据坐标的目标数据坐标,并根据各所述目标数据坐标生成直线方程;
步骤S32,根据所述直线方程,识别所述地面图像中的地面标识线。
进一步地,本实施例中预设算法优选为最小二乘法,将作为目标元素初始位置的圆形区域作为预设范围区间,各目标元素的深度数据坐标均以该预设范围区间为基础,查找与其前后左右相邻的点。每当找到前后或者左右有点的时候,将三个点去除保存到一个数组中,作为各深度数据坐标的目标坐标数据。在各深度数据坐标均查找到目标坐标数据后,采用最小二乘法将各目标坐标数据生成为直线方程,该直线方程所对应的直线即为地面图像中地面标识线所在的位置,以此实现地面标识线的识别。
本实施例先通过车体上安装的摄像装置获取地面图像,并识别其中各标识元素的初始位置,再对地面图像进行去噪处理,从其中分离出地面特征区域,此后依据地面特征区域和各初始位置之间的相对位置,确定各标识元素中的目标元素及其质心位置;进而依据质心位置来确定各目标元素的深度数据坐标,并由各深度数据坐标所形成的直线方程来还原地面图像中的地面标识线。通过先初步识别地面标识线中标识元素的初始位置,再在排除干扰的基础上精确识别其精准的质心位置,使得由质心位置所确定的深度数据坐标准确反映了各标识元素的位置,提高了地面标识线识别的准确性。
进一步地,提出本发明地面标识线识别方法第二实施例。
参照图3,图3为本发明地面标识线识别方法第二实施例的流程示意图。
所述地面标识线识别方法第二实施例与所述地面标识线识别方法第一实施例的区别在于,所述从所述地面图像中分离出地面特征区域的步骤包括:
步骤S23,根据所述摄像装置的安装参数,识别所述地面图像中的障碍物成像;
更进一步地,通过投影阈值来识别地面图像中的障碍物,其实质为通过投影高度和投影阈值之间的大小关系,来识别地面图像中的障碍物成像;先依据摄像装置的多项安装参数,来确定投影高度,进而对地面图像中的障碍物成像进行识别。具体地,根据摄像装置的安装参数,识别地面图像中的障碍物成像的步骤包括:
步骤S231,读取所述摄像装置的安装高度、安装角度、视场角度和有效像素行数,并逐一针对所述地面图像中的待识别点执行以下步骤:
步骤S232,检测所述摄像装置与所述待识别点之间的识别深度值,以及所述待识别点的点所在像素行数;
步骤S233,根据所述安装角度、视场角度、有效像素行数和点所在像素行数,确定与所述待识别点对应的像素所在行的偏角;
步骤S234,根据所述识别深度值和所述像素所在行的偏角,确定所述待识别点在预设方向上的投影中间值;
步骤S235,根据所述安装高度和所述投影中间值,生成所述待识别点的投影高度,直到所述地面图像中的各所述待识别点均生成投影高度;
步骤S236,确定各所述投影高度中大于投影阈值的目标投影高度,并将与各所述目标投影高度对应的待识别点识别为所述地面图像中的障碍物成像。
进一步地,安装参数包括安装高度H、安装角度θ、视场角度ω和有效像素行数L,对该类安装参数进行读取,并将地面图像中需要判断是否为障碍物成像的点作为待识别点,并逐一针对各待识别点进行处理。处理时先检测待识别点到摄像装置之间的识别深度值D',以及待识别点的点所在像素行数n';再将安装角度θ、视场角度ω、点所在像素行数n'和有效像素行数L传输到公式(1)中,通过公式(1)计算,得到与待识别点对应的像素所在行的偏角α';其中公式(1)为:
α'=θ-(ω/2)+(ω*n'/L) (1);
在通过公式(1)计算得到与待识别点对应的像素所在行的偏角α'之后,将偏角α'和测量深度值D'传输到公式(2)中,通过公式(2)计算,得到Z轴方向上的投影中间值hc;其中公式(2)为:
hc=D'*Sin(α') (2);
此后,在安装高度H和投影中间值hc之间做差值,所得到的差值结果即为投影高度hz。在各个待识别点均经过上述处理和计算,得到的各个计算结果即为各个需要判断是否为障碍物的待识别物体的投影高度。
进一步地,预先设定有用于判断待识别物体是否为障碍物的投影阈值,为了确定各待识别物体的投影高度和投影阈值之间的大小关系,将各待识别物体的投影高度逐一和投影阈值对比,从各投影高度中筛选出大于投影阈值的目标投影高度,并将生成各目标投影高度的待识别物体识别为障碍物,与各目标投影高度对应的待识别点即为地面图像中的障碍物成像。
其中,为了确保预先所设定的投影阈值可使得摄像装置对侧面地面各项物准确全面成像,所设定的投影阈值需要确保侧面地面全部呈现在图像中;若有缺失则需要对立体相机的安装参数进行调整。具体地,将立体相机安装到车体上之后,将车辆行驶到平整地面,开始投影阈值的设置和调整。检测立体相机的安装高度,并将车辆在预设方向上的设定值设置为0,该设定值的误差范围在安装高度正负5%以内取值。在接收到该设定值后,通过立体相机对车辆侧面的地面拍摄,该拍摄范围因设定值的不同而不同,将拍摄得到的图像作为与设定值对应的摄像图像。此后对摄像图像进行有效性判断,有效性判断为判断侧面地面是否全部呈现在图像中;若全部呈现在图像中,判定摄像图像有效,将设定值确定为投影阈值;若摄像图像经判定为无效,则对立体相机的安装高度、安装角度和视场角度进行调整,直到摄像图像全部呈现在图像中。
步骤S24,将所述地面图像中的障碍物成像去除,以从所述地面图像中分离出地面特征区域。
进一步地,在依据投影高度和投影阈值之间的大小关系,识别出障碍物在地面图像中的障碍物成像后,则对地面图像中的障碍物成像进行去除操作,实现从地面图像中分离出地面特征区域。
本实施例通过计算待识别物体在Z轴方向上的投影高度,来表征各待识别物体的高矮,进而判定各待识别物体是否为障碍物,对地面图像中的障碍物成像进行去除;实现在去除干扰后提取地面特征区域,使得地面特征区域的提取更为准确,提高了后续依据地面特征区域的图像处理的准确性。
进一步地,提出本发明地面标识线识别方法第三实施例。
参照图4,图4为本发明地面标识线识别方法第三实施例的流程示意图。
所述地面标识线识别方法第三实施例与所述地面标识线识别方法第一或第二实施例的区别在于,所述根据各所述质心位置,确定各所述目标元素的深度数据坐标的步骤包括:
步骤S33,读取所述摄像装置的安装高度、安装角度、垂直视场角度、水平视场角度、有效像素行数和有效像素列数,并逐一对各所述质心位置执行以下步骤:
步骤S34,检测所述质心位置到所述摄像装置之间的深度值,以及所述质心位置的所在像素行数和所在像素列数;
步骤S35,根据所述安装角度、垂直视场角度、所在像素行数、有效像素行数和所述深度值,确定所述质心位置的极坐标模值;
步骤S36,根据所述水平视场角度、安装高度、安装角度、垂直视场角度、所在像素列数、有效像素列数、所在像素行数和有效像素行数,确定所述质心位置的极坐标角度;
步骤S37,将所述极坐标模值和所述极坐标角度设为与所述质心位置对应的目标元素的深度数据坐标,直到各所述质心位置均生成所述极坐标模值和所述极坐标角度。
更进一步地,本实施例结合各目标元素的质心位置和摄像装置的安装参数,来确定各目标元素的深度数据坐标。对立体相机的安装参数进行读取,安装参数包括安装高度H、安装角度θ、垂直视场角度ωz、水平视场角度ωh、有效像素行数L和有效像素列数C,以通过该类安装参数逐一针对各质心位置进行处理;其中有效像素行数为立体相机在Y轴方向的成像最大像素值,有效像素列数为立体相机在X轴方向的成像最大像素值。处理时先检测质心位置到摄像装置之间的深度值D,以及质心位置的所在像素行数n和所在像素列数m;再将安装角度θ、垂直视场角度ωz、所在像素行数n和有效像素行数L传输到公式(3)中,通过公式(3)计算,得到像素所在行的偏角α;其中公式(3)为:
α=θ-(ωz/2)+(ωz*n/L) (3);
在通过公式(3)计算得到像素所在行的偏角α之后,将偏角α和深度值D传输到公式(4)中,通过公式(4)计算,得到质心位置的极坐标模值r;其中公式(4)为:
r=D*Cos(α) (4)。
进一步地,对立体相机成像的最远投影点的绝对值坐标(|Xmax|,|Ymax|)和最近投影点的绝对值坐标(|Xmin|,|Ymin|)进行计算;具体地,将水平视场角度ωh、安装高度H、安装角度θ、垂直视场角度ωz传输到公式(5)中,通过公式(5)的计算,得到最远投影点的绝对值坐标中|Xmax|数值;将安装高度H、安装角度θ、垂直视场角度ωz传输到公式(6)中,通过公式(6)的计算,得到最远投影点的绝对值坐标中|Ymax|数值;同时,将水平视场角度ωh、安装高度H、安装角度θ、垂直视场角度ωz传输到公式(7)中,通过公式(7)的计算,得到最近投影的绝对值坐标中|Xmin|数值;将安装高度H、安装角度θ、垂直视场角度ωz传输到公式(8)中,通过公式(8)的计算,得到最近投影的绝对值坐标中|Ymin|数值。其中公式(5)、(6)、(7)、(8)分别为:
|Xmax|=Tan(0.5*ωh)*H/Cos(θ-0.5*ωz) (5);
|Ymax|=H/Tan(θ-0.5*ωz) (6);
|Xmin|=Tan(0.5*ωh)*H/Cos(θ+0.5*ωz) (7);
|Ymin|=H/Tan(θ+0.5*ωz) (8)。
更进一步地,对质心位置的绝对值坐标(|Xc|,|Yc|)进行计算,将所在像素列数m、有效像素列数C、|Xmax|和|Xmin|传输到公式(9)中,通过公式(7)的计算,得到质心位置的绝对值中|Xc|数值,并将所在像素行数n、有效像素行数L、|Ymax|和|Ymin|传输到公式(10)中,通过公式(10)的计算,得到质心位置的绝对值中|Yc|数值;其中公式(9)和(10)分别为:
|Xc|=m/C*(|Xmax|-|Xmin|)+|Xmin| (9);
|Yc|=n/L*(|Ymax|-|Ymin|)+|Ymin| (10)。
此后,将质心位置的绝对值传输到公式(11)中,通过公式(11)的计算,得到质心位置的极坐标角度,其中公式(11)为:
=Tan-1(|Yc|/|Xc|) (11)。
可理解地,经上述公式(3)到(11)计算得到的质心位置的极坐标模值和极坐标角度,即形成与质心位置对应的目标元素的深度数据坐标。在各个质心位置均经过公式(3)到(11)的计算,得到各个质心位置的极坐标模值和极坐标角度后,即得到各目标元素的深度数据坐标。
本实施例将摄像装置的安装参数和各目标元素的质心位置结合,来确定各目标元素的极坐标模值和极坐标角度,以极坐标的方式来体现各目标元素的位置,使得各目标元素的深度数据坐标更为准确,提高了后续依据深度数据坐标来计算直线方程的准确性。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有地面标识线识别程序,所述地面标识线识别程序被处理器执行时实现如上所述的地面标识线识别方法的步骤。
本发明计算机可读存储介质具体实施方式与上述地面标识线识别方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种地面标识线识别方法,其特征在于,所述地面标识线识别方法包括以下步骤:
基于车体上所安装的摄像装置获取地面图像,并识别所述地面图像中各标识元素的初始位置;
从所述地面图像中分离出地面特征区域,并根据所述地面特征区域和各所述初始位置,确定各所述标识元素中目标元素的质心位置;
根据各所述质心位置,确定各所述目标元素的深度数据坐标,并根据各所述深度数据坐标,识别所述地面图像中的地面标识线。
2.如权利要求1所述的地面标识线识别方法,其特征在于,所述识别所述地面图像中各标识元素的初始位置的步骤包括:
对所述地面图像进行背景处理,并从经背景处理的所述地面图像中提取出各标识元素;
对各所述标识元素依次经过边缘提取、轮廓查找和折线拟合处理,得到各所述标识元素的初始轮廓;
将各所述初始轮廓传输到预设函数中,确定各所述标识元素在所述地面图像中的初始坐标;
以各所述初始坐标为圆心,设定圆形区域,并将各所述圆形区域识别为所述地面图像中各标识元素的初始位置。
3.如权利要求1所述的地面标识线识别方法,其特征在于,所述从所述地面图像中分离出地面特征区域的步骤包括:
根据所述摄像装置的安装参数,识别所述地面图像中的障碍物成像;
将所述地面图像中的障碍物成像去除,以从所述地面图像中分离出地面特征区域。
4.如权利要求3所述的地面标识线识别方法,其特征在于,所述根据所述摄像装置的安装参数,识别所述地面图像中的障碍物成像的步骤包括:
读取所述摄像装置的安装高度、安装角度、视场角度和有效像素行数,并逐一针对所述地面图像中的待识别点执行以下步骤:
检测所述摄像装置与所述待识别点之间的识别深度值,以及所述待识别点的点所在像素行数;
根据所述安装角度、视场角度、有效像素行数和点所在像素行数,确定与所述待识别点对应的像素所在行的偏角;
根据所述识别深度值和所述像素所在行的偏角,确定所述待识别点在预设方向上的投影中间值;
根据所述安装高度和所述投影中间值,生成所述待识别点的投影高度,直到所述地面图像中的各所述待识别点均生成投影高度;
确定各所述投影高度中大于投影阈值的目标投影高度,并将与各所述目标投影高度对应的待识别点识别为所述地面图像中的障碍物成像。
5.如权利要求1-4任一项所述的地面标识线识别方法,其特征在于,所述根据所述地面特征区域和各所述初始位置,确定各所述标识元素中目标元素的质心位置的步骤包括:
根据预设坐标原点,将所述地面特征区域和各所述初始位置进行合并,提取所述地面特征区域和各所述初始位置之间的重合特征区域;
将各所述重合特征区域传输到预设模型,筛选出各所述标识元素中的目标元素,并计算各所述目标元素的元素坐标作为各所述目标元素的质心位置。
6.如权利要求1-4任一项所述的地面标识线识别方法,其特征在于,所述根据各所述质心位置,确定各所述目标元素的深度数据坐标的步骤包括:
读取所述摄像装置的安装高度、安装角度、垂直视场角度、水平视场角度、有效像素行数和有效像素列数,并逐一对各所述质心位置执行以下步骤:
检测所述质心位置到所述摄像装置之间的深度值,以及所述质心位置的所在像素行数和所在像素列数;
根据所述安装角度、垂直视场角度、所在像素行数、有效像素行数和所述深度值,确定所述质心位置的极坐标模值;
根据所述水平视场角度、安装高度、安装角度、垂直视场角度、所在像素列数、有效像素列数、所在像素行数和有效像素行数,确定所述质心位置的极坐标角度;
将所述极坐标模值和所述极坐标角度设为与所述质心位置对应的目标元素的深度数据坐标,直到各所述质心位置均生成所述极坐标模值和所述极坐标角度。
7.如权利要求1-4任一项所述的地面标识线识别方法,其特征在于,所述根据各所述深度数据坐标,识别所述地面图像中的地面标识线的步骤包括:
根据预设范围区间,确定各所述深度数据坐标的目标数据坐标,并根据各所述目标数据坐标生成直线方程;
根据所述直线方程,识别所述地面图像中的地面标识线。
8.如权利要求1-4任一项所述的地面标识线识别方法,其特征在于,所述根据各所述质心位置,确定各所述目标元素的深度数据坐标的步骤之前包括:
逐一检测所述地面特征区域中的空洞数据,并读取与所述空洞数据对应的周边深度数据;
根据所述周边深度数据,对所述空调数据进行填充,直到所述地面特征区域中的空洞数据均填充完成,以基于经填充的所述地面特征区域确定所述深度数据坐标。
9.一种地面标识线识别设备,其特征在于,所述地面标识线识别设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的地面标识线识别程序,所述地面标识线识别程序被所述处理器执行时实现如权利要求1至8中任一项所述的地面标识线识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有地面标识线识别程序,所述地面标识线识别程序被处理器执行时实现如权利要求1至8中任一项所述的地面标识线识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911103398.0A CN110852278B (zh) | 2019-11-12 | 2019-11-12 | 地面标识线识别方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911103398.0A CN110852278B (zh) | 2019-11-12 | 2019-11-12 | 地面标识线识别方法、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110852278A true CN110852278A (zh) | 2020-02-28 |
CN110852278B CN110852278B (zh) | 2022-08-30 |
Family
ID=69601049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911103398.0A Active CN110852278B (zh) | 2019-11-12 | 2019-11-12 | 地面标识线识别方法、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110852278B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657333A (zh) * | 2021-08-23 | 2021-11-16 | 深圳科卫机器人科技有限公司 | 警戒线识别方法、装置、计算机设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103925927A (zh) * | 2014-04-18 | 2014-07-16 | 中国科学院软件研究所 | 一种基于车载视频的交通标识定位方法 |
CN107992829A (zh) * | 2017-12-05 | 2018-05-04 | 武汉中海庭数据技术有限公司 | 一种交通信号灯车道级控制关系提取方法及装置 |
CN108132675A (zh) * | 2017-11-23 | 2018-06-08 | 东南大学 | 一种工厂巡视无人机自主路径巡航以及智能避障方法 |
CN108171131A (zh) * | 2017-12-15 | 2018-06-15 | 湖北大学 | 基于改进MeanShift的Lidar点云数据道路标识线提取方法及系统 |
CN109598972A (zh) * | 2018-11-23 | 2019-04-09 | 中汽研(天津)汽车工程研究院有限公司 | 一种基于视觉的自动泊车停车位检测与测距系统 |
CN110135396A (zh) * | 2019-05-27 | 2019-08-16 | 百度在线网络技术(北京)有限公司 | 地面标志的识别方法、装置、设备及介质 |
-
2019
- 2019-11-12 CN CN201911103398.0A patent/CN110852278B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103925927A (zh) * | 2014-04-18 | 2014-07-16 | 中国科学院软件研究所 | 一种基于车载视频的交通标识定位方法 |
CN108132675A (zh) * | 2017-11-23 | 2018-06-08 | 东南大学 | 一种工厂巡视无人机自主路径巡航以及智能避障方法 |
CN107992829A (zh) * | 2017-12-05 | 2018-05-04 | 武汉中海庭数据技术有限公司 | 一种交通信号灯车道级控制关系提取方法及装置 |
CN108171131A (zh) * | 2017-12-15 | 2018-06-15 | 湖北大学 | 基于改进MeanShift的Lidar点云数据道路标识线提取方法及系统 |
CN109598972A (zh) * | 2018-11-23 | 2019-04-09 | 中汽研(天津)汽车工程研究院有限公司 | 一种基于视觉的自动泊车停车位检测与测距系统 |
CN110135396A (zh) * | 2019-05-27 | 2019-08-16 | 百度在线网络技术(北京)有限公司 | 地面标志的识别方法、装置、设备及介质 |
Non-Patent Citations (1)
Title |
---|
SHAOSHUAI SHI等: "PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud", 《ARXIV》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657333A (zh) * | 2021-08-23 | 2021-11-16 | 深圳科卫机器人科技有限公司 | 警戒线识别方法、装置、计算机设备及存储介质 |
CN113657333B (zh) * | 2021-08-23 | 2024-01-12 | 深圳科卫机器人科技有限公司 | 警戒线识别方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110852278B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11320833B2 (en) | Data processing method, apparatus and terminal | |
KR102022388B1 (ko) | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 | |
CN112907676B (zh) | 传感器的标定方法、装置、系统、车辆、设备及存储介质 | |
US10102433B2 (en) | Traveling road surface detection apparatus and traveling road surface detection method | |
CN110956069B (zh) | 一种行人3d位置的检测方法及装置、车载终端 | |
CN110826512B (zh) | 地面障碍物检测方法、设备及计算机可读存储介质 | |
US20200355796A1 (en) | Systems and methods for lidar detection | |
JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
EP4016457A1 (en) | Positioning method and apparatus | |
KR102167835B1 (ko) | 영상 처리 방법 및 장치 | |
WO2022078074A1 (zh) | 车辆与车道线的位置关系检测方法、系统和存储介质 | |
CN109635639B (zh) | 交通标识的位置检测方法、装置、设备和存储介质 | |
CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
JP6278790B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
CN110717445A (zh) | 一种用于自动驾驶的前车距离跟踪系统与方法 | |
CN112232275A (zh) | 基于双目识别的障碍物检测方法、系统、设备及存储介质 | |
CN111950428A (zh) | 目标障碍物识别方法、装置及运载工具 | |
CN110852278B (zh) | 地面标识线识别方法、设备及计算机可读存储介质 | |
CN114120254A (zh) | 道路信息识别方法、装置及存储介质 | |
CN114792343B (zh) | 图像获取设备的标定方法、获取图像数据的方法、装置 | |
CN113674361B (zh) | 一种车载环视校准实现方法及系统 | |
CN110852279B (zh) | 托盘识别和定位方法、设备及计算机可读存储介质 | |
JP2003208692A (ja) | 車両認識方法およびこの方法を用いた交通流計測装置 | |
CN112364693A (zh) | 基于双目视觉的障碍识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |