CN107845101A - 车载环视图像的特征点标定方法、装置和可读存储介质 - Google Patents

车载环视图像的特征点标定方法、装置和可读存储介质 Download PDF

Info

Publication number
CN107845101A
CN107845101A CN201710862976.3A CN201710862976A CN107845101A CN 107845101 A CN107845101 A CN 107845101A CN 201710862976 A CN201710862976 A CN 201710862976A CN 107845101 A CN107845101 A CN 107845101A
Authority
CN
China
Prior art keywords
point
pending
vehicle
connected region
panoramic view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710862976.3A
Other languages
English (en)
Other versions
CN107845101B (zh
Inventor
刘新
陆振波
王晓东
赵超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yicheng Automatic Driving Technology Co Ltd
Original Assignee
Shenzhen Yicheng Automatic Driving Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yicheng Automatic Driving Technology Co Ltd filed Critical Shenzhen Yicheng Automatic Driving Technology Co Ltd
Priority to CN201710862976.3A priority Critical patent/CN107845101B/zh
Publication of CN107845101A publication Critical patent/CN107845101A/zh
Application granted granted Critical
Publication of CN107845101B publication Critical patent/CN107845101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种车载环视图像的特征点标定方法，所述车载环视图像的特征点标定方法包括以下步骤：在确定待处理连通区域后，确定各个所述待处理连通区域的外边界点；根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，其中，所述待处理角点含有二个方向信息；获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点。本发明还公开了一种车载环视图像的特征点标定装置和可读存储介质。因车载环视系统能够自动标定其采集的图像中的特征点，从而使得图像特征点的标定效率高，降低了特征点的标定成本。

Description

车载环视图像的特征点标定方法、装置和可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种车载环视图像的特征点标定方法、装置和可读存储介质。
背景技术
随着图像和计算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域，传统的基于图像的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，而车辆周围和车头的盲区无疑增加了安全驾驶的隐患，在狭隘拥堵的市区和停车场容易出现碰撞和刮蹭事件。为扩大驾驶员视野，就必须能感知360°全方位的环境，这就需要多个视觉传感器的相互协同配合作用然后通过视频合成处理，形成全车周围的一整套的视频图像，就是有这类需求，全景视觉汽车辅助系统应运而生。
全景环视系统在汽车周围架设能覆盖车辆周边所有视场范围的4到8个广角摄像头，对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身俯视图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离，帮助驾驶员轻松停泊车辆。不仅非常直观，而且不存在任何盲点，可以提高驾驶员从容操控车辆泊车入位或通过复杂路面，有效减少刮蹭、碰撞、陷落等事故的发生。
环视360视觉系统使用超广角(视角>170度)的鱼眼镜头摄像头作为图像采集装置，由于鱼眼摄像头的超广角光学特点，原始图像存在很大的变形，因此在重建车辆周边360度的车身俯视图之前必须校正到人眼观察可以接受的程度，图像校正本质上是一种图像特征点的过程，目前，图像特征点的标定需要人工标定，其标定效率低，标定成本高。
发明内容
本发明的主要目的在于提供一种车载环视图像的特征点标定方法、装置和可读存储介质，旨在解决图像特征点的标定效率低，标定成本高的问题。
为实现上述目的，本发明提供一种车载环视图像的特征点标定方法，所述车载环视图像的特征点标定方法包括以下步骤：
在确定待处理连通区域后，确定各个所述待处理连通区域的外边界点；
根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，其中，所述待处理角点含有二个方向信息；
获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；
获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点。
优选地，所述确定各个所述待处理连通区域的外边界点的步骤之前，还包括：
检测图像的连通域，以获得连通区域，其中，所述图像为二值图像；
计算各个所述连通区域的数据信息，所述数据信息包括连通区域的面积、长度和宽度；
将符合预设数据信息的连通区域作为待处理连通区域。
优选地，所述检测图像的连通域的步骤之前，还包括：
在采集待处理图像后，将所述待处理图像转化为灰度图像，并修正所述灰度图像的灰度值；
按照预设灰度阈值分割修正灰度值的灰度图像，以获得所述待处理图像的二值图像。
优选地，所述获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线的步骤包括：
以所述二值图像的角点为原点建立坐标系，并根据所述方向信息检测所述待处理角点邻域的边缘点；
在所述坐标系内获取所述边缘点的坐标；
按照预设算法将各个所述边缘点的坐标拟合成直线。
优选地，所述根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点的步骤包括：
确定所述外边界点的邻域，并在所述邻域中获取预设数量的像素，其中，各个所述像素与所述外边界点依次相邻；
在所述坐标系中获取所述外边界点以及各个所述像素的坐标，并按照预设算法将获取的各个坐标拟合直线；
获取相邻外边界点的拟合直线之间的夹角，并将所述夹角小于预设阈值对应的外边界点作为角点；
计算所述角点之间的距离，并将所述距离小于预设距离的角点作为待处理角点。
优选地，所述确定各个所述待处理连通区域的外边界点的步骤包括：
确定所述待处理连通区域的待确定像素点；
检测与所述待确定像素点的相邻像素点的颜色，其中，所述相邻像素点的颜色包括白色与黑色；
将颜色为白色的相邻像素点对应的待确定像素点作为外边界点。
优选地，所述确定各个所述待处理连通区域的外边界点的步骤之前，还包括：
在确定待处理连通区域后，确定各个所述待处理连通区域的中心点；
将各个所述中心点按照预设规则排序，以排序各个所述待处理连通区域。
优选地，所述将各个所述中心点按照预设规则排序的步骤包括：
获取所述图像的检测区域，并获取所述检测区域的基准线；
根据所述基准线与预设半径拟合基准圆，并确定所述基准圆的圆心；
计算所述圆心与所述待处理连通区域中心的距离；
按照所述距离排序预设数量的待处理连通区域，其中，排序的待处理连通区域的所述距离小于未排序的待处理连通区域的所述距离；
将排序的各个待处理连通区域的中心拟合圆弧，并将所述待处理连通区域中已排序连通区域删除，以更新待处理连通区域；
获取与所述圆弧对应的圆心，并返回执行所述计算所述圆心与所述待处理连通区域中心的距离的步骤。
为实现上述目的，本发明还提供一种车载环视图像的特征点标定装置，所述车载环视图像的特征点标定装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的车载环视图像的特征点标定程序，所述车载环视图像的特征点标定程序被所述处理器执行时实现如上所述的车载环视图像的特征点标定方法的步骤。
为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质存储有车载环视图像的特征点标定程序，所述车载环视图像的特征点标定程序被所述处理器执行时实现如上所述的车载环视图像的特征点标定方法的步骤。
本发明提供的车载环视图像的特征点标定方法、装置和可读存储介质，车载环视系统在确定待处理连通区域后，确定处理连通区域的外边界点，然后根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，再获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；最后获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点；因车载环视系统能够自动标定其采集的图像中的特征点，从而使得图像特征点的标定效率高，降低了特征点的标定成本。
附图说明
图1为本发明实施例方案涉及的车载环视系统的硬件运行环境示意图；
图2为本发明车载环视图像的特征点标定方法第一实施例的流程示意图；
图3为本发明车载环视图像的特征点标定方法第一实施例的一细化流程示意图；
图4为本发明车载环视图像的特征点标定方法第一实施例的另一细化流程示意图；
图5为图4中步骤S110的细化流程示意图；
图6为图5中步骤S111中检测区域示意图；
图7为图2中步骤S10的细化流程示意图；
图8为图2中步骤S20的细化流程示意图；
图9为图8中步骤S24中外边界点的曲率变化涉及的示意图；
图10为像素邻域圆形模板示意图；
图11为图2中步骤S30的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：在确定待处理连通区域后，确定各个所述待处理连通区域的外边界点；根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，其中，所述待处理角点含有二个方向信息；获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点。
由于现有技术中，图像特征点的标定需要人工标定，其标定效率低，标定成本高。本发明提供一种解决方案，因车载环视系统能够自动标定其采集的图像中的特征点，从而使得图像特征点的标定效率高，降低了特征点的标定成本。
作为一种实现方案，车载环视系统的硬件结构可以如图1所述。
参照图1，该车载环视系统可以包括：处理器1001，例如CPU，存储器1002，通信总线1003。其中，通信总线1003用于实现该服务器中各组成部件之间的连接通信。存储器1002可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。
如图1所示，作为一种计算机存储介质的存储器1002中可以包括车载环视图像的特征点标定程序与操作系统。
在图1所示的服务器中，处理器1001可以用于调用存储器1002中存储的车载环视图像的特征点标定程序，并执行以下操作：
在确定待处理连通区域后，确定各个所述待处理连通区域的外边界点；
根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，其中，所述待处理角点含有二个方向信息；
获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；
获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点。
进一步地，处理器1001可以调用存储器1002中存储的车载环视图像的特征点标定程序，还执行以下操作：
检测图像的连通域，以获得连通区域，其中，所述图像为二值图像；
计算各个所述连通区域的数据信息，所述数据信息包括连通区域的面积、长度和宽度；
将符合预设数据信息的连通区域作为待处理连通区域。
进一步地，处理器1001可以调用存储器1002中存储的车载环视图像的特征点标定程序，还执行以下操作：
在采集待处理图像后，将所述待处理图像转化为灰度图像，并修正所述灰度图像的灰度值；
按照预设灰度阈值分割修正灰度值的灰度图像，以获得所述待处理图像的二值图像。
进一步地，处理器1001可以调用存储器1002中存储的车载环视图像的特征点标定程序，还执行以下操作：
以所述二值图像的角点为原点建立坐标系，并根据所述方向信息检测所述待处理角点邻域的边缘点；
在所述坐标系内获取所述边缘点的坐标；
按照预设算法将各个所述边缘点的坐标拟合成直线。
进一步地，处理器1001可以调用存储器1002中存储的车载环视图像的特征点标定程序，还执行以下操作：
确定所述外边界点的邻域，并在所述邻域中获取预设数量的像素，其中，各个所述像素与所述外边界点依次相邻；
在所述坐标系中获取所述外边界点以及各个所述像素的坐标，并按照预设算法将获取的各个坐标拟合直线；
获取相邻外边界点的拟合直线之间的夹角，并将所述夹角小于预设阈值对应的外边界点作为角点；
计算所述角点之间的距离，并将所述距离小于预设距离的角点作为待处理角点。
进一步地，处理器1001可以调用存储器1002中存储的车载环视图像的特征点标定程序，还执行以下操作：
确定所述待处理连通区域的待确定像素点；
检测与所述待确定像素点的相邻像素点的颜色，其中，所述相邻像素点的颜色包括白色与黑色；
将颜色为白色的相邻像素点对应的待确定像素点作为外边界点。
进一步地，处理器1001可以调用存储器1002中存储的车载环视图像的特征点标定程序，还执行以下操作：
在确定待处理连通区域后，确定各个所述待处理连通区域的中心点；
将各个所述中心点按照预设规则排序，以排序各个所述待处理连通区域。
进一步地，处理器1001可以调用存储器1002中存储的车载环视图像的特征点标定程序，还执行以下操作：
获取所述图像的检测区域，并获取所述检测区域的基准线；
根据所述基准线与预设半径拟合基准圆，并确定所述基准圆的圆心；
计算所述圆心与所述待处理连通区域中心的距离；
按照所述距离排序预设数量的待处理连通区域，其中，排序的待处理连通区域的所述距离小于未排序的待处理连通区域的所述距离；
将排序的各个待处理连通区域的中心拟合圆弧，并将所述待处理连通区域中已排序连通区域删除，以更新待处理连通区域；
获取与所述圆弧对应的圆心，并返回执行所述计算所述圆心与所述待处理连通区域中心的距离的步骤。
本实施例根据上述方案，车载环视系统在确定待处理连通区域后，确定处理连通区域的外边界点，然后根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，再获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；最后获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点；因车载环视系统能够自动标定其采集的图像中的特征点，从而使得图像特征点的标定效率高，降低了特征点的标定成本。
基于上述硬件构架，提出本发明车载环视图像的特征点标定方法的实施例。
参照图2，图2为本发明车载环视图像的特征点标定方法的第一实施例，所述车载环视图像的特征点标定方法包括：
步骤S10，在确定待处理连通区域后，确定各个所述待处理连通区域的外边界点；
车载环视系统采用鱼眼摄像头采集图像，所以图像有很大畸变，所以需要对图像进行校正，而图像的校正本质是图像特征点的标定过程，在本发明中，采用将图像转化为棋盘布，然后按照设定的算法标定出棋盘布上的特征点，从而实现图像特征点的标定，以完成图像的校正。图像转化为棋盘布的具体步骤是确定图像的待处理连通区域，而在确定待处理连通区域的步骤之前，还需将图像进行预处理，具体请参照图3，所述步骤S10之前还包括步骤S50至步骤S90。
步骤S50，在采集待处理图像后，将所述待处理图像转化为灰度图像，并修正所述灰度图像的灰度值；
在车载环视系统采集图像(待处理图像)后，因图像(比如YUV图像)，具有多种色彩，提取YUV图像的Y分量转换图像，使得图像只含有黑白二种颜色；在转化图像的颜色后，会对转化颜色的图像进行灰度值的修正，具体的，对转换颜色的图像进行灰度形态学处理(比如灰度腐蚀处理和灰度膨胀处理)，从而防止转化颜色的图像中的黑色色块的粘接。
步骤S60，按照预设灰度阈值分割修正灰度值的灰度图像，以获得所述待处理图像的二值图像；
经过灰度形态学处理图像后，对ROI感兴趣区(需要检测的区域)的灰度图像进行灰度统计，然后采用直方图统计分布比例系数的灰度阈值对图像进行分割。为了避免散乱点对灰度直方图产生影响，对灰度直方图使用了五点三次平滑进行处理，即图像的分割阈值按照公式(1)-(4)的直方图积分确定，取满足条件I(k)>t的最小k值作为分割阈值。
其中，S(xi)为灰度值i的像素个数；
H(p)＝[h(x1),h(x2),.......h(xn)] (3)；
∑H(p)＝1 (4)。
在获得二值图像后，以二值图像的任一角点(二值图像为长方形或者正方形，具有四个角点)为原点建立坐标系，坐标系采用笛卡尔坐标系(X,Y)。
步骤S70，检测图像的连通域，以获得连通区域，其中，所述图像为二值图像；
在获得二值图像后，检测扫描二值图像的黑色连通域，具体可采用Blob检测算法扫描标记二值图像的黑色连通区域。
步骤S80，计算各个所述连通区域的数据信息，所述数据信息包括连通区域的面积、长度和宽度；
步骤S90，将符合预设数据信息的连通区域作为待处理连通区域。
在Blob检测算法扫描获取一系列的连通区域后，会计算各个连通区域的数据信息，比如连通区域的长度、宽度、面积，只有符合设定长度、宽度以及面积的连通区域才会被选择为待处理连通区域，以进行后续步骤的处理。
在步骤S90之后，步骤S10之前还包括步骤S100与步骤S110，具体请参照图4。
步骤S100，在确定待处理连通区域后，确定各个所述待处理连通区域的中心点；
为了将连通区域的数据从无需输出变成有序输出，需要对待处理连通区域进行排序，首先确定待处理连通区域的中心。
步骤S110，将各个所述中心点按照预设规则排序，以排序各个所述待处理连通区域；
在确定待处理连通区域的中心，按照预设规则排序待处理连通区域，具体请参照图5，图5为步骤S110的细化流程示意图，所述步骤S110包括：
步骤S111，获取所述图像的检测区域，并获取所述检测区域的基准线；
先确定图像的检测区域，然后确定检测区域的边界线(参照图6)，根据图5中的边界线1与边界线2的中点确定基准线。
步骤S112，根据所述基准线与预设半径拟合基准圆，并确定所述基准圆的圆心；
在确定基准线后，根据预设半径(预设半径为任意合适的数值，比如5000)以及基准线拟合基准圆(以边界线1与边界线2的角点基准圆上的一点、再很据预设半径以及基准线可拟合基准圆)，在获得基准圆后，确定圆心的坐标。
步骤S113，计算所述圆心与所述待处理连通区域中心的距离；
具体的，根据圆心的坐标与各个待处理连通区域中心的坐标计算它们的距离。
步骤S114，按照所述距离排序预设数量的待处理连通区域，其中，排序的待处理连通区域的所述距离小于未排序的待处理连通区域的所述距离；
对计算出来的距离进行排序，从排序的距离中选出预设数量(预设数量可以为任意合数的数值)的距离，选取的距离均小于未被选取的距离，即可获得预设数量的待处理连通区域，然后对这些待处理连通区域进行排序，具体的以坐标系的横坐标方向排序。
步骤S115，将排序的各个待处理连通区域的中心拟合圆弧，并将所述待处理连通区域中已排序连通区域删除，以更新待处理连通区域；
在初步排序待处理连通区域后，获取排序的待处理连通区域的中心，根据这些中心拟合圆弧，同时将排序的待处理连通区域从需要排序的待处理连通区域剔除，以更新需要排序的待处理连通区域。
步骤S116，获取与所述圆弧对应的圆心，并返回执行所述计算所述圆心与所述待处理连通区域中心的距离的步骤；
在根据排序的待处理连通区域中心拟合圆弧后，根据拟合的圆弧再次拟合基准圆，并确定基准圆的圆心，然后计算圆心和待处理连通区域中心的距离，然后在根据步骤S114再次排序剩余的待处理连通区域。
可以理解的认为，待处理连通区域的第一排序是基准线和预设半径为基础拟合基准圆进行排序；第一次以后的待处理连通区域的排序均以已排序的待处理连通区域的中心拟合圆弧后，再以圆弧拟合基准圆，进而排序剩下的待处理连通区域，即在步骤S116后，反复执行步骤S113-步骤S116，直至所有的待处理连通区域被排序完毕。
在当确定待处理连通区域后以及待处理连通区域排序完毕后，再确定各个待处理连通区域的外边界点，具体请参照图7，图7为步骤S10的细化流程示意图，所述步骤S10包括：
步骤S11，确定所述待处理连通区域的待确定像素点；
步骤S12，检测与所述待确定像素点的相邻像素点的颜色，其中，所述相邻像素点的颜色包括白色与黑色；
步骤S13，将颜色为白色的相邻像素点对应的待确定像素点作为外边界点；
每一个待处理连通区域包括的像素点的颜色均为黑色，而待处理连通区域的外边界点的相邻像素点为白色，若黑色像素点的相邻像素点中含有颜色为白色的像素点，该黑色像素点即为外边界点。具体的，可对待处理连通区域进行边界跟踪，即对每一个待处理连通区域进行外边界轮廓跟踪处理，轮廓跟踪算法可采用虫随法，采用虫随法时设定背景像素为黑色像素，物体像素为白色像素，优选的，在坐标系中从上往下，从左往右对二值图像中的待处理连通区域进行轮廓跟踪，在当遇到黑色像素时，按照虫随法像素处理方式进行处理，将搜索到的外边界点存入线性表内，如果外边界点计数值超出范围，算法截断退出，避免越界。
步骤S20，根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，其中，所述待处理角点含有二个方向信息；
在确定外边界点后，需要从多个外边界点确定角点，然后再从多个角点内确定待处理角点，具体请参照图8，图8为步骤S20的细化流程示意图，所述步骤S20包括：
S21，确定所述外边界点的邻域，并在所述邻域中获取预设数量的像素，其中，各个所述像素与所述外边界点依次相邻；
S22，在所述坐标系中获取所述外边界点以及各个所述像素的坐标，并按照预设算法将获取的各个坐标拟合直线；
S23，获取相邻外边界点的拟合直线之间的夹角，并将所述夹角小于预设阈值对应的外边界点作为角点；
S24，计算所述角点之间的距离，并将所述距离小于预设距离的角点作为待处理角点；
外边界点可以根据其曲率的变化判断是否为角点，在本发明中采用曲率计算公式相比于现有技术中以离散曲率计算外边界点的曲线来说，本发明的外边界点曲率的计算速度快。曲率实质上时曲线角度的变化率，参照曲率计算公式(5)，即为角度变化和弧长变化值之比，因此从曲率的原始定义出发，对于直角边四边形，弧长近似是像素之间的距离累加和，可是设置成常数，只需要计算角度变换即可近似曲率计算。对每个边外界点前后邻域分别取一定长度(例如8个像素)相邻像素坐标值，进行最小二乘法拟合，拟合出直线方程，然后计算M与M’(相邻外边界点)的拟合直线之间的夹角al(参照图9)，若al小于某个值，将当前边界点加入候选点集作为候选角点。
其中，Δα为角度变化值，ΔS为弧度变化值。
需要说明的是，轮廓边界线的凹坑可能会导致角度误判，本发明方法使用一个圆形模板来解决这个问题，统计当前像素的邻域圆形模板的像素比例均值，参考图10，当候选像素集合(候选角点集合)中的某个像素邻域圆形模板内黑色像素的比例超出一定范围内(比如40％以上)，则将此像素(像素对应角点)从集合中剔除，如图10中(1)中的凹坑为不合格的像素。
在当确定角点后，设定距离阈值(预设距离)t，并使用聚类算法对角点进行分类，使得每个类别的点之间的距离值小于t，从而确定待处理角点。如果找出的角点类别数大于4则采用上述的圆形模板进行筛选以获得角点，然后再以上述方法确定待处理角点。
步骤S30，获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；
每一个待处理角点均含有个2个方向信息，因此根据方向信息拟合待处理角点的二条直线，具体，请参照图11，图11为步骤S30的细化流程图，所述步骤S30包括：
步骤S31，以所述二值图像的角点为原点建立坐标系，并根据所述方向信息检测所述待处理角点邻域的边缘点；
步骤S32，在所述坐标系内获取所述边缘点的坐标；
步骤S33，按照预设算法将各个所述边缘点的坐标拟合成直线；
在二值图像中在每个待处理角点的邻域内使用sobel边缘检测算子检测边缘点位置，邻域窗口大小采用16*16。边缘点检测使用小波边缘检测策略，采用多尺度检测方法检测上升沿，如公式(6)所示，2个尺度因子，在邻域内任意像素点pm根据尺度因子k1和尺度因子k2计算的灰度梯度变化Tn1，Tn2同时大于某个阈值Ts时，才认为pm是边缘像素，否则pm则被认为是孤立点像素，在随后处理过程中被忽略不计，记录下在某个搜索方向符合多尺度体变化条件的像素序列P＝{p0,p1,p2,...,pn}，找出其中梯度变化最大值像素点作为边缘像素点。按照以上原理，在平行边缘走向(方向信息)找出一系列像素点坐标(Xn,Yn)，然后使用最小二乘法(预设算法)拟合出边缘直线方程，需要说明的是，因每个待处理角点有2个方向信息，所以每个待处理角点可以拟合2条直线，即每一个待处理角点可确定一个车载环视图像的特征点。
其中，k是尺度因子，尺度因子k＝k1,k2。
步骤S40，获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点；
在当拟合出待处理角点的二条直线时，根据二条直线的方程计算出直线的交点，此交点即为车载环视图像的特征点。
本发明从图象的特征点入手，按照图像内容理解方式编写算法，使用连通域检测算法完成图像特征点的初始定位过程，快速缩小特征点搜索范围到4-8个像素之内，这种方式处理速度很快，在x86处理器上模拟可以在几十个毫秒完成，在嵌入式处理器上也可以几百个毫秒处理完。本发明提供的环视图像特征检测方法解决了已有的360环视系统标定速度缓慢问题，本发明提供的车载环视图像的特征点标定方法处理速度快，对每个棋盘布处理时间小于2秒，光照条件良好情况下可小于0.5秒，全部棋盘布特征检测可以在几秒内完成。另，本发明提供的环视图像特征检测方法可在放置好棋盘布后，一键完成棋盘格特征点检测，避免目前产品使用键盘逐个选点的过程，简化用户使用操作步骤。
本实施例提供的技术方案中，车载环视系统在确定待处理连通区域后，确定处理连通区域的外边界点，然后根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，再获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；最后获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点；因车载环视系统能够自动标定其采集的图像中的特征点，从而使得图像特征点的标定效率高，降低了特征点的标定成本。
本发明还提供一种车载环视图像的特征点标定装置，所述车载环视图像的特征点标定装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的车载环视图像的特征点标定程序，所述车载环视图像的特征点标定程序被所述处理器执行时实现如上实施例所述的车载环视图像的特征点标定方法的步骤。
本发明还提供一种可读存储介质，所述可读存储介质存储有车载环视图像的特征点标定程序，所述车载环视图像的特征点标定程序被所述处理器执行时实现如上实施例所述的车载环视图像的特征点标定方法的步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是电视机，手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种车载环视图像的特征点标定方法，其特征在于，所述车载环视图像的特征点标定方法包括以下步骤：
在确定待处理连通区域后，确定各个所述待处理连通区域的外边界点；
根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点，并获取所述待处理角点的方向信息，其中，所述待处理角点含有二个方向信息；
获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线；
获取与所述待处理角点对应的所述直线的交点，并将所述交点作为车载环视图像的特征点。
2.如权利要求1所述的车载环视图像的特征点标定方法，其特征在于，所述确定各个所述待处理连通区域的外边界点的步骤之前，还包括：
检测图像的连通域，以获得连通区域，其中，所述图像为二值图像；
计算各个所述连通区域的数据信息，所述数据信息包括连通区域的面积、长度和宽度；
将符合预设数据信息的连通区域作为待处理连通区域。
3.如权利要求2所述的车载环视图像的特征点标定方法，其特征在于，所述检测图像的连通域的步骤之前，还包括：
在采集待处理图像后，将所述待处理图像转化为灰度图像，并修正所述灰度图像的灰度值；
按照预设灰度阈值分割修正灰度值的灰度图像，以获得所述待处理图像的二值图像。
4.如权利要求2所述的车载环视图像的特征点标定方法，其特征在于，所述获取与所述方向信息对应的坐标，并根据各个所述坐标拟合直线的步骤包括：
以所述二值图像的角点为原点建立坐标系，并根据所述方向信息检测所述待处理角点邻域的边缘点；
在所述坐标系内获取所述边缘点的坐标；
按照预设算法将各个所述边缘点的坐标拟合成直线。
5.如权利要求4所述的车载环视图像的特征点标定方法，其特征在于，所述根据相邻外边界点对应的拟合直线之间的夹角确定待处理角点的步骤包括：
确定所述外边界点的邻域，并在所述邻域中获取预设数量的像素，其中，各个所述像素与所述外边界点依次相邻；
在所述坐标系中获取所述外边界点以及各个所述像素的坐标，并按照预设算法将获取的各个坐标拟合直线；
获取相邻外边界点对应的拟合直线之间的夹角，并将所述夹角小于预设阈值对应的外边界点作为角点；
计算所述角点之间的距离，并将所述距离小于预设距离的角点作为待处理角点。
6.如权利要求2所述的车载环视图像的特征点标定方法，其特征在于，所述确定各个所述待处理连通区域的外边界点的步骤包括：
确定所述待处理连通区域的待确定像素点；
检测与所述待确定像素点的相邻像素点的颜色，其中，所述相邻像素点的颜色包括白色与黑色；
将颜色为白色的相邻像素点对应的待确定像素点作为外边界点。
7.如权利要求1-6任一项所述的车载环视图像的特征点标定方法，其特征在于，所述确定各个所述待处理连通区域的外边界点的步骤之前，还包括：
在确定待处理连通区域后，确定各个所述待处理连通区域的中心点；
将各个所述中心点按照预设规则排序，以排序各个所述待处理连通区域。
8.如权利要求7所述的车载环视图像的特征点标定方法，其特征在于，所述将各个所述中心点按照预设规则排序的步骤包括：
获取所述图像的检测区域，并获取所述检测区域的基准线；
根据所述基准线与预设半径拟合基准圆，并确定所述基准圆的圆心；
计算所述圆心与所述待处理连通区域中心的距离；
按照所述距离排序预设数量的待处理连通区域，其中，排序的待处理连通区域的所述距离小于未排序的待处理连通区域的所述距离；
将排序的各个待处理连通区域的中心拟合圆弧，并将所述待处理连通区域中已排序连通区域删除，以更新待处理连通区域；
获取与所述圆弧对应的圆心，并返回执行所述计算所述圆心与所述待处理连通区域中心的距离的步骤。
9.一种车载环视图像的特征点标定装置，其特征在于，所述车载环视图像的特征点标定装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的车载环视图像的特征点标定程序，所述车载环视图像的特征点标定程序被所述处理器执行时实现如权利要求1-8任一项所述的车载环视图像的特征点标定方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质存储有车载环视图像的特征点标定程序，所述车载环视图像的特征点标定程序被所述处理器执行时实现如权利要求1-8任一项所述的车载环视图像的特征点标定方法的步骤。
CN201710862976.3A 2017-09-20 2017-09-20 车载环视图像的特征点标定方法、装置和可读存储介质 Active CN107845101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710862976.3A CN107845101B (zh) 2017-09-20 2017-09-20 车载环视图像的特征点标定方法、装置和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710862976.3A CN107845101B (zh) 2017-09-20 2017-09-20 车载环视图像的特征点标定方法、装置和可读存储介质

Publications (2)

Publication Number Publication Date
CN107845101A true CN107845101A (zh) 2018-03-27
CN107845101B CN107845101B (zh) 2020-04-10

Family

ID=61661654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710862976.3A Active CN107845101B (zh) 2017-09-20 2017-09-20 车载环视图像的特征点标定方法、装置和可读存储介质

Country Status (1)

Country Link
CN (1) CN107845101B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615659A (zh) * 2018-11-05 2019-04-12 成都西纬科技有限公司 一种车载多摄像机环视系统的摄像机参数获得方法及装置
CN109767473A (zh) * 2018-12-30 2019-05-17 惠州华阳通用电子有限公司 一种全景泊车装置标定方法及装置
CN111283676A (zh) * 2018-12-07 2020-06-16 中达电子零组件(吴江)有限公司 三轴机械臂的工具坐标系标定方法以及标定装置
CN111462244A (zh) * 2019-01-22 2020-07-28 上海欧菲智能车联科技有限公司 车载环视系统在线标定方法、系统及装置
CN113393378A (zh) * 2021-05-26 2021-09-14 浙江大华技术股份有限公司 光伏组件的图像拼接方法、装置、电子装置和存储介质
CN113834638A (zh) * 2021-09-03 2021-12-24 大连中科创达软件有限公司 视场角确定方法、装置、设备及存储介质
CN113834638B (zh) * 2021-09-03 2024-05-24 大连中科创达软件有限公司 视场角确定方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542558A (zh) * 2010-12-30 2012-07-04 北京大学 一种检测图形角点的方法和系统
CN103996191A (zh) * 2014-05-09 2014-08-20 东北大学 一种基于最小二乘优化的黑白棋盘格图像角点的检测方法
JP6015454B2 (ja) * 2013-01-10 2016-10-26 富士通株式会社 画像処理装置および画像処理方法並びに画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542558A (zh) * 2010-12-30 2012-07-04 北京大学 一种检测图形角点的方法和系统
JP6015454B2 (ja) * 2013-01-10 2016-10-26 富士通株式会社 画像処理装置および画像処理方法並びに画像処理プログラム
CN103996191A (zh) * 2014-05-09 2014-08-20 东北大学 一种基于最小二乘优化的黑白棋盘格图像角点的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘宁 等: ""针对标定图像中Ｈａｒｒｉｓ伪角点的自动修正算法"", 《光子学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615659A (zh) * 2018-11-05 2019-04-12 成都西纬科技有限公司 一种车载多摄像机环视系统的摄像机参数获得方法及装置
CN111283676A (zh) * 2018-12-07 2020-06-16 中达电子零组件(吴江)有限公司 三轴机械臂的工具坐标系标定方法以及标定装置
CN109767473A (zh) * 2018-12-30 2019-05-17 惠州华阳通用电子有限公司 一种全景泊车装置标定方法及装置
CN109767473B (zh) * 2018-12-30 2022-10-28 惠州华阳通用电子有限公司 一种全景泊车装置标定方法及装置
CN111462244A (zh) * 2019-01-22 2020-07-28 上海欧菲智能车联科技有限公司 车载环视系统在线标定方法、系统及装置
CN111462244B (zh) * 2019-01-22 2024-02-06 上海欧菲智能车联科技有限公司 车载环视系统在线标定方法、系统及装置
CN113393378A (zh) * 2021-05-26 2021-09-14 浙江大华技术股份有限公司 光伏组件的图像拼接方法、装置、电子装置和存储介质
CN113834638A (zh) * 2021-09-03 2021-12-24 大连中科创达软件有限公司 视场角确定方法、装置、设备及存储介质
CN113834638B (zh) * 2021-09-03 2024-05-24 大连中科创达软件有限公司 视场角确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN107845101B (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN107845101A (zh) 车载环视图像的特征点标定方法、装置和可读存储介质
CN101950350B (zh) 使用分级方法的畅通路径检测
CN104933409B (zh) 一种基于全景图像点线特征的车位识别方法
CN104700072B (zh) 基于车道线历史帧的识别方法
CN106651963B (zh) 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法
CN109635656A (zh) 基于神经网络的车辆属性识别方法、装置、设备及介质
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN106446949A (zh) 一种车辆型号识别方法及装置
CN107729899A (zh) 一种车牌号码识别方法及装置
CN107993263A (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
CN111191485A (zh) 一种车位检测方法及其系统、汽车
CN103544480A (zh) 车辆颜色识别方法
CN107644538A (zh) 交通信号灯的识别方法及装置
WO2014017521A1 (ja) 立体物検出装置
CN108021879A (zh) 一种基于视频图像的交通车辆类型识别方法
CN106022268A (zh) 一种限速标识的识别方法和装置
CN107844761A (zh) 交通标志的检测方法及装置
CN107832674A (zh) 一种车道线检测方法
CN106407951A (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN108052921B (zh) 一种车道线检测方法、装置及终端
CN105069411B (zh) 道路识别方法和装置
CN115116035A (zh) 一种基于神经网络的道路交通灯识别系统及方法
CN112863194B (zh) 一种图像处理方法、装置、终端及介质
JP5370375B2 (ja) 画像認識装置
Takahashi et al. A robust lane detection using real-time voting processor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Calibration method, device and readable storage medium for feature points of vehicle look around image

Effective date of registration: 20210520

Granted publication date: 20200410

Pledgee: Shenzhen Longgang sub branch of Agricultural Bank of China Ltd.

Pledgor: SHENZHEN ECHIEV AUTONOMOUS DRIVING TECHNOLOGY Co.,Ltd.

Registration number: Y2021980003808

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220607

Granted publication date: 20200410

Pledgee: Shenzhen Longgang sub branch of Agricultural Bank of China Ltd.

Pledgor: SHENZHEN ECHIEV AUTONOMOUS DRIVING TECHNOLOGY Co.,Ltd.

Registration number: Y2021980003808

PC01 Cancellation of the registration of the contract for pledge of patent right