CN113052910A - 一种标定引导方法和相机装置 - Google Patents

一种标定引导方法和相机装置 Download PDF

Info

Publication number
CN113052910A
CN113052910A CN201911376684.4A CN201911376684A CN113052910A CN 113052910 A CN113052910 A CN 113052910A CN 201911376684 A CN201911376684 A CN 201911376684A CN 113052910 A CN113052910 A CN 113052910A
Authority
CN
China
Prior art keywords
calibration plate
calibration
target
column
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911376684.4A
Other languages
English (en)
Inventor
单一
秦勇
赵春宇
陈元吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Technology Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN201911376684.4A priority Critical patent/CN113052910A/zh
Publication of CN113052910A publication Critical patent/CN113052910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种标定引导方法和相机装置,主要包括:根据预设标定板的位姿建立采图基准框,并将采图基准框显示于标定板拍摄界面;在拍摄标定板图像时,从标定板拍摄界面中的标定板图像中筛选出特征点,并由特征点作为顶点建立成像框,将成像框显示于标定板拍摄界面;将成像框与采图基准框进行比对,并根据比对结果进行标定板位姿的调整提醒。本发明通过在标定板拍摄界面中显示能够表现所需要的标定板位姿的采图基准框,并根据标定板中的特征点在标定板拍摄界面中呈现成像框,通过在标定板界面中的成像框与采图基准框的比对来辅助标定人员实现拍摄标定板过程中标定板理想位姿的调整,从而提高了标定板图像的拍摄质量,提高了相机的标定效果。

Description

一种标定引导方法和相机装置
技术领域
本发明涉及相机标定技术领域,特别涉及一种标定引导方法和相机装置。
背景技术
相机标定是一种非常专业的技术工作,通常,符合要求的标定板图像中,需要具有完整的标定板,需要采图位置(标定板成像于图像坐标系中的位置)、采图角度、采 图距离具有多样性,对于经验不足的标定人员或者无标定经验人员来说,难以拍摄出 高质量的标定板图像,从而导致了相机标定效果不佳的问题。
发明内容
有鉴于此,本发明提供一种标定引导方法和相机装置,以在拍摄标定板图像时引导标定人员调整标定板与相机之间的相对位姿,以提高标定板图像的拍摄质量,提高 相机标定效果。
本发明提供的一种相机的标定引导方法,包括:
将采图指示显示于拍摄界面,所述采图指示用于表示期望的标定板图像成像位置、 标定板与相机之间相对采集距离、标定板与相机之间相对偏转角度三者之一或其任意的组合;
捕获包含有标定板的标定板图像,根据捕获的当前标定板图像建立标定板成像指示,并将所述标定板成像指示显示于所述拍摄界面,所述标定板成像指示用于表示当 前标定板图像成像位置、标定板与相机之间相对采集距离、标定板与相机之间相对偏 转角度三者之一或其任意的组合;
将所述标定板成像指示与所述采图基准指示进行比对,并根据比对结果进行标定板和相机之间相对位姿的调整提醒。
本发明还提供一种相机装置,所述相机装置包括显示器和处理器,其特征在于:
所述显示器用于显示标定板拍摄界面;
所述处理器用于:
将采图指示显示于拍摄界面,所述采图指示用于表示期望的标定板图像成像位置、 标定板与相机之间相对采集距离、标定板与相机之间相对偏转角度三者之一或其任意的组合;
捕获包含有标定板的标定板图像,根据捕获的当前标定板图像建立标定板成像指示,并将所述标定板成像指示显示于所述拍摄界面,所述标定板成像指示用于表示当 前标定板图像成像位置、标定板与相机之间相对采集距离、标定板与相机之间相对偏 转角度三者之一或其任意的组合;
将所述标定板成像指示与所述采图基准指示进行比对,并根据比对结果进行标定板和相机之间相对位姿的调整提醒。
从上述方案可以看出,本发明实施例的标定引导方法和相机装置,通过在标 定板拍摄界面中显示能够表现所需要的标定板位姿的采图基准框,并根据标定板 中的特征点在标定板拍摄界面中呈现成像框,通过在标定板界面中的成像框与采 图基准框的比对来辅助标定人员实现拍摄标定板过程中标定板理想位姿的调整, 从而提高了标定板图像的拍摄质量,进而提高了相机的标定效果。
附图说明
图1a为本发明的标定引导方法的一种流程示意图;
图1b为以采图指示为采图基准框、标定板成像指示为成像框为实施例的标定 引导方法的一种流程示意图;
图1c为拍摄部分标定板图像时,确定当前标定板图像的有效范围,从有效范 围中筛选出特征点的一种流程示意图;
图2为本发明中在拍摄部分标定板图像过程中筛选目标特征的步骤流程示意 图;
图3为本发明中在拍摄部分标定板图像时根据目标特征确定特征点的步骤流 程示意图;
图4为本发明中所采用的标定板实施例示意图;
图5为本发明实施例中采用圆点阵列标定板进行标定引导的流程示意图;
图6为本发明实施例中在标定板拍摄界面中的采图基准框显示位置的一个实 施例示意图;
图7为本发明实施例中在标定板拍摄界面中的采图基准框显示位置的另一个 实施例示意图;
图8为本发明实施例中将标定板拍摄界面划分为九宫格形式的九个区域的实 施例示意图;
图9为图5所示步骤流程中的步骤c2中的步骤流程示意图;
图10为本发明实施例中的一个部分标定板图像的示例示意图;
图11为本发明实施例中的另一个部分标定板图像的示例示意图;
图12为本发明实施例中的一个可选实施例的标定板正视图;
图13为本发明实施例中的最小包围矩形示意图;
图14为本发明实施例中所确定的目标特征对标定板图像分割出多个分割区域 以筛选特征点的示意图;
图15为本发明实施例中进行成像框和采图基准框之间对比的示意图;
图16目标特征排列方式的示意图。
图17为本发明实施例中的部分标定板图像中圆点的世界坐标的获取方法流程图;
图18为本发明实施例的相机装置示意图;
图19为本发明实施例的电子设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实 施例,对本发明作进一步详细说明。
本申请基于采图过程中捕获的标定板图像建立标定板成像框,该成像框表示 了当前标定板图像采集位置、采集距离、标定板相对相机偏转角度三者之一或其 任意的组合,再结合预先设定的采图指示来辅助标定者拍摄符合要求的标定板图 像。对于部分不完整的标定板图像,利用中心区域带有图案标记的标定板在相机 中的成像信息,解算出标定板中心点坐标、用于分割标定板图案各行的行分割阈 值、以及用于分割标定板阵列图案各列的列分割阈值等参数,通过上述参数确定 标定板图像的有效范围,基于有效范围中的特征,建立标定板成像框,从而结合 预先设定的采图指示来辅助标定者采集符合要求的标定板图像。
参见图1a所示,图1a为本发明实施例的一种标定引导方法的一种流程示意图。 该引导方法包括,
将采图指示显示于拍摄界面,所述采图指示用于表示期望的标定板图像成像 位置、标定板与相机之间相对采集距离、标定板与相机之间相对偏转角度三者之 一或其任意的组合;
捕获包含有标定板的标定板图像,根据捕获的当前标定板图像建立标定板成 像指示,并将所述标定板成像指示显示于所述拍摄界面,所述标定板成像指示用 于表示当前标定板图像成像位置、标定板与相机之间相对采集距离、标定板与相 机之间相对偏转角度三者之一或其任意的组合;
将所述标定板成像指示与所述采图基准指示进行比对,并根据比对结果进行 标定板和相机之间相对位姿的调整提醒,即,输出调整标定板和相机之间相对位 姿的引导信息,引导信息包括且不限于标定板图像成像位置、标定板与相机之间 相对采集距离、标定板与相机之间相对偏转角度三者之一或其任意的组合。本实 施例实现了标定板图像的拍摄过程中的实时引导,降低了拍摄的难度,提高了标 定板图像的拍摄质量。
以下以采图指示为采图基准框、标定板成像指示为成像框的实施例来说明。
如图1b所示,本发明实施例的标定引导方法,包括:
步骤1、根据预设标定板的位姿建立采图基准框,并将采图基准框显示于拍摄 界面;
其中,采图基准框具有在标定板与相机之间期望相对偏转角度为0时与标定 板形状相似的第一形状,在标定板与相机之间期望相对偏转角度不为0时具有基 于所述第一形状偏转的视图形状。
步骤2、在拍摄标定板图像时,从拍摄界面中的标定板图像中筛选出特征点, 并由特征点作为顶点建立成像框,将成像框显示于标定板拍摄界面;
在该步骤中,确定当前标定板图像的有效范围,从有效范围中筛选出特征点, 所述特征点满足:当前标定板图像的正视图中顺次连接特征点所构成的形状为上 下对称、和/或左右对称的多边形;其中,多边形的边数与标定板的边数相同;
将顺次连接所述特征点的多边形框显示于所述拍摄界面,得到标定板成像框。
步骤3、将成像框与采图基准框进行比对,并根据比对结果进行标定板位姿的 调整提醒。
具体地,根据如下比对结果之一或其任意组合,进行标定板和相机之间相对 位姿的调整提醒:
所述成像框的中心点和所述采图基准框的中心点的相对位置;
所述成像框的各边与所述采集基准框对应的各边之间的平行关系、以及所述 成像框的上下边延长线的交点的横坐标与采图基准框上下边延长线的交点的横坐 标之间的偏差中的二者之一;
所述成像框与所述采集基准框之间的面积大小。
本发明实施例的标定引导方法,通过在标定板拍摄界面中显示能够表现所需 要的标定板位姿的采图基准框,并根据标定板中的特征点在标定板拍摄界面中呈 现成像框,通过在标定板界面中的成像框与采图基准框的比对来辅助标定人员实 现拍摄标定板过程中标定板理想位姿的调整,从而提高了标定板图像的拍摄质量, 进而提高了相机的标定效果。
本发明实施例适用于完整标定板图像和部分标定板图像的标定。其中,完整 标定板图像是指完整的标定板全部出现在图像视野中,部分标定板图像是指图像 视野中只有一部分标定板内容。
在一个可选实施例中,在拍摄完整标定板的图像时,根据标定板尺寸确定有 效范围,例如,将标定板图像中的特征阵列的四个顶点依次连线所限定的范围确 定为有效范围,可以将有效范围中位于阵列边缘的特征选做标定板的特征点。
在另一个可选实施例中,在拍摄不完整标定板的图像时,采用的标定板包括区 别于标定板中阵列图案的非目标特征、且至少两个既不在同一行、也不在同一列 的目标特征,较佳地,目标特征位于标定板的中心区域。以下说明在拍摄部分标 定板图像时,确定当前标定板图像的有效范围,从有效范围中筛选出特征点的过 程。
参见图1c所示,图1c为拍摄部分标定板图像时,确定当前标定板图像的有效 范围,从有效范围中筛选出特征点的一种流程示意图。
步骤101,捕获当前标定板图像,
步骤102,对图像进行预处理,提取标定板矩阵阵列中的各个特征的轮廓。其 中,特征包括目标特征和非目标特征,预处理至少包括二值化处理。
步骤103,根据标定板阵列特征的轮廓确定矩形阵列的行和列;平行于所述矩 形阵列的行和列构造可容纳标定板图像中所有特征的四边形;
若所述四边形中的某个顶点不在所述标定板图像中,则在标定板图像中与该 顶点相邻的图像边缘处,筛选出最靠近该图像边缘的最外围一行特征和最外围一 列特征,在所述最外围一行特征的外侧构造平行于所述最外围一行特征的行平行 线,在所述最外围一列圆点的外侧构造平行于所述最外围一列特征的列平行线, 将所述行平行线和所述列平行线的交点作为所述四边形中的不在所述标定板图像 中的顶点,得到一矩形;
步骤104,通过透射变换,获得标定板图像的正视图:
实施方式之一,将矩形的左上点的当前位置作为第一源点,将图像坐标系的 坐标原点作为该第一源点透射变换的第一目标点,
将矩形的右上点的当前位置作为第二源点,将与图像坐标系的坐标原点在第 一方向上具有的第一距离的点作为该第二源点透射变换的第二目标点,
将矩形的左下点的当前位置作为第三源点,将与图像坐标系的坐标原点在第 二方向上具有的第二距离的点作为该第三源点透射变换的第三目标点,
将矩形的右下点的当前位置作为第四源点,将与图像坐标系的坐标原点在第 一方向上具有的第一距离、在第二方向上具有的第二距离的点作为该第四源点透 射变换的第四目标点,
其中,第一距离为:左上点横坐标与右上点横坐标之差的平方与左上点纵坐 标与右上点纵坐标之差的平方之和的平方根;
第二距离为:左上点横坐标与左下点横坐标之差的平方与左上点纵坐标与左 下点纵坐标之差的平方之和的平方根;
将所述矩形的顶点作为源点,设定对应于所述源点的透射变换后的目标点, 将所述矩形中的标定板图像透射变换为标定板正视图。
实施方式之二,提取所述标定板图像中至少四个特征的图案轮廓,并计算各 个图案轮廓的质点;所述至少四个特征满足:顺次连接四个特征所构成的形状为 矩形;将所述质点作为源点,设定对应于所述源点的透射变换后的目标点,将所 述矩形中的标定板图像透射变换为标定板正视图。
步骤105,对标定板正视图再次进行二值化处理,
对于标定板正视图中的特征,提取所有特征的图案轮廓,并计算各个图案轮 廓的质点,得到具有质点的有效特征,并将质点的坐标确定为特征的中心坐标;
为各个所述有效特征,分别计算至少用于表征所述有效特征图案轮廓的投影 面积大小的质点参数,
步骤106,基于各个所述有效特征,根据目标特征的质点参数与非目标特征的 质点参数之间的差异,识别出目标特征;
在该步骤中,基于各个所述有效特征,计算所有特征的图案轮廓的质点参数 之和,将所有特征的图案轮廓的质点参数之和除以所累加的特征总数,得到图案 轮廓的质点参数平均值,将所述质点参数平均值作为从非目标特征筛选出目标特 征的第三阈值,将各个特征的图案轮廓的质点参数分别与所述第三阈值进行比较, 根据比较结果识别出目标特征,其中,目标特征的图案轮廓的质点参数与所述第 三阈值之间具有的差异大于非目标特征的图案轮廓的质点参数与所述第三阈值之 间具有的差异。
通过上述步骤105~106,识别所述正视图中的至少两个既不在同一行、也不在 同一列的目标特征。
步骤107,根据目标特征的图案、数量、排列三者之一或者其任意的组合,确 定所识别的目标特征的位置:
将所识别的目标特征所在位置的一定范围的区域作为标定板的中心区域;
对于识别出的各个目标特征,根据目标特征的中心坐标,分别计算各个目标 特征到图像坐标系原点的距离,将具有第三距离的目标特征作为第一目标特征, 并记录第一目标特征的坐标;其中,第三距离为所计算的距离中区别于其它距离 的特点距离,根据目标特征的分布确定;
步骤108,根据各个目标特征的中心坐标,以第一目标特征为定位点,确定第 一目标特征与其余目标特征之间、以及其余目标特征之间的位置关系。
实施方式之一,在所计算的距离中,确定与第三距离差值最小的第四距离, 将具有所述第四距离的至少一个目标特征作为第二目标特征;基于第一目标特征, 根据第一目标特征和第二目标特征的中心坐标,确定第二目标特征与第一目标特 征是否在同一行或同一列;
在所计算的距离中,确定与第三距离差值次小的第五距离,将具有所述第五 距离的至少一个目标特征作为第三目标特征,基于第一目标特征,根据第一目标 特征和第三目标特征的中心坐标,确定第三目标特征与第一目标特征是否在同一 行或同一列,如果不在,则根据第二目标特征和第三目标特征的中心坐标,确定 第三目标特征与第二目标特征是否在同一行或同一列;
依此类推,确定出第一目标特征与其余各个目标特征之间、以及其余各个目 标特征之间的位置关系。
实施方式之二,当目标特征中包括至少一个具有定位标识图案的定位目标特 征时,根据定位标识图案识别出所述定位目标特征;根据各个所识别的目标特征 的中心坐标,以定位目标特征为定位点,确定第一目标特征与其余各个目标特征 之间、以及其余各个目标特征之间的位置关系。
通过上述步骤107~108,确定所识别的目标特征的位置。
步骤109,根据目标特征之间的位置几何关系,确定行分割阈值、以及列分割 阈值:
例如,如图16中的a~d,从识别出的目标特征中,选择至少两个既不在同一 行也不在同一列的目标特征;根据所选择的目标特征的中心坐标,分别计算两个 特征之间的线段分别在图像坐标系的横轴方向的投影距离、和纵轴方向的投影距 离,将横轴方向的投影距离除以该投影距离所包含的分割阈值的数量,得到所述 行分割阈值,将纵轴方向的投影距离除以该投影距离所包含的分割阈值的数量, 得到所述列分割阈值;其中,分割阈值为位于同一行或同一列的相邻两特征质点 之间距离的二分之一,用于表示将位于同一行或同一列的相邻两特征图案以相同 间距分隔的尺度阈值。
或者,如图16中的a~d,从识别出的目标特征中,选择三个不在同一直线的 目标特征,其中,两个目标特征位于同一行或同一列;根据所选择的目标特征的 中心坐标,计算位于同一行或同一列的两个目标特征之间的距离,将该距离除以 该两个目标特征之间包含的分割阈值的数量,得到第一行分割阈值或第一列分割 阈值;选取位于同一行或同一列的两个目标特征中的任一目标特征,分别计算该 目标特征、与所述位于同一行或同一列的两个目标特征不在同一直线的目标特征 之间的线段分别在图像坐标系的横轴方向的投影距离、和纵轴方向的投影距离; 将横轴方向的投影距离除以该投影距离所包含的分割阈值的数量,得到第二行分 割阈值,将纵轴方向的投影距离除以该投影距离所包含的分割阈值的数量,得到 第二列分割阈值;求取第一行分割阈值与第二行分割阈值的平均值,求取第一列 分割阈值与第二列分割阈值的平均值,分别得到所述行分割阈值和列分割阈值;
或者,如图16中的d,从识别出的目标特征中,选择顺次连接四个目标特征 所构成的形状为矩形的四个目标特征,其中,相邻两目标特征在同一行或同一列; 选取位于同一行的任意两目标特征,根据所选择的目标特征的中心坐标,计算位 于同一行的两个目标特征之间的距离,将该距离除以该两个目标特征之间包含的 分割阈值的数量,得到行分割阈值;选取位于同一列的任意两目标特征,根据所 选择的目标特征的中心坐标,计算位于同一列的两个目标特征之间的距离,将该 距离除以该两个目标特征之间包含的分割阈值的数量,得到列分割阈值;
或者,如图7,从识别出的目标特征中,选择顺次连接四个目标特征所构成的 形状为正方形的四个目标特征,其中,不相邻的两目标特征在同一行或同一列; 且,不相邻的两目标特征之间的连线中点位于标定板的中心,选取位于同一行的 两目标特征,根据所选择的目标特征的中心坐标,计算位于同一行的两个目标特 征之间的距离,将该距离除以该两个目标特征之间包含的分割阈值的数量,得到 行分割阈值;选取位于同一列的两目标特征,根据所选择的目标特征的中心坐标, 计算位于同一列的两个目标特征之间的距离,将该距离除以该两个目标特征之间 包含的分割阈值的数量,得到行分割阈值;根据位于同一行的两个目标特征之间 的距离或者位于同一列的两个目标特征之间的距离,确定标定板的中心点。
通过上述步骤102~109,实现了根据位于标定板的中心区域的目标特征的成像信息,至少确定用于分割标定板阵列图案各行的行分割阈值、用于分割标定板阵 列图案各列的列分割阈值、以及标定板的中心区域。
步骤110,以识别出的任一目标特征的中心为基准,根据所述行分割阈值和列 分割阈值,将所述正视图分割为一个以上分割区域。
步骤110a(图中未示出),按照所述行分割阈值,将所述标定板正视图按行 分割为宽度是所述行分割阈值两倍的多个行,并使得所述目标特征的中心点位于 其所在行的中间位置:
以识别出的任一目标特征的中心为基准,向该目标特征的中心的上侧、距离 该中心1倍行分割阈值处做第一横向分割线;向该目标特征的中心的下侧、距离1 倍行分割阈值处做第二横向分割线,在第一横向分割线和第二横向分割线之间的 区域为该目标特征所在的行分割区,将该行分割区标定为存在特征的有效行分割 区;
以第一横向分割线为基准,向该第一横向分割线上侧、距离所述第一横向分 割线2倍行分割阈值处做第三横向分割线,在第三横向分割线和第一横向分割线 之间的行分割区内,判断是否有特征落入该行分割区,如果有,则将第三横向分 割线和第一横向分割线之间的行分割区标定为存在特征的有效行分割区,如果没 有,则将其标定为无效行分割区;
依次类推地做横向分割线并判断新的划分的行分割区是否为有效行分割区, 直至出现了无效行分割区,则结束;
以第二横向分割线为基准,向该第二横向分割线下侧、距离所述第二横向分 割线2倍行分割阈值处做第四横向分割线,在第四横向分割线和第二横向分割线 之间的行分割区内,判断是否有特征落入该行分割区,如果有,则将第二横向分 割线和第四横向分割线之间的行分割区标定为存在特征的有效行分割区,如果没 有,则将其标定为无效行分割区;
依次类推地做横向分割线并判断新的划分的行分割区是否为有效行分割区, 直至出现了无效行分割区,则结束;
其中,判断是否有特征落入行分割区包括,将特征的纵坐标与行分割区的上 下两条横向分割线的纵坐标进行比较,如果有特征的纵坐标落入行分割区的上下 两条横向分割线之间,则判定有圆点落入行分割区,否则,判定没有圆点落入行 分割区。
步骤110b(图中未示出),按照所述列分割阈值,将所述标定板正视图按列 分割为宽度是所述列分割阈值两倍的多个列,并使得所述目标特征的中心点位于 其所在列的中间位置;
以识别出的任一目标特征的中心为基准,向该目标特征的中心的左侧、距离 该中心1倍列分割阈值处做第一纵向分割线;向该目标特征的中心的右侧、距离1 倍列分割阈值处做第二纵向分割线,在第一纵向分割线和第二纵向分割线之间的 区域为该目标特征所在的列分割区,将该列分割区标定为存在特征的有效列分割 区;
以第一纵向分割线为基准,向该第一纵向分割线左侧、距离所述第一纵向分 割线2倍列分割阈值处做第三纵向分割线,在第三纵向分割线和第一纵向分割线 之间的列分割区内,判断是否有特征落入该列分割区,如果有,则将第三纵向分 割线和第一纵向分割线之间的列分割区标定为存在特征的有效列分割区,如果没 有,则将其标定为无效列分割区;
依次类推地做纵向分割线并判断新的划分的列分割区是否为有效列分割区, 直至出现了无效列分割区,则结束;
以第二纵向分割线为基准,向该第二纵向分割线右侧、距离所述第二横向分 割线2倍列分割阈值处做第四纵向分割线,在第四纵向分割线和第二纵向分割线 之间的列分割区内,判断是否有特征落入该列分割区,如果有,则将第二纵向分 割线和第四纵向分割线之间的列分割区标定为存在特征的有效列分割区,如果没 有,则将其标定为无效列分割区;
依次类推地做纵向分割线并判断新的划分的列分割区是否为有效列分割区, 直至出现了无效列分割区,则结束;
其中,判断是否有特征落入列分割区包括,将特征的横坐标与列分割区的左 右两条横向分割线的横坐标进行比较,如果有特征的横坐标落入列分割区的上下 两条纵向分割线之间,则判定有圆点落入列分割区,否则,判定没有圆点落入列 分割区。
上述步骤110a、110b无先后次序。
步骤110c(图中未示出),通过所述行分割和所述列分割,将所述标定板正 视图分割为多个分割区域。
通过步骤110,实现了利用所述行分割阈值和列分割阈值,对标定板图像中的 特征进行分割,得到一个以上分割区域。
步骤111,根据各个分割区域是否包含有特征的质点确定出有效范围:
对于任一分割区域,判断该分割区域是否包含有特征的质点,如果是,则判定该分割区域的特征为有效特征,将有效特征所在分割区域作为有效范围之一,否则,判 定为无效范围;
根据各个有效特征所在分割区域,确定出有效范围。
换言之,对于任一特征,当其所在行分割区域和列分割区域都为有效分割区 域,则判定该特征所在分割区域为有效范围。
通过步骤111,实现了基于每个分割区域中的特征,确定有效范围。
上述步骤101~111,实现了根据标定板图像中的目标特征信息,确定出标定板 图像的有效范围。
步骤112,从标定板中心区域的有效范围中,获取特征点。
在该步骤中,在有效范围中,选取出特征,通过透射变换的逆变换,将选取 的特征逆变换到标定板图像中的坐标点,将所述坐标点作为所述特征点。
为便于理解,以下以圆点阵列的标定板来举例说明,其中,非目标特征为阵 列圆点图案,目标特征为大小区别于阵列图案的圆点。
如图2所示,在拍摄部分标定板图像过程中,所述的在所拍摄的标定板图像 中筛选出区别于非目标特征的目标特征,包括:
步骤a1、对标定板图像进行二值化处理,提取标定板的圆点矩阵中的各个圆 点的轮廓;
步骤a2、根据标定板的圆点矩阵中的各个圆点的轮廓确定透射变换的源点和 目标点,并将标定板图像透射变换为标定板正视图;
步骤a3、对标定板正视图进行二值化处理,并获得标定板正视图中的各个圆 点的半径和各个圆点的中心坐标;
步骤a4、在标定板正视图中,通过对各个圆点的半径的比较,筛选出半径大 于其他圆点的五个大圆点作为目标特征,并将其他圆点作为非目标特征。
在可选实施例中,步骤a2进一步包括:
根据标定板的圆点矩阵中的各个圆点的轮廓确定圆点矩阵的行和列;
平行于圆点矩阵的行和列构造可容纳标定板图像中所有圆点的四边形;
若四边形中的某个顶点不在标定板图像中,则在标定板图像中与该顶点相邻 的图像边缘处,筛选出最靠近该图像边缘的最外围一行圆点和最外围一列圆点, 在最外围一行圆点的外侧构造平行于最外围一行圆点的行平行线,在最外围一列 圆点的外侧构造平行于最外围一列圆点的列平行线,将行平行线和列平行线的交 点作为四边形中的不在标定板图像中的顶点;
将四边形的顶点作为源点,设定对应于源点的透射变换后的目标点,将四边 形中的标定板图像透射变换为标定板正视图。
在随后的说明中,将对上述关于四边形的选取进行详细补充说明。其中的透 射变换过程可采用已有技术实现,本发明实施例中不再进一步说明。
在可选实施例中,步骤a3中的获得标定板正视图中的各个圆点的半径和各个 圆点的中心坐标,包括:
对于标定板正视图中的完整圆点,利用最小包围矩形将每个圆点的轮廓包围, 并且最小包围矩形的每条边均与所包围的圆点相切;
对于标定板正视图中的不完整圆点,利用最小包围矩形将每个不完整圆点的 轮廓包围,并且最小包围矩形中的两条对边均与所包围的不完整圆点相切,若最 小包围矩形中的两条对边无法与所包围的不完整圆点相切,则舍弃该不完整圆点;
将最小包围矩形的两条对边中切点之间的距离的一半确定为该最小包围矩形 所包围的完整圆点或者不完整圆点的半径;
将最小包围矩形的两条对边中切点之间的中点位置坐标确定为该最小包围矩 形所包围的透射变换后的完整圆点或者不完整圆点的中心坐标。
在随后的说明中,将对上述关于最小包围矩形的方法进行详细补充说明。
在可选实施例中,步骤a4中的在标定板正视图中,通过对各个圆点的半径的 比较,筛选出半径大于其他圆点的五个大圆点作为目标特征,被包括在标定板正 视图中:
将所确定的所有完整圆点和不完整圆点的半径之和与所有完整圆点和不完整 圆点的总数相除,得到半径筛选阈值;
将所有完整圆点和不完整圆点与半径筛选阈值比较,以筛选出五个半径大于 半径筛选阈值的圆点作为待选圆点;
将待选圆点中距离标定板正视图的坐标原点位置最近的待选圆点确定为第二 目标特征,并记录第二目标特征的中心坐标;
在待选圆点中距离标定板正视图的坐标原点位置次近的两个待选圆点中,将 位于第二目标特征下方的待选圆点确定为第一目标特征,将另一个待选圆点确定 为第三目标特征,并记录第一目标特征的中心坐标和第三目标特征的中心坐标;
在待选圆点中距离标定板正视图的坐标原点位置最远的两个待选圆点中,将 距离第一目标特征最近的待选圆点确定为第四目标特征,将另一个待选圆点确定 为第五目标特征,并记录第四目标特征的中心坐标和第五目标特征的中心坐标。
在随后的说明中,将结合附图对上述关于筛选五个大圆点的过程进行详细补 充说明。
在可选实施例中,如图3所示,在拍摄部分标定板图像时,根据目标特征确 定特征点,包括:
步骤b1、在标定板正视图中,将第三目标特征的中心点和第四目标特征的中 心点的纵坐标之差的四分之一作为行分割阈值;
步骤b2、在标定板正视图中,将第一目标特征的中心点和第五目标特征的中 心点的横坐标之差的四分之一作为列分割阈值;
步骤b3、从第三目标特征的中心点或者第四目标特征的中心点开始,按照行 分割阈值,将标定板正视图行分割为宽度是行分割阈值两倍的多个行,并使得第 三目标特征的中心点和第四目标特征的中心点分别位于其所在行的中间位置;
步骤b4、从第一目标特征的中心点或者第五目标特征的中心点开始,按照列 分割阈值,将标定板正视图列分割为宽度是列分割阈值两倍的多个列,并使得第 一目标特征的中心点和第五目标特征的中心点分别位于其所在列的中间位置;
步骤b5、通过行分割和列分割,将标定板正视图分割为多个大小相同的分割 区域,这样,每个分割区域的中心具有一圆点,且圆点的中心位于分割区域的中 心;
步骤b6、通过透射变换的逆变换,将第二目标特征的中心坐标、中心落入与 第三目标特征相邻的右侧分割区域中的圆点的中心坐标、中心落入与第四目标特 征相邻的右侧分割区域中的圆点的中心坐标、中心落入与第一目标特征相邻的下 侧分割区域中的圆点的中心坐标,逆变换到所拍摄的部分标定板图像中的坐标点 作为特征点。
在随后的说明中,将对上述关于确定特征点的过程进行详细补充说明。
在可选实施例中,步骤3的将成像框与采图基准框进行比对,并根据比对结 果进行标定板位姿的调整提醒,包括:
将采图基准框的对角线的交点作为采图基准框的中心点;
将成像框的对角线的交点作为成像框的中心点;
通过判断成像框的中心点和采图基准框的中心点的相对位置,提醒对标定板 相对于拍摄镜头的左右移动;
在成像框的中心点和采图基准框的中心点的相对位置小于所设定的距离阈值时,通过判断成像框的四个边与采集基准框的四个边之间的平行关系,提醒对标 定板的偏转;
在成像框的中心点和采图基准框的中心点的相对位置小于所设定的距离阈值,并且成像框的四个边与采集基准框的四个边之间的平行关系满足设定要求时,通 过判断成像框与采集基准框之间的面积大小,提醒对标定板相对于拍摄镜头的前 后移动(标定板与相机的相对距离)。
在随后的说明中,将对关于如何进行成像框与采图基准框的比对进行举例说 明。
进一步地,当成像框的中心点和采图基准框的中心点的相对位置小于所设定 的距离阈值,成像框的四个边与采集基准框的四个边之间的平行关系满足设定要 求,并且成像框的面积位于所设定的面积阈值范围内时,保存当前标定板图像。 此时所保存的标定板图像即可用于随后的标定工作。
在可选实施例中,成像框所对应的标定板中的目标特征位于标定板的中部。 即以标定板为圆点阵列并且目标特征为大圆、非目标特征为小圆为例,标定板的 中部即为标定板的中心区域,在大圆位于中心区域的条件下,只要标定板的中心 区域出现在标定板拍摄界面,即可根据大圆实现成像框的显示。将目标特征即大 圆分布在标定板的中心区域,能够达到在标定板拍摄界面中增大标定板成像的实 际活动范围的效果,从而能够通过设置采图基准框的显示位置来引导,使得标定 板分别成像于拍摄界面的每一个区域,进而提高随后的相机标定效果。
本发明中,高拍摄质量的标定板图像的一个主要方面是指,所拍摄的所有的 标定板图像中,标定板图像中的任何一个区域至少能够在一张标定板图像中被标 定板所覆盖。
在上述实施例的基础上,在可选实施例中,标定引导方法还进一步包括:
将标定板拍摄界面划分为多个显示区域;
将采图基准框先后分别显示于每个显示区域中,以便标定人员分别在每个显 示区域及其相邻区域拍摄标定板图像。
通过多个显示区域的划分并将采图基准框先后分别显示于每个显示区域,能 够引导标定人员将标定板成像于标定板拍摄界面中的每一个位置上,从而保证随 后所拍摄的所有的标定板图像中,标定板图像中的任何一个区域至少能够在一张 标定板图像中被标定板所覆盖。
以下结合一个圆点阵列标定板实施例,对上述标定引导方法进行进一步说明。
如图4所示,为本发明一个具体实施例中使用的标定板。图4所示实施例采 用7×11圆点阵列,选用五个大圆点作为目标特征并以一定的顺序分布在标定板 的中心区域,其他小圆点为非目标特征。在其他实施例中,目标特征还可以用三 角形、正方形或者其他任意定义的有别于标定板主体图案(其他小圆点)的标记 代替。
五个大圆点的排列方式,使其能够提供除形状特征以外的信息,比如行分割 阈值、列分割阈值和标定板中心坐标等信息。
图5示出了本发明实施例中采用圆点阵列标定板进行标定引导的流程,如图5 所示,该引导流程主要包括以下步骤。
步骤c1、根据预设的圆点阵列标定板的位姿建立采图基准框,并将采图基准 框显示于标定板拍摄界面。
图6、图7分别示出了标定板拍摄界面中显示采图基准框的不同实施例示意图。 图6所示中,采图基准框基本位于标定板拍摄界面的中部,图7所示中,采图基 准框基本位于标定板拍摄界面的左上部。分别采用图6和图7所示的采图基准框 的位置后,将会通过采图基准框的引导,使得标定板在拍摄界面的成像能够分别 位于标定板图案的中部区域和左上部区域,进一步推广而言,将采图基准框的位 置分别设置于标定板拍摄界面的其他不同部位,进而利用所拍摄的多幅标定板图 像能够实现对相机的标定。这样,通过采图基准框在拍摄界面中的位置,能够表 征标定板的期望成像位置。
为了便于表征相机与标定板之间的位姿,采图基准框具有在标定板与相机之 间相对偏转角度为0时(标定板与相机之间呈正投影关系)与标定板形状相似的 第一形状,在标定板与相机之间相对偏转角度不为0时(标定板与相机之间呈非 正投影关系)具有基于所述第一形状偏转的视图形状;鉴于标定板通常为矩形, 为了能够表征出标定板图像的期望采集距离、和期望标定板偏转角度,较佳地, 采图基准框采用矩形或者梯形框,其中,采图基准框的大小能够表征出采集距离 标定板与相机之间相对期望距离,采图基准框的形状表征出标定板与相机之间相 对期望偏转角度,当采图基准框为矩形,则表征标定板与相机之间相对期望偏转 角度为0,当采图基准框为梯形框,则表征标定板与相机之间相对期望偏转角度不 为0。
图6和图7所示中的采图基准框的形状的一种示意。根据预设的圆点阵列标 定板的位姿,采图基准框的形状也会不同。例如,在本发明实施例中,图6和图7 所示中的采图基准框的左侧边线短于右侧边线,这表示期望标定板的左侧相对于 相机的距离大于标定板右侧相对于相机的距离,直观的一种操作是:将圆点阵列 标定板摆放为左侧相对于右侧而言更远离拍摄镜头的位置;又如采图基准框的右 侧边线短于左侧边线,就表示期望标定板的左侧相对于相机的距离小于标定板右 侧相对于相机的距离,直观的一种操作是:将圆点阵列标定板摆放为右侧相对于 左侧而言更远离拍摄镜头的位置;又如采图基准框的四个边线均不与标定板拍摄 界面的边框平行,这表明需要将圆点阵列标定板进行相应的扭转来匹配采图基准 框。可见,采图基准框的作用是指导标定人员对圆点阵列标定板进行所期望的标 定板与相机之间相对位姿的调整。
另外,通过比较标定板采图基准框上下边界延长线的交点与该采图基准框中 心点之间的位置,也可以确定标定板与相机之间期望偏转方向和偏转的程度。以 图15给出的采图基准框为例,此时采图基准框上下边界延长线的交点位于采图基 准框中心的左侧,对应于图像坐标系中,该交点的横坐标小于采图基准框中心点 的横坐标,且,两者差异越小,则说明标定板与相机之间期望偏转的角度越大。
基于此,当采图基准框上下边界延长线的交点的横坐标小于采图基准框中心 点的横坐标,则判定为标定板与相机之间期望相对左偏转;当采图基准框上下边 界延长线的交点的横坐标大于采图基准框中心点的横坐标,则判定为标定板与相 机之间期望相对右偏转;当采图基准框上下边界延长线的交点的横坐标等于采图 基准框中心点的横坐标,判定为标定板与相机之间期望相对无偏转。
为了控制期望偏转的角度,可以设置用于控制期望左偏角度的第一期望值, 该第一期望值为采图基准框中心点的横坐标与交点的横坐标之差,以及设置用于 控制期望右偏角度的第二期望值,该第二期望值为交点的横坐标与采图基准框中 心点的横坐标之差。
为了控制偏转的角度,可以设置用于控制左偏角度的第一值,该第一值为成 像框中心点的横坐标与交点的横坐标之差,以及设置用于控制右偏角度的第二值, 该第二值为交点的横坐标与成像框中心点的横坐标之差。在与采图基准框进行比 对时,通过判断成像框上下边界延长线的交点的横坐标与采图基准框上下边界延 长线的交点的横坐标的偏差是否在一定的阈值范围,来提醒对所述标定板的偏转。 如果成像框的当前第一值与采图基准框的当前第一期望值之间的偏差在预设的第 一阈值内,则提醒标定板与相机之间相对左偏转;如果成像框的当前第二值与采 图基准框的当前第二期望值之间的偏差在预设的第二阈值内,则提醒标定板与相 机之间相对右偏转。
若要获得较好的标定效果,需要对圆点阵列标定板与相机之间相对位姿进行 多次调整,但是对于经验少或者没有经验的标定人员而言,难以确定多个圆点阵 列标定板与相机之间相对理想位姿以定位圆点阵列标定板在标定板图像中的位置。 本发明实施例中,就是根据预设的圆点阵列标定板的位姿来建立采图基准框,并 将采图基准框显示于标定板拍摄界面,利用采图基准框来指引标定人员调整标定 板与相机之间相对位姿,实现圆点阵列标定板与相机之间相对理想位姿的摆放。
可将标定板拍摄界面划分为多个显示区域,将采图基准框分别置于多个显示 区域中来指导标定人员将圆点阵列标定板分别进行调整以使得标定板分别成像于 拍摄界面的多个显示区域中。如图8所示实施例中是将标定板拍摄界面划分为九 宫格形式的九个区域,在其他实施例中,还可将标定板拍摄界面划分四宫格形式 的四个区域或者十六宫格形式的十六个区域,或者仅将标定板拍摄界面划分为左 右两个区域,或者不对标定板拍摄界面进行区域划分。这些划分形式可以依据标 定的需求进行选择。
步骤c2、在拍摄标定板图像时,从标定板拍摄界面中的标定板图像中筛选出 特征点,并由所筛选出的特征点作为顶点建立成像框,将成像框显示于标定板拍 摄界面。
步骤c2中涉及到从标定板拍摄界面中的标定板图像中筛选出特征点的过程。 以下分别以拍摄完整标定板图像和拍摄部分标定板图像进行说明。
在可选实施例中,对于拍摄完整标定板图像,可采用本领域的现有技术,从 标定板图像中定位出标定板中筛选出圆点阵列的四个角部的圆点,该四个角部的 圆点即为圆点阵列的四个顶点,之后,将该圆点阵列的四个顶点直接确定为标定 板的特征点。之后,再将该四个顶点作为顶点建立成像框,将成像框显示于标定 板拍摄界面。在进行标定板图像的采集过程中,成像框的形状将随着标定板位姿 的变化而在标定板拍摄界面中变化。
对于拍摄部分标定板图像而言,由于标定板中圆点矩阵的一部分将在标定板 拍摄界面以外,所以无法采用上述拍摄完整标定板图像时所采用的本领域的现有 技术来提取圆点阵列的四个角部的圆点。因此,本发明实施例中采用了如下方案 实现特征点的提取。
首先,如图4所示,本发明实施例采用一种新的圆点阵列标定板,将五个大 圆点以一定的顺序分布在标定板的中心区域。利用该五个大圆的位置来确定特征 点的位置。需要说明的是,对于拍摄部分标定板图像而言,当五个大圆位于标定 板拍摄界面中,则表明标定板的中心区域在相机的视野中,并且,通过五个大圆 的识别,就能够识别出是标准板图像而不是其他图像,此时的图像也可以作为有 效的标定图像。如果五个大圆位于标定板拍摄界面以外,则表明标定板的中心区 域在相机的视野之外,这样的标定板图像不能用于随后的相机标定。这样,相比 于传统方法要求标定板完整地全部地出现在相机视野内,大大降低了采集标定图 像的难度。为了使得标定板通过移动能够成像于全部标定板拍摄界面,五个大圆 设置于圆点阵列的中心区域。另外,五个大圆点的排列方式,还能够提供除形状特征以外比如行分割阈值、列分割阈值和标定板中心坐标等信息。
其次,在步骤c2中,请参照图9所示,采用如下步骤流程实现特征点的筛选。
步骤d1、对标定板图像进行二值化处理,提取标定板的圆点矩阵中的各个圆 点的轮廓。
步骤d1的二值化处理和各个圆点轮廓的提取可采用现有技术实现,此处不再 赘述。
步骤d2、根据标定板的圆点矩阵中的各个圆点的轮廓确定透射变换的源点和目标点,并将标定板图像透射变换为标定板正视图。
实施方式之一,对所述标定板图像进行二值化处理,提取所述标定板图像中至少四个特征的图案轮廓,并计算各个图案轮廓的质点;所述至少四个特征满足:顺次连 接四个特征所构成的形状为矩形;
将所述质点作为源点,设定对应于所述源点的透射变换后的目标点,将所述矩形中的标定板图像透射变换为标定板正视图。
实施方式之二,在步骤d2中,源点和目标点通过以下方法获得:
根据步骤d1所提取的标定板的圆点矩阵中的各个圆点的轮廓确定圆点矩阵的行和列;
平行于圆点矩阵的行和列构造可容纳标定板图像中所有圆点的四边形;
若四边形中的某个顶点不在标定板图像中,则在标定板图像中与该顶点相邻的图像边缘处,筛选出最靠近该图像边缘的最外围一行圆点和最外围一列圆点,在最外围 一行圆点的外侧构造平行于最外围一行圆点的行平行线,在所述最外围一列圆点的外 侧构造平行于最外围一列圆点的列平行线,将该行平行线和该列平行线的交点作为四 边形中的不在标定板图像中的顶点。
如图10所示为一个部分标定板图像的示例示意图。该图中,标定板位于标定板图像的下中部,对于该标定板图像,平行于其中的圆点矩阵的行和列构造可容纳标定板 图像中所有圆点的四边形,如图10中方框所示。其中,方框的左下点不在标定板图像 中,该点可通过如下方法确定。
筛选出最靠近该图像边缘的最外围一行圆点和最外围一列圆点,该最外围一行圆点即为图10中右下点向标定板图像下边缘延伸的最下侧一行圆点,该最外围一列圆点 即为图10中左上点向标定板图像下边缘延伸的最左侧一列圆点。在图10中右下点向 标定板图像下边缘延伸的最下侧一行圆点的外侧构造平行于该行圆点的行平行线,在 图10中左上点向标定板图像下边缘延伸的最左侧一列圆点的外侧构造平行于该列圆 点的列平行线,将该行平行线和该列平行线的交点作为方框的左下点。
需要进一步说明的是,图10中,右下点向标定板图像下边缘延伸的最下侧一行圆点中,在标定板图像中出现了两个点,依据两点成线的定理可以画出平行于该行的平 行线,即从右下点到左下点的线。但是如果右下点向标定板图像下边缘延伸的最下侧 一行圆点中,在标定板图像中仅出现了一个点,则无法依据两点成线的定理可以画出 平行于该行圆点的平行线,此时舍弃该一个点,并选择距离下边缘最近的并且出现多 于一个点的另一行圆点,并依据两点成线的定理可以画出平行于该另一行圆点的平行 线。
如图11所示为另一个部分标定板图像的示例示意图。该图中,标定板位于标定板图像的左下部,对于该标定板图像,平行于其中的圆点矩阵的行和列构造可容纳标定 板图像中所有圆点的四边形,如图11中方框所示。其中,方框的左上点和左下点均不 在标定板图像中,该两个点可通过如下方法确定。
对于标定板图像的左边缘,筛选出最靠近该图像左边缘的最外围一行圆点和最外围一列圆点,该最外围一行圆点即为图11中右上点向标定板图像左边缘延伸的最上侧 一行圆点,该最外围一列圆点即为图11中白色一列圆点(图11中该白色圆点仅用于 说明区分其他列圆点,不代表圆点本身为白色)。在图11中右上点向标定板图像左边 缘延伸的最上侧一行圆点的外侧构造平行于该行圆点的行平行线,在图11中白色一列 圆点的外侧构造平行于该列圆点的列平行线,将该行平行线和该列平行线的交点作为 方框的左上点。
对于标定板图像的下边缘,筛选出最靠近该图像下边缘的最外围一行圆点和最外围一列圆点,该最外围一行圆点即为图11中右下点向标定板图像下边缘延伸的最下侧 一行圆点,该最外围一列圆点即为图11中白色一列圆点。在图11中右下点向标定板 图像下边缘延伸的最下侧一行圆点的外侧构造平行于该行圆点的行平行线,在图11 中白色一列圆点的外侧构造平行于该列圆点的列平行线,将该行平行线和该列平行线 的交点作为方框的左下点。
通过上述方法确定出四边形后,在步骤d2中,将四边形的顶点作为源点,设定对应于源点的经过透射变换后的目标点,便可将四边形中的标定板图像透射变换为标定 板正视图。
在一个可选实施例中,图12示出了一个可选实施例的标定板正视图。结合图10 和图12所示。
首先,对于四边形的左上点,将其当前位置作为其投射变换的源点,将标定板正视图的坐标原点(即标定板正视图的左上角点)作为其透射变换的目标点,即四边形 的左上点的目标点坐标为(0,0);
对于四边形的右上点,将其当前位置作为其投射变换的源点,将四边形的左上点和右上点的距离(例如a)设定为透射变换目标区域的宽度,以透射变换目标区域的 宽度为约束,将四边形的右上点的目标点设置在标定板正视图的x轴上,即四边形的 右上点的目标点坐标为(a,0);
对于四边形的左下点,将其当前位置作为其投射变换的源点,将四边形的左上点和左下点的距离(例如b)设定为透射变换目标区域的高度,以透射变换目标区域的 高度为约束,将四边形的左下点的目标点设置在标定板正视图的y轴上,即四边形的 左下点的目标点坐标为(0,b);
对于四边形的右下点,将其当前位置作为其投射变换的源点,以透射变换目标区域的高度和宽度为约束,将四边形的右下点的目标点设置在标定板正视图中与右上点 横坐标相同并且与左下点纵坐标相同的点上,即四边形的右下点的目标点坐标为(a,b)。
关于宽度a和高度b可从以下公式中获得
Figure BDA0002341159630000201
Figure BDA0002341159630000202
其中,lefttop.x为标定板图像中的左上点横坐标,righttop.x为标定板图像中的右上 点横坐标,lefttop.y为标定板图像中的左上点纵坐标,righttop.y为标定板图像中的右上 点纵坐标,leftdown.x为标定板图像中的左下点横坐标,leftdown.y为标定板图像中的 左下点纵坐标。
确定出四边形的四个顶点的源点和目标点后,即可将四边形中的标定板图像透射变换为标定板正视图。关于将标定板图像透射变换为标定板正视图的具体过程和算法, 可采用现有技术实现,此处不再赘述。
步骤d3、对标定板正视图进行二值化处理,并获得标定板正视图中的各个圆点的半径和各个圆点的中心坐标,以提取到位于图像边缘的圆弧轮廓,提高图像边缘的覆 盖率。
在可选实施例中,步骤d3中,采用最小包围矩形方法获取各个圆点的半径和中心坐标,该方法是将圆点由最小包围矩形包围,最小包围矩形的至少两个对边与所包围 的圆点相切,这样,无论对于完整圆点还是不完整圆点而言都能够通过两条与所包围 圆点相切的对边的距离获得圆点的半径,并从两个切点的位置获得圆点的中心坐标。 对于不完整圆点而言,相比于现有质心法,这种最小包围矩形的方法所获得的圆点的 中心坐标更为准确。
图13示出了最小包围矩形的示意图。图13实施例中,最小包围矩形包围了一个 不完整圆点。该圆点通常位于标定板图像的边缘,经过透射变换至标定板正视图后导 致了圆点不完整,成为不完整圆点。如图13所示,该不完整圆点在边缘d处被截断, 但是其中心(圆心)并未落入标定板正视图的边缘外,而如果最小包围矩形中的两条 对边无法与所包围的不完整圆点相切,例如边a、c无法与不完整圆点相切,则表明不 完整圆点的中心(圆心)落入了标定板正视图的边缘外侧,因此不能确定该不完整圆 点的中心,所以要舍弃该不完整圆点。针对图13中该不完整圆点画出的最小包围矩形 中,边a、b、c均与该不完整圆点相切,b的对边位于边缘d上,对边a、c为该最小 包围矩形的两条短边,边a、c与该不完整圆点的切点A、C之间的距离便是该不完整 圆点的直径,因此将边a、c与该不完整圆点的切点A、C之间的距离的一半确定为该 最小包围矩形所包围的不完整圆点的半径,将边a、c与该不完整圆点的切点之间的中 点的位置坐标确定为该不完整圆点的中心点(圆心)O坐标。图13中还示出了采用质 心法获得的该不完整圆点的圆心O’,由于圆点的部分图案缺失的原因,导致了质心法 获得的圆心O’将偏离真实的不完整圆点的圆心,而采用本发明实施例中的最小包围矩 形的方法所获得的圆心O为真实的不完整圆点的圆心,可见采用本发明实施例中的最小包围矩形的方法将提高定位标定板中圆点中心位置的准确度,从而能够提高行分割 阈值、列分割阈值、标定板中心坐标的准确度,这样,对本发明中所建立的成像框的 准确性具有极高帮助,并且,由于以最小包围矩形的方法从图像中提取到的圆形质点 能更准确地与对应的世界坐标系下的物理圆点相匹配,这有利于提高相机标定的准确 性。
步骤d4、在标定板正视图中,通过对各个圆点的半径的比较,筛选出半径大于其他圆点的五个大圆点作为目标特征,并将其他圆点作为非目标特征。
在可选实施例中,通过如下方法筛选出五个大圆点。
在标定板正视图中,将所确定的所有完整圆点和不完整圆点的半径相加,得到半径之和,之后将该半径之和与所有完整圆点和不完整圆点的总数相除,将得到的所有 完整圆点和不完整圆点的平均半径作为半径筛选阈值。将所有完整圆点和不完整圆点 的半径与半径筛选阈值进行比较,将五个半径大于半径筛选阈值的圆点作为待选圆点, 由于误差的存在,可能会出现半径大于半径筛选阈值的圆点数量多于五个的情况,此 时,将半径最大的五个圆点作为待选圆点。
得到五个待选圆点后,计算五个待选圆点的中心与标定板正视图的坐标原点(位于图像左上角,坐标为(0,0))之间的距离,将距离标定板正视图的原点位置最近的待 选圆点确定为第二目标特征,并将第二目标特征的大圆点的中心坐标进行记录。
在待选圆点中距离标定板正视图的坐标原点位置次近的两个待选圆点中,将位于第二目标特征下方的待选圆点确定为第一目标特征,将另一个待选圆点(位于第二目 标特征右方的待选圆点)确定为第三目标特征,并将第一目标特征的大圆点的中心坐 标和第三目标特征的大圆点的中心坐标进行记录。
在待选圆点中距离标定板正视图的原点位置最远的两个待选圆点中,将距离第一目标特征最近的待选圆点(第一目标特征右下方的待选圆点)确定为第四目标特征, 将另一个待选圆点(第三目标特征右下方的待选圆点)确定为第五目标特征,并将第 四目标特征的大圆点的中心坐标和第五目标特征的大圆点的中心坐标进行记录。
步骤d5、根据目标特征确定特征点。
为了与采图基准框、标定板形状匹配以便于直观引导操作,由特征点所构成的成像框的形状与采图基准框、标定板形状相近,且构成的形状为上下对称、和/或左右对 称的多边形,例如,采图基准框为四边形,则成像框也为四边形,根据目标特征确定 特征点的数量为4,以建立由4条边构成的成像框。
如图14所示,在经过上述步骤d4确定了第二目标特征(图中标号2大圆)、第一 目标特征(图中标号1的大圆)、第三目标特征(图中标号3的大圆)、第四目标特征 (图中标号4的大圆)和第五目标特征(图中标号5的大圆)之后,需要确定特征点 的位置,即将哪几个圆点作为特征点。在本发明实施例中,是将第二目标特征的大圆、 第三目标特征右侧相邻(第五目标特征上侧相邻)的小圆、第一目标特征下侧相邻(第 四目标特征左侧相邻)的小圆、和第四目标特征右侧相邻(第五目标特征下侧相邻) 的小圆确定为四个目标特征点。因此,在确定出第二目标特征(四个目标特征点之一) 之后,还需要进一步确定出另外三个目标特征点。
在计算机处理技术中,可以通过多种手段来确认除了上述四个目标特征点之一的第二目标特征的大圆以外的三个目标特征点。在本发明实施例中,采用如下方法确定 另外三个目标特征点。
在所述标定板正视图中:
从图中的几何关系可得,将第三目标特征的中心点和第四目标特征的中心点的纵坐标之差的四分之一作为行分割阈值,即:将纵坐标之差除以第三目标特征的中心点 和第四目标特征的中心点之间所包含的分割阈值的数量,
rowthre=(pos3.y-pos4.y)/4
其中,rowthre为距离圆点中心的行分割阈值,pos3.y为第三目标特征的中心点纵坐标,pos4.y为第四目标特征的中心点纵坐标,4可理解为所包含的分割阈值的数量;
从图中的几何关系可得,将第一目标特征的中心点和第五目标特征的中心点的横坐标之差的四分之一作为列分割阈值,即:将横坐标之差除以第一目标特征的中心点 和第五目标特征的中心点之间所包含的分割阈值的数量,
colthre=(pos1.x-pos5.x)/4
其中,colthre为距离圆点中心的列分割阈值,pos1.x为第一目标特征的中心点横坐标,pos5.x为第五目标特征的中心点横坐标,4可理解为所包含的分割阈值的数量;
从第三目标特征的中心点或者第四目标特征的中心点开始,按照行分割阈值将标定板正视图行分割为宽度为行分割阈值两倍的多个行,并使得第三目标特征的中心点 和第四目标特征的中心点分别位于其所在行的中间位置,如图14中由横虚线所分割的 多个行所示;
从第一目标特征的中心点或者第五目标特征的中心点开始,按照列分割阈值将标定板正视图列分割为宽度为列分割阈值两倍的多个列,并使得第一目标特征的中心点 和第五目标特征的中心点分别位于其所在列的中间位置,如图14中由竖虚线所分割的 多个列所示;
通过行分割和列分割,将标定板正视图分割为多个分割区域,如图14中所示的横虚线和竖虚线交叉形成的多个大小相同的分割区域;
将中心落入与第三目标特征相邻的右侧分割区域(与第五目标特征相邻的上侧分割区域)中的圆点、中心落入与第四目标特征相邻的右侧分割区域(与第五目标特征 相邻的下侧分割区域)中的圆点、中心落入与第一目标特征相邻的下侧分割区域(与 第四目标特征相邻的左侧分割区域)中的圆点确定为另外三个目标特征点,记录这三 个目标特征点的中心坐标。
之后,通过上述透射变换的逆变换,将这三个目标特征点的中心坐标和第二目标特征的大圆的中心坐标从标定板正视图的坐标逆变回所拍摄的部分标定板图像中的坐标,将逆变回所拍摄的部分标定板图像中的这四个坐标作为特征点坐标。
至此,便完成了特征点的确定。
之后,并由所筛选出的特征点作为顶点顺次连接(将四个特征点在所拍摄的 部分标定板图像中的坐标进行连接)以建立成像框,将成像框显示于标定板拍摄 界面。步骤c3、将成像框与采图基准框进行比对,并根据比对结果进行标定板与 相机之间相对位姿的调整提醒。
在可选实施例中,成像框与采图基准框之间的比对包括了平移位置的比对、 偏转的比对和距离远近的比对。
具体地,图15示出了标定板拍摄界面中采图基准框和成像框之间进行比对的 示意图。在可选实施例中,平移位置的比对是通过如下方式实现的:
将采图基准框的对角线的交点作为采图基准框的中心点(如图15中采图基准 框区域中的圆点),将成像框的对角线的交点作为成像框的中心点(如图15中成 像框区域中的圆点),通过判断成像框的中心点和采图基准框的中心点的相对位 置,提醒对所述标定板相对于拍摄镜头的左右移动,具体地,如果成像框的中心 点位于采图基准框的中心点的左侧,则提醒标定人员将标定板向右移动,如果成 像框的中心点位于采图基准框的中心点的右侧,则提醒标定人员将标定板向左移 动,如果成像框的中心点位于采图基准框的中心点的上侧,则提醒标定人员将标 定板向下移动,如果成像框的中心点位于采图基准框的中心点的下侧,则提醒标 定人员将标定板向上移动等等。
关于如何发出提醒,可通过例如在标定板拍摄界面进行信息显示的方式进行 提醒,或者可通过语音方式进行提醒等。
因为在实际操作时,很难将成像框与采图基准框进行严格的对齐,所以为了 降低对准难度,需要建立一定的容错空间。
在可选实施例中,对于上述的成像框的中心点和采图基准框的中心点的相对 位置的比对,容错空间由所设定的距离阈值体现。在成像框的中心点和采图基准 框的中心点的相对位置小于所设定的距离阈值时,则确定成像框和采图基准框之 间的平移位置已经对准。
之后,通过如下方式实现偏转的比对:
通过判断成像框的四个边与采集基准框的四个边之间的平行关系,提醒对所 述标定板的偏转。
具体地,参考图15所示,假设成像框的两条竖边与采集基准框的两条竖边平 行,而成像框的两条横边与采集基准框的两条横边不平行,以调整标定板为例, 则表明标定板的当前位置与所需要的位置之间出现了左偏或者右偏。如图15所示 中,采集基准框的上下两条横边的左端之间距离小于右端之间距离,表明了希望 的标定板位姿应当是左侧远离所标定的相机镜头,并且右侧靠近所标定的相机镜 头,如果成像框的上下两条横边的左端之间的距离大于采集基准框的上下两条横 边的左端之间距离,并且成像框的上下两条横边的右端之间的距离小于采集基准 框的上下两条横边的右端之间距离,则提醒标定人员将标定板的左侧向远离相机 镜头方向移动并将标定板的右侧向靠近相机镜头方向移动,直到成像框的四条边 与采集基准框的四条边平行。
另一实施方式是,通过比较标定板成像框上下边界延长线的交点与该成像框 中心点之间的位置,来确定标定板与相机之间相对偏转方向和偏转程度。以图15 给出的标定板左偏转时的成像框为例,此时成像框上下边界延长线的交点位于成 像框中心的左侧,对应于图像坐标系中,该交点的横坐标小于成像框中心点的横 坐标,且,两者差异越小,则说明标定板与相机之间相对偏转的角度越大。
基于此,当标定板成像框上下边界延长线的交点的横坐标小于成像框中心点 的横坐标,则判定为标定板与相机之间相对左偏转;当标定板成像框上下边界延 长线的交点的横坐标大于成像框中心点的横坐标,则判定为标定板与相机之间相 对右偏转;当标定板成像框上下边界延长线的交点的横坐标等于成像框中心点的 横坐标,判定为标定板与相机之间相对无偏转。
之后,通过如下方式实现距离远近的比对:
在成像框的中心点和采图基准框的中心点的相对位置小于所设定的距离阈值,并且成像框的四个边与采集基准框的四个边之间的平行关系满足设定要求(该设 定要求是指成像框的四个边与采集基准框的四个边之间满足所设定的角度阈值, 该角度阈值表现为成像框的四个边与采集基准框的四个边之间的夹角是否满足基 本平行条件的阈值,例如为了减小操作对比难度,可将该阈值设置为1~3°,只要 成像框的四个边与采集基准框的四个边之间的夹角小于该角度阈值,则认为成像 框的四个边与采集基准框的四个边之间基本平行)时,通过判断所述成像框与所 述采集基准框之间的面积大小,以调整标定板为例,提醒对所述标定板相对于拍 摄镜头的前后移动,当成像框的面积达到采集基准框所对应的面积阈值范围时, 则认为成像框的大小与采集基准框相吻合或者基本吻合。
上述成像框与采图基准框之间的平移位置的比对、偏转的比对和距离远近的 比对可以同时进行,如果不同时进行,可以无先后次序。比对的总方向是,使得 成像框四个边与采图基准框的四个边重叠或者基本重叠即可。重叠或者基本重叠 的条件可由上述的距离阈值、角度阈值和面积阈值范围决定。例如,保持当前的 偏转角度与距离再进行左右平移;绕标定板的中间轴进行左右偏转、或者进行上 下偏转;保持当前的偏转方向再前后移动使得标定板距离屏幕的距离减小或增大 等。
最后,在可选实施例中,当成像框的中心点和采图基准框的中心点的相对位 置小于所设定的距离阈值,成像框的四个边与采集基准框的四个边之间的平行关 系满足设定要求(即成像框的四个边与采集基准框的四个边之间的夹角小于角度 阈值),并且成像框的面积位于所设定的面积阈值范围内时,保存标定板图像。
如图15所示,在可选实施例中,可将标定板拍摄界面划分为多个显示区域, 将采图基准框先后分别显示于每个显示区域中,以分别在每个显示区域及其相邻 区域中拍摄标定板图像。
在上述实施例中,标定板中的目标特征的图案、数量、排列方式还可以有其 他的实施方式。
具体实施方式之一,可以是,目标特征的图案至少满足使其能够提供有别于 非目标特征的标记作用。较佳地,为了增大标定板有效的移动范围,在标定板中 间区域设置二维码作为目标特征,通过对二维码进行译码,确定二维码的编号顺 序、以及其在标定板中的位置,利用四个二维码提供的四个点对做透射变换,透 射变换后再确定出行分割阈值、列分割阈值,基于分割阈值、列分割阈值再对正 视图进行分割。较佳地,各个目标特征的图案(包括图案本身、和/或图案大小) 可以不尽相同,以便于对目标特征中的特定目标特征进行识别;例如,图14中, 目标特征点2可以起到定位各个目标特征位置的功能,为便于识别,可以将目标 特征点2设计为三角形、方形等有别于其他4个目标特征图案,以便作为定位标 识。这些目标特征图案可以通过轮廓、和/或面积筛选出来,图案的中心可以通过 求取质心的方式使用质心法来获取。
具体实施方式之二,可以是,目标特征的排列方式、或者排列方式与图案的 结合使其便于识别出各目标特征之间的相互位置关系;以图14为例,4个目标特 征(图14中圆点1、3、5、4)与处于标定板中心的一非目标特征的上、下、左、 右相邻,从而通过4个目标特征的坐标能够计算出标定板中心坐标、行分割阈值、 列分割阈值。除了所述4个目标特征之外的第5个目标特征(图14中的圆点2) 可以位于与该4个目标特征中任一目标特征相邻的位置,通过计算各个目标特征 点与坐标系原点的距离,识别出目标特征点之间的位置关系。例如,5个目标特征 点中,图14中圆点2与坐标系原点最近,定位时可首先识别出2的位置;如果图 14中圆点2位于同时与圆点4、5相邻的位置,则5个目标特征点中,圆点2与 坐标系原点最远,基于此,定位时也可首先识别出2的位置。
具体实施方式之三,可以是,目标特征的数量与排列方式的结合,使其能够 有助于为拍摄得到的标定板图像建立标定板成像框,比如使其能够提供至少包括 行分割阈值、列分割阈值和标定板中心坐标的信息。参见图16所示,图16为目 标特征排列方式的示意图。其中,a、b为目标特征数量为3的一种排列分布,三 个目标特征至少不在同一直线上,即三个目标特征的连线构成三角形,以便于通 过三个目标特征的几何关系确定分割阈值;为了减低复杂度,三个目标特征中, 至少有两两目标特征分别在同一行或同一列,如图中的a或b所示;为了提高分 割阈值的精度,较佳地,在同一行或同一列的两两目标特征不相邻。对于目标特 征数量大于3的情形,例如图中c、d为目标特征数量为4的一种排列分布,可按照几何关系,至少选择目标特征中两个既不在同一行又不在同一列的目标特征来 计算分割阈值;当存在多个既不在同一行又不在同一列的目标特征的目标特征时, 可分别计算分割阈值后,再将所有分割阈值的平均值作为分割阈值;较佳地,为 了减低复杂度,并提高计算精度,可如前述实施方式,可从目标特征中选择在同 一行的两个目标特征、和在同一列的两个目标特征共计4个特征点来计算分割阈 值。
基于上述实施例相似的原理,本发明实施例还提供了一种部分标定板图像中 圆点的世界坐标的获取方法,该方法适用于通过上述实施例所获取的部分标定板 图像中的圆点世界坐标的获取。具体地,如图17所示,该方法包括以下步骤。
步骤e1、获取标定板图像。
其中,标定板图像例如通过上述各项实施例所拍摄并保存的标定板图像,特 别地,标定板图像中仅包含部分标定板内容,该标定板图像可参考图10所示。
步骤e2、对标定板图像进行二值化处理,提取标定板的圆点矩阵中的各个圆 点的轮廓。
其中,步骤e2的过程可采用现有技术实现,此处不再赘述。
步骤e3、根据标定板的圆点矩阵中的各个圆点的轮廓确定透射变换的源点和 目标点,并将标定板图像透射变换为标定板正视图。
其中,步骤e3的过程,可参考上述实施例中步骤a2和步骤d2的具体实现方 式,此处不再赘述。
步骤e4、对标定板正视图进行二值化处理,并获得标定板正视图中的各个圆 点的半径和各个圆点的中心坐标。
其中,步骤e4的过程可参考上述步骤a3和步骤d3的具体实现方式,特别地, 在步骤e4中,采用上述中最小包围矩形方法来获取标定板正视图中各个完整圆点 和不完整圆点的中心坐标。
步骤e5、在标定板正视图中,通过对各个圆点的半径的比较,筛选出半径大 于其他圆点的五个大圆点作为目标特征,并将其他圆点作为非目标特征。
其中,步骤e5的过程可参考上述步骤a4和步骤d4的具体实现方式,此处不 再赘述。
步骤e6、根据目标特征确定有效圆点范围。
在可选实施例中,步骤e6进一步包括以下过程。
可参考图14所示,在标定板正视图中:
将第三目标特征的中心点和第四目标特征的中心点的纵坐标之差的四分之一作为 行分割阈值,即
rowthre=(pos3.y-pos4.y)/4
其中,rowthre为行分割阈值,pos3.y为第三目标特征的中心点纵坐标,pos4.y为第四目标特征的中心点纵坐标。
从第三目标特征的中心点(行分割的参考基准点)开始,向标定板正视图上侧移动的1倍行分割阈值处做第一横向分割线(即在第三目标特征上侧并与第三目标特征 相邻的横向虚线),从第三目标特征的中心点开始,向标定板正视图下侧移动的1倍行 分割阈值处做第二横向分割线(即在第三目标特征下侧并与第三目标特征相邻的横向 虚线),在第一横向分割线和第二横向分割线之间的区域即为第三目标特征所在的行分 割区,因为至少有第三目标特征落入第一横向分割线和第二横向分割线之间的行分割 区,从而将第一横向分割线和第二横向分割线之间的行分割区标定为存在圆点的有效 行分割区。
进一步,从第一横向分割线开始,向标定板正视图上侧移动的2倍行分割阈值处做第三横向分割线(即在第三目标特征上侧并与第三目标特征次邻的横向虚线),在第 三横向分割线和第一横向分割线之间的行分割区内,判断是否有圆点落入该行分割区, 如果有,则将第三横向分割线和第一横向分割线之间的行分割区标定为存在圆点的有 效行分割区,如果没有,则将其标定为无效行分割区。以这种方式向标定板正视图上 侧不断做横向分割线并判断新的划分的行分割区是否为有效行分割区,当在向标定板 正视图上侧一层一层判断有效行分割区的过程中,一旦出现了某一层为无效行分割区 后,便不再继续向上做新的行分割线和判断新的有效行分割区。
其中,判断是否有圆点落入行分割区可采用将圆点的纵坐标与行分割区的上下两条横向分割线的纵坐标进行比较,如果有圆点的纵坐标落入行分割区的上下两条横向 分割线之间,则判断有圆点落入行分割区,如果没有圆点的纵坐标落入行分割区的上 下两条横向分割线之间,则判断没有圆点落入行分割区。
从第四目标特征的中心点(行分割的参考基准点)开始,向标定板正视图下侧移动的1倍行分割阈值处做第四横向分割线(即在第四目标特征下侧并与第四目标特征 相邻的横向虚线),从第四目标特征的中心点开始,向标定板正视图下侧移动的1倍行 分割阈值处做第五横向分割线(即在第四目标特征下侧并与第四目标特征相邻的横向 虚线),在第四横向分割线和第五横向分割线之间的区域即为第四目标特征所在的行分 割区,因为至少有第四目标特征落入第四横向分割线和第五横向分割线之间的行分割 区,从而将第四横向分割线和第五横向分割线之间的行分割区标定为存在圆点的有效 行分割区。
进一步,从第五横向分割线开始,向标定板正视图下侧移动的2倍行分割阈值处做第六横向分割线(即在第四目标特征下侧并与第四目标特征次邻的横向虚线),在第 六横向分割线和第五横向分割线之间的行分割区内,判断是否有圆点落入该行分割区, 如果有,则将第六横向分割线和第五横向分割线之间的行分割区标定为存在圆点的有 效行分割区,如果没有,则将其标定为无效行分割区。以这种方式向标定板正视图下 侧不断做横向分割线并判断新的划分的行分割区是否为有效行分割区,当在向标定板 正视图下侧一层一层判断有效行分割区的过程中,一旦出现了某一层为无效行分割区 后,便不再继续向下做新的行分割线和判断新的有效行分割区。
通过上述过程,即可确定所有存在圆点的有效行分割区。
将第一目标特征的中心点和第五目标特征的中心点的横坐标之差的四分之一作为 列分割阈值,即
colthre=(pos1.x-pos5.x)/4
其中,colthre为列分割阈值,pos1.x为第一目标特征的中心点横坐标,pos5.x为第五 目标特征的中心点横坐标。
从第一目标特征的中心点(列分割的参考基准点)开始,向标定板正视图左侧移动的1倍列分割阈值处做第一纵向分割线(即在第一目标特征左侧并与第一目标特征 相邻的纵向虚线),从第一目标特征的中心点开始,向标定板正视图右侧移动的1倍行 分割阈值处做第二纵向分割线(即在第一目标特征右侧并与第一目标特征相邻的纵向 虚线),在第一纵向分割线和第二纵向分割线之间的区域即为第一目标特征所在的列分 割区,因为至少有第一目标特征落入第一纵向分割线和第二纵向分割线之间的列分割 区,从而将第一纵向分割线和第二纵向分割线之间的列分割区标定为存在圆点的有效 列分割区。
进一步,从第一横向分割线开始,向标定板正视图左侧移动的2倍列分割阈值处做第三纵向分割线(即在第一目标特征左侧并与第一目标特征次邻的纵向虚线),在第 三纵向分割线和第一纵向分割线之间的列分割区内,判断是否有圆点落入该列分割区, 如果有,则将第三纵向分割线和第一纵向分割线之间的列分割区标定为存在圆点的有 效列分割区,如果没有,则将其标定为无效行分割区。以这种方式向标定板正视图左 侧不断做纵向分割线并判断新的划分的列分割区是否为有效列分割区,当在向标定板 正视图左侧一层一层判断有效列分割区的过程中,出现了判断某一层为无效列分割区 后,便不再继续向左做新的列分割线和判断新的有效列分割区。例如,图14所示中, 第一目标特征左侧一列已经没有圆点存在,因此在做第三纵向分割线后,并没有圆点 会落入第三纵向分割线和第一纵向分割线之间的列分割区,因此,该列分割区为无效 列分割区,判断出无效列分割区后,不再继续向左侧做新的纵向分割线,并且将最后 所做的纵向分割线(第三纵向分割线)删掉,图14中并不存在所述的第三纵向分割线。
其中,判断是否有圆点落入列分割区可采用将圆点的横坐标与列分割区的左右两条纵向分割线的横坐标进行比较,如果有圆点的横坐标落入列分割区的左右两条纵向 分割线之间,则判断有圆点落入列分割区,如果没有圆点的横坐标落入列分割区的左 右两条纵向分割线之间,则判断没有圆点落入列分割区。
从第五目标特征的中心点(列分割的参考基准点)开始,向标定板正视图左侧移动的1倍列分割阈值处做第四纵向分割线(即在第五目标特征左侧并与第五目标特征 相邻的纵向虚线),从第五目标特征的中心点开始,向标定板正视图右侧移动的1倍行 分割阈值处做第五纵向分割线(即在第五目标特征右侧并与第五目标特征相邻的纵向 虚线),在第四纵向分割线和第五纵向分割线之间的区域即为第五目标特征所在的列分 割区,因为至少有第五目标特征落入第四纵向分割线和第五纵向分割线之间的列分割 区,从而将第四纵向分割线和第五纵向分割线之间的列分割区标定为存在圆点的有效 列分割区。
进一步,从第五纵向分割线开始,向标定板正视图右侧移动的2倍列分割阈值处做第六纵向分割线(即在第五目标特征右侧并与第五目标特征次邻的纵向虚线),在第 六纵向分割线和第五纵向分割线之间的列分割区内,判断是否有圆点落入该列分割区, 如果有,则将第六纵向分割线和第五纵向分割线之间的列分割区标定为存在圆点的有 效列分割区,如果没有,则将其标定为无效列分割区。以这种方式向标定板正视图右 侧不断做纵向分割线并判断新的划分的列分割区是否为有效列分割区,当在向标定板 正视图右侧一层一层判断有效列分割区的过程中,一旦出现了某一层为无效列分割区 后,便不再继续向右做新的列分割线和判断新的有效列分割区。
由上述的有效行分割区和有效列分割区相交形成多个分割区域(如图14中横向虚线和纵向虚线相交织形成的各个方块形小区域),标定板正视图中的所有圆点就在这些 分割区域中,但是,因为诸如拍摄时的反光、遮挡以及如图12中的情况导致了并非所 有的分割区域中均有圆点存在。因此,在确定出了多个分割区域后,还需要在这些分 割区域中确定出哪些分割区域中有圆点存在,具体地,针对任意一个分割区域,通过 判断是否有圆点的中心坐标落入该分割区域,来确定该分割区域是否为含有圆点的有 效分割区域。对于任意一个分割区域,如果有圆点的中心坐标落入该分割区域,则将 该分割区域标记为有效分割区域,否则不做标记,或者标记为无效分割区域。
这样,便完成了有效分割区域的确认。
对于任一圆点,当其所在行分割区域和列分割区域都为有效分割区域,则判定该圆点所在分割区域为有效范围。
需要进一步说明的是,本发明实施例中,将第三目标特征的中心点和第四目标特征的中心点的纵坐标之差的四分之一作为行分割阈值,是考虑到第三目标特征和第四 目标特征并非相邻因此彼此之间距离较远,所以将第三目标特征的中心点和第四目标 特征的中心点的纵坐标之差的四分之一所得到的行分割阈值与将相邻的圆点(如第二 目标特征和第一目标特征)的中心点的纵坐标之差的二分之一所得到的行分割阈值相 比精度更高。
同样的道理,将第一目标特征的中心点和第五目标特征的中心点的横坐标之差的四分之一作为列分割阈值,也能够获得精度更高的效果。
对于单目相机来说,通过上述方式确定出多个有效分割区域后,可确定与这些有效分割区域中的各个圆点相对应的世界坐标点。
对于双目相机来说,两个镜头所拍摄的图像会有不同,因此对于两个镜头对应的标定板图像来说,可能只有部分内容是同时出现在两个镜头拍摄的标定板图像中。在 本发明实施例中,通过上述方式在两个镜头拍摄的标定板图像所对应的标定板正视图 中确定出各自的有效分割区域后,筛选出同时出现在两个镜头拍摄的标定板图像中的 有效分割区域作为双目相机的有效分割区域,在随后的步骤中,只确定与这些同时出 现在两个镜头所拍摄的标定板图像中的有效分割区域中的圆点相对应的世界坐标点。
多个有效分割区域的集合即为有效圆点范围。
步骤e7、确定有效圆点在标定板正视图中的坐标。
在可选实施例中,步骤e7中,针对每个有效分割区域,将圆点中心坐标(由 最小包围矩形方法获得)落入该有效分割区域中的圆点作为有效圆点,记录该有 效圆点的中心坐标,通过该方式遍历所有有效分割区域以筛选出所有有效圆点, 并记录所有有效圆点的中心坐标。
步骤e8、通过上述透射变换的逆变换,将所有有效圆点在标定板正视图中的 坐标逆变回所拍摄的部分标定板图像中的坐标。
步骤e9、根据多个有效分割区域的范围,获得所有有效圆点在世界坐标系中 的世界坐标。
本步骤e9中,在多个有效分割区域的范围内,可采用已有技术将所拍摄的部 分标定板图像中的有效圆点结合所输入的标定板信息(如标定板中各个圆点之间 的实际物理距离等),来最终获得有效圆点在世界坐标系中的世界坐标。
在获得有效圆点在世界坐标系中的世界坐标之后,利用张张正友标定算法便 可以进行随后的相机标定工作。
上述实施例的部分标定板图像中圆点的世界坐标的获取方法中,利用在标定 板正视图中的目标特征的中心点来确定行分割阈值和列分割阈值,并以标定板正 视图中的目标特征的中心点作为行分割和列分割的参考基准点实现了对有效分割 区域的准确划分,从而获得了准确的有效圆点的范围,进一步利用最小包围矩形 方法以得到相比于质心法更为精确的完整圆点和不完整圆点的中心位置,从而提 高了标定板中圆点在标定板图像中的坐标精度,从而可提高相机的标定效果。
本发明实施例还提供了一种相机装置,如图18所示,相机装置包括显示器21 和处理器22。其中,显示器21用于显示标定板拍摄界面。处理器22用于:根据 预设标定板的位姿建立采图基准框,并将采图基准框显示于标定板拍摄界面;在 拍摄标定板图像时,从标定板拍摄界面中的标定板图像中筛选出特征点,并由特 征点作为顶点建立成像框,将成像框显示于标定板拍摄界面;将成像框与采图基 准框进行比对,并根据比对结果进行标定板位姿的调整提醒。
本发明实施例还提供了一种非易失性计算机可读存储介质,所述非易失性计 算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行如 上述各项实施例中所述的标定引导方法中的步骤。
本发明实施例还提供了一种电子设备,如图19所示,该电子设备包括:至少 一个处理器31;以及,与所述至少一个处理器31通信连接的存储器32;其中, 所述存储器32存储有可被所述至少一个处理器31执行的指令,所述指令被所述 至少一个处理器31执行,以使所述至少一个处理器31执行如上述各项实施例中 任一项所述的标定引导方法中的步骤。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明 的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保 护的范围之内。

Claims (30)

1.一种相机的标定引导方法,其特征在于,包括:
将采图指示显示于拍摄界面,所述采图指示用于表示期望的标定板图像成像位置、标定板与相机之间相对采集距离、标定板与相机之间相对偏转角度三者之一或其任意的组合;
捕获包含有标定板的标定板图像,根据捕获的当前标定板图像建立标定板成像指示,并将所述标定板成像指示显示于所述拍摄界面,所述标定板成像指示用于表示当前标定板图像成像位置、标定板与相机之间相对采集距离、标定板与相机之间相对偏转角度三者之一或其任意的组合;
将所述标定板成像指示与所述采图基准指示进行比对,并根据比对结果进行标定板和相机之间相对位姿的调整提醒。
2.根据权利要求1所述的方法,其特征在于,所述采图指示包括采图基准框,根据标定板的期望位姿建立;所述标定板成像指示包括标定板的成像框;
所述根据捕获的当前标定板图像建立标定板成像指示,包括:
确定当前标定板图像的有效范围,从有效范围中筛选出特征点,所述特征点满足:当前标定板图像的正视图中顺次连接特征点所构成的形状为上下对称、和/或左右对称的多边形;其中,多边形的边数与标定板的边数相同;
将顺次连接所述特征点的多边形框显示于所述拍摄界面,得到标定板成像框。
3.根据权利要求2所述的方法,其特征在于,所述采图基准框具有在标定板与相机之间期望相对偏转角度为0时与标定板形状相似的第一形状,在标定板与相机之间期望相对偏转角度不为0时具有基于所述第一形状偏转的视图形状,
所述将所述标定板成像指示与所述采图基准指示进行比对,并根据比对结果进行标定板和相机之间相对位姿的调整提醒,包括:
根据如下比对结果之一或其任意组合,进行标定板和相机之间相对位姿的调整提醒:
所述成像框的中心点和所述采图基准框的中心点的相对位置;
所述成像框的各边与所述采集基准框对应的各边之间的平行关系、以及所述成像框的上下边延长线的交点的横坐标与采图基准框上下边延长线的交点的横坐标之间的偏差中的二者之一;
所述成像框与所述采集基准框之间的面积大小。
4.根据权利要求3所述的方法,其特征在于,所述标定板为矩形,所述采图基准框在标定板与相机之间期望相对偏转角度为0时为矩形,在标定板与相机之间期望相对偏转角度不为0时为梯形;所述成像框在标定板与相机之间相对偏转角度为0时为矩形,在标定板与相机之间相对偏转角度不为0时为梯形;
所述根据如下比对结果之一或其任意组合,进行标定板和相机之间相对位姿的调整提醒,包括,
将所述采图基准框的对角线的交点作为所述采图基准框的中心点;
将所述成像框的对角线的交点作为所述成像框的中心点;
通过判断所述成像框的中心点和所述采图基准框的中心点的相对位置,提醒对所述标定板相对于相机的左右移动;
和/或
在所述成像框的中心点和所述采图基准框的中心点的相对位置小于所设定的距离阈值时,基于如下二者之一:通过判断所述成像框的四个边与所述采集基准框的四个边之间的平行关系、或通过判断所述成像框的上下边延长线的交点的横坐标与采图基准框上下边延长线的交点的横坐标之间的偏差,来提醒对所述标定板相对于相机的偏转;
和/或
在所述成像框的中心点和所述采图基准框的中心点的相对位置小于所设定的距离阈值,并且所述成像框的四个边与所述采集基准框的四个边之间的平行关系满足设定要求时,通过判断所述成像框与所述采集基准框之间的面积大小,提醒对所述标定板相对于相机的前后移动;
直至:
当所述成像框的中心点和所述采图基准框的中心点的相对位置小于所设定的距离阈值,
且,所述成像框的四个边与所述采集基准框的四个边之间的平行关系满足设定要求,或者,所述成像框的上下边延长线的交点的横坐标与采图基准框上下边延长线的交点的横坐标之间的偏差满足设定的阈值,
并,所述成像框与所述采图基准框的面积之差位于所设定的面积阈值范围内时,获取并保存当前标定板图像。
5.根据权利要求4所述的标定引导方法,其特征在于,该方法还包括:
将所述拍摄界面划分为多个显示区域;
将所述采图基准框分别显示于每个显示区域中,以引导标定板图像分别成像于在每个显示区域;
所述采图基准框设置有用于控制期望左偏角度的第一期望值,该第一期望值为采图基准框中心点的横坐标与采图基准框上下边延长线的交点的横坐标之差,以及设置有用于控制期望右偏角度的第二期望值,该第二期望值为采图基准框上下边延长线的交点的横坐标与采图基准框中心点的横坐标之差;
所述成像框设置有用于控制左偏角度的第一值,该第一值为成像框中心点的横坐标与成像框上下边延长线的交点的横坐标之差,以及设置有用于控制右偏角度的第二值,该第二值为像框上下边延长线的交点的横坐标与成像框中心点的横坐标之差;
所述通过判断所述成像框的上下边延长线的交点的横坐标与采图基准框上下边延长线的交点的横坐标之间的偏差,来提醒对所述标定板相对于相机的偏转,包括,
如果成像框的当前第一值与采图基准框的当前第一期望值之间的偏差在预设的第一阈值内,则提醒标定板与相机之间相对左偏转;
如果成像框的当前第二值与采图基准框的当前第二期望值之间的偏差在预设的第二阈值内,则提醒标定板与相机之间相对右偏转。
6.根据权利要求5所述的方法,其特征在于,所述相机为单目相机,所述在保存所述标定板图像之后,所述方法还包括:
当保存标定板图像符合相机标定要求时,对用于相机标定的每一张标定板图像,确定出每一张标定板图像的有效范围,计算该有效范围内特征的质点相对应的世界坐标点信息,利用张正友标定算法对相机进行标定计算。
7.根据权利要求5所述的方法,其特征在于,所述相机为双目相机,所述在保存所述标定板图像之后,所述方法还包括:
当保存标定板图像符合相机标定要求时,对用于相机标定的每一张标定板图像,分别确定同一时刻的第一标定板图像和第二标定板图像的有效范围,其中,第一标定板图像由双目相机中的第一单目获取,第二标定板图像由双目相机中的第二单目获得,
确定第一标定板图像的有效范围与第二标定板图像的有效范围的交集,
计算交集中特征的质点相对应的世界坐标点信息,利用张正友标定算法对相机进行标定计算。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述标定板包括区别于标定板中阵列图案的非目标特征、且至少两个既不在同一行、也不在同一列的目标特征,所述目标特征具有区别于所述非目标特征的图案,并位于标定板的中心区域。
9.根据权利要求2至7中任一项所述的方法,其特征在于,所述有效范围的确定包括:
对于包含有全部标定板的当前标定板图像,根据标定板尺寸确定有效范围,
所述从有效范围中筛选出特征点包括,将有效范围中位于阵列边缘的特征确定为所述特征点。
10.根据权利要求2至7中任一项所述的方法,其特征在于,所述有效范围的确定包括:
对于包含有部分标定板的当前标定板图像,
根据位于标定板的中心区域的目标特征的成像信息,至少确定用于分割标定板阵列图案各行的行分割阈值、用于分割标定板阵列图案各列的列分割阈值、以及标定板的中心区域,
利用所述行分割阈值和列分割阈值,对标定板图像中的特征进行分割,得到一个以上分割区域,
基于每个分割区域中的特征,确定所述有效范围;
所述从有效范围中筛选出特征点包括,从标定板中心区域的有效范围中,筛选出所述特征点。
11.根据权利要求10所述的标定引导方法,其特征在于,所述根据位于标定板的中心区域的目标特征的成像信息,至少确定用于分割标定板阵列图案各行的行分割阈值、以及用于分割标定板阵列图案各列的列分割阈值,包括,
通过透射变换,获得当前标定板图像的正视图,
识别所述正视图中的至少两个既不在同一行、也不在同一列的目标特征,
确定所识别的目标特征的位置,将所识别的目标特征所在位置的一定范围的区域作为标定板的中心区域;
根据目标特征之间的位置几何关系,确定所述行分割阈值、以及所述列分割阈值,
所述利用所述行分割阈值和列分割阈值,对标定板图像中的特征进行分割,得到一个以上分割区域,包括,
根据所述行分割阈值和列分割阈值,将所述正视图分割为一个以上分割区域;
所述基于每个分割区域中的特征,确定所述有效范围,包括,根据各个分割区域是否包含有特征的质点确定出有效范围;
所述从有效范围中筛选出特征点包括,通过透射变换的逆变换,将筛选的特征逆变换到标定板图像中的坐标点,将所述坐标点作为所述特征点。
12.根据权利要求11所述的标定引导方法,其特征在于,所述通过透射变换,获得当前标定板图像的正视图,包括,
根据所述标定板阵列图案的轮廓确定矩形阵列的行和列;
平行于所述矩形阵列的行和列构造可容纳标定板图像中所有特征的四边形;
若所述四边形中的某个顶点不在所述标定板图像中,则在标定板图像中与该顶点相邻的图像边缘处,筛选出最靠近该图像边缘的最外围一行特征和最外围一列特征,在所述最外围一行特征的外侧构造平行于所述最外围一行特征的行平行线,在所述最外围一列圆点的外侧构造平行于所述最外围一列特征的列平行线,将所述行平行线和所述列平行线的交点作为所述四边形中的不在所述标定板图像中的顶点,得到一矩形;
将所述矩形的顶点作为源点,设定对应于所述源点的透射变换后的目标点,将所述矩形中的标定板图像透射变换为标定板正视图。
13.根据权利要求11所述的标定引导方法,其特征在于,所述目标特征的图案为不携带二维码信息的规则图案,
所述通过透射变换,获得当前标定板图像的正视图,包括,
对所述当前标定板图像进行二值化处理,提取所述当前标定板图像中至少四个特征的图案轮廓,并计算各个图案轮廓的质点;所述至少四个特征满足:顺次连接四个特征所构成的形状为矩形;
将所述质点作为源点,设定对应于所述源点的透射变换后的目标点,将所述矩形中的标定板图像透射变换为标定板正视图。
14.根据权利要求12或13所述的标定引导方法,其特征在于,所述通过透射变换,获得当前标定板图像的正视图进一步包括,对于标定板正视图进行二值化处理,
所述设定对应于所述源点的透射变换后的目标点包括,
将矩形的左上点的当前位置作为第一源点,将图像坐标系的坐标原点作为该第一源点透射变换的第一目标点,
将矩形的右上点的当前位置作为第二源点,将与图像坐标系的坐标原点在第一方向上具有的第一距离的点作为该第二源点透射变换的第二目标点,
将矩形的左下点的当前位置作为第三源点,将与图像坐标系的坐标原点在第二方向上具有的第二距离的点作为该第三源点透射变换的第三目标点,
将矩形的右下点的当前位置作为第四源点,将与图像坐标系的坐标原点在第一方向上具有的第一距离、在第二方向上具有的第二距离的点作为该第四源点透射变换的第四目标点,
其中,第一距离为:左上点横坐标与右上点横坐标之差的平方与左上点纵坐标与右上点纵坐标之差的平方之和的平方根;
第二距离为:左上点横坐标与左下点横坐标之差的平方与左上点纵坐标与左下点纵坐标之差的平方之和的平方根。
15.根据权利要求11所述的标定引导方法,其特征在于,
所述识别所述正视图中的至少两个既不在同一行、也不在同一列的目标特征,包括,
对于标定板正视图中的特征,提取所有特征的图案轮廓,并计算各个图案轮廓的质点,得到具有质点的有效特征,并将质点的坐标确定为特征的中心坐标;
为各个所述有效特征,分别计算至少用于表征所述有效特征图案轮廓的投影面积大小的质点参数,
基于各个所述有效特征,根据目标特征的质点参数与非目标特征的质点参数之间的差异,识别出目标特征;
所述确定所识别的目标特征的位置包括,根据目标特征的图案、数量、排列三者之一或者其任意的组合,确定所识别的目标特征的位置。
16.根据权利要求15所述的标定引导方法,其特征在于,所述基于各个所述有效特征,根据目标特征的质点参数与非目标特征的质点参数之间的差异,识别出目标特征,包括,
基于各个所述有效特征,
计算所有特征的图案轮廓的质点参数之和,
将所有特征的图案轮廓的质点参数之和除以所累加的特征总数,得到图案轮廓的质点参数平均值,
将所述质点参数平均值作为从非目标特征筛选出目标特征的第三阈值,
将各个特征的图案轮廓的质点参数分别与所述第三阈值进行比较,根据比较结果识别出目标特征,其中,目标特征的图案轮廓的质点参数与所述第三阈值之间的差异大于非目标特征图案轮廓的质点参数与所述第三阈值之间的差异。
17.根据权利要求16所述的标定引导方法,其特征在于,所述标定板为圆点阵列标定板,所述非目标特征的图案为具有第一半径的圆点,所述目标特征的图案为具有第二半径的圆点,所述第二半径与第一半径不相等;所述质点参数为圆点轮廓的半径,
所述计算各个图案轮廓的质点包括,
对于标定板正视图中的完整圆点,利用最小包围矩形将每个圆点的轮廓包围,并且所述最小包围矩形的每条边均与所包围的圆点相切;
对于所述标定板正视图中的不完整圆点,利用最小包围矩形将每个不完整圆点的轮廓包围,并且最小包围矩形中的两条对边均与所包围的不完整圆点相切,若最小包围矩形中的两条对边无法与所包围的不完整圆点相切,则舍弃该不完整圆点;
将最小包围矩形的两条对边的切点之间的中点位置作为该最小包围矩形所包围圆点轮廓质点;将质点的坐标确定为该最小包围矩形所包围完整圆点或者不完整圆点的中心坐标;
将最小包围矩形的两条对边上的切点之间的距离的一半确定为该最小包围矩形所包围圆点的轮廓半径;
所述计算所有图案轮廓的质点参数之和包括,
累加所有完整圆点和不完整圆点的轮廓半径,
所述将所有特征的图案轮廓的质点参数之和除以所累加的特征总数,得到图案轮廓的质点参数平均值,包括,
将累加的所有完整圆点和不完整圆点的轮廓半径之和,除以所有完整圆点和不完整圆点的总数,得到半径筛选值,
所述第三阈值为所述半径筛选值,
所述将各个特征的图案轮廓的质点参数分别与所述第三阈值进行比较包括,将所有完整圆点和不完整圆点的轮廓半径分别与所述半径筛选阈值比较。
18.根据权利要求15所述的标定引导方法,其特征在于,所述根据目标特征的图案、数量、排列三者之一或者其任意的组合,确定所识别的目标特征的位置包括,
对于识别出的各个目标特征,根据目标特征的中心坐标,分别计算各个目标特征到图像坐标系原点的距离,将具有第三距离的目标特征作为第一目标特征,并记录第一目标特征的坐标;其中,第三距离为所计算的距离中区别于其它距离的特征距离,根据目标特征的分布确定;
根据各个目标特征的中心坐标,以第一目标特征为定位点,确定第一目标特征与其余目标特征之间、以及其余目标特征之间的位置关系。
19.根据权利要求18所述的标定引导方法,其特征在于,所述根据各个目标特征的中心坐标,以第一目标特征为定位点,确定第一目标特征与其余目标特征之间、以及其余目标特征之间的位置关系包括,
在所计算的距离中,确定与第三距离差值最小的第四距离,将具有所述第四距离的至少一个目标特征作为第二目标特征;基于第一目标特征,根据第一目标特征和第二目标特征的中心坐标,确定第二目标特征与第一目标特征是否在同一行或同一列;
在所计算的距离中,确定与第三距离差值次小的第五距离,将具有所述第五距离的至少一个目标特征作为第三目标特征,基于第一目标特征,根据第一目标特征和第三目标特征的中心坐标,确定第三目标特征与第一目标特征是否在同一行或同一列,如果不在,则根据第二目标特征和第三目标特征的中心坐标,确定第三目标特征与第二目标特征是否在同一行或同一列;
依此类推,确定出第一目标特征与其余各个目标特征之间、以及其余各个目标特征之间的位置关系。
20.根据权利要求18所述的标定引导方法,其特征在于,所述目标特征中包括至少一个具有定位标识图案的定位目标特征;所述根据目标特征的图案、数量、排列三者之一或者其任意的组合,确定所识别的目标特征的位置包括,
根据定位标识图案识别出所述定位目标特征;根据各个所识别的目标特征的中心坐标,以定位目标特征为定位点,确定第一目标特征与其余各个目标特征之间、以及其余各个目标特征之间的位置关系。
21.根据权利要求11所述的标定引导方法,其特征在于,所述目标特征包括至少四个携带二维码信息的目标特征,且按照顺次连接所述目标特征所构成的形状为矩形,
所述通过透射变换,获得当前标定板图像的正视图,包括,
获取二维码信息,对二维码进行译码,确定二维码的编号顺序、以及其在标定板中的位置,
利用四个二维码提供的四个点进行透射变换,获得当前标定板图像的正视图。
22.根据权利要求11所述的标定引导方法,其特征在于,所述根据目标特征之间的位置几何关系,确定所述行分割阈值、所述列分割阈值,包括,
从识别出的目标特征中,选择至少两个既不在同一行也不在同一列的目标特征;
根据所选择的目标特征的中心坐标,分别计算两个特征之间的线段分别在图像坐标系的横轴方向的投影距离、和纵轴方向的投影距离,
将横轴方向的投影距离除以该投影距离所包含的分割阈值的数量,得到所述行分割阈值,
将纵轴方向的投影距离除以该投影距离所包含的分割阈值的数量,得到所述列分割阈值;
或者,
从识别出的目标特征中,选择三个不在同一直线的目标特征,其中,两个目标特征位于同一行或同一列;
根据所选择的目标特征的中心坐标,计算位于同一行或同一列的两个目标特征之间的距离,将该距离除以该两个目标特征之间包含的分割阈值的数量,得到第一行分割阈值或第一列分割阈值;
选取位于同一行或同一列的两个目标特征中的任一目标特征,分别计算该目标特征、与所述位于同一行或同一列的两个目标特征不在同一直线的目标特征之间的线段分别在图像坐标系的横轴方向的投影距离、和纵轴方向的投影距离;将横轴方向的投影距离除以该投影距离所包含的分割阈值的数量,得到第二行分割阈值,将纵轴方向的投影距离除以该投影距离所包含的分割阈值的数量,得到第二列分割阈值;
求取第一行分割阈值与第二行分割阈值的平均值,求取第一列分割阈值与第二列分割阈值的平均值,分别得到所述行分割阈值和列分割阈值;
或者,
从识别出的目标特征中,选择顺次连接四个目标特征所构成的形状为矩形的四个目标特征,其中,相邻两目标特征在同一行或同一列;
选取位于同一行的任意两目标特征,根据所选择的目标特征的中心坐标,计算位于同一行的两个目标特征之间的距离,将该距离除以该两个目标特征之间包含的分割阈值的数量,得到行分割阈值;
选取位于同一列的任意两目标特征,根据所选择的目标特征的中心坐标,计算位于同一列的两个目标特征之间的距离,将该距离除以该两个目标特征之间包含的分割阈值的数量,得到列分割阈值;
或者,
从识别出的目标特征中,选择顺次连接四个目标特征所构成的形状为正方形的四个目标特征,其中,不相邻的两目标特征在同一行或同一列;且,不相邻的两目标特征之间的连线中点位于标定板的中心,
选取位于同一行的两目标特征,根据所选择的目标特征的中心坐标,计算位于同一行的两个目标特征之间的距离,将该距离除以该两个目标特征之间包含的分割阈值的数量,得到行分割阈值;
选取位于同一列的两目标特征,根据所选择的目标特征的中心坐标,计算位于同一列的两个目标特征之间的距离,将该距离除以该两个目标特征之间包含的分割阈值的数量,得到行分割阈值;
根据位于同一行的两个目标特征之间的距离或者位于同一列的两个目标特征之间的距离,确定标定板的中心点。
23.根据权利要求11所述的标定引导方法,其特征在于,所述根据所述行分割阈值和列分割阈值,将所述正视图分割为一个以上分割区域,包括,
以识别出的任一目标特征的中心为基准,
按照所述行分割阈值,将所述标定板正视图按行分割为宽度是所述行分割阈值两倍的多个行,并使得所述目标特征的中心点位于其所在行的中间位置;
按照所述列分割阈值,将所述标定板正视图按列分割为宽度是所述列分割阈值两倍的多个列,并使得所述目标特征的中心点位于其所在列的中间位置;
通过所述行分割和所述列分割,将所述标定板正视图分割为多个分割区域。
24.根据权利要求23所述的标定引导方法,其特征在于,所述按照所述行分割阈值,将所述标定板正视图按行分割为宽度是所述行分割阈值两倍的多个行包括,
以识别出的任一目标特征的中心为基准,向该目标特征的中心的上侧、距离该中心1倍行分割阈值处做第一横向分割线;向该目标特征的中心的下侧、距离1倍行分割阈值处做第二横向分割线,在第一横向分割线和第二横向分割线之间的区域为该目标特征所在的行分割区,将该行分割区标定为存在特征的有效行分割区;
以第一横向分割线为基准,向该第一横向分割线上侧、距离所述第一横向分割线2倍行分割阈值处做第三横向分割线,在第三横向分割线和第一横向分割线之间的行分割区内,判断是否有特征落入该行分割区,如果有,则将第三横向分割线和第一横向分割线之间的行分割区标定为存在特征的有效行分割区,如果没有,则将其标定为无效行分割区;
依次类推地做横向分割线并判断新的划分的行分割区是否为有效行分割区,直至出现了无效行分割区,则结束;
以第二横向分割线为基准,向该第二横向分割线下侧、距离所述第二横向分割线2倍行分割阈值处做第四横向分割线,在第四横向分割线和第二横向分割线之间的行分割区内,判断是否有特征落入该行分割区,如果有,则将第二横向分割线和第四横向分割线之间的行分割区标定为存在特征的有效行分割区,如果没有,则将其标定为无效行分割区;
依次类推地做横向分割线并判断新的划分的行分割区是否为有效行分割区,直至出现了无效行分割区,则结束;
其中,判断是否有特征落入行分割区包括,将特征的纵坐标与行分割区的上下两条横向分割线的纵坐标进行比较,如果有特征的纵坐标落入行分割区的上下两条横向分割线之间,则判定有圆点落入行分割区,否则,判定没有圆点落入行分割区。
25.根据权利要求23所述的标定引导方法,其特征在于,所述按照所述列分割阈值,将所述标定板正视图按列分割为宽度是所述列分割阈值两倍的多个列,包括,
以识别出的任一目标特征的中心为基准,向该目标特征的中心的左侧、距离该中心1倍列分割阈值处做第一纵向分割线;向该目标特征的中心的右侧、距离1倍列分割阈值处做第二纵向分割线,在第一纵向分割线和第二纵向分割线之间的区域为该目标特征所在的列分割区,将该列分割区标定为存在特征的有效列分割区;
以第一纵向分割线为基准,向该第一纵向分割线左侧、距离所述第一纵向分割线2倍列分割阈值处做第三纵向分割线,在第三纵向分割线和第一纵向分割线之间的列分割区内,判断是否有特征落入该列分割区,如果有,则将第三纵向分割线和第一纵向分割线之间的列分割区标定为存在特征的有效列分割区,如果没有,则将其标定为无效列分割区;
依次类推地做纵向分割线并判断新的划分的列分割区是否为有效列分割区,直至出现了无效列分割区,则结束;
以第二纵向分割线为基准,向该第二纵向分割线右侧、距离所述第二横向分割线2倍列分割阈值处做第四纵向分割线,在第四纵向分割线和第二纵向分割线之间的列分割区内,判断是否有特征落入该列分割区,如果有,则将第二纵向分割线和第四纵向分割线之间的列分割区标定为存在特征的有效列分割区,如果没有,则将其标定为无效列分割区;
依次类推地做纵向分割线并判断新的划分的列分割区是否为有效列分割区,直至出现了无效列分割区,则结束;
其中,判断是否有特征落入列分割区包括,将特征的横坐标与列分割区的左右两条横向分割线的横坐标进行比较,如果有特征的横坐标落入列分割区的上下两条纵向分割线之间,则判定有圆点落入列分割区,否则,判定没有圆点落入列分割区。
26.根据权利要求23至25任一所述的标定引导方法,其特征在于,所述基于每个分割区域中的特征,确定所述有效范围,包括,对于任一特征,当其所在行分割区域和列分割区域都为有效分割区域,则判定该特征所在分割区域为有效范围。
27.根据权利要求23至25任一所述的标定引导方法,其特征在于,所述根据各个分割区域是否包含有特征的质点确定出有效范围包括,
对于任一分割区域,判断该分割区域是否包含有特征的质点,如果是,则判定该分割区域的特征为有效特征,将有效特征所在分割区域作为有效范围之一,否则,判定为无效范围;
根据各个有效特征所在分割区域,确定出有效范围。
28.一种相机装置,所述相机装置包括显示器和处理器,其特征在于:
所述显示器用于显示标定板拍摄界面;
所述处理器用于:
将采图指示显示于拍摄界面,所述采图指示用于表示期望的标定板图像成像位置、标定板与相机之间相对采集距离、标定板与相机之间相对偏转角度三者之一或其任意的组合;
捕获包含有标定板的标定板图像,根据捕获的当前标定板图像建立标定板成像指示,并将所述标定板成像指示显示于所述拍摄界面,所述标定板成像指示用于表示当前标定板图像成像位置、标定板与相机之间相对采集距离、标定板与相机之间相对偏转角度三者之一或其任意的组合;
将所述标定板成像指示与所述采图基准指示进行比对,并根据比对结果进行标定板和相机之间相对位姿的调整提醒。
29.一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储指令,其特征在于,所述指令在由处理器执行时使得所述处理器执行如权利要求1至27中任一项所述的标定引导方法中的步骤。
30.一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1至27中任一项所述的标定引导方法中的步骤。
CN201911376684.4A 2019-12-27 2019-12-27 一种标定引导方法和相机装置 Pending CN113052910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911376684.4A CN113052910A (zh) 2019-12-27 2019-12-27 一种标定引导方法和相机装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911376684.4A CN113052910A (zh) 2019-12-27 2019-12-27 一种标定引导方法和相机装置

Publications (1)

Publication Number Publication Date
CN113052910A true CN113052910A (zh) 2021-06-29

Family

ID=76506305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911376684.4A Pending CN113052910A (zh) 2019-12-27 2019-12-27 一种标定引导方法和相机装置

Country Status (1)

Country Link
CN (1) CN113052910A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113634876A (zh) * 2021-10-18 2021-11-12 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质
CN115222825A (zh) * 2022-09-15 2022-10-21 湖南视比特机器人有限公司 一种标定方法及其计算机存储介质和标定系统
CN115457144A (zh) * 2022-09-07 2022-12-09 梅卡曼德(北京)机器人科技有限公司 标定图案识别方法、标定方法、装置和电子设备
CN115930784A (zh) * 2023-01-09 2023-04-07 广州市易鸿智能装备有限公司 一种视觉检测系统的点检方法
CN115994954A (zh) * 2023-03-22 2023-04-21 浙江伽奈维医疗科技有限公司 一种高精度大视野近红外光学相机标定装置及标定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440643A (zh) * 2013-08-07 2013-12-11 河南科技大学 一种单线阵摄像机标定方法
CN104732539A (zh) * 2015-03-27 2015-06-24 华中科技大学 一种投影仪标定方法
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN109345597A (zh) * 2018-09-27 2019-02-15 四川大学 一种基于增强现实的相机标定图像采集方法及装置
CN109829948A (zh) * 2018-12-13 2019-05-31 昂纳自动化技术(深圳)有限公司 摄像机标定板、标定方法以及摄像机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440643A (zh) * 2013-08-07 2013-12-11 河南科技大学 一种单线阵摄像机标定方法
CN104732539A (zh) * 2015-03-27 2015-06-24 华中科技大学 一种投影仪标定方法
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN108416791A (zh) * 2018-03-01 2018-08-17 燕山大学 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN109345597A (zh) * 2018-09-27 2019-02-15 四川大学 一种基于增强现实的相机标定图像采集方法及装置
CN109829948A (zh) * 2018-12-13 2019-05-31 昂纳自动化技术(深圳)有限公司 摄像机标定板、标定方法以及摄像机

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113634876A (zh) * 2021-10-18 2021-11-12 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质
CN113634876B (zh) * 2021-10-18 2021-12-28 武汉逸飞激光股份有限公司 机器视觉的辅助标定方法、装置、电子设备和存储介质
CN115457144A (zh) * 2022-09-07 2022-12-09 梅卡曼德(北京)机器人科技有限公司 标定图案识别方法、标定方法、装置和电子设备
CN115457144B (zh) * 2022-09-07 2023-08-15 梅卡曼德(北京)机器人科技有限公司 标定图案识别方法、标定方法、装置和电子设备
CN115222825A (zh) * 2022-09-15 2022-10-21 湖南视比特机器人有限公司 一种标定方法及其计算机存储介质和标定系统
CN115930784A (zh) * 2023-01-09 2023-04-07 广州市易鸿智能装备有限公司 一种视觉检测系统的点检方法
CN115930784B (zh) * 2023-01-09 2023-08-25 广州市易鸿智能装备有限公司 一种视觉检测系统的点检方法
CN115994954A (zh) * 2023-03-22 2023-04-21 浙江伽奈维医疗科技有限公司 一种高精度大视野近红外光学相机标定装置及标定方法

Similar Documents

Publication Publication Date Title
CN113052910A (zh) 一种标定引导方法和相机装置
US7456842B2 (en) Color edge based system and method for determination of 3D surface topology
CN100384220C (zh) 摄像机标定数据的采集方法及其标定板
CN110458898A (zh) 相机标定板、标定数据采集方法、畸变校正方法及装置
CN109211207B (zh) 一种基于机器视觉的螺钉识别与定位装置
CN107239748A (zh) 基于棋盘格标定技术的机器人目标识别与定位方法
CN111274943B (zh) 一种检测方法、装置、电子设备及存储介质
CN110738618B (zh) 一种基于双目相机的不规则堆料体积测量方法
CN111028350B (zh) 一种利用双目立体相机构建栅格地图的方法
CN110033407B (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接系统
CN102704215A (zh) 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN110415304B (zh) 一种视觉标定方法及系统
CN110414385A (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN110667474A (zh) 通用障碍物检测方法、装置与自动驾驶系统
CN113688846A (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
CN109737962B (zh) 一种基于特殊圆环编码的机器视觉自主定位方法和系统
WO2022217834A1 (en) Method and system for image processing
CN117178161A (zh) 计算机程序、模型生成方法、推断方法以及推断装置
CN111627059B (zh) 一种棉花叶片中心点位置定位方法
JP3516118B2 (ja) 物体認識方法および物体認識装置
CN109493387B (zh) 一种多摄像头光轴对齐的方法和装置
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
CN113065501B (zh) 苗线识别的方法、装置和农机
CN111667429B (zh) 一种巡检机器人目标定位校正方法
CN113052911B (zh) 一种标定板、和相机标定方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.