CN111524195A - 一种掘进机截割头定位中的相机标定方法 - Google Patents

一种掘进机截割头定位中的相机标定方法 Download PDF

Info

Publication number
CN111524195A
CN111524195A CN202010347000.4A CN202010347000A CN111524195A CN 111524195 A CN111524195 A CN 111524195A CN 202010347000 A CN202010347000 A CN 202010347000A CN 111524195 A CN111524195 A CN 111524195A
Authority
CN
China
Prior art keywords
camera
points
parameters
heading machine
tracer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010347000.4A
Other languages
English (en)
Other versions
CN111524195B (zh
Inventor
王华英
王爱英
王学
郭海军
张雷
焦小雪
周红旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Yujian Energy Saving Technology Co ltd
Hebei University of Engineering
Original Assignee
Hebei Yujian Energy Saving Technology Co ltd
Hebei University of Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Yujian Energy Saving Technology Co ltd, Hebei University of Engineering filed Critical Hebei Yujian Energy Saving Technology Co ltd
Priority to CN202010347000.4A priority Critical patent/CN111524195B/zh
Publication of CN111524195A publication Critical patent/CN111524195A/zh
Application granted granted Critical
Publication of CN111524195B publication Critical patent/CN111524195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了掘进机截割头的定位中的相机标定方法,使用一张棋盘格作为定标物对相机进行标定,获取相机的内参和外参,应用最小二乘法估算实际存在的径向即便下的畸变系数,通过matlab软件求得所需参数,通过所得参数矫正相机,完成标定,从而校正相机镜头畸变,生成矫正后的图像。

Description

一种掘进机截割头定位中的相机标定方法
技术领域
本发明属于立体视觉定位技术领域,涉及一种掘进机截割头定位中的相机标定方法。
背景技术
煤炭作为我国最主要的一次能源之一,是我国能源的基石。随着科学技术的进步,综采技术水平不断 提高。其安全可靠、经济高效的自动化采煤技术变得越来越重要。
近些年来国内外提出了多种解决方案,但是在掘进机截割头定位上还存在诸多问题。故本发明提出一 种面向掘进机的截割头定位的方法以及相应的相机标定方法。
现今大多数关于截割头定位基本使用普通光学摄像机定位,例如:2014年5月,陕西陕煤黄陵矿业有 限公司完成了1.4m-2.2m煤层国产装备智能化无人综采技术研究与应用项目,其截割头定位方法使用普通 光学摄像机,未使用其他示踪物进行定位,其可视化、截割头三维信息精确化低,不能很好的适应未来数 字化、信息化发展。
在精确定位截割头方法上采用过单目单示踪物方法,但是在实际实验过程中截割头定位不准确,其截 割头三维坐标时常发生坐标点漂移,若应用在实际生产中可能会造成重大事故。
发明内容
本发明申请提供一种掘进机截割头的双示踪物定位方法,以解决现有技术中截割头定位不准确的技术 问题;同时为了提高定位的精度,还提供了一种相机的标定方法,以解决由于相机拍摄的图像畸变问题而 导致的截割头定位精度不准确。
本发明申请采用以下技术方案:
一种用于掘进机截割头定位系统中的相机定标方法,所述定位系统包括恒温球形双示踪物、左相机、 右相机、以及地面服务站;所述左相机和右相机均为红外相机;恒温球形双示踪物位于掘进机前端,左相 机和右相机设置于掘进机上且位于所述双示踪物后方,用于拍摄所述双示踪物的图像;所述地面服务站与 左相机和右相机进行无线通信,用于处理左相机和右相机采集的所述双示踪物的图像,从而获得掘进机截 割头的准确位置。其特征在于:对所述左相机和右相机进行定标,从而校正左相机和右相机镜头畸变,生 成矫正的图像;所述定标方法包括以下步骤:
1)、打印一张棋盘格,把它贴在一个平面上,作为标定物。
2)、通过调整标定物或相机的方向,为标定物拍摄一些不同方向的照片。
3)、从照片中提取棋盘格角点。
4)、估算理想无畸变的情况下,获得五个内参和六个外参;所述五个内参为镜头焦距f、相机像素尺寸dx、 dy,图像坐标系内极点的坐标u0、v0;所述六个外参为3个旋转参数和3个平移参数;
5)、应用最小二乘法估算实际存在径向畸变下的畸变系数;
6)、利用极大似然法,优化估算,提升估算精度;
7)、通过matlab软件求得所需参数,所述所需参数为上述五个内参和六个外参中的一个或多个参数,通 过所得参数矫正摄像机完成标定。
本发明申请还提供一种基于双示踪物的掘进机截割头定位方法,具体包括以下步骤:
1)利用左右红外相机获取图像,对所述图像进行二值化处理后得到二值化图像,对所述二值化图像进行 轮廓提取处理;
2)、所述轮廓提取处理包括:根据设定的特征值分割掘进机场景中最佳的一块或多块区域,并将所述一 块或多块区域的边界曲线提取为弗雷曼链码并归一化;计算目标区域周长Z和面积S;根据周长Z和面积 S计算得出圆的最小半径和最大半径:
Figure BDA0002470489170000021
Rmax=Z/2π;
3)、根据聚类思想和不共线三点确定圆心原理,采用Rmin,Rmax作为径向约束条件作预处理,利用最小 二乘法求取圆心;从所述链码中顺序选取不共线的三点,根据几何原理,不共线三点可唯一确定一个外接 圆,由此求得圆心坐标和半径。
4)、根据径向约束条件,选取合格的边界点;若不满足Rmin<R<Rmax,则顺次取不共线三点计算圆心 及半径R,直至满足约束条件的三点定为基准点;以三个基准点的前两个点为基础,继续从所述链码中选 取下一个点,并以新三点计算圆心坐标和半径R;若满足Rmin<R<Rmax,则保存该点,继续按顺序选 区下一点,不满足则从所述链码中删除该点;直到遍历所有链码,以去除无效或误差过大的边界点;
5)、使用这些合格的边界点,根据最小二乘法拟合获得圆心坐标;然后根据这些合格的边界点到圆心的 距离的方均根求得半径R。
6)、如果步骤2)中的上述根据设定的特征值分割掘进机场景中最佳的一块或多块区域为多块区域,则选 取半径R为最大的一个区域,作为场景中掘进机双示踪物的区域。
7)、根据步骤6)获得的双示踪物的区域后将双示踪物的二维信息转换成双示踪物的三维信息;根据左右 相机的成像公式获得掘进机上的第一示踪物的三维坐标和第二示踪物的三维坐标(第一示踪物和第二示踪 物为上述双示踪物);
8)、根据上述第一示踪物的三维坐标和第二示踪物的三维坐标,结合掘进机的机臂直径、截割头轮廓形 状以及质心参数,获得截割头中心的三维坐标,从而实现对截割头的定位。
附图说明
图1截割部定位系统整体示意图;
图2双目视觉中的三种坐标系;
图3相机标定流程示意图;
图4双目视觉中相机几何关系;
图5掘进机工作时截割头的中心点三维坐标;
图6双示踪物定位流程示意图。
具体实施方式
如图1所示,提供一种掘进机截割头定位系统,包括:恒温球形双示踪物1、识别双示踪物的红外摄 像机2、以及进行运算处理的地面服务站3三大部分。恒温球形双示踪物位于掘进机前端;红外摄像机包 括左摄像机和右摄像机,布置于掘进机上,位于双示踪物后方,用于拍摄双示踪物的图像。地面服务站与 红外摄像机进行无线或有线地通讯,用于处理红外摄像机采集的双目标图像,从而获得截割头的准确位置。 下面详细介绍如何通过双示踪物的图像获取截割头的准确位置。
计算机视觉(Computer Vision)是使用计算机及图像采集设备对生物视觉的一种仿生模拟,根据包含一 张或多张图像的图像组解析示踪物体的三维信息。三维信息包括示踪物体的三维几何坐标,示踪物体之间 的遮挡、相交关系,示踪物体的三维运动信息等。双目视觉是一种利用数字图像恢复示踪物体三维几何信 息的计算机视觉算法。
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像 设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信 息的方法。使用双目立体视觉进行定位的算法简称双目定位。
如图2所示,讨论双目视觉原理涉及到三个坐标系:世界坐标系、相机坐标系和图像坐标系。世界坐 标系中的点坐标记为P(xw,yw,zw),在相机坐标系用(xc,yc,zc)表示,图像坐标为相机所拍摄到的图像二 维坐标,一般分为两种:(u,v)是以像素为单位的图像坐标,(x,y)是以毫米为单位的图像坐标。建立以毫 米为单位的图像坐标是因为(u,v)坐标只表示了像素在数字图像中的行数和列数,并没有表示出该像素在 数字图像中的物理位置。
摄像机成像几何关系可由图1来表示。其中点O称为相机光心,xc轴与yc轴与图像的x轴与y轴平 行,zc轴为摄像机的光心线,与图像平面垂直。由点O与轴xc,yc,zc组成的直角坐标系即摄像机坐标 系。OO1为摄像机焦距,记为f,其值是由摄像机本身决定的。光心线与图像平面的交点称为图像坐标系 的内极点O1,其坐标习惯记为(u0,v0),一般位于图像的中心。由摄像机拍摄的离散数字图像的像素坐标 用(u,v)表示,其坐标原点选在图像的左上角。一般情况下,摄像机成像模型为小孔成像模型,其成像变 换矩阵是一个透视变换矩阵。
根据摄像机成像原理,空间一点P(xw,yw,zw)在图像中的像点P(u,v),是点P与摄像机光心O的连 线与摄像机屏幕的交点。若已知空间一点在左、右摄像机中的像点分别为P1(u1,v1)与P2(u2,v2),则原空 间点p位于空间射线O1P1与O2P2的延长线交点上,O1、O2分别为左右摄像机光心,对空间射线O1P1与 O2P2求交即可反求出P点的三维坐标如图3所示。因此,双目视觉可以看成是由图像坐标向三维世界坐标 影射的一个过程。
为了实现上述三维重构过程,必须解决如下两个问题:
(1)为了获取空间射线O1P1与O2P2的方程,首先须确定左、右摄像机各自的成像变换矩阵,求出成 像变换矩阵中的各元素,这一过程称为摄像机标定。
(2)像素点P1(u1,v1),与P2(u2,v2)要对应于空间同一个点P(xw,yw,zw),这样才能保证空间射线 与O1P1与O2P2相交。像素P1与P2称为一对立体点对,已知二者之一,求另外一点的过程称为立体匹配。
基于上述讨论,双目视觉的基本原理可描述为,首先对左、右摄像机标定,确定各自的成像变换矩阵, 然后在左摄像机图像中指定一个像素点P1(u1,v1),在右摄像机图像中进行立体匹配,找出与之匹配的像素 点P2(u2,v2),最后对空间射线O1P1与O2P2求交,确定P1与P2共同对应的原空间点的三维坐标。
接下来,介绍摄像机的坐标标定。摄像机又名相机,摄像机标定即相机标定,下面介绍相机标定原理:
在双目视觉原理的三个坐标系分别为:世界坐标系中的点坐标记为p(xw,yw,zw),相机坐标系用 p(xc,yc,zc),图像坐标系为(x,y);三种坐标的关系如图2所示。
1、摄像机标定
摄像机标定是确定摄像机投影矩阵的一个数值过程。设内极点O1在(u,v)坐标系中的坐标点(u0,v0), 每一个像素在x轴与y轴方向上物理尺寸为dx、dy,则像素坐标与物理坐标(x,y)之间存在以下转换关 系:
x=dx(u-u0)
y=dy(v-v0)
将其写成矩阵形式:
Figure BDA0002470489170000041
由于摄像机可能是从任意角度和位置对世界坐标系中的场景生成图像,因此摄像机坐标系和世界坐标 系之间的关系可以用一个旋转矩阵R和一个平移向量t来描述。点P的坐标P(xw,yw,zw)与P(xc,yc,zc) 之间的变换关系可以写成:
Figure BDA0002470489170000051
其中R为3×3正交单位旋转矩阵,t为3×1平移向量,0=(0,0,0),M为4×4矩阵。
由图2可知,摄像机坐标系中任意一点P(xc,yc,zc)在图像平面上的成像位置p(x,y)为光心O与P点 连线OP与图像平面交点,根据透视公式可得:
x=fxc/zc
y=fyc/zc
其中,f为摄像机焦距,zc为点P在摄像机坐标系下的深度坐标。因此,物体的摄像机坐标与图像 坐标之间的透视投影关系可以表示为
Figure BDA0002470489170000052
把式代入式,得到世界坐标系中的点P(xw,yw,zw)在摄像机屏幕上对应的图像p(u,v)的计算公式, 为了不失一般性,可以引入扭曲参数γ,该参数用来表示像素坐标系两个坐标轴的扭曲:
Figure BDA0002470489170000053
其中f/dx、f/dy、γ、u0、v0只与摄像机内部结构有关,称这些参数为摄像机的内部参数,M1称为内参数矩阵,因于大多数标准相机而言γ参数可视为0,以下推导将其视为0考虑。M2取决于世界 坐标系的选取与摄像机放置方式,称为外参数矩阵。M=M1M2称为3×4成像变换矩阵,则:
Figure BDA0002470489170000054
摄像机的标定就是确定M矩阵中3×4=12个分量的值,该过程可通过人机交互与最小二乘法完成,首 先选取一个标准测试物体(如标准柱面、标准倾斜平面),选定合适的世界坐标系,并在标准测试物体上 标出若干测试点以pi(i=1,2,3,…,n)确定各测试点的三维坐标P(xw,yw,zw),通过人机交互方法确定各 测试点在图像中的像素坐标(ui,vi),代入方程(5),得到关于矩阵中的12个分量的N个方程,利用最 小二乘法求解得到矩阵中各分量,从而完成摄像机标定。
下面详细介绍摄像机标定的具体步骤,如图3所示。
1、打印一张棋盘格,把它贴在一个平面上,作为标定物。
2、通过调整标定物或相机的方向,为标定物拍摄一些不同方向的照片。
3、从照片中提取棋盘格角点。
4、估算理想无畸变的情况下,获得五个内参:f、dx、dy、u0、v0和六个外参:3个旋转参数R和 3个平移参数t。
5、应用最小二乘法估算实际存在径向畸变下的畸变系数;
6、利用极大似然法,优化估计,提升估计精度;
7、通过matlab软件求得所需参数,所述所需参数为上述五个内参和六个外参中的一个或多个参数, 通过所得参数矫正摄像机完成标定。
标定相机后,1)可以校正镜头畸变,生成矫正后的图像;2)是根据获得的图像重构三维场景;由此 可知相机标定是至关重要的。
而在实际工程项目中相机如果只需相机内部参数(例如,相机的焦距),且相机没有改变内部参数的 情况下,不需要重新标定。如果需要外部参数,改变位置后外部参数(相机相对于世界坐标系的位置)改 变了,或者相机的内部参数改变了,需要重新标定。
2、目标中心点像素坐标的确定
根据图4,需要将目标在左右相机中所成像的中心点p1(u1,v1)与p2(u2,v2)构成立体点对,才能最终 映射到原始的目标点。在掘进机工作时,与岩层或煤层持续摩擦而产生大量热量的截割部温度远高于周围 物体,且成像面积也是红外相机可拍摄到的红外热源中最大的。因此我们采用阈值分割和面积筛选的方法 可以方便的得到掘进机截割部在红外相机中所成的像。
阈值分割的基本原理是:通过设定特征阈值,把像素分为若干类。常用的特征包括直接来自原始图像 的灰度或色彩特征,以及由原始灰度或者彩色值变换得到的特征。因红外相机拍摄的图像直接以灰度图像 呈现,所以可以根据灰度范围来分割原始图像以得到对应实景中掘进机截割部的图像部分。
设原始图像为I(x,y),将I(x,y)先腐蚀再膨胀,可以得到消除较小噪点的图像I0(x,y)。按照一定 准则在I0(x,y)中找到特征值T,将图像分割为两个部分,分割后的图像为:
Figure BDA0002470489170000061
取b0=0,b1=255,直接将阈值分割出的图像二值化。因掘进机截割部在工作时温度远高于环境温 度以及其他可能出现在红外相机图像在的热源,因此特征值T的选取较为简单,根据实验情况,一般选取 230~255间的特征值可以很好的分割出图像中包含对应实景中掘进机截割部的一块或多块儿区域。
在确定图像中包含对应实景中掘进机截割部的一块或多块区域后,将各区域其边界曲线提取为 Freeman方向链码并归一化。即在示踪物边界曲线上选取一点作为起点,记录起点的坐标,然后按照顺时 针的方向,以8连通的方式从编码为1的方向(45°)开始搜索下一个边界像素点。找到之后记录方向编 码,然后从找到的像素点开始重复以上步骤,得出一组链码。
设任一区域的归一化Freeman方向链码为A(a1,a2...,an),对应的像素坐标序列为B(b1,b2,...,bn), bi(ui,vi)为链码ai对应的像素坐标。
因链码的编码方式为使用0~7八个数字表示某像素和8邻域内各个像素的连线方向,其中偶数码为水 平或垂直方向链码,码长为1,奇数码为对角线方向链码,码长为
Figure BDA0002470489170000071
所以目标区域周长Z可以表示为:
Figure BDA0002470489170000072
其中n为链码序列中链码总数,ne为链码序列中偶数码个数。目标区域面积S可以 表示为边界链码对x轴的积分:
Figure BDA0002470489170000073
其中vi=vi-1+ai2,v0是初始点的纵坐标,ai0和 ai2分别是链码第i环的长度在k=0(水平方向)和k=2(垂直方向)的分量。由于掘进机截割部对应的 图像区域的边界链码为封闭链码,v0可任意选取。
根据聚类思想并结合不共线三点确定圆心原理,采用
Figure BDA0002470489170000074
Rmax=Z/(2π)作为径向约束 预处理的最小二乘法求取圆心。
从边界链码中顺序选取不共线的三点A(ua,va)、B(ub,vb)、C(uc,vc),根据几何原理,不共线三点 可唯一确定一个外接圆,设圆心为(u0,v0)则有:
(ua-u0)2+(va-v0)2=(ub-u0)2+(vb-v0)2
(ua-u0)2+(va-v0)2=(uc-u0)2+(vc-v0)2\*MERGEFORMAT(7)
化简得:
(ua-ub)u0+(va-vb)v0=(ua 2-ub 2)-(vb 2-va 2)2/2
(ua-uc)u0+(vc-va)v0=(ua 2-uc 2)-(vc 2-va 2)2/2\*MERGEFORMAT(8)
根据克莱姆法则求解得:
Figure BDA0002470489170000075
Figure BDA0002470489170000076
根据u0、v0可进一步求出半径R。如果求出的半径R不满足Rmin<R<Rmax,再顺次取不共线三点 计算圆心及半径R,直到满足Rmin<R<Rmax。将满足约束条件的三点定为基准三点,以基准三点的前两 个点为基础,继续从链码中选取下一个点,并以新三点计算圆心坐标和半径R,若半径R满足 Rmin<R<Rmax,保存该点,继续按顺序选区下一点,不满足则从链码中删除该点。循环执行此操作,直 到遍历所有链码,以去除无效或误差过大的边界点。
使用保留的边界链码表中对应的边界点坐标根据最小二乘法拟合圆心,设取出的边界点集合为 (ui,vi)(i=1,2,...,n),设与该组数据点的距离的平方和为最小的圆的方程为:
(u-u0)2+(v-v0)2=R\*MERGEFORMAT(10)
设a1=∑ui,b1=∑vi,a2=∑ui 2,b2=∑vi 2,a3=∑ui 3,b3=∑vi 3,c11=∑ui*vi,c12=∑ui*vi 2,c21=∑ui 2*vi,并设f(u0,v0,R)=∑((ui-u0)2+(vi-v0)2-R2)2,令
Figure BDA0002470489170000081
即:
-4∑((ui-u0)2+(vi-v0)2-R2)(ui-u0)=0
-4∑((ui-u0)2+(vi-v0)2-R2)(vi-v0)=0
-4∑((ui-u0)2+(vi-v0)2-R2)R=0\*MERGEFORMAT(11)
将a1,b1,a2,b2,a3,b3,c11,c12,c21,带入式并整理得:
a1(u0 2+v0 2)-2a2u0-2c11v0+a3+c12-a1R2=0
b1(u0 2+v0 2)-2c11u0-2b2v0+c21+b3-b1R2=0
n(u0 2+v0 2)-2a1u0-2b1v0+a2+b2-nR2=0\*MERGEFORMAT(12)
解得:
Figure BDA0002470489170000082
Figure BDA0002470489170000083
Figure BDA0002470489170000084
因工作中的掘进机截割部在红外相机拍摄范围内是面积最大的红外热源,因此通过对比每张图像中所 有目标区域的半径R,取半径R最大的一个区域便可确定图像中对应实景中掘进机截割部的区域。
3、目标点空间坐标的确定
由成像变换公式可知,已知空间点的二维图像坐标(u,v),则式成为关于xw、yw、zw以及zc的一次 代数方程组,对于两个摄像机,可以得到关于xw、yw、zw以及zc的两个极线方程,消去zc后可得极线 交点,即为空间点P(xw,yw,zw)。设左右两摄像机的成像公式分别为:
Figure BDA0002470489170000091
Figure BDA0002470489170000092
在两个成像变换公式中分别消去zc1和zc2,可以得到方程组:
Figure BDA0002470489170000093
设:
Figure BDA0002470489170000094
Figure BDA0002470489170000095
Figure BDA0002470489170000096
P=(DTD)-1DTH\*MERGEFORMAT(15)
由式可得P点的空间三维坐标xw、yw、zw
4、基于双示踪物的掘进机截割部定位
如图5所示,根据上文所述双目定位方法,可求出示踪物tp1、tp2的三维坐标obj1(xobj1,yobj1,zobj1)和 obj2(xobj2,yobj2,zobj2)。
Figure BDA0002470489170000097
为双示踪物构成的与掘进臂平行的直线距离掘进臂中心直线的距离,
Figure BDA0002470489170000098
为过tp2做与掘进臂中心相交的垂直直线的交点md2到截个部中心的距离。则向量
Figure BDA0002470489170000101
其中O=(0,0,0),其单位向量
Figure BDA0002470489170000102
Figure BDA0002470489170000103
由勾股定理可得
Figure BDA0002470489170000104
Figure BDA0002470489170000105
由几何关系可得
Figure BDA0002470489170000106
Figure BDA0002470489170000107
由于θ会影响sin(θ-π/2)的值,为将其拓展到π>θ>0范围内,令
Figure BDA0002470489170000108
则在π>θ>0范围内有:。
Figure BDA0002470489170000109
由式即可得到掘进机截割头的精确三维位置。
至此我们根据示踪物的定位信息精确地对掘进机截割部进行识别定位。
下面,具体描述一下基于双示踪物的掘进机截割头定位的方法步骤:
1、利用左右红外相机获取图像,对所述图像进行二值化处理后得到二值化图像,对所述二值化图像 进行轮廓提取处理;
2、所述轮廓提取处理包括:根据设定的特征值分割掘进机场景中最佳的一块或多块区域,并将所述 一块或多块区域的边界曲线提取为弗雷曼链码(Freeman链码)并归一化;计算目标区域周长Z和面积S; 根据周长Z和面积S计算得出圆的最小半径和最大半径:
Figure BDA00024704891700001010
Rmax=Z/2π
3、根据聚类思想和不共线三点确定圆心原理,采用Rmin,Rmax作为径向约束条件作预处理,利用最 小二乘法求取圆心;从弗雷曼链码中顺序选取不共线的三点,根据几何原理,不共线三点可唯一确定一个 外接圆,由此求得圆心坐标和半径;
4、根据径向约束条件,选取合格的边界点;若不满足Rmin<R<Rmax,则顺次取不共线三点计算圆 心及半径R,直至满足约束条件的三点定为基准点;以三个基准点的前两个点为基础,继续从链码中选取 下一个点,并以新三点计算圆心坐标和半径R;若满足Rmin<R<Rmax,则保存该点,继续按顺序选区 下一点,不满足则从链码中删除该点;直到遍历所有链码,以去除无效或误差过大的边界点;
5、使用这些合格的边界点,根据最小二乘法拟合获得圆心坐标;然后根据这些合格的边界点到圆心 的距离的方均根求得半径R;
6、如果步骤2)中的上述根据设定的特征值分割掘进机场景中最佳的一块或多块区域为多块区域,则 选取半径R为最大的一个区域,作为场景中掘进机双示踪物的区域。
7、根据步骤6)获得的双示踪物的区域后将双示踪物的二维信息转换成双示踪物的三维信息;根据左 右相机的成像公式获得掘进机上的第一示踪物的三维坐标和第二示踪物的三维坐标;
8、根据上述第一示踪物的三维坐标和第二示踪物的三维坐标,结合掘进机的机臂直径、截割头轮廓 形状以及质心参数,获得截割头中心的三维坐标,从而实现对截割头的定位。
上述方法步骤的流程示意图如图6所示。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在 不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实 施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (2)

1.一种用于掘进机截割头定位系统中的相机标定方法,所述定位系统包括恒温球形双示踪物、左相机、右相机、以及地面服务站;所述左相机和右相机均为红外相机;恒温球形双示踪物位于掘进机前端,左相机和右相机设置于掘进机上且位于所述双示踪物后方,用于拍摄所述双示踪物的图像;所述地面服务站与左相机和右相机进行无线通信,用于处理左相机和右相机采集的所述双示踪物的图像,从而获得掘进机截割头的准确位置。其特征在于:对所述左相机和右相机进行标定,从而校正左相机和右相机镜头畸变,生成矫正的图像;所述标定方法包括以下步骤:
1)、打印一张棋盘格,把它贴在一个平面上,作为标定物。
2)、通过调整标定物或相机的方向,为标定物拍摄一些不同方向的照片。
3)、从照片中提取棋盘格角点。
4)、估算理想无畸变的情况下,获得五个内参和六个外参;所述五个内参为镜头焦距f、相机像素尺寸dx、dy,图像坐标系内极点的坐标u0、v0;所述六个外参为3个旋转参数和3个平移参数;
5)、应用最小二乘法估算实际存在径向畸变下的畸变系数;
6)、利用极大似然法,优化估算,提升估算精度;
7)、通过matlab软件求得所需参数,所述所需参数为上述五个内参和六个外参中的一个或多个参数,通过所得参数矫正摄像机完成标定。
2.一种基于双示踪物的掘进机截割头定位方法,利用权利要求1所述的相机标定方法对相机进行标定,其特征在于:所述定位方法包括以下步骤:
1)利用左右红外相机获取图像,对所述图像进行二值化处理后得到二值化图像,对所述二值化图像进行轮廓提取处理;
2)、所述轮廓提取处理包括:根据设定的特征值分割掘进机场景中最佳的一块或多块区域,并将所述一块或多块区域的边界曲线提取为弗雷曼链码并归一化;计算目标区域周长Z和面积S;根据周长Z和面积S计算得出圆的最小半径和最大半径:
Figure FDA0002470489160000011
Rmax=Z/2π;
3)、根据聚类思想和不共线三点确定圆心原理,采用Rmin,Rmax作为径向约束条件作预处理,利用最小二乘法求取圆心;从所述链码中顺序选取不共线的三点,根据几何原理,不共线三点可唯一确定一个外接圆,由此求得圆心坐标和半径。
4)、根据径向约束条件,选取合格的边界点;若不满足Rmin<R<Rmax,则顺次取不共线三点计算圆心及半径R,直至满足约束条件的三点定为基准点;以三个基准点的前两个点为基础,继续从所述链码中选取下一个点,并以新三点计算圆心坐标和半径R;若满足Rmin<R<Rmax,则保存该点,继续按顺序选区下一点,不满足则从所述链码中删除该点;直到遍历所有链码,以去除无效或误差过大的边界点;
5)、使用这些合格的边界点,根据最小二乘法拟合获得圆心坐标;然后根据这些合格的边界点到圆心的距离的方均根求得半径R。
6)、如果步骤2)中的上述根据设定的特征值分割掘进机场景中最佳的一块或多块区域为多块区域,则选取半径R为最大的一个区域,作为场景中掘进机双示踪物的区域。
7)、根据步骤6)获得的双示踪物的区域后将双示踪物的二维信息转换成双示踪物的三维信息;根据左右相机的成像公式获得掘进机上的第一示踪物的三维坐标和第二示踪物的三维坐标(第一示踪物和第二示踪物为上述双示踪物);
8)、根据上述第一示踪物的三维坐标和第二示踪物的三维坐标,结合掘进机的机臂直径、截割头轮廓形状以及质心参数,获得截割头中心的三维坐标,从而实现对截割头的定位。
CN202010347000.4A 2020-04-28 2020-04-28 一种掘进机截割头定位中的相机标定方法 Active CN111524195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010347000.4A CN111524195B (zh) 2020-04-28 2020-04-28 一种掘进机截割头定位中的相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010347000.4A CN111524195B (zh) 2020-04-28 2020-04-28 一种掘进机截割头定位中的相机标定方法

Publications (2)

Publication Number Publication Date
CN111524195A true CN111524195A (zh) 2020-08-11
CN111524195B CN111524195B (zh) 2022-12-20

Family

ID=71905826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010347000.4A Active CN111524195B (zh) 2020-04-28 2020-04-28 一种掘进机截割头定位中的相机标定方法

Country Status (1)

Country Link
CN (1) CN111524195B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112923849A (zh) * 2021-01-27 2021-06-08 长春涵智科技有限公司 基于轮廓传感器的空间定位方法及系统
CN113701633A (zh) * 2021-09-06 2021-11-26 安徽深核信息技术有限公司 一种掘进机位姿监测设备
CN113989386A (zh) * 2021-10-27 2022-01-28 武汉高德智感科技有限公司 一种红外相机标定方法及系统
CN115564772A (zh) * 2022-11-18 2023-01-03 深圳市大族封测科技股份有限公司 焊球识别方法、焊接设备及存储介质
CN115962783A (zh) * 2023-03-16 2023-04-14 太原理工大学 掘进机截割头的定位方法及掘进机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106580470A (zh) * 2016-10-18 2017-04-26 南京医科大学附属口腔医院 基于双目视觉的头部定位方法及系统
CN108253938A (zh) * 2017-12-29 2018-07-06 武汉大学 Tbm破岩矿渣数字近景摄影测量识别及反演方法
CN109767477A (zh) * 2019-01-14 2019-05-17 冀中能源峰峰集团有限公司 一种精确定位系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106580470A (zh) * 2016-10-18 2017-04-26 南京医科大学附属口腔医院 基于双目视觉的头部定位方法及系统
CN108253938A (zh) * 2017-12-29 2018-07-06 武汉大学 Tbm破岩矿渣数字近景摄影测量识别及反演方法
CN109767477A (zh) * 2019-01-14 2019-05-17 冀中能源峰峰集团有限公司 一种精确定位系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杜雨馨: "矿井悬臂式掘进机位姿感知及定位方法研究", 《中国优秀博硕士学位论文全文数据库(博士) 工程科技Ⅰ辑》 *
江诚: "基于双目视觉的钢拱架位姿测量技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
高希报: "图像中几种实用的目标定位方法研究与应用", 《中国优秀博硕士学位论文全文数据库(硕士)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112923849A (zh) * 2021-01-27 2021-06-08 长春涵智科技有限公司 基于轮廓传感器的空间定位方法及系统
CN113701633A (zh) * 2021-09-06 2021-11-26 安徽深核信息技术有限公司 一种掘进机位姿监测设备
CN113989386A (zh) * 2021-10-27 2022-01-28 武汉高德智感科技有限公司 一种红外相机标定方法及系统
CN115564772A (zh) * 2022-11-18 2023-01-03 深圳市大族封测科技股份有限公司 焊球识别方法、焊接设备及存储介质
CN115564772B (zh) * 2022-11-18 2023-03-07 深圳市大族封测科技股份有限公司 焊球识别方法、焊接设备及存储介质
CN115962783A (zh) * 2023-03-16 2023-04-14 太原理工大学 掘进机截割头的定位方法及掘进机
CN115962783B (zh) * 2023-03-16 2023-06-02 太原理工大学 掘进机截割头的定位方法及掘进机

Also Published As

Publication number Publication date
CN111524195B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN111524195B (zh) 一种掘进机截割头定位中的相机标定方法
CN111553948B (zh) 一种基于双示踪物的掘进机截割头定位方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN102034238B (zh) 基于光学成像测头和视觉图结构的多摄像机系统标定方法
CN104933718B (zh) 一种基于双目视觉的物理坐标定位方法
CN100430690C (zh) 利用单数码相机自由拍摄进行物体三维测量的方法
CN110176032B (zh) 一种三维重建方法及装置
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN103530880B (zh) 基于投影高斯网格图案的摄像机标定方法
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN110044374B (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN104463969B (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
JP2004213332A (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具
CN107481288A (zh) 双目摄像头的内外参确定方法和装置
CN105043250B (zh) 一种基于至少两个公共标记点的双视角数据对齐方法
CN108227929A (zh) 基于bim技术的增强现实放样系统及实现方法
CN108154536A (zh) 二维平面迭代的相机标定法
Frohlich et al. Absolute pose estimation of central cameras using planar regions
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
CN116912333B (zh) 一种基于作业围栏标定杆的相机姿态自标定方法
CN108171753A (zh) 基于形心特征点与邻域灰度互相关性的立体视觉定位方法
CN112232319A (zh) 一种基于单目视觉定位的扫描拼接方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant