CN110910454B - 一种牲畜三维重构移动式设备的自动标定配准方法 - Google Patents

一种牲畜三维重构移动式设备的自动标定配准方法 Download PDF

Info

Publication number
CN110910454B
CN110910454B CN201910964130.XA CN201910964130A CN110910454B CN 110910454 B CN110910454 B CN 110910454B CN 201910964130 A CN201910964130 A CN 201910964130A CN 110910454 B CN110910454 B CN 110910454B
Authority
CN
China
Prior art keywords
point
fitting
point cloud
points
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910964130.XA
Other languages
English (en)
Other versions
CN110910454A (zh
Inventor
尹令
石帅
田绪红
刘财兴
吴珍芳
蔡更元
钟浩杰
梁世豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201910964130.XA priority Critical patent/CN110910454B/zh
Publication of CN110910454A publication Critical patent/CN110910454A/zh
Application granted granted Critical
Publication of CN110910454B publication Critical patent/CN110910454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种牲畜三维重构移动式设备的自动标定配准方法,其包括以下步骤:设定深度相机进行点云数据采集;选择立方体标定物;通过深度相机获取标定物的点云通过位置关系完成深度相机坐标系到世界坐标系的转换;根据立方体标定物与深度相机的距离位置划出最小包围盒;对原始点云进行处理,从而确定并分离与深度相机正面平行的拟合平面,并通过平面模型去拟合所述的拟合平面;确定与深度相机正面平行的拟合平面上的关键点最终求得关键点的坐标为(x,y,z);对拟合平面进行两两配准操作,并计算配准参数,最终得到
Figure DDA0002229927630000011
关于
Figure DDA0002229927630000012
的变换矩阵R与T;对变换矩阵R与T进行评估检测。本发明所述的方法标定速度快、准确,且不受外界环境约束和影响。

Description

一种牲畜三维重构移动式设备的自动标定配准方法
技术领域
本发明涉及牲畜三维重构技术领域,更具体的,涉及一种牲畜三维重构移动式设备的自动标定配准方法。
背景技术
牲畜如猪、牛、羊等需要定期进行体型数据测量,获取体长、体高、体宽、腹围等数据,人工测量费时费力,精确度不高;采用三维摄像设备重构牲畜三维形体有助于快速、高效自动测量体尺数据进行牲畜体况评分。
深度相机的采集视角有限,为了获得牲畜完整的三维点云,需要从不同角度同时获取不同视角点云数据,以足够覆盖牲畜的全轮廓。深度相机参数分为内参数和外参数,内参是由相机本身机械特性决定的,如相机焦距、畸变系数等,而相机外参是相机本身在世界坐标系中的相关参数,如位置、旋转量、平移量等。多台不同深度相机从不同角度获取同一物体的局部点云,重构时需要对多个点云进行配准融合,即计算深度相机之间的相对位置关系,通过坐标变换将不同深度相机采集的三维点云数据,从各自相机坐标系转换到一个共同的世界坐标系中。深度相机标定配准非常关键,将直接影响后续三维点云配准融合的准确度。深度相机标定配准分为手动、仪器和自动标定配置三种。养殖场环境下受到场地和操作人员专业知识限制手动标定和仪器标定都不适合操作。
发明内容
本发明为了解决在养殖场环境中,由于受到场地和操作人员专业知识限制,采用手动标定和仪器标定无法快速、准确地完成多点云配准问题,提供了一种牲畜三维重构移动式设备的自动标定配准方法,在养殖环境下指定测量范围了上、左、右三个方向任意位置固定三个深度相机即可采用自动标定配准,不受人为因素干扰,且配准速度快,准确度高。
为实现上述本发明目的,采用的技术方案如下:一种牲畜三维重构移动式设备的自动标定配准方法,所述方法包括以下步骤:
S1:将三个深度相机分别固定在待测量牲畜通道的正上方、左侧和右侧,分别称为上方深度相机、左侧深度相机和右侧深度相机,对应采集牲畜的背部、左侧部和右侧部的轮廓信息,其中三个深度相机成像的局部坐标系分别为上方相机(xt,yt,zt),左侧相机(xl,yl,zl),右侧相机(xr,yr,zr);并指定世界坐标系与左侧相机坐标系一致;
S2:选择立方体标定物,将标定物放置于三个深度相机捕获点云空间的中心位置,立方体标定物与各个深度相机的距离在0.8m到1.5m之间;
S3:三个深度相机分别获取立方体标定物的点云,通过位置关系完成深度相机坐标系到世界坐标系的转换;根据立方体标定物与深度相机的距离位置划出最小包围盒,保留在最小包围盒内的点云,去除掉在最小包围盒外的点云;
S4:为了获取立体标定物所对应的平面点云,对步骤S3获得的原始点云进行处理,从而确定并分离与深度相机正面平行的拟合平面,并通过平面模型去拟合所述的拟合平面;
S5:确定与深度相机正面平行的拟合平面上的关键点,利用公式F(t)求得点云每个点的权值并且进行排序,结合深度相机的采集精确度和点云实际应用精度设置变量n的大小,计算权值最大的前n点集拟合平面上的坐标均值,最终求得关键点的坐标为(x,y,z);
S6:将所有的拟合平面均放在世界坐标系中,根据每个拟合平面上的关键点,将任意两个拟合平面进行两两配准操作;并计算配准参数,最终得到
Figure BDA0002229927610000021
关于
Figure BDA0002229927610000022
的变换矩阵R与T;
S7:通过在拟合平面上随机选取n个点pi,与之配准的另一个拟合平面上有对应欧式距离最小的m个点qi,将对应点之间的欧式距离近似为配准后标定物的边长,求其标准差和均值,通过标准差和均值对变换矩阵R与T进行评估检测。
优选地,步骤S2,所述立方体标定物的长为50cm,宽为50cm,高为50cm,每个侧面的夹角都是90度。
进一步地,步骤S3,所述通过位置关系完成深度相机坐标系到世界坐标系的转换,具体如下:深度相机坐标(xk,yk,zk)与世界坐标系转换关系如下:
Figure BDA0002229927610000023
其中,R为旋转矩阵,表示深度相机在世界坐标系统的旋转量是一个空间角;不同的深度相机坐标,对应不同的旋转矩阵R。
再进一步地,步骤S4,所述通过平面模型去拟合所求的拟合平面,具体如下:
首先选取原始点云中的一部分点云构成初始内点,并设置内点距离阀值和内点最少数量阀值,用初始内点拟合平面模型,通过计算平面模型与剩余每个点的距离,将小于内点距离阀值的点云加入内点,如果内点数量大于设定最少数量阀值,则认为模型合理;然后重新用内点估计新的平面模型,通过内点与平面模型的错误率来评估模型,这是迭代1次的过程,而迭代次数影响拟合平面的速度,设置最大迭代次数K与动态迭代次数k保证算法的效率,k的关系如下:
Figure BDA0002229927610000031
其中,p为置信度,w为内点点云的比例,m为计算模型所需要的最小点云点数;
通过设定半径d与临近点阀值u来剔除离群点,对在半径d之内,临近点大于u的点云保留,否则去除。
再进一步地,为了进一步去除无关点云群,利用聚类分割方法进行点云处理,对于点云中每个点都有其对应的特征和属性,通过给定的一组数据点,根据其特征或属性进行相应的分组,从而获取几组特征、属性各不同的数据组;
所述聚类分割方法具体步骤如下:从样本N中选取K个质心,遍历每个样本个体i计算与每个质心的欧式距离,将其距离最小的归为一个簇类,此时所有样本被分为K个簇类,然后重新计算质心并且返回开始进行迭代,直到质心不在移动或者移动较小为止,具体公式如下:
Figure BDA0002229927610000032
其中,N代表样本容量,K代表质心数量,xi为样本i个体,即为i的欧式坐标,Rik是xi关于簇类k的关系,公式如下:
Figure BDA0002229927610000033
当目标函数F越小,各个簇类样本特征越相似,因此首先初始化uk为常数,对目标函数F求uk的偏导数,令其为0时对应的uk,过程如下:
Figure BDA0002229927610000041
式中,uk表示为质心k所对应簇类样本数据的均值,即为:
Figure BDA0002229927610000042
利用聚类分割,并且设置聚类点数量阀值,保留平面点云,去除无关点云群。
再进一步地,步骤S5,所述关键点为拟合平面的四个角点;
设公式F(t)的关系公式如下:
Figure BDA0002229927610000043
其中,xt,yt,zt对应点的坐标值,F(t)大小表明了点到原点的位置关系权值,数值越大代表越逼近所求关键点,t则对应点云中每个点的序号,利用函数F(t)求得每个点的权值并且进行排序;
Figure BDA0002229927610000044
公式中,n表示距离关键点权值最大的前n个点。
再进一步地,步骤S6,所述拟合平面进行两两配准操作,确定需要配准的两个拟合平面对应的四角关键点,并将需要配准的两个拟合平面通过平移对应到同一个点,接着分别进行两次旋转对齐,直到两个拟合平面完全还原实际物理位置关系。
再进一步地,其中,左侧拟合平面与上方拟合平面的配准操作,具体步骤如下:
S601:首先选定同一公共点,求得平移矩阵T,关系如下:
T=(xt-xl yt-yl zt-zl)
其中,坐标(xt,yt,zt)代表上方拟合平面的关键点,坐标(xl,yl,zl)代表左侧拟合平面的关键点,求得T后对左侧拟合平面进行平移;
此时直线AlBl与直线AtCt形成了空间中的夹角,该夹角可以分解成Y、Z方向上α、β角,以At为旋转中心进行旋转操作,对旋转角而言,可以将其分解为绕YZX三轴旋转角度分别为α,β,γ,则有对应变换矩阵:
Figure BDA0002229927610000051
旋转后的AlBl与AtCt在空间中处于共线的位置关系,
最后求得∠DlCtDt与实际标定物对应角θ之差,记为γ;以AlBl与AtCt所在直线为轴进行旋转。
再进一步地,其中所述计算求得配准参数,如下:
A1:首先求得第一次旋转平移对应矩阵公式,公式如下:
Figure BDA0002229927610000052
其中,α、β为配准过程中所求旋转角,x0、y0、z0为待配准的原始坐标,Δx、Δy、Δz为进行的偏移量,x1、y1、z1是相应变换后的坐标,旋转矩阵和偏移矩阵可化为R1与T1
A2:接下来进行最后一次γ角的旋转,由于γ角以AlBl与AtCt所在直线为轴进行旋转;因此先将AlBl与AtCt所在直线的轴转化成与世界坐标系一致,公式如下:
Figure BDA0002229927610000053
其中,α1、β1为AlBl与AtCt所在直线轴与世界坐标系轴的夹角;Δx1、Δy1、Δz1为关键点A到世界坐标系原点的距离;x2、y2、z2是坐标轴变换后的坐标,R2表示旋转矩阵,T2表示偏移矩阵;
A3:现在进行最后一次γ角的旋转,并且还原AlBl与AtCt所在直线的轴初始位置,公式关系如下:
Figure BDA0002229927610000061
Figure BDA0002229927610000062
式中,x3、y3、z3是γ角旋转后的坐标,R3为旋转矩阵,R4、-T2表示与之相反的还原偏移矩阵;
其中
Figure BDA0002229927610000063
Figure BDA0002229927610000064
A4:将结合上述式子,可得:
Figure BDA0002229927610000065
化简整合,其中,I为单位矩阵,最终得到
Figure BDA0002229927610000066
关于
Figure BDA0002229927610000067
的变换矩阵R与T。
再进一步地,步骤S7,所述标准差,其计算公式如下:
Figure BDA0002229927610000068
式中,S表示标准差,
Figure BDA0002229927610000069
表示pi与qi之间的平均距离;
Figure BDA00022299276100000610
其中,Δl为均值与实际边长的误差,通过对S和Δl的数值大小设置对应阀值来确定变化矩阵是否达到配准要求,若小于对应阀值则认为符合要求,保存矩阵对数据进行相应变化,否则重新采集数据计算直到符合阀值设置为止。
本发明的有益效果如下:
本发明通过选取标准的立方体作为标定物,然后从多个方向应用深度相机获取标定物立方体的点云,通过不同深度相机正对立方体标定物的立方体平面进行配准来求取各个深度相机对应统一世界坐标系的旋转和偏移矩阵,实现多个深度相机坐标系的统一标定配准;本发明所述的方法标定速度快、准确,且不受外界环境约束和影响。
附图说明
图1是本实施例所述自动标定配准方法的步骤流程图。
图2是本实施例深度相机与标定物在世界坐标系中的示意图。
图3是本实施例上方深度相机的坐标系到世界坐标系转换图。
图4是本实施例所述半径临近点阈值点云去噪的示意图。
图5是本实施例所述左侧拟合平面关键点的示意图。
图6是本实施例世界坐标系下各拟合平面及关键点的示意图。
图7是本实施例关键点选取A的平移过程示意图。
图8是本实施例α、β角并且进行旋转过程的示意图。
图9是本实施例拟合平面沿着γ角旋转过程的示意图。
图10是本实施例拟合平面配准完成示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示,一种牲畜三维重构移动式设备的自动标定配准方法,其具体包括以下步骤:
步骤S1:将三个深度相机分别固定在待测量牲畜通道的正上方、左侧和右侧,分别称为上方深度相机、左侧深度相机和右侧深度相机,其分别采集牲畜背部、左侧部和右侧部的轮廓信息,其中三个深度相机成像的局部坐标系分别为,上方相机(xt,yt,zt),左侧相机(xl,yl,zl),右侧相机(xr,yr,zr)。为了利于观察与配准,所以指定世界坐标系与左侧相机坐标系一致,如图2所示。
步骤S2:本实施例选择高精度的立方体标定物,所述立方体标定物的长为50cm,宽为50cm,高为50cm,每个侧面的夹角都是90度,其由硬质木板加工而成,有较好平整性和精度。本实施例选择的立方体标定物足够大,能够估计和优化几何特征,降低噪声和不准确性,同时容易重现标定物。将立方体标定物放置于三个深度设备捕获点云空间的中心位置,立方体标定物与各自深度相机的距离在0.8m到1.5m之间,以尽量消除偏差和减少噪声。
步骤S3:三个深度相机分别获取立方体标定物的点云,通过位置关系完成深度相机坐标系到世界坐标系的转换;其中深度相机坐标(xk,yk,zk)与世界坐标系转换关系如下:
Figure BDA0002229927610000081
其中,R为旋转矩阵,表示深度相机在世界坐标系统的旋转量是一个空间角;不同的深度相机坐标,对应不同的旋转矩阵R。
下面以上方深度相机为例,如图3所示,上方深度相机坐标(xt,yt,zt)与世界坐标系转换关系如下:
Figure BDA0002229927610000082
其中,上方深度相机到世界坐标系的旋转矩阵为:
Figure BDA0002229927610000083
本实施例根据立方体标定物与深度相机的距离位置划出最小包围盒,保留在最小包围盒内的点云,去除掉在最小包围盒外的点云;这样可以去除背景,同时减少需要操作的点云数。
步骤S4:步骤S3初步获得的点云为原始点云,其包含了大量的无关点,例如地面、杂物以及噪声点等,而立方体标定物所对应的平面点云才为有效点云数据。因此为了获取立体标定物所对应的平面点云,对步骤S3获得的原始点云进行处理,从而确定并分离与深度相机正面平行的拟合平面,并通过平面模型去拟合所述的拟合平面;
本实施例通过平面模型去拟合所求的拟合平面,即标定物平面。其具体步骤如下:首先选取原始点云中的一部分点云构成初始内点,并设置内点距离阈值和内点最少数量阈值,用初始内点拟合平面模型,通过计算平面模型与剩余每个点的距离,将小于内点距离阀值的点云加入内点,如果内点数量大于设定最少数量阀值,则认为模型合理;然后重新用内点估计新的平面模型,通过内点与平面模型的错误率来评估模型,这是迭代1次的过程,而迭代次数影响拟合平面的速度,设置最大迭代次数K与动态迭代次数k保证算法的效率,k的关系如下:
Figure BDA0002229927610000091
其中,p为置信度,w为内点点云的比例,m为计算模型所需要的最小点云点数;
通过设定半径d与临近点阀值u来剔除离群点,对在半径d之内,临近点大于u的点云保留,否则去除。例如设定半径为d,临近点阀值u=3,对于检测点在半径d做判断,如图4所示,只有(c)符合半径d内临近点大于3,故保留。
在实际点云采集数据过程中若存在其他物体的干扰、阻挡等,会形成大量无关点云群,此时去噪的算法并不能起到很好的效果,如果不能有效去除无关点云群,则会对下一步骤中关键点的选取产生影响,导致最终变换矩阵的系数有所偏差。因此本实施例采用聚类分割方法进行点云处理,其能有效的解决这一问题。对于点云中每个点都有其对应的特征和属性,通过给定的一组数据点,根据其特征或属性进行相应的分组,从而获取几组特征、属性各不同的数据组。
所述的聚类分割方法是常用的一种聚类方法,实现简单且效果好,其主要原理如下:
从样本N中选取K个质心,遍历每个样本个体i计算与每个质心的欧式距离,将其距离最小的归为一个簇类,此时所有样本被分为K个簇类,然后重新计算质心并且返回开始进行迭代,直到质心不在移动或者移动较小为止,具体公式如下:
Figure BDA0002229927610000092
其中,N代表样本容量,K代表质心数量,xi为样本i个体,即为i的欧式坐标,Rik是xi关于簇类k的关系,公式如下:
Figure BDA0002229927610000093
当目标函数F越小,各个簇类样本特征越相似,因此首先初始化uk为常数,对目标函数F求uk的偏导数,令其为0时对应的uk,过程如下:
Figure BDA0002229927610000094
式中,uk表示为质心k所对应簇类样本数据的均值,即为:
Figure BDA0002229927610000101
利用聚类分割,并且设置聚类点数量阀值,保留平面点云,有效去除无关点云群的影响。
步骤S5:确定与深度相机正面平行的拟合平面上的关键点,所述关键点为拟合平面的四个角点;如图5所示,为左侧拟合平面关键点。
左侧拟合平面对应关键点的关系公式F(t)如下:
Figure BDA0002229927610000102
其中,xt,yt,zt对应点的坐标值,F(t)大小表明了点到原点的位置关系权值,数值越大代表越逼近所求关键点,t则对应点云中每个点的序号,
利用公式F(t)求得点云每个点的权值并且进行排序,
Figure BDA0002229927610000103
公式中,n表示距离关键点权值最大的前n个点;n的合理设置对于确定关键点有重要作用。
结合深度相机的采集精确度和点云实际应用精度设置变量n的大小,计算权值最大的前n点集在拟合平面上的坐标均值,最终求得关键点的坐标为(x,y,z)。本实施例中的深度相机的采集精确度和点云实际应用精度属于经验设置,在实际应用中根据情况多次尝试。
步骤S6:确定每个拟合平面的关键点后,并且将所有拟合面放在世界坐标系下,如图6所示:根据每个拟合平面上的关键点,将任意两个拟合平面进行两两配准操作;
本实施例所示的配准操作:确定需要配准的两个拟合平面对应的四角关键点,并将需要配准的两个拟合平面通过平移对应到同一个点,接着分别进行两次旋转对齐,直到两个拟合平面完全还原实际物理位置关系。
其中,本实施例以左侧拟合平面与上方拟合平面为例子进行配准操作,具体步骤如下:
S601:首先选定同一公共点,求得平移矩阵T,关系如下:
T=(xt-xl yt-yl zt-zl)
其中,坐标(xt,yt,zt)代表上方拟合平面的关键点,(xl,yl,zl)代表左侧拟合平面的关键点,求得T后对左侧拟合平面进行平移,过程如图7所示:
此时如图7所示,直线AlBl与直线AtCt形成了空间中的夹角,该夹角可以分解成Y、Z方向上α、β角,以At为旋转中心进行旋转操作,对旋转角而言,可以将其分解为绕YZX三轴旋转角度分别为α,β,γ,则有对应变换矩阵:
Figure BDA0002229927610000111
旋转后的AlBl与AtCt在空间中处于共线的位置关系,旋转过程如图8所示:
最后求得∠DlCtDt与实际标定物对应角θ之差,记为γ。以AlBl与AtCt所在直线为轴进行旋转,过程如图9所示:
同理,以右侧拟合平面与上方拟合平面进行相同步骤,即完成两两配准过程,最终效果如图10所示。
最后计算配准参数,如下:
A1:首先求得第一次旋转平移对应矩阵公式,公式如下:
Figure BDA0002229927610000112
其中,α、β为配准过程中所求旋转角,x0、y0、z0为待配准的原始坐标,Δx、Δy、Δz为进行的偏移量,x1、y1、z1是相应变换后的坐标,旋转矩阵和偏移矩阵可化为R1与T1
A2:接下来进行最后一次γ角的旋转,由于γ角以AlBl与AtCt所在直线为轴进行旋转;因此先将AlBl与AtCt所在直线的轴转化成与世界坐标系一致,公式如下:
Figure BDA0002229927610000121
其中,α1、β1为AlBl与AtCt所在直线轴与世界坐标系轴的夹角;Δx1、Δy1、Δz1为关键点A到世界坐标系原点的距离;x2、y2、z2是坐标轴变换后的坐标,R2表示旋转矩阵,T2表示偏移矩阵。
A3:现在进行最后一次γ角的旋转,并且还原AlBl与AtCt所在直线的轴初始位置,公式关系如下:
Figure BDA0002229927610000122
Figure BDA0002229927610000123
式中,x3、y3、z3是γ角旋转后的坐标,R3为旋转矩阵,R4、-T2表示与之相反的还原偏移矩阵;
其中
Figure BDA0002229927610000124
Figure BDA0002229927610000125
A4:将结合上述式子,可得:
Figure BDA0002229927610000126
化简整合,其中,I为单位矩阵,最终得到
Figure BDA0002229927610000127
关于
Figure BDA0002229927610000128
的变换矩阵R与T。
步骤S7:对变换矩阵R与T进行评估检测
通过在拟合平面上随机选取n个点pi,与之配准的另一个拟合平面上有对应欧式距离最小的m个点qi,将对应点之间的欧式距离近似为配准后标定物的边长,求其标准差和均值。
其中所述标准差,其计算公式如下:
Figure BDA0002229927610000131
式中,S表示标准差,
Figure BDA0002229927610000132
表示pi与qi之间的平均距离;
Figure BDA0002229927610000133
其中,Δl为均值与实际边长的误差,通过对S和Δl的数值大小设置对应阀值来确定变化矩阵是否达到配准要求,若小于对应阀值则认为符合要求,保存矩阵对数据进行相应变化,否则重新采集数据计算直到符合阀值设置为止。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种牲畜三维重构移动式设备的自动标定配准方法,其特征在于:所述方法包括以下步骤:
S1:将三个深度相机分别固定在待测量牲畜通道的正上方、左侧和右侧,分别称为上方深度相机、左侧深度相机和右侧深度相机,对应采集牲畜的背部、左侧部和右侧部的轮廓信息,其中三个深度相机成像的局部坐标系分别为上方相机(xt,yt,zt),左侧相机(xl,yl,zl),右侧相机(xr,yr,zr);并指定世界坐标系与左侧相机坐标系一致;
S2:选择立方体标定物,将标定物放置于三个深度相机捕获点云空间的中心位置,立方体标定物与各个深度相机的距离在0.8m到1.5m之间;
S3:三个深度相机分别获取立方体标定物的点云,通过位置关系完成深度相机坐标系到世界坐标系的转换;根据立方体标定物与深度相机的距离位置划出最小包围盒,保留在最小包围盒内的点云,去除掉在最小包围盒外的点云;
S4:为了获取立体标定物所对应的平面点云,对步骤S3获得的原始点云进行处理,从而确定并分离与深度相机正面平行的拟合平面,并通过平面模型去拟合所述的拟合平面;
S5:确定与深度相机正面平行的拟合平面上的关键点,利用公式F(t)求得点云每个点的权值并且进行排序,结合深度相机的采集精确度和点云实际应用精度设置变量n的大小,计算权值最大的前n点集在拟合平面上的坐标均值,最终求得关键点的坐标为(x,y,z);
S6:将所有的拟合平面均放在世界坐标系中,根据每个拟合平面上的关键点,将任意两个拟合平面进行两两配准操作;并计算配准参数,最终得到
Figure FDA0002497618460000011
关于
Figure FDA0002497618460000012
的变换矩阵R与T;
式中,
Figure FDA0002497618460000013
表示配准后点云,
Figure FDA0002497618460000014
表示原始点云;
S7:通过在拟合平面上随机选取n个点pi,与之配准的另一个拟合平面上有对应欧式距离最小的m个点qi,将对应点之间的欧式距离近似为配准后标定物的边长,求其标准差和均值,通过标准差和均值对变换矩阵R与T进行评估检测。
2.根据权利要求1所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:步骤S2,所述立方体标定物的长为50cm,宽为50cm,高为50cm,每个侧面的夹角都是90度。
3.根据权利要求2所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:步骤S3,所述通过位置关系完成深度相机坐标系到世界坐标系的转换,具体如下:深度相机坐标(xk,yk,zk)与世界坐标系转换关系如下:
Figure FDA0002497618460000021
其中,R为旋转矩阵,表示深度相机在世界坐标系统的旋转量是一个空间角;不同的深度相机坐标,对应不同的旋转矩阵R。
4.根据权利要求3所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:步骤S4,所述通过平面模型去拟合所求的拟合平面,具体如下:
首先选取原始点云中的一部分点云构成初始内点,并设置内点距离阀值和内点最少数量阀值,用初始内点拟合平面模型,通过计算平面模型与剩余每个点的距离,将小于内点距离阀值的点云加入内点,如果内点数量大于设定最少数量阀值,则认为模型合理;然后重新用内点估计新的平面模型,通过内点与平面模型的错误率来评估模型,这是迭代1次的过程,而迭代次数影响拟合平面的速度,设置最大迭代次数K与动态迭代次数k保证算法的效率,k的关系如下:
Figure FDA0002497618460000022
其中,p为置信度,w为内点点云的比例,m为计算模型所需要的最小点云点数;
通过设定半径d与临近点阀值u来剔除离群点,对在半径d之内,临近点大于u的点云保留,否则去除。
5.根据权利要求4所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:为了进一步去除无关点云群,利用聚类分割方法进行点云处理,对于点云中每个点都有其对应的特征和属性,通过给定的一组数据点,根据其特征或属性进行相应的分组,从而获取几组特征、属性各不同的数据组;
所述聚类分割方法具体步骤如下:从样本N中选取K个质心,遍历每个样本个体i计算与每个质心的欧式距离,将其距离最小的归为一个簇类,此时所有样本被分为K个簇类,然后重新计算质心并且返回开始进行迭代,直到质心不在移动或者移动较小为止,具体公式如下:
Figure FDA0002497618460000031
其中,N代表样本容量,K代表质心数量,xi为样本i个体,即为i的欧式坐标,Rik是xi关于簇类k的关系,公式如下:
Figure FDA0002497618460000032
当目标函数F越小,各个簇类样本特征越相似,因此首先初始化uk为常数,对目标函数F求uk的偏导数,令其为0时对应的uk,过程如下:
Figure FDA0002497618460000033
式中,uk表示为质心k所对应簇类样本数据的均值,即为:
Figure FDA0002497618460000034
利用聚类分割,并且设置聚类点数量阀值,保留平面点云,去除无关点云群。
6.根据权利要求4或5任一项所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:步骤S5,所述关键点为拟合平面的四个角点;
设公式F(t)的关系公式如下:
Figure FDA0002497618460000035
其中,xt,yt,zt对应点的坐标值,F(t)大小表明了点到原点的位置关系权值,数值越大代表越逼近所求关键点,t则对应点云中每个点的序号,利用函数F(t)求得每个点的权值并且进行排序;
Figure FDA0002497618460000036
公式中,n表示距离关键点权值最大的前n个点。
7.根据权利要求6所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:步骤S6,所述拟合平面进行两两配准操作,确定需要配准的两个拟合平面对应的四角关键点,并将需要配准的两个拟合平面通过平移对应到同一个点,接着分别进行两次旋转对齐,直到两个拟合平面完全还原实际物理位置关系。
8.根据权利要求7所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:其中,左侧拟合平面与上方拟合平面的配准操作,具体步骤如下:
S601:首先选定同一公共点,求得平移矩阵T,关系如下:
T=(xt-xl yt-yl zt-zl)
其中,坐标(xt,yt,zt)代表上方拟合平面的关键点,坐标(xl,yl,zl)代表左侧拟合平面的关键点,求得T后对左侧拟合平面进行平移;
此时直线AlBl与直线AtCt形成了空间中的夹角,该夹角可以分解成Y、Z方向上α、β角,以At为旋转中心进行旋转操作,对旋转角而言,可以将其分解为绕YZX三轴旋转角度分别为α,β,γ,则有对应变换矩阵:
Figure FDA0002497618460000041
旋转后的AlBl与AtCt在空间中处于共线的位置关系,
最后求得∠DlCtDt与实际标定物对应角θ之差,记为γ;以AlBl与AtCt所在直线为轴进行旋转。
9.根据权利要求8所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:其中所述计算求得配准参数,如下:
A1:首先求得第一次旋转平移对应矩阵公式,公式如下:
Figure FDA0002497618460000042
其中,α、β为配准过程中所求旋转角,x0、y0、z0为待配准的原始坐标,Δx、Δy、Δz为进行的偏移量,x1、y1、z1是相应变换后的坐标,旋转矩阵和偏移矩阵可化为R1与T1
A2:接下来进行最后一次γ角的旋转,由于γ角以AlBl与AtCt所在直线为轴进行旋转;因此先将AlBl与AtCt所在直线的轴转化成与世界坐标系一致,公式如下:
Figure FDA0002497618460000051
其中,α1、β1为AlBl与AtCt所在直线轴与世界坐标系轴的夹角;Δx1、Δy1、Δz1为关键点A到世界坐标系原点的距离;x2、y2、z2是坐标轴变换后的坐标,R2表示旋转矩阵,T2表示偏移矩阵;
A3:现在进行最后一次γ角的旋转,并且还原AlBl与AtCt所在直线的轴初始位置,公式关系如下:
Figure FDA0002497618460000052
Figure FDA0002497618460000053
式中,x3、y3、z3是γ角旋转后的坐标,R3为旋转矩阵,R4、-T2表示与之相反的还原偏移矩阵;
其中
Figure FDA0002497618460000054
Figure FDA0002497618460000055
A4:将结合步骤A1、A2、A3中的式子,可得:
Figure FDA0002497618460000056
化简整合,其中,I为单位矩阵,最终得到
Figure FDA0002497618460000061
关于
Figure FDA0002497618460000062
的变换矩阵R与T。
10.根据权利要求9所述的牲畜三维重构移动式设备的自动标定配准方法,其特征在于:步骤S7,所述标准差,其计算公式如下:
Figure FDA0002497618460000063
式中,S表示标准差,
Figure FDA0002497618460000064
表示pi与qi之间的平均距离;
Figure FDA0002497618460000065
其中,Δl为均值与实际边长的误差,通过对S和Δl的数值大小设置对应阀值来确定变化矩阵是否达到配准要求,若小于对应阀值则认为符合要求,保存矩阵对数据进行相应变化,否则重新采集数据计算直到符合阀值设置为止。
CN201910964130.XA 2019-10-11 2019-10-11 一种牲畜三维重构移动式设备的自动标定配准方法 Active CN110910454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910964130.XA CN110910454B (zh) 2019-10-11 2019-10-11 一种牲畜三维重构移动式设备的自动标定配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910964130.XA CN110910454B (zh) 2019-10-11 2019-10-11 一种牲畜三维重构移动式设备的自动标定配准方法

Publications (2)

Publication Number Publication Date
CN110910454A CN110910454A (zh) 2020-03-24
CN110910454B true CN110910454B (zh) 2020-08-07

Family

ID=69815581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910964130.XA Active CN110910454B (zh) 2019-10-11 2019-10-11 一种牲畜三维重构移动式设备的自动标定配准方法

Country Status (1)

Country Link
CN (1) CN110910454B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739087B (zh) * 2020-06-24 2022-11-18 苏宁云计算有限公司 一种场景蒙版的生成方法和系统
CN112132875B (zh) * 2020-08-31 2023-07-28 青岛秀山移动测量有限公司 一种基于面特征的多平台点云匹配方法
CN112085773A (zh) * 2020-09-07 2020-12-15 深圳市凌云视迅科技有限责任公司 一种去除局外点的平面拟合方法和装置
CN112488125B (zh) * 2020-11-28 2021-12-14 重庆邮电大学 一种基于高速视觉诊断和bp神经网络的重建方法及系统
CN112700480B (zh) * 2020-12-29 2022-07-12 河北工业大学 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用
CN112816967B (zh) * 2021-02-03 2024-06-14 成都康烨科技有限公司 图像距离测量方法、装置、测距设备和可读存储介质
CN112907546B (zh) * 2021-02-25 2024-04-05 北京农业信息技术研究中心 肉牛体尺非接触测量装置及方法
CN113077521B (zh) * 2021-03-19 2022-11-01 浙江华睿科技股份有限公司 一种相机标定方法及装置
CN113012238B (zh) * 2021-04-09 2024-04-16 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN113724270B (zh) * 2021-08-25 2023-08-08 华南农业大学 一种牲畜表面点云智能分割方法及其系统
CN113989391A (zh) * 2021-11-11 2022-01-28 河北农业大学 基于rgb-d相机的动物体三维模型重构系统及方法
CN117433491B (zh) * 2023-12-20 2024-03-26 青岛亿联建设集团股份有限公司 基于无人机图像的基坑工程安全监测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574929A (zh) * 2015-12-15 2016-05-11 电子科技大学 一种基于地面LiDAR点云数据的单株植被三维建模方法
CN109584292A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于Kinect自主标定的果树三维形态测量系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574929A (zh) * 2015-12-15 2016-05-11 电子科技大学 一种基于地面LiDAR点云数据的单株植被三维建模方法
CN109584292A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于Kinect自主标定的果树三维形态测量系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
三维重建中的相机标定方法研究;冯焕飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315(第3期);全文 *
动物体表三维数据获取与处理算法研究;郭浩;《中国博士学位论文全文数据库 信息科技辑》;20150715(第7期);全文 *
基于双目视觉的猪体体尺参数提取算法优化及三维重构;刘同海;《中国博士学位论文全文数据库 信息科技辑》;20150315(第3期);全文 *

Also Published As

Publication number Publication date
CN110910454A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110910454B (zh) 一种牲畜三维重构移动式设备的自动标定配准方法
CN110426051B (zh) 一种车道线绘制方法、装置及存储介质
CN108416791B (zh) 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
CN102376089B (zh) 一种标靶校正方法及系统
CN110118528B (zh) 一种基于棋盘靶标的线结构光标定方法
CN100557635C (zh) 一种基于柔性立体靶标的摄像机标定方法
Prescott et al. Line-based correction of radial lens distortion
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
WO2022160760A1 (zh) 多立体相机的标定方法及装置
CN110969662A (zh) 鱼眼摄像机内参标定方法、装置、标定装置控制器和系统
CN101285676A (zh) 一种基于一维靶标的多视觉传感器全局校准方法
CN107590832A (zh) 基于自然特征的物理对象追踪定位方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN112132886A (zh) 一种航空零件圆孔圆心快速定位及圆度检测方法
CN104121902A (zh) 基于Xtion摄像机的室内机器人视觉里程计实现方法
CN112212788A (zh) 基于多台手机的视觉空间点三维坐标测量方法
CN114170284B (zh) 基于主动标志点投射辅助的多视图点云配准方法
CN116721144A (zh) 一种基于点云切片的锥形孔尺寸测量方法
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
CN110070608B (zh) 一种自动删除基于图像的三维重建冗余点的方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN113393413B (zh) 基于单目与双目视觉协同的水域面积测量方法和系统
CN116228783A (zh) 一种复杂背景下的工件点云分割方法及其应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant