CN110060304B - 一种生物体三维信息采集方法 - Google Patents
一种生物体三维信息采集方法 Download PDFInfo
- Publication number
- CN110060304B CN110060304B CN201910254396.5A CN201910254396A CN110060304B CN 110060304 B CN110060304 B CN 110060304B CN 201910254396 A CN201910254396 A CN 201910254396A CN 110060304 B CN110060304 B CN 110060304B
- Authority
- CN
- China
- Prior art keywords
- matrix
- point
- camera
- image
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种生物体三维信息采集方法,首先对采集信息的左右两个相机分别进行标定,得到各自的内参矩阵和两个相机之间的变换矩阵,之后对左右相机采集到的生物体图像进行轮廓提取以及法向量匹配,得出匹配点对,再通过对极约束求出外参矩阵,最后根据匹配点对、外参矩阵以及内参矩阵经过三角形法求得目标的三维坐标;由此,基于视觉的方法,求出生物体的三维信息,本发明仅仅使用两台相机采集信息,而且不受环境限制,成本低,灵活度高,精度高,相比于传统的采集方法更具优势。
Description
技术领域
本发明设计一种基于视觉的生物体三维信息采集方法,属于计算机视觉技术领域。
背景技术
生物的动态三维结构对远古物种复原、生物信息化保存、珍稀物种保护等都具有非常重要的意义。然而在重建生物体三维结构的过程中仍然存在着诸多问题,比如采集设备成本过高,采集条件不灵活,采集信息时动物不配合,精度不高等问题,这些问题都需要解决。
目前高质量的动态对象三维重建与信息采集仍依赖于较为复杂的采集设备,如需要专门的变光照采集系统以获取高细节分辨率的表面几何结构与材质信息,需要同步控制的8-20个固定摄像机组成的摄像机阵列,实现对动态人脸、人手与物体交互、单个人体或多个人体的高质量运动捕捉。这些采集系统除了需要相机阵列外,还要求有蓝绿幕布背景以提取目标前景对象的轮廓,并且要有良好的光照控制,以减少阴影、光照不足等局限,因此现有的工作大都局限于室内的动态对象采集。另外,由于生物体(特别是野生动物)的不配合,如何从简易采集环境而非特别设定的室内场景中精确获取生物体的动态三维结构是一项极具挑战的任务。近年来,针对简易采集条件下的动态三维重建与运动捕捉的难题,国内外研究同行已经在该问题上取得一定的进展。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种生物体三维信息采集方法,本发明采用双目视觉方法,用两台移动摄像机获取在物体不同视角下的感知图像,通过三角形方法将匹配点的视差信息转换为深度,以此来获取高精度的三维信息具体技术方案如下。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种生物体三维信息采集方法,首先对采集信息的左右两个相机分别进行标定,得到各自的内参矩阵和外参矩阵以及两个相机之间的变换矩阵,之后对左右相机采集到的生物体图像进行轮廓提取以及法向量匹配,得出匹配点对,最再通过对极约束求出外参矩阵,最后根据匹配点对、外参矩阵以及内参矩阵经过三角形法求得目标的三维坐标;由此,基于视觉的方法,求出生物体的三维信息。
具体包括以下步骤:
步骤S1.对左右采集相机分别进行单目标定,分别得到两个相机的内参、外参以及两个相机之间的位置关系;
在摄像机模型中,有sm=A[R t]M,其中,m(u,v,1)表示图像平面的像素坐标,M(X,Y,Z,1)表示世界坐标系的坐标点,R为旋转矩阵,t为平移向量,s为尺度因子,A为相机内参矩阵,具体表示如下:
其中α,β表示焦距与像素横纵坐标比的融合,γ表示径向畸变系数,(u0,v0)表示像主点坐标;
把标定板平面设定为世界坐标系平面,那么此时z=0,定义旋转矩阵R的第i列为ri,那么将上式转换如下:
接下来可求内参:定义H中第i列为hi,则H=[h1,h2,h3],r1,r2正交且r1,r2的模相等,得到如下约束条件:
然后定义矩阵B,满足:
这是一个对称矩阵,未知量只有6个,这6个未知量可组成向量:
b=[B11,B12,B22,B13,B23,B33]T
计算之可得vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T
根据前面的约束条件可得方程组
以上是一幅图像的所得的等式,对于n'幅图像,则有Vb=0;
其中,V是一个2n'×6的矩阵,b是一个6维向量,对于此方程用SVD求得最小二乘解,最终得到的相机的各个内参为:
接下来根据求出的内参可求外参矩阵,公式如下:
[h1 h2 h3]=λA[r1 r2 t]
对此公式进行化简,可得外参
这里,λ=1/||A-1h1||=1/||A-1h2||;
步骤S2.对两个相机拍摄的图像进行轮廓提取与法向量匹配,获得匹配点对;
首先通过Canny算子提取图片轮廓,之后计算轮廓中各个点的法向量,计算公式如下:
若两幅图像中的两个像素点的法向量的点积大于设定的阈值,则判定为匹配点对。
步骤S3.根据匹配点对,通过对极约束求出外参矩阵;
步骤S4.根据左右相机的投影矩阵以及匹配点对通过三角形方法求解目标的三维坐标;
根据步骤S2获得的匹配点对xl,xr和两个图像的投影矩阵Pl,Pr,根据投影公式,对于目标三维点X坐标满足:
xl=PlX,xl=PrX
其中,xl在图像坐标系的坐标为(x,y,1)。
再使用叉乘法消去齐次因子,使得等式化为AX=0的形式,具体步骤如下:
对于左相机的图像有,
x′l×(PlX)=0
即为
又因为第三个等式可由前两个等式线性表示,所以取前两个等式,从而有形如AlX=0的方程,其中
同理,对于右相机的图像也有形如ArX=0的方程,其中
把Al,Ar合并为A,那么方程即为AX=0,其中
由于此方程组只有3个未知数,而有4个方程,所以再用最小二乘法求解,得最终的目
标X的三维坐标。
优选的:对步骤S1求出的参数结果通过最大似然估计进行优化,提升精度,具体步骤如下:
其中Ri,ti是第i幅图像对应的旋转矩阵和平移向量,K为内参矩阵。
角点mij的概率密度函数为:
再构造似然函数:
令函数L(A,Rl,ti,Mij)取最大值,即为令下式取最小值,可用Levenberg-Marquardt算法
求解:
本发明相比现有技术,具有以下有益效果:
(1)本发明基于双目视觉的采集方法,成本较低,采集方式灵活度高,受环境干扰低,对于难以控制的野生动物具有比较优越的跟踪效果。
(2)对于特征点的匹配采用了轮廓匹配的方法,匹配精度较高。
(3)运用三角形的方法计算三维坐标,运算量较小,后续可以达到实时的信息采集。
附图说明
图1为基于视觉生物体三维信息采集方法流程图;
图2为双目视觉采集方法示意图;
图3为相机成像模型示意图;
图4为对极几何示意图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种生物体三维信息采集方法,首先对采集信息的左右两个相机分别进行标定,得到各自的内参矩阵和外参矩阵以及两个相机之间的变换矩阵,之后对左右相机采集到的生物体图像进行轮廓提取以及法向量匹配,得出匹配点对,最再通过对极约束求出外参矩阵,最后根据匹配点对、外参矩阵以及内参矩阵经过三角形法求得目标的三维坐标;由此,基于视觉的方法,求出生物体的三维信息,如图1所示,本发明的具体实施方法如下:
步骤一、对采集信息所用相机进行标定。
对采集信息的相机进行标定,不仅需要得出两个相机各自的内参与外参,还需求出两个相机之间的位置关系。
本发明采用张正友标定法进行标定。张正友标定法的具体实现过程如下所示:
(1)打印一张棋盘,并将之贴在一平面上,使其作为标定物。
(2)改变棋盘的位置及角度,使左右相机获得不同视角的标定物的图片。
(3)从拍摄的图片中提取棋盘格的角点,这里采用harris角点检测。
(4)求出左右相机各自的内参和外参,以及左右相机之间的转换关系。具体求解如下:
首先我们须求解单应性矩阵H.
在摄像机模型中,有sm=A[R t]M,其中,m(u,v,1)表示图像平面的像素坐标,M(X,Y,Z,1)表示世界坐标系的坐标点,R为旋转矩阵,t为平移向量,s为尺度因子,A为相机内参矩阵,具体表示如下:
其中α,β表示焦距与像素横纵坐标比的融合,γ表示径向畸变系数,(u0,v0)表示像主点坐标;
把标定板平面设定为世界坐标系平面,那么此时z=0,定义旋转矩阵R的第i列为ri,那么将上式转换如下:
接下来可求内参:定义H中第i列为hi,则H=[h1,h2,h3],r1,r2正交且r1,r2的模相等,得到如下约束条件:
然后定义矩阵B,满足:
这是一个对称矩阵,未知量只有6个,这6个未知量可组成向量:
b=[B11,B12,B22,B13,B23,B33]T
计算之可得vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T
根据前面的约束条件可得方程组
以上是一幅图像的所得的等式,对于n'幅图像,则有Vb=0;
其中,V是一个2n'×6的矩阵,b是一个6维向量,对于此方程用SVD求得最小二乘解,最终得到的相机的各个内参为:
接下来根据求出的内参可求外参矩阵,公式如下:
[h1 h2 h3]=λA[r1 r2 t]
对此公式进行化简,可得外参
这里,λ=1/||A-1h1||=1/||A-1h2||;
(5)对求出的参数结果通过最大似然估计进行优化,提升精度。具体步骤如下:
设我们采集了n幅棋盘格标定目标的图像,每个图像里有m个角点。设第i幅图像上的角点在上述的投影矩阵下求出的结果为:
其中Ri,ti是第i幅图像对应的旋转矩阵和平移向量,K为内参矩阵。
角点mij的概率密度函数为:
再构造似然函数:
令函数L(A,Rl,ti,Mij)取最大值,即为令下式取最小值,可用Levenberg-Marquardt算法
求解:
步骤二、对两个相机拍摄的图像进行轮廓提取与法向量匹配,获得匹配点对;
首先通过Canny算子提取图片轮廓,之后计算轮廓中各个点的法向量,计算公式如下:
若两幅图像中的两个像素点的法向量的点积大于设定的阈值,则判定为匹配点对。
步骤三、根据匹配点对,通过对极约束求出外参矩阵。
步骤四、通过三角形方法根据匹配点对和相机的投影矩阵求解目标的三维坐标,具体求解如下:
对已知匹配点对xl,xr和两个图像的投影矩阵Pl,Pr,根据投影公式,对于目标三维点X坐标满足:
xl=PlX,xl=PrX
其中,xl在图像坐标系的坐标为(x,y,1)。
再使用叉乘法消去齐次因子,使得等式化为AX=0的形式,具体步骤如下:
对于左相机的图像有,
x′l×(PlX)=0
即为
又因为第三个等式可由前两个等式线性表示,所以取前两个等式,从而有形如AlX=0的
方程,其中
同理,对于右相机的图像也有形如ArX=0的方程,其中
把Al,Ar合并为A,那么方程即为AX=0,其中
由于此方程组只有3个未知数,而有4个方程,所以再用最小二乘法求解,可得最终的
目标X的三维坐标。
综上所述,本发明双目视觉的方法,首先对采集信息的左右两个相机分别进行标定,得到各自的内参矩阵和外参矩阵以及两个相机之间的变换矩阵,之后对左右相机采集到的生物体图像进行轮廓提取以及法向量匹配,得出匹配点对,最再通过对极约束求出外参矩阵,最后根据匹配点对、外参矩阵以及内参矩阵经过三角形法求得目标的三维坐标。本发明仅仅使用两台相机采集信息,而且不受环境限制,成本低,灵活度高,精度高,相比于传统的采集方法更具优势。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (2)
1.一种生物体三维信息采集方法,其特征在于,包括以下步骤:
步骤S1.对左右采集相机进行标定,分别得到两个相机的内参、外参以及两个相机之间的位置关系;
在摄像机模型中,有sm=A[R t]M,其中,m(u,v,1) 表示图像平面的像素坐标;M(X,Y,Z,1)表示世界坐标系的坐标点,R为旋转矩阵,t为平移向量,s为尺度因子,A为相机内参矩阵,具体表示如下:
其中α,β表示焦距与像素横纵坐标比的融合,γ表示径向畸变系数,(u0,v0)表示像主点坐标;
把标定板平面设定为世界坐标系平面,那么此时z=0,定义旋转矩阵R的第i列为ri,那么将上式转换如下:
接下来可求内参:定义单应性矩阵H中第i列为hi,则H=[h1,h2,h3],r1,r2正交且r1,r2的模相等,得到如下约束条件:
然后定义矩阵B,满足:
这是一个对称矩阵,未知量只有6个,这6个未知量B11,B12,B22,B13,B23,B33组成向量b:
b=[B11,B12,B22,B13,B23,B33]T
计算之可得vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T
根据前面的约束条件可得方程组
以上是一幅图像的所得的等式,对于n'幅图像,则有Vb=0;
其中,V是一个2n'×6的矩阵,b是一个6维向量,对于此方程用SVD求得最小二乘解,最终得到的相机的各个内参为:
接下来根据求出的内参可求外参矩阵,公式如下:
[h1 h2 h3]=λA[r1 r2 t]
对此公式进行化简,可得外参
这里,λ=1/||A-1h1||=1/||A-1h2||;
步骤S2.对两个相机拍摄的图像进行轮廓提取与法向量匹配,获得匹配点对;
首先通过Canny算子提取图片轮廓,之后计算轮廓中各个点的法向量,计算公式如下:
若两幅图像中的两个像素点的法向量的点积大于设定的阈值,则判定为匹配点对;
步骤S3.根据匹配点对,通过对极约束求出外参矩阵;
步骤S4.通过三角形方法求解目标的三维坐标;
根据步骤S2获得的匹配点对xl,xr和两个图像的投影矩阵Pl,Pr,根据投影公式,对于目标三维点W坐标满足:
xl=PlW,xr=PrW
其中,xl在图像坐标系的坐标为(x,y,1);
再使用叉乘法消去齐次因子,使得等式化为AW=0的形式,具体步骤如下:
对于左相机图像的匹配点有,
x′l×(PlW)=0
即为
又因为第三个等式可由前两个等式线性表示,所以取前两个等式,从而有形如AlW=0的方程,其中
同理,对于右相机的图像也有形如ArW=0的方程,其中
把Al,Ar合并为A,那么方程即为AW=0,其中
由于此方程组只有3个未知数,而有4个方程,所以再用最小二乘法求解,得最终的目标W的三维坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910254396.5A CN110060304B (zh) | 2019-03-31 | 2019-03-31 | 一种生物体三维信息采集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910254396.5A CN110060304B (zh) | 2019-03-31 | 2019-03-31 | 一种生物体三维信息采集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110060304A CN110060304A (zh) | 2019-07-26 |
CN110060304B true CN110060304B (zh) | 2022-09-30 |
Family
ID=67318008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910254396.5A Active CN110060304B (zh) | 2019-03-31 | 2019-03-31 | 一种生物体三维信息采集方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110060304B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862241B (zh) * | 2020-07-28 | 2024-04-12 | 杭州优链时代科技有限公司 | 一种人体对齐方法及装置 |
CN112230204A (zh) * | 2020-10-27 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 激光雷达和相机的联合标定方法及装置 |
CN112668505A (zh) * | 2020-12-30 | 2021-04-16 | 北京百度网讯科技有限公司 | 基于路侧相机的外参的三维感知信息获取方法和路侧设备 |
CN112802125A (zh) * | 2021-02-20 | 2021-05-14 | 上海电机学院 | 一种基于视觉检测的多视角空间定位方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3930482B2 (ja) * | 2004-01-19 | 2007-06-13 | ファナック株式会社 | 3次元視覚センサ |
CN103247053B (zh) * | 2013-05-16 | 2015-10-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
-
2019
- 2019-03-31 CN CN201910254396.5A patent/CN110060304B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110060304A (zh) | 2019-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110060304B (zh) | 一种生物体三维信息采集方法 | |
CN110276808B (zh) | 一种单相机结合二维码测量玻璃板不平度的方法 | |
CN108470370B (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
CN110118528B (zh) | 一种基于棋盘靶标的线结构光标定方法 | |
CN114399554B (zh) | 一种多相机系统的标定方法及系统 | |
CN109360246B (zh) | 基于同步子区搜索的立体视觉三维位移测量方法 | |
CN103971378A (zh) | 一种混合视觉系统中全景图像的三维重建方法 | |
CN102221331B (zh) | 一种基于不对称双目立体视觉技术的测量方法 | |
CN109360240A (zh) | 一种基于双目视觉的小型无人机定位方法 | |
CN111563878B (zh) | 一种空间目标定位方法 | |
CN111862048A (zh) | 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法 | |
CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
CN112200203B (zh) | 斜视场下弱相关散斑图像的匹配方法 | |
CN108986070A (zh) | 一种基于高速视频测量的岩石裂缝扩展实验监测方法 | |
CN104760812B (zh) | 基于单目视觉的传送带上产品实时定位系统和方法 | |
CN108154536A (zh) | 二维平面迭代的相机标定法 | |
CN112362034B (zh) | 基于双目视觉的固体发动机多节筒段对接引导测量方法 | |
CN113012234B (zh) | 基于平面变换的高精度相机标定方法 | |
CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
CN116912333B (zh) | 一种基于作业围栏标定杆的相机姿态自标定方法 | |
CN112261399B (zh) | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 | |
CN111127613A (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
CN113450416B (zh) | 一种应用于三目相机立体标定的tcsc方法 | |
CN113554708A (zh) | 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法 | |
CN108230402A (zh) | 一种基于三棱锥模型的立体标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |