CN113470117B - 基于圆球逆透视投影的单位姿三维结构光标定系统及方法 - Google Patents

基于圆球逆透视投影的单位姿三维结构光标定系统及方法 Download PDF

Info

Publication number
CN113470117B
CN113470117B CN202110720192.3A CN202110720192A CN113470117B CN 113470117 B CN113470117 B CN 113470117B CN 202110720192 A CN202110720192 A CN 202110720192A CN 113470117 B CN113470117 B CN 113470117B
Authority
CN
China
Prior art keywords
calibration
image
sphere
image acquisition
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110720192.3A
Other languages
English (en)
Other versions
CN113470117A (zh
Inventor
朱利民
尹小恰
任明俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110720192.3A priority Critical patent/CN113470117B/zh
Publication of CN113470117A publication Critical patent/CN113470117A/zh
Application granted granted Critical
Publication of CN113470117B publication Critical patent/CN113470117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Abstract

本发明提供了一种基于圆球逆透视投影的单位姿三维结构光标定系统及方法,包括特征体标定物、图像采集装置、投影装置和图像处理模块;图像采集装置和投影装置的光轴夹角呈一定角度设置,且二者的光学中心处于同一高度;图像采集装置和投影装置构成三维结构光测量系统,特征体标定物与所述三维结构光测量系统对应设置,图像采集装置和投影装置分别与图像处理模块连接。本发明采用圆球作为标定物,简单易得,只需采集单位姿的标定物图像,极大地提高了标定效率,与现有标定方法相比,得到了更高的精度,且特征点提取简单,对于各种视场范围的三维结构光系统、各种复杂的标定环境均可以灵活适用,实现了灵活、准确的三维结构光系统标定。

Description

基于圆球逆透视投影的单位姿三维结构光标定系统及方法
技术领域
本发明涉及三维结构光系统标定的技术领域,具体地,涉及一种基于圆球逆透视投影的单位姿三维结构光标定系统及方法。
背景技术
在三维重建和机器人视觉领域中,由于具有高精度,高速度和柔性测量等优势,三维结构光测量技术被广泛应用。三维机构光系统使用摄像机采集投影仪投射在测量目标上的结构光编码图像,解码得到图像像素对应的投影仪像素,通过结构光系统的数学模型得到测量目标的三维信息。三维结构光系统的模型参数标定是实现其高精度测量的重要前提,研究灵活、准确的标定方法对保证复杂应用环境下三维结构光系统顺利正常工作至关重要。
常用的三维结构光系统标定方法采用二维平面作为标定物,需要采集至少三个位姿的平面靶标图像,并提取特征点的像素坐标和三维坐标,利用针孔成像模型标定摄像机和投影仪的内外部参数。但平面靶标法需借助人工辅助移动标定物,特征点提取算法复杂,并且平面标定物尺寸有限,其特征点的尺寸及密度受加工技术限制。也有研究者采用各种形状的三维标定物,如锯齿形,凹凸量块等,这种方法中标定物的加工成本高,且尺寸有限,标定物在成像过程中易产生阴影,导致特征点数量减少,精度降低。
公开号为CN110243309A的中国发明专利文件公开了一种高效高精度的结构光三维测量系统重标定方法,该方法通过对各像面匹配像点坐标归一化和利用极限距离作为约束进行基础矩阵的求解,该过程可以自动剔除误匹配或含较大误差的点,从而降低噪声对标定精度的影响。其次利用空间场约束对尺度因子进行求解,通过在测量空间中引入特征物尺寸约束或和空间相对距离约束,根据标准尺寸或和空间相对距离与测量值求解出尺度因子,并对多目测量系统根据各单目尺度因子赋予权重进行加权得到全局尺度因子,进而提升了系统局部参数的求解精度,为后续的被测物三维信息测量提供了精度保证。
针对上述中的现有技术,发明人认为现有标定方法存在以下不足:标定过程需人工辅助操作,需采集多位姿的标定物图像,标定效率低;特征点提取算法复杂,降低数据处理速度;标定物尺寸有限,精度受加工技术限制,影响标定精度。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于圆球逆透视投影的单位姿三维结构光标定系统及方法。
根据本发明提供的一种基于圆球逆透视投影的单位姿三维结构光标定系统,包括特征体标定物、图像采集装置、投影装置和图像处理模块;所述图像采集装置和投影装置的光轴夹角呈一定角度设置,且二者的光学中心处于同一高度;所述图像采集装置和投影装置构成三维结构光测量系统,特征体标定物与所述三维结构光测量系统对应设置,图像采集装置和投影装置分别与图像处理模块连接。
优选的,所述特征体标定物由至少三个特征体分别粘在平板上构成,特征体标定物包括圆球标定物,特征体包括圆球。
根据本发明提供的一种基于圆球逆透射投影的单位自三维结构光标定方法,包括如下步骤:
采集图像步骤:拍摄特征体标定物图像;投射编码图案到特征体标定物,并拍摄特征体标定物表面的编码图案图像;
图像采集装置标定步骤:根据拍摄的所述特征体标定物图像提取拟合特征体图像轮廓曲线,标定图像采集装置内部参数;
获取三维空间坐标步骤:根据拟合的所述特征体图像轮廓曲线得到特征体图像像素对应的三维空间坐标;
投影装置标定步骤:根据拍摄的特征体标定物表面的编码图案图像获得特征体图像像素对应的投影装置像素坐标,根据投影装置像素坐标和三维空间坐标标定投影装置的内外参数。
优选的,所述采集图像步骤包括将特征体标定物置于三维结构光测量系统视场范围内并能清晰成像,标定过程中无须调整特征体标定物位姿。
优选的,所述图像采集装置标定步骤包括:提取各所述特征体图像轮廓并拟合曲线,基于绝对二次曲线成像技术标定图像采集装置内参数。
优选的,所述绝对二次曲线成像技术,是对经典的绝对二次曲线正交性法进行优化后的技术,即考虑了消隐点、消隐线和绝对二次曲线成像间的正交性是在一定比例因子前提下成立的,将比例因子加入模型中作为未知参数,并和图像采集装置内部参数一起进行标定,然后根据圆球轮廓点的理想位置在拟合椭圆上,非线性优化镜头畸变系数。
优选的,所述获取三维空间坐标步骤包括:基于逆透视投影技术得到特征体图像像素对应的三维空间坐标;所述逆透视投影技术是指根据拟合的椭圆曲线得到对应的圆锥曲面,并结合奇异值分解技术和圆球半径几何信息,得到圆球球面的空间三维表达式。
优选的,所述投影装置标定步骤包括:基于图像采集装置成像模型标定投影装置的内外参数;所述标定投影装置内外参数,是指将投影装置看作逆光路的图像采集装置,并采用图像采集装置的标定方法标定出投影装置内外参数。
优选的,所述圆球标定物,其中圆球个数不少于三个,对圆球尺寸无要求;将各所述圆球粘合在平板上作为圆球标定物,对所述平板的平面度的加工工艺无特殊要求。
优选的,所述采集图像步骤包括:采用的编码方法不同,相应的所述编码图案也不相同;标定时需采用编码方法得到的编码图案;投射编码图案时,需满足像素横、纵坐标的解码要求,编码图案包括条纹图案,所述条纹图案分别水平和垂直投射。
与现有技术相比,本发明具有如下的有益效果:
1、本发明采用圆球作为标定物,简单易得,且只需采集单位姿的标定物图像,极大地提高了标定效率,与现有标定方法相比,得到了更高的精度;
2、本发明的特征点提取简单,避免了传统方法中复杂的角点提取算法,并且该标定方法对所用圆球的尺寸无要求,圆球个数不少于3个均可,可同时采用大小不一的圆球进行标定;
3、对于各种视场范围的三维结构光系统、各种复杂的标定环境均可以灵活适用,实现了灵活、准确的三维结构光系统标定。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明中基于圆球逆透视投影的单位姿三维结构光标定系统示意图;
图2是本发明中标定方法的工作流程图;
图3是本发明中逆透视投影技术示意图;
图4是本发明中圆球的编码解码图像。
附图标记:
圆球标定物1 投影装置3
图像采集装置2 图像处理模块4
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例公开了一种基于圆球逆透视投影的单位姿三维结构光标定系统,如图1所示,包括特征体标定物、图像采集装置、投影装置和图像处理模块。图像采集装置和投影装置的光轴夹角呈一定角度设置,且二者的光学中心处于同一高度。图像采集装置和投影装置构成三维结构光测量系统,特征体标定物与所述三维结构光测量系统对应设置,图像采集装置和投影装置分别与图像处理模块连接。特征体标定物由至少三个特征体分别粘在平板上构成,特征体标定物包括圆球标定物,特征体包括圆球。
本标定系统由圆球标定物、图像采集装置(图像采集装置包括摄像机和图像采集卡)、投影装置(投影装置包括投影仪)和图像处理模块(图像处理模块包括计算机和图像处理软件)组成。采用提出的圆球单位姿标定方法对由图像采集装置和投影装置构成的三维结构光系统进行标定,图像处理模块用来完成标定过程中的数据处理。圆球标定物由至少3个乒乓球粘在一块平板上制作成,图像采集装置和投影装置的光轴夹角约为25°,且光学中心处于同一高度,根据三角测量原理构成三维结构光测量系统,圆球标定物布置于该三维结构光系统的正前方,图像采集装置和投影装置都与图像处理模块连接。
本发明实施例还公开了一种基于圆球逆透射投影的单位自三维结构光标定方法,包括如下步骤:
采集图像步骤:将特征体标定物置于三维结构光测量系统视场范围内并能清晰成像,标定过程中无须调整特征体标定物位姿。拍摄特征体标定物图像;图像处理模块生成编码图案;投射编码图案到特征体标定物,并拍摄特征体标定物表面的编码图案图像。采用的编码方法不同,相应的所述编码图案也不相同;标定时需采用编码方法得到的编码图案;投射编码图案时,需满足像素横、纵坐标的解码要求,编码图案包括条纹图案,所述条纹图案分别水平和垂直投射。
图像采集装置标定步骤:根据拍摄的所述特征体标定物图像提取拟合特征体图像轮廓曲线,标定图像采集装置内部参数。利用图像处理模块提取各特征体图像轮廓并拟合曲线,基于绝对二次曲线成像技术标定图像采集装置内参数。绝对二次曲线成像技术,是对经典的绝对二次曲线正交性法进行优化后的技术,即考虑了消隐点、消隐线和绝对二次曲线成像间的正交性是在一定比例因子前提下成立的,将比例因子加入模型中作为未知参数,并和图像采集装置内部参数一起进行标定,然后根据圆球轮廓点的理想位置在拟合椭圆上,非线性优化镜头畸变系数。
图像采集装置标定步骤包括摄像机标定步骤:根据拍摄的所述特征体标定物图像提取拟合特征体图像轮廓曲线,标定摄像机内部参数。利用图像处理模块提取各特征体图像轮廓并拟合曲线,基于绝对二次曲线成像技术标定摄像机内参数。绝对二次曲线成像技术,是对经典的绝对二次曲线正交性法进行优化后的技术,即考虑了消隐点、消隐线和绝对二次曲线成像间的正交性是在一定比例因子前提下成立的,将比例因子加入模型中作为未知参数,并和摄像机内部参数一起进行标定,然后根据圆球轮廓点的理想位置在拟合椭圆上,非线性优化镜头畸变系数。
获取三维空间坐标步骤:根据拟合的所述特征体图像轮廓曲线得到特征体图像像素对应的三维空间坐标。基于逆透视投影技术得到特征体图像像素对应的三维空间坐标。逆透视投影技术是指根据拟合的椭圆曲线得到对应的圆锥曲面,并结合奇异值分解技术和圆球半径几何信息,得到圆球球面的空间三维表达式。
投影装置标定步骤:根据拍摄的特征体标定物表面的编码图案图像获得特征体图像像素对应的投影装置像素坐标,根据投影装置像素坐标和三维空间坐标标定投影装置的内外参数。基于图像采集装置成像模型标定投影装置的内外参数。所述标定投影装置内外参数,是指将投影装置看作逆光路的图像采集装置,并采用图像采集装置的标定方法标定出投影装置内外参数。
投影装置标定步骤包括投影仪标定步骤:根据拍摄的特征体标定物表面的编码图案图像获得特征体图像像素对应的投影仪像素坐标,根据投影仪像素坐标和三维空间坐标标定投影仪的内外参数。基于摄像机成像模型标定投影仪的内外参数。所述标定投影仪内外参数,是指将投影仪看作逆光路的摄像机,并采用摄像机的标定方法标定出投影仪内外参数。
圆球标定物,其中圆球个数不少于三个,对圆球尺寸无要求;将各所述圆球粘合在平板上作为圆球标定物,对所述平板的平面度的加工工艺无特殊要求。
本发明将圆球标定物置于三维结构光系统视场范围内并能清晰成像,标定过程中无须调整圆球标定物位姿。拍摄圆球标定物图像。计算机生成编码图案。投射编码图案到标定物,并拍摄标定物表面的编码图案图像。圆球标定物,其中圆球个数不少于3个,对圆球尺寸无要求,可同时采用大小不一的圆球作为标定物;可将各圆球粘合在平板上作为圆球标定物,对平面板的平面度等加工工艺无特殊要求。编码图案,采用的编码方法不同,相应的编码图案也不相同;标定时只需采用一种编码方法得到的图案即可。投射编码图案时,需满足像素横、纵坐标的解码要求,如编码图案为条纹图案,则须分别水平和垂直投射。
利用计算机提取各圆球图像轮廓并拟合曲线,基于绝对二次曲线成像技术标定摄像机内参数。拟合曲线是指将提取到的圆球轮廓拟合为椭圆。绝对二次曲线成像技术,是对经典的绝对二次曲线正交性法进行优化后的技术,即考虑了消隐点、消隐线和绝对二次曲线成像间的正交性是在一定比例因子前提下成立的,将该比例因子加入模型中作为未知参数,并和摄像机内部参数一起进行标定,然后根据圆球轮廓点的理想位置在拟合椭圆上,非线性优化镜头畸变系数。
解码得到圆球图像像素对应的投影仪像素;基于逆透视投影技术得到圆球图像像素对应的三维空间坐标;基于摄像机成像模型标定投影仪的内外参数。逆透视投影技术是指根据拟合的椭圆曲线得到对应的圆锥曲面,并结合奇异值分解技术、圆球半径等几何信息,得到圆球球面的空间三维表达式。标定投影仪内外参数,是指将投影仪看作逆光路的摄像机,并采用摄像机的标定方法标定出投影仪内外参数。
为解决现有三维结构光系统标定存在的问题,本发明采用圆球作为标定物,利用绝对二次曲线成像技术和逆透视投影理论实现系统参数的高精度标定。本发明采用不少于三个圆球作为标定物,简单易得,且只需采集单位姿的标定物图像,极大地提高了三维结构光系统的标定效率。
本发明拍摄圆球标定物图像。投射编码图案到标定物,并拍摄图像。圆球标定物,其特殊之处在于包含至少3个圆球,各圆球半径可不相等,并将其固定在任意平板上,可使用胶水粘合,对平板的平面度等工艺无要求。标定时,将该圆球标定物置于三维结构光系统前,调整标定物与系统间的距离,使得各圆球能处于系统的视场范围内并清晰成像。该圆球标定物的位姿固定后,标定过程中无须再做调整。编码图案,其特殊之处在于根据不同编码方法得到的编码图案不同,图案数量也不同,例如采用7位格雷码方法得到7张编码图案,将该图案序列分别水平和垂直地投射向标定物,拍摄总得到14张编码图像;或采用空间彩色编码方法,只需投射一幅编码图案,研究者根据所采用的编码方法投射编码图案到标定物上,并拍摄图像。
提取并拟合圆球图像轮廓曲线,利用绝对二次曲线成像技术标定摄像机内参数。解码得到圆球图像像素对应的投影仪像素。拟合圆球图像轮廓曲线,其特殊之处在于其拟合形状为椭圆,从圆球图像中提取到圆球轮廓后,由于镜头畸变等误差因素的影响,按照二次曲线拟合得到的轮廓曲线方程并不一定是椭圆,但由于理想情况下圆球图像的轮廓应是椭圆曲线,因此按照椭圆方程对提取的轮廓进行拟合,其误差可通过摄像机畸变系数的标定得到修正。绝对二次曲线成像(Image of Absolute Conic,IAC)技术,其特殊之处在于对经典的IAC摄像机标定法进行了优化,考虑消隐点和消隐线的正交性模型是在一定比例因子前提下成立的,将每组消隐点和消隐线正交模型中的比例因子设置为未知参数,与摄像机的内部参数一起进行标定。该优化算法增加了未知参数的个数,基于数学解析的充分条件,分析得出至少需3个成像二次曲线,即3个圆球标定物。
根据逆透视投影理论得到圆球图像像素对应的三维坐标。基于摄像机成像模型标定投影仪的内外参数。逆透视投影理论,其特殊之处在于根据像平面上的拟合椭圆曲线逆投影得到物空间的圆锥曲面,利用坐标齐次变换技术使得圆锥曲面的中轴与光轴一致,并结合已知的圆球半径信息,得到圆球球面的曲面方程,进而可得到圆球图像像素对应的物方三维坐标。
本发明实施例还公开了一种基于圆球逆透视投影的单位姿三维结构光标定方法,如图2所示,包括如下步骤:
采集图像步骤:采集图像。调整圆球标定物的位置,使其在三维结构光测量系统的视场范围清晰成像,拍摄圆球标定物的图像。然后投射编码结构光图案,本实施例采用格雷码结合相移编码所生成的条纹图案序列,分别水平和垂直地投射到标定物上,并拍摄相应图像。至此,数据采集工作全部完成。
摄像机标定步骤:摄像机内部参数标定。从采集到的圆球标定物图像中,基于梯度阈值分割技术提取各圆球轮廓,并采用最小二乘法将其拟合为椭圆曲线。经典的张正友摄像机标定法基于IAC正交性原理,利用消隐线l、消隐点v和IAC矩阵ω的正交模型l=ωv标定出摄像机内参数矩阵。考虑到该正交模型是在一定比例因子前提下成立,对经典的的IAC标定法做了如下优化:
l=λωv
其中,λ表示每对消隐点和消隐线正交关系对应的比例因子。IAC矩阵ω=K-TK-1,其中K为摄像机内部参数矩阵,K-1表示K的逆矩阵;K-T表示K-1的转置矩阵。
采用以上优化的IAC正交性模型,可标定出摄像机的内部参数。
但是,以上标定出的摄像机内部参数是不考虑镜头畸变因素的。接下来,根据理想轮廓点位置应在拟合椭圆曲线上,采用非线性优化标定出镜头畸变系数。
获取三维空间坐标步骤:获取球面点三维空间坐标。基于逆透视投影理论,结合圆球几何信息,可得到球面点像素坐标对应的三维空间坐标。如图3所示,C表示采集图像步骤中得到的拟合椭圆曲线,根据逆透视投影原理,可得到其对应的圆锥曲面S为:
S=KTCK
对S进行奇异值分解可得到:
Figure BDA0003136207960000081
其中,λ1、λ2和λ3为矩阵S的特征值,且λ1、λ2与λ3符号相反,R为标准正交矩阵,上标T表示转置,KT表示K的转置矩阵,RT表示R的转置矩阵。如图3所示,将摄像机坐标系Oc-XcYcZc经旋转矩阵R后得到的新坐标系表示为Oc′-Xc′Yc′Zc′,对C上任一像点m,其对应的物点在坐标系Oc-XcYcZc内表示为M=(xc,yc,zc)T,在旋转后的新坐标系Oc′-Xc′Yc′Zc′内表示为M′=(xc′,yc′,zc′)T,且M′=R-1M=RTM,则有:
Figure BDA0003136207960000082
其中,MT表示M的转置矩阵;M′T表示M′的转置矩阵;
xc表示m对应的物点在坐标系Oc-XcYcZc内OcXc轴坐标值;
yc表示m对应的物点在坐标系Oc-XcYcZc内OcYc轴坐标值;
zc表示m对应的物点在坐标系Oc-XcYcZc内OcZc轴坐标值;
xc′表示m对应的物点在坐标系Oc′-Xc′Yc′Zc′内Oc′Xc′轴坐标值;
yc′表示m对应的物点在坐标系Oc′-Xc′Yc′Zc′内Oc′Yc′轴坐标值;
zc′表示m对应的物点在坐标系Oc′-Xc′Yc′Zc′内Oc′Zc′轴坐标值。
即在新坐标系Oc′-Xc′Yc′Zc′内,圆锥曲面方程可表示为标准形式,轴Oc′Zc′经过圆锥中轴。将圆球球心在新坐标系Oc′-Xc′Yc′Zc′内的坐标表示为(0,0,D0),结合已知的圆球半径r0,可求得:
Figure BDA0003136207960000091
其中,D0表示圆球球心在新坐标系Oc′-Xc′Yc′Zc′内Oc′Zc′轴坐标值。
进而可求得球面方程在坐标系Oc-XcYcZc内的表达式为:
Figure BDA0003136207960000092
由于xc和yc的由摄像机内部参数矩阵K表示,代入上式可得到zc的值,至此,已求出像点对应的物点三维空间坐标M=(xc,yc,zc)T
投影仪标定步骤:投影仪标定。采用采集图像步骤采集到的编码图像,提取其中每个圆球图像上的点像素,如图4所示,黑色像素的灰度值设置为0,白色设置为1,图像序列处理完成后,每个特征点像素灰度值是一个二值序列,结合相移法求解相位值,可解码得到特征点图像像素对应的投影仪像素坐标。将投影仪看作逆光路的摄像机,根据步骤3中得到特征点三维空间坐标,结合投影仪像素坐标,即可采用经典的张正友法摄像机标定算法,标定出投影仪的内外参数,且得到了高于现有标定方法的标定精度。
本发明提供一种基于圆球逆透视投影的单位姿三维结构光系统标定方法,采用圆球作为标定物,简单易得,且只需采集单位姿的标定物图像,极大地提高了标定效率。与现有标定方法相比,得到了更高的精度。该标定方法中的特征点提取简单,避免了传统方法中复杂的角点提取算法。并且该标定方法对所用圆球的尺寸无要求,圆球个数不少于3个均可,可同时采用大小不一的圆球进行标定,因此,对于各种视场范围的三维结构光系统、各种复杂的标定环境均可以灵活适用,实现了灵活、准确的三维结构光系统标定。
本发明解决传统标定方法中存在的须采集多位姿数据、须人工辅助调整标定物、标定物加工成本高、特征点提取算法复杂等问题。本发明将圆球作为标定物并拍摄标定物图像;投射编码图案到标定物上并拍摄图像;标定摄像机内部参数;基于逆透视投影技术得到球面点三维坐标;解码得到投影仪像素坐标并标定投影仪内外参数。
在本申请的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于圆球逆透视投影的单位姿三维结构光标定方法,其特征在于,采用一种基于圆球逆透视投影的单位姿三维结构光标定系统,包括特征体标定物、图像采集装置、投影装置和图像处理模块;所述图像采集装置和投影装置的光轴夹角呈一定角度设置,且二者的光学中心处于同一高度;所述图像采集装置和投影装置构成三维结构光测量系统,特征体标定物与所述三维结构光测量系统对应设置,图像采集装置和投影装置分别与图像处理模块连接;
标定过程中无须调整特征体标定物位姿;
所述特征体标定物由至少三个特征体分别粘在平板上构成,特征体标定物包括圆球标定物,特征体包括圆球;
所述方法包括如下步骤:
采集图像步骤:拍摄特征体标定物图像;投射编码图案到特征体标定物,并拍摄特征体标定物表面的编码图案图像;
图像采集装置标定步骤:根据拍摄的所述特征体标定物图像提取拟合特征体图像轮廓曲线,标定图像采集装置内部参数;
获取三维空间坐标步骤:根据拟合的所述特征体图像轮廓曲线得到特征体图像像素对应的三维空间坐标;
投影装置标定步骤:根据拍摄的特征体标定物表面的编码图案图像获得特征体图像像素对应的投影装置像素坐标,根据投影装置像素坐标和三维空间坐标标定投影装置的内外参数;
所述采集图像步骤包括将特征体标定物置于三维结构光测量系统视场范围内并能清晰成像;
图像采集装置的摄像机标定采用如下方式:
摄像机内部参数标定;从采集到的圆球标定物图像中,基于梯度阈值分割技术提取各圆球轮廓,并采用最小二乘法将其拟合为椭圆曲线;利用消隐线l、消隐点v和绝对二次曲线成像矩阵ω的正交模型标定出摄像机内参数矩阵:
l=λωv
其中,λ表示每对消隐点和消隐线正交关系对应的比例因子;绝对二次曲线成像矩阵ω=K-TK-1,其中K为摄像机内部参数矩阵,K-1表示K的逆矩阵;K-T表示K-1的转置矩阵;
根据理想轮廓点位置应在拟合椭圆曲线上,采用非线性优化标定出镜头畸变系数;
获取三维空间坐标步骤:获取球面点三维空间坐标;基于逆透视投影理论,结合圆球几何信息,得到球面点像素坐标对应的三维空间坐标;C表示采集图像步骤中得到的拟合椭圆曲线,根据逆透视投影原理,得到其对应的圆锥曲面S为:
S=KTCK
对S进行奇异值分解可得到:
Figure FDA0003825483030000021
其中,λ1、λ2和λ3为矩阵S的特征值,且λ1、λ2符号相反于λ3,R为标准正交矩阵,上标T表示转置,KT表示K的转置矩阵,RT表示R的转置矩阵;将摄像机坐标系Oc-XcYcZc经旋转矩阵R后得到的新坐标系表示为Oc′-Xc′Yc′Zc′,对C上任一像点m,其对应的物点在坐标系Oc-XcYcZc内表示为M=(xc,yc,zc)T,在旋转后的新坐标系Oc′-Xc′Yc′Zc′内表示为M′=(xc′,yc′,zc′)T,且M′=R-1M=RTM,则有:
Figure FDA0003825483030000022
其中,MT表示M 的转置矩阵;M′T表示M′的转置矩阵;
xc表示m对应的物点在坐标系Oc-XcYcZc内OcXc轴坐标值;
yc表示m对应的物点在坐标系Oc-XcYcZc内OcYc轴坐标值;
zc表示m对应的物点在坐标系Oc-XcYcZc内OcZc轴坐标值;
xc′表示m对应的物点在坐标系Oc′-Xc′Yc′Zc′内Oc′Xc′轴坐标值;
yc′表示m对应的物点在坐标系Oc′-Xc′Yc′Zc′内Oc′Yc′轴坐标值;
zc′表示m对应的物点在坐标系Oc′-Xc′Yc′Zc′内Oc′Zc′轴坐标值;
即在新坐标系Oc′-Xc′Yc′Zc′内,圆锥曲面方程表示为标准形式,轴Oc′Zc′经过圆锥中轴;将圆球球心在新坐标系Oc′-Xc′Yc′Zc′内的坐标表示为(0,0,D0),结合已知的圆球半径r0,求得:
Figure FDA0003825483030000031
其中,D0表示圆球球心在新坐标系Oc′-Xc′Yc′Zc′内Oc′Zc′轴坐标值;
进而求得球面方程在坐标系Oc-XcYcZc内的表达式为:
Figure FDA0003825483030000032
由于xc和yc的由摄像机内部参数矩阵K表示,代入上式得到zc的值,求出像点对应的物点三维空间坐标M=(xc,yc,zc)T
2.根据权利要求1所述的基于圆球逆透视投影的单位姿三维结构光标定方法,其特征在于,所述图像采集装置标定步骤包括:提取各所述特征体图像轮廓并拟合曲线,基于绝对二次曲线成像技术标定图像采集装置内参数。
3.根据权利要求2所述的基于圆球逆透视投影的单位姿三维结构光标定方法,其特征在于,所述绝对二次曲线成像技术,是对经典的绝对二次曲线正交性法进行优化后的技术,即考虑了消隐点、消隐线和绝对二次曲线成像间的正交性是在一定比例因子前提下成立的,将比例因子加入模型中作为未知参数,并和图像采集装置内部参数一起进行标定,然后根据圆球轮廓点的理想位置在拟合椭圆上,非线性优化镜头畸变系数。
4.根据权利要求1所述的基于圆球逆透视投影的单位姿三维结构光标定方法,其特征在于,所述获取三维空间坐标步骤包括:基于逆透视投影技术得到特征体图像像素对应的三维空间坐标;所述逆透视投影技术是指根据拟合的椭圆曲线得到对应的圆锥曲面,并结合奇异值分解技术和圆球半径几何信息,得到圆球球面的空间三维表达式。
5.根据权利要求1所述的基于圆球逆透视投影的单位姿三维结构光标定方法,其特征在于,所述投影装置标定步骤包括:基于图像采集装置成像模型标定投影装置的内外参数;所述标定投影装置的 内外参数,是指将投影装置看作逆光路的图像采集装置,并采用图像采集装置的标定方法标定出投影装置内外参数。
6.根据权利要求1所述的基于圆球逆透视投影的单位姿三维结构光标定方法,其特征在于,还包括圆球标定物,其中圆球个数不少于三个,对圆球尺寸无要求;将各所述圆球粘合在平板上作为圆球标定物,对所述平板的平面度的加工工艺无特殊要求。
7.根据权利要求1所述的基于圆球逆透视投影的单位姿三维结构光标定方法,其特征在于,所述采集图像步骤包括:采用的编码方法不同,相应的所述编码图案也不相同;标定时需采用编码方法得到编码图案;投射编码图案时,需满足像素横、纵坐标的解码要求,编码图案包括条纹图案,所述条纹图案分别水平和垂直投射。
CN202110720192.3A 2021-06-28 2021-06-28 基于圆球逆透视投影的单位姿三维结构光标定系统及方法 Active CN113470117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110720192.3A CN113470117B (zh) 2021-06-28 2021-06-28 基于圆球逆透视投影的单位姿三维结构光标定系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110720192.3A CN113470117B (zh) 2021-06-28 2021-06-28 基于圆球逆透视投影的单位姿三维结构光标定系统及方法

Publications (2)

Publication Number Publication Date
CN113470117A CN113470117A (zh) 2021-10-01
CN113470117B true CN113470117B (zh) 2022-12-27

Family

ID=77873554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110720192.3A Active CN113470117B (zh) 2021-06-28 2021-06-28 基于圆球逆透视投影的单位姿三维结构光标定系统及方法

Country Status (1)

Country Link
CN (1) CN113470117B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258329A (zh) * 2013-05-24 2013-08-21 西安电子科技大学 一种基于圆球一维特性的摄像机标定方法
CN107133986A (zh) * 2017-04-26 2017-09-05 武汉科技大学 一种基于二维标定物的相机标定方法
CN111080715A (zh) * 2019-12-18 2020-04-28 云南大学 三个球和无穷远点的极线性质标定摄像机内参数的方法
CN112067337A (zh) * 2020-09-21 2020-12-11 郑州轻工业大学 基于标准球双目机器人的快速手眼标定装置及标定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2868185B1 (fr) * 2004-03-23 2006-06-30 Realeyes3D Sa Procede d'extraction de donnees brutes d'une image resultant d'une prise de vue
CN103020946A (zh) * 2011-09-21 2013-04-03 云南大学 基于三正交方向消失点的摄像机自标定方法
CN104835144B (zh) * 2015-04-09 2017-10-20 云南大学 利用一个球的球心的像及正交性求解摄像机内参数的方法
CN107146254A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 多相机系统的相机外参数标定方法
CN110148183B (zh) * 2019-05-08 2022-09-06 云南大学 利用球及极点极线标定摄像机的方法、存储介质和系统
CN111091599B (zh) * 2019-11-14 2022-11-18 东南大学 一种基于球体标定物的多相机-投影仪系统标定方法
CN111750806B (zh) * 2020-07-20 2021-10-08 西安交通大学 一种多视角三维测量系统及方法
CN112258521B (zh) * 2020-10-16 2022-06-07 江苏方天电力技术有限公司 基于单张椭圆成像射线照片的管道焊缝三维重建方法
CN112258547B (zh) * 2020-10-19 2022-09-20 郑州轻工业大学 基于逆透视投影变换和跟车模型的车辆三维轨迹优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258329A (zh) * 2013-05-24 2013-08-21 西安电子科技大学 一种基于圆球一维特性的摄像机标定方法
CN107133986A (zh) * 2017-04-26 2017-09-05 武汉科技大学 一种基于二维标定物的相机标定方法
CN111080715A (zh) * 2019-12-18 2020-04-28 云南大学 三个球和无穷远点的极线性质标定摄像机内参数的方法
CN112067337A (zh) * 2020-09-21 2020-12-11 郑州轻工业大学 基于标准球双目机器人的快速手眼标定装置及标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pose calibration of line structured light probe based on ball bar target in cylindrical coordinate measuring machines;Zhenyou Wang等;《ScienceDirect》;20201125;第1-10页 *
新型正交消隐点的摄像机标定方法;卢津 等;《中国激光》;20140228;第41卷(第2期);第1-9页 *

Also Published As

Publication number Publication date
CN113470117A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN108489398B (zh) 一种广角场景下激光加单目视觉测量三维坐标的方法
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
CN104835144A (zh) 利用一个球的球心的像及正交性求解摄像机内参数
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN109163657A (zh) 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN108154536A (zh) 二维平面迭代的相机标定法
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN110060304B (zh) 一种生物体三维信息采集方法
CN103106661A (zh) 空间二条相交直线线性求解抛物折反射摄像机内参数
CN113205603A (zh) 一种基于旋转台的三维点云拼接重建方法
CN109448043A (zh) 平面约束下的立木高度提取方法
CN103106662A (zh) 空间一条直线线性求解抛物折反射摄像机内参数
CN109003309A (zh) 一种高精度相机标定和目标姿态估计方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Resch et al. On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry
CN108447096B (zh) kinect深度相机与热红外相机的信息融合方法
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN111340888A (zh) 一种无需白图像的光场相机检校方法及系统
CN113554708A (zh) 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法
CN104504691B (zh) 基于低秩纹理的摄像机位置和姿态测量方法
CN115546289A (zh) 一种基于机器人的复杂结构件三维形貌测量方法
CN111739103A (zh) 一种基于单点标定物的多相机标定系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant