CN114993207A - 基于双目测量系统的三维重建方法 - Google Patents

基于双目测量系统的三维重建方法 Download PDF

Info

Publication number
CN114993207A
CN114993207A CN202210924341.2A CN202210924341A CN114993207A CN 114993207 A CN114993207 A CN 114993207A CN 202210924341 A CN202210924341 A CN 202210924341A CN 114993207 A CN114993207 A CN 114993207A
Authority
CN
China
Prior art keywords
lens
coordinates
camera
perspective
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210924341.2A
Other languages
English (en)
Other versions
CN114993207B (zh
Inventor
张卫平
李晓涛
金炯华
朱海平
黄培
倪明堂
张晟
吴淑敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Intelligent Robotics Institute
Original Assignee
Guangdong Intelligent Robotics Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Intelligent Robotics Institute filed Critical Guangdong Intelligent Robotics Institute
Priority to CN202210924341.2A priority Critical patent/CN114993207B/zh
Publication of CN114993207A publication Critical patent/CN114993207A/zh
Application granted granted Critical
Publication of CN114993207B publication Critical patent/CN114993207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于双目测量系统的三维重建方法，所述双目测量系统由一个带有双远心沙姆镜头的工业相机和带有透视镜头的工业投影仪组成，所述方法包括：步骤1：设计双远心沙姆镜头和透视镜头的成像模型；步骤2：标定得到内参外参；步骤3：投影纹理，相机捕捉条纹并进行解相；步骤4：计算出双远心沙姆‑透视极线方程；步骤5：进行二分搜索和线性搜索配对相位值坐标；步骤6：采用中点算法求出反向三角化后的三维坐标值。本发明通过使用沙姆双远心镜头相机和普通透视镜头投影的配置，以及提出的双远心沙姆‑透视极线方程模型和二分‑线性搜索匹配算法，有效提升了重建的景深范围，精度以及速度。

Description

基于双目测量系统的三维重建方法
技术领域
本发明涉及三维测量技术领域，尤其涉及一种基于双目测量系统的三维重建方法。
背景技术
近年来，基于工业相机和DLP投影的结构光三维重建技术得到了蓬勃的发展。此技术越来越多的应用到诸如逆向工程，视觉导航，机器人分拣，三维质量检测等众多行业。面阵结构光和传统的三维重建方法比起来，能够静止地快速获取精确的稠密点云，弥补了线激光和基于自然特征的双目重建方法的种种不足。
面阵结构光从特性上来说，更适合做大场景大视野下的应用。在迁移到相对微观的场景，例如检测面积为10平方厘米以内的视野时，则会面临镜头畸变大，扫描景深短，细节不清楚等种种限制。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于双目测量系统的三维重建方法，以解决微观场景下的镜头畸变大，扫描景深短，细节不清楚等问题。
为了解决上述技术问题，本发明实施例提出了一种基于双目测量系统的三维重建方法，所述双目测量系统由一个带有双远心沙姆镜头的工业相机和带有透视镜头的工业投影仪组成，所述方法包括：
步骤1：设计双远心沙姆镜头和透视镜头的成像模型；
步骤2：根据设计好的成像模型，进行标定，得到所述相机和投影仪的内参外参；
步骤3：投影仪投射出灰码+余弦条纹的纵向纹理，相机捕捉条纹并进行解相，求得相机每个像素对应的相位；
步骤4：依据双远心沙姆镜头和透视镜头的成像模型，计算出位于相机和投影仪两者的焦平面的双远心沙姆-透视极线方程；
步骤5：根据所述极线方程，在投影的焦平面进行二分搜索和线性搜索配对相位值坐标；
步骤6：采用中点算法求出对应两个配对的相位值坐标反向三角化后的三维坐标值。
进一步地，步骤1中，双远心沙姆镜头的成像模型如下：
设世界坐标系的一点
Figure 201408DEST_PATH_IMAGE001
，转换到相机坐标为：
Figure 736425DEST_PATH_IMAGE002
；
Figure 632837DEST_PATH_IMAGE003
为旋转矩阵，
Figure 685545DEST_PATH_IMAGE004
为平移矩阵；
非畸变条件下，图像平面物理坐标为：
Figure 907579DEST_PATH_IMAGE005
；
畸变后的坐标为：
Figure 992210DEST_PATH_IMAGE006
；
Figure 692312DEST_PATH_IMAGE007
为放大倍率，
Figure 811578DEST_PATH_IMAGE008
为畸变系数；
Figure 204513DEST_PATH_IMAGE009
代表标准非倾斜传感平面上的坐标，考虑到沙姆镜头的倾斜效应，需将标准非 倾斜传感平面上的点映射到倾斜平面即真正的相机传感芯片平面上，此时有倾斜矩阵：
Figure 714123DEST_PATH_IMAGE010
；
Figure 214987DEST_PATH_IMAGE011
和
Figure 188760DEST_PATH_IMAGE012
分别为光轴相对于相机传感平面的旋转方向角和倾斜角；
经过倾斜映射后落在传感芯片平面上的坐标为：
Figure 283754DEST_PATH_IMAGE013
；
最后的像素坐标为：
Figure 77398DEST_PATH_IMAGE014
；
Figure 384883DEST_PATH_IMAGE015
为像素物理尺寸，
Figure 478741DEST_PATH_IMAGE016
为图像中心像素坐标。
进一步地，步骤1中，透视镜头的成像模型为：
设世界坐标系的一点
Figure 885582DEST_PATH_IMAGE001
，转换到相机坐标为：
Figure 107135DEST_PATH_IMAGE002
；
Figure 749469DEST_PATH_IMAGE003
为旋转矩阵，
Figure 697833DEST_PATH_IMAGE004
为平移矩阵；
非畸变条件下，图像平面物理坐标为：
Figure 337893DEST_PATH_IMAGE017
；
畸变后的坐标为：
Figure 371708DEST_PATH_IMAGE006
；
Figure 427520DEST_PATH_IMAGE018
为焦距，
Figure 289778DEST_PATH_IMAGE008
为畸变系数；
最后的像素坐标为：
Figure 100739DEST_PATH_IMAGE019
；
Figure 356271DEST_PATH_IMAGE015
为像素物理尺寸，
Figure 481353DEST_PATH_IMAGE016
为图像中心像素坐标。
进一步地，步骤4中，根据以下步骤计算双远心沙姆-透视极线方程：
对于双远心沙姆相机中的标准非倾斜传感平面上的一个点
Figure 404310DEST_PATH_IMAGE020
,在装有透视镜 头的投影的焦平面上，存在一条直线方程：
Figure 386172DEST_PATH_IMAGE021
；
称为双远心沙姆-透视极线方程，其中，
Figure 129000DEST_PATH_IMAGE022
；
Figure 947239DEST_PATH_IMAGE023
；
Figure 521439DEST_PATH_IMAGE024
；
Figure 939783DEST_PATH_IMAGE025
；
Figure 169907DEST_PATH_IMAGE026
；
Figure 699108DEST_PATH_IMAGE027
为旋转矩阵，
Figure 268761DEST_PATH_IMAGE028
平移矩阵，
Figure 858005DEST_PATH_IMAGE029
为焦距，
Figure 306917DEST_PATH_IMAGE030
为直线斜率，
Figure 436547DEST_PATH_IMAGE031
为直线截距。
进一步地，步骤4中，二分搜索的具体步骤如下：
（1）设双远心沙姆相机中的一个点，其在非畸变图像平面的物理坐标为
Figure 188602DEST_PATH_IMAGE020
,根 据上述方法求得在透视镜头的投影焦平面上存在一条直线方程,同时该点对应的解相后的 相位值为
Figure 948748DEST_PATH_IMAGE032
；
（2）根据投影芯片的尺寸值，设定二分搜索的边界值为
Figure 887885DEST_PATH_IMAGE033
和
Figure 696572DEST_PATH_IMAGE034
；
（3）循环开始，求得中间值
Figure 37554DEST_PATH_IMAGE035
；
（4）根据透视镜头的成像模型，求出
Figure 768269DEST_PATH_IMAGE036
对应的图像像素坐标
Figure 460281DEST_PATH_IMAGE037
；
（5）如果
Figure 400555DEST_PATH_IMAGE037
对应的像素点位于阴影处，或者相位值无效的区域，则 进入线性搜索阶段，返回线性搜索的结果，退出循环；
（6）坐标
Figure 596044DEST_PATH_IMAGE037
对应的相位值，可通过常见的双线性插值求得，记为
Figure 697993DEST_PATH_IMAGE038
，插值时需要的四个相邻的点的坐标值和相位值分别为：
Figure 549405DEST_PATH_IMAGE039
Figure 27791DEST_PATH_IMAGE040
Figure 340436DEST_PATH_IMAGE041
Figure 613286DEST_PATH_IMAGE042
其中
Figure 14311DEST_PATH_IMAGE043
函数为向下取整函数；
（7）如果
Figure 296388DEST_PATH_IMAGE044
，则此时的
Figure 466469DEST_PATH_IMAGE037
即为配对坐标值，退出循 环；
（8）如果
Figure 972537DEST_PATH_IMAGE045
，则
Figure 860859DEST_PATH_IMAGE046
，否则
Figure 415468DEST_PATH_IMAGE047
，转到步骤（3）继续循环；
（9）达到循环上限，退出，标记为没有找到配对坐标值。
进一步地，步骤4中，线性搜索的具体步骤如下：
（1）保留从二分搜索进入线性搜索的
Figure 696846DEST_PATH_IMAGE033
和
Figure 577077DEST_PATH_IMAGE034
值；
（2）设当前图像平面坐标为
Figure 624799DEST_PATH_IMAGE048
；
（3）循环开始，根据透视镜头的成像模型，当前图像平面坐标对应的图像像素坐标 为
Figure 186361DEST_PATH_IMAGE049
；
（4）如果
Figure 65455DEST_PATH_IMAGE049
对应的像素点位于阴影处，或者相位值无效的区域，转到步骤 （8）；
（5）计算坐标
Figure 116588DEST_PATH_IMAGE049
对应的相位值，可通过常见的双线性插值，记为
Figure 773310DEST_PATH_IMAGE050
；
（6）根据透视镜头的成像模型，求取图像平面坐标
Figure 669722DEST_PATH_IMAGE051
对应的图像像素坐标为
Figure 934481DEST_PATH_IMAGE052
，以及双线性插值出 对应的相位值
Figure 890936DEST_PATH_IMAGE053
；
（7）如果
Figure 241145DEST_PATH_IMAGE054
,则配对坐标值为
Figure 878931DEST_PATH_IMAGE055
；
至此退出循环；
（8）如果
Figure 326093DEST_PATH_IMAGE056
,则退出循环，标记为没有找到配对坐标值；
（9）
Figure 394062DEST_PATH_IMAGE057
自增一个搜索步长
Figure 965989DEST_PATH_IMAGE058
，更新当前图像平面坐标中的
Figure 469782DEST_PATH_IMAGE057
值为
Figure 443555DEST_PATH_IMAGE059
，返回步骤（3）继续循环。
本发明的有益效果为：本发明选用了沙姆双远心镜头搭配普通投影的配置，能够有效解决相机斜向拍摄时，景深不足的问题；同时，能提供高倍率和极低畸变等特性，更适合微观场景下苛刻的细节和精度要求；本发明提出的成像模型和匹配点搜索算法无论在是精度上还是速度上，均达到较高水平。
附图说明
图1是本发明实施例所应用的实际场景的配置示意图。
图2是本发明实施例的基于双目测量系统的三维重建方法的流程图。
附图标号说明
DLP投影仪1，8mm的普通透视工业镜头2，500万工业相机3，双远心沙姆镜头4，触发线5，待检测物体6。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例中若有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中若涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
请参照图1，本发明实施例的双目测量系统由一个带有双远心沙姆镜头的工业相机和带有普通透视镜头的工业投影仪组成。本发明实施例的大致流程如下：
首先，搭建三维的双目测量系统，如图1所示，1为DLP投影仪，分辨率为1280*720，2为镜头为8mm的普通透视工业镜头，3为500万工业相机，4为双远心沙姆镜头。两个设备之间通过触发线5连接。6为待检测物体，位于工业相机和投影仪的视场范围内。
再给出扫描指令，投影仪投射出灰码+余弦条纹，同步触发相机采集纹理图片。
相机对采集到的图像进行解相计算，得到相位图，然后根据本发明的基于双目测量系统的三维重建方法，重建出三维点云数据。
请参照图2，本发明的基于双目测量系统的三维重建方法包括：
步骤1：设计双远心沙姆镜头和透视镜头的成像模型；
步骤2：根据设计好的成像模型，进行标定，得到所述相机和投影仪的内参外参；
步骤3：控制投影仪投射出灰码+余弦条纹的纵向纹理，相机捕捉条纹并进行解相，求得相机每个像素对应的相位；
步骤4：依据双远心沙姆镜头和透视镜头的成像模型，计算出位于相机和投影仪两者的焦平面的双远心沙姆-透视极线方程；
步骤5：根据所述极线方程，在投影的焦平面进行二分搜索和线性搜索配对相位值坐标；
步骤6：采用中点算法求出对应两个像素（即两个配对的相位值坐标）反向三角化后的三维坐标值。
作为一种实施方式，步骤1中，双远心沙姆镜头的成像模型如下：
设世界坐标系的一点
Figure 7391DEST_PATH_IMAGE001
，转换到相机坐标为：
Figure 66614DEST_PATH_IMAGE002
；
R代表旋转矩阵，t代表平移矩阵；
非畸变条件下，图像平面物理坐标为：
Figure 170836DEST_PATH_IMAGE005
；
畸变后的坐标为：
Figure 999115DEST_PATH_IMAGE006
；
Figure 730923DEST_PATH_IMAGE007
为放大倍率，
Figure 683967DEST_PATH_IMAGE008
为畸变系数；
Figure 529563DEST_PATH_IMAGE060
代表标准非倾斜传感平面上的坐标，考虑到沙姆镜头的倾斜效应，需将标准 非倾斜传感平面上的点映射到倾斜平面即真正的相机传感芯片平面上，此时有倾斜矩阵：
Figure 477927DEST_PATH_IMAGE010
；
Figure 180304DEST_PATH_IMAGE011
和
Figure 214119DEST_PATH_IMAGE012
分别为光轴相对于相机传感平面的旋转方向角和倾斜角；
经过倾斜映射后落在传感芯片平面上的坐标为：
Figure 863406DEST_PATH_IMAGE013
；
最后的像素坐标为：
Figure 415347DEST_PATH_IMAGE061
；
Figure 491887DEST_PATH_IMAGE015
为像素物理尺寸，
Figure 12998DEST_PATH_IMAGE016
为图像中心像素坐标。
作为一种实施方式，步骤1中，透视镜头的成像模型为：
设世界坐标系的一点
Figure 465976DEST_PATH_IMAGE001
，转换到相机坐标为：
Figure 795458DEST_PATH_IMAGE002
；
Figure 42899DEST_PATH_IMAGE003
为旋转矩阵，
Figure 51307DEST_PATH_IMAGE004
为平移矩阵；
非畸变条件下，图像平面物理坐标为：
Figure 773887DEST_PATH_IMAGE017
；
畸变后的坐标为：
Figure 551351DEST_PATH_IMAGE006
；
Figure 969694DEST_PATH_IMAGE018
为焦距，
Figure 262135DEST_PATH_IMAGE008
为畸变系数；
最后的像素坐标为：
Figure 791336DEST_PATH_IMAGE061
；
Figure 157726DEST_PATH_IMAGE015
为像素物理尺寸，
Figure 12550DEST_PATH_IMAGE016
为图像中心像素坐标。
作为一种实施方式，步骤4中，根据以下步骤计算双远心沙姆-透视极线方程：
对于双远心沙姆相机中的标准非倾斜传感平面上的一个点
Figure 729970DEST_PATH_IMAGE020
,在装有透视镜 头的投影的焦平面上，存在一条直线方程：
Figure 737896DEST_PATH_IMAGE021
；
称为双远心沙姆-透视极线方程，其中，
Figure 489952DEST_PATH_IMAGE022
；
Figure 250097DEST_PATH_IMAGE023
；
Figure 189234DEST_PATH_IMAGE024
；
Figure 325818DEST_PATH_IMAGE025
；
Figure 932379DEST_PATH_IMAGE026
；
Figure 863426DEST_PATH_IMAGE027
为旋转矩阵，
Figure 349247DEST_PATH_IMAGE028
平移矩阵，
Figure 23942DEST_PATH_IMAGE029
为焦距，
Figure 485010DEST_PATH_IMAGE030
为直线斜率，
Figure 586958DEST_PATH_IMAGE031
为直线截距。
作为一种实施方式，步骤4中，二分搜索的具体步骤如下：
（1）设双远心沙姆相机中的一个点，其在非畸变图像平面的物理坐标为
Figure 766267DEST_PATH_IMAGE020
,根 据上述方法求得在透视镜头的投影焦平面上存在一条直线方程,同时该点对应的解相后的 相位值为
Figure 651177DEST_PATH_IMAGE032
；
（2）根据投影芯片的尺寸值，设定二分搜索的边界值为
Figure 560228DEST_PATH_IMAGE033
和
Figure 833077DEST_PATH_IMAGE034
；
（3）循环开始，求得中间值
Figure 162997DEST_PATH_IMAGE035
；
（4）根据透视镜头的成像模型，求出
Figure 179494DEST_PATH_IMAGE036
对应的图像像素坐标
Figure 615155DEST_PATH_IMAGE037
；
（5）如果
Figure 58905DEST_PATH_IMAGE037
对应的像素点位于阴影处，或者相位值无效的区域，则 进入线性搜索阶段，返回线性搜索的结果，退出循环；
（6）坐标
Figure 947227DEST_PATH_IMAGE037
对应的相位值，可通过常见的双线性插值求得，记为
Figure 767416DEST_PATH_IMAGE038
，插值时需要的四个相邻的点的坐标值和相位值分别为：
Figure 588741DEST_PATH_IMAGE039
Figure 138147DEST_PATH_IMAGE040
Figure 513764DEST_PATH_IMAGE041
Figure 606485DEST_PATH_IMAGE042
其中
Figure 16738DEST_PATH_IMAGE043
函数为向下取整函数；
（7）如果
Figure 67870DEST_PATH_IMAGE044
，则此时的
Figure 727522DEST_PATH_IMAGE037
即为配对坐标值，退出循 环；
（8）如果
Figure 889513DEST_PATH_IMAGE045
，则
Figure 891623DEST_PATH_IMAGE046
，否则
Figure 848077DEST_PATH_IMAGE047
，转到步骤（3）继续循环；
（9）达到循环上限，退出，标记为没有找到配对坐标值。
作为一种实施方式，步骤4中，线性搜索的具体步骤如下：
（1）保留从二分搜索进入线性搜索的
Figure 198287DEST_PATH_IMAGE033
和
Figure 163969DEST_PATH_IMAGE034
值；
（2）设当前图像平面坐标为
Figure 955339DEST_PATH_IMAGE062
；
（3）循环开始，根据透视镜头的成像模型，当前图像平面坐标对应的图像像素坐标 为
Figure 82695DEST_PATH_IMAGE049
；
（4）如果
Figure 654622DEST_PATH_IMAGE049
对应的像素点位于阴影处，或者相位值无效的区域，转到步骤 （9）；
（5）计算坐标
Figure 952223DEST_PATH_IMAGE049
对应的相位值，可通过常见的双线性插值，记为
Figure 925996DEST_PATH_IMAGE050
；
（6）根据透视镜头的成像模型，求取图像平面坐标
Figure 224253DEST_PATH_IMAGE051
对应的图像像素坐标为
Figure 221159DEST_PATH_IMAGE052
，以及双线性插值出 对应的相位值
Figure 528643DEST_PATH_IMAGE053
；
（7）如果
Figure 91343DEST_PATH_IMAGE054
,则配对坐标值为
Figure 826081DEST_PATH_IMAGE055
；
至此退出循环；
（8）如果
Figure 387248DEST_PATH_IMAGE056
,则退出循环，标记为没有找到配对坐标值；
（9）
Figure 295161DEST_PATH_IMAGE057
自增一个搜索步长
Figure 243526DEST_PATH_IMAGE058
，更新当前图像平面坐标中的
Figure 149165DEST_PATH_IMAGE057
值为
Figure 182980DEST_PATH_IMAGE063
，返回步骤（3）继续循环。
本发明为了克服在微观场景下的镜头畸变大、扫描景深短、细节不清楚等缺陷，本发明选用了沙姆双远心镜头搭配普通投影的配置。沙姆双远心镜头的使用，能够有效解决相机斜向拍摄时，景深不足的问题。同时，双远心镜头能提供高倍率和极低畸变等特性，更适合微观场景下苛刻的细节和精度要求。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (6)

1.一种基于双目测量系统的三维重建方法，其特征在于，所述双目测量系统由一个带有双远心沙姆镜头的工业相机和带有透视镜头的工业投影仪组成，所述方法包括：
步骤1：设计双远心沙姆镜头和透视镜头的成像模型；
步骤2：根据设计好的成像模型，进行标定，得到所述相机和投影仪的内参外参；
步骤3：投影仪投射出灰码+余弦条纹的纵向纹理，相机捕捉条纹并进行解相，求得相机每个像素对应的相位；
步骤4：依据双远心沙姆镜头和透视镜头的成像模型，计算出位于相机和投影仪两者的焦平面的双远心沙姆-透视极线方程；
步骤5：根据所述极线方程，在投影的焦平面进行二分搜索和线性搜索配对相位值坐标；
步骤6：采用中点算法求出对应两个配对的相位值坐标反向三角化后的三维坐标值。
2.如权利要求1所述的基于双目测量系统的三维重建方法，其特征在于，步骤1中，双远心沙姆镜头的成像模型如下：
设世界坐标系的一点
Figure 394674DEST_PATH_IMAGE001
，转换到相机坐标为：
Figure 968655DEST_PATH_IMAGE002
；
Figure 196112DEST_PATH_IMAGE003
为旋转矩阵，
Figure 197564DEST_PATH_IMAGE004
为平移矩阵；
非畸变条件下，图像平面物理坐标为：
Figure 131760DEST_PATH_IMAGE005
；
畸变后的坐标为：
Figure 188228DEST_PATH_IMAGE006
；
Figure 686336DEST_PATH_IMAGE007
为放大倍率，
Figure 51065DEST_PATH_IMAGE008
为畸变系数；
Figure 224121DEST_PATH_IMAGE009
代表标准非倾斜传感平面上的坐标，考虑到沙姆镜头的倾斜效应，需将标准非倾斜 传感平面上的点映射到倾斜平面即真正的相机传感芯片平面上，此时有倾斜矩阵：
Figure 199292DEST_PATH_IMAGE010
；
Figure 853871DEST_PATH_IMAGE011
和
Figure 884275DEST_PATH_IMAGE012
分别为光轴相对于相机传感平面的旋转方向角和倾斜角；
经过倾斜映射后落在传感芯片平面上的坐标为：
Figure 703982DEST_PATH_IMAGE013
；
最后的像素坐标为：
Figure 20694DEST_PATH_IMAGE014
；
Figure 290133DEST_PATH_IMAGE015
为像素物理尺寸，
Figure 655386DEST_PATH_IMAGE016
为图像中心像素坐标。
3.如权利要求1所述的基于双目测量系统的三维重建方法，其特征在于，步骤1中，透视镜头的成像模型为：
设世界坐标系的一点
Figure 185724DEST_PATH_IMAGE001
，转换到相机坐标为：
Figure 608091DEST_PATH_IMAGE002
；
Figure 364826DEST_PATH_IMAGE003
为旋转矩阵，
Figure 330508DEST_PATH_IMAGE004
为平移矩阵；
非畸变条件下，图像平面物理坐标为：
Figure 121877DEST_PATH_IMAGE017
；
畸变后的坐标为：
Figure 452495DEST_PATH_IMAGE006
；
Figure 789803DEST_PATH_IMAGE018
为焦距，
Figure 434542DEST_PATH_IMAGE008
为畸变系数；
最后的像素坐标为：
Figure 608647DEST_PATH_IMAGE019
；
Figure 782271DEST_PATH_IMAGE015
为像素物理尺寸，
Figure 372652DEST_PATH_IMAGE016
为图像中心像素坐标。
4.如权利要求1所述的基于双目测量系统的三维重建方法，其特征在于，步骤4中，根据以下步骤计算双远心沙姆-透视极线方程：
对于双远心沙姆相机中的标准非倾斜传感平面上的一个点
Figure 821082DEST_PATH_IMAGE020
,在装有透视镜头的 投影的焦平面上，存在一条直线方程：
Figure 917870DEST_PATH_IMAGE021
；
称为双远心沙姆-透视极线方程，其中，
Figure 527974DEST_PATH_IMAGE022
；
Figure 871230DEST_PATH_IMAGE023
；
Figure 716826DEST_PATH_IMAGE024
；
Figure 337295DEST_PATH_IMAGE025
；
Figure 974425DEST_PATH_IMAGE026
；
Figure 8240DEST_PATH_IMAGE027
为旋转矩阵，
Figure 188686DEST_PATH_IMAGE028
为平移矩阵，
Figure 663660DEST_PATH_IMAGE029
为焦距，
Figure 474622DEST_PATH_IMAGE030
为直线斜率，
Figure 792471DEST_PATH_IMAGE031
为直线截距。
5.如权利要求4所述的基于双目测量系统的三维重建方法，其特征在于，步骤4中，二分搜索的具体步骤如下：
（1）设双远心沙姆相机中的一个点，其在非畸变图像平面的物理坐标为
Figure 714290DEST_PATH_IMAGE020
,根据上 述方法求得在透视镜头的投影焦平面上存在一条直线方程,同时该点对应的解相后的相位 值为
Figure 300562DEST_PATH_IMAGE032
；
（2）根据投影芯片的尺寸值，设定二分搜索的边界值为
Figure 548003DEST_PATH_IMAGE033
和
Figure 87569DEST_PATH_IMAGE034
；
（3）循环开始，求得中间值
Figure 813080DEST_PATH_IMAGE035
；
（4）根据透视镜头的成像模型，求出
Figure 590543DEST_PATH_IMAGE036
对应的图像像素坐标
Figure 680990DEST_PATH_IMAGE037
；
（5）如果
Figure 642605DEST_PATH_IMAGE037
对应的像素点位于阴影处，或者相位值无效的区域，则进入线 性搜索阶段，返回线性搜索的结果，退出循环；
（6）坐标
Figure 234123DEST_PATH_IMAGE037
对应的相位值，可通过常见的双线性插值求得，记为
Figure 600514DEST_PATH_IMAGE038
，插 值时需要的四个相邻的点的坐标值和相位值分别为：
Figure 861862DEST_PATH_IMAGE039
Figure 579282DEST_PATH_IMAGE040
Figure 708912DEST_PATH_IMAGE041
Figure 195388DEST_PATH_IMAGE042
其中
Figure 958464DEST_PATH_IMAGE043
函数为向下取整函数；
（7）如果
Figure 163180DEST_PATH_IMAGE044
，则此时的
Figure 706288DEST_PATH_IMAGE037
即为配对坐标值，退出循环；
（8）如果
Figure 47270DEST_PATH_IMAGE045
，则
Figure 40634DEST_PATH_IMAGE046
，否则
Figure 201488DEST_PATH_IMAGE047
，转到步骤（3）继续循环；
（9）达到循环上限，退出，标记为没有找到配对坐标值。
6.如权利要求4所述的基于双目测量系统的三维重建方法，其特征在于，步骤4中，线性搜索的具体步骤如下：
（1）保留从二分搜索进入线性搜索的
Figure 810937DEST_PATH_IMAGE033
和
Figure 6426DEST_PATH_IMAGE034
值；
（2）设当前图像平面坐标为
Figure 108374DEST_PATH_IMAGE048
；
（3）循环开始，根据透视镜头的成像模型，当前图像平面坐标对应的图像像素坐标为
Figure 84420DEST_PATH_IMAGE049
；
（4）如果
Figure 297227DEST_PATH_IMAGE049
对应的像素点位于阴影处，或者相位值无效的区域，转到步骤（8）；
（5）计算坐标
Figure 612802DEST_PATH_IMAGE049
对应的相位值，可通过常见的双线性插值，记为
Figure 823334DEST_PATH_IMAGE050
；
（6）根据透视镜头的成像模型，求取图像平面坐标
Figure 973429DEST_PATH_IMAGE051
对应的图像像素坐标为
Figure 255506DEST_PATH_IMAGE052
，以及双线性插值出对应的相位值
Figure 487904DEST_PATH_IMAGE053
；
（7）如果
Figure 931655DEST_PATH_IMAGE054
,则配对坐标值为
Figure 819976DEST_PATH_IMAGE055
，
Figure 312269DEST_PATH_IMAGE056
；
至此退出循环；
（8）如果
Figure 602436DEST_PATH_IMAGE057
,则退出循环，标记为没有找到配对坐标值；
（9）
Figure 948579DEST_PATH_IMAGE058
自增一个搜索步长
Figure 324197DEST_PATH_IMAGE059
，更新当前图像平面坐标中的
Figure 744814DEST_PATH_IMAGE058
值为
Figure 623908DEST_PATH_IMAGE060
，返回步骤（3）继续循环。
CN202210924341.2A 2022-08-03 2022-08-03 基于双目测量系统的三维重建方法 Active CN114993207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924341.2A CN114993207B (zh) 2022-08-03 2022-08-03 基于双目测量系统的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924341.2A CN114993207B (zh) 2022-08-03 2022-08-03 基于双目测量系统的三维重建方法

Publications (2)

Publication Number Publication Date
CN114993207A true CN114993207A (zh) 2022-09-02
CN114993207B CN114993207B (zh) 2022-10-25

Family

ID=83021765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924341.2A Active CN114993207B (zh) 2022-08-03 2022-08-03 基于双目测量系统的三维重建方法

Country Status (1)

Country Link
CN (1) CN114993207B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188594A (zh) * 2022-12-31 2023-05-30 梅卡曼德（北京）机器人科技有限公司 沙姆相机的标定方法、标定系统、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004074769A2 (de) * 2003-02-24 2004-09-02 Cedes Ag Verfahren zur berührungslosen vermessung eines objekts
CN101196396A (zh) * 2007-12-12 2008-06-11 武汉大学 基于物方投影几何约束的线阵推扫式影像最佳扫描线搜索方法
US20160261851A1 (en) * 2015-03-05 2016-09-08 Shenzhen University Calbration method for telecentric imaging 3d shape measurement system
WO2018152929A1 (zh) * 2017-02-24 2018-08-30 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN109341536A (zh) * 2018-09-25 2019-02-15 深圳市艾视铂智能技术有限公司 一种基于双目相机和结构光投影的精密三维视觉测量方法
CN110207614A (zh) * 2019-05-28 2019-09-06 南京理工大学 一种基于双远心相机匹配的高分辨高精度测量系统及方法
CN114359405A (zh) * 2021-12-24 2022-04-15 苏州中科行智智能科技有限公司 一种离轴沙姆3d线激光相机的标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004074769A2 (de) * 2003-02-24 2004-09-02 Cedes Ag Verfahren zur berührungslosen vermessung eines objekts
CN101196396A (zh) * 2007-12-12 2008-06-11 武汉大学 基于物方投影几何约束的线阵推扫式影像最佳扫描线搜索方法
US20160261851A1 (en) * 2015-03-05 2016-09-08 Shenzhen University Calbration method for telecentric imaging 3d shape measurement system
WO2018152929A1 (zh) * 2017-02-24 2018-08-30 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN109341536A (zh) * 2018-09-25 2019-02-15 深圳市艾视铂智能技术有限公司 一种基于双目相机和结构光投影的精密三维视觉测量方法
CN110207614A (zh) * 2019-05-28 2019-09-06 南京理工大学 一种基于双远心相机匹配的高分辨高精度测量系统及方法
CN114359405A (zh) * 2021-12-24 2022-04-15 苏州中科行智智能科技有限公司 一种离轴沙姆3d线激光相机的标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
管应杰: "基于双目视觉的目标定位研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188594A (zh) * 2022-12-31 2023-05-30 梅卡曼德（北京）机器人科技有限公司 沙姆相机的标定方法、标定系统、装置和电子设备
CN116188594B (zh) * 2022-12-31 2023-11-03 梅卡曼德（北京）机器人科技有限公司 沙姆相机的标定方法、标定系统、装置和电子设备

Also Published As

Publication number Publication date
CN114993207B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN112013792B (zh) 一种复杂大构件机器人面扫描三维重建方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN112465912B (zh) 一种立体相机标定方法及装置
CN109727290B (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN109827521B (zh) 一种快速多线结构光视觉测量系统标定方法
CN111981982B (zh) 一种基于加权sfm算法的多向合作靶标光学测量方法
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN110940295B (zh) 基于激光散斑极限约束投影的高反射物体测量方法及系统
CN113160298A (zh) 一种深度真值获取方法、装置、系统及深度相机
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
Mahdy et al. Projector calibration using passive stereo and triangulation
CN114792345B (zh) 一种基于单目结构光系统的标定方法
Herakleous et al. 3dunderworld-sls: An open-source structured-light scanning system for rapid geometry acquisition
Resch et al. On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry
CN114993207B (zh) 基于双目测量系统的三维重建方法
CN112816967A (zh) 图像距离测量方法、装置、测距设备和可读存储介质
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
CN113865514B (zh) 一种线结构光三维测量系统标定方法
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN113160393B (zh) 基于大景深的高精度三维重建方法、装置及其相关组件
Resch et al. Semi-automatic calibration of a projector-camera system using arbitrary objects with known geometry
TWI662694B (zh) 三維影像攝取方法及系統
KR102591844B1 (ko) 미러를 이용한 카메라 캘리브레이션 장치
Hemmati et al. A study on the refractive effect of glass in vision systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant