CN112212788A - 基于多台手机的视觉空间点三维坐标测量方法 - Google Patents
基于多台手机的视觉空间点三维坐标测量方法 Download PDFInfo
- Publication number
- CN112212788A CN112212788A CN202011289316.9A CN202011289316A CN112212788A CN 112212788 A CN112212788 A CN 112212788A CN 202011289316 A CN202011289316 A CN 202011289316A CN 112212788 A CN112212788 A CN 112212788A
- Authority
- CN
- China
- Prior art keywords
- point
- coordinates
- mobile phone
- measured
- phone camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000000007 visual effect Effects 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 30
- 238000000691 measurement method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
涉及基于多台手机的视觉空间点三维坐标测量方法,选取箱体放至合适位置,并在箱体上定义世界坐标系及选取n个标记点;布置k台手机并编号,编号1的为参考手机相机,设置手机焦距不变,同步拍摄m张不同方位的棋盘格图像并利用张正友标定法标定;同步拍摄待测点和标记点的图像,获取其像素坐标求解其成像点在手机相机坐标系下的坐标;根据成像点的手机相机坐标和各手机的内外参数,求解点的参考手机相机坐标;利用标记点的世界坐标和参考手机相机坐标,求解位姿关系,基于位姿关系和待测点的参考手机相机坐标求解其世界坐标。本发明测量成本低、操作简单快速,为日常尺寸测量、3D建模、位姿测量提供依据,属于视觉测量方法技术领域。
Description
技术领域
本发明涉及视觉测量方法,具体涉及基于多台手机的视觉空间点三维坐标测量方法。
背景技术
空间中点的三维坐标表示其在空间中的位置,可用于解算物体在空间中的位姿参数,是一组重要的参数,其测量常采用视觉测量的方式。现阶段,三维坐标的视觉测量方式具有非接触、精度高、环境适应性好等优点,可分为单目视觉测量和多目视觉测量。
单目视觉测量即为采用一台相机作为视觉传感器,其拍摄视场广,但是缺乏空间点深度信息,所以常采用单台相机模拟多视图的方式测量。多目视觉测量即为采用至少两台相机作为视觉传感器,测量精度高于单目,可还原空间点深度信息,但其拍摄视场小,而合理调整多台相机的位置则可缓解该问题。现阶段,单目和多目视觉测量常采用工业相机或专业相机作为视觉传感器,并且需要配套软件才能完成测量,而随着科技的发展,智能手机的相机功能日益强大,但是未能作为视觉传感器用于日常简单的三维坐标测量。
发明内容
本发明的目的是为了解决上述存在的问题及缺陷,提供了一种基于多台手机的视觉空间点三维坐标测量方法,该方法将手机相机作为视觉传感器,利用多台手机实现空间点的三维坐标测量,并且利用简易的箱体建立世界坐标系及辅助测量,为日常的尺寸测量、3D建模、位姿测量提供了依据。
为了达到上述目的,本发明采用如下技术方案:
基于多台手机的视觉空间点三维坐标测量方法,包括以下步骤:
步骤一、选取尺寸已知的合适箱体,将箱体放至合适位置并在箱体上定义世界坐标系,在箱体上选取n个世界坐标已知的标记点Pn,其中,n≥4,待测点标记为Mi,待测点标记世界坐标已知。其中,合适指的是箱体应具有比较明显的角点,放置在待测点附近时在手机拍摄的图像中可清晰看到角点即可。
步骤二、在合适位置布置k台手机并编号,其中编号为1的为参考手机相机,设置所有手机相机焦距不变或成手动对焦,同步拍摄m张不同方位的棋盘格图像并利用张正友标定法标定,其中,k≥2,m≥10。其中,当手机相机的视场中包括完整的箱体及被测点时,手机相机所处的位置即为合适位置。布置k台手机并编号,编号可按照任意规则,例如从左往右编号为1,2,…,k。由于计算空间点三维坐标需要使用焦距,需要保证标定和测量时的焦距一致,故设置手机相机的焦距不变或者设置成手动对焦。
步骤三、k台手机同步拍摄待测点和标记点在空间中的图像,并获取其像素坐标用于求解待测点、标记点的成像点在手机相机坐标系下的坐标。
步骤四、根据待测点、标记点的成像点的手机相机坐标和各手机相机的内外参数,求解待测点、标记点的参考手机相机坐标。
步骤五、利用标记点的世界坐标和参考手机相机坐标,求解两坐标系间的位姿关系,而后利用该位姿关系和待测点的参考手机相机坐标求解待测点的世界坐标。
作为一种优选,步骤一中,n个标记点中,至少4个不在同一平面上;选取箱体角点作为标记点。采用这种方法后,选取箱体角点作为标记点,能够准确获取标记点及待测点在图像上的像素坐标。
作为一种优选,步骤二中,同步拍摄m张不同方位的棋盘格图像并利用张正友标定法标定,将棋盘格图像导入MATLAB立体标定工具箱实现张正友标定,标定后获得手机相机的内参数,获得各手机间的位姿参数,包括旋转矩阵和平移向量。
作为一种优选,步骤三中,手机之间通过连接同步控制器的方式实现同步拍摄。
作为一种优选,步骤三中,同步拍摄待测点和标记点在空间中的图像,需保持手机位置及参数设置与步骤二相同。
作为一种优选,步骤三中,获取待测点和标记点像素坐标用于求解待测点、标记点的成像点在手机相机坐标系下的坐标,其中待测点和标记点的像素坐标用MATLAB或Photoshop软件获取,并且需要获取待测点和标记点其在各相机图像上的像素坐标,其中像素坐标系原点位于图像左上角。
作为一种优选,由待测点、标记点的像素坐标求解待测点、标记点的成像点在手机相机坐标系下的坐标则根据如下关系式:
作为一种优选,步骤四中,求解待测点、标记点的参考手机相机坐标根据如下关系式:
作为一种优选,步骤五中,求解世界坐标系和参考手机相机坐标系间的位姿关系根据如下关系式:
其中,为标记点的世界坐标,不含待测点;为标记点的参考手机相机坐标,不含待测点;为世界坐标系与参考手机相机坐标系间的旋转矩阵、平移向量,为未知量;公式中求解的并未保证其正交性,需要对其进行奇异值分解获得正交的旋转矩阵
作为一种优选,根据公式(4)完成世界坐标系与参考手机相机坐标系间的位姿关系求解后,待测点在参考手机相机坐标系下的坐标根据公式(3)解得,根据公式(5)即求解待测点Mi在世界坐标系下的坐标,
本发明相对于现有技术具有如下有益效果:
1.本发明仅需利用至少两台手机、一个同步控制器、一个箱体及一个棋盘格,大大降低了多目视觉测量的成本。虽然采用多目视觉测量,但是由于利用手机相机代替工业相机作为视觉传感器,从而省去额外购买视觉传感器的成本,仅需要采用平时使用的手机即可完成测量。
2.本发明利用箱体巧妙地建立世界坐标系和设置标记点,选取箱体的角点即可满足不共面的标记点数量不少于4,避免了在其他物体上粘贴标记点或做标记的步骤。
3.本发明采用手机相机作为视觉传感器,而人们对手机的操作熟悉,从而降低测量的复杂程度,降低测量的技术门槛,避免的复杂而专业的操作。
4.本发明测量成本低、操作简单快速,为日常的尺寸测量、3D建模、位姿测量提供了依据。
附图说明
图1为本发明的工作原理流程图。
图2为本发明步骤三和步骤四的原理示意图。
图3为本发明实施例的测量场景布置示意图。
其中,1-手机相机坐标系,2-图像平面,3-像素坐标,4-空间点。
Ock-手机相机坐标系,Ok-主点,O1-像素坐标系。
具体实施方式
下面将结合具体实施方式来对本发明做进一步详细的说明。
如图3所示,本实例按照图3布置开展。基于多台手机的视觉空间点三维坐标测量方法,该方法包括如下步骤一至步骤五,具体介绍如下:
步骤一、选取尺寸已知的合适箱体,将箱体放至合适位置并在箱体上定义世界坐标系,在箱体上选取n个世界坐标已知的标记点;其中,n≥4。
本步骤中,选取的箱体应具有比较明显的角点,以便于减小读取像素坐标时的误差。箱体的尺寸不宜过大或过小,具体评判标准为放置在待测点附近时在手机拍摄的图像中可清晰看到角点即可。箱体上世界坐标系及标记点分布如图3,世界坐标系按照右手坐标系原则建立,标记点不共面的数量不少于4。标记点在世界坐标系下的坐标可通过刻度尺或其他工具简易测量获得。
步骤二、在合适位置布置k台手机并编号,其中编号为1的为参考手机相机,设置手机相机焦距不变,同步拍摄m张不同方位的棋盘格图像并利用张正友标定法标定;其中,k≥2,m≥10。
本步骤中,多台手机应通过三脚架夹紧,布置在合适的位置,而当手机相机的视场中包括完整的箱体及被测点时,手机相机所处的位置即为合适位置。多台手机之间的距离不宜太远,1m以内即可。手机编号可采用任意规则,为记忆方便,编号为1的为参考手机相机。在实验开始之前应了解手机的主摄像头的传感器型号,并且需要知道其所拍摄的照片中单个像素的尺寸。打开手机相机,将手机相机的焦距锁定不变或者设置成手动调节,但是需要确保该焦距设置下所拍摄的图像清晰,后续采集标定或测量图像时需保持焦距不变。通过手机数据线,将手机与同步控制器连接。实验员手持棋盘格(棋盘格中两个方向的小方格的数量不同,且单个小方格尺寸已知)面对多台手机,移动或转动棋盘格使其处于不同方位,通过同步控制器控制手机同步拍摄至少10张不同方位的棋盘格照片。棋盘格应尽量铺满平面,且其与图像平面的夹角不应太于45°。将采集到的棋盘格图像导入MATLAB立体标定工具箱,在弹出的窗口输入单个小方格尺寸,在工具栏options选项中勾选3Coefficients、Skew、Tangential Distortion,勾选完成后点击Calibrate开始标定。标定完成后查看MeanReprojection Error是否小于1pixel,若小于1pixel,则标定结果的误差是可接受的;反之则需要删除一些误差较大的图像,但是标定的总图像数不小于10对。当标定结果的误差达到可接受的范围后,在工具栏export输出标定结果,获得相机的内外参数。
步骤三、k台手机同步拍摄待测点和标记点在空间中的图像,并获取其像素坐标用于求解待测点、标记点的成像点在手机相机坐标系下的坐标。
本步骤中,保持手机相机的设置及位置不变,利用同步器控制手机同步拍摄待测点和标记点在空间中的图像,利用MATLAB中的impixelinfo函数获取待测点和标记点的像素坐标。根据步骤三的原理,利用MATLAB编程计算待测点和标记点的成像点在手机相机坐标系下的坐标,计算公式如公式(1):
步骤四、根据待测点、标记点的成像点的手机相机坐标和各手机相机的内外参数,求解待测点、标记点的参考手机相机坐标,计算公式如公式(2):
本步骤中,根据步骤四的原理,基于步骤二的相机内外参数和步骤三的成像点的手机相机坐标,利用MATLAB编程计算待测点、标记点的参考手机相机坐标,其原理图如图2所示,计算公式如公式(3),利用最小二乘法即可完成未知量求解:
步骤五、利用标记点的世界坐标和参考手机相机坐标,求解两坐标系间的位姿关系公式如公式(4);而后利用该位姿关系和待测点的参考手机相机坐标求解待测点的世界坐标,公式如公式(5),
本步骤中,根据步骤五的原理,基于步骤四中标记点的参考手机相机坐标和步骤一中标记点的世界坐标,利用MATLAB编程最小二乘法计算参考手机相机坐标系与世界坐标系间的位姿关系步骤四中已将待测点的参考手机相机坐标求解,外加上本步骤中求解的根据公式(4)可将待测点参考手机相机坐标系下的坐标转换成在世界坐标系下的坐标。至此,完成待测点的三维坐标测量。
综合上述,本发明实现空间点的三维坐标测量,并且具有成本低、操作简单等优点,为日常的尺寸测量、3D建模、位姿测量提供了依据。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.基于多台手机的视觉空间点三维坐标测量方法,其特征在于:包括以下步骤:
步骤一、选取尺寸已知的合适箱体,将箱体放至合适位置并在箱体上定义世界坐标系,在箱体上选取n个世界坐标已知的标记点Pn,其中,n≥4,待测点标记为Mi,待测点标记世界坐标已知;
步骤二、在合适位置布置k台手机并编号,其中编号为1的为参考手机相机,设置所有手机相机焦距不变或设置成手动对焦,同步拍摄m张不同方位的棋盘格图像并利用张正友标定法标定,其中,k≥2,m≥10;
步骤三、k台手机同步拍摄待测点和标记点在空间中的图像,并获取其像素坐标用于求解待测点、标记点的成像点在手机相机坐标系下的坐标;
步骤四、根据待测点、标记点的成像点的手机相机坐标和各手机相机的内外参数,求解待测点、标记点的参考手机相机坐标;
步骤五、利用标记点的世界坐标和参考手机相机坐标,求解两坐标系间的位姿关系,而后利用该位姿关系和待测点的参考手机相机坐标求解待测点的世界坐标。
2.按照权利要求1所述的基于多台手机的视觉空间点三维坐标测量方法,其特征在于:步骤一中,n个标记点中,至少4个不在同一平面上;选取箱体角点作为标记点。
3.按照权利要求1所述的基于多台手机的视觉空间点三维坐标测量方法,其特征在于:步骤二中,同步拍摄m张不同方位的棋盘格图像并利用张正友标定法标定,将棋盘格图像导入MATLAB立体标定工具箱实现张正友标定,标定后获得手机相机的内参数,获得各手机间的位姿参数,包括旋转矩阵和平移向量。
4.按照权利要求1所述的基于多台手机的视觉空间点三维坐标测量方法,其特征在于:步骤三中,手机之间通过连接同步控制器的方式实现同步拍摄。
5.按照权利要求1所述的基于多台手机的视觉空间点三维坐标测量方法,其特征在于:步骤三中,同步拍摄待测点和标记点在空间中的图像,需保持手机位置及参数设置与步骤二相同。
6.按照权利要求1所述的基于多台手机的视觉空间点三维坐标测量方法,其特征在于:步骤三中,获取待测点和标记点像素坐标用于求解待测点、标记点的成像点在手机相机坐标系下的坐标,其中待测点和标记点的像素坐标用MATLAB或Photoshop软件获取,并且需要获取待测点和标记点在各相机图像上的像素坐标,其中像素坐标系原点位于图像左上角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011289316.9A CN112212788A (zh) | 2020-11-17 | 2020-11-17 | 基于多台手机的视觉空间点三维坐标测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011289316.9A CN112212788A (zh) | 2020-11-17 | 2020-11-17 | 基于多台手机的视觉空间点三维坐标测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112212788A true CN112212788A (zh) | 2021-01-12 |
Family
ID=74057090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011289316.9A Pending CN112212788A (zh) | 2020-11-17 | 2020-11-17 | 基于多台手机的视觉空间点三维坐标测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112212788A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112797900A (zh) * | 2021-04-07 | 2021-05-14 | 中科慧远视觉技术(北京)有限公司 | 多相机板材尺寸测量方法 |
CN113048888A (zh) * | 2021-03-05 | 2021-06-29 | 杭州国翌科技有限公司 | 基于双目视觉的远距离三维位移测量方法及系统 |
CN113379796A (zh) * | 2021-05-25 | 2021-09-10 | 成都飞机工业(集团)有限责任公司 | 一种大范围多相机跟踪控制方法及系统 |
CN113503830A (zh) * | 2021-07-05 | 2021-10-15 | 无锡维度投资管理合伙企业(有限合伙) | 一种基于多相机的非球面面形测量方法 |
CN114543670A (zh) * | 2022-01-28 | 2022-05-27 | 中国科学院长春光学精密机械与物理研究所 | 一种基于机器视觉的光学元件位姿辅助标定方法及标定系统 |
WO2024109846A1 (zh) * | 2022-11-25 | 2024-05-30 | 中国科学院深圳先进技术研究院 | 一种光学靶标三维测量系统、方法、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378966A (zh) * | 2019-06-11 | 2019-10-25 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、计算机设备及存储介质 |
-
2020
- 2020-11-17 CN CN202011289316.9A patent/CN112212788A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378966A (zh) * | 2019-06-11 | 2019-10-25 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
何汉武 等: "《增强现实交互方法与实现》", 31 December 2018 * |
徐德,谭民,李原: "《机器人视觉测量与控制(第3版)》", 31 January 2016 * |
赵小川: "《MATLAB图像处理——程序实现与模块化仿真(第2版)》", 30 November 2018 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113048888A (zh) * | 2021-03-05 | 2021-06-29 | 杭州国翌科技有限公司 | 基于双目视觉的远距离三维位移测量方法及系统 |
CN112797900A (zh) * | 2021-04-07 | 2021-05-14 | 中科慧远视觉技术(北京)有限公司 | 多相机板材尺寸测量方法 |
CN112797900B (zh) * | 2021-04-07 | 2021-07-06 | 中科慧远视觉技术(北京)有限公司 | 多相机板材尺寸测量方法 |
CN113379796A (zh) * | 2021-05-25 | 2021-09-10 | 成都飞机工业(集团)有限责任公司 | 一种大范围多相机跟踪控制方法及系统 |
CN113379796B (zh) * | 2021-05-25 | 2022-07-15 | 成都飞机工业(集团)有限责任公司 | 一种大范围多相机跟踪控制方法及系统 |
CN113503830A (zh) * | 2021-07-05 | 2021-10-15 | 无锡维度投资管理合伙企业(有限合伙) | 一种基于多相机的非球面面形测量方法 |
CN113503830B (zh) * | 2021-07-05 | 2023-01-03 | 无锡维度投资管理合伙企业(有限合伙) | 一种基于多相机的非球面面形测量方法 |
CN114543670A (zh) * | 2022-01-28 | 2022-05-27 | 中国科学院长春光学精密机械与物理研究所 | 一种基于机器视觉的光学元件位姿辅助标定方法及标定系统 |
WO2024109846A1 (zh) * | 2022-11-25 | 2024-05-30 | 中国科学院深圳先进技术研究院 | 一种光学靶标三维测量系统、方法、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112212788A (zh) | 基于多台手机的视觉空间点三维坐标测量方法 | |
CN108734744B (zh) | 一种基于全站仪的远距离大视场双目标定方法 | |
CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
CN105551039B (zh) | 结构光三维扫描系统的标定方法及装置 | |
CN107367229B (zh) | 自由双目立体视觉转轴参数标定方法 | |
CN109297436B (zh) | 双目线激光立体测量基准标定方法 | |
CN106887023A (zh) | 用于双目摄像机标定的标定板及其标定方法和标定系统 | |
CN108594245A (zh) | 一种目标物运动监测系统及方法 | |
CN107886547B (zh) | 一种鱼眼相机标定方法及系统 | |
CN109961485A (zh) | 一种基于单目视觉进行目标定位的方法 | |
CN110136204B (zh) | 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统 | |
CN104240262B (zh) | 一种用于摄影测量的相机外参数标定装置及标定方法 | |
CN109493389B (zh) | 一种基于深度学习的相机标定方法及系统 | |
CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
CN105486289B (zh) | 一种激光摄影测量系统及相机标定方法 | |
CN102980526B (zh) | 用黑白相机获取彩色图像的三维扫描仪及其扫描方法 | |
CN110375648A (zh) | 棋盘格靶标辅助的单台相机实现的空间点三维坐标测量方法 | |
WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像系统的标定方法及装置 | |
CN109141226A (zh) | 单相机多角度的空间点坐标测量方法 | |
CN107941153B (zh) | 一种激光测距优化标定的视觉系统 | |
CN109544628A (zh) | 一种指针式仪表的准确读数识别系统及方法 | |
CN114705122B (zh) | 一种大视场立体视觉标定方法 | |
CN109727290A (zh) | 基于单目视觉三角测距法的变焦相机动态标定方法 | |
CN107816942A (zh) | 一种基于十字结构光视觉系统的平面二维尺寸测量方法 | |
CN112308926B (zh) | 一种无公共视场的相机外参标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210112 |
|
RJ01 | Rejection of invention patent application after publication |