CN114061488B - 一种物体测量方法、系统以及计算机可读存储介质 - Google Patents
一种物体测量方法、系统以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114061488B CN114061488B CN202111347056.0A CN202111347056A CN114061488B CN 114061488 B CN114061488 B CN 114061488B CN 202111347056 A CN202111347056 A CN 202111347056A CN 114061488 B CN114061488 B CN 114061488B
- Authority
- CN
- China
- Prior art keywords
- point
- camera
- image
- formula
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 title abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 76
- 238000005259 measurement Methods 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000012800 visualization Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006698 induction Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 239000013589 supplement Substances 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供了一种物体测量方法、系统以及计算机可读存储介质，用于在可保持高精度的三维测量质量的基础上，可在测量过程中，实现多自由度的灵活的测量方式，从而可表现出高效率、搞精度、高鲁棒性等优点。方法包括：手持感应装置在用户手持操作下，采集待测物体在不同视角下的图像，手持感应装置配置有采集图像所需的传感器，手持感应装置是在人体工程力学要求下结合手持操作配置得到的；用户终端根据自身与手持感应装置之间的局域网通信连接，从手持感应装置获取图像，并将图像通过数据处理转化为点云数据；服务器根据自身与用户终端之间的UDP通信连接，从用户终端获取点云数据，对点云数据进行特征分析提取，并通过三维可视化引擎显示。
Description
技术领域
本申请涉及测量领域，具体涉及一种物体测量方法、系统以及计算机可读存储介质。
背景技术
近几年，随着AR/VR以及MR(混合现实)等相关技术的发展，三维测量技术逐渐成为研究热点，尤其是在自动驾驶、智慧城市等领域的巨大潜力。
目前，三维测量技术被定义为：对待测物体进行全方位测量，确定待测物体的相关测量数据，其测量原理可分为测距、角位移、扫描、定向四个方面，根据其三维测量技术原理细分的领域包括接触式与非接触式。其中，非接触式三维测量技术，主要依赖光学三维测量技术，经过数十年的发展，其技术手段不断优化丰富，其中包括飞行时间法、激光三角法、立体视觉法和结构光方法。
然而在现有的相关技术的研究过程中，发明人发现，现有的非接触式三维测量技术存在其局限性，在高精度的测量质量与多自由度的测量方式之间难以兼顾，表现出效率低、精度低、鲁棒性低等缺点，导致应用在消费电子领域仍然存在一定距离。
发明内容
本申请提供了一种物体测量方法、系统以及计算机可读存储介质，用于在可保持高精度的三维测量质量的基础上，可在测量过程中，实现多自由度的灵活的测量方式，从而可表现出高效率、搞精度、高鲁棒性等优点，促进三维测量技术更为方便地应用于消费电子领域。
第一方面，本申请提供了一种物体测量方法，方法应用于物体测量系统，物体测量系统包括手持感应装置、用户终端以及服务器，方法包括：
手持感应装置在用户手持操作下，采集待测物体在不同视角下的图像，手持感应装置配置有采集图像所需的传感器，手持感应装置是在人体工程力学要求下结合手持操作配置得到的；
用户终端根据自身与手持感应装置之间的局域网通信连接，从手持感应装置获取图像，并将图像通过数据处理转化为点云数据；
服务器根据自身与用户终端之间的UDP通信连接，从用户终端获取点云数据，对点云数据进行特征分析提取，并通过三维可视化引擎显示。
结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，手持感应装置是在人体工程力学要求下结合手持操作，调整结构分布、元器件配重得到的。
结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，手持感应装置配置的传感器包括多线激光器、RGB相机、红外光光补，多线激光器分别与RGB相机、红外光光补电气连接，三者由同一控制器控制驱动，并安装与同一结构件。
结合本申请第一方面第二种可能的实现方式，在本申请第一方面第三种可能的实现方式中，传感器在采集图像之前，还包括核心参数的标定处理，标定处理包括：
在保持标定板位于视场内且相机相对位姿固定后，通过预设的标定算法，标定出RGB相机的内外参数；
将标定板置于相机视场中，同步RGB相机、多线激光器、红外光补，分别拍摄有激光条纹、无激光条纹的标定板图像；
改变标定板的位姿，重复采集图像，再利用无条纹图像计算光平面方程以及利用有条纹图像计算线结构光直线方程，通过光平面标定算法将世界坐标系下的三维点转换为相机坐标系下的三维点，通过多个相机视角下的三维坐标点拟合出光平面。
结合本申请第一方面第三种可能的实现方式，在本申请第一方面第四种可能的实现方式中，利用无条纹图像计算光平面方程的过程中，包括：
变换标定板以及相机相对位姿的情况下获取标定图像，并在标定图像的基础上获取点A、点B、点C、点Q点在图像坐标系下对应坐标点a、点b、点c、点q，其中，点Q、点A、点B、点C为世界坐标系下的真实点，点Q为所需求取的目标点，点Q为标定板上特征与结构光的相交点；
利用交比不变原理，通过下式将点Q的坐标从图像坐标系转换至世界坐标系，求取对应的世界坐标：
其中，点A、点B、点C为标定板上的已知点；
通过下式将描述世界坐标系下的光平面：
Ax+By+Cz+D＝0，
其中，A、B、C、D分别为方程系数；
通过构造光平面方程，推导得出光平面变化方程：
z＝a0x+a1y+a2，
其中，C不为0；
根据光平面变化方程，利用最小二乘法拟合求解，最小二乘法目标函数：
其中，满足解得a0，a1，a2，得到光平面方程。
结合本申请第一方面，在本申请第一方面第五种可能的实现方式中，用户终端在三维测量的过程中，包括三角测距法的采用：
在光束入射到待测物体后产生反射，入射光与反射光构成光三角形，在几何光学的基本原理下，根据反射光束的位置确定待测物体的参数，参数包括待测物体的端面位置、尺寸、公差、待测物体与光源之间的距离。
结合本申请第一方面第五种可能的实现方式，在本申请第一方面第六种可能的实现方式中，结合三角测距法获得真实相机模型的图像坐标系至世界坐标系的转换内容包括：
xoyz为相机坐标系，满足右手法则，XOYz为世界坐标，XfOfYf为相机图像坐标系，z轴与光轴重合，其中o点到o点的距离为焦距f；
激光发射器参数与变量计算：E点是线激光所在位置，θ是线激光面与z轴所成夹角，EP为激光束中一条照射于P(x,y,z)点上的光线，PG为从P点反射回来的光线，G点是P点在成像平面上的投影点，P′是P在xoz平面上的投影点，Q是P′在z轴上的投影点，P″是P′点在X轴上的投影点；
RGB相机的变量及参数：G′点是G在X轴上的投影点，β是G′P′与z轴所成夹角，d是激光发射点至摄像机坐标系o点的水平距离，r是G′点到o点的水平距离，由三角形oP′Q应用几何关系，有第一公式：
由三角形EP″P′应用几何关系，有第二公式：
通过第一公式以及第二公式，得到z与d的关系式，如第三公式：
其中，d是激光发射点至RGB相机成像中心的水平距离，d通过测量和计算得出，θ角度通过初始角度计算得出，β根据求得的有效焦距和像素坐标计算得出；
根据z坐标、三角形相似关系，求出P′点的坐标x，y，计算关系式如下式的第四公式、第五公式：
其中，f是相机焦距，Xu,Yu分别是投影点在相机坐标系中经过畸变修正后的坐标值；
根据第四公式、第五公式的式中关系，考虑一阶径向模型，理想坐标(Xu,Yu)与实际图像坐标(Xd,Yd)之间的变换关系，如第六公式、第七公式：
其中，是径向半径的平方，/>k是径向畸变系数；
根据第六公式、第七公式的式中关系，达到计算机图像坐标(Xf,Yf)到实际物理坐标(Xd,Yd)之间的变换关系，如第八公式、第九公式：
Xd＝u(Xf-Cx)，
Yu＝u(Yf-Cy)，
求出其他激光线经过反射在ccd上投影的三维坐标，每一条扫描线获得物体形貌的一个二维平面的深度信息，扫描完成后将离散深度信息进行拼接融合获得完整三维形貌信息。
结合本申请第一方面，在本申请第一方面第七种可能的实现方式中，方法还包括：
用户终端对图像进行关键帧的选取，并剔除相似帧，
其中，在处理过程中，对于关键帧的选取上采用了多去少补的算法思维，若相机停止移动或移动幅度小于预设范围，则通过判断相邻帧的两幅图像的像素协方差矩阵，若高于预设值则去除相似帧；
若相机运动幅度大于预设范围且相机位姿未丢失时，启动插补策略，首先将相机运动幅度相差大于预设范围的两帧图像进行特征点匹配，当前帧的图像与所有关键帧的图像进行综合比对，得到多组相符合的关键帧，此时，以该帧与不同关键帧之间的距离作为标准，以综合得到准确的位姿评估数据，保证局部误差的最小化。
第二方面，本申请提供了一种物体测量系统，物体测量系统包括手持感应装置、用户终端以及服务器，用于执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第三方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出，本申请具有以下的有益效果：
在待测物体的测量过程中，本申请具体由手持感应装置进行其在不同视角下的图像的采集，并通过用户终端对该图像进行可视化的点云数据的转换，再由云端的服务器对该点云数据进行特征分析提取，通过三维可视化引擎更为形象地、灵活地显示测量结果，在这过程中，由于图像的采集工作是由便携式的手持感应装置执行的，因此在图像采集过程中具有高度的灵活性，在可保持高精度的三维测量质量的基础上，可以在用户手持操作下实现多自由度的灵活的测量方式，从而可表现出高效率、搞精度、高鲁棒性等优点，促进三维测量技术更为方便地应用于消费电子领域。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请物体测量方法的一种流程示意图；
图2为本申请物体测量系统的一种结构示意图；
图3为三角测距法的一种抽象相机模型示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的物体测量方法之前，首先介绍本申请所涉及的背景内容。
本申请提供的物体测量方法以及计算机可读存储介质，可应用于物体测量系统，用于在可保持高精度的三维测量质量的基础上，可在测量过程中，实现多自由度的灵活的测量方式，从而可表现出高效率、搞精度、高鲁棒性等优点，促进三维测量技术更为方便地应用于消费电子领域。
本申请提及的物体测量方法，其执行主体可以为物体测量系统，物体测量系统以设备集群的形式配置。
其中，本申请所提供的物体测量系统，其包括手持感应装置、用户终端以及服务器，当然，在实际应用中，还可包括其他外围的设备，具体可随实际需要调整。
在该物体测量系统的组成结构的基础上，开始介绍本申请提供的物体测量方法。
参阅图1，图1示出了本申请物体测量方法的一种流程示意图，本申请提供的物体测量方法，具体可包括如下步骤S101至步骤S103：
步骤S101，手持感应装置在用户手持操作下，采集待测物体在不同视角下的图像，手持感应装置配置有采集图像所需的传感器，手持感应装置是在人体工程力学要求下结合手持操作配置得到的；
在本申请中，对于手持感应装置，可以理解，其处于物体测量处理的末端位置，用于在待测物体的现场，对待测物体进行图像的采集工作。
该手持感应装置本身配置有采集图像所需的传感器，也就是图像传感器，该传感器是按照预设的图像采集需求进行配置的，例如可以涉及到图像形式、传感器类型、传感器型号、工作环境、传感器成本等不同方面的需求。
举例而言，作为一种适于实用的实现方式，此处所涉及的传感器，在本申请中，具体可以包括多线激光器、RGB相机、红外光光补，多线激光器分别与RGB相机、红外光光补电气连接，三者由同一控制器控制驱动，并安装与同一结构件。
多线激光器可提供结构光扫描，每一条扫描线对应物体形貌在一个二维平面的深度信息，通过多线结构光扫描方式，不仅具有较高精度同时提高扫描效率、测量速率，同时还可减少手持测量过程中抖动对于测量结果准确性的影响；
RGB相机则可采集基础的RGB图像，为物体测量处理提供丰富的颜色信息；
红外光光补则可以为RGB相机提供红外光的光学补偿，进一步提高RGB相机的采集精度。
通过多线激光器、RGB相机、红外光光补的配合，完成待测物体的图像采集工作，如此采集到的图像，包含有丰富的颜色信息到深度信息，为物体测量处理提供多层面的、精细的图像数据支持。
在该设置下，相较于飞行时间法和结构光编码方法，采用多线激光器、RGB相机、红外光光补，对于传感器精度要求不高，构造简单，而且容易组成高精确度的重建装置，整体成本较低，且在一定距离内具有较高的精度。
而对于手持感应装置本身，容易看出，在本申请中，其主要是为了适应用户手持操作所配置的，其在设计过程中，参考了人体工程力学要求下以及手持操作的需求，因此可带来便携式的特点，适用于用户手持操作，从而用户握持手持感应装置时，可以根据用户的采集需要，方便地进行对应的图像采集工作，实现多自由度的灵活的测量方式。
通过手持方式进行图像的采集，可以理解，在物体测量场景下，尤其适用于对纹理特征较少的复杂场景进行多角度、高精度的三维重建工作。
具体的，作为又一种适于实用的实现方式，该手持感应装置是在人体工程力学要求下结合手持操作，调整结构分布、元器件配重得到的，如此可在结构以及重量之间达到兼顾的效果，更具有实用性。
步骤S102，用户终端根据自身与手持感应装置之间的局域网通信连接，从手持感应装置获取图像，并将图像通过数据处理转化为点云数据；
对于用户终端，其具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备，其也可以理解为在待测物体现场的设备，并通过局域网接收手持感应装置传输过来的图像数据。
其中，对于该局域网，一般是由用户终端自身进行部署的，手持感应装置可以通过无线通信方式或者有线通信方式，在该局域网中，与用户终端构建通信连接，完成图像数据等数据的传输。
在用户终端上，可以通过预设算法对图像数据进行数据加工，将手持感应装置处采集到的图像转换为可视化的点云数据。
该点云数据，可以在三维空间中反应出各坐标点的三维空间特征，达到可视化的直观效果，其是在图像的基础上转化得到的。
此时应当理解的，点云数据已在一定程度上完成了待测物体的测量工作，后续还可涉及到测量结果的呈现工作，与此同时，该呈现工作也可理解为另一部分的测量工作，主要对应的测量结果的呈现方面。
步骤S103，服务器根据自身与用户终端之间的UDP通信连接，从用户终端获取点云数据，对点云数据进行特征分析提取，并通过三维可视化引擎显示。
在用户终端处理得到点云数据、完成待测物体的测量结果的呈现预备工作后，则可交由云端的服务器，完成测量结果的呈现工作。
其中，UDP通信连接，指的是在用户数据包协议(User Datagram Protocol，UDP)下构建的通信连接。
对于该三维可视化引擎，则可以理解为在呈现具有三维特征的图像时涉及渲染及显示的应用程序的集合体，三维可视化引擎完成的最终的可视化工作，也就是显示工作，其在显示处理中，可涉及到相关的特征分析提取的处理，以便将数据层面的点云数据转化为三维可视化引擎自身的呈现工作所需的数据。
其中，对于上述内容涉及的物体测量系统，还可参考图2示出的本申请物体测量系统的一种结构示意图，在图2中，手持感应装置由于其可实现的三维结构特征的采集，因此也可称为深度相机传感器模块(包括多线激光器、光补还有RGB相机)；用户终端其承载的应用程序则为客户端的应用程序，用户终端可称为客户端。
从上面可以看出，在待测物体的测量过程中，本申请具体由手持感应装置进行其在不同视角下的图像的采集，并通过用户终端对该图像进行可视化的点云数据的转换，再由云端的服务器对该点云数据进行特征分析提取，通过三维可视化引擎更为形象地、灵活地显示测量结果，在这过程中，由于图像的采集工作是由便携式的手持感应装置执行的，因此在图像采集过程中具有高度的灵活性，在可保持高精度的三维测量质量的基础上，可以在用户手持操作下实现多自由度的灵活的测量方式，从而可表现出高效率、搞精度、高鲁棒性等优点，促进三维测量技术更为方便地应用于消费电子领域。
此外，在实际应用中，本申请所提供的物体测量方法，还可具有进一步的优化方式或者说实现方式。
RGB相机在进行正常的图像采集工作前，其还可涉及到核心参数的标定处理，具体的，在本申请中，此处所成的标定处理可以包括以下内容：
S1：在保持标定板位于视场内且相机相对位姿固定后，通过预设的标定算法，标定出RGB相机的内外参数；
S2：将标定板置于相机视场中，同步RGB相机、多线激光器、红外光补，分别拍摄有激光条纹、无激光条纹的标定板图像；
S3：改变标定板的位姿，重复采集图像，再利用无条纹图像计算光平面方程以及利用有条纹图像计算线结构光直线方程，通过光平面标定算法将世界坐标系下的三维点转换为相机坐标系下的三维点，通过多个相机视角下的三维坐标点拟合出光平面。
其中，可以看出，RGB相机的标定处理，是在标定板的配合的基础上进行的，通过多次标定板的位姿调整以及对应图像的采集，处理得到光平面方程、线结构光直线方程、三维点、光平面，完成RGB相机的标定处理。
此外，对于上面涉及到的利用无条纹图像计算光平面方程的处理，其在处理过程中，还可涉及以下内容：
S1：变换标定板以及相机相对位姿的情况下获取标定图像，并在标定图像的基础上获取点A、点B、点C、点Q点在图像坐标系下对应坐标点a、点b、点c、点q，其中，点Q、点A、点B、点C为世界坐标系下的真实点，点Q为所需求取的目标点，点Q为标定板上特征与结构光的相交点；
S2：利用交比不变原理，通过下式将点Q的坐标从图像坐标系转换至世界坐标系，求取对应的世界坐标：
其中，点A、点B、点C为标定板上的已知点；
S3：通过下式将描述世界坐标系下的光平面：
Ax+By+Cz+D＝0 (2)
其中，A、B、C、D分别为方程系数；
S4：通过构造光平面方程，推导得出光平面变化方程：
z＝a0x+a1y+a2 (3)
其中，C不为0；
S5：根据光平面变化方程，利用最小二乘法拟合求解，最小二乘法目标函数：
其中，满足解得a0，a1，a2，得到光平面方程。
对于该设置，本申请基于单线结构光与RGB相机，要获取精确的点云数据进行分析则需要获得相机坐标系至世界坐标系的转换关系，该转换关系依赖于光线方程和光平面方程的求解，同时由于计算得出的坐标点大都带有噪声，利用最小二乘法进行拟合可以排除噪声，提高精度及可靠性，本申请利用最小二乘法的思想，计算出使计算误差最小的光平面方程参数最终实现高精度的相机参数标定，以提高测量精度。
此外，对于上面涉及到的用户终端的三维测量的处理，其处理过程中，还可包括三角测距法的采用，对于三角测距法的采用，其可以理解为：
在光束入射到待测物体后产生反射，入射光与反射光构成光三角形，在几何光学的基本原理下，根据反射光束的位置确定待测物体的参数，参数包括待测物体的端面位置、尺寸、公差、待测物体与光源之间的距离。
三角测距法的应用还可参考图3示出的三角测距法的一种抽象相机模型示意图，其方法结构简单，符合便携性设计思想，且精度较高，具有较强的实际应用性。
进一步的，在三角测距法的基础上，理想情况下，相机模型采用小孔成像模型，但实际情况光学相机存在径向畸变和切向畸变，其中径向畸变是影响测量精度的主要因素，因此，结合三角测距法获得真实相机模型的图像坐标系至世界坐标系的转换内容的过程中，还可包括以下内容：
S1：xoyz为相机坐标系，满足右手法则，XOYz为世界坐标，XfOfYf为相机图像坐标系，z轴与光轴重合，其中o点到o点的距离为焦距f；
S2：激光发射器参数与变量计算：E点是线激光所在位置，θ是线激光面与z轴所成夹角，EP为激光束中一条照射于P(x,y,z)点上的光线，PG为从P点反射回来的光线，G点是P点在成像平面上的投影点，P′是P在xoz平面上的投影点，Q是P′在z轴上的投影点，P″是P′点在X轴上的投影点；
S3：RGB相机的变量及参数：G′点是G在X轴上的投影点，β是G′P′与z轴所成夹角，d是激光发射点至摄像机坐标系o点的水平距离，r是G′点到o点的水平距离，由三角形oP′Q应用几何关系，有第一公式：
由三角形EP″P′应用几何关系，有第二公式：
S4：通过第一公式(1)以及第二公式(2)，得到z与d的关系式，如第三公式：
其中，d是激光发射点至RGB相机成像中心的水平距离，d通过测量和计算得出，θ角度通过初始角度计算得出，β根据求得的有效焦距和像素坐标计算得出；
S5：根据z坐标、三角形相似关系，求出P′点的坐标x，y，计算关系式如下式的第四公式、第五公式：
其中，f是相机焦距，Xu,Yu分别是投影点在相机坐标系中经过畸变修正后的坐标值；
S6：根据第四公式(4)、第五公式(5)的式中关系，考虑一阶径向模型，理想坐标(Xu,Yu)与实际图像坐标(Xd,Yd)之间的变换关系，如第六公式、第七公式：
其中，是径向半径的平方，/>k是径向畸变系数；
S7：根据第六公式(6)、第七公式(7)的式中关系，达到计算机图像坐标(Xf,Yf)到实际物理坐标(Xd,Yd)之间的变换关系，如第八公式、第九公式：
Xd＝u(Xf-Cx) (8)
Yu＝u(Yf-Cy) (9)
求出其他激光线经过反射在ccd上投影的三维坐标，每一条扫描线获得物体形貌的一个二维平面的深度信息，扫描完成后将离散深度信息进行拼接融合获得完整三维形貌信息。
此外，用户终端在对手持感应装置采集到的图像的图像处理过程中，还可涉及到图像的精简化处理，或者说，针对关键帧的图像处理，即：
用户终端对图像进行关键帧的选取，并剔除相似帧，
其中，在处理过程中，对于关键帧的选取上采用了多去少补的算法思维，若相机停止移动或移动幅度小于预设范围(或者说在短时间内判定相邻视角下采集了较多的图像)，则通过判断相邻帧的两幅图像的像素协方差矩阵，若高于预设值则去除相似帧；
若相机运动幅度大于预设范围且相机位姿未丢失时，启动插补策略，首先将相机运动幅度相差大于预设范围的两帧图像进行特征点匹配，当前帧的图像与所有关键帧的图像进行综合比对，得到多组相符合的关键帧，此时，以该帧与不同关键帧之间的距离作为标准，以综合得到准确的位姿评估数据，保证局部误差的最小化。
以上是本申请提供物体测量方法的介绍，为便于更好的实施本申请提供的物体测量方法，本申请还从设备组成方面提供了一种物体测量系统，系统包括手持感应装置、用户终端以及服务器，其结构组成还可参考图2示出的本申请物体测量系统的一种结构示意图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的物体测量系统的具体工作过程，可以参考如图1对应实施例中物体测量方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中物体测量方法的步骤，具体操作可参考如图1对应实施例中物体测量方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中物体测量方法的步骤，因此，可以实现本申请如图1对应实施例中物体测量方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的物体测量方法、系统以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (1)
1.一种物体测量方法，其特征在于，所述方法应用于物体测量系统，所述物体测量系统包括手持感应装置、用户终端以及服务器，所述方法包括：
所述手持感应装置在用户手持操作下，采集待测物体在不同视角下的图像，所述手持感应装置配置有采集图像所需的传感器，所述手持感应装置是在人体工程力学要求下结合手持操作配置得到的；
所述用户终端根据自身与所述手持感应装置之间的局域网通信连接，从所述手持感应装置获取所述图像，并将所述图像通过数据处理转化为点云数据；
所述服务器根据自身与所述用户终端之间的UDP通信连接，从所述用户终端获取所述点云数据，对所述点云数据进行特征分析提取，并通过三维可视化引擎显示；
所述手持感应装置是在人体工程力学要求下结合手持操作，调整结构分布、元器件配重得到的；
所述手持感应装置配置的传感器包括多线激光器、RGB相机、红外光光补，所述多线激光器分别与RGB相机、红外光光补电气连接，三者由同一控制器控制驱动，并安装于同一结构件；
所述传感器在采集图像之前，还包括核心参数的标定处理，所述标定处理包括：
在保持标定板位于视场内且相机相对位姿固定后，通过预设的标定算法，标定出RGB相机的内外参数；
将所述标定板置于相机视场中，同步所述RGB相机、所述多线激光器、所述红外光补，分别拍摄有激光条纹、无激光条纹的标定板图像；
改变所述标定板的位姿，重复采集图像，再利用无条纹图像计算光平面方程以及利用有条纹图像计算线结构光直线方程，通过光平面标定算法将世界坐标系下的三维点转换为相机坐标系下的三维点，通过多个相机视角下的三维坐标点拟合出光平面；
所述利用无条纹图像计算光平面方程的过程中，包括：
变换所述标定板以及相机相对位姿的情况下获取标定图像，并在所述标定图像的基础上获取点A、点B、点C、点Q点在图像坐标系下对应坐标点a、点b、点c、点q，其中，所述点Q、所述点A、所述点B、所述点C为世界坐标系下的真实点，所述点Q为所需求取的目标点，所述点Q为所述标定板上特征与结构光的相交点；
利用交比不变原理，通过下式将所述点Q的坐标从图像坐标系转换至世界坐标系，求取对应的世界坐标：
其中，所述点A、所述点B、所述点C为所述标定板上的已知点；
通过下式将描述世界坐标系下的光平面：
Ax+By+Cz+D＝0，
其中，A、B、C、D分别为方程系数；
通过构造光平面方程，推导得出光平面变化方程：
z＝a0x+a1y+a2，
其中，C不为0；
根据所述光平面变化方程，利用最小二乘法拟合求解，最小二乘法目标函数：
其中，满足解得a0，a1，a2，得到所述光平面方程；
所述用户终端在三维测量的过程中，包括三角测距法的采用：
在光束入射到所述待测物体后产生反射，入射光与反射光构成光三角形，在几何光学的基本原理下，根据反射光束的位置确定所述待测物体的参数，所述参数包括所述待测物体的端面位置、尺寸、公差、所述待测物体与光源之间的距离；
结合所述三角测距法获得真实相机模型的图像坐标系至世界坐标系的转换内容包括：
xoyz为相机坐标系，满足右手法则，XOYz为世界坐标，xfOfYf为相机图像坐标系，z轴与光轴重合，其中o点到o点的距离为焦距f；
激光发射器参数与变量计算：E点是线激光所在位置，θ是线激光面与z轴所成夹角，EP为激光束中一条照射于P(x,y,z)点上的光线，PG为从P点反射回来的光线，G点是P点在成像平面上的投影点，P'是P在xoz平面上的投影点，Q是P'在z轴上的投影点，P”是P'点在X轴上的投影点；
RGB相机的变量及参数：G'点是G在X轴上的投影点，β是G'P'与z轴所成夹角，d是激光发射点至摄像机坐标系o点的水平距离，r是G'点到o点的水平距离，由三角形oP'Q应用几何关系，有第一公式：
由三角形EP”P'应用几何关系，有第二公式：
通过所述第一公式以及所述第二公式，得到z与d的关系式，如第三公式：
其中，d是激光发射点至RGB相机成像中心的水平距离，d通过测量和计算得出，θ角度通过初始角度计算得出，β根据求得的有效焦距和像素坐标计算得出；
根据z坐标、三角形相似关系，求出P'点的坐标x，y，计算关系式如下式的第四公式、第五公式：
其中，f是相机焦距，Xu,Yu分别是投影点在相机坐标系中经过畸变修正后的坐标值；
根据所述第四公式、所述第五公式的式中关系，考虑一阶径向模型，理想坐标(Xu,Yu)与实际图像坐标(Xd,Yd)之间的变换关系，如第六公式、第七公式：
其中，是径向半径的平方，/>k是径向畸变系数；
根据所述第六公式、所述第七公式的式中关系，达到计算机图像坐标(Xf,Yf)到实际物理坐标(Xd,Yd)之间的变换关系，如第八公式、第九公式：
Xd＝u(Xf-Cx)，
Yu＝u(Yf-Cy)，
求出其他激光线经过反射在ccd上投影的三维坐标，每一条扫描线获得物体形貌的一个二维平面的深度信息，扫描完成后将离散深度信息进行拼接融合获得完整三维形貌信息；
所述方法还包括：
所述用户终端对所述图像进行关键帧的选取，并剔除相似帧，
其中，在处理过程中，对于关键帧的选取上采用了多去少补的算法思维，若相机停止移动或移动幅度小于预设范围，则通过判断相邻帧的两幅图像的像素协方差矩阵，若高于预设值则去除相似帧；
若相机运动幅度大于所述预设范围且相机位姿未丢失时，启动插补策略，首先将相机运动幅度相差大于所述预设范围的两帧图像进行特征点匹配，当前帧的图像与所有关键帧的图像进行综合比对，得到多组相符合的关键帧，此时，以该帧与不同关键帧之间的距离作为标准，以综合得到准确的位姿评估数据，保证局部误差的最小化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111347056.0A CN114061488B (zh) | 2021-11-15 | 2021-11-15 | 一种物体测量方法、系统以及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111347056.0A CN114061488B (zh) | 2021-11-15 | 2021-11-15 | 一种物体测量方法、系统以及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114061488A CN114061488A (zh) | 2022-02-18 |
| CN114061488B true CN114061488B (zh) | 2024-05-14 |
Family
ID=80271951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111347056.0A Active CN114061488B (zh) | 2021-11-15 | 2021-11-15 | 一种物体测量方法、系统以及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114061488B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1654922A (zh) * | 2003-09-25 | 2005-08-17 | 西门子测听技术有限责任公司 | 环视扫描仪 |
| CN101504275A (zh) * | 2009-03-11 | 2009-08-12 | 华中科技大学 | 一种基于空间无线定位的手持式线激光三维测量系统 |
| CN101556143A (zh) * | 2008-04-09 | 2009-10-14 | 通用电气公司 | 三维测量探测装置及方法 |
| CN102279190A (zh) * | 2011-04-29 | 2011-12-14 | 广州有色金属研究院 | 一种激光焊接不等厚板焊缝表面缺陷图像检测方法 |
| CN102564350A (zh) * | 2012-02-10 | 2012-07-11 | 华中科技大学 | 基于面结构光和光笔的复杂零部件精密三维测量方法 |
| CN102607455A (zh) * | 2012-02-27 | 2012-07-25 | 华中科技大学 | 基于光学显微镜和变化光照的微观形貌三维测量方法 |
| DE202013001538U1 (de) * | 2013-02-19 | 2013-03-19 | Ulrich Clauss | Anordnung zur Aufnahme geometrischer und photometrischer Objektdaten im Raum |
| CN103697815A (zh) * | 2014-01-15 | 2014-04-02 | 西安电子科技大学 | 基于相位编码的混频结构光三维信息获取方法 |
| CN104933718A (zh) * | 2015-06-23 | 2015-09-23 | 广东省自动化研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN105043251A (zh) * | 2015-06-01 | 2015-11-11 | 河北工业大学 | 一种基于机械运动的线结构光传感器的标定方法与装置 |
| CN105066909A (zh) * | 2015-09-01 | 2015-11-18 | 华中科技大学 | 一种手持式多激光条纹快速三维测量方法 |
| CN106091984A (zh) * | 2016-06-06 | 2016-11-09 | 中国人民解放军信息工程大学 | 一种基于线激光的三维点云数据获取方法 |
| CN108088386A (zh) * | 2017-12-15 | 2018-05-29 | 深圳大学 | 一种微纳米量级的二元面结构光检测方法及系统 |
| CN108537876A (zh) * | 2018-03-05 | 2018-09-14 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
| CN108596976A (zh) * | 2018-04-27 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
| CN109255813A (zh) * | 2018-09-06 | 2019-01-22 | 大连理工大学 | 一种面向人机协作的手持物体位姿实时检测方法 |
| CN109509226A (zh) * | 2018-11-27 | 2019-03-22 | 广东工业大学 | 三维点云数据配准方法、装置、设备及可读存储介质 |
| CN111644935A (zh) * | 2020-05-15 | 2020-09-11 | 江苏兰菱机电科技有限公司 | 一种机器人三维扫描测量装置及工作方法 |
| CN112179330A (zh) * | 2020-09-14 | 2021-01-05 | 浙江大华技术股份有限公司 | 移动设备的位姿确定方法及装置 |
| CN112200854A (zh) * | 2020-09-25 | 2021-01-08 | 华南农业大学 | 一种基于视频图像的叶类蔬菜三维表型测量方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9402070B2 (en) * | 2014-06-12 | 2016-07-26 | Faro Technologies, Inc. | Coordinate measuring device with a six degree-of-freedom handheld probe and integrated camera for augmented reality |
-
2021
- 2021-11-15 CN CN202111347056.0A patent/CN114061488B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1654922A (zh) * | 2003-09-25 | 2005-08-17 | 西门子测听技术有限责任公司 | 环视扫描仪 |
| CN101556143A (zh) * | 2008-04-09 | 2009-10-14 | 通用电气公司 | 三维测量探测装置及方法 |
| CN101504275A (zh) * | 2009-03-11 | 2009-08-12 | 华中科技大学 | 一种基于空间无线定位的手持式线激光三维测量系统 |
| CN102279190A (zh) * | 2011-04-29 | 2011-12-14 | 广州有色金属研究院 | 一种激光焊接不等厚板焊缝表面缺陷图像检测方法 |
| CN102564350A (zh) * | 2012-02-10 | 2012-07-11 | 华中科技大学 | 基于面结构光和光笔的复杂零部件精密三维测量方法 |
| CN102607455A (zh) * | 2012-02-27 | 2012-07-25 | 华中科技大学 | 基于光学显微镜和变化光照的微观形貌三维测量方法 |
| DE202013001538U1 (de) * | 2013-02-19 | 2013-03-19 | Ulrich Clauss | Anordnung zur Aufnahme geometrischer und photometrischer Objektdaten im Raum |
| CN103697815A (zh) * | 2014-01-15 | 2014-04-02 | 西安电子科技大学 | 基于相位编码的混频结构光三维信息获取方法 |
| CN105043251A (zh) * | 2015-06-01 | 2015-11-11 | 河北工业大学 | 一种基于机械运动的线结构光传感器的标定方法与装置 |
| CN104933718A (zh) * | 2015-06-23 | 2015-09-23 | 广东省自动化研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN105066909A (zh) * | 2015-09-01 | 2015-11-18 | 华中科技大学 | 一种手持式多激光条纹快速三维测量方法 |
| CN106091984A (zh) * | 2016-06-06 | 2016-11-09 | 中国人民解放军信息工程大学 | 一种基于线激光的三维点云数据获取方法 |
| CN108088386A (zh) * | 2017-12-15 | 2018-05-29 | 深圳大学 | 一种微纳米量级的二元面结构光检测方法及系统 |
| CN108537876A (zh) * | 2018-03-05 | 2018-09-14 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
| CN108596976A (zh) * | 2018-04-27 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
| CN109255813A (zh) * | 2018-09-06 | 2019-01-22 | 大连理工大学 | 一种面向人机协作的手持物体位姿实时检测方法 |
| CN109509226A (zh) * | 2018-11-27 | 2019-03-22 | 广东工业大学 | 三维点云数据配准方法、装置、设备及可读存储介质 |
| CN111644935A (zh) * | 2020-05-15 | 2020-09-11 | 江苏兰菱机电科技有限公司 | 一种机器人三维扫描测量装置及工作方法 |
| CN112179330A (zh) * | 2020-09-14 | 2021-01-05 | 浙江大华技术股份有限公司 | 移动设备的位姿确定方法及装置 |
| CN112200854A (zh) * | 2020-09-25 | 2021-01-08 | 华南农业大学 | 一种基于视频图像的叶类蔬菜三维表型测量方法 |
Non-Patent Citations (4)
| Title |
|---|
| 3D形貌测量中一种基于主成分分析的单帧投影栅算法;周灿林;贾帅帅;杨允鑫;刘同川;雷振坤;;光电子.激光;20130715(第07期);全文 * |
| 基于线结构光传感的T型角焊缝跟踪方法;孔萌 等;电焊机;101-104页，第1-3节 * |
| 基于线结构光视觉技术的工件尺寸三维测量系统研究;汪小涵 等;中国管理信息化;178-182页，第1-4节 * |
| 用井字结构光对规则部件进行三维测量;蔡晨 等;应用科学学报;107-116页，第1-4节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114061488A (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105157566B (zh) | 三维立体彩色点云扫描的方法 | |
| US9322643B2 (en) | Apparatus and method for 3D surface measurement | |
| US9117278B2 (en) | System and method for geometric modeling using multiple data acquisition means | |
| CN110296691A (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
| CN108541322A (zh) | 三维视觉测量数据的处理方法和装置 | |
| WO2018094932A1 (zh) | 用于立体视觉呈现的人眼观察图像的生成方法和装置 | |
| CN111754573B (zh) | 一种扫描方法及系统 | |
| CN102003938A (zh) | 大型高温锻件热态在位检测方法 | |
| CN102184566A (zh) | 基于微型投影仪手机平台的便携式三维扫描系统及方法 | |
| RU2734115C2 (ru) | Способ и устройство для генерирования данных, характеризующих пиксельный пучок | |
| CN114998499A (zh) | 一种基于线激光振镜扫描的双目三维重建方法及系统 | |
| CN109307477A (zh) | 位移测量系统及方法 | |
| CN114111637A (zh) | 一种基于虚拟双目的条纹结构光三维重建方法 | |
| CN106500625A (zh) | 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法 | |
| CN108613625B (zh) | 一种利用增强现实技术的测量方法 | |
| CN110619617A (zh) | 三维成像方法、装置、设备及计算机可读存储介质 | |
| Cai et al. | Calibration method for the rotating axis in panoramic 3D shape measurement based on a turntable | |
| CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN110728745B (zh) | 一种基于多层折射图像模型的水下双目立体视觉三维重建方法 | |
| CN108175535A (zh) | 一种基于微透镜阵列的牙科三维扫描仪 | |
| Wang et al. | Measurement and analysis of depth resolution using active stereo cameras | |
| CN114061488B (zh) | 一种物体测量方法、系统以及计算机可读存储介质 | |
| Huang et al. | 3D reconstruction of structured light based on infrared MEMS | |
| JPH05135155A (ja) | 連続シルエツト画像による３次元モデル構成装置 | |
| CN104296690A (zh) | 一种基于图像融合的多线结构光三维测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |