CN108413917B - 非接触式三维测量系统、非接触式三维测量方法及测量装置 - Google Patents

非接触式三维测量系统、非接触式三维测量方法及测量装置 Download PDF

Info

Publication number
CN108413917B
CN108413917B CN201810212790.8A CN201810212790A CN108413917B CN 108413917 B CN108413917 B CN 108413917B CN 201810212790 A CN201810212790 A CN 201810212790A CN 108413917 B CN108413917 B CN 108413917B
Authority
CN
China
Prior art keywords
data
measurement
angular velocity
linear acceleration
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810212790.8A
Other languages
English (en)
Other versions
CN108413917A (zh
Inventor
康来
蒋杰
郭金林
白亮
魏迎梅
老松杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810212790.8A priority Critical patent/CN108413917B/zh
Publication of CN108413917A publication Critical patent/CN108413917A/zh
Application granted granted Critical
Publication of CN108413917B publication Critical patent/CN108413917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile

Abstract

本发明公开了一种非接触式三维测量系统、非接触式三维测量方法及测量装置，其中非接触式三维测量系统包括：标定装置、摄像装置、数据采集装置和数据处理装置，数据采集装置固设于摄像装置；标定装置用于标定摄像装置的内部参数；摄像装置用于在不同位置环绕被测物体进行摄像，并获取影像数据；数据采集装置用于采集摄像装置在对被测物体摄像过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；数据处理装置用于计算测量过程所获得视频的场景中被测物体任意两点的物理距离。本发明不需要在待测场景中嵌入额外标定物，也不需要添加额外辅助定位装置，具有使用便捷灵活、测量精度较高、适用范围广的特点。

Description

非接触式三维测量系统、非接触式三维测量方法及测量装置
技术领域
本发明涉及电子信息处理技术领域，尤其涉及一种非接触式三维测量技术。
背景技术
物体物理三维尺寸数据获取方法大致可分为接触式测量和非接触式测量两类。一种典型的接触式测量工具是三坐标测量机，这种测量工具上安装有通过多自由度伺服装置控制的结构测量探针，通过伺服机械移动量获取探针基准点和测量点之间的距离。接触式测量具有较高的精度，但这种测量方式对待测物体的大小和形状有较大限制且测量效率较低，接触式测量工具成本也较高。
非接触式测量在不接触待测对象的情况下获得对象的三维尺寸数据。非接触测量又分为主动式测量和被动式测量两类。主动式测量向被测物体发射特定信号(如：可见光、激光、电磁波、声波等)，通过对返回信号进行分析来计算待测物体表面的三维空间位置进而完成三维测量。被动式测量被动接收待测物体所反射的环境光，通过分析待测物体的二维图像获得物体的三维尺寸数据。被动非接触式测量方法对待测物体形状和尺寸限制较少，且具有数据采集便捷、测量成本低、测量效率高等优势，但被动非接触式测量方法仅能获取待测对象的相对尺寸。被动非接触式测量方法主要采用在待测场景中嵌入已知尺寸标定物或通过辅助装置控制、记录相机位移两种手段来获得绝对物理尺寸信息。然而，这两种方式均会降低非接触式测量的灵活性，减小非接触式测量的适用范围。
发明内容
本发明旨在提供一种非接触式三维测量系统、非接触式三维测量方法及测量装置，通过分析计算惯性测量数据和视觉位姿数据的时空关系，获取被测物体的绝对物理尺寸数据，不需要在待测场景中嵌入额外标定物，也不需要添加额外辅助定位装置，具有使用便捷灵活、测量精度较高、适用范围广的特点。
第一方面，本发明公开了一种非接触式三维测量系统，包括：标定装置、摄像装置、数据采集装置和数据处理装置，数据采集装置固定设置于摄像装置上；标定装置用于标定摄像装置的内部参数；摄像装置用于在不同位置环绕被测物体进行摄像，并获取影像数据；数据采集装置用于采集摄像装置在对被测物体摄像过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；数据处理装置用于对影像数据进行处理获得视觉位姿数据，所述视觉位姿数据包括所述摄像装置的视觉转动角速度和视觉线性加速度；并对视觉位姿数据和惯性测量数据进行处理，从而计算测量过程所获得视频的场景中被测物体任意两点的物理距离。
本发明非接触式三维测量系统通过摄像装置和数据采集装置获取影像数据和惯性测量数据，并用过数据处理装置对影像数据进行处理，从而获得视觉位姿数据，进而通过分析计算惯性测量数据和视觉位姿数据的时空关系，从而获得被测物体的物理尺寸数据。故可不用在待测场景中嵌入标定物，使用方便、灵活，适用面广。
进一步地，上述非接触式三维测量系统中，摄像装置通过标定装置进行内部参数标定，获取至少10幅图像数据，且每幅图像数据均包含标定装置。
进一步地，上述非接触式三维测量系统中，摄像装置在不同位置环绕被测物体进行摄像时，获取至少20秒的影像数据。
进一步地，上述非接触式三维测量系统中还包括：数据检测装置；数据检测装置用于检测摄像装置所获取的影像数据是否满足测量要求。
进一步地，上述非接触式三维测量系统中，数据采集装置采集惯性测量数据的频率不低于50Hz；摄像装置采集影像数据的分辨率不低于1280×720像素；摄像装置采集影像数据的视频帧率不低于30Hz；数据采集装置包括加速度计、陀螺仪和磁力计。
第二方面，本发明还公开了一种非接触式三维测量方法，包括如下步骤：
摄像装置标定步骤，获取标定过程中摄像装置的内部参数，并保持内部参数不变；第一数据采集步骤，在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；第二数据采集步骤，在第一时刻，摄像装置获取影像数据的同时，获取摄像在拍摄过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；第一数据处理步骤，计算影像数据的各视频帧相对于摄像装置的视觉位姿数据，视觉位姿数据包括摄像装置的视觉转动角速度和视觉线性加速度；第二数据处理步骤，对惯性测量数据和视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；第三数据处理步骤，将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；第四数据处理步骤，计算影像数据中被测物体任意两点之间的物理距离。
本发明通过采集分析计算惯性测量数据和视觉位姿数据的时空关系，从而获得被测物体的物理尺寸数据。故可不用在待测场景中嵌入标定物，使用方便、灵活，适用面广。
进一步地，上述非接触式三维测量方法中的摄像装置标定步骤，获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，内部参数包括焦距、主点坐标和径向变形参数。
进一步地，上述非接触式三维测量方法中的第一数据采集步骤，获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
进一步地，上述非接触式三维测量方法还包括设置于第二数据采集步骤之后的第一数据检测步骤；第一数据检测步骤，检测第一数据采集步骤所获取的影像数据和第二数据采集步骤所获取的惯性测量数据是否符合测量要求；检测要求包括第一测量要求和第二测量要求；第一测量要求为：数据采集装置三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为
Figure GDA0002353878550000041
Figure GDA0002353878550000042
惯性测量线性加速度分别为
Figure GDA0002353878550000043
其中M为惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
Figure GDA0002353878550000044
且惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2满足：
Figure GDA0002353878550000045
第二测量要求为：将影像数据的分辨率的四分之一降采样获取降采样视频帧，计算相邻降采样视频帧之间的SIFT图像特征匹配数量，降采样视频帧之间的SIFT图像特征匹配数量不少于50个；如满足测量要求则进入第一数据处理步骤，如不满足测量要求则返回第一数据采集步骤以进行重新测量。
进一步地，上述非接触式三维测量方法中的第一数据处理步骤包括如下步骤：矫正视频帧步骤，利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧；匹配图像特征步骤，提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系；计算摄像装置相对位置及单位旋转四元数步骤，利用运动推断结构方法计算各矫正视频帧所对应的摄像装置的相对位置数据和摄像装置的单位旋转四元数；视觉位姿数据计算步骤，对单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对相对位置数据进行二次求导得出视觉线性加速度。
进一步地，上述非接触式三维测量方法中第二数据处理步骤中：预处理视觉转动角速度
Figure GDA0002353878550000051
和
Figure GDA0002353878550000052
为：
Figure GDA0002353878550000053
Figure GDA0002353878550000054
Figure GDA0002353878550000055
预处理视觉线性加速度
Figure GDA0002353878550000056
和
Figure GDA0002353878550000057
为：
Figure GDA0002353878550000058
Figure GDA0002353878550000059
Figure GDA00023538785500000510
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
Figure GDA00023538785500000511
其中，N为影像数据的视频帧数量；
预处理惯性测量转动角速度
Figure GDA00023538785500000512
和
Figure GDA00023538785500000513
为：
Figure GDA00023538785500000514
Figure GDA00023538785500000515
Figure GDA00023538785500000516
预处理惯性测量线性加速度
Figure GDA00023538785500000517
和
Figure GDA00023538785500000518
为：
Figure GDA0002353878550000061
Figure GDA0002353878550000062
Figure GDA0002353878550000063
其中，
Figure GDA0002353878550000064
进一步地，上述非接触式三维测量方法中的第三数据处理步骤包括：角速度数值时间对齐步骤，利用黄金分割搜索方法搜索最佳时间偏移量
Figure GDA0002353878550000065
最佳旋转矩阵R*以及角速度固有内部偏差
Figure GDA0002353878550000066
目标函数定义为：
Figure GDA0002353878550000067
其中，角速度数值向量序列
Figure GDA0002353878550000068
Figure GDA0002353878550000069
Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；线性加速度空间对齐步骤，利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
Figure GDA00023538785500000610
Figure GDA00023538785500000611
其中，线性加速度数值向量序列为：
Figure GDA00023538785500000612
Figure GDA00023538785500000613
从而完成空间对齐。
进一步地，上述非接触式三维测量方法，第四数据处理步骤包括如下步骤：度量三维重建步骤，利用获得的视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；选取测量点步骤，选取影像数据的任一视频帧中被测物体上的任意两点A和B，并找出三维点云模型中对应的A′和B′；模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；物理距离计算步骤，计算A和B之间的实际物理距离为：
Figure GDA0002353878550000071
第三方面，本发明还公开了一种非接触式三维测量装置，包括如下模块
摄像装置标定模块，用于获取标定过程中摄像装置的内部参数，并保持内部参数不变；第一数据采集模块，用于在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；第二数据采集模块，用于在第一时刻，摄像装置获取影像数据的同时，获取摄像在拍摄过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；第一数据处理模块，用于计算影像数据的各视频帧相对于摄像装置的视觉位姿数据，视觉位姿数据包括摄像装置的视觉转动角速度和视觉线性加速度；第二数据处理模块，用于对惯性测量数据和视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；第三数据处理模块，将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；第四数据处理模块，用于计算影像数据中被测物体任意两点之间的物理距离。
本发明通过采集分析计算惯性测量数据和视觉位姿数据的时空关系，从而获得被测物体的物理尺寸数据。故可不用在待测场景中嵌入标定物，使用方便、灵活，适用面广。
进一步的，上述非接触式三维测量装置中摄像装置标定模块，用于获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，内部参数包括焦距、主点坐标和径向变形参数。
进一步的，上述非接触式三维测量装置中第一数据采集模块，用于获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
进一步的，上述非接触式三维测量装置中第二数据采集模块之后还连接有第一数据检测模块；第一数据检测模块，用于检测第一数据采集模块所获取的影像数据和第二数据采集模块所获取的惯性测量数据是否符合测量要求；检测要求包括第一测量要求和第二测量要求；第一测量要求为：数据采集装置三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为
Figure GDA0002353878550000081
Figure GDA0002353878550000082
惯性测量线性加速度分别为
Figure GDA0002353878550000083
其中M为惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
Figure GDA0002353878550000084
且惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2满足：
Figure GDA0002353878550000085
第二测量要求为：将影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻降采样视频帧之间的SIFT图像特征匹配数量，降采样视频帧之间的SIFT图像特征匹配数量不少于50个；如满足测量要求则连接第一数据处理模块，如不满足测量要求则连接第一数据采集模块以进行重新测量。
进一步的，上述非接触式三维测量装置中第一数据处理模块包括如下模块：矫正视频帧模块，用于利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧；匹配图像特征模块，用于提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系；计算摄像装置相对位置及单位旋转四元数模块，用于利用运动推断结构方法计算各矫正视频帧所对应的摄像装置的相对位置数据和摄像装置的单位旋转四元数；视觉位姿数据计算模块，对所述单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
进一步的，上述非接触式三维测量装置中第二数据处理模块中：
预处理视觉转动角速度
Figure GDA0002353878550000091
和
Figure GDA0002353878550000092
为：
Figure GDA0002353878550000093
Figure GDA0002353878550000094
Figure GDA0002353878550000095
预处理视觉线性加速度
Figure GDA0002353878550000096
和
Figure GDA0002353878550000097
为：
Figure GDA0002353878550000098
Figure GDA0002353878550000099
Figure GDA00023538785500000910
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
Figure GDA00023538785500000911
其中，N为影像数据的视频帧数量；
预处理惯性测量转动角速度
Figure GDA00023538785500000912
和
Figure GDA00023538785500000913
为：
Figure GDA00023538785500000914
Figure GDA00023538785500000915
Figure GDA00023538785500000916
预处理惯性测量线性加速度
Figure GDA0002353878550000101
和
Figure GDA0002353878550000102
为：
Figure GDA0002353878550000103
Figure GDA0002353878550000104
Figure GDA0002353878550000105
其中，
Figure GDA0002353878550000106
其中M为惯性测量数据的数据采样点数量。
进一步的，上述非接触式三维测量装置中第三数据处理模块包括：
角速度数值时间对齐模块，用于利用黄金分割搜索方法搜索最佳时间偏移量
Figure GDA0002353878550000107
最佳旋转矩阵R*以及角速度固有内部偏差
Figure GDA0002353878550000108
目标函数定义为：
Figure GDA0002353878550000109
其中，角速度数值向量序列
Figure GDA00023538785500001010
Figure GDA00023538785500001011
Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；
线性加速度空间对齐模块，用于利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
Figure GDA00023538785500001012
Figure GDA00023538785500001013
其中，线性加速度数值向量序列为：
Figure GDA0002353878550000111
Figure GDA0002353878550000112
从而完成空间对齐。
进一步的，上述非接触式三维测量装置中第四数据处理模块包括如下模块：度量三维重建模块，用于利用获得的视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；选取测量点步骤，选取影像数据的任一视频帧中被测物体上的任意两点A和B，并找出三维点云模型中对应的A′和B′；模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；物理距离计算步骤，计算A和B之间的实际物理距离为：
Figure GDA0002353878550000113
第四方面，本发明还公开了一种计算机设备，包括存储器、处理器和存储在存储器内并能由处理器运行的计算机程序，其中，处理器执行计算机程序时实现如上述任一项的非接触式三维测量方法。
第五方面本发明还公开了一种计算机可读存储介质，为非易失性可读存储介质，其内存储有计算机程序，计算机程序在由处理器执行时实现如上述任一项的非接触式三维测量方法。
附图说明
图1是本发明非接触式三维测量方法的步骤流程图；
图2是本发明非接触式三维测量模块的结构框图；
图3是本发明实施例的视频帧样例及视觉位姿重建结果示意图；
图4是本发明实施例的角速度序列对齐前、部分对齐、对齐后结果对比图；
图5是本发明实施例的线性加速度空间对齐前后对比图；
图6是本发明实施例的交互测量实例示意图；
图7是本发明实施例的百分比相对测量误差随均值采样数据点数量的变化示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
第一方面，本发明还提供了一种非接触式三维测量系统的实施例。
本实施例非接触式三维测量系统包括：标定装置、摄像装置、数据采集装置和数据处理装置，数据采集装置固定设置于摄像装置上；标定装置用于标定摄像装置的内部参数；摄像装置用于在不同位置环绕被测物体进行摄像，并获取影像数据；数据采集装置用于采集摄像装置在对被测物体摄像过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；数据处理装置用于对影像数据进行处理获得视觉位姿数据，并对视觉位姿数据和惯性测量数据进行处理，从而计算测量过程所获得视频的场景中被测物体任意两点的物理距离。
通常情况下，标定装置为棋盘格标定板，摄像装置为摄像头，数据采集装置包括加速度计、陀螺仪和磁力计。通过摄像头在不同方位对棋盘格标定板拍摄不少于10幅图像，每幅图像都能完整观察到棋盘格标定板，并固定摄像头的内部参数。然后用摄像头环绕被测物体拍摄一组不少于20秒的视频数据，即影像数据。同时固定设置在摄像头上的数据采集装置，可以采集到惯性测量数据。为了提高测量结果，本实施例还包括：用于检测摄像装置所获取的影像数据是否满足测量要求的数据检测装置。
本实施例的数据采集装置采集惯性测量数据的频率不低于50Hz；摄像装置采集影像数据的分辨率不低于1280×720像素；摄像装置采集影像数据的视频帧率不低于30Hz。
第二方面，本发明还提供了一种非接触式三维测量方法的实施例。
参考图1，图1示出了该实施例的步骤流程图，包括：
S0100：摄像装置标定步骤，获取标定过程中摄像装置的内部参数，并保持内部参数不变；获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，内部参数包括焦距、主点坐标和径向变形参数。
S0300：第一数据采集步骤，在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
S0500：第二数据采集步骤，在第一时刻，摄像装置获取影像数据的同时，获取摄像在拍摄过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；
S0610：第一数据检测步骤，检测第一数据采集步骤所获取的影像数据和第二数据采集步骤所获取的惯性测量数据是否符合测量要求；
检测要求包括第一测量要求和第二测量要求；
第一测量要求为：数据采集装置三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为
Figure GDA0002353878550000131
惯性测量线性加速度分别为
Figure GDA0002353878550000132
其中M为惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
Figure GDA0002353878550000133
且惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2满足：
Figure GDA0002353878550000141
第二测量要求为：将影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻降采样视频帧之间的SIFT图像特征匹配数量，降采样视频帧之间的SIFT图像特征匹配数量不少于50个；
如满足测量要求则进入S0700：第一数据处理步骤，如不满足测量要求则返回S0300：第一数据采集步骤以进行重新测量。
S0700：第一数据处理步骤，计算影像数据的各视频帧相对于摄像装置的视觉位姿数据，视觉位姿数据包括摄像装置的视觉转动角速度和视觉线性加速度；
S0700：第一数据处理步骤具体包括如下步骤：
S0710：矫正视频帧步骤，利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧；
S0720：匹配图像特征步骤，提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系；
S0730：计算摄像装置相对位置及单位旋转四元数步骤，利用运动推断结构方法计算各矫正视频帧所对应的摄像装置的相对位置数据和摄像装置的单位旋转四元数；
S0740：视觉位姿数据计算步骤，对所述单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
S0900：第二数据处理步骤，对惯性测量数据和视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；
预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；
预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；
预处理视觉转动角速度
Figure GDA0002353878550000151
和
Figure GDA0002353878550000152
为：
Figure GDA0002353878550000153
Figure GDA0002353878550000154
Figure GDA0002353878550000155
预处理视觉线性加速度
Figure GDA0002353878550000156
和
Figure GDA0002353878550000157
为：
Figure GDA0002353878550000158
Figure GDA0002353878550000159
Figure GDA00023538785500001510
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
Figure GDA00023538785500001511
预处理惯性测量转动角速度
Figure GDA00023538785500001512
和
Figure GDA00023538785500001513
为：
Figure GDA00023538785500001514
Figure GDA00023538785500001515
Figure GDA00023538785500001516
预处理惯性测量线性加速度
Figure GDA00023538785500001517
和
Figure GDA00023538785500001518
为：
Figure GDA00023538785500001519
Figure GDA00023538785500001520
Figure GDA00023538785500001521
其中，
Figure GDA0002353878550000161
S1100：第三数据处理步骤，将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；
S1100：第三数据处理步骤具体包括如下步骤：
S1110：角速度数值时间对齐步骤，利用黄金分割搜索方法搜索最佳时间偏移量
Figure GDA0002353878550000162
最佳旋转矩阵R*以及角速度固有内部偏差
Figure GDA0002353878550000163
目标函数定义为：
Figure GDA0002353878550000164
其中，角速度数值向量序列
Figure GDA0002353878550000165
Figure GDA0002353878550000166
Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；
S1120：线性加速度空间对齐步骤，利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
Figure GDA0002353878550000167
Figure GDA0002353878550000168
其中，线性加速度数值向量序列为：
Figure GDA0002353878550000169
Figure GDA00023538785500001610
从而完成空间对齐。
S1300：第四数据处理步骤，计算影像数据中被测物体任意两点之间的物理距离。
S1310：度量三维重建步骤，利用获得的视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；
S1320：选取测量点步骤，选取测量点步骤，选取影像数据的任一视频帧中被测物体上的任意两点A和B，并找出三维点云模型中对应的A′和B′；
S1330：模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；
S1340：物理距离计算步骤，计算A和B之间的实际物理距离为：
Figure GDA0002353878550000171
上述各数据处理步骤前还设置有数据平滑处理步骤；
数据平滑处理步骤，利用移动平均法对上述各数据进行平滑处理。
第三方面，本发明还提供了一种非接触式三维测量装置的实施例。
参考图2，图2示出了该实施例的结构框图，包括：
摄像装置标定模块，用于获取标定过程中摄像装置的内部参数，并保持内部参数不变；第一数据采集模块，用于在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；第二数据采集模块，用于在第一时刻，摄像装置获取影像数据的同时，获取摄像在拍摄过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；第一数据处理模块，用于计算影像数据的各视频帧相对于摄像装置的视觉位姿数据，视觉位姿数据包括摄像装置的视觉转动角速度和视觉线性加速度；第二数据处理模块，用于对惯性测量数据和视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；第三数据处理模块，用于将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；第四数据处理模块，用于计算影像数据中被测物体任意两点之间的物理距离。
进一步的，上述非接触式三维测量装置中摄像装置标定模块，用于获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，内部参数包括焦距、主点坐标和径向变形参数。
进一步的，上述非接触式三维测量装置中第一数据采集模块，用于获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
进一步的，上述非接触式三维测量装置中第二数据采集模块之后还连接有第一数据检测模块；第一数据检测模块，用于检测第一数据采集模块所获取的影像数据和第二数据采集模块所获取的惯性测量数据是否符合测量要求；如满足测量要求则连接第一数据处理模块，如不满足测量要求则连接第一数据采集模块以进行重新测量。
进一步的，上述非接触式三维测量装置中第一数据处理模块包括如下模块：矫正视频帧模块，用于利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧；匹配图像特征模块，用于提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系；计算摄像装置相对位置及单位旋转四元数模块，用于利用运动推断结构方法计算各矫正视频帧所对应的摄像装置的相对位置数据和摄像装置的单位旋转四元数；视觉位姿数据计算模块，对所述单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度，并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
进一步的，上述非接触式三维测量装置中第三数据处理模块包括：角速度数值时间对齐模块和线性加速度空间对齐模块。
进一步的，上述非接触式三维测量装置中第四数据处理模块包括如下模块：度量三维重建模块，用于利用获得的视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；选取测量点步骤，选取影像数据的任一视频帧中被测物体上的任意两点A和B，并找出三维点云模型中对应的A′和B′；模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；物理距离计算步骤，计算A和B之间的实际物理距离为：
Figure GDA0002353878550000191
进一步的，上述非接触式三维测量装置中的上述各数据处理模块前还连接有数据平滑处理模块；数据平滑处理模块，用于利用移动平均法对上述各数据进行平滑处理。
第四方面，本发明还公开了一种计算机设备实施例，包括存储器、处理器和存储在存储器内并能由处理器运行的计算机程序，其中，处理器执行计算机程序时实现如上述任一项的非接触式三维测量方法。
第五方面本发明还公开了一种计算机可读存储介质实施例，为非易失性可读存储介质，其内存储有计算机程序，计算机程序在由处理器执行时实现如上述任一项的非接触式三维测量方法。
下面结合图1对本实施例非接触式三维测量系统、非接触式三维测量方法和非接触式三维测量装置的工作原理进行详细说明。
本实施例中，利用标定装置对摄像装置的内部参数进行标定，通常情况下标定装置为棋盘标定板，将摄像装置从不同拍摄棋盘标定板获得一组图像数据，并且每幅图像数据均能完整观察到标定板，为了更为准确地标定摄像装置的内部参数，需要获得至少10幅图像数据。摄像装置的内部参考包括焦距f＝(fx,fy)T，主点坐标c＝(cx,cy)T以及径向变形参数k＝(k0,k1,k2,k3,k4)T。图像平面坐标系定义为：图像中心点位原点，水平向右为x轴正向，垂直向下为y轴正方向。摄像装置标定的具体方法可以采用张正友标定法，由于张正友标定法为本领域现有技术，故此处不再赘述。完成标定后摄像装置内部参数固定不变，因此对于同一摄像装置上述标定数据可重复用于多次测量。
利用摄像装置环绕被测物体拍摄并获取影像数据，为了测量更为准确，获取不短于20秒的影像数据，并且各视频帧均能完整观察到被测物体，在拍摄过程中焦距大小不发生变化。同时通过数据采集装置获取摄像装置在拍摄过程中的惯性测量数据，通常情况下，数据采集装置固定设置在摄像装置上，两者在拍摄过程中不发生相对运动。惯性测量数据包括：数据采集装置相对于自身三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为
Figure GDA0002353878550000192
Figure GDA0002353878550000201
以及惯性测量线性加速度分别为
Figure GDA0002353878550000202
其中M为传感器数据采样点数量。由于在获取影像数据过程中，可能会出现获取数据不符合要求的情况，导致后续计算结果存在较大误差，甚至可能无法完成计算，为了提高测量效率，在获取影像数据后，需要对该数据进行测量要求检查，具体测量要求包括第一测量要求和第二测量要求，第一测量要求为：数据采集装置自身三个轴Ximu、Yimu、Zimu的角速度分别为
Figure GDA0002353878550000203
Figure GDA0002353878550000204
惯性测量线性加速度分别为
Figure GDA0002353878550000205
Figure GDA0002353878550000206
其中M为惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
Figure GDA0002353878550000207
且惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2满足：
Figure GDA0002353878550000208
如果满足第一测量要求，则继续检查是否满足第二测量要求。第二测量要求为：将影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻降采样视频帧之间的SIFT图像特征匹配数量，降采样视频帧之间的SIFT图像特征匹配数量不少于50个。第一测量要求和第二测量要求如果有一个不满足则需要重新获取影像数据，如果均满足则可进入下一步。
在获取了影像数据后，需要获取视觉位姿数据，即视觉转动角速度和视觉线性加速度。首先利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧，再提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系，接着利用运动推断结构方法获得影像数据的各视频帧所对应的设置摄像装置的位置t以及摄像装置的单位旋转四元数，运动推断结构方法为现有技术，故此处也不再赘述。若影像数据的视频帧数量为N，则所有视频帧的摄像装置的位置为{tj＝(xj,yj,zj)T|j＝1,2,3,…,N}和摄像装置的旋转四元数为{qj＝(q0,q1,q2,q3)|j＝1,2,3,…,N}。接下来将摄像装置的旋转四元数{qj}转换为关于摄像装置自身坐标轴Xcam、Ycam、Zcam的离散角度数据
Figure GDA0002353878550000211
Figure GDA0002353878550000212
计算公式如下：
Figure GDA0002353878550000213
由于在测量过程中会存在测量噪声，所以为了提高测量精度，可利用移动平均法对离散角度数据
Figure GDA0002353878550000214
进行平滑处理，移动平均法为现有技术，故此处不再赘述。均值采样数据点数量
Figure GDA0002353878550000215
的取值范围为rcam/5～rcam/4，其中，rcam为视频数据帧率。然后对角度数据求导，便可得出相对于坐标轴Xcam、Ycam、Zcam的视觉转动角速度
Figure GDA0002353878550000216
和
Figure GDA0002353878550000217
同样的，为了提高测量精度，也利用均值采样数据点数量
Figure GDA0002353878550000218
的移动平均法对视觉转动角速度
Figure GDA0002353878550000219
和
Figure GDA00023538785500002110
进行平滑处理。
接着，对摄像装置的位置数据{tj＝(xj,yj,zj)T|j＝1,2,3,…,N}进行求导，可以得到相对于坐标轴Xcam、Ycam、Zcam的视觉线性速度数据，例如相对于坐标轴Xcam的视觉线性速度
Figure GDA00023538785500002111
再对该视觉线性速度进行求导，可以得出视觉线性加速度
Figure GDA00023538785500002112
按照该方法可以得出摄像装置相对于坐标轴Xcam、Ycam、Zcam的视觉线性加速度
Figure GDA00023538785500002113
和
Figure GDA00023538785500002114
同样的，为了提高测量精度，利用移动平均法对摄像装置的位置数据和求导后的视觉线性速度进行平滑处理，均值采样数据点数量取
Figure GDA00023538785500002115
的取值范围是1.5rcam～2rcam。
在获得了视觉位姿数据后，需要按照相邻点采取相同的时间间隔进行重采样和拉伸得出预处理视觉位姿数据，以避免获得错误的测量结果。例如对相对于坐标轴Xcam的视觉转动角速度
Figure GDA0002353878550000221
进行重采样和拉伸得出预处理视觉转动角速度
Figure GDA0002353878550000222
计算公式为：
Figure GDA0002353878550000223
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
Figure GDA0002353878550000224
采用类似的方法，便可完成相对于坐标轴Ycam和Zcam的预处理视觉转动角速度
Figure GDA0002353878550000225
和
Figure GDA0002353878550000226
Figure GDA0002353878550000227
相对于坐标轴Xcam、Ycam、Zcam的视觉线性加速度
Figure GDA0002353878550000228
和
Figure GDA0002353878550000229
也需要进行重采样和拉伸，于是按照上述相同的方法，可以计算出相对于坐标轴Xcam的预处理惯性测量线性加速度
Figure GDA00023538785500002210
计算公式为：
Figure GDA00023538785500002211
采用类似的方法，便可完成相对于坐标轴Ycam和Zcam的预处理视觉线性加速度
Figure GDA00023538785500002212
和
Figure GDA00023538785500002213
Figure GDA00023538785500002214
惯性测量数据同样需要按照相邻点采取相同的时间间隔进行重采样和拉伸得出预处理惯性测量数据，以避免获得错误的测量结果。例如利用移动平均法对惯性测量单元相对于坐标轴Ximu的惯性测量转动角速度为
Figure GDA0002353878550000231
为了提高测量精度，可利用移动平均法对
Figure GDA0002353878550000232
进行平滑处理，均值采样数据点数量
Figure GDA0002353878550000233
的取值范围为rimu/5～rimu/4，得出预处理惯性测量转动角速度
Figure GDA0002353878550000234
计算公式为：
Figure GDA0002353878550000235
其中，
Figure GDA0002353878550000236
采用类似的方法，便可完成相对于坐标轴Yimu和Zimu的预处理惯性测量转动角速度
Figure GDA0002353878550000237
和
Figure GDA0002353878550000238
Figure GDA0002353878550000239
下面接着对相对于坐标轴Ximu、Yimu、Zimu的惯性测量线性加速度
Figure GDA00023538785500002310
Figure GDA00023538785500002311
和
Figure GDA00023538785500002312
进行预处理。例如相对于坐标轴Ximu的惯性测量线性加速度
Figure GDA00023538785500002313
为了提高测量精度，可利用移动平均法对相对于坐标轴Ximu的惯性测量线性加速度
Figure GDA00023538785500002314
进行平滑处理，均值采样数据点数量
Figure GDA00023538785500002315
的取值范围为1.5rimu～2rimu。对惯性测量线性加速度
Figure GDA00023538785500002316
进行重采样和拉伸计算的预处理惯性测量线性加速度
Figure GDA00023538785500002317
计算公式为：
Figure GDA00023538785500002318
采用类似的方法，便可完成相对于坐标轴Yimu和Zimu的预处理惯性测量线性加速度
Figure GDA00023538785500002319
和
Figure GDA00023538785500002320
Figure GDA0002353878550000241
于是一共得到了基于坐标轴Xcam、Ycam和Zcam的预处理视觉转动角速度
Figure GDA0002353878550000242
和
Figure GDA0002353878550000243
以及预处理视觉线性加速度
Figure GDA0002353878550000244
和
Figure GDA0002353878550000245
Figure GDA0002353878550000246
还有相对于基于坐标轴Ximu、Yimu和Zimu的预处理惯性测量转动角速度
Figure GDA0002353878550000247
和
Figure GDA0002353878550000248
以及预处理惯性测量线性加速度
Figure GDA0002353878550000249
Figure GDA00023538785500002410
和
Figure GDA00023538785500002411
由于影像数据和惯性测量数据在时间上可能存在偏移，因此需要时间对齐。首先基于角速度数值序列进行时间对齐，利用黄金分割搜索方法搜索最佳时间偏移量
Figure GDA00023538785500002412
最佳旋转矩阵R*以及角速度固有内部偏差
Figure GDA00023538785500002413
目标函数定义为：
Figure GDA00023538785500002414
其中，角速度数值向量序列
Figure GDA00023538785500002415
在黄金分割搜索中，Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，对于给定的Nt采用最佳绝对位姿估计算法(即ABO算法)计算最佳旋转矩阵、角速度内部偏差、以及u(Nt)的最小值，最佳绝对位姿估计算法为现有技术，故此处不再赘述。
接着对线性加速度进行空间对齐，利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
Figure GDA00023538785500002416
Figure GDA00023538785500002417
其中，线性加速度数值向量序列为：
Figure GDA00023538785500002418
Figure GDA00023538785500002419
完成空间对齐之后，进行度量三维重建。首先在获得视觉位姿数据的基础上，基于图像的稠密三维点云重建方法(如：PMVS方法)构建待测量物体的稠密三维点云模型，由于图像的稠密三维点云重建方法为现有技术，故此处不再赘述。接着利用鼠标在任意视频帧中交互式选取被测物体的对象点A、B，以及在三维稠密点云模型中对应的A′和B′，然后根据三维点的坐标可以计算得出A′和B′之间的距离dcam＝|A′B′|，则两个测量点之间的实际物理距离测量结果为：
Figure GDA0002353878550000251
若真实长度为d，则百分比相对误差计算公式为：
Figure GDA0002353878550000252
下面示出一测量实例，本测量实例的实验结果所采用的影像视频数据的分辨率为1280×720像素，视频帧率为30Hz，影像数据的录制时间为23秒，惯性测量数据采样频率为50Hz。参考图3，获取相关数据后，并进行相应处理，图3(a)为视频数据帧样例，图3(b)和图3(c)为运动推断结构方法重建的视觉位姿数据以及三维稀疏点云的两个视角的可视化结果，接着参考图4，对角速度数值序列进行时间对齐，其中图4(a)为对齐前的角速度对比，图4(b)为旋转对齐、时间不对齐的角速度对比，图4(c)为旋转对齐和时间对齐后的角速度对比。该实例中，
Figure GDA0002353878550000253
接着参考图5，对线性加速度进行空间对齐，其中，图5(a)为对齐前的线性加速度对比，图5(b)为对齐后的角速度对比。该实例中，
Figure GDA0002353878550000254
完成度量三维重建后，参考图6，在图6(a)中选取对象点A、B，以及在图6(b)三维稠密点云模型中对应的A′和B′，从而可以获得本实例中对象点之间的物理距离，本实例中
Figure GDA0002353878550000255
dcam＝0.751826，测量距离为
Figure GDA0002353878550000256
实际长度为0.17米，相对测量误差为2.93％。参考图7，本发明方法在上述数据上的百分比相对测量误差随均值采样数据点数量的变化情况。图7(a)显示采样点数量从5到200之间的结果，图7(b)显示采样点数量从60到100的结果。从实验结果可知，
Figure GDA0002353878550000257
的取值范围为1.2rimu～2rimu的情况下，测量误差小于4％。
如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (23)

1.一种非接触式三维测量系统，其特征在于，包括：
标定装置、摄像装置、数据采集装置和数据处理装置，所述数据采集装置固定设置于所述摄像装置上；
所述标定装置用于标定所述摄像装置的内部参数；
所述摄像装置用于在不同位置环绕被测物体进行摄像，并获取影像数据；
所述数据采集装置用于采集所述摄像装置在对被测物体摄像过程中的惯性测量数据，所述惯性测量数据包括惯性测量转动角速度和惯性测量线性加速度；
所述数据处理装置用于对所述影像数据进行处理获得视觉位姿数据，所述视觉位姿数据包括所述摄像装置的视觉转动角速度和视觉线性加速度；并对所述视觉位姿数据和所述惯性测量数据进行处理，从而计算测量过程所获得视频的场景中被测物体任意两点的物理距离。
2.根据权利要求1所述的非接触式三维测量系统，其特征在于：
所述摄像装置通过所述标定装置进行内部参数标定，获取至少10幅图像数据，且每幅所述图像数据均包含所述标定装置。
3.根据权利要求1所述的非接触式三维测量系统，其特征在于：
所述摄像装置在不同位置环绕被测物体进行摄像时，获取至少20秒的影像数据。
4.根据权利要求1所述的非接触式三维测量系统，其特征在于，还包括：
数据检测装置；
所述数据检测装置用于检测所述摄像装置所获取的所述影像数据和所述数据采集装置所获取的惯性测量数据是否满足测量要求。
5.根据权利要求1所述的非接触式三维测量系统，其特征在于：
所述数据采集装置采集所述惯性测量数据的频率不低于50Hz；
所述摄像装置采集所述影像数据的分辨率不低于1280×720像素；
所述摄像装置采集所述影像数据的视频帧率不低于30Hz；
所述数据采集装置包括加速度计、陀螺仪和磁力计。
6.一种非接触式三维测量方法，其特征在于，包括如下步骤：
S0100：摄像装置标定步骤，获取标定过程中摄像装置的内部参数，并保持所述内部参数不变；
S0300：第一数据采集步骤，在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；
S0500：第二数据采集步骤，在第一时刻，所述摄像装置获取所述影像数据的同时，获取所述摄像装置在拍摄过程中的惯性测量数据，所述惯性测量数据包括惯性测量转动角速度和惯性测量线性加速度；
S0700：第一数据处理步骤，计算所述影像数据的各视频帧相对于所述摄像装置的视觉位姿数据，所述视觉位姿数据包括所述摄像装置的视觉转动角速度和视觉线性加速度；
S0900：第二数据处理步骤，对所述惯性测量数据和所述视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；
所述预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；
所述预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；
S1100：第三数据处理步骤，将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；
S1300：第四数据处理步骤，计算影像数据中被测物体任意两点之间的物理距离。
7.根据权利要求6所述的非接触式三维测量方法，其特征在于：
所述S0100：摄像装置标定步骤，获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，所述内部参数包括焦距、主点坐标和径向变形参数。
8.根据权利要求6所述的非接触式三维测量方法，其特征在于：
所述S0300：第一数据采集步骤，获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
9.根据权利要求6所述的非接触式三维测量方法，其特征在于：还包括设置于所述S0500：第二数据采集步骤之后的第一数据检测步骤；
S0610：第一数据检测步骤，检测所述第一数据采集步骤所获取的影像数据和所述第二数据采集步骤所获取的惯性测量数据是否符合测量要求；
所述测量要求包括第一测量要求和第二测量要求；
所述第一测量要求为：数据采集装置自身三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为
Figure FDA0002520491020000031
惯性测量线性加速度分别为
Figure FDA0002520491020000032
Figure FDA0002520491020000033
其中M为所述惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
Figure FDA0002520491020000034
且所述惯性测量转动角速度约束指标η1和所述惯性测量线性加速度约束指标η2满足：
Figure FDA0002520491020000035
所述第二测量要求为：将所述影像数据的分辨率的四分之一降采样获取降采样视频帧，计算相邻所述降采样视频帧之间的SIFT图像特征匹配数量，所述降采样视频帧之间的SIFT图像特征匹配数量不少于50个；
如满足所述测量要求则进入S0700：所述第一数据处理步骤，如不满足所述测量要求则返回所述S0300：第一数据采集步骤以进行重新测量。
10.根据权利要求6所述的非接触式三维测量方法，其特征在于：
所述S0700：第一数据处理步骤包括如下步骤：
S0710：矫正视频帧步骤，利用图像径向变形矫正方法对所述影像数据的各视频帧进行变形补偿，获得矫正视频帧；
S0720：匹配图像特征步骤，提取所述矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各所述矫正视频帧之间的特征点对应关系；
S0730：计算摄像装置相对位置及单位旋转四元数步骤，利用运动推断结构方法计算各所述矫正视频帧所对应的所述摄像装置的所述相对位置数据和所述摄像装置的所述单位旋转四元数；
S0740：视觉位姿数据计算步骤，对所述单位旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
11.根据权利要求10所述的非接触式三维测量方法，其特征在于：
所述S0900：第二数据处理步骤中：
所述预处理视觉转动角速度
Figure FDA0002520491020000041
和
Figure FDA0002520491020000042
为：
Figure FDA00025204910200000410
Figure FDA0002520491020000043
Figure FDA0002520491020000044
所述预处理视觉线性加速度
Figure FDA0002520491020000045
和
Figure FDA0002520491020000046
为：
Figure FDA0002520491020000047
Figure FDA0002520491020000048
Figure FDA0002520491020000049
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
Figure FDA0002520491020000051
其中，N为影像数据的视频帧数量；
所述预处理惯性测量转动角速度
Figure FDA0002520491020000052
和
Figure FDA0002520491020000053
为：
Figure FDA0002520491020000054
Figure FDA0002520491020000055
Figure FDA0002520491020000056
所述预处理惯性测量线性加速度
Figure FDA0002520491020000057
和
Figure FDA0002520491020000058
为：
Figure FDA0002520491020000059
Figure FDA00025204910200000510
Figure FDA00025204910200000511
其中，
Figure FDA00025204910200000512
其中M为惯性测量数据的数据采样点数量。
12.根据权利要求11所述的非接触式三维测量方法，其特征在于：
所述S1100：第三数据处理步骤包括：
S1110：角速度数值时间对齐步骤，利用黄金分割搜索方法搜索最佳时间偏移量
Figure FDA00025204910200000513
最佳旋转矩阵R*以及角速度固有内部偏差
Figure FDA00025204910200000514
目标函数定义为：
Figure FDA0002520491020000061
其中，角速度数值向量序列
Figure FDA0002520491020000062
Figure FDA0002520491020000063
Figure FDA0002520491020000064
间对齐；
S1120：线性加速度空间对齐步骤，利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
Figure FDA0002520491020000065
Figure FDA0002520491020000066
其中，线性加速度数值向量序列为：
Figure FDA0002520491020000067
Figure FDA0002520491020000068
从而完成空间对齐。
13.根据权利要求12所述的非接触式三维测量方法，其特征在于：
所述S1300：第四数据处理步骤包括如下步骤：
S1310：度量三维重建步骤，利用获得的所述视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；
S1320：选取测量点步骤，选取所述影像数据的任一所述视频帧中被测物体上的任意两点A和B，并找出所述三维点云模型中对应的A′和B′；
S1330：模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；
S1340：物理距离计算步骤，计算A和B之间的实际物理距离为：
Figure FDA0002520491020000069
14.一种非接触式三维测量装置，其特征在于，包括如下模块：
摄像装置标定模块，用于获取标定过程中摄像装置的内部参数，并保持所述内部参数不变；
第一数据采集模块，用于在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；
第二数据采集模块，用于在第一时刻，所述摄像装置获取所述影像数据的同时，获取所述摄像装置在拍摄过程中的惯性测量数据，所述惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；
第一数据处理模块，用于计算所述影像数据的各视频帧相对于所述摄像装置的视觉位姿数据，所述视觉位姿数据包括所述摄像装置的视觉转动角速度和视觉线性加速度；
第二数据处理模块，用于对所述惯性测量数据和所述视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；
所述预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；
所述预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；
第三数据处理模块，用于将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；
第四数据处理模块，用于计算所述影像数据中被测物体任意两点之间的物理距离。
15.根据权利要求14所述的非接触式三维测量装置，其特征在于：
所述摄像装置标定模块，用于获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，所述内部参数包括焦距、主点坐标和径向变形参数。
16.根据权利要求14所述的非接触式三维测量装置，其特征在于：
所述第一数据采集模块，用于获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
17.根据权利要求14所述的非接触式三维测量装置，其特征在于：
所述第二数据采集模块之后还连接有第一数据检测模块；
所述第一数据检测模块，用于检测所述第一数据采集模块所获取的影像数据和所述第二数据采集模块所获取的惯性测量数据是否符合测量要求；
所述测量要求包括第一测量要求和第二测量要求；
所述第一测量要求为：数据采集装置自身三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为
Figure FDA0002520491020000081
惯性测量线性加速度分别为
Figure FDA0002520491020000082
Figure FDA0002520491020000083
其中M为所述惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
Figure FDA0002520491020000084
且所述惯性测量转动角速度约束指标η1和所述惯性测量线性加速度约束指标η2满足：
Figure FDA0002520491020000085
所述第二测量要求为：将所述影像数据的分辨率的四分之一降采样获取降采样视频帧，计算相邻所述降采样视频帧之间的SIFT图像特征匹配数量，所述降采样视频帧之间的SIFT图像特征匹配数量不少于50个；
如满足所述测量要求则连接所述第一数据处理模块，如不满足所述测量要求则连接所述第一数据采集模块以进行重新测量。
18.根据权利要求14所述的非接触式三维测量装置，其特征在于：
所述第一数据处理模块包括如下模块：
矫正视频帧模块，用于利用图像径向变形矫正方法对所述影像数据的各视频帧进行变形补偿，获得矫正视频帧；
匹配图像特征模块，用于提取所述矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各所述矫正视频帧之间的特征点对应关系；
计算摄像装置相对位置及单位旋转四元数模块，用于利用运动推断结构方法计算各所述矫正视频帧所对应的所述摄像装置的所述相对位置数据和所述摄像装置的所述单位旋转四元数；
视觉位姿数据计算模块，用于对所述单位旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
19.根据权利要求18所述的非接触式三维测量装置，其特征在于：
所述第二数据处理模块中：
所述预处理视觉转动角速度
Figure FDA0002520491020000091
和
Figure FDA0002520491020000092
为：
Figure FDA0002520491020000093
Figure FDA0002520491020000094
Figure FDA0002520491020000095
所述预处理视觉线性加速度
Figure FDA0002520491020000096
和
Figure FDA0002520491020000097
为：
Figure FDA0002520491020000098
Figure FDA0002520491020000099
Figure FDA00025204910200000910
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
Figure FDA00025204910200000911
其中，N为影像数据的视频帧数量；
所述预处理惯性测量转动角速度
Figure FDA00025204910200000912
和
Figure FDA00025204910200000913
为：
Figure FDA00025204910200000914
Figure FDA00025204910200000915
Figure FDA00025204910200000916
所述预处理惯性测量线性加速度
Figure FDA0002520491020000101
和
Figure FDA0002520491020000102
为：
Figure FDA0002520491020000103
Figure FDA0002520491020000104
Figure FDA0002520491020000105
其中，
Figure FDA0002520491020000106
其中，M为惯性测量数据的数据采样点数量。
20.根据权利要求19所述的非接触式三维测量装置，其特征在于：
所述第三数据处理模块包括：
角速度数值时间对齐模块，用于利用黄金分割搜索方法搜索最佳时间偏移量
Figure FDA0002520491020000107
最佳旋转矩阵R*以及角速度固有内部偏差
Figure FDA0002520491020000108
目标函数定义为：
Figure FDA0002520491020000109
其中，角速度数值向量序列
Figure FDA00025204910200001010
Figure FDA00025204910200001011
Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；
线性加速度空间对齐模块，用于利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
Figure FDA00025204910200001012
Figure FDA00025204910200001013
其中，线性加速度数值向量序列为：
Figure FDA0002520491020000111
Figure FDA0002520491020000112
从而完成空间对齐。
21.根据权利要求20所述的非接触式三维测量装置，其特征在于：
所述第四数据处理模块包括如下模块：
度量三维重建模块，用于利用获得的所述视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；
选取测量点模块，用于选取所述影像数据的任一所述视频帧中被测物体上的任意两点A和B，并找出所述三维点云模型中对应的A′和B′；
模型距离计算模块，用于计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；
物理距离计算模块，用于计算A和B之间的实际物理距离为：
Figure FDA0002520491020000113
22.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求6-13中任一项所述的非接触式三维测量方法。
23.一种计算机可读存储介质，为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求6-13中任一项所述的非接触式三维测量方法。
CN201810212790.8A 2018-03-15 2018-03-15 非接触式三维测量系统、非接触式三维测量方法及测量装置 Active CN108413917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810212790.8A CN108413917B (zh) 2018-03-15 2018-03-15 非接触式三维测量系统、非接触式三维测量方法及测量装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810212790.8A CN108413917B (zh) 2018-03-15 2018-03-15 非接触式三维测量系统、非接触式三维测量方法及测量装置

Publications (2)

Publication Number Publication Date
CN108413917A CN108413917A (zh) 2018-08-17
CN108413917B true CN108413917B (zh) 2020-08-07

Family

ID=63131592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810212790.8A Active CN108413917B (zh) 2018-03-15 2018-03-15 非接触式三维测量系统、非接触式三维测量方法及测量装置

Country Status (1)

Country Link
CN (1) CN108413917B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111998870B (zh) * 2019-05-26 2022-08-26 北京魔门塔科技有限公司 一种相机惯导系统的标定方法和装置
CN110319772B (zh) * 2019-07-12 2020-12-15 上海电力大学 基于无人机的视觉大跨度测距方法
CN112414400B (zh) * 2019-08-21 2022-07-22 浙江商汤科技开发有限公司 一种信息处理方法、装置、电子设备和存储介质
CN110617813B (zh) * 2019-09-26 2021-06-08 中国科学院电子学研究所 单目视觉信息和imu信息相融合的尺度估计系统及方法
CN111489438A (zh) * 2020-04-09 2020-08-04 深圳趣途科技有限责任公司 重建三维模型方法、重建三维模型系统及计算机存储介质
CN111795894B (zh) * 2020-09-08 2020-12-08 四川轻化工大学 非接触式高分子塑料材料单轴拉伸大变形测量方法与系统
CN112288853B (zh) * 2020-10-29 2023-06-20 字节跳动有限公司 三维重建方法、三维重建装置、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157850A (ja) * 2002-11-07 2004-06-03 Olympus Corp 運動検出装置
CN1804541A (zh) * 2005-01-10 2006-07-19 北京航空航天大学 一种摄像机空间三维位置姿态测量方法
CN104424630A (zh) * 2013-08-20 2015-03-18 华为技术有限公司 三维重建方法及装置、移动终端
JP2016070674A (ja) * 2014-09-26 2016-05-09 富士通株式会社 ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム
CN106052584A (zh) * 2016-05-24 2016-10-26 上海工程技术大学 一种基于视觉及惯性信息融合的轨道空间线形测量方法
CN106123802A (zh) * 2016-06-13 2016-11-16 天津大学 一种自主流动式三维形貌测量方法
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置
CN107274453A (zh) * 2017-06-12 2017-10-20 哈尔滨理工大学 一种结合标定与校正的摄像机三维测量装置、系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157850A (ja) * 2002-11-07 2004-06-03 Olympus Corp 運動検出装置
CN1804541A (zh) * 2005-01-10 2006-07-19 北京航空航天大学 一种摄像机空间三维位置姿态测量方法
CN104424630A (zh) * 2013-08-20 2015-03-18 华为技术有限公司 三维重建方法及装置、移动终端
JP2016070674A (ja) * 2014-09-26 2016-05-09 富士通株式会社 ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム
CN106052584A (zh) * 2016-05-24 2016-10-26 上海工程技术大学 一种基于视觉及惯性信息融合的轨道空间线形测量方法
CN106123802A (zh) * 2016-06-13 2016-11-16 天津大学 一种自主流动式三维形貌测量方法
CN107274453A (zh) * 2017-06-12 2017-10-20 哈尔滨理工大学 一种结合标定与校正的摄像机三维测量装置、系统及方法
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置

Also Published As

Publication number Publication date
CN108413917A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108413917B (zh) 非接触式三维测量系统、非接触式三维测量方法及测量装置
CN105469405B (zh) 基于视觉测程的同时定位与地图构建方法
CN113379822B (zh) 一种基于采集设备位姿信息获取目标物3d信息的方法
US9733339B2 (en) Position and orientation calibration method and apparatus
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
CN103020952B (zh) 信息处理设备和信息处理方法
US10823552B2 (en) Method for the three dimensional measurement of moving objects during a known movement
JP6025830B2 (ja) ３ｄ走査用のセンサ位置決め
US20130230235A1 (en) Information processing apparatus and information processing method
JP3732335B2 (ja) 画像入力装置及び画像入力方法
JP6324025B2 (ja) 情報処理装置、情報処理方法
US11328478B2 (en) System and method for efficient 3D reconstruction of objects with telecentric line-scan cameras
WO2011105616A1 (en) Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium
JP2008298685A (ja) 計測装置及びプログラム
CN111307146B (zh) 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN107038753B (zh) 立体视觉三维重建系统及方法
Ye et al. An improved subpixel phase correlation method with application in videogrammetric monitoring of shaking table tests
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
CN111105467B (zh) 一种图像标定方法、装置及电子设备
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法
JP3512894B2 (ja) 相対的移動量算出装置及び相対的移動量算出方法
CN114266835A (zh) 一种非量测相机的变形监测控制方法与系统
CN113223163A (zh) 点云地图构建方法及装置、设备、存储介质
JP5409451B2 (ja) ３次元変化検出装置
CN114061738B (zh) 一种基于标定板位姿计算的风机塔筒基础环振动监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant