CN108413917A - 非接触式三维测量系统、非接触式三维测量方法及测量装置 - Google Patents
非接触式三维测量系统、非接触式三维测量方法及测量装置 Download PDFInfo
- Publication number
- CN108413917A CN108413917A CN201810212790.8A CN201810212790A CN108413917A CN 108413917 A CN108413917 A CN 108413917A CN 201810212790 A CN201810212790 A CN 201810212790A CN 108413917 A CN108413917 A CN 108413917A
- Authority
- CN
- China
- Prior art keywords
- data
- measurement
- angular velocity
- linear acceleration
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 301
- 238000000691 measurement method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 104
- 230000001133 acceleration Effects 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 79
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims description 106
- 238000007781 pre-processing Methods 0.000 claims description 76
- 238000009499 grossing Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 21
- 238000009795 derivation Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012952 Resampling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 239000000523 sample Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种非接触式三维测量系统、非接触式三维测量方法及测量装置，其中非接触式三维测量系统包括：标定装置、摄像装置、数据采集装置和数据处理装置，数据采集装置固设于摄像装置；标定装置用于标定摄像装置的内部参数；摄像装置用于在不同位置环绕被测物体进行摄像，并获取影像数据；数据采集装置用于采集摄像装置在对被测物体摄像过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；数据处理装置用于计算测量过程所获得视频的场景中被测物体任意两点的物理距离。本发明不需要在待测场景中嵌入额外标定物，也不需要添加额外辅助定位装置，具有使用便捷灵活、测量精度较高、适用范围广的特点。
Description
技术领域
本发明涉及电子信息处理技术领域，尤其涉及一种非接触式三维测量技术。
背景技术
物体物理三维尺寸数据获取方法大致可分为接触式测量和非接触式测量两类。一种典型的接触式测量工具是三坐标测量机，这种测量工具上安装有通过多自由度伺服装置控制的结构测量探针，通过伺服机械移动量获取探针基准点和测量点之间的距离。接触式测量具有较高的精度，但这种测量方式对待测物体的大小和形状有较大限制且测量效率较低，接触式测量工具成本也较高。
非接触式测量在不接触待测对象的情况下获得对象的三维尺寸数据。非接触测量又分为主动式测量和被动式测量两类。主动式测量向被测物体发射特定信号(如：可见光、激光、电磁波、声波等)，通过对返回信号进行分析来计算待测物体表面的三维空间位置进而完成三维测量。被动式测量被动接收待测物体所反射的环境光，通过分析待测物体的二维图像获得物体的三维尺寸数据。被动非接触式测量方法对待测物体形状和尺寸限制较少，且具有数据采集便捷、测量成本低、测量效率高等优势，但被动非接触式测量方法仅能获取待测对象的相对尺寸。被动非接触式测量方法主要采用在待测场景中嵌入已知尺寸标定物或通过辅助装置控制、记录相机位移两种手段来获得绝对物理尺寸信息。然而，这两种方式均会降低非接触式测量的灵活性，减小非接触式测量的适用范围。
发明内容
本发明旨在提供一种非接触式三维测量系统、非接触式三维测量方法及测量装置，通过分析计算惯性测量数据和视觉位姿数据的时空关系，获取被测物体的绝对物理尺寸数据，不需要在待测场景中嵌入额外标定物，也不需要添加额外辅助定位装置，具有使用便捷灵活、测量精度较高、适用范围广的特点。
第一方面，本发明公开了一种非接触式三维测量系统，包括：标定装置、摄像装置、数据采集装置和数据处理装置，数据采集装置固定设置于摄像装置上；标定装置用于标定摄像装置的内部参数；摄像装置用于在不同位置环绕被测物体进行摄像，并获取影像数据；数据采集装置用于采集摄像装置在对被测物体摄像过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；数据处理装置用于对影像数据进行处理获得视觉位姿数据，并对视觉位姿数据和惯性测量数据进行处理，从而计算测量过程所获得视频的场景中被测物体任意两点的物理距离。
本发明非接触式三维测量系统通过摄像装置和数据采集装置获取影像数据和惯性测量数据，并用过数据处理装置对影像数据进行处理，从而获得视觉位姿数据，进而通过分析计算惯性测量数据和视觉位姿数据的时空关系，从而获得被测物体的物理尺寸数据。故可不用在待测场景中嵌入标定物，使用方便、灵活，适用面广。
进一步地，上述非接触式三维测量系统中，摄像装置通过标定装置进行内部参数标定，获取至少10幅图像数据，且每幅图像数据均包含标定装置。
进一步地，上述非接触式三维测量系统中，摄像装置在不同位置环绕被测物体进行摄像时，获取至少20秒的影像数据。
进一步地，上述非接触式三维测量系统中还包括：数据检测装置；数据检测装置用于检测摄像装置所获取的影像数据是否满足测量要求。
进一步地，上述非接触式三维测量系统中，数据采集装置采集惯性测量数据的频率不低于50Hz；摄像装置采集影像数据的分辨率不低于1280×720像素；摄像装置采集影像数据的视频帧率不低于30Hz；数据采集装置包括加速度计、陀螺仪和磁力计。
第二方面，本发明还公开了一种非接触式三维测量方法，包括如下步骤：
摄像装置标定步骤，获取标定过程中摄像装置的内部参数，并保持内部参数不变；第一数据采集步骤，在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；第二数据采集步骤，在第一时刻，摄像装置获取影像数据的同时，获取摄像在拍摄过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；第一数据处理步骤，计算影像数据的各视频帧相对于摄像装置的视觉位姿数据，视觉位姿数据包括摄像装置的视觉转动角速度和视觉线性加速度；第二数据处理步骤，对惯性测量数据和视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；第三数据处理步骤，将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；第四数据处理步骤，计算影像数据中被测物体任意两点之间的物理距离。
本发明通过采集分析计算惯性测量数据和视觉位姿数据的时空关系，从而获得被测物体的物理尺寸数据。故可不用在待测场景中嵌入标定物，使用方便、灵活，适用面广。
进一步地，上述非接触式三维测量方法中的摄像装置标定步骤，获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，内部参数包括焦距、主点坐标和径向变形参数。
进一步地，上述非接触式三维测量方法中的第一数据采集步骤，获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
进一步地，上述非接触式三维测量方法还包括设置于第二数据采集步骤之后的第一数据检测步骤；第一数据检测步骤，检测第一数据采集步骤所获取的影像数据和第二数据采集步骤所获取的惯性测量数据是否符合测量要求；检测要求包括第一测量要求和第二测量要求；第一测量要求为：数据采集装置三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为 惯性测量线性加速度分别为其中M为惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
且惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2满足：
第二测量要求为：将影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻降采样视频帧之间的SIFT图像特征匹配数量，降采样视频帧之间的SIFT图像特征匹配数量不少于50个；如满足测量要求则进入第一数据处理步骤，如不满足测量要求则返回第一数据采集步骤以进行重新测量。
进一步地，上述非接触式三维测量方法中的第一数据处理步骤包括如下步骤：矫正视频帧步骤，利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧；匹配图像特征步骤，提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系；计算摄像装置相对位置及单位旋转四元数步骤，利用运动推断结构方法计算各矫正视频帧所对应的摄像装置的相对位置数据和摄像装置的单位旋转四元数；视觉位姿数据计算步骤，对单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对相对位置数据进行二次求导得出视觉线性加速度。
进一步地，上述非接触式三维测量方法中第二数据处理步骤中：预处理视觉转动角速度和为：
预处理视觉线性加速度和为：
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
预处理惯性测量转动角速度和为：
预处理惯性测量线性加速度和为：
其中，
进一步地，上述非接触式三维测量方法中的第三数据处理步骤包括：角速度数值时间对齐步骤，利用黄金分割搜索方法搜索最佳时间偏移量最佳旋转矩阵R*以及角速度固有内部偏差目标函数定义为：
其中，角速度数值向量序列 Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；线性加速度空间对齐步骤，利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
其中，线性加速度数值向量序列为： 从而完成空间对齐。
进一步地，上述非接触式三维测量方法，第四数据处理步骤包括如下步骤：度量三维重建步骤，利用获得的视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；选取测量点步骤，选取影像数据的任一视频帧中被测物体上的任意两点A和B，并找出三维点云模型中对应的A′和B′；模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；物理距离计算步骤，计算A和B之间的实际物理距离为：
进一步地，上述非接触式三维测量方法包括上述各数据处理步骤前还设置有数据平滑处理步骤；数据平滑处理步骤，利用移动平均法对上述各数据进行平滑处理。
第三方面，本发明还公开了一种非接触式三维测量装置，包括如下模块
摄像装置标定模块，用于获取标定过程中摄像装置的内部参数，并保持内部参数不变；第一数据采集模块，用于在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；第二数据采集模块，用于在第一时刻，摄像装置获取影像数据的同时，获取摄像在拍摄过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；第一数据处理模块，用于计算影像数据的各视频帧相对于摄像装置的视觉位姿数据，视觉位姿数据包括摄像装置的视觉转动角速度和视觉线性加速度；第二数据处理模块，用于对惯性测量数据和视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；第三数据处理模块，将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；第四数据处理模块，用于计算影像数据中被测物体任意两点之间的物理距离。
本发明通过采集分析计算惯性测量数据和视觉位姿数据的时空关系，从而获得被测物体的物理尺寸数据。故可不用在待测场景中嵌入标定物，使用方便、灵活，适用面广。
进一步的，上述非接触式三维测量装置中摄像装置标定模块，用于获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，内部参数包括焦距、主点坐标和径向变形参数。
进一步的，上述非接触式三维测量装置中第一数据采集模块，用于获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
进一步的，上述非接触式三维测量装置中第二数据采集模块之后还连接有第一数据检测模块；第一数据检测模块，用于检测第一数据采集模块所获取的影像数据和第二数据采集模块所获取的惯性测量数据是否符合测量要求；检测要求包括第一测量要求和第二测量要求；第一测量要求为：数据采集装置三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为 惯性测量线性加速度分别为其中M为惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
且惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2满足：
第二测量要求为：将影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻降采样视频帧之间的SIFT图像特征匹配数量，降采样视频帧之间的SIFT图像特征匹配数量不少于50个；如满足测量要求则连接第一数据处理模块，如不满足测量要求则连接第一数据采集模块以进行重新测量。
进一步的，上述非接触式三维测量装置中第一数据处理模块包括如下模块：矫正视频帧模块，用于利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧；匹配图像特征模块，用于提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系；计算摄像装置相对位置及单位旋转四元数模块，用于利用运动推断结构方法计算各矫正视频帧所对应的摄像装置的相对位置数据和摄像装置的单位旋转四元数；视觉位姿数据计算模块，对所述单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
进一步的，上述非接触式三维测量装置中第二数据处理模块中：
预处理视觉转动角速度和为：
预处理视觉线性加速度和为：
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
预处理惯性测量转动角速度和为：
预处理惯性测量线性加速度和为：
其中，
进一步的，上述非接触式三维测量装置中第三数据处理模块包括：
角速度数值时间对齐模块，用于利用黄金分割搜索方法搜索最佳时间偏移量最佳旋转矩阵R*以及角速度固有内部偏差目标函数定义为：
其中，角速度数值向量序列 Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；
线性加速度空间对齐模块，用于利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
其中，线性加速度数值向量序列为： 从而完成空间对齐。
进一步的，上述非接触式三维测量装置中第四数据处理模块包括如下模块：度量三维重建模块，用于利用获得的视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；选取测量点步骤，选取影像数据的任一视频帧中被测物体上的任意两点A和B，并找出三维点云模型中对应的A′和B′；模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；物理距离计算步骤，计算A和B之间的实际物理距离为：
进一步的，上述非接触式三维测量装置中的上述各数据处理模块前还连接有数据平滑处理模块；数据平滑处理模块，用于利用移动平均法对上述各数据进行平滑处理。
第四方面，本发明还公开了一种计算机设备，包括存储器、处理器和存储在存储器内并能由处理器运行的计算机程序，其中，处理器执行计算机程序时实现如上述任一项的非接触式三维测量方法。
第五方面本发明还公开了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，计算机程序在由处理器执行时实现如上述任一项的非接触式三维测量方法。
附图说明
图1是本发明非接触式三维测量方法的步骤流程图；
图2是本发明非接触式三维测量模块的结构框图；
图3是本发明实施例的视频帧样例及视觉位姿重建结果示意图；
图4是本发明实施例的角速度序列对齐前、部分对齐、对齐后结果对比图；
图5是本发明实施例的线性加速度空间对齐前后对比图；
图6是本发明实施例的交互测量实例示意图；
图7是本发明实施例的百分比相对测量误差随均值采样数据点数量的变化示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
第一方面，本发明还提供了一种非接触式三维测量系统的实施例。
本实施例非接触式三维测量系统包括：标定装置、摄像装置、数据采集装置和数据处理装置，数据采集装置固定设置于摄像装置上；标定装置用于标定摄像装置的内部参数；摄像装置用于在不同位置环绕被测物体进行摄像，并获取影像数据；数据采集装置用于采集摄像装置在对被测物体摄像过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；数据处理装置用于对影像数据进行处理获得视觉位姿数据，并对视觉位姿数据和惯性测量数据进行处理，从而计算测量过程所获得视频的场景中被测物体任意两点的物理距离。
通常情况下，标定装置为棋盘格标定板，摄像装置为摄像头，数据采集装置包括加速度计、陀螺仪和磁力计。通过摄像头在不同方位对棋盘格标定板拍摄不少于10幅图像，每幅图像都能完整观察到棋盘格标定板，并固定摄像头的内部参数。然后用摄像头环绕被测物体拍摄一组不少于20秒的视频数据，即影像数据。同时固定设置在摄像头上的数据采集装置，可以采集到惯性测量数据。为了提高测量结果，本实施例还包括：用于检测摄像装置所获取的影像数据是否满足测量要求的数据检测装置。
本实施例的数据采集装置采集惯性测量数据的频率不低于50Hz；摄像装置采集影像数据的分辨率不低于1280×720像素；摄像装置采集影像数据的视频帧率不低于30Hz。
第二方面，本发明还提供了一种非接触式三维测量方法的实施例。
参考图1，图1示出了该实施例的步骤流程图，包括：
S0100：摄像装置标定步骤，获取标定过程中摄像装置的内部参数，并保持内部参数不变；获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，内部参数包括焦距、主点坐标和径向变形参数。
S0300：第一数据采集步骤，在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
S0500：第二数据采集步骤，在第一时刻，摄像装置获取影像数据的同时，获取摄像在拍摄过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；
S0610：第一数据检测步骤，检测第一数据采集步骤所获取的影像数据和第二数据采集步骤所获取的惯性测量数据是否符合测量要求；
检测要求包括第一测量要求和第二测量要求；
第一测量要求为：数据采集装置三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为惯性测量线性加速度分别为其中M为惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
且惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2满足：
第二测量要求为：将影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻降采样视频帧之间的SIFT图像特征匹配数量，降采样视频帧之间的SIFT图像特征匹配数量不少于50个；
如满足测量要求则进入S0700：第一数据处理步骤，如不满足测量要求则返回S0300：第一数据采集步骤以进行重新测量。
S0700：第一数据处理步骤，计算影像数据的各视频帧相对于摄像装置的视觉位姿数据，视觉位姿数据包括摄像装置的视觉转动角速度和视觉线性加速度；
S0700：第一数据处理步骤具体包括如下步骤：
S0710：矫正视频帧步骤，利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧；
S0720：匹配图像特征步骤，提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系；
S0730：计算摄像装置相对位置及单位旋转四元数步骤，利用运动推断结构方法计算各矫正视频帧所对应的摄像装置的相对位置数据和摄像装置的单位旋转四元数；
S0740：视觉位姿数据计算步骤，对所述单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
S0900：第二数据处理步骤，对惯性测量数据和视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；
预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；
预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；
预处理视觉转动角速度和为：
预处理视觉线性加速度和为：
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
预处理惯性测量转动角速度和为：
预处理惯性测量线性加速度和为：
其中，
S1100：第三数据处理步骤，将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；
S1100：第三数据处理步骤具体包括如下步骤：
S1110：角速度数值时间对齐步骤，利用黄金分割搜索方法搜索最佳时间偏移量最佳旋转矩阵R*以及角速度固有内部偏差目标函数定义为：
其中，角速度数值向量序列 Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；
S1120：线性加速度空间对齐步骤，利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
其中，线性加速度数值向量序列为： 从而完成空间对齐。
S1300：第四数据处理步骤，计算影像数据中被测物体任意两点之间的物理距离。
S1310：度量三维重建步骤，利用获得的视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；
S1320：选取测量点步骤，选取测量点步骤，选取影像数据的任一视频帧中被测物体上的任意两点A和B，并找出三维点云模型中对应的A′和B′；
S1330：模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；
S1340：物理距离计算步骤，计算A和B之间的实际物理距离为：
上述各数据处理步骤前还设置有数据平滑处理步骤；
数据平滑处理步骤，利用移动平均法对上述各数据进行平滑处理。
第三方面，本发明还提供了一种非接触式三维测量装置的实施例。
参考图2，图2示出了该实施例的结构框图，包括：
摄像装置标定模块，用于获取标定过程中摄像装置的内部参数，并保持内部参数不变；第一数据采集模块，用于在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；第二数据采集模块，用于在第一时刻，摄像装置获取影像数据的同时，获取摄像在拍摄过程中的惯性测量数据，惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；第一数据处理模块，用于计算影像数据的各视频帧相对于摄像装置的视觉位姿数据，视觉位姿数据包括摄像装置的视觉转动角速度和视觉线性加速度；第二数据处理模块，用于对惯性测量数据和视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；第三数据处理模块，用于将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；第四数据处理模块，用于计算影像数据中被测物体任意两点之间的物理距离。
进一步的，上述非接触式三维测量装置中摄像装置标定模块，用于获取至少10幅摄像装置所拍摄的包含标定装置的图像数据，内部参数包括焦距、主点坐标和径向变形参数。
进一步的，上述非接触式三维测量装置中第一数据采集模块，用于获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
进一步的，上述非接触式三维测量装置中第二数据采集模块之后还连接有第一数据检测模块；第一数据检测模块，用于检测第一数据采集模块所获取的影像数据和第二数据采集模块所获取的惯性测量数据是否符合测量要求；如满足测量要求则连接第一数据处理模块，如不满足测量要求则连接第一数据采集模块以进行重新测量。
进一步的，上述非接触式三维测量装置中第一数据处理模块包括如下模块：矫正视频帧模块，用于利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧；匹配图像特征模块，用于提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系；计算摄像装置相对位置及单位旋转四元数模块，用于利用运动推断结构方法计算各矫正视频帧所对应的摄像装置的相对位置数据和摄像装置的单位旋转四元数；视觉位姿数据计算模块，对所述单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度，并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
进一步的，上述非接触式三维测量装置中第三数据处理模块包括：角速度数值时间对齐模块和线性加速度空间对齐模块。
进一步的，上述非接触式三维测量装置中第四数据处理模块包括如下模块：度量三维重建模块，用于利用获得的视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；选取测量点步骤，选取影像数据的任一视频帧中被测物体上的任意两点A和B，并找出三维点云模型中对应的A′和B′；模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；物理距离计算步骤，计算A和B之间的实际物理距离为：
进一步的，上述非接触式三维测量装置中的上述各数据处理模块前还连接有数据平滑处理模块；数据平滑处理模块，用于利用移动平均法对上述各数据进行平滑处理。
第四方面，本发明还公开了一种计算机设备实施例，包括存储器、处理器和存储在存储器内并能由处理器运行的计算机程序，其中，处理器执行计算机程序时实现如上述任一项的非接触式三维测量方法。
第五方面本发明还公开了一种计算机可读存储介质实施例，为非易失性可读存储介质，其内存储有计算机程序，计算机程序在由处理器执行时实现如上述任一项的非接触式三维测量方法。
下面结合图1对本实施例非接触式三维测量系统、非接触式三维测量方法和非接触式三维测量装置的工作原理进行详细说明。
本实施例中，利用标定装置对摄像装置的内部参数进行标定，通常情况下标定装置为棋盘标定板，将摄像装置从不同拍摄棋盘标定板获得一组图像数据，并且每幅图像数据均能完整观察到标定板，为了更为准确地标定摄像装置的内部参数，需要获得至少10幅图像数据。摄像装置的内部参考包括焦距f＝(fx,fy)T，主点坐标c＝(cx,cy)T以及径向变形参数k＝(k0,k1,k2,k3,k4)T。图像平面坐标系定义为：图像中心点位原点，水平向右为x轴正向，垂直向下为y轴正方向。摄像装置标定的具体方法可以采用张正友标定法，由于张正友标定法为本领域现有技术，故此处不再赘述。完成标定后摄像装置内部参数固定不变，因此对于同一摄像装置上述标定数据可重复用于多次测量。
利用摄像装置环绕被测物体拍摄并获取影像数据，为了测量更为准确，获取不短于20秒的影像数据，并且各视频帧均能完整观察到被测物体，在拍摄过程中焦距大小不发生变化。同时通过数据采集装置获取摄像装置在拍摄过程中的惯性测量数据，通常情况下，数据采集装置固定设置在摄像装置上，两者在拍摄过程中不发生相对运动。惯性测量数据包括：数据采集装置相对于自身三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为 以及惯性测量线性加速度分别为其中M为传感器数据采样点数量。由于在获取影像数据过程中，可能会出现获取数据不符合要求的情况，导致后续计算结果存在较大误差，甚至可能无法完成计算，为了提高测量效率，在获取影像数据后，需要对该数据进行测量要求检查，具体测量要求包括第一测量要求和第二测量要求，第一测量要求为：数据采集装置自身三个轴Ximu、Yimu、Zimu的角速度分别为 惯性测量线性加速度分别为 其中M为惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
且惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2满足：
如果满足第一测量要求，则继续检查是否满足第二测量要求。第二测量要求为：将影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻降采样视频帧之间的SIFT图像特征匹配数量，降采样视频帧之间的SIFT图像特征匹配数量不少于50个。第一测量要求和第二测量要求如果有一个不满足则需要重新获取影像数据，如果均满足则可进入下一步。
在获取了影像数据后，需要获取视觉位姿数据，即视觉转动角速度和视觉线性加速度。首先利用图像径向变形矫正方法对影像数据的各视频帧进行变形补偿，获得矫正视频帧，再提取矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各矫正视频帧之间的特征点对应关系，接着利用运动推断结构方法获得影像数据的各视频帧所对应的设置摄像装置的位置t以及摄像装置的单位旋转四元数，运动推断结构方法为现有技术，故此处也不再赘述。若影像数据的视频帧数量为N，则所有视频帧的摄像装置的位置为{tj＝(xj,yj,zj)T|j＝1,2,3,…,N}和摄像装置的旋转四元数为{qj＝(q0,q1,q2,q3)|j＝1,2,3,…,N}。接下来将摄像装置的旋转四元数{qj}转换为关于摄像装置自身坐标轴Xcam、Ycam、Zcam的离散角度数据(j＝1,2,3,…,N)，计算公式如下：
由于在测量过程中会存在测量噪声，所以为了提高测量精度，可利用移动平均法对离散角度数据进行平滑处理，移动平均法为现有技术，故此处不再赘述。均值采样数据点数量的取值范围为rcam/5～rcam/4，其中，rcam为视频数据帧率。然后对角度数据求导，便可得出相对于坐标轴Xcam、Ycam、Zcam的视觉转动角速度和同样的，为了提高测量精度，也利用均值采样数据点数量的移动平均法对视觉转动角速度和进行平滑处理。
接着，对摄像装置的位置数据{tj＝(xj,yj,zj)T|j＝1,2,3,…,N}进行求导，可以得到相对于坐标轴Xcam、Ycam、Zcam的视觉线性速度数据，例如相对于坐标轴Xcam的视觉线性速度再对该视觉线性速度进行求导，可以得出视觉线性加速度按照该方法可以得出摄像装置相对于坐标轴Xcam、Ycam、Zcam的视觉线性加速度和同样的，为了提高测量精度，利用移动平均法对摄像装置的位置数据和求导后的视觉线性速度进行平滑处理，均值采样数据点数量取的取值范围是1.5rcam～2rcam。
在获得了视觉位姿数据后，需要按照相邻点采取相同的时间间隔进行重采样和拉伸得出预处理视觉位姿数据，以避免获得错误的测量结果。例如对相对于坐标轴Xcam的视觉转动角速度进行重采样和拉伸得出预处理视觉转动角速度计算公式为：
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
采用类似的方法，便可完成相对于坐标轴Ycam和Zcam的预处理视觉转动角速度和
相对于坐标轴Xcam、Ycam、Zcam的视觉线性加速度和也需要进行重采样和拉伸，于是按照上述相同的方法，可以计算出相对于坐标轴Xcam的预处理惯性测量线性加速度计算公式为：
采用类似的方法，便可完成相对于坐标轴Ycam和Zcam的预处理视觉线性加速度和
惯性测量数据同样需要按照相邻点采取相同的时间间隔进行重采样和拉伸得出预处理惯性测量数据，以避免获得错误的测量结果。例如利用移动平均法对惯性测量单元相对于坐标轴Ximu的惯性测量转动角速度为为了提高测量精度，可利用移动平均法对进行平滑处理，均值采样数据点数量的取值范围为rimu/5～rimu/4，得出预处理惯性测量转动角速度计算公式为：
其中，
采用类似的方法，便可完成相对于坐标轴Yimu和Zimu的预处理惯性测量转动角速度和
下面接着对相对于坐标轴Ximu、Yimu、Zimu的惯性测量线性加速度 和进行预处理。例如相对于坐标轴Ximu的惯性测量线性加速度为了提高测量精度，可利用移动平均法对相对于坐标轴Ximu的惯性测量线性加速度进行平滑处理，均值采样数据点数量的取值范围为1.5rimu～2rimu。对惯性测量线性加速度进行重采样和拉伸计算的预处理惯性测量线性加速度计算公式为：
采用类似的方法，便可完成相对于坐标轴Yimu和Zimu的预处理惯性测量线性加速度和
于是一共得到了基于坐标轴Xcam、Ycam和Zcam的预处理视觉转动角速度和以及预处理视觉线性加速度和(k＝1,2,…,rN/rcam)。还有相对于基于坐标轴Ximu、Yimu和Zimu的预处理惯性测量转动角速度和以及预处理惯性测量线性加速度 和(l＝1,2,…,rM/rimu)。
由于影像数据和惯性测量数据在时间上可能存在偏移，因此需要时间对齐。首先基于角速度数值序列进行时间对齐，利用黄金分割搜索方法搜索最佳时间偏移量最佳旋转矩阵R*以及角速度固有内部偏差目标函数定义为：
其中，角速度数值向量序列在黄金分割搜索中，Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，对于给定的Nt采用最佳绝对位姿估计算法(即ABO算法)计算最佳旋转矩阵、角速度内部偏差、以及u(Nt)的最小值，最佳绝对位姿估计算法为现有技术，故此处不再赘述。
接着对线性加速度进行空间对齐，利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
其中，线性加速度数值向量序列为：
完成空间对齐之后，进行度量三维重建。首先在获得视觉位姿数据的基础上，基于图像的稠密三维点云重建方法(如：PMVS方法)构建待测量物体的稠密三维点云模型，由于图像的稠密三维点云重建方法为现有技术，故此处不再赘述。接着利用鼠标在任意视频帧中交互式选取被测物体的对象点A、B，以及在三维稠密点云模型中对应的A′和B′，然后根据三维点的坐标可以计算得出A′和B′之间的距离dcam＝|A′B′|，则两个测量点之间的实际物理距离测量结果为：
若真实长度为d，则百分比相对误差计算公式为：
下面示出一测量实例，本测量实例的实验结果所采用的影像视频数据的分辨率为1280×720像素，视频帧率为30Hz，影像数据的录制时间为23秒，惯性测量数据采样频率为50Hz。参考图3，获取相关数据后，并进行相应处理，图3(a)为视频数据帧样例，图3(b)和图3(c)为运动推断结构方法重建的视觉位姿数据以及三维稀疏点云的两个视角的可视化结果，接着参考图4，对角速度数值序列进行时间对齐，其中图4(a)为对齐前的角速度对比，图4(b)为旋转对齐、时间不对齐的角速度对比，图4(c)为旋转对齐和时间对齐后的角速度对比。该实例中，接着参考图5，对线性加速度进行空间对齐，其中，图5(a)为对齐前的线性加速度对比，图5(b)为对齐后的角速度对比。该实例中，完成度量三维重建后，参考图6，在图6(a)中选取对象点A、B，以及在图6(b)三维稠密点云模型中对应的A′和B′，从而可以获得本实例中对象点之间的物理距离，本实例中dcam＝0.751826，测量距离为实际长度为0.17米，相对测量误差为2.93％。参考图7，本发明方法在上述数据上的百分比相对测量误差随均值采样数据点数量的变化情况。图7(a)显示采样点数量从5到200之间的结果，图7(b)显示采样点数量从60到100的结果。从实验结果可知，的取值范围为1.2rimu～2rimu的情况下，测量误差小于4％。
如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。
Claims (25)
1.一种非接触式三维测量系统，其特征在于，包括：
标定装置、摄像装置、数据采集装置和数据处理装置，所述数据采集装置固定设置于所述摄像装置上；
所述标定装置用于标定所述摄像装置的内部参数；
所述摄像装置用于在不同位置环绕被测物体进行摄像，并获取影像数据；
所述数据采集装置用于采集所述摄像装置在对被测物体摄像过程中的惯性测量数据，所述惯性测量数据包括惯性测量转动角速度和惯性测量线性加速度；
所述数据处理装置用于对所述影像数据进行处理获得视觉位姿数据，并对所述视觉位姿数据和所述惯性测量数据进行处理，从而计算测量过程所获得视频的场景中被测物体任意两点的物理距离。
2.根据权利要求1所述的非接触式三维测量系统，其特征在于：
所述摄像装置通过所述标定装置进行内部参数标定，获取至少10幅图像数据，且每幅所述图像数据均包含所述标定装置。
3.根据权利要求1所述的非接触式三维测量系统，其特征在于：
所述摄像装置在不同位置环绕被测物体进行摄像时，获取至少20秒的影像数据。
4.根据权利要求1所述的非接触式三维测量系统，其特征在于，还包括：
数据检测装置；
所述数据检测装置用于检测所述摄像装置所获取的所述影像数据和所述数据采集装置所获取的惯性测量数据是否满足测量要求。
5.根据权利要求1所述的非接触式三维测量系统，其特征在于：
所述数据采集装置采集所述惯性测量数据的频率不低于50Hz；
所述摄像装置采集所述影像数据的分辨率不低于1280×720像素；
所述摄像装置采集所述影像数据的视频帧率不低于30Hz；
所述数据采集装置包括加速度计、陀螺仪和磁力计。
6.一种非接触式三维测量方法，其特征在于，包括如下步骤：
S0100：摄像装置标定步骤，获取标定过程中摄像装置的内部参数，并保持所述内部参数不变；
S0300：第一数据采集步骤，在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；
S0500：第二数据采集步骤，在第一时刻，所述摄像装置获取所述影像数据的同时，获取所述摄像在拍摄过程中的惯性测量数据，所述惯性测量数据包括惯性测量转动角速度和惯性测量线性加速度；
S0700：第一数据处理步骤，计算所述影像数据的各视频帧相对于所述摄像装置的视觉位姿数据，所述视觉位姿数据包括所述摄像装置的视觉转动角速度和视觉线性加速度；
S0900：第二数据处理步骤，对所述惯性测量数据和所述视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；
所述预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；
所述预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；
S1100：第三数据处理步骤，将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；
S1300：第四数据处理步骤，计算影像数据中被测物体任意两点之间的物理距离。
7.根据权利要求6所述的非接触式三维测量方法，其特征在于：
所述S0100：摄像装置标定步骤，获取至少10幅摄像装置所拍摄的包含所述标定装置的图像数据，所述内部参数包括焦距、主点坐标和径向变形参数。
8.根据权利要求6所述的非接触式三维测量方法，其特征在于：
所述S0300：第一数据采集步骤，获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
9.根据权利要求6所述的非接触式三维测量方法，其特征在于：还包括设置于所述S0500：第二数据采集步骤之后的第一数据检测步骤；
S0610：第一数据检测步骤，检测所述第一数据采集步骤所获取的影像数据和所述第二数据采集步骤所获取的惯性测量数据是否符合测量要求；
所述检测要求包括第一测量要求和第二测量要求；
所述第一测量要求为：所述数据采集装置自身三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为 惯性测量线性加速度分别为 其中M为所述惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
且所述惯性测量转动角速度约束指标η1和所述惯性测量线性加速度约束指标η2满足：
所述第二测量要求为：将所述影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻所述降采样视频帧之间的SIFT图像特征匹配数量，所述降采样视频帧之间的SIFT图像特征匹配数量不少于50个；
如满足所述测量要求则进入S0700：所述第一数据处理步骤，如不满足所述测量要求则返回所述S0300：第一数据采集步骤以进行重新测量。
10.根据权利要求6所述的非接触式三维测量方法，其特征在于：
所述S0700：第一数据处理步骤包括如下步骤：
S0710：矫正视频帧步骤，利用图像径向变形矫正方法对所述影像数据的各视频帧进行变形补偿，获得矫正视频帧；
S0720：匹配图像特征步骤，提取所述矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各所述矫正视频帧之间的特征点对应关系；
S0730：计算摄像装置相对位置及单位旋转四元数步骤，利用运动推断结构方法计算各所述矫正视频帧所对应的所述摄像装置的所述相对位置数据和所述摄像装置的所述单位旋转四元数；
S0740：视觉位姿数据计算步骤，对所述单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
11.根据权利要求10所述的非接触式三维测量方法，其特征在于：
所述S0900：第二数据处理步骤中：
所述预处理视觉转动角速度和为：
所述预处理视觉线性加速度和为：
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
所述预处理惯性测量转动角速度和为：
所述预处理惯性测量线性加速度和为：
其中，
12.根据权利要求11所述的非接触式三维测量方法，其特征在于：
所述S1100：第三数据处理步骤包括：
S1110：角速度数值时间对齐步骤，利用黄金分割搜索方法搜索最佳时间偏移量最佳旋转矩阵R*以及角速度固有内部偏差目标函数定义为：
其中，角速度数值向量序列 Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；
S1120：线性加速度空间对齐步骤，利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
其中，线性加速度数值向量序列为： 从而完成空间对齐。
13.根据权利要求12所述的非接触式三维测量方法，其特征在于：
所述S1300：第四数据处理步骤包括如下步骤：
S1310：度量三维重建步骤，利用获得的所述视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；
S1320：选取测量点步骤，选取所述影像数据的任一所述视频帧中被测物体上的任意两点A和B，并找出所述三维点云模型中对应的A′和B′；
S1330：模型距离计算步骤，计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；
S1340：物理距离计算步骤，计算A和B之间的实际物理距离为：
14.根据权利要求6-13任一所述的非接触式三维测量方法，其特征在于：
上述各数据处理步骤前还设置有数据平滑处理步骤；
数据平滑处理步骤，利用移动平均法对上述各数据进行平滑处理。
15.一种非接触式三维测量装置，其特征在于，包括如下模块：
摄像装置标定模块，用于获取标定过程中摄像装置的内部参数，并保持所述内部参数不变；
第一数据采集模块，用于在第一时刻，获取摄像装置在不同位置环绕被测物体所拍摄的影像数据；
第二数据采集模块，用于在第一时刻，所述摄像装置获取所述影像数据的同时，获取所述摄像在拍摄过程中的惯性测量数据，所述惯性测量数据包括三轴的惯性测量转动角速度和三轴的惯性测量线性加速度；
第一数据处理模块，用于计算所述影像数据的各视频帧相对于所述摄像装置的视觉位姿数据，所述视觉位姿数据包括所述摄像装置的视觉转动角速度和视觉线性加速度；
第二数据处理模块，用于对所述惯性测量数据和所述视觉位姿数据分别按照相邻点采取相同的时间间隔重采样并拉伸得出预处理惯性测量数据和预处理视觉位姿数据；
所述预处理惯性测量数据包括预处理惯性测量转动角速度和预处理惯性测量线性加速度；
所述预处理视觉位姿数据包括预处理视觉转动角速度和预处理视觉线性加速度；
第三数据处理模块，用于将所述预处理视觉转动角速度和所述预处理惯性测量转动角速度按照采样的时间顺序对齐，然后根据时间对齐结果将所述预处理视觉线性加速度和所述预处理惯性测量线性加速度空间对齐；
第四数据处理模块，用于计算所述影像数据中被测物体任意两点之间的物理距离。
16.根据权利要求15所述的非接触式三维测量装置，其特征在于：
所述摄像装置标定模块，用于获取至少10幅摄像装置所拍摄的包含所述标定装置的图像数据，所述内部参数包括焦距、主点坐标和径向变形参数。
17.根据权利要求15所述的非接触式三维测量装置，其特征在于：
所述第一数据采集模块，用于获取至少20秒摄像装置环绕被测物体所拍摄的影像数据。
18.根据权利要求15所述的非接触式三维测量装置，其特征在于：
所述第二数据采集模块之后还连接有第一数据检测模块；
所述第一数据检测模块，用于检测所述第一数据采集模块所获取的影像数据和所述第二数据采集模块所获取的惯性测量数据是否符合测量要求；
所述检测要求包括第一测量要求和第二测量要求；
所述第一测量要求为：所述数据采集装置自身三个轴Ximu、Yimu、Zimu的惯性测量转动角速度分别为 惯性测量线性加速度分别为 其中M为所述惯性测量数据的数据采样点数量,则所述数据采集装置的惯性测量转动角速度约束指标η1和惯性测量线性加速度约束指标η2分别为：
且所述惯性测量转动角速度约束指标η1和所述惯性测量线性加速度约束指标η2满足：
所述第二测量要求为：将所述影像数据分辨率的四分之一降采样获取降采样视频帧，计算相邻所述降采样视频帧之间的SIFT图像特征匹配数量，所述降采样视频帧之间的SIFT图像特征匹配数量不少于50个；
如满足所述测量要求则连接所述第一数据处理模块，如不满足所述测量要求则连接所述第一数据采集模块以进行重新测量。
19.根据权利要求15所述的非接触式三维测量装置，其特征在于：
所述第一数据处理模块包括如下模块：
矫正视频帧模块，用于利用图像径向变形矫正方法对所述影像数据的各视频帧进行变形补偿，获得矫正视频帧；
匹配图像特征模块，用于提取所述矫正视频帧的SIFT图像特征，并利用SIFT特征匹配方法计算各所述矫正视频帧之间的特征点对应关系；
计算摄像装置相对位置及单位旋转四元数模块，用于利用运动推断结构方法计算各所述矫正视频帧所对应的所述摄像装置的所述相对位置数据和所述摄像装置的所述单位旋转四元数；
视觉位姿数据计算模块，用于对所述单元旋转四元数转换为离散角度数据，并求导得出所述视觉转动角速度；并对所述相对位置数据进行二次求导得出所述视觉线性加速度。
20.根据权利要求19所述的非接触式三维测量装置，其特征在于：
所述第二数据处理模块中：
所述预处理视觉转动角速度和为：
所述预处理视觉线性加速度和为：
其中，rcam为视频数据帧率，rimu为惯性测量单元数据帧率，r为rcam和rimu的最小公倍数，且
所述预处理惯性测量转动角速度和为：
所述预处理惯性测量线性加速度和为：
其中，
21.根据权利要求20所述的非接触式三维测量装置，其特征在于：
所述第三数据处理模块包括：
角速度数值时间对齐模块，用于利用黄金分割搜索方法搜索最佳时间偏移量最佳旋转矩阵R*以及角速度固有内部偏差目标函数定义为：
其中，角速度数值向量序列 Nt的搜索范围限定为[0,rM/rimu-rN/rcam]，从而完成时间对齐；
线性加速度空间对齐模块，用于利用奇异值分解方法求解如下线性最小二乘优化问题，获取绝对尺度τ*和线性加速度固有内部偏差
其中，线性加速度数值向量序列为： 从而完成空间对齐。
22.根据权利要求21所述的非接触式三维测量装置，其特征在于：
所述第四数据处理模块包括如下模块：
度量三维重建模块，用于利用获得的所述视觉位姿数据的基础上，基于图像的稠密三维点云重建方法，构建被测物体的三维点云模型；
选取测量点模块，用于选取所述影像数据的任一所述视频帧中被测物体上的任意两点A和B，并找出所述三维点云模型中对应的A′和B′；
模型距离计算模块，用于计算三维点云模型中的A′和B′之间的距离为：dcam＝|A′B′|；
物理距离计算模块，用于计算A和B之间的实际物理距离为：
23.根据权利要求15-22任一所述的非接触式三维测量装置，其特征在于：
上述各数据处理模块前还连接有数据平滑处理模块；
数据平滑处理模块，用于利用移动平均法对上述各数据进行平滑处理。
24.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求6-14中任一项所述的方法。
25.一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求6-14中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810212790.8A CN108413917B (zh) | 2018-03-15 | 2018-03-15 | 非接触式三维测量系统、非接触式三维测量方法及测量装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810212790.8A CN108413917B (zh) | 2018-03-15 | 2018-03-15 | 非接触式三维测量系统、非接触式三维测量方法及测量装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108413917A true CN108413917A (zh) | 2018-08-17 |
| CN108413917B CN108413917B (zh) | 2020-08-07 |
Family
ID=63131592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810212790.8A Active CN108413917B (zh) | 2018-03-15 | 2018-03-15 | 非接触式三维测量系统、非接触式三维测量方法及测量装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108413917B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110319772A (zh) * | 2019-07-12 | 2019-10-11 | 上海电力大学 | 基于无人机的视觉大跨度测距方法 |
| CN110617813A (zh) * | 2019-09-26 | 2019-12-27 | 中国科学院电子学研究所 | 单目视觉信息和imu信息相融合的尺度估计系统及方法 |
| CN111489438A (zh) * | 2020-04-09 | 2020-08-04 | 深圳趣途科技有限责任公司 | 重建三维模型方法、重建三维模型系统及计算机存储介质 |
| CN111795894A (zh) * | 2020-09-08 | 2020-10-20 | 四川轻化工大学 | 非接触式高分子塑料材料单轴拉伸大变形测量方法与系统 |
| CN111968241A (zh) * | 2020-09-11 | 2020-11-20 | 中国石油集团西南管道有限公司 | 管道工程建设的基坑测量系统及方法 |
| CN111998870A (zh) * | 2019-05-26 | 2020-11-27 | 北京初速度科技有限公司 | 一种相机惯导系统的标定方法和装置 |
| CN112288853A (zh) * | 2020-10-29 | 2021-01-29 | 字节跳动有限公司 | 三维重建方法、三维重建装置、存储介质 |
| TWI752594B (zh) * | 2019-08-21 | 2022-01-11 | 中國商浙江商湯科技開發有限公司 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004157850A (ja) * | 2002-11-07 | 2004-06-03 | Olympus Corp | 運動検出装置 |
| CN1804541A (zh) * | 2005-01-10 | 2006-07-19 | 北京航空航天大学 | 一种摄像机空间三维位置姿态测量方法 |
| CN104424630A (zh) * | 2013-08-20 | 2015-03-18 | 华为技术有限公司 | 三维重建方法及装置、移动终端 |
| JP2016070674A (ja) * | 2014-09-26 | 2016-05-09 | 富士通株式会社 | ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム |
| CN106052584A (zh) * | 2016-05-24 | 2016-10-26 | 上海工程技术大学 | 一种基于视觉及惯性信息融合的轨道空间线形测量方法 |
| CN106123802A (zh) * | 2016-06-13 | 2016-11-16 | 天津大学 | 一种自主流动式三维形貌测量方法 |
| CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
| CN107274453A (zh) * | 2017-06-12 | 2017-10-20 | 哈尔滨理工大学 | 一种结合标定与校正的摄像机三维测量装置、系统及方法 |
-
2018
- 2018-03-15 CN CN201810212790.8A patent/CN108413917B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004157850A (ja) * | 2002-11-07 | 2004-06-03 | Olympus Corp | 運動検出装置 |
| CN1804541A (zh) * | 2005-01-10 | 2006-07-19 | 北京航空航天大学 | 一种摄像机空间三维位置姿态测量方法 |
| CN104424630A (zh) * | 2013-08-20 | 2015-03-18 | 华为技术有限公司 | 三维重建方法及装置、移动终端 |
| JP2016070674A (ja) * | 2014-09-26 | 2016-05-09 | 富士通株式会社 | ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム |
| CN106052584A (zh) * | 2016-05-24 | 2016-10-26 | 上海工程技术大学 | 一种基于视觉及惯性信息融合的轨道空间线形测量方法 |
| CN106123802A (zh) * | 2016-06-13 | 2016-11-16 | 天津大学 | 一种自主流动式三维形貌测量方法 |
| CN107274453A (zh) * | 2017-06-12 | 2017-10-20 | 哈尔滨理工大学 | 一种结合标定与校正的摄像机三维测量装置、系统及方法 |
| CN107255476A (zh) * | 2017-07-06 | 2017-10-17 | 青岛海通胜行智能科技有限公司 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111998870A (zh) * | 2019-05-26 | 2020-11-27 | 北京初速度科技有限公司 | 一种相机惯导系统的标定方法和装置 |
| CN110319772A (zh) * | 2019-07-12 | 2019-10-11 | 上海电力大学 | 基于无人机的视觉大跨度测距方法 |
| TWI752594B (zh) * | 2019-08-21 | 2022-01-11 | 中國商浙江商湯科技開發有限公司 | 一種資訊處理方法、電子設備、儲存媒體和程式 |
| CN110617813A (zh) * | 2019-09-26 | 2019-12-27 | 中国科学院电子学研究所 | 单目视觉信息和imu信息相融合的尺度估计系统及方法 |
| CN111489438A (zh) * | 2020-04-09 | 2020-08-04 | 深圳趣途科技有限责任公司 | 重建三维模型方法、重建三维模型系统及计算机存储介质 |
| CN111795894A (zh) * | 2020-09-08 | 2020-10-20 | 四川轻化工大学 | 非接触式高分子塑料材料单轴拉伸大变形测量方法与系统 |
| CN111968241A (zh) * | 2020-09-11 | 2020-11-20 | 中国石油集团西南管道有限公司 | 管道工程建设的基坑测量系统及方法 |
| CN112288853A (zh) * | 2020-10-29 | 2021-01-29 | 字节跳动有限公司 | 三维重建方法、三维重建装置、存储介质 |
| CN112288853B (zh) * | 2020-10-29 | 2023-06-20 | 字节跳动有限公司 | 三维重建方法、三维重建装置、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108413917B (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108413917B (zh) | 非接触式三维测量系统、非接触式三维测量方法及测量装置 | |
| US9733339B2 (en) | Position and orientation calibration method and apparatus | |
| CN105469405B (zh) | 基于视觉测程的同时定位与地图构建方法 | |
| CN103759670B (zh) | 一种基于数字近景摄影的物体三维信息获取方法 | |
| CN103020952B (zh) | 信息处理设备和信息处理方法 | |
| JP6025830B2 (ja) | ３ｄ走査用のセンサ位置決め | |
| KR102345886B1 (ko) | 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법 | |
| CN110296691A (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
| CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
| JP5715735B2 (ja) | ３次元測定方法、装置、及びシステム、並びに画像処理装置 | |
| US11328478B2 (en) | System and method for efficient 3D reconstruction of objects with telecentric line-scan cameras | |
| CN102788572B (zh) | 一种工程机械吊钩姿态的测量方法、装置及系统 | |
| WO2011105616A1 (en) | Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium | |
| CN102798456B (zh) | 一种工程机械臂架系统工作幅度的测量方法、装置及系统 | |
| JP2008298685A (ja) | 計測装置及びプログラム | |
| JP2015090298A (ja) | 情報処理装置、情報処理方法 | |
| CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| Ye et al. | An improved subpixel phase correlation method with application in videogrammetric monitoring of shaking table tests | |
| CN102881040A (zh) | 一种数码相机移动拍摄三维重建方法 | |
| CN117029761A (zh) | 摄站时变下的目标轨迹测量方法、装置及振动测量方法 | |
| Zhang et al. | Freight train gauge-exceeding detection based on three-dimensional stereo vision measurement | |
| CN113504385B (zh) | 复数相机测速方法及测速装置 | |
| JPH08261719A (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| JP5409451B2 (ja) | ３次元変化検出装置 | |
| CN114061738B (zh) | 一种基于标定板位姿计算的风机塔筒基础环振动监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |