CN114494455A - 一种大视角下的位移高精度测量方法 - Google Patents
一种大视角下的位移高精度测量方法 Download PDFInfo
- Publication number
- CN114494455A CN114494455A CN202210012549.7A CN202210012549A CN114494455A CN 114494455 A CN114494455 A CN 114494455A CN 202210012549 A CN202210012549 A CN 202210012549A CN 114494455 A CN114494455 A CN 114494455A
- Authority
- CN
- China
- Prior art keywords
- calibration
- detected
- data
- neural network
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000000691 measurement method Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种大视角下的位移高精度测量方法，首先搭建标定平台；然后搭建和调试双目相机系统；接下来标定过程数据采集，对数据处理分析，建立神经网络模型；之后对真实待测物运动过程数据采集；再采用神经网络预测大视角下物体空间位移；最后将数据保存；本方法即可实时对数据进行处理分析，能满足实时对物体运动状态的评估，也能给对未来状态的预测提供了可信的数据支撑。
Description
技术领域
本发明属于深度学习技术领域，具体涉及一种位移高精度测量方法。
背景技术
在工程中实际问题中，很多情况下，针对某一物体在某一运动过程中的位移情况需要获取，有时甚至对位移情况获取的实时性还有一定要求，因此在实际应用情景中使用仪器测量待测物的位移情况就变得不可或缺。而在位移测量方法中，非接触式测量成为未来发展最有潜力的手段，而在非接触式测量位移中双目相机系统是重要方法之一。
专利CN201911312382.0是基于数字图像相关法进行图像匹配的振动位移测量，但是这种方法在大视角发生光学畸变的情况下就较大程度损失了精度。专利CN201911089499.7虽然对图像进行了一些后处理，但是在由于本身架构的限制，相比用神经网络构建模型来进行大视角位移预测的本专利而言，实际应用场景和精度就存在局限性了。
其测量的关键之一就是建立相机成像的二维像素空间到三维物理空间的映射。建立这个映射的过程叫做空间标定，具体过程是：通过几何尺寸和空间位置已知的标定板获得标定特征点在物理空间和像素空间上的坐标对，再选取合适的标定模型(也称映射函数)来描述两者之间的映射关系，通过最小二乘法来获取标定模型中的待定系数，从而建立完整的映射关系。其中，标定模型形式的选择对标定精度有较大的影响，常用的标定模型包括小孔模型或多项式模型。这两种经典标定模型在使用中的优缺点如下表1所示：
表1经典标定模型优缺点
神经网络是一类模仿神经系统学习过程的算法。使用神经网络取代传统空间标定模型的优势在于以下几个方面：第一、空间标定过程的输入输出关系简单且确定，适合使用神经网络进行描述；第二、神经网络通常比给定阶数的多项式具有更强的高阶拟合能力，因此便于处理高畸变场景；第三、神经网络具有联合标定能力，即其输出结果可以同时受到所有输入信息的影响，因此易于扩展到多相机联合标定。
发明内容
为了克服现有技术的不足，本发明提供了一种大视角下的位移高精度测量方法，首先搭建标定平台；然后搭建和调试双目相机系统；接下来标定过程数据采集，对数据处理分析，建立神经网络模型；之后对真实待测物运动过程数据采集；再采用神经网络预测大视角下物体空间位移；最后将数据保存；本方法即可实时对数据进行处理分析，能满足实时对物体运动状态的评估，也能给对未来状态的预测提供了可信的数据支撑。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：搭建标定平台；
选择空间标定位置和标定设备，搭建至少三自由度的光学标定平台；
步骤2：搭建和调试双目相机系统；
选取两相机夹角，调整焦距、光圈参数使标定物成像清晰，使标定物上包含特征信息的地方的分辨率满足精度要求；连接并设置好双目相机的外部信号触发器，连接好同步信号线，调试双目相机配套的软件系统，之后始终保持相机位置不动；
步骤3：标定过程数据采集；
设置帧率；双目相机开始图像采集，不断多自由度变换标定物的位置和姿态，将标定过程拍摄的图片存储到计算机中；
步骤4：对数据处理分析，建立神经网络模型；
运用线性标定方法建立像素平面位置和真实空间位置的映射关系；将步骤3获取的图片经过处理后变为合适神经网络输入的格式，应用于神经网络的训练，训练完成后，得到神经网络模型；
步骤5：真实待测物运动过程数据采集；
对待测物感兴趣的局部位置处进行特征点标记，再安装待测物在相机的拍摄范围内；根据待测物运动情况设置帧率；固定待测物和双目相机系统的视角为定值不变，使待测物开始目标模式的运动，同时双目相机采集图像；不断变化视角并进行采集；最后将真实待测物运动过程拍摄的图像传输到计算机中；
步骤6：神经网络预测大视角下物体空间位移；
将传输到计算机中的待测物运动图片进行特征点识别和提取，通过训练完成的神经网络模型进行对特征点所在局部的空间位移的预测；
步骤7：数据保存；
进行完多个局部空间位移的预测后，将数据存储到计算机中。
本发明的有益效果如下：
传统线性方法测量物体位移时，大视角情况下镜头存在光学畸变，这会导致测量精度明显变差。本方法以修改后的线性方法为基础，进一步提出融合了神经网络的方法，从而有效减少光学畸变对测量精度带来的不利影响。在很多实际工程应用环境中，都会因各种因素导致存在大视角条件的限制，因此本方法直击痛点，能较好满足工程的迫切需求。在操作性方面，标定过程和神经网络模型建立完成后，操作简单快捷，易于学习推广。在实时性方面，只要搭载双目相机和计算机，本方法即可实时对数据进行处理分析，能满足实时对物体运动状态的评估，也能给对未来状态的预测提供了可信的数据支撑。
附图说明
图1为本发明系统逻辑图。
图2为发明系统中的数据采集系统的双目相机硬件系统外观示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明的目的是提供一种在相机呈大视角下实时并同时测量某物体在运动状态下(运动状态通常为振动状态)多个位置的局部位移信息的新方法。在大视角条件下，相比传统测量方法因存在光学畸变问题导致测量精度明显下降的情况，本发明方法的测量精度仍可维持较高水平，与真实值相对误差可以始终保持在5％以内。整体过程精力主要集中在标定(即训练深度神经网络)过程，因此在实际使用过程中本方法操作简单，易推广学习使用，同时节约测量时间成本、提高了实时性能，可以满足工程实际需求中对实时性的要求。
此外，本发明方法可以通过识别多点运动情况来测算结构的模态信息，为之后的振动预测或振动抑制等提供了可以信赖的数据基础。
如图1所示，一种大视角下的位移高精度测量方法，包括如下步骤：
步骤1：搭建标定平台；
根据待测物实际情况和实际需要选择合适的空间标定位置和其他标定设备，搭建至少三自由度的光学标定平台；
步骤2：搭建和调试双目相机系统；
选取合适的两相机夹角，调整焦距、光圈参数使标定物成像清晰，使标定物上包含特征信息的地方的分辨率满足精度要求；连接并设置好双目相机的外部信号触发器，连接好同步信号线，调试双目相机配套的软件系统，之后始终保持相机位置不动；
步骤3：标定过程数据采集；
设置合适帧率。双目相机开始图像采集，在规划的合适的空间范围内不断多自由度变换标定物的位置和姿态，将标定过程拍摄的图片存储到计算机中；
步骤4：对数据处理分析，建立神经网络模型；
运用线性标定方法建立像素平面位置和真实空间位置的映射关系；将步骤3获取的图片经过处理后变为合适神经网络输入的格式，应用于神经网络的训练，训练完成后，得到神经网络模型；
步骤5：真实待测物运动过程数据采集；
对待测物感兴趣的局部位置处进行特征点标记，再在合适位置安装待测物或根据相机位置保证待测物在合适空间范围内；根据待测物运动情况设置帧率；根据视角需要、视角限制和其他实际情况，固定待测物和双目相机系统的视角为定值不变，使待测物开始目标模式的运动，同时双目相机采集图像；如有需要，接下来可以变化待测物和双目相机的视角为另外某一定值，如上继续进行采集工作，不断变化视角并进行采集；最后将真实待测物运动过程拍摄的图像传输到计算机中；
步骤6：神经网络预测大视角下物体空间位移；
将传输到计算机中的待测物运动图片进行特征点识别和提取，通过训练完成的神经网络模型进行对特征点所在局部的空间位移的预测；
步骤7：数据保存；
进行完多个局部空间位移的预测后，将数据存储到计算机中。
具体实施例：
如图2所示，大视角下物体局部位移高精度测量系统，包括标定系统、数据采集系统和数据处理分析系统。标定系统包括标定平台、标定板等。数据采集系统包括双目相机、相机配套软件以及相关辅助设备。数据处理分析系统，是在基于Windows系统情况下，采用MATLAB和python两种语言编程实现。数据处理分析系统主要是对数据采集系统采集得到的数据进行必要的分析处理，并最终针对物体运动时的像素平面位移和真实空间位移的映射关系通过深度神经网络方法建立高精度模型。
在本实施例中具体针对某简单柔性机翼模型在与双目相机系统视角呈75°的情况下，且机翼模型在垂直机翼平面方向发生类似有阻尼自由振动的运动时，利用本系统对该机翼模型上某6个点进行运动过程中位移的实时测量，该方法具体为：
S1：根据机翼模型尺寸以及相机焦距和景深限制，确定好合适的空间标定位置，选择棋盘格标定板，搭建x/y/θ三自由度的光学标定平台；
S2：取两相机夹角为40°，调整焦距、光圈等参数使标定物成像清晰，使棋盘格标定板的棋盘角点在像素平面内的位置误差小于2pixels。连接相机外部信号触发器，选择高电平触发，信号频率20Hz，连接好同步信号线，调试配套的软件。保持相机位置不动；
S3：相机开始图像采集，以在机翼模型振动时平衡位置为中心，最大振幅的5倍距离作为空间半径范围，在该空间内持续缓慢调整标定物的位置和姿态，根据需要，连续拍摄50张照片，充分遍历空间位置点；
S4：运用系统中修正后的线性方法模块，将建立像素平面位置初步映射到真实空间位置，并存储数据。选择全连接神经网络，迭代后发现最优模型：网络结构为4-5-5-3，激活函数选择sigmoid，调整到合适学习率等；
S5：在机翼模型翼尖处和翼根处共标记3个不同形状的特征点，安装待测物，使用细绳和角度测量仪调整视角约为75°。根据机翼振动频率，将相机帧率(此处即为外触发信号频率)设置为60fps，开始进行采集工作；
S6：将机翼振动图片进行实时的特征点识别提取，并迅速通过现有的神经网络模型进行对特征点的空间位移的预测；
S7：实时记录数据，同时绘制出3个点在机翼振动过程中空间位移的曲线，方便之后对机翼进行振动模态分析和其他分析工作。
Claims (1)
1.一种大视角下的位移高精度测量方法，其特征在于，包括如下步骤：
步骤1：搭建标定平台；
选择空间标定位置和标定设备，搭建至少三自由度的光学标定平台；
步骤2：搭建和调试双目相机系统；
选取两相机夹角，调整焦距、光圈参数使标定物成像清晰，使标定物上包含特征信息的地方的分辨率满足精度要求；连接并设置好双目相机的外部信号触发器，连接好同步信号线，调试双目相机配套的软件系统，之后始终保持相机位置不动；
步骤3：标定过程数据采集；
设置帧率；双目相机开始图像采集，不断多自由度变换标定物的位置和姿态，将标定过程拍摄的图片存储到计算机中；
步骤4：对数据处理分析，建立神经网络模型；
运用线性标定方法建立像素平面位置和真实空间位置的映射关系；将步骤3获取的图片经过处理后变为合适神经网络输入的格式，应用于神经网络的训练，训练完成后，得到神经网络模型；
步骤5：真实待测物运动过程数据采集；
对待测物感兴趣的局部位置处进行特征点标记，再安装待测物在相机的拍摄范围内；根据待测物运动情况设置帧率；固定待测物和双目相机系统的视角为定值不变，使待测物开始目标模式的运动，同时双目相机采集图像；不断变化视角并进行采集；最后将真实待测物运动过程拍摄的图像传输到计算机中；
步骤6：神经网络预测大视角下物体空间位移；
将传输到计算机中的待测物运动图片进行特征点识别和提取，通过训练完成的神经网络模型进行对特征点所在局部的空间位移的预测；
步骤7：数据保存；
进行完多个局部空间位移的预测后，将数据存储到计算机中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210012549.7A CN114494455B (zh) | 2022-01-07 | 2022-01-07 | 一种大视角下的位移高精度测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210012549.7A CN114494455B (zh) | 2022-01-07 | 2022-01-07 | 一种大视角下的位移高精度测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114494455A true CN114494455A (zh) | 2022-05-13 |
| CN114494455B CN114494455B (zh) | 2024-04-05 |
Family
ID=81509248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210012549.7A Active CN114494455B (zh) | 2022-01-07 | 2022-01-07 | 一种大视角下的位移高精度测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494455B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097322A (zh) * | 2016-06-03 | 2016-11-09 | 江苏大学 | 一种基于神经网络的视觉系统标定方法 |
| CN106127789A (zh) * | 2016-07-04 | 2016-11-16 | 湖南科技大学 | 结合神经网络与虚拟靶标的立体视觉标定方法 |
| CN109657581A (zh) * | 2018-12-07 | 2019-04-19 | 南京高美吉交通科技有限公司 | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 |
| US10733506B1 (en) * | 2016-12-14 | 2020-08-04 | Waymo Llc | Object detection neural network |
| CN111563878A (zh) * | 2020-03-27 | 2020-08-21 | 中国科学院西安光学精密机械研究所 | 一种空间目标定位方法 |
| CN112102414A (zh) * | 2020-08-27 | 2020-12-18 | 江苏师范大学 | 基于改进遗传算法和神经网络的双目远心镜头标定方法 |
| CN113446957A (zh) * | 2021-05-08 | 2021-09-28 | 北京航空航天大学 | 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置 |
-
2022
- 2022-01-07 CN CN202210012549.7A patent/CN114494455B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097322A (zh) * | 2016-06-03 | 2016-11-09 | 江苏大学 | 一种基于神经网络的视觉系统标定方法 |
| CN106127789A (zh) * | 2016-07-04 | 2016-11-16 | 湖南科技大学 | 结合神经网络与虚拟靶标的立体视觉标定方法 |
| US10733506B1 (en) * | 2016-12-14 | 2020-08-04 | Waymo Llc | Object detection neural network |
| CN109657581A (zh) * | 2018-12-07 | 2019-04-19 | 南京高美吉交通科技有限公司 | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 |
| CN111563878A (zh) * | 2020-03-27 | 2020-08-21 | 中国科学院西安光学精密机械研究所 | 一种空间目标定位方法 |
| CN112102414A (zh) * | 2020-08-27 | 2020-12-18 | 江苏师范大学 | 基于改进遗传算法和神经网络的双目远心镜头标定方法 |
| CN113446957A (zh) * | 2021-05-08 | 2021-09-28 | 北京航空航天大学 | 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 刘小娟;李学军;王文韫;伍济钢;: "基于神经网络的虚拟靶标大视场双目相机标定技术", 光学技术, no. 04, 15 July 2017 (2017-07-15) * |
| 殷晨晖;褚鑫磊;杨珊;李丽莹;隋国荣;: "单摄像机立体视觉测量系统的高精度变焦标定技术", 光学技术, no. 06, 15 November 2019 (2019-11-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114494455B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658457B (zh) | 一种激光与相机任意相对位姿关系的标定方法 | |
| CN110108348B (zh) | 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统 | |
| CN105758426B (zh) | 移动机器人的多传感器的联合标定方法 | |
| JP5538667B2 (ja) | 位置姿勢計測装置及びその制御方法 | |
| JP5018980B2 (ja) | 撮像装置、長さ測定方法、及びプログラム | |
| CN110910459B (zh) | 一种对摄像装置的标定方法、装置及标定设备 | |
| CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
| CN113240747B (zh) | 一种基于计算机视觉的户外结构振动位移自动化监测方法 | |
| CN112465877B (zh) | 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法 | |
| Mi et al. | A vision-based displacement measurement system for foundation pit | |
| JP4085671B2 (ja) | データ処理方法、データ処理プログラムおよび記録媒体 | |
| CN111399634A (zh) | 一种手势引导物体识别的方法及装置 | |
| CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
| CN109636856A (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 | |
| CN110349209A (zh) | 基于双目视觉的振捣棒定位方法 | |
| CN114494455B (zh) | 一种大视角下的位移高精度测量方法 | |
| JPWO2020145004A1 (ja) | 撮影ガイド装置 | |
| CN108592789A (zh) | 一种基于bim和机器视觉技术的钢结构工厂预拼装方法 | |
| CN116266402A (zh) | 对象自动标注方法、装置、电子设备及存储介质 | |
| CN114184127A (zh) | 一种基于单相机无标靶的建筑物全局位移监测方法 | |
| CN114062265A (zh) | 一种用于视觉系统的支撑结构稳定性的评估方法 | |
| KR102039902B1 (ko) | 원격 기자재 정도 검사 시스템 및 방법 | |
| JPH0252204A (ja) | ３次元座標計測装置 | |
| Maddalena et al. | Innovations on underwater stereoscopy: the new developments of the TV-Trackmeter | |
| CN110246189B (zh) | 一种基于多相机全连接组合的三维坐标计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |