CN112967312B - 一种面向野外刚体目标的实时鲁棒位移监测方法及系统 - Google Patents

一种面向野外刚体目标的实时鲁棒位移监测方法及系统 Download PDF

Info

Publication number
CN112967312B
CN112967312B CN202110169245.7A CN202110169245A CN112967312B CN 112967312 B CN112967312 B CN 112967312B CN 202110169245 A CN202110169245 A CN 202110169245A CN 112967312 B CN112967312 B CN 112967312B
Authority
CN
China
Prior art keywords
monitoring
image
displacement
camera
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110169245.7A
Other languages
English (en)
Other versions
CN112967312A (zh
Inventor
周朗明
万智
胡帅花
陈晓辉
周赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Qiaokang Intelligent Technology Co ltd
Original Assignee
Hunan Qiaokang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Qiaokang Intelligent Technology Co ltd filed Critical Hunan Qiaokang Intelligent Technology Co ltd
Priority to CN202110169245.7A priority Critical patent/CN112967312B/zh
Publication of CN112967312A publication Critical patent/CN112967312A/zh
Application granted granted Critical
Publication of CN112967312B publication Critical patent/CN112967312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向野外刚体目标的实时鲁棒位移监测方法及系统，包括如下步骤：步骤一、标定相机；步骤二、采集刚体目标的图像作为参考图像；步骤三、采用Shi‑Tomasi角点检测算法生成POI；步骤四、以POI坐标为中心的固定大小图像块作为参考子集；步骤五、实时采集的刚体目标图像作为监测图像，进行刚体目标位移监测。本发明能够解决视觉位移监测系统由于野外现场照相机的不稳定性，目标的性质(人为或结构特征)和光照变化导致位移监测失败的问题，而且还具有安装简单，便于操作，可视化强等优点。

Description

一种面向野外刚体目标的实时鲁棒位移监测方法及系统
技术领域：
本发明涉及桥梁监测领域，尤其涉及一种面向野外刚体目标的实时鲁棒位移监测方法及系统。
背景技术：
桥梁结构健康监测系统是一种新兴的功能强大的诊断工具，可用于识别和防止组成基础结构的各个组件的可能故障。其目的是根据动态测量结果确定结构模态参数，这些参数对于模型更新，损伤评估，主动控制和原始设计重新评估非常有用。通常，对于大型桥梁结构的环境测试，输出对象是通用的传感器，它们需要被放置在结构上的最佳位置，在该位置上，期望所有振动模式都出现在测量数据中。但是，这样的最佳位置不容易确定，且存在安装不便的情况。
自1982年Peters和Ranson引入数字图像相关(Digital image correlation,DIC)来测量固体表面的位移以来，该技术在过去的三十年中一直在加速发展，已成为实验力学中非接触式全场测量形状，变形和运动的最重要和最受欢迎的技术之一。基于DIC技术的非接触式视觉位移监测系统，通过自然纹理或人工靶标能实时捕获动态变化并进行跟踪，在桥梁结构健康监测领域中正在兴起。基于视觉的位移监视系统面临着一些现场挑战，由于照相机的不稳定性，目标的性质(人为或结构特征)和光照变化导致跟踪失败。
桥梁基础结构组件(阻尼器，伸缩缝，支座)位移监测可以为桥梁结构安全评估和维护目的提供定量信息，通过变化的极值和范围预测其操作使用的问题和耐用性。累积位移是决定伸缩缝适用寿命的一个重要因素，通过计算伸缩的的累计位移预测伸缩缝的使用寿命。目前桥梁上最常用的位移监测仪器是拉线式位移传感器，是一种接触式的位移测量仪器，需近距离安装，存在单个传感器只能测量一个方向上的位移，处理频率(1次/秒)较低的弊端。
名词解释：
POI：兴趣点(Points ofinterest)；
基准区：相对于刚体目标静止的区域；
监测区：刚体目标所在的区域；
ROI区：感兴趣区域(Region OfInterest)，是刚体目标在相机视野内移动的范围；
背景区：图像中基准区和监测区以外的区域；
2D-DIC：二维数字图像相关方法(2D-Digital image correlation)。
Shi-Tomasi角点检测算法：所述Shi-Tomasi角点检测算法中角点的两个主方向通过使用主成分分析得到；矩阵M的两个特征向量是样本像素点的两个主方向，每个角点最少有两个主方向，矩阵的特征值反映在两个特征向量所描述的特定方向上像素值的变化程度。
ZNCC：零均值归一化互相关算法(Zero-mean normalized cross-correlation)；
OBR特征点：快速特征点提取和描述(Oriented FAST and Rotated BRIEF)
一个ORB特征点包括FAST角点(Key-point)和BRIER描述子(Binary RobustIndependent Elementary Feature Descirptor)两部分。
FAST角点是指该ORB特征点在图像中所在的位置。FAST角点主要检测局部像素灰度变化明显的地方。FAST角点的思想是：如果一个像素与邻域的像素差别较大(过亮或过暗)，则该像素可能是一个角点。
BRIEF描述子是一个二进制表示的向量，该向量按照某种人为设计的方式描述了该关键点周围像素的信息。BRIEF描述子的描述向量由多个0和1组成，这里的0和1编码了FAST角点附近的两个像素的大小关系。
FFT-CC：快速傅里叶变化互相关算法(Fast fourier transform-based crosscorrelation)。
IC-GN：逆成分高斯-牛顿算法(Inverse compositional Gauss-Newtonalgorithm)。
Delaunay三角剖分算法：Delaunay三角剖分是计算几何理论中一种“使剖分三角形的最小角最大”的角度最优三角剖分。
Delaunay三角网：是指具有空圆特性和最大化最小角特性的三角网。空圆特性是指，在Delaunay三角形网中任一三角形的外接圆范围内不会有其它点存在。最大化最小角特性是指在散点集可能形成的三角剖分中，Delaunay三角剖分所形成的三角形的最小内角最大。
发明内容：
本发明的目的在于提供一种面向野外刚体目标的实时鲁棒位移监测方法及系统，本发明能够解决视觉位移监测系统由于野外现场照相机的不稳定性，目标的性质(人为或结构特征)和光照变化导致位移监测失败的问题，而且还具有安装简单，便于操作，可视化强等优点。
为解决上述问题，本发明的技术方案是：
一种面向野外刚体目标的实时鲁棒位移监测方法，包括如下步骤：
步骤一、标定相机的内部参数与外部参数；
步骤二、使用相机采集刚体目标的图像作为参考图像，在参考图像上分别选择感兴趣区、基准区和监测区，感兴趣区包含基准区和监测区；
步骤三、通过Shi-Tomasi角点检测算法分别提取基准区和监测区内的角点作为POI，并保存POI的属性；POI属性包括角点坐标、角点对应的id编号、区分基准区和监测区角点的标志位；
步骤四、以POI坐标为中心N*N大小的图像块作为参考子集；
步骤五、以相机实时采集的图像作为监测图像，基于参考子集，搜索监测图像中具有最高相关系数的目标子集，计算参考图像和监测图像之间的位移变化，实现刚体目标位移的监测；
所述计算参考图像和监测图像之间的位移变化包括如下步骤：
5.1)通过FFT-CC计算监测图像内POI的整像素位移；
5.2)校验FFT-CC计算输出的POI的整像素位移，判断监测图像是否有异常情况，若有异常情况，则进行步骤5.3)，否则直接进行步骤5.4)；
5.3)对异常情况进行鲁棒处理；
5.4)通过IC-GN计算监测图像内POI的亚像素位移；
5.5)将POI的像素位移转换成物理位移，得到刚体目标在实际场景中的物理位移量。
进一步的改进，所述步骤三包括如下步骤：
3.1)通过Shi-Tomasi角点检测算法提取基准区内的角点，删除质量低于预设质量水平的角点，设相邻两个角点之间的最短距离为minDis并且角点数目的最大值为n；按角点质量对角点进行降序排列，遍历排序后的角点；首先选取质量最高的角点，然后将与质量最高的角点的距离小于minDis的角点删除；然后选取质量第二高的角点，将与质量第二高的角点的距离小于minDis的角点删除，按照上述步骤依次进行，最后返回n个最佳角点后将剩余角点均删除；
3.2)按步骤3.1的步骤提取得到监测区内的角点；
3.3)将基准区内的角点和监测区内的角点作为POI。
3.如权利要求1所述的面向野外刚体目标的实时鲁棒位移监测方法，其特征在于，步骤5.2)中，判断是否出现异常情况的步骤如下：
步骤5.2.1)通过Delaunay三角剖分算法构建参考图像基准区和监测区POI点集的Delaunay三角网，保存构成Delaunay三角形的POI索引和对应的Delaunay三角边；
步骤5.2.2)遍历基准区离散POI构造的Delaunay三角形所有的Delaunay三角边，获取Delaunay三角边对应的两个POI索引；
步骤5.2.3)通过POI索引查找监测图像中对应的两个POI的坐标，设两个POI坐标分别为(x1,y1),(x2,y2)，FFT-CC计算的整像素位移分别为(u1,v1),(u2,v2)，更新监测图像中对应的两个POI坐标分别为(x1+u1,y1+v1),(x2+u2,y2+v2)，计算监测图像中更新后的两个POI之间的距离与参考图像对应Delaunay三角边长b比较，满足/>则将POI的整像素位移标记为有效值，否则为无效值，统计有效值的数目；
步骤5.2.4)若FFT-CC计算的POI的整像素位移为有效值的数目大于阈值min_T，min_T为最小POI的整像素位移有效值数目，则计算步骤5.2.3)中标记为有效值的POI的整像素位移均值，并将均值赋值给标记为无效值的POI的整像素位移，进入IC-GN计算POI的亚像素位移子模块；否则监测图像为无效帧，将异常状态标记为invalid_tagImg，并统计连续无效帧的数目invalidNum；如果invalidNum<invalidT，则进行步骤5.3)，否则将异常状态标记为need_update_refImg，并更新参考图像；invalidT表示监测图像在预设的异常时间范围内，可恢复的最大连续无效帧数目。
进一步的改进，步骤5.2)中，所述异常情况包括如下情况：情况1：由于网络或外界因素影响，视频帧出现花屏、卡顿、监测区域被遮挡的情况，监测图像短时间内异常，可恢复；情况2：人为或结构特征的影响导致刚体目标纹理发生变化，参考图像与监测图像差异太大；情况3：日夜交替光照变化太大，参考图像与监测图像差异太大；情况4：相机发生偏移，导致视场发生变化，监测对象还在视场内；情况5：采集设备发生偏移，导致视场发生变化，监测对象不在视场内。
进一步的改进，所述步骤5.3)对异常情况进行鲁棒处理的步骤如下:
步骤5.3.1)分别提取参考图像和监测图像中OBR特征点并匹配，剔除掉误匹配；
步骤5.3.2)区分匹配的OBR特征点是在监测区、基准区还是背景区，统计基准区和监测区内匹配的OBR特征点数目，记为Ptstg_count，统计背景区内OBR特征点数目，记为Ptsbg_count；
步骤5.3.3)进行第一判断：是否Ptsbg_count+Ptstg_count＜thre1，第一判断为是则表示当前场景发生了视角变化，刚体目标不在视场内，需要人工干预，将异常状态标记为need_manual_intervention，退出当前过程；thre1表示监测区、基准区和背景区OBR特征点匹配数目的最小阈值；
步骤5.3.4)第一判断为否，则进行第二判断：是否Ptstg_count＜thre2，第二判断为是则表示刚体目标纹理发生了变化，更新参考图像，将异常状态标记为need_update_refImg，并更新参考图像；thre2表示监测区和基准区内OBR特征点匹配数目的最小阈值；
步骤5.3.5)第二判断为否，则进行第三判断：是否Ptsbg_count＞thre2且Ptstg_count＞thre2，第三判断为是则表示当前视场发生了角度和平移的更改，将异常状态标记为need_update_pose，并更新相机位姿；
步骤5.3.6)若第三判断为否，则进行第四判断：是否Rw2c_new＜thre3，第四判断为是则目标纹理发生了变化，将异常状态标记为need_update_refImg，并更新参考图像；thre3表示角度的误差，设为小于3的数值；
步骤5.3.7)若第四判断为否，则表示当前视场发生了角度和平移的更改，将异常状态标记为need_update_pose，并更新相机位姿。
进一步的改进，所述更新相机位姿的步骤如下所示：通过更新相机外参矩阵，更新POI的坐标：
所述的更新相机外参矩阵具体过程为：首先，提取参考图像和监测图像ORB特征点并匹配，筛选匹配点对，遍历匹配点对的最大距离max_D；如果匹配点对之间的距离大于0.3*max_D，即为误匹配，去除误匹配点；然后，通过参考图像和监测图像中OBR特征点匹配的点集计算本质矩阵；分解本质矩阵恢复相机的运动，得到旋转矩阵变换矩阵和平移向量变换矩阵；基于变换前后匹配的OBR特征点的坐标、相机的外部参数旋转矩阵和平移向量，视场发生角度和平移更改时产生的旋转矩阵变换矩阵和平移向量变换矩阵，计算得到视场发生角度和平移更改后相机的旋转矩阵和平移向量：
其中，Rw2c_old，tw2c_old分别表示视场发生角度和平移更改前相机的旋转矩阵和平移向量；Rold2new，told2new分别表示视场发生角度和平移更改时产生的旋转矩阵变换矩阵和平移向量变换矩阵；Rw2c_new，tw2c_new分别表示视场发生角度和平移更改后相机的旋转矩阵和平移向量；表示匹配的OBR特征点的世界坐标，/>表示视场发生角度和平移更改前匹配的OBR特征点的相机坐标，/>表示视场发生角度和平移更改后匹配的OBR特征点的相机坐标；
所述的更新POI的坐标的步骤为：通过参考图像和监测图像中匹配的OBR特征点计算最优单应矩阵Hold2new，更新POI的坐标：
所述更新参考图像的步骤如下：退出参考图像和监测图像之间位移变化的计算，将当前跟踪失败的监测图像作为参考图像，重新计算更新后参考图像和监测图像之间的位移变化。
进一步的改进，所述步骤5.5)中，将像素位移转换成物理位移包括如下步骤：
5.5.1)将图像中的像素点换算成实际环境中的物理位置；
5.5.2)异面位移计算；
所述步骤5.5.1)中，图像中的像素点换算成实际环境中的物理位置包括如下步骤：
获取图像中某一点坐标计算坐标/>在图像所在平面坐标系中的实际位置，首先利用畸变参数矩阵计算/>去除畸变后的像素点坐标/>随后通过相机的内参矩阵K将/>转换为相机坐标系下的齐次形式/>将/>在相机坐标系中坐标/>转化为监测平面内的世界坐标/>所述监测平面即监测区所在的平面；由于标定板的厚度d会影响真实的监测平面与相机坐标系之间关系参数，相机外部参数公式如式3所示；
R表示旋转矩阵，表示去除畸变后的像素点坐标的齐次形式，t表示平移向量；
通过外参数矩阵将相机坐标系原点OC:[0,0,0]T，转换到世界坐标系中表示为最后通过点/>与点[X'W,Y'W,Z'W]T的直线，计算直线与监测平面ZW＝0的交点：
式4中，[XW,YW,ZW]T就是像素点[x,y]T对应的监测平面内投影点坐标；经过上述计算，即完成了像素点到实际环境中物理位置的换算；
所述步骤5.5.2)中，异面位移计算包括如下步骤：
监测平面、基准平面世界坐标系与相机坐标系之间关系描述如下：
式5中，(Rbase_w2c,tbase_w2c)表示相机关于基准平面标定板的外参，(Rmonitor_w2c,tmonitor_w2c)表示相机关于监测平面标定板的外参；dbase代表基准平面放置标定板的厚度，dmonitor代表基准平面放置标定板的厚度，是基准平面坐标系中点的坐标值，是监测平面坐标系中点的坐标值，/>则为这些点在相机坐标系中的对应坐标；
根据式5，以相机坐标系为中继，将监测平面内点在基准平面所在世界坐标系中进行表示，基准平面与监测平面坐标转换关系如式6所示：
式6中，(Rm2b,tm2b)代表着监测平面坐标系于基准平面坐标系之间的旋转矩阵和平移向量，是Rmonitor_w2c的第三列，/>则是Rbase_w2c第三列；
通过式6，将异面监测不同平面上的点，统一到基准平面所在的坐标系内进行表示；设监测平面内监测点A的坐标记为[baseX'W,baseY'W,baseZ'W],监测点A在基准平面上的投影点C坐标即为[baseX'W,baseY'W,0],基准平面内的基准点B的坐标记为：[baseXW,baseYW,0]，监测点A和基准点B的坐标都统一到了基准平面坐标系,计算监测点相对于基准点的位移可表示为：[baseX'W-baseXW,baseY'W-baseYW,0]，通过上述过程实现异面位移计算。
一种面向野外刚体目标的实时鲁棒位移监测系统，包括图像采集模块、上位机参数设置模块、嵌入式DIC位移分析模块、位移数据输出显示模块；其中，上位机参数模块包括相机标定子模块、POI设置子模块、更新下位机子模块；嵌入式DIC位移分析模块包括加载参数子模块、自动提取POI子模块、位移计算子模块、位移输出子模块；
所述图像采集模块用于通过网络摄像机获取刚体目标图像并生成图像信息；
所述上位机参数设置模块用于设置相机内外参数和进行DIC位移计算所需的参数；
所述的相机标定子模块用于相机标定图像采集、相机内外标定参数计算、相机内外参数保存；
所述的相机标定图像采集包括如下步骤：上位机通过视频流地址连接网络摄像机，在监测目标附近多角度多方位移动带有Aruco二维码的棋盘格的标定板，操作上位机进行网络摄像机内外参标定图像的采集，根据野外场景确定基准平面和监测平面；基准平面为刚体目标所在视野内相对静止的参照平面，即基准区所在平面，所述监测平面为刚体目所在的平面，即监测区所在平面，标定板贴合基准平面和监测平面分别采集基准平面外参图像和监测平面外参图像；
所述的相机内外标定参数计算是采用张正友提出的相机标定方法，对相机的内部参数与外部参数进行标定，得到相机内部参数和畸变参数矩阵，以及相机关于基准平面的外部参数矩阵和关于监测平面的外部参数矩阵；
所述的POI设置子模块用于设置需要进行位移计算的区域即监测区和基准区；具体操作为上位机打开网络摄像机读取第一帧作为参考图像，在参考图像上选取ROI、基准区和监测区，并记录对应坐标；在参考图像的监测区和基准区内提取POI，以POI为中心的N*N图像块作为参考子集；
所述的嵌入式DIC位移分析模块是嵌入式开发板上烧录的DIC位移分析模块，用于对网络摄像机采集的刚体目标图像数据进行解码并计算刚体目标的实时位移。
本发明的优点：
本发明能够解决视觉位移监测系统由于野外现场照相机的不稳定性，目标的性质(人为或结构特征)和光照变化导致位移监测失败的问题，而且还具有安装简单，便于操作，可视化强等优点。
附图说明
图1是本发明一种面向野外刚体目标的实时鲁棒位移监测方法实现框图；
图2是本发明一种面向野外刚体目标的实时鲁棒位移监测系统的模块框图；
图3(a)是视角发生变化目标不可见特征点匹配结果图；
图3(b)是视角发生变化目标可见特征点匹配结果图；
图3(c)是监测对象纹理发生变化特征点匹配结果图；
图4(a)是视角发生变化目标可见更新位姿示意图；
图4(b)视角发生变化目标可见更新POI坐标示意图；
图5(a)是异面离轴场景的外参标定示意图；
图5(b)是基准平面内基准点B与监测平面内监测点A三维空间直线的投影示意图；
图5(c)是基准平面内基准点B与投影的监测点C连线水平位移和垂直位移的分解示意图；
图6刚体目标阻尼器位移监测现场设备安装；
图7区域设置结果图(最粗的框：ROI区；M框：监测区域；B框：基准区)；
图8自动生成POI结果图(十字符：POI；正方形小框：以POI为中心N*N大小的子集)；
图9参考图像基准区和监测区POI点构建Delaunay三角网结果图；
图10(a)网页端显示阻尼器X方向上的位移曲线图；
图10(b)网页端显示阻尼器Y方向上的位移曲线图。
具体实施方式
如图2所示的一种面向野外刚体目标的实时鲁棒位移监测系统具体包括：图像采集模块、上位机参数设置模块、嵌入式DIC位移分析模块、位移数据输出显示模块。其中，上位机参数模块包括相机标定子模块、POI设置子模块、更新下位机子模块。嵌入式DIC位移分析模块包括加载参数子模块、自动提取POI子模块、位移计算子模块、位移输出子模块。
上位机参数设置模块和嵌入式DIC位移分析模块是本发明的核心部分，用于位移监测的参数设置和计算。
图像采集模块：通过网络摄像机获取刚体目标图像并生成图像信息。
上位机参数设置模块：首次实施一种面向野外刚体目标的实时鲁棒位移监测系统需通过上位机参数设置模块设置相机内外参数和DIC进行位移计算所需的参数。上位机参数设置模块包括相机标定子模块、POI设置子模块、更新下位机子模块。
所述的相机标定子模块是建立相机图像像素位置与场景点位置之间的关系，根据相机针孔成像模型，由特征点在图像中坐标与世界坐标的对应关系，求解相机模型的参数，相机模型参数包括内部参数和外部参数。相机标定子模块包括相机标定图像采集、相机内外标定参数计算、相机内外参数保存。
所述的相机标定图像采集是上位机通过视频流地址连接网络摄像机，根据监测视场画面调整网络摄像机的角度、焦距和光照情况，相机调整好后，在监测目标附近多角度多方位移动带有Aruco二维码的棋盘格(叫做ChAruCoChessboard)的标定板，操作上位机相应按钮进行内外参标定图像采集。根据野外场景确定基准平面和监测平面；基准平面为刚体目标所在视野内相对静止的参照平面，即基准区所在平面，所述监测平面为刚体目所在的平面，即监测区所在平面，标定板贴合基准平面和监测平面分别采集基准平面外参图像和监测平面外参图像。
所述的相机内外标定参数计算是利用带有Aruco二维码的棋盘格上已知的角点世界坐标，和运用角点检测方法检测到的内外参标定图像上的棋盘格和二维码角点，形成的多组角点世界坐标与其对应的图像坐标，来求解相机的内部参数与外部参数。本方法采用张正友提出的相机标定算法，对相机的内部参数与外部参数进行标定，得到相机内部参数和畸变参数矩阵，以及相机关于基准平面的外部参数矩阵和关于监测平面的外部参数矩阵。
所述的相机内外参数保存是对上述相机内外标定参数计算中得到的相机内参、畸变矩阵、基准平面外部参数矩阵和监测平面外部参数矩阵保存到文档中，用于嵌入式DIC位移分析模块中离轴2D-DIC像素位移到物理位移之间的转换和异面相对位移的计算。
所述的POI设置子模块是设置DIC算法实现位移计算所需的感兴趣区域ROI、POI参数。DIC通过比较不同状态下监测对象表面的数字图像来计算其运动，常规的2D-DIC实现中，首先指定参考图像的感兴趣区域ROI，然后将其进一步划分为均匀间隔的虚拟网格，计算虚拟网格中每个点(即POI)的位移。POI设置子模块包括区域设置、设置POI相关参数、POI配置参数保存。
所述的区域设置包括ROI、基准区和监测区的设置。在实际应用场景中经常需要同时观测多个不同平面，并且需要计算不同平面的移动点在同一基准平面上的位移。ROI包含基准区和监测区的区域，是刚体目标在相机视野内移动的范围；基准区即监测对象参照平面上有纹理的区域，相对静止；监测区即监测对象所在的平面上有纹理的区域。区域设置具体为上位机打开网络摄像机读取第一帧作为参考图像，在参考图像上选取ROI、基准区和监测区，并记录其坐标。
所述的设置POI相关参数是设置区域边距和子集大小。
所述的POI配置参数保存是对上述提取的POI的坐标、区域设置和POI的相关参数保存到文档中，作为后续位移监测的参数。
所述的更新下位机子模块包括网络摄像机IP、相机内外参数文档、POI设置参数文档和DIC位移分析软件开发包的更新。
嵌入式DIC位移分析模块：嵌入式开发板上烧录的DIC位移分析模块，对网络摄像机采集的刚体目标图像数据进行解码并计算刚体目标的实时位移。通过上位机参数设置模块中的更新下位机子模块，将DIC位移分析软件开发包和相关参数烧入嵌入式开发板中，运行位移分析软件开发包即可对摄像机采集的图像进行实时位移监测。嵌入式DIC位移分析模块包括加载参数子模块、自动提取POI子模块、位移计算子模块、位移输出子模块。
所述的加载参数子模块是对DIC算法进行初始化，从相机内外参数文档、POI设置参数文档中读入相机内部参数和畸变参数矩阵，基准平面的外部参数矩阵，监测平面的外部参数矩阵；基准区和监测区，POI的相关参数和参考图像。
所述的自动提取POI子模块是通过Shi-Tomasi角点检测算法分别提取基准区和监测区内的角点。在应用的野外场景中监测对象表面纹理可能不满足散斑图像条件，且外界因素影响较复杂，POI需对光照变化、旋转、视角变化等具有较好的鲁棒性。本方法中将提取的Shi-Tomasi角点作为POI。自动提取POI子模块包括如下步骤：
步骤1、通过Shi-Tomasi角点检测算法提取基准区内的角点，删除质量低于预设质量水平的角点，设相邻两个角点之间的最短距离为minDis并且角点数目的最大值为n；按角点质量对角点进行降序排列，遍历排序后的角点；首先选取质量最高的角点，然后将与质量最高的角点的距离小于minDis的角点删除；然后选取质量第二高的角点，将与质量第二高的角点的距离小于minDis的角点删除，按照上述步骤依次进行，最后返回n个最佳角点后将剩余角点均删除；
步骤2、按步骤1的步骤提取得到监测区内的角点；
步骤3、将基准区内的角点和监测区内的角点作为POI，保存POI的属性，POI属性包括角点坐标、每个角点有一个特定的id编号、区分基准区和监测区角点的标志位。
所述的位移计算子模块是基于DIC算法计算参考图像和监测图像之间的位移变化，其包括：
1)FFT-CC计算整像素位移；
2)校验FFT-CC输出的整像素位移；
3)鲁棒处理机制；
4)IC-GN计算亚像素位移；
5)像素位移转换成物理位移。
所述的FFT-CC计算整像素位移是通过零均值归一化互相关(ZNCC)准则评估参考子集和变形子集之间的相似性，给定参考图像中POI的参考子集R，搜索监测图像中具有最高相关系数的目标子集T，由此确定该POI的位移矢量。通过傅里叶变换快速估算x,y方向上的位移量u,v。以POI为中心，大小为N＝(2M+1)*(2M+1)的图像块为子集图像。
参考子集和目标子集的互相关函数如式2所示，
其中f(xi,yj)表示参考子集(xi,yj)处像素的强度值，g(xi',y'j)表示目标子集(xi',y'j)处像素的强度值，fm和gm是两个子集强度值的平均值。
参考子集和目标子集的互相关函数其矩阵形式如式3所示。
分别表示参考图像子集和监测图像子集强度均值归一化矩阵，如式4所示。
根据傅里叶理论，空间域的互相关运算可以转换到频率域计算，如式5所示，CZNCC正向峰的坐标(u,v)即为变形向量pinit的整像素位移分量。
具体实现步骤为：输入参考图像和监测图像；遍历参考图像和监测图像中对应的子集对，构造参考子集和目标子集的像素强度均值归一化矩阵对像素强度均值归一化矩阵/>执行傅里叶变换，得到/>和/>按式5执行傅里叶逆变换，得到空间域中的CZNCC(u,v)矩阵；遍历CZNCC(u,v)矩阵，按式6取其正值峰值处的(u,v)构成整像素的变形矢量pinit。计算每个POI对应的整像素位移。
所述的校验FFT-CC输出的整像素位移是对FFT-CC计算整像素位移的输出结果做校验。在野外场景中由于网络摄像头的不稳定性、目标的性质(人为或结构特征)和光照变化等异常情况的影响导致监测图像与参考图像差异较大，FFT-CC计算的POI整像素位移失效。根据实际情况可将异常情况分为以下几种：1)由于网络或外界因素影响，视频帧出现花屏、卡顿、监测区域被遮挡的情况，监测图像短时间内异常，可恢复；2)人为或结构特征的影响导致刚体目标纹理发生变化，参考图像与监测图像差异太大；3)日夜交替光照变化太大，参考图像与监测图像差异太大；4)相机发生偏移，导致视场发生变化，监测对象还在视场内；5)采集设备发生较大偏移，导致视场发生变化，监测对象不在视场内。
本方法中采用Delaunay三角剖分算法对参考图像中基准区和监测区离散的POI分别进行Delaunay三角剖分处理，形成分布较为均匀的三角形网格。对于任意某一点集，当且仅当只有唯一一个与之相应的二维Delaunay三角剖分，根据唯一性，以参考图像内生成的各个Delaunay三角边作为约束验证FFT-CC输出的整像素位移的有效性。校验FFT-CC输出的整像素位移的具体步骤为：
步骤1、构建参考图像基准区和监测区POI点集的Delaunay三角网，保存构成Delaunay三角形的POI索引和对应的Delaunay三角边；
步骤2、遍历基准区离散的POI构造的Delaunay三角形所有的Delaunay三角边，获取Delaunay三角边对应的两个POI索引；
步骤3、通过POI索引查找监测图像中对应的两个POI的坐标，设两个POI坐标分别为(x1,y1),(x2,y2)，FFT-CC计算的整像素位移分别为(u1,v1),(u2,v2)，更新监测图像中对应的两个POI坐标分别为(x1+u1,y1+v1),(x2+u2,y2+v2)，计算监测图像中更新后的两个POI之间的距离与参考图像对应Delaunay三角边长b比较，满足/>则将POI的整像素位移标记为有效值，否则为无效值，统计有效值的数目；
步骤4、若FFT-CC计算的POI的整像素位移为有效值的数目大于阈值min_T，min_T为最小POI的整像素位移有效值数目，则计算步骤3中标记为有效值的POI的整像素位移均值，并将均值赋值给标记为无效值的POI的整像素位移，进入IC-GN计算POI的亚像素位移子模块；否则监测图像为无效帧，将异常状态标记为invalid_tagImg，并统计连续无效帧的数目invalidNum；如果invalidNum<invalidT，进入鲁棒处理机制模块，否则将异常状态标记为need_update_refImg，并更新参考图像；invalidT表示监测图像在预设的异常时间范围内，可恢复的最大连续无效帧数目。
所述的鲁棒处理机制是在监测图像短时间内不可恢复的异常情况下，根据参考图像和无效监测图像的匹配情况，判别属于哪种异常，针对不同的异常给出不同的处理机制。处理机制包括更新参考图像、更新相机位姿、人工干预。具体实现步骤如下：
步骤1、分别提取参考图像和监测图像中OBR特征点并匹配，剔除掉误匹配；
步骤2、区分匹配的特征点是在监测区、基准区还是背景区，统计基准区和监测区内匹配的特征点数目，记为Ptstg_count，统计背景区内特征点数目，记为Ptsbg_count。
步骤3、1)如果Ptsbg_count+Ptstg_count＜thre1，表示当前场景发生了巨大的视角变化，刚体目标不在视场内，如图3(a)所示，需要人工干预，将异常状态标记为need_manual_intervention，退出当前过程；
2)否则，如果Ptstg_count＜thre2，表示刚体目标纹理发生了变化，如图3(c)所示，需要更新参考图像，将异常状态标记为need_update_refImg，并转到更新参考图像过程；
3)否则，如果Ptsbg_count＞thre2和Ptstg_count＞thre2，执行步骤4；
步骤4：根据背景匹配点计算本质矩阵；
步骤5：从本质矩阵种分解Rold2new，told2new，按式7计算旋转角度Rw2c_new和平移向量tw2c_new。
步骤6：1)如果Rw2c_new＜thre3，表示目标纹理发生了变化，需要更新参考图像，将异常状态标记为need_update_refImg，并转到更新参考图像过程。
2)否则，表示当前视场发生了角度的更改，如图3(b)所示，将异常状态标记为need_update_pose，并转到了更新相机位姿过程。
所述的更新参考图像是退出位移计算子模块，将当前跟踪失败的监测图像作为参考图像，重新执行嵌入式DIC分析模块。
所述的更新相机位姿是指相机视角发生了变化，通过更新相机外参矩阵，更新POI的坐标。具体包括更新相机外参矩阵，更新POI坐标。
所述的更新相机外参矩阵具体过程为：首先，提取参考图像和监测图像ORB特征点并匹配，筛选匹配点对，遍历匹配点对的最大距离max_D；如果匹配点对之间的距离大于0.3*max_D，即为误匹配，去除误匹配点；然后，通过参考图像和监测图像中OBR特征点匹配的点集计算本质矩阵。分解本质矩阵恢复相机的运动，得到旋转矩阵变换矩阵和平移向量变换矩阵；基于变换前后匹配的OBR特征点的坐标、相机的外部参数旋转矩阵和平移向量，视场发生角度和平移更改时产生的旋转矩阵变换矩阵和平移向量变换矩阵，计算得到视场发生角度和平移更改后相机的旋转矩阵和平移向量：如式7所示。更新位姿示意图如图4(a)所示。
/>
其中，Rw2c_old，tw2c_old分别表示视场发生角度和平移更改前相机的旋转矩阵和平移向量；Rold2new，told2new分别表示视场发生角度和平移更改时产生的旋转矩阵变换矩阵和平移向量变换矩阵；Rw2c_new，tw2c_new分别表示视场发生角度和平移更改后相机的旋转矩阵和平移向量；表示匹配的OBR特征点的世界坐标，/>表示视场发生角度和平移更改前匹配的OBR特征点的相机坐标，/>表示视场发生角度和平移更改后匹配的OBR特征点的相机坐标；
所述的更新POI是通过参考图像和监测图像中OBR特征点匹配的点集计算最优单应矩阵Hold2new，更新POI的坐标，如式8所示。更新POI坐标示意图如图4(b)所示。
所述的IC-GN计算亚像素位移是采用IC-GN算法，结合ZNSSD相关标准，作为DIC亚像素配准方法。IC-GN算法在较小范围内仿射变换参考图像，然后将其与仿射变换的监测图像进行匹配，避免了迭代过程中参考图像强度梯度和Hessian矩阵求逆的重复计算。IC-GN的目标是迭代最小化ZNSSD准则，定义变形参数向量p＝[u,ux,uy,v,vx,vy]T及其增量Δp＝[Δu,Δux,Δuy,Δv,Δvx,Δvy]T，具有仿射变换功能的ZNSSD准则如式9所示。
其中，是参考图像子集中心点(即POI)的全局坐标；Δξ：[ΔxΔy 1]T是参考图像子集点的局部坐标，其取值范围为Δξ∈[0,(2M+1)2-1]；/>分别表示参考图像子集和监测图像子集的均值归一化矩阵；W(Δξ,p)是仿射扭曲函数描述了监测图像子集点相对于参考图像对应的子集点的位置和形状的变化，如式10所示，W(Δξ,Δp)是增量扭曲函数用于调整参考图像的子集，如式11所示；fn,gn分别表示参考图像子集和监测图像子集的归一化因子，如式12所示。
/>
在每次迭代过程中，求解增量变形参数Δp如式13所示。
其中H是参考图像子集的Hessian矩阵。表示参考图像子集的梯度，/>表示扭曲函数的雅可比矩阵。
求解出Δp后，即可确定增量扭曲函数W(Δξ,Δp),通过更新扭曲函数W(Δξ,p)将参考图像子集的变形反加在目标子集上，如式14所示，更新变形向量p。通过迭代计算的形式，更新变形向量p，直到满足式15中所示的任一收敛条件即退出迭代。
W(Δξ,p)←W[W-1(Δξ,Δp),p]＝W(Δξ,p)W-1(Δξ,Δp) (式14)
IC-GN计算亚像素位移具体实现步骤为：
步骤1、输入参考图像，监测图像及校正后的FFT-CC计算的变形向量初始猜测值；
步骤2、遍历参考图像和监测图像中对应的子集对，构造参考子集和目标子集的像素强度均值归一化矩阵
步骤3、按式13求解出Δp，更新扭曲函数，检查是否满足迭代收敛条件，若不满足使用插值算法构造变形的目标子集对变形后的坐标(x',y')进行双线性插值运算，更新灰度值；重复此步骤，直到满足收敛条件；
步骤4、输出变形向量p。
通过上述步骤计算每个POI的变形向量p，p向量中的u，v元素即监测图像相对于参考图像该POI在x，y方向上的像素位移。
所述的像素位移转换成物理位移是将图像坐标系中的像素位移量转换成实际场景中的物理位移量。具体包括图像中的像素点换算成实际环境中的物理位置、计算不同平面的移动点在同一基准平面上的位移。
所述的图像中的像素点换算为实际环境中的物理位置是将图像像素点坐标转换到其所在平面内的世界坐标系，然后投影到这个平面上，实现像素点到物理位置的转换。
获取图像中某一点坐标计算坐标/>在该平面坐标系中的实际位置。首先利用畸变参数矩阵，计算/>去除畸变后的像素点坐标/>随后通过内参矩阵K将/>转换为相机坐标系下的齐次形式/>将/>在相机坐标系中坐标/>转化为监测平面内世界坐标/>由于标定板厚度d会影响真实的监测平面与相机坐标系之间关系参数，相机外部参数公式如公式16所示。
类似的，通过外参数矩阵将相机坐标系原点OC:[0,0,0]T，转换到世界坐标系中表示为最后通过点/>与点[X'W,Y'W,Z'W]T的直线，计算此直线与监测平面ZW＝0的交点：
公式17中，[XW,YW,ZW]T就是像素点对应的监测平面内投影点坐标。经过上述步骤，即完成了像素点到其对应的实际物理位置的换算。
所述的异面位移计算是计算多个不同平面相对于同一基准平面的位移量。在实际应用中经常需要同时观测多个不同平面，并对比不同平面的移动点在同一基准平面上的位移。异面位移计算需对所关注的不同平面进行分别标定，坐标统一基准平面，计算位移量。本实施方式如图5(a)所示两个平面，分别称之为监测平面(monitor)与基准平面(base)。监测平面、基准平面世界坐标系与相机坐标系之间关系可以描述如下：
式18中，(Rbase_w2c,tbase_w2c)表示相机关于基准平面标定板的外参，(Rmonitor_w2c,tmonitor_w2c)表示相机关于监测平面标定板的外参；dbase代表基准平面放置标定板的厚度，dmonitor代表基准平面放置标定板的厚度，是基准平面坐标系中点的坐标值，是监测平面坐标系中点的坐标值，/>则为这些点在相机坐标系中的对应坐标。
根据式18，以相机坐标系为中继，可以将监测平面内点在基准平面所在世界坐标系中进行表示，基准平面与监测平面坐标转换关系如式19所示：
式19中，(Rm2b,tm2b)代表着监测平面坐标系于基准平面坐标系之间的旋转矩阵和平移向量，是Rmonitor_w2c的第三列，/>则是Rbase_w2c第三列。
通过公式19，可以将异面监测不同平面上的点，统一到基准平面所在的坐标系内进行表示。如图5(b)所示，监测平面内监测点A坐标系记为：[baseX'W,baseY'W,baseZ'W]T，则此点在基准平面上的投影点C坐标即为：[baseX'W,baseY′W,0]T，B为基准平面内的基准点，可记为：[baseXW,baseYW,0]T，监测点A和基准点B的坐标都统一到了基准平面坐标系。计算监测点相对于基准点的位移可表示为：[baseX'W-baseXW,baseY'W-baseYW,0]T，如图5(c)所示。B为基准平面内的基准点，C为投影的到基准平面内的监测点，将C相对于B点的位移分解到水平方向和垂直方向，CD为X方向的位移baseX'W-baseXW，BD为Y方向的位移baseY'W-baseYW。
将参考图像中基准区内所有的POI的像素坐标转换到基准平面的世界坐标系，根据转换后的基准平面的世界坐标求基准区中心点(根据所有基准区POI的世界坐标计算)的世界坐标将监测区内所有POI的像素坐标转换到监测平面的世界坐标系。根据转换后的监测平面的世界坐标求监测区中心点(根据所有监测区POI的世界坐标计算)的世界坐标/>如图4(b)所示，将监测区中心点的坐标投影到基准平面，统一到基准平面的世界坐标系，转换后的坐标记为/>参考图像中的相对位移进行水平方向和垂直方向的位移分解得到初始的监测点相对于基准点X方向的位移分量/>Y方向的位移分量/>按上述方法计算监测图像中基准区中心点的世界坐标系/>和监测区中心点的世界坐标系将监测图像中监测区中心点的坐标投影到基准平面，统一到基准平面的世界坐标系，转换后的坐标记为/>监测图像中的相对位移进行水平方向和垂直方向的位移分解得到移动后监测点相对于基准点X方向的位移分量Y方向的位移分量/>监测图像的X方向的位移变化量为Y方向的位移变化量为/>
进一步的，在多于两个监测平面情况下，均可以参照两平面的方式，设定其中一个为基准平面，通过标定出不同平面下的相机外参数，以相机坐标系为中继，推算出各个监测平面内坐标系与基准平面内坐标系的关系参数，随后按照公式7将不同监测平面内的点转换到基准平面坐标系中，随后即可进行投影，计算其与初始点在基准平面所在坐标系中的位移。
位移数据输出显示模块对上述计算的位移值发送到服务器，并在网页端显示。嵌入式下位机通过通信协议连接到服务器将计算出来的位移量实时发送到服务器，服务器将接收到的数据传送到网页端实时显示。网页端X方向位移显示如图10(a)所示，Y方向位移显示如图10(b)所示。
具体实施方式2：本实施方式与具体实施方式1不同的是：刚体目标只有监测平面，没有基准平面，只需计算同一平面目标子集相对于参考子集的位移，整体过程与具体实施方式一一致，需去掉基准区计算的相关操作。
在所述的相机标定图像采集中只需采集监测平面的外参图像；
在所述的相机内外标定参数计算中相机外部参数只需计算关于监测平面的外部参数矩阵；
在所述的区域设置中只需设置ROI和监测区，后续计算中去掉基准区的相关计算；
在所述的像素位移转换成物理位移中，去掉计算不同平面的移动点在同一基准平面上的位移。根据像素点到物理位置的转换过程将参考图像POI的图像坐标[xref,yref]T投影到监测平面，平面坐标表示为DIC算法跟踪到的监测图像对应的POI的图像坐标[xtag,ytag]T投影到平面坐标系，得到平面坐标/>POI的实际物理位移为/>
本发明的具体实施例实现过程如下：
以监测刚体目标阻尼器的位移为例，现场设备安装如图6所示。利用网络摄像机的网页端软件预览刚体目标现场画面，调整视角、焦距和光照情况，调整完毕后继续后续操作。首次安装，上位机通过视频流地址连接网络摄像机，在刚体目标附近多角度多方位移动Aruco二维码棋盘格标定板，操作上位机相应按钮进行内参标定图像采集。标定板贴合阻尼器基准平面和监测平面分别采集基准平面外参图像和监测平面外参图像。对采集的内参和外参图像进行标定，得到相机内参数和畸变参数矩阵，基准平面和监测平面的外参数矩阵，并保存到文档中，用于嵌入式DIC位移分析模块中离轴2D-DIC像素位移到物理位移之间的转换和异面相对位移的计算。上位机重新打开网络摄像机，以第一帧图像作为参考图像，在参考图像上选取ROI区、基准区和监测区，区域设置结果图如图7所示，设置POI的相关参数，保存到文档。嵌入式开发板上安装的软件称为下位机，上位机通过通信协议与下位机进行通信，更新网络摄像机IP、相机内外参数文档、POI设置参数文档和DIC位移分析软件开发包。更新完后自启动DIC位移分析软件开发包，对网络摄像机采集的刚体目标图像数据进行解码并计算刚体目标的实时位移，即运行嵌入式DIC位移分析模块。
嵌入式DIC位移分析模块包括加载参数子模块、位移计算子模块、位移输出子模块。
首先从相机内外参数文档、POI设置参数文档中读入相机内参数和畸变参数矩阵，基准平面的外参数矩阵，监测平面的外参数矩阵，以及基准区和监测区，POI的相关参数和参考图像对DIC算法进行初始化。本实施例中，通过Shi-Tomasi角点检测算法提取参考图像基准区和监测区内的角点，提取的角点作为POI。本实施例中，预设质量水平取值0.05，最小距离minDis取值70，最大角点数目n取值100。自动生成可靠POI结果图如图8所示。最小距离minDis基准区和监测区的值不一定要设置一致，可根据实际情况调整，该参数与生成的POI数目成反比。
DIC算法初始化完成后进入位移计算子模块。从网络摄像头解码视频获取实时的监测图像，DIC算法是通过相关准则计算参考图像中POI的参考子集与监测图像中对应POI的目标子集位移矢量。首先，采用FFT-CC计算每个POI的整像素位移，通过ZNCC准则评估参考子集和变形子集之间的相似性，已知参考图像中POI的参考子集，搜索监测图像中具有最高相关系数的目标子集，由此确定该POI的位移矢量。采用傅里叶变换快速估算x,y方向上的位移量u,v。子集是以POI为中心，大小为(2M+1)*(2M+1)的图像块，本实施例中，M取值为40。
在野外场景中由于网络摄像头的不稳定性、目标的性质(人为或结构特征)和光照变化等异常情况的影响导致监测图像与参考图像差异较大，FFT-CC计算的POI整像素位移失效。所以计算完每个POI的整像素位移后，需对其进行校验。本方法中采用Delaunay三角剖分算法对参考图像中基准区和监测区离散的POI分别进行Delaunay三角剖分处理，形成分布较为均匀的三角形网格，如图9所示。基于Delaunay三角剖分的唯一性，以参考图像内生成的各个Delaunay三角边作为约束验证FFT-CC输出的整像素位移的有效性。本实施例中，FFT-CC计算的整像素位移有效值的数目满足约束条件基准区的POI整像素位移数目大于1，进入IC-GN计算亚像素位移子模块。否则，监测图像为无效帧，将异常状态标记为invalid_tagImg，并统计连续无效帧的数目invalidNum。如果invalidNum＜invalidT，阈值invalidT取值为50，进入鲁棒处理机制模块，否则退出DIC算法位移计算子模块；
连续invalidT帧监测图像为无效帧，监测图像短时间内不可恢复的异常情况下，根据参考图像和无效监测图像中特征点的匹配情况，判别属于哪种异常，判断是需要更新参考图像、更新相机位姿还是人工干预。如果是人工干预，下位机会将人工干预的标志发送到服务器，服务器通过判别机制，发送短信到指定的手机号上，通知工作人员调整相机视场。如果是更新参考图像或更新相机位姿，DIC位移分析软件开发包可自动实现。本实施例中，阈值thre1取值为10，阈值thre2取值为10，阈值thre3取值为2.0。
监测图像为有效图像，进入IC-GN亚像素位移计算。所述的IC-GN计算亚像素位移是采用ICGN算法，结合ZNSSD相关标准，作为DIC亚像素配准方法。通过仿射变换参考图像迭代地ZNSSD准则求解变形向量p＝[u,ux,uy,v,vx,vy]T。得到(x,y)方向亚像素精度的位移量(u,v)。
根据求得的位移量(u,v)，更新POI的坐标。将POI像素点的坐标换算成实际环境中物理位置即将POI像素点坐标转换到其所在平面内的世界坐标系，然后投影到这个平面上，实现像素点到物理位置的转换。将基准区内所有POI的像素坐标转换到基准平面的世界坐标系，根据转换后的基准平面的世界坐标求基准区中心点(根据所有基准区POI的世界坐标计算)的世界坐标。将监测区内所有POI的像素坐标转换到监测平面的世界坐标系。根据转换后的监测平面的世界坐标求监测区中心点(根据所有监测区POI的世界坐标计算)的世界坐标。本实施例中，观测的平面有两个，基准平面和监测平面。需要计算的位移是相对与基准平面的位移，所以进入异面位移计算过程，如图4(b)所示，将监测区中心点的坐标投影到基准平面，统一到基准平面的世界坐标系。通过监测区中心点和基准区中心点在基准平面的世界坐标，计算监测区相对于基准区的位移，将位移分解到X方向和Y方向，最后分别计算监测图像与参考图像在X方向/Y方向的差值得到相应的位移变化量。
嵌入式下位机通过通信协议连接到服务器将计算出来的位移量实时发送到服务器，服务器将接收到的数据传送到网页端实时显示。网页端X方向位移显示如图10(a)所示，Y方向位移显示如图10(b)所示。设置阈值，如果位移量大于该阈值，服务器会发出报警信号，在日志列表中显示，点击相应按钮查看报警事件前后30秒的视频。
本实施例为桥梁结构件阻尼器的位移监测提供一种实时鲁棒面向野外刚体目标位移监测的嵌入式2D-DIC方法，是一套基于网络摄像机和嵌入式开发板开发的轻量级设备。通过网络摄像机采集刚体表面的图像数据，在嵌入式开发板上烧录DIC位移分析模块，对网络摄像机采集的图像数据进行解码并计算刚体目标的实时位移，将计算的位移量上传到服务端并在网页端显示。通过使用本发明能够解决视觉位移监测系统由于野外现场照相机的不稳定性，目标的性质(人为或结构特征)和光照变化导致位移监测失败的问题，而且还具有安装简单，便于操作，可视化强等优点，适用于桥梁结构健康监测领域。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种面向野外刚体目标的实时鲁棒位移监测方法，其特征在于，包括如下步骤：
步骤一、标定相机的内部参数与外部参数；
步骤二、使用相机采集刚体目标的图像作为参考图像，在参考图像上分别选择感兴趣区、基准区和监测区，感兴趣区包含基准区和监测区；
步骤三、通过Shi-Tomasi角点检测算法分别提取基准区和监测区内的角点作为POI，并保存POI的属性；POI属性包括角点坐标、角点对应的id编号、区分基准区和监测区角点的标志位；
步骤四、以POI坐标为中心N*N大小的图像块作为参考子集；
步骤五、以相机实时采集的图像作为监测图像，基于参考子集，搜索监测图像中具有最高相关系数的目标子集，计算参考图像和监测图像之间的位移变化，实现刚体目标位移的监测；
所述计算参考图像和监测图像之间的位移变化包括如下步骤：
5.1)通过FFT-CC计算监测图像内POI的整像素位移；
5.2)校验FFT-CC计算输出的POI的整像素位移，判断监测图像是否有异常情况，若有异常情况，则进行步骤5.3)，否则直接进行步骤5.4)；
5.3)对异常情况进行鲁棒处理；
5.4)通过IC-GN计算监测图像内POI的亚像素位移；
5.5)将POI的像素位移转换成物理位移，得到刚体目标在实际场景中的物理位移量。
2.如权利要求1所述的面向野外刚体目标的实时鲁棒位移监测方法，其特征在于，所述步骤三包括如下步骤：
3.1)通过Shi-Tomasi角点检测算法提取基准区内的角点，删除质量低于预设质量水平的角点，设相邻两个角点之间的最短距离为minDis并且角点数目的最大值为n；按角点质量对角点进行降序排列，遍历排序后的角点；首先选取质量最高的角点，然后将与质量最高的角点的距离小于minDis的角点删除；然后选取质量第二高的角点，将与质量第二高的角点的距离小于minDis的角点删除，按照上述步骤依次进行，最后返回n个最佳角点后将剩余角点均删除；
3.2)按步骤3.1的步骤提取得到监测区内的角点；
3.3)将基准区内的角点和监测区内的角点作为POI。
3.如权利要求1所述的面向野外刚体目标的实时鲁棒位移监测方法，其特征在于，步骤5.2)中，判断是否出现异常情况的步骤如下：
步骤5.2.1)通过Delaunay三角剖分算法构建参考图像基准区和监测区POI点集的Delaunay三角网，保存构成Delaunay三角形的POI索引和对应的Delaunay三角边；
步骤5.2.2)遍历基准区离散POI构造的Delaunay三角形所有的Delaunay三角边，获取Delaunay三角边对应的两个POI索引；
步骤5.2.3)通过POI索引查找监测图像中对应的两个POI的坐标，设两个POI坐标分别为(x1,y1),(x2,y2)，FFT-CC计算的整像素位移分别为(u1,v1),(u2,v2)，更新监测图像中对应的两个POI坐标分别为(x1+u1,y1+v1),(x2+u2,y2+v2)，计算监测图像中更新后的两个POI之间的距离与参考图像对应Delaunay三角边长b比较，满足/>则将POI的整像素位移标记为有效值，否则为无效值，统计有效值的数目；
步骤5.2.4)若FFT-CC计算的POI的整像素位移为有效值的数目大于阈值min_T，min_T为最小POI的整像素位移有效值数目，则计算步骤5.2.3)中标记为有效值的POI的整像素位移均值，并将均值赋值给标记为无效值的POI的整像素位移，进入IC-GN计算POI的亚像素位移子模块；否则监测图像为无效帧，将异常状态标记为invalid_tagImg，并统计连续无效帧的数目invalidNum；如果invalidNum<invalidT，则进行步骤5.3)，否则将异常状态标记为need_update_refImg，并更新参考图像；invalidT表示监测图像在预设的异常时间范围内，可恢复的最大连续无效帧数目。
4.如权利要求3所述的面向野外刚体目标的实时鲁棒位移监测方法，其特征在于，步骤5.2)中，所述异常情况包括如下情况：情况1：由于网络或外界因素影响，视频帧出现花屏、卡顿、监测区域被遮挡的情况，监测图像短时间内异常，可恢复；情况2：人为或结构特征的影响导致刚体目标纹理发生变化，参考图像与监测图像差异太大；情况3：日夜交替光照变化太大，参考图像与监测图像差异太大；情况4：相机发生偏移，导致视场发生变化，监测对象还在视场内；情况5：采集设备发生偏移，导致视场发生变化，监测对象不在视场内。
5.如权利要求3所述的面向野外刚体目标的实时鲁棒位移监测方法，其特征在于，所述步骤5.3)对异常情况进行鲁棒处理的步骤如下:
步骤5.3.1)分别提取参考图像和监测图像中OBR特征点并匹配，剔除掉误匹配；
步骤5.3.2)区分匹配的OBR特征点是在监测区、基准区还是背景区，统计基准区和监测区内匹配的OBR特征点数目，记为Ptstg_count，统计背景区内OBR特征点数目，记为Ptsbg_count；
步骤5.3.3)进行第一判断：是否Ptsbg_count+Ptstg_count＜thre1，第一判断为是则表示当前场景发生了视角变化，刚体目标不在视场内，需要人工干预，将异常状态标记为need_manual_intervention，退出当前过程；thre1表示监测区、基准区和背景区OBR特征点匹配数目的最小阈值；
步骤5.3.4)第一判断为否，则进行第二判断：是否Ptstg_count＜thre2，第二判断为是则表示刚体目标纹理发生了变化，更新参考图像，将异常状态标记为need_update_refImg，并更新参考图像；thre2表示监测区和基准区内OBR特征点匹配数目的最小阈值；
步骤5.3.5)第二判断为否，则进行第三判断：是否Ptsbg_count＞thre2且Ptstg_count＞thre2，第三判断为是则表示当前视场发生了角度和平移的更改，将异常状态标记为need_update_pose，并更新相机位姿；
步骤5.3.6)若第三判断为否，则进行第四判断：是否Rw2c_new＜thre3，第四判断为是则目标纹理发生了变化，将异常状态标记为need_update_refImg，并更新参考图像；thre3表示角度的误差，设为小于3的数值；
步骤5.3.7)若第四判断为否，则表示当前视场发生了角度和平移的更改，将异常状态标记为need_update_pose，并更新相机位姿。
6.如权利要求5所述的面向野外刚体目标的实时鲁棒位移监测方法，其特征在于，所述更新相机位姿的步骤如下所示：通过更新相机外参矩阵，更新POI的坐标：
所述的更新相机外参矩阵具体过程为：首先，提取参考图像和监测图像ORB特征点并匹配，筛选匹配点对，遍历匹配点对的最大距离max_D；如果匹配点对之间的距离大于0.3*max_D，即为误匹配，去除误匹配点；然后，通过参考图像和监测图像中OBR特征点匹配的点集计算本质矩阵；分解本质矩阵恢复相机的运动，得到旋转矩阵变换矩阵和平移向量变换矩阵；基于变换前后匹配的OBR特征点的坐标、相机的外部参数旋转矩阵和平移向量，视场发生角度和平移更改时产生的旋转矩阵变换矩阵和平移向量变换矩阵，计算得到视场发生角度和平移更改后相机的旋转矩阵和平移向量：
其中，Rw2c_old，tw2c_old分别表示视场发生角度和平移更改前相机的旋转矩阵和平移向量；Rold2new，told2new分别表示视场发生角度和平移更改时产生的旋转矩阵变换矩阵和平移向量变换矩阵；Rw2c_new，tw2c_new分别表示视场发生角度和平移更改后相机的旋转矩阵和平移向量；表示匹配的OBR特征点的世界坐标，/>表示视场发生角度和平移更改前匹配的OBR特征点的相机坐标，/>表示视场发生角度和平移更改后匹配的OBR特征点的相机坐标；
所述的更新POI的坐标的步骤为：通过参考图像和监测图像中匹配的OBR特征点计算最优单应矩阵Hold2new，更新POI的坐标：
所述更新参考图像的步骤如下：退出参考图像和监测图像之间位移变化的计算，将当前跟踪失败的监测图像作为参考图像，重新计算更新后参考图像和监测图像之间的位移变化。
7.如权利要求5所述的面向野外刚体目标的实时鲁棒位移监测方法，其特征在于，所述步骤5.5)中，将像素位移转换成物理位移包括如下步骤：
5.5.1)将图像中的像素点换算成实际环境中的物理位置；
5.5.2)异面位移计算；
所述步骤5.5.1)中，图像中的像素点换算成实际环境中的物理位置包括如下步骤：
获取图像中某一点坐标计算坐标/>在图像所在平面坐标系中的实际位置，首先利用畸变参数矩阵计算/>去除畸变后的像素点坐标/>随后通过相机的内参矩阵K将转换为相机坐标系下的齐次形式/>将/>在相机坐标系中坐标/>转化为监测平面内的世界坐标/>所述监测平面即监测区所在的平面；由于标定板的厚度d会影响真实的监测平面与相机坐标系之间关系参数，相机外部参数公式如式3所示；
R表示旋转矩阵，表示去除畸变后的像素点坐标的齐次形式，t表示平移向量；
通过外参数矩阵将相机坐标系原点OC:[0,0,0]T，转换到世界坐标系中表示为最后通过点/>与点[X'W,Y'W,Z'W]T的直线，计算直线与监测平面ZW＝0的交点：
式4中，[XW,YW,ZW]T就是像素点[x,y]T对应的监测平面内投影点坐标；经过上述计算，即完成了像素点到实际环境中物理位置的换算；
所述步骤5.5.2)中，异面位移计算包括如下步骤：
监测平面、基准平面世界坐标系与相机坐标系之间关系描述如下：
式5中，(Rbase_w2c,tbase_w2c)表示相机关于基准平面标定板的外参，(Rmonitor_w2c,tmonitor_w2c)表示相机关于监测平面标定板的外参；dbase代表基准平面放置标定板的厚度，dmonitor代表基准平面放置标定板的厚度，是基准平面坐标系中点的坐标值，是监测平面坐标系中点的坐标值，/>则为这些点在相机坐标系中的对应坐标；
根据式5，以相机坐标系为中继，将监测平面内点在基准平面所在世界坐标系中进行表示，基准平面与监测平面坐标转换关系如式6所示：
式6中，(Rm2b,tm2b)代表着监测平面坐标系于基准平面坐标系之间的旋转矩阵和平移向量，是Rmonitor_w2c的第三列，/>则是Rbase_w2c第三列；
通过式6，将异面监测不同平面上的点，统一到基准平面所在的坐标系内进行表示；设监测平面内监测点A的坐标记为[baseX'W,baseY'W,baseZ'W],监测点A在基准平面上的投影点C坐标即为[baseX'W,baseY'W,0],基准平面内的基准点B的坐标记为：[baseXW,baseYW,0]，监测点A和基准点B的坐标都统一到了基准平面坐标系,计算监测点相对于基准点的位移可表示为：[baseX'W-baseXW,baseY'W-baseYW,0]，通过上述过程实现异面位移计算。
8.一种面向野外刚体目标的实时鲁棒位移监测系统，其特征在于，包括图像采集模块、上位机参数设置模块、嵌入式DIC位移分析模块、位移数据输出显示模块；其中，上位机参数模块包括相机标定子模块、POI设置子模块、更新下位机子模块；嵌入式DIC位移分析模块包括加载参数子模块、自动提取POI子模块、位移计算子模块、位移输出子模块；
所述图像采集模块用于通过网络摄像机获取刚体目标图像并生成图像信息；
所述上位机参数设置模块用于设置相机内外参数和进行DIC位移计算所需的参数；
所述的相机标定子模块用于相机标定图像采集、相机内外标定参数计算、相机内外参数保存；
所述的相机标定图像采集包括如下步骤：上位机通过视频流地址连接网络摄像机，在监测目标附近多角度多方位移动带有Aruco二维码的棋盘格的标定板，操作上位机进行网络摄像机内外参标定图像的采集，根据野外场景确定基准平面和监测平面；基准平面为刚体目标所在视野内相对静止的参照平面，即基准区所在平面，所述监测平面为刚体目所在的平面，即监测区所在平面，标定板贴合基准平面和监测平面分别采集基准平面外参图像和监测平面外参图像；
所述的相机内外标定参数计算是采用张正友提出的相机标定方法，对相机的内部参数与外部参数进行标定，得到相机内部参数和畸变参数矩阵，以及相机关于基准平面的外部参数矩阵和关于监测平面的外部参数矩阵；
所述的POI设置子模块用于设置需要进行位移计算的区域即监测区和基准区；具体操作为上位机打开网络摄像机读取第一帧作为参考图像，在参考图像上选取ROI、基准区和监测区，并记录对应坐标；在参考图像的监测区和基准区内提取POI，以POI为中心的N*N图像块作为参考子集；
所述的嵌入式DIC位移分析模块是嵌入式开发板上烧录的DIC位移分析模块，用于对网络摄像机采集的刚体目标图像数据进行解码并计算刚体目标的实时位移。
CN202110169245.7A 2021-02-07 2021-02-07 一种面向野外刚体目标的实时鲁棒位移监测方法及系统 Active CN112967312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110169245.7A CN112967312B (zh) 2021-02-07 2021-02-07 一种面向野外刚体目标的实时鲁棒位移监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110169245.7A CN112967312B (zh) 2021-02-07 2021-02-07 一种面向野外刚体目标的实时鲁棒位移监测方法及系统

Publications (2)

Publication Number Publication Date
CN112967312A CN112967312A (zh) 2021-06-15
CN112967312B true CN112967312B (zh) 2023-10-27

Family

ID=76275220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110169245.7A Active CN112967312B (zh) 2021-02-07 2021-02-07 一种面向野外刚体目标的实时鲁棒位移监测方法及系统

Country Status (1)

Country Link
CN (1) CN112967312B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359395B (zh) * 2022-03-18 2022-06-07 南京航空航天大学 用于锥套主动增稳的位置监测光学参考系统及其实现方法
CN115690150B (zh) * 2022-09-30 2023-11-03 浙江大学 一种基于视频的多目标位移跟踪监测方法及装置
CN115993094B (zh) * 2023-03-01 2023-09-12 大连交通大学 一种基于ccd相机的大型膜结构屋顶位移监测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102340495B1 (ko) * 2014-07-14 2021-12-16 지고 코포레이션 스펙트럼 분석을 사용하는 간섭측정식 인코더

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目视觉的基坑位移监测方案;孙懋珩;王欣;;计算机工程与设计(01);全文 *

Also Published As

Publication number Publication date
CN112967312A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112967312B (zh) 一种面向野外刚体目标的实时鲁棒位移监测方法及系统
Feng et al. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection–A review
Shao et al. Computer vision based target-free 3D vibration displacement measurement of structures
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
KR100886439B1 (ko) 물체 상태를 추정하는 추정 시스템, 추정 방법, 및 추정프로그램
CN109373912A (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
Harvey Jr et al. Vision‐based vibration monitoring using existing cameras installed within a building
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
Ye et al. An improved subpixel phase correlation method with application in videogrammetric monitoring of shaking table tests
Kohut et al. An uncertainty propagation in developed vision based measurement system aided by numerical and experimental tests
WO2008075632A1 (ja) 複眼測距装置の検査方法および検査装置並びにそれに用いるチャート
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
JPH1089960A (ja) 三次元画像計測方法
CN110532725B (zh) 基于数字图像的工程结构力学参数识别方法及系统
Wang et al. Vision technique for deflection measurements based on laser positioning
CN112525326A (zh) 一种无标记结构三维振动的计算机视觉测量方法
CN116839539A (zh) 一种用于隧道工程建设的自动监控量测系统
CN116363302A (zh) 一种基于多视角几何的管道三维重建和坑洞量化方法
WO2009107365A1 (ja) 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート
CN114266835A (zh) 一种非量测相机的变形监测控制方法与系统
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法
Guo et al. Displacement filed calculation of large-scale structures using computer vision with physical constrains
JP5359477B2 (ja) 道路領域推定装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant