CN113295701A - 基于数字图像对剪力墙损伤的测量方法、设备和介质 - Google Patents

Abstract

本发明涉及基于数字图像对剪力墙损伤的测量方法，包括以下步骤：设置采集剪力墙图像的相机，基于相机的响应函数和渐晕函数标定相机的响应和渐晕；获取用于计算任意点从前一帧的参考图像到后一帧的现时图像位置变化的相关函数以及基于光照影响的目标点像素变化的DIC数字图像相关模型；通过进行光度标定的相机采集所述剪力墙的视频，从视频中获取前后两帧图像，设定图像捕捉窗口的大小，通过基于光照影响的目标点像素变化的DIC数字图像相关模型和相关函数捕捉剪力墙全局目标点的像素变化和位置变化，并根据全局目标点的像素变化和位置变化计算全局目标点的应变变化；根据全局目标点的应变变化生成实时的剪力墙的损伤标识。

Description

基于数字图像对剪力墙损伤的测量方法、设备和介质

技术领域

本发明涉及基于数字图像对剪力墙损伤的测量方法、设备和介质，属于预制凝土剪力墙损伤检测和图像处理技术领域。

背景技术

数字图像相关技术是一种基于图像处理和数值计算的非干涉光学测量获取变形信息的方法，数字图像相关方法通过采集视频图像，并对视频图像前后帧所拍摄的被测结构的变形进行处理，从视频图像中计算出被测结构变形的大小，进而进一步计算出被测结构的应变场，变形前的视频图像通常称为参考图像，变形后的视频图像称为现时图像。数字图像相关技术又被称为数字散斑相关法，但它与其它基于相干光波干涉原理的光测方法(比如电子散斑干涉、云纹干涉法等)不同，数字图像相关技术是现代光测量力学领域内最受关注、最活跃且最具应用前景的测量方法之一。数字图像相关方法能够测量被测对象的表面任意一点的位移和应变，因此，数字图像相关技术在微观与宏观试验与计算都得到了大量的应用，并在匹配算法、工程应用中取得了一定的进展。

光强分布是光照本身的不均匀性、曝光时间、图像采集设备响应以及光学镜头本身的结构共同作用下的结果。数字图像相关技术在实际使用中可能会出现光照对成像的影响因素主要分为光照的改变、曝光时间、图像采集设备响应函数的非线性和光学晕影带来的光强不均匀；光学晕影是由一个或多个透镜的实际尺寸造成的，前方的透镜遮住了后方透镜，导致后方透镜在离轴的有效入射光减少，其光的强度由图像中心向周围逐渐减弱，输入的曝光量和输出的亮度值之间的关系称为响应函数，响应函数一般来说是非线性的。

对于室内实验，光照的改变一般可以采用均匀的灯，可以大大减小光照的影响；曝光时间一般可以通过硬件控制，维持一个稳定的曝光时间，也就是说光照的改变和曝光时间这两个影响因素是可以通过实验环境的改变来尽量满足，但是对于剪力墙的损伤测量实验，由于装配式混凝土剪力墙尺寸较大且所需时间较长，保持光照稳定是非常困难的，实验室通过灯来补充光照强度，这势必就会在装配式剪力墙表面出现光照不均匀的情况，使用常规的数字图像相关技术难以满足测量要求，会造成光照不均匀现象引起较大的测量误差，进而影响计算精度。

发明内容

为了解决上述现有技术中存在的问题，本发明提出了基于数字图像对剪力墙损伤的测量方法，解决光照影像导致的测量精度问题。

本发明的技术方案如下：

技术方案一：

基于数字图像对剪力墙损伤的测量方法，包括以下步骤：

光度标定，设置采集剪力墙图像的相机，基于相机的响应函数和渐晕函数标定相机的响应和渐晕；

建立基于光照鲁棒性的目标点像素追踪模型，在相机坐标系中确定任意点从前一帧的参考图像到后一帧的现时图像位置变化的相关函数：

上式中，u、v分别为参考图像的中点在现时图像中的水平和竖向位移，(x_refc，y_redc)和(x_refi,y_refj)分别表示参考图像的中心点A和任意一点B坐标。

和

分别表示参考图像的中心点A和任意一点B在现时图像中的位置；

基于相关函数计算相关系数的计算式为:

其中：

在图像中选定的窗口小范围内，将光照近似看作为线性变化，则考虑光照影响的目标点像素变化关系式为：

通过IC-GN反向合成高斯-牛顿算法对上式进行推导，得出基于光照影响的目标点像素变化的DIC数字图像相关模型；

剪力墙损伤测量，通过进行光度标定的相机采集所述剪力墙的视频，从视频中获取前后两帧参考图像和现时图像，设定图像捕捉窗口的大小，通过基于光照影响的目标点像素变化的DIC数字图像相关模型获取现时图像中图像捕捉窗口内的n个目标点相对于参考图像中捕捉窗口内对应的n目标点的像素变化，并基于相关函数确定现时图像中图像捕捉窗口内的n个目标点的位置变化；设置若干图像捕捉窗口覆盖视频图像中的剪力墙所在的区域，捕捉剪力墙全局目标点的像素变化和位置变化，并根据全局目标点的像素变化和位置变化计算全局目标点的应变变化；根据全局目标点的应变变化生成实时的剪力墙的损伤标识。

进一步的，所述通过IC-GN反向合成高斯-牛顿算法对上式进行推导，得出基于光照影响的目标点像素变化的DIC数字图像相关模型的具体步骤为：

将考虑光照影响的目标点像素变化关系式按照矩阵形式描述为：

Q(ξ_refc+w(Δξ_ref；Δp))；

其中：

假定：

相关系数的梯度表示为：

从而得到Hessian矩阵为：

然后通过高斯-牛顿法假定：

从而得到IC-GN反向合成高斯-牛顿算法的梯度和hessian矩阵计算公式：

进一步将其展开分别表示为：

进一步的，所述基于相机的响应函数和渐晕函数标定相机的响应和渐晕的步骤为：

确定具体的光度标定模型如下：

I(x)＝G(tV(x)B(x))；

式中G为相机的响应函数，V(x)为归一化的渐晕函数，B(x)是辐射照度，I(x)是相机拍摄的图像；

将相机固定，对一个静止的场景来说，因其辐射照度B(x)认为是不变的，逐渐调整曝光时间，得到了一系列的不同曝光时间的图像，对于相机来说，归一化的渐晕函数也是不变的，因此可以将上式写为：

I(x)＝G(tB′(x))；

式中B′(x)＝V(x)B(x)，将响应函数的反函数写为U：＝G^-1，则对于上述公式：

通过最大似然函数估计，给出如下最小二乘的形式：

E(U,B′)＝∑_i∑_x∈Ω(U(I_i(x))-t_iB′(x)²；

对上式求极小值，通过轮流最小化求解U和B′，因此：

上式中k表示像素值，范围0～255，Ω_k为像素总数；第一个公式描述的是在不同曝光时间和位置下对应的像素值k的响应函数的反函数；第二个公式描述的是图片某个位置x处在不同曝光时间下的值，见下式：

∑_i∑_x∈Ω′(U(k)-t_iB′(x))＝∑_i∑_x∈Ω′U(k)-∑_i∑_x∈Ω′t_iB′(x)＝∑_x∈Ω′U(k)-∑_x∈Ω′t_iB′(x)＝0；

式中，Ω′：＝{x|I_i(x)＝k}，是对第i帧图像的所有像素值为k的像素点的融合，而这里Ω_k：＝{i,x|I_i(x)＝k}是所有图像中，像素值等于k的像素点的集合；

对于B′(x)同理，把B′(x)分开，转换得到：

E(U,B′)＝∑_x∈Ω′∑_i(U(k)-t_iB′(x))²；

则分别对每一个B′(x)求偏导，也就是对E(U,B′,x)中的B′(x)求偏导，得到：

基于以上函数绘制相机的响应曲线和渐晕曲线，并根据响应曲线和渐晕曲线标定相机的响应的渐晕。

技术方案二：

基于数字图像对剪力墙损伤的测量设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如技术方案一所述的方法。

技术方案三：

基于数字图像对剪力墙损伤的测量介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如技术方案一所述的方法。

本发明具有如下有益效果：

本发明针对剪力墙属于大型被测结构，具有光照不均匀现象，提出了具有光强鲁棒性数字图像相关方法，通过该方法研究预制混凝土剪力墙损伤行为，建立基于光照鲁棒性的目标点像素追踪模型，能够很好的抑制光照的影响。

附图说明

图1为本发明一实施例的流程图；

图2为本发明一实施例中目标点在参考图像和现时图像变化的示意图；

图3为本发明一实施例中基于散斑生成算法模拟生成的散斑图像示例图；

图4和图5为本发明一实施例中考虑光照影响和不考虑光照影响下的应变云图对比示例图；

图6为本发明一实施例中相机的响应函数曲线示例图；

图7为本发明一实施例中相机的渐晕函数曲线示例图；

图8为本发明一实施例中剪力墙的结构示意图；

图9为本发明一实施例中实验系统的系统示意图；

图10为本发明一实施例中实验结果中呈现的应变云图变化示例图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一：

参见图1，基于数字图像对剪力墙损伤的测量方法，包括以下步骤：

光度标定，设置采集剪力墙图像的相机，基于相机的响应函数和渐晕函数标定相机的响应和渐晕；

建立基于光照鲁棒性的目标点像素追踪模型，在相机坐标系中确定任意点从前一帧的参考图像到后一帧的现时图像位置变化的相关函数：

参见图2，上式中，u、v分别为参考图像的中点在现时图像中的水平和竖向位移，(x_refc,y_refc)和(x_refi,y_refj)分别表示参考图像的中心点A和任意一点B坐标。

和

分别表示参考图像的中心点A和任意一点B在现时图像中的位置，用A′和B′表示。

基于相关函数计算相关系数的计算式为:

其中：

上述的相关函数对目标子区域灰度的平移和缩放是不敏感的，例如对子区域图像做g′(x,y)＝ag(x,y)+b，其中a、b是常量系数。但是当子区域图像受光照影响时，可能会出现旋转，该函数不能很好的进行计算，上述图像所描述的光强分布是非线性的，然而在计算窗口小范围内，可以近似将光照看作是线性变化的。因此考虑光照影响的目标点像素变化关系式为：

通过IC-GN反向合成高斯-牛顿算法对上式进行推导，得出基于光照影响的目标点像素变化的DIC数字图像相关模型；

剪力墙损伤测量，通过进行光度标定的相机采集所述剪力墙的视频，从视频中获取前后两帧参考图像和现时图像，设定图像捕捉窗口的大小，通过基于光照影响的目标点像素变化的DIC数字图像相关模型获取现时图像中图像捕捉窗口内的n个目标点相对于参考图像中捕捉窗口内对应的n目标点的像素变化，并基于相关函数确定现时图像中图像捕捉窗口内的n个目标点的位置变化；设置若干图像捕捉窗口覆盖视频图像中的剪力墙所在的区域，捕捉剪力墙全局目标点的像素变化和位置变化，并根据全局目标点的像素变化和位置变化计算全局目标点的应变变化；根据全局目标点的应变变化生成实时的剪力墙的损伤标识，本实施例中，损伤标识为颜色标签。

进一步的，所述通过IC-GN反向合成高斯-牛顿算法对上式进行推导，得出基于光照影响的目标点像素变化的DIC数字图像相关模型的具体步骤为：

将考虑光照影响的目标点像素变化关系式按照矩阵形式描述为：

Q(ξ_refc+w(Δξ_ref；Δp))；

其中：

假定：

相关系数的梯度表示为：

从而得到Hessian矩阵为：

然后通过高斯-牛顿法假定：

从而得到IC-GN反向合成高斯-牛顿算法的梯度和hessian矩阵计算公式：

进一步将其展开分别表示为：

通过上述的推导，得到了基于光照影响的目标点像素变化的DIC数字图像相关模型，这里需要求解8×8的Hessian矩阵，相比与不考虑光照影响的IC-GN算法(6×6Hessian矩阵)来说有了一定量的增加。计算中，首先选择图像捕捉窗口的大小，然后在现实图像中进行整像素搜索，计算相似度最高的子窗口在现实图像中的位置，接着利用上述理论和IC-GN算法进行计算。

为了验证基于光照影响的目标点像素变化的DIC数字图像相关模型对光强影响的有效性，首先采用数值实验，通过散斑生成算法模拟一组具有光照影响的散斑图，将散斑图(大小201X201)以图像中心沿着水平方向α从0.001到0.01变化，步长0.001，β＝0，所有的散斑图的应变和位移均为0，模拟生成的散斑图如图3所示。

通过考虑光照影响和未考虑光照影响对具有光照分布的图像进行位移和应变计算，图像捕捉窗口均采用15X15大小。

图4为β＝0时，不同α下得到的y方向应变云图(第一行为未考虑光照影响，第二行未考虑光照影响)；图5为β＝0时，不同α下得到的x方向应变箱线图(每个图中左侧的箱线图为未考虑光强影响，右侧的箱线图为考虑光强影响)；

通过对未考虑光强影响和考虑光强影响的计算可以明显看出，未考虑光强影响时其计算结果受到光照影响比较大，造成数据波动，其应变云图可以明显看到色彩分布不均匀，但是其箱线图中中位数两种方法还是能够比较好的吻合，但是从25％和75％的四分位数对比，未考虑光强影响的数据分布的离散程度明显高于考虑光强影响的数据分布，离群数据也是非常明显的体现出同样的特征。从对比可以看出，在计算窗口中将光强看成是线性分布的情况能很好的控制光强对应变计算的影响。

本实施例中，所述基于相机的响应函数和渐晕函数标定相机的响应和渐晕的步骤为：

数字图像相关技术(DIC)在实际使用中可能会出现光照对成像的影响因素主要分为四类：(1)光照的改变；(2)曝光时间；(3)图像采集设备响应函数的非线性；(4)光学晕影带来的光强不均匀。

有关光照的改变，学者们做了大量的研究，对于室内实验，一般可以采用均匀的灯，可以大大减小光照的影响。曝光时间，一般可以通过硬件控制，维持一个稳定的曝光时间。也就是说前两个是可以通过一些改变来尽量满足，但是对于一些大型的、时间较长的实验，保持光照稳定是非常困难的。

光学晕影是由一个或多个透镜的实际尺寸造成的，前方的透镜遮住了后方透镜，导致后方透镜在离轴的有效入射光减少，其光的强度由图像中心向周围逐渐减弱。输入的曝光量和输出的亮度值之间的关系称为响应函数(Response function)。响应函数一般来说是非线性的，为了能够更加准确的得到实验图像，去除光照的影响，这里引入了相机传感器非线性响应函数标定的方法，称为光度标定(Photometric camera calibration)。具体的光度标定模型如下：

I(x)＝G(tV(x)B(x))；

式中G为相机的响应函数，V(x)为归一化的渐晕(vignette)函数，B(x)是辐射照度(irradiance image)，I(x)是相机拍摄的图像。

为了标定上述方程，将相机固定，对一个静止的场景来说，因此其辐射照度B(x)认为是不变的，然后逐渐调整曝光时间，这样就得到了一系列的不同曝光时间的图像，对于相机来说，归一化的渐晕函数也是不变的，因此可以将上式写为：

I(x)＝G(tB′(x))；

式中B′(x)＝V(x)B(x)，将响应函数的反函数写为U：＝G^-1，则对于上述公式：

通过最大似然函数估计，给出如下最小二乘的形式：

E(U,B′)＝∑_i∑_x∈Ω(U(I_i(x))-t_iB′(x)²；

上式中第一个求和是对不同曝光时间t_i下的所有图像，第二个求和是对同一曝光时间t_i下的所有像素点。对上式求极小值，通过轮流最小化求解U和B′，因此：

上式中k表示像素值，范围0～255，Ω_k为像素总数。第一个公式描述的是在不同曝光时间和位置下对应的像素值k的响应函数的反函数。第二个公式描述的是图片某个位置x处在不同曝光时间下的值，见下式：

∑_i∑_x∈Ω′(U(k)-t_iB′(x))＝∑_i∑_x∈Ω′U(k)-∑_i∑_x∈Ω′t_iB′(x)＝∑_x∈Ω′U(k)-∑_x∈Ω′t_iB′(x)＝0；

式中，Ω′：＝{x|I_i(x)＝k}，是对第i帧图像的所有像素值为k的像素点的融合，而这里Ω_k：＝{i，x|I_i(x)＝k}是所有图像中，像素值等于k的像素点的集合；

对于B′(x)同理，把B′()分开，转换得到：

E(U，B′)＝∑_x∈Ω′∑_i(U(k)-t_iB′(x))²；

则分别对每一个B′(x)求偏导，也就是对E(U，B′，x)中的B′(x)求偏导，得到：

参见图6和图7，图6为相机的响应曲线，图7为相机的渐晕曲线，基于以上函数绘制相机的响应曲线和渐晕曲线，并根据响应曲线和渐晕曲线标定相机的响应的渐晕。

通过标定V和G，就可以得到公式如下：

I′_i(x)表示图像I_i(x)光度标定后的图像。

为了验证本实施例的精确度，本实施例进行了混凝土剪力墙的压力实验：

实验采用带水平连接的装配式混凝土剪力墙，其钢连接件中的内嵌板采用T型钢，并在内嵌板两侧焊接螺栓以增强其与其他结构的锚固强度。其构件配筋如图8所示，纵向/横向分布钢筋采用Φ8@100(HRB400),0.67％，构造边缘构件配筋Φ10@40(HRB400)，锚固区长度Φ8@50(HRB400)。在实验室进行实验时，由于装配式混凝土剪力墙尺寸较大，实验室通过灯来补充光照强度，这势必就会在装配式剪力墙表面出现光照不均匀的情况，因此，通过本文提出的基于光强鲁棒性的数字图像相关方法来解决光照的影响是非常合适的。

实验中将装配式混凝土剪力墙的底部梁结构与反力架通过螺栓进行连接，水平力通过千斤顶进行加载，顶部压力通过安装在反力架上的千斤顶来进行加载，具体示意图如图9所示。通过相机对装配式混凝土剪力墙的某一个面进行拍摄图像，并通过本实施例提出的基于数字图像对剪力墙损伤的测量方法来进行处理，具体的计算结果如图10所示。这里列出了水平力与顶部压力的位移角是1/400，1/200，1/100和1/37四种情况的装配式剪力墙应变云图，在位移角为1/400时，此时结构还处于加载的初始阶段，此时的应变基本一致。当位移角加载到1/200时，此时在剪切和弯曲变形的受力状态下出现了一条裂纹。随着继续加载，当位移角达到1/100时，又增加了两条裂纹，当位移角达到1/37时，出现了更多的裂纹。这些裂纹位于左侧分布，由于是带水平连接的装配式混凝土剪力墙，其破坏不仅仅只是位于底部出现塑性铰，从这个实验可以看出，其出现塑性铰的区域范围更大，避免了局部的脆性破坏。通过实验可以看出，通过本实施例提出的方法来进行处理能够得到清晰可见的裂纹形状，消除了光照的影响。

实施例二：

基于数字图像对剪力墙损伤的测量设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的方法。

实施例三：

基于数字图像对剪力墙损伤的测量介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任一实施例所述的方法。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.基于数字图像对剪力墙损伤的测量方法，其特征在于，包括以下步骤：

光度标定，设置采集剪力墙图像的相机，基于相机的响应函数和渐晕函数标定相机的响应和渐晕；

建立基于光照鲁棒性的目标点像素追踪模型，在相机坐标系中确定任意点从前一帧的参考图像到后一帧的现时图像位置变化的相关函数：

上式中，u、v分别为参考图像的中点在现时图像中的水平和竖向位移，(x_refc，y_refc)和(x_refi，y_refj)分别表示参考图像的中心点A和任意一点B坐标。

和

分别表示参考图像的中心点A和任意一点B在现时图像中的位置；

基于相关函数计算相关系数的计算式为：

其中：

在图像中选定的窗口小范围内，将光照近似看作为线性变化，则考虑光照影响的目标点像素变化关系式为：

通过IC-GN反向合成高斯-牛顿算法对上式进行推导，得出基于光照影响的目标点像素变化的DIC数字图像相关模型；

剪力墙损伤测量，通过进行光度标定的相机采集所述剪力墙的视频，从视频中获取前后两帧参考图像和现时图像，设定图像捕捉窗口的大小，通过基于光照影响的目标点像素变化的DIC数字图像相关模型获取现时图像中图像捕捉窗口内的n个目标点相对于参考图像中捕捉窗口内对应的n目标点的像素变化，并基于相关函数确定现时图像中图像捕捉窗口内的n个目标点的位置变化；设置若干图像捕捉窗口覆盖视频图像中的剪力墙所在的区域，捕捉剪力墙全局目标点的像素变化和位置变化，并根据全局目标点的像素变化和位置变化计算全局目标点的应变变化；根据全局目标点的应变变化生成实时的剪力墙的损伤标识。

2.根据权利要求1所述的基于数字图像对剪力墙损伤的测量方法，其特征在于，所述通过IC-GN反向合成高斯-牛顿算法对上式进行推导，得出基于光照影响的目标点像素变化的DIC数字图像相关模型的具体步骤为：

将考虑光照影响的目标点像素变化关系式按照矩阵形式描述为：

Q(ξ_refc+w(Δξ_ref；Δp))；

其中：

假定：

相关系数的梯度表示为：

从而得到Hessian矩阵为：

然后通过高斯-牛顿法假定：

从而得到IC-GN反向合成高斯-牛顿算法的梯度和hessian矩阵计算公式：

进一步将其展开分别表示为：

3.根据权利要求1所述的基于数字图像对剪力墙损伤的测量方法，其特征在于，所述基于相机的响应函数和渐晕函数标定相机的响应和渐晕的步骤为：

确定具体的光度标定模型如下：

I(x)＝G(tV(x)B(x))；

式中G为相机的响应函数，V(x)为归一化的渐晕函数，B(x)是辐射照度，I(x)是相机拍摄的图像；

将相机固定，对一个静止的场景来说，因其辐射照度B(x)认为是不变的，逐渐调整曝光时间，得到了一系列的不同曝光时间的图像，对于相机来说，归一化的渐晕函数也是不变的，因此可以将上式写为：

I(x)＝G(tB′(x))；

式中B′(x)＝V(x)B(x)，将响应函数的反函数写为U：＝G^-1，则对于上述公式：

通过最大似然函数估计，给出如下最小二乘的形式：

E(U，B′)＝∑_i∑_x∈Ω(U(I_i(x))-t_iB′(x))²；

对上式求极小值，通过轮流最小化求解U和B′，因此：

上式中k表示像素值，范围0～255，Ω_k为像素总数；第一个公式描述的是在不同曝光时间和位置下对应的像素值k的响应函数的反函数；第二个公式描述的是图片某个位置x处在不同曝光时间下的值，见下式：

∑_i∑_x∈Ω′(U(k)-t_iB′(x))＝∑_i∑_x∈Ω′U(k)-∑_i∑_x∈Ω′t_iB′(x)＝∑_x∈Ω′U(k)-∑_x∈Ω′t_iB′(x)＝0；

式中，Ω′：＝{x|I_i(x)＝k}，是对第i帧图像的所有像素值为k的像素点的融合，而这里Ω_k：＝{i，x|I_i(x)＝k}是所有图像中，像素值等于k的像素点的集合；

对于B′(x)同理，把B′(x)分开，转换得到：

E(U，B′)＝∑_x∈Ω′∑_i(U(k)-t_iB′(x))²；

则分别对每一个B′(x)求偏导，也就是对E(U，B′，x)中的B′(x)求偏导，得到：

基于以上函数绘制相机的响应曲线和渐晕曲线，并根据响应曲线和渐晕曲线标定相机的响应的渐晕。

4.基于数字图像对剪力墙损伤的测量设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的方法。

5.基于数字图像对剪力墙损伤的测量介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3任一项所述的方法。

Images