CN115876365B - 基于运动综合亮度谱的拉索索力视觉测试方法、装置及介质 - Google Patents
基于运动综合亮度谱的拉索索力视觉测试方法、装置及介质 Download PDFInfo
- Publication number
- CN115876365B CN115876365B CN202211315121.6A CN202211315121A CN115876365B CN 115876365 B CN115876365 B CN 115876365B CN 202211315121 A CN202211315121 A CN 202211315121A CN 115876365 B CN115876365 B CN 115876365B
- Authority
- CN
- China
- Prior art keywords
- cable
- motion
- image
- inhaul cable
- vibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 151
- 238000001228 spectrum Methods 0.000 title claims abstract description 49
- 238000012360 testing method Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010998 test method Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000005315 distribution function Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010187 selection method Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 15
- 230000001133 acceleration Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000010183 spectrum analysis Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000007716 flux method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005481 string theory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于运动综合亮度谱的拉索索力视觉测试方法、装置及介质,所述方法包括:获取由第一拉索振动视频形成的第一图像序列,并进行预处理,得到第二图像序列;基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频;采用背景差分法计算第二拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的亮度差值,得到差分图像序列;针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力。本发明具有较强的测试和分析稳定性,同时兼具计算机视觉方法的低成本和操作方便的特点。
Description
技术领域
本发明涉及一种基于运动综合亮度谱的拉索索力视觉测试方法、装置、计算机设备及存储介质,属于结构健康监测领域。
背景技术
拉索是缆索承重结构中的重要受力构件,索力大小对于结构安全至关重要。传统的索力测试方法有压力传感器法[1]、磁通量法[2]、加速度法[3]等。其中,加速度法通过测量拉索表面的加速度响应,获取拉索的自振频率,用于计算索力[4],是工程应用最为广泛的索力测试方法[5-7]。然而,该法需要安装接触式加速度传感器和数据采集系统,存在安装困难、设备成本高和测量效率低等缺点[8]。
近年来,非接触式测试方案得到研究,通过特定技术获取拉索的振动信号,再经频谱分析获取自振频率。例如激光多普勒测振仪通过解调基于激光多普勒效应的频移信号,得到拉索的振动速度[9];雷达系统通过发射微波信号,测量拉索反射后的相位变化,得到拉索的振动位移[10]。这些非接触式测试方案虽然能够实现高精度的测量,但相关设备成本较高且操作复杂。
计算机视觉方法是另一种非接触式索力测试方案,因其具有低成本、使用灵活和单相机多点测量等优势[11],得到了重点关注。如Caetano等[12]应用光流方法跟踪拉索上一个小区域的位移时程,从而识别索力;Kim等[13]采用归一化互相关匹配算法,从监测视频中提取拉索的动态位移;Feng等[14]采用亚像素方向码匹配算法测量拉索的振动位移;Tian等[15]提出了一种基于无人机视觉的方法,利用改进的线段匹配算法提取拉索的动态位移;张宇航等[16]采用基于相位的欧拉运动放大算法,捕捉拉索的微小振动位移;Wangchuk等[17]采用同样的算法,通过离散化质心搜索法提取拉索的放大位移响应。综合而言,目前使用计算机视觉开展索力测试时,通常是通过视觉方法获取拉索上单个或几个点的位移时程,再开展频谱分析得到拉索的自振特性。相关方法虽然已取得了较好的效果,但仍存在一些不足:1)通常需要人工标记特征点,工作繁琐;2)根据图像变化来追踪特征点位移,测量的鲁棒性和精度不易保证;3)仅对若干特征点进行测量,空间分辨率有限。
参考文献如下:
[1]Wang D,Liu J,Zhou D,et al.Using PVDF piezoelectric film sensorsfor in situ measurement of stayed-cable tension of cable-stayed bridges[J].Smart Materials and Structures,1999,8(5):554.
[2]Christen R,Bergamini A,Motavalli M.Three-dimensional localizationof defects in stay cables using magnetic flux leakage methods[J].Journal ofNondestructive Evaluation,2003,22(3):93-101.
[3]苏成,徐郁峰,韩大建.频率法测量索力中的参数分析与索抗弯刚度的识别[J].公路交通科技,2005,22(5):75-78.
Su C,Xu Y F,Han D J.Parameter analysis and identification of cablebending stiffness in the frequency method of measuring cable force[J].Highwayand Transportation Science and Technology.2005,22(5):75-78.
[4]Fang Z,Wang J.Practical formula for cable tension estimation byvibration method[J].Journal of Bridge Engineering,2012,17(1):161-164.
[5]Cunha A,Caetano E,Delgado R.Dynamic tests on large cable-stayedbridge[J].Journal of Bridge Engineering,2001,6(1):54-62.
[6]Geier R,De Roeck G,Flesch R.Accurate cable force determinationusing ambient vibration measurements[J].Structure and InfrastructureEngineering,2006,2(1):43-52.
[7]Zarbaf S E H A M,Norouzi M,Allemang R J,et al.Ironton-russellbridge:application of vibration-based cable tension estimation[J].Journal ofStructural Engineering,2018,144(6):04018066.
[8]Straser E G,Kiremidjian A S,Meng T H.Modular,wireless damagemonitoring system for structures:U.S.Patent 6,292,108[P].2001-9-18.
[9]黄智德,谢谟文,杜岩,宋红克.激光测振仪在斜拉索索力检测中的应用研究[J].公路,2018,63(5):109-113.Huang Zhide,Xie Mowen,Du Yan,SongHongke.Application of laser doppler vibration in cable force detection[J].Highway,2018,63(5):109-113.
[10]王建,王翔,周智敏.微型桥梁索力测量毫米波雷达[J].国防科技大学学报,2022,44(2):118-122.WANG Jian,WANG Xiang,ZHOU Zhimin.Nano millimeter waveradar for bridge cable tension measurement[J].Journal of National Universityof Defense Technology,2022,44(2):118-122.
[11]Xu Y,Brownjohn J M W.Review of machine-vision based methodologiesfor displacement measurement in civil structures[J].Journal of CivilStructural Health Monitoring,2018,8(1):91-110.
[12]Caetano E,Silva S,Bateira J.A vision system for vibrationmonitoring of civil engineering structures[J].Experimental Techniques,2011,35(4):74-82.
[13]Kim S W,Jeon B G,Kim N S,et al.Vision-based monitoring system forevaluating cable tensile forces on a cable-stayed bridge[J].Structural HealthMonitoring,2013,12(5-6):440-456..
[14]Feng D,Scarangello T,Feng M Q,et al.Cable tension force estimateusing novel noncontact vision-based sensor[J].Measurement,2017,99:44-52.
[15]Tian Y,Zhang C,Jiang S,et al.Noncontact cable force estimationwith unmanned aerial vehicle and computer vision[J].Computer-Aided Civil andInfrastructure Engineering,2021,36(1):73-88.
[16]张宇航,苏成,邓逸川.基于欧拉运动放大算法的桥梁索力测试方法研究[J].图学学报,2021,42(6):941-947.ZHANG Yuhang,SU Cheng,DENG Yichuan.A eulerianvideo magnification based cable tension identification method for bridgestructures[J].Journal of Graphics,2021,42(6):941-947.
[17]Wangchuk S,Siringoringo D M,Fujino Y.Modal analysis and tensionestimation of stay cables using noncontact vision-based motion magnificationmethod[J].Structural Control and Health Monitoring,2022:e2957.
发明内容
有鉴于此,本发明提供了一种基于运动综合亮度谱的拉索索力视觉测试方法、装置、计算机设备及存储介质,其提出运动扫频算法,通过视频重构得到一系列不同频段上的拉索振动分量视频,这些分量各自呈现不同的拉索变形,并且提出运动综合亮度指标,对振动分量加以量化,生成一种新的频谱关系图—运动综合亮度谱,以便计算拉索的索力,无需人工标记和跟踪若干点的位移时程,具有较强的测试和分析稳定性,同时兼具计算机视觉方法的低成本和操作方便的特点,具有较强的工程应用潜力。
本发明的第一个目的在于提供一种基于运动综合亮度谱的拉索索力视觉测试方法。
本发明的第二个目的在于提供一种基于运动综合亮度谱的拉索索力视觉测试装置。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到:
一种基于运动综合亮度谱的拉索索力视觉测试方法,所述方法包括:
获取由第一拉索振动视频形成的第一图像序列;
对第一图像序列进行预处理,得到第二图像序列;
基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频;
采用背景差分法计算第二拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的亮度差值,得到差分图像序列;
针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标;
根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力。
进一步的,所述基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频,具体包括:
针对第二图像序列,设t时刻图像的图像亮度场函数为I(x,t),则亮度场函数与像素位移之间的关系表示为:
其中,x为像素位置;f为对应像素的亮度值;δ(x,t)为图像位移函数,该图像位移函数与像素位置和时间相关;
对f(x)进行空间傅里叶变换,如下式:
其中,Aω(0)为第一帧图像在空间频率ω处的幅值;
将f(x+δ(x,t))进行空间傅里叶变换得到:
其中,Aω(t)为t时刻图片在空间频率ω处的幅值,该幅值随时间变化;
对于每一个空间频率ω,用t时刻的相位减去0时刻的相位,得到t时刻的相位差Bω(x,t),该相位差与图像位移函数之间满足如下关系:
Bω(x,t)=ωδ(x,t)
对各空间频率ω处的相位差序列Bω(x,t)进行时间轴上的频率带通滤波,得到过滤后的相位差序列B′ω(x,t),保留指定时间频段的相位信号;
采用过滤后的相位差序列,组合所有空间频率的贡献,重构得到只包含指定时间频段运动的视频图像,从而得到不同时间频段内的第二拉索振动视频。
进一步的,所述采用过滤后的相位信号,组合所有空间频率的贡献,重构得到只包含指定时间频段运动的视频图像,具体包括:
将第二图像序列Aω(t)eiωx替换为静态图像序列Aω(0)eiωx,叠加过滤后的相位差序列B′ω(x,t),得到只包含指定时间频段运动的视频图像,如下式:
其中,I′(x,t)为只包含指定时间频段运动的视频图像。
进一步的,所述运动综合亮度指标采用下式计算:
其中,MSI为运动综合亮度,L、H分别为差分图像的宽度方向和高度方向的像素总数,N为所选取的差分图像序列的总帧数。
进一步的,所述根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力,具体包括:
根据运动综合亮度指标,生成横轴为频率、纵轴为运动综合亮度指标的运动综合亮度谱图形;
根据运动综合亮度谱图形,使用峰值选取法识别拉索的自振频率;
根据拉索的自振频率,计算拉索的索力。
进一步的,所述拉索的索力与拉索的自振频率定量关系如下:
其中,l为拉索计算长度,m为拉索单位长度的质量,n为拉索自振频率的阶次。
进一步的,所述差分图像的亮度分布函数Dt(i,j)为:
Dt(i,j)=|Yt(i,j)-X0(i,j)|
其中,Yt(i,j)为第二拉索振动视频的第t帧图像亮度分布,X0(i,j)为第一拉索振动视频的第一帧图像亮度分布,i和j分别为图像像素的横轴和纵轴坐标。
本发明的第二个目的可以通过采取如下技术方案达到:
一种基于运动综合亮度谱的拉索索力视觉测试装置,所述装置包括:
获取模块,用于获取由第一拉索振动视频形成的第一图像序列;
预处理模块,用于对第一图像序列进行预处理,得到第二图像序列;
重构模块,用于基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频;
背景差分模块,用于采用背景差分法计算第二拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的亮度差值,得到差分图像序列;
第一计算模块,用于针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标;
第二计算模块,用于根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力。
本发明的第三个目的可以通过采取如下技术方案达到:
一种计算机设备,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现上述的拉索索力视觉测试方法。
本发明的第四个目的可以通过采取如下技术方案达到:
一种存储介质,存储有程序,所述程序被处理器执行时,实现上述的拉索索力视觉测试方法。
本发明相对于现有技术具有如下的有益效果:
本发明针对传统视觉方法在人工标记、图像跟踪鲁棒性和空间分辨率等方面的不足,提出运动扫频算法和运动综合亮度指标,形成一种用于索力视觉测试的全新频谱分析方法,针对拉索的整体运动形态进行分析,无需人工标记和跟踪若干点的位移时程,具有较强的测试和分析稳定性,同时兼具计算机视觉方法的低成本和操作方便的特点,具有较强的工程应用潜力,可以进一步提高在拉索微小振动和复杂背景工况下的适应性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于运动综合亮度谱的拉索索力视觉测试方法的简易流程图。
图2为本发明实施例1的基于运动综合亮度谱的拉索索力视觉测试方法的具体流程图。
图3为本发明实施例1的原始图像示意图。
图4为本发明实施例1的预处理后的图像示意图。
图5为本发明实施例1的图像帧间的拉索最大振幅示意图。
图6为本发明实施例1的简单背景差分处理过程图。
图7为本发明实施例1的复杂背景差分处理过程图。
图8为本发明实施例1的三种不同运动幅度的拉索示意图。
图9为本发明实施例1的某拉索的典型运动综合亮度谱图。
图10为500N张拉力工况下第一加速度传感器的加速度时程图。
图11为500N张拉力工况下第一加速度传感器的加速度频谱图。
图12为500N张拉力工况下第二加速度传感器的加速度时程图。
图13为500N张拉力工况下第二加速度传感器的加速度频谱图。
图14为500N张拉力工况下本发明实施例1的运动综合亮度谱图。
图15为1500N张拉力工况下第一加速度传感器的加速度时程图。
图16为1500N张拉力工况下第一加速度传感器的加速度频谱图。
图17为1500N张拉力工况下第二加速度传感器的加速度时程图。
图18为1500N张拉力工况下第二加速度传感器的加速度频谱图。
图19为1500N张拉力工况下本发明实施例1的运动综合亮度谱图。
图20为本发明实施例2的基于运动综合亮度谱的拉索索力视觉测试装置的结构框图。
图21为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
低成本的计算机视觉方法是当前索力测试的重要研究方向,常规视觉方法跟踪测量拉索上的特征点位移时程进行索力识别,其中通常需要人工标记特征点,识别精度也受限于图像跟踪精度,因此本实施例提供了一种基于计算机视觉的使用拉索全局动态变形而无需追踪特征点位移的索力测试新方法;首先,针对相机拍摄的拉索振动视频,提出运动扫频算法,重构不同频段上的拉索振动分量视频;其次,计算各个分量视频的拉索运动综合亮度指标,生成运动综合亮度谱;最后,通过运动综合亮度谱的峰值拾取获得拉索的自振频率,确定索力。
如图1和图2所示,本实施例的基于运动综合亮度谱的拉索索力视觉测试方法可以通过非接触式索力测试系统实现,非接触式索力测试系统由相机和装有数字图像处理软件(MATLAB、Python)的计算机组成,其技术流程包括视频采集与图像预处理、基于运动扫频算法的拉索振动视频重构、基于运动综合亮度谱的拉索自振频率识别以及根据自振频率计算索力,拉索索力视觉测试方法具体包括以下步骤:
S201、获取由第一拉索振动视频形成的第一图像序列。
在计算机视觉方法中,需要使用相机拍摄拉索振动视频,本实施例将该拉索振动视频作为第一拉索振动视频,形成用于后续分析的第一图像序列。由香农采样定理决定,相机的拍摄帧率应取为分析频率的2倍以上。因此,需要根据分析的拉索自振频率,选择相机的类型。由于相机采集到的是拉索动态变形图像,其主要取决于拉索的低阶振型,因此相机帧率应至少大于2倍拉索基频。也就是说,常规商业相机(帧率30FPS或60FPS)适用于测量拉索基频小于15Hz或30Hz的情况,若拉索基频大于50Hz,则需选择高速相机进行拍摄。
S202、对第一图像序列进行预处理,得到第二图像序列。
本实施例对于拍摄到的第一图像序列,由于本实施例是针对拉索全局动态变形进行分析,因此仅需选择拉索振动幅度范围内的图片区域进行计算即可。如图3和图4所示,为对后续实验中的拍摄图像(1920×1080像素)进行裁剪后得到的局部图像(1248×68像素),涵盖了拉索最大变形范围,裁剪后得到的局部图像形成第二图像序列。
S203、基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频。
本实施例提出一种运动扫频算法,可以实现从视频图像(第二图像序列)中提取指定频段内的拉索运动形态,从而可以将原始拉索振动视频(第一拉索振动视频)分离为不同频段内的拉索振动视频,作为第二拉索振动视频。
针对第二图像序列,设t时刻图像的图像亮度场函数为I(x,t),则亮度场函数与像素位移之间的关系表示为:
其中,x为像素位置;f为对应像素的亮度值;δ(x,t)为图像位移函数,该图像位移函数与像素位置和时间相关。
为了实现拉索振动分离,需要找到与δ(x,t)具有相同时间变化规律的图像特征。
对f(x)进行空间傅里叶变换,如下式:
其中,Aω(0)为第一帧图像在空间频率ω处的幅值。
将f(x+δ(x,t))进行空间傅里叶变换得到:
其中,Aω(t)为t时刻图片在空间频率ω处的幅值,该幅值随时间变化。
对于每一个空间频率ω,用t时刻的相位减去0时刻的相位,得到t时刻的相位差Bω(x,t),该相位差与图像位移函数之间满足如下关系:
Bω(x,t)=ωδ(x,t) (4)
由式(4)可见,空间频率ω处的相位差Bω(x,t)与图像位移函数δ(x,t)具有一致的时间变化规律。因此,可以通过对相位差时间序列进行操作,来替代对图像位移函数的处理。
本实施例首先对各空间频率ω处的相位差序列Bω(x,t)(t=0,1,…)进行时间轴上的频率带通滤波,得到过滤后的相位差序列B′ω(x,t)(t=0,1,…),从而保留指定时间频段的相位信号;然后采用过滤后的相位差序列,组合所有空间频率的贡献,重构得到只包含指定时间频段运动的视频图像,从而得到不同时间频段内的第二拉索振动视频。
在重构的过程中,为了突出相位变化中的时间频率效应,有必要消除幅值动态变化的干扰。因此,本实施例设计将原始拉索振动视频(第一拉索振动视频)预处理后的第二图像序列Aω(t)eiωx替换为静态图像序列Aω(0)eiωx,再叠加过滤后的相位差B′ω(x,t),最终得到只包含指定时间频段运动的视频图像I′(x,t)为:
在上述的运动扫频算法中,考虑到:1)所处理的图片具有不同尺度上的图像特征,即小尺度和大尺度上分别具有更准确的图像轮廓特征和图像细节特征;2)拉索振动变形具有明显的方向性,即拉索弦长法向上的变形远大于弦长纵向上的变形,因此,为了得到高精度的拉索振动分离视频图像,本实施例引入复可控金字塔技术,从不同尺度和不同方向上分解原始视频和重构新视频。
另外还需要注意,如果拉索振动的图像位移过于微小,会导致帧间图像差别不大,从而影响分离拉索振动的效果。经过分析,当原始视频中的拉索最大振幅大于10个像素时,如图5所示,本实施例算法可以较好地实现不同频段上的拉索振动分离,有利于后续分析。
S204、采用背景差分法计算第二拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的亮度差值,得到差分图像序列。
经过运动扫频算法处理后,第二图像序列中完整的拉索运动被分离成一系列不同时间频段上的拉索振动分量,分离后的视频(第二拉索振动视频)的各帧图像与第二图像序列的第一帧图像之间会存在差异,通过背景差分法得到的二者图像亮度差值可以反映拉索运动幅度的变化。
采用背景差分法得到的差分图像亮度分布函数Dt(i,j)为:
Dt(i,j)=|Yt(i,j)-X0(i,j)| (6)
其中,Yt(i,j)为第二拉索振动视频的第t帧图像亮度分布,X0(i,j)为第二图像序列的第一帧图像亮度分布,i和j分别为图像像素的横轴和纵轴坐标。
如图6和图7所示,为采用该方法得到的不同背景下的差分处理过程和结果,可见简单背景下的差分处理可以得到清晰的初始拉索形态和振动拉索形态,复杂背景下也能有效去除背景而得到较为清晰的两种拉索形态。
S205、针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标。
如图8所示,考察拉索的不同振动形态,可见,当拉索发生振动后,其变形后长度要大于未变形状态,且振动幅度越大的变形长度越大。在差分图像上的表现为,振动发生后的有亮度像素总数变多,且随着振动幅度变大而进一步增多。因此,采用差分图像的像素亮度总和,可以对拉索在不同时间频段内的振动变形进行表征。
由此,本实施例提出一种拉索振动视觉指标-运动综合亮度(motion-synthesizedintensity,简称MSI),用以量化表征不同时间频段的拉索运动幅度。由于拉索在自振频率处的振动幅度大,因此,该指标将在拉索的自振频率处达到峰值,且自振频率的阶次越低,峰值越高。
考虑到图像噪声的影响,本实施例选择一段时间内的差分图像序列,进行平均化计算处理,即运动综合亮度指标由下式进行计算:
其中,MSI为运动综合亮度,L、H分别为差分图像的宽度方向和高度方向的像素总数,N为所选取的差分图像序列的总帧数。
针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标。
S206、根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力。
根据运动综合亮度指标,由此生成横轴为频率、纵轴为运动综合亮度指标的运动综合亮度谱图形,进而使用峰值选取法识别拉索的自振频率,如图9所示为模型实验中得到的某拉索运动综合亮度谱,可见运动综合亮度指标在拉索的三个自振频率处达到局部峰值,且峰值大小随着阶次增加逐渐递减。
根据广泛使用的张拉弦理论,拉索的索力T与自振频率fn间存在如下定量关系:
其中,l为拉索计算长度,m为拉索单位长度的质量,n为拉索自振频率的阶次。
根据识别得到的拉索多个阶次自振频率,分别应用式(8)计算得到对应索力,再进行平均处理,最终确定拉索索力。
为了校验本实施例方法的测试效果,开展室内拉索模型的索力测试实验。实验中,同时使用加速度传感器和高速相机来采集拉索在人工敲击下的动态响应,分别采用常规加速度法和本实施例方法来进行索力识别,并与拉力计的参考结果进行对比。
(1)实验装置布置
实验用拉索的两端铰支在两端的框架柱上,中间通过两个滑轮进行转向,在拉索一端进行索力张拉,张力大小由拉力计控制;实验仪器设备还包括高速相机、第一加速度传感器、第二加速度传感器、数字信号采集仪和数据分析计算机。其中,高速相机型号为SONYFDR-AXP55,像素分辨率为1920×1080,拍摄帧率为100FPS;拉索的振动加速度信号通过A271C10压电式加速度传感器及配套的DH5523数据采集仪和DHDAS采集软件获取,再通过动态测试分析软件平台DASP-V10开展频谱分析。
(1)实验处理与结果分析
为了校验不同张力水平下的索力测试效果,分别开展张拉力为500N和1500N的两组实验。采用棍棒敲击拉索的方式施加人工激振,使用高速相机拍摄拉索振动的原始视频,同时采集两个加速度传感器的响应。
分别采用本实施例方法和常规加速度法开展索力分析,得到分析结果,其中本实施例方法的各指定频段的宽度取为0.01Hz。图10~图14给出了500N工况下的加速度传感器(第一加速度传感器和第二加速度传感器)的加速度时程图和频谱图,以及本实施例的运动综合亮度谱图,图15~图19给出了1500N工况下的加速度传感器(第一加速度传感器和第二加速度传感器)的加速度时程图和频谱图,以及运动综合亮度谱图。表1给出了加速度法和本实施例方法识别得到的拉索前两阶自振频率及最终索力结果对比。
表1两种不同方法的频率和索力识别结果
由图表结果可见,在任一张力水平下,虽然两个加速度传感器的频谱分布图形有所不同,但识别得到的拉索自振频率完全一致,表明了结果的有效性。本实施例方法的拉索自振频率识别结果与加速度法结果非常接近,相互偏差在1%以内。两种方法的最终索力识别结果也与拉力计的参考结果相一致,相对误差在±1%以内,验证了本实施例方法的有效性,可以满足工程索力测试的精度要求。
综上所述,本实施例开展不同张力水平的拉索模型索力测试实验,以拉力计结果为参考,对比考察本实施例方法和加速度传感器方法的测试效果。结果表明,本实施例方法的索力识别误差在1%以内,与加速度传感器方法的精度相当,具有工程应用潜力。
本领域技术人员可以理解,实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,相应的程序可以存储于计算机可读存储介质中。
应当注意,尽管在附图中以特定顺序描述了上述实施例的方法操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
实施例2:
如图20所示,本实施例提供了一种基于运动综合亮度谱的拉索索力视觉测试装置,该装置包括获取模块2001、预处理模块2002、重构模块2003、背景差分模块2004、第一计算模块2005和第二计算模块2006,各个模块的具体说明如下:
获取模块2001,用于获取由第一拉索振动视频形成的第一图像序列。
预处理模块2002,用于对第一图像序列进行预处理,得到第二图像序列。
重构模块2003,用于基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频。
背景差分模块2004,用于采用背景差分法计算第二拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的亮度差值,得到差分图像序列。
第一计算模块2005,用于针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标。
第二计算模块2006,用于根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力。
本实施例中各个模块的具体实现可以参见上述实施例1,在此不再一一赘述;需要说明的是,本实施例提供的系统仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
实施例3:
本实施例提供了一种计算机设备,该计算机设备为计算机,如图21所示,其包括通过系统总线2101连接的处理器2102、存储器、输入装置2103、显示器2104和网络接口2105,该处理器用于提供计算和控制能力,该存储器包括非易失性存储介质2106和内存储器2107,该非易失性存储介质2106存储有操作系统、计算机程序和数据库,该内存储器2107为非易失性存储介质中的操作系统和计算机程序的运行提供环境,处理器2102执行存储器存储的计算机程序时,实现上述实施例1的拉索索力视觉测试方法,如下:
获取由第一拉索振动视频形成的第一图像序列;
对第一图像序列进行预处理,得到第二图像序列;
基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频;
采用背景差分法计算第二拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的亮度差值,得到差分图像序列;
针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标;
根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,最后计算拉索的索力。
实施例4:
本实施例提供了一种存储介质,该存储介质为计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时,实现上述实施例1的拉索索力视觉测试方法,如下:
获取由第一拉索振动视频形成的第一图像序列;
对第一图像序列进行预处理,得到第二图像序列;
基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频;
采用背景差分法计算第二拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的亮度差值,得到差分图像序列;
针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标;
根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力。
需要说明的是,本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述,本发明针对传统视觉方法在人工标记、图像跟踪鲁棒性和空间分辨率等方面的不足,提出运动扫频算法和运动综合亮度指标,形成一种用于索力视觉测试的全新频谱分析方法,针对拉索的整体运动形态进行分析,无需人工标记和跟踪若干点的位移时程,具有较强的测试和分析稳定性,同时兼具计算机视觉方法的低成本和操作方便的特点,具有较强的工程应用潜力,可以进一步提高在拉索微小振动和复杂背景工况下的适应性。
以上所述,仅为本发明专利较佳的实施例,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.一种基于运动综合亮度谱的拉索索力视觉测试方法,其特征在于,所述方法包括:
获取由第一拉索振动视频形成的第一图像序列;
对第一图像序列进行预处理,得到第二图像序列;
基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频;
采用背景差分法计算第二拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的亮度差值,得到差分图像序列;
针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标;
根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力;
所述基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频,具体包括:
针对第二图像序列,设t时刻图像的图像亮度场函数为I(x,t),则亮度场函数与像素位移之间的关系表示为:
其中,x为像素位置;f为对应像素的亮度值;δ(x,t)为图像位移函数,该图像位移函数与像素位置和时间相关;
对f(x)进行空间傅里叶变换,如下式:
其中,Aω(0)为第一帧图像在空间频率ω处的幅值;
将f(x+δ(x,t))进行空间傅里叶变换得到:
其中,Aω(t)为t时刻图片在空间频率ω处的幅值,该幅值随时间变化;
对于每一个空间频率ω,用t时刻的相位减去0时刻的相位,得到t时刻的相位差Bω(x,t),该相位差与图像位移函数之间满足如下关系:
Bω(x,t)=ωδ(x,t)
对各空间频率ω处的相位差序列Bω(x,t)进行时间轴上的频率带通滤波,得到过滤后的相位差序列B′ω(x,t),保留指定时间频段的相位信号;
采用过滤后的相位差序列,组合所有空间频率的贡献,重构得到只包含指定时间频段运动的视频图像,从而得到不同时间频段内的第二拉索振动视频;其中,所述采用过滤后的相位差序列,组合所有空间频率的贡献,重构得到只包含指定时间频段运动的视频图像,具体包括:
将第二图像序列Aω(t)eiωx替换为静态图像序列Aω(0)eiωx,叠加过滤后的相位差序列B′ω(x,t),得到只包含指定时间频段运动的视频图像,如下式:
其中,I′(x,t)为只包含指定时间频段运动的视频图像;
所述根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力,具体包括:
根据运动综合亮度指标,生成横轴为频率、纵轴为运动综合亮度指标的运动综合亮度谱图形;
根据运动综合亮度谱图形,使用峰值选取法识别拉索的自振频率;
根据拉索的自振频率,计算拉索的索力;
所述运动综合亮度指标采用下式计算:
其中,MSI为运动综合亮度,L、H分别为差分图像的宽度方向和高度方向的像素总数,N为所选取的差分图像序列的总帧数,Dt(i,j)是指差分图像的亮度分布函数,i和j分别为图像像素的横轴和纵轴坐标。
2.根据权利要求1所述的拉索索力视觉测试方法,其特征在于,所述拉索的索力与拉索的自振频率定量关系如下:
其中,T表示拉索的索力,fn表示拉索的自振频率,l为拉索计算长度,m为拉索单位长度的质量,n为拉索自振频率的阶次。
3.根据权利要求1-2任一项所述的拉索索力视觉测试方法,其特征在于,所述差分图像的亮度分布函数Dt(i,j)为:
Dt(i,j)=|Yt(i,j)-X0(i,j)|
其中,Yt(i,j)为第二拉索振动视频的第t帧图像亮度分布,X0(i,j)为第二图像序列的第一帧图像亮度分布,i和j分别为图像像素的横轴和纵轴坐标。
4.一种基于运动综合亮度谱的拉索索力视觉测试装置,其特征在于,所述装置包括:
获取模块,用于获取由第一拉索振动视频形成的第一图像序列;
预处理模块,用于对第一图像序列进行预处理,得到第二图像序列;
重构模块,用于基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频;
背景差分模块,用于采用背景差分法计算第一拉索振动视频的各帧图像相对于第二图像序列的第一帧图像的的亮度差值,得到差分图像序列;
第一计算模块,用于针对不同时间频段内的差分图像序列,计算得到不同频段相对应的运动综合亮度指标;
第二计算模块,用于根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力;
所述基于运动扫频算法,从第二图像序列中提取指定频段内的拉索运动形态,分离为不同时间频段内的第二拉索振动视频,具体包括:
针对第二图像序列,设t时刻图像的图像亮度场函数为I(x,t),则亮度场函数与像素位移之间的关系表示为:
其中,x为像素位置;f为对应像素的亮度值;δ(x,t)为图像位移函数,该图像位移函数与像素位置和时间相关;
对f(x)进行空间傅里叶变换,如下式:
其中,Aω(0)为第一帧图像在空间频率ω处的幅值;
将f(x+δ(x,t))进行空间傅里叶变换得到:
其中,Aω(t)为t时刻图片在空间频率ω处的幅值,该幅值随时间变化;
对于每一个空间频率ω,用t时刻的相位减去0时刻的相位,得到t时刻的相位差Bω(x,t),该相位差与图像位移函数之间满足如下关系:
Bω(x,t)=ωδ(x,t)
对各空间频率ω处的相位差序列Bω(x,t)进行时间轴上的频率带通滤波,得到过滤后的相位差序列B′ω(x,t),保留指定时间频段的相位信号;
采用过滤后的相位差序列,组合所有空间频率的贡献,重构得到只包含指定时间频段运动的视频图像,从而得到不同时间频段内的第二拉索振动视频;其中,所述采用过滤后的相位差序列,组合所有空间频率的贡献,重构得到只包含指定时间频段运动的视频图像,具体包括:
将第二图像序列Aω(t)eiωx替换为静态图像序列Aω(0)eiωx,叠加过滤后的相位差序列B′ω(x,t),得到只包含指定时间频段运动的视频图像,如下式:
其中,I′(x,t)为只包含指定时间频段运动的视频图像;
所述根据运动综合亮度指标,生成运动综合亮度谱图形,通过峰值拾取得到拉索自振频率,以计算拉索的索力,具体包括:
根据运动综合亮度指标,生成横轴为频率、纵轴为运动综合亮度指标的运动综合亮度谱图形;
根据运动综合亮度谱图形,使用峰值选取法识别拉索的自振频率;
根据拉索的自振频率,计算拉索的索力;
所述运动综合亮度指标采用下式计算:
其中,MSI为运动综合亮度,L、H分别为差分图像的宽度方向和高度方向的像素总数,N为所选取的差分图像序列的总帧数,Dt(i,j)是指差分图像的亮度分布函数,i和j分别为图像像素的横轴和纵轴坐标。
5.一种计算机设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1-3任一项所述的拉索索力视觉测试方法。
6.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-3任一项所述的拉索索力视觉测试方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211315121.6A CN115876365B (zh) | 2022-10-26 | 2022-10-26 | 基于运动综合亮度谱的拉索索力视觉测试方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211315121.6A CN115876365B (zh) | 2022-10-26 | 2022-10-26 | 基于运动综合亮度谱的拉索索力视觉测试方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115876365A CN115876365A (zh) | 2023-03-31 |
CN115876365B true CN115876365B (zh) | 2023-10-27 |
Family
ID=85758949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211315121.6A Active CN115876365B (zh) | 2022-10-26 | 2022-10-26 | 基于运动综合亮度谱的拉索索力视觉测试方法、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115876365B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111174961A (zh) * | 2020-01-17 | 2020-05-19 | 东南大学 | 一种基于模态分析的索力光学测量方法及其测量系统 |
CN113421224A (zh) * | 2021-05-27 | 2021-09-21 | 合肥工业大学 | 一种基于视觉的缆索结构健康监测方法及系统 |
CN114219768A (zh) * | 2021-11-25 | 2022-03-22 | 华南理工大学 | 基于像素传感器的拉索索力测量方法、装置、设备及介质 |
CN114357778A (zh) * | 2022-01-07 | 2022-04-15 | 北京源清慧虹信息科技有限公司 | 长期监测场景下的索力自适应识别方法 |
CN114972295A (zh) * | 2022-06-14 | 2022-08-30 | 苏交科集团股份有限公司 | 基于多点位移提取的非接触式索力识别技术 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111902691B (zh) * | 2018-03-26 | 2022-09-06 | 松下知识产权经营株式会社 | 计测装置及计测方法 |
-
2022
- 2022-10-26 CN CN202211315121.6A patent/CN115876365B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111174961A (zh) * | 2020-01-17 | 2020-05-19 | 东南大学 | 一种基于模态分析的索力光学测量方法及其测量系统 |
CN113421224A (zh) * | 2021-05-27 | 2021-09-21 | 合肥工业大学 | 一种基于视觉的缆索结构健康监测方法及系统 |
CN114219768A (zh) * | 2021-11-25 | 2022-03-22 | 华南理工大学 | 基于像素传感器的拉索索力测量方法、装置、设备及介质 |
CN114357778A (zh) * | 2022-01-07 | 2022-04-15 | 北京源清慧虹信息科技有限公司 | 长期监测场景下的索力自适应识别方法 |
CN114972295A (zh) * | 2022-06-14 | 2022-08-30 | 苏交科集团股份有限公司 | 基于多点位移提取的非接触式索力识别技术 |
Non-Patent Citations (3)
Title |
---|
An Improved Vision Method for Robust Monitoring of Multi-Point Dynamic Displacements with Smartphones in an Interference Environment;Taicong Chen,Zhou Zhou;Sensors(第20期);全文 * |
王宣.结合静动图像分析的BIM技术在桥梁施工中的应用研究.硕士学位论文,华南理工大学.2021,全文. * |
陈志康.基于欧拉视频放大的微振动测量技术研究.硕士学位论文,哈尔滨工程大学.2022,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN115876365A (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tian et al. | Noncontact cable force estimation with unmanned aerial vehicle and computer vision | |
Shang et al. | Multi-point vibration measurement and mode magnification of civil structures using video-based motion processing | |
Chen et al. | Modal identification of simple structures with high-speed video using motion magnification | |
Xu et al. | Review of machine-vision based methodologies for displacement measurement in civil structures | |
Fukuda et al. | Vision-based displacement sensor for monitoring dynamic response using robust object search algorithm | |
Bartilson et al. | Target-less computer vision for traffic signal structure vibration studies | |
Tian et al. | Vision-based structural scaling factor and flexibility identification through mobile impact testing | |
CN111044197B (zh) | 一种基于无人机平台的非接触式索力测试系统 | |
US20180052117A1 (en) | Structure status determination device, status determination system, and status determination method | |
CN104897269A (zh) | 基于线扫描成像的架空电线振动频率测量系统 | |
CN111174961B (zh) | 一种基于模态分析的索力光学测量方法及其测量系统 | |
Zhang et al. | Complex image background segmentation for cable force estimation of urban bridges with drone‐captured video and deep learning | |
Chen et al. | Cable force determination using phase-based video motion magnification and digital image correlation | |
Luo et al. | Cable vibration measurement based on broad-band phase-based motion magnification and line tracking algorithm | |
Son et al. | A fast high-resolution vibration measurement method based on vision technology for structures | |
CN115014617B (zh) | 一种基于地基雷达的斜拉桥拉索索力同步监测方法 | |
CN114187330A (zh) | 一种基于光流法的结构微幅振动工作模态分析方法 | |
Ngeljaratan et al. | System identification of large-scale bridges using target-tracking digital image correlation | |
Xu et al. | Vision-based systems for structural deformation measurement: Case studies | |
Zhu et al. | A robust structural vibration recognition system based on computer vision | |
Shang et al. | Multi-point vibration measurement for mode identification of bridge structures using video-based motion magnification | |
CN114972205A (zh) | 一种轨道螺栓松动检测方法及装置 | |
CN115876365B (zh) | 基于运动综合亮度谱的拉索索力视觉测试方法、装置及介质 | |
CN117405279A (zh) | 一种基于无人机平台和无参考校正的索力测量方法及系统 | |
CN110532725B (zh) | 基于数字图像的工程结构力学参数识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |