CN116358622A - 基于视觉技术的人桥互馈位移监测预警系统及方法 - Google Patents
基于视觉技术的人桥互馈位移监测预警系统及方法 Download PDFInfo
- Publication number
- CN116358622A CN116358622A CN202310035337.5A CN202310035337A CN116358622A CN 116358622 A CN116358622 A CN 116358622A CN 202310035337 A CN202310035337 A CN 202310035337A CN 116358622 A CN116358622 A CN 116358622A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- displacement
- monitoring
- bridge
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 97
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005516 engineering process Methods 0.000 title claims abstract description 18
- 230000001133 acceleration Effects 0.000 claims description 52
- 230000004044 response Effects 0.000 claims description 26
- 238000001228 spectrum Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
Abstract
本发明提供了一种基于视觉技术的人桥互馈位移监测预警系统及方法，主要包括行人监测模块、结构监测模块、人‑结构互馈系统模块和结构预警模块，本发明能够实现行人轨迹和结构位移的同步监测，并根据行人轨迹重构足底力进而分析引发振动问题的人致荷载情况，还能实现在结构振动加速度到达阈值时进行预警。
Description
技术领域
本发明涉及土木建筑领域，特别涉及一种基于视觉技术的人桥互馈位移监测预警系统及方法。
背景技术
大跨轻柔结构自振频率低、阻尼小，人致荷载作用下的结构安全和振动舒适性是结构设计和使用中的重要控制指标。保障和提升结构安全性和振动舒适性是打造绿色低碳建筑的应有之义。实现结构响应和人致荷载的同步监测，在此基础上实现对结构服役状态的实时评估，必要时进行人工干预和管控，对保障结构服役安全、提升结构服役性能无疑具有重要意义。
目前的行人运动监测主要用于交通工程和安防领域，通过在公共场所(如车站、十字路口、广场、体育场馆的出入口处等)布设摄像机，对行人进行实时轨迹监测和姿态辨识，实现人员身份验证或者基于轨迹监测结果进行交通疏导、提升人员通行效率。目前的结构健康监测系统仅关注结构状态(应变、位移、加速度等)的监测，且主要通过传统的接触式传感器进行测量，存在传感器需提前安装和预埋、成本高、耐久性不足等局限。
由于结构振动是人员运动(荷载作用)的结果，二者之间存在一一对应关系，若要实现对结构状态的实时监测，必须同步关注荷载与结构响应两方面，而现有的结构监测或行人监测技术显然未兼顾这两个层面。
近年来，随着相机的普及与图像处理技术的发展，计算机视觉方法在土木工程领域的应用越来越普遍。对于振动敏感结构，如自振频率和阻尼比较低的人行桥、体育馆看台等，可以通过视觉方法获得结构关键部位的位移响应，进而得到加速度信息。该方法在原有的接触式和固定式传感器的基础上进行改进，实现了从接触式测量到非接触式测量的跨越。
综上所述，目前通过视觉技术围绕结构监测和行人监测已发展出了相关方法，但仅仅关注结构或者行人中某一方面，并未将两者结合起来进行分析，这就使得当结构响应幅度超过预警值时，无法立即得到导致该响应发生的行人位置和行人运动特征。则如何在复杂环境下实现行人的位置识别和运动特征的提取，建立行人运动和结构响应的映射关系，以此来实现对结构预警更加具有针对性，成为本领域技术人员亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供了一种基于视觉技术的人桥互馈位移监测预警系统及方法，能够实现行人轨迹和结构位移的同步监测，并根据行人轨迹重构足底力进而分析引发振动问题的人致荷载情况，最后在结构振动加速度到达阈值时进行预警。
根据本发明的一个方面，本发明提供了一种基于视觉技术的人桥互馈位移监测预警系统，包括：行人监测模块、结构监测模块、人-结构互馈系统模块和结构预警系统模块；
所述行人监测模块，用于基于深度学习的目标监测算法获取行人的体重信息，利用双目立体视觉测量行人的三维位移，并对竖直位移进行求导获取行人的加速度信息，根据行人的体重信息和加速度信息重构足底力；
所述结构监测模块，用于基于Hough变换检测算法捕捉桥梁的标志点，利用双目立体视觉测量标志点处的结构位移，并对结构位移求导获取桥梁的结构加速度；
所述人-结构互馈系统模块，用于在每个计算周期内，分别对行人足底力时程曲线和桥梁结构位移时程曲线作傅里叶变换，实时对比结构响应频谱与行人足底力频谱，获取足底力在结构响应中所占的贡献；
所述结构预警系统模块，用于以结构加速度峰值作为预警判别依据，当结构加速度峰值达到上限时进行预警，获取群体中对应频带下引发桥梁过量振动的人致荷载。
进一步地，所述行人监测模块，具体包括：
行人数据集创建及训练模块，用于基于预设的行人数据集，构建行人运动数据库，基于深度学习的目标监测算法对行人数据集进行训练；
目标连续追踪模块，用于对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人识别框，再提取出同一行人在连续图像帧中的行人识别框图像；在人群中存在遮挡的环境下，通过多目标跟踪算法对预测结果和监测结果进行级联匹配和交并比匹配操作，实现对目标的连续追踪；
行人位移计算模块，用于根据双目立体视觉的三维坐标计算公式，将世界坐标系建立在左相机光心处，根据同一行人在连续帧图像中行人识别框的像素坐标变化序列，然后利用双目立体视觉三维坐标计算行人在左相机坐标系中的三维坐标，由此获得行人在X轴和Y轴方向上的图像位移；
足底力重构模块，用于利用识别框的尺寸信息估算行人的身高和体重，通过行人运动过程中的竖向位移求导得到的竖向加速度，依据牛顿第二定律重构足底力。
优选地，所述基于深度学习的目标监测算法包括YOLOv5s算法。
优选地，所述预设的行人数据集包括CUHK Occlusion Dataset行人数据集。
优选地，所述多目标跟踪算法包括DeepSort算法。
根据本发明的另一方面，本发明提供了一种基于视觉技术的人桥互馈位移监测预警方法，包括以下步骤：
S1.1：基于深度学习的目标监测算法获取行人的体重信息，利用双目立体视觉测量行人的三维位移，并对竖直位移进行求导获取行人的加速度信息，根据行人的体重信息和加速度信息重构足底力；
S1.2：基于Hough变换检测算法捕捉桥梁的标志点，利用双目立体视觉测量标志点处的结构位移，并对结构位移求导获取桥梁的结构加速度；
S2：在每个计算周期内，分别对行人足底力时程曲线和桥梁结构位移时程曲线作傅里叶变换，实时对比结构响应频谱与行人的足底力频谱，获取足底力在结构响应中所占的贡献；
S3：以结构加速度峰值作为预警判别依据，当结构加速度峰值达到上限时进行预警，获取群体中对应频带下引发桥梁过量振动的人致荷载。
进一步地，所述步骤S1.1具体包括：
S1.1.1：基于预设的行人数据集，构建行人运动数据库，基于深度学习的目标监测算法对行人数据集进行训练；
S1.1.2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人识别框，再提取出同一行人在连续图像帧中的行人识别框图像；在人群中存在遮挡的环境下，通过多目标跟踪算法对预测结果和监测结果进行级联匹配和交并比匹配操作，实现对目标的连续追踪；
S1.1.3：根据双目立体视觉的三维坐标计算公式，将世界坐标系建立在左相机光心处，根据同一行人在连续帧图像中行人识别框的像素坐标变化序列，然后利用双目立体视觉三维坐标计算行人在左相机坐标系中的三维坐标，由此获得行人在X轴和Y轴方向上的图像位移；
S1.1.4：利用识别框的尺寸信息估算行人的身高和体重，通过行人运动过程中的竖向位移求导得到的竖向加速度，依据牛顿第二定律重构足底力。
优选地，所述基于深度学习的目标监测算法包括YOLOv5s算法。
优选地，所述预设的行人数据集包括CUHK Occlusion Dataset行人数据集。
优选地，所述多目标跟踪算法包括DeepSort算法。
本发明提供的技术方案具有以下有益效果：
(1)传统技术往往只关注结构振动或人员运动，由于结构振动是由作用在其上的人员运动产生的，显然二者之间存在对应关系忽略任意一个方面均无法实现结构性态的实时监测。本发明提供了基于视觉技术的人桥互馈位移监测预警系统及方法，能够实现行人轨迹和结构振动的同步监测；
(2)当结构加速度到达阈值，系统达到预警状态。本发明通过利用结构响应的频谱来分析造成结构过量振动的荷载的频率信息，随后与根据行人轨迹重构的足底力所作的频谱相比较，分析并找出引发结构振动问题的人致荷载情况。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明基于视觉技术的人桥互馈位移监测预警系统的结构示意图；
图2为本发明行人监测技术原理图；
图3为本发明结构监测技术原理图；
图4为本发明基于视觉技术的人桥互馈位移监测预警方法的执行流程图；
图5为本发明YOLOv5s网络模型结构图；
图6为本发明卷积运算原理图；
图7为本发明坐标转换关系图；
图8为本发明双目立体视觉测量坐标系；
图9为本发明重构足底力时程曲线(a)和傅里叶变换后频谱(b)；
图10为本发明结构响应时程曲线(a)和傅里叶变换后频谱(b)。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参考图1，本发明实施例提供了一种基于视觉技术的人桥互馈位移监测预警系统，主要包括行人监测模块、结构监测模块、人-结构互馈系统模块和结构预警模块。
行人监测模块：
该模块要实现对行人的多目标追踪和各个目标的位移识别问题，难点在于解决多目标识别和环境干扰问题。行人监测模块的技术原理如图2所示。
行人运动数据库构建及训练模块，用于基于预设的行人数据集，构建行人运动数据库，基于深度学习的目标监测算法对行人数据集进行训练。
目前已经公开有许多用于行人检测的数据集，本发明实施例优选使用CUHKOcclusion Dataset行人数据集，与同类数据集相比，CUHK Occlusion Dataset包含多种场景、多个视角、以及存在遮挡下的标注人体，因此非常适用于本发明场景。基于深度学习的目标监测算法优选YOLOv5s算法，通过该算法对CUHK Occlusion Dataset行人数据集进行训练。
需要说明的是，将双目视觉行人监测相机安装于行人运动区域上方，确保相机视野能够清晰拍摄到结构上所有的行人图像；将双目视觉桥梁位移相机安装在拍摄区域上方，保证平稳且视线无遮挡，两个摄像机的左右画面能覆盖采集到结构上所有行人的运动区域，使用激光测距仪确定相机的俯仰角；对行人的拍摄方向包括面向镜头正前、左前、右前、侧面、正后、左后以及右后方向。
目标连续追踪模块，用于对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人识别框，再提取出同一行人在连续图像帧中的行人识别框图像；在人群中存在遮挡的环境下，通过多目标跟踪算法对预测结果和监测结果进行级联匹配和交并比匹配操作，实现对目标的连续追踪。
行人位移计算模块，根据双目立体视觉的三维坐标计算公式，将世界坐标系建立在左相机光心处，根据同一行人在连续帧图像中行人识别框的像素坐标变化序列，然后利用双目立体视觉三维坐标计算行人在左相机坐标系中的三维坐标，由此获得行人在X轴和Y轴方向上的图像位移。
足底力重构模块，用于利用识别框的尺寸信息估算行人的身高和体重，通过行人运动过程中的竖向位移求导得到的竖向加速度，依据牛顿第二定律重构足底力。
结构监测模块：
结构状态(应变、位移、加速度等)的监测过程中，目标物固定在结构关键位置处，环境干扰较小，但对监测精度要求高，结构监测模块的技术原理如图3所示。
(1)视实际监测需求在结构不同位置安装若干标记点，其中跨中位置为必要的主监测点；所述双目视觉结构监测模块安装在地面平稳且视线无遮挡处，两个摄像机的左右画面都需采集到桥梁所有标记物，装置与标志点的距离在合适的范围内。使用激光测距仪确定相机的俯仰角。此外，要保证相机帧率，确保视频转化为图像后标志点在图像中不失真。
(2)采用与行人监测模块双目视觉中相同的坐标转换方法，将图像坐标系转化到世界坐标系，得到结构各标志点的在世界坐标系下的竖向位移，对位移的时程曲线求导可得到结构的加速度信息。
人-结构互馈系统模块：
在每个计算周期内，分别对行人足底力时程曲线和结构位移时程曲线作傅里叶变换。实时对比结构响应频谱与行人足底力的频谱，可知行人足底力在结构响应中所占的贡献。
结构预警模块：
各国规范中对于振动舒适度的规范各有区别，但一般都对结构的竖向基频和竖向加速度值进行限制。本发明以结构加速度峰值作为预警判别依据。当结构加速度峰值达到上限时进行预警。结构达到所述预警状态时，对照足底力频谱可判断群体中引发桥梁过量振动的人致荷载的对应成分。最后，由工作人员对引发桥梁过量振动的行人进行疏导，解决桥梁的过量振动问题。
请参考图4，本发明实施例提供了一种基于视觉技术的人桥互馈位移监测预警方法，包括以下步骤：
S1.1：基于深度学习的目标监测算法获取行人的体重信息，利用双目立体视觉测量行人的三维位移信息，并对竖直位移进行求导获取行人的加速度信息，根据行人的体重信息和加速度信息重构足底力。
具体地，本实施例中使用的YOLOv5s算法属于单阶段目标监测算法，具有监测速度快同时精度较好的特点，非常适合对人群信息的实时监测。
YOLOv5s的结构包括输入端、Backbone、Neck、Head四个部分，如图5所示。Backbone是在不同图像细粒度上聚合并形成图像特征的卷积神经网络，通过多次卷积等操作提取图像特征，卷积运算原理如图6所示，由于YOLOv5s算法及其结构已经是一种比较成熟的现有技术，在此不过多赘述。
Neck部分用于产生特征图金字塔网络(Feature Pyramid Networks，FPN)，能够增强网络结构对于不同从尺度大小的目标监测能力，从而监测出不同大小的行人目标。
在YOLOv5s的Head部分，使用K-means聚类提取先验框，使算法能适用更多不同尺寸的目标物，提升监测精度。
此外，本发明将YOLOV5s算法作为监测器，将识别结果输入DeepSort算法中共同构成目标追踪系统。DeepSort算法实现了对视频各帧图像中多目标物的匹配问题以及各个目标物之间的遮挡问题。
通过以上步骤，实现了对行人轨迹的较准确的识别，同时将识别出的行人进行了框定，方便了对行人进行三维位移的测量。
双目视觉原理中，世界坐标系、相机坐标系和图像坐标系的转换关系如图7所示。
各坐标系间转换关系如下式：
式中：s为比例因子；(u,v)为目标点的像素坐标；(ku,kv)分别表示水平方向和竖直方向上像素和实际长度之间的比例关系；(u0,v0)为图像中心点的像素坐标；f为相机的焦距；R和T表示世界坐标系向相机坐标系转换的旋转矩阵和偏移向量；(Xw,Yw,Zw)为目标点在世界坐标系下的坐标。
在进行坐标系转化时，规定物体表面三维坐标系的正方向为：面向物体，平行于被测物体表面且水平向右为x轴正方向；竖直向下为y轴正方向；垂直指向被测物体表面为z轴正方向，如图8所示。
考虑到双目系统中左右两相机的参数不可能完全相同，用角标l和r对个参数加以区别。对于左右相机坐标系和世界坐标系之间，都有如下关系式。
式中：sl和sr为比例因子；(Xl,Yl)为目标点在相机坐标系下的坐标；(xl,yl,zl)为目标点在世界坐标系下的坐标。
此时，左相机坐标系ol-xlylzl和右相机坐标系or-xryrzr之间的相互位置关系可以用式(4)表示。
式中：矩阵Mlr表示由左相机坐标系ol-xlylzl转换到右相机坐标系or-xryrzr的空间转换矩阵。
将公式(3)代入公式(2)，得到两摄像机图像平面上的点的对应关系。
联立公式(4)和公式(1)求解，得到空间一点在左相机坐标系下的坐标。
此时，将世界坐标系原点设置在左相机光心处，即可得到空间一点在世界坐标系下的坐标。
通过该步骤，对步骤S1.1所得到的行人识别框进行运算，得到行人运动竖向位移和水平位移的时程曲线。
S1.2：基于Hough变换检测算法捕获桥梁标志点，利用双目立体视觉测量标志点处的结构位移，并对结构位移求导获取桥梁的结构加速度。
具体地，在结构跨中等结构关键位置布设标志点，双目视觉结构监测模块安装在地面平稳且视线无遮挡处，两个摄像机的左右画面都需采集到桥梁所有标记物，装置与标志点的距离在合适的范围内。
上述标志点监测在图像二值化处理后进行，标志点设置为白色背景和黑色棋盘格，以提高监测精度。
根据步骤S1.1中的双目视觉测量原理，对所述桥梁标志点进行识别，运用步骤S1.1的算法原理进行运算，得到桥梁关键位置的竖向位移。
S2：在每个计算周期内，分别对行人足底力时程曲线和桥梁结构位移时程曲线作傅里叶变换，实时对比结构响应频谱与行人的足底力频谱，获取足底力在结构响应中所占的贡献。
需要说明的是，由于进行傅里叶变换需要对一定时长的数据进行处理，因此引入计算周期这一表述，将某一时刻以及之前一段时间设为计算周期。
具体地，在采集行人足底力时程曲线和桥梁结构位移时程曲线之后，利用傅里叶变换分析二者的频谱特性，对比频域内二者振动能量集中的频段，从而分析结构响应中人致激励的比重。
最后，由工作人员对引发桥梁过量振动的行人进行疏导，解决桥梁的过量振动问题。
S3：以结构加速度峰值作为预警判别依据，当结构加速度峰值达到上限时进行预警，获取群体中对应频带下引发桥梁过量振动的人致荷载。
具体地，本发明参考的评价标准为ATC(The Applied Technology Council)Design Guide 1:Minimizing Floor Vibration(1999)规范、ISO10137(2007)和《德国人行桥设计指南》。
ATC(1999)规范仅利用竖向加速度峰值结果进行评价；ISO10137利用频率计权加速度均方根(R.M.S.)进行评价，评价过程相对繁琐；《德国人行桥设计指南》采用桥梁自振频率与桥梁人致振动的峰值加速度限值相结合的方法来划分人行舒适度等级，评价过程不仅简单详细，对舒适度进行了不同等级的划分，而且综合考虑桥梁人致振动的峰值加速度和桥梁自振频率，因此本发明将根据《德国人行桥设计指南》的相关指标对过桥行人舒适度指标进行分析及评价。
所述步骤S2得到了结构关键点处的竖向位移时程曲线，对其进行求导，得到结构的竖向加速度时程曲线，根据舒适度指标确定舒适度等级。
《德国人行桥设计指南》中，过桥行人的舒适度由人行天桥的加速度来进行判别，规范推荐分为4个舒适度级别，如下表示。
表1人行桥加速度舒适度指标
结构加速度达到1.0m/s2时，结构达到预警状态，结构达到所述预警状态时，可判断群体中对应频带下引发桥梁过量振动的人致荷载。
实验验证：
实验中设置了一组2.5Hz的行人队列过桥情况，实验选用桥梁自振频率如表2所示。
表2自振特性
具体执行以下几个步骤。
S1行人监测和结构振动监测
S1.1行人监测
使用YOLOv5+DeepSort算法对人进行实时监测。
受试者的实际体重信息与监测体重信息相比对，结果如下表所示。
表3受试者体重信息比对
上述结果表明，利用监测手段对体重信息进行估计，误差在可接受范围内。
利用双目立体视觉测量原理，对受试者进行三维位移测量，对竖向位移进行求导，得到行人运动竖向加速度时程曲线。
通过监测出的行人体重信息和竖向加速度信息，利用牛顿第二定律对行人足底力进行重构，公式如下。
GRF-G＝ma (7)
其中，GRF为重构后行人足底力，上式中m、a为通过上述步骤得到的行人体重信息和运动的竖向加速度，G为人体重力。
最终获得的足底力的时程曲线和傅里叶变换后频谱如图9所示。
S1.2：结构监测
当行人在桥梁结构上运动时，使用双目视觉监测方法对结构位移进行测量，结构响应时程曲线和傅里叶变换后频谱如图10所示。
S2：人-桥互馈
上述实验中，结构响应的频谱中包含了两个峰值，为2.76Hz和2.5Hz，所述结构响应的频谱与结构自振特性和行人的足底力频谱相比较，判断峰值2.76Hz为桥梁结构的自振频率，峰值2.5Hz对于引发桥梁振动的人致荷载，即行人足底力频率2.5Hz。
S3：结构预警
按上述步骤进行结构频谱分析，以上述实验为例，结构响应的峰值加速度为0.15m/s2，结构响应未达到预警状态，在实际应用中，若出现加速度峰值超标，则根据以上步骤进行频谱比较，可判断群体中对应频带下引发桥梁过量振动的人致荷载。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于视觉技术的人桥互馈位移监测预警系统，其特征在于，包括：行人监测模块、结构监测模块、人-结构互馈系统模块和结构预警系统模块；
所述行人监测模块，用于基于深度学习的目标监测算法获取行人的体重信息，利用双目立体视觉测量行人的三维位移，并对竖直位移进行求导获取行人的加速度信息，根据行人的体重信息和加速度信息重构足底力；
所述结构监测模块，用于基于Hough变换检测算法捕捉桥梁的标志点，利用双目立体视觉测量标志点处的结构位移，并对结构位移求导获取桥梁的结构加速度；
所述人-结构互馈系统模块，用于在每个计算周期内，分别对行人足底力时程曲线和桥梁结构位移时程曲线作傅里叶变换，实时对比结构响应频谱与行人足底力频谱，获取足底力在结构响应中所占的贡献；
所述结构预警系统模块，用于以结构加速度峰值作为预警判别依据，当结构加速度峰值达到上限时进行预警，获取群体中对应频带下引发桥梁过量振动的人致荷载。
2.根据权利要求1所述的人桥互馈位移监测预警系统，其特征在于，所述行人监测模块，具体包括：
行人数据集创建及训练模块，用于基于预设的行人数据集，构建行人运动数据库，基于深度学习的目标监测算法对行人数据集进行训练；
目标连续追踪模块，用于对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人识别框，再提取出同一行人在连续图像帧中的行人识别框图像；在人群中存在遮挡的环境下，通过多目标跟踪算法对预测结果和监测结果进行级联匹配和交并比匹配操作，实现对目标的连续追踪；
行人位移计算模块，用于根据双目立体视觉的三维坐标计算公式，将世界坐标系建立在左相机光心处，根据同一行人在连续帧图像中行人识别框的像素坐标变化序列，然后利用双目立体视觉三维坐标计算行人在左相机坐标系中的三维坐标，由此获得行人在X轴和Y轴方向上的图像位移；
足底力重构模块，用于利用识别框的尺寸信息估算行人的身高和体重，通过行人运动过程中的竖向位移求导得到的竖向加速度，依据牛顿第二定律重构足底力。
3.根据权利要求2所述的人桥互馈位移监测预警系统，其特征在于，所述基于深度学习的目标监测算法包括YOLOv5s算法。
4.根据权利要求2所述的人桥互馈位移监测预警系统，其特征在于，所述预设的行人数据集包括CUHK Occlusion Dataset行人数据集。
5.根据权利要求2所述的人桥互馈位移监测预警系统，其特征在于，所述多目标跟踪算法包括DeepSort算法。
6.一种基于视觉技术的人桥互馈位移监测预警方法，其特征在于，包括以下步骤：
S1.1：基于深度学习的目标监测算法获取行人的体重信息，利用双目立体视觉测量行人的三维位移，并对竖直位移进行求导获取行人的加速度信息，根据行人的体重信息和加速度信息重构足底力；
S1.2：基于Hough变换检测算法捕捉桥梁的标志点，利用双目立体视觉测量标志点处的结构位移，并对结构位移求导获取桥梁的结构加速度；
S2：在每个计算周期内，分别对行人足底力时程曲线和桥梁结构位移时程曲线作傅里叶变换，实时对比结构响应频谱与行人的足底力频谱，获取足底力在结构响应中所占的贡献；
S3：以结构加速度峰值作为预警判别依据，当结构加速度峰值达到上限时进行预警，获取群体中对应频带下引发桥梁过量振动的人致荷载。
7.根据权利要求6所述的人桥互馈位移监测预警方法，其特征在于，所述步骤S1.1具体包括：
S1.1.1：基于预设的行人数据集，构建行人运动数据库，基于深度学习的目标监测算法对行人数据集进行训练；
S1.1.2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人识别框，再提取出同一行人在连续图像帧中的行人识别框图像；在人群中存在遮挡的环境下，通过多目标跟踪算法对预测结果和监测结果进行级联匹配和交并比匹配操作，实现对目标的连续追踪；
S1.1.3：根据双目立体视觉的三维坐标计算公式，将世界坐标系建立在左相机光心处，根据同一行人在连续帧图像中行人识别框的像素坐标变化序列，然后利用双目立体视觉三维坐标计算行人在左相机坐标系中的三维坐标，由此获得行人在X轴和Y轴方向上的图像位移；
S1.1.4：利用识别框的尺寸信息估算行人的身高和体重，通过行人运动过程中的竖向位移求导得到的竖向加速度，依据牛顿第二定律重构足底力。
8.根据权利要求7所述的人桥互馈位移监测预警方法，其特征在于，所述基于深度学习的目标监测算法包括YOLOv5s算法。
9.根据权利要求7所述的人桥互馈位移监测预警方法，其特征在于，所述预设的行人数据集包括CUHK Occlusion Dataset行人数据集。
10.根据权利要求7所述的人桥互馈位移监测预警方法，其特征在于，所述多目标跟踪算法包括DeepSort算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310035337.5A CN116358622A (zh) | 2023-01-10 | 2023-01-10 | 基于视觉技术的人桥互馈位移监测预警系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310035337.5A CN116358622A (zh) | 2023-01-10 | 2023-01-10 | 基于视觉技术的人桥互馈位移监测预警系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116358622A true CN116358622A (zh) | 2023-06-30 |
Family
ID=86905372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310035337.5A Pending CN116358622A (zh) | 2023-01-10 | 2023-01-10 | 基于视觉技术的人桥互馈位移监测预警系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116358622A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680963A (zh) * | 2023-08-01 | 2023-09-01 | 中建三局第一建设工程有限责任公司 | 基于计算机视觉的人致足底力构建方法、系统和设备 |
-
2023
- 2023-01-10 CN CN202310035337.5A patent/CN116358622A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680963A (zh) * | 2023-08-01 | 2023-09-01 | 中建三局第一建设工程有限责任公司 | 基于计算机视觉的人致足底力构建方法、系统和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109186584B (zh) | 一种基于人脸识别的室内定位方法及定位系统 | |
| CN102389361B (zh) | 一种基于计算机视觉的盲人户外支援系统 | |
| KR20200071799A (ko) | 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법 | |
| CN105225482A (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| CN108628306B (zh) | 机器人行走障碍检测方法、装置、计算机设备和存储介质 | |
| CN106679567A (zh) | 基于双目立体视觉的接触网及支柱几何参数检测测量系统 | |
| CN108363953B (zh) | 一种行人检测的方法及双目监控设备 | |
| CN103632427B (zh) | 一种道闸防砸方法及道闸控制系统 | |
| CN114267082B (zh) | 基于深度理解的桥侧坠落行为识别方法 | |
| EP2476999B1 (en) | Method for measuring displacement, device for measuring displacement, and program for measuring displacement | |
| CN112235537A (zh) | 一种变电站现场作业安全预警方法 | |
| CN111402632B (zh) | 一种交叉口行人运动轨迹的风险预测方法 | |
| JPH10334207A (ja) | 人流計測装置 | |
| CN116358622A (zh) | 基于视觉技术的人桥互馈位移监测预警系统及方法 | |
| CN112037252A (zh) | 基于鹰眼视觉的目标跟踪方法及系统 | |
| CN111178178B (zh) | 结合区域分布的多尺度行人重识别方法、系统、介质及终端 | |
| CN115188066A (zh) | 基于协同注意力和多尺度融合的运动目标检测系统及方法 | |
| CN112597903B (zh) | 基于步幅测量的电力人员安全状态智能识别方法及介质 | |
| CN111383248A (zh) | 一种行人闯红灯判断方法、装置和电子设备 | |
| CN111275957A (zh) | 一种交通事故信息采集方法、系统及摄像机 | |
| KR100532058B1 (ko) | 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치 | |
| KR101931220B1 (ko) | 인체 부위 측정 장치 및 방법 | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| KR101560810B1 (ko) | 템플릿 영상을 이용한 공간 관리 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |