CN108731788B - 一种高空作业臂低频振动视觉检测装置及方法 - Google Patents

一种高空作业臂低频振动视觉检测装置及方法 Download PDF

Info

Publication number
CN108731788B
CN108731788B CN201810493484.6A CN201810493484A CN108731788B CN 108731788 B CN108731788 B CN 108731788B CN 201810493484 A CN201810493484 A CN 201810493484A CN 108731788 B CN108731788 B CN 108731788B
Authority
CN
China
Prior art keywords
module
data
neural network
image
vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810493484.6A
Other languages
English (en)
Other versions
CN108731788A (zh
Inventor
张霖
纪爱敏
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201810493484.6A priority Critical patent/CN108731788B/zh
Publication of CN108731788A publication Critical patent/CN108731788A/zh
Application granted granted Critical
Publication of CN108731788B publication Critical patent/CN108731788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种高空作业臂低频振动视觉检测装置及方法,所述装置包括数据采集层、核心处理层以及通信接口层;数据采集层包括两个双模摄像头和一个视觉处理SOC;核心处理层包括:MCU、底座惯性测量模块、人机交互模块、欧拉影像放大模块以及深度神经网络训练模块;MCU与底座惯性测量模块通过SPI通信总线通信,MCU与人机交互模块通过RS485进行通信,深度神经网络训练模块与欧拉影像放大模块直接通过DMA在MCU内存进行数据交换;通信接口层用于装置提供数据传输的通信接口。本发明检测装置可直接作为第三方便携式振动检测仪器使用,方便设备维护人员对大型、高空装备的故障进行检测与分析。

Description

一种高空作业臂低频振动视觉检测装置及方法
技术领域
本发明涉及一种高空作业臂低频振动视觉检测装置及方法,属于工业智能装备的状态监测技术领域。
背景技术
高空作业臂高空作业装备,是将人员、工具、材料等升到高空作业平台,进行各种安装、检测、维修等作业的专用设备,其产品的可靠性与安全性是制约国产作业装备扩大应用范围和走向国际化的主要制约因素,时有因臂架弯曲过大而断裂、平台振动过大而坠落等重大安全事故发生。控制系统对于作业臂架的振动检测与整体弯曲度的监测水平急需大幅增加,以便于提升高空作业装备的自动控制能力。
发明内容
为了克服上述缺陷,本发明提供一种高空作业臂低频振动视觉检测装置及方法,既能够检测高空作业臂低频振动状态、估计臂架最大弯曲曲率,也可根据当前振动幅度与频率,结合臂架振动模型,预测臂架最大振动幅度,及时避免安全事故的发生。本发明检测装置可直接作为第三方便携式振动检测仪器使用,方便设备维护人员对大型、高空装备的故障进行检测与分析。
本发明的技术方案如下:
一种高空作业臂低频振动视觉检测装置,所述装置包括数据采集层、核心处理层以及通信接口层;
所述数据采集层包括两个双模摄像头和一个视觉处理SOC;所述视觉SOC通过广播网络绝对时间和相对时间,实现两个双模摄像头的视频数据分布式同步。所述视觉SOC内置图像预处理程序,能实现双树对偶复小波图像实时去噪与增强;
所述核心处理层包括:MCU、底座惯性测量模块、人机交互模块、欧拉影像放大模块以及深度神经网络训练模块;MCU与底座惯性测量模块通过SPI通信总线通信, MCU与人机交互模块通过RS485进行通信,所述深度神经网络训练模块与欧拉影像放大模块直接通过DMA在MCU内存进行数据交换;
所述底座惯性测量模块用于对本装置的本体振动惯性信息进行采集处理,处理后数据用于底座惯性消除,通过计算装置本体处的振动幅度与频率,消除高空作业臂最大振动幅度处由底座安装间隙造成的振动干扰,所述底座惯性测量模块的数据也用于深度神经网络训练模块训练模型;
所述人机交互模块用于提供按键输入,显示和音频输出功能,用于初始安装时的部分设置与显示工作;
所述欧拉影像放大模块利用数据采集层的图像预处理程序进行图像序列的微应变放大,提取微应变极值时的图像特征参量,并将特征参量传输至深度神经网络训练模型;
所述深度神经网络训练模块,以微应变极值图像特征参量为输入,相应的振动幅度与频率为输出,进行进化训练并通过欧拉影像放大处理模型的结果,估计当前高空作业臂的振动幅度与频率;
所述通信接口层用于装置提供数据传输的通信接口。
上述通信接口层包括TCP/IP模块、Powerlink模块以及CAN模块。
一种高空作业臂低频振动视觉检测方法,利用上述的装置,包括如下步骤:
(1)将两个双模摄像头进行编号,分为双模摄像头1和双模摄像头2,并根据高空作业车的底座安装位置,确定固定位置处与高空作业臂薄弱待测点之间的相对距离;
(2)通过人机交互模块,设置当前双模摄像头与高空作业臂测量方向,以及当前固定点与实际待测点沿高空作业臂伸缩方向上的理论距离,对于多级伸缩机构,提供各级伸缩最大长度;
(3)装置安装完毕后,将高空作业臂待机静止,进入装置的校准阶段;
(4)装置通过数据采集层获取双模摄像头1和双模摄像头2的数据,并进行预处理,同时,通过通信接口层的通信模块与高空作业车主控制器进行通信,接受来自于主控制器的信号,提供当前高空作业臂的伸缩长度;
(5)欧拉影像放大模块利用数据采集层的预处理图像,建立图像序列的滑动时间窗并进行欧拉影像放大,实时检测放大影像中高空作业臂角点坐标集合,最后根据坐标集合检测并统计高空作业臂单位时间窗内角点坐标集组成曲线的变化幅度与频次;
(6)底座惯性测量模块实时进行数据采集与预处理,并将振动幅度与频率数据传输至深度神经网络训练模块;
(7)深度神经网络训练模块将欧拉影像放大处理模块结果作为神经网络模型输入,底座惯性测量模块的数据为输出进行训练,并存储网络模型,当训练完成之后,完成装置的校准工作;
(8)如果装置未完成校准,将重复步骤(4)至步骤(7)进行校准;如果装置已经完成校准,重复步骤(4)至步骤(6),并进入步骤(9);
(9)利用已经存储的神经网络模型,将欧拉影像放大处理模块结果作为神经网络模型输入,底座惯性测量模块的数据为输出进行预测并估计获取振动幅度与频率数据;
(10)重复步骤(8)和(9)开始进行高空作业臂的在线实时振动检测流程。
本发明所达到的有益效果:
本发明提供的非接触式高空作业臂低频振动状态监测方法,安装校准极为方便,能预测臂架最大振动幅度,及时避免安全事故的发生。此外,本发明所述的检测装置也可直接作为第三方便携式振动检测仪器使用,方便设备维护人员对大型、高空装备的故障进行检测与分析。
附图说明
图1是本发明装置的硬件架构图;
图2是本发明装置的安装位置简图;
图3是本发明装置的检测原理图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,一种高空作业臂低频振动视觉检测装置,所述装置包括数据采集层、核心处理层以及通信接口层;
所述数据采集层包括两个双模摄像头和一个视觉处理SOC;所述视觉SOC通过广播网络绝对时间和相对时间,实现两个双模摄像头的视频数据分布式同步。所述视觉SOC内置图像预处理程序,能实现双树对偶复小波图像实时去噪与增强;
所述核心处理层包括:MCU、底座惯性测量模块、人机交互模块、欧拉影像放大模块以及深度神经网络训练模块;MCU与底座惯性测量模块通过SPI通信总线通信, MCU与人机交互模块通过RS485进行通信,所述深度神经网络训练模块与欧拉影像放大模块直接通过DMA在MCU内存进行数据交换;
所述底座惯性测量模块用于对本装置的本体振动惯性信息进行采集处理,处理后数据用于底座惯性消除,通过计算装置本体处的振动幅度与频率,消除高空作业臂最大振动幅度处由底座安装间隙造成的振动干扰,所述底座惯性测量模块的数据也用于深度神经网络训练模块训练模型;
所述人机交互模块用于提供按键输入,显示和音频输出功能,用于初始安装时的部分设置与显示工作;
所述欧拉影像放大模块利用数据采集层的图像预处理程序进行图像序列的微应变放大,提取微应变极值时的图像特征参量,并将特征参量传输至深度神经网络训练模型;
所述深度神经网络训练模块,以微应变极值图像特征参量为输入,相应的振动幅度与频率为输出,进行进化训练并通过欧拉影像放大处理模型的结果,估计当前高空作业臂的振动幅度与频率;
上述欧拉影像放大模块和深度神经网络训练模块都是成熟的现有算法,未对算法进行改进,所以不对其进行详述。
所述通信接口层用于装置提供数据传输的通信接口。
上述通信接口层包括TCP/IP模块、Powerlink模块以及CAN模块。
如图2 所示为本发明装置的安装位置简图,本发明装置整体安装在高空作业臂的底端,但安装位置应该考虑到高空作业臂的调幅油缸运动情况,避免发生干涉。同时,由A-A视图中可以看出,两个双模摄像头分别固定于作业臂的两相邻垂直面,以便于本发明装置同时监测臂架的多个振动幅度与频率。
如图3所示为本发明装置的检测原理图,通过双模摄像头1与双模摄像头2分别监测臂架相邻的两垂直面(如图中所示的x与y方向),通过视觉SOC与核心处理层的数据处理,双模摄像头1与双模摄像头2均可监测到在x和y方向上微应变情况,通过深度神经网络训练模块的训练结果模型,即可预测出最大振幅X和Y,从而实现对高空作业臂的振动监测。
本发明的具体连接方式为:
本发明装置的整体底座与高空作业臂架通过机构方式进行连接;本发明装置通过通信接口层中的各通信模块与高空作业车的控制器进行通信连接;本发明装置通过通信接口层中的各通信模块与第三方采集装置进行通信连接。
一种高空作业臂低频振动视觉检测方法,利用上述的装置,包括如下步骤:
(1)将两个双模摄像头进行编号,分为双模摄像头1和双模摄像头2,并根据高空作业车的底座安装位置,确定固定位置处与高空作业臂薄弱待测点之间的相对距离;
(2)通过人机交互模块,设置当前双模摄像头与高空作业臂测量方向,以及当前固定点与实际待测点沿高空作业臂伸缩方向上的理论距离,对于多级伸缩机构,提供各级伸缩最大长度;
(3)装置安装完毕后,将高空作业臂待机静止,进入装置的校准阶段;
(4)装置通过数据采集层获取双模摄像头1和双模摄像头2的数据,并进行预处理,同时,通过通信接口层的通信模块与高空作业车主控制器进行通信,接受来自于主控制器的信号,提供当前高空作业臂的伸缩长度;
(5)欧拉影像放大模块利用数据采集层的预处理图像,建立图像序列的滑动时间窗并进行欧拉影像放大,实时检测放大影像中高空作业臂角点坐标集合,最后根据坐标集合检测并统计高空作业臂单位时间窗内角点坐标集组成曲线的变化幅度与频次;
(6)底座惯性测量模块实时进行数据采集与预处理,并将振动幅度与频率数据传输至深度神经网络训练模块;
(7)深度神经网络训练模块将欧拉影像放大处理模块结果作为神经网络模型输入,底座惯性测量模块的数据为输出进行训练,并存储网络模型,当训练完成之后,完成装置的校准工作;
(8)如果装置未完成校准,将重复步骤(4)至步骤(7)进行校准;如果装置已经完成校准,重复步骤(4)至步骤(6),并进入步骤(9);
(9)利用已经存储的神经网络模型,将欧拉影像放大处理模块结果作为神经网络模型输入,底座惯性测量模块的数据为输出进行预测并估计获取振动幅度与频率数据;
(10)重复步骤(8)和(9)开始进行高空作业臂的在线实时振动检测流程。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (3)

1.一种高空作业臂低频振动视觉检测装置,其特征在于:所述装置包括数据采集层、核心处理层以及通信接口层;
所述数据采集层包括两个双模摄像头和一个视觉处理SOC;所述视觉处理SOC通过广播网络绝对时间和相对时间,实现两个双模摄像头的视频数据分布式同步;所述视觉处理SOC内置图像预处理程序,能实现双树对偶复小波图像实时去噪与增强;
所述核心处理层包括:MCU、底座惯性测量模块、人机交互模块、欧拉影像放大模块以及深度神经网络训练模块;MCU与底座惯性测量模块通过SPI通信总线通信, MCU与人机交互模块通过RS485进行通信,所述深度神经网络训练模块与欧拉影像放大模块直接通过DMA在MCU内存进行数据交换;
所述底座惯性测量模块用于对本装置的本体振动惯性信息进行采集处理,处理后数据用于底座惯性消除,通过计算装置本体处的振动幅度与频率,消除高空作业臂最大振动幅度处由底座安装间隙造成的振动干扰,所述底座惯性测量模块的数据也用于深度神经网络训练模块训练模型;
所述人机交互模块用于提供按键输入,显示和音频输出功能,用于初始安装时的部分设置与显示工作;
所述欧拉影像放大模块利用数据采集层的图像预处理程序进行图像序列的微应变放大,提取微应变极值时的图像特征参量,并将特征参量传输至深度神经网络训练模型;
所述深度神经网络训练模块,以微应变极值图像特征参量为输入,相应的振动幅度与频率为输出,进行进化训练并通过欧拉影像放大处理模型的结果,估计当前高空作业臂的振动幅度与频率;
所述通信接口层用于装置提供数据传输的通信接口。
2.根据权利要求1所述的一种高空作业臂低频振动视觉检测装置,其特征在于:所述通信接口层包括TCP/IP模块、Powerlink模块以及CAN模块。
3.一种高空作业臂低频振动视觉检测方法,其特征在于利用权利要求1所述的装置,包括如下步骤:
(1)将两个双模摄像头进行编号,分为双模摄像头1和双模摄像头2,并根据高空作业车的底座安装位置,确定固定位置处与高空作业臂薄弱待测点之间的相对距离;
(2)通过人机交互模块,设置当前双模摄像头与高空作业臂测量方向,以及当前固定点与实际待测点沿高空作业臂伸缩方向上的理论距离,对于多级伸缩机构,提供各级伸缩最大长度;
(3)装置安装完毕后,将高空作业臂待机静止,进入装置的校准阶段;
(4)装置通过数据采集层获取双模摄像头1和双模摄像头2的数据,并进行预处理,同时,通过通信接口层的通信模块与高空作业车主控制器进行通信,接受来自于主控制器的信号,提供当前高空作业臂的伸缩长度;
(5)欧拉影像放大模块利用数据采集层的预处理图像,建立图像序列的滑动时间窗并进行欧拉影像放大,实时检测放大影像中高空作业臂角点坐标集合,最后根据坐标集合检测并统计高空作业臂单位时间窗内角点坐标集组成曲线的变化幅度与频次;
(6)底座惯性测量模块实时进行数据采集与预处理,并将振动幅度与频率数据传输至深度神经网络训练模块;
(7)深度神经网络训练模块将欧拉影像放大处理模块结果作为神经网络模型输入,底座惯性测量模块的数据为输出进行训练,并存储网络模型,当训练完成之后,完成装置的校准工作;
(8)如果装置未完成校准,将重复步骤(4)至步骤(7)进行校准;如果装置已经完成校准,重复步骤(4)至步骤(6),并进入步骤(9);
(9)利用已经存储的神经网络模型,将欧拉影像放大处理模块结果作为神经网络模型输入,底座惯性测量模块的数据为输出进行预测并估计获取振动幅度与频率数据;
(10)重复步骤(8)和(9)开始进行高空作业臂的在线实时振动检测流程。
CN201810493484.6A 2018-05-22 2018-05-22 一种高空作业臂低频振动视觉检测装置及方法 Active CN108731788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810493484.6A CN108731788B (zh) 2018-05-22 2018-05-22 一种高空作业臂低频振动视觉检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810493484.6A CN108731788B (zh) 2018-05-22 2018-05-22 一种高空作业臂低频振动视觉检测装置及方法

Publications (2)

Publication Number Publication Date
CN108731788A CN108731788A (zh) 2018-11-02
CN108731788B true CN108731788B (zh) 2020-06-09

Family

ID=63938691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810493484.6A Active CN108731788B (zh) 2018-05-22 2018-05-22 一种高空作业臂低频振动视觉检测装置及方法

Country Status (1)

Country Link
CN (1) CN108731788B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613559B (zh) * 2018-12-18 2022-04-22 河海大学常州校区 基于视觉和激光雷达的水陆边界漂浮物判别装置与方法
CN110068388A (zh) * 2019-03-29 2019-07-30 南京航空航天大学 一种基于视觉和盲源分离的振动检测方法
CN110595601B (zh) * 2019-04-26 2021-10-15 深圳市豪视智能科技有限公司 桥梁振动检测方法及相关装置
CN110595605A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 振动检测系统
CN110595779B (zh) * 2019-04-26 2021-10-12 深圳市豪视智能科技有限公司 一种轴承异常的检测方法及相关设备
CN110617965B (zh) * 2019-04-26 2021-10-15 深圳市豪视智能科技有限公司 齿轮组异常的检测方法及相关产品
CN110631680B (zh) * 2019-04-26 2021-10-15 深圳市豪视智能科技有限公司 振动检测系统
CN110595745B (zh) * 2019-04-26 2021-05-07 深圳市豪视智能科技有限公司 针对设备的固定螺丝异常的检测方法及相关产品
CN110595603B (zh) * 2019-04-26 2022-04-19 深圳市豪视智能科技有限公司 基于视频进行振动分析方法及相关产品
CN110617873B (zh) * 2019-04-26 2022-01-14 深圳市豪视智能科技有限公司 电缆的振动检测方法及相关产品
CN110108348B (zh) * 2019-05-15 2021-04-23 湖南科技大学 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统
CN110245651B (zh) * 2019-08-09 2019-11-29 深圳市广宁股份有限公司 质量智能检测方法及相关装置
CN110517240B (zh) * 2019-08-22 2022-06-03 联峰钢铁(张家港)有限公司 一种连铸机状态判断方法及装置
CN110674700B (zh) * 2019-08-31 2023-07-21 深圳市广宁股份有限公司 基于数字孪生模型的电子设备的智能健康预测方法及装置
CN110553714B (zh) * 2019-08-31 2022-01-14 深圳市广宁股份有限公司 智能振动增强现实测试方法及相关产品
JP2024042126A (ja) * 2021-01-20 2024-03-28 国立大学法人京都大学 振動検知システム、振動検知方法、および振動検知プログラム
CN113062599B (zh) * 2021-03-19 2022-03-01 中联重科股份有限公司 用于臂架减振控制的装置、系统、方法、介质及工程机械

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004045291A1 (de) * 2004-09-16 2006-01-05 Daimlerchrysler Ag Messung der Schwingung von Riemen bei Riementrieben
CN101387546B (zh) * 2008-10-29 2010-09-08 华南理工大学 基于视觉的太空帆板弯曲和扭转低频模态检测方法与装置
CN103033253B (zh) * 2012-12-10 2015-07-15 太原科技大学 一种塔式起重机结构的非接触振动检测方法
CN103267567B (zh) * 2013-06-05 2015-09-30 南京理工大学 基于机器视觉的柔性悬臂梁振动的测量装置及方法
CN104591051B (zh) * 2014-12-02 2017-03-08 徐工消防安全装备有限公司 一种曲臂式高空作业车多模式幅度控制系统
CN106153331B (zh) * 2016-09-18 2019-02-05 安徽理工大学 基于机器视觉的柔性双关节机械臂振动的测量装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Contactless vibration measurement using linear CCD sensor;Jozsef LENART;《Proceedings of the 13th International Carpathian Control Conference》;20120702;第426-429页 *

Also Published As

Publication number Publication date
CN108731788A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108731788B (zh) 一种高空作业臂低频振动视觉检测装置及方法
CN103235562B (zh) 变电站基于巡检机器人的综合参数检测系统及巡检方法
CN103266559B (zh) Bp桥梁安全巡检车及获取桥梁表面面相的方法
CN108190749A (zh) 一种塔吊的远程控制装置、控制方法和智能塔吊
CN110213542A (zh) 一种基于物联网大数据的基坑综合在线监测云平台系统
CN112213317B (zh) 基于三维激光扫描技术的输送带撕裂检测系统及其检测方法
CN109187564B (zh) 一种狭长型构筑物实时变形监测系统
CN110487239B (zh) 锅炉膨胀在线监测系统
CN111268527A (zh) 电梯机械故障监测方法及系统
CN111186771A (zh) 一种远程塔机智能控制系统
CN102943790A (zh) 智能液压缸系统
CN110728812B (zh) 输电线路防外力破坏检测保护装置及其使用方法
CN109019349B (zh) 故障检测方法、检测器、计算机存储介质及起重机
CN112782462A (zh) 一种基于电场测量的直流电压检测报警系统及其检测方法
CN110954035A (zh) 波导管故障监测系统及方法
CN103848345B (zh) 天车吊钩与铝包吊环之间的精确定位方法及装置
CN109110644B (zh) 一种基于bim的钢桁架杆件的精准定位系统
CN203117762U (zh) 基于巡检机器人的变电站综合参数检测装置
CN221876397U (zh) 一种多机种流动式防碰撞管理装置
CN205442421U (zh) 设有运行数据实时监控的起重机预警系统
JPWO2020044797A1 (ja) 情報処理装置、情報処理システム、及び情報処理方法
CN206073922U (zh) 钢管在线扫描测长仪
CN110825060A (zh) 一种基于工业云的冲片涂漆流水线在线视觉监测方法
CN215666701U (zh) 副臂工况检测系统及起重机
CN214217994U (zh) 一种可实时精确测量塔机起升机构速度的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant