CN108731788B - 一种高空作业臂低频振动视觉检测装置及方法 - Google Patents

Abstract

本发明公开了一种高空作业臂低频振动视觉检测装置及方法，所述装置包括数据采集层、核心处理层以及通信接口层；数据采集层包括两个双模摄像头和一个视觉处理SOC；核心处理层包括：MCU、底座惯性测量模块、人机交互模块、欧拉影像放大模块以及深度神经网络训练模块；MCU与底座惯性测量模块通过SPI通信总线通信,MCU与人机交互模块通过RS485进行通信，深度神经网络训练模块与欧拉影像放大模块直接通过DMA在MCU内存进行数据交换；通信接口层用于装置提供数据传输的通信接口。本发明检测装置可直接作为第三方便携式振动检测仪器使用，方便设备维护人员对大型、高空装备的故障进行检测与分析。

Description

一种高空作业臂低频振动视觉检测装置及方法

技术领域

本发明涉及一种高空作业臂低频振动视觉检测装置及方法，属于工业智能装备的状态监测技术领域。

背景技术

高空作业臂高空作业装备，是将人员、工具、材料等升到高空作业平台，进行各种安装、检测、维修等作业的专用设备，其产品的可靠性与安全性是制约国产作业装备扩大应用范围和走向国际化的主要制约因素，时有因臂架弯曲过大而断裂、平台振动过大而坠落等重大安全事故发生。控制系统对于作业臂架的振动检测与整体弯曲度的监测水平急需大幅增加，以便于提升高空作业装备的自动控制能力。

发明内容

为了克服上述缺陷，本发明提供一种高空作业臂低频振动视觉检测装置及方法，既能够检测高空作业臂低频振动状态、估计臂架最大弯曲曲率，也可根据当前振动幅度与频率，结合臂架振动模型，预测臂架最大振动幅度，及时避免安全事故的发生。本发明检测装置可直接作为第三方便携式振动检测仪器使用，方便设备维护人员对大型、高空装备的故障进行检测与分析。

本发明的技术方案如下：

一种高空作业臂低频振动视觉检测装置，所述装置包括数据采集层、核心处理层以及通信接口层；

所述数据采集层包括两个双模摄像头和一个视觉处理SOC；所述视觉SOC通过广播网络绝对时间和相对时间，实现两个双模摄像头的视频数据分布式同步。所述视觉SOC内置图像预处理程序，能实现双树对偶复小波图像实时去噪与增强；

所述核心处理层包括：MCU、底座惯性测量模块、人机交互模块、欧拉影像放大模块以及深度神经网络训练模块；MCU与底座惯性测量模块通过SPI通信总线通信， MCU与人机交互模块通过RS485进行通信，所述深度神经网络训练模块与欧拉影像放大模块直接通过DMA在MCU内存进行数据交换；

所述底座惯性测量模块用于对本装置的本体振动惯性信息进行采集处理，处理后数据用于底座惯性消除，通过计算装置本体处的振动幅度与频率，消除高空作业臂最大振动幅度处由底座安装间隙造成的振动干扰，所述底座惯性测量模块的数据也用于深度神经网络训练模块训练模型；

所述人机交互模块用于提供按键输入，显示和音频输出功能，用于初始安装时的部分设置与显示工作；

所述欧拉影像放大模块利用数据采集层的图像预处理程序进行图像序列的微应变放大，提取微应变极值时的图像特征参量，并将特征参量传输至深度神经网络训练模型；

所述深度神经网络训练模块，以微应变极值图像特征参量为输入，相应的振动幅度与频率为输出，进行进化训练并通过欧拉影像放大处理模型的结果，估计当前高空作业臂的振动幅度与频率；

所述通信接口层用于装置提供数据传输的通信接口。

上述通信接口层包括TCP/IP模块、Powerlink模块以及CAN模块。

一种高空作业臂低频振动视觉检测方法，利用上述的装置，包括如下步骤：

（1）将两个双模摄像头进行编号，分为双模摄像头1和双模摄像头2，并根据高空作业车的底座安装位置，确定固定位置处与高空作业臂薄弱待测点之间的相对距离；

（2）通过人机交互模块，设置当前双模摄像头与高空作业臂测量方向，以及当前固定点与实际待测点沿高空作业臂伸缩方向上的理论距离，对于多级伸缩机构，提供各级伸缩最大长度；

（3）装置安装完毕后，将高空作业臂待机静止，进入装置的校准阶段；

（4）装置通过数据采集层获取双模摄像头1和双模摄像头2的数据，并进行预处理，同时，通过通信接口层的通信模块与高空作业车主控制器进行通信，接受来自于主控制器的信号，提供当前高空作业臂的伸缩长度；

（5）欧拉影像放大模块利用数据采集层的预处理图像，建立图像序列的滑动时间窗并进行欧拉影像放大，实时检测放大影像中高空作业臂角点坐标集合，最后根据坐标集合检测并统计高空作业臂单位时间窗内角点坐标集组成曲线的变化幅度与频次；

（6）底座惯性测量模块实时进行数据采集与预处理，并将振动幅度与频率数据传输至深度神经网络训练模块；

（7）深度神经网络训练模块将欧拉影像放大处理模块结果作为神经网络模型输入，底座惯性测量模块的数据为输出进行训练，并存储网络模型，当训练完成之后，完成装置的校准工作；

（8）如果装置未完成校准，将重复步骤（4）至步骤（7）进行校准；如果装置已经完成校准，重复步骤（4）至步骤（6），并进入步骤（9）；

（9）利用已经存储的神经网络模型，将欧拉影像放大处理模块结果作为神经网络模型输入，底座惯性测量模块的数据为输出进行预测并估计获取振动幅度与频率数据；

（10）重复步骤（8）和（9）开始进行高空作业臂的在线实时振动检测流程。

本发明所达到的有益效果：

本发明提供的非接触式高空作业臂低频振动状态监测方法，安装校准极为方便，能预测臂架最大振动幅度，及时避免安全事故的发生。此外，本发明所述的检测装置也可直接作为第三方便携式振动检测仪器使用，方便设备维护人员对大型、高空装备的故障进行检测与分析。

附图说明

图1是本发明装置的硬件架构图；

图2是本发明装置的安装位置简图；

图3是本发明装置的检测原理图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种高空作业臂低频振动视觉检测装置，所述装置包括数据采集层、核心处理层以及通信接口层；

所述数据采集层包括两个双模摄像头和一个视觉处理SOC；所述视觉SOC通过广播网络绝对时间和相对时间，实现两个双模摄像头的视频数据分布式同步。所述视觉SOC内置图像预处理程序，能实现双树对偶复小波图像实时去噪与增强；

所述核心处理层包括：MCU、底座惯性测量模块、人机交互模块、欧拉影像放大模块以及深度神经网络训练模块；MCU与底座惯性测量模块通过SPI通信总线通信, MCU与人机交互模块通过RS485进行通信，所述深度神经网络训练模块与欧拉影像放大模块直接通过DMA在MCU内存进行数据交换；

所述底座惯性测量模块用于对本装置的本体振动惯性信息进行采集处理，处理后数据用于底座惯性消除，通过计算装置本体处的振动幅度与频率，消除高空作业臂最大振动幅度处由底座安装间隙造成的振动干扰，所述底座惯性测量模块的数据也用于深度神经网络训练模块训练模型；

所述人机交互模块用于提供按键输入，显示和音频输出功能，用于初始安装时的部分设置与显示工作；

所述欧拉影像放大模块利用数据采集层的图像预处理程序进行图像序列的微应变放大，提取微应变极值时的图像特征参量，并将特征参量传输至深度神经网络训练模型；

所述深度神经网络训练模块，以微应变极值图像特征参量为输入，相应的振动幅度与频率为输出，进行进化训练并通过欧拉影像放大处理模型的结果，估计当前高空作业臂的振动幅度与频率；

上述欧拉影像放大模块和深度神经网络训练模块都是成熟的现有算法，未对算法进行改进，所以不对其进行详述。

所述通信接口层用于装置提供数据传输的通信接口。

上述通信接口层包括TCP/IP模块、Powerlink模块以及CAN模块。

如图2 所示为本发明装置的安装位置简图，本发明装置整体安装在高空作业臂的底端，但安装位置应该考虑到高空作业臂的调幅油缸运动情况，避免发生干涉。同时，由A-A视图中可以看出，两个双模摄像头分别固定于作业臂的两相邻垂直面，以便于本发明装置同时监测臂架的多个振动幅度与频率。

如图3所示为本发明装置的检测原理图，通过双模摄像头1与双模摄像头2分别监测臂架相邻的两垂直面（如图中所示的x与y方向），通过视觉SOC与核心处理层的数据处理，双模摄像头1与双模摄像头2均可监测到在x和y方向上微应变情况，通过深度神经网络训练模块的训练结果模型，即可预测出最大振幅X和Y，从而实现对高空作业臂的振动监测。

本发明的具体连接方式为：

本发明装置的整体底座与高空作业臂架通过机构方式进行连接；本发明装置通过通信接口层中的各通信模块与高空作业车的控制器进行通信连接；本发明装置通过通信接口层中的各通信模块与第三方采集装置进行通信连接。

一种高空作业臂低频振动视觉检测方法，利用上述的装置，包括如下步骤：

（1）将两个双模摄像头进行编号，分为双模摄像头1和双模摄像头2，并根据高空作业车的底座安装位置，确定固定位置处与高空作业臂薄弱待测点之间的相对距离；

（2）通过人机交互模块，设置当前双模摄像头与高空作业臂测量方向，以及当前固定点与实际待测点沿高空作业臂伸缩方向上的理论距离，对于多级伸缩机构，提供各级伸缩最大长度；

（3）装置安装完毕后，将高空作业臂待机静止，进入装置的校准阶段；

（4）装置通过数据采集层获取双模摄像头1和双模摄像头2的数据，并进行预处理，同时，通过通信接口层的通信模块与高空作业车主控制器进行通信，接受来自于主控制器的信号，提供当前高空作业臂的伸缩长度；

（5）欧拉影像放大模块利用数据采集层的预处理图像，建立图像序列的滑动时间窗并进行欧拉影像放大，实时检测放大影像中高空作业臂角点坐标集合，最后根据坐标集合检测并统计高空作业臂单位时间窗内角点坐标集组成曲线的变化幅度与频次；

（6）底座惯性测量模块实时进行数据采集与预处理，并将振动幅度与频率数据传输至深度神经网络训练模块；

（7）深度神经网络训练模块将欧拉影像放大处理模块结果作为神经网络模型输入，底座惯性测量模块的数据为输出进行训练，并存储网络模型，当训练完成之后，完成装置的校准工作；

（8）如果装置未完成校准，将重复步骤（4）至步骤（7）进行校准；如果装置已经完成校准，重复步骤（4）至步骤（6），并进入步骤（9）；

（9）利用已经存储的神经网络模型，将欧拉影像放大处理模块结果作为神经网络模型输入，底座惯性测量模块的数据为输出进行预测并估计获取振动幅度与频率数据；

（10）重复步骤（8）和（9）开始进行高空作业臂的在线实时振动检测流程。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (3)

1.一种高空作业臂低频振动视觉检测装置，其特征在于：所述装置包括数据采集层、核心处理层以及通信接口层；

所述数据采集层包括两个双模摄像头和一个视觉处理SOC；所述视觉处理SOC通过广播网络绝对时间和相对时间，实现两个双模摄像头的视频数据分布式同步；所述视觉处理SOC内置图像预处理程序，能实现双树对偶复小波图像实时去噪与增强；

所述核心处理层包括：MCU、底座惯性测量模块、人机交互模块、欧拉影像放大模块以及深度神经网络训练模块；MCU与底座惯性测量模块通过SPI通信总线通信, MCU与人机交互模块通过RS485进行通信，所述深度神经网络训练模块与欧拉影像放大模块直接通过DMA在MCU内存进行数据交换；

所述底座惯性测量模块用于对本装置的本体振动惯性信息进行采集处理，处理后数据用于底座惯性消除，通过计算装置本体处的振动幅度与频率，消除高空作业臂最大振动幅度处由底座安装间隙造成的振动干扰，所述底座惯性测量模块的数据也用于深度神经网络训练模块训练模型；

所述人机交互模块用于提供按键输入，显示和音频输出功能，用于初始安装时的部分设置与显示工作；

所述欧拉影像放大模块利用数据采集层的图像预处理程序进行图像序列的微应变放大，提取微应变极值时的图像特征参量，并将特征参量传输至深度神经网络训练模型；

所述深度神经网络训练模块，以微应变极值图像特征参量为输入，相应的振动幅度与频率为输出，进行进化训练并通过欧拉影像放大处理模型的结果，估计当前高空作业臂的振动幅度与频率；

所述通信接口层用于装置提供数据传输的通信接口。

2.根据权利要求1所述的一种高空作业臂低频振动视觉检测装置，其特征在于：所述通信接口层包括TCP/IP模块、Powerlink模块以及CAN模块。

3.一种高空作业臂低频振动视觉检测方法，其特征在于利用权利要求1所述的装置，包括如下步骤：

（1）将两个双模摄像头进行编号，分为双模摄像头1和双模摄像头2，并根据高空作业车的底座安装位置，确定固定位置处与高空作业臂薄弱待测点之间的相对距离；

（2）通过人机交互模块，设置当前双模摄像头与高空作业臂测量方向，以及当前固定点与实际待测点沿高空作业臂伸缩方向上的理论距离，对于多级伸缩机构，提供各级伸缩最大长度；

（3）装置安装完毕后，将高空作业臂待机静止，进入装置的校准阶段；

（4）装置通过数据采集层获取双模摄像头1和双模摄像头2的数据，并进行预处理，同时，通过通信接口层的通信模块与高空作业车主控制器进行通信，接受来自于主控制器的信号，提供当前高空作业臂的伸缩长度；

（5）欧拉影像放大模块利用数据采集层的预处理图像，建立图像序列的滑动时间窗并进行欧拉影像放大，实时检测放大影像中高空作业臂角点坐标集合，最后根据坐标集合检测并统计高空作业臂单位时间窗内角点坐标集组成曲线的变化幅度与频次；

（6）底座惯性测量模块实时进行数据采集与预处理，并将振动幅度与频率数据传输至深度神经网络训练模块；

（7）深度神经网络训练模块将欧拉影像放大处理模块结果作为神经网络模型输入，底座惯性测量模块的数据为输出进行训练，并存储网络模型，当训练完成之后，完成装置的校准工作；

（8）如果装置未完成校准，将重复步骤（4）至步骤（7）进行校准；如果装置已经完成校准，重复步骤（4）至步骤（6），并进入步骤（9）；

（9）利用已经存储的神经网络模型，将欧拉影像放大处理模块结果作为神经网络模型输入，底座惯性测量模块的数据为输出进行预测并估计获取振动幅度与频率数据；

（10）重复步骤（8）和（9）开始进行高空作业臂的在线实时振动检测流程。

Images