CN115837994A - 一种基于mems陀螺仪的吊舱姿态检测及图像补偿装置及方法 - Google Patents
一种基于mems陀螺仪的吊舱姿态检测及图像补偿装置及方法 Download PDFInfo
- Publication number
- CN115837994A CN115837994A CN202310119945.4A CN202310119945A CN115837994A CN 115837994 A CN115837994 A CN 115837994A CN 202310119945 A CN202310119945 A CN 202310119945A CN 115837994 A CN115837994 A CN 115837994A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- attitude
- pod
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006641 stabilisation Effects 0.000 claims abstract description 81
- 238000011105 stabilization Methods 0.000 claims abstract description 81
- 238000005259 measurement Methods 0.000 claims abstract description 20
- 238000004846 x-ray emission Methods 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 19
- 206010034719 Personality change Diseases 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 102100033121 Transcription factor 21 Human genes 0.000 description 12
- 101710119687 Transcription factor 21 Proteins 0.000 description 12
- 230000000694 effects Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000002788 crimping Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置及方法,属于吊舱姿态检测技术领域;解决了现有无人机X线检测设备易受噪声干扰等因素,造成所采集的目标图像画面出现抖动、畸变或者模糊等问题;包括吊舱,吊舱上固定有X射线检测模、姿态测量模块和机械稳像模块,X射线检测模块包括电源模块、X射线发射源和X射线数字检测板;X射线数字检测板上集成有数字接收板、图像稳像模块、无线传输模块;姿态测量模块用于获取吊舱姿态数据并分别传输到机械稳像模块和图像稳像模块,数字接收板用于获取源视频图像并传输到图像稳像模块,叠加输出模块将机械稳像结果和图像稳像结果叠加,得到去抖补偿后的图像;本发明应用于电力线路检测。
Description
技术领域
本发明提供了一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置及方法,属于吊舱姿态检测技术领域。
背景技术
在铺设输电线路时,通常使用耐张线夹固定传输线,耐张线夹固定在传输线上后不能拆卸,压接质量的好坏直接影响输电线路运行的安全性和可靠性,而长期使用也会导致耐张线夹出现质量问题。利用X射线探伤技术能够实现耐张线夹的缺陷检测。X射线探伤技术利用X射线来判断材料内部的缺陷情况。由于X射线能够穿透金属材料,不同材料对X射线的吸收和散射作用不同,从而会在成像板或胶卷上形成不同的影像,通过影像的比对分析,便可判断耐张线夹是否出现裂纹、缩孔等缺陷。
目前,将无人机作为飞行载具,搭配X射线数字成像仪器,进行输电线路耐张线夹故障检测是一种可行的方法,能够解决无人机无法检测耐张线夹内部及X射线数字成像仪器检测过程繁琐等一系列问题。但是,由于耐张线夹和无人机的自身抖动以及X射线检测设备易受噪声干扰等因素,造成所采集的目标图像画面出现抖动、畸变或者模糊等问题,影响检测系统的实际使用。
现有的解决方法是利用图像处理技术,分析摄像平台以及视频帧的晃动情况,从而计算出摄像平台的抖动矢量,再对视频图像做逆向修补,最后进行“黑边”修复,获得去除抖动的流畅视频,从而获得更加清晰稳定的图像。但是,由这类方法处理得到的图像精度低,不符合无人机X射线线路检测的精度要求,难以实现预期的检测结果。
由于最终需要的是稳定、清晰的目标耐张线夹的内部结构图像,而现有的图像去抖补偿方法难以实现预期效果,基于此,本发明提出了一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置及方法,以解决现有无人机X射线输电线路检测方法所存在的上述问题。
发明内容
本发明为了解决现有无人机X线检测设备易受噪声干扰等因素,造成所采集的目标图像画面出现抖动、畸变或者模糊等问题,提出了一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置及方法。
为了解决上述技术问题,本发明采用的技术方案为:一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置,包括具有姿态检测及拍照补偿功能的吊舱,所述吊舱挂载在无人机上,所述吊舱上固定有X射线检测模块、姿态测量模块和机械稳像模块,其中X射线检测模块包括电源模块、X射线发射源和X射线数字检测板;
所述机械稳像模块包括伺服驱动板、俯仰向旋转电机和电控滑轨,其中伺服驱动板和俯仰向旋转电机固定在吊舱一侧的外部,所述吊舱另一侧的内部固定有X射线数字检测板,正对X射线数字检测板的吊舱一侧的内部固定有X射线发射源,所述X射线发射源固定在电控滑轨上,所述X射线数字检测板上集成有数字接收板、图像稳像模块、无线传输模块;
所述电源模块用于给装置供电,所述姿态测量模块用于获取吊舱姿态数据并将姿态数据分为两路分别传输到机械稳像模块和图像稳像模块,所述数字接收板用于获取输电线路上目标耐张线夹的源视频图像并传输到图像稳像模块,所述叠加输出模块将机械稳像结果和图像稳像结果叠加,得到去抖补偿后的图像。
所述姿态测量模块包括MEMS陀螺仪、滤波模块和信号处理模块,所述MEMS陀螺仪对吊舱进行姿态测量,获取吊舱当前姿态数据,所述滤波模块用于获得平滑的MEMS陀螺仪姿态数据,所述信号处理模块用于根据输入的MEMS陀螺仪姿态数据生成吊舱姿态调整量;
所述机械稳像模块根据信号处理模块生成的吊舱姿态调整量调整吊舱姿态,对吊舱的机械结构进行稳定调整;
所述图像稳像模块分别对接收的源视频图像和吊舱姿态数据进行滤波,再生成去抖补偿图像,输出去抖后的图像。
所述机械稳像模块还包括吊舱姿态调整量解算模块,所述吊舱姿态调整量解算模块根据陀螺仪滤波处理后的姿态数据生成吊舱姿态调整量,从而控制吊舱调整姿态;
所述伺服驱动板接收吊舱姿态调整量,控制俯仰向旋转电机和电控滑轨;
所述俯仰向旋转电机和电控滑轨能够分别控制X射线数字检测板的俯仰向旋转以及方位向调整,实现吊舱的机械稳定。
所述图像稳像模块包括图像处理模块、逆向补偿模块,所述图像处理模块用于将陀螺仪获取的吊舱姿态数据、X射线数字检测板获取的输电线路目标耐张线夹的原视频图像进行滤波,再进行旋转矩阵的计算,所述逆向补偿模块通过X射线检测模块建立真实场景点与像素点对应的关系,将当前坐标点根据旋转矩阵做逆向补偿,再将得到的坐标点进行整数化处理,最后将得到的坐标点像素值替换为当前坐标点像素值,得到图像稳定图像。
所述滤波模块采用高斯平滑滤波器对陀螺仪采样结果做滤波处理,高斯平滑滤波器通过高斯核函数的形态进行权值选取,以高斯核函数为基础,先生成给定大小的高斯核,再将陀螺仪输出值与高斯核进行卷积并做差,得到平滑的吊舱姿态数据。
一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿方法,采用基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置,包括如下步骤:
S101:吊舱各模块上电并自检,等待X射线检测模块、机械稳像模块和图像稳像模块进入正常工作模式;
S102:将吊舱挂载在无人机上,操作无人机飞行使吊舱上的X射线发射源对准目标耐张线夹后,使X射线发射源的中心与X射线数字检测板的中心对齐,然后通过吊舱上的MEMS陀螺仪获取吊舱姿态数据,同时,通过X射线数字检测板获取输电线路上目标耐张线夹的源视频图像;
S103:机械稳定模块接收MEMS陀螺仪传输的陀螺姿态数据,进行滤波和处理,生成吊舱姿态调整量,将吊舱姿态调整量传输给伺服驱动板,控制吊舱稳定,补偿机械抖动,输出机械稳像;
S104:图像稳像模块接收经过机械稳定模块滤波的吊舱姿态数据并对接收的源视频图像进行滤波,再由图像处理模块生成去抖补偿图像,输出去抖后图像;
S105:由叠加输出模块获取机械稳定图像和图像稳定图像,实现两者叠加,最终得到叠加输出的去抖补偿图像。
所述步骤S103中机械稳像的具体过程如下:
S301:利用MEMS陀螺仪对吊舱进行姿态测量,获取吊舱当前姿态数据;
S302:根据吊舱当前姿态数据,经过滤波去噪后,得到平滑的姿态及姿态变化数据;其中采用高斯平滑滤波器对MEMS陀螺仪的采样结果做滤波处理,高斯平滑滤波器通过高斯核函数的形态进行权值选取,以高斯核函数为基础,先生成给定大小的高斯核,然后,将MEMS陀螺仪的输出值与高斯核进行卷积并做差,得到平滑的吊舱姿态及姿态变化数据;
S303:利用平滑的吊舱姿态及姿态变化数据,生成吊舱姿态调整量;
S304:将吊舱姿态调整量传输给伺服驱动板,对吊舱的姿态进行调整;
S305:得到机械稳定图像。
所述步骤S104中图像稳像的具体过程如下:
S401:通过X射线检测模块获取目标源的视频图像,同时接收经过滤波处理的平滑的吊舱姿态及姿态变化数据;
S402:对源视频图像进行滤波处理;
S403:计算旋转矩阵:其中旋转矩阵示根据旋转角度=角速度×时间,估计当前源视频帧绕X、Y以及Z轴旋转的角度,根据Rodrigues旋转矩阵公式计算旋转矩阵;
S404:进行图像逆向补偿:通过X射线检测模块建立真实场景点与像素点对应的关系,将当前坐标点根据旋转矩阵做逆向补偿,再将得到的坐标点进行整数化处理,最后将得到的坐标点像素值替换为当前坐标点像素值;
S405:得到图像稳定图像。
本发明相对于现有技术具备的有益效果为:与现有X射线数字图像去抖补偿方法相比,本发明提出的基于MEMS陀螺仪的吊舱姿态检测及图像补偿方法拥有更高的精度,且避免了单一的图像去抖算法会带来去抖效果较低以及误差较大等问题,本发明的方法通过将陀螺仪生成的数据分为两路,分别得到机械稳定图像和图像稳定图像,再进行叠加,从而达到具备更高精度以及减小误差的目标,最终生成满足要求的高精度清晰耐张线夹图像,以此实现对电力线路的检测以及无人化作业的有效性。
附图说明
下面结合附图对本发明做进一步说明:
图1为本发明装置的框架图;
图2为本发明方法的整体流程图;
图3为本发明机械去抖的流程图;
图4为本发明图像去抖的流程图;
图5为本发明装置的结构示意图;
图中:1为吊舱、2为无人机、3为吊舱刚性连接杆、4为伺服驱动板、5为俯仰向旋转电机、6为电控滑轨、11为姿态测量模块、12为X射线检测模块、13为电源模块、14为X射线发射源、15为X射线数字检测板、16为机械稳像模块、17为图像稳像模块、18为叠加输出模块、161为吊舱姿态调整量解算模块。
具体实施方式
如图1至图5所示,本发明提供了一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置及方法,通过在图像采集过程中利用MEMS陀螺仪对带有X射线检测模块12的吊舱1进行姿态测量,并将姿态测量数据分为两路,一路进入机械稳定模块16作为输入数据,由机械稳像模块16根据吊舱1的姿态变化进行机械结构方面的稳定,另一路数据进入含图像去抖补偿功能的图像稳像模块17作为输入数据,由图像稳像模块17生成去噪以及去抖补偿后图像,最终的稳像效果是机械稳定图像和图像稳定图像的叠加,以此减小X射线检测设备因抖动等噪声造成的画面误差。
图1为本发明装置的框架图,将吊舱1挂载在无人机2上,无人机2应当具备一定的载荷能力,可以选择多旋翼无人机,用于保证能够带动吊舱1以及搭载的设备。其中吊舱1上搭载姿态测量模块11、X射线检测模块12、机械稳定模块16、图像稳像模块17和叠加输出模块18。并使搭载上述模块的吊舱1与无人机2刚性固定连接,尽量减小噪声干扰。
其中姿态测量模块11为基于MEMS陀螺仪的用于测量吊舱1三维姿态的器件,其生成的姿态数据分为两路传输到机械稳像模块16和图像稳像模块17。X射线检测模块12包含电源模块13、X射线发射源14和X射线数字检测板15。由X射线检测模块12检测到的输电线路上目标耐张线夹的源视频图像将传输到图像稳像模块17,再由叠加输出模块18将机械稳像结果和图像稳像结果叠加,得到最终去抖补偿后图像。
图2为本发明实施例所提供的一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿方法的整体流程图,具体包括:
S101:无人机2上搭载的吊舱1各模块上电完成并自检,等待X射线检测模块12、机械稳像模块16和图像稳像模块17等进入正常工作模式;
S102:MEMS陀螺仪获取吊舱1姿态数据,与此同时,X射线检测模块12获取目标源视频图像;其中吊舱1姿态测量的工作状态为MEMS陀螺仪根据X射线检测吊舱1的姿态变化,生成系列姿态变化数据;由于MEMS陀螺仪生成的系列姿态数据常被噪声数据干扰,需要通过数据滤波来尽可能地消除高频率的噪声干扰,保留低频率的意向抖动,从而获得比较平滑的陀螺仪数据;
S103:机械稳像模块16接收到由MEMS陀螺仪传输的陀螺姿态数据,进行滤波和处理,生成吊舱姿态调整量,将吊舱姿态调整量传输给伺服控制板4,控制吊舱1稳定,补偿机械抖动,输出机械稳像;
S104:图像稳像模块17接收经过机械稳定模块16滤波处理后的吊舱姿态数据并对接收的源视频图像进行滤波,再由图像稳像模块17内部的图像处理模块生成去抖补偿图像,输出去抖后图像;
S105:由叠加输出模块18获取机械稳定图像和图像稳定图像,实现两者叠加,最终得到叠加输出去抖补偿图像。
图3所示为本发明机械去抖的流程图,具体包括:
S301:利用MEMS陀螺仪对挂载X射线检测模块12的吊舱1进行姿态测量,获取当前姿态数据;
S302:根据吊舱1的当前姿态数据,经过滤波去噪后,得到平滑的吊舱姿态及姿态变化数据;采用高斯平滑滤波器对MEMS陀螺仪采样结果做滤波处理,高斯平滑滤波器通过高斯核函数的形态来进行权值选取,以高斯核函数为基础,先生成给定大小的高斯核。然后,将陀螺仪的输出值与高斯核进行卷积并做差,即可得到平滑的数据;
S303:利用平滑的吊舱姿态及姿态变化数据,生成吊舱姿态调整量;
S304:基于吊舱姿态调整量,对吊舱1的姿态进行调整;
S305:得到机械稳定图像。
图4所示为本发明图像去抖的流程图,具体包括:
S401:X射线检测模块12获取目标源视频图像且接收经过滤波处理后的平滑的吊舱姿态及姿态变化数据;
S402:对源视频图像进行滤波处理;
S403:计算旋转矩阵;旋转矩阵是根据旋转角度=角速度×时间,估计当前视频帧绕X、Y以及Z轴旋转的角度,根据Rodrigues旋转矩阵公式计算旋转矩阵;
S404:进行图像逆向补偿;通过X射线检测模块12建立真实场景点与像素点对应的关系,将当前坐标点根据旋转矩阵做逆向补偿,再将得到的坐标点进行整数化处理,最后将得到的坐标点像素值替换为当前坐标点像素值;
S405:得到图像稳定图像。
图5为本发明装置的结构示意图,其中吊舱刚性连接杆3能够刚性固定连接吊舱1和无人机2,使无人机2与吊舱1之间的机械噪声尽可能小;电源模块13位于吊舱顶部,姿态测量模块11刚性连接于吊舱1上,用于测量吊舱1的姿态数据并进行简单滤波处理;机械稳定模块16的吊舱姿态调整量解算模块161位于吊舱1顶部,用于解算出吊舱1的目标调整量。在X射线发射源14附近设置伺服驱动板4、俯仰向旋转电机5和电控滑轨6以控制吊舱1的机械稳定;伺服驱动板4位于X射线发射源14一侧的吊舱1外部,用于控制俯仰向旋转电机5和电控滑轨6,根据目标调整量,最终实现吊舱1的机械稳定。其中X射线发射源14固定在电控滑轨6上,电控滑轨6设置在X射线数字检测板15的对面,使用时,将X射线发射源14的中心对准X射线数字检测板15的中心。
本发明采用的X射线数字检测板15上集成有数字接收板、图像稳像模块17和无线传输模块,以利用姿态数据稳定图像并传输于监视器终端。图像稳像模块17能够根据源视频图像数据和吊舱1的姿态调整数据实现图像稳定。
本发明将姿态数据经过多次迭代后,机械稳像达到最佳,从而生成的图像稳像也具备很好的去抖补偿效果,最终叠加输出的目标图像效果将达到最佳。这样在原机械稳像的基础上,可以叠加图像稳像,使视频图像的稳定精度提高一个量级。
本发明还能够提出一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现基于MEMS陀螺仪的吊舱姿态检测及图像补偿方法的步骤。
本实施例中不对各模块限制具体的器件,可根据无人机上实际安装的设备进行改变,只要能够实现本实施例的目的即可。例如MEMS陀螺仪选用三轴陀螺,实现吊舱三个空间角度的测量与记录。信号处理模块、图像处理模块和X射线数字检测板内部的模块也不仅限于本发明实施例所提供的。如存储器可以是,但不限于,随机存取存储器(RAM),电可擦除可编程只读存储器(EEPROM)等。处理器可以是一种集成电路芯片,具有信号处理能力。处理器可以是通用处理器,包括中央处理器(CPU)等;还可以是专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件或者晶体管逻辑器件。
关于本发明具体结构需要说明的是,本发明采用的各部件模块相互之间的连接关系是确定的、可实现的,除实施例中特殊说明的以外,其特定的连接关系可以带来相应的技术效果,并基于不依赖相应软件程序执行的前提下,解决本发明提出的技术问题,本发明中出现的部件、模块、具体元器件的型号、相互间连接方式以及,由上述技术特征带来的常规使用方法、可预期技术效果,除具体说明的以外,均属于本领域技术人员在申请日前可以获取到的专利、期刊论文、技术手册、技术词典、教科书中已公开内容,或属于本领域常规技术、公知常识等现有技术,无需赘述,使得本案提供的技术方案是清楚、完整、可实现的,并能根据该技术手段重现或获得相应的实体产品。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置,包括具有姿态检测及拍照补偿功能的吊舱,所述吊舱挂载在无人机上,其特征在于:所述吊舱上固定有X射线检测模块、姿态测量模块和机械稳像模块,其中X射线检测模块包括电源模块、X射线发射源和X射线数字检测板;
所述机械稳像模块包括伺服驱动板、俯仰向旋转电机和电控滑轨,其中伺服驱动板和俯仰向旋转电机固定在吊舱一侧的外部,所述吊舱另一侧的内部固定有X射线数字检测板,正对X射线数字检测板的吊舱一侧的内部固定有X射线发射源,所述X射线发射源固定在电控滑轨上,所述X射线数字检测板上集成有数字接收板、图像稳像模块、无线传输模块;
所述电源模块用于给装置供电,所述姿态测量模块用于获取吊舱姿态数据并将姿态数据分为两路分别传输到机械稳像模块和图像稳像模块,所述数字接收板用于获取输电线路上目标耐张线夹的源视频图像并传输到图像稳像模块,所述叠加输出模块将机械稳像结果和图像稳像结果叠加,得到去抖补偿后的图像。
2.根据权利要求1所述的一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置,其特征在于:所述姿态测量模块包括MEMS陀螺仪、滤波模块和信号处理模块,所述MEMS陀螺仪对吊舱进行姿态测量,获取吊舱当前姿态数据,所述滤波模块用于获得平滑的MEMS陀螺仪姿态数据,所述信号处理模块用于根据输入的MEMS陀螺仪姿态数据生成吊舱姿态调整量;
所述机械稳像模块根据信号处理模块生成的吊舱姿态调整量调整吊舱姿态,对吊舱的机械结构进行稳定调整;
所述图像稳像模块分别对接收的源视频图像和吊舱姿态数据进行滤波,再生成去抖补偿图像,输出去抖后的图像。
3.根据权利要求2所述的一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置,其特征在于:所述机械稳像模块还包括吊舱姿态调整量解算模块,所述吊舱姿态调整量解算模块根据陀螺仪滤波处理后的姿态数据生成吊舱姿态调整量,从而控制吊舱调整姿态;
所述伺服驱动板接收吊舱姿态调整量,控制俯仰向旋转电机和电控滑轨;
所述俯仰向旋转电机和电控滑轨能够分别控制X射线数字检测板的俯仰向旋转以及方位向调整,实现吊舱的机械稳定。
4.根据权利要求3所述的一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置,其特征在于:所述图像稳像模块包括图像处理模块、逆向补偿模块,所述图像处理模块用于将陀螺仪获取的吊舱姿态数据、X射线数字检测板获取的输电线路目标耐张线夹的原视频图像进行滤波,再进行旋转矩阵的计算,所述逆向补偿模块通过X射线检测模块建立真实场景点与像素点对应的关系,将当前坐标点根据旋转矩阵做逆向补偿,再将得到的坐标点进行整数化处理,最后将得到的坐标点像素值替换为当前坐标点像素值,得到图像稳定图像。
5.根据权利要求4所述的一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置,其特征在于:所述滤波模块采用高斯平滑滤波器对陀螺仪采样结果做滤波处理,高斯平滑滤波器通过高斯核函数的形态进行权值选取,以高斯核函数为基础,先生成给定大小的高斯核,再将陀螺仪输出值与高斯核进行卷积并做差,得到平滑的吊舱姿态数据。
6.一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿方法,采用如权利要求4-5任一项所述的基于MEMS陀螺仪的吊舱姿态检测及图像补偿装置,其特征在于:包括如下步骤:
S101:吊舱各模块上电并自检,等待X射线检测模块、机械稳像模块和图像稳像模块进入正常工作模式;
S102:将吊舱挂载在无人机上,操作无人机飞行使吊舱上的X射线发射源对准目标耐张线夹后,使X射线发射源的中心与X射线数字检测板的中心对齐,然后通过吊舱上的MEMS陀螺仪获取吊舱姿态数据,同时,通过X射线数字检测板获取输电线路上目标耐张线夹的源视频图像;
S103:机械稳定模块接收MEMS陀螺仪传输的陀螺姿态数据,进行滤波和处理,生成吊舱姿态调整量,将吊舱姿态调整量传输给伺服驱动板,控制吊舱稳定,补偿机械抖动,输出机械稳像;
S104:图像稳像模块接收经过机械稳定模块滤波的吊舱姿态数据并对接收的源视频图像进行滤波,再由图像处理模块生成去抖补偿图像,输出去抖后图像;
S105:由叠加输出模块获取机械稳定图像和图像稳定图像,实现两者叠加,最终得到叠加输出的去抖补偿图像。
7.根据权利要求6所述的一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿方法,其特征在于:所述步骤S103中机械稳像的具体过程如下:
S301:利用MEMS陀螺仪对吊舱进行姿态测量,获取吊舱当前姿态数据;
S302:根据吊舱当前姿态数据,经过滤波去噪后,得到平滑的姿态及姿态变化数据;其中采用高斯平滑滤波器对MEMS陀螺仪的采样结果做滤波处理,高斯平滑滤波器通过高斯核函数的形态进行权值选取,以高斯核函数为基础,先生成给定大小的高斯核,然后,将MEMS陀螺仪的输出值与高斯核进行卷积并做差,得到平滑的吊舱姿态及姿态变化数据;
S303:利用平滑的吊舱姿态及姿态变化数据,生成吊舱姿态调整量;
S304:将吊舱姿态调整量传输给伺服驱动板,对吊舱的姿态进行调整;
S305:得到机械稳定图像。
8.根据权利要求7所述的一种基于MEMS陀螺仪的吊舱姿态检测及图像补偿方法,其特征在于:所述步骤S104中图像稳像的具体过程如下:
S401:通过X射线检测模块获取目标源的视频图像,同时接收经过滤波处理的平滑的吊舱姿态及姿态变化数据;
S402:对源视频图像进行滤波处理;
S403:计算旋转矩阵:其中旋转矩阵示根据旋转角度=角速度×时间,估计当前源视频帧绕X、Y以及Z轴旋转的角度,根据Rodrigues旋转矩阵公式计算旋转矩阵;
S404:进行图像逆向补偿:通过X射线检测模块建立真实场景点与像素点对应的关系,将当前坐标点根据旋转矩阵做逆向补偿,再将得到的坐标点进行整数化处理,最后将得到的坐标点像素值替换为当前坐标点像素值;
S405:得到图像稳定图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310119945.4A CN115837994A (zh) | 2023-02-16 | 2023-02-16 | 一种基于mems陀螺仪的吊舱姿态检测及图像补偿装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310119945.4A CN115837994A (zh) | 2023-02-16 | 2023-02-16 | 一种基于mems陀螺仪的吊舱姿态检测及图像补偿装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115837994A true CN115837994A (zh) | 2023-03-24 |
Family
ID=85579736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310119945.4A Pending CN115837994A (zh) | 2023-02-16 | 2023-02-16 | 一种基于mems陀螺仪的吊舱姿态检测及图像补偿装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115837994A (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2597422A2 (en) * | 2011-11-24 | 2013-05-29 | Kabushiki Kaisha Topcon | Aerial photograph image pickup method and aerial photograph image pickup apparatus |
CN104853064A (zh) * | 2015-04-10 | 2015-08-19 | 海视英科光电(苏州)有限公司 | 基于红外热像仪的电子稳像方法 |
US20160144977A1 (en) * | 2014-11-21 | 2016-05-26 | Flir Systems, Inc. | Imaging system for an aircraft |
WO2018053809A1 (en) * | 2016-09-23 | 2018-03-29 | Qualcomm Incorporated | Adaptive image processing in an unmanned autonomous vehicle |
CN109417596A (zh) * | 2016-06-08 | 2019-03-01 | 亚马逊科技公司 | 多传感器图像稳定技术 |
CN109743477A (zh) * | 2017-10-31 | 2019-05-10 | 杭州美盛红外光电技术有限公司 | 一种获取方向信息的拍摄装置和拍摄方法 |
CN110092006A (zh) * | 2019-04-04 | 2019-08-06 | 深圳市斯贝达电子有限公司 | 一种提高光电吊舱视轴稳定精度的系统及方法 |
WO2019167363A1 (ja) * | 2018-03-01 | 2019-09-06 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
CN112722239A (zh) * | 2015-06-01 | 2021-04-30 | 深圳市大疆创新科技有限公司 | 无人飞行器 |
WO2021108715A1 (en) * | 2019-11-26 | 2021-06-03 | Sail Sv Llc | X-ray imaging system |
JPWO2021255940A1 (zh) * | 2020-06-19 | 2021-12-23 | ||
CN113902682A (zh) * | 2021-09-14 | 2022-01-07 | 创富科技(深圳)有限公司 | 基于医疗图像的诊断方法、装置、存储介质及电子设备 |
CN115311154A (zh) * | 2021-05-05 | 2022-11-08 | 辉达公司 | 具有固定校准设置的高动态范围图像处理 |
-
2023
- 2023-02-16 CN CN202310119945.4A patent/CN115837994A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2597422A2 (en) * | 2011-11-24 | 2013-05-29 | Kabushiki Kaisha Topcon | Aerial photograph image pickup method and aerial photograph image pickup apparatus |
US20160144977A1 (en) * | 2014-11-21 | 2016-05-26 | Flir Systems, Inc. | Imaging system for an aircraft |
CN104853064A (zh) * | 2015-04-10 | 2015-08-19 | 海视英科光电(苏州)有限公司 | 基于红外热像仪的电子稳像方法 |
CN112722239A (zh) * | 2015-06-01 | 2021-04-30 | 深圳市大疆创新科技有限公司 | 无人飞行器 |
CN109417596A (zh) * | 2016-06-08 | 2019-03-01 | 亚马逊科技公司 | 多传感器图像稳定技术 |
WO2018053809A1 (en) * | 2016-09-23 | 2018-03-29 | Qualcomm Incorporated | Adaptive image processing in an unmanned autonomous vehicle |
CN109743477A (zh) * | 2017-10-31 | 2019-05-10 | 杭州美盛红外光电技术有限公司 | 一种获取方向信息的拍摄装置和拍摄方法 |
WO2019167363A1 (ja) * | 2018-03-01 | 2019-09-06 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
CN110092006A (zh) * | 2019-04-04 | 2019-08-06 | 深圳市斯贝达电子有限公司 | 一种提高光电吊舱视轴稳定精度的系统及方法 |
WO2021108715A1 (en) * | 2019-11-26 | 2021-06-03 | Sail Sv Llc | X-ray imaging system |
JPWO2021255940A1 (zh) * | 2020-06-19 | 2021-12-23 | ||
CN115311154A (zh) * | 2021-05-05 | 2022-11-08 | 辉达公司 | 具有固定校准设置的高动态范围图像处理 |
CN113902682A (zh) * | 2021-09-14 | 2022-01-07 | 创富科技(深圳)有限公司 | 基于医疗图像的诊断方法、装置、存储介质及电子设备 |
Non-Patent Citations (4)
Title |
---|
吕明: "基于多传感器协同检测的输电线路无人飞机巡检关键技术" * |
欧阳炜霞: "基于MEMS技术的微波滤波器研究进展" * |
赵赛: "基于MEMS陀螺仪的电子稳像算法研究" * |
魏然: "飞行器飞行工况视频监测及图像处理" * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220078349A1 (en) | Gimbal control method and apparatus, control terminal and aircraft system | |
US9639913B2 (en) | Image processing device, image processing method, image processing program, and storage medium | |
US8090212B1 (en) | Method, apparatus, and system for reducing blurring of an image using multiple filtered images | |
US20100079608A1 (en) | Method And Apparatus For Super-Resolution Imaging Using Digital Imaging Devices | |
CN108574825B (zh) | 一种云台摄像机的调整方法和装置 | |
WO2017020150A1 (zh) | 一种图像处理方法、装置及摄像机 | |
CN111711756A (zh) | 一种图像防抖方法、电子设备及存储介质 | |
US20220236056A1 (en) | Metering adjustment method, apparatus and device and storage medium | |
US9258484B2 (en) | Image pickup apparatus and control method for same | |
DE202018106983U1 (de) | Kombinierte mechanische und elektronische Bildstabilisierung | |
CN108366201B (zh) | 一种基于陀螺仪的电子防抖方法 | |
JP7074126B2 (ja) | 画像処理装置、生育調査画像作成システム及びプログラム | |
CN106488116A (zh) | 摄像装置 | |
EP3743684A1 (en) | Voronoi cropping of images for post field generation | |
CN111862169A (zh) | 目标跟拍方法、装置、云台相机及存储介质 | |
CN102316347A (zh) | 3d摄影机模块的摄像检查装置及其摄像检查方法、3d摄影机模块及其摄像补正方法 | |
JP2018156036A (ja) | 撮像装置 | |
WO2018024239A1 (zh) | 混合式图像稳定系统 | |
Niskanen et al. | Video stabilization performance assessment | |
US20220174217A1 (en) | Image processing method and device, electronic device, and computer-readable storage medium | |
JP2010087862A (ja) | 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム | |
CN115837994A (zh) | 一种基于mems陀螺仪的吊舱姿态检测及图像补偿装置及方法 | |
CN112822399B (zh) | 光学防抖方法、电子设备和可读存储介质 | |
CN114199235A (zh) | 一种基于扇面深度相机的定位系统及定位方法 | |
WO2021119982A1 (zh) | 图像传输系统及方法、控制装置、可移动平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230324 |