CN111935392B - 用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统 - Google Patents
用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统 Download PDFInfo
- Publication number
- CN111935392B CN111935392B CN202010456115.7A CN202010456115A CN111935392B CN 111935392 B CN111935392 B CN 111935392B CN 202010456115 A CN202010456115 A CN 202010456115A CN 111935392 B CN111935392 B CN 111935392B
- Authority
- CN
- China
- Prior art keywords
- jitter
- shaking
- shake
- data
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种用于综合管廊吊轨机器人巡检视频数字防抖的方法,针对管廊巡检轨道的特点,在正式巡检之前,采集管廊设施的完整图像,获取因抖动造成的帧间和帧内的运动角度、方向与位置信息结合并组成的防抖预测表,针对预测表进行对巡检图像的防抖矫正,同时具备发现并处理突发抖动的能力,能够准确的判断发生抖动位置及抖动轨迹;同时根据每次的抖动数据实时更新预测数据,本方法根据轨道情况不断更新存储数据,适应轨道发生的变化。实现了实时且可靠的识别故障的技术效果。
Description
技术领域
本发明涉及隧道智能巡检技术领域,具体涉及一种用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统。
背景技术
目前城市建设均会规划地下管廊设计,管廊中有大量的电缆光缆等设施,采用机器人巡检势在必行。吊轨机器人通过所搭载的可见光、红外摄像头,以及各种气体、湿度、温度传感器,可及时识别管廊内发生的相应故障。隧道内轨道很长,因此不可避免的会有接缝、杂物等引起机器人在运行过程中生抖动的因素,机器人的巡检效果与拍摄图片质量息息相关。通常的数字防抖采用帧间运动估计加补偿的方式实现防抖,这需要比较大的运算量,一般要用GPU或专门的DSP实现。需引入防抖算法与机制。而不间断防抖处理会消耗运算时间,影响实时性,也不能使故障识别的效果有明显提高,因此针对管廊吊轨机器人需要采用新的防抖措施。
发明内容
本发明的目的是提供一种用于综合管廊吊轨机器人巡检视频数字防抖的方法,针对管廊巡检轨道的特点,在正式巡检之前,采集管廊设施的完整图像,获取因抖动造成的帧间和帧内的运动角度、方向与位置信息结合并组成的防抖预测表,针对预测表进行对巡检图像的防抖矫正,同时具备发现并处理突发抖动的能力,能有效解决上述现有技术的不足。
为解决上述问题,本发明的第一方面提供了一种用于综合管廊吊轨机器人巡检视频数字防抖的方法,包括:S101:实时获取隧道内轨道运动数据与位置信息。S102:分别对运动数据和位置信息进行梯度计算,获得抖动位置和抖动轨迹,储存所述抖动位置和抖动轨迹,得到与抖动位置对应的抖动偏移像素数据。S103:根据抖动偏移像素数据,计算每个轨道接缝处抖动状态,分类存储所述抖动状态的抖动数据。S104:根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式。
根据本发明的一个实施例,所述抖动状态包括:轻微抖动、少帧抖动与多帧抖动。
根据本发明的一个实施例,所述S104中根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式,包括:
轻微抖动处不进行防抖处理,对少帧抖动处采用建模仿射变换处理并实时根据此处的新抖动数据更新历史抖动数据,对多帧抖动进行跳跃插帧处理。
根据本发明的一个实施例,所述S104中根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式,还包括:
不存在历史抖动数据的区域,使用角速度传感器对突发抖动进行捕捉、存储、并建模防抖。
根据本发明的一个实施例,所述S101中获取隧道内轨道运动数据与位置信息,包括:
用3轴角速度传感器采集首次巡检时的角速度数据,用来辅助定位模块记录发生抖动位置,摄像头获取此时的视频。
根据本发明的一个实施例,所述S102中分别对运动数据和位置信息进行梯度计算,获得抖动位置和抖动轨迹,储存所述抖动位置和抖动轨迹,包括:用数字信号处理DSP帧间运动计算模块计算抖动轨迹梯度值,超过设定梯度阈值的点判定为抖动并与其位置一并存储。
本发明第二方面公开了一种用于综合管廊吊轨机器人巡检视频数字防抖的系统,包括:辅助定位模块,用于实时获取隧道内轨道位置信息。角速度采集模块,用于采集首次巡检时的角速度数据。
历史抖动数据模块,用于分别对角速度数据和位置信息进行梯度计算,获得精确的抖动位置和抖动轨迹,储存所述抖动位置和抖动轨迹,得到与抖动位置对应的抖动偏移像素数据。
DSP帧间运动计算模块,用于根据抖动偏移像素数据,计算每个轨道接缝处抖动状态,分类存储所述抖动状态的抖动数据。
防抖模块,用于根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式。
根据本发明的一个实施例,所述防抖模块包括:第一防抖单元,用于少帧抖动处采用建模仿射变换处理。第二防抖单元,用于多帧抖动进行跳跃插帧处理。
根据本发明的一个实施例,所述防抖模块在不存在历史抖动数据的区域,使用角速度传感器对突发抖动进行捕捉、存储、并建模防抖。
根据本发明的一个实施例,所述DSP帧间运动计算模块计算抖动轨迹梯度值,超过设定梯度阈值的点判定为抖动并与其位置一并存储。
本发明的上述技术方案具有如下有益的技术效果:本发明利用定位信息可以将首次巡检抖动信息与之后的巡检过程相结合,作为预测数据,仅在历史抖动区域附近进行防抖处理,大幅减少DSP在防抖处理上的运算负担;节约大量宝贵的DSP计算资源;根据运动数据计算其梯度,能够准确的判断发生抖动位置及抖动轨迹;根据历史抖动数据模块选择防抖方式,实现在轻微抖动时不进行防抖处理,少帧抖动时防抖稳定,多帧抖动时防抖运算快;同时根据每次的抖动数据实时更新预测数据,本方法根据轨道情况不断更新存储数据,适应轨道发生的变化。
附图说明
图1是本发明实施例公开的用于综合管廊吊轨机器人巡检视频数字防抖的方法流程图;
图2是是本发明实施例公开的用于综合管廊吊轨机器人巡检视频数字防抖的系统方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明所述综合管廊吊轨机器人巡检数字防抖的方法,如图1所示,具体包括以下步骤:
步骤101、利用机器人摄像头、角速度采集模块、与辅助定位模块采集隧道内轨道运动数据与位置信息;
步骤102、对运动数据及位置信息进行梯度计算获得精确的抖动位置及抖动轨迹,并进行储存,得到位置-抖动偏移像素表;
DSP帧间运动计算模块根据帧间特征点匹配法,提取前后帧FAST角点进行匹配,利用RANSAC算法剔除误匹配点。前后两帧匹配到的特征点Oi(xi,yi)位移取均值、多帧采用分段最小二乘法拟合抖动轨迹后计算其梯度信息:将超过设定梯度阈值的点判定为抖动并与其位置si一并存入历史抖动数据模块。
步骤103、根据位置-抖动偏移像素表数据,估计每个轨道接缝处抖动大小,并进行分类存储;
以历史抖动数据模块中的位置-抖动数据为基础,利用抖动数据,进行位移及偏移幅度跨度计算,将抖动数据分成轻微抖动,少帧抖动与多帧抖动三类。用于作为下次运行到同一区域的图像防抖算法采用依据。
步骤104、根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动数据采用不同防抖模式;
当从定位模块里的数据与历史抖动数据模块中的定位数据对比得知机器人将再次经过抖动区域时,DSP帧间运动计算模块和防抖模块根据历史分类数据采用不同防抖措施。
步骤105、对多帧抖动进行跳跃插帧处理,对少帧抖动进行建模纠正,并实时根据新的抖动数据实时更新历史抖动数据模块。
根据历史抖动数据模块内的定位与分类信息,系统在机器人行驶到抖动区域s邻域U(s,δ)附近时,采用防抖模块的不同模式,进行有效地防抖。在少帧抖动处,进行建模仿射变换,平稳抖动帧;在多帧抖动处进行多帧图像拼接,根据平滑之后的运动轨迹在拼接图片中裁取相应视频帧,采用跳跃插帧处理。因图像帧位移间距较短,采用跳跃插帧并不会影响视频的观看效果以及后续的视频处理工作。
DSP帧间运动计算模块和防抖模块在轻微抖动时对抖动数据不进行处理,仅进行检测是否有抖动变大的趋势;在少帧抖动时,防抖模块根据DSP帧间运动计算模块给出的数据对抖动帧进行偏移修正;在多帧抖动时,防抖模块根据DSP帧间运动计算模块给出的数据对抖动帧进行删除与跳跃式插帧。且历史抖动数据模块根据DSP帧间运动计算模块的数据更新分类情况。
步骤106:在历史抖动数据模块中不抖动的地方,使用角速度传感器对杂物等造成的突发抖动进行捕捉,存储,并建模防抖。
在轨道上除了轨道接缝造成的已知抖动,还存在着因杂物造成的未知抖动,通过角速度传感器可以实时的获取未在历史抖动数据模块中储存的抖动数据,且运算量较小,再由DSP帧间运动计算模块对此时的图像进行防抖处理。
本发明第二方面公开了一种用于综合管廊吊轨机器人巡检视频数字防抖的系统,如图2所示,包括角速度采集模块、辅助定位模块、DSP帧间运动计算模块、历史抖动数据模块和防抖模块。辅助定位模块,用于实时获取隧道内轨道位置信息。角速度采集模块,用于采集首次巡检时的角速度数据。角速度采集模块获取角速度数据,在角速度超出预定值时,DSP帧间运动计算模块计算此区域的抖动数据;辅助定位模块和DSP帧间运动计算模块将该区域此时的位置、图像抖动数据传入历史抖动数据模块;历史抖动数据模块将数据分为轻微抖动,少帧抖动与多帧抖动三种抖动类型;当机器人再次来到抖动区域附近时,历史抖动数据模块将此次抖动的历史位置与应采取的防抖模式传给防抖模块与DSP帧间运动计算模块,完成防抖处理,并通过DSP帧间运动计算模块反馈回来的数据判断此处的抖动类型是否发生变化,如果变化则修正历史抖动数据。
历史抖动数据模块,用于分别对角速度数据和位置信息进行梯度计算,获得精确的抖动位置和抖动轨迹,储存所述抖动位置和抖动轨迹,得到与抖动位置对应的抖动偏移像素数据。
DSP帧间运动计算模块,用于根据抖动偏移像素数据,计算每个轨道接缝处抖动状态,分类存储所述抖动状态的抖动数据。
防抖模块,用于根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式。
所述防抖模块包括:第一防抖单元,用于少帧抖动处采用建模仿射变换处理。第二防抖单元,用于多帧抖动进行跳跃插帧处理。
所述防抖模块在不存在历史抖动数据的区域,使用角速度传感器对突发抖动进行捕捉、存储、并建模防抖。
所述DSP帧间运动计算模块计算抖动轨迹梯度值,超过设定梯度阈值的点判定为抖动并与其位置一并存储。
本发明的上述技术方案具有如下有益的技术效果:本发明利用定位信息可以将首次巡检抖动信息与之后的巡检过程相结合,作为预测数据,仅在历史抖动区域附近进行防抖处理,大幅减少DSP在防抖处理上的运算负担;节约大量宝贵的DSP计算资源;根据运动数据计算其梯度,能够准确的判断发生抖动位置及抖动轨迹;根据历史抖动数据模块选择防抖方式,实现在轻微抖动时不进行防抖处理,少帧抖动时防抖稳定,多帧抖动时防抖运算快;同时根据每次的抖动数据实时更新预测数据,本方法根据轨道情况不断更新存储数据,适应轨道发生的变化。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (8)
1.用于综合管廊吊轨机器人巡检视频数字防抖的方法,其特征在于,方法包括:
S101:实时获取隧道内轨道运动数据与位置信息;
S102:分别对运动数据和位置信息进行梯度计算,获得抖动位置和抖动轨迹,储存所述抖动位置和抖动轨迹,得到与抖动位置对应的抖动偏移像素数据;
S103:根据抖动偏移像素数据,计算每个轨道接缝处抖动状态,分类存储所述抖动状态的抖动数据;
S104:根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式,包括:轻微抖动处不进行防抖处理,对少帧抖动处采用建模仿射变换处理并实时根据此处的新抖动数据更新历史抖动数据,对多帧抖动进行跳跃插帧处理。
2.根据权利要求1所述的方法,其特征在于,所述抖动状态包括:轻微抖动、少帧抖动与多帧抖动。
3.根据权利要求1或2所述的方法,其特征在于,所述S104中根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式,还包括:
不存在历史抖动数据的区域,使用角速度传感器对突发抖动进行捕捉、存储、并建模防抖。
4.根据权利要求1所述的方法,其特征在于,所述S101中获取隧道内轨道运动数据与位置信息,包括:
用3轴角速度传感器采集首次巡检时的角速度数据,用来辅助记录发生抖动位置,摄像头获取此时的视频信息。
5.根据权利要求1所述的方法,其特征在于,所述S102中分别对运动数据和位置信息进行梯度计算,获得精确的抖动位置和抖动轨迹,储存所述抖动位置和抖动轨迹,包括:
用数字信号处理DSP帧间运动计算模块计算抖动轨迹梯度值,超过设定梯度阈值的点判定为抖动并与其位置一并存储。
6.用于综合管廊吊轨机器人巡检视频数字防抖的系统,其特征在于,系统包括:
辅助定位模块,用于实时获取隧道内轨道位置信息;
角速度采集模块,用于采集首次巡检时的角速度数据;
历史抖动数据模块,用于分别对角速度数据和位置信息进行梯度计算,获得抖动位置和抖动轨迹,储存所述抖动位置和抖动轨迹,得到与抖动位置对应的抖动偏移像素数据;
DSP帧间运动计算模块,用于根据抖动偏移像素数据,计算每个轨道接缝处抖动状态,分类存储所述抖动状态的抖动数据;
防抖模块,用于根据机器人定位信息,在到达轨道接缝抖动处附近按照存储的抖动状态采用不同防抖模式,包括:
第一防抖单元,用于少帧抖动处采用建模仿射变换处理;
第二防抖单元,用于多帧抖动进行跳跃插帧处理。
7.根据权利要求6所述的系统,其特征在于,所述防抖模块在不存在历史抖动数据的区域,使用角速度传感器对突发抖动进行捕捉、存储、并建模防抖。
8.根据权利要求6所述的系统,其特征在于,所述DSP帧间运动计算模块计算抖动轨迹梯度值,超过设定梯度阈值的点判定为抖动并与其位置一并存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010456115.7A CN111935392B (zh) | 2020-05-26 | 2020-05-26 | 用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010456115.7A CN111935392B (zh) | 2020-05-26 | 2020-05-26 | 用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111935392A CN111935392A (zh) | 2020-11-13 |
CN111935392B true CN111935392B (zh) | 2022-01-07 |
Family
ID=73316418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010456115.7A Active CN111935392B (zh) | 2020-05-26 | 2020-05-26 | 用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111935392B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1933554A (zh) * | 2005-12-31 | 2007-03-21 | 北京中星微电子有限公司 | 一种用于手持数码摄像设备的防抖方法及装置 |
CN105578146A (zh) * | 2016-01-07 | 2016-05-11 | 浙江宇视科技有限公司 | 一种机芯防抖处理方法及装置 |
CN105706112A (zh) * | 2013-07-24 | 2016-06-22 | 加利福尼亚大学董事会 | 相机运动估计和校正的方法 |
CN207910750U (zh) * | 2017-10-31 | 2018-09-25 | 迈锐数据(北京)有限公司 | 一种防抖开关电路及防抖控制电路 |
CN110290311A (zh) * | 2019-04-17 | 2019-09-27 | 中国信息通信研究院 | 用于视频防抖性能测评的抖动轨迹生成方法、装置及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6448218B2 (ja) * | 2014-05-12 | 2019-01-09 | キヤノン株式会社 | 撮像装置、その制御方法および情報処理システム |
CN107079079B (zh) * | 2014-10-02 | 2019-10-15 | 杜比实验室特许公司 | 用于抖动可视性控制的双端元数据 |
CN110636223B (zh) * | 2019-10-16 | 2021-03-30 | Oppo广东移动通信有限公司 | 防抖处理方法和装置、电子设备、计算机可读存储介质 |
-
2020
- 2020-05-26 CN CN202010456115.7A patent/CN111935392B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1933554A (zh) * | 2005-12-31 | 2007-03-21 | 北京中星微电子有限公司 | 一种用于手持数码摄像设备的防抖方法及装置 |
CN105706112A (zh) * | 2013-07-24 | 2016-06-22 | 加利福尼亚大学董事会 | 相机运动估计和校正的方法 |
CN105578146A (zh) * | 2016-01-07 | 2016-05-11 | 浙江宇视科技有限公司 | 一种机芯防抖处理方法及装置 |
CN207910750U (zh) * | 2017-10-31 | 2018-09-25 | 迈锐数据(北京)有限公司 | 一种防抖开关电路及防抖控制电路 |
CN110290311A (zh) * | 2019-04-17 | 2019-09-27 | 中国信息通信研究院 | 用于视频防抖性能测评的抖动轨迹生成方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111935392A (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI393074B (zh) | 移動物體偵測裝置與方法 | |
CN101344965A (zh) | 基于双目摄像的跟踪系统 | |
US8368766B2 (en) | Video stabilizing method and system using dual-camera system | |
CN108196285B (zh) | 一种基于多传感器融合的精确定位系统 | |
US8891625B2 (en) | Stabilization method for vibrating video frames | |
CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
US20060056702A1 (en) | Image processing apparatus and image processing method | |
CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
US20110074927A1 (en) | Method for determining ego-motion of moving platform and detection system | |
JP2004157979A (ja) | 画像の動き検出装置及びコンピュータプログラム | |
CN115131420A (zh) | 基于关键帧优化的视觉slam方法及装置 | |
CN110703760B (zh) | 一种用于安防巡检机器人的新增可疑物体检测方法 | |
CN103875020A (zh) | 基于定向传感器解决单应性分解不明确性 | |
CN110139031A (zh) | 一种基于惯性感知的视频防抖系统及其工作方法 | |
CN113012196B (zh) | 一种基于双目相机与惯导传感器信息融合的定位方法 | |
CN114527294A (zh) | 一种基于单个摄像头的目标速度测量方法 | |
CN107506753B (zh) | 一种面向动态视频监控的多车辆跟踪方法 | |
CN115909223A (zh) | 一种wim系统信息与监控视频数据匹配的方法和系统 | |
CN116007609A (zh) | 一种多光谱图像和惯导融合的定位方法和计算系统 | |
CN111935392B (zh) | 用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统 | |
CN113643206A (zh) | 一种奶牛呼吸情况检测方法 | |
CN117558137A (zh) | 基于雷视数据可信度分析的车辆目标检测方法与装置 | |
CN103065329A (zh) | 一种空间绳系机器人相机自运动检测与补偿方法 | |
CN117315547A (zh) | 一种解决动态物体大占比的视觉slam方法 | |
WO2012065872A1 (en) | Change detection in video data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |