CN106441286A - 基于bim技术的无人机隧道巡检系统 - Google Patents

基于bim技术的无人机隧道巡检系统 Download PDF

Info

Publication number
CN106441286A
CN106441286A CN201610480352.0A CN201610480352A CN106441286A CN 106441286 A CN106441286 A CN 106441286A CN 201610480352 A CN201610480352 A CN 201610480352A CN 106441286 A CN106441286 A CN 106441286A
Authority
CN
China
Prior art keywords
unmanned plane
tunnel
camera
circuit
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610480352.0A
Other languages
English (en)
Other versions
CN106441286B (zh
Inventor
高新闻
简明
胡珉
林欣欣
周显威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201610480352.0A priority Critical patent/CN106441286B/zh
Publication of CN106441286A publication Critical patent/CN106441286A/zh
Application granted granted Critical
Publication of CN106441286B publication Critical patent/CN106441286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于BIM技术的无人机隧道巡检系统。系统包括对应关系建立模块、姿态位置信息获取模块、运动状态获取模块。对应关系建立模块获得无人机导航坐标系与三维引擎漫游相机坐标系之间关系。姿态位置信息获取模块在三维引擎中设置相机按巡检线路进行漫游，将获得的运动轨迹参数和三维引擎漫游相机之间的对应关系转换为无人机运动轨迹参数，并得到无人机巡检线路中位姿参数。运动状态获取模块获取三维引擎漫游相机、基于RGB‑D相机、MEMS惯性测量单元以及隧道管片上安装标签对应的信息，将四者信息融合获得其在隧道中运动状态。本发明可以加快隧道巡检的工作效率。

Description

基于BIM技术的无人机隧道巡检系统
技术领域
本发明属于隧道巡检技术领域，涉及一种隧道巡检系统，尤其涉及一种基于BIM技术的无人机隧道巡检系统。
背景技术
国内外常用于隧道巡检的方法主要有人工检测、半自动化的仪器检测等几种方式。其中，人工检测由于隧道日常运营只能有两三个小时的检测时间，这导致了人工检测的线路都很短。半自动化的仪器检测由于要在隧道生产时就需要预埋检测传感器，同时在隧道运营时架设专门的通讯设备才可以进行，况且预埋传感器成活率都不是很高，这导致了目前隧道巡检还是以人工巡检为主的方式来进行。
从国内外所查找的专利看，目前还没有将无人机应用于隧道巡检线路中的专利，这一方面是由于隧道内线路繁多，无人机在隧道无论怎么精确控制都会有触碰隧道内线路的情况概率发生；另一方面是以前室内导航由于没有GPS使得导航的精度较低。
有鉴于此，如今迫切需要设计一种新的检测系统，以便克服现有检测方式存在的上述缺陷。
发明内容
本发明的目的在于针对已有技术存在的不足：提供一种基于BIM技术的无人机隧道巡检系统，可加快隧道巡检的工作效率，这对于日益增长的地铁隧道安全有着极大地协助作用。
为达到上述目的，本发明采用如下技术方案：
一种基于BIM技术的无人机隧道巡检系统，一个机载控制与融合处理系统连接管片标签、地面工作站系统、机载传感器系统和通信系统；
所述地面工作站系统包括对应关系建立子单元、巡检线路三维模型生产子单元；对应关系建立子单元用以通过BIM技术建立隧道模型，并将其导入到三维展示软件中，利用坐标系转换方法获得无人机导航坐标系与三维引擎漫游相机坐标系之间关系，建立无人机与三维引擎漫游相机之间的对应关系；首先，通过RGB-D相机获得无人机离隧道左、右、上距离，将无人机调整到与三维引擎漫游相机起始坐标相同位置，使其两坐标系重合，然后利用四元数进行二者之间坐标系旋转变换；所述巡检线路三维模型生成子单元用以接收RGB-D相机巡检的视频，利用基于BIM技术所做的隧道模型进行视频图像与模型的贴图、拼接、匹配和组合，最终得到巡检线路的真实三维模型，进而清楚掌握目前线路的具体情况和有无隧道病害隐患；所述视频图像包括深度图像和彩色图像；
所述机载控制与融合处理系统包括机载控制子单元、机载处理子单元；所述机载处理子单元用以在三维展示中的三维引擎中设置相机按巡检线路进行漫游，利用三维展示中的三维引擎漫游获得的运动轨迹参数和三维引擎漫游相机之间的对应关系将通过坐标系转换方法转换为无人机运动轨迹参数，同时三维展示中的三维引擎漫游时利用射线技术侦查当前视口内的标签物体，以便与无人机获取的标签信息相互确认，以便更进一步得到无人机巡检线路中姿态和位置参数；标签用以标记位置；所述机载控制子单元通过三维引擎漫游相机、基于RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签，将四者信息融合，获得其在隧道中运动状态：利用RGB-D相机获取隧道内部环境的二维彩色图像和三维深度数据，然后通过极限学习算法获得无人机的姿态和位置参数估计值；利用MEMS惯性测量单元获得惯性测量值，将所述RGB-D相机获得的姿态和位置参数估计值与惯性测量单元获得的测量值通过滤波算法进行信息融合，再利用三维引擎漫游相机获得的运动轨迹参数进行无人机运动状态一次修正，然后通过标签识别器获得的标签信息进行无人机运动状态二次修正，从而得到更为精确的无人机运动状态来自主控制无人机按巡检线路自主飞行；
所述机载控制子单元的信息融合算法如下：
无人机对三维引擎漫游相机、基于RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签四者信息进行处理，并采用基于信任度的DS证据理论算法计算得到的融合信息在隧道中运动状态准确性，计算过程如下：
S31.设三维引擎漫游相机、RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签信息四者信任度为W＝{ω1,ω2,ω3,ω4}，其中ωi(i＝1,2,3,4)为单个数据的属性绝对差；
S32.计算任两组数据之间的冲突
其中m(F)为单组数据的置信度；
S33.计算任两组数据之间的相似性
S34.计算比例冲突因子
S35.计算平均冲突系数
S36.计算总体权重因子ω*＝m×(k*)α×min(ωi|i＝1,2,3,4)；
其中，α为调节因子；
S37.对所有数据的信任度进行更新调节
S38.重复上述S32到S37操作，直到总体信任度W′大于设定阈值时，无人机在隧道中的运动状态即为安全的运行状态；
所述机载控制子单元中，根据无人机的动力学特性建立状态空间模型以及RGB-D相机、MEMS惯性测量单元的观测模型，通过对RGB-D相机拍摄的彩色图像进行中值滤波、连通域滤波、膨胀修改以及图像细化获得隧道中多组特征点，然后根据特征点对应深度数据获得具有匹配关系的相邻两帧图像中的三维点云，然后通过极限学习算法获得无人机的姿态和位置参数估计值作为无人机的姿态空间模型的观测量，这样与MEMS惯性传感器提供的观测量进行融合，该融合后的运动状态参数与三维引擎获得的运动状态参数相比较进行一次修正无人机的飞行状态及飞行路线，在无人机飞行过程中再通过隧道每环管片上固定的标签位置进行无人机飞行的二次运动状态及飞行路线修正，引导无人机按三维引擎漫游线路进行巡检；
所述机载控制子单元中，其中值滤波、连通域滤波、膨胀修改以及图像细化获得隧道中的多组特征点算法如下：
通过对RGB-D相机拍摄的彩色图像进行如下操作：
S301.采用中值滤波器对图像进行去噪
设滤波窗口为W，采用如下方法对图像各点的灰度值{xij,(i,j)∈I2}进行滤波处理
yi＝MedW{xij}＝Med{xi+r,j+s,(r,s)∈W(i,j)∈I2}
其中，yi为滤波后的值。
S302.采用Butterworth高通滤波器在频域对图像进行增强
设n阶Butterworth高通滤波器传递函数如下：
其中，D0为截至频率，为点P(u,v)到频率平面原点的距离。
将点P(u,v)处的H(u,v)下降到最大值的
S303.通过逆滤波方法对Step2得到的图像中存在的运动模糊进行消除。
S304.采用Hilditch细化算法对Step3得到的图像进行细化处理；
方法如下：设背景值为0，前景值为1，采用8连通域，中心点为P0
P8 P1 P2
P7 P0 P3
P6 P5 P4
B(P0)表示与P0点相邻的8连通域中非零像素点的个数；
A(P0)表示P0点相邻的8连通域顺时针方向P1-P8序列中0或1模式的个数；
规定如下细化条件：
2<＝B(P0)<＝6
A(P0)＝1
P2|P4|P8＝0或者A(P2)！＝1
P2|P4|P6＝0或者A(P4)！＝1
满足条件时将P0置为0，按照从左到右，从上到下的顺序对每个像素进行遍历，直到像素点不满足上述细化条件为止；
所述的通信系统，用于无人机上机载传感器系统与地面工作站系统之间通信。
作为本发明的一种优选方案，所述系统还包括：巡检线路三维模型生成子单元，用以接收RGB-D相机巡检的视频，并利用基于BIM技术所做的隧道模型进行视频图像与模型的贴图、拼接、匹配和组合，最终得到巡检线路的真实三维模型，进而清楚掌握目前线路的具体情况和有无隧道病害隐患；所述视频图像包括深度图像和彩色图像。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著的技术进步：本发明提出的基于BIM技术的无人机隧道巡检系统，可以加快隧道巡检的工作效率，这对于日益增长的地铁隧道安全有着极大地协助作用。本发明利用无人机进行巡检，操作方便、数据采集快捷、信息丰富、成本较低，巡检时间大大降低。
附图说明
图1为本发明基于BIM技术的无人机隧道巡检系统的结构示意图。
图2为本发明基于BIM技术的无人机隧道巡检方法的流程图。
图3为本发明基于BIM技术的无人机隧道巡检系统的结构框图。
图4为本发明基于BIM技术的无人机隧道巡检系统的地面工作站系统示意图。
图5为本发明基于BIM技术的无人机隧道巡检系统的机载控制与融合处理系统示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例一：
参见图1～图5，本基于BIM技术的无人机隧道巡检系统，其特征在于，机载控制与融合处理系统连接管片标签、机载传感器、通讯系统和地面工作站系统；
1)所述管片标签，用于定位隧道内管片位置；
2)地面工作站系统，用于控制与导航无人机在隧道内巡检线路；其中，巡检路线的控制与导航进一步包括：
对应关系建立子单元，用于获得无人机与基于BIM技术建立隧道模型中三维展示中的三维引擎漫游相机之间的对应关系；
巡检线路三维模型生成子单元，用于获得无人机在隧道巡检线路中的真实三维模型；
3)所述机载传感器系统，用于获得无人机在隧道巡检线路中隧道病害图像、无人机在隧道巡检线路中姿态、无人机在隧道巡检线路中高度、无人机在隧道巡检线路中位置；其进一步包括：
RGB-D相机，用于获得无人机在隧道巡检线路中隧道病害及无人机与隧道内管片位置；
标签识别器，用于识别无人机在隧道巡检线路中隧道管片标签；
MEMS惯性测量单元，用于获得无人机在隧道巡检线路中自身的状态；
高度传感器，用于获得无人机在隧道巡检线路中自身的高度；
4)所述机载控制与融合处理系统，用于接收地面站系统的导航指令以及机载传感器系统的信息，控制无人机在隧道巡检中的姿态位置和运动状态，其进一步包括：
机载控制子单元，用于融合机载传感器系统在无人机巡检线路中RGB-D相机信息、MEMS惯性测量单元信息以及高度传感器信息，然后通过机载控制单元中的飞行控制算法控制无人机在隧道内巡检线路；
机载处理子单元，用于处理通过RGB-D相机拍摄获得RGB-D相机的运动状态以及获得地面工作站中三维引擎相机产生的实时路径规划；
5)所述通信系统，用于无人机上机载传感器系统与地面工作站系统之间通信；
实施例二：
请参阅图1，揭示了一种基于BIM技术的无人机隧道巡检系统，包括：一个机载控制与融合处理系统连接管片标签、地面工作站系统、机载传感器系统和通信系统。
请参阅图4，本实施例所述地面工作站系统包括对应关系建立子单元、巡检线路三维模型生产子单元；对应关系建立子单元用以通过BIM技术建立隧道模型，并将其导入到三维展示软件中，利用坐标系转换方法获得无人机导航坐标系与三维引擎漫游相机坐标系之间关系，建立无人机与三维引擎漫游相机之间的对应关系；首先，通过RGB-D相机获得无人机离隧道左、右、上距离，将无人机调整到与三维引擎漫游相机起始坐标相同位置，使其两坐标系重合，然后利用四元数进行二者之间坐标系旋转变换；所述巡检线路三维模型生成子单元用以接收RGB-D相机巡检的视频，利用基于BIM技术所做的隧道模型进行视频图像与模型的贴图、拼接、匹配和组合，最终得到巡检线路的真实三维模型，进而清楚掌握目前线路的具体情况和有无隧道病害隐患；所述视频图像包括深度图像和彩色图像；
请参阅图5，本实施例所述机载控制与融合处理系统包括机载控制子单元、机载处理子单元；所述机载处理子单元用以在三维展示中的三维引擎中设置相机按巡检线路进行漫游，利用三维展示中的三维引擎漫游获得的运动轨迹参数和三维引擎漫游相机之间的对应关系将通过坐标系转换方法转换为无人机运动轨迹参数，同时三维展示中的三维引擎漫游时利用射线技术侦查当前视口内的标签物体，以便与无人机获取的标签信息相互确认，以便更进一步得到无人机巡检线路中姿态和位置参数；标签用以标记位置；所述机载控制子单元通过三维引擎漫游相机、基于RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签，将四者信息融合，获得其在隧道中运动状态：利用RGB-D相机获取隧道内部环境的二维彩色图像和三维深度数据，然后通过极限学习算法获得无人机的姿态和位置参数估计值；利用MEMS惯性测量单元获得惯性测量值，将所述RGB-D相机获得的姿态和位置参数估计值与惯性测量单元获得的测量值通过滤波算法进行信息融合，再利用三维引擎漫游相机获得的运动轨迹参数进行无人机运动状态一次修正，然后通过标签识别器获得的标签信息进行无人机运动状态二次修正，从而得到更为精确的无人机运动状态来自主控制无人机按巡检线路自主飞行；
所述机载控制子单元的信息融合算法如下：
无人机对三维引擎漫游相机、基于RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签四者信息进行处理，并采用基于信任度的DS证据理论算法计算得到的融合信息在隧道中运动状态准确性，计算过程如下：
S31.设三维引擎漫游相机、RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签信息四者信任度为W＝{ω1,ω2,ω3,ω4}，其中ωi(i＝1,2,3,4)为单个数据的属性绝对差；
S32.计算任两组数据之间的冲突
其中m(F)为单组数据的置信度；
S33.计算任两组数据之间的相似性
S34.计算比例冲突因子
S35.计算平均冲突系数
S36.计算总体权重因子ω*＝m×(k*)α×min(ωi|i＝1,2,3,4)；
其中，α为调节因子；
S37.对所有数据的信任度进行更新调节
S38.重复上述S32到S37操作，直到总体信任度W′大于设定阈值时，无人机在隧道中的运动状态即为安全的运行状态；
所述机载控制子单元中，根据无人机的动力学特性建立状态空间模型以及RGB-D相机、MEMS惯性测量单元的观测模型，通过对RGB-D相机拍摄的彩色图像进行中值滤波、连通域滤波、膨胀修改以及图像细化获得隧道中多组特征点，然后根据特征点对应深度数据获得具有匹配关系的相邻两帧图像中的三维点云，然后通过极限学习算法获得无人机的姿态和位置参数估计值作为无人机的姿态空间模型的观测量，这样与MEMS惯性传感器提供的观测量进行融合，该融合后的运动状态参数与三维引擎获得的运动状态参数相比较进行一次修正无人机的飞行状态及飞行路线，在无人机飞行过程中再通过隧道每环管片上固定的标签位置进行无人机飞行的二次运动状态及飞行路线修正，引导无人机按三维引擎漫游线路进行巡检；
所述机载控制子单元中，其中值滤波、连通域滤波、膨胀修改以及图像细化获得隧道中的多组特征点算法如下：
通过对RGB-D相机拍摄的彩色图像进行如下操作：
S301.采用中值滤波器对图像进行去噪
设滤波窗口为W，采用如下方法对图像各点的灰度值{xij,(i,j)∈I2}进行滤波处理
yi＝MedW{xij}＝Med{xi+r,j+s,(r,s)∈W(i,j)∈I2}
其中，yi为滤波后的值。
S302.采用Butterworth高通滤波器在频域对图像进行增强
设n阶Butterworth高通滤波器传递函数如下：
其中，D0为截至频率，为点P(u,v)到频率平面原点的距离。
将点P(u,v)处的H(u,v)下降到最大值的
S303.通过逆滤波方法对Step2得到的图像中存在的运动模糊进行消除。
S304.采用Hilditch细化算法对Step3得到的图像进行细化处理；
方法如下：设背景值为0，前景值为1，采用8连通域，中心点为P0
P8 P1 P2
P7 P0 P3
P6 P5 P4
B(P0)表示与P0点相邻的8连通域中非零像素点的个数；
A(P0)表示P0点相邻的8连通域顺时针方向P1-P8序列中0或1模式的个数；
规定如下细化条件：
2<＝B(P0)<＝6
A(P0)＝1
P2|P4|P8＝0或者A(P2)！＝1
P2|P4|P6＝0或者A(P4)！＝1
满足条件时将P0置为0，按照从左到右，从上到下的顺序对每个像素进行遍历，直到像素点不满足上述细化条件为止；
所述的通信系统，用于无人机上机载传感器系统与地面工作站系统之间通信。
实施例三：
请参阅图3，本基于BIM技术的无人机隧道巡检方法，它包括以下步骤：
【步骤1】通过BIM技术建立隧道模型，并将其导入到三维展示中，利用坐标系转换方法获得无人机导航坐标系与三维引擎漫游相机坐标系之间关系，建立无人机与三维引擎漫游相机之间的对应关系；
其中，坐标系转换方法获得无人机导航坐标系与三维引擎漫游相机坐标系之间关系。该关系的获得首先是通过RGB-D相机获得无人机离隧道左、右、上距离，将无人机调整到与三维引擎漫游起始坐标相同位置，使其两坐标系重合，然后再利用四元数进行二者之间坐标系旋转变换。
【步骤2】在三维展示中的三维引擎中设置相机按巡检线路进行漫游，利用三维展示中的三维引擎漫游和三维引擎漫游相机之间的对应关系获得无人机运动轨迹参数，同时漫游时利用射线技术侦查当前视口内的标签物体，以便与无人机获取的标签信息相互确认。
【步骤3】无人机通过三维引擎漫游相机、基于RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签四者信息融合算法获得其在隧道中运动状态：利用RGB-D相机获取隧道内部环境的二维彩色图像和三维深度数据，然后通过极限学习算法获得无人机的姿态和位置参数估计值；利用MEMS惯性测量单元获得惯性测量值，将所述RGB-D相机获得的姿态和位置参数估计值与惯性测量单元获得的测量值通过滤波算法进行信息融合，再利用三维引擎漫游相机获得的运动轨迹参数进行无人机运动状态一次修正，然后通过标签识别器获得的标签信息进行无人机运动状态二次修正，从而得到更为精确的无人机运动状态来自主控制无人机按巡检线路自主飞行。
在步骤S3中，其信息融合算法如下：
无人机对三维引擎漫游相机、基于RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签四者信息进行处理，并采用基于信任度的DS证据理论算法计算得到的融合信息在隧道中运动状态准确性，计算过程如下：
S31.设三维引擎漫游相机、RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签信息四者信任度为W＝{ω1,ω2,ω3,ω4}，其中ωi(i＝1,2,3,4)为单个数据的属性绝对差；
S32.计算任两组数据之间的冲突
其中m(F)为单组数据的置信度；
S33.计算任两组数据之间的相似性
S34.计算比例冲突因子
S35.计算平均冲突系数
S36.计算总体权重因子ω*＝m×(k*)α×min(ωi|i＝1,2,3,4)；
其中，α为调节因子；
S37.对所有数据的信任度进行更新调节
S38.重复上述S32到S37操作，直到总体信任度W′大于设定阈值时，无人机在隧道中的运动状态即为安全的运行状态。
具体地，根据无人机的动力学特性建立状态空间模型以及RGB-D相机、MEMS惯性测量单元的观测模型，通过对RGB-D相机拍摄的彩色图像进行中值滤波、连通域滤波、膨胀修改以及图像细化获得隧道中多组特征点，然后根据特征点对应深度数据获得具有匹配关系的相邻两帧图像中的三维点云，然后通过极限学习算法获得无人机的姿态和位置参数估计值作为无人机的姿态空间模型的观测量，这样与MEMS惯性传感器提供的观测量进行融合，该融合后的运动状态参数与三维引擎获得的运动状态参数相比较进行一次修正无人机的飞行状态及飞行路线，在无人机飞行过程中再通过隧道每环管片上固定的标签位置进行无人机飞行的二次运动状态及飞行路线修正，引导无人机按三维引擎漫游线路进行巡检。
上述步骤中，其中值滤波、连通域滤波、膨胀修改以及图像细化获得隧道中的多组特征点算法如下：
通过对RGB-D相机拍摄的彩色图像进行如下操作：
Step1.采用中值滤波器对图像进行去噪
设滤波窗口为W，采用如下方法对图像各点的灰度值{xij,(i,j)∈I2}进行滤波处理
yi＝MedW{xij}＝Med{xi+r,j+s,(r,s)∈W(i,j)∈I2}
其中，yi为滤波后的值。
Step2.采用Butterworth高通滤波器在频域对图像进行增强
设n阶Butterworth高通滤波器传递函数如下：
其中，D0为截至频率，为点P(u,v)到频率平面原点的距离。
将点P(u,v)处的H(u,v)下降到最大值的
Step3.通过逆滤波方法对Step2得到的图像中存在的运动模糊进行消除。
Step4.采用Hilditch细化算法对Step3得到的图像进行细化处理
方法如下：设背景值为0，前景值为1，采用8连通域，中心点为P0
P8 P1 P2
P7 P0 P3
P6 P5 P4
B(P0)表示与P0点相邻的8连通域中非零像素点的个数
A(P0)表示P0点相邻的8连通域顺时针方向P1-P8序列中0或1模式的个数。
规定如下细化条件：
2<＝B(P0)<＝6
A(P0)＝1
P2|P4|P8＝0或者A(P2)！＝1
P2|P4|P6＝0或者A(P4)！＝1
满足条件时将P0置为0，按照从左到右，从上到下的顺序对每个像素进行遍历，直到像素点不满足上述细化条件为止。
【步骤S4】RGB-D相机巡检的视频通过视频传输模块传输到地面工作站，地面工作站利用基于BIM技术所做的隧道模型进行视频图像(深度图像和彩色图像)与模型的贴图、拼接、匹配和组合，最终得到巡检线路的真实三维模型，进而清楚掌握目前线路的具体情况和有无隧道病害隐患。
实施例四：
请参阅图3，本基于BIM技术的无人机隧道巡检系统，所述巡检系统包括：地面工作站系统、机载传感器系统、机载控制与融合处理系统、通信系统。
所述地面工作站系统包括对应关系建立子单元，所述对应关系建立子单元通过BIM技术建立隧道模型，并将其导入到三维展示软件中，利用坐标系转换方法获得无人机导航坐标系与三维引擎漫游相机坐标系之间关系，建立无人机与三维引擎漫游相机之间的对应关系。
所述机载控制与融合处理系统包括机载控制子单元、机载处理子单元，所述机载控制子单元在三维展示软件中的三维引擎中设置相机按巡检线路进行漫游，利用三维展示软件中的三维引擎漫游获得的运动轨迹参数和三维引擎漫游相机之间的对应关系将通过坐标系转换方法转换为无人机运动轨迹参数，同时三维展示软件中的三维引擎漫游时利用射线技术侦查当前视口内的标签物体，以便与无人机获取的标签信息相互确认，以便更进一步得到无人机巡检线路中姿态和位置参数。
所述机载控制子单元获取三维引擎漫游相机、基于RGB-D相机、MEMS惯性测量单元以及隧道管片上安装的标签对应的信息，将四者信息融合获得其在隧道中运动状态。
综上所述，本发明提出的基于BIM技术的无人机隧道自主巡检系统，可以加快隧道巡检的工作效率，这对于日益增长的地铁隧道安全有着极大地协助作用。本发明利用无人机进行巡检，操作方便、数据采集快捷、信息丰富、成本较低，巡检时间大大降低。
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (8)

1.一种基于BIM技术的无人机隧道巡检系统，其特征在于，机载控制与融合处理系统(1)连接管片标签(4)、机载传感器(2)、通讯系统(3)和地面工作站系统(5)；
1)所述管片标签，用于定位隧道内管片位置；
2)地面工作站系统(5)，用于控制与导航无人机在隧道内巡检线路；其中，巡检路线的控制与导航进一步包括：
对应关系建立子单元(51)，用于获得无人机与基于BIM技术建立隧道模型中三维展示中的三维引擎漫游相机之间的对应关系；
巡检线路三维模型生成子单元，用于获得无人机在隧道巡检线路中的真实三维模型；
3)所述机载传感器系统(2)，用于获得无人机在隧道巡检线路中隧道病害图像、无人机在隧道巡检线路中姿态、无人机在隧道巡检线路中高度、无人机在隧道巡检线路中位置；其进一步包括：
RGB-D相机(21)，用于获得无人机在隧道巡检线路中隧道病害及无人机与隧道内管片位置；
标签识别器(22)，用于识别无人机在隧道巡检线路中隧道管片标签；
MEMS惯性测量单元(23)，用于获得无人机在隧道巡检线路中自身的状态；
高度传感器(24)，用于获得无人机在隧道巡检线路中自身的高度；
4)所述机载控制与融合处理系统(1)，用于接收地面站系统的导航指令以及机载传感器系统的信息，控制无人机在隧道巡检中的姿态位置和运动状态，其进一步包括：
机载控制子单元(12)，用于融合机载传感器系统(2)在无人机巡检线路中RGB-D相机(21)信息、MEMS惯性测量单元(23)信息以及高度传感器(24)信息，然后通过机载控制单元(2)中的飞行控制算法控制无人机在隧道内巡检线路；
机载处理子单元(11)，用于处理通过RGB-D相机(21)拍摄获得RGB-D相机的运动状态以及获得地面工作站中三维引擎相机产生的实时路径规划；
5)所述通信系统(3)，用于无人机上机载传感器系统(2)与地面工作站系统(5)之间通信。
2.根据权利要求1所述的基于BIM技术的无人机隧道巡检系统，其特征在于：
所述对应关系建立子单元(51)通过BIM技术建立隧道模型，并将其导入到三维展示(53)中，利用坐标系转换方法获得无人机导航坐标系与三维引擎漫游相机坐标系之间关系，建立无人机与三维引擎漫游相机之间的对应关系。
3.根据权利要求1所述的基于BIM技术的无人机隧道巡检系统，其特征在于：
所述对应关系建立子单元(51)通过RGB-D相机(21)获得无人机离隧道左、右、上距离，将无人机调整到与三维引擎漫游相机起始坐标相同位置，使其两坐标系重合，然后利用四元数进行二者之间坐标系旋转变换。
4.根据权利要求1所述的基于BIM技术的无人机隧道巡检系统，其特征在于：
所述机载处理子单元(11)用以在三维展示中的三维引擎中设置相机按巡检线路进行漫游，利用三维引擎漫游相机获得的运动轨迹参数和三维引擎漫游相机之间的对应关系通过坐标系转换方法转换为无人机运动轨迹参数，同时三维引擎漫游时利用射线技术侦查当前视口内的标签物体，以便与无人机获取的标签信息相互确认，以便更进一步得到无人机巡检线路中姿态和位置参数；标签用以标记位置。
5.根据权利要求1所述的基于BIM技术的无人机隧道巡检系统，其特征在于：
所述机载控制子单元(1)中，利用RGB-D相机(21)获取隧道内部环境的二维彩色图像和三维深度数据，然后通过极限学习算法获得无人机的姿态和位置参数估计值；利用MEMS惯性测量单元(23)获得惯性测量值，将所述RGB-D相机(21)获得的姿态和位置参数估计值与惯性测量单元(23)获得的测量值通过滤波算法进行信息融合，再利用三维引擎漫游相机获得的运动轨迹参数进行无人机运动状态一次修正，然后通过标签识别器获得的标签信息进行无人机运动状态二次修正，从而得到更为精确的无人机运动状态来自主控制无人机按巡检线路自主飞行；
所述机载控制子单元(12)中，其信息融合算法如下：
无人机对三维引擎漫游相机、RGB-D相机(21)、MEMS惯性测量单元(23)以及隧道管片上安装的管片标签(41)四者信息进行处理，并采用基于信任度的DS证据理论算法计算得到的融合信息在隧道中运动状态准确性，计算过程如下：
S31.设三维引擎漫游相机、RGB-D相机(21)、MEMS惯性测量单元(23)以及隧道管片上安装的管片标签(41)信息四者信任度为W＝{ω1,ω2,ω3,ω4}，其中ωi(i＝1,2,3,4)为单个数据的属性绝对差；
S32.计算任两组数据之间的冲突(i,j＝1,2,3,4,n＝4)；
其中m(F)为单组数据的置信度；
S33.计算任两组数据之间的相似性(i,j＝1,2,3,4,n＝m＝4)；
S34.计算比例冲突因子
S35.计算平均冲突系数
S36.计算总体权重因子ω*＝m×(k*)α×min(ωi|i＝1,2,3,4)；
其中，α为调节因子；
S37.对所有数据的信任度进行更新调节m＝4；
S38.重复上述S32到S37操作，直到总体信任度W′大于设定阈值时，无人机在隧道中的运动状态即为安全的运行状态。
6.根据权利要求1所述的基于BIM技术的无人机隧道巡检系统，其特征在于：
所述机载控制子单元(12)中，根据无人机的动力学特性建立状态空间模型以及RGB-D相机(21)、MEMS惯性测量单元(23)的观测模型，通过对RGB-D相机(21)拍摄的彩色图像进行中值滤波、连通域滤波、膨胀修改以及图像细化获得隧道中多组特征点，然后根据特征点对应深度数据获得具有匹配关系的相邻两帧图像中的三维点云，然后通过极限学习算法获得无人机的姿态和位置参数估计值作为无人机的姿态空间模型的观测量，这样与MEMS惯性传感器提供的观测量进行融合，该融合后的运动状态参数与三维引擎获得的运动状态参数相比较进行一次修正无人机的飞行状态及飞行路线，在无人机飞行过程中再通过隧道每环管片上固定的标签位置进行无人机飞行的二次运动状态及飞行路线修正，引导无人机按三维引擎漫游线路进行巡检。
7.根据权利要求6所述的基于BIM技术的无人机隧道巡检系统，其特征在于：
所述机载控制子单元(12)中，其中值滤波、连通域滤波、膨胀修改以及图像细化获得隧道中的多组特征点算法如下：
通过对RGB-D相机(21)拍摄的彩色图像进行如下操作：
S301.采用中值滤波器对图像进行去噪；
设滤波窗口为W，采用如下方法对图像各点的灰度值{xij,(i,j)∈I2}进行滤波处理；
yi＝MedW{xij}＝Med{xi+r,j+s,(r,s)∈W(i,j)∈I2}；
其中，yi为滤波后的值；
S302.采用Butterworth高通滤波器在频域对图像进行增强；
设n阶Butterworth高通滤波器传递函数如下：
其中，D0为截至频率，为点P(u,v)到频率平面原点的距离；
将点P(u,v)处的H(u,v)下降到最大值的
S303.通过逆滤波方法对S302得到的图像中存在的运动模糊进行消除；
S304.采用Hilditch细化算法对S303得到的图像进行细化处理；
方法如下：设背景值为0，前景值为1，采用8连通域，中心点为P0；
P8 P1 P2 P7 P0 P3 P6 P5 P4
B(P0)表示与P0点相邻的8连通域中非零像素点的个数；
A(P0)表示P0点相邻的8连通域顺时针方向P1-P8序列中0或1模式的个数；
规定如下细化条件：
2<＝B(P0)<＝6
A(P0)＝1
P2|P4|P8＝0或者A(P2)！＝1
P2|P4|P6＝0或者A(P4)！＝1
满足条件时将P0置为0，按照从左到右，从上到下的顺序对每个像素进行遍历，直到像素点不满足上述细化条件为止。
8.根据权利要求1所述的基于BIM技术的无人机隧道巡检系统，其特征在于：
所述巡检线路三维模型生成子单元(52)，用以接收RGB-D相机(21)巡检的视频，并利用基于BIM技术所做的隧道模型进行视频图像与模型的贴图、拼接、匹配和组合，最终得到巡检线路的真实三维模型，进而清楚掌握目前线路的具体情况和有无隧道病害隐患；所述视频图像包括深度图像和彩色图像。
CN201610480352.0A 2016-06-27 2016-06-27 基于bim技术的无人机隧道巡检系统 Active CN106441286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610480352.0A CN106441286B (zh) 2016-06-27 2016-06-27 基于bim技术的无人机隧道巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610480352.0A CN106441286B (zh) 2016-06-27 2016-06-27 基于bim技术的无人机隧道巡检系统

Publications (2)

Publication Number Publication Date
CN106441286A true CN106441286A (zh) 2017-02-22
CN106441286B CN106441286B (zh) 2019-11-19

Family

ID=58183774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610480352.0A Active CN106441286B (zh) 2016-06-27 2016-06-27 基于bim技术的无人机隧道巡检系统

Country Status (1)

Country Link
CN (1) CN106441286B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107063282A (zh) * 2017-04-18 2017-08-18 深圳市国科微半导体股份有限公司 一种基于隧道的车辆导航方法及其装置
CN107301428A (zh) * 2017-06-23 2017-10-27 福建宝中海洋工程股份有限公司 一种基于图像识别的船体诊断系统
CN107657658A (zh) * 2017-09-26 2018-02-02 安徽美图信息科技有限公司 一种基于web与三维模型相结合的虚拟展厅展示系统
CN107702662A (zh) * 2017-09-27 2018-02-16 深圳拎得清软件有限公司 基于激光扫描仪和bim的逆向监控方法及其系统
CN107832564A (zh) * 2017-12-05 2018-03-23 河海大学 一种基于pzt振测信号的泄流结构bim损伤识别信息系统
CN108415453A (zh) * 2018-01-24 2018-08-17 上海大学 基于bim技术的无人机隧道巡检方法
CN108628337A (zh) * 2017-03-21 2018-10-09 株式会社东芝 路径生成装置、路径控制系统以及路径生成方法
CN108759774A (zh) * 2018-05-28 2018-11-06 中国建筑第八工程局有限公司 一种不规则弯曲隧道的测量方法
CN109405895A (zh) * 2018-12-29 2019-03-01 广州供电局有限公司 电缆隧道监控管理系统
CN109760837A (zh) * 2019-02-21 2019-05-17 西京学院 一种电缆沟与隧道巡检无人机系统
WO2019144281A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
CN110262546A (zh) * 2019-06-18 2019-09-20 武汉大学 一种隧道智能无人机巡检系统及方法
WO2019190398A1 (en) * 2018-03-26 2019-10-03 Singapore University Of Technology And Design Aerial vehicles, methods of imaging a tunnel and methods of imaging a shaft
CN110675418A (zh) * 2019-09-26 2020-01-10 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN110703809A (zh) * 2019-09-18 2020-01-17 同济大学 一种基于无线传感网络的无人机地铁隧道定点巡检方法
CN111272172A (zh) * 2020-02-12 2020-06-12 深圳壹账通智能科技有限公司 无人机室内导航方法、装置、设备和存储介质
CN111325839A (zh) * 2020-02-13 2020-06-23 中国铁道科学研究院集团有限公司铁道建筑研究所 一种用于隧道的形象化三维展示方法及系统
CN111854756A (zh) * 2020-06-30 2020-10-30 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN112652015A (zh) * 2020-11-30 2021-04-13 中国公路工程咨询集团有限公司 基于bim的路面病害标记方法和装置
CN113223174A (zh) * 2021-05-12 2021-08-06 武汉中仪物联技术股份有限公司 基于横断面的管道内部漫游方法和系统
CN116972855A (zh) * 2023-09-22 2023-10-31 北京洛斯达科技发展有限公司 基于bim的选煤厂设备三维漫游巡检方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984355A (zh) * 2014-05-19 2014-08-13 华北电力大学 一种巡检飞行机器人与架空电力线路距离预测和保持方法
CN104236548A (zh) * 2014-09-12 2014-12-24 清华大学 一种微型无人机室内自主导航方法
CN104843176A (zh) * 2015-04-28 2015-08-19 武汉大学 一种用于桥梁隧道自动巡检旋翼无人机系统及导航方法
CN105334862A (zh) * 2015-10-28 2016-02-17 上海同筑信息科技有限公司 基于bim的无人机监控方法及系统
KR20160034013A (ko) * 2014-09-19 2016-03-29 한국건설기술연구원 무인 항공기를 이용한 건설현장 관리 시스템 및 방법
CN105575157A (zh) * 2016-01-29 2016-05-11 浙江理工大学 一种基于射频识别技术的车辆精确定位辅助系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984355A (zh) * 2014-05-19 2014-08-13 华北电力大学 一种巡检飞行机器人与架空电力线路距离预测和保持方法
CN104236548A (zh) * 2014-09-12 2014-12-24 清华大学 一种微型无人机室内自主导航方法
KR20160034013A (ko) * 2014-09-19 2016-03-29 한국건설기술연구원 무인 항공기를 이용한 건설현장 관리 시스템 및 방법
CN104843176A (zh) * 2015-04-28 2015-08-19 武汉大学 一种用于桥梁隧道自动巡检旋翼无人机系统及导航方法
CN105334862A (zh) * 2015-10-28 2016-02-17 上海同筑信息科技有限公司 基于bim的无人机监控方法及系统
CN105575157A (zh) * 2016-01-29 2016-05-11 浙江理工大学 一种基于射频识别技术的车辆精确定位辅助系统及方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628337A (zh) * 2017-03-21 2018-10-09 株式会社东芝 路径生成装置、路径控制系统以及路径生成方法
CN107063282A (zh) * 2017-04-18 2017-08-18 深圳市国科微半导体股份有限公司 一种基于隧道的车辆导航方法及其装置
CN107301428A (zh) * 2017-06-23 2017-10-27 福建宝中海洋工程股份有限公司 一种基于图像识别的船体诊断系统
CN107301428B (zh) * 2017-06-23 2019-12-10 福建宝中海洋工程股份有限公司 一种基于图像识别的船体诊断系统
CN107657658A (zh) * 2017-09-26 2018-02-02 安徽美图信息科技有限公司 一种基于web与三维模型相结合的虚拟展厅展示系统
CN107702662A (zh) * 2017-09-27 2018-02-16 深圳拎得清软件有限公司 基于激光扫描仪和bim的逆向监控方法及其系统
CN107702662B (zh) * 2017-09-27 2020-01-21 深圳拎得清软件有限公司 基于激光扫描仪和bim的逆向监控方法及其系统
CN107832564A (zh) * 2017-12-05 2018-03-23 河海大学 一种基于pzt振测信号的泄流结构bim损伤识别信息系统
CN107832564B (zh) * 2017-12-05 2019-07-23 河海大学 一种基于pzt振测信号的泄流结构bim损伤识别信息系统
WO2019144281A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 表面图形确定方法和装置
CN108415453A (zh) * 2018-01-24 2018-08-17 上海大学 基于bim技术的无人机隧道巡检方法
WO2019190398A1 (en) * 2018-03-26 2019-10-03 Singapore University Of Technology And Design Aerial vehicles, methods of imaging a tunnel and methods of imaging a shaft
CN108759774A (zh) * 2018-05-28 2018-11-06 中国建筑第八工程局有限公司 一种不规则弯曲隧道的测量方法
CN109405895A (zh) * 2018-12-29 2019-03-01 广州供电局有限公司 电缆隧道监控管理系统
CN109760837A (zh) * 2019-02-21 2019-05-17 西京学院 一种电缆沟与隧道巡检无人机系统
CN109760837B (zh) * 2019-02-21 2022-03-18 西京学院 一种电缆沟与隧道巡检无人机系统
CN110262546A (zh) * 2019-06-18 2019-09-20 武汉大学 一种隧道智能无人机巡检系统及方法
CN110262546B (zh) * 2019-06-18 2021-07-20 武汉大学 一种隧道智能无人机巡检方法
CN110703809A (zh) * 2019-09-18 2020-01-17 同济大学 一种基于无线传感网络的无人机地铁隧道定点巡检方法
CN110675418A (zh) * 2019-09-26 2020-01-10 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN111272172A (zh) * 2020-02-12 2020-06-12 深圳壹账通智能科技有限公司 无人机室内导航方法、装置、设备和存储介质
CN111325839A (zh) * 2020-02-13 2020-06-23 中国铁道科学研究院集团有限公司铁道建筑研究所 一种用于隧道的形象化三维展示方法及系统
CN111325839B (zh) * 2020-02-13 2023-09-05 中国铁道科学研究院集团有限公司铁道建筑研究所 一种用于隧道的形象化三维展示方法及系统
CN111854756B (zh) * 2020-06-30 2023-08-29 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN111854756A (zh) * 2020-06-30 2020-10-30 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN112652015A (zh) * 2020-11-30 2021-04-13 中国公路工程咨询集团有限公司 基于bim的路面病害标记方法和装置
CN112652015B (zh) * 2020-11-30 2023-05-09 中国公路工程咨询集团有限公司 基于bim的路面病害标记方法和装置
CN113223174A (zh) * 2021-05-12 2021-08-06 武汉中仪物联技术股份有限公司 基于横断面的管道内部漫游方法和系统
CN116972855A (zh) * 2023-09-22 2023-10-31 北京洛斯达科技发展有限公司 基于bim的选煤厂设备三维漫游巡检方法及系统
CN116972855B (zh) * 2023-09-22 2023-12-26 北京洛斯达科技发展有限公司 基于bim的选煤厂设备三维漫游巡检方法及系统

Also Published As

Publication number Publication date
CN106441286B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN106441286A (zh) 基于bim技术的无人机隧道巡检系统
CN108415453A (zh) 基于bim技术的无人机隧道巡检方法
CN110262546B (zh) 一种隧道智能无人机巡检方法
CN109911188B (zh) 非卫星导航定位环境的桥梁检测无人机系统
CN106774431B (zh) 一种测绘无人机航线规划方法及装置
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN106155086B (zh) 一种道路检测无人机及其自动巡航方法
CN105549614B (zh) 无人机目标跟踪方法
CN101419055B (zh) 基于视觉的空间目标位姿测量装置和方法
CN104217439B (zh) 一种室内视觉定位系统及方法
CN102353377B (zh) 一种高空长航时无人机组合导航系统及其导航定位方法
CN105652891A (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
CN110221623A (zh) 一种空地协同作业系统及其定位方法
CN107478214A (zh) 一种基于多传感器融合的室内定位方法及系统
CN107167139A (zh) 一种变电站巡检机器人视觉定位导航方法及系统
US20200393593A1 (en) Integrated system for geological and geophysical survey based on unmanned aerial vehicle
CN106017463A (zh) 一种基于定位传感装置的飞行器定位方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN111986506A (zh) 基于多视觉系统的机械式停车位泊车方法
CN109541535A (zh) 一种基于uwb和视觉slam的agv室内定位及导航的方法
CN105928493A (zh) 基于无人机的双目视觉三维测绘系统和方法
CN107703951A (zh) 一种基于双目视觉的无人机避障方法及系统
CN207649604U (zh) 一种基于无人机的智能地形勘测系统
CN109997150A (zh) 用于对道路特征进行分类的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant