CN109178329A - 一种第一视角巡线机器人 - Google Patents

一种第一视角巡线机器人 Download PDF

Info

Publication number
CN109178329A
CN109178329A CN201810986614.XA CN201810986614A CN109178329A CN 109178329 A CN109178329 A CN 109178329A CN 201810986614 A CN201810986614 A CN 201810986614A CN 109178329 A CN109178329 A CN 109178329A
Authority
CN
China
Prior art keywords
inspection robot
shaft
head
support bar
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810986614.XA
Other languages
English (en)
Inventor
刘刚
周子凯
吴志坤
郑浩然
苏晓
林育庆
孙浩贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810986614.XA priority Critical patent/CN109178329A/zh
Publication of CN109178329A publication Critical patent/CN109178329A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

本发明属于巡线机器人技术领域，公开了一种第一视角巡线机器人，包括：巡线机器人平台、云台系统、双目摄像头和VR眼镜。云台系统搭载于巡线机器人平台上并接收VR眼镜发送的头转控制信息，云台系统具有电机驱动的活动机构，用于控制搭载的双目摄像头俯仰、左右旋转，实现第一视角拍摄；VR眼镜获取佩戴操纵者头转控制信息并发送至云台系统，VR眼镜佩戴操纵者以头部上下、左右转动控制云台活动机构俯仰、左右旋转相应角度。本发明解决了巡线时摄像头不能跟随操纵者头部转动、视角转换过程复杂的问题，实现第一视角巡线，并解决了拍摄图像没有立体感的问题，使操纵者更容易找出线路故障，提高巡检效率。

Description

一种第一视角巡线机器人
技术领域
本发明涉及巡线机器人技术领域，特别涉及一种第一视角巡线机器人。
背景技术
当今社会，电力是一种非常重要的资源，电力传输的稳定性至关重要。长期暴露在野外的杆塔线路不断受到机械张力、材料老化、污秽和雷击等外界因素的侵害，容易导致导线断股甚至完全断裂、绝缘子破损和杆塔倾斜等隐患。如果不及时发现并进行修复、更换这些隐患，会严重影响电力传输的正常运行，造成不可估量的经济损失。
为此，电网公司需要花费大量资源进行巡线工作以掌握线路的运行状况。人工作业需要技术人员爬上电线杆塔，手工纪录电力设备和绝缘子的状态信息，巡检效率低，巡检区域存在盲区，有人身安全的隐患。而采用巡线机器人搭载巡检设备进行巡线，有着传统人工巡线无法比拟的优势：无人驾驶，安全度高；巡线效率高，不受地理条件的限制。巡检机器人以高压输电线路为作业路径，通过各种传感器获取输电线路信息，完成巡检任务。
但是，由于现阶段巡线机器人巡线中，摄像头与机身的相对位置保持不变。当需要勘测另外一个角度的线路时，需要整体转向，让摄像头可以正对新目标，而这需要操纵者在场外换位思考，以第三视角的角度思考巡线机器人在空间中应做的姿态调整，无法满足巡线时便捷转换视角观察故障设备的需求。同时，所拍摄的图像只是平面图像，观察者没有立体感，难以判断故障发生的相对位置，影响巡线效果。
发明内容
针对现有技术的缺点与不足，本发明提供一种第一视角巡线机器人。以巡线机器人平台为基本载体，利用VR眼镜获取头转信息并由云台系统实现第一视角控制，通过双目摄像头拍摄具有景深信息的图像，实现巡线员通过以第一视角获取具有立体感的现场画面，在巡线时便捷地进行多角度全方位观察，更易找出线路故障，提高巡检效率和质量。
本发明采用如下技术方案来实现：一种第一视角巡线机器人，包括：巡线机器人平台、云台系统、双目摄像头和VR眼镜，云台系统搭载于巡线机器人平台上并接收VR眼镜发送的头转控制信息，双目摄像头搭载于云台系统上；
云台系统具有电机驱动的活动机构，用于控制搭载的双目摄像头俯仰、左右旋转，实现第一视角拍摄；VR眼镜获取佩戴操纵者头转控制信息并发送至云台系统，VR眼镜佩戴操纵者以头部上下、左右转动控制云台活动机构俯仰、左右旋转相应角度。
在优选的实施例中，云台系统活动机构包括：第一转轴、第一支撑杆、第二转轴、第二支撑杆、第三转轴和搭载平台；第一转轴连接在巡线机器人平台和第一支撑杆之间，第一转轴的旋转轴与巡线机器人平台垂直；第二转轴连接在第一支撑杆和第二支撑杆之间，第二转轴的旋转轴与巡线机器人平台平行；第三转轴连接在第二支撑杆和搭载平台之间，第三转轴的旋转轴与巡线机器人平台平行，并与第二转轴的旋转轴垂直；搭载平台搭载双目摄像头。
在优选的实施例中，VR眼镜佩戴操纵者头部左右转动时，第一支撑杆沿着第一转轴旋转相应的头部左右转动角度；VR眼镜佩戴操纵者头部上下转动时，第二支撑杆沿着第二转轴旋转相应的头部上下转动角度；在第一支撑杆或第二支撑杆转动的同时，搭载平台沿着第三转轴旋转微调，通过不断调整保持搭载平台始终保持水平位置，以实现第一视角拍摄。
本发明与现有技术相比，具有如下优点和有益效果：
(1)以巡线机器人平台为基本载体，利用VR眼镜获取头转信息，发送给位于巡线机器人平台上的云台系统，云台系统对双目摄像头的姿态进行操控从而实现以第一视角拍摄图像进行巡线，符合人一般的观察习惯，解决了传统电力巡线过程中改变视角观察操作繁琐，需要以第三视角思考巡线机器人在空间中如何变换姿态的问题；
(2)双目摄像头的使用可使拍摄的图像有立体感，巡线员可以分辨图像内物体的远近，巡线员能方便地进行各种角度的观察，更容易找出线路上的故障，大大提高巡检的效率。
附图说明
图1是本发明一个实施例中第一视角巡线机器人装置结构示意图；
图2是本发明一个实施例中云台系统活动机构结构示意图；
图3是平视双目立体成像原理图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
一种第一视角巡线机器人，如图1所示，包括：巡线机器人平台1、云台系统2、双目摄像头3和VR眼镜4。在本实施例中，巡线机器人平台可采用无人机。
云台系统固定在无人机上，并通过无人机供电，其活动机构由电机驱动，可以接收VR眼镜发送的头转控制信息，从而使活动机构做出相应的转动，实现拍摄视角为第一视角。
双目摄像头固定在云台系统的活动机构上，通过云台系统供电，并通过三角成像的原理拍摄具有景深信息的图像。
VR眼镜一方面接收双目摄像头拍摄的立体图像，另一方面内置三轴陀螺仪和加速度计的姿态算解，可以获取操作者头部上下、左右转动的信息，并将其发送至云台系统，使云台系统活动机构做出相应的俯仰、左右旋转。
本实施例中，云台系统活动机构结构如图2所示，包括：第一转轴5、第一支撑杆6、第二转轴7、第二支撑杆8、第三转轴9和搭载平台10。
其中，第一转轴5连接在巡线机器人平台1和第一支撑杆6之间，第一转轴的旋转轴与巡线机器人平台垂直；第二转轴7连接在第一支撑杆6和第二支撑杆8之间，第二转轴的旋转轴与巡线机器人平台平行；第三转轴9连接在第二支撑杆8和搭载平台10之间，第三转轴的旋转轴与巡线机器人平台平行，并与第二转轴7的旋转轴垂直；搭载平台10用于搭载双目摄像头3。
当VR眼镜佩戴操纵者头部左右转动时，小电机带动第一支撑杆沿着第一转轴旋转相应的头部左右转动角度；当VR眼镜佩戴操纵者头部上下转动时，小电机带动第二支撑杆沿着第二转轴旋转相应的头部上下转动角度；在第一支撑杆或第二支撑杆转动的同时，电机带动搭载平台沿着第三转轴旋转微调，通过不断调整保持搭载平台始终保持水平位置，以此做到始终以VR眼镜佩戴操纵者的第一视角拍摄。
本发明中实现立体视觉的过程为：使用左右摄像头位于同一平面的双目摄像头拍摄被观察物体的左右双幅图像，将所拍摄的双幅图像传输至VR眼镜，使观察者左眼观看左图像，右眼观看右图像，人的大脑巧妙地将两眼的图像融合，从而产生出有空间感的立体视觉效果。原因为：人之所以能够看到立体的景物，是因为双眼可以各自独立看东西，左右两眼有间距，造成两眼的视角有些细微的差别，而这样的差别让两眼分别看到的景物有一点点位移，左眼与右眼图像的差异称为视差，可以依靠这种原理使用双目摄像头拍照使人观察有立体感的图像。
平视双目立体成像原理如图3所示，11为左摄像机光轴、12为右摄像机光轴、13为左图像、14为右图像，基线距离B是两摄像机的投影中心连线的距离，左右相机焦距相同为f。两摄像机在同一时刻观看物体的同一特征点P，分别在左图像13和右图像14上获取了点P的图像，它们在左右图像上的坐标分别为Pleft＝(Xleft,Yleft)，Pright＝(Xright,Yright)。假定两摄像机的图像在同一平面上，则特征点P的图像坐标的Y坐标一定相同，即Yleft＝Yright＝Y。由三角几何关系可以得到关系式(1)：
则视差为：Disparity＝Xleft-Xright。由此，可以计算出特征点P在摄像机坐标系下的三维坐标，如式(2)：
因此，左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点，就完全可以确定该点的三维坐标。这种方法是点对点的运算，像平面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取对应的三维坐标。
综上所述，本发明实现了第一视角巡线机器人，解决了巡线时摄像头不能跟随操纵者头部转动、视角转换过程复杂的问题，实现第一视角巡线，并解决了拍摄图像没有立体感的问题，使操纵者更容易找出线路故障，提高巡检效率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种第一视角巡线机器人，其特征在于，包括：巡线机器人平台、云台系统、双目摄像头和VR眼镜，云台系统搭载于巡线机器人平台上并接收VR眼镜发送的头转控制信息，双目摄像头搭载于云台系统上；
云台系统具有电机驱动的活动机构，用于控制搭载的双目摄像头俯仰、左右旋转，实现第一视角拍摄；VR眼镜获取佩戴操纵者头转控制信息并发送至云台系统，VR眼镜佩戴操纵者以头部上下、左右转动控制云台活动机构俯仰、左右旋转相应角度。
2.根据权利要求1所述的第一视角巡线机器人，其特征在于，云台系统活动机构包括：第一转轴、第一支撑杆、第二转轴、第二支撑杆、第三转轴和搭载平台；第一转轴连接在巡线机器人平台和第一支撑杆之间，第一转轴的旋转轴与巡线机器人平台垂直；第二转轴连接在第一支撑杆和第二支撑杆之间，第二转轴的旋转轴与巡线机器人平台平行；第三转轴连接在第二支撑杆和搭载平台之间，第三转轴的旋转轴与巡线机器人平台平行，并与第二转轴的旋转轴垂直；搭载平台搭载双目摄像头。
3.根据权利要求2所述的第一视角巡线机器人，其特征在于，VR眼镜佩戴操纵者头部左右转动时，第一支撑杆沿着第一转轴旋转相应的头部左右转动角度；VR眼镜佩戴操纵者头部上下转动时，第二支撑杆沿着第二转轴旋转相应的头部上下转动角度；在第一支撑杆或第二支撑杆转动的同时，搭载平台沿着第三转轴旋转微调，通过不断调整保持搭载平台始终保持水平位置，以实现第一视角拍摄。
4.根据权利要求1所述的第一视角巡线机器人，其特征在于，云台系统接收双目摄像头拍摄的画面并将画面发送给VR眼镜。
5.根据权利要求1所述的第一视角巡线机器人，其特征在于，双目摄像头利用三角成像的原理，拍摄具有景深信息的图像。
6.根据权利要求1所述的第一视角巡线机器人，其特征在于，VR眼镜接收双目摄像头拍摄的立体图像。
CN201810986614.XA 2018-08-28 2018-08-28 一种第一视角巡线机器人 Pending CN109178329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810986614.XA CN109178329A (zh) 2018-08-28 2018-08-28 一种第一视角巡线机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810986614.XA CN109178329A (zh) 2018-08-28 2018-08-28 一种第一视角巡线机器人

Publications (1)

Publication Number Publication Date
CN109178329A true CN109178329A (zh) 2019-01-11

Family

ID=64916391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810986614.XA Pending CN109178329A (zh) 2018-08-28 2018-08-28 一种第一视角巡线机器人

Country Status (1)

Country Link
CN (1) CN109178329A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109573037A (zh) * 2019-01-24 2019-04-05 吉林大学 一种基于vr与多传感器的电力巡线无人机及巡线方法
CN112770028A (zh) * 2020-12-31 2021-05-07 中铝智能科技发展有限公司 一种基于ar和vr的远程巡检系统
CN113014904A (zh) * 2021-02-24 2021-06-22 苏州臻迪智能科技有限公司 一种无人机巡检图像处理的方法、装置、系统和存储介质
CN115436377A (zh) * 2021-06-04 2022-12-06 同方威视技术股份有限公司 机器人及其控制装置和方法、车辆底盘检测系统和方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043410A (zh) * 2010-09-30 2011-05-04 清华大学 操纵人员头部运动指示无人机云台伺服系统
CN203056691U (zh) * 2013-01-11 2013-07-10 上海电力学院 基于航模的输电线路覆冰检测系统
CN104390110A (zh) * 2014-11-04 2015-03-04 南京航空航天大学 三轴动态自稳云台及工作方法
CN204250379U (zh) * 2014-09-24 2015-04-08 深圳市大疆创新科技有限公司 云台及其使用的成像装置、以及无人机
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN105487547A (zh) * 2015-11-23 2016-04-13 杨珊珊 飞行控制系统、飞行控制器和飞行控制方法
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统
CN205692054U (zh) * 2016-06-22 2016-11-16 国网江西省电力公司南昌供电分公司 一种头部运动监测的无线巡线机
CN106709950A (zh) * 2016-11-28 2017-05-24 西安工程大学 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN206804793U (zh) * 2017-04-28 2017-12-26 国网宁夏电力公司培训中心 一种基于vr技术的输电线路巡视系统
CN107867407A (zh) * 2017-11-24 2018-04-03 杭州时光坐标影视传媒股份有限公司 一种自稳定的航拍全景拍摄云台

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043410A (zh) * 2010-09-30 2011-05-04 清华大学 操纵人员头部运动指示无人机云台伺服系统
CN203056691U (zh) * 2013-01-11 2013-07-10 上海电力学院 基于航模的输电线路覆冰检测系统
CN204250379U (zh) * 2014-09-24 2015-04-08 深圳市大疆创新科技有限公司 云台及其使用的成像装置、以及无人机
CN104390110A (zh) * 2014-11-04 2015-03-04 南京航空航天大学 三轴动态自稳云台及工作方法
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN105487547A (zh) * 2015-11-23 2016-04-13 杨珊珊 飞行控制系统、飞行控制器和飞行控制方法
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统
CN205692054U (zh) * 2016-06-22 2016-11-16 国网江西省电力公司南昌供电分公司 一种头部运动监测的无线巡线机
CN106709950A (zh) * 2016-11-28 2017-05-24 西安工程大学 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN206804793U (zh) * 2017-04-28 2017-12-26 国网宁夏电力公司培训中心 一种基于vr技术的输电线路巡视系统
CN107867407A (zh) * 2017-11-24 2018-04-03 杭州时光坐标影视传媒股份有限公司 一种自稳定的航拍全景拍摄云台

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109573037A (zh) * 2019-01-24 2019-04-05 吉林大学 一种基于vr与多传感器的电力巡线无人机及巡线方法
CN112770028A (zh) * 2020-12-31 2021-05-07 中铝智能科技发展有限公司 一种基于ar和vr的远程巡检系统
CN113014904A (zh) * 2021-02-24 2021-06-22 苏州臻迪智能科技有限公司 一种无人机巡检图像处理的方法、装置、系统和存储介质
CN115436377A (zh) * 2021-06-04 2022-12-06 同方威视技术股份有限公司 机器人及其控制装置和方法、车辆底盘检测系统和方法

Similar Documents

Publication Publication Date Title
CN109178329A (zh) 一种第一视角巡线机器人
CN105744163B (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
CN101424863B (zh) 立体摄像机及其视差自适应调节方法
CN106447705B (zh) 应用于室内场景虚拟现实直播的多目立体视觉系统及方法
CN107367265A (zh) 一种用于航空器的反射式单镜头转盘倾斜摄影装置
CN104506761B (zh) 一种360度全景立体摄像机
CN108093244B (zh) 一种远程随动立体视觉系统
CN107610185A (zh) 一种鱼眼相机快速标定装置及标定方法
CN107030693B (zh) 一种基于双目视觉的带电作业机器人目标跟踪方法
US20120056987A1 (en) 3d camera system and method
CN206563985U (zh) 三维成像系统
CN108363415A (zh) 一种应用于水下机器人的视觉远程控制随动系统及方法
CN207037750U (zh) 全场景扫描装置及三维扫描建模系统
CN105466397B (zh) 多尺度双轴旋转激光影像三维重构系统及其方法
WO2004039077A1 (fr) Systeme et procede de commande automatique de visualisation et de visee bionique
CN102665087A (zh) 3d立体摄像设备的拍摄参数自动调整系统
CN101581874B (zh) 基于多摄像机采集的远程沉浸协同工作装置
CN104079810A (zh) 一种三维全景扫描装置及三维模型生成方法
CN204031286U (zh) 一种三维全景扫描装置
CN110121066A (zh) 一种基于立体视觉的特种车辆辅助驾驶系统
CN101794068A (zh) 立体视频拍摄装置
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN110849269A (zh) 一种田间玉米棒几何尺寸测量系统及方法
CN110954541A (zh) 一种10kV及以下输电线路瓷瓶裂缝检测装置和方法
CN207976923U (zh) 一种基于系留浮空器的三维建模装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication