CN113115008A - 一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统及方法 - Google Patents

一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统及方法 Download PDF

Info

Publication number
CN113115008A
CN113115008A CN202110533956.8A CN202110533956A CN113115008A CN 113115008 A CN113115008 A CN 113115008A CN 202110533956 A CN202110533956 A CN 202110533956A CN 113115008 A CN113115008 A CN 113115008A
Authority
CN
China
Prior art keywords
module
robot
pipe gallery
inspection
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110533956.8A
Other languages
English (en)
Other versions
CN113115008B (zh
Inventor
陈志峰
刘莉
王国力
王刚
关保章
庞明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Xingyu Intelligent Technology Co ltd
Harbin University of Commerce
Original Assignee
Guangxi Xingyu Intelligent Technology Co ltd
Harbin University of Commerce
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Xingyu Intelligent Technology Co ltd, Harbin University of Commerce filed Critical Guangxi Xingyu Intelligent Technology Co ltd
Priority to CN202110533956.8A priority Critical patent/CN113115008B/zh
Publication of CN113115008A publication Critical patent/CN113115008A/zh
Application granted granted Critical
Publication of CN113115008B publication Critical patent/CN113115008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明是一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统、方法、设备及存储介质，巡检系统包括远端和近端；其中远端主要由机器人运动系统和视觉系统两部分组成；事先在管廊内设备及管道附近安装好巡检点标志物，通过视觉系统对管廊内部场景进行采集，然后通过5G技术传输至主控室，经过增强现实模块的处理，识别出管廊内的标志物，进而将巡检提示信息叠加至视频中通过头盔显示器显示出来，巡检人员坐在主控室完成巡检任务；头部姿态跟踪模块可收集巡检人员头部姿态数据，进而控制远端双目摄像头能够随巡检人员头部转动而相应转动；可穿戴交互操作装置还能发送指令控制远端轨道机器人的运动，由此便可巡检管廊内的任意位置。

Description

一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系 统及方法
技术领域
本发明是一种的管廊主从操作巡检系统及方法，尤其涉及基于快速跟踪注册增强现实技术的的管廊主从操作巡检系统、方法、设备及存储介质，属于地下综合管廊巡检技术领域。
背景技术
现代城市遍布着通讯、燃气、电力、供热、给排水等各种管线，这些大部分是独立的，难以集中管理。随着城市的发展，逐渐出现了地下综合管廊，它将多种管线集中到一起，这样有利于维护与管理。
近几年由于我国地下综合管廊高速发展，日常的巡检和维护难度大。目前大多由人工执行，巡检人员进入管廊中对运行设备进行感官的简单定性判断，由于管廊都非常长，巡检人员往往要走很长时间，这对体力的消耗特别大。另外，管廊内的环境相对恶劣，这很容易对长时间从事巡检的人员的身体健康产生不利影响。最重要的是，当巡检期间发生突发状况，巡检人员的安全不能得到保障。为此，人们提出了很多自动巡检方法来代替人工巡检。
从搭载工具上来看，目前很多巡检系统采用无人机或履带式机器人，在现有技术中例如：采用无人机巡检，但地下综合管廊内环境复杂且空间较为狭窄，因此对于无人机的控制则会非常困难，而且由于无人机的飞行过程不够平稳导致拍摄画面的质量不能得到保障，同时无人机无法满足长距离续航的要求。采用履带式巡检机器人来进行巡检，但地下综合管廊中的环境比较复杂，采用履带式机器人不能很好的应对积水问题及地面坡度与平整问题。
从利用增强现实来进行巡检的方式上考虑，在现有技术中，例如：利用增强现实来指导现场的人员进行巡检，当现场的巡检人员有不能解决的巡检问题时，通过后端专家设备让远端的专家可以具有像现场的工作人员一样的视觉体验，并给与现场工作人员最直接、最准确的结合现场实景的指导；这种巡检方法虽然能够很好的完成巡检工作，但是需要巡检人员到现场，如果巡检现场环境恶劣，那将不能保证巡检人员的安全。而且后端专家设备没有对现场传来的视频进行校正就叠加虚拟信息，则会使视频不符合人眼的观看习惯或不能有身临其境的感觉，很有可能导致指导错误。
因此亟需一种地下综合管廊巡检系统，能够让巡检人员坐在主控室中通过对管廊内的机器人进行控制，进而对地下综合管廊进行日常巡检，保证巡检质量和节省巡检人员体力，另外帮助新员工快速了解管廊内部情况。
发明内容
为了解决目前地下综合管廊巡检质量不足、浪费巡检人力以及新巡检人员快速学习的问题本发明提供了一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统及方法，本发明的技术方案如下：
方案一：一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统，该系统包括远端和近端；所述远端位于管廊内部，负责采集视图信息以及操控机器人运动，包括机器人运动子系统、视觉子系统和信号传输模块；
远端通过信号传输模块与近端建立双向信息传输；巡检人员通过所述近端设置的主控计算机接收来自远端的数据信息，下发命令以控制远端的机器人，实现管廊主从操作巡检系统。
进一步地，所述机器人运动子系统负责操作机器人执行指令，包括机器人通讯模块、机器人运动控制模块和位于轨道的机机器人本体；所述机器人通讯模块接收信号传输模块信息，下发指令至机器人运动控制模块进而控制机器人本体；
所述视觉子系统负责管廊内部场景的采集，包括视觉通讯模块云台控制模块双目摄像机、高速三轴云台及信号传输模块。
进一步地，所述的信号传输模块为基于Wi-Fi AP-Soc的WRTnode2R开源硬件开发板；负责接受来自视觉通讯模块的视图信息，使用5G通信协议传输至所述近端并接收来自近端的控制命令，所述控制命令包括机器人运动控制命令和云台控制命令，将所述机器人运动控制命令传给机器人通讯模块，将所述云台控制命令传给视觉通讯模块。
进一步地，所述近端包括主控计算机、视频处理软件模块、增强现实软件模块、头盔显示器、头部姿态跟踪模块和交互操作装置模块；
所诉主控计算机负责接收来自远端信号传输模块的视频并将其做相应的处理，接收来自头部姿态跟踪模块和交互操作装置模块的数据并将其转化为相应的控制命令，将其传输给所述信号传输模块；
所述视频处理模块将主控计算机接收来的视图信息进行校正和变换；
所述增强现实模块用于排查，同时显示管道数据及管廊结构图；
所述头盔显示器将视图信息转化后通过显示器显示；
所述头部姿态跟踪模块用于采集巡检人员头部姿态的数据并将其传输至主控计算机；
所述交互操作模块为可穿戴交互操作装置，控制轨道机器人的基本运动，接收控制命令并将其传递给主控计算机。
进一步地，所述视觉子系统包括双目摄像机、高速三轴云台、视觉通讯模块和云台控制模块；所述双目摄像机为左右镜头，间距符合巡检人员双眼瞳距，镜头间距为50mm到70mm；每个单目镜头视场角应符合人单眼舒适观察视角60度；所述双目摄像头设置有补光灯；
所述高速三轴云台用于搭载双目摄像头，并且能够根据实际需要快速转动相应的角度，从而使双目摄像头能够拍摄到管廊内任意位置的场景；
所述视觉通讯模块用于接收来自双目摄像头的视图信息，并将其传输给信号传输模块，同时接收来自信号传输模块的控制命令并发送至云台控制模块；
所述云台控制模块负责接收来自视觉通讯模块的控制命令并支配高速三轴云台转动；
所述机器人运动子系统包括轨道机器人机械本体、机器人通讯模块和机器人运动控制模块；其中，轨道机器人机械本体，将轨道固定在管廊顶部，轨道机器人沿轨道的路径运动；所述机器人机械本体用于搭载所述双目摄像机、高速三轴云台、云台控制模块、视觉通讯模块、机器人运动控制模块和机器人通讯模块；
所述机器人通讯模块主要负责接收来自信号传输模块的运动控制命令并传给机器人运动控制模块；
所述机器人运动控制模块主要负责接收来自机器人通讯模块的命令并支配轨道机器人产生相应的运动。
方案二：一种基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，是根据上述的系统为基础而实现的，通过获取视图信息、视图处理、控制双目摄像机转动、反馈视图信息至巡检人员使用的头盔显示器进行判断操作、捕捉巡检人员头部姿态以及下发指令控制双目摄像机运动，实现基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，具体步骤如下：
步骤一，利用远端的轨道机器人上携带的双目摄像机实时采集管廊内具有视差信息的图像，形成视频流，通过5G技术实时的将视频传输至近端的主控计算机中；
步骤二，通过视频处理模块将视频的左右视图进行几何校正、亮度校正和尺度变换；
步骤三，设定标志物，将步骤二处理后的视频信息采用基于计算机视觉的标志物跟踪技术以及结合计算机视觉库OpenCV和图形程序接口库OpenGL来完成三维注册；
步骤四，将步骤三处理后的视频通过头盔显示器显示反馈给巡检人员，根据虚拟的巡检提示信息和管廊结构数据完成巡检任务或对管廊的查看；
步骤五，头部姿态跟踪模块通过捕捉巡检人员观察方向的跟踪，将数据发送给主控计算机，所述主控计算机将头部姿态数据转化成高速三轴云台向对应的旋转角度并发送给远端的信号传输模块，再通过信号传输模块将信息发送给云台控制模块，实现双目摄像机的拍摄角度随佩戴者头部的旋转而变化；
步骤六，巡检人员控制手中的交互操作装置，从而产生相应的运动指令，通过主控计算机将指令发送至信号传输模块，再通过信号传输模块将其发送给轨道机器人运动控制模块，实现了巡检人员对机器人的运动控制，代替人工实现远程巡检。
进一步地，在所述步骤二中，所述视频处理模块处理视频数据的过程，具体包括：
几何校正：当两个摄像头拍摄的图像存在不对准情况，利用视频处理软件模块将垂直视差消除掉；
亮度校正：当两个摄像头拍摄的图像存在亮度差别，利用直方图匹配的方法将亮度进行校正；
尺度变换：当所述头盔显示器形成的与裸眼观看的场景存在尺寸收缩感，则利用视频处理软件模块进行尺度的变换。
进一步地，在步骤二或三中，所述视频信息处理过程细化为：
步骤三一，通过在管廊设置所述标志物并对其进行检测；
步骤三二，将所述标志物所在的候选区域与事先保存好的标志模板进行匹配；
步骤三三，摄像机位姿计算；
步骤三四，利用OpenGL绘制出带有巡检提示信息或管道数据的虚拟图形，然后将其叠加至当前帧中的标志物位置上。
进一步地，所述步骤三一中，所述标志物设置及检测过程，是将标志物设置在管廊中的管道上或待检测的设备旁；所述标志物是一块内部装有补光灯的多边形塑料薄板，图形是由黑色外边界和内部二进制矩阵组成的方形标记；因标志物发光与背景物体区分开；
主控计算机通过获取一帧视频并对其进行二值化处理，将标志物区域和背景区域分割开，缩小标志物的搜索范围；再进行角点检测和连通域分析找出标志物候选区域，用于与所述标志模板进行匹配。
进一步地，在步骤三三中，所述摄像机位姿计算过程，指通过对摄像机的标定，得到摄像机的内参数矩阵和畸变向量；根据摄像机内参数矩阵、摄像机的畸变向量、标志物的四个角点在真实空间内的坐标以及四个角点在图像平面上的像素坐标，通过OpenCV中自带函数solvePnP计算出相机坐标系和世界坐标系之间相对应的旋转矩R和平移矩。
本发明有益效果体现在：
整个系统优点在于(1)解决了人工进入管廊内部巡检的问题。(2)利用5G技术使得视频传输的延迟降低，另外实现了快速跟踪注册，使虚实融合的速度大大加快，保证了实时性。(3)解决了目前市面上通过平板显示器来显示管廊内部的二维场景，这样的显示不够直观，给巡检人员巡检带来了困难，而本设计中对视频进行处理后通过头盔显示器显示出来，使场景具有了立体感，如同身临其境的感觉，有利于巡检人员进行巡检工作。(4)通过采用增强现实的方法，在看视频的同时根据虚拟提示信息完成巡检，使巡检高效准确的完成。(5)本设计除了可以完成巡检工作，还对外来人员了解管廊以及新员工的培训有极大的帮助。
附图说明
图1为本发明的系统总体结构图；
图2为本发明的增强现实软件模块算法流程图；
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
具体实施方式
具体实施方式一：一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统包括远端(管廊内部)和近端(主控室)两大部分。远端主要由机器人运动系统和视觉系统两部分组成。机器人运动系统主要是根据控制命令来控制机器人沿轨道运动，其包括轨道机器人机械本体、机器人运动控制模块、机器人通讯模块。所述视觉系统主要是对管廊内部场景的采集。由双目摄像机、高速三轴云台、云台控制模块、视觉通讯模块组成。近端包括主控计算机、视频处理模块、头盔显示器、头部姿态跟踪模块、交互操作装置模块、增强现实模块六部分组成。远端与近端通过信号传输模块相联系。
机器人运动系统包括：
轨道机器人机械本体：本设计采用将轨道固定在管廊顶部，轨道机器人沿轨道的路径运动。所述机器人机械本体主要作用是携带双目摄像机、云台、云台控制模块、视觉通讯模块、机器人运动控制模块、机器人通讯模块等。
机器人通讯模块：所述机器人通讯模块主要负责接收来自信号传输模块的运动控制命令并传给机器人运动控制模块。
机器人运动控制模块：所述机器人运动控制模块主要负责接收来自机器人通讯模块的运动控制命令并支配轨道机器人产生相应的运动。
视觉系统包括：
双目摄像机：所述双目摄像机为左右镜头的间距应符合双眼瞳距，镜头间距约为50mm到70mm。每个单目镜头视场角应尽量符合人单眼舒适观察视角60度。由于要给巡检人员产生立体沉浸感，所以要利用双目摄像机实时拍摄管廊内部具有视差信息的图像。而且在摄像头位置处还安装了补光灯，当管廊内亮度较暗时，为达到较好的拍摄效果将开启补光灯。
高速三轴云台：所述高速三轴云台用于搭载双目摄像头，并且能够根据实际需要快速转动相应的角度，从而使双目摄像头能够拍摄到管廊内任意位置的场景。
视觉通讯模块：所述视觉通讯模块主要用于接收来自双目摄像头拍摄到的视频并将其传输给信号传输模块，同时能够接受来自信号传输模块的控制命令并将其传给云台控制模块。
云台控制模块：所述云台控制模块主要负责接收来自视觉通讯模块的控制命令并支配高速三轴云台转动相应的角度。
信号传输模块：所述信号传输模块是管廊内部和主控室沟通的桥梁。它负责接受来自视觉通讯模块的视频流，然后通过先进的5G技术将其实时的传给主控室。同时接受来自主控室的控制命令，并能够加以区分，将机器人运动控制命令传给机器人通讯模块，将云台控制命令传给视觉通讯模块。
近端(主控室)包括：
主控计算机：所诉主控计算机主要负责接收来自远端信号传输模块的视频并将其做相应的处理，接收来自头部姿态跟踪模块和交互操作装置模块的数据并将其转化为相应的控制命令，然后将其传输给远端的信号传输模块。
视频处理模块：所述视频处理模块主要将主控计算机接收来的视频进行几何校正(消除垂直视差)、亮度校正(消除左右视图的亮度差异)、尺度变换(使视频适应显示设备的尺寸)，使视频更具立体感及观看效果更佳。
增强现实模块：所述增强现实模块的使用可以使巡检人员根据眼前的景象提示可能存在问题的位置并且显示一些正确的巡检信息，帮助和引导巡检人员对该位置进行排查。同时也可以显示一些管道数据及管廊结构图像帮助新员工快速了解管廊的内部构造，有助于以后的巡检工作。
头盔显示器：所述头盔显示器是将经过校正和叠加了虚拟图形的视频通过头盔显示器显示出来，巡检人员可以从佩戴的头盔显示器中看到的视频来进行巡检。
头部姿态跟踪模块：所诉头部姿态跟踪模块用于采集巡检人员头部姿态的数据并将其传输至主控计算机。其主要目的在于能够使远端摄像机随着巡检人员头部的转动而转动。
交互操作装置模块：所述交互操作模块为一可穿戴交互操作装置，可以控制轨道机器人的基本运动。用于接受巡检人员的控制命令并将其传递给主控计算机。
具体实施方式二：除实施方式一描述的系统，针对巡检过程本实施例提出一种基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，该方法的具体过程如下：
该巡检之前，巡检人员坐在主控室内带上头盔显示器，穿上交互操作装置，所有设备上电，轨道机器人开机自检。头部姿态跟踪模块开始检测巡检人员的头部姿态数据，并将数据传给主控计算机形成控制命令，然后发送给远端信号传输模块，信号传输模块经过分析后将其发送给云台控制模块控制云台旋转相应的角度，从而双目摄像头也相应的旋转。
与此同时，轨道机器人上云台携带的双目摄像机实时采集管廊内具有视差信息的图像，形成视频流，通过5G技术实时的将视频传输至近端的主控计算机中。
此时主控计算机接收到的视频还不能直接呈现在显示器中，需要通过视频处理模块将视频的左右视图进行几何校正(消除垂直视差)、亮度校正(消除左右视图的亮度差异)和尺度变换(使其能够以适合的尺寸显示在显示器中)，经过这三个方面的处理，其优点在于能够保证在显示器中看到的物体或场景能够与裸眼观看时具有相似的大小和纵深。
视频处理模块具体包括：
1、几何校正：由于在生产安装过程中加工精度的不同，真实的双目摄像机理想的模型还存在差异，即左右摄像机对应的投影平面并不会完全共面，而且不能保证行对准，因此两个摄像头拍摄的图像会产生垂直视差，导致所成的像人脑难以融合，造成眩晕或重影的现象。故利用视频处理软件模块将垂直视差消除掉。
2、亮度校正：由于双目摄像机是从不同角度对同一场景进行拍摄，且左右摄像机的性能不能保证完全相同，从而导致左右摄像机拍摄到的图像存在亮度上的差异，而这种亮度差异对视频的融合影响较大，并且长期观看存在较大亮度差异的立体视频会造成视觉疲劳，影响使用者视力。故利用直方图匹配的方法将亮度进行校正。
3、尺度变换：由于通过头盔显示器所看到的场景与裸眼观看到的场景会有明显的尺度放缩感，使用者无法正确地判断场景的远近，物体的大小。故利用视频处理软件模块进行尺度的变换。
上述经过视频处理模块后的视频传入增强现实模块，此模块采用基于计算机视觉的标志物跟踪技术以及结合计算机视觉库OpenCV和图形程序接口库OpenGL来完成三维注册，实现了将真实场景中的图像与带有巡检信息和管廊结构数据的虚拟的图像进行融合。
增强现实软件模块算法流程如图2所示，具体包括：
1、标志物检测：事先在管廊中的管道上和需要检测的设备旁放置相应的标志物，所述标志物是一块内部装有补光灯的方形塑料薄板，图形是由黑色外边界和内部二进制矩阵组成的方形标记；此标志物可专门用于光线较暗的管廊内；由于此标志物可发光，因此可与其他背景物体明显区分开，这样可以为标志物的快速检测提供了方便。主控计算机通过获取一帧视频并对其进行二值化处理，目的是将可能的标志物区域和背景区域分割开，缩小标志物的搜索范围，减少后续工作的计算量。再进行角点检测和连通域分析找出可能的标志物候选区域，以便下一步与模式文件进行匹配。
2、模板匹配：将标志候选区域与事先保存好的标志模板进行匹配，当某一候选区域与标志模板匹配的相关系数达到一定高度的时候，即完成了匹配，识别出了标志物。
3、摄像机位姿计算：通过对摄像机的标定，得到摄像机的内参数矩阵和畸变向量。根据摄像机内参数矩阵、摄像机的畸变向量、标志物的四个角点在真实空间内的坐标以及四个角点在图像平面上的像素坐标通过OpenCV中自带函数solvePnP计算出相机坐标系和世界坐标系之间相对应的旋转矩阵R和平移矩
阵T，即摄像机的外参数矩阵M，如(1)式所示。
Figure BDA0003068989460000081
像素平面坐标系与图像坐标系之间的关系如(2)所示：
Figure BDA0003068989460000082
图像坐标系与相机坐标系之间的关系如(3)所示：
Figure BDA0003068989460000091
相机坐标系与世界坐标系之间的关系如(4)所示：
Figure BDA0003068989460000092
上述公式中像素平面坐标为(u,v)，图像坐标为(x,y)，相机坐标为(Xc,Yc,Zc)，世界坐标为(X,Y,Z)。由以上坐标系之间的关系我们可以推出图像像素坐标系与世界坐标系之间的关系如下(5)所示：
Figure BDA0003068989460000093
而实际相机图像平面上实际所成的像与理想成像之间会存在畸变，因此为了消除畸变，引入畸变模型：
Figure BDA0003068989460000094
Figure BDA0003068989460000095
Figure BDA0003068989460000096
其中r2＝(x′)2+(y′)2，(cx，cy)为光心位置，k1，k2，k3，p1，p2分别为径向畸变参数和切向畸变参数，(x′,y′)为相机坐标归一化后的坐标，(x″,y″)为加入畸变参数后的归一化坐标。(u,v)为畸变模型校正后的像素坐标。
经过上述矩阵的转换，我们只需输入摄像机内参数矩阵、摄像机的畸变向量、标志物的四个角点在真实空间内的坐标以及四个角点在图像平面上的像素坐标，便可通过solvePnP函数计算出矩阵M，即外参数矩阵，完成摄像机的位姿计算。
4、虚实融合：利用OpenGL绘制出带有巡检提示信息或管道数据的虚拟图形，然后将其叠加至当前帧中的标志物位置上；
将上述处理后的视频通过头盔显示器显示出来，让佩戴者产生身临其境的感觉，而且能够根据虚拟的巡检提示信息和管廊结构数据完成巡检任务或对管廊的游览；
当对此处巡检完毕后，巡检人员可以通过控制交互操作装置，从而产生相应的运动指令，通过主控计算机将指令发送至信号传输模块，再通过信号传输模块将其发送给轨道机器人运动控制模块，控制轨道机器人的前进与后退，这样就可以对下一处进行巡检。由此代替人工实现远程巡检，具体巡检步骤如下
步骤s1，利用远端的轨道机器人上携带的双目摄像机实时采集管廊内具有视差信息的图像，形成视频流，通过5G技术实时的将视频传输至近端的主控计算机中。
步骤s2，此时主控计算机接收到的视频还不能直接呈现在显示器中，需要通过视频处理模块将视频的左右视图进行几何校正(消除垂直视差)、亮度校正(消除左右视图的亮度差异)和尺度变换(使其能够以适合的尺寸显示在显示器中)，经过这三个方面的处理，其优点在于能够保证在显示器中看到的物体或场景能够与裸眼观看时具有相似的大小和纵深。
步骤s3，将步骤s2处理好的视频采用基于计算机视觉的标志物跟踪技术以及结合计算机视觉库OpenCV和图形程序接口库OpenGL来完成三维注册，实现了将真实场景中的图像与带有巡检信息和管廊结构数据的虚拟的图像进行融合。
步骤s4，将步骤s3处理后的视频通过头盔显示器显示出来，让佩戴者产生身临其境的感觉，而且能够根据虚拟的巡检提示信息和管廊结构数据完成巡检任务或对管廊的游览。
步骤s5，当巡检人员转动头部时，头部姿态跟踪模块通过对巡检人员观察方向(即人脸的朝向)的跟踪将数据发送给主控计算机，计算机将头部姿态数据转化成高速三轴云台向对应的旋转角度并发送给远端的信号传输模块，再通过信号传输模块将信息发送给云台控制模块，实现双目摄像机的拍摄角度随佩戴者头部的旋转而变化。
步骤s6，另外巡检人员可以控制手中的交互操作装置，从而产生相应的运动指令，通过主控计算机将指令发送至信号传输模块，再通过信号传输模块将其发送给轨道机器人运动控制模块，这样就实现了操作者对机器人的运动控制。由此本系统就可以代替人工实现远程巡检。
具体实施方式三：本领域内的技术人员通过上述实施例提及的系统、方法及巡检过程，本实施例可提供为方法、系统、或计算机程序产品及设备。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，模块之间也可根据计算机逻辑结构进行重新组织。而且，本实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
根据本实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统，其特征在于：该系统包括远端和近端；所述远端位于管廊内部，负责采集视图信息以及操控机器人运动，包括机器人运动子系统、视觉子系统和信号传输模块；
远端通过信号传输模块与近端建立双向信息传输；巡检人员通过所述近端设置的主控计算机接收来自远端的数据信息，下发命令以控制远端的机器人，实现管廊主从操作巡检系统。
2.根据权利要求1所述的一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统，其特征在于：所述机器人运动子系统负责操作机器人执行指令，包括机器人通讯模块、机器人运动控制模块和位于轨道的机机器人本体；所述机器人通讯模块接收信号传输模块信息，下发指令至机器人运动控制模块进而控制机器人本体；
所述视觉子系统负责管廊内部场景的采集，包括视觉通讯模块云台控制模块双目摄像机、高速三轴云台及信号传输模块。
3.根据权利要求2所述的一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统，其特征在于：所述的信号传输模块为基于Wi-Fi AP-Soc的WRTnode2R开源硬件开发板；负责接受来自视觉通讯模块的视图信息，使用5G通信协议传输至所述近端并接收来自近端的控制命令，所述控制命令包括机器人运动控制命令和云台控制命令，将所述机器人运动控制命令传给机器人通讯模块，将所述云台控制命令传给视觉通讯模块。
4.根据权利要求1所述的一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统，其特征在于：所述近端包括主控计算机、视频处理软件模块、增强现实软件模块、头盔显示器、头部姿态跟踪模块和交互操作装置模块；
所诉主控计算机负责接收来自远端信号传输模块的视频并将其做相应的处理，接收来自头部姿态跟踪模块和交互操作装置模块的数据并将其转化为相应的控制命令，将其传输给所述信号传输模块；
所述视频处理模块将主控计算机接收来的视图信息进行校正和变换；
所述增强现实模块用于排查，同时显示管道数据及管廊结构图；
所述头盔显示器将视图信息转化后通过显示器显示；
所述头部姿态跟踪模块用于采集巡检人员头部姿态的数据并将其传输至主控计算机；
所述交互操作模块为可穿戴交互操作装置，控制轨道机器人的基本运动，接收控制命令并将其传递给主控计算机。
5.根据权利要求1所述的一种基于快速跟踪注册增强现实技术的管廊主从操作巡检系统，其特征在于：
所述视觉子系统包括双目摄像机、高速三轴云台、视觉通讯模块和云台控制模块；
所述双目摄像机为左右镜头，间距符合巡检人员双眼瞳距，镜头间距为50mm到70mm；每个单目镜头视场角应符合人单眼舒适观察视角60度；所述双目摄像头设置有补光灯；
所述高速三轴云台用于搭载双目摄像头，并且能够根据实际需要快速转动相应的角度，从而使双目摄像头能够拍摄到管廊内任意位置的场景；
所述视觉通讯模块用于接收来自双目摄像头的视图信息，并将其传输给信号传输模块，同时接收来自信号传输模块的控制命令并发送至云台控制模块；
所述云台控制模块负责接收来自视觉通讯模块的控制命令并支配高速三轴云台转动；
所述机器人运动子系统包括轨道机器人机械本体、机器人通讯模块和机器人运动控制模块；其中，轨道机器人机械本体，将轨道固定在管廊顶部，轨道机器人沿轨道的路径运动；所述机器人机械本体用于搭载所述双目摄像机、高速三轴云台、云台控制模块、视觉通讯模块、机器人运动控制模块和机器人通讯模块；
所述机器人通讯模块主要负责接收来自信号传输模块的运动控制命令并传给机器人运动控制模块；
所述机器人运动控制模块主要负责接收来自机器人通讯模块的命令并支配轨道机器人产生相应的运动。
6.一种基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，是根据权利要求1-5中任一一项所述的系统为基础而实现的，其特征在于：通过获取视图信息、视图处理、控制双目摄像机转动、反馈视图信息至巡检人员使用的头盔显示器进行判断操作、捕捉巡检人员头部姿态以及下发指令控制双目摄像机运动，实现基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，具体步骤如下：
步骤一，利用远端的轨道机器人上携带的双目摄像机实时采集管廊内具有视差信息的图像，形成视频流，通过5G技术实时的将视频传输至近端的主控计算机中；
步骤二，通过视频处理模块将视频的左右视图进行几何校正、亮度校正和尺度变换；
步骤三，设定标志物，将步骤二处理后的视频信息采用基于计算机视觉的标志物跟踪技术以及结合计算机视觉库OpenCV和图形程序接口库OpenGL来完成三维注册；
步骤四，将步骤三处理后的视频通过头盔显示器显示反馈给巡检人员，根据虚拟的巡检提示信息和管廊结构数据完成巡检任务或对管廊的查看；
步骤五，头部姿态跟踪模块通过捕捉巡检人员观察方向的跟踪，将数据发送给主控计算机，所述主控计算机将头部姿态数据转化成高速三轴云台向对应的旋转角度并发送给远端的信号传输模块，再通过信号传输模块将信息发送给云台控制模块，实现双目摄像机的拍摄角度随佩戴者头部的旋转而变化；
步骤六，巡检人员控制手中的交互操作装置，从而产生相应的运动指令，通过主控计算机将指令发送至信号传输模块，再通过信号传输模块将其发送给轨道机器人运动控制模块，实现了巡检人员对机器人的运动控制，代替人工实现远程巡检。
7.根据权利要求6所述的一种基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，其特征在于：在所述步骤二中，所述视频处理模块处理视频数据的过程，具体包括：
几何校正：当两个摄像头拍摄的图像存在不对准情况，利用视频处理软件模块将垂直视差消除掉；
亮度校正：当两个摄像头拍摄的图像存在亮度差别，利用直方图匹配的方法将亮度进行校正；
尺度变换：当所述头盔显示器形成的与裸眼观看的场景存在尺寸收缩感，则利用视频处理软件模块进行尺度的变换。
8.根据权利要求7所述的一种基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，其特征在于：在步骤二或三中，所述视频信息处理过程细化为：
步骤三一，通过在管廊设置所述标志物并对其进行检测；
步骤三二，将所述标志物所在的候选区域与事先保存好的标志模板进行匹配；
步骤三三，摄像机位姿计算；
步骤三四，利用OpenGL绘制出带有巡检提示信息或管道数据的虚拟图形，然后将其叠加至当前帧中的标志物位置上。
9.根据权利要求8所述的一种基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，其特征在于：所述步骤三一中，所述标志物设置及检测过程，是将标志物设置在管廊中的管道上或待检测的设备旁；所述标志物是一块内部装有补光灯的多边形塑料薄板，图形是由黑色外边界和内部二进制矩阵组成的方形标记；因标志物发光与背景物体区分开；
主控计算机通过获取一帧视频并对其进行二值化处理，将标志物区域和背景区域分割开，缩小标志物的搜索范围；再进行角点检测和连通域分析找出标志物候选区域，用于与所述标志模板进行匹配。
10.根据权利要求8所述的一种基于快速跟踪注册增强现实技术的管廊主从操作巡检方法，其特征在于：在步骤三三中，所述摄像机位姿计算过程，指通过对摄像机的标定，得到摄像机的内参数矩阵和畸变向量；根据摄像机内参数矩阵、摄像机的畸变向量、标志物的四个角点在真实空间内的坐标以及四个角点在图像平面上的像素坐标，通过OpenCV中自带函数solvePnP计算出相机坐标系和世界坐标系之间相对应的旋转矩R和平移矩。
CN202110533956.8A 2021-05-17 2021-05-17 一种管廊主从操作巡检系统及方法 Active CN113115008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110533956.8A CN113115008B (zh) 2021-05-17 2021-05-17 一种管廊主从操作巡检系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110533956.8A CN113115008B (zh) 2021-05-17 2021-05-17 一种管廊主从操作巡检系统及方法

Publications (2)

Publication Number Publication Date
CN113115008A true CN113115008A (zh) 2021-07-13
CN113115008B CN113115008B (zh) 2023-05-19

Family

ID=76722317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533956.8A Active CN113115008B (zh) 2021-05-17 2021-05-17 一种管廊主从操作巡检系统及方法

Country Status (1)

Country Link
CN (1) CN113115008B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509048A (zh) * 2022-01-20 2022-05-17 中科视捷(南京)科技有限公司 基于单目相机的架空输电线路空间三维信息获取方法及系统
CN114999020A (zh) * 2022-06-15 2022-09-02 创新奇智(浙江)科技有限公司 一种风力发电机巡检系统及方法
CN116012728A (zh) * 2023-02-07 2023-04-25 北京交通大学 应用于无人机巡检的轨道线路识别跟踪方法及系统
CN116372954A (zh) * 2023-05-26 2023-07-04 苏州融萃特种机器人有限公司 Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质
CN117395374A (zh) * 2023-10-25 2024-01-12 雄安雄创数字技术有限公司 一种管廊巡检方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222333A (zh) * 2011-05-20 2011-10-19 同济大学 一种基于混合注册的地下工程移动增强现实方法及其装置
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN205726125U (zh) * 2016-03-30 2016-11-23 重庆邮电大学 一种新型机器人远程监视系统
CN108093244A (zh) * 2017-12-01 2018-05-29 电子科技大学 一种远程随动立体视觉系统
CN112333355A (zh) * 2020-09-09 2021-02-05 北京潞电电气设备有限公司 一种隧道巡检系统
CN112405530A (zh) * 2020-11-06 2021-02-26 齐鲁工业大学 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222333A (zh) * 2011-05-20 2011-10-19 同济大学 一种基于混合注册的地下工程移动增强现实方法及其装置
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN205726125U (zh) * 2016-03-30 2016-11-23 重庆邮电大学 一种新型机器人远程监视系统
CN108093244A (zh) * 2017-12-01 2018-05-29 电子科技大学 一种远程随动立体视觉系统
CN112333355A (zh) * 2020-09-09 2021-02-05 北京潞电电气设备有限公司 一种隧道巡检系统
CN112405530A (zh) * 2020-11-06 2021-02-26 齐鲁工业大学 基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509048A (zh) * 2022-01-20 2022-05-17 中科视捷(南京)科技有限公司 基于单目相机的架空输电线路空间三维信息获取方法及系统
CN114509048B (zh) * 2022-01-20 2023-11-07 中科视捷(南京)科技有限公司 基于单目相机的架空输电线路空间三维信息获取方法及系统
CN114999020A (zh) * 2022-06-15 2022-09-02 创新奇智(浙江)科技有限公司 一种风力发电机巡检系统及方法
CN116012728A (zh) * 2023-02-07 2023-04-25 北京交通大学 应用于无人机巡检的轨道线路识别跟踪方法及系统
CN116372954A (zh) * 2023-05-26 2023-07-04 苏州融萃特种机器人有限公司 Ar沉浸式遥操作排爆机器人系统、控制方法和存储介质
CN117395374A (zh) * 2023-10-25 2024-01-12 雄安雄创数字技术有限公司 一种管廊巡检方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113115008B (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN113115008B (zh) 一种管廊主从操作巡检系统及方法
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN105320271A (zh) 利用直接几何建模的头戴式显示器校准
CN107741175B (zh) 一种人工智能精确瞄准方法
CN110458897A (zh) 多摄像头自动标定方法及系统、监控方法及系统
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN111028155A (zh) 一种基于多对双目相机的视差图像拼接方法
CN109785377B (zh) 弓网状态的检测方法
CN116911823A (zh) 一种基于ar眼镜的变电站的巡检交互方法、系统
CN112949478A (zh) 基于云台相机的目标检测方法
US10893190B2 (en) Tracking image collection for digital capture of environments, and associated systems and methods
US11605223B2 (en) Methods and apparatuses for corner detection
CN113177918B (zh) 一种无人机对电力杆塔的智能精准巡检方法及系统
CN108205314A (zh) 基于立体视觉匹配的机器人导航装置及系统
CN107230224A (zh) 三维虚拟服装模型制作方法及装置
CN113031462A (zh) 无人机用港机巡检航线规划系统及方法
CN104463956B (zh) 一种月表虚拟场景构建方法及装置
CN110849269A (zh) 一种田间玉米棒几何尺寸测量系统及方法
CN104786227B (zh) 基于高压带电作业机器人的跌落开关更换控制系统及方法
CN106991699B (zh) 控制方法及电子设备
CN111417916B (zh) 多层查看系统和方法
CN105043351A (zh) 一种基于生物机器人的微型无线主动式全景视觉传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant