CN112907756B - 一种抢险ar后端辅助操作系统及辅助操作方法 - Google Patents

一种抢险ar后端辅助操作系统及辅助操作方法 Download PDF

Info

Publication number
CN112907756B
CN112907756B CN202110261463.3A CN202110261463A CN112907756B CN 112907756 B CN112907756 B CN 112907756B CN 202110261463 A CN202110261463 A CN 202110261463A CN 112907756 B CN112907756 B CN 112907756B
Authority
CN
China
Prior art keywords
glasses
data
operation center
video
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110261463.3A
Other languages
English (en)
Other versions
CN112907756A (zh
Inventor
罗园
罗卫华
卿玉
熊祖根
王留洋
谢意湘
李玉飞
胡旭光
胡光辉
刘贵义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Petroleum Corp
CNPC Chuanqing Drilling Engineering Co Ltd
Original Assignee
China National Petroleum Corp
CNPC Chuanqing Drilling Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Petroleum Corp, CNPC Chuanqing Drilling Engineering Co Ltd filed Critical China National Petroleum Corp
Priority to CN202110261463.3A priority Critical patent/CN112907756B/zh
Publication of CN112907756A publication Critical patent/CN112907756A/zh
Application granted granted Critical
Publication of CN112907756B publication Critical patent/CN112907756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种抢险AR后端辅助操作系统。涉及油气井井喷失控抢险技术领域,本系统主要由画面采集系统、无线数据传输系统、画面重现系统和控制系统组成,包括前端的双目相机和舵机云台、流媒体实时传输框架、VR眼镜、协同控制中心。前端采用无线连接方案,无线缆约束;通过5.8G无线网络连接,提供1000Mbps带宽,满足8K高清视频传输需求;无线中继与运算中心通过千兆网线连接,高速稳定,视频数据在运算中心处理后传送至控制室VR眼镜;协同控制中心可实现后端抢险工作组同步查看实时画面,并可在画面中实时标注,同步至驾驶员视角;驾驶员操作控制数据在编码后传至前端,实现远程控制。

Description

一种抢险AR后端辅助操作系统及辅助操作方法
技术领域
本发明涉及油气井井喷失控抢险技术领域,具体涉及一种油气井井喷失控井口抢险作业的辅助操作系统及辅助操作方法。
背景技术
油气井井喷失控抢险时,由于近井口存在高温、火焰和高压喷射等诸多危险因素,人员在区域内开展切割清障和井口重置等作业具有极高的风险,采用远程操控是消除人员安全风险的根本途径。可视化系统平面图像和现实三维图像基本解决了抢险作业中的切割视觉问题,可提供较为清晰的平面图像,避免了观察人员到近井口作业。但是抢险作业过程中的清障、井口重置等复杂工况需要抢险机械进行精细化操作。可视化系统平面图像和现实三维图像存在视觉误差,不利于在后端进行抢险机械的远程操控。因此,为了进一步降低抢险人员作业风险,减少平面图像和现实三维图像存在的视觉误差,提高抢险救援效率,需开展近井口抢险作业增强现实辅助操作技术研究,因此,开发一种抢险AR后端辅助操作系统,来协助抢险人员安全高效开展油气井井喷失控抢险作业就显得尤为迫切。
公开号为CN110796737A,公开日为2020年2月14日的中国专利文献公开了一种基于AR的压裂作业区域信息显示系统,包括:AR设备,包括图像采集单元、定位单元和显示单元,被配置为人员可持有的信息采集及图像呈现的装置;AR信息处理终端,被配置为接收指挥控制中心的设备运行数据和AR设备采集的信息;指挥控制中心,被配置为采集并存储压裂作业时的多组运行数据。该发明能够在石油天然气开采,尤其是页岩气压裂作业现场使用,能够协助维护人员,快速查询设备状态信息,提供给维护人员设备保养,操作的指导信息。这样能提高设备维护效率,能够降低对维护人员的能力要求,同时还能减少设备维护作业风险。
但是,以上述专利文献为代表的现有技术,其存在以下技术缺陷:一方面,不适用于油气井井喷抢险,改现有技术专利文献仅能通过AR设备辅助维护人员快速查询设备状态信息,提供给维护人员设备保养,操作的指导信息,但不能通过AR来远程操作设备进行油气井井喷抢险作业;另一方面,AR技术的运用过程中,画面传输延时较高,现场设备操作滞后导致在遇到清障、井口重置等复杂工况需要抢险机械进行精细化操作时,可视化系统平面图像和现实三维图像存在视觉误差,不利于在后端进行抢险机械的远程操控。
发明内容
本发明旨在针对上述现有技术所存在的缺陷和不足,提供一种特别适用于油气井井喷抢险的AR后端辅助操作系统,本系统能通过AR来远程操作设备进行油气井井喷抢险作业;同时,能减少平面图像和现实三维图像在井口抢险作业时存在的视觉误差,实现远程操控抢险机械精细化操作,提高抢险救援效率,降低抢险人员作业风险。
同时,本发明还提供了抢险AR后端辅助操作方法。
本发明是通过采用下述技术方案实现的:
一种抢险AR后端辅助操作系统,其特征在于:包括前端驾驶室,运算中心和后端驾驶舱;所述前端驾驶室包括双目相机、舵机云台、稳定云台控制单元、视频编码单元、天线和机械臂控制单元;所述后端驾驶舱包括VR眼镜和控制数据采集单元;所述双目相机安装于舵机云台上,舵机云台的转动角度经稳定云台控制单元控制;双目相机采集的视频数据经视频编码单元编码后通过天线传输至运算中心;视频数据经所述运算中心进行解码处理并转化为VR画面传送至驾驶室VR眼镜;VR眼镜通过双目相机获得的坐标、角度信息实时传送至运算中心;所述双目相机的视野大于VR眼镜的视野20°至40°,且在VR眼镜视野中保留冗余10°至20°, VR眼镜视野中两侧冗余度数相等;运算中心根据两侧冗余画面进行实时补足,且运算中心将坐标、角度数据传至所述稳定云台控制单元;舵机云台根据角度数据转向VR眼镜对应方向,舵机云台获取振动位移数据,并实时控制舵机云台转动进行补偿,保持画面稳定;控制数据采集单元采用CAN采集卡获取驾驶室控制参数,发送至运算中心,运算中心对控制参数进行处理后转发至机械臂控制单元,实现对抢险机械的操作。
进一步的,所述双目相机视野160°,VR眼镜视野120°,VR眼镜视野中两侧冗余度数各为20°。则佩戴VR眼镜的驾驶员左右转动20°范围内,可以通过视频画面冗余,实现感官上无延时,辅助驾驶员进行现场环境状态判断。
进一步的,还包括有无线中继,所述双目相机采集的视频数据经视频编码单元编码后通过天线,再通过无线中继传输至运算中心。
进一步的,还包括储存接口和输出接口,所述视频数据经所述运算中心进行解码处理并转化为VR画面传送至驾驶室VR眼镜,并分发至储存接口和输出接口。
进一步的,所述储存接口连接视频录制设备,所述输出接口通过视频线连接至指挥至中心屏幕,查看实时画面。
进一步的,还包括协同控制中心,所述协同控制中心实现后端抢险工作组同步查看实时画面,并在画面中实时标注,同步至驾驶员的VR眼镜视野。
进一步的,运算中心对控制参数进行加密处理后转发至机械臂控制单元,实现对抢险机械的操作。
进一步的,在前端驾驶室安装压力、温度和气体传感器,回传前方环境数据,并在驾驶员视野中通过虚拟仪表盘显示,辅助抢险判断。
进一步的,辅助操作系统中的视频数据选择udp模式传输。具有更低延时,图像传输延迟≤100ms,回传前方环境传感器测得的温度、气体等环境数据。
一种抢险AR后端辅助操作方法,其特征在于:包括以下步骤:
a、采集画面,采集环境数据,回传至数据中心:在驾驶室中安装双目相机,采集高清画面,通过硬件编码单元编码成H265视频;同时,在前端驾驶室加装有毒有害气体传感器,获取现场环境参数;通过路由设备将画面视频和环境数据转化为无线信号,通过天线传至运算中心,由运算中心进行视频与数据的处理与分发;
b、运算中心对视频流进行解码,并转化为VR画面传送至驾驶室VR眼镜,实现现场画面重现;运算中心通过硬件解码器对收到的视频数据进行解码,得到视频画面,并将视频画面投射进VR眼镜视野;运算中心基于收到的环境数据生成虚拟仪表盘,并将虚拟仪表盘叠加至VR眼镜视野,并通过VR眼镜呈现现场画面与虚拟仪表盘;
c、驾驶员转动头部,前端双目相机跟随转动,驾驶员任意查看现场各方向画面;同时VR眼镜将坐标、角度信息实时传送至运算中心;双目相机画面视野大于驾驶员视野,在驾驶员转动头部时,运算中心首先根据两侧冗余画面进行实时补足;同时,运算中心将坐标、角度数据传至前端稳定云台控制单元,舵机云台根据角度数据转动,转向VR眼镜对应方向;舵机云台控制板通过陀螺仪获取振动位移数据,并实时控制舵机云台转动进行补偿,保持画面稳定;
d、驾驶员操作控制杆,将控制信息传至前端,实现对现场机械控制:驾驶员在后端驾驶室操作控制,控制数据采集单元用CAN采集卡获取操纵杆等控制参数,发送至运算中心处理,运算中心对控制数据进行加密后转发至机械臂控制单元,实现对抢险机械的操作。
进一步的,所述步骤更具体的是:
a、采集画面,采集环境数据,回传至数据中心:在驾驶室中安装双目相机,采集高清画面,通过硬件编码单元编码成H265视频;同时,在前端驾驶室加装有毒有害气体传感器,获取现场环境参数;通过路由设备将画面视频和环境数据转化为无线信号,通过5.8G无线网络天线传至无线中继,无线中继通过信号变换设备将无线网络转化为电信号,通过千兆网络主线传至运算中心,由运算中心进行视频与数据的处理与分发;
b、运算中心对视频流进行解码,并转化为VR画面传送至驾驶室VR眼镜,实现现场画面重现;运算中心通过硬件解码器对收到的视频数据进行解码,得到视频画面;运算中心对视频画面的饱和度、亮度、对比度进行增强处理,通过去烟雾算法处理后,获得更均衡化的画面,同时结合真实应用场景进行优化,对尘、水、杂物进行处理,然后将视频画面投射进VR眼镜视野;运算中心基于收到的环境数据生成虚拟仪表盘,并将虚拟仪表盘叠加至VR眼镜视野,并通过VR眼镜呈现现场画面与虚拟仪表盘;同时,运算中心将画面分发至储存接口和输出接口;储存接口用于录制视频,输出接口通过视频线连接至指挥至中心屏幕,查看实时画面;协同控制中心在画面中进行标记,标记信息实时同步至驾驶员的VR眼镜视野;
c、驾驶员转动头部,前端双目相机跟随转动,驾驶员任意查看现场各方向画面;驾驶员获得沉浸式真实体验,同时VR眼镜将坐标、角度信息实时传送至运算中心;双目相机画面视野大于驾驶员视野,在驾驶员转动头部时,运算中心首先根据两侧冗余画面进行实时补足;同时,运算中心将坐标、角度数据传至前端稳定云台控制单元,舵机云台根据角度数据转动,转向VR眼镜对应方向;舵机云台控制板通过陀螺仪获取振动位移数据,并实时控制舵机云台转动进行补偿,保持画面稳定;
d、驾驶员操作控制杆,将控制信息传至前端,实现对现场机械控制:驾驶员在后端驾驶室操作控制,控制数据采集单元用CAN采集卡获取操纵杆等控制参数,发送至运算中心处理,运算中心对控制数据进行加密后转发至机械臂控制单元,实现对抢险机械的操作。
与现有技术相比,本发明所达到的有益效果如下:
第一,采用前端驾驶室,运算中心和后端驾驶舱形成的抢险AR后端辅助操作系统,特别适用于油气井井喷抢险的AR后端辅助操作系统,本系统能通过AR来远程操作设备进行油气井井喷抢险作业,减少平面图像和现实三维图像存在的视觉误差,提高抢险救援效率,在后端进行抢险机械的远程操控,进一步降低抢险人员作业风险。
第二,本系统中,双目相机的视野大于VR眼镜的视野20°至40°,且在VR眼镜视野中保留冗余10°至20°, VR眼镜视野中两侧冗余度数相等,这样运算中心根据两侧冗余画面进行实时补足,且运算中心将坐标、角度数据传至所述稳定云台控制单元;舵机云台根据角度数据转向VR眼镜对应方向,舵机云台获取振动位移数据,并实时控制舵机云台转动进行补偿,保持画面稳定。这样的技术方案可以通过视频画面冗余,实现感官上无延时,辅助驾驶员进行现场环境状态判断。
第三,所述双目相机获取广角画面,在VR眼镜视野中保留冗余,在驾驶员转动头部时,实时通过两侧冗余画面补足视野,同时再控制舵机云台转动,返回新角度画面,既解决了全景相机像素浪费、传输延时高的问题,又优化了云台相机转动延时的问题;所述舵机云台通过陀螺仪等传感器,获取振动位移数据,并实时控制云台转动进行补偿,消除工程环境下机械操作过程中产生大量的画面抖动,实现物理防抖,从细节处明显提高实际应用效果。
第四,本系统的稳定云台控制单元,通过陀螺仪等传感器,获取振动位移数据,并实时控制云台转动进行补偿,实现了物理防抖,从细节处明显提高实际应用效果。
第五,本系统的视频传输选择udp模式传输,具有更低延时,图像传输延迟≤100ms。
第六,本系统在前端安装多温度、气体等种环境传感器,回传前方环境数据,并在驾驶员视野中通过虚拟仪表盘显示,辅助抢险判断。
第七,本方法运算中心对视频画面的饱和度、亮度、对比度进行增强处理,通过去烟雾算法处理后,能够获得更清晰、均衡化的画面,同时结合真实应用场景进行优化,对尘、水、杂物进行处理,然后将视频画面投射进VR眼镜视野,能进一步减少平面图像和现实三维图像存在的视觉误差。
附图说明
下面将结合说明书附图和具体实施方式对本发明作进一步的详细说明,其中:
图1是本发明一种抢险AR后端辅助操作系统的结构示意图;
图2是本发明一种抢险AR后端辅助操作系统的结构框图。
图中标记:
1、双目相机,2、舵机云台,3、稳定云台控制单元,4、视频编码单元,5、天线,6、无线中继,7、运算中心,8、VR眼镜,9、控制数据采集单元,10、机械臂控制单元。
具体实施方式
实施例1
作为本发明的一较佳实施方式,其包括前端驾驶室,运算中心7和后端驾驶舱;所述前端驾驶室包括双目相机1、舵机云台2、稳定云台控制单元3、视频编码单元4、天线5和机械臂控制单元10;所述后端驾驶舱包括VR眼镜8和控制数据采集单元9;所述双目相机1安装于舵机云台2上,舵机云台2的转动角度经稳定云台控制单元3控制;双目相机1采集的视频数据经视频编码单元4编码后通过天线5传输至运算中心7;视频数据经所述运算中心7进行解码处理并转化为VR画面传送至驾驶室VR眼镜8;VR眼镜8通过双目相机1获得的坐标、角度信息实时传送至运算中心7;所述双目相机1的视野大于VR眼镜8的视野,所述双目相机1视野140°,VR眼镜8视野120°,VR眼镜8视野中两侧冗余度数各为10°,运算中心7根据两侧冗余画面进行实时补足,且运算中心7将坐标、角度数据传至所述稳定云台控制单元3;舵机云台2根据角度数据转向VR眼镜8对应方向,舵机云台2获取振动位移数据,并实时控制舵机云台2转动进行补偿,保持画面稳定;控制数据采集单元9采用CAN采集卡获取驾驶室控制参数,发送至运算中心7,运算中心7对控制参数进行处理后转发至机械臂控制单元10,实现对抢险机械的操作。
实施例2
作为本系统的最佳实施方式,在实施例1的基础上,所述双目相机1视野160°,VR眼镜8视野120°,VR眼镜8视野中两侧冗余度数各为20°。则佩戴VR眼镜8的驾驶员左右转动20°范围内,可以通过视频画面冗余,实现感官上无延时,辅助驾驶员进行现场环境状态判断。还包括有无线中继6,所述双目相机1采集的视频数据经视频编码单元4编码后通过天线5,再通过无线中继6传输至运算中心7。还包括储存接口和输出接口,所述视频数据经所述运算中心7进行解码处理并转化为VR画面传送至驾驶室VR眼镜8,并分发至储存接口和输出接口。所述储存接口连接视频录制设备,所述输出接口通过视频线连接至指挥至中心屏幕,查看实时画面。还包括协同控制中心,所述协同控制中心实现后端抢险工作组同步查看实时画面,并在画面中实时标注,同步至驾驶员的VR眼镜8视野。运算中心7对控制参数进行加密处理后转发至机械臂控制单元10,实现对抢险机械的操作。在前端驾驶室安装压力、温度和气体传感器,回传前方环境数据,并在驾驶员视野中通过虚拟仪表盘显示,辅助抢险判断。辅助操作系统中的视频数据选择udp模式传输。具有更低延时,图像传输延迟≤100ms,回传前方环境传感器测得的温度、气体等环境数据。
实施例3
作为本方法的一较佳实施方式,其包括以下步骤:
a、采集画面,采集环境数据,回传至数据中心:在驾驶室中安装双目相机1,采集高清画面,通过硬件编码单元编码成H265视频;同时,在前端驾驶室加装有毒有害气体传感器,获取现场环境参数;通过路由设备将画面视频和环境数据转化为无线信号,通过天线5传至运算中心7,由运算中心7进行视频与数据的处理与分发;
b、运算中心7对视频流进行解码,并转化为VR画面传送至驾驶室VR眼镜8,实现现场画面重现;运算中心7通过硬件解码器对收到的视频数据进行解码,得到视频画面,并将视频画面投射进VR眼镜8视野;运算中心7基于收到的环境数据生成虚拟仪表盘,并将虚拟仪表盘叠加至VR眼镜8视野,并通过VR眼镜8呈现现场画面与虚拟仪表盘;
c、驾驶员转动头部,前端双目相机1跟随转动,驾驶员任意查看现场各方向画面;同时VR眼镜8将坐标、角度信息实时传送至运算中心7;双目相机1画面视野大于驾驶员视野,在驾驶员转动头部时,运算中心7首先根据两侧冗余画面进行实时补足;同时,运算中心7将坐标、角度数据传至前端稳定云台控制单元3,舵机云台2根据角度数据转动,转向VR眼镜8对应方向;舵机云台2控制板通过陀螺仪获取振动位移数据,并实时控制舵机云台2转动进行补偿,保持画面稳定;
d、驾驶员操作控制杆,将控制信息传至前端,实现对现场机械控制:驾驶员在后端驾驶室操作控制,控制数据采集单元9用CAN采集卡获取操纵杆等控制参数,发送至运算中心7处理,运算中心7对控制数据进行加密后转发至机械臂控制单元10,实现对抢险机械的操作。
实施例4
作为本方法的最佳实施方式,本方法的步骤包括:
a、采集画面,采集环境数据,回传至数据中心:在驾驶室中安装双目相机1,采集高清画面,通过硬件编码单元编码成H265视频;同时,在前端驾驶室加装有毒有害气体传感器,获取现场环境参数;通过路由设备将画面视频和环境数据转化为无线信号,通过5.8G无线网络天线5传至无线中继6,无线中继6通过信号变换设备将无线网络转化为电信号,通过千兆网络主线传至运算中心7,由运算中心7进行视频与数据的处理与分发;通过5.8G无线网络连接,提供1000Mbps带宽,满足8K高清视频传输需求;
b、运算中心7对视频流进行解码,并转化为VR画面传送至驾驶室VR眼镜8,实现现场画面重现;运算中心7通过硬件解码器对收到的视频数据进行解码,得到视频画面;运算中心7对视频画面的饱和度、亮度、对比度进行增强处理,通过去烟雾算法处理后,获得更均衡化的画面,同时结合真实应用场景进行优化,对尘、水、杂物进行处理,然后将视频画面投射进VR眼镜8视野;运算中心7基于收到的环境数据生成虚拟仪表盘,并将虚拟仪表盘叠加至VR眼镜8视野,并通过VR眼镜8呈现现场画面与虚拟仪表盘;同时,运算中心7将画面分发至储存接口和输出接口;储存接口用于录制视频,输出接口通过视频线连接至指挥至中心屏幕,查看实时画面;协同控制中心在画面中进行标记,标记信息实时同步至驾驶员的VR眼镜8视野;
c、驾驶员转动头部,前端双目相机1跟随转动,驾驶员任意查看现场各方向画面;驾驶员获得沉浸式真实体验,同时VR眼镜8将坐标、角度信息实时传送至运算中心7;双目相机1画面视野大于驾驶员视野,在驾驶员转动头部时,运算中心7首先根据两侧冗余画面进行实时补足;同时,运算中心7将坐标、角度数据传至前端稳定云台控制单元3,舵机云台2根据角度数据转动,转向VR眼镜8对应方向;舵机云台2控制板通过陀螺仪获取振动位移数据,并实时控制舵机云台2转动进行补偿,保持画面稳定;
d、驾驶员操作控制杆,将控制信息传至前端,实现对现场机械控制:驾驶员在后端驾驶室操作控制,控制数据采集单元9用CAN采集卡获取操纵杆等控制参数,发送至运算中心7处理,运算中心7对控制数据进行加密后转发至机械臂控制单元10,实现对抢险机械的操作。

Claims (10)

1.一种抢险AR后端辅助操作系统,其特征在于:包括前端驾驶室,运算中心(7)和后端驾驶舱;所述前端驾驶室包括双目相机(1)、舵机云台(2)、稳定云台控制单元(3)、视频编码单元(4)、天线(5)和机械臂控制单元(10);所述后端驾驶舱包括VR眼镜(8)和控制数据采集单元(9);所述双目相机(1)安装于舵机云台(2)上,舵机云台(2)的转动角度经稳定云台控制单元(3)控制;双目相机(1)采集的视频数据经视频编码单元(4)编码后通过天线(5)传输至运算中心(7);视频数据经所述运算中心(7)进行解码处理并转化为VR画面传送至驾驶室VR眼镜(8);VR眼镜(8)通过双目相机(1)获得的坐标、角度信息实时传送至运算中心(7);所述双目相机(1)的视野大于VR眼镜(8)的视野20°至40°,且在VR眼镜(8)视野中保留冗余10°至20°, VR眼镜(8)视野中两侧冗余度数相等;运算中心(7)根据两侧冗余画面进行实时补足,且运算中心(7)将坐标、角度数据传至所述稳定云台控制单元(3);舵机云台(2)根据角度数据转向VR眼镜(8)对应方向,舵机云台(2)获取振动位移数据,并实时控制舵机云台(2)转动进行补偿;控制数据采集单元(9)采用CAN采集卡获取驾驶室控制参数,发送至运算中心(7),运算中心(7)对控制参数进行处理后转发至机械臂控制单元(10)。
2.根据权利要求1所述的一种抢险AR后端辅助操作系统,其特征在于:所述双目相机(1)视野160°,VR眼镜(8)视野120°,VR眼镜(8)视野中两侧冗余度数各为20°。
3.根据权利要求1所述的一种抢险AR后端辅助操作系统,其特征在于:还包括有无线中继(6),所述双目相机(1)采集的视频数据经视频编码单元(4)编码后通过天线(5),再通过无线中继(6)传输至运算中心(7)。
4.根据权利要求1所述的一种抢险AR后端辅助操作系统,其特征在于:还包括储存接口和输出接口,所述视频数据经所述运算中心(7)进行解码处理并转化为VR画面传送至驾驶室VR眼镜(8),并分发至储存接口和输出接口。
5.根据权利要求1所述的一种抢险AR后端辅助操作系统,其特征在于:还包括协同控制中心,所述协同控制中心实现后端抢险工作组同步查看实时画面,并在画面中实时标注,同步至驾驶员的VR眼镜(8)视野。
6.根据权利要求1所述的一种抢险AR后端辅助操作系统,其特征在于:运算中心(7)对控制参数进行加密处理后转发至机械臂控制单元(10)。
7.根据权利要求1所述的一种抢险AR后端辅助操作系统,其特征在于:在前端驾驶室安装压力、温度和气体传感器,回传前方环境数据,并在驾驶员视野中通过虚拟仪表盘显示。
8.根据权利要求1所述的一种抢险AR后端辅助操作系统,其特征在于:辅助操作系统中的视频数据选择udp模式传输。
9.一种抢险AR后端辅助操作方法,其特征在于:包括以下步骤:
a、采集画面,采集环境数据,回传至数据中心:在驾驶室中安装双目相机(1),采集高清画面,通过硬件编码单元编码成H265视频;同时,在前端驾驶室加装传感器获取现场环境参数;将画面视频和环境数据转化为无线信号,通过天线(5)传至运算中心(7),由运算中心(7)进行视频与数据的处理与分发;
b、运算中心(7)对视频流进行解码,并转化为VR画面传送至驾驶室VR眼镜(8);运算中心(7)通过硬件解码器对收到的视频数据进行解码,得到视频画面,并将视频画面投射进VR眼镜(8)视野;运算中心(7)基于收到的环境数据生成虚拟仪表盘,并将虚拟仪表盘叠加至VR眼镜(8)视野,并通过VR眼镜(8)呈现现场画面与虚拟仪表盘;
c、驾驶员转动头部,前端双目相机(1)跟随转动,驾驶员任意查看现场各方向画面;同时VR眼镜(8)将坐标、角度信息实时传送至运算中心(7);双目相机(1)画面视野大于驾驶员视野,在驾驶员转动头部时,运算中心(7)首先根据两侧冗余画面进行实时补足;同时,运算中心(7)将坐标、角度数据传至前端稳定云台控制单元(3),舵机云台(2)根据角度数据转动,转向VR眼镜(8)对应方向;舵机云台(2)控制板通过陀螺仪获取振动位移数据,并实时控制舵机云台(2)转动进行补偿;
d、驾驶员操作控制杆,将控制信息传至前端,实现对现场机械控制:驾驶员在后端驾驶室操作控制,控制数据采集单元(9)用CAN采集卡获取操纵杆等控制参数,发送至运算中心(7)处理,运算中心(7)对控制数据进行加密后转发至机械臂控制单元(10),实现对抢险机械的操作。
10.根据权利要求9所述的一种抢险AR后端辅助操作方法,其特征在于:所述步骤更具体的是:
a、采集画面,采集环境数据,回传至数据中心:在驾驶室中安装双目相机(1),采集高清画面,通过硬件编码单元编码成H265视频;同时,在前端驾驶室加装有毒有害气体传感器,获取现场环境参数;通过路由设备将画面视频和环境数据转化为无线信号,通过5.8G无线网络天线(5)传至无线中继(6),无线中继(6)通过信号变换设备将无线网络转化为电信号,通过千兆网络主线传至运算中心(7),由运算中心(7)进行视频与数据的处理与分发;
b、运算中心(7)对视频流进行解码,并转化为VR画面传送至驾驶室VR眼镜(8),实现现场画面重现;运算中心(7)通过硬件解码器对收到的视频数据进行解码,得到视频画面;运算中心(7)对视频画面的饱和度、亮度、对比度进行增强处理,通过去烟雾算法处理,同时结合真实应用场景进行优化,对尘、水、杂物进行处理,然后将视频画面投射进VR眼镜(8)视野;运算中心(7)基于收到的环境数据生成虚拟仪表盘,并将虚拟仪表盘叠加至VR眼镜(8)视野,并通过VR眼镜(8)呈现现场画面与虚拟仪表盘;同时,运算中心(7)将画面分发至储存接口和输出接口;储存接口用于录制视频,输出接口通过视频线连接至指挥至中心屏幕,查看实时画面;协同控制中心在画面中进行标记,标记信息实时同步至驾驶员的VR眼镜(8)视野;
c、驾驶员转动头部,前端双目相机(1)跟随转动,驾驶员任意查看现场各方向画面;驾驶员获得沉浸式真实体验,同时VR眼镜(8)将坐标、角度信息实时传送至运算中心(7);双目相机(1)画面视野大于驾驶员视野,在驾驶员转动头部时,运算中心(7)首先根据两侧冗余画面进行实时补足;同时,运算中心(7)将坐标、角度数据传至前端稳定云台控制单元(3),舵机云台(2)根据角度数据转动,转向VR眼镜(8)对应方向;舵机云台(2)控制板通过陀螺仪获取振动位移数据,并实时控制舵机云台(2)转动进行补偿;
d、驾驶员操作控制杆,将控制信息传至前端,实现对现场机械控制:驾驶员在后端驾驶室操作控制,控制数据采集单元(9)用CAN采集卡获取操纵杆等控制参数,发送至运算中心(7)处理,运算中心(7)对控制数据进行加密后转发至机械臂控制单元(10),实现对抢险机械的操作。
CN202110261463.3A 2021-03-10 2021-03-10 一种抢险ar后端辅助操作系统及辅助操作方法 Active CN112907756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110261463.3A CN112907756B (zh) 2021-03-10 2021-03-10 一种抢险ar后端辅助操作系统及辅助操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110261463.3A CN112907756B (zh) 2021-03-10 2021-03-10 一种抢险ar后端辅助操作系统及辅助操作方法

Publications (2)

Publication Number Publication Date
CN112907756A CN112907756A (zh) 2021-06-04
CN112907756B true CN112907756B (zh) 2023-11-03

Family

ID=76104808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110261463.3A Active CN112907756B (zh) 2021-03-10 2021-03-10 一种抢险ar后端辅助操作系统及辅助操作方法

Country Status (1)

Country Link
CN (1) CN112907756B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393536B (zh) * 2021-07-03 2023-01-10 蒂姆维澳(上海)网络技术有限公司 基于ar眼镜的远程运维指导控制系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173735A1 (zh) * 2016-04-07 2017-10-12 深圳市易瞳科技有限公司 一种基于视频透视的智能眼镜系统及其透视方法
WO2018032457A1 (en) * 2016-08-18 2018-02-22 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
CN110233841A (zh) * 2019-06-11 2019-09-13 上海文景信息科技有限公司 一种基于ar全息眼镜的远程教育数据交互系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173735A1 (zh) * 2016-04-07 2017-10-12 深圳市易瞳科技有限公司 一种基于视频透视的智能眼镜系统及其透视方法
WO2018032457A1 (en) * 2016-08-18 2018-02-22 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
CN110233841A (zh) * 2019-06-11 2019-09-13 上海文景信息科技有限公司 一种基于ar全息眼镜的远程教育数据交互系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能配网运维5G+VR/AR的融合创新与应用;罗芳;;云南电力技术(第03期);全文 *

Also Published As

Publication number Publication date
CN112907756A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US11778265B2 (en) Live video distribution system
US9747725B2 (en) Video system for piloting a drone in immersive mode
US9727055B2 (en) System and method for video processing and presentation
US20110066262A1 (en) Apparatuses, Systems, and Methods for Apparatus Operation and Remote Sensing
CN112907756B (zh) 一种抢险ar后端辅助操作系统及辅助操作方法
CN109978947B (zh) 一种监控无人机的方法、装置、设备和存储介质
EP3152900B1 (en) System and method for remote monitoring at least one observation area
CN111438673A (zh) 基于立体视觉和手势控制的高空作业遥操作方法及系统
EP3702864B1 (en) Accounting for latency in teleoperated remote driving
CN115277788B (zh) 工程车远程控制系统与方法
US11405548B1 (en) Camera system for a remotely operated vehicle
CN113645460A (zh) 一种工程机械设备远程控制系统
CN115076561A (zh) 应用于工程机械的远程沉浸式双目云台随动系统及方法
US12103161B2 (en) Remote-controlled demolition robot with improved field of application and a method to achieve such a demolition robot
KR20120047672A (ko) 3d 디스플레이 장치를 이용한 선박 조종 시뮬레이터 시스템
CN114051099B (zh) 无人机模块vr系统及通过无人机模块实现vr的方法
JP6197405B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
CN114115246B (zh) 一种远程驾驶辅助系统及其方法
JP2013200819A (ja) 画像受信表示装置
JP2000181346A (ja) 映像地図連携システム
CN115190287A (zh) 一种应用于远程教学的立体视觉随动系统
DE102015118540B4 (de) Tauchroboter-Bild-/Videodatenvisualisierungssystem
CN114416006A (zh) 一种随动于头盔显示装置的浸入式综合视景生成方法
CN117255257A (zh) 一种弱光环境下的车载广角视觉增强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant