CN113746936A - 一种vr与ar分布式协作的综采工作面智能监控系统 - Google Patents

一种vr与ar分布式协作的综采工作面智能监控系统 Download PDF

Info

Publication number
CN113746936A
CN113746936A CN202111082103.3A CN202111082103A CN113746936A CN 113746936 A CN113746936 A CN 113746936A CN 202111082103 A CN202111082103 A CN 202111082103A CN 113746936 A CN113746936 A CN 113746936A
Authority
CN
China
Prior art keywords
monitoring
coal mining
fully mechanized
underground
mechanized coal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111082103.3A
Other languages
English (en)
Other versions
CN113746936B (zh
Inventor
王学文
刘曙光
谢嘉成
李娟莉
王彬彬
李素华
王振威
郝梓翔
闫泽文
葛福祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202111082103.3A priority Critical patent/CN113746936B/zh
Publication of CN113746936A publication Critical patent/CN113746936A/zh
Application granted granted Critical
Publication of CN113746936B publication Critical patent/CN113746936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21C—MINING OR QUARRYING
    • E21C35/00—Details of, or accessories for, machines for slitting or completely freeing the mineral from the seam, not provided for in groups E21C25/00 - E21C33/00, E21C37/00 or E21C39/00
    • E21C35/24—Remote control specially adapted for machines for slitting or completely freeing the mineral
    • E—FIXED CONSTRUCTIONS
    • E21—EARTH OR ROCK DRILLING; MINING
    • E21D—SHAFTS; TUNNELS; GALLERIES; LARGE UNDERGROUND CHAMBERS
    • E21D23/00—Mine roof supports for step- by- step movement, e.g. in combination with provisions for shifting of conveyors, mining machines, or guides therefor
    • E21D23/12—Control, e.g. using remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mining & Mineral Resources (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Geology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明涉及一种VR与AR分布式协作的综采工作面智能监控系统，该系统包括综采工作面物理子系统、综采工作面井上VR监控子系统、综采工作面井下AR监控子系统和通用高效可扩展异步网络框架；井上VR监控子系统用于展示井下工况和设备状态，对综采工作面运行情况进行把控；井下AR监控子系统通过佩戴头戴式AR设备呈现人眼无法直接获取的信息，深入感知综采工作面的局部运行情况；井上VR监控系统与井下AR监控系统可在通用高效可扩展异步网络框架下完成对综采工作面物理子系统的分布式协作监控；本发明可进一步扩充和完善综采工作面智能监控体系，形成兼顾综采工作面局部与整体、虚实融合的全时空三维可视化监控技术架构，为煤矿智能化发展赋能。

Description

一种VR与AR分布式协作的综采工作面智能监控系统
技术领域
本发明涉及综采工作面智能监控技术领域，尤其涉及一种VR与AR分布式协作的综采工作面智能监控系统。
背景技术
煤矿智能化已成为煤炭工业高质量发展的核心技术支撑与煤炭工业转型升级的核心驱动力，应用新一代信息技术、智能制造技术和人工智能技术建设智能化矿山，已成为行业共识。
在煤矿生产系统中，综采工作面是最基本的生产单元，也是生产的第一现场，其生产过程复杂、装备群规模庞大、作业环境恶劣。因此，综采工作面运行状态实时监测与精准反向控制对实现煤炭安全、智能、高效、绿色开采具有重要意义。
传统综采工作面智能监控方式主要包括视频监控与二维组态监控。视频监控采用可见光摄像机对综采装备运行状态、工作面环境等进行监测，是当前综采工作面智能化开采远程监控最主要的途径。
授权公告号CN102291575B公开了一种“智能化综采工作面视频监控系统”，通过视频采集系统获得综采工作面实时视频图像，通过视频传输系统将视频信号传送至地面监控中心，地面显示系统能自动显示采煤机所在位置的视频图像，也可任意调取任意摄像机的实时图像。
二维组态监控系统可以读写不同类型的PLC、智能模块和板卡，采集综采工作面现场的运行状态数据，并以图线、图表、二维动画等形式进行展示，同时通过控制系统进行远程控制。
但上述方案采用网络摄像机获得现场视频信号，成像效果易受井下低光照度、高粉尘等恶劣环境影响。且综采工作面空间狭长，摄像机安装位置低，存在监控死角，无法获得工作面全景。
公开号CN110209088A公开了一种“一种基于HTML5的组态监控系统和方法”，使用采集设备采集煤矿生产过程中的各项过程参数，使用二级采集服务器将各项参数转换为具有统一格式的信息，经一级采集服务器转发至主服务器对过程参数信息进行处理、生成可视化数据并通过HTML5进行web发布。
随着相关研究的深入，除视频监控与二维组态监控外，虚拟现实、增强现实等三维可视化技术展示出其强大的优势，逐步在透明化矿山建设中占据重要的地位，为综采工作面智能监控提供了虚拟监控的新解决方案。
但上述方案主要通过可视化数据与监测曲线实现对综采工作面运行状态的展示，表现形式较为单一，缺乏与综采工作面实体的动态融合，在直观性上存在不足。
授权公告号CN109268010B公开了一种“一种虚拟现实矿井综采工作面的远程巡检干预方法”，利用多种虚拟现实人机交互手段与虚拟人机交互界面进行虚拟操作，将虚拟操作转化为现实指令并接入集中控制中心进行真实设备的操作，并对真实的综采工作面实时运行工况进行真实呈现，进而进行监控。
但在上述方案中，VR虚拟三维可视化场景与装备运行状态数据信息呈割裂状态，且以传感器数据作为单一监测数据源，对真实场景的感知存在局限。
授权公告号CN111119887B公开了一种“一种全息技术下矿井综采工作面的远程干预AR巡检系统”，通过AR设备中矿井综采工作面和综采设备结合的三维全息图像对矿井综采工作面实时运行状况进行监测控制，并在此基础上使用AR设备进行井下人工巡检及远程干预。但上述方案仅采用AR设备对矿井综采工作面实时运行状况进行监控存在视角与地理位置限制，难以获得综采工作面全局运行状态，且未充分利用AR设备自身的信息获取能力。
授权公告号CN107066313B公开了一种“一种基于局域网协同的综采工作面虚拟监测方法”，在虚拟现实引擎Unity3D环境下建立真实综采工作面的镜像，多台主机通过C/S架构，采用局域网协同方式，互相随时同步数据，合成一个整体工作面全景画面，实现对真实工作面进行三维可视化虚拟监测。该方案采用Unity3D的NetWorkView组件搭建C/S架构网络框架，性能较为局限，且不支持UWP平台，无法在以HoloLens2为代表的头戴式AR设备上使用。
发明内容
本发明的目的是针对现有技术中存在的不足，提供一种VR与AR分布式协作的综采工作面智能监控系统，目的在于解决背景技术中提出的综采工作面智能监控问题。
本发明解决其技术问题所采用的技术方案是：构造一种VR与AR分布式协作的综采工作面智能监控系统，包括：综采工作面物理子系统、综采工作面井上VR监控子系统、综采工作面井下AR监控子系统和通用高效可扩展异步网络框架；
其中，所述综采工作面物理子系统包括成套综采装备以及布置在综采装备上的多传感器、嵌入式控制器、执行器；
成套综采装备为综采三机，包括液压支架群、采煤机和刮板输送机；
多传感器用于感知综采装备自身工作状态以及外部工作环境，并获取实时数据；
嵌入式控制器包括采煤机机载控制系统与液压支架电液控系统，接收作为上层控制系统的井上VR监控子系统及井下AR监控子系统发送的控制命令，驱动执行器动作，对多传感器采集的数据进行实时数据处理，以实现数据决策和分析；
综采工作面井上VR监控子系统使用Unity3D开发的VR应用程序，在井上集控中心计算机平台中运行，包括三维可视化虚拟监测模块和UGUI控制模块；
三维可视化虚拟监测模块用于在实时传感数据与AR视觉测量数据融合驱动下，真实反映综采装备的运行状态以及煤层与装备之间相互作用，同时对视角进行移动、缩放，从不同距离及角度无死角地对综采工作面进行全景监测；
UGUI控制模块挂载控制脚本，用于将控制命令发送至综采工作面物理子系统中的嵌入式控制器，实现远程对采煤机的控制操作；
综采工作面井下AR监控子系统在井下操作人员佩戴的头戴式AR设备中运行，包括AR识别跟踪模块、综采装备位姿视觉测量模块、三维可视化虚实融合监测模块、运行参数监测模块和多模态人机交互控制模块；
AR识别跟踪模块用于基于稀疏匹配与基于AR标识的目标检测方法结合的方式实现综采装备识别跟踪；
综采装备位姿视觉测量模块用于综采装备位姿测量；
三维可视化虚实融合监测模块在AR识别跟踪模块的作用下将综采工作面虚拟场景锚定至真实场景，完成虚实融合的三维可视化监测；
运行参数监测模块用于将综采装备群中各装备的运行状态详细参数可视化，在AR识别跟踪模块的作用下将AR全息参数面板锚定至相对应的综采装备之上，使井下操作人员同时观察局部真实综采装备运行情况以及其运行状态参数；
多模态人机交互控制模块集成人机交互模态，用于驱动综采装备执行器进行动作；
通用高效可扩展异步网络框架是基于完成端口(IOCP)机制的通用TCP/IP客户端及服务器网络框架；
将运行井上VR监控子系统的集控中心计算机平台作为服务器，将运行井下AR监控子系统的多个头戴式AR设备以及综采工作面物理子系统中的其他终端作为客户端，在通用高效可扩展异步网络框架的基础上定义数据模型，以对客户端的异常情况进行监测。
其中，综采工作面物理子系统中的多传感器包括用于确定采煤机位姿并反演刮板输送机位姿的惯导系统与行走部轴编码器、用于确定液压支架位姿的行程传感器与倾角传感器；
嵌入式控制器包括采煤机机载控制系统与液压支架电液控系统，接收由井上VR监控子系统UGUI控制模块、井下AR监控子系统多模态人机交互控制模块的上层控制系统发送的控制命令，驱动执行器进行相关动作，对多传感器采集的数据进行实时数据处理，以实现设备的数据决策和分析。
其中，综采工作面井上VR监控子系统中的三维可视化虚拟监测模块为集成基于UG和Unity3D Mesh组件构建的煤层地质及综采装备虚拟模型，在实时传感数据与AR视觉测量数据融合驱动下真实反映综采装备的运行状态以及煤层与装备之间相互作用；三维可视化虚拟监测模块在虚拟场景中集成了基于Unity3D Camera组件的虚拟摄像头，实现对视角进行移动、缩放，从不同距离及角度无死角地对综采工作面进行全景监测；
UGUI控制模块为使用Unity3D UGUI人机界面系统构建的虚拟控制面板，其上挂载了由C#语言编写的控制脚本，用于将控制命令发送至综采工作面物理子系统中的嵌入式控制器，实现远程对采煤机的控制操作；所述控制操作类型至少包括对采煤机的牵引启停、左右牵引、牵引加减速、左右摇臂升降、急停、截割启动，对液压支架的升降柱、推溜、移架控制操作。
其中，综采工作面井下AR监控子系统中的AR识别跟踪模块采用基于稀疏匹配的目标检测方法作用于区分综采三机，包括预处理和识别处理两部分；在预处理阶段中，采用Harris算法对特征点进行提取，采用尺度不变特征变换(SIFT)算法计算用于特征点匹配的特征点描述符，计算特征点三维坐标，建立特征点数据库；在识别处理阶段中，经过特征点提取与描述符计算，采用启发式搜索算法K-D Tree将计算得到的描述符与数据库中的预处理描述符进行比对，完成匹配；
基于AR标识的目标检测方法作用于区分液压支架群中外观相似的液压支架，采用Vuforia的Vumark标识符作为AR标识，制作多个编码信息不同的Vumark并打印张贴在液压支架易于观察的位置，头戴式AR设备可通过识别Vumark的方式识别对应的液压支架。
其中，在通用高效可扩展异步网络框架基础上定义的数据模型分为三个层级：类型层、请求层与消息层；
其中消息层中的消息分为两类：一类是需要服务器处理的消息，另一类是需要服务器转发的消息；类型层定义不同的消息类型并采用Serialize()与Deserialize()方法进行消息的序列化与反序列化，请求层通过HeartThread. IsAlive语句为云服务器添加心跳监测功能，并设置客户端定时向服务器发送心跳包，以对客户端的异常断开进行监测。
其中，综采工作面井上VR监控子系统与综采工作面井下AR监控子系统均集成了远程音视频通讯功能与辅助标注功能，井上集控中心工作人员在头戴式AR设备显采集到的视频流中进行标注并发送至AR监控子系统，辅以语音讲解，通过远程协助互动的方式指导井下操作人员完成操作；
其中，远程音视频通讯功能是基于Unity3D和WebRTC实时通信技术开发，WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、展示功能，支持跨平台，包括Linux、Windows、Mac、Android；
辅助标注功能需要捕捉并传输包含头戴式AR设备空间矩阵信息的视频数据，经过两次转换，即AR设备与Unity3D空间矩阵转换、二维标注到三维空间的转换实现远程空间全息标注。
其中，头戴式AR设备与Unity3D空间矩阵转换过程简化为如下模型：从头戴式AR设备摄像头2D投影空间到相对的3D视图空间，再到AR摄像头空间，最后到Unity3D应用程序坐标系；
运算过程为：
摄像头投影变换矩阵P经转置运算得到P’，摄像头外部视图变换矩阵V经转置运算与求逆运算得到V’，储存捕获帧的坐标系矩阵C经转置运算得到C’，以匹配预期的Unity3D格式；上述矩阵混合运算并将右手坐标系转化为UnityEngine左手坐标系后最终得到头戴式AR设备摄像头空间矩阵到Unity3D空间矩阵的变换矩阵T，公式表示为：
Figure 100002_DEST_PATH_IMAGE002
二维标注到三维空间的转换原理为：当头戴式AR设备收到二维标注数据时，摄像头发出检测射线，经过形心投射点，到达实际形心位置并与Mesh Collider发生碰撞；在C#程序中通过RaycastHit.triangleIndex语句进行三角形索引，利用Möller-Trumbore相交算法确定射线与三角网格的碰撞点，通过RaycastHit. Distance语句检测摄像头到碰撞点的距离，依据几何相似关系计算出矩形标注在实际空间中的尺寸，从而生成三维空间中的标注；
其中，三角网格是指空间中任何三维物体都可看作是若干三角形Mesh组合而成；Mesh Collider 是HoloLens2头戴式AR设备自动识别三维物体表面后生成三角形Mesh网格并为其添加的Mesh Collider碰撞体。
其中，综采工作面井上VR监控子系统与综采工作面井下AR监控子系统均具有对综采工作面物理子系统进行反向控制的权限，设置了井下操作人员就地操作优先于集控中心控制台操作的冲突消解逻辑；并对误操作进行了冗余设计，在两监控子系统控制操作无冲突时，任一监控子系统的控制指令均须获得另一监控子系统的许可方能生效。
其中，综采工作面井下AR监控子系统部署至多个头戴式AR设备，形成具有多个井下AR监控节点的分布式监控模式，各监控节点由综采装备位姿视觉测量模块的监测信息通过多源数据融合算法与综采工作面物理子系统中的多传感器数据融合后可汇总至综采工作面井上VR监控子系统，实时更新修正三维可视化虚拟监测模块的监测画面，井上VR监控子系统也可将汇总信息广播至各AR监测节点，提升监控精度与效率；综采工作面井下AR监控子系统为头戴式AR设备集成了SLAM定位功能，用于确定井下操作人员在综采工作面中的位置，并将定位信息反馈至井上集控中心，以便井上工作人员指导井下操作人员安全作业。
其中，综采工作面井上VR监控子系统与综采工作面井下AR监控子系统之间的协作以及两监控子系统与综采工作面物理子系统之间的监控信息流传输，均是在井下综采工作面5G专网通信环境下基于通用高效可扩展异步网络框架完成的，5G技术大带宽、低时延、广连接的特性为上述数据传输处理提供了核心技术支撑。
与现有技术相比较，本发明的有益效果如下：
（1）本发明在综采工作面井下AR监控子系统中集成的AR识别跟踪模块，通过基于稀疏匹配与基于AR标识相结合的目标检测方式对综采装备进行识别跟踪，实现了视觉手段对全综采装备的识别，为三维可视化虚实融合监测与运行参数监测奠定了技术基础；
（2）本发明在综采工作面井下AR监控子系统中集成的综采装备位姿视觉测量模块，充分利用了AR设备自身传感单元的信息获取能力，可通过头戴式AR设备对综采装备的绝对与相对位姿进行测量，提供更多信息反馈，并与多传感器数据进行多源数据融合，弥补了使用单一数据来源进行位姿测量的局限，提升了对综采装备群运行状态的感知精度；
（3）本发明采用.NET 提供的SAEA Socket类进行通用高效可扩展异步网络框架的搭建，满足了潜在的多终端并发处理需求，减少了线程阻塞，提高了网络资源的利用率，并兼顾了以HoloLens2头戴式AR设备为代表的UWP平台的适用性，为综采工作面井上VR监控子系统与综采工作面井下AR监控子系统的分布式协作提供了网络基础；
（4）本发明中井上VR监控子系统为井上集控中心工作人员提供上帝视角，对综采工作面的整体运行情况进行宏观把控，井下AR监控子系统为井下操作人员提供人眼无法获取的信息，对综采工作面局部运行情况进行深入感知，两系统可通过远程协助互动的方式完成对综采工作面物理子系统的分布式协作监控，形成兼顾综采工作面局部与整体、虚实融合的全时空三维可视化监控技术架构；本发明中井下AR监控子系统多模态人机交互控制模块集成了自然手势、凝视等多种人机交互模态，使得交互更加自然和便捷；
（5）本发明中两监控子系统可在冲突消解逻辑模型误操作冗余设计下协同完成对综采工作面物理系统的远程控制，使得控制过程更加安全高效；
（6）本发明为5G技术在煤矿领域的应用提供了一种面向远程实时可视化智能开采的实际应用场景，对加速5G在煤矿落地应用具有重要的指导意义与参考价值。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提供的一种VR与AR分布式协作的综采工作面智能监控系统的系统组成图。
图2是本发明提供的一种VR与AR分布式协作的综采工作面智能监控系统中综采工作面井下AR监控子系统AR识别跟踪模块所采用的基于稀疏匹配的识别跟踪流程图。
图3是本发明提供的一种VR与AR分布式协作的综采工作面智能监控系统中通用高效可扩展异步网络框架的服务器与客户端的连接逻辑图。
图4是本发明提供的一种VR与AR分布式协作的综采工作面智能监控系统中井上VR监控系统与井下AR监控系统分布式协作监控原理图。
图5是本发明提供的一种VR与AR分布式协作的综采工作面智能监控系统中井上VR监控子系统与综采工作面井下AR监控子系统集成的辅助标注功能中AR设备与Unity3D空间矩阵转换原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。
如附图1所示，本发明提供了一种VR与AR分布式协作的综采工作面智能监控系统，包括：综采工作面物理子系统、综采工作面井上VR监控子系统、综采工作面井下AR监控子系统和通用高效可扩展异步网络框架；
综采工作面物理子系统包括成套综采装备以及布置在综采装备上的多传感器、嵌入式控制器、执行器；成套综采装备为综采三机，即液压支架群、采煤机和刮板输送机；多传感器用于感知综采装备自身工作状态以及外部工作环境并获取实时数据，包括用于确定采煤机位姿并反演刮板输送机位姿的惯导系统与行走部轴编码器、用于确定液压支架位姿的行程传感器与倾角传感器；嵌入式控制器包括采煤机机载控制系统与液压支架电液控系统，可以接收由井上VR监控子系统UGUI控制模块、井下AR监控子系统多模态人机交互控制模块等上层控制系统发送的控制命令，驱动执行器进行相关动作，也可以对多传感器采集的数据进行实时数据处理，以实现设备的数据决策和分析。
综采工作面井上VR监控子系统为使用Unity3D开发的VR应用程序，在井上集控中心计算机平台中运行，包括三维可视化虚拟监测模块和UGUI控制模块；
其中，三维可视化虚拟监测模块集成了基于UG和Unity3D Mesh组件构建的煤层地质及综采装备虚拟模型，在实时传感数据与AR视觉测量数据融合驱动下真实反映综采装备的运行状态以及煤层与装备之间相互作用；三维可视化虚拟监测模块还在虚拟场景中集成了基于Unity3D Camera组件的虚拟摄像头，可对视角进行移动、缩放，从不同距离及角度无死角地对综采工作面进行全景监测；
UGUI控制模块为使用Unity3D UGUI人机界面系统构建的虚拟控制面板，其上挂载了由C#语言编写的控制脚本，通过点击UGUI按钮可将控制命令发送至综采工作面物理子系统中的嵌入式控制器，实现远程对采煤机的牵引启停、左右牵引、牵引加减速、左右摇臂升降、急停、截割启动，对液压支架的升降柱、推溜、移架等控制操作。
综采工作面井下AR监控子系统为使用Unity3D开发的AR应用程序，在井下操作人员佩戴的头戴式AR设备中运行，包括AR识别跟踪模块、综采装备位姿视觉测量模块、三维可视化虚实融合监测模块、运行参数监测模块和多模态人机交互控制模块；
其中，AR识别跟踪模块是联系虚拟与真实世界、完成后续虚实融合监控的基础，采用基于稀疏匹配与基于AR标识的目标检测方法结合的方式实现综采装备识别跟踪；
基于稀疏匹配的目标检测方法用于区分综采三机，其识别跟踪流程如附图2所示，包括预处理和识别处理两部分，在预处理阶段中，采用Harris算法对特征点进行提取，采用尺度不变特征变换(SIFT)算法计算用于特征点匹配的特征点描述符，再计算特征点三维坐标，建立特征点数据库；在识别处理阶段中，同样需要经过特征点提取与描述符计算，之后采用启发式搜索算法K-D Tree将计算得到的描述符与数据库中的预处理描述符进行比对，完成匹配；
基于AR标识的目标检测方法用于区分液压支架群中外观相似的各液压支架，采用Vuforia的Vumark标识符作为AR标识，制作多个编码信息不同的Vumark并打印张贴在液压支架易于观察的位置，头戴式AR设备可通过识别Vumark的方式识别对应的液压支架；
综采装备位姿视觉测量模块使用头戴式AR设备内置的可见光摄像头及深度传感器完成基于计算机视觉的综采装备位姿测量，测量结果可通过多源数据融合算法与综采工作面物理子系统中的多传感器数据融合，得到更加精准的绝对与相对位姿数据；
三维可视化虚实融合监测模块实现原理与综采工作面井上VR监控子系统中的三维可视化虚拟监测模块相同，并可在AR识别跟踪模块的作用下将综采工作面虚拟场景锚定至真实场景，完成虚实融合的三维可视化监测；
运行参数监测模块用于将综采装备群中各装备的运行状态详细参数可视化，在AR识别跟踪模块的作用下将AR全息参数面板锚定至相对应的综采装备之上，使井下操作人员可同时观察局部真实综采装备运行情况以及其运行状态参数，补充了人眼无法直接获取的信息；
多模态人机交互控制模块集成了自然手势、凝视等多种人机交互模态，采取先用凝视呼出监控菜单、后用自然手势进行操作的多种交互模态组合控制指令驱动综采装备执行器进行相关动作，设定了区分度较高的指令触发方式，以降低误操作的概率。
通用高效可扩展异步网络框架是一种基于完成端口(IOCP)机制的通用TCP/IP客户端及服务器网络框架，IOCP是一种基于事件的异步模型；采用.NET提供的SAEA(SocketAsyncEventArgs)Socket类进行框架搭建，该类封装了IOCP的使用，可以满足潜在的多终端并发处理需求，减少线程阻塞，并兼顾UWP平台的适用性；
将运行井上VR监控子系统的集控中心计算机平台作为服务器，将运行井下AR监控子系统的多个头戴式AR设备以及综采工作面物理子系统中的其他终端作为客户端，服务器与客户端的连接逻辑如附图3所示，在该网络框架的基础上定义了数据模型，模型分为三个层级：类型层、请求层与消息层；
消息层中消息分为两类：一类是需要服务器处理的消息，如上传终端信息、获取并更新终端列表等；另一类是需要服务器转发的消息，如虚拟场景中综采装备的位置、姿态、动作等的同步，类型层定义不同的消息类型并采用Serialize()与Deserialize()方法进行消息的序列化与反序列化，请求层通过HeartThread. IsAlive语句为云服务器添加心跳监测功能，并设置客户端定时向服务器发送心跳包，以对客户端的异常断开进行监测。
如附图4所示，井上VR监控系统与井下AR监控系统能够完成对综采工作面物理子系统的分布式协作监控；
综采工作面井上VR监控子系统与综采工作面井下AR监控子系统均集成了远程音视频通讯功能与辅助标注功能，井上集控中心工作人员可以在防爆AR头显采集到的视频流中进行标注并发送至AR监控子系统，辅以语音讲解，通过远程协助互动的方式指导井下操作人员完成操作；
远程音视频通讯功能是基于Unity3D和WebRTC实时通信技术开发的，WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、展示等功能，并且还支持跨平台，包括Linux、Windows、Mac、Android等；
辅助标注功能需要捕捉并传输包含头戴式AR设备空间矩阵信息的视频数据，经过两次转换，即头戴式AR设备与Unity3D空间矩阵转换、二维标注到三维空间的转换实现远程空间全息标注；
头戴式AR设备与Unity3D空间矩阵转换过程可以简化为如下模型：从头戴式AR设备摄像头2D投影空间到其相对的3D视图空间，然后再到AR摄像头空间，最后到Unity3D应用程序坐标系，矩阵转换原理如附图5所示；
该模型可简化为一系列矩阵运算：摄像头投影变换矩阵P经转置运算得到P’，摄像头外部视图变换矩阵V经转置运算与求逆运算得到V’，储存捕获帧的坐标系矩阵C经转置运算得到C’，以匹配预期的Unity3D格式；上述矩阵混合运算并将右手坐标系转化为UnityEngine左手坐标系后最终得到AR设备摄像头空间矩阵到Unity3D空间矩阵的变换矩阵T，具体转换过程如下：
Figure DEST_PATH_IMAGE003
上述二维标注到三维空间的转换原理为：当头戴式AR设备收到二维标注数据时，摄像头发出检测射线，经过形心投射点，到达实际形心位置并与Mesh Collider发生碰撞。在C#程序中通过RaycastHit.triangleIndex语句进行三角形索引，利用Möller-Trumbore相交算法确定射线与三角网格的碰撞点，通过RaycastHit. Distance语句检测摄像头到碰撞点的距离，依据几何相似关系计算出矩形标注在实际空间中的尺寸，从而生成三维空间中的标注；其中，三角网格是指空间中任何三维物体都可看作是若干三角形Mesh组合而成；Mesh Collider 是HoloLens2等头戴式AR设备自动识别三维物体表面后生成三角形Mesh网格并为其添加的Mesh Collider碰撞体。
综采工作面井上VR监控子系统与综采工作面井下AR监控子系统均具有对综采工作面物理子系统进行反向控制的权限，设置了井下操作人员就地操作优先于集控中心控制台操作的冲突消解逻辑；并对误操作进行了冗余设计，在两监控子系统控制操作无冲突时，任一监控子系统的控制指令均须获得另一监控子系统的许可方能生效。
综采工作面井下AR监控子系统可以部署至多个头戴式AR设备，形成具有多个井下AR监控节点的分布式监控模式，各节点由综采装备位姿视觉测量模块的监测信息通过多源数据融合算法与综采工作面物理子系统中的多传感器数据融合后可汇总至综采工作面井上VR监控子系统，实时更新修正三维可视化虚拟监测模块的监测画面，井上VR监控子系统也可将汇总信息广播至各AR监测节点，提升监控精度与效率。
综采工作面井下AR监控子系统为头戴式AR设备集成了SLAM定位功能，可以确定井下操作人员在综采工作面中的位置，并将定位信息反馈至井上集控中心，以便井上工作人员指导井下操作人员安全作业。
综采工作面井上VR监控子系统与综采工作面井下AR监控子系统之间的协作以及两监控子系统与综采工作面物理子系统之间的监控信息流传输，均是在井下综采工作面5G专网通信环境下基于通用高效可扩展异步网络框架完成的，5G技术大带宽、低时延、广连接的特性为上述数据传输处理提供了核心技术支撑。
具体的，在煤矿井下成套综采装备上按照要求布置用于确定采煤机位姿并反演刮板输送机位姿的惯导系统与行走部轴编码器、用于确定液压支架位姿的行程传感器与倾角传感器、嵌入式控制器以及执行器，完成综采工作面物理子系统的构建，并在液压支架群液压支架易于观察的地方张贴包含不同编码信息的Vumark，每个Vumark对应一个液压支架ID；
将综采工作面井上VR监控子系统集成至集控中心计算机平台中并运行，在实时传感数据驱动下通过三维可视化虚拟监测模块中的综采工作面虚拟场景真实反映综采装备的运行状态以及煤层与装备之间相互作用，无死角地对综采工作面进行三维可视化全景监测；
将综采工作面井下AR监控子系统部署至多个头戴式AR设备中并运行，井下操作人员佩戴头戴式AR设备在综采工作面中对综采装备群进行观察，可完成基于稀疏匹配与基于Vumark AR标识的综采装备识别跟踪，同时通过三维可视化虚实融合监测模块与运行参数监测模块观察局部真实综采装备运行情况以及其运行状态参数，补充人眼无法直接获取的信息；
采用多台HoloLens2头戴式AR设备作为客户端，将集控中心计算机平台作为服务器，在HoloLens2运行的综采工作面井下AR监控子系统中输入服务器IP地址接入网络，完成终端连接；
将井下多个头戴式AR设备采集的视觉监测信息发送至综采工作面井上VR监控子系统，通过多源数据融合算法与综采工作面物理子系统中的多传感器数据融合后实时更新修正三维可视化虚拟监测模块的监测画面，井上VR监控子系统将汇总信息共享至各头戴式AR设备，提升监控精度与效率；
综采工作面井上VR监控子系统可通过点击UGUI控制模块中的控制按钮发送控制指令，综采工作面井下AR监控子系统可通过自然手势与凝视的方式发送控制指令，如凝视某台液压支架完成选中操作，用手抓取虚拟液压支架立柱并移动，驱动液压支架完成升降柱；两者可在冲突消解逻辑模型误操作冗余设计下协同完成远程对采煤机的牵引启停、左右牵引、牵引加减速、左右摇臂升降、急停、截割启动，对液压支架的升降柱、推溜、移架等控制操作；
当井下操作人员遇到棘手问题，无法独立完成操作时，可以与井上VR监控子系统建立联系，井上工作人员点击井下操作人员用户名进行视频通话呼叫，通话过程中，接收端HoloLens2朝向综采工作面，发送端在接收到的视频画面中进行标注并辅以语音讲解，协助指导井下操作人员完成操作，接收端HoloLens2中可看到发送端做出的全息标注；
井下操作人员佩戴的头戴式AR设备会通过SLAM定位功能实时向综采工作面井上VR监控子系统发送定位信息，可以确定井下操作人员在综采工作面中的位置，以便井上工作人员指导井下操作人员安全作业。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种VR与AR分布式协作的综采工作面智能监控系统，其特征在于，包括：综采工作面物理子系统、综采工作面井上VR监控子系统、综采工作面井下AR监控子系统和通用高效可扩展异步网络框架；
其中，所述综采工作面物理子系统包括成套综采装备以及布置在综采装备上的多传感器、嵌入式控制器、执行器；
成套综采装备为综采三机，包括液压支架群、采煤机和刮板输送机；
多传感器用于感知综采装备自身工作状态以及外部工作环境，并获取实时数据；
嵌入式控制器包括采煤机机载控制系统与液压支架电液控系统，接收作为上层控制系统的井上VR监控子系统及井下AR监控子系统发送的控制命令，驱动执行器动作，对多传感器采集的数据进行实时数据处理，以实现数据决策和分析；
综采工作面井上VR监控子系统使用Unity3D开发的VR应用程序，在井上集控中心计算机平台中运行，包括三维可视化虚拟监测模块和UGUI控制模块；
三维可视化虚拟监测模块用于在实时传感数据与AR视觉测量数据融合驱动下，真实反映综采装备的运行状态以及煤层与装备之间相互作用，同时对视角进行移动、缩放，从不同距离及角度无死角地对综采工作面进行全景监测；
UGUI控制模块挂载控制脚本，用于将控制命令发送至综采工作面物理子系统中的嵌入式控制器，实现远程对采煤机的控制操作；
综采工作面井下AR监控子系统在井下操作人员佩戴的头戴式AR设备中运行，包括AR识别跟踪模块、综采装备位姿视觉测量模块、三维可视化虚实融合监测模块、运行参数监测模块和多模态人机交互控制模块；
AR识别跟踪模块用于基于稀疏匹配与基于AR标识的目标检测方法结合的方式实现综采装备识别跟踪；
综采装备位姿视觉测量模块用于综采装备位姿测量；
三维可视化虚实融合监测模块在AR识别跟踪模块的作用下将综采工作面虚拟场景锚定至真实场景，完成虚实融合的三维可视化监测；
运行参数监测模块用于将综采装备群中各装备的运行状态详细参数可视化，在AR识别跟踪模块的作用下将AR全息参数面板锚定至相对应的综采装备之上，使井下操作人员同时观察局部真实综采装备运行情况以及其运行状态参数；
多模态人机交互控制模块集成人机交互模态，用于驱动综采装备执行器进行动作；
通用高效可扩展异步网络框架是基于完成端口(IOCP)机制的通用TCP/IP客户端及服务器网络框架；
将运行井上VR监控子系统的集控中心计算机平台作为服务器，将运行井下AR监控子系统的多个头戴式AR设备以及综采工作面物理子系统中的其他终端作为客户端，在通用高效可扩展异步网络框架的基础上定义数据模型，以对客户端的异常情况进行监测。
2.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，所述综采工作面物理子系统中的多传感器包括用于确定采煤机位姿并反演刮板输送机位姿的惯导系统与行走部轴编码器、用于确定液压支架位姿的行程传感器与倾角传感器；
嵌入式控制器包括采煤机机载控制系统与液压支架电液控系统，接收由井上VR监控子系统UGUI控制模块、井下AR监控子系统多模态人机交互控制模块的上层控制系统发送的控制命令，驱动执行器进行相关动作，对多传感器采集的数据进行实时数据处理，以实现设备的数据决策和分析。
3.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，所述综采工作面井上VR监控子系统中的三维可视化虚拟监测模块为集成基于UG和Unity3DMesh组件构建的煤层地质及综采装备虚拟模型，在实时传感数据与AR视觉测量数据融合驱动下真实反映综采装备的运行状态以及煤层与装备之间相互作用；三维可视化虚拟监测模块在虚拟场景中集成了基于Unity3D Camera组件的虚拟摄像头，实现对视角进行移动、缩放，从不同距离及角度无死角地对综采工作面进行全景监测；
UGUI控制模块为使用Unity3D UGUI人机界面系统构建的虚拟控制面板，其上挂载了由C#语言编写的控制脚本，用于将控制命令发送至综采工作面物理子系统中的嵌入式控制器，实现远程对采煤机的控制操作；所述控制操作类型至少包括对采煤机的牵引启停、左右牵引、牵引加减速、左右摇臂升降、急停、截割启动，对液压支架的升降柱、推溜、移架控制操作。
4.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，综采工作面井下AR监控子系统中的AR识别跟踪模块采用基于稀疏匹配的目标检测方法作用于区分综采三机，包括预处理和识别处理两部分；在预处理阶段中，采用Harris算法对特征点进行提取，采用尺度不变特征变换(SIFT)算法计算用于特征点匹配的特征点描述符，计算特征点三维坐标，建立特征点数据库；在识别处理阶段中，经过特征点提取与描述符计算，采用启发式搜索算法K-D Tree将计算得到的描述符与数据库中的预处理描述符进行比对，完成匹配；
基于AR标识的目标检测方法作用于区分液压支架群中外观相似的液压支架，采用Vuforia的Vumark标识符作为AR标识，制作多个编码信息不同的Vumark并打印张贴在液压支架易于观察的位置，头戴式AR设备可通过识别Vumark的方式识别对应的液压支架。
5.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，在通用高效可扩展异步网络框架基础上定义的数据模型分为三个层级：类型层、请求层与消息层；
其中消息层中的消息分为两类：一类是需要服务器处理的消息，另一类是需要服务器转发的消息；类型层定义不同的消息类型并采用Serialize()与Deserialize()方法进行消息的序列化与反序列化，请求层通过HeartThread. IsAlive语句为云服务器添加心跳监测功能，并设置客户端定时向服务器发送心跳包，以对客户端的异常断开进行监测。
6.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，所述综采工作面井上VR监控子系统与综采工作面井下AR监控子系统均集成了远程音视频通讯功能与辅助标注功能，井上集控中心工作人员在头戴式AR设备显采集到的视频流中进行标注并发送至AR监控子系统，辅以语音讲解，通过远程协助互动的方式指导井下操作人员完成操作；
其中，远程音视频通讯功能是基于Unity3D和WebRTC实时通信技术开发，WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、展示功能，支持跨平台，包括Linux、Windows、Mac、Android；
辅助标注功能需要捕捉并传输包含头戴式AR设备空间矩阵信息的视频数据，经过两次转换，即AR设备与Unity3D空间矩阵转换、二维标注到三维空间的转换实现远程空间全息标注。
7.根据权利要求6所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，头戴式AR设备与Unity3D空间矩阵转换过程简化为如下模型：从头戴式AR设备摄像头2D投影空间到相对的3D视图空间，再到AR摄像头空间，最后到Unity3D应用程序坐标系；
运算过程为：
摄像头投影变换矩阵P经转置运算得到P’，摄像头外部视图变换矩阵V经转置运算与求逆运算得到V’，储存捕获帧的坐标系矩阵C经转置运算得到C’，以匹配预期的Unity3D格式；上述矩阵混合运算并将右手坐标系转化为UnityEngine左手坐标系后最终得到头戴式AR设备摄像头空间矩阵到Unity3D空间矩阵的变换矩阵T，公式表示为：
Figure DEST_PATH_IMAGE002
二维标注到三维空间的转换原理为：当头戴式AR设备收到二维标注数据时，摄像头发出检测射线，经过形心投射点，到达实际形心位置并与Mesh Collider发生碰撞；在C#程序中通过RaycastHit.triangleIndex语句进行三角形索引，利用Möller-Trumbore相交算法确定射线与三角网格的碰撞点，通过RaycastHit. Distance语句检测摄像头到碰撞点的距离，依据几何相似关系计算出矩形标注在实际空间中的尺寸，从而生成三维空间中的标注；
其中，三角网格是指空间中任何三维物体都可看作是若干三角形Mesh组合而成；MeshCollider 是HoloLens2头戴式AR设备自动识别三维物体表面后生成三角形Mesh网格并为其添加的Mesh Collider碰撞体。
8.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，所述综采工作面井上VR监控子系统与综采工作面井下AR监控子系统均具有对综采工作面物理子系统进行反向控制的权限，设置了井下操作人员就地操作优先于集控中心控制台操作的冲突消解逻辑；并对误操作进行了冗余设计，在两监控子系统控制操作无冲突时，任一监控子系统的控制指令均须获得另一监控子系统的许可方能生效。
9.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，所述综采工作面井下AR监控子系统部署至多个头戴式AR设备，形成具有多个井下AR监控节点的分布式监控模式，各监控节点由综采装备位姿视觉测量模块的监测信息通过多源数据融合算法与综采工作面物理子系统中的多传感器数据融合后可汇总至综采工作面井上VR监控子系统，实时更新修正三维可视化虚拟监测模块的监测画面，井上VR监控子系统也可将汇总信息广播至各AR监测节点，提升监控精度与效率；综采工作面井下AR监控子系统为头戴式AR设备集成了SLAM定位功能，用于确定井下操作人员在综采工作面中的位置，并将定位信息反馈至井上集控中心，以便井上工作人员指导井下操作人员安全作业。
10.根据权利要求1所述的VR与AR分布式协作的综采工作面智能监控系统，其特征在于，所述综采工作面井上VR监控子系统与综采工作面井下AR监控子系统之间的协作以及两监控子系统与综采工作面物理子系统之间的监控信息流传输，均是在井下综采工作面5G专网通信环境下基于通用高效可扩展异步网络框架完成的，5G技术大带宽、低时延、广连接的特性为上述数据传输处理提供了核心技术支撑。
CN202111082103.3A 2021-09-15 2021-09-15 一种vr与ar分布式协作的综采工作面智能监控系统 Active CN113746936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111082103.3A CN113746936B (zh) 2021-09-15 2021-09-15 一种vr与ar分布式协作的综采工作面智能监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111082103.3A CN113746936B (zh) 2021-09-15 2021-09-15 一种vr与ar分布式协作的综采工作面智能监控系统

Publications (2)

Publication Number Publication Date
CN113746936A true CN113746936A (zh) 2021-12-03
CN113746936B CN113746936B (zh) 2023-07-25

Family

ID=78739140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111082103.3A Active CN113746936B (zh) 2021-09-15 2021-09-15 一种vr与ar分布式协作的综采工作面智能监控系统

Country Status (1)

Country Link
CN (1) CN113746936B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554163A (zh) * 2022-04-25 2022-05-27 深圳酷源数联科技有限公司 煤矿井下作业监视系统
CN115908728A (zh) * 2022-11-08 2023-04-04 宁夏沁瑞矿山设备有限公司 一种智能煤矿井下监控系统、方法、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180032138A (ko) * 2016-09-21 2018-03-29 주식회사 지오제니컨설턴트 Vr과 증강현실을 이용한 광산 측량 및 현장 감시 방법
KR101944823B1 (ko) * 2018-06-07 2019-02-07 (주)영신디엔씨 증강현실 및 가상현실을 이용한 위치기반 지하시설물 탐지 시스템
US20190073827A1 (en) * 2017-09-06 2019-03-07 Josen Premium LLC Method and System for Converting 3-D Scan Displays with Optional Telemetrics, Temporal and Component Data into an Augmented or Virtual Reality BIM
CN111208759A (zh) * 2019-12-30 2020-05-29 中国矿业大学(北京) 矿井无人化综采工作面数字孪生智能监控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180032138A (ko) * 2016-09-21 2018-03-29 주식회사 지오제니컨설턴트 Vr과 증강현실을 이용한 광산 측량 및 현장 감시 방법
US20190073827A1 (en) * 2017-09-06 2019-03-07 Josen Premium LLC Method and System for Converting 3-D Scan Displays with Optional Telemetrics, Temporal and Component Data into an Augmented or Virtual Reality BIM
KR101944823B1 (ko) * 2018-06-07 2019-02-07 (주)영신디엔씨 증강현실 및 가상현실을 이용한 위치기반 지하시설물 탐지 시스템
CN111208759A (zh) * 2019-12-30 2020-05-29 中国矿业大学(北京) 矿井无人化综采工作面数字孪生智能监控系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554163A (zh) * 2022-04-25 2022-05-27 深圳酷源数联科技有限公司 煤矿井下作业监视系统
CN114554163B (zh) * 2022-04-25 2022-08-19 深圳酷源数联科技有限公司 煤矿井下作业监视系统
CN115908728A (zh) * 2022-11-08 2023-04-04 宁夏沁瑞矿山设备有限公司 一种智能煤矿井下监控系统、方法、终端设备及存储介质

Also Published As

Publication number Publication date
CN113746936B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Zollmann et al. Augmented reality for construction site monitoring and documentation
CN103389699B (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
CN113746936B (zh) 一种vr与ar分布式协作的综采工作面智能监控系统
Zollmann et al. Flyar: Augmented reality supported micro aerial vehicle navigation
CN111633644A (zh) 一种结合智能视觉的工业机器人数字孪生系统及其运行方法
CN109828658B (zh) 一种人机共融的远程态势智能感知系统
CN103481285B (zh) 基于现实虚拟技术的高压带电作业机器人控制系统及方法
US20220351390A1 (en) Method for generating motion capture data, electronic device and storage medium
CN106598226A (zh) 一种基于双目视觉和深度学习的无人机人机交互方法
CN107665505B (zh) 基于平面检测实现增强现实的方法及装置
CN106341667A (zh) 基于无人机的三维全景视频远程监控系统及图像采集控制方法
CN111028267B (zh) 一种移动机器人单目视觉跟随系统及跟随方法
CN111337037B (zh) 移动激光雷达slam制图装置及数据处理方法
CN104656893A (zh) 一种信息物理空间的远程交互式操控系统及方法
CN214912972U (zh) 搭载于机械狗的ai的计算机视觉消防监测和识别系统
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
CN108828996A (zh) 一种基于视觉信息的机械臂遥操作系统及方法
CN111666876A (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
JP2015118442A (ja) 情報処理装置、情報処理方法およびプログラム
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
Li et al. Depth camera based remote three-dimensional reconstruction using incremental point cloud compression
CN108375979A (zh) 基于ros的自动导航机器人通用控制系统
CN114972818A (zh) 一种基于深度学习与混合现实技术的目标锁定系统
CN202003298U (zh) 三维无标定显示交互装置
CN114800524B (zh) 一种人机交互协作机器人主动避碰的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant