CN113840008A - 采煤机沉浸式远程操控装置、采煤机远程操控系统和方法 - Google Patents

Abstract

本发明涉及一种采煤机沉浸式远程操控装置、采煤机远程操控系统和方法，所述装置包括六自由度运动平台和固定于其上的座舱，座舱内设有振动座椅、控制台总控系统和与控制台总控系统通信连接的视频、音频系统，控制台总控系统设有地面集控中心通信接口、仪表板和远程操作台；采煤机的电控系统、井下集控中心、地面集控中心和控制台总控系统依次通信连接，采煤机上的多种类型传感器包括三维姿态传感器、机身摄像头和音频识别传感器；用视频、音频系统实时播放工作视频、音频，用六自由度运动平台模拟采煤机的姿态。本发明能为操作人员提供更加全面的综采工作面信息和身临其境的操作环境，方便操作人员准确、安全地远程操控井下开采设备。

Description

采煤机沉浸式远程操控装置、采煤机远程操控系统和方法

技术领域

本发明涉及一种基于六自由度平台的无人综采工作面采煤机的地面沉浸式远程操控装置、系统和方法，属于无人工作面采煤设备操控技术领域。

背景技术

煤矿井下综采工作面地质条件复杂，环境恶劣，安全性差。为了提升煤矿智能化和安全水平，开采的智能化、无人化成为主要的发展方向。目前综采工作面以井下少人化自动运行+地面远程干预的方式逐渐推广开来，正在推行的有人监控的远程开采技术可以很好的将操作人员从危险场合解放出来，提高人员安全性和生产效率。但是地面操作人员仅仅依靠视频画面和显示数值确认现场工况，不能全面地感受到井下工作面的实际工况，也就不能全面掌握现场的真实情况，因此现有常态化运行的远程控制工作面都离不开人工跟机巡视。

发明内容

本发明旨在提供一种采煤机沉浸式远程操控装置、采煤机远程操控系统和方法，能为地面的远程操作人员提供更加全面的综采工作面信息和身临其境的操作环境，方便操作人员准确、安全地远程操控井下开采设备。

本发明的主要技术方案有：

一种采煤机沉浸式远程操控装置，包括六自由度运动平台和固定安装在六自由度运动平台上的座舱，所述座舱内设置有振动座椅、控制台总控系统和与所述控制台总控系统通信连接的视频系统和音频系统，所述控制台总控系统设有地面集控中心通信接口、仪表板和针对综采工作面设备的远程操作台。

所述视频系统优选设有沉浸投影弧幕和至少三台投影仪以及融合矫正设备。

所述视频系统可以采用3D成像技术成像，同时配备偏振立体眼镜。

所述座舱可以为半封闭式座舱或全封闭式座舱，对于所述座舱为全封闭式座舱的情况，所述座舱本体上还优选安装受控制台总控系统控制的灯光系统、温控系统和新风系统。

所述六自由度运动平台包括上平台、下平台和连接在上、下平台之间的6根可自由伸缩的驱动杆，所述驱动杆的两端与上、下平台之间均为铰接，所述驱动杆优选采用线性电动缸。

一种采煤机远程操控系统，包括采煤机、井下集控中心、地面集控中心和所述的采煤机沉浸式远程操控装置，采煤机的电控系统、井下集控中心、地面集控中心和采煤机沉浸式远程操控装置的控制台总控系统依次通信连接，采煤机上设有多种传感器，这些传感器的信号输出端接入采煤机的电控系统，多种传感器包括三维姿态传感器、机身摄像头和音频识别传感器。

所述音频识别传感器优选为内置于机身摄像头中。

多种类型传感器还优选包括摇臂振动传感器。

一种采煤机远程操控方法，通过在井下设置多种类型传感器实时采集采煤机的工作信息，采煤机的电控系统接收这些工作信息并对其进行解析处理后得到与多种类型传感器一一对应的检测结果数据，检测结果数据依次经过井下集控中心和地面集控中心传输到所述采煤机沉浸式远程操控装置的控制台总控系统，所述多种类型传感器包括三维姿态传感器、机身摄像头和音频识别传感器，检测结果数据包括三维姿态、工作视频和工作音频数据，控制台总控系统将工作视频和工作音频分别输出到视频系统和音频系统进行实时播放，当采煤机的三维姿态连续变化时，控制台总控系统控制六自由度运动平台进行动作，模拟采煤机的三维姿态，使座椅的三维倾角按采煤机实际三维倾角等比例减小，且动作后自动恢复。

音频系统播放的音频是采用基于多麦克风的音频阵列采集技术合成的空间音频。

所述多种类型传感器还优选包括摇臂振动传感器，相应的检测结果数据还包括采煤机的摇臂振动数据，当采煤机的摇臂振动数据发生连续异常变化时，控制所述六自由度运动平台振动，使六自由度运动平台的振动加速度按照摇臂振动加速度等比例减小，且动作后自动恢复。

提前录制并存储异常工况时的声音，控制台总控系统结合摇臂振动数据和工作视频判断采煤机当前工况，当判断结果是存在异常工况时，在工作音频基础上叠加对应的异常工况时的声音，并通过音频系统播放，所述异常工况包括截割电机电流急剧变化、滚筒割碰支架顶护板。

本发明的有益效果是：

本发明通过六自由度运动平台对采煤机的三维姿态进行模拟再现，使远程操控人员工作时所在的座舱具备了六自由度体感和冲击振动提示功能，增强了动感逼真度，再配合综采工作面的视频和音频的同步播放，为操作人员提供身临其境的操作环境，使操控人员能够实现浸入式的实景操作，不易受外界干扰，既提高了安全操作水平，又提高了操控的精准度。

本发明通过实时采集采煤机的振动数据，捕捉采煤机发生较为强烈冲击振动的状态，通过控制六自由度平台的动作在座舱上实现对采煤机振动状态的模拟，同时按照采煤机的振动加速度等比例下调座椅的振动加速度，让操控人员真实体验振动的同时，避免振动冲击导致远程操控人员身体不适。

本发明通过将采煤机的振动数据和工作视频相结合，判断出采煤机的异常工况，并将提前录制的异常工况时的工作现场音频叠加到机身摄像头采集的音频中，一起通过音频系统播放，进一步增强远程操控装置对异常工况的提示作用，确保安全。

附图说明

图1是本发明的远程操控装置的沉浸式操作台构成图；

图2是所述六自由度运动平台的一个实施例的结构组成示意图；

图3是综采工作面倾角α示意图；

图4是综采工作面俯仰角β示意图；

图5是本发明的采煤机远程操控系统的结构组成示意图。

具体实施方式

本发明公开了一种采煤机沉浸式远程操控装置(可简称为远程操控装置)，如图1、2、3、4所示，包括六自由度运动平台和固定安装在六自由度运动平台上的座舱。六自由度运动平台是该远程操控装置的动力系统和机械安装基础，通常设置在地面上，例如煤矿安全调度室内。所述座舱内设置有振动座椅、控制台总控系统和与所述控制台总控系统通信连接的视频系统和音频系统，所述控制台总控系统设有地面集控中心通信接口、仪表板和针对综采工作面设备的远程操作台。仪表板用于显示综采工作面设备的关键状态参数信息，例如实时显示温度、压力、速度、电流等监测数据，以及相关设备的警告和故障信息等。操作台用于远程操作综采工作面设备。

视频系统和音频系统分别用于播放综采工作面设备(主要包括井下采煤机)工作的视频和音频。六自由度运动平台带动振动座椅用于适时模拟采煤机的三维姿态变化(采煤机的三维姿态通常用采煤机的俯仰角α、滚转角β和偏航角γ表示)。通过所述远程操控装置实现了多感官的整合，使远程操控人员能够身临其境地远程控制综采设备，并提高安全操作水平。

所述视频系统可以包括沉浸投影弧幕和至少三台投影仪以及融合矫正设备。所述视频系统采用多通道投影技术，将综采工作面的工作视频图像投影到弧幕上。

所述视频系统也可以采用3D成像技术成像，同时配备偏振立体眼镜，远程操控人员戴上该眼镜可看到更为逼真的工作视频。

所述音频系统优选采用立体环绕音响播放空间音频，以远程操作人员为中心，在座舱内通过3D环绕立体声技术再现生产现场的声音效果，再配合应用了环视显示技术的视频系统，可以为远程操控人员提供更身临其境的体验。

所述座舱的主体结构是座舱本体，座舱本体包括座舱骨架、外饰和内饰等。所述座舱骨架优选采用框架式焊接结构，具有重量轻、体积小等特点。座舱本体为振动座椅、控制台总控系统硬件、视频系统设备、音频系统设备等提供安装基础和安装空间。

所述座舱可以为半封闭式座舱或全封闭式座舱。半封闭式座舱的优点是操作人员能够观察外部环境，例如能观看到调度室内的显示屏，但缺点是容易被外界干扰，不能专注操作采煤机。全封闭式座舱可以隔绝外部操作环境，避免外界干扰，相应地所述座舱本体上优选安装有受控制台总控系统控制的灯光系统、温控系统和新风系统。灯光系统包括照明灯和指示灯，前者主要用于座舱内的照明，后者主要用于指示座舱的操作状态。灯光系统、温控系统和新风系统的控制按键等可以设置在操作台上，灯光系统、温控系统和新风系统的状态和参数等可以显示在仪表板和/或显示系统中。

如图2所示，所述六自由度运动平台包括上平台4、下平台3和连接在上、下平台之间的6根可自由伸缩的驱动杆1，所述驱动杆的两端与上、下平台之间均为铰接，相应的铰链2可以采用球铰或虎克铰。下平台也称表平台，是整个六自由度运动平台的底座。上平台为运动平台，用于承载负载，与座舱做协同运动。6根驱动杆是六自由度运动平台的动力系统，它们的不同伸缩动作组合，可以使上平台相对下平台实现横移、纵移、升降、横滚、俯仰、偏航6个自由度的运动以及它们的组合运动，具体是控制台总控系统将连续变化的姿态曲线转变为各驱动杆连续伸缩变化的位移曲线，将此位移与时间关系的曲线输入到六自由度运动平台的控制器中，使各驱动杆动作，由此实现六自由度运动平台对采煤机的姿态的模拟。

作为优选技术方案，6根驱动杆结构完全相同，且呈圆周分布。

所述驱动杆优选采用线性电动缸。所述线性电动缸包括交流伺服电机、丝杠和行星减速机构，交流伺服电机的输出轴经行星减速机构连接所述丝杠，伺服电机输出的扭矩最终转变成线性驱动力，实现驱动杆的伸缩运动。采用电动缸驱动具有动力大、动作响应快、灵敏度高、清洁卫生等特点，相比于液压驱动系统，安装和维护成本显著降低、性能提高、且功耗更低。所述线性电动缸采用AC220V/380V电源供电。

所述六自由度运动平台优选采用功能强大但体积较小的数控系统和伺服电机驱动器，以便将整个运动控制电气系统放入设备内部，减小设备整体和体积。本实施例中，所述六自由度运动平台选用倍福C6015-0010型控制器作为整个系统的控制核心(控制系统)，使用TwinCAT控件实现工控机与运动控制器及数控系统的通信。

操作台上的控制类设备应采用背光照明方式，以便在低照度光源下方便对控制类设备的识别和操作。

相比于只能看到涉及采煤机姿态的数据信息，采用本发明的远程操控装置还可以通过操控人员的身体感觉体验到采煤机的姿态变化以及振动冲击，并且是伴随声音特征的姿态变化及振动冲击，所提供的信息更全面、更直观，有利于远程操控人员完成更精准和安全的操作。

本发明还公开了一种采煤机远程操控系统，如图5所示，包括采煤机、井下集控中心、地面集控中心和所述采煤机沉浸式远程操控装置，采煤机的电控系统、井下集控中心、地面集控中心和采煤机沉浸式远程操控装置的控制台总控系统依次通信连接，采煤机上设有多种类型传感器，这些传感器的信号输出端接入采煤机的电控系统，多种类型传感器至少包括三维姿态传感器、机身摄像头和音频识别传感器。

所述传感器用于检测采煤机的工作情况信息。例如三维姿态传感器可用于检测采煤机在空间直角坐标系下的三个倾角，三维姿态传感器可以采用惯性陀螺仪，且优选安装在采煤机电控箱的中心位置；机身摄像头可用于采集采煤机的工作视频信息，主要包括左右滚筒部和机身主电缆部等位置的工作视频信息。音频识别传感器可用于采集采煤机的工作音频信息。

所述音频识别传感器优选内置于机身摄像头中，可以减少电控箱外布置电缆，提高可靠性。

所述多种类型传感器还优选包括摇臂摆角传感器和摇臂振动传感器，这两种传感器分别用于检测采煤机摇臂的摆角和振动，为远程操控装置提供采煤机摇臂的振动加速度(或振动频率)和振动幅度信息，以便对采煤机的异常振动和冲击进行模拟，方便远程操控人员及时观察到相应数据和状态信息。音频识别传感器当与振动传感器配合时，可共同识别异常工况。

采煤机开采过程中前后滚筒碰到支撑架或坚硬物时都容易引起异常振动和冲击。对采煤机的异常振动和冲击进行模拟最终集中反应在振动座椅上。基于振动座椅和六自由度运动平台实现振动反馈和姿态随动，通过座椅振动提示异常情况、故障告警或者其他信息，可以避免远程操控人员因为视觉观察不全面导致关键信息丢失或误判设备运行状态。

所述多种类型传感器还可以包括位置编码器，位置编码器通常安装在采煤机牵引部上，可用于检测采煤机在牵引方向上的行走速度和位移。

本发明还公开了一种采煤机远程操控方法，通过在井下设置多种类型传感器实时采集采煤机的工作信息，采煤机的电控系统接收这些工作信息并对其进行解析处理后得到与多种类型传感器一一对应的检测结果数据，检测结果数据依次经过井下集控中心和地面集控中心传输到所述远程操控装置的控制台总控系统。所述多种类型传感器至少包括三维姿态传感器、机身摄像头和音频识别传感器，相应地检测结果数据至少包括采煤机的三维姿态、工作视频和工作音频数据。控制台总控系统将工作视频和工作音频分别输出到视频系统和音频系统进行实时播放。为避免或减少远程操控人员疲劳，仅当采煤机的三维姿态连续变化时，控制台总控系统控制六自由度运动平台进行动作，模拟采煤机的三维姿态。并且使座椅的三维倾角按采煤机实际三维倾角等比例减小，以减轻操控人员的不适感，动作后自动恢复。所述比例可以根据实际情况调校。

可以判断采煤机的三维姿态变化加速度是否超过阈值，如果超过阈值则认为三维姿态发生了连续变化。

机身摄像头有多个，分散且各自相对采煤机的安装位置固定，采用基于多麦克风的音频阵列采集技术合成空间音频，可以使声音效果更逼真，再通过音频系统播放该空间音频。

所述多种类型传感器还优选包括摇臂摆角传感器和摇臂振动传感器，相应的检测结果数据还包括采煤机的摇臂摆角数据和摇臂振动数据。为避免操作人员疲劳，仅当采煤机的摇臂振动数据发生连续异常变化时，控制所述六自由度运动平台振动，且动作后自动恢复。不仅如此，控制六自由度平台振动时使六自由度运动平台的振动加速度按照摇臂振动加速度等比例减小，当采煤机存在冲击振动时，六自由度运动平台的动作既能体现该冲击振动的影响，又不至于导致远程操控人员的不适。所述比例可以根据实际情况调校。

所述摆臂摆角传感器用于测量采煤机摇臂的摆动角度，由这个角度可以计算出滚筒的高度。

进一步地，可提前录制并存储异常工况时的声音，控制台总控系统结合摇臂振动数据和工作视频判断采煤机当前工况，当判断结果是存在异常工况时，在工作音频基础上叠加与该异常工况相对应的异常工况时的声音，并通过音频系统播放叠加后的音频。所述异常工况可以包括截割电机电流急剧变化、滚筒割碰支架顶护板等。采煤机处于异常工况时，音频识别传感器采集的音频信息中已经包含了异常工况时的声音，在此基础上叠加提前录制的异常工况时的声音，可以进一步增强远程操控装置对异常工况的提示作用，确保安全。

Claims (12)

1.一种采煤机沉浸式远程操控装置，其特征在于：包括六自由度运动平台和固定安装在六自由度运动平台上的座舱，所述座舱内设置有振动座椅、控制台总控系统和与所述控制台总控系统通信连接的视频系统和音频系统，所述控制台总控系统设有地面集控中心通信接口、仪表板和针对综采工作面设备的远程操作台。

2.如权利要求1所述的采煤机沉浸式远程操控装置，其特征在于：所述视频系统设有沉浸投影弧幕和至少三台投影仪以及融合矫正设备。

3.如权利要求2所述的采煤机沉浸式远程操控装置，其特征在于：所述视频系统采用3D成像技术成像，同时配备偏振立体眼镜。

4.如权利要求1所述的采煤机沉浸式远程操控装置，其特征在于：所述座舱为半封闭式座舱或全封闭式座舱，对于所述座舱为全封闭式座舱的情况，所述座舱本体上还安装有受控制台总控系统控制的灯光系统、温控系统和新风系统。

5.如权利要求1、2、3或4所述的采煤机沉浸式远程操控装置，其特征在于：所述六自由度运动平台包括上平台、下平台和连接在上、下平台之间的6根可自由伸缩的驱动杆，所述驱动杆的两端与上、下平台之间均为铰接，所述驱动杆采用线性电动缸。

6.一种采煤机远程操控系统，其特征在于：包括采煤机、井下集控中心、地面集控中心和权利要求1-5中任意一项权利要求所述的采煤机沉浸式远程操控装置，采煤机的电控系统、井下集控中心、地面集控中心和采煤机沉浸式远程操控装置的控制台总控系统依次通信连接，采煤机上设有多种类型传感器，这些传感器的信号输出端接入采煤机的电控系统，多种传感器包括三维姿态传感器、机身摄像头和音频识别传感器。

7.如权利要求6所述的采煤机远程操控系统，其特征在于：所述音频识别传感器内置于机身摄像头内。

8.如权利要求6或7所述的采煤机远程操控系统，其特征在于：多种类型传感器还包括摇臂振动传感器。

9.一种采煤机远程操控方法，其特征在于：通过在井下设置多种类型传感器实时采集采煤机的工作信息，采煤机的电控系统接收这些工作信息并对其进行解析处理后得到与多种类型传感器一一对应的检测结果数据，检测结果数据依次经过井下集控中心和地面集控中心传输到权利要求1-5中任意一项权利要求所述的采煤机沉浸式远程操控装置的控制台总控系统，所述多种类型传感器包括三维姿态传感器、机身摄像头和音频识别传感器，检测结果数据包括三维姿态、工作视频和工作音频数据，控制台总控系统将工作视频和工作音频分别输出到视频系统和音频系统进行实时播放，当采煤机的三维姿态连续变化时，控制台总控系统控制六自由度运动平台进行动作，模拟采煤机的三维姿态，使座椅的三维倾角按采煤机实际三维倾角等比例减小，且动作后自动恢复。

10.如权利要求9所述的采煤机远程操控方法，其特征在于：音频系统播放的音频是采用基于多麦克风的音频阵列采集技术合成的空间音频。

11.如权利要求9或10所述的采煤机远程操控方法，其特征在于：所述多种类型传感器还包括摇臂振动传感器，相应的检测结果数据还包括采煤机的摇臂振动数据，当采煤机的摇臂振动数据发生连续异常变化时，控制所述六自由度运动平台振动，使六自由度运动平台的振动加速度按照摇臂振动加速度等比例减小，且动作后自动恢复。

12.如权利要求11所述的采煤机远程操控方法，其特征在于：提前录制并存储异常工况时的声音，控制台总控系统结合摇臂振动数据和工作视频判断采煤机当前工况，当判断结果是存在异常工况时，在工作音频基础上叠加对应的异常工况时的声音，并通过音频系统播放，所述异常工况包括截割电机电流急剧变化、滚筒割碰支架顶护板。

Images