CN114827673A - 无人设备及其远程控制系统 - Google Patents

无人设备及其远程控制系统 Download PDF

Info

Publication number
CN114827673A
CN114827673A CN202210450426.1A CN202210450426A CN114827673A CN 114827673 A CN114827673 A CN 114827673A CN 202210450426 A CN202210450426 A CN 202210450426A CN 114827673 A CN114827673 A CN 114827673A
Authority
CN
China
Prior art keywords
data
equipment
sound
camera
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210450426.1A
Other languages
English (en)
Other versions
CN114827673B (zh
Inventor
叶耀川
李宝安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Northern Sky Long Hawk Uav Technology Co ltd
Original Assignee
Beijing Northern Sky Long Hawk Uav Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Northern Sky Long Hawk Uav Technology Co ltd filed Critical Beijing Northern Sky Long Hawk Uav Technology Co ltd
Priority to CN202210450426.1A priority Critical patent/CN114827673B/zh
Publication of CN114827673A publication Critical patent/CN114827673A/zh
Application granted granted Critical
Publication of CN114827673B publication Critical patent/CN114827673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提供了一种无人设备及其远程控制系统。该无人设备包括:设备本体;影像设备,安装于设备本体上;设备声音模组,包括:拾音器,安装于设备本体上;声电转换装置,电性连接于拾音器;设备状态监测装置,安装于设备本体上;设备数据同步装置,电性连接于影像设备、声电转换装置、设备状态监测装置,其将环境影像数据、环境声音数据、设备状态数据合成编码为同步上传数据;设备通信装置,电性连接于设备数据同步装置,并通过公共数据网络电性连接至远程控制系统。本发明可以将无人设备侧所有监测数据及音/视频实时同步传输到远程控制中心,以满足远程控制中心听、说、看及操作控制的需求。

Description

无人设备及其远程控制系统
技术领域
本发明涉及无人设备控制技术领域,尤其涉及一种无人设备及其远程控制系统。
背景技术
交通运输智能化已经成为全球技术推广应用的热点,尤其是在船舶方向。由于恶劣环境与有限条件致使船员流失日益加剧,减少或取消直接在船舶上工作已成为大势所趋。
然而,在传统无人船应用中,影像数据、声音数据、设备状态数据通过不同的信道进行传输,导致在远程控制中心获得的数据不同步,环境影像、环境声音、设备状态在时间上不同步,严重影响了远程控制人员对操控设备的外界环境、自身状态的判断。此外,摄像头的布置并不合理,远程控制人员无法获得船体外界环境的整体认知。其他无人设备,例如无人机也存在类似问题。
发明内容
(一)要解决的技术问题
本发明以期至少部分地解决以上技术问题中的至少之一。
(二)技术方案
为了实现如上目的,根据本发明的一个方面,提供了一种无人设备,包括:设备本体;影像设备,安装于设备本体上,其实时获取环境影像数据;设备声音模组,包括:拾音器,安装于设备本体上;声电转换装置,电性连接于拾音器,其将拾音器捕捉的声音转换为环境声音数据;设备状态监测装置,安装于设备本体上,其实时获取无人设备的设备状态数据;设备数据同步装置,电性连接于影像设备、声电转换装置、设备状态监测装置,其将环境影像数据、环境声音数据、设备状态数据合成编码为同步上传数据;设备通信装置,电性连接于设备数据同步装置,并通过公共数据网络电性连接至远程控制系统,其将同步上传数据上传至远程控制系统。
在本发明的一些实施例中,无人设备为无人船;设备本体为船本体;影像设备包括:前摄像头,朝向船艏;后摄像头,朝向船艉;左摄像头,朝向船本体的左侧;右摄像头,朝向船本体的右侧;无人船还包括:影像合成装置,电性连接至前摄像头、左摄像头、右摄像头、后摄像头,其将四者所获得的环境影像数据合成环境鸟瞰影像数据;数据同步装置电性连接至影像合成装置,在数据同步装置合成同步上传数据的数据中,环境影像数据为环境鸟瞰影像数据。
在本发明的一些实施例中,前摄像头,设置于船本体的船头,包括:前主摄像头,朝向船本体的正前方,前左、前右辅摄像头,分别朝向船本体的前方左侧和前方右侧,其中,前主摄像头、前左辅摄像头、前右辅摄像头位于同一水平面上;左摄像头、右摄像头、后摄像头设置于船本体的艉楼上,三者的高度高于前摄像头的高度;其中,影像合成装置在合成环境鸟瞰影像数据的过程中,前主摄像头、前左辅摄像头、前右辅摄像头、左摄像头、右摄像头、后摄像头的数据合成比例为20%:10%:10%:20%:20%:20%。
在本发明的一些实施例中,无人船还包括:数据延时探测装置,电性连接至设备通信装置,其探测同步上传数据发送至远程控制系统的数据延时t;对于影像合成装置:
当t<T1时,按照分辨率R1合成船体环境鸟瞰影像;
当T1≤t<T2时,采用分辨率R2合成船体环境鸟瞰影像;
当T2≤t<T3时,将前主摄像头、前左辅摄像头、前右辅摄像头所获得的环境影像合成船体前视野立体影像数据,利用其替代环境鸟瞰影像数据;
当T≥T3时,不进行环境影像数据合成,环境影像数据为单一的前主摄像头实时获取的环境影像数据,利用其替代船体环境鸟瞰数据;
其中,T1、T2、T3分别为预设的第一延时阈值、第二延时阈值、第三延时阈值,分辨率R2小于分辨率R1。
在本发明的一些实施例中,公共数据网络包括:通用数据网和卫星数据网;设备通信装置具有两种网络选择模式:人工模式、自动模式;在人工模式中,设备通信装置依照远程控制系统下传的网络选择指令选择网络;在自动模式中,默认采用通用数据网络,当t≥T4时,自动切换至卫星数据网络,其中,T4为预设的第四延时阈值,T4>T3;其中,通用数据网络按照以下优先级顺序进行选择:5G网络、4G网络、3G网络;卫星数据网为北斗通信网络。
在本发明的一些实施例中,设备通信装置还接收远程控制系统下传的同步下传数据,设备数据同步装置还从同步下传数据中解析出语音广播数据和指令控制数据;设备数据同步装置还电性连接至声电转换装置;声电转换装置将语音广播数据转换为语音模拟信号,设备声音模组还包括:喊话喇叭,电性连接至声电转换装置,其将语音模拟信号通过声音形式向环境进行广播;无人设备还包括:无人设备控制装置,电性连接至设备数据同步装置,其利用指令控制数据对无人设备的行进路径、模式和姿态进行控制。
在本发明的一些实施例中,影像设备通过网络接口连接至设备数据同步装置;设备状态监测装置和无人设备控制装置通过串口服务器连接至设备数据同步装置;声电转换装置通过网络接口连接至设备数据同步装置。
在本发明的一些实施例中,设备通信装置为具有加解密功能的设备VPN通信装置,远程控制系统包括:具有加解密功能的远程VPN通信装置;设备VPN通信装置通过公共数据网络与远程VPN通信装置建立VPN保密网络,同步上传数据在VPN保密网络中进行保密传输。
为了实现如上目的,根据本发明的第二个方面,还提供了一种无人设备的远程控制系统,用于对上述无人设备进行远程控制,包括:远程通信装置,通过公共数据网络连接至无人设备的设备通信装置;远程控制主机,电性连接至远程通信装置,其由远程通信装置接收的同步上传数据解析出:环境影像数据、环境声音数据、设备状态数据;环境影像显示屏,电性连接至远程控制主机,其展示环境影像数据;远程声音模组,包括:声电转换装置,电性连接至远程控制主机;扬声器,电性连接至声电转换装置,其将声电转换装置转换后的环境进行播放;设备在线实时监测显示屏,电性连接至远程控制主机,其展示无人设备的设备状态数据。
在本发明的一些实施例中,还包括:远程控制装置,其将远程控制人员的控制指令转换为指令控制数据;远程声音模组还包括:话筒;声电转换装置,电性连接至话筒,其将话筒捕捉远程控制人员的语音转换语音广播数据;远程控制主机,电性连接至远程控制装置和声电转换装置,其将以下数据编码合成为同步下传数据:语音广播数据、指令控制数据;远程通信装置,还将同步下传数据下传至无人设备。
(三)有益效果
从上述技术方案可知,本发明至少具有以下有益效果其中之一:
(1)将无人设备获取的环境影像数据、环境声音数据、设备状态数据进行统一的合成编码,由设备通信装置通过公共数据网络统一上传至远程控制系统。
通过上述方式,实现了环境影像数据、环境声音数据、设备状态数据的同速、同延时传输,以满足远程控制中心听、说、看及操作控制对时间差的要求,避免了远程控制人员看到的环境影像、听到的环境语音、接收到的设备状态在时间上不一致的缺陷,有利于远程控制人员对于无人设备所处环境、实时状态有正确了解,从而可以做出正确的操控动作。
(2)通过船基VPN通信装置和远程VPN通信装置建立VPN网络,两模组同时具有对数据进行加解密功能,从而实现数据安全可靠的远程传输,且充分利用现有公共数据网络络框架达到了降低传输改造费用的效果。
(3)在远程控制中心通过话筒喊话后,声电转换装置将接收到的电信号转换为语音广播数据后通过远程数据同步装置和远程通信装置回传给无人设备,由喊话喇叭实现语音远程广播。由此可以实现无人设备与远程控制系统在监测控制数据、音/视频数据安全可靠的实时同步交互,以满足无人设备在远程控制中心听、说、看及操作控制的相互协调需求。
(4)摄像头、声电转换装置、设备状态监测装置分别通过不同的接口与设备数据同步装置相连接,与现有的设备相兼容,增强了无人设备设置的灵活性,降低了方案的实施成本。
(5)在设备本体前段设置前摄像头,可以很方便地观察无人设备行进前方的环境,三个前摄像头大大提升了正前方向的视野范围,在设备本体中段设置后、左、右摄像头,该三个摄像头与前摄像头共同构成影像设备,合成环境鸟瞰影像,可以令远程操控人员很方便地了解无人设备周边的整体环境。
后、左、右摄像头位于同一安装平面上,有利于多个摄像头的安装与维修保养,还有利于后续生成环境鸟瞰影像时图像的对准。同时,相比于一并发送多个摄像头的影像,直接发送环境鸟瞰影像数据,减少了数据传输量,增强了远程人员对环境的整体认知效果。
(6)通过上传数据延时探测模块获知数据延时,当延时小时,传输高分辨率的船体环境鸟瞰影像;当延时较大时,降低船体环境鸟瞰影像的分辨率;当延时再大时,由船体前视野立体影像数据代替船体环境鸟瞰影像;在延时非常不理想时,直接用前摄像头的环境影像进行传输,能够最大限度的保证数据传输的实时性,同时能够使远程控制人员对外界环境有最大限度的了解。
(7)在默认状态下,采用通用数据网络来进行数据传输;在通用数据网络不能满足要求或者不可用时,采用卫星数据网络进行数据传输,增强了无人船在各种环境下的适应能力。
(8)充分利用现有网络框架做到改造费用低,应用不受距离限制。此外,该系统数据传输安全可靠,可广泛应用于无人船远程控制。
附图说明
图1为本发明实施例无人船及其对应的远程控制系统的功能结构示意图。
图2A和图2B分别为图1中无人船的左视图和俯视图。
图3为图1所示无人船中影像合成装置中生成环境影像数据的逻辑图。
【附图中主要元件符号说明】
100,无人船;
111,前摄像头;
111a,前主摄像头;111b,前左辅摄像头;111c,前右辅摄像头;
112,后摄像头;113,左摄像头;114,右摄像头;
119数据延时探测装置;118,影像合成装置;119,数据延时探测装置;
121,设备状态监测装置;122,船舶控制装置;123,串口服务器;
130,船基声音模组;
131,拾音器;132,声电转换装置;133,喊话喇叭;
150,船基数据同步装置;
160,船基通信装置;
200,远程控制系统;
210,环境影像显示屏;
221,设备在线实时监测显示屏;222,岸基控制装置;223,控制指令下发显示屏;
230,远程声音模组;231,声电转换装置;232,扬声器;233,话筒;
250,岸基控制主机;
260,岸基通信装置;
300,公共通信网络。
具体实施方式
本发明将无人设备获取的环境影像数据、环境声音数据、设备状态数据进行统一的合成编码,由设备通信装置通过公共数据网络统一上传至远程控制系统,实现了环境影像数据、环境声音数据、无人船状态数据的同速、同延时传输,以满足远程控制中心听、说、看及操作控制对时间差的要求
在描述问题的解决方案之前,先定义一些特定词汇是有帮助的。
本发明中,无人设备可以是无人机或者无人船。在下文中主要以无人船为例进行说明,但本领域技术人员应当理解,本发明同样可以应用于无人机等设备,同样应当在本发明的保护范围之内。
本发明中,公共数据网络包括:通用数据网络和卫星数据网络。对于通用数据网络,下文中主要以5G网络进行说明,但本领域技术应当理解,除了5G网络之外,4G、3G等可以传输数据的网络同样适用,同样应当在本发明的保护范围之内。
为使本发明的目的、技术方案和优点更加清楚明白,下文结合具体实施例,并参照附图,对本发明进一步详细说明。
在本发明的一个示例性实施例中,提供了一种无人船。图1为本发明实施例无人船及其对应的远程控制系统的功能结构示意图。图2A和图2B分别为图1中无人船的左视图和俯视图。如图1所示,本实施例无人船100包括:
船本体;
影像设备,安装于船本体上,其实时获取环境影像数据;
设备状态监测装置121,安装于船本体上,其实时获取无人船的设备状态数据;
船基声音模组130,包括:拾音器131,安装于船本体上;声电转换装置132,电性连接于拾音器,其将拾音器捕捉的声音转换为环境声音数据;
船基数据同步装置150,电性连接于影像设备、声电转换装置132、设备状态监测装置121,其将以下数据编码合成为同步上传数据:环境影像数据、环境声音数据、设备状态数据;
船基通信装置160,电性连接于船基数据同步装置,并通过公共数据网络电性连接至远程控制系统,其将同步上传数据上传至所述远程控制系统。
本实施例中,针对传统无人船中,影像数据、声音数据、设备状态数据通过不同的信道进行传输,导致在远程控制中心获得的数据不同步,环境影像、环境声音、设备状态在时间上不同步的技术问题,将无人船获取的环境影像数据、环境声音数据、设备状态数据进行统一的合成编码,由船基通信装置通过公共数据网络统一上传至远程控制系统。
通过上述方式,实现了环境影像数据、环境声音数据、设备状态数据的同速、同延时传输,以满足远程控制中心听、说、看及操作控制对时间差的要求,使得远程控制人员看到的环境影像、听到的环境语音、接收到的设备状态在时间上同步一致,有利于远程控制人员对于无人船所处环境、实时状态有正确了解,从而可以做出正确的操控动作。
同步上传数据在公共数据网络中传输,此时数据安全是一个重要的课题,尤其是在某些特别应用的场合。为了满足数据安全的要求,本实施例中,船基通信装置160为具有加解密功能的设备VPN通信装置。在远程控制系统中,具有加解密功能的远程通信装置260为远程VPN通信装置。VPN通信装置即用于建立虚拟专用连接同时具有对数据进行加密功能的设备。设备VPN通信装置通过公共数据网络与远程VPN通信装置建立VPN保密网络。
其中,船基VPN通信装置通过公共数据网络与远程VPN通信装置配对后构成双向传输,即将同步上传数据加密后传输给远程控制系统进行解密、将同步下传数据加密后传输给无人船进行解密,从而实现数据安全可靠的远程传输,且充分利用现有网络框架达到了降低传输改造费用的效果。
除了向远程控制系统上传系统之后,无人船还会接收远程控制系统下发的同步下传数据,以实现相应的功能,例如:远程喊话、远程控制等。请继续参照图1,本实施例中,船基通信装置160还接收远程控制系统下传的同步下传数据,船基数据同步装置150还从同步下传数据中解析出语音广播数据和指令控制数据
本实施例中,船基数据同步装置150还电性连接至声电转换装置132;声电转换装置132将语音广播数据转换为语音模拟信号,设备声音模组130还包括:喊话喇叭133,电性连接至声电转换装置132,其将语音模拟信号通过声音形式向环境进行广播,从而实现了远程控制人员对无人船所在环境的远程喊话。
本实施例中,无人船还包括:船舶控制装置122,电性连接至船基数据同步装置150,其利用指令控制数据对无人船的行进路径、模式和姿态进行控制,从而实现了远程控制人员对无人船的远程控制。
本实施例中,无人船有多个设备,具体包括:发动机、螺旋桨、方向舵、武器系统等。由于多个设备与船基数据同步装置150相连,如何设置其接口为特别需要解决的问题。影像设备和声电转换装置132均通过网络接口连接至船基数据同步装置150。
此外,本实施例中,无人船中各种设备运行状态所表现出来的为模拟量、开关量等信号量,通过设备状态监测装置121将相关信号量转化为数字量。串口服务器123的作用主要是将数字量转化为网络传输数据,可以极大的扩展通信距离。另一方面,当需要控制设备启动、停止、加速、减速、恒速等运行状态时,船舶控制装置122将接收到的数字量指令转化为模拟量发送到相应设备控制器,用来实现相应控制功能。在这种情况下,串口服务器123的作用主要是将网络传输数据转换为数字指令。
对于每一个通信系统而言,数据延迟都是必须要考虑的问题。在网络条件一定的情况下,对数据进行优化和压缩是解决数据延迟问题的途径。本实施例中,在同步上传数据当中,与环境影像数据相比,环境声音数据和设备状态数据的数据量都较小且可压缩的空间不大。因此,本发明在环境影像数据的处理方面进行了优化。
请参照图2A和图2B,本实施例中,影像设备包括:前摄像头111,朝向船艏;后摄像头112,朝向船艉;左摄像头113,朝向船本体的左侧;右摄像头114,朝向船本体的右侧。前摄像头111设置于所述船本体的船头,进一步包括:前主摄像头111a,朝向船本体的正前方,前左辅摄像头111b、前右辅摄像头111c分别朝向船本体的前方左侧和前方右侧,其中,前主摄像头111a、前左辅摄像头111b,前右辅摄像头111c位于同一水平面上,前左辅摄像头111b,前右辅摄像头111c两者的光学中心轴线与所述前主摄像头的光学中心轴线所成的角度介于30°~45°之间。所述后摄像头112、左摄像头113、右摄像头114设置于船本体的艉楼上,三者的高度高于前摄像头的高度。
其中,所述影像合成装置在合成环境鸟瞰影像数据的过程中,前主摄像头、前左辅摄像头、前右辅摄像头、左摄像头、右摄像头、后摄像头的数据合成比例为20%:10%:10%:20%:20%:20%。
请参照图1,本实施例中,无人船还包括:数据延时探测装置119,电性连接至船基通信装置160,其探测同步上传数据发送至远程控制系统200的数据延时t;影像合成装置118,电性连接至所述前摄像头、左摄像头、右摄像头、后摄像头,用于利用这些摄像头所获取的影像生成的环境影像数据生成发送至船基数据同步装置。
图3为图1所示无人船中影像合成装置中生成环境影像数据的逻辑图。请参照图3,对于影像合成装置118,其按照以下逻辑生成环境影像数据并向船基数据同步装置发送:
步骤A,探测同步上传数据发送至远程控制系统的数据延时t;
步骤B1,当t<T1时,按照分辨率R1合成船体环境鸟瞰影像;
步骤B2,当T1≤t<T2时,采用分辨率R2合成船体环境鸟瞰影像;
步骤B3,当T2≤t<T3时,将前主摄像头、前左辅摄像头、前右辅摄像头所获得的环境影像合成船体前视野立体影像数据,利用其替代所述环境鸟瞰影像数据;
步骤B4,当T3≤t<T4时,不进行环境影像数据合成,所述环境影像数据为单一的所述前主摄像头实时获取的环境影像数据,利用其替代所述船体环境鸟瞰数据;
步骤B5,当t≥T4时,切换至卫星数据网络,所述环境影像数据为单一的所述前主摄像头实时获取的环境影像数据。
其中,T1、T2、T3、T4分别为预设的第一延时阈值、第二延时阈值、第三延时阈值、第四延时阈值,所述分辨率R2小于分辨率R1。
本实施例中,T1设置为200毫秒,T2设置为250毫秒,T3设置为300毫秒,T4设置为400毫秒。R1的分辨率设置为300ppi,R2的分辨率设置为72ppi。
本实施例中,默认情况下,采用通用数据网络来进行数据传输;在通用数据网络不能满足要求或者不可用时,采用卫星数据网络进行数据传输,通用数据网络按照以下优先级顺序进行选择:5G网络、4G网络、3G网络;卫星数据网为北斗通信网络。
本实施例中,通过上传数据延时探测模块获知数据延时,当延时小时,传输高分辨率的船体环境鸟瞰影像;当延时较大时,降低船体环境鸟瞰影像的分辨率;当延时再大时,由船体前视野立体影像数据代替船体环境鸟瞰影像;在延时非常不理想时,直接用前摄像头的环境影像进行传输,能够最大限度的保证数据传输的实时性,同时能够使远程控制人员对外界环境有最大限度的了解。
在默认状态下,采用通用数据网络来进行数据传输;在通用数据网络不能满足要求或者不可用时,采用卫星数据网络进行数据传输,增强了无人船在各种环境下的适应能力。此外,本实施例还设置了人工模块,即设备通信装置依照远程控制系统下传的网络选择指令选择网络,这在一些特别场景下适用。
至此,本发明实施例无人船介绍完毕。
在本发明的另一个实施例中,还提供了一种无人船的远程控制系统。本实施例中有些特征已经在无人船实施例中进行了详细描述,相关内容全部并入本实施例中,作为本实施例的一部分,但在下文中不再重复描述。
对于无人船而言,远程控制系统可以设置在陆地上,也可以设置在另一艘大型的有人舰船上。在本实施例中,远程控制系统设置在岸上的远程控制中心内。远程控制中心内有远程控制人员对无人船进行远程控制。为了便于理解,本实施例中的远程控制系统称之为岸基远程控制系统。
请继续参照图1,无人船的岸基远程控制系统200包括:
岸基通信装置260,通过公共数据网络连接至无人船的船基通信装置;
岸基控制主机250,电性连接至岸基通信装置,其由岸基通信装置接收的同步上传数据解析出:环境影像数据、环境声音数据、设备状态数据;
环境影像显示屏210,电性连接至岸基控制主机,其展示环境影像数据;
设备在线实时监测显示屏221,电性连接至岸基控制主机,其展示无人船各个设备的实时状态;
岸基声音模组230,包括:声电转换装置231,以及与声电转换装置相连接的扬声器232和话筒233。在环境语音播放功能中,扬声器232将声电转换装置转换后的环境进行播放。在远程喊话功能中,声电转换装置231将所述话筒捕捉远程控制人员的语音转换语音广播数据,将其发送至岸基控制主机中。
需要说明的是,虽然本实施例中环境影像显示屏、设备在线实时监测显示屏、控制指令下发屏均为单独设置,即设置单独的实体显示屏,但是在本发明其他实施例中,也可以用一块实体显示屏实现两部分的显示功能,例如,用同一块实体屏同时显示环境影像和设备在线实时状态。
此外,岸基控制系统还包括:岸基控制装置222,其将远程控制人员的控制指令转换为指令控制数据。岸基控制主机250,电性连接至岸基控制装置和声电转换装置,其将以下数据编码合成为同步下传数据:语音广播数据、指令控制数据;岸基通信装置260,还将同步下传数据下传至无人船。
此外,岸基通信装置260为岸基VPN通信装置,其与船基VPN通信装置构成VPN保密网络。
以下对岸基控制系统的整体工作工程进行详细说明。
首先,岸基VPN通信装置260将接收到的同步上传数据校核后进行解密处理,之后发送给岸基控制主机250。岸基控制主机250由岸基通信装置接收的同步上传数据解析出:环境影像数据、环境声音数据、设备状态数据,
其次,岸基控制主机250将环境影像数据、设备状态数据以及其他数据发送到各版块屏幕上进行显示,如环境影像显示屏210、设备在线实时监测显示屏221、控制指令下发屏223等。同时,岸基控制主机250将控制指令下发屏发送的指令回传给岸基通信装置260。
此外,岸基控制主机将环境声音数据发送至声电转换装置231,声电转换装置231将环境声音通过扬声器232进行播放,从而实现了远程监听。同时,在控制中心通过话筒233喊话后,声电转换装置231将声音信号转换为电信号,岸基控制主机250将接收到的电信号转化为数字信号后回传给岸基VPN通信设备260,将其发送至无人船,从而在无人船侧实现远程广播。
通过上述方式,可以实现船基与岸基监测控制数据及音/视频安全可靠的实时同步交互,以满足无人船在控制中心听、说、看及操作控制的相互协调需求。
至此,本发明实施例无人船的远程控制系统街上完毕。
至此,已经结合附图对本发明实施例进行了详细描述。依据以上描述,本领域技术人员应当对本发明有了清楚地认识。
综上所述,本发明提供一种无人设备及其远程控制系统,其不仅可以将无人设备侧所有监测数据及音/视频实时同步传输到远程控制中心,以满足远程控制中心听、说、看及操作控制的需求,而且充分利用现有网络框架做到改造费用低,应用不受距离限制。此外,整个系统数据传输安全可靠,可广泛应用于无人设备远程操控,具有较好的实用价值。
需要说明的是,对于某些实现方式,如果其并非本发明的关键内容,且为所属技术领域中普通技术人员所熟知,则在附图或说明书正文中并未对其进行详细说明,此时可参照相关现有技术进行理解。
进一步地,提供如上实施例的目的仅是使得本发明满足法律要求,而本发明可以用许多不同形式实现,而不应被解释为限于此处所阐述的实施例。此外,上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式,本领域普通技术人员可对其进行简单地更改或替换。
还需要说明的是,实施例中提到的方向用语,例如“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等,仅是参考附图的方向,并非用来限制本发明的保护范围。贯穿附图,相同的元素由相同或相近的附图标记来表示。在可能导致对本发明的理解造成混淆时,将省略常规结构或构造。图中各部件的形状和尺寸不反映真实大小和比例,而仅示意本发明实施例的内容。另外,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语的具体含义。
除非明确指明为相反之意,本发明的说明书及权利要求中的数值参数可以是近似值,能够根据通过本发明的内容改变。具体而言,所有使用于说明书及权利要求中表示组成的含量、反应条件等的数字,应理解为在所有情况中是受到“约”的用语所修饰,其表达的含义是指包含由特定数量在一些实施例中±10%的变化、在一些实施例中±5%的变化、在一些实施例中±1%的变化、在一些实施例中±0.5%的变化。
再者,单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
此外,除非特别描述或必须依序发生的步骤,上述步骤的顺序并无限制于以上所列,且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑,彼此混合搭配使用或与其他实施例混合搭配使用,即不同实施例中的技术特征可以自由组合形成更多的实施例。
应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图,或者对其的描述中。然而,并不应将该发明的方法解释成反映如下意图:所要求保护的本发明需要比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,各个发明方面在于少于前面单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人设备,其特征在于,包括:
设备本体;
影像设备,安装于设备本体上,其实时获取环境影像数据;
设备声音模组,包括:拾音器,安装于设备本体上;声电转换装置,电性连接于所述拾音器,其将所述拾音器捕捉的声音转换为环境声音数据;
设备状态监测装置,安装于设备本体上,其实时获取无人设备的设备状态数据;
设备数据同步装置,电性连接于所述影像设备、声电转换装置、设备状态监测装置,其将环境影像数据、环境声音数据、设备状态数据合成编码为同步上传数据;
设备通信装置,电性连接于所述设备数据同步装置,并通过公共数据网络电性连接至远程控制系统,其将所述同步上传数据上传至所述远程控制系统。
2.根据权利要求1所述的无人设备,其特征在于,所述无人设备为无人船;所述设备本体为船本体;
所述影像设备包括:前摄像头,朝向船艏;后摄像头,朝向船艉;左摄像头,朝向船本体的左侧;右摄像头,朝向船本体的右侧;
所述无人船还包括:影像合成装置,电性连接至所述前摄像头、左摄像头、右摄像头、后摄像头,其将四者所获得的环境影像数据合成环境鸟瞰影像数据;
所述数据同步装置电性连接至所述影像合成装置,在所述数据同步装置合成同步上传数据的数据中,所述环境影像数据为所述环境鸟瞰影像数据。
3.根据权利要求2所述的无人设备,其特征在于,
所述前摄像头,设置于所述船本体的船头,包括:前主摄像头,朝向船本体的正前方,前左、前右辅摄像头,分别朝向船本体的前方左侧和前方右侧,其中,前主摄像头、前左辅摄像头、前右辅摄像头位于同一水平面上;
所述左摄像头、右摄像头、后摄像头设置于船本体的艉楼上,三者的高度高于所述前摄像头的高度;
其中,所述影像合成装置在合成环境鸟瞰影像数据的过程中,前主摄像头、前左辅摄像头、前右辅摄像头、左摄像头、右摄像头、后摄像头的数据合成比例为20%:10%:10%:20%:20%:20%。
4.根据权利要求3所述的无人设备,其特征在于:
所述无人船还包括:数据延时探测装置,电性连接至所述设备通信装置,其探测所述同步上传数据发送至远程控制系统的数据延时t;
对于所述影像合成装置:
当t<T1时,按照分辨率R1合成船体环境鸟瞰影像;
当T1≤t<T2时,采用分辨率R2合成船体环境鸟瞰影像;
当T2≤t<T3时,将前主摄像头、前左辅摄像头、前右辅摄像头所获得的环境影像合成船体前视野立体影像数据,利用其替代所述环境鸟瞰影像数据;
当T≥T3时,不进行环境影像数据合成,所述环境影像数据为单一的所述前主摄像头实时获取的环境影像数据,利用其替代所述船体环境鸟瞰数据;
其中,T1、T2、T3分别为预设的第一延时阈值、第二延时阈值、第三延时阈值,所述分辨率R2小于分辨率R1。
5.根据权利要求4所述的无人设备,其特征在于,所述公共数据网络包括:通用数据网和卫星数据网;
所述设备通信装置具有两种网络选择模式:人工模式、自动模式;
在人工模式中,设备通信装置依照远程控制系统下传的网络选择指令选择网络;在自动模式中,默认采用通用数据网络,当t≥T4时,自动切换至卫星数据网络,其中,T4为预设的第四延时阈值,T4>T3;
其中,所述通用数据网络按照以下优先级顺序进行选择:5G网络、4G网络、3G网络;所述卫星数据网为北斗通信网络。
6.根据权利要求1所述的无人设备,其特征在于,所述设备通信装置还接收所述远程控制系统下传的同步下传数据,所述设备数据同步装置还从所述同步下传数据中解析出语音广播数据和指令控制数据;
所述设备数据同步装置还电性连接至所述声电转换装置;所述声电转换装置将所述语音广播数据转换为语音模拟信号,所述设备声音模组还包括:喊话喇叭,电性连接至所述声电转换装置,其将所述语音模拟信号通过声音形式向环境进行广播;
所述无人设备还包括:无人设备控制装置,电性连接至所述设备数据同步装置,其利用所述指令控制数据对无人设备的行进路径、模式和姿态进行控制。
7.根据权利要求6所述的无人设备,其特征在于,
所述影像设备通过网络接口连接至所述设备数据同步装置;
所述设备状态监测装置和无人设备控制装置通过串口服务器连接至所述设备数据同步装置;
所述声电转换装置通过网络接口连接至所述设备数据同步装置。
8.根据权利要求1所述的无人设备,其特征在于,所述设备通信装置为具有加解密功能的设备VPN通信装置,所述远程控制系统包括:具有加解密功能的远程VPN通信装置;
所述设备VPN通信装置通过所述公共数据网络与所述远程VPN通信装置建立VPN保密网络,所述同步上传数据在所述VPN保密网络中进行保密传输。
9.一种无人设备的远程控制系统,其特征在于,用于对权利要求1至8中任一项所述的无人设备进行远程控制,包括:
远程通信装置,通过公共数据网络连接至所述无人设备的设备通信装置;
远程控制主机,电性连接至所述远程通信装置,其由远程通信装置接收的同步上传数据解析出:环境影像数据、环境声音数据、设备状态数据;
环境影像显示屏,电性连接至所述远程控制主机,其展示所述环境影像数据;
远程声音模组,包括:声电转换装置,电性连接至所述远程控制主机;扬声器,电性连接至所述声电转换装置,其将所述声电转换装置转换后的环境进行播放;
设备在线实时监测显示屏,电性连接至所述远程控制主机,其展示所述无人设备的设备状态数据。
10.根据权利要求9所述的远程控制系统,其特征在于,
还包括:远程控制装置,其将远程控制人员的控制指令转换为指令控制数据;
所述远程声音模组还包括:话筒;所述声电转换装置,电性连接至所述话筒,其将所述话筒捕捉远程控制人员的语音转换语音广播数据;
所述远程控制主机,电性连接至所述远程控制装置和声电转换装置,其将以下数据编码合成为同步下传数据:语音广播数据、指令控制数据;
所述远程通信装置,还将所述同步下传数据下传至所述无人设备。
CN202210450426.1A 2022-04-24 2022-04-24 无人设备及其远程控制系统 Active CN114827673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210450426.1A CN114827673B (zh) 2022-04-24 2022-04-24 无人设备及其远程控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210450426.1A CN114827673B (zh) 2022-04-24 2022-04-24 无人设备及其远程控制系统

Publications (2)

Publication Number Publication Date
CN114827673A true CN114827673A (zh) 2022-07-29
CN114827673B CN114827673B (zh) 2023-12-01

Family

ID=82506917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210450426.1A Active CN114827673B (zh) 2022-04-24 2022-04-24 无人设备及其远程控制系统

Country Status (1)

Country Link
CN (1) CN114827673B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103803045A (zh) * 2012-11-08 2014-05-21 王悦 一种新型无人环境监测船
CN103838243A (zh) * 2012-11-22 2014-06-04 上海市浦东新区知识产权保护协会 一种新型无人巡航驾驶控制器
CN104052798A (zh) * 2013-03-15 2014-09-17 株式会社理光 分布式控制系统和分布式控制方法
CN105791702A (zh) * 2016-04-27 2016-07-20 王正作 一种无人机航拍音视频实时同步传输系统
US9764836B1 (en) * 2015-06-09 2017-09-19 Amazon Technologies, Inc. Unmanned aerial vehicle secure egress and ingress
CN206585396U (zh) * 2017-04-07 2017-10-24 苏州安赛电力科技有限公司 具备驱鸟功能的电力设备在线监控系统
CN108347556A (zh) * 2017-01-21 2018-07-31 盯盯拍(东莞)视觉设备有限公司 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置
CN109922509A (zh) * 2019-02-28 2019-06-21 重庆大学 一种多网络融合中的智能群切换方法
US20190266899A1 (en) * 2018-02-26 2019-08-29 Skyward IO, Inc. Authorizing a flight of an unmanned aerial vehicle (uav)
CN110588973A (zh) * 2019-09-27 2019-12-20 江苏科技大学 一种基于两栖无人航行器的青少年溺水预防和救助平台及其方法
CN110737212A (zh) * 2018-07-18 2020-01-31 华为技术有限公司 无人机控制系统和方法
CN210573384U (zh) * 2019-10-17 2020-05-19 无疆(青岛)高新科技有限公司 一种无人游船
CN210793558U (zh) * 2019-10-17 2020-06-19 无疆(青岛)高新科技有限公司 一种便于充电的无人游船
CN112630187A (zh) * 2020-11-30 2021-04-09 陈志威 一种基于激光诱导击穿光谱技术的水质检测装置及方法
CN112887466A (zh) * 2021-02-19 2021-06-01 余利军 一种以无人机技术提供离机摄像头视角的手机
CN113543069A (zh) * 2021-06-09 2021-10-22 西安万飞控制科技有限公司 一种基于5g技术传输的无人机组合通信系统及方法
CN215010249U (zh) * 2021-07-28 2021-12-03 四川中星科脉通信技术有限公司 卫星4g基站自动切换系统
CN113888121A (zh) * 2021-09-30 2022-01-04 电子科技大学 无人机团队状态共享同步发送方法与系统
US20220013015A1 (en) * 2020-07-07 2022-01-13 Honeywell International Inc. Situation-aware, intelligent data-synchronization methods for uav-inspection applications
US20220011785A1 (en) * 2020-07-10 2022-01-13 Zhuhai Ziyan Uav Co., Ltd. Unmanned aerial vehicle control method and system based on moving base

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103803045A (zh) * 2012-11-08 2014-05-21 王悦 一种新型无人环境监测船
CN103838243A (zh) * 2012-11-22 2014-06-04 上海市浦东新区知识产权保护协会 一种新型无人巡航驾驶控制器
CN104052798A (zh) * 2013-03-15 2014-09-17 株式会社理光 分布式控制系统和分布式控制方法
US9764836B1 (en) * 2015-06-09 2017-09-19 Amazon Technologies, Inc. Unmanned aerial vehicle secure egress and ingress
CN105791702A (zh) * 2016-04-27 2016-07-20 王正作 一种无人机航拍音视频实时同步传输系统
CN108347556A (zh) * 2017-01-21 2018-07-31 盯盯拍(东莞)视觉设备有限公司 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置
CN206585396U (zh) * 2017-04-07 2017-10-24 苏州安赛电力科技有限公司 具备驱鸟功能的电力设备在线监控系统
US20190266899A1 (en) * 2018-02-26 2019-08-29 Skyward IO, Inc. Authorizing a flight of an unmanned aerial vehicle (uav)
CN110737212A (zh) * 2018-07-18 2020-01-31 华为技术有限公司 无人机控制系统和方法
CN109922509A (zh) * 2019-02-28 2019-06-21 重庆大学 一种多网络融合中的智能群切换方法
CN110588973A (zh) * 2019-09-27 2019-12-20 江苏科技大学 一种基于两栖无人航行器的青少年溺水预防和救助平台及其方法
CN210573384U (zh) * 2019-10-17 2020-05-19 无疆(青岛)高新科技有限公司 一种无人游船
CN210793558U (zh) * 2019-10-17 2020-06-19 无疆(青岛)高新科技有限公司 一种便于充电的无人游船
US20220013015A1 (en) * 2020-07-07 2022-01-13 Honeywell International Inc. Situation-aware, intelligent data-synchronization methods for uav-inspection applications
US20220011785A1 (en) * 2020-07-10 2022-01-13 Zhuhai Ziyan Uav Co., Ltd. Unmanned aerial vehicle control method and system based on moving base
CN112630187A (zh) * 2020-11-30 2021-04-09 陈志威 一种基于激光诱导击穿光谱技术的水质检测装置及方法
CN112887466A (zh) * 2021-02-19 2021-06-01 余利军 一种以无人机技术提供离机摄像头视角的手机
CN113543069A (zh) * 2021-06-09 2021-10-22 西安万飞控制科技有限公司 一种基于5g技术传输的无人机组合通信系统及方法
CN215010249U (zh) * 2021-07-28 2021-12-03 四川中星科脉通信技术有限公司 卫星4g基站自动切换系统
CN113888121A (zh) * 2021-09-30 2022-01-04 电子科技大学 无人机团队状态共享同步发送方法与系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MINGMING GUO: "《Design of Distributed Network Clock-Synchronization for Swarm UAV》", 2020 INTERNATIONAL CONFERENCE ON COMPUTING AND DATA SCIENCE (CDS) *
杨宝林: "多径效应极强情况下空地宽带数据传输技术与系统研究", 《中国优秀硕士学位论文全文数据库》 *
魏艺明: "《无人机H.265双路视频传输系统的设计与实现》", 《电讯技术》, vol. 60, no. 3 *

Also Published As

Publication number Publication date
CN114827673B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US6020931A (en) Video composition and position system and media signal communication system
US20200236419A1 (en) Live video distribution system
US10889372B2 (en) Follow focus devices, and remote-control follow focus systems and aerial vehicles with follow focus devices
US9762864B2 (en) System and method for monitoring at least one observation area
WO2012072008A1 (zh) 视频信号的辅助信息叠加方法及装置
CN110583022B (zh) 客户端设备、客户端设备处理方法、服务器以及服务器处理方法
EP3152900B1 (en) System and method for remote monitoring at least one observation area
CN217088026U (zh) 无人设备及其远程控制系统
US7453829B2 (en) Method for conducting a video conference
CN114827673B (zh) 无人设备及其远程控制系统
CN100534141C (zh) PC Camera和基于PC Camera的摄像系统及方法
US20060139445A1 (en) Multiple-picture out method and system
JPH06113336A (ja) 三次元多地点テレビ会議システム
WO2017092369A1 (zh) 一种头戴设备、三维视频通话系统和三维视频通话实现方法
KR20180078931A (ko) 듀얼 카메라로부터의 영상스트리밍의 스위칭 전송 기능을 구비한 드론 및 드론시스템
JPH09238277A (ja) カメラ制御装置
CN111613222A (zh) 一种变电站巡检系统
JP4380890B2 (ja) 捜索用水中航走体システム、水中航走体、船舶用捜索指令装置、および画像処理方法
WO2021117482A1 (ja) 情報処理装置および方法、プログラム、並びに、情報処理システム
JP7173249B2 (ja) クライアント装置、表示システム、クライアント装置の処理方法およびプログラム
JP7266989B2 (ja) 表示装置および表示方法
JP7216518B2 (ja) 分掌指揮システムおよび分掌指揮方法
KR20080002275A (ko) Fpga를 이용한 영상합성 제어장치
KR19980073270A (ko) 화상통신시 카메라의 원격제어 장치 및 방법
JPH0936791A (ja) 衛星通信システムを用いた緊急通信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant