CN107027044A - 一种无人船监控视频直播方法和系统 - Google Patents

一种无人船监控视频直播方法和系统 Download PDF

Info

Publication number
CN107027044A
CN107027044A CN201710208927.8A CN201710208927A CN107027044A CN 107027044 A CN107027044 A CN 107027044A CN 201710208927 A CN201710208927 A CN 201710208927A CN 107027044 A CN107027044 A CN 107027044A
Authority
CN
China
Prior art keywords
video
unmanned boat
frame
data communication
communication network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710208927.8A
Other languages
English (en)
Other versions
CN107027044B (zh
Inventor
刘飞
刘中凡
李刚
池晓阳
张保平
张良曦
张吉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dapeng Hi Tech (wuhan) Intelligent Equipment Co Ltd
Original Assignee
Dapeng Hi Tech (wuhan) Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dapeng Hi Tech (wuhan) Intelligent Equipment Co Ltd filed Critical Dapeng Hi Tech (wuhan) Intelligent Equipment Co Ltd
Priority to CN201710208927.8A priority Critical patent/CN107027044B/zh
Publication of CN107027044A publication Critical patent/CN107027044A/zh
Application granted granted Critical
Publication of CN107027044B publication Critical patent/CN107027044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及无人船技术领域,提供了一种无人船监控视频直播方法和系统。其中系统中无人船载摄像机用于将采集到的视频内容转发给视频编码设备进行编码;无人船载网络路由设备用于连接视频直播服务器,并向视频直播服务器发送编码后的视频内容;终端设备用于连接视频直播服务器,并通过视频直播服务器获取可供直播的视频内容和/或完成相关交互指令。本发明实施例从一个较为完整的系统架构角度阐述如何设计相应的功能模块,并通过设置视频直播服务器,来给各种终端设备提供一公共的视频流节点,解决多异地实时观测无人船现场环境的问题。

Description

一种无人船监控视频直播方法和系统
【技术领域】
本发明涉及无人船技术领域,特别是涉及一种无人船监控视频直播方法和系统。
【背景技术】
现有无人船工作模式一般是完成回收无人船和船载设备后再对现场取证的影音资料进行分析和归纳,或者是船端采集现场资料回传给控制中心,由控制中心独立进行视频收集整理和形成判断结论后再发送下一步指令给船端,这其中整套流程只允许在控制中心小地域范围内根据现场回传视频独立完成对无人船的指引和功能操作。
随着无人船智能化程度的不断提高,无人船的功能应用也越来越多样化,现有的无人船工作模式不适于现场和指挥中心以外的地方实时了解船端现场环境的情况,因此有必要设计一种解决方案,用于解决多异地实时观测无人船现场环境的问题和无人船在海上通信带宽不够的问题。
【发明内容】
本发明要解决的技术问题是如何提高在海域无人船复杂网络环境下,实现有效的实时视频传输。
本发明进一步所要解决的技术问题是如何解决多异地实时观测无人船现场环境的问题,能够保证在一些带宽较为紧缺的情况下,仍然能够较高质量的完成视频传输。
本发明实施例采用如下技术方案:
第一方面,本发明中提供了一种无人船监控视频直播系统,包括无人船载摄像机、视频编码设备、无人船载网络路由设备、视频直播服务器和终端设备,其中,无人船载摄像机、视频编码设备和无人船载网络路由设备三者依次相连,所述无人船载网络路由设备和所述视频直播服务器通过无线网络建立连接,所述终端设备通过数据线和/或无线网络与所述视频直播服务器建立连接,具体的:
所述无人船载摄像机用于将采集到的视频内容转发给所述视频编码设备进行编码;
所述无人船载网络路由设备用于连接视频直播服务器,并向所述视频直播服务器发送编码后的视频内容;
所述终端设备用于连接所述视频直播服务器,并通过所述视频直播服务器获取可供直播的视频内容和/或完成相关交互指令。
可选的,所述无人船载网络路由设备,用于向视频编码设备反馈当前数据通讯网络类型,视频编码设备根据当前数据通讯网络类型,选择与其网络带宽适配的编码方式;其中,编码方式包括:MPEG-X系列编码方式、H.26X系列编码方式和自定义目标对象扣取编码方式。
可选的,所述数据通讯网络类型包括短距离点对点数据通讯网络、4G/5G数据通讯网络、基于海洋的数据通讯网络和卫星数据通讯网络。
可选的,所述视频编码设备还包括存储器和处理器,具体的:
所述存储器用于存储当前由无人船载摄像机采集到的一帧或者多帧视频内容;
所述处理器用于读取所述一帧或者多针视频内容,根据图像识别算法获取所述一帧或者多针视频内容中的海水对象和除海水以外的目标对象,在预设数量视频帧范围内,仅保留其中指定帧视频内的海水对象参与编码,并删除所述预设数量视频帧范围内其它视频帧中的海水对象得到相应目标对象,根据保留下来的视频帧和目标对象,完成所述预设数量视频帧的编码。
可选的,所述终端设备包括智能手机、中央控制台、台式电脑或者平板电脑中的一种或者多种。
第二方面,本发明中还提供了一种无人船监控视频直播方法,具体的:
无人船载摄像机用于将采集到的视频内容转发给所述视频编码设备进行编码;
所述视频编码设备确认当前的数据通讯网络类型,根据确认结果选择与当前数据通讯网络类型相匹配的编码方式,并完成无人船载摄像机采集到的视频内容的编码;
所述无人船载网络路由设备将所述视频编码设备编码后的视频内容发送到所述视频直播服务器。
可选的,所述无人船载网络路由设备向视频编码设备反馈当前数据通讯网络类型,其中,数据通讯网络类型包括短距离点对点数据通讯网络、4G/5G数据通讯网络、基于海洋的数据通讯网络和卫星数据通讯网络;
其中,编码方式包括:MPEG-X系列编码方式、H.26X系列编码方式和自定义目标对象扣取编码方式;则所述根据确认结果选择与当前数据通讯网络类型相匹配的编码方式,具体实现为:
在确认数据通讯网络类型为短距离点对点数据通讯网络或者4G/5G数据通讯网络时,所述编码方式为MPEG-X系列编码方式或H.26X系列编码方式;
在确认数据通讯网络类型为基于海洋的数据通讯网络和卫星数据通讯网络时,所述编码方式为自定义目标对象扣取编码方式。
可选的,所述自定义目标对象扣取编码方式,具体包括:
读取一帧或者多针视频内容,根据图像识别算法获取所述一帧或者多针视频内容中的海水对象和除海水以外的目标对象,在预设数量视频帧范围内,仅保留其中指定帧视频内的海水对象参与编码,并删除所述预设数量视频帧范围内其它视频帧中的海水对象得到相应目标对象,根据保留下来的视频帧和目标对象,完成所述预设数量视频帧的编码;
其中,编码内容还包括所述目标对象在视频帧中的坐标信息。
可选的,所述视频编码设备还用于接收来自视频直播服务器的操控指令,所述操控指令用于切换当前的视频编码设备所采用的编码方式。
可选的,所述视频编码设备还备份无人船载摄像机所采集的原始视频内容;所述原始视频内容在归档后用于分析各编码的改进点,或者用于回溯直播过程中关键帧视频内容。
本发明提供了一种基于无人船的视频直播系统,从一个较为完整的系统架构角度阐述如何设计相应的功能模块,并通过设置视频直播服务器,来给各种终端设备提供一公共的视频流节点,解决多异地实时观测无人船现场环境的问题。
进一步的,本发明可选方案中还提供了一种自定义目标对象扣取编码方式,能够进一步减少直播视频传输对于带宽的要求,在保证视频分辨率质量的基础上,还能提高视频播放的流畅度。
【附图说明】
为了更清楚地说明本发明专利实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明专利的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种无人船监控视频直播系统架构图;
图2是本发明实施例提供的一种自定义目标对象扣取编码方式原理示意图;
图3是本发明实施例提供的一种自定义目标对象扣取编码方式原理局部放大图;
图4是本发明实施例提供的第A-2帧局部放大图;
图5是本发明实施例提供的第A-3帧局部放大图;
图6是本发明实施例提供的第A-4帧局部放大图;
图7是本发明实施例提供的一种无人船监控视频直播方法流程图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作,因此不应当理解为对本发明的限制。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种无人船监控视频直播系统,如图1所述,包括无人船载摄像机11、视频编码设备12、无人船载网络路由设备13、视频直播服务器14和终端设备15,其中,无人船载摄像机11、视频编码设备12和无人船载网络路由设备13三者依次相连,所述无人船载网络路由设备13和所述视频直播服务器14通过无线网络建立连接,所述终端设备15通过数据线和/或无线网络与所述视频直播服务器14建立连接,具体的:
所述无人船载摄像机11用于将采集到的视频内容转发给所述视频编码设备12进行编码。
其中,具体实现过程中,所述视频编码设备12通常和船载操控系统被设置在一套整的操作系统之中,其中,操作系统包括:Linux系统、Windows系统或者其它第三方开发的系统软件。在一些船体操控较为复杂,且对于船体操控的操作系统软件稳定性要求较高的场合,则可以将视频编码设备12和船载操控系统分别由两套操作系统来实现,优选的是,其中视频编码设备12对应的操作系统选择Linux系统或者Windows系统,因为上述两操作系统与各种图像处理算法的兼容性更优。
所述无人船载网络路由设备13用于连接视频直播服务器14,并向所述视频直播服务器14发送编码后的视频内容。
在本发明实施例中,对于只有单一数据通讯网络类型的,则所述网络路由设备13可以是无线音视频收发器,例如:WHD-100、WHD-200、ZWD-1222等;也可以是4G或者5G无线收发模块;还可以是专业的卫星收发模块。在本发明实施例中,当所述无人船支持多种数据通讯网络类型时,则相应的无人船载网络路由设备13将由无人船中运行的操作系统和对应上述多种收发器组合实现,其中,无人船载网络路由设备13不仅具有各网络类型的收发器,相应的操作系统还具备有对所述网络类型收发器的选择功能。
所述终端设备用于连接所述视频直播服务器14,并通过所述视频直播服务器14获取可供直播的视频内容和/或完成相关交互指令。
其中,终端设备可以是智能手机、中央控制台、台式电脑或者平板电脑中的一种或者多种。在本发明实施例1中,为了便于直播内容的集中管理,防止无人船与各终端设备直连可能造成的数据拥塞问题,在本发明实施例中采用了由视频直播服务器14集中获取无人船发送的编码后的视频内容,并以所述视频直播服务器14作为集散中心,向各个终端设备转发视频内容。该方式还存在一种优势表现在:若无人船的视频编码设备12采用了与视频直播服务器14协商好的自定义目标对象扣取编码方式时,则可以进一步通过视频直播服务器14二次编码为其它终端设备所支持的编码格式,从而保证直播内容正常播放。
本发明实施例提供了一种基于无人船的视频直播系统,从一个较为完整的系统架构角度阐述如何设计相应的功能模块,并通过设置视频直播服务器,来给各种终端设备提供一公共的视频流节点,解决多异地实时观测无人船现场环境的问题。
为了满足复杂的海域环境,提高视频传输的可靠性和效率,在本发明实施例中提出了一种具备多种无线收发器的无人船载网络路由设备13(如实施例1中阐述的方式),所述无人船载网络路由设备13,用于向视频编码设备12反馈当前数据通讯网络类型,所述数据通讯网络类型包括:短距离点对点数据通讯网络(例如上述WHD-100、WHD-200、ZWD-1222等)、4G/5G数据通讯网络、基于海洋的数据通讯网络和卫星数据通讯网络等。相应的,视频编码设备12根据当前数据通讯网络类型,选择与其网络带宽适配的编码方式;其中,编码方式包括:MPEG-X系列编码方式、H.26X系列编码方式和自定义目标对象扣取编码方式。
举例如下:所述根据当前数据通讯网络类型,选择与其网络带宽适配的编码方式,具体实现为:
方式一、在确认数据通讯网络类型为短距离点对点数据通讯网络或者4G/5G数据通讯网络时,所述编码方式为MPEG-X系列编码方式或H.26X系列编码方式。
方式二、在确认数据通讯网络类型为基于海洋的数据通讯网络和卫星数据通讯网络时,所述编码方式为自定义目标对象扣取编码方式。
操作系统具体执行时,通常会根据当前无人船所拥有的数据通讯网络类型选择上述方式一或者方式二来执行,并且,所述方式一的优先权通常高于所述方式二的优先权,即无人船在同时拥有上述对应方式一和对应方式二的通讯网络时,便会自动的调整到或者保持为方式一的传输方式,从而保证视频直播服务器14所接收到的视频编码内容较为完整(相比较自定义目标对象扣取编码方式的编码内容来说),视频直播服务器14能够在更少的处理资源情况下,完成视频的解码和转播。甚至于,在终端设备15支持的解码的情况下,视频直播服务器14可以直接将接收到的符合通用标准的编码内容转发给终端设备15,而由终端设备15完成相应的解码和显示过程(例如:上述H.26X系列中的H.264编码和相应的解码)。
结合本发明实施例,对于实施例1中描述的视频编码设备12具体由操作系统中运行的视频编码软件体现时,则相应的视频编码设备12通常会包括存储器和处理器(例如常规主机架构中所包含的CPU、内存和硬盘,其中,存储器表现为所述内存和硬盘),则上述的自定义目标对象扣取编码方式具体实现如下:
所述存储器用于存储当前由无人船载摄像机11采集到的一帧或者多帧视频内容。
其中,存储通常包括两块,以上述主机架构为例;一块是供处理器处理后传输给视频直播服务器14的缓存视频内容,其存储位置位于所述内存中;另一块则是在无人船执行完任务后,供回溯当时采集的原始视频内容的,其存储位置位于所述硬盘中。在本发明实施例中,处理器根据自定义目标对象扣取编码方式处理缓存一帧或者多针视频内容,阐述如下:
所述处理器用于读取所述一帧或者多针视频内容,根据图像识别算法获取所述一帧或者多针视频内容中的海水对象和除海水以外的目标对象,在预设数量视频帧范围内,仅保留其中指定帧视频内的海水对象参与编码,并删除所述预设数量视频帧范围内其它视频帧中的海水对象得到相应目标对象,根据保留下来的视频帧和目标对象,完成所述预设数量视频帧的编码。
如图2所示,为本发明实施例给予的上述自定义目标对象扣取编码方式的多帧视频内容,在进行扣取操作后的示意图,所述扣取操作即上述的“在预设数量视频帧范围内,仅保留其中指定帧视频内的海水对象参与编码,并删除所述预设数量视频帧范围内其它视频帧中的海水对象得到相应目标对象”。以图2所示为例,本发明实施例中所述预设数量视频帧具体表现为图中所示的4帧图片,所述指定帧视频为图中各4帧图片为一组中的头一张图片(即图2中实线所表示的视频帧),而被删除了海水对象仅保留目标对象处理后的视频帧如图2中虚线所示(其中虚线仅仅是示意性的表明其原本的视频帧属性,而当前虚线框中真正被视频编码的内容为其中扣取出的目标对象)。
在本发明实施例中,所述预设数量视频帧可以根据船体的移动速度动态调整,即根据无人船的移动速度所归属的区间,将所述预设数量视频帧分为多种情况,例如:无人船移动速率为1-10节时,所述预设数量视频帧为10帧;无人船移动速率为10-20节时,所述预设数量视频帧为6帧;无人船移动速率为20-30节时,所述预设数量视频帧为4帧。在实际操作时,所述划分段数和采用的视频帧数也可以根据实际情况做适应性的调整,在此不一一赘述。进一步的,基于本发明实施例还可以提供一种具有动态调整预设数量视频帧功能的自定义目标对象扣取编码方式,编码过程中的预设数量视频帧参数会根据船体运动速度进行动态调整,而调整的方式可以参考上述根据速度区间拆分视频帧的,在此不一一赘述。上述进行预设数量视频帧关联无人船行驶速度的方式,能够在有效利用传输宽带的情况下,提高本发明实施例提出的自定义目标对象扣取编码方式的体验效果,即视频直播服务器14的显示效果。其原理是,无人船的移动速度越低,则预设数量视频帧的参数值可以设置的相应较大,即一段时间内的海面和/或天空背景不会有太大的变动,此时,使用预设数量视频帧中的第一帧的海面和/或天空背景作为其内部其余帧的背景不会产生较大的视觉体验上的影响;而当无人船的移动速度提高后,则因为海面和/或天空背景变化较快,相应的预设数量视频帧数量就需要相应的往偏小的值调整,使得还原后的视频内容,在视觉体验上不会产生大的影响。
在具体实现过程中,为了能够保证视频直播服务器14在接收到图2所示预设数量视频帧后,能够在结合第A-2帧视频、第A-3帧视频或第A-4帧视频中的目标对象1、目标对象2和/或目标对象3,以及第A-1帧视频中的海水和/或天空背景情况下,生成对应所述第A-2帧视频、第A-3帧视频和第A-4帧视频可供显示设备显示的完整视频帧。则相应的,视频编码设备在扣取第A-2帧视频、第A-3帧视频和第A-4帧视频中的目标对象1、目标对象2和目标对象3时,同时会记录各目标对象的逻辑坐标(如图3中对应各目标对象标注的,包括第A-2帧中目标对象1的坐标(x1,y1)、目标对象2的坐标(x2,y2)、目标对象3的坐标(x3,y3);第A-3帧中目标对象2的坐标(x4,y4)、目标对象3的坐标(x5,y5);以及第A-4帧中目标对象2的坐标(x6,y6)),所述逻辑坐标用于服务器在生成完成第A-2帧视频、第A-3帧视频和第A-4帧时,根据所述逻辑坐标完成第A-1帧视频中海水和/或天空背景与各目标对象的组合。其中,所述逻辑坐标可以是在无人船载摄像机11在采集到对应所述第A-2帧视频、第A-3帧视频和第A-4帧视频内容后,通过目标识别出内容中目标对象1、目标对象2和/或目标对象3的位置得到。
如图4-图6所示,为本发明实施例提供的一种传输第A-2帧、第A-3帧和第A-4帧的方式,即对于扣除的目标对象生成可供解读的小分辨率图片(其中图示中的实线框即用于承载相应目标对象的最适分辨率图片),并给予一帧图片中包含的多个对象所构成的图片序列编码(例如图4中的1、2和3),该编码会被记录在对应各自帧图片的备注信息中,则相应视频直播服务器14在接收到所述第A-2帧、第A-3帧或第A-4帧式时,便会根据相应备注信息中的序列编码号确认生成当前帧视频,需要读取的小分辨率图片个数,并根据各自小分辨率图片中对象的坐标信息,完成与第A-1帧中海水或者天空背景的整合(例如:对象在第A-1帧中海水或者天空背景中的直接覆盖方式生成)。
在本发明实施例中,对于所述目标对象的识别除了可以采用常规的图像目标识别方法外,还可以结合无人船自身用于的特定设备,例如:声呐设备和雷达设备等。因此,在具体实现过程中,处理器同时根据采集到是视频帧内容,以及声呐设备采集到的声呐信号和/或者雷达设备采集到的雷达信号,综合分析视频帧内容中的目标对象。该综合分析的优势在于,当目标对象潜伏在潜水区时,现有的图像目标识别方法可能会漏检,此时声呐设备就能弥补这种情况下的漏检;而对于位于空中的目标对象,也可能因为其采用的颜色与当时的天空背景色较为相似而产生漏检,此时雷达设备就能弥补这种情况下的漏检。
实施例2:
本发明实施例还提供了一种无人船监控视频直播方法,所述方法可以用于实施例1所述的无人船监控视频直播系统,如图7所示,所述方法包括:
在步骤201中,无人船载摄像机11用于将采集到的视频内容转发给所述视频编码设备12进行编码。
其中,具体实现过程中,所述视频编码设备12通常和船载操控系统被设置在一套整的操作系统之中,其中,操作系统包括:Linux系统、Windows系统或者其它第三方开发的系统软件。在一些船体操控较为复杂,且对于船体操控的操作系统软件稳定性要求较高的场合,则可以将视频编码设备12通常和船载操控系统分别由两套操作系统来实现,优选的是,其中视频编码设备12对应的操作系统选择Linux系统或者Windows系统,因为上述两操作系统与各种图像处理算法的兼容性更优。
在步骤202中,所述视频编码设备12确认当前的数据通讯网络类型,根据确认结果选择与当前数据通讯网络类型相匹配的编码方式,并完成无人船载摄像机11采集到的视频内容的编码。
所述数据通讯网络类型包括:短距离点对点数据通讯网络(例如WHD-100、WHD-200、ZWD-1222等)、4G/5G数据通讯网络、基于海洋的数据通讯网络和卫星数据通讯网络等。其中,编码方式包括:MPEG-X系列编码方式、H.26X系列编码方式和自定义目标对象扣取编码方式。
在步骤203中,所述无人船载网络路由设备13将所述视频编码设备12编码后的视频内容发送到所述视频直播服务器14。
在本发明实施例中,对于只有单一数据通讯网络类型的,则所述网络路由设备13可以是无线音视频收发器,例如:WHD-100、WHD-200、ZWD-1222等;也可以是4G或者5G无线收发模块;还可以是专业的卫星收发模块。在本发明实施例中,当所述无人船支持多种数据通讯网络类型时,则相应的无人船载网络路由设备13将由无人船中运行的操作系统和对应上述多种收发器组合实现。
本发明实施例提供了一种基于无人船的视频直播方法,从一个较为完整的系统架构角度阐述如何设计相应的功能模块,并通过设置视频直播服务器,来给各种终端设备提供一公共的视频流节点,解决多异地实时观测无人船现场环境的问题。
在本发明实施例中,所述无人船载网络路由设备13向视频编码设备12反馈当前数据通讯网络类型,则所述根据确认结果选择与当前数据通讯网络类型相匹配的编码方式,具体实现为:
在步骤301中,在确认数据通讯网络类型为短距离点对点数据通讯网络或者4G/5G数据通讯网络时,所述编码方式为MPEG-X系列编码方式或H.26X系列编码方式。
在步骤302中,在确认数据通讯网络类型为基于海洋的数据通讯网络和卫星数据通讯网络时,所述编码方式为自定义目标对象扣取编码方式。
在本发明实施例中,对应实施例1所,所述自定义目标对象扣取编码方式,具体包括:
读取一帧或者多针视频内容,根据图像识别算法获取所述一帧或者多针视频内容中的海水对象和除海水以外的目标对象,在预设数量视频帧范围内,仅保留其中指定帧视频内的海水对象参与编码,并删除所述预设数量视频帧范围内其它视频帧中的海水对象得到相应目标对象,根据保留下来的视频帧和目标对象,完成所述预设数量视频帧的编码;
其中,编码内容还包括所述目标对象在视频帧中的坐标信息。其结合附图2-图5相应的实例内容可参考实施例所描述内容,在此不一一赘述。
为了进一步解决直播视频内容回溯过程中的保真度和可回溯性,结合本发明实施例还提供了一种可供选择的扩展方案,具体的,所述视频编码设备12还备份无人船载摄像机11所采集的原始视频内容;所述原始视频内容在归档后用于分析各编码的改进点,或者用于回溯直播过程中关键帧视频内容。
实施例3:
本发明实施例是在实施例1和实施例2所阐述的系统和方法所阐述的内容基础上,进一步提出了一些应用方法。这些应用方法即可以在上述系统实施例1中使用,也可以在上述方法实施例2中使用。
应用方法一:
所述视频直播服务器14还能够接收来自终端设备的控制消息,能够发送控制消息的终端设备通常是被赋予特定权限的终端设备,例如:通过指定权限账号登录终端设备上安装的APP形式实现,其中,APP具有和视频直播服务器14建立通讯的协议和生成控制消息的能力,所述终端设备用于支撑相应通讯建立和控制消息发送。
将所述控制消息转换为视频编码设备12所能识别的第一操控指令,则所述视频编码设备12还用于接收来自视频直播服务器14的第一操控指令,所述第一操控指令用于切换当前的视频编码设备12所采用的编码方式。例如:终端设备设置视频编码设备12的直播视频编码方式,从而保证由无人船传播回来的视频内容质量不会因为编码方式,影响到最终的观影质量。
以一种实际应用场景为例,无人船当前建立的网络带宽有限,因此,其默认采用的是本发明实施例1和实施例2中提出的自定义目标对象扣取编码方式(保证视频传输的流畅性或者节省带宽使用费用)。此时终端设备观察到其感兴趣目标,则可以通过发送上述控制消息,以便视频直播服务器14将控制消息转换为视频编码设备12能够识别的第一操作指令,将其视频编码方式从上述自定义目标对象扣取编码方式调整为视频播放质量更高的H.265编码方式,当然,终端设备还可以再次切换为自定义目标对象扣取编码方式的流畅播放模式。其中,对于终端设备发送控制消息的操作具体可以是一种对显示屏幕中指定区域的缩放操作、也可以是选择慢镜头播放的操作、还可以是在操作界面上主动选择的播放质量选择等等。
应用方法二:
所述视频直播服务器14还能够接收来自终端设备的控制消息,并将所述控制消息转换为无人船载摄像机11所能识别的第二操控指令,则无人船载摄像机11在获取到第二操控指令后,根据所述操控指令调整拍摄角度。其中,拍摄角度包括水平面上的0-360°旋转,以及竖直平面上的0-90°的折叠。
应用方式三:
所述视频直播服务器14还能够接收来自终端设备的控制消息,所述控制消息中携带视频直播服务器14所能识别的视频传输指令,所述视频传输指令包括:从指定时间点开始播放视频内容的传输指令、快进播放视频内容的传输指令、快退播放视频直播的传输指令、暂停播放视频内容的传输指令等等。
值得说明的是,上述装置和系统内的模块、单元之间的信息交互、执行过程等内容,由于与本发明的处理方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人船监控视频直播系统,其特征在于,包括无人船载摄像机、视频编码设备、无人船载网络路由设备、视频直播服务器和终端设备,其中,无人船载摄像机、视频编码设备和无人船载网络路由设备三者依次相连,所述无人船载网络路由设备和所述视频直播服务器通过无线网络建立连接,所述终端设备通过数据线和/或无线网络与所述视频直播服务器建立连接,具体的:
所述无人船载摄像机用于将采集到的视频内容转发给所述视频编码设备进行编码;
所述无人船载网络路由设备用于连接视频直播服务器,并向所述视频直播服务器发送编码后的视频内容;
所述终端设备用于连接所述视频直播服务器,并通过所述视频直播服务器获取可供直播的视频内容和/或完成相关交互指令。
2.根据权利要求1所述的无人船监控视频直播系统,其特征在于,所述无人船载网络路由设备,用于向视频编码设备反馈当前数据通讯网络类型,视频编码设备根据当前数据通讯网络类型,选择与其网络带宽适配的编码方式;其中,编码方式包括:MPEG-X系列编码方式、H.26X系列编码方式和自定义目标对象扣取编码方式。
3.根据权利要求2所述的无人船监控视频直播系统,其特征在于,所述数据通讯网络类型包括短距离点对点数据通讯网络、4G/5G数据通讯网络、基于海洋的数据通讯网络和卫星数据通讯网络。
4.根据权利要求1或2所述的无人船监控视频直播系统,其特征在于,所述视频编码设备还包括存储器和处理器,具体的:
所述存储器用于存储当前由无人船载摄像机采集到的一帧或者多帧视频内容;
所述处理器用于读取所述一帧或者多针视频内容,根据图像识别算法获取所述一帧或者多针视频内容中的海水对象和除海水以外的目标对象,在预设数量视频帧范围内,仅保留其中指定帧视频内的海水对象参与编码,并删除所述预设数量视频帧范围内其它视频帧中的海水对象得到相应目标对象,根据保留下来的视频帧和目标对象,完成所述预设数量视频帧的编码。
5.根据权利要求1或2所述的无人船监控视频直播系统,其特征在于,所述终端设备包括智能手机、中央控制台、台式电脑或者平板电脑中的一种或者多种。
6.一种无人船监控视频直播方法,其特征在于,具体的:
无人船载摄像机用于将采集到的视频内容转发给所述视频编码设备进行编码;
所述视频编码设备确认当前的数据通讯网络类型,根据确认结果选择与当前数据通讯网络类型相匹配的编码方式,并完成无人船载摄像机采集到的视频内容的编码;
所述无人船载网络路由设备将所述视频编码设备编码后的视频内容发送到所述视频直播服务器。
7.根据权利要求6所述的无人船监控视频直播方法,其特征在于,所述无人船载网络路由设备向视频编码设备反馈当前数据通讯网络类型,其中,数据通讯网络类型包括短距离点对点数据通讯网络、4G/5G数据通讯网络、基于海洋的数据通讯网络和卫星数据通讯网络;
其中,编码方式包括:MPEG-X系列编码方式、H.26X系列编码方式和自定义目标对象扣取编码方式;则所述根据确认结果选择与当前数据通讯网络类型相匹配的编码方式,具体实现为:
在确认数据通讯网络类型为短距离点对点数据通讯网络或者4G/5G数据通讯网络时,所述编码方式为MPEG-X系列编码方式或H.26X系列编码方式;
在确认数据通讯网络类型为基于海洋的数据通讯网络和卫星数据通讯网络时,所述编码方式为自定义目标对象扣取编码方式。
8.根据权利要求7所述的无人船监控视频直播方法,其特征在于,所述自定义目标对象扣取编码方式,具体包括:
读取一帧或者多针视频内容,根据图像识别算法获取所述一帧或者多针视频内容中的海水对象和除海水以外的目标对象,在预设数量视频帧范围内,仅保留其中指定帧视频内的海水对象参与编码,并删除所述预设数量视频帧范围内其它视频帧中的海水对象得到相应目标对象,根据保留下来的视频帧和目标对象,完成所述预设数量视频帧的编码;
其中,编码内容还包括所述目标对象在视频帧中的坐标信息。
9.根据权利要求7所述的无人船监控视频直播方法,其特征在于,所述视频编码设备还用于接收来自视频直播服务器的操控指令,所述操控指令用于切换当前的视频编码设备所采用的编码方式。
10.根据权利要求6-9任一所述的无人船监控视频直播方法,其特征在于,所述视频编码设备还备份无人船载摄像机所采集的原始视频内容;所述原始视频内容在归档后用于分析各编码的改进点,或者用于回溯直播过程中关键帧视频内容。
CN201710208927.8A 2017-03-31 2017-03-31 一种无人船监控视频直播方法和系统 Active CN107027044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710208927.8A CN107027044B (zh) 2017-03-31 2017-03-31 一种无人船监控视频直播方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710208927.8A CN107027044B (zh) 2017-03-31 2017-03-31 一种无人船监控视频直播方法和系统

Publications (2)

Publication Number Publication Date
CN107027044A true CN107027044A (zh) 2017-08-08
CN107027044B CN107027044B (zh) 2019-11-26

Family

ID=59526734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710208927.8A Active CN107027044B (zh) 2017-03-31 2017-03-31 一种无人船监控视频直播方法和系统

Country Status (1)

Country Link
CN (1) CN107027044B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108809406A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人船的智能认知信息远程交互系统
CN110557638A (zh) * 2019-10-28 2019-12-10 广东电网有限责任公司 一种巡检无人机通信网络切换方法及系统
CN111586358A (zh) * 2020-05-09 2020-08-25 东华大学 基于5g传输和改进残差神经网络的海面视频压缩感知方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686227A (zh) * 2012-09-17 2014-03-26 南京中兴力维软件有限公司 用于移动终端的音视频采集编码方法、装置及系统
US20150168144A1 (en) * 2013-11-14 2015-06-18 Ksi Data Sciences Llc System and method for managing and analyzing multimedia information
CN105516604A (zh) * 2016-01-20 2016-04-20 陈昊 一种航拍视频分享方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686227A (zh) * 2012-09-17 2014-03-26 南京中兴力维软件有限公司 用于移动终端的音视频采集编码方法、装置及系统
US20150168144A1 (en) * 2013-11-14 2015-06-18 Ksi Data Sciences Llc System and method for managing and analyzing multimedia information
CN105516604A (zh) * 2016-01-20 2016-04-20 陈昊 一种航拍视频分享方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108809406A (zh) * 2018-06-08 2018-11-13 哈尔滨工程大学 一种无人船的智能认知信息远程交互系统
CN110557638A (zh) * 2019-10-28 2019-12-10 广东电网有限责任公司 一种巡检无人机通信网络切换方法及系统
CN111586358A (zh) * 2020-05-09 2020-08-25 东华大学 基于5g传输和改进残差神经网络的海面视频压缩感知方法

Also Published As

Publication number Publication date
CN107027044B (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
US9635252B2 (en) Live panoramic image capture and distribution
JP4101857B2 (ja) 監視システム、カメラ及び映像符号化方法
JP3659528B2 (ja) テレビ会議システム
CN101640784A (zh) 一种在视频会议系统中控制多画面复合的控制装置及方法
CN107027044A (zh) 一种无人船监控视频直播方法和系统
CN104918022A (zh) 一种远洋船舶的多业务融合系统
CN108731739A (zh) 一种舰船装备的综合测试分析系统
CN106911909A (zh) 基于智能摄像机的视频通话方法及系统
CN104735410A (zh) 一种低于4k/s的窄带宽视频传输方法及系统
CN108696720A (zh) 一种适用于卫星通信的视频调度系统和方法
CN201585043U (zh) 一种3g摄像机
CN102754448A (zh) 数据处理装置及数据编码装置
CN110557391B (zh) 一种面向多场景整合应急移动视频交互系统
JPS62200994A (ja) 動画通信システム
KR20210147298A (ko) 선박 유지 보수 및 수리 지원 시스템 및 방법
KR20020047342A (ko) 무선통신 기기를 이용한 영상 송수신방법 및 장치
CN106534774A (zh) 一种图像传输系统
KR101604002B1 (ko) 모바일 단말 장치를 이용한 중계 방송을 지원하기 위한 방법, 장치 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN101321259B (zh) 多媒体设备控制系统、控制数据传输及处理装置和方法
CN205681575U (zh) 基于物联网技术的无线图像传输装置
JP5170278B2 (ja) 表示制御装置、表示制御方法、プログラム、および表示制御システム
CN108881836A (zh) 一种人防指挥主控系统及其方法
CN209448838U (zh) 一种基于天通卫星通信系统的音视频回传终端
CN111935695B (zh) 一种基于应急通信单兵动中通的应用系统
CN216122664U (zh) 便携全景音视频记录仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant