CN110121157B - 多网络融合通信终端、通信系统及融合通信方法 - Google Patents

Abstract

本发明属于通信领域，涉及一种多网络融合通信终端，包括处理器以及与处理器相连接的COFDM模块、WIFI模块、专网模块、以太网模块、4G模块、天通卫星模块、北斗模块、对讲模块、编解码模块、存储器、显示模块、声卡模块、输入输出I/O模块和电源管理模块；对讲模块与声卡模块相连；多网络融合通信方法包括：1)待多网络融合通信系统上电并完成初始化后，将多网络融合通信终端的相关信息上传到服务器实现注册；2)分别获取音频数据、视频数据以及通用数据；并对获取的音频数据进行融合处理；3)根据不同的传输策略，对步骤2)获取的数据分别进行数据传输。本发明可最大程度保障各项业务的可靠传输以及有效保证语音实时高可用。

Description

多网络融合通信终端、通信系统及融合通信方法

技术领域

本发明属于通信领域，涉及一种通信终端、通信系统以及通信方法，尤其涉及一种多网络融合通信终端、通信系统及融合通信方法。

背景技术

随着信息技术的发展，在应急通信领域，可采用的通信技术和手段，越来越多样化、便携化。基于集群网络技术，使用对讲机，可以实现小范围的语音通信；基于2G、3G电话网络，使用普通电话，可以实现较大范围的实时语音互通；基于4G数据网络，使用拨号上网，可以实现较大范围的实时音视频会商；在无基站信号覆盖的区域，基于卫星通信技术，可以使用卫星电话实现无盲区的语音通信。除此之外，还有普通短信、北斗短报文、卫星短信等各种短消息通信方式。

这些通信方式中，每种方式有其特定的使用场合和环境，而且相互之间互不相通，虽然市场上有一些多合一终端，集成了上述各种通信模块，但是模块之间还是独立工作，业务上并没有融合，所以综合而言，研究一种如何将上述多种通信方式关联起来，业务层面数据融合起来的一体化便携终端，具有十分重要的应用价值。

在电网的日常运营中，由于台风，冰灾，地震等自然灾害，经常造成电力输变设备损坏。电网运营公司在灾情发生后，必须迅速组织抢修作业，派出多个抢修队伍，同时需要协调电网公司各级相关单位协同开展工作，在这个过程中，负责指挥的指挥中心需要及时了解现场的情况，并对抢修队伍进行指挥控制。

应急指挥系统通常是依靠4G公网/4G专网，卫星网络以及集群对讲的通讯方式来实现应急指挥协同作业，这三种通讯方式结合起来虽然能够实现无盲区全覆盖，但三者之间独立工作，融合度差，与电力行业移动应急通信规划要求的实现各级单位与应急现场的互联互通、多级联动存在较大差距。

当前应急指挥现场作业急需一种集卫星通讯网络、4G网络、集群对讲通信等多网络通信为一体的终端产品，实时随地使指挥中心与抢修作业现场保持语音、视频、数据传输的通畅连接，极大缩短指挥中心与事故现场的时空距离，实现电力应急指挥的科学有据和事故处理的快速高效。

发明内容

为了解决背景技术中存在的上述技术问题，本发明提供了一种可最大程度保障各项业务的可靠传输以及有效保证语音实时高可用的多网络融合通信终端、通信系统及融合通信方法。

为了实现上述目的，本发明采用如下技术方案：

一种多网络融合通信终端，其特征在于：所述多网络融合通信终端包括处理器、用于基于COFDM的近距离数据传输的COFDM模块、用于基于WIFI的局域网或运营商宽带网络连接的WIFI模块、用于基于专网的局域范围数据传输的专网模块、用于接入运营商宽带网络实现广域网通信的以太网模块、用于接入运营商的4G网络实现无线广域网通信的4G模块、用于基于天通卫星网络的语音和数据通信的天通卫星模块、用于基于北斗卫星网络的定位和短报文传输的北斗模块、用于接收来自集群对讲网络的语音数据以及将语音数据发送到集群对讲网络中的对讲模块、编解码模块、存储器、显示模块、声卡模块、输入输出I/O模块以及电源管理模块；所述COFDM模块、WIFI模块、专网模块、以太网模块、4G模块、天通卫星模块、北斗模块、对讲模块、编解码模块、存储器、显示模块、声卡模块、输入输出I/O模块以及电源管理模块分别与处理器相连；所述对讲模块与声卡模块相连。

上述COFDM模块以及专网模块分别通过以太网接口与处理器相连；所述WIFI模块以及4G模块分别通过USB接口与处理器连接；所述北斗模块以及天通卫星模块分别通过串口与处理器连接；所述专网模块是1.8G专网模块；所述4G模块是一个或多个。

基于如上所述的多网络融合通信终端所形成的多网络融合通信系统，其特征在于：所述多网络融合通信系统包括注册模块、音频采集与播放模块、音频路由管理模块、音频通道选择及传输模块、视频采集与播放模块、视频传输模块、通用数据传输模块、编解码模块以及配置管理模块；所述配置管理模块用于配置多网络融合通信终端相关的一些参数和使用策略，包括：配置服务器地址；配置服务器语音网关号码；配置通道模式；配置对讲模块的频率以及频道；配置附属节点的地址；配置音频路由策略以决定各路音频数据在内部如何路由；所述注册模块用于将多网络融合通信终端的相关信息上传到服务器，使服务器了解到多网络融合通信终端的配置和具备的能力；所述编解码模块为音视频的支撑模块，基于对处理器硬件编解码模块的封装实现，提供对常见音视频编解码格式的支持；所述音频采集与播放模块完成音频数据的获取和播放；所述视频采集与播放模块完成视频数据的获取和播放；所述音频路由管理模块完成各类音频源获取的数据在多网络融合通信终端内部的路由，实现音频业务数据在多网络融合通信终端内的融合；所述音频通道选择及传输模块根据一定的策略，决定当前最适合传输音频数据的通道，完成音频数据的发送和接收；所述视频传输模块完成多网络融合通信终端与指挥节点之间的视频业务数据传输，包括发送和接收；所述通用数据传输模块处理音频以及视频之外的其他业务数据的传输。

一种多网络融合通信方法，其特征在于：所述多网络融合通信方法包括以下步骤：

1)待多网络融合通信系统上电并完成初始化后，将多网络融合通信终端的相关信息上传到服务器实现注册；

2)分别获取音频数据、视频数据以及通用数据；同时对获取得到的音频数据进行融合处理；

3)根据不同的传输策略，对音频数据、视频数据以及通用数据分别选择最适合的传输通道并进行数据传输。

上述步骤1)中注册的具体实现方式是：将多网络融合通信终端相关的信息使用私有格式打包，然后遍历设备支持的所有传输通道，将该信息包通过所有支持的传输通道，同时传送到服务器端；如果多网络融合通信终端有通过WIFI模块连接到无线热点，则通过操作系统提供的无线接口将终端相关信息包发送一份到服务器；如果多网络融合通信终端的4G模块和天通卫星模块已完成初始化，则通过短信方式，包括普通4G短信和卫星短信，将终端相关的信息包数据发送到服务器端的语音网关；语音网关号码在配置管理模块中配置；如果多网络融合通信终端已通过PPP拨号成功建立4G数据连接和天通卫星数据连接，则同时将相关信息包通过拨号建立的连接发送到服务器；如果有多个4G模块且都建立了拨号连接，则每个拨号连接都发送一份；多网络融合通信终端相关的信息包带有序号字段，服务器端可能同时会从多种通道接收到相同序号的终端信息包，此时，服务器端只需丢弃重复的信息包。

上述步骤2)中音频数据的获取方式包括：通过硬件接口获取多网络融合通信终端自带的声卡设备采集的PCM格式的音频数据；通过私有协议，利用多网络融合通信终端集成的网络模块，获取局域网内附属节点的音频数据；通过多网络融合通信终端集成的对讲模块，获取集群对讲网络中其他对讲节点的音频数据；通过电话通道获取的音频数据；通过数据通道获取的音频数据。

所述视频数据的获取方式包括直接通过硬件接口，获取多网络融合通信终端自带的摄像头模块采集的视频数据，交给编解码模块进行编码，得到编码后的视频数据；通过私有协议，利用多网络融合通信终端集成的网络模块，获取局域网内附属节点的视频数据，通过这种方式获取的是已经编码后的视频数据；

所述通用数据的获取方式是：通过多网络融合通信终端自身集成的硬件模块获取；通过私有协议，从多网络融合通信终端覆盖的局域网中的其他附属节点获取。

上述步骤2)中对获取得到的音频数据进行融合处理的具体实现方式是：音频路由管理模块完成各类音频源获取的数据在多网络融合通信终端内部的路由功能，实现音频业务数据在多网络融合通信终端内的融合；音频路由管理模块的音频数据来源包括本地声卡的麦克输入、集成对讲模块的对讲输入、4G及卫星模块的电话PCM语音输入、局域网的附属节点的音频输入以及从其他指挥节点网络口接收的音频输入；每一个输入口关联一个对应的输出口，音频路由管理模块决定哪些输入源到哪些输出口，并完成每个输出口的混音融合处理；音频路由管理模块的功能由机制和策略两部分共同协作实现；每一路输出口都配置一个混音器，每一路音频输入数据都会被复制一份，发送到除了自己对应的输出口之外的所有输出口；至于每一路输出口的混音器是否做混音及混音器接收那几路音频数据混音，则由策略配置管理模块决定；策略关联到每一个混音器上。

上述传输策略包括音频数据传输策略、视频数据传输策略以及通用数据传输策略；

所述音频数据传输策略包括手动选择和自动选择两部分，且手动选择优先级高于自动选择，所述音频数据传输策略的具体实现方式是：

读取配置管理模块中的信息，判断当前通道是手动选择模式还是自动选择模式；配置管理模块中的信息由用户通过界面手动配置保存；如果没有配置过，默认为自动选择模式；

如果当前为手动配置模式，则进一步判断是固定通道模式还是优先级通道模式；如果是固定通道模式，则直接使用该通道与服务器交互；如果固定通道选择为宽带网络通道，则多网络融合通信终端尝试使用操作系统创建的无线接口或以太网接口与服务器建立TCP/IP连接；如果没有宽带网络接口可用或者连接建立失败，则融合通信终端系统会广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果连接建立成功，则广播通道建立成功事件，音频发送和接收子模块收到该事件后，使用当前建立的通道发送和接收压缩编码的音频数据；如果固定通道选择为4G数据通道，则多网络融合通信终端使用操作系统创建的PPP接口与服务器建立TCP/IP连接；如果没有PPP接口或者连接建立失败，则融合通信终端系统会广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果连接建立成功，则广播通道建立成功事件，音频发送和接收子模块收到该事件后，使用当前建立的拨号通道发送和接收压缩编码的音频数据；如果固定通道选择为普通电话或者天通卫星电话通道，则多网络融合通信终端直接尝试电话拨打服务器端语音网关号码；如果电话未打通，则广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果电话打通，则广播通道建立成功事件，音频发送和接收子模块接收到该事件后，使用当前建立的电话通道发送和接收PCM格式的音频数据；

如果当前是手动模式下的优先级模式，则根据配置中确定的优先级，按照从高到低的顺序，依次尝试建立各种类型的通道；当被配置为高优先级的通道建立后，不再尝试低优先级的通道类型；如果高优先级的通道建立失败，则会继续尝试低优先级的通道，直到传输通道建立；如果尝试完所有通道仍然没有建立传输通道，则广播通道建立失败事件，终端界面会根据该事件提示用户出错；

如果用户未配置通道选择策略或者配置为自动模式，则音频通道选择及传输模块将按照自动模式进行传输通道的选择；自动模式有默认优先级，此时宽带网络通道优先级最高，4G数据通道次之，普通电话优先级小于4G数据，天通卫星电话优先级小于普通电话；

自动模式下，音频通道选择及传输模块为每个通道建立评估函数s＝f(x，y，z)，然后根据评估函数返回的结果，进行传输通道的选择；评估函数中x、y、z为影响因子，x为通道默认优先级，适用于所有通道，y、z因子不同的通道，对应的含义不一样；对于宽带网络及4G数据通道，y为通道最近一段时间数据往返传输时间RTT的方差的倒数，z为通道最近一段时间数据传输速率的均值，包括上行和下行；对于普通电话和天通卫星电话，y为本次开机以来，通道获取的信号强度的均值，z为本次开机以来，通道上拨打成功的电话数与总的拨打电话次数的比值；如果开机以来从未在该通道上拨打过电话，则该通道的z取值为1；评估函数f的计算公式为Ax+By+Cz，其中A、B、C为三个影响因子的权重，具体值可以使用默认值，也可以通过配置管理模块进行手动配置；通道评估函数返回值越大，表明该通道质量越好；音频通道选择及传输模块选择当前评估值最大的通道作为传输通道，通过其与服务器建立连接，如果连接建立成功，则广播通道建立成功事件；否则，选择评估值第二大的通道建立连接，以此类推；

在多网络融合通信终端当前使用的通道因为外部原因断开后，音频通道选择及传输模块自动进入重选状态，重新按照评估值从高到低，遍历所有可能的通道，尝试建立连接；自动模式下，音频通道选择及传输模块有重试和跳跃机制；当所有通道都无法建立连接后，音频通道选择及传输模块会根据配置的时间间隔参数，在该间隔时间超时后，再次按照评估值从高到低，遍历所有通道，尝试与服务器建立连接，直到通过某个通道建立连接，此即为重试机制；在有通道连接建立的情况下，音频通道选择及传输模块会按照一定的时间间隔，检查是否存在比当前通道评估值更高的通道，如果存在，则会继续尝试通过更高评估值的通道建立连接；如果连接建立成功，音频通道选择及传输模块会断开当前低评估值的通道，并广播更高评估值通道建立事件，音频发送和接收子模块收到该事件后，将音频流从当前通道切换到具有更高评估值的通道，此即为跳跃机制；重试机制保证在通道连接可能建立的第一时间，多网络融合通信终端能够与指挥节点建立传输通道，跳跃机制保证多网络融合通信终端在有更便宜、更可靠、更大带宽的通道可用时，第一时间通过该通道与指挥节点建立传输连接。

上述视频的传输策略是：如果宽带网络通道可用，就优先使用宽带网络通道，否则就使用4G数据通道；同样，视频传输通道的选择也有重试和跳跃机制，基本处理同音频通道选择及传输模块。

上述通用数据的传输策略的具体实现方式是：首先，系统提供通用的传输策略模板，所述传输策略模板的内容包括：通道选择，用于决定传输过程使用单一通道还是复合通道，复合通道表示多网络融合通信终端可使用多个通道传输同一个消息，消息通过序号区分，类似注册部分；通用数据可用传输通道包括宽带网络、4G数据通道及短信、天通卫星短信、北斗短报文，复合通道情况下选择两种及以上通道；方式选择，用于决定并行传输还是单路传输，并行传输时多个通道同时传输同样的数据，由服务器端根据序号判断接收到的是否为不同通道到达的同一个消息，类似注册部分；单路传输表示会尝试复合通道中的多个通道，但是同一时间只用其中的一个通道；单路方式下进一步支持模式选择，包括优先级模式和遍历模式，优先级模式表示按照配置的优先级决定复合通道中各个通道的选择顺序，而遍历模式表示按随机顺序遍历复合通道中的各个通道；优先级模式下进一步支持配置重试间隔及是否跳跃，用于决定在使用低优先级通道时是否不放弃对高优先级通道的尝试；如果配置了这两个参数，则通用数据传输模块会在重试间隔超时时尝试更高优先级通道，成功后会跳跃到该高优先级通道；其次，对某一种具体类型数据的传输，应用层勾选和配置上述选项，从而完成传输策略的定制，通用数据传输模块按照定制策略，进行数据通道选择和传输。

本发明的优点是：

本发明提供了一种多网络融合通信终端、通信系统及融合通信方法。首先，融合终端设备集成相关的通信模块，包括对讲模块，4G模块，卫星模块，北斗模块，WIFI模块，COFDM模块等。其次，本融合终端实现音频路由策略和机制，可将通过对讲、WIFI、COFDM等局域网获取的音频数据与4G广域网络及天通卫星网络获取的音频数据自由的混合起来，实现音频业务在这些网络中的融合。再次，本融合终端针对音频、视频、文字、图片、传感器等不同业务数据自身的特点，实现了灵活的传输策略，最大程度的保障各项业务的可靠传输，特别是针对音频业务的切换策略，有效的保证了语音的实时高可用。另外，本融合终端及系统与方法不仅仅适用于电力应急通信中，在其他有应急通信需求的领域也一样是适用的。本发明集成多种传输模块，实现多路音源的获取和播放，并支持通过音频路由模块的机制和策略，实现多路音频数据的灵活混音，完成音频在业务上的高度融合。本发明集成多种传输模块，支持多种通道传输多种业务数据，比如支持通过WIFI、4G数据、普通电话及天通卫星电话等多种通道传输语音，支持通过WIFI、4G数据、短信、天通卫星短信及北斗短报文传输通用数据。本发明采用灵活的通道选择方式，支持通过评估策略选择最优通道进行语音传输，支持通过定制策略进行通用数据的传输，保障业务的高可用和高可靠。

附图说明

图1是基于本发明所提供的多网络融合通信终端所形成的通信系统拓扑结构示意图；

图2是本发明所提供的多网络融合通信终端的硬件模块构成结构示意图；

图3是本发明所提供的多网络融合通信终端与语音网关建立语音通信连接示意图；

图4是本发明所提供的多网络融合通信系统的组成结构示意图；

图5是本发明所提供的多网络融合通信系统的上线注册过程示意图；

图6是本发明所采用的音频路由管理模块内部结构示意图。

具体实施方式

本发明提供局域网、广域网及卫星网全面覆盖、融合通信的完整解决方案。整个系统涉及到后方指挥中心节点、前方指挥中心节点、现场指挥节点、多网络融合通信终端、附属节点以及节点之间的通信链路，系统的拓扑结构如图1所示，其中：

后方指挥中心节点一般为国家或省一级的应急指挥部门，处于整个拓扑的核心层，负责最高层次的指挥、协调、调度。前方指挥中心节点一般为市县级的应急指挥部门，具体负责所属区域的应急指挥管理。通常的应急处理都是由前方指挥中心节点统筹协调资源调度，除非应急事件影响范围非常大，或者情况非常严重，需要更高级别部门的参与和研判，否则后方指挥中心节点不参与应急事件的具体处理。所以，后方指挥中心节点和前方指挥中心节点共同构成了整个应急管理拓扑结构的核心层。核心层处于城市中心，具备完善的通信保障设施。

现场指挥节点为前方指挥中心节点的下属节点，根据职责不同，所处位置、功能亦不相同。如有靠近应急事件现场的临时指挥部，有提供应急事件周边情况的应急指挥车，有提供物资调配的物资中心，有提供后勤保障的后勤中心等。现场指挥节点处于整个应急管理拓扑结构的汇聚层，每一个节点汇聚整合应急管理所需某一方面的信息，提供给前方指挥中心节点。现场指挥节点一般处于应急事件影响范围的边界地带，基本能够保障运营商4G等网络的覆盖。

多网络融合通信终端即本发明所述的多网络融合通信终端，为现场指挥节点的下属节点。多网络融合通信终端处于应急事件的核心地带，一般为各个现场应急事件处置小组所持有。多网络融合通信终端为整个应急管理系统提供现场的第一手信息，并将前方指挥中心节点或现场指挥节点的指令传达给具体的应急抢险作业人员。在整个应急管理系统的拓扑结构中，多网络融合通信终端处于接入层，其所处环境的网络环境复杂，没有可靠的网络信号保障。

附属节点从属于多网络融合通信终端，是多网络融合通信终端在应急现场的通信延伸，一般由具体作业人员持有。多网络融合通信终端与附属节点通过集群对讲、WIFI、COFDM、专网等局域网通信技术建立通信链接，二者之间构成一个局域网络。

从应急管理角度看，图1所示拓扑结构图中，现场指挥节点、前方指挥中心节点、后方指挥中心节点之间存在着层级从属关系，而从通信链路覆盖角度看，该三类节点都属于指挥节点，而多网络融合通信终端和其附属节点属于现场节点。多网络融合通信终端与指挥节点之间可通过4G无线网络或者运营商宽带网络建立通信链接，实现广域网的通信覆盖。在没有4G等无线网络或者运营商宽带网络覆盖的情况下，多网络融合通信终端可以通过天通、北斗等卫星网络与指挥节点之间建立通信链接，实现基于卫星网络的通信覆盖。因此，多网络融合通信终端在整个系统结构中处于承上启下的关键位置，是连接作业最前端和指挥系统的纽带和桥梁，也是实现整个应急管理系统局域网、广域网、卫星网全面覆盖，融合通信的关键所在。

为了实现上述承上启下的融合通信，多网络融合通信终端在硬件构成上集成了多种通信模块，在软件处理上实现了必要的策略和方法。下面分别阐述。

首先介绍硬件部分。整个多网络融合通信终端的硬件模块构成如图2所示：

为了能够接入前述的多种局域网络以及广域网络和卫星网络，多网络融合通信终端集成了相应网络的通信模块，具体包括：一个COFDM模块，用于基于COFDM的近距离数据传输；一个WIFI模块，用于基于WIFI的局域网或运营商宽带网络连接；一个专网模块，用于基于专网的局域范围数据传输；一个以太网模块，用于接入运营商宽带网络实现广域网的通信；一个或多个4G模块，用于接入运营商的4G网络，实现无线广域网的通信；一个天通卫星模块，用于基于天通卫星网络的语音和数据通信；一个北斗模块，用于基于北斗卫星网络的定位和短报文传输。

为了实现对讲语音的接入，多网络融合通信终端集成了对讲模块，用于接收来自集群对讲网络的语音数据以及将语音数据发送到集群对讲网络中。

为了更好的处理音视频业务，多网络融合通信终端集成了支持常见音视频编解码格式的硬件编解码模块，通过硬件编解码模块可以更快速的完成音视频的编解码处理。除此之外，多网络融合通信终端具备终端设备通常所具有的一些模块，包括处理器，存储器，显示模块，声卡模块，输入输出模块(I/O)，电源管理模块等。特别的，多网络融合通信终端声卡模块支持多声道的输入输出。

在硬件连接上，多网络融合通信终端的CPU作为片上系统(SOC)，对外提供多种接口，支持各个模块的对接。CPU提供两组以太网接口，其中一路对外输出，如图2硬件结构图所示；另一路与COFDM模块及专网模块通过交换芯片(SWITCH)相连，即COFDM与专网是通过以太网接口与CPU建立通信连接。WIFI模块及4G模块的控制与数据部分均是通过USB接口与处理器连接，北斗模块及天通卫星模块的控制与数据部分均是通过串口与处理器连接，而4G模块的音频部分以及天通卫星模块的音频部分都是对接到处理器的音频PCM接口上，处理器通过I/O控制当前那个模块使用该PCM接口。

对于对讲模块而言，因为声卡模块支持多声道的输入输出，所以其音频部分与声卡的一路声道相连接，即对讲的音频输出信号接到声卡相应声道的输入上，声卡该声道的输出信号接到对讲模块的输入上。这样，对讲采集的声音对声卡来讲就是输入，而声卡的输出对对讲模块而言就是输入。对讲模块的控制部分通过串口与处理器连接。

多网络融合通信终端与现场指挥节点、前方指挥中心节点及后方指挥中心节点之间除了建立通常的数据通信连接之外，还可能建立语音通信连接。对于数据通信连接，指挥节点具备常用的网络接入能力即可，而对于语音通信连接，就需要特别处理。一种方式是指挥节点同多网络融合通信终端类似，集成4G网络通信模块，从而支持电话功能，实现语音接入；另一种方式是指挥节点内置语音网关方式，通过标准的软件协议(比如SIP)，从语音网关获取语音数据，而多网络融合通信终端则与语音网关建立语音通信连接。如图3所示：

短信和语音经过运营商网络，与语音网关建立通信连接，指挥节点的数据处理模块使用相应的协议(如SIP)从语音网关获取数据，反之亦然。在本系统中，上面所述两种方式都有采用。

其次介绍软件部分。多网络融合通信终端安装有操作系统和应用软件。终端开机后，先运行操作系统。操作系统的驱动会对硬件部分所述各个模块进行配置和初始化，使其处于工作状态。除此，操作系统也会提供任务调度、内存管理等相关功能。应用软件则通过操作系统提供的接口获取各个模块的状态并与各个模块进行数据交换，这与常见电子设备产品操作系统与应用软件的分层和各自提供的功能是一致的。

应用软件部分通过操作系统使用各个集成模块，并对业务相关数据进行处理。如前述背景中所述，多网络融合通信终端主要解决通信孤岛及不同通信链路所承载业务融合度差的问题。在集成相关通信模块之后，实现多网络融合通信终端与各指挥节点之间无中断的音频、视频、数据传输，就主要是通过应用软件部分来完成的。根据业务特性及逻辑相关性，应用软件部分主要由以下几个模块组成，分别是：注册模块、音频采集与播放模块、音频路由管理模块、音频通道选择及传输模块、视频采集与播放模块、视频传输模块、通用数据传输模块、编解码模块、配置管理模块。如图4所示：

配置管理模块用于配置多网络融合通信终端相关的一些参数和使用策略，包括：配置服务器地址，使用WIFI或者4G数据通道时，通过该地址连接服务器；配置服务器语音网关号码，通过普通电话或者卫星电话拨打服务器时，使用该号码；配置通道模式，手动还是自动，手动模式下是优先级模式还是固定模式等，这些在选择传输通道时会用到；配置对讲模块的频率、频道等相关参数，这在组建集群网络时会用到；配置附属节点的地址，这在通过COFDM、WIFI及专网连接附属节点时使用；配置音频路由策略，决定各路音频数据在内部如何路由。

注册模块用于将多网络融合通信终端的相关信息上传到服务器，使服务器了解到多网络融合通信终端的配置和具备的能力。多网络融合通信终端上电并完成系统初始化后，首先运行注册模块。在注册模块中，应用软件将多网络融合通信终端相关的信息使用私有格式打包，然后遍历设备支持的所有传输通道，将该信息包通过所有支持的传输通道，同时传送到服务器端。如果多网络融合通信终端有通过WIFI模块连接到无线热点，则通过操作系统提供的无线接口将终端相关信息包发送一份到服务器。服务器地址在配置管理模块中配置。如果多网络融合通信终端的4G模块和天通卫星模块已完成初始化，则通过短信方式，包括普通4G短信和卫星短信，将终端相关的信息包数据发送到服务器端的语音网关。语音网关号码在配置管理模块中配置。更进一步，如果多网络融合通信终端已通过PPP拨号成功建立4G数据连接和天通卫星数据连接，则同时将相关信息包通过拨号建立的连接发送到服务器。如果有多个4G模块且都建立了拨号连接，则每个拨号连接都发送一份。多网络融合通信终端相关的信息包带有序号字段，服务器端可能同时会从多种通道接收到相同序号的终端信息包，此时，服务器端只需丢弃重复的信息包即可。使用多种传输通道同时传输注册信息包，目的是为了更快更可靠的完成上线注册，避免由于多网络融合通信终端所处环境的限制，导致某些通道无法使用而不能进行上线注册。整个上线注册的状态机如图5所示：

编解码模块为音视频的支撑模块，基于对处理器硬件编解码模块的封装实现，提供对常见音视频编解码格式的支持。

音频采集与播放模块完成音频数据的获取和播放功能。音频数据的获取有三种方式：一种是直接通过硬件接口获取多网络融合通信终端自带的声卡设备采集的PCM格式的音频数据；一种是通过私有协议，利用多网络融合通信终端集成的网络模块(如WIFI、COFDM、专网)，获取局域网内附属节点的音频数据；一种是通过多网络融合通信终端集成的对讲模块，获取集群对讲网络中其他对讲节点的音频数据。通过上述三种方式获取的音频数据会缓存到多网络融合通信终端的音频缓冲Buffer中，后续可用于路由混音处理。音频数据的播放与获取类似，同样有三种方式：一种是将缓冲Buffer中的PCM格式的音频数据直接注入多网络融合通信终端的声卡，通过喇叭播放；一种是通过私有协议，利用多网络融合通信终端集成的网络模块(如WIFI、COFDM、专网)，将缓冲Buffer中的音频数据发送到局域网中的附属节点，由附属节点自带的喇叭进行播放；一种是通过多网络融合通信终端集成的对讲模块，将缓冲Buffer中的音频数据发送到集群对讲网络中的对讲节点，由对讲节点通过其自带的喇叭播放。

多网络融合通信终端通过集成的对讲模块获取集群对讲网络的音频数据或将本地缓冲Buffer中的音频数据发送到集群对讲网络时，需要额外的信号配合，其过程为：当集群对讲网络中有对讲节点按下PTT按键并讲话时，多网络融合通信终端集成的对讲模块会接收到从对讲网络传输过来的声音信号，并将其输出到与其输出相连的声卡的输入通道。声卡对该声音信号进行模数转换并采样输出。上层应用软件通过操作系统接口，会读取到采样后的PCM格式的来自对讲网络的原始声音数据。同时，当集群对讲网络中有对讲节点按下PTT按键并讲话时，多网络融合通信终端集成的对讲模块还会接收到该对讲节点PTT按键按下的信号，并通过操作系统，将该信号上报到应用软件。应用软件收到集群中有对讲节点按下PTT信号的事件后，启动数据接收。当集群对讲网络中当前按下PTT按键的对讲节点松开PTT按键后，多网络融合通信终端集成的对讲模块同样会接收到该对讲节点PTT按键松开的信号，并通过操作系统，将该信号上报到应用软件。应用软件收到该信号后，关闭数据接收。多网络融合通信终端使能集成的对讲模块的PTT信号后，发送到对讲模块的音频数据会被对讲模块自动转发到集群对讲网络中，这样集群对讲网络中的其他对讲节点就可以接收到多网络融合通信终端发送的音频数据。

视频采集与播放模块完成视频数据的获取和播放功能。视频数据的获取有两种方式：一种是直接通过硬件接口，获取多网络融合通信终端自带的摄像头模块采集的视频数据，交给编解码模块进行编码；一种是通过私有协议，利用多网络融合通信终端集成的网络模块(如WIFI、COFDM、专网)，获取局域网内附属节点的视频数据，通过这种方式获取的是已经编码后的视频数据。视频的播放同样有两种途径，一种是将编码的视频数据交给编解码模块，通过配置编解码模块，由编解码模块直接对视频数据进行解码并送显示器进行显示播放；一种是将编码的视频通过多网络融合通信终端集成的网络模块(如WIFI、COFDM、专网)，发送到局域网中的附属节点，由附属节点完成视频的解码和播放。

音频路由管理模块完成各类音频源获取的数据在多网络融合通信终端内部的路由功能，实现音频业务数据在多网络融合通信终端内的融合。多网络融合通信终端的音频数据来源可能包括本地声卡的麦克输入、集成对讲模块的对讲输入、4G及卫星模块的电话PCM语音输入、局域网的附属节点的音频输入以及从其他指挥节点网络口接收的音频输入。每一个输入口关联一个对应的输出口，比如本地声卡麦克对应本地声卡喇叭，对讲输入对应对讲输出等。每一路音源输入原则上都可以到任何一个多网络融合通信终端支持的输出口输出，但是有些输出是无意义或者业务逻辑上不允许的，比如从麦克输入到喇叭输出，结果就是回音效果，没有任何意义；从其他指挥节点网络口输入到多网络融合通信终端的电话口输出，业务逻辑上就不允许，否则就会形成音频环路，因为二者都是用于实现多网络融合通信终端与指挥节点之间的音频传输，具有互斥的要求。音频路由管理模块决定哪些输入源到哪些输出口，并完成每个输出口的混音处理。其内部结构示意图如图6所示：

音频路由管理模块的功能由机制和策略两部分共同协作实现。机制上，每一路输出口都配置一个混音器，每一路音频输入数据都会被复制一份，发送到除了自己对应的输出口之外的所有输出口。比如本地麦克输入的音频数据会发送到除了与自己对应的本地喇叭输出口之外的其他输出口的混音器。至于每一路输出口的混音器是否做混音及混音器接收那几路音频数据混音，则由策略配置管理模块决定。如图6所示，策略关联到每一个混音器上，如果本地喇叭输出口的混音器被策略模块配置为只对对讲输入和WIFI输入做混音输出，那么多网络融合通信终端的喇叭就不会播放从其他指挥节点的电话通道或网络通道接收的音频数据，也不会播放通过COFDM通道从附属节点接收到的音频数据，虽然其具有这个能力。

通过音频路由管理模块，多网络融合通信终端具备灵活自由的音频业务数据融合能力，既可以将多网络融合通信终端自身的音频数据与局域网中附属节点的音频数据根据配置灵活关联，传输到其他指挥节点，也可以将从其他指挥节点接收的音频数据根据配置，选择是否自动转发到局域网中的附属节点，附属节点与指挥节点之间不再需要人工转述。

音频通道选择及传输模块根据一定的策略，决定当前最适合传输音频数据的通道，完成音频数据的发送和接收。发送和接收始终采用同一通路，即如果是通过话音通道发送，则通过话音通道接收，相应的，如果是通过数据通道发送，则通过数据通道接收。音频通道选择及传输模块从音频路由管理模块输出口的混音器中读取待发送数据，然后根据传输通道选择情况进行压缩编码处理，最后发送到指挥节点。如果选择的通道为电话通道，则无需进行压缩编码处理。具体使用哪种传输通道，比如是通过传统运营商宽带网络(比如WIFI或以太网)传输还是通过4G数据通道传输亦或通过4G及卫星电话通道传输，则由相应的算法和配置策略决定。该策略的实现包括手动选择和自动选择两部分，且手动选择优先级高于自动选择。具体的工作过程如下：

读取配置管理模块中的信息，判断当前通道是手动选择模式还是自动选择模式。配置管理模块中的信息由用户通过界面手动配置保存。如果没有配置过，默认为自动选择模式。

如果当前为手动配置模式，则进一步判断是固定通道模式还是优先级通道模式。如果是固定通道模式，则直接使用该通道与服务器交互。如果固定通道选择为宽带网络通道，则本终端尝试使用操作系统创建的无线接口或以太网接口与服务器建立TCP/IP连接。如果没有宽带网络接口可用或者连接建立失败，则该模块会广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果连接建立成功，则广播通道建立成功事件，音频发送和接收子模块收到该事件后，使用当前建立的通道发送和接收压缩编码的音频数据。如果固定通道选择为4G数据通道，则本终端使用操作系统创建的PPP接口与服务器建立TCP/IP连接。如果没有PPP接口或者连接建立失败，则该模块会广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果连接建立成功，则广播通道建立成功事件，音频发送和接收子模块收到该事件后，使用当前建立的拨号通道发送和接收压缩编码的音频数据。如果固定通道选择为普通电话或者天通卫星电话通道，则本终端直接尝试电话拨打指挥节点端语音网关号码。如果电话未打通，则广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果电话打通，则广播通道建立成功事件，音频发送和接收子模块接收到该事件后，使用当前建立的电话通道发送和接收PCM格式的音频数据。

如果当前是手动模式下的优先级模式，则根据配置中确定的优先级，按照从高到低的顺序，依次尝试建立各种类型的通道。当被配置为高优先级的通道建立后，不再尝试低优先级的通道类型。比如，如果优先级为宽带网络大于4G数据，4G数据大于普通电话，普通电话大于天通卫星电话，那么当4G数据类型的通道建立后，不会再尝试电话方式建立通道。如果高优先级的通道建立失败，则会继续尝试低优先级的通道，直到传输通道建立。如果尝试完所有通道仍然没有建立传输通道，则广播通道建立失败事件，终端界面会根据该事件提示用户出错。

如果用户未配置通道选择策略或者配置为自动模式，则音频传输通道选择模块将按照自动模式进行传输通道的选择。自动模式有默认优先级，此时宽带网络通道优先级最高，4G数据通道次之，普通电话优先级小于4G数据，天通卫星电话优先级小于普通电话。可以看出，优先级越高，资费越便宜，带宽越大，适用场景越少，反之，资费越贵，带宽越窄，适用场景越多。天通卫星电话基本上可以适用于各种复杂地形地貌环境下。

自动模式下，音频通道选择及传输模块为每个通道建立评估函数s＝f(x，y，z)，然后根据评估函数返回的结果，进行传输通道的选择。评估函数中x、y、z为影响因子，x为通道默认优先级，适用于所有通道，y、z因子不同的通道，对应的含义不一样。对于宽带网络及4G数据通道，y为通道最近一段时间数据往返传输时间RTT的方差的倒数，z为通道最近一段时间数据传输速率的均值，包括上行和下行。对于普通电话和天通卫星电话，y为本次开机以来，通道获取的信号强度的均值，z为本次开机以来，通道上拨打成功的电话数与总的拨打电话次数的比值。如果开机以来从未在该通道上拨打过电话，则该通道的z取值为1。评估函数f的计算公式为Ax+By+Cz，其中A、B、C为三个影响因子的权重，具体值可以使用默认值，也可以通过配置管理模块进行手动配置。通过上述定义，可以看到，通道评估函数返回值越大，表明该通道质量越好。音频通道选择及传输模块选择当前评估值最大的通道作为传输通道，通过其与服务器建立连接，如果连接建立成功，则广播通道建立成功事件。否则，选择评估值第二大的通道建立连接，以此类推。依据评估函数进行通道筛选的一个简单示例如下：

假设终端设备刚开机时，既可通过4G数据通道建立与服务器的连接，也可以通过普通电话通道建立与服务器的连接。此时由于缺乏历史数据，评估函数的返回值主要由默认优先级决定，基于4G数据通道优先级大于普通电话通道，音频传输通道选择模块会使用4G数据连接建立传输通道。在数据传输进行过程中，由于4G数据网络不稳定，导致其评估函数返回值不断变小，当其小于低优先级的普通电话通道的评估值时，音频通道选择及传输模块会将通道切换为普通电话通道。切换成功后，音频通道选择及传输模块会断开4G数据连接通道，并将切换成功事件广播出来。音频发送和接收子模块接收到该事件后选择新的传输通道发送和接收音频数据。

在多网络融合通信终端当前使用的通道因为外部原因断开后，音频通道选择及传输模块自动进入重选状态，重新按照评估值从高到低，遍历所有可能的通道，尝试建立连接。自动模式下，音频通道选择及传输模块有重试和跳跃机制。当所有通道都无法建立连接后，音频通道选择及传输模块会根据配置的时间间隔参数，在该间隔时间超时后，再次按照评估值从高到低，遍历所有通道，尝试与服务器建立连接，直到通过某个通道建立连接，此即为重试机制。在有通道连接建立的情况下，音频通道选择及传输模块会按照一定的时间间隔，检查是否存在比当前通道评估值更高的通道，如果存在，则会继续尝试通过更高评估值的通道建立连接。如果连接建立成功，音频通道选择及传输模块会断开当前低评估值的通道，并广播更高评估值通道建立事件，音频发送和接收子模块收到该事件后，将音频流从当前通道切换到具有更高评估值的通道，此即为跳跃机制。重试机制保证在通道连接可能建立的第一时间，多网络融合通信终端能够与指挥节点建立传输通道，跳跃机制保证多网络融合通信终端在有更便宜、更可靠、更大带宽的通道可用时，第一时间通过该通道与指挥节点建立传输连接。

如前所述，音频数据的接收通道与发送通道是一致的，如果数据是通过宽带网络或4G数据通道获取的，则需要对数据进行解码解压缩，还原成原始的PCM格式的音频数据，如果是从普通电话或天通卫星电话通道获取的，则数据就是原始的PCM格式的音频数据。获取的音频数据会交给音频路由管理模块进行音频业务数据的融合处理。

视频传输模块完成多网络融合通信终端与指挥节点之间的视频业务数据传输，包括发送和接收。考虑到视频业务数据本身无法使用话音通道传输的特性、高带宽要求及必要性低于音频等因素，视频业务数据的传输只采用宽带网络通道和4G数据通道，并且在两个通道都不可用的情况下，停止视频数据的收发。通道的选择和切换策略如下：如果宽带网络通道可用，就优先使用宽带网络通道，否则就使用4G数据通道。同样，视频传输通道的选择也有重试和跳跃机制，基本处理同音频通道选择及传输模块。

通用数据传输模块处理音视频之外的其他业务数据。比如文字、图片、定位信息、传感器获取的应急现场周围环境信息等。这类数据的获取途径有两种方式，一种是通过多网络融合通信终端自身集成的硬件模块获取，比如多网络融合通信终端集成了北斗模块，支持接入北斗卫星网络，则通过北斗卫星网络，多网络融合通信终端可以获取地理位置信息。另外一种方式是通过私有协议，从多网络融合通信终端覆盖的局域网中的其他附属节点获取，比如通过WIFI或者COFDM网络获取接入这些网络的附属节点的通用数据。通过该模块，多网络融合通信终端可转发通用数据到指挥节点，也可以将指挥节点下发的数据下传给附属节点，实现通用数据在业务层面的融合。

因为通用类业务数据的普遍特点是实时性不如音视频，并且数据占用带宽也相对小很多，数据种类差异比较大，所以其传输方式与音视频有较大不同。为了取得更好、更可靠的传输效果，通用数据传输模块采用定制的传输策略完成这类数据的收发。首先，系统提供通用的传输策略模板，内容包括：通道选择，用于决定传输过程使用单一通道还是复合通道，复合通道表示多网络融合通信终端可以使用多个通道传输同一个消息，消息通过序号区分，类似注册部分。通用数据可用传输通道包括宽带网络、4G数据通道及短信、天通卫星短信、北斗短报文，复合通道情况下可选择两种及以上通道。一般情况下宽带网络、4G数据通道不与短信和北斗短报文通道混用，即复合通道要么为宽带网络和4G数据通道的组合，要么为4G短信、天通卫星短信和北斗短报文的组合，不支持两类之间的交叉混合。方式选择，用于决定并行传输还是单路传输，并行传输时多个通道同时传输同样的数据，由服务器端根据序号判断接收到的是否为不同通道到达的同一个消息，类似注册部分。单路传输表示会尝试复合通道中的多个通道，但是同一时间只用其中的一个通道。单路方式下进一步支持模式选择，包括优先级模式和遍历模式，优先级模式表示按照配置的优先级决定复合通道中各个通道的选择顺序，而遍历模式表示按随机顺序遍历复合通道中的各个通道。优先级模式下进一步支持配置重试间隔及是否跳跃，用于决定在使用低优先级通道时是否不放弃对高优先级的尝试。如果配置了这两个参数，则传输模块会在重试间隔超时时尝试更高优先级通道，成功后会跳跃到该高优先级通道。其次，对某一种具体类型数据的传输，应用层可勾选和配置上述选项，从而完成传输策略的定制，传输模块按照定制策略，进行数据通道选择和传输。比如，对于定位信息，如果选择复合通道，单路传输，优先级模式，重试间隔为5秒，支持跳跃，则定位信息的传输过程为：按照优先级从高到低，选择传输的通道，如果高优先级通道可用，则直接使用该高优先级通道传输，如果高优先级通道不可用或者使用过程中通道断开，则尝试低优先级通道。在低优先级通道使用的过程中，每间隔5秒检查是否有高优先级通道可用，如果可用，则跳跃到该高优先级通道上，使用该高优先级通道传输定位信息。

本发明所提供的融合终端、系统及方法，首先，融合终端设备集成相关的通信模块，包括对讲模块，4G模块，卫星模块，北斗模块，WIFI模块，COFDM模块等。其次，本融合终端实现音频路由策略和机制，可将通过对讲、WIFI、COFDM等局域网获取的音频数据与4G广域网络及天通卫星网络获取的音频数据自由的混合起来，实现音频业务在这些网络中的融合。再次，本融合终端针对音频、视频、文字、图片、传感器等不同业务数据自身的特点，实现了灵活的传输策略，最大程度的保障各项业务的可靠传输，特别是针对音频业务的切换策略，有效的保证了语音的实时高可用。另外，本融合终端及系统与方法不仅仅适用于电力应急通信中，在其他有应急通信需求的领域也一样是适用的。

Claims (6)

1.一种多网络融合通信终端，其特征在于：所述多网络融合通信终端包括处理器、用于基于COFDM的近距离数据传输的COFDM模块、用于基于WIFI的局域网或运营商宽带网络连接的WIFI模块、用于基于专网的局域范围数据传输的专网模块、用于接入运营商宽带网络实现广域网通信的以太网模块、用于接入运营商的4G网络实现无线广域网通信的4G模块、用于基于天通卫星网络的语音和数据通信的天通卫星模块、用于基于北斗卫星网络的定位和短报文传输的北斗模块、用于接收来自集群对讲网络的语音数据以及将语音数据发送到集群对讲网络中的对讲模块、编解码模块、存储器、显示模块、声卡模块、输入输出I/O模块以及电源管理模块；所述COFDM模块、WIFI模块、专网模块、以太网模块、4G模块、天通卫星模块、北斗模块、对讲模块、编解码模块、存储器、显示模块、声卡模块、输入输出I/O模块以及电源管理模块分别与处理器相连；所述对讲模块与声卡模块相连；

基于多网络融合通信终端形成的多网络融合通信系统包括注册模块、音频采集与播放模块、音频路由管理模块、音频通道选择及传输模块、视频采集与播放模块、视频传输模块、通用数据传输模块、编解码模块以及配置管理模块；所述配置管理模块用于配置多网络融合通信终端相关的一些参数和使用策略，包括：配置服务器地址；配置服务器语音网关号码；配置通道模式；配置对讲模块的频率以及频道；配置附属节点的地址；配置音频路由策略以决定各路音频数据在内部如何路由；所述注册模块用于将多网络融合通信终端的相关信息上传到服务器，使服务器了解到多网络融合通信终端的配置和具备的能力；所述编解码模块为音视频的支撑模块，基于对处理器硬件编解码模块的封装实现，提供对常见音视频编解码格式的支持；所述音频采集与播放模块完成音频数据的获取和播放；所述视频采集与播放模块完成视频数据的获取和播放；所述音频路由管理模块完成各类音频源获取的数据在多网络融合通信终端内部的路由，实现音频业务数据在多网络融合通信终端内的融合；所述音频通道选择及传输模块根据一定的策略，决定当前最适合传输音频数据的通道，完成音频数据的发送和接收；所述视频传输模块完成多网络融合通信终端与指挥节点之间的视频业务数据传输，包括发送和接收；所述通用数据传输模块处理音频以及视频之外的其他业务数据的传输。

2.根据权利要求1所述的多网络融合通信终端，其特征在于：所述COFDM模块以及专网模块分别通过以太网接口与处理器相连；所述WIFI模块以及4G模块分别通过USB接口与处理器连接；所述北斗模块以及天通卫星模块分别通过串口与处理器连接；所述专网模块是1.8G专网模块；所述4G模块是一个或多个。

3.一种多网络融合通信方法，应用于权利要求1或2所述的多网络融合通信终端中，其特征在于：所述多网络融合通信方法包括以下步骤：

1)待多网络融合通信系统上电并完成初始化后，将多网络融合通信终端的相关信息上传到服务器实现注册；

2)分别获取音频数据、视频数据以及通用数据；同时对获取得到的音频数据进行融合处理；

3)根据不同的传输策略，对音频数据、视频数据以及通用数据分别选择最适合的传输通道并进行数据传输；

所述传输策略包括音频数据传输策略、视频数据传输策略以及通用数据传输策略；

所述音频数据传输策略包括手动选择和自动选择两部分，且手动选择优先级高于自动选择，所述音频数据传输策略的具体实现方式是：

读取配置管理模块中的信息，判断当前通道是手动选择模式还是自动选择模式；配置管理模块中的信息由用户通过界面手动配置保存；如果没有配置过，默认为自动选择模式；

如果当前为手动配置模式，则进一步判断是固定通道模式还是优先级通道模式；如果是固定通道模式，则直接使用该通道与服务器交互；如果固定通道选择为宽带网络通道，则多网络融合通信终端尝试使用操作系统创建的无线接口或以太网接口与服务器建立TCP/IP连接；如果没有宽带网络接口可用或者连接建立失败，则融合通信终端系统会广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果连接建立成功，则广播通道建立成功事件，音频发送和接收子模块收到该事件后，使用当前建立的通道发送和接收压缩编码的音频数据；如果固定通道选择为4G数据通道，则多网络融合通信终端使用操作系统创建的PPP接口与服务器建立TCP/IP连接；如果没有PPP接口或者连接建立失败，则融合通信终端系统广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果连接建立成功，则广播通道建立成功事件，音频发送和接收子模块收到该事件后，使用当前建立的拨号通道发送和接收压缩编码的音频数据；如果固定通道选择为普通电话或者天通卫星电话通道，则多网络融合通信终端直接尝试电话拨打服务器端语音网关号码；如果电话未打通，则广播通道建立失败事件，终端界面会根据该事件提示用户出错；如果电话打通，则广播通道建立成功事件，音频发送和接收子模块接收到该事件后，使用当前建立的电话通道发送和接收PCM格式的音频数据；

如果当前是手动模式下的优先级模式，则根据配置中确定的优先级，按照从高到低的顺序，依次尝试建立各种类型的通道；当被配置为高优先级的通道建立后，不再尝试低优先级的通道类型；如果高优先级的通道建立失败，则会继续尝试低优先级的通道，直到传输通道建立；如果尝试完所有通道仍然没有建立传输通道，则广播通道建立失败事件，终端界面会根据该事件提示用户出错；

如果用户未配置通道选择策略或者配置为自动模式，则音频通道选择传输模块将按照自动模式进行传输通道的选择；自动模式有默认优先级，此时宽带网络通道优先级最高，4G数据通道次之，普通电话优先级小于4G数据，天通卫星电话优先级小于普通电话；

自动模式下，音频通道选择及传输模块为每个通道建立评估函数s＝f(x，y，z)，然后根据评估函数返回的结果，进行传输通道的选择；评估函数中x、y、z为影响因子，x为通道默认优先级，适用于所有通道，y、z因子不同的通道，对应的含义不一样；对于宽带网络及4G数据通道，y为通道最近一段时间数据往返传输时间RTT的方差的倒数，z为通道最近一段时间数据传输速率的均值，包括上行和下行；对于普通电话和天通卫星电话，y为本次开机以来，通道获取的信号强度的均值，z为本次开机以来，通道上拨打成功的电话数与总的拨打电话次数的比值；如果开机以来从未在该通道上拨打过电话，则该通道的z取值为1；评估函数f的计算公式为Ax+By+Cz，其中A、B、C为三个影响因子的权重，具体值可以使用默认值，也可以通过配置管理模块进行手动配置；通道评估函数返回值越大，表明该通道质量越好；音频通道选择及传输模块选择当前评估值最大的通道作为传输通道，通过其与服务器建立连接，如果连接建立成功，则广播通道建立成功事件；否则，选择评估值第二大的通道建立连接，以此类推；

在多网络融合通信终端当前使用的通道因为外部原因断开后，音频通道选择及传输模块自动进入重选状态，重新按照评估值从高到低，遍历所有可能的通道，尝试建立连接；自动模式下，音频通道选择及传输模块有重试和跳跃机制；当所有通道都无法建立连接后，音频通道选择及传输模块会根据配置的时间间隔参数，在间隔时间超时后，再次按照评估值从高到低，遍历所有通道，尝试与服务器建立连接，直到通过某个通道建立连接，此即为重试机制；在有通道连接建立的情况下，音频通道选择及传输模块会按照一定的时间间隔，检查是否存在比当前通道评估值更高的通道，如果存在，则会继续尝试通过更高评估值的通道建立连接；如果连接建立成功，音频通道选择及传输模块会断开当前低评估值的通道，并广播更高评估值通道建立事件，音频发送和接收子模块收到该事件后，将音频流从当前通道切换到具有更高评估值的通道，此即为跳跃机制；重试机制保证在通道连接可能建立的第一时间，多网络融合通信终端能够与指挥节点建立传输通道，跳跃机制保证多网络融合通信终端在有更便宜、更可靠、更大带宽的通道可用时，第一时间通过该通道与指挥节点建立传输连接；

所述视频的传输策略是：如果宽带网络通道可用，就优先使用宽带网络通道，否则就使用4G数据通道；同样，视频传输通道的选择也有重试和跳跃机制，基本处理同音频通道选择及传输模块；

所述通用数据的传输策略的具体实现方式是：首先，系统提供通用的传输策略模板，所述传输策略模板的内容包括：通道选择，用于决定传输过程使用单一通道还是复合通道，复合通道表示多网络融合通信终端可使用多个通道传输同一个消息，消息通过序号区分，类似注册部分；通用数据可用传输通道包括宽带网络、4G数据通道及短信、天通卫星短信、北斗短报文，复合通道情况下选择两种及以上通道；方式选择，用于决定并行传输还是单路传输，并行传输时多个通道同时传输同样的数据，由服务器端根据序号判断接收到的是否为不同通道到达的同一个消息，类似注册部分；单路传输表示会尝试复合通道中的多个通道，但是同一时间只用其中的一个通道；单路方式下进一步支持模式选择，包括优先级模式和遍历模式，优先级模式表示按照配置的优先级决定复合通道中各个通道的选择顺序，而遍历模式表示按随机顺序遍历复合通道中的各个通道；优先级模式下进一步支持配置重试间隔及是否跳跃，用于决定在使用低优先级通道时是否不放弃对高优先级通道的尝试；如果配置了这两个参数，则通用数据传输模块会在重试间隔超时时尝试更高优先级通道，成功后会跳跃到该高优先级通道；其次，对某一种具体类型数据的传输，应用层勾选和配置对应的选项，从而完成传输策略的定制，通用数据传输模块按照定制策略，进行数据通道选择和传输。

4.根据权利要求3所述的多网络融合通信方法，其特征在于：所述步骤1)中注册的具体实现方式是：将多网络融合通信终端相关的信息使用私有格式打包，然后遍历设备支持的所有传输通道，将信息包通过所有支持的传输通道，同时传送到服务器端；如果多网络融合通信终端有通过WIFI模块连接到无线热点，则通过操作系统提供的无线接口将终端相关信息包发送一份到服务器；如果多网络融合通信终端的4G模块和天通卫星模块已完成初始化，则通过短信方式，包括普通4G短信和卫星短信，将终端相关的信息包数据发送到服务器端的语音网关；语音网关号码在配置管理模块中配置；如果多网络融合通信终端已通过PPP拨号成功建立4G数据连接和天通卫星数据连接，则同时将相关信息包通过拨号建立的连接发送到服务器；如果有多个4G模块且都建立了拨号连接，则每个拨号连接都发送一份；多网络融合通信终端相关的信息包带有序号字段，服务器端可能同时会从多种通道接收到相同序号的终端信息包，此时，服务器端只需丢弃重复的信息包。

5.根据权利要求4所述的多网络融合通信方法，其特征在于：所述步骤2)中音频数据获取方式包括：通过硬件接口获取多网络融合通信终端自带的声卡设备采集的PCM格式的音频数据；通过私有协议，利用多网络融合通信终端集成的网络模块，获取局域网内附属节点的音频数据；通过多网络融合通信终端集成的对讲模块，获取集群对讲网络中其他对讲节点的音频数据；通过电话通道获取的远端音频数据；通过数据通道获取的远端音频数据。

6.根据权利要求5所述的多网络融合通信方法，其特征在于：所述步骤2)中对获取得到的音频数据进行融合处理的具体实现方式是：

音频路由管理模块完成各类音频源获取的数据在多网络融合通信终端内部的路由功能，实现音频业务数据在多网络融合通信终端内的融合；音频路由管理模块的音频数据来源包括本地声卡的麦克输入、集成对讲模块的对讲输入、3G或4G及卫星模块的电话PCM语音输入、局域网的附属节点的音频输入以及从其他指挥节点网络口接收的音频输入；每一个输入口关联一个对应的输出口，音频路由管理模块决定哪些输入源到哪些输出口，并完成每个输出口的混音融合处理；音频路由管理模块的功能由机制和策略两部分共同协作实现；每一路输出口都配置一个混音器，每一路音频输入数据都会被复制一份，发送到除了自己对应的输出口之外的所有输出口；至于每一路输出口的混音器是否做混音及混音器接收那几路音频数据混音，则由策略配置管理模块决定；策略关联到每一个混音器上。

Images