CN116055458B - 一种物联网云平台设备间的音视频通话方法、设备及介质 - Google Patents

Abstract

本发明公开了一种物联网云平台设备间的音视频通话方法，包括：建立目标设备与云端设备管理服务器连接，将IP上报；判断目标设备是否为新增的设备；将目标设备注册进云端流媒体服务器中；将IP添加入云端设备管理服务器中，更新每台设备对应的联系人文件；对所有设备中包含有该IP的联系人文件进行更新；将更新好的联系人文件下发给对应的设备；终端设备集群中每台设备接收并解析联系人文件；根据解析后的联系人文件对本地联系人列表进行更新；更新后的所有设备实时探测是否能与目标设备进行局域网通讯，采用不同的通话方式。本发明还公开了一种电子设备及计算机可读存储介质，实现了音视频通话的适用性、经济型和便利性。

Description

一种物联网云平台设备间的音视频通话方法、设备及介质

技术领域

本发明涉及物联网云平台技术领域，尤其涉及一种物联网云平台设备间的音视频通话方法、设备及介质。

背景技术

物联网（Internet of Things，简称IoT）是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。

目前业界在海量终端对讲设备间的音视频可靠通话的适用性、经济型、便利性无法做到三者兼得，具有以下三种情况：

①当前大部分厂商受限于技术水准，无法开发一套云端的云端设备管理服务与云端流媒体服务，导致其对讲方案的音视频通话只支持设备间同一个局域网内的通信，甚至还在适用模拟信息的通信方式，那么就强制项目下的设备都需要部署在同一个局域网内，实际项目应用受限较多，对复杂网络的项目部署无法支持，无法大范围推广，适用性非常差。

②一部分厂商有能力开发一套云端的服务，也引入云对讲的方案，但是受限于成本理念与开发复杂度，并不支持设备间点对点通话与云端转发的双通道能力的切换，所有终端设备间的所用通话全部依赖云端流媒体服务中转，这样能够保证不管同一个项目下的设备是否处于同一个局域网内，都能够实现音视频通话。由于无法实现设备间的局域网点对点通话，导致整个方案的建设成本非常高，经济型无法体现。

③还有少数厂商在技术方面沉淀较多，能够同时支持设备间的点对点通话与云端转发的方式，但是操作麻烦，只能人为的确定多台设备将是否能够内网互通，一旦人为操作失误，则设备间的通信就无法进行，对可靠性与管理的便利性产生较大的影响。并且设备间不支持网络实时探测与信息更新实时通知，即对于设备本身相关信息的变更无法实时通知到同一项目下的其他设备，对项目管理上的便利性造成较大的影响。一旦设备的局域网IP变更或者注册在云端流媒体服务器上的账号信息发生变更后，只能人为介入处理，方案的便利性无法保证。

音视频对讲云平台整个解决方案在数以百万计的终端对讲设备之间的音视频通话的频次是海量的，如何在保证项目管理便利性的前提下，解决同一个项目下处于各种各样复杂网络环境下的众多终端对讲设备之间的音视频可靠通话，同时节省整个解决方案的网络带宽、流量占用与云端流媒体服务器数量，从而减少整个解决方案的建设成本是业界亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提出一种物联网云平台设备间的音视频通话方法，采用一套基于联系人列表文件的协议，提出终端设备自适应通信、网络状态变更实时上报与下发、双链路通话信道等概念，在保证网络适用性、经济型的基础上，有效地提升了项目管理的便利性与方案可靠性。

为了实现上述的技术目的，本发明所采用的技术方案为：

本发明提供了一种物联网云平台设备间的音视频通话方法，包括如下步骤：

步骤1、建立目标设备与云端设备管理服务器的连接后，所述目标设备将自身的局域网IP地址上报给云端设备管理服务器；

步骤2、所述云端设备管理服务器判断目标设备是否为新增的设备，若是，则上报的局域网IP地址为待添加的局域网IP地址，进入步骤3；若否，则上报的局域网IP地址为待变更的局域网IP地址，进入步骤4；

步骤3、将所述目标设备注册进云端流媒体服务器中；将待添加的局域网IP地址添加入云端设备管理服务器中，所述云端设备管理服务器根据已添加的所有局域网IP地址更新每台设备对应的联系人文件，进入步骤5；

步骤4、所述云端设备管理服务器根据待变更的局域网IP地址对所有设备中包含有该待变更的局域网IP地址的联系人文件进行更新；并将更新好的每台设备的联系人文件实时下发给终端设备集群中对应的设备；

步骤5、所述终端设备集群中每台设备接收并解析对应更新好的联系人文件；并根据解析后的联系人文件对本地联系人列表进行更新；

步骤6、更新后的所有设备实时探测是否能与目标设备进行局域网通讯，若是，则通过局域网通讯方式进行音视频通话；若否，则通过云端流媒体服务器转发方式进行音视频通话。

进一步的，所述步骤2中所述云端设备管理服务器判断目标设备是否为新增的设备，具体包括：

步骤21、所述目标设备将自身的UUID上报给云端设备管理服务器；

步骤22、所述云端设备管理服务器根据上报的UUID进行查找；

步骤23、查询所述云端设备管理服务器中是否存在上报的UUID，若是，则说明上报的UUID唯一对应的目标设备是已有的设备；若否，则说明上报的UUID唯一对应的目标设备是新增的设备。

进一步的，所述步骤3中将所述目标设备注册进云端流媒体服务器中，具体包括：

步骤31、所述云端设备管理服务器下发云端流媒体服务器的注册账号信息给目标设备；

步骤32、所述目标设备根据注册账号信息在云端流媒体服务器中进行注册。

进一步的，所述步骤3中所述云端设备管理服务器根据已添加的所有局域网IP地址更新每台设备对应的联系人文件，具体包括：

步骤33、判断最新添加的局域网IP地址是否为第1个被添加的局域网IP地址，若是，则无需生成该台设备的联系人文件；若否，则进入步骤34；

步骤34、判断最新添加的局域网IP地址是否为第2个被添加的局域网IP地址，若是，则在所述云端设备管理服务器中生成第1台设备的联系人文件，在所生成的第1台设备的联系人文件下添加第2个被添加的局域网IP地址、第2台设备的UUID和第2台设备的注册账号信息；同时在所述云端设备管理服务器中生成第2台设备的联系人文件，在所生成的第2台设备的联系人文件下添加第1个被添加的局域网IP地址、第1台设备的UUID和第1台设备的注册账号信息；若否，则进入步骤35；

步骤35、假定最新添加的局域网IP地址为第n个被添加的局域网IP地址，则在所述云端设备管理服务器中已生成的第1至第n-1台设备的联系人文件下添加第n个被添加的局域网IP地址、第n台设备的UUID和第n台设备的注册账号信息，在所述云端设备管理服务器中生成第n台设备的联系人文件，并在所生成的第n台设备的联系人文件下添加第1至第n-1个被添加的局域网IP地址、第1至第n-1台设备的UUID和第1至第n-1台设备的注册账号信息；其中，n为整数且n≥3。

进一步的，所述步骤4具体包括：

步骤41、所述云端设备管理服务器根据待变更的局域网IP地址确定出对应目标设备的UUID；

步骤42、根据所述目标设备的UUID在所述云端设备管理服务器中查找出包含有该UUID的所有设备的联系人文件；

步骤43、找出所述所有设备的联系人文件中该UUID对应的可变更局域网IP地址；

步骤44、将所述可变更局域网IP地址替换成待变更的局域网IP地址；

步骤45、所述云端设备管理服务器根据更新好的联系人文件对应的每台设备的UUID找到终端设备集群中对应的设备；

步骤46、所述云端设备管理服务器将更新好的每台设备的联系人文件实时下发给终端设备集群中对应的设备。

进一步的，所述步骤5具体包括：

步骤51、所述终端设备集群中每台设备接收对应更新好的联系人文件；

步骤52、将更新好的联系人文件进行解析，得到当前设备的待变更的局域网IP地址、UUID和注册账号信息；

步骤53、根据解析得到的待变更的局域网IP地址、UUID和注册账号信息分别与本地联系人列表中的局域网IP地址、UUID和注册账号信息进行一一对比，若数据相同，则无需更新；若数据不同，则将本地联系人列表中的数据更新成解析后的数据。

进一步的，所述云端设备管理服务器上部署有数据库，所述数据库中存储有注册账号信息及目标设备上报的局域网IP地址和UUID。

进一步的，所述云端设备管理服务器和云端流媒体服务器部署于云平台上。

本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的一种物联网云平台设备间的音视频通话方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的一种物联网云平台设备间的音视频通话方法。

采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：

本发明实现了整套方案的经济型、适用性、便利性等特点，具体如下：

①海量终端设备音视频通话的经济性实现：经济型体现在带宽控制、流量使用、云端流媒体服务集群部署规模的有效控制等方面。为了有效控制这些成本方面的因素，云端设备管理服务器会通过自定义的一套联系人通信协议与终端设备保持联系，每一个联系人属性信息都包含设备的局域网IP地址、设备注册在云端流媒体服务器上的注册账号信息。当任意一台设备的局域网IP发生变化的时候，设备主动通知云端相关信息，云端收到相关推送信息后，更新同一项目下的其他设备的联系人文件，达到所有的设备都持有最新的其他同项目下设备的局域网IP信息。当终端设备获取到联系人列表后，第一时间会通过自定义的网络协议实时探测联系人是否网络可通，如果网络是通的，证明两台设备处于同一个局域网，那么后续这两台设备间所有音视频通话就直接走本地点到点通话，不需要经过云端的流媒体服务器中转音视频通信报文，因此对整个项目外网的带宽要求、云服务的流量使用、云端流媒体服务器的部署规模都会产生积极的意义，到达了经济性的要求。

②海量终端设备音视频通话的适用性实现：该方案采用部署一套云端流媒体服务器集群，在设备的联系人列表中，每一个联系人文件都包含联系人的局域网IP地址和联系人注册在云端流媒体服务器的注册账号信息，那么对于处于不同局域网的两台设备而言，如果需要进行音视频通话，那么就需要走云端流媒体服务器中转的方式进行，此时只需要保证设备具备外网的通信能力，就能够实现任意两台设备间的音视频通话了。

③海量终端设备音视频通话的管理便利性实现：该方案采用云端部署一套云端设备管理服务器的方式进行管理，终端设备IP地址发生变化的时候，都会实时通知给云端设备管理服务器，云端设备管理服务器收到信息后，更新同项目下的所有设备的联系人文件内容（反应该设备IP变化），同时实时通知所有设备下载最新的联系人文件，到达了自动、快速相应设备局域网IP信息变更的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种物联网云平台设备间的音视频通话方法的流程图。

图2是本发明实施例提供的一种物联网云平台设备间的音视频通话系统框图。

图3是设备端注册到云端的过程示意图。

图4是云端和设备端之间通过联系人文件进行关联通讯的过程示意图。

图5是本发明实施例提供的一种电子设备的示意图。

图6是本发明实施例提供的一种计算机可读存储介质的示意图。

具体实施方式

下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参见图1-图4，本发明提供一种物联网云平台设备间的音视频通话方法，包括如下步骤：

步骤1、建立目标设备与云端设备管理服务器的连接后，通过建立长连接实现了设备端与云端之间的数据交互；所述目标设备将自身的局域网IP地址上报给云端设备管理服务器，并存储在云端设备管理服务器的数据库中；为了节省网络带宽、流量占用与云端流媒体服务器数量，音视频通话时优先选用局域网点对点通讯，因此，当设备第一次连接云端或者局域网网IP地址发生变更时，目标设备均会主动上报局域网网IP地址给云端。

步骤2、所述云端设备管理服务器判断目标设备是否为新增的设备，若是，则上报的局域网IP地址为待添加的局域网IP地址，进入步骤3；若否，则上报的局域网IP地址为待变更的局域网IP地址，进入步骤4；由于上报的局域网IP地址要根据不同需求进行不同的操作，如添加和变更，为了更好地执行后面的操作，具体进行添加还是变更操作要依据目标设备的类型判定，当为新增的设备时，执行添加局域网IP地址的操作，当为已有的设备时，执行变更局域网IP地址的操作。

本实施例中，所述步骤2中所述云端设备管理服务器判断目标设备是否为新增的设备，具体包括：

步骤21、所述目标设备将自身的UUID上报给云端设备管理服务器；

步骤22、所述云端设备管理服务器根据上报的UUID在数据库中进行查找；

步骤23、查询所述云端设备管理服务器的数据库中是否存在上报的UUID，若是，则说明上报的UUID唯一对应的目标设备是已有的设备；若否，则说明上报的UUID唯一对应的目标设备是新增的设备，并将上报的UUID存储在云端设备管理服务器的数据库中。在本实施例中，所述云端设备管理服务器上部署有数据库，所述数据库中存储有注册账号信息及目标设备上报的局域网IP地址和UUID。所述数据库是用于存储数据，方便云端设备管理服务器的调用，云端设备管理服务器在生成或者刷新联系人文件的时候，需要从数据库中读取数据出来。

步骤3、将所述目标设备注册进云端流媒体服务器中，通过云端流媒体服务器实现设备之间的通讯，云端流媒体服务器属于中转站，一设备通过云端流媒体服务器转发音视频给另一设备；在两设备之间无法实现局域网内的点对点通讯时，可以采用云端流媒体服务器中转，从而保证设备间的音视频通话畅通；将待添加的局域网IP地址添加入云端设备管理服务器中，所述云端设备管理服务器根据已添加的所有局域网IP地址更新每台设备对应的联系人文件，进入步骤5；

本实施例中，所述步骤3具体包括：

步骤31、所述云端设备管理服务器下发云端流媒体服务器的注册账号信息给目标设备；所述云端设备管理服务器的数据库中存储有多个不同的注册账号信息，所述云端设备管理服务器从数据库中调取唯一的注册账号信息并下发给目标设备；

步骤32、所述目标设备根据注册账号信息在云端流媒体服务器中进行注册，注册的目的是为了实现设备之间可通过云端流媒体服务器中转进行音视频通话；

步骤33、判断最新添加的局域网IP地址是否为第1个被添加的局域网IP地址，若是，则无需生成该台设备的联系人文件；若否，则进入步骤34；

步骤34、判断最新添加的局域网IP地址是否为第2个被添加的局域网IP地址，若是，则在所述云端设备管理服务器中生成第1台设备的联系人文件，在所生成的第1台设备的联系人文件下添加第2个被添加的局域网IP地址、第2台设备的UUID和第2台设备的注册账号信息；同时在所述云端设备管理服务器中生成第2台设备的联系人文件，在所生成的第2台设备的联系人文件下添加第1个被添加的局域网IP地址、第1台设备的UUID和第1台设备的注册账号信息；若否，则进入步骤35；

步骤35、假定最新添加的局域网IP地址为第n个被添加的局域网IP地址，则在所述云端设备管理服务器中已生成的第1至第n-1台设备的联系人文件下添加第n个被添加的局域网IP地址、第n台设备的UUID和第n台设备的注册账号信息，在所述云端设备管理服务器中生成第n台设备的联系人文件，并在所生成的第n台设备的联系人文件下添加第1至第n-1个被添加的局域网IP地址、第1至第n-1台设备的UUID和第1至第n-1台设备的注册账号信息；其中，n为整数且n≥3。

例如：同一个项目下添加第一台设备A的时候，即最新添加的局域网IP地址（目标设备上报的局域网IP地址）为第1个被添加的局域网IP地址，此时因为只有一台设备A，无需生成第一台设备A的联系人文件；

当添加第二台设备B的时候，此时设备B成功连接上云端设备管理服务器，向云端设备管理服务器上报了自身的局域网IP地址，此时最新添加的局域网IP地址（目标设备上报的局域网IP地址）为第2个被添加的局域网IP地址，此时云端设备管理服务器发现这个项目下有两台设备了，那么就会生成设备A的联系人文件（内容就是设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID），同时还会生成设备B的联系人文件（内容就是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID）；

当添加第三台设备C的时候，此时设备C成功连接上云端设备管理服务器，向云端设备管理服务器上报了自身的局域网IP地址，此时最新添加的局域网IP地址（目标设备上报的局域网IP地址）为第3个被添加的局域网IP地址，此时云端设备管理服务器发现这个项目下有三台设备了，那么在所述云端设备管理服务器中已生成的设备A的联系人文件下添加第3个被添加的局域网IP地址、第3台设备的UUID和第3台设备的注册账号信息，即将原来设备A的联系人文件（原有内容是设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID）更新为新的设备A的联系人文件（原有内容是设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID＋设备C的局域网IP地址+设备C的注册账号信息＋设备C的UUID）；在所述云端设备管理服务器中已生成的设备B的联系人文件下添加第3个被添加的局域网IP地址、第3台设备的UUID和第3台设备的注册账号信息，即将原来设备B的联系人文件（原有内容是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID）更新为新的设备B的联系人文件（原有内容是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID＋设备C的局域网IP地址+设备C的注册账号信息＋设备C的UUID）；同时还会生成设备C的联系人文件（内容就是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID＋设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID）；

当添加第四台设备D的时候，此时设备D成功连接上云端设备管理服务器，向云端设备管理服务器上报了自身的局域网IP地址，此时最新添加的局域网IP地址（目标设备上报的局域网IP地址）为第4个被添加的局域网IP地址，此时云端设备管理服务器发现这个项目下有四台设备了，那么在所述云端设备管理服务器中已生成的设备A的联系人文件下添加第4个被添加的局域网IP地址、第4台设备的UUID和第4台设备的注册账号信息，即将原来设备A的联系人文件（原有内容是设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID＋设备C的局域网IP地址+设备C的注册账号信息）更新为新的设备A的联系人文件（原有内容是设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID＋设备C的局域网IP地址+设备C的注册账号信息＋设备C的UUID＋设备D的局域网IP地址+设备D的注册账号信息＋设备D的UUID）；在所述云端设备管理服务器中已生成的设备B的联系人文件下添加第4个被添加的局域网IP地址、第4台设备的UUID和第4台设备的注册账号信息，即将原来设备B的联系人文件（原有内容是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID＋设备C的局域网IP地址+设备C的注册账号信息＋设备C的UUID）更新为新的设备B的联系人文件（原有内容是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID＋设备C的局域网IP地址+设备C的注册账号信息＋设备C的UUID＋设备D的局域网IP地址+设备D的注册账号信息＋设备D的UUID）；在所述云端设备管理服务器中已生成的设备C的联系人文件下添加第4个被添加的局域网IP地址、第4台设备的UUID和第4台设备的注册账号信息，即将原来设备C的联系人文件（原有内容是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID＋设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID）更新为新的设备C的联系人文件（原有内容是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID＋设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID＋设备D的局域网IP地址+设备D的注册账号信息＋设备D的UUID）；同时还会生成设备D的联系人文件（内容就是设备A的局域网IP地址+设备A的注册账号信息＋设备A的UUID＋设备B的局域网IP地址+设备B的注册账号信息＋设备B的UUID＋设备C的局域网IP地址+设备C的注册账号信息＋设备C的UUID）；

依次类推，实现在新增设备过程中对各个设备的联系人文件的更新。

步骤4、所述云端设备管理服务器根据待变更的局域网IP地址对所有设备中包含有该待变更的局域网IP地址的联系人文件进行更新；并将更新好的每台设备的联系人文件实时下发给终端设备集群中对应的设备；因为设备的局域网IP地址是通过DHCP协议获取的，那么只要设备重启，局域网IP地址就有可能发生变化，此时与该台设备处于同一项目的其他设备需要快速感知到这个变化，一定要实现快速、自动地感知，否则就要依赖人工去手动调整，导致管理上的便利性就非常低下。

本实施例中，所述步骤4具体包括：

步骤41、所述云端设备管理服务器根据待变更的局域网IP地址确定出对应目标设备的UUID；

步骤42、根据所述目标设备的UUID在所述云端设备管理服务器中查找出包含有该UUID的所有设备的联系人文件；

步骤43、找出所述所有设备的联系人文件中该UUID对应的可变更局域网IP地址；

步骤44、将所述可变更局域网IP地址替换成待变更的局域网IP地址；

步骤45、所述云端设备管理服务器根据更新好的联系人文件对应的每台设备的UUID找到终端设备集群中对应的设备；

步骤46、所述云端设备管理服务器将更新好的每台设备的联系人文件实时下发给终端设备集群中对应的设备。该方案采用云端部署一套云端设备管理服务器的方式进行管理，终端设备的局域网IP地址发生变化的时候，都会实时通知给云端设备管理服务器，云端设备管理服务器收到信息后，更新同项目下的所有设备的联系人文件内容（反应该设备IP变化），同时实时通知所有设备下载最新的联系人文件，到达了自动、快速相应设备局域网IP信息变更的目的。

步骤5、所述终端设备集群中每台设备接收并解析对应更新好的联系人文件；并根据解析后的联系人文件对本地联系人列表进行更新；

本实施例中，所述步骤5具体包括：

步骤51、所述终端设备集群中每台设备接收对应更新好的联系人文件；

步骤52、将更新好的联系人文件进行解析，得到当前设备的待变更的局域网IP地址、UUID和注册账号信息；

步骤53、根据解析得到的待变更的局域网IP地址、UUID和注册账号信息分别与本地联系人列表中的局域网IP地址、UUID和注册账号信息进行一一对比，若数据相同，则无需更新；若数据不同，则将本地联系人列表中的数据更新成解析后的数据。联系人概念的提出及其应用：联系人文件将云端与设备端关联起来，设备端通过联系人文件来进行通话双链路（局域网和流媒体）的网络探测、选路等功能。当设备在云端设备管理服务器中添加后，设备自动连接上云端，并将自身的局域网IP地址上报给云端，同时云端为设备端生成一个云端流媒体服务器的账号信息，以此构成联系人文件的关键属性信息。当添加第N台的时候，云端就会将其他的N-1台设备的关键属性信息写入该设备的联系人文件中并实时下发给设备，设备解析联系人文件，就可以获取到其他N-1台设备的IP以及云端的账号信息，为接下来的通话做准备。同时任意一台设备的局域网IP变化的时候，设备会主动通知云端，云端为重新生成同项目下其他台设备的联系人文件，并下发给设备端，实时保持设备端持有其他设备的最新信息。

步骤6、更新后的所有设备实时探测是否能与目标设备进行局域网通讯，若是，则通过局域网通讯方式进行音视频通话；若否，则通过云端流媒体服务器转发方式进行音视频通话。云端设备管理服务器与云端流媒体服务器采用自研的分布式架构，确保架构的可用性、可拓展性、可维护性，以此支撑起海量联系人变更消息通知以及音视频转发的需求。设备上SDK实现了网络实时探测、通信通道切换与音视频通话的功能。解决了其他厂商碰到的经济型与适用性与管理便利性的问题。

本实施例中，所述云端设备管理服务器和云端流媒体服务器部署于云平台上，所述云端设备管理服务器和云端流媒体服务器均采用集群的方式部署；所述终端设备集群中每台设备为同一项目下的终端对讲设备，方便管理同一项目下的所有设备。

说明部件之间的关系：

设备：终端对讲设备，通过内置的SDK与云平台的云端设备管理服务器、云端流媒体服务器进行通信，同时能够实现对不同设备发起实时网络探测。主要是接入与云端配套的SDK进行消息的可靠传输、联系人信令解析，音视频通话、内网网络实时探测等功能，对设备本身不需要做任何的功能性开发。

云端设备管理服务器集群：作为云端设备管理的服务，与设备保持长连接，确保云端的消息能够实时通知给设备端，其主要承担设备的联系人文件管理，确保设备能够实时拿到同一项目下其他设备的最新IP地址与云端流媒体服务器的注册账号信息。采用高性能的C++进行开发，利用异步IO复用的方式达到网络消息高并发的业务需求，与终端设备保持TCP长连接。

云端流媒体服务器集群：设备端第一次连接云端后，云端都会分配一个流媒体服务器的注册账号给设备，所有的设备都会注册进该服务中，当设备间要进行音视频通话且设备间无法内网通信时，所有的通话音视频数据均通过该服务进行转发，确保了方案的适用性。采用c++开发，通过兼容SIP协议，支持与设备端的音视频通话的信令交互，从而到达中转音视频数据的目的。

RPC中间件：采用业内广泛使用的gRPC，实现设备管理服务与流媒体服务的关于设备账号信息的交互需求。

还可以包括协议转换服务器：通过协议转换服务器将来自各个厂商的IOT终端设备的信令消息转成内部统一的消息格式，然后再转发给后端的逻辑处理服务器，这样该技术方案就可以实现对接任意的IOT设备，使得任意厂商的IOT解决方案都能够实现海量音视频通话的可靠与低成本方案。

使用方法：首先，终端对讲设备需要集成SDK，通过SDK的接口实现与云端的通信；然后，将该方案所涉及的云端设备管理服务器集群与云端流媒体服务器集群采用分布式的方式部署到Linux操作系统上，组合成一套完整的云平台音视频通话解决方案。

由于该发明的本质是海量音视频通话的可靠、低成本解决方案，因此更换或者新增SDK与云端消息传输服务之间的网络通信协议之后，可以跟任意厂商的终端设备实现对接。所以可以广泛应用在物联网、智能家居、智能驾驶、虚拟现实等新兴科技领域上。随着AR/VR以及实时音视频通信时代的到来，该方案可以跟智能设备对接，为实时音视频通信应用场景下的多样化配置提供稳定可靠的服务。

本发明通过自研一套云端设备管理服务器集群与云端流媒体服务器集群、终端设备SDK，从而实现了云端与终端设备之间的消息可靠通知与流媒体音视频报文传输，终端设备之间的网络探测与实时音视频通话，终端设备只需要接入SDK即可实现可靠、低成本的实时音视频通话，无需额外做任何业务代码开发工作，实现开箱即用。云端分布式云端设备管理服务器与云端流媒体服务器由设备管理服务器集群、流媒体服务器服务器集群等两个核心服务集群采用分布式架构部署构成，实现了云端与终端设备间的消息可靠通知与音视频实时传输。该发明提出了联系人的概念，通过同一项目下设备联系人信息的变化感知、内容更新、推送下发、属性信息编码等功能，将整个方案的云端、设备端关联起来，借助联系人信息，通过支持设备间的点对点音视频通话与云端流媒体服务器音视频转发两个通道，保证了在任意网络部署的环境下，都能够支持设备间的音视频通话；通过在设备SDK上面实现的网络探测功能，确保处于同一个局域网下的设备间通话优先走内网的方式，保证了视频质量的情况下，有效降低了外网带宽占用、流量消耗与云端流媒体服务器集群部署规模的成本问题；同时在管理联系人信息变更与通知的功能上面做到了自动化与实时化，有效地保证了方案的经济型、适用性、便利性等三方面核心诉求。终端设备的SDK则实现了同云端通信并解析云端下发的联系人文件（这里的联系人指的就是同一个项目下的不同设备，例如一个项目有N台设备，那么每一台设备的联系人列表都有N-1个，下同，不再阐述）、实时探测联系人是否处于内网互通状态、进行与云端或者终端设备之间点对点的音视频通话功能。从而实现了整套方案的经济型、适用性、便利性等特点。

①海量终端设备音视频通话的经济性实现：经济型体现在带宽控制、流量使用、云端流媒体服务集群部署规模的有效控制等方面。为了有效控制这些成本方面的因素，云端设备管理服务器会通过自定义的一套联系人通信协议与终端设备保持联系，每一个联系人属性信息都包含设备的局域网IP地址、设备注册在云端流媒体服务器上的注册账号信息。当任意一台设备的局域网IP发生变化的时候，设备主动通知云端相关信息，云端收到相关推送信息后，更新同一项目下的其他设备的联系人文件，达到所有的设备都持有最新的其他同项目下设备的局域网IP信息。当终端设备获取到联系人列表后，第一时间会通过自定义的网络协议实时探测联系人是否网络可通，如果网络是通的，证明两台设备处于同一个局域网，那么后续这两台设备间所有音视频通话就直接走本地点到点通话，不需要经过云端的流媒体服务器中转音视频通信报文，因此对整个项目外网的带宽要求、云服务的流量使用、云端流媒体服务器的部署规模都会产生积极的意义，到达了经济性的要求。

②海量终端设备音视频通话的适用性实现：上面提到经济性是借助终端设备之间的局域网点到点通信达到目的的，但是实际应用中有很多大项目，设备数量达上千台，部署的网络环境非常复杂（即涉及到多层交换机或者路由器），并没有办法保证所有的终端设备都处于同一个局域网内，此时如何保证不管设备是否处于同一个局域网都能够实现设备间的音视频通话，达到适用任意网络环境的要求，是该方案的一个要点。该方案采用部署一套云端流媒体服务器集群，在设备的联系人列表中，每一个联系人文件都包含联系人的局域网IP地址和联系人注册在云端流媒体服务器的注册账号信息，那么对于处于不同局域网的两台设备而言，如果需要进行音视频通话，那么就需要走云端流媒体服务器中转的方式进行，此时只需要保证设备具备外网的通信能力，就能够实现任意两台设备间的音视频通话了。

③海量终端设备音视频通话的管理便利性实现：通话的经济型与适用性都是依赖设备的联系人信息的，那么如何确保每一台设备获取到的联系人信息一定是最新的，因为设备的局域网IP是通过DHCP协议获取的，那么只要设备重启，局域网的IP就有可能发生变化，此时与该台设备处于同一项目的其他设备怎样快速感知到这个变化是该方案需要解决的问题，一定要实现快速、自动地感知，否则依赖人工去手动调整，管理上的便利性就非常低下。该方案采用云端部署一套云端设备管理服务器的方式进行管理，终端设备IP地址发生变化的时候，都会实时通知给云端设备管理服务器，云端设备管理服务器收到信息后，更新同项目下的所有设备的联系人文件内容（反应该设备IP变化），同时实时通知所有设备下载最新的联系人文件，到达了自动、快速相应设备局域网IP信息变更的目的。

如图5所示，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种物联网云平台设备间的音视频通话方法。

如图6所示，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种物联网云平台设备间的音视频通话方法。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种物联网云平台设备间的音视频通话方法，其特征在于，包括如下步骤：

步骤1、建立目标设备与云端设备管理服务器的连接后，所述目标设备将自身的局域网IP地址上报给云端设备管理服务器；

步骤2、所述云端设备管理服务器判断目标设备是否为新增的设备，若是，则上报的局域网IP地址为待添加的局域网IP地址，进入步骤3；若否，则上报的局域网IP地址为待变更的局域网IP地址，进入步骤4；

步骤3、将所述目标设备注册进云端流媒体服务器中；将待添加的局域网IP地址添加入云端设备管理服务器中，所述云端设备管理服务器根据已添加的所有局域网IP地址更新每台设备对应的联系人文件，进入步骤5；所述云端设备管理服务器根据已添加的所有局域网IP地址更新每台设备对应的联系人文件，具体包括：

步骤33、判断最新添加的局域网IP地址是否为第1个被添加的局域网IP地址，若是，则无需生成该台设备的联系人文件；若否，则进入步骤34；

步骤34、判断最新添加的局域网IP地址是否为第2个被添加的局域网IP地址，若是，则在所述云端设备管理服务器中生成第1台设备的联系人文件，在所生成的第1台设备的联系人文件下添加第2个被添加的局域网IP地址、第2台设备的UUID和第2台设备的注册账号信息；同时在所述云端设备管理服务器中生成第2台设备的联系人文件，在所生成的第2台设备的联系人文件下添加第1个被添加的局域网IP地址、第1台设备的UUID和第1台设备的注册账号信息；若否，则进入步骤35；

步骤35、假定最新添加的局域网IP地址为第n个被添加的局域网IP地址，则在所述云端设备管理服务器中已生成的第1至第n-1台设备的联系人文件下添加第n个被添加的局域网IP地址、第n台设备的UUID和第n台设备的注册账号信息，在所述云端设备管理服务器中生成第n台设备的联系人文件，并在所生成的第n台设备的联系人文件下添加第1至第n-1个被添加的局域网IP地址、第1至第n-1台设备的UUID和第1至第n-1台设备的注册账号信息；其中，n为整数且n≥3；

步骤4、所述云端设备管理服务器根据待变更的局域网IP地址对所有设备中包含有该待变更的局域网IP地址的联系人文件进行更新；并将更新好的每台设备的联系人文件实时下发给终端设备集群中对应的设备；具体包括：

步骤41、所述云端设备管理服务器根据待变更的局域网IP地址确定出对应目标设备的UUID；

步骤42、根据所述目标设备的UUID在所述云端设备管理服务器中查找出包含有该UUID的所有设备的联系人文件；

步骤43、找出所述所有设备的联系人文件中该UUID对应的可变更局域网IP地址；

步骤44、将所述可变更局域网IP地址替换成待变更的局域网IP地址；

步骤45、所述云端设备管理服务器根据更新好的联系人文件对应的每台设备的UUID找到终端设备集群中对应的设备；

步骤46、所述云端设备管理服务器将更新好的每台设备的联系人文件实时下发给终端设备集群中对应的设备；

步骤5、所述终端设备集群中每台设备接收并解析对应更新好的联系人文件；并根据解析后的联系人文件对本地联系人列表进行更新；

步骤6、更新后的所有设备实时探测是否能与目标设备进行局域网通讯，若是，则通过局域网通讯方式进行音视频通话；若否，则通过云端流媒体服务器转发方式进行音视频通话。

2.如权利要求1所述的一种物联网云平台设备间的音视频通话方法，其特征在于，所述步骤2中所述云端设备管理服务器判断目标设备是否为新增的设备，具体包括：

步骤21、所述目标设备将自身的UUID上报给云端设备管理服务器；

步骤22、所述云端设备管理服务器根据上报的UUID进行查找；

步骤23、查询所述云端设备管理服务器中是否存在上报的UUID，若是，则说明上报的UUID唯一对应的目标设备是已有的设备；若否，则说明上报的UUID唯一对应的目标设备是新增的设备。

3.如权利要求1所述的一种物联网云平台设备间的音视频通话方法，其特征在于，所述步骤3中将所述目标设备注册进云端流媒体服务器中，具体包括：

步骤31、所述云端设备管理服务器下发云端流媒体服务器的注册账号信息给目标设备；

步骤32、所述目标设备根据注册账号信息在云端流媒体服务器中进行注册。

4.如权利要求1所述的一种物联网云平台设备间的音视频通话方法，其特征在于，所述步骤5具体包括：

步骤51、所述终端设备集群中每台设备接收对应更新好的联系人文件；

步骤52、将更新好的联系人文件进行解析，得到当前设备的待变更的局域网IP地址、UUID和注册账号信息；

步骤53、根据解析得到的待变更的局域网IP地址、UUID和注册账号信息分别与本地联系人列表中的局域网IP地址、UUID和注册账号信息进行一一对比，若数据相同，则无需更新；若数据不同，则将本地联系人列表中的数据更新成解析后的数据。

5.如权利要求1所述的一种物联网云平台设备间的音视频通话方法，其特征在于，所述云端设备管理服务器上部署有数据库，所述数据库中存储有注册账号信息及目标设备上报的局域网IP地址和UUID。

6.如权利要求1所述的一种物联网云平台设备间的音视频通话方法，其特征在于，所述云端设备管理服务器和云端流媒体服务器部署于云平台上。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的一种物联网云平台设备间的音视频通话方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6任一项所述的一种物联网云平台设备间的音视频通话方法。

Images