CN115514918B - 一种远程视频方法、云平台、通讯移动平台及存储介质 - Google Patents

Abstract

本发明公开了一种远程视频方法、云平台、通讯移动平台及存储介质，远程视频方法应用于云平台，远程视频方法包括以下步骤：获取由通讯移动平台上的拾音设备传输的音频数据，以及由通讯移动平台上的拍摄设备传输的视频数据；根据音频数据和视频数据生成会议视频数据，根据视频数据生成直播数据，直播数据的画质清晰度高于会议视频数据的画质清晰度；将会议视频数据和直播数据传输至远程监控端，以同时显示会议视频数据的画面和直播数据的画面。本发明实施例的远程视频方法能够解决现有远程视频的视频画质差、无法在远程视频时同时进行高清直播、不能满足用户对画面的画质需求的问题。

Description

一种远程视频方法、云平台、通讯移动平台及存储介质

技术领域

本发明涉及远程视频相关技术领域，尤其是涉及一种远程视频方法、云平台、通讯移动平台及存储介质。

背景技术

随着时代的发展和进步，为了方便远程事项的处理，移动平台的发展迅速，常用于商用、科研、医用、警用等多个领域。在现有技术中，移动平台用于双向视频、远程监测、以及相关数据的采集，但目前国内的远程视频技术的视频画质差、无法在远程视频时同时进行高清直播、不能满足用户对画面的画质需求。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种远程视频方法，能够解决现有远程视频的视频画质差、无法在远程视频时同时进行高清直播、不能满足用户对画面的画质需求的问题。

本发明还提供了一种云平台、通讯移动平台以及计算机可读存储介质。

根据本发明的第一方面实施例的远程视频方法，应用于云平台，所述远程视频方法包括以下步骤：

获取由通讯移动平台上的拾音设备传输的音频数据，以及由所述通讯移动平台上的拍摄设备传输的视频数据；

根据所述音频数据和所述视频数据生成会议视频数据，根据所述视频数据生成直播数据，所述直播数据的画质清晰度高于所述会议视频数据的画质清晰度；

将所述会议视频数据和所述直播数据传输至远程监控端，以同时显示所述会议视频数据的画面和所述直播数据的画面。

根据本发明实施例的远程视频方法，至少具有如下有益效果：

通过获取由通讯移动平台上的拾音设备传输的音频数据，以及由通讯移动平台上的拍摄设备传输的视频数据，将视频数据做两种处理，一个是与音频数据一起生成画质清晰度较低的会议视频数据，另一个是生成画质清晰度较高的直播数据，会议视频数据和直播数据传输至远程监控端后，可以同时显示会议视频数据的画面和直播数据的画面，实现在远程视频的同时进行同步直播，且直播的画质清晰度高于视频会议的画质清晰度，从而可以在远程视频时满足用户对画面的清晰度需求。本发明实施例的远程视频方法应用于云平台，不需搭建昂贵的服务器群来存储大数据，成本低，且云平台可以集成第三方的软件应用，具有较高的灵活性和扩展性。本发明实施例的远程视频方法，能够解决现有远程视频的视频画质差、无法在远程视频时同时进行高清直播、不能满足用户对画面的画质需求的问题。

根据本发明的一些实施例，所述通讯移动平台还包括控制装置和角度调整装置，所述角度调整装置与所述拍摄设备连接，所述角度调整装置和所述拍摄设备皆与所述控制装置电性连接；所述视频数据由以下步骤得到：

获取由所述远程监控端发送的角度调整指令和显示调整指令；

将所述角度调整指令和所述显示调整指令发送至所述控制装置，以使得所述控制装置根据所述角度调整指令控制所述角度调整装置调整所述拍摄设备的拍摄角度，以及根据所述显示调整指令调整所述拍摄设备的焦距和色彩参数；

获取由所述拍摄设备传输的所述视频数据。

根据本发明的一些实施例，所述通讯移动平台还包括主体架以及设于所述主体架底部的移动设备，所述移动设备与所述控制装置电性连接；所述拾音设备、所述拍摄设备和所述控制装置皆设于所述主体架上；所述远程视频方法还包括：

获取由所述远程监控端发送的移动控制指令；

将所述移动控制指令发送至所述控制装置，以使得所述控制装置根据所述移动控制指令控制所述移动设备移动，以带动所述拍摄设备和所述拾音设备移动。

根据本发明的一些实施例，还包括以下步骤：

获取病理数据，所述病理数据由检测仪器检测完成后通过所述控制装置上传，所述检测仪器包括病理切片分析仪和计算机断层扫描仪；

基于多通道卷积神经网络，利用所述病理数据、所述音频数据和所述视频数据分析得到辅助分析结果；

将所述辅助分析结果传输至所述远程监控端。

根据本发明的一些实施例，所述基于多通道卷积神经网络，利用所述病理数据、所述音频数据和所述视频数据分析得到辅助分析结果，包括以下步骤：

对所述病理数据进行标准化处理，得到标准病理输入数据；

对所述音频数据进行标准化处理，得到标准音频输入数据；

对所述视频数据进行标准化处理，得到标准视频输入数据；

基于所述多通道卷积神经网络，利用所述标准病理输入数据、所述标准音频输入数据和所述标准视频输入数据分析得到所述辅助分析结果。

根据本发明的一些实施例，所述将所述会议视频数据和所述直播数据传输至远程监控端，包括以下步骤：

对所述会议视频数据和所述直播数据进行加密处理；

将进行加密处理后的所述会议视频数据和所述直播数据传输至所述远程监控端。

根据本发明的第二方面实施例的云平台，包括：

数据获取单元，用于获取由通讯移动平台上的拾音设备传输的音频数据，以及由所述通讯移动平台上的拍摄设备传输的视频数据；

数据分流单元，用于根据所述音频数据和所述视频数据生成会议视频数据，根据所述视频数据生成直播数据，所述直播数据的画质清晰度高于所述会议视频数据的画质清晰度；

数据传输单元，用于将所述会议视频数据和所述直播数据传输至远程监控端，以同时显示所述会议视频数据的画面和所述直播数据的画面。

根据本发明实施例的云平台，至少具有如下有益效果：

通过数据获取单元可以获取由通讯移动平台上的拾音设备传输的音频数据，以及由通讯移动平台上的拍摄设备传输的视频数据，通过数据分流单元可以将视频数据做两种处理，一个是与音频数据一起生成画质清晰度较低的会议视频数据，另一个是生成画质清晰度较高的直播数据，通过数据传输单元将会议视频数据和直播数据传输至远程监控端后，可以同时显示会议视频数据的画面和直播数据的画面，实现在远程视频的同时进行同步直播，且直播的画质清晰度高于视频会议的画质清晰度，从而可以在远程视频时满足用户对画面的清晰度需求。云平台不需搭建昂贵的服务器群来存储大数据，成本低，且云平台可以集成第三方的软件应用，具有较高的灵活性和扩展性。本发明实施例的云平台，能够解决现有远程视频的视频画质差、无法在远程视频时同时进行高清直播、不能满足用户对画面的画质需求的问题。

根据本发明的第三方面实施例的通讯移动平台，包括：

主体架；

拾音设备，设于所述主体架上，用于传输音频数据；

拍摄设备，设于所述主体架上，用于传输视频数据；

控制装置，设于所述主体架上，所述控制装置分别与所述拾音设备和所述拍摄设备电性连接。

由于通讯移动平台采用了上述实施例的远程视频方法的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果。

根据本发明的一些实施例，还包括皆与所述控制装置电性连接的：

角度调整装置，设于所述主体架上且与所述拍摄设备连接，所述角度调整装置用于调整所述拍摄设备的拍摄角度；

移动设备，设于所述主体架底部，所述移动设备用于在移动后带动所述拍摄设备和所述拾音设备移动。

根据本发明的第四方面实施例的计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面实施例所述的远程视频方法。由于计算机可读存储介质采用了上述实施例的远程视频方法的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例的云平台的系统结构示意图；

图2是本发明一实施例的远程视频方法的流程图；

图3是本发明一实施例的多通道卷积神经网络的结构示意图。

附图标记：

通讯移动平台100、拾音设备110、拍摄设备120、控制装置130、角度调整装置140、移动设备150；

远程监控端200、远程会议室观看端210、远程移动观看端220；

检测仪器300；

云平台400、数据获取单元410、数据分流单元420、数据传输单元430、视频会议单元431、直播单元432、设备控制单元440、辅助分析单元450。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

通讯移动平台100是一个用于数据交互的远程移动平台，可以用在医疗、在商用、科研、警用等领域，具体可以用于动物监测，可远程调节动物饲养环境，自动调用监控系统，并对动物进行实时药效试验、药理实验等监测，还可以进行相关数据的采集与AI数据分析。还可以用在连锁药房问诊，在患者购药前或者有用药疑问前提供问药服务，平台可根据患者的生理信息、病情等，实现精准导流，精准推荐药品。其次，还可以将通讯移动平台100部署在隔离病区，可充分发挥移动平台隔离性、便捷性、安全性等特点，专家可远程通过手机或者电脑等设备对隔离病区进行查房、会诊等医疗活动。还可以用在远程多方会诊，可通过某医院的多名专家对其他地区的另一医院的患者实时开展远程床边会诊，实现专家和远端患者的多对一诊疗。还可用在远程查房示教，专家可对远端的患者进行一对一查房，实时对患者做出诊疗建议，并可对其他接入视频会议的医生进行示教。还可用在公安远程审讯，指挥室可清晰观察到嫌疑人表情等细节动作，并对干警做出审讯指示。还可进行多方会审案件，降低异地审讯的成本及安全风险。除此之外，衍生应用场景还包括：康养服务的智慧问诊、5G院前应急救援、疑难杂症的联合会诊、高端多方远程会议(如大型的学术会议和论坛)、产品远程看货/验收和无菌(制药)环境远程监控等。

但现有技术中的通讯移动平台100仅可以进行视频会议或仅可以进行直播，不能同时进行视频会议和直播，无法达到既可以进行视频交流又可以满足用户对画面清晰度的需求的目的。

基于此，本发明实施例提出了一种远程视频方法、云平台400、通讯移动平台100及存储介质，通过获取由通讯移动平台100上的拾音设备110传输的音频数据，以及由通讯移动平台100上的拍摄设备120传输的视频数据，将视频数据做两种处理，一个是与音频数据一起生成画质清晰度较低的会议视频数据，另一个是生成画质清晰度较高的直播数据，会议视频数据和直播数据传输至远程监控端200后，可以同时显示会议视频数据的画面和直播数据的画面，实现在远程视频的同时进行同步直播，且直播的画质清晰度高于视频会议的画质清晰度，从而可以在远程视频时满足用户对画面的清晰度需求。本发明实施例的远程视频方法应用于云平台400，不需搭建昂贵的服务器群来存储大数据，成本低，且云平台400可以集成第三方的软件应用，具有较高的灵活性和扩展性。本发明实施例的远程视频方法，能够解决现有远程视频的视频画质差、无法在远程视频时同时进行高清直播、不能满足用户对画面的画质需求的问题。

下面将结合图1至图3对本发明第一方面实施例的远程视频方法进行清楚、完整的描述，显然，以下所描述的实施例是本发明一部分实施例，并非全部实施例。

根据本发明第一方面实施例的远程视频方法，应用于云平台400，远程视频方法包括以下步骤：

获取由通讯移动平台100上的拾音设备110传输的音频数据，以及由通讯移动平台100上的拍摄设备120传输的视频数据；

根据音频数据和视频数据生成会议视频数据，根据视频数据生成直播数据，直播数据的画质清晰度高于会议视频数据的画质清晰度；

将会议视频数据和直播数据传输至远程监控端200，以同时显示会议视频数据的画面和直播数据的画面。

通讯移动平台100包括主体架、拾音设备110、拍摄设备120和控制装置130。拾音设备110，设于主体架上，用于传输音频数据；拍摄设备120，设于主体架上，用于传输视频数据；控制装置130，设于主体架上，控制装置130分别与拾音设备110和拍摄设备120电性连接。

拍摄设备120包括全景相机和特写相机，全景相机安装在主体架顶部，角度调整装置140与特写相机连接。全景相机用于获取全景图像，特写相机用于获取特写图像，全景相机获取全景图像数据(即会议视频数据)，当需要获取局部对象的高清图像数据时，通过控制角度调整装置140，使得特写相机获取的局部图像数据随着角度调整装置140的运动轨迹不断地进行更新，可以获得角度调整装置140运动轨迹点上的局部图像数据，同时轨迹点上还附加有该空间点上的光照度信息。另一方面还需要加上通讯移动平台100的空间轨迹。将加上通讯移动平台100的空间轨迹后的运动轨迹点、光照度信息、局部图像数据与全景相机的全景图像数据通过像素级、特征级的插值融合，可以获得全景高清图像(即直播数据)，实现直播数据的画质清晰度高于会议视频数据的画质清晰度，并能够获得全景图像或特写图像的三维信息，并且在运动轨迹点补偿过程中还能去掉全景图像和特写图像中的环境光噪点数据。

云平台400通过5G网络接收由通讯移动平台100上的拾音设备110传输的音频数据，以及由通讯移动平台100上的拍摄设备120传输的视频数据，延时低，音频数据和视频数据经过处理后生成1080P清晰度的会议视频数据和4K或8K清晰度的直播数据，再将会议视频数据和直播数据传输至远程监控端200，以同时显示会议视频数据的画面和直播数据的画面。各地的通讯移动平台100、远程监控端200(包括远程移动观看端220和远程会议室观看端210)等设备可以同时接入视频会议，远程移动观看端220包括平板电脑、手机等，远程会议室观看端210为支持Windows系统的会议大屏。远程移动观看端220受限于硬件性能，可接收和观看会议视频数据的画面，远程会议室观看端210则可接收和观看会议视频数据的画面以及直播数据的画面。且直播的画质清晰度高于视频会议的画质清晰度，从而可以在远程视频时满足用户对画面的清晰度需求。

云平台400基于云计算和大数据的技术，即本发明实施例的通讯移动平台100只需要支撑1080P的视频会议和4K或8K的直播，便可通过5G CPE接入本发明实施例的云平台400，而不需搭建昂贵的服务器群来存储大数据，降低了成本。需要说明的是，直播数据和会议视频数据的具体画质清晰度不能看作是对本发明的限定。

云平台400还可以集成第三方软件应用，如医疗数字技术(医疗设备联网、移动设备150应用程序和电子健康记录)或其他类型的数字技术、审讯软件、动物监测软件、制药环境远程监控软件、AI程序(如AI先天性心脏病自动筛查、面部表情识别软件)，需要说明的是，第三方软件应用不限于上述提到的软件应用。可以集成第三方软件应用既具有跨地域使用的轻便性和方便性，又具有灵活性和扩展性。

对于医疗领域而言，本发明实施例的远程视频方法具有以下几个优点：第一，可以最大程度汇集各地优质的多个医疗学科专家资源，康养中心、卫生院、社康等基层机构可获得上层医院的优质多个医疗学科会诊资源，从而提升全民医疗水平。第二，容易构建庞大的多个医疗学科疾病的患者的多模态(图像、语音、文字等)数据，以训练更为精准的AI模型，最终提高计算机辅助诊断多个医疗学科的灵敏度和特异度。第三，针对恶性肿瘤和一些疑难杂症，借助基于5G远程医疗的多个专家会诊可以解决医疗不发达地区、偏远地区的某一医疗学科疾病的患者存在“名医就诊”难的问题，患者以更少的时间和医疗费用，可以获得更优质的多个医疗学科诊疗服务，具有跨地域使用的轻便性和方便性。

在本发明的一些实施例中，参考图1，通讯移动平台100还包括控制装置130和角度调整装置140，角度调整装置140与拍摄设备120连接，角度调整装置140和拍摄设备120皆与控制装置130电性连接；视频数据由以下步骤得到：

获取由远程监控端200发送的角度调整指令和显示调整指令；

将角度调整指令和显示调整指令发送至控制装置130，以使得控制装置130根据角度调整指令控制角度调整装置140调整拍摄设备120的拍摄角度，以及根据显示调整指令调整拍摄设备120的焦距和色彩参数；

获取由拍摄设备120传输的视频数据。

角度调整装置140采用柔性机械臂或其他柔性机械结构，可以任意调整拍摄设备120的拍摄角度。远程监控端200可以发送角度调整指令和显示调整指令，来远程控制角度调整装置140调整拍摄设备120的拍摄角度，以及调整拍摄设备120的焦距和色彩参数，以更好地观看一些被拍摄对象的细节，灵活性高。

在本发明的一些实施例中，参考图1，通讯移动平台100还包括主体架以及设于主体架底部的移动设备150，移动设备150与控制装置130电性连接；拾音设备110、拍摄设备120和控制装置130皆设于主体架上；远程视频方法还包括：

获取由远程监控端200发送的移动控制指令；

将移动控制指令发送至控制装置130，以使得控制装置130根据移动控制指令控制移动设备150移动，以带动拍摄设备120和拾音设备110移动。

移动设备150采用AGV底盘，AGV底盘包括静音脚轮、主控系统、动力系统和电池。AGV底盘上安装有激光雷达，能够扫描所在场景，扫描到的数据发送到AGV底盘的主控系统上，主控系统根据数据建立数字地图，并计算出AGV底盘能够到达的点位。AGV底盘接收到移动控制指令后，由主控系统搜索之前存储的地图和点位数据，计算需要行进的步骤、方向和坐标，规划出路线，然后驱动静音脚轮按指定路线移动至目标区域，以带动拍摄设备120和拾音设备110移动对目标区域的目标对象进行数据采集，实现远程操控的目的，可以更好地满足用户的拍摄需求。

在本发明的一些实施例中，参考图1和图3，还包括以下步骤：

获取病理数据，病理数据由检测仪器300检测完成后通过控制装置130上传，检测仪器300包括病理切片分析仪和计算机断层扫描仪；

基于多通道卷积神经网络，利用病理数据、音频数据和视频数据分析得到辅助分析结果；

将辅助分析结果传输至远程监控端200。

检测仪器300还包括智能手持或可穿戴设备(电子听诊器、AR/VR/MR眼镜、各种生理记录仪等设备)、审讯硬件设备、毫米波雷达、皮肤镜、动物监测仪、B超或三维/四维彩超仪、脑电图机等涉及商用、科研、警用等多个领域的硬件设备，不能看作是对本发明的限定。

现有技术中，计算机辅助分析系统不够先进，就AI皮肤病识别而言，大多数方案只使用单一模态的数据(如皮肤镜图像)，其皮肤病识别的灵敏度和特异度低，不够准确。而本发明实施例的远程视频方法基于多通道卷积神经网络，利用病理数据、音频数据和视频数据分析得到辅助分析结果，采用多模态数据进行识别的灵敏度和特异度高，识别结果准确度高。

多通道卷积神经网络主要由多个并行的卷积池化层和全连接层组合而成，其结构图如图3所示，将病理数据、音频数据和视频数据分别进行标准化处理后输入多通道卷积神经网络，可以得到辅助分析结果。

在一些实施例中，若本发明实施例的云平台400存在已部署的多通道卷积神经网络模型，则可直接将病理数据、音频数据和视频数据分别进行标准化处理后输入已部署的对应的多通道卷积神经网络模型。若云平台400不存在已部署的多通道卷积神经网络模型，则通过病理数据、音频数据和视频数据进行训练，得到对应的多通道卷积神经网络模型，并存储在云平台400。

在本发明的一些实施例中，参考图3，基于多通道卷积神经网络，利用病理数据、音频数据和视频数据分析得到辅助分析结果，包括以下步骤：

对病理数据进行标准化处理，得到标准病理输入数据；

对音频数据进行标准化处理，得到标准音频输入数据；

对视频数据进行标准化处理，得到标准视频输入数据；

基于多通道卷积神经网络，利用标准病理输入数据、标准音频输入数据和标准视频输入数据分析得到辅助分析结果。

多通道卷积神经网络的输入数据需要归一化，需要将病理数据、音频数据和视频数据分别进行标准化处理，再分别将进行标准化处理后得到的标准病理输入数据、标准音频输入数据和标准视频输入数据分别输入多通道卷积神经网络，分析得到辅助分析结果。需要说明的是，多通道卷积神经网络的原理为本领域技术人员可知的现有技术，在此不再进行详细说明。

在本发明的一些实施例中，将会议视频数据和直播数据传输至远程监控端200，包括以下步骤：

对会议视频数据和直播数据进行加密处理；

将进行加密处理后的会议视频数据和直播数据传输至远程监控端200。

会议视频数据和直播数据的发送端和接收端都使用专门的账号和密码登录，这些账号和密码由本发明实施例的云平台400进行统一管理，所有的会议视频数据和直播数据都通过云平台400进行统一传输，当发送端和观看端需要发送或接收数据时，需要向云平台400发起请求，云平台400判断账号和密码正确后，再为其建立通道用于传输会议视频数据和直播数据。需要说明的是，还可以采用其他加密方式，不能看作是对本发明的限定。

下面将结合图1至图3对本发明第二方面实施例的云平台400进行清楚、完整的描述，显然，以下所描述的实施例是本发明一部分实施例，并非全部实施例。

根据本发明第二方面实施例的云平台400，包括数据获取单元410、数据分流单元420和数据传输单元430。数据获取单元410，用于获取由通讯移动平台100上的拾音设备110传输的音频数据，以及由通讯移动平台100上的拍摄设备120传输的视频数据；数据分流单元420，用于根据音频数据和视频数据生成会议视频数据，根据视频数据生成直播数据，直播数据的画质清晰度高于会议视频数据的画质清晰度；数据传输单元430，用于将会议视频数据和直播数据传输至远程监控端200，以同时显示会议视频数据的画面和直播数据的画面。

本发明实施例的云平台400需要支持1080P高清视频会议、4K或8K超高清直播、通讯移动平台100上的设备同时运行，而且允许各地的通讯移动平台100、远程监控端200(包括远程移动观看端220和远程会议室观看端210)等设备同时接入视频会议，远程移动观看端220包括平板电脑、手机等，远程会议室观看端210为支持Windows系统的会议大屏。数据传输单元430包括视频会议单元431和直播单元432，远程移动观看端220可接收和观看由视频会议单元431传输的会议视频数据的画面，远程会议室观看端210可接收和观看由视频会议单元431传输的会议视频数据的画面以及由直播单元432传输的直播数据的画面。

在一些实施例中，参考图1，云平台400还包括设备控制单元440，用于接收由远程会议室观看端210发送的角度调整指令、显示调整指令和移动控制指令，并发送至通讯移动平台100，以使得控制装置130根据角度调整指令控制角度调整装置140调整拍摄设备120的拍摄角度、根据显示调整指令调整拍摄设备120的焦距和色彩参数、以及根据移动控制指令控制移动设备150移动，以带动拍摄设备120和拾音设备110移动。设备控制单元440还用于接收由拾音设备110、拍摄设备120、角度调整装置140和移动设备150分别上传的参数数据，并将参数数据传输至远程会议室观看端210。

在一些实施例中，参考图1，云平台400还包括辅助分析单元450。检测仪器300包括病理切片分析仪、计算机断层扫描仪，检测仪器300检测到病理数据后通过控制装置130上传至辅助分析单元450，辅助分析单元450基于多通道卷积神经网络，利用病理数据、音频数据和视频数据分析得到辅助分析结果，并将辅助分析结果传输至远程监控端200。辅助分析结果表征对病理数据、音频数据和视频数据进行识别分类后得到的所属的预设结论。现有技术中，计算机辅助分析系统不够先进，就AI皮肤病识别而言，大多数方案只使用单一模态的数据(如皮肤镜图像)，其皮肤病识别的灵敏度和特异度低，不够准确。而本发明实施例的远程视频方法基于多通道卷积神经网络，利用病理数据、音频数据和视频数据分析得到辅助分析结果，采用多模态数据进行识别的灵敏度和特异度高，识别结果准确度高。

多通道卷积神经网络主要由多个并行的卷积池化层和全连接层组合而成，其结构图如图3所示，将病理数据、音频数据和视频数据分别进行标准化处理后输入多通道卷积神经网络，可以得到辅助分析结果。

在一些实施例中，若本发明实施例的云平台400存在已部署的多通道卷积神经网络模型，则可直接将病理数据、音频数据和视频数据分别进行标准化处理后输入已部署的对应的多通道卷积神经网络模型。若云平台400不存在已部署的多通道卷积神经网络模型，则通过病理数据、音频数据和视频数据进行训练，得到对应的多通道卷积神经网络模型，并存储在云平台400。

检测仪器300还包括智能手持或可穿戴设备(电子听诊器、AR/VR/MR眼镜、各种生理记录仪等设备)、审讯硬件设备、毫米波雷达、皮肤镜、动物监测仪、B超或三维/四维彩超仪、脑电图机等涉及商用、科研、警用等多个领域的硬件设备，不能看作是对本发明的限定。

本发明实施例的云平台400可以集成第三方软件应用，如医疗数字技术(医疗设备联网、移动设备150应用程序和电子健康记录)或其他类型的数字技术、审讯软件、动物监测软件、制药环境远程监控软件、AI程序(如AI先天性心脏病自动筛查、面部表情识别软件)，需要说明的是，第三方软件应用不限于上述提到的软件应用。可以集成第三方软件应用既具有跨地域使用的轻便性和方便性，又具有灵活性和扩展性。

在一些实施例中，辅助分析单元450还可以用于实现如物体识别、意图理解、行为识别等功能，例如，物体识别功能可以应用于远程看货场景，行为识别功能可以应用于公安远程审讯场景，所用到的算法也可以根据应用场景进行变化，上述医疗场景仅为其中一个示例，多通道卷积神经网络同样为其中一个示例，皆不能看作是对本发明的限定。

本发明实施例的云平台400基于云计算和大数据的技术，即本发明实施例的通讯移动平台100只需要支撑1080P的视频会议和4K或8K的直播，便可通过5G CPE接入本发明实施例的云平台400，而不需搭建昂贵的服务器群来存储大数据，降低了成本。

需要说明的是，直播数据和会议视频数据的具体画质清晰度不能看作是对本发明的限定。

根据本发明实施例的云平台400，通过数据获取单元410可以获取由通讯移动平台100上的拾音设备110传输的音频数据，以及由通讯移动平台100上的拍摄设备120传输的视频数据，通过数据分流单元420可以将视频数据做两种处理，一个是与音频数据一起生成画质清晰度较低的会议视频数据，另一个是生成画质清晰度较高的直播数据，通过数据传输单元430将会议视频数据和直播数据传输至远程监控端200后，可以同时显示会议视频数据的画面和直播数据的画面，实现在远程视频的同时进行同步直播，且直播的画质清晰度高于视频会议的画质清晰度，从而可以在远程视频时满足用户对画面的清晰度需求。云平台400不需搭建昂贵的服务器群来存储大数据，成本低，且云平台400可以集成第三方的软件应用，具有较高的灵活性和扩展性。本发明实施例的云平台400，能够解决现有远程视频的视频画质差、无法在远程视频时同时进行高清直播、不能满足用户对画面的画质需求的问题。

下面将结合图1对本发明第三方面实施例的通讯移动平台100进行清楚、完整的描述，显然，以下所描述的实施例是本发明一部分实施例，并非全部实施例。

根据本发明第三方面实施例的通讯移动平台100，包括主体架、拾音设备110、拍摄设备120和控制装置130。拾音设备110，设于主体架上，用于传输音频数据；拍摄设备120，设于主体架上，用于传输视频数据；控制装置130，设于主体架上，控制装置130分别与拾音设备110和拍摄设备120电性连接。

控制装置130包括5G客户前置设备(Customer Premise Equipment，CPE)、电脑主机、显示器，其中，5G CPE属于一种5G终端设备，它接收5G运营商基站发出的5G信号，然后转换成无线信号或有线信号，让更多本地设备(如手机、平板、电脑)上网。拾音设备110和拍摄设备120皆接入电脑主机，电脑主机能接入本发明实施例的云平台400，且通过5G通讯与云平台400进行双向数据交互。电脑主机和显示器的硬件配置需要支撑清晰度至少为1080P的视频会议以及4K或8K的直播。需要说明的是，也可以采用4G传输，不能看作是对本发明的限定。

拍摄设备120包括4K或8K摄像机和云台，可以实现高清视频拍摄和防抖。

主体架包括主机托盘、工作台面以及支撑架，电脑主机设于主机托盘上，显示器、拾音设备110、拍摄设备120和控制装置130皆设于支撑架上。

本发明实施例的通讯移动平台100可以集成第三方硬件设备，如智能手持或可穿戴设备(电子听诊器、AR/VR/MR眼镜、各种生理记录仪等设备)、审讯硬件设备、毫米波雷达、皮肤镜、动物监测仪、B超或三维/四维彩超仪、CT扫描仪、脑电图机等涉及商用、科研、警用等多个领域的硬件设备。需要说明的是，第三方硬件设备不限于上述提到的硬件设备。可以集成第三方硬件设备具有方便性、灵活性和扩展性。

在本发明的一些实施例中，参考图1，还包括皆与控制装置130电性连接的角度调整装置140、移动设备150和控制装置130。角度调整装置140，设于主体架上且与拍摄设备120连接，角度调整装置140用于调整拍摄设备120的拍摄角度；移动设备150，设于主体架底部，移动设备150用于在移动后带动拍摄设备120和拾音设备110移动。角度调整装置140采用柔性机械臂或其他柔性机械结构，可以任意调整拍摄设备120的拍摄角度。移动设备150采用AGV底盘，AGV底盘包括静音脚轮、主控系统、动力系统和电池。AGV底盘上安装有激光雷达，能够扫描所在场景，扫描到的数据发送到AGV底盘的主控系统上，主控系统根据数据建立数字地图，并计算出AGV底盘能够到达的点位。AGV底盘接收到移动控制指令后，由主控系统搜索之前存储的地图和点位数据，计算需要行进的步骤、方向和坐标，规划出路线，然后驱动静音脚轮按指定路线移动至目标区域，以带动拍摄设备120和拾音设备110移动对目标区域的目标对象进行数据采集，实现远程操控的目的。

另外，本发明实施例的云平台400还提供了一种主控装置，该主控装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述实施例的远程视频方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的远程视频方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

此外，本发明第四方面实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述云平台400实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的远程视频方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种远程视频方法，其特征在于，应用于云平台，所述远程视频方法包括以下步骤：

获取由通讯移动平台上的拾音设备传输的音频数据、由所述通讯移动平台上的拍摄设备传输的视频数据、以及由检测仪器传输的病理数据，所述拍摄设备包括控制装置以及皆与所述控制装置电性连接的用于获取全景图像数据的全景相机、用于获取局部图像信息的特写相机和用于调整所述特写相机的拍摄角度的角度调整装置，所述检测仪器包括病理切片分析仪和计算机断层扫描仪，所述视频数据包括所述全景图像数据和局部图像数据，所述局部图像数据包括所述局部图像信息、所述通讯移动平台的空间轨迹信息、所述角度调整装置的运动轨迹信息、所述空间轨迹信息和所述运动轨迹信息叠加后的基础上的光照度信息；

根据所述音频数据和所述全景图像数据生成会议视频数据，根据所述全景图像数据、所述局部图像信息、所述空间轨迹信息、所述运动轨迹信息和所述光照度信息进行像素级、特征级的插值融合生成直播数据，所述直播数据的画质清晰度高于所述会议视频数据的画质清晰度；

基于多通道卷积神经网络，利用所述病理数据、所述音频数据和所述视频数据分析得到辅助分析结果；

将所述会议视频数据、所述直播数据和所述辅助分析结果传输至远程监控端，以同时显示所述会议视频数据的画面和所述直播数据的画面。

2.根据权利要求1所述的远程视频方法，其特征在于，所述局部图像信息由以下步骤得到：

获取由所述远程监控端发送的角度调整指令和显示调整指令；

将所述角度调整指令和所述显示调整指令发送至所述控制装置，以使得所述控制装置根据所述角度调整指令控制所述角度调整装置调整所述特写相机的拍摄角度，以及根据所述显示调整指令调整所述特写相机的焦距和色彩参数；

获取由所述特写相机传输的所述局部图像信息。

3.根据权利要求2所述的远程视频方法，其特征在于，所述通讯移动平台还包括主体架以及设于所述主体架底部的移动设备，所述移动设备与所述控制装置电性连接；所述拾音设备、所述拍摄设备和所述控制装置皆设于所述主体架上；所述远程视频方法还包括：

获取由所述远程监控端发送的移动控制指令；

将所述移动控制指令发送至所述控制装置，以使得所述控制装置根据所述移动控制指令控制所述移动设备移动，以带动所述拍摄设备和所述拾音设备移动。

4.根据权利要求1所述的远程视频方法，其特征在于，所述基于多通道卷积神经网络，利用所述病理数据、所述音频数据和所述视频数据分析得到辅助分析结果，包括以下步骤：

对所述病理数据进行标准化处理，得到标准病理输入数据；

对所述音频数据进行标准化处理，得到标准音频输入数据；

对所述视频数据进行标准化处理，得到标准视频输入数据；

基于所述多通道卷积神经网络，利用所述标准病理输入数据、所述标准音频输入数据和所述标准视频输入数据分析得到所述辅助分析结果。

5.根据权利要求1所述的远程视频方法，其特征在于，所述将所述会议视频数据、所述直播数据和所述辅助分析结果传输至远程监控端，包括以下步骤：

对所述会议视频数据、所述直播数据和所述辅助分析结果进行加密处理；

将进行加密处理后的所述会议视频数据、所述直播数据和所述辅助分析结果传输至所述远程监控端。

6.一种云平台，其特征在于，包括：

数据获取单元，用于获取由通讯移动平台上的拾音设备传输的音频数据、由所述通讯移动平台上的拍摄设备传输的视频数据、以及由检测仪器传输的病理数据，拍摄设备包括控制装置以及皆与所述控制装置电性连接的用于获取全景图像数据的全景相机、用于获取局部图像信息的特写相机和用于调整所述特写相机的拍摄角度的角度调整装置，所述检测仪器包括病理切片分析仪和计算机断层扫描仪，所述视频数据包括所述全景图像数据和局部图像数据，所述局部图像数据包括所述局部图像信息、所述通讯移动平台的空间轨迹信息、所述角度调整装置的运动轨迹信息、所述空间轨迹信息和所述运动轨迹信息叠加后的基础上的光照度信息；

数据分流单元，用于根据所述音频数据和所述全景图像数据生成会议视频数据，根据所述全景图像数据、所述局部图像信息、所述空间轨迹信息、所述运动轨迹信息和所述光照度信息进行像素级、特征级的插值融合生成直播数据，所述直播数据的画质清晰度高于所述会议视频数据的画质清晰度；

病理辅助分析单元，用于基于多通道卷积神经网络，利用所述病理数据、所述音频数据和所述视频数据分析得到辅助分析结果；

数据传输单元，用于将所述会议视频数据、所述直播数据和所述辅助分析结果传输至远程监控端，以同时显示所述会议视频数据的画面和所述直播数据的画面。

7.一种通讯移动平台，其特征在于，包括：

主体架；

拾音设备，设于所述主体架上，用于获取音频数据；

拍摄设备，设于所述主体架上，所述拍摄设备包括全景相机和特写相机，所述全景相机用于获取全景图像数据，所述特写相机用于获取局部图像信息；

控制装置，设于所述主体架上，所述控制装置分别与所述拾音设备、所述全景相机和所述特写相机电性连接，所述控制装置用于与如权利要求6所述的云平台进行数据交互。

8.根据权利要求7所述的通讯移动平台，其特征在于，还包括皆与所述控制装置电性连接的：

角度调整装置，设于所述主体架上且与所述特写相机连接，所述角度调整装置用于调整所述特写相机的拍摄角度；

移动设备，设于所述主体架底部，所述移动设备用于在移动后带动所述拍摄设备和所述拾音设备移动。

9.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1至5中任意一项所述的远程视频方法。

Images