CN106559636A - 一种视频通信方法、装置及系统 - Google Patents

Abstract

本发明提供了一种视频通信方法、装置及系统，该方法包括：发送端采集视频图像及语音信号；对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；发送图像语义特征信息及语音编码信息；接收端接收图像语义特征信息及语音编码信息；调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；输出视频图像及语音信号。通过本发明的实施，在传输过程中，仅传输图像语义特征信息及语音编码信息，在信道质量较差时，也可以继续正常视频图像，解决了现有视频通信在信道质量差时存在的无法正常视频的问题。

Description

一种视频通信方法、装置及系统

技术领域

本发明涉及视频通信应用领域，尤其涉及一种视频通信方法、装置及系统。

背景技术

无线视频通信是随着移动互联网和智能移动终端设备的发展而兴起的一种通信应用模式，与传统的视频通信系统相比，无线视频通信的应用具有很强的扩展性和更大的灵活性，在任何时间、任何地点，只要移动设备可以接入网络，就可以实时的进行可视通话、召开视频会议等等。然而，与一般的视频通信不同，这种方便与快捷使得无线视频传输对网络的质量有着更高的要求，网络不但要为视频传输提供足够的带宽，同时也要有时延的要求及误码率的限制。因为压缩视频对于传输错误(如分组丢失等)非常敏感，并对时延的要求非常严格，而无线信道固有的高误码率、严重的信道干扰、有限的传输带宽和大幅度波动等特点很难为视频传输提供可靠的服务质量保证。

无线通信技术和智能移动终端的发展使得越来越多的用户开始使用移动终端(手机、平板电脑、笔记本电脑、专用设备等)进行视频通信，目前的无线视频通信系统在信道质量良好的情况下可以保证基本的通信质量，但是还不可以对本地摄像头捕捉到的视频信息(包括图像和语音)或对方传输来的视频信息进行修饰改变，而在信道质量变差的情况下，通信质量会急剧下降，甚至无法保证正常通信。

因此，如何提供一种可以在信道质量差的情况下保持正常视频通信的方法，是本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种视频通信方法、装置及系统，以解决现有视频通信在信道质量差时存在的无法正常视频的问题。

本发明提供了一种视频通信方法，其包括：

采集视频图像及语音信号；

对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；

发送图像语义特征信息及语音编码信息。

进一步的，还包括：获取通信信道的信道信息，根据信道信息判断是否需要对视频图像进行图像语义特征处理；若不需要，则对视频图像进行编码，获取图像编码信息，发送图像编码信息及语音编码信息；若需要，则对视频图像进行图像语义特征处理，获取图像语义特征信息，发送图像语义特征信息及语音编码信息。

进一步的，还包括：根据信道信息判断是否满足发送图像语义特征信息或者图像编码信息的条件，若是，则获取图像语义特征信息或者图像编码信息，并与语音编码信息一起发送，若否，则仅发送语音编码信息。

进一步的，还包括：接收用户的控制操作，根据控制操作判断是否需要对用户的图像语义特征进行保密；若是，则对视频图像进行图像语义特征处理，隐藏或替换或模糊用户的图像语义特征，生成图像语义特征信息，发送图像语义特征信息及语音编码信息；若否，则对视频图像进行编码，获取图像编码信息，发送图像编码信息及语音编码信息。

进一步的，还包括：将图像数据处理模式通过控制信息发送出去；图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

本发明提供了一种视频通信方法，其包括：

接收图像语义特征信息及语音编码信息；

调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；

输出视频图像及语音信号。

进一步的，还包括：接收并解析控制信息，获取图像数据处理模式；根据图像数据处理模式处理接收到的数据并输出；图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

进一步的，若图像数据处理模式为基于语音分析处理时，还包括：对语音编码信息进行语义分析，转化为图像语义特征信息，并根据图像语义特征数据库生成视频图像。

进一步的，还包括：接收正常的视频数据，根据正常的视频数据建立图像语义特征数据库。

本发明提供了一种视频通信方法，其包括：

发送端采集视频图像及语音信号；对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；发送图像语义特征信息及语音编码信息；

接收端接收图像语义特征信息及语音编码信息；调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；输出视频图像及语音信号。

本发明提供了一种视频通信装置，其包括：

采集模块，用于采集视频图像及语音信号；

处理模块，用于对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；

发送模块，用于发送图像语义特征信息及语音编码信息

进一步的，还包括判断模块，用于获取通信信道的信道信息，根据信道信息判断是否需要对视频图像进行图像语义特征处理；若不需要，则对视频图像进行编码，获取图像编码信息，发送图像编码信息及语音编码信息；若需要，则对视频图像进行图像语义特征处理，获取图像语义特征信息，发送图像语义特征信息及语音编码信息。

进一步的，判断模块还用于根据信道信息判断是否满足发送图像语义特征信息或者图像编码信息的条件，若是，则获取图像语义特征信息或者图像编码信息，并与语音编码信息一起发送，若否，则仅发送语音编码信息。

进一步的，还包括加密模块，用于接收用户的控制操作，根据控制操作判断是否需要对用户的图像语义特征进行保密；若是，则触发处理模块对视频图像进行图像语义特征处理，隐藏或替换或模糊用户的图像语义特征，生成图像语义特征信息，发送图像语义特征信息及语音编码信息；若否，则触发处理模块对视频图像进行编码，获取图像编码信息，发送图像编码信息及语音编码信息。

进一步的，发送模块还用于将图像数据处理模式通过控制信息发送出去；图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

本发明提供了一种视频通信装置，其包括：

接收模块，用于接收图像语义特征信息及语音编码信息；

还原模块，用于调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；

输出模块，用于输出视频图像及语音信号。

进一步的，还原模块还用于接收并解析控制信息，获取图像数据处理模式；根据图像数据处理模式处理接收到的数据并输出；图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

进一步的，若图像数据处理模式为基于语音分析处理时，还原模块还用于对语音编码信息进行语义分析，转化为图像语义特征信息，并根据图像语义特征数据库生成视频图像。

进一步的，还包括训练模块，用于接收正常的视频数据，根据正常的视频数据建立图像语义特征数据库。

本发明提供了一种视频通信系统，其包括发送端及接收端；其中，

发送端用于采集视频图像及语音信号；对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；发送图像语义特征信息及语音编码信息；

接收端用于接收图像语义特征信息及语音编码信息；调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；输出视频图像及语音信号。

本发明的有益效果：

本发明提供了一种新的视频通信方法，发送端通过对采集到的视频数据进行分离，得到视频图像及语音信号，对视频图像进行图像语义特征处理处理得到图像语义特征信息，发送图像语义特征信息及语音编码信息，接收端调用图像语义特征数据库，根据图像语义特征信息还原视频图像，将其与语音信号输出完成视频接收；由于在传输过程中，仅传输图像语义特征信息及语音编码信息，这样与直接传输视频数据的方式相比，大大降低了对通信资源的要求，在信道质量较差时，也可以继续正常视频图像，解决了现有视频通信在信道质量差时存在的无法正常视频的问题，增强了用户的使用体验。

附图说明

图1为本发明第一实施例提供的视频通信系统的结构示意图；

图2为本发明第二实施例提供的视频通信方法的流程图；

图3为本发明第三实施例提供的视频通信方法的流程图；

图4为本发明第三实施例中通信模式切换的示意图。

具体实施方式

现通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。

第一实施例：

图1为本发明第一实施例提供的视频通信系统的结构示意图，由图1可知，在本实施例中，本发明提供的视频通信系统1包括发送端11及接收端12；其中，

发送端11用于采集视频图像及语音信号；对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；发送图像语义特征信息及语音编码信息；

接收端12用于接收图像语义特征信息及语音编码信息；调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；输出视频图像及语音信号。

针对上述实施例中的发送端11及接收端12，其具体结构如下所示：

如图1所示，本发明提供了一种作为发送端11的视频通信装置，其包括：

采集模块111，用于采集视频图像及语音信号；

处理模块112，用于对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；

发送模块113，用于发送图像语义特征信息及语音编码信息

如图1所示，在一些实施例中，上述实施例中的发送端11还包括判断模块114，用于获取通信信道的信道信息，根据信道信息判断是否需要对视频图像进行图像语义特征处理；若不需要，则对视频图像进行编码，获取图像编码信息，发送图像编码信息及语音编码信息；若需要，则对视频图像进行图像语义特征处理，获取图像语义特征信息，发送图像语义特征信息及语音编码信息。

在一些实施例中，上述实施例中的判断模块114还用于根据信道信息判断是否满足发送图像语义特征信息或者图像编码信息的条件，若是，则获取图像语义特征信息或者图像编码信息，并与语音编码信息一起发送，若否，则仅发送语音编码信息。

如图1所示，在一些实施例中，上述实施例中的发送端11还包括加密模块115，用于接收用户的控制操作，根据控制操作判断是否需要对用户的图像语义特征进行保密；若是，则触发处理模块对视频图像进行图像语义特征处理，隐藏或替换或模糊用户的图像语义特征，生成图像语义特征信息，发送图像语义特征信息及语音编码信息；若否，则触发处理模块对视频图像进行编码，获取图像编码信息，发送图像编码信息及语音编码信息。

在一些实施例中，上述实施例中的发送模块111还用于将图像数据处理模式通过控制信息发送出去；图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

如图1所示，本发明提供了一种作为接收端12的视频通信装置，其包括：

接收模块121，用于接收图像语义特征信息及语音编码信息；

还原模块122，用于调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；

输出模块123，用于输出视频图像及语音信号。

在一些实施例中，上述实施例中的还原模块122还用于接收并解析控制信息，获取图像数据处理模式；根据图像数据处理模式处理接收到的数据并输出；图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

在一些实施例中，若图像数据处理模式为基于语音分析处理时，上述实施例中的还原模块122还用于对语音编码信息进行语义分析，转化为图像语义特征信息，并根据图像语义特征数据库生成视频图像。

如图1所示，在一些实施例中，上述实施例中的接收端12还包括训练模块124，用于接收正常的视频数据，根据正常的视频数据建立图像语义特征数据库。

第二实施例：

图2为本发明第二实施例提供的视频通信方法的流程图，由图2可知，在本实施例中，本发明提供的管理方法包括以下步骤：

S201：发送端采集视频图像及语音信号；对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；发送图像语义特征信息及语音编码信息；

S202：接收端接收图像语义特征信息及语音编码信息；调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；输出视频图像及语音信号。

具体的，本发明提供的视频通信方法在发送端的体现具体包括以下步骤：

采集视频图像及语音信号；

对视频图像进行图像语义特征处理，获取图像语义特征信息；对语音信号进行编码，获取语音编码信息；

发送图像语义特征信息及语音编码信息。

在一些实施例中，上述实施例中的方法还包括：获取通信信道的信道信息，根据信道信息(例如信道质量、信息时延、信道丢包率等)判断是否需要对视频图像进行图像语义特征处理；若不需要，则对视频图像进行编码(可以采用常用的H.264，H.265等编解码方案)，获取图像编码信息，发送图像编码信息及语音编码信息；若需要，则对视频图像进行图像语义特征处理，获取图像语义特征信息，发送图像语义特征信息及语音编码信息。

在一些实施例中，上述实施例中的方法还包括：根据信道信息判断是否满足发送图像语义特征信息或者图像编码信息的条件，若是，则获取图像语义特征信息或者图像编码信息，并与语音编码信息一起发送，若否，则仅发送语音编码信息。

在一些实施例中，上述实施例中的方法还包括：接收用户的控制操作，根据控制操作判断是否需要对用户的图像语义特征进行保密；若是，则对视频图像进行图像语义特征处理，隐藏或替换或模糊用户的图像语义特征，生成图像语义特征信息，发送图像语义特征信息及语音编码信息；若否，则对视频图像进行编码，获取图像编码信息，发送图像编码信息及语音编码信息。

在一些实施例中，上述实施例中的方法还包括：将图像数据处理模式通过控制信息发送出去；图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

对应的，本发明提供的视频通信方法在接收端的体现具体包括以下步骤：

接收图像语义特征信息及语音编码信息；

调用图像语义特征数据库，根据图像语义特征信息生成视频图像；图像语义特征数据库包括图像语义特征信息与视频图像碎片的映射关系；根据语音编码信息生成语音信号；

输出视频图像及语音信号。

在一些实施例中，上述实施例中的方法还包括：接收并解析控制信息，获取图像数据处理模式；根据图像数据处理模式处理接收到的数据并输出；图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

在一些实施例中，若图像数据处理模式为基于语音分析处理时，上述实施例中的方法还包括：对语音编码信息进行语义分析，转化为图像语义特征信息，并根据图像语义特征数据库生成视频图像。

在一些实施例中，上述实施例中的方法还包括：接收正常的视频数据，根据正常的视频数据建立图像语义特征数据库。

现结合具体应用场景对本发明做进一步的诠释说明。

第三实施例：

本实施例提出了一个基于视频内容的图像语义特征提取和重现技术的无线视频通信系统，可以在较差信道质量下依然保证正常通信的同时，还可以为用户提供对本地及对方视频进行修饰和改变的机会，以期可以达到更好的用户体验。

该无线视频通信系统的设计思想是在目前的无线通信系统之上附加了一套视频图像语义特征提取与重现模块，目的是可以使用视频信号的副本进行视频图像语义特征提取，不会影响到正常的视频通信，在信道质量变差后，模式控制模块可以自由切换到视频图像语义特征提取模块的副通道进行视频通信。其既可以作为整个通信系统的一部分，也可以以插件的方式嵌入到无线通信系统中，这样既增加了使用灵活性，也降低了无线通信系统的改造成本。

整套模块主要包括模式控制、视频图像语义特征提取、特征数据库、特征合成等功能模块。其中发送端与接收端的视频图像语义特征提取模块应为含有相同功能的模块，其图像检测、特征提取等遵循相同的算法与标准。

模式控制模块控制整套视频图像语义特征提取与重现模块，它接收来自发送端和接收端的信道质量反馈(例如信号强度信息，信道质量信息，时延信息，buffer状态信息，移动状态信息等)，负责开启或切换各种通信模式。

视频图像特征信息提取模块用于对视频图像信号进行解析，针对视频画面中的场景、人物、表情等进行特征检测、特征提取、图像切割等操作并可以将处理后的特征原型和特征信息送入数据库中或是将特征信息送给发送端。一种实现方式是：视频图像特征信息提取模块从发送端的上层直接获取传输视频的副本，然后根据系统配置对视频图像信号进行解析，提取出所需的视频图像中的特征原型和特征信息。这种提取过程可以是视频传输过程中的一个环节，即只传输特征信息，也可以独立于视频传输过程，即只为了提取特征原型，不干涉视频通信。

特征数据库用于存储由视频语义特征信息提取模块传递过来的特征原型和特征信息等，并根据系统配置将各类特征原型和特征信息分类存储，在需要时根据视频特征合成模块传递过来的控制信号(或者特征信息)向特征合成模块提供特征原型。特征原型可以是数学模型或者是剪裁后的图片。

特征合成模块将根据系统配置，将特征数据库传递过来的特征原型重新组合出一副完整的图像结合语音信号后发送给视频应用完成视频通信任务。

如图4所示，整个视频通信过程主要包含以下几类通信模式：

正常通信：

发送端：视频应用将视频信号通过主通道直接进行图像编码和语音编码并交给发送端通过信道发送到接收端，此时模式控制模块不干涉视频通信，也不会向视频特征提取模块传递视频副本。

接收端：接收到的图像编码信息和语音编码信息直接上交给视频应用来完成视频通信，同时模式控制模块会保存一份视频副本传递给接收端的视频特征提取模块，视频特征提取模块会根据系统的默认配置等信息对视频的图像(或图像加语音)进行解析，提取出图像原型和特征信息后送入特征数据库，主要用来对特征数据库进行创建和维护。

模拟通信：

信道质量变差：发送端或接收端不断监测信道质量，模式控制模块随时获取发送端或接收端的信道反馈，根据信道反馈，随时控制系统进入模拟通信模式。

发送端：此时上层视频应用向下递交的视频图像信号和语音信号在模式控制模块有不同的处理，视频图像(或图像加语音)传递给视频特征提取模块从而提取得到特征信息，另一方面，视频语音通过语音编码得到语音编码信息，然后图像特征信息与语音编码信息交给发送端并发送到信道上，此时发送端发送的视频图像信息将全部来自特征提取模块。

接收端：模式控制模块获得了视频的图像特征信息后，将交给特征合成模块。特征合成模块利用接收到的视频图像特征信息分析视频此时的画面状态，然后根据接收到的图像特征信息从特征数据库中取得的预先保存的特征原型(图像模板)，合成完整的视频画面。然后和经过语音解码后的语音信号一起发送到上层视频应用。此外，语音信号还可以被辅助输入到特征合成模块以便利用对语音的分析改善视频画面的合成，例如使视频画面(例如口形)和语音更匹配。

混合通信：

信道质量不稳定：此时的信道状态不足以支持完全的正常通信，但是优于模拟通信的信道要求，或信道状态处于快速波动状态。此时模式控制模块将根据一个判断标准开启混合通信模式。

发送端：模式控制模块按照一个时间参数配置在正常通信和模拟通信之间进行快速切换，上述时间参数配置可以根据信道状态或是人为规定来确定。

接收端：接收端获得视频信息后，有两种子模式可选。第一种子模式是根据正常通信和模拟通信的控制信息切换视频图像的处理模式。另一种子模式即使在正常通信(即信道上传输的是视频图像的编码信息)的情况下，模式控制模块也不会开启主通道。通信解码后的视频图像送入视频图像特征提取模块，不断更新特征数据库。另一方面，特征提取模块会将特征信息发送给特征合成模块进行模拟通信视频画面合成，特征合成模块将合成后的视频图像送到上层视频应用。在模拟通信(即信道上传输的是视频图像的特征信息)的情况下，模式控制模块将接收到的图像特征信息送给特征合成模块进行模拟通信视频画面合成。这种子模式的目的是为用户提供始终如一画面质量，避免正常通信和模拟通信的快速切换带来的不好的用户体验。

特征数据库中预先保存的特征原型和特征信息可以是在前面正常通信时创建和维护的，也可以是针对不同用户或专有信道早已创建好的，例如以文件(包)的形式接收或者安装的。

极差信道通信：

发送端：这种状态时，模式控制模块会完全关闭或忽略视频信号，仅将语音信号编码后通过信道发送到接收端。

接收端：模式控制模块将接收到的语音信号(来自对语音编码信息的解码)传递给特征合成模块，通过语义分析，分析出视频画面此时可能的状态，利用数据库中的特征信息和图像原型直接合成视频画面，并和语音信号一起发送给视频应用，维持最低限度的视频通信。如果要支持极差信道通信，在正常通信、模拟通信或混合通信时，接收端在特征数据库的创建或维护中需要将语音信号也输入到特征提取模块中以便建立起基于语音分析的特征信息和图像特征原型之间的对应关系。

上述功能，同样适用于GPRS–CDMA–3G–4G–5G–WLAN等不同制式的无线网络之间的切换。接收端视频特征提取模块中，视频解析包括将视频画面中的人物特征、人物表情特征、背景特征等进行检测、然后提取对应的图像特征原型和特征信息送入到特征数据库中，同时对同一时间的语音内容进行语义分析，提取出语义特征与视频画面的特征信息进行一一对应存储。特征数据库中预先保存的特征信息可以是在前面正常通信时创建和维护的，也可以是针对不同用户或专有信道早已创建好的或获取到的特征信息。例如当用户从高吞吐量的网络切换到低吞吐量的网络之前，完成特征数据库的建模。可以根据通话方身份、地理位置、时间等信息或者图像识别结果来匹配/合并特征数据库，以进行特征数据库的维护，可用于在通信一发起时就需要进入模拟通信或极差通信状态的情况。

如图4所示，在特征数据库已建立的情况下，各类通信模式可以灵活切换。

现结合具体运用场景进行说明。

场景1、用户确定本次通信要求信息对没有特征数据库的其它通信方保密。

如图3所示，在本实施例中，本发明提供的视频通信方法包括以下步骤：

S301：用户设置通信模式。

发送端的视频应用在正式建立视频通信前，用户确定本次通信要求信息对没有特征数据库的其它通信方保密(例如全部或指定人眼保密、全部或指定人脸保密、或全部或指定背景保密)，建立的视频通信可能双人通信、视频会议，尤其是多人视频会议等情况。模式控制模块将用户配置传递到视频图像特征提取模块；摄像头等图像采集设备打开，开始采集视觉信号。视频先进入视频图像特征提取模块，不通过主通道进入发送端。同时，发送端向接收端发出连接请求，请求进行视频通信。

S302：发送端对视频数据保密传输。

发送端对每一帧画面进行检测，按照用户需求找到需要加密的特征后，对画面进行切割，提取出可传输的图像，然后将提取后的视频图像合并语音后作为最终的视频信息送到发送端进入信道。

在实际应用中，具体包括以下2个方式：

方式一：发送端的视频图像特征提取模块对每一帧画面进行检测，按照用户需求找到需要保密的特征后，对画面进行切割，通过隐藏或替换或模糊需要保密的特征的方法提取出可传输的图像，然后将提取后的视频图像进行编码，同时，图像特征提取模块也输出图像特征信息，然后将图像编码信息、图像特征信息和语音编码一起送到信道。

方式二：发送端的视频图像特征提取模块对视频图像进行特征信息提取，然后将与需要保密的特征相关的部分特征信息替换为无需保密的特征信息，然后将特征信息与语音编码送到发送端进入信道。

S303：接收端接收视频数据。

发送端和接收端在开机后要一直检测信道质量，及时反馈信道质量，模式控制模块要根据信道质量反馈选择对应的通信模式。

接收端在接收到加密通信的连接请求，且信道质量良好的情况下，视频信号一方面在模式控制模块进行再修饰，由用户或者系统默认进行修饰工作，然后通过主通道传递上层视频应用，另一方面取视频信号副本送入接收端视频特征提取模块。

与发送端对应的，也包括以下2个方式：

方式一(对应于发送端的方式一)：接收端对接收到的图像编码信息进行解码得到图像信号，并和图像特征信息一起在特征合成模块合成图像画面，另外也对接收到的语音编码信息进行解码得到语音信号，最终向上层应用或外部设备输出图像信号和语音信号。

方式二(对应于发送端的方式二)：接收端将接收到的图像特征信息送到特征合成模块，基于特征数据库合成图像画面，另外也对接收到的语音编码信息进行解码得到语音信号，最终向上层应用或外部设备输出图像信号和语音信号。

S304：接收端建立特征数据库。

接收端得到视频信号副本后根据信号内的控制信息判断目前的通信模式和特征提取模式。得知目前是加密通信后，模块开始进行特征提取操作，并将视频图像进行切割等。同时，对同一时间的语音信号进行语义分析，分析出此时用户的语气语态特征，与同一时间的图像特征进行匹配后，将图像特征和语义特征一对一配对，然后传递到特征数据库，完成特征数据库建模。

接收端的视频应用直接接收视频信号，进行通信。

S305：通信模式切换为模拟通信，继续视频通信。

信道质量变差，已经低于预设的阈值，模式控制模块将系统自动切换到模拟通信。

发送端视频特征提取模块得到模拟通信指令后，结合语义分析和图像分析等手段，判断用户表情状态，提取出视频画面中用户的表情特征，然后将当前表情特征以事先约定好的特征代号或者特征表示法来代替，然后匹配好语音信号后传递到发送端。

发送端直接将特征提取模块传递来的压缩视频信号送入信道，此时发送端的主通道没有任何视频信息传递。

接收端的模式选择模块在得到视频信号后将信号直接送入接收端视频特征提取模块，同时切断主通道。接收端特征提取模块根据信号中的代号或者特征表示法，从特征数据库中提取出在正常通信状态下保存的用户表情图像模板，送入特征合成模块进行图像合成。特征合成模块得到图像模板后按照特征信息进行图像合成，然后结合语音后直接送入视频应用，完成通信。

S306：通信模式切换为极差信道通信，继续视频通信。

信道质量变差，已经低于预设的阈值，模式控制模块将系统自动切换到极差信道通信模式。

发送端的特征提取模块会将视频信号中的画面信息直接剥除；对语音信号进行大幅度压缩，直接通过发送端送入信道。

接收端的模式控制模块接收到语音信号后直接送入视频特征提取模块，同时切断主通道。接收端视频特征处理模块对接收到的语音信号进行语义分析，提取出特征代号或者特征表示法，从特征数据库中提取出在正常通信状态下保存的用户表情图像模板，送入特征合成模块进行图像合成。特征合成模块得到图像模板后按照特征信息进行图像合成，然后结合语音后直接送入接收端的视频应用，完成通信。

场景2、用户已经建立特征数据库，并且用户确定本次通信要求部分信息对接收方保密。

在本实施例中，本发明提供的视频通信方法包括以下步骤：

用户设置通信模式。

发送端的视频应用在正式建立视频通信前，用户确定本次通信要求部分信息对接收方保密(例如全部或指定人眼保密、全部或指定人脸保密、或全部或指定背景保密)，建立的视频通信可能双人通信、视频会议，尤其是多人视频会议等情况。模式控制模块将用户配置传递到视频图像特征提取模块；摄像头等图像采集设备打开，开始采集视觉信号。视频先进入视频图像特征提取模块，不通过主通道进入发送端。同时，发送端向接收端发出连接请求，请求进行视频通信。

发送端对视频数据加密传输。

发送端对每一帧画面进行检测，按照用户需求找到需要加密的特征后，对画面进行切割，通过隐藏或替换或模糊需要加密的特征的方法提取出可传输的图像，然后将提取后的视频图像进行编码，然后和语音编码一起送到发送端进入信道。

接收端接收视频数据。

接收端对接收到的图像编码信息进行解码得到图像信号，对接收到的语音编码信息进行解码得到语音信号，输出上层应用或外部设备输出图像信号和语音信号。

综上可知，通过本发明的实施，至少存在以下有益效果：

本发明提供了一种新的视频通信方法，发送端通过对采集到的视频数据进行分离，得到视频图像及语音信号，对视频图像进行图像语义特征处理处理得到图像语义特征信息，发送图像语义特征信息及语音编码信息，接收端调用图像语义特征数据库，根据图像语义特征信息还原视频图像，将其与语音信号输出完成视频接收；由于在传输过程中，仅传输图像语义特征信息及语音编码信息，这样与直接传输视频数据的方式相比，大大降低了对通信资源的要求，在信道质量较差时，也可以继续正常视频图像，解决了现有视频通信在信道质量差时存在的无法正常视频的问题，增强了用户的使用体验。

以上仅是本发明的具体实施方式而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任意简单修改、等同变化、结合或修饰，均仍属于本发明技术方案的保护范围。

Claims (20)

1.一种视频通信方法，其特征在于，包括：

采集视频图像及语音信号；

对所述视频图像进行图像语义特征处理，获取图像语义特征信息；对所述语音信号进行编码，获取语音编码信息；

发送所述图像语义特征信息及所述语音编码信息。

2.如权利要求1所述的视频通信方法，其特征在于，还包括：获取通信信道的信道信息，根据所述信道信息判断是否需要对所述视频图像进行图像语义特征处理；若不需要，则对所述视频图像进行编码，获取图像编码信息，发送所述图像编码信息及所述语音编码信息；若需要，则对所述视频图像进行图像语义特征处理，获取所述图像语义特征信息，发送所述图像语义特征信息及所述语音编码信息。

3.如权利要求2所述的视频通信方法，其特征在于，还包括：根据所述信道信息判断是否满足发送所述图像语义特征信息或者所述图像编码信息的条件，若是，则获取所述图像语义特征信息或者所述图像编码信息，并与所述语音编码信息一起发送，若否，则仅发送所述语音编码信息。

4.如权利要求1所述的视频通信方法，其特征在于，还包括：接收用户的控制操作，根据所述控制操作判断是否需要对用户的图像语义特征进行保密；若是，则对所述视频图像进行图像语义特征处理，隐藏或替换或模糊用户的图像语义特征，生成所述图像语义特征信息，发送所述图像语义特征信息及所述 语音编码信息；若否，则对所述视频图像进行编码，获取图像编码信息，发送所述图像编码信息及所述语音编码信息。

5.如权利要求1至4任一项所述的视频通信方法，其特征在于，还包括：将图像数据处理模式通过控制信息发送出去；所述图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

6.一种视频通信方法，其特征在于，包括：

接收图像语义特征信息及语音编码信息；

调用图像语义特征数据库，根据所述图像语义特征信息生成视频图像；所述图像语义特征数据库包括所述图像语义特征信息与视频图像碎片的映射关系；根据所述语音编码信息生成语音信号；

输出所述视频图像及所述语音信号。

7.如权利要求6所述的视频通信方法，其特征在于，还包括：接收并解析控制信息，获取图像数据处理模式；根据所述图像数据处理模式处理接收到的数据并输出；所述图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

8.如权利要求7所述的视频通信方法，其特征在于，若所述图像数据处理模式为基于语音分析处理时，还包括：对所述语音编码信息进行语义分析，转化为图像语义特征信息，并根据所述图像语义特征数据库生成视频图像。

9.如权利要求6至8任一项所述的视频通信方法，其特征在于，还包括：接收正常的视频数据，根据正常的视频数据建立所述图像语义特征数据库。

10.一种视频通信方法，其特征在于，包括：

发送端采集视频图像及语音信号；对所述视频图像进行图像语义特征处理，获取图像语义特征信息；对所述语音信号进行编码，获取语音编码信息；发送所述图像语义特征信息及所述语音编码信息；

接收端接收图像语义特征信息及语音编码信息；调用图像语义特征数据库，根据所述图像语义特征信息生成视频图像；所述图像语义特征数据库包括所述图像语义特征信息与视频图像碎片的映射关系；根据所述语音编码信息生成语音信号；输出所述视频图像及所述语音信号。

11.一种视频通信装置，其特征在于，包括：

采集模块，用于采集视频图像及语音信号；

处理模块，用于对所述视频图像进行图像语义特征处理，获取图像语义特征信息；对所述语音信号进行编码，获取语音编码信息；

发送模块，用于发送所述图像语义特征信息及所述语音编码信息。

12.如权利要求11所述的视频通信装置，其特征在于，还包括判断模块，用于获取通信信道的信道信息，根据所述信道信息判断是否需要对所述视频图像进行图像语义特征处理；若不需要，则对所述视频图像进行编码，获取图像编码信息，发送所述图像编码信息及所述语音编码信息；若需要，则对所述视频图像进行图像语义特征处理，获取所述图像语义特征信息，发送所述图像语义特征信息及所述语音编码信息。

13.如权利要求12所述的视频通信装置，其特征在于，所述判断模块还 用于根据所述信道信息判断是否满足发送所述图像语义特征信息或者所述图像编码信息的条件，若是，则获取所述图像语义特征信息或者所述图像编码信息，并与所述语音编码信息一起发送，若否，则仅发送所述语音编码信息。

14.如权利要求11所述的视频通信装置，其特征在于，还包括加密模块，用于接收用户的控制操作，根据所述控制操作判断是否需要对用户的图像语义特征进行保密；若是，则触发所述处理模块对所述视频图像进行图像语义特征处理，隐藏或替换或模糊用户的图像语义特征，生成所述图像语义特征信息，发送所述图像语义特征信息及所述语音编码信息；若否，则触发所述处理模块对所述视频图像进行编码，获取图像编码信息，发送所述图像编码信息及所述语音编码信息。

15.如权利要求11至14任一项所述的视频通信装置，其特征在于，所述发送模块还用于将图像数据处理模式通过控制信息发送出去；所述图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

16.一种视频通信装置，其特征在于，包括：

接收模块，用于接收图像语义特征信息及语音编码信息；

还原模块，用于调用图像语义特征数据库，根据所述图像语义特征信息生成视频图像；所述图像语义特征数据库包括所述图像语义特征信息与视频图像碎片的映射关系；根据所述语音编码信息生成语音信号；

输出模块，用于输出所述视频图像及所述语音信号。

17.如权利要求16所述的视频通信装置，其特征在于，所述还原模块还用于接收并解析控制信息，获取图像数据处理模式；根据所述图像数据处理模式处理接收到的数据并输出；所述图像数据处理模式包括：基于图像语义特征处理，或者，基于图像编码处理，或者，基于语音分析处理。

18.如权利要求17所述的视频通信装置，其特征在于，若所述图像数据处理模式为基于语音分析处理，所述还原模块还用于对所述语音编码信息进行语义分析，转化为图像语义特征信息，并根据所述图像语义特征数据库生成视频图像。

19.如权利要求16至18任一项所述的视频通信装置，其特征在于，还包括训练模块，用于接收正常的视频数据，根据正常的视频数据建立所述图像语义特征数据库。

20.一种视频通信系统，其特征在于，包括：如权利要求11至15任一项所述的视频通信装置作为发送端，如权利要求16至19任一项所述的视频通信装置作为接收端；其中，

所述发送端用于采集视频图像及语音信号；对所述视频图像进行图像语义特征处理，获取图像语义特征信息；对所述语音信号进行编码，获取语音编码信息；发送所述图像语义特征信息及所述语音编码信息；

所述接收端用于接收图像语义特征信息及语音编码信息；调用图像语义特征数据库，根据所述图像语义特征信息生成视频图像；所述图像语义特征数据库包括所述图像语义特征信息与视频图像碎片的映射关系；根据所述语音编码 信息生成语音信号；输出所述视频图像及所述语音信号。