CN111405233B - 视频会议中的加密图形传输方法、装置、存储介质及系统 - Google Patents

Abstract

本申请涉及一种视频会议中的加密图形传输方法、装置、存储介质及系统，属于通信技术领域，该方法包括：采集当前视频会议场景的视频会议图像，并对视频会议图像进行识别；在识别出视频会议图像包括加密图形时，对加密图形进行解密得到加密图形对应的明文内容；将明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；将更新后的NAL码流发送至会议控制端，以使会议控制端在更新后的NAL码流中添加明文内容的辅助补充信息，得到处理后的NAL码流；并将处理后的NAL码流发送至视频会议中的各个数据接收端；可以避免加密图像在编解码过程中发生变化无法识别的问题；提高识别加密图形的成功率。

Description

视频会议中的加密图形传输方法、装置、存储介质及系统

技术领域

本申请涉及一种视频会议中的加密图形传输方法、装置、存储介质及系统，属于通信技术领域。

背景技术

二维码是指将信息转换为一张二维码图形进行加密的编码方式。通过使用移动终端中的摄像头对二维码图形进行识别解密，从而可以安全访问二维码图形指示的网站。二维码图形也可以用于视频会议场景中。比如：在视频会议中，参会一方展示二维码图形，供其他参会方扫码识别对应的内容。

在典型的二维码图形传输方式中，视频会议终端会将二维码图形与视频会议场景图像一起编码发送至其它视频会议终端。

但是，在视频会议中，二维码图形经过视频的编码或者转码之后，会产生二维码无法被识别的问题。

发明内容

本申请提供了一种视频会议中的加密图形传输方法、装置、存储介质及系统，可以避免加密图像在编解码过程中发生变化，导致加密图形无法识别的问题。本申请提供如下技术方案：

第一方面，提供了一种视频会议中的加密图形传输方法，用于数据发送端，所述方法包括：

采集当前视频会议场景的视频会议图像，并对所述视频会议图像进行识别；

在识别出所述视频会议图像包括加密图形时，对所述加密图形进行解密得到所述加密图形对应的明文内容；

将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；

将所述更新后的NAL码流发送至会议控制端，以使所述会议控制端在所述更新后的NAL码流中添加所述明文内容的辅助补充信息，得到处理后的NAL码流；并将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端。

可选地，所述将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流，包括：

基于H.264指示的用户自定义数据创建规则创建目标NAL单元，所述目标NAL单元包括所述明文内容；

将所述目标NAL单元插入所述NAL码流，得到所述更新后的NAL码流。

可选地，所述目标NAL单元还包括：

单元类型标识，用于指示所述目标NAL单元为用户自定义数据；

数据长度标识，用于指示所述目标NAL单元的载荷长度；

内容标识，用于标识所述明文内容；

数据串类型标识，用于指示所述目标NAL单元的数据串类型。

可选地，所述将所述目标NAL单元插入所述NAL码流，得到所述更新后的NAL码流，包括：

在所述目标NAL单元前端和/或后端添加分隔字符串，以使所述目标NAL单元与所述NAL码流中的其它NAL单元分隔。

可选地，所述方法还包括：

确定本地已存储明文内容是否与所述明文内容相匹配；

在所述本地已存储明文内容与所述明文内容不匹配时，触发执行所述将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流的步骤。

第二方面，提供了一种视频会议中的加密图形传输方法，用于会议控制端，所述方法包括：

获取所述视频会议中各个数据发送端发送的码流；

在所述码流为包括所述加密图形对应的明文内容的更新后的NAL码流时，在所述更新后的码流中添加辅助补充信息得到处理后的NAL码流；

将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端，以供所述数据接收端按照所述辅助补充信息显示所述加密图形；

其中，所述辅助补充信息用于指示所述加密图形在所述数据接收端的显示位置。

可选地，所述在所述更新后的码流中添加辅助补充信息，得到处理后的NAL码流，包括：

获取所述更新后的NAL码流中的目标NAL单元；

在所述目标NAL单元中添加所述辅助补充信息，得到所述处理后的NAL码流。

可选地，所述辅助补充信息包括所述更新后的NAL码流对应的画面合成通道标识，不同的数据发送终端对应不同的画面合成通道。

第三方面，提供了一种视频会议中的加密图形传输方法，用于数据接收端，所述方法包括：

接收会议控制端发送的码流；

在所述码流为处理后的NAL码流时，获取所述处理后的NAL码流中的明文内容和辅助补充信息；所述处理后的NAL码流是所述会议控制端对接收到的更新后的NAL码流添加所述辅助补充信息后得到的，所述更新后的NAL码流是数据发送端发送的包括对加密图形进行解码后得到的明文内容的NAL码流；

将所述明文内容转换成对应的加密图形；

按照所述辅助补充信息显示所述加密图形。

可选地，所述按照所述辅助补充信息显示所述加密图形，包括：

创建包括所述加密图形的图形显示窗口；

确定所述辅助补充信息指示的画面合成通道标识对应的画面合成通道；

基于所述画面合成通道对应的画面位置显示所述图形显示窗口。

可选地，所述方法还包括：

对于每个加密图形，输出所述加密图形的显示询问提示，所述显示询问提示用于询问用户是否显示所述加密图形；

在所述用户确认显示所述加密图形时，触发执行所述按照所述辅助补充信息显示所述加密图形的步骤。

第四方面，提供了一种视频会议中的加密图形传输装置，用于数据发送端，所述装置包括：

图像处理模块，用于采集当前视频会议场景的视频会议图像，并对所述视频会议图像进行识别；

图形解密模块，用于在识别出所述视频会议图像包括加密图形时，对所述加密图形进行解密得到所述加密图形对应的明文内容；

码流更新模块，用于将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；

码流发送模块，用于将所述更新后的NAL码流发送至会议控制端，以使所述会议控制端在所述更新后的NAL码流中添加所述明文内容的辅助补充信息，得到处理后的NAL码流；并将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端。

第五方面，提供了一种视频会议中的加密图形传输装置，用于会议控制端，所述装置包括：

码流获取模块，用于获取所述视频会议中各个数据发送端发送的码流；

码流更新模块，用于在所述码流为包括所述加密图形对应的明文内容的更新后的NAL码流时，在所述更新后的码流中添加辅助补充信息得到处理后的NAL码流；

码流发送模块，用于将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端，以供所述数据接收端按照所述辅助补充信息显示所述加密图形；

其中，所述辅助补充信息用于指示所述加密图形与所述数据接收端中显示画面的关系。

第六方面，提供了一种视频会议中的加密图形传输装置，用于数据接收端，所述装置包括：

码流接收模块，用于接收会议控制端发送的码流；

码流分析模块，用于在所述码流为处理后的NAL码流时，获取所述处理后的NAL码流中的明文内容和辅助补充信息；所述处理后的NAL码流是所述会议控制端对接收到的更新后的NAL码流添加所述辅助补充信息后得到的，所述更新后的NAL码流是数据发送端发送的包括所述明文内容的NAL码流；

图形生成模块，用于生成所述明文内容对应的加密图形；

图形显示模块，用于按照所述辅助补充信息显示所述加密图形。

第七方面，提供一种视频会议中的加密图形传输装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的视频会议中的加密图形传输方法；或者，实现第二方面所述的视频会议中的加密图形传输方法；或者，实现第三方面所述的视频会议中的加密图形传输方法。

第八方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的视频会议中的加密图形传输方法；或者，实现第二方面所述的视频会议中的加密图形传输方法；或者，实现第三方面所述的视频会议中的加密图形传输方法。

第九方面，提供一种视频会议中的加密图形传输系统，所述系统包括数据发送端、与所述数据发送端通信相连的会议控制端、和与所述会议控制端通信相连的数据接收端；

所述数据发送端，用于采集当前视频会议场景的视频会议图像，并对所述视频会议图像进行识别；在识别出所述视频会议图像包括加密图形时，对所述加密图形进行解密得到所述加密图形对应的明文内容；将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；将所述更新后的NAL码流发送至会议控制端；

所述会议控制端，用于获取所述视频会议中各个数据发送端发送的码流；在所述码流为包括所述加密图形对应的明文内容的更新后的NAL码流时，在所述更新后的码流中添加辅助补充信息得到处理后的NAL码流；将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端；其中，所述辅助补充信息用于指示所述加密图形与所述数据接收端中显示画面的关系；

所述数据接收端，用于接收会议控制端发送的码流；在所述码流为处理后的NAL码流时，获取所述处理后的NAL码流中的明文内容和辅助补充信息；将所述明文内容转换成对应的加密图形；按照所述辅助补充信息显示所述加密图形。

本申请的有益效果在于：通过采集当前视频会议场景的视频会议图像，并对视频会议图像进行识别；在识别出视频会议图像包括加密图形时，对加密图形进行解密得到加密图形对应的明文内容；将明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；将更新后的NAL码流发送至会议控制端，以使会议控制端在更新后的NAL码流中添加明文内容的辅助补充信息，得到处理后的NAL码流；并将处理后的NAL码流发送至视频会议中的各个数据接收端；可以避免加密图像在编解码过程中发生变化，导致加密图形无法识别的问题；由于在NAL码流中发送加密图形对应的明文内容，而不是单纯地将加密图形作为视频会议图像的一部分进行视频编码后在VCL层传输；数据接收端可以从NAL码流中解析出明文内容，并将该明文内容还原为加密图形内容显示，可以保证数据接收端显示的加密图形不产生形变，提高识别加密图形的成功率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的视频会议中的加密图形传输系统的结构示意图；

图2是本申请一个实施例提供的视频会议中的加密图形传输方法的流程图；

图3是本申请一个实施例提供的视频会议中的加密图形传输装置的框图；

图4是本申请一个实施例提供的视频会议中的加密图形传输装置的框图；

图5是本申请一个实施例提供的视频会议中的加密图形传输装置的框图；

图6是本申请一个实施例提供的视频会议中的加密图形传输装置的框图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

首先，对本申请涉及的若干名词进行介绍。

H.264：是国际标准化组织(ISO)和国际电信联盟(ITU)共同提出的数字视频压缩格式。H.264是ITU-T以H.26x系列为名称命名的视频编解码技术标准之一。

在H.264/AVC视频编码标准中，整个系统框架被分为了两个层面：视频编码层面(Video coding layer，VCL)和网络抽象层面(Network Abstract Layer，NAL)。其中，视频编码层面负责有效表示视频数据的内容，而网络抽象层面负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。通常每帧数据是指一个NAL单元(SPS与PPS除外)。在实际的H.264数据帧中，帧前面带有00000001或000001分隔符。

一个完整的H.264/AVC码流包括多个NAL单元(NAL-units)，通常H.264/AVC码流也称为NAL单元码流(NAL unit stream)。H.264标准中规范12种类型的NAL-unit，这些类型包括补充增强信息(Supplemental Enhancement Information，SEI)。SEI可以存放影片简介、版权宣告、用户自行定义的数据等。SEI提供了向视频码流中加入额外信息的方法，是H.264/H.265这些视频压缩标准的特性之一。

8位元：(Universal Character Set/Unicode Transformation Format，UTF-8)是针对Unicode的一种可变长度字符编码。它可以用来表示Unicode标准中的任何字符，而且其编码中的第一个字节仍与ASCII相容，使得原来处理ASCII字符的软件无须或只进行少部份修改后，便可继续使用。UTF-8是电子邮件、网页及其他存储或传送文字的应用中通常采用的编码。

图1是本申请一个实施例提供的视频会议中的加密图形传输系统的结构示意图，如图1所示，该系统至少包括：数据发送端110、数据接收端120和会议控制端130。

数据发送端110和数据接收端120为支持视频会议的设备。可选地，数据发送端110和数据接收端120为视频会议终端、手机、计算机、平板电脑等，本实施例不对数据发送端110和数据接收端120的类型作限定。

会议控制端130用于对视频会议进行控制。比如：控制视频会议开启、数据发送端110和数据接收端120的接入、控制视频会议结束等。可选地，会议控制端130为安装有多点控制单元(Multi Control Unit，MCU)的设备。

本实施例中，会议控制端130将数据发送端110和数据接收端120呼入视频会议，在该视频会议中，发送数据参会设备称为数据发送端110、接收数据的参会设备称为数据接收端120。

其中，数据包括视频会议相关数据，该数据包括加密图形和/或加密图形对应的明文内容。加密图形是指对明文内容(比如：网址、虚拟形象等)进行图形编码得到的图形。加密图形可以是二维码，当然，也可以是其它基于同一原理实现的图形，本实施例不对加密图形的类型作限定。

本申请中，数据发送端110用于采集当前视频会议场景的视频会议图像，并对视频会议图像进行识别；在识别出视频会议图像包括加密图形时，对加密图形进行解密得到加密图形对应的明文内容；将明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；将更新后的NAL码流发送至会议控制端130。

相应地，会议控制端130用于获取视频会议中各个数据发送端110发送的码流；在码流为包括加密图形对应的明文内容的更新后的NAL码流时，在更新后的码流中添加辅助补充信息，得到处理后的NAL码流；将处理后的NAL码流发送至视频会议中的各个数据接收端120。

其中，辅助补充信息用于指示加密图形与数据接收端中显示画面的关系，比如：显示位置关系。

相应地，数据接收端120用于接收会议控制端120发送的码流；在码流为处理后的NAL码流时，获取处理后的NAL码流中的明文内容和辅助补充信息；处理后的NAL码流是会议控制端对接收到的更新后的NAL码流添加辅助补充信息后得到的，更新后的NAL码流是数据发送端发送的包括明文内容的NAL码流；生成明文内容对应的加密图形；按照辅助补充信息显示加密图形。

本申请中，通过在NAL码流中发送加密图形对应的明文内容，而不是单纯地将加密图形作为视频会议图像的一部分进行视频编码后在VCL层传输，可以避免加密图像在编解码过程中发生变化，导致加密图形无法识别的问题；由于数据接收端120可以从NAL码流中解析出明文内容，并将该明文内容还原为加密图形内容显示，可以保证数据接收端120显示的加密图形不产生形变，提高识别加密图形的成功率。

需要补充说明的是，本实施例中以数据发送端110和数据接收端120的数量分别为一个为例进行说明，在实际实现时，数据发送端110的数量可以为多个，数据接收端120的数量也可以为多个，本实施例不对数据发送端110和数据接收端120的数量作限定。

图2是本申请一个实施例提供的视频会议中的加密图形传输方法的流程图，本实施例以该方法应用于图1所示的视频会议中的加密图形传输系统中为例进行说明。该方法至少包括以下几个步骤：

步骤201，数据发送端采集当前视频会议场景的视频会议图像，并对视频会议图像进行识别。

数据发送端调用图像采集组件(比如摄像头)采集图像，得到当前视频会议场景的视频会议图像。

在采集到视频会议图像后，数据发送端使用图像识别算法对该视频会议图像进行识别，以确定该视频会议图像是否包括加密图形。

可选地，图像识别算法包括：局部特征点检测算法、斑点检测算法、或者角点检测算法等，本实施例不对图像识别算法的类型作限定。

可选地，在图像识别结果为视频会议图像包括加密图形时，执行步骤202；在图像识别结果为视频会议图像未包括加密图形时，数据发送端执行正常的视频图像发送过程，流程结束。

步骤202，数据发送端在识别出视频会议图像包括加密图形时，对加密图形进行解密得到加密图形对应的明文内容。

可选地，数据发送端安装有图形解码器(比如：二维码解码器)，通过调用该图形解码器可以将加密图形解码为对应的明文内容。

比如：视频会议图像中的二维码进行解密得到对应的字符串(即明文内容)：www.11111.com/cn/。

由于数据发送端得到的明文内容可能其它参会终端已预先发送，因此，为了避免重复发送相同的明文内容，数据发送端在得到加密图形对应的明文内容之后，还可以确定本地已存储明文内容是否与明文内容相匹配；在本地已存储明文内容与明文内容不匹配时，执行步骤203；在本地已存储明文内容与明文内容匹配时，流程结束。

步骤203，数据发送端将明文内容添加至基于H.264编码的NAL码流中，得到更新后的NAL码流。

本实施例中，通过将明文内容添加至NAL码流中，而不是通过VCL码流传输，该NAL码流可以传输用户自定义信息，可以避免视频编解码过程导致加密图形发生形变的问题，提高加密图形在数据接收端的识别成功率。

可选地，基于H.264指示的用户自定义数据创建规则创建目标NAL单元，目标NAL单元包括明文内容；将目标NAL单元插入NAL码流，得到更新后的NAL码流。

可选地，在创建目标NAL单元时可以对明文内容进行编码，得到编码数据；或者，将明文内容本身写入目标NAL单元。在对明文内容进行编码时，可以使用UTF-8方式进行编码，当然，也可以使用其它方式进行编码，本实施例不对明文内容的编码方式作限定。

基于H.264，目标NAL单元至少还包括以下几种内容：

1、单元类型标识，用于指示目标NAL单元为用户自定义数据。

示意性地，单元类型标识包括两个部分：第一部分为单元整体标识(NAL header)，用于标识目标NAL为SEI，单元整体标识通常作为目标NAL单元的头部信息。比如：单元整体标识为0x06。第二部分为单元数据标识(SEI payload type)，用于标识目标NAL单元中的载荷为用户自定义的，即，载荷遵循user_data_unregistered()语法。比如：单元数据标识为0x05。

2、数据长度标识，用于指示目标NAL单元的载荷长度。

数据长度标识(SEI payload size)的值基于明文内容的长度确定。示意性地，数据长度标识的值为明文内容的长度加上预设数值。数据长度标识的表示方式遵循SEImessage()语法。

3、内容标识，用于标识明文内容。

内容标识(uuid_iso_iec_1157)的长度为预设数值。示意性地，预设数值为16个字节，内容标识的前6个字节表示数据发送端的IP地址和端口号；7-8个字节表示数据用途；最后8个字节为辅助补充信息。辅助补充信息包括但不限于：期望显示位置、显示方式等用户自定义信息，本实施例不对辅助补充信息的内容作限定。

基于H.264，内容标识的表示遵循ISO/IEC 11578:1996Annex A，不可出现0x000000/0x000001/0x000002，使用时各字节避免使用0x00。

4、数据串类型标识，用于指示目标NAL单元的数据串类型。

本实施例中，数据串类型标识(rbsp trailing bits)用于指示目标NAL单元的数据串类型全为整字节型，相应地，数据串类型标识为0x08。

为了更清楚地理解本申请提供的目标NAL单元的创建方法，下面对目标NAL单元的创建过程举一个实例进行说明。

假设加密图形对应的明文内容为www.kedacom.com/cn/；对该明文内容以UTF-8形式进行编码后得到的编码数据为：

0x7777772e6b656461636f6d2e636f6d2f636e2f。

目标NAL单元中从前至后的数据内容依次为：NAL header为0x06；SEI payloadtype为0x05；SEI payload size为19(编码数据长度)+16(预设数值)+1(字符串结尾)＝36，即为0x24；uuid_iso_iec_1157依据之前所述规则，记为0xAC10488A1B5901FFFFFFFFFFFFFFFF，标明数据发送端的ip地址为172.16.72.138，端口为7001，数据用途为0x01(本实施例中假定数据用途01为传递明文内容，在其它实施例中，也可以通过其它字符表示传递明文内容的数据用途)；明文内容的编码数据；字符串结尾标识0x00；rbsp trailing bits为0x80。最终得到的目标NAL单元为：

060524AC10488A1B5901FFFFFFFFFFFFFFFF7777772e6b656461636f6d2e636f6d2f636e2f0080。

为了将目标NAL单元与NAL码流中的其它NAL单元分隔，在将目标NAL单元插入NAL码流时，需要在目标NAL单元前端和/或后端添加分隔字符串，以使目标NAL单元与NAL码流中的其它NAL单元分隔。

假设目标NAL单元为：

060524AC10488A1B5901FFFFFFFFFFFFFFFF7777772e6b656461636f6d2e636f6d2f636e2f0080；则在该目标NAL单元前端添加分隔字符串后得到的数据为：

000001060524AC10488A1B5901FFFFFFFFFFFFFFFF7777772e6b656461636f6d2e636f6d2f636e2f0080。其中，前端的000001为分隔字符串。此时，将加入分隔字符串额目标NAL单元插入NAL码流，即可得到更新后的NAL码流。

步骤204，数据发送端将更新后的NAL码流发送至会议控制端，以使会议控制端在更新后的NAL码流中添加明文内容的辅助补充信息，得到处理后的NAL码流。

步骤205，会议控制端获取视频会议中各个数据发送端发送的码流。

步骤206，会议控制端在码流为包括加密图形对应的明文内容的更新后的NAL码流时，在更新后的码流中添加辅助补充信息得到处理后的NAL码流。

会议控制端在接收到多个数据发送端发送的码流后，会将各个码流对应的视频会议图像融合为一副图像发送至数据接收端，此时，需要建立更新后的NAL码流中的明文内容与对应的视频会议图像之间的关系。即，在更新后的NAL码流中添加辅助补充信息得到处理后的NAL码流。

其中，辅助补充信息用于指示加密图形与数据接收端中显示画面的关系，比如：与显示画面之间的显示位置关系、或者显示方式等。可选地，辅助补充信息包括更新后的NAL码流对应的画面合成通道标识，不同的数据发送终端对应不同的画面合成通道。

比如：视频会议包括9个参会终端，每个参会终端对应一个画面合成通道，得到9个画面合成通道，每个画面合成通道在数据接收端的对应位置显示，得到9个显示位置；通过在处理后的NAL码流中添加明文内容对应的画面合成通道标识，可以供数据接收端确定明文内容的显示位置。

可选地，辅助补充信息还可以包括其它信息，比如：展示方式等，本实施例不对辅助补充信息的内容作限定。

在更新后的码流中添加辅助补充信息得到处理后的NAL码流，包括：获取更新后的NAL码流中的目标NAL单元；在目标NAL单元中添加辅助补充信息，得到处理后的NAL码流。

比如：会议控制端解析更新后的NAL码流中SEI字段的uuid_iso_iec_1157；通过uuid_iso_iec_1157分析数据用途，如果数据用途为传递明文内容，再分析辅助补充信息；如果辅助补充信息为空，则会议控制端在辅助补充信息的位置添加辅助补充信息；如果辅助补充信息不为空，则在已存在的辅助补充信息之后加入辅助补充信息。可选地，辅助补充信息为4个字节，该辅助补充信息使得数据接收端能将明文内容与实际呈现画面相联系。如果会议控制端接受的是经过其它会议控制端处理的非原始码流(即其它会议控制端转发的码流)，则辅助补充信息呈现2次结构，数据接收端也能确定明文内容与实际视频画面的联系。

需要补充说明的是，本申请中码流的更新(比如：SEI中添加辅助补充信息)均在编码之后进行，即得到NAL码流之后执行。

步骤207，会议控制端将处理后的NAL码流发送至视频会议中的各个数据接收端，以供数据接收端按照辅助补充信息显示加密图形。

步骤208，数据接收端接收会议控制端发送的码流。

步骤209，在码流为处理后的NAL码流时，数据接收端获取处理后的NAL码流中的明文内容和辅助补充信息。

其中，处理后的NAL码流是会议控制端对接收到的更新后的NAL码流添加辅助补充信息后得到的，更新后的NAL码流是数据发送端发送的包括明文内容的NAL码流。

数据接收端接收码流，分析各个NAL单元的类型，得到目标NAL单元。然后，解析SEI段中的辅助补充信息uuid_iso_iec_1157，分析该SEI段的数据用途；如果数据用途为传递明文内容，再分析辅助补充信息以确认收到的明文内容与实际解码图像内容的对应关系。

数据接收端接收到明文内容后，将该明文内容存储在本地。

步骤210，数据接收端生成明文内容对应的加密图形。

步骤211，数据接收端按照辅助补充信息显示加密图形。

数据接收端创建包括加密图形的图形显示窗口；确定辅助补充信息指示的画面合成通道标识对应的画面合成通道；基于画面合成通道对应的画面位置显示图形显示窗口。

画面合成通道对应的画面位置为发送明文内容的数据发送端在视频画面中的显示位置。

可选地，图形显示窗口可以位于画面合成通道的位置的左下角、右上角等，本实施例不对图形显示窗口在画面合成通道指示的视频画面中的位置作限定。

可选地，对于每个加密图形，输出加密图形的显示询问提示，显示询问提示用于询问用户是否显示加密图形；在用户确认显示加密图形时再执行步骤211；在用户确认不显示加密图形时，不执行按照辅助补充信息显示加密图形的步骤，流程结束。

综上所述，本实施例提供的视频会议中的加密图形传输方法，通过采集当前视频会议场景的视频会议图像，并对视频会议图像进行识别；在识别出视频会议图像包括加密图形时，对加密图形进行解密得到加密图形对应的明文内容；将明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；将更新后的NAL码流发送至会议控制端，以使会议控制端在更新后的NAL码流中添加明文内容的辅助补充信息，得到处理后的NAL码流；并将处理后的NAL码流发送至视频会议中的各个数据接收端；可以避免加密图像在编解码过程中发生变化，导致加密图形无法识别的问题；由于在NAL码流中发送加密图形对应的明文内容，而不是单纯地将加密图形作为视频会议图像的一部分进行视频编码后在VCL层传输；数据接收端可以从NAL码流中解析出明文内容，并将该明文内容还原为加密图形内容显示，可以保证数据接收端显示的加密图形不产生形变，提高识别加密图形的成功率。

另外，本申请提供的加密图形传输方法不需要额外增加设备，可以降低视频会议系统的结构复杂度。

另外，本申请提供的加密图形传输方法不需要提高网络带宽即可保证加密图形传递正常。

另外，本申请提供的加密图形传输方法对现有硬件和编解码器都无需求，不要求对编解码器作任何改动。

另外，本申请提供的加密图形传输方法中，加密图形与对应的视频会议图像结合，关联度高。

可选地，步骤201-204可单独实现为数据发送端侧的方法实施例；步骤205-207可单独实现为会议控制端侧的方法实施例；步骤208-211可单独实现为数据接收端侧的方法实施例。

图3是本申请一个实施例提供的视频会议中的加密图形传输装置的框图，本实施例以该装置应用于图1所示的视频会议中的加密图形传输系统中的数据发送端110为例进行说明。该装置至少包括以下几个模块：图像处理模块310、图形解密模块320、码流更新模块330和码流发送模块340。

图像处理模块310，用于采集当前视频会议场景的视频会议图像，并对所述视频会议图像进行识别；

图形解密模块320，用于在识别出所述视频会议图像包括加密图形时，对所述加密图形进行解密得到所述加密图形对应的明文内容；

码流更新模块330，用于将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；

码流发送模块340，用于将所述更新后的NAL码流发送至会议控制端，以使所述会议控制端在所述更新后的NAL码流中添加所述明文内容的辅助补充信息，得到处理后的NAL码流；并将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端。

可选地，所述码流更新模块330，包括：数据创建单元331和数据插入单元332。

数据创建单元331，用于基于H.264指示的用户自定义数据创建规则创建目标NAL单元，所述目标NAL单元包括所述明文内容；

数据插入单元332，用于将所述目标NAL单元插入所述NAL码流，得到所述更新后的NAL码流。

可选地，所述目标NAL单元还包括：

单元类型标识，用于指示所述目标NAL单元为用户自定义数据；

数据长度标识，用于指示所述目标NAL单元的载荷长度；

内容标识，用于标识所述明文内容；

数据串类型标识，用于指示所述目标NAL单元的数据串类型。

可选地，所述数据插入单元332，用于：

在所述目标NAL单元前端和/或后端添加分隔字符串，以使所述目标NAL单元与所述NAL码流中的其它NAL单元分隔。

可选地，所述装置还包括：内容匹配模块350。

内容匹配模块350，用于确定本地已存储明文内容是否与所述明文内容相匹配；

所述码流更新模块330，还用于在所述本地已存储明文内容与所述明文内容不匹配时，执行所述将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流的步骤。

相关细节参考上述方法实施例。

图4是本申请一个实施例提供的视频会议中的加密图形传输装置的框图，本实施例以该装置应用于图1所示的视频会议中的加密图形传输系统中的会议控制端130为例进行说明。该装置至少包括以下几个模块：码流获取模块410、码流更新模块420和码流发送模块430。

码流获取模块410，用于获取所述视频会议中各个数据发送端发送的码流；

码流更新模块420，用于在所述码流为包括所述加密图形对应的明文内容的更新后的NAL码流时，在所述更新后的码流中添加辅助补充信息得到处理后的NAL码流；

码流发送模块430，用于将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端，以供所述数据接收端按照所述辅助补充信息显示所述加密图形；

其中，所述辅助补充信息用于指示所述加密图形在所述数据接收端的显示位置。

可选地，所述码流更新模块420，包括：数据获取单元421和信息添加单元422。

数据获取单元421，用于获取所述更新后的NAL码流中的目标NAL单元；

信息添加单元422，用于在所述目标NAL单元中添加所述辅助补充信息，得到所述处理后的NAL码流。

可选地，所述辅助补充信息包括所述更新后的NAL码流对应的画面合成通道标识，不同的数据发送终端对应不同的画面合成通道。

相关细节参考上述方法实施例。

图5是本申请一个实施例提供的视频会议中的加密图形传输装置的框图，本实施例以该装置应用于图1所示的视频会议中的加密图形传输系统中的数据接收端120为例进行说明。该装置至少包括以下几个模块：码流接收模块510、码流分析模块520、图形生成模块530和图形显示模块540。

码流接收模块510，用于接收会议控制端发送的码流；

码流分析模块520，用于在所述码流为处理后的NAL码流时，获取所述处理后的NAL码流中的明文内容和辅助补充信息；所述处理后的NAL码流是所述会议控制端对接收到的更新后的NAL码流添加所述辅助补充信息后得到的，所述更新后的NAL码流是数据发送端发送的包括所述明文内容的NAL码流；

图形生成模块530，用于生成所述明文内容对应的加密图形；

图形显示模块540，用于按照所述辅助补充信息显示所述加密图形。

可选地，图形显示模块540，包括：窗口创建单元541、通道确定单元542和图形显示单元543。

窗口创建单元541，用于创建包括所述加密图形的图形显示窗口；

通道确定单元542，用于确定所述辅助补充信息指示的画面合成通道标识对应的画面合成通道；

图形显示单元543，用于基于所述画面合成通道对应的画面位置显示所述图形显示窗口。

可选地，所述装置还包括：提示输出模块550。

提示输出模块550，用于对于每个加密图形，输出所述加密图形的显示询问提示，所述显示询问提示用于询问用户是否显示所述加密图形；

所述图形显示模块540，还用于在所述用户确认显示所述加密图形时，执行所述按照所述辅助补充信息显示所述加密图形的步骤。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的视频会议中的加密图形传输装置在进行视频会议中的加密图形传输时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将视频会议中的加密图形传输装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频会议中的加密图形传输装置与视频会议中的加密图形传输方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本申请一个实施例提供的视频会议中的加密图形传输装置的框图，该装置可以是图1所示的视频会议中的加密图形传输系统中的数据发送端110、或者是数据接收端120、或者是会议控制端130。该装置至少包括处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如：4核心处理器、6核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的视频会议中的加密图形传输方法。

在一些实施例中，视频会议中的加密图形传输装置还可选包括有：外围设备接口和至少一个外围设备。处理器601、存储器602和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，视频会议中的加密图形传输装置还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的视频会议中的加密图形传输方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的视频会议中的加密图形传输方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种视频会议中的加密图形传输方法，其特征在于，用于数据发送端，所述方法包括：

采集当前视频会议场景的视频会议图像，并对所述视频会议图像进行识别；

在识别出所述视频会议图像包括加密图形时，对所述加密图形进行解密得到所述加密图形对应的明文内容；

将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；

将所述更新后的NAL码流发送至会议控制端，以使所述会议控制端在所述更新后的NAL码流中添加所述明文内容的辅助补充信息，得到处理后的NAL码流，并将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端；

其中，所述辅助补充信息用于指示所述加密图形与所述数据接收端中显示画面的关系。

2.根据权利要求1所述的方法，其特征在于，所述将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流，包括：

基于H.264指示的用户自定义数据创建规则创建目标NAL单元，所述目标NAL单元包括所述明文内容；

将所述目标NAL单元插入所述NAL码流，得到所述更新后的NAL码流。

3.根据权利要求2所述的方法，其特征在于，所述目标NAL单元还包括：

单元类型标识，用于指示所述目标NAL单元为用户自定义数据；

数据长度标识，用于指示所述目标NAL单元的载荷长度；

内容标识，用于标识所述明文内容；

数据串类型标识，用于指示所述目标NAL单元的数据串类型。

4.根据权利要求2所述的方法，其特征在于，所述将所述目标NAL单元插入所述NAL码流，得到所述更新后的NAL码流，包括：

在所述目标NAL单元前端和/或后端添加分隔字符串，以使所述目标NAL单元与所述NAL码流中的其它NAL单元分隔。

5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

确定本地已存储明文内容是否与所述明文内容相匹配；

在所述本地已存储明文内容与所述明文内容不匹配时，触发执行所述将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流的步骤。

6.一种视频会议中的加密图形传输方法，其特征在于，用于会议控制端，所述方法包括：

获取所述视频会议中各个数据发送端发送的码流；

在所述码流为包括所述加密图形对应的明文内容的更新后的NAL码流时，在所述更新后的NAL码流中添加辅助补充信息得到处理后的NAL码流，其中，所述更新后的NAL码流为将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中得到的；

将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端，以供所述数据接收端按照所述辅助补充信息显示所述加密图形；

其中，所述辅助补充信息用于指示所述加密图形与所述数据接收端中显示画面的关系。

7.根据权利要求6所述的方法，其特征在于，所述在所述更新后的NAL码流中添加辅助补充信息，得到处理后的NAL码流，包括：

获取所述更新后的NAL码流中的目标NAL单元；

在所述目标NAL单元中添加所述辅助补充信息，得到所述处理后的NAL码流。

8.根据权利要求7所述的方法，其特征在于，所述辅助补充信息包括所述更新后的NAL码流对应的画面合成通道标识，不同的数据发送终端对应不同的画面合成通道。

9.一种视频会议中的加密图形传输方法，其特征在于，用于数据接收端，所述方法包括：

接收会议控制端发送的码流；

在所述码流为处理后的NAL码流时，获取所述处理后的NAL码流中的明文内容和辅助补充信息；所述处理后的NAL码流是所述会议控制端对接收到的更新后的NAL码流添加所述辅助补充信息后得到的，所述更新后的NAL码流是数据发送端发送的包括对加密图形进行解码后得到的明文内容的NAL码流；

将所述明文内容转换成对应的加密图形；

按照所述辅助补充信息显示所述加密图形。

10.根据权利要求9所述的方法，其特征在于，所述按照所述辅助补充信息显示所述加密图形，包括：

创建包括所述加密图形的图形显示窗口；

确定所述辅助补充信息指示的画面合成通道标识对应的画面合成通道；

基于所述画面合成通道对应的画面位置显示所述图形显示窗口。

11.一种视频会议中的加密图形传输装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至5任一项所述的视频会议中的加密图形传输方法；或者，实现如权利要求6至8任一项所述的视频会议中的加密图形传输方法；或者，实现如权利要求9或10所述的视频会议中的加密图形传输方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至5任一项所述的视频会议中的加密图形传输方法；或者，实现如权利要求6至8任一项所述的视频会议中的加密图形传输方法；或者，实现如权利要求9或10所述的视频会议中的加密图形传输方法。

13.一种视频会议中的加密图形传输系统，其特征在于，所述系统包括数据发送端、与所述数据发送端通信相连的会议控制端、和与所述会议控制端通信相连的数据接收端；

所述数据发送端，用于采集当前视频会议场景的视频会议图像，并对所述视频会议图像进行识别；在识别出所述视频会议图像包括加密图形时，对所述加密图形进行解密得到所述加密图形对应的明文内容；将所述明文内容添加至基于H.264编码的网络抽象层NAL码流中，得到更新后的NAL码流；将所述更新后的NAL码流发送至会议控制端；

所述会议控制端，用于获取所述视频会议中各个数据发送端发送的码流；在所述码流为包括所述加密图形对应的明文内容的更新后的NAL码流时，在所述更新后的码流中添加辅助补充信息得到处理后的NAL码流；将所述处理后的NAL码流发送至所述视频会议中的各个数据接收端；其中，所述辅助补充信息用于指示所述加密图形与所述数据接收端中显示画面的关系；

所述数据接收端，用于接收会议控制端发送的码流；在所述码流为处理后的NAL码流时，获取所述处理后的NAL码流中的明文内容和辅助补充信息；将所述明文内容转换成对应的加密图形；按照所述辅助补充信息显示所述加密图形。

Images