CN110139062A - 一种视频会议记录的创建方法、装置及终端设备 - Google Patents

Abstract

本发明提供了一种视频会议记录的创建方法、装置及终端设备，适用于数据处理技术领域，该方法包括：基于特征识别结果建立用户对象对应的会议角色；确定音频拾取器的唯一标识符；获取会场位置相同的音频拾取器以及用户对象，将该用户对象与该音频拾取器的唯一标识符绑定；在视频会议事件被触发时，接收音频拾取器上传的携带有唯一标识符的音频数据，并将音频数据转换为文本信息；根据音频数据所携带的唯一标识符，确定与文本信息对应的用户对象以及会议角色，以在终端显示界面输出视频会议记录。本发明中，用户无需手工进行会议记录，无须根据个人主观判断来确定会议发言人所演讲的内容，故提高了会议信息记录的效率以及准确率。

Description

一种视频会议记录的创建方法、装置及终端设备

技术领域

本发明属于数据处理技术领域，尤其涉及一种视频会议记录的创建方法、装置、终端设备及计算机可读存储介质。

背景技术

近年来，我国视频会议系统市场规模逐年扩大，视频会议系统的使用已向各行各业渗透。视频会议是指，两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，实现即时互动的远程会议。

一般来说，视频会议的过程中会存在有多个发言人员。对于视频对端的与会人员或者会议记录员来说，由于视频画面的局限性，其只能根据摄像头的扫描范围，自行确定当前时刻哪个人员正在发表言论，从而再基于自己的主观判断来执行会议纪要的记录操作。然而，人工判断的方式容易出现误判的情况，因而现有的视频会议记录方式存在准确性较为低下的问题。

发明内容

有鉴于此，本发明实施例提供了一种视频会议记录的创建方法、装置、终端设备及计算机可读存储介质，以解决现有的视频会议记录方式所存在的准确性较为低下的问题。

本发明实施例的第一方面提供了一种视频会议记录的创建方法，包括：

加载预设的会议进度控制表，所述会议进度控制表用于记录各个时刻待发言的用户对象、所述用户对象的会场位置以及演讲范本信息；

对所述演讲范本信息进行角色特征检测，并基于特征识别结果建立所述用户对象对应的所述会议角色；

对已连接的每一音频拾取器，将该音频拾取器的参数信息输入预定算术函数，并将函数输出值确定为所述音频拾取器的唯一标识符；

获取会场位置相同的所述音频拾取器以及所述用户对象，将该用户对象与该音频拾取器的所述唯一标识符进行绑定；

在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并将所述音频数据转换为文本信息；

根据所述音频数据所携带的所述唯一标识符，确定与所述文本信息对应的所述用户对象以及所述会议角色，以在终端显示界面输出视频会议记录；所述视频会议记录包含关于所述用户对象以及所述会议角色的所述文本信息。

本发明实施例的第二方面提供了一种视频会议记录的创建装置，包括：

加载单元，用于加载预设的会议进度控制表，所述会议进度控制表用于记录各个时刻待发言的用户对象、所述用户对象的会场位置以及演讲范本信息；

检测单元，用于对所述演讲范本信息进行角色特征检测，并基于特征识别结果建立所述用户对象对应的所述会议角色；

确定单元，用于对已连接的每一音频拾取器，将该音频拾取器的参数信息输入预定算术函数，并将函数输出值确定为所述音频拾取器的唯一标识符；

绑定单元，用于获取会场位置相同的所述音频拾取器以及所述用户对象，将该用户对象与该音频拾取器的所述唯一标识符进行绑定；

转换单元，用于在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并将所述音频数据转换为文本信息；

输出单元，用于根据所述音频数据所携带的所述唯一标识符，确定与所述文本信息对应的所述用户对象以及所述会议角色，以在终端显示界面输出视频会议记录；所述视频会议记录包含关于所述用户对象以及所述会议角色的所述文本信息。

本发明实施例的第三方面提供了一种终端设备，包括存储器以及处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述视频会议记录的创建方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现如上述视频会议记录的创建方法的步骤。

本发明实施例中，通过获取各个音频拾取器的参数信息，根据参数信息来为各个音频拾取器创建唯一标识符，保证了在会议发言人利用音频拾取器发出音频数据时，系统能够接收到携带该唯一标识符的音频数据，从而根据唯一标识符所预先绑定的用户对象以及会议角色，自动确定音频数据的来源用户信息；通过将音频数据解析转换为文本信息，并在终端显示界面输出包含用户对象以及会议角色的文本信息，保证了用户根据界面所展示的内容，能够直观地查看并阅读各个与会人员所发表的内容。整个视频会议过程中，由于用户无需再手工进行会议记录，也无须根据个人的主观判断来确定会议发言人所演讲的内容，因此，提高了会议信息记录的准确率以及记录效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的视频会议记录的创建方法的实现流程示意图；

图2是本发明另一实施例提供的视频会议记录的创建方法的实现流程示意图；

图3是本发明实施例提供的视频会议记录的创建方法S105的具体实现流程图；

图4是本发明又一实施例提供的视频会议记录的创建方法S105的具体实现流程图；

图5是本发明再一实施例提供的视频会议记录的创建方法的实现流程示意图；

图6是本发明实施例提供的视频会议记录的创建装置的结构框图；

图7是本发明实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解的是，虽然术语“第一”、“第二”等在文本中在一些本发明实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一编码可以被命名为第二编码，并且类似地，第二编码可以被命名为第一编码，而不背离各种所描述的实施例的范围。第一编码和第二编码都是编码，但是它们不是同一类型的编码。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的视频会议记录的创建方法的实现流程图，详述如下：

S101：加载预设的会议进度控制表，所述会议进度控制表用于记录各个时刻待发言的用户对象、所述用户对象的会场位置以及演讲范本信息。

在远程视频会议中，参会人员所匹配的角色为上述会议角色。会议角色包括但不限于主持人、嘉宾、获奖者、颁奖者以及群众代表等。用户对象为与会人员的具体标识，例如可以是参会人员的姓名、员工编号、岗位职称以及包含上述各类标识的组合值等。

本发明实施例中，为了准备把控视频会议的进度，使得各项会议进程能够有序进行，在视频会议事件被触发之前，接收并存储视频会议管理员录入的会议进度控制表。会议进度控制表中包含有各个时刻与用户对象的对应关系，以表示在该时刻到达时，哪一用户对象即将需要进行会议发言；同时，会议进度控制表还用于记录各个用户对象在会议现场的会场位置以及演讲范本信息。演讲范本信息表示该用户对象的计划发言内容，包括但不限于演讲草稿文本、演讲内容提纲以及演讲内容参考示例等。

S102：对所述演讲范本信息进行角色特征检测，并基于特征识别结果建立所述用户对象对应的所述会议角色。

本发明实施例中，通过预设算法对每一用户对象的演讲范本信息进行角色特征检测处理，以确定出与其演讲范本信息匹配的会议角色。

例如，若演讲范本信息中包含用于介绍会议主题以及介绍与会人员的语句，则确定该用户对象对应的会议角色为主持人；若演讲范本信息中包含奖项致谢词相关的特征术语，则确定该用户对象对应的会议角色为获奖者。

可选地，在建立各个用户对象所对应的会议角色时，还可以通过调用活动目录(Active Directory，AD)域服务器所提供的对接接口，加载包含企业内部各个用户对象的用户对象列表。根据视频会议管理员在视频会议管理界面所发出的角色分配指令，确定每一个会议角色对应的用户对象。其中，每一会议角色所对应的用户对象可以为一个，也可以为多个。

示例性地，若在一视频会议中，王晓明需要担任会议主持，则在用户对象列表中，查找出“王晓明”这一用户对象，并将其会议角色这一属性确定为“主持人”。

S103：对已连接的每一音频拾取器，将该音频拾取器的参数信息输入预定算术函数，并将函数输出值确定为所述音频拾取器的唯一标识符。

本发明实施例中，音频拾取器用于采集声音信号。音频拾取器包括但不限于手持麦克风以及耳机话筒等。其中，每一音频拾取器具有用于标识其设备的参数信息，包括各类软件信息和/或硬件信息。例如，上述参数信息可以是媒体访问控制地址(Media AccessControl Address，MAC)地址、设备序列号以及IP地址等。

本发明实施例中，检测当前处于有线连接状态或无线连接状态的各个音频拾取器。对于每一音频拾取器，根据其参数信息，分别创建关于该音频拾取器的唯一标识符。通过上述唯一标识符，对各个音频拾取器进行区分及唯一标识。其中，音频拾取器的参数信息可以包括其会场位置。

优选地，将音频拾取器的参数信息直接输出为其唯一标识符。

优选地，上述唯一标识符的获取方式包括：将音频拾取器的参数信息输入预设算法，并将输出得到的运算值确定为关于该音频拾取器的唯一标识符。上述预设算法为一致性校验算法，如信息-摘要算法5(Message-Digest Algorithm 5，MD5)、安全散列算法(Secure Hash Algorithm，SHA)以及循环冗余校验(Cyclic Redundancy Check，CRC)等算法。

将创建完成后的各个唯一标识符展示于用户对象的信息配置选项表中。

S104：获取会场位置相同的所述音频拾取器以及所述用户对象，将该用户对象与该音频拾取器的所述唯一标识符进行绑定。

本发明实施例中，若音频拾取器的会场位置与任一用户对象的会场位置相同，则将该用户对象与该音频拾取器的唯一标识符进行绑定。其中，用户对象所绑定的唯一标识符用于标记该用户对象在会议现场将被分配使用的音频拾取器。

可选地，对于会议角色所对应的每一个用户对象，发出信息配置提示信息，以用于提示视频会议管理员在该用户对象的信息配置选项表中，为该用户对象选取并绑定音频拾取器的唯一标识符。

例如，若用户对象“小明”在视频会议过程中被分配使用的麦克风为“micro1”，则在用户对象“小明”所匹配的信息配置选项表中，选取并绑定“micro1”这个唯一标识符。

优选地，用户对象所分配绑定的唯一标识符可以为一个以上。

S105：在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并将所述音频数据转换为文本信息。

在接收到视频会议启动指令时，根据预设的视频会议配置参数，连接参与视频会议的各个会场的终端设备。向检测到的各个会场的音频拾取器发出启动指令，以使音频拾取器将其采集到的音频数据进行回传。其中，音频拾取器在回传音频数据之前，读取本地预存储的唯一标识符。通过将该唯一标识符封装至其采集到的音频数据的报头后，再将封装完成的音频数据进行回传。

本发明实施例中，对接收到的每一音频拾取器所上传的音频数据进行解析处理，以获取其携带的唯一标识符。与此同时，通过预设的语音识别算法，将该路音频数据转换为对应的文本信息。

S106：根据所述音频数据所携带的所述唯一标识符，确定与所述文本信息对应的所述用户对象以及所述会议角色，以在终端显示界面输出视频会议记录；所述视频会议记录包含关于所述用户对象以及所述会议角色的所述文本信息。

对当前解析得到的唯一标识符，获取绑定该唯一标识符的用户对象，并根据预先设置的用户对象以及会议角色的对应关系，确定该唯一标识符关联的会议角色。

在终端显示界面中，创建一群聊对象，并展示该群聊对象的对象名。其中，对象名用于以文字形式描述文本信息所对应的用户对象以及会议角色。例如，群聊对象的对象名可以是“主持人_小明”。

本发明实施例中，生成包含各个群聊对象的群组内容显示框，并将上述步骤S105中转换得到的文本信息展示于该群组内容显示框中。其中，文本信息所关联的群组对象的对象名将标记于该文本信息的前方位置区域。

当连续检测到多个音频拾取器上传的音频数据时，基于上述步骤S105及S106，根据各路音频数据的接收时间的先后次序，在群组内容显示框中依序展示对应的各个群聊对象的对象名以及文本信息，以使得视频会议管理员能够在该终端显示界面，以文本形式查看会议发言人所发表的各项内容。

示例性地，上述群组内容显示框所包含的各项内容如下：

主持人_小明：终于到了这个环节！得奖主是，小红！

获奖者_小红：感谢大家，我会继续努力的！

主持人_小明：真是实至名归啊，希望下年能够得到更好的成绩。

本发明实施例中，通过获取各个音频拾取器的参数信息，根据参数信息来为各个音频拾取器创建唯一标识符，保证了在会议发言人利用音频拾取器发出音频数据时，系统能够接收到携带该唯一标识符的音频数据，从而根据唯一标识符所预先绑定的用户对象以及会议角色，自动确定音频数据的来源用户信息；通过将音频数据解析转换为文本信息，并在终端显示界面输出包含用户对象以及会议角色的文本信息，保证了用户根据界面所展示的内容，能够直观地查看并阅读各个与会人员所发表的内容。整个视频会议过程中，由于用户无需再手工进行会议记录，也无须根据个人的主观判断来确定会议发言人所演讲的内容，因此，提高了会议信息记录的准确率以及记录效率。

作为本发明的另一个实施例，图2示出了本发明实施例提供的视频会议记录的创建方法的实现流程。如图2所示，在上述S105之前，还包括：

S107：基于所述会议进度控制表，获取当前时刻待发言的用户对象，并确定该用户对象绑定的所述唯一标识符。

在预加载的会议进度控制表中，查找与当前时刻匹配的信息记录，以读取该条信息记录中的用户对象。其中，查找与当前时刻匹配的信息记录，即，查找会议进度控制表中的信息记录，以使得该条信息记录所关联的时刻为与当前时刻最接近但尚未到达的一个时刻。

例如，若当前时刻为2点30，且会议进度控制表中仅包含有2点20所对应待发言的用户对象以及2点50分所对应待发言的用户对象，则将2点50分所对应待发言的用户对象进行确定。

本发明实施例中，获取确定出的用户对象的信息配置信息，并从该信息配置信息中获取该用户对象所预设绑定的唯一标识符。

S108：启动所述唯一标识符关联的所述音频拾取器，并通过预设的音频播报器，发出关于该用户对象的音频采样提示信息。

根据预存储的各个音频拾取器与唯一标识符的关联关系，确定上述S107中所获取的唯一标识符所关联的音频拾取器。通过检测该音频拾取器的网络连接信息，向该个音频拾取器发出启动指令，以使得音频拾取器处于启动状态，从而能够将检测到的音频数据进行回传。

本发明实施例中，生成一语音播报控制指令，并将该语音播报控制指令传输至预先连接的音频播报器，以令其基于接受到的语音播报控制指令播放音频采样提示信息。其中，音频采样提示信息用于提示上述唯一标识符所关联的音频拾取器的分配使用对象发出音频数据。例如，发出“请1号话筒用户录入语音信号”的提示信息。

优选地，在上述S107中确定待发言的用户对象时，若当前的系统时间与该用户对象所对应预设的发言时刻不同，则向音频播报器发送携带该发言时刻的语音播报控制指令，以使得音频播报器在检测到系统时间与发言时刻相同时，才发出音频采样提示信息。

优选地，在接收到音频拾取器的分配使用对象根据音频采样提示信息所发出的多段音频数据后，将其中的每一段音频数据存储为该音频拾取器所对应的用户对象的音频样本数据。

本发明实施例中，通过基于会议进度控制表来确定当前时刻待发言的用户对象，并根据该用户对象绑定的唯一标识符，对该唯一标识符关联的音频拾取器进行启动，使得仅有在会议发言人符合会议角色和时间吻合的情况之下，才能够利用为其分配的音频拾取器进行演讲，避免了其他会议人员插话而扰乱整个会议进度流程；通过利用音频播报器来发出关于用户对象的音频采样提示信息，保证了整个视频会议的进度能够有序进行。

作为本发明的一个实施例，图3示出了本发明实施例提供的视频会议记录的创建方法S105的具体实现流程，详述如下：

S1051：根据预先采集的各个所述用户对象的音频样本数据，构建多复合声纹模型库。

本发明实施例中，对预设的各个用户对象的音频样本数据进行采集，并对各音频样本数据进行特征提取。基于提取得到的特征信息构建及训练神经网络。其中，上述神经网络具体为表征各用户对象声纹的多复合声纹模型库，其包含多个声纹模型，每一个声纹模型与一个用户对象相匹配。

S1052：在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并基于所述多复合声纹模型库，识别与所述音频数据匹配的所述用户对象。

在视频会议事件被触发时，存在至少一个处于启动状态的音频拾取器。接收音频拾取器所回传的携带其唯一标识符的音频数据。通过对该段音频数据经过特征提取，将其与多复合声纹模型库中的各个声纹模型进行匹配。具体地，通过预设算法，计算当前提取得到的特征信息与每一声纹模型的匹配度。预设方法包括但不限于模板匹配法、概率模型法以及人工神经网络法等。

本发明实施例中，获取匹配度最高的声纹模型所匹配的用户对象，则该用户对象为当前音频数据所匹配的用户对象，即，将该用户对象识别为当前音频数据的实际发起者。

S1053：若识别得到的所述用户对象与所述唯一标识符绑定的所述用户对象相同，则将所述音频数据转换为文本信息。

对当前音频数据所携带的唯一标识符，获取与该唯一标识符绑定的用户对象，并判断上述步骤S1052所识别出的用户对象与该唯一标识符所绑定的用户对象是否相同。若判断结果为是，则通过语音转换算法，将该段音频数据转换为文本信息。

本发明实施例适用于视频会议存在多个会议发言人的场景之下。例如，不同的用户对象可能会在同一时刻发言，由此会出现来自于不同用户对象的音频数据被同一音频拾取器捕获的情况发生。因此，通过对音频拾取器回传的音频数据进行特征提取，识别出与该音频数据的特征匹配度最高的声纹模型，从而能够准确识别该段音频识别的主要来源对象。仅当检测出的主要来源对象与该音频拾取器所绑定的用户对象匹配时，才进一步将音频数据转换为待展示于群组内容显示框的文本信息，使得各个用户对象所发言的内容能够准确对应于群组内容显示框中的群聊对象，由此也提高了会议信息记录的准确率。

优选地，作为本发明的又一个实施例，如图4所示，在上述S1052之后，还包括：

S1054：若识别得到的所述用户对象与所述唯一标识符绑定的所述用户对象不同，则获取识别得到的所述用户对象所绑定的唯一标识符，并检测对应于该唯一标识符的所述音频拾取器的运行状态。

本发明实施例中，若上述步骤S1042所识别出的用户对象与该唯一标识符所绑定的用户对象不同，则对于当前音频数据所匹配的用户对象，获取该用户对象预先绑定的唯一标识符。在用于监测各个音频拾取器的运行状态的任务状态管理器中，获取与该唯一标识符对应的音频拾取器的运行状态。运行状态包括启动状态、断开状态以及异常状态。

S1055：若所述音频拾取器的运行状态为异常状态，则对所述音频数据进行标记处理，并将其携带的所述唯一标识符变更为当前识别得到的所述用户对象所绑定的唯一标识符。

S1056：将所述音频数据转换为文本信息。

若检测到该唯一标识符对应的音频拾取器的运行状态为异常状态，则表示当前音频数据的实际发起者无法通过自己所分配使用的音频拾取器进行会议发言操作，因此，对该段音频数据进行标记，并将其携带的唯一标识符变更为当前识别得到的用户对象所绑定的唯一标识符。上述标记表示当前音频数据为自动编辑处理后所得到的音频数据，非源音频数据。

示例性地，若用户对象A所分配使用的音频拾取器a出现临时故障，并通过用户对象B所分配使用的音频拾取器b进行会议发言操作，则可接收到音频拾取器b上传的关于用户对象A的音频数据，且该段音频数据所携带的唯一标识符为音频拾取器b所对应的唯一标识符b。通过对该段音频数据进行特征提取，并基于多复合声纹模型库，可识别出与音频数据匹配的用户对象实际上是用户对象a。此时，若用户对象a绑定的唯一标识符为a，且在任务状态管理器中检测到与唯一标识符a对应音频拾取器处于异常状态，则对该段音频数据进行标记，并将该音频数据所携带的唯一标识符b变更为当前识别得到的用户对象A所绑定的唯一标识符a后，再对其进行文本信息转换处理。

本发明实施例中，通过在基于多复合声纹模型库所识别得到的用户对象与音频数据携带的唯一标识符所绑定的用户对象不同的情况之下，检测对应于该唯一标识符的音频拾取器的运行状态，并在其运行状态为异常时，将音频数据携带的唯一标识符变更为当前识别得到的用户对象所绑定的唯一标识符，保证了在将该段音频数据转换为文本信息后，音频数据实际发起人所匹配的群组对象能够准确展示于群组内容显示框中，避免了出现会议记录内容与实际会议发言人不同的情况出现，故提高了会议记录的准确性；由于在音频拾取器出现异常时，系统能够识别音频数据的声纹特征，对音频数据进行唯一标识符的自动化转换处理，因而提高了视频会议管理系统的可靠性和稳定性；通过对唯一标识符变更后的音频数据进行标记，保证了后续视频会议管理员能够基于该标记来进行音频数据实际发起人的人工验证操作，从而进一步加强了会议信息记录的准确性。

优选地，图5示出了本发明再一实施例提供的视频会议记录的创建方法的实现流程。如图5所示，在上述各个实施例的基础之上，还包括：

S109：获取关于会议现场景象的第一视频图像信号以及关于会议演示文档的第二视频图像信号；所述会议现场景象包括当前时刻处于发言状态的用户对象的画面景象。

本发明实施例中，会场视频信号接口用于连接视频会议现场的摄像设备；演示平台对接接口用于连接视频会议的演示设备。摄像设备用于对视频会议现场的实际场地以及与会人员进行视频拍摄；演示设备用于对各类演示文档、图片以及视频等多媒体文件进行播放，以使得与会人员能够查看上述多媒体文件。其中，演示设备例如可以是笔记本电脑、手机以及平板电脑等智能终端，包括存放于视频会议现场的智能终端以及远程操控的智能终端。

在视频会议事件被触发时，通过会场视频信号接口，接收摄像设备所拍摄的关于会议现场景象的第一视频图像信号；通过演示平台对接接口，接收演示设备所播放的第二视频图像信号。

S110：同步提取所述第一视频图像信号中包含人脸特征的画面区域以及所述第二视频图像信号中的演示文档。

根据当前时刻的时间戳信息，分别在第一视频图像信号以及第二视频图像信号中，截取与该时间戳信息匹配的第一图像帧以及第二图像帧。

通过人脸检测算法，对第一图像帧中的各个人脸特征进行检测，生成包围该人脸特征的检测框。基于当前生成的检测框切割第一图像帧，以对检测框所包含的画面区域进行提取。

S111：创建包含所述画面区域以及所述演示文档的合成图像，并生成用于链接所述合成图像的图标控件。

S112：在所述终端显示界面，将所述图标控件显示在所述文本信息的相邻位置区域。

本发明实施例中，检测第二图像帧中的空白位置区域，并将提取得到的画面区域插入于该空白位置区域，以输出包含该画面区域以及第二图像帧的叠加图像。其中，叠加图像的时间戳与该第二图像帧的时间戳相同。

同理，在生成各个时间戳所对应的叠加图像后，根据时间戳的时间先后次序，输出包含连续出现的各个叠加图像的视频信号。为了便于描述，将该路视频信号称为合成图像。将生成的合成图像存储至预设路径，并创建一用于链接该合成图像的图标控件。

本发明实施例中，对于与第一视频图像信号以及第二视频图像信号所同步采集的音频数据，通过上述步骤S104以及S105将该段音频数据转换为文本信息，在终端显示界面输出包含关于用户对象以及会议角色的文本信息；通过上述步骤S109至S112，创建包含用户对象人脸画面区域以及演示文档的合成图像，并生成链接该合成图像的图标控件；将创建得到的图标控件显示在该文本信息的相邻位置区域，以使得用户在终端显示界面查看视频会议的文字记录时，通过点击该图标控件，能够直观、快速地回顾与该段文本信息匹配的会议视频内容。同时，由于第一视频图像、第二视频图像信号以及音频数据均为同步采集的数据，因此，对基于该音频数据转换后所得到的文本信息来说，也保证了发言对象的人脸画面、演示文档画面以及终端显示界面上的文本信息能够实现内容上的同步，从而提高了会议记录的可利用性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例的方法，图6示出了本发明实施例提供的视频会议记录的创建装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。图6示例的视频会议记录的创建装置可以是前述实施例提供的视频会议记录的创建方法的执行主体。

参照图6，该视频会议记录的创建装置包括：

加载单元61，用于加载预设的会议进度控制表，所述会议进度控制表用于记录各个时刻待发言的用户对象、所述用户对象的会场位置以及演讲范本信息。

检测单元62，用于对所述演讲范本信息进行角色特征检测，并基于特征识别结果建立所述用户对象对应的所述会议角色。

确定单元63，用于对已连接的每一音频拾取器，将该音频拾取器的参数信息输入预定算术函数，并将函数输出值确定为所述音频拾取器的唯一标识符。

绑定单元64，用于获取会场位置相同的所述音频拾取器以及所述用户对象，将该用户对象与该音频拾取器的所述唯一标识符进行绑定。

转换单元65，用于在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并将所述音频数据转换为文本信息。

输出单元66，用于根据所述音频数据所携带的所述唯一标识符，确定与所述文本信息对应的所述用户对象以及所述会议角色，以在终端显示界面输出视频会议记录；所述视频会议记录包含关于所述用户对象以及所述会议角色的所述文本信息。

可选地，所述转换单元65包括：

构建子单元，用于根据预先采集的各个所述用户对象的音频样本数据，构建多复合声纹模型库。

识别子单元，用于在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并基于所述多复合声纹模型库，识别与所述音频数据匹配的所述用户对象。

第一转换子单元，用于若识别得到的所述用户对象与所述唯一标识符绑定的所述用户对象相同，则将所述音频数据转换为文本信息。

可选地，所述转换单元65还包括：

检测子单元，用于若识别得到的所述用户对象与所述唯一标识符绑定的所述用户对象不同，则获取识别得到的所述用户对象所绑定的唯一标识符，并检测对应于该唯一标识符的所述音频拾取器的运行状态。

变更子单元，用于若所述音频拾取器的运行状态为异常状态，则对所述音频数据进行标记处理，并将其携带的所述唯一标识符变更为当前识别得到的所述用户对象所绑定的唯一标识符。

第二转换子单元，用于将所述音频数据转换为文本信息。

可选地，所述视频会议记录的创建装置还包括：

接收单元，用于获取关于会议现场景象的第一视频图像信号以及关于会议演示文档的第二视频图像信号；所述会议现场景象包括当前时刻处于发言状态的用户对象的画面景象。

提取单元，用于同步提取所述第一视频图像信号中包含人脸特征的画面区域以及所述第二视频图像信号中的演示文档。

创建单元，用于创建包含所述画面区域以及所述演示文档的合成图像，并生成用于链接所述合成图像的图标控件。

显示单元，用于在所述终端显示界面，将所述图标控件显示在所述文本信息的相邻位置区域。

可选地，所述视频会议记录的创建装置还包括：

获取单元，用于基于所述会议进度控制表，获取当前时刻待发言的用户对象，并确定该用户对象绑定的所述唯一标识符。

启动单元，用于启动所述唯一标识符关联的所述音频拾取器，并通过预设的音频播报器，发出关于该用户对象的音频采样提示信息。

本发明实施例中，通过获取各个音频拾取器的参数信息，根据参数信息来为各个音频拾取器创建唯一标识符，保证了在会议发言人利用音频拾取器发出音频数据时，系统能够接收到携带该唯一标识符的音频数据，从而根据唯一标识符所预先绑定的用户对象以及会议角色，自动确定音频数据的来源用户信息；通过将音频数据解析转换为文本信息，并在终端显示界面输出包含用户对象以及会议角色的文本信息，保证了用户根据界面所展示的内容，能够直观地查看并阅读各个与会人员所发表的内容。整个视频会议过程中，由于用户无需再手工进行会议记录，也无须根据个人的主观判断来确定会议发言人所演讲的内容，因此，提高了会议信息记录的准确率以及记录效率。

图7是本发明一实施例提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70以及存储器71，所述存储器71中存储有可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个视频会议记录的创建方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示单元61至65的功能。

所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入发送设备、网络接入设备、总线等。

所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经发送或者将要发送的数据。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频会议记录的创建方法，其特征在于，包括：

加载预设的会议进度控制表，所述会议进度控制表用于记录各个时刻待发言的用户对象、所述用户对象的会场位置以及演讲范本信息；

对所述演讲范本信息进行角色特征检测，并基于特征识别结果建立所述用户对象对应的所述会议角色；

对已连接的每一音频拾取器，将该音频拾取器的参数信息输入预定算术函数，并将函数输出值确定为所述音频拾取器的唯一标识符；

获取会场位置相同的所述音频拾取器以及所述用户对象，将该用户对象与该音频拾取器的所述唯一标识符进行绑定；

在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并将所述音频数据转换为文本信息；

根据所述音频数据所携带的所述唯一标识符，确定与所述文本信息对应的所述用户对象以及所述会议角色，以在终端显示界面输出视频会议记录；所述视频会议记录包含关于所述用户对象以及所述会议角色的所述文本信息。

2.如权利要求1所述的视频会议记录的创建方法，其特征在于，所述在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并将所述音频数据转换为文本信息，包括：

根据预先采集的各个所述用户对象的音频样本数据，构建多复合声纹模型库；

在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并基于所述多复合声纹模型库，识别与所述音频数据匹配的所述用户对象；

若识别得到的所述用户对象与所述唯一标识符绑定的所述用户对象相同，则将所述音频数据转换为文本信息。

3.如权利要求2所述的视频会议记录的创建方法，其特征在于，还包括：

若识别得到的所述用户对象与所述唯一标识符绑定的所述用户对象不同，则获取识别得到的所述用户对象所绑定的唯一标识符，并检测对应于该唯一标识符的所述音频拾取器的运行状态；

若所述音频拾取器的运行状态为异常状态，则对所述音频数据进行标记处理，并将其携带的所述唯一标识符变更为当前识别得到的所述用户对象所绑定的唯一标识符；

将所述音频数据转换为文本信息。

4.如权利要求1所述的视频会议记录的创建方法，其特征在于，还包括：

获取关于会议现场景象的第一视频图像信号以及关于会议演示文档的第二视频图像信号；所述会议现场景象包括当前时刻处于发言状态的用户对象的画面景象；

同步提取所述第一视频图像信号中包含人脸特征的画面区域以及所述第二视频图像信号中的演示文档；

创建包含所述画面区域以及所述演示文档的合成图像，并生成用于链接所述合成图像的图标控件；

在所述终端显示界面，将所述图标控件显示在所述文本信息的相邻位置区域。

5.如权利要求1所述的视频会议记录的创建方法，其特征在于，在所述在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并将所述音频数据转换为文本信息之前，还包括：

基于所述会议进度控制表，获取当前时刻待发言的用户对象，并确定该用户对象绑定的所述唯一标识符；

启动所述唯一标识符关联的所述音频拾取器，并通过预设的音频播报器，发出关于该用户对象的音频采样提示信息。

6.一种视频会议记录的创建装置，其特征在于，包括：

加载单元，用于加载预设的会议进度控制表，所述会议进度控制表用于记录各个时刻待发言的用户对象、所述用户对象的会场位置以及演讲范本信息；

检测单元，用于对所述演讲范本信息进行角色特征检测，并基于特征识别结果建立所述用户对象对应的所述会议角色；

确定单元，用于对已连接的每一音频拾取器，将该音频拾取器的参数信息输入预定算术函数，并将函数输出值确定为所述音频拾取器的唯一标识符；

绑定单元，用于获取会场位置相同的所述音频拾取器以及所述用户对象，将该用户对象与该音频拾取器的所述唯一标识符进行绑定；

转换单元，用于在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并将所述音频数据转换为文本信息；

输出单元，用于根据所述音频数据所携带的所述唯一标识符，确定与所述文本信息对应的所述用户对象以及所述会议角色，以在终端显示界面输出视频会议记录；所述视频会议记录包含关于所述用户对象以及所述会议角色的所述文本信息。

7.如权利要求6所述的视频会议记录的创建装置，其特征在于，所述转换单元包括：

构建子单元，用于根据预先采集的各个所述用户对象的音频样本数据，构建多复合声纹模型库；

识别子单元，用于在视频会议事件被触发时，接收所述音频拾取器上传的携带有所述唯一标识符的音频数据，并基于所述多复合声纹模型库，识别与所述音频数据匹配的所述用户对象；

第一转换子单元，用于若识别得到的所述用户对象与所述唯一标识符绑定的所述用户对象相同，则将所述音频数据转换为文本信息。

8.如权利要求7所述的视频会议记录的创建装置，其特征在于，所述转换单元还包括：

检测子单元，用于若识别得到的所述用户对象与所述唯一标识符绑定的所述用户对象不同，则获取识别得到的所述用户对象所绑定的唯一标识符，并检测对应于该唯一标识符的所述音频拾取器的运行状态；

变更子单元，用于若所述音频拾取器的运行状态为异常状态，则对所述音频数据进行标记处理，并将其携带的所述唯一标识符变更为当前识别得到的所述用户对象所绑定的唯一标识符；

第二转换子单元，用于将所述音频数据转换为文本信息。

9.一种终端设备，包括存储器以及处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。