CN113949837A - 与会人信息呈现方法、装置、存储介质与电子设备 - Google Patents
与会人信息呈现方法、装置、存储介质与电子设备 Download PDFInfo
- Publication number
- CN113949837A CN113949837A CN202111193809.7A CN202111193809A CN113949837A CN 113949837 A CN113949837 A CN 113949837A CN 202111193809 A CN202111193809 A CN 202111193809A CN 113949837 A CN113949837 A CN 113949837A
- Authority
- CN
- China
- Prior art keywords
- information
- current speaker
- personal information
- conference
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000009826 distribution Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
Abstract
本公开提供了一种与会人信息呈现方法、与会人信息呈现装置、计算机可读存储介质与电子设备,涉及通信技术领域。该与会人信息呈现方法包括:响应于建立线上会议的请求,建立线上会议连接,并在参与线上会议的各客户端呈现会议界面;其中,会议界面包括各客户端对应的信息显示区域;实时获取线上会议的当前发言人的生物特征信息,根据当前发言人的生物特征信息,获取当前发言人的个人信息;根据当前发言人的个人信息,更新当前发言人对应的信息显示区域所显示的信息。本公开可以解决其他接入设备的与会人较难将当前发言人与其身份进行匹配的问题。
Description
技术领域
本公开涉及通信技术领域,尤其涉及一种与会人信息呈现方法、与会人信息呈现装置、计算机可读存储介质与电子设备。
背景技术
视频会议或音频会议,是指两个或两个以上不同地方的个人或群体,通过网络及多媒体设备,将声音、影像或文件资料等互传,实现即时互动的沟通方式。
现有的音视频会议中,往往仅仅根据接入设备进行标记信息显示,对于一个接入设备有多个与会人的时候,如果当前其中一位与会人发言,其他接入设备的与会人较难将当前发言人与其身份进行匹配。
发明内容
本公开提供了一种与会人信息呈现方法、与会人信息呈现装置、计算机可读存储介质与电子设备,解决其他接入设备的与会人较难将当前发言人与其身份进行匹配的问题。
根据本公开的第一方面,提供一种与会人信息呈现方法,包括:响应于建立线上会议的请求,建立所述线上会议连接,并在参与所述线上会议的各客户端呈现会议界面;其中,所述会议界面包括各所述客户端对应的信息显示区域;实时获取所述线上会议的当前发言人的生物特征信息,根据所述当前发言人的生物特征信息,获取所述当前发言人的个人信息;根据所述当前发言人的个人信息,更新所述当前发言人对应的所述信息显示区域所显示的信息。
根据本公开的第二方面,提供一种与会人信息呈现装置,所述装置包括:会议界面呈现模块,用于响应于建立线上会议的请求,建立所述线上会议连接,并在参与所述线上会议的各客户端呈现会议界面;其中,所述会议界面包括各所述客户端对应的信息显示区域;个人信息匹配模块,用于实时获取所述线上会议的当前发言人的生物特征信息,根据所述当前发言人的生物特征信息,获取所述当前发言人的个人信息;信息更新模块,用于根据所述当前发言人的个人信息,更新所述当前发言人对应的所述信息显示区域所显示的信息。
根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的与会人信息呈现方法及其可能的实施方式。
根据本公开的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一方面的与会人信息呈现方法及其可能的实施方式。
本公开的技术方案具有以下有益效果:
一方面,通过实时获取当前发言人的生物特征信息,根据该生物特征信息进行匹配,获取到当前发言人的个人信息,再利用该个人信息进行信息显示区域所显示信息的更新,从而可以及时同步显示当前发言人的个人信息,便于其他与会人明确当前发言人的身份,也便于其他与会人对收听目标内容的确定,提升会议沟通的有效性。另一方面,该与会人信息呈现方法在多个与会人共用同一个客户端的时候,在该客户端对应的信息显示区域可以实时更新当前发言人的个人信息,即使是多个不同的与会人分别进行发言,也能及时同步当前发言人的个人信息,避免信息显示上的混乱,解决了其他与会人确定当前发言人身份的问题,给予用户更好的使用体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施方式,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种与会人信息呈现方法及装置的示例性应用环境的系统架构的示意图;
图2示出本示例性实施方式中一种电子设备的计算机系统的结构示意图;
图3示出本示例性实施方式中与会人信息呈现方法的流程图;
图4示出本示例性实施方式中一种视频会议开启和初始化示意图;
图5示出本示例性实施方式中一种会议界面的结构示意图一;
图6示出本示例性实施方式中一种会议界面的结构示意图二;
图7示出本示例性实施方式中一种会议界面的结构示意图三;
图8示出本示例性实施方式的一种与会人信息呈现装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,下面所有的术语“第一”、“第二”仅是为了区分的目的,不应作为本公开内容的限制。
当前越来越多的企业部署了可以进行音视频会议的设备,以便于企业分布在不同地域的员工或不同的企业间进行事务沟通处理等。在实际沟通中,既可以采用音频会议的方式实施,也可以采用视频会议的方式进行。在音频会议中,可以将发言人的声纹信息通过声音采集设备采集后传输给其他与会设备。在视频会议中,除过可以上传声纹信息外,还可以获取视频画面进行互传,即时性更强。
另外,随着智能手机等个人终端设备的普及,参与会议的与会人还可以使用个人终端设备参与到音视频会议中。
图1示出了可以应用本公开实施例的一种与会人信息呈现方法及装置的示例性应用环境的系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103中的至少两个,网络104和服务器105。网络104用于在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备,终端设备101、102、103上安装有各种APP或浏览器等。
终端设备101、102、103包括但不限于便携式计算机、智能手机、平板电脑等具有显示功能的设备。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器104可以是多个服务器组成的服务器集群等。
在实际的终端设备101、102、103运行过程中,服务器104可以对终端设备101、102、103上的进程运行情况进行监控,并获取声纹信息和人脸信息等。
本领域技术人员容易理解的是,本公开实施例所提供的与会人信息呈现方法一般由服务器105执行,相应的,与会人信息呈现装置也可以设置于服务器105中,本示例性实施例中对此不做特殊限定。举例而言,在一种示例性实施例中,可以是服务器105根据获取到的当前发言人的声纹信息,匹配当前发言人的个人信息,并根据当前发言人的个人信息对对应的信息显示区域进行更新,并呈现在各客户端,以达到实时更新与会人信息的目的。
需要说明的是,本公开实施例所提供的与会人信息呈现方法也可以直接由终端设备101、102、103执行,相应地,与会人信息呈现装置可以设置于终端设备101、102、103中。每个终端设备获取自己所对应的当前发言人的个人信息,然后将信息同步到其他终端设备显示的会议界面中,从而达到信息实时更新的目的。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。本公开示例性实施方式中终端设备101、102、103可以被配置为图2的形式。需要说明的是,图2示出的终端设备的计算机系统200仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示,计算机系统200包括中央处理单元(CPU)201,其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM203中,还存储有系统操作所需的各种程序和数据。CPU201、ROM202以及RAM203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205:包括声音采集设备、视频采集设备、键盘、鼠标等的输入部分206;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207;包括硬盘等的存储部分208;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器210上,以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分209从网络上被下载和安装,和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时,执行本申请的方法和装置中限定的各种功能。
就本公开所述的与会人信息呈现方案而言,终端设备101、102、103在获取到当前发言人的生物特征信息后传递给服务器104,服务器104可以利用相关数据确定出当前发言人的个人信息,并将该个人信息更新到客户端的信息显示区域中,以达到同步发言人个人信息的目的。
基于此,本公开实施例提供了一种与会人信息呈现方法,以下将对本公开实施例的技术方案进行详细阐述:
下面结合图3对本公开示例性实施方式的与会人信息呈现方法进行具体说明。如图3所示,该与会人信息呈现方法可以包括:
步骤S310,响应于建立线上会议的请求,建立线上会议连接,并在参与线上会议的各客户端呈现会议界面;其中,会议界面包括各客户端对应的信息显示区域;
步骤S330,实时获取音视频会议的当前发言人的生物特征信息,根据当前发言人的生物特征信息,获取当前发言人的个人信息;
步骤S350,根据当前发言人的个人信息,更新当前发言人对应的信息显示区域所显示的信息。
该与会人信息呈现方法实现了以下技术效果:一方面,通过实时获取当前发言人的生物特征信息,根据该生物特征信息可以进行匹配,获取到当前发言人的个人信息,再利用该个人信息对信息显示区域所显示信息的更新,从而可以及时同步当前发言人的个人信息,便于其他与会人明确当前发言人的身份,也便于对收听目标内容的确定,提升会议沟通的有效性。另一方面,该与会人信息呈现方法在多个与会人共用同一个客户端的时候,在该客户端对应的信息显示区域可以实时更新当前发言人的个人信息,即使是多个不同的与会人分别进行发言,也能及时同步当前发言人的个人信息,避免信息显示上的混乱,给予用户更好的使用体验。
下面分别对每个步骤的实现过程进行具体说明:
在步骤S310中,响应于建立线上会议的请求,建立线上会议连接,并在参与线上会议的各客户端呈现会议界面;其中,会议界面包括各客户端对应的信息显示区域。
通常,线上会议在建立的过程中,需要经过一个开启和初始化的过程。以视频会议为例,参照图4,在视频会议的主持人开启视频会议之后,例如,视频会议主持人利用所使用的客户端410(上的视频会议软件)发送视频会议发起信息,请求建立视频会议之后,视频会议的中台分发服务器420会接收到该视频会议发起信息,并在其建立的信息搜索模块421中搜索并获取各客户端所采集的声纹、人脸等信息。
为了能够对生物特征信息进行识别匹配,以获得对应的发言人的个人信息,中台分发服务器420还需要与数据库430建立连接,该数据库430至少包含有多个生物特征信息以及该生物特征信息对应的个人信息等已存信息。
在实际应用中,声纹信息和人脸信息均属于人类的生物特征信息,通过从发言人的声音中提取出声纹信息,借助该声纹信息,如果可以从数据库430中匹配到相同的声纹信息,就可以确定出发言人的个人信息,以达到对发言人的身份进行识别的目的。
在本公开的示例性实施方式中,除过采集声纹信息之外,还可以采集人脸信息,将人脸信息和声纹信息一起作为发言人个人信息确定的依据,从而可以提高信息确认的准确度。当然,还可以根据实际需要添加其他的生物特征信息,以获得更准确的识别结果。
在实际应用中,通常需要在线上会议的主持人开启线上会议之前,在数据库430中提前录入与会人的相关信息,例如,声纹信息、人脸图像信息及其对应的个人信息等,以便于后期的对比识别。
需要说明的是,个人信息是用于对发言人的身份进行标识的信息,例如,可以包括姓名、职位、称呼、所在部分及照片中的至少一项,还可以根据实际情况,在个人信息中包括工号、条形码等信息,将声纹信息或者结合人脸信息的声纹信息经过预处理之后,就可以与个人信息绑定,并存储在数据库430中。其中,上述的预处理可以包括降噪、特征提取等。
另外,数据库430中还需要建立客户端的相关信息,例如客户端对应的设备信息、设备编号、客户端所在区域名称等。
在实际应用中,对数据库430中信息的建立可以在会议开始之前的任何时候进行,本公开示例性实施方式对于具体的建立方式和建立时机不作特殊限定。
为了便于与会人声纹信息的采集,参与视频会议的客户端410需要设置有声纹信息采集模块411,以采集与会人中的发言人的声纹信息,并上传至中台分发服务器420中,以便于中台分发服务器420进行后续的信息比对和提取。即确定所采集的当前发言人的声纹信息是否是已存信息,如果是,则返回匹配上的已存信息的结果,如果不是,则需要进行后续处理,具体的处理方式将在后续实施方式中进行说明。
当然,对于视频会议而言,还可以在参与视频会议的客户端410设置人脸信息采集模块412,以控制摄像头等图像采集设备采集人脸图像等人脸信息,并对采集的人脸信息进行处理获得人脸相关的特征信息。
在建立线上会议的过程中,中台分发服务器420的信息搜集模块421除过与各客户端的声纹信息采集模块411相连之外,还与各客户端的人脸信息采集模块412相连。另外,中台分发服务器420还可以包括与会者信息反馈模块422,用于将信息搜索模块421匹配的当前发言人的个人信息反馈显示在会议界面中。
需要说明的是,视频会议的主持人开启视频会议之后,中台分发服务器420会向主持人指定的需要接入的客户端发送视频接入提示信息及接入链接,在客户端触发接入链接后,中台分发服务器420会在客户端之间建立视频会议连接。
上述主要以视频会议的建立为例进行了说明,对于音频会议而言,主要是缺少了客户端中的人脸信息采集模块412的相关设置,其他建立会议连接的方式与视频会议相同,此处不再赘述。
本公开的示例性实施方式中,在建立了线上会议之后,会在参与线上会议的各客户端呈现会议界面,其中,该会议界面至少包括各客户端对应的信息显示区域,该信息显示区域用于显示各客户端对应的设备信息或者是与会人的个人信息,或者是当前发言人的个人信息。
在实际应用中,会议界面的布局可以根据需要自由设置,只要在会议界面中设置各客户端对应的信息显示区域即可。参照图5,示出了一种针对本公开的会议界面示意图,图5中,该会议界面的外周设置有多个信息显示区域501,一个信息显示区域501对应一个客户端,每个信息显示区域501内可以显示客户端的设备信息,例如客户端的设备编号。如果该客户端的与会人的信息是确定的,而且仅仅只有一个与会人的情况下,可以直接在该客户端对应的信息显示区域501内显示该与会人信息,例如,该与会人的姓名、职称等信息。
然而,如果客户端的与会人信息不明确,或者说一个客户端对应有多个与会人的情况下,如果仅仅显示预设的与会人信息,在实际的与会人发生变化,特别是发言人并不是预设的与会人的时候,很容易会发生信息显示错误,导致发言人和对应显示的信息不符,带来混乱,影响其他客户端与会人对会议信息的准备把握。
本公开实施例提供的与会人信息呈现方法可以用于,客户端的与会人信息不明确,或者说有多个与会人的情况下,便于改变客户端对应的信息显示区域所显示的信息,确保与会人中的发言人的信息能够显示正确。
在步骤S330中,实时获取线上会议的当前发言人的生物特征信息,根据当前发言人的生物特征信息,获取当前发言人的个人信息。
在实际应用中,建立了线上会议后,即会有与会人开始发言,在发言过程中,本公开的示例性实施方式提供的与会人信息呈现方法,会实时获取线上会议的当前发言人的生物特征信息,根据当前发言人的生物特征信息,从各与会人的生物特征信息中确定出目标生物特征信息;再将目标生物特征信息对应的与会人的个人信息,确定为当前发言人的个人信息。
以声纹信息为例,本公开的示例性实施方式提供的与会人信息呈现方法,会实时获取线上会议的当前发言人的声纹信息,并且将该声纹信息与上述数据库430中所含有的多个声纹信息进行匹配,也就是跟数据库430中存有的各与会人的声纹信息进行匹配,并从各与会人的声纹信息中确定出目标声纹信息。
声纹信息是用电声学仪器显示的携带言语信息的声波频谱信息。由于每个人在讲话时所使用的发声器在尺寸和形态方面的差异很大,所以任何两个人的声纹图谱都有差异。基于此,就可以对声纹信息进行对比匹配,确定出相似度较高的目标声纹信息。具体的匹配确定过程可以参照现有的声纹识别技术,此处不再赘述。
本公开的示例性实施方式中,在匹配确定出目标声纹信息后,就可以将该目标声纹信息对应的与会人的个人信息,确定为当前发言人的个人信息。
对于视频会议而言,除过实时采集声纹信息之外,还可以采集当前发言人的人脸信息,并将人脸信息和声纹信息进行结合,确定结合后的匹配结果,并由此确定出当前发言人的个人信息,如此操作可以提高识别的精度。
在具体的结合人脸信息和声纹信息进行匹配的过程中,可以先根据当前发言人的声纹信息和已存储的各与会人的声纹信息,确定声纹匹配度最高的与会人的声纹匹配度得分P1。其中,在确定声纹匹配度最高的与会人的过程中,可以将获取的当前发言人的声纹信息与已存储的声纹信息一一比对,以确定每一个比对结果的声纹匹配度得分,从而可以确定出声纹匹配度最高得分P1,将声纹匹配度得分最高的与会人,确定为声纹匹配度最高的与会人。其中,声纹匹配度得分P1可以根据声纹匹配度的程度来确定,例如,两个声纹图谱有90%的内容相似时,可以将声纹匹配度得分P1确定为90分,如果两个声纹图谱有80%的内容相似时,可以将声纹匹配度得分P1确定为80分,依次方式即可确定出声纹匹配度得分P1。
接着,可以根据当前发言人的人脸信息和声纹匹配度最高的与会人的人脸信息,确定出人脸匹配度得分P2。人脸识别也是生物特征识别技术中的一种,可以通过采集人脸图像进行比对,以确定出人脸信息的匹配程度,根据匹配程度可以确定人脸匹配度得分P2。参照声纹匹配度得分P1的确定过程,例如,如果两个人脸图像有90%的内容相似,则可以将人脸匹配度得分P2确定为90分。
在确定出声纹匹配度得分P1和人脸匹配度得分P2后,可以对这两个得分取权重,以确定出总匹配度得分P=A*P1+B*P2,具体的权重划分比例A和B可以根据实际情况确定,例如,A和B各占50%,或者声纹匹配度得分P1占比A=60%、人脸匹配度得分P2占比B=40%。本公开的示例性实施方式对此不作特殊限定。
在确定出总匹配度得分P后,可以在总匹配度得分P大于或等于第一预设值的情况下,将声纹匹配度最高的与会人的个人信息,确定为当前发言人的个人信息。其中,第一预设值可以是60-100分之间的任一值。
然而,如果总匹配度得分P小于第一预设值,且大于或等于第二预设值的情况下,可以确定没有匹配到当前发言人的个人信息,将当前发言人标记为数据库430中尚未存储的新与会人,可以将当前采集到的当前发言人的声纹信息和人脸信息存储在数据库430中,待后续完善。其中,第二预设值可以是20-60分之间的任一值。此种情况下,可以在预设区域502中显示提示信息:新与会人加入会议。另外,在当前发言人对应的信息显示区域可以显示“新与会人”。
在总匹配度得分P小于第二预设值的情况下,说明所采集的声纹信息有可能是噪音,此时可以确定当前发言人的个人信息匹配失败。在匹配失败的时候,可以在会议界面的预设区域,例如预设区域502中显示提示信息:未匹配到当前发言人的个人信息。另外,在当前发言人对应的信息显示区域可以只显示相应的设备信息。
在实际应用中,预设区域可以根据实际的会议界面布局来确定,如图5所示,预设区域502可以是会议界面的中心区域,此中心区域中,还可以显示主持人的信息,或者显示会议中屏幕共享时的屏幕内容等。
在步骤S350中,根据当前发言人的个人信息,更新当前发言人对应的信息显示区域所显示的信息。
本公开的示例性实施方式中,在按照上述方式确定出的结果中,如果确定匹配到当前发言人的个人信息,则可以更新当前发言人所在客户端对应的信息显示区域。
如果当前发言人是其所在客户端的第一个发言人,那么可以直接将该发言人的个人信息显示在信息显示区域501中,例如,图5中的与会人1、与会人2、与会人3、与会人4。
如果当前发言人不是其所在客户端的第一个发言人,是第二个发言人或第三个发言人,此时,对其所在客户端的信息显示区域所显示信息进行更新,以及具体的会议界面展现方式可以有多种,本公开示例性实施方式主要对下面两种展现方式进行说明:
参照图6,在当前发言人不是其所在客户端的第一个发言人,也就是信息显示区域610显示有当前发言人之前发言人的个人信息的情况下,例如,信息显示区域610中在当前发言人(与会人5)发言之前显示有与会人4的情况下,可以在信息显示区域610中显示会议室信息,例如,显示“会议室1”,并在信息显示区域610的显示“会议室1”之外的其余区域并列添加至少两个子显示区域601、602,这两个子显示区域601、602则可以用于分别显示之前发言人的个人信息(例如,与会人4)和当前发言人的个人信息(例如,与会人5)。
如果当前发言人是客户端的第三个发言人或者更加靠后的发言人的情况下,可以按照上述方式继续添加子显示区域,以添加当前发言人信息。也可以删除其中一个之前发言人的信息,将当前发言人的信息添加在所删除信息的区域中等,具体的添加方式可以根据实际需求灵活确定,此处不作特殊限定。
参照图7,在信息显示区域710显示有之前发言人的个人信息(例如,与会人4)的情况下,可以在信息显示区域710的其余区域(显示之前发言人的个人信息之外的区域)嵌入从显示区域701;以在该从显示区域701中显示当前发言人的个人信息(例如,与会人5)。
如果当前发言人是客户端的第三个发言人或者更加靠后的发言人的情况下,可以按照上述方式继续添加从显示区域,以添加当前发言人信息。也可以直接替换之前的从显示区域内所显示的信息,将当前发言人的信息添加在其中即可,具体的添加方式可以根据实际需求灵活确定,此处不作特殊限定。
需要说明的是,除过上述两种展现方式外,根据实际情况还可以有多种不同的展现方式,本公开实施例并不以此为限。
另外,为了便于其他与会人确定当前发言人是谁,在显示当前发言人的个人信息的同时,还可以在会议界面的预设区域502显示当前发言人加入会议的提示信息。还可以将当前发言人的个人信息区别性显示,例如,如图6和图7所示将头像区别性显示,或者将当前发言人的姓名、职位和称呼等个人信息动态显示,或者将个人信息编码成视频流以示区别。
如果确定当前发言人为新与会人,可以在当前发言人所在客户端对应的信息显示区域显示新与会人的信息,如果无法确定新与会人的信息,可以表明新与会人的字样,如图7所示,并在预设区域502显示新与会人加入会议。
如果确定当前发言人的个人信息匹配失败,则可以在预设区域502中显示未匹配到当前发言人个人信息的提示信息。并且,不对信息显示区域进行更新工作。
在实际应用中,还存在有的客户端一直没有与会人发言的情况,也就是无法为某一客户端匹配到当前发言人的个人信息的情况,即该客户端还没有明确的与会人信息时,可以直接在信息显示区域显示客户端的设备信息,例如,设备1、设备2或者客户端所在地域信息,例如:上海、深圳等。具体所要显示的设备信息可以供与会人选择,此处不作特殊限定。
综上所述,本公开实施例提供的与会人信息呈现方法,可以用于在客户端的与会人信息不明确,或者说多个与会人共用同一个客户端的情况下,及时对当前发言人的信息进行更新,避免了发言人发生更换而信息显示区域所显示的还是前一个发言人个人信息的情况发生,提高了信息匹配的实时性,便于其他与会人及时准确地获取到发言人的信息,提升了用户体验。
需要说明的是,本示例性实施方式提供的用于音视频会议的与会人信息呈现方法,不仅可以用于视频会议,还可以用于音频会议,任何需要对发言人的信息进行匹配的领域,均落入本申请的保护范围内。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
本公开的示例性实施方式还提供一种与会人信息呈现装置。如图8所示,该与会人信息呈现装置800可以包括:
会议界面呈现模块810,可以用于响应于建立线上会议的请求,建立线上会议连接,并在参与线上会议的各客户端呈现会议界面;其中,会议界面包括各客户端对应的信息显示区域;
个人信息匹配模块830,可以用于实时获取线上会议的当前发言人的生物特征信息,根据当前发言人的生物特征信息,获取当前发言人的个人信息;
信息更新模块850,可以用于根据当前发言人的个人信息,更新当前发言人对应的信息显示区域所显示的信息。
在本公开的一种示例性实施方式中,信息更新模块850,可以用于在信息显示区域显示有之前发言人的个人信息的情况下,在信息显示区域显示会议室信息,并在信息显示区域的其余区域并列添加至少两个子显示区域;
其中,至少两个子显示区域用于分别显示之前发言人的个人信息和当前发言人的个人信息。
在本公开的一种示例性实施方式中,信息更新模块850,可以用于在信息显示区域显示有之前发言人的个人信息的情况下,在显示之前发言人个人信息之外的区域嵌入从显示区域;在从显示区域中显示当前发言人的个人信息。
在本公开的一种示例性实施方式中,信息更新模块850,可以用于在会议界面的预设区域显示当前发言人加入会议的提示信息。
在本公开的一种示例性实施方式中,个人信息包括:姓名、职位、称呼、所在部门及照片中的至少一项。
在本公开的一种示例性实施方式中,与会人信息呈现装置800还包括:
信息采集模块870,可以用于在建立线上会议之前,采集并存储各客户端的设备信息和各与会人的个人信息;
其中,各与会人的个人信息与各与会人的生物特征信息对应。
在本公开的一种示例性实施方式中,个人信息匹配模块830,可以用于根据当前发言人的生物特征信息,从各与会人的生物特征信息中确定出目标生物特征信息;将目标生物特征信息对应的与会人的个人信息,确定为当前发言人的个人信息。
在本公开的一种示例性实施方式中,信息更新模块850,可以用于在匹配到当前发言人的个人信息之前,或者在无法为客户端匹配到当前发言人的个人信息的情况下,在信息显示区域显示客户端的设备信息。
在本公开的一种示例性实施方式中,个人信息匹配模块830,可以用于实时获取当前发言人的声纹信息和人脸信息,并结合人脸信息和声纹信息的匹配结果,确定当前发言人的个人信息。
在本公开的一种示例性实施方式中,个人信息匹配模块830,可以用于根据当前发言人的声纹信息和已存储的各与会人的声纹信息,确定声纹匹配度最高的与会人的声纹匹配度得分;根据当前发言人的人脸信息和声纹匹配度最高的与会人的人脸信息,确定人脸匹配度得分;对声纹匹配度得分和人脸匹配度得分取权重,确定总匹配度得分;在总匹配度得分大于或等于第一预设值的情况下,将声纹匹配度最高的与会人的个人信息,确定为当前发言人的个人信息。
在本公开的一种示例性实施方式中,信息更新模块850,可以用于在总匹配度得分小于第一预设值,且大于或等于第二预设值的情况下,确定没有匹配到当前发言人的个人信息,将当前发言人标记为新与会人;在总匹配度得分小于第二预设值的情况下,显示未匹配到当前发言人的个人信息的提示信息。
上述装置中各部分的具体细节在方法部分实施方式中已经详细说明,因而不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
Claims (14)
1.一种与会人信息呈现方法,其特征在于,包括:
响应于建立线上会议的请求,建立所述线上会议连接,并在参与所述线上会议的各客户端呈现会议界面;其中,所述会议界面包括各所述客户端对应的信息显示区域;
实时获取所述线上会议的当前发言人的生物特征信息,根据所述当前发言人的生物特征信息,获取所述当前发言人的个人信息;
根据所述当前发言人的个人信息,更新所述当前发言人对应的所述信息显示区域所显示的信息。
2.根据权利要求1所述的与会人信息呈现方法,其特征在于,所述根据所述当前发言人的个人信息,更新所述当前发言人对应的所述信息显示区域所显示的信息,包括:
在所述信息显示区域显示所述当前发言人之前发言人的个人信息的情况下,在所述信息显示区域显示会议室信息,并在所述信息显示区域并列添加至少两个子显示区域;
其中,所述至少两个子显示区域用于分别显示所述之前发言人的个人信息和所述当前发言人的个人信息。
3.根据权利要求1所述的与会人信息呈现方法,其特征在于,所述根据所述当前发言人的个人信息,更新所述当前发言人对应的所述信息显示区域所显示的信息,包括:
在所述信息显示区域显示有之前发言人的个人信息的情况下,在显示所述之前发言人个人信息之外的区域嵌入从显示区域;
在所述从显示区域中显示所述当前发言人的个人信息。
4.根据权利要求2或3所述的与会人信息呈现方法,其特征在于,在更新所述当前发言人对应的所述信息显示区域所显示的信息的同时,所述方法还包括:
在所述会议界面的预设区域显示所述当前发言人加入会议的提示信息。
5.根据权利要求1-3中任一项所述的与会人信息呈现方法,其特征在于,所述个人信息包括:姓名、职位、称呼、所在部门及照片中的至少一项。
6.根据权利要求1所述的与会人信息呈现方法,其特征在于,所述方法还包括:
在建立所述线上会议之前,采集并存储各所述客户端的设备信息和各与会人的个人信息;
其中,所述各与会人的个人信息与所述各与会人的生物特征信息对应。
7.根据权利要求6所述的与会人信息呈现方法,其特征在于,所述根据所述当前发言人的生物特征信息,获取所述当前发言人的个人信息,包括:
根据所述当前发言人的生物特征信息,从所述各与会人的生物特征信息中确定出目标生物特征信息;
将所述目标生物特征信息对应的所述与会人的个人信息,确定为所述当前发言人的个人信息。
8.根据权利要求6所述的与会人信息呈现方法,其特征在于,所述方法还包括:
在匹配到所述当前发言人的个人信息之前,或者在无法为所述客户端匹配到所述当前发言人的个人信息的情况下,在所述信息显示区域显示所述客户端的设备信息。
9.根据权利要求1所述的与会人信息呈现方法,其特征在于,所述实时获取所述线上会议的当前发言人的生物特征信息,包括:
实时获取所述当前发言人的声纹信息和人脸信息,并结合所述人脸信息和所述声纹信息的匹配结果,确定所述当前发言人的个人信息。
10.根据权利要求9所述的与会人信息呈现方法,其特征在于,所述结合所述人脸信息和所述声纹信息的匹配结果,确定所述当前发言人的个人信息,包括:
根据所述当前发言人的声纹信息和已存储的各与会人的声纹信息,确定声纹匹配度最高的与会人的声纹匹配度得分;
根据所述当前发言人的人脸信息和所述声纹匹配度最高的与会人的人脸信息,确定人脸匹配度得分;
对所述声纹匹配度得分和所述人脸匹配度得分取权重,确定总匹配度得分;
在所述总匹配度得分大于或等于第一预设值的情况下,将所述声纹匹配度最高的与会人的个人信息,确定为所述当前发言人的个人信息。
11.根据权利要求10所述的与会人信息呈现方法,其特征在于,所述方法还包括:
在所述总匹配度得分小于所述第一预设值,且大于或等于第二预设值的情况下,确定没有匹配到所述当前发言人的个人信息,将所述当前发言人标记为新与会人;
在所述总匹配度得分小于所述第二预设值的情况下,显示未匹配到所述当前发言人的个人信息的提示信息。
12.一种与会人信息呈现装置,其特征在于,所述装置包括:
会议界面呈现模块,用于响应于建立线上会议的请求,建立所述线上会议连接,并在参与所述线上会议的各客户端呈现会议界面;其中,所述会议界面包括各所述客户端对应的信息显示区域;
个人信息匹配模块,用于实时获取所述线上会议的当前发言人的生物特征信息,根据所述当前发言人的生物特征信息,获取所述当前发言人的个人信息;
信息更新模块,用于根据所述当前发言人的个人信息,更新所述当前发言人对应的所述信息显示区域所显示的信息。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的与会人信息呈现方法。
14.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至11中任一项所述的与会人信息呈现方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111193809.7A CN113949837A (zh) | 2021-10-13 | 2021-10-13 | 与会人信息呈现方法、装置、存储介质与电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111193809.7A CN113949837A (zh) | 2021-10-13 | 2021-10-13 | 与会人信息呈现方法、装置、存储介质与电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113949837A true CN113949837A (zh) | 2022-01-18 |
Family
ID=79329579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111193809.7A Pending CN113949837A (zh) | 2021-10-13 | 2021-10-13 | 与会人信息呈现方法、装置、存储介质与电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113949837A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101715102A (zh) * | 2008-10-02 | 2010-05-26 | 宝利通公司 | 在点对点和多点音频/视频会议期间显示动态呼叫者身份 |
CN104639777A (zh) * | 2013-11-14 | 2015-05-20 | 中兴通讯股份有限公司 | 一种会议控制方法、装置及会议系统 |
CN109949818A (zh) * | 2019-02-15 | 2019-06-28 | 平安科技(深圳)有限公司 | 一种基于声纹识别的会议管理方法及相关设备 |
CN110677614A (zh) * | 2019-10-15 | 2020-01-10 | 广州国音智能科技有限公司 | 信息处理方法、装置及计算机可读存储介质 |
CN111818294A (zh) * | 2020-08-03 | 2020-10-23 | 上海依图信息技术有限公司 | 结合音视频的多人会议实时展示的方法、介质和电子设备 |
-
2021
- 2021-10-13 CN CN202111193809.7A patent/CN113949837A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101715102A (zh) * | 2008-10-02 | 2010-05-26 | 宝利通公司 | 在点对点和多点音频/视频会议期间显示动态呼叫者身份 |
CN104639777A (zh) * | 2013-11-14 | 2015-05-20 | 中兴通讯股份有限公司 | 一种会议控制方法、装置及会议系统 |
CN109949818A (zh) * | 2019-02-15 | 2019-06-28 | 平安科技(深圳)有限公司 | 一种基于声纹识别的会议管理方法及相关设备 |
CN110677614A (zh) * | 2019-10-15 | 2020-01-10 | 广州国音智能科技有限公司 | 信息处理方法、装置及计算机可读存储介质 |
CN111818294A (zh) * | 2020-08-03 | 2020-10-23 | 上海依图信息技术有限公司 | 结合音视频的多人会议实时展示的方法、介质和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9569431B2 (en) | Virtual participant-based real-time translation and transcription system for audio and video teleconferences | |
US8791977B2 (en) | Method and system for presenting metadata during a videoconference | |
US11533354B1 (en) | Storage and retrieval of video conference state based upon participants | |
CN104639777A (zh) | 一种会议控制方法、装置及会议系统 | |
CN111739553B (zh) | 会议声音采集、会议记录以及会议记录呈现方法和装置 | |
US11562657B1 (en) | Queuing for a video conference session | |
US10148712B2 (en) | Automated social network introductions for e-meetings | |
US20160329050A1 (en) | Meeting assistant | |
US20170048284A1 (en) | Non-transitory computer readable medium, information processing apparatus, and information processing system | |
US20230092618A1 (en) | Videoconferencing Using Hybrid Edge-Cloud Inference with Machine-Learned Systems | |
US20160142462A1 (en) | Displaying Identities of Online Conference Participants at a Multi-Participant Location | |
US20150079959A1 (en) | Smart Microphone | |
US20220394413A1 (en) | Spatial Audio In Video Conference Calls Based On Content Type Or Participant Role | |
CN114227702A (zh) | 一种基于机器人的会议智能指引方法、装置和机器人 | |
JP2019121093A (ja) | 情報生成システム、情報生成方法、情報処理装置、プログラム、端末装置 | |
JP2019121812A (ja) | 情報処理システム、その制御方法及びプログラム。 | |
CN117011497A (zh) | 一种ar场景下基于ai通用助手的远程多方视频交互方法 | |
CN113949837A (zh) | 与会人信息呈现方法、装置、存储介质与电子设备 | |
CN111935084B (zh) | 通信处理方法及装置 | |
KR102342188B1 (ko) | 화상 회의 서비스 제공 장치 및 방법 | |
CN114244793A (zh) | 信息处理方法、装置、设备及存储介质 | |
CN113225521B (zh) | 视频会议控制方法、装置和电子设备 | |
CN106992971B (zh) | 一种互动终端切换方法、装置和一种互动录播系统 | |
CN113676691A (zh) | 一种智能视频会议系统及方法 | |
KR102585299B1 (ko) | 영상 기반 온라인 행사 진행 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |