CN110113316A - 会议接入方法、装置、设备及计算机可读存储介质 - Google Patents

会议接入方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110113316A
CN110113316A CN201910297410.XA CN201910297410A CN110113316A CN 110113316 A CN110113316 A CN 110113316A CN 201910297410 A CN201910297410 A CN 201910297410A CN 110113316 A CN110113316 A CN 110113316A
Authority
CN
China
Prior art keywords
meeting
audio
output
resource
exports
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910297410.XA
Other languages
English (en)
Other versions
CN110113316B (zh
Inventor
齐燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910297410.XA priority Critical patent/CN110113316B/zh
Publication of CN110113316A publication Critical patent/CN110113316A/zh
Application granted granted Critical
Publication of CN110113316B publication Critical patent/CN110113316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1086In-session procedures session scope modification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种基于语音处理的会议接入方法、装置、设备及计算机可读存储介质,该方法包括:在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息;在检测到基于所述连接提示信息触发的接入指令后,与所述第二会议建立连接,并根据所述接入指令获得所述第二会议对应的目标输出方式;根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容。可实现一个设备同时参加多个会议,提升会议接入设备的智能性。

Description

会议接入方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及数字会议技术领域,尤其涉及一种会议接入方法、装置、设备及计算机可读存储介质。
背景技术
音视频会议是指两个或两个以上不同空间位置的人通过传输线路及多媒体设备,将声音、影像及文件资料互传,实现的即时远程会议。
现有的音视频会议系统只能支持同时接入一个会议,用户在进入一个第二会议之前需挂断之前参加的会议。然而在有些情况下用户需要同时接入多个会议,现有的会议接入设备无法支持这一需求。
发明内容
本发明的主要目的在于提供一种会议接入方法,旨在解决业内现有的会议接入设备无法同时接入多个会议的技术问题。
为实现上述目的,本发明提供一种会议接入方法,其特征在于,所述会议接入方法包括以下步骤:
在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息;
在检测到基于所述连接提示信息触发的接入指令后,与所述第二会议建立连接,并根据所述接入指令获得所述第二会议对应的目标输出方式;
根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容。
可选地,所述根据所述目标输出方式输出第二会议对应内容的步骤包括:
在所述目标输出方式为文字输出时,获得所述第二会议的第一音频,并将所述第一音频转换为第二会议对应文本,输出所述第二会议对应文本;
在所述目标输出方式为音频输出时,获得所述第二会议对应音频,输出所述第二会议对应音频;
在所述目标输出方式为视频输出时,获得所述第二会议对应视频,输出所述第二会议对应视频。
可选地,所述在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息的步骤包括:
在设备处于与第一会议连接的状态下,检测到第二会议对应连接请求后,获取最新的资源支持度和最新的注意力支持度;
比较所述资源支持度和注意力支持度,选择资源支持度和注意力支持度中的较小值作为上限支持度;
判断已连接会议数量是否小于所述上限支持度;
若所述已连接会议数量小于上限支持度,则输出所述第二会议对应的连接提示信息。
可选地,所述获取最新的资源支持度和最新的注意力支持度的步骤之前包括:
获取当前剩余资源、单个会议所需资源、以及用户在各已连接会议的参与时间以及会议切换频率;
根据所述当前剩余资源和单个会议所需资源计算最新的资源支持度,并基于所述参与时间以及会议切换频率计算用户的最新参与度,获取预设值,根据所述预设值和所述最新参与度计算最新的注意力支持度,其中,所述当前剩余资源包括当前剩余CPU资源和/或当前剩余内存资源和/或当前剩余带宽资源。
可选地,所述输出所述第二会议对应音频的步骤包括:
获取所述第一会议对应音频和第二会议对应音频分别对应的方位,根据所述方位获得所述第一会议和第二会议各自对应的头相关传递函数;
获取第一会议对应音频和所述第二会议对应音频;
基于所述第一会议对应音频和第二会议对应音频,以及所述第一会议和第二会议各自对应的头相关传递函数,生成对应的三维音频信号并输出。
可选地,所述获得所述第二会议的第一音频,并将所述第一音频转换为第二会议对应文本的步骤包括:
在检测到特别关注设置指令时,根据所述特别关注设置指令确定所述第二会议中的重点麦克风;
获取来自所述重点麦克风的第二音频,将所述第二音频转换为对应文本,将所述对应文本作为第二会议对应文本。
可选地,所述根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容的步骤包括:
在所述目标输出方式为文字输出或视频输出时,获取当前显示模式设置;
在当前显示模式为窗口模式时,将所述第一会议和所述第二会议对应内容分别在不同窗口进行显示;
在当前显示模式为分屏模式时,将设备屏幕进行分屏,并将所述第一会议和所述第二会议对应内容在分屏后的屏幕分开显示。
此外,为实现上述目的,本发明还提供一种会议接入装置,所述会议接入装置包括:
接入提示模块,用于在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息;
接入解析模块,用于在检测到基于所述连接提示信息触发的接入指令后,与所述第二会议建立连接,并根据所述接入指令获得所述第二会议对应的目标输出方式;
输出模块,用于根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容。
此外,为实现上述目的,本发明还提供一种会议接入设备,所述会议接入设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的会议接入程序,其中所述会议接入程序被所述处理器执行时,实现如上述的会议接入方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有会议接入程序,其中所述会议接入程序被处理器执行时,实现如上述的会议接入方法的步骤。
本发明实施例通过在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息;在检测到基于所述连接提示信息触发的接入指令后,与所述第二会议建立连接,并根据所述接入指令获得所述第二会议对应的目标输出方式;根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容;可实现同时接入多个会议,不用退出已连接的会议以连接新的会议请求,使得用户在有会议冲突时,可同时参加多个会议,提升会议接入设备的智能性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的会议接入设备结构示意图;
图2为本发明会议接入方法一实施例的流程示意图;
图3为本发明会议接入装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参见图1,图1为本发明所提供的会议接入设备的硬件结构示意图。
所述会议接入设备可以是PC,也可以是智能手机、平板电脑、便携计算机、台式计算机等具有显示功能的设备。
所述会议接入设备可以包括:处理器101以及存储器201等部件。在所述会议接入设备中,所述处理器101与所述存储器201连接,所述存储器201上存储有会议接入程序,处理器101可以调用存储器201中存储的会议接入程序,并实现如下述会议接入方法各实施例的步骤。
所述存储器201,可用于存储软件程序以及各种数据。存储器201可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如会议接入程序)等;存储数据区可包括数据库等。处理器101,是会议接入设备的控制中心,利用各种接口和线路连接整个会议接入设备的各个部分,通过运行或执行存储在存储器201内的软件程序和/或模块,以及调用存储在存储器201内的数据,执行会议接入设备的各种功能和处理数据,从而对会议接入设备进行整体监控。
本领域技术人员可以理解,图1中示出的会议接入设备结构并不构成对会议接入设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
基于上述硬件结构,提出本发明方法各个实施例。
本发明提供一种会议接入方法。
参照图2,图2为本发明会议接入方法第一实施例的流程示意图。
本实施例中,所述会议接入方法包括以下步骤:
步骤S10,在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息;步骤S20,在检测到基于所述连接提示信息触发的接入指令后,与所述第二会议建立连接,并根据所述接入指令获得所述第二会议对应的目标输出方式;
本实施例中的设备即会议接入设备,第一会议指设备已连接的一个或多个会议,本实施例中不对第一会议的输出方式做限定。在设备已与一个或多个会议建立连接的前提下,检测到新的会议连接请求,设备基于预设会议接入策略判断是否响应该新的会议连接请求以接入新的会议,其中,新的会议连接请求即本实施例中的第二会议对应连接请求。
预设会议接入策略可以指根据用户操作确定是否接入第二会议,也可以基于可调度资源确定是否接入第二会议。在一实施方式中,在检测到第二会议对应连接请求后,输出是否接入第二会议的选择提示,由用户基于该选择提示输入选择指令,通过分析该选择指令确定用户意图:是否接入第二会议,若分析该选择指令确定用户选择接入第二会议,则将会议输出方式列表输出到用户界面,以供用户基于会议输出方式列表选择第二会议对应的目标输出方式,并触发生成接入指令。其中,选择提示以及会议输出方式列表等都属于本实施例中的第二会议对应的连接提示信息。
在另一实施方式中,在检测到第二会议对应连接请求后,获取设备当前可调度资源以及第二会议所需资源,根据设备当前可调度资源以及第二会议所需资源判断是否支持接入第二会议,若当前可调度资源支持接入第二会议,则输出第二会议对应的连接提示信息,若当前可调度资源无法支持接入第二会议,则输出当前资源无法接入第二会议的提示消息。
步骤S30,根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容。
目标输出方式可能为文字输出、音频输出或视频输出,不同的输出方式对应着不同的输出内容,在目标输出方式为文字时,输出第二会议对应文本内容,在目标输出方式为音频时,输出第二会议对应音频内容,在目标输出方式为视频时,输出第二会议对应视频内容。在输出第二会议的同时,还输出第一会议对应内容,第一会议对应内容的表现形式与第一会议的输出方式对应,例如,在第一会议的输出方式为文字输出时,第一会议对应内容为文字形式;在第一会议的输出方式为音频输出时,第一会议对应内容为音频形式的内容。通过上述步骤,可使会议接入设备同时接入并输出多个会议,提升会议接入设备的智能性。
具体地,步骤S30包括:
步骤S31,在所述目标输出方式为文字输出时,获得所述第二会议的第一音频,并将所述第一音频转换为第二会议对应文本,输出所述第二会议对应文本;
文字输出,指将会议内容以文字形式输出。具体地,可实时获得第二会议的音频信息(即本实施例中的第一音频),将获得的第一音频进行音频转文字操作后得到第二会议对应文本,将第二会议对应文本显示输出。可选地,可将第一音频转换后得到的全部文本内容作为第二会议对应文本,也可将第一音频转换后得到的全部文本进行语义识别,识别并删除文本文件中的无意义词汇后得到的文本内容作为第二会议对应文本,其中无意义词汇指语气词等。
目标输出方式仅为第二会议的输出方式,保留第一会议原有的输出方式。
因设备已与第一会议连接,则设备当前正在输出第一会议对应内容,第一会议可以为文字输出或音频输出或会议输出,在接入第二会议后,在输出第一会议对应内容的同时,还输出第二会议对应文本。
可选地,所述获得所述第二会议的第一音频,并将所述第一音频转换为第二会议对应文本的步骤包括:
步骤S310,在检测到特别关注设置指令时,根据所述特别关注设置指令确定所述第二会议中的重点麦克风;
对于会议中的重点关注者,可以对其进行特别关注设置。在线会议中各与会成员的语音输入有各自专属的麦克风,因此,可以通过对语音来源麦克风的识别,实现对重点关注者的语音识别。
特别关注设置指令,由用户输入操作触发,指向特定与会成员的麦克风,即本实施例中的重点麦克风。
步骤S311,获取来自所述重点麦克风的第二音频,将所述第二音频转换为对应文本,将所述对应文本作为第二会议对应文本。
可将重点麦克风对应音频获取请求发送给会议调度服务器,由会议调度服务器将重点麦克风对应音频发送给会议接入设备,第二音频指来源于重点麦克风的音频。将第二音频转换为文本文件后,同时输出第一会议对应内容和该文本文件,即:接入第二会议后,仅获取重点麦克风的音频文件,并仅输出重点麦克风对应音频转化后的文本内容,可减少非重要信息的传递,减少信息量的传递,进而减少第二会议的资源占用,减少因为资源占用过多造成的会议卡顿,使得会议接入设备连接的会议流畅地输出。
步骤S32,在所述目标输出方式为音频输出时,获得所述第二会议对应音频,输出所述第二会议对应音频;
应注意的是,第一会议可包含一个或一个以上的已连接会议,其输出方式为音频输出或者视频输出时,都需要对会议音频进行输出。
可选地,在所述目标输出方式为音频输出后,实时获得第二会议的音频,并对第二会议的音频进行语音活动检测,将有人类话语的音频作为第二会议对应音频。
在一实施方式中,对各个会议的音频进行不同虚拟角度的输出,可通过四声道环绕音频技术,将不同会议音频通过不同声道输出,四声道环绕规定了4个发音点:前左、前右,后左、后右,用户可以设置各会议的音频输出声道,使得用户可听到从不同方向来的不同会议的声音,不同角度输出声音可以让用户同时听到所有会议的会话内容而不影响理解内容。还可基于HRTF技术-3D空间声音定位技术,实现对不同会议声音在不同方向/虚拟位置声音音量大小的调整,使用户听着像是从不同方向发出。
在另一实施方式中,在确定目标输出方式为音频输出后,可首先确定可调用的音频输出硬件资源,具体地,获取当前需要音频输出的音频会议数目和扬声器数目,将音频会议数目与扬声器数目进行对比,若音频会议数目大于扬声器数目,则输出扬声器数目不足的提示,可将第二会议的输出方式转为文本输出。
若音频会议数目小于扬声器数目,则获取空闲扬声器,将第二会议对应音频通过空闲扬声器输出,可选地,在空闲扬声器数目大于1时,提示用户选择第二会议对应音频的扬声器,还可在检测到用户点击扬声器切换按钮时,切换第二会议对应音频的扬声器。
步骤S33,在所述目标输出方式为视频输出时,获得所述第二会议对应视频,并同时输出所述第二会议对应视频。
本实施例中的视频输出指音视频输出,即既有画面,又有声音。
第一会议和第二会议的视频输出,可以以窗口形式显示,可选定主窗口,将主窗口大屏或全屏显示,其他窗口可缩小显示在会议接入设备的页面最上层,也可以隐藏在主窗口之下。
本实施例中,在所述目标输出方式为文字输出时,获得所述第二会议的第一音频,并将所述第一音频转换为第二会议对应文本,输出所述第二会议对应文本;在所述目标输出方式为音频输出时,获得所述第二会议对应音频,输出所述第二会议对应音频;在所述目标输出方式为视频输出时,获得所述第二会议对应视频,并同时输出所述第二会议对应视频,即本实施例实现不同目标输出方式下第二会议与第一会议的同时输出,可提升会议接入设备的智能性。
进一步地,在本发明会议接入方法第二实施例中,所述根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容的步骤包括:
步骤S34,在所述目标输出方式为文字输出或视频输出时,获取当前显示模式设置;
在将第一会议和第二会议音频转化后的文本文件同时输出时,有多种显示输出的模式设置,可根据用户操作进行不同的显示模式设置,使得应用本发明会议接入方法的会议接入设备更加智能化,以满足不同用户个性化的需求。可通过获取会议接入设备多会议的当前显示模式设置信息,进而确定当前显示模式设置。
骤S35,在当前显示模式为窗口模式时,将所述第一会议和所述第二会议对应内容分别在不同窗口进行显示;
将会议以窗口形式显示,多窗口显示时,可选定主窗口,将主窗口大屏或全屏显示,其他窗口可缩小显示在会议接入设备的页面最上层,也可以隐藏在主窗口之下。可将第一会议所在显示窗口设置为主窗口,将第二会议所在显示窗口缩小显示在应用最上层,使得用户主要参与第一会议的同时,还可关注第二会议的会议内容。此外,还可根据用户操作切换主窗口,例如,通过双击第二会议所在显示窗口,将第二会议所在显示窗口设置为主窗口。
可选地,可固定主窗口的输出方式为音频输出或视频输出,在将第二会议窗口切换为主窗口时,将第二会议的输出方式从文字输出切换为音频输出或视频输出,同时将原主窗口显示的会议切换为文字输出;可选地,也可设置会议输出方式固定,不随窗口切换而改变。
步骤S36,在当前显示模式为分屏模式时,将设备屏幕进行分屏,并将所述第一会议和所述第二会议对应内容在分屏后的屏幕分开显示。
会议接入设备在检测到多会议显示需求时,基于会议数目对设备屏幕进行分屏,在不同分屏区域进行不同会议的显示,可选地,预置设备的分屏上限,在会议数目小于分屏上限时,将设备屏幕按照会议数目进行对应分屏,在会议数目大于分屏上限时,将设备屏幕按照分屏上限进行对应分屏,各分屏显示一个会议,其他无分屏资源的会议隐藏。
本实施例通过根据当前显示模式设置适用不同的显示方式,实现将第一会议和第二会议同时输出。
进一步地,在本发明会议接入方法第三实施例中,所述步骤S10包括:
步骤S11,在设备处于与第一会议连接的状态下,检测到第二会议对应连接请求后,获取最新的资源支持度和最新的注意力支持度;
在检测到第二会议的会议连接请求后,会议接入设备通过可调度资源分析判断当前剩余资源是否支持接入第二会议。在进行可调度资源分析时,需获得最新的资源支持度和最新的注意力支持度,才可进行及时有效的资源分析。
资源支持度,指会议接入设备的剩余软硬件资源可支持的会议数目,注意力支持度,指根据用户注意力分析获得的用户可参与的会议数目。可实时获取资源占用信息和用户注意力信息,并分别基于资源占用信息和用户注意力信息计算资源支持度和注意力支持度,将计算获得的最新资源支持度和注意力支持度存储在预置地址,在会议接入设备检测到第二会议对应连接请求后,从预置地址中直接获取最新的资源支持度和最新的注意力支持度。
可选地,所述获取最新的资源支持度和最新的注意力支持度的步骤之前包括:
步骤S15,获取当前剩余资源、单个会议所需资源、以及用户在各已连接会议的参与时间以及会议切换频率;
当前剩余资源包括当前剩余CPU资源、当前剩余内存资源以及当前剩余带宽资源,可实时或定时获取当前剩余资源。单个会议所需资源为固定值,可直接获得。
用户在各已连接会议的参与时间,可以是用户在各已连接会议的发言时间或文字输入时间,或其他可检测到的设备操作时间;会议切换频率,即预设时段内会议切换频次,如5分钟内会议切换频次。
步骤S16,根据所述当前剩余资源和单个会议所需资源计算最新的资源支持度,并基于所述参与时间以及会议切换频率计算用户的最新参与度,获取预设值,根据所述预设值和所述最新参与度计算最新的注意力支持度,其中,所述当前剩余资源包括当前剩余CPU资源和/或当前剩余内存资源和/或当前剩余带宽资源。
将当前剩余CPU资源、当前剩余内存资源以及当前剩余带宽资源分别除以单个会议所需资源,获得对应的三个商值,所述三个商值中的最小值为最新的资源支持度。
可通过C=aV+bS计算参与度,V为所有当前会议的总参与时间,S是会议切换频率,a和b是权重。预设值为经验值,将预设值设为K,K是参与度为1时候,最多允许接入的会议数量上限,可以通过计算K/C取整获得注意力支持度。如果用户的参与度很高,说明用户很忙,则需调低允许接入的会议数量上限。
步骤S12,比较所述资源支持度和注意力支持度,选择资源支持度和注意力支持度中的较小值作为上限支持度;
在检测到第二会议连接请求时,获取并比较当前的资源支持度和注意力支持度,选取资源支持度和注意力支持度中的较小值,作为上限支持度,即允许接入的会议数量上限。
步骤S13,判断已连接会议数量是否小于所述上限支持度;若所述已连接会议数量小于上限支持度,则输出所述第二会议对应的连接提示信息。
若所述已连接会议数量小于上限支持度,说明会议接入设备还有多余资源可以支持接入第二会议,则输出第二会议对应的连接提示信息,由用户选择是否接入第二会议。若所述已连接会议数量大于或等于上限支持度,说明接入设备没有多余资源可以支持接入第二会议,则直接通知用户第二会议曾发起接入请求,以及资源不足的提示信息。
本实施例在检测到第二会议对应连接请求后,获取最新的资源支持度和最新的注意力支持度,以判断设备软硬件资源以及用户注意力资源是否还支持接入第二会议,以避免接入会议过多造成的会议输出卡顿,影响会议接入设备性能。
进一步地,在本发明会议接入方法第四实施例中,步骤S40中所述输出所述第二会议对应音频的步骤包括:
步骤S41,获取所述第一会议对应音频和第二会议对应音频分别对应的方位,根据所述方位获得所述第一会议和第二会议各自对应的头相关传递函数;
预先将各会议的虚拟方位置于固定的虚拟方位,例如,第一会议置于正前方,第二会议置于左后方。可根据用户操作进行各会议的虚拟方位选择,可根据用户操作随时切换各会议的虚拟方位。
头相关传递函数描述了声音从声源传播到耳内的声音信号的物理变换过程,本实施例中,通过头相关传递函数对声源信号进行滤波,以得到的具有方向感的声音。头相关传递函数预置于数据库中,不同虚拟方位具有对应的头相关传递函数,可根据第一会议对应音频和第二会议对应音频分别对应的方位从数据库中获得对应的头相关传递函数。头相关传递函数的生成为现有技术,此处不赘述。
步骤S42,获取所述第一会议对应音频和所述第二会议对应音频;
第一会议对应音频指第一会议的输出音频,第二会议对应音频指第二会议的输出音频。可首先实时获得第一会议/第二会议的音频,对音频进行预处理后得到第一会议/第二会议的输出音频,即第一会议对应音频和第二会议对应音频,其中,预处理包括语音活动侦测(Voice Activity Detection,VAD),即通过对第一会议/第二会议的输出音频进行语音活动侦测,剔除音频中不含语音的部分,仅将含有语音的部分作为第一会议/第二会议对应音频进行输出,以节省带宽资源占用;预处理还可包括音频去躁,即对第一会议/第二会议的音频进行去躁,去除因网络传输、设备性能限制等造成的噪音后,得到去躁后的音频作为第一会议/第二会议对应音频。
步骤S43,基于所述第一会议对应音频和第二会议对应音频,以及所述第一会议和第二会议各自对应的头相关传递函数,生成对应的三维音频信号并输出。
对于任一会议音频的三维音频信号的生成,具体包括:首先,对时域中的原始声音信号进行傅里叶变换,产生频域中的声音信号;然后,获取该声音信号所在方位对应的频域中的头相关传递函数,用频域中的头相关传递函数滤波频域中的声音信号,在频域中生成了新的声音信号;最后,对新生成的声音信号进行傅里叶逆变换,即可获得时域中的三维虚拟声信号。
对第一会议对应音频和第二会议对应音频与对应的头相关传递函数分别进行上述三维音频信号的生成步骤,生成对应的三维音频信号。
可选地,在使用耳机作为音频输出设备时,将所述三维音频信号输出包括:将第一会议和第二会议对应的三维音频信号合并成一路三维音频信号,具体地,将各路三维音频的左声道信号加权求和得到左声道信号,将各路三维音频的右声道信号直接叠加求和得到右声道信号,输出左声道信号和右声道信号。
本实施例通过将各会议置于对应不同方位,并由对应不同方位的头相关传递函数对各会议音频进行滤波,生成具有空间方向感的三维音频信号,可实现从不同的空间角度播放会议的音频,用户可以同时接受多个会议内容而不受影响。
可选地,所述获取所述第一会议对应音频和第二会议对应音频分别对应的方位的步骤包括:获取设备的运动轨迹,根据设备的运动轨迹从已连接会议中确定主会议;将所述主会议对应音频在预置的最优方位输出。
可通过设备的电子罗盘检测设备的运动轨迹,具体地,可通过电子罗盘检测设备运动之前的第一朝向角度、运动过程中的设备朝向角度以及运动后的第二朝向角度,基于第一朝向角度、运动中朝向角度以及第二朝向角度构建设备的运动轨迹。
预设第一会议和第二会议各自的切换轨迹,将设备的运动轨迹与第一会议和第二会议各自的切换轨迹进行匹配,将与设备的运动轨迹匹配的对应会议作为主会议。
可选地,将第一会议的切换轨迹预设为向左翻转两次,则在检测到运动轨迹与“向左翻转两次”匹配时,将第一会议作为主会议。如此,可实现利用设备传感器来判断设备朝向,进而确定用户意图,并自动切换相对应的主会议。
预置的最优方位,指预先设置的音频接收的最优的方位,可以由用户根据自身需求设置,也可以遵循系统默认设置,最优方位可设置为正左方或正前方。将主会议对应音频在预置的最优方位输出,可对不同重要程度的会议进行差异化输出,可使用户将最大注意力集中在主会议。
此外,本发明还提供一种与上述会议接入方法各步骤对应的会议接入装置。
参照图3,图3为本发明会议接入装置第一实施例的功能模块示意图。
在本实施例中,本发明会议接入装置包括:
接入提示模块10,用于在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息;
接入解析模块20,用于在检测到基于所述连接提示信息触发的接入指令后,与所述第二会议建立连接,并根据所述接入指令获得所述第二会议对应的目标输出方式;
输出模块30,用于根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容。
进一步地,所述输出模块30,还包括:
文字输出模块,用于在所述目标输出方式为文字输出时,获得所述第二会议的第一音频,并将所述第一音频转换为第二会议对应文本,输出所述第二会议对应文本;
音频输出模块,在所述目标输出方式为音频输出时,获得所述第二会议对应音频,输出所述第二会议对应音频;
视频输出模块,用于在所述目标输出方式为视频输出时,获得所述第二会议对应视频,输出所述第二会议对应视频。
进一步地,所述接入提示模块,还用于在设备处于与第一会议连接的状态下,检测到第二会议对应连接请求后,获取最新的资源支持度和最新的注意力支持度;比较所述资源支持度和注意力支持度,选择资源支持度和注意力支持度中的较小值作为上限支持度;判断已连接会议数量是否小于所述上限支持度;若所述已连接会议数量小于上限支持度,则输出所述第二会议对应的连接提示信息。
进一步地,所述会议接入装置包括:
资源计算模块,用于获取当前剩余资源、单个会议所需资源、以及用户在各已连接会议的参与时间以及会议切换频率;
注意力计算模块,用于根据所述当前剩余资源和单个会议所需资源计算最新的资源支持度,并基于所述参与时间以及会议切换频率计算用户的最新参与度,获取预设值,根据所述预设值和所述最新参与度计算最新的注意力支持度,其中,所述当前剩余资源包括当前剩余CPU资源和/或当前剩余内存资源和/或当前剩余带宽资源。
进一步地,所述音频输出模块,还用于获取所述第一会议对应音频和第二会议对应音频分别对应的方位,根据所述方位获得所述第一会议和第二会议各自对应的头相关传递函数;获取第一会议对应音频和所述第二会议对应音频;基于所述第一会议对应音频和第二会议对应音频,以及所述第一会议和第二会议各自对应的头相关传递函数,生成对应的三维音频信号并输出。
进一步地,所述文字输出模块,还用于在检测到特别关注设置指令时,根据所述特别关注设置指令确定所述第二会议中的重点麦克风;获取来自所述重点麦克风的第二音频,将所述第二音频转换为对应文本,将所述对应文本作为第二会议对应文本。
进一步地,所述文字输出模块,还用于在所述目标输出方式为文字输出或视频输出时,获取当前显示模式设置;在当前显示模式为窗口模式时,将所述第一会议和所述第二会议对应内容分别在不同窗口进行显示;在当前显示模式为分屏模式时,将设备屏幕进行分屏,并将所述第一会议和所述第二会议对应内容在分屏后的屏幕分开显示。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序。所述计算机可读存储介质可以是图1的会议接入设备中的存储器201,也可以是如ROM(Read-OnlyMemory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘中的至少一种,所述计算机可读存储介质包括若干指令用以使得一台具有处理器的设备(可以是手机,计算机,服务器,网络设备或本发明实施例中的会议接入设备等)执行本发明各个实施例所述的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者服务端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者服务端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者服务端中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种会议接入方法,其特征在于,所述会议接入方法包括以下步骤:
在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息;
在检测到基于所述连接提示信息触发的接入指令后,与所述第二会议建立连接,并根据所述接入指令获得所述第二会议对应的目标输出方式;
根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容。
2.如权利要求1所述的会议接入方法,其特征在于,所述根据所述目标输出方式输出第二会议对应内容的步骤包括:
在所述目标输出方式为文字输出时,获得所述第二会议的第一音频,并将所述第一音频转换为第二会议对应文本,输出所述第二会议对应文本;
在所述目标输出方式为音频输出时,获得所述第二会议对应音频,输出所述第二会议对应音频;
在所述目标输出方式为视频输出时,获得所述第二会议对应视频,输出所述第二会议对应视频。
3.如权利要求1所述的会议接入方法,其特征在于,所述在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息的步骤包括:
在设备处于与第一会议连接的状态下,检测到第二会议对应连接请求后,获取最新的资源支持度和最新的注意力支持度;
比较所述资源支持度和注意力支持度,选择资源支持度和注意力支持度中的较小值作为上限支持度;
判断已连接会议数量是否小于所述上限支持度;
若所述已连接会议数量小于上限支持度,则输出所述第二会议对应的连接提示信息。
4.如权利要求3所述的会议接入方法,其特征在于,所述获取最新的资源支持度和最新的注意力支持度的步骤之前包括:
获取当前剩余资源、单个会议所需资源、以及用户在各已连接会议的参与时间以及会议切换频率;
根据所述当前剩余资源和单个会议所需资源计算最新的资源支持度,并基于所述参与时间以及会议切换频率计算用户的最新参与度,获取预设值,根据所述预设值和所述最新参与度计算最新的注意力支持度,其中,所述当前剩余资源包括当前剩余CPU资源和/或当前剩余内存资源和/或当前剩余带宽资源。
5.如权利要求1所述的会议接入方法,其特征在于,所述输出所述第二会议对应音频的步骤包括:
获取所述第一会议对应音频和第二会议对应音频分别对应的方位,根据所述方位获得所述第一会议和第二会议各自对应的头相关传递函数;
获取第一会议对应音频和所述第二会议对应音频;
基于所述第一会议对应音频和第二会议对应音频,以及所述第一会议和第二会议各自对应的头相关传递函数,生成对应的三维音频信号并输出。
6.如权利要求1所述的会议接入方法,其特征在于,所述获得所述第二会议的第一音频,并将所述第一音频转换为第二会议对应文本的步骤包括:
在检测到特别关注设置指令时,根据所述特别关注设置指令确定所述第二会议中的重点麦克风;
获取来自所述重点麦克风的第二音频,将所述第二音频转换为对应文本,将所述对应文本作为第二会议对应文本。
7.如权利要求1所述的会议接入方法,其特征在于,所述根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容的步骤包括:
在所述目标输出方式为文字输出或视频输出时,获取当前显示模式设置;
在当前显示模式为窗口模式时,将所述第一会议和所述第二会议对应内容分别在不同窗口进行显示;
在当前显示模式为分屏模式时,将设备屏幕进行分屏,并将所述第一会议和所述第二会议对应内容在分屏后的屏幕分开显示。
8.一种会议接入装置,其特征在于,所述会议接入装置包括:
接入提示模块,用于在设备处于与第一会议连接的状态下,检测是否接收到第二会议对应连接请求,并在接收到所述连接请求后输出所述第二会议对应的连接提示信息;
接入解析模块,用于在检测到基于所述连接提示信息触发的接入指令后,与所述第二会议建立连接,并根据所述接入指令获得所述第二会议对应的目标输出方式;
输出模块,用于根据所述目标输出方式输出第二会议对应内容,并同时输出所述第一会议对应内容。
9.一种会议接入设备,其特征在于,所述会议接入设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的会议接入程序,其中所述会议接入程序被所述处理器执行时,实现如权利要求1至7中任一项所述的会议接入方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有会议接入程序,其中所述会议接入程序被处理器执行时,实现如权利要求1至7中任一项所述的会议接入方法的步骤。
CN201910297410.XA 2019-04-12 2019-04-12 会议接入方法、装置、设备及计算机可读存储介质 Active CN110113316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910297410.XA CN110113316B (zh) 2019-04-12 2019-04-12 会议接入方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910297410.XA CN110113316B (zh) 2019-04-12 2019-04-12 会议接入方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110113316A true CN110113316A (zh) 2019-08-09
CN110113316B CN110113316B (zh) 2022-10-14

Family

ID=67485436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910297410.XA Active CN110113316B (zh) 2019-04-12 2019-04-12 会议接入方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110113316B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719434A (zh) * 2019-09-29 2020-01-21 视联动力信息技术股份有限公司 一种视频会议的方法和装置
CN110719433A (zh) * 2019-09-25 2020-01-21 视联动力信息技术股份有限公司 终端在线状态的展示方法及装置、电子设备、存储介质
CN110730324A (zh) * 2019-09-12 2020-01-24 视联动力信息技术股份有限公司 一种视频画面显示控制方法和装置
CN110769189A (zh) * 2019-10-15 2020-02-07 广州国音智能科技有限公司 视频会议切换方法、装置及可读存储介质
CN110808843A (zh) * 2019-09-26 2020-02-18 视联动力信息技术股份有限公司 语音数据发送方法、装置、电子设备及存储介质
CN111147444A (zh) * 2019-11-20 2020-05-12 维沃移动通信有限公司 一种交互方法及电子设备
CN113259138A (zh) * 2021-05-27 2021-08-13 全时云商务服务股份有限公司 一种会议事件触发与通知的方法、系统和可读存储介质
CN113296725A (zh) * 2021-06-16 2021-08-24 维沃移动通信(杭州)有限公司 会议排列方法和装置
CN113300934A (zh) * 2020-02-24 2021-08-24 钉钉控股(开曼)有限公司 通信方法、装置、设备和存储介质
CN114286274A (zh) * 2021-12-21 2022-04-05 北京百度网讯科技有限公司 音频处理方法、装置、设备和存储介质
CN115174532A (zh) * 2022-07-06 2022-10-11 中国银行股份有限公司 一种线上会议方法、装置、电子设备及存储介质
TWI816219B (zh) * 2021-06-15 2023-09-21 美商惠普發展公司有限責任合夥企業 用於基於確認之音訊通訊之運算裝置及非暫時性電腦可讀媒體

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267419A1 (en) * 2010-04-30 2011-11-03 Microsoft Corporation Accelerated instant replay for co-present and distributed meetings
US20140123027A1 (en) * 2012-10-26 2014-05-01 International Business Machines Corporation Virtual meetings
US20170093931A1 (en) * 2015-09-25 2017-03-30 International Business Machines Corporation Multiplexed, multimodal conferencing
US9652113B1 (en) * 2016-10-06 2017-05-16 International Business Machines Corporation Managing multiple overlapped or missed meetings
US20180337968A1 (en) * 2017-05-16 2018-11-22 Microsoft Technology Licensing, Llc Concurrent engagement with live content of multiple conference sessions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267419A1 (en) * 2010-04-30 2011-11-03 Microsoft Corporation Accelerated instant replay for co-present and distributed meetings
US20140123027A1 (en) * 2012-10-26 2014-05-01 International Business Machines Corporation Virtual meetings
US20170093931A1 (en) * 2015-09-25 2017-03-30 International Business Machines Corporation Multiplexed, multimodal conferencing
US9652113B1 (en) * 2016-10-06 2017-05-16 International Business Machines Corporation Managing multiple overlapped or missed meetings
US20180337968A1 (en) * 2017-05-16 2018-11-22 Microsoft Technology Licensing, Llc Concurrent engagement with live content of multiple conference sessions

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730324A (zh) * 2019-09-12 2020-01-24 视联动力信息技术股份有限公司 一种视频画面显示控制方法和装置
CN110730324B (zh) * 2019-09-12 2021-03-26 视联动力信息技术股份有限公司 一种视频画面显示控制方法和装置
CN110719433A (zh) * 2019-09-25 2020-01-21 视联动力信息技术股份有限公司 终端在线状态的展示方法及装置、电子设备、存储介质
CN110808843A (zh) * 2019-09-26 2020-02-18 视联动力信息技术股份有限公司 语音数据发送方法、装置、电子设备及存储介质
CN110719434A (zh) * 2019-09-29 2020-01-21 视联动力信息技术股份有限公司 一种视频会议的方法和装置
CN110769189A (zh) * 2019-10-15 2020-02-07 广州国音智能科技有限公司 视频会议切换方法、装置及可读存储介质
CN110769189B (zh) * 2019-10-15 2021-02-12 广州国音智能科技有限公司 视频会议切换方法、装置及可读存储介质
CN111147444A (zh) * 2019-11-20 2020-05-12 维沃移动通信有限公司 一种交互方法及电子设备
CN113300934A (zh) * 2020-02-24 2021-08-24 钉钉控股(开曼)有限公司 通信方法、装置、设备和存储介质
CN113300934B (zh) * 2020-02-24 2023-08-22 钉钉控股(开曼)有限公司 通信方法、装置、设备和存储介质
CN113259138A (zh) * 2021-05-27 2021-08-13 全时云商务服务股份有限公司 一种会议事件触发与通知的方法、系统和可读存储介质
CN113259138B (zh) * 2021-05-27 2021-09-24 全时云商务服务股份有限公司 一种会议事件触发与通知的方法、系统和可读存储介质
TWI816219B (zh) * 2021-06-15 2023-09-21 美商惠普發展公司有限責任合夥企業 用於基於確認之音訊通訊之運算裝置及非暫時性電腦可讀媒體
CN113296725A (zh) * 2021-06-16 2021-08-24 维沃移动通信(杭州)有限公司 会议排列方法和装置
CN114286274A (zh) * 2021-12-21 2022-04-05 北京百度网讯科技有限公司 音频处理方法、装置、设备和存储介质
CN115174532A (zh) * 2022-07-06 2022-10-11 中国银行股份有限公司 一种线上会议方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110113316B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN110113316A (zh) 会议接入方法、装置、设备及计算机可读存储介质
EP3282669B1 (en) Private communications in virtual meetings
CN107613242A (zh) 视频会议处理方法及终端、服务器
US20100315482A1 (en) Interest Determination For Auditory Enhancement
CN113170076A (zh) 用于通信会话的序列事件的动态策展
US8587634B1 (en) System and method for intelligent mode switching in a communications environment
CN113873195B (zh) 视频会议控制方法、装置和存储介质
US20220131979A1 (en) Methods and systems for automatic queuing in conference calls
US20180048683A1 (en) Private communications in virtual meetings
CN111556279A (zh) 即时会话的监控方法和通信方法
US20160142462A1 (en) Displaying Identities of Online Conference Participants at a Multi-Participant Location
CN109920416A (zh) 一种语音控制方法、装置、存储介质及控制系统
US20230051413A1 (en) Voice call control method and apparatus, computer-readable medium, and electronic device
CN115810356A (zh) 语音控制方法、装置、存储介质以及电子设备
CN112200542A (zh) 会议引导方法及相关装置
US8976223B1 (en) Speaker switching in multiway conversation
WO2022161446A1 (zh) 控制方法、装置和电子设备
US11489895B1 (en) Mute control deactivation in online conference
CN112433697B (zh) 一种资源展示方法、装置、电子设备及存储介质
CN113992882A (zh) 多人会话的分组处理方法和装置、电子设备和存储介质
CN112634879B (zh) 语音会议管理方法、装置、设备及介质
CN111556271B (zh) 视频通话方法、视频通话装置和电子设备
CN113835670A (zh) 设备控制方法、装置、存储介质及电子设备
WO2024032111A1 (zh) 在线会议的数据处理方法、装置、设备、介质及产品
US11856327B2 (en) Adaptive audio quality amelioration for video conferencing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant