CN111641799A - 一种视频会议系统及其音频质量诊断方法 - Google Patents
一种视频会议系统及其音频质量诊断方法 Download PDFInfo
- Publication number
- CN111641799A CN111641799A CN202010312144.6A CN202010312144A CN111641799A CN 111641799 A CN111641799 A CN 111641799A CN 202010312144 A CN202010312144 A CN 202010312144A CN 111641799 A CN111641799 A CN 111641799A
- Authority
- CN
- China
- Prior art keywords
- audio
- data
- frame
- diagnosis
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种视频会议系统,涉及多媒体通信领域,对视频会议系统的音频质量进行分析诊断、评估并告警;包括交换机、MCU、RTMP直播设备、音频质量诊断系统;交换机、RTMP直播设备、音频质量诊断系统依次连接;MCU与交换及连接;交换机接收原始流音频数据并处理,MCU发出指令信号控制交换机,交换机通过端口镜像将信号送入RTMP直播设备,RTMP直播设备将信号按照实时消息传输协议送入音频质量诊断系统中,对音频数据各项指标进行诊断,判断音频质量并输出音频质量诊断结果;一种音频质量诊断方法,包括:获取原始流数据;获取音频流数据;获取音频帧;音频诊断;输出诊断结果,保证视频会议流畅性。
Description
技术领域
本发明属于多媒体通信技术领域,涉及一种视频会议系统及其音频质量诊断方法。
背景技术
随着多媒体与通信技术的迅速发展,视频会议给予用户最直观的会议体验,得到了众多企业的认可。
现有技术中,申请号为CN201910324555.4的中国发明专利申请《一种基于多链路传输的远程音视频会议系统及处理方法》,公开了一种基于多链路传输的远程音视频会议系统及处理方法,包括:客户端、多链路传输控制器、公网服务器和专家端;客户端用于采集或输入会议诊断所需要的现场数据并传输给多链路传输控制器或公网服务器,用于接收公网服务器返回的专家诊断意见数据并播放显示;现场数据包括音频数据和视频数据;多链路传输控制器用于将接收的客户端的现场数据通过多链路并行传输的方式输送给公网服务器;专家端用于接收公网服务器输送的现场数据并播放显示,用于采集或输入会议诊断所需要的专家诊断意见数据,并通过公网服务器传输给客户然能够保证在延时低的同时提供高质量的视频图像传输。
但是上述专利申请并未解决视频会议系统中出现的音频质量的问题。
发明内容
本发明所要解决的技术问题在于如何对视频会议系统的音频质量进行分析诊断、评估并告警。
本发明是通过以下技术方案解决上述技术问题的。
一种视频会议系统,包括交换机、MCU、RTMP直播设备、音频质量诊断系统;所述的交换机、RTMP直播设备、音频质量诊断系统依次连接;所述的MCU与交换机连接,所述交换机接收原始流音频数据并处理,所述的MCU发出指令信号控制交换机,所述的交换机通过端口镜像将处理后的原始流音频数据送入RTMP直播设备,所述的RTMP直播设备将处理后的原始流音频数据按照实时消息传输协议送入音频质量诊断系统中,并对音频数据的各项指标进行诊断,根据诊断结果判断音频质量,并输出音频质量诊断结果;所述的视频会议场景下的音频质量诊断系统包括:
获取原始流数据模块;用于对视频会议系统中连接MCU的交换机进行端口镜像,获取会议中原始流数据,利用RTMP直播设备将原始流数据以RTMP的方式进行推送;
获取音频流数据模块;利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码,获取音频流数据;所述的FFMPEG计算机程序用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。
获取音频帧模块;将获取音频流数据模块中的音频流数据根据时间片段进行划分,获取不同段的音频帧数据;
音频诊断模块;对获取音频帧模块中音频帧数据的指标进行音频诊断,根据诊断结果判断音频质量并输出音频质量诊断结果;
输出诊断结果、告警模块;对音频诊断模块中的各项指标的诊断结果进行分析处理并向运维中心告警,通知运维人员进行相关维护,保障会议的正常运行。
提供了一种视频会议系统,通过音频质量诊断系统,在召开视频会议系统时,从声音大小检测、声音啸叫检测方面对音频质量进行分析诊断,从而对音频的各项指标的诊断结果进行分析处理并及时向运维中心告警,通知运维人员进行相关维护,保证了视频会议的流畅性。
作为本发明技术方案的进一步改进,所述的音频诊断模块中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。
作为本发明技术方案的进一步改进,所述的声音大小检测的方法包括以下步骤:
1)输入单个音频帧,并通过以下公式计算出单个音频帧幅值的能量值t:
t=20*log10(x/y) (1)
其中,y为声音总的振幅最大值,x为当前声音的振幅值;
2)按照下列公式得出音量值大小T;
T=[sum(t)*500]/(sample*VOLUMEMAX) (2)
其中,sum(t)为音频能量值总和;sample为音频采样个数;VOLUMEMAX=32767,500为等量化比值。
3)如果T满足下式的范围,则表示音量正常;
Th1>T>Th2 (3)
其中,Th1表示音量过大的阈值、Th2表示音量过小的阈值。
作为本发明技术方案的进一步改进,所述的声音啸叫检测的方法包括以下步骤:
1)输入片段音频帧,根据获取的音频数据按时间片段划分成音频帧,将片段的音频帧进行归一化处理,将数据序列的范围统一到固定的区间(0,1)之间;对每一帧音频进行离散傅里叶变换处理,获取对应的频谱特征数据;并计算每频频谱能量K;
所述的归一化处理的公式为:
z*=(z-min)/(max-min) (4)
其中,max为样本信号数据的最大值,min为样本信号数据的最小值,z表示样本当前信号数据的值,z*表示归一化处理后该样本信号的值;
所述的对每一帧音频进行离散傅里叶变换处理的公式为:
Rn=10*log[10*(p1-p2)] (5)
其中,p1是信号功率谱中的最大幅值,p2为每帧信号中所有功率幅值的平均值,Rn为当前信号功率值,n=1,2,3...2048。
所述的计算每频频谱能量K的公式为:
K=(Rn)2 (6)
2)将片段音频帧进行加窗处理,计算出频谱平均能量HK与方差T;
所述的加窗处理的公式为:
w[i]=0.54-0.46cos(2πi/N) (7)
其中,w[]表示窗长内每一频的能量值,N表示一帧数内的采样点总数,i=0,1,2,3...1024,其中0≤i≤N-1;
所述的频谱平均能量HK的计算公式如下:
其中,sum(Ka)为a帧频谱能量总和,Ka表示第a帧的能量值;SUM()j为频谱能量总和,j=1,2,3...2048;sample为音频采样个数,sample=1,2,3...2048。
所述的方差T的计算公式如下:
其中,HKa为平均能量值,a为窗长数。
3)判断是否存在啸叫点;若K>HK且方差值T<1,则判断为存在啸叫点。
一种音频质量诊断方法,包括以下步骤:
步骤1:获取原始流数据;对视频会议系统中连接MCU的交换机进行端口镜像,获取会议中原始流数据,利用RTMP直播设备将原始流数据以RTMP的方式进行推送;
步骤2:获取音频流数据;利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码,获取音频流数据;所述的FFMPEG计算机程序用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。
步骤3:获取音频帧;将步骤2中的音频流数据根据时间片段进行划分,获取不同段的音频帧数据;
步骤4:音频诊断;对步骤3中音频帧数据的指标进行音频诊断,根据诊断结果判断音频质量并输出音频质量诊断结果;
步骤5:输出诊断结果、告警;对步骤4中的各项指标的诊断结果进行分析处理并向运维中心告警,通知运维人员进行相关维护,保障会议的正常运行。
作为本发明技术方案的进一步改进,所述的步骤4中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。
作为本发明技术方案的进一步改进,所述的声音大小检测的方法包括以下步骤:
1)输入单个音频帧,并通过以下公式计算出单个音频帧幅值的能量值t:
t=20*log10(x/y) (1)
其中,y为声音总的振幅最大值,x为当前声音的振幅值;
2)按照下列公式得出音量值大小T;
T=[sum(t)*500]/(sample*VOLUMEMAX) (2)
其中,sum(t)为音频能量值总和;sample为音频采样个数;VOLUMEMAX=32767,500为等量化比值。
3)如果T满足下式的范围,则表示音量正常;
Th1>T>Th2 (3)
其中,Th1表示音量过大的阈值、Th2表示音量过小的阈值。
作为本发明技术方案的进一步改进,所述的声音啸叫检测的方法包括以下步骤:
1)输入片段音频帧,根据获取的音频数据按时间片段划分成音频帧,将片段的音频帧进行归一化处理,将数据序列的范围统一到固定的区间(0,1)之间;对每一帧音频进行离散傅里叶变换处理,获取对应的频谱特征数据;并计算每频频谱能量K;
所述的归一化处理的公式为:
z*=(z-min)/(max-min) (4)
其中,max为样本信号数据的最大值,min为样本信号数据的最小值,z表示样本当前信号数据的值,z*表示归一化处理后该样本信号的值;
所述的对每一帧音频进行离散傅里叶变换处理的公式为:
Rn=10*log[10*(p1-p2)] (5)
其中,p1是信号功率谱中的最大幅值,p2为每帧信号中所有功率幅值的平均值,Rn为当前信号功率值,n=1,2,3...2048。
所述的计算每频频谱能量K的公式为:
K=(Rn)2 (6)
2)将片段音频帧进行加窗处理,计算出频谱平均能量HK与方差T;
所述的加窗处理的公式为:
w[i]=0.54-0.46cos(2πi/N) (7)
其中,w[]表示窗长内每一频的能量值,N表示一帧数内的采样点总数,i=0,1,2,3...1024,其中0≤i≤N-1;
所述的频谱平均能量HK的计算公式如下:
其中,sum(Ka)为a帧频谱能量总和,Ka表示第a帧的能量值;SUM()j为频谱能量总和,j=1,2,3...2048;sample为音频采样个数,sample=1,2,3...2048。
所述的方差T的计算公式如下:
其中,HKa为平均能量值,a为窗长数。
3)判断是否存在啸叫点;若K>HK且方差值T<1,则判断为存在啸叫点。
本发明的优点在于:
(1)提供一种视频会议系统,通过音频质量诊断系统,在召开视频会议系统时,从声音大小检测、声音啸叫检测方面对音频质量进行分析诊断,从而对音频的各项指标的诊断结果进行分析处理并及时向运维中心告警,通知运维人员进行相关维护,保证了视频会议的流畅性。
(2)采用了FFMPEG视频采集功能,不仅可以采集视频采集卡或USB摄像头的图像,还可以进行屏幕录制,同时还支持以RTP方式将视频流传送给支持RTSP的流媒体服务器,支持直播应用。
附图说明
图1是本发明实施例的一种视频会议系统的结构图;
图2是本发明实施例的音频质量诊断方法的流程图;
图3是本发明实施例的声音大小检测流程图;
图4是本发明实施例的声音啸叫检测流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述:
实施例一
如图1所示,一种视频会议系统,包括交换机、MCU、RTMP直播设备、音频质量诊断系统;所述的交换机、RTMP直播设备、音频质量诊断系统依次连接;所述的MCU与交换机连接,所述交换机接收原始流音频数据并处理,所述的MCU发出指令信号控制交换机,所述的交换机通过端口镜像将处理后的原始流音频数据送入RTMP直播设备,所述的RTMP直播设备将处理后的原始流音频数据按照实时消息传输协议(Real Time Messaging Protocol,RTMP)送入音频质量诊断系统中,并对音频数据的各项指标进行诊断,根据诊断结果判断音频质量,并输出音频质量诊断结果。
所述的音频质量诊断系统包括:
获取原始流数据模块;用于对视频会议系统中连接MCU的交换机进行端口镜像,获取会议中原始流数据,利用RTMP直播设备将原始流数据以RTMP的方式进行推送。
获取音频流数据模块;利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码,获取音频流数据;所述的FFMPEG计算机程序用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。
获取音频帧模块;将获取音频流数据模块中的音频流数据根据时间片段进行划分,获取不同段的音频帧数据。
音频诊断模块;对获取音频帧模块中音频帧数据的指标进行音频诊断,根据诊断结果判断音频质量并输出音频质量诊断结果。
输出诊断结果、告警模块;对音频诊断模块中的各项指标的诊断结果进行分析处理并向运维中心告警,通知运维人员进行相关维护,保障会议的正常运行。
所述的音频诊断模块中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。
实施例二
如图2所示,一种音频质量诊断方法,包括以下步骤:
步骤1:获取原始流数据;对视频会议系统中连接MCU的交换机进行端口镜像,获取会议中原始流数据,利用RTMP直播设备将原始流数据以RTMP的方式进行推送;
步骤2:获取音频流数据;利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码,获取音频流数据;
所述的FFMPEG计算机程序用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。
步骤3:获取音频帧;将步骤2中的音频流数据根据时间片段进行划分,获取不同段的音频帧数据;
步骤4:音频诊断;对步骤3中音频帧数据的指标进行音频诊断,根据诊断结果判断音频质量并输出音频质量诊断结果;
步骤5:输出诊断结果、告警;对步骤4中的各项指标的诊断结果进行分析处理并向运维中心告警,通知运维人员进行相关维护,保障会议的正常运行。
所述的步骤4中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。
如图3所示,所述的声音大小检测的方法包括以下步骤:
1)输入单个音频帧,并通过以下公式计算出单个音频帧幅值的能量值t:
t=20*log10(x/y) (1)
其中,y为声音总的振幅最大值,x为当前声音的振幅值;
2)按照下列公式得出音量值大小T;
T=[sum(t)*500]/(sample*VOLUMEMAX) (2)
其中,sum(t)为音频能量值总和;sample为音频采样个数;VOLUMEMAX=32767,500为等量化比值。
3)如果T满足下式的范围,则表示音量正常;
Th1>T>Th2 (3)
其中,Th1表示音量过大的阈值、Th2表示音量过小的阈值。
如图4所示,所述的声音啸叫检测的方法包括以下步骤:
(1)输入片段音频帧,根据获取的音频数据按时间片段划分成音频帧,将片段的音频帧进行归一化处理,将数据序列的范围统一到固定的区间(0,1)之间;对每一帧音频进行离散傅里叶变换处理,获取对应的频谱特征数据;并计算每频频谱能量K;
所述的归一化处理的公式为:
z*=(z-min)/(max-min) (4)
其中,max为样本信号数据的最大值,min为样本信号数据的最小值,z表示样本当前信号数据的值,z*表示归一化处理后该样本信号的值;
所述的对每一帧音频进行离散傅里叶变换处理的公式为:
Rn=10*log[10*(p1-p2)] (5)
其中,p1是信号功率谱中的最大幅值,p2为每帧信号中所有功率幅值的平均值,Rn为当前信号功率值,n=1,2,3...2048。
所述的计算每频频谱能量K的公式为:
K=(Rn)2 (6)
(2)将片段音频帧进行加窗处理,计算出频谱平均能量HK与方差T;
所述的加窗处理的公式为:
w[i]=0.54-0.46cos(2πi/N) (7)
其中,w[]表示窗长内每一频的能量值,N表示一帧数内的采样点总数,i=0,1,2,3...1024,其中0≤i≤N-1;
所述的频谱平均能量HK的计算公式如下:
其中,sum(Ka)为a帧频谱能量总和,Ka表示第a帧的能量值;SUM()j为频谱能量总和,j=1,2,3...2048;sample为音频采样个数,sample=1,2,3...2048。
所述的方差T的计算公式如下:
其中,HKa为平均能量值,a为窗长数。
(3)判断是否存在啸叫点;若K>HK且方差值T<1,则判断为存在啸叫点。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种视频会议系统,其特征在于,包括交换机、MCU、RTMP直播设备、音频质量诊断系统;所述的交换机、RTMP直播设备、音频质量诊断系统依次连接;所述的MCU与交换机连接,所述交换机接收原始流音频数据并处理,所述的MCU发出指令信号控制交换机,所述的交换机通过端口镜像将处理后的原始流音频数据送入RTMP直播设备,所述的RTMP直播设备将处理后的原始流音频数据按照实时消息传输协议送入音频质量诊断系统中,并对音频数据的各项指标进行诊断,根据诊断结果判断音频质量,并输出音频质量诊断结果;所述的音频质量诊断系统包括:
获取原始流数据模块;用于对视频会议系统中连接MCU的交换机进行端口镜像,获取会议中原始流数据,利用RTMP直播设备将原始流数据以RTMP的方式进行推送;
获取音频流数据模块;利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码,获取音频流数据;所述的FFMPEG计算机程序用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序;
获取音频帧模块;将获取音频流数据模块中的音频流数据根据时间片段进行划分,获取不同段的音频帧数据;
音频诊断模块;对获取音频帧模块中音频帧数据的指标进行音频诊断,根据诊断结果判断音频质量并输出音频质量诊断结果;
输出诊断结果、告警模块;对音频诊断模块中的各项指标的诊断结果进行分析处理并向运维中心告警,通知运维人员进行相关维护,保障会议的正常运行。
2.根据权利要求1所述的视频会议系统,其特征在于,所述的音频诊断模块中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。
3.根据权利要求2所述的视频会议系统,其特征在于,所述的声音大小检测的方法包括以下步骤:
1)输入单个音频帧,并通过以下公式计算出单个音频帧幅值的能量值t:
t=20*log10(x/y) (1)
其中,y为声音总的振幅最大值,x为当前声音的振幅值;
2)按照下列公式得出音量值大小T;
T=[sum(t)*500]/(sample*VOLUMEMAX) (2)
其中,sum(t)为音频能量值总和;sample为音频采样个数;VOLUMEMAX=32767,500为等量化比值;
3)如果T满足下式的范围,则表示音量正常;
Th1>T>Th2 (3)
其中,Th1表示音量过大的阈值、Th2表示音量过小的阈值。
4.根据权利要求2所述的视频会议系统,其特征在于,所述的声音啸叫检测的方法包括以下步骤:
1)输入片段音频帧,根据获取的音频数据按时间片段划分成音频帧,将片段的音频帧进行归一化处理,将数据序列的范围统一到固定的区间(0,1)之间;对每一帧音频进行离散傅里叶变换处理,获取对应的频谱特征数据;并计算每频频谱能量K;
所述的归一化处理的公式为:
z*=(z-min)/(max-min) (4)
其中,max为样本信号数据的最大值,min为样本信号数据的最小值,z表示样本当前信号数据的值,z*表示归一化处理后该样本信号的值;
所述的对每一帧音频进行离散傅里叶变换处理的公式为:
Rn=10*log[10*(p1-p2)] (5)
其中,p1是信号功率谱中的最大幅值,p2为每帧信号中所有功率幅值的平均值,Rn为当前信号功率值,n=1,2,3...2048;
所述的计算每频频谱能量K的公式为:
K=(Rn)2 (6)
2)将片段音频帧进行加窗处理,计算出频谱平均能量HK与方差T;
所述的加窗处理的公式为:
w[i]=0.54-0.46cos(2πi/N) (7)
其中,w[]表示窗长内每一频的能量值,N表示一帧数内的采样点总数,i=0,1,2,3...1024,其中0≤i≤N-1;
所述的频谱平均能量HK的计算公式如下:
其中,sum(Ka)为a帧频谱能量总和,Ka表示第a帧的能量值;SUM()j为频谱能量总和,j=1,2,3...2048;sample为音频采样个数,sample=1,2,3...2048;
所述的方差T的计算公式如下:
其中,HKa为平均能量值,a为窗长数;
3)判断是否存在啸叫点;若K>HK且方差值T<1,则判断为存在啸叫点。
5.一种音频质量诊断方法,包括以下步骤:
步骤1:获取原始流数据;对视频会议系统中连接MCU的交换机进行端口镜像,获取会议中原始流数据,利用RTMP直播设备将原始流数据以RTMP的方式进行推送;
步骤2:获取音频流数据;利用FFMPEG计算机程序将步骤1中RTMP推送的原始流数据进行解码和转码,获取音频流数据;所述的FFMPEG计算机程序用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序;
步骤3:获取音频帧;将步骤2中的音频流数据根据时间片段进行划分,获取不同段的音频帧数据;
步骤4:音频诊断;对步骤3中音频帧数据的指标进行音频诊断,根据诊断结果判断音频质量并输出音频质量诊断结果;
步骤5:输出诊断结果、告警;对步骤4中的各项指标的诊断结果进行分析处理并向运维中心告警,通知运维人员进行相关维护,保障会议的正常运行。
6.根据权利要求5所述的音频质量诊断方法,其特征在于,所述的步骤4中的音频帧数据的指标进行音频诊断包括声音大小检测及声音啸叫检测。
7.根据权利要求6所述的音频质量诊断方法,其特征在于,所述的声音大小检测的方法包括以下步骤:
1)输入单个音频帧,并通过以下公式计算出单个音频帧幅值的能量值t:
t=20*log10(x/y) (1)
其中,y为声音总的振幅最大值,x为当前声音的振幅值;
2)按照下列公式得出音量值大小T;
T=[sum(t)*500]/(sample*VOLUMEMAX) (2)
其中,sum(t)为音频能量值总和;sample为音频采样个数;VOLUMEMAX=32767,500为等量化比值;
3)如果T满足下式的范围,则表示音量正常;
Th1>T>Th2 (3)
其中,Th1表示音量过大的阈值、Th2表示音量过小的阈值。
8.根据权利要求6所述的音频质量诊断方法,其特征在于,所述的声音啸叫检测的方法包括以下步骤:
1)输入片段音频帧,根据获取的音频数据按时间片段划分成音频帧,将片段的音频帧进行归一化处理,将数据序列的范围统一到固定的区间(0,1)之间;对每一帧音频进行离散傅里叶变换处理,获取对应的频谱特征数据;并计算每频频谱能量K;
所述的归一化处理的公式为:
z*=(z-min)/(max-min) (4)
其中,max为样本信号数据的最大值,min为样本信号数据的最小值,z表示样本当前信号数据的值,z*表示归一化处理后该样本信号的值;
所述的对每一帧音频进行离散傅里叶变换处理的公式为:
Rn=10*log[10*(p1-p2)] (5)
其中,p1是信号功率谱中的最大幅值,p2为每帧信号中所有功率幅值的平均值,Rn为当前信号功率值,n=1,2,3...2048;
所述的计算每频频谱能量K的公式为:
K=(Rn)2 (6)
2)将片段音频帧进行加窗处理,计算出频谱平均能量HK与方差T;
所述的加窗处理的公式为:
w[i]=0.54-0.46cos(2πi/N) (7)
其中,w[]表示窗长内每一频的能量值,N表示一帧数内的采样点总数,i=0,1,2,3...1024,其中0≤i≤N-1;
所述的频谱平均能量HK的计算公式如下:
其中,sum(Ka)为a帧频谱能量总和,Ka表示第a帧的能量值;SUM()j为频谱能量总和,j=1,2,3...2048;sample为音频采样个数,sample=1,2,3...2048;
所述的方差T的计算公式如下:
其中,HKa为平均能量值,a为窗长数;
3)判断是否存在啸叫点;若K>HK且方差值T<1,则判断为存在啸叫点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010312144.6A CN111641799B (zh) | 2020-04-20 | 2020-04-20 | 一种视频会议系统及其音频质量诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010312144.6A CN111641799B (zh) | 2020-04-20 | 2020-04-20 | 一种视频会议系统及其音频质量诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111641799A true CN111641799A (zh) | 2020-09-08 |
CN111641799B CN111641799B (zh) | 2021-06-29 |
Family
ID=72331705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010312144.6A Active CN111641799B (zh) | 2020-04-20 | 2020-04-20 | 一种视频会议系统及其音频质量诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111641799B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112351238A (zh) * | 2020-11-07 | 2021-02-09 | 杭州集联科技有限公司 | 一种视频会议一体机及其图像传输检测系统 |
CN112565894A (zh) * | 2020-11-27 | 2021-03-26 | 珠海迈科智能科技股份有限公司 | 一种检测直播节目播放质量的方法和系统 |
CN112954262A (zh) * | 2021-03-29 | 2021-06-11 | 上海潽潞信息科技有限公司 | 一种基于虚拟现实技术处理的视频会议设备 |
WO2022060349A1 (en) * | 2020-09-15 | 2022-03-24 | Hewlett-Packard Development Company, L.P. | Indications of received audio quality of calls |
CN115240700A (zh) * | 2022-08-09 | 2022-10-25 | 欧仕达听力科技(厦门)有限公司 | 一种声学设备及其声音处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170072783A (ko) * | 2015-12-16 | 2017-06-27 | 한국전자통신연구원 | 다자간 회의 서비스에서의 채널 상태 적응형 오디오 믹싱 방법 |
CN109391844A (zh) * | 2018-11-20 | 2019-02-26 | 国网安徽省电力有限公司信息通信分公司 | 基于视频会议场景的视频质量诊断方法和系统 |
CN109817235A (zh) * | 2018-12-12 | 2019-05-28 | 深圳市潮流网络技术有限公司 | 一种VoIP设备的回声消除方法 |
CN110782910A (zh) * | 2019-11-06 | 2020-02-11 | 大连理工大学 | 一种高检出率的啸叫音频检测系统 |
-
2020
- 2020-04-20 CN CN202010312144.6A patent/CN111641799B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170072783A (ko) * | 2015-12-16 | 2017-06-27 | 한국전자통신연구원 | 다자간 회의 서비스에서의 채널 상태 적응형 오디오 믹싱 방법 |
CN109391844A (zh) * | 2018-11-20 | 2019-02-26 | 国网安徽省电力有限公司信息通信分公司 | 基于视频会议场景的视频质量诊断方法和系统 |
CN109817235A (zh) * | 2018-12-12 | 2019-05-28 | 深圳市潮流网络技术有限公司 | 一种VoIP设备的回声消除方法 |
CN110782910A (zh) * | 2019-11-06 | 2020-02-11 | 大连理工大学 | 一种高检出率的啸叫音频检测系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022060349A1 (en) * | 2020-09-15 | 2022-03-24 | Hewlett-Packard Development Company, L.P. | Indications of received audio quality of calls |
CN112351238A (zh) * | 2020-11-07 | 2021-02-09 | 杭州集联科技有限公司 | 一种视频会议一体机及其图像传输检测系统 |
CN112565894A (zh) * | 2020-11-27 | 2021-03-26 | 珠海迈科智能科技股份有限公司 | 一种检测直播节目播放质量的方法和系统 |
CN112954262A (zh) * | 2021-03-29 | 2021-06-11 | 上海潽潞信息科技有限公司 | 一种基于虚拟现实技术处理的视频会议设备 |
CN115240700A (zh) * | 2022-08-09 | 2022-10-25 | 欧仕达听力科技(厦门)有限公司 | 一种声学设备及其声音处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111641799B (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111641799B (zh) | 一种视频会议系统及其音频质量诊断方法 | |
US9906782B2 (en) | Source agnostic audio/visual analysis framework | |
Mu et al. | Quality Evaluation in Peer-to-Peer IPTV Services | |
CN104661021B (zh) | 一种视频流的质量评估方法 | |
CN1731859A (zh) | 一种视频压缩方法及使用该方法的视频系统 | |
CN1859584A (zh) | 一种媒体播放终端设备的视频播放质量测试方法 | |
CN113660427A (zh) | 一种应用于视频监控测试仪的图像分析系统及其分析方法 | |
US20130091528A1 (en) | Video reproduction system, receive terminal, home gateway device, and quality control system | |
US10938682B2 (en) | System and method for detecting constant-datagram-rate network traffic | |
CN106993199A (zh) | 一种实时视频转码的方法及系统 | |
WO2009155814A1 (zh) | 一种视频质量评价方法、装置和系统 | |
CN111107284B (zh) | 一种视频字幕实时生成系统及生成方法 | |
CN116320271A (zh) | 一种基于云计算的大容量视频会议系统 | |
CN112135119A (zh) | 实时音视频通信中网络状况的自动监测与告警方法及系统 | |
CN111901621A (zh) | 一种基于直播内容识别的互动直播教学节流装置和方法 | |
CN113378633A (zh) | 一种流媒体信号质量检测方法及系统 | |
CN112468763B (zh) | 会议电视的视频传输和显示方法、装置、设备及存储介质 | |
CN109324911A (zh) | 用户行为自动检测智能屏幕抓屏系统 | |
CN108712407A (zh) | 一种基于浏览器的音频/视频直播方法及其系统 | |
CN116723131A (zh) | Ipc网络摄像头传输性能监测方法及系统 | |
JP2002077949A (ja) | 伝送画質評価装置および伝送画質遠隔監視装置 | |
CN115225961B (zh) | 一种无参考网络视频质量评价方法和装置 | |
US20220068287A1 (en) | Systems and methods for moderating noise levels in a communication session | |
CN113691803A (zh) | 一种音视频接口功能的测试方法、装置、设备及介质 | |
CN108810651B (zh) | 基于深度压缩感知网络的无线视频组播方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |