CN105656931B - 网络电话语音质量客观评估处理的方法和装置 - Google Patents

网络电话语音质量客观评估处理的方法和装置 Download PDF

Info

Publication number
CN105656931B
CN105656931B CN201610116118.XA CN201610116118A CN105656931B CN 105656931 B CN105656931 B CN 105656931B CN 201610116118 A CN201610116118 A CN 201610116118A CN 105656931 B CN105656931 B CN 105656931B
Authority
CN
China
Prior art keywords
packets
voice
rtp stream
pseudo
power spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610116118.XA
Other languages
English (en)
Other versions
CN105656931A (zh
Inventor
况鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bangyan Technology Co ltd
Original Assignee
Bangyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bangyan Technology Co ltd filed Critical Bangyan Technology Co ltd
Priority to CN201610116118.XA priority Critical patent/CN105656931B/zh
Priority to PCT/CN2016/076477 priority patent/WO2017147951A1/zh
Publication of CN105656931A publication Critical patent/CN105656931A/zh
Application granted granted Critical
Publication of CN105656931B publication Critical patent/CN105656931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Monitoring And Testing Of Exchanges (AREA)

Abstract

本发明公开了一种网络电话语音质量客观评估处理的方法，方法：获取多组RTP分组流，对每组RTP分组流解码获得劣化语音和有效载荷信息；获取每组劣化语音的必要语音参数；根据有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值；获取多组RTP分组流的语音质量主观评估值；根据每组RTP分组流对应的必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数。本发明还公开了一种网络电话语音质量客观评估处理的装置。本发明的方法和装置，适用于在线网络语音质量评估场景，相比现有的语音质量评估方式，数据计算量小，能够满足实时性要求，语音质量评价准确度高。

Description

网络电话语音质量客观评估处理的方法和装置
技术领域
本发明涉及语音质量评估技术领域，尤其涉及一种网络电话语音质量客观评估处理的方法和装置。
背景技术
随着网络电话的发展日趋成熟，用户对网络服务商及设备终端厂家提供的语音质量要求逐渐提高。目前的语音质量评估一般包括基于输入-输出方式的语音质量评估和基于输出方式的语音质量评估。
其中，基于输入-输出方式的语音质量评估不适用于在线处理，基于输出方式的语音质量评估虽然能适用于在线处理，但由于数据计算量大，不能满足实时性要求。
发明内容
本发明的主要目的在于解决现有技术中的在线网络电话语音质量评估不能满足实时性要求的技术问题。
为实现上述目的，本发明提供的一种网络电话语音质量客观评估处理的方法，所述语音质量客观评估处理的方法包括：
获取多组RTP(Real-time Transport Protocol，实时传输协议)分组流，对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息；
获取每组RTP分组流的劣化语音的必要语音参数；
根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值；
获取所述多组RTP分组流的语音质量主观评估值；
根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数；所述计算函数用于根据RTP分组流的必要语音参数和评估中间值，计算对应RTP分组流的语音质量客观评估值。
优选地，所述根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值包括：
根据每一有效载荷信息，对相应的RTP分组流的伪参考语音重构，生成相应的RTP分组流的伪劣化语音；
计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值。
优选地，所述计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度具体包括：
对所述RTP分组流对应的预处理后的伪参考语音和伪劣化语音分别进行加汉宁窗的FFT变换处理，得到第一信号功率谱P1(w)和第二信号功率谱P2(w)；
分别对所述第一信号功率谱P1(w)、所述第二信号功率谱P2(w)进行等响度预加重及SNR加权处理，得到第一感知功率谱PE1(w)和第二感知功率谱PE2(w)；
分别对所述第一感知功率谱PE1(w)、所述第二感知功率谱PE2(w)进行临界带谱映射处理，得到第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)；
分别对第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)进行离散余弦变换处理，得到第一感知功率谱倒谱系数和第二感知功率谱倒谱系数；
分别对所述第一感知功率谱倒谱系数和第二感知功率谱倒谱系数进行听觉响度变换处理，得到所述第一人耳听觉响度和所述第二人耳听觉响度。
优选地，所述必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。
优选地，所述构建RTP分组流的语音质量客观评估的计算函数之后还包括：
获取第一RTP分组流，对所述第一RTP分组流解码，获得对应的第一劣化语音和第一有效载荷信息；
获取所述第一劣化语音的第一必要语音参数；
根据所述第一有效载荷信息和所述第一RTP分组流的第一伪参考语音，计算所述第一RTP分组流的第一评估中间值；
调用所述计算函数，根据所述第一必要语音参数和所述第一评估中间值，计算所述第一RTP分组流的语音质量客观评估值。
优选地，所述根据所述第一有效载荷信息和所述第一RTP分组流的第一伪参考语音，计算所述第一RTP分组流的第一评估中间值包括：
根据所述第一有效载荷信息，对所述第一RTP分组流的第一伪参考语音重构，生成第一伪劣化语音；
计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算第一评估中间值。
优选地，所述第一必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。
此外，为实现上述目的，本发明还提供一种网络电话语音质量客观评估处理的装置，所述语音质量客观评估处理的装置包括：
解码模块，用于获取多组RTP(Real-time Transport Protocol，实时传输协议)分组流，对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息；
获取模块，用于获取每组RTP分组流的劣化语音的必要语音参数；
计算模块，根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值；
第一获取模块，用于获取所述多组RTP分组流的语音质量主观评估值；
构建模块，用于根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数；所述计算函数用于根据RTP分组流的必要语音参数和评估中间值，计算对应RTP分组流的语音质量客观评估值。
优选地，所述计算模块包括：
重构单元，用于根据每一有效载荷信息，对相应的RTP分组流的伪参考语音重构，生成相应的RTP分组流的伪劣化语音；
计算单元，用于计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值。
优选地，所述计算单元，具体用于对所述RTP分组流对应的伪参考语音和伪劣化语音分别进行加汉宁窗的FFT变换处理，得到第一信号功率谱P1(w)和第二信号功率谱P2(w)；分别对所述第一信号功率谱P1(w)、所述第二信号功率谱P2(w)进行等响度预加重及SNR加权处理，得到第一感知功率谱PE1(w)和第二感知功率谱PE2(w)；分别对所述第一感知功率谱PE1(w)、所述第二感知功率谱PE2(w)进行临界带谱映射处理，得到第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)；分别对第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)进行离散余弦变换处理，得到第一感知功率谱倒谱系数和第二感知功率谱倒谱系数；分别对所述第一感知功率谱倒谱系数和第二感知功率谱倒谱系数进行听觉响度变换处理，得到所述第一人耳听觉响度和所述第二人耳听觉响度。
优选地，所述必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。
优选地，所述网络电话语音质量客观评估处理的装置，还包括：
第一解码模块，用于获取第一RTP分组流，对所述第一RTP分组流解码，获得对应的第一劣化语音和第一有效载荷信息；
第二获取模块，用于获取所述第一劣化语音的第一必要语音参数；
第一计算模块，用于根据所述第一有效载荷信息和所述第一RTP分组流的第一伪参考语音，计算所述第一RTP分组流的第一评估中间值；
评估模块，用于调用所述计算函数，根据所述第一必要语音参数和所述第一评估中间值，计算所述第一RTP分组流的语音质量客观评估值。
优选地，所述第一必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。
优选地，所述第一计算模块，具体用于根据所述第一有效载荷信息，对所述第一RTP分组流的第一伪参考语音重构，生成第一伪劣化语音；计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算第一评估中间值。
本发明所提供的网络电话语音质量客观评估处理的方法和装置，通过获取多组RTP分组流，对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息；获取每组RTP分组流的劣化语音的必要语音参数；根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值；获取所述多组RTP分组流的语音质量主观评估值；根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数的方式，后续通过所述计算函数根据获取的RTP分组流的必要语音参数和评估中间值即可计算评估出所获取的RTP分组流的语音质量客观评估值，适用于在线网络语音质量评估场景，相比现有的语音质量评估方式，数据计算量小，能够满足实时性要求，语音质量评价准确度高。
附图说明
图1为本发明的网络电话语音质量客观评估处理的方法一实施例的流程示意图；
图2本发明的计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度的细化流程示意图；
图3为本发明的网络电话语音质量客观评估处理的方法另一实施例的流程示意图；
图4为本发明的计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度的具体细化流程图；
图5为本发明的网络电话语音质量客观评估处理的装置一实施例的功能模块示意图；
图6为图5中的计算模块的具体细化功能模块示意图；
图7为本发明网络电话语音质量客观评估处理的装置100一实施例的另一功能模块示意图；
图8为本发明的网络电话语音质量客观评估处理的装置另一实施例的功能模块示意图。
图9为图8中的第一计算模块的具体细化功能模块示意图；
图10为本发明的网络电话语音质量客观评估处理的装置另一实施例另一功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明提供一种网络电话语音质量客观评估处理的方法。参照图1，图1为本发明的网络电话语音质量客观评估处理的方法一实施例的流程示意图。在一实施例中，所述网络电话语音质量客观评估处理的方法包括：
步骤S10、获取多组RTP(Real-time Transport Protocol，实时传输协议)分组流、对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息。
步骤S20、获取每组RTP分组流的劣化语音的必要语音参数。
本发明中所述必要语音参数包括：语音电平SpeechLevel、局部样点的距离均值LocalMeanDistSamp、全局背景噪声GlobalBGNoise、局部背景噪声LocalBGNoise、基因周期互功率PitchCrossPower、倒谱偏态CepSkew、线性预测系数峰态LPCCurt、局部背景噪声平均能量LocalBGNoiseMean、帧重复率FrameRepeats、机械性噪声UBeeps。
步骤S30、根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值。
本实施例中本步骤S30具体包括如下处理：根据每一有效载荷信息，对相应的RTP分组流的伪参考语音重构，生成相应的RTP分组流的伪劣化语音；计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值。
其中，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值具体过程如下：一、采用平均欧氏距离来计算伪劣化语音相对于伪参考语音的失真大小。定义伪参考语音第n帧在第l个美尔频带上的第一人耳听觉响度为Ln1(l)，伪劣化语音的第n帧在第l个美尔频带上的第二人耳听觉响度为Ln2(l)；则伪参考语音的第n帧第一人耳听觉响度与伪劣化语音的第n帧人耳听觉响度距离为：其中l为美尔频带总数；第一人耳听觉响度与第二人耳听觉响度的平均人耳听觉响度距离为：其中，N为信号总帧数，En为第n帧的能量。二、采用多组已知MOS值的语音样本进行测试，计算得出该多组语音样本所对应的平均人耳听觉响度距离，并对该每组语音样本所对应的平均人耳听觉响度距离按最小二乘法准则进行二次多项式拟合得到评估中间值计算公式。将每一组RTP分组流所对应的平均人耳听觉响度距离代入所述评估中间值计算公式，计算得出每组RTP分组流的评估中间值。
本实施例中所述根据每一有效载荷信息，对相应的RTP分组流的伪参考语音重构，生成相应的RTP分组流的伪劣化语音具体包括如下处理：根据每一有效载荷信息，将相应的RTP分组流的伪参考语音中的有效载荷替换为所述RTP分组流当前的有效载荷，生成所述伪劣化语音。
本实施例中，所述计算每组RTP分组流的伪参考语音第一人耳听觉响度和伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值之前还包括对每组RTP分组流的伪参考语音和伪劣化语音的预处理过程：将每一组RTP分组流相应的伪参考语音和伪劣化语音的电平值调整至设定值；采用时间对齐函数，补偿每一组RTP分组流相应的伪劣化语音的延迟时间，得到每组RTP分组流对应的预处理后的伪参考语音和伪劣化语音。
参见图2，图2本发明的计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度的细化流程示意图。本实施例中所述计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度的具体过程如下：
步骤S31、对所述RTP分组流对应的预处理后的伪参考语音和伪劣化语音分别进行加汉宁窗的FFT变换处理，得到第一信号功率谱P1(w)和第二信号功率谱P2(w)。
步骤S32、分别对所述第一信号功率谱P1(w)、所述第二信号功率谱P2(w)进行等响度预加重及SNR加权处理，得到第一感知功率谱PE1(w)和第二感知功率谱PE2(w)。
步骤S33、分别对所述第一感知功率谱PE1(w)、所述第二感知功率谱PE2(w)进行临界带谱映射处理，得到第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)。
步骤S34、分别对第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)进行离散余弦变换处理，得到第一感知功率谱倒谱系数和第二感知功率谱倒谱系数。
步骤S35、分别对所述第一感知功率谱倒谱系数和第二感知功率谱倒谱系数进行听觉响度变换处理，得到所述第一人耳听觉响度和所述第二人耳听觉响度。
步骤S40、获取所述多组RTP分组流的语音质量主观评估值。
本步骤S40中所述多组RTP分组流的语音质量主观评估值是采用现有技术中常规的语音质量主观评估方法评估计算出来的，在此不展开描述。
步骤S50、根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数；所述计算函数用于根据RTP分组流的必要语音参数和评估中间值，计算对应RTP分组流的语音质量客观评估值。
本步骤S50中，所述根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估计算函数具体包括：根据所述多组RTP分组流中的每一组RTP分组流对应的必要语音参数、评估中间值二者与该组RTP分组流的语音质量主观评估值之间的关系，构建RTP分组流的语音质量客观评估的计算函数。
本发明提出网络电话语音质量客观评估处理的方法另一实施例，参见图3，图3为本发明的网络电话语音质量客观评估处理的方法另一实施例的流程示意图。本实施例在上述实施例的所述构建RTP分组流的语音质量客观评估的计算函数之后还包括：
步骤S01、获取第一RTP分组流，对所述第一RTP分组流解码，获得对应的第一劣化语音和第一有效载荷信息。
步骤S02、获取所述第一劣化语音的第一必要语音参数。
其中，所述第一必要语音参数包括：语音电平SpeechLevel、局部样点的距离均值LocalMeanDistSamp、全局背景噪声GlobalBGNoise、局部背景噪声LocalBGNoise、基因周期互功率PitchCrossPower、倒谱偏态CepSkew、线性预测系数峰态LPCCurt、局部背景噪声平均能量LocalBGNoiseMean、帧重复率FrameRepeats、机械性噪声UBeeps。
步骤S03、根据所述第一有效载荷信息和所述第一RTP分组流的第一伪参考语音，计算所述第一RTP分组流的第一评估中间值。
本实施例中，所述步骤S03具体包括如下处理：根据所述第一有效载荷信息，对所述第一RTP分组流的第一伪参考语音重构，生成第一伪劣化语音；计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算第一评估中间值。
本实施例中，所述根据所述第一有效载荷信息，对所述第一RTP分组流的第一伪参考语音重构，生成第一伪劣化语音具体包括如下处理：根据所述第一有效载荷信息，将所述第一RTP分组流的伪参考语音中的有效载荷替换为所述第一RTP分组流当前的有效载荷，生成所述第一伪劣化语音。
本实施例中在所述计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算第一评估中间值之前还包括对所述第一伪参考语音和第一伪劣化语音的预处理过程：将所述第一伪参考语音和第一伪劣化语音的电平值调整至设定值；采用时间对齐函数，补偿所述第一伪劣化语音的延迟时间，得到所述第一RTP分组流对应的预处理后的第一伪参考语音和第一伪劣化语音。
参见图4，图4为本发明的计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度的具体细化流程图。本实施例中所述计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度的具体过程如下：
步骤S031、对所述第一伪参考语音和第一伪劣化语音分别进行加汉宁窗的FFT变换处理，得到第1信号功率谱P①(w)和第2信号功率谱P②(w)。
步骤S032、分别对所述第1信号功率谱P①(w)、所述第2信号功率谱P②(w)进行等响度预加重及SNR加权处理，得到第1感知功率谱PE①(w)和第2感知功率谱PE2(w)。
步骤S033、分别对所述第1感知功率谱PE①(w)、所述第2感知功率谱PE②(w)进行临界带谱映射处理，得到第1临界带功率谱PEB①(W)、第2临界带功率谱PEB②(W)。
步骤S034、分别对第1临界带功率谱PEB①(W)、第2临界带功率谱PEB②(W)进行离散余弦变换处理，得到第1感知功率谱倒谱系数和第2感知功率谱倒谱系数。
步骤S035、分别对所述第1感知功率谱倒谱系数和第2感知功率谱倒谱系数进行听觉响度变换处理，得到所述第一人耳听觉响度和所述第二人耳听觉响度。
步骤S04、调用所述计算函数，根据所述第一必要语音参数和所述第一评估中间值，计算所述第一RTP分组流的语音质量客观评估值。
本实施例中计算所述第一RTP分组流的语音质量客观评估值的具体过程为：将所述第一必要语音参数和所述第一评估中间值代入所述计算函数，计算得出的结果即为所述第一RTP分组流的语音质量客观评估值。
上述实施例所提供的网络电话语音质量客观评估处理的方法，通过获取多组RTP分组流，对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息；获取每组RTP分组流的劣化语音的必要语音参数；根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值；获取所述多组RTP分组流的语音质量主观评估值；根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数的方式，后续通过所述计算函数根据获取的RTP分组流的必要语音参数和评估中间值即可计算评估出所获取的RTP分组流的语音质量客观评估值，适用于在线网络语音质量评估场景，相比现有的语音质量评估方式，数据计算量小，能够满足实时性要求，语音质量评价准确度高。
本发明进一步提供一种网络电话语音质量客观评估处理的装置。参照图5，图5为本发明的网络电话语音质量客观评估处理的装置一实施例的功能模块示意图。在一实施例中，所述网络电话语音质量客观评估处理的装置100包括：解码模块110、获取模块120、计算模块130、第一获取模块140、构建模块150。其中，所述解码模块110，用于获取多组RTP(Real-time Transport Protocol，实时传输协议)分组流，对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息。所述获取模块120，用于获取每组RTP分组流的劣化语音的必要语音参数。所述计算模块130，用于根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值。第一获取模块140，用于获取所述多组RTP分组流的语音质量主观评估值。所述构建模块150，用于根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数；所述计算函数用于根据RTP分组流的必要语音参数和评估中间值，计算对应RTP分组流的语音质量客观评估值。
本实施例中所述必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。所述多组RTP分组流的语音质量主观评估值是采用现有技术中常规的语音质量主观评估方法评估计算出来的，在此不展开描述。
本实施例中所述构建模块150，具体用于根据所述多组RTP分组流中的每一组RTP分组流对应的必要语音参数、评估中间值二者与该组RTP分组流的语音质量主观评估值之间的关系，构建RTP分组流的语音质量客观评估的计算函数。
参见图6，图6为图5中的计算模块的具体细化功能模块示意图。本实施例中所述计算模块130包括：重构单元131和计算单元132，其中，所述重构单元131，用于根据每一有效载荷信息，对相应的RTP分组流的伪参考语音重构，生成相应的RTP分组流的伪劣化语音。所述计算单元132，用于计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值。
其中，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值具体过程如下：一、采用平均欧氏距离来计算伪劣化语音相对于伪参考语音的失真大小。定义伪参考语音第n帧在第l个美尔频带上的第一人耳听觉响度为Ln1(l)，伪劣化语音的第n帧在第l个美尔频带上的第二人耳听觉响度为Ln2(l)；则伪参考语音的第n帧第一人耳听觉响度与伪劣化语音的第n帧人耳听觉响度距离为：其中l为美尔频带总数；第一人耳听觉响度与第二人耳听觉响度的平均人耳听觉响度距离为：其中，N为信号总帧数，En为第n帧的能量。二、采用多组已知MOS值的语音样本进行测试，计算得出该多组语音样本所对应的平均人耳听觉响度距离，并对该每组语音样本所对应的平均人耳听觉响度距离按最小二乘法准则进行二次多项式拟合得到评估中间值计算公式。将每一组RTP分组流所对应的平均人耳听觉响度距离代入所述评估中间值计算公式，计算得出每组RTP分组流的评估中间值。
本实施例中所述重构单元131，具体还用于根据每一有效载荷信息，将相应的RTP分组流的伪参考语音中的有效载荷替换为所述RTP分组流当前的有效载荷，生成所述伪劣化语音。
参见图7，图7为本发明网络电话语音质量客观评估处理的装置100一实施例的另一功能模块示意图。本实施例中，所述的网络电话语音质量客观评估处理的装置100还包括：预处理模块160。所述预处理模块160，用于将每一组RTP分组流相应的伪参考语音和伪劣化语音的电平值调整至设定值；以及采用时间对齐函数，补偿每一组RTP分组流相应的伪劣化语音的延迟时间，得到每组RTP分组流对应的预处理后的伪参考语音和伪劣化语音。
本实施例中，所述计算单元132，具体用于对所述RTP分组流对应的伪参考语音和伪劣化语音分别进行加汉宁窗的FFT变换处理，得到第一信号功率谱P1(w)和第二信号功率谱P2(w)；分别对所述第一信号功率谱P1(w)、所述第二信号功率谱P2(w)进行等响度预加重及SNR加权处理，得到第一感知功率谱PE1(w)和第二感知功率谱PE2(w)；分别对所述第一感知功率谱PE1(w)、所述第二感知功率谱PE2(w)进行临界带谱映射处理，得到第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)；分别对第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)进行离散余弦变换处理，得到第一感知功率谱倒谱系数和第二感知功率谱倒谱系数；分别对所述第一感知功率谱倒谱系数和第二感知功率谱倒谱系数进行听觉响度变换处理，得到所述第一人耳听觉响度和所述第二人耳听觉响度。其中，所述伪参考语音和伪劣化语音为预处理后的伪参考语音和伪劣化语音。
本发明提出网络电话语音质量客观评估处理的装置另一实施例，参见图8，图8为本发明的网络电话语音质量客观评估处理的装置另一实施例的功能模块示意图。本实施例所提供的网络电话语音质量客观评估处理的装置100在上述实施例的基础上还包括：第一解码模块170、第二获取模块180、第一计算模块190、评估模块101。其中所述第一解码模块170，用于获取第一RTP分组流，对所述第一RTP分组流解码，获得对应的第一劣化语音和第一有效载荷信息。所述第一获取模块180，用于获取所述第一劣化语音的第一必要语音参数。所述第一计算模块190，用于根据所述第一有效载荷信息和所述第一RTP分组流的第一伪参考语音，计算所述第一RTP分组流的第一评估中间值。所述评估模块101，用于调用所述计算函数，根据所述第一必要语音参数和所述第一评估中间值，计算所述第一RTP分组流的语音质量客观评估值。
其中，所述第一必要语音参数包括：语音电平SpeechLevel、局部样点的距离均值LocalMeanDistSamp、全局背景噪声GlobalBGNoise、局部背景噪声LocalBGNoise、基因周期互功率PitchCrossPower、倒谱偏态CepSkew、线性预测系数峰态LPCCurt、局部背景噪声平均能量LocalBGNoiseMean、帧重复率FrameRepeats、机械性噪声UBeeps。
本实施例中，所述评估模块101，具体用于将所述第一必要语音参数和所述第一评估中间值代入所述计算函数，计算得出的结果即为所述第一RTP分组流的语音质量客观评估值。
参见图9，图9为图8中的第一计算模块的具体细化功能模块示意图。所述第一计算模块190包括：第一重构单元191和第一计算单元192。其中，所述第一重构单元191，用于根据所述第一有效载荷信息，对所述第一RTP分组流的第一伪参考语音重构，生成第一伪劣化语音。所述第一计算单元192，用计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算第一评估中间值。
其中，所述第一重构单元191，具体用于根据所述第一有效载荷信息，将所述第一RTP分组流的伪参考语音中的有效载荷替换为所述第一RTP分组流当前的有效载荷，生成所述第一伪劣化语音。
参见图10，图10为本发明的网络电话语音质量客观评估处理的装置另一实施例另一功能模块示意图。所述网络电话语音质量客观评估处理的装置100还包括：第一预处理模块102。所述第一预处理模块102，用于将所述第一伪参考语音和第一伪劣化语音的电平值调整至设定值；采用时间对齐函数，补偿所述第一伪劣化语音的延迟时间，得到所述第一RTP分组流对应的预处理后的第一伪参考语音和第一伪劣化语音。
本实施例中，所述第一计算单元192，具体用于对所述第一伪参考语音和第一伪劣化语音分别进行加汉宁窗的FFT变换处理，得到第1信号功率谱P①(w)和第2信号功率谱P②(w)；分别对所述第1信号功率谱P①(w)、所述第2信号功率谱P②(w)进行等响度预加重及SNR加权处理，得到第1感知功率谱PE①(w)和第2感知功率谱PE2(w)；分别对所述第1感知功率谱PE①(w)、所述第2感知功率谱PE②(w)进行临界带谱映射处理，得到第1临界带功率谱PEB①(W)、第2临界带功率谱PEB②(W)；分别对第1临界带功率谱PEB①(W)、第2临界带功率谱PEB②(W)进行离散余弦变换处理，得到第1感知功率谱倒谱系数和第2感知功率谱倒谱系数；分别对所述第1感知功率谱倒谱系数和第2感知功率谱倒谱系数进行听觉响度变换处理，得到所述第一人耳听觉响度和所述第二人耳听觉响度。其中所述第一伪参考语音和第一伪劣化语音为预处理后的第一伪参考语音和第一伪劣化语音。
上述网络电话语音质量客观评估处理的装置实施例，通过获取多组RTP分组流，对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息；获取每组RTP分组流的劣化语音的必要语音参数；根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值；获取所述多组RTP分组流的语音质量主观评估值；根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数的方式，后续通过所述计算函数根据获取的RTP分组流的必要语音参数和评估中间值即可计算评估出所获取的RTP分组流的语音质量客观评估值，适用于在线网络语音质量评估场景，相比现有的语音质量评估方式，数据计算量小，能够满足实时性要求，语音质量评价准确度高。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种网络电话语音质量客观评估处理的方法，其特征在于，所述语音质量客观评估处理的方法包括：
获取多组RTP(Real-time Transport Protocol，实时传输协议)分组流，对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息；
获取每组RTP分组流的劣化语音的必要语音参数；
根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值；
获取所述多组RTP分组流的语音质量主观评估值；
根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数；所述计算函数用于根据RTP分组流的必要语音参数和评估中间值，计算对应RTP分组流的语音质量客观评估值。
2.根据权利要求1所述的网络电话语音质量客观评估处理的方法，其特征在于，所述根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值包括：
根据每一有效载荷信息，对相应的RTP分组流的伪参考语音重构，生成相应的RTP分组流的伪劣化语音；
计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值。
3.根据权利要求2所述的网络电话语音质量客观评估处理的方法，其特征在于，所述计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度具体包括：
对所述RTP分组流对应的预处理后的伪参考语音和伪劣化语音分别进行加汉宁窗的FFT变换处理，得到第一信号功率谱P1(w)和第二信号功率谱P2(w)；
分别对所述第一信号功率谱P1(w)、所述第二信号功率谱P2(w)进行等响度预加重及SNR加权处理，得到第一感知功率谱PE1(w)和第二感知功率谱PE2(w)；
分别对所述第一感知功率谱PE1(w)、所述第二感知功率谱PE2(w)进行临界带谱映射处理，得到第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)；
分别对第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)进行离散余弦变换处理，得到第一感知功率谱倒谱系数和第二感知功率谱倒谱系数；
分别对所述第一感知功率谱倒谱系数和第二感知功率谱倒谱系数进行听觉响度变换处理，得到所述第一人耳听觉响度和所述第二人耳听觉响度。
4.根据权利要求1所述的网络电话语音质量客观评估处理的方法，其特征在于，所述必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。
5.根据权利要求1至4任一项所述的网络电话语音质量客观评估处理的方法，其特征在于，所述构建RTP分组流的语音质量客观评估的计算函数之后还包括：
获取第一RTP分组流，对所述第一RTP分组流解码，获得对应的第一劣化语音和第一有效载荷信息；
获取所述第一劣化语音的第一必要语音参数；
根据所述第一有效载荷信息和所述第一RTP分组流的第一伪参考语音，计算所述第一RTP分组流的第一评估中间值；
调用所述计算函数，根据所述第一必要语音参数和所述第一评估中间值，计算所述第一RTP分组流的语音质量客观评估值。
6.根据权利要求5所述的网络电话语音质量客观评估处理的方法，其特征在于，所述根据所述第一有效载荷信息和所述第一RTP分组流的第一伪参考语音，计算所述第一RTP分组流的第一评估中间值包括：
根据所述第一有效载荷信息，对所述第一RTP分组流的第一伪参考语音重构，生成第一伪劣化语音；
计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算第一评估中间值。
7.根据权利要求5所述的网络电话语音质量客观评估处理的方法，其特征在于，所述第一必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。
8.一种网络电话语音质量客观评估处理的装置，其特征在于，所述语音质量客观评估处理的装置包括：
解码模块，用于获取多组RTP(Real-time Transport Protocol，实时传输协议)分组流，对每组RTP分组流解码，获得对应的劣化语音和有效载荷信息；
获取模块，用于获取每组RTP分组流的劣化语音的必要语音参数；
计算模块，根据每一有效载荷信息和每组RTP分组流的伪参考语音，计算每组RTP分组流的评估中间值；
第一获取模块，用于获取所述多组RTP分组流的语音质量主观评估值；
构建模块，用于根据每组RTP分组流对应的所述必要语音参数、评估中间值、语音质量主观评估值，构建RTP分组流的语音质量客观评估的计算函数；所述计算函数用于根据RTP分组流的必要语音参数和评估中间值，计算对应RTP分组流的语音质量客观评估值。
9.根据权利要求8所述的网络电话语音质量客观评估处理的装置，其特征在于，所述计算模块包括：
重构单元，用于根据每一有效载荷信息，对相应的RTP分组流的伪参考语音重构，生成相应的RTP分组流的伪劣化语音；
计算单元，用于计算每组RTP分组流的伪参考语音的第一人耳听觉响度和伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算每组RTP分组流的评估中间值。
10.根据权利要求9所述的网络电话语音质量客观评估处理的装置，其特征在于，
所述计算单元，具体用于对所述RTP分组流对应的伪参考语音和伪劣化语音分别进行加汉宁窗的FFT变换处理，得到第一信号功率谱P1(w)和第二信号功率谱P2(w)；分别对所述第一信号功率谱P1(w)、所述第二信号功率谱P2(w)进行等响度预加重及SNR加权处理，得到第一感知功率谱PE1(w)和第二感知功率谱PE2(w)；分别对所述第一感知功率谱PE1(w)、所述第二感知功率谱PE2(w)进行临界带谱映射处理，得到第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)；分别对第一临界带功率谱PEB1(W)、第二临界带功率谱PEB2(W)进行离散余弦变换处理，得到第一感知功率谱倒谱系数和第二感知功率谱倒谱系数；分别对所述第一感知功率谱倒谱系数和第二感知功率谱倒谱系数进行听觉响度变换处理，得到所述第一人耳听觉响度和所述第二人耳听觉响度。
11.根据权利要求8所述的网络电话语音质量客观评估处理的装置，其特征在于，所述必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。
12.根据权利要求8至11任一项所述的网络电话语音质量客观评估处理的装置，其特征在于，还包括：
第一解码模块，用于获取第一RTP分组流，对所述第一RTP分组流解码，获得对应的第一劣化语音和第一有效载荷信息；
第二获取模块，用于获取所述第一劣化语音的第一必要语音参数；
第一计算模块，用于根据所述第一有效载荷信息和所述第一RTP分组流的第一伪参考语音，计算所述第一RTP分组流的第一评估中间值；
评估模块，用于调用所述计算函数，根据所述第一必要语音参数和所述第一评估中间值，计算所述第一RTP分组流的语音质量客观评估值。
13.根据权利要求12所述的网络电话语音质量客观评估处理的装置，其特征在于，所述第一必要语音参数包括：语音电平、局部样点的距离均值、全局背景噪声、局部背景噪声、基因周期互功率、倒谱偏态、线性预测系数峰态、局部背景噪声平均能量、帧重复率、机械性噪声。
14.根据权利要求12所述的网络电话语音质量客观评估处理的装置，其特征在于，
所述第一计算模块，具体用于根据所述第一有效载荷信息，对所述第一RTP分组流的第一伪参考语音重构，生成第一伪劣化语音；计算所述第一伪参考语音的第一人耳听觉响度、第一伪劣化语音的第二人耳听觉响度，根据所述第一、二人耳听觉响度，计算第一评估中间值。
CN201610116118.XA 2016-03-01 2016-03-01 网络电话语音质量客观评估处理的方法和装置 Active CN105656931B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610116118.XA CN105656931B (zh) 2016-03-01 2016-03-01 网络电话语音质量客观评估处理的方法和装置
PCT/CN2016/076477 WO2017147951A1 (zh) 2016-03-01 2016-03-16 网络电话语音质量客观评估处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610116118.XA CN105656931B (zh) 2016-03-01 2016-03-01 网络电话语音质量客观评估处理的方法和装置

Publications (2)

Publication Number Publication Date
CN105656931A CN105656931A (zh) 2016-06-08
CN105656931B true CN105656931B (zh) 2018-10-30

Family

ID=56492061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610116118.XA Active CN105656931B (zh) 2016-03-01 2016-03-01 网络电话语音质量客观评估处理的方法和装置

Country Status (2)

Country Link
CN (1) CN105656931B (zh)
WO (1) WO2017147951A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108091349B (zh) * 2016-11-23 2021-05-11 成都鼎桥通信技术有限公司 语音质量检测系统、方法及pesq控制终端
CN107195311A (zh) * 2017-05-19 2017-09-22 上海喆之信息科技有限公司 一种穿戴式无线音频交互系统
CN109979486B (zh) * 2017-12-28 2021-07-09 中国移动通信集团北京有限公司 一种语音质量评估方法及装置
CN113593604A (zh) * 2021-07-22 2021-11-02 腾讯音乐娱乐科技（深圳）有限公司 检测音频质量方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538667A (zh) * 2003-10-24 2004-10-20 武汉大学 一种宽频带语音质量客观评价方法
CN102044247A (zh) * 2009-10-10 2011-05-04 北京理工大学 一种针对VoIP语音的客观评测方法
CN103050128A (zh) * 2013-01-29 2013-04-17 武汉大学 基于抖动失真的语音频客观质量评价方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856355B2 (en) * 2005-07-05 2010-12-21 Alcatel-Lucent Usa Inc. Speech quality assessment method and system
JP2007259320A (ja) * 2006-03-24 2007-10-04 Fujitsu Ltd 通話音質評価システム、通信システム、試験管理装置及び試験通信装置
CN102496369B (zh) * 2011-12-23 2016-02-24 中国传媒大学 一种基于失真校正的压缩域音频质量客观评价方法
CN102881289B (zh) * 2012-09-11 2014-04-02 重庆大学 一种基于听觉感知特性的语音质量客观评价方法
CN105282347B (zh) * 2014-07-22 2018-06-01 中国移动通信集团公司 语音质量的评估方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538667A (zh) * 2003-10-24 2004-10-20 武汉大学 一种宽频带语音质量客观评价方法
CN102044247A (zh) * 2009-10-10 2011-05-04 北京理工大学 一种针对VoIP语音的客观评测方法
CN103050128A (zh) * 2013-01-29 2013-04-17 武汉大学 基于抖动失真的语音频客观质量评价方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VoIP语音质量评估技术;任雨樵;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150415;全文 *
语音质量客观评价方法的研究;肖累累;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150415;全文 *

Also Published As

Publication number Publication date
WO2017147951A1 (zh) 2017-09-08
CN105656931A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
CN105656931B (zh) 网络电话语音质量客观评估处理的方法和装置
CN111247585B (zh) 语音转换方法、装置、设备及存储介质
US9020813B2 (en) Speech enhancement system and method
DE60029453T2 (de) Messen der Übertragungsqualität einer Telefonverbindung in einem Fernmeldenetz
CN105741849B (zh) 数字助听器中融合相位估计与人耳听觉特性的语音增强方法
EP1783745B1 (en) Multichannel signal decoding
TW445724B (en) Method for making a machine-aided assessment of the transmission quality of audio signals
DE10041512A1 (de) Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
CN105282347B (zh) 语音质量的评估方法及装置
Ren et al. A Causal U-Net Based Neural Beamforming Network for Real-Time Multi-Channel Speech Enhancement.
CN103413557A (zh) 语音信号带宽扩展的方法和装置
CN104616665B (zh) 基于语音类似度的混音方法
CN113823308B (zh) 一种使用单个带噪语音样本进行语音去噪的方法
EP3992964B1 (en) Voice signal processing method and apparatus, and electronic device and storage medium
DE102012102882A1 (de) Elektrische Vorrichtung und Verfahren zum Empfangen von Sprechstimmen-Signalen dafür
CN107093432B (zh) 一种用于通信系统的语音质量评价系统
US20180315439A1 (en) Signal processor
CN112005300A (zh) 语音信号的处理方法和移动设备
CN109215635B (zh) 用于语音清晰度增强的宽带语音频谱倾斜度特征参数重建方法
CN103971697B (zh) 基于非局部均值滤波的语音增强方法
Shifas et al. End-to-end neural based modification of noisy speech for speech-in-noise intelligibility improvement
Ou et al. Concealing audio packet loss using frequency-consistent generative adversarial networks
Lee et al. Speech Enhancement for Virtual Meetings on Cellular Networks
CN110580920A (zh) 一种声码器子带清浊音判决的方法及系统
DE102013005844B3 (de) Verfahren und Vorrichtung zum Messen der Qualität eines Sprachsignals

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 518000 2101, No. 100, Zhihe Road, Dakang community, Yuanshan street, Longgang District, Shenzhen, Guangdong

Patentee after: BANGYAN TECHNOLOGY Co.,Ltd.

Address before: 518000 room 901, block B, building 5, Shenzhen software industry base, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: BANGYAN TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder