CN111883147A - 音频数据处理方法、装置、计算机设备及存储介质 - Google Patents

音频数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111883147A
CN111883147A CN202010718661.3A CN202010718661A CN111883147A CN 111883147 A CN111883147 A CN 111883147A CN 202010718661 A CN202010718661 A CN 202010718661A CN 111883147 A CN111883147 A CN 111883147A
Authority
CN
China
Prior art keywords
audio
target
phase
amplitude value
audio frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010718661.3A
Other languages
English (en)
Other versions
CN111883147B (zh
Inventor
张旭
郑羲光
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010718661.3A priority Critical patent/CN111883147B/zh
Publication of CN111883147A publication Critical patent/CN111883147A/zh
Application granted granted Critical
Publication of CN111883147B publication Critical patent/CN111883147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种音频数据处理方法、装置、计算机设备及存储介质，涉及音频数据处理领域。通过在音频文件丢帧时，从音频文件中获取丢帧时刻之前的多个音频帧，由于这多个音频帧的音频信息与丢失音频帧具有较强的关联性，则可以根据这些音频帧所包含的信息，来确定丢帧时刻的目标幅度值和目标相位，再基于该目标幅度值和目标相位，也即是，基于幅度和相位两个维度的数据，来构造丢帧时刻对应的目标音频帧，从而可以有效提高音频帧恢复的准确率。

Description

音频数据处理方法、装置、计算机设备及存储介质
技术领域
本公开涉及音频数据处理领域，尤其涉及音频数据数据处理方法、装置、计算机设备及存储介质。
背景技术
随着移动通信和互联网的发展，音频技术的应用越来越广泛。在音频数据的传输过程中，由于网络环境较差等原因，可能会发生丢帧事件，严重影响音频质量。目前，在音频数据处理过程中，发生丢帧事件时，通常是基于丢失音频帧的前一个音频帧对应的激励参数，来构造丢失音频帧。当出现连续丢帧，即连续多个音频帧丢失时，则需要基于前一个音频帧对应的激励参数，来恢复出多个丢失的音频帧。
但是，在上述过程中，由于该前一个音频帧的激励参数往往与后续丢失的多个音频帧关联性较差，会导致难以准确地预测出丢失音频帧所包含的信息，音频帧恢复效果较差。因此，在进行音频数据处理时，如何准确地恢复出丢失的音频帧，是当前的一个重要研究方向。
发明内容
本公开提供一种音频数据处理方法、装置、计算机设备及计算机可读存储介质，可以在音频数据处理过程中，准确恢复出丢失的音频帧。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种音频数据处理方法，包括：
响应于音频文件中发生丢帧事件，从该音频文件中获取多个音频帧，该多个音频帧为发生该丢帧事件的目标时刻之前的音频帧；
获取该多个音频帧的幅度值序列和相位序列；
基于该幅度值序列，获取该目标时刻的目标幅度值；
基于该多个音频帧的相位序列，确定该目标时刻的目标相位；
基于该目标幅度值以及该目标相位，生成该目标时刻的目标音频帧。
在一种可能实现方式中，该获取该多个音频帧的幅度值序列和相位序列包括：
对该多个音频帧进行短时傅里叶变换，得到该多个音频帧对应的幅度值序列和相位序列。
在一种可能实现方式中，该基于该幅度值序列，获取该目标时刻的目标幅度值包括：
将该幅度值序列输入音频处理模型，由该音频处理模型提取该幅度值序列的幅度特征；
通过该音频处理模型基于该幅度特征，输出该目标时刻的该目标幅度值。
在一种可能实现方式中，该基于该多个音频帧的相位序列，确定该目标时刻的目标相位，包括：
基于该多个音频帧的相位序列，获取该多个音频帧中相邻两个音频帧之间的平均相位差；
将该多个音频帧中最后一个音频帧的相位与该平均相位差相加，得到该目标时刻的该目标相位。
在一种可能实现方式中，该基于该目标幅度值以及该目标相位，生成该目标时刻的目标音频帧，包括：
将该目标幅度值与该目标相位相乘，得到该目标时刻对应的频域数据；
对该频域数据进行逆傅里叶变换，生成该目标音频帧。
在一种可能实现方式中，该响应于音频文件中发生丢帧事件，从该音频文件中获取多个音频帧，包括：
在该音频文件的接收过程中，检测丢帧事件；
响应于在目标时刻检测到发生丢帧事件，从该音频文件中，获取在该目标时刻之前接收到的该多个音频帧。
在一种可能实现方式中，该多个音频帧的数目基于该音频文件中发生连续丢帧事件的持续时长确定。
根据本公开实施例的第二方面，提供一种音频数据处理装置，包括：
第一获取单元，被配置为响应于音频文件中发生丢帧事件，从该音频文件中获取多个音频帧，该多个音频帧为发生该丢帧事件的目标时刻之前的音频帧；
第二获取单元，被配置为获取该多个音频帧的幅度值序列和相位序列；
第三获取单元，被配置为基于该幅度值序列，获取该目标时刻的目标幅度值；
确定单元，被配置为基于该多个音频帧的相位序列，确定该目标时刻的目标相位；
生成单元，被配置为基于该目标幅度值以及该目标相位，生成该目标时刻的目标音频帧。
在一种可能实现方式中，该第二获取单元被配置为：
对该多个音频帧进行短时傅里叶变换，得到该多个音频帧对应的幅度值序列和相位序列。
在一种可能实现方式中，该第三获取单元被配置为：
将该幅度值序列输入音频处理模型，由该音频处理模型提取该幅度值序列的幅度特征；
通过该音频处理模型基于该幅度特征，输出该目标时刻的该目标幅度值。
在一种可能实现方式中，该确定单元被配置为：
基于该多个音频帧的相位序列，获取该多个音频帧中相邻两个音频帧之间的平均相位差；
将该多个音频帧中最后一个音频帧的相位与该平均相位差相加，得到该目标时刻的该目标相位。
在一种可能实现方式中，该生成单元被配置为：
将该目标幅度值与该目标相位相乘，得到该目标时刻对应的频域数据；
对该频域数据进行逆傅里叶变换，生成该目标音频帧。
在一种可能实现方式中，该音频帧获取单元被配置为：
在该音频文件的接收过程中，检测丢帧事件；
响应于在目标时刻检测到发生丢帧事件，从该音频文件中，获取在该目标时刻之前接收到的该多个音频帧。
在一种可能实现方式中，该多个音频帧的数目基于该音频文件中发生连续丢帧事件的持续时长确定。
根据本公开实施例的第三方面，提供一种计算机设备，包括：
处理器；
用于存储该处理器可执行指令的存储器；
其中，该处理器被配置为执行该指令，以实现如上述任一项该的音频数据处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当该计算机可读存储介质中的指令由计算机设备的处理器执行时，使得该计算机设备能够执行如上述任一项该的音频数据处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括可执行指令，当该计算机程序产品中的指令由计算机设备的处理器执行时，使得该计算机设备能够执行如上述任一项该的音频数据处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过在音频文件丢帧时，从音频文件中获取丢帧时刻之前的多个音频帧，由于这多个音频帧的音频信息与丢失音频帧具有较强的关联性，则可以根据这些音频帧所包含的信息，来确定丢帧时刻的目标幅度值和目标相位，再基于该目标幅度值和目标相位，也即是，基于幅度和相位两个维度的数据，来构造丢帧时刻对应的目标音频帧，从而可以有效提高音频帧恢复的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种音频数据处理方法的流程图；
图2为根据一示例性实施例示出的一种音频数据处理方法的实施环境示意图；
图3是本公开实施例提供的一种音频数据处理方法的流程图；
图4是根据一示例性实施例示出的一种音频数据处理流程的示意图；
图5是根据一示例性实施例示出的一种音频处理模型训练过程的示意图；
图6是根据一示例性实施例示出的一种音频处理模型训练方法的流程图；
图7是根据一示例性实施例示出的一种音频数据处理装置框图；
图8是根据一示例性实施例示出的一种计算机设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种音频数据处理方法的流程图，如图1所示，该音频数据处理方法用于计算机设备中，包括以下步骤。
在步骤101中，响应于音频文件中发生丢帧事件，从该音频文件中获取多个音频帧，该多个音频帧为发生该丢帧事件的目标时刻之前的音频帧。
在步骤102中，获取该多个音频帧的幅度值序列和相位序列。
在步骤103中，基于该幅度值序列，获取该目标时刻的目标幅度值。
在步骤104中，基于该多个音频帧的相位序列，确定该目标时刻的目标相位。
在步骤105中，基于该目标幅度值以及该目标相位，生成该目标时刻的目标音频帧。
本公开实施例提供的技术方案，通过在音频文件丢帧时，从音频文件中获取丢帧时刻之前的多个音频帧，由于这多个音频帧的音频信息与丢失音频帧具有较强的关联性，则可以根据这些音频帧所包含的信息，来确定丢帧时刻的目标幅度值和目标相位，再基于该目标幅度值和目标相位，也即是，基于幅度和相位两个维度的数据，来构造丢帧时刻对应的目标音频帧，从而可以有效提高音频帧恢复的准确率。
在一种可能实现方式中，该获取该多个音频帧的幅度值序列和相位序列包括：
对该多个音频帧进行短时傅里叶变换，得到该多个音频帧对应的幅度值序列和相位序列。
在一种可能实现方式中，该基于该幅度值序列，获取该目标时刻的目标幅度值包括：
将该幅度值序列输入音频处理模型，由该音频处理模型提取该幅度值序列的幅度特征；
通过该音频处理模型基于该幅度特征，输出该目标时刻的该目标幅度值。
在一种可能实现方式中，该基于该多个音频帧的相位序列，确定该目标时刻的目标相位，包括：
基于该多个音频帧的相位，获取该多个音频帧中相邻两个音频帧之间的平均相位差；
将该多个音频帧中最后一个音频帧的相位与该平均相位差相加，得到该目标时刻的该目标相位。
在一种可能实现方式中，该基于该目标幅度值以及该目标相位，生成该目标时刻的目标音频帧，包括：
将该目标幅度值与该目标相位相乘，得到该目标时刻对应的频域数据；
对该频域数据进行逆傅里叶变换，生成该目标音频帧。
在一种可能实现方式中，该响应于音频文件中发生丢帧事件，从该音频文件中获取多个音频帧，包括：
在该音频文件的接收过程中，检测丢帧事件；
响应于在目标时刻检测到发生丢帧事件，从该音频文件中，获取在该目标时刻之前接收到的该多个音频帧。
在一种可能实现方式中，该多个音频帧的数目基于该音频文件中发生连续丢帧事件的持续时长确定。
上述实施例仅是本公开的实施方式的一个简要介绍以及各种可能实现方式的简要介绍。
图2为根据一示例性实施例示出的一种音频数据处理方法的实施环境示意图，如图2所示，该实施环境可以包括终端201和服务器202。终端201可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3播放器、MP4播放器和膝上型便携计算机中的至少一种。该终端201可以安装和运行有支持音频数据接收的应用程序，例如，即时通讯类应用程序、音频类应用程序、视频类应用程序等，本公开实施例对此不作限定。示例性的，终端201是用户使用的终端，终端201中运行的应用程序内登录有用户账号。
终端201通过无线网络或有线网络与服务器202相连。
服务器202可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器等。该服务器202可以为支持音频数据接收的应用程序提供后台服务。可选地，服务器202承担主要音频数据处理工作，终端201承担次要音频数据处理工作；或者，服务器202承担次要音频数据处理工作，终端201承担主要音频数据处理工作；或者，服务器202或终端201分别可以单独承担音频数据处理工作。该服务器202可以搭载有音频处理模型，该音频处理模型可以用于对音频帧进行特征提取，例如，在本公开实施例中，该音频处理模型可以提取多个音频帧的幅度特征。
上述终端201与服务器202可以通过有线或无线通信方式进行直接或间接地连接，本公开实施例对此不作限定。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本公开实施例对终端的数量和设备类型不加以限定。
本公开实施例提供的技术方案可以与多种应用场景相结合，例如，在实时语音通话过程中，计算机设备可以对实时接收的音频文件进行检测，当检测到某一时刻发生音频帧丢失事件时，可以基于之前接收到的多个音频帧对丢失的音频帧进行恢复。应用本公开实施例提供的技术方案，可以从幅度和相位两个维度来预测丢失音频帧的信息，从而更好地恢复丢失的音频帧。
图3是本公开实施例提供的一种音频数据处理方法的流程图，该方法可以应用于上述终端或者服务器，而终端和服务器均可以视为一种计算机设备，因此，本公开实施例基于计算机设备作为执行主体来进行介绍，参见图3，该实施例可以包括以下步骤：
在步骤301中，计算机设备检测到音频文件中发生丢帧事件，将发生丢帧事件的时刻确定为目标时刻。
其中，该音频文件可以为该计算机设备正在实时接收的音频文件。在一种可能实现方式中，该计算机设备可以在该音频文件的接收过程中，实时检测丢帧事件，响应于在某一时刻检测到发生丢帧事件，即在某一时刻未接收到音频帧，该计算机设备可以将该某一时刻确定为目标时刻，该未接收到的音频帧即为待恢复出的目标音频帧。当然，该音频文件也可以为已存储在计算机设备中的音频文件，该音频文件中丢失了至少一个音频帧，该计算机设备也可以确定出丢失的音频帧的播放时刻，将该播放时刻确定为目标时刻。需要说明的是，本公开实施例对具体采用哪种音频文件不作限定，在本公开实施例中，仅以该音频文件为计算机设备实时接收的音频文件为例进行说明。
需要说明的是，上述对丢帧事件检测方法的说明，仅是一种示例性说明，本公开实施例对具体采用哪种方法检测丢帧事件不作限定。该音频文件中发生丢帧事件的次数可以为一次，也可以为多次，也即是，可以确定出一个目标时刻，也可以确定出多个目标时刻，本公开实施例对此不作限定。在本公开实施例中，仅以一个目标时刻为例进行说明。
在步骤302中，计算机设备从音频文件中获取该目标时刻之前的多个音频帧。
其中，该多个音频帧的数目可以由开发人员进行设置，本公开实施例对此不作限定。在一种可能实现方式中，该多个音频帧的数目也可以基于该音频文件中发生连续丢帧事件的持续时长确定。例如，该音频文件中发生连续丢帧事件的持续时间越长，即丢失数据越多，则在进行数据恢复时，需要获取的音频帧数目越多；该音频文件中发生连续丢帧事件的持续时间越短，即丢失数据越少，则在进行数据恢复时，需要获取的音频帧数目越少。
在本公开实施例中，该计算机设备确定该目标时刻发生丢帧事件后，可以从该音频文件中，获取该目标时刻之前的多个音频帧，基于该多个音频帧构造出丢失的目标音频帧。
上述步骤301和步骤302，是响应于音频文件中发生丢帧事件，从该音频文件中获取多个音频帧，该多个音频帧为发生该丢帧事件的目标时刻之前的音频帧的步骤。在本公开实施例中，基于多个音频帧进行数据恢复，在数据恢复过程中能够获取到更多的音频帧特征，从而可以提高数据恢复的准确率。
在步骤303中，计算机设备获取多个音频帧的幅度值序列和相位序列。
在本公开实施例中，该计算机设备需要将该多个音频帧从时域转换至时频域，以获取到多个音频帧对应的幅度值序列以及相位序列，以便该计算机设备后续基于幅度值和相位来构造丢失的目标音频帧。在一种可能实现方式中，该计算机设备可以对该多个音频帧进行短时傅里叶变换，得到各个音频帧的频域表示，即各个音频帧对应的频域数据，该频域数据可以用来确定该多个音频帧的幅度值序列和相位序列。例如，该计算机设备可以确定各个音频帧对应的时长，将音频帧的时长确定为窗函数的窗长，该计算机设备可以基于该各个音频帧对应的时长，对该多个音频帧进行加窗处理，再对加窗处理后的该多个音频帧进行快速傅里叶变换，得到时频域数据，即得到每个音频帧对应的频域数据。对于t时刻的音频帧x(t)，进行短时傅里叶变换可以表示为下述公式(1)：
X(n，k)＝STFT(x(t)) (1)
其中，0<t≤T，T为多个音频帧的总时长，T大于0；X(n，k)为x(t)在频域的表示；n表示帧序列，0<n≤N，N为总帧数，N大于0；k表示中心频率序列，0<k≤K，K为总频点数，K大于0；STFT()表示短时傅里叶变换。
该计算机设备可以对各个音频帧对应的频域数据X(n，k)取绝对值，得到各个音频帧的幅度值MagX(n，k)，进而得到该多个音频帧对应的幅度值序列；该计算机设备可以基于该多个音频帧的时频域数据X(n,k)，得到该多个音频帧的相位序列Pha(n,k)。需要说明的是，上述对幅度值序列和相位序列获取方法的说明，仅是一种示例性说明，本公开实施例对此不作限定。本公开实施例对上述窗函数的具体类型不作限定，上述窗函数中的窗长等参数均可以由开发人员进行设置。
在一种可能实现方式中，该计算机设置在将该多个音频帧由时域转换至时频域之前，还可以对该多个音频帧进行预处理，例如，对该多个音频帧进行预加重、降噪等处理，以降低发声器官、音频采集设备等对音频质量造成的影响，便于后续对多个音频帧进行特征提取。需要说明的是，本公开实施例对该预处理过程不作限定。
在步骤304中，计算机设备基于该幅度值序列，获取该目标时刻的目标幅度值。
在一种可能实现方式中，该计算机设备可以将该幅度值序列输入音频处理模型，由该音频处理模型提取该幅度值序列的幅度特征，通过该音频处理模型基于该幅度特征，输出该目标时刻的该目标幅度值。
在本公开实施例中，上述音频处理模型为已训练完成的模型，可以用于对该多次音频帧进行幅度特征提取，进而基于提取到的幅度特征预测出丢失的目标音频帧的幅度值。该音频处理模型可以为基于神经网络构建的模型，该神经网络可以为RNN(RecurrentNeural Network，循环神经网络)、DNN(Deep Neural Networks，深度神经网络)等，本公开实施例对此不作限定。在本公开实施例中，以该音频处理模型为基于DNN构建的模型为例，该音频处理模型可以包括输入层、至少一个隐层以及输出层。该计算机设备可以通过该输入层将该多个音频帧对应的幅度值序列输入该音频处理模型。当然，该计算机设备还可以进一步获取该多个音频帧的梅尔频谱信息mel(MagX(n，k))，作为该音频处理模型的输入，本公开实施例对该音频处理模型的具体输入数据不作限定。该计算机设备可以通过该至少一个隐层中的各个隐层单元，对该幅度值序列进行特征提取，即对输入数据进行加权运算，得到该多个音频帧的幅度特征，由输出层输出基于该幅度特征预测出目标幅度值，也即是丢失音频帧的幅度值。需要说明的是，上述对获取目标幅度值的方法的说明，仅是一种示例性说明，本公开实施例对具体采用哪种方法获取该目标幅度值不作限定。
在步骤305中，计算机设备基于该多个音频帧的相位序列，确定该目标时刻的目标相位。
在一种可能实现方式中，该计算机设备可以基于该多个音频帧的相位序列，获取该多个音频帧中相邻两个音频帧之间的平均相位差。例如，音频帧的相位可以表示为Pha(n，k)，则相邻两个音频帧之间的相位差Phadiff(n，k)可以表示为下述公式(2)：
Phadiff(n，k)＝Pha(n，k)-Pha(n-1，k) (2)
其中，Phadiff(n，k)可以表示第n个音频帧与第n-1个音频帧之间的相位差。
该平均相位差Phadiff_mean可以表示为下述公式(3)：
Figure BDA0002599140860000091
其中，z可以表示音频帧的数目，z为正整数；a表示连续z个音频帧中第一个音频帧的序号；m表示当前参与计算的音频帧的序号，a≤m≤a+z。
在一种可能实现方式中，该计算机设备可以获取该多个音频帧中最后一个音频帧的相位，将该最后一个音频帧的相位与该平均相位差相加，得到该目标时刻的目标相位Phaest(n，k)。该目标相位的获取过程方法表示为下述公式(4)：
Phaest(n，k)＝Pha(n-1，k)+Phadiff_mean (4)
其中，n可以表示丢失的目标音频帧为第n个音频帧；Pha(n-1，k)可以表示该多个音频帧中最后一个音频帧，即第n-1个音频帧的相位；Phadiff_mean表示平均相位差。
需要说明的是，上述对目标相位预测方法的说明，仅是一种示例性说明，本公开实施例对具体采用哪种方法确定该目标相位不作限定。
在本公开实施例中，以先获取目标幅度值，再获取目标相位序列的执行顺序进行描述，在一些实施例中，也可以先执行获取目标相位序列的步骤，再执行获取目标幅度值的步骤，或者两个步骤同时执行，本公开实施例对此不作限定。
在步骤306中，计算机设备基于该目标幅度值以及该目标相位，生成该目标时刻的目标音频帧。
在本公开实施例中，该计算机设备可以将该目标幅度值与该目标相位相乘，得到该目标时刻对应的频域数据，再对该频域数据进行逆傅里叶变换，生成该目标音频帧。例如，该目标音频帧为t时刻的音频帧，则预测出的该目标音频帧X0(t)可以表示为下述公式(5)：
X0(t)＝ISTFT(MagX0(n，k)*Phaest(n，k)) (5)
其中，MagX0(n，k)可以表示音频处理模型输出的目标幅度值；Phaest(n，k)可以表示预测出的目标相位；ISTFT()可以表示短时逆傅里叶变换。
本公开实施例提供的技术方案，通过在音频文件丢帧时，从音频文件中获取丢帧时刻之前的多个音频帧，由于这多个音频帧的音频信息与丢失音频帧具有较强的关联性，则可以根据这些音频帧所包含的信息，来确定丢帧时刻的目标幅度值和目标相位，再基于该目标幅度值和目标相位，也即是，基于幅度和相位两个维度的数据，来构造丢帧时刻对应的目标音频帧，从而可以有效提高音频帧恢复的准确率。
图4是根据一示例性实施例示出的一种音频数据处理流程的示意图，以下结合图4，对上述音频数据处理过程进行说明。对于多个音频帧401，首先，计算机设备可以对该多个音频帧401进行短时傅里叶变换，将该多个音频帧401由时域转换为时频域，进而基于时频域数据得到幅度值序列402以及相位序列403。然后，该计算机设备可以将该幅度值序列402输入音频处理模型404，由音频处理模型基于该幅度值序列402预测出目标幅度值405。该计算机设备可以应用相位补偿技术，基于该多个音频帧401的相位序列403预测出该目标相位406。最后，该计算机设备基于该目标幅度值405以及目标相位406，构造出该目标音频帧。在本公开实施例中，采用基于深度学习的音频丢包补偿方法，即应用训练好的音频处理模型，基于未丢失的多个音频帧的幅度信息，来预测丢失音频帧的目标幅度值，采用相位补偿技术，基于未丢失的多个音频帧的相位，来预测丢失音频帧的目标相位，能够更好地补偿丢失帧的音频信息以及达到更大的丢失帧补充时长，从而消除由于丢包所造成的的音频不连续以及听感较差的问题。
上述实施例介绍了应用音频处理模型对丢失的音频帧的目标幅度值进行预测的过程，而在应用该音频处理模型之前，需对该音频处理模型进行训练，图5是根据一示例性实施例示出的一种音频处理模型训练过程的示意图，参见图5，该计算机设备需从一段音频数据的幅度信息中选取该音频处理模型的学习特征501和学习目标502，作为训练数据，将该学习特征501和学习目标502输入音频处理模型训练模块503，对音频处理模型进行训练，使该音频处理模型可以基于该学习特征501预测出该学习目标502。图6是根据一示例性实施例示出的一种音频处理模型训练方法的流程图，结合图6，对该音频处理模型的训练过程进行具体说明：
在步骤601中，计算机设备初始化该音频处理模型中的各个参数。
该计算机设备可以对该音频处理模型中各个运算层的参数进行随机赋值，来实现参数初始化。在一种可能实现方式中，该计算机设备可以采用方差为0.01，均值为0的高斯分布对该音频处理模型进行参数初始化。
需要说明的是，上述对音频处理模型初始化方法的说明仅是一种示例性说明，本公开实施例对具体采用哪种模型初始化方式不作限定。
在步骤602中，计算机设备将训练数据集输入该音频处理模型训练模块。
其中，音频处理模型训练模块可以包括音频处理模型，还可以包括用于对音频处理模型的输出结果进行评估的至少一个损失函数，本公开实施例对该音频处理模型训练模块的具体结构不作限定。
在一种可能实现方式中，该训练数据集中可以包括多个训练数据，一个训练数据可以由该音频处理模型的学习特征和学习目标构成。在一种可能实现方式中，该计算机设备可以对某一预设音频数据进行短时傅里叶变换，得到该预设音频数据的幅度信息。其中，该预设音频数据中包括多个音频帧。例如，对于预设音频数据对应的时频域数据X(n，k)，该计算机设备基于该时频域数据X(n，k)所得到的幅度信息，即幅度值序列MagX(n，k)可以表示为下述公式(6)：
MagX(n，k)＝abs(X(n，k)) (6)
其中，abs()可以表示取绝对值运算。
该计算机设备可以从该预设音频数据中选取第一音频数据，将该第一音频数据对应的幅度值序列MagX(n-m:n-1,k)作为该学习特征。其中，m可以表示该第一音频数据中共包含m个音频帧，预设音频数据中的第n-m帧为该第一音频数据中的第一个音频帧，预设音频数据中的第n-1帧为该第一音频数据中的最后一个音频帧。当然，该计算机设备还可以进一步获取该幅度值序列对应的梅尔频谱信息mel(MagX(n-m:n-1,k))作为该学习特征，本公开实施例对此不作限定，在本公开实施例中，仅以将幅度值序列作为学习特征为例进行说明。该计算机设备可以从预设音频数据中，选取位于该第一音频数据之后，紧邻该第一音频数据的第二音频数据，将该第二音频数据对应的幅度值序列作为该学习目标。需要说明的是，上述对获取训练数据的方法的说明，仅是一种示例性说明，本公开实施例对具体采用哪种方法获取该训练数据不作限定。
该计算机设备可以将学习特征和学习目标输入该音频处理模型训练模块，将其中的学习特征输入音频处理模型，由该音频处理模型执行后续的数据处理步骤。
在步骤603中，计算机设备获取该音频处理模型的模型输出结果，计算模型输出结果与学习目标的误差。
在一种可能实现方式中，该计算机设备可以基于至少一个损失函数来确定该模型输出结果与学习目标之间的误差。例如，可以通过损失函数计算模型输出结果与学习目标之间的损失，作为模型输出结果与正确结果之间的误差。当然，该计算机设备还可以通过其他方法确定该误差，本公开实施例对此不作限定。
在步骤604中，该计算机设备基于该模型输出结果与学习目标之间的误差，对该音频处理模型中的各个参数进行调整，至到符合预设条件时，得到训练好的音频处理模型。
在一种可能实现方式中，该计算机设备可以将该误差与预设阈值进行比较，当该误差大于预设阈值时，该计算机设备可以将误差反向传播至该音频处理模型，求解该音频处理模型中的各个参数。其中，该预设阈值可以由开发人员进行设置，本公开实施例对此不作限定。需要说明的是，本公开实施例对该音频处理模型中各个参数的求解过程不作限定。
当该误差小于预设阈值时，则确定该音频处理模型输出了正确结果，该计算机设备可以继续读取下一组训练数据，执行上述步骤603，若该计算机设备获取到的模型输出结果正确的个数到达目标数目，或者遍历该训练数据集达到目标次数时，则可以确定该音频处理模型训练完毕。其中，该目标数目和目标次数均可以由开发人员进行设置。
图7是根据一示例性实施例示出的一种音频数据处理装置框图。参照图7，该装置包括音频帧第一获取单元701、第二获取单元702、第三获取单元703、确定单元704和生成单元705。
第一获取单元701，被配置为响应于音频文件中发生丢帧事件，从该音频文件中获取多个音频帧，该多个音频帧为发生该丢帧事件的目标时刻之前的音频帧；
第二获取单元702，被配置为获取该多个音频帧的幅度值序列和相位序列；
第三获取单元703，被配置为基于该幅度值序列，获取该目标时刻的目标幅度值；
确定单元704，被配置为基于该多个音频帧的相位序列，确定该目标时刻的目标相位；
生成单元705，被配置为基于该目标幅度值以及该目标相位，生成该目标时刻的目标音频帧。
在一种可能实现方式中，该第二获取单元702被配置为：
对该多个音频帧进行短时傅里叶变换，得到该多个音频帧对应的幅度值序列和相位序列。
在一种可能实现方式中，该第三获取单元703被配置为：
将该幅度值序列输入音频处理模型，由该音频处理模型提取该幅度值序列的幅度特征；
通过该音频处理模型基于该幅度特征，输出该目标时刻的该目标幅度值。
在一种可能实现方式中，该确定单元704被配置为：
基于该多个音频帧的相位序列，获取该多个音频帧中相邻两个音频帧之间的平均相位差；
将该多个音频帧中最后一个音频帧的相位与该平均相位差相加，得到该目标时刻的该目标相位。
在一种可能实现方式中，该生成单元705被配置为：
将该目标幅度值与该目标相位相乘，得到该目标时刻对应的频域数据；
对该频域数据进行逆傅里叶变换，生成该目标音频帧。
在一种可能实现方式中，该音频帧获取单元701被配置为：
在该音频文件的接收过程中，检测丢帧事件；
响应于在目标时刻检测到发生丢帧事件，从该音频文件中，获取在该目标时刻之前接收到的该多个音频帧。
在一种可能实现方式中，该多个音频帧的数目基于该音频文件中发生连续丢帧事件的持续时长确定。
本公开实施例提供的装置，通过在音频文件丢帧时，从音频文件中获取丢帧时刻之前的多个音频帧，由于这多个音频帧的音频信息与丢失音频帧具有较强的关联性，则可以根据这些音频帧所包含的信息，来确定丢帧时刻的目标幅度值和目标相位，再基于该目标幅度值和目标相位，也即是，基于幅度和相位两个维度的数据，来构造丢帧时刻对应的目标音频帧，从而可以有效提高音频帧恢复的准确率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种计算机设备的框图。该计算机设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)801和一个或一个以上的存储器802，其中，该存储器802中存储有至少一条指令，该至少一条指令由该处理器801加载并执行以实现上述各个方法实施例提供的音频数据处理方法。当然，该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由计算机设备的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种音频数据处理方法，其特征在于，包括：
响应于音频文件中发生丢帧事件，从所述音频文件中获取多个音频帧，所述多个音频帧为发生所述丢帧事件的目标时刻之前的音频帧；
获取所述多个音频帧的幅度值序列和相位序列；
基于所述幅度值序列，获取所述目标时刻的目标幅度值；
基于所述多个音频帧的相位序列，确定所述目标时刻的目标相位；
基于所述目标幅度值以及所述目标相位，生成所述目标时刻的目标音频帧。
2.根据权利要求1所述的音频数据处理方法，其特征在于，所述获取所述多个音频帧的幅度值序列和相位序列包括：
对所述多个音频帧进行短时傅里叶变换，得到所述多个音频帧对应的幅度值序列和相位序列。
3.根据权利要求1所述的音频数据处理方法，其特征在于，所述基于所述幅度值序列，获取所述目标时刻的目标幅度值包括：
将所述幅度值序列输入音频处理模型，由所述音频处理模型提取所述幅度值序列的幅度特征；
通过所述音频处理模型基于所述幅度特征，输出所述目标时刻的所述目标幅度值。
4.根据权利要求1所述的音频数据处理方法，其特征在于，所述基于所述多个音频帧的相位序列，确定所述目标时刻的目标相位，包括：
基于所述多个音频帧的相位序列，获取所述多个音频帧中相邻两个音频帧之间的平均相位差；
将所述多个音频帧中最后一个音频帧的相位与所述平均相位差相加，得到所述目标时刻的所述目标相位。
5.根据权利要求1所述的音频数据处理方法，其特征在于，所述基于所述目标幅度值以及所述目标相位，生成所述目标时刻的目标音频帧，包括：
将所述目标幅度值与所述目标相位相乘，得到所述目标时刻对应的频域数据；对所述频域数据进行逆傅里叶变换，生成所述目标音频帧。
6.根据权利要求1所述的音频数据处理方法，其特征在于，所述响应于音频文件中发生丢帧事件，从所述音频文件中获取多个音频帧，包括：
在所述音频文件的接收过程中，检测丢帧事件；
响应于在目标时刻检测到发生丢帧事件，从所述音频文件中，获取在所述目标时刻之前接收到的所述多个音频帧。
7.根据权利要求1所述的音频数据处理方法，其特征在于，所述多个音频帧的数目基于所述音频文件中发生连续丢帧事件的持续时长确定。
8.一种音频数据处理装置，其特征在于，包括：
第一获取单元，被配置为响应于音频文件中发生丢帧事件，从所述音频文件中获取多个音频帧，所述多个音频帧为发生所述丢帧事件的目标时刻之前的音频帧；
第二获取单元，被配置为获取所述多个音频帧的幅度值序列和相位序列；
第三获取单元，被配置为基于所述幅度值序列，获取所述目标时刻的目标幅度值；
确定单元，被配置为基于所述多个音频帧的相位序列，确定所述目标时刻的目标相位；
生成单元，被配置为基于所述目标幅度值以及所述目标相位，生成所述目标时刻的目标音频帧。
9.一种计算机设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的音频数据处理方法。
10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由计算机设备的处理器执行时，使得所述计算机设备能够执行如权利要求1至7中任一项所述的音频数据处理方法。
CN202010718661.3A 2020-07-23 2020-07-23 音频数据处理方法、装置、计算机设备及存储介质 Active CN111883147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010718661.3A CN111883147B (zh) 2020-07-23 2020-07-23 音频数据处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010718661.3A CN111883147B (zh) 2020-07-23 2020-07-23 音频数据处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111883147A true CN111883147A (zh) 2020-11-03
CN111883147B CN111883147B (zh) 2024-05-07

Family

ID=73154739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010718661.3A Active CN111883147B (zh) 2020-07-23 2020-07-23 音频数据处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111883147B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113035207A (zh) * 2021-03-03 2021-06-25 北京猿力未来科技有限公司 音频处理方法及装置
CN113096685A (zh) * 2021-04-02 2021-07-09 北京猿力未来科技有限公司 音频处理方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US20060111899A1 (en) * 2004-11-23 2006-05-25 Stmicroelectronics Asia Pacific Pte. Ltd. System and method for error reconstruction of streaming audio information
CN1901431A (zh) * 2006-07-04 2007-01-24 华为技术有限公司 一种丢帧隐藏方法和装置
CN1983909A (zh) * 2006-06-08 2007-06-20 华为技术有限公司 一种丢帧隐藏装置和方法
US20080007653A1 (en) * 2006-07-07 2008-01-10 Kabushiki Kaisha Toshiba Packet stream receiving apparatus
US20100228542A1 (en) * 2007-11-15 2010-09-09 Huawei Technologies Co., Ltd. Method and System for Hiding Lost Packets
CN101958119A (zh) * 2009-07-16 2011-01-26 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
US20130314553A1 (en) * 2011-04-11 2013-11-28 Huawei Technologies Co., Ltd. Video Data Quality Assessment Method and Apparatus
US20140337039A1 (en) * 2011-10-24 2014-11-13 Zte Corporation Frame Loss Compensation Method And Apparatus For Voice Frame Signal
CN104347076A (zh) * 2013-08-09 2015-02-11 中国电信股份有限公司 网络音频丢包掩蔽方法和装置
US20150131429A1 (en) * 2012-07-18 2015-05-14 Huawei Technologies Co., Ltd. Method and apparatus for compensating for voice packet loss
CN107231563A (zh) * 2016-03-24 2017-10-03 腾讯科技（深圳）有限公司 视频处理方法和装置
CN107958672A (zh) * 2017-12-12 2018-04-24 广州酷狗计算机科技有限公司 获取基音波形数据的方法和装置
US10032457B1 (en) * 2017-05-16 2018-07-24 Beken Corporation Circuit and method for compensating for lost frames
CN110730408A (zh) * 2019-11-11 2020-01-24 北京达佳互联信息技术有限公司 一种音频参数切换方法、装置、电子设备及存储介质
CN111292768A (zh) * 2020-02-07 2020-06-16 腾讯科技（深圳）有限公司 丢包隐藏的方法、装置、存储介质和计算机设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US20060111899A1 (en) * 2004-11-23 2006-05-25 Stmicroelectronics Asia Pacific Pte. Ltd. System and method for error reconstruction of streaming audio information
CN1983909A (zh) * 2006-06-08 2007-06-20 华为技术有限公司 一种丢帧隐藏装置和方法
CN1901431A (zh) * 2006-07-04 2007-01-24 华为技术有限公司 一种丢帧隐藏方法和装置
US20080007653A1 (en) * 2006-07-07 2008-01-10 Kabushiki Kaisha Toshiba Packet stream receiving apparatus
US20100228542A1 (en) * 2007-11-15 2010-09-09 Huawei Technologies Co., Ltd. Method and System for Hiding Lost Packets
CN101958119A (zh) * 2009-07-16 2011-01-26 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
US20120109659A1 (en) * 2009-07-16 2012-05-03 Zte Corporation Compensator and Compensation Method for Audio Frame Loss in Modified Discrete Cosine Transform Domain
US20130314553A1 (en) * 2011-04-11 2013-11-28 Huawei Technologies Co., Ltd. Video Data Quality Assessment Method and Apparatus
US20140337039A1 (en) * 2011-10-24 2014-11-13 Zte Corporation Frame Loss Compensation Method And Apparatus For Voice Frame Signal
US20150131429A1 (en) * 2012-07-18 2015-05-14 Huawei Technologies Co., Ltd. Method and apparatus for compensating for voice packet loss
CN104347076A (zh) * 2013-08-09 2015-02-11 中国电信股份有限公司 网络音频丢包掩蔽方法和装置
CN107231563A (zh) * 2016-03-24 2017-10-03 腾讯科技（深圳）有限公司 视频处理方法和装置
US10032457B1 (en) * 2017-05-16 2018-07-24 Beken Corporation Circuit and method for compensating for lost frames
CN107958672A (zh) * 2017-12-12 2018-04-24 广州酷狗计算机科技有限公司 获取基音波形数据的方法和装置
CN110730408A (zh) * 2019-11-11 2020-01-24 北京达佳互联信息技术有限公司 一种音频参数切换方法、装置、电子设备及存储介质
CN111292768A (zh) * 2020-02-07 2020-06-16 腾讯科技（深圳）有限公司 丢包隐藏的方法、装置、存储介质和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OFIR HADAS ET, AL.: "《Audio packet loss concealment in a combined MDCT-MDST domain》", 《IEEE SIGNAL PROCESSING LETTERS》, vol. 14, no. 12, 1 December 2007 (2007-12-01), pages 1032 - 1035 *
计哲 等: "《基于SELP声码器的连续丢包隐藏算法》", 《清华大学学报》, vol. 50, no. 12, 15 December 2010 (2010-12-15), pages 2003 - 2006 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113035207A (zh) * 2021-03-03 2021-06-25 北京猿力未来科技有限公司 音频处理方法及装置
CN113035207B (zh) * 2021-03-03 2024-03-22 北京猿力未来科技有限公司 音频处理方法及装置
CN113096685A (zh) * 2021-04-02 2021-07-09 北京猿力未来科技有限公司 音频处理方法及装置
CN113096685B (zh) * 2021-04-02 2024-05-07 北京猿力未来科技有限公司 音频处理方法及装置

Also Published As

Publication number Publication date
CN111883147B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
US20210256379A1 (en) Audio processing with neural networks
US10891944B2 (en) Adaptive and compensatory speech recognition methods and devices
US11456005B2 (en) Audio-visual speech separation
US11711648B2 (en) Audio-based detection and tracking of emergency vehicles
US11875807B2 (en) Deep learning-based audio equalization
US9460704B2 (en) Deep networks for unit selection speech synthesis
US20220036903A1 (en) Reverberation compensation for far-field speaker recognition
Ranjan et al. Curriculum learning based approaches for noise robust speaker recognition
CN111785288B (zh) 语音增强方法、装置、设备及存储介质
CN109346062B (zh) 语音端点检测方法及装置
US20210089909A1 (en) High fidelity speech synthesis with adversarial networks
CN111883147B (zh) 音频数据处理方法、装置、计算机设备及存储介质
CN110753238A (zh) 视频处理方法、装置、终端及存储介质
CN111754983A (zh) 一种语音去噪方法、装置、电子设备及存储介质
CN113192536B (zh) 语音质量检测模型的训练方法、语音质量检测方法及装置
JPWO2019220620A1 (ja) 異常検出装置、異常検出方法及びプログラム
CN110288974B (zh) 基于语音的情绪识别方法及装置
CN113327594B (zh) 语音识别模型训练方法、装置、设备及存储介质
CN113555031B (zh) 语音增强模型的训练方法及装置、语音增强方法及装置
CN115565548A (zh) 异常声音检测方法、装置、存储介质及电子设备
US11887615B2 (en) Method and device for transparent processing of music
US20240104420A1 (en) Accurate and efficient inference in multi-device environments
CN116543796B (zh) 一种音频处理方法、装置及计算机设备、存储介质
Yarter et al. Investigating a Quantum Cloud Paradigm with Quantum Neural Networks
CA3214170A1 (en) Adaptive visual speech recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant