CN115294990B - 扩声系统检测方法、系统、终端及存储介质 - Google Patents

扩声系统检测方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN115294990B
CN115294990B CN202211220217.4A CN202211220217A CN115294990B CN 115294990 B CN115294990 B CN 115294990B CN 202211220217 A CN202211220217 A CN 202211220217A CN 115294990 B CN115294990 B CN 115294990B
Authority
CN
China
Prior art keywords
sound
audio
audio data
sound source
amplification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211220217.4A
Other languages
English (en)
Other versions
CN115294990A (zh
Inventor
任军军
陈飞霞
俞建
陈蓉
孙云云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Elite Audio Co ltd
Original Assignee
Hangzhou Elite Audio Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Elite Audio Co ltd filed Critical Hangzhou Elite Audio Co ltd
Priority to CN202211220217.4A priority Critical patent/CN115294990B/zh
Publication of CN115294990A publication Critical patent/CN115294990A/zh
Application granted granted Critical
Publication of CN115294990B publication Critical patent/CN115294990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供了一种扩声系统检测方法、系统、终端及存储介质,该方法包括:根据扩声音频数据、声源信息和背景噪声确定扩声噪声,对声源信息对应的文本信息进行分词,得到分词词汇,根据分词词汇确定声源信息的文本类型;对各分词词汇分别进行音节划分,根据音节划分结果确定声源信息的音节类型;根据文本类型、音节类型和环境信息确定声源处理策略;根据声源处理策略对声源信息进行音频处理,得到标准音频数据,将扩声音频数据与标准音频数据进行音频比对,得到音频比对结果;根据音频比对结果和扩声噪声生成待测扩声系统的检测结果。本发明能分别从扩声性能和抗噪性能上对待测扩声系统进行检测,提高了扩声系统检测的准确性。

Description

扩声系统检测方法、系统、终端及存储介质
技术领域
本发明涉及扩声系统技术领域,尤其涉及一种扩声系统检测方法、系统、终端及存储介质。
背景技术
扩声系统包括系统中的设备和声场环境,设备主要包括声源、拾音器、调音台、周边信号处理器、声频功率放大器、扩声器等,扩声系统工作时,声源信号先转为电信号,然后经放大、混音、信号处理、功率放大,最后通过扬声器系统还原于所服务的声场环境,为保障扩声系统扩声的准确性,针对扩声系统检测的问题越来越受人们所重视。
现有的扩声系统使用过程中,一般是采用人工听觉的方式检测扩声系统的扩声性能,由于人工主观性较强,进而降低了扩声系统检测的准确性。
发明内容
本发明实施例的目的在于提供一种扩声系统检测方法、系统、终端及存储介质,旨在解决现有的扩声系统检测准确性低下的问题。
本发明实施例是这样实现的,一种扩声系统检测方法,所述方法包括:
根据声源信息控制待测扩声系统进行扩声,得到扩声音频数据,并获取所述待测扩声系统当前所处扩声环境的背景噪声;
根据所述扩声音频数据、所述声源信息和所述背景噪声,确定所述待测扩声系统的扩声噪声,并获取所述声源信息对应的文本信息;
对所述文本信息进行分词,得到分词词汇,并根据所述分词词汇确定所述声源信息的文本类型;
对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型;
获取所述扩声环境的环境信息,并根据所述文本类型、所述音节类型和所述环境信息,确定声源处理策略;
根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,并将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果;
根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果。
更进一步的,所述方法还包括:
获取所述声源信息对应发声声源的发声方向,并分别获取所述发声声源与所述待测扩声系统中各拾音器之间的拾音距离;
根据所述发声方向和所述拾音距离,确定所述待测扩声系统中目标拾音器,并查询所述待测扩声系统中,所述扩声音频数据对应的输入拾音器;
若所述输入拾音器与所述目标拾音器不相同,则针对所述待测扩声系统发送拾音错误提示;
若所述输入拾音器与所述目标拾音器相同,则获取所述输入拾音器对应的标准扩声列表,所述标准扩声列表包括所述输入拾音器在所述待测扩声系统中,对应的不同扩声类型的扩声器,所述扩声类型包括高音类型、中音类型和低音类型;
查询所述待测扩声系统中,输出所述扩声音频数据对应的输出扩声列表,并将所述输出扩声列表与所述标准扩声列表进行扩声器匹配;
若所述输出扩声列表与所述标准扩声列表之间的扩声器匹配不合格,则针对所述待测扩声系统发送扩声错误提示。
更进一步的,所述将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果,包括:
若所述输出扩声列表与所述标准扩声列表之间的扩声器匹配合格,则分别获取所述输出扩声列表中各扩声器在所述扩声音频数据中的输出音频;
对所述声源信息进行音律识别,得到高音音频数据、中音音频数据和低音音频数据;
根据所述高音音频数据、所述中音音频数据和所述低音音频数据,分别确定所述输出扩声列表中各扩声器在所述标准音频数据中的标准音频;
针对所述输出扩声列表中的各扩声器,将对应的所述标准音频与所述输出音频进行音频比对,得到所述音频比对结果。
更进一步的,所述根据所述分词词汇确定所述声源信息的文本类型,包括:
获取所述声源信息的信息标签,并分别对各分词词汇进行实体识别,得到实体类型;
根据各分词词汇的实体类型,确定所述声源信息的目标实体类型;
将所述目标实体类型和所述信息标签与预存储的文本类型查询表进行匹配,并将匹配到的文本类型确定为所述声源信息的文本类型。
更进一步的,所述对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型,包括:
分别对各分词词汇进行音节转换,得到音节串,并对各音节串中的音节进行声韵母分类;
根据声韵母分类结果对各音节串进行音节划分,并根据音节划分后的各音节串确定对应所述分词词汇的词汇类型;
根据各分词词汇的词汇类型,确定所述声源信息的音节类型。
更进一步的,所述根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,包括:
获取所述声源处理策略中存储的啸叫频率,并根据所述啸叫频率对所述声源信息进行声反馈抑制;
获取所述声源处理策略中存储的均衡信息,并根据所述均衡信息对声反馈抑制后的所述声源信息进行音频均衡处理;
对音频均衡处理后的所述声源信息进行音律识别,得到高音音频数据、中音音频数据和低音音频数据;
分别获取所述高音音频数据、所述中音音频数据和所述低音音频数据在所述声源处理策略中对应的功放信息;
根据所述功放信息对对应所述高音音频数据、所述中音音频数据和所述低音音频数据进行功放处理,得到所述标准音频数据。
更进一步的,所述根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果,包括:
获取所述扩声噪声的时间特征,并根据所述时间特征确定所述扩声噪声的时间特性类型;
获取所述扩声噪声的频率特征,并根据所述频率特征确定所述扩声噪声的频率类型;
根据所述时间特性类型和频率类型,确定所述扩声噪声的噪声等级,并获取将所述音频比对结果中,所述标准音频与所述输出音频之间的比对错误次数;
根据所述噪声等级和所述比对错误次数生成所述待测扩声系统的检测结果。
本发明实施例的另一目的在于提供一种扩声系统,所述系统包括:
音频获取模块,用于根据声源信息控制待测扩声系统进行扩声,得到扩声音频数据,并获取所述待测扩声系统当前所处扩声环境的背景噪声;
文本获取模块,用于根据所述扩声音频数据、所述声源信息和所述背景噪声,确定所述待测扩声系统的扩声噪声,并获取所述声源信息对应的文本信息;
分词模块,用于对所述文本信息进行分词,得到分词词汇,并根据所述分词词汇确定所述声源信息的文本类型;
音节划分模块,用于对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型;
策略确定模块,用于获取所述扩声环境的环境信息,并根据所述文本类型、所述音节类型和所述环境信息,确定声源处理策略;
音频比对模块,用于根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,并将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果;
结果生成模块,用于根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果。
本发明实施例的另一目的在于提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例,基于扩声音频数据、声源信息和背景噪声,能自动确定待测扩声系统的扩声噪声,通过对文本信息进行分词,得到分词词汇,基于分词词汇能自动确定到声源信息的文本类型,通过对各分词词汇分别进行音节划分,基于音节划分结果能自动确定到声源信息的音节类型,通过获取扩声环境的环境信息,基于文本类型、音节类型和环境信息,能自动确定到针对声源信息的声源处理策略,基于声源处理策略,能有效地对声源信息进行音频处理,得到标准音频数据,通过将扩声音频数据与标准音频数据进行音频比对,能有效地检测待测扩声系统的扩声性能,提高了扩声系统检测的准确性,基于音频比对结果和扩声噪声,能分别从扩声性能和抗噪性能上对待测扩声系统进行检测,进一步提高了扩声系统检测的准确性。
附图说明
图1是本发明第一实施例提供的扩声系统检测方法的流程图;
图2是本发明第二实施例提供的扩声系统检测方法的流程图;
图3是本发明第三实施例提供的扩声系统的结构示意图;
图4是本发明第四实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一
请参阅图1,是本发明第一实施例提供的扩声系统检测方法的流程图,该扩声系统检测方法可以应用于任一终端设备或系统,该扩声系统检测方法包括步骤:
步骤S10,根据声源信息控制待测扩声系统进行扩声,得到扩声音频数据,并获取所述待测扩声系统当前所处扩声环境的背景噪声;
其中,该声源信息包括声源音频、声源信息对应发声声源的发声方向和发声声源的位置信息,该声源音频可以根据需求进行设置,该待测扩声系统中的拾音器进行声源音频的采集,并基于拾音器的音频采集结果进行扩声器的扩声操作,得到该扩声音频数据;
可选的,该步骤中,待测扩声系统在当前所处扩声环境中,设置有多个不同位置的拾音器和扩声器,每个拾音器对应的扩声器可以不相同,一个拾音器可以对应多个不用的扩声器,拾音器将采集到的声源音频输送至对应扩声器进行扩声。
步骤S20,根据所述扩声音频数据、所述声源信息和所述背景噪声,确定所述待测扩声系统的扩声噪声,并获取所述声源信息对应的文本信息;
其中,获取待测扩声系统的系统标识,并根据所述系统标识确定音频放大倍数,根据确定到的音频放大倍数对扩声音频数据进行音频缩放,并将音频缩放后的扩声音频数据与声源信息中的声源音频和背景噪声进行音频比对,得到该扩声噪声,该扩声噪声用于表征待测扩声系统工作时发生的噪声,该文本信息为声源音频对应的文字。
步骤S30,对所述文本信息进行分词,得到分词词汇,并根据所述分词词汇确定所述声源信息的文本类型;
其中,通过对文本信息进行分词,得到分词词汇,基于分词词汇能自动确定到声源信息的文本类型,可选的,该步骤中,所述根据所述分词词汇确定所述声源信息的文本类型,包括:
获取所述声源信息的信息标签,并分别对各分词词汇进行实体识别,得到实体类型;其中,该信息标签用于表征声源音频的音频类型,通过分别对各分词词汇进行实体识别,以得到各分词词汇的实体类型,该实体类型用于表征各分词词汇的词汇使用场景;
根据各分词词汇的实体类型,确定所述声源信息的目标实体类型,其中,将实体类型数量最多的实体类型,确定为该目标实体类型;
将所述目标实体类型和所述信息标签与预存储的文本类型查询表进行匹配,并将匹配到的文本类型确定为所述声源信息的文本类型;
其中,该文本类型查询表中存储有不同目标实体类型和信息标签与对应文本类型之间的对应关系,该文本类型用于表征该声源音频在文本应用场景中的使用类型;
步骤S40,对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型;
其中,通过对各分词词汇分别进行音节划分,基于音节划分结果能自动确定到声源信息的音节类型,可选的,该步骤中,所述对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型,包括:
分别对各分词词汇进行音节转换,得到音节串,并对各音节串中的音节进行声韵母分类,其中,通过对各音节串中的音节进行声韵母分类,提高了后续对各音节串进行音节划分的准确性;
根据声韵母分类结果对各音节串进行音节划分,根据音节划分后的各音节串确定对应所述分词词汇的词汇类型,并根据各分词词汇的词汇类型,确定所述声源信息的音节类型;
其中,将音节划分后的各音节串与预存储的词汇类型表进行匹配,得到各分词词汇的词汇类型,该词汇类型表中存储有不同音节串与对应词汇类型之间的对应关系,该词汇类型用于表征对应分词词汇的应用场景,该步骤中,将各分词词汇的词汇类型中数量最多的词汇类型,确定为该声源信息的音节类型,该音节类型用于表征该声源音频在音节应用场景中的使用类型;
步骤S50,获取所述扩声环境的环境信息,并根据所述文本类型、所述音节类型和所述环境信息,确定声源处理策略;
其中,该环境信息包括环境图像、环境位置坐标、环境温度和环境湿度等信息,将该环境信息与环境类型查询表进行匹配,得到环境类型,将该文本类型、音节类型和环境类型与策略查询表进行匹配,得到该声源处理策略,该策略查询表中存储有不同文本类型、音节类型和环境类型与对应声源处理策略之间的对应关系;
步骤S60,根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,并将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果;
其中,通过声源处理策略对声源信息进行音频处理,得到标准状态下待测扩声系统针对声源音频扩声后的音频数据,通过将扩声音频数据与标准音频数据进行音频比对,能有效地检测待测扩声系统的扩声性能,提高了扩声系统检测的准确性;
可选的,该步骤中,所述根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,包括:
获取所述声源处理策略中存储的啸叫频率,并根据所述啸叫频率对所述声源信息进行声反馈抑制;其中,通过啸叫频率对声源信息进行声反馈抑制,能有效地消除现象对声源音频的干扰,提高了声源音频的质量;
获取所述声源处理策略中存储的均衡信息,并根据所述均衡信息对声反馈抑制后的所述声源信息进行音频均衡处理;其中,通过均衡信息对声反馈抑制后的声源信息进行音频均衡处理,以通过对各种不同频率的电信号的调节来补偿扬声器和声场的缺陷,进一步提高了声源音频的质量;
对音频均衡处理后的所述声源信息进行音律识别,得到高音音频数据、中音音频数据和低音音频数据,并分别获取所述高音音频数据、所述中音音频数据和所述低音音频数据在所述声源处理策略中对应的功放信息;
根据所述功放信息对对应所述高音音频数据、所述中音音频数据和所述低音音频数据进行功放处理,得到所述标准音频数据;其中,通过功放信息对对应高音音频数据、中音音频数据和低音音频数据进行功放处理,能有效地对高音音频数据、中音音频数据和低音音频数据起到音频放大的效果。
步骤S70,根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果;
其中,基于音频比对结果和扩声噪声,能分别从扩声性能和抗噪性能上对待测扩声系统进行检测,提高了扩声系统检测的准确性。
本实施例,基于扩声音频数据、声源信息和背景噪声,能自动确定待测扩声系统的扩声噪声,通过对文本信息进行分词,得到分词词汇,基于分词词汇能自动确定到声源信息的文本类型,通过对各分词词汇分别进行音节划分,基于音节划分结果能自动确定到声源信息的音节类型,通过获取扩声环境的环境信息,基于文本类型、音节类型和环境信息,能自动确定到针对声源信息的声源处理策略,基于声源处理策略,能有效地对声源信息进行音频处理,得到标准音频数据,通过将扩声音频数据与标准音频数据进行音频比对,能有效地检测待测扩声系统的扩声性能,提高了扩声系统检测的准确性,基于音频比对结果和扩声噪声,能分别从扩声性能和抗噪性能上对待测扩声系统进行检测,进一步提高了扩声系统检测的准确性。
实施例二
请参阅图2,是本发明第二实施例提供的扩声系统检测方法的流程图,该实施例用于对第一实施例作进一步细化,包括步骤:
步骤S80,获取所述声源信息对应发声声源的发声方向,并分别获取所述发声声源与所述待测扩声系统中各拾音器之间的拾音距离;
其中,通过获取发声声源的发声方向和发声声源与各拾音器之间的拾音距离,为后续目标拾音器的确定提供了数据基础;
步骤S90,根据所述发声方向和所述拾音距离,确定所述待测扩声系统中目标拾音器,并查询所述待测扩声系统中,所述扩声音频数据对应的输入拾音器;
其中,以发声声源的位置为起点,发声方向为基准延伸线,将基准延伸线两侧预设角度内的区域设置为候选区域,将候选区域内的拾音器设置为候选拾音器,并将最小拾音距离对应的候选拾音器确定为该目标拾音器,该步骤中,该输入拾音器为待测扩声系统中接收到发声音频的拾音器;
步骤S100,若所述输入拾音器与所述目标拾音器不相同,则针对所述待测扩声系统发送拾音错误提示;
其中,该拾音错误提示用于提示用户当前待测扩声系统中拾音器存在问题,当前待测扩声系统中的输入拾音器,并不是该发声声源对应的优选拾音器(目标拾音器);
步骤S110,若所述输入拾音器与所述目标拾音器相同,则获取所述输入拾音器对应的标准扩声列表;
其中,该标准扩声列表包括输入拾音器在待测扩声系统中,对应的不同扩声类型的扩声器,该扩声类型包括高音类型、中音类型和低音类型;例如,针对输入拾音器a1,对应的标准扩声列表包括扩声器b1、扩声器b2、扩声器b3、扩声器b4、扩声器b5和扩声器b6,该扩声器b1和扩声器b2为高音扩声器,扩声器b3和扩声器b4为中音扩声器,扩声器b5和扩声器b6为低音扩声器;
步骤S120,查询所述待测扩声系统中,输出所述扩声音频数据对应的输出扩声列表,并将所述输出扩声列表与所述标准扩声列表进行扩声器匹配;
其中,该输出扩声列表包括待测扩声系统输出扩声音频数据时的扩声器,由于不同位置的输入拾音器对应的扩声器可以不相同,以达到最好的扩声效果,因此,通过将输出扩声列表与标准扩声列表进行扩声器匹配,以判断待测扩声系统在对发声音频进行扩声时,对应控制的扩声器是否正确;
步骤S130,若所述输出扩声列表与所述标准扩声列表之间的扩声器匹配不合格,则针对所述待测扩声系统发送扩声错误提示;
其中,若输出扩声列表与标准扩声列表之间的扩声器不匹配的数量大于数量阈值,则判定输出扩声列表与标准扩声列表之间匹配不合格,该数量阈值可以根据需求进行设置,例如,该数量阈值可以设置为1个、2个或5个等。
可选的,本实施例中,所述将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果,包括:
若所述输出扩声列表与所述标准扩声列表之间的扩声器匹配合格,则分别获取所述输出扩声列表中各扩声器在所述扩声音频数据中的输出音频;其中,该输出音频为对应扩声器发出的音频数据;
对所述声源信息进行音律识别,得到高音音频数据、中音音频数据和低音音频数据;
根据所述高音音频数据、所述中音音频数据和所述低音音频数据,分别确定所述输出扩声列表中各扩声器在所述标准音频数据中的标准音频;
针对所述输出扩声列表中的各扩声器,将对应的所述标准音频与所述输出音频进行音频比对,得到所述音频比对结果;其中,通过将各扩声器对应的标准音频与输出音频进行音频比对,以自动检测待测扩声系统在进行扩声时,各扩声器发出的音频数据是否正确。
进一步地,本实施例中,所述根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果,包括:
获取所述扩声噪声的时间特征,并根据所述时间特征确定所述扩声噪声的时间特性类型;其中,该时间特性类型用于表征对应扩声噪声在时间上的特性类别,该时间特性类型包括稳态噪声、非稳态噪声和脉冲噪声;
获取所述扩声噪声的频率特征,并根据所述频率特征确定所述扩声噪声的频率类型,其中,该频率类型用于表征对应扩声噪声在频率上的特性,该频率类型包括低频噪声、中频噪声和高频噪声;
根据所述时间特性类型和频率类型,确定所述扩声噪声的噪声等级,并获取将所述音频比对结果中,所述标准音频与所述输出音频之间的比对错误次数;
其中,将该时间特性类型和频率类型与预存储的等级查询表进行匹配,得到该噪声等级,该等级查询表中存储有不同时间特性类型和频率类型与对应噪声等级之间的对应关系;
根据所述噪声等级和所述比对错误次数生成所述待测扩声系统的检测结果;其中,将该比对错误次数与性能等级表进行匹配,得到性能等级,将该噪声等级、比对错误次数和性能等级进行存储,得到该待测扩声系统的检测结果,该性能等级用于表征待测扩声系统扩声性能的准确性。
本实施例中,通过获取发声声源的发声方向和发声声源与各拾音器之间的拾音距离,为目标拾音器的确定提供了数据基础,通过发声方向和拾音距离,能自动确定到待测扩声系统中目标拾音器,通过将输入拾音器与目标拾音器进行比对,以检测待测扩声系统是否存在拾音错误,通过将输出扩声列表与标准扩声列表进行扩声器匹配,以判断待测扩声系统在对发声音频进行扩声时,对应控制的扩声器是否正确,本实施例无需采用人工的方式对待测扩声系统进行检测,提高了扩声系统的准确性。
实施例三
请参阅图3,是本发明第三实施例提供的扩声系统100的结构示意图,包括:音频获取模块10、文本获取模块11、分词模块12、音节划分模块13、策略确定模块14、音频比对模块15和结果生成模块16,其中:
音频获取模块10,用于根据声源信息控制待测扩声系统进行扩声,得到扩声音频数据,并获取所述待测扩声系统当前所处扩声环境的背景噪声。
文本获取模块11,用于根据所述扩声音频数据、所述声源信息和所述背景噪声,确定所述待测扩声系统的扩声噪声,并获取所述声源信息对应的文本信息。
分词模块12,用于对所述文本信息进行分词,得到分词词汇,并根据所述分词词汇确定所述声源信息的文本类型。
其中,分词模块12还用于:获取所述声源信息的信息标签,并分别对各分词词汇进行实体识别,得到实体类型;
根据各分词词汇的实体类型,确定所述声源信息的目标实体类型;
将所述目标实体类型和所述信息标签与预存储的文本类型查询表进行匹配,并将匹配到的文本类型确定为所述声源信息的文本类型。
音节划分模块13,用于对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型。
其中,音节划分模块13还用于:分别对各分词词汇进行音节转换,得到音节串,并对各音节串中的音节进行声韵母分类;
根据声韵母分类结果对各音节串进行音节划分,并根据音节划分后的各音节串确定对应所述分词词汇的词汇类型;
根据各分词词汇的词汇类型,确定所述声源信息的音节类型。
策略确定模块14,用于获取所述扩声环境的环境信息,并根据所述文本类型、所述音节类型和所述环境信息,确定声源处理策略。
音频比对模块15,用于根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,并将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果。
其中,音频比对模块15还用于:获取所述声源信息对应发声声源的发声方向,并分别获取所述发声声源与所述待测扩声系统中各拾音器之间的拾音距离;
根据所述发声方向和所述拾音距离,确定所述待测扩声系统中目标拾音器,并查询所述待测扩声系统中,所述扩声音频数据对应的输入拾音器;
若所述输入拾音器与所述目标拾音器不相同,则针对所述待测扩声系统发送拾音错误提示;
若所述输入拾音器与所述目标拾音器相同,则获取所述输入拾音器对应的标准扩声列表,所述标准扩声列表包括所述输入拾音器在所述待测扩声系统中,对应的不同扩声类型的扩声器,所述扩声类型包括高音类型、中音类型和低音类型;
查询所述待测扩声系统中,输出所述扩声音频数据对应的输出扩声列表,并将所述输出扩声列表与所述标准扩声列表进行扩声器匹配;
若所述输出扩声列表与所述标准扩声列表之间的扩声器匹配不合格,则针对所述待测扩声系统发送扩声错误提示。
可选的,音频比对模块15还用于:若所述输出扩声列表与所述标准扩声列表之间的扩声器匹配合格,则分别获取所述输出扩声列表中各扩声器在所述扩声音频数据中的输出音频;
对所述声源信息进行音律识别,得到高音音频数据、中音音频数据和低音音频数据;
根据所述高音音频数据、所述中音音频数据和所述低音音频数据,分别确定所述输出扩声列表中各扩声器在所述标准音频数据中的标准音频;
针对所述输出扩声列表中的各扩声器,将对应的所述标准音频与所述输出音频进行音频比对,得到所述音频比对结果。
进一步地,音频比对模块15还用于:获取所述声源处理策略中存储的啸叫频率,并根据所述啸叫频率对所述声源信息进行声反馈抑制;
获取所述声源处理策略中存储的均衡信息,并根据所述均衡信息对声反馈抑制后的所述声源信息进行音频均衡处理;
对音频均衡处理后的所述声源信息进行音律识别,得到高音音频数据、中音音频数据和低音音频数据;
分别获取所述高音音频数据、所述中音音频数据和所述低音音频数据在所述声源处理策略中对应的功放信息;
根据所述功放信息对对应所述高音音频数据、所述中音音频数据和所述低音音频数据进行功放处理,得到所述标准音频数据。
结果生成模块16,用于根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果。
其中,结果生成模块16还用于:获取所述扩声噪声的时间特征,并根据所述时间特征确定所述扩声噪声的时间特性类型;
获取所述扩声噪声的频率特征,并根据所述频率特征确定所述扩声噪声的频率类型;
根据所述时间特性类型和频率类型,确定所述扩声噪声的噪声等级,并获取将所述音频比对结果中,所述标准音频与所述输出音频之间的比对错误次数;
根据所述噪声等级和所述比对错误次数生成所述待测扩声系统的检测结果。
本实施例,基于扩声音频数据、声源信息和背景噪声,能自动确定待测扩声系统的扩声噪声,通过对文本信息进行分词,得到分词词汇,基于分词词汇能自动确定到声源信息的文本类型,通过对各分词词汇分别进行音节划分,基于音节划分结果能自动确定到声源信息的音节类型,通过获取扩声环境的环境信息,基于文本类型、音节类型和环境信息,能自动确定到针对声源信息的声源处理策略,基于声源处理策略,能有效地对声源信息进行音频处理,得到标准音频数据,通过将扩声音频数据与标准音频数据进行音频比对,能有效地检测待测扩声系统的扩声性能,提高了扩声系统检测的准确性,基于音频比对结果和扩声噪声,能分别从扩声性能和抗噪性能上对待测扩声系统进行检测,进一步提高了扩声系统检测的准确性。
实施例四
图4是本申请第四实施例提供的一种终端设备2的结构框图。如图4所示,该实施例的终端设备2包括:处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22,例如扩声系统检测方法的程序。处理器20执行所述计算机程序22时实现上述各个扩声系统检测方法各实施例中的步骤。
示例性的,所述计算机程序22可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器21中,并由所述处理器20执行,以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。所述终端设备可包括,但不仅限于,处理器20、存储器21。
所称处理器20可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元,例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备,例如所述终端设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。其中,计算机可读存储介质可以是非易失性的,也可以是易失性的。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种扩声系统检测方法,其特征在于,所述方法包括:
根据声源信息控制待测扩声系统进行扩声,得到扩声音频数据,并获取所述待测扩声系统当前所处扩声环境的背景噪声;
根据所述扩声音频数据、所述声源信息和所述背景噪声,确定所述待测扩声系统的扩声噪声,并获取所述声源信息对应的文本信息,所述扩声噪声用于表征待测扩声系统工作时发生的噪声;
对所述文本信息进行分词,得到分词词汇,并根据所述分词词汇确定所述声源信息的文本类型,所述文本类型用于表征该声源音频在文本应用场景中的使用类型;
对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型,所述音节类型用于表征该声源音频在音节应用场景中的使用类型;
获取所述扩声环境的环境信息,并根据所述文本类型、所述音节类型和所述环境信息,确定声源处理策略;
根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,并将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果;
根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果。
2.如权利要求1所述的扩声系统检测方法,其特征在于,所述方法还包括:
获取所述声源信息对应发声声源的发声方向,并分别获取所述发声声源与所述待测扩声系统中各拾音器之间的拾音距离;
根据所述发声方向和所述拾音距离,确定所述待测扩声系统中目标拾音器,并查询所述待测扩声系统中,所述扩声音频数据对应的输入拾音器;
若所述输入拾音器与所述目标拾音器不相同,则针对所述待测扩声系统发送拾音错误提示;
若所述输入拾音器与所述目标拾音器相同,则获取所述输入拾音器对应的标准扩声列表,所述标准扩声列表包括所述输入拾音器在所述待测扩声系统中,对应的不同扩声类型的扩声器,所述扩声类型包括高音类型、中音类型和低音类型;
查询所述待测扩声系统中,输出所述扩声音频数据对应的输出扩声列表,并将所述输出扩声列表与所述标准扩声列表进行扩声器匹配;
若所述输出扩声列表与所述标准扩声列表之间的扩声器匹配不合格,则针对所述待测扩声系统发送扩声错误提示。
3.如权利要求2所述的扩声系统检测方法,其特征在于,所述将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果,包括:
若所述输出扩声列表与所述标准扩声列表之间的扩声器匹配合格,则分别获取所述输出扩声列表中各扩声器在所述扩声音频数据中的输出音频;
对所述声源信息进行音律识别,得到高音音频数据、中音音频数据和低音音频数据;
根据所述高音音频数据、所述中音音频数据和所述低音音频数据,分别确定所述输出扩声列表中各扩声器在所述标准音频数据中的标准音频;
针对所述输出扩声列表中的各扩声器,将对应的所述标准音频与所述输出音频进行音频比对,得到所述音频比对结果。
4.如权利要求1所述的扩声系统检测方法,其特征在于,所述根据所述分词词汇确定所述声源信息的文本类型,包括:
获取所述声源信息的信息标签,并分别对各分词词汇进行实体识别,得到实体类型;
根据各分词词汇的实体类型,确定所述声源信息的目标实体类型;
将所述目标实体类型和所述信息标签与预存储的文本类型查询表进行匹配,并将匹配到的文本类型确定为所述声源信息的文本类型。
5.如权利要求1所述的扩声系统检测方法,其特征在于,所述对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型,包括:
分别对各分词词汇进行音节转换,得到音节串,并对各音节串中的音节进行声韵母分类;
根据声韵母分类结果对各音节串进行音节划分,并根据音节划分后的各音节串确定对应所述分词词汇的词汇类型;
根据各分词词汇的词汇类型,确定所述声源信息的音节类型。
6.如权利要求1所述的扩声系统检测方法,其特征在于,所述根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,包括:
获取所述声源处理策略中存储的啸叫频率,并根据所述啸叫频率对所述声源信息进行声反馈抑制;
获取所述声源处理策略中存储的均衡信息,并根据所述均衡信息对声反馈抑制后的所述声源信息进行音频均衡处理;
对音频均衡处理后的所述声源信息进行音律识别,得到高音音频数据、中音音频数据和低音音频数据;
分别获取所述高音音频数据、所述中音音频数据和所述低音音频数据在所述声源处理策略中对应的功放信息;
根据所述功放信息对对应所述高音音频数据、所述中音音频数据和所述低音音频数据进行功放处理,得到所述标准音频数据。
7.如权利要求3所述的扩声系统检测方法,其特征在于,所述根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果,包括:
获取所述扩声噪声的时间特征,并根据所述时间特征确定所述扩声噪声的时间特性类型;
获取所述扩声噪声的频率特征,并根据所述频率特征确定所述扩声噪声的频率类型;
根据所述时间特性类型和频率类型,确定所述扩声噪声的噪声等级,并获取将所述音频比对结果中,所述标准音频与所述输出音频之间的比对错误次数;
根据所述噪声等级和所述比对错误次数生成所述待测扩声系统的检测结果。
8.一种扩声系统,其特征在于,所述系统包括:
音频获取模块,用于根据声源信息控制待测扩声系统进行扩声,得到扩声音频数据,并获取所述待测扩声系统当前所处扩声环境的背景噪声;
文本获取模块,用于根据所述扩声音频数据、所述声源信息和所述背景噪声,确定所述待测扩声系统的扩声噪声,并获取所述声源信息对应的文本信息;
分词模块,用于对所述文本信息进行分词,得到分词词汇,并根据所述分词词汇确定所述声源信息的文本类型;
音节划分模块,用于对各分词词汇分别进行音节划分,并根据音节划分结果确定所述声源信息的音节类型;
策略确定模块,用于获取所述扩声环境的环境信息,并根据所述文本类型、所述音节类型和所述环境信息,确定声源处理策略;
音频比对模块,用于根据所述声源处理策略对所述声源信息进行音频处理,得到标准音频数据,并将所述扩声音频数据与所述标准音频数据进行音频比对,得到音频比对结果;
结果生成模块,用于根据所述音频比对结果和所述扩声噪声生成所述待测扩声系统的检测结果。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202211220217.4A 2022-10-08 2022-10-08 扩声系统检测方法、系统、终端及存储介质 Active CN115294990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211220217.4A CN115294990B (zh) 2022-10-08 2022-10-08 扩声系统检测方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211220217.4A CN115294990B (zh) 2022-10-08 2022-10-08 扩声系统检测方法、系统、终端及存储介质

Publications (2)

Publication Number Publication Date
CN115294990A CN115294990A (zh) 2022-11-04
CN115294990B true CN115294990B (zh) 2023-01-03

Family

ID=83833250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211220217.4A Active CN115294990B (zh) 2022-10-08 2022-10-08 扩声系统检测方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN115294990B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414990A (zh) * 2013-05-21 2013-11-27 杭州联汇数字科技有限公司 室内扩声设备检测方法
CN104718110A (zh) * 2012-10-15 2015-06-17 三菱电机株式会社 车辆接近通知装置的音质调整装置、车辆接近通知装置模拟器及车辆接近通知装置
CN105122845A (zh) * 2013-03-06 2015-12-02 苹果公司 用于扬声器系统的稳健同时驱动器测量的系统和方法
CN105955697A (zh) * 2016-04-29 2016-09-21 四川数字工匠科技有限公司 多媒体扩声控制系统
WO2016152708A1 (ja) * 2015-03-20 2016-09-29 ヤマハ株式会社 音制御装置、音制御方法、および音制御プログラム
CN111951833A (zh) * 2020-08-04 2020-11-17 科大讯飞股份有限公司 语音测试方法、装置、电子设备和存储介质
CN113728380A (zh) * 2019-02-07 2021-11-30 托马斯·斯塔胡拉 用于智能扬声器的隐私装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2531622A1 (en) * 2003-07-08 2005-01-13 I.P. Equities Pty Ltd. Knowledge acquisition system, apparatus and processes
US10313788B2 (en) * 2017-10-19 2019-06-04 Intel Corporation Detecting speaker faults using acoustic echoes
CN110191392A (zh) * 2019-05-07 2019-08-30 广州市迪士普音响科技有限公司 一种虚拟现实扩声实现方法
CN110337055A (zh) * 2019-08-22 2019-10-15 百度在线网络技术(北京)有限公司 音箱的检测方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104718110A (zh) * 2012-10-15 2015-06-17 三菱电机株式会社 车辆接近通知装置的音质调整装置、车辆接近通知装置模拟器及车辆接近通知装置
CN105122845A (zh) * 2013-03-06 2015-12-02 苹果公司 用于扬声器系统的稳健同时驱动器测量的系统和方法
CN103414990A (zh) * 2013-05-21 2013-11-27 杭州联汇数字科技有限公司 室内扩声设备检测方法
WO2016152708A1 (ja) * 2015-03-20 2016-09-29 ヤマハ株式会社 音制御装置、音制御方法、および音制御プログラム
CN105955697A (zh) * 2016-04-29 2016-09-21 四川数字工匠科技有限公司 多媒体扩声控制系统
CN113728380A (zh) * 2019-02-07 2021-11-30 托马斯·斯塔胡拉 用于智能扬声器的隐私装置
CN111951833A (zh) * 2020-08-04 2020-11-17 科大讯飞股份有限公司 语音测试方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Assessing the acoustic feedback control performance of adaptive feedback cancellation in sound reinforcement systems;Toon van Waterschoot et al;《2009 17th European Signal Processing Conference》;20150406;全文 *
扩声系统调整与声学测试技术;张新华;《电声技术》;20141117(第11期);全文 *

Also Published As

Publication number Publication date
CN115294990A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN108305615B (zh) 一种对象识别方法及其设备、存储介质、终端
US20200227049A1 (en) Method, apparatus and device for waking up voice interaction device, and storage medium
US11631402B2 (en) Detection of replay attack
US8185387B1 (en) Automatic gain control
US6411928B2 (en) Apparatus and method for recognizing voice with reduced sensitivity to ambient noise
US20020196951A1 (en) System for automatically performing a frequency response equalization tuning on speaker of electronic device
CN109326305B (zh) 一种批量测试语音识别和文本合成的方法和测试系统
US20200227069A1 (en) Method, device and apparatus for recognizing voice signal, and storage medium
CN110942776A (zh) 一种基于gru的音频防拼接检测方法及系统
CN113259832A (zh) 麦克风阵列的检测方法、装置、电子设备及存储介质
CN110475181B (zh) 设备配置方法、装置、设备和存储介质
CN110611862A (zh) 麦克风增益调节方法、装置、系统及存储介质
CN115294990B (zh) 扩声系统检测方法、系统、终端及存储介质
CN109741761B (zh) 声音处理方法和装置
CN108899041B (zh) 语音信号加噪方法、装置及存储介质
CN111048096B (zh) 一种语音信号处理方法、装置及终端
CN115148208B (zh) 音频数据处理方法、装置、芯片及电子设备
CN111782860A (zh) 一种音频检测方法及装置、存储介质
CN111863031A (zh) 加载于已有摄像头网络的音频监测装置及其监测方法
JP2975808B2 (ja) 音声認識装置
CN111951786A (zh) 声音识别模型的训练方法、装置、终端设备及介质
JP2016180915A (ja) 音声認識システム、クライアント装置、音声認識方法、プログラム
CN115967894B (zh) 一种话筒声音处理方法、系统、终端设备及存储介质
CN110738990A (zh) 识别语音的方法和装置
CN113611271B (zh) 适用于移动终端的数字音量扩增方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant