CN117711437A - 一种音频评测方法、装置、设备及介质 - Google Patents
一种音频评测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117711437A CN117711437A CN202211105053.0A CN202211105053A CN117711437A CN 117711437 A CN117711437 A CN 117711437A CN 202211105053 A CN202211105053 A CN 202211105053A CN 117711437 A CN117711437 A CN 117711437A
- Authority
- CN
- China
- Prior art keywords
- test
- evaluation
- audio
- task
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 227
- 238000012360 testing method Methods 0.000 claims abstract description 498
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012854 evaluation process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000011867 re-evaluation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
本公开实施例涉及一种音频评测方法、装置、设备及介质,其中该方法应用于评测平台,包括:响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,目标测试场景中基于目标测试对象播放待测实时音频;将目标测试任务分发至对应的测试用户,以使测试用户进入目标测试场景对待测实时音频进行评测;获取测试用户针对待测实时音频输入的评测结果。本公开实施例,不仅能够实现实时场景的部分指标的评测,而且由于测试用户评测过程中不进行任何中间环节的音频录制、保存及回放,避免评测结果受到中间设备的影响,提升了评测结果的准确性。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种音频评测方法、装置、设备及介质。
背景技术
主观评价是音频质量保障中非常重要的一个环节,通常是邀请听音人员对待测产品的音频表现给出不同维度的评分。
目前,音频评测通常是将待测产品播放出的音频通过麦克风、声卡等硬件设备录制并保存起来,再通过回放系统重新播放,听音人员收听后再进行评价;或者在线下载待测产品的音频之后通过回放系统重新播放,听音人员收听后再进行评价。上述录制再回放的方式评测结果容易受设备影响导致结果不准确,并且由于待评测的音频均是存储在回放的,对于实时场景中的回声、双讲等不能实现评测。
发明内容
为了解决上述技术问题,本公开提供了一种音频评测方法、装置、设备及介质。
本公开实施例提供了一种音频评测方法,所述方法应用于评测平台,包括:
响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,所述目标测试场景中基于所述目标测试对象播放待测实时音频;
将所述目标测试任务分发至对应的测试用户,以使所述测试用户进入所述目标测试场景对所述待测实时音频进行评测;
获取所述测试用户针对所述待测实时音频输入的评测结果。
本公开实施例还提供了一种音频评测装置,所述装置设置于评测平台,包括:
启动模块,用于响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,所述目标测试场景中基于所述目标测试对象播放待测实时音频;
分发模块,用于将所述目标测试任务分发至对应的测试用户,以使所述测试用户进入所述目标测试场景对所述待测实时音频进行评测;
结果模块,用于获取所述测试用户针对所述待测实时音频输入的评测结果。
本公开实施例还提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开实施例提供的音频评测方法。
本公开实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本公开实施例提供的音频评测方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:本公开实施例提供的音频评测方案,评测平台通过响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,目标测试场景中基于目标测试对象播放待测实时音频;将目标测试任务分发至对应的测试用户,以使测试用户进入目标测试场景对待测实时音频进行评测;获取测试用户针对待测实时音频输入的评测结果。采用上述技术方案,通过提供一个支持音频实时在线评测的评测平台,能够基于触发的测试任务实时启动目标测试对象并进入播放待测实时音频的测试场景,之后通过将测试任务分发至测试用户,使得测试用户能够直接进入测试场景收听待测实时音频并对目标测试对象播放待测实时音频进行主观评测,不仅能够实现实时场景的部分指标的评测,而且由于测试用户评测过程中不进行任何中间环节的音频录制、保存及回放,避免评测结果受到中间设备的影响,提升了评测结果的准确性。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为相关技术中的音频评测的示意图;
图2为本公开实施例提供的一种音频评测方法的流程示意图;
图3为本公开实施例提供的一种指标结果页面的示意图;
图4为本公开实施例提供的一种评测结果的示意图;
图5为本公开实施例提供的一种音频评测的示意图;
图6为本公开实施例提供的另一种音频评测方法的流程示意图;
图7为本公开实施例提供的一种模板创建页面的示意图;
图8为本公开实施例提供的一种任务创建页面的示意图;
图9为本公开实施例提供的一种任务查看页面的示意图;
图10为本公开实施例提供的一种评测平台的示意图;
图11为本公开实施例提供的一种音频评测装置的结构示意图;
图12为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
主观评价是音频质量保障中非常重要的一个环节,通常是邀请听音人员对待测产品的音频表现给出不同维度的评分。
示例性的,图1为相关技术中的音频评测的示意图,如图1所示,图中相关技术的音频评测过程包括:录制音频、上传音频、创建任务、主观评分和结果展示,也即将待测产品播放出的音频通过麦克风、声卡等硬件设备录制并保存起来,再通过回放系统重新播放,听音人员收听后再进行评价,音频评测中录制再回放的方式对录音及回放设备要求苛刻统一,对高清音频的评测也容易带来额外的编码损伤,导致评测结果不准确,并且由于待评测的音频均是存储在回放的,对于实时场景中的回声、双讲等不能实现评测。
为了解决上述问题,本公开实施例提供了一种音频评测方法,下面结合具体的实施例对该方法进行介绍。
图2为本公开实施例提供的一种音频评测方法的流程示意图,该方法可以由音频评测装置执行,其中该装置可以采用软件和/或硬件实现,一般可集成在电子设备中。如图2所示,该方法应用于评测平台,包括:
步骤101、响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,目标测试场景中基于目标测试对象播放待测实时音频。
本公开实施例中的音频评测方法可以由评测平台执行,评测平台可以是能够实现在线实时音频评测的综合性平台,可以由创建、测试、管理、报告四个功能模块构成。该评测平台可以通过网页、应用程序或小程序等方式实现,具体不限。
音频测试触发操作可以是作用在评测平台上开始进行音频测试的触发操作,具体可以是对评测平台中某个测试任务的触发操作,操作形式可以包括手势控制操作(如点击、长按、双击等)、语音控制操作或者表情控制操作等等,具体不限。测试任务可以预先在评测平台中生成,用于进行音频评测的具体任务的执行和管理,测试任务可以对测试的测试模式、测试对象、评测指标等进行设置,测试任务的数量不限,可以为一个或多个,具体可以根据目标测试对象的音频测试的业务需求来设置。目标测试任务可以是音频测试触发操作对应的测试任务。
测试对象可以是需要对其播放音频的质量或效果进行评测的对象,具体类型不限,例如测试对象可以包括应用程序、支持播放音频的硬件设备等,应用程序不限,例如应用程序可以包括直播应用程序、语音会话应用程序等,支持播放音频的硬件设备可以包括音箱等。目标测试对象可以是目标测试任务中对应的测试对象。
测试场景可以理解为能够实时播放音频并且音频评测人员也能实时收听音频的一个场景。例如当测试对象为语音会话应用程序,测试场景可以为实时语音过程,待测实时音频可以是语音过程中实时生成的音频。目标测试场景可以是目标测试任务中对应的测试场景。待测实时音频可以是基于测试对象实时生成的也可以是预先设置好的,具体不限。
在本公开实施例中,评测平台可以检测用户的触发操作,当检测到用户的音频测试触发操作之后,可以获取音频测试触发操作对应的目标测试任务,并将目标测试任务中的测试对象确定为目标测试对象以及将测试任务中的测试场景确定为目标测试场景,启动目标测试对象并通过目标测试对象进入对应的目标测试场景中。
步骤102、将目标测试任务分发至对应的测试用户,以使测试用户进入目标测试场景对待测实时音频进行评测。
其中,测试用户可以是用于对音频进行主观评测的用户,测试用户可以是普通群体也可以是听音专业群体,具体不限。对音频进行主观评价时,不同群体对声音的感受和描述是不一样的,所以一般的主观听音对象有两个群体:1)普通群体,如果不刻意强调不会在意异常微小声音,这类最接近广大的用户,通常对其发起的评测称为众测;2)听音专业群体,对异常声音尤其敏感,能指出不同对象之间的声学性能差异并能给出指导性的意见供调试人员调参优化,这部分听音者通常称为听音专业群体。
在一些实施例中,目标测试任务的数量为多个,将目标测试任务分发至对应的测试用户,包括:获取每个目标测试任务中采用的测试模板中的测试角色,每个测试任务对应一个测试角色;基于测试角色将多个目标测试任务分别分发至对应的测试用户,每个测试角色设置一个对应的测试用户。
其中,测试模板可以是在评测平台中预先设置的对不同的测试场景的测试角色、评测指标、音频评测规则、指标解读信息等进行制定的模板,测试模板的数量可以为多个,存储至模板库中,并且支持对测试模板的增加、删除、修改和查询等操作。每个测试任务中包括当前测试需要采用的测试模板,在创建测试任务时添加。测试角色可以是在进入目标测试场景中时的角色,具体测试角色的设置与目标测试场景有关,例如当目标测试场景为实时语音会话过程,则测试角色可以包括语音会话的发起方和接收方;又如当目标测试场景为直播场景,则测试角色可以包括主播方、观众方和嘉宾方等;再如当目标测试场景为音箱外放场景,测试角色可以仅包括收听者。
当目标测试任务的数量为多个时,在分发目标测试任务至对应的测试用户时,可以从每个测目标试任务采用的测试模板中获取对应的测试角色,一个测试任务对应一个测试角色,之后可以根据测试角色将各目标测试任务分发至与其测试角色对应的测试用户,每种测试角色可以设置一个或多个测试用户,每个测试用户接收到一个测试任务之后,可以进入目标测试场景中收听待测实时音频进行实时评测。上述每个测试任务可以设置不同的评测指标、测试模式等,用于实现多维度的音频评测。
步骤103、获取测试用户针对待测实时音频输入的评测结果。
其中,评测结果可以是测试用户在测试场景中实时听音之后,基于评测平台输入的一个主观音频评价结果或打分结果,评测结果可以包括评分等级、评价文本等。
在本公开实施例中,获取测试用户针对待测实时音频输入的评测结果,可以包括:发送展示指令,使得指标结果页面展示给测试用户,指标结果页面中包括评价功能控件;获取针对待测实时音频的评测结果,评测结果基于测试用户对评价功能控件的触发操作确定。
其中,指标结果页面可以是测试用户所在终端设备提供的用于提供评价功能控件给测试用户的交互页面,以使测试用户进行评测结果的输入。评价功能控件可以是用于进行音频质量评分或评价结果输入的功能控件,本公开实施例中评价功能控件可以包括评分等级控件、上传控件以及备注控件等中的至少一种。评分等级控件可以是用于输入针对音频的评分等级的控件,不同评分等级对应的评价内容不同,评分等级的数量可以根据实际情况设置,例如当评分等级包括5级,第5级表示卓越,第4级表示优秀,评分等级越低,表示评价越低,第1级表示非常差。上传控件可以是用于上传问题音频或录频的功能控件。备注控件可以是用于输入评价文字的控件。
具体的,评测平台在获取测试用户针对待测实时音频的评测结果时,可以发送展示指令给测试用户的终端设备;终端设备基于该展示指令先展示包括评价功能控件的指标结果页面给测试用户,测试用户针对收听的待测实时音频可以对评价功能控件进行触发操作,以输入主观的评测结果,将该评测结果发送至评测平台;评测平台可以获取到测试用户输入的针对待测实时音频的评测结果。
在一些实施例中,指标结果页面中还包括目标测试任务采用的测试模板中的音频评测规则和指标解读信息,测试用户基于音频评测规则和指标解读信息进行评测结果的输入。
其中,音频评测规则表示对音频评测指标的评分指导,也即对测试模板中音频指标进行打分或评价时对应的指导及约定,音频评测规则中可以设置不同的对比方式,例如可以包括绝对等级评价(Absolute Category Rating,ACR)、降级等级评价(DegradeCategory Rating,DCR)和对比等级评价(Compare Category Rating,CCR),绝对等级评价表示不需要参考对比物,降级等级评价表示需要对比原始音频,对比等级评价表示需要明确的参照物;音频评测规则中还可以针对不同的评分等级设置对应的评价内容,例如可以设置评分等级越低,表示评价越低。指标解读信息表示对音频评测指标的详细说明,具体可以是针对测试模板中的音频指标添加的详细说明,表征进行此项测试的原因以及如何关注此项测试等。
通过在指标结果页面中展示目标测试任务的测试模板中的音频测试规则和指标解读信息,测试用户通过阅读音频测试规则和指标解读信息可以快速确定如何进行评价以及评分,快速输入评测结果。
示例性的,图3为本公开实施例提供的一种指标结果页面的示意图,如图3所示,图中展示了一个指标结果页面300,该指标结果300中可以包括评价功能控件301、针对响度的音频指标的指标解读信息302和音频评测规则303,评价功能控件301中包括了评分等级控件、上传控件以及备注控件。可选的,该指标结果页面300中还可以显示当前测试用户的当前测试角色、当前测试手机和当前测试模式。
示例性的,图4为本公开实施例提供的一种评测结果的示意图,如图4所示,图中展示了一个用于展示评测结果的页面400,该页面400中以测试模式为扬声器,音频评测指标为音质、响度、响度2,测试角色包括发送方和接收方,测试对象为程序1为例,通过表格的形式展示了针对程序1的评测结果,评测结果中包括了评分等级、问题音频/录音和备注。可选的,图中还包括对比对象的评测结果,对比对象包括程序2和程序3。图4中的评测结果的展示方式仅为示例,而非限定。
本方案中通过提供一种能够对音频进行在线实时评测的评测方案,示例性的,图5为本公开实施例提供的一种音频评测的示意图,如图5所示,评测过程可以包括创建任务、角色分配、角色交互、主观听音评分和结果展示,相较于图1,本方案不进行任何中间环节音频的录制、保存、回放,测试用户直接收听测试对象播放的待测实时音频,并进行主观评价,测试结果准确,不会受到录音及回放设备的影响,并且本公开实施例中还可以分配多人场景时的测试角色,测试角色在测试过程中可以进入测试场景进行交互,解决了相关技术中不能对实时场景中的回声、双讲等进行评测的缺陷。
本公开实施例提供的音频评测方案,评测平台通过响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,目标测试场景中基于目标测试对象播放待测实时音频;将目标测试任务分发至对应的测试用户,以使测试用户进入目标测试场景对待测实时音频进行评测;获取测试用户针对待测实时音频输入的评测结果。采用上述技术方案,通过提供一个支持音频实时在线评测的评测平台,能够基于触发的测试任务实时启动目标测试对象并进入播放待测实时音频的测试场景,之后通过将测试任务分发至测试用户,使得测试用户能够直接进入测试场景收听待测实时音频并对目标测试对象播放待测实时音频进行主观评测,不仅能够实现实时场景的部分指标的评测,而且由于测试用户评测过程中不进行任何中间环节的音频录制、保存及回放,避免评测结果受到中间设备的影响,提升了评测结果的准确性。
示例性的,图6为本公开实施例提供的另一种音频评测方法的流程示意图,如图6所示,在一种可行的实施方式中,音频评测方法还可以包括如下步骤:
步骤601、响应于模板创建操作,展示模板创建页面。
其中,模板创建操作可以是在评测平台中进行的进行测试模板的创建的触发操作,具体操作表现形式不限。模板创建页面可以是评测平台提供的用于进行测试模板创建的交互页面,该页面中提供了与测试模板相关的输入选项,以便进行测试模板的创建。
具体的,评测平台当检测到模板创建操作时,可以展示模板创建页面给用户。
步骤602、获取基于模板创建页面输入的测试模板名称、测试场景、测试角色、测试基础信息。
其中,测试模板名称可以用于唯一标识测试模板,可以作为唯一识别号在测试任务中加载对应的测试模板。测试场景表示当前的测试模板可以用于测试的具体场景,测试场景可以包括多人语音会话场景、直播场景和音箱外放场景等,具体根据实际情况设置。测试角色可以是在进入测试场景中时的角色,具体测试角色的设置与测试场景有关。
测试基础信息可以是测试模板中的核心内容,可以包括音频评测指标、音频评测规则和指标解读信息中的至少一项,音频评测指标可以是不同测试场景下对音频的测试维度,具体可以包括针对不同测试场景下的评测指标,评测指标包括以下至少一种:响度、音质、回声、双讲、杂音、底噪、延迟、同步性、低音、动态范围等。音频评测规则表示对音频评测指标的评分指导,指标解读信息表示对音频评测指标的详细说明,具体说明参见上述实施例,在此不进行赘述。
本公开实施例中,评测平台展示模板创建页面给用户之后,用户可以在模板创建页面中进行操作和输入,评测平台可以获取用户输入的测试模板名称、测试场景、测试角色和测试基础信息。
示例性的,图7为本公开实施例提供的一种模板创建页面的示意图,如图7所示,图中展示了一个模板创建页面700的示意图,该模板创建页面700中可以包括测试模板所需的各种信息的输入项,图中模板名称下方的方框中用于输入测试模板名称;推荐使用场景即为测试场景,下方的方框中用于输入测试场景的特征;测试端即为设置测试角色的设置,测试指标即为音频评测指标,打分规则即为音频评测规则,评分等级用于设置包括的评分评级有几个等级;指标解读下方的方框用于输入上述指标解读信息,评分设计模板即为上述音频测试规则,评分设计下方的方框中用于输入一个音频测试规则的示例;通过触发新增测试维度的按键可以根据需求增加测试模板中的测试维度,通过触发保存按键可以对当前页面输入的内容进行保存得到一个测试模板。图7展示的模板创建页面仅为示例,而非限定。
步骤603、基于测试模板名称、测试场景、测试角色和测试基础信息获取测试模板,测试模板的数量为至少一个。
评测平台获取用户输入的测试模板名称、测试场景、测试角色和测试基础信息之后,可以将这些信息组合得到一个测试模板,测试模板的数量可以根据需要设置多个,并且在测试模板创建完成之后可以写入模板库中,以在后续创建测试任务时使用。
可选的,模板库中已有的测试模板支持增加、删除、修改和查询等基本管理操作,并且每个测试模板中的内容也可以支持进行增加、删除和修改。
上述方案中,通过评测平台的模板创建页面可以快速进行测试模板的创建,并存储测试模板,有助于提升后续测试任务的创建效率。
在一些实施例中,音频评测方法还可以包括:响应于任务创建操作,展示任务创建页面;获取基于任务创建页面输入的任务基础信息、测试模式、测试对象、对比对象、模板选择结果以及子任务;基于模板选择结果从模板库中加载对应的测试模板,基于测试模板、任务基础信息、测试模式、测试对象、对比对象以及子任务确定测试任务,其中,模板库中包括多个测试模板。
其中,任务创建页面可以是评测平台提供的用于进行测试任务创建的交互页面,该页面中提供了与测试任务相关的输入选项,以便进行测试任务的创建。任务基础信息可以包括任务名称和任务起止时间,任务名称用于唯一表征测试任务,任务起止时间可以包括测试任务的任务开始时间和任务结束时间。测试模式可以理解为需要测试的音频播放方式,具体可以包括扬声器模式、耳机模式和声卡模式等。
测试对象可以是需要对其播放音频的质量或效果进行评测的对象,具体类型不限,例如测试对象可以包括应用程序、支持播放音频的硬件设备等。对比对象可以是相对于测试对象而言需要进行音频质量对比的对象,也即在对测试对象播放的音频进行评测的同时也可以进行对比对象播放音频的评测,以便进行有效对比。模板选择结果可以是针对测试任务选择的测试模板,不同测试任务可以加载不同的测试模板。子任务可以是一个测试任务包含的小任务,具体可以根据实际情况设置,例如可以将测试不同的手机作为子任务。
具体的,评测平台检测到任务创建操作之后,可以展示任务创建页面给用户,之后用户可以在任务创建页面中进行操作和输入,评测平台可以获取用户输入的任务基础信息、测试模式、测试对象、对比对象、模板选择结果以及子任务,之后根据模板选择结果从模板库中获取并加载对应的测试模板,将测试模板以及其他输入的信息组合构成一个测试任务,测试任务的数量可以根据需要设置多个,并且在测试任务创建完成之后可以写入任务库中,以在后续可以管理和查看。
示例性的,图8为本公开实施例提供的一种任务创建页面的示意图,如图8所示,图中展示了一个任务创建页面800的示意图,该任务创建页面800中可以包括测试任务所需的各种信息的输入项,图中任务名称下方的方框用于输入任务名称,任务起止时间下方的开始日期用于输入任务开始时间,结束日期用于输入任务结束时间;测试对象下方的方框中用于输入当前测试任务的测试对象,并且对比对象是可选项,可以在测试任务中选择添加需要对比的对比对象;模板选择下方的方框用于输入当前测试任务所选择的测试模板的测试模板名称;子任务1下方用于输入子任务的测试手机、对端标杆手机、测试模式以及使用附件型号,在使用附件时记录附件的型号,比如记录使用蓝牙耳机的型号等;通过对新增子任务的按键的触发操作可以新增子任务,通过对保存任务的按键的触发操作可以保存当前页面的全部内容得到一个测试任务,通过对开始测试的按键的触发操作,可以视为音频测试触发操作,开始基于当前任务创建页面创建的测试任务进行音频评测。
示例性的,图9为本公开实施例提供的一种任务查看页面的示意图,如图9所示,图中展示了一个任务查看页面900,该任务查看页面900中示例性的展示了一个任务名称为“test”的测试任务的任务信息,例如图中的第一个表格,该测试任务的任务发起人为小A,还包括了任务开始时间、任务结束时间、测试对象和对比对象;并且任务查看页面900中还展示了任务名称为“test”的测试任务包括的子任务信息,如图中的第二个表格,包括测试模式分别为扬声器模式、耳机模式和听筒模式三种子任务的相关信息。
可以理解的是,图8展示的任务创建页面和图9的任务查看页面仅为示例,而非限定。
上述方案中,通过评测平台的任务创建页面可以快速进行测试人物的创建,并存储测试任务,有助于快速基于创建的测试任务执行音频的实时评测。
在一些实施例中,音频评测方法还可以包括:响应于重新评测触发操作,返回重新执行对基于目标测试对象播放的待测实时音频的评测。
其中,重新评测触发操作可以是用于基于当前的目标测试任务重新进行评测的触发操作,具体操作形式可以包括多种,例如重新评测触发操作可以是对重新测试的控件的触发操作。
评测平台评测过程中或者在获取评测结果之后,当测试用户或开发用户认为评测存在错误或误操作时,可以触发重新评测触发操作,评测平台检测到该操作可以返回上述实施例中的步骤101,重新执行对基于目标测试对象播放的待测实时音频的评测。
上述方案中,通过重新评测,可以避免评测中间结果错误或误操作造成的评测结果不准确,提升评测结果的准确性。
接下来通过一个具体的示例对本公开实施例的评测平台进行进一步说明。示例性的,图10为本公开实施例提供的一种评测平台的示意图,如图10所示,图中展示了一个评测平台1000,该评测平台1000可以包括创建、测试、管理、报告四个功能模块。并且评测平台1000可以采用微服务架构,后端基于go语言搭建,前端使用react搭建。
创建模块用于实现测试模板和测试任务的创建,测试模板可以包括图中的模板名称(也即上述测试模板名称)、推荐场景(也即上述测试场景)、详细信息(也即上述测试基础信息),详细信息可以包括评测指标、评测规则、指标解读和指标管理等。创建测试模板之后可以通过管理模块写入模板库中,对测试模板进行管理和查看。测试任务可以包括图中任务名称、产品名称、基于模板库的模板选择、模式选择、附件使用和子任务管理等,管理模块保存的测试模板可以应用在测试任务中。
测试模块用于基于创建模块创建的测试任务进行实时评测,具体测试过程可以包括图中的任务分发、指标打分、音频上传和重新评测等,得到评测结果。测试模块在具体执行测试时,需要提前准备好测试环境,比如打开语音会话应用程序进入多人在线语音过程等;然后,根据创建环节指定的不同的测试角色将测试任务分发给不同的听音人员后,不同的测试角色具体评测指标是不一样的,这在测试模板中会进行任务及角色分配,测试角色可以同步进行指标打分、问题音频上传、评价描述等操作;测试时,按照设计好的维度和规则进行逐一评分,评分时遇到的问题可以进行日志或者音频的上传;评测中间结果错误或者误操作时,也可以发起重新评测。
管理模块可以测试完成之后,将创建的测试任务和评测结果统一存放到任务库,以进行管理和查看。报告模块可以获取管理模块中的评测结果,将评测结果进行统计处理和可视化处理,并展示统计结果和可视化结果,例如可视化结果可以将评测结果通过雷达图展示,还可以生成测试报告并导出。
图10中的评测平台可以将对音频评测的功能模块分解,保存测试所需的测试模板,并在测试任务中将测试模板应用于测试任务,并且保存每次评价分数,进行测试分数的存储与展示,整个测试过程上云,测试结果持久存储并提供一定的权限管理;测试过程中可退出,重新进入评测后恢复原来的测试数据;并且可以对测试模板和测试任务进行管理和查看。
本方案中提供了一种能够实现在线实时音频评测的评测平台,具有测试、记录、评分、查看、管理、报告等功能,通过该评测平台能够实现不进行任何中间环节音频的录制、保存、回放的音频评测,听音人员直接收听并对待测对象播放音频进行主观评价,测试结果准确,不会受到录音及回放设备的影响;另外,这种评测方法还可以分配多人场景的测试角色,解决了传统平台不能用于实时评价即时通信(Real-Time Communication,RTC)中回声和双讲等的痛点。
图11为本公开实施例提供的一种音频评测装置的结构示意图,该装置可由软件和/或硬件实现,一般可集成在电子设备中。如图11所示,该装置设置于评测平台,包括:
启动模块1101,用于响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,所述目标测试场景中基于所述目标测试对象播放待测实时音频;
分发模块1102,用于将所述目标测试任务分发至对应的测试用户,以使所述测试用户进入所述目标测试场景对所述待测实时音频进行评测;
结果模块1103,用于获取所述测试用户针对所述待测实时音频输入的评测结果。
可选的,所述目标测试任务的数量为多个,分发模块1102用于:
获取每个所述目标测试任务中采用的测试模板中的测试角色,每个所述测试任务对应一个测试角色;
基于所述测试角色将多个目标测试任务分别分发至对应的测试用户,每个测试角色设置至少一个对应的测试用户。
可选的,所述装置还包括模板模块,用于:
响应于模板创建操作,展示模板创建页面;
获取基于所述模板创建页面输入的测试模板名称、测试场景、测试角色、测试基础信息;
基于所述测试模板名称、所述测试场景、所述测试角色和所述测试基础信息获取测试模板,所述测试模板的数量为至少一个。
可选的,所述测试基础信息包括音频评测指标、音频评测规则和指标解读信息中的至少一项,所述音频评测指标包括针对不同所述测试场景下的评测指标,所述评测指标包括以下至少一种:响度、音质、回声、双讲、杂音、底噪、延迟、同步性,所述音频评测规则表示对所述音频评测指标的评分指导,所述指标解读信息表示对所述音频评测指标的详细说明。
可选的,所述装置还包括任务模块,用于:
响应于任务创建操作,展示任务创建页面;
获取基于所述任务创建页面输入的任务基础信息、测试模式、测试对象、对比对象、模板选择结果以及子任务;
基于所述模板选择结果从模板库中加载对应的测试模板,基于所述测试模板、所述任务基础信息、所述测试模式、所述测试对象、所述对比对象以及所述子任务确定测试任务,其中,所述模板库中包括多个测试模板。
可选的,结果模块1103用于:
发送展示指令,使得指标结果页面展示给所述测试用户,所述指标结果页面中包括评价功能控件;
获取针对所述待测实时音频的评测结果,所述评测结果基于所述测试用户对所述评价功能控件的触发操作确定。
可选的,所述评价功能控件包括评分等级控件上传控件以及备注控件中的至少一种。
可选的,所述指标结果页面中还包括所述目标测试任务采用的测试模板中的音频评测规则和指标解读信息,所述测试用户基于所述音频评测规则和指标解读信息进行评测结果的输入。
本公开实施例所提供的音频评测装置可执行本公开任意实施例所提供的音频评测方法,具备执行方法相应的功能模块和有益效果。
本公开实施例还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本公开任意实施例所提供的音频评测方法。
图12为本公开实施例提供的一种电子设备的结构示意图。下面具体参考图12,其示出了适于用来实现本公开实施例中的电子设备1200的结构示意图。本公开实施例中的电子设备1200可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示,电子设备1200可以包括处理装置(例如中央处理器、图形处理器等)1201,其可以根据存储在只读存储器(ROM)1202中的程序或者从存储装置1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中,还存储有电子设备1200操作所需的各种程序和数据。处理装置1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
通常,以下装置可以连接至I/O接口1205:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1206;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1207;包括例如磁带、硬盘等的存储装置1208;以及通信装置1209。通信装置1209可以允许电子设备1200与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备1200,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1209从网络上被下载和安装,或者从存储装置1208被安装,或者从ROM 1202被安装。在该计算机程序被处理装置1201执行时,执行本公开实施例的音频评测方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,所述目标测试场景中基于所述目标测试对象播放待测实时音频;将所述目标测试任务分发至对应的测试用户,以使所述测试用户进入所述目标测试场景对所述待测实时音频进行评测;获取所述测试用户针对所述待测实时音频输入的评测结果。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (11)
1.一种音频评测方法,其特征在于,应用于评测平台,包括:
响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,所述目标测试场景中基于所述目标测试对象播放待测实时音频;
将所述目标测试任务分发至对应的测试用户,以使所述测试用户进入所述目标测试场景对所述待测实时音频进行评测;
获取所述测试用户针对所述待测实时音频输入的评测结果。
2.根据权利要求1所述的方法,其特征在于,所述目标测试任务的数量为多个,将所述目标测试任务分发至对应的测试用户,包括:
获取每个所述目标测试任务中采用的测试模板中的测试角色,每个所述测试任务对应一个测试角色;
基于所述测试角色将多个目标测试任务分别分发至对应的测试用户,每个测试角色设置至少一个对应的测试用户。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于模板创建操作,展示模板创建页面;
获取基于所述模板创建页面输入的测试模板名称、测试场景、测试角色、测试基础信息;
基于所述测试模板名称、所述测试场景、所述测试角色和所述测试基础信息获取测试模板,所述测试模板的数量为至少一个。
4.根据权利要求3所述的方法,其特征在于,所述测试基础信息包括音频评测指标、音频评测规则和指标解读信息中的至少一项。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于任务创建操作,展示任务创建页面;
获取基于所述任务创建页面输入的任务基础信息、测试模式、测试对象、对比对象、模板选择结果以及子任务;
基于所述模板选择结果从模板库中加载对应的测试模板,基于所述测试模板、所述任务基础信息、所述测试模式、所述测试对象、所述对比对象以及所述子任务确定测试任务,其中,所述模板库中包括多个测试模板。
6.根据权利要求1所述的方法,其特征在于,获取所述测试用户针对所述待测实时音频输入的评测结果,包括:
发送展示指令,使得指标结果页面展示给所述测试用户,所述指标结果页面中包括评价功能控件;
获取针对所述待测实时音频的评测结果,所述评测结果基于所述测试用户对所述评价功能控件的触发操作确定。
7.根据权利要求6所述的方法,其特征在于,所述评价功能控件包括评分等级控件上传控件以及备注控件中的至少一种。
8.根据权利要求6所述的方法,其特征在于,所述指标结果页面中还包括所述目标测试任务采用的测试模板中的音频评测规则和指标解读信息,所述测试用户基于所述音频评测规则和指标解读信息进行评测结果的输入。
9.一种音频评测装置,其特征在于,设置于评测平台,包括:
启动模块,用于响应于音频测试触发操作,基于预先创建的目标测试任务启动目标测试对象并进入目标测试场景,所述目标测试场景中基于所述目标测试对象播放待测实时音频;
分发模块,用于将所述目标测试任务分发至对应的测试用户,以使所述测试用户进入所述目标测试场景对所述待测实时音频进行评测;
结果模块,用于获取所述测试用户针对所述待测实时音频输入的评测结果。
10.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-8中任一所述的音频评测方法。
11.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-8中任一所述的音频评测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211105053.0A CN117711437A (zh) | 2022-09-09 | 2022-09-09 | 一种音频评测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211105053.0A CN117711437A (zh) | 2022-09-09 | 2022-09-09 | 一种音频评测方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117711437A true CN117711437A (zh) | 2024-03-15 |
Family
ID=90159380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211105053.0A Pending CN117711437A (zh) | 2022-09-09 | 2022-09-09 | 一种音频评测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117711437A (zh) |
-
2022
- 2022-09-09 CN CN202211105053.0A patent/CN117711437A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021093737A1 (zh) | 生成视频的方法、装置、电子设备和计算机可读介质 | |
CN109829379B (zh) | 信息处理方法、装置、服务器以及存储介质 | |
CN112463634B (zh) | 微服务架构下的软件测试方法及装置 | |
WO2020199749A1 (zh) | 基于反馈的信息推送方法、装置及电子设备 | |
CN111290819B (zh) | 显示操作提示的方法、装置和电子设备 | |
WO2023051293A1 (zh) | 一种音频处理方法、装置、电子设备和存储介质 | |
CN109815448B (zh) | 幻灯片生成方法及装置 | |
CN110312162A (zh) | 精选片段处理方法、装置、电子设备及可读介质 | |
CN111435600B (zh) | 用于处理音频的方法和装置 | |
CN114021016A (zh) | 数据推荐方法、装置、设备和存储介质 | |
CN110753246A (zh) | 视频播放方法、客户端、服务器及系统 | |
CN113144620A (zh) | 帧同步游戏的检测方法、装置、平台、可读介质和设备 | |
CN112800363A (zh) | 页面显示方法、装置、电子设备和计算机可读介质 | |
CN110069547B (zh) | 在线数据库表格数据统计方法、装置、介质和电子设备 | |
CN117711437A (zh) | 一种音频评测方法、装置、设备及介质 | |
US20230229289A1 (en) | Template selection method, electronic device and non-transitory computer-readable storage medium | |
CN114121050A (zh) | 音频播放方法、装置、电子设备和存储介质 | |
CN114945188A (zh) | 蓝牙设备测试方法、装置、电子设备及可读存储介质 | |
CN111935501B (zh) | 一种场景识别方法及装置 | |
CN113885741A (zh) | 一种多媒体处理方法、装置、设备及介质 | |
CN111367592B (zh) | 信息处理方法和装置 | |
US9436947B2 (en) | Systems and methods for conducting surveys | |
JP6606579B1 (ja) | 再生状況調査システム、再生状況調査方法、及びプログラム | |
CN109445873B (zh) | 显示设置界面的方法和装置 | |
CN113495712A (zh) | 自动音量调整方法、装置、介质和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |