CN111046220A - 一种听写过程中的报读语音的重播方法及电子设备 - Google Patents
一种听写过程中的报读语音的重播方法及电子设备 Download PDFInfo
- Publication number
- CN111046220A CN111046220A CN201910352210.XA CN201910352210A CN111046220A CN 111046220 A CN111046220 A CN 111046220A CN 201910352210 A CN201910352210 A CN 201910352210A CN 111046220 A CN111046220 A CN 111046220A
- Authority
- CN
- China
- Prior art keywords
- user
- character
- voice
- unit
- dictation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000014509 gene expression Effects 0.000 claims abstract description 13
- 230000000875 corresponding effect Effects 0.000 claims description 40
- 230000005284 excitation Effects 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims 1
- 210000000988 bone and bone Anatomy 0.000 description 22
- 230000002452 interceptive effect Effects 0.000 description 14
- 210000000707 wrist Anatomy 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 239000004984 smart glass Substances 0.000 description 4
- 238000004091 panning Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种听写过程中的报读语音的重播方法及电子设备，该方法包括：对用户输入的语音资料进行语义解析，以获得用户意图；若所述用户意图为听写意图，收集在听写过程中所述用户根据播放的某一报读语音进行书写时的用户属性，所述用户属性包括所述用户的表情、动作或语义中的任一种或几种的组合；校验所述用户属性是否与预设的用于触发进行报读语音重播的指定用户属性相匹配，若时，重播所述某一报读语音。实施本发明实施例，能够便捷的控制报读语音进行重播。
Description
技术领域
本发明涉及教育技术领域，具体涉及一种听写过程中的报读语音的重播方法及电子设备。
背景技术
当前，学生用户可以使用电子设备(如家教机、学习平板等)提供的听写应用(又称为听写APP或听写客户端)来播放听写内容(如字词)对应的报读语音，并且学生用户可以根据该报读语音去进行听写作业，以提升学生用户对该听写内容的掌握程度。在实践中发现，当学生用户需要重复听某一报读语音时，通常需要学生用户的手动设置回退，过程比较繁琐。
发明内容
本发明实施例公开了一种听写过程中的报读语音的重播方法及电子设备，能够便捷的控制报读语音进行重播。
本发明实施例第一方面公开一种听写过程中的报读语音的重播方法，所述方法包括：
对用户输入的语音资料进行语义解析，以获得用户意图；
若所述用户意图为听写意图，收集在听写过程中所述用户根据播放的某一报读语音进行书写时的用户属性，所述用户属性包括所述用户的表情、动作或语义中的任一种或几种的组合；
校验所述用户属性是否与预设的用于触发进行报读语音重播的指定用户属性相匹配，若是，重播所述某一报读语音。
本发明实施例第二方面公开一种电子设备，所述电子设备包括：
解析单元，用于对用户输入的语音资料进行语义解析，以获得用户意图；
收集单元，用于在所述用户意图为听写意图时，收集在听写过程中所述用户根据播放的某一报读语音进行书写时的用户属性，所述用户属性包括所述用户的表情、动作或语义中的任一种或几种的组合；
校验单元，用于校验所述用户属性是否与预设的用于触发进行报读语音重播的指定用户属性相匹配；
重播单元，用于在所述校验单元校验出所述用户属性与预设的用于触发进行报读语音重播的指定用户属性相匹配时，重播所述某一报读语音。
本发明实施例第三方面公开一种电子设备，所述电子设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的所述听写过程中的报读语音的重播方法的步骤。
本发明实施例第四方面公开一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行本发明实施例第一方面公开的所述听写过程中的报读语音的重播方法的步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，在对用户输入的语音资料进行语义解析获得用户意图为听写意图之后，可以收集在听写过程中用户根据播放的某一报读语音进行书写时的用户属性，该用户属性包括用户的表情、动作或语义中的任一种或几种的组合；若校验出该用户属性与预设的用于触发进行报读语音重播的指定用户属性相匹配时，重播上述某一报读语音，从而在无需学生用户手动设置回退的情况下便捷的控制报读语音进行重播，提高学生用户的听写体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种听写过程中的报读语音的重播方法的流程示意图；
图2是本发明实施例公开的另一种听写过程中的报读语音的重播方法的流程示意图；
图3是本发明实施例公开的一种电子设备的结构示意图；
图4是本发明实施例公开的另一种电子设备的结构示意图；
图5是本发明实施例公开的又一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种听写过程中的报读语音的重播方法及电子设备，能够便捷的控制报读语音进行重播。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种听写过程中的报读语音的重播方法的流程示意图。其中，图1所示的听写过程中的报读语音的重播方法可以适用于平板电脑、个人电脑、学习平板、移动手机、家教设备(如家教机)、智能手表(如电话手表)、多媒体教学设备、移动互联网设备(Mobile Internet Device，MID)等各类电子设备。如图1所示，该听写过程中的报读语音的重播方法可以包括以下步骤：
101、电子设备对用户输入的语音资料进行语义解析，以获得用户意图。
本发明实施例中，电子设备可以通过电子设备上的拾音器来拾取用户输入的语音资料(也可以称为语音信号、语音音频等)；或者，电子设备可以通过用户佩戴的可穿戴设备(如智能手表、智能手环、智能眼镜、智能帽子、智能衣服、智能鞋子或智能手套)上的拾音器来拾取用户输入的语言资料(即由用户佩戴的可穿戴设备上的拾音器来拾取用户输入的语言资料并传输给电子设备)；又或者，电子设备可以通过用户佩戴的可穿戴设备(如智能手表、智能手环、智能眼镜、智能帽子、智能衣服、智能鞋子或智能手套)上的骨传导部件(BodyConduction Unit，BCU)来拾取用户输入的语言资料(即由用户佩戴的可穿戴设备上的骨传导部件来拾取用户输入的语言资料并传输给电子设备)；在此基础上，电子设备可以通过处理器对用户输入的语音资料进行语义解析，以获得用户意图。其中，用户意图用于表示用户想做什么。
举例来说，可穿戴设备可以被佩戴在用户的某一手腕上，并且可穿戴设备的底部设置的骨传导部件与手腕肌肤接触，当用户利用该手腕的手掌上的某一手指(如食指)接触用户的下颚处或嘴巴处时，用户输入的语音资料对应的振动信号可以沿手指传输至骨传导部件，以使骨传导部件可以将该语音资料对应的振动信号转化成的该语音资料并传输给电子设备，从而可以在防止用户输入的语音资料对周围人造成干扰的情况下将用户输入的语音资料传输给电子设备，从而可以提高电子设备与可穿戴设备相配合使用时的用户体验。
102、若用户意图为听写意图，电子设备收集在听写过程中用户根据播放的某一报读语音进行书写时的用户属性，该用户属性包括用户的表情、动作或语义中的任一种或几种的组合。
本发明实施例中，若用户意图为听写意图，也即时说，用户想要进行听写作业，电子设备可以收集在听写过程中用户根据播放的某一报读语音进行书写时的用户属性。举例来说，该用户属性包括用户的表情、动作等可以通过电子设备上的摄像头或者用户佩戴的可穿戴设备上的摄像头来捕获得到；而该用户属性包括用户的语义可以通过电子设备上的拾音器或者用户佩戴的可穿戴设备上的拾音器来捕获得到。
103、电子设备校验该用户属性是否与预设的用于触发进行报读语音重播的指定用户属性相匹配，若否，结束本流程；若是，执行步骤104。
举例来说，用于触发进行报读语音重播的指定用户属性可以包括凝重表情、摇头动作以及用于请求重播的语义，那么电子设备可以校验该用户属性是否包括凝重表情、摇头动作以及用于请求重播的语义，若是，确定该用户属性与预设的用于触发进行报读语音重播的指定用户属性相匹配；反之，确定该用户属性与预设的用于触发进行报读语音重播的指定用户属性不匹配。
104、电子设备重播上述某一报读语音。
本发明实施例中，电子设备可以通过电子设备上的扬声器重播上述某一报读语音；或者，电子设备可以通过用户佩戴的可穿戴设备上的扬声器重播上述某一报读语音；又或者，电子设备可以通过用户佩戴的可穿戴设备上的骨传导部件来重播上述某一报读语音。
举例来说，可穿戴设备可以被佩戴在用户的某一手腕上，并且可穿戴设备的底部设置的骨传导部件与手腕肌肤接触，用户可以利用该手腕的手掌上的某一手指(如食指)顶住耳部根部或者深入耳朵以使耳部行成密闭音腔，从而使得骨传导部件将上述某一报读语音转化成的振动信号可以通过骨介质传导入耳部并引起耳膜产生足够的共振，以使用户可以实现在防止上述某一报读语音对周围人造成干扰的情况下收听到上述某一报读语音。
可见，实施图1所描述的方法，能够在无需学生用户手动设置回退的情况下便捷的控制报读语音进行重播，提高学生用户的听写体验。此外，实施图1所描述的方法，可以在防止用户输入的语音资料对周围人造成干扰的情况下将用户输入的语音资料传输给电子设备，从而提高电子设备与可穿戴设备相配合使用时的用户体验。此外，实施图1所描述的方法，用户可以实现在防止上述某一报读语音对周围人造成干扰的情况下收听到上述某一报读语音。
实施例二
请参阅图2，图2是本发明实施例公开的另一种听写过程中的报读语音的重播方法的流程示意图。如图2所示，该听写过程中的报读语音的重播方法可以包括以下步骤：
201、电子设备对用户输入的语音资料进行语义解析，以获得用户意图。
202、若用户意图为听写意图，电子设备收集在听写过程中用户根据播放的某一报读语音进行书写时的用户属性，该用户属性包括用户的表情、动作或语义中的任一种或几种的组合。
203、电子设备校验该用户属性是否与预设的用于触发进行报读语音重播的指定用户属性相匹配，若否，结束本流程；若是，执行步骤204～步骤205。
204、电子设备重播上述某一报读语音。
205、若用户根据播放的上述某一报读语音在某一页面上的、带印刷体的某一区域内进行书写，电子设备判断上述某一报读语音的重播次数是否超过指定次数，若是，执行步骤206～步骤207；若否，结束本流程。
206、电子设备识别出该区域中的每一字符。
本发明实施例中，字符(Character)是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字、简谱音符等。
举例来说，电子设备在用户根据上述某一报读语音在某一页面上的、带印刷体的某一区域内进行书写时，可以通过电子设备上的摄像头或者用户佩戴的可穿戴设备上的摄像头来识别该区域中的每一字符。
207、电子设备根据预先训练生成的印刷体识别模型，识别该字符的字体是否属于印刷体，若属于，结束本流程；若不属于，执行步骤208～步骤209。
本发明实施例中，电子设备可以提前收集大量不同字体的印刷体，并通过训练生成印刷体识别模型。
208、电子设备获取该用户的手写体识别模型。
本发明实施例中，电子设备可以提前收集该用户手写的字符的手写笔迹，并通过训练生成该用户的身份信息对应的该用户的手写体识别模型。相应的，电子设备获取该用户的身份信息，并根据该用户的身份信息获取该用户的手写体识别模型。
209、电子设备根据该用户的手写体识别模型，识别该字符的字体是否属于所述用户的手写体，若不属于，结束本流程；若属于，执行步骤210～步骤211。
210、电子设备将该字符作为手写体字符归类至手写体字符集合。
211、电子设备将手写体字符集合中的各个手写体字符按照各个手写体字符在该区域中的书写位置进行组合，以获得上述某一报读语音对应的听写内容。
可以理解的是，各个手写体字符在该区域中的书写位置通常是以行式或列式排列的。当各个手写体字符在该区域中的书写位置以行式排列式时，按照各个手写体字符在该区域中的书写位置进行行式组合，以获得上述某一报读语音对应的听写内容；当各个手写体字符在该区域中的书写位置以列式排式时，将手写体字符集合中的各个手写体字符按照各个手写体字符在该区域中的书写位置进行列式排列组合，以获得上述某一报读语音对应的听写内容。
本发明实施例中，电子设备在执行步骤201之前，还可以执行以下步骤：
电子设备检测用户针对电子设备的某一目标应用(如游戏应用)输入的解锁指令；
电子设备输出交互信息，该交互信息用于询问用户是否以随机听写方式解锁上述目标应用。
相应地，若用户同意以随机听写方式解锁上述目标应用，用户可以通过电子设备上的拾音器或者通过用户佩戴的可穿戴设备上的拾音器又或者通过用户佩戴的可穿戴设备上的骨传导部件向电子设备输入语音资料，以触发电子设备执行上述步骤101。
相应的，电子设备获得的上述某一报读语音对应的听写内容可以作为用户需要解锁的上述目标应用的应用解锁依据，电子设备可以根据该应用解锁依据进行校验是否允许用户解锁上述目标应用，从而可以实现听写训练与应用解锁相融合，从而达到既可以提升听写训练能力又可以丰富应用解锁方式，提升用户体验的效果。
作为一种可选的实施方式，上述某一报读语音可以为某一简谱音符串对应的标准发音片段，相应地，当上述某一报读语音对应的听写内容作为用户需要解锁的上述目标应用的应用解锁依据时，电子设备可以检测该听写内容是否与该简谱音符串相同，如果相同，电子设备可以为用户解锁上述目标应用；若不相同，电子设备可以向用户讲解该简谱音符串。
例如，上述某一报读语音可以为某一简谱音符串“1243567”对应的标准发音片段“do(多)re(来)fa(发)mi(米)so(梭)la(拉)si(西)”，相应地，当上述某一报读语音对应的听写内容作为用户需要解锁的上述目标应用的应用解锁依据时，电子设备可以检测该听写内容是否与该简谱音符串“1243567”相同，如果相同，电子设备可以为用户解锁上述目标应用；若不相同，电子设备可以向用户讲解该简谱音符串“1243567”。
可见，上述实施方式可以实现简谱音符听写训练与应用解锁相融合，从而达到既可以提升简谱音符听写训练能力又可以丰富应用解锁方式，提升用户体验的效果。
作为一种可选的实施方式，电子设备向用户讲解该简谱音符串，包括：
电子设备依次输出该简谱音符串包含的各个简谱音符；
以及，在各个简谱音符输出完毕后，依次播放各个简谱音符对应的标准发音。
举例来说，电子设备可以按照简谱音符串“1243567”中的“1”、“2”、“4”、“3”、“5”、“6”以及“7”的拼接顺序，依次输出(如通过电子设备的显示屏或者可穿戴设备的显示屏输出)简谱音符“1”、“2”、“4”、“3”、“5”、“6”以及“7”；以及，在简谱音符“1”、“2”、“4”、“3”、“5”、“6”以及“7”输出完毕后，依次播放(如通过电子设备的扬声器或者可穿戴设备的扬声器或者可穿戴设备的骨传导部件播放)简谱音符“1”的标准发音“do(多)”、简谱音符“2”的标准发音“re(来)”、简谱音符“4”的标准发音“fa(发)”、简谱音符“3”的标准“mi(米)”、简谱音符“5”的标准发音“so(梭)”、简谱音符“6”的标准发音“la(拉)”以及简谱音符“7”的标准发音“si(西)”。
作为一种可选的实施方式，本发明实施例中，若检测出该听写内容与该简谱音符串相同，电子设备还可以执行以下步骤：
电子设备通知针对该听写内容发出训练音频；
以及，电子设备判断针对该听写内容发出的训练音频的声纹特征是否属于该用户的声纹特征，若属于，将该训练音频的旋律与该简谱音符串对应的标准发音片段的旋律进行比较，获得旋律相似度并输出给该用户进行参考；
以及，确定与该旋律相似度正相关的虚拟激励资源数量，并根据该虚拟激励资源数量更新该用户对应的虚拟激励资源池中的虚拟激励资源。
作为一种可选的实施方式，上述电子设备检测出该听写内容与该简谱音符串相同之后，以及电子设备为用户解锁上述目标应用之前，电子设备还可以执行以下操作：
电子设备判断获得的上述旋律相似度是否高于指定阈值(如90％)，若是，电子设备才为用户解锁上述目标应用；若否，电子设备禁止为用户解锁上述目标应用。
也即是说，在一个实施例中，上述电子设备检测出该听写内容与该简谱音符串相同之后，可以先通知该用户针对该听写内容发出训练音频，以及将该用户针对该听写内容发出的训练音频的旋律与该简谱音符串对应的标准发音片段的旋律进行比较，获得旋律相似度并输出给该用户进行参考；以及，电子设备在判断出获得的上述旋律相似度高于指定阈值(如90％)时，才为用户解锁上述目标应用；若否，电子设备禁止为用户解锁上述目标应用。
可见，上述实施方式可以实现简谱音符听写训练、音频旋律训练与应用解锁相融合，从而达到既可以提升简谱音符听写训练能力和音频旋律训练能力，又可以丰富应用解锁方式，提升用户体验的效果。
可见，实施图2所描述的方法，能够在无需学生用户手动设置回退的情况下便捷的控制报读语音进行重播，提高学生用户的听写体验。此外，实施图2所描述的方法，可以在防止用户输入的语音资料对周围人造成干扰的情况下将用户输入的语音资料传输给电子设备，从而提高电子设备与可穿戴设备相配合使用时的用户体验。此外，实施图2所描述的方法，用户可以实现在防止上述某一报读语音对周围人造成干扰的情况下收听到上述某一报读语音。此外，实施图2所描述的方法，能够避免印刷体干扰电子设备对听写内容的识别效果。实施图2所描述的方法，可以实现简谱音符听写训练、音频旋律训练与应用解锁相融合，从而达到既可以提升简谱音符听写训练能力和音频旋律训练能力，又可以丰富应用解锁方式，提升用户体验的效果。
实施例三
请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。其中，图3所示的电子设备可以包括平板电脑、个人电脑、学习平板、移动手机、家教设备(如家教机)、智能手表(如电话手表)、多媒体教学设备、MID等各类电子设备，本发明实施例不作限定。如图3所示，该电子设备可以包括：
解析单元301，用于对用户输入的语音资料进行语义解析，以获得用户意图；
收集单元302，用于在该用户意图为听写意图时，收集在听写过程中用户根据播放的某一报读语音进行书写时的用户属性，该用户属性包括用户的表情、动作或语义中的任一种或几种的组合；
校验单元303，用于校验该用户属性是否与预设的用于触发进行报读语音重播的指定用户属性相匹配；
重播单元304，用于在校验单元303校验出该用户属性与预设的用于触发进行报读语音重播的指定用户属性相匹配时，重播上述某一报读语音。
本发明实施例中，电子设备可以通过电子设备上的拾音器来拾取用户输入的语音资料(也可以称为语音信号、语音音频等)；或者，电子设备可以通过用户佩戴的可穿戴设备(如智能手表、智能手环、智能眼镜、智能帽子、智能衣服、智能鞋子或智能手套)上的拾音器来拾取用户输入的语言资料(即由用户佩戴的可穿戴设备上的拾音器来拾取用户输入的语言资料并传输给电子设备)；又或者，电子设备可以通过用户佩戴的可穿戴设备(如智能手表、智能手环、智能眼镜、智能帽子、智能衣服、智能鞋子或智能手套)上的骨传导部件(BodyConduction Unit，BCU)来拾取用户输入的语言资料(即由用户佩戴的可穿戴设备上的骨传导部件来拾取用户输入的语言资料并传输给电子设备)；在此基础上，解析单元301可以通过处理器对用户输入的语音资料进行语义解析，以获得用户意图。其中，用户意图用于表示用户想做什么。
举例来说，可穿戴设备可以被佩戴在用户的某一手腕上，并且可穿戴设备的底部设置的骨传导部件与手腕肌肤接触，当用户利用该手腕的手掌上的某一手指(如食指)接触用户的下颚处或嘴巴处时，用户输入的语音资料对应的振动信号可以沿手指传输至骨传导部件，以使骨传导部件可以将该语音资料对应的振动信号转化成的该语音资料并传输给电子设备，从而可以在防止用户输入的语音资料对周围人造成干扰的情况下将用户输入的语音资料传输给电子设备，从而可以提高电子设备与可穿戴设备相配合使用时的用户体验。
本发明实施例中，若用户意图为听写意图，也即时说，用户想要进行听写作业，收集单元302可以收集在听写过程中用户根据播放的某一报读语音进行书写时的用户属性。举例来说，该用户属性包括用户的表情、动作等可以通过电子设备上的摄像头或者用户佩戴的可穿戴设备上的摄像头来捕获得到；而该用户属性包括用户的语义可以通过电子设备上的拾音器或者用户佩戴的可穿戴设备上的拾音器来捕获得到。
本发明实施例中，重播单元304可以通过电子设备上的扬声器重播上述某一报读语音；或者，重播单元304可以通过用户佩戴的可穿戴设备上的扬声器重播上述某一报读语音；又或者，重播单元304可以通过用户佩戴的可穿戴设备上的骨传导部件来重播上述某一报读语音。
举例来说，可穿戴设备可以被佩戴在用户的某一手腕上，并且可穿戴设备的底部设置的骨传导部件与手腕肌肤接触，用户可以利用该手腕的手掌上的某一手指(如食指)顶住耳部根部或者深入耳朵以使耳部行成密闭音腔，从而使得骨传导部件将上述某一报读语音转化成的振动信号可以通过骨介质传导入耳部并引起耳膜产生足够的共振，以使用户可以实现在防止上述某一报读语音对周围人造成干扰的情况下收听到上述某一报读语音。
可见，实施图3所描述的电子设备，能够在无需学生用户手动设置回退的情况下便捷的控制报读语音进行重播，提高学生用户的听写体验。此外，实施图3所描述的电子设备，可以在防止用户输入的语音资料对周围人造成干扰的情况下将用户输入的语音资料传输给电子设备，从而提高电子设备与可穿戴设备相配合使用时的用户体验。此外，实施图3所描述的电子设备，用户可以实现在防止上述某一报读语音对周围人造成干扰的情况下收听到上述某一报读语音。
实施例四
请参阅图4，图4是本发明实施例公开的另一种电子设备的结构示意图。其中，图4所示的电子设备是由图3所示的电子设备进行优化得到的。在本实施例中，假设用户根据播放的上述某一报读语音在某一页面上的、带印刷体的某一区域内进行书写，那么与图3所示的电子设备相比，图4所示的电子设备还可以包括：
次数判断单元305，用于在重播单元304重播上述某一报读语音之后，判断上述某一报读语音的重播次数是否超过指定次数；
第一识别单元306，用于在次数判断单元305判断出上述某一报读语音的重播次数超过指定次数时，识别出该区域中的每一字符；例如，第一识别单元306可以通过电子设备上的摄像头或者用户佩戴的可穿戴设备上的摄像头来识别该区域中的每一字符；
第二识别单元307，用于根据预先训练生成的印刷体识别模型，识别该字符的字体是否属于印刷体；其中，电子设备可以提前收集大量不同字体的印刷体，并通过训练生成印刷体识别模型；
归类单元308，用于在第二识别单元307识别出该字符的字体不属于印刷体时，将该字符作为手写体字符归类至手写体字符集合；
排序单元309，用于将手写体字符集合中的各个手写体字符按照各个手写体字符在所述区域中的书写位置进行组合，以获得上述某一报读语音对应的听写内容。
可以理解的是，各个手写体字符在该区域中的书写位置通常是以行式或列式排列的。当各个手写体字符在该区域中的书写位置以行式排列式时，按照各个手写体字符在该区域中的书写位置进行行式组合，以获得上述某一报读语音对应的听写内容；当各个手写体字符在该区域中的书写位置以列式排式时，将手写体字符集合中的各个手写体字符按照各个手写体字符在该区域中的书写位置进行列式排列组合，以获得上述某一报读语音对应的听写内容。
作为一种可选的实施方式，在图4所示的电子设备中，还包括：
获取单元310，用于在第二识别单元307识别出该字符的字体不属于印刷体之后，获取该用户的手写体识别模型；其中，电子设备可以提前收集该用户手写的字符的手写笔迹，并通过训练生成该用户的身份信息对应的该用户的手写体识别模型；
第三识别单元311，用于根据该用户的手写体识别模型，识别该字符的字体是否属于该用户的手写体；
相应的，归类单元308具体用于在第二识别单元307识别出该字符的字体不属于印刷体时，以及在第三识别单元311识别出该字符的字体属于该用户的手写体时，将该字符作为手写体字符归类至手写体字符集合。
本发明实施例中，电子设备在解析单元对用户输入的语音资料进行语义解析，以获得用户意图之前，还可以执行以下步骤：
电子设备检测用户针对电子设备的某一目标应用(如游戏应用)输入的解锁指令；
电子设备输出交互信息，该交互信息用于询问用户是否以随机听写方式解锁上述目标应用。
相应地，若用户同意以随机听写方式解锁上述目标应用，用户可以通过电子设备上的拾音器或者通过用户佩戴的可穿戴设备上的拾音器又或者通过用户佩戴的可穿戴设备上的骨传导部件向电子设备输入语音资料，以触发解析单元301对用户输入的语音资料进行语义解析，以获得用户意图。
相应的，排序单元309获得的上述某一报读语音对应的听写内容可以作为用户需要解锁的上述目标应用的应用解锁依据，电子设备可以根据该应用解锁依据进行校验是否允许用户解锁上述目标应用，从而可以实现听写训练与应用解锁相融合，从而达到既可以提升听写训练能力又可以丰富应用解锁方式，提升用户体验的效果。
作为一种可选的实施方式，在图4所示的电子设备中，上述报读语音为某一简谱音符串对应的标准发音片段，该电子设备还包括：
检测单元312，用于检测该听写内容是否与该简谱音符串相同；
讲解单元313，用于在检测单元312检测出该听写内容与该简谱音符串不相同时，依次输出该简谱音符串包含的各个简谱音符，以及，在各个简谱音符输出完毕后，依次播放各个简谱音符对应的标准发音。
例如，上述某一报读语音可以为某一简谱音符串“1243567”对应的标准发音片段“do(多)re(来)fa(发)mi(米)so(梭)la(拉)si(西)”，相应地，当上述某一报读语音对应的听写内容作为用户需要解锁的上述目标应用的应用解锁依据时，检测单元312可以检测该听写内容是否与该简谱音符串“1243567”相同，如果相同，电子设备可以为用户解锁上述目标应用；若不相同，讲解单元313可以向用户讲解该简谱音符串“1243567”。
举例来说，讲解单元313可以按照简谱音符串“1243567”中的“1”、“2”、“4”、“3”、“5”、“6”以及“7”的拼接顺序，依次输出(如通过电子设备的显示屏或者可穿戴设备的显示屏输出)简谱音符“1”、“2”、“4”、“3”、“5”、“6”以及“7”；以及，在简谱音符“1”、“2”、“4”、“3”、“5”、“6”以及“7”输出完毕后，依次播放(如通过电子设备的扬声器或者可穿戴设备的扬声器或者可穿戴设备的骨传导部件播放)简谱音符“1”的标准发音“do(多)”、简谱音符“2”的标准发音“re(来)”、简谱音符“4”的标准发音“fa(发)”、简谱音符“3”的标准“mi(米)”、简谱音符“5”的标准发音“so(梭)”、简谱音符“6”的标准发音“la(拉)”以及简谱音符“7”的标准发音“si(西)”。
可见，上述实施方式可以实现简谱音符听写训练与应用解锁相融合，从而达到既可以提升简谱音符听写训练能力又可以丰富应用解锁方式，提升用户体验的效果。
作为一种可选的实施方式，在图4所示的电子设备中，电子设备还包括：
通知单元314，用于在检测单元312检测出该听写内容与该简谱音符串相同时，通知针对该听写内容发出训练音频；
声纹判断单元315，用于判断针对该听写内容发出的训练音频的声纹特征是否属于该用户的声纹特征；
比较单元316，用于在声纹判断单元315判断出针对该听写内容发出的训练音频的声纹特征属于该用户的声纹特征时，将该用户针对该听写内容发出的训练音频的旋律与该简谱音符串对应的标准发音片段的旋律进行比较，获得旋律相似度并输出给该用户进行参考；
更新单元317，用于确定与该旋律相似度正相关的虚拟激励资源数量，并根据该虚拟激励资源数量更新该用户对应的虚拟激励资源池中的虚拟激励资源。
作为一种可选的实施方式，检测单元312检测出该听写内容与该简谱音符串相同之后，以及电子设备为用户解锁上述目标应用之前，电子设备还可以执行以下操作：
电子设备判断获得的上述旋律相似度是否高于指定阈值(如90％)，若是，电子设备才为用户解锁上述目标应用；若否，电子设备禁止为用户解锁上述目标应用。
也即是说，在一个实施例中，检测单元312检测出该听写内容与该简谱音符串相同之后，通知单元314可以通知针对该听写内容发出训练音频，以及比较单元316可以将该用户针对该听写内容发出的训练音频的旋律与该简谱音符串对应的标准发音片段的旋律进行比较，获得旋律相似度并输出给该用户进行参考；以及，电子设备在判断出获得的上述旋律相似度高于指定阈值(如90％)时，才为用户解锁上述目标应用；若否，电子设备禁止为用户解锁上述目标应用。
可见，上述实施方式可以实现简谱音符听写训练、音频旋律训练与应用解锁相融合，从而达到既可以提升简谱音符听写训练能力和音频旋律训练能力，又可以丰富应用解锁方式，提升用户体验的效果。
可见，实施图4所描述的电子设备，能够在无需学生用户手动设置回退的情况下便捷的控制报读语音进行重播，提高学生用户的听写体验。此外，实施图4所描述的电子设备，可以在防止用户输入的语音资料对周围人造成干扰的情况下将用户输入的语音资料传输给电子设备，从而提高电子设备与可穿戴设备相配合使用时的用户体验。此外，实施图4所描述的电子设备，用户可以实现在防止上述某一报读语音对周围人造成干扰的情况下收听到上述某一报读语音。此外，实施图4所描述的电子设备能够避免印刷体干扰电子设备对听写内容的识别效果。实施图4所描述的电子设备可以实现简谱音符听写训练、音频旋律训练与应用解锁相融合，从而达到既可以提升简谱音符听写训练能力和音频旋律训练能力，又可以丰富应用解锁方式，提升用户体验的效果。
实施例五
请参阅图5，图5是本发明实施例公开的另一种电子设备的结构示意图。如图5所示，该电子设备可以包括：
存储有可执行程序代码的存储器501；
与存储器耦合的处理器502；
其中，处理器502调用存储器801中存储的可执行程序代码，执行图1或图2所描述的带印刷体干扰的听写内容识别方法的步骤。
本发明实施例公开一种计算机可读存储介质，其上存储有计算机指令，该计算机指令运行时执行图1或图2所描述的一种听写过程中的报读语音的重播方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种听写过程中的报读语音的重播方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种听写过程中的报读语音的重播方法，其特征在于，所述方法包括：
对用户输入的语音资料进行语义解析，以获得用户意图；
若所述用户意图为听写意图，收集在听写过程中所述用户根据播放的某一报读语音进行书写时的用户属性，所述用户属性包括所述用户的表情、动作或语义中的任一种或几种的组合；
校验所述用户属性是否与预设的用于触发进行报读语音重播的指定用户属性相匹配，若是，重播所述某一报读语音。
2.根据权利要求1所述的重播方法，其特征在于，若所述用户根据播放的某一报读语音在某一页面上的、带印刷体的某一区域内进行书写，则所述重播所述某一报读语音之后，所述方法还包括：
判断所述某一报读语音的重播次数是否超过指定次数；
若是，识别出所述区域中的每一字符；
根据预先训练生成的印刷体识别模型，识别所述字符的字体是否属于印刷体，若不属于，将所述字符作为手写体字符归类至手写体字符集合；
将所述手写体字符集合中的各个手写体字符按照所述各个手写体字符在所述区域中的书写位置进行组合，以获得所述某一报读语音对应的听写内容。
3.根据权利要求2所述的重播方法，其特征在于，在识别出所述字符的字体不属于印刷体之后，所述方法还包括：
获取所述用户的手写体识别模型；
根据所述用户的手写体识别模型，识别所述字符的字体是否属于所述用户的手写体，若属于，执行所述的将所述字符作为手写体字符归类至手写体字符集合。
4.根据权利要求1、2或3所述的重播方法，其特征在于，所述某一报读语音为某一简谱音符串对应的标准发音片段，所述方法还包括：
检测所述听写内容是否与所述简谱音符串相同；
若不相同，依次输出所述简谱音符串包含的各个简谱音符，以及，在所述各个简谱音符输出完毕后，依次播放所述各个简谱音符对应的标准发音。
5.根据权利要求4所述的重播方法，其特征在于，若检测出所述听写内容与所述简谱音符串相同，所述方法还包括：
通知针对所述听写内容发出训练音频；
以及，判断针对所述听写内容发出的训练音频的声纹特征是否属于所述用户的声纹特征，若属于，将所述训练音频的旋律与所述简谱音符串对应的标准发音片段的旋律进行比较，获得旋律相似度并输出给所述用户进行参考；
以及，确定与所述旋律相似度正相关的虚拟激励资源数量，并根据所述虚拟激励资源数量更新所述用户对应的虚拟激励资源池中的虚拟激励资源。
6.一种电子设备，其特征在于，包括：
解析单元，用于对用户输入的语音资料进行语义解析，以获得用户意图；
收集单元，用于在所述用户意图为听写意图时，收集在听写过程中所述用户根据播放的某一报读语音进行书写时的用户属性，所述用户属性包括所述用户的表情、动作或语义中的任一种或几种的组合；
校验单元，用于校验所述用户属性是否与预设的用于触发进行报读语音重播的指定用户属性相匹配；
重播单元，用于在所述校验单元校验出所述用户属性与预设的用于触发进行报读语音重播的指定用户属性相匹配时，重播所述某一报读语音。
7.根据权利要求6所述的电子设备，其特征在于，若所述用户根据播放的某一报读语音在某一页面上的、带印刷体的某一区域内进行书写，所述电子设备还包括：
次数判断单元，用于在所述重播单元重播所述某一报读语音之后，判断所述某一报读语音的重播次数是否超过指定次数；
第一识别单元，用于在所述次数判断单元判断出所述某一报读语音的重播次数超过指定次数时，识别出所述区域中的每一字符；
第二识别单元，用于根据预先训练生成的印刷体识别模型，识别所述字符的字体是否属于印刷体；
归类单元，用于在所述第二识别单元识别出所述字符的字体不属于印刷体时，将所述字符作为手写体字符归类至手写体字符集合；
排序单元，用于将所述手写体字符集合中的各个手写体字符按照所述各个手写体字符在所述区域中的书写位置进行组合，以获得所述某一报读语音对应的听写内容。
8.根据权利要求7所述的电子设备，其特征在于，所述电子设备还包括：
获取单元，用于在所述第二识别单元识别出所述字符的字体不属于印刷体之后，获取所述用户的手写体识别模型；
第三识别单元，用于根据所述用户的手写体识别模型，识别所述字符的字体是否属于所述用户的手写体；
所述归类单元，具体用于在所述第二识别单元识别出所述字符的字体不属于印刷体时，以及在所述第三识别单元识别出所述字符的字体属于所述用户的手写体时，将所述字符作为手写体字符归类至手写体字符集合。
9.根据权利要求6、7或8所述的电子设备，其特征在于，所述报读语音为某一简谱音符串对应的标准发音片段，所述电子设备还包括：
检测单元，用于检测所述听写内容是否与所述简谱音符串相同；
讲解单元，用于在所述检测单元检测出所述听写内容与所述简谱音符串不相同时，依次输出所述简谱音符串包含的各个简谱音符，以及，在所述各个简谱音符输出完毕后，依次播放所述各个简谱音符对应的标准发音。
10.根据权利要求9所述的电子设备，其特征在于，所述电子设备还包括：
通知单元，用于在所述检测单元检测出所述听写内容与所述简谱音符串相同时，通知针对所述听写内容发出训练音频；
声纹判断单元，用于判断针对所述听写内容发出的训练音频的声纹特征是否属于所述用户的声纹特征；
比较单元，用于在所述声纹判断单元判断出针对所述听写内容发出的训练音频的声纹特征属于所述用户的声纹特征时，将所述用户针对所述听写内容发出的训练音频的旋律与所述简谱音符串对应的标准发音片段的旋律进行比较，获得旋律相似度并输出给所述用户进行参考；
更新单元，用于确定与所述旋律相似度正相关的虚拟激励资源数量，并根据所述虚拟激励资源数量更新所述用户对应的虚拟激励资源池中的虚拟激励资源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910352210.XA CN111046220A (zh) | 2019-04-29 | 2019-04-29 | 一种听写过程中的报读语音的重播方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910352210.XA CN111046220A (zh) | 2019-04-29 | 2019-04-29 | 一种听写过程中的报读语音的重播方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111046220A true CN111046220A (zh) | 2020-04-21 |
Family
ID=70231637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910352210.XA Pending CN111046220A (zh) | 2019-04-29 | 2019-04-29 | 一种听写过程中的报读语音的重播方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046220A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1169199A (zh) * | 1995-01-26 | 1997-12-31 | 苹果电脑公司 | 产生和利用上下文相关子音节模型来识别有调语言的系统和方法 |
| CN101551947A (zh) * | 2008-06-11 | 2009-10-07 | 俞凯 | 辅助口语语言学习的计算机系统 |
| CN202075879U (zh) * | 2011-03-09 | 2011-12-14 | 浙江大学 | 电子音乐学习机 |
| CN102521516A (zh) * | 2011-12-20 | 2012-06-27 | 北京商纳科技有限公司 | 一种自动生成错题本的方法及系统 |
| CN202422457U (zh) * | 2012-02-26 | 2012-09-05 | 樊丽霞 | 音乐简谱发音学习机 |
| CN105118338A (zh) * | 2011-11-21 | 2015-12-02 | 学习时代公司 | 针对年轻学习者的基于计算机的语言浸入式教学 |
| CN106022053A (zh) * | 2016-05-26 | 2016-10-12 | 深圳市金立通信设备有限公司 | 一种解锁方法及装置 |
| CN107395352A (zh) * | 2016-05-16 | 2017-11-24 | 腾讯科技（深圳）有限公司 | 基于声纹的身份识别方法及装置 |
| CN107480872A (zh) * | 2017-08-01 | 2017-12-15 | 深圳市鹰硕技术有限公司 | 一种基于数据交换网络的在线教学考评系统及方法 |
| CN107680019A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 一种考试方案的实现方法、装置、设备及存储介质 |
| CN108182832A (zh) * | 2018-01-16 | 2018-06-19 | 南宁学院 | 一种泰语语音学习辅助系统 |
| CN108604268A (zh) * | 2016-03-30 | 2018-09-28 | 华为技术有限公司 | 一种终端的语音解锁方法及终端 |
| CN109460209A (zh) * | 2018-12-20 | 2019-03-12 | 广东小天才科技有限公司 | 一种听写报读进度的控制方法及电子设备 |
| CN109634416A (zh) * | 2018-12-12 | 2019-04-16 | 广东小天才科技有限公司 | 一种听写报读的智能控制方法及终端设备 |
-
2019
- 2019-04-29 CN CN201910352210.XA patent/CN111046220A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1169199A (zh) * | 1995-01-26 | 1997-12-31 | 苹果电脑公司 | 产生和利用上下文相关子音节模型来识别有调语言的系统和方法 |
| CN101551947A (zh) * | 2008-06-11 | 2009-10-07 | 俞凯 | 辅助口语语言学习的计算机系统 |
| CN202075879U (zh) * | 2011-03-09 | 2011-12-14 | 浙江大学 | 电子音乐学习机 |
| CN105118338A (zh) * | 2011-11-21 | 2015-12-02 | 学习时代公司 | 针对年轻学习者的基于计算机的语言浸入式教学 |
| CN102521516A (zh) * | 2011-12-20 | 2012-06-27 | 北京商纳科技有限公司 | 一种自动生成错题本的方法及系统 |
| CN202422457U (zh) * | 2012-02-26 | 2012-09-05 | 樊丽霞 | 音乐简谱发音学习机 |
| CN108604268A (zh) * | 2016-03-30 | 2018-09-28 | 华为技术有限公司 | 一种终端的语音解锁方法及终端 |
| CN107395352A (zh) * | 2016-05-16 | 2017-11-24 | 腾讯科技（深圳）有限公司 | 基于声纹的身份识别方法及装置 |
| CN106022053A (zh) * | 2016-05-26 | 2016-10-12 | 深圳市金立通信设备有限公司 | 一种解锁方法及装置 |
| CN107480872A (zh) * | 2017-08-01 | 2017-12-15 | 深圳市鹰硕技术有限公司 | 一种基于数据交换网络的在线教学考评系统及方法 |
| CN107680019A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 一种考试方案的实现方法、装置、设备及存储介质 |
| CN108182832A (zh) * | 2018-01-16 | 2018-06-19 | 南宁学院 | 一种泰语语音学习辅助系统 |
| CN109634416A (zh) * | 2018-12-12 | 2019-04-16 | 广东小天才科技有限公司 | 一种听写报读的智能控制方法及终端设备 |
| CN109460209A (zh) * | 2018-12-20 | 2019-03-12 | 广东小天才科技有限公司 | 一种听写报读进度的控制方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6463825B2 (ja) | 多重話者音声認識修正システム | |
| CN107274916B (zh) | 基于声纹信息对音频/视频文件进行操作的方法及装置 | |
| CN106971723A (zh) | 语音处理方法和装置、用于语音处理的装置 | |
| CN110289000B (zh) | 一种语音识别方法、装置 | |
| CN107632980A (zh) | 语音翻译方法和装置、用于语音翻译的装置 | |
| CN110602624B (zh) | 音频测试方法、装置、存储介质及电子设备 | |
| US9251808B2 (en) | Apparatus and method for clustering speakers, and a non-transitory computer readable medium thereof | |
| CN108630231B (zh) | 信息处理装置、感情识别方法以及存储介质 | |
| JPWO2005069171A1 (ja) | 文書対応付け装置、および文書対応付け方法 | |
| CN111785279A (zh) | 视频说话人的识别方法、装置、计算机设备及存储介质 | |
| CN110136721A (zh) | 一种评分生成方法、装置、存储介质及电子设备 | |
| CN107025913A (zh) | 一种录音方法及终端 | |
| CN111261195A (zh) | 音频测试方法、装置、存储介质及电子设备 | |
| CN112507311A (zh) | 一种基于多模态特征融合的高安全性身份验证方法 | |
| CN114155860A (zh) | 摘要记录方法、装置、计算机设备和存储介质 | |
| CN112235180A (zh) | 语音消息处理方法、设备及即时通信客户端 | |
| JP5997813B2 (ja) | 話者分類装置、話者分類方法および話者分類プログラム | |
| CN111046220A (zh) | 一种听写过程中的报读语音的重播方法及电子设备 | |
| CN110890095A (zh) | 语音检测方法、推荐方法、装置、存储介质和电子设备 | |
| CN112235183B (zh) | 通信消息处理方法、设备及即时通信客户端 | |
| CN109635151A (zh) | 建立音频检索索引的方法、装置及计算机设备 | |
| CN113763920B (zh) | 空调器及其语音生成方法、语音生成装置和可读存储介质 | |
| CN114913974A (zh) | 一种谵妄评估方法、装置、电子设备及存储介质 | |
| CN111028843B (zh) | 一种听写方法及电子设备 | |
| CN111027364A (zh) | 一种带印刷体干扰的听写内容识别方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |