CN104008088A - 一种基于屏幕显示的助读方法及装置 - Google Patents
一种基于屏幕显示的助读方法及装置 Download PDFInfo
- Publication number
- CN104008088A CN104008088A CN201410026131.7A CN201410026131A CN104008088A CN 104008088 A CN104008088 A CN 104008088A CN 201410026131 A CN201410026131 A CN 201410026131A CN 104008088 A CN104008088 A CN 104008088A
- Authority
- CN
- China
- Prior art keywords
- character image
- word
- read
- reading
- sounding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000033764 rhythmic process Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 33
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 2
- 241001677259 Acanthophoenix rubra Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Electrically Operated Instructional Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及辅助教学技术领域，尤其涉及一种基于屏幕显示的助读方法及装置。本发明所述的方法，只要获取到文字图像，即可在本发明所述的装置上显示文字图像和文字图像中的文字对应的第一助读信息；当本发明所述的装置的显示模块被触碰时，能展示文字图像中的文字对应的第二助读信息；本发明不需要专门的助读设备，不需要随时准备课本，利用用户现有的电子设备即可实现随时随地的助读，使用户的助读不再受限于专门的助读设备和课本，降低了用户的使用门槛，能满足用户随时随地随心的使用需求。
Description
技术领域
本发明涉及辅助教学技术领域，尤其涉及一种基于屏幕显示的助读方法及装置。
背景技术
学龄前和小学阶段的孩子认字不多，同时标注有拼音的书本相对较少，这种情况对孩子的海量阅读造成障碍；因为孩子所认知的词语量少，在阅读的中途碰到生词时，只能通过问父母或者查字典的方式来解决，但是问父母或者查字典的方式却打断了孩子阅读的连贯性，使孩子的阅读效率大大降低。除了阅读会遭遇生词，学龄前和小学阶段的孩子也会遭遇朗读上的障碍，众所周知，有感情地朗读文章是语文学习的重要的要求，而书本上只有文字，孩子在朗读时，遇到不理解的句子，无法准确地停顿、断句，不会正确地运用升降调、轻重音富有感情地朗读，导致朗读表现平庸。
现有的帮助孩子阅读和朗读的方法，采用投影的方式。采用投影方式的方法，必须依靠投影装置，而且在使用投影装置时，必须要用课本配合才可以。这种投影助读的方法，需要专门的投影装置和随时准备着的课本，无法满足孩子随时随地随心的使用需求。
发明内容
鉴于此，本发明提出一种基于屏幕显示的助读方法及装置，该方法不需要专门的助读设备，不需要随时准备课本，利用用户现有的电子设备即可实现随时随地的助读。
本发明技术方案：
一种基于屏幕显示的助读方法，包括：
获取文字图像，识别所述文字图像中的文字，调取所述文字对应的第一助读信息；
将所述文字图像与所述第一助读信息合成新图像，在屏幕上显示所述新图像；
判断用户是否通过触屏操作对显示的新图像中的内容有点选；
若有，则识别出被点选的内容，展示所述内容对应的第二助读信息。
进一步地，所述文字图像包括行文字图像、段文字图像、章节文字图像、页文字图像中的一种或多种，当所述文字图像为页文字图像时，所述获取文字图像包括获取一页文字图像或连续获取多页文字图像。
进一步地，若所述多页文字图像包括顺序页码，则多页文字图像按所述顺序页码排序并存储；若所述多页文字图像不包括顺序页码，则获取用户对不包括顺序页码的多页文字图像所编辑的顺序页码，以使多页文字图像具有对应的顺序页码，多页文字图像按所述顺序页码排序并保存。
进一步地，将所述文字图像与所述第一助读信息合成新图像包括：
若所述多页文字图像包括顺序页码，则将多页文字图像与所述第一助读信息合成新图像，所述新图像按所述顺序页码排序并存储；
若所述多页文字图像不包括顺序页码，则将多页文字图像与所述第一助读信息合成新图像，并获取用户对不包括顺序页码的多页文字图像所编辑的顺序页码，所述新图像按所述顺序页码排序并存储。
进一步地，所述文字对应的第一助读信息为文字拼音信息；
所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字拼音信息，以得到新图像。
进一步地，所述展示所述内容对应的第二助读信息，包括：在屏幕上所述内容的旁边位置处显示所述内容的释义和用法，播放所述释义和用法的语音信息。
进一步地，所述文字对应的第一助读信息为所述文字的升降调、轻重音和停顿断句的标记符号；
所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字的升降调、轻重音和停顿断句的标记符号，以得到新图像。
进一步地，所述展示所述内容对应的第二助读信息，包括：播放所述内容的标准语音信息，并根据所述标准语音信息的节奏，在屏幕上逐字地显示出所述内容的播报进度标记。
进一步地，所述播报进度标记为文字下划线、文字底图颜色或者文字自身的颜色改变。
进一步地，所述方法还包括：
实时采集外部声音；
判断所述外部声音是否为朗读发声，如果是，则判断所述朗读发声是否正确；否则，继续实时采集外部声音；
判断所述朗读发声是否正确，如果是，则在屏幕上显示朗读正确的符号；否则，显示朗读错误的符号，并对朗读错误的文字进行标记；
判断朗读错误的文字的标记是否被点选，若是，则播放所述朗读错误的文字对应的标准语音信息。
进一步地，所述判断所述朗读发声是否正确，具体为：将朗读发声的发音、升降调、轻重音和停顿断句与预置数据库中相应的标准内容进行比对， 当所述朗读发声的发音、升降调、轻重音和停顿断句均与预置数据库中相应的标准内容相同时，则所述朗读发声正确；否则，所述朗读发声不正确。
一种基于屏幕显示的助读装置，包括：
拍摄模块，用于获取文字图像；
数据处理模块，用于识别所述文字图像中的文字，调取所述文字对应的第一助读信息；用于将所述文字图像与所述第一助读信息合成新图像；
显示模块，用于显示所述新图像；
数据处理模块，用于判断用户是否通过触屏操作对显示的新图像中的内容有点选；
展示模块，用于当判断用户通过触屏操作对显示的新图像中的内容有点选时，展示所述内容对应的第二助读信息。
进一步地，所述文字对应的第一助读信息为文字拼音信息；
所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字拼音信息，以得到新图像。
进一步地，所述展示所述内容对应的第二助读信息，包括：在显示模块上所述内容的旁边位置处显示所述内容的释义和用法，播放所述释义和用法的语音信息。
进一步地，所述文字对应的第一助读信息为所述文字的升降调、轻重音和停顿断句的标记符号；
所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字的升降调、轻重音和停顿断句的标记符号，以得到新图像。
进一步地，所述展示所述内容对应的第二助读信息，包括：播放所述内 容的标准语音信息，并根据所述标准语音信息的节奏，在显示模块上逐字地显示出所述内容的播报进度标记。
进一步地，所述播报进度标记为文字下划线、文字底图颜色或者文字自身的颜色改变。
进一步地，所述装置还包括：
收音模块，用于实时采集外部声音；
数据处理模块，用于判断所述外部声音是否为朗读发声，如果是，则判断所述朗读发声是否正确；否则，继续实时采集外部声音；
显示模块，用于如果判断所述朗读发声正确，则显示朗读正确的符号；如果判断所述朗读发声不正确，则显示朗读错误的符号，并对朗读错误的文字进行标记；
数据处理模块，用于判断朗读错误的文字的标记是否被点选；
发音模块，用于当判断朗读错误的文字的标记被触碰，则播放所述朗读错误的文字对应的标准语音信息。
进一步地，所述判断所述朗读发声是否正确，具体为：将朗读发声的发音、升降调、轻重音和停顿断句与预置数据库中相应的标准内容进行比对，当所述朗读发声的发音、升降调、轻重音和停顿断句均与预置数据库中相应的标准内容相同时，则所述朗读发声正确；否则，所述朗读发声不正确。
本发明有益效果：
本发明所述的方法包括获取文字图像，识别所述文字图像中的文字，调取所述文字对应的第一助读信息；将所述文字图像与所述第一助读信息合成新图像，在屏幕上显示所述新图像；判断用户是否通过触屏操作对显示的新图像中的内容有点选；若有，则识别出被点选的内容，展示所述内容对应的 第二助读信息。本发明所述的方法，只要获取到文字图像，即可在本发明所述的装置上显示文字图像和文字图像中的文字对应的第一助读信息；当本发明所述的装置的显示模块被触碰时，能展示文字图像中的文字对应的第二助读信息；本发明不需要专门的助读设备，不需要随时准备课本，利用用户现有的电子设备即可实现随时随地的助读，使用户的助读不再受限于专门的助读设备和课本，降低了用户的使用门槛，能满足用户随时随地随心的使用需求。
附图说明
图1是本发明一种基于屏幕显示的助读方法的第一流程图。
图2是本发明一种基于屏幕显示的助读方法的第二流程图。
图3是本发明一种基于屏幕显示的助读方法的第三流程图。
图4是本发明一种基于屏幕显示的助读方法的第四流程图。
图5是本发明一种基于屏幕显示的助读装置的第一框图。
图6是本发明一种基于屏幕显示的助读装置的第二框图。
图7是本发明一种助读方法实施例中的注释说明A示意图。
图8是本发明一种助读方法实施例中的注释说明B示意图。
图9是本发明一种助读方法实施例中的注释说明C示意图。
图10是本发明一种助读方法实施例中的注释说明D示意图。
图11是本发明一种助读方法实施例中的注释说明E示意图。
图12是本发明一种助读方法实施例中的注释说明F示意图。
图13是本发明一种助读方法实施例中的注释说明G示意图。
图14是本发明一种助读方法实施例中的注释说明H示意图。
图15是本发明一种助读方法实施例中的注释说明I示意图。
图16是本发明一种助读方法实施例中的注释说明J示意图。
图17是本发明一种助读方法实施例中的注释说明K示意图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面结合附图，对本发明的技术方案做进一步详细的说明。
本发明所述的方法不需要专门的助读设备，不需要随时准备课本，利用用户现有的电子设备即可实现随时随地的助读，现有的电子设备包括各种智能终端，包括智能手机、平板电脑、移动互联网设备(MID,Mobile Internet Device)、图书阅读器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑等。下面分别以阅读模式和朗读模式对本发明做详细的说明。
一、阅读模式
阅读模式下，根据用户的使用习惯，有三种不同情况的实施例，分别为：1、“触碰屏幕点选+不发声”的阅读；2、“不触碰屏幕+发声”的阅读；3、“触碰屏幕点选+发声”的阅读；以下就这三种方式分别做一说明。
实施例一
参见图1，图1为阅读模式下，用户“触碰屏幕点选+不发声”的阅读时，本发明方法的流程图。
S101、获取文字图像，识别所述文字图像中的文字，调取所述文字对应的文字拼音信息。步骤S101中，获取文字图像的方式可以为通过用户终端上的摄像头拍摄课本上的文字图像，或通过互联网获取选择的文字图像；所述文字图像包括以行为单位的文字图像、以段为单位的文字图像、以章节为单位的文字图像、以页为单位的文字图像中的一种或多种，当所述文字图像 为以页为单位的文字图像时，所述获取文字图像包括获取一页文字图像或连续获取多页文字图像；当获取文字图像为连续获取多页文字图像时：若所获取到的多页文字图像包括顺序页码，则多页文字图像按所述顺序页码排序并存储，即将获取到的多页文字图像汇编成电子书；若所述多页文字图像不包括顺序页码，则获取用户对不包括顺序页码的多页文字图像所编辑的顺序页码，以使多页文字图像具有对应的顺序页码，多页文字图像按所述顺序页码排序并保存，即按用户对多页文字图像编辑的顺序页码将多页文字图像汇编成电子书；待多页文字图像汇编成电子书之后，识别所述文字图像中的文字，从预先存储有文字对应的助读信息(所述助读信息包括第一助读信息和第二助读信息)的数据库中调取所述文字对应的文字拼音信息；该数据库可以为本地数据库，也可以为通过有线或无线网络连接的网络数据库。
例如，拍摄到的文字图像为“
白 日 依 山 尽
黄 河 入 海 流”，则从预先存储有文字对应的助读信息的数据库中调取所述文字对应的文字拼音信息，为“
bai ri yi shan jin
huang he ru hai liu”。
S102、在所述文字图像中文字行距间空白处合成所述文字拼音信息，以得到新图像，在屏幕上显示所述新图像。
步骤S102中，将步骤S101中获取的文字图像与调取得到的文字拼音信息合成新图像，在屏幕上显示该新图像。
例如，将
文字图像“
白 日 依 山 尽
黄 河 入 海 流”
与
文字拼音信息“
bai ri yi shan jin
huang he ru hai liu”合成新图像,得到
新图像
“bai ri yi shan jin
白 日 依 山 尽
huang he ru hai liu
黄 河 入 海 流”。在屏幕上显示该新图像。
本发明中，当获取文字图像为连续获取多页文字图像时，可排序并存储多页文字图像，即将多页文字图像汇编成电子书，排序并存储形成的电子书可包括两种：1、如步骤S101中所述的“多页文字图像”的电子书；2、多页文字图像合成第一助读信息得到新图像，排序并存储“新图像”的电子书。
当为排序并存储“新图像”的电子书时，步骤S102中，将所述文字图像中文字行距间空白处合成所述文字拼音信息包括：
若所述多页文字图像包括顺序页码，则将多页文字图像与所述文字拼音信息合成新图像，所述新图像按所述顺序页码排序并存储，即将合成了第一助读信息的多页文字图像汇编成电子书；
若所述多页文字图像不包括顺序页码，则将多页文字图像与所述文字拼音信息合成新图像，并获取用户对不包括顺序页码的多页文字图像所编辑的顺序页码以使所述新图像按所述顺序页码排序并存储，即将合成了第一助读 信息的多页文字图像汇编成电子书。
本发明中，当获取文字图像为连续获取多页文字图像时，可通过多页文字图像自身的顺序页码或者通过用户对不包括顺序页码的多页文字图像所编辑的顺序页码，将多页文字图像按顺序页码排序并存储，汇编成电子书；所述按顺序页码排序并存储的电子书包括：1、多页文字图像的电子书；2、多页文字图像合成第一助读信息的新图像的电子书。
S103、判断用户是否通过触屏操作对显示的新图像中的内容有点选。
步骤S103中，判断用户是否通过触屏操作对显示的新图像中的内容有点选，本发明中所述的屏幕为可触碰屏幕，用户通过触碰屏幕实现对屏幕上显示的图像的选择和控制。
S104、若有，则识别出被点选处的内容，在屏幕上所述内容的旁边位置处显示所述内容的释义和用法，播放所述释义和用法的语音信息。
步骤S104中，当判断出屏幕被触碰时，识别出被点选处的内容，在屏幕上所述内容的旁边位置处显示所述内容的释义和用法，播放所述释义和用法的语音信息。其中，被点选处的内容包括文字图像中的文字和所述文字对应的文字拼音信息。
例如，被点选处的内容(即被被点选处的内容为文字“日”)为：
“如图7所示，其是本发明一种助读方法实施例中的注释说明A示意图。”则
按本发明所述的方法后，被点选后，屏幕的显示效果为：
“如图8所示，其是本发明一种助读方法实施例中的注释说明B示意图。”
且播放“日为太阳的意思”的语音。
再例如，被点选处的内容(即被触碰屏幕处的内容为文字拼音“ri”)为：
“如图9所示，其是本发明一种助读方法实施例中的注释说明C示意图。”则
按本发明所述的方法后，被点选后，屏幕的显示效果为：
“如图10所示，其是本发明一种助读方法实施例中的注释说明D示意图。”
且播放“日为太阳的意思”的语音。
本发明所述的方法，只要用户获取到文字图像，即可得到文字图像中的文字的文字拼音信息，使用户的助读不再受限于专门的助读设备和课本，降低了用户的使用门槛，能满足用户随时随地随心的使用需求；比如，用户在外出旅游时，只要提前用手机/平板电脑通过网络下载或拍摄并保存了课本或各类读物上的文字图像，那么在旅游的间隙，只要拿出手机/平板电脑即可享受到文字图像的助读信息，实现了随时随地的助读。
实施例二
参见图2，图2为阅读模式下，用户“不触碰屏幕+发声”的阅读时，本发明方法的流程图。
S201、获取文字图像，识别所述文字图像中的文字，调取所述文字对应的文字拼音信息。
S202、在所述文字图像中文字行距间空白处合成所述文字拼音信息，以得到新图像，在屏幕上显示所述新图像。
S203、实时采集外部声音。
步骤S203中，可以用MIC实时采集外部声音。
S204、判断所述外部声音是否为朗读发声，如果是，则执行S205；否则，返回S203。
步骤S204为，对步骤S203中采集到的声音做一判断，看采集到的声音是否为用户的朗读发声，避免对采集到的环境中的杂音进行误判。
S205、判断所述朗读发声是否正确，如果是，则执行S206；否则执行S207。
步骤S205为，对用户的朗读发声的发音判断，看用户是否有读错的文字。具体为：将用户朗读发声的发音与预置数据库中相应的标准内容进行比对，当所述朗读发声的发音与预置数据库中相应的标准内容相同时，则所述朗读发声正确；否则，所述朗读发声不正确。
例如，合成的新图像在屏幕上显示效果为：
“bai mao fu lv shui
白 毛 浮 绿 水
hong zhang bo qing bo
红 掌 拨 清 波”
如果用户朗读时，将“bo拨”读为“ba”，则
通过将用户朗读发声的发音“ba”与预置数据库中相应的标准内容“bo拨”进行比对时，发现所述朗读发声的发音与预置数据库中相应的标准内容不相同，则判断为所述朗读发声不正确。
S206、在屏幕上显示朗读正确的符号。
步骤S206，若所述朗读发声正确，则在所读文字段落的页边处显示“√”。
S207、显示朗读错误的符号，并对朗读错误的文字进行标记。
步骤S207中，若所述朗读发声不正确，则在所读文字段落的页边处显示“！”，并对朗读错误的文字进行标记。
例如，S205中所例，所述朗读发声不正确时，屏幕上显示效果为：
如图13所示，其是本发明一种助读方法实施例中的注释说明G示意图。
其中，“！”表示朗读发声不正确，“﹋”对朗读错误的“拨”进行标记。
S208、判断朗读错误的文字的标记是否被点选。
步骤S208中，在步骤S207中对朗读错误的文字进行标记，步骤S208中，若用户触碰该标记，则播放所述朗读错误的文字的标准语音信息，以纠正用户错误的朗读。
例如，判断朗读错误的“拨”的标记“﹋”是否被点选，若用户点选该标记“﹋”，则播放“拨”的标准语音信息“bo”，以纠正用户错误的朗读。
S209、若是，则播放所述朗读错误的文字对应的标准语音信息。
本发明所述的方法，只要用户获取到文字图像，即可得到文字图像中的文字的文字拼音信息，使用户的助读不再受限于专门的助读设备和课本，降低了用户的使用门槛，能满足用户随时随地随心的使用需求；比如，用户在外出旅游时，只要提前用手机/平板电脑通过网络下载或拍摄并保存了课本或读物上的文字图像，那么在旅游的间隙，拿出手机/平板电脑即可享受到文字图像的文字拼音信息，实现了随时随地的助读。
实施例三
实施例三为用户“触碰屏幕点选+发声”的阅读时的实施例。
本实施例中，用户“触碰屏幕点选”将触发实施例一种的S104，与此同 时，用户“发声”将触发实施例二中的S204-S209。S104与S204-S209均涉及显示相关内容和播放相关语音信息，即S104与S204-S209存在冲突。
在这种情况下，优先地选择S204-S209，即当用户“触碰屏幕+发声”的阅读时，以“发声纠正”为优先。
有两种方式可实现优先选择“发声纠正”以解决该冲突。
两种方式分别为：
1、定向收音，录音时的处理，例如，位置关系是：音响-->麦克风-->用户，麦克风优先处理正对范围内的声音。
2、录音后的处理，把收音模块收音到的内容，与刚才机器发声的声音进行匹配并过滤，分离出用户的发声。
这种情况下的流程为实施例二的流程，即本实施例的流程图参见图2。
二、朗读模式
朗读模式下，根据用户的使用习惯，有三种不同情况的实施例，分别为：1、“触碰屏幕点选+不发声”的朗读；2、“不触碰屏幕+发声”的朗读；3、“触碰屏幕点选+发声”的朗读；以下就这三种方式分别做一说明。
实施例四
参见图3，图3为朗读模式下，用户“触碰屏幕+不发声”的朗读时，本发明方法的流程图。
S301、获取文字图像，识别所述文字图像中的文字，调取所述文字对应的升降调、轻重音和停顿断句的标记符号。
步骤S301中，获取文字图像的方式可以为通过摄像头拍摄课本上的文字图像，识别所述文字图像中的文字，从预先存储有文字对应的助读信息的数据库中调取所述文字对应的升降调、轻重音和停顿断句的标记符号,该数 据库可以为本地数据库，也可以为通过有线或无线网络连接的网络数据库。
例如，拍摄到的文字图像为：
“我家门口有一棵小树。冬天到了，爷爷给小树穿上暖和的衣裳。小树不冷了。夏天到了，小树给爷爷撑开绿色的小伞。爷爷不热了。”(这段文字是以孩子的口吻写的，朗读时，要用轻快的语气去读，感受爷爷美好的心灵，感悟人与树之间的和谐关系，要表达出人和树互相关心的温馨之情。)
则，从预先存储有文字对应的助读信息的数据库中调取所述文字对应的升降调、轻重音和停顿断句的标记符号，为：
如图14所示，其是本发明一种助读方法实施例中的注释说明H示意图。
其中，“●”表示重音，“∣”表示停顿断句，表示升调，表示降调。
再例如，拍摄到的文字图像为：
“科利亚丢下铲子，坐在台阶上，用手摸着脑门想。突然他笑起来，对小伙伴们说：“我知道是怎么回事啦！木匣是我四年前埋的，那时候我还小，步子也小。我现在九岁啦，步子比那时候大了一倍，所以应该量的不是十步，而是五步。你们看，我马上会找到我的木匣子。”(朗读这段文字时，注意做好埋木匣----挖木匣----得到启示的转换处的停顿；语调起伏较大；语气中有肯定、有疑惑、有思考、有自信。“用手摸着脑门想”语调下滑，语速稍慢；而“我知道是怎么回事啦”语速稍快，语调上扬。这段文字中，很多对比性的词语要重读，总体语气要肯定而充满自信，语调上扬。)
则，从预先存储有文字对应的助读信息的数据库中调取所述文字对应的升降调、轻重音和停顿断句的标记符号，为：
“如图11所示，其是本发明一种助读方法实施例中的注释说明E示意 图。”
其中，起伏的曲线表示语调的升降、“●”表示重音，“/”表示停顿断句。
S302、在所述文字图像中文字行距间空白处合成所述文字的升降调、轻重音和停顿断句的标记符号，以得到新图像，在屏幕上显示所述新图像。
步骤S302中，将步骤S301中获取的文字图像与调取得到的文字的升降调、轻重音和停顿断句的标记符号合成新图像，在屏幕上显示该新图像。
例如，新图像：
如图15所示，其是本发明一种助读方法实施例中的注释说明I示意图。
在屏幕上显示该新图像。
再例如，新图像：
为：“如图12所示，其是本发明一种助读方法实施例中的注释说明F示意图。”
S303、判断用户是否通过触屏操作对显示的新图像中的内容有点选。
步骤S303中，判断用户是否通过触屏操作对显示的新图像中的内容有点选，本发明中所述的屏幕为可触碰屏幕，用户通过触碰屏幕实现对屏幕上显示的图像的选择和控制。
S304、若有，则识别出被点选的内容，播放所述内容的标准语音信息，并根据所述标准语音信息的节奏，在屏幕上逐字地显示出所述内容的播报进度标记，所述播报进度标记为文字下划线、文字底图颜色或者文字自身的颜色改变。
步骤S304中，当判断出用户点选新图像中的内容时，识别出被点选的内容，播放所述内容的标准语音信息，并根据所述标准语音信息的节奏，在 屏幕上逐字地显示出所述内容的播报进度标记，所述播报进度标记为文字下划线、文字底图颜色或者文字自身的颜色改变。其中，被触碰屏幕处的内容包括文字图像中的文字和所述文字对应的文字的升降调、轻重音和停顿断句的标记符号。
例如，被触碰的屏幕位置为：
如图16所示，其是本发明一种助读方法实施例中的注释说明J示意图。
则按本发明所述的方法，发音模块将按文字的升降调、轻重音和停顿断句的标记符号，播放“我家门口有一棵小树。冬天到了，爷爷给小树穿上暖和的衣裳。小树不冷了。夏天到了，小树给爷爷撑开绿色的小伞。爷爷不热了。”的标准语音信息，并根据所述标准语音信息的节奏，在屏幕上逐字地显示出所述内容的播报进度标记，所述播报进度标记为文字下划线、文字底图颜色或者文字自身的颜色，如语音播放到“冬”时，“冬”字变成红色；语音播放到“天”时，“天”字变成红色，以此类推。如如语音播放到“冬”时，“冬”字出现底图颜色；语音播放到“天”时，“天”字出现底图颜色，以此类推。
本发明所述的方法，只要用户获取到文字图像，即可得到文字图像中的文字的文字的升降调、轻重音和停顿断句的标记符号，使用户的助读不再受限于专门的助读设备和课本，降低了用户的使用门槛，能满足用户随时随地随心的使用需求；比如，用户在外出旅游时，只要提前用手机/平板电脑拍摄并保存了课本上的文字图像，那么在旅游的间隙，拿出手机/平板电脑即可享受到文字图像的文字拼音信息，实现了随时随地的助读。
实施例五
参见图4，图4为朗读模式下，用户“不触碰屏幕+发声”的朗读时，本 发明方法的流程图。
实施例五与实施例二类似，所以类似步骤的说明此处不再赘述。
S401、获取文字图像，识别所述文字图像中的文字，调取所述文字对应的升降调、轻重音和停顿断句的标记符号。
S402、在所述文字图像中文字行距间空白处合成所述文字的升降调、轻重音和停顿断句的标记符号，以得到新图像，在屏幕上显示所述新图像。
S403、实时采集外部声音。
S404、判断所述外部声音是否为朗读发声，如果是，则执行S405；否则，返回S403。
S405、判断所述朗读发声是否正确，如果是，则执行S406；否则执行S407。
步骤S405与步骤S205不同之处在于：步骤S205只对朗读发声的发音做判断；步骤S405对朗读发声的发音、升降调、轻重音和停顿断句综合判断。
步骤S405具体为：将朗读发声的发音、升降调、轻重音和停顿断句与预置数据库中相应的标准内容进行比对，当所述朗读发声的发音、升降调、轻重音和停顿断句均与预置数据库中相应的标准内容相同时，则所述朗读发声正确；否则，所述朗读发声不正确。
S406、在屏幕上显示朗读正确的符号。
S407、显示朗读错误的符号，并对朗读错误的文字进行标记。
S408、判断朗读错误的文字的标记是否被点选。
S409、若是，则播放所述朗读错误的文字对应的标准语音信息。
步骤S409与步骤S209不同之处在于：步骤S209播放所述朗读错误的 文字对应的标准语音信息中的标准语音信息只包含朗读的发音，例如播放“拨”的标准语音信息“bo”；步骤S409中的标准语音信息包含朗读发声的发音、升降调、轻重音和停顿断句，例如播放“冬天到了，爷爷给小树穿上暖和的衣裳”的标准语音信息为：
如图17所示，其是本发明一种助读方法实施例中的注释说明K示意图。
本发明所述的方法，只要用户获取到文字图像，即可得到文字图像中的文字的文字的升降调、轻重音和停顿断句的标记符号，使用户的助读不再受限于专门的助读设备和课本，降低了用户的使用门槛，能满足用户随时随地随心的使用需求；比如，用户在外出旅游时，只要提前用手机/平板电脑拍摄并保存了课本上的文字图像，那么在旅游的间隙，拿出手机/平板电脑即可享受到文字图像的文字拼音信息，实现了随时随地的助读。
实施例六
实施例六为用户“触碰屏幕点选+发声”的朗读时的实施例。
本实施例中，用户“触碰屏幕点选”将触发实施例一种的S304，与此同时，用户“发声”将触发实施例二中的S404-S409。S304与S404-S409均涉及显示相关内容和播放相关语音信息，即S304与S404-S409存在冲突。
在这种情况下，优先地选择S404-S409，即当用户“触碰屏幕点选+发声”的朗读时，以“发声纠正”为优先。
有两种方式可实现优先选择“发声纠正”以解决该冲突。
两种方式分别为：
1、定向收音，录音时的处理，例如，位置关系是：音响-->麦克风-->用户，麦克风优先处理正对范围内的声音。
2、录音后的处理，把收音模块收音到的内容，与刚才机器发声的声音 进行匹配并过滤，分离出用户的发声。
这种情况下的流程为实施例五的流程，即本实施例的流程图参见图4。
本发明所述的方法，只要用户获取到文字图像，即可得到文字图像中的文字的文字的升降调、轻重音和停顿断句的标记符号，使用户的助读不再受限于专门的助读设备和课本，降低了用户的使用门槛，能满足用户随时随地随心的使用需求；比如，用户在外出旅游时，只要提前用手机/平板电脑拍摄并保存了课本上的文字图像，那么在旅游的间隙，拿出手机/平板电脑即可享受到文字图像的文字拼音信息，实现了随时随地的助读。
实施例七
参见图5，一种基于屏幕显示的助读装置，包括：
拍摄模块501，用于获取文字图像。
数据处理模块502，用于识别所述文字图像中的文字，调取所述文字对应的第一助读信息；用于将所述文字图像与所述第一助读信息合成新图像；用于判断用户是否通过触屏操作对显示的新图像中的内容有点选。
显示模块503，用于显示所述新图像。
展示模块504，用于当判断用户通过触屏操作对显示的新图像中的内容有点选时，展示所述内容对应的第二助读信息。
实施例八
参见图6，一种基于屏幕显示的助读装置，包括：
拍摄模块601，用于获取文字图像。
数据处理模块602，用于识别所述文字图像中的文字，调取所述文字对应的第一助读信息；用于将所述文字图像与所述第一助读信息合成新图像；用于判断用户是否通过触屏操作对显示的新图像中的内容有点选；用于判断 所述外部声音是否为朗读发声，如果是，则判断所述朗读发声是否正确；否则，继续实时采集外部声音；用于判断朗读错误的文字的标记是否被点选。
显示模块603，用于显示所述新图像；用于如果判断所述朗读发声正确，则显示朗读正确的符号；如果判断所述朗读发声不正确，则显示朗读错误的符号，并对朗读错误的文字进行标记。
展示模块604，用于当判断用户通过触屏操作对显示的新图像中的内容有点选时，展示所述内容对应的第二助读信息。
收音模块605，用于实时采集外部声音。
发音模块606，用于当判断朗读错误的文字的标记被点选，则播放所述朗读错误的文字对应的标准语音信息。
实施例七和实施例八中：
当为阅读模式时，所述文字对应的第一助读信息为文字拼音信息；所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字拼音信息，以得到新图像；所述展示所述内容对应的第二助读信息，包括：在屏幕上所述内容的旁边位置处显示所述内容的释义和用法，播放所述释义和用法的语音信息。
当为朗读模式时，所述文字对应的第一助读信息为所述文字的升降调、轻重音和停顿断句的标记符号；所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字的升降调、轻重音和停顿断句的标记符号，以得到新图像；所述展示所述内容对应的第二助读信息，包括：播放所述内容的标准语音信息，并根据所述标准语音信息的节奏，在屏幕上逐字地显示出所述内容的播报进度标记，所述播报进度标记为文字下划线、文字底图颜色或者文字自身的颜色改变。
当为阅读模式时，只对朗读发声的发音做判断。
当为朗读模式时，对朗读发声的发音、升降调、轻重音和停顿断句综合判断。具体为：将朗读发声的发音、升降调、轻重音和停顿断句与预置数据库中相应的标准内容进行比对，当所述朗读发声的发音、升降调、轻重音和停顿断句均与预置数据库中相应的标准内容相同时，则所述朗读发声正确；否则，所述朗读发声不正确。
本发明所述的装置，只要获取到文字图像，即可显示文字图像和文字图像中的文字对应的第一助读信息；当本发明所述的装置的显示模块被触碰时，能展示文字图像中的文字对应的第二助读信息；只要有本发明所述的装置即可实现随时随地的助读，使用户的助读不再受限于专门的助读设备和课本，降低了用户的使用门槛，本发明所述的装置能满足用户随时随地随心的使用需求。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。
Claims (19)
1.一种基于屏幕显示的助读方法，其特征在于，包括：
获取文字图像，识别所述文字图像中的文字，调取所述文字对应的第一助读信息；
将所述文字图像与所述第一助读信息合成新图像，在屏幕上显示所述新图像；
判断用户是否通过触屏操作对显示的新图像中的内容有点选；
若有，则识别出被点选的内容，展示所述内容对应的第二助读信息。
2.根据权利要求1所述的一种基于屏幕显示的助读方法，其特征在于，所述文字图像包括行文字图像、段文字图像、章节文字图像、页文字图像中的一种或多种，当所述文字图像为页文字图像时，所述获取文字图像包括获取一页文字图像或连续获取多页文字图像。
3.根据权利要求2所述的一种基于屏幕显示的助读方法，其特征在于，若所述多页文字图像包括顺序页码，则多页文字图像按所述顺序页码排序并存储；若所述多页文字图像不包括顺序页码，则获取用户对不包括顺序页码的多页文字图像所编辑的顺序页码，以使多页文字图像具有对应的顺序页码，多页文字图像按所述顺序页码排序并保存。
4.根据权利要求2所述的一种基于屏幕显示的助读方法，其特征在于，将所述文字图像与所述第一助读信息合成新图像包括：
若所述多页文字图像包括顺序页码，则将多页文字图像与所述第一助读信息合成新图像，所述新图像按所述顺序页码排序并存储；
若所述多页文字图像不包括顺序页码，则将多页文字图像与所述第一助读信息合成新图像，并获取用户对不包括顺序页码的多页文字图像所编辑的顺序页码，所述新图像按所述顺序页码排序并存储。
5.根据权利要求1所述的一种基于屏幕显示的助读方法，其特征在于，所述文字对应的第一助读信息为文字拼音信息；
所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字拼音信息，以得到新图像。
6.根据权利要求5所述的一种基于屏幕显示的助读方法，其特征在于，所述展示所述内容对应的第二助读信息，包括：在屏幕上所述内容的旁边位置处显示所述内容的释义和用法，播放所述释义和用法的语音信息。
7.根据权利要求1所述的一种基于屏幕显示的助读方法，其特征在于，所述文字对应的第一助读信息为所述文字的升降调、轻重音和停顿断句的标记符号；
所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字的升降调、轻重音和停顿断句的标记符号，以得到新图像。
8.根据权利要求7所述的一种基于屏幕显示的助读方法，其特征在于，所述展示所述内容对应的第二助读信息，包括：播放所述内容的标准语音信息，并根据所述标准语音信息的节奏，在屏幕上逐字地显示出所述内容的播报进度标记。
9.根据权利要求8所述的一种基于屏幕显示的助读方法，其特征在于，所述播报进度标记为文字下划线、文字底图颜色或者文字自身的颜色改变。
10.根据权利要求1所述的一种基于屏幕显示的助读方法，其特征在于，所述方法还包括：
实时采集外部声音；
判断所述外部声音是否为朗读发声，如果是，则判断所述朗读发声是否正确；否则，继续实时采集外部声音；
判断所述朗读发声是否正确，如果是，则在屏幕上显示朗读正确的符号；否则，显示朗读错误的符号，并对朗读错误的文字进行标记；
判断朗读错误的文字的标记是否被点选，若是，则播放所述朗读错误的文字对应的标准语音信息。
11.根据权利要求10所述的一种基于屏幕显示的助读方法，其特征在于，所述判断所述朗读发声是否正确，具体为：将朗读发声的发音、升降调、轻重音和停顿断句与预置数据库中相应的标准内容进行比对，当所述朗读发声的发音、升降调、轻重音和停顿断句均与预置数据库中相应的标准内容相同时，则所述朗读发声正确；否则，所述朗读发声不正确。
12.一种基于屏幕显示的助读装置，其特征在于，包括：
拍摄模块，用于获取文字图像；
数据处理模块，用于识别所述文字图像中的文字，调取所述文字对应的第一助读信息；用于将所述文字图像与所述第一助读信息合成新图像；
显示模块，用于显示所述新图像；
数据处理模块，用于判断用户是否通过触屏操作对显示的新图像中的内容有点选；
展示模块，用于当判断用户通过触屏操作对显示的新图像中的内容有点选时，展示所述内容对应的第二助读信息。
13.根据权利要求12所述的一种基于屏幕显示的助读装置，其特征在于，所述文字对应的第一助读信息为文字拼音信息；
所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字拼音信息，以得到新图像。
14.根据权利要求13所述的一种基于屏幕显示的助读装置，其特征在于，所述展示所述内容对应的第二助读信息，包括：在显示模块上所述内容的旁边位置处显示所述内容的释义和用法，播放所述释义和用法的语音信息。
15.根据权利要求12所述的一种基于屏幕显示的助读装置，其特征在于，所述文字对应的第一助读信息为所述文字的升降调、轻重音和停顿断句的标记符号；
所述将所述文字图像与所述第一助读信息合成新图像，具体为：在所述文字图像中文字行距间空白处合成所述文字的升降调、轻重音和停顿断句的标记符号，以得到新图像。
16.根据权利要求15所述的一种基于屏幕显示的助读装置，其特征在于，所述展示所述内容对应的第二助读信息，包括：播放所述内容的标准语音信息，并根据所述标准语音信息的节奏，在显示模块上逐字地显示出所述内容的播报进度标记。
17.根据权利要求16所述的一种基于屏幕显示的助读装置，其特征在于，所述播报进度标记为文字下划线、文字底图颜色或者文字自身的颜色改变。
18.根据权利要求12所述的一种基于屏幕显示的助读装置，其特征在于，所述装置还包括：
收音模块，用于实时采集外部声音；
数据处理模块，用于判断所述外部声音是否为朗读发声，如果是，则判断所述朗读发声是否正确；否则，继续实时采集外部声音；
显示模块，用于如果判断所述朗读发声正确，则显示朗读正确的符号；如果判断所述朗读发声不正确，则显示朗读错误的符号，并对朗读错误的文字进行标记；
数据处理模块，用于判断朗读错误的文字的标记是否被点选；
发音模块，用于当判断朗读错误的文字的标记被触碰，则播放所述朗读错误的文字对应的标准语音信息。
19.根据权利要求18所述的一种基于屏幕显示的助读装置，其特征在于，所述判断所述朗读发声是否正确，具体为：将朗读发声的发音、升降调、轻重音和停顿断句与预置数据库中相应的标准内容进行比对，当所述朗读发声的发音、升降调、轻重音和停顿断句均与预置数据库中相应的标准内容相同时，则所述朗读发声正确；否则，所述朗读发声不正确。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410026131.7A CN104008088B (zh) | 2014-01-20 | 2014-01-20 | 一种基于屏幕显示的助读方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410026131.7A CN104008088B (zh) | 2014-01-20 | 2014-01-20 | 一种基于屏幕显示的助读方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104008088A true CN104008088A (zh) | 2014-08-27 |
| CN104008088B CN104008088B (zh) | 2017-03-15 |
Family
ID=51368747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410026131.7A Active CN104008088B (zh) | 2014-01-20 | 2014-01-20 | 一种基于屏幕显示的助读方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104008088B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731327A (zh) * | 2015-03-21 | 2015-06-24 | 苏州乐聚一堂电子科技有限公司 | 手持智能电子设备信息表现方法 |
| CN107885483A (zh) * | 2017-11-07 | 2018-04-06 | 广东欧珀移动通信有限公司 | 音频信息的校验方法、装置、存储介质及电子设备 |
| CN108089836A (zh) * | 2017-12-29 | 2018-05-29 | 上海与德科技有限公司 | 一种基于机器人的辅助学习方法及机器人 |
| CN109344274A (zh) * | 2018-08-21 | 2019-02-15 | 深圳市致远优学教育科技有限公司 | 基于图片识别的教育资源定位系统及方法 |
| TWI687804B (zh) * | 2018-12-10 | 2020-03-11 | 亞東技術學院 | 發音錯誤檢測與矯正系統及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1333501A (zh) * | 2001-07-20 | 2002-01-30 | 北京捷通华声语音技术有限公司 | 一种动态汉语语音合成方法 |
| US20060173859A1 (en) * | 2004-12-30 | 2006-08-03 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting context and providing information based on context in multimedia communication system |
| CN101118594A (zh) * | 2006-08-03 | 2008-02-06 | 深圳市易方数码科技有限公司 | 便携式图像识别装置 |
| CN103020184A (zh) * | 2012-11-29 | 2013-04-03 | 北京百度网讯科技有限公司 | 使用拍摄图像获取搜索结果的方法和系统 |
| CN103050025A (zh) * | 2012-12-20 | 2013-04-17 | 广东欧珀移动通信有限公司 | 一种移动终端的学习方法及其学习系统 |
-
2014
- 2014-01-20 CN CN201410026131.7A patent/CN104008088B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1333501A (zh) * | 2001-07-20 | 2002-01-30 | 北京捷通华声语音技术有限公司 | 一种动态汉语语音合成方法 |
| US20060173859A1 (en) * | 2004-12-30 | 2006-08-03 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting context and providing information based on context in multimedia communication system |
| CN101118594A (zh) * | 2006-08-03 | 2008-02-06 | 深圳市易方数码科技有限公司 | 便携式图像识别装置 |
| CN103020184A (zh) * | 2012-11-29 | 2013-04-03 | 北京百度网讯科技有限公司 | 使用拍摄图像获取搜索结果的方法和系统 |
| CN103050025A (zh) * | 2012-12-20 | 2013-04-17 | 广东欧珀移动通信有限公司 | 一种移动终端的学习方法及其学习系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731327A (zh) * | 2015-03-21 | 2015-06-24 | 苏州乐聚一堂电子科技有限公司 | 手持智能电子设备信息表现方法 |
| CN107885483A (zh) * | 2017-11-07 | 2018-04-06 | 广东欧珀移动通信有限公司 | 音频信息的校验方法、装置、存储介质及电子设备 |
| CN107885483B (zh) * | 2017-11-07 | 2021-03-02 | Oppo广东移动通信有限公司 | 音频信息的校验方法、装置、存储介质及电子设备 |
| CN108089836A (zh) * | 2017-12-29 | 2018-05-29 | 上海与德科技有限公司 | 一种基于机器人的辅助学习方法及机器人 |
| CN109344274A (zh) * | 2018-08-21 | 2019-02-15 | 深圳市致远优学教育科技有限公司 | 基于图片识别的教育资源定位系统及方法 |
| CN109344274B (zh) * | 2018-08-21 | 2021-09-28 | 深圳市致远优学教育科技有限公司 | 基于图片识别的教育资源定位系统及方法 |
| TWI687804B (zh) * | 2018-12-10 | 2020-03-11 | 亞東技術學院 | 發音錯誤檢測與矯正系統及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104008088B (zh) | 2017-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109618222B (zh) | 一种拼接视频生成方法、装置、终端设备及存储介质 | |
| Wong et al. | Vocabulary learning by mobile‐assisted authentic content creation and social meaning‐making: two case studies | |
| CN103914996B (zh) | 一种从图片获取文字学习资料的方法和装置 | |
| CN105702103B (zh) | 一种基于镜片反射的数字识别处理系统实现方法 | |
| CN101425054A (zh) | 一种中文学习系统 | |
| CN104008088B (zh) | 一种基于屏幕显示的助读方法及装置 | |
| CN104021326B (zh) | 一种外语教学方法与外语教具 | |
| CN103745214A (zh) | 一种字符的识别方法和识别设备 | |
| CN108665764A (zh) | 一种通过阅读设备进行阅读的方法与设备 | |
| Artamonova et al. | Smartphone-based language practices among refugees: mediational repertoires in two families | |
| CN102402869A (zh) | 多功能学习机实现对古兰经和日常祈祷词的复读方法 | |
| CN110276633A (zh) | 基于在线教育的广告投放方法、系统、设备及存储介质 | |
| CN103824480B (zh) | 一种助读方法及装置 | |
| Daugaard | Mother tongue teaching as a tension-filled language ideological practice | |
| Lhawa | Language revitalization, video, and mobile social media: A case study from the Khroskyabs language amongst Tibetans in China | |
| Lüpke | The writing’s on the wall: Spaces for language-independent and language-based literacies | |
| CN102662497A (zh) | 带屏多功能点读笔与实现古兰经的导读方法 | |
| KR20210044328A (ko) | 게임 기반의 외국어 단어 학습 어플리케이션 제공 방법 | |
| Tiwari et al. | E-learning tool for Japanese language learning through English, Hindi and Tamil: A computer assisted language learning (CALL) based approach | |
| Low | English in East and South Asia in the post-Kachruvian era | |
| CN205730269U (zh) | 一种电子棋盘组件 | |
| Moroz | App assisted language learning: How students perceive Japanese smartphone apps | |
| CN109933762B (zh) | 一种课件制作方法、装置、设备和存储介质 | |
| CN202694605U (zh) | 带屏的多功能古兰经点读笔 | |
| CN207764990U (zh) | 一种新型的汉语拼音拼读装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |