CN114758211A - 辅助学习方法、存储介质及辅助学习装置 - Google Patents

辅助学习方法、存储介质及辅助学习装置 Download PDF

Info

Publication number
CN114758211A
CN114758211A CN202011579990.0A CN202011579990A CN114758211A CN 114758211 A CN114758211 A CN 114758211A CN 202011579990 A CN202011579990 A CN 202011579990A CN 114758211 A CN114758211 A CN 114758211A
Authority
CN
China
Prior art keywords
user
learning
module
text
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011579990.0A
Other languages
English (en)
Inventor
谭智豪
黄正宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingfisher Vision Technology Co ltd
Original Assignee
Beijing Kingfisher Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingfisher Vision Technology Co ltd filed Critical Beijing Kingfisher Vision Technology Co ltd
Priority to CN202011579990.0A priority Critical patent/CN114758211A/zh
Publication of CN114758211A publication Critical patent/CN114758211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开一种辅助学习方法，包括对任选文字视野进行图像采集；将文字视野的采集图像经由字符识别后显示给用户；根据用户选择的文字，显示与文字相关的动画。本发明还公开了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明的辅助学习方法；本发明还提供一种电子设备，包括图像采集模块、计算模块、交互模块和显示模块，计算模块包括用于执行本发明的计算机程序的存储介质。根据本发明的视力辅助方法、存储介质和电子设备可以在用户阅读和学习时，任意选择阅读或学习内容，并对选择的文字显示相关的动画，便捷、有效地辅助用户阅读和学习，提高学习效率。

Description

辅助学习方法、存储介质及辅助学习装置
技术领域
本发明涉及智能显示技术领域，更具体地，涉及辅助学习方法。本发明还涉及存储有实现该方法的程序的存储介质及使用该方法的辅助学习装置。
背景技术
对于低视力用户而言，除阅读文字存在困难外，更大的挑战在于书写文字。由于视力有限，很多低视力用户并未认真学习过如何写字，有些甚至不会写字，这给其生活带来了诸多不便。然而，当前鲜有专门考虑低视力用户学习写字需求的硬件和软件，从而缺少对低视力用户在学习写字场景下的支持。并且，不同的低视力用户对于学习写字的需求各异，有些用户期望系统地进行学习，例如儿童等，而有些用户则期望选择性地进行学习，例如已掌握部分文字的书写，或精力、时间不足等。
因此，需要开发相关的辅助低视力用户学习写字的相关方法和产品，从而在低视力用户学习写字时给予更便捷、有效的辅助，同时需要兼顾相关方法和产品的普适性和灵活性，适合不同用户的学习需求。
发明内容
本发明的目的是通过提供一种辅助学习方法、存储有实现该方法的程序的存储介质及使用该方法的辅助学习装置，来至少缓解或解决上述问题。
根据本发明的一个方面，提供一种辅助学习方法，包括：
对任选文字视野进行图像采集；
将所述文字视野的采集图像经由字符识别后显示给用户；
根据用户选择的文字，显示与所述文字相关的动画。
优选地，所述动画包括提供所述文字的拼音、字义或书写演示。
优选地，所述方法还包括呈现用户对所述文字的临摹书写过程。
优选地，所述书写演示包括笔顺的标示和每一笔画颜色的依次填充。
优选地，所述文字视野的采集图像经由字符识别后至少部分放大地显示。
优选地，所述任选文字视野为具有用户任选内容的纸质或电子文字视野。
根据本发明的另一方面，提供一种存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上所述的辅助学习方法。
根据本发明的又一方面，提供一种辅助学习装置，包括：
图像采集模块，用于对文字视野进行图像采集；
计算模块，与所述图像采集模块连接，包括前面所述的存储介质，并且用于执行所述存储介质上存储的计算机程序；
交互模块，配置为连接到所述计算模块；
显示模块，与所述计算模块连接，用于显示识别的文字；
其中，在所述显示模块显示识别的文字后，用户通过所述交互模块选择文字并触发所述文字的演示动画，进行对所选文字的学习。
优选地，所述显示模块还用于显示用户对所选文字的临摹书写过程。
优选地，所述交互模块包括触摸感应器或输入控制器，用于选择识别的文字。
优选地，所述装置还包括放大模块，所述放大模块连接到所述显示模块，用于将识别的文字至少部分放大地呈现给用户，以及将所述动画放大地演示。
优选地，所述装置还包括固定支撑装置，用于将所述显示模块保持在用户眼睛与所述文字视野之间，并且朝向用户显示图像。
优选地，所述固定支撑装置为支架或头戴装置。
优选地，所述显示模块为平板电脑显示设备或眼镜显示设备。
优选地，所述图像采集模块为摄像头。
通过本发明所提供的辅助学习方法、存储介质和辅助学习装置，可以在用户阅读和学习时，任意选择阅读或学习内容，并对选择的文字显示相关的动画，便捷、有效地辅助用户阅读和学习，提高学习效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是根据本发明的辅助学习方法的流程图；
图2是根据本发明的辅助学习方法的一个实施例的示意图；
图3是根据本发明的辅助学习方法的另一实施例的示意图；
图4是根据本发明的辅助学习装置的示意图；
图5是根据本发明的辅助学习装置的一个实施例的示意图；
图6是根据本发明的辅助学习装置的另一实施例的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
本发明的辅助学习方法主要用于在用户进行阅读和学习时提供学习辅助。
用户在通过电子工具进行阅读或学习的过程中，通常阅读或学习内容受限于电子工具中存储的阅读或学习内容。而且，一旦遇到不会读或不会写的字，如果还需借助其它工具，则会有一些不便，尤其对于低视力用户，难度更大，这样势必造成学习效率低下。
图1是根据本发明的辅助学习方法的流程图，显示了本发明的辅助学习方法的原理。辅助学习方法总体以100标识，包括步骤S110,S120和S130。在S110中，本发明的辅助学习方法对任选文字视野进行图像采集；在S120中，将文字视野的采集图像经由字符识别后显示给用户；在S130中，根据用户选择的文字，显示与文字相关的动画。
在S110中，文字视野是指任何包含文字且能进行视觉观察的媒介，包括书籍、报刊等纸质媒介，也包括显示文字的电子书、电子招牌、电视、电脑等电子媒介。本发明首先将用户所选的文字视野进行图像采集，将其转变为电子图像。
在S120中，对采集的图像中的文字图像进行字符识别，识别出包括在字库中的所有文字，字库中还包括与所有文字相关的拼音、字义、书写动画等内容。采集的图像进行字符识别后显示给用户，一方面给用户提供对任意文字进行字符识别的可能，另一方面，可将识别的文字中被选择的文字和字库中的相应文字进行匹配。
在S130中，根据用户所选择的文字，显示与文字相关的动画，与文字相关的动画可以包括用户所选择的文字的拼音、字义、书写演示、不同字体、文字衍生历史由来等信息，从而能够辅助用户阅读和学习书写。
由此可见，根据本发明的学习辅助方法，用户可根据需要任选文字视野，同时为用户阅读和学习所选择的文字视野提供辅助，由此为用户的阅读和学习内容的选择提供了灵活性，同时使得对用户的学习辅助更便捷、有效，且具有普适性。
图2是根据本发明的辅助学习方法的一个实施例的示意图。图2中显示了根据本发明的辅助学习方法经过图像采集和字符识别后，按顺序显示的三帧显示图像(2a)，(2b)和(2c)。这三帧图像中，每一帧都包括字符识别后的显示图像区域101，和动画演示区域102。显示区域101显示了文字视野的采集图像经字符识别后的文字显示，其中，用户在文字显示中选取了文字“千”1011。在显示图像(2a)的动画演示区域102中，显示了用户选取的文字“千”1011的拼音1021，以及书写时笔顺的第一笔画1022，在显示图像(2b)的动画演示区域102中，显示了用户选取的文字“千”1011的拼音1021，以及书写时笔顺的第二笔画1022，显示图像(2c)的动画演示区域102中，显示了用户选取的文字“千”1011的拼音1021，以及书写时笔顺的第三笔画1022。用户通过观看该动画演示，可以学习所选文字的读音及书写过程。
图3是根据本发明的辅助学习方法的另一个实施例的示意图。图3中显示了根据本发明的辅助学习方法经过图像采集和字符识别后，按顺序显示的三帧显示图像(3a)，(3b)和(3c)。这三帧图像中，每一帧都包括字符识别后的显示图像区域201，动画演示区域202，和临摹书写区域203。显示区域201显示了文字视野的采集图像经字符识别后的文字显示，其中，用户在文字显示中选取了文字“千”2011。在显示图像(3a)的动画演示区域202中，在用户选取的文字“千”2011书写时笔顺的第一笔画处以动画形式显示笔画序号1，同时在临摹书写区域203显示用户临摹书写的该第一笔画2031，在显示图像(3b)的动画演示区域202中，在用户选取的文字“千”2011书写时笔顺的第二笔画处以动画形式显示笔画序号2，同时在临摹书写区域203显示用户临摹书写的该第一笔画和第二笔画2031，显示图像(3c)的动画演示区域202中，在用户选取的文字“千”2021书写时的第三笔画处以动画形式显示笔画序号3，同时在临摹书写区域203显示用户临摹书写的该第一笔画、第二笔画和第三笔画2031。
图3中所示的根据本发明的辅助学习方法的实施例与图2中所示的根据本发明的辅助学习方法的实施例的主要区别在于，还包括临摹书写区域203，该实施例中，同时显示用户所选择的文字的书写演示等内容的动画和用户的临摹书写过程，可以进一步帮助用户学习书写。
根据本发明的辅助学习方法中，所选文字的书写演示不限于图2和图3所示，还可以在书写演示时，先勾勒一个文字的边框，然后按照笔画顺序对每一笔画进行颜色的依次填充，还可以在动画演示时以动画形式标示文字笔画走向等，只要能够帮助用户学习文字书写的即可。图3中所示的临摹书写过程还可以包括田字格等辅助书写的辅助标线。
本发明中的文字视野采集图像经字符识别后的显示图像可以至少部分放大地显示，例如在图2和图3所示的实施例中，在文字显示区域101和102中直接显示经字符识别后且放大的文字显示，这样更方便低视力用户使用。
根据本发明的视力辅助方法可实现为一种存储介质，其上存储有计算机程序，在该程序被处理器执行时，实现根据本发明的视力辅助方法。本发明的存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。存储介质的更具体的例子(非穷举的列表)包括：硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
图4是根据本发明的辅助学习装置的示意图。如图4所示，实现根据本发明的辅助学习方法的辅助学习装置总体以1标识，包括图像采集模块11，用于对任选文字视野进行图像采集；计算模块12，与图像采集模块11连接，并且包括OCR模块，可识别由图像采集模块11采集的图像中的文字，计算模块12中包括存储介质，存储有计算机程序，在该程序被计算模块12的处理器执行时，实现根据本发明的视力辅助方法；显示模块13，同样连接到计算模块12，用于显示识别的文字；交互模块14，连接到计算模块12，在显示模块13显示识别的文字后，用户通过交互模块14选择文字并触发该文字的演示动画，进行对所选文字的学习；和字库15，连接到计算模块12，在OCR模块识别出采集图像中的文字信息后，计算模块12还将文字信息与字库15中的文字相关联，字库15中还包括与文字相关的动画演示。
这里交互模块14与显示模块13可分开配置，也可一体化设置。一体化设置时，交互模块14可以是包括触摸感应器的触摸屏的形式。分开配置时，交互模块14可以是鼠标、操纵摇杆、键盘等输入控制器的形式。
显示模块13还可显示用户对所选文字的临摹书写过程，如图2和图3中所示。
根据本发明的辅助学习装置1在使用时，首先由图像采集模块11采集用户选择的文字视野的图像并发送至计算模块12；计算模块12通过OCR模块识别该图像中的文字信息并经由显示模块13输出；此时，用户根据显示模块13输出的文字信息，操作交互模块14选择期望学习书写的文字；其后，计算模块12将用户选定的文字发送至字库单元15；最后，字库单元15调用预设的动画演示文件，在显示模块13上演示该文字的书写过程。
本发明所提供的辅助学习装置1还可以包括放大模块16，放大模块16连接到显示模块13和计算模块12，用于将识别的文字至少部分放大地呈现给用户，和/或将动画放大地演示。
辅助学习装置1还可包括固定支撑装置，至少用于将显示模块保持在用户眼睛和书写平面之间，并且朝向用户显示书写平面图像，这样可以在用户书写时支撑电子设备，方便用户使用。
图5是根据本发明的辅助学习装置的一个实施例的示意图。辅助学习装置总体以1标示，包括平板电脑10和固定支撑装置20。平板电脑10包括作为显示模块13的显示屏，作为固定支撑装置20的支架将显示模块13支撑在文字视野3上方，位于文字视野3和用户的眼睛之间。平板电脑10上还集成有作为图像采集模块11的摄像头，摄像头用于采集书写平面3的实时图像，设置在平板电脑10朝下的一侧，即平板电脑10的背面，显示模块13将图像采集模块11采集的文字视野3的采集图像显示在文字显示区域101中，在文字显示区域101的右侧，还显示了包含用户所选文字的动画演示区域102和临摹书写区域103，这样用户在显示模块13上不仅能看到文字显示区域101中的经字符识别后的文字显示，还可以在动画演示区域102中看到所选的文字的相关动画，以及在临摹书写区域103中看到临摹书写过程，使用户可以较为便捷、有效地学习文字的书写方法。
图6是根据本发明的辅助学习装置的另一个实施例的示意图。图6中辅助学习装置总体以1'标示，包括眼镜主体10'和作为支撑装置20'的镜腿，镜腿将眼镜主体10'支撑在用户的头部，位于书写平面3'和用户的眼睛之间。眼镜主体10'包括作为显示模块13'的成像显示装置，和作为图像采集模块11'的摄像头，摄像头用于采集文字视野3的图像，显示模块13'将由图像采集模块11'采集的文字视野3'的采集图像显示在文字显示区域101'中，在文字显示区域101'的右侧，还显示了包含用户所选文字的动画演示区域102'和临摹书写区域103'，这样用户在显示图像上不仅能看到文字显示区域101中的经字符识别后的文字显示，还可以在动画演示区域102中看到所选的文字的相关动画，以及在临摹书写区域103中看到临摹书写过程，使用户可以较为便捷、有效地学习文字的书写方法
为了扩大采集的实时图像范围，图5和图6中所示的摄像头21可以是广角摄像头。
根据本发明的辅助学习方法、存储介质和辅助学习装置，可以在用户阅读和学习书写时，任意选择阅读或学习内容，并对选择的文字显示相关的动画，便捷、有效地辅助用户阅读和学习书写，提高学习效率。本发明还可通过对显示图像进行放大显示，尤其适用于低视力用户。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种辅助学习方法，包括：
对任选文字视野进行图像采集；
将所述文字视野的采集图像经由字符识别后显示给用户；
根据用户选择的文字，显示与所述文字相关的动画。
2.根据权利要求1所述的辅助学习方法，其中，所述动画包括提供所述文字的拼音、字义或书写演示。
3.根据权利要求2所述的辅助学习方法，其中，所述方法还包括呈现用户对所述文字的临摹书写过程。
4.根据权利要求2所述的辅助学习方法，其中，所述书写演示包括笔顺的标示和每一笔画颜色的依次填充。
5.根据权利要求1所述的辅助学习方法，其中，所述文字视野的采集图像经由字符识别后至少部分放大地显示。
6.根据权利要求1-5中任一项所述的辅助学习方法，其中，所述任选文字视野为具有用户任选内容的纸质或电子文字视野。
7.一种存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-6中任一项所述的辅助学习方法。
8.一种辅助学习装置，包括：
图像采集模块，用于对文字视野进行图像采集；
计算模块，与所述图像采集模块连接，包括如权利要求7所述的存储介质，并且用于执行所述存储介质上存储的计算机程序；
交互模块，配置为连接到所述计算模块；
显示模块，与所述计算模块连接，用于显示识别的文字；
其中，在所述显示模块显示识别的文字后，用户通过所述交互模块选择文字并触发所述文字的演示动画，进行对所选文字的学习。
9.根据权利要求8所述的辅助学习装置，其中，所述显示模块还用于显示用户对所选文字的临摹书写过程。
10.根据权利要求9所述的辅助学习装置，其中，所述交互模块包括触摸感应器或输入控制器，用于选择识别的文字。
11.根据权利要求10所述的辅助学习装置，其中，所述装置还包括放大模块，所述放大模块连接到所述显示模块，用于将识别的文字至少部分放大地呈现给用户，以及将所述动画放大地演示。
12.根据权利要求11所述的辅助学习装置，其中，所述装置还包括固定支撑装置，用于将所述显示模块保持在用户眼睛与所述文字视野之间，并且朝向用户显示图像。
13.根据权利要求12所述的辅助学习装置，其中，所述固定支撑装置为支架或头戴装置。
14.根据权利要求13所述的辅助学习装置，其中，所述显示模块为平板电脑显示设备或眼镜显示设备。
15.根据权利要求14所述的辅助学习装置，其中，所述图像采集模块为摄像头。
CN202011579990.0A 2020-12-28 2020-12-28 辅助学习方法、存储介质及辅助学习装置 Pending CN114758211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011579990.0A CN114758211A (zh) 2020-12-28 2020-12-28 辅助学习方法、存储介质及辅助学习装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011579990.0A CN114758211A (zh) 2020-12-28 2020-12-28 辅助学习方法、存储介质及辅助学习装置

Publications (1)

Publication Number Publication Date
CN114758211A true CN114758211A (zh) 2022-07-15

Family

ID=82324587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011579990.0A Pending CN114758211A (zh) 2020-12-28 2020-12-28 辅助学习方法、存储介质及辅助学习装置

Country Status (1)

Country Link
CN (1) CN114758211A (zh)

Similar Documents

Publication Publication Date Title
US9165185B2 (en) Optical character recognition of text in an image according to a prioritized processing sequence
US8944824B2 (en) Multi-modal learning system
TWI291139B (en) Enhanced readability with flowed bitmaps
JP4759638B2 (ja) リアルタイムなカメラ辞書
JPH1078845A (ja) 視標追跡主導型テキスト拡大の方法および装置
JPH10133809A (ja) 視標追跡駆動キャプション付与方法および装置
JPH10133810A (ja) 視標追跡駆動情報検索方法および装置
EP1874025A3 (en) Image processing apparatus, image processing method, and storage medium
JP2016530562A (ja) 暗点を生じさせる網膜疾患に罹患した個人の視覚的探索を支援する方法
US6140913A (en) Apparatus and method of assisting visually impaired persons to generate graphical data in a computer
Cantoni et al. A multi-sensory approach to cultural heritage: the battle of Pavia exhibition
US20040191731A1 (en) Paper document-based assistive technologies for the visually impaired
CN114758211A (zh) 辅助学习方法、存储介质及辅助学习装置
EP2092743A2 (en) Distance camera having a memory module
JP6760711B2 (ja) 表示システム及び表示方法
Blenkhorn et al. Full-screen magnification for windows using DirectX overlays
Hirayama A book reading magnifier for low vision persons on smartphones and tablets
Brinker et al. Reading with magnifiers
Krohn et al. Construction of an inexpensive eye tracker for social inclusion and education
CN114690885A (zh) 视力辅助方法、存储介质及电子设备
JPH08297542A (ja) 視力障害者対応機能付き端末装置およびタブレット
Vanderheiden et al. Development of a multisensory nonvisual interface to computers for blind users
JP7172218B2 (ja) 記入支援装置、及び、プログラム
NL1020440C2 (nl) Werkwijze en stelsel voor het visueel terugkoppelen van interacties tussen een invoerorgaan en een dataverzameling.
JP4923134B2 (ja) リアルタイムなカメラ辞書

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination