CN110673729A - 一种基于终端的点读方法、系统及存储介质 - Google Patents

一种基于终端的点读方法、系统及存储介质 Download PDF

Info

Publication number
CN110673729A
CN110673729A CN201910902846.7A CN201910902846A CN110673729A CN 110673729 A CN110673729 A CN 110673729A CN 201910902846 A CN201910902846 A CN 201910902846A CN 110673729 A CN110673729 A CN 110673729A
Authority
CN
China
Prior art keywords
terminal
point
eyeballs
reading
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910902846.7A
Other languages
English (en)
Inventor
王冕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yinuo Communication Co Ltd
Original Assignee
Guangdong Yinuo Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Yinuo Communication Co Ltd filed Critical Guangdong Yinuo Communication Co Ltd
Priority to CN201910902846.7A priority Critical patent/CN110673729A/zh
Publication of CN110673729A publication Critical patent/CN110673729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供的一种基于终端的点读方法、系统及存储介质，其中，所述点读方法包括触发获取指令，获取欲朗读的文献，并在所述显示屏上显示；识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹；根据捕捉到的用户的眼球，在所述显示屏上生成光标，所述光标根据所述眼球的运动轨迹移动；触发点读指令，朗读所述光标位置的文献。本发明通过捕捉用户眼球，生成光标，确定欲朗读的语句，触发点读指令，朗读欲朗读的语句，具有操作方便，提升用户体验。

Description

一种基于终端的点读方法、系统及存储介质
技术领域
本发明属于电子点读技术领域，尤其涉及一种根据实时场景自动调节 灯光亮度和色温的基于终端的点读方法、系统及存储介质。
背景技术
目前的点读设备多基于标签点读。标签代表一个语句，然后点读笔识 别标签后会读出标签对应的语句。这种技术存在以下缺点：太麻烦，每次 要给对应的语句贴标签；兼容性差，没有标签就没法读，只能读固定读物 的外语。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于终端 的点读方法、系统及存储介质，旨在解决现有技术中文献点读程序繁琐和 兼容性差的问题。
为了达到上述目的，本发明采取了以下技术方案：
一种基于终端的点读方法，应用于终端，所述终端包括处理器、后置 摄像头、显示屏、前置摄像头和扬声器，所述方法包括：
触发获取指令，获取欲朗读的文献，并在所述显示屏上显示；
识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹；
根据捕捉到的用户的眼球，在所述显示屏上生成光标，所述光标根据 所述眼球的运动轨迹移动；
触发点读指令，朗读所述光标位置的文献。
在一些实施例中，所述在所述显示屏上生成光标包括捕捉到的用户的 眼球在注视点上停留预定时间，生成所述光标，并生成点读指令。
在一些实施例中，所述朗读所述光标位置的文献包括以注视点为基准 向所述注视点的左、右、上、下延伸，捕捉到以所述注视点为基准首尾两 端的标点符号，朗读所述首尾两端的标点符号之间的文献。
在一些实施例中，所述获取欲朗读的文献包括终端内预存的文献、终 端搜索到的文献以及摄像头拍摄的文献。
在一些实施例中，所述文献的文字种类包括中文和外文。
在一些实施例中，还包括翻译后朗读。
根据本发明公开实施例的另一方面，本发明还提供一种基于终端的点 读系统，应用于终端，所述终端包括处理器、后置摄像头、显示屏、前置 摄像头和扬声器，所述系统包括：
获取模块，用于获取欲朗读的文献，并在所述显示屏上显示；
识别模块，用于识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹；
生成模块，用于根据捕捉到的用户的眼球，在所述显示屏上生成光标， 所述光标根据所述眼球的运动轨迹移动；
点读模块，触发后朗读所述光标位置的文献。
在一些实施例中，还包括：翻译模块，用于翻译欲朗读的文献。
根据本发明公开实施例的另一方面，本发明还提供一种存储介质，所 述存储介质存储有基于终端的点读程序，该程序被处理器执行时实现上述 任意一个实施例所述的方法。
与现有技术相比，本发明的有益效果：
本发明提供的一种基于终端的点读方法、系统及存储介质，其中，所 述点读方法包括触发获取指令，获取欲朗读的文献，并在所述显示屏上显 示；识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹；根据捕捉到的 用户的眼球，在所述显示屏上生成光标，所述光标根据所述眼球的运动轨 迹移动；触发点读指令，朗读所述光标位置的文献。本发明通过捕捉用户 眼球，生成光标，确定欲朗读的语句，触发点读指令，朗读欲朗读的语句， 具有操作方便，提升用户体验。
附图说明
图1为本发明基于终端的点读方法的流程框图；
图2为本发明中基于终端的点读系统的一种结构示意框图；
图3为本发明中基于终端的点读系统的另一种结构示意框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图 并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施 例仅用以解释本发明，并不用于限定本发明。
如附图1所示，本发明提供的一种基于终端的点读方法，应用于终端， 所述终端包括处理器、后置摄像头、显示屏、前置摄像头和扬声器，所述 方法包括如下步骤：
S10、触发获取指令，获取欲朗读的文献，并在所述显示屏上显示；
所述获取欲朗读的文献具体为，可为终端预存的文献、终端搜索到的 文件，以及通过后置摄像头或前置摄像头拍摄下来的图片；通过所述显示 屏显示。
S20、识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹；
开启所述终端的前置摄像头，识别用户脸部，捕捉用户眼球，获取眼 球的运动轨迹，并分析用户眼球的运动轨迹的特征，从而获取用户在终端 显示屏上的注视点的位置。
S30、根据捕捉到的用户的眼球，在所述显示屏上生成光标，所述光标 根据所述眼球的运动轨迹移动；
注视点在所述显示屏上暂停预设时间，例如2秒、3秒或5秒后，在所 述显示屏上生成光标以及点读指令，根据所述注视点划分文献中欲朗读的 段落；注视点移动，并满足上述要求后，再次生成光标以及点读指令，周 而复始；或者，
在第一次生成光标和点读指令，并朗读完欲朗读的段落后，后续欲朗 读的段落在注视点落在其上时，自动完成光标生成以及点读指令，跟随注 视点自动朗读。
S40、触发点读指令，朗读所述光标位置的文献。
实施例一
获取欲朗读的文献，并在所述显示屏上显示，打开所述前置摄像头， 识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹，并分析用户眼球的 运动轨迹的特征，从而获取用户在终端显示屏上的注视点的位置，注视预 定长时间欲点读的段落，生成所述光标，并生成点读指令，注视点在所述 显示屏上暂停预设时间，例如2秒、3秒或5秒后，在所述显示屏上生成光 标以及点读指令，根据所述注视点划分文献中欲朗读的段落，触发点读指 令，开始朗读。
具体的，所述朗读所述光标位置的文献包括以注视点为基准向所述注 视点的左、右、上、下延伸，捕捉到以所述注视点为基准首尾两端的标点 符号，朗读所述首尾两端的标点符号之间的文献。
实施例二
获取欲朗读的文献，并在所述显示屏上显示，打开所述前置摄像头， 识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹，并分析用户眼球的 运动轨迹的特征，从而获取用户在终端显示屏上的注视点的位置，注视预 定长时间欲点读的段落，生成所述光标，欲朗读的段落包括以注视点为基 准向所述注视点的左、右、上、下延伸，捕捉到以所述注视点为基准首尾 两端的标点符号，朗读所述首尾两端的标点符号之间的文献，保证了朗读 的连贯性。
具体的，所述获取欲朗读的文献包括终端内预存的文献、终端搜索到 的文献以及摄像头拍摄的文献。
所述获取欲朗读的文献具体为，可为终端预存的文献、终端搜索到的 文件，以及通过后置摄像头或前置摄像头拍摄下来的图片；通过所述显示 屏显示；
具体的，所述文献的文字种类包括中文和外文。
具体的，还包括翻译后朗读。
实施例三
获取欲朗读的文献，并在所述显示屏上显示，打开所述前置摄像头， 识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹，并分析用户眼球的 运动轨迹的特征，从而获取用户在终端显示屏上的注视点的位置，注视预 定长时间欲点读的段落，生成所述光标，欲朗读的段落包括以注视点为基 准向所述注视点的左、右、上、下延伸，捕捉到以所述注视点为基准首尾 两端的标点符号，朗读所述首尾两端的标点符号之间的文献；当欲朗读的 文献为英文，终端查找文库进行比对翻译为中文，进行朗读。
翻译所需的文库可以从网络下载到本地，这样低延迟；或者，直接连 接网络的资源使用，这样有延迟但是资源更丰富；再或者，云服务器提供 资源可支持在线或下载；为中文的文献可以翻译为外文朗读，为外文的文 献可以翻译为中文再朗读。
参见图2，根据本发明公开实施例的另一方面，本发明还提供一种基于 终端的点读系统，应用于终端，所述终端包括处理器、后置摄像头、显示 屏、前置摄像头和扬声器，所述系统包括：
获取模块1，用于获取欲朗读的文献，并在所述显示屏上显示；
所述获取欲朗读的文献具体为，可为终端预存的文献、终端搜索到的 文件，以及通过后置摄像头或前置摄像头拍摄下来的图片；通过所述显示 屏显示；
识别模块2，用于识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹；
开启所述终端的前置摄像头，识别用户脸部，捕捉用户眼球，获取眼 球的运动轨迹，并分析用户眼球的运动轨迹的特征，从而获取用户在终端 显示屏上的注视点的位置。
生成模块3，用于根据捕捉到的用户的眼球，在所述显示屏上生成光标， 所述光标根据所述眼球的运动轨迹移动；
注视点在所述显示屏上暂停预设时间，例如2秒、3秒或5秒后，在所 述显示屏上生成光标以及点读指令，根据所述注视点划分文献中欲朗读的 段落；注视点移动，并满足上述要求后，再次生成光标以及点读指令，周 而复始；或者，
在第一次生成光标和点读指令，并朗读完欲朗读的段落后，后续欲朗 读的段落在注视点落在其上时，自动完成光标生成以及点读指令，跟随注 视点自动朗读。
点读模块4，触发后朗读所述光标位置的文献。
参见图3，具体的，还包括：翻译模块31，用于翻译欲朗读的文献。
获取欲朗读的文献，并在所述显示屏上显示，打开所述前置摄像头， 识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹，并分析用户眼球的 运动轨迹的特征，从而获取用户在终端显示屏上的注视点的位置，注视预 定长时间欲点读的段落，生成所述光标，欲朗读的段落包括以注视点为基 准向所述注视点的左、右、上、下延伸，捕捉到以所述注视点为基准首尾 两端的标点符号，朗读所述首尾两端的标点符号之间的文献；当欲朗读的 文献为英文，终端查找文库进行比对翻译为中文，进行朗读。
翻译所需的文库可以从网络下载到本地，这样低延迟；或者，直接连 接网络的资源使用，这样有延迟但是资源更丰富；再或者，云服务器提供 资源可支持在线或下载；为中文的文献可以翻译为外文后再朗读，为外文 的文献可以翻译为中文后再朗读。
根据本发明公开实施例的另一方面，本发明还提供一种存储介质，所 述存储介质存储有基于终端的点读程序，该程序被处理器执行时实现上述 任意一个实施例所述的方法。本领域内的技术人员应明白，本公开的实施 例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬 件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而 且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器 等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方 框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过 计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流 程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存 储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备 上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机 实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功 能的步骤
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术 方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于 本发明所附的权利要求的保护范围。

Claims (9)

1.一种基于终端的点读方法，应用于终端，所述终端包括处理器、后置摄像头、显示屏、前置摄像头和扬声器，其特征在于，所述方法包括：
触发获取指令，获取欲朗读的文献，并在所述显示屏上显示；
识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹；
根据捕捉到的用户的眼球，在所述显示屏上生成光标，所述光标根据所述眼球的运动轨迹移动；
触发点读指令，朗读所述光标位置的文献。
2.根据权利要求1所述的基于终端的点读方法，其特征在于，所述在所述显示屏上生成光标包括捕捉到的用户的眼球在注视点上停留预定时间，生成所述光标，并生成点读指令。
3.根据权利要求1或2所述的基于终端的点读方法，其特征在于，所述朗读所述光标位置的文献包括以注视点为基准向所述注视点的左、右、上、下延伸，捕捉到以所述注视点为基准首尾两端的标点符号，朗读所述首尾两端的标点符号之间的文献。
4.根据权利要求1所述的基于终端的点读方法，其特征在于，所述获取欲朗读的文献包括终端内预存的文献、终端搜索到的文献以及摄像头拍摄的文献。
5.根据权利要求1所述的基于终端的点读方法，其特征在于，所述文献的文字种类包括中文和外文。
6.根据权利要求5所述的基于终端的点读方法，其特征在于，还包括翻译后朗读。
7.一种基于终端的点读系统，应用于终端，所述终端包括处理器、后置摄像头、显示屏、前置摄像头和扬声器，其特征在于，所述系统包括：
获取模块，用于获取欲朗读的文献，并在所述显示屏上显示；
识别模块，用于识别用户脸部，捕捉用户眼球，获取眼球的运动轨迹；
生成模块，用于根据捕捉到的用户的眼球，在所述显示屏上生成光标，所述光标根据所述眼球的运动轨迹移动；
点读模块，触发后朗读所述光标位置的文献。
8.根据权利要求7所述的基于终端的点读系统，其特征在于，还包括：翻译模块，用于翻译欲朗读的文献。
9.一种存储介质，所述存储介质存储有基于终端的点读程序，该程序被处理器执行时实现如权利要求1—6中任意一项权利要求所述的方法。
CN201910902846.7A 2019-09-24 2019-09-24 一种基于终端的点读方法、系统及存储介质 Pending CN110673729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910902846.7A CN110673729A (zh) 2019-09-24 2019-09-24 一种基于终端的点读方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910902846.7A CN110673729A (zh) 2019-09-24 2019-09-24 一种基于终端的点读方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN110673729A true CN110673729A (zh) 2020-01-10

Family

ID=69077332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910902846.7A Pending CN110673729A (zh) 2019-09-24 2019-09-24 一种基于终端的点读方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110673729A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708437A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种人工智能物联网电子书
CN112419800A (zh) * 2020-11-24 2021-02-26 深圳市方直科技股份有限公司 课文内容任意区间点读播放的方法及装置
CN114326878A (zh) * 2021-12-20 2022-04-12 重庆新允创环保技术研究院有限公司 关爱学习者安全的环境识别方法及系统
CN114326877A (zh) * 2021-12-20 2022-04-12 重庆新允创环保技术研究院有限公司 桌面微环境控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479691A (zh) * 2017-07-06 2017-12-15 捷开通讯(深圳)有限公司 一种交互方法及其智能眼镜和存储装置
CN108733214A (zh) * 2018-05-15 2018-11-02 宇龙计算机通信科技(深圳)有限公司 阅读器控制方法、装置、阅读器及计算机可读存储介质
CN108762507A (zh) * 2018-05-30 2018-11-06 辽东学院 图像跟踪方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479691A (zh) * 2017-07-06 2017-12-15 捷开通讯(深圳)有限公司 一种交互方法及其智能眼镜和存储装置
CN108733214A (zh) * 2018-05-15 2018-11-02 宇龙计算机通信科技(深圳)有限公司 阅读器控制方法、装置、阅读器及计算机可读存储介质
CN108762507A (zh) * 2018-05-30 2018-11-06 辽东学院 图像跟踪方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708437A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种人工智能物联网电子书
CN112419800A (zh) * 2020-11-24 2021-02-26 深圳市方直科技股份有限公司 课文内容任意区间点读播放的方法及装置
CN112419800B (zh) * 2020-11-24 2021-07-30 深圳市方直科技股份有限公司 课文内容任意区间点读播放的方法及装置
CN114326878A (zh) * 2021-12-20 2022-04-12 重庆新允创环保技术研究院有限公司 关爱学习者安全的环境识别方法及系统
CN114326877A (zh) * 2021-12-20 2022-04-12 重庆新允创环保技术研究院有限公司 桌面微环境控制方法及系统
CN114326878B (zh) * 2021-12-20 2023-04-07 重庆新允创环保技术研究院有限公司 关爱学习者安全的环境识别方法及系统
CN114326877B (zh) * 2021-12-20 2023-06-02 重庆新允创环保技术研究院有限公司 桌面微环境控制方法及系统

Similar Documents

Publication Publication Date Title
CN110673729A (zh) 一种基于终端的点读方法、系统及存储介质
US11983807B2 (en) Automatically generating motions of an avatar
CN109819342B (zh) 弹幕内容控制方法、装置、计算机设备和存储介质
US11363344B2 (en) Method and system of displaying subtitles, computing device, and readable storage medium
US8761513B1 (en) Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US20200013386A1 (en) Method and apparatus for outputting voice
CN111445902B (zh) 数据收集方法、装置、存储介质及电子设备
CN107430687A (zh) 视频流的基于实体的时间分割
JP7228615B2 (ja) 映画・テレビドラマの内容検索方法及び装置
US20170300752A1 (en) Method and system for summarizing multimedia content
CN110602516A (zh) 基于视频直播的信息交互方法、装置及电子设备
CN110740389A (zh) 视频定位方法、装置、计算机可读介质及电子设备
WO2015165524A1 (en) Extracting text from video
CN105302906A (zh) 信息标注方法及装置
CN111898388A (zh) 视频字幕翻译编辑方法、装置、电子设备及存储介质
CN112995749A (zh) 视频字幕的处理方法、装置、设备和存储介质
CN104994404A (zh) 一种为视频获取关键词的方法及装置
CN113705300A (zh) 音转文训练语料的获取方法、装置、设备以及存储介质
US9659224B1 (en) Merging optical character recognized text from frames of image data
CN115269884A (zh) 生成视频语料的方法、装置及相关设备
CN113691864A (zh) 视频剪辑方法、装置、电子设备和可读存储介质
CN114424157A (zh) 一种视频录制方法、装置及计算机可读存储介质
CN113343720A (zh) 一种字幕翻译方法、装置和用于字幕翻译的装置
CN111079726B (zh) 一种图像处理方法及电子设备
CN104125487A (zh) 一种上传图像数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200110

WD01 Invention patent application deemed withdrawn after publication