CN113537116A - 配合读物的辅助学习系统、方法、设备及存储介质 - Google Patents

配合读物的辅助学习系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN113537116A
CN113537116A CN202110848776.9A CN202110848776A CN113537116A CN 113537116 A CN113537116 A CN 113537116A CN 202110848776 A CN202110848776 A CN 202110848776A CN 113537116 A CN113537116 A CN 113537116A
Authority
CN
China
Prior art keywords
reading
desktop
text
focusing area
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110848776.9A
Other languages
English (en)
Inventor
张国涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Guoxiang Innovation Teaching Equipment Co ltd
Original Assignee
Chongqing Guoxiang Innovation Teaching Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Guoxiang Innovation Teaching Equipment Co ltd filed Critical Chongqing Guoxiang Innovation Teaching Equipment Co ltd
Priority to CN202110848776.9A priority Critical patent/CN113537116A/zh
Publication of CN113537116A publication Critical patent/CN113537116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47D—FURNITURE SPECIALLY ADAPTED FOR CHILDREN
    • A47D3/00—Children's tables
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了配合读物的辅助学习系统、方法、设备及存储介质，系统包括：一桌子，桌子放置一读物；一摄像设备、一投影设备和一眼动仪均设置于桌子，眼动仪采集用户的脸部图像，获得用户的注视落在桌子的桌面的聚焦区域；以及一处理单元，分别连接摄像设备、投影设备和眼动仪，处理单元对摄像设备采集得到的图像中的读物进行图文识别获得读物的文本，判断聚焦区域与读物的局部文本重叠的时长是否超过预设阀值，若是，则基于发生重叠的局部文本进行检索获得检索结果，将检索结果投影于桌面。本发明能够辅助儿童阅读读物，在解释疑难词时，不需要儿童进行任何实体操作，有利于减少打断阅读的情况，养成长时间阅读的习惯。

Description

配合读物的辅助学习系统、方法、设备及存储介质
技术领域
本发明涉及教学辅助设备领域，具体地说，涉及配合读物的辅助学习系统、方法、设备及存储介质。
背景技术
儿童不会操作复杂的电子设备。儿童初读绘本经常遇到不认识的字、词，每次只能请教大人或查字典，这个间歇性的请教动作，打破了儿童在初学时连续阅读的体验，也浪费了大人和儿童的时间。
因此，本发明提供了一种配合读物的辅助学习系统、方法、设备及存储介质。
发明内容
针对现有技术中的问题，本发明的目的在于提供配合读物的辅助学习系统、方法、设备及存储介质，克服了现有技术的困难，能够辅助儿童阅读读物，在解释疑难词时，不需要儿童进行任何实体操作，有利于减少打断阅读的情况，养成长时间阅读的习惯。
本发明的实施例提供一种配合读物的辅助学习系统，包括：
一桌子，所述桌子放置一读物；
一摄像设备，设置于所述桌子，拍摄所述桌子的桌面；
一投影设备，设置于所述桌子，向所述桌子投影；
一眼动仪，设置于桌子，采集用户的脸部图像，获得用户的注视落在所述桌子的桌面的聚焦区域；以及
一处理单元，分别连接所述摄像设备、投影设备和眼动仪，所述处理单元对所述摄像设备采集得到的图像中的读物进行图文识别获得所述读物的文本，判断所述聚焦区域与所述读物的局部文本重叠的时长是否超过预设阀值，若是，则基于发生重叠的所述局部文本进行检索获得检索结果，将所述检索结果投影于所述桌面。
优选地，所述处理单元基于所述聚焦区域的中心点获得第一位置信息；
所述处理单元对所述文本基于分词算法进行分词，获得每个所述分词在所述桌面的第二位置信息；并且，当所述第一位置信息与一所述分词对应的第二位置信息相重叠且保持重叠的时长超过预设阀值时，基于发生重叠的所述分词进行检索获得解释信息，并通过所述投影设备将所述解释信息投影于所述桌面。
优选地，所述处理单元基于一离线词库和/或网络对发生重叠的所述分词进行检索，获得关于所述分词的解释信息和/或相关图片，将所述解释信息和/或相关图片投影于所述桌面。
优选地，所述眼动仪采集用户的脸部图像输入一头部姿态模型，获得所述用户当前目光落于所述桌面聚焦区域，所述头部姿态模型基于对用户不同时刻的样本脸部图像和所述样本脸部图像所对应目光落于所述桌子的桌面的聚焦区域训练获得。
优选地，还包括一支撑臂，连接所述桌面；
一照明设备，连接于所述支撑臂，悬于所述桌面上方，所述照明设备包括灯罩和设置于所述灯罩中的灯泡；
所述摄像设备为一设置于灯罩中的摄像头，所述摄像头的进光方向垂直于所述桌子；
所述投影设备为一设置于灯罩中的投影仪，所述投影仪的出光方向垂直于所述桌子。
优选地，所述支撑臂和所述眼动仪共同设置于所述桌面的同一侧，所述眼动仪与所述读物之间的所述桌面形成一投影区域，所述投影设备将所述解释信息仅投影于所述投影区域的范围内。
优选地，所述照明设备设置于所述支撑臂背离所述桌面的上端，所述眼动仪被集成与所述支撑臂的下部。
本发明的实施例还提供一种读物辅助方法，采用上述的配合读物的辅助学习系统，包括：
S110、对所述摄像设备采集得到的图像中的读物进行图文识别获得所述读物的文本；
S120、判断所述聚焦区域与所述读物的局部文本重叠的时长是否超过预设阀值，若是，则执行步骤S130，若否，则返回步骤S110；
S130、基于发生重叠的所述局部文本进行检索获得解释信息；以及
S140、将所述解释信息投影于所述桌面。
本发明的实施例还提供一种读物辅助设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述读物辅助方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述读物辅助方法的步骤。
本发明的目的在于提供配合读物的辅助学习系统、方法、设备及存储介质，能够辅助儿童阅读读物，在解释疑难词时，不需要儿童进行任何实体操作，有利于减少打断阅读的情况，养成长时间阅读的习惯。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的配合读物的辅助学习系统的结构示意图。
图2至4是本发明的配合读物的辅助学习系统的实施过程示意图。
图5是实施本发明的读物辅助方法的流程示意图。
图6是本发明的读物辅助设备的结构示意图。
图7是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 桌子
11 桌面
2 支撑臂
3 照明设备
4 摄像设备
5 投影设备
6 儿童读物
61 聚焦区域
611 中心点
621～626 分词
7 儿童
8 眼动仪
9 投影区域
91 图片区域
92 文字区域
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的配合读物的辅助学习系统的结构示意图。如图1所示，本发明的配合读物的辅助学习系统包括一桌子1、一支撑臂2、一照明设备3一摄像设备4、一投影设备5以及一眼动仪8。桌子1的桌面11放置一读物。支撑臂2连接桌面11。照明设备3连接于支撑臂2，悬于桌面11上方，照明设备3包括灯罩和设置于灯罩中的灯泡。摄像设备4为一设置于灯罩中的摄像头，摄像头的进光方向垂直于桌子1，拍摄桌子1的桌面11。投影设备5为一设置于灯罩中的投影仪，投影仪的出光方向垂直于桌子1，向桌子1投影。眼动仪8设置于桌子1，采集用户的脸部图像，获得用户的注视落在桌子1的桌面11的聚焦区域61。本实施例中的支撑臂2和眼动仪8共同设置于桌面11的同一侧(可以是背离用户的一侧，但不以此为限。照明设备3设置于支撑臂2背离桌面11的上端，眼动仪8被集成与支撑臂2的下部。眼动仪8与读物之间的桌面11形成一投影区域9，投影设备5将解释信息仅投影于投影区域9的范围内。处理单元(图中未示出)分别连接摄像设备4、投影设备5和眼动仪8，处理单元对摄像设备4采集得到的图像中的读物进行图文识别获得读物的文本，判断聚焦区域与读物的局部文本重叠的时长是否超过预设阀值，若是，则基于发生重叠的局部文本进行检索获得检索结果，将检索结果投影于桌面11。在本实施例中，具体来说：处理单元基于聚焦区域61的中心点获得第一位置信息。处理单元对文本基于分词算法(可以使用现有技术的分词算法或是未来发明的分词算法)进行分词，获得每个分词在桌面11的第二位置信息。并且，当第一位置信息与一分词对应的第二位置信息相重叠且保持重叠的时长超过预设阀值时，基于发生重叠的分词进行检索获得解释信息，并通过投影设备5将解释信息投影于桌面11，但不以此为限。
在一个优选实施例中，处理单元基于一离线词库和/或网络对发生重叠的分词进行检索，获得关于分词的解释信息92和/或相关图片91，将解释信息92和/或相关图片91投影于桌面11，但不以此为限。
在一个优选实施例中，处理单元基于一离线词库和/或网络对发生重叠的分词进行翻译，讲翻译后的文本投影于桌面11，但不以此为限。
在一个优选实施例中，眼动仪8采集用户的脸部图像输入一头部姿态模型，获得用户当前目光落于桌面11聚焦区域61，头部姿态模型基于对用户不同时刻的样本脸部图像和样本脸部图像所对应目光落于桌子1的桌面11的聚焦区域训练获得，通过对用户的脸部图像与样本脸部图像进行相似度计算，获得相似度最高的样本脸部图像。并将相似度最高的样本脸部图像对应的目光落于桌子1的桌面11的聚焦区域作为当前用户的目光聚焦区域，但不以此为限。
本发明通过眼动仪8采集用户的脸部图像和头部姿态模型中预存的映射关系进行匹配，获得当前用户目光的聚焦区域61，基于聚焦区域61的中心点获得第一位置信息。并且，通过照明设备3拍摄桌面，对放置在桌面上的读物进行图文识别获得文本，并且对文本基于自然语义算法进行分次后，基于分词在照片中桌面11上的对应位置获得每个分词的在桌面11的第二位置信息，第二位置信息可以是一个对应分词所占平面位置的位置范围。最后基于第一位置信息与第二位置信息进行比对，发生长时间重叠时，确认用户目光长期停留于一分词对应的位置，则认为用户不理解该词的含义或是疑难词等情况，触发后续解释投影。将基于发生重叠的分词进行检索获得解释信息，并通过投影设备5将解释信息投影于桌面11，实现对于疑难词的相关解释的现场展示。
参考图1，儿童7坐在桌子1前，将儿童读物6摊开与桌面11。照明设备3照亮儿童读物6。照明设备3拍摄儿童读物6在桌面1的照片，发送到处理单元。眼动仪8采集儿童的脸部图像。
图2至4是本发明的配合读物的辅助学习系统的实施过程示意图。如图2所示，,儿童读物6的当前页面上包括文字“蓝皮星人驾驶着飞碟飞走了……”通过照明设备3拍摄桌面，对放置在桌面上的读物进行图文识别获得文本“蓝皮星人驾驶着飞碟飞走了”，并且对文本基于自然语义算法进行分次后，获得分词621“蓝皮星人”、分词622“驾驶”、分词623“着”、分词624“飞碟”、分词625“飞走”、分词626“了”。并且，基于分词621、622、623、624、625、626中在照片中桌面11上的对应位置获得每个分词的在桌面11的第二位置信息，第二位置信息可以是一个对应分词所占平面位置的位置范围。
如图3所示，通过眼动仪8采集儿童7的脸部图像和头部姿态模型中预存的映射关系进行匹配，获得当前儿童7目光的聚焦区域61，基于聚焦区域61的中心点611获得基于桌面11的第一位置信息。最后基于第一位置信息与第二位置信息进行比对，发生长时间重叠时，确认儿童7目光长期停留于分词624“飞碟”对应的位置，则认为儿童7不理解该词的含义或是疑难词等情况，触发后续解释投影。
如图4所示，将基于发生重叠的分词624“飞碟”进行检索获得解释信息，例如通过网络对发生重叠的分词624“飞碟”进行检索，获得关于分词624“飞碟”的解释信息92和/或相关图片91，将解释信息92和/或相关图片91投影于桌面11，实现对于疑难词的相关解释的现场展示，整个过程中，儿童7不需要任何操作，大大提高了儿童7的阅读体验。本发明尤其有利不同年龄段的儿童进行跨年龄段的阅读，或是对于外语类读物的阅读学习。
图5是实施本发明的读物辅助方法的流程示意图。如图5所示，本发明的实施例提供一种读物辅助方法，采用上述的配合读物的辅助学习系统，包括以下步骤：
S110、对摄像设备采集得到的图像中的读物进行图文识别获得读物的文本。
S120、判断聚焦区域与读物的局部文本重叠的时长是否超过预设阀值，若是，则执行步骤S130，若否，则返回步骤S110。
S130、基于发生重叠的局部文本进行检索获得解释信息。
S140、将解释信息投影于桌面11。
在一个优选实施例中，基于聚焦区域61的中心点获得第一位置信息。处理单元对文本基于分词算法(可以使用现有技术的分词算法或是未来发明的分词算法)进行分词，获得每个分词在桌面的第二位置信息。并且，当第一位置信息与一分词对应的第二位置信息相重叠且保持重叠的时长超过预设阀值时，基于发生重叠的分词进行检索获得解释信息，并通过投影设备将解释信息投影于桌面，但不以此为限。
在一个优选实施例中，基于一离线词库和/或网络对发生重叠的分词进行检索，获得关于分词的解释信息和/或相关图片，将解释信息和/或相关图片投影于桌面，但不以此为限。
在一个优选实施例中，基于一离线词库和/或网络对发生重叠的分词进行翻译，讲翻译后的文本投影于桌面，但不以此为限。
在一个优选实施例中，通过眼动仪采集用户的脸部图像输入一头部姿态模型，获得用户当前目光落于桌面聚焦区域，头部姿态模型基于对用户不同时刻的样本脸部图像和样本脸部图像所对应目光落于桌子的桌面的聚焦区域训练获得，通过对用户的脸部图像与样本脸部图像进行相似度计算，获得相似度最高的样本脸部图像。并将相似度最高的样本脸部图像对应的目光落于桌子的桌面的聚焦区域作为当前用户的目光聚焦区域，但不以此为限。
本发明的读物辅助方法能够辅助儿童阅读读物，在解释疑难词时，不需要儿童进行任何实体操作，有利于减少打断阅读的情况，养成长时间阅读的习惯。
本发明实施例还提供一种读物辅助设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的读物辅助方法的步骤。
如上所示，该实施例本发明的配合读物的辅助学习系统能够辅助儿童阅读读物，在解释疑难词时，不需要儿童进行任何实体操作，有利于减少打断阅读的情况，养成长时间阅读的习惯。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图6是本发明的读物辅助设备的结构示意图。下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的读物辅助方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例本发明的配合读物的辅助学习系统能够辅助儿童阅读读物，在解释疑难词时，不需要儿童进行任何实体操作，有利于减少打断阅读的情况，养成长时间阅读的习惯。
图7是本发明的计算机可读存储介质的结构示意图。参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的目的在于提供配合读物的辅助学习系统、方法、设备及存储介质，本发明的配合读物的辅助学习系统能够辅助儿童阅读读物，在解释疑难词时，不需要儿童进行任何实体操作，有利于减少打断阅读的情况，养成长时间阅读的习惯。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种配合读物的辅助学习系统，其特征在于，包括：
一桌子(1)，所述桌子(1)放置一读物；
一摄像设备(4)，设置于所述桌子(1)，拍摄所述桌子(1)的桌面(11)；
一投影设备(5)，设置于所述桌子(1)，向所述桌子(1)投影；
一眼动仪(8)，设置于桌子(1)，采集用户的脸部图像，获得用户的注视落在所述桌子(1)的桌面(11)的聚焦区域(61)；以及
一处理单元，分别连接所述摄像设备(4)、投影设备(5)和眼动仪(8)，所述处理单元对所述摄像设备(4)采集得到的图像中的读物进行图文识别获得所述读物的文本，判断所述聚焦区域与所述读物的局部文本重叠的时长是否超过预设阀值，若是，则基于发生重叠的所述局部文本进行检索获得检索结果，将所述检索结果投影于所述桌面(11)。
2.根据权利要求1所述的配合读物的辅助学习系统，其特征在于，所述处理单元基于所述聚焦区域(61)的中心点获得第一位置信息；
所述处理单元对所述文本基于分词算法进行分词，获得每个所述分词在所述桌面(11)的第二位置信息；并且，当所述第一位置信息与一所述分词对应的第二位置信息相重叠且保持重叠的时长超过预设阀值时，基于发生重叠的所述分词进行检索获得解释信息，并通过所述投影设备(5)将所述解释信息投影于所述桌面(11)。
3.根据权利要求2所述的配合读物的辅助学习系统，其特征在于，所述处理单元基于一离线词库和/或网络对发生重叠的所述分词进行检索，获得关于所述分词的解释信息(92)和/或相关图片(91)，将所述解释信息(92)和/或相关图片(91)投影于所述桌面(11)。
4.根据权利要求2所述的配合读物的辅助学习系统，其特征在于，所述眼动仪(8)采集用户的脸部图像输入一头部姿态模型，获得所述用户当前目光落于所述桌面(11)聚焦区域(61)，所述头部姿态模型基于对用户不同时刻的样本脸部图像和所述样本脸部图像所对应目光落于所述桌子(1)的桌面(11)的聚焦区域训练获得。
5.根据权利要求1所述的配合读物的辅助学习系统，其特征在于，还包括一支撑臂(2)，连接所述桌面(11)；
一照明设备(3)，连接于所述支撑臂(2)，悬于所述桌面(11)上方，所述照明设备(3)包括灯罩和设置于所述灯罩中的灯泡；
所述摄像设备(4)为一设置于灯罩中的摄像头，所述摄像头的进光方向垂直于所述桌子(1)；
所述投影设备(5)为一设置于灯罩中的投影仪，所述投影仪的出光方向垂直于所述桌子(1)。
6.根据权利要求5所述的配合读物的辅助学习系统，其特征在于，所述支撑臂(2)和所述眼动仪(8)共同设置于所述桌面(11)的同一侧，所述眼动仪(8)与所述读物之间的所述桌面(11)形成一投影区域(9)，所述投影设备(5)将所述检索结果仅投影于所述投影区域(9)的范围内。
7.根据权利要求6所述的配合读物的辅助学习系统，其特征在于，所述照明设备(3)设置于所述支撑臂(2)背离所述桌面(11)的上端，所述眼动仪(8)被集成与所述支撑臂(2)的下部。
8.一种配合读物的辅助学习方法，采用如权利要求1所述的配合读物的辅助学习系统，其特征在于，包括：
S110、对所述摄像设备采集得到的图像中的读物进行图文识别获得所述读物的文本；
S120、判断所述聚焦区域与所述读物的局部文本重叠的时长是否超过预设阀值，若是，则执行步骤S130，若否，则返回步骤S110；
S130、基于发生重叠的所述局部文本进行检索获得解释信息；以及
S140、将所述解释信息投影于所述桌面(11)。
9.一种读物辅助设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求7至7任意一项所述读物辅助方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求7所述读物辅助方法的步骤。
CN202110848776.9A 2021-07-27 2021-07-27 配合读物的辅助学习系统、方法、设备及存储介质 Pending CN113537116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110848776.9A CN113537116A (zh) 2021-07-27 2021-07-27 配合读物的辅助学习系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848776.9A CN113537116A (zh) 2021-07-27 2021-07-27 配合读物的辅助学习系统、方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113537116A true CN113537116A (zh) 2021-10-22

Family

ID=78089113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848776.9A Pending CN113537116A (zh) 2021-07-27 2021-07-27 配合读物的辅助学习系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113537116A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
CN108492224A (zh) * 2018-03-09 2018-09-04 上海开放大学 基于深度学习在线教育学生综合画像标签管理系统
CN110457699A (zh) * 2019-08-06 2019-11-15 腾讯科技（深圳）有限公司 一种停用词挖掘方法、装置、电子设备及存储介质
CN112051951A (zh) * 2020-09-25 2020-12-08 北京字节跳动网络技术有限公司 一种媒体内容展示方法、媒体内容的展示确定方法及装置
CN112785884A (zh) * 2021-01-27 2021-05-11 吕瑞 智能辅助学习系统、方法及学习桌
CN112836685A (zh) * 2021-03-10 2021-05-25 北京七鑫易维信息技术有限公司 一种辅助阅读方法、系统及存储介质
CN112908325A (zh) * 2021-01-29 2021-06-04 中国平安人寿保险股份有限公司 语音交互方法、装置、电子设备及存储介质
CN113038076A (zh) * 2021-03-04 2021-06-25 重庆国翔创新教学设备有限公司 基于学习桌的远程自习系统、方法、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130021434A1 (en) * 2003-05-02 2013-01-24 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
CN108492224A (zh) * 2018-03-09 2018-09-04 上海开放大学 基于深度学习在线教育学生综合画像标签管理系统
CN110457699A (zh) * 2019-08-06 2019-11-15 腾讯科技（深圳）有限公司 一种停用词挖掘方法、装置、电子设备及存储介质
CN112051951A (zh) * 2020-09-25 2020-12-08 北京字节跳动网络技术有限公司 一种媒体内容展示方法、媒体内容的展示确定方法及装置
CN112785884A (zh) * 2021-01-27 2021-05-11 吕瑞 智能辅助学习系统、方法及学习桌
CN112908325A (zh) * 2021-01-29 2021-06-04 中国平安人寿保险股份有限公司 语音交互方法、装置、电子设备及存储介质
CN113038076A (zh) * 2021-03-04 2021-06-25 重庆国翔创新教学设备有限公司 基于学习桌的远程自习系统、方法、设备及存储介质
CN112836685A (zh) * 2021-03-10 2021-05-25 北京七鑫易维信息技术有限公司 一种辅助阅读方法、系统及存储介质

Similar Documents

Publication Publication Date Title
US10410625B2 (en) Machine learning dialect identification
US9805718B2 (en) Clarifying natural language input using targeted questions
US9971763B2 (en) Named entity recognition
US11501089B2 (en) Electronic device and method for controlling the electronic device thereof based on determining intent of a user speech in a first language machine translated into a predefined second language
Kim et al. Lexicon-free fingerspelling recognition from video: Data, models, and signer adaptation
CN112560912A (zh) 分类模型的训练方法、装置、电子设备和存储介质
US20220405484A1 (en) Methods for Reinforcement Document Transformer for Multimodal Conversations and Devices Thereof
JP2007122383A (ja) 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
CN107608618B (zh) 一种用于可穿戴设备的交互方法、装置和可穿戴设备
US12020693B2 (en) System and method for out-of-vocabulary phrase support in automatic speech recognition
CN110442877B (zh) 使用机器人规划作为平行语言语料库
US20220147719A1 (en) Dialogue management
US20200159986A1 (en) Text Simplification System Utilizing Eye-Tracking
US9665562B1 (en) Automatic cognate detection in a computer-assisted language learning system
CN113537116A (zh) 配合读物的辅助学习系统、方法、设备及存储介质
US11704090B2 (en) Audio interactive display system and method of interacting with audio interactive display system
CN113435347B (zh) 用于纸面作业查错的学习桌、使用方法、设备及存储介质
Lee et al. Detection of non-native sentences using machine-translated training data
JP6978543B2 (ja) スマートリーディング機器およびその制御方法
Xie et al. Focusing attention network for answer ranking
Zhang et al. Design concept of sign language recognition translation and gesture recognition control system based on deep learning and machine vision
CN112307748A (zh) 用于处理文本的方法和装置
WO2022123716A1 (ja) 述語項構造修正プログラム、述語項構造修正方法、および情報処理装置
Mohammed et al. Audio reading system for blind persons, testing and evaluation
CN117671426B (zh) 基于概念蒸馏和clip的可提示分割模型预训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022

RJ01 Rejection of invention patent application after publication