CN109426342B - 基于增强现实的文档阅读方法和装置 - Google Patents

基于增强现实的文档阅读方法和装置 Download PDF

Info

Publication number
CN109426342B
CN109426342B CN201710758737.3A CN201710758737A CN109426342B CN 109426342 B CN109426342 B CN 109426342B CN 201710758737 A CN201710758737 A CN 201710758737A CN 109426342 B CN109426342 B CN 109426342B
Authority
CN
China
Prior art keywords
document
reading
target document
augmented reality
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710758737.3A
Other languages
English (en)
Other versions
CN109426342A (zh
Inventor
李炜
孙其民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inlife Handnet Co Ltd
Original Assignee
Inlife Handnet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inlife Handnet Co Ltd filed Critical Inlife Handnet Co Ltd
Priority to CN201710758737.3A priority Critical patent/CN109426342B/zh
Publication of CN109426342A publication Critical patent/CN109426342A/zh
Application granted granted Critical
Publication of CN109426342B publication Critical patent/CN109426342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种基于增强现实的文档阅读方法和装置。该基于增强现实的文档阅读方法,通过获取待阅读的目标文档,从多个预设文档类型中确定所述目标文档所属的目标文档类型,根据所述目标文档类型获取对应的文档内容的初始滚动速率,基于所述初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示所述目标文档中相应的文档内容。该方案采用增强现实技术,按相应滚动速率在虚拟阅读器上滚动显示文档内容,相对于传统的文档阅读方式,提高了文档阅读的便利性,改善不良的阅读姿势,提升了阅读效率。

Description

基于增强现实的文档阅读方法和装置
技术领域
本发明涉及增强现实技术领域,尤其涉及一种基于增强现实的文档阅读方法和装置。
背景技术
AR(Augmented Reality,增强现实)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术,模拟仿真后,把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。增强现实技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。在视觉化的增强现实中,用户利用头盔显示器,把真实世界与电脑图形多重合成在一起,便可以看到真实的世界围绕着它。AR是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式,与传统的人机界面以及流行的视窗操作相比,AR在技术思想上有了质的飞跃。
随着AR技术的快速发展,AR在各领域的应用越来越广泛,传统的阅读方式已无法满足用户需求,比如,传统的阅读方式需要有一个相对稳定的阅读环境,无法达到随时随地阅读的效果,阅读效率较差,且容易导致阅读姿势不良(如长期低头),对用户健康造成影响。
发明内容
本发明实施例提供一种基于增强现实的文档阅读方法和装置,可以提升文档阅读的便利性,改善不良的阅读姿势,提升阅读效率。
本发明实施例提供了一种基于增强现实的文档阅读方法,包括:
获取待阅读的目标文档;
从多个预设文档类型中确定所述目标文档所属的目标文档类型;
根据所述目标文档类型获取对应的文档内容的初始滚动速率;
基于所述初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示所述目标文档中相应的文档内容,以得到增强现实画面。
在一些实施例中,根据所述目标文档类型获取对应的文档内容的初始滚动速率的步骤,包括:
获取所述目标文档类型对应的阅读速率,所述阅读速率基于对用户在历史时间段内阅读所述目标文档类型的文档的行为习惯信息进行学习而得到;
根据所述阅读速率生成相应的文档内容的初始滚动速率。
在一些实施例中,在阅读过程中,所述方法还包括:
实时捕捉用户眼球的瞳孔图像;
将所述瞳孔图像与预存瞳孔图像进行比较,以获取所述瞳孔图像与所述预存瞳孔图像间的区别信息;
基于所述区别信息以及预设算法计算出对应的滚动速率调整参数;
根据所述滚动速率调整参数对所述初始滚动速率进行调整;
按照调整后的滚动速率在虚拟内容阅读器上滚动显示所述目标文档中相应的文档内容。
在一些实施例中,所述虚拟内容阅读器包括:文档内容的显示界面和滚动条,所述方法还包括:
获取用户注视所述滚动条的注视时长;
当所述注视时长大于第一阈值时,则锁定当前文档内容的显示界面;
感测到用户手势动作,并对所述手势动作进行解析,以获取所述手势动作的移动速率;
按照所述移动速率在虚拟内容阅读器上滚动显示所述目标文档中相应的文档内容。
在一些实施例中,在阅读过程中,所述方法还包括:
获取用户的眨眼动作;
判断所述眨眼动作是否满足预设动作要求;
若满足,则基于当前显示界面进行截屏操作,以生成截屏图像。
在一些实施例中,所述方法还包括:
当未检测到眼球的时长超过第二阈值时,暂停在虚拟内容阅读器滚动显示所述目标文档中相应的文档内容;
当未检测到眼球的时长超过第三阈值时,关闭所述虚拟内容阅读器,其中,第三阈值大于第二阈值。
相应地,本发明实施例还提供一种基于增强现实的文档阅读装置,包括:
文档获取模块,用于获取待阅读的目标文档;
确定模块,用于从多个预设文档类型中确定所述目标文档所属的目标文档类型;
速率获取模块,用于根据所述目标文档类型获取对应的文档内容的初始滚动速率;
显示模块,用于基于所述初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示所述目标文档中相应的文档内容,以得到增强现实画面。
在一些实施例中,所述速率获取模块包括:
获取子模块,用于获取所述目标文档类型对应的阅读速率,所述阅读速率基于对用户在历史时间段内阅读所述目标文档类型的文档的行为习惯信息进行学习而得到;
生成子模块,用于根据所述阅读速率生成相应的文档内容的初始滚动速率。
在一些实施例中,所述装置还包括:
捕捉模块,用于在阅读过程中,实时捕捉用户眼球的瞳孔图像;
比较模块,用于将所述瞳孔图像与预存瞳孔图像进行比较,以获取所述瞳孔图像与所述预存瞳孔图像间的区别信息;
参数获取模块,用于基于所述区别信息以及预设算法计算出对应的滚动速率调整参数;
调整模块,用于根据所述滚动速率调整参数对所述初始滚动速率进行调整;
所述显示模块,还用于按照调整后的滚动速率在虚拟内容阅读器上滚动显示所述目标文档中相应的文档内容。
在一些实施例中,所述虚拟内容阅读器包括:文档内容的显示界面和滚动条;所述装置还包括:
时长获取模块,用于获取用户注视所述滚动条的注视时长;
锁定模块,用于当所述注视时长大于第一阈值时,则锁定当前文档内容的显示界面;
解析模块,用于感测到用户手势动作,并对所述手势动作进行解析,以获取所述手势动作的移动速率;
所述显示模块,还用于按照所述移动速率在虚拟内容阅读器上滚动显示所述目标文档中相应的文档内容。
本发明实施例提供的基于增强现实的文档阅读方法和装置,采用增强现实技术,按相应滚动速率在虚拟阅读器上滚动显示文档内容,相对于传统的文档阅读方式,提高了文档阅读的便利性,改善不良的阅读姿势,提升了阅读效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于增强现实的文档阅读方法的一种流程示意图。
图2是本发明实施例提供的基于增强现实的文档阅读方法的另一种流程示意图。
图3是本发明实施例提供的基于增强现实的文档阅读系统的一种应用场景示意图。
图4是本发明实施例提供的基于增强现实的文档阅读装置的一种结构示意图。
图5是本发明实施例提供的基于增强现实的文档阅读装置的另一种结构示意图。
图6是本发明实施例提供的基于增强现实的文档阅读装置的又一种结构示意图。
图7是本发明实施例提供的基于增强现实的文档阅读装置的再一种结构示意图。
图8是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种基于增强现实的文档阅读方法和装置。以下将分别进行详细说明。
在一优选实施例中,提供一种基于增强现实的文档阅读方法,如图1所示,流程可以如下:
101、获取待阅读的目标文档。
具体地,当用户佩戴好进行文档阅读的增强现实设备后,首先需获取待阅读的目标文档。其中,增强现实设备中可存储有可供选择的候选文档,用户可通过手动操作从候选文档中选择需阅读的目标文档。该目标文档可包括文本和/或图像,比如,电子书、电子杂志、文字处理文档、电子邮件等相关的文本或图像。
102、从多个预设文档类型中确定目标文档所属的目标文档类型。
在一些实施例中,可预先对虚拟现实设备中存储的候选文档进行分类,划分得到多个文档类型。比如,可划分为办公类、娱乐休闲类等等。
通过获取目标文档的属性信息,从该属性信息中提取对应的特征,以确定目标文档所属的目标文档类型。比如,获取的目标文档为一篇小说,则可获取此小说的属性信息,并从中提取出特征,基于该特征所确定对应的文档类型,如娱乐休闲类。
103、根据目标文档类型获取对应的文档内容的初始滚动速率。
在一些实施例中,可基于不同的文档类型,设置不同的初始滚动速率,并预先建立文档类型与初始滚动速率之间的对应关系,以建立初始滚动速率数据库。应用过程中,在确定目标文档所属的目标文档类型后,可将目标文档的文档类型与数据库中预设文档类型进行匹配,根据对应关系获取相应的预设滚动速率,以将其作为初始滚动速率。
在一些实施例中,基于用户阅读的行为习惯设置初始滚动速率,也即,步骤“根据目标文档类型获取对应的文档内容的初始滚动速率”可以包括以下流程:
获取目标文档类型对应的阅读速率,该阅读速率基于对用户在历史时间段内阅读目标文档类型的文档的行为习惯信息进行学习而得到;
根据阅读速率生成相应的文档内容的初始滚动速率。
其中,当用户通过增强现实设备的进行文档阅读时,增强现实设备可记录处理过程中的行为数据,然后,向服务器发送记录的数据,其中,增强现实设备可采用WEB方式向服务器发送数据,也可以通过电子设备中安装的客户端程序向服务器发送数据。服务器收集多个设备发送的数据,将此数据作为输入,基于机器深度学习对算法模型进行训练,增强现实设备利用训练好的算法模型对用户的阅读速率进行预测,以智能化地预测出与用户阅读目标文档类型的文档时实际阅读速率相比误差较小的阅读速率。然后,增强现实设备便可根据该阅读速率智能化生成满足此阅读速率的文档内容滚动速率。
104、基于初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示目标文档中相应的文档内容,以得到增强现实画面。
在一些实施例中,增强现实设备可包括HMD(Head Mount Display,头戴显示设备)。HMD可使用用于阅读内容的虚拟内容阅读器来显示目标文档中相应的文档内容。其中,该头戴显示设备可以是透明显示器。
具体实施过程中,滚动显示目标文档中相应的文档内容时,可将已阅读的文档内容向上滚动或向左滚动,以满足一般用户的正常阅读习惯。
在一些实施例中,为了使阅读方式富有趣味性,可将虚拟内容阅读器设计成书本的形式,当阅读完一页文档内容时,自动翻页,以实现仿纸质书本的阅读效果。
由上可知,本发明实施例提供了一种基于增强现实的文档阅读方法,通过获取待阅读的目标文档,从多个预设文档类型中确定目标文档所属的目标文档类型,根据目标文档类型获取对应的文档内容的初始滚动速率,基于初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示目标文档中相应的文档内容。该方案采用增强现实技术,按相应滚动速率在虚拟阅读器上滚动显示文档内容,相对于传统的文档阅读方式,提高了文档阅读的便利性,改善不良的阅读姿势,提升了阅读效率。
在本发明又一实施例中,还提供另一基于增强现实的文档阅读方法。如图2所示,流程可以如下:
201、获取待阅读的目标文档,并从多个预设文档类型中确定目标文档所属的目标文档类型。
具体地,当用户佩戴好进行文档阅读的增强现实设备后,首先需获取待阅读的目标文档。其中,增强现实设备中可存储有可供选择的候选文档,用户可通过手动操作从候选文档中选择需阅读的目标文档。
在一些实施例中,可预先对虚拟现实设备中存储的候选文档进行分类,划分得到多个文档类型。比如,可划分为办公类、娱乐休闲类等等。
通过获取目标文档的属性信息,从该属性信息中提取对应的特征,以确定目标文档所属的目标文档类型。比如,获取的目标文档为一篇小说,则可获取此小说的属性信息,并从中提取出特征,基于该特征所确定对应的文档类型,如娱乐休闲类。
202、根据目标文档类型获取对应的文档内容的初始滚动速率。
在一些实施例中,可基于不同的文档类型,设置不同的初始滚动速率,并预先建立文档类型与初始滚动速率之间的对应关系,以建立初始滚动速率数据库。应用过程中,在确定目标文档所属的目标文档类型后,可将目标文档的文档类型与数据库中预设文档类型进行匹配,根据对应关系获取相应的预设滚动速率,以将其作为初始滚动速率。
在一些实施例中,基于用户阅读的行为习惯设置初始滚动速率,也即,步骤“根据目标文档类型获取对应的文档内容的初始滚动速率”可以包括以下流程:
获取目标文档类型对应的阅读速率,该阅读速率基于对用户在历史时间段内阅读目标文档类型的文档的行为习惯信息进行学习而得到;
根据阅读速率生成相应的文档内容的初始滚动速率。
其中,当用户通过增强现实设备的进行文档阅读时,增强现实设备可记录处理过程中的行为数据,然后,向服务器发送记录的数据。服务器收集多个设备发送的数据,将此数据作为输入,基于机器深度学习对算法模型进行训练,增强现实设备利用训练好的算法模型对用户的阅读速率进行预测,以智能化地预测出与用户阅读目标文档类型的文档时实际阅读速率相比误差较小的阅读速率。然后,增强现实设备便可根据该阅读速率智能化生成满足此阅读速率的文档内容滚动速率。
203、基于初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示目标文档中相应的文档内容。
在一些实施例中,增强现实设备可包括HMD。HMD可使用用于阅读内容的虚拟内容阅读器来显示目标文档中相应的文档内容。
204、实时捕捉用户眼球的瞳孔图像。
在一些实施例中,头戴显示器中可集成摄像装置,用于获取用户的眼球图像。
其中,此摄像装置包括有至少一个摄像头。摄像头具有视频摄像/传播和静态图像捕捉等基本功能,它是借由镜头采集图像后,由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号,然后借由并行端口或USB(UniversalSerial Bus,通用串行总线)连接输入到电脑后由软件再进行图像还原。
本实施例中,摄像装置所采用的摄像头可为数字摄像头。数字摄像头可以将采集图像而产生的模型信号转换成数字信号,进而将其储存在平板电脑、计算机等带有存储介质的智能终端中。数字摄像头可以直接捕捉影像,然后通过串、并口或者USB接口传到计算机里。
在一些实施例中,为了提升获取到瞳孔图像的质量,该摄像装置可采用模拟摄像头。模拟摄像头可和视频采集卡或者USB视频采集卡配套使用,很方便的跟电脑连接使用。
205、将瞳孔图像与预存瞳孔图像进行比较,以获取瞳孔图像与预存瞳孔图像间的区别信息。
其中,预存瞳孔图像为用户正常(外界环境和用户自身都相对稳定的前提下)观看将实时获取的瞳孔图像与预存瞳孔图像比较,获取瞳孔缩放倍数、瞳孔大小差异等区别信息。
206、基于区别信息以及预设算法计算出对应的滚动速率调整参数。
其中,区别信息中包含多个特征数据,根据实际的预设算法从区别信息中提取有效特征数据进行计算,以生成相应滚动速调整参数。比如,区别信息中包含瞳孔的瞳孔的缩放倍数,假设获取的瞳孔图像与预存瞳孔图像相比,瞳孔缩小了3倍,说明用户当前可能比较疲劳,因此,可以将瞳孔缩小倍数3输入至预设算法中,计算出相应的滚动速率调整参数。
207、根据滚动速率调整参数对初始滚动速率进行调整。
仍以上述瞳孔缩小倍数3为例,可将计算得到的滚动速率调整参数对当前的滚动速率(也即初始滚动速率)进行修正。瞳孔放大则说明用户此时精神饱满,可调快速率,瞳孔缩小则说明用户此时精神萎靡,可调慢速率。故,此处是基于该滚动速率调整参数将初始滚动速率调慢。
208、按照调整后的滚动速率在虚拟内容阅读器上滚动显示目标文档中相应的文档内容,以得到增强现实画面。
具体地,以上述调整后的滚动速率为例,使当前的滚动速率减慢,以适应用户阅读速率,照调整后的滚动速率在虚拟内容阅读器上滚动显示目标文档中相应的文档内容,以得到增强现实画面。
为了使阅读机制更加人性化,还可包括手动阅读的模式,可将当前文档内容自动滚动模式切换为手动滚动。
本发明实施例中,将当前文档内容自动滚动模式切换为手动滚动的方式可以有多种,比如,在一些实施例中,虚拟内容阅读器可包括:文档内容的显示界面和滚动条,可通过长时间注视滚动条切换阅读模式。也即,该方法还可包括以下流程:
获取用户注视滚动条的注视时长;
当注视时长大于第一阈值时,则锁定当前文档内容的显示界面;
感测到用户手势动作,并对手势动作进行解析,以获取手势动作的移动速率;
按照该移动速率在虚拟内容阅读器上滚动显示目标文档中相应的文档内容。
具体地,可通过穿戴人体感应设备以感测用户手势动作,如数据手套、数据衣等外设。首先,采集用户动态手势的视频图像,随后对视频图像中的每一帧图像进行手势和背景的分割。从分割得到的所有图像中,找出动态手势的指尖运动轨迹,并根据动态手势的指尖运动轨迹构建动态手势特征向量,动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量,将动态手势特征向量送入支持向量机,由支持向量机中的分类器进行手势识别,获得动态手势的最优分类解,以识别用户手势。然后将获取到的数据发送至终端等设备进行解析处理,以计算得出手势动作的移动速率。
然后,可按照该移动速率在虚拟内容阅读器上滚动显示目标文档中相应的文档内容,进行“隔空触屏”操作,比较类似于实际应用中的通过触摸终端显示屏进行文档阅读。
在一些实施例中,可以设计增加一些小功能,以增强此阅读方法的实用性,比如,可增加截屏功能。也即,在阅读过程中,该基于增强现实的文档阅读方法,还可以包括以下步骤:
获取用户的眨眼动作;
判断眨眼动作是否满足预设动作要求;
若满足,则基于当前显示界面进行截屏操作,以生成截屏图像。
比如,预设动作要求可以为:左右眼交替眨眼,可以对其眨眼次数进行限定。又比如,预设动作要求可以为:单眼连续眨眼达到某阈值。
在一些实施例中,当用户没有在阅读文档而又没关闭阅读器时,可开启节能模式,以减少设备资源的浪费。也即,在阅读过程中,该基于增强现实的文档阅读方法,还可以包括以下步骤:
当未检测到眼球的时长超过第二阈值时,暂停在虚拟内容阅读器滚动显示目标文档中相应的文档内容;
当未检测到眼球的时长超过第三阈值时,关闭虚拟内容阅读器,其中,第三阈值大于第二阈值。
其中,第二阈值、第三阈值可以由产品生产厂商或本领域技术人员进行设定。比如,该第二阈值可设置为1min,第三阈值可设置为30min。
进一步地,当未检测到眼球的时长超过第二阈值时,若已暂停在虚拟内容阅读器滚动显示目标文档中相应的文档内容,可获取未检测到眼球的初始时刻,并将当前显示画面切换至该初始时刻时虚拟内容阅读器所显示的文档内容画面。当用户再次回归阅读时,便可直接阅读而无需回翻文档。
由上可知,本发明实施例提供了一种基于增强现实的文档阅读方法,通过获取待阅读的目标文档,从多个预设文档类型中确定目标文档所属的目标文档类型,根据目标文档类型获取对应的文档内容的初始滚动速率,基于初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示目标文档中相应的文档内容,以生成增强现实画面,进一步地,通过实时获取用户的瞳孔图像,生成相应的滚动速率调整参数对初始滚动速率进行调整,以适应用户实时的阅读速度。该方案采用增强现实技术,按相应滚动速率在虚拟阅读器上滚动显示文档内容,相对于传统的文档阅读方式,提高了文档阅读的便利性,改善不良的阅读姿势,提升了阅读效率。
参考图3,图3为本发明实施例提供的基于增强现实的文档阅读系统的一种应用场景示意图。
智能手机31与头戴显示设备32建立通信连接。用户佩戴头戴显示设备32后,从智能手机31中选取待阅读的目标文档,智能手机31接收到用户的选择指令,将选取的目标文档数据发送至头戴显示设备32。头戴显示设备32生成虚拟内容阅读器33,并在该虚拟内容阅读器33上显示相应的文档内容331以及滚动条332,并以一定速率将滚动条滚动,以将目标文档中的相应内容在虚拟内容阅读器33上滚动显示。
在本发明又一实施例中,还提供一种基于增强现实的文档阅读装置。如图4所示,该基于增强现实的文档阅读装置4000可以包括文档获取模块401、确定模块402、速率获取模块403、以及显示模块404,其中:
文档获取模块401,用于获取待阅读的目标文档;
确定模块402,用于从多个预设文档类型中确定目标文档所属的目标文档类型;
速率获取模块403,用于根据目标文档类型获取对应的文档内容的初始滚动速率;
显示模块404,用于基于初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示目标文档中相应的文档内容,以得到增强现实画面。
在一些实施例中,参考图5,速率获取模块403包括:
获取子模块4031,用于获取目标文档类型对应的阅读速率,阅读速率基于对用户在历史时间段内阅读目标文档类型的文档的行为习惯信息进行学习而得到;
生成子模块4032,用于根据阅读速率生成相应的文档内容的初始滚动速率。
在一些实施例中,参考图6,装置4000还包括:
捕捉模块405,用于在阅读过程中,实时捕捉用户眼球的瞳孔图像;
比较模块406,用于将瞳孔图像与预存瞳孔图像进行比较,以获取瞳孔图像与预存瞳孔图像间的区别信息;
参数获取模块407,用于基于区别信息以及预设算法计算出对应的滚动速率调整参数;
调整模块408,用于根据滚动速率调整参数对初始滚动速率进行调整;
显示模块404,还用于按照调整后的滚动速率在虚拟内容阅读器上滚动显示目标文档中相应的文档内容。
在一些实施例中,虚拟内容阅读器包括:文档内容的显示界面和滚动条。参考图7,基于增强现实的文档阅读装置4000还包括:
时长获取模块409,用于获取用户注视滚动条的注视时长;
锁定模块410,用于当注视时长大于第一阈值时,则锁定当前文档内容的显示界面;
解析模块411,用于感测到用户手势动作,并对手势动作进行解析,以获取手势动作的移动速率;
显示模块404,还用于按照移动速率在虚拟内容阅读器上滚动显示目标文档中相应的文档内容。
由上可知,本发明实施例提供了一种基于增强现实的文档阅读装置,通过获取待阅读的目标文档,从多个预设文档类型中确定目标文档所属的目标文档类型,根据目标文档类型获取对应的文档内容的初始滚动速率,基于初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示目标文档中相应的文档内容。该方案采用增强现实技术,按相应滚动速率在虚拟阅读器上滚动显示文档内容,相对于传统的文档阅读方式,提高了文档阅读的便利性,改善不良的阅读姿势,提升了阅读效率。
相应地,本发明实施例还提供一种电子设备500,该电子设备500具体可以是智能手机、平板电脑等终端设备。如图8所示,该电子设备500可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、通讯单元503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该电子设备500的控制中心,利用各种接口和线路连接整个电子设备500的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行电子设备500的各种功能和处理数据,从而对电子设备500进行整体监控。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块。处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。本实施例中,存储单元502可用于存储待阅读的目标文档。
通讯单元503可用于收发信息过程中,信号的接收和发送,特别地,通讯单元503接收终端发送的信号,并将该数据获取请求交由一个或者一个以上处理器501处理。同时,通讯单元503将处理器501发出的反馈信号发送给服务器。
电子设备500还包括给各个部件供电的电源504(比如电池)。优选的,电源可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备500还可包括输入单元505,该输入单元505可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备500还可包括显示单元506,该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及电子设备500的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元508可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等
在描述本发明的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中),应该将这些术语解释为既涵盖单数又涵盖复数。此外,除非本文中另有说明,否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值,而每个独立的值都并入本说明书中,就像这些值在本文中单独进行了陈述一样。另外,除非本文中另有指明或上下文有明确的相反提示,否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本发明的改变并不限于描述的步骤顺序。除非另外主张,否则使用本文中所提供的任何以及所有实例或示例性语言(例如,“例如”)都仅仅为了更好地说明本发明的概念,而并非对本发明的概念的范围加以限制。
以上对本发明实施例所提供的一种基于增强现实的文档阅读方法和装置进行了详细介绍。应理解,本文所述的示例性实施方式应仅被认为是描述性的,用于帮助理解本发明的方法及其核心思想,而并不用于限制本发明。在每个示例性实施方式中对特征或方面的描述通常应被视作适用于其他示例性实施例中的类似特征或方面。尽管参考示例性实施例描述了本发明,但可建议所属领域的技术人员进行各种变化和更改。本发明意图涵盖所附权利要求书的范围内的这些变化和更改。

Claims (9)

1.一种基于增强现实的文档阅读方法,其特征在于,包括:
获取待阅读的目标文档;
从多个预设文档类型中确定所述目标文档所属的目标文档类型;其中,通过获取所述目标文档的属性信息,从所述属性信息中提取对应的特征,以确定所述目标文档所属的目标文档类型;
根据所述目标文档类型获取对应的文档内容的初始滚动速率;
基于所述初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示所述目标文档中相应的文档内容,以得到增强现实画面;
其中,在阅读过程中,所述方法还包括:
获取用户的眨眼动作;
判断所述眨眼动作是否满足预设动作要求;
若满足,则基于当前显示界面进行截屏操作,以生成截屏图像。
2.如权利要求1所述的基于增强现实的文档阅读方法,其特征在于,根据所述目标文档类型获取对应的文档内容的初始滚动速率的步骤,包括:
获取所述目标文档类型对应的阅读速率,所述阅读速率基于对用户在历史时间段内阅读所述目标文档类型的文档的行为习惯信息进行学习而得到;
根据所述阅读速率生成相应的文档内容的初始滚动速率。
3.如权利要求1所述的基于增强现实的文档阅读方法,其特征在于,在阅读过程中,所述方法还包括:
实时捕捉用户眼球的瞳孔图像;
将所述瞳孔图像与预存瞳孔图像进行比较,以获取所述瞳孔图像与所述预存瞳孔图像间的区别信息;
基于所述区别信息以及预设算法计算出对应的滚动速率调整参数;
根据所述滚动速率调整参数对所述初始滚动速率进行调整;
按照调整后的滚动速率在虚拟内容阅读器上滚动显示所述目标文档中相应的文档内容。
4.如权利要求1所述的基于增强现实的文档阅读方法,其特征在于,所述虚拟内容阅读器包括:文档内容的显示界面和滚动条,所述方法还包括:
获取用户注视所述滚动条的注视时长;
当所述注视时长大于第一阈值时,则锁定当前文档内容的显示界面;
感测到用户手势动作,并对所述手势动作进行解析,以获取所述手势动作的移动速率;
按照所述移动速率在虚拟内容阅读器上滚动显示所述目标文档中相应的文档内容。
5.如权利要求1所述的基于增强现实的文档阅读方法,其特征在于,所述方法还包括:
当未检测到眼球的时长超过第二阈值时,暂停在虚拟内容阅读器滚动显示所述目标文档中相应的文档内容;
当未检测到眼球的时长超过第三阈值时,关闭所述虚拟内容阅读器,其中,第三阈值大于第二阈值。
6.一种基于增强现实的文档阅读装置,其特征在于,包括:
文档获取模块,用于获取待阅读的目标文档;
确定模块,用于从多个预设文档类型中确定所述目标文档所属的目标文档类型;其中,通过获取所述目标文档的属性信息,从所述属性信息中提取对应的特征,以确定所述目标文档所属的目标文档类型;
速率获取模块,用于根据所述目标文档类型获取对应的文档内容的初始滚动速率;
显示模块,用于基于所述初始滚动速率在增强现实设备的虚拟内容阅读器上实时滚动显示所述目标文档中相应的文档内容,以得到增强现实画面;
其中,在阅读过程中,所述基于增强现实的文档阅读装置还包括:
获取用户的眨眼动作;
判断所述眨眼动作是否满足预设动作要求;
若满足,则基于当前显示界面进行截屏操作,以生成截屏图像。
7.如权利要求6所述的基于增强现实的文档阅读装置,其特征在于,所述速率获取模块包括:
获取子模块,用于获取所述目标文档类型对应的阅读速率,所述阅读速率基于对用户在历史时间段内阅读所述目标文档类型的文档的行为习惯信息进行学习而得到;
生成子模块,用于根据所述阅读速率生成相应的文档内容的初始滚动速率。
8.如权利要求6所述的基于增强现实的文档阅读装置,其特征在于,所述装置还包括:
捕捉模块,用于在阅读过程中,实时捕捉用户眼球的瞳孔图像;
比较模块,用于将所述瞳孔图像与预存瞳孔图像进行比较,以获取所述瞳孔图像与所述预存瞳孔图像间的区别信息;
参数获取模块,用于基于所述区别信息以及预设算法计算出对应的滚动速率调整参数;
调整模块,用于根据所述滚动速率调整参数对所述初始滚动速率进行调整;
所述显示模块,还用于按照调整后的滚动速率在虚拟内容阅读器上滚动显示所述目标文档中相应的文档内容。
9.如权利要求6所述的基于增强现实的文档阅读装置,其特征在于,所述虚拟内容阅读器包括:文档内容的显示界面和滚动条;所述装置还包括:
时长获取模块,用于获取用户注视所述滚动条的注视时长;
锁定模块,用于当所述注视时长大于第一阈值时,则锁定当前文档内容的显示界面;
解析模块,用于感测到用户手势动作,并对所述手势动作进行解析,以获取所述手势动作的移动速率;
所述显示模块,还用于按照所述移动速率在虚拟内容阅读器上滚动显示所述目标文档中相应的文档内容。
CN201710758737.3A 2017-08-29 2017-08-29 基于增强现实的文档阅读方法和装置 Active CN109426342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710758737.3A CN109426342B (zh) 2017-08-29 2017-08-29 基于增强现实的文档阅读方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710758737.3A CN109426342B (zh) 2017-08-29 2017-08-29 基于增强现实的文档阅读方法和装置

Publications (2)

Publication Number Publication Date
CN109426342A CN109426342A (zh) 2019-03-05
CN109426342B true CN109426342B (zh) 2022-04-01

Family

ID=65501934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710758737.3A Active CN109426342B (zh) 2017-08-29 2017-08-29 基于增强现实的文档阅读方法和装置

Country Status (1)

Country Link
CN (1) CN109426342B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572704A (zh) * 2019-09-16 2019-12-13 腾讯科技(深圳)有限公司 一种控制弹幕播放速度的方法、装置、设备及介质
CN111770300B (zh) * 2020-06-24 2022-07-05 Oook(北京)教育科技有限责任公司 一种会议信息处理的方法及虚拟现实头戴设备
CN112001151B (zh) * 2020-08-10 2023-12-19 青岛海尔科技有限公司 用于文档显示的方法及装置、设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
WO2014148696A1 (en) * 2013-03-21 2014-09-25 Lg Electronics Inc. Display device detecting gaze location and method for controlling thereof
CN104166496A (zh) * 2013-05-20 2014-11-26 北大方正集团有限公司 一种电子文档翻页方法和装置
CN105487782A (zh) * 2015-11-27 2016-04-13 惠州Tcl移动通信有限公司 一种基于眼部识别的自动调整滚屏速度的方法及系统
CN105934730A (zh) * 2014-01-23 2016-09-07 微软技术许可有限责任公司 自动内容滚动
CN106713983A (zh) * 2017-01-03 2017-05-24 广东小天才科技有限公司 视频播放的控制方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
WO2014148696A1 (en) * 2013-03-21 2014-09-25 Lg Electronics Inc. Display device detecting gaze location and method for controlling thereof
CN104166496A (zh) * 2013-05-20 2014-11-26 北大方正集团有限公司 一种电子文档翻页方法和装置
CN105934730A (zh) * 2014-01-23 2016-09-07 微软技术许可有限责任公司 自动内容滚动
CN105487782A (zh) * 2015-11-27 2016-04-13 惠州Tcl移动通信有限公司 一种基于眼部识别的自动调整滚屏速度的方法及系统
CN106713983A (zh) * 2017-01-03 2017-05-24 广东小天才科技有限公司 视频播放的控制方法及装置

Also Published As

Publication number Publication date
CN109426342A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
US11650626B2 (en) Systems and methods for extending a keyboard to a surrounding surface using a wearable extended reality appliance
CN104798104B (zh) 使用标记区域对视频流的手势预处理
CN111580652B (zh) 视频播放的控制方法、装置、增强现实设备及存储介质
CN111898407B (zh) 一种基于人脸动作识别的人机交互操作系统
US10643579B2 (en) HMD device and method for controlling same
US20150192990A1 (en) Display control method, apparatus, and terminal
CN109426342B (zh) 基于增强现实的文档阅读方法和装置
WO2022170221A1 (en) Extended reality for productivity
CN111586459A (zh) 一种控制视频播放的方法、装置、电子设备及存储介质
CN112214112A (zh) 参数调节方法及装置
US11328187B2 (en) Information processing apparatus and information processing method
CN106126148B (zh) 显示控制方法及电子设备
Anand et al. Beyond touch: Natural interactions using facial expressions
CN113377220B (zh) 信息存储方法及装置
US20210349533A1 (en) Information processing method, information processing device, and information processing system
KR20170093057A (ko) 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치
CN106445380A (zh) 一种多视角画面操作的方法、系统及移动终端
CN117055733A (zh) 一种沉浸式场景交互系统
CN117994391A (zh) 表情同步方法、装置、电子设备及存储介质
CN116339484A (zh) 可穿戴设备的省电方法、装置、设备及存储介质
CN115345967A (zh) 一种基于智能寝具产品的辅助复习方法及复习巩固系统
WO2023191855A1 (en) Computer platform with shared user experience interface
CN114327031A (zh) Ar眼镜交互方法、装置、计算机可读存储介质及ar眼镜
CN116452781A (zh) 图像显示方法、装置、电子设备和存储介质
CN116033227A (zh) 视频播放方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant