CN108269460B - 一种电子屏幕的阅读方法、系统及终端设备 - Google Patents
一种电子屏幕的阅读方法、系统及终端设备 Download PDFInfo
- Publication number
- CN108269460B CN108269460B CN201810007846.6A CN201810007846A CN108269460B CN 108269460 B CN108269460 B CN 108269460B CN 201810007846 A CN201810007846 A CN 201810007846A CN 108269460 B CN108269460 B CN 108269460B
- Authority
- CN
- China
- Prior art keywords
- module
- user
- sound
- page
- lecture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Abstract
本申请适用于电子信息技术领域,提供了一种电子屏幕的阅读方法、系统及终端设备,包括:接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;获取用户设置,根据所述用户设置生成每个模块的讲述声音;根据每个模块对应的讲述声音向所述用户播放该模块的概要内容。这一过程中智能终端可以在所显示的界面被分成不同的模块后,以不同的讲述声音同时播放不同模块中的概要内容,从而使用户可以在短时间内获取到整个显示界面中内容,使用户如同置身在真实的多人聊天环境中一般。
Description
技术领域
本申请属于电子信息技术领域,尤其涉及一种电子屏幕的阅读方法、系统及终端设备。
背景技术
视力障碍人士,如盲人,是人群中的弱势群体,他们主要是通过听觉和触摸的形式来获取信息。随着计算机技术的不断发展,视力障碍人士可以通过盲人阅读屏幕来获取信息。盲人阅读屏幕中一般采用“屏幕讲述人”的功能模块,这种“屏幕讲述人”的讲述方式仅能根据用户的触摸,将用户触摸区域的内容转换成文字并播放给用户,相较于视觉正常者这种阅读屏幕方式,在任意时刻用户仅能获取屏幕某一具体位置的文本信息;不利于用户迅速获得屏幕整体内容信息,也不能提供给用户当前所讲述信息在屏幕上的空间或位置分布;从而造成用户与阅读屏幕信息交换的效率不高并且用户阅读效率较低,不利于用户体验。
发明内容
有鉴于此,本申请实施例提供了一种电子屏幕的阅读方法、系统及终端设备,以解决现有技术中视力障碍人士通过阅读屏幕获取信息的过程中人机交互效率低的问题。
本发明实施例的第一方面提供了一种电子屏幕的阅读方法,所述电子屏幕的阅读方法包括:
接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;
根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;
获取用户设置,根据所述用户设置生成每个模块的讲述声音;
根据每个模块对应的讲述声音向所述用户播放该模块的概要内容。
本发明实施例的第二方面提供了一种电子屏幕的阅读系统,所述电子屏幕的阅读系统包括:
页面显示单元,用于接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;
分割单元,用于根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;
讲述声音生成单元,用于获取用户设置,根据所述用户设置生成每个模块的讲述声音;
播放单元,用于根据每个模块对应的讲述声音向所述用户播放该模块的概要内容。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如所述电子屏幕的阅读方法中任一项所述方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如所述电子屏幕的阅读方法中任一项所述方法的步骤。
本申请提供的实施例中视力障碍的用户需要通过所述智能终端获取信息时,向智能终端发送显示指令,智能终端接收所述显示指令后,在屏幕上显示用户所要浏览的页面,根据所述页面中显示内容以及所述页面的格式将所述页面分割成不同的模块,并提取每个模块的概要内容;根据用户的设置生成每个模块播放内容时的讲述声音,然后根据所生成的讲述声音向用户播放各个模块的概要内容。这一过程中智能终端可以在所显示的页面被分成不同的模块后,以不同的讲述声音同时播放不同模块中的概要内容,从而使用户可以在短时间内获取到整个显示页面中大致内容;另外,不同模块中讲述声音相对于用户的传播方向不同,可使用户根据不同的声音,定位所听到的内容的方向或位置,使用户如同置身于现实中多人聊天的环境中一般。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种电子屏幕的阅读方法的流程示意图;
图2是本申请实施例一中步骤S13的具体实现流程图;
图3是本申请实施例二提供的一种电子屏幕的阅读方法的流程示意图;
图4是本申请实施例三提供的一种电子屏幕的阅读系统的结构框图;
图5是本申请实施例四提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
本申请提供的实施例提供的方法中视力障碍的用户需要通过所述智能终端获取信息时,向智能终端发送显示指令,智能终端接收所述显示指令后,在屏幕上显示用户所要浏览的页面,根据所述页面中显示内容以及所述页面的格式将所述页面分割成不同的模块,并提取每个模块的概要内容;根据用户的设置生成每个模块播放内容时的讲述声音,然后根据所生成的讲述声音向用户播放各个模块的概要内容,以使用户能够同时获取到所述页面中不同位置处的相关内容信息。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
图1示出了本申请实施例一提供的一种电子屏幕的阅读方法的实现流程示意图,详述如下:
步骤S11,接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;
本申请提供的实施例中存在视力障碍的用户需要通过智能终端获取相关信息时,向智能终端发送显示指令,智能终端根据所接收到的显示指令显示用户所要浏览内容的页面。
可选地,用户发送所述显示指令时可以佩戴安装有头部传感器的设备,如头盔,向智能终端发送显示指令。其中,所述安装有头部传感器的设备用于实时监测用户头部的朝向,其内部还可以搭载指南针、陀螺仪等,然后根据传感器检测的结果依靠计算机视觉技术判断用户的面部朝向。
步骤S12,根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;
该步骤中,对于用户需要浏览的页面,根据所述页面中的内容或/和页面的格式,将屏幕上显示的所述页面分割为不同的模块,确定每个模块在屏幕中的位置。
对于分割后的每一个模块,通过语义分析或用户预设方法生成每个模块中所包含内容的内容属性描述以及每个模块的概要内容,其中,所述内容属性包括正文、菜单、列表、图标按键等;所述概要内容包括一个模块中内容信息的摘要内容。
可选地,在对屏幕上显示的页面进行分割时,具体的分割方式由页面中显示的内容以及智能终端显示页面的格式决定,例如桌面分割可以根据操作系统的桌面布局得到,页面内容布局可以由页面层叠样式表(Cascading Style Sheets,CSS)及超文本标记语言(Hyper Text Markup Language,HTML)得到分割结果。
步骤S13,获取用户设置,根据所述用户设置生成每个模块的讲述声音;
本申请提供的实施例中,根据用户的设置为分割后的每个模块生成不同的讲述声音,所述讲述声音即播放该模块相关内容时的播放声音,生成讲述声音的同时确定该讲述声音相对于用户的传播方向。
例如,根据用户设置可以将页面分割后,某一模块中内容用成年女性声音讲述、其他模块用不同的男声讲述。
可选地,在此之前用户可以根据自身喜好,预先设置智能终端所显示页面被分割后,不同模块播放内容时讲述声音的特点,以及每种讲述声音讲述内容时,相对于用户的传播方向、播放的先后顺序等。
步骤S14,根据每个模块对应的讲述声音向所述用户播放该模块的概要内容。
该步骤中,页面中的不同模块根据所生成的讲述声音播放该模块中所提取出的概要内容。进一步地,每个模块中概要内容的播放顺序可由用户预先进行设置。
例如,根据用户设置,优先以较大音量由成年女性声音播放包含菜单的模块中的内容,声音由用户左侧传来;预设时长后,同时以中等音量由不同的男声播放不同正文栏中的内容标题,声音分别从相对于用户的中间偏左侧和偏右侧等方向传来。以使用户可以在短时间内获取整个页面的概要内容。
本申请提供的实施例中视力障碍的用户需要通过所述智能终端获取信息时,向智能终端发送显示指令,智能终端接收所述显示指令后,在屏幕上显示用户所要浏览的页面,根据所述页面中显示内容以及所述页面的格式将所述页面分割成不同的模块,并提取每个模块的概要内容;根据用户的设置生成每个模块播放内容时的讲述声音,然后根据所生成的讲述声音向用户播放各个模块的概要内容。这一过程中智能终端可以在所显示的页面被分成不同的模块后,以不同的讲述声音同时播放不同模块中的概要内容,从而使用户可以在短时间内获取到整个显示页面中大致内容;另外,不同模块中讲述声音相对于用户的传播方向不同,可使用户根据不同的声音,定位所听到的内容的方向或位置,使用户如同置身于现实中多人聊天的环境中一般。
可选地,在本申请提供的另一实施例中所述根据所述用户设置生成每个模块的讲述声音,包括:
根据所述用户设置获取每个模块进行内容播放时播放声音的特征信息;
获取每个模块在所述页面中所处的位置,确定每个模块的播放声音的声源在空间中的方位信息;
根所述特征信息和所述方位信息生成每个模块的讲述声音。
具体地,获取用户设置的不同模块进行内容播放时播放声音的特征信息,如音色、音量以及讲述声音顺序优先级等信息,然后结合每个模块在所显示的页面中的位置,确定播放该模块内容的讲述声音相对于用户的空间位置,即该讲述声音相对于用户的传播方向,然后根据所述特征信息以及播放声音的声源相对于用户的空间位置生成每个模块的讲述声音。
可选地,如图2所示,在本申请提供的另一实施例中所述根据每个模块对应的讲述声音向所述用户播放该模块的概要内容,包括:
步骤S21,根据每个模块的讲述声音以及该模块的概要内容生成该模块的立体声音频;
步骤S22,合成每个模块的立体声音频成一个叠加音频;
步骤S23,根据每个模块的讲述声音的优先等级,依次播放所述叠加音频中每个模块的概要内容。
具体地,对于所确定的每个模块的讲述声音,通过头部相关变换函数(HeadRelated Transfer Function,HRTF)将模块的文本以及该模块提取的概要内容合成为立体声音频。HRTF通过模拟人体(耳廓,头部,胸等部位)对声音的反射与滤波效果,从而模拟出声音产生来自三维空间中不同方向的效果。然后将每个模块的立体声音频叠加,合成出一个立体声音的叠加音频。所述叠加音频中包含了来自不同方向的声音,分别讲述所显示的页面中不同模块的内容信息。
HRTF可以通过调整左右声道的声音延迟、音量大小以及使用滤波器模拟人头部、耳廓、肩膀等部位对声音的滤波作用等方法产生出来自不同空间方位的立体声音,并且产生的声音方位信息源于被讲述文本在显示页面中的位置以及用户偏好设置,因此,可以帮助盲人在听觉层面建立对屏幕信息的空间分布的认知。
可选地,可以按照不同模块的立体声音频的声音顺序优先级,按照一定的时间偏移进行合成,得到叠加音频。此时,叠加音频播放时可先播放一个模块中的内容,一定时间后再播放另一模块中的内容;并且播放所述另一模块中内容时,可同时播放之前所播放的内容。
该过程中采用具有不同空间信息、人声、音量的声音融合的多声音向用户播放显示页面中的内容,多声音融合的讲述方式能够以不同、且易于分辨的声音,同时向用户播放不同模块中所显示的内容,易于盲人无障碍地同时倾听并分辨出所听到的不同内容,可以显著提升用户通过听觉获取屏幕信息的信道带宽。
实施例二:
图3示出了本申请另一实施例中提供的一种电子屏幕的阅读方法的实现流程图,详述如下:
步骤S31,接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;
步骤S32,根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;
步骤S33,获取用户设置,根据所述用户设置生成每个模块的讲述声音;
步骤S34,根据每个模块对应的讲述声音向所述用户播放该模块的概要内容。
步骤S31-S34的实现过程,参见实施例一中步骤S11-S14的实现过程,在此不再赘述。
步骤S35,检测所述用户的面部朝向,确定所述面部朝向对应的声源方向;
本申请提供的实施例中,当用户根据所听到的每个模块的概要内容选择自己要进一步了解的模块的内容时,转动头部以更好的收听该方向上的内容;此时,通过用户佩戴的设置有头部传感器的设备检测用户的面部朝向的变化情况,确定用户的头部转动后,面部所朝向的方向,以确定面部朝向对应的声源方向。
可选地,所述用户佩戴的设置有头部传感器的设备可以是内置加速度传感器VR的眼镜、VR眼镜壳加配置有指南针与加速度传感器的智能手机、亦或是带有上述传感器的帽子、头带等设备。
步骤S36,根据用户指示增加预设数量的所述声源方向上讲述声音的音量权重,和/或,播放所述讲述声音对应模块的内容信息。
该步骤中用户头部转动后确定其面部朝向对应的声源方向,根据用户的指示增加预设数量的该声源方向上讲述声音的权重,或/和播放所述讲述声音对应模块的内容信息,以使用户可以更清楚、详细的听到该声源方向上所播放的内容。
可选地,用户可以通过输入设备如耳机按键、移动电子设备物理或虚拟按键、键盘等增加所述声源方向上的声音权重。
可选地,在检测所述用户的面部朝向,确定所述面部朝向对应的声源方向之前,包括:
获取用户所佩戴的传感器初始化时所述用户的面部朝向;以所述传感器初始化时所述用户的面部朝向为方向基点,计算每个模块播放所述概要内容的声源相对于所述用户的空间位置。
本申请提供的实施例中用户佩戴设置有头部传感器的设备,如头盔,然后对用户所在位置进行初始化:用户将头部朝向一个方向,选择初始化的面部朝向。系统将当前用户面部朝向为方向基点,作为播放声音来源的正前方。然后再确定每个模块的讲述声音的声音来源相对于用户的空间位置。
可选地,初始化过程也可以在系统开始运行时自动运行,将初始时用户的面部朝向作为正前方。
本申请提供的实施例中在以每个模块的讲述声音播放相应模块的概要内容后,检测用户头部的转动情况,从而确定用户转动头部后的面部朝向对应的生源方向,根据用户指示增加所述声源方向的声音权重,减少其他声源方向上的声音权重,既能使用户清楚的听到其想要获取的内容信息,又能增强用户置身于多人聊天环境中的感觉。
实施例三:
对应于上文实施例所述的电子屏幕的阅读方法,图4示出了本发明实施例提供的一种电子屏幕的阅读系统的结构框图,为了便于说明,仅示出了与本发明实施例相关的部分。
参照图4,该电子屏幕的阅读系统包括:页面显示单元41、分割单元42、讲述声音生成单元43、播放单元44,其中:
页面显示单元41,用于接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;
分割单元42,用于根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;
讲述声音生成单元43,用于获取用户设置,根据所述用户设置生成每个模块的讲述声音;
播放单元44,用于根据每个模块对应的讲述声音向所述用户播放该模块的概要内容。
可选地,所述电子屏幕的阅读系统,还包括:
音量调节单元,用于检测所述用户的面部朝向,确定所述面部朝向对应的声源方向;根据用户指示增加预设数量的所述声源方向上讲述声音的音量权重,和/或,播放所述讲述声音对应模块的内容信息。
可选地,所述讲述声音生成单元43,包括:
第一获取模块,用于根据所述用户设置获取每个模块进行内容播放时播放声音的特征信息;
第二获取模块,用于获取每个模块在所述页面中所处的位置,确定每个模块的播放声音的声源在空间中的方位信息;
生成模块,用于根所述特征信息和所述方位信息生成每个模块的讲述声音。
可选地,所述播放单元44,包括:
立体声音频生成模块,用于根据每个模块的讲述声音以及该模块的概要内容生成该模块的立体声音频;
合成模块,用于合成每个模块的立体声音频成一个叠加音频;
概要内容播放模块,用于根据每个模块的讲述声音的优先等级,依次播放所述叠加音频中每个模块的概要内容。
可选地,所述讲述声音生成单元43,包括:
空间位置计算单元,用于获取用户所佩戴的传感器初始化时所述用户的面部朝向;以所述传感器初始化时所述用户的面部朝向为方向基点,计算每个模块播放所述概要内容的声源相对于所述用户的空间位置。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例四:
图5是本发明一实施例提供的终端设备的示意图。如图5所示,该实施例的终端设备5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个分屏显示方法实施例中的步骤,例如图1所示的步骤S11至S14。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能,例如图4所示单元41至44的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。例如,所述计算机程序52可以被分割成:页面显示单元、分割单元、讲述声音生成单元、播放单元,其中:
页面显示单元,用于接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;
分割单元,用于根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;
讲述声音生成单元,用于获取用户设置,根据所述用户设置生成每个模块的讲述声音;
播放单元,用于根据每个模块对应的讲述声音向所述用户播放该模块的概要内容。
可选地,所述电子屏幕的阅读系统,还包括:
音量调节单元,用于检测所述用户的面部朝向,确定所述面部朝向对应的声源方向;根据用户指示增加预设数量的所述声源方向上讲述声音的音量权重,和/或,播放所述讲述声音对应模块的内容信息。
可选地,所述讲述声音生成单元,包括:
第一获取模块,用于根据所述用户设置获取每个模块进行内容播放时播放声音的特征信息;
第二获取模块,用于获取每个模块在所述页面中所处的位置,确定每个模块的播放声音的声源在空间中的方位信息;
生成模块,用于根所述特征信息和所述方位信息生成每个模块的讲述声音。
可选地,所述播放单元,包括:
立体声音频生成模块,用于根据每个模块的讲述声音以及该模块的概要内容生成该模块的立体声音频;
合成模块,用于合成每个模块的立体声音频成一个叠加音频;
概要内容播放模块,用于根据每个模块的讲述声音的优先等级,依次播放所述叠加音频中每个模块的概要内容。
可选地,所述讲述声音生成单元,包括:
空间位置计算单元,用于获取用户所佩戴的传感器初始化时所述用户的面部朝向;以所述传感器初始化时所述用户的面部朝向为方向基点,计算每个模块播放所述概要内容的声源相对于所述用户的空间位置。
所述终端设备可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是终端设备5的示例,并不构成对终端设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元,例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备,例如所述终端设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (6)
1.一种电子屏幕的阅读方法,其特征在于,所述电子屏幕的阅读方法包括:
接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;
根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;
获取用户设置,根据所述用户设置生成每个模块的讲述声音;
根据每个模块对应的讲述声音向所述用户播放该模块的概要内容;
检测所述用户的面部朝向,确定所述面部朝向对应的声源方向;
根据用户指示增加预设数量的所述声源方向上讲述声音的音量权重,和/或,播放所述声源方向上讲述声音对应模块的内容信息;
所述根据所述用户设置生成每个模块的讲述声音,包括:
根据所述用户设置获取每个模块进行内容播放时播放声音的特征信息;
获取每个模块在所述页面中所处的位置,确定每个模块的播放声音的声源在空间中的方位信息;
根据所述特征信息和所述方位信息生成每个模块的讲述声音。
2.如权利要求1所述的电子屏幕的阅读方法,其特征在于,所述根据每个模块对应的讲述声音向所述用户播放该模块的概要内容,包括:
根据每个模块的讲述声音以及该模块的概要内容生成该模块的立体声音频;
合成每个模块的立体声音频成一个叠加音频;
根据每个模块的讲述声音的优先等级,依次播放所述叠加音频中每个模块的概要内容。
3.如权利要求1所述的电子屏幕的阅读方法,其特征在于,在所述检测所述用户的面部朝向,确定所述面部朝向对应的声源方向之前,包括:
获取用户所佩戴的传感器初始化时所述用户的面部朝向;
以所述传感器初始化时所述用户的面部朝向为方向基点,计算每个模块播放所述概要内容的声源相对于所述用户的空间位置。
4.一种电子屏幕的阅读系统,其特征在于,所述电子屏幕的阅读系统包括:
页面显示单元,用于接收用户的显示指令,根据所述显示指令显示用户所要浏览的页面;
分割单元,用于根据所述页面所显示的内容分割所述页面成至少两个模块,提取每个模块的概要内容;
讲述声音生成单元,用于获取用户设置,根据所述用户设置生成每个模块的讲述声音;
播放单元,用于根据每个模块对应的讲述声音向所述用户播放该模块的概要内容;
音量调节单元,用于检测所述用户的面部朝向,确定所述面部朝向对应的声源方向;根据用户指示增加预设数量的所述声源方向上讲述声音的音量权重,和/或,播放所述声源方向讲述声音对应模块的内容信息;
所述讲述声音生成单元,包括:
第一获取模块,用于根据所述用户设置获取每个模块进行内容播放时播放声音的特征信息;
第二获取模块,用于获取每个模块在所述页面中所处的位置,确定每个模块的播放声音的声源在空间中的方位信息;
生成模块,用于根据所述特征信息和所述方位信息生成每个模块的讲述声音。
5.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述方法的步骤。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810007846.6A CN108269460B (zh) | 2018-01-04 | 2018-01-04 | 一种电子屏幕的阅读方法、系统及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810007846.6A CN108269460B (zh) | 2018-01-04 | 2018-01-04 | 一种电子屏幕的阅读方法、系统及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108269460A CN108269460A (zh) | 2018-07-10 |
CN108269460B true CN108269460B (zh) | 2020-05-08 |
Family
ID=62773480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810007846.6A Expired - Fee Related CN108269460B (zh) | 2018-01-04 | 2018-01-04 | 一种电子屏幕的阅读方法、系统及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108269460B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111324275B (zh) * | 2018-12-17 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 显示画面中元素的播报方法及装置 |
US11789696B2 (en) * | 2021-03-23 | 2023-10-17 | Microsoft Technology Licensing, Llc | Voice assistant-enabled client application with user view context |
CN113672193A (zh) * | 2021-08-23 | 2021-11-19 | 维沃移动通信有限公司 | 音频数据播放方法与装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020003964A (ko) * | 2000-06-28 | 2002-01-16 | 박기범 | 시각장애자용 컴퓨터화면낭독방법 |
CN101950244A (zh) * | 2010-09-20 | 2011-01-19 | 宇龙计算机通信科技(深圳)有限公司 | 一种用户界面上的内容信息的提示方法及装置 |
JP2012104092A (ja) * | 2010-11-11 | 2012-05-31 | Atlab Co Ltd | 視覚障害者による客体操作が可能なタッチスクリーン装置及びその装置における客体操作方法 |
CN103631506A (zh) * | 2012-08-24 | 2014-03-12 | 腾讯科技(深圳)有限公司 | 基于终端的阅读方法及相应的终端 |
CN104461545A (zh) * | 2014-12-12 | 2015-03-25 | 百度在线网络技术(北京)有限公司 | 将移动终端中内容提供至用户的方法及装置 |
CN104461346A (zh) * | 2014-10-20 | 2015-03-25 | 天闻数媒科技(北京)有限公司 | 一种视障人士触控屏幕的方法、装置及智能触屏移动终端 |
CN105843402A (zh) * | 2016-05-12 | 2016-08-10 | 深圳市联谛信息无障碍有限责任公司 | 基于可穿戴设备的读屏应用指令输入方法及装置 |
CN106055260A (zh) * | 2016-06-03 | 2016-10-26 | 深圳市联谛信息无障碍有限责任公司 | 一种安全键盘的读屏方法及装置 |
CN106406867A (zh) * | 2016-09-05 | 2017-02-15 | 深圳市联谛信息无障碍有限责任公司 | 一种基于android系统的读屏方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104508601B (zh) * | 2012-05-30 | 2017-11-21 | 寇平公司 | 具有改良的虚拟显示功能的头戴式电脑 |
US20140328505A1 (en) * | 2013-05-02 | 2014-11-06 | Microsoft Corporation | Sound field adaptation based upon user tracking |
CN103905810B (zh) * | 2014-03-17 | 2017-12-12 | 北京智谷睿拓技术服务有限公司 | 多媒体处理方法及多媒体处理装置 |
CN105487744A (zh) * | 2014-09-23 | 2016-04-13 | 中兴通讯股份有限公司 | 一种无障碍智能终端实现交互的方法及装置 |
US9652124B2 (en) * | 2014-10-31 | 2017-05-16 | Microsoft Technology Licensing, Llc | Use of beacons for assistance to users in interacting with their environments |
CN105843404A (zh) * | 2016-05-12 | 2016-08-10 | 深圳市联谛信息无障碍有限责任公司 | 基于读屏应用指令输入方法及装置 |
-
2018
- 2018-01-04 CN CN201810007846.6A patent/CN108269460B/zh not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020003964A (ko) * | 2000-06-28 | 2002-01-16 | 박기범 | 시각장애자용 컴퓨터화면낭독방법 |
CN101950244A (zh) * | 2010-09-20 | 2011-01-19 | 宇龙计算机通信科技(深圳)有限公司 | 一种用户界面上的内容信息的提示方法及装置 |
JP2012104092A (ja) * | 2010-11-11 | 2012-05-31 | Atlab Co Ltd | 視覚障害者による客体操作が可能なタッチスクリーン装置及びその装置における客体操作方法 |
CN103631506A (zh) * | 2012-08-24 | 2014-03-12 | 腾讯科技(深圳)有限公司 | 基于终端的阅读方法及相应的终端 |
CN104461346A (zh) * | 2014-10-20 | 2015-03-25 | 天闻数媒科技(北京)有限公司 | 一种视障人士触控屏幕的方法、装置及智能触屏移动终端 |
CN104461545A (zh) * | 2014-12-12 | 2015-03-25 | 百度在线网络技术(北京)有限公司 | 将移动终端中内容提供至用户的方法及装置 |
CN105843402A (zh) * | 2016-05-12 | 2016-08-10 | 深圳市联谛信息无障碍有限责任公司 | 基于可穿戴设备的读屏应用指令输入方法及装置 |
CN106055260A (zh) * | 2016-06-03 | 2016-10-26 | 深圳市联谛信息无障碍有限责任公司 | 一种安全键盘的读屏方法及装置 |
CN106406867A (zh) * | 2016-09-05 | 2017-02-15 | 深圳市联谛信息无障碍有限责任公司 | 一种基于android系统的读屏方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108269460A (zh) | 2018-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200186912A1 (en) | Audio headset device | |
TWI647593B (zh) | 模擬環境顯示系統及方法 | |
CN111294724B (zh) | 多个音频流的空间重新定位 | |
CN108269460B (zh) | 一种电子屏幕的阅读方法、系统及终端设备 | |
McGill et al. | Acoustic transparency and the changing soundscape of auditory mixed reality | |
US20190335292A1 (en) | An Apparatus and Associated Methods | |
CN109254752B (zh) | 3d音效处理方法及相关产品 | |
CN111818441B (zh) | 音效实现方法、装置、存储介质及电子设备 | |
JP2021535632A (ja) | オーディオ信号の処理用の方法及び装置 | |
CN107340862A (zh) | 一种基于虚拟现实的犯罪过程分析系统与方法 | |
Sodnik et al. | Spatial auditory human-computer interfaces | |
Bujacz et al. | Sound of Vision-Spatial audio output and sonification approaches | |
KR20210008788A (ko) | 전자 장치 및 그 제어 방법 | |
CN114693890A (zh) | 一种增强现实交互方法及电子设备 | |
JP2016067817A (ja) | シミュレーションゲームシステム、情報処理方法及びプログラム | |
CN112073891A (zh) | 用于生成头部相关传递函数的系统和方法 | |
CN114339582B (zh) | 双通道音频处理、方向感滤波器生成方法、装置以及介质 | |
Jenny et al. | Can I trust my ears in VR? Literature review of head-related transfer functions and valuation methods with descriptive attributes in virtual reality | |
JP6651231B2 (ja) | 携帯情報端末、情報処理装置、及びプログラム | |
CN111314553B (zh) | 音量调节方法、装置、终端及存储介质 | |
CN114520950A (zh) | 音频输出方法、装置、电子设备及可读存储介质 | |
JP2018152834A (ja) | 仮想聴覚環境において音声信号出力を制御する方法及び装置 | |
CN112770228A (zh) | 音频播放方法、装置、音频播放设备、电子设备及介质 | |
CN102568535A (zh) | 互动式声音录放装置 | |
CN113039815A (zh) | 声音生成方法及执行其的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200508 Termination date: 20210104 |