CN113076049B - 点读控制方法、系统和设备 - Google Patents
点读控制方法、系统和设备 Download PDFInfo
- Publication number
- CN113076049B CN113076049B CN202110390369.8A CN202110390369A CN113076049B CN 113076049 B CN113076049 B CN 113076049B CN 202110390369 A CN202110390369 A CN 202110390369A CN 113076049 B CN113076049 B CN 113076049B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- page
- coordinate system
- determining
- electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Abstract
本申请涉及一种点读控制方法、系统和设备,其中,该点读控制方法包括:获取纸质书本的封面图像,并确定与封面图像相对应的电子书本;获取纸质书本的书页图像,并在书页图像上建立第一坐标系,确定书页图像上的点读区域在第一坐标系中的第一坐标;根据电子书本和书页图像,确定与书页图像相对应的电子书页,并在电子书页上建立第二坐标系,根据第一坐标系和第二坐标系的映射关系,确定与第一坐标相对应的第二坐标;根据第二坐标确定电子书页的勾勒区域,并读报勾勒区域的内容,通过本申请,解决了智能设备点读操作较为繁琐的问题,可以便捷地进行电子设备的点读,有利于提升用户的使用体验。
Description
技术领域
本申请涉及点读识别技术领域,特别是涉及一种点读控制方法、系统和设备。
背景技术
近年来,智能设备被广泛应用于学习辅导,智能设备(例如点读机)可以提供点读模式(点读模式也被称为点读功能),以辅助用户学习发音。
在相关技术中,用户若想使用智能设备的点读模式,用户需要手动点击智能设备的点读模式对应的虚拟按钮来对纸质书本进行点读,操作较为繁琐,从而会降低用户体验。
针对相关技术中,智能设备点读操作较为繁琐的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种点读控制方法、系统和设备,以至少解决相关技术中,智能设备点读操作较为繁琐的问题。
第一方面,本申请实施例提供了一种点读控制方法,应用于智能设备,所述方法包括:
获取纸质书本的封面图像,并确定与所述封面图像相对应的电子书本;
获取纸质书本的书页图像,并在所述书页图像上建立第一坐标系,确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标;
根据所述电子书本和所述书页图像,确定与所述书页图像相对应的电子书页,并在所述电子书页上建立第二坐标系,根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的第二坐标;
根据所述第二坐标确定所述电子书页的勾勒区域,并读报所述勾勒区域的内容。
在其中一些实施例中,所述获取纸质书本的书页图像之后,所述确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标之前,所述方法包括,确定所述书页图像上是否存在所述点读区域,若否,获取所述电子书页的全部所述勾勒区域,并读报所述勾勒区域的内容。
在其中一些实施例中,在存在多个所述勾勒区域的情况下,所述方法包括,按照多个所述勾勒区域之间的位置关系,逐个读报所述勾勒区域的内容。
在其中一些实施例中,得到所述电子书页的勾勒区域之后,所述方法包括,获取与所述勾勒区域相对应的点读数据,并对所述点读数据进行数据转化,得到声音信号和文字信号,并读报所述声音信号内容和显示所述文字信号内容。
在其中一些实施例中,所述获取纸质书本的封面图像之后,所述方法包括,确定是否存在与所述封面图像相对应的电子书本,若否,生成提示信息,其中,所述提示信息指示录入所述电子书本。
第二方面,本申请实施例提供了一种点读控制系统,应用于智能设备,所述系统包括:
获取模块,用于获取纸质书本的封面图像,并确定与所述封面图像相对应的电子书本;
定位模块,用于获取纸质书本的书页图像,并在所述书页图像上建立第一坐标系,确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标;
确定模块,用于根据所述电子书本和所述书页图像,确定与所述书页图像相对应的电子书页,并在所述电子书页上建立第二坐标系,根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的第二坐标;
读报模块,用于根据所述第二坐标确定所述电子书页的勾勒区域,并读报所述勾勒区域的内容。
在其中一些实施例中,所述定位模块还用于,在获取纸质书本的书页图像之后,在确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标之前,确定所述书页图像上是否存在所述点读区域;
所述读报模块还用于,在所述书页图像上不存在所述点读区域的情况下,获取所述电子书页的全部所述勾勒区域,并读报所述勾勒区域的内容。
在其中一些实施例中,所述读报模块还用于,在存在多个所述勾勒区域的情况下,按照多个所述勾勒区域之间的位置关系,逐个读报所述勾勒区域的内容。
在其中一些实施例中,所述读报模块还用于,得到所述电子书页的勾勒区域之后,获取与所述勾勒区域相对应的点读数据,并对所述点读数据进行数据转化,得到声音信号和文字信号,并读报所述声音信号内容和显示所述文字信号内容。
第三方面,本申请实施例提供了一种点读设备,所述设备包括:
拍摄装置,用于拍摄纸质书本的封面图像和书页图像;
通信装置,用于获取电子书本和电子书页,和/或,
存储装置,用于存储所述电子书本和所述电子书页;
处理装置,用于获取所述封面图像,并确定与所述封面图像相对应的所述电子书本;获取所述书页图像,并在所述书页图像上建立第一坐标系,确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标;根据所述电子书本和所述书页图像,确定与所述书页图像相对应的所述电子书页,并在所述电子书页上建立第二坐标系;根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的第二坐标,并根据所述第二坐标确定所述电子书页的勾勒区域;发送指令,所述指令指示读报所述勾勒区域的内容;
读报装置,用于接收所述指令并读报所述勾勒区域的内容。
相比于相关技术,本申请实施例提供的点读控制方法,通过获取纸质书本的封面图像,并确定与封面图像相对应的电子书本;获取纸质书本的书页图像,并在书页图像上建立第一坐标系,确定书页图像上的点读区域在第一坐标系中的第一坐标;根据电子书本和书页图像,确定与书页图像相对应的电子书页,并在电子书页上建立第二坐标系,根据第一坐标系和第二坐标系的映射关系,确定与第一坐标相对应的第二坐标;根据第二坐标确定电子书页的勾勒区域,并读报勾勒区域的内容,解决了智能设备点读操作较为繁琐的问题,可以便捷地进行电子设备的点读,有利于提升用户的使用体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的点读控制方法的应用环境示意图;
图2是根据本申请实施例的点读控制方法的流程图;
图3是根据本申请实施例的在不存在点读区域的情况下的处理方法的流程图;
图4是根据本申请实施例的点读控制系统的结构框图;
图5是根据本申请实施例的点读设备的结构框图;
图6是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请提供的点读控制方法,可以应用于如图1所示的应用环境中,图1是根据本申请实施例的点读控制方法的应用环境示意图,如图1所示,智能设备101与服务器102通过网络进行通信,其中,智能设备101可以是手机、电话手表、电脑和点读设备等,服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现,可选的,该服务器102可以是云服务器(Elastic Compute Service),该服务器102内存储有有电子书库,该电子书库内包括多本电子书本;用户使用该智能设备101时,将智能设备101调整在合适位置,使智能设备101自身或者外接摄像头对准纸质书本的封面进行拍照,从而该智能设备101可以获得纸质书本的封面图像,智能设备101提取封面图像的特征;智能设备101与服务器102通过网络进行通信,智能设备101根据封面图像的特征,与电子书库中的电子书本进行匹配,从而确定与该封面图像相对应的电子书本;在用户翻开纸质书本的任意一页的情况下,该智能设备101通过自身或者外接摄像头对准纸质书页进行拍照,从而该智能设备101可以获得纸质书本的书页图像,智能设备101提取书页图像的特征,智能设备101与服务器102通过网络进行通信,智能设备101根据书页图像的特征,与该电子书本内的一张或多张电子书页进行匹配,从而确定与该书页图像相对应的电子书页。
本实施例提供了一种点读控制方法,应用于智能设备101,图2是根据本申请实施例的点读控制方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取纸质书本的封面图像,并确定与封面图像相对应的电子书本,例如,获取纸质书本的封面图像后,提取封面图像的特征并与服务器建立通信连接,根据封面图像的特征在服务器内的电子书库中进行检索,确定与封面图像相匹配的电子书本,可选的,该特征可以是封面图像的文字、图片和色彩等,此外,在电子书库中没有与封面图像相匹配的电子书本的情况下,生成提示信息,其中,该提示信息指示电子书库维护人员录入电子书本,从而可以不断完善电子书库,并且生成提示信息后,程序处理器不再执行步骤S202至S204,从而程序处理器能够更快地生成提示信息与服务器102响应,系统响应度高;
步骤S202,获取纸质书本的书页图像,并在书页图像上建立第一坐标系,确定书页图像上的点读区域在第一坐标系中的第一坐标,例如,获取纸质书本的书页图像后,在书页图像上建立第一坐标系,识别书页图像上的指示器(该指示器可以是手指或笔尖等),根据指示器的位置确定点读区域,并确定书页图像上的点读区域在第一坐标系中的第一坐标;
步骤S203,根据电子书本和书页图像,确定与书页图像相对应的电子书页,并在电子书页上建立第二坐标系,根据第一坐标系和第二坐标系的映射关系,确定与第一坐标相对应的第二坐标,例如,提取书页图像的特征并与服务器建立通信连接,根据书页图像的特征与服务器内的电子书库中的该电子书本内的一张或多张电子书页进行匹配,确定与书页图像相匹配的电子书页,可选的,该特征可以是书页图像的文字、图片和色彩等,确定电子书页之后,在该电子书页上建立第二坐标系,其中,对于第一坐标系中的每一个第一坐标,都在第二坐标系中存在第二坐标与该第一坐标相对应,且该第二坐标为电子书页上的勾勒区域在第二坐标系中的坐标,该第一坐标系和第二坐标系的映射关系可以预先设置,建立第二坐标系后,根据第一坐标系和第二坐标系的映射关系,确定与第一坐标相对应的第二坐标;
步骤S204,根据第二坐标确定电子书页的勾勒区域,并读报勾勒区域的内容,例如,根据第二坐标确定电子书页的勾勒区域,获取与勾勒区域相对应的点读数据,该点读数据可以预先设置,该点读数据可以是勾勒区域的文字内容,也可以是对勾勒区域的文字、图片等的讲解,获取到点读数据之后,对点读数据进行数据转化,得到声音信号并读报声音信号内容,可选的,在得到声音信号的同时,可以对点读数据进行数据转化得到文字信号,从而读报声音信号内容并显示文字信号内容,使得用户在进行点读的时候能够将声音与图像双重结合,提高了用户的使用体验。
通过上述步骤S201至S204,相对于现有技术中用户需要手动点击智能设备101的点读模式对应的虚拟按钮来对纸质书本进行点读,操作较为繁琐的问题,本实施例通过获取纸质书本的封面图像,并确定与封面图像相对应的电子书本;获取纸质书本的书页图像,并在书页图像上建立第一坐标系,确定书页图像上的点读区域在第一坐标系中的第一坐标;根据电子书本和书页图像,确定与书页图像相对应的电子书页,并在电子书页上建立第二坐标系,根据第一坐标系和第二坐标系的映射关系,确定与第一坐标相对应的第二坐标;根据第二坐标确定电子书页的勾勒区域,并读报勾勒区域的内容,用户学习时打开纸质书本,指一下纸质书页的任意位置,该智能设备101即可针对该位置进行点读,省去了用户手动点击智能设备101的按钮来进行点读的操作,解决了智能设备101点读操作较为繁琐的问题,有利于提升用户的使用体验。
可选的,在存在多个点读区域的情况下,该方法包括,按照多个点读区域之间的位置关系,逐个读报勾勒区域的内容;例如,存在A和B两个点读区域,分别确定A点的第一坐标和B点的第一坐标,从而分别确定A点对应的第二坐标对应的勾勒区域,以及B点对应的第二坐标对应的勾勒区域;再确定A点的第一坐标的纵坐标(记做第一纵坐标)与B点的第一坐标的纵坐标(第二纵坐标)之间的大小关系,在第一纵坐标大于第二纵坐标的情况下,读报A点对应的勾勒区域的内容,再读报B点对应的勾勒区域的内容;在第一纵坐标小于第二纵坐标的情况下,读报B点对应的勾勒区域的内容,再读报A点对应的勾勒区域的内容;在第一纵坐标等于第二纵坐标的情况下,确定A点的第一坐标的横坐标(记做第一横坐标)与B点的第一坐标的横坐标(第二横坐标)之间的大小关系,在第一横坐标大于第二横坐标的情况下,读报B点对应的勾勒区域的内容,再读报A点对应的勾勒区域的内容;在第一横坐标小于第二横坐标的情况下,读报A点对应的勾勒区域的内容,再读报B点对应的勾勒区域的内容;进一步的,在A点对应的第二坐标与B点对应的第二坐标相同的情况下,可以仅读报A点(或B点)对应的勾勒区域的内容。
在其中一些实施例中,图3是根据本申请实施例的在不存在点读区域的情况下的处理方法的流程图,如图3所示,获取纸质书本的书页图像之后,确定书页图像上的点读区域在第一坐标系中的第一坐标之前,该方法包括如下步骤:
步骤S301,确定书页图像上是否存在点读区域,若否,获取电子书页的全部勾勒区域,并读报勾勒区域的内容,可选的,可以按照多个勾勒区域之间的位置关系,逐个读报勾勒区域的内容,进一步的,在逐个读报勾勒区域的内容的过程中,不断获取新的书页图像,确定新的书页图像上是否存在点读区域,若是,停止读报勾勒区域的内容,并针对获取到的该新的书页图像执行该点读控制方法。
通过上述步骤S301,相对于现有技术中用户需要手动点击智能设备101的点读模式对应的虚拟按钮来对纸质书本进行点读,操作较为繁琐的问题,本实施例通过获取纸质书本的书页图像之后,确定书页图像上是否存在点读区域,若否,获取电子书页的全部勾勒区域,并读报勾勒区域的内容,使得用户学习时若想对纸质书页整页进行点读,可以打开纸质书本,不需要用户多次指定纸质书页中的多个点读区域,该智能设备101在确定书页图像上不存在点读区域的情况下,会针对该纸质书页执行整页点读,解决了智能设备101点读操作较为繁琐的问题,提升了用户的使用体验。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种点读控制系统,该系统用于实现上述实施例,图4是根据本申请实施例的点读控制系统的结构框图,如图4所示,该系统包括:
获取模块41,用于获取纸质书本的封面图像,并确定与封面图像相对应的电子书本;
定位模块42,用于获取纸质书本的书页图像,并在书页图像上建立第一坐标系,确定书页图像上的点读区域在第一坐标系中的第一坐标;
确定模块43,用于根据电子书本和书页图像,确定与书页图像相对应的电子书页,并在电子书页上建立第二坐标系,根据第一坐标系和第二坐标系的映射关系,确定与第一坐标相对应的第二坐标;
读报模块44,用于根据第二坐标确定电子书页的勾勒区域,并读报勾勒区域的内容。
在其中一些实施例中,定位模块42还用于,在获取纸质书本的书页图像之后,在确定书页图像上的点读区域在第一坐标系中的第一坐标之前,确定书页图像上是否存在点读区域;
读报模块44还用于,在书页图像上不存在点读区域的情况下,获取电子书页的全部勾勒区域,并读报勾勒区域的内容。
在其中一些实施例中,读报模块44还用于,在存在多个勾勒区域的情况下,按照多个勾勒区域之间的位置关系,逐个读报勾勒区域的内容。
在其中一些实施例中,读报模块44还用于,得到电子书页的勾勒区域之后,获取与勾勒区域相对应的点读数据,并对点读数据进行数据转化,得到声音信号和文字信号,并读报声音信号内容和显示文字信号内容。
本实施例还提供了一种点读设备,图5是根据本申请实施例的点读设备的结构框图,如图5所示,该设备包括:
拍摄装置51,用于拍摄纸质书本的封面图像和书页图像,可选的,该拍摄装置51可以是摄像头;
通信装置52,用于获取电子书本和电子书页,和/或,
存储装置53,用于存储电子书本和电子书页;
处理装置54,用于获取封面图像,并确定与封面图像相对应的电子书本;获取书页图像,并在书页图像上建立第一坐标系,确定书页图像上的点读区域在第一坐标系中的第一坐标;根据电子书本和书页图像,确定与书页图像相对应的电子书页,并在电子书页上建立第二坐标系;根据第一坐标系和第二坐标系的映射关系,确定与第一坐标相对应的第二坐标,并根据第二坐标确定电子书页的勾勒区域;发送指令,指令指示读报勾勒区域的内容;
读报装置55,用于接收指令并读报勾勒区域的内容,可选的,该读报装置可以是扬声器。
在其中一些实施例中,该点读设备还可以包括电池、输入按键、麦克风、屏幕、射频(Radio Frequency,简称RF)电路、WIFI模块、蓝牙模块和传感器等组件,这些组件与拍摄装置51、通信装置52、存储装置53、处理装置54以及读报装置55共同实现该点读设备的点读功能。
在一个实施例中,图6是根据本申请实施例的电子设备的内部结构示意图,如图6所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图6所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种点读控制方法,数据库用于存储数据。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种点读控制方法,应用于智能设备,其特征在于,所述方法包括:
获取纸质书本的封面图像,并确定与所述封面图像相对应的电子书本;
获取纸质书本的书页图像,并在所述书页图像上建立第一坐标系,确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标;其中,识别书页图像上的指示器,根据指示器的位置确定所述点读区域;
根据所述电子书本和所述书页图像,确定与所述书页图像相对应的电子书页,并在所述电子书页上建立第二坐标系,根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的第二坐标;其中,提取所述书页图像的特征并与服务器建立通信连接,根据所述书页图像的特征与所述服务器内的电子书库中的所述电子书本内的一张或多张电子书页进行匹配,确定与所述书页图像相匹配的电子书页,所述特征包括:书页图像的文字、图片和色彩,确定所述电子书页之后,在所述电子书页上建立第二坐标系,其中,对于所述第一坐标系中的每一个第一坐标,在所述第二坐标系中存在第二坐标与所述第一坐标相对应,且所述第二坐标为所述电子书页上的勾勒区域在所述第二坐标系中的坐标,所述第一坐标系和第二坐标系的映射关系通过预先设置,建立所述第二坐标系后,根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的所述第二坐标;
根据所述第二坐标确定所述电子书页的勾勒区域,并读报所述勾勒区域的内容;其中,根据所述第二坐标确定所述电子书页的勾勒区域,获取与所述勾勒区域相对应的点读数据,所述点读数据通过预先设置,所述点读数据包括所述勾勒区域的文字内容,或对勾勒区域的文字、图片的讲解,获取到所述点读数据之后,对所述点读数据进行数据转化,得到声音信号并读报声音信号内容,在得到所述声音信号的同时,对所述点读数据进行数据转化得到文字信号,以使得读报声音信号内容并显示文字信号内容;
其中,在存在多个所述勾勒区域的情况下,所述方法包括,按照多个所述勾勒区域之间的位置关系,逐个读报所述勾勒区域的内容。
2.根据权利要求1所述的方法,其特征在于,所述获取纸质书本的书页图像之后,所述确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标之前,所述方法包括,确定所述书页图像上是否存在所述点读区域,若否,获取所述电子书页的全部所述勾勒区域,并读报所述勾勒区域的内容。
3.根据权利要求1或2所述的方法,其特征在于,得到所述电子书页的勾勒区域之后,所述方法包括,获取与所述勾勒区域相对应的点读数据,并对所述点读数据进行数据转化,得到声音信号和文字信号,并读报所述声音信号内容和显示所述文字信号内容。
4.根据权利要求1或2所述的方法,其特征在于,所述获取纸质书本的封面图像之后,所述方法包括,确定是否存在与所述封面图像相对应的电子书本,若否,生成提示信息,其中,所述提示信息指示录入所述电子书本。
5.一种点读控制系统,应用于智能设备,其特征在于,所述系统包括:
获取模块,用于获取纸质书本的封面图像,并确定与所述封面图像相对应的电子书本;
定位模块,用于获取纸质书本的书页图像,并在所述书页图像上建立第一坐标系,确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标;其中,识别书页图像上的指示器,根据指示器的位置确定所述点读区域;
确定模块,用于根据所述电子书本和所述书页图像,确定与所述书页图像相对应的电子书页,并在所述电子书页上建立第二坐标系,根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的第二坐标;其中,提取所述书页图像的特征并与服务器建立通信连接,根据所述书页图像的特征与所述服务器内的电子书库中的所述电子书本内的一张或多张电子书页进行匹配,确定与所述书页图像相匹配的电子书页,所述特征包括:书页图像的文字、图片和色彩,确定所述电子书页之后,在所述电子书页上建立第二坐标系,其中,对于所述第一坐标系中的每一个第一坐标,在所述第二坐标系中存在第二坐标与所述第一坐标相对应,且所述第二坐标为所述电子书页上的勾勒区域在所述第二坐标系中的坐标,所述第一坐标系和第二坐标系的映射关系通过预先设置,建立所述第二坐标系后,根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的所述第二坐标;
读报模块,用于根据所述第二坐标确定所述电子书页的勾勒区域,并读报所述勾勒区域的内容;其中,根据所述第二坐标确定所述电子书页的勾勒区域,获取与所述勾勒区域相对应的点读数据,所述点读数据通过预先设置,所述点读数据包括所述勾勒区域的文字内容,或对勾勒区域的文字、图片的讲解,获取到所述点读数据之后,对所述点读数据进行数据转化,得到声音信号并读报声音信号内容,在得到所述声音信号的同时,对所述点读数据进行数据转化得到文字信号,以使得读报声音信号内容并显示文字信号内容;
在存在多个所述勾勒区域的情况下,按照多个所述勾勒区域之间的位置关系,逐个读报所述勾勒区域的内容。
6.根据权利要求5所述的系统,其特征在于,所述定位模块还用于,在获取纸质书本的书页图像之后,在确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标之前,确定所述书页图像上是否存在所述点读区域;
所述读报模块还用于,在所述书页图像上不存在所述点读区域的情况下,获取所述电子书页的全部所述勾勒区域,并读报所述勾勒区域的内容。
7.根据权利要求5或6所述的系统,其特征在于,所述读报模块还用于,得到所述电子书页的勾勒区域之后,获取与所述勾勒区域相对应的点读数据,并对所述点读数据进行数据转化,得到声音信号和文字信号,并读报所述声音信号内容和显示所述文字信号内容。
8.一种点读设备,其特征在于,所述设备包括:
拍摄装置,用于拍摄纸质书本的封面图像和书页图像;
通信装置,用于获取电子书本和电子书页,和/或,
存储装置,用于存储所述电子书本和所述电子书页;
处理装置,用于获取所述封面图像,并确定与所述封面图像相对应的所述电子书本;获取所述书页图像,并在所述书页图像上建立第一坐标系,确定所述书页图像上的点读区域在所述第一坐标系中的第一坐标;其中,识别书页图像上的指示器,根据指示器的位置确定所述点读区域;根据所述电子书本和所述书页图像,确定与所述书页图像相对应的所述电子书页,并在所述电子书页上建立第二坐标系;其中,提取所述书页图像的特征并与服务器建立通信连接,根据所述书页图像的特征与所述服务器内的电子书库中的所述电子书本内的一张或多张电子书页进行匹配,确定与所述书页图像相匹配的电子书页,所述特征包括:书页图像的文字、图片和色彩,确定所述电子书页之后,在所述电子书页上建立第二坐标系,其中,对于所述第一坐标系中的每一个第一坐标,在所述第二坐标系中存在第二坐标与所述第一坐标相对应,且所述第二坐标为所述电子书页上的勾勒区域在所述第二坐标系中的坐标,所述第一坐标系和第二坐标系的映射关系通过预先设置,建立所述第二坐标系后,根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的所述第二坐标;根据所述第一坐标系和所述第二坐标系的映射关系,确定与所述第一坐标相对应的第二坐标,并根据所述第二坐标确定所述电子书页的勾勒区域;发送指令,所述指令指示读报所述勾勒区域的内容;其中,根据所述第二坐标确定所述电子书页的勾勒区域,获取与所述勾勒区域相对应的点读数据,所述点读数据通过预先设置,所述点读数据包括所述勾勒区域的文字内容,或对勾勒区域的文字、图片的讲解,获取到所述点读数据之后,对所述点读数据进行数据转化,得到声音信号并读报声音信号内容,在得到所述声音信号的同时,对所述点读数据进行数据转化得到文字信号,以使得读报声音信号内容并显示文字信号内容;
读报装置,用于接收所述指令并读报所述勾勒区域的内容;
在存在多个所述勾勒区域的情况下,按照多个所述勾勒区域之间的位置关系,逐个读报所述勾勒区域的内容。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110390369.8A CN113076049B (zh) | 2021-04-12 | 2021-04-12 | 点读控制方法、系统和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110390369.8A CN113076049B (zh) | 2021-04-12 | 2021-04-12 | 点读控制方法、系统和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113076049A CN113076049A (zh) | 2021-07-06 |
CN113076049B true CN113076049B (zh) | 2023-03-03 |
Family
ID=76617382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110390369.8A Active CN113076049B (zh) | 2021-04-12 | 2021-04-12 | 点读控制方法、系统和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113076049B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115204121B (zh) * | 2022-07-29 | 2023-11-03 | 深圳市方直科技股份有限公司 | 教学电子书热区点读快速生成的方法、装置、计算机设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140036778A (ko) * | 2012-09-18 | 2014-03-26 | 노대중 | 전자책 표시 방법, 전자책 표시 장치 및 상기 전자책 표시 장치를 이용한 경쟁 시스템 |
CN111078084A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读控制方法及终端设备 |
CN111078829A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读控制方法及系统 |
-
2021
- 2021-04-12 CN CN202110390369.8A patent/CN113076049B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140036778A (ko) * | 2012-09-18 | 2014-03-26 | 노대중 | 전자책 표시 방법, 전자책 표시 장치 및 상기 전자책 표시 장치를 이용한 경쟁 시스템 |
CN111078084A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读控制方法及终端设备 |
CN111078829A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113076049A (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108776970B (zh) | 图像处理方法和装置 | |
CN108496150B (zh) | 一种屏幕截图和读取的方法及终端 | |
US9015029B2 (en) | Camera dictionary based on object recognition | |
CN105072337A (zh) | 图片处理方法及装置 | |
CN107704167A (zh) | 一种数据分享方法、装置及电子设备 | |
CN110009004B (zh) | 图像数据处理方法、计算机设备和存储介质 | |
CN105739873A (zh) | 一种截屏方法及终端 | |
US9367225B2 (en) | Electronic apparatus and computer-readable recording medium | |
CN113076049B (zh) | 点读控制方法、系统和设备 | |
CN105139848A (zh) | 数据转换方法和装置 | |
CN111325220B (zh) | 图像生成方法、装置、设备及存储介质 | |
CN108174270B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN111476209A (zh) | 手写输入的识别方法、设备及计算机存储介质 | |
CN112528266A (zh) | 到访登记方法及相关装置 | |
CN111428570A (zh) | 非活体人脸的检测方法、装置、计算机设备及存储介质 | |
EP2442241A1 (en) | Mobile terminal and displaying method thereof | |
CN108108095B (zh) | 电子装置、截图方法及相关产品 | |
CN108803972B (zh) | 信息显示方法、装置、移动终端以及存储介质 | |
CN106572230A (zh) | 一种通话记录装置及其方法 | |
CN112381091A (zh) | 视频内容识别方法、装置、电子设备及存储介质 | |
US11600300B2 (en) | Method and device for generating dynamic image | |
JP7057455B2 (ja) | プログラム、情報処理方法、端末 | |
CN113055529B (zh) | 录音控制方法和录音控制装置 | |
CN113301444B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN108108097B (zh) | 电子装置、截图方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |