CN109255346A - 点读方法、装置及电子设备 - Google Patents
点读方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109255346A CN109255346A CN201811009436.1A CN201811009436A CN109255346A CN 109255346 A CN109255346 A CN 109255346A CN 201811009436 A CN201811009436 A CN 201811009436A CN 109255346 A CN109255346 A CN 109255346A
- Authority
- CN
- China
- Prior art keywords
- reading
- books
- page
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/062—Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon
Abstract
本发明提供了一种点读方法、装置及电子设备，该方法具体为：在点读过程中首先通过获取书籍封面的图像来确定待点读的目标书籍，在阅读者打开书籍后，根据获取到的在待点读页面进行点读的点读图像，确定阅读者具体的点读位置，进而确定该点读位置所在的点读区域的区域ID，最后根据该区域ID及预先存储的该目标书籍对应的音视频文件，进行音视频播放。该方案仅需要携带有摄像装置的电子设备即可实现，无需利用点读笔或者点读机等额外的硬件，从而节约了成本；另外该方案可以通过预先存储书籍对应的音视频文件的方式进行书籍的扩充，无需对待点读的书籍进行结构上的改进，适用于任何书籍，可扩展性较强，有利于产品的推广。
Description
技术领域
本发明涉及电子点读技术领域，尤其是涉及一种点读方法、装置及电子设备。
背景技术
点读机应用OID(Optica1 Identify，光学辨别)隐形码技术、数码语音技术，集点读、U盘和MP3播放功能为一体的高新数码产品。配合可爱的卡通造型、优美的声音，产品小巧方便，将极大的激发孩子的阅读兴趣，引导幼儿早期阅读。配套丰富教学教材，寓教于乐，全面开发孩子的语言能力、创造力和智力。
目前，市场上主要通过以下点读笔或者点读机来实现智能点读。其中利用点读笔、点读机实现点读功能时，均需要额外增加很多辅助设备。点读笔需要带有摄像头的点读笔装置，且要求目标点读书籍需要印刷一层隐形二维码。点读机则需要在目标点读书籍下方放置相应的感应板，且用特制的感应笔进行点击，才能实现点读效果。
因此，上述两种解决方式额外增加很多不必要的成本，且可扩充性较差，不利于产品的推广。
发明内容
有鉴于此，本发明的目的在于提供一种点读方法、装置及电子设备，以缓解目前点读的点读方式需要额外增加很多不必要的成本，且可扩充性较差，不利于产品的推广的技术问题。
第一方面，本发明实施例提供了一种点读方法，包括：
获取目标书籍的目标封面图像；
根据所述目标封面图像，确定所述目标书籍的书籍ID；
获取在所述目标书籍的待点读页面进行点读的点读图像；
根据所述点读图像，确定待点读区域的区域ID；
根据所述区域ID及预先存储的所述书籍ID对应的音视频文件，进行音视频播放。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取在所述目标书籍的相应页面进行点读的点读图像，包括：
按照预设时间间隔，获取在所述目标书籍的相应页面进行点读的点读图像。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述点读图像，确定待点读区域的区域ID，包括：
对所述点读图像进行特征提取，得到待点读页面的页面特征；
根据所述页面特征，确定所述待点读页面对应的页面ID；
对所述点读图像进行动作识别，确定在所述待点读页面的点读位置；
根据所述点读位置、所述待点读页面的页面ID及预先划分的区域图像的覆盖范围，确定待点读区域的区域ID。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据所述点读图像，确定待点读区域的区域ID，包括：
对所述点读图像进行动作识别，确定当前的点读位置；
根据所述点读位置及预设区域截取规则，确定待截取区域；
对所述待截取区域进行特征提取，获得所述待截取区域的目标区域特征；
根据所述目标区域特征与预先存储的区域特征，确定待点读区域的区域ID。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述根据所述区域ID及预先存储的所述书籍ID对应的音视频文件，进行音视频播放包括：
在预先存储的所述书籍ID对应的音视频文件中，查找与所述区域ID对应的目标音视频文件；
对所述目标音视频文件进行播放。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述获取目标书籍的目标封面图像之前，还包括：
获取各个待点读书籍的书籍封面图像；
对每个所述书籍封面图像进行特征提取，得到相应的封面特征信息；
根据所述封面特征信息确定对应的待点读书籍的书籍ID。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述获取目标书籍的目标封面图像之前，还包括：
获取待点读书籍内的各个内容页面的页面图像；
对于每个所述页面图像，确定所述页面图像的页面ID；
从所述页面图像中获取多个区域图像，确定所述页面ID对应的每个所述区域图像的区域ID；
获取与所述区域ID对应的音视频文件，将所述待点读书籍的书籍ID、所述区域ID及其对应的音视频文件关联存储。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述获取目标书籍的目标封面图像之前，还包括：
获取待点读书籍内的各个内容页面的页面图像；
对于每个所述页面图像，从所述页面图像中获取多个区域图像；
对各个所述区域图像进行特征提取，获取各个区域图像的区域特征，根据所述区域图像的区域特征确定所述区域图像的区域ID；
获取与所述区域ID对应的音视频文件，将所述待点读书籍的书籍ID、所述区域ID及其对应的音视频文件关联存储。
第二方面，本发明实施例还提供一种点读装置，包括：
封面获取模块，用于获取目标书籍的目标封面图像；
书籍ID确定模块，用于根据所述目标封面图像，确定所述目标书籍的书籍ID；
页面获取模块，用于获取在所述目标书籍的待点读页面进行点读的点读图像；
区域ID确定模块，用于根据所述点读图像，确定待点读区域的区域ID；
音视频播放模块，用于根据所述区域ID及预先存储的所述书籍ID对应的音视频文件，进行音视频播放。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面及其任一种可能的实施方式所述的方法。
本发明实施例带来了以下有益效果：
根据本发明提供的实施例，在点读过程中，首先通过获取书籍封面的图像来确定待点读的目标书籍，在阅读者打开目标书籍后，根据获取到的在待点读页面进行点读的点读图像，确定阅读者具体的点读位置，进而确定该点读位置所在的点读区域的区域ID，最后根据该区域ID及预先存储的该目标书籍对应的音视频文件，进行音视频播放。该方案仅需要携带有摄像装置的电子设备即可实现，无需利用点读笔或者点读机等额外的硬件，从而节约了成本；另外该方案可以通过预先存储书籍对应的音视频文件的方式进行书籍的扩充，无需对待点读的书籍进行结构上的改进，适用于任何书籍，可扩展性较强，有利于产品的推广。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种点读方法的流程示意图；
图2为本发明实施例提供的一种确定区域ID的过程的流程示意图；
图3为本发明实施例提供的另一种确定区域ID的过程的流程示意图；
图4为本发明实施例提供的一种点读装置的流程示意图；
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前利用点读笔或者点读机进行点读的方式，需要额外增加很多不必要的成本，且可扩充性较差，不利于产品的推广。基于此，本发明实施例提供的一种点读方法、装置及电子设备，该方案仅需要携带有摄像装置的电子设备即可实现，无需利用点读笔或者点读机等额外的硬件，从而节约了成本；另外该方案可以通过预先存储书籍对应的音视频文件的方式进行书籍的扩充，无需对待点读的书籍进行结构上的改进，适用于任何书籍，可扩展性较强，有利于产品的推广。
实施例一：
在本发明实施例提供的点读方法进行应用之前，需要预先对待点读的书籍进行信息采集及音视频文件的关联。为了便于对本实施例提供的点读方法进行理解，首先对书籍的信息采集过程及音视频文件的关联过程进行详细介绍。
上述过程可以通过携带有摄像装置的电子设备为载体实现，如智能手机、平板电脑、或者是带有摄像头的智能机器人等。具体地，该过程包括书籍标识过程和音视频文件关联过程。
其中书籍标识过程包括：
(a1)获取各个待点读书籍的书籍封面图像。
例如当该过程以智能手机为运行载体时，可以通过该智能手机的摄像头来拍摄获取各个待点读书籍的书籍封面图像；当然也可以从公共网站或者其他存储库中获取待点读书籍的书籍封面图像。其中该书籍封面图像的格式不作限定，如jpg、tiff、gif、jpeg或者bmp格式等。
(a2)对每个书籍封面图像进行特征提取，得到相应的封面特征信息。
对于每个书籍封面图像，均对其进行特征提取，从而可以获得每个书籍封面图像对应的封面特征信息。
(a3)根据上述封面特征信息确定对应的待点读书籍的书籍ID。
在可能的实施例中，考虑到不同书籍的封面均不相同，因此可以将待点读书籍的封面特征信息作为其书籍ID(Identification，标识)。该书籍ID用于标识、区分待点读书籍。
在为书籍分配书籍ID后，进行音视频文件关联过程，具体的通过点读区域的区域ID进行关联。在本发明实施例中，提供了两种确定区域ID方式，进而进行音视频文件的关联，具体描述如下：
第一种：通过具体点读位置确定区域ID
(b1)获取待点读书籍内的各个内容页面的页面图像。
其中内容页面为该页面内包含待点读内容的页面。
例如当该过程以智能手机为运行载体时，可以通过该智能手机的摄像头来拍摄获取各个待点读书籍的书籍封面图像；当然也可以从公共网站或者其他存储库中获取待点读书籍的书籍封面图像。其中该书籍封面图像的格式不作限定，如jpg、tiff、gif、jpeg或者bmp格式等。
(b2)对于每个页面图像，确定该页面图像的页面ID。
例如可以参照步骤(a2)中特征提取的方式确定该页面ID，在可能的实施例中，可以提取该页面图像中的页码特征，或者其他的特有特征，从而确定该页面图像对应待点读书籍中的具体页码。
(b3)从页面图像中获取多个区域图像，确定上述页面ID对应的每个区域图像的区域ID。
在确定了页面ID后，对相应页面图像按照具体的点读内容进行区域划分，从而得到多个区域图像。具体的每个区域图像还关联其覆盖范围(即在该页面图像中所占的具体像素范围)。然后根据具体位置确定各个区域图像的区域ID，如页面ID为A的内容页面内，覆盖范围为B的区域图像分配的区域ID为C，此时区域ID可以是为该区域图像分配的唯一的编码。
(b4)获取与上述区域ID对应的音视频文件，将上述待点读书籍的书籍ID、区域ID及其对应的音视频文件关联存储。
例如可以在对应的网站或者是存储库中下载各个区域图像即各个区域ID对应的音视频信息。然后将该待点读书籍对应的ID，各个内容页面的页面ID、每个内容页面内的各个区域图像的区域ID关联存储，以便于后续进行相应音视频文件的查找及读取。其中音视频文件包括音频文件和/或视频文件。
第二种：通过区域特征确定区域ID
(c1)获取待点读书籍内的各个内容页面的页面图像。
该步骤(c1)与步骤(b1)类似，具体描述参见步骤(b1)，在此不再赘述。
(c2)对于每个页面图像，从该页面图像中获取多个区域图像。
对于每个页面图像，可以根据具体的点读内容进行区域划分，从而得到多个区域图像。
(c3)对各个上述区域图像进行特征提取，获取各个区域图像的区域特征，根据该区域图像的区域特征确定该区域图像的区域ID。
考虑到每个区域图像对应的区域特征均是不同的，因此，在可能的实施例中，可以将该区域图像的区域特征作为该区域图像的区域ID，用于唯一的标识该区域图像。
(c4)获取与该区域ID对应的音视频文件，将待点读书籍的书籍ID、区域ID及其对应的音视频文件关联存储。
例如可以在对应的网站或者是存储库中下载各个区域图像即各个区域ID对应的音视频信息。然后将该待点读书籍对应的ID，该待点读书籍内的所有区域图像的区域ID关联存储，以便于后续进行相应音视频文件的查找及读取。其中音视频文件包括音频文件和/或视频文件。
上述第二种通过区域特征确定区域ID的方式，相比于第一种通过具体点读位置确定区域ID的方式更准确，避免出现后期应用过程中，点读位置定位不准确造成的区域ID识别错误的现象。
具体地，上述第一种或者第二种方式中进行音视频文件关联后的信息，可以存储于可以进行音视频播放的电子设备的存储装置中。如上述智能手机、平板电脑或者是机器人的本地数据库中，用于后续直接调用。在另外可能的实施例中，为了减少运行载体的占用内存，加快运行速度，可以将上述音视频文件关联后的信息存储至云端数据库中，后续使用时直接从该云端数据库中进行获取。
下面应用上述获得的关联存储的音视频文件，实现本发明实施例提供的点读方法。参见图1示出的本发明实施例提供的一种点读方法的流程示意图，该点读方法包括：
步骤S101，获取目标书籍的目标封面图像。
在实际使用过程中，例如，阅读者可以利用加载有相应程序或者链接到相应WEB(World Wide Web，万维网)页面的智能手机、平板电脑或者是机器人，置于需要进行点读的目标书籍的正前方，使用其摄像头拍摄得到相应的目标封面图像。当然也可以直接从其他存储空间获取该需要进行点读的目标书籍的目标封面图像。
步骤S102，根据目标封面图像，确定该目标书籍的书籍ID。
具体地，对该目标封面图像进行特征提取，从而获取该目标封面图像对应的目标封面特征，然后将该目标封面特征与预先在书籍标识过程中获取的各个待点读书籍的封面特征信息进行对比，从而确定该目标书籍的书籍ID，也就是确定了阅读者当前待点读的具体书籍，实现了具体书籍的选择。
步骤S103，获取在目标书籍的待点读页面进行点读的点读图像。
具体的，阅读者在翻开目标书籍后，相应的运行载体可以按照预设时间间隔，获取在目标书籍的相应页面进行点读的点读图像。例如可以控制相应的摄像头直接获取视频信息或者是每隔预设时间间隔进行拍摄，从而获得连续的点读图像，以便后续进行点读动作识别。
步骤S104，根据上述点读图像，确定待点读区域的区域ID。
其中按照上述提供的确定区域ID的两种方式，该步骤S104中，也可以分别提供对应的确定待点读区域的区域ID的方式。
对应于上述第一种通过具体点读位置确定区域ID的方式，参见图2，上述步骤S104包括：
步骤S201，对上述点读图像进行特征提取，得到待点读页面的页面特征。
例如，可以提取该页面图像中的页码特征，或者其他的特有特征即区别于其他页面的特征。
步骤S202，根据上述页面特征，确定该待点读页面对应的页面ID。
将上述页面特征与步骤(b2)中获得的页面图像的特征进行对比，从而确定相应的待点读页面对应的页面ID，这样就确定了待点读页面在目标书籍中的具体的页码，实现了对具体内容页面的选择。
步骤S203，对上述点读图像进行动作识别，确定在该待点读页面的点读位置。
具体的，上述点读图像包括多张图像，根据该多张图像进行动作识别。如识别出阅读者用手指、文具笔护着其他可以用于指示的物体指向自己感兴趣的区域的进行点读的图像，具体可以通过连续的点击动作或者是在纸面暂停预设时长的方式，或者其他预设方式，来确定阅读者是否进行点读操作。
如果识别出上述点读动作，则确定出阅读者在进行点读操作，此时通过图像处理的相关算法，确定阅读者的点读位置，例如将文具笔尖或者是手指尖的在该点读图像中的具体位置作为点读位置(具体的像素位置)。
步骤S204，根据上述点读位置、待点读页面的页面ID及预先划分的区域图像的覆盖范围，确定待点读区域的区域ID。
具体地，查找上述确定的待点读页面的页面ID对应的各个区域图像所对应的覆盖范围，确定上述点读位置所在的覆盖范围对应的区域图像为待点读区域，从而确定了该待点读区域的区域ID。
对应于上述第二种通过区域特征确定区域ID，参见图3，上述步骤S104包括：
步骤S301，对上述点读图像进行动作识别，确定当前的点读位置。
该步骤S301与上述步骤S203类似，具体描述可以参照步骤S203，在此不再赘述。
步骤S302，根据该点读位置及预设区域截取规则，确定待截取区域。
在可能的实施例中，预设区域截取规则可以是以该点读位置为中心点，截取周边区域，例如截取以点读位置为中心点，预设边长的正方形、圆形或者其他形状，从而确定待截取区域。
步骤S303，对上述待截取区域进行特征提取，获得该待截取区域的目标区域特征。
具体地，对上述步骤S302获取的待截取区域进行特征提取，将获得的特征作为该待截取区域的目标区域特征。
步骤S304，根据上述目标区域特征与预先存储的区域特征，确定待点读区域的区域ID。
将该目标区域特征与预先存储的目标书籍的书籍ID对应的各个区域特征进行对比，从而确定该待点读区域的区域特征。例如该目标区域特征为B，则可以确定预先存储的目标书籍的书籍ID对应的各个区域特征中，与B相似度大于80％的区域特征C与上述B相匹配，则区域特征C的区域ID即为该目标区域特征为B的区域ID。
步骤S105，根据上述区域ID及预先存储的书籍ID对应的音视频文件，进行音视频播放。
在步骤S104中确定区域ID后，则可以根据区域ID确定与之匹配的音视频文件。其中步骤S105包括：在预先存储的书籍ID对应的音视频文件中，查找与区域ID对应的目标音视频文件；对该目标音视频文件进行播放。
例如可以在运行载体的本地数据库中或者是云端数据库中，查找与该区域ID对应的目标音视频文件。其中书籍ID、区域ID及对应的音视频文件是关联存储的。
根据本发明提供的实施例，在点读过程中，首先通过获取书籍封面的图像来确定待点读的目标书籍，在阅读者打开目标书籍后，根据获取到的在待点读页面进行点读的点读图像，确定阅读者具体的点读位置，进而确定该点读位置所在的点读区域的区域ID，最后根据该区域ID及预先存储的该目标书籍对应的音视频文件，进行音视频播放。该方案仅需要携带有摄像装置的电子设备即可实现，无需利用点读笔或者点读机等额外的硬件，从而节约了成本；另外该方案可以通过预先存储书籍对应的音视频文件的方式进行书籍的扩充，无需对待点读的书籍进行结构上的改进，适用于任何书籍，可扩展性较强，有利于产品的推广。
另外，本发明实施例提供的这种点读方式，在点读过程中，只需利用携带有摄像装置的电子设备进行图像拍摄即可，例如将智能手机或者平板电脑固定在合适的位置，对阅读过程进行拍摄，就可以自动捕捉阅读者的点击位置，从而进行相关联的音视频文件的播放。该方式操作简单、使用方便，更符合阅读者的阅读习惯，适用于不同年龄段的群体，包括儿童或者是不习惯使用智能设备的老年人。
实施例二：
针对于实施例一中描述的点读方法，本发明实施例提供了一种点读装置，参见图4，该点读装置包括：
封面获取模块11，用于获取目标书籍的目标封面图像；
书籍ID确定模块12，用于根据上述目标封面图像，确定该目标书籍的书籍ID；
页面获取模块13，用于获取在目标书籍的待点读页面进行点读的点读图像；
区域ID确定模块14，用于根据上述点读图像，确定待点读区域的区域ID；
音视频播放模块15，用于根据上述区域ID及预先存储的上述书籍ID对应的音视频文件，进行音视频播放。
该方案仅需要携带有摄像装置的电子设备即可实现，无需利用点读笔或者点读机等额外的硬件，从而节约了成本；另外该方案可以通过预先存储书籍对应的音视频文件的方式进行书籍的扩充，无需对待点读的书籍进行结构上的改进，适用于任何书籍，可扩展性较强，有利于产品的推广。
实施例三：
参见图5，本发明实施例还提供一种电子设备100，包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
本发明实施例提供的点读装置及电子设备，与上述实施例提供的点读方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例所提供的进行点读方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种点读方法，其特征在于，包括：
获取目标书籍的目标封面图像；
根据所述目标封面图像，确定所述目标书籍的书籍ID；
获取在所述目标书籍的待点读页面进行点读的点读图像；
根据所述点读图像，确定待点读区域的区域ID；
根据所述区域ID及预先存储的所述书籍ID对应的音视频文件，进行音视频播放。
2.根据权利要求1所述的方法，其特征在于，所述获取在所述目标书籍的相应页面进行点读的点读图像，包括：
按照预设时间间隔，获取在所述目标书籍的相应页面进行点读的点读图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述点读图像，确定待点读区域的区域ID，包括：
对所述点读图像进行特征提取，得到待点读页面的页面特征；
根据所述页面特征，确定所述待点读页面对应的页面ID；
对所述点读图像进行动作识别，确定在所述待点读页面的点读位置；
根据所述点读位置、所述待点读页面的页面ID及预先划分的区域图像的覆盖范围，确定待点读区域的区域ID。
4.根据权利要求1所述的方法，其特征在于，所述根据所述点读图像，确定待点读区域的区域ID，包括：
对所述点读图像进行动作识别，确定当前的点读位置；
根据所述点读位置及预设区域截取规则，确定待截取区域；
对所述待截取区域进行特征提取，获得所述待截取区域的目标区域特征；
根据所述目标区域特征与预先存储的区域特征，确定待点读区域的区域ID。
5.根据权利要求1所述的方法，其特征在于，所述根据所述区域ID及预先存储的所述书籍ID对应的音视频文件，进行音视频播放包括：
在预先存储的所述书籍ID对应的音视频文件中，查找与所述区域ID对应的目标音视频文件；
对所述目标音视频文件进行播放。
6.根据权利要求1所述的方法，其特征在于，所述获取目标书籍的目标封面图像之前，还包括：
获取各个待点读书籍的书籍封面图像；
对每个所述书籍封面图像进行特征提取，得到相应的封面特征信息；
根据所述封面特征信息确定对应的待点读书籍的书籍ID。
7.根据权利要求3所述的方法，其特征在于，所述获取目标书籍的目标封面图像之前，还包括：
获取待点读书籍内的各个内容页面的页面图像；
对于每个所述页面图像，确定所述页面图像的页面ID；
从所述页面图像中获取多个区域图像，确定所述页面ID对应的每个所述区域图像的区域ID；
获取与所述区域ID对应的音视频文件，将所述待点读书籍的书籍ID、所述区域ID及其对应的音视频文件关联存储。
8.根据权利要求4所述的方法，其特征在于，所述获取目标书籍的目标封面图像之前，还包括：
获取待点读书籍内的各个内容页面的页面图像；
对于每个所述页面图像，从所述页面图像中获取多个区域图像；
对各个所述区域图像进行特征提取，获取各个区域图像的区域特征，根据所述区域图像的区域特征确定所述区域图像的区域ID；
获取与所述区域ID对应的音视频文件，将所述待点读书籍的书籍ID、所述区域ID及其对应的音视频文件关联存储。
9.一种点读装置，其特征在于，包括：
封面获取模块，用于获取目标书籍的目标封面图像；
书籍ID确定模块，用于根据所述目标封面图像，确定所述目标书籍的书籍ID；
页面获取模块，用于获取在所述目标书籍的待点读页面进行点读的点读图像；
区域ID确定模块，用于根据所述点读图像，确定待点读区域的区域ID；
音视频播放模块，用于根据所述区域ID及预先存储的所述书籍ID对应的音视频文件，进行音视频播放。
10.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811009436.1A CN109255346A (zh) | 2018-08-31 | 2018-08-31 | 点读方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811009436.1A CN109255346A (zh) | 2018-08-31 | 2018-08-31 | 点读方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109255346A true CN109255346A (zh) | 2019-01-22 |
Family
ID=65049921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811009436.1A Pending CN109255346A (zh) | 2018-08-31 | 2018-08-31 | 点读方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109255346A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493666A (zh) * | 2019-01-23 | 2019-03-19 | 广东小天才科技有限公司 | 一种学习互动方法及学习设备 |
| CN110299036A (zh) * | 2019-06-25 | 2019-10-01 | 百度在线网络技术（北京）有限公司 | 交互阅读方法、装置、系统及存储介质 |
| CN110490182A (zh) * | 2019-08-19 | 2019-11-22 | 广东小天才科技有限公司 | 一种点读数据的制作方法、系统、存储介质及电子设备 |
| CN110532964A (zh) * | 2019-08-30 | 2019-12-03 | 广东小天才科技有限公司 | 页码识别方法及装置、阅读机器人、计算机可读存储介质 |
| CN110597450A (zh) * | 2019-09-16 | 2019-12-20 | 广东小天才科技有限公司 | 防误触识别方法、装置、点读设备及其点读识别方法 |
| CN110929709A (zh) * | 2019-10-25 | 2020-03-27 | 北京光年无限科技有限公司 | 基于oid点读内容转换为绘本指读内容的方法及装置 |
| CN111008295A (zh) * | 2019-11-13 | 2020-04-14 | 广东小天才科技有限公司 | 书页检索方法、装置、电子设备和存储介质 |
| CN111078081A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读模式的控制方法及电子设备 |
| CN111079497A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 基于点读场景的点读内容识别方法及装置 |
| CN111078829A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读控制方法及系统 |
| CN111091531A (zh) * | 2019-05-29 | 2020-05-01 | 广东小天才科技有限公司 | 一种点击识别方法及电子设备 |
| CN111460185A (zh) * | 2020-03-30 | 2020-07-28 | 小船出海教育科技（北京）有限公司 | 书籍搜索方法、装置和系统 |
| CN111583734A (zh) * | 2019-02-19 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 点读方法及点读笔 |
| CN111695372A (zh) * | 2019-03-12 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 点读方法及点读数据处理方法 |
| CN111968424A (zh) * | 2020-08-27 | 2020-11-20 | 北京大米科技有限公司 | 交互式学习方法、装置、系统及计算机存储介质 |
| CN112132127A (zh) * | 2020-08-10 | 2020-12-25 | 北京网梯科技发展有限公司 | 点读中实现图书自动切换的方法及装置 |
| CN113010699A (zh) * | 2019-12-20 | 2021-06-22 | 深圳市优必选科技股份有限公司 | 一种点读终端的音频播放方法、装置、点读终端及介质 |
| CN115204121A (zh) * | 2022-07-29 | 2022-10-18 | 深圳市方直科技股份有限公司 | 教学电子书热区点读快速生成的方法、装置、计算机设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256610B1 (en) * | 1998-12-30 | 2001-07-03 | Lernout & Hauspie Speech Products N.V. | Header/footer avoidance for reading system |
| CN101998074A (zh) * | 2009-08-21 | 2011-03-30 | 深圳Tcl新技术有限公司 | 具备点读功能的电视机及其实现方法 |
| CN102103804A (zh) * | 2009-12-22 | 2011-06-22 | 深圳市王菱科技开发有限公司 | 具有纸上视窗电子阅读功能的电子阅读装置 |
| CN102136201A (zh) * | 2010-01-21 | 2011-07-27 | 深圳市华普电子技术有限公司 | 摄像式点读机 |
| CN105447499A (zh) * | 2015-10-23 | 2016-03-30 | 北京爱乐宝机器人科技有限公司 | 一种图书互动方法、装置和设备 |
| CN107393356A (zh) * | 2017-04-07 | 2017-11-24 | 深圳市友悦机器人科技有限公司 | 控制方法、控制装置和早教机 |
| CN107967110A (zh) * | 2017-11-30 | 2018-04-27 | 广东小天才科技有限公司 | 播放方法、播放装置、电子设备及计算机可读存储介质 |
-
2018
- 2018-08-31 CN CN201811009436.1A patent/CN109255346A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256610B1 (en) * | 1998-12-30 | 2001-07-03 | Lernout & Hauspie Speech Products N.V. | Header/footer avoidance for reading system |
| CN101998074A (zh) * | 2009-08-21 | 2011-03-30 | 深圳Tcl新技术有限公司 | 具备点读功能的电视机及其实现方法 |
| CN102103804A (zh) * | 2009-12-22 | 2011-06-22 | 深圳市王菱科技开发有限公司 | 具有纸上视窗电子阅读功能的电子阅读装置 |
| CN102136201A (zh) * | 2010-01-21 | 2011-07-27 | 深圳市华普电子技术有限公司 | 摄像式点读机 |
| CN105447499A (zh) * | 2015-10-23 | 2016-03-30 | 北京爱乐宝机器人科技有限公司 | 一种图书互动方法、装置和设备 |
| CN107393356A (zh) * | 2017-04-07 | 2017-11-24 | 深圳市友悦机器人科技有限公司 | 控制方法、控制装置和早教机 |
| CN107967110A (zh) * | 2017-11-30 | 2018-04-27 | 广东小天才科技有限公司 | 播放方法、播放装置、电子设备及计算机可读存储介质 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493666B (zh) * | 2019-01-23 | 2021-11-26 | 广东小天才科技有限公司 | 一种学习互动方法及学习设备 |
| CN109493666A (zh) * | 2019-01-23 | 2019-03-19 | 广东小天才科技有限公司 | 一种学习互动方法及学习设备 |
| CN111583734A (zh) * | 2019-02-19 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 点读方法及点读笔 |
| CN111695372B (zh) * | 2019-03-12 | 2023-10-27 | 阿里巴巴集团控股有限公司 | 点读方法及点读数据处理方法 |
| CN111695372A (zh) * | 2019-03-12 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 点读方法及点读数据处理方法 |
| CN111091531A (zh) * | 2019-05-29 | 2020-05-01 | 广东小天才科技有限公司 | 一种点击识别方法及电子设备 |
| CN111091531B (zh) * | 2019-05-29 | 2023-09-22 | 广东小天才科技有限公司 | 一种点击识别方法及电子设备 |
| CN111079497A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 基于点读场景的点读内容识别方法及装置 |
| CN111078829A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读控制方法及系统 |
| CN111078081A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读模式的控制方法及电子设备 |
| CN111079497B (zh) * | 2019-06-09 | 2024-02-23 | 广东小天才科技有限公司 | 基于点读场景的点读内容识别方法及装置 |
| CN111078829B (zh) * | 2019-06-09 | 2023-05-30 | 广东小天才科技有限公司 | 一种点读控制方法及系统 |
| CN110299036A (zh) * | 2019-06-25 | 2019-10-01 | 百度在线网络技术（北京）有限公司 | 交互阅读方法、装置、系统及存储介质 |
| CN110490182A (zh) * | 2019-08-19 | 2019-11-22 | 广东小天才科技有限公司 | 一种点读数据的制作方法、系统、存储介质及电子设备 |
| CN110532964A (zh) * | 2019-08-30 | 2019-12-03 | 广东小天才科技有限公司 | 页码识别方法及装置、阅读机器人、计算机可读存储介质 |
| CN110597450A (zh) * | 2019-09-16 | 2019-12-20 | 广东小天才科技有限公司 | 防误触识别方法、装置、点读设备及其点读识别方法 |
| CN110929709B (zh) * | 2019-10-25 | 2022-11-22 | 北京光年无限科技有限公司 | 基于oid点读内容转换为绘本指读内容的方法及装置 |
| CN110929709A (zh) * | 2019-10-25 | 2020-03-27 | 北京光年无限科技有限公司 | 基于oid点读内容转换为绘本指读内容的方法及装置 |
| CN111008295A (zh) * | 2019-11-13 | 2020-04-14 | 广东小天才科技有限公司 | 书页检索方法、装置、电子设备和存储介质 |
| CN113010699A (zh) * | 2019-12-20 | 2021-06-22 | 深圳市优必选科技股份有限公司 | 一种点读终端的音频播放方法、装置、点读终端及介质 |
| CN111460185A (zh) * | 2020-03-30 | 2020-07-28 | 小船出海教育科技（北京）有限公司 | 书籍搜索方法、装置和系统 |
| CN112132127A (zh) * | 2020-08-10 | 2020-12-25 | 北京网梯科技发展有限公司 | 点读中实现图书自动切换的方法及装置 |
| CN111968424A (zh) * | 2020-08-27 | 2020-11-20 | 北京大米科技有限公司 | 交互式学习方法、装置、系统及计算机存储介质 |
| CN115204121A (zh) * | 2022-07-29 | 2022-10-18 | 深圳市方直科技股份有限公司 | 教学电子书热区点读快速生成的方法、装置、计算机设备及存储介质 |
| CN115204121B (zh) * | 2022-07-29 | 2023-11-03 | 深圳市方直科技股份有限公司 | 教学电子书热区点读快速生成的方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255346A (zh) | 点读方法、装置及电子设备 | |
| US10666784B2 (en) | Intuitive computing methods and systems | |
| KR101796008B1 (ko) | 센서-기반 모바일 검색, 관련 방법들 및 시스템들 | |
| KR101832693B1 (ko) | 직관적 컴퓨팅 방법들 및 시스템들 | |
| CN107967110A (zh) | 播放方法、播放装置、电子设备及计算机可读存储介质 | |
| CN115357748A (zh) | 头戴式装置 | |
| WO2022001600A1 (zh) | 信息解析方法及装置、设备、存储介质 | |
| CN108921154A (zh) | 点读方法、装置、点读设备及音视频文件关联方法 | |
| CN110149551A (zh) | 媒体文件播放方法和装置、存储介质及电子装置 | |
| CN111695372B (zh) | 点读方法及点读数据处理方法 | |
| CN112580750A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| KR102041994B1 (ko) | 복수의 질의 이미지 검색을 위한 효과적인 이미지 벡터 병합 | |
| CN109640170A (zh) | 自拍视频的速度处理方法及相关产品 | |
| CN109523941A (zh) | 基于云识别技术的室内伴随导游方法及装置 | |
| KR102167588B1 (ko) | 복수의 사용자 장치를 기반으로 동영상을 생성하는 컨텐츠 생성 서비스 장치, 복수의 사용자 장치를 기반으로 동영상을 생성하는 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
| CN113010699A (zh) | 一种点读终端的音频播放方法、装置、点读终端及介质 | |
| CN109145884A (zh) | 查找目标人物的方法、装置、终端和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190122 |