CN107835366B - 多媒体播放方法、装置、存储介质及电子设备 - Google Patents

多媒体播放方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN107835366B
CN107835366B CN201711085727.4A CN201711085727A CN107835366B CN 107835366 B CN107835366 B CN 107835366B CN 201711085727 A CN201711085727 A CN 201711085727A CN 107835366 B CN107835366 B CN 107835366B
Authority
CN
China
Prior art keywords
target
determining
image
characters
multimedia file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711085727.4A
Other languages
English (en)
Other versions
CN107835366A (zh
Inventor
王君龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711085727.4A priority Critical patent/CN107835366B/zh
Publication of CN107835366A publication Critical patent/CN107835366A/zh
Application granted granted Critical
Publication of CN107835366B publication Critical patent/CN107835366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Abstract

本申请公开了一种多媒体播放方法、装置、存储介质以及电子设备,该多媒体播放方法应用于电子设备,包括:获取点读指令;根据该点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中;在该拍摄图像的显示过程中,获取用户点击该预览窗口生成的点击信息;根据该拍摄图像确定目标多媒体文件;根据该点击信息和拍摄图像对该目标多媒体文件进行播放,从而无需依赖特定的点读笔和教材即可有效实现个别汉字或单词的单独点读,方法简单,灵活性高,用户体验性好。

Description

多媒体播放方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种多媒体播放方法、装置、存储介质及电子设备。
背景技术
点读设备是运用光电识别技术,结合先进的数码语音技术开发而成的一种阅读和学习工具。
现有的点读设备通常为摄像式点读机,其包括读音装置、信号发射笔、配套的课本、以及与课本相对设置的摄像装置,该课本需要经过特殊工艺处理,其页面设置有页面标识,每一页面内容设置有“经纬位置”。当用户通过信号发射笔点击课本的页面内容时,信号发射笔会向摄像装置发射启动信号以触发其对课本进行图像采集,而采集的图像则直接提供给读音装置处理,以分析出所点击页面的页面标识和具体的经纬坐标,并根据页面标识和经纬坐标调用对应的语音数据进行播放,从而实现课本的点读功能,使阅读变得生动有趣。
但是,这种点读功能的实现需依赖特定的点读笔和点读教材,成本较高,局限性大。
发明内容
本申请实施例提供一种多媒体播放方法、装置、存储介质以及电子设备,能低成本的实现点读功能,灵活性高。
本申请实施例提供了一种多媒体播放方法,应用于电子设备,包括:
获取点读指令;
根据所述点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中;
在所述拍摄图像的显示过程中,获取用户点击所述预览窗口生成的点击信息;
根据所述拍摄图像确定目标多媒体文件;
根据所述点击信息和拍摄图像对所述目标多媒体文件进行播放。
本申请实施例还提供了一种多媒体播放装置,应用于电子设备,包括:
第一获取模块,用于获取点读指令;
拍摄模块,用于根据所述点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中;
第二获取模块,用于在所述拍摄图像的显示过程中,获取用户点击所述预览窗口生成的点击信息;
确定模块,用于根据所述拍摄图像确定目标多媒体文件;
播放模块,用于根据所述点击信息和拍摄图像对所述目标多媒体文件进行播放。
本申请实施例还提供了一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述任一项多媒体播放方法。
本申请实施例还提供了一种电子设备,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,所述处理器用于上述任一项所述的多媒体播放方法中的步骤。
本申请提供的多媒体播放方法、装置、存储介质以及电子设备,应用于电子设备,通过获取点读指令,并根据该点读指令进行图像拍摄,之后将拍摄图像显示在预览窗口中,并在该拍摄图像的显示过程中,获取用户点击该预览窗口生成的点击信息,之后根据该拍摄图像确定目标多媒体文件,并根据该点击信息和拍摄图像对该目标多媒体文件进行播放,从而无需依赖特定的点读笔和教材即可有效实现完整语句中个别汉字或单词的单独点读,成本低廉,方法简单,灵活性高,用户体验性好。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。
图1为本申请实施例提供的电子设备点读流程的场景示意图。
图2为本申请实施例提供的多媒体播放方法的流程示意图。
图3为本申请实施例提供的目标区域的示意图。
图4为本申请实施例提供的多媒体播放方法的另一流程示意图。
图5为本申请实施例提供的点读功能实现的流程示意图。
图6为本申请实施例提供的目标音频文件的截取过程示意图。
图7为本申请实施例提供的多媒体播放装置的结构示意图。
图8为本申请实施例提供的播放模块的结构示意图。
图9为本申请实施例提供的多媒体播放装置的另一结构示意图。
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种多媒体播放方法、装置、存储介质以及电子设备。
一种多媒体播放方法,应用于电子设备,包括:获取点读指令;根据该点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中;在该拍摄图像的显示过程中,获取用户点击该预览窗口生成的点击信息;根据该拍摄图像确定目标多媒体文件;根据该点击信息和拍摄图像对该目标多媒体文件进行播放。
其中,可以通过电子设备内置的摄像头进行图像拍摄,该预览窗口主要用于向用户实时显示拍摄画面。该多媒体文件可以是音频文件或视频文件,其可以是厂家根据点读课本的内容提前录制好的,并且在录制过程中,对于每次录制的课本内容,厂家都可以对其进行拍照,并将该照片和对应录制的多媒体文件关联存储,这样,后续用户就可以利用带摄像头的电子设备实现该多媒体文件的全部或部分内容的点读了。
具体的,当用户需要点读某多媒体文件的部分内容,比如点读课本中某个句子里的单个文字时,可以进入点读界面,并点击点读界面上的某个按键(比如“点读”按钮)以生成点读指令,一旦获取到点读指令,电子设备就会开启摄像头进行拍摄,此时,用户可以将摄像头对准该句子,比如该句子为A1-An这n个文字,以便摄像头将该句子显示在预览窗口中,之后,用户可以对预览窗口中需要点读的单个文字(比如文字Ai)进行点击,与此同时,电子设备的后台会根据拍摄图像从录制好的多媒体文件库中查找出该句子对应的目标多媒体文件,并根据点击信息和拍摄图像从该目标多媒体文件中截取文字Ai对应的内容进行播放,从而实现单个文字的点读功能。
如图2所示,图2是本申请实施例提供的多媒体播放方法的流程示意图。该多媒体播放方法应用于电子设备,其具体流程可以如下:
101、获取点读指令。
本实施例中,该点读指令可以是用户触发生成的,该触发动作可以是点击、语音控制或者其他方式,比如用户可以通过点击点读界面上的某个按键(比如“点读”按钮)来生成该点读指令。
102、根据该点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中。
本实施例中,该预览窗口主要用于向用户实时显示摄像头拍摄的画面,其位置可以是固定的,比如位于显示屏的中间区域,也可以是可移动的,比如用户可以自由拖动该预览窗口到所需位置。该预览窗口的尺寸可以是一个定值,比如可以是显示屏面积的三分之一,也可以跟随点读课本中行距和字体自行调整,通常,行距和字体越大,其预览窗口的尺寸可以越大。具体的,对于点读课本中需要点读的内容,用户可以将电子设备的摄像头对准该内容进行拍摄,此时,该拍摄内容会实时显示在预览窗口中,以便用户确认。
103、在该拍摄图像的显示过程中,获取用户点击该预览窗口生成的点击信息。
本实施例中,当预览窗口中的拍摄内容正好是用户需要点读的内容,并且此时用户只需针对单个文字而并非整个内容进行点读时,其可以在预览窗口中选中所需点读的单个文字,该选中方式主要是点击,比如单击或双击等。
104、根据该拍摄图像确定目标多媒体文件。
例如,上述步骤104具体可以包括:
将该拍摄图像与预设图像库进行匹配,并获取匹配成功的预设图像;
根据匹配成功的预设图像查找对应的多媒体文件,作为目标多媒体文件。
本实施例中,该多媒体文件可以是音频文件或者视频文件等。该预设图像库中的预设图像可以是厂家提前根据点读课本设置好的,比如厂家可以提前对点读课本中的每个句子、段落或者文章进行拍照,并将照片就作为预设图像存储在预设图像库中,与此同时,厂家可以针对每个句子、段落或者文章进行音频或视频的录制,之后将录制好的音频或视频作为多媒体文件和对应照片进行关联存储,从而后续可以根据照片找到对应的多媒体文件,也即可以通过拍照实现多媒体文件的点读。
105、根据该点击信息和拍摄图像对该目标多媒体文件进行播放。
本实施例中,该点击信息主要包括点击位置(屏幕点击位置)和点击方式。
例如,该点击信息包括屏幕点击位置,上述步骤105具体可以包括:
(1)对该拍摄图像进行文字识别,得到多个文字、以及每个文字在该拍摄图像上的图像区域。
本实施例中,该文字可以包括汉字和单词,该单词主要指英文字母。该文字识别并不涉及文字分析,其主要包括文字提取和定位。该图像区域主要由像素点组成,其可以是任意形状,不同文字对应的区域形状通常不同。
(2)根据该屏幕点击位置和图像区域从该多个文字中确定目标文字。
例如,上述步骤(2)具体可以包括:
将该屏幕点击位置投射到该拍摄图像上,得到对应的图像位置;
获取该图像位置所属的图像区域,作为目标区域;
将该目标区域对应的文字确定为目标文字。
本实施例中,由于用户用手指进行点击时,与屏幕接触的通常是一个面,而非单个点,这种情况很容易存在部分接触点刚好在图像区域上,而部分接触点位于图像区域外的现象,故在确定目标区域时,并非代表该目标区域一定要包含该图像位置,只需该图像位置位于该目标区域内边缘像素点构成的方形区域中即可,比如请参见图3,对于图像位置A和B,其目标区域均是“文”字对应的图像区域。
此外,确定好了目标文字后,还需将其显示给用户进行确认,也即,在将该目标区域对应的文字确定为目标文字之后,该多媒体播放方法还可以包括:
确定该预览窗口中目标区域对应的屏幕位置;
根据该目标区域生成一个框选窗口;
将该框选窗口叠加在预览窗口的该屏幕位置处,以使该目标文字显示在该框选窗口中。
本实施例中,该框选窗口的形状可以是圆形、方形或者其他规则形状,其尺寸主要根据目标区域的边缘像素点而定,只需确保每一边缘像素点均位于该框选窗口中即可。
(3)根据该目标文字从该目标多媒体文件中确定点读内容,并播放该点读内容。
例如,上述步骤(3)具体可以包括:
确定该目标文字在该多个文字中的排列位置;
获取该目标多媒体文件的总播放时长;
根据该排列位置和总播放时长从该目标多媒体文件中确定点读内容。
本实施例中,该排列位置可以以比例的形式表示,比如7:14,代表第一图像中共包括14个文字,该文字排在第7位。
例如,上述步骤“根据该排列位置和总播放时长从该目标多媒体文件中确定点读内容”具体可以包括:
根据该排列位置从该总播放时长中确定截取时段;
从该目标多媒体文件中提取出与该截取时段对应的多媒体内容,作为点读内容。
本实施例中,该目标多媒体文件主要指语音文件,由于语音朗读者在录制朗读课本时的语速以及每个文字的间隔时长都比较固定,故容易根据总播放时长和总字数对整个语音进行分割,得到每个文字的朗读语音,基于这一点,当需要点读整个句子中某个文字的朗读语音时,只需知道该文字的排列位置和该句语音的总播放时长即可找到对应的截取位置对语音进行截取。
由上述可知,本实施例提供的多媒体播放方法,应用于电子设备,通过获取点读指令,并根据该点读指令进行图像拍摄,之后将拍摄图像显示在预览窗口中,并在该拍摄图像的显示过程中,获取用户点击该预览窗口生成的点击信息,之后根据该拍摄图像确定目标多媒体文件,并根据该点击信息和拍摄图像对该目标多媒体文件进行播放,从而能根据用户的点读需求从录制好的整个多媒体文件中提取出所需的部分,有效实现个别汉字或单词的单独点读,方法简单,灵活性高,用户体验性好,且无需依赖特定的点读笔和教材,成本低廉。
在本实施例中,将以该多媒体播放装置具体集成在电子设备中为例进行详细说明。
请参见图4,一种多媒体播放方法,应用于电子设备,具体流程可以如下:
201、电子设备获取点读指令。
譬如,用户可以进入点读APP,然后点击点读界面上的“点读”按钮来生成点读指令。
202、电子设备根据该点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中。
譬如,请参见图5,用户可以将摄像头对准点读课本中的内容A进行拍摄,从而在预览框中可以显示该内容A,该内容A可以是一段文字或一句话,其可以包括A1-An这n个文字。
203、电子设备在该拍摄图像的显示过程中,获取用户点击该预览窗口的屏幕点击位置。
譬如,在内容A的显示过程中,若用户只想针对于内容A中的个别文字,比如Ai进行点读,i∈(1,n),可以单击预览框中文字Ai所在的位置。
204、电子设备对该拍摄图像进行文字识别,得到多个文字、以及每个文字在该拍摄图像上的图像区域,并将该屏幕点击位置投射到该拍摄图像上,得到对应的图像位置。
205、电子设备获取该图像位置所属的图像区域,作为目标区域,并将该目标区域对应的文字确定为目标文字。
譬如,通过文字识别和匹配,可以得知拍摄图像中包含A1-An这n个文字,并且用户点击的目标文字是Ai。
206、电子设备确定该预览窗口中目标区域对应的屏幕位置,并根据该目标区域生成一个框选窗口,之后将该框选窗口叠加在预览窗口的该屏幕位置处,以使该目标文字显示在该框选窗口中。
譬如,在图5中,电子设备会在目标文字Ai所在的图像位置生成一个方形的框选窗口,目标文字Ai位于该框选窗口中,以便用户确认当前需要点读的文字是否是框选窗口中显示的Ai。
207、电子设备将该拍摄图像与预设图像库进行匹配,并获取匹配成功的预设图像,之后根据匹配成功的预设图像查找对应的多媒体文件,作为目标多媒体文件。
譬如,该多媒体文件主要是音频文件。当用户确认框选窗口中显示的文字是用户需要点读的内容时,可以点击指示确认的某个按键(比如拍照按键)来结束拍摄,此时,电子设备可以根据结束拍摄时的拍摄图像找到A1-An这n个文字对应的音频文件。当然,在结束拍摄之前,预览窗口和框选窗口中的图像可以是跟随用户的调整不断变化的,而后台通常只获取结束拍摄时最后一刻的图像作为拍摄图像。
208、电子设备确定该目标文字在该多个文字中的排列位置,并获取该目标多媒体文件的总播放时长。
209、电子设备根据该排列位置从该总播放时长中确定截取时段,并从该目标多媒体文件中提取出与该截取时段对应的多媒体内容,作为点读内容进行播放。
譬如,对于目标文字Ai,其排列位置可以为i/n,请参见图6,若总播放时长为T,则该截取时段可以是[(i-1)/n]T~[(i+1)/n]T,根据该截取时段截取的音频内容即为文字Ai的点读音频。
由上述可知,本实施例提供的多媒体播放方法,应用于电子设备,其中电子设备可以获取点读指令,根据该点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中,接着,在该拍摄图像的显示过程中,获取用户点击该预览窗口的屏幕点击位置,并对该拍摄图像进行文字识别,得到多个文字、以及每个文字在该拍摄图像上的图像区域,之后将该屏幕点击位置投射到该拍摄图像上,得到对应的图像位置,接着,获取该图像位置所属的图像区域,作为目标区域,并将该目标区域对应的文字确定为目标文字,接着,确定该预览窗口中目标区域对应的屏幕位置,并根据该目标区域生成一个框选窗口,之后将该框选窗口叠加在预览窗口的该屏幕位置处,以使该目标文字显示在该框选窗口中,接着,将该拍摄图像与预设图像库进行匹配,并获取匹配成功的预设图像,之后根据匹配成功的预设图像查找对应的多媒体文件,作为目标多媒体文件,接着,确定该目标文字在该多个文字中的排列位置,并获取该目标多媒体文件的总播放时长,接着,根据该排列位置从该总播放时长中确定截取时段,并从该目标多媒体文件中提取出与该截取时段对应的多媒体内容,作为点读内容进行播放,从而能根据用户的点读需求从录制好的整个多媒体文件中提取出所需的部分,有效实现个别汉字或单词的单独点读,方法简单,灵活性高,用户体验性好,且无需依赖特定的点读笔和教材,成本低廉。
根据上述实施例所描述的方法,本实施例将从多媒体播放装置的角度进一步进行描述,该多媒体播放装置具体可以作为独立的实体来实现,也可以集成在电子设备,比如终端中来实现,该终端可以包括手机、平板电脑以及个人计算机等。
请参阅图7,图7具体描述了本申请实施例提供的多媒体播放装置,应用于电子设备,该多媒体播放装置可以包括:第一获取模块10、拍摄模块20、第二获取模块30、确定模块40和播放模块50,其中:
(1)第一获取模块10
第一获取模块10,用于获取点读指令。
本实施例中,该点读指令可以是用户触发生成的,该触发动作可以是点击、语音控制或者其他方式,比如用户可以通过点击点读界面上的某个按键(比如“点读”按钮)来生成该点读指令。
(2)拍摄模块20
拍摄模块20,用于根据该点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中。
本实施例中,该预览窗口主要用于向用户实时显示摄像头拍摄的画面,其位置可以是固定的,比如位于显示屏的中间区域,也可以是可移动的,比如用户可以自由拖动该预览窗口到所需位置。该预览窗口的尺寸可以是一个定值,比如可以是显示屏面积的三分之一,也可以跟随点读课本中行距和字体自行调整,通常,行距和字体越大,其预览窗口的尺寸可以越大。具体的,对于点读课本中需要点读的内容,用户可以将电子设备的摄像头对准该内容进行拍摄,此时,该拍摄内容会实时显示在预览窗口中,以便用户确认。
(3)第二获取模块30
第二显示模块30,用于在该拍摄图像的显示过程中,获取用户点击该预览窗口生成的点击信息。
本实施例中,当预览窗口中的拍摄内容正好是用户需要点读的内容,并且此时用户只需针对单个文字而并非整个内容进行点读时,其可以在预览窗口中选中所需点读的单个文字,该选中方式主要是点击,比如单击或双击等。
(4)确定模块40
确定模块40,用于根据该拍摄图像确定目标多媒体文件。
例如,该确定模块40具体可以用于:
将该拍摄图像与预设图像库进行匹配,并获取匹配成功的预设图像;
根据匹配成功的预设图像查找对应的多媒体文件,作为目标多媒体文件。
本实施例中,该多媒体文件可以是音频文件或者视频文件等。该预设图像库中的预设图像可以是厂家提前根据点读课本设置好的,比如厂家可以提前对点读课本中的每个句子、段落或者文章进行拍照,并将照片就作为预设图像存储在预设图像库中,与此同时,厂家可以针对每个句子、段落或者文章进行音频或视频的录制,之后将录制好的音频或视频作为多媒体文件和对应照片进行关联存储,从而后续确定模块40可以根据照片找到对应的多媒体文件,也即可以通过拍照实现多媒体文件的点读。
(5)播放模块50
播放模块50,用于根据该点击信息和拍摄图像对该目标多媒体文件进行播放。
本实施例中,该点击信息主要包括点击位置(屏幕点击位置)和点击方式。
例如,该点击信息可以包括点击位置,此时,请参见图8,该播放模块50具体可以包括识别子模块51、第一确定子模块52和第二确定子模块53,其中:
识别子模块51,用于对该拍摄图像进行文字识别,得到多个文字、以及每个文字在该拍摄图像上的图像区域。
本实施例中,该文字可以包括汉字和单词,该单词主要指英文字母。该文字识别并不涉及文字分析,其主要包括文字提取和定位。该图像区域主要由像素点组成,其可以是任意形状,不同文字对应的区域形状通常不同。
第一确定子模块52,用于根据该屏幕点击位置和图像区域从该多个文字中确定目标文字。
例如,该第一确定子模块52具体可以用于:
将该屏幕点击位置投射到该拍摄图像上,得到对应的图像位置;
获取该图像位置所属的图像区域,作为目标区域;
将该目标区域对应的文字确定为目标文字。
本实施例中,由于用户用手指进行点击时,与屏幕接触的通常是一个面,而非单个点,这种情况很容易存在部分接触点刚好在图像区域上,而部分接触点位于图像区域外的现象,故在确定目标区域时,并非代表该目标区域一定要包含该图像位置,只需该图像位置位于该目标区域内边缘像素点构成的方形区域中即可,比如请参见图3,对于图像位置A和B,其目标区域均是“文”字对应的图像区域。
此外,确定好了目标文字后,还需将其显示给用户进行确认,也即,请参见图9,该播放模块还可以包括叠加子模块54,用于:
在该第一确定子模块52根据该屏幕点击位置和图像区域从该多个文字中确定目标文字之后,确定该预览窗口中目标区域对应的屏幕位置;
根据该目标区域生成一个框选窗口;
将该框选窗口叠加在预览窗口的该屏幕位置处,以使该目标文字显示在该框选窗口中。
本实施例中,该框选窗口的形状可以是圆形、方形或者其他规则形状,其尺寸主要根据目标区域的边缘像素点而定,只需确保每一边缘像素点均位于该框选窗口中即可。
第二确定子模块53,用于根据该目标文字从该目标多媒体文件中确定点读内容,并播放该点读内容。
例如,该第二确定子模块53具体可以用于:
1-1、确定该目标文字在该多个文字中的排列位置。
本实施例中,该排列位置可以以比例的形式表示,比如7:14,代表第一图像中共包括14个文字,该文字排在第7位。
1-2、获取该目标多媒体文件的总播放时长。
1-3、根据该排列位置和总播放时长从该目标多媒体文件中确定点读内容。
进一步地,该第二确定子模块53可以用于:
根据该排列位置从该总播放时长中确定截取时段;
从该目标多媒体文件中提取出与该截取时段对应的多媒体内容,作为点读内容。
本实施例中,该目标多媒体文件主要指语音文件,由于语音朗读者在录制朗读课本时的语速以及每个文字的间隔时长都比较固定,故容易根据总播放时长和总字数对整个语音进行分割,得到每个文字的朗读语音,基于这一点,当需要点读整个句子中某个文字的朗读语音时,只需知道该文字的排列位置和该句语音的总播放时长即可找到对应的截取位置对语音进行截取。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上述可知,本实施例提供的多媒体播放装置,应用于电子设备,通过第一获取模块10获取点读指令,拍摄模块20根据该点读指令进行图像拍摄,之后将拍摄图像显示在预览窗口中,第二获取模块30在该拍摄图像的显示过程中,获取用户点击该预览窗口生成的点击信息,之后确定模块40根据该拍摄图像确定目标多媒体文件,播放模块50根据该点击信息和拍摄图像对该目标多媒体文件进行播放,从而能根据用户的点读需求从录制好的整个多媒体文件中提取出所需的部分,有效实现个别汉字或单词的单独点读,方法简单,灵活性高,用户体验性好,且无需依赖特定的点读笔和教材,成本低廉。
另外,本申请实施例还提供了一种电子设备,该电子设备可以是智能手机、平板电脑等设备。图10所示,电子设备900包括处理器901、存储器902、显示屏903以及控制电路904。其中,处理器901分别与存储器902、显示屏903、控制电路904电性连接。
处理器901是电子设备900的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器902内的应用程序,以及调用存储在存储器902内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备900中的处理器901会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器902中,并由处理器901来运行存储在存储器902中的应用程序,从而实现各种功能:
获取点读指令;
根据该点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中;
在该拍摄图像的显示过程中,获取用户点击该预览窗口生成的点击信息;
根据该拍摄图像确定目标多媒体文件;
根据该点击信息和拍摄图像对该目标多媒体文件进行播放。
存储器902可用于存储应用程序和数据。存储器902存储的应用程序中包含有可在处理器中执行的指令。应用程序可以组成各种功能模块。处理器901通过运行存储在存储器902的应用程序,从而执行各种功能应用以及数据处理。
显示屏903可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路904与显示屏903电性连接,用于控制显示屏903显示信息。
在一些实施例中,如图10所示,电子设备900还包括:射频电路905、输入单元906、音频电路907、传感器908以及电源909。其中,处理器901分别与射频电路905、输入单元906、音频电路907、传感器908以及电源909电性连接。
射频电路905用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
输入单元906可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元906可以包括指纹识别模组。
音频电路907可通过扬声器、传声器提供用户与终端之间的音频接口。
电子设备900还可以包括至少一种传感器908,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
电源909用于给电子设备900的各个部件供电。在一些实施例中,电源909可以通过电源管理系统与处理器901逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图10中未示出,电子设备900还可以包括摄像头、蓝牙模块等,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种多媒体播放方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种多媒体播放方法中的步骤,因此,可以实现本发明实施例所提供的任一种多媒体播放方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
综上该,虽然本申请已以优选实施例揭露如上,但上述优选实施例并非用以限制本申请,本领域的普通技术人员,在不脱离本申请的精神和范围内,均可作各种更动与润饰,因此本申请的保护范围以权利要求界定的范围为准。

Claims (14)

1.一种多媒体播放方法,应用于电子设备,其特征在于,包括:
获取点读指令;
根据所述点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中;
在所述拍摄图像的显示过程中,获取用户点击所述预览窗口生成的点击信息,所述点击信息包括屏幕点击位置;
根据所述拍摄图像确定目标多媒体文件;
对所述拍摄图像进行文字识别,得到多个文字、以及每个文字在所述拍摄图像上的图像区域;
根据所述屏幕点击位置和图像区域从所述多个文字中确定目标文字;
根据所述目标文字从所述目标多媒体文件中确定点读内容,并播放所述点读内容。
2.根据权利要求1所述的多媒体播放方法,其特征在于,所述根据所述拍摄图像确定目标多媒体文件,包括:
将所述拍摄图像与预设图像库进行匹配,并获取匹配成功的预设图像;
根据匹配成功的预设图像查找对应的多媒体文件,作为目标多媒体文件。
3.根据权利要求1所述的多媒体播放方法,其特征在于,所述根据所述屏幕点击位置和图像区域从所述多个文字中确定目标文字,包括:
将所述屏幕点击位置投射到所述拍摄图像上,得到对应的图像位置;
获取所述图像位置所属的图像区域,作为目标区域;
将所述目标区域对应的文字确定为目标文字。
4.根据权利要求1所述的多媒体播放方法,其特征在于,在根据所述屏幕点击位置和图像区域从所述多个文字中确定目标文字之后,还包括:
确定所述预览窗口中目标区域对应的屏幕位置;
根据所述目标区域生成一个框选窗口;
将所述框选窗口叠加在预览窗口的所述屏幕位置处,以使所述目标文字显示在所述框选窗口中。
5.根据权利要求1所述的多媒体播放方法,其特征在于,所述根据所述目标文字从所述目标多媒体文件中确定点读内容,包括:
确定所述目标文字在所述多个文字中的排列位置;
获取所述目标多媒体文件的总播放时长;
根据所述排列位置和总播放时长从所述目标多媒体文件中确定点读内容。
6.根据权利要求5所述的多媒体播放方法,其特征在于,所述根据所述排列位置和总播放时长从所述目标多媒体文件中确定点读内容,包括:
根据所述排列位置从所述总播放时长中确定截取时段;
从所述目标多媒体文件中提取出与所述截取时段对应的多媒体内容,作为点读内容。
7.一种多媒体播放装置,应用于电子设备,其特征在于,包括:
第一获取模块,用于获取点读指令;
拍摄模块,用于根据所述点读指令进行图像拍摄,并将拍摄图像显示在预览窗口中;
第二获取模块,用于在所述拍摄图像的显示过程中,获取用户点击所述预览窗口生成的点击信息,所述点击信息包括屏幕点击位置;
确定模块,用于根据所述拍摄图像确定目标多媒体文件;
播放模块,所述播放模块包括:识别子模块,用于对所述拍摄图像进行文字识别,得到多个文字、以及每个文字在所述拍摄图像上的图像区域;第一确定子模块,用于根据所述屏幕点击位置和图像区域从所述多个文字中确定目标文字;第二确定子模块,用于根据所述目标文字从所述目标多媒体文件中确定点读内容,并播放所述点读内容。
8.根据权利要求7所述的多媒体播放装置,其特征在于,所述确定模块具体用于:
将所述拍摄图像与预设图像库进行匹配,并获取匹配成功的预设图像;
根据匹配成功的预设图像查找对应的多媒体文件,作为目标多媒体文件。
9.根据权利要求7所述的多媒体播放装置,其特征在于,所述第一确定子模块具体用于:
将所述屏幕点击位置投射到所述拍摄图像上,得到对应的图像位置;
获取所述图像位置所属的图像区域,作为目标区域;
将所述目标区域对应的文字确定为目标文字。
10.根据权利要求7所述的多媒体播放装置,其特征在于,所述播放模块还包括叠加子模块,用于:
在所述第一确定子模块根据所述屏幕点击位置和图像区域从所述多个文字中确定目标文字之后,确定所述预览窗口中目标区域对应的屏幕位置;
根据所述目标区域生成一个框选窗口;
将所述框选窗口叠加在预览窗口的所述屏幕位置处,以使所述目标文字显示在所述框选窗口中。
11.根据权利要求7所述的多媒体播放装置,其特征在于,所述第二确定子模块具体用于:
确定所述目标文字在所述多个文字中的排列位置;
获取所述目标多媒体文件的总播放时长;
根据所述排列位置和总播放时长从所述目标多媒体文件中确定点读内容。
12.根据权利要求11所述的多媒体播放装置,其特征在于,所述第二确定子模块具体用于:
根据所述排列位置从所述总播放时长中确定截取时段;
从所述目标多媒体文件中提取出与所述截取时段对应的多媒体内容,作为点读内容。
13.一种存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行权利要求1至6中任一项所述的多媒体播放方法。
14.一种电子设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,所述处理器用于执行权利要求1至6中任一项所述的多媒体播放方法中的步骤。
CN201711085727.4A 2017-11-07 2017-11-07 多媒体播放方法、装置、存储介质及电子设备 Active CN107835366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711085727.4A CN107835366B (zh) 2017-11-07 2017-11-07 多媒体播放方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711085727.4A CN107835366B (zh) 2017-11-07 2017-11-07 多媒体播放方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN107835366A CN107835366A (zh) 2018-03-23
CN107835366B true CN107835366B (zh) 2019-12-10

Family

ID=61654829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711085727.4A Active CN107835366B (zh) 2017-11-07 2017-11-07 多媒体播放方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN107835366B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109192204B (zh) * 2018-08-31 2021-05-11 广东小天才科技有限公司 一种基于智能设备摄像头的语音控制方法和智能设备
CN109360454A (zh) * 2018-09-30 2019-02-19 与德科技有限公司 一种点读方法
CN109740594A (zh) * 2018-12-21 2019-05-10 惠州Tcl移动通信有限公司 单词查询方法、装置及存储介质
CN111177420B (zh) * 2019-12-31 2023-10-20 维沃移动通信有限公司 一种多媒体文件显示方法、电子设备及介质
CN111353501A (zh) * 2020-02-25 2020-06-30 暗物智能科技(广州)有限公司 一种基于深度学习的书本点读方法及系统
CN111311624B (zh) * 2020-03-20 2023-08-18 广东小天才科技有限公司 一种点读设备的书本检测方法及装置
CN113408438A (zh) * 2021-06-23 2021-09-17 北京字节跳动网络技术有限公司 电子设备的控制方法、装置、终端和存储介质
CN113706947A (zh) * 2021-08-26 2021-11-26 河南省邮电科技有限公司 一种多媒体邮票点读机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493996A (zh) * 2009-01-15 2009-07-29 北方工业大学 一种智能阅读器及其实现方法
CN104253904A (zh) * 2014-09-04 2014-12-31 广东小天才科技有限公司 一种实现点读学习的方法及智能手机
CN106710326A (zh) * 2015-07-31 2017-05-24 曾晓敏 一种基于语文的点读课本系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140127667A1 (en) * 2012-11-05 2014-05-08 Marco Iannacone Learning system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493996A (zh) * 2009-01-15 2009-07-29 北方工业大学 一种智能阅读器及其实现方法
CN104253904A (zh) * 2014-09-04 2014-12-31 广东小天才科技有限公司 一种实现点读学习的方法及智能手机
CN106710326A (zh) * 2015-07-31 2017-05-24 曾晓敏 一种基于语文的点读课本系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
文本定位算法及其在智能读书软件中的应用;吴治新;《中国优秀硕士学位论文全文数据库》;20170315;23-48 *

Also Published As

Publication number Publication date
CN107835366A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN107835366B (zh) 多媒体播放方法、装置、存储介质及电子设备
CN107731020B (zh) 多媒体播放方法、装置、存储介质及电子设备
CN109168062B (zh) 视频播放的展示方法、装置、终端设备及存储介质
US20220013026A1 (en) Method for video interaction and electronic device
CN111314784B (zh) 一种视频播放方法及电子设备
CN110933511B (zh) 一种视频分享方法、电子设备及介质
WO2012011614A1 (en) Information device, control method thereof and system
CN108491804B (zh) 一种棋局展示的方法、相关装置及系统
US20210281744A1 (en) Action recognition method and device for target object, and electronic apparatus
CN107870999B (zh) 多媒体播放方法、装置、存储介质及电子设备
CN110855893A (zh) 一种视频拍摄的方法及电子设备
CN112991553B (zh) 信息展示方法及装置、电子设备和存储介质
CN105809174A (zh) 识别图像的方法及装置
CN109257649B (zh) 一种多媒体文件生成方法及终端设备
CN111491205B (zh) 视频处理方法、装置及电子设备
CN112911147A (zh) 显示控制方法、显示控制装置及电子设备
CN111182211B (zh) 拍摄方法、图像处理方法及电子设备
CN111077992B (zh) 一种点读方法、电子设备及存储介质
CN109947988B (zh) 一种信息处理方法、装置、终端设备及服务器
CN113747073B (zh) 视频拍摄方法、装置和电子设备
CN107885482B (zh) 音频播放方法、装置、存储介质及电子设备
CN113936697B (zh) 语音处理方法、装置以及用于语音处理的装置
CN108073291B (zh) 一种输入方法和装置、一种用于输入的装置
CN114466140B (zh) 图像拍摄方法及装置
CN114125531B (zh) 视频预览方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong Opel Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant