CN109756770A - 视频播放过程实现单词或语句复读的方法及电子设备 - Google Patents
视频播放过程实现单词或语句复读的方法及电子设备 Download PDFInfo
- Publication number
- CN109756770A CN109756770A CN201811502510.3A CN201811502510A CN109756770A CN 109756770 A CN109756770 A CN 109756770A CN 201811502510 A CN201811502510 A CN 201811502510A CN 109756770 A CN109756770 A CN 109756770A
- Authority
- CN
- China
- Prior art keywords
- video
- interface
- word
- user
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- User Interface Of Digital Computer (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请提供了一种视频播放的方法及电子设备,该方法可以按照用户的需求,在视频播放过程中,用户可以随时点击字幕中的文本单元进行学习;或者,在播放视频的过程中,将用户导入的文本单元识别出来,并高亮显示该文本单元,以及通过设置当前的复读模式,自动重复播放该文本单元或者该文本单元所在语句对应的视频片段,实现该文本单元的复读,该方法能够提升用户的英语学习效果,简化用户操作,提高用户体验。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种视频过程实现单词或语句复读的方法及电子设备。
背景技术
在英语学习过程中,现有的英语学习资源,大部分停留在单词、释义、例句阶段。英语学习类应用程序对视频资源的利用比较匮乏。
此外,英语视频资源与英语单词的关联度较低,用户在英语学习过程中,不便于通过视频资源进行英文单词或者语句的学习。而且,现有的英文视频,用户要实现英语单词或语句的复读,只能通过进度条的拖动等实现,且在进度条的拖动过程时间不够精确。为了实现单词或语句的复读,如果通过视频内容剪辑则会影响视频本身的内容的时长,用户体验较差。
发明内容
本申请提供一种视频播放的方法及电子设备,能够在视频播放过程中实现单词或语句复读,提升用户的英语学习效果,提高用户体验。
第一方面,提供了一种视频播放的方法,该方法包括:显示第一界面,该第一界面显示正在播放的第一视频和该第一视频的字幕,该第一视频的字幕包括第一文本单元和第二文本单元;当播放到所述第一文本单元对应的该第一视频的第一片段时,在第一界面上自动重复播放该第一片段;在该第一界面上检测用户的第一操作;响应于该第一操作,显示第二界面,在该第二界面上显示与该第一文本单元关联的第一信息。
应理解,在用户学习过程中的文本单元(例如第一文本单元和第二文本单元)可以是单个单词,或者文本单元可以包括多个单词的词组、句子等,本申请对此不作限定。
需要说明的是,第一界面可以对应多种可能的情况,例如电子设备全屏播放模式下,第一界面就是指该视频播放显示区域,播放区域上显示字幕等;或者电子设备在非全屏模式下,除了视频播放的显示区域之外,还可以包括其他的显示区域,例如该文本单元的解析详情的区域,以及与该文本单元相关联的其他多个学习视频资源等。本申请对此不作限定。
这里第一信息可以指该第一文本单元的解析详情,例如该第一文本单元的英式、美式发音、中文释义、中英文例句以及相关的学习视频等。
还应理解,第二界面是用户通过点击字幕中的文本单元后,显示了该文本单元的解析详情后的界面,例如在该视频播放界面弹出该文本单元的解析窗之后的界面。对应于第一界面的多种可能的情况,示例性的,第二界面有多种可能的情况,在第一界面的显示基础上,第二界面还包括用户点击字幕中的文本单元后的解析弹窗。例如该文本单元的解析弹窗可以包括该文本单元的英式、美式发音、中文释义、中英文例句等。本申请对此不作限定。
可选地,本申请中所说的单词解析、解析详情等呈现的详细内容可以来源于系统本身内置的英语词典,也可以关联其他的英语在线词典等,本申请对此不作限定。
还应理解,除了点击视频字幕中的单词,用户还可以点击视频字幕中的词组。例如,某些单词的出现基本都是以词组的形式出现,则在用户点击过程中,可以以词组的形式出现该词组的解析。例如,当单词解析界面呈现的详细内容关联英语词典,词典中该单词主要以词组形式出现,在用户观看视频过程中,点击该单词,也可以弹出该词组的解析或释义,本申请对此不作限定。
上述提供的在视频播放过程中学习单词、词组或者语句的方法,能够实现在观看视频的过程中学习英文单词,按照用户的需求,随时点击进入单词的学习,可以简化单词学习的搜索操作,同时增加用户学习的便捷性,提升用户体验。
结合第一方面,在第一方面的某些实现方式中,该第一片段是该第一文本单元对应的视频片段,或者该第一片段是该第一文本单元所在的整句对应的视频片段。
示例性的,通过复读设置框设置当前的复读模式为词复读后,在该第一界面重复播放用户输入的关键词对应的起始时间到结束时间内的视频片段。
或者,通过复读设置框设置当前的复读模式为句复读后,在该第一界面重复播放用户输入的关键词所在的整个语句,重复从该语句对应的起始时间到结束时间内的视频片段。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该重复播放该第一视频的第一片段的次数是系统默认的预设次数或者用户设置的。
示例性的,重复播放的次数可以是用户后台设置的,也可以是系统默认的。在用户未设置重复播放的次数的情况下,重复播放的次数可以为系统默认的3次。本申请对此不作限定。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该方法还包括:在显示第一界面之前,显示第三界面,该第三界面显示用户输入的该第一文本单元,该第三界面包括与该第一文本单元关联的第二信息和第一视频列表,该第一视频列表包括该第一视频;在该第三界面上检测用户的第二操作;响应于该第二操作,显示该第一界面。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一视频列表进一步包括第二视频,该第二操作用于选择该第一视频。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该方法还包括:在该第三界面上检测用户的第三操作;响应于该第三操作,显示第四界面,该第四界面包括该第一文本单元的第二信息和第二视频列表,该第二视频列表包括至少一个视频,该第二视频列表中的每个视频的字幕包括该第一文本单元。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,显示该第二界面时,该第一视频被暂停播放。
在视频播放过程中,只要点击复读设置控件设置复读模式和复读次数,或者用户点击字幕中的任意一个单词并进入该单词的学习模式,弹出该单词的单词解析框时,该视频都是暂停播放的。
在一种可能的实现方式中,当用户点击关闭复读设置控件、字幕设置控件或者关闭该重点单词的单词解析框退出该单词的学习模式之后,视频可以实现自动继续播放,不需要用户再点击播放控件。或者视频处于暂停播放的状态,用户可以点击视频显示界面的播放控件,继续播放该视频。本申请对此不作限定。
上述提供的在视频中单词复读的方法,能够实现普通观影过程中学习英文单词,按照用户的需求,随时点击进入单词的学习,可以简化单词学习的搜索操作,同时增加用户学习的便捷性,提升用户体验。
当用户在休闲放松观看影片过程中,如果想学习字幕中的某单词,可以通过上述方法,点击字幕中的该单词,进入该单词的学习模式。在另一种场景中,用户可能需要针对性的学习某些重点单词,例如用户需要学习某词汇集合中的多个单词,词汇集合可以是英语四六级词汇或者雅思词汇等。在这种场景中,本申请还提供一种单词学习的方法,能够为用户提供某词汇集合中包括的多个单词的集中性学习。
在一种可能的实现方式中,该学习视频的字幕和该学习视频的进度条呈现于播放界面中的不同位置。可能的情况,如果学习视频的字幕和该学习视频的进度条都显示在播放界面的同一位置区域,则在用户点击字幕中包含的单词时,可能点击效果差,例如点击单词的过程可能误触发点击了进度条。特别是当用户观看该学习视频的电子设备的显示屏较小,或者用于播放该学习视频的界面较小时,此种情况更加突出。因此,将该学习视频的字幕和该学习视频的进度条呈现于播放界面中的不同位置,例如,视频播放的进度条显示在屏幕上方,字幕显示在屏幕下方,当然,也可以是播放界面的其他位置,都能够提高用户操作的灵敏度,提高用户体验。本申请对视频播放的进度条和字幕显示的位置不作限定。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一文本单元的显示效果不同于该第二文本单元的显示效果。
具体地,在该视频播放过程中,用户学习的单词在字幕中是高亮展示的。当字幕中出现用户要学习的“message”时,“message”是不同于字幕中其他单词的显示,用于提醒用户该单词的位置,以及注意该单词的发音等。
此外,当用户在休闲放松观看影片过程中,如果想学习字幕中的某单词,可以通过上述方法,点击字幕中的该单词,进入该单词的学习模式。在另一种场景中,用户可能需要针对性的学习某些重点单词,例如用户需要学习某词汇集合中的多个单词,词汇集合可以是英语四六级词汇或者雅思词汇等。
在这种场景中,本申请还提供一种单词学习的方法,能够为用户提供某词汇集合中包括的多个单词的集中性学习。即对于一部视频资源,可以预先提取该视频资源中的某词汇集合中的所有单词。用户在选择影片之前,可以查看每一部影片中包括的所有重点单词,并可以点击选择需要学习的重点单词,或者用户可以根据重点单词的数量选择影片资源,例如选择包括的重点单词最多的影片作为当前观看的影片,并点击进入该影片学习模式。
应理解,在上述介绍的播放学习视频过程中,当视频播放至该单词所在的画面,高亮展示该单词,实现自动复读,当复读完成后,视频继续播放不受影响。或者,当视频播放至该单词所在的画面,弹出该重点单词的单词解析框,弹出该单词解析框的时间到达预设时长后,视频继续播放不受影响。
通过上述介绍的在视频中实现单词或语句复读的方法,用户可以基于视频的英文字幕,在观看英文视频的同时,利用单词索引和播放器的回退等能力,实现英语单词的复读、跟读等功能,提升用户的英语学习效果,提高用户体验。
第二方面,提供了一种电子设备,包括:一个或多个处理器;存储器;多个应用程序;以及一个或多个程序,其中该一个或多个程序被存储在该存储器中,当该一个或者多个程序被该处理器执行时,使得该电子设备执行以下步骤:显示第一界面,该第一界面显示正在播放的第一视频和该第一视频的字幕,该第一视频的字幕包括第一文本单元和第二文本单元;当播放到所述第一文本单元对应的该第一视频的第一片段时,在第一界面上自动重复播放该第一片段;在该第一界面上检测用户的第一操作;响应于该第一操作,显示第二界面,在该第二界面上显示与该第一文本单元关联的第一信息。
结合第二方面,在第二方面的某些实现方式中,该第一片段是该第一文本单元对应的视频片段,或者该第一片段是该第一文本单元所在的整句对应的视频片段。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,当该一个或者多个程序被该处理器执行时,使得该电子设备执行以下步骤:在显示第一界面之前,显示第三界面,该第三界面显示用户输入的该第一文本单元,该第三界面包括与该第一文本单元关联的第二信息和第一视频列表,该第一视频列表包括该第一视频;在该第三界面上检测用户的第二操作;响应于该第二操作,显示该第一界面。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一视频列表进一步包括第二视频,该第二操作用于选择该第一视频。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,当该一个或者多个程序被该处理器执行时,使得该电子设备执行以下步骤:在该第三界面上检测用户的第三操作;响应于该第三操作,显示第四界面,该第四界面包括该第一文本单元的第二信息和第二视频列表,该第二视频列表包括至少一个视频,该第二视频列表中的每个视频的字幕包括该第一文本单元。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,显示该第二界面时,该第一视频被暂停播放。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,重复播放该第一视频的第一片段的次数是系统默认的预设次数或者用户设置的。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一文本单元的显示效果不同于该第二文本单元的显示效果。
第三方面,本申请提供了一种装置,该装置包含在电子设备中,该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,显示模块或单元、检测模块或单元、处理模块或单元等。
第四方面,本申请提供了一种电子设备,包括:触摸显示屏,其中,触摸显示屏包括触敏表面和显示器;摄像头;一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被电子设备执行时,使得电子设备执行上述任一方面任一项可能的实现中的视频播放的方法。
第五方面,本申请提供了一种电子设备,包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述任一方面任一项可能的实现中的视频播放的方法。
第六方面,本申请提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的视频播放的方法。
第七方面,本申请提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的视频播放的方法。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构示意图。
图2为本申请实施例提供的一种电子设备的软件结构示意图。
图3是本申请实施例提供的一例视频中实现单词复读的用户界面示意图。
图4是本申请实施例提供的又一例观影过程中学习单词的用户界面示意图。
图5是本申请实施例提供的又一例观影过程中学习单词的用户界面示意图。
图6是本申请实施例提供的一例HMM模型示意图。
图7是本申请提供的一例生成声学模型和强制对齐过程的实现流程图。
图8是本申请实施例提供的一例生成单词时间序列的流程图。
图9是本申请实施例提供的一例内容关联索引的示意图。
图10是本申请实施例提供的单词或语句复读过程的实现流程图。
图11是本申请实施例提供的视频中实现单词或语句复读的方法的实现过程示意图。
图12是本申请实施例提供的视频播放的方法的示意性流程图。
图13是本申请实施例提供的一例电子设备的组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供了一种视频中实现单词或语句复读的方法,可以应用于电子设备,也可是单独的应用程序,该应用程序可实现本申请中单词或语句复读的方法。具体地,用户可以基于视频的英文字幕,在观看英文视频的同时,利用单词索引和播放器的回退等能力,实现英语单词的复读、跟读等功能,提升用户的英语学习效果,提高用户体验。
本申请实施例提供的视频中实现单词或语句复读的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等电子设备上,本申请实施例对电子设备的具体类型不作任何限制。
示例性的,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
为了便于理解,本申请以下实施例将以具有图1和图2所示结构的电子设备为例,结合附图和应用场景,对本申请实施例提供的视频中实现单词复读的方法进行具体阐述。
现有的英语学习资源,大部分停留在单词、释义、例句阶段。英语学习类应用对视频资源的利用比较匮乏。对于英语学习的视频,大部分都是基于现有的视频拆分,并且拆分的视频与英语单词学习关联度较低,不便于用户在英语学习过程中,通过视频资源进行英文单词或者语句的学习。
因此,本申请将提出一种视频中实现单词或语句复读的方法,能够基于视频的英文字幕,在观看英文视频的同时,实现英语单词的复读、跟读等功能,提升用户的英语学习效果,提高用户体验。
图3是本申请实施例提供的一例视频中单词复读的图形用户界面(graphicaluser interface,GUI)的示意图,本申请将以手机作为电子设备,详细介绍本申请提供的在视频中实现单词或语句复读的方法。其中,图3中的(a)图示出了手机的解锁模式下,手机的屏幕显示系统显示了当前输出的界面内容301,该界面内容301为手机的主界面。该界面内容301显示了多款第三方应用程序(application,App),例如支付宝、任务卡商店、相册、微信、卡包、设置、相机,以及本申请实施例中提供的用于英语学习的应用程序,例如图3中的(a)图所示的趣V英语。应理解,界面内容301还可以包括其他更多的应用程序,本申请对此不作限定。
对该英语学习的应用程序输入用户操作,该用户操作可以包括用户对手机显示的英语学习的应用程序的图标的点击操作。响应于该用户的点击操作,进入图3中的(b)图所示的该英语学习的主界面。在该主界面上,可以包括多个功能区域,例如每日推荐的英语单词学习区域,用于列举部分单词和对应的视频,用户可以接收每天的推送,点击学习该单词。该主界面上的顶部区域,包括搜索框302、浏览记录控件303和消息提醒控件304。其中,搜索框302用于用户输入单词,进入该单词的学习模式;浏览记录控件303用于记录用户的搜索和学习记录,方便用户快速查找已学习的单词;消息提醒控件304可以包括系统推送的消息等。该主界面上还可以包括场景分类区域,例如图3中的(b)图中示出的餐厅、打车、飞机、会议、机场、酒店、商场等不同的场景分类。用户可以点击选择任意一种场景,进入该场景分类下,选择英语学习视频进行学习。
如图3中的(b)图所示,用户点击搜索框302,输入要学习的单词“message”,进入如图3中的(c)图所示的显示界面。用户输入单词后,界面自动显示该单词的导航栏305,用户点击“message”的导航栏305,进入图3中的(d)图所示的单词解析界面。图3中的(d)图中,该“message”解析界面包括的英式、美式发音、中文释义、中英文例句以及视频例句。可选地,该单词解析界面呈现的详细内容可以来源于系统本身内置的英语词典,也可以关联其他的英语在线词典等,本申请对此不作限定。
该单词解析界面还包括单词添加控件306,点击该单词添加控件306可以将单词添加到单词簿中,用户可以在单词簿中点击该单词快速进入该单词解析界面,简化搜索操作。
如图3中的(d)图所示,视频例句区域可以显示与该单词相关的所有的学习视频资源。可选地,该学习视频资源可以包括不同场景分类下的视频资源。用户输入要学习的单词后,获取不同场景分类下的英语学习视频列表,用户可以点击选择任意一种场景,获取该场景分类下的英语学习视频进行学习。例如用户可以点击餐厅、打车、飞机等不同的场景分类,查看不同场景下的该单词的视频资源。本申请对视频资源的分类不作限定。
响应于如图3中的(d)图所示的点击操作,用户可以进入“message”的视频学习模式,该视频学习模式界面如图3中的(e)图所示,例如该视频是节选于影片《当幸福来敲门》的长达36秒的片段。在该视频学习模式界面上,包括视频播放区域,用于播放与“message”相关的学习视频;还包括单词解析界面,详细显示“message”的释义等,方便用户同时结合视频场景和中文释义进行学习,提高学习效果;此外,向上滑动该视频学习模式界面,还可以显示如图3中的(h)图中区域308所示的同类推荐的相关视频,该同类推荐的相关视频可以是与当前播放的单词相关的学习视频,例如与“message”相关的其他场景下的学习视频,也可以是与当前场景相同的其他视频,例如当前播放的“message”的学习视频是餐厅场景分类下的视频,该同类推荐的相关视频也是餐厅场景分类下的其他学习视频,本申请对此不作限定。
可选地,在图3中的(e)图所示的视频播放过程中,用户可通过视频播放进度条中的标识查看要学习的英文单词所处的时间片的位置。例如,在当前播放的36秒的“message”的学习视频中,进度条中第9秒的位置处有用户可见的标识,用于标注“message”在该视频中出现的时间片的位置。应理解,该学习视频中可以包括多个标识,且该标识的数量匹配于该单词在视频中出现的次数。而且在播放过程中,用户可以通过拖动进度条控制视频播放的进度,例如学习视频较长时,用户可以将进度条拖动到靠近该单词的标识处,进行播放。
在一种可能的实现方式中,用户学习的单词在该视频播放过程中是高亮展示的。在图3中的(e)图所示的视频播放过程中,当字幕中出现用户要学习的“message”时,“message”是不同于字幕中其他单词的显示,用于提醒用户该单词的位置。
在“message”的视频播放区域,包括复读设置控件306,如图3中的(f)图所示。用户点击该复读设置控件306后,在视频播放区域可以弹出图3中的(g)图所示的复读设置框307。在复读设置框307中,包括循环次数设置选项和字幕设置选项。
示例性的,用户可以通过该循环次数设置选项选择复读的内容,例如用户可以点击“无”设置为无复读模式,即在当前的学习视频播放过程中,不复读单词或语句。或者,用户可以点击“词”设置为词复读模式,即在当前“message”的学习视频播放过程中,当播放到“message”时,会进行循环播放该“message”对应的音频和视频帧。又或者,用户可以点击“句”设置为句复读模式,即在当前“message”的学习视频播放过程中,当播放到包含“message”的语句时,会进行循环播放该语句对应的音频和视频帧。例如图3中的(h)图中包括“message”的语句:“Yes,I’d like to leave a message for Mr.Jay Twistle”,在句复读模式下,会循环播放该语句对应的音频和视频帧。
应理解,在上述介绍的播放学习视频过程中,当视频播放至该单词所在的时间片,高亮展示该单词,实现自动复读,当复读完成后,视频继续播放不受影响。
在一种可能的实现方式中,循环播放的次数可以是用户后台设置的,也可以是系统默认的。在用户未设置循环播放的次数的情况下,循环播放的次数可以为系统默认的3次。本申请对此不作限定。
此外,用户可以通过字幕设置选项设置字幕的展现形式。例如用户可以点击复读设置框307中字幕的第一个控件,对应的是无字幕模式,即在学习视频播放过程中不显示中文或者英文的任何字幕。或者,用户可以点击复读设置框307中字幕的第二个控件“A”,对应的是英文字幕模式,即在学习视频播放过程中只显示英文字幕。又或者,用户可以点击复读设置框307中字幕的第三个控件“A+”,对应的是全字幕模式,即在学习视频播放过程中同时显示英文字幕和中文字幕。
应理解,在视频播放过程中,只要点击复读设置控件设置复读模式和复读次数,或者用户点击字幕中的任意一个单词并进入该单词的学习模式,弹出该单词的单词解析框时,该视频都是暂停播放的。
还应理解,在上述实施例的介绍时,在用户学习过程中以单个单词为例,如“message”,在实际应用过程中,用户还可以输入词组、句子等不同的文本单元,本申请对此不作限定。
在一种可能的实现方式中,当用户点击关闭复读设置控件或者关闭该重点单词的单词解析框退出该单词的学习模式之后,视频可以实现继续播放,或者视频处于暂停状态,用户可以点击视频显示界面的播放控件,继续播放该视频。本申请对此不作限定。
通过上述介绍的本申请提供的视频中实现单词或语句复读的方法,能够为用户提供更利于学习英文的环境。基于本申请的方法,用户可以根据要学习的英文单词,选择不同场景下的视频资源。在视频学习过程中,基于视频的英文字幕,用户可以在观看英文视频的同时,实现英语单词的复读、跟读等功能,提升用户的英语学习效果,提高用户体验。
在另一种可能的实现方式中,上述介绍的在视频中实现单词或语句复读的方法除了应用于专门用于学习英语的应用程序(例如前述的趣V英语)之外,还可以应用于视频播放类应用程序中,例如现有的优酷视频、腾讯视频、youtube等,本申请对此不作限定。图4是本申请提供的又一例观影过程中学习单词的用户界面示意图,下面结合图4进行介绍。
示例性的,图4中的(a)图示出了手机的解锁模式下,手机的屏幕显示系统显示了当前输出的界面内容401,该界面内容401为手机的主界面。该界面内容401显示了多款第三方应用程序,其中包括用户观影的应用程序,例如华为的影视应用程序华为电影。用户点击华为电影进入图4中的(b)图所示的华为电影的显示界面。如图所示,该界面可以包括各种分类的影视资源,以及各类推荐的影视资源,如图中示出的精彩推荐的影片《当幸福来敲门》。点击该推荐影片进入到该影片的播放模式。
示例性的,在影片播放过程中,当音频播放到任意一个单词时,该单词在视频下方的字幕中是高亮展示的。例如,在图4中的(c)图所示的视频播放过程中,当影片中音频播放到close时,字幕中close是不同于字幕中其他单词的显示,用于明确每一个单词在音频和字幕中的位置,便于用户学习该单词的发音和释义。
示例性的,在影片播放界面中,可以包括循环次数设置控件402和字幕设置控件403。同理,用户可以通过该循环次数设置控件选择复读的内容,例如用户可以点击“无”设置为无复读模式,即在当前的学习视频播放过程中,不复读单词或语句。或者,用户可以点击“词”设置为词复读模式。又或者,用户可以点击“句”设置为句复读模式,即在当前学习视频播放过程中,用户设置后,会进行循环播放设置前或设置后的语句对应的音频和视频帧。
应理解,此时的复读设置可以默认为用户启动该设置时的时间片的后一个单词或者后一句对应的音频和视频帧,也可以默认为用户启动该设置时的时间片的前一个单词或者后一句对应的音频和视频帧,用户也可以对循环复读的单词或语句和开启设置模式的时间片的关系进行更改。本申请对此不作限定。
例如,用户在在观看该影片的过程中,出现没有听清楚的语句、单词或者用户想学习该语句、单词,用户可以直接点击复读设置控件,设置复读模式和复读的次数,从而退出复读模式时,直接复读前句或者前单词。
在观看该影片的过程中,用户可能遇见陌生单词。在一种可能的实现方式中,当用户想学习视频中出现的陌生单词时,可以点击视频字幕中的该陌生单词。如图4中的(d)图所示,用户如果想学习“close”,可以在视频播放界面的字幕上点击“close”,进入图4中的(e)图所示的界面。即用户可以通过点击字幕中的单词进入该单词的学习模式,如图4中的(e)图所的弹框404所示的close的单词解析,且该弹框404上包括“详情”控件403和添加至单词簿控件406。其中,“详情”控件405用于用户快速进入如图4中的(f)图所所示的该单词的解析界面,该解析界面包括的英式、美式发音、中文释义、中英文例句以及相关视频等,用户可以在该单词解析界面查看该单词的相关学习内容,以及与该单词的相关视频资源。类似地,该单词解析界面呈现的详细内容可以来源于系统本身内置的英语词典,也可以关联其他的英语在线词典等,本申请对此不作限定。此外,用户可以点击该单词的视频资源进行学习,具体地操作过程可参照前述图3中的相关介绍,此处不再赘述。
应理解,除了点击视频字幕中的单词,用户还可以点击视频字幕中的词组。例如,某些单词的出现基本都是以词组的形式出现,则在用户点击过程中,可以以词组的形式出现该词组的解析。例如,当单词解析界面呈现的详细内容关联英语词典,词典中该单词主要以词组形式出现,在用户观看视频过程中,点击该单词,也可以弹出该词组的解析或释义,本申请对此不作限定。
还应理解,在视频播放过程中,只要点击复读设置控件设置复读模式和复读次数,或者用户点击字幕中的任意一个单词并进入该单词的学习模式,弹出该单词的单词解析框时,该视频都是暂停播放的。
在一种可能的实现方式中,该学习视频的字幕和该学习视频的进度条呈现于播放界面中的不同位置。可能的情况,如果学习视频的字幕和该学习视频的进度条都显示在播放界面的同一位置区域,则在用户点击字幕中包含的单词时,可能点击效果差,例如点击单词的过程可能误触发点击了进度条。特别是当用户观看该学习视频的电子设备的显示屏较小,或者用于播放该学习视频的界面较小时,此种情况更加突出。因此,将该学习视频的字幕和该学习视频的进度条呈现于播放界面中的不同位置,例如,图4中的(c)图所和图4中的(d)图所所示,视频播放的进度条显示在屏幕上方,字幕显示在屏幕下方,当然,也可以是播放界面的其他位置,都能够提高用户操作的灵敏度,提高用户体验。本申请对视频播放的进度条和字幕显示的位置不作限定。
在一种可能的实现方式中,当用户点击关闭复读设置控件402、字幕设置控件403或者关闭该重点单词的单词解析框404退出该单词的学习模式之后,视频可以实现自动继续播放,不需要用户再点击播放控件。或者视频处于暂停播放的状态,用户可以点击视频显示界面的播放控件,继续播放该视频。本申请对此不作限定。
上述提供的在观影过程中学习单词的方法,能够实现在普通观影过程中学习英文单词,按照用户的需求,随时点击进入单词的学习,可以简化单词学习的搜索操作,同时增加用户学习的便捷性,提升用户体验。
当用户在休闲放松观看影片过程中,如果想学习字幕中的某单词,可以通过上述方法,点击字幕中的该单词,进入该单词的学习模式。在另一种场景中,用户可能需要针对性的学习某些重点单词,例如用户需要学习某词汇集合中的多个单词,词汇集合可以是英语四六级词汇或者雅思词汇等。在这种场景中,本申请还提供一种单词学习的方法,能够为用户提供某词汇集合中包括的多个单词的集中性学习。
图5是本申请实施例提供的又一例观影过程中学习单词的用户界面示意图。对于一部视频资源,可以预先提取该视频资源中的某词汇集合中的所有单词。例如图5中的(a)图所示影片《加勒比海盗》,提取该影片字幕中包括的所有六级词汇形成重点单词集合,如图中的重点单词区域中的单词列表503。
可选地,在用户选择的该视频界面中,显示单词集合503。用户可以设置该单词集合的种类。例如,用户可以点击“重点单词”控件设置该单词列表503为六级词汇或者雅思词汇。或者,用户可以点击该单词列表503中的单词,将点击选中的单词列为重点单词,用于视频学习。又或者,用户可以点击该单词列表503中的单词,将该单词列表503中除了点击选中的单词之外的所有单词列为重点单词,用于视频学习。本申请对此不作限定。
通过上述方法,用户在选择影片之前,可以查看每一部影片中包括的所有重点单词,并可以点击选择需要学习的重点单词,或者用户可以根据重点单词的数量选择影片资源,例如选择包括的重点单词最多的影片作为当前观看的影片,并点击进入该影片学习模式。
在一种可能的实现方式中,用户可通过视频播放进度条中的标识查看要该影片中的重点单词所处的时间片的位置。用户在观影过程中可以通过拖动视频进度条来找到重点单词的位置。
在一种可能的实现方式中,该影片中的重点单词在该视频播放过程中是高亮展示的。在图5中的(b)图所示的视频播放过程中,当字幕中出现该影片中的重点单词“abandon”时,“abandon”的显示不同于字幕中其他单词的显示,用于提醒用户该单词的位置和发音。例如字幕整体显示为黑色,当字幕中出现重点单词时,显示为蓝色,高亮突出以提醒用户注意该单词的位置以及相关发音。
在一种可能的实现方式中,视频播放区域可以包括循环次数设置控件501和字幕设置控件502,如图5中的(b)图所示。用户可以通过点击该循环次数设置控件501设置该重点单词的复读次数,通过点击该字幕设置控件502设置该影片的字幕的展现形式。功能类似于前述图3的相关描述中介绍复读设置控件306,为了简便,此处不再赘述。
可选地,对于该影片中的重点单词,可以默认循环播放。例如,当视频播放至该重点单词时,该单词默认循环播放3次,能够减少用户的设置步骤,并提高用户的学习效果。
在一种可能的实现方式中,该影片字幕中包括的所有单词,用户可以点击任意一个单词并进入该单词的学习模式,如图5中的(b)图所示点击abandon后弹出的abandon的单词解析框。同理,该单词解析框包括详情控件和添加至单词簿控件,用户可以点击详情控件进入abandon的学习界面,此处不再赘述。
或者,该影片播放至该重点单词时,自动弹出该重点单词的单词解析框504,如图5中的(b)图所示。可选地,弹出该单词解析框504的时间可以设置固定时长,例如弹出该单词解析框504的时长为5秒,5秒时间之后自动关闭该单词解析框504。本申请对此不作限定。
应理解,在视频播放过程中,只要弹出单词解析框504进入某单词的学习模式,该视频是暂停播放的。具体地,用户可以点击字幕中的任意一个单词并进入该单词的学习模式,或者前述影片播放至该重点单词时,自动弹出该重点单词的单词解析框504,进入该单词的学习模式,该视频都是暂停播放的。
在一种可能的实现方式中,当用户点击关闭该重点单词的单词解析框504退出该单词的学习模式,或者该单词解析框504的显示时间达到设置的固定时长之后自动关闭该单词解析框504退出该单词的学习模式之后,视频可以在关闭该单词解析框504后继续播放,或者视频处于暂停状态,用户可以点击视频显示界面的播放控件,继续播放该视频。本申请对此不作限定。
应理解,在上述介绍的播放学习视频过程中,当视频播放至该单词所在的画面,高亮展示该单词,实现自动复读,当复读完成后,视频继续播放不受影响。或者,当视频播放至该单词所在的画面,弹出该重点单词的单词解析框,弹出该单词解析框的时间到达预设时长后,视频继续播放不受影响。
通过上述介绍的在视频中实现单词或语句复读的方法,用户可以基于视频的英文字幕,在观看英文视频的同时,利用单词索引和播放器的回退等能力,实现英语单词的复读、跟读等功能,提升用户的英语学习效果,提高用户体验。
应理解,在上述实施例的介绍时,在用户学习过程中以单个单词为例,在实际应用过程中,用户还可以输入词组、句子等不同的文本单元,本申请对此不作限定。
还应理解,本文以英语学习为例介绍了用户学习英语过程中可以实现单词或语句的复读,该方法同样适用于其他语言的视频学习,本申请对此不作限定。
上述结合图3至图5细描述了本申请的人机交互实施例,为了更好地理解本申请提供的视频中实现单词或语句复读的方法,下面介绍具体的实现过程和算法原理。
在具体的实现过程中,本申请提供的单词或语句复读的方法需要基于语音识别技术,生成与视频关联的单词搜索功能,生成从多个单词到多个视频的对应关系索引,以及生成单个视频到多个单词的对应关系索引,实现从用户可以从单词搜索到相关的学习视频。此外,本申请再利用单词的搜索功能和播放器的回退能力,通过定位单词的起止时间和关键帧,实现复读功能。具体地包括以下实现步骤:
步骤一:生成声学模型
应理解,声学模型(acoustic model)是语音识别系统中最为重要的部分之一,在语音识别中,声学模型用于表示声音信号与音素的关系,或者是用于表示构成语音的各个语言单元之间的关联。其中,音素是发音的最小单位。目前的主流系统多采用隐马尔科夫模型(Hidden Markov model,HMM)进行建模。隐马尔科夫模型是最常见的声学模型,隐马尔可夫模型的概念是一个离散时域有限状态自动机,HMM是指这一马尔可夫模型的内部状态外界不可见,外界只能看到各个时刻的输出值。图6是一例HMM模型示意图。本申请将以HMM为例进行介绍。图6中1至6示出了一个单词的每个音素,1和6是单词的头和尾。HMM可以根据各个概率得到最优的音素、单词以及句子序列。
例如,我们要识别good的音频信号,按照语音识别的基本步骤,首先需要将这两个单词拆成音素,例如:
good由3个音素组成,分成音素表达就是:G IH0D
morning由6个音素组成,分成音素表达就是:M AO1 R N IH0 NG
再对每个音素进行模型训练,这个训练是通过大量语音信号来进行的,本申请使用已有的模型,包括单音素的monophone模型和三音素的triphone模型。其中,monophone模型就是用一个HMM来代表1个音素,triphone模型就是用一个HMM来代表3个音素。由于不同的发音在连读的时候会发生变化,例如英文发音中两个单词连读可能产生新的发音。例如,can和I这个两个单词进行连读,在一起发音很像“can nai”,因此,需要使用多个音素来表示can I的发音。
步骤二:强制对齐
强制对齐(forced alignment)是一种通过音频文件获取字典词汇正确拼写及发音的版本,并生成时间点的技术。具体地,强制对齐实际上就是使用到了上文提及的声学模型(acoustic model)和备选单词,需解决这些单词怎么摆放,将已获得的音频信号产生音素,如何将声学模型连在一起。例如:
good morning产生音素为:G IH0 D M AO1 R N IH0 NG
本申请在实现步骤一和步骤二的过程中使用系统是Kaldi算法,即Kaldi的开源工具包(请参考http://kaldi-asr.org/doc/index.html)。图7是本申请提供的生成声学模型和强制对齐过程的实现流程图。具体包括:
701,导入样本库,产生单音素,进行单音素模型训练得到monophone模型。
具体地,701包括特征提取过程和声音模型的建立过程。在特征提取过程中,无论何种语境,获取大量的不同语境的样本库。将事先准备好的和语言模型相关的文件导入,提取样本的特征,进行高斯模型(gaussian mixture model,GMM)训练,基于GMM的声学模型进行最大似然估计,然后进行迭代循环操作,不断地重新估计GMM,对分散在不同处理器上的结果进行合并。
702,根据境况上下文,在单音模型基础上产生三音素triphone模型。
具体地,例如Good由3个音素组成,按照单音素模型(monophone)只需要建立3个HMM模型。而考虑上下文的协同发音效应,也就是上下文音素会对当前的中心音素发音有影响,会产生协同变化,这与该音素的单独发音会有所不同。为了考虑这个影响使用三音素模型(triphone)将会出现数千个HMM模型,可以提高语音识别的准确性。
传统的三音素方法就是模型绑定,也就是归一化三音素,使用一个后验平滑的方法。或者,如果上下文的发音类型相似,则对当前音素的影响是相似的,则可以将这些数据聚类。Kald算法可以自动产生问题集,根据音素本身数据上的相似性,自动聚为一类。
703,执行LDA+MLLT学习各音素之间最大差异,优化特征提取。
具体地,线性判别分析(linear discriminant analysis,LDA)算法是通过投影的方法,将特征向量投影到维度更低的空间中,使得投影后的点,会形成按类别区分,在投影后的空间中更接近。即LDA算法通过一个变化矩阵来达到为特征向量降维的目的,使得样本内的分布凝聚,使得样本间的分布疏远,这样提取的特征更加有代表性,使得分类更优。
最大似然线性变换(maximum likelihood linear transformation,MLLT)可以在最大似然(maximum likelihood,ML)准则下使用一个线性变换矩阵对参数特征矢量进行解相关,从而使得新空间中,模型与训练集的似然度增加,优化特征提取的过程。
此外,在703中,还引入适配多人说话信息,增强triphone模型,提高算法的准确性。
应理解,每个triphone模型最后对应到一段声音信号,即一段声音信号的起止时间确定,这个起止时间就是音素级别对齐的时间。
步骤三:生成单词时间序列
通过上述介绍的步骤一和步骤二,就通过Kaldi的开源工具包的相关算法建立了声学模型。在步骤三中需要预先处理本申请可用来学习英语的音频文件。利用音频文件生成的triphone模型,输出与音频文件关联的“单词+时间”列表,图8是本申请实施例提供的一例生成单词时间序列的流程图,该生成过程包括以下内容:
801,导入字幕文件,挨个抽取单词,生成每个单词的声学模型。
802,导入音频文件,生成整个音频文件的声学模型,并且根据声学模型判断可能出现的单词。
803,将音频文件声学模型与单词声学模型进行逐个比对,匹配的单词,输出单词及起止时间,不匹配的单词直接丢弃,音频文件对应的单词序列。
通过步骤三,对于英文视频资源,通过管理员的后台处理,可以获取每个单词的起止时间,实现每个单词的时间片的准确定位,即实现每个单词和音频对应的文件。
步骤四:生成内容关联索引
图9是本申请实施例提供的一例内容关联索引的示意图,以四级词汇为例,图9示出了经过前述步骤处理后,得到单词和音频对应的文件。
具体地,在步骤四中,对于一个英文视频资源,根据该视频资源的英文字幕文件和音频文件,该英文字幕文件包括每个单词和时间片的对应索引,该音频文件包括时间索引。通过时间片信息建立该英文视频资源所有单词中的四级词汇和音频文件中该四级词汇的索引关系,生成多个内容关联索引表,生成从单个单词到多个视频的对应关系索引,或者生成从单个视频对应多个单词的关系索引。例如图9中列举的表1和表2,表1用于表示点单个单词与视频的对应关系,用于用户可以通过单词搜索到相关的英文学习视频,进行单词学习;表2用于表示单个视频与单词的对应关系,用于用户在观看英文视频的过程中,展示用户想学习的英文单词或语句,并实现复读功能。
步骤五:生成内容元数据
内容元数据可以指用户输入的单词以及单词的起止时间,或者用户观看的英文视频中包括的单词以及单词的起止时间等。当客户端请求内容元数据时,查询视频与单词对应关系,将元数据合入单词起止时间后返回。应理解,在本申请中,起止时间都是毫秒级的时间。
综上所述,通过步骤一至步骤五就完成了内容元数据的说呢过程过程,即使用语音识别算法对视频中音频文件进行单词粒度的起止时间抽取,产生单词与视频内容的对应关系。之后,就可以根据用户的请求,实现单词或语句复读。
步骤六:基于单词起止时间定位关键帧,启动定时任务,开启复读功能
用户通过向云端请求获取内容元数据,其中包含内容所含关键词及关键词的起止时间后,用户端需关键词及关键词的起止时间定位该关键词的核心帧位置,从而根据用户的设置进行单词或语句复读。
图10是本申请实施例提供的单词或语句复读过程的实现流程图,根据图10所示,整个过程包括以下内容:
1001,获取内容元数据,根据内容元数据所含关键词及关键词的起止时间定位关键词词。具体地,用户端接收用户指令,向云端请求获取内容元数据。根据内容元数据中关键词所在关键句的时间信息,判断关键词所在时间片。应理解,这里的关键句指关键词所在的语句,这里的时间片和前述的起止时间都是毫秒级的时间。
1002,启动播放。
响应于用户的点击操作,播放学习视频。具体地,用户可以向播放器导入播放链接,开始播放视频。此外,用户端通过关键词检索关键句所在时间,并检索当前的复读模式,确认当前为词复读或者句复读。
应理解,在本申请中,视频资源的来源可以是储存在云端的视频资源,用户通过向云端发送请求获取视频资源,或者视频资源也可以是本地资源,本申请对此不作限定。
1003,启动定时。
在视频播放过程中,当播放至关键句时间时,启动定时任务,在关键单词结束时间点触发定时任务。
1004,定位关键词的开始帧,检索复读数。
判断当前所处的复读模式,调用播放引擎,采用前向帧定位模式。
具体地,当开始时间点与视频关键帧不匹配时,采用回退方式检索关键帧,回退至关键词开始时间位置,检索到关键帧,开始播放该关键帧,实现复读。
当当前的复读模式为词复读时,该关键帧为该关键词起始时间对应的视频帧;当当前的复读模式为句复读时,该关键帧为该关键词所在的关键句的起始时间对应的视频帧。
此外,通过检索复读数,确定回退检索关键帧的次数。
1005,启动复读,回退播放。
检索当前所处的复读模式和复读次数,并读取当前所处复读模式与复读次数,开始前向播放,累计一次播放。例如当复读次数默认为3次时,检测当复读数小于3时,继续进行回退检索关键帧,并播放关键帧。
1006,结束复读,继续播放。
当重复次数与设置次数匹配时,例如当复读次数默认为3次时,检索到累计次数大于或等于3次时,停止复读,视频继续向前播放。
综上所述,通过以上介绍的六个步骤,从声学模型的建立、语音算法对音频和视频文件的处理、单词时间序列的生成、内容元数据的生成、关键帧的定位和复读功能等方面详细介绍了本申请实施例提供的视频中实现单词或语句复读的方法的实现过程,使得用户可以基于视频的英文字幕,在观看英文视频的同时,利用单词索引和播放器的回退等能力,实现英语单词的复读、跟读等功能,提升用户的英语学习效果,提高用户体验。
此外,从视频资源的管理员和用户角度,本申请实施例提供的视频中实现单词或语句复读的方法的实现过程如图11所示。
具体地,在视频资源的管理员角度,包括如下操作:1101,管理员操作管理台,提取视频资源;1102,调用算法,对视频进行预处理,调用语音算法自动拆分;1103,输出含时间戳的单词序列;1104,生成视频内容元数据,即生成单词序列检索索引。
相应地,在用户端,根据不同的场景,用户可包括如下操作:1105,用户输入关键词,通过场景搜索或者单词搜索,搜索到短视频片段,客户端可展示视频关键词及内容;1106,进入视频详情页;1107,进度条标识关键词,用户可通过播放器查看关键词所处位置,例如进度条标识了关键词所在位置;1108,选择词汇复读,用户可以设置复读模式为词重复或者句重复,并可通过设置界面设置复读次数,默认3次;1109,凸显关键词、开启复读。且当视频播放至关键词所在时间片,可高亮展示单词,并自动复读;当复读完后,累计次数大于或等于3次时,停止复读,视频继续播放不影响。
在一种可能的场景中,例如图4中介绍的场景,用户观看电影过程中,可以通过点击方式取出字幕中包含的单词,并展示该单词词卡,对单个单词在电影中手动执行复读。前述有详细的介绍,此处不再赘述。
在一种可能的场景中,例如图5中介绍的场景,用户可以在通过在视频播放应用程序中,边观影边学习专业单词。具体地,用户打开英文电影,可以查看当前电影中包含哪些专业词汇,例如四级、托业、托福等,看电影过程中,播放到专业词汇的位置,开启复读功能。
综上所述,本申请提供的单词或语句复读的方法基于语音识别技术,生成与视频关联的单词搜索功能,生成从多个单词到多个视频的对应关系索引,以及生成单个视频到多个单词的对应关系索引,实现从用户可以从单词搜索到相关的学习视频。此外,利用单词的搜索功能和播放器的回退能力,通过定位单词的起止时间和关键帧,实现复读功能。在实现过程中,用户通过向云端请求内容元数据,获取的内容元数据中含有单词及时间轴信息,在播放器产生复读过程中,复读的内容时长不影响视频资源内容本身的时长,同时实现播放时间的高频变化。避免了现有的视频内容剪辑过程,如果要实现单词的复读则会加长内容时间等,提高了用户体验。
结合上述实施例及相关附图,本申请实施例提供了一种视频播放的方法,该方法可以在如图1、图2所示的具有触摸屏和摄像头的电子设备(例如手机、平板电脑等)中实现。图12是本申请实施例提供的视频播放的方法的示意性流程图,如图12所示,该方法可以包括以下步骤:
1201,显示第一界面,所述第一界面显示正在播放的第一视频和所述第一视频的字幕,所述第一视频的字幕包括第一文本单元和第二文本单元。
应理解,在用户学习过程中的文本单元(例如第一文本单元和第二文本单元)可以是单个单词,或者文本单元可以包括多个单词的词组、句子等,本申请对此不作限定。
示例性的,该第一界面为图3中的(e)图或(f)图所示的界面。其中,该第一界面包括正在播放的第一视频和第一视频的字幕,在该第一视频的字幕上,包括用户要学习的第一文本单元“message”,将该字幕上除了“message”之外的单词称为第二文本单元。
可选地,该第一界面还可以包括第一文本单元的解析详情,例如“message”的英式、美式发音、中文释义、中英文例句以及视频例句等。可选地,该单词的解析详情呈现的详细内容可以来源于系统本身内置的英语词典,也可以关联其他的英语在线词典等,本申请对此不作限定。
1202,当播放到所述第一文本单元对应的所述第一视频的第一片段时,在所述第一界面上自动重复播放所述第一片段。
可选地,第一片段是所述第一文本单元对应的视频片段,或者所述第一片段是所述第一文本单元所在的整句对应的视频片段。
示例性的,通过图(g)图的复读设置框307设置为词复读后,在该第一界面重复播放图3中的(h)图所示的从“message”对应的起始时间到结束时间内的视频片段。
或者,通过图3中的(g)图的复读设置框307设置为句复读后,在该第一界面重复播放图3中的(h)图所示的从“message”所在的整个语句,如“Yes,I’d like to leave amessage for Mr.Jay Twistle”对应的起始时间到结束时间内的视频片段。
可选地,所述重复播放所述第一视频的第一片段的次数是系统默认的预设次数或者用户设置的。
示例性的,重复播放的次数可以是用户后台设置的,也可以是系统默认的。在用户未设置重复播放的次数的情况下,重复播放的次数可以为系统默认的3次。本申请对此不作限定。
1203,在所述第一界面上检测用户的第一操作。
示例性的,如图4中的(d)图所示,该第一操作可以为用户点击第一视频的字幕上的第一文本单元的操作。例如,用户点击字幕中的“close”。
1204,响应于所述第一操作,显示第二界面,在所述第二界面上显示与所述第一文本单元关联的第一信息。
当手机检测到用户点击字幕中的第一文本单元的操作后,手机进入如图4中的(e)图所示的第二界面。其中,第二界面上显示与该用户点击的第一文本单元关联的解析详情等信息。
在一种可能的实现方式中,在显示第一界面之前,该方法1200还包括:
显示第三界面,所述第三界面显示用户输入的所述第一文本单元,所述第三界面包括与所述第一文本单元关联的第二信息和第一视频列表,所述第一视频列表包括所述第一视频。
示例性的,该第三界面为图3中的(d)图所示的界面。其中,该第三界面是用户执行如图3中的(c)图所示的操作,输入要学习的“message”,点击导航框305后显示的界面。如图3中的(d)图所示,该第三界面包括“message”的单词解析详情和“message”相关联的视频列表。
在所述第三界面上检测用户的第二操作。
可选地,第一视频列表进一步包括第二视频,所述第二操作用于选择所述第一视频。
示例性的,该视频列表中可以包括多个视频,用户执行类似于图3中的(h)图中的在该第三界面上的向上划动的操作,可以看见更多可选择的视频。
响应于所述第二操作,显示所述第一界面。
示例性的,如图3中的(d)图所示,第二操作可以是用户对该第一视频的点击操作,用户可以点击该第一视频进入第一界面。
在一种可能的实现方式中,方法1200还包括:
在所述第三界面上检测用户的第三操作。
示例性的,如图4中的(e)图所示,第三操作可以是用户点击单词解析弹框404中的详情控件。
响应于所述第三操作,显示第四界面,所述第四界面包括所述第一文本单元的第二信息和第二视频列表,所述第二视频列表包括至少一个视频,所述第二视频列表中的每个视频的字幕包括所述第一文本单元。
示例性的,如图4中的(f)图所示,第四界面是用户点击详情控件后进入该文本单元的解析界面,包括单词解析详情和与该单词相关联的视频列表。
在一种可能的实现方式中,显示所述第二界面时,所述第一视频被暂停播放。
示例性的,在视频播放过程中,如图3中的(f)图至(g)图所示,只要点击复读设置控件设置复读模式和复读次数,或者如图4中的(d)图至(e)图所示,用户点击字幕中的任意一个单词并进入该单词的学习模式,弹出该单词的单词解析框时,该视频都是暂停播放的。
在一种可能的实现方式中,所述第一文本单元的显示效果不同于所述第二文本单元的显示效果。
示例性的,如图3中的(e)图至(h)图所示,字幕中个“message”是不同于其他单词的显示,或者,如图4中的(c)图和(d)图所示,字幕中个“close”是不同于其他单词的显示。例如高亮效果显示,或者如图5中的(b)图所示,字幕中个“abandon”是不同于其他单词的显示。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图13示出了上述实施例中涉及的电子设备1300的一种可能的组成示意图,如图13所示,该电子设备1300可以包括:显示单元1301、检测单元1302和处理单元1303。
其中,显示单元1301可以用于支持电子设备1300执行上述步骤1201和步骤1204等,和/或用于本文所描述的技术的其他过程。
检测单元1302可以用于支持电子设备1300执行上述步骤1203等,和/或用于本文所描述的技术的其他过程。
处理单元1303可以用于支持电子设备1300执行上述步骤1202等,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备,用于执行上述视频播放的方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,电子设备可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述显示单元1301、检测单元1302和处理单元1303执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备可以为具有图1所示结构的设备。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄长曝光图像的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的拍摄长曝光图像的方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的拍摄长曝光图像的方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (18)
1.一种视频播放的方法,其特征在于,所述方法包括:
显示第一界面,所述第一界面显示正在播放的第一视频和所述第一视频的字幕,所述第一视频的字幕包括第一文本单元和第二文本单元;
当播放到所述第一文本单元对应的所述第一视频的第一片段时,在所述第一界面上自动重复播放所述第一片段;
在所述第一界面上检测用户的第一操作;
响应于所述第一操作,显示第二界面,在所述第二界面上显示与所述第一文本单元关联的第一信息。
2.根据权利要求1所述的方法,其特征在于,所述第一片段是所述第一文本单元对应的视频片段,或者所述第一片段是所述第一文本单元所在的整句对应的视频片段。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在显示第一界面之前,显示第三界面,所述第三界面显示用户输入的所述第一文本单元,所述第三界面包括与所述第一文本单元关联的第二信息和第一视频列表,所述第一视频列表包括所述第一视频;
在所述第三界面上检测用户的第二操作;
响应于所述第二操作,显示所述第一界面。
4.根据权利要求3所述的方法,其特征在于,所述第一视频列表进一步包括第二视频,所述第二操作用于选择所述第一视频。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述第三界面上检测用户的第三操作;
响应于所述第三操作,显示第四界面,所述第四界面包括所述第一文本单元的第二信息和第二视频列表,所述第二视频列表包括至少一个视频,所述第二视频列表中的每个视频的字幕包括所述第一文本单元。
6.根据权利要求1至5中任一项所述的方法,其特征在于,显示所述第二界面时,所述第一视频被暂停播放。
7.根据权利要求6所述的方法,其特征在于,所述重复播放所述第一视频的第一片段的次数是系统默认的预设次数或者用户设置的。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述第一文本单元的显示效果不同于所述第二文本单元的显示效果。
9.一种电子设备,其特征在于,包括:一个或多个处理器;存储器;多个应用程序;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,当所述一个或者多个程序被所述处理器执行时,使得所述电子设备执行以下步骤:
显示第一界面,所述第一界面显示正在播放的第一视频和所述第一视频的字幕,所述第一视频的字幕包括第一文本单元和第二文本单元;
当播放到所述第一文本单元对应的所述第一视频的第一片段时,在所述第一界面上自动重复播放所述第一片段;
在所述第一界面上检测用户的第一操作;
响应于所述第一操作,显示第二界面,在所述第二界面上显示与所述第一文本单元关联的第一信息。
10.根据权利要求9所述的电子设备,其特征在于,所述第一片段是所述第一文本单元对应的视频片段,或者所述第一片段是所述第一文本单元所在的整句对应的视频片段。
11.根据权利要求9或10所述的电子设备,其特征在于,当所述一个或者多个程序被所述处理器执行时,使得所述电子设备执行以下步骤:
在显示第一界面之前,显示第三界面,所述第三界面显示用户输入的所述第一文本单元,所述第三界面包括与所述第一文本单元关联的第二信息和第一视频列表,所述第一视频列表包括所述第一视频;
在所述第三界面上检测用户的第二操作;
响应于所述第二操作,显示所述第一界面。
12.根据权利要求11所述的电子设备,其特征在于,所述第一视频列表进一步包括第二视频,所述第二操作用于选择所述第一视频。
13.根据权利要求12所述的电子设备,其特征在于,当所述一个或者多个程序被所述处理器执行时,使得所述电子设备执行以下步骤:
在所述第三界面上检测用户的第三操作;
响应于所述第三操作,显示第四界面,所述第四界面包括所述第一文本单元的第二信息和第二视频列表,所述第二视频列表包括至少一个视频,所述第二视频列表中的每个视频的字幕包括所述第一文本单元。
14.根据权利要求9至13中任一项所述的电子设备,其特征在于,显示所述第二界面时,所述第一视频被暂停播放。
15.根据权利要求14所述的电子设备,其特征在于,所述重复播放所述第一视频的第一片段的次数是系统默认的预设次数或者用户设置的。
16.根据权利要求9至15中任一项所述的电子设备,其特征在于,所述第一文本单元的显示效果不同于所述第二文本单元的显示效果。
17.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至8中任一项所述的视频播放的方法。
18.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至8中任一项所述的视频播放的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811502510.3A CN109756770A (zh) | 2018-12-10 | 2018-12-10 | 视频播放过程实现单词或语句复读的方法及电子设备 |
| PCT/CN2019/121187 WO2020119455A1 (zh) | 2018-12-10 | 2019-11-27 | 视频播放过程实现单词或语句复读的方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811502510.3A CN109756770A (zh) | 2018-12-10 | 2018-12-10 | 视频播放过程实现单词或语句复读的方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109756770A true CN109756770A (zh) | 2019-05-14 |
Family
ID=66402724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811502510.3A Pending CN109756770A (zh) | 2018-12-10 | 2018-12-10 | 视频播放过程实现单词或语句复读的方法及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109756770A (zh) |
| WO (1) | WO2020119455A1 (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223549A (zh) * | 2019-06-14 | 2019-09-10 | 林慧泽 | 一种单词多频记忆法 |
| CN110598012A (zh) * | 2019-09-23 | 2019-12-20 | 听典(上海)教育科技有限公司 | 一种音视频播放的方法及多媒体播放装置 |
| WO2020119455A1 (zh) * | 2018-12-10 | 2020-06-18 | 华为技术有限公司 | 视频播放过程实现单词或语句复读的方法及电子设备 |
| CN111459449A (zh) * | 2020-01-19 | 2020-07-28 | 托普朗宁(北京)教育科技有限公司 | 一种辅助阅读的方法、装置、存储介质及电子设备 |
| CN111710199A (zh) * | 2020-07-15 | 2020-09-25 | 罗鹏 | 一种基于大数据的英语教学系统 |
| CN111901665A (zh) * | 2020-08-28 | 2020-11-06 | 完美世界控股集团有限公司 | 教学资源播放方法、设备及存储介质 |
| CN113051985A (zh) * | 2019-12-26 | 2021-06-29 | 深圳云天励飞技术有限公司 | 信息提示方法、装置、电子设备及存储介质 |
| CN113053415A (zh) * | 2021-03-24 | 2021-06-29 | 北京儒博科技有限公司 | 一种连读的检测方法、装置、设备及存储介质 |
| CN113436478A (zh) * | 2021-06-22 | 2021-09-24 | 读书郎教育科技有限公司 | 一种辅助结合课本内容背单词的系统及方法 |
| CN116932816A (zh) * | 2022-04-06 | 2023-10-24 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机可读介质及电子设备 |
| CN116955659A (zh) * | 2022-04-20 | 2023-10-27 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1335571A (zh) * | 2000-06-23 | 2002-02-13 | 微软公司 | 一种从一个由随机输入方法产生的候选列表中进行过滤和选择的方法和系统 |
| CN1735914A (zh) * | 2003-01-30 | 2006-02-15 | 电影教学系统股份有限公司 | 基于视频的语言学习系统 |
| CN101093621A (zh) * | 2007-07-12 | 2007-12-26 | 魏益刚 | 可控掌上语言环境模拟器及可控语言环境模拟方法 |
| CN102354465A (zh) * | 2011-10-08 | 2012-02-15 | 许卫刚 | 一种以句子为最小单位进行英语学习的方法及系统 |
| CN105354331A (zh) * | 2015-12-02 | 2016-02-24 | 深圳大学 | 基于在线视频的词汇学习辅助方法及词汇学习系统 |
| CN106205239A (zh) * | 2016-09-18 | 2016-12-07 | 三峡大学 | 一种基于3d立体成像的电子词典系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011065758A2 (ko) * | 2009-11-25 | 2011-06-03 | 올토주식회사 | 콘텐츠 제작방법, 콘텐츠를 이용하는 에듀테인먼트 디바이스 및 이를 이용한 에듀테인먼트 방법 |
| CN103324685B (zh) * | 2013-06-03 | 2016-08-10 | 大连理工大学 | 日语在线视频语料的视频片断检索方法 |
| CN104202678B (zh) * | 2014-09-22 | 2017-08-04 | 杨海 | 一种可实现重放和预览双语字幕的视频字幕显示方法 |
| CN107632755A (zh) * | 2017-09-13 | 2018-01-26 | 周连惠 | 一种英语学习软件的中英文切换方法 |
| CN109756770A (zh) * | 2018-12-10 | 2019-05-14 | 华为技术有限公司 | 视频播放过程实现单词或语句复读的方法及电子设备 |
-
2018
- 2018-12-10 CN CN201811502510.3A patent/CN109756770A/zh active Pending
-
2019
- 2019-11-27 WO PCT/CN2019/121187 patent/WO2020119455A1/zh not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1335571A (zh) * | 2000-06-23 | 2002-02-13 | 微软公司 | 一种从一个由随机输入方法产生的候选列表中进行过滤和选择的方法和系统 |
| CN1735914A (zh) * | 2003-01-30 | 2006-02-15 | 电影教学系统股份有限公司 | 基于视频的语言学习系统 |
| CN101093621A (zh) * | 2007-07-12 | 2007-12-26 | 魏益刚 | 可控掌上语言环境模拟器及可控语言环境模拟方法 |
| CN102354465A (zh) * | 2011-10-08 | 2012-02-15 | 许卫刚 | 一种以句子为最小单位进行英语学习的方法及系统 |
| CN105354331A (zh) * | 2015-12-02 | 2016-02-24 | 深圳大学 | 基于在线视频的词汇学习辅助方法及词汇学习系统 |
| CN106205239A (zh) * | 2016-09-18 | 2016-12-07 | 三峡大学 | 一种基于3d立体成像的电子词典系统 |
Non-Patent Citations (1)
| Title |
|---|
| -: "《网页:趣V英语截图 http://www.7230.com/d352070》", 27 October 2017 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020119455A1 (zh) * | 2018-12-10 | 2020-06-18 | 华为技术有限公司 | 视频播放过程实现单词或语句复读的方法及电子设备 |
| CN110223549A (zh) * | 2019-06-14 | 2019-09-10 | 林慧泽 | 一种单词多频记忆法 |
| CN110598012A (zh) * | 2019-09-23 | 2019-12-20 | 听典(上海)教育科技有限公司 | 一种音视频播放的方法及多媒体播放装置 |
| CN113051985A (zh) * | 2019-12-26 | 2021-06-29 | 深圳云天励飞技术有限公司 | 信息提示方法、装置、电子设备及存储介质 |
| WO2021197296A1 (zh) * | 2020-01-19 | 2021-10-07 | 托普朗宁(北京)教育科技有限公司 | 辅助阅读的方法、装置、存储介质及电子设备 |
| CN111459449A (zh) * | 2020-01-19 | 2020-07-28 | 托普朗宁(北京)教育科技有限公司 | 一种辅助阅读的方法、装置、存储介质及电子设备 |
| CN111459453A (zh) * | 2020-01-19 | 2020-07-28 | 托普朗宁(北京)教育科技有限公司 | 一种辅助阅读的方法、装置、存储介质及电子设备 |
| CN111710199A (zh) * | 2020-07-15 | 2020-09-25 | 罗鹏 | 一种基于大数据的英语教学系统 |
| CN111901665A (zh) * | 2020-08-28 | 2020-11-06 | 完美世界控股集团有限公司 | 教学资源播放方法、设备及存储介质 |
| CN113053415A (zh) * | 2021-03-24 | 2021-06-29 | 北京儒博科技有限公司 | 一种连读的检测方法、装置、设备及存储介质 |
| CN113053415B (zh) * | 2021-03-24 | 2023-09-29 | 北京如布科技有限公司 | 一种连读的检测方法、装置、设备及存储介质 |
| CN113436478A (zh) * | 2021-06-22 | 2021-09-24 | 读书郎教育科技有限公司 | 一种辅助结合课本内容背单词的系统及方法 |
| CN116932816A (zh) * | 2022-04-06 | 2023-10-24 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机可读介质及电子设备 |
| CN116955659A (zh) * | 2022-04-20 | 2023-10-27 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020119455A1 (zh) | 2020-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109756770A (zh) | 视频播放过程实现单词或语句复读的方法及电子设备 | |
| CN112567457B (zh) | 语音检测方法、预测模型的训练方法、装置、设备及介质 | |
| CN109584879A (zh) | 一种语音控制方法及电子设备 | |
| KR102389625B1 (ko) | 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법 | |
| CN114255745A (zh) | 一种人机交互的方法、电子设备及系统 | |
| CN111669515A (zh) | 一种视频生成方法及相关装置 | |
| JP7252327B2 (ja) | 人間とコンピュータとの相互作用方法および電子デバイス | |
| WO2023125335A1 (zh) | 问答对生成的方法和电子设备 | |
| CN114242037B (zh) | 一种虚拟人物生成方法及其装置 | |
| WO2020211701A1 (zh) | 模型训练方法、情绪识别方法及相关装置和设备 | |
| CN112214636A (zh) | 音频文件的推荐方法、装置、电子设备以及可读存储介质 | |
| CN111881315A (zh) | 图像信息输入方法、电子设备及计算机可读存储介质 | |
| CN108735204A (zh) | 用于执行与用户话语相对应的任务的设备 | |
| CN113742460B (zh) | 生成虚拟角色的方法及装置 | |
| CN109102802A (zh) | 用于处理用户话语的系统 | |
| WO2024082914A1 (zh) | 视频问答方法及电子设备 | |
| US20200326832A1 (en) | Electronic device and server for processing user utterances | |
| CN111970401B (zh) | 一种通话内容处理方法、电子设备和存储介质 | |
| WO2022073417A1 (zh) | 融合场景感知机器翻译方法、存储介质及电子设备 | |
| CN109686359A (zh) | 语音输出方法、终端及计算机可读存储介质 | |
| CN111768765A (zh) | 语言模型生成方法和电子设备 | |
| JP2015104078A (ja) | 撮像装置、撮像システム、サーバ、撮像方法、及び撮像プログラム | |
| CN109525791A (zh) | 信息记录方法及终端 | |
| CN110312031A (zh) | 来电号码处理方法及电子设备 | |
| CN119276971A (zh) | 历史音频记录的展示方法、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |