CN112309391A - 用于输出信息的方法和装置 - Google Patents

用于输出信息的方法和装置 Download PDF

Info

Publication number
CN112309391A
CN112309391A CN202010154003.6A CN202010154003A CN112309391A CN 112309391 A CN112309391 A CN 112309391A CN 202010154003 A CN202010154003 A CN 202010154003A CN 112309391 A CN112309391 A CN 112309391A
Authority
CN
China
Prior art keywords
video
audio
evaluation result
target
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010154003.6A
Other languages
English (en)
Other versions
CN112309391B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010154003.6A priority Critical patent/CN112309391B/zh
Publication of CN112309391A publication Critical patent/CN112309391A/zh
Application granted granted Critical
Publication of CN112309391B publication Critical patent/CN112309391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开的实施例公开了用于输出信息的方法和装置。该方法的一具体实施方式包括：获取对目标用户讲话的场景进行拍摄所获得的视频；对视频进行处理，获得包括目标字幕的第一结果视频；生成用于表征视频中的音频的优劣程度的评测结果；输出评测结果和第一结果视频。该实施方式可以在向用户反馈评测结果的同时，将记录了用户读讲话的过程的视频反馈给用户，提高了信息输出的多样性；并且，上述视频可以为用户学习嘴型等除发音以外的内容提供参考，进而有助于用户进行更为全面的语言学习。

Description

用于输出信息的方法和装置
技术领域
本公开的实施例涉及计算机技术领域，尤其涉及用于输出信息的方法和装置。
背景技术
语音评测技术是让计算设备听懂人的发音，并给出及时的反馈，形成必要的纠错，从而帮助语言学习者在不断试错的闭环学习环境中完成高质量的学习。
目前，语音评测技术通常是以评分的形式反馈评测结果。
发明内容
本公开的实施例提出了用于输出信息的方法和装置。
第一方面，本公开的实施例提供了一种用于输出信息的方法，该方法包括：获取对目标用户讲话的场景进行拍摄所获得的视频；对视频进行处理，获得包括目标字幕的第一结果视频；生成用于表征视频中的音频的优劣程度的评测结果；输出评测结果和第一结果视频。
在一些实施例中，输出评测结果和第一结果视频包括：将评测结果添加到第一结果视频中，获得第二结果视频；输出第二结果视频。
在一些实施例中，对视频进行处理，获得包括字幕的第一结果视频包括：对视频中的音频进行识别，获得识别文本；基于识别文本，生成音频所对应的目标字幕；将目标字幕添加到视频中，获得第一结果视频。
在一些实施例中，基于识别文本，生成音频所对应的目标字幕包括：从识别文本包括的文字中确定与预设文本包括的文字不匹配的文字作为目标文字；基于识别文本，生成音频所对应的初始字幕；将初始字幕中的目标文字的格式调整为目标格式，获得音频所对应的目标字幕。
在一些实施例中，生成用于表征视频中的音频的优劣程度的评测结果包括：基于所确定的目标文字的数量，对音频进行评测，获得用于表征音频的优劣程度的评测结果。
在一些实施例中，生成用于表征视频中的音频的优劣程度的评测结果包括：将音频输入预先训练的流利度评测模型，获得用于表征音频的流利程度的评测结果。
在一些实施例中，生成用于表征视频中的音频的优劣程度的评测结果包括：生成用于表征视频中的音频的优劣程度的第一评测结果和第二评测结果；以及输出评测结果包括：输出第一评测结果；响应于接收到针对第二评测结果的获取请求，输出第二评测结果。
在一些实施例中，第二评测结果包括以下至少一项：目标用户读错的单词、目标用户读错的单词的数量、目标用户读错的单词所在的句子。
在一些实施例中，生成用于表征视频中的音频的优劣程度的评测结果包括：将视频发送给目标终端，获取目标终端的用户利用目标终端输入的、用于表征视频中的音频的优劣程度的评测结果。
第二方面，本公开的实施例提供了一种用于输出信息的装置，改造装置包括：获取单元，被配置成获取对目标用户讲话的场景进行拍摄所获得的视频；处理单元，被配置成对视频进行处理，获得包括目标字幕的第一结果视频；生成单元，被配置成生成用于表征视频中的音频的优劣程度的评测结果；输出单元，被配置成输出评测结果和第一结果视频。
第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述用于输出信息的方法中任一实施例的方法。
第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述用于输出信息的方法中任一实施例的方法。
本公开的实施例提供的用于输出信息的方法和装置，通过获取对目标用户讲话的场景进行拍摄所获得的视频，而后生成用于表征视频中的音频的优劣程度的评测结果，接着对视频进行处理，获得包括目标字幕的第一结果视频，最后输出评测结果和第一结果视频，从而可以在向用户反馈评测结果的同时，将记录了用户讲话的过程的视频反馈给用户，提高了信息输出的多样性；并且，上述视频可以为用户学习嘴型等除发音以外的内容提供参考，进而有助于用户进行更为全面的语言学习。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本公开的用于输出信息的方法的一个实施例的流程图；
图3是根据本公开的实施例的用于输出信息的方法的一个应用场景的示意图；
图4是根据本公开的用于输出信息的方法的又一个实施例的流程图；
图5是根据本公开的用于输出信息的装置的一个实施例的结构示意图；
图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用，例如语言学习类软件、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有拍摄功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上安装的软件提供支持的后台服务器。后台服务器可以对接收到的语音评测请求等数据进行分析等处理，并将处理结果(例如评测结果和视频)反馈给终端设备。
需要说明的是，本公开的实施例所提供的用于输出信息的方法可以由终端设备101、102、103执行，也可以由服务器105执行，相应地，用于输出信息的装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在输出评测结果和视频的过程中所使用的数据不需要从远程获取的情况下，上述系统架构可以不包括网络，而只包括终端设备或服务器。
继续参考图2，示出了根据本公开的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法，包括以下步骤：
步骤201，获取对目标用户讲话的场景进行拍摄所获得的视频。
在本实施例中，用于输出信息的方法的执行主体(例如图1所示的终端设备)可以通过有线连接方式或者无线连接方式获取对用户讲话的场景进行拍摄所获得的视频。其中，目标用户可以为待对其输入的音频进行评测的用户。具体的，目标用户可以是输入语音评测请求的用户。语音评测请求用于请求对用户输入的语音进行评测。具体的，评测的内容可以是用户选择的内容，也可以是由技术人员预先设置的内容。例如，评测的内容可以是用户输入的语音的流利程度、用户输入的语音与预设文本的匹配程度等。
在这里，目标用户可以采用各种方式发起语音评测请求。例如可以发送预设语音(例如“我要评测语音”)，或者也可以点击预设按钮等。上述执行主体接收到用户发起语音评测请求后，可以呈开启拍摄功能，以对目标用户讲话的场景进行拍摄。
具体的，用户讲话的场景可以是用户背诵预设文本的场景，或者也可以是用户读预设文本的场景。其中，预设文本可以是预先确定的、用于评测的文本。具体的，预设文本的内容可以是各种内容，例如预设文本可以是预设词汇，或者也可以是预设句子。
在本实施例的一些可选的实现方式中，预设文本可以为预设文章。
可以理解，上述拍摄获得的视频可以从视频帧和音频两个方面记录用户讲话的过程。
步骤202，对视频进行处理，获得包括目标字幕的第一结果视频。
在本实施例中，基于步骤201中得到的视频，上述执行主体可以对该视频进行处理，获得包括目标字幕的第一结果视频。其中，目标字幕可以是预先设置的字幕，也可以是通过对目标用户输入的音频进行识别所获得的字幕。
具体的，上述执行主体可以将目标字幕添加到所获取的视频中，获得包括目标字幕的第一结果视频。
步骤203，生成用于表征视频中的音频的优劣程度的评测结果。
在本实施例中，基于步骤201中得到的视频，上述执行主体可以生成用于表征视频中的音频的优劣程度的评测结果。其中，评测结果可以包括但不限于以下至少一项：文字、数字、符号、图像。例如，评测结果可以是用于表征音频的优劣程度的数字(即评分)，数字越大可以表征音频越优。
具体的，上述执行主体可以采用各种方法生成上述评测结果。
可选的，上述执行主体可以首先从视频中提取音频，然后对所提取的音频进行评测，获得评测结果。
实践中，视频可以包括由多帧图像构成的视频流和音频流。也就是上述视频按照预设封装格式封装了视频流和音频流。其中，上述视频流和音频流可以复用相同的时间轴。进而，上述执行主体可以通过对上述视频进行解复用，以从上述视频中提取出音频流(即提取出音频)。
具体的，上述执行主体可以基于待评测的内容，采用各种方式对上述音频进行评测，以获得评测结果。
作为示例，待评测的内容是音频的发音准确度，则上述执行主体可以采用GOP(Goodness ofPronunciation)算法对上述音频进行评测，获得评测结果。其中，GOP算法是目前广泛应用的一种对发音准确度进行评测的公知算法，此处不再赘述。
在本实施例的一些可选的实现方式中，待评测的内容可以是音频的流利程度，则上述执行主体可以将上述音频输入预先训练的流利度评测模型，获得用于表征音频的流利程度的评测结果。
具体的，上述执行主体可以利用流利度评测模型，提取上述音频包括的音素，并基于上述音频的时长和音频包括的音素的数量，确定音频的流利程度(实践中，特定时长的音频包括的音素的数量越多，则该音频越流利)，进而生成用于表征音频的流利程度的评测结果。
需要说明的是，流利度评测模型可以采用各种方法训练获得，例如可以采用现有的用于训练深度学习模型的方法训练获得。
在本实施例的一些可选的实现方式中，上述执行主体还可以将视频发送给目标终端，获取目标终端的用户利用目标终端输入的、用于表征视频中的音频的优劣程度的评测结果。其中，目标审核端可以为具有审核目标用户的视频的权限的终端。具体的，作为示例，目标用户为学生，则目标审核端可以为学生家长或者学生老师所使用的终端。
步骤204，输出评测结果和第一结果视频。
在本实施例中，基于步骤203中得到的评测结果和步骤202中得到的第一结果视频，上述执行主体可以输出该评测结果和该第一结果视频。
具体的，若上述执行主体为终端设备，则上述执行主体可以直接将上述评测结果和第一结果视频输入给用户；若上述执行主体为与终端设备通信连接的电子设备(例如服务器)，则上述执行主体可以将上述评测结果和第一结果视频输出给终端设备，以便终端设备将评测结果和第一结果视频输出用户。
在本实施例中，上述执行主体可以采用各种方式输出评测结果和视频。例如，上述执行主体可以分别对评测结果和视频进行输出。
在本实施例的一些可选的实现方式中，上述执行主体可以通过以下方式输出评测结果和第一结果视频：首先，上述执行主体可以将评测结果添加到第一结果视频中，获得包括评测结果的第二结果视频。然后，上述执行主体可以输出第二结果视频。
可以理解，由于第二结果视频包括评测结果，所以输出第二结果视频即可以实现对评测结果的输出。
具体的，上述执行主体可以采用各种方式将评测结果添加到第一结果视频中，以获得第二结果视频。例如，上述执行主体可以将评测结果添加到第一结果视频的目标视频帧(例如第一个视频帧)中；或者，上述执行主体可以生成包括评测结果的图像，然后将该图像作为第一结果视频的一个视频帧，添加到第一结果视频的视频帧序列中。
在本实施例的一些可选的实现方式中，生成用于表征视频中的音频的优劣程度的评测结果包括：生成用于表征视频中的音频的优劣程度的第一评测结果和第二评测结果；以及输出评测结果包括：输出第一评测结果；响应于接收到针对第二评测结果的获取请求，输出第二评测结果。
其中，第二评测结果可以是相较于第一评测结果更为细致的结果，可以包括更多的、用于表征用户输入的音频的优劣程度的信息。作为示例，第一评测结果可以是整个音频的评分，第二评测结果可以是音频中每个句子的评分。
在本实施例的一些可选的实现方式中，第二评测结果可以包括但不限于以下至少一项：目标用户读错的单词、目标用户读错的单词的数量、目标用户读错的单词所在的句子。
继续参见图3，图3是根据本实施例的用于输出信息的方法的应用场景的一个示意图。在图3的应用场景中，终端设备301可以获取对目标用户302讲话的场景进行拍摄所获得的视频303。然后，终端设备301可以对视频303进行处理，获得包括目标字幕的第一结果视频304。接着，终端设备301可以生成用于表征视频303中的音频的优劣程度的评测结果305(例如99分)。最后，终端设备301可以将评测结果305和第一结果视频304输出给目标用户302。
本公开的上述实施例提供的方法可以在向用户反馈评测结果的同时，将记录了用户讲话的过程的视频反馈给用户，提高了信息输出的多样性；并且，上述视频可以为用户学习嘴型等除发音以外的内容提供参考，进而有助于用户进行更为全面的语言学习。
进一步参考图4，其示出了用于输出信息的方法的又一个实施例的流程400。该用于输出信息的方法的流程400，包括以下步骤：
步骤401，获取对目标用户讲话的场景进行拍摄所获得的视频。
在本实施例中，用于输出信息的方法的执行主体(例如图1所示的终端设备)可以通过有线连接方式或者无线连接方式获取对用户讲话的场景进行拍摄所获得的视频。其中，目标用户可以为待对其输入的音频进行评测的用户。具体的，目标用户可以是输入语音评测请求的用户。语音评测请求用于请求对用户输入的语音进行评测。
步骤402，对视频中的音频进行识别，获得识别文本。
在本实施例中，基于步骤401中得到的视频，上述执行主体可以首先从该视频中提取音频，然后对该音频进行识别，获得识别文本。
具体的，上述执行主体可以采用现有的语音识别技术对上述音频进行识别，获得识别文本。
作为示例，上述执行主体可以采用语音识别技术对音频“chuang qian ming yueguang，yi shi di shang shuang”进行识别，获得识别文本“窗前明月光，疑是地上霜”。
步骤403，基于识别文本，生成音频所对应的目标字幕。
在本实施例中，基于步骤402中得到的识别文本，上述执行主体可以生成音频所对应的目标字幕。其中，音频所对应的目标字幕可以为在播放音频的过程中呈现的、与所播放的音频相匹配的识别文本。
具体的，上述执行主体可以基于识别文本，采用各种方式生成音频所对应的目标字幕。例如，上述执行主体可以直接将识别文本确定为音频所对应的目标字幕；或者，上述执行主体可以确定音频的时间戳，进而利用所确定的时间戳标记识别文本，获得标记后的识别文本作为音频所对应的目标字幕。
可以理解的是，采用时间戳的方式生成目标字幕有助于在播放音频的过程中，实时呈现当前播放的音频片段所对应的字幕。例如，在播放“chuang qian ming yue guang”时，可以呈现字幕“床前明月光”；在播放“yi shi di shang shuang”时，可以呈现字幕“疑是地上霜”。以此，有助于丰富字幕呈现的方式，提高所呈现的字幕的实时性。
在本实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤生成音频所对应的目标字幕：首先，上述执行主体可以从识别文本包括的文字中确定与预设文本包括的文字不匹配的文字作为目标文字。然后，上述执行主体可以基于识别文本，生成音频所对应的初始字幕。最后，上述执行主体可以将初始字幕中的目标文字的格式调整为目标格式，获得音频所对应的目标字幕。其中，目标格式可以为与初始字幕中的文字的原始格式不同的格式。例如初始字幕中的文字的原始格式是蓝色字体，则目标格式可以是红色字体。
具体的，上述执行主体可以基于识别文本，采用各种方式生成音频所对应的初始字幕。例如，上述执行主体可以直接将识别文本确定为音频所对应的初始字幕；或者，上述执行主体可以确定音频的时间戳，进而利用所确定的时间戳标记识别文本，获得标记后的识别文本作为音频所对应的初始字幕。
可以理解，识别文本中包括的、与预设文本中的文字不匹配的文字可以为用户读错的文字。本实现方式可以通过目标格式，在目标字幕中突出显示用户读错的文字，有助于更为直观地呈现纠错结果，方便用户进行更为针对性的学习。
步骤404，将目标字幕添加到视频中，获得第一结果视频。
在本实施例中，基于步骤403中得到的目标字幕，上述执行主体可以将目标字幕添加到视频中，获得包括目标字幕的第一结果视频。
具体的，上述执行主体可以采用各种方式将目标字幕添加到视频中。例如，上述执行主体可以直接将目标字幕添加到视频的目标视频帧中(例如视频包括的所有视频帧)；或者，上述执行主体可以按照目标字幕对应的时间戳和视频流对应的时间轴，将目标字幕添加到视频的各个视频帧中。
作为示例，目标字幕“床前明月光”对应的时间戳为3秒，则上述执行主体可以从视频的视频流中确定对应的播放时间是时间轴上的第3秒的视频帧，进而，上述执行主体可以将目标字幕“床前明月光”添加到所确定的视频帧中。
需要说明的是，本公开对目标字幕在视频帧中的添加位置不做限定。具体的，作为示例，上述执行主体可以将目标字幕添加到视频帧的预设位置，也可以将目标字幕随机地添加到视频帧上的空白位置。
步骤405，生成用于表征视频中的音频的优劣程度的评测结果。
在本实施例中，基于步骤401中得到的视频，上述执行主体可以生成用于表征视频中的音频的优劣程度的评测结果。其中，评测结果可以包括但不限于以下至少一项：文字、数字、符号、图像。例如，评测结果可以是用于表征音频的优劣程度的数字(即评分)，数字越大可以表征音频越优。
具体的，上述执行主体可以基于待评测的内容，采用各种方式对上述音频进行评测，以获得评测结果。
在本实施例的一些可选的实现方式中，待评测的内容为音频的准确度，则上述执行主体可以基于上述目标文字的数量，对音频进行评测，获得用于表征音频的优劣程度的评测结果。
可以理解，目标文字为用户读错的文字，则目标文字越少，音频的准确度越高，音频越优，因此，上述执行主体可以基于目标文字的数量，生成评测结果。
具体的，上述执行主体可以基于目标文字的数量，采用各种方式生成评测结果。例如，上述执行主体可以对目标文字的数量“4”和预设系数“3”进行求积，获得求积结果“12”，然后，上述执行主体可以对100和求积结果进行求差，获得求差结果“88”作为评测结果(即评分)。或者，上述执行主体可以确定目标文字的数量是否小于或等于预设数量“3”，若确定目标文字的数量小于或等于预设数量“3”，则生成评测结果“优”；若确定目标文字的数量大于预设数量“3”，则生成评测结果“良”。
步骤406，输出评测结果和第一结果视频。
在本实施例中，基于步骤405中得到的评测结果和步骤404中得到的第一结果视频，上述执行主体可以输出该评测结果和该第一结果视频。
具体的，若上述执行主体为终端设备，则上述执行主体可以直接将上述评测结果和第一结果视频输入给用户；若上述执行主体为与终端设备通信连接的电子设备(例如服务器)，则上述执行主体可以将上述评测结果和第一结果视频输出给终端设备，以便终端设备将评测结果和第一结果视频输出给用户。
在本实施例中，上述执行主体可以采用各种方式输出评测结果和第一结果视频。例如，上述执行主体可以分别对评测结果和第一结果视频进行输出；或者，上述执行主体可以将评测结果添加到第一结果视频中，获得第三结果视频，进而输出包括评测结果的第三结果视频。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于输出信息的方法的流程400突出了对音频进行识别，获得识别文本，基于识别文本，生成音频所对应的目标字幕，进而将目标字幕添加到视频中，获得第二结果视频，以及输出第二结果视频的步骤。由此，本实施例描述的方案可以在对用户读预设文本的场景进行拍摄所获得的视频中添加与用户的音频相匹配的字幕，以此，可以在视频中直观地展现用户的音频对应的文本，丰富了用于输出的视频的内容，有助于提高信息输出的多样性。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于输出信息的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于输出信息的装置500包括：获取单元501、处理单元502、生成单元503和输出单元504。其中，获取单元501被配置成获取对目标用户讲话的场景进行拍摄所获得的视频；处理单元502被配置成对视频进行处理，获得包括目标字幕的第一结果视频；生成单元503被配置成生成用于表征视频中的音频的优劣程度的评测结果；输出单元504被配置成输出评测结果和第一结果视频。
在本实施例中，用于输出信息的装置500的获取单元501可以通过有线连接方式或者无线连接方式获取对用户讲话的场景进行拍摄所获得的视频。其中，目标用户可以为待对其输入的音频进行评测的用户。具体的，目标用户可以是输入语音评测请求的用户。语音评测请求用于请求对用户输入的语音进行评测。
在本实施例中，基于获取单元501得到的视频，处理单元502可以对该视频进行处理，获得包括目标字幕的第一结果视频。其中，目标字幕可以是预先设置的字幕，也可以是通过对目标用户输入的音频进行识别所获得的字幕。
在本实施例中，基于获取单元501得到的视频，生成单元503可以生成用于表征视频中的音频的优劣程度的评测结果。其中，评测结果可以包括但不限于以下至少一项：文字、数字、符号、图像。
在本实施例中，基于生成单元503得到的评测结果和处理单元502得到的第一结果视频，输出单元504可以输出该评测结果和该第一结果视频。
在本实施例的一些可选的实现方式中，输出单元504包括：第一添加模块(图中未示出)，被配置成将评测结果添加到第一结果视频中，获得第二结果视频；输出模块(图中未示出)，被配置成输出第二结果视频。
在本实施例的一些可选的实现方式中，处理单元502包括：识别模块(图中未示出)，被配置成对视频中的音频进行识别，获得识别文本；生成模块(图中未示出)，被配置成基于识别文本，生成音频所对应的目标字幕；第二添加模块(图中未示出)，被配置成将目标字幕添加到视频中，获得第一结果视频。
在本实施例的一些可选的实现方式中，生成模块进一步被配置成：从识别文本包括的文字中确定与预设文本包括的文字不匹配的文字作为目标文字；基于识别文本，生成音频所对应的初始字幕；将初始字幕中的目标文字的格式调整为目标格式，获得音频所对应的目标字幕。
在本实施例的一些可选的实现方式中，生成单元503进一步被配置成：基于所确定的目标文字的数量，对音频进行评测，获得用于表征音频的优劣程度的评测结果。
在本实施例的一些可选的实现方式中，生成单元503进一步被配置成：将音频输入预先训练的流利度评测模型，获得用于表征音频的流利程度的评测结果。
在本实施例的一些可选的实现方式中，生成单元503进一步被配置成：生成用于表征视频中的音频的优劣程度的第一评测结果和第二评测结果；以及输出单元504进一步被配置成：输出第一评测结果；响应于接收到针对第二评测结果的获取请求，输出第二评测结果。
在本实施例的一些可选的实现方式中，第二评测结果包括以下至少一项：目标用户读错的单词、目标用户读错的单词的数量、目标用户读错的单词所在的句子。
在本实施例的一些可选的实现方式中，生成单元503进一步被配置成：将视频发送给目标终端，获取目标终端的用户利用目标终端输入的、用于表征视频中的音频的优劣程度的评测结果。
可以理解的是，该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。
本公开的上述实施例提供的装置500可以在向用户反馈评测结果的同时，将记录了用户读讲话的过程的视频反馈给用户，提高了信息输出的多样性；并且，上述视频可以为用户学习嘴型等除发音以外的内容提供参考，进而有助于用户进行更为全面的语言学习。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取对目标用户讲话的场景进行拍摄所获得的视频；对视频进行处理，获得包括目标字幕的第一结果视频；生成用于表征视频中的音频的优劣程度的评测结果；输出评测结果和第一结果视频。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取视频的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于输出信息的方法，包括：
获取对目标用户讲话的场景进行拍摄所获得的视频；
对所述视频进行处理，获得包括目标字幕的第一结果视频；
生成用于表征所述视频中的音频的优劣程度的评测结果；
输出所述评测结果和所述第一结果视频。
2.根据权利要求1所述的方法，其中，所述输出所述评测结果和所述第一结果视频包括：
将所述评测结果添加到所述第一结果视频中，获得第二结果视频；
输出所述第二结果视频。
3.根据权利要求1所述的方法，其中，所述对所述视频进行处理，获得包括字幕的第一结果视频包括：
对所述视频中的音频进行识别，获得识别文本；
基于所述识别文本，生成所述音频所对应的目标字幕；
将所述目标字幕添加到所述视频中，获得第一结果视频。
4.根据权利要求3所述的方法，其中，所述基于所述识别文本，生成所述音频所对应的目标字幕包括：
从所述识别文本包括的文字中确定与预设文本包括的文字不匹配的文字作为目标文字；
基于所述识别文本，生成所述音频所对应的初始字幕；
将所述初始字幕中的目标文字的格式调整为目标格式，获得所述音频所对应的目标字幕。
5.根据权利要求4所述的方法，其中，所述生成用于表征所述视频中的音频的优劣程度的评测结果包括：
基于所确定的目标文字的数量，对所述音频进行评测，获得用于表征所述音频的优劣程度的评测结果。
6.根据权利要求1所述的方法，其中，所述生成用于表征所述视频中的音频的优劣程度的评测结果包括：
将所述音频输入预先训练的流利度评测模型，获得用于表征所述音频的流利程度的评测结果。
7.根据权利要求1所述的方法，其中，所述生成用于表征所述视频中的音频的优劣程度的评测结果包括：
生成用于表征所述视频中的音频的优劣程度的第一评测结果和第二评测结果；以及
所述输出评测结果包括：
输出第一评测结果；
响应于接收到针对所述第二评测结果的获取请求，输出所述第二评测结果。
8.根据权利要求7所述的方法，其中，所述第二评测结果包括以下至少一项：所述目标用户读错的单词、所述目标用户读错的单词的数量、所述目标用户读错的单词所在的句子。
9.根据权利要求1所述的方法，其中，所述生成用于表征所述视频中的音频的优劣程度的评测结果包括：
将所述视频发送给目标终端，获取所述目标终端的用户利用目标终端输入的、用于表征所述视频中的音频的优劣程度的评测结果。
10.一种用于输出信息的装置，包括：
获取单元，被配置成获取对目标用户讲话的场景进行拍摄所获得的视频；
处理单元，被配置成对所述视频进行处理，获得包括目标字幕的第一结果视频；
生成单元，被配置成生成用于表征所述视频中的音频的优劣程度的评测结果；
输出单元，被配置成输出所述评测结果和所述第一结果视频。
11.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN202010154003.6A 2020-03-06 2020-03-06 用于输出信息的方法和装置 Active CN112309391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010154003.6A CN112309391B (zh) 2020-03-06 2020-03-06 用于输出信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010154003.6A CN112309391B (zh) 2020-03-06 2020-03-06 用于输出信息的方法和装置

Publications (2)

Publication Number Publication Date
CN112309391A true CN112309391A (zh) 2021-02-02
CN112309391B CN112309391B (zh) 2024-07-12

Family

ID=74336454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010154003.6A Active CN112309391B (zh) 2020-03-06 2020-03-06 用于输出信息的方法和装置

Country Status (1)

Country Link
CN (1) CN112309391B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130196292A1 (en) * 2012-01-30 2013-08-01 Sharp Kabushiki Kaisha Method and system for multimedia-based language-learning, and computer program therefor
US20150082349A1 (en) * 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content Based Video Content Segmentation
US9548048B1 (en) * 2015-06-19 2017-01-17 Amazon Technologies, Inc. On-the-fly speech learning and computer model generation using audio-visual synchronization
CN108322791A (zh) * 2018-02-09 2018-07-24 咪咕数字传媒有限公司 一种语音评测方法及装置
CN109377798A (zh) * 2018-11-22 2019-02-22 江苏海事职业技术学院 一种英文教学用辅助装置
CN109495792A (zh) * 2018-11-30 2019-03-19 北京字节跳动网络技术有限公司 一种视频的字幕添加方法、装置、电子设备及可读介质
CN109640176A (zh) * 2018-12-18 2019-04-16 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109697976A (zh) * 2018-12-14 2019-04-30 北京葡萄智学科技有限公司 一种发音识别方法及装置
CN109785683A (zh) * 2017-11-13 2019-05-21 上海流利说信息技术有限公司 用于模拟口语考试现场的方法、装置、电子设备以及介质
CN109977839A (zh) * 2019-03-20 2019-07-05 北京字节跳动网络技术有限公司 信息处理方法和装置
CN110035326A (zh) * 2019-04-04 2019-07-19 北京字节跳动网络技术有限公司 字幕生成、基于字幕的视频检索方法、装置和电子设备
CN110401801A (zh) * 2019-07-22 2019-11-01 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN110491369A (zh) * 2019-07-24 2019-11-22 北京大米科技有限公司 口语等级的评估方法、装置、存储介质及电子设备
CN110503941A (zh) * 2019-08-21 2019-11-26 北京隐虚等贤科技有限公司 语言能力评测方法、装置、系统、计算机设备及存储介质
CN110675668A (zh) * 2019-10-18 2020-01-10 张力权 基于智能识别+虚拟真实环境的母语级英语学习系统
CN110797010A (zh) * 2019-10-31 2020-02-14 腾讯科技（深圳）有限公司 基于人工智能的问答评分方法、装置、设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130196292A1 (en) * 2012-01-30 2013-08-01 Sharp Kabushiki Kaisha Method and system for multimedia-based language-learning, and computer program therefor
US20150082349A1 (en) * 2013-09-13 2015-03-19 Arris Enterprises, Inc. Content Based Video Content Segmentation
US9548048B1 (en) * 2015-06-19 2017-01-17 Amazon Technologies, Inc. On-the-fly speech learning and computer model generation using audio-visual synchronization
CN109785683A (zh) * 2017-11-13 2019-05-21 上海流利说信息技术有限公司 用于模拟口语考试现场的方法、装置、电子设备以及介质
CN108322791A (zh) * 2018-02-09 2018-07-24 咪咕数字传媒有限公司 一种语音评测方法及装置
CN109377798A (zh) * 2018-11-22 2019-02-22 江苏海事职业技术学院 一种英文教学用辅助装置
CN109495792A (zh) * 2018-11-30 2019-03-19 北京字节跳动网络技术有限公司 一种视频的字幕添加方法、装置、电子设备及可读介质
CN109697976A (zh) * 2018-12-14 2019-04-30 北京葡萄智学科技有限公司 一种发音识别方法及装置
CN109640176A (zh) * 2018-12-18 2019-04-16 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN109977839A (zh) * 2019-03-20 2019-07-05 北京字节跳动网络技术有限公司 信息处理方法和装置
CN110035326A (zh) * 2019-04-04 2019-07-19 北京字节跳动网络技术有限公司 字幕生成、基于字幕的视频检索方法、装置和电子设备
CN110401801A (zh) * 2019-07-22 2019-11-01 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN110491369A (zh) * 2019-07-24 2019-11-22 北京大米科技有限公司 口语等级的评估方法、装置、存储介质及电子设备
CN110503941A (zh) * 2019-08-21 2019-11-26 北京隐虚等贤科技有限公司 语言能力评测方法、装置、系统、计算机设备及存储介质
CN110675668A (zh) * 2019-10-18 2020-01-10 张力权 基于智能识别+虚拟真实环境的母语级英语学习系统
CN110797010A (zh) * 2019-10-31 2020-02-14 腾讯科技（深圳）有限公司 基于人工智能的问答评分方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112309391B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
US9621851B2 (en) Augmenting web conferences via text extracted from audio content
US11023716B2 (en) Method and device for generating stickers
US10560508B2 (en) Personalized video playback
CN109474850B (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
CN109919244B (zh) 用于生成场景识别模型的方法和装置
CN112380365A (zh) 一种多媒体的字幕交互方法、装置、设备及介质
CN113891168B (zh) 字幕处理方法、装置、电子设备和存储介质
CN113223555A (zh) 视频生成方法、装置、存储介质及电子设备
CN111327960B (zh) 文章处理方法、装置、电子设备及计算机存储介质
CN113077819A (zh) 发音评价方法和装置、存储介质和电子设备
CN112309389A (zh) 信息交互方法和装置
CN111415662A (zh) 用于生成视频的方法、装置、设备和介质
CN112309391B (zh) 用于输出信息的方法和装置
CN113132789B (zh) 一种多媒体的交互方法、装置、设备及介质
CN112309390B (zh) 信息交互方法和装置
CN112487937B (zh) 视频识别方法、装置、存储介质及电子设备
CN113891108A (zh) 字幕优化方法、装置、电子设备和存储介质
US10657202B2 (en) Cognitive presentation system and method
CN111859971A (zh) 用于处理信息的方法、装置、设备和介质
CN114697760B (zh) 一种处理方法、装置、电子设备及介质
CN114339356B (zh) 视频录制方法、装置、设备及存储介质
US11917222B1 (en) Determining visual content of media programs from scripts
WO2021155843A1 (zh) 用于处理图像的方法和装置
CN110188712B (zh) 用于处理图像的方法和装置
CN115098211A (zh) 一种界面显示方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant