CN111800671A - 用于对齐段落和视频的方法和装置 - Google Patents

用于对齐段落和视频的方法和装置 Download PDF

Info

Publication number
CN111800671A
CN111800671A CN201910277787.9A CN201910277787A CN111800671A CN 111800671 A CN111800671 A CN 111800671A CN 201910277787 A CN201910277787 A CN 201910277787A CN 111800671 A CN111800671 A CN 111800671A
Authority
CN
China
Prior art keywords
paragraph
candidate material
material resource
caption
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910277787.9A
Other languages
English (en)
Other versions
CN111800671B (zh
Inventor
�田�浩
陈曦
王健宇
卢大明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Priority to CN201910277787.9A priority Critical patent/CN111800671B/zh
Priority to JP2019218381A priority patent/JP6971292B2/ja
Priority to US16/703,075 priority patent/US11758088B2/en
Publication of CN111800671A publication Critical patent/CN111800671A/zh
Application granted granted Critical
Publication of CN111800671B publication Critical patent/CN111800671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本申请实施例公开了用于对齐段落和视频的方法和装置。该方法的一具体实施方式包括：获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像；获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度；基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。该实施方式为后续使用候选素材资源序列为解说词生成对应的视频提供了数据来源，继而可以提高后续所生成的与解说词对应的视频与解说词之间的贴合度。

Description

用于对齐段落和视频的方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及用于对齐段落和视频的方法和装置。
背景技术
随着网络技术的发展，世界各地的各类新闻可以通过各种媒体发布给用户。对于同一个新闻事件，各种媒体(例如新闻类网站或者新闻类应用)会编辑出不同的新闻，不同媒体发出的新闻的侧重点会存在一定的差异，但是报道同一新闻事件的各个新闻中也会存在或多或少的重合信息。
对于用户来说，可能需要阅读多篇新闻报道才能从中提取出自己想要的信息，这就会导致用户的获取新闻的效率较低。为了帮助用户提高新闻获取的效率，可以对同一新闻事件的多篇新闻进行聚合，去除多篇新闻中的冗余信息，提取针对新闻事件的解说词。
发明内容
本申请实施例提出了用于对齐段落和视频的方法和装置。
第一方面，本申请实施例提供了一种用于对齐段落和视频的方法，该方法包括：获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像；获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度；基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
在一些实施例中，该方法还包括：基于解说词中的每个段落对应的候选素材资源序列，生成与解说词对应的视频。
在一些实施例中，该方法还包括：将与解说词对应的视频发送给终端设备，以供终端设备呈现所收到的视频。
在一些实施例中，基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，包括：对于解说词中的每个段落，利用第一预设优化算法，以与该段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与该段落对应的候选素材资源序列与该段落的匹配度最大为优化目标，确定与该段落对应的候选素材资源序列。
在一些实施例中，基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，包括：利用第二预设优化算法，以与解说词中各段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与解说词中各段落对应的候选素材资源序列与相应段落的匹配度之和最大为优化目标，确定与解说词中各段落对应的候选素材资源序列。
在一些实施例中，解说词中各段落对应的候选素材资源序列中的候选素材资源互不相同。
在一些实施例中，第一预设优化算法为动态规划算法或者路径最短优化算法。
在一些实施例中，第二预设优化算法为动态规划算法或者路径最短优化算法。
第二方面，本申请实施例提供了一种用于对齐段落和视频的装置，该装置包括：第一获取单元，被配置成获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像；第二获取单元，被配置成获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度；确定单元，被配置成基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
在一些实施例中，该装置还包括：视频生成单元，被配置成基于解说词中的每个段落对应的候选素材资源序列，生成与解说词对应的视频。
在一些实施例中，该装置还包括：视频发送单元，被配置成将与解说词对应的视频发送给终端设备，以供终端设备呈现所收到的视频。
在一些实施例中，确定单元进一步被配置成：对于解说词中的每个段落，利用第一预设优化算法，以与该段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与该段落对应的候选素材资源序列与该段落的匹配度最大为优化目标，确定与该段落对应的候选素材资源序列。
在一些实施例中，确定单元进一步被配置成：利用第二预设优化算法，以与解说词中各段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与解说词中各段落对应的候选素材资源序列与相应段落的匹配度之和最大为优化目标，确定与解说词中各段落对应的候选素材资源序列。
在一些实施例中，解说词中各段落对应的候选素材资源序列中的候选素材资源互不相同。
在一些实施例中，第一预设优化算法为动态规划算法或者路径最短优化算法。
在一些实施例中，第二预设优化算法为动态规划算法或者路径最短优化算法。
第三方面，本申请实施例提供了一种服务器，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被一个或多个处理器执行时实现如第一方面中任一实现方式描述的方法。
第五方面，本申请实施例提供了另一种服务器，包括：接口；存储器，其上存储有一个或多个程序；以及一个或多个处理器，在操作上连接到上述接口和上述存储器，用于：获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像；获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度；基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
第六方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，当上述计算机程序被一个或多个处理器执行时，使得上述一个或多个处理器：获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像；获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度；基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
为了提高用户获取新闻的效率，现有技术中往往会为新闻簇生成解说词，用户需要阅读文字形式的解说词来获取新闻摘要，没有为解说词生成对应的视频。而本申请实施例提供的用于对齐段落和视频的方法和装置，通过获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像，获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度，以及基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长，为后续基于解说词中的每个段落对应的候选素材资源序列，生成与解说词对应的视频提供了数据来源，继而可以提高后续所生成的与解说词对应的视频与解说词之间的贴合度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的用于对齐段落和视频的方法的一个实施例的流程图；
图3是根据本申请的用于对齐段落和视频的方法的一个应用场景的示意图；
图4A是根据本申请的用于对齐段落和视频的方法的又一个实施例的流程图；
图4B是根据本申请的步骤404的一个实施例的分解流程图；
图4C是根据本申请的步骤4042的一个实施例的分解流程图；
图4D是根据本申请的步骤4042的又一个实施例的分解流程图；
图5是根据本申请的用于对齐段落和视频的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于对齐段落和视频的方法或用于对齐段落和视频的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的新闻类网站提供支持的后台网站服务器。后台网站服务器可以对接收到的新闻类页面请求等数据进行分析等处理，并将处理结果(例如新闻类网页页面数据)反馈给终端设备。
需要说明的是，本申请实施例所提供的用于对齐段落和视频的方法一般由服务器105执行，相应地，用于对齐段落和视频的装置一般设置于服务器105中。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供新闻网页页面服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本申请的用于对齐段落和视频的方法的一个实施例的流程200。该用于对齐段落和视频的方法，包括以下步骤：
步骤201，获取解说词以及与解说词对应的候选素材资源集合。
在本实施例中，用于对齐段落和视频的方法的执行主体(例如图1所示的服务器105)可以本地或者远程地从与上述执行主体网络连接的其他电子设备获取解说词以及与解说词对应的候选素材资源集合。
这里，解说词可以包括至少一个段落。解说词可以针对一件事件或者一个主题。
例如，解说词可以针对一个新闻事件。这里，新闻事件是指最近第一预设时长内(例如，三个月之内)发生的事件。作为示例，描述一个新闻事件的解说词可以是对针对该新闻事件的新闻中的文本部分进行摘要提取所得到的文本。这里，新闻可以是各种形式的针对新闻事件的电子数据。新闻可以包括以下至少一项：文本、图像、音频和视频。例如，新闻可以是网页，新闻也可以是各种文档，文档中可以包括以下至少一项：文本、图像、音频和视频。新闻还可以仅仅是文本、图像或者视频。
这里，与解说词对应的候选素材资源集合中存储的是与解说词所针对的新闻事件或者主题相关的视频或图像。与解说词对应的候选素材资源集合可以是采用各种实现方式得到的。
例如，当解说词针对新闻事件E时，那么与解说词对应的候选素材资源集合可以是由针对新闻事件E的新闻簇C中所包括的各个视频和图像所组成的。这里，新闻簇C中包括至少一个新闻，其中每个新闻均针对新闻事件E。
又例如，当解说词针对新闻事件E时，那么与解说词对应的候选素材资源集合可以经过如下操作得到的：
首先，将针对新闻事件E的新闻簇C所包括的各个新闻中的各个视频进行语义分割，得到至少一个视频片段，并将所得到的各个视频片段确定为目标视频集合。
其次，合并目标视频集合和目标图像集合得到与解说词对应的候选素材资源集合，其中，目标图像集合由针对新闻事件的新闻簇C所包括的各个图像组成。
步骤202，获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度。
在本实施例中，解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度可以是由上述执行主体采用各种实现方式计算得到的。这样，上述执行主体可以本地获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度。
在本实施例中，解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度也可以是由与上述执行主体网络连接的其他电子设备采用各种实现方式计算得到的。这样，上述执行主体可以远程地从与上述执行主体网络连接的其他电子设备获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度。
具体地，由于候选素材资源可以为视频或图像，这里可以采用各种计算文本与视频之间匹配度的方法计算解说词中的每个段落与候选素材资源集合中的视频之间的匹配度，以及可以采用各种计算文本与图像之间匹配度的方法计算解说词中的每个段落与候选素材资源集合中的图像之间的匹配度，本申请对此不做具体限定。
步骤203，基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列。
在本实施例中，上述执行主体可以采用各种实现方式基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列。其中，图像的播放时长为预设图像播放时长。
需要说明的是，这里，视频类型的候选素材资源的播放时长是视频类型的候选素材资源的固有属性，是不变的。而对于图像类型的候选素材资源，这里，可以将每个图像类型的候选素材资源的播放时长设定为固定不变的预设图像播放时长(例如，3秒钟)。这样所有的候选素材资源都可以具有固定的播放时长属性。
在本实施例的一些可选的实现方式中，步骤203可以如下进行：
对于解说词中的每个段落，利用第一预设优化算法，以与该段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与该段落对应的候选素材资源序列与该段落的匹配度最大为优化目标，确定与该段落对应的候选素材资源序列。
即，分别对于解说词中的每个段落，从步骤202中所获取的候选素材资源集合中选取顺序排列的候选素材资源组成与该段落对应的候选素材资源序列，而且所选取的与该段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长。
这里，候选素材资源序列的播放时长是候选素材资源序列中各候选素材资源的播放时长之和。而段落对应的播放时长是由段落中的字数以及预设语速所确定的。例如，设预设语速为每秒钟N个字，段落中的字数为M个字，则段落对应的播放时长为L秒，其中，L为M除以N所得到的比值。
这里，第一预设优化算法可以是各种可以解决带有约束条件和优化目标的优化算法。例如，第一预设优化算法可以包括但不限于：动态规划算法和路径最短优化算法。
在本实施例的一些可选的实现方式中，步骤203也可以如下进行：
利用第二预设优化算法，以与解说词中各段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与解说词中各段落对应的候选素材资源序列与相应段落的匹配度之和最大为优化目标，确定与解说词中各段落对应的候选素材资源序列。
相比于上述可选实现方式，这里的优化目标与上述可选实现方式的优化目标不同。上述可选实现方式中分别对每个段落进行优化，以每个段落与该段落对应的候选素材资源序列的匹配度最大为优化目标。而这里的可选实现方式则对解说词中的各个段落总体进行优化，以解说词中各段落对应的候选素材资源序列与相应段落的匹配度之和最大为优化目标。
这里，第二预设优化算法也可以是各种可以解决带有约束条件和优化目标的优化算法。例如，第二预设优化算法可以包括但不限于：动态规划算法和路径最短优化算法。
在本实施例的一些可选的实现方式中，步骤203中所确定的解说词中各段落对应的候选素材资源序列中的候选素材资源可以互不相同。这样，在后续为解说词生成对应的视频中不会出现重复的图像或者视频，可以增加所生成的视频的可读性和生动性。可以理解的是，如果步骤203中所确定的解说词中各段落对应的候选素材资源序列中的候选素材资源互不相同，那么对于上述两种可选实现方式中的约束条件中需要加入所确定的解说词中各段落对应的候选素材资源序列中的候选素材资源互不相同这个约束条件。
继续参见图3，图3是根据本实施例的用于对齐段落和视频的方法的应用场景的一个示意图。在图3的应用场景中，对新闻类网站提供支持的服务器301可以首先获取解说词302以及与解说词302对应的候选素材资源集合303。然后，服务器301可以获取解说词302中每个段落与候选素材资源集合303中每个候选素材资源之间的匹配度304。最后，服务器301可以基于解说词302中各段落与候选素材资源集合303中各候选素材资源之间的匹配度304、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词302中每个段落对应的候选素材资源序列305。
本申请的上述实施例提供的方法通过获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像，获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度，以及基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长，为后续基于解说词中的每个段落对应的候选素材资源序列，生成与解说词对应的视频提供了数据来源，继而可以提高后续所生成的与解说词对应的视频与解说词之间的贴合度。
进一步参考图4A，其示出了用于对齐段落和视频的方法的又一个实施例的流程400。该用于对齐段落和视频的方法的流程400，包括以下步骤：
步骤401，获取解说词以及与解说词对应的候选素材资源集合。
步骤402，获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度。
步骤403，基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列。
在本实施例中，步骤401、步骤402和步骤403的具体操作与图2所示的实施例中步骤201、步骤202和步骤203的操作基本相同，在此不再赘述。
步骤404，基于解说词中的每个段落对应的候选素材资源序列，生成与解说词对应的视频。
在本实施例中，上述执行主体可以基于步骤403中所确定的与解说词中的每个段落对应的候选素材资源序列，生成与解说词对应的视频。
在本实施例的一些可选的实现方式中，步骤404可以包括如图4B所示的步骤4041和步骤4042。请参考图4B，其示出了根据本申请的步骤404的一个实施例的分解流程图：
步骤4041，对于解说词中的每个段落，利用语音合成技术生成与该段落对应的语音。
需要说明的是，语音合成技术是目前广泛研究和应用的现有技术，在此不再赘述。
步骤4042，基于解说词中的每个段落对应的语音和候选素材资源序列，生成与解说词对应的视频。
在一些实现方式中，步骤4042可以如下进行：
首先，可以按照解说词中各段落从前到后的顺序，将与各段落对应的语音连接起来，得到第一音频。
其次，可以按照解说词中各段落从前到后的顺序，将与各段落对应的视频连接起来，得到第一视频。
这里，段落对应的视频是顺序连接该段落对应的候选素材资源序列中的候选素材资源得到的视频。
最后，将所得到的第一音频和第一视频分别确定为与解说词对应的视频中的音频部分和视频部分。
在一些实现方式中，步骤4042也可以包括如图4C所示的步骤40421到步骤40426。请参考图4C，其示出了根据本申请的步骤4042的一个实施例的分解流程图：
步骤40421，对于解说词中的每个段落，将该段落输入预先训练的视频提前播放时间确定模型，得到与该段落对应的视频提前播放时长。
这里，视频提前播放时长确定模型用于表征文本和文本对应的视频提前播放时长之间的对应关系。
实践中，人工剪辑的新闻视频中通常都是在主持人讲话之前，视频已经开始播放一小段时间。为了使得针对解说词生成的视频更符合人类观看习惯，更像人工剪辑的新闻视频，可以预先基于大量的训练样本，利用机器学习算法训练视频提前播放时间确定模型，这里训练样本可以包括样本新闻视频中所包括的文本和该样本新闻视频中视频先于解说词语音的标注时长。
步骤40422，对于解说词中除最后一个段落以外的每个段落，按照该段落在解说词中从前到后的顺序，执行段落视频剪辑步骤。
这里，段落视频剪辑步骤可以包括以下操作：
第一，将该段落的下一个段落对应的视频提前播放时长确定为视频剪除时长。
第二，顺序连接与该段落对应的候选素材资源序列中的各候选素材资源，得到与该段落对应的视频。
第三，将与该段落对应的视频尾部剪除视频剪除时长的视频。
即，该方案是采用将解说词中除第一个段落以外的每个段落，将该段落对应的视频提前播放，并覆盖掉该段落的前一个段落的视频的尾部，而视频提前播放和视频覆盖的时长就是步骤40421中所确定的该段落对应的视频提前播放时长。
步骤40423，顺序连接解说词中的最后一个段落对应的候选素材资源序列中的各候选素材资源，得到与最后一段段落对应的视频。
步骤40424，按照解说词中各段落从前到后的顺序，将与各段落对应的视频连接起来，得到第二视频。
步骤40425，按照解说词中各段落从前到后的顺序，将与各段落对应的语音连接起来，得到第二音频。
步骤40426，将所得到的第二音频和第二视频分别确定为与解说词对应的视频中的音频和视频部分。
在一些实现方式中，步骤4042也可以包括如图4D所示的步骤40421’到步骤40425’。请参考图4D，其示出了根据本申请的步骤4042的又一个实施例的分解流程图：
步骤40421’，对于解说词中的每个段落，将该段落输入预先训练的视频提前播放时间确定模型，得到与该段落对应的视频提前播放时长。
这里，步骤40421’的具体操作与步骤40421的操作基本相同，在此不再赘述。
步骤40422’，对于解说词中除最后一个段落以外的每个段落，按照该段落在解说词中从前到后的顺序，执行段落音频延长步骤。
这里，段落音频延长步骤可以包括以下操作：
第一，将该段落的下一个段落对应的视频提前播放时长确定为音频延长时长。
第二，将与该段落对应的语音尾部添加所确定的音频延长时长的无声播放时长。
即，该方案是采用将解说词中除第一个段落以外的每个段落，将该段落对应的视频提前播放，并在该段落的前一个段落的音频的尾部增加无声播放时长，而视频提前播放和音频延长的时长就是步骤40421’中所确定的该段落对应的视频提前播放时长。
步骤40423’，按照解说词中各段落从前到后的顺序，将与各段落对应的语音连接起来，得到第三音频。
步骤40424’，按照解说词中各段落从前到后的顺序，将与各段落对应的视频连接起来，得到第三视频。
这里，段落对应的视频是顺序连接该段落对应的候选素材资源序列中的候选素材资源得到的视频。
步骤40425’，将所得到的第三音频和第三视频分别确定为与解说词对应的视频中的音频和视频部分。
步骤405，将与解说词对应的视频发送给终端设备。
在本实施例中，上述执行主体可以将步骤404中所生成的与解说词对应的视频发送给终端设备。这里，终端设备可以是与上述执行主体网络连接的电子设备。这样，上述终端设备可以响应于接收到上述执行主体发送的视频，呈现所收到的视频，继而实现了在终端设备上呈现解说词对应的视频。如果解说词针对新闻事件E，那么可以实现在终端设备上呈现针对新闻事件E的新闻簇C的解说词对应的视频。用户在终端设备上通过收看到所呈现的针对新闻事件E的新闻簇C的解说词对应的视频，就可以快速了解新闻事件E，而不需用户通过阅读文字来了解新闻簇C所针对的新闻事件E，提高了用户获取新闻事件信息的效率。
从图4A中可以看出，与图2对应的实施例相比，本实施例中的用于对齐段落和视频的方法的流程400多出了生成与解说词对应的视频，以及将与解说词对应的视频发送给终端设备的步骤。由此，本实施例描述的方案可以在终端设备呈现解说词对应的视频。用户在终端设备上收看所呈现的解说词对应的视频，继而扩展了终端设备的呈现信息的功能。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于对齐段落和视频的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于对齐段落和视频的装置500包括：第一获取单元501、第二获取单元502和确定单元503。第一获取单元501，被配置成获取解说词以及与上述解说词对应的候选素材资源集合，候选素材资源为视频或图像；第二获取单元502，被配置成获取上述解说词中的每个段落与上述候选素材资源集合中每个候选素材资源之间的匹配度；确定单元503，被配置成基于上述解说词中各段落与各上述候选素材资源之间的匹配度、各上述候选素材资源的播放时长以及上述解说词中各段落的文本长度，确定与上述解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
在本实施例中，用于对齐段落和视频的装置500的第一获取单元501、第二获取单元502和确定单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202和步骤203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述装置500还可以包括：视频生成单元504，被配置成基于上述解说词中的每个段落对应的候选素材资源序列，生成与上述解说词对应的视频。
在本实施例的一些可选的实现方式中，上述装置500还可以包括：视频发送单元505，被配置成将与上述解说词对应的视频发送给终端设备，以供上述终端设备呈现所收到的视频。
在本实施例的一些可选的实现方式中，上述确定单元503可以进一步被配置成：对于上述解说词中的每个段落，利用第一预设优化算法，以与该段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与该段落对应的候选素材资源序列与该段落的匹配度最大为优化目标，确定与该段落对应的候选素材资源序列。
在本实施例的一些可选的实现方式中，上述确定单元503可以进一步被配置成：利用第二预设优化算法，以与上述解说词中各段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与上述解说词中各段落对应的候选素材资源序列与相应段落的匹配度之和最大为优化目标，确定与上述解说词中各段落对应的候选素材资源序列。
在本实施例的一些可选的实现方式中，上述解说词中各段落对应的候选素材资源序列中的候选素材资源可以互不相同。
在本实施例的一些可选的实现方式中，上述第一预设优化算法可以为动态规划算法或者路径最短优化算法。
在本实施例的一些可选的实现方式中，上述第二预设优化算法可以为动态规划算法或者路径最短优化算法。
需要说明的是，本申请实施例提供的用于对齐段落和视频的装置中各单元的实现细节和技术效果可以参考本申请中其它实施例的说明，在此不再赘述。
下面参考图6，其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括一个或多个中央处理单元(CPU，CentralProcessing Unit)601，其可以根据存储在只读存储器(ROM，Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM，Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O，Input/Output)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元、第二获取单元和确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取解说词以及与解说词对应的候选素材资源集合的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取解说词以及与上述解说词对应的候选素材资源集合，候选素材资源为视频或图像；获取上述解说词中的每个段落与上述候选素材资源集合中每个候选素材资源之间的匹配度；基于上述解说词中各段落与各上述候选素材资源之间的匹配度、各上述候选素材资源的播放时长以及上述解说词中各段落的文本长度，确定与上述解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
作为又一方面，本申请实施例还提供了另一种服务器，包括：接口；存储器，其上存储有一个或多个程序；以及一个或多个处理器，在操作上连接到上述接口和上述存储器，用于：获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像；获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度；基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
作为又一方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，当上述计算机程序被一个或多个处理器执行时，使得上述一个或多个处理器：获取解说词以及与解说词对应的候选素材资源集合，候选素材资源为视频或图像；获取解说词中的每个段落与候选素材资源集合中每个候选素材资源之间的匹配度；基于解说词中各段落与各候选素材资源之间的匹配度、各候选素材资源的播放时长以及解说词中各段落的文本长度，确定与解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种用于对齐段落和视频的方法，包括：
获取解说词以及与所述解说词对应的候选素材资源集合，候选素材资源为视频或图像；
获取所述解说词中的每个段落与所述候选素材资源集合中每个候选素材资源之间的匹配度；
基于所述解说词中各段落与各所述候选素材资源之间的匹配度、各所述候选素材资源的播放时长以及所述解说词中各段落的文本长度，确定与所述解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
2.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述解说词中的每个段落对应的候选素材资源序列，生成与所述解说词对应的视频。
3.根据权利要求2所述的方法，其中，所述方法还包括：
将与所述解说词对应的视频发送给终端设备，以供所述终端设备呈现所收到的视频。
4.根据权利要求3所述的方法，其中，所述基于所述解说词中各段落与各所述候选素材资源之间的匹配度、各所述候选素材资源的播放时长以及所述解说词中各段落的文本长度，确定与所述解说词中的每个段落对应的候选素材资源序列，包括：
对于所述解说词中的每个段落，利用第一预设优化算法，以与该段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与该段落对应的候选素材资源序列与该段落的匹配度最大为优化目标，确定与该段落对应的候选素材资源序列。
5.根据权利要求3所述的方法，其中，所述基于所述解说词中各段落与各所述候选素材资源之间的匹配度、各所述候选素材资源的播放时长以及所述解说词中各段落的文本长度，确定与所述解说词中的每个段落对应的候选素材资源序列，包括：
利用第二预设优化算法，以与所述解说词中各段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与所述解说词中各段落对应的候选素材资源序列与相应段落的匹配度之和最大为优化目标，确定与所述解说词中各段落对应的候选素材资源序列。
6.根据权利要求5所述的方法，其中，所述解说词中各段落对应的候选素材资源序列中的候选素材资源互不相同。
7.根据权利要求4所述的方法，其中，所述第一预设优化算法为动态规划算法或者路径最短优化算法。
8.根据权利要求5所述的方法，其中，所述第二预设优化算法为动态规划算法或者路径最短优化算法。
9.一种用于对齐段落和视频的装置，包括：
第一获取单元，被配置成获取解说词以及与所述解说词对应的候选素材资源集合，候选素材资源为视频或图像；
第二获取单元，被配置成获取所述解说词中的每个段落与所述候选素材资源集合中每个候选素材资源之间的匹配度；
确定单元，被配置成基于所述解说词中各段落与各所述候选素材资源之间的匹配度、各所述候选素材资源的播放时长以及所述解说词中各段落的文本长度，确定与所述解说词中的每个段落对应的候选素材资源序列，其中，图像的播放时长为预设图像播放时长。
10.根据权利要求9所述的装置，其中，所述装置还包括：
视频生成单元，被配置成基于所述解说词中的每个段落对应的候选素材资源序列，生成与所述解说词对应的视频。
11.根据权利要求10所述的装置，其中，所述装置还包括：
视频发送单元，被配置成将与所述解说词对应的视频发送给终端设备，以供所述终端设备呈现所收到的视频。
12.根据权利要求11所述的装置，其中，所述确定单元进一步被配置成：
对于所述解说词中的每个段落，利用第一预设优化算法，以与该段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与该段落对应的候选素材资源序列与该段落的匹配度最大为优化目标，确定与该段落对应的候选素材资源序列。
13.根据权利要求11所述的装置，其中，所述确定单元进一步被配置成：
利用第二预设优化算法，以与所述解说词中各段落对应的候选素材资源序列的播放时长等于该段落对应的播放时长为约束条件，以与所述解说词中各段落对应的候选素材资源序列与相应段落的匹配度之和最大为优化目标，确定与所述解说词中各段落对应的候选素材资源序列。
14.根据权利要求13所述的装置，其中，所述解说词中各段落对应的候选素材资源序列中的候选素材资源互不相同。
15.根据权利要求12所述的装置，其中，所述第一预设优化算法为动态规划算法或者路径最短优化算法。
16.根据权利要求13所述的装置，其中，所述第二预设优化算法为动态规划算法或者路径最短优化算法。
17.一种服务器，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被一个或多个处理器执行时实现如权利要求1-8中任一所述的方法。
CN201910277787.9A 2019-04-08 2019-04-08 用于对齐段落和视频的方法和装置 Active CN111800671B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910277787.9A CN111800671B (zh) 2019-04-08 2019-04-08 用于对齐段落和视频的方法和装置
JP2019218381A JP6971292B2 (ja) 2019-04-08 2019-12-02 段落と映像を整列させるための方法、装置、サーバー、コンピュータ可読記憶媒体およびコンピュータプログラム
US16/703,075 US11758088B2 (en) 2019-04-08 2019-12-04 Method and apparatus for aligning paragraph and video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910277787.9A CN111800671B (zh) 2019-04-08 2019-04-08 用于对齐段落和视频的方法和装置

Publications (2)

Publication Number Publication Date
CN111800671A true CN111800671A (zh) 2020-10-20
CN111800671B CN111800671B (zh) 2022-08-12

Family

ID=72662633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910277787.9A Active CN111800671B (zh) 2019-04-08 2019-04-08 用于对齐段落和视频的方法和装置

Country Status (3)

Country Link
US (1) US11758088B2 (zh)
JP (1) JP6971292B2 (zh)
CN (1) CN111800671B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866776A (zh) * 2020-12-29 2021-05-28 北京金堤科技有限公司 视频生成方法和装置
CN113436604A (zh) * 2021-06-22 2021-09-24 北京百度网讯科技有限公司 播报内容的方法及装置、电子设备和存储介质
CN113517004A (zh) * 2021-06-16 2021-10-19 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 视频生成方法、装置、终端设备及介质
CN114222196A (zh) * 2022-01-04 2022-03-22 阿里巴巴新加坡控股有限公司 一种剧情解说短视频的生成方法、装置及电子设备
CN115243107A (zh) * 2022-07-08 2022-10-25 华人运通(上海)云计算科技有限公司 短视频播放的方法、装置、系统、电子设备和介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127683A (zh) * 2021-04-22 2021-07-16 北京百度网讯科技有限公司 内容推荐方法、装置、电子设备和介质
CN114222193B (zh) * 2021-12-03 2024-01-05 北京影谱科技股份有限公司 一种视频字幕时间对齐模型训练方法及系统
CN117156079B (zh) * 2023-11-01 2024-01-23 北京美摄网络科技有限公司 视频处理方法、装置、电子设备和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780974A (zh) * 2012-10-17 2014-05-07 财团法人资讯工业策进会 场景片段播放系统及其方法
US20140369596A1 (en) * 2013-06-15 2014-12-18 Purdue Research Foundation Correlating videos and sentences

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689585A (en) * 1995-04-28 1997-11-18 Xerox Corporation Method for aligning a text image to a transcription of the image
JPH09237486A (ja) * 1996-03-01 1997-09-09 Nippon Steel Corp 映像と文字との統合管理システム
JP2002091466A (ja) * 2000-09-12 2002-03-27 Pioneer Electronic Corp 音声認識装置
US7239417B2 (en) * 2000-11-02 2007-07-03 Fujiyama Co., Ltd. Distribution system for digital image content and reproducing method and medium recording its reproduction program
JP3938096B2 (ja) * 2003-04-24 2007-06-27 日本電気株式会社 インデックス作成装置、インデックス作成方法、および、インデックス作成プログラム
US7840033B2 (en) * 2004-04-02 2010-11-23 K-Nfb Reading Technology, Inc. Text stitching from multiple images
US7769772B2 (en) * 2005-08-23 2010-08-03 Ricoh Co., Ltd. Mixed media reality brokerage network with layout-independent recognition
JP5062656B2 (ja) * 2006-03-31 2012-10-31 Ｎｅｃパーソナルコンピュータ株式会社 コンテンツ再生方法及びその装置並びに総覧情報生成方法及びその装置
JP4594908B2 (ja) * 2006-08-01 2010-12-08 日本放送協会 解説付加音声生成装置及び解説付加音声生成プログラム
US7912724B1 (en) * 2007-01-18 2011-03-22 Adobe Systems Incorporated Audio comparison using phoneme matching
US20110047163A1 (en) * 2009-08-24 2011-02-24 Google Inc. Relevance-Based Image Selection
US8645298B2 (en) * 2010-10-26 2014-02-04 Microsoft Corporation Topic models
US9471559B2 (en) * 2012-12-10 2016-10-18 International Business Machines Corporation Deep analysis of natural language questions for question answering system
WO2014141054A1 (en) * 2013-03-11 2014-09-18 Video Dubber Ltd. Method, apparatus and system for regenerating voice intonation in automatically dubbed videos
US8761513B1 (en) * 2013-03-15 2014-06-24 Translate Abroad, Inc. Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US9545172B2 (en) 2014-02-11 2017-01-17 Adco Industries-Technologies, L.P. Roller grill
US10129608B2 (en) * 2015-02-24 2018-11-13 Zepp Labs, Inc. Detect sports video highlights based on voice recognition
US20160350653A1 (en) * 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US10467268B2 (en) * 2015-06-02 2019-11-05 International Business Machines Corporation Utilizing word embeddings for term matching in question answering systems
US10074363B2 (en) * 2015-11-11 2018-09-11 Apptek, Inc. Method and apparatus for keyword speech recognition
WO2017158800A1 (ja) * 2016-03-17 2017-09-21 株式会社Pfu モバイル端末、画像処理方法、および、プログラム
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
US20180082607A1 (en) * 2016-09-19 2018-03-22 Michael Everding Interactive Video Captioning Program
US10936969B2 (en) * 2016-09-26 2021-03-02 Shabaz Basheer Patel Method and system for an end-to-end artificial intelligence workflow
US10362349B1 (en) * 2016-12-13 2019-07-23 Google Llc Detecting channel similarity based on content reuse
CN107463698B (zh) * 2017-08-15 2020-11-20 北京百度网讯科技有限公司 基于人工智能推送信息的方法和装置
US10846573B2 (en) * 2018-07-31 2020-11-24 Triangle Digital Ventures Ii, Llc Detecting, redacting, and scoring confidential information in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780974A (zh) * 2012-10-17 2014-05-07 财团法人资讯工业策进会 场景片段播放系统及其方法
US20140369596A1 (en) * 2013-06-15 2014-12-18 Purdue Research Foundation Correlating videos and sentences

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866776A (zh) * 2020-12-29 2021-05-28 北京金堤科技有限公司 视频生成方法和装置
CN112866776B (zh) * 2020-12-29 2022-09-20 北京金堤科技有限公司 视频生成方法和装置
CN113517004A (zh) * 2021-06-16 2021-10-19 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 视频生成方法、装置、终端设备及介质
CN113517004B (zh) * 2021-06-16 2023-02-28 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 视频生成方法、装置、终端设备及介质
CN113436604A (zh) * 2021-06-22 2021-09-24 北京百度网讯科技有限公司 播报内容的方法及装置、电子设备和存储介质
CN114222196A (zh) * 2022-01-04 2022-03-22 阿里巴巴新加坡控股有限公司 一种剧情解说短视频的生成方法、装置及电子设备
CN115243107A (zh) * 2022-07-08 2022-10-25 华人运通(上海)云计算科技有限公司 短视频播放的方法、装置、系统、电子设备和介质
CN115243107B (zh) * 2022-07-08 2023-11-21 华人运通(上海)云计算科技有限公司 短视频播放的方法、装置、系统、电子设备和介质

Also Published As

Publication number Publication date
JP6971292B2 (ja) 2021-11-24
JP2020174339A (ja) 2020-10-22
CN111800671B (zh) 2022-08-12
US20200322570A1 (en) 2020-10-08
US11758088B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111800671B (zh) 用于对齐段落和视频的方法和装置
CN109460513B (zh) 用于生成点击率预测模型的方法和装置
KR20190139751A (ko) 비디오를 처리하기 위한 방법 및 장치
CN111866610B (zh) 用于生成信息的方法和装置
CN109582825B (zh) 用于生成信息的方法和装置
CN109862100B (zh) 用于推送信息的方法和装置
CN109271557B (zh) 用于输出信息的方法和装置
US20200409998A1 (en) Method and device for outputting information
WO2020042376A1 (zh) 用于输出信息的方法和装置
WO2022033534A1 (zh) 用于生成目标视频的方法、装置、服务器和介质
CN111897950A (zh) 用于生成信息的方法和装置
JP7050857B2 (ja) 要約生成方法及び装置
CN111726685A (zh) 视频处理方法、装置、电子设备和介质
CN112182255A (zh) 用于存储媒体文件和用于检索媒体文件的方法和装置
CN111859973A (zh) 用于生成解说词的方法和装置
US20190139432A1 (en) Methods and systems for animated walkthroughs in an online educational platform
CN111400581B (zh) 用于标注样本的系统、方法和装置
CN109472028B (zh) 用于生成信息的方法和装置
CN108664610B (zh) 用于处理数据的方法和装置
CN107483595B (zh) 信息推送方法和装置
CN115801980A (zh) 视频生成方法和装置
CN112652329B (zh) 文本重对齐方法、装置、电子设备和存储介质
CN111866609B (zh) 用于生成视频的方法和装置
CN111125501B (zh) 用于处理信息的方法和装置
CN109584012B (zh) 用于生成物品推送信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant