CN117980896A - 沉浸式界面的自动生成 - Google Patents

Abstract

本公开提供了用于执行沉浸式界面的自动生成的系统、方法和计算机程序产品。例如，计算设备可以通过以下操作来执行沉浸式界面的自动生成：分析包括文本内容的基于网络的资源，从基于网络的资源中提取多个文本内容片段，获得与多个文本内容片段中的每个相应文本内容片段相关的视觉内容和音频内容，基于将每个相应文本内容片段的至少一部分与关于相应文本内容片段的视觉内容和音频内容进行组合，来生成基于网络的资源的视听显示的目标内容，以及将描述生成的目标内容的数据提供给计算设备，用于呈现基于网络的资源的视听显示。

Description

沉浸式界面的自动生成

技术领域

本公开一般涉及计算机系统。更具体地，本公开涉及经由计算机网络和互联网服务的用于分布式计算设备的沉浸式界面的自动生成。

背景技术

世界范围内每天有超过2.5百万的三次方(quintillion)字节的数据被创建。技术提供商存储数十亿兆字节的内容，用户可以通过互联网搜索引擎和其他工具访问这些内容。此外，用户每天在世界范围内执行超过50亿次搜索，以查询和访问各种形式的内容。这些信息中的大多数作为具有很少或没有伴随的视觉或音频内容的长形式文本(long-formtext)存在。

内容策展(content curation)通常是指收集与特定主题相关的信息并以有趣和有意义的方式选择、组织和呈现这样的信息。内容策展是一个耗时的过程，需要特定的技能和专门的软件。此外，内容策展的现有方法是昂贵的，通常仅考虑一小部分可用内容，并且鉴于每天生成的新信息量的增加而很快变得过时。此外，大多数内容无法以不同的格式、语言和界面提供，否则这将使世界各地的各种用户受益。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中学习，或者可以通过实施例的实践来习知。

本公开的一个示例方面涉及一种系统，该系统包括一个或多个处理器和存储指令的一个或多个非暂时性计算机可读介质，该指令在由一个或多个处理器执行时，使得一个或多个处理器执行用于自动生成沉浸式界面的操作。例如，该操作可以包括分析包括文本内容的基于网络的(web-based)资源，从基于网络的资源中提取多个文本内容片段(segment)，获得与多个文本内容片段中的每个相应文本内容片段相关的视觉内容和音频内容，基于将每个相应文本内容片段的至少一部分与关于相应文本内容片段的视觉内容和音频内容进行组合，来生成用于基于网络的资源的视听显示的目标内容，以及将描述生成的目标内容的数据提供给计算设备，用于呈现基于网络的资源的视听显示。

本公开的另一示例方面涉及用于执行沉浸式界面的自动生成的计算机实现的方法。例如，计算机实现的方法可以包括分析包括文本内容的基于网络的资源，从基于网络的资源中提取多个文本内容片段，获得与多个文本内容片段中的每个相应文本内容片段相关的视觉内容和音频内容，基于将每个相应文本内容片段的至少一部分与关于相应文本内容片段的视觉内容和音频内容进行组合，来生成用于基于网络的资源的视听显示的目标内容，以及将描述生成的目标内容的数据提供给计算设备，用于呈现基于网络的资源的视听显示。

在本公开的又一示例中，一种非暂时性计算机可读介质存储指令，该指令在由一个或多个处理器执行时，使一个或多个处理器自动生成沉浸式界面，例如，通过分析包括文本内容的基于网络的资源，从基于网络的资源中提取多个文本内容片段，获得与多个文本内容片段中的每个相应文本内容片段相关的视觉内容和音频内容。基于将每个相应文本内容片段的至少一部分与关于相应文本内容片段的所述视觉内容和所述音频内容进行组合，来生成用于基于网络的资源的视听显示的目标内容，以及将描述生成的目标内容的数据提供给计算设备，于呈现基于网络的资源的视听显示。

本公开的其他方面涉及各种装置、计算机系统、非暂时性计算机可读介质、计算机实现的方法、用户界面和电子设备。参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的实施例，并且与说明书一起用于解释相关原理。

附图说明

在说明书中参考附图阐述了针对本领域普通技术人员的实施例的详细讨论，其，其中：

图1描绘了根据本公开的示例实施例的用于执行沉浸式界面的自动生成的示例系统的框图。

图1A描绘了示出根据本公开的示例实施例的源内容的示例和从示例源内容自动生成的沉浸式界面的示例的示例图示。

图2描绘了根据本公开的示例实施例的用于执行沉浸式界面的自动生成的示例方法的流程图。

图2A描绘了根据本公开的示例实施例的用于执行沉浸式界面的自动生成的示例的图示。

根据本公开的示例实施例的示例图示，包括从长形式文本源内容的示例片段生成的两个示例沉浸式界面。

图3描绘了根据本公开的示例实施例的用于响应于用户请求而执行沉浸式界面的自动生成的示例方法的流程图。

图4描绘了根据本公开的示例实施例的示例图示，包括从长形式文本源内容的示例片段(piece)生成的两个示例沉浸式界面。

图5描绘了根据本公开的示例实施例的用于处理生成沉浸式界面的请求的示例方法的流程图。

图6描绘了根据本公开的示例实施例的可以用于执行一个或多个操作的示例计算机系统的框图。

具体实施方式

现在将详细参考实施例，其一个或多个示例被示出在附图中。每个示例是通过解释实施例而不是限制本公开来提供的。事实上，对于本领域技术人员清楚的是，在不脱离本公开的范围或精神的情况下，可以对实施例进行各种修改和变化。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，本公开的各方面旨在覆盖这样的修改和变化。

通常，本公开涉及使用可以以各种沉浸式格式创建的自动生成的沉浸式界面来改进呈现给用户的各种类型的界面，包括但不限于长形式文本内容。具体地，本公开中描述的示例使得能够将源内容自动变换为沉浸式用户界面。此外，本公开还使得用户能够自动地将他们自己的内容转换成沉浸式用户界面。此外，与现有方法相比，本公开的示例提供了对大量和各种形式的文本、视觉、音频和其他类型的内容的自动处理和集成的改进。此外，根据示例实施例提供了一种平台，该平台使得内容提供商能够将内容自动转换成沉浸式用户界面，并通过搜索引擎和其他技术向用户展示(surface)该内容。

许多用户已经习惯于观看更短和更吸引人的(engaging)形式的内容，这最近已经获得了普及。例如，许多用户更喜欢查看短形式视频(video)、标注的视觉(annotatedvisual)内容和社交媒体帖子，而不是冗长的文章和其他类型的长形式文本内容。此外，在2015年至2020年期间，超过15亿人第一次开始使用互联网，并且预计在2020年至2025年期间，另有十亿用户开始使用互联网。这些新用户中的许多经由智能电话连接到互联网，并且越来越多地使用语音和视频作为工具在线寻找信息和服务。此外，许多互联网用户不能受益于以不熟悉的语言存在的内容、难以在小显示器上消费的冗长文本内容、基于计算机网络或设备限制难以或不可能消费的高分辨率内容、以不支持或不兼容的格式存储的内容等。

许多传统形式的内容，诸如文本内容，可以主要或完全以单一方式(例如，主要地或完全地以长形式文本)呈现(present)信息。然而，这样的内容可以被编辑、增强、组合和/或以其他方式与一个或多个其他形式的内容(例如，音频内容、视觉内容、增强现实内容、虚拟现实内容等)集成，以便向用户呈现事实、讲故事和/或递送消息。传统内容的策展和编辑是手动的、耗时且昂贵的过程，需要先进技能和专业软件。结果，由于相关联的复杂性和费用，通常不对大多数类型的内容，包括用户生成的内容，执行策展和编辑。因此，当大多数内容，包括用户生成的内容，可以以其他方式被改进和增强以使其他人受益时，这样的内容保持未编辑。此外，该内容通常是非沉浸式的老旧格式，并且没有以适于用户的当前硬件和代际的方式呈现。因此，世界各地的各种用户、内容所有者、内容发布者和其他人可以受益于沉浸式界面的自动生成。

本公开提供了基于将各种形式的源内容变换并集成到一条或多条新的目标内容中以生成用于用户的沉浸式界面来执行沉浸式界面的自动生成的示例。在本公开的示例中，计算机系统可以执行沉浸式界面的自动生成，例如，通过分析一条或多条源内容，从一条或多条源内容中选择多个内容片段以生成目标内容，自动识别与每个内容片段相关的附加内容以与相应内容片段一起包含在目标内容中，至少部分地基于将每个相应内容片段与为相应内容片段识别的附加内容进行组合来生成目标内容，以及将目标内容提供给计算设备以呈现给用户。在示例实施例中，可以针对特定类别(诸如学科、流派、语言和目标受众)训练概括(summarization)引擎。根据概括引擎参数，可以利用具有不同文本的多个输出来生成内容。示例可以包括长形式文本、快速概括、更详细的概括、概括加示例等。

可以基于一组输入生成一个或多个沉浸式界面。作为示例，可以通过改变沉浸式界面生成流水线(pipeline)的参数来基于同一组输入生成多个沉浸式界面。可以通过改变一个或多个参数来改变诸如概括参数、图像选择参数(不同语料库)和/或语言等的示例参数，可以从同一组输入生成多个用户界面。作为具体示例，考虑可以包括不同实况事件的图像馈送(feed)的多运动广播事件。可以提供过滤服务来选择适当的图像，以生成用于不同场所(local)的70个输出(例如，包括25种语言)。在事件之后，沉浸式界面生成系统可以使用不同的过滤服务和/或不同的参数，来针对不同的要求或不同的目标受众从相同的内容生成各种输出。

在一些示例中，沉浸式界面生成系统可以在各种不同的上下文中使用，以基于源内容生成吸引人的目标内容。在一些示例中，沉浸式界面生成系统可以被提供给用户以在用户计算设备上使用(例如，作为可以安装在用户计算设备上的软件分发)。在该上下文中，用户可以将内容提供给沉浸式界面生成系统(例如，通过直接输入文本或通过提供到源内容的链接)。沉浸式界面生成系统可以在用户计算设备上生成吸引人的目标内容，并且用户可以根据需要进行分发。

在另一示例中，沉浸式界面生成系统可以作为服务提供给第三方内容制作者。例如，内容生产者(例如，特定内容生产者、一组内容生产者或实体)可以向包括沉浸式界面生成系统的平台提供内容。在一些示例中，所提供的内容可以由内容制作者直接输入到内容平台。在其他示例中，原始内容可以与由内容生产者提供给沉浸式界面生成系统的链接相关联。沉浸式界面生成系统可以基于链接访问内容并捕获内容(例如，从链接的网页抓取内容)。所提供的内容可以是方便内容制作者的格式，诸如纯文本格式化的、格式化为文本文章或未格式化。沉浸式界面生成系统可以处理所提供的内容以产生包括未包括在所提供的内容中的附加音频和/或视觉媒体的吸引人的目标内容。如上所述，处理所提供的内容以产生吸引人的目标内容可以包括概括内容或提取一个或多个关键短语。处理可以包括根据特定模板对所提供的内容进行格式化，以便以一个或多个不同的显示形状因子显示。可以识别附加内容(例如，最初未提供的媒体内容)并将其添加到目标内容，并且可以生成内容的翻译。

一旦已经为特定的一条提供的内容生成了吸引人的目标内容，就可以提供该吸引人的目标内容以供用户经由那个包括沉浸式界面生成系统的平台进行访问。因此，在一些示例中，内容平台可以包括沉浸式界面生成系统，并且允许内容制作者以第一格式(例如，原始文本、文章格式等)提供内容，并且自动生成吸引人的目标内容。可以在内容平台上以一种或多种新的格式和一种或多种新的语言与用户共享吸引人的目标内容。

在另一示例中，独立于沉浸式界面生成系统的内容平台可以使用沉浸式界面生成系统为已经在内容平台上发布的内容生成吸引人的目标内容。生成吸引人的目标内容可以允许内容平台以更吸引人的方式(例如，多媒体呈现)、以多种格式(例如，以更适合于智能电话的格式)、以及以附加语言向用户提供内容。使内容以附加格式和语言更吸引人和可用(available)可以允许内容平台向访问其内容的用户提供更有用的服务。

在示例实施例中，沉浸式界面系统可以使得能够跟踪内容，诸如用于提供收入或收入分配。作为示例，沉浸式界面系统可以跟踪由内容提供者提供给系统的内容。该系统可以至少部分地基于由内容提供者提供的内容来转换或以其他方式生成沉浸式界面。该系统可以跟踪原始内容和/或转换内容，以实现例如收入共享和/或分配。例如，系统可以跟踪转换内容被访问或以其他方式提供给用户的次数。在示例实施例中，与转换内容相关联的收入可以在沉浸式界面系统和原始内容提供者之间共享。

本文描述的系统、方法和计算机程序产品提供了许多技术效果和益处。作为一个示例，本公开中描述的实施例执行大量和不同形式的分布式内容的自动分析和集成，并且更有效地并以更少的计算资源(例如，更少的处理能力、更少的存储器使用、更少的功耗等)自动变换和生成新的沉浸式界面，用，否则这些计算资源将被使用手动调查、创建、编辑和发现过程而浪费掉。

现在参考附图，将更详细地讨论本公开的示例方面。

用于自动生成沉浸式界面的示例计算环境

图1描绘了根据本公开的示例实施例的用于执行沉浸式界面的自动生成的示例计算环境100的框图。示例计算环境100包括通过网络102通信地耦合的一个或多个服务器机器110、一个或多个搜索服务器机器120、一个或多个用户设备130和数据存储装置(storage)150。

网络102可以是公共网络(例如，互联网)、专用网络(例如，局域网(LAN)或广域网(WAN))或其任何组合。在示例中，网络102可以包括互联网、一个或多个内联网、有线网络、无线网络和/或其他适当类型的通信网络。网络102还可以包括适于与其他通信网络(诸如互联网)通信的无线电信网络(例如，蜂窝网络)。另外，网络102可以包括一个或多个短程无线网络。

每一个服务器机器110可以包括一个或多个网络(web)服务器112和/或一个或多个应用服务器114。网络服务器112可以向服务器机器110或其他源(例如，搜索服务器机器120、用户设备130和数据存储装置150)提供文本、音频、图像、视频或任何其他内容，以及从服务器机器110或其他源(例如，搜索服务器机器120、用户设备130和数据存储装置150)提供文本、音频、图像、视频或任何其他内容。网络服务器112还可以向服务器机器110、搜索服务器机器120和用户设备130提供基于网络的应用服务、业务逻辑和接口。网络服务器112还可以向搜索服务器机器120、用户设备130等发送文本、音频、视频、图像和/或其他内容，以及从搜索服务器机器120、用户设备130等接收文本、音频、视频、图像和/或其他内容。例如，可以存储各种形式、版本和类型的内容(例如，内容118、138和/或驻留在数据存储装置150中的内容等)以用于保存、共享和/或发布。

在示例中，一个或多个网络服务器112耦合到一个或多个应用服务器114，应用服务器114向服务器机器110、搜索服务器机器120、用户设备130和/或其他计算设备(未示出)提供应用服务、数据、业务逻辑和/或API。在一些示例中，应用服务器114独立地提供一个或多个这样的服务，而不使用网络服务器112。在示例中，网络服务器112可以向服务器机器110、搜索服务器机器120和用户设备130提供对与自动沉浸式界面生成系统(例如，沉浸式界面生成系统140)相关联的一个或多个应用服务器114服务的访问。在示例中，这样的功能还可以被提供为一个或多个不同的网络应用、独立应用、系统、插件、网络浏览器扩展和应用编程接口(API)等的一部分。在一些示例中，插件和扩展通常可以单独地或共同地被称为“附加组件(add-on)”。

在一些示例中，一个或多个网络服务器112被耦合到一个或多个应用服务器114，能够提供对用户设备130的用户可用的内容平台。沉浸式界面生成系统140能够基于第一格式(例如，主要基于文本的格式)的内容118来产生吸引人的目标内容。内容平台可以托管(host)原始内容118和吸引人的目标内容两者。在一些示例中，内容平台仅托管基于原始内容生成的吸引人的(engaging)。在一些示例中，由内容制作者提供的原始内容由沉浸式界面生成系统140转换成吸引人的目标内容。一旦生成了吸引人的目标内容，就可以使其对内容平台的用户可用，并且可以丢弃原始内容。

服务器机器110包括本地数据存储装置116，并且可以访问其他数据存储装置150以存储和访问各种形式的内容(例如，内容118)。在示例中，服务器机器110可以提供一个或多个基于云或基于网络的服务和应用、与一个或多个基于云或基于网络的服务和应用相关联、或与一个或多个基于云或基于网络的服务和应用结合使用，诸如互联网搜索引擎、社交网络站点、云存储提供商、内容共享站点、图像或照片共享站点、视频共享站点、新闻发布站点、企业软件和/或存储、处理、调整、生成和/或显示用户提供的和/或任何其他源或类型的内容的任何其他站点、服务或应用。在各种示例中，这样的站点、服务和/或应用可以由用户经由在相应用户设备130上运行的一个或多个应用132来访问。

搜索服务器机器120通常可以是能够接收、定位、获得、检索、索引和/或搜索任何形式的内容的任何计算机系统、设备或其他机器。例如，搜索服务器机器120可以发现或以其他方式定位可从任何授权和可访问位置获得的内容，包括但不限于，数据存储装置150、互联网、内联网、内容储存库、内容管理系统、文档管理系统等。搜索服务器机器120还可以包括一个或多个网络服务器(未示出)和/或应用服务器(未示出)。

在各种示例中，搜索服务器机器120可以通过系统地爬取(crawling through)可用内容和/或相关联的元数据来定位和处理内容。例如，可以使用源内容中存在的超链接、引用和/或任何其他参考来爬取任何类型的网络内容或其他内容，以识别和定位附加内容，用于分析、搜索索引生成和/或其他处理。

在各种示例中，搜索服务器机器120可以分析各种类型的内容以生成搜索索引122，搜索索引122促进响应于搜索查询而快速且准确地检索相关内容。例如，网络爬虫(crawler)可以定位被分析并用于创建搜索索引122的网络或其他内容，搜索索引122允许搜索引擎快速识别和检索经由用户设备130提交的搜索查询的相关内容。在一些示例中，搜索服务器机器120可以在本地存储或保持搜索索引122和/或在其他地方生成和/或存储的其他服务的参考搜索索引。而且，搜索服务器机器120可以缓存各种形式的内容，例如，用于与分析内容、生成搜索索引122、响应于搜索查询检索搜索结果等相关联地使用。在各种示例中，这样缓存的信息可以本地存储在搜索服务器机器120上、数据存储装置150中、和/或搜索服务器机器120可访问的其他位置。

在各种示例中，搜索服务器机器120可以接收并处理从用户设备130接收的搜索查询。搜索查询可以包括但不限于与特定主题相关的信息查询、搜寻某一方(a party)的特定网站或网页的导航查询、反映用户对执行特定活动(像烹饪特定膳食、修补撕裂的织物、修理瘪胎)的兴趣的交易查询(transactional query)、和/或通常的任何其他类型的搜索查询。搜索服务器机器120通常可以经由与用户设备130、应用132、用户界面134等相关联的搜索接口接收一种或多种类型的搜索查询。例如，搜索服务器机器120通常可以接收和处理作为文本、音频、说出的单词和/或视觉信息(例如，诸如照片或其他图像、视频片段等的视觉内容)提交的搜索查询。

在各种示例中，搜索服务器机器120可以通过基于搜索查询访问和搜索一个或多个搜索索引122来处理搜索查询，以快速识别和返回相关搜索结果。搜索索引122通常是指由计算机系统、设备或软件应用使用以例如响应于搜索查询而提供信息的快速和准确的检索的任何索引数据结构。搜索索引122的示例通常可以包括但不限于倒排索引、b树索引、位图索引、n-gram(n元语法)索引等。在各种示例中，搜索服务器机器120响应于搜索查询(例如，互联网搜索引擎查询)识别相关搜索结果并将其返回给用户设备130、应用132和/或用户界面134。

用户设备130通常可以是个人计算机(PC)、膝上型计算机、移动电话、平板计算机、服务器计算机、可穿戴计算设备或任何其他类型的计算设备(即，客户端机器)。用户设备130可以运行管理相应设备的硬件和软件的操作系统(OS)。浏览器应用(未示出)可以在用户设备130上运行。浏览器应用可以是网络浏览器，其可以访问由服务器机器110、搜索服务器机器120或服务器机器110和/或搜索服务器机器120的组合提供的内容和服务。其他类型的计算机程序和脚本也可以在用户设备130上运行。

用户设备130可以包括一个或多个应用132、用户界面134、数据存储装置136和内容138。用户设备130通常可以执行或运行与一个或多个服务器机器110和/或一个或多个搜索服务器机器120互操作的一个或多个应用132或应用132的客户端组件或版本。例如，应用132可以包括或提供对一个或多个沉浸式界面生成系统140和本地和/或远程运行的服务的访问。

每一个应用132通常可以提供用户界面134，用户界面134允许用户提交用户输入(例如，命令、指令、搜索查询等)，并且接收与在用户设备130上运行的相应应用132相关联的各种文本、图形和/或音频输出。例如，用户通常可以经由相应用户设备130的用户输入组件(诸如对用户输入对象(例如，手指或触笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)、虚拟键盘、传统键盘、鼠标、麦克风、传统键盘)或通过用户可以经由设备向应用132提供输入的其他手段向应用132提供用户输入。用户还可以经由一个或多个用户界面134从应用132接收输出，一个或多个用户界面134经由显示器、用户设备130、计算系统和/或任何其他类型的设备提供。

应用132可以包括例如网络浏览器、内容管理、文档管理、搜索引擎、地图、导航、社交网络、照片共享、视频共享、存储服务、数字钱包、移动钱包和/或在用户设备130上运行的任何其他类型的“应用”。此外，应用132可以具有可以与应用132相关联地使用、或者与应用132分离(separate)和分开(apart)使用的对应的网站、服务和/或API。在一些示例中，应用132可以包括沉浸式界面生成系统140，沉浸式界面生成系统140允许用户基于由用户提供的内容在用户设备130上生成吸引人的目标内容。在一些示例中，用户可以直接提供文本(例如，将文本输入到沉浸式界面生成系统140中)。在其他示例中，用户可以识别沉浸式界面生成系统140可以抓取(scrape)源内容的内容源(例如，基于网络链接)。数据存储装置136通常可以包括与用户设备130相关联的任何可移除或不可移除的存储设备，用户设备130还可以经由网络102访问其他各种存储设备(例如，数据存储装置150)。

在示例中，服务器机器110、搜索服务器机器120、用户设备130和/或其他计算设备，每一个可以存储和访问各种形式的内容118、138(例如，源内容、目标内容)，包括来自数据存储装置150和/或其他地方的内容。在示例中，内容通常可以指代任何文本数据、音频数据、视觉数据、图形数据、动画、图像、视频、多媒体、增强现实数据、虚拟现实数据和/或用于表示或描述任何维度(例如，2D、3D等)的任何类型的各种形式或格式的内容的任何其他数据。在各种示例中，内容可以是原始的或新捕获的、预处理的或部分编辑的、专业编辑的、策展的、用户生成的和/或以任何其他形式。

内容可以包括任何类型的文本内容。文本内容通常是指包括字母、数字、单词、短语、句子、段落等的任何内容。文本内容可以包括标题、笔记、消息、网页、文章、故事、书籍和/或数字和/或任何其他格式的任何其他类型的书面或印刷作品。在各种示例中，文本内容可以是主要或完全由文本组成的长形式文本内容。

内容还可以包括任何类型的音频内容。音频内容通常是指任何声音，包括但不限于，语音、可听声音、不可听声音、声音效果、声音剪辑(clip)、背景或其他类型的音乐、画外音(voice-over)音频、文本到语音音频等。音频通常可以单独呈现和/或与其他形式和类型的内容组合呈现。

内容还可以包括任何类型的视觉内容，诸如图像、静止图形、动画图形、视频等。图像通常可以包括任何视觉或图形表示，诸如由相机、计算设备和/或其他设备捕获的照片或屏幕截图(screenshot)。图像可以包括例如肖像、正方形(square)、全景和/或任何其他类型的图像。视觉内容还可以包括例如原始和/或编辑内容的一个或多个片段(segment)或一条或多条(piece)原始和/或编辑内容，诸如一连串(burst)照片、视频剪辑、电影预告、蒙太奇、音乐视频、精彩镜头(highlight reel)视频、广告视频等。

视频内容通常是指表示运动中的场景的一组连续图像帧。例如，可以连续地捕获或稍后重建一系列连续图像，以产生运动图片的效果，其可以包括相机运动和/或场景内的内容的运动。视频内容可以以各种格式呈现，所述各种格式包括但不限于模拟、数字、二维视频和三维视频。此外，视频内容可以包括电影、视频剪辑或要按顺序显示的动画图像的任何集合。视频数据可以包括具有静态图像帧序列的数字视频，静态图像帧序列也可以被存储为图像数据。此外，每个图像帧可以表示已经根据时间间隔捕获的场景的快照(snapshot)。

数据存储装置150通常是指能够保存各种类型的内容(诸如文本、音频、图像、视频和图形)的持久性存储装置。在一些示例中，数据存储装置150可以包括网络附接的(network-attached)文件服务器或云存储装置，而在其他示例中，数据存储装置150可以包括其他形式的持久性存储装置，诸如面向对象的数据库、关系数据库等。在一些示例中，数据存储装置可以包括一个或多个内容储存库(repository)，一个或多个内容储存库存储数字内容并且可以提供诸如数据组织、数据管理、版本控制(versioning)、数据保留策略、索引、搜索、检索等服务。例如，内容储存库可以包括由一个或多个不同方控制、操作和/或提供的一个或多个内容管理系统和/或文档管理系统。

在各种示例中，数据存储装置150可以包括由用户经由用户设备130上传的用户生成的内容(例如，用户生成的文档、图像、视频等)和/或由一个或多个其他方提供的内容。数据可以被添加到数据存储装置150，例如，作为离散文件(例如，结构化文本文档、非结构化文本文档、HTML文件、XML文件、电子表格文件、数据库文件、多媒体文件、运动图像专家组(MPEG)文件、windows媒体视频(WMV)文件、联合图像专家组(JPEG)文件、图形交换格式(GIF)文件、便携式网络图形(PNG)文件等)，或者作为单个压缩文件(例如，zip文件)的组件。

在各种示例中，服务器机器110、搜索服务器机器120和/或用户设备130运行、执行或以其他方式利用沉浸式界面生成系统140。例如，用户设备130可以包括与由一个或多个服务器机器110和/或搜索服务器机器120提供的服务(例如，沉浸式界面生成系统140)相关联的一个或多个应用132。例如，各种类型的计算设备(例如，智能电话、智能电视、平板计算机、智能可穿戴设备、智能家庭计算机系统、智能助理设备等)可以使用专用apps和/或API来访问由服务器机器110和/或搜索服务器机器120提供的服务、向服务器机器110和/或搜索服务器机器120发出命令、和/或从服务器机器110和/或搜索服务器机器120接收内容，而无需访问或使用网页。

在示例中，由服务器机器110和/或搜索服务器机器120中的一个或多个执行的功能可以全部或部分地由一个或多个其他机器和/或用户设备130执行。服务器机器110和/或搜索服务器机器120可以作为由系统或设备经由适当的应用编程接口(API)和数据馈送(data feed)提供的服务被访问，并且因此不限于与网站一起使用。此外，服务器机器110、搜索服务器机器120和/或用户设备130可以与例如由一个或多个不同方供应或提供的一个或多个沉浸式界面生成系统140服务相关联和/或利用例如由一个或多个不同方供应或提供的一个或多个沉浸式界面生成系统140服务服务。

在各种示例中，沉浸式界面生成系统140通过将源内容自动变换为包括文本、音频、静止图像、动画图像、图形、视频、交互式用户界面元素等中的至少三个或更多个的组合的吸引人的目标内容来执行沉浸式界面的自动生成。在本公开的示例中，沉浸式界面生成系统140使用严格的计算机化过程自动生成沉浸式界面，该计算机化过程以先前未执行的方式将主要或完全以一种形式存在的基本(basic)源内容快速变换为动态和吸引人的用户界面。

在示例中，沉浸式界面生成系统140生成与特定话题、主题、人、类别、活动、文章、食谱、新闻事件、体育事件等相关联的一个或多个沉浸式界面。一个或多个沉浸式界面可以从一个或多个源生成，并且可以以各种格式生成。这样的沉浸式界面可以例如在不同的时间点生成。例如，可以在用户请求之前或预期用户请求时，响应于或基于一个或多个用户请求或事件，部分地在用户请求之前，生成一个或多个沉浸式界面，基于与用户请求相关联的各种属性(例如，用户偏好、物理计算设备能力、操作系统、网络设置、应用特征和设置、位置、语言等)执行附加的生成、修改和/或变换。

在示例中，沉浸式界面生成系统140响应于由用户提交的搜索查询而生成一个或多个沉浸式界面。例如，沉浸式界面生成系统140可以基于与搜索查询相关联的音频、视觉、文本和/或其他输入或信息中的一个或多个来自动生成一个或多个沉浸式界面。在各种示例中，响应于搜索查询，可以将一个或多个生成的沉浸式界面发送或以其他方式提供给计算设备。在各种示例中，生成的沉浸式界面可以被存储和缓存以供使用和重复使用，并且稍后响应于用户的其他搜索查询(例如，类似的、相关的和/或原来的(exact)搜索查询)而被提供给一个或多个其他计算设备。

在示例中，沉浸式界面生成系统140基于请求确定要分析的一条或多条源内容。请求通常可以是指搜索查询、指令、命令或从用户和/或机器接收的任何其他类型的输入或请求。在一些示例中，请求可以包括要分析的源内容、识别要分析的源内容的信息、允许沉浸式界面生成系统140定位和/或识别要分析的一条或多条源内容的信息等。例如，请求可以包括源内容在数据存储装置(例如，数据存储装置116、136、150)和/或任何类型的内容储存库中的一个或多个一般或特定位置。请求还可以包括关于源内容的属性的信息或允许沉浸式界面生成系统140识别或以其他方式确定要分析以生成沉浸式界面的源内容的一个或多个其他标准。

在示例中，沉浸式界面生成系统140分析与请求相关联的文本、音频和/或视觉内容，诸如与搜索查询相关联的输入，以确定源内容。沉浸式界面生成系统140还可以分析与请求相关联的单词、短语或其他信息的组织和结构，以确定要与请求相关联地分析的一条或多条源内容。在一些示例中，沉浸式界面生成系统140可以基于响应于搜索查询从搜索服务器机器120返回的一个或多个结果来确定要分析的一条或多条源内容。

在示例中，沉浸式界面生成系统140基于请求分析一条或多条源内容。例如，可以分析一条或多条结构化和/或非结构化内容，以识别用于生成沉浸式界面的候选内容片段。在一些示例中，沉浸式界面生成系统140分析不同条的源内容(例如，文件)，并从一条或多条源内容的每一条源内容中选择源内容的一个或多个部分。例如，可以从不同的源内容文件(网页、文章、书籍等)中选择一个或多个句子，并将其组织成逻辑上通顺的大纲、概括、故事、消息和/或任何其他形式或类型的内容。

在示例中，沉浸式界面生成系统140分析每个选择的内容片段，并且对于每个选择的内容片段，将相应的权重分配给相应内容片段中存在的一个或多个对象、活动和/或关系中的每一个，例如，以帮助识别可以与沉浸式界面中的相应的选择的内容片段组合或以其他方式与相应的选择的内容片段一起包括在沉浸式界面中的附加的相关内容。例如，可以从每个选择的内容片段中提取文本或其他信息，并且进行分析以识别每个特定的选择的内容片段中的实体、活动和/或关系，并向在特定的内容片段中表示的实体、活动和/或关系中的一个或多个的每一个分配权重。可以从包括文本、图像和视频的任何类型的内容中提取内容。例如，可以对一个或多个图像执行OCR，或者可以对图像执行人/对象识别(recognition)。此外，可以使用多个内容源来生成沉浸式界面。例如，可以从一个源提取文本并且从另一个源提取图像等。可以基于分析文本、音频、视觉和/或其他形式的选择的内容片段来确定人、物体、动物、场景、位置、地标、活动和/或其他类型的信息。在各种示例中，特定的内容片段中的一个或多个实体、活动和/或关系中的每一个可以例如基于组织、排序、位置、显著性、持续时间、关联、互动和/或基于分析选择的内容片段而确定的信息的任何其他方面中的一个或多个来加权。

可以基于一组或多组输入来生成沉浸式界面。例如，可以通过改变到沉浸式界面生成流水线的参数来基于同一组输入来生成多个沉浸式界面。可以通过改变一个或多个参数来改变诸如概括参数、图像选择参数(不同语料库)和/或语言等的示例参数，可以从同一组输入生成多个用户界面。作为具体示例，考虑可以包括不同实况事件的图像馈送的多运动广播事件。可以提供过滤服务来选择适当的图像，以生成用于不同场所的70个输出(例如，包括25种语言)。在该事件之后，沉浸式界面生成系统可以使用不同的过滤服务和/或不同的参数来针对不同的要求或不同的目标受众从相同的内容中生成各种输出。

在示例中，沉浸式界面生成系统140识别与每个选择的内容片段相关的附加内容，以与相应内容片段一起包括在沉浸式用户界面中。例如，沉浸式界面生成系统140可以单独查询或以其他方式搜索一个或多个附加内容集合(collection)，以识别与每个选择的内容片段对应、相关或以其他方式匹配的一条或多条附加内容。例如，沉浸式界面生成系统140可以基于分别针对特定的选择的内容片段中的一个或多个实体、活动和/或关系中的每一个确定的权重来分析、评分和排序(rank)位于数据存储装置150或其他位置中的各条附加内容。

在示例中，沉浸式界面生成系统140基于根据与每个选择的内容片段的相似性、对各条附加内容的评分和/或排序，来确定一条或多条附加内容以与每个内容片段组合。例如，沉浸式界面生成系统140可以选择与特定的内容片段相关的一条或多条附加内容和/或一种或多种类型的附加内容。在一些示例中，沉浸式界面生成系统140鉴于分配给在基于文本的选择的源内容中识别的一个或多个实体、活动和/或关系中的每一个的权重，对附加视觉内容和/或附加音频内容进行评分，或进行评分和排序。这样，沉浸式界面生成系统140可以识别、选择和获得与每条选择的内容片段相对应的一个或多个不同类型的附加内容，以自动生成组合了各条选择的源内容片段(例如，一个内容类型)与对应的附加内容(例如，一个或多个附加内容类型)的沉浸式界面。

在示例中，沉浸式界面生成系统140自动生成用于沉浸式用户界面的一条或多条目标内容。一个或多个沉浸式界面可以从一个或多个源生成，并且可以以各种格式生成。例如，沉浸式界面生成系统140可以将每个特定的选择的内容片段与其对应的附加内容合并、混合或以其他方式组合，以生成一个或多个相关联的类型的目标内容。这种类型的目标内容可以包括但不限于一个或多个定时或非定时显示幻灯片、多媒体幻灯片、多媒体剪辑和/或任何其他类型的目标内容，可以被包括作为沉浸式用户界面的一部分。在各种示例中，沉浸式界面生成系统140通过将每个特定的内容片段与其对应的附加视觉内容和对应的附加音频内容进行组合，来处理多个选择的文本内容片段中的每一个，以生成沉浸式用户界面。

在示例中，沉浸式界面生成系统140至少部分地基于将每个选择的内容片段与至少两个或更多个附加内容类型的附加内容进行组合，来为多个选择的内容片段中的每一个自动生成一条目标内容。在一些示例中，沉浸式界面生成系统140基于将来自选择的内容片段的文本与对应于来自选择的内容片段的文本的附加音频内容和附加视觉内容进行组合来生成一条目标内容。

作为示例，并且仅出于说明性目的，图1A描绘了示出根据本公开的示例实施例的源内容的示例和从示例源内容自动生成的沉浸式界面190的示例的示例图示。例如，示例源内容180的图示通常示出在移动设备的显示器上手动滚动的源内容的示例。示例沉浸式界面190的图示通常示出了从源内容180的示例生成的沉浸式界面的示例。在示例中，这样的沉浸式界面通常可以自动地并且没有中断地呈现。这样，用户通常可以查看和收听经由一系列生成的沉浸式界面提供的各种增强信息，而不需要执行重复和/或非重复交互。

在示例中，沉浸式界面生成系统140通过将多条生成的目标内容集成在一起来自动生成沉浸式用户界面。在一些示例中，两条或更多条目标内容的集合可以一起集成到沉浸式用户界面中，诸如显示幻灯片、多媒体幻灯片、多媒体剪辑的集合，和/或以其他形式或布置作为新的内容。在各种示例中，沉浸式用户界面可以包括动画、自动的用户界面进展(progression)、不同条集成内容之间的过渡等中的任何一个或多个。在各种示例中，沉浸式界面生成系统140可以生成用于用户界面的一组沉浸式显示幻灯片、多媒体幻灯片或多媒体剪辑，诸如具有具有以配置或预定义的节奏(pace)紧密结合流动的(flowcohesively)自动的无缝的用户界面进展的图块(tile)用户界面或交互式故事页面。在一些示例中，沉浸式界面生成系统140生成沉浸式用户界面，作为可以与一种或多种不同类型的用户界面和/或用户界面控件(例如，动画图快用户界面控件、故事板用户界面控件、增强现实用户界面、虚拟现实界面和/或能够向用户提供沉浸式界面的其他任何其他类型的用户界面或用户界面控件)一起使用的标准化文件、文件集或包(package)的一部分。在各种示例中，沉浸式界面生成系统140生成自动呈现给用户的沉浸式界面，允许任何用户在没有先前经验、知识或训练的情况下查看和理解正在呈现的信息。

在示例中，沉浸式界面生成系统140向一个或多个计算设备提供自动生成的沉浸式界面，用于向一个或多个用户呈现、显示、通信或任何其他类型的递送。在各种示例中，可以经由用户设备130向用户提供自动生成的沉浸式界面。例如，沉浸式界面生成系统140可以响应于提交给服务器机器110和/或搜索服务器机器120的搜索查询或其他类型的用户请求而提供一个或多个生成的沉浸式界面。在各种示例中，沉浸式界面生成系统140以一种或多种形式提供生成的沉浸式界面，包括但不限于，作为基于图块的用户界面中的动画图块、作为馈送中的内容、作为社交媒体馈送中或社交媒体站点上的帖子、作为轮播(carousel)用户界面或帖子作为一组故事页面、和/或通常作为任何其他类型的用户界面的一部分或以各种其他形式的呈现。在一些示例中，沉浸式界面可以以网络故事(web story)格式生成，该网络故事格式混合音频、视频、图像、动画和/或文本，与一个或多个长形式文本文档相比，其向用户传达了动态的沉浸式体验。

在各种示例中，沉浸式界面生成系统140允许用户从一种或多种类型的可用内容自动生成沉浸式界面。例如，与沉浸式界面生成系统140相关联的任何类型的应用、网站、系统和/或服务通常可以允许诸如影响者、内容所有者、内容提供者、内容合作伙伴、内容被许可方或任何类型的实体的个体用户快速地自动生成高质量沉浸式用户界面，而无需专门的软件应用或技能。在一些示例中，任何数量的用户或实体(1、10、数百、数千、数百万等)，每一个可使用沉浸式界面生成系统140来使用其自己的内容、共享内容、被许可的内容、公共域内容和/或准许内容的任何其他源自动生成沉浸式界面。然后，用户可以例如经由网络、社交媒体、内容共享站点等与其他人共享和/或发布生成的沉浸式界面。

在示例实施例中，系统可以从用户接收反馈并将反馈合并到生成的内容中。可以向发布者提供使得发布者能够对所生成的内容进行编辑的应用工具。此外，系统可以分析消费者对所生成的内容的行为并细化引擎以修改内容，以使其更加用户友好和有用。在一些示例中，可以以编程方式(programmatically)将广告单元添加到所生成的内容中。此外，可以以编程方式将分析添加到所生成的内容中。这样的分析可以实现跟踪、测量、反馈回路生成和引擎加输出细化。

用于执行沉浸式界面的自动生成的示例方法

图2描绘了根据本公开的示例实施例的用于执行沉浸式界面的自动生成的示例方法200的流程图。方法200和本文描述的其他过程被示出为规定了所执行的操作的框的集合，但不一定限于所示出的用于执行各个框的操作的顺序或组合。因此，在不脱离本公开内容的范围的情况下，可以以各种方式省略、重新排列、组合和/或调整方法200的各个部分中的一个或多个。

方法200的一个或多个部分以及本文描述的其他过程可以由一个或多个计算设备实现，诸如例如，计算环境的一个或多个计算设备，例如，如图1的示例计算环境100所示(例如，服务器机器110、搜索服务器机器120、用户设备130等中的一个或多个)。虽然可以对特定计算环境进行以下讨论的部分，但是这样的参考仅作为示例。所述操作不限于由在一个设备上或在任何特定计算环境中操作的一个实体或多个实体执行。这样，这些过程的任何一个或多个部分可以被实现为本文描述的设备的硬件组件上的操作。

在(202)处，计算系统分析一条或多条源内容。在示例中，沉浸式界面生成系统140分析与一个或多个项目相关联的一条或多条源内容，该一个或多个项目可以包括但不限于特定话题、主题、人、类别、活动、文章、食谱、新闻事件、体育事件等。例如，沉浸式界面生成系统140可以接收请求，诸如用户搜索查询或请求以生成沉浸式界面。在各种示例中，这样的请求和其他类型的请求通常可以包括命名、描述、与之相关联或以其他方式直接或间接标识可用于获得一条或多条源内容以生成沉浸式用户界面的信息的信息。

在示例中，沉浸式界面生成系统140接收关于(pertain)诸如疟疾(malaria)的主题的请求，疟疾是影响世界各个区域的人和动物的蚊子传播的传染病。该请求可以包括文本、音频和/或视觉内容，或与文本、音频和/或视觉内容相关联。例如，该请求可以是文本搜索查询、语音搜索查询、图像查询或包括单词“malaria”的视觉内容或包括单词“malaria”的短语(例如，诸如“what is malaria”、“sympms of malaria”、“prevent malaria”等)。在其他示例中，请求可以是来自内容提供者或其他实体(例如，医疗提供者、国家公共卫生机构、医学期刊、发布者或任何其他类型的实体)的请求，以生成与关于“疟疾”或任何其他类型的项目的一个或多个沉浸式界面。在各种示例中，可以在数据存储装置116、136、150、数据库、数据储存库、内容管理系统、文档管理系统中、跨一个或多个网络102(诸如内联网或互联网)和/或内容或相关联的元数据驻留的任何其他地方搜索、定位和识别源内容，以识别相关的源内容。

在示例中，计算系统的沉浸式界面生成系统140识别并获得一条或多条源内容，以用于生成一个或多个沉浸式界面。在一些示例中，一条或多条识别的源内容可以被翻译成标准语言以用于分析。在各种示例中，一条或多条识别的源内容中的每一条可以被分析，以确定一个或多个相关片段、区域、部分、子部分、单词、短语、句子、段落、页面和/或这些条源内容的任何其他可识别的或其他相关的部分，用于生成沉浸式界面。

作为示例，并且仅出于说明性目的，图2A示出了根据本公开的示例实施例的执行沉浸式界面的自动生成的非限制性示例。例如，这样的示例可以用作处理多条不同的源内容中的每一条以生成要提供给计算设备用于呈现给用户的多条对应的沉浸式界面的一部分。

在(204)处，计算系统从一条或多条源内容中选择一个或多个内容片段用于生成目标内容。在示例中，沉浸式界面生成系统140从一条或多条源内容的每一条中选择一个或多个内容片段以用于生成沉浸式界面。例如，沉浸式界面生成系统140可以基于鉴于请求分析各种源内容，从一个或多个文档(诸如长形式文本文档)中的每一个中选择一个或多个单词、短语、句子、段落、部分和/或内容的任何其他子集。

在示例中，沉浸式界面生成系统140分析一条或多条源内容，并且从源文档中的一个或多个中的每个源文档中确定一个或多个部分用于生成沉浸式用户界面。例如，沉浸式界面生成系统140可以识别和选择单条(single piece)源内容(例如，许可的文章、许可或拥有的网络内容、和/或其他示例的准许使用的源内容)的多个不同部分，或者可以识别和选择来自多条不同片源内容中的每一条的一个或多个不同部分，用于生成沉浸式用户界面。在一些示例中，沉浸式界面生成系统140处理多条选择的源内容，其例如可以包括合并、概括、排序、重新排序和/或通过执行在用于生成沉浸式界面的准备中涉及多条选择的源内容的任何其他过程。在一些示例中，系统可以细化和/或重新创建文本以概括所述内容，而不是源文本中原来的(exact)句子。

在示例中，沉浸式界面生成系统140从一条或多条源内容的每一条中识别并获得与项目(例如，人、物体、动物、场景、位置、地标、活动和/或其他类型的信息类型)相关联的一条或多条不同的源内容。在一些示例中，沉浸式界面生成系统140可以将一条或多条选择的源内容中的每一条概括成关于一条源内容的要点的一个或多个短语或句子。在一些示例中，沉浸式界面生成系统140将一条或多条源内容中的每一条概括为一个、两个或三个或任何数量的短语和/或句子。在各种示例中，沉浸式界面生成系统140可以将多条不同的原始和/或概括的源内容分离和组织成被选择用于生成沉浸式界面的一系列逻辑上流动的(logically flowing)短语或句子。而且，在各种示例中，沉浸式界面生成系统140可以对这样的短语和/或句子中的任何一个或多个执行翻译，使得短语和/或句子以标准或通用语言表示。

在各种示例中，沉浸式界面生成系统140分析一条或多条选择的源内容的中的每一条，并且识别例如每个特定的选择的内容片段中的一个或多个实体、活动和/或关系，并向特定的内容片段中表示的实体、活动和/或关系的一个或多个中的每一个分配权重。例如，可以基于分析文本、音频、视觉和/或其他形式的选择的内容片段来确定人、物体、动物、场景、位置、地标、活动和/或其他类型的信息。在各种示例中，特定的内容片段中的一个或多个实体、活动和/或关系中的每一个可以例如基于组织、排序、位置、显著性、持续时间、关联、交互和/或从分析选择的内容片段确定(ascertain)的信息的任何其他方面中的一个或多个来加权。

作为示例，沉浸式界面生成系统140可以分析选择的内容片段，诸如“尼克和萨姆正在烹饪美食(Nick and Sam are cooking up a storm)”，然后沉浸式界面生成系统140可以基于分析示例的选择的内容片段来识别实体、活动和/或关系。沉浸式界面生成系统140还可以为在示例的选择的内容片段中识别的实体、活动和/或关系中的每一个分配权重。在一个示例中，为示例内容片段分配权重可以包括“Nick(尼克)”(0.6)、“Sam(萨姆)”(0.5)、“cooking(烹饪)”(0.4)和“storm(风暴)”(0.1)。在各种示例中，可以基于选择的内容片段中的信息的组织和顺序来分析、识别和加权选择的内容片段中的主题和相关联的权重。在各种示例中，还可以鉴于从知识图、知识库或例如提供关于实体、对象、事件、关系、情况等的信息的任何其他类型的系统或数据结构获得的相关联的信息，来分析、识别和加权选择的内容片段中的主题。在各种示例中，沉浸式界面生成系统140可以利用识别的主题和在选择的内容片段中找到的这种识别的主题的相关联的权重来自动识别对应的附加内容，以与这种选择的内容片段组合以生成沉浸式界面。

在(206)处，沉浸式界面生成系统140自动识别附加内容以便与每个相应内容片段一起包括在目标内容中。在示例中，沉浸式界面生成系统140处理一条或多条选择的源内容中的每一个，以识别、比较和选择一条或多条附加内容，以与每条相应的源内容组合在沉浸式界面中。例如，沉浸式界面生成系统140可以搜索、定位、获得、评分、排序、比较、评估和/或执行各种其他处理以识别对应的(例如，相关的、高度相关的和/或最相关的)附加内容，以与一条或多条源内容中的每一条一起包括在沉浸式界面中。

在示例中，沉浸式界面生成系统140识别一条选择的源内容中存在得或以其他方式与一条选择的源内容相关联的实体、活动、关系和/或其他概念。然后，沉浸式界面生成系统140可以提取一条或多条不同的选择的源内容的每一条中的一个或多个这样的识别的实体、活动、关系和/或其他概念中的每一个并将为其分配权重。在各种示例中，沉浸式界面生成系统140使用与识别的实体、活动、关系和/或其他概念相关联的信息，来查询、搜索、定位、获得、评分、排序、比较、评估和/或执行各种其他处理，以识别与每条特定的选择的源内容兼容、相关或以其他方式对应的附加内容。在各种示例中，沉浸式界面生成系统140访问来自任何授权和准许的位置的附加内容，例如，诸如数据存储装置116、136、150和/或其他地方，包括但不限于，互联网、内联网、内容储存库、内容管理系统、文档管理系统等。

在各种示例中，沉浸式界面生成系统140基于一个或多个许可管理软件应用和/或系统来确定要分析的附加内容。许可管理软件应用程序和系统通常是指允许用户或组织跟踪、管理和/或获得关于与各种类型的资产相关联的许可状态、许可协议、许可条款、许可规则和许可合规性的信息的任何工具，所述各种类型的资产(asset)包括但不限于内容、第三方内容、合作伙伴内容、公共域内容、任何其他类型的内容、软件应用程序、硬件、技术等。在一些示例中，许可管理软件应用和系统可以包括通知信息、属性信息和/或沉浸式界面生成系统140可以包括的任何其他类型的信息，例如，沉浸式界面中使用的附加内容。

在各种示例中，沉浸式界面生成系统140获得并分析一条或多条附加内容，以确定将与沉浸式界面中的特定一条选择的源内容匹配和组合的附加内容。例如，沉浸式界面生成系统140可以基于与在一条选择的源内容中识别的实体、活动、关系和/或其他概念相关联的权重，来获得任何形式或类型的附加内容，诸如图像、视频、音频和文本。然后，沉浸式界面生成系统140可以分析附加内容并且基于与在一条选择的源内容中识别的实体、活动、关系和/或其他概念相关联的权重来确定相关性评分。

在各种示例中，沉浸式界面生成系统140基于每条附加内容如何紧密地对应于选择的源内容或以其他方式匹配选择的源内容，来分析多条附加内容并评分，诸如图像、视频、音频和文本。例如，沉浸式界面生成系统140可以执行任何类型的视觉、音频或文本分析，以便对任一条附加内容进行评分。在一些示例中，沉浸式界面生成系统140使用图像分割、图像分类、对象检测、图像识别、对象识别和/或对视觉的附加内容(例如，图像、视频、具有视觉组件的多媒体内容等)的任何其他类型的分析来分析视觉内容。在一些示例中，沉浸式界面生成系统140分析音频内容以检测、辨识、解释、识别各种类型的声音、语音、噪声、交互和/或与音频相关联的任何其他方面的附加内容(例如，录音、声音剪辑、与诸如视频的多媒体相关联的声音等)。在一些示例中，沉浸式界面生成系统140例如使用文本处理、自然语言处理和/或任何其他类型的处理来分析文本，以识别与文本相关联的各个方面的附加内容。可以从包括文本、图像和视频的任何类型的内容中提取内容。例如，可以对一个或多个图像执行OCR，或者可以对图像执行人/对象识别。

在一个示例中，在一条选择的源内容是“尼克和萨姆正在烹饪美食(Nick and Samare cooking up a storm)”的情况下，沉浸式界面生成系统140可以基于识别的概念和选择的源内容的权重来搜索授权的附加内容。例如，沉浸式界面生成系统140可以使用基于自然语言处理、分析知识图和/或以一种或多种其他方式确定的概念和权重。例如，在本示例中，这样的概念和权重可以是“Nick(尼克)”(0.6)、“Sam(萨姆)”(0.5)、“cooking(烹饪)”(0.4)和“storm(风暴)”(0.1)。这样，沉浸式界面生成系统140可以基于这样的概念和权重来分析和排序各种附加内容。例如，附加内容(诸如具有尼克和萨姆的图像)可以比仅包括尼克或萨姆之一的附加内容评分更高。此外，包括厨房中的尼克和萨姆的内容可能比尼克和萨姆在户外行走的评分更高。此外，在厨房中尼克和萨姆烹饪的附加内容可以基于与选择的源内容最紧密的匹配而在所提及的示例中被评分和排序最高。

在示例中，沉浸式界面生成系统140为每条选择的源内容选择一条或多条附加内容。例如，沉浸式界面生成系统140可以基于与选择的源内容的属性相比对附加内容的属性进行评分、排序或以其他方式评估来选择一条或多条附加内容。在一些示例中，沉浸式界面生成系统140选择一条或多条附加视觉内容，诸如一个或多个照片、图像、视频片段等。沉浸式界面生成系统140还可以选择一条或多条附加音频内容和/或附加文本内容，以与选择的源内容进行组合以生成沉浸式界面。

在一些示例中，沉浸式界面生成系统140基于从源内容生成的文本到语音(TTS)音频来选择附加音频内容。例如，沉浸式界面生成系统140可以生成与特定语言、区域、方言、场所、流派、许可的字符、许可的语音、用户偏好等相关联的文本到语音内容或画外音。在各种示例中，附加音频内容不限于文本到语音，并且可以包括任何一种或多种各种类型的音频，包括但不限于背景音乐、声音剪辑、声音效果、实际语音叙述、文本到语音音频和/或其他类型的音频内容，可以在沉浸式用户界面中单独呈现和/或与选择的源内容一起呈现。

在(208)处，沉浸式界面生成系统140至少部分地基于将每个相应内容片段与对应的识别的附加内容进行组合来生成目标内容。在示例中，沉浸式界面生成系统140自动生成用于沉浸式用户界面的一条或多条目标内容。例如，沉浸式界面生成系统140可以从选择的内容片段和为选择的内容片段识别的对应附加内容自动组合、合并、混合、编辑、策展、布置、调整大小、重新调整大小和/或以其他方式生成用于沉浸式界面的一条新的目标内容。在一些示例中，一条生成的目标内容可以包括但不限于一个或多个定时或非定时显示幻灯片、多媒体幻灯片、多媒体剪辑和/或任何其他形式或类型的目标内容，可以被包括作为沉浸式用户界面的一部分。

在各种示例中，沉浸式界面生成系统140处理单一内容类型(例如，文本、音频或视觉内容中的一个)的选择的内容片段，并且自动生成包括两个、三个、四个和/或任何数量的附加内容类型(例如，文本、音频、视觉、增强现实、虚拟现实等)的沉浸式界面的目标内容。在一个示例中，沉浸式界面生成系统140可以通过编辑、布置和/或组合源内容的选择的片段与对应的附加视觉内容和对应的附加音频内容来从单一类型的源内容自动生成一条新的沉浸式目标内容，以生成包括用于沉浸式用户界面的至少三种类型的内容的目标内容。例如，包括诸如“尼克和萨姆正在烹饪美食(Nick and Sam are cooking up a storm)”的文本的选择的源内容可以与包括尼克和萨姆在厨房中一起烹饪的附加视觉内容自动组合成一条目标内容。另外，选择的源内容文本的自动生成的文本到语音和/或任何其他附加可听内容(例如，烹饪声音、尼克和萨姆谈论烹饪的声音等)也可以组合在一起以用于沉浸式界面。

在各种示例中，沉浸式界面生成系统140将多条生成的目标内容一起自动集成到沉浸式用户界面中。例如，两条或更多条自动生成的目标内容的集合可以一起集成到包括多个不同内容类型(文本、音频、视频等)的沉浸式用户界面中。在一些示例中，沉浸式界面生成系统140可以生成用于用户界面的一组沉浸式显示幻灯片、多媒体幻灯片或多媒体剪辑，诸如具有以配置或预定义的节奏紧密结合流动的自动的无缝的用户界面进展的(例如，没有用户交互)图块用户界面或交互式故事页面。这样，在一些示例中，沉浸式界面生成系统140可以将难以理解、导航并且需要重复滚动或其他用户交互(例如，在各种类型的移动设备上)的长形式文本的冗长段落(lengthy passages)自动变换为新的视听(audio-visual)和沉浸式形式，用于新的互联网用户和任何技能水平的其他用户。在一些示例中，沉浸式界面生成系统140还可以将视频内容(例如，原始的、冗长的等)自动变换成经由沉浸式内容呈现的概括。此外，沉浸式界面生成系统140可以用于将非视觉内容的大型现有语料库变换为沉浸式界面。

在(210)处，沉浸式界面生成系统140将生成的目标内容提供给计算设备用于呈现给用户。在示例中，沉浸式界面生成系统140将自动生成的沉浸式界面传输到一个或多个计算设备，用于呈现、显示、通信给一个或多个用户。在一些示例中，沉浸式界面生成系统140可以响应于搜索查询或任何其他类型的用户请求而向用户设备130提供一个或多个生成的沉浸式界面。生成的沉浸式界面可以以一种或多种形式提供，包括但不限于，作为基于图块的用户界面中的动画图块、作为馈送中的内容、作为社交媒体馈送中或社交媒体站点上的帖子、作为轮播用户界面或帖子、作为一组故事页面、和/或通常作为任何其他类型的用户界面的一部分或以用于呈现的各种其他形式。在一些示例中，沉浸式界面可以作为加速的移动页面和/或以混合各种音频、视频、图像、图形、动画和/或文本的网络故事格式提供，以便向用户提供动态的沉浸式体验。

图3描绘了根据本公开的示例实施例的用于响应于用户请求而执行沉浸式界面的自动生成的示例方法300的流程图。方法300和本文描述的其他过程被示出为规定了执行的操作的框的集合，但不一定限于所示出的用于执行相应框的操作的顺序或组合。因此，在不脱离本公开内容的范围的情况下，可以以各种方式省略、重新排列、组合和/或调整方法300的各个部分中的一个或多个。

方法300的一个或多个部分以及本文描述的其他过程可以由一个或多个计算设备实现，诸如例如，计算环境的一个或多个计算设备，例如，如图1的示例计算环境100所示(例如，服务器机器110、搜索服务器机器120、用户设备130等中的一个或多个)。虽然可以对特定计算环境进行以下讨论的部分，但是这样的参考仅作为示例。所述操作不限于由在一个设备上或在任何特定计算环境中操作的一个实体或多个实体执行。这样，这些过程的任何一个或多个部分可以被实现为本文描述的设备的硬件组件上的操作。

在(302)处，计算系统从计算设备接收请求。在示例中，沉浸式界面生成系统140接收与搜索查询相关联的请求或任何其他类型的信息请求。在一些示例中，可以基于对超链接的选择或用户界面事件来接收请求。例如，用户可以提交对关于一个或多个可选择的主题、类别、频道、兴趣或经由用户界面呈现的其他可选择的信息(例如，一个或多个体育类别、食物类型、食谱、健康主题、营养主题、美容主题、音乐、娱乐、新闻等)的信息的请求。

在一个示例中，沉浸式界面生成系统140分析请求并基于该请求确定要分析的一个或多个内容源。在一些示例中，沉浸式界面生成系统140分析可用的内容源，并确定一个或多个先前生成的沉浸式界面对应于请求。在一些示例中，沉浸式界面生成系统140可以响应于请求而返回关于现有沉浸式界面的信息，例如，其中已经为新事件、主题、搜索、事件等预先生成了一个或多个沉浸式界面。例如，搜索服务器机器120的沉浸式界面生成系统140可以基于与互联网或其他类型的搜索引擎相关联的趋势(trending)主题(例如，前1、5、10、n)来生成沉浸式界面。这样，然后可以响应于相关搜索查询或用户对这样的主题的选择而返回一个或多个预先生成的沉浸式界面。

在各种示例中，沉浸式界面生成系统140分析与请求相关联的信息以确定要分析的源内容。例如，沉浸式界面生成系统140可以对请求执行一种或多种类型的处理，包括但不限于自然语言处理。在一些示例中，沉浸式界面生成系统140与搜索服务器机器120和/或搜索索引122相关联地使用，以基于请求识别要分析的相关源内容和/或附加内容。在一些示例中，沉浸式界面生成系统140可以分析与请求相关联的信息，以确定数据存储装置116、136、150、内容储存库、文档管理系统、伙伴系统、集合、片段和/或其他中的一个或多个位置，以识别和获得与请求相关联的源内容。在一些示例中，沉浸式界面生成系统140从一个或多个许可管理软件应用和/或系统获得信息并分析，至少部分地，以识别和获得关于请求的源内容。

在(304)处，计算系统鉴于请求分析一条或多条源内容。在示例中，沉浸式界面生成系统140基于请求来定位、获得和分析一条或多条源内容。在各种示例中，沉浸式界面生成系统140定位和分析提供与请求相关联的主题相关的知识和事实的一条或多条源内容。

在各种示例中，一条或多条源内容可以是众包(crowdsourced)内容(例如，一个或多个文章或任何语言的其他类型的众包内容)。源内容的其他示例可以包括但不限于从任何准许的源(例如，由用户或组织创建和/或以其他方式拥有、从合作内容提供商或发布商、从许可方、从政府机构、从公共领域等)获得的任何形式(例如，文件、馈送、表单、流等)的源内容。

在各种示例中，计算系统的沉浸式界面生成系统140分析源内容和/或相关联的元数据，以识别包括与请求相关联的一个或多个项目相关的事实信息或其他数据的一条或多条源内容。例如，沉浸式界面生成系统140可以识别与特定话题、主题、人、类别、活动、文章、食谱、新闻事件、体育事件等相关联的相关源内容。另外，沉浸式界面生成系统140还可分析与请求相关联的一条或多条识别的源内容，以从这样的源内容中识别特定片段以用于生成沉浸式界面。在一些示例中，沉浸式界面生成系统140将一条或多条源内容中的每一条翻译成标准或通用语言。

在(306)处，计算系统从一条或多条源内容中的每一条源内容提取至少一个内容片段，用于生成沉浸式界面。在示例中，沉浸式界面生成系统140分析包括与请求相关联的事实信息和/或数据的一条或多条识别的源内容中的每一条。在各种示例中，沉浸式界面生成系统140分析源内容以识别用于生成沉浸式界面的一条或多条源内容中的每一条的一个或多个特定部分。

在各种示例中，沉浸式界面生成系统140从一条或多条源内容中的每一条提取一个或多个内容片段，用于生成沉浸式界面的内容。例如，沉浸式界面生成系统140可以基于分析一条或多条源内容，从一个或多个文档(诸如长形式文本文档)中的每一个提取一个或多个单词、短语、句子、段落、小节和/或内容的任何其他子集。在示例中，沉浸式界面生成系统140生成提取的内容片段的概括，用于生成沉浸式界面。在一些示例中，沉浸式界面生成系统140使用一种或多种形式的自然语言处理来单独地和/或共同地分析各种源内容，并提取选择的内容片段的概括。例如，沉浸式界面生成系统140可以执行各种类型的处理，以组织、排序、重新排序、合并和/或以其他方式从与生成沉浸式界面相关联的内容片段的集合生成逻辑和紧密结合的概括(cohesive summary)。在一个示例中，沉浸式界面生成系统140自动分析一条或多条源内容，每条源内容片段包括长形式文本(例如，1、10、100、1000、10000、100000或任何数量页面的文本)，基于源内容的长形式文本提取内容片段，并且从选择的内容片段(例如，4、8、12个句子或短语)生成简要概括，用于创建沉浸式界面。

在各种示例中，沉浸式界面生成系统140分析经概括的源内容的一个或多个句子、短语或其他片段中的每一个，以识别一条概括的源内容中的一个或多个实体、活动和/或关系中的每一个并为其分配权重。例如，可以基于分析文本、音频、视觉和/或其他形式的概括的源内容，在概括的源内容中识别人、对象、动物、场景、位置、地标、活动和/或其他类型的信息。

在示例中，可以例如基于组织、排序、位置、显著性、持续时间、关联、交互中的一个或多个和/或基于分析一条特定的概括的源内容而确定的信息的任何其他属性或方面，对一条特定的概括的源内容中的一个或多个实体、活动和/或关系中的每一个进行加权。在一些示例中，可以基于与知识图、知识库或提供描述与实体、对象、事件、关系、情况等相关联的各种属性的信息的任何其他类型的系统或数据结构相关联的信息，来识别、提取和/或加权实体、活动和/或关系。在各种示例中，沉浸式界面生成系统140利用从源内容中识别和加权的实体、活动和/或关系，来识别附加内容以与沉浸式界面中的源内容匹配。

在(308)处，计算系统获得与一个或多个相应内容片段中的每一个相对应的附加内容。在示例中，沉浸式界面生成系统140基于在源内容(例如，原始、修改和/或概括的源内容)中发现的识别和加权的实体、活动和/或关系来自动识别和获得附加内容，以与相应内容片段中的每一个一起包括在目标内容中。例如，沉浸式界面生成系统140可以对可用的并且被授权用于识别一条或多条附加内容的附加内容进行搜索、定位、获得、分析、评分、排序、比较、评估和/或执行各种其他处理，以便与多条特定的源内容一起包括在沉浸式界面中。

在各种示例中，沉浸式界面生成系统140基于可从一个或多个许可管理、软件应用和/或系统获得的信息来识别被授权并可用于分析的附加内容的一个或多个集合。例如，许可管理软件应用或系统可以提供指示由生成沉浸式界面的用户或其他方拥有的附加内容、可从合作组织和发布者获得的附加内容、从一个或多个其他方许可的附加内容、可从公共域获得的附加内容和/或授权准许使用的附加许可内容的任何其他源的信息。

在各种示例中，沉浸式界面生成系统140获得并分析一条或多条附加内容，以确定将与沉浸式界面中的一条特定的选择的源内容匹配和组合的附加内容。例如，沉浸式界面生成系统140可以基于源内容中识别的实体、活动、关系和/或其他概念以及他们的相关联的加权来执行一个或多个查询，以基于多条附加内容中的每一条如何紧密地与选择的源内容相关来识别、分析、评分和/或排序一条或多条附加内容，诸如图像、视频、音频和文本。

沉浸式界面生成系统140可以执行任何类型的视觉、音频或文本分析以评估、评分和/或排序任一条附加内容。在一些示例中，沉浸式界面生成系统140使用图像分割、图像分类、对象检测、图像识别、对象识别和/或对视觉的附加内容(例如，图像、视频、具有视觉组件的多媒体内容等)的任何其他类型的分析来分析视觉内容。在一些示例中，沉浸式界面生成系统140分析音频内容以检测、识别、解释、标识各种类型的声音、语音、噪声、交互和/或与音频相关联的任何其他方面的附加内容(例如，录音、声音剪辑、与多媒体相关联的声音，诸如视频等)。在一些示例中，沉浸式界面生成系统140例如使用文本处理、自然语言处理和/或任何其他类型的处理来分析文本，以识别与文本相关联的各个方面的附加内容。

在示例中，沉浸式界面生成系统140基于与各条源内容的属性相比对附加内容的属性进行评分、排序或以其他方式评估来选择一条或多条附加内容，用于与源内容片段一起包括在沉浸式界面中。在一些示例中，沉浸式界面生成系统140选择一条或多条附加视觉内容，诸如一个或多个图像、一个或多个视频片段或剪辑，用于与一条特定文本源内容包括在一起。沉浸式界面生成系统140还可以选择一条或多条附加音频内容和/或附加文本内容用于与一条特定的源内容包括在一起。

在(310)处，计算系统生成相应内容片段的音频。在示例中，沉浸式界面生成系统140生成用于在沉浸式界面中使用的一条或多条源内容和/或一条或多条附加内容的音频。例如，沉浸式界面生成系统140可以为一条源内容和/或一条附加内容中的每个句子或短语生成音频。在一些示例中，沉浸式界面生成系统140包括和/或添加标记语言到文本和/或与文本相关联的元数据。例如，计算系统的沉浸式界面生成系统140可以添加语音合成标记语言(SSML)或任何其他类型的标记，包括但不限于，嵌入式语音命令、文本到语音(TTS)标记或支持基于文本的音频的生成和播放的任何类型的类似信息。在一些示例中，沉浸式界面生成系统140包括时间戳信息，用于当在沉浸式界面中播放对应的文本到语音音频时，支持文本的同步呈现或文本的同步突出显示(highlighting)。

在(312)处，计算系统确定用于生成沉浸式界面的模板。在示例中，沉浸式界面生成系统140确定并选择沉浸式界面模板以用于生成一个或多个沉浸式界面。例如，沉浸式界面生成系统140可以从可供使用的多个不同沉浸式界面模板中确定和选择沉浸式界面模板。在一些示例中，沉浸式界面生成系统140可以基于与请求相关联的信息、一个或多个用户偏好、用户选择、与源内容相关联的信息或属性、从源内容和/或附加内容确定的一个或多个内容类别(例如，新闻、文章、健康、政府、工作、教育、体育、艺术、娱乐、烹饪等)等中的一个或多个，来确定和选择要自动使用的一个或多个沉浸式界面模板。在一些示例中，沉浸式界面生成系统140可以自动地、默认地或基于用户输入来确定和选择沉浸式界面模板。

在示例中，沉浸式界面生成系统140可以从与类别相关联和/或用于特定用途的多个沉浸式界面模板中确定和选择沉浸式界面模板。沉浸式界面模板通常可以提供对生成组合各种形式的文本、视觉和音频内容的沉浸式界面的支持。沉浸式界面模板还可以提供对在增强现实和虚拟现实界面中组合各种形式的内容的支持。通常，沉浸式界面模板通常可以提供与沉浸式界面相关联的一个或多个风格属性的集合，其可以包括原始内容中存在的属性和/或作为自动编辑过程的一部分应用的风格属性。在各种示例中，沉浸式界面可以基于风格属性为一定类型的内容提供预定或标准化格式，该风格属性通常可以包括但不限于布局、格式、长度、呈现、成帧、定位、尺寸、比率、角度、运动、聚焦、缩放、动画、转换、定时、自动导航、用户界面控件、视频速率、颜色、照明、音频速率、背景图像、属性、通知、文本和/或与各种类型的沉浸式界面相关联的任何其他属性。

在(314)处，计算系统基于选择的内容片段、对应于相应内容片段的识别的附加内容以及生成的音频来自动生成沉浸式界面。在示例中，沉浸式界面生成系统140基于鉴于沉浸式界面模板自动编辑、混合、组合、调整大小、调整大小和/或布置每个选择的内容片段和对应的附加内容(例如，一条或多条附加视觉、音频和/或文本内容)来从多个不同的源内容片段自动生成沉浸式界面，以生成用于包括在沉浸式界面中的每条新的目标内容。在一些示例中，沉浸式界面生成系统140还在生成每条新的目标内容以包括在沉浸式界面中时，将所生成的音频(诸如文本到语音叙述(narration))与一个或多个选择的内容片段和对应的附加内容中的每一个进行组合。

在示例中，沉浸式界面生成系统140基于与沉浸式界面模板相关联的属性和信息来自动生成沉浸式界面的一条或多条新的目标内容中的每一条。例如，沉浸式界面模板可以包括关于用于执行沉浸式界面的自动生成的细节的信息。这样的细节可以包括但不限于默认和/或特定的背景颜色、元素的分层、布局、不同类型的内容的放置、纵横比、启动页面、默认消息、默认图形、徽标、品牌、视觉内容放置和大小调整、视觉内容的分辨率和质量、跨沉浸式界面分段的格式化、大小调整、自动推进、一个或多个各种风格属性的各方面、语言、本地化等。

在示例中，沉浸式界面生成系统140基于选择的内容片段以及其对应的附加内容来自动生成用于沉浸式界面的一条新的目标内容。例如，沉浸式界面生成系统140可以分析相关联的视觉内容并自动确定和提取视觉内容的一个或多个相关部分。沉浸式界面生成系统140还可确定文本内容的放置以便与提取的视觉内容进行组合。另外，沉浸式界面生成系统140可以确定并应用一条新的内容的动画、图形、音频、定时和/或其他信息。在各种示例中，沉浸式界面生成系统140可以执行一个或多个其他操作以将选择的内容片段的一个或多个部分与附加内容、动画、效果、生成的音频和/或其他内容的一个或多个部分混合、组合或以其他方式整合，以自动创建用于沉浸式界面的一条新的目标内容。

在示例中，沉浸式界面生成系统140通过将从选择的源内容、附加内容和/或其他源自动生成的不同条目标内容集成到单个沉浸式用户界面中来自动生成沉浸式界面，诸如显示幻灯片、多媒体幻灯片、多媒体剪辑和/或以其他形式或布置的集合作为新的内容。在一些示例中，沉浸式用户界面可以包括动画、定时或自动进展、过渡等中的任何一个或多个。在各种示例中，沉浸式界面生成系统140可以生成用于用户界面(诸如图块用户(例如，滑动图块)界面或交互式故事页面)的一组沉浸式显示幻灯片、多媒体幻灯片或多媒体剪辑。在一些示例中，沉浸式界面生成系统140生成被提供给用户设备的沉浸式界面，从而允许任何用户经由沉浸来查看和理解正在呈现的信息，而不管技能水平或体验如何。

在(316)处，计算系统将所生成的沉浸式界面提供给一个或多个设备。在示例中，沉浸式界面生成系统140将生成的目标内容提供给一个或多个计算设备，用于向一个或多个用户呈现、显示和/或通信。在一些示例中，沉浸式界面生成系统140可以向搜索服务器机器120提供一个或多个沉浸式界面以用于索引和排序。例如，搜索服务器机器可以响应于搜索查询或其他请求而分析、索引、排序、发布和/或向一个或多个计算设备提供一个或多个生成的沉浸式界面。沉浸式界面生成系统140可以例如响应于请求或在接收到请求之前自动生成一个或多个沉浸式界面。在一些示例中，沉浸式界面生成系统140可以基于与用户请求相关联的信息来更新一个或多个生成的沉浸式界面。例如，沉浸式界面生成系统140可以基于包括但不限于用户的偏好、检测与用户或请求相关联的语言、从与请求相关联的设备接收位置信息的信息、和/或允许沉浸式界面生成系统140基于可用的信息为特定用户或用户组自动变换和定制(tailor)新的和/或现有沉浸式界面的任何其他信息来转换、变换、更新和/或以其他方式修改一个或多个现有沉浸式界面。

在各种示例中，沉浸式界面生成系统140可以以一种或多种形式提供沉浸式界面，包括但不限于，作为基于图块的用户界面中的动画图块、作为馈送中的内容、作为社交媒体上的帖子、作为轮播用户界面或帖子、作为一组故事页面、和/或通常作为任何其他类型的用户界面的一部分或者以用于通信给用户的任何其他形式。在一些示例中，沉浸式界面可以被提供为加速的移动页面和/或以混合各种音频、视频、图像、图形、动画和/或文本的网络故事格式。在一些示例中，用户和内容发布者可以将生成的沉浸式界面存储在数据存储装置150(例如，云存储装置)中，并且经由社交媒体站点、内容共享站点、新闻站点和/或经由其他各种类型的计算系统、服务和网络来共享、发布、发布或以其他方式通信生成的沉浸式界面。

图4描绘了根据本公开的示例实施例的示例图示400，其包括从示例的一条长形式文本源内容生成的两个示例沉浸式界面。示例图示400包括在移动设备上显示的示例的一条长形式文本源内容402、基于长形式文本源内容402以一种语言自动生成的沉浸式界面404的示例部分、以及基于长形式文本源内容402以另一种语言生成的第二沉浸式界面406的示例部分。

在示例中，沉浸式界面生成系统140接收生成一个或多个沉浸式界面的请求。例如，该请求可以包括关于长形式文本源内容402和/或其他条源内容的信息。该请求还可以是关于疟疾的搜索查询或来自内容提供商或其他用户的用于生成关于疟疾的沉浸式内容的命令。在示例中，沉浸式界面生成系统140可以定位并利用长形式文本源内容402来生成与疟疾相关联的一个或多个沉浸式界面。在一个示例中，沉浸式界面生成系统140从英语的长形式文本源内容402(例如，包括沉浸式界面404的示例部分)自动生成用于疟疾的沉浸式界面。在一个示例中，沉浸式界面生成系统140从印地语的长形式文本源内容402自动生成用于疟疾的沉浸式界面(例如，包括第二沉浸式界面406的示例部分)。

在示例中，沉浸式界面生成系统140基于长形式文本源内容402以一种语言(例如，英语)和/或针对特定地理位置(例如，美国)或地点(例如，佛罗里达)自动生成沉浸式界面。在另一示例中，沉浸式界面生成系统140基于长形式文本源内容402以不同语言(例如，印地语)和/或针对不同地理位置(例如，印度)或地点(例如，新德里)自动生成沉浸式界面。例如，可以基于与请求相关联的位置信息、用户偏好、与用户账户相关联的信息等来生成不同版本的沉浸式界面。

在示例中，沉浸式界面生成系统140基于现有沉浸式界面生成新的沉浸式界面。在一个示例中，沉浸式界面生成系统140可以基于英语的现有沉浸式界面自动生成印地语的沉浸式界面。例如，沉浸式界面生成系统140可以基于与请求相关联的用户的位置信息或偏好，将现有沉浸式界面的语言自动地翻译成用于新的沉浸式界面的不同语言。附加地或替代地，系统可以使用区域特定的概括引擎再次对内容进行概括。这允许系统降低由翻译引入的文本复杂度(例如，句子结构、词汇、术语)。沉浸式界面生成系统140还可以利用与特定国家或地区相关联的不同沉浸式界面模板来生成新的沉浸式界面。另外，沉浸式界面生成系统140还可以在生成新的沉浸式界面时，识别和利用与用户熟悉和可理解的特定国家或地点相关联的新的附加内容(例如，国家或地区特定的视觉内容、音频内容、文本到语音、叙述等)。作为示例，系统可以使用区域特定内容，诸如与特定区域相关联的图像或视频。作为具体示例，系统可以将来自内布拉斯加的农民的图像用于美国的用户，并且将来自泰国的农民的图像用于泰国的用户。

图5描绘了根据本公开的示例实施例的用于处理生成沉浸式界面的请求的示例方法500的流程图。方法500和本文描述的其他过程被示出为规定了执行的操作的框的集合，但不一定限于所示出的用于执行相应的框的操作的顺序或组合。因此，在不脱离本公开内容的范围的情况下，可以以各种方式省略、重新排列、组合和/或调整方法500的各个部分中的一个或多个。

方法500的一个或多个部分以及本文描述的其他过程可以由一个或多个计算设备实现，诸如例如，计算环境的一个或多个计算设备，例如，如图1的示例计算环境100所示(例如，服务器机器110、搜索服务器机器120、用户设备130等中的一个或多个)。虽然可以对特定计算环境进行以下讨论的部分，但是这样的参考仅作为示例。所述操作不限于由在一个设备上或在任何特定计算环境中操作的一个实体或多个实体执行。这样，这些过程的任何一个或多个部分可以被实现为本文描述的设备的硬件组件上的操作。

在(502)处，计算系统接收生成沉浸式界面的请求。在一些示例中，计算系统可以包括向用户设备(例如，图1中的用户设备130)的用户提供内容的内容平台。在示例中，沉浸式界面生成系统140接收生成一个或多个沉浸式界面的请求。例如，可以从内容所有者、内容发布者、组织、个人用户和/或寻求基于任何现有的授权的内容生成沉浸式界面的任何其他类型的实体接收请求。在示例中，可以与提供社交媒体、内容共享、图像或照片共享、视频共享、内容发布、内容编辑和/或任何其他类型的服务的任何类型的软件应用、站点或系统相关联地接收请求。

在各种示例中，沉浸式界面生成系统140允许任何数量的用户或实体(1、10、数百、数千、数百万等)使用他们自己的内容和/或由一个或多个其他方准许的其他授权的内容来生成沉浸式界面。作为示例，对沉浸式界面生成系统140服务的访问可以经由计算设备、应用(例如，应用132)、用户界面(例如，用户界面134)、网站、计算系统、应用编程接口(API)、网络服务等直接或间接地提供给用户。在一些示例中，请求可以包括指示一个或多个沉浸式界面模板的信息和/或关于用于生成沉浸式界面的一条或多条源内容的信息。

在一些示例中，系统使得用户能够查看、批准、编辑、发布或下载由系统生成的沉浸式界面。沉浸式界面可以由用户、发布者本地托管和/或由沉浸式界面生成系统远程托管。在另一示例中，搜索服务器机器120可以在搜索控制台(Search Console)中暴露沉浸式界面生成系统能力。以类似于视频或图像搜索体验的方式，可以基于用户的现有内容在新的内容可用时通知用户。在查看内容之后，他们可以编辑、发布、下载或甚至批准内容以用于其他目的(例如，在搜索结果或其他屏幕/应用中显示它)。

在(504)处，计算系统提供一个或多个沉浸式界面模板以供选择。在示例中，沉浸式界面生成系统140提供可以被选择用于生成沉浸式内容的一个或多个沉浸式界面模板。例如，可以向用户呈现一个或多个沉浸式界面模板，以选择使用他们自己的内容和/或其他授权的内容来生成沉浸式界面。沉浸式界面模板可以分组在一起以呈现给用户，例如，基于主题、频道、影响者、创建者和/或类别，诸如新闻、文章、健康、政府、工作、教育、体育、艺术、娱乐、烹饪、旅行、体育、锻炼等。

在示例中，可以默认选择至少一个沉浸式界面模板。在一些示例中，沉浸式界面生成系统140接收对沉浸式界面模板的选择，并使用所选择的模板来生成沉浸式界面。沉浸式界面生成系统140还可以使用一个或多个默认沉浸式界面模板来生成对应的沉浸式界面。在一些示例中，沉浸式界面生成系统140接收对多个沉浸式界面模板的选择，并且基于公共源内容使用每个沉浸式界面模板生成不同的沉浸式界面，例如，以允许用户比较、选择、发布、共享和/或丢弃所生成的沉浸式界面中的一个或多个。

在(506)处，计算系统接收用于生成沉浸式界面的用户内容。在示例中，沉浸式界面生成系统140从用户接收关于用于生成一个或多个沉浸式界面的一条或多条源内容的信息。例如，用户可以提供一条或多条文本、图像、照片、音频和/或视频源内容。在一些示例中，源内容可以是与用户账户相关联或共享的用户生成的内容。在一些示例中，用户可以指定一条或多条特定的源内容。用户还可以提供包括源内容的一个或多个集合的位置。在示例中，用户从与照片共享服务、视频共享服务、存储服务、社交媒体和/或一个或多个其他服务相关联的账户提供关于源内容和/或源内容本身的信息，沉浸式界面生成系统140可以访问和利用这些信息来从源内容自动生成沉浸式界面。在一个示例中，源内容可以包括但不限于用户生成或用户提供的文档、文本、写作、社交媒体帖子、图像、图片、照片、视频、录音等。

在(508)处，计算系统基于选择的沉浸式界面模板从用户内容自动生成沉浸式界面。在示例中，沉浸式界面生成系统140分析源内容，从每条源内容中选择一个或多个内容片段，概括所选择的内容片段，将概括的选择的内容划分成多条，识别和分配相应的权重给每条概括的内容中存在的一个或多个对象、活动和/或关系中的每一个，识别和评分与每条概括的内容相关的附加内容，以与相应的内容片段一起包括在沉浸式用户界面中，基于评分或与评分相关联的排序来确定要与每条概括的内容组合的一条或多条附加内容，为与一条或多条概括的内容和/或对应的附加内容相关联的文本生成文本到语音，通过将每条概括的内容与对应的附加内容和生成的文本到语音组合来为沉浸式界面生成一条目标内容，并基于将生成的目标内容集成到沉浸式界面中来创建沉浸式界面。

在(510)处，计算系统准备自动生成的沉浸式界面用于发布。在示例中，沉浸式界面生成系统140允许用户预览、选择、批准、存储、更新、重新生成、丢弃和/或执行与自动生成的沉浸式界面相关联的一个或多个其他动作。在一些示例中，沉浸式界面生成系统140允许用户选择多个自动生成的沉浸式界面中的一个或多个，以用于存储和/或发布。在一些示例中，沉浸式界面生成系统140向搜索服务器机器120提供自动生成的沉浸式界面以用于分析、索引和/或排序。在一些示例中，沉浸式界面生成系统140还可以例如响应于来自用户设备130的请求而向服务器机器110提供沉浸式界面生成系统140以用于发布和/或分发。

在(512)处，计算系统将自动生成的沉浸式界面提供给一个或多个计算设备。在示例中，沉浸式界面生成系统140将自动生成的沉浸式界面输出或以其他方式传输到一个或多个计算设备(例如，服务器机器110、搜索服务器机器120、用户设备130和/或任何其他类型的计算设备)以用于呈现、显示、通信或任何其他类型的递送给一个或多个用户。在一些 示例中，沉浸式界面可以使用传统的内容托管技术托管在一个或多个服务器上。也可以使 沉浸式界面在本地且可共享，而不涉及服务器。

示例设备和系统

图6示出了计算机系统600形式的示例机器的图示，其中可以执行用于使机器执行本文讨论的任何一个或多个操作的一组指令。在其他示例中，机器可以连接(例如，联网)到LAN、内联网、外联网或互联网中的其他机器。机器可以在客户端-服务器网络环境中以服务器或客户端机器的能力操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、可穿戴计算设备、网络设备、服务器、网络路由器、交换机或桥接器、或能够执行指定该机器要采取的动作的一组指令(顺序或以其他方式)的任何机器。此外，虽然仅示出了单个机器，但是术语“机器”还应被视为包括单独或联合执行一组(或多组)指令以执行本文讨论的任何一个或多个操作的机器的任何集合。

计算机系统600包括至少一个处理设备(例如，处理器602)、主存储器604(例如，只读存储器(ROM)、闪存、动态随机存取存储器(DRAM)(诸如同步DRAM(SDRAM)、双倍数据速率(DDR SDRAM)或DRAM(RDRAM)等))、静态存储器606(例如，闪存、静态随机存取存储器(SRAM)等)以及数据存储设备618，它们经由总线630彼此通信。

处理器602表示一个或多个通用处理设备，诸如微处理器、中央处理单元等。更具体地，处理器602可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实现其他指令集的处理器或实现指令集组合的处理器。处理器602还可以是一个或多个专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等。处理器602被配置为执行用于执行本文讨论的操作的指令622。

计算机系统600还可以包括网络接口设备608。计算机系统600还可以包括视频显示单元610(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入设备612(例如，键盘)、光标控制设备614(例如，鼠标)和信号生成设备616(例如，扬声器)。

数据存储设备618可以包括计算机可读存储介质628，其上存储有体现本文描述的任何一个或多个示例的一组或多组指令622(例如，软件计算机指令)。指令622还可以在由计算机系统600执行期间完全或至少部分地驻留在主存储器604内和/或处理器602内，主存储器604和处理器602也构成计算机可读存储介质。指令622可以经由网络接口设备608通过网络620发送或接收。

在一个示例中，指令622包括用于自动沉浸式界面生成系统(例如，图1的沉浸式界面生成系统140)的一个或多个模块和/或包含调用沉浸式界面生成系统140的方法的软件库(library)的指令。虽然计算机可读存储介质628(机器可读存储介质)作为示例被示出为单一介质，但是术语“计算机可读存储介质”应当被视为包括存储一组或多组指令的单一介质或多个介质(例如，集中式或分布式数据库、和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还可以包括能够存储、编码或携带一组指令以供机器执行并且使机器执行本公开的任何一个或多个操作的任何介质。因此，术语“计算机可读存储介质”应当被视为包括但不限于固态存储器、光学介质和磁介质。

在前面的描述中阐述了许多细节。然而，对于受益于本公开的本领域普通技术人员将清楚的是，可以在没有这些具体细节的情况下实践本公开。在一些实例中，以框图形式而不是详细地示出公知的结构和设备，以避免模糊本公开。

已经根据对计算机存储器内的数据位的操作的过程和符号表示呈现了详细描述的一些部分。这里，过程通常被认为是导致期望结果的自相一致的(self-consistent)步骤序列。这些步骤是需要对物理量进行物理操纵的步骤。通常，尽管不一定，这些量采取能够被存储、传送、组合、比较和以其他方式操纵的电信号或磁信号的形式。已经证明，出于通用的原因，有时将这些信号称为比特、值、元素、符号、字符、术语、数字等是方便的。

然而，应当记住，所有这些和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非从以下讨论中清楚地另外特别说明，否则应当理解，在整个说明书中，利用诸如“分析”、“确定”、“识别”、“调整”、“发送”、“接收”、“处理”等术语的讨论是指计算机系统或类似的电子计算设备的动作和过程，该计算机系统或类似的电子计算设备将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据操纵和转换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。

本公开的某些示例还涉及用于执行本文的操作的装置。该装置可以被构造用于预期目的，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的计算机。这样的计算机程序可以存储在计算机可读存储介质中，诸如但不限于任何类型的盘(包括软盘、光盘、CD-ROM和磁光盘)、只读存储器(ROM)随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、或适用于存储电子指令的任何类型的介质。

应当理解，以上描述旨在是说明性的而非限制性的。在阅读和理解以上描述后，许多其他示例对于本领域技术人员将是清楚的。因此，本公开的范围应当参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定。

附加公开内容

本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统，以及所采取的动作和发送到这些系统和从这些系统发送的信息。基于计算机的系统的固有灵活性允许组件之间和之中的任务和功能的各种可能的配置、组合和划分。例如，本文讨论的过程可以使用单个设备或组件或组合工作的多个设备或组件来实现。数据库和应用可以在单个系统上实现或者跨多个系统分布。分布式组件可以顺序地或并行地操作。

虽然已经关于本主题的各种具体示例实施例详细描述了本主题，但是每个示例是通过解释而不是限制本公开的方式提供的。在获得对前述内容的理解后，本领域技术人员可以容易地产生对这些实施例的改变、变化和等同物。因此，本主题公开不排除包括对本主题的这样的修改、变化和/或添加，这对于本领域普通技术人员来说是清楚的。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，本公开旨在覆盖这样的改变、变化和等同物。

Claims (20)

1.一种计算机实现的方法，包括：

由一个或多个处理器分析包括文本内容的基于网络的资源；

由一个或多个处理器从基于网络的资源中提取多个文本内容片段；

由一个或多个处理器针对多个文本内容片段中的每个文本内容片段，获得与每个相应文本内容片段相关的视觉内容和音频内容；

由一个或多个处理器生成用于基于网络的资源的视听显示的目标内容，其中，生成所述目标内容包括将来自多个文本内容片段中的每个相应文本内容片段的至少一部分与关于相应文本内容片段的视觉内容和音频内容进行组合；以及

由一个或多个处理器将描述生成的目标内容的数据提供给计算设备，用于呈现基于网络的资源的视听显示。

2.根据权利要求1所述的计算机实现的方法，还包括：

由一个或多个处理器至少部分地基于与请求相关联的信息来获得基于网络的资源。

3.根据权利要求2所述的计算机实现的方法，其中，所述请求是从计算设备接收的搜索查询。

4.根据权利要求3所述的计算机实现的方法，其中，所述描述生成的目标内容的数据是响应于搜索查询而提供的。

5.根据权利要求1所述的计算机实现的方法，还包括：

由一个或多个处理器确定用于生成用于基于网络的资源的视听显示的目标内容的模板，以及

其中，所述生成用于基于网络的资源的视听显示的目标内容至少部分地基于所确定的模板。

6.根据权利要求1所述的计算机实现的方法，还包括：

由一个或多个处理器基于将文本内容片段中的一个或多个文本内容片段转换为语音来生成音频内容。

7.根据权利要求1所述的计算机实现的方法，还包括：

由一个或多个处理器分析来自基于网络的资源中的文本内容片段中的每个文本内容片段；以及

由一个或多个处理器针对多个文本内容片段中的每个文本内容片段，确定分别在每个文本内容片段中识别的一个或多个项目的权重。

8.一种计算系统，包括：

非暂时性计算机可读介质；以及

一个或多个处理器，通信地耦合到非暂时性计算机可读介质，其中，所述一个或多个处理器执行来自所述非暂时性计算机可读介质的指令，所述指令使得所述计算系统：

分析包括文本内容的基于网络的资源；

从基于网络的资源中提取多个文本内容片段；

针对多个文本内容片段中的每个文本内容片段，获得与每个相应文本内容片段相关的视觉内容和音频内容；

生成用于基于网络的资源的视听显示的目标内容，其中，生成所述目标内容包括将来自多个文本内容片段中的每个相应文本内容片段的至少一部分与关于相应文本内容片段的视觉内容和音频内容进行组合；以及

将描述生成的目标内容的数据提供给计算设备，用于呈现基于网络的资源的所述视听显示。

9.根据权利要求8所述的计算系统，其中，所述计算系统还用于：

由一个或多个处理器至少部分地基于与请求相关联的信息来获得基于网络的资源。

10.根据权利要求9所述的计算系统，其中，所述请求是从计算设备接收的搜索查询。

11.根据权利要求10所述的计算机实现的方法，其中，所述描述生成的目标内容的数据是响应于搜索查询而提供的。

12.根据权利要求8所述的计算系统，其中，所述计算系统还用于：

确定用于生成用于基于网络的资源的视听显示的目标内容的模板，以及

其中，所述生成用于基于网络的资源的视听显示的目标内容至少部分地基于所确定的模板。

13.根据权利要求8所述的计算系统，其中，所述计算系统还用于：

基于将文本内容片段中的一个或多个文本内容片段转换为语音来生成音频内容。

14.根据权利要求8所述的计算系统，其中，所述计算系统还用于：

分析来自基于网络的资源中的文本内容片段中的每个文本内容片段；以及

针对多个文本内容片段中的每个文本内容片段，确定分别在每个文本内容片段中识别的一个或多个项目的权重。

15.一种具有指令的非暂时性计算机可读介质，所述指令在由与计算设备相关联的一个或多个处理器执行时，使得所述计算设备：

分析包括文本内容的基于网络的资源；

从基于网络的资源中提取多个文本内容片段；

针对多个文本内容片段中的每个文本内容片段，获得与每个相应文本内容片段相关的视觉内容和音频内容；

生成用于基于网络的资源的视听显示的目标内容，其中，生成所述目标内容包括将来自多个文本内容片段中的每个相应文本内容片段的至少一部分与关于相应文本内容片段的视觉内容和音频内容进行组合；以及

将描述生成的目标内容的数据提供给计算设备，用于呈现基于网络的资源的视听显示。

16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述计算设备还用于：

至少部分地基于与请求相关联的信息来获得基于网络的资源。

17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述请求是从计算设备接收的搜索查询，并且所述描述生成的目标内容的数据是响应于搜索查询而提供的。

18.根据权利要求15所述的非暂时性计算机可读介质，其中，所述计算设备还用于：

确定用于生成用于基于网络的资源的视听显示的目标内容的模板，以及

其中，所述生成用于基于网络的资源的视听显示的目标内容至少部分地基于所确定的模板。

19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述计算设备还用于：

基于将文本内容片段中的一个或多个文本内容片段转换为语音来生成音频内容。

20.根据权利要求15所述的非暂时性计算机可读介质，其中，所述计算设备还用于：

分析来自基于网络的资源中的文本内容片段中的每个文本内容片段；以及

针对多个文本内容片段中的每个文本内容片段，确定分别在每个文本内容片段中识别的一个或多个项目的权重。