CN114339068A

CN114339068A - 一种视频生成方法、装置、设备及存储介质

Info

Publication number: CN114339068A
Application number: CN202111566657.0A
Authority: CN
Inventors: 卞东海; 吴雨薇; 盛广智; 郑烨翰; 彭卫华; 徐伟建
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2022-04-12

Abstract

本公开提供了一种视频生成方法、装置、设备及存储介质，涉及人工智能技术领域，具体涉及深度学习和知识图谱等技术领域。具体实现方案为：根据目标兴趣点POI的目标全景图和所述目标POI的目标内容描述信息，生成所述目标POI的主视频片段；所述主视频片段中包括所述目标POI的入口图像；根据所述目标POI的辅助POI的辅助内容描述信息、所述目标POI与所述辅助POI之间的方位信息、以及所述辅助POI与所述目标POI之间的道路全景图，生成所述目标POI的辅助视频片段；根据所述主视频片段和所述辅助视频片段，生成所述目标POI的目标视频。根据本公开的技术，提供了一种能够指引用户快速定位到所需POI的视频生成的新方案。

Description

一种视频生成方法、装置、设备及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习和知识图谱等技术领域，具体涉及一种视频生成方法、装置、设备及存储介质。

背景技术

电子地图作为人们日常生活不可缺少的出行工具，可以帮助人们快速定位相关的兴趣点(Point of Interest，POI)。但是对于陌生的地点，如景区、博物馆等地方，人们往往难以精确的到达期望的目的地。

发明内容

本公开提供了一种视频生成方法、装置、设备及存储介质。

根据本公开的一方面，提供了一种视频生成方法，该方法包括：

根据目标兴趣点POI的目标全景图和所述目标POI的目标内容描述信息，生成所述目标POI的主视频片段；所述主视频片段中包括所述目标POI的入口图像；

根据所述目标POI的辅助POI的辅助内容描述信息、所述目标POI与所述辅助POI之间的方位信息、以及所述辅助POI与所述目标POI之间的道路全景图，生成所述目标POI的辅助视频片段；

根据所述主视频片段和所述辅助视频片段，生成所述目标POI的目标视频。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的视频生成方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的视频生成方法。

根据本公开的技术，提供了一种能够指引用户快速定位到所需POI的新方案。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的一种视频生成方法的流程图；

图2是根据本公开实施例提供的另一种视频生成方法的流程图；

图3是根据本公开实施例提供的又一种视频生成方法的流程图；

图4是根据本公开实施例提供的再一种视频生成方法的流程图；

图5是根据本公开实施例提供的一种视频生成装置的结构示意图；

图6是用来实现本公开实施例的视频生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前，电子地图中的POI通常以定位图标等形式呈现，形式单一，导致用户需要花费大量的时间去寻找所需POI。基于此，本公开提供了一种能够指引用户快速定位到所需POI的解决方案。

图1是根据本公开实施例提供的一种视频生成方法的流程图，该方法适用于如何指引用户快速定位到所需POI的情况。该方法可以由视频生成装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载视频生成功能的电子设备中。如图1所示，本实施例的视频生成方法可以包括：

S101，根据目标兴趣点POI的目标全景图和目标POI的目标内容描述信息，生成目标POI的主视频片段。

本实施例中，目标POI可以为电子地图中的任一POI。进一步的，目标POI具有目标全景图、目标内容描述信息以及周边POI；其中，目标POI的目标全景图即为以任一方位为中心(或者可以称为锚点)所拍摄的目标POI的全景图像。可选的，目标全景图的数量可以为一个或多个；为便于指引用户，进一步的，本实施例中的目标全景图中至少包括入口区域，例如可以包括以目标POI的入口点为中心所拍摄的全景图。

目标POI的目标内容描述信息即为对目标POI进行描述的相关信息。可选的，目标POI的目标内容描述信息中可以包括但不限于目标POI名称、地址和简介等不同属性维度的数据。进一步的，目标POI的目标内容描述信息可以以文本和/或语音等形式呈现。

可选的，目标POI的目标全景图和目标内容描述信息的获取方式有很多种，本实施例对此不做限定。例如，可以从电子地图的全量数据库中提取目标POI的全量数据，并从目标POI的全量数据中获取目标POI的目标全景图和目标内容描述信息。又如，还可以从网页中抓取目标POI的目标全景图和目标内容描述信息等。

主视频片段即为主要介绍目标POI的视频片段；进一步的，主视频片段中包括目标POI的入口图像。

一种可实施方式，可以将目标POI的目标全景图和目标POI的目标内容描述信息输入到视频生成模型中，由视频生成模型生成目标POI的主视频片段。

又一种可实施方式，根据目标POI的目标内容描述信息，生成字幕和音频；根据目标POI的目标全景图，生成图像帧；将字幕渲染至图像帧，之和对渲染后的图像帧和音频进行融合处理，得到目标POI的主视频片段。

S102，根据目标POI的辅助POI的辅助内容描述信息、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图，生成目标POI的辅助视频片段。

本实施例中，目标POI的辅助POI即为目标POI的周边POI中的一个或多个，用于为生成目标POI的目标视频提供辅助作用。其中，目标POI的周边POI即为以目标POI为中心一定范围内的POI。进一步的，可从电子地图的全量数据库中提取目标POI的全量数据；并从目标POI的全量数据中获取目标POI的周边POI；或者可以从电子地图中查询，以获取目标POI的周边POI。

示例性的，可以将目标POI的周边POI全部作为目标POI的辅助POI；进一步的，在周边POI的数量较多的情况下，还可以根据周边POI与目标POI之间的距离，和/或周边POI热度，从周边POI中选择辅助POI。

辅助POI的辅助内容描述信息即为对辅助POI进行描述的相关信息。可选的，辅助POI的辅助内容描述信息中可以包括但不限于辅助POI的名称和地址等不同属性维度的数据。进一步的，在本实施例中目标内容描述信息相比于辅助内容描述信息而言，描述内容更全面。

在本实施例中，目标POI与辅助POI之间的方位信息所表征的是辅助POI位于目标POI的方位。可选的，可以从目标POI的全量数据、电子地图或网页等中获取目标POI与辅助POI之间的方位信息。

辅助视频片段即为用于辅助介绍目标POI的视频片段，具体用于介绍辅助POI，以及辅助POI指向目标POI的路径等。

在一可实施方式中，可以将辅助POI的辅助内容描述信息、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图输入到视频生成模型中，由视频生成模型生成目标POI的辅助视频片段。

在又一可实施方式中，可以根据辅助POI的辅助内容描述信息，以及目标POI与辅助POI之间的方位信息，生成字幕和音频；根据辅助POI的定位图标，以及辅助POI与目标POI之间的道路全景图等，生成图像帧；将字幕渲染至图像帧，之和对渲染后的图像帧和音频进行融合处理，得到目标POI的辅助视频片段。进一步的，还可以根据辅助POI指向目标POI的路径的方向，基于道路全景图中道路走向，生成路径指向图标；将路径指向图标也渲染至图像帧中。

在又一可实施方式中，对于每一辅助POI，可以根据该辅助POI的辅助内容描述信息、目标POI与该辅助POI之间的方位信息、以及该辅助POI与目标POI之间的道路全景图，生成一个子视频片段；之后，可以根据辅助POI之间的路径情况，对各子视频片段进行融合处理，得到辅助视频片段。例如，各辅助POI位于同一路径上，此时可以基于辅助POI距离目标POI的远近，对各子视频片段中的重复路径进行去重处理，并按照一定的顺序对去重处理后的子视频片段进行拼接，即可得到辅助视频片段。

需要说明的是，本实施例中的目标POI与辅助POI是相对而言的。例如，对于任意两个相邻的POI，在主要介绍其中一个POI时，可将该POI作为目标POI，将另一POI作为目标POI的辅助POI。

S103，根据主视频片段和辅助视频片段，生成目标POI的目标视频。

可选的，在生成目标POI的主视频片段和辅助视频片段之后，可以按照先主后辅的顺序，对主视频片段和辅助视频片段进行拼接处理，并将拼接处理后的视频片段作为目标POI的目标视频。

需要说明的是，基于本实施例提供的视频生成方法所生成的任一POI的目标视频，可嵌入于任一地图产品，以帮助用户快速定位所需的POI。

本公开实施例提供的技术方案，通过根据目标POI的目标全景图以及目标POI的目标内容描述信息，可生成目标POI的主视频片段；根据目标POI的辅助POI的辅助内容描述信息、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图，可生成目标POI的辅助视频片段；进而根据所生成的目标POI的主视频片段和辅助视频片段，可生成目标POI的目标视频。上述方案，通过结合目标POI的目标全景图、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图等，来生成用于介绍目标POI的视频，使得所生成的视频更全面，且指引向更强，为用户快速寻找到目标POI提供了便利。

为了保证最终所生成的目标视频的规范性，还可以先根据预先设定的数据清洗规则，对目标POI的目标内容描述信息和辅助POI的辅助内容描述信息进行处理，之后再根据处理后的目标内容描述信息和辅助内容描述信息，按照图1所提供的视频生成方式，生成目标POI的目标视频。其中，数据清洗规则可以包括数据的单位、格式和命名方式等的统一规则；还可以包括不同层级数据的转换规则，例如可以将不同嵌套层级的数据转换为统一层级的数据；或者还可以从多个嵌套层级中抽取有用层级的数据，消除无用层级的数据，并可以将有用层级的数据转换为统一层级的数据。

图2是根据本公开实施例提供的另一种视频生成方法的流程图，本实施例在上述实施例的基础上，提供了一种获取目标POI的目标内容描述信息的方式。如图2所示，本实施例的视频生成方法可以包括：

S201，确定目标POI的目标类别。

在一可实施方式中，可预先根据POI的功能或用途等，将电子地图中的POI分为多个类别，例如可以包括但不限于旅游、餐饮和娱乐等类别。进一步的，可建立POI名称与类别之间的对应关系。例如，可以将类别作为索引词，将POI名称作为索引内容，建立索引表等。

进而，可以根据目标POI名称，从预先建立的索引表中进行查询，以确定目标POI的目标类别。所谓目标类别即为目标POI所归属的类别，例如旅游类别等。

在又一可实施方式中，可预先建立一个类别识别模型；进而可将目标POI的相关数据(比如目标POI的全量数据等)，输入至预先建立的类别识别模型，由类别识别模型输出目标POI的目标类别。

S202，根据目标类别的种子属性维度，从目标POI的全量数据中获取目标POI的目标内容描述信息。

其中，所谓属性维度也可成为属性指标。可选的，一个POI可具有不同的属性维度，例如POI名称和地址分别属于两个维度的属性。

目标类别的种子属性维度即为目标类别下所有POI的通用属性维度，即用于对目标类别下任一POI进行介绍所通用的属性维度。例如，目标POI为XX景区，目标类别为旅游类别，目标类别的种子属性维度可以包括但不限于POI名称、地址和景区概况等不同属性维度。

示例性的，对于任一类别，该类别的种子属性维度可通过如下方式确定：从电子地图的全量数据库中获取该类别下各POI的全量数据；对所获取的所有POI全量数据进行统计分析，以确定该类别下每一属性维度的出现频次。例如，假设旅游类别下有三个POI，其中POI₁具有a和b两个属性维度，POI₂具有a和c两个属性维度，以及POI₃具有a和b两个属性维度；进而通过统计分析可以确定，旅游类别下属性维度a的出现频次为3，属性维度b的出现频次为2，以及属性维度c的出现频次为2等。之后，根据出现频次，按照设定的排序规则(比如降序排序)对该类别下的属性维度进行排序，并根据排序结果，从该类别下的所有属性维度中选择设定数量的属性维度，作为种子属性维度。或者，还可以将出现频次大于设定阈值的属性维度，作为种子属性维度等。其中，POI的全量数据即为电子地图的全量数据库中所记录的POI数据，可包含POI的各种相关信息。

进一步的，每一类别的种子属性维度均可根据该类别下POI的变更而动态更新。其中，POI的变更可以包括但不限于POI数量的变更，以及POI的全量数据的变更等。

在一可实施方式中，可以从电子地图的全量数据库中提取目标POI的全量数据；将目标类别的种子属性维度，与目标POI的全量数据中所包含的属性维度之间的交集，作为目标POI的目标属性维度；从目标POI的全量数据中提取各目标属性维度所对应的子内容描述信息，例如目标属性维度为POI名称，则可以将“XX景区”作为POI名称这一属性维度的子内容描述信息；之后可以将所有目标属性维度和其所对应的子内容描述信息，一并作为目标POI的目标内容描述信息。

在又一可实施方式中，可以从电子地图的全量数据库中提取目标POI的全量数据；将目标类别的种子属性维度，与目标POI的全量数据中所包含的属性维度之间的交集，作为目标POI的可用属性维度；若识别到可用属性维度的数量，与种子属性维度的数量之间的比值，满足设定比值，则将可用属性维度作为目标属性维度，将各目标属性维度和其所对应的子内容描述信息，一并作为目标POI的目标内容描述信息。

S203，根据目标兴趣点POI的目标全景图和目标POI的目标内容描述信息，生成目标POI的主视频片段。

S204，根据目标POI的辅助POI的辅助内容描述信息、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图，生成目标POI的辅助视频片段。

S205，根据主视频片段和辅助视频片段，生成目标POI的目标视频。

本公开实施例提供的技术方案，通过根据目标POI的目标类别的种子属性维度，可从目标POI的全量数据中获取到目标POI的目标内容描述信息；之后根据目标POI的目标全景图以及所获取的目标POI的目标内容描述信息，可生成目标POI的主视频片段；根据目标POI的辅助POI的辅助内容描述信息、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图，可生成目标POI的辅助视频片段；进而根据所生成的目标POI的主视频片段和辅助视频片段，可生成目标POI的目标视频。上述方案，通过引入目标POI的目标类别以及种子属性维度，可快速且精准从目标POI的全量数据中抓取到目标POI的目标内容描述信息，为快速生成目标POI的目标视频奠定了基础。

作为本公开实施例的一种可实施方式，在上述实施例的基础上，根据目标类别的种子属性维度，从目标POI的全量数据中获取目标POI的目标内容描述信息还可以是：根据目标类别的种子属性维度，从知识图谱和目标POI的全量数据中获取目标POI的目标内容描述信息。

其中，此处的知识图谱可以包括POI图谱，以及各种领域均可使用的一种通用知识图谱等。

具体可以是：可以从电子地图的全量数据库中提取目标POI的全量数据；将目标类别的种子属性维度，与目标POI的全量数据中所包含的属性维度之间的交集，作为目标POI的可用属性维度；将目标类别的种子属性维度，与目标POI的可用属性维度之间的差集，作为待补充属性维度；从知识图谱中查询，以确定知识图谱中是否包括目标POI的待补充属性维度所对应的子内容描述信息，若包括，则从知识图谱中提取目标POI的待补充属性维度所对应的子内容描述信息；同时，从目标POI的全量数据中提取可用属性维度所对应的子内容描述信息；将待补充属性维度和其所对应的子内容描述信息，以及可用属性维度和其所对应的子内容描述信息，一并作为目标POI的目标内容描述信息。

还可以是：将目标类别的种子属性维度，与目标POI的全量数据中所包含的属性维度之间的交集，作为目标POI的可用属性维度；若识别到可用属性维度的数量，与种子属性维度的数量之间的比值，不满足设定比值，则将目标类别的种子属性维度，与目标POI的可用属性维度之间的差集，作为待补充属性维度；从知识图谱中查询，以确定知识图谱中是否包括目标POI的待补充属性维度所对应的子内容描述信息，若包括，则从知识图谱中提取目标POI的待补充属性维度所对应的子内容描述信息；同时，从目标POI的全量数据中提取可用属性维度所对应的子内容描述信息；将待补充属性维度和其所对应的子内容描述信息，以及可用属性维度和其所对应的子内容描述信息，一并作为目标POI的目标内容描述信息。

或者，还可以是：从电子地图的全量数据库中提取目标POI的第一数据(即全量数据)，以及从知识图谱中提取目标POI的第二数据；对目标POI的第一数据和第二数据进行融合；根据目标种子属性维度，从融合后的数据中获取目标POI的目标内容描述信息。

需要说明的是，本实施例引入知识图谱对目标POI的全量数据进行补充，保证了所提取的目标POI的目标内容描述信息更全面，进而使得最终所生成的目标POI的目标视频更全面。

图3是根据本公开实施例提供的又一种视频生成方法的流程图，本实施例在上述实施例的基础上，对如何生成目标POI的主视频片段进行详细解释说明。如图3所示，本实施例的视频生成方法可以包括：

S301，从目标兴趣点POI的目标全景图中截取目标图像。

其中，目标图像即为从目标全景图中所截取的图像；可选的，目标图像的数量可以为一个或多个；进一步的，目标图像中至少包括目标POI的入口图像。更进一步的，本实施例中目标图像的数量优选为多个。

具体的，可以按照一定的截取规则，从目标POI的目标全景图中截取目标图像。例如，可以将目标全景图的倾斜角度调整至15度，之后以目标全景图中入口区域为中心，左右360度每镉2度截取一个目标图像。

又如，还可以根据标准主视频的长度和/或图像帧数等，确定图像数量；根据图像数量，从目标POI的目标全景图中截取目标图像。

S302，根据目标图像和目标POI的目标内容描述信息，生成目标POI的主视频片段。

一种可实施方式，可以将所截取的目标图像，以及目标POI的目标内容描述信息，一并输入到视频生成模型中，由视频生成模型生成目标POI的主视频片段。

又一种可实施方式，根据目标POI的目标内容描述信息，生成字幕和音频；将每一目标图像作为一个图像帧；将字幕渲染至图像帧，之和对渲染后的图像帧和音频进行融合处理，得到目标POI的主视频片段。

S303，根据目标POI的辅助POI的辅助内容描述信息、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图，生成目标POI的辅助视频片段。

S304，根据主视频片段和辅助视频片段，生成目标POI的目标视频。

本公开实施例提供的技术方案，通过从目标POI的目标全景图中截取包括入口图像的目标图像；并根据所截取的目标图像，以及目标POI的目标内容描述信息，可生成目标POI的主视频片段；根据目标POI的辅助POI的辅助内容描述信息、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图，可生成目标POI的辅助视频片段；进而根据所生成的目标POI的主视频片段和辅助视频片段，可生成目标POI的目标视频。上述方案，通过从目标POI的目标全景图中截取包括入口图像的目标图像，使得所生成的目标POI的主视频片段中包含目标POI的入口图像，便于指引用户快速进入目标POI；为基于POI的全景图生成POI的主视频片段提供了一种解决方案，同时为后续生成POI的完整视频提供了数据支撑。

作为本公开实施例的一种可实施方式，在上述实施例的基础上，若目标POI的目标内容描述信息包括至少两个目标属性维度的子内容描述信息，则根据目标图像和目标POI的目标内容描述信息，生成目标POI的主视频片段还可以是：根据目标属性维度的出现频次，确定至少两个目标属性维度的子内容描述信息的信息介绍顺序；根据目标图像、至少两个目标属性维度的子内容描述信息和信息介绍顺序，生成目标POI的主视频片段。

本实施例中，目标属性维度即为目标POI所属目标类别的种子属性维度中的一部分或者全部。信息介绍顺序即为主视频片段中对不同属性维度的子内容描述信息的介绍顺序。

具体的，可以根据出现频次，按照设定的排序规则(比如降序排序)对目标属性维度进行排序；并将目标属性维度的排序结果，作为目标属性维度的子内容描述信息的信息介绍顺序。例如，目标属性维度包括属性维度a和属性维度b；属性维度a的出现频次为100，属性维度b的出现频次为1000，那么信息介绍顺序为先介绍属性维度b的子内容描述信息，后介绍属性维度a的子内容描述信息。

之后，可以根据各目标属性维度的子内容描述信息，以及信息介绍顺序，生成字幕和音频；将每一目标图像作为一个图像帧；将字幕渲染至图像帧，之和对渲染后的图像帧和音频进行融合处理，得到目标POI的主视频片段。

可以理解的是，本实施例中引入信息介绍顺序，能够使得所生成的主视频片段的逻辑更加合理，进而保证了呈现至用户的目标视频的合理性。

图4是根据本公开实施例提供的再一种视频生成方法的流程图，本实施例在上述实施例的基础上，对如何生成目标POI的辅助视频片段进行详细解释说明。如图4所示，本实施例的视频生成方法可以包括：

S401，根据目标兴趣点POI的目标全景图和目标POI的目标内容描述信息，生成目标POI的主视频片段。

S402，根据目标POI的辅助POI的辅助内容描述信息、辅助POI图像、以及目标POI与辅助POI之间的方位信息，生成辅助POI视频片段。

本实施例中，辅助POI图像可以是辅助POI的门脸图(或者可以称为门面图)，还可以是辅助POI的全景图；进一步的，在辅助POI图像为辅助POI的全景图的情况下，辅助POI的全景图中可以包括辅助POI的门脸区域，进一步还可以包括入口区域等。

辅助POI视频片段即为简单介绍辅助POI的视频片段。

在一可实施方式中，对于每一辅助POI，可以将辅助POI的辅助内容描述信息、辅助POI图像、以及目标POI与辅助POI之间的方位信息，一并输入到视频生成模型中，由视频生成模型生成一个辅助POI视频片段。

在又一可实施方式中，对于每一辅助POI，在辅助POI图像为辅助POI的门脸图的情况下，可以根据辅助POI的辅助内容描述信息，以及目标POI与辅助POI之间的方位信息，生成字幕和音频；将辅助POI图像作为一个图像帧；将字幕渲染至图像帧，之后对渲染后的图像帧和音频进行融合处理，得到一个辅助POI视频片段。

在又一可实施方式中，对于每一辅助POI，在辅助POI图像为辅助POI的全景图的情况下，可以按照一定的截取规则，从辅助POI的全景图中截取图像，例如可以将辅助POI的全景图的倾斜角度调整至15度，之后以该全景图中门脸区域为中心，左右360度每镉2度截取一个图像；将所截取的每一图像作为一个图像帧；根据辅助POI的辅助内容描述信息，以及目标POI与辅助POI之间的方位信息，生成字幕和音频；将字幕渲染至图像帧，之后对渲染后的图像帧和音频进行融合处理，得到一个辅助POI视频片段。

在又一可实施方式中，对于每一辅助POI，可以先确定辅助内容描述信息和方位信息之间的介绍顺序，例如先介绍目标POI与辅助POI之间的方位信息，再介绍辅助POI的辅助内容描述信息；之后，根据所确定的介绍顺序、目标POI的辅助POI的辅助内容描述信息、辅助POI图像、以及目标POI与辅助POI之间的方位信息，生成一个辅助POI视频片段。

S403，根据辅助POI与目标POI之间的道路全景图，生成从辅助POI到目标POI的路径指引视频片段。

本实施例中，所谓路径指引视频片段即为用于指引用户从辅助POI到目标POI的视频片段。

可选的，可以按照一定的截取规则，从道路全景图中截取图像。例如，可以将道路全景图的倾斜角度调整至15度，之后对道路全景图中某个方向的区域进行采样切割。这样截取图像的好处在于，能够使得最终所生成的路径指引视频观看起来是行走前进的效果。

之后，对截取的图像进行拼接渲染，以得到目标POI的路径指引视频片段。

进一步的，还可以将所截取的每一图像均作为一个图像帧；根据辅助POI指向目标POI的路径的方向，基于道路全景图中道路走向，生成路径指向图标；将路径指向图标渲染至图像帧中，以得到目标POI的路径指引视频片段。

示例性的，对于每一辅助POI，均可以基于上述方式生成一个该辅助POI到目标POI的路径指引视频片段；进一步的，若辅助POI之间存在路径，则可以基于辅助POI距离目标POI的远近，对各路径指引视频片段进行融合处理，并将融合处理后的路径指引视频片段，作为辅助POI到目标POI的最终的路径指引视频片段。

S404，根据辅助POI视频片段和路径指引视频片段，生成目标POI的辅助视频片段。

可选的，可以按照设定的拼接方式，对辅助POI视频片段和路径指引视频片段进行拼接，以生成目标POI的辅助视频片段。

S405，根据主视频片段和辅助视频片段，生成目标POI的目标视频。

本公开实施例提供的技术方案，通过根据目标POI的目标全景图，以及目标POI的目标内容描述信息，可生成目标POI的主视频片段；根据目标POI的辅助POI的辅助内容描述信息、辅助POI图像、以及目标POI与辅助POI之间的方位信息，可生成辅助POI视频片段；同时可基于辅助POI与目标POI之间的道路全景图，生成从辅助POI到目标POI的路径指引视频片段；进而根据所生成的目标POI的主视频片段、辅助POI视频片段、以及路径指引视频片段，可生成目标POI的目标视频。上述方案，通过在生成辅助POI视频片段的过程中添加辅助POI图像，同时基于道路全景图引入从辅助POI到目标POI的路径指引视频片段，使得最终生成的目标视频中能够直观展示出辅助POI的图像，以及辅助POI到目标POI的路径，更便于用户快速定位到目标POI。

在一可实施方式中，还可以先确定辅助POI之间是否存在路径；若不存在，可以基于上述步骤S403，确定每一辅助POI与目标POI之间的路径指引视频。若存在，可以基于辅助POI距离目标POI的远近，以及辅助POI之间的路径等，根据相邻辅助POI之间的道路全景图，生成相邻辅助POI之间的第一指引视频；同时，可以根据距离目标POI最近的辅助POI，与目标POI之间的道路全景图，生成第二指引视频；对第一指引视频和第二指引视频进行拼接，可得到辅助POI到目标POI的路径指引视频。此时该路径指引视频包括距离目标POI最远的辅助POI，到目标POI的路径指引视频。

作为本公开实施例的一种可实施方式，若辅助POI的数量为至少两个，则对于每一辅助POI，均可以根据步骤S402生成一个辅助POI视频片段。此时根据辅助POI视频片段和路径指引视频片段，生成目标POI的辅助视频片段还可以是：根据辅助POI与目标POI之间的距离和/或方位信息，确定至少两个辅助POI的POI介绍顺序；根据至少两个辅助POI视频片段、POI介绍顺序和路径指引视频片段，生成目标POI的辅助视频片段。

可选的，若辅助POI之间存在路径，则可以根据辅助POI与目标POI之间的距离，来确定各辅助POI之间的POI介绍顺序。例如，可以根据辅助POI与目标POI之间的距离，按照从大到小的顺序，对各辅助POI进行排序；并将排序结果，作为POI介绍顺序。

进一步的，若辅助POI之间不存在路径，则可以根据辅助POI与目标POI之间的方位信息，来确定各辅助POI之间的POI介绍顺序。例如，可以以正北侧为中心，顺时针循环一周，即可确定各辅助POI之间的POI介绍顺序。

可选的，在确定各辅助POI之间的POI介绍顺序之后，可以各辅助POI视频片段、POI介绍顺序和路径指引视频片段，生成目标POI的辅助视频片段。

例如，可以根据各辅助POI之间的POI介绍顺序，确定各辅助POI视频片段之间的播放顺序；基于各辅助POI视频片段之间的播放顺序，对路径指引视频片段和各辅助POI视频片段进行拼接处理，以生成目标POI的辅助视频片段。

需要说明的是，本实施例中引入POI介绍顺序，能够使得所生成的辅助视频片段的逻辑更加合理，进一步保证了呈现至用户的目标视频的合理性。

图5是根据本公开实施例提供的一种视频生成装置的结构示意图。本公开实施例适用于如何指引用户快速定位到所需POI的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例所述的视频生成方法。如图5所示，该视频生成装置包括：

主片段生成模块501，用于根据目标兴趣点POI的目标全景图和目标POI的目标内容描述信息，生成目标POI的主视频片段；主视频片段中包括目标POI的入口图像；

辅助片段生成模块502，用于根据目标POI的辅助POI的辅助内容描述信息、目标POI与辅助POI之间的方位信息、以及辅助POI与目标POI之间的道路全景图，生成目标POI的辅助视频片段；

目标视频生成模块503，用于根据主视频片段和辅助视频片段，生成目标POI的目标视频。

示例性的，主片段生成模块501包括：

图像截取单元，用于从目标兴趣点POI的目标全景图中截取目标图像；目标图像包括目标POI的入口图像；

主片段生成单元，用于根据目标图像和目标POI的目标内容描述信息，生成目标POI的主视频片段。

示例性的，若目标POI的目标内容描述信息包括至少两个目标属性维度的子内容描述信息，则主片段生成单元具体用于：

根据目标属性维度的出现频次，确定至少两个目标属性维度的子内容描述信息的信息介绍顺序；

根据目标图像、至少两个目标属性维度的子内容描述信息和信息介绍顺序，生成目标POI的主视频片段。

示例性的，辅助片段生成模块502包括：

辅助POI片段生成单元，用于根据目标POI的辅助POI的辅助内容描述信息、辅助POI图像、以及目标POI与辅助POI之间的方位信息，生成辅助POI视频片段；

路径指引片段生成单元，用于根据辅助POI与目标POI之间的道路全景图，生成从辅助POI到目标POI的路径指引视频片段；

辅助片段生成单元，用于根据辅助POI视频片段和路径指引视频片段，生成目标POI的辅助视频片段。

示例性的，若辅助POI的数量为至少两个，则辅助片段生成单元具体用于：

根据辅助POI与所述目标POI之间的距离和/或方位信息，确定至少两个辅助POI的POI介绍顺序；

根据至少两个辅助POI视频片段、POI介绍顺序和路径指引视频片段，生成目标POI的辅助视频片段。

示例性的，上述装置还包括：

类别确定模块，用于确定目标POI的目标类别；

信息获取模块，用于根据目标类别的种子属性维度，从目标POI的全量数据中获取目标POI的目标内容描述信息。

示例性的，信息获取模块具体用于：

根据目标类别的种子属性维度，从知识图谱和目标POI的全量数据中获取目标POI的目标内容描述信息。

本公开的技术方案中，所涉及的目标POI的数据(比如目标全景图和目标内容描述信息等)、目标POI与辅助POI之间的道路全景图、以及辅助POI的数据(比如辅助POI图和辅助内容描述信息)等的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如视频生成方法。例如，在一些实施例中，视频生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的视频生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种视频生成方法，包括：

2.根据权利要求1所述的方法，其中，所述根据目标兴趣点POI的目标全景图和所述目标POI的目标内容描述信息，生成所述目标POI的主视频片段，包括：

从目标兴趣点POI的目标全景图中截取目标图像；所述目标图像包括所述目标POI的入口图像；

根据所述目标图像和所述目标POI的目标内容描述信息，生成所述目标POI的主视频片段。

3.根据权利要求2所述的方法，其中，若所述目标POI的目标内容描述信息包括至少两个目标属性维度的子内容描述信息，则所述根据所述目标图像和所述目标POI的目标内容描述信息，生成所述目标POI的主视频片段，包括：

根据目标属性维度的出现频次，确定所述至少两个目标属性维度的子内容描述信息的信息介绍顺序；

根据所述目标图像、所述至少两个目标属性维度的子内容描述信息和所述信息介绍顺序，生成所述目标POI的主视频片段。

4.根据权利要求1所述的方法，其中，所述根据所述目标POI的辅助POI的辅助内容描述信息、所述目标POI与所述辅助POI之间的方位信息、以及所述辅助POI与所述目标POI之间的道路全景图，生成所述目标POI的辅助视频片段，包括：

根据所述目标POI的辅助POI的辅助内容描述信息、辅助POI图像、以及所述目标POI与所述辅助POI之间的方位信息，生成辅助POI视频片段；

根据所述辅助POI与所述目标POI之间的道路全景图，生成从所述辅助POI到所述目标POI的路径指引视频片段；

根据所述辅助POI视频片段和所述路径指引视频片段，生成所述目标POI的辅助视频片段。

5.根据权利要求4所述的方法，其中，若所述辅助POI的数量为至少两个，则所述根据所述辅助POI视频片段和所述路径指引视频片段，生成所述目标POI的辅助视频片段，包括：

根据辅助POI与所述目标POI之间的距离和/或方位信息，确定所述至少两个辅助POI的POI介绍顺序；

根据至少两个辅助POI视频片段、所述POI介绍顺序和所述路径指引视频片段，生成所述目标POI的辅助视频片段。

6.根据权利要求1所述的方法，还包括：

确定所述目标POI的目标类别；

根据所述目标类别的种子属性维度，从所述目标POI的全量数据中获取所述目标POI的目标内容描述信息。

7.根据权利要求6所述的方法，其中，所述根据所述目标类别的种子属性维度，从所述目标POI的全量数据中获取所述目标POI的目标内容描述信息，包括：

根据所述目标类别的种子属性维度，从知识图谱和所述目标POI的全量数据中获取所述目标POI的目标内容描述信息。

8.一种视频生成装置，包括：

主片段生成模块，用于根据目标兴趣点POI的目标全景图和所述目标POI的目标内容描述信息，生成所述目标POI的主视频片段；所述主视频片段中包括所述目标POI的入口图像；

辅助片段生成模块，用于根据所述目标POI的辅助POI的辅助内容描述信息、所述目标POI与所述辅助POI之间的方位信息、以及所述辅助POI与所述目标POI之间的道路全景图，生成所述目标POI的辅助视频片段；

目标视频生成模块，用于根据所述主视频片段和所述辅助视频片段，生成所述目标POI的目标视频。

9.根据权利要求8所述的装置，其中，所述主片段生成模块包括：

图像截取单元，用于从目标兴趣点POI的目标全景图中截取目标图像；所述目标图像包括所述目标POI的入口图像；

主片段生成单元，用于根据所述目标图像和所述目标POI的目标内容描述信息，生成所述目标POI的主视频片段。

10.根据权利要求9所述的装置，其中，若所述目标POI的目标内容描述信息包括至少两个目标属性维度的子内容描述信息，则所述主片段生成单元具体用于：

11.根据权利要求8所述的装置，其中，所述辅助片段生成模块包括：

辅助POI片段生成单元，用于根据所述目标POI的辅助POI的辅助内容描述信息、辅助POI图像、以及所述目标POI与所述辅助POI之间的方位信息，生成辅助POI视频片段；

路径指引片段生成单元，用于根据所述辅助POI与所述目标POI之间的道路全景图，生成从所述辅助POI到所述目标POI的路径指引视频片段；

辅助片段生成单元，用于根据所述辅助POI视频片段和所述路径指引视频片段，生成所述目标POI的辅助视频片段。

12.根据权利要求11所述的装置，其中，若所述辅助POI的数量为至少两个，则所述辅助片段生成单元具体用于：

13.根据权利要求8所述的装置，还包括：

类别确定模块，用于确定所述目标POI的目标类别；

信息获取模块，用于根据所述目标类别的种子属性维度，从所述目标POI的全量数据中获取所述目标POI的目标内容描述信息。

14.根据权利要求13所述的装置，其中，所述信息获取模块具体用于：

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的视频生成方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的视频生成方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的视频生成方法。