CN113194265B - 街景视频生成方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开公开了街景视频生成方法、装置、电子设备以及存储介质，涉及图像数据处理领域，尤其涉及智能交通领域。街景视频生成方法具体实现方案为：获取与目标兴趣点对应的目标街景图像；确定目标街景图像所属的目标道路；根据道路拓扑关系和目标道路的目标道路标识，确定位于目标道路周边的关联道路；根据关联道路的关联道路标识确定与关联道路对应的关联街景图像；以及根据目标街景图像和关联街景图像，生成与目标兴趣点对应的街景视频。

Description

街景视频生成方法、装置、电子设备以及存储介质

技术领域

本公开涉及图像数据处理领域，尤其涉及智能交通领域。

背景技术

用户在地图上搜索感兴趣地点的图像时，可以通过街景功能查看单张街景图像数据或者通过拓扑箭头手动查看某条道路的街景图像数据来观察真实场景。在实现本公开的过程中发现，上述查看方式依赖于用户手动查看街景，每次获得的图像为单帧或者少数几帧，导致用户体验较差。

发明内容

本公开提供了一种街景视频生成方法、装置、电子设备、存储介质和计算机程序产品。

根据本公开的一方面，提供了一种街景视频生成方法，包括：获取与目标兴趣点对应的目标街景图像；确定所述目标街景图像所属的目标道路；根据道路拓扑关系和所述目标道路的目标道路标识，确定位于所述目标道路周边的关联道路；根据所述关联道路的关联道路标识确定与所述关联道路对应的关联街景图像；以及根据所述目标街景图像和所述关联街景图像，生成与所述目标兴趣点对应的街景视频。

根据本公开的另一方面，提供了一种街景视频生成装置，包括：第一获取模块、第一确定模块、第二确定模块、第三确定模块和生成模块。

第一获取模块用于获取与目标兴趣点对应的目标街景图像；

第一确定模块用于确定所述目标街景图像所属的目标道路；

第二确定模块用于根据道路拓扑关系和所述目标道路的目标道路标识，确定位于所述目标道路周边的关联道路；

第三确定模块用于根据所述关联道路的关联道路标识确定与所述关联道路对应的关联街景图像；以及

生成模块，用于根据所述目标街景图像和所述关联街景图像，生成与所述目标兴趣点对应的街景视频。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用街景视频生成方法及装置的示例性应用场景；

图2示意性示出了根据本公开实施例的街景视频生成方法的流程图；

图3示意性示出了根据本公开实施例的道路拓扑关系及目标兴趣点的示意图；

图4示意性示出了根据本公开实施例的目标兴趣点与目标街景图像关联的示意图；

图5示意性示出了根据本公开实施例的多帧与关联道路对应的关联街景图像的示意图；

图6示意性示出了根据本公开实施例的筛选后的关联街景图像的示意图；

图7示意性示出了根据本公开实施例的划分目标兴趣点的第一侧和第二侧的示意图；

图8示意性示出了根据本公开实施例的每帧关联街景图像相对于目标兴趣点的朝向角度的示意图；

图9示意性示出了根据本公开实施例的街景视频生成装置的框图；以及

图10示意性示出了根据本公开实施例的适于实现街景视频生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

街景视频生成方法是指将采集到的现实世界中的多张街景图自动化合成视频的方法。

根据本公开的实施例，通过获取与目标兴趣点对应的目标街景图像；确定目标街景图像所属的目标道路；根据道路拓扑关系和目标道路的目标道路标识，确定位于目标道路周边的关联道路；根据关联道路的关联道路标识确定与关联道路对应的关联街景图像；以及根据目标街景图像和关联街景图像，生成与目标兴趣点对应的街景视频。

通过自动化处理街景图像，合成街景视频，引入了一种动态的街景交互方式，用户可以通过视频了解某POI(Point Of Interest，兴趣点)周边的真实信息，POI指的是地图上某个地理位置。

图1示意性示出了根据本公开实施例的可以应用街景视频生成方法及装置的示例性应用场景。

需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据本公开实施例的应用场景100可以包括街景采集车101，街景采集车101上可以包括图像采集装置1031，通过图像采集装置1031可以采集不同道路上的图像，得到每条道路对应的街景图像。

根据本公开的实施例，应用场景100也可以包括位于道路不同位置的图像采集装置1032和图像采集装置1033。图像采集装置1032和图像采集装置1033可以采集道路不同位置的街景图像，得到每条道路对应的街景图像。

根据本公开的实施例，在得到每条道路对应的街景图像之后，可以建立图像与道路之间的映射关系，图像与道路映射关系包括每条道路对应的一帧或多帧街景图像。

根据本公开的实施例，目标车辆102可以在道路上行驶，在目标车辆102中可以乘坐有乘客。乘客可以使用终端设备(图中未示出)通过网络与服务器(图中未示出)交互，以接收或发送消息等。终端设备可以安装有各种通讯客户端应用，例如地图应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。例如，乘客可以使用地图应用来选择目标兴趣点，并将目标兴趣点通过终端设备发送给服务器。服务器可以执行本公开实施例的街景视频生成方法。

终端设备可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器可以是提供各种服务的服务器，例如对用户利用终端设备所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

根据本公开的实施例，每条道路对应的街景图像以及图像与道路映射关系可以存储在服务器中。

需要说明的是，本公开实施例所提供的街景视频生成方法可以由终端设备执行。相应地，本公开实施例所提供的街景视频生成装置也可以设置于终端设备中。

或者，本公开实施例所提供的街景视频生成方法一般也可以由服务器执行，在生成与目标兴趣点对应的街景视频之后，可以将街景视频发送给终端设备。相应地，本公开实施例所提供的街景视频生成装置一般可以设置于服务器中。本公开实施例所提供的街景视频生成方法也可以由不同于服务器且能够与终端设备和/或服务器通信的服务器或服务器集群执行。相应地，本公开实施例所提供的街景视频生成装置也可以设置于不同于服务器且能够与终端设备和/或服务器通信的服务器或服务器集群中。

应该理解，图1中的街景采集车、图像采集设备和目标车辆的数目仅仅是示意性的。根据实现需要，可以具有任意数目的街景采集车、图像采集设备和目标车辆。

图2示意性示出了根据本公开实施例的街景视频生成方法的流程图。

根据本公开的实施例，该街景视频生成方法可以由终端设备执行，也可以由服务器执行。

如图2所示，该街景视频生成方法包括操作S210～S250。

在操作S210，获取与目标兴趣点对应的目标街景图像。

在操作S220，确定目标街景图像所属的目标道路。

在操作S230，根据道路拓扑关系和目标道路的目标道路标识，确定位于目标道路周边的关联道路。

在操作S240，根据关联道路的关联道路标识确定与关联道路对应的关联街景图像。

在操作S250，根据目标街景图像和关联街景图像，生成与目标兴趣点对应的街景视频。

根据本公开的实施例，目标兴趣点可以是用户感兴趣的位置，该用户感兴趣的位置可以是用户输入的位置信息，也可以是用户输入的对象名称信息。对象名称信息例如可以是景点名称，游乐场名称或医院名称等等。

根据本公开的实施例，在操作S210之前，可以获取用户输入的目标兴趣点，然后响应于用户输入的目标兴趣点，再执行获取与目标兴趣点对应的目标街景图像的操作。

根据本公开的实施例，该用户可以是普通消费者用户，也可以是服务端后台开发人员。其中，在该用户为普通消费者用户的情况下，可以实时生成与目标兴趣点对应的街景视频。在该用户为服务端后台开发人员的情况下，可以预先生成与目标兴趣点对应的街景视频，在普通消费者用户输入目标兴趣点之后，可以直接将预先生成的与目标兴趣点对应的街景视频发送给普通消费者用户。

根据本公开的实施例，可以从图像库中查找与目标兴趣点对应的目标街景图像，目标街景图像可以是全景图。其中，图像库中可以包括不同兴趣点分别对应的街景图像，且每个兴趣点对应的街景图像可以作为该兴趣点的标识。

根据本公开的实施例，可以根据道路与图像之间的映射关系确定目标街景图像所属的目标道路。

根据本公开的实施例，道路拓扑关系是指不同道路之间的连接关系。道路拓扑关系中的道路首尾连接。可以根据目标道路标识从道路拓扑关系中确定位于目标道路周边的关联道路。目标道路周边的关联道路的数量可以预先设定，例如，目标道路周边的关联道路数量可以是4条，分别为与目标道路相连的道路。

根据本公开的实施例，可以根据道路与图像之间的映射关系，以及关联道路标识确定与关联道路对应的关联街景图像。

根据本公开的实施例，可以采用视频合成技术将目标街景图像和关联街景图像合成为视频，生成与目标兴趣点对应的街景视频。

通过本公开的实施例，利用道路拓扑关系和目标道路标识，确定位于目标道路周边的关联道路；根据关联道路的关联道路标识确定与关联道路对应的关联街景图像；以及根据目标街景图像和关联街景图像，生成与目标兴趣点对应的街景视频。通过自动化处理街景图像，合成街景视频，引入了一种动态的街景交互方式，提供了一种有效的视频合成方法，用户可以通过视频了解某POI周边的真实信息，无需依赖用户手动逐一查看街景，使得用户可以获得目标兴趣点的视频图像，提高了用户体验。

通过本公开的实施例，使得街景浏览从静态转变为动态，交互性更强，可以拓展更多可能性，丰富产品形态，可自动化、批量制作街景视频。

根据本公开的实施例，如果根据道路拓扑关系没有找到位于目标道路周边的关联道路，有可能该目标道路周边没有拓扑道路。根据本公开的实施例，可以根据与目标兴趣点对应的目标街景图像生成街景视频。例如，对单帧目标街景图像旋转一定角度来生成街景视频。

下面参考图3～图6，结合具体实施例对图2所示的方法做进一步说明。

图3示意性示出了根据本公开实施例的道路拓扑关系及目标兴趣点的示意图。

如图3所示，不同道路之间首尾相连，形成如图3所示的道路拓扑关系。每条道路分别具有对应的一帧或多帧街景图像。图3中所示的行驶方向可以是乘客所乘坐的车辆的行驶方向。如图3所示，用户可以在地图中选择目标兴趣点。

图4示意性示出了根据本公开实施例的目标兴趣点与目标街景图像关联的示意图。

根据本公开的实施例，不同兴趣点分别具有对应的街景图像，且每个兴趣点对应的街景图像可以作为该兴趣点的标识，可以在图库中保存兴趣点与街景图像之间的对应关系。如图4中虚线所指向的街景图像即为目标街景图像。

根据本公开的实施例，可以根据图像与道路映射关系确定目标街景图像所属的目标道路，其中，图像与道路映射关系包括不同道路分别对应的一帧或多帧街景图像。

根据本公开的实施例，可以根据目标道路标识从道路拓扑关系中确定位于目标道路周边的关联道路。例如，从道路拓扑关系中查找分别为与目标道路相连的道路。

根据本公开的实施例，位于目标道路周边的关联道路可以是目标道路的前向道路和后向道路，左转道路和右转道路等等。道路方位的判断可以根据车辆的行驶方向确定。

根据本公开的实施例，可以获取与目标兴趣点关联的描述内容；将描述内容添加至街景视频中。

根据本公开的实施例，以目标兴趣点为景点为例，可以将用于介绍景点的语音作为描述内容，添加至街景视频中。或者，也可以将用于介绍景点的文字内容作为描述内容添加至街景视频中。

根据本公开的实施例，可以通过调节视频播放参数来调整视频的清晰度和流畅度等。

通过本公开的实施例，可以使得生成的街景视频内容更为丰富，提高用户粘度。

根据本公开的实施例，由于每条道路对应的街景图像可以较多，在生成街景视频所需的图像数量预先设定的情况下，在根据目标街景图像和关联街景图像，生成与目标兴趣点对应的街景视频的过程中，可以对关联街景图像进行筛选。

根据本公开的实施例，与关联道路对应的关联街景图像包括多帧；可以确定用于生成街景视频所需的图像数量。

根据本公开的实施例，根据图像数量对多帧与关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像；以及根据目标街景图像和筛选后的关联街景图像，生成与目标兴趣点对应的街景视频。

根据本公开的实施例，其中，确定用于生成街景视频所需的图像数量包括：确定街景视频的视频帧率和视频时长；根据视频帧率和视频时长确定图像数量。

根据本公开的实施例，可以将视频帧率乘以视频时长得到图像数量。例如，视频帧率为每秒40帧，视频时长为60秒，因此，图像数量为：40乘以60，即2400帧图像。

图5示意性示出了根据本公开实施例的多帧与关联道路对应的关联街景图像的示意图。

如图5所示，被黑色填充的矩形为与关联道路对应的所有关联街景图像。

根据本公开的实施例，可以根据图像数量对图5中所示的多帧与关联道路对应的关联街景图像进行筛选。

根据本公开的实施例，根据视频的图像数量对关联街景图像进行筛选的方式不做限定。例如，将该图像数量作为最高的街景图像数量，滤除与目标兴趣点较远的街景图像。根据本公开的实施例，可以记录同一帧图像被选中的次数，超过2次，需要回退重新筛选。

再例如，可以保留如图5所示的车辆行驶方向上的关联道路的关联街景图像，滤除其他方向上的关联道路的关联街景图像。如图5所示的车辆行驶方向可以是乘客的车辆即将行驶方向，也可以是街景采集车的行驶方向。

根据本公开的实施例，可以根据街景图像数据中前后数据的车头方向以及角度来探测当前车的行驶方向。

图6示意性示出了根据本公开实施例的筛选后的关联街景图像的示意图。

如图6所示，位于上下两个方位的关联道路的关联街景图像已经被滤除，车辆行驶方向上的关联道路的关联街景图像被保留。

以下结合具体实施例对关联街景图像进行筛选做进一步说明。需要说明的是，本公开实施例所提供的所有筛选方法可以适当组合。

根据本公开的实施例，根据图像数量对多帧与关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像包括：

确定在目标兴趣点第一侧需要设置的第一图像数量和在目标兴趣点第二侧需要设置的第二图像数量，其中，第一图像数量和第二图像数量之和等于图像数量，第一侧需要设置的第一图像数量和第二侧需要设置的第二图像数量是用于生成街景视频需要的数量；

根据每帧关联街景图像对应的关联道路标识和目标道路标识，将多帧与关联道路对应的关联街景图像划分为位于目标兴趣点第一侧的第一关联街景图像和位于目标兴趣点第二侧的第二关联街景图像；

从第一关联街景图像中筛选得到第一图像数量的关联街景图像；以及

从第二关联街景图像中筛选得到第二图像数量的关联街景图像。

根据本公开的实施例，结合图7所示，图7示意性示出了根据本公开实施例的划分目标兴趣点的第一侧和第二侧的示意图。

如图7所示，可以以目标兴趣点为中心，沿垂直于目标道路的方向划分目标兴趣点的第一侧和第二侧。

根据本公开的实施例，可以根据视频的视觉效果和生成街景视频需要的数量，确定第一侧需要设置的第一图像数量和第二侧需要设置的第二图像数量。

例如，根据视频长度确定所需图像数量，记为N，根据视觉效果确定第一侧和第二侧选图比例为5∶3。即，第一侧需要设置的第一图像数量5N/8，第二侧需要设置的第二图像数量3N/8。

根据本公开的实施例，例如，将图7中所示的多帧被黑色填充的关联街景图像划分为第一侧的第一关联街景图像和第二侧的第二关联街景图像。

根据本公开的实施例，可以根据距离目标兴趣点的远近，从第一关联街景图像中筛选得到第一图像数量的关联街景图像，从第二关联街景图像中筛选得到第二图像数量的关联街景图像。例如，将第一关联街景图像中距离目标兴趣点较远的图像进行滤除。将第二关联街景图像中距离目标兴趣点较远的图像进行滤除。

根据本公开的实施例，第一图像数量和第二图像数量可以根据实际需求进行调整。

根据本公开的实施例，可以根据所需视频时长和视频帧率动态计算第一图像数量和第二图像数量。

根据本公开的实施例，根据目标街景图像和筛选后的关联街景图像，生成与目标兴趣点对应的街景视频包括：矫正筛选后的关联街景图像的朝向角度，使得筛选后的关联街景图像都朝向目标兴趣点；以及根据目标街景图像和矫正朝向后的关联街景图像，生成与目标兴趣点对应的街景视频。

根据本公开的实施例，在得到筛选后的关联街景图像之后，可以根据关联街景图像与目标兴趣点的坐标计算关联街景图像相对于目标兴趣点的朝向角度，根据朝向角度将目标街景图像和筛选后的关联街景图像都整合在一个球模型中。然后在球模型中按照一定的截图角度对街景图像进行截图，从而矫正筛选后的关联街景图像的朝向角度。

根据本公开的实施例，对于较长路口拐弯时，可以频繁计算截图角度使其视频效果更平滑。

通过本公开的实施例，根据目标街景图像和矫正朝向后的关联街景图像，生成与目标兴趣点对应的街景视频，使得生成的街景视频更平滑，降低了用户观看视频的晕眩感。

根据本公开的实施例，与关联道路对应的关联街景图像包括多帧；根据目标街景图像和关联街景图像，生成与目标兴趣点对应的街景视频包括：

确定每帧关联街景图像相对于目标兴趣点的朝向角度；

根据每帧关联街景图像的朝向角度对多帧与关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像；以及

根据目标街景图像和筛选后的关联街景图像，生成与目标兴趣点对应的街景视频。

图8示意性示出了根据本公开实施例的每帧关联街景图像相对于目标兴趣点的朝向角度的示意图。

根据本公开的实施例，可以根据每帧关联街景图像的位置信息和目标兴趣点的位置信息计算朝向角度。如图8所示，示意性示出了5帧关联街景图像分别相对于目标兴趣点的朝向角度为A1、A2、A3、B1和B2。

根据本公开的实施例，根据每帧关联街景图像的朝向角度对多帧与关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像包括：

根据每帧关联街景图像的朝向角度，从多帧与关联道路对应的关联街景图像中滤除朝向角度不在预设角度范围内的关联街景图像，得到朝向角度在预设角度范围内的关联街景图像。

根据本公开的实施例，预设角度范围例如可以是大于20°。可以将每帧关联街景图像的朝向角度与阈值20°进行比较，如果朝向角度大于阈值20°，则保留该关联街景图像。如果朝向角度小于阈值20°，则滤除该关联街景图像。

根据本公开的实施例，预设角度范围可以根据生成街景视频所需的图像数量进行确定。

根据本公开的实施例，根据每帧关联街景图像的朝向角度对多帧与关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像包括：

根据用于生成街景视频所需的图像数量和每帧关联街景图像的朝向角度对多帧与关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像。

根据本公开的实施例，在用于生成街景视频所需的图像数量较少时，可以尽量选择朝向角度较大的关联街景图像；在用于生成街景视频所需的图像数量较多时，可以适当选择朝向角度较小的关联街景图像。

根据本公开的实施例，在用于生成街景视频所需的图像数量较少时，可以设置预设角度范围为小范围，在用于生成街景视频所需的图像数量较大时，可以设置预设角度范围为大范围。即，预设角度范围可以根据生成街景视频所需的图像数量进行确定。根据预设角度范围和关联街景图像的朝向角度，可以对关联街景图像进行筛选。

根据本公开的实施例，根据用于生成街景视频所需的图像数量和每帧关联街景图像的朝向角度对多帧与关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像包括：

确定第一朝向角度范围需要设置的第三图像数量和第二朝向角度范围需要设置的第四图像数量，其中，第三图像数量和第四图像数量之和等于上述用于生成街景视频所需的图像数量；

根据每帧关联街景图像的朝向角度，将多帧关联街景图像划分为朝向角度属于第一朝向角度范围的第三关联街景图像和朝向角度属于第二朝向角度范围的第四关联街景图像；

从第三关联街景图像中筛选得到第三图像数量的关联街景图像；以及

从第四关联街景图像中筛选得到第四图像数量的关联街景图像。

根据本公开的实施例，如图8所示，第一朝向角度范围可以是为目标兴趣点第一侧的图像所设置的范围；第二朝向角度范围可以是为目标兴趣点第二侧的图像所设置的范围。

根据本公开的实施例，第一朝向角度范围和第二朝向角度范围可以相同，也可以不同。可以根据用于生成街景视频所需的图像数量和预设比例，确定第一朝向角度范围需要设置的第三图像数量和第二朝向角度范围需要设置的第四图像数量。

根据本公开的实施例，第一朝向角度范围例如可以是0～90°，第二朝向角度范围例如也可以是0～90°。或者，第一朝向角度范围例如可以是10～90°，第二朝向角度范围例如也可以是20～90°。

根据本公开的实施例，第三图像数量和第四图像数量的比例例如可以是4∶2，或者5∶3等等。

根据本公开的实施例，分别从第三关联街景图像中和第四关联街景图像中筛选得到关联街景图像的方式不做限定。例如，可以设置第一朝向角度范围和第二朝向角度范围更小的角度范围来筛选关联街景图像。或者，从所有第三关联街景图像中每间隔一定数量的图像选择一帧图像，从所有第四关联街景图像中每间隔一定数量的图像选择一帧图像，得到筛选后的关联街景图像。

根据本公开的实施例，根据目标兴趣点POI和全景图挂接关系，找到图像唯一标识ID，进一步找到该图像所属的道路标识。根据当前道路标识，依赖道路拓扑关系，通过一些策略向前向后延展，自动化找出周边道路。将周边道路上所有的全景图像作为一个集合，分别对图像进行处理后统一一次合成单点POI视频，并对POI视频添加合适的文字标注以及音频信息。

图9示意性示出了根据本公开实施例的街景视频生成装置的框图。

如图9所示，街景视频生成装置900包括：第一获取模块910、第一确定模块920、第二确定模块930、第三确定模块940和生成模块950。

第一获取模块910，用于获取与目标兴趣点对应的目标街景图像。

第一确定模块920，用于确定上述目标街景图像所属的目标道路。

第二确定模块930，用于根据道路拓扑关系和上述目标道路的目标道路标识，确定位于上述目标道路周边的关联道路。

第三确定模块940，用于根据上述关联道路的关联道路标识确定与上述关联道路对应的关联街景图像。

生成模块950，用于根据上述目标街景图像和上述关联街景图像，生成与上述目标兴趣点对应的街景视频。

通过本公开的实施例，利用道路拓扑关系和目标道路标识，确定位于目标道路周边的关联道路；根据关联道路的关联道路标识确定与关联道路对应的关联街景图像；以及根据目标街景图像和关联街景图像，生成与目标兴趣点对应的街景视频。通过自动化处理街景图像，合成街景视频，引入了一种动态的街景交互方式，提供了一种有效的视频合成方法，用户可以通过视频了解某POI周边的真实信息，无需依赖用户手动逐一查看街景，使得用户可以获得目标兴趣点的视频图像，提高了用户体验。

通过本公开的实施例，使得街景浏览从静态转变为动态，交互性更强，可以拓展更多可能性，丰富产品形态，可自动化、批量制作街景视频。

根据本公开的实施例，与上述关联道路对应的关联街景图像包括多帧；街景视频生成装置900还包括：第四确定模块，用于确定用于生成上述街景视频所需的图像数量。

其中，上述生成模块包括：第一筛选单元和第一生成单元。

第一筛选单元，用于根据上述图像数量对多帧与上述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像；以及

第一生成单元，用于根据上述目标街景图像和上述筛选后的关联街景图像，生成与上述目标兴趣点对应的街景视频。

根据本公开的实施例，上述第一筛选单元包括：第一确定子单元、第一划分子单元、第一筛选子单元和第二筛选子单元。

第一确定子单元，用于确定在上述目标兴趣点第一侧需要设置的第一图像数量和在上述目标兴趣点第二侧需要设置的第二图像数量，其中，上述第一图像数量和上述第二图像数量之和等于上述图像数量，上述第一侧需要设置的第一图像数量和上述第二侧需要设置的第二图像数量是用于生成上述街景视频需要的数量；

第一划分子单元，用于根据每帧上述关联街景图像对应的关联道路标识和上述目标道路标识，将多帧与上述关联道路对应的关联街景图像划分为位于上述目标兴趣点第一侧的第一关联街景图像和位于上述目标兴趣点第二侧的第二关联街景图像；

第一筛选子单元，用于从上述第一关联街景图像中筛选得到上述第一图像数量的关联街景图像；以及

第二筛选子单元，用于从上述第二关联街景图像中筛选得到上述第二图像数量的关联街景图像。

根据本公开的实施例，上述第一生成单元包括：矫正子单元和生成子单元。

矫正子单元，用于矫正上述筛选后的关联街景图像的朝向角度，使得上述筛选后的关联街景图像都朝向上述目标兴趣点；以及

生成子单元，根据上述目标街景图像和矫正朝向后的关联街景图像，生成与上述目标兴趣点对应的街景视频。

根据本公开的实施例，与上述关联道路对应的关联街景图像包括多帧；上述生成模块包括：第一确定单元、第二筛选单元和第二生成单元。

第一确定单元，用于确定每帧上述关联街景图像相对于上述目标兴趣点的朝向角度；

第二筛选单元，用于根据每帧上述关联街景图像的朝向角度对多帧与上述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像；

第二生成单元，用于根据上述目标街景图像和上述筛选后的关联街景图像，生成与上述目标兴趣点对应的街景视频。

根据本公开的实施例，上述第二筛选单元用于：根据每帧上述关联街景图像的朝向角度，从多帧与上述关联道路对应的关联街景图像中滤除朝向角度不在预设角度范围内的关联街景图像，得到朝向角度在上述预设角度范围内的关联街景图像。

根据本公开的实施例，街景视频生成装置900还包括：第五确定模块，用于确定用于生成上述街景视频所需的图像数量；

其中，上述第二筛选单元用于：根据上述图像数量和每帧上述关联街景图像的朝向角度对多帧与上述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像。

根据本公开的实施例，上述第二筛选单元包括：第二确定子单元、第二划分子单元、第三筛选子单元和第四筛选子单元。

第二确定子单元，用于确定第一朝向角度范围需要设置的第三图像数量和第二朝向角度范围需要设置的第四图像数量，其中，上述第三图像数量和上述第四图像数量之和等于上述图像数量；

第二划分子单元，用于根据每帧上述关联街景图像的朝向角度，将多帧上述关联街景图像划分为朝向角度属于上述第一朝向角度范围的第三关联街景图像和朝向角度属于上述第二朝向角度范围的第四关联街景图像；

第三筛选子单元，用于从上述第三关联街景图像中筛选得到上述第三图像数量的关联街景图像；以及

第四筛选子单元，用于从上述第四关联街景图像中筛选得到上述第四图像数量的关联街景图像。

根据本公开的实施例，上述第四确定模块包括：第二确定单元和第三确定单元。

第二确定单元，用于确定上述街景视频的视频帧率和视频时长；以及

第三确定单元，用于根据上述视频帧率和上述视频时长确定上述图像数量。

根据本公开的实施例，上述第一确定模块用于：根据图像与道路映射关系确定上述目标街景图像所属的目标道路，其中，上述图像与道路映射关系包括不同道路分别对应的一帧或多帧街景图像。

根据本公开的实施例，街景视频生成装置900还包括：第二获取模块和添加模块。

第二获取模块，用于获取与上述目标兴趣点关联的描述内容；以及

添加模块，用于将上述描述内容添加至上述街景视频中。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如街景视频生成方法。例如，在一些实施例中，街景视频生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的街景视频生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行街景视频生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种街景视频生成方法，包括：

获取与目标兴趣点对应的目标街景图像；

确定所述目标街景图像所属的目标道路；

根据道路拓扑关系和所述目标道路的目标道路标识，确定位于所述目标道路周边的关联道路；

根据所述关联道路的关联道路标识确定与所述关联道路对应的关联街景图像；以及

根据所述目标街景图像和所述关联街景图像，生成与所述目标兴趣点对应的街景视频。

2.根据权利要求1所述的方法，其中，与所述关联道路对应的关联街景图像包括多帧；所述方法还包括：

确定用于生成所述街景视频所需的图像数量；

其中，根据所述目标街景图像和所述关联街景图像，生成与所述目标兴趣点对应的街景视频包括：

根据所述图像数量对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像；以及

根据所述目标街景图像和所述筛选后的关联街景图像，生成与所述目标兴趣点对应的街景视频。

3.根据权利要求2所述的方法，其中，所述根据所述图像数量对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像包括：

确定在所述目标兴趣点第一侧需要设置的第一图像数量和在所述目标兴趣点第二侧需要设置的第二图像数量，其中，所述第一图像数量和所述第二图像数量之和等于所述图像数量，所述第一侧需要设置的第一图像数量和所述第二侧需要设置的第二图像数量是用于生成所述街景视频需要的数量；

根据每帧所述关联街景图像对应的关联道路标识和所述目标道路标识，将多帧与所述关联道路对应的关联街景图像划分为位于所述目标兴趣点第一侧的第一关联街景图像和位于所述目标兴趣点第二侧的第二关联街景图像；

从所述第一关联街景图像中筛选得到所述第一图像数量的关联街景图像；以及

从所述第二关联街景图像中筛选得到所述第二图像数量的关联街景图像。

4.根据权利要求2或3所述的方法，其中，所述根据所述目标街景图像和所述筛选后的关联街景图像，生成与所述目标兴趣点对应的街景视频包括：

矫正所述筛选后的关联街景图像的朝向角度，使得所述筛选后的关联街景图像都朝向所述目标兴趣点；以及

根据所述目标街景图像和矫正朝向后的关联街景图像，生成与所述目标兴趣点对应的街景视频。

5.根据权利要求1所述的方法，其中，与所述关联道路对应的关联街景图像包括多帧；所述根据所述目标街景图像和所述关联街景图像，生成与所述目标兴趣点对应的街景视频包括：

确定每帧所述关联街景图像相对于所述目标兴趣点的朝向角度；

根据每帧所述关联街景图像的朝向角度对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像；以及

根据所述目标街景图像和所述筛选后的关联街景图像，生成与所述目标兴趣点对应的街景视频。

6.根据权利要求5所述的方法，其中，所述根据每帧所述关联街景图像的朝向角度对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像包括：

根据每帧所述关联街景图像的朝向角度，从多帧与所述关联道路对应的关联街景图像中滤除朝向角度不在预设角度范围内的关联街景图像，得到朝向角度在所述预设角度范围内的关联街景图像。

7.根据权利要求5所述的方法，还包括：

确定用于生成所述街景视频所需的图像数量；

其中，所述根据每帧所述关联街景图像的朝向角度对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像包括：

根据所述图像数量和每帧所述关联街景图像的朝向角度对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像。

8.根据权利要求7所述的方法，其中，所述根据所述图像数量和每帧所述关联街景图像的朝向角度对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像包括：

确定第一朝向角度范围需要设置的第三图像数量和第二朝向角度范围需要设置的第四图像数量，其中，所述第三图像数量和所述第四图像数量之和等于所述图像数量；

根据每帧所述关联街景图像的朝向角度，将多帧所述关联街景图像划分为朝向角度属于所述第一朝向角度范围的第三关联街景图像和朝向角度属于所述第二朝向角度范围的第四关联街景图像；

从所述第三关联街景图像中筛选得到所述第三图像数量的关联街景图像；以及

从所述第四关联街景图像中筛选得到所述第四图像数量的关联街景图像。

9.根据权利要求2或7所述的方法，其中，所述确定用于生成所述街景视频所需的图像数量包括：

确定所述街景视频的视频帧率和视频时长；以及

根据所述视频帧率和所述视频时长确定所述图像数量。

10.根据权利要求1所述的方法，其中，所述确定所述目标街景图像所属的目标道路包括：

根据图像与道路映射关系确定所述目标街景图像所属的目标道路，其中，所述图像与道路映射关系包括不同道路分别对应的一帧或多帧街景图像。

11.根据权利要求1所述的方法，还包括：

获取与所述目标兴趣点关联的描述内容；以及

将所述描述内容添加至所述街景视频中。

12.一种街景视频生成装置，包括：

第一获取模块，用于获取与目标兴趣点对应的目标街景图像；

第一确定模块，用于确定所述目标街景图像所属的目标道路；

第二确定模块，用于根据道路拓扑关系和所述目标道路的目标道路标识，确定位于所述目标道路周边的关联道路；

第三确定模块，用于根据所述关联道路的关联道路标识确定与所述关联道路对应的关联街景图像；以及

生成模块，用于根据所述目标街景图像和所述关联街景图像，生成与所述目标兴趣点对应的街景视频。

13.根据权利要求12所述的装置，其中，与所述关联道路对应的关联街景图像包括多帧；所述装置还包括：

第四确定模块，用于确定用于生成所述街景视频所需的图像数量；

其中，所述生成模块包括：

第一筛选单元，用于根据所述图像数量对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像；以及

第一生成单元，用于根据所述目标街景图像和所述筛选后的关联街景图像，生成与所述目标兴趣点对应的街景视频。

14.根据权利要求13所述的装置，其中，所述第一筛选单元包括：

第一确定子单元，用于确定在所述目标兴趣点第一侧需要设置的第一图像数量和在所述目标兴趣点第二侧需要设置的第二图像数量，其中，所述第一图像数量和所述第二图像数量之和等于所述图像数量，所述第一侧需要设置的第一图像数量和所述第二侧需要设置的第二图像数量是用于生成所述街景视频需要的数量；

第一划分子单元，用于根据每帧所述关联街景图像对应的关联道路标识和所述目标道路标识，将多帧与所述关联道路对应的关联街景图像划分为位于所述目标兴趣点第一侧的第一关联街景图像和位于所述目标兴趣点第二侧的第二关联街景图像；

第一筛选子单元，用于从所述第一关联街景图像中筛选得到所述第一图像数量的关联街景图像；以及

第二筛选子单元，用于从所述第二关联街景图像中筛选得到所述第二图像数量的关联街景图像。

15.根据权利要求13或14所述的装置，其中，所述第一生成单元包括：

矫正子单元，用于矫正所述筛选后的关联街景图像的朝向角度，使得所述筛选后的关联街景图像都朝向所述目标兴趣点；以及

生成子单元，根据所述目标街景图像和矫正朝向后的关联街景图像，生成与所述目标兴趣点对应的街景视频。

16.根据权利要求12所述的装置，其中，与所述关联道路对应的关联街景图像包括多帧；所述生成模块包括：

第一确定单元，用于确定每帧所述关联街景图像相对于所述目标兴趣点的朝向角度；

第二筛选单元，用于根据每帧所述关联街景图像的朝向角度对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像；以及

第二生成单元，用于根据所述目标街景图像和所述筛选后的关联街景图像，生成与所述目标兴趣点对应的街景视频。

17.根据权利要求16所述的装置，还包括：

第五确定模块，用于确定用于生成所述街景视频所需的图像数量；

其中，所述第二筛选单元用于：

根据所述图像数量和每帧所述关联街景图像的朝向角度对多帧与所述关联道路对应的关联街景图像进行筛选，得到筛选后的关联街景图像。

18.根据权利要求17所述的装置，其中，所述第二筛选单元包括：

第二确定子单元，用于确定第一朝向角度范围需要设置的第三图像数量和第二朝向角度范围需要设置的第四图像数量，其中，所述第三图像数量和所述第四图像数量之和等于所述图像数量；

第二划分子单元，用于根据每帧所述关联街景图像的朝向角度，将多帧所述关联街景图像划分为朝向角度属于所述第一朝向角度范围的第三关联街景图像和朝向角度属于所述第二朝向角度范围的第四关联街景图像；

第三筛选子单元，用于从所述第三关联街景图像中筛选得到所述第三图像数量的关联街景图像；以及

第四筛选子单元，用于从所述第四关联街景图像中筛选得到所述第四图像数量的关联街景图像。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

Images