CN112954291A - 处理车辆的3d全景图像或视频的方法、装置及存储介质 - Google Patents

Abstract

公开了处理车辆的3D全景图像或视频的方法、装置及存储介质。处理车辆的3D全景图像或视频的方法包括：接收第一车辆的3D全景图像或视频，第一车辆的3D全景图像或视频是基于由设置在第一车辆外部的多个摄像头拍摄的图像或视频而生成的；以及用第二车辆的3D模型替换3D全景图像或视频中的第一车辆，从而生成更新的3D全景图像或视频，以供进行显示，其中第二车辆是预先选择的车辆，并且，在更新的3D全景图像或视频中，相比于第一车辆，第二车辆具有相对应的姿态角。

Description

处理车辆的3D全景图像或视频的方法、装置及存储介质

技术领域

本公开涉及处理车辆的3D全景图像或视频的方法、装置及存储介质。

背景技术

近年来，已经在车辆上实现了全景摄像功能。通常，由设置在车辆外部的前方、后方、左侧和右侧的四个广角摄像头采集图像，并且由车辆内部的图像处理系统对所采集的图像进行拼接从而生成车辆的3D全景图像(即360°全景图像)。

发明内容

本公开的一个目的是提供一种新的处理车辆的3D全景图像或视频的方法和装置。

本公开提出了处理车辆的3D全景图像或视频的方法，该方法包括：接收第一车辆的3D全景图像或视频，第一车辆的3D全景图像或视频是基于由设置在第一车辆外部的多个摄像头拍摄的图像或视频而生成的；以及用第二车辆的3D模型替换3D全景图像或视频中的第一车辆，从而生成更新的3D全景图像或视频，以供进行显示，其中第二车辆是预先选择的车辆，并且，在更新的3D全景图像或视频中，相比于第一车辆，第二车辆具有相对应的姿态角。

从参考附图的以下描述中，本公开其他特征和优点将变得清楚。

附图说明

并入说明书中并构成说明书的一部分的附图图示了本公开的实施例，并且与说明书一起用于解释本公开的原理而没有限制。在各图中，类似的标号用于表示类似的项目。

图1是根据本公开的一些实施例的示例性3D全景图像和视频处理装置的框图。

图2是图示根据本公开的一些实施例的示例性3D全景图像和视频处理方法的流程图。

图3示出了根据本公开的一些实施例的其中可应用本公开的一般硬件环境。

具体实施方式

在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。但是，对于本领域技术人员清楚的是，所描述的实施例可以在没有这些具体细节中的一些或全部的情况下进行实践。在所描述的示例性实施例中，为了避免不必要地模糊本公开的概念，没有详细描述众所周知的结构或处理步骤。

下文所示的每个框图内的方框可以通过硬件、软件、固件或其任意组合来实现以实现本公开的原理。本领域技术人员应该理解的是，每个框图中描述的方框可以被组合或分成子框来实现本公开的原理。

本公开中呈现的方法的步骤旨在是说明性的。在一些实施例中，该方法可以用未描述的一个或多个附加步骤来完成和/或在没有所讨论的一个或多个步骤的情况下完成。此外，方法的步骤被图示和描述的顺序并不旨在是限制性的。

在本公开中，车辆的“姿态角”包括俯仰角(pitch)、偏航角(yaw)、和滚转角(roll)。这些角度的含义是已知的。应理解，在一些情况下，比如在车辆位于水平地面上的情况下，那么可以仅考虑偏航角作为车辆的“姿态角”。

在本公开中，“车辆的3D全景图像”一般地指以车辆作为主体并且以车辆周围的实际场景作为附属的三维立体图像。“主体”例如指3D车辆占3D全景图像的空间的一半以上。

图1是根据本公开的一些实施例的示例性3D全景图像和视频处理装置100的框图。如图1所示，装置100可以包括：接收部件110，被配置成接收第一车辆的3D全景图像或视频，第一车辆的3D全景图像或视频是基于由设置在第一车辆外部的多个摄像头拍摄的图像或视频而生成的；视野扩展部件120，被配置成接收由设置在第一车辆内部的行车记录仪的摄像头拍摄的图像或视频，并且将由行车记录仪的摄像头拍摄的图像或视频合并到第一车辆的3D全景图像或视频中，和/或接收由第一车辆附近的一台或多台第三车辆拍摄的3D全景图像或视频，并且将由第三车辆拍摄的图像或视频合并到第一车辆的3D全景图像或视频中；车辆替换部件130，被配置成用第二车辆的3D模型替换3D全景图像或视频中的第一车辆，从而生成更新的3D全景图像或视频，以供进行显示，其中第二车辆是预先选择的车辆，并且，在更新的3D全景图像或视频中，相比于第一车辆，第二车辆具有相对应的姿态角；以及更改部件140，被配置成更改对第二车辆进行观看的视角，更改第二车辆的外观配置，切换第二车辆的车灯的开关状态，更改场景图像，和/或更改第二车辆的车型。

尽管在图1中未示出，装置100还可以包括本地的或者远程的存储部件，该存储部件可以存储包含第二车辆在内的多台车辆的3D模型，并且该存储部件还可以临时缓存更新的图像或者视频。存储部件还可以根据实际需要存储其他的数据或信息。

在一些实施例中，第一车辆是用户的自有车辆。考虑这样的情境：用户在车辆展厅内，而他的车停放在户外的草地上。用户可以通过他的智能手机远程地操控他的车，从而经由智能手机取得并显示他的车的3D全景图像或视频。在3D全景图像或视频中，可以看到用户的车的3D显示(即用户的车的3D模型)以及周围的草地的3D显示。应理解，所显示的车辆的3D模型通常与真实车辆具有相对应的姿态(或者，基本上相同的姿态)。如之前提及，通过由设置在车辆外部的四个或更多个广角摄像头采集图像，并且由车辆内部的图像处理系统对所采集的图像进行拼接，能够得到车辆的3D全景图像或视频。应理解，这里的图像采集和图像拼接是已有的技术。简言之，车辆外部的四个或更多个广角摄像头能够采集到车辆周围的360°的图像。通过将采集到的图像拼接起来，然后映射到三维曲面模型(比如碗状模型)上，能够实现对图像的3D重构。进而能够实现对车辆的3D全景图像或视频的显示。

在本公开中，例如，可以采用如下的四个广角摄像头来采集图像：分别设置在前保险杠、后保险杠、左后视镜、和右后视镜处的四个广角摄像头。应理解，还可以采用车辆外部的更多个摄像头来采集图像。

根据本公开的3D全景图像和视频处理装置100可以是终端设备，比如智能终端设备，或者可以是服务器设备，比如由车辆制造商或经销商维护的服务器设备。在本公开中，智能终端设备可以包括：智能手机、平板电脑、AR(增强现实)眼镜、MR(混合现实)眼镜等。

下文将进一步详细描述如图1所示的各部件的操作。

图2是图示根据本公开一些实施例的示例性3D全景图像和视频处理方法200的流程图。在以下描述中，介绍对车辆的3D全景图像的处理方式。应理解，对车辆的3D全景视频的处理方式会是类似的。具体而言，可以用处理3D全景图像的方式来处理视频中的每个帧。

方法200从步骤S210开始，在步骤S210处，接收部件110接收第一车辆的3D全景图像。此3D全景图像例如可以是由第一车辆内部的图像处理系统生成的。例如，部件110可以接收到如下的3D全景图像：其中可以看到第一车辆的3D显示以及周围草地的3D显示。第一车辆可以是静止的，或者可以是运动的。在第一车辆是运动的情况下，可以取得第一车辆的3D全景视频。

在一些实施例中，设置在第一车辆外部的多个摄像头中的至少一个摄像头的空间位置能改变，使得能够跟踪在第一车辆的3D全景图像中的感兴趣的对象。举例而言，至少一个摄像头可以在上下方向和/或左右方向上移动，从而跟踪在第一车辆附近的运动对象。在运动对象快要移动出第一车辆的多个摄像头的视野时，例如相应的摄像头能够在上下方向和/或左右方向上移动，从而跟踪运动对象的移动。应理解，实际上，摄像头可以根据需要在任意方向上移动，这可以通过简单的机械结构来实现。通过采用空间位置可变的摄像头，能够扩展第一车辆的多个摄像头的视野。

在另一些实施例中，设置在第一车辆外部的多个摄像头中的至少一个摄像头是可变焦的摄像头。这样，能够实现对感兴趣对象的放大/缩小显示。

方法200前进到步骤S220，在步骤S220处，视野扩展部件120接收由安装在第一车辆上的行车记录仪的摄像头拍摄的图像，并且将此图像合并到在步骤S210处接收到的3D全景图像中。行车记录仪的摄像头通常是广角摄像头。行车记录仪通常安装在车辆的前挡风玻璃的里侧的中间位置处，以期拍摄车辆前方的情况。应理解，相比于设置在前保险杠处的摄像头，行车记录仪的摄像头通常能够拍摄到更高位置处的对象。例如，行车记录仪的摄像头能够拍摄到车辆前方的天空、白云等等。通过将由行车记录仪的摄像头采集的图像合并到在步骤S210中接收到的第一车辆的3D全景图像中，使得能够扩展第一车辆的多个摄像头的视野。更具体而言，可以进一步地将由行车记录仪的摄像头采集的图像映射到如前所述的三维曲面模型上，从而得到第一车辆的扩展的3D全景图像。

方法200前进到步骤S230，在步骤S230处，视野扩展部件120接收由第一车辆附近的一台或多台第三车辆拍摄的3D全景图像，并且将此图像合并到在步骤S210处接收到的3D全景图像中。

考虑这样的情境：用户的两台车(以下称作第一车辆和第三车辆)并排停在海边，此时用户可以通过智能手机远程地操控这两台车，并且分别从这两台车取得车辆的3D全景图像。进一步地，可以将由第三车辆拍摄的图像(比如由第三车辆的多个摄像头拍摄的图像)合并到第一车辆的3D全景图像中。举例而言，在第一车辆仅能拍摄到一部分海边景象的情况下，可以将由第三车辆拍摄到的另一部分的海边景象与第一车辆拍摄的海边景象进行拼接，从而扩展第一车辆的多个摄像头的视野。更具体而言，可以将由第三车辆采集到的图像与由第一车辆采集到的图像进行拼接，然后将拼接后的图像映射到如前所述的三维曲面模型上，从而实现对第一车辆周围的图像的3D重构。又例如，在第三车辆位于第一车辆的左侧的情况下，可以用第三车辆的左侧摄像头的图像替换第一车辆的左侧摄像头的图像来生成第一车辆的3D全景图像。在这种情况下，在第一车辆的3D全景图像中，第三车辆可以是不存在的。

还可以考虑这样的情境：在车队出行的情况下，可以将由车队内的其他车辆拍摄的图像合并到车队中的第一车辆的3D全景图像中，从而扩展第一车辆的3D全景图像的视野。在这种情况下，车队中的多台车辆的相对位置关系可以是任意的。

这里，在第一车辆“附近”的第三车辆指：由第三车辆外部的广角摄像头拍摄到的周围环境与由第一车辆外部的广角摄像头拍摄到的周围环境有重叠。这使得对第一车辆的3D全景图像进行扩展成为可能。

应理解，在第三车辆同样通过行车记录仪的摄像头采集图像的情况下，可以类似地将第三车辆的行车记录仪的摄像头的图像合并到第一车辆的3D全景图像中。

还应理解，在步骤S220中，实现了3D全景图像的垂直方向(例如与车底盘平面垂直的方向)上的扩展。而在在步骤S230中，实现了3D全景图像的水平方向(例如与车底盘平面平行的方向)上的扩展。

接下来，方法200前进到步骤S240，在步骤S240处，车辆替换部件130用第二车辆的3D模型替换3D全景图像中的第一车辆，以供进行显示。在替换时，使得第二车辆具有与第一车辆对应的姿态角。可替代地，在替换时，使得第二车辆具有与第一车辆基本上相同的姿态角。这里，第二车辆可以是用户感兴趣的车辆。用户可以从车辆列表中预先选择感兴趣的车辆。这里，“替换”指用第二车辆的3D模型取代第一车辆的3D模型。

在一些实施例中，可以通过对第一车辆模型和第二车辆模型的关键部件的特征进行匹配，来使得第二车辆具有与第一车辆对应的姿态角。关键部件指辨识度高的部件，比如车灯、保险杠、前挡风玻璃、车门玻璃、轮毂、后视镜等等。

如之前提及的，在用户经由智能手机取得并显示他的车的3D全景图像的情况下，通过用用户感兴趣的第二车辆替换第一车辆，容易使用户对第二车辆产生熟悉感和好感。

在一些实施例中，第二车辆的姿态可以随着第一车辆的姿态改变而实时地改变。比如，在第一车辆是运动的情况下，第一车辆的姿态角可能实时地变化。通过使得第二车辆的姿态角跟踪第一车辆的姿态角变化，同样地，容易使用户对第二车辆产生熟悉感和好感。比如，在第一车辆爬坡时，第二车辆的3D模型同样处于爬坡姿态，而在第而车辆下坡时，第二车辆的3D模型同样处于下坡姿态。

接下来，方法200前进到步骤S250，在步骤S250处，更改部件140可以更改以下项目中的至少一个：对第二车辆进行观看的视角，第二车辆的外观配置，第二车辆的车灯的开关状态，场景图像，以及第二车辆的车型。可以响应于用户请求来执行更改操作。可替代地，可以自动地执行更改操作。例如，可以响应于用户的手势(比如用户的食指的移动)来更改对第二车辆进行观看的视角。可以在水平方向上从任意角度来观看第二车辆，在观看角度变化的同时，场景图像相应地变化。又例如，可以在显示更新的3D全景图像的同时，在更新的3D全景图像上叠加显示图形用户界面，供用户发起用户请求。比如，可以在更新的3D全景图像上叠加显示代表各个更改项的多个触摸按钮供用户点击。例如，经由所提供的多个触摸按钮，能够更改第二车辆的外观配置，比如颜色、纹路、是否提供车顶行李架等等；能够使车灯打开或者关闭；能够更改3D全景图像中的场景图像，比如将草地场景更改为海边场景等；并且能够更改第二车辆的车型。通过执行这些更改操作，能够为用户带来更丰富的体验。应理解，在更改第二车辆的车型的情况下，方法返回到步骤S240。在步骤S240处，部件130根据更改后的车型，重新生成更新的3D全景图像。

以上介绍了对3D全景图像的处理方式。对3D全景视频的处理方式会是类似的。在处理3D全景视频的情况下，车辆替换处理可以是实时的，因此，在接收视频的同时，可以实时地向用户显示处理后的视频。

以上参照图2介绍了示例性的3D全景图像和视频处理方法200。应理解，方法200可以由智能终端设备或者服务器设备单独执行。例如，方法200可以由用户的智能手机或者车辆展厅中的平板电脑离线地执行。可替代地，方法200可以由智能终端设备和服务器设备协同执行。在这种情况下，智能终端设备和服务器设备分别执行方法200的一部分。

本公开的3D全景图像和视频处理方法和装置能够从用户自有车辆的3D全景图像生成用户感兴趣车辆的3D全景图像，这使得用户对感兴趣车辆容易产生熟悉感和好感。并且，在用户选车的过程中，能够容易地看到感兴趣的车辆的各种外观配置的3D显示，这增加了用户选车的便利性和趣味性。

硬件实现

图3示出了根据本公开的示例性实施例的其中可应用本公开的一般硬件环境300。

参考图3，现在将描述作为可应用于本公开的各方面的硬件设备的示例的计算设备300。计算设备300可以是被配置成执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、便携式相机或其任意组合。上述装置100可以整体或至少部分地由计算设备300或类似的设备或系统来实现。

计算设备300可以包括能够经由一个或多个接口与总线302连接或者与总线302通信的元件。例如，计算设备300可以包括总线302、一个或多个处理器304、一个或多个输入设备306以及一个或多个输出设备308。一个或多个处理器304可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如专用处理芯片)。输入设备306可以是能够向计算设备输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备308可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端和/或打印机。计算设备300还可以包括非瞬态存储设备310或与非瞬态存储设备310连接，非瞬态存储设备310可以是非瞬态的并且可以实现数据存储库的任何存储设备，并且可以包括但不限于盘驱动器、光学存储设备、固态存储装置、软盘、柔性盘、硬盘、磁带或任何其它磁性介质、紧凑型盘或任何其它光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓存存储器和/或任何其它存储器芯片或盒带、和/或计算机可以从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备310可以是可从接口拆卸的。非暂态存储设备310可以具有用于实现上述方法和步骤的数据/指令/代码。计算设备300还可以包括通信设备312。通信设备312可以是能够与外部装置和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外通信设备、无线通信装备和/或诸如蓝牙^TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施等的芯片组。

总线302可以包括但不限于工业标准体系架构(ISA)总线、微通道体系架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线和外围组件互连(PCI)总线。

计算设备300还可以包括工作存储器314，工作存储器314可以是可以存储对处理器304的工作有用的指令和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。

软件要素可以位于工作存储器314中，包括但不限于操作系统316、一个或多个应用程序318、驱动程序和/或其它数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序318中，并且上述装置100的部件可以通过处理器304读取并执行一个或多个应用程序318的指令来实现。更具体地，视野扩展部件120可以例如由处理器304在执行具有执行步骤S220和/或步骤S230的指令的应用程序318时实现。车辆替换部件130可以例如由处理器304在执行具有执行步骤S240的指令的应用程序318时实现。类似地，接收部件110、更改部件140可以分别例如由处理器304在执行具有执行步骤S210、S250的指令的应用程序318时实现。软件要素的指令的可执行代码或源代码可以存储在非瞬态计算机可读存储介质(诸如上述(一个或多个)存储设备310)中，并且可以在可能编译和/或安装的情况下被读入到工作存储器314中。软件要素的指令的可执行代码或源代码也可以从远程位置下载。

从上述实施例中，本领域技术人员可以清楚地知晓，可以通过软件及必要的硬件来实现本公开，或者可以通过硬件、固件等来实现本公开。基于这种理解，可以部分地以软件形式来实现本公开的实施例。计算机软件可以存储在计算机的可读存储介质中，比如软盘、硬盘、光盘或闪存中。计算机软件包括使得计算机(例如个人计算机、服务站或网络终端)运行根据本公开的各个实施例的方法或其一部分的一系列指令。

已经这样描述了本公开，清楚的是，本公开可以以许多种方式变化。这些变化不被视为背离了本公开的精神和范围，而是对于本领域技术人员而言显而易见的所有这种修改意欲被包括在以下权利要求的范围中。

Claims (9)

1.一种处理车辆的3D全景图像或视频的方法，包括：

接收第一车辆的3D全景图像或视频，第一车辆的3D全景图像或视频是基于由设置在第一车辆外部的多个摄像头拍摄的图像或视频而生成的；以及

用第二车辆的3D模型替换3D全景图像或视频中的第一车辆，从而生成更新的3D全景图像或视频，以供进行显示，其中第二车辆是预先选择的车辆，并且，在更新的3D全景图像或视频中，相比于第一车辆，第二车辆具有相对应的姿态角。

2.根据权利要求1所述的方法，还包括：接收由设置在第一车辆内部的行车记录仪的摄像头拍摄的图像或视频，并且将由行车记录仪的摄像头拍摄的图像或视频合并到第一车辆的3D全景图像或视频中。

3.根据权利要求1所述的方法，还包括：

接收由第一车辆附近的一台或多台第三车辆拍摄的3D全景图像或视频，并且将由第三车辆拍摄的图像或视频合并到第一车辆的3D全景图像或视频中。

4.根据权利要求1所述的方法，其中，在更新的3D全景图像或视频中，第二车辆的姿态随着第一车辆的姿态改变而实时地改变。

5.根据权利要求1所述的方法，其中，设置在第一车辆外部的多个摄像头中的至少一个摄像头的空间位置能改变，使得能够跟踪在第一车辆的3D全景图像或视频中的感兴趣的对象。

6.根据权利要求1所述的方法，还包括：

更改对第二车辆进行观看的视角；

更改第二车辆的外观配置；

切换第二车辆的车灯的开关状态；

更改场景图像；和/或

更改第二车辆的车型。

7.一种处理车辆的3D全景图像或视频的装置，包括：

至少一个处理器；以及

至少一个存储设备，所述至少一个存储设备存储有指令，当所述指令由所述至少一个处理器执行时使得所述至少一个处理器执行如权利要求1-6中的任一项所述的方法。

8.一种计算机程序产品，其特征在于，包含指令，当所述指令由处理器执行时使得执行如权利要求1-6中的任一项所述的方法。

9.一种非瞬态计算机可读存储介质，其特征在于，存储有指令，当所述指令由处理器执行时使得执行如权利要求1-6中的任一项所述的方法。

Images