CN111757057B - 一种全景环视显示方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种全景环视显示方法、装置、设备及存储介质。本申请实施例提供的技术方案通过将车辆周向图像进行边缘融合得到车辆环境图像，并将边缘融合得到的车辆环境图像和车辆模型进行融合，并基于设定角度对融合后的车辆模型进行渲染得到车辆全景环视图像，并通过无线传输的方式将设定角度的车辆全景环视图像发送至移动显示终端上进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。

Description

一种全景环视显示方法、装置、设备及存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种全景环视显示方法、装置、设备及存储介质。

背景技术

随着科技的进步，各种车载辅助驾驶系统得到很大的发展，例如360全景环视系统。

360全景环视系统将同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身俯视图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离。

目前，360全景环视系统一般配备在高配版的汽车上，或者是为一些专门的车辆特别定制，如大巴车等。因360全景环视系统在使用时需要与车辆的中控系统共用一个显示屏，在使用时会与车辆原先的系统显示方案存在冲突，影响车辆使用体验。

发明内容

本申请实施例提供一种全景环视显示方法、装置、设备及存储介质，以将设定角度的车辆全景环视图像发送至移动显示终端进行显示，优化车辆使用体验。

在第一方面，本申请实施例提供了一种全景环视显示方法，包括：

基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，所述车辆周向图像由设置于车辆四周的摄像头拍摄得到；

基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像；

通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

进一步的，所述基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，包括：

接收摄像头回传的车辆周向图像；

基于摄像头的畸变参数对所述车辆周向图像进行畸变校正；

基于边缘融合算法对畸变校正后的多张车辆周向图像进行边缘融合，以得到车辆环境图像。

进一步的，所述基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像，包括：

获取车辆模型，所述车辆模型包括本体模型和地面模型；

基于所述车辆环境图像对所述地面模型进行纹理映射；

对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

进一步的，所述对车辆模型进行渲染，以获得设定角度的车辆全景环视图像，包括：

基于视角设定信息确定模型显示角度；

基于所述模型显示角度对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

进一步的，所述基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像之后，还包括：

将所述车辆全景环视图像保存至存储器；

所述通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像，包括：

响应于全景图像调用指令，调取存储器中的车辆全景环视图，所述全景图像调用指令由移动显示终端生成，并通过无线传输网络进行发送；

通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

进一步的，所述基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像之前，还包括：

根据车辆状态信息确定车辆状态，并根据车辆状态更新车辆模型，所述车辆状态信息由IO模块对车辆上的状态反馈信号进行收集得到。

进一步的，所述基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像，包括：

根据车辆状态信息确定车辆行驶角度；

根据车辆行驶角度基于所述车辆环境图像和车辆模型进行渲染，以得到对应于车辆行驶角度的车辆全景环视图像。

在第二方面，本申请实施例提供了一种全景环视显示装置，包括环境图像生成模块、全景图像生成模块和全景图像传输模块，其中：

环境图像生成模块，用于基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，所述车辆周向图像由设置于车辆四周的摄像头拍摄得到；

全景图像生成模块，用于基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像；

全景图像传输模块，用于通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

进一步的，所述环境图像生成模块具体用于：

接收摄像头回传的车辆周向图像；

基于摄像头的畸变参数对所述车辆周向图像进行畸变校正；

基于边缘融合算法对畸变校正后的多张车辆周向图像进行边缘融合，以得到车辆环境图像。

进一步的，所述全景图像生成模块具体用于：

获取车辆模型，所述车辆模型包括本体模型和地面模型；

基于所述车辆环境图像对所述地面模型进行纹理映射；

对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

进一步的，所述全景图像生成模块再对车辆模型进行渲染，以获得设定角度的车辆全景环视图像时，具体包括：

基于视角设定信息确定模型显示角度；

基于所述模型显示角度对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

进一步的，所述装置还包括图像存储模块，用于将所述车辆全景环视图像保存至存储器；

所述全景图像传输模块具体用于：

响应于全景图像调用指令，调取存储器中的车辆全景环视图，所述全景图像调用指令由移动显示终端生成，并通过无线传输网络进行发送；

通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

进一步的，所述装置还包括车辆状态确定模块，用于根据车辆状态信息确定车辆状态，并根据车辆状态更新车辆模型，所述车辆状态信息由IO模块对车辆上的状态反馈信号进行收集得到。

进一步的，所述全景图像生成模块具体用于：

根据车辆状态信息确定车辆行驶角度；

根据车辆行驶角度基于所述车辆环境图像和车辆模型进行渲染，以得到对应于车辆行驶角度的车辆全景环视图像。

在第三方面，本申请实施例提供了一种计算机设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的全景环视显示方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的全景环视显示方法。

本申请实施例通过将车辆周向图像进行边缘融合得到车辆环境图像，并将边缘融合得到的车辆环境图像和车辆模型进行融合，并基于设定角度对融合后的车辆模型进行渲染得到车辆全景环视图像，并通过无线传输的方式将设定角度的车辆全景环视图像发送至移动显示终端上进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。

附图说明

图1是本申请实施例提供的一种全景环视显示方法的流程图；

图2是本申请实施例提供的另一种全景环视显示方法的流程图；

图3是本申请实施例提供的另一种全景环视显示方法的流程图；

图4是本申请实施例提供的一种全景环视显示装置的结构示意图；

图5是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1给出了本申请实施例提供的一种全景环视显示方法的流程图，本申请实施例提供的全景环视显示方法可以由全景环视显示装置来执行，该全景环视显示装置可以通过硬件和/或软件的方式实现，并集成在计算机设备中。

下述以全景环视显示装置执行全景环视显示方法为例进行描述。参考图1，该全景环视显示方法包括：

S101：基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，所述车辆周向图像由设置于车辆四周的摄像头拍摄得到。

本实施例提供的全景环视显示装置可搭载在车辆上进行使用，在车辆的四周安装有多个摄像头，并且摄像头背向车辆设置，从而对车辆外侧环境进行拍摄，得到能反映车辆摄像头所在一侧的环境的车辆周向图像。同时，相邻的摄像头拍摄得到的车辆周向图像的(水平方向)边缘之间应存在重合部分，使得所有摄像头拍摄的车辆周向图像能无缝合成能反映车辆四周各个方向的环境的车辆环境图像。

可以理解的是，在完成摄像头的安装后，对摄像头进行标定得到摄像头的内外参数(畸变参数)，基于摄像头的内外参数可对拍摄得到的车辆周向图像进行畸变校正和/或融合拼接得到车辆环境图像。

示例性的，车辆周向图像由车辆上安装的摄像头进行拍摄得到，并在得到车辆周向图像后，基于边缘融合算法对相邻的车辆周向图像进行边缘融合拼接，得到车辆环境图像。

S102：基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像。

示例性的，在得到车辆环境图像后，将车辆环境图像融合到车辆模型中，即将车辆环境图像的颜色和纹理贴敷在车辆模型中，使得车辆模型可体现出车辆环境图像。

进一步的，根据设定的角度，将与车辆环境图像融合后的车辆模型进行二维图形渲染，得到设定角度的车辆全景环视图像。可以理解的是，车辆全景图像中同时体现出车辆模型以及车辆环境图像。

其中，对车辆模型进行渲染的设定角度可通过移动显示终端进行设置，并在移动显示终端上设置设定角度后，将该设定角度发送至全景环视显示装置中，全景环视显示装置在基于该设定角度对车辆模型进行渲染。可选的，可在移动显示终端的操作界面上显示可选择的设定角度，根据用户的选择操作确定回传给全景环视显示装置的设定角度，或者是在操作界面上显示车辆全景环视图像的同时，根据用户对车辆全景环视图像的旋转操作确定回传给全景环视显示装置的设定角度。

S103：通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

示例性的，在得到车辆全景环视图像后，通过无线传输网络向移动显示终端发送车辆全景环视图像。移动显示终端在接收到车辆全景环视图像后，对车辆全景环视图像进行显示。方便实时观察车辆四周环境，保证车辆安全驾驶。

进一步的，移动显示终端在接收到新的车辆全景环视图像后，利用新的车辆全景环视图像进行刷新，使得移动显示终端的显示界面上以此播放接收到的车辆全景环视图像，形成车辆环境图像随着车辆的前进动态刷新环境图像的实时显示效果，提升用户体验。

可选的，移动显示终端和全景环视显示装置之间的无线传输网络可以是基于蓝牙、WiFi、互联网、5G等无线通信方式进行搭建，并在移动显示终端和全景环视显示装置上搭建相应的无线通信模块进行无线传输。其中，移动显示终端可以是手机、平板电脑等终端设备。

上述，通过将车辆周向图像进行边缘融合得到车辆环境图像，并将边缘融合得到的车辆环境图像和车辆模型进行融合，并基于设定角度对融合后的车辆模型进行渲染得到车辆全景环视图像，并通过无线传输的方式将设定角度的车辆全景环视图像发送至移动显示终端上进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。

图2为本申请实施例提供的另一种全景环视显示方法的流程图，该全景环视显示方法是对上述全景环视显示方法的具体化。参考图2，该全景环视显示方法包括：

S201：接收摄像头回传的车辆周向图像。

其中，车辆周向图像由设置于车辆四周的摄像头拍摄得到。在本实施例中，以在车辆的前后左右四个位置各设置一个摄像头为例进行描述(例如，前视摄像头位置设置在车标附近的位置，左右摄像头设置在倒车镜附近，后视摄像头设置在车牌上方的位置)，并且摄像头优选为广角鱼眼镜头，使得相邻的摄像头拍摄所得的车辆周向图像存在重合部分。

具体的，各方向对应的摄像头在拍摄并得到车辆周向图像后，对车辆周向图像进行图像编码生成视频流，并将视频流发送至全景环视显示装置。全景环视显示装置对接收到的视频流进行解码并得到车辆周向图像。可选的，在对视频流进行解码时，可通过抽帧的方式抽取设定时间间隔或帧数的视频帧进行解码，减轻图像处理的计算资源占用。

S202：基于摄像头的畸变参数对所述车辆周向图像进行畸变校正。

具体的，在得到车辆周向图像后，根据各摄像头的畸变参数对车辆周向图像进行畸变校正。

其中，摄像头的畸变参数可通过张正友棋盘格标定法进行确定。在确定摄像头的畸变参数后，对畸变参数进行保存，在获取车辆周向图像后，基于Opencv和对应的畸变参数，对车辆周向图像进行畸变校正，即可输出校正后的车辆周向图像。

S203：基于边缘融合算法对畸变校正后的多张车辆周向图像进行边缘融合，以得到车辆环境图像。

具体的，在完成对车辆周向图像的畸变校正后，基于边缘融合算法对各摄像头对应的车辆周向图像进行边缘融合，并将边缘融合后生成的图像作为车辆环境图像。可以理解的是，车辆环境图像可同时体现车辆各摄像头拍摄的车辆周向图像，即同时体现车辆四周环境的图像。

其中，边缘融合算法基于现有图像边缘融合拼接软件进行即可，可参考现有360全景环视系统使用的图像处理软件，即在接收车辆周向图像后，基于图像和成算法将各路视频畸变校正后的图像进行融合拼接。

S204：获取车辆模型，所述车辆模型包括本体模型和地面模型，并基于所述车辆环境图像对所述地面模型进行纹理映射。

其中，车辆本体模型为车辆的三维模型，地面模型为模拟地面的板状三维模型，可以理解的是，将车辆本体模型放置在地面模型之上形成车辆模型，模拟出车辆在路面上行驶的姿态。

具体的，在拼接形成车辆环境图像后，获取该车辆的车辆模型，并获取车辆模型中的地面模型，利用车辆环境图像对地面模型进行纹理映射，例如根据车辆环境图像像素点和地面模型坐标点的映射关系，将车辆环境图像各像素点的颜色值复制给地面模型上的点，使得地面模型体现出与当时车辆行驶环境中的颜色纹理。

S205：基于视角设定信息确定模型显示角度，并基于所述模型显示角度对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

示例性的，在完成对地面模型的纹理映射后，可对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

具体的，根据视角设定信息确定在渲染车辆模型时的模型显示角度(相机视角)，并基于该模型显示角度对车辆模型进行二维图形渲染，得到设定角度(模型显示角度)的车辆全景环视图像。

其中，视角设定信息可通过移动显示终端进行设置，并在设置完成后将视角设定信息发送至全景环视显示装置。示例性的，可在移动显示终端的显示界面上显示可选择的设定角度(例如俯视视角、侧视视角、东南视角、西北视角等)，根据用户的选择操作确定回传给全景环视显示装置的视角设定信息，或者是在操作界面上显示车辆全景环视图像的同时，根据用户对车辆全景环视图像的旋转操作确定回传给全景环视显示装置的视角设定信息。进一步的，在为接收到移动显示终端发送的视角设定信息时，默认模型显示角度为俯视角度。

S206：通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

上述，通过将车辆周向图像进行边缘融合得到车辆环境图像，并将边缘融合得到的车辆环境图像和车辆模型进行融合，并基于设定角度对融合后的车辆模型进行渲染得到车辆全景环视图像，并通过无线传输的方式将设定角度的车辆全景环视图像发送至移动显示终端上进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。并且可通过在移动显示终端对模型显示角度进行设置，从而改变车辆全景环视图像中车辆以及地面图像的显示角度，方便用户根据自身需求设置车辆全景环视图像的显示方式，优化使用体验。

图3给出了本申请实施例提供的另一种全景环视显示方法的流程图，该全景环视显示方法是对上述全景环视显示方法的具体化。参考图3，该全景环视显示方法包括：

S301：基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像。

S302：根据车辆状态信息确定车辆状态，并根据车辆状态更新车辆模型。

其中，状态反馈信号由车辆上设置的车辆检测模块(例如车速检测模块、车门开关状态检测模块、温度检测模块、三轴传感器等)发出，IO模块对车辆上的状态反馈信号进行收集，并将收集的状态反馈信号整合成车辆状态信息发送至全景环视显示装置。

具体的，根据车辆状态信息确定车辆状态，并基于当前的车辆状态对车辆模型进行更新。例如，根据车辆状态信息确定车门开关状态，并根据各车门开关状态更新车辆模型中车门的显示状态(例如改变车门的开关状态或者是用不同颜色表示车门开关状态)。

S303：根据车辆状态信息确定车辆行驶角度。

具体的，根据车辆状态信息中三轴传感器反映的车辆当前相对于水平面的倾斜角度，从而确定当前车辆的车辆行驶角度。

S304：根据车辆行驶角度基于所述车辆环境图像和车辆模型进行渲染，以得到对应于车辆行驶角度的车辆全景环视图像。

具体的，在确定当前车辆的车辆行驶角度后，调整在渲染车辆模型时的模型显示角度(相机视角)，并基于该模型显示角度对车辆模型进行二维图形渲染，得到设定角度(模型显示角度)的车辆全景环视图像，此时渲染出的车辆全景环视图像相对于水平面的角度与车辆行驶角度相对应。

例如，车辆行驶在上坡路段时，三轴传感器检测到车辆行驶在倾斜向上的车辆行驶角度，在对车辆模型进行渲染时，将相机视角设置为与该车辆行驶角度对应，渲染出的车辆全景环视图像可观察到车辆处于倾斜向上的行驶姿态。其中，相机的位姿参数与车辆行驶角度的对应关系可预先保存在角度姿态对应表中，根据车辆行驶角度对应的调度范围可对应确定相机位姿参数，从而确定相机视角。

S305：将所述车辆全景环视图像保存至存储器。

具体的，在生成车辆全景环视图像后，将车辆全景环视图像保存到存储器中。可以理解的是，该存储器可以是内置在全景环视显示装置中的存储器件，还可以是外置的存储器件。将车辆全景环视图像保存到存储器，方便对车辆全景环视图像的记录和调用。

S306：响应于全景图像调用指令，调取存储器中的车辆全景环视图像。

S307：通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

其中，全景图像调用指令由移动显示终端生成，并通过无线传输网络发送至全景环视显示装置。可选的，全景图像调用指令默认调用最新的车辆全景环视图像，还可以是调用一个时间段内的车辆全景环视图像。

全景环视显示装置在接收到全景图像调用指令后，若全景图像调用指令要求调用的是最新的车辆全景环视图像。则从存储器中调取最新保存的车辆全景环视图像，并通过无线传输网络将车辆全景环视图像发送至移动显示终端，以使移动显示终端显示车辆全景环视图像。

若全景图像调用指令要求调用的是一个时间段的车辆全景环视图像，则根据指定的时间段的两个端点确定在这个时间段内的车辆全景环视图像，并根据时间先后顺序，通过无线传输网络向移动显示终端发送车辆全景环视图像，以使移动显示终端依次显示车辆全景环视图像。

上述，通过将车辆周向图像进行边缘融合得到车辆环境图像，并将边缘融合得到的车辆环境图像和车辆模型进行融合，并基于设定角度对融合后的车辆模型进行渲染得到车辆全景环视图像，并通过无线传输的方式将设定角度的车辆全景环视图像发送至移动显示终端上进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。并且根据车辆状态以及车辆行驶角度确定车辆全景环视图像中车辆显示的姿态，方便用户实时了解车辆的行驶状态。并将车辆全景环视图像保存到存储器，方便对车辆全景环视图像进行记录以及后期的调用，进一步提高车辆的安全驾驶。

图4为本申请实施例提供的一种全景环视显示装置的结构示意图。参考图4，本实施例提供的全景环视显示装置包括环境图像生成模块41、全景图像生成模块42和全景图像传输模块43。

其中，环境图像生成模块41，用于基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，所述车辆周向图像由设置于车辆四周的摄像头拍摄得到；全景图像生成模块42，用于基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像；全景图像传输模块43，用于通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

上述，通过将车辆周向图像进行边缘融合得到车辆环境图像，并将边缘融合得到的车辆环境图像和车辆模型进行融合，并基于设定角度对融合后的车辆模型进行渲染得到车辆全景环视图像，并通过无线传输的方式将设定角度的车辆全景环视图像发送至移动显示终端上进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。

在一个可能的实施例中，所述环境图像生成模块41具体用于：

接收摄像头回传的车辆周向图像；

基于摄像头的畸变参数对所述车辆周向图像进行畸变校正；

基于边缘融合算法对畸变校正后的多张车辆周向图像进行边缘融合，以得到车辆环境图像。

在一个可能的实施例中，所述全景图像生成模块42具体用于：

获取车辆模型，所述车辆模型包括本体模型和地面模型；

基于所述车辆环境图像对所述地面模型进行纹理映射；

对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

在一个可能的实施例中，所述全景图像生成模块42再对车辆模型进行渲染，以获得设定角度的车辆全景环视图像时，具体包括：

基于视角设定信息确定模型显示角度；

基于所述模型显示角度对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

在一个可能的实施例中，所述装置还包括图像存储模块，用于将所述车辆全景环视图像保存至存储器；

所述全景图像传输模块43具体用于：

响应于全景图像调用指令，调取存储器中的车辆全景环视图，所述全景图像调用指令由移动显示终端生成，并通过无线传输网络进行发送；

通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

在一个可能的实施例中，所述装置还包括车辆状态确定模块，用于根据车辆状态信息确定车辆状态，并根据车辆状态更新车辆模型，所述车辆状态信息由IO模块对车辆上的状态反馈信号进行收集得到。

在一个可能的实施例中，所述全景图像生成模块42具体用于：

根据车辆状态信息确定车辆行驶角度；

根据车辆行驶角度基于所述车辆环境图像和车辆模型进行渲染，以得到对应于车辆行驶角度的车辆全景环视图像。

本申请实施例还提供了一种计算机设备，该计算机设备可集成本申请实施例提供的全景环视显示装置。图5是本申请实施例提供的一种计算机设备的结构示意图。参考图5，该计算机设备包括：输入装置53、输出装置54、存储器52以及一个或多个处理器51；所述存储器52，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器51执行，使得所述一个或多个处理器51实现如上述实施例提供的全景环视显示方法。其中输入装置53、输出装置54、存储器52和处理器51可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器52作为一种计算设备可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的全景环视显示方法对应的程序指令/模块(例如，全景环视显示装置中的环境图像生成模块41、全景图像生成模块42和全景图像传输模块43)。存储器52可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置53可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。

处理器51通过运行存储在存储器52中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的全景环视显示方法。

上述提供的全景环视显示装置和计算机可用于执行上述实施例提供的全景环视显示方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的全景环视显示方法，该全景环视显示方法包括：基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，所述车辆周向图像由设置于车辆四周的摄像头拍摄得到；基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像；通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的全景环视显示方法，还可以执行本申请任意实施例所提供的全景环视显示方法中的相关操作。

上述实施例中提供的全景环视显示装置、设备及存储介质可执行本申请任意实施例所提供的全景环视显示方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的全景环视显示方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (8)

1.一种全景环视显示方法，其特征在于，包括：

基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，所述车辆周向图像由设置于车辆四周的摄像头拍摄得到；

基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像，包括：获取车辆模型，所述车辆模型包括本体模型和地面模型，所述车辆本体模型为车辆的三维模型，所述地面模型为模拟地面的板状三维模型；基于所述车辆环境图像对所述地面模型进行纹理映射，包括：根据车辆环境图像的像素点和地面模型的坐标点的映射关系，将车辆环境图像各像素点的颜色值复制于地面模型上的点，以使地面模型体现出与当时车辆行驶环境中的颜色纹理；根据车辆状态信息中三轴传感器反映的车辆当前相对于水平面的倾斜角度来确定车辆行驶角度；根据车辆行驶角度基于所述车辆环境图像和车辆模型进行渲染，以得到对应于车辆行驶角度的车辆全景环视图像，所述车辆状态信息由IO模块对车辆上的状态反馈信号进行收集得到；

通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

2.根据权利要求1所述的全景环视显示方法，其特征在于，所述基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，包括：

接收摄像头回传的车辆周向图像；

基于摄像头的畸变参数对所述车辆周向图像进行畸变校正；

基于边缘融合算法对畸变校正后的多张车辆周向图像进行边缘融合，以得到车辆环境图像。

3.根据权利要求1所述的全景环视显示方法，其特征在于，所述对车辆模型进行渲染，以获得设定角度的车辆全景环视图像，包括：

基于视角设定信息确定模型显示角度；

基于所述模型显示角度对车辆模型进行渲染，以获得设定角度的车辆全景环视图像。

4.根据权利要求1所述的全景环视显示方法，其特征在于，所述基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像之后，还包括：

将所述车辆全景环视图像保存至存储器；

所述通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像，包括：

响应于全景图像调用指令，调取存储器中的车辆全景环视图，所述全景图像调用指令由移动显示终端生成，并通过无线传输网络进行发送；

通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

5.根据权利要求1-4任一项所述的全景环视显示方法，其特征在于，所述基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像之前，还包括：

根据车辆状态信息确定车辆状态，并根据车辆状态更新车辆模型。

6.一种全景环视显示装置，其特征在于，包括环境图像生成模块、全景图像生成模块和全景图像传输模块，其中：

环境图像生成模块，用于基于边缘融合算法对多张车辆周向图像进行边缘融合，以得到车辆环境图像，所述车辆周向图像由设置于车辆四周的摄像头拍摄得到；

全景图像生成模块，用于基于所述车辆环境图像和车辆模型进行渲染，以得到设定角度的车辆全景环视图像，包括：获取车辆模型，所述车辆模型包括本体模型和地面模型，所述车辆本体模型为车辆的三维模型，所述地面模型为模拟地面的板状三维模型；基于所述车辆环境图像对所述地面模型进行纹理映射，包括：根据车辆环境图像的像素点和地面模型的坐标点的映射关系，将车辆环境图像各像素点的颜色值复制于地面模型上的点，以使地面模型体现出与当时车辆行驶环境中的颜色纹理；根据车辆状态信息中三轴传感器反映的车辆当前相对于水平面的倾斜角度来确定车辆行驶角度；根据车辆行驶角度基于所述车辆环境图像和车辆模型进行渲染，以得到对应于车辆行驶角度的车辆全景环视图像；

全景图像传输模块，用于通过无线传输网络向移动显示终端发送所述车辆全景环视图像，以使所述移动显示终端显示所述车辆全景环视图像。

7.一种计算机设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一所述的全景环视显示方法。

8.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5任一所述的全景环视显示方法。

Images