CN103106674B - 一种全景图像合成和显示的方法及装置 - Google Patents

Abstract

本发明实施例公开一种全景图像合成和显示的方法及装置，其中方法包括如下步骤：根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；根据所述实际路面图像的像素点坐标计算对应的路面坐标；将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；显示由所述路面坐标合成的虚拟路面图像。通过将获取的多幅实际路面图像进行处理合成为一幅虚拟道路图像，并对虚拟道路图像进行显示，可以给司机更加直观的路面全景状况。

Description

一种全景图像合成和显示的方法及装置

技术领域

本发明涉及汽车智能安全驾驶领域，尤其涉及一种全景图像合成和显示的方法及装置。

背景技术

随着社会的发展，汽车日益成为人们在工作和生活中不可或缺的交通工具，随着私家车的普及，汽车也成为了人们的重要消费品之一，因此，汽车的安全性就成为了一个不容忽视的问题。当前，汽车过分依赖司机来实现安全驾驶，虽然汽车的机动性比较高，但是一旦司机出现任何差错，都有可能导致人员伤亡，所以为汽车加入智能安全系统将成为汽车业发展的一个趋势。

由于汽车司机无法同时看到汽车周边的情况，现如今，在汽车中加入了感应装置，能感应到汽车周围是否有物体靠近，并且根据离物体的远近发出不同的警告声，但司机并不能清楚的看到是什么物体或者并不能看到汽车离物体的距离，影响了用户的体验，降低了装置的安全智能性。

发明内容

本发明实施例提供一种全景图像合成和显示的方法及装置，可以通过从不同角度获取汽车周边的实际图像并合成为一幅虚拟路面图像，从而提升了用户体验，并提高了装置的安全智能性。

为了解决上述技术问题，本发明实施例提供了一种全景图像合成和显示的方法，包括：

根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；

根据所述实际路面图像的像素点坐标计算对应的路面坐标；

将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；

显示由所述路面坐标合成的虚拟路面图像。

相应地，本发明实施例还提供了一种全景图像合成和显示的装置，包括：

获取模块，用于根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；

计算模块，用于根据所述实际路面图像的像素点坐标计算对应的路面坐标；

上色模块，用于将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；

显示模块，用于显示由所述路面坐标合成的虚拟路面图像。

实施本发明实施例，具有如下有益效果：

通过将获取的多幅实际路面图像进行处理合成为一幅虚拟道路图像，并对虚拟道路图像进行显示，可以给司机更加直观的路面全景状况，使得司机可以清楚的看到汽车的周边环境，当有紧急情况时，可以及时的做出相应的处理，提升了用户体验，提高了装置的安全智能性，使得装置更加具备人性化的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种全景图像合成和显示的方法的第一实施例流程示意图；

图2是本发明的一种全景图像合成和显示的方法的第二实施例流程示意图；

图3是本发明实施例的一种全景图像合成和显示的装置的主要组成模块的结构示意图；

图4是本发明实施例的一种全景图像合成和显示的装置的结构示意图；

图5是本发明实施例的标定模块的结构示意图；

图6是本发明实施例的计算单元的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，为本发明实施例提供一种全景图像合成和显示的方法的第一实施例流程示意图。如图1所示，本发明实施例的所述方法包括以下步骤：

S101，根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；

具体的，可以根据摄像头采集所述目标物体所在环境的实际路面图像，所述目标物体可以为汽车，优选的，将至少四个摄像头分别安装在汽车的前、后、左、右四侧，根据所述摄像头同时采集到的以汽车为中心的四周的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值。

S102，根据所述实际路面图像的像素点坐标计算对应的路面坐标；

具体的，根据获取到的所述实际路面图像的像素点坐标，计算对应的路面坐标。

S103，将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；

具体的，根据获取到的实际路面图像的像素点的颜色值，将所述颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标，需要说明的是，对于没有被赋予颜色值的路面坐标，可以通过计算相邻的路面坐标的颜色值的平均值，将所述平均值赋予该路边坐标。

S104，显示由所述路面坐标合成的虚拟路面图像；

具体的，显示由所有路面坐标合成的虚拟路面图像。

需要说明的是，可以以汽车的中心为原点，以汽车的前进方向为纵轴的正方向，水平向右为横轴的正方向，所述四个方向的摄像头同时采集到的实际路面图像的像素点坐标都可以通过计算在该坐标轴上找到相应的路面坐标，可以将原来的四幅实际路面图像转化成的一幅虚拟路面图像，并进行显示。

在本发明实施例中，通过将获取的实际路面图像进行处理合成为虚拟道路图像，并对虚拟道路图像进行显示，可以给司机更加直观的路面全景状况，使得司机可以清楚的看到汽车的周边环境，当有紧急情况时，可以及时的做出相应的处理，提升了用户体验，提高了装置的安全智能性，使得装置更加具备人性化的特点。

请参见图2，为本发明实施例提供一种全景图像合成和显示的方法的第二实施例流程示意图。如图2所示，本发明实施例的所述方法包括如下步骤：

S201，对摄像头进行标定校准；

具体的，接收到用户的标定请求时，控制所述摄像头采集标定参考图像，所述摄像头至少为四个摄像头，分别安装在汽车的前、后、左、右四侧，标记所述标定参考图像的标定区域和所述标定参考图像的背景区域，获取所述标定参考图像的标定区域的顶角的像素点坐标，根据所述标定区域的顶角的像素点坐标计算对应的道路坐标，如果所述道路坐标在设定的阈值范围内，发出标定成功信号。

进行标定时可先把汽车车轮打正，将四个参考设备分别置于汽车的前、后、左、右四侧，并且保证每个参考设备的一边都压在并排的两个轮子下，可以被所在同一侧的摄像头拍摄到，所述参考设备可以采用布料、纸张、木板、钢铁等平面材料，所述参考设备的形状可为矩形。当用户打开标定开关时，控制摄像头自动扫描位于汽车四个方位的参考设备，并将扫描到的参考设备图像转换为标定参考图像。

所述标定参考图像包括标定区域和背景区域，可以通过对所述标定参考图像进行二值化处理，标定所述标定区域为第一颜色，标定所述背景区域为第二颜色。

本发明实施例中，参考设备包括标定区域和背景区域，标定区域为预先在参考设备上喷涂好的区域，其余的区域为背景区域，喷涂背景区域的颜色与喷涂标定区域的颜色相差较大，便于图像显示的装置区分标定区域和背景区域，所述参考设备的标定区域对应所述标定参考图像的标定区域，所述参考设备的背景区域对应所述标定参考图像的背景区域。

针对任一个摄像头获取的标定参考图像，进行下述处理：

通过对标定参考图像进行扫描，分离出标定区域边界上的像素点坐标，优选的利用直线距离计算公式计算出所述标定区域边界上的像素点坐标到所述背景区域的四个顶角坐标的距离，分别找出到所述背景区域的四个顶角坐标距离最短的四个标定区域边界上的像素点坐标，标定这四个像素点坐标为所述标定区域的顶角的像素点坐标。

本发明实施例中，分离出标定区域边界上的像素点坐标可以通过以下方法完成：

如果所述像素点的正上方像素点为所述第一颜色，所述像素点的正下方像素点为所述第二颜色，则标记所述像素点为所述标定区域边界上的像素点；

如果所述像素点的正下方像素点为所述第一颜色，所述像素点的正上方像素点为所述第二颜色，则标记所述像素点为所述标定区域边界上的像素点；

如果所述像素点的左方像素点为所述第一颜色，所述像素点的右方像素点为所述第二颜色，则标记所述像素点为所述标定区域边界上的像素点；

如果所述像素点的右方像素点为所述第一颜色，所述像素点的左方像素点为所述第二颜色，则标记所述像素点为所述标定区域边界上的像素点。

优选的，所述图像显示的装置预先存储了四个标准坐标值，所述标准坐标值为对应的参考设备的标定区域的四个顶角坐标值，假设其中一个顶角的标准坐标为M（x_M，y_M），通过图像显示的装置对标定参考图像扫描并计算得出的对应的顶角的像素点坐标为M’（u_M，v_M），M和M’的投影关系为公式1：

$\left(\begin{array}{c}{K}_i{u}_{M^{\′}}\\ K_i{v}_{M^{\′}}\\ K_i\end{array}\right)=\left(\begin{array}{ccc}{a}_i& b_i& c_i\\ d_i& e_i& f_i\\ g_i& h_i& 1\end{array}\right)\left(\begin{array}{c}{x}_M\\ y_M\\ 1\end{array}\right)$

将M和M’的坐标值代入上述公式1，可以分别求出a_i、b_i、c_i、d_i、e_i、f_i、g_i、h_i的值，从而得出道路坐标到像素点坐标的投影关系矩阵ROI_i（RoadToImage）的公式2：

${\mathrm{ROI}}_i=\left(\begin{array}{ccc}{a}_i& b_i& c_i\\ d_i& e_i& f_i\\ g_i& h_i& 1\end{array}\right)$

对上述公式2进行求逆得到像素点坐标到道路坐标的投影关系矩阵IOR_i（ImageToRoad）的公式3：IOR_i=(ROI_i)^-1。

最终得出像素点坐标对应的道路坐标的关系为公式4：

$\left(\begin{array}{c}{K}_i{x}_M\\ K_i{y}_M\\ K_i\end{array}\right)=\mathrm{IOR}\left(\begin{array}{c}{u}_{M^{\′}}\\ v_{M^{\′}}\\ 1\end{array}\right)={\left(\begin{array}{ccc}{a}_i& b_i& c_i\\ d_i& e_i& f_i\\ g_i& h_i& 1\end{array}\right)}^{-1}\left(\begin{array}{c}{u}_{M^{\′}}\\ v_{M^{\′}}\\ 1\end{array}\right)$

将所述标定区域的四个顶角的像素点坐标分别代入公式4，求出对应的四个道路坐标。

如果求出的所述四个道路坐标与对应的所述图像显示的装置预先存储的四个标准坐标的偏差在设定的阈值范围内，发出标定成功信号，所述标定完成信号包括声音信号和光信号，所述声音信号控制蜂鸣器发出“标定完成”的声音，所述光信号控制标定成功指示灯闪烁。

S202，控制所述摄像头采集目标物体所在环境的实际路面图像；

具体的，标定完成后，所述图像显示的装置控制所述摄像头采集目标物体所在环境的实际路面图像。

S203，根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；

S204，根据所述实际路面图像的像素点坐标计算对应的路面坐标；

具体的，根据获取到的所述实际路面图像的像素点坐标，将所述像素点坐标代入步骤S201中的公式4，可以得到与所述实际路面图像对应的所述路面坐标。

S205，将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；

S206，显示由所述路面坐标合成的虚拟路面图像。

其中，步骤S203、S205和S206可以分别参见图1所示实施例的步骤S101、S103和S104，在此不进行赘述。

在本发明实施例中，在采集实际路面图像前可以先对摄像头进行一次性的标定校准，提高了采集图像的精准度，通过将获取的实际路面图像进行处理合成为虚拟道路图像，并对虚拟道路图像进行显示，对于没有颜色的路面坐标通过取其邻居点进行上色，将获得的四个方向的实际路面图像无缝合成一幅虚拟路面图像，可以给司机更加直观的路面状况，使得司机可以清楚的看到汽车的周边环境，当有紧急情况时，可以及时的做出相应的处理，提升了用户体验，提高了装置的安全智能性，使得装置更加具备人性化的特点。

请参见图3，为本发明实施例提供一种全景图像合成和显示的装置的主要组成模块的结构示意图。如图3所示，所述装置1包括：

获取模块10，用于根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；

具体实现中，所述获取模块10可以根据摄像头采集所述目标物体所在环境的实际路面图像，所述目标物体可以为汽车，优选的，将至少四个摄像头分别安装在汽车的前、后、左、右四侧，所述获取模块10根据所述摄像头采集到的以汽车为中心的四周的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值。

计算模块20，用于根据所述实际路面图像的像素点坐标计算对应的路面坐标；

具体实现中，所述计算模块20根据获取到的所述实际路面图像的像素点坐标，计算对应的路面坐标。

上色模块30，用于将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；

具体实现中，所述上色模块30根据获取到的实际路面图像的像素点的颜色值，将所述颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标，需要说明的是，对于没有被赋予颜色值的路面坐标，可以通过计算相邻的路面坐标的颜色值的平均值，将所述平均值赋予该路边坐标。

显示模块40，用于显示由所述路面坐标合成的虚拟路面图像；

具体实现中，所述显示模块40显示由所有路面坐标合成的虚拟路面图像。

需要说明的是，可以以汽车的中心为原点，以汽车的前进方向为纵轴的正方向，水平向右为横轴的正方向，所述四个摄像头采集到的实际路面图像的像素点坐标都可以通过计算在该坐标轴上找到相应的路面坐标，图像显示的装置1可以将原来的四幅实际路面图像转化成的一幅虚拟路面图像，并进行显示。

在本发明实施例中，通过将获取的多幅实际路面图像进行处理合成为一幅虚拟道路图像，并对虚拟道路图像进行显示，可以给司机更加直观的路面状况，使得司机可以清楚的看到汽车的周边环境，当有紧急情况时，可以及时的做出相应的处理，提升了用户体验，提高了装置的安全智能性，使得装置更加具备人性化的特点。

请参见图4，为本发明实施例提供一种全景图像合成和显示的装置的结构示意图。如图4所示，本发明实施例的所述装置1包括获取模块10、计算模块20、上色模块30和显示模块40，还包括标定模块50和采集模块60；其中，获取模块10、计算模块20、上色模块30和显示模块40的结构可以参见图3所示实施例的相关描述，在此不进行赘述。

标定模块50，用于对摄像头进行标定校准；

具体实现中，所述标定模块50接收到用户的标定请求时，控制所述摄像头采集标定参考图像，所述摄像头至少为四个摄像头，分别安装在汽车的前、后、左、右四侧，所述标定模块50标记所述标定参考图像的标定区域和所述标定参考图像的背景区域，获取所述标定参考图像的标定区域的顶角的像素点坐标，根据所述标定区域的顶角的像素点坐标计算对应的道路坐标，如果所述道路坐标在设定的阈值范围内，发出标定成功信号。

具体的，请一并参见图5，为本发明实施例提供标定模块的结构示意图。如图5所示，所述标定模块50包括：

采集单元51，用于接收到用户的标定请求时，控制所述摄像头采集标定参考图像；

具体实现中，进行标定时可先把汽车车轮打正，将四个参考设备分别置于汽车的前、后、左、右四侧，并且保证每个参考设备的一边都压在并排的两个轮子下，可以被所在同一侧的摄像头拍摄到，所述参考设备可以采用布料、纸张、木板、钢铁等平面材料，所述参考设备的形状可为矩形。当用户打开标定开关时，所述采集单元51控制摄像头自动扫描位于汽车四个方位的参考设备，并将扫描到的参考设备图像转换为标定参考图像。

标记单元52，用于标记所述标定参考图像的标定区域和所述标定参考图像的背景区域；

具体实现中，所述标定参考图像包括标定区域和背景区域，所述标记单元52可以通过对所述标定参考图像进行二值化处理，标定所述标定区域为第一颜色，标定所述背景区域为第二颜色。

本发明实施例中，参考设备包括标定区域和背景区域，标定区域为预先在参考设备上喷涂好的区域，其余的区域为背景区域，喷涂背景区域的颜色与喷涂标定区域的颜色相差较大，便于图像显示的装置区分标定区域和背景区域，所述参考设备的标定区域对应所述标定参考图像的标定区域，所述参考设备的背景区域对应所述标定参考图像的背景区域。

获取单元53，用于获取所述标定参考图像的标定区域的顶角的像素点坐标；

具体实现中，针对任一个摄像头获取的标定参考图像，进行下述处理：

所述获取单元53通过对标定参考图像进行扫描，分离出标定区域边界上的像素点坐标，优选的利用直线距离计算公式计算出所述标定区域边界上的像素点坐标到所述背景区域的四个顶角坐标的距离，分别找出到所述背景区域的四个顶角坐标距离最短的四个标定区域边界上的像素点坐标，标定这四个像素点坐标为所述标定区域的顶角的像素点坐标。

本发明实施例中，所述获取单元53分离出标定区域边界上的像素点坐标可以通过以下方法完成：

如果所述像素点的正上方像素点为所述第一颜色，所述像素点的正下方像素点为所述第二颜色，则标记所述像素点为所述标定区域边界上的像素点；

如果所述像素点的正下方像素点为所述第一颜色，所述像素点的正上方像素点为所述第二颜色，则标记所述像素点为所述标定区域边界上的像素点；

如果所述像素点的左方像素点为所述第一颜色，所述像素点的右方像素点为所述第二颜色，则标记所述像素点为所述标定区域边界上的像素点；

如果所述像素点的右方像素点为所述第一颜色，所述像素点的左方像素点为所述第二颜色，则标记所述像素点为所述标定区域边界上的像素点。

计算单元54，用于根据所述标定区域的顶角的像素点坐标计算对应的道路坐标；

具体实现中，所述计算单元54根据所述标定区域的顶角的像素点坐标和预先设定的标准坐标值计算出投影关系矩阵，再通过所述投影关系矩阵计算所述投影关系矩阵的逆矩阵；所述计算单元54根据所述标定区域的顶角的像素点坐标和所述逆矩阵计算所述标定区域的顶角的像素点坐标对应的所述道路坐标。

具体的，请一并参见图6，为本发明实施例提供计算单元的结构示意图。如图6所示，所述计算单元54包括：

矩阵计算子单元541，用于根据所述标定区域的顶角的像素点坐标和预先设定的标准坐标值计算出投影关系矩阵，计算所述投影关系矩阵的逆矩阵；

具体实现中，优选的，所述图像显示的装置1预先存储了四个标准坐标值，所述标准坐标值为对应的参考设备的标定区域的四个顶角坐标值，假设其中一个顶角的标准坐标为M（x_M，y_M），通过所述获取单元53对标定参考图像扫描并计算得出的对应的顶角的像素点坐标为M’（u_M，v_M），M和M’的投影关系为公式1：

$\left(\begin{array}{c}{K}_i{u}_{M^{\′}}\\ K_i{v}_{M^{\′}}\\ K_i\end{array}\right)=\left(\begin{array}{ccc}{a}_i& b_i& c_i\\ d_i& e_i& f_i\\ g_i& h_i& 1\end{array}\right)\left(\begin{array}{c}{x}_M\\ y_M\\ 1\end{array}\right)$

所述矩阵计算子单元541将M和M’的坐标值代入上述公式1，可以分别求出a_i、b_i、c_i、d_i、e_i、f_i、g_i、h_i的值，从而得出道路坐标到像素点坐标的投影关系矩阵ROI_i（RoadToImage）的公式2：

${\mathrm{ROI}}_i=\left(\begin{array}{ccc}{a}_i& b_i& c_i\\ d_i& e_i& f_i\\ g_i& h_i& 1\end{array}\right)$

所述矩阵计算子单元541对上述公式2进行求逆得到像素点坐标到道路坐标的投影关系矩阵IOR_i（ImageToRoad）的公式3：IOR_i＝(ROI_i)^-1。

坐标计算子单元542，用于根据所述标定区域的顶角的像素点坐标和所述逆矩阵计算所述标定区域的顶角的像素点坐标对应的所述道路坐标；

具体实现中，优选的，所述坐标计算子单元542得到所述矩阵计算子单元541计算出的所述公式3，得出像素点坐标对应的道路坐标的关系为公式4：

$\left(\begin{array}{c}{K}_i{x}_M\\ K_i{y}_M\\ K_i\end{array}\right)=\mathrm{IOR}\left(\begin{array}{c}{u}_{M^{\′}}\\ v_{M^{\′}}\\ 1\end{array}\right)={\left(\begin{array}{ccc}{a}_i& b_i& c_i\\ d_i& e_i& f_i\\ g_i& h_i& 1\end{array}\right)}^{-1}\left(\begin{array}{c}{u}_{M^{\′}}\\ v_{M^{\′}}\\ 1\end{array}\right)$

所述坐标计算子单元542将所述标定区域的四个顶角的像素点坐标分别代入公式4，求出对应的四个道路坐标。

判断单元55，用于如果所述道路坐标在设定的阈值范围内，发出标定成功信号；

具体实现中，所述判断单元55判断求出的所述四个道路坐标与对应的所述车载标定设备预先存储的四个标准坐标的偏差是否在设定的阈值范围内，如果判断为是，发出标定成功信号，所述标定成功信号可以包括声音信号和光信号，利用声音信号控制蜂鸣器发出“标定完成”的声音，利用光信号控制标定成功指示灯闪烁；如果判断为否，发出标定失败信号，所述标定失败信号包括光信号和声音信号，所述光信号控制标定失败指示灯闪烁，所述声音信号控制蜂鸣器发出“标定失败”的声音。

采集模块60，用于控制所述摄像头采集目标物体所在环境的实际路面图像；

具体实现中，标定完成后，所述采集模块60控制所述摄像头采集目标物体所在环境的实际路面图像。

需要说明的是，所述计算模块20根据所述获取模块10获取的所述实际路面图像的像素点坐标和所述矩阵计算子单元541计算得到的所述逆矩阵，将所述实际路面图像的像素点坐标代入至上述公式4，计算出所述实际路面图像的像素点坐标对应的所述路面坐标。

在本发明实施例中，在采集实际路面图像前可以先对摄像头进行一次性的标定校准，提高了采集图像的精准度，通过将获取的实际路面图像进行处理合成为虚拟道路图像，并对虚拟道路图像进行显示，对于没有颜色的路面坐标通过取其邻居点进行上色，将获得的四个方向的实际路面图像无缝合成一幅虚拟路面图像，可以给司机更加直观的路面状况，使得司机可以清楚的看到汽车的周边环境，当有紧急情况时，可以及时的做出相应的处理，提升了用户体验，提高了装置的安全智能性，使得装置更加具备人性化的特点。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存储记忆体（RandomAccessMemory，RAM）等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种全景图像合成和显示的方法，其特征在于，包括：

对摄像头进行标定校准；

控制所述摄像头采集目标物体所在环境的实际路面图像；

根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；

根据所述实际路面图像的像素点坐标计算对应的路面坐标；

将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；

显示由所述路面坐标合成的虚拟路面图像；

其中，所述对所述摄像头进行标定校准，包括：

接收到用户的标定请求时，控制所述摄像头采集标定参考图像，所述标定参考图像为所述摄像头扫描参考设备获得的参考设备图像，所述参考设备的标定区域对应所述标定参考图像的标定区域，所述参考设备的背景区域对应所述标定参考图像的背景区域，所述参考设备的形状为矩形；

标记所述标定参考图像的标定区域和所述标定参考图像的背景区域；

获取所述标定参考图像的标定区域的顶角的像素点坐标；

根据所述标定参考图像的标定区域的顶角的像素点坐标计算对应的道路坐标；

如果所述道路坐标在设定的阈值范围内，发出标定成功信号；

所述获取所述标定参考图像的标定区域的顶角的像素点坐标，包括：

对标定参考图像进行扫描，分离出所述标定参考图像的标定区域边界上的像素点坐标；

利用直线距离计算公式计算出所述标定参考图像的标定区域边界上的像素点坐标到所述标定参考图像的背景区域的四个顶角坐标的距离；

分别将与所述标定参考图像的背景区域的四个顶角坐标距离最短的所述标定参考图像的标定区域边界上的四个像素点坐标，标定为所述标定参考图像的标定区域的顶角的像素点坐标。

2.根据权利要求1所述的方法，其特征在于，所述根据所述标定参考图像的标定区域的顶角的像素点坐标计算对应的道路坐标，包括：

根据所述标定参考图像的标定区域的顶角的像素点坐标和预先设定的标准坐标值计算出投影关系矩阵，计算所述投影关系矩阵的逆矩阵；

根据所述标定参考图像的标定区域的顶角的像素点坐标和所述逆矩阵计算所述标定参考图像的标定区域的顶角的像素点坐标对应的所述道路坐标。

3.根据权利要求2所述的方法，其特征在于，所述根据所述实际路面图像的像素点坐标计算对应的路面坐标，包括：

根据所述实际路面图像的像素点坐标和所述逆矩阵计算所述实际路面图像的像素点坐标对应的所述路面坐标。

4.一种全景图像合成和显示的装置，其特征在于，包括：

标定模块，用于对摄像头进行标定校准；

采集模块，用于控制所述摄像头采集目标物体所在环境的实际路面图像；

获取模块，用于根据采集到的目标物体所在环境的实际路面图像，获取所述实际路面图像的像素点坐标和所述实际路面图像的像素点的颜色值；

计算模块，用于根据所述实际路面图像的像素点坐标计算对应的路面坐标；

上色模块，用于将所述实际路面图像的像素点的颜色值赋予与所述实际路面图像的像素点坐标对应的路面坐标；

显示模块，用于显示由所述路面坐标合成的虚拟路面图像；

其中，所述标定模块包括：

采集单元，用于接收到用户的标定请求时，控制所述摄像头采集标定参考图像，所述标定参考图像为所述摄像头扫描参考设备获得的参考设备图像，所述参考设备的标定区域对应所述标定参考图像的标定区域，所述参考设备的背景区域对应所述标定参考图像的背景区域；

标记单元，用于标记所述标定参考图像的标定区域和所述标定参考图像的背景区域；

获取单元，用于获取所述标定参考图像的标定区域的顶角的像素点坐标；

计算单元，用于根据所述标定参考图像的标定区域的顶角的像素点坐标计算对应的道路坐标；

判断单元，用于如果所述道路坐标在设定的阈值范围内，发出标定成功信号；

所述获取单元具体用于：

对标定参考图像进行扫描，分离出所述标定参考图像的标定区域边界上的像素点坐标；

利用直线距离计算公式计算出所述标定参考图像的标定区域边界上的像素点坐标到所述标定参考图像的背景区域的四个顶角坐标的距离；

将与所述标定参考图像的背景区域的四个顶角坐标距离最短的所述标定参考图像的标定区域边界上的四个像素点坐标，标定为所述标定参考图像的标定区域的顶角的像素点坐标。

5.根据权利要求4所述的装置，其特征在于，所述计算单元包括：

矩阵计算子单元，用于根据所述标定参考图像的标定区域的顶角的像素点坐标和预先设定的标准坐标值计算出投影关系矩阵，计算所述投影关系矩阵的逆矩阵；

坐标计算子单元，用于根据所述标定参考图像的标定区域的顶角的像素点坐标和所述逆矩阵计算所述标定参考图像的标定区域的顶角的像素点坐标对应的所述道路坐标。

6.根据权利要求5所述的装置，其特征在于，所述计算模块具体用于根据所述获取模块获取的所述实际路面图像的像素点坐标和所述矩阵计算子单元计算得到的所述逆矩阵计算所述实际路面图像的像素点坐标对应的所述路面坐标。