CN112070886B - 矿用自卸车的影像监控方法及相关设备 - Google Patents

Abstract

本申请公开一种矿用自卸车的影像监控的方法、装置、电子设备及存储介质。该方法包括：获取矿用自卸车的摄像头的图像数据；根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原；对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像；对所述全景图像进行融合处理；基于融合处理后的所述全景图像构造全景三维影像。本公开实施方式的技术方案能够对矿用自卸车进行3D全景影像监控。

Description

矿用自卸车的影像监控方法及相关设备

技术领域

本公开涉及计算机通信技术和图像处理技术领域，具体而言，涉及一种矿用自卸车的影像监控的方法、装置、电子设备及存储介质。

背景技术

伴随经济的快速发展，国内外矿山规模不断扩大，作为资源开采和大规模土方建设关键设备的矿用自卸车，近年来的市场需求也越来越大。矿用自卸车的用途是专门装卸和运输矿石和土方等松散物料，具有载重大、工作效率高、单位能耗低等特点。近年来，矿用自卸车正不断朝着大吨位、智能化发展，原来的小吨位矿用自卸车已经不能满足市场需求，重型矿用自卸车的载重由108吨逐步发展到360吨。

当前矿用自卸车的大型化给驾驶员带来了一个比较突出的问题是驾驶视野容易出现盲区。一方面，随着机器视觉技术的快速发展和摄像机硬件性能不断的提升，视觉辅助类安全保障系统的科研成果虽然已被应用到汽车上，但在重型矿用自卸车上的应用还很少；另一方面，目前重型矿用自卸车逐步开始配备影像监控系统，但显示器只能分别显示各个摄像头的多个影像，并且只是局限于车体左右两侧等部分区域进行影像监控，这样容易导致驾驶视野存在较大盲区，不利于驾驶员观察，特别在起步、倒车、停车时容易发生安全事故。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

公开内容

本公开实施例提供一种矿用自卸车的影像监控的方法、装置、电子设备及存储介质，能够对矿用自卸车进行3D全景影像监控。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分通过本公开的实践而习得。

根据本公开的一个方面，提供一种矿用自卸车的影像监控方法，包括：

获取矿用自卸车的摄像头的图像数据，其中所述矿用自卸车前后左右均包括所述摄像头，所述摄像头的安装高度和所述图像数据的核心画面的水平宽度成正比关系；

根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原；

对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像；

对所述全景图像进行融合处理；

基于融合处理后的所述全景图像构造全景三维影像。

在一个实施例中，对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像包括：

通过改进SIFT算法对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像。

在一个实施例中，根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原包括：

根据张正友标定算法将实际测量的调校布黑色矩形区域的4个顶点的世界坐标值代入目标图像和原图像之间的坐标关系式联立方程，以获得所述摄像头的单应性转换矩阵。

在一个实施例中，对所述全景图像进行融合处理包括：

根据所述全景图像的拼接交界部分的平均灰阶对低的灰阶进行补偿以使得所述拼接交界部分的亮度显示均匀。

在一个实施例中，对所述全景图像进行融合处理包括：

采用渐进式的阿尔法权重影像叠合机制使得所述拼接交界部分更平滑。

在一个实施例中，基于融合处理后的所述全景图像构造全景三维影像包括：

利用曲面计算方法构造三维曲面，将所述全景图像投影到所述三维曲面上以形成所述全景三维影像；

其中所述三维曲面包括底部平面和侧部曲面；

所述底部平面由以下公式确定：

其中，式中x,y,z为模型的空间坐标，w₁为所述底部平面纬线数量，j为所述底部平面经线数量，a为所述底部平面半径，b为所述底部平面的高度，m为第m条经线，k为第k条纬线；在所述底部平面时，0≤m≤j，0≤k≤w₁-1；

所述侧部曲面由以下公式确定：

其中，式中r为圆弧半径，w₂为所述底部平面和所述侧部曲面总体的纬线数量，

m为第m条经线，k为第k条纬线；在所述侧部曲面时，0≤m≤j，w₁≤k≤w₂。

在一个实施例中，还包括：

在进行场景浏览时，对所述全景三维影像进行视角切换；

其中，对所述全景三维影像进行视角切换包括：

将世界坐标系转换成虚拟相机坐标系M，让世界坐标系先旋转角度R，再将世界坐标系平移到视点位置T，关系公式为M＝TR；

其中，

eye_x，eye_y，eye_z为观察者眼睛的位置，forword为通过观察者和观察参考点构造观察的方向，up为构造虚拟相机坐标系的方向，side是forword和up叉积构造的第三方向。

根据本公开的一个方面，提供一种矿用自卸车的影像监控装置，包括：

获取模块，配置为获取矿用自卸车的摄像头的图像数据，其中所述矿用自卸车前后左右均包括所述摄像头，所述摄像头的安装高度和所述图像数据的核心画面的水平宽度成正比关系；

还原模块，配置为根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原；

拼接模块，配置为对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像；

融合模块，配置为对所述全景图像进行融合处理；以及

构造模块，配置为基于融合处理后的所述全景图像构造全景三维影像。

根据本公开的一个方面，提供一种电子设备，包括：

一个或多个处理器；

存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上方法中任一项所述的方法。

根据本公开的一个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上方法中任一项所述的方法

本公开的矿用自卸车的影像监控方法，通过改进SIFT算法对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像，能够实现对矿用自卸车进行3D全景影像监控。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

以下附图描述了本公开的某些说明性实施方式，其中相同的附图标记表示相同的元件。这些描述的实施方式将是本公开的示例性实施方式，而不是以任何方式进行限制。

图1是根据一示例性实施例示出的一种重型矿用自卸车的立体示意图；

图2是根据一示例性实施例示出的一种摄像头固定支架的立体示意图；

图3是根据一示例性实施例示出的一种摄像头固定支架的立体示意图；

图4是根据一示例性实施例示出的一种前摄像头安装位置的局部立体放大示意图；

图5是根据一示例性实施例示出的一种左摄像头安装位置的局部立体放大示意图；

图6是根据一示例性实施例示出的一种右摄像头安装位置的局部立体放大示意图；

图7是根据一示例性实施例示出的一种后摄像头安装位置的局部立体放大示意图；

图8是根据一示例性实施例示出的一种矿用自卸车的影像监控方法的流程图；

图9是根据一示例性实施例示出的一种矿用自卸车全景俯视图图像示意图；

图10是根据一示例性实施例示出的构建3D全景影像模型碗状结构立体示意图；

图11是根据一示例性实施例示出的本公开碗状结构全景3D模型原理示意图；

图12是根据另一示例性实施例示出的一种矿用自卸车的影像监控装置的框图；

图13是根据另一示例性实施例示出的一种矿用自卸车的电子设备的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组件、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

图1是根据一示例性实施例示出的一种重型矿用自卸车100的立体示意图。

参考图1，该重型矿用自卸车100的长例如15.2米，宽例如为8米。重型矿用自卸车100还包括前摄像头、左摄像头、右摄像头、后摄像头、显示器和控制器。在一个实施例中，前摄像头、左摄像头、右摄像头和后摄像头均为鱼眼摄像头，由于鱼眼摄像头在图像边缘有很大的畸变特征，图像整体呈现出桶形畸变，为保证影像画面的质量，本公开在对影像画面拼接前，按照原始图像长宽比，从鱼眼摄像头获取的原始图像中心(几何中心)开始，选取80％的矩形区域作为核心画面。在一个实施例中，鱼眼摄像头的安装高度和核心画面的水平宽度成正比关系，比值例如为1/4。在一个实施例中，前摄像头和后摄像头的安装高度大于等于2米，左摄像头和右摄像头的安装高度大于等于3.8米。在一个实施例中，前摄像头、左摄像头、右摄像头安装固定位置高度4.35米，摄像头获取原始图像80％画面的水平宽度范围是17.4米；后摄像头安装高度2.5米，摄像头获取原始图像80％画面的水平宽度范围为10米。在一个实施例中，前摄像头、左摄像头、右摄像头和后摄像头安装位置分别处于或靠近重型矿用自卸车前、左、右、后端的中部(前端中部例如车辆前端平面的垂直于水平面或地面的中心线，其他端的中部依次类推)。

图2是根据一示例性实施例示出的一种摄像头固定支架201的立体示意图。

图3是根据一示例性实施例示出的一种摄像头固定支架202的立体示意图。

图4是根据一示例性实施例示出的一种前摄像头安装位置的局部立体放大示意图。

图5是根据一示例性实施例示出的一种左摄像头安装位置的局部立体放大示意图。

图6是根据一示例性实施例示出的一种右摄像头安装位置的局部立体放大示意图。

图7是根据一示例性实施例示出的一种后摄像头安装位置的局部立体放大示意图。

在一个实施例中，前摄像头101通过固定支架201安装在重型矿用自卸车100的前端扶梯处(图4)；左摄像头102(图5)和右摄像头103(图6)分别通过固定支架201安装在重型矿用自卸车走台左右两侧，位置在走台中间靠后处；后摄像头104通过固定支架202安装在后桥壳上方(图7)。

在一个实施例中，显示器安装在驾驶室仪表台上。在一个实施例中，控制器安装在驾驶员座椅后方内饰板凹槽处。在一个实施例中，前摄像头、左摄像头、右摄像头和后摄像头与控制器连接，控制器与显示器连接。

本公开的摄像头固定支架201和摄像头固定支架202在结构上上采用遮挡设计，提高了摄像头的使用寿命。

本公开的控制器将采集的前摄像头、左摄像头、右摄像头、后摄像头的影像数据进行处理，然后将拼接的3D全景影像画面通过显示器呈现给驾驶员。同时左右转向和倒车信号能触发全景显示器显示相应驾驶动作对应的摄像头画面。

图8是根据一示例性实施例示出的一种矿用自卸车的影像监控方法的流程图。

如图8所示，在步骤S802中，获取矿用自卸车的摄像头的图像数据，其中所述矿用自卸车前后左右均包括所述摄像头，所述摄像头的安装高度和所述图像数据的核心画面的水平宽度成正比关系。

在该步骤中，矿用自卸车的控制器实时获取矿用自卸车的摄像头的图像数据。其中，所述矿用自卸车包括前摄像头、左摄像头、右摄像头、后摄像头，所述摄像头的安装高度和所述图像数据的核心画面的水平宽度成正比关系，比值例如为1/4。

在步骤S804中，根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原。

在该步骤中，矿用自卸车的控制器根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原。在一个实施例中，根据张正友标定算法将实际测量的调校布黑色部分区域矩形的4个顶点的世界坐标值代入目标图像和原图像之间的坐标关系式联立方程，以获得所述摄像头的单应性转换矩阵。

由于鱼眼摄像头的短焦距、广视角等优点，使得它在拍摄图像时的视角远远大于人的眼睛观察物体的视角，所以常常被用在大范围拍摄场景中。鱼眼摄像头的镜头采用了类似球形的结构，使得它在成像时产生了严重的畸变现象，因此需要对鱼眼图像进行矫正。

本公开采用基于人工标定的方法对鱼眼摄像头进行矫正，对于鱼眼摄像头人工标定的方法通过使用调校布来辅助完成。一般汽车车长在1.5米～5米，一般使用3.1米×1.3米外白内黑的调校布对摄像头进行标定。考虑到重型矿用自卸车的车体太大，如果采用汽车使用的调校布会对摄像头矫正产生很大误差，导致目标图像对应的物理坐标系位置与实际图像在世界坐标系位置偏差较大。本公开采用5.6米×2.0米的矩阵调校布，以保证鱼眼镜头矫正参数的准确度。选取调校布黑色矩形区域的4个顶点，并实际测量4个顶点的世界坐标值。根据“张正友标定算法”，将4个顶点世界坐标值代入目标图像和原图像之间的坐标关系式联立方程，求得单应性转换矩阵，即由原图像到目标图像的转换，再通过4个摄像头的单应性转换矩阵分别求得各个摄像头的内参数和外参数，进而求得摄像头的镜像畸变系数，从而完成摄像头的人工标定。

摄像头安装时光轴和地面成一定角度，获取的图像是侧视图，需要对获取的图像经过矫正后做进一步处理，将侧视图转换为俯视图，因此在求得单应性转换矩阵后，控制器以文件的形式将单应性转换矩阵保存下来，在图像开始采集后直接读取该转换矩阵，即可对采集的图像做变换，还原原始图像。

在步骤S806中，对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像。

在该步骤中，矿用自卸车的控制器对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像。在一个实施例中，通过改进SIFT算法对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像。

图像拼接可以使包含重叠部分的多幅图像拼接为视野更广的全景图像。图像匹配则是图像拼接的关键，直接决定拼接的效果和效率。重型矿用自卸车和传统汽车相比，其作业环境恶劣，路况较差，车体振动比较大，同时重型矿用自卸车车体庞大。考虑到重型矿用自卸车上述特点，本公开在传统SIFT算法的基础上，采用基于部分特征提取的改进SIFT算法对获取的图像进行拼接。

SIFT算法是一种基于图像的特征匹配方法，通过提取图像特征点对图像进行匹配，与传统汽车在图像匹配时采用的角点检测算法相比，本公开的算法对亮度变化、噪声和扭曲变形具有更好的鲁棒性。传统的SIFT算法在图像匹配时直接对整幅图像进行特征提取，但由于重型矿用自卸车车体庞大，摄像头获取的图像范围大，若对整幅图像进行特征提取，会导致控制器计算量增大，图像处理效率低且非重叠区域图像特征容易造成匹配错误，因此为了提高SIFT算法的效率，本公开根据重型矿用自卸车的特点采用基于部分特征提取的改进SIFT算法对获取的图像进行拼接。

本公开的摄像头位置固定，相邻两摄像头获取的图像重合区域相对固定，本公开利用图像坐标系和世界坐标系的关系，确定并算出相邻两摄像头获取图像的重合区域的范围大小，只在重合区域进行特征点的提取，大幅度提高了算法的效率和匹配准确率。本公开确定相邻两摄像头获取的图像重合区域的具体方法如下：

图9是根据一示例性实施例示出的一种矿用自卸车全景俯视图图像示意图。

如图9所示，建立xoy世界坐标系，该示意图中，前摄像头、左摄像头、右摄像头、后摄像头在重型矿用自卸车的水平方向安装位置已标出。四个摄像头采集的图像数据经摄像头矫正变换后为矩形，其像素大小为M×N，实际图像数据经矫正变换后为梯形。重型矿用自卸车的长度例如为a＝15.2米，宽度例如为b＝8米；前摄像头距离车头右端为

左摄像头和右摄像头在重型矿用自卸车两端左右对称设置，距离重型矿用自卸车尾部距离例如为8.7米，是摄像头获取原始图像80％核心画面宽度范围值的一半，后摄像头与重型矿用自卸车尾部纵向距离3.2米，横向与重型矿用自卸车两端等距离，为

摄像头固定安装在重型矿用自卸车上与地面的相对高度和角度基本保持不变，根据图像俯视变换测得的调校布黑色矩形区域两点之间的图像坐标差和调校布黑色矩形区域两点的实际距离，得到一个比例关系，设图像坐标差为l，调校布黑色矩形区域两点的实际距离为L,则比例关系为：

k的实际意义是单位距离内所包含像素点的个数。

图像坐标系以像素为单位，以图像左下角为坐标原点。在理想状态下，对于前摄像头，其在本身图像坐标下对应的图像横坐标值为

B点在前摄像头本身图像坐标下的图像横坐标值为

因此前摄像头和右摄像头获取图像的重叠区域图像在前摄像头本身图像坐标下的横坐标值范围为

重叠区域图像在前摄像头本身图像坐标下纵坐标值范围为0～N；对于右摄像头，B点在右摄像头图像坐标下对应的图像纵坐标值为

因此右摄像头和前摄像头获取图像的重叠区域图像在右摄像头图像坐标下纵坐标值范围为

重叠区域图像横坐标值范围为0～N；对于后摄像头，其与左摄像头获取图像的重叠区域在后摄像头图像横坐标下坐标值范围为

重叠区域图像纵坐标值范围为0～N；对于左摄像头，其与后摄像头获取图像的重叠区域在左摄像头图像横坐标下图像横坐标值范围为0～N，重叠区域图像在左摄像头图像横坐标下纵坐标值范围为

其他相邻摄像头重合区域算法按此方法类推。

通过测量各摄像头在重型矿用自卸车的安装位置水平方向与重型矿用自卸车车体尺寸的关系以及重型矿用自卸车实际长度和宽度，同时确定摄像头获取图像的俯视变化两点之间的图像坐标距离和对应世界坐标距离的比值k和俯视变化图像像素信息，即可确定对部分特征点提取的重合区域，从而实现基于部分特征提取的改进SIFT算法对获取的图像进行拼接。

在步骤S808中，对所述全景图像进行融合处理。

在该步骤中，矿用自卸车的控制器对所述全景图像进行融合处理。在一个实施例中，根据所述全景图像的拼接交界部分的平均灰阶对低的灰阶进行补偿以使得所述拼接交界部分的亮度显示均匀。在一个实施例中，采用渐进式的阿尔法权重影像叠合机制使得所述拼接交界部分更平滑。

不同方向安装的摄像头获取的图像在亮度方面会有所差异。在图像拼接后，相邻的两个摄像头在接合交界处会有明显的边界，控制器根据相邻的摄像头影像接合交界的平均灰阶补偿对低的灰阶进行补偿，让拼接画面亮度显示均匀。同时利用渐进式的alpha(阿尔法)权重影像叠合机制将让拼接画面看起来更平滑。通过对拼接后的图像进行融合处理，得到需要的影像画面。

在步骤S810中，基于融合处理后的所述全景图像构造全景三维影像。

在该步骤中，矿用自卸车的控制器基于融合处理后的所述全景图像构造全景三维影像。在一个实施例中，利用曲面计算方法构造三维曲面，将所述全景图像投影到所述三维曲面上以形成所述全景三维影像；

其中所述三维曲面包括底部平面和侧部曲面；

图10是根据一示例性实施例示出的构建3D全景影像模型碗状结构立体示意图；

图11是根据一示例性实施例示出的本公开碗状结构全景3D模型原理示意图；

所述底部平面由以下公式(1)确定：

其中，式中x,y,z为模型的空间坐标，w₁为所述底部平面纬线数量，j为所述底部平面经线数量，a为所述底部平面半径，b为所述底部平面的高度，m为第m条经线，k为第k条纬线；在所述底部平面时，0≤m≤j，0≤k≤w₁-1；

所述侧部曲面由以下公式(2)确定：

其中，式中r为圆弧半径，w₂为所述底部平面和所述侧部曲面总体的纬线数量，

m为第m条经线，k为第k条纬线；在所述侧部曲面时，0≤m≤j，w₁≤k≤w₂。

3D全景影像范围中，想要看到重型矿用自卸车周围更广的视野，需要利用曲面计算方法，构造三维曲面，将原图像的像素信息投影到三维曲面上。

本公开在2D全景影像基础上，利用OpenGL，通过构建重型矿用自卸车全景3D影像模型，实现3D全景影像监控。该模型类似于碗状结构，用来将前摄像头、左摄像头、右摄像头、后摄像头的影像投射到碗状结构曲面上，驾驶员可以随时变换视角来观察周围路况。3D全景影像模型结构分为重型矿用自卸车俯视底部模型、周围模型和重型矿用自卸车车体外形3D模型。其中重型矿用自卸车俯视底部模型和周围模型构成碗状结构模型的底部平面和侧面三维曲面，重型矿用自卸车车体外形3D模型是按照重型矿用自卸车车体三维尺寸提前保存到控制盒中的程序中。

本公开在构建全景3D模型时，将模型采用三角形网格进行划分，以求获得最佳三维效果。参考球面经纬线交点坐标与球面坐标的关系，将重型矿用自卸车的全景3D模型的空间坐标等同于经纬线交点坐标，通过经纬线交点坐标构建全景3D模型。

碗状结构全景3D模型原理示意如图10所示，绘制的碗状结构曲面底部平面用公式(1)确定，绘制的碗状结构曲面侧部曲面用公式(2)确定。

由上述两公式(1)和(2)建立由底部平面和侧面球面组成的类碗状结构重型矿用自卸车全景3D模型。

本公开的矿用自卸车的影像监控方法，通过改进SIFT算法对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像，能够实现对矿用自卸车进行3D全景影像监控。

在一个实施例中，在进行场景浏览时，对所述全景三维影像进行视角切换；

其中，对所述全景三维影像进行视角切换包括：

将世界坐标系转换成虚拟相机坐标系M，让世界坐标系先旋转角度R，再将世界坐标系平移到视点位置T，关系公式为M＝TR；

其中，

eye_x，eye_y，eye_z为观察者眼睛的位置，forword为通过观察者和观察参考点构造观察的方向，up为构造虚拟相机坐标系的方向，side是forword和up叉积构造的第三方向。

图像融合形成影像后需要对场景浏览进行视角切换。由于摄像头位置固定，所以要实现全景浏览场景时，需要从全景模型入手，即通过改变虚拟相机的位置，使得观察者感觉像是观察者的视线在移动。由于重型矿用自卸车不同于一般汽车，其高度在4米以上，远高于汽车，如果仍旧采用以汽车的高度观察360°全景鸟瞰图，视野范围将大大降低，因此观看重型矿用自卸车360°全景鸟瞰图画面需要根据重型矿用自卸车的高度，调节虚拟摄像机的高度。其原理如下：将世界坐标系转换成虚拟相机坐标系M，也就是先让世界坐标系先旋转一定角度R，再将世界坐标系平移到视点位置T。三者之间的关系为公式M＝TR。其中，虚拟相机的高度即为eye_z数值。本公开通过改变eye_z的值来调节虚拟相机的高度，从而获得观看360°全景鸟瞰画面的最佳视角。

图12是根据另一示例性实施例示出的一种矿用自卸车的影像监控装置1200的框图。

获取模块1202配置为获取矿用自卸车的摄像头的图像数据，其中所述矿用自卸车前后左右均包括所述摄像头，所述摄像头的安装高度和所述图像数据的核心画面的水平宽度成正比关系；

还原模块1204配置为根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原；以及

拼接模块1206配置为对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像；

融合模块1208配置为对所述全景图像进行融合处理；

构造模块1210配置为基于融合处理后的所述全景图像构造全景三维影像。

根据本公开的矿用自卸车的影像监控装置，通过改进SIFT算法对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像，能够实现对矿用自卸车的3D全景影像监控。

图13是根据另一示例性实施例示出的一种矿用自卸车的电子设备1300的框图。

如图13所示，电子设备1300可包括处理器1302、存储器1304。

存储器1304可存储用于处理器1302控制操作处理的指令。存储器1304可包括易失性或非易失性存储器，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)等，本公开对此没有限制。

处理器1302可调用存储器1304中存储的指令控制相关操作。根据一实施例，存储器1304存储用于处理器1302控制以下操作的指令：获取矿用自卸车的摄像头的图像数据，其中所述矿用自卸车前后左右均包括所述摄像头，所述摄像头的安装高度和所述图像数据的核心画面的水平宽度成正比关系；根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原；对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像；对所述全景图像进行融合处理；基于融合处理后的所述全景图像构造全景三维影像。易于理解，存储器1304还可存储用于处理器1302控制根据本公开实施例的其他操作的指令，这里不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

此外，本说明书附图所示出的结构、比例、大小等，均仅用以配合说明书所公开的内容，以供本领域技术人员了解与阅读，并非用以限定本公开可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本公开所能产生的技术效果及所能实现的目的下，均应仍落在本公开所公开的技术内容得能涵盖的范围内。

Claims (9)

1.一种矿用自卸车的影像监控方法，其特征在于，包括：

获取矿用自卸车的摄像头的图像数据，其中所述矿用自卸车前后左右均包括所述摄像头，所述摄像头的安装高度和所述图像数据的核心画面的水平宽度成正比关系；

根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原；

对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像；

对所述全景图像进行融合处理；

基于融合处理后的所述全景图像构造全景三维影像；

其中，基于融合处理后的所述全景图像构造全景三维影像包括：

利用曲面计算方法构造三维曲面，将所述全景图像投影到所述三维曲面上以形成所述全景三维影像；

其中所述三维曲面包括底部平面和侧部曲面；

所述底部平面由以下公式确定：

其中，式中x,y,z为模型的空间坐标，w₁为所述底部平面纬线数量，j为所述底部平面经线数量，a为所述底部平面半径，b为所述底部平面的高度，m为第m条经线，k为第k条纬线；在所述底部平面时，0≤m≤j，0≤k≤w₁-1；

所述侧部曲面由以下公式确定：

其中，式中r为圆弧半径，w₂为所述底部平面和所述侧部曲面总体的纬线数量，

m为第m条经线，k为第k条纬线；在所述侧部曲面时，0≤m≤j，w₁≤k≤w₂。

2.根据权利要求1所述的方法，其特征在于，对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像包括：

通过改进SIFT算法对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像。

3.根据权利要求1所述的方法，其特征在于，根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原包括：

根据张正友标定算法将实际测量的调校布黑色矩形区域的4个顶点的世界坐标值代入目标图像和原图像之间的坐标关系式联立方程，以获得所述摄像头的单应性转换矩阵。

4.根据权利要求1所述的方法，其特征在于，对所述全景图像进行融合处理包括：

根据所述全景图像的拼接交界部分的平均灰阶对低的灰阶进行补偿以使得所述拼接交界部分的亮度显示均匀。

5.根据权利要求1所述的方法，其特征在于，对所述全景图像进行融合处理包括：

采用渐进式的阿尔法权重影像叠合机制使得拼接交界部分更平滑。

6.根据权利要求1所述的方法，其特征在于，还包括：

在进行场景浏览时，对所述全景三维影像进行视角切换；

其中，对所述全景三维影像进行视角切换包括：

将世界坐标系转换成虚拟相机坐标系M，让世界坐标系先旋转角度R，再将世界坐标系平移到视点位置T，关系公式为M＝TR；

其中，

eye_x，eye_y，eye_z为观察者眼睛的位置，forword为通过观察者和观察参考点构造观察的方向，up为构造虚拟相机坐标系的方向，side是forword和up叉积构造的第三方向。

7.一种矿用自卸车的影像监控装置，其特征在于，包括：

获取模块，配置为获取矿用自卸车的摄像头的图像数据，其中所述矿用自卸车前后左右均包括所述摄像头，所述摄像头的安装高度和所述图像数据的核心画面的水平宽度成正比关系；

还原模块，配置为根据所述摄像头的单应性转换矩阵对所述图像数据进行图像还原；

拼接模块，配置为对相邻所述摄像头的图像数据的图像重合区域提取特征进行图像拼接以获得所述矿用自卸车周围的全景图像；

融合模块，配置为对所述全景图像进行融合处理；以及

构造模块，配置为基于融合处理后的所述全景图像构造全景三维影像；

其中，构造模块，还配置为：

利用曲面计算方法构造三维曲面，将所述全景图像投影到所述三维曲面上以形成所述全景三维影像；

其中所述三维曲面包括底部平面和侧部曲面；

所述底部平面由以下公式确定：

其中，式中x,y,z为模型的空间坐标，w₁为所述底部平面纬线数量，j为所述底部平面经线数量，a为所述底部平面半径，b为所述底部平面的高度，m为第m条经线，k为第k条纬线；在所述底部平面时，0≤m≤j，0≤k≤w₁-1；

所述侧部曲面由以下公式确定：

其中，式中r为圆弧半径，w₂为所述底部平面和所述侧部曲面总体的纬线数量，

m为第m条经线，k为第k条纬线；在所述侧部曲面时，0≤m≤j，w₁≤k≤w₂。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

Images