CN112069980B - 障碍物识别方法、障碍物识别系统和存储介质 - Google Patents

Abstract

本发明的实施例提出了一种障碍物识别方法、障碍物识别系统和存储介质。其中，障碍物识别方法包括：通过任一个鱼眼相机的相机内参数和畸变参数，获得任一个鱼眼相机的无畸变图像，进而生成搅拌车辆行走时的全景环视鸟瞰图像，以确定搅拌车辆行走时的预设范围内的障碍物。通过在搅拌车辆上设置多个鱼眼相机，实现了在搅拌车辆行走时能够拍摄搅拌车辆周围的图像，进而实现在全景环视鸟瞰图像中，确定搅拌车辆的预设范围内的障碍物，进而使得搅拌车辆的驾驶员无需下车，便能够实时获取搅拌车辆周围的环车交通路况，以便根据环车交通路况调整车辆的行驶方向，提高了搅拌车辆的行驶速度，进而提高了生产效率。

Description

障碍物识别方法、障碍物识别系统和存储介质

技术领域

本发明涉及车辆安全技术领域，具体而言，涉及一种障碍物识别方法、一种障碍物识别系统和一种计算机可读存储介质。

背景技术

搅拌车是一种用于运输混凝土的工程车辆，在运输过程中需要保持车上的搅拌筒不停地转动，以免混凝土凝固。

搅拌车从混凝土加工地到施工区域，以及在施工区域内行驶过程中，由于搅拌车的驾驶员的视野盲区很大，因此，很容易发生碰擦和交通事故。

为了驾驶安全，搅拌车在行驶过程中，驾驶员需要高度集中注意力。此外，在遇到特别复杂的情形时，驾驶员还需要中途下车察看周边情况，在确定安全后才能继续行走，严重降低了搅拌车的行驶速度，也影响了生产效率。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的实施例的第一个方面在于提供了一种障碍物识别方法。

本发明的实施例的第二个方面在于提供了一种障碍物识别系统。

本发明的实施例的第三个方面在于提供了一种计算机可读存储介质。

有鉴于此，根据本发明的实施例的第一个方面，提出了障碍物识别方法，用于搅拌车辆，搅拌车辆上设置有多个鱼眼相机，障碍物识别方法包括：根据搅拌车辆的停放位置建立标定场景；在标定场景中标定任一个鱼眼相机的工作位置；根据任一个鱼眼相机在标定场景中的工作位置，确定任一个鱼眼相机的相机内参数和畸变参数；根据任一个鱼眼相机的相机内参和畸变参数，矫正任一个鱼眼相机在搅拌车辆行走时拍摄的原始图像，以获得任一个鱼眼相机的无畸变图像；根据任一个鱼眼相机的无畸变图像，生成搅拌车辆行走时的全景环视鸟瞰图像；根据目标检测算法，识别全景环视鸟瞰图像中的搅拌车辆的预设范围内的障碍物，以确定搅拌车辆行走时的预设范围内的障碍物；根据障碍物与搅拌车辆的距离，确定障碍物的危险等级；根据障碍物的危险等级，输出提醒信息。

本发明的实施例提供的障碍物识别方法，通过在搅拌车辆上设置多个鱼眼相机，实现了在搅拌车辆行走时能够拍摄搅拌车辆周围的图像。进而通过将多个鱼眼相机拍摄的原始图像拼接生成搅拌车辆的全景环视鸟瞰图，以实现在全景环视鸟瞰图像中，确定搅拌车辆的预设范围内的障碍物，并根据障碍物的危险等级，向驾驶员输出提醒信息，进而使得搅拌车辆的驾驶员无需下车，便能够实时获取搅拌车辆周围的环车交通路况，以便根据环车交通路况调整车辆的行驶方向。通过驾驶员实时获取搅拌车辆周围的交通路况，提高了搅拌车辆的行驶速度，进而提高了生产效率。

具体地，确定搅拌车辆行走时的预设范围内的障碍物时，可以根据目标检测算法识别全景环视鸟瞰图像中的搅拌车辆的预设范围内的障碍物，通过确定全景环视鸟瞰图像中的搅拌车辆的预设范围内的障碍物，确定搅拌车辆行走时的预设范围内的障碍物。通过自动识别搅拌车辆行走时的预设范围内的障碍物，并在需要时向驾驶员输出提醒信息，实现了搅拌车辆的驾驶员在无需下车的情况下，就能够及时了解靠近搅拌车辆的障碍物，进而及时调整搅拌车辆的行驶方向。一方面，提高了搅拌车辆的行驶安全，避免发生交通事故，另一方面，也提高了搅拌车辆的行驶速度，进而提高了生产效率。

需要说明的是，目标检测算法可以是yolov5目标检测算法。

进一步地，障碍物的危险等级可以根据障碍物与搅拌车辆的距离继续确定。通过障碍物与搅拌车辆的距离，确定障碍物的危险等级，以便在障碍物的危险等级超过预设级别时，向驾驶员输出提醒信息。具体地，障碍物与搅拌车辆的距离越近，障碍物的危险等级越高，比如，可以是障碍物与搅拌车辆的距离为三米时，障碍物的危险等级是三级，障碍物与搅拌车辆的距离为二米时，障碍物的危险等级是二级，障碍物与搅拌车辆的距离为一米时，障碍物的危险等级是一级，预设级别可以是四级，当障碍物的危险高于四级时，便向驾驶员发出提醒信息。

进一步地，可以向驾驶员输出语音提醒信息，提醒信息中可以包括障碍物的种类、危险等级和障碍物与搅拌车辆的距离中的一种或多种。

进一步地，障碍物与搅拌车辆的距离是至障碍物与搅拌车辆之间的最短距离。

需要说明的时，障碍物可以是影响搅拌车辆继续行驶的行人、自行车、电动车、摩托车、锥桶等。

另外，根据本发明提供的上述技术方案中的障碍物识别方法，还可以具有如下附加技术特征：

在上述任一技术方案中，根据任一个鱼眼相机的无畸变图像，生成搅拌车辆行走时的全景环视鸟瞰图像的步骤，具体包括：根据任一个鱼眼相机的无畸变图像，确定任一个鱼眼相机的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵；根据俯视变换矩阵，将任一个鱼眼相机的无畸变图像转换成第一鸟瞰图像；对任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像；根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像。

在该技术方案中，通过无畸变图像与第一鸟瞰图像之间的俯视变换矩阵，将多个鱼眼相机的无畸变图像逐一生成第一鸟瞰图像。由于搅拌车辆在行驶过程中，车上的滚筒是保持运行状态的，滚筒运行时会带动整个车身抖动，通过对第一鸟瞰图像进行模糊图像复原处理，实现了为第一鸟瞰图像去模糊，进而获得清晰的第二鸟瞰图像。通过对清晰的第二鸟瞰图像进行拼接，生成的搅拌车辆行走时的全景环视鸟瞰图像更加清晰，进而能够更准确的识别搅拌车辆周围障碍物，提高车辆的行驶安全。

在上述任一技术方案中，对任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像的步骤，具体包括：获取与任一个鱼眼相机关联存储的模糊核；根据任一个鱼眼相机的第一鸟瞰图像和模糊核，对任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像。

在该技术方案中，通过将与鱼眼相机关联存储的模糊核，确定为该鱼眼相机对应的第一鸟瞰图像的模糊核，通过对第一鸟瞰图像和第一鸟瞰图像的模糊核进行RL算法反卷积，实现为第一鸟瞰图像去除模糊，进而生成清晰的第二鸟瞰图像。通过根据清晰的第二鸟瞰图像生成的搅拌车辆行走时的全景环视鸟瞰图像，实现了获取更加清晰地全景环视鸟瞰图，进而能够更准确的识别搅拌车辆周围障碍物，提高车辆的行驶安全。

进一步地，在该技术方案中，第一鸟瞰图像是鱼眼相机在搅拌车辆行走时拍摄的原始图像生成，搅拌车辆在行走时需要执行搅拌工作，因此，该原始图像是鱼眼相机在抖动状态下拍摄的。与鱼眼相机关联存储的模糊核是鱼眼相机在搅拌车辆执行搅拌工作时拍摄的模糊图像，相对于鱼眼相机在搅拌车辆未执行搅拌工作时拍摄的清晰图像的模糊核。通过将该模糊核确定为第一鸟瞰图的模糊核，能够获得更加清晰的第二鸟瞰图像，进而获得更加清晰地全景环视鸟瞰图。

在上述任一技术方案中，在获取与任一个鱼眼相机关联存储的模糊核的步骤之前，障碍物识别方法还包括：获取搅拌车辆未执行搅拌工作时任一鱼眼相机拍摄的第一图像；获取搅拌车辆执行搅拌工作时任一鱼眼相机拍摄的第二图像；根据第一图像和第二图像，确定第二图像的模糊核；将模糊核与任一鱼眼相机关联存储。

在该技术方案中，由于搅拌车辆不进行搅拌时，整个车身(包括鱼眼相机)都是不抖动的，此时，鱼眼相机拍摄的第一图像是清晰的。而搅拌车辆在进行搅拌时，整个车身(包括鱼眼相机)都是抖动的，此时，鱼眼相机拍摄的第二图像是模糊的。通过清晰的第一图像的梯度和模糊的第二图像的梯度确定第二图像的模糊核，并将模糊核与鱼眼相机关联存储。通过提前预存储鱼眼相机抖动时所拍摄图像的模糊核，进而能够通过该糊核对搅拌车辆行走时鱼眼相机拍摄的图像快速的进行图像复原处理，为图像去除模糊，以获得清晰的图像。

进一步地，在该技术方案中，第一图像和/或第二图像可以是在搅拌车辆的非行走状态下拍摄的，也可以是在搅拌车辆的行走状态下拍摄的。

在上述任一技术方案中，在根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，障碍物识别方法还包括：根据任两个鱼眼相机的第二鸟瞰图像的重叠区域，确定重叠区域中的重合物体；根据重合物体在任两个鱼眼相机的第二鸟瞰图像中的高度值，确定任两个鱼眼相机的第二鸟瞰图像的图像比例。

在该技术方案中，通过任两个鱼眼相机的第二鸟瞰图像的重叠区域，确定重叠区域中的重合物体，进而通过两个第二鸟瞰图像中重合区域内的重合物体的高度值，调整第二鸟瞰图像的比例，使得多个鱼眼相机的第二鸟瞰图具有相同的比例，进而实现了全景环视鸟瞰图能够更准确的还原搅拌车辆周围的景象。进一步地，全景环视鸟瞰图准确还原搅拌车辆周围的景象，能够提高识别搅拌车辆周围障碍物的准确性，进而提高车辆的行驶安全。

具体地，多个鱼眼相机安装在搅拌车辆上后，相对于对面的高度不一致，进而导致多个鱼眼相机拍摄的图像中的物体尺寸不一致。通过确定两个第二鸟瞰图像中重合区域内的物体的高度值，可以实现控制物体尺寸大的图像缩放，也即，与地面之间的距离较小的鱼眼相机的第二鸟瞰图像缩小，进而使得两个不同的鱼眼相机的第二鸟瞰图像上的物体的尺寸一致。

在上述任一技术方案中，在根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，障碍物识别方法还包括：根据任两个鱼眼相机的第二鸟瞰图像的重叠区域，生成重叠区域的二值图像；根据二值图像，确定重叠区域的任一点的像素值。

在该技术方案中，通过将任两个第二鸟瞰图像的重叠区域生成二值图像，进而通过二值图像确定重叠区域的任一点的像素值。根据重叠区域的任一点的像素值，拼接具有重叠区域的第二鸟瞰图像，以实现融合第二鸟瞰图像上的重叠区域，进而减少生成的全景环视鸟瞰图像上的重叠区域。进一步地，还能够实现全景环视鸟瞰图准确还原搅拌车辆周围的景象，消除重复的障碍物，避免误判障碍物数量提高识别搅拌车辆周围障碍物的准确性，以及车辆的行驶安全。

具体地，利用直线检测方法获取二值图像的边界，并通过筛选出的边界上的第一长度线段和第二长度线段，确定第一长度线段的边界线方程和第二长度线段的边界线方程，其中，第一长度线段是指二值图像的边界上最长的线段，第二长度线段是指二值图像的边界上第二长的线段。通过边界线方程和重叠区域中任一点与边界上第一长度线段、第二长度线段的垂直距离，确定重叠区域中任一点的像素值。

进一步地，重叠区域的像素值通过以下公式计算得到：

Poverlap＝P2*(d1/(d1+d2))+P1*(d2/(d1+d2))，

其中，Poverlap为重叠区域的像素值，P点为重叠区域中的任一点，P1是P点在具有重叠区域的其中一个第二鸟瞰图像上对应点的像素值，d1是P点与P1所在的第二鸟瞰图像的边界的垂直距离，P2是P点在具有重叠区域的另一个第二鸟瞰图像对应点像素值，d2是P点与P2所在的第二鸟瞰图像的边界的垂直距离，其中，d1和d2中的一个为二值图像的边界上的第一长度线段，另一个为二值图像的边界上的第二长度线段。

在上述任一技术方案中，在根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，障碍物识别方法还包括：根据任一第二鸟瞰图像的任一图像通道的图像值，确定任两个相邻的第二鸟瞰图像的任一相同图像通道的图像均值；根据图像均值，确定任两个相邻的第二鸟瞰图像拼接生成的图像的亮度值。

在该技术方案中，根据每个第二鸟瞰图像的每个图像通道的图像值，确定相邻的两个第二鸟瞰图像的相对应地图像通道的图像均值，进而根据图像均值确定相邻图像拼接生成的图像的亮度值。将该亮度值设置为拼接生成图像的亮度值，实现了对第二鸟瞰图像拼接后的图像进行亮度补偿，使得第二鸟瞰图像拼接后的图像具有合适的亮度值，防止拼接后的图像出现过亮或过暗的问题。

进一步地，在该技术方案中，第一鸟瞰图像为RGB三通道图像。具体地，图像通道包括R通道、G通道和B通道。相邻的两个第二鸟瞰图像的相对应地图像通道是指两个第二鸟瞰图像的相同的通道，即，一个第二鸟瞰图像的R通道和另一个第二鸟瞰图像的R通道相对应。

具体地，在该技术方案中，图像均值可以是两个第二鸟瞰图像的相对应地图像通道的图像值的平均值。

具体地，在该技术方案中，以任两个通道对应的图像均值的比值作为权重对拼接后的图像的原始亮度值进行加权平均，并将加权平均获得的数值作为拼接后的图像的亮度值，进而使得第二鸟瞰图像拼接后的图像具有合适的亮度值，防止拼接后的图像出现过亮或过暗的问题。

在上述任一技术方案中，根据任一个鱼眼相机的无畸变图像，确定任一个鱼眼相机的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵步骤，具体包括：以搅拌车辆所在的平面为xoy平面，垂直xoy平面的轴线为z轴，搅拌车辆的车头前方的预设距离为原点，构建三维坐标系；获取任一个鱼眼相机视野范围内的至少四个预设标记点在三维坐标系中的第一坐标值；根据任一个预设标记点的第一坐标值，确定任一个预设标记点在第一鸟瞰图像上第二坐标值；根据任一个预设标记点的第二坐标值，确定任一个预设标记点在无畸变图像上的第三坐标值；根据第二坐标值和第三坐标值，确定俯视变换矩阵。

在该技术方案中，以搅拌车辆所在的平面为xoy平面，垂直xoy平面的轴线为z轴，搅拌车辆的车头前方的预设距离为原点，构建三维坐标系，通过每个预设标记点在三维坐标系中的第一坐标值，确定每个预设标记点在第一鸟瞰图像上第二坐标值，并根据第二坐标值确定每个预设标记点在无畸变图像上的第三坐标值。通过第二坐标值和第三坐标值确定的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵，能够提高无畸变图像转换成第一鸟瞰图像的准确性，进而得到足够大小的第一鸟瞰图像。此外，通过俯视变换矩阵生成第一鸟瞰图像，还可以减少第一鸟瞰图畸变。

在上述任一技术方案中，在标定场景中标定任一个鱼眼相机的工作位置的步骤，具体包括：根据任一个鱼眼相机的镜头模型和张正友标定算法，在标定场景中标定任一个鱼眼相机的工作位置。

在该技术方案中，通过鱼眼相机的镜头模型和张正友标定算法，在标定场景中标定任一个鱼眼相机的工作位置，实现了提高标定的准确性，进而提高了鱼眼相机的相机内参数和畸变参数确定的准确性。进一步地，提高了消除鱼眼相机原始图像消除畸变的能力，以实现获取无畸变图像。

根据本发明的实施例的第二个方面，提出了一种障碍物识别系统，用于搅拌车辆，包括：多个鱼眼相机，设置于搅拌车辆上；存储器，用于存储计算机程序；处理器，用于执行计算机程序以实现上述任一技术方案中的障碍物识别方法的步骤。

本发明的实施例提供的障碍物识别系统，能够实现上述任一技术方案中的障碍物识别方法的步骤，因此，其具有上述任一技术方案中的障碍物识别方法所具有的全部技术效果，在此不再赘述。

根据本发明的实施例的第三个方面，提出了一种计算机可读存储介质，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；计算机程序被处理器执行时实现上述任一技术方案中的障碍物识别方法的步骤。

本发明的实施例的提供的计算机可读存储介质，包括存储器和处理器。存储器上的计算机程序被处理器执行时实现上述任一技术方案中的障碍物识别方法的步骤，因此，其具有上述任一技术方案中的障碍物识别方法所具有的全部技术效果，在此不再赘述。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本发明的一个实施例的障碍物识别方法的流程图；

图2示出了本发明的又一个实施例的障碍物识别方法的流程图；

图3示出了本发明的又一个实施例的障碍物识别方法的流程图；

图4示出了本发明的一个实施例的障碍物识别系统的结构示意图；

图5示出了本发明的又一个实施例的搅拌车辆的结构示意图；

图6示出了本发明的一个实施例的第二鸟瞰图像的重叠区域的二值图像的示意图。

其中，附图标记与部件名称之间的对应关系为：

500障碍物识别系统，502鱼眼相机，504存储器，506处理器，600第二鸟瞰图像，602重叠区域。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图6描述根据本发明的一些实施例提供的障碍物识别方法、障碍物识别系统和存储介质。

实施例一

如图1所示，实施例一提供了一种障碍物识别方法，用于搅拌车辆，搅拌车辆上设置有多个鱼眼相机，障碍物识别方法包括：

步骤102，根据搅拌车辆的停放位置建立标定场景；

步骤104，在标定场景中标定任一个鱼眼相机的工作位置；

步骤106，根据任一个鱼眼相机在标定场景中的工作位置，确定任一个鱼眼相机的相机内参数和畸变参数；

步骤108，根据任一个鱼眼相机的相机内参和畸变参数，矫正任一个鱼眼相机在搅拌车辆行走时拍摄的原始图像，以获得任一个鱼眼相机的无畸变图像；

步骤110，根据任一个鱼眼相机的无畸变图像，生成搅拌车辆行走时的全景环视鸟瞰图像；

步骤112，根据目标检测算法，识别全景环视鸟瞰图像中的搅拌车辆的预设范围内的障碍物，以确定搅拌车辆行走时的预设范围内的障碍物；

步骤114，根据障碍物与搅拌车辆的距离，确定障碍物的危险等级；

步骤116，根据障碍物的危险等级，输出提醒信息。

根据全景环视鸟瞰图像，确定搅拌车辆行走时的预设范围内的障碍物。

本发明的实施例提供的障碍物识别方法，通过在搅拌车辆上设置多个鱼眼相机，实现了在搅拌车辆行走时能耐拍摄搅拌车辆周围的图像。进而通过将多个鱼眼相机拍摄的原始图像拼接生成搅拌车辆的全景环视鸟瞰图，以实现在全景环视鸟瞰图像中，确定搅拌车辆的预设范围内的障碍物，并根据障碍物的危险等级，向驾驶员输出提醒信息，进而使得搅拌车辆的驾驶员无需下车，便能够实时获取搅拌车辆周围的环车交通路况，以便根据环车交通路况调整车辆的行驶方向。通过驾驶员实时获取搅拌车辆周围的交通路况，提高了搅拌车辆的行驶速度，进而提高了生产效率。

需要说明的时，障碍物可以是影响搅拌车辆继续行驶的行人、自行车、电动车、摩托车、锥桶等。

具体地，确定搅拌车辆行走时的预设范围内的障碍物时，可以根据目标检测算法识别全景环视鸟瞰图像中的搅拌车辆的预设范围内的障碍物，通过确定全景环视鸟瞰图像中的搅拌车辆的预设范围内的障碍物，确定搅拌车辆行走时的预设范围内的障碍物。通过自动识别搅拌车辆行走时的预设范围内的障碍物，并在需要时向驾驶员输出提醒信息，实现了搅拌车辆的驾驶员在无需下车的情况下，就能够及时了解靠近搅拌车辆的障碍物，进而及时调整搅拌车辆的行驶方向。一方面，提高了搅拌车辆的行驶安全，避免发生交通事故，另一方面，也提高了搅拌车辆的行驶速度，进而提高了生产效率。

需要说明的是，目标检测算法可以是yolov5目标检测算法。

在该实施例中，进一步地，障碍物的危险等级可以根据障碍物与搅拌车辆的距离继续确定。通过障碍物与搅拌车辆的距离，确定障碍物的危险等级，以便在障碍物的危险等级超过预设级别时，向驾驶员输出提醒信息。具体地，障碍物与搅拌车辆的距离越近，障碍物的危险等级越高，比如，可以是障碍物与搅拌车辆的距离为三米时，障碍物的危险等级是三级，障碍物与搅拌车辆的距离为二米时，障碍物的危险等级是二级，障碍物与搅拌车辆的距离为一米时，障碍物的危险等级是一级，预设级别可以是四级，当障碍物的危险高于四级时，便向驾驶员发出提醒信息。

进一步地，可以向驾驶员输出语音提醒信息，提醒信息中可以包括障碍物的种类、危险等级和障碍物与搅拌车辆的距离中的一种或多种。

进一步地，障碍物与搅拌车辆的距离是至障碍物与搅拌车辆之间的最短距离。

进一步地，在上述任一实施例的基础上，在标定场景中标定任一个鱼眼相机的工作位置的步骤，具体包括：根据任一个鱼眼相机的镜头模型和张正友标定算法，在标定场景中标定任一个鱼眼相机的工作位置。

在该实施例中，通过鱼眼相机的镜头模型和张正友标定算法，在标定场景中标定任一个鱼眼相机的工作位置，实现了提高标定的准确性，进而提高了鱼眼相机的相机内参数和畸变参数确定的准确性。进一步地，提高了消除鱼眼相机原始图像消除畸变的能力，以实现获取无畸变图像。

实施例二

在上述任一实施例的基础上，根据任一个鱼眼相机的无畸变图像，生成搅拌车辆行走时的全景环视鸟瞰图像的步骤，具体包括：根据任一个鱼眼相机的无畸变图像，确定任一个鱼眼相机的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵；根据俯视变换矩阵，将任一个鱼眼相机的无畸变图像转换成第一鸟瞰图像；对任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像；根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像。

在一个具体地实施例中，如图2所示，障碍物识别方法包括：

步骤202，根据任一个鱼眼相机的无畸变图像，确定任一个鱼眼相机的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵；

步骤204，根据俯视变换矩阵，将任一个鱼眼相机的无畸变图像转换成第一鸟瞰图像；

步骤206，对任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像；

步骤208，根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像。

在该实施例中，通过无畸变图像与第一鸟瞰图像之间的俯视变换矩阵，将多个鱼眼相机的无畸变图像逐一生成第一鸟瞰图像。由于搅拌车辆在行驶过程中，车上的滚筒是保持运行状态的，滚筒运行时会带动整个车身抖动，通过对第一鸟瞰图像进行模糊图像复原处理，实现了为第一鸟瞰图像去模糊，进而获得清晰的第二鸟瞰图像。通过对清晰的第二鸟瞰图像进行拼接，生成的搅拌车辆行走时的全景环视鸟瞰图像更加清晰，进而能够更准确的识别搅拌车辆周围障碍物，提高车辆的行驶安全。

实施例三

在上述任一实施例的基础上，对任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像的步骤，具体包括：获取与任一个鱼眼相机关联存储的模糊核；根据任一个鱼眼相机的第一鸟瞰图像和模糊核，对任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像。

在该实施例中，通过将与鱼眼相机关联存储的模糊核，确定为该鱼眼相机对应的第一鸟瞰图像的模糊核，通过对第一鸟瞰图像和第一鸟瞰图像的模糊核进行RL算法反卷积，实现为第一鸟瞰图像去除模糊，进而生成清晰的第二鸟瞰图像。通过根据清晰的第二鸟瞰图像生成的搅拌车辆行走时的全景环视鸟瞰图像，实现了获取更加清晰地全景环视鸟瞰图，进而能够更准确的识别搅拌车辆周围障碍物，提高车辆的行驶安全。

进一步地，在该实施例中，第一鸟瞰图像是鱼眼相机在搅拌车辆行走时拍摄的原始图像生成，搅拌车辆在行走时需要执行搅拌工作，因此，该原始图像是鱼眼相机在抖动状态下拍摄的。与鱼眼相机关联存储的模糊核是鱼眼相机在搅拌车辆执行搅拌工作时拍摄的模糊图像，相对于鱼眼相机在搅拌车辆未执行搅拌工作时拍摄的清晰图像的模糊核。通过将该模糊核确定为第一鸟瞰图的模糊核，能够获得更加清晰的第二鸟瞰图像，进而获得更加清晰地全景环视鸟瞰图。

在上述任一实施例的基础上，在获取与任一个鱼眼相机关联存储的模糊核的步骤之前，障碍物识别方法还包括：获取搅拌车辆未执行搅拌工作时任一鱼眼相机拍摄的第一图像；获取搅拌车辆执行搅拌工作时任一鱼眼相机拍摄的第二图像；根据第一图像和第二图像，确定第二图像的模糊核；将模糊核与任一鱼眼相机关联存储。

在一个具体的实施例中，如图3所示，障碍物识别方法包括：

步骤302，获取搅拌车辆未执行搅拌工作时任一鱼眼相机拍摄的第一图像；

步骤304，获取搅拌车辆执行搅拌工作时任一鱼眼相机拍摄的第二图像；

步骤306，根据第一图像和第二图像，确定第二图像的模糊核；

步骤308，将模糊核与任一鱼眼相机关联存储；

步骤310，获取与任一个鱼眼相机关联存储的模糊核；

步骤312，根据任一个鱼眼相机的第一鸟瞰图像和模糊核，对任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像；

步骤314，根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像。

在实施例中，由于搅拌车辆不进行搅拌时，整个车身(包括鱼眼相机)都是不抖动的，此时，鱼眼相机拍摄的第一图像是清晰的。而搅拌车辆在进行搅拌时，整个车身(包括鱼眼相机)都是抖动的，此时，鱼眼相机拍摄的第二图像是模糊的。通过清晰的第一图像的梯度和模糊的第二图像的梯度确定第二图像的模糊核，并将模糊核与鱼眼相机关联存储。通过提前预存储鱼眼相机抖动时所拍摄图像的模糊核，进而能够通过该糊核对搅拌车辆行走时鱼眼相机拍摄的图像快速的进行图像复原处理，为图像去除模糊，以获得清晰的图像。

进一步地，在实施例中，第一图像和/或第二图像可以是在搅拌车辆的非行走状态下拍摄的，也可以是在搅拌车辆的行走状态下拍摄的。

在上述任一实施例的基础上，在根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，障碍物识别方法还包括：根据任两个鱼眼相机的第二鸟瞰图像的重叠区域，确定重叠区域中的重合物体；根据重合物体在任两个鱼眼相机的第二鸟瞰图像中的高度值，确定任两个鱼眼相机的第二鸟瞰图像的图像比例。

在该实施例中，通过任两个鱼眼相机的第二鸟瞰图像的重叠区域，确定重叠区域中的重合物体，进而通过两个第二鸟瞰图像中重合区域内的重合物体的高度值，调整第二鸟瞰图像的比例，使得多个鱼眼相机的第二鸟瞰图具有相同的比例，进而实现了全景环视鸟瞰图能够更准确的还原搅拌车辆周围的景象。进一步地，全景环视鸟瞰图准确还原搅拌车辆周围的景象，能够提高识别搅拌车辆周围障碍物的准确性，进而提高车辆的行驶安全。

具体地，多个鱼眼相机安装在搅拌车辆上后，相对于对面的高度不一致，进而导致多个鱼眼相机拍摄的图像中的物体尺寸不一致。通过确定两个第二鸟瞰图像中重合区域内的物体的高度值，可以实现控制物体尺寸大的图像缩放，也即，与地面之间的距离较小的鱼眼相机的第二鸟瞰图像缩小，进而使得两个不同的鱼眼相机的第二鸟瞰图像上的物体的尺寸一致。

实施例四

在上述任一实施例的基础上，在根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，障碍物识别方法还包括：根据任两个鱼眼相机的第二鸟瞰图像的重叠区域，生成重叠区域的二值图像；根据二值图像，确定重叠区域的任一点的像素值。

在该实施例中，通过将任两个第二鸟瞰图像的重叠区域生成二值图像，进而通过二值图像确定重叠区域的任一点的像素值。根据重叠区域的任一点的像素值，拼接具有重叠区域的第二鸟瞰图像，以实现融合搅拌车辆异侧的第二鸟瞰图像上的重叠区域，进而减少生成的全景环视鸟瞰图像上的重叠区域。进一步地，还能够实现全景环视鸟瞰图准确还原搅拌车辆周围的景象，消除重复的障碍物，避免误判障碍物数量提高识别搅拌车辆周围障碍物的准确性，以及车辆的行驶安全。

具体地，如图6所示的二值图像，利用直线检测方法获取二值图像的边界，并筛选出边界上的第一长度线段和第二长度线段，分别确定第一长度线段的边界线方程和第二长度线段的边界线方程，其中，第一长度线段是指二值图像的边界上最长的线段，第二长度线段是二值图像的边界上第二长的线段。通过前述两个边界线方程和重叠区域中任一点与边界上第一长度线段、第二长度线段的垂直距离，确定重叠区域中任一点的像素值。

进一步地，重叠区域的像素值通过以下公式计算得到：

Poverlap＝P2*(d1/(d1+d2))+P1*(d2/(d1+d2))，

其中，Poverlap为重叠区域的像素值，P点为重叠区域602中的任一点，P1是P点在具有重叠区域602的其中一个第二鸟瞰图像600上对应点的像素值，d1是P点与P1所在的第二鸟瞰图像600的边界的垂直距离，P2是P点在具有重叠区域602的另一个第二鸟瞰图像600对应点的像素值，d2是P点与P2所在的第二鸟瞰图像600的边界的垂直距离，其中，d1和d2中的一个为二值图像的边界上的第一长度线段，另一个为二值图像的边界上的第二长度线段。

在上述任一实施例的基础上，在根据任一个鱼眼相机的第二鸟瞰图像，生成搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，障碍物识别方法还包括：根据任一第二鸟瞰图像的任一图像通道的图像值，确定任两个相邻的第二鸟瞰图像的任一相同图像通道的图像均值；根据图像均值，确定任两个相邻的第二鸟瞰图像拼接生成的图像的亮度值。

在该实施例中，根据每个第二鸟瞰图像的每个图像通道的图像值，确定相邻的两个第二鸟瞰图像的相对应地图像通道的图像均值，进而根据图像均值确定相邻图像拼接生成的图像的亮度值。将该亮度值设置为拼接生成图像的亮度值，实现了对第二鸟瞰图像拼接后的图像进行亮度补偿，使得第二鸟瞰图像拼接后的图像具有合适的亮度值，防止拼接后的图像出现过亮或过暗的问题。

进一步地，在该实施例中，第一鸟瞰图像为RGB三通道图像。具体地，图像通道包括R通道、G通道和B通道。相邻的两个第二鸟瞰图像的相对应地图像通道是指两个第二鸟瞰图像的相同的通道，即，一个第二鸟瞰图像的R通道和另一个第二鸟瞰图像的R通道相对应。

具体地，在该实施例中，图像均值可以是两个第二鸟瞰图像的相对应地图像通道的图像值的平均值。

具体地，在该实施例中，以任两个通道对应的图像均值的比值作为权重对拼接后的图像的原始亮度值进行加权平均，并将加权平均获得的数值作为拼接后的图像的亮度值，进而使得第二鸟瞰图像拼接后的图像具有合适的亮度值，防止拼接后的图像出现过亮或过暗的问题。

实施例五

在上述任一实施例的基础上，根据任一个鱼眼相机的无畸变图像，确定任一个鱼眼相机的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵步骤，具体包括：以搅拌车辆所在的平面为xoy平面，垂直xoy平面的轴线为z轴，搅拌车辆的车头前方的预设距离为原点，构建三维坐标系；获取任一个鱼眼相机视野范围内的至少四个预设标记点在三维坐标系中的第一坐标值；根据任一个预设标记点的第一坐标值，确定任一个预设标记点在第一鸟瞰图像上第二坐标值；根据任一个预设标记点的第二坐标值，确定任一个预设标记点在无畸变图像上的第三坐标值；根据第二坐标值和第三坐标值，确定俯视变换矩阵。

在该实施例中，以搅拌车辆所在的平面为xoy平面，垂直xoy平面的轴线为z轴，搅拌车辆的车头前方的预设距离为原点，构建三维坐标系，通过每个预设标记点在三维坐标系中的第一坐标值，确定每个预设标记点在第一鸟瞰图像上第二坐标值，并根据第二坐标值确定每个预设标记点在无畸变图像上的第三坐标值。通过第二坐标值和第三坐标值确定的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵，能够提高了无畸变图像转换成第一鸟瞰图像的准确性，进而得到足够大小的第一鸟瞰图像。此外，通过视变换矩阵生成第一鸟瞰图像，还可以减少第一鸟瞰图畸变。

实施例六

如图4和图5所示，根据本发明的实施例的第二个方面，提出了一种障碍物识别系统500，用于搅拌车辆，包括：多个鱼眼相机502，设置于搅拌车辆上；存储器504，用于存储计算机程序；处理器506，用于执行计算机程序以实现上述任一技术方案中的障碍物识别方法的步骤。

本发明的实施例提供的障碍物识别系统500，能够实现上述任一技术方案中的障碍物识别方法的步骤，因此，其具有上述任一技术方案中的障碍物识别方法所具有的全部技术效果，在此不再赘述。

实施例七

根据本发明的实施例的第三个方面，提出了一种计算机可读存储介质，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；计算机程序被处理器执行时实现上述任一技术方案中的障碍物识别方法的步骤。

本发明的实施例的提供的计算机可读存储介质，包括存储器和处理器。存储器上的计算机程序被处理器执行时实现上述任一技术方案中的障碍物识别方法的步骤，因此，其具有上述任一技术方案中的障碍物识别方法所具有的全部技术效果，在此不再赘述。

实施例八

在上述任一实施例的基础上，搅拌车辆上设置有6个鱼眼摄像头。

在该实施例中，通过对鱼眼相机标定和图像矫正、鸟瞰图生成、模糊图像复原、相机高度不一致处理、重叠区域融合、亮度补偿、障碍物识别和预警告示等技术，实现搅拌车在行驶、转弯等过程中，能够实现驾驶员实时知道环车状况，自动识别出对车有危险的障碍物并进行语音提醒，进而实现自动给出安全提醒，降低驾驶员工作强度，可有效预防事故发生，提升搅拌车作业安全性。

在该实施例中，建立标定场景的标定布是棋盘格，通过对每个鱼眼相机采集多张棋盘格图像，根据鱼眼镜头模型和张正友标定算法进行鱼眼相机标定。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种障碍物识别方法，用于搅拌车辆，所述搅拌车辆上设置有多个鱼眼相机，其特征在于，所述障碍物识别方法包括：

根据所述搅拌车辆的停放位置建立标定场景；

在所述标定场景中标定任一个鱼眼相机的工作位置；

根据所述任一个鱼眼相机在所述标定场景中的工作位置，确定所述任一个鱼眼相机的相机内参数和畸变参数；

根据所述任一个鱼眼相机的所述相机内参和所述畸变参数，矫正所述任一个鱼眼相机在所述搅拌车辆行走时拍摄的原始图像，以获得所述任一个鱼眼相机的无畸变图像；

根据所述任一个鱼眼相机的无畸变图像，生成所述搅拌车辆行走时的全景环视鸟瞰图像；

根据目标检测算法，识别所述全景环视鸟瞰图像中的所述搅拌车辆的预设范围内的障碍物，以确定所述搅拌车辆行走时的预设范围内的障碍物；

根据所述障碍物与所述搅拌车辆的距离，确定所述障碍物的危险等级；

根据所述障碍物的危险等级，输出提醒信息；

所述任一个鱼眼相机的无畸变图像，生成所述搅拌车辆行走时的全景环视鸟瞰图像的步骤，具体包括：

根据所述任一个鱼眼相机的无畸变图像，确定所述任一个鱼眼相机的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵；

根据所述俯视变换矩阵，将所述任一个鱼眼相机的无畸变图像转换成所述第一鸟瞰图像；

对所述任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像；

根据所述任一个鱼眼相机的所述第二鸟瞰图像，生成所述搅拌车辆行走时的全景环视鸟瞰图像；

根据所述任一个鱼眼相机的无畸变图像，确定所述任一个鱼眼相机的无畸变图像与第一鸟瞰图像之间的俯视变换矩阵步骤，具体包括：

以所述搅拌车辆所在的平面为xoy平面，垂直所述xoy平面的轴线为z轴，所述搅拌车辆的车头前方的预设距离为原点，构建三维坐标系；

获取所述任一个鱼眼相机视野范围内的至少四个预设标记点在所述三维坐标系中的第一坐标值；

根据任一个预设标记点的第一坐标值，确定所述任一个预设标记点在所述第一鸟瞰图像上第二坐标值；

根据所述任一个预设标记点的第二坐标值，确定所述任一个预设标记点在所述无畸变图像上的第三坐标值；

根据所述第二坐标值和所述第三坐标值，确定所述俯视变换矩阵。

2.根据权利要求1所述的障碍物识别方法，其特征在于，对所述任一个鱼眼相机的第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像的步骤，具体包括：

获取与所述任一个鱼眼相机关联存储的模糊核；

根据所述任一个鱼眼相机的第一鸟瞰图像和所述模糊核，对所述任一个鱼眼相机的所述第一鸟瞰图像进行模糊图像复原处理，以生成第二鸟瞰图像。

3.根据权利要求2所述的障碍物识别方法，其特征在于，在获取与所述任一个鱼眼相机关联存储的模糊核的步骤之前，所述障碍物识别方法还包括：

获取所述搅拌车辆未执行搅拌工作时所述任一鱼眼相机拍摄的第一图像；

获取所述搅拌车辆执行搅拌工作时所述任一鱼眼相机拍摄的第二图像；

根据所述第一图像和所述第二图像，确定所述第二图像的模糊核；

将所述模糊核与所述任一鱼眼相机关联存储。

4.根据权利要求1所述的障碍物识别方法，其特征在于，在根据所述任一个鱼眼相机的所述第二鸟瞰图像，生成所述搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，所述障碍物识别方法还包括：

根据任两个鱼眼相机的第二鸟瞰图像的重叠区域，确定所述重叠区域中的重合物体；

根据所述重合物体在所述任两个鱼眼相机的所述第二鸟瞰图像中的高度值，确定所述任两个鱼眼相机的所述第二鸟瞰图像的图像比例。

5.根据权利要求1所述的障碍物识别方法，其特征在于，在根据所述任一个鱼眼相机的所述第二鸟瞰图像，生成所述搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，所述障碍物识别方法还包括：

根据任两个鱼眼相机的第二鸟瞰图像的重叠区域，生成所述重叠区域的二值图像；

根据所述二值图像，确定所述重叠区域的任一点的像素值。

6.根据权利要求1所述的障碍物识别方法，其特征在于，在根据所述任一个鱼眼相机的所述第二鸟瞰图像，生成所述搅拌车辆行走时的全景环视鸟瞰图像的步骤之前，所述障碍物识别方法还包括：

根据任一第二鸟瞰图像的任一图像通道的图像值，确定任两个相邻的第二鸟瞰图像的任一相同图像通道的图像均值；

根据所述图像均值，确定所述任两个相邻的第二鸟瞰图像拼接生成的图像的亮度值。

7.根据权利要求1所述的障碍物识别方法，其特征在于，在所述标定场景中标定所述任一个鱼眼相机的工作位置的步骤，具体包括：

根据所述任一个鱼眼相机的镜头模型和张正友标定算法，在所述标定场景中标定所述任一个鱼眼相机的工作位置。

8.一种障碍物识别系统，用于搅拌车辆，所述搅拌车辆上设置有多个鱼眼相机，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7中任一项所述的障碍物识别方法的步骤。

9.一种计算机可读存储介质，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；

所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的障碍物识别方法的步骤。

Images