CN105323447A - 多鱼眼图像处理方法、装置及车辆 - Google Patents

Abstract

本发明实施例提供一种多鱼眼图像处理方法、装置及车辆，该方法包括：获取车辆的当前行驶状态和至少两张初始鱼眼图像；对各初始鱼眼图像进行图像校正，得到各初始鱼眼图像的校正图像；根据车辆的当前行驶状态和预设对应关系，在各校正图像中确定与当前行驶状态对应的至少一个目标校正图像；根据车辆的当前行驶状态，在各目标校正图像中，确定每个目标校正图像的目标显示图像，并向用户显示各目标显示图像，目标显示图像为目标校正图像中的一部分。增强了向用户显示车辆周围图像的灵活性，进而提高了用户体验。

Description

多鱼眼图像处理方法、装置及车辆

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种多鱼眼图像处理方法、装置及车辆。

背景技术

在汽车行驶的过程中，发生交通事故的主要原因包括：倒车镜有死角、驾驶员目测距离有误差以及视线模糊等。

目前，为了降低车辆在行驶的过程中发生交通事故的概率，通常在车辆前方、后方、车身侧面、转弯死角等位置设置鱼眼镜头，通过在不同位置设置的鱼眼镜头，可以摄像获取车辆周围的图像，并通过显示屏向用户显示车辆周围固定范围内的图像。

然而，在实际使用过程中，根据车辆行驶状态(速度、转弯等)的不同，用户需要获知车辆周围不同范围内的图像，但是现有技术，只能向用户显示车辆周围固定范围内的图像，使得向用户显示车辆周围图像的灵活性较低，进而导致用户体验差。

发明内容

本发明实施例提供一种多鱼眼图像处理方法、装置及车辆，增强了向用户显示车辆周围图像的灵活性，进而提高了用户体验。

第一方面，本发明实施例提供一种多鱼眼图像处理方法，包括：

获取车辆的当前行驶状态和至少两张初始鱼眼图像，所述至少两张初始鱼眼图像为通过设置在所述车辆不同位置的鱼眼镜头在当前时刻获取的；

对各所述初始鱼眼图像进行图像校正，得到各所述初始鱼眼图像的校正图像；

根据所述车辆的当前行驶状态和预设对应关系，在各所述校正图像中确定与所述当前行驶状态对应的至少一个目标校正图像，所述预设对应关系为：所述车辆的当前行驶状态与所述车辆上设置的至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的对应关系；

根据所述车辆的当前行驶状态，在各所述目标校正图像中，确定每个所述目标校正图像的目标显示图像，并向用户显示各所述目标显示图像，所述目标显示图像为所述目标校正图像中的一部分。

第二方面，本发明实施例提供一种多鱼眼图像处理装置，包括：

获取模块，用于获取车辆的当前行驶状态和至少两张初始鱼眼图像，所述至少两张初始鱼眼图像为通过设置在所述车辆不同位置的鱼眼镜头在当前时刻获取的；

校正模块，用于对各所述初始鱼眼图像进行图像校正，得到各所述初始鱼眼图像的校正图像；

第一确定模块，用于根据所述车辆的当前行驶状态和预设对应关系，在各所述校正图像中确定与所述当前行驶状态对应的至少一个目标校正图像，所述预设对应关系为：所述车辆的行驶状态与所述车辆上设置的至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的对应关系；

第二确定模块，用于根据所述车辆的当前行驶状态，在各所述目标校正图像中，确定每个所述目标校正图像的目标显示图像，并向用户显示各所述目标显示图像，所述目标显示图像为所述目标校正图像中的一部分。

第三方面，本发明实施例提供一种车辆，包括车载鱼眼镜头、显示屏以及上述第二方面所述的多鱼眼图像处理装置。

本发明实施例提供的多鱼眼图像处理方法、装置及车辆，通过获取车辆的当前行驶状态和至少两张初始鱼眼图像，对各初始鱼眼图像进行图像校正，得到各初始鱼眼图像的校正图像，根据车辆的当前行驶状态和预设对应关系，在各校正图像中确定与当前行驶状态对应的至少一个目标校正图像，根据车辆的当前行驶状态，在各目标校正图像中，确定每个目标校正图像的目标显示图像，并向用户显示各目标显示图像，目标显示图像为目标校正图像中的一部分；根据车辆的当前行驶状态，获取车辆周围的、与车辆的当前行驶状态对应范围内的图像，增强了向用户显示车辆周围图像的灵活性，进而提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的多鱼眼图像处理方法的流程图一；

图2为本发明提供的多鱼眼图像处理方法的流程图二；

图3为本发明提供的多鱼眼图像处理方法的流程图三；

图4为本发明提供的鱼眼图像校正方法的流程图；

图5为本发明提供的确定待确定像素的像素值方法的流程图；

图6为本发明提供的多鱼眼图像处理装置结构示意图一；

图7为本发明提供的多鱼眼图像处理装置结构示意图二；

图8为本发明提供的车辆的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例所涉及的鱼眼图像为安装在车辆不同位置的至少两个鱼眼镜头所拍摄的；其中，鱼眼镜头的个数至少为两个，且可以安装在车辆的任意位置，优选的，在本发明实施例中，鱼眼镜头的个数为四个，且分别安装在车辆的正前方、正后方、左侧中心以及右侧中心位置；本发明实施例所涉及的多鱼眼图像处理方法用于对至少两个鱼眼镜头拍摄的鱼眼图像进行校正，并根据实际需要在校正后的图像中选取部分图像向用户显示，解决了现有技术中向用户显示车辆周围图像的灵活性较低的问题；下面采用具体实施例对多鱼眼图像处理方法的过程进行详细说明。

图1为本发明提供的多鱼眼图像处理方法的流程图一，该方法的执行主体可以为多鱼眼图像处理装置，该多鱼眼图像处理装置可以通过软件和/或硬件实现，该多鱼眼图像处理装置还可以嵌入到车载终端中实现。请参照图1，该方法可以包括：

S101、获取车辆的当前行驶状态和至少两张初始鱼眼图像，至少两张初始鱼眼图像为通过设置在车辆不同位置的鱼眼镜头在当前时刻获取的；

S102、对各初始鱼眼图像进行图像校正，得到各初始鱼眼图像的校正图像；

S103、根据车辆的当前行驶状态和预设对应关系，在各校正图像中确定与当前行驶状态对应的至少一个目标校正图像；

其中，预设对应关系为：车辆的当前行驶状态与车辆上设置的至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的对应关系；

S104、根据车辆的当前行驶状态，在各目标校正图像中，确定每个目标校正图像的目标显示图像，并向用户显示各目标显示图像，目标显示图像为目标校正图像中的一部分。

在图1所示的实施例中，车辆的行驶状态可以包括车辆的行驶速度、行驶方向、转向角度等特征；其中，车辆的行驶方向为正向或逆向，车辆的转向角度为车辆前车轮的转向角度，可以通过多种方式设定车辆的转向角度的大小，可选的，当车辆向正前方行驶时，车辆的转向角度为零度，当车辆的转向角度朝向车辆左侧时，将车辆的转向角度设为负角度，当车辆的转向角度朝向车辆的右侧时，将车辆的转向角度设为正角度。在实际应用过程中，可以根据实际需要设定车辆的行驶状态所包括的特征。

在图1所示的实施例中，车辆的当前行驶状态与车辆上设置的至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像具有预设对应关系，下面通过具体示例描述上述预设对应关系。

表1为车辆的当前行驶状态与至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的预设对应关系，在表1中，鱼眼镜头1为设置在车辆正前方的鱼眼镜头，鱼眼镜头2为设置在车辆左侧的鱼眼镜头，鱼眼镜头3为设置在车辆右侧的鱼眼镜头，鱼眼镜头4为设置在车辆正后方的鱼眼镜头，具体的，请参照表1：

表1

需要说明的是，表1只是以示例的形式示意车辆的当前行驶状态与至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的预设对应关系，并非对上述预设对应关系的限定，在实际应用的过程中，可以根据实际需要设置上述预设对应关系，本发明对此不作具体限定。

在车辆行驶过程中，图像处理装置实时通过上述S101-S104进行多鱼眼图像处理，下面以图像处理装置在当前时刻通过上述S101-S104进行多鱼眼图像处理为例，对图1所示的多鱼眼图像处理方法进行详细说明。

在当前时刻，图像处理装置获取车辆的当前行驶状态，以及设置在车辆不同位置的鱼眼镜头在当前时刻获取的至少两张初始鱼眼图像，由于初始鱼眼图像相对于正常图像出现了畸变，使得初始鱼眼图像的可识别性较差，为了增强各初始鱼眼图像的可识别性，图像处理装置对各初始鱼眼图像进行图像校正，得到各初始鱼眼图像的校正图像。

在图像处理装置得到各初始鱼眼图像的校正图像后，图像处理装置根据车辆的当前行驶状态和预设对应关系，在各校正图像中确定与当前行驶状态对应的至少一个目标校正图像，并根据车辆的当前行驶状态，分别在各目标校正图像中，确定当每个目标校正图像的目标显示图像；例如，假设车辆的当前行驶状态为正向且转向角度大于零，则目标校正图像为鱼眼镜头3和鱼眼镜头4拍摄的初始鱼眼图像的校正图像，分别记为目标校正图像1和目标校正图像2，其中，目标校正图像1的目标显示图像为目标校正图像1的全部，目标校正图像2的目标显示图像为目标校正图像2的上半部分。

在图像处理装置确定目标显示图像后，通过显示屏向用户显示目标显示图像，可选的，显示屏可以为图像处理装置的显示屏，也可以为其它设备(例如，手机)中的显示屏，当向用户显示目标显示图像的显示屏为其它设备的显示屏时，图像处理装置和其它设备可以通过有线连接或者无线连接，以实现将目标显示图像发送至其它设备。

在上述多鱼眼图像处理过程中，图像处理装置可以对至少两个鱼眼镜头拍摄的可识别性较差的至少两张初始鱼眼图像进行图像校正，以获取至少两张可识别性较好的校正图像，然后根据车辆的当前行驶状态以及预设对应关系，在至少两张校正图像中确定至少一张目标校正图像，且在各目标校正图像中，确定每个目标校正图像的目标显示图像，并向用户显示目标显示图像；由上可知，目标显示图像与车辆的当前行驶状态具有对应关系，且目标显示图像为，设置在车辆上的不同的鱼眼镜头拍摄的鱼眼图像的校正图像中的部分或全部，因此，在车辆行驶过程中，可以根据车辆的当前行驶状态，获取车辆周围的、与车辆的当前行驶状态对应范围内的图像，增强了向用户显示车辆周围图像的灵活性，进而提高了用户体验。

本发明实施例提供的多鱼眼图像处理方法，获取车辆的当前行驶状态和至少两张初始鱼眼图像，对各初始鱼眼图像进行图像校正，得到各初始鱼眼图像的校正图像，根据车辆的当前行驶状态和预设对应关系，在各校正图像中确定与当前行驶状态对应的至少一个目标校正图像，根据车辆的当前行驶状态，在各目标校正图像中，确定每个目标校正图像的目标显示图像，并向用户显示各目标显示图像，目标显示图像为目标校正图像中的一部分；根据车辆的当前行驶状态，获取车辆周围的、与车辆的当前行驶状态对应范围内的图像，增强了向用户显示车辆周围图像的灵活性，进而提高了用户体验。

图2为本发明提供的多鱼眼图像处理方法的流程图二，在图1所示的实施例中，在确定各目标显示图像后，直接在显示屏上显示各目标显示图像，为了增强各目标显示图像的可识别性，在显示屏上显示各目标显示图像之前，对各目标显示图像进行亮度调节处理和/或拼接处理；在图1所示实施例的基础上，请参照图2，该方法可以包括：

S201、获取车辆的当前行驶状态和至少两张初始鱼眼图像，至少两张初始鱼眼图像为通过设置在车辆不同位置的鱼眼镜头在当前时刻获取的；

S202、对各初始鱼眼图像进行图像校正，得到各初始鱼眼图像的校正图像；

S203、根据车辆的当前行驶状态和预设对应关系，在各校正图像中确定与当前行驶状态对应的至少一个目标校正图像；

其中，预设对应关系为：车辆的当前行驶状态与车辆上设置的至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的对应关系；

S204、根据车辆的当前行驶状态，在各目标校正图像中，确定每个目标校正图像的目标显示图像，目标显示图像为目标校正图像中的一部分；

S205、对各目标显示图像进行亮度调节处理，以使各目标显示图像的亮度相同；

S206、对各目标显示图像进行拼接处理，以使各目标显示图像通过一张图像显示；

S207、向用户显示各目标显示图像。

需要说明的是，在S204之后，可以执行S205和/或206，若在S204之后执行S205和S206，则S205和S206之间没有先后执行顺序；进一步的，在S204之后，还可以判断目标显示图像的个数，当目标显示图像的个数等于1时，执行S207；当目标显示图像的个数大于1时，在执行S207之前，执行S205和/或S206。

在图2所示的实施例中，S201-S204、S207与图1所示实施例中的S101-S104相同，此处不再进行赘述。

在S205中，由于在同一时刻，设置在车辆不同位置的鱼眼镜头拍摄得到的鱼眼图像的亮度可能不同，提高各目标显示图像的可识别性，对各目标显示图像进行亮度调节处理，具体的：

一种可行的亮度调节处理方法：图像处理装置中设置预设亮度值，将各目标显示图像的亮度值调节至该预设亮度值。

另一种可行的亮度调节处理方法：图像处理装置获取各目标显示图像的亮度值，计算各目标显示图像的亮度值的平均值，将各目标显示图像的亮度值调节至上述平均值。

需要说明的是，在实际应用过程中，还可以根据其它可行的实现方式对目标显示图像进行亮度调节处理，本发明对此不作具体限定。

在S206中，由于各目标显示图像为设置在车辆不同位置的鱼眼镜头拍摄、并经图像处理装置处理得到的，用户根据各目标显示图像，无法直观判断各目标显示图像为车辆周围哪些区域的图像；为了使得用户根据目标显示图像可以直观判断目标显示图像为车辆周围哪些区域的图像，对各目标显示图像进行拼接处理。

可选的，可以通过如下可行的实现方式进行图像拼接处理：以车辆为中心，将车辆前方鱼眼镜头拍摄的初始鱼眼图像所对应的目标显示图像显示在车辆上方，将车辆左侧鱼眼镜头拍摄的初始鱼眼图像所对应的目标显示图像显示在车辆左侧，将车辆右侧鱼眼镜头拍摄的初始鱼眼图像所对应的目标显示图像显示在车辆右侧，将车辆尾部鱼眼镜头拍摄的初始鱼眼图像所对应的目标显示图像显示在车辆下方；当目标显示图像不包括一个或多个鱼眼摄像头拍摄的初始鱼眼图像处理后的图像时，在相应的位置以空白形式显示，优选的，显示屏中空白区域占较小的区域。当然，在实际使用过程中，还可以根据其它可行的实现方式对各目标显示图像进行拼接处理，本发明对此不作具体限定。

在实际使用过程中，根据车辆的当前行驶状态的不同，获取的到目标校正图像也不相同，相应的，在目标校正图像中确定目标显示图像的过程也不相同；下面，以车辆的当前行驶状态为下述两种不同的行驶状态为例，对根据车辆的当前行驶状态，确定目标校正图像以及目标显示图像的过程进行详细说明。

一种车辆的当前行驶状态：车辆的行驶状态包括行驶方向、行驶速度及转向角度，车辆当前的行驶方向为正向，转向角度非零；

在该种行驶状态下，目标校正图像为：设置在车辆尾部的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像，或者，设置在车辆尾部的鱼眼镜头和设置在与转向角度对应的车辆一侧的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像；

相应的，根据车辆的当前行驶状态，在各目标校正图像中，确定每个目标校正图像的目标显示图像，包括：根据行驶方向、转向角度以及行驶速度的大小，确定目标显示图像为目标校正图像的上部图像，其中，上部图像的上边缘为目标校正图像的上边缘，上部图像的下边缘为目标校正图像中与车辆的行驶速度对应的像素位置所处的水平线；根据上部图像的上边缘和下边缘，确定目标校正图像的目标显示图像。

具体的，当车辆的行驶方向为正向，转向角度大于零时，目标校正图像为：设置在车辆尾部的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像，或者，设置在车辆尾部的鱼眼镜头和设置在车辆右侧的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像。

当车辆的行驶方向为正向，转向角度小于零时，目标校正图像为：设置在车辆尾部的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像，或者，设置在车辆尾部的鱼眼镜头和设置在车辆左侧的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像。

相应的，根据车辆的行驶方向、转向角度以及行驶速度的大小，确定目标显示图像为目标校正图像的上部图像，其中，上部图像的上边缘为目标校正图像的上边缘，上部图像的下边缘与车辆的行驶速度相关，车辆的行驶速度越高，上部图像的下边缘在目标校正图像中的像素位置所处的水平线越靠下。

示例性的，假设通过车辆尾部的鱼眼镜头可展现车辆尾部80米内的图像，若车辆的行驶速度大于100公里每小时，在显示屏上显示车辆尾部80米内的图像，则上部图像的下边缘在目标校正图像中的像素位置所处的水平线为目标校正图像的下边缘；若车辆的行驶速度为80-100公里每小时，则在显示屏上显示车辆尾部50米内的图像，则上部图像的下边缘在目标校正图像中的像素位置所处的水平线与目标校正图像上边缘的距离为目标校正图像高度的5/8；若车辆的形式速度为50-80公里每小时，则在显示屏上显示车辆尾部30米内的图像，则上部图像的下边缘在目标校正图像中的像素位置所处的水平线与目标校正图像上边缘的距离为目标校正图像高度的3/8。

在该种行驶状态下，当车辆转弯或变道行驶时，用户可以根据目标显示图像，判断车辆尾部预设距离内是否有其他车辆，进而确定在转弯或变道行驶是否存在安全隐患，为用户的安全行车提供的可靠的依据。

另一种车辆的当前行驶状态：车辆的当前行驶状态包括：车辆的行驶方向和行驶速度；车辆当前的行驶方向为逆向，行驶速度小于预设速度；

在该种行驶状态下，目标校正图像为，设置在车辆不同位置的所有鱼眼镜头拍摄得到的鱼眼图像的校正图像；

相应的，针对各目标校正图像中的任一目标校正图像，根据车辆的当前行驶状态，在各目标校正图像中，确定每个目标校正图像的目标显示图像，包括：根据行驶方向以及行驶速度，确定目标显示图像为目标校正图像中的预设显示区域；根据预设显示区域，在目标校正图像中获取目标校正图像的目标显示图像。

在该种行驶状态下，可以根据实际需要设置预设速度的大小，以及目标显示图像在目标校正图像中所占的预设显示区域。

示例性的，假设在车辆的前方、尾部、左侧和右侧分别设置有鱼眼镜头，各鱼眼镜头均可以拍摄获取车辆以外50米内的图像；针对设置在车辆前方的鱼眼镜头所拍摄的鱼眼图像的校正图像，目标显示图像显示车辆以外3米内的图像，则目标显示图像在目标校正图像中所占的预设显示区域为目标校正图像的下部的3/50；针对设置在车辆后方的鱼眼镜头所拍摄的鱼眼图像的校正图像，目标显示图像显示车辆以外3米内的图像，则目标显示图像在目标校正图像中所占的预设显示区域为目标校正图像的上部的3/50；针对设置在车辆左侧的鱼眼镜头所拍摄的鱼眼图像的校正图像，目标显示图像显示车辆以外2米内的图像，则目标显示图像在目标校正图像中所占的预设显示区域为目标校正图像的右部的2/50；针对设置在车辆右侧的鱼眼镜头所拍摄的鱼眼图像的校正图像，目标显示图像显示车辆以外2米内的图像，则目标显示图像在目标校正图像中所占的预设显示区域为目标校正图像的左部的2/50；

在该种行驶状态下，当车辆逆行(例如逆行入库)，用户可以根据目标显示图像，获取车辆周围的情况，减少在逆行时碰撞、刮擦等故障的发生概率。

在上述图1和图2所示的实施例均为根据车辆的当前行驶状态自动在显示屏上显示目标显示图像，为了进一步提高在显示屏上显示目标显示图像的灵活性，用户还可以根据实际需要通过手动调节，实现在显示屏上显示目标显示图像，下面通过图3所示的实施例对通过手动调节，实现在显示屏上显示目标显示图像的过程进行详细说明。

图3为本发明提供的多鱼眼图像处理方法的流程图三；该方法的执行主体可以为多鱼眼图像处理装置，该多鱼眼图像处理装置可以通过软件和/或硬件实现，该多鱼眼图像处理装置还可以嵌入到车载终端中实现。请参照图3，该方法可以包括：

S301、接收用户输入的图像显示模式；

S302、根据图像显示模式，获取与图像显示模式对应的当前时刻的目标显示图像；

S303、向用户显示图像显示模式对应的目标显示图像。

在图3所示的实施例中，可选的，图像显示模式可以为全景图像显示模式、后景图像显示模式等，其中，各图像显示模式中包括当前时刻的目标显示图像；当多鱼眼图像处理装置接收到用户输入的图像显示模式后，根据图像显示模式，获取当前时刻的目标显示图像，并通过显示屏向用户显示目标显示图像。

本领域技术人员可以理解的是，图3所示的实施例可以单独执行，也可以和图1或图2所示的实施例结合执行；例如，通过图1或图2所示的实施例，在显示屏上显示的是车辆后方50米的图像(后景图像显示模式)，当用户需要观察车辆周围近距离内的图像(全景图像显示模式)时，可以通过手动操作，在显示屏上显示全景图像显示模式。

通过图3所示的实施例，用户可以根据实际需要通过手动调节，实现在显示屏上显示目标显示图像，增强了在屏幕上显示目标显示图像的灵活性，进而提高的用户体验。

在上述图1和图2所示的实施例中，在图像处理装置获取得到车辆的当前行驶状态和至少两张初始鱼眼图像后，需要对设置在车辆上的鱼眼镜头拍摄的初始鱼眼图像进行校正处理；在图3所示的实施例中，获取与图像显示模式对应的当前时刻的目标显示图像之前，也需要对设置在车辆上的鱼眼镜头拍摄的初始鱼眼图像进行校正处理；下面，对初始鱼眼图像进行图像校正处理，得到校正图像的过程进行详细说明。

图4为本发明提供的鱼眼图像校正方法的流程图，请参照图4，该方法可以包括：

S401、对初始鱼眼图像进行二值化处理，得到二值化处理后的鱼眼图像的边缘；

S402、根据二值化处理后的鱼眼图像的边缘，对初始鱼眼图像进行拟合椭圆处理，得到椭圆鱼眼图像；

S403、对椭圆鱼眼图像进行圆形化处理，得到圆形鱼眼图像；

S404、根据各圆形鱼眼图像中各像素的坐标、像素值以及预设鱼眼镜头参数表，得到校正图像。

在S401中，在实际使用过程中，获取的初始鱼眼图像通常通过0-255中任意像素值表示，使得初始鱼眼图像为彩色图像，通过二值化处理后的鱼眼图像通过0和255该两个像素值表示，使得二值化处理后的鱼眼图像为黑白图像，通过黑白图像获取鱼眼图像的边缘，其中，鱼眼图像的边缘为近似椭圆状。

在S402中，图像处理装置根据鱼眼图像的边缘，对初始鱼眼图像进行椭圆拟合处理，得到椭圆鱼眼图像，其中，椭圆鱼眼图像的边缘为椭圆状，可选的，可以通过最小二乘法对初始鱼眼图像进行拟合椭圆处理。

在S403中，图像处理装置可以通过如下可行的实现方式对鱼眼图像进行圆形化处理，得到圆形鱼眼图像；具体的，获取椭圆鱼眼图像在水平方向上的半轴长a，获取椭圆鱼眼图像在竖直方向上的半轴长b，若a>b，则在水平方向上对椭圆鱼眼图像进行压缩a/b倍，若b>a，则在竖直方向上对椭圆鱼眼图像进行压缩b/a倍，通过上述压缩处理得到圆形鱼眼图像，使得圆形鱼眼图像在水平方向上包括的最多像素个数，等于鱼眼图像在竖直方向上包括的最多像素个数。

在S404中，在图像处理装置得到圆形鱼眼图像以后，需要根据圆形鱼眼图像中各像素的坐标、像素值以及预设鱼眼镜头参数表，得到校正图像；在具体实现过程中，通过确定校正图像中各待确定像素的像素值，进而得到校正图像；下面以确定校正图像中的一个待确定像素的像素值的过程为例，对确定待确定像素的像素值的过程进行详细说明。

图5为本发明提供的确定待确定像素的像素值方法的流程图；本实施例在图4所示实施例中的S401-S403的基础上，对S404的一种可行的实现方式进行详细说明，请参照图5，该方法可以包括：

S501、获取校正图像中待确定像素的像素坐标(a，b)，确定像素坐标对应的位置与校正图像中心的距离r；

S502、根据预设鱼眼镜头参数表，确定与r对应的参数θ_d，θ_d代表圆形鱼眼图像中鱼眼像素点与圆形鱼眼图像中心的距离；

S503、根据待确定像素的像素坐标(a，b)、r以及θ_d，获取圆形鱼眼图像中与待确定像素对应的目标像素的像素坐标；

S504、根据目标像素的像素坐标，确定目标像素的像素值；

S505、根据目标像素的像素值，通过插值法确定待确定像素的像素值。

在图5所示的实施例中，像素的像素坐标是指，图像中以像素为单位、相对于像素原点的坐标，其中，像素原点可以为图像中左上角像素所处的像素位置，也可以为图像中左下角像素所处的像素位置，也可以为图像中处于正中心的像素位置；在实际应用中，可以根据实际需要设置图像的像素原点，本发明对此不作具体限定。

示例性的，图像的像素原点为图像的左上角像素所处的像素位置，以像素为单位，假设一像素位于图像的第i行、第j列像素所属的位置，则像素的坐标为(i，j)。

在图5所示的实施例中，像素坐标对应的位置与校正图像中心的距离r为，像素坐标对应的位置与校正图像中心的实际物理距离；可选的，校正图像中心可以为图像的原点像素位置，也可以为图像的物理中心，即图像中处于正中心的像素位置，在实际应用中，可以根据实际需要设置校正图像中心。

示例性的，假设像素坐标为(a，b)，校正图像中心的像素坐标为(0,0)，像素的宽度为d，其中d为实际物理距离，则像素坐标对应的位置与校正图像中心的距离 $r=d\×\sqrt{a^2+b^2}.$

下面对图5实施例所示的确定校正图像中待确定像素值方法进行详细说明。

图像处理装置获取校正图像中待确定像素的像素坐标(a，b)，并计算获取像素坐标(a，b)与校正图像中心的距离r，然后根据预设的鱼眼图像参数表，查询获取与r对应的θ_d，θ_d代表圆形鱼眼图像中鱼眼像素点与圆形鱼眼图像中心的距离。

在确定得到待确定像素的像素坐标(a，b)、r以及θ_d后，确定圆形鱼眼图像中与待确定像素对应的目标像素的坐标，可选的，根据下述公式一获取圆形鱼眼图像中与待确定像素对应的目标像素的像素横坐标u，并根据下述公式二获取圆形鱼眼图像中与待确定像素对应的目标像素的像素纵坐标v，其中，公式一和公式二中的d为校正图像中各像素的宽度。

$u=\frac{{\mathrm{\θ}}_d\×a}{d^2\×\sqrt{a^2+b^2}}$ 公式一；

$v=\frac{{\mathrm{\θ}}_d\×b}{d^2\×\sqrt{a^2+b^2}}$ 公式二；

在确定圆形鱼眼图像中与待确定像素对应的目标像素的坐标后，根据目标像素的像素值，通过插值法确定待确定像素的像素值，具体的，可以通过以下可行的方式实现：获取u的整数部分i以及小数部分s，v的整数部分j以及小数部分t；根据下述公式三确定待确定像素的像素值：

f(a,b)＝(1-s)*(1-t)*f(i,j)+(1-s)*t*f(i,j+1)+s*(1-t)*f(i+1,j)+s*t*f(i+1,j+1)

公式三；

其中，f(a,b)为待确定像素的像素值，f(i,j)为圆形鱼眼图像中像素坐标为(i，j)的像素的像素值，f(i,j+1)为圆形鱼眼图像中像素坐标为(i，j+1)的像素的像素值，f(i+1,j)为圆形鱼眼图像中像素坐标为(i+1，j)的像素的像素值，f(i+1,j+1)为圆形鱼眼图像中像素坐标为(i+1，j+1)的像素的像素值。

针对各校正图像中每一个待确定像素，均执行上述S501-S505，以获取校正图像中每一个待确定像素的像素值，根据各每一个待确定像素的像素值，得到校正图像。

图6为本发明提供的多鱼眼图像处理装置结构示意图一，请参照图6，该多鱼眼图像处理装置可以包括：

第一获取模块601，用于获取车辆的当前行驶状态和至少两张初始鱼眼图像，至少两张初始鱼眼图像为通过设置在车辆不同位置的鱼眼镜头在当前时刻获取的；

校正模块602，用于对各初始鱼眼图像进行图像校正，得到各初始鱼眼图像的校正图像；

第一确定模块603，用于根据车辆的当前行驶状态和预设对应关系，在各校正图像中确定与当前行驶状态对应的至少一个目标校正图像，预设对应关系为：车辆的行驶状态与车辆上设置的至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的对应关系；

第二确定模块604，用于根据车辆的当前行驶状态，在各目标校正图像中，确定每个目标校正图像的目标显示图像，并向用户显示各目标显示图像，目标显示图像为目标校正图像中的一部分。

图7为本发明提供的多鱼眼图像处理装置结构示意图二，在图6所示实施例的基础上，请参照图7，该多鱼眼图像处理装置还可以包括：

亮度调节模块605，用于对各目标显示图像进行亮度调节处理，以使各目标显示图像的亮度相同；和/或，

拼接模块606，用于对各目标显示图像进行拼接处理，以使各目标显示图像通过一张图像显示。

在实际使用过程中，根据车辆的当前行驶状态的不同，获取的到目标校正图像也不相同，相应的，在目标校正图像中确定目标显示图像的过程也不相同，具体的：

车辆的行驶状态包括：行驶方向、行驶速度及转向角度；车辆当前的行驶方向为正向，转向角度非零，目标校正图像为：设置在车辆尾部的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像，或者，设置在车辆尾部的鱼眼镜头和设置在与转向角度对应的车辆一侧的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像；

相应的，第二确定模块604具体可以用于：根据行驶方向、转向角度以及行驶速度的大小，确定目标显示图像为目标校正图像的上部图像，其中，上部图像的上边缘为目标校正图像的上边缘，上部图像的下边缘为目标校正图像中与车辆的行驶速度对应的像素位置所处的水平线；根据上部图像的上边缘和下边缘，确定目标校正图像的目标显示图像。

车辆的当前行驶状态包括：车辆的行驶方向和行驶速度；行驶方向为逆向，行驶速度小于预设速度，目标校正图像为，设置在车辆不同位置的所有鱼眼镜头拍摄得到的鱼眼图像的校正图像；

相应的，第二确定模块604具体可以用于：根据行驶方向以及行驶速度，确定目标显示图像为目标校正图像中的预设显示区域；根据预设显示区域，在目标校正图像中获取目标校正图像的目标显示图像。

进一步的，该多鱼眼图像处理装置还可以包括：

接收模块607，用于接收用户输入的图像显示模式；

第二获取模块608，用于根据图像显示模式，获取与图像显示模式对应的当前时刻的目标显示图像，并向用户显示图像显示模式对应的目标显示图像。

可选的，校正模块602可以包括校正单元6021和获取单元6022；其中，

校正单元6021用于，对初始鱼眼图像进行二值化处理，得到二值化处理后的鱼眼图像的边缘；根据二值化处理后的鱼眼图像的边缘，对初始鱼眼图像进行拟合椭圆处理，得到椭圆鱼眼图像；对椭圆鱼眼图像进行圆形化处理，得到圆形鱼眼图像；

获取单元6022，用于根据各圆形鱼眼图像中各像素的坐标、像素值以及预设鱼眼镜头参数表，得到校正图像。

进一步的，获取单元6022具体可以用于：

获取校正图像中待确定像素的像素坐标(a，b)，确定像素坐标对应的位置与校正图像中心的距离r；

根据预设鱼眼镜头参数表，确定与r对应的参数θ_d，θ_d代表圆形鱼眼图像中鱼眼像素点与圆形鱼眼图像中心的距离；

根据下述公式一获取圆形鱼眼图像中与待确定像素对应的目标像素的像素横坐标u，并根据下述公式二获取圆形鱼眼图像中与待确定像素对应的目标像素的像素纵坐标v：

$u=\frac{{\mathrm{\θ}}_d\×a}{d^2\×\sqrt{a^2+b^2}}$ 公式一；

$v=\frac{{\mathrm{\θ}}_d\×b}{d^2\×\sqrt{a^2+b^2}}$ 公式二；

其中，d为校正图像中各像素的宽度；

根据目标像素的像素坐标，确定目标像素的像素值；

根据目标像素的像素值，通过插值法确定待确定像素的像素值；

根据待确定像素的像素值，得到校正图像。

本发明实施例提供的多鱼眼图像处理装置，用以执行上述多鱼眼图像处理方法实施例中的技术方案，其实现原理以及技术效果类似，此处不再进行赘述。

图8为本发明提供的车辆的结构示意图，请参照图8，该车辆包括车载鱼眼镜头801、显示屏802以及上述任一实施例所述的多鱼眼图像处理装置803。

在实际应用过程中，多鱼眼图像处理装置803可以安装在车辆的任意位置，用于获取车载鱼眼镜头801拍摄的初始鱼眼图像，并对初始鱼眼图像进行处理，然后根据车辆的当前转向角度确定目标显示图像，并通过显示屏802显示目标显示图像。

本发明实施例中的多鱼眼图像处理装置可以参考上述实施例中多鱼眼图像处理装置所涉及的相关实施例揭露的相关内容，其实现原理和技术效果类似，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多鱼眼图像处理方法，其特征在于，包括：

获取车辆的当前行驶状态和至少两张初始鱼眼图像，所述至少两张初始鱼眼图像为通过设置在所述车辆不同位置的鱼眼镜头在当前时刻获取的；

对各所述初始鱼眼图像进行图像校正，得到各所述初始鱼眼图像的校正图像；

根据所述车辆的当前行驶状态和预设对应关系，在各所述校正图像中确定与所述当前行驶状态对应的至少一个目标校正图像，所述预设对应关系为：所述车辆的当前行驶状态与所述车辆上设置的至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的对应关系；

根据所述车辆的当前行驶状态，在各所述目标校正图像中，确定每个所述目标校正图像的目标显示图像，并向用户显示各所述目标显示图像，所述目标显示图像为所述目标校正图像中的一部分。

2.根据权利要求1所述的方法，其特征在于，所述向用户显示各所述目标显示图像之前，还包括：

对各所述目标显示图像进行亮度调节处理，以使各所述目标显示图像的亮度相同；和/或，

对各所述目标显示图像进行拼接处理，以使各所述目标显示图像通过一张图像显示。

3.根据权利要求2所述的方法，其特征在于，所述车辆的行驶状态包括：行驶方向、行驶速度及转向角度；

所述车辆当前的行驶方向为正向，转向角度非零，所述目标校正图像为：设置在所述车辆尾部的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像，或者，设置在所述车辆尾部的鱼眼镜头和设置在与所述转向角度对应的所述车辆一侧的鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像；

相应的，所述根据所述车辆的当前行驶状态，在各所述目标校正图像中，确定每个所述目标校正图像的目标显示图像，包括：

根据所述行驶方向、所述转向角度以及所述行驶速度的大小，确定所述目标显示图像为所述目标校正图像的上部图像，其中，所述上部图像的上边缘为所述目标校正图像的上边缘，所述上部图像的下边缘为所述目标校正图像中与所述车辆的行驶速度对应的像素位置所处的水平线；

根据所述上部图像的上边缘和下边缘，确定目标校正图像的目标显示图像。

4.根据权利要求2所述的方法，其特征在于，所述车辆的当前行驶状态包括：车辆的行驶方向和行驶速度；

所述行驶方向为逆向，行驶速度小于预设速度，所述目标校正图像为，设置在所述车辆不同位置的所有鱼眼镜头拍摄得到的鱼眼图像的校正图像；

相应的，针对各所述目标校正图像中的任一目标校正图像，所述根据所述车辆的当前行驶状态，在各所述目标校正图像中，确定每个所述目标校正图像的目标显示图像，包括：

根据所述行驶方向以及所述行驶速度，确定所述目标显示图像为所述目标校正图像中的预设显示区域；

根据所述预设显示区域，在所述目标校正图像中获取所述目标校正图像的目标显示图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

接收用户输入的图像显示模式；

根据所述图像显示模式，获取与所述图像显示模式对应的当前时刻的目标显示图像；

向所述用户显示所述图像显示模式对应的目标显示图像。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述初始鱼眼图像进行图像校正，得到所述初始鱼眼图像的校正图像，包括：

对所述初始鱼眼图像进行二值化处理，得到二值化处理后的鱼眼图像的边缘；

根据所述二值化处理后的鱼眼图像的边缘，对所述初始鱼眼图像进行拟合椭圆处理，得到椭圆鱼眼图像；

对所述椭圆鱼眼图像进行圆形化处理，得到圆形鱼眼图像；

根据各所述圆形鱼眼图像中各像素的坐标、像素值以及预设鱼眼镜头参数表，得到所述校正图像。

7.根据权利要求6所述的方法，其特征在于，所述根据各所述圆形鱼眼图像中各像素的坐标、像素值以及预设鱼眼镜头参数表，确定所述校正图像，包括：

获取所述校正图像中待确定像素的像素坐标(a，b)，确定所述像素坐标对应的位置与所述校正图像中心的距离r；

根据所述预设鱼眼镜头参数表，确定与所述r对应的参数θ_d，所述θ_d代表所述圆形鱼眼图像中鱼眼像素点与所述圆形鱼眼图像中心的距离；

根据下述公式一获取所述圆形鱼眼图像中与所述待确定像素对应的目标像素的像素横坐标u，并根据下述公式二获取所述圆形鱼眼图像中与所述待确定像素对应的目标像素的像素纵坐标v：

$u=\frac{{\mathrm{\θ}}_d\×a}{d^2\×\sqrt{a^2+b^2}}$ 公式一；

$v=\frac{{\mathrm{\θ}}_d\×b}{d^2\×\sqrt{a^2+b^2}}$ 公式二；

其中，所述d为所述校正图像中各像素的宽度；

根据所述目标像素的像素坐标，确定所述目标像素的像素值；

根据所述目标像素的像素值，通过插值法确定所述待确定像素的像素值；

根据所述待确定像素的像素值，得到所述校正图像。

8.一种多鱼眼图像处理装置，其特征在于，包括：

获取模块，用于获取车辆的当前行驶状态和至少两张初始鱼眼图像，所述至少两张初始鱼眼图像为通过设置在所述车辆不同位置的鱼眼镜头在当前时刻获取的；

校正模块，用于对各所述初始鱼眼图像进行图像校正，得到各所述初始鱼眼图像的校正图像；

第一确定模块，用于根据所述车辆的当前行驶状态和预设对应关系，在各所述校正图像中确定与所述当前行驶状态对应的至少一个目标校正图像，所述预设对应关系为：所述车辆的行驶状态与所述车辆上设置的至少一个鱼眼镜头在当前时刻拍摄的鱼眼图像的校正图像的对应关系；

第二确定模块，用于根据所述车辆的当前行驶状态，在各所述目标校正图像中，确定每个所述目标校正图像的目标显示图像，并向用户显示各所述目标显示图像，所述目标显示图像为所述目标校正图像中的一部分。

9.根据权利要求8所述的装置，其特征在于，所述多鱼眼图像处理装置还包括：

亮度调节模块，用于对各所述目标显示图像进行亮度调节处理，以使各所述目标显示图像的亮度相同；和/或，

拼接模块，用于对各所述目标显示图像进行拼接处理，以使各所述目标显示图像通过一张图像显示。

10.一种车辆，其特征在于，包括车载鱼眼镜头、显示屏以及如权利要求8或9所述的多鱼眼图像处理装置。