CN108734666A - 一种鱼眼图像校正方法及装置 - Google Patents

Abstract

本发明实施例提供了一种鱼眼图像校正方法及装置，方法包括：获得鱼眼图像；获取并根据鱼眼图像中的第一像素点的第一坐标以及鱼眼图像的中心点的第二坐标，计算第一像素点的第一像高；根据预存的入射角与像高的对应关系以及第一像高，确定第一像高对应的第一入射角；根据第一入射角以及预设的第二平面与鱼眼图像所在的第一平面之间的距离，计算第一像高对应的第二像高，其中，第二平面与第一平面平行；根据第一坐标、第二坐标、第一像高以及第二像高，确定第二像素点的第三坐标；根据第二像素点的第三坐标以及第二像素点对应的第一像素点的像素值，获得鱼眼图像对应的校正图像。实现了无需标定校正模型，即可得到鱼眼图像对应的校正图像。

Description

一种鱼眼图像校正方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种鱼眼图像校正方法及装置。

背景技术

鱼眼镜头作为一种超广角镜头，其视角可以达到或超过180°，即可拍摄的范围非常大，因此在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。

鱼眼镜头将半球形物面成像为平面，因此所拍摄的图像严重畸变，使得人的视觉上感受不自然，为了获得符合人的视觉感受，需要将鱼眼镜头所拍摄的畸变图像校正为人的视觉可以接受的透视投影图像。现有的对鱼眼图像进行校正的方式，包括鱼眼成像面投影模型、二维图像畸变校正以及三维图像畸变校正等。

然而，上述的对鱼眼图像进行校正的方式，均需要标定出校正模型，进一步的，根据所标定出的校正模型，得到鱼眼图像的校正图像。

发明内容

本发明实施例的目的在于提供一种鱼眼图像校正方法及装置，以实现无需标定校正模型，即可得到鱼眼图像对应的校正图像。具体技术方案如下：

一方面，本发明实施例提供了一种鱼眼图像校正方法，所述方法包括：

获得鱼眼图像；

获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高；

根据预存的入射角与像高的对应关系以及所述第一像高，确定所述第一像高对应的第一入射角；

根据所述第一入射角以及预设的第二平面与第一平面之间的距离，计算所述第一像高对应的第二像高，其中，所述第二平面与所述第一平面平行，所述第一平面为所述鱼眼图像所在平面；

根据所述第一坐标、所述第二坐标、所述第一像高以及所述第二像高，确定第二像素点的第三坐标；

根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，获得所述鱼眼图像对应的校正图像。

可选地，在所述获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高的步骤之前，所述方法还包括：

根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像；

确定所述有效圆形图像的圆心，将所述圆心确定为所述鱼眼图像的中心点。

可选地，所述像素值阈值包括第一像素值阈值；

所述根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像的步骤，包括：

根据所述第一像素值阈值以及所述第一像素点的像素值，对所述鱼眼图像进行分割，获得备选图像；

对所述备选图像进行圆检测拟合，获得所述有效圆形图像。

可选地，所述像素值阈值包括第二像素值阈值；

所述根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像的步骤，包括：

遍历所述鱼眼图像，根据所述第一像素点的像素值，从所述鱼眼图像中确定边缘像素点，其中，每一边缘像素点对应的像素值均超过所述第二像素值阈值；

根据所确定的边缘像素点，确定有效矩形图像；

根据所述有效矩形图像的中心点以及所述有效矩形图像的长边的一半，确定所述有效圆形图像。

可选地，所述根据预存的入射角与像高的对应关系以及所述第一像高，确定所述第一像高对应的第一入射角的步骤，包括：

判断所述预存的入射角与像高的对应关系中，是否存在与所述第一像高相等的目标像高；

若是，则将所述对应关系中所述目标像高对应的入射角，确定为第一像高对应的第一入射角。

可选地，所述方法还包括：当判断所述预存的入射角与像高的对应关系中，不存在包含与所述第一像高相等的目标像高时，

根据所述预存的入射角与像高的对应关系以及所述第一像高，确定出所述第一像高对应的第三像高以及第四像高，其中，所述第三像高为所述对应关系中所包含的最小的且大于所述第一像高的像高，所述第四像高为所述对应关系中所包含的最大的且小于所述第一像高的像高；

根据所述对应关系及所述第三像高，确定所述第三像高对应的第二入射角；

根据所述对应关系及所述第四像高，确定所述第四像高对应的第三入射角；

根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角。

可选地，所述根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角的步骤所利用预设算法为拉格朗日插值算法。

可选地，在所述根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，得到所述鱼眼图像对应的校正图像的步骤之前，所述方法还包括：

获得所述鱼眼图像的尺寸以及所述第一像素点的像素值；

所述根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，得到所述鱼眼图像对应的校正图像的步骤，包括：

根据所述第二像素点的第三坐标，将所述第二像素点对应的第一像素点的像素值分别赋值至所述第二像素点，获得中间校正图像；

根据所述鱼眼图像的尺寸，对所述中间校正图像进行尺寸调整，获得所述校正图像。

另一方面，本发明实施例提供了一种鱼眼图像校正装置，所述装置包括：

第一获得模块，用于获得鱼眼图像；

获取计算模块，用于获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高；

第一确定模块，用于根据预存的入射角与像高的对应关系以及所述第一像高，确定所述第一像高对应的第一入射角；

第一计算模块，用于根据所述第一入射角以及预设的第二平面与第一平面之间的距离，计算所述第一像高对应的第二像高，其中，所述第二平面与所述第一平面平行，所述第一平面为所述鱼眼图像所在平面；

第二确定模块，用于根据所述第一坐标、所述第二坐标、所述第一像高以及所述第二像高，确定第二像素点的第三坐标；

第二获得模块，用于根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，获得所述鱼眼图像对应的校正图像。

可选地，所述装置还包括：第三确定模块和第四确定模块；

所述第三确定模块，用于在所述获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高之前，根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像；

所述第四确定模块，用于确定所述有效圆形图像的圆心，将所述圆心确定为所述鱼眼图像的中心点。

可选地，所述像素值阈值包括第一像素值阈值；

所述第三确定模块，具体用于

根据所述第一像素值阈值以及所述第一像素点的像素值，对所述鱼眼图像进行分割，获得备选图像；

对所述备选图像进行圆检测拟合，获得所述有效圆形图像。

可选地，所述像素值阈值包括第二像素值阈值；

所述第三确定模块，具体用于

遍历所述鱼眼图像，根据所述第一像素点的像素值，从所述鱼眼图像中确定边缘像素点，其中，每一边缘像素点对应的像素值均超过所述第二像素值阈值；

根据所确定的边缘像素点，确定有效矩形图像；

根据所述有效矩形图像的中心点以及所述有效矩形图像的长边的一半，确定所述有效圆形图像。

可选地，所述第一确定模块包括判断单元和第一确定单元；

所述判断单元，用于判断所述预存的入射角与像高的对应关系中，是否存在与所述第一像高相等的目标像高；若是，触发所述第一确定单元；

所述第一确定单元，用于将所述对应关系中所述目标像高对应的入射角，确定为第一像高对应的第一入射角。

可选地，所述第一确定模块还包括第二确定单元、第三确定单元、第四确定单元和第五确定单元；

所述第二确定单元，用于当判断所述预存的入射角与像高的对应关系中，不存在包含与所述第一像高相等的目标像高时，根据所述预存的入射角与像高的对应关系以及所述第一像高，确定出所述第一像高对应的第三像高以及第四像高，其中，所述第三像高为所述对应关系中所包含的最小的且大于所述第一像高的像高，所述第四像高为所述对应关系中所包含的最大的且小于所述第一像高的像高；

所述第三确定单元，用于根据所述对应关系及所述第三像高，确定所述第三像高对应的第二入射角；

所述第四确定单元，用于根据所述对应关系及所述第四像高，确定所述第四像高对应的第三入射角；

所述第五确定单元，用于根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角。

可选地，所述根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角所利用预设算法为拉格朗日插值算法。

可选地，所述装置还包括第三获得模块；

所述第三获得模块，用于在所述根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，得到所述鱼眼图像对应的校正图像之前，获得所述鱼眼图像的尺寸以及所述第一像素点的像素值；

所述第二获得模块，具体用于

根据所述第二像素点的第三坐标，将所述第二像素点对应的第一像素点的像素值分别赋值至所述第二像素点，获得中间校正图像；

根据所述鱼眼图像的尺寸，对所述中间校正图像进行尺寸调整，获得所述校正图像。

本发明实施例中，获得鱼眼图像；获取并根据鱼眼图像中的第一像素点的第一坐标以及鱼眼图像的中心点的第二坐标，计算第一像素点的第一像高；根据预存的入射角与像高的对应关系以及第一像高，确定第一像高对应的第一入射角；根据第一入射角以及预设的第二平面与鱼眼图像所在的第一平面之间的距离，计算第一像高对应的第二像高，其中，第二平面与第一平面平行；根据第一坐标、第二坐标、第一像高以及第二像高，确定第二像素点的第三坐标；根据第二像素点的第三坐标以及第二像素点对应的第一像素点的像素值，获得鱼眼图像对应的校正图像。

可见，本发明实施例中无需额外标定校正模型，以得到鱼眼图像对应的校正图像，直接利用预存的入射角与像高的对应关系以及鱼眼图像中的第一像素点的第一像高，即可确定出鱼眼图像对应的校正图像。无需标定额外标定校正模型，简化了鱼眼图像校正过程，减少了运算量，提高了鱼眼图像校正的效率。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的鱼眼图像校正方法的一种流程示意图；

图2A为本发明实施例提供的鱼眼图像校正方法的原理图；

图2B为鱼眼图像的一个示例；

图2C为对图2B所示的鱼眼图像校正后的校正图像；

图3为本发明实施例提供的鱼眼图像校正方法的另一种流程示意图；

图4为本发明实施例提供的鱼眼图像校正装置的一种结构示意图；

图5为本发明实施例提供的鱼眼图像校正装置的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种鱼眼图像校正方法及装置，以实现无需标定校正模型，即可得到鱼眼图像对应的校正图像。

下面首先对本发明实施例所提供的一种鱼眼图像校正方法进行介绍。

如图1所示，本发明实施例提供了一种鱼眼图像校正方法，可以包括如下步骤：

S101：获得鱼眼图像；

可以理解的是，本发明实施例所提供的一种鱼眼图像校正方法，可以应用于任一可以获得鱼眼图像的电子设备中，该电子设备可以是监控设备、照相机、电脑等等，这都是可以的。其中，鱼眼图像可以为：图像采集设备利用鱼眼镜头所生成的图像。

本发明实施例中的鱼眼图像可以是彩色图像，也可以是灰度图像。

S102：获取并根据鱼眼图像中的第一像素点的第一坐标以及鱼眼图像的中心点的第二坐标，计算第一像素点的第一像高；

本发明实施例中，可以将鱼眼图像中的像素点称为第一像素点。

需要说明的是，在获得鱼眼图像后，还可以获得一个预设坐标系，该预设坐标系可以为一个三维直角坐标系。其中，上述预设坐标系可以为：预先基于鱼眼图像所在平面所建立的坐标系；或者，上述预设坐标系也可以为：随机预设的一个坐标系，其中，上述随机预设的坐标系中映射有所获得的鱼眼图像，等等，这都是可以的。后续的描述均可以以上述预设坐标系为基础。

遍历所获得的鱼眼图像，获得鱼眼图像中第一像素点在上述预设坐标系中的坐标，称之为第一坐标，获得鱼眼图像的中心点在上述预设坐标系中的坐标，称之为第二坐标。进一步的，根据所获得第一像素点的第一坐标与鱼眼图像的中心点的第二坐标，计算每一第一像素点的像高，称之为第一像高。

需要说明的是，在上述预设坐标系(例如：三维直角坐标系OXYZ)中，鱼眼图像中的第一像素点均对应唯一的一个第一坐标，该第一坐标均可以表示为(x,y,z)，鱼眼图像的中心点的第二坐标可以表示为(x₀,y₀,z₀)，利用勾股定理，可以计算第一像素点到鱼眼图像的中心点的距离上述所得的距离h即为第一像素点的第一像高。

其中，上述预设坐标系中的竖轴Z轴为“0”的平面可以与鱼眼图像所在平面重合，也可以不与鱼眼图像所在平面重合。另外，上述预设坐标系中的原点可以与鱼眼图像的中心点重合，也可以不与鱼眼图像的中心点重合，这都是可以的。

在一种实现方式中，上述预设坐标系中的竖轴Z轴为“0”的平面可以与鱼眼图像所在平面重合，且上述预设坐标系中的原点可以与鱼眼图像的中心点重合，即上述三维直角坐标系OXYZ的横轴X轴可以为鱼眼图像的中心点所在行，纵轴Y轴可以为鱼眼图像的中心点所在列，且鱼眼图像所在平面(即后续提到的第一平面)为：上述三维直角坐标系OXYZ的横轴与纵轴所确定的坐标面，此时，上述第一坐标可以表示为(x,y,0)，上述第二坐标可以表示为(0,0,0)，利用勾股定理，可以计算每一第一像素点到鱼眼图像的中心点的距离

S103：根据预存的入射角与像高的对应关系以及第一像高，确定第一像高对应的第一入射角；

S104：根据第一入射角以及预设的第二平面与第一平面之间的距离，计算第一像高对应的第二像高，其中，第二平面与第一平面平行，第一平面为鱼眼图像所在平面；

需要说明的是，上述第二平面可以为：预设的平面，且上述预设的平面为鱼眼图像对应的校正图像所在的平面。上述入射角可以为：在图像采集设备利用鱼眼镜头成像过程中(即生成鱼眼图像的过程中)，所形成的鱼眼图像中的第一像素点对应的第一连线与图像采集设备的光轴的夹角，其中，第一连线为：鱼眼图像中的第一像素点对应的理论成像点(即在鱼眼镜头上的成像点)与所形成的鱼眼图像的中心点(图像采集设备的光轴与成像平面的交点)的连线。

可以理解的是，该预存的入射角与像高的对应关系，可以是从鱼眼镜头厂家所提供的鱼眼镜头参数表中获得的，该鱼眼镜头参数表中记录有每一入射角与像高的对应关系。或者，该预存的入射角与像高的对应关系，也可以是通过预设的构造公式构造而成，其中，该构造公式可以为现有的鱼眼镜头的任一光学成像公式，例如：鱼眼镜头的等距投影公式H＝fθ、鱼眼镜头的透视投影公式H＝ftanθ等、鱼眼镜头的正交投影公式和鱼眼镜头的等立体投影公式H＝2ftan(θ/2)等，其中，该H可以表示为像高，f可以为所对应鱼眼镜头的焦距，该θ可以表示为入射角。

需要强调的是，当该预存的入射角与像高的对应关系，是从鱼眼镜头厂家所提供的鱼眼镜头参数表中获得的时，利用预存的入射角与像高的对应关系，可以确定出更为准确的校正图像。

如图2A所示，图2A中的轴“9”即为上述预设坐标系的横轴X轴，图2A中的轴“8”即为上述预设坐标系的纵轴Y轴，图2A中所示的平面“2”即为鱼眼图像所在的第一平面，图2A中的轴“10”即为上述预设坐标系的竖轴Z轴，图2A中平面“2”与轴“10”的交点“13”即为原点O，其中，该原点O与鱼眼图像的中心点重合。

如图2A中的平面“1”即为预设的第二平面，第一平面与第二平面相互平行，且第一平面与第二平面之间的距离为预设的距离，即如图2A中所示的距离“16”，如图2A中所示的交点“17”即为第二平面与上述预设坐标系的竖轴Z轴的交点，且为第二平面的中心点。并且，图2A中所示，平面“1”中的轴“11”为与预设坐标系中的Y轴平行的轴，平面“1”中的轴“12”为与预设坐标系中的X轴平行的轴。其中，上述第二平面为：鱼眼图像对应的校正图像所在的平面。

图2A中，在鱼眼图像中的第一像素点“5”，第一像素点“5”到原点“13”的距离即为第一像素点“5”的第一像高，如图2A中所示的线段“14”。

根据鱼眼镜头成像原理可知，基于第一像素点“5”作垂直于该鱼眼图像所在第一平面的垂线，该垂线与鱼眼图像对应的鱼眼镜头(即图2A中的虚曲线“3”)必存在一交点，如图2A中的交点“6”，交点“6”即为第一像素点“5”在鱼眼镜头上的理论成像点。根据鱼眼镜头成像原理可知，第一像素点“5”所对应的第二像素点存在于交点“6”与原点“13”的连线上。交点“6”与原点“13”的连线与平面“1”(第二平面)的交点“4”即为第一像素点“5”对应的第二像素点，如图2A中交点“6”、原点“13”与交点“4”所在的直线可以认为成第一像素点“5”对应的第一连线，夹角“7”即为第一像素点“5”对应的第一入射角。其中，本发明实施例中入射角的取值范围可以为[0,90°)。

在一种实现方式中，所述根据预存的入射角与像高的对应关系以及第一像高，确定第一像高对应的第一入射角(S103)的步骤，可以包括：

判断预存的入射角与像高的对应关系中，是否存在与第一像高相等的目标像高；

若是，则将对应关系中目标像高对应的入射角，确定为第一像高对应的第一入射角。

利用预设的查找算法，从预存的入射角与像高的对应关系中，查找是否存在与第一像高相等的目标像高，也即查找是否存在包含第一像高的第一对应关系，当预存的入射角与像高的对应关系中存在与第一像高相等的目标像高时，将对应关系中所包括的目标像高对应的入射角，直接确定为第一像高对应的第一入射角，即确定为所对应第一像素点的第一入射角。

在一种实现方式中，该预设的查找算法可以为遍历查找算法或哈希查找算法。另外，预存的入射角与像高的对应关系，可以是按照所预存的像高的升序顺序或降序顺序排列的。此时，该预设的查找算法还可以为二分查找算法、树表查找算法等等，这都是可以的。

在一种实现方式中，所述方法还可以包括：当判断预存的入射角与像高的对应关系中，不存在包含与第一像高相等的目标像高时，

根据预存的入射角与像高的对应关系以及第一像高，确定出第一像高对应的第三像高以及第四像高；

其中，第三像高为对应关系中所包含的最小的且大于第一像高的像高，第四像高为对应关系中所包含的最大的且小于第一像高的像高；另外的，该第三像高以及第四像高还可以为对应关系中所包含的两个相对较小的且大于第一像高的像高，也可以为对应关系中所包含的两个相对较大的且小于第一像高的像高，这都是可以的。

根据对应关系及第三像高，确定第三像高对应的第二入射角；

根据对应关系及第四像高，确定第四像高对应的第三入射角；

根据第三像高、第四像高、第二入射角、第三入射角，确定第一像高对应的第一入射角。

在一种实现方式中，所述根据第三像高、第四像高、第二入射角、第三入射角，确定第一像高对应的第一入射角的步骤所利用预设算法可以为拉格朗日插值算法，其中，上述拉格朗日插值算法对应的公式可以表示为：

其中，该θ_x表示第一像素点的第一像高对应的第一入射角，该θ₁表示第二入射角，该表示θ₂第三入射角，该h₁表示第三像高，该h₂表示第四像高，该h_x表示第一像素点的第一像高。

另外的，上述预设算法还可以为：多项式差值算法、立方插值算法等高阶插值算法，等等，这都是可以的。鉴于对校正结果以及校正过程运算量的考虑，拉格朗日插值算法为较优的选择。

每一第一像素点对应的第一入射角确定后，再结合预设的第二平面与第一平面之间的距离，每一第一像素点的第一像高对应的第二像高即确定。如图2A所示，每一第二像高即为第二像素点与第二平面的中心点的距离，例如：图2A中所示的交点“4”与交点“17”之间的距离，即线段“15”为第一像素点“5”的第一像高对应的第二像高。如图2A中所示，交点“13”交点“17”以及交点“4”为直角三角形，存在线段“15”与距离“16”的比值为夹角“7”的正弦值。在一种实现方式中，上述S104根据第一入射角以及预设的第二平面与第一平面之间的距离，计算第一像高对应的第二像高时，可以依据预设的三角函数公式进行计算；如下所示：

H_x＝D·tan(θ_x)

其中，H_x表示所对应第一像高对应的第二像高，D表示预设的第二平面与第一平面之间的距离，θ_x表示第一像素点对应的第一入射角，tan()表示预设的三角函数公式。

该D可以为任一预先设置的距离，在成像过程中，鱼眼镜头与鱼眼图像成像平面之间的距离为鱼眼镜头的焦距，为了更好的确定出符合鱼眼图像尺寸的校正图像，该D可以取与鱼眼镜头的焦距相等的数值，使得所确定出的第二像高与所对应的第一像高近似相等。

S105：根据第一坐标、第二坐标、第一像高以及第二像高，确定第二像素点的第三坐标；

可以理解的是，当上述预设坐标系中的竖轴Z轴为“0”的平面可以与鱼眼图像所在平面重合，且上述预设坐标系中的原点可以与鱼眼图像的中心点重合时，第二平面与上述预设坐标系的竖轴Z轴的交点为第二平面的中心点，第二平面内所有点的Z轴坐标值的数值均等于，预设的第二平面与第一平面之间的距离的数值，第二平面中的每一第二像素点的第三坐标可以表示为(u,v,t)，其中，t＝D。

如图2A所示，通过三角关系容易证得，交点“4”(即第一像素点“5”对应的第二像素点)在第一平面上的投影点会存在于原点“13”与第一像素点“5”的连线上。依据三角比例关系，可以根据每一第一像素点的第一像高和对应的第二像素点的第二像高的比例关系以及每一第一像素点在上述预设坐标系中的第一坐标，确定出每一第一像素点对应的第二像素点在第一平面上的投影点的坐标，然后根据投影点的坐标，确定出所对应第二像素点的第三坐标。

在一种实现方式中，当上述预设坐标系中的竖轴Z轴为“0”的平面可以与鱼眼图像所在平面重合，且上述预设坐标系中的原点可以与鱼眼图像的中心点重合时，鱼眼图像的中心点的第二坐标为(0,0,0)，所述根据第一坐标、第二坐标、第一像高以及第二像高，确定第二像素点的第三坐标的步骤所利用公式可以为：

其中，(x,y,0)表示第一像素点的第一坐标，(u,v,t)表示第一像素点对应第二像素点的第三坐标，H_x表示第一像素点的第一像高对应的第二像高，h_x表示第一像素点的第一像高。

S106：根据第二像素点的第三坐标以及第二像素点对应的第一像素点的像素值，获得鱼眼图像对应的校正图像。

确定出第二像素点的第三坐标后，即确定出了鱼眼图像中的第一像素点与鱼眼图像对应的校正图像中的第二像素点的对应关系，根据上述确定出的对应关系，将第一像素点的像素值分别赋值至第一像素点对应的第二像素点后，即确定出了鱼眼图像的校正图像，获得该校正图像。

应用本发明实施例，无需额外标定校正模型得到鱼眼图像对应的校正图像，直接利用预存的入射角与像高的对应关系以及鱼眼图像中的第一像素点的第一像高，即可确定出鱼眼图像对应的校正图像。无需标定额外标定校正模型，简化了鱼眼图像校正过程，减少了运算量，提高了鱼眼图像校正的效率。

并且，每一类型鱼眼镜头可以复用同一组对应关系，针对同一类型的鱼眼镜头，不需要更换预存的入射角与像高的对应关系。

需要说明的是，获得的鱼眼图像可以是矩形图像，该鱼眼图像中仅在一块圆形区域内存在有效的第一像素点，即存在图像，鱼眼图像中除该圆形区域外的其他第一像素点，均为无效的第一像素点，即不存在图像。为了减少运算量，进一步提高鱼眼图像校正的效率，可以先从鱼眼图像中确定出存在有效的第一像素点的圆形区域，仅针对该圆形区域内所存在的有效的第一像素点进行校正。在一种实现方式中，如图3所示，所述方法还可以包括：

S301：获得鱼眼图像；

上述S301与图1中所示的S101相同；

S302：根据鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像；

S303：确定有效圆形图像的圆心，将该圆心确定为鱼眼图像的中心点；

S304：获取并根据鱼眼图像中的第一像素点的第一坐标以及鱼眼图像的中心点的第二坐标，计算第一像素点的第一像高；

S305：根据预存的入射角与像高的对应关系以及第一像高，确定第一像高对应的第一入射角；

S306：根据第一入射角以及预设的第二平面与第一平面之间的距离，计算第一像高对应的第二像高，其中，第二平面与第一平面平行，第一平面为鱼眼图像所在平面；

S307：根据第一坐标、第二坐标、第一像高以及第二像高，确定第二像素点的第三坐标；

S308：根据第二像素点的第三坐标以及第二像素点对应的第一像素点的像素值，获得鱼眼图像对应的校正图像。

其中，上述S304与图1中所示的S102相同，上述的S305与图1中所述的S103相同，上述S306与图1中所述的S104相同，上述S307与图1中所示的S105相同，上述S308与图1中所示的S106相同。

可以理解的是，该鱼眼图像可以为彩色的鱼眼图像，也可以为灰度的鱼眼图像，当该鱼眼图像为彩色的鱼眼图像时，可以先将该鱼眼图像转化为灰度的鱼眼图像，然后获得灰度的鱼眼图像中的第一像素点的像素值，然后根据所获得的第一像素点的像素值，从鱼眼图像中确定有效圆形图像。从鱼眼图像中确定有效圆形区域的方式存在多种多样，在一种实现方式中，上述像素值阈值可以包括第一像素值阈值；

所述根据鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像(S303)的步骤，可以包括：

根据第一像素值阈值以及第一像素点的像素值，对鱼眼图像进行分割，获得备选图像；

对备选图像进行圆检测拟合，获得有效圆形图像。

具体的，可以首先遍历鱼眼图像，根据第一像素值阈值以及第一像素点的像素值，对鱼眼图像进行二值化分割，分割出鱼眼图像中的有效的第一像素点的边界，进而根据所分割出的边界确定出备选图像，然后对备选图像进行圆检测拟合，获得有效圆形图像。

在另一种实现方式中，上述像素值阈值可以包括第二像素值阈值；

所述根据鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像(S303)的步骤，可以包括：

遍历鱼眼图像，根据第一像素点的像素值，从鱼眼图像中确定边缘像素点，其中，每一边缘像素点对应的像素值均超过第二像素值阈值；

根据所确定的边缘像素点，确定有效矩形图像；

根据有效矩形图像的中心点以及有效矩形图像的长边的一半，确定有效圆形图像。

举例而言，可以分别从鱼眼图像的四个角开始遍历该鱼眼图像，具体可以为：从上到下逐行遍历该鱼眼图像，得到本次遍历首次出现的所对应像素值超过预设的第二像素值阈值的第一像素点，确定为边缘像素点，确定该边缘像素点所在行为边缘行，结束本次遍历；然后，从下到上逐行遍历该鱼眼图像，得到本次遍历首次出现的所对应像素值超过预设的第二像素值阈值的第一像素点，确定为边缘像素点，确定该边缘像素点所在行为边缘行，结束本次遍历；接着，从左到右逐列遍历该鱼眼图像，得到本次遍历首次出现的所对应像素值超过预设的第二像素值阈值的第一像素点，确定为边缘像素点，确定该边缘像素点所在列为边缘列，结束本次遍历；最后，从右到左逐列遍历该鱼眼图像，得到本次遍历首次出现的所对应像素值超过预设的第二像素值阈值的第一像素点，确定为边缘像素点，确定该边缘像素点所在列为边缘列，结束本次遍历。

通过上述方法，从鱼眼图像中可以确定出上下左右四个边缘像素点，然后，依据该四个边缘像素点所在的边缘行或边缘列所形成的矩形，确定出有效矩形图像。进而，以该有效矩形图像的中心点为圆心，并以该有效矩形图像的长边的一半为半径，确定有效圆形图像。举例而言，在确定有效矩形图像时，可以将上下两个边缘像素点所在边缘行分别作为有效矩形图像的上下长边，可以将左右两个边缘像素点所在边缘列分别作为有效矩形图像的左右长边，以形成该有效矩形图像。

需要说明的是，上述的第一像素值阈值与上述的第二像素值阈值可以相同，也可以不同，上述的第一像素值阈值与上述的第二像素值阈值可以根据实际情况进行设置。

在一种实现方式中，在所述根据第二像素点的第三坐标以及第二像素点对应的第一像素点的像素值，得到鱼眼图像对应的校正图像(S106)的步骤之前，所述方法还可以包括：

获得鱼眼图像的尺寸以及鱼眼图像中的第一像素点的像素值；

所述根据第二像素点的第三坐标以及第二像素点对应的第一像素点的像素值，得到鱼眼图像对应的校正图像(S106)的步骤，可以包括：

根据第二像素点的第三坐标，将第二像素点对应的第一像素点的像素值分别赋值至第二像素点，获得中间校正图像；

根据鱼眼图像的尺寸，对中间校正图像进行尺寸调整，获得校正图像。

需要说明的是，可以首先获得鱼眼图像的尺寸，例如鱼眼图像的长与宽，以及鱼眼图像中每一第一像素点的像素值。另外的，还可以获得鱼眼图像的格式等其他属性信息，这都是可以的。

根据第二像素点的第三坐标，将每一第一像素点的像素值赋值至每一第一像素点对应的第二像素点，获得中间校正图像。其中，可以理解的是，在上述三维直角坐标系中，根据每一第一像素点的第一坐标、鱼眼图像的中心点的第二坐标、第一像高和第二像高，确定每一第一像素点对应的第二像素点的第三坐标，即确定第二像素点在上述预设坐标系中的第三坐标时，所确定出的第三坐标可能为浮点型，即带小数点。而最终需要确定出每一第二像素点的第三坐标均为整数型的校正图像，此时，可以通过像素插值法，将所确定出的包含浮点型第三坐标的第二像素点的校正图像，转换为包含整数型第三坐标的第二像素点的校正图像。其中，该像素插值法可以为任一像素插值法，例如：线性插值法、双线性插值法和双立方插值法等等。需要强调的是，不同的像素插值法所利用的像素点的个数不同，插值法的差值效率和差值效果也不同，一般的，像素插值法所利用的像素点的个数越多，差值效果越好，而差值效率也会相对较低。

获得鱼眼图像尺寸后，可以根据所获得的鱼眼图像尺寸对中间校正图像进行尺寸调整，得到最终的校正图像，进一步的，还可以将校正图像设置为与鱼眼图像相同的格式，这都是可以的。

如图2B所示为鱼眼图像的一个示例，利用本发明实施例所提供的鱼眼图像校正方法对图2B所示的鱼眼图像进行校正后，可以得到如图2C所示的校正图像。

相应于上述方法实施例，本发明实施例还提供了一种鱼眼图像校正装置，如图4所示，所述装置可以包括：

第一获得模块410，用于获得鱼眼图像；

获取计算模块420，用于获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高；

第一确定模块430，用于根据预存的入射角与像高的对应关系以及所述第一像高，确定所述第一像高对应的第一入射角；

第一计算模块440，用于根据所述第一入射角以及预设的第二平面与第一平面之间的距离，计算所述第一像高对应的第二像高，其中，所述第二平面与所述第一平面平行，所述第一平面为所述鱼眼图像所在平面；

第二确定模块450，用于根据所述第一坐标、所述第二坐标、所述第一像高以及所述第二像高，确定第二像素点的第三坐标；

第二获得模块460，用于根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，获得所述鱼眼图像对应的校正图像。

应用本发明实施例，无需额外标定校正模型得到鱼眼图像对应的校正图像，直接利用预存的入射角与像高的对应关系以及鱼眼图像中的第一像素点的第一像高，即可确定出鱼眼图像对应的校正图像。无需标定额外标定校正模型，简化了鱼眼图像校正过程，减少了运算量，提高了鱼眼图像校正的效率。

并且，每一类型鱼眼镜头可以复用同一组对应关系，针对同一类型的鱼眼镜头，不需要更换预存的入射角与像高的对应关系。

在一种实现方式中，如图5所示，所述装置还可以包括：第三确定模块510和第四确定模块520；

所述第三确定模块510，用于在所述在所述获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高之前，根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像；

所述第四确定模块520，用于确定所述有效圆形图像的圆心，将所述圆心确定为所述鱼眼图像的中心点。

在一种实现方式中，所述像素值阈值包括第一像素值阈值；

所述第三确定模块510，具体用于

根据所述第一像素值阈值以及所述第一像素点的像素值，对所述鱼眼图像进行分割，获得备选图像；

对所述备选图像进行圆检测拟合，获得所述有效圆形图像。

在一种实现方式中，所述像素值阈值包括第二像素值阈值；

所述第三确定模块510，具体用于

遍历所述鱼眼图像，根据所述第一像素点的像素值，从所述鱼眼图像中确定边缘像素点，其中，每一边缘像素点对应的像素值均超过所述第二像素值阈值；

根据所确定的边缘像素点，确定有效矩形图像；

根据所述有效矩形图像的中心点以及所述有效矩形图像的长边的一半，确定所述有效圆形图像。

在一种实现方式中，所述第一确定模块430包括判断单元和第一确定单元；

所述判断单元，用于判断所述预存的入射角与像高的对应关系中，是否存在与所述第一像高相等的目标像高；若是，触发所述第一确定单元；

所述第一确定单元，用于将所述对应关系中所述目标像高对应的入射角，确定为第一像高对应的第一入射角。

在一种实现方式中，所述第一确定模块430还可以包括第二确定单元、第三确定单元、第四确定单元和第五确定单元；

所述第二确定单元，用于当判断所述预存的入射角与像高的对应关系中，不存在包含与所述第一像高相等的目标像高时，根据所述预存的入射角与像高的对应关系以及所述第一像高，确定出所述第一像高对应的第三像高以及第四像高，其中，所述第三像高为所述对应关系中所包含的最小的且大于所述第一像高的像高，所述第四像高为所述对应关系中所包含的最大的且小于所述第一像高的像高；

所述第三确定单元，用于根据所述对应关系及所述第三像高，确定所述第三像高对应的第二入射角；

所述第四确定单元，用于根据所述对应关系及所述第四像高，确定所述第四像高对应的第三入射角；

所述第五确定单元，用于根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角。

在一种实现方式中，所述根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角所利用预设算法为拉格朗日插值算法。

在一种实现方式中，所述装置还可以包括第三获得模块；

所述第三获得模块，用于在所述根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，得到所述鱼眼图像对应的校正图像之前，获得所述鱼眼图像的尺寸以及所述第一像素点的像素值；

所述第二获得模块460，具体用于

根据所述第二像素点的第三坐标，将所述第二像素点对应的第一像素点的像素值分别赋值至所述第二像素点，获得中间校正图像；

根据所述鱼眼图像的尺寸，对所述中间校正图像进行尺寸调整，获得所述校正图像。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种鱼眼图像校正方法，其特征在于，所述方法包括：

获得鱼眼图像；

获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高；

根据预存的入射角与像高的对应关系以及所述第一像高，确定所述第一像高对应的第一入射角；

根据所述第一入射角以及预设的第二平面与第一平面之间的距离，计算所述第一像高对应的第二像高，其中，所述第二平面与所述第一平面平行，所述第一平面为所述鱼眼图像所在平面；

根据所述第一坐标、所述第二坐标、所述第一像高以及所述第二像高，确定第二像素点的第三坐标；

根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，获得所述鱼眼图像对应的校正图像。

2.根据权利要求1所述的方法，其特征在于，在所述获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高的步骤之前，所述方法还包括：

根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像；

确定所述有效圆形图像的圆心，将所述圆心确定为所述鱼眼图像的中心点。

3.根据权利要求2所述的方法，其特征在于，所述像素值阈值包括第一像素值阈值；

所述根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像的步骤，包括：

根据所述第一像素值阈值以及所述第一像素点的像素值，对所述鱼眼图像进行分割，获得备选图像；

对所述备选图像进行圆检测拟合，获得所述有效圆形图像。

4.根据权利要求2所述的方法，其特征在于，所述像素值阈值包括第二像素值阈值；

所述根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像的步骤，包括：

遍历所述鱼眼图像，根据所述第一像素点的像素值，从所述鱼眼图像中确定边缘像素点，其中，每一边缘像素点对应的像素值均超过所述第二像素值阈值；

根据所确定的边缘像素点，确定有效矩形图像；

根据所述有效矩形图像的中心点以及所述有效矩形图像的长边的一半，确定所述有效圆形图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据预存的入射角与像高的对应关系以及所述第一像高，确定所述第一像高对应的第一入射角的步骤，包括：

判断所述预存的入射角与像高的对应关系中，是否存在与所述第一像高相等的目标像高；

若是，则将所述对应关系中所述目标像高对应的入射角，确定为第一像高对应的第一入射角。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：当判断所述预存的入射角与像高的对应关系中，不存在包含与所述第一像高相等的目标像高时，

根据所述预存的入射角与像高的对应关系以及所述第一像高，确定出所述第一像高对应的第三像高以及第四像高，其中，所述第三像高为所述对应关系中所包含的最小的且大于所述第一像高的像高，所述第四像高为所述对应关系中所包含的最大的且小于所述第一像高的像高；

根据所述对应关系及所述第三像高，确定所述第三像高对应的第二入射角；

根据所述对应关系及所述第四像高，确定所述第四像高对应的第三入射角；

根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角的步骤所利用预设算法为拉格朗日插值算法。

8.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，得到所述鱼眼图像对应的校正图像的步骤之前，所述方法还包括：

获得所述鱼眼图像的尺寸以及所述第一像素点的像素值；

所述根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，得到所述鱼眼图像对应的校正图像的步骤，包括：

根据所述第二像素点的第三坐标，将所述第二像素点对应的第一像素点的像素值分别赋值至所述第二像素点，获得中间校正图像；

根据所述鱼眼图像的尺寸，对所述中间校正图像进行尺寸调整，获得所述校正图像。

9.一种鱼眼图像校正装置，其特征在于，所述装置包括：

第一获得模块，用于获得鱼眼图像；

获取计算模块，用于获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高；

第一确定模块，用于根据预存的入射角与像高的对应关系以及所述第一像高，确定所述第一像高对应的第一入射角；

第一计算模块，用于根据所述第一入射角以及预设的第二平面与第一平面之间的距离，计算所述第一像高对应的第二像高，其中，所述第二平面与所述第一平面平行，所述第一平面为所述鱼眼图像所在平面；

第二确定模块，用于根据所述第一坐标、所述第二坐标、所述第一像高以及所述第二像高，确定第二像素点的第三坐标；

第二获得模块，用于根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，获得所述鱼眼图像对应的校正图像。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：第三确定模块和第四确定模块；

所述第三确定模块，用于在所述获取并根据所述鱼眼图像中的第一像素点的第一坐标以及所述鱼眼图像的中心点的第二坐标，计算所述第一像素点的第一像高之前，根据所述鱼眼图像中的第一像素点的像素值和预设的像素值阈值，从获得的鱼眼图像中确定有效圆形图像；

所述第四确定模块，用于确定所述有效圆形图像的圆心，将所述圆心确定为所述鱼眼图像的中心点。

11.根据权利要求10所述的装置，其特征在于，所述像素值阈值包括第一像素值阈值；

所述第三确定模块，具体用于

根据所述第一像素值阈值以及所述第一像素点的像素值，对所述鱼眼图像进行分割，获得备选图像；

对所述备选图像进行圆检测拟合，获得所述有效圆形图像。

12.根据权利要求10所述的装置，其特征在于，所述像素值阈值包括第二像素值阈值；

所述第三确定模块，具体用于

遍历所述鱼眼图像，根据所述第一像素点的像素值，从所述鱼眼图像中确定边缘像素点，其中，每一边缘像素点对应的像素值均超过所述第二像素值阈值；

根据所确定的边缘像素点，确定有效矩形图像；

根据所述有效矩形图像的中心点以及所述有效矩形图像的长边的一半，确定所述有效圆形图像。

13.根据权利要求9-12任一项所述的装置，其特征在于，所述第一确定模块包括判断单元和第一确定单元；

所述判断单元，用于判断所述预存的入射角与像高的对应关系中，是否存在与所述第一像高相等的目标像高；若是，触发所述第一确定单元；

所述第一确定单元，用于将所述对应关系中所述目标像高对应的入射角，确定为第一像高对应的第一入射角。

14.根据权利要求13所述的装置，其特征在于，所述第一确定模块还包括第二确定单元、第三确定单元、第四确定单元和第五确定单元；

所述第二确定单元，用于当判断所述预存的入射角与像高的对应关系中，不存在包含与所述第一像高相等的目标像高时，根据所述预存的入射角与像高的对应关系以及所述第一像高，确定出所述第一像高对应的第三像高以及第四像高，其中，所述第三像高为所述对应关系中所包含的最小的且大于所述第一像高的像高，所述第四像高为所述对应关系中所包含的最大的且小于所述第一像高的像高；

所述第三确定单元，用于根据所述对应关系及所述第三像高，确定所述第三像高对应的第二入射角；

所述第四确定单元，用于根据所述对应关系及所述第四像高，确定所述第四像高对应的第三入射角；

所述第五确定单元，用于根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角。

15.根据权利要求14所述的装置，其特征在于，所述根据所述第三像高、所述第四像高、所述第二入射角、所述第三入射角，确定所述第一像高对应的第一入射角所利用预设算法为拉格朗日插值算法。

16.根据权利要求9-12所述的装置，其特征在于，所述装置还包括第三获得模块；

所述第三获得模块，用于在所述根据所述第二像素点的第三坐标以及所述第二像素点对应的第一像素点的像素值，得到所述鱼眼图像对应的校正图像之前，获得所述鱼眼图像的尺寸以及所述第一像素点的像素值；

所述第二获得模块，具体用于

根据所述第二像素点的第三坐标，将所述第二像素点对应的第一像素点的像素值分别赋值至所述第二像素点，获得中间校正图像；

根据所述鱼眼图像的尺寸，对所述中间校正图像进行尺寸调整，获得所述校正图像。