CN116030450A - 棋盘格角点识别方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及一种棋盘格角点识别方法、装置、设备和介质，该方法包括：首先基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓，然后从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对，最后根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点。其中，轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点。采用本方法能够准确识别棋盘格角点。

Description

棋盘格角点识别方法、装置、设备和介质

技术领域

本申请涉及图像识别技术领域，特别是涉及一种棋盘格角点识别方法、装置、设备和介质。

背景技术

随着高清网络的普及和摄像技术的成熟，各种摄像头开始逐步在众多行业领域中广泛应用。

实际应用中，通常是通过棋盘格标定板对摄像头进行标定，来消除真实物理空间与虚拟图像空间之间各种畸变影响的。而在标定过程中，棋盘格标定板的角点识别是一个至关重要的环节。

以鱼眼摄像头为例，鱼眼摄像头的拍摄视角大于或等于180度，使其拍摄的图像中靠近图像边缘部分的畸变程度会比较大，这就导致在对鱼眼摄像头进行标定时，容易存在寻找棋盘格角点失败的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够获取准确棋盘格角点的棋盘格角点识别方法、装置、设备和介质。

第一方面，本申请提供了一种棋盘格角点识别方法，该方法包括：

基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓；

从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对；轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点；

根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点。

在其中一个实施例中，从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对，包括：

获取棋盘格轮廓中每个轮廓的最小外接矩形；

将各最小外接矩形的顶点作为对应轮廓的轮廓顶点，并根据各轮廓顶点的坐标信息，确定多组轮廓顶点对。

在其中一个实施例中， 根据各轮廓顶点的坐标信息，确定多组轮廓顶点对，包括：

根据各轮廓顶点的坐标信息，计算每两个轮廓顶点之间的距离；

将距离小于预设距离阈值的两个轮廓顶点确定为一组轮廓顶点对，得到多组轮廓顶点对。

在其中一个实施例中，根据各轮廓顶点的坐标信息，确定多组轮廓顶点对，包括：

根据各轮廓顶点的坐标信息，获取各最小外接矩形的中心点；

通过预设的连接方向，连接各最小外接矩形的中心点，获取多条连接线段；连接方向包括左上相邻方向、左下相邻方向、右上相邻方向和右下相邻方向；

根据各连接线段，确定多组轮廓顶点对。

在其中一个实施例中，根据各连接线段，确定多组轮廓顶点对，包括：

针对各连接线段中的任一连接线段，计算各轮廓顶点与连接线段的距离，获取与连接线段之间距离最小的两个轮廓顶点；

将两个轮廓顶点确定为一组轮廓顶点对。

在其中一个实施例中，基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓，包括：

对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像；

对棋盘格反畸图像进行正投影，以将棋盘格图像中的棋盘格投影成矩形，得到棋盘格正投影图像；

根据棋盘格正投影图像，确定棋盘格正投影图像中的棋盘格轮廓。

在其中一个实施例中，对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像，包括：

根据棋盘格原始图像中预设的多个初始角点的像素坐标，确定鱼眼摄像头的初始内外参和初始畸变系数；

根据初始内外参和初始畸变系数，对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像。

在其中一个实施例中，根据棋盘格正投影图像，确定棋盘格正投影图像中的棋盘格轮廓，包括：

对棋盘格正投影图像进行灰度转换和噪声消除处理，得到棋盘格投影灰度图像；

对棋盘格投影灰度图像进行二值化处理，获得棋盘格投影二值图像；

根据棋盘格投影二值图像，确定棋盘格正投影图像中的棋盘格轮廓。

在其中一个实施例中，根据棋盘格投影二值图像，确定棋盘格正投影图像中的棋盘格轮廓，包括：

对棋盘格投影二值图像进行腐蚀操作，并在腐蚀操作后棋盘格投影二值图像上确定多个棋盘格初步轮廓；

剔除多个棋盘格初步轮廓中不满足预设轮廓面积范围的棋盘格初步轮廓，得到棋盘格轮廓。

在其中一个实施例中，根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点，包括：

将每组轮廓顶点对之间的连线中点作为正投影角点；

根据各正投影角点的像素坐标，获取棋盘格原始图像中的棋盘格角点。

在其中一个实施例中，根据各正投影角点像素坐标，获取棋盘格原始图像中的棋盘格角点，包括：

根据各正投影角点的像素坐标，将各正投影角点投影至棋盘格正投影图像中；

将棋盘格正投影图像中的正投影角点反投影到棋盘格反畸图像中；

对棋盘格反畸图像中的正投影角点做畸变操作，获得棋盘格原始图像的棋盘格角点。

第二方面，本申请还提供了一种棋盘格角点识别装置，该装置包括：

轮廓获取模块，用于基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓；

顶点对获取模块，用于从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对；轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点；

角点获取模块，用于根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点。

第三方面，本申请还提供了一种计算机设备，该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述第一方面中任一项实施例中的方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。

第五方面，本申请还提供了一种计算机程序产品，该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。

上述棋盘格角点识别方法、装置、设备和介质，首先基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓，然后从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对，最后根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点。其中，轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点。由于该方法是在获取棋盘格原始图像的基础上，根据棋盘格正投影图像中的棋盘格轮廓顶点，将距离小于预设距离阈值的两个轮廓顶点作为一组轮廓顶点对，然后通过多组轮廓顶点对识别棋盘格角点的。相当于在识别棋盘格角点的过程中，既考虑了棋盘格原始图像中棋盘格的畸变因素，对棋盘格原始图像进行正投影，又考虑了棋盘格轮廓顶点之间的偏差影响，将距离小于预设距离阈值的两个轮廓顶点作为轮廓顶点对，这样获取的多组轮廓顶点对能够准确地反映出棋盘格的真实轮廓的相交位置，进一步地，根据多组轮廓顶点对获取的棋盘格角点也更准确。

附图说明

图1为一个实施例中棋盘格角点识别方法的应用环境图；

图2为一个实施例中棋盘格角点识别方法的流程示意图；

图3为一个实施例中棋盘格原始图像的示意图；

图4为一个实施例中棋盘格正投影图像的示意图；

图5为一个实施例中轮廓顶点对获取步骤的第一流程示意图；

图6为一个实施例中轮廓顶点对获取步骤的第二流程示意图；

图7为一个实施例中轮廓顶点对获取步骤的第三流程示意图；

图8为一个实施例中最小外接矩形各中心点的示意图；

图9为一个实施例中最小外接矩形中心点之间连接线段的示意图；

图10为一个实施例中轮廓顶点对获取步骤的第四流程示意图；

图11为一个实施例中最小外接矩形分行的示意图；

图12为一个实施例中棋盘格轮廓获取步骤的流程示意图；

图13为一个实施例中棋盘格反畸图像的示意图；

图14为一个实施例中棋盘格反畸图像获取步骤的示意图；

图15为一个实施例中棋盘格轮廓获取步骤的第五流程示意图；

图16为一个实施例中棋盘格投影二值图像的示意图；

图17为一个实施例中棋盘格轮廓获取步骤的第六流程示意图；

图18为一个实施例中棋盘格图像腐蚀操作的示意图；

图19为一个实施例中棋盘格角点获取步骤的流程示意图；

图20为一个实施例中正投影角点的示意图；

图21为一个实施例中棋盘格角点获取步骤的第七流程示意图；

图22为一个实施例中棋盘格角点的第一示意图；

图23为一个实施例中棋盘格角点的第二示意图；

图24为一个实施例中棋盘格角点识别装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的棋盘格角点识别方法，可以应用于如图1所示的应用环境中。其中，终端设备可以但不限于是各种摄像机设备、个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备等。其中，摄像机设备可以包括鱼眼摄像头、广角摄像头、普通摄像头等等。其中，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。

终端设备中可以包括数据存储系统，该数据存储系统可以存储需要处理的数据，比如棋盘格标定板、图像处理代码库以及棋盘格原始图像等。

该终端设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的数据库用于存储棋盘格角点识别数据。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种棋盘格角点识别方法。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面通过具体的实施例对本申请实施例中提供的一种棋盘格角点识别方法进行说明。在一个实施例中，如图2所示，提供了一种棋盘格角点识别方法，该方法包括以下步骤：

S202、基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓。

其中，鱼眼摄像头是指可以独立实现大范围无死角监控的全景摄像机，其拍摄视角可以达到180°、360°的超广角。

通过鱼眼摄像头对棋盘格标定板进行拍摄，获取棋盘格原始图像。如图3所示，图3是以电梯间场景为例采用鱼眼摄像头拍摄的棋盘格原始图像。当然实际应用中，可以是在任何场景中采集鱼眼摄像头拍摄的棋盘格原始图像，图3仅为一种示例。

从图3可以看出，棋盘格原始图像中本身是包括棋盘格标定板内所有棋盘格的轮廓的，但由于鱼眼摄像头具有超广角特性，棋盘格原始图像中的非中心区域畸变程度比较大，为方便调整棋盘格原始图像的畸变，需将棋盘格原始图像进行正透视投影，即将棋盘格原始图像转换为棋盘格正投影图像，获取棋盘格正投影图像中的棋盘格轮廓。

如图4所示，为将图3示意的棋盘格原始图像对应的棋盘格正投影图像示意图。需要说明的是，棋盘格标定板内包含多个棋盘格，即棋盘格原始图像包括多个棋盘格轮廓，那么棋盘格正投影图像也包含多个棋盘格轮廓。

例如，获取棋盘格原始图像对应的棋盘格正投影图像的方式可以是获取棋盘格原始图像的正透视投影矩阵，通过该正透视投影矩阵将棋盘格原始图像转换为棋盘格正投影图像。

在获取到棋盘格正投影图像后，再获取棋盘格正投影图像中的棋盘格轮廓即可。

S204、从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对；轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点。

棋盘格正投影图像中的棋盘格有多个，自然地，棋盘格正投影图像中的棋盘格轮廓也有多个，每个棋盘格轮廓都有四个轮廓顶点，那么棋盘格正投影图像中就具有多个轮廓顶点。

基于棋盘格正投影图像上的所有轮廓顶点，可以获取到多组轮廓顶点对，一组轮廓顶点对指的是距离小于预设距离阈值的两个轮廓顶点。

这里需要说明的是，棋盘格标定板中，各棋盘格本身就是紧邻分布的，所以相邻棋盘格的轮廓顶点理论上是应该重合的，即每一个点理论上是四个棋盘格相交的一个棋盘格角点，所以在获取到所有棋盘格的轮廓顶点后，可以从中查找距离最近的一些轮廓顶点对，这些距离最近的轮廓顶点对默认对应的是同一点，这样就可以通过这些轮廓点对中的轮廓顶点的位置来进一步确定所有棋盘格之间的棋盘格角点。

另外由于在图像处理过程中，这些距离最近的轮廓顶点对不一定全部都是相同间距，所以可以预设一个很小的距离阈值，将距离小于预设距离阈值的两个轮廓顶点认为是一个轮廓顶点对，从而可确定出多组轮廓顶点对。

比如，从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对的方式可以是，将提取到的所有轮廓顶点的坐标信息输入至预先训练好的点对查找模型中，通过该点对查找模型即可获取到所有距离小于预设距离阈值的轮廓顶点对。

S206、根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点。

轮廓顶点对的数量与棋盘格角点的数量相对应，即一组轮廓顶点对对应一个棋盘格角点。因此，在获取多组轮廓顶点对之后，可遍历棋盘格轮廓的多组轮廓顶点对，生成对应数目的棋盘格角点，将生成的棋盘格角点作为棋盘格原始图像中的棋盘格角点。

可选的，可以是从每组轮廓顶点对中的两个轮廓顶点中选取其中一个轮廓顶点作为该组轮廓顶点对对应的棋盘格角点，依次类推，可获取到所有组轮廓顶点对对应的棋盘格角点。

可选的，也可以使根据每组轮廓顶点对中的两个轮廓顶点进行计算，获取与该组轮廓顶点中两个轮廓顶点构成的预设范围内特定位置的点，将该特定位置的点作为该组轮廓顶点对对应的棋盘格角点，依次类推，可获取到所有组轮廓顶点对对应的棋盘格角点。

可以理解的是，无论是哪一种方式从轮廓顶点对中确定出其对应的棋盘格角点，都应该遵循是将最接近且最能反映四个棋盘格相交的位置的点作为一个棋盘格角点的，以保证最终确定的棋盘格角点的准确性。

在获取到所有组轮廓顶点对对应的棋盘格角点后，因为轮廓顶点对指的是棋盘格正投影图像上的点，所以所有组轮廓顶点对对应的棋盘格角点也是棋盘格正投影图像上的棋盘格角点，所以还需要进一步将各组轮廓顶点对对应的棋盘格角点转换到棋盘格原始图像中，从而确定出棋盘格原始图像中的棋盘格角点。

本申请实施例中，首先基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓，然后从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对，最后根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点。其中，轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点。由于该方法是在获取棋盘格原始图像的基础上，根据棋盘格正投影图像中的棋盘格轮廓顶点，将距离小于预设距离阈值的两个轮廓顶点作为一组轮廓顶点对，然后通过多组轮廓顶点对识别棋盘格角点的。相当于在识别棋盘格角点的过程中，既考虑了棋盘格原始图像中棋盘格的畸变因素，对棋盘格原始图像进行正投影，又考虑了棋盘格轮廓顶点之间的偏差影响，将距离小于预设距离阈值的两个轮廓顶点作为轮廓顶点对，这样获取的多组轮廓顶点对能够准确地反映出棋盘格的真实轮廓的相交位置，进一步地，根据多组轮廓顶点对获取的棋盘格角点也更准确。

实际应用中，鱼眼摄像头拍摄的较大的棋盘格标定板的图像，图像边缘部分的畸变较为严重，本申请实施例提供的棋盘格角点识别方法，使得可以针对采用较大棋盘格标定板的场景，有效且准确地获取到棋盘格标定板原始图的棋盘格角点。

下面通过一个实施例，对上述实施例中的多组轮廓顶点对的获取过程进行说明。

在一个实施例中，如图5所示，从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对，包括以下步骤：

S502、获取棋盘格轮廓中每个轮廓的最小外接矩形。

需要说明的是，棋盘格轮廓本质上是规则的矩形，受鱼眼摄像头拍摄的影响，棋盘格原始图像会产生畸变，导致棋盘格正投影图像中的棋盘格轮廓会有不同程度的变形。

在获取棋盘格轮廓之后，对于棋盘格轮廓中的每个棋盘格轮廓，分别构造每个轮廓对应的最小外接矩形。本申请实施例对构造最小外接矩形的方式不作限制，可以是通过四边形拟合构造最小外接矩形，也可以根据预设参数构造最小外接矩形。

S504、将各最小外接矩形的顶点作为对应轮廓的轮廓顶点，并根据各轮廓顶点的坐标信息，确定多组轮廓顶点对。

每个轮廓的最小外接矩形均对应四个顶点，将各最小外接矩形的四个顶点作为对应轮廓的轮廓顶点，并获取轮廓顶点的坐标信息，显然，棋盘格轮廓中的每个轮廓均对应四个轮廓顶点。

在获取棋盘格轮廓中每个轮廓的轮廓顶点的基础上，根据各轮廓顶点的坐标信息，按照预设规则对轮廓顶点进行组合，获取多组轮廓顶点对。值得注意的是，每组轮廓顶点对的两个轮廓顶点分别对应两个相邻的棋盘格轮廓。

本申请实施例中，将棋盘格轮廓中每个轮廓的最小外接矩形的顶点作为轮廓顶点，根据所有轮廓顶点的坐标信息，确定多组轮廓顶点对，各组轮廓顶点对相当于是各相邻棋盘格之间的交点集合，这样确定的多组轮廓顶点对能够初步筛选出所有相邻棋盘格，便于快速识别棋盘格角点。

轮廓顶点对是距离小于预设距离阈值的两个轮廓顶点，其中轮廓顶点的距离一般是基于坐标信息进行计算得到的。基于此，下面通过一个实施例，对多组轮廓顶点对的确定方式进行说明。

在一个实施例中，如图6所示，根据各轮廓顶点的坐标信息，确定多组轮廓顶点对，包括以下步骤：

S602、根据各轮廓顶点的坐标信息，计算每两个轮廓顶点之间的距离。

将各轮廓顶点两两一组进行随机组合，获取多组初始轮廓顶点组合，多组初始轮廓顶点组合包括各轮廓顶点的所有组合方式，也就是说，同一轮廓顶点会与其他不同于该轮廓顶点的其他轮廓顶点分别进行组合，并构成多组初始轮廓顶点组合。根据每组初始轮廓顶点组合中两个轮廓顶点对的坐标信息，计算两个轮廓顶点之间的距离，显然，每组初始轮廓顶点组合对应一个距离值。

S604、将距离小于预设距离阈值的两个轮廓顶点确定为一组轮廓顶点对，得到多组轮廓顶点对。

应当注意的是，虽然各棋盘格的角点受鱼眼摄像头的畸变影响，会形成两个轮廓顶点，但对于同一角点而言，对应畸变后两个轮廓顶点的距离是远小于棋盘格的边长的。因此，可以通过设置预设距离阈值，进一步判断多组轮廓顶点对，并且各组轮廓顶点对的轮廓顶点是互不重复的。

将全部初始轮廓顶点组合中的距离与预设距离阈值进行比较，若初始轮廓顶点组合的距离小于预设距离阈值，表明该初始轮廓顶点组合中的两个轮廓顶点，是相邻棋盘格的交点受到畸变后形成的两个轮廓顶点，那么将该包含符合上述距离条件的两个轮廓顶点的初始轮廓组合确定为一组轮廓顶点对。

本申请实施例中，通过坐标信息计算每两个轮廓顶点之间的距离，这样获取的多个距离能够全面表征棋盘格的所有组合方式，进一步地，设置预设距离阈值，将距离小于预设距离阈值的两个轮廓顶点确定为一组轮廓顶点对。在获取的多个距离具有全面性和客观性的基础上，确定的轮廓顶点对也更客观、准确。

上述实施例通过每两个轮廓顶点的距离与预设距离阈值进行比较，从而确定多组轮廓顶点对。然而，根据轮廓顶点的坐标信息，有多种确定多组轮廓顶点对的方式。基于此，下面通过一个实施例，作为与上述图3示意的实施例的并列实施例，对多组轮廓顶点对的另外一种确定方式进行说明。

在一个实施例中，如图7所示，根据各轮廓顶点的坐标信息，确定多组轮廓顶点对，包括以下步骤：

S702、根据各轮廓顶点的坐标信息，获取各最小外接矩形的中心点。

由于各轮廓顶点是最小外接矩形的顶点，那么各最小外接矩形分别对应一个轮廓顶点集合，且该轮廓顶点集合包括四个轮廓顶点。

对于任一最小外接矩形，分别计算该最小外接矩形对应的轮廓顶点集合中，所有轮廓顶点的横坐标均值、所有轮廓顶点的纵坐标均值，接着将计算得到的横坐标均值作为该最小外接矩形的中心点的横坐标、纵坐标均值作为该最小外接矩形的中心点的纵坐标，根据中心点的横坐标和纵坐标确定该最小外接矩形的中心点。遍历各轮廓顶点的坐标信息之后，也就确定了各最小外接矩形以及各最小外接矩形的中心点。

以图4为例，图4中的棋盘格正投影图像中多个棋盘格，对应各棋盘格的最小外接矩形的中心点的示意图如图8所示，图8中的白色圆点M表示的即是各最小外接矩形的中心点。其中，可以理解的是，图8中各最小外接矩形对应的是棋盘格中黑色棋盘格的轮廓信息。

S704、通过预设的连接方向，连接各最小外接矩形的中心点，获取多条连接线段；连接方向包括左上相邻方向、左下相邻方向、右上相邻方向和右下相邻方向。

在获取各最小外接矩形的中心点之后，按照左上相邻方向、左下相邻方向、右上相邻方向和右下相邻方向四个方向，将所有的中心点进行连接，具体地：

计算机设备按照程序指令，可以以每一个最小外接矩形的中心点为坐标原点，确定每一个最小外接矩形的中心点的左上、左下、右上和右下四个方向，然后查找该四个方向上的第一个中心点进行相连。

例如：在左上方向上查找到的第一个中心点即为左上相邻方向上的最小外接矩形的中心点，那么将每一最小外接矩形的中心点与左上相邻方向的最小外接矩形的中心点相连接，并以上述两个中心点作为端点，组成连接线段；

在左下方向上查找到的第一个中心点即为左下相邻方向上的最小外接矩形的中心点，那么将每一最小外接矩形的中心点与左下相邻方向的最小外接矩形的中心点相连接，并以上述两个中心点作为端点，组成连接线段；

在右上方向上查找到的第一个中心点即为右上相邻方向上的最小外接矩形的中心点，那么将每一最小外接矩形的中心点与右上相邻方向的最小外接矩形的中心点相连接，并以上述两个中心点作为端点，组成连接线段；

在右下方向上查找到的第一个中心点即为右下相邻方向上的最小外接矩形的中心点，那么将每一最小外接矩形的中心点与右下相邻方向的最小外接矩形的中心点相连接，并以上述两个中心点作为端点，组成连接线段。

应当知道的是，各连接方向是指相邻两行的棋盘格，并且对于各最小外接矩形而言，对应的连接方向至多包括四个方向，这就意味着，各最小外接矩形的中心点至多与四个相邻方向的外接矩形的中心点相连接，也就至多对应四条连接线段。

在图8的基础上，获取连接线段的示意图如图9所示，由图9可知，各连接线段满足以下特性，以保证了连接线段的唯一性和合理性：

（1）同一行之间的最小外接矩形不构成连接线段。

（2）各连接线段所在的最小外接矩形均为相邻两行、相邻两列的最小外接矩形。

（3）各最小外接矩形对应的连接线段的数量均不多于四条。

S706、根据各连接线段，确定多组轮廓顶点对。

一种示例中，连接线段是基于两个相邻最小外接矩形的中心点确定的，连接线段与两个相邻最小外接矩形分别存在两个交点，本申请实施例将各连接线段与两个相邻最小外接矩形的两个交点作为各连接线段对应的轮廓顶点对。

本申请实施例中，各连接线段是通过连接最小外接矩形的中心点得到的，由于连接方向包括左上相邻方向、左下相邻方向、右上相邻方向和右下相邻方向，相当于考虑了同行相邻的两个最小外接矩形不存在共享顶点、同列相邻的两个最小外接矩形不存在共享顶点的情况，这样获取的连接线段涵盖了各共享顶点所在的最小外接矩形，进而，根据连接线段确定的轮廓顶点对也更贴切实际棋盘格图像中棋盘格角点的畸变特性。

轮廓顶点对是对同一角点产生畸变形成的两个顶点的集合，根据各轮廓顶点的坐标信息确定轮廓顶点对的方式也具有多样性。基于此，下面通过一个实施例，对轮廓顶点对的确定步骤进行说明。

在一个实施例中，如图10所示，根据各连接线段，确定多组轮廓顶点对，包括以下步骤：

S1002、针对各连接线段中的任一连接线段，计算各轮廓顶点与连接线段的距离，获取与连接线段之间距离最小的两个轮廓顶点。

针对任一连接线段，该连接线段的端点是最小外接矩形的中心点，首先根据连接线段的两个中心点的坐标信息确定该连接线段所在直线的一元一次拟合公式，接着利用点到直线的距离公式，计算各轮廓顶点与该连接线段的距离，并对计算得到的多个距离进行排序，最后根据排序结果获取第一最小距离和第二最小距离，将第一最小距离对应的轮廓顶点、第二最小距离对应的轮廓顶点确定为与连接线段之间距离最小的两个轮廓顶点。

S1004、将两个轮廓顶点确定为一组轮廓顶点对。

需要说明的是，鱼眼摄像头对棋盘格的畸变程度是有限的，即同一角点畸变产生的两个顶点之间的距离是远小于棋盘格尺寸的，且与连接线段距离最小的两个轮廓顶点，是同一角点产生畸变的两个顶点，因此，这里可以理解的是，距离连接线段最近的两个轮廓顶点因为理想状态下是属于两个棋盘格相交的一个顶点，所以这两个轮廓顶点之间的距离是满足小于上述实施例中提及的预设距离阈值的。因此，将此距离连接线段最近的两个轮廓顶点作为一组轮廓顶点对，从而每个连接线段上都可以得到一组轮廓顶点对，最终得到多组轮廓顶点对。

本申请实施例中，根据连接线段与各轮廓顶点的距离，将与连接线段之间距离最小的两个轮廓顶点确定为一组轮廓顶点对，所有连接线段都可以查找到一组轮廓顶点对，从而可以得到多组轮廓顶点对，相当于在确定轮廓顶点对的过程中，从各最小外接矩形的轮廓顶点与各连接线段之间的距离为依据，客观地计算出符合距离要求的顶点作为轮廓顶点对，这样获取的轮廓顶点对更准确。

在另外一种实施例中，本申请实施例还提供一种确定轮廓顶点对的方法，具体包括以下过程：

（1）、在获取各最小外接矩形的轮廓之后，根据各轮廓顶点信息，获取各最小外接矩形的中心点，然后将各中心点的横轴坐标处于预设范围内的最小外接矩形作为一行，对各最小外接矩形进行分割，如图11所示，在图11中最小外接矩形的轮廓以实线表示，虚线表示分行的分割线。应当知道的是，图11中的分割线仅为分割线的部分示意图，实际分割时，图11中的最小外接矩形共分为四行。

（2）、按行对各最小外接矩形进行分割之后，对每行最小外接矩形以链表数据结构的形式进行表征。例如，某行共有n个最小外接矩形，那么该行各最小外接矩形的节点表示为 Lx，x=1,2,3,4...n。其中，x是指最小外接矩形在对应行中自左至右的序号。

（3）、对图11中各轮廓的分布进行分析，得到如下结论：每个最小外接矩形只可能与左上相邻方向、左下相邻方向、右上相邻方向和右下相邻方向的四个最小外接矩形存在共享角点。

基于上述结论，对于各最小外接矩形之间的相连情况，采用无向图表示，具体形式请参照上述图9，并以矩阵（二维数组）的形式表示无向图的连接边，仍以图9为例，最小外接矩形共分为四行，第一行的最小外接矩形自左向右分别表示为节点 L10、节点 L11；第二行的最小外接矩形自左向右分别表示为节点 L20、节点 L21、节点 L22；第三行的最小外接矩形自左向右分别表示为节点 L30、节点 L31；第四行的最小外接矩形自左向右分别表示为节点 L40、节点 L41、节点 L42，那么对上述无向图的表征形式如表1所示：

表1

10	11	20	21	22	30		40	41	42
											0	0	1	1	0	0	0	0	0	0	10
0	0	0	1	1	0	0	0	0	0	11
											1	0	0	0	0	1	0	0	0	0	20
1	1	0	0	0	1	1	0	0	0	21
											0	1	0	0	0	0	1	0	0	0	22
0	0	1	1	0	0	0	1	1	0	30
											0	0	0	1	1	0	0	0	1	1
0	0	0	0	0	1	0	0	0	0	40
											0	0	0	0	0	1	1	0	0	0	41
0	0	0	0	0	0	1	0	0	0	42

在上述表1中，1表明对应的两个最小外接矩形存在共享角点，0表示对应的两个最小外接矩形不存在共享角点。由上述表征可知，各最小外接矩形存在以下规律：

同一行之间的节点没有边。

中间相隔超过一行的节点之间没有边。

一个节点至多存在四条边。

最后，根据上述矩阵获取多条边，各条边均对应存在共享角点的两个最小外接矩形（节点），通过计算各轮廓顶点对各条边的距离，将与各边之间距离最小的两个轮廓顶点确定为对应边的轮廓顶点对，从而确定出多组轮廓顶点对。

本申请实施例中，按照各轮廓顶点的位置信息将各最小外接矩形分行，并以无向图的形式对各最小外接矩形的连接关系进行表征，使得各最小外接矩形的连接关系清晰明了，进而加快确定轮廓顶点对的速度。

通过鱼眼摄像头拍摄的棋盘格原始图像存在畸变，并且棋盘格标定板越大，对应的棋盘格原始图像的畸变越明显，因此需要对原始图像进行处理，以获取准确的棋盘格轮廓。基于此，下面通过一个实施例，对棋盘格轮廓的获取方式进行说明。

在一个实施例中，如图12所示，基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓，包括以下步骤：

S1202、对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像。

鱼眼摄像头对棋盘格标定板进行拍摄，获取的棋盘格原始图像如图3所示，由图3可以看出，棋盘格原始图像中的周边轮廓畸变严重，通过调用反畸变函数作用于棋盘格原始图像，对棋盘格原始图像中进行反畸处理，获取棋盘格反畸图像。

可选的，仍以图3作为棋盘格原始图像，调用反畸变函数，生成对应的棋盘格反畸图像，图13为图3对应的棋盘格反畸图像，对比图3和图13可以看出，经过反畸处理后，棋盘格的畸变程度明显减弱。

S1204、对棋盘格反畸图像进行正投影，以将棋盘格图像中的棋盘格投影成矩形，得到棋盘格正投影图像。

虽然对棋盘格原始图像进行反畸处理，但是棋盘格反畸图像中的棋盘格线条仍然不规则，对应的棋盘格轮廓也呈不规则四边形状。为了便于寻找棋盘格角点，对棋盘格反畸图像进行正投影，将棋盘格反畸图像中的棋盘格投影为规则矩形，呈现在二维平面上，将正投影后的棋盘格反畸图像作为棋盘格正投影图像。此外，也可以从图4所示的棋盘格正投影图像中看出，经过正投影处理后，棋盘格被投影成规则的矩形，呈现在图像上。

S1206、根据棋盘格正投影图像，确定棋盘格正投影图像中的棋盘格轮廓。

在棋盘格正投影图像中，棋盘格是以平面图的形式进行呈现的，可以通过轮廓提取算法，比如Canny算子边缘检测、阈值分割、边缘提取等算法，确定棋盘格正投影图像中的棋盘格轮廓。

本申请实施例中，对棋盘格原始图像进行反畸处理，获取的棋盘格反畸图像中消除了棋盘格图像中轮廓畸变的问题，接着对棋盘格反畸图像进行正投影处理，获取的棋盘格正投影图像便于寻找棋盘格角点，最后根据棋盘格正投影图像确定的棋盘格轮廓也更清晰准确。

在棋盘原始图像产生畸变的情况下，可以根据预设图像处理算法对棋盘格原始图像进行反畸处理，获取棋盘格反畸图像，以消除棋盘格的变形。基于此，下面通过一个实施例，对棋盘格反畸图像的获取方式进行说明。

在一个实施例中，如图14所示，对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像，包括以下步骤：

S1402、根据棋盘格原始图像中预设的多个初始角点的像素坐标，确定鱼眼摄像头的初始内外参和初始畸变系数。

首先在棋盘格原始图像中预设有多个初始角点，然后获取各初始角点在棋盘格原始图像中的像素坐标、各初始角点的世界坐标值，接着将各初始角点的像素坐标值和其对应的世界坐标值作为参数，调用预设函数作用于棋盘格初始图像的参数，进而获取鱼眼摄像头的初始内外参和初始畸变系数。

示例性地，在棋盘格原始图像上预设六个初始角点，获取六个初始角点的像素坐标以及世界坐标值，通过调用fisheye::calibrate(…)函数对六个初始角点的像素坐标以及世界坐标值进行处理，得到鱼眼摄像头的初始内外参和初始畸变系数。

S1404、根据初始内外参和初始畸变系数，对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像。

将初始内外参数和初始畸变系数作为输入参数，调用预设函数，比如fisheye::initUndistortRectifyMap(…)函数，令该函数作用于棋盘格初始图像的参数，获得棋盘格原始图像的重投影矩阵，然后根据重投影矩阵对棋盘格原始图像进行矫正，即反畸处理，得到棋盘格反畸图像。

本申请实施例中，棋盘格原始图像中包括各预设初始角点的像素坐标和世界坐标值，对应的参数值获取方式简单，并且对上述参数进行初始内外参和初始畸变系数处理、反畸处理时所用到的函数均是以APIs或Tools的形式直接封装在计算机视觉库中的，这就意味着本申请实施例不需要开发者过多地了解算法细节，从而快速获取鱼眼摄像头的参数，实现对棋盘格原始图像的反畸处理，得到棋盘格反畸图像。

在获取棋盘格正投影图像之后，可以直接通过集成且单一的机器学习算法提取棋盘格轮廓，也可以针对图像特征，对多种图像处理算法进行组合，提取棋盘格轮廓。基于此，下面通过一个实施例，对棋盘格轮廓提取的确定方式进行说明。

在一个实施例中，如图15所示，根据棋盘格正投影图像，确定棋盘格正投影图像中的棋盘格轮廓，包括以下步骤：

S1502、对棋盘格正投影图像进行灰度转换和噪声消除处理，得到棋盘格投影灰度图像。

棋盘格正投影图像是以红绿蓝（Red Green Blue，RGB）三通道表征的彩色图像，为了简化棋盘格正投影图像的细节，利用灰度转换算法扩展棋盘格正投影图像的动态范围，提高图像对比度，突出棋盘格正投影图像中感兴趣区域，也就是棋盘格轮廓的特征。需要说明的是，灰度转换算法是对棋盘格正投影图像的灰度值进行转换，即棋盘格正投影图像在灰度转换前后只有颜色的差异，灰度转换前的棋盘格正投影图像为彩色图像，灰度转换后的棋盘格正投影图像为灰度图像。

灰度转换后的棋盘格正投影图像突出了棋盘格轮廓的同时，也突出了棋盘格正投影图像中的一些冗余特征，即棋盘格正投影图像中的噪声。上述冗余特征是在拍摄棋盘格原始图像过程或者正投影处理过程生成的，并以噪点的形式存在于棋盘格正投影图像中。因此，需要采用去噪算法，比如均值滤波、高斯滤波等算法，对灰度转换后棋盘格正投影图像进行处理，消除图像中的噪声，得到棋盘格投影灰度图像。

S1504、对棋盘格投影灰度图像进行二值化处理，获得棋盘格投影二值图像。

对棋盘格投影灰度图像进行二值化，首先通过统计学方法获取棋盘格灰度图像的最佳全局阈值，然后遍历图像中每个像素值，当像素值对应的灰度大于最佳全局阈值时，像素值的灰度设为255，否则设为0。此时，二值化后的棋盘格灰度图像中，棋盘格图像中黑色棋盘格的颜色为白色，其他部分为黑色。为了与棋盘格原始图像中棋盘格的颜色相对应，接着对二值化后的棋盘格投影灰度图像进行反转，将二值化后的棋盘格灰度图像中的白色和黑色互相转换，得到棋盘格投影二值图像。

以图4的棋盘格正投影图像为例，对其进行灰度转换、去噪处理以及二值化处理之后，获取棋盘格投影二值图像，图16为图4对应的棋盘格投影二值图像。

S1506、根据棋盘格投影二值图像，确定棋盘格正投影图像中的棋盘格轮廓。

在获取棋盘格投影二值图像之后，根据matlab或者OpenCV等计算机视觉库封装的轮廓提取算法，获取各棋盘格的轮廓，即棋盘格正投影图像中的棋盘格轮廓。本申请实施例对轮廓提取算法的选择不作限制。

本申请实施例，通过对棋盘格正投影图像进行灰度转换，凸显了图像中感兴趣区域的特征；通过对灰度转换后的棋盘格正投影图像进行噪声消除处理，去除了图像中的冗余特征；通过对棋盘格投影灰度图像进行二值化处理，区分了图像前景和主题，这样确定的棋盘格投影二值图像能够清晰且直接地表征棋盘格正投影图像中的棋盘格轮廓。

在确定棋盘格轮廓时，对棋盘格投影二值图像中的线条进行处理，能够精确获取棋盘格轮廓。基于此，下面通过一个实施例，对棋盘格轮廓的确定方式进行说明。

在一个实施例中，如图17所示，根据棋盘格投影二值图像，确定棋盘格正投影图像中的棋盘格轮廓，包括以下步骤：

S1702、对棋盘格投影二值图像进行腐蚀操作，并在腐蚀操作后棋盘格投影二值图像上确定多个棋盘格初步轮廓。

棋盘格投影二值图像中的黑色棋盘格和白色棋盘格的轮廓较易区分，但是相邻的白色棋盘格之间的轮廓并不明显。因此，对棋盘格投影二值图像进行腐蚀操作，使得每个棋盘格相对比较独立，以便于提取白色棋盘格的轮廓。此时，在腐蚀操作后棋盘格投影二值图像上，就可以明确各棋盘格初步轮廓了。

以图16的棋盘格投影二值图像为例，调用findContours(…)函数作用于棋盘格投影二值图像进行腐蚀操作，得到图18，图18为腐蚀操作后的棋盘格投影二值图像，由图18可以看出，腐蚀操作后的棋盘格投影二值图像中的各棋盘格相对独立。

S1704、剔除多个棋盘格初步轮廓中不满足预设轮廓面积范围的棋盘格初步轮廓，得到棋盘格轮廓。

根据多个棋盘格初步轮廓获取多个棋盘格的轮廓面积，通过标准棋盘格的面积阈值得到预设轮廓面积范围，将多个棋盘格的轮廓面积与预设轮廓面积范围进行比较，当棋盘格的轮廓面积不满足预设面积范围，表明棋盘格的初步轮廓不符合棋盘格的尺寸，可能是轮廓提取算法的精度较低等因素引起的棋盘格的轮廓缺失，此时将从多个棋盘格轮廓中剔除不满足预设轮廓面积范围的棋盘格初步轮廓，得到棋盘格轮廓。

本申请实施例中，通过腐蚀操作区分各棋盘格之间的轮廓，并考虑了轮廓提取算法的误差，设置轮廓面积范围，进一步提升棋盘格轮廓的精度，这样获取的棋盘格轮廓能够更贴切棋盘格的真实轮廓。

棋盘格原始图像中的棋盘格角点通常存在于各棋盘格的轮廓顶点中的，尤其是相邻棋盘格的轮廓顶点。基于此，下面通过一个实施例，对棋盘格角点的获取方式进行说明。

在一个实施例中，如图19所示，根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点，包括以下步骤：

S1902、将每组轮廓顶点对之间的连线中点作为正投影角点。

每组轮廓顶点对包含两个轮廓顶点，本质上是一个棋盘格角点产生畸变形成的两个顶点。对于每组轮廓顶点对，将对应的两个轮廓顶点进行连线，并取该连线的中点作为对应的正投影角点，实现对正投影角点的亚像素识别，对应的正投影角点即棋盘格正投影图像中的棋盘格角点。

仍以图4所示的棋盘格正投影图像为例，对应的正投影角点示意图如图20所示，在图20中包含多个P点，各P点分别对应每组轮廓顶点对的正投影角点，并以圆圈的形式进行表征。

S1904、根据各正投影角点的像素坐标，获取棋盘格原始图像中的棋盘格角点。

根据正投影角点确定正投影角点的像素坐标，由于该角点的像素坐标是基于棋盘格正投影图像产生的，而棋盘格原始图像是产生畸变的棋盘格原始图像，那么需要根据畸变处理的反向逻辑，将各正投影角点的像素坐标转换为棋盘格原始图像中的棋盘格角点。对应的，由于正投影角点是亚像素级别的，那么根据正投影角点获取到的棋盘格角点也是亚像素级别的。

本申请实施例中，在获取棋盘格原始图像中的棋盘格角点的过程中，考虑了原始棋盘格角点畸变的影响，通过折中选取每组轮廓顶点对之间的连线中点作为正投影角点，这样的选取方式较为客观。进一步地，以各正投影角点的像素坐标确定棋盘格原始图像中的棋盘格角点，既将畸变前后角点坐标的变化考虑在内，又呼应了整个角点识别过程中畸变和反畸变的图像处理过程，逻辑清楚且易于实现。

棋盘格正投影图像是基于对棋盘格原始图像进行反畸处理、正投影处理得到的，因此根据棋盘格正投影图像中正投影角点的像素坐标来确定棋盘格原始图像中的棋盘格角点正是正投影图像获取过程的逆处理。基于此，下面通过一个实施例，对棋盘格原始图像中的棋盘格角点的获取方式进行说明。

在一个实施例中，如图21所示，根据各正投影角点像素坐标，获取棋盘格原始图像中的棋盘格角点，包括以下步骤：

S2102、根据各正投影角点的像素坐标，将各正投影角点投影至棋盘格正投影图像中。

正投影角点是基于棋盘格正投影图像中产生的，根据各正投影角点的像素坐标对应找到棋盘格正投影图像中的像素坐标，并将各正投影角点放置在棋盘格正投影图像的对应位置上。

S2104、将棋盘格正投影图像中的正投影角点反投影到棋盘格反畸图像中。

需要说明的是，棋盘格正投影图像是棋盘格反畸图像经过正透视投影操作获取得到的，正透视投影操作可以正透视投影矩阵进行表征。

根据正透视投影矩阵的逆矩阵，对棋盘格正投影图像进行正透视投影操作的逆操作，获取棋盘格反畸图像。对应地，根据棋盘格正投影图像中的正投影角点获取棋盘格反畸图像中的反畸变角点，并将反畸变角点投影至棋盘格反畸图像，完成正投影角点的反投影操作。

将图20所示的棋盘格正投影图像中的正投影角点，反投影到棋盘格反畸图像，结果如图22所示，图22包含有正投影角点，在图22中，仍以点P表示棋盘格正投影图像中的正投影角点反投影的角点，并以圆圈的形式进行表征。

S2106、对棋盘格反畸图像中的正投影角点做畸变操作，获得棋盘格原始图像的棋盘格角点。

需要说明的是，棋盘格反畸图像是基于棋盘格原始图像进行反畸处理得到的，本申请实施例中的畸变操作与反畸处理相对应，目的是还原棋盘格原始图像的棋盘格角点。

为获取棋盘格原始图像的棋盘格角点，对棋盘格反畸图像进行畸变操作，获取棋盘格原始图像。对应的，棋盘格反畸图像中的正投影角点做畸变操作获取棋盘格原始图像的棋盘格角点。

接着对图22所示意的棋盘格反畸图像进行畸变操作，获取包含棋盘格角点的棋盘格原始图像，如图23所示，在图23中，仍以点P表示棋盘格原始图像中的棋盘格角点，并以圆圈的形式进行表征。

本申请实施例，通过对各正投影角点像素坐标执行反投影操作以及畸变操作，获取棋盘格原始图像的棋盘格角点，由于本申请实施例的图像处理操作中的反投影操作、畸变操作与上述实施例中的投影操作、畸变操作互为逆处理，相当于对棋盘格原始图像进行逐步处理以及逆处理，校正棋盘格原始图像的棋盘格角点，这样的获取方式逻辑清晰且易于实现。

在一个实施例中，提供了一种棋盘格角点识别方法，包括以下步骤：

1、根据鱼眼摄像头拍摄的棋盘格原始图像中预设的多个初始角点的像素坐标，确定鱼眼摄像头的初始内外参和初始畸变系数。

2、根据初始内外参和初始畸变系数，对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像。

3、对棋盘格反畸图像进行正投影，以将棋盘格图像中的棋盘格投影成矩形，得到棋盘格正投影图像。

4、对棋盘格正投影图像进行灰度转换和噪声消除处理，得到棋盘格投影灰度图像。

5、对棋盘格投影灰度图像进行二值化处理，获得棋盘格投影二值图像。

6、对棋盘格投影二值图像进行腐蚀操作，并在腐蚀操作后棋盘格投影二值图像上确定多个棋盘格初步轮廓。

7、剔除多个棋盘格初步轮廓中不满足预设轮廓面积范围的棋盘格初步轮廓，得到棋盘格轮廓。

8、获取棋盘格轮廓中每个轮廓的最小外接矩形。

9、根据各轮廓顶点的坐标信息，将各轮廓顶点等拆分为左点集和右点集.

10、获取左点集中的轮廓顶点对、右点集中的轮廓顶点对。

11、通过递归方法获取左点集的轮廓顶点中的第一最小距离和右点集的轮廓顶点中的第二最小距离。

12、将第一最小距离和第二最小距离中的最小距离，确定为左点集和右点集之间的第三最小距离。

13、根据第三最小距离在左点集和右点集之间的轮廓顶点中确定目标区域范围。

14、遍历目标区域范围内每两个轮廓顶点的距离，将距离小于预设距离阈值的两个轮廓顶点确定为左点集和右点集之间的轮廓顶点对。

15、根据左点集中的轮廓顶点对、右点集中的轮廓顶点对，以及左点集和右点集之间的轮廓顶点对，得到多组轮廓顶点对。

16、将每组轮廓顶点对之间的连线中点作为正投影角点。

17、根据各正投影角点的像素坐标，获取棋盘格原始图像中的棋盘格角点。

18、根据各正投影角点的像素坐标，将各正投影角点投影至棋盘格正投影图像中。

19、将棋盘格正投影图像中的正投影角点反投影到棋盘格反畸图像中。

20、对棋盘格反畸图像中的正投影角点做畸变操作，获得棋盘格原始图像的棋盘格角点。

本申请实施例中，首先基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓，然后从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对，最后根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点。其中，轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点。由于该方法是在获取棋盘格原始图像的基础上，根据棋盘格正投影图像中的棋盘格轮廓顶点，将距离小于预设距离阈值的两个轮廓顶点作为一组轮廓顶点对，然后通过多组轮廓顶点对识别棋盘格角点的。相当于在识别棋盘格角点的过程中，既考虑了棋盘格原始图像中棋盘格的畸变因素，对棋盘格原始图像进行正投影，又考虑了棋盘格轮廓顶点之间的偏差影响，将距离小于预设距离阈值的两个轮廓顶点作为轮廓顶点对，这样获取的多组轮廓顶点对能够准确地反映出棋盘格的真实轮廓的相交位置，进一步地，根据多组轮廓顶点对获取的棋盘格角点也更准确。

应该理解的是，虽然上述各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的棋盘格角点识别方法的棋盘格角点识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个棋盘格角点识别装置实施例中的具体限定可以参见上文中对于棋盘格角点识别方法的限定，在此不再赘述。

在一个实施例中，如图24所示，提供了一种棋盘格角点识别装置2400，包括：轮廓获取模块2402、顶点对获取模块2404和角点获取模块2406，其中：

轮廓获取模块2402，用于基于鱼眼摄像头拍摄的棋盘格原始图像，获取棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓；

顶点对获取模块2404，用于从棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对；轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点；

角点获取模块2406，用于根据多组轮廓顶点对，获取棋盘格原始图像中的棋盘格角点。

在一个实施例中，顶点对获取模块2404，包括：矩形获取单元和顶点对确定单元，其中：

矩形获取单元，用于获取棋盘格轮廓中每个轮廓的最小外接矩形；

顶点对确定单元，用于将各最小外接矩形的顶点作为对应轮廓的轮廓顶点，并根据各轮廓顶点的坐标信息，确定多组轮廓顶点对。

在一个实施例中，顶点对确定单元，包括：距离计算子单元和第一组合子单元，其中：

距离计算子单元，用于根据各轮廓顶点的坐标信息，计算每两个轮廓顶点之间的距离；

第一组合子单元，用于将距离小于预设距离阈值的两个轮廓顶点确定为一组轮廓顶点对，得到多组轮廓顶点对。

在一个实施例中，顶点对确定单元，还包括：中心点获取子单元、线段获取子单元和第二组合子单元，其中：

中心点获取子单元，用于根据各轮廓顶点的坐标信息，获取各最小外接矩形的中心点；

线段获取子单元，用于通过预设的连接方向，连接各最小外接矩形的中心点，获取多条连接线段；连接方向包括左上相邻方向、左下相邻方向、右上相邻方向和右下相邻方向；

第二组合子单元，用于根据各连接线段，确定多组轮廓顶点对。

在一个实施例中，第二组合子单元还用于针对各连接线段中的任一连接线段，计算各轮廓顶点与连接线段的距离，获取与连接线段之间距离最小的两个轮廓顶点，将两个轮廓顶点确定为一组轮廓顶点对。

在一个实施例中，轮廓获取模块2402，包括：反畸处理单元，正投影处理单元和轮廓确定单元，其中：

反畸处理单元，用于对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像；

正投影处理单元，用于对棋盘格反畸图像进行正投影，以将棋盘格图像中的棋盘格投影成矩形，得到棋盘格正投影图像；

轮廓确定单元，用于根据棋盘格正投影图像，确定棋盘格正投影图像中的棋盘格轮廓。

在一个实施例中，反畸处理单元，包括：参数确定子单元和图像获取子单元，其中：

参数确定子单元，用于根据棋盘格原始图像中预设的多个初始角点的像素坐标，确定鱼眼摄像头的初始内外参和初始畸变系数；

图像获取子单元，用于根据初始内外参和初始畸变系数，对棋盘格原始图像进行反畸处理，得到棋盘格反畸图像。

在一个实施例中，轮廓确定单元，包括：灰度处理子单元、二值化处理子单元和图像确定子单元，其中：

灰度处理子单元，用于对棋盘格正投影图像进行灰度转换和噪声消除处理，得到棋盘格投影灰度图像；

二值化处理子单元，用于对棋盘格投影灰度图像进行二值化处理，获得棋盘格投影二值图像；

图像确定子单元，用于根据棋盘格投影二值图像，确定棋盘格正投影图像中的棋盘格轮廓。

在一个实施例中，图像确定子单元还用于对棋盘格投影二值图像进行腐蚀操作，并在腐蚀操作后棋盘格投影二值图像上确定多个棋盘格初步轮廓；剔除多个棋盘格初步轮廓中不满足预设轮廓面积范围的棋盘格初步轮廓，得到棋盘格轮廓。

在一个实施例中，角点获取模块2406，包括：正投影角点确定单元和棋盘格角点确定单元，其中：

正投影角点确定单元，用于将每组轮廓顶点对之间的连线中点作为正投影角点；

棋盘格角点确定单元，用于根据各正投影角点的像素坐标，获取棋盘格原始图像中的棋盘格角点。

在一个实施例中，棋盘格角点确定单元，包括投影子单元、反投影子单元和角点畸变子单元，其中：

投影子单元，用于根据各正投影角点的像素坐标，将各正投影角点投影至棋盘格正投影图像中；

反投影子单元，用于将棋盘格正投影图像中的正投影角点反投影到棋盘格反畸图像中；

角点畸变子单元，用于对棋盘格反畸图像中的正投影角点做畸变操作，获得棋盘格原始图像的棋盘格角点。

上述棋盘格角点识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述任一实施例中提供的棋盘格角点识别方法的技术方案。

上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中提供的棋盘格角点识别方法的技术方案。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一实施例中提供的棋盘格角点识别方法的技术方案。

上述实施例提供的一种计算机程序产品，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种棋盘格角点识别方法，其特征在于，所述方法包括：

基于鱼眼摄像头拍摄的棋盘格原始图像，获取所述棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓；

从所述棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对；所述轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点；

根据所述多组轮廓顶点对，获取所述棋盘格原始图像中的棋盘格角点。

2.根据权利要求1所述的方法，其特征在于，所述从所述棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对，包括：

获取所述棋盘格轮廓中每个轮廓的最小外接矩形；

将各所述最小外接矩形的顶点作为对应轮廓的轮廓顶点，并根据各所述轮廓顶点的坐标信息，确定所述多组轮廓顶点对。

3.根据权利要求2所述的方法，其特征在于，所述根据各所述轮廓顶点的坐标信息，确定所述多组轮廓顶点对，包括：

根据各所述轮廓顶点的坐标信息，计算每两个轮廓顶点之间的距离；

将距离小于所述预设距离阈值的两个轮廓顶点确定为一组轮廓顶点对，得到所述多组轮廓顶点对。

4.根据权利要求2所述的方法，其特征在于，所述根据各所述轮廓顶点的坐标信息，确定所述多组轮廓顶点对，包括：

根据各所述轮廓顶点的坐标信息，获取各所述最小外接矩形的中心点；

通过预设的连接方向，连接各所述最小外接矩形的中心点，获取多条连接线段；所述连接方向包括左上相邻方向、左下相邻方向、右上相邻方向和右下相邻方向；

根据各所述连接线段，确定所述多组轮廓顶点对。

5.根据权利要求4所述的方法，其特征在于，所述根据各所述连接线段，确定所述多组轮廓顶点对，包括：

针对各所述连接线段中的任一连接线段，计算各所述轮廓顶点与所述连接线段的距离，获取与所述连接线段之间距离最小的两个轮廓顶点；

将所述两个轮廓顶点确定为一组轮廓顶点对。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于鱼眼摄像头拍摄的棋盘格原始图像，获取所述棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓，包括：

对所述棋盘格原始图像进行反畸处理，得到棋盘格反畸图像；

对所述棋盘格反畸图像进行正投影，以将所述棋盘格图像中的棋盘格投影成矩形，得到所述棋盘格正投影图像；

根据所述棋盘格正投影图像，确定所述棋盘格正投影图像中的棋盘格轮廓。

7.根据权利要求6所述的方法，其特征在于，所述对所述棋盘格原始图像进行反畸处理，得到棋盘格反畸图像，包括：

根据所述棋盘格原始图像中预设的多个初始角点的像素坐标，确定所述鱼眼摄像头的初始内外参和初始畸变系数；

根据所述初始内外参和初始畸变系数，对所述棋盘格原始图像进行反畸处理，得到所述棋盘格反畸图像。

8.根据权利要求6所述的方法，其特征在于，所述根据所述棋盘格正投影图像，确定所述棋盘格正投影图像中的棋盘格轮廓，包括：

对所述棋盘格正投影图像进行灰度转换和噪声消除处理，得到棋盘格投影灰度图像；

对所述棋盘格投影灰度图像进行二值化处理，获得棋盘格投影二值图像；

根据棋盘格投影二值图像，确定所述棋盘格正投影图像中的棋盘格轮廓。

9.根据权利要求8所述的方法，其特征在于，所述根据棋盘格投影二值图像，确定所述棋盘格正投影图像中的棋盘格轮廓，包括：

对所述棋盘格投影二值图像进行腐蚀操作，并在腐蚀操作后棋盘格投影二值图像上确定多个棋盘格初步轮廓；

剔除所述多个棋盘格初步轮廓中不满足预设轮廓面积范围的棋盘格初步轮廓，得到所述棋盘格轮廓。

10.根据权利要求1所述的方法，其特征在于，所述根据所述多组轮廓顶点对，获取所述棋盘格原始图像中的棋盘格角点，包括：

将每组轮廓顶点对之间的连线中点作为正投影角点；

根据各所述正投影角点的像素坐标，获取所述棋盘格原始图像中的棋盘格角点。

11.根据权利要求10所述的方法，其特征在于，所述根据各所述正投影角点像素坐标，获取所述棋盘格原始图像中的棋盘格角点，包括：

根据各所述正投影角点的像素坐标，将各所述正投影角点投影至棋盘格正投影图像中；

将所述棋盘格正投影图像中的正投影角点反投影到棋盘格反畸图像中；

对所述棋盘格反畸图像中的正投影角点做畸变操作，获得所述棋盘格原始图像的棋盘格角点。

12.一种棋盘格角点识别装置，其特征在于，所述装置包括：

轮廓获取模块，用于基于鱼眼摄像头拍摄的棋盘格原始图像，获取所述棋盘格原始图像对应的棋盘格正投影图像中的棋盘格轮廓；

顶点对获取模块，用于从所述棋盘格轮廓的所有轮廓顶点中获取多组轮廓顶点对；所述轮廓顶点对包括距离小于预设距离阈值的两个轮廓顶点；

角点获取模块，用于根据所述多组轮廓顶点对，获取所述棋盘格原始图像中的棋盘格角点。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

Images