CN113298767A - 一种能克服反光现象的围棋图谱可靠识别方法 - Google Patents

Abstract

本发明提供了一种能克服反光现象的围棋图谱可靠识别方法，包括：对原始围棋图像进行预处理和灰度化处理；对预处理后的图像人工标注标签信息，利用透视变换原理进行棋盘校正并且获取棋盘格位置信息，完成两种不同数据集的制作；使用目标检测网络分别对两种数据集进行训练，得到两个训练好的目标检测模型；两个目标检测模型分别对包含棋盘的测试图像进行检测，将两个检测结果进行权重融合，得到最终检测结果；将棋盘格的最终检测结果利用透视变换原理还原成规则棋盘分布，并绘制成电子围棋图谱，通过上述步骤得到的最终结果准确率高，可以适应一定程度的光照不均和棋盘反光的情况。

Description

一种能克服反光现象的围棋图谱可靠识别方法

技术领域

本发明属于图像分析及目标检测领域，尤其涉及一种能克服反光现象的围棋图谱可靠识别方法。

背景技术

围棋是一种广泛流行的棋类游戏，在围棋比赛中，对于棋局的胜负判定基本依靠对比赛终局进行数子方法来确认。数子方法是通过对终局棋盘进行人工计数棋子个数，然而人工数子存在主观出错的可能性；人工计数往往需要专业裁判花费大量时间计算棋子的个数，同时增加了人力物力的投入。随着人工智能技术的不断发展，市面上出现了很多利用图像识别技术进行棋谱识别的方法，但是现存的围棋图谱识别系统抗干扰能力不高，无法识别棋盘反光区域，因而无法保障识别精确度。本发明可以实现精准快速识别围棋图谱并还原成电子图谱，识别速度远快于人工计数，并且识别精确度不低于专业裁判。

发明内容

发明目的：本发明所要解决的技术问题是针对现有围棋图谱识别系统抗干扰能力不高、对反光区域检测效果较差的情况，基于深度学习中的目标检测网络和基本图像处理方法，提供了一种能克服反光现象的围棋图谱可靠识别方法，本发明结构设计合理，可以实现围棋图谱的精确检测。

为了解决上述技术问题，本发明公开了一种能克服反光现象的围棋图谱可靠识别方法，包括如下步骤：

步骤1，对原始围棋图像进行预处理，去除图像中无用文字信息区域，裁剪出感兴趣区域，并对图像进行灰度化处理；

步骤2，对预处理后的图像进行人工标注，框出图像中棋盘四个角所在位置，并用文本文件记录W×L棋盘格的棋子标签；利用透视变换原理通过棋盘四个角坐标进行棋盘校正并计算出W×L棋盘格的位置信息，根据棋盘格标签以及位置信息制作数据集；

步骤3，以W×L单个棋盘格作为目标检测区域，制作数据集D1；以相邻两个棋盘格作为目标检测区域，制作数据集D2；

步骤4，将数据集划分为训练集和测试集，分别用数据集D1和数据集D2中的训练集训练目标检测网络YOLO，得到训练好的两个目标检测模型M1和M2；

步骤5，使用M1和M2分别对包含棋盘的测试图像进行检测，对两个检测结果进行权重融合，得到最终检测结果；

步骤6，将棋盘格的最终检测结果利用透视变换原理还原成规则棋盘分布，并绘制成电子围棋图谱，完成原始围棋图像到电子围棋图谱的转换。

步骤1中，因为原始图像包含影响该方法检测结果的冗余信息，所以首先通过裁剪去除图像中无用文字信息区域，保留有效的区域，然后对将3通道RGB图像转换为1通道灰度图像，计算公式为：

Gray＝R*0.299+G*0.587+B*0.114

步骤2中，图像中棋盘存在倾斜情况，通过棋盘四个角的坐标，利用透视变换原理可以计算出整个棋盘W×L棋盘格的位置坐标，具体包括如下步骤：

步骤2-1，将原始图像中倾斜棋盘四个角的真实坐标变换成规则棋盘四个角的坐标，返回由原始棋盘四个角坐标到规则棋盘矩形变换的矩阵，计算公式为：

(x′，y′，z′)＝(x，y，z)*A

其中，A是3×3透视变换矩阵，(x，y，z)是规则棋盘角点坐标，(x′，y′，z′)是原始图像棋盘角点坐标；因为待处理图像为二维图像，z＝1，可以将目标坐标转换为2维坐标；

步骤2-2，将规则棋盘格W×L的位置坐标与透视变换矩阵相乘，得到原始图像校正后的图像以及棋盘格新角点坐标；根据棋盘格位置信息与步骤2所述文本文件记录的棋盘格标签信息，制作每张原始围棋图像的标注文件。

步骤3中，数据集D1以单个棋盘格作为目标检测区域，每张原始图像共有W×L个目标区域；所述数据集D2以相邻两个棋盘格作为目标检测区域，每张原始图像共有W×(L-1)个目标区域；因为原始图像存在大量被高光污染区域，反光区域面积大，图像特征和白棋相似，故采用扩大目标检测区域，使网络自动学习更多反光区域特征。

步骤4中，采用的目标检测网络YOLO(You Only Look Once)为全卷积网络，属于一阶段目标检测算法，采用回归(regression)思想直接获得位置信息和类别信息；输入的图像张量经过特征提取网络CSPDarknet53(Cross Stage Partial Darknet53)进行特征提取得到特征图，将特征图分割成S×S均等大小的栅格，每个栅格设定B种不同尺寸大小的先验框(默认值为3)，对特征图上的先验框进行边框回归得到精确位置以及不同类别的置信度，具体包括如下步骤：

步骤4-1，尺寸为M×N的图像张量首先经过一个Focus模块，对图片进行切片操作，每隔一个像素取一个值，把宽度和高度信息集中到了通道空间，拼接后的图片从RGB三通道扩充为12通道，再经过卷积操作得到二倍下采样特征图C1；

步骤4-2，特征图C1自底向上经过四个BottleNeckCSP模块运算后下采样分别输出四个不同大小的特征层C2，C3，C4，C5；首先对特征层C5做1×1的卷积操作实现通道融合得到特征层记为P5，特征层P5上采样后与相同尺寸大小的特征层C4进行拼接，再采用3×3的卷积对拼接结果消除上采样的混叠效应得到特征层记为P4，使用同样的方式得到特征层C3拼接后的特征层记为P3，最终得到的特征图构成了特征金字塔[P3，P4，P5]；特征层集[P3，P4，P5]尺寸大小分别为

大尺寸特征图用来检测小目标物体，小尺寸特征图用来检测大目标物体；

步骤4-3，对输出的特征层集[P3，P4，P5]进行网格化，细分为S×S均等大小的栅格，S为特征图尺寸大小；就单个网格，需要B种不同尺寸大小的先验框，每个先验框有4维坐标向量偏移量(x_i，y_i，w_i，h_i)，1维前景的置信度，C维目标物体类别数，特征图的输出维度为S×S×B×(5+C)；

步骤4-4，将三层特征图输出的所有预测框与真实标签进行IOU(Intersectionover Union)匹配与损失函数计算；所述IOU匹配是任选一个真实标签，与所有预测框计算IOU，IOU最大的预测框即为正例，并且一个预测框只能分配给一个真实标签；预测框类别标签对应类别为1，其余类别为0，置信度为1；正例除外，与全部真实标签的IOU都小于阈值(默认值设为0.5)，则为负例，负例置信度标签为0；正例除外，与任意一个真实标签的IOU大于阈值，则为忽略样例，忽略样例不参与损失函数计算；

步骤4-5，图片推理时，选取一个置信度阈值，过滤置信度较低的检测框，利用非极大值抑制去除大量重叠冗余检测框，得到网络最终预测结果。

步骤4中，采用的目标检测网络YOLO的损失为边界框回归损失和目标分类损失，所述目标分类损失包含置信度损失和目标分类概率损失；所述边界框回归损失为方差损失，目标分类损失为交叉熵损失，计算方式为：

Loss＝L_box+L_obj+L_cls

Loss是目标检测网络YOLO的总损失函数，包括L_box、L_obj和L_cls；λ_coord、λ_noobj、λ_obj、λ_class分别表示权重系数；其中，L_box是边界框回归时的损失函数，L_obj是含有目标物体置信度损失函数，L_cls是分类时的损失函数；S表示栅格尺寸，M×N的原始图像经过三次卷积下采样的栅格尺寸S×S分别为

表示如果第i个栅格的第j个预测候选框存在目标，

如果不存在目标，

表示如果第i个栅格的第j个预测候选框不存在目标，

如果存在目标，

(x_i，y_i，w_i，h_i)表示预测候选框的4个参数化坐标向量偏移量，

表示与正样本相关的真实标签的坐标向量偏移量；p_i(c)表示表示预测候选框i为目标类别c的概率，

表示候选框i对应的样本所属真实类别标签，如果候选框属于c类别，

如果是负样本则舍弃负样本，

步骤5中，使用的模型融合是一种分层模型集成框架，第一层选取多个基学习器，将原始数据集的特征变量作为输入，它们的输出再作为第二层的输入，对第二层预测模型的次学习器进行训练，具体包括如下步骤：

步骤5-1，将数据集分为训练集T和测试集t，再随机将训练集划分成k个大小基本相等的子集T₁，T₂，......，T_k；

步骤5-2，第一层选取随机森林模型、决策树模型、K近邻模型作为基学习器，对每个基学习器进行K折交叉验证；

步骤5-3，定义T_k为K次训练中的第k折验证集，T_k′＝T-T_k为第k折训练集，每次训练T_k′来预测剩下的T_k，同时对测试集t进行预测，这样每个基学习器可以得到k份训练过后的数据；

步骤5-4，将模型1的k份验证集预测数据合并起来，得到数据Tr₁，将得到的k份测试集预测数据取平均值，得到新的预测数据Te₁；同理，模型2可得数据Tr₂、Te₂，模型3可得数据Tr₃、Te₃；将Tr₁、Tr₂、Tr₃合并起来，得到新的训练数据T₂，将Te₁、Te₂、Te₃合并起来，得到新的预测数据t₂；

步骤5-5，第二层选取极端梯度提升树模型作为次学习器，用T₂作为新的训练集训练次学习器，并预测新的测试集t₂，得到最终检测结果。

有益效果：本发明提出了一种能克服反光现象的围棋图谱可靠识别方法，针对大面积反光区域，分别训练两个目标检测模型，并对两个检测结果进行权重融合，得到最终检测结果，根据棋子的颜色、位置等棋谱数据，将棋盘格的最终检测结果利用透视变换原理还原成规则棋盘分布，弥补现存的围棋图谱识别系统抗干扰能力不高、无法识别棋盘反光区域的缺陷，保障识别的精确度。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为本发明系统示意图。

图3为本发明实施例中对棋盘图像进行检测的技术效果图。

图4为模型融合原理示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1，图2和图3所示，本发明公开了一种能克服反光现象的围棋图谱可靠识别方法，包括以下步骤：

步骤1，对原始围棋图像进行预处理，去除图像中无用文字信息区域，裁剪出感兴趣区域，并对图像进行灰度化处理；

步骤2，对预处理后的图像进行人工标注，框出图像中棋盘四个角所在位置，并用文本文件记录W×L棋盘格的棋子标签；利用透视变换原理通过棋盘四个角坐标进行棋盘校正并计算出W×L棋盘格的位置信息，根据棋盘格标签以及位置信息制作数据集；

步骤3，以W×L单个棋盘格作为目标检测区域，制作数据集D1；以相邻两个棋盘格作为目标检测区域，制作数据集D2；

步骤4，将数据集划分为训练集和测试集，分别用数据集D1和数据集D2中的训练集训练目标检测网络YOLO，得到训练好的两个目标检测模型M1和M2；

步骤5，使用M1和M2分别对包含棋盘的测试图像进行检测，对两个检测结果进行权重融合，得到最终检测结果；

步骤6，将棋盘格的最终检测结果利用透视变换原理还原成规则棋盘分布，并绘制成电子围棋图谱，完成原始围棋图像到电子围棋图谱的转换。

本实例中，步骤1中使用器材为手机、相机、平板，原始图像拍摄于棋社与实验室，得到围棋棋盘高光污染的数字图像。

本实例中，步骤2使用人工标注的方式，在预处理后的图像上人工输入棋盘四角坐标，并给出19×19棋盘格的棋子标签，其中每一格的棋子标签分为黑、白、空三种；在透视变换原理的基础上，在所有棋盘图像上的用于落子的棋盘线交叉点处，根据棋子标签进行标注；

图像中棋盘存在倾斜情况，通过棋盘四个角的坐标，利用透视变换原理可以计算出整个棋盘19×19棋盘格的位置坐标，具体包括如下步骤：

步骤2-1，将原始图像中倾斜棋盘四个角的真实坐标变换成规则棋盘四个角的坐标，返回由原始棋盘四个角坐标到规则棋盘矩形变换的矩阵，计算公式为：

(x′，y′，z′)＝(x，y，z)*A

其中，A是3×3透视变换矩阵，(x，y，z)是规则棋盘角点坐标，(x′，y′，z′)是原始图像棋盘角点坐标；因为待处理图像为二维图像，z＝1，可以将目标坐标转换为2维坐标；

步骤2-2，将规则棋盘格W×L的位置坐标与透视变换矩阵相乘，得到原始图像校正后的图像以及棋盘格新角点坐标；根据棋盘格位置信息与步骤2所述文本文件记录的棋盘格标签信息，制作每张原始围棋图像的标注文件。

本实例中，步骤3中所述数据集D1以单个棋盘格作为目标检测区域，每张原始图像共有19×19个目标区域；所述数据集D2以相邻两个棋盘格作为目标检测区域，每张原始图像共有19×18个目标区域；因为原始图像存在大量被高光污染区域，反光区域面积大，图像特征和白棋相似，可以采用扩大目标检测区域的方式，使网络自动学习更多反光区域特征。

步骤4-1，尺寸为640×640的图像张量首先经过一个Focus模块，对图片进行切片操作，每隔一个像素取一个值，将宽度和高度信息集中到了通道空间，拼接后的图片从RGB三通道扩充为12通道，再经过卷积操作得到二倍下采样特征图C1；

步骤4-2，特征图C1自底向上经过四个BottleNeckCSP模块运算后下采样分别输出四个不同大小的特征层C2，C3，C4，C5；首先对特征层C5做1×1的卷积操作实现通道融合得到特征层记为P5，特征层P5上采样后与相同尺寸大小的特征层C4进行拼接，再采用3×3的卷积对拼接结果消除上采样的混叠效应得到特征层记为P4，使用同样的方式得到特征层C3拼接后的特征层记为P3，最终得到的特征图构成了特征金字塔[P3，P4，P5]；特征层集[P3，P4，P5]尺寸大小分别为80×80，40×40，20×20；大尺寸特征图用来检测小目标物体，小尺寸特征图用来检测大目标物体；

步骤4-3，对输出的特征图P3，P4，P5进行网格化，分别细分为80×80，40×40，20×20均等大小的栅格；就单个网格，需要3种不同尺寸大小的先验框，每个先验框有4维坐标向量偏移量(x_i，y_i，w_i，h_i)，1维前景的置信度，3维目标物体类别数，P3特征图的输出维度为80×80×3×(5+3)，P4特征图的输出维度为40×40×3×(5+3)，P5特征图的输出维度为20×20×3×(5+3)；

步骤4-4，将三层特征图输出的所有预测框进行与真实标签进行IOU匹配与损失函数计算；所述IOU匹配是任选一个真实标签，与所有预测框计算IOU，IOU最大的预测框即为正例，并且一个预测框只能分配给一个真实标签；预测框类别标签对应类别为1，其余类别为0，置信度为1；除正例外，与全部真实标签的IOU都小于阈值(默认值设为0.5)，则为负例，负例置信度标签为0；除正例外，与任意一个真实标签的IOU大于阈值，则为忽略样例，忽略样例不参与损失函数计算；

步骤4-5，图片推理时，选取一个置信度阈值0.6，检测框置信度低于0.6则被过滤掉，再利用非极大值抑制去除大量重叠冗余检测框，得到网络最终预测结果。

图1为本发明流程图。

本实例中，步骤5中所述模型融合是一种分层模型集成框架，具体包括如下步骤：

步骤5-1，将数据集分为训练集T和测试集t，再随机将训练集划分成5个大小基本相等的子集T₁，T₂，......，T₅；

步骤5-2，第一层选取随机森林模型、决策树模型、5近邻模型作为基学习器，对每个基学习器进行5折交叉验证；

步骤5-3，定义T_k为K次训练中的第k折验证集，T_k′＝T-T_k为第k折训练集，每次训练T_k′来预测剩下的T_k，同时对测试集t进行预测，这样每个基学习器可以得到5份训练过后的数据；

步骤5-4，将模型1的k份验证集预测数据合并起来，得到数据Tr₁，将得到的k份测试集预测数据取平均值，得到新的预测数据Te₁；同理，模型2可得数据Tr₂、Te₂，模型3可得数据Tr₃、Te₃；将Tr₁、Tr₂、Tr₃合并起来，得到新的训练数据T₂，将Te₁、Te₂、Te₃合并起来，得到新的预测数据t₂；第二层选取极端梯度提升树模型作为次学习器，用T₂作为新的训练集训练次学习器，并预测新的测试集t₂，得到最终检测结果。

本发明提供了一种能克服反光现象的围棋图谱可靠识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种能克服反光现象的围棋图谱可靠识别方法，其特征在于，包括如下步骤：

步骤1，对原始围棋图像进行预处理，去除图像中无用文字信息区域，裁剪出感兴趣区域，并对图像进行灰度化处理；

步骤2，对预处理后的图像进行人工标注，框出图像中棋盘四个角所在位置，并用文本文件记录W×L棋盘格的棋子标签；利用透视变换原理通过棋盘四个角坐标进行棋盘校正并计算出W×L棋盘格的位置信息，根据棋盘格标签以及位置信息制作数据集；

步骤3，以W×L单个棋盘格作为目标检测区域，制作数据集D1；以相邻两个棋盘格作为目标检测区域，制作数据集D2；

步骤4，将数据集划分为训练集和测试集，分别用数据集D1和数据集D2中的训练集训练目标检测网络YOLO，得到训练好的两个目标检测模型M1和M2；

步骤5，使用M1和M2分别对包含棋盘的测试图像进行检测，对两个检测结果进行权重融合，得到最终检测结果；

步骤6，将棋盘格的最终检测结果利用透视变换原理还原成规则棋盘分布，并绘制成电子围棋图谱，完成原始围棋图像到电子围棋图谱的转换。

2.根据权利要求1所述的方法，其特征在于，步骤2中，图像中棋盘存在倾斜情况，使用棋盘四个角的坐标，利用透视变换原理可以计算出整个棋盘W×L棋盘格的位置坐标，具体包括如下步骤：

步骤2-1，将原始图像中倾斜棋盘四个角的真实坐标变换成规则棋盘四个角的坐标，返回由原始棋盘四个角坐标到规则棋盘矩形变换的矩阵，计算公式为：

(x′，y′，z′)＝(x，y，z)*A

其中，A是3×3透视变换矩阵，(x，y，z)是规则棋盘角点坐标，(x′，y′，z′)是原始图像棋盘角点坐标；因为待处理图像为二维图像，z＝1，可以将目标坐标转换为2维坐标；

步骤2-2，将规则棋盘格W×L的位置坐标与透视变换矩阵相乘，得到原始图像校正后的图像以及棋盘格新角点坐标；根据棋盘格位置信息与步骤2所述文本文件记录的棋盘格标签信息，制作每张原始围棋图像的标注文件。

3.根据权利要求2所述的方法，其特征在于，步骤3中，所述数据集D1以单个棋盘格作为目标检测区域，每张原始图像共有W×L个目标区域；所述数据集D2以相邻两个棋盘格作为目标检测区域，每张原始图像共有W×(L-1)个目标区域；因为原始图像存在大量被高光污染的区域，反光区域面积大，图像特征和白棋相似，容易误检，可以采用扩大目标检测区域的方法，让网络自动学习更多反光区域特征。

4.根据权利要求3所述的方法，其特征在于，步骤4中，所述目标检测网络YOLO为全卷积网络，采用回归思想直接获得位置信息和类别信息；输入的图像张量经过特征提取网络CSPDarknet进行特征提取得到特征图，将特征图分割成S×S均等大小的栅格，每个栅格设定B种不同尺寸大小的先验框(默认值为3)，对特征图上的先验框进行边框回归得到精确位置以及不同类别的置信度，具体包括如下步骤：

步骤4-1，尺寸为M×N的图像张量首先经过一个Focus模块，对图片进行切片操作，每隔一个像素取一个值，把宽度和高度信息集中到了通道空间，拼接后的图片从RGB三通道扩充为12通道，再经过卷积操作得到二倍下采样特征图C1；

步骤4-2，特征图C1自底向上经过四个BottleNeckCSP模块运算后下采样分别输出四个不同大小的特征层C2，C3，C4，C5；首先对特征层C5做1×1的卷积操作实现通道融合得到特征层P5，特征层P5上采样后与相同尺寸大小的特征层C4进行拼接，再通过3×3的卷积对拼接结果消除上采样的混叠效应得到特征层记为P4，使用同样的方式得到特征层C3拼接后的特征层记为P3，最终得到的特征图构成了特征金字塔[P3，P4，P5]；特征层集[P3，P4，P5]尺寸大小分别为

大尺寸特征图用来检测小目标物体，小尺寸特征图用来检测大目标物体；

步骤4-3，对输出的特征层集[P3，P4，P5]进行网格化，细分为S×S均等大小的栅格，S为特征图尺寸大小；就单个网格，需要B种不同尺寸大小的先验框，每个先验框有4维坐标向量偏移量(x_i，y_i，w_i，h_i)，1维前景的置信度，C维目标物体类别数，特征图的输出维度为S×S×B×(5+C)；

步骤4-4，将三层特征图输出的所有预测框与真实标签进行IOU匹配与损失函数计算；所述IOU匹配是任选一个真实标签，与所有预测框计算IOU，IOU最大的预测框即为正例，并且一个预测框只能分配给一个真实标签；预测框类别标签对应类别为1，其余类别为0，置信度为1；除正例外，与全部真实标签的IOU都小于阈值(默认值设为0.5)，则为负例，负例置信度标签为0；除正例外，与任意一个真实标签的IOU大于阈值，则为忽略样例，忽略样例不参与损失函数计算；

步骤4-5，图片推理时，选取一个置信度阈值，过滤置信度较低的检测框，利用非极大值抑制去除大量重叠冗余检测框，得到网络最终预测结果。

5.根据权利要求4所述的方法，其特征在于，所述目标检测网络YOLO的损失为边界框回归损失和目标分类损失，所述目标分类损失包含置信度损失和目标分类概率损失；所述边界框回归损失为方差损失，目标分类损失为交叉熵损失，计算方式为：

Loss＝L_box+L_obj+L_cls

Loss是目标检测网络YOLO的总损失函数，包括L_box、L_obj和L_cls；λ_coord、λ_noobj、λ_obj、λ_class分别表示权重系数；其中，L_box是边界框回归时的损失函数，L_obj是含有目标物体置信度损失函数，L_cls是分类时的损失函数；S表示栅格尺寸，M×N的原始图像经过三次卷积下采样的栅格尺寸S×S分别为

表示如果第i个栅格的第j个预测候选框存在目标，

如果不存在目标，

表示如果第i个栅格的第j个预测候选框不存在目标，

如果存在目标，

(x_i，y_i，w_i，h_i)表示预测候选框的4个参数化坐标向量偏移量，

表示与正样本相关的真实标签的坐标向量偏移量；p_i(c)表示表示预测候选框i为目标类别c的概率，

表示候选框i对应的样本所属真实类别标签，如果候选框属于c类别，

如果是负样本则舍弃负样本，

6.根据权利要求5所述的方法，其特征在于，所述模型融合是一种分层模型集成框架，第一层选取多个基学习器，将原始数据集的特征变量作为输入，它们的输出再作为第二层的输入，对第二层预测模型的次学习器进行训练，具体包括如下步骤：

步骤5-1，将数据集分为训练集T和测试集t，再随机将训练集划分成k个大小基本相等的子集T₁，T₂，......，T_k；

步骤5-2，第一层选取模型1、模型2、模型3作为基学习器，对每个基学习器进行K折交叉验证；

步骤5-3，定义T_k为K次训练中的第k折验证集，T_k′＝T-T_k为第k折训练集，每次训练T_k′来预测剩下的T_k，同时对测试集t进行预测，这样每个基学习器可以得到k份训练过后的数据；

步骤5-4，将模型1的k份验证集预测数据合并起来，得到数据Tr₁，将得到的k份测试集预测数据取平均值，得到新的预测数据Te₁；同理，模型2可得数据Tr₂、Te₂，模型3可得数据Tr₃、Te₃；将Tr₁、Tr₂、Tr₃合并起来，得到新的训练数据T₂，将Te₁、Te₂、Te₃合并起来，得到新的预测数据t₂；

步骤5-5，第二层选取模型4作为次学习器，用T₂作为新的训练集训练次学习器，并预测新的测试集t₂，得到最终结果。

Images