CN110609971B

CN110609971B - 一种校准多元回归网络构建方法

Info

Publication number: CN110609971B
Application number: CN201910741303.1A
Authority: CN
Inventors: 甄先通; 张磊; 李欣; 简治平; 左利云
Original assignee: Guangdong University of Petrochemical Technology
Current assignee: Guangdong University of Petrochemical Technology
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2023-12-12
Anticipated expiration: 2039-08-12
Also published as: CN110609971A

Abstract

本发明公开了一种校准多元回归网络构建方法，属于计算机算法领域，一种校准多元回归网络构建方法，它通过在多元回归网络中增加W矩阵，以及对W矩阵进行非线性处理，增加了输入‑输出变量之间非线性关系的刻画，提升了多元回归网络的系统性能，同时将标准校准多元回归网络中B矩阵用两个矩阵U、V实现，在这种矩阵分解过程中，遵循低秩的原则，这种低秩性原则可以保证用最少的参数解决函数近似问题，提高多元回归网络的运算性能，增加其运算的准确率。

Description

一种校准多元回归网络构建方法

技术领域

本发明涉及计算机算法领域，更具体地说，涉及一种校准多元回归网络构建方法。

背景技术

多元回归是研究一个因变量、与两个或两个以上自变量的回归。亦称为多元线性回归，是反映一种现象或事物的数量依多种现象或事物的数量的变动而相应地变动的规律。建立多个变量之间线性或非线性数学模型数量关系式的统计方法。

使用计算机构建多元回归网络，是处理测量数据时，研究变量与变量之间的关系的重要手段。校准多元回归模型如公式(1)所示，其中Y为目标输出，X为输入，B为映射矩阵，即待优化的参数。

定义

A_*k＝(A_1k，...；A_dk)^T，A_j*＝(A_j1，...，Aj_m)

则||*||_2,1和||*||_1,p具体表示如下：

目前有不同的方法根据(1)求解映射矩阵B。

公知的，校准多元回归网络的目标是寻找映射B，使得Y-XB的误差最小，并且采用||*||_2,1计算误差。对矩阵B的约束上，公式(1)中只是利用||*||_1,p范数来约束，这种约束中p一般两种选择，即p＝∞和p＝2。这分别对应下面两种情况：

其中(2)是限制B矩阵每行的最大值，而(3)则是限制B矩阵每行的二范数，对B中的其他关系没有任何限制。

在Y和X之间关系刻画上，只是用B矩阵刻画这种线性关系。在很多应用中，输入和输出之间不再是简单的线性关系，这在具体应用中，如根据输入人脸图像，输出人脸关键点等应用中，输入和输出的非线性关系很明显。简单用这种校准多元回归网络，则不能得到很好的精度。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种校准多元回归网络构建方法，它通过在多元回归网络中增加W矩阵，以及对W矩阵进行非线性处理，增加了输入-输出变量之间非线性关系的刻画，提升了多元回归网络的系统性能，同时将标准校准多元回归网络中B矩阵用两个矩阵U、V实现，在这种矩阵分解过程中，遵循低秩的原则，这种低秩性原则可以保证用最少的参数解决函数近似问题，提高多元回归网络的运算性能，增加其运算的准确率。

2.技术方案

为解决上述问题，本发明采用如下的技术方案。

一种校准多元回归网络构建方法，以X为输入层参数，W为非线性网络层参数，z为该层输出，其神经元节点的激活函数采用余弦函数，输入X和该层输出z之间的关系如下公式所示：

对于线性层，将z作为输入，Y为输出，其关系如下：

Y＝f(M，z)＝Mz (4)

其中M＝UV，U、V为对M的低秩分解，校准多元回归网络具体构建步骤如下：

S1、随机选取W、U、V参数数值，并设定迭代次数t从1开始；

S2、给定输入数据X和输出数据Y，计算

S3、更新U参数；

S4、给定输入数据X和输出数据Y，计算

S5、更新V参数；

S6、给定输入数据X和输出数据Y，计算

S7、更新W参数；

S8、迭代更新，直到收敛。

进一步的，所述步骤S2中，的计算公式如下：

进一步的，所述步骤S2中，D为实验中可调节的一个参数，G为一对角矩阵，其对角线元素为：

进一步的，所述步骤S3中，U参数的更新公式如下：

进一步的，所述步骤S3中，η_U为迭代速率，其值一般在实验过程中调节确定。

进一步的，所述步骤S4中，的计算公式如下：

进一步的，所述步骤S5中，V参数的更新公式为：其中η_V为迭代速率，其值一般在实验过程中调节确定。

进一步的，所述步骤S6中，的计算公式如下：

其中Λ表示如下：

(A⊙B)_ij＝A_ijB_ij。

进一步的，所述步骤S7中，W参数的更新公式如下：

进一步的，所述步骤S7中，η_W为迭代速率，其值一般在实验过程中调节确定。

3.有益效果

相比于现有技术，本发明的优点在于：

本方案通过在多元回归网络中增加W矩阵，以及对W矩阵进行非线性处理，增加了输入-输出变量之间非线性关系的刻画，提升了多元回归网络的系统性能，同时将标准校准多元回归网络中B矩阵用两个矩阵U、V实现，在这种矩阵分解过程中，遵循低秩的原则，这种低秩性原则可以保证用最少的参数解决函数近似问题，提高多元回归网络的运算性能，增加其运算的准确率。

附图说明

图1为本发明的网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：

请参阅图1，一种校准多元回归网络构建方法，本质是一种神经网络的构建，其包含两个部分，一是神经网络的结构，一是神经网络中参数的确定，神经网络的结构包含若干参数，其中X为输入层参数，W为非线性网络层参数，z为该层输出，其神经元节点的激活函数采用余弦函数，输入X和该层输出z之间的关系如下公式所示：

对于线性层，将z作为输入，Y为输出，其关系如下：

Y＝f(M，z)＝Mz (4)

其中M＝UV，U、V为对M的低秩分解。

在构建神经网络，会对构造的神经网络的优化，在优化中，需要构造目标函数，然后利用梯度下降方法进行优化。其中目标函数如下：

其中Y为目标输出，X为输入。其中W、U、V之间的关系如图1所示。

在图1中，将X和Y的关系用神经网络刻画。分为非线性层和线性层，其中W参数表示的非线性网络层参数，利用余弦激活函数刻画X和Y之间的非线性关系；U、V表示了线性关系，其保证矩阵M＝UV的低秩特性。

给定X，Y，按照图1的网络结构，构建校准多元回归网络，计算W、U、V参数的数值，其具体步骤如下：

S1、随机选取W、U、V参数数值，并设定迭代次数t从1开始；

S2、给定输入数据X和输出数据Y，计算如下：

其中D为实验中可调节的一个参数，G为一对角矩阵，其对角线元素如下：

S3、更新U参数：

其中η_U为迭代速率，其值一般在实验过程中调节确定；

S4、给定输入数据X和输出数据Y，计算如下：

S5、更新V参数：

其中η_V为迭代速率，其值一般在实验过程中调节确定；

S6、给定输入数据X和输出数据Y，计算如下：

其中Λ表示如下：

(A⊙B)_ij＝A_ijB_ij

S7、更新W参数：

其中η_W为迭代速率，其值一般在实验过程中调节确定。

S8、迭代更新，直到收敛。

至此，根据输入数据X和Y，得到基于余弦激活函数的稀疏低秩联合约束的校准多元回归网络的参数W、U、V。

使用时，给定X和W、U、V参数的数值，按照图1的网络结构计算Y：

其中D保持和构建校准多元回归网络的过程中同样的数值，且该多元回归网络投入使用前，前通过数据库进行实验验证，数据库描述和验证结果具体如下：

1、SARCOS数据库：这个数据库是描述具有7个自由度的机器臂针对不同任务产生的输出，其中用于学习的训练样本为44484个，用于预测的测试样本4449个，针对本方案的X输入数据，即为不同任务描述的21维特征，输出Y为机械臂的7个自由度数值，具体实验结果如下表所示：

表1本方案在SARCOS上实验结果对比

2、MAFL：这个数据库是CelebA的一个子数据库，用于人脸特征点标注，其标注点为5个，分别为两个眼睛、鼻子和两个嘴角，其中用于学习的训练样本为19000个，用于预测的测试数据为1000个，针对本方案的X输入数据，即为输入的人脸图像，输出Y为5个标注点的x坐标和y坐标数值，具体实验结果如下表所示：

表2本方案在MAFL上实验结果对比

3、AFLW：用于人脸特征点标注的另外一个数据库，其标注点为19个，包括眉毛(3个点×2)、眼睛(3个点×2)、鼻子(3个点)、嘴巴(3个点)和下巴(1个点)，其中用于学习的训练样本为20000个，用于预测的测试数据为4386个，针对本方案的X输入数据，即为输入的人脸图像，输出Y为19个标注点的x坐标和y坐标数值；300-VW：一个视频数据库，可用于人脸特征点标注应用，其中视频数据包括50个用于学习的训练视频，64个用于预测的测试视频，这个数据库特征点标注包括68个点，包括轮廓(17个点)、眉毛(5个点×2)、眼睛(6个点×2)、鼻子(9个点)、嘴巴(20个点)，针对本方案的X输入数据，即为输入的人脸图像，输出Y为68个标注点的x坐标和y坐标数值，具体实验结果如下表所示：

表3本方案在AFLW和300-VW上实验结果对比

由此可见，本发明通过在多元回归网络中增加W矩阵，以及对W矩阵进行非线性处理，增加了输入-输出变量之间非线性关系的刻画，提升了多元回归网络的系统性能，同时将标准校准多元回归网络中B矩阵用两个矩阵U、V实现，在这种矩阵分解过程中，遵循低秩的原则，这种低秩性原则可以保证用最少的参数解决函数近似问题，提高多元回归网络的运算性能，增加其运算的准确率。

以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims

1.一种用于人脸图像的校准点提取的校准多元回归网络构建方法，将人脸图像作为网络输入，即以X为输入层参数，W为非线性网络层参数，z为非线性的网络层输出，其神经元节点的激活函数采用余弦函数，这种非线性的余弦激活函数，更能体现出人脸图像特征的输入数据X和z之间的非线性关系，其特征在于，输入X和非线性的网络层输出z之间的关系如下公式所示：

对于线性层，将z作为输入，Y为输出，即人脸图像校准点的位置信息，其中每一个点用横纵坐标表示，有68个特征点，则Y输出的维度为68×2；Y与z的关系如下：

Y＝f(M，z)＝Mz

其中M＝UV，U、V为对M的低秩分解，这种低秩分解是为了更好挖掘人脸图像特征点的潜在的结构信息，校准多元回归网络具体构建步骤如下：

S1、随机选取W、U、V参数数值，并设定迭代次数t从1开始；

S2、给定人脸图像输入数据X和人脸图像校准点的位置信息的输出数据Y，计算

S3、更新U参数；

S4、给定人脸图像输入数据X和人脸图像校准点的位置信息的输出数据Y，计算

S5、更新V参数；

S6、给定人脸图像输入数据X和人脸图像校准点的位置信息的输出数据Y，计算

S7、更新W参数；

S8、迭代更新，直到收敛；

所述步骤S2中，根据人脸图像输入数据X和人脸图像校准点的位置信息的输出数据Y，计算公式如下：

所述步骤S2中，D为实验中可调节的一个参数，G为一对角矩阵，其对角线元素为：

所述步骤S4中，根据人脸图像输入数据X和人脸图像校准点的位置信息的输出数据Y，的计算公式如下：

所述步骤S6中，根据人脸图像输入数据X和人脸图像校准点的位置信息的输出数据Y，的计算公式如下：

其中Λ表示如下：

(A⊙B)_ij＝A_ijB_ij。

2.根据权利要求1所述的用于人脸图像的校准点提取的校准多元回归网络构建方法，其特征在于：所述步骤S3中，U参数的更新公式如下：

η_U为迭代速率。

3.根据权利要求1所述的用于人脸图像的校准点提取的校准多元回归网络构建方法，其特征在于：所述步骤S5中，V参数的更新公式为：其中η_V为迭代速率。

4.根据权利要求1所述的用于人脸图像的校准点提取的校准多元回归网络构建方法，其特征在于：

所述步骤S7中，W参数的更新公式如下：

η_W为迭代速率。