CN104281770A - 一种一元线性回归方法 - Google Patents

Abstract

本发明涉及概率论与数理统计领域，特别是涉及一种一元线性回归方法。设具有线性相关关系的两个变量x和y的观测值矩阵为(X，Y)，(X，Y）的协方差矩阵∑的第一特征值为λ₁，对应于λ₁的一个特征向量为α₁，设一元线性回归方程对应的直线通过点且方向与α₁相同，用点斜法确定一元线性回归方程为

Description

一种一元线性回归方法

技术领域

本发明涉及概率论与数理统计领域，特别是涉及一种一元线性回归方法。 

背景技术

线性回归分析是数理统计中最基本的研究方法之一，用以研究变量间的相关关系。在社会经济领域，很多变量间的关系即使在宏观上不是线性的，在微观上仍可近似做线性化处理。另外，有的时候通过对变量进行取对数等预处理，可以将变量间的非线性关系变换为线性关系。目前主流的统计分析、数值计算软件都以矩阵运算为基础。因此，对变量进行高精度的线性回归具有重要的基础作用。 

线性回归根据自变量及因变量的数量可分为一重一元、一重多元、多重多元等几种情况，其中，一重一元线性回归是其中最简单和最基本的问题，简述如下： 

设有变量x，y满足线性关系式y＝β₀+β₁x+ε，其中β₁(i＝0，1)是常数，ε是随机误差。对各变量进行n次观测，观测值向量为：X＝(x₁，x₂，......，x_n)′；Y＝(y₁，y₂，......，y_n)′。基于以上观测数据的变量x与y的一元线性回归方程为：一元线性回归方程的矩阵形式为Y＝(1，X)B+E，其中，B＝(β₀，β₁)′，E＝(ε₁，...，ε_n)′。 

一重一元线性回归最常用的解法是基于最小二乘法的线性回归方法(ordinary least squares regression，OLSR)：将y视为因变量，x视为自变量，自变量不视为随机变量，只有因变量视为随机变量；参数矩阵B的极大似然估计为

最小二乘线性回归的结果不具有坐标无关性。所谓坐标无关性指将运算所在坐标系做正交变换(平移或/和旋转)不影响运算的结果。 

社会经济变量中很少有取值不具有随机性的“纯”自变量。由于观察角度、观测仪器、数据定义及归总方法的不同，同一经济现象的观测数据形式上可能有很大差别，但经过某种线性变换甚至简单的坐标变换，数据之间就经常表现出明显的等价性。基于以上理由，希望具有等价关系的数据组的回归结果也相同是很自然的要求，因此，发展具有坐标不变性的线性回归方法是必要的。 

发明内容

本发明提供了一种一元线性回归方法，可使回归结果具有坐标无关性。 

为实现上述目的，本发明所采用的技术方案是：一种一元线性回归方法，步骤如下： 

(1)设x和y为具有线性相关关系的两个变量，对这两个变量进行n次观测，x的观测值依次为x₁，x₂......，x_n，y的观测值依次为y₁，y₂，......，y_n，x的观测值向量为X＝(x₁，x₂，......，x_n)′， y的观测值向量为Y＝(y₁，y₂，......，y_n)′； 

(2)设矩阵(X，Y)的协方差矩阵为 $\mathrm{\Σ}=\left(\begin{array}{cc}{\mathrm{\σ}}_x^2& {\mathrm{\σ}}_{\mathrm{xy}}\\ {\mathrm{\σ}}_{\mathrm{yx}}& {\mathrm{\σ}}_y^2\end{array}\right),$ 其中 ${\mathrm{\σ}}_x^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{X})}^2,$ ${\mathrm{\σ}}_y^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{Y})}^2,{\mathrm{\σ}}_{\mathrm{xy}}={\mathrm{\σ}}_{\mathrm{yx}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left[(x_i-\stackrel{\‾}{X})(y_i-\stackrel{\‾}{Y})\right],\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i,\stackrel{\‾}{Y}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i;$

(3)∑的第一特征值为对应于λ₁的一个特征向量为 ${\mathrm{\α}}_1=\left(\begin{array}{c}1\\ \frac{{\mathrm{\λ}}_1-{\mathrm{\σ}}_x^2}{{\mathrm{\σ}}_{\mathrm{xy}}}\end{array}\right),$ α₁的斜率为 ${\widehat{\mathrm{\β}}}_1=\frac{{\mathrm{\λ}}_1-{\mathrm{\σ}}_x^2}{{\mathrm{\σ}}_{\mathrm{xy}}}=\frac{-{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+\sqrt{{({\mathrm{\σ}}_x^2-{\mathrm{\σ}}_y^2)}^2+4{{\mathrm{\σ}}_{\mathrm{xy}}}^2}}{2{\mathrm{\σ}}_{\mathrm{xy}}};$

(4)设基于观测数据X和Y的变量x与y的一元线性回归方程对应的图形为直线l，设l通过点且斜率为将基于观测数据X和Y的变量x与y的一元线性回归方程表示为  $\hat{y}={\widehat{\mathrm{\β}}}_{1}x+{\widehat{\mathrm{\β}}}_0,$ 其中 ${\widehat{\mathrm{\β}}}_0=\stackrel{\‾}{Y}-{\widehat{\mathrm{\β}}}_1\stackrel{\‾}{X}.$

本发明达到的有益效果：使回归结果具有坐标无关性，提高回归精度。 

具体实施方式

本发明的一种一元线性回归方法具体步骤如下： 

(1)设x和y为具有线性相关关系的两个变量，对这两个变量进行n次观测，x的观测值依次为x₁，x₂，......，x_n，y的观测值依次为y₁，y₂，......，y_n，x的观测值向量为X＝(x₁，x₂，......，x_n)′，y的观测值向量为Y＝(y₁，y₂，......，y_n)′； 

(2)设矩阵(X，Y)的协方差矩阵为 $\mathrm{\Σ}=\left(\begin{array}{cc}{\mathrm{\σ}}_x^2& {\mathrm{\σ}}_{\mathrm{xy}}\\ {\mathrm{\σ}}_{\mathrm{yx}}& {\mathrm{\σ}}_y^2\end{array}\right),$ 其中 ${\mathrm{\σ}}_x^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{X})}^2,$ ${\mathrm{\σ}}_y^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{Y})}^2,{\mathrm{\σ}}_{\mathrm{xy}}={\mathrm{\σ}}_{\mathrm{yx}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left[(x_i-\stackrel{\‾}{X})(y_i-\stackrel{\‾}{Y})\right],\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i,\stackrel{\‾}{Y}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i;$

(3)∑的第一特征值为对应于λ₁的一个特征向量为 ${\mathrm{\α}}_1=\left(\begin{array}{c}1\\ \frac{{\mathrm{\λ}}_1-{\mathrm{\σ}}_x^2}{{\mathrm{\σ}}_{\mathrm{xy}}}\end{array}\right),$ α₁的斜率为 ${\widehat{\mathrm{\β}}}_1=\frac{{\mathrm{\λ}}_1-{\mathrm{\σ}}_x^2}{{\mathrm{\σ}}_{\mathrm{xy}}}=\frac{-{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+\sqrt{{({\mathrm{\σ}}_x^2-{\mathrm{\σ}}_y^2)}^2+4{{\mathrm{\σ}}_{\mathrm{xy}}}^2}}{2{\mathrm{\σ}}_{\mathrm{xy}}};$

(4)设基于观测数据X和Y的变量x与y的一元线性回归方程对应的图形为直线l，设l通过点且斜率为将基于观测数据X和Y的变量x与y的一元线性回归方程表示为  $\hat{y}={\widehat{\mathrm{\β}}}_{1}x+{\widehat{\mathrm{\β}}}_0,$ 其中 ${\widehat{\mathrm{\β}}}_0=\stackrel{\‾}{Y}-{\widehat{\mathrm{\β}}}_1\stackrel{\‾}{X}.$

Claims (1)

1.一种一元线性回归方法，其特征在于，步骤如下：

(1)设x和y为具有线性相关关系的两个变量，对这两个变量进行n次观测，x的观测值依次为x₁，x₂，......，x_n，y的观测值依次为y₁，y₂，......，y_n，x的观测值向量为X＝(x₁，x₂，......，x_n)′，y的观测值向量为Y＝(y₁，y₂，......，y_n)′；

(2)设矩阵(X，Y)的协方差矩阵为 $\mathrm{\Σ}=\left(\begin{array}{cc}{\mathrm{\σ}}_x^2& {\mathrm{\σ}}_{\mathrm{xy}}\\ {\mathrm{\σ}}_{\mathrm{yx}}& {\mathrm{\σ}}_y^2\end{array}\right),$ 其中 ${\mathrm{\σ}}_x^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{X})}^2,$ ${\mathrm{\σ}}_y^2=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{Y})}^2,{\mathrm{\σ}}_{\mathrm{xy}}={\mathrm{\σ}}_{\mathrm{yx}}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left[(x_i-\stackrel{\‾}{X})(y_i-\stackrel{\‾}{Y})\right],\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i,\stackrel{\‾}{Y}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i;$

(3)∑的第一特征值为对应于λ₁的一个特征向量为 ${\mathrm{\α}}_1=\left(\begin{array}{c}1\\ \frac{{\mathrm{\λ}}_1-{\mathrm{\σ}}_x^2}{{\mathrm{\σ}}_{\mathrm{xy}}}\end{array}\right),$ α₁的斜率为 ${\widehat{\mathrm{\β}}}_1=\frac{{\mathrm{\λ}}_1-{\mathrm{\σ}}_x^2}{{\mathrm{\σ}}_{\mathrm{xy}}}=\frac{-{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+\sqrt{{({\mathrm{\σ}}_x^2-{\mathrm{\σ}}_y^2)}^2+4{{\mathrm{\σ}}_{\mathrm{xy}}}^2}}{2{\mathrm{\σ}}_{\mathrm{xy}}};$

(4)设基于观测数据X和Y的变量x与y的一元线性回归方程对应的图形为直线l，设l通过点且斜率为将基于观测数据X和Y的变量x与y的一元线性回归方程表示为 $\hat{y}={\widehat{\mathrm{\β}}}_{1}x+{\widehat{\mathrm{\β}}}_0,$ 其中 ${\widehat{\mathrm{\β}}}_0=\stackrel{\‾}{Y}-{\widehat{\mathrm{\β}}}_1\stackrel{\‾}{X}.$