CN103218837B - 一种基于经验分布函数的不等组距直方图的绘制方法 - Google Patents

Abstract

本发明给出了一种基于经验分布函数的不等组距直方图的绘制方法；该方法针对等组距直方图不能充分反映样本的分布特征，以及可能出现与实际情况相悖等问题，利用经验分布函数是分布函数有效拟合的性质，提出了基于经验分布函数的不等组距直方图的绘制方法；该方法的具体步骤是：1.计算样本的顺序统计量；2.确定直方图的最大上界、最小下界及组数k；3.根据经验分布函数均分纵坐标为k组；4.求k组纵坐标对应的横坐标分界点，并确定k组横坐标组距；5.计算落入各组区间的样本频数及频率；6.绘制基于经验分布函数的不等组距直方图。通过图示法以及比较均方积分误差（MISE），均表明本发明的直方图有更精确的拟合效果。

Description

一种基于经验分布函数的不等组距直方图的绘制方法

技术领域

本发明涉及一种基于经验分布函数的不等组距直方图的绘制方法，它可以有效地进行参数分布选择和分布密度估计，适用于质量管理、医疗统计以及图像处理等相关技术领域。

背景技术

直方图是整理数据，发现其规律最常用的方法之一。通过直方图的形状可以初步判断一批数据（一个样本）的总体分布，并直观地显示数据的分布状态。因此，直方图是一种最为常见的密度估计和数据分析工具。

传统的直方图采用等组距方法制作，以组距为底边、以频数为高度，可以直观地显示出样本的分布状态，从而判断其总体分布情况。直方图组距的选取是决定直方图形态、体现其性能的关键。组距太小，每组的频数较小，由于随机性的影响，临近区间上的频数可能相差很大，显示不出分布的规律；组距太大，直方图所反映的分布形态就不灵敏。

传统的等组距直方图虽然也可以反映出数据的变化规律，但是没有考虑数据（样本）的密集程度，在样本点集中和稀疏的区域采用相同的分组组距。这样，在众数附近由于集中的样本信息较多，等组距直方图在此区域估计会过于平坦；而在尾部等数据相对较少的区域，则会导致出现“零密度”区间等与实际不相符的情况，特别在样本量较小或者分布变化较为急促或者重尾数据，等组距直方图误差较大，估计非常粗糙。

为此，本发明给出了一种基于经验分布函数的不等组距直方图的绘制方法。

发明内容

（1）本发明的目的：本发明针对等组距直方图不能根据数据的密集程度自动调整组距，导致可能出现区间密度为零等与实际不相符，不能充分反映分布特征的缺憾，提供一种基于经验分布函数的不等组距直方图的绘制方法，以进行更精确的总体分布估计，更好地显示样本数据的分布特征。

经验分布函数是依据样本以频率估计概率的方式得到的实际分布函数的一个逼近，可以准确地反映数据的变化规律。本发明利用样本的经验分布函数，绘制不等组距直方图，根据数据（样本）的密集程度，自动调整直方图组距的大小，与传统的等组距直方图相比，可以更准确的描述不同区域的样本特征，从而对数据进行更精确的描述，有效地展示数据的变化规律。

（2）技术方案：

本发明给出了一种基于经验分布的不等组距直方图的绘制方法。

制作直方图的目的主要是用样本估计总体分布，其关键在于确定直方图组距。组距在很大程度上会影响直方图的性质和总体分布特征。传统的直方图，首先根据样本量确定组数，再根据样本量均分横坐标轴。然而，这种确定组距的方法没有考虑样本数据的变化特征，没有针对性，不能充分显示样本数据的变化特征，特别是对于变化较为急促或者重拖尾数据，会出现“零密度”区间等与实际相悖的情况。

根据Glivenko–Cantelli定理，当样本量趋近于无穷大，即n→∞时，经验分布函数F_n(x)依概率1均匀地收敛于分布函数F(x)，即也就是经验分布函数是对分布函数的有效拟合。因此，本发明从经验分布函数F_n(x)的角度入手，通过落入纵坐标F_n(x)等距离区间中的样本频数及其对应的广义反函数确定组距和组高，从而通过落入不同区间的样本频数绘制不等组距直方图；这里，广义逆函数的计算公式为：表示满足条件F(t)≥x的下确界。由于经验分布函数值服从区间[0,1]上的均匀分布，采用经验分布函数绘制的直方图每组频数几乎相等，这样可以有效避免传统直方图出现“零密度”区间的异常情况。

基于上述理论和思路，本发明涉及一种基于经验分布函数的不等组距直方图的绘制方法，其具体实施步骤如下：

步骤一：采用统计抽样方法从总体中收集到n个样本数据x₁,x₂,...,x_n，将其按从小到大的顺序重新排列为x₍₁₎≤x₍₂₎≤...≤x_(n)，由此得到样本数据的顺序统计量x₍₁₎,x₍₂₎,...,x_(n)，其中x_(i),1≤i≤n为样本的第i个顺序统计量；

步骤二：确定直方图的最小下界L、最大上界U及组数k，具体确定方法如下：

最大上界 $U=x_{\left(n\right)}+\frac{x_{(n-1)}+x_{\left(n\right)}}{2},$ 最小下界 $L=x_{\left(1\right)}-\frac{x_{\left(1\right)}+x_{\left(2\right)}}{2},$ 确保满足L<x₍₁₎,U>x_(n)，即所有的样本数据均落在L和U之间；组数的确定使用Moore公式:C=1～3，其中参数n为样本量，C为常数，取值为1～3；

步骤三：计算样本数据的经验分布函数F_n(x)，F_n(x)的值域为[0,1]，将纵坐标区间[0,1]均分为k组，则纵坐标分组点为相应的各纵坐标分组为j=1,2,...,k；

其中，经验分布函数F_n(x)的定义为：

$F_n\left(x\right)=\left\{\begin{array}{cc}0,& x<x_{\left(1\right)}\\ \frac{i}{n},& x_{\left(i\right)}\&le;x<x_{(i+1)},i=\mathrm{1,2},...,n-1;\\ 1,& x\&GreaterEqual;x_{\left(n\right)}\end{array}\right.$

步骤四：利用步骤三中所述的经验分布函数F_n(x)的广义逆计算纵坐标分组点对应的广义逆函数值j=1,2,...,k-1，依此确定直方图横坐标分组边界点b_j以及组距Δx_j，j=1,2,...,k；

其中，F_n(x)的广义逆函数的计算公式为：表示满足条件F(t)≥x的下确界；依此确定的直方图横坐标分组边界点为：

$b_j=\left\{\begin{array}{cc}L,& j=0\\ {F_n}^{-1}\left(\frac{j}{k}\right),& j=\mathrm{1,2},...,k-1,\\ U,& j=k\end{array}\right.$

而组距为Δx_j=b_j-b_j-1,j=1,2,...,k；

步骤五：根据落入横坐标各组区间[b_j-1,b_j),j=1,2,...,k的样本数据统计各组的样本频数Δr_j、频率以及组高j=1,2,...,k；其中，b_j为步骤四中定义的直方图横坐标分组边界点；

步骤六：根据上述步骤中定义的组数k，以[b_j-1,b_j),j=1,2,...,k为分组横坐标，以Δh_j,j=1,2,...,k为纵坐标绘制基于经验分布函数的不等组距频率直方图。

其中，在步骤二中定义的直方图的最小下界L、最大上界U及组数k，满足Montgomery给出的绘制直方图的建议：（1）分组数一般可以近似等于样本量的平方根；（2）以比最小样本观测值稍小的值作为最小下界L，以比最大样本观测值稍大的值作为最大上界U；

其中，在步骤四中，由于直方图各分组边界点是基于经验分布函数确定的，因此，在分布函数斜率较大处，即样本数据较为集中的地方，组距较小，分组较为密集；在分布函数斜率较小处，即样本数据相对较少的地方，组距较大；由于落入每个分组上的样本数据个数大致相同，所以不会存在频数为零的分组区间，有效避免了“零密度”异常区间的出现。

（3）优点和功效：

本发明提供一种基于经验分布函数的不等组距直方图的绘制方法。为了更清楚的比较出本发明较传统的直方图绘制方法的优点和功效，可以通过计算均方积分误差（MISE）来比较二者对数据真实分布的拟合精度。MISE的计算公式为：

$\mathrm{MISE}=E\left[{\&Integral;({\hat{f}}_H\left(x\right)-f\left(x\right))}^2\mathrm{dx}\right]=E{({\hat{f}}_H\left(x\right)-f\left(x\right))}^2$

其中，为直方图密度估计，f为总体密度函数，E(θ)表示对θ求期望，∫θdθ表示对θ求积分。

基于上述不等组距直方图的绘制步骤，分别取C值为1,2,3时，依次针对正态分布、Weibull分布、伽玛分布、t分布、贝塔分布、指数分布和对数正态分布等常见分布，计算不同样本量下传统等组距直方图的MISE和本发明绘制的不等距直方图的MISE，进行拟合精度比较，如表1所示：

表1不同样本量下等组距与不等组距直方图MISE对比

注：表中“等组距”表示传统直方图的MISE，“不等组距”表示本发明提出的基于经验分布函数的不等组距直方图的MISE，“相对偏差”本发明提出的不等组距直方图的MISE与传统直方图的MISE的比值。

本发明所提供的基于经验分布函数的不等组距直方图的优点：

①从表1可以看出，在不同的样本量和分组数下，利用本发明方法绘制的直方图的MISE均明显小于传统等距直方图的MISE，即本发明利用经验分布函数提出的不等组距直方图，拟合效果优于传统的直方图，而且对于各种不同的分布，本发明提出的不等组距直方图的拟合效果均优于传统的直方图。

②本发明利用经验分布函数划分组距，由于经验分布函数值服从区间[0,1]上的均匀分布，使得每组样本量几乎一致，有效避免出现“密度为零”异常的区间，可以更有针对性地展示数据的变化规律。

附图说明

图1是伽玛分布基于经验分布函数的不等组距直方图

图2是伽玛分布传统等组距直方图

图3是本发明方法流程图。

具体实施方式

Ⅰ下面以形状参数1.5,尺度参数1的伽玛分布为例，结合附图，对本发明做进一步详细说明。实例数据见表2

表2形状参数1.5,尺度参数1的伽玛分布随机数（样本量n=200）

根据表2数据，见图3，利用本发明所提出的一种基于经验分布函数的不等组距直方图的绘制方法，具体绘制步骤如下：

步骤一：采用统计抽样方法从总体中收集到n个样本数据x₁,x₂,...,x_n，将其按从小到大的顺序重新排列为x₍₁₎≤x₍₂₎≤...≤x_(n)，由此得到样本数据的顺序统计量x₍₁₎,x₍₂₎,...,x_(n)，其中x_(i),1≤i≤n为样本的第i个顺序统计量；

在本实施例中，n=200，相应的顺序统计量依次为

0.002，0.041，0.056，0.069，0.094，0.144，0.172，0.174，0.188，0.192，0.195，0.199，0.200，0.209，0.223，0.233，0.247，0.266，0.269，0.273，0.280，0.291，0.311，0.327，0.340，0.348，0.358，0.367，0.371，0.371，0.396，0.399，0.400，0.410，0.435，0.452，0.459，0.461，0.470，0.473，0.486，0.506，0.523，0.530，0.548，0.567，0.573，0.580，0.585，0.586，0.597，0.601，0.602，0.609，0.625，0.633，0.659，0.662，0.667，0.681，0.688，0.690，0.709，0.716，0.723，0.744，0.775，0.777，0.808，0.812，0.826，0.831，0.844，0.855，0.858，0.865，0.882，0.892，0.895，0.913，0.925，0.932，0.950，0.967，0.975，0.989，1.011，1.012，1.014，1.032，1.038，1.069，1.085，1.120，1.122，1.138，1.146，1.171，1.212，1.218，1.228，1.241，1.245，1.256，1.301，1.324，1.342，1.383，1.402，1.403，1.405，1.412，1.419，1.421，1.428，1.444，1.492，1.493，1.497，1.524，1.535，1.538，1.546，1.547，1.600，1.693，1.710，1.711，1.739，1.751，1.762，1.771，1.777，1.778，1.795，1.796，1.826，1.849，1.850，1.890，1.970，1.975，2.014，2.023，2.031，2.046，2.062，2.074，2.075，2.084，2.091，2.146，2.158，2.183，2.234，2.251，2.253，2.257，2.260，2.260，2.293，2.298，2.316，2.353，2.384，2.423，2.458，2.478，2.509，2.519，2.520，2.538，2.556，2.599，2.608，2.691，2.693，2.858，2.892，2.904，2.926，2.984，3.153，3.295，3.301，3.359，3.590，3.750，3.764，3.804，3.842，3.887，4.092，4.130，4.264，4.502，4.557，4.690，5.344，7.657。

步骤二：确定直方图的最小下界L、最大上界U及组数k，具体确定方法如下：

最大上界 $U=x_{\left(n\right)}+\frac{x_{(n-1)}+x_{\left(n\right)}}{2},$ 最小下界 $L=x_{\left(1\right)}-\frac{x_{\left(1\right)}+x_{\left(2\right)}}{2},$ 确保满足L<x₍₁₎,U>x_(n)，即所有的样本数据均落在L和U之间；组数的确定使用Moore公式:其中参数n为样本量，C为常数，取值为1～3；

对于本实施例， $L=x_{\left(1\right)}-\frac{x_{\left(1\right)}+x_{\left(2\right)}}{2}=-0.017,$ $U=x_{\left(200\right)}+\frac{x_{\left(199\right)}+x_{\left(200\right)}}{2}=8.814;$ 取C=1，组数 $k=C\&times;n^{\frac{2}{5}}=1\&times;{200}^{\frac{2}{5}}=9.$

步骤三：计算样本数据的经验分布函数F_n(x)，F_n(x)的值域为[0,1]，将纵坐标区间[0,1]均分为k组，则纵坐标分组点为相应的纵坐标分组为j=1,2,...,k；

其中，经验分布函数F_n(x)的定义为：

$F_n\left(x\right)=\left\{\begin{array}{cc}0,& x<x_{\left(1\right)}\\ \frac{i}{n},& x_{\left(i\right)}\&le;x<x_{(i+1)},i=\mathrm{1,2},...,n-1;\\ 1,& x\&GreaterEqual;x_{\left(n\right)}\end{array}\right.$

在本实施例中，纵坐标的分组点依次为0，0.111，0.222，0.333，0.444，0.555，0.666，0.777，0.888和1；

步骤四：利用步骤三中所述的经验分布函数F_n(x)的广义逆计算纵坐标分组点对应的广义逆函数值j=1,2,...,k-1，依此确定直方图横坐标分组边界点b_j以及组距Δx_j，j=1,2,...,k。

其中，F_n(x)的广义逆函数的计算公式为：表示满足条件F(t)≥x的下确界；依此确定的直方图分组边界点为：

$b_j=\left\{\begin{array}{cc}L,& j=0\\ {F_n}^{-1}\left(\frac{j}{k}\right),& j=\mathrm{1,2},...,k-1,\\ U,& j=k\end{array}\right.$

而组距为Δx_j=b_j-b_j-1,j=1,2,...,k；

在本实施例中，直方图横坐标分组边界点依次为-0.017，0.291，0.530，0.744，1.012，1.405，1.777，2.234，2.693，8.814；而各组组距依次为0.308，0.239，0.213，0.267，0.392，0.372，0.456，0.459，6.120。

步骤五：根据落入横坐标各组区间[b_j-1,b_j),j=1,2,...,k的样本数据统计各组的样本频数Δr_j、频率以及组高j=1,2,...,k；其中，b_j为步骤四中定义的直方图横坐标分组边界点；

其中，b_j为步骤四中定义的直方图横坐标分组边界点；

在本实施例中，各组横坐标区间[b_j-1,b_j)依次为[-0.017，0.291)，[0.291，0.530)，[0.530，0.744)，[0.744，1.012)，[1.012，1.405)，[1.405，1.777)，[1.777，2.234)，[2.234，2.693)，[2.693，8.814)；各组样本频数依次为22，22，22，22，23，22，22，22，23；各组样本频率依次为0.11，0.11，0.11，0.11，0.115，0.11，0.11，0.11，0.115；各组组高依次为0.356，0.458，0,514，0.410，0.292，0.295，0.240，0.239，0.018。

步骤六：根据上述步骤中定义的组数k，以[b_j-1,b_j),j=1,2,...,k为分组横坐标，以Δh_j,j=1,2,...,k为纵坐标，绘制基于经验分布函数的不等组距频率直方图。

在本实施例中，采用本发明的绘制方法得到的不等组距直方图如图1所示：为了更清楚地考察所绘制直方图的拟合效果，方便比较，对于本实施例，绘制传统的等距直方图如图2所示：

比较图1与图2，可以发现，传统的等距直方图在样本量陡增和重拖尾的情况下分组组距不变，这就导致了直方图过于平坦，而无法反映数据变化的趋势；而在尾部，相同的组距导致出现样本频率为0的区间，这种情况导致直方图“失真”，不能正确地估计样本信息，甚至会产生误导。而在图1中，基于经验分布函数的不等组距直方图，在样本数据相对集中的地方，组距较小，分组较多；而在尾部区域，即样本数据较为稀疏的地方，则组距较大，分组较少；这样，根据样本数据的变化情况，自动调整组距，所绘制的直方图可以充分利用样本信息，精确地反映样本变化趋势及分布特征。

根据均方积分误差的定义，计算得到本发明绘制直方图的均方积分误差MISE_E为

${\mathrm{MISE}}_E=E\left[{\&Integral;({\hat{f}}_E\left(x\right)-f\left(x\right))}^2\right]=E{({\hat{f}}_E\left(x\right)-f\left(x\right))}^2=8.596988\&times;{10}^{-4}$

而传统的等距直方图的均方积分误差MISE_H为

${\mathrm{MISE}}_H=E\left[{\&Integral;({\hat{f}}_H\left(x\right)-f\left(x\right))}^2\right]=E{({\hat{f}}_H\left(x\right)-f\left(x\right))}^2=7.033221\&times;{10}^{-3}$

其中，为基于经验分布的不等组距直方图的密度估计，是传统的等组距直方图的密度估计，f(x)为总体密度函数。

可以明显看出MISE_E<MISE_H，即基于经验分布函数的不等组距直方图的理论误差显著小于传统的等组距直方图，说明基于经验分布函数的不等组距直方图的拟合精度更高。

Claims (3)

1.一种基于经验分布函数的不等组距直方图的绘制方法，其特征在于：该方法具体步骤如下：

步骤一：采用统计抽样方法从总体中收集到n个样本数据x₁,x₂,...,x_n，将其按从小到大的顺序重新排列为x₍₁₎≤x₍₂₎≤...≤x_(n)，由此得到样本数据的顺序统计量x₍₁₎,x₍₂₎,...,x_(n)，其中x_(i),1≤i≤n为样本的第i个顺序统计量；

步骤二：确定直方图的最小下界L、最大上界U及组数k，具体确定方法如下：

最大上界 $U=x_{\left(n\right)}+\frac{x_{(n-1)}+x_{\left(n\right)}}{2},$ 最小下界 $L=x_{\left(1\right)}-\frac{x_{\left(1\right)}+x_{\left(2\right)}}{2},$ 需要满足x₍₁₎+x₍₂₎≥0以及x_(n-1)+x_(n)≥0，以确保满足L＜x₍₁₎,U＞x_(n)，即所有的样本数据均落在L和U之间；组数的确定使用Moore公式:其中参数n为样本量，C为常数，取值为1～3；

步骤三：计算样本数据的经验分布函数F_n(x)，F_n(x)的值域为[0,1]，将纵坐标区间[0,1]均分为k组，则纵坐标分组点为相应的各纵坐标分组为

其中，经验分布函数F_n(x)的定义为：

$F_n\left(x\right)=\left\{\begin{array}{cc}0,& x<x_{\left(1\right)}\\ \frac{i}{n},& x_{\left(i\right)}\&le;x<x_{(i+1)}\\ 1,& x\&GreaterEqual;x_{\left(n\right)}\end{array}\right.,i=\mathrm{1,2},...,n-1;$

步骤四：利用步骤三中所述的经验分布函数F_n(x)的广义逆F_n ^-1(x)，计算纵坐标分组点对应的广义逆函数值依此确定直方图横坐标分组边界点b_j以及组距Δx_j，j＝1,2,...,k；

其中，F_n(x)的广义逆函数的计算公式为：F_n ^-1(x)＝inf{t|F_n(t)≥x}，表示满足条件F_n(t)≥x的下确界；依此确定的直方图横坐标分组边界点为：

$b_j=\left\{\begin{array}{cc}L,& j=0\\ {F_n}^{-1}\left(\frac{j}{k}\right),& j=\mathrm{1,2},...,k-1\\ U,& j=k\end{array}\right.,$

而组距为Δx_j＝b_j-b_j-1,j＝1,2,...,k；

步骤五：根据落入横坐标各组区间[b_j-1,b_j),j＝1,2,...,k的样本数据统计各组的样本频数Δr_j、频率 $\mathrm{\&Delta;}{\mathrm{\&omega;}}_j=\frac{\mathrm{\&Delta;}{r}_j}{n}$ 以及组高 $\mathrm{\&Delta;}{h}_j=\frac{\mathrm{\&Delta;}{\mathrm{\&omega;}}_j}{\mathrm{\&Delta;}{x}_j},j=\mathrm{1,2},...,k;$ 其中，b_j为步骤四中定义的直方图横坐标分组边界点；

步骤六：根据上述步骤中定义的组数k，以[b_j-1,b_j),j＝1,2,...,k为横坐标各组区间，以Δh_j,j＝1,2,...,k为纵坐标绘制基于经验分布函数的不等组距频率直方图。

2.根据权利要求1所述的一种基于经验分布函数的不等组距直方图的绘制方法，其特征在于：在步骤二中定义的直方图的最小下界L、最大上界U及组数k，满足Montgomery给出的绘制直方图的建议：(1)分组数一般近似等于样本量的平方根；(2)以比最小样本观测值稍小的值作为最小下界L，以比最大样本观测值稍大的值作为最大上界U。

3.根据权利要求1所述的一种基于经验分布函数的不等组距直方图的绘制方法，其特征在于：在步骤四中，由于直方图各分组边界点是基于经验分布函数确定的，因此，在分布函数斜率较大处，即样本数据较为集中的地方，组距较小，分组较为密集；在分布函数斜率较小处，即样本数据相对较少的地方，组距较大；由于落入每个分组上的样本数据个数基本相同，所以不会存在频数为零的分组区间，有效避免了“零密度”异常区间的出现。