CN105389589A - 一种基于随机森林回归的胸腔x光片肋骨检测方法 - Google Patents

Abstract

一种基于随机森林回归的胸腔X光片肋骨检测方法，包括：基于随机采样的图像块生成及其HOG特征描述阶段，提取胸腔X光图像的图像特征块，并提取图像块HOG特征描述子，获取图像的全局和局部信息；基于特征块与目标点距离分布的随机森林回归器生成阶段，使用用户自主点取的标识点对目标肋骨进行标记，并基于特征块与目标点的距离分布，选定相关参数，训练随机森林回归器；基于随机森林回归的X光片目标检测阶段，使用前一步得到的随机森林回归模型，对多张胸腔X光片测试图像中的肋骨标识点位置进行预测，并据此框选出目标肋骨的位置。本发明可作为基本的医疗影像预处理手段，为后续的计算机辅助诊断、手术模拟训练、手术方案论证和手术预演等应用系统的研发提供必要的技术支持。

Description

一种基于随机森林回归的胸腔X光片肋骨检测方法

技术领域

本发明涉及一种基于随机森林回归的胸腔X光片肋骨检测方法，医学影像技术领域。

背景技术

在日常的学习和统计中，图像是人类观察和获取信息的重要来源之一。在医学领域，随着X光、伽马摄影、MRI、超声波、光学内视镜摄影等成像技术的快速发展，人们可以使用非侵入方式获取人体内部组织的医学图像，用于医疗诊断或医学研究，同时为临床治疗提供可靠的依据。在各类医学图像中，由于X光图像具有拍摄方便、获取延时短、价格低廉、可随意变动受检部位等优点，得到了更加广泛的应用。

医学图像具有很高的专业性，医生需要借助大量的学科知识和实践经验对其进行解读，但这种方式往往受限于医生本身的科学素质和精神状态。随着计算机科学的快速发展，人们开始将计算机图像处理技术应用于临床医学，希望能以客观的角度，在一定程度上提高医生判读医学图像的效率及准确率，其中包括对医学图像进行标记检测、形状分割、轮廓绘制、图像检索与配准等等。而医学图像的关键信息多贮存于一些重要的特殊位置(例如病变位置，或待观察骨骼/器官位置等)，因此，大部分临床应用需要对医学图像中的关键目标位置进行检测。但对X光等医学图像进行实时而准确的自动目标检测是十分困难的，在一些医疗案例中，临床医生需要手动进行标记定位，这样既会浪费时间，也会增大定位误差，因此，需要探索一种全自动的图像目标检测方法并将其应用到X光图像的处理中。

近年来，图像目标检测问题受到了广泛关注，其主要目的是从图像中标记出待检测目标的位置，进而可辅助进行图像分割、图像分类和场景识别、医学图像器官位置及病灶检测和计算机辅助诊断、医学导航、智能监控等工作。要进行图像目标检测，首先要提取图像信息，而许多传统的图像特征表示方法(如SIFT、SURF、HOG、颜色直方图等图像特征描述子)仅统计了图像的梯度或颜色等像素信息，这使得他们更适用于图像局部特征的描述和匹配，难以直接用于医学图像中专业信息和大尺度信息的描述。因此，需要对传统的特征表示方法进行改进，使其能够更有效地提取和表示医学图像的局部及全局信息。

一些传统的目标检测方法，如词袋模型(bag-of-wordmodel)、基于图像部分的模型(part-basedmodel)、基于低层图像特征的模型等方法难以保证图像目标定位的准确性和鲁棒性，对图像尺度变换和图像噪声的容忍度太低，因此难以较好的满足目标检测需求。因此，人们引入了大量基于机器学习的回归方法，对图像目标进行定位。但由于传统的机器学习方法，如回归决策树、支持向量机(SVM)等，时常存在过拟合或欠拟合问题，需要精确地对相关训练参数进行调整，否则将影响目标检测的准确率。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供一种基于随机森林回归的胸腔X光片肋骨检测方法出，使用数十张带有目标位置信息(如肋骨位置标识)的胸腔X光片作为训练图像，提取图像信息，训练一个随机森林回归器，并使用它对新的胸腔X光片中的目标点位置(如肋骨标识点位置)及目标位置(如某根肋骨的位置)进行检测。

本发明采用的技术方案为：一种基于随机森林回归的胸腔X光片肋骨检测方法，包括以下步骤：

步骤(1)、基于随机采样的图像块生成及其HOG(HistogramsofOrientedGradients，梯度方向直方图)特征描述：从每张训练图像或测试图像中提取不同尺度和纵横比的图像块，即进行随机采样，构成稠密采样空间，并对每个图像块进行再划分，提取更小的不同尺度与纵横比的小图像块，以每个小图像块为HOG统计的基本单位，采用一定的排列方法将提取结果组合起来，最终获得每张图像块的特征向量和整张图像的特征描述矩阵；其中，训练图像表示用于胸腔X光片肋骨检测器训练的、带有用户手动标注的肋骨位置信息的胸腔肋骨X光片；测试图像表示不含肋骨位置信息标注的胸前肋骨X光片；

步骤(2)、基于特征块与目标点距离分布的随机森林回归器生成：在程序运行过程中，采用可交互方法，让用户从训练图像上选取指定个数的目标点，并以这些目标点到稠密采样空间中图像块的中心位置的位移作为机器学习的输出空间实例，并使用随机森林架构进行回归训练，得到随机森林回归模型；

步骤(3)、基于随机森林回归的X光片目标检测：使用步骤(1)中提出的方法，以多张胸腔X光图像作为测试的图像，提取测试的图像的特征描述矩阵，代入步骤(2)生成的随机森林回归模型中，获得每个图像块对目标点位置的预测结果，对预测结果进行加权整合，获得测试图像对目标点位置的预测信息，并根据对多个目标点位置的预测，框选出目标肋骨的位置；

步骤(4)、多次进行步骤(2)中的以随机森林为架构的回归训练，每一次选定不同的随机森林参数，执行步骤(3)中的目标检测，比较不同参数下回归模型对目标肋骨位置预测的准确性和时间效率，选取最优的随机森林参数配置。

步骤(1)中所述的基于随机采样的图像块生成及其HOG特征描述方法中，对图像进行划分是首先对图像采用网格划分，并根据网格划分的结果提取图像块，再对图像块进行网格划分，提取小图像块，通过对小图像块的HOG特征的提取和整合的方法，能够得到描述整张胸腔X光图像的特征描述矩阵，特征描述矩阵描述了图像的全局信息，以及该图像中每个图像块的特征描述矩阵,特征描述矩阵描述了图像的局部信息.

步骤(2)中使用与用户交互的方式，获得指定个数的目标点的位置坐标，据此获得了用户的先验知识信息，使用随机森林架构进行回归训练，包括对随机森林中的每一棵回归树进行训练，包括以能量模型为基准，进行弱分类器模型和叶子节点预测模型的训练，此外，还要通过随机模型控制随机森林的随机性能，据此得到能够进行胸腔X光片中目标点位置预测的随机森林回归器。

步骤(3)中获得每个图像块对目标点位置的预测结果时，采用整幅图像中的单个图像块对目标点位置进行预测的方法，并使用多图像块投票机制，整合了所有图像块的预测结果。

步骤(2)中指定个数的目标点是：使用用户自主点取的5个标识点对目标肋骨进行标记。

本发明与现有技术相比的有点在于：

(1)本发明提出的基于随机采样的图像块生成及其HOG特征描述方法，在获取图像全局结构信息的同时，兼顾局部信息的获取，使得图像的特征表示更加准确。

(2)本发明提出的基于特征块与目标点距离分布的随机森林回归器生成，建立了拥有较高性能的随机森林回归模型，同时，根据用户提供的先验知识的不同，可以生成预测不同位置的随机森林回归模型。

(3)本发明提出的基于随机森林回归的X光片目标检测方法，提出了多特征块预测结果投票整合的方案，得到了具有较高准确度的目标位置预测结果，并根据胸腔X光图像中肋骨的特征，提出了框选目标肋骨的方案。

(4)本发明以随机森林回归方法为基础框架，采用基于随机采样的图像块生成极其HOG特征提取算法对图像进行描述，结合回归思想、随机思想与投票算法，对图像中的目标位置进行估计和预测，并尽可能的提高目标检测的准确率和效率。本发明的研究与实现，随机森林回归方法在与计算机辅助诊断密切相关的医学图像自动标识、分割与分类、病灶检测、几何重构与基于内容的增强绘制等方面具有广泛的应用前景，能够有效提高人们观察和理解医学图像的效率和准确率，它的训练及测试过程具有可并行性，能够有效地提高图像目标检测的实时性，因此，非常适用于X光片等医学图像的目标检测，具有重要的现实意义。

附图说明

图1为基于随机森林回归的胸腔X光片肋骨检测方法流程示意图；

图2为基于随机采样的图像块生成及其HOG特征描述流程图；

图3为图像块(patch)的选取结果示意图；

图4为block分割及HOG描述子提取结果示意图；其中，a)灰色方框标识出的区域表示编号为140的图像块(patch)的示例；b)表示放大后的编号为140的图像块(patch)；c)表示对编号为140的图像块(patch)进行6*6网格划分(又称6*6栅格化)后的结果；d)表示从c)的栅格化结果中选取小图像块(block)的部分结果，其中，不同的颜色代表不同的小图像块；e)代表小图像块(block)的HOG特征描述子提取结果，其中，不同的灰度值代表不同小图像块的HOG特征描述子，且每种灰度与d)中的小图像块颜色一一对应；f)代表将每个图像块(patch)中的小图像块(block)的HOG特征描述子并联后得到的结果，即为图像块(patch)的HOG特征描述子。

图5为基于特征块与目标点距离分布的随机森林回归器生成算法流程示意图；

图6为目标点及其位置信息采集流程与结果示意图；其中，a)为用户自主点取5个目标点位置的程序运行截图；b)给出了用户对5个目标点的自主点取结果；c)展示了部分图像块(patch)的中心位置计算结果；d)是对图像块(patch)中心到目标点位置的位移向量计算结果示意图；e)是所有图像块(patch)中心到目标点位置的位移向量的可视化表示结果；图7为随机森林模型训练结果示意图；其中(a)表示随机森林结构；(b)表示随机森林中的树结构和节点结构；

图8为基于随机森林回归的X光片目标检测方法流程示意图；

图9为对测试图像单个和多个目标点的预测结果图；其中，第一行的两张图片代表对单个目标点的位置预测结果，其中，浅灰色的点是图像中所有图像块对目标位置的预测结果；每张图中都有两个几乎完全重合的深灰色点，分别代表所有图像块对目标位置的预测结果的加权组合，即整张图像对目标点位置的最终预测结果，和目标点位置的标准答案，即用户手动点取的目标点位置。第二行的两张图像显示了对5个目标点的预测结果，不同灰度值的点分别表示对不同目标点的位置预测结果；

图10为肋骨检测结果图。其中四张图分别表示对不同的胸腔X光片的目标点位置预测结果(由5种不同灰度值的点表示对不同的目标点的位置预测结果)，以及对目标肋骨的框选结果(由浅蓝色的多边形框给出)；

具体实施方式

图1给出了基于随机森林回归的胸腔X光片肋骨检测方法的总体处理流程，下面结合其他附图及具体实施方式进一步说明本发明。

本发明提供一种基于随机森林回归的胸腔X光片肋骨检测方法，使用数十张带有目标位置信息(如肋骨位置标识)的胸腔X光片作为训练图像，提取图像信息，训练一个随机森林回归器，并使用它对新的胸腔X光片中的目标点位置(如肋骨标识点位置)及目标位置(如某根肋骨的位置)进行检测。

具体步骤实现如下：

1、基于随机采样的图像块生成及其HOG特征描述

该方法的流程图如图2所示，首先，读取一张用于训练或测试的胸腔X光图像，并对图像进行网格划分，利用网格划分结果，选取图像块(patch)，构建稠密采样空间；然后，对图像块(patch)进行网格划分，利用网格，选取小图像块(block)；使用传统方法提取图像块(patch)中每个小图像块(block)的HOG特征描述子，并将其串联起来，构成图像块(patch)的特征描述向量；最后将图像块(patch)的特征描述向量并联，构成图片的特征描述子矩阵，进一步构成稠密特征空间。

在上述中，需要明确图像和图像块(patch)的网格划分数目，以及HOG特征的直方图维度数，据此可以确定每张图像提取的HOG特征描述子矩阵的大小。由于不同的网格数目设定会影响到图像块(patch)和小图像块(block)的数量、选取的尺度和纵横比，进而对特征描述子矩阵的维度、特征提取时间、描述准确度产生影响，综合考虑，初始化图像的网格划分数为8×8，图像块(patch)的网格划分数为6×6；提取每个小图像块(block)的HOG特征描述子时，设置均分的9个梯度方向区间，对图像块(block)内的梯度方向进行统计，即对每个小图像块(block)来说，使用传统的HOG特征提取方法，提取9维HOG描述子向量。

首先，对读取的胸腔X光图像进行8×8的网格划分，显然，划分后的图像上共有9×9个网格顶点，从这些网格顶点中任取不共线的两个点(不在同一条横线也不在同一条竖线上)，即可作为一个图像块(patch)的一对对角顶点，通过这种方法，可以选定一个图像块(patch)。

根据上述对图像块(patch)选取方法的描述，可以计算出，每张图像可以取得的图像块(patch)总数为：个。以这1296个图像块(patch)为一组，作为一张胸腔X光图像的代表。

对这1296个图像块中的每一个图像块(patch)，并对其进行6×6网格划分。按照与图像块(patch)选取相似的方法，选择不共线的两个网格顶点，定位一个小图像块(block)，作为提取HOG描述子的基本单元。可以计算出，从每一个图像块(patch)中，可以提取 $\frac{7^2\×\[7^2-1-2\×(7-1)\]}{4}=441$ 个小图像块(block)。

对每个小图像块(block)的全部像素进行梯度方向的直方图统计(histogramtheorientationofgradient)，按照传统方法，得到这个小图像块(block)的9维HOG特征描述子，然后将从当前图像块(patch)中提取的所有小图像块(block)的9维HOG特征描述子直接串联起来，形成一个441×9＝3969维的特征描述向量，作为当前图像块(patch)的HOG特征描述子。

使用传统方法提取小图像块(block)的9维HOG特征描述子算法的流程如下：

a)计算图像每个像素灰度的梯度方向和幅值，分别记做angle和magnit(angle和magnit均是与图像大小相同的二维标量矩阵)；

b)对图像块(patch)进行6×6网格划分后，统计每个网格内，落入9个梯度方向区间的像素数目，即分别计算每个网格的未归一化的9维HOG特征描述子；

c)接下来计算组成图像块(patch)的所有小图像块(block)的9维HOG特征。将组成小图像块(block)的各个网格的未归一化的9维HOG特征描述子相加(直接进行向量相加即可，每个元素对应相加)，形成各个小图像块(block)的未归一化的9维HOG特征描述子；

d)将上一步得到的小图像块(block)特征描述子归一化，即可得到该小图像块(block)的HOG特征描述子。

2、基于特征块与目标点距离分布的随机森林回归器生成

本部分主要分为两大步骤，一是目标点的选取和图像特征块(patch)与目标点距离分布的描述，二是根据图像块(patch)的特征描述矩阵和图像特征块(patch)与目标点距离分布的位移矩阵，进行随机森林回归器的训练。流程示意图如图5所示

(1)、特征块与目标点距离分布的计算

给定任意一张训练图像，为了简单而不失准确性的描述一根肋骨的位置，使用沿肋骨均匀分布的5个标识点(也称目标点)对该肋骨的位置进行描述，如图3所示。然后程序根据用户的选择，提取目标点到特征块中心的位移描述信息。算法的详细流程如算法3-1所示。

●算法3-1目标点位置信息的生成与描述：

a)用户自主选取5个目标点，系统记录目标点位置；

b)系统计算所有图像块(patch)的中心位置；

c)针对图中的每个目标点，进行如下计算：

i.计算目标点到图像的每个图像块(patch)中心的横坐标位移，组成横坐标位移向量。

ii.计算目标点到图像的每个图像块(patch)中心的纵坐标位移，组成纵坐标位移向量。

整合每个目标点到图像块中心的位移向量，获得整张图片中全部目标点相对于图像块的位移分布的描述矩阵。

(2)、随机森林回归器的设计与实现

以步骤1得到的训练图像特征块集合和图像块特征向量构成的集合，分别作为学习训练的输入空间和特征空间，以步骤2(1)得到的目标点到训练图像稠密采样空间中图像块中心的位移向量为学习训练的输出空间实例，进一步进行随机森林回归器的训练。

在步骤2(1)中，共获得了5个目标点的位置信息，这样，在输出空间中，能够得到10个输出向量实例。其中，第2j个输出向量中的第i个元素，代表稠密采样空间中第i个图像块到第j个目标点的纵坐标位移,第2j-1个输出向量中的第i个元素，代表稠密采样空间中第i个图像块到第j个目标点的横坐标位移。针对每一列输出向量，训练一个随机森林回归器，用于预测相应目标点到图像块中心的横/纵坐标位移。

训练每一个随机森林回归器的算法描述如算法3-2所示。

●算法3-2训练随机森林回归器：

(1)设定随机森林参数；(相关的随机森林参数在表1中给出)；

(2)随机选择一定数目的(该数目由表1中给出的ranFeaNum决定)、用于单个回归树训练的图像块(patch)特征描述矩阵，及与之相应的目标点到图像块中心的位移；

(3)进行单个回归树的训练：

a)当节点集合中还有未进行过模型(弱分类器或叶子节点预测器)训练的节点时，取该节点，进行终止条件判断，如果满足终止条件，转入c)，否则，转入b)；当节点集合中所有的节点都已进行过模型训练，则当前回归树已经训练完成，转入0；

b)根据弱分类器编号参数，训练该节点上的二分弱分类器，将节点标识为中间节点，并获得其左右子节点，将它们加入节点集合中，转入a)；

c)将该节点标识为叶子节点，进行叶子节点预测器的训练，转入a)；

若当前回归树的编号小于随机森林中的回归树总数的设定，则转入(2)，否则，随机森林回归器训练完成，结束算法。

随机森林的参数设置对于其训练效率、回归性能等都有很大的影响。

对随机森林的训练包括对随机森林中的随机模型(RandomnessModel)、回归树中间节点上的弱分类器模型(WeakLearnerModel)、分类终止条件模型(EndConditionModel)、回归树的叶子节点预测模型(LeafPredictionModel)和作为中间节点上数据的二分割标准的能量模型(EnergyModel)的训练。因此，实验需要针对这些模型，设置相应的参数(详见表1)，对随机森林的训练过程进行控制。

除了上述模型相关的参数之外，还需要设置参数对随机森林的基本属性(例如随机森林的大小)进行控制。

本次实验设定结构体forestModel来记录随机森林的相关参数，该结构体的元素及其含义和缺省值或初始值设置如表1所示。

表1forestModel结构体元素设定表(随机森林参数设定表)

由于步骤1中得到的图像特征块集合巨大，当训练图像集中有n张图像时，将有1296n张图像块，每一张图像块提取3969维的特征向量后，获得的稠密特征空间将是巨大的。如果直接使用全部的特征空间进行随机森林回归训练，会导致训练的工作量过大，训练时间效率大打折扣。不仅如此，对于随机森林中的每个回归树来说，使用全部的数据进行训练是没有意义的。如果每个回归树都使用全部的训练数据进行模型训练，那么即便在训练中间节点和叶子节点的过程中使用随机数据选择算法进行训练的随机性控制，也不能有效保证随机森林中每棵树之间的差异性，随着树与树之间关联性的增大，多个回归树进行投票预测的作用减小，随机森林的随机性能和泛化能力被削弱，因此，使用全部的数据进行每个回归树的训练是不可取的，在训练过程中，要对每个回归树使用的训练数据进行选择。

数据选择也是要有一定的限度的，如果单纯为了保证随机森林中回归树之间的低关联性，从特征空间中选择过少的数据进行训练，会导致稠密特征空间中的数据不能得到充分的使用，而训练数据的减少和不充分使用会降低训练后的回归模型的预测准确度，因此，要综合考虑随机森林的大小(回归树的个数)和稠密采样空间的大小，决定为每个回归树选择的训练数据的多少。

为每个回归树选择训练数据时，根据随机森林参数结构体forestModel的ranFeaNum元素指定的百分比数目，从全部稠密特征空间中，随机选择用于单个回归树训练的图像块(patch)特征描述向量，并根据特征选择结果，找到与特征相对应的目标点位移矩阵元素，作为回归树的输出空间实例，进行回归树训练。

本次实验初始设置的随机森林中回归树的数目为10，训练图像为28张大小在512*512左右像素的胸腔X光图片，因此，稠密采样空间中共有1296×28＝36288张图像块，综合考虑随机森林和稠密特征空间的大小，以及对随机森林中回归树的关联性与随机性的要求，设定ranFeaNum的初始值为0.3，即对于每棵回归树，从稠密特征空间中随机选择30％的数据，作为该回归树训练的特征空间。

选定用于训练每个回归树的训练的特征空间和输出空间实例后，即可开始对回归树的训练工作。在实验中，使用树形数据结构，来存储每个回归树的信息。对于树结构中的每个节点，设计treeNode类进行存储和处理，该类包含的属性及方法如表2所示。

表2treeNode类属性及方法说明

根据算法3-2的流程，设计了回归树的存储模型后，还需要根据随机森林的参数设定，进行各种模型的训练。下面将进行进一步的详细说明。

<1>能量模型

在训练时，使用能量模型作为中间节点上的分割函数的参数选择和计算的标准，同时能量模型还用于节点分割终止条件的判断。分割函数是弱分类模型的核心，因此，能量模型通过影响弱分类器模型，决定了回归决策树的预测行为能力。

由于决策树在中间节点上进行数据分割的目的是将相近的数据划分到同一个子节点中，因此，需要能量模型能够判断分割后的节点上数据的相近程度，即数据的纯净度(purity)。通常，使用H(·)来表示节点上训练数据的纯净度，纯净度越高，H(·)越小。使用分割后的信息量增益(InformationGain)来刻画分割导致的能量改变，能量改变越大，代表分割后数据的纯净度越高。根据信息学原理，定义信息量增益为通过分割训练数据到多个子集合中引起的数据不确定性(uncertainty)的减少，其公式表示形式如公式(1)所示。

$I=H\left(S\right)-\underset{i=1,2...n}{\&Sigma;}\frac{\left|S^i\right|}{\left|S\right|}H\left(S^i\right)---\left(1\right)$

其中，S代表原数据集合，Sⁱ表示第i个子集合，H(·)的含义同上。

根据本次实验的具体要求，在中间节点上进行二元分割，因此，公式(1)可以被细化为公式(2)的形式。

$I=H\left(S\right)-\frac{\left|R\right|}{\left|S\right|}H\left(R\right)-\frac{\left|L\right|}{\left|S\right|}H\left(L\right)---\left(2\right)$

其中，R代表右子节点上的数据集合，L代表左子节点上的数据集合，S和H(·)的含义同上。

使用结构体forestModel中的energyModelID参数对能量模型的类型进行控制。不同类型的能量模型，计算节点上训练数据纯净度H(·)的方法不同。energyModelID共有两种可能的取值，取1表示使用回归误差模型，取2表示使用最大熵模型。如果在程序运行前没有特殊设定，energyModelID取缺省值1。

●回归误差模型

回归误差模型，使用一种标准的方差下降(reduction-in-variance)方法，通过计算每个集合的数据差异大小，反映该节点上的数据的纯净度和信息量大小。通过最小化分割结果的数据差异，实现最佳分割。

在这一模型中，节点上训练数据的纯净度H(·)用节点上输出空间中的实例数据(即该节点上的图像块到某个特定目标点的纵向或横向位移的值)的方差表示。

●最大熵增益模型

最大熵增益模型是数据分类中经常使用的能量模型，在该模型中，使用香农信息熵来表示训练数据的纯净度，对于分类数据，使用公式(3)来计算，其中，S代表训练集合，c代表类别标签，p(c)表示训练数据的标签为c的概率或频率大小。

$H\left(S\right)=-\underset{c\&Element;C}{\&Sigma;}p\left(c\right)log\left(p\right(c\left)\right)---\left(3\right)$

对于回归数据，信息熵公式变为如公式(4)所示的积分形式，其中，x表示训练集合S中的元素，y表示回归结果，p(y|x)表示条件概率：

$H\left(S\right)=-\frac{1}{\left|S\right|}\underset{x\&Element;S}{\&Sigma;}{\&Integral;}_{y}p\left(y\right|x)\log p\left(y\right|x)dy---\left(4\right)$

考虑到实际训练时，每个节点上的训练数据是有限的，因此，该积分可以通过对节点上全部训练数据的p(y|x)logp(y|x)值的求和计算。而其中的条件概率p(y|x)，要通过对每一个输入数据的回归结果值进行高斯函数拟合求得，即假设公式(5)成立。

$p\left(y\right|x)=N(y;\stackrel{\&OverBar;}{y}(x),{\mathrm{\&sigma;}}_y^2(x\left)\right)---\left(5\right)$

其中，x表示训练集合S中的元素，y表示回归结果，p(y|x)表示条件概率，表示在y在x下的平均值，表示y在x下的方差，表示正态分布函数。

详细来说，如果假设函数是线性的，那么对于所有的输入特征x，可以使用一条直线来拟合全部的数据点。对于一个给定的输入特征x₀，对满足x＝x₀的训练数据进行的高斯拟合，进一步计算y＝y₀的概率p(y₀|x)。

使用香农信息熵比使用输出空间中数据的方差代表当前节点中数据信息量的理论基础更强，因此，使用最大熵增益模型会得到更优的分割函数，进而获得预测准确率更高的随机森林回归模型。但这样的方法需要对每一个要求计算的输入特征x₀进行高斯拟合，因此，使用最大熵增益模型的时间代价比较大，效率不如回归误差模型高。在准确度可接受的情况下，选择使用回归误差模型作为随机森林回归训练的默认能量模型。

<2>分类终止条件模型

在算法3-2中，训练回归树的每个节点时，要进行节点上数据二分类的终止条件判断，如果满足分割的终止条件，则证明当前节点不应继续进行分割，应视为回归树的叶子节点。

根据随机森林回归架构的要求，本次实验使用了三个节点数据二分类的终止条件，列举如下：

(1)如果当前节点的深度达到最大树深度，则停止节点分割；

(2)如果当前节点上的数据个数小于规定的节点数据最小值，则停止分割；

(3)如果以上两条都不满足，则进行节点试分割。如果分割节点后，能量模型的信息量增益值小于最低信息量增益要求，则停止分割。

终止条件中提到的最大树深度、节点数据最小值和最低信息量增益要求，分别由随机森林参数结构体forestModel中的元素maxDepth、maxLeafPoint和minEntropy指定。

<3>弱分类器模型

弱分类器模型是建立在回归树中间节点上模型，用于中间节点上的数据分割，它在随机森林的回归测试和训练中扮演着极为关键的角色。考虑到训练随机森林回归模型的目的是根据输入的测试图像进行目标点位置的预测，在进行回归测试时，测试数据沿着树的各层节点，最终进入一个叶子节点，进而进行输出预测，而中间节点上的分割函数控制输入数据如何沿着树节点下降游动，因此，弱分类器模型的选择和训练，对于模型预测的准确性和泛化能力有很重要的影响。在随机森林中，回归树中间节点的数量很多，弱分类器模型的训练效率，将直接影响到随机森林的训练效率。因此，选择高效和分类能力强的弱分类器模型是十分重要的。

弱分类器模型的核心是分割函数，分割函数的作用是将进入当前节点上的数据(训练数据或测试数据，训练数据包括输入空间内数据的特征向量和相应的输出空间中的回归值，测试数据仅包括输入空间内数据的特征向量)分为两类，分别送入该节点的左子节点和右子节点。分割函数用表示，其中，表示输入空间中的一个数据点(datapoint)的特征向量，x_i代表该数据点一个特征项，d代表该特征向量的维度；θ_j代表分割函数的参数。通常情况下，满足h(v,θ_j)＝0的数据进入当前节点的左子节点，满足h(v,θ_j)＝1的数据进入右子节点。分割函数的参数训练以能量模型为基准，选择能够最大化能量模型的参数作为最优参数。

分割函数，结合数据点的特征的选择函数，就构成了随机森林中的某节点上的弱分类器模型，用θ＝(φ,ψ,τ)表示，其中，φ＝φ(v)表示特征选择函数，ψ定义了用于分割数据的几何图元，τ代表二元分割不等式中的分割阈值。

之所以需要特征选择函数φ＝φ(v)，是因为送入节点的数据点可能拥有较多的特征项，即拥有高维的特征向量，而将所有的特征项都带入分割函数进行计算，给分割函数参数的训练和数据的测试造成了巨大的压力，严重影响了分割函数参数训练的效率，是不实用的。因此，需要特征选择函数，从特征空间中选取一些固定的特征项，用于分割函数的参数训练。由于无法估计哪一维度的特征项对数据的代表性更强，本次实验采用随机化的方法，根据分割函数的类型，从特征空间中选择相应个数的特征项。使用这种随机化的方法，使得在训练每一个节点时，选择节点内数据特征向量中每个特征项的概率大小相同，在节点数量较多的情况下，有更大的可能覆盖到所有的特征项，这样，可以保证不浪费、也不偏重任何输入的数据信息，有利于在模型建立后，取得更好的预测准确性和泛化能力。采用随机化的方法，也符合随机森林的随机理念。

在实际的实验过程中，使用随机森林参数结构体forestModel的dimOfLearner元素来控制弱分类器训练时，从输入数据特征向量中选择的特征项的个数。这些特征项是随机从特征向量中选定的，为了保证获得较优的弱分类器，采取多次选定取最优的方法。特征项的随机选定次数由随机森林参数结构体forestModel中的ranDimTime元素来控制。对于每一组选定的特征项，根据分割函数的类型，多次随机选择分割参数，从中选取能够最大化能量模型的一组参数，分割参数随机选定的次数由随机森林参数结构体forestModel中的ranSplitNum元素来控制。随机选择分割参数，而不是一味的寻找能够使能量模型实现全局最大化的那一组分割参数，可以有效地避免过拟合现象，也符合随机森林的随机化需求。综上所述，共需要进行ranDimTime*ranSplitNum次的分割试验，并从中选择能量增益最大的那一组特征项选择方法和分割参数，作为弱分类器模型的组成部分。

几何图元ψ可以表示分割函数的类型和几何形状，进一步确定了弱分类器的分类形式。例如，当几何图元ψ为直线时，分割函数是线性的，用h(v,θ)＝[τ₁>φ(v)·ψ>τ₂]来表示对数据的线性分割，其中[·]代表指示函数(如果不等式成立则返回1，否则返回0)，τ_i代表分割阈值。

本次实验共设计了如下四种不同的弱分类器模型，最终使用的分类器类型由随机森林参数结构体forestModel中的learnerID指定。

(1)与坐标轴平行的弱分类器

该分类器的几何图元ψ是一条与坐标轴平行的直线。在训练节点分割函数参数时，随机选定特征描述向量中某个维度的特征项随机选定阈值τ数次，代入公式(6)指定的分割函数进行二元分类，根据上述的描述，选择并记录能够最大化能量模型的特征维度d₀和分割阈值τ，完成对该弱分类器模型的训练。

在测试数据到达该节点时，直接根据公式(3.6)，进行分割检测，确定数据进入的子节点。

$h(v,\mathrm{\&theta;})=\left\{\begin{array}{cc}0,& x_{d_0}<\mathrm{\&tau;}\\ 1,& x_{d_0}\&GreaterEqual;\mathrm{\&tau;}\end{array}\right.---\left(6\right)$

根据公式(6)，与坐标轴平行的弱分类器的基本参数设置为：θ＝1，forestModel.dimOfLearner＝1。其中，θ和φ的含义与前述相同。

(2)二元线性分类器

该分类器的几何图元ψ是一条直线，该直线不一定与坐标轴平行，这就决定了分割函数是一个二元一次函数。在节点分割函数参数训练时，随机选定特征描述向量某两个维度的特征项和选定阈值τ＝0。使用二元一次函数，根据公式(7)进行二元分类，选择并记录能够最大化能量模型的特征维度和分割参数。

在测试数据到达该节点时，直接根据公式(7)，进行分割检测，确定数据进入的子节点。

$h(v,\mathrm{\&theta;})=\left\{\begin{array}{cc}0,& x_{d_1}\&CenterDot;{\mathrm{\&theta;}}_1+x_{d_2}\&CenterDot;{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3<0\\ 1,& x_{d_1}\&CenterDot;{\mathrm{\&theta;}}_1+x_{d_2}\&CenterDot;{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3\&GreaterEqual;0\end{array}\right.---\left(7\right)$

根据公式(7)，二元线性分类器的基本参数设置为：分割函数参数θ＝[θ₁,θ₂,θ₃]，特征选择函数 $\mathrm{\&phi;}\left(v\right)=\left[\begin{array}{c}{x}_{d_1}\\ x_{d_2}\end{array}\right],$ 特征选择控制变量forestModel.dimOfLearner＝2。

(3)非线性曲线分类器

该分类器的几何图元ψ是一条圆锥曲线，其分割函数由一个二元二次函数指定。在节点分割函数参数训练时，随机选定特征描述向量某两个维度的特征项和随机选定阈值τ₁和τ₂，且要求满足τ₁<τ₂。使用二元二次函数，根据公式(8)进行二元分类，选择并记录能够最大化能量模型的特征维度、分割阈值和分割参数。

在测试数据到达该节点时，直接根据公式(8)，进行分割检测，确定数据进入的子节点。

$h(v,\mathrm{\&theta;})=\left\{\begin{array}{cc}0,& {\mathrm{\&tau;}}_1<{x_{d_1}}^2\&CenterDot;{\mathrm{\&theta;}}_1+{x_{d_2}}^2\&CenterDot;{\mathrm{\&theta;}}_2+x_{d_1}\&CenterDot;x_{d_2}\&CenterDot;{\mathrm{\&theta;}}_3+x_{d_1}\&CenterDot;{\mathrm{\&theta;}}_4+x_{d_2}\&CenterDot;{\mathrm{\&theta;}}_5+{\mathrm{\&theta;}}_6<{\mathrm{\&tau;}}_2\\ 1,& otherwise\end{array}\right.---\left(8\right)$

根据公式(3.8)，二元线性分类器的基本参数设置为：分割函数参数θ＝[θ₁,θ₂,θ₃,θ₄,θ₅,θ₆]，特征选择函数 $\mathrm{\&phi;}\left(v\right)=\left[\begin{array}{c}{x}_{d_1}\\ x_{d_2}\end{array}\right],$ 特征选择控制变量forestModel.dimOfLearner＝2。

(4)完全随机分类器

完全随机分类器没有固定的分割几何图元ψ，它是一种完全随机化的分类器。根据对树的平衡性参数设定，从输入当前节点的数据中，随机选择不同数目的数据分到左子节点和右子节点，然后从所有的随机方法中，选择并记录能够最大化能量模型的分割方法。

完全随机分类器没有指定分割函数参数θ、特征选择函数φ(v)和特征选择控制变量forestModel.dimOfLearner，但需要为其设定树的平衡性参数，来控制分割后左右子节点数据数目之比。该参数由随机森林参数结构体forestModel中的treeType元素来控制，该参数由两种取值，取值为"balance"时，表示要保证随机森林中的回归树为平衡树，在进行分割时，要保证左右子节点上分到的数据数量相同，取值为"imbalance"时，表示随机森林中的回归树可以为非平衡树，则在进行分割时，随机指定分入左右子节点的数据数量。

在测试数据到达该节点时，比较测试数据与当前节点的左/右子节点上的训练数据的相似性，将测试数据送入相似性较高的那个子节点。

<4>叶子节点训练模型

随机森林的训练过程，除了要进行弱分类器和树结构的训练之外，还需要对叶子节点中存储的预测模型进行训练。好的预测模型，可以更有效的总结落入叶子节点中的数据的特征与输出空间中对应实例数据的关联性，从而在测试过程中获得更高的预测准确率和泛化能力。

与弱分类器模型的训练类似，训练叶子节点预测模型时，同样不宜使用输入空间数据的全部特征值，为了提高训练效率，从落入该叶子节点的特征向量中选择指定数量的特征项，结合对应的输出空间数据进行训练。在实际的实验过程中，使用随机森林参数结构体forestModel中的leafDim元素来控制叶子节点训练使用的特征项的个数。

本次实验共设计了如下两种不同的叶子节点预测模型，最终使用的预测类型由随机森林参数结构体forestModel中的leafType指定。

以下中使用来表示叶子节点预测模型，其中v表示数据的特征向量，表示叶子节点预测函数的参数，Θ表示特征选择函数。

(1)线性回归拟合模型

根据forestModel.leafDim指定的数目，从当前叶子节点上的数据点中随机选择相应数目的特征项，然后使用线性拟合的方式，对叶子节点上的数据进行函数拟合，进一步获得该节点上的回归函数。回归函数的形式如公式(9)所示。

根据公式(9)，线性回归拟合叶子节点预测模型的参数特征选择函数表示从数据的特征向量中随机选择的dim维特征项，其中dim＝forestModel.leafDim，y_i表示对应于输入空间中数据x_i的输出数据，即回归的目标值。

(2)平均值模型

根据forestModel.leafDim指定的数目，从当前叶子节点上的数据点中随机选择相应数目的特征项，然后求取落入当前节点的数据的目标值y_i的平均值，作为对落入该节点的测试数据的预测目标值。

使用平均值模型，会导致所有落入当前节点的测试数据都具有相同的预测目标值，这实际上会影响到随机森林的预测准确性和泛化能力。但是，平均值模型的训练和测试过程都比较简单，实验的时间效率较高。

<5>随机模型

随机模型是对随机森林中所有随机化设定和应用的统称。上述已经提到过很多随机化的训练方法，本部分将对这些随机化方法进行总结，并将其都归入随机模型中。

(1)回归树的训练数据选定

在进行回归树训练时，需要随机从稠密采样空间中选取适当数量的输入数据，这样可以适当降低随机森林中，回归树之间的关联性。减少随机森林中不同的回归树之间的相似性，有利于充分有效的发挥每棵回归树的预测作用，降低重复预测的可能性，从而增加随机森林的泛化能力。同时，选取适当数量的输入数据，可以提高回归树的训练效率。

(2)多次随机阈值试验

训练弱分类器模型时，多次随机选取的分割阈值，并从中选择使能量模型最大化的一个，而不是一味寻找最优分割阈值，这样可以有效的避免过拟合问题，提高弱分类器在测试中的泛化能力。

(3)多次随机选定训练数据特征项试验

训练弱分类器模型时，多次随机选取指定数目的数据特征项，并从中选择使能量模型最大化的一组特征项，同样可以有效避免过拟合问题，提高泛化能力。

(4)随机选定叶子节点训练数据的特征维度

训练叶子节点预测模型时，从落入该叶子节点的特征向量中随机选定指定数量的特征项进行训练和测试，有效的提高了训练和回归的效率。

3、基于随机森林回归的X光片目标检测

本发明基于随机森林回归的X光片目标检测方法，其流程示意图如图8所示。首先，读入一幅测试图像，按照步骤1给出的方法，进行图像分割，并选择图像块，获得图像的稠密采样空间，然后提取图像块的特征描述向量，获得稠密特征空间，如图8中的第①②步所示。依次将稠密采样空间中的图像块的特征向量代入步骤2训练得到的随机森林回归模型中，可以获得每个回归树对目标点到当前图像块的横坐标位移或纵坐标位移的预测结果，如图8中的第③④步所示。对各个决策回归树的预测结果进行加权组合，就得到了整个随机森林模型对目标点相对于图像块位置的预测结果，如图8中的第⑤⑥步所示。根据图像块的中心位置坐标，以及第⑥步得到的随机森林对目标点到图像块的中心位置的位移的估计，可以推算出该图像块对目标点横、纵坐标值的预测结果，将稠密采样空间中所有图像块的预测结果进行整合，可以得到一个单一的对目标点横、纵坐标的预测值，如图8中的第⑤⑥⑦步所示。最后，将该预测值绘制在测试图像中，并对预测的准确程度进行评判，结束算法。

在输入测试图像后，要提取测试图像的稠密采样空间和与之对应的特征空间，以特征空间中的一个图像块的特征向量为输入，将它送入每棵回归树的根节点。特征向量进入根节点后，进行当前节点的弱分类器类型的判断，如果是与坐标轴平行的弱分类器、二元线性分类器或非线性曲线分类器，则从特征向量中选择该弱分类器指定的特征项，带入分割函数中进行计算，将计算结果与分割阈值比较，得到分割函数的值(0或1)，据此选择让该特征向量进入当前节点的左子节点(分割函数的值为0)或右子节点(分割函数的值为1)；如果是完全随机分类器，则分别计算当前特征向量与落入左子节点和右子节点的训练数据的差异值，选择将该特征向量送入差异值较小的子节点中，差异值的计算方法由公式(10)给出，式中，X表示进入左子节点或右子节点的训练数据集合(分别用L和R表示)，v代表X中的一个训练数据(特征向量)，v_i表示v中的一个特征项(一个图像块的特征向量v是3969维的)，v^test表示测试图像块的特征向量。重复这一步骤，直到特征向量进入到回归树的叶子节点。

${\mathrm{diff}}_X=\underset{v\&Element;X}{\&Sigma;}\underset{i=1,2,...,3969}{\&Sigma;}{(v_i-{v_i}^{test})}^2,X\&Element;\{R,L\}---\left(10\right)$

当测试数据进入叶子节点后，首先进行叶子节点类型的判断。如果是线性回归拟合模型，则从特征向量中选择该叶子节点预测模型指定的特征项，代入预测函数进行计算，得到的结果即是该图像块对中心位置到目标点位置的位移的预测结果；如果是平均值模型，则可以直接返回当前叶子节点记录的平均值，作为预测结果。

本部分利用每一棵回归树，获得了单张图像块对目标点到图像块中心位移信息的预测结果。随机森林中共有forestModel.treeNum个回归树，因此，对于每一个图像块来说，可以得到forestModel.treeNum个预测结果。在下一步中，将对这些预测结果进行整合。并用所有图像块的预测结果进行投票，获得最终的目标位置坐标的预测值。

在进行随机森林回归模型训练的过程中，采用了随机化的方法选择每个回归树的训练数据，在训练弱分类器模型和叶子节点预测模型时，也采用了随机思想，选择参与训练的特征项，基于这样的随机化方法，使得随机森林中的任意回归树，对全部训练数据的使用可能性都相同，因此，每一棵回归树在随机森林回归模型中都具有相同的地位。在对每个回归树的预测结果进行加权组合时，应该为每个回归树的预测结果分配相同的权值。也就是说，可以采取求取预测平均值的方法，获得整个随机森林模型对目标点相对于图像块中心位置的位移预测结果，即使用公式(11)对随机森林中决策树的预测结果进行整合。式中，d_i表示稠密采样空间中第i个图像块相对于目标点的横坐标位移或纵坐标位移，表示该图像块的特征向量，n表示随机森林中回归树的个数。

$d_i=g\left({\stackrel{\&RightArrow;}{f}}_i\right)=\underset{j=1,2,...n}{\&Sigma;}{g}_j\left({\stackrel{\&RightArrow;}{f}}_i\right),n=forestModel.treeNum---\left(11\right)$

根据公式(11)，可以得到稠密采样空间中的每个图像块对目标点位置的预测结果。若测试图像的稠密采样空间中，第i个图像块相对于目标点的坐标位移的预测值为d_i，该图像块的中心位置坐标为c_i，则该图像块对目标点位置坐标的预测结果为l_i＝d_i+c_i。但单个图像块的预测的效果并不好，因为单个图像块不能全面的描述全部的图像信息，并且受到噪声数据影响的可能性较大，因此，采用多图像块投票预测的策略，将所有图像块对目标位置的预测整合在一起，就可以得到一个较准确的目标点位置的坐标预测值l^*。使用公式(12)来整合全部图像块的投票结果。式中，N表示测试图像稠密采样空间中图像块的数量。

$l^{*}=\frac{1}{N}\underset{i=1,2...N}{\&Sigma;}(d_i+c_i)---\left(12\right)$

根据公式(11)和公式(12)，可以得到随机森林回归模型的预测函数拟合结果，如公式(13)所示。

$l^{*}=\frac{1}{N}\underset{i=1,2...N}{\&Sigma;}\left(\underset{j=1,2,...n}{\&Sigma;}{g}_j\right({\stackrel{\&RightArrow;}{f}}_i)+c_i)---\left(13\right)$

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于随机森林回归的胸腔X光片肋骨检测方法，其特征在于包括以下步骤：

步骤(1)、基于随机采样的图像块生成及其HOG(HistogramsofOrientedGradients，梯度方向直方图)特征描述：从每张训练图像或测试图像中提取不同尺度和纵横比的图像块，即进行随机采样，构成稠密采样空间，并对每个图像块进行再划分，提取更小的不同尺度与纵横比的小图像块，以每个小图像块为HOG统计的基本单位，采用一定的排列方法将提取结果组合起来，最终获得每张图像块的特征向量和整张图像的特征描述矩阵；其中，训练图像表示用于胸腔X光片肋骨检测器训练的、带有用户手动标注的肋骨位置信息的胸腔肋骨X光片；测试图像表示不含肋骨位置信息标注的胸前肋骨X光片；

步骤(2)、基于特征块与目标点距离分布的随机森林回归器生成：在程序运行过程中，采用可交互方法，让用户从训练图像上选取指定个数的目标点，并以这些目标点到稠密采样空间中图像块的中心位置的位移作为机器学习的输出空间实例，并使用随机森林架构进行回归训练，得到随机森林回归模型；

步骤(3)、基于随机森林回归的X光片目标检测：使用步骤(1)中提出的方法，以多张胸腔X光图像作为测试的图像，提取测试的图像的特征描述矩阵，代入步骤(2)生成的随机森林回归模型中，获得每个图像块对目标点位置的预测结果，对预测结果进行加权整合，获得测试图像对目标点位置的预测信息，并根据对多个目标点位置的预测，框选出目标肋骨的位置；

步骤(4)、多次进行步骤(2)中的以随机森林为架构的回归训练，每一次选定不同的随机森林参数，执行步骤(3)中的目标检测，比较不同参数下回归模型对目标肋骨位置预测的准确性和时间效率，选取最优的随机森林参数配置。

2.根据权利要求1所述的基于随机森林回归的胸腔X光片肋骨检测方法，其特征在于：步骤(1)中所述的基于随机采样的图像块生成及其HOG特征描述方法中，对图像进行划分是首先对图像采用网格划分，并根据网格划分的结果提取图像块，再对图像块进行网格划分，提取小图像块，通过对小图像块的HOG特征的提取和整合的方法，能够得到描述整张胸腔X光图像的特征描述矩阵，特征描述矩阵描述了图像的全局信息，以及该图像中每个图像块的特征描述矩阵,特征描述矩阵描述了图像的局部信息。

3.根据权利要求1所述的基于随机森林回归的胸腔X光片肋骨检测方法，其特征在于：步骤(2)中使用与用户交互的方式，获得指定个数的目标点的位置坐标，据此获得了用户的先验知识信息，使用随机森林架构进行回归训练，包括对随机森林中的每一棵回归树进行训练，包括以能量模型为基准，进行弱分类器模型和叶子节点预测模型的训练，此外，还要通过随机模型控制随机森林的随机性能，据此得到能够进行胸腔X光片中目标点位置预测的随机森林回归器。

4.根据权利要求1所述的基于随机森林回归的胸腔X光片肋骨检测方法，其特征在于：步骤(3)中获得每个图像块对目标点位置的预测结果时，采用整幅图像中的单个图像块对目标点位置进行预测的方法，并使用多图像块投票机制，整合了所有图像块的预测结果。

5.根据权利要求1所述的基于随机森林回归的胸腔X光片肋骨检测方法，其特征在于：步骤(2)中指定个数的目标点是：使用用户自主点取的5个标识点对目标肋骨进行标记。