CN101065762A - 使用组织信息的自动放射线照片分类 - Google Patents

Abstract

一种用于把射线照相自动分类的方法。获取数字放射线照相图像，其中图像由像素的行和列的矩阵组成。数字图像被分段成前景、背景和组织区域。组织区域的物理尺寸被分类。生成组织区域的边缘方向直方图，并把边缘方向直方图的形状模式分类。根据物理尺寸分类和形状模式分类，把图像归类。

Description

使用组织信息的自动放射线照片分类

                   发明领域

本发明涉及用于处理数字射线照相(radiography)的技术，并且特别地，涉及数字射线照相的图像的自动分类。

                   发明背景

准确的医疗诊断常常取决于图像上与诊断有关的区域的正确的显示。随着计算射线照相系统和数字射线照相系统的最新进展，图像的获取和它的最后的“观看”是分开的。这给用户提供灵活性，但也引入了对图像显示器设置适当的色调尺度的困难。最佳色调尺度通常依赖于检查类型、曝光条件、图像获取设备和输出设备的选择以及放射师的喜好，在这中间，检查类型是一个决定性因素，因为它直接涉及到信号的特征和图像上临床的重要部分。所以，检查类型的成功分类大大地有利于图像的最佳呈现。使用检查类型分类的另一个正在显露的领域是数字图片归档和通信系统(PACS)。至今为止，大多数与射线照相有关的信息主要基于人工输入。这个步骤常常被跳过，或者不正确的信息被记录在图像标题上，这阻碍了在常规的医疗实践和病人照料中有效使用图像。自动图像分类通过根据图像内容来组织和检索图像而具有解决以上问题的潜力。这可以使得医疗图像管理系统更合理和有效，无疑会改进PACS的性能。

然而，让计算机自动和有效地分析图像上的内容和分类图像是困难的，因为图像数据在结构上比起其它种类的数据复杂得多，并且人们获取图像内容、把图像特征分组成有意义的目标和通过模型匹配把语义说明附加到图像的方式，还没有得到充分理解，从而无法使得分析过程自动化。另外，把图像分段成相应于各个单独目标的区域、从图像提取能获得感觉上的和语义上的意义的特征、以及根据提取的特征把图像与建议的模型相匹配，也使得分析问题成为更具挑战意义的。

在最新的文献中提出了基于内容的图像分类和检索的各种系统，诸如QBIC(W.Niblack等，“The QBIC project：Querying images bycontent using color，texture，and shape(QBIC课题：使用彩色、纹理结构和形状，通过内容来查询图像)”，Proc.SPIE Storage and Retrievalfor Image and Video Databases，Feb 1994)，Photobook(照相本)(A.Pentland等，“Photobook：Content-based manipulation of imagedatabase(照相本：图像数据库的基于内容的管理)”，InternationalJournal of Computer Vision，1996)，Virage(J.R.Bach等，“Virage imagesearch engine：An Open framework for image management(Virage图像搜索引擎：用于图像管理的开放框架)”，Proc.SPIE Storage andRetrival for image and Video Database，Vol 2670，pp.76-97，1996)，Visualseek(R.Smith等，“Visualseek：A fully automated content-basedimage query system(全自动的基于内容的图像询问系统)”，Proc ACMMultimedia 96，1996)，Netra(Ma等，“Netra：A toolbox for navigatinglarge image database(用于导航大图像数据库的工具箱)”，Proc IEEEInt.Conf.On Image Proc.1997)，和MAR(T.S.Huang等，“Multimediaanalysis and retrieval system(MARS)project(多媒体分析和检索系统(MARS)课题)”，Proc of 33^rd Annual Clinic on Library Application ofData Processing Digital Image Access and Retrieval，1996)。这些系统遵循同一个理念，即把图像作为整体对待，并且通过一组低级别特征属性(诸如彩色、纹理结构、形状和布局)来表示它。结果，这些特征属性一起形成图像的特征向量。图像分类是基于把这些低级别可视特征向量成为集群。这样的基于集群的分类方案通常是费时的而实际使用却是有限的，因为只有很少的图像目标语义是被明显地建模的。另一个问题是这些系统使用从万维网收集的图像。通常，最有效的特征是彩色。不幸，基于彩色的特征在大多数医学图像中是不可得到的。

I.Kawshita等(“Development of Computerized Method forAutomated Classification of body Parts in Digital Radiographs(用于自动把数字射线照相中的身体部分分类的计算机化方法的开发)”，RSNA2002)给出一种把六个身体部分分类的方法。该方法通过使用交叉相关值作为类似性度量值来检查给定的图像与一组样板图像的类似性。然而，样板图像的人工生成是相当费时的，而且更关键地，它是高度地依赖于观察者的，这会在分类时引入误差。J.Dahmen等(“Classification of Radiographs in the‘Image Retrieval in MedicalApplication’-System(在医学应用中的图像检索系统中射线照相的分类)”，Procs 6^th International RIAO Conference on Content-basedMultimedia Information Access，Paris，France，2000；551-566)教导一种利用基于核心密度的分类器通过使用新的失真模型和simard的切向距离的扩展的版本来对射线照相分类的方法。以上两种方法都遇到在射线照相上处理组织的旋转和平移变化的问题。所以，最终得到的测量结果不能精确代表射线照相的特性。另外，在以上的方法中没有实施预处理。例如，在曝光期间由于X射线校直器的阻挡造成的未曝光区域可能导致在图像周围的明显的白色边界。如果这样的区域不在预处理步骤中去除并因此被使用在类似性测量的计算中，则分类结果会严重偏移。Luo等(“Knowledge-based Image Understanding andClassification System for Medical Image Databases(用于医学图像数据库的基于知识的图像理解和分类系统)”，Proceedings of SPIE-theInternational Society for Optical Engineering，Vol.4694，No.22，Feb.2002，pp.1224-1234)公开一种使用形状信息和模型匹配的分类的方法。该方法采用边缘方向直方图来描述组织的整体形状，并根据从它们的边缘方向直方图提取的六个标度、旋转和平移特性来对图像分类。然而，所提取的特性不足以完全代表边缘方向直方图的特征。因此，分类器的性能很难改进。

由于已有技术的缺点和限制，所以需要一种对射线图像进行自动分类的方法。

                      发明概要

本发明的一个目的是提供一种根据组织信息对射线照相进行自动分类的方法。

本发明的另一个目的是提供一种使用组织结构的物理尺寸来对射线照相分类的方法。

本发明的再一个目的是提供一种使用组织结构的形状信息来对射线照相分类的方法。

按照本发明，这些目的是通过以下步骤达到的：获取包括像素的行和列的矩阵的数字射线照相图像；把图像分段成前景、背景、和组织区域；通过分别使用组织的物理尺寸和它的边缘方向直方图的形状来对图像分类；以及把图像归类。

本发明的优点在于，该方法提供了提取图像上组织特征的有效的方式以及定标、旋转和平移不变的形状分类器的缜密的设计，这使得这种分类更鲁棒。

                     附图简述

图1是说明用于对射线照相进行分类的自动化方法的示意图。

图2A-2D是分别显示通过计算射线摄影术获取的射线照相和它的分别来自分段的前景、背景和组织图像的例子的示意图。

图3A-1到图3E-2是显示来自不同的检查的射线照相的形状变化的示意图。

图4是显示用于对组织的形状分类的方法的流程图。

图5A-1到图5D-3显示边缘方向直方图的特征。图5A-1，5A-2和5A-3是显示具有相同的形状但具有不同的取向的合成图像的示意图。图5B-1，5B-2和5B-3是显示它们的边缘图像的示意图。图5C-1，5C-2和5C-3是显示它们的相应的边缘方向直方图的图形视图。图5D-1，5D-2和5D-3是显示边缘方向直方图的简化的说明的图形视图。

图6是显示形状分类器的结构的图形视图。

图7A-1到图7C-2显示具有一个峰值形状模式的边缘方向直方图的图像。图7A-1和7A-2显示原始图像。图7B-1和7B-2是组织图像。图7C-1和7C-2显示它们的边缘方向直方图。

图8A-1到图8C-2显示具有两个峰值形状模式的边缘方向直方图的图像。图8A-1和8A-2显示原始图像。图8B-1和8B-2是组织图像。图8C-1和8C-2显示它们的边缘方向直方图。

图9A-1到图9C-2显示具有其它形状模式的边缘方向直方图的图像。图9A-1和9A-2显示原始图像。图9B-1和9B-2是组织图像。图9C-1和9C-2显示它们的边缘方向直方图。

                     发明详细说明

以下是参考附图的本发明的优选实施例的详细说明，图上相同的标号表示在这些图的每个图上的结构的相同单元。

本发明公开一种用于对射线照相自动分类的方法。按照本发明的方法的流程图显示于图1。如图1所示，该方法包括三个阶段。在第一阶段，输入的射线照相(方块10)被分段成(步骤11)三个区域，它们是：校直区域(前景)、直接曝光区域(背景)和与诊断有关的区域(组织)。然后，对于图像执行两次分类：一次分类是基于组织的尺寸(方块12)，另一次分类是基于组织的形状(方块13)。此后，从这两次分类得到的结果被组合，并把输入图像归类到一个类别，例如8个类别中的一个类别(方块14)。

图像分段(步骤11)可以使用本领域技术人员已知的方法来完成。一个这样的方法在共同转让的、由Wang等在2003年7月24日提交的题目为“Method of segmenting a radiographic image into diagnosticallyrelevant and dia gnostically irrelevant regions(将射线照相图像分段为诊断有关的和诊断无关的区域的方法)”的美国专利申请序列号No.10/625,919中公开的，该专利申请在此引用以供参考。图2A显示示例性射线照相，以及图2B-2D显示从分段得到的前景、背景和组织图像。

按照本发明，放射线照相的分类集中在两方面：1)在射线照相上组织结构的物理尺寸，以及2)在射线照相上组织的形状。例如，在脚和腹部的尺寸之间有很大的不同。所以，使用物理尺寸信息可以有助于分开这两种组织的类型。同样地，组织的形状特性是可用于分类的另一个重要的特征。

图3A-1到图3E-2显示来自不同的检查的射线照相以及它们的组织图像。从这些图可以看到，在它们之间有很大的形状变化。如果能准确捕捉到这样的变化，则可以容易地把这些图像分类。

为了把组织的物理尺寸分类，优选地利用六个特征。第一特征是像素间隔，这是在射线照相上由每个像素代表的真实的物理尺寸。第二和第三特征是组织图像的宽度和高度，因为是前景区域的部分，它们可能小于输入射线照相的宽度和高度。第四特征是组织面积与图像面积的比值。第五特征是背景面积与图像面积的比值。第六特征是前景面积与图像面积的比值。

这些特征然后被输入到分类器，它被训练来把图像上组织的物理尺寸分类。分类器可以使用本领域技术人员已知的方法，诸如神经网络、支持向量机等等。从分类器得到的结果把图像划分成两组：具有大尺寸组织的图像，诸如腹部、骨盆和胸部，或具有小尺寸组织的图像，诸如手、肘部、手腕等等。

按照本发明的实施例，采用神经网络来执行分类。神经网络具有三层：输入层，具有相应于上述的六个特征的六个节点；隐藏层；和输出层，具有两个节点，每组一个节点。

存在着进行形状分析的已知方法。然而，目标形状的精确的和定量的描述是个挑战性问题，特别是用一组定标、旋转和平移不变的特征来描述形状。本发明通过形状分类器的审慎设计解决以上的问题。图4显示用于形状分类的过程的流程图，其包括以下步骤。

第一步骤是提取组织的边缘(方块20)。作为本发明的实施例，使用标准形态操作，并通过首先进行组织图像的扩大然后从组织图像中减去最终得到的图像从而得到组织的边缘。为了避免由校直器引起的噪声边缘，优选地利用前景掩模来估计检测到的边缘，并去除所有的可疑的边缘。使用扩大的优点在于，它填充了组织上的小孔，所以使组织的边缘平滑。另外，它可以保证有一个像素宽的边缘，而这与边缘方向直方图的特征是有关的。应当指出，本发明不限于使用形态操作来提取组织的边缘。可以使用其它边缘检测方法，其中组织边缘被精确地检测，并具有一个像素的宽度。

第二步骤是计算每个边缘点的边缘方向，然后生成边缘方向直方图(方块21)。计算边缘方向可以通过使用技术上已知的方法来执行。在本发明的实施例中，使用以下的Sobel边缘算子作为边缘的水平性和垂直性的检测器。

$h1=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$ $h2=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

如果h1响应是y以及h2响应是x，则边缘方向可以得出为tan^-1(y/x)。

以其边缘方向直方图表示形状，具有优点和局限。为了分析它们，使用三个合成图像的例子，如图5A-1，5A-2和5A-3所示。这些图像显示相同的条形，但具有不同的取向。图5B-1，5B-2和5B-3显示它们的边缘图像。它们的相应的边缘方向直方图示于图5C-1，5C-2和5C-3。为了简化直方图的描述，于是把它量化为每个图36个10°的采样点集(bin)。图5D-1，5D-2和5D-3描绘最后的结果。使用边缘方向直方图的一个关心的问题是直方图对于平移是否为不变的。从所显示的直方图的观察表明，图像上目标的位置对于它的边缘方向没有影响。所以，从边缘方向的直方图提取的任何特征对平移是不变的。另一个关心的问题是关于定标。严格地说，边缘方向的使用对定标不是固有地不变的。除了它们的尺寸以外在每个方面都相同的两个图像将产生不同数目的边缘点，因此，导致两个不同的直方图。为了达到定标的不变性，直方图需要按下式被归一化：

        H(i)＝H(i)/n_e        i∈[0，....，35]

其中H(i)是在边缘方向直方图的采样点集i的计数值，n_e是边缘点的总数。因此，最终得到的直方图对定标保证是不变的。关于旋转，边缘方向的直方图对于旋转也不是不变的，如图5所示。虽然这些图像包含具有不同取向的类似的形状，但它们的边缘方向直方图是不同的。然而，当考虑这些直方图的形状模式时，它们看上去相当相似，因为它们具有相隔180°的两个峰值。如果可以获取这样的特征，则分类器可被做成对于旋转不变的。

为了解决这些问题，采取第三步骤来生成定标、旋转、和平移不变的形状分类器，并使用它来对边缘方向直方图分类(步骤22)。

按照本发明的实施例，通过使用四个多层前馈神经网络，第一级别的三个判决网络和第二级别的一个分类网络来构建形状分类器，如图6所示。

第一级别的判决神经网络集中于识别边缘方向直方图的形状模式。例如，神经网络1被用来识别具有一个显著的峰值的边缘方向直方图，如图7B-1和7B-2所示。神经网络2识别具有两个峰值的边缘方向直方图，如图8C-1和8C-2所示，而神经网络3集中于直方图的形状模式的其余部分，如图9C-1和9C-2所示。这三个判决网络的结构优选地包括1)36个输入节点输入层，这相应于在边缘方向直方图上36个采样点集，2)隐藏层，和3)二节点输出层。每个节点规定输入边缘方向直方图是否可靠地接近于设想的形状模式。应当指出，使用神经网络而不是来自边缘方向直方图的一组特征的好处在于，神经网络提供学习和解译复杂数据的工具。因此，它可以避免由所选择的特征引入的偏差并使得分类更精确和鲁棒。

第一级别神经网络的结果然后被输入到第二级别神经网络，它的目的是减小在判决网络中存在的模糊性，和提供最后的分类结果。它的输出应当表示输入的直方图属于哪个形状模式。类似于判决神经网络，分类神经网络包含三层。分类神经网络的输入层包含六个节点，每个判决神经网络两个节点。输出层具有三个节点，规定直方图的三个形状模式：一个峰值的形状模式，两个峰值的形状模式，和其它形状模式。

按照本发明，通过使用用于检查图像上边缘的存在的基于法则的方法，把另一个形状模式(即无边缘模式)添加到形状分类结果。这个形状模式用来表示不带有背景的图像，所以在图像上找不到边缘。这在校直刀片被放置成只曝光组织结构和在图像上不存在直接曝光区域时发生。

最后一个步骤是组合来自物理尺寸的结果和形状模式分类，并把射线照相归类。按照优选实施例，要识别以下八类：

1.不带边缘的大尺寸组织，诸如腹部、胸椎和腰椎的PA视图。

2.具有一个峰值形状边缘方向直方图的大尺寸组织，诸如臀部和肩部的PA视图。

3.具有两个峰值形状边缘方向直方图的大尺寸组织，诸如胸部的横向(LAT)视图和骨盆的PA视图。

4.具有其它形状边缘方向直方图的大尺寸组织，诸如颅骨的PA和LAT视图。

5.不带有边缘的小尺寸组织，诸如因为校直器的设置而得到的膝盖的某些PA和LAT视图。

6.具有一个峰值形状边缘方向直方图的小尺寸组织，诸如股骨，肘部，前臀和髁部的某些PA和LAT视图，其中校直区域覆盖部分组织，和导致在图像上仅仅检测到一个边缘。

7.具有两个峰值形状边缘方向直方图的小尺寸组织，诸如肘部，前臂，髁部和手腕的大多数PA和LAT视图。

8.具有其它形状边缘方向直方图的小尺寸组织，诸如脚、手和手指的PA和LAT视图。

由于检查条件，来自同一个检查的组织的尺寸和位置以及取向可能是不同的。另外，在射线照相上显示的组织的部分也随病人的情形和校直器刀片的设置而变化。这些因素可导致射线照相的不同的外貌，这使得分类是非常挑战性的。本发明提供分类的模糊性，所以，射线照相可被归类为一个或多个以上的类别。这种模糊性预期在进一步的分类时被减小。

本发明例如可以以计算机程序产品形式被实施。计算机程序产品可包括一个或多个存储媒体，例如磁存储媒体，诸如磁盘(例如软盘)或磁带；光学存储媒体，诸如光盘、光带、或机器可读的条形码；固态电子存储器件，诸如随机存取存储器(RAM)，或只读存储器(ROM)；或任何其它物理器件或媒体，它们可用于存储具有用于控制一个或多个计算机以实施按照本发明的方法的指令的计算机程序。

本发明的系统可包括具有微处理器的可编程计算机、计算机存储器和存储在所述计算机存储器中用于执行本方法的步骤的计算机程序。计算机具有用来连接到微处理器的存储器接口。这可以是例如USB那样的端口，它接受可拆卸的存储器的驱动或允许访问照相机存储器的某些其它装置。该系统包括数码照相机，它具有与存储器接口兼容的存储器。可以用胶片照相机和扫描器来代替数码照相机，如果想要的话。图形用户接口(GUI)和用户输入单元，诸如鼠标和键盘，可以作为计算机的一部分被提供。

本发明是具体地参照本优选实施例详细地描述的，但本领域技术人员将会看到，可以在本发明的精神和范围内作出修改方案。所以，本公开的实施例在所有的方面看作为是说明性的，而不是限制性的。

Claims (3)

1.一种用于对数字射线照相图像自动分类的方法，包括以下步骤：

获取由像素的行和列的矩阵组成的数字射线照相图像；

把图像分段成前景、背景、和组织区域；

把组织区域的物理尺寸分类；

生成组织区域的边缘方向直方图；

把边缘方向直方图的形状模式分类；以及

根据物理尺寸的分类和形状模式的分类把图像归类。

2.权利要求1的方法，其中物理尺寸分类的步骤包括以下步骤：从前景、背景、和组织区域计算特征；

用这些特征训练分类器；以及

使用经训练的分类器来执行分类。

3.权利要求1的方法，其中把形状模式分类的步骤包括以下步骤：提取组织区域的边缘；

用边缘方向直方图训练分类器；以及

使用经训练的分类器来执行分类。

Images