CN104463825A - 用于在三维体积图像中检测对象的设备和方法 - Google Patents

用于在三维体积图像中检测对象的设备和方法 Download PDF

Info

Publication number
CN104463825A
CN104463825A CN201310421889.6A CN201310421889A CN104463825A CN 104463825 A CN104463825 A CN 104463825A CN 201310421889 A CN201310421889 A CN 201310421889A CN 104463825 A CN104463825 A CN 104463825A
Authority
CN
China
Prior art keywords
interest
dimensional
destination object
score
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310421889.6A
Other languages
English (en)
Other versions
CN104463825B (zh
Inventor
冀永楠
张红卫
张丽丹
刘志花
任海兵
金智渊
禹景久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201310421889.6A priority Critical patent/CN104463825B/zh
Publication of CN104463825A publication Critical patent/CN104463825A/zh
Application granted granted Critical
Publication of CN104463825B publication Critical patent/CN104463825B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于在三维体积图像中检测对象的方法和设备，所述设备包括：切片采样单元，被配置为对三维体积图像进行采样以获得多个二维图像；检测单元，被配置为从切片采样单元采样获得的多个二维图像中的每个二维图像检测二维感兴趣区域；组合单元，被配置为使用检测单元检测出的二维感兴趣区域来组合三维感兴趣区域；分割单元，被配置为对三维感兴趣区域进行三维分割，以提取目标对象。

Description

用于在三维体积图像中检测对象的设备和方法
技术领域
本发明涉及一种图像处理设备和方法，更具体地讲，涉及一种用于在三维（3D）体积图像中检测对象的设备和方法。
背景技术
几乎所有的3D计算机辅助诊断（CAD）系统都被设计用于在高质量、高分辨率的3D模态医学图像（诸如CT和MRI图像）中检测目标对象。大多数的现有检测方法直接应用于3D图像来检测3D对象或3D边界区域。然而，由于3D体积图像通常具有较大的数据量，扫描整个体积图像非常昂贵，因此大多数现有的检测方法都使用简单的图像特征和模型来进行检测，这可能影响检测结果的准确度。
现有检测方法可以被分为三类：基于形态匹配的直方图、基于模板的和基于Harr样特征的方法。其中，第一类检测方法仅对高质量的3D图像有效，因此适用范围很窄；第二类方法需要事先了解目标对象的模板，但是对于外观多样的目标物质很难事先了解模板，因此，这种方法也不适用；第三种方法只能有效监测特征简单的高质量图像，当用于检测具有多种类型、特征复杂的目标个体时，这类方法也不适用。
此外，迫切需要一种新的具有广泛适用性的检测方法，以满足检测非高画质、外观多样、特征复杂的目标对象的实际需求。
发明内容
根据本发明的一方面，提供了一种用于在三维体积图像中检测对象的设备，包括：切片采样单元，被配置为对三维体积图像进行采样以获得多个二维图像；检测单元，被配置为从切片采样单元采样获得的多个二维图像中的每个二维图像检测二维感兴趣区域；组合单元，被配置为使用检测单元检测出的二维感兴趣区域来组合三维感兴趣区域；分割单元，被配置为对三维感兴趣区域进行三维分割，以提取目标对象。
所述设备还可包括：第一排序单元，被配置为当组合单元组合出多个三维感兴趣区域时，计算指示每个三维感兴趣区域是目标对象所在区域的概率的得分，对三维感兴趣区域的得分进行排序，并选择得分超过预定分数的三维感兴趣区域提供给分割单元。
所述设备还可包括：第二排序单元，被配置为当分割单元提取出多个目标对象时，计算指示每个目标对象是所关心的目标对象的概率的得分，对所述多个目标对象的得分进行排序，并将得分超过预定分数的目标对象确定为所关心的目标对象。
所述检测单元可被配置为使用MSER算法、E-SVM算法和DPM算法中的一个或多个在二维图像中检测二维感兴趣区域。
所述组合单元可计算检测单元检测出的二维感兴趣区域之间的重合度或者特征相似度，依据计算出的重合度或特征相似度对二维感兴趣区域进行分组，并将属于相同组的多个二维感兴趣区域组合为一个三维感兴趣区域。进一步的，所述组合单元可将检测单元检测出的每个二维感兴趣区域视为无向图中的一个顶点，确定每个顶点与其他顶点之间的权重，连通所述无向图中权重大于0的所有顶点对以形成带权重的无向图，并对带权重的无向图进行划分以获得一个或多个强连通分量。每个强连通分量中包括的顶点所代表的二维感兴趣区域可被组合为一个三维感兴趣区域。两个顶点之间的权重可指所述两个顶点代表的两个二维感兴趣区域的重合度或特征相似度。
对于使用特定算法检测出的任意两个顶点Rm(i)和Rn(j)，在组合单元中可使用下面的等式（1）来计算代表所述两个二维感兴趣区域的两个顶点之间的权重：
w ( R m ( i ) , R n ( j ) ) = Jaccard ( R m ( i ) , R n ( j ) ) | m - n | < &Delta; 0 otherwise , - - - ( 1 )
Rn(j)指示检测单元使用所述特定算法对切片采样单元采样获得的第n个二维图像In进行检测而获得的第j个二维感兴趣区域，Rm(i)指示检测单元使用所述特定算法对切片采样单元采样获得的第m个二维图像Im进行检测而获得的第i个二维感兴趣区域，Δ是用于控制两个二维感兴趣区域的连通性的阈值，Jaccard函数用于计算可连通的二维感兴趣区域的重合度。
组合单元可使用轮廓特征、纹理特征、位置特征中的一种特征来计算使用特定算法检测出的任意两个二维感兴趣区域之间的特征相似度，并可将计算出的特征相似度确定为无向图中代表所述任意两个二维感兴趣区域的两个顶点之间的权重。
可使用Tarjan算法对所述带权重的无向图进行划分以获得一个或多个强连通分量。
第一排序单元可使用支持向量机或机器学习来计算每个三维感兴趣区域是目标对象所在区域的概率的得分。
第二排序单元可使用支持向量机或机器学习来计算每个目标对象是所关心的目标对象的概率的得分。
所述设备还可包括：插值单元，被配置为对三维感兴趣区域进行插值，以在三维体积图像中形成连续的三维感兴趣区域。
根据本发明的另一方面，提供了一种用于在三维体积图像中检测对象的方法，所述方法包括：（a）对三维体积图像进行采样以获得多个二维图像；（b）从采样获得的多个二维图像中的每个二维图像检测二维感兴趣区域；（c）使用检测出的二维感兴趣区域来组合三维感兴趣区域；（d）对三维感兴趣区域进行三维分割，以提取目标对象。
步骤（c）还可包括：当组合出多个三维感兴趣区域时，计算指示每个三维感兴趣区域是目标对象所在区域的概率的得分，对三维感兴趣区域的得分进行排序，并选择得分超过预定分数的三维感兴趣区域作为步骤（d）的输入。
步骤（d）还可包括：当提取出多个目标对象时，计算指示每个目标对象是所关心的目标对象的概率得分，对所述多个目标对象的得分进行排序，并将得分超过预定分数的目标对象确定为所关心的目标对象。
在步骤（b）可使用MSER算法、E-SVM算法和DPM算法中的一个或多个在二维图像中检测二维感兴趣区域。
步骤（c）可包括（c1）计算检测出的二维感兴趣区域之间的重合度或者特征相似度；（c2）依据计算出的重合度或特征相似度对二维感兴趣区域进行分组，并将属于相同组的多个二维感兴趣区域组合为一个三维感兴趣区域。进一步地，步骤（c2）可包括：将在步骤（b）中检测出的每个二维感兴趣区域视为无向图中的一个顶点，并确定每个顶点与其他顶点之间的权重；连通所述无向图中权重大于0的所有顶点对以形成带权重的无向图；对带权重的无向图进行划分以获得一个或多个强连通分量。每个强连通分量中包括的顶点所代表的二维感兴趣区域可被组合为一个三维感兴趣区域。两个顶点之间的权重可指所述两个顶点代表的两个二维感兴趣区域的重合度或特征相似度。
对于使用特定算法检测出的任意两个顶点Rm(i)和Rn(j)，可使用下面的等式（1）来计算代表所述两个二维感兴趣区域的两个顶点之间的权重：
w ( R m ( i ) , R n ( j ) ) = Jaccard ( R m ( i ) , R n ( j ) ) | m - n | < &Delta; 0 otherwise , - - - ( 1 )
Rn(j)指示使用所述特定算法对采样获得的第n个二维图像In进行检测而获得的第j个二维感兴趣区域，Rm(i)指示使用所述特定算法对采样获得的第m个二维图像Im进行检测而获得的第i个二维感兴趣区域，Δ是用于控制两个二维感兴趣区域的连通性的阈值，Jaccard函数用于计算可连通的二维感兴趣区域的重合度。
可使用轮廓特征、纹理特征、位置特征中的一种特征来计算使用特定算法检测出的任意两个二维感兴趣区域之间的特征相似度，并可将计算出的特征相似度确定为无向图中代表所述任意两个二维感兴趣区域两个顶点之间的权重。
可使用Tarjan算法对所述带权重的无向图进行划分以获得一个或多个强连通分量。
可使用支持向量机或机器学习来计算每个三维感兴趣区域是目标对象所在区域的概率的得分。
可使用支持向量机或机器学习来计算每个目标对象是所关心的目标对象的概率的得分。
步骤（c）还可包括：对三维感兴趣区域进行插值，以在三维体积图像中形成连续的三维感兴趣区域。
有益效果
本发明的设备和方法通过将三维数据计算转化为二维数据的计算，降低了数据运算量和运算成本，不要求3D图像的质量，并且也不需要事先了解所针对的目标个体的外观或者特征模板，因此具有更广泛的适用性，尤其能够在3D医学图像中同时检测不同类型对象，并取得较高的检测精确度。
附图说明
通过下面结合附图对本发明的示例性实施例进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：
图1是示出根据本发明的示例性实施例的用于在3D体积图像中检测对象的设备的框图；
图2是示出根据本发明的另一示例性实施例的用于在3D体积图像中检测对象的设备的框图；
图3是示出根据本发明的另一示例性实施例的用于在3D体积图像中检测对象的设备的框图；
图4是示出根据本发明的示例性实施例的用于在3D体积图像中检测对象的方法的流程图。
在附图中，相同的附图标号将被理解为是指相同的部件。
具体实施方式
提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示例性的。因此，本领域的普通技术人员将认识到：在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略已知功能和构造的描述。
图1是示出根据本发明的示例性实施例的用于在3D体积图像中检测对象的设备100的框图。
如图1中所示，所述设备100包括切片采样单元110、检测单元120、组合单元130和分割单元140。
现在将参照图1详细描述根据本发明的实施例的设备100的各部分的操作。为便于描述，在下文中将以用于检测肿瘤的3D体积图像为例进行说明。
切片采样单元110可用于对3D体积图像进行切片采样来获得多个二维（2D）图像切片（以下，简称为2D图像）。具体地讲，采样单元110可沿任意一个方向（例如，x轴方向、y轴方向、z轴方向等）对3D体积图像进行切片采样，以获得多个2D图像I1、I2、…、IN，其中，In表示采样获得的第n幅2D图像。3D体积图像可被视为通过上述采样获得的2D图像的集合，并且所述2D图像的集合可用于表现3D区域。
可使用本领域已知的各种切片采样方法对3D体积图像进行采样。
检测单元120可用于从切片采样单元110采样获得的多个2D图像中的每个2D图像检测2D感兴趣区域（ROI）。所述2D ROI是2D图像中目标对象（例如，肿瘤）可能所在的区域。也就是说，通过检测单元120的检测，可确定2D图像中哪些区域中的图像可能是目标对象的图像，并将可能是目标对象所在的区域确定为2D ROI。
考虑到通常每种检测算法仅对一种类型的对象敏感（例如，在肝脏超声图像中，最稳定极值区域（MSER）算法对检测诸如血管的对象更有效，而Exemplar-支持向量机（E-SVM）算法对检测诸如原发性肝细胞癌和血管瘤的对象更有效），并且不同类型的对象通常具有不同的视觉特征，因此在本发明的实施例中可同时使用多种检测算法对每个2D图像进行检测，以检测不同类型的对象。下面将以使用MSER算法和E-SVM算法为例进行说明。
可同时或分别使用MSER算法和E-SVM算法对采样获得的每个2D图像进行检测。例如，通过MSER算法和E-SVM算法对2D图像In以进行检测，可获得关于2D图像In的2D ROI的集合{Rn MSER(1)，…，Rn MSER(J)，Rn E-SVM(1)，…，Rn E-SVM(K)}，其中，J表示使用MSER算法从2D图像In中检测出来的ROI的数量，K表示使用E-SVM算法从2D图像In中检测出来的ROI的数量，Rn MSER(j)指示使用MSER算法对2D图像In进行检测而获得的第j个2D ROI（例如，可指示所述2D ROI在2D图像In中所占的区域或者可以是所述2D ROI中包含的像素的坐标的集合等），并且j=1,2,3,…,J，Rn E-SVM(k)指示使用E-SVM算法对2D图像In进行检测而获得的第k个2D ROI（例如，可指示所述2D ROI在2D图像In中所占的区域或者可以是所述2D ROI中包含的像素的坐标的集合），并且k=1,2,3,…K。
此外，使用MSER算法检测出的ROI与使用E-SVM算法检测出的ROI之间可不存在联系，例如，Rn MSER(m)和Rn E-SVM(m)可指示两个不同的ROI。
尽管以上描述了使用MSER算法和E-SVM算法两种算法来在2D图像中检测2D ROI，但还可使用本领域已知的其他算法（例如，DPM（DiscriminativelyTrained Part-Based Models）算法）来检测2D ROI。也就是说，根据实际需求，检测单元120可采样多种检测算法（例如，MSER算法、E-SVM算法和DPM算法）中的一个或多个来在2D图像中检测2D ROI。
在完成检测之后，检测单元120可将检测出的所有2D ROI发送到组合单元130。
组合单元130可使用检测单元120检测出的2D ROI来组合3D ROI。
在本发明的实施例中，组合单元130可计算检测单元120计算出的2DROI之间的重合度或特征相似度，依据计算出的重合度或特征相似度对2DROI进行分组，并将属于相同组的多个2D ROI组合为一个3D ROI。
以下，将举例说明组合3D ROI的方法。
根据本发明的示例性实施例，组合单元130可将检测单元120使用特定算法（例如，MSER算法或E-SVM算法）检测出的所有2D ROI中的每个2DROI视为无向图中的一个顶点，并可确定所述无向图中的每个顶点与其他顶点之间的权重。如果一对顶点之间的权重大于0，则可连通所述顶点对。在连通所述无向图中权重大于0的所有顶点对之后，会形成一个连通路径带权重的无向图。组合单元130可对该带权重的无向图进行划分以获得一个或多个强连通分量，每个强连通分量中包括的顶点所代表的2D ROI可被组合为一个3D ROI，并且该3D ROI可指示一个对象（例如，肿瘤）。
在本发明的实施例中，可通过计算无向图中的两个顶点所代表的两个2DROI的重合度或特征相似度来确定所述两个顶点之间的权重。以下将详细说明计算权重的方法。
仅作为示例，对于使用MSER算法检测出的任意两个顶点Rm MSER(i)和Rn MSER(j)，在组合单元130中可使用下面的等式（1）来计算代表所述两个2DROI的两个顶点之间的权重w（Rm MSER(i)，Rn MSER(j)）：
w ( R m MSER ( i ) , R n MSER ( j ) ) = Jaccard ( R m MSER ( i ) , R n MSER ( j ) ) | m - n | < &Delta; 0 otherwise , - - - ( 1 )
在等式（1中），Δ是用于控制两个2D ROI的连通性的阈值，满足该阈值条件的两个2D ROI被认为是可连通的。例如，当Δ被设置为2时，仅相邻的两个2D图像切片上的任意两个2D ROI（所述两个2D ROI可分别处于所述两个相邻2D图像切片或均处于所述两个相邻2D图像切片中的一个2D图像切片中）是可连通的。因此，Jaccard函数可用于计算可连通的两个2D ROI的重合度。
在本发明的实施例中，由于每个2D ROI在2D图像中所占的区域已知（即，其位置、形状、面积等已知），并且使用Jaccard函数的计算方法对于本领域技术人员而言已知，因此为了简明，在此将不详细描述。
此外，除上述通过计算重合度来确定两个顶点之间的权重的方法以外，组合单元130还可使用诸如轮廓特征、纹理特征、位置特征等特征中的一种特征，计算使用特定算法（诸如MSER算法、E-SVM算法等）检测出的任意两个2D ROI之间的特征相似度，并将计算出的特征相似度确定为无向图中代表所述任意两个2D ROI的两个顶点之间的权重。
通过将权重（重合度或者特征相似度）达到阈值的2D ROI结合可以获得一系列具有或强或弱的连通分量的3D区域，但是其中，弱连通分量定义出的3D区域可能是由非目标对象构成的，因此，需要进行进一步划分，去除弱连通分量定义的3D区域。
在本发明的实施例中，在组合单元130中可使用Tarjan算法对带权重的无向图进行划分以获得强连通分量，除此之外，还可以使用本领域内已知的其他划分方法获得强连通分量。
优选地，在本发明的另一实施例中，为了更准确的确定3D体积图像中的3D对象，在划分强连通分量之前，组合单元130可将权重小于预设阈值（例如，0.3）的顶点对之间的连通路径的权重设置为0，即，将权重小于预设阈值的两个顶点设置为不连通。
此外，尽管以上示例示出组合单元130使用通过一种特定算法检测出的2D ROI来组合3D ROI，但应该理解，当在检测单元120中使用了多种算法检测2D ROI时，组合单元130可按照以上描述的形成3D ROI的方式，分别使用基于所述多种算法中的每种算法检测出的2D ROI来组合3D ROI。例如，如果除了MSER算法之外，在检测单元120中还使用了E-SVM算法检测了2D ROI，则还可使用以上描述的方法，针对使用E-SVM算法检测出的多个2D ROI建立带权重的另一无向图并对其进行划分，从而实现对使用E-SVM算法检测出的2D ROI的分组并组合出相应的3D ROI。可选择地，如果在检测单元120中使用多种算法检测2D ROI并且所述多种算法检测的对象的类型相似，则也可针对使用所述多种算法检测出的所有2D ROI建立一个无向图来进行分组。
然而，以上通过建立带权重的无向图来对2D ROI进行分组以获得3DROI的方式仅是示例，还可使用其他方法来对2D ROI进行分组，例如，还可使用聚类算法来实现对2D ROI的分组。
在完成3D ROI的组合之后，组合单元130可将通过上述方法组合得到的3D ROI发送到分割单元140。
分割单元140可用于对3D ROI进行3D分割，以提取目标对象。在3D体积图像中对3D ROI进行3D分割来提取目标对象的方法对于本领域技术人员而言是已知的，因此为了简明，在此将不再进行详细描述。
图2示出根据本发明的另一示例性实施例的用于在3D体积图像中检测对象的设备200的框图。
参照图2，图2的设备200中的切片采样单元110、检测单元120、组合单元130和分割单元140与图1中具有相同标号的单元具有相同的功能和操作，因此在此不对其进行详细描述。此外，与图1相比，图2的设备200还包括第一排序单元150。下面将详细解释第一排序单元150的功能和操作。
在本发明的实施例中，如图2中所示，第一排序单元150可设置在组合单元130和分割单元140之间，并可在组合单元130组合出多个3D ROI时，计算指示每个3D ROI是目标对象所在区域的概率的得分，对3D ROI的得分进行排序，并将得分超过预定分数的3D ROI提供给分割单元140。
具体地讲，在本法的实施例中，可使用支持向量机、机器学习等算法，根据每个3D ROI的分量特征、纹理特征、空间特征（例如，质心、大小等）、强度特征等特征中的至少一个来确定每个3D ROI是目标对象所在区域的概率的得分，使得当3D ROI是目标对象所在区域的概率较大时，能够获得较高的得分。
仅作为示例，假设使用纹理特征来确定每个3D ROI是肿瘤所在区域的概率的得分。在计算3D ROI的得分之前，可使用大量3D肿瘤图像训练支持向量机，使得经过训练的支持向量机能够基于纹理特征来确定某个图像区域是肿瘤区域的概率的得分。然后，可将3D ROI所在的3D区域的纹理特征输入到经过训练的支持向量机，从而可获得该3D ROI是目标对象所在区域的概率的得分。可利用已知的方法，例如支持向量机、机器学习等算法来计算3DROI是目标对象所在区域的概率的得分。
通过对所有3D ROI的得分进行排序，并选择得分超过预定分数的3DROI发送到分割单元140进行3D分割，可有利于提高目标对象的检测准确度。
应该理解，当组合单元130仅输出了一个3D ROI时，排序单元150可不进行排序和选择，而是直接将所述一个3D ROI输入分割单元140。
优选地，在本发明的实施例中，如果同时使用不同的算法检测特征差异较大的不同类型的对象，则可分别对使用每个算法获得的2D ROI组成的3DROI进行排序和选择。
图3是示出根据本发明的另一示例性实施例的用于在3D体积图像中检测对象的设备的框图。
如图3中所示，图3的设备300中的切片采样单元110、检测单元120、组合单元130、分割单元140和第一排序单元150与图2中具有相同标号的单元具有相同的功能，因此在此不对其进行详细描述。此外，与图2相比，图3的设备300还在分割单元140之后增加一个第二排序单元160。
图3中的第二排序单元160可在分割单元140提取出多个目标对象时，计算指示每个目标对象是所关心的目标对象的概率的得分，对所述多个目标对象的得分进行排序，并将得分超过预定分数的目标对象确定为所关心的目标对象。这样，能够在3D体积图像中更准确地确定所关心的目标对象（例如，肿瘤）。
在本发明中，第二排序单元160的操作原理与第一排序单元150相似，即，第二排序单元160也可用支持向量机或机器学习等计算得分，因此为了简明，在此将不再进行详细描述。
此外，尽管在图3中示出设备300包括第一排序单元150和第二排序单元160，但也可根据实际需求，仅包括第二排序单元160而不包括第一排序单元150。
此外，由于由多个2D ROI组合的3D ROI在3D体积图像中通常是不连续的，因此，尽管在图1至图3中没有示出，但根据本发明的实施例的用于在3D体积图像中检测对象的设备100、200或300还可包括插值单元（未示出），所述插值单元可用于对3D ROI进行插值，以在3D体积图像中形成连续的3D ROI。插值方法对于本领域技术人员而言是已知的，因此不进行详细描述。
在本发明的实施例中，可根据需求，将所述插值单元设置在组合单元130与分割单元140之间的任意位置，例如，在图1中可设置在组合单元130与分割单元140之间，在图2和图3中可设置在组合单元130与第一排序单元150之间或第一排序单元150与分割单元140之间。
图4是示出根据本发明的示例性实施例的用于在3D图像中检测对象的方法的流程图。
如图4中所示，在步骤410，可由切片采样单元110对3D体积图像进行采样以获得多个2D图像。前文已参照图1详细解释了采样方法，因此为了简明，在此将不再进行详细描述。
在步骤420，可由检测单元120从切片采样单元110采样获得的多个2D图像中的每个2D图像检测2D ROI。具体地讲，检测单元120可使用MSER算法、E-SVM算法和DPM算法中的一个或多个在2D图像中检测2D ROI。在前文已参照图1详细解释了在2D图像中检测2D ROI方法，因此为了简明，在此将不再进行详细描述。
在步骤430，可由组合单元130使用检测单元120检测出的2D ROI来组合3D ROI。
具体地讲，在步骤430，所述组合单元130可计算检测单元120检测出的2D ROI之间的重合度或者特征相似度，依据计算出的重合度或特征相似度对2D ROI进行分组，并将属于相同组的多个2D ROI组合为一个3D ROI。例如，组合单元130可将在步骤420中使用特定算法检测出的每个2D ROI视为无向图中的一个顶点，并计算所述无向图中的每个顶点与其他顶点之间的权重。然后，组合单元130可连通所述无向图中权重大于0的所有顶点对以形成带权重的无向图。接下来，组合单元130可对带权重的无向图进行划分以获得一个或多个强连通分量。在本发明的实施例中，每个强连通分量中包括的顶点所代表2D ROI可被组合为一个3D ROI，两个顶点之间的权重可指所述两个顶点代表的两个2D ROI的重合度或特征相似度。在图1中已详细解释了组合3D ROI的方法，因此为了简明，将不再进行描述。
优选地，在步骤430中，当组合单元130组合出多个3D ROI时，可使用第一排序单元150计算指示每个3D ROI是目标对象所在区域的概率的得分，对3D ROI的得分进行排序，并选择得分超过预定分数的3D ROI作为步骤440的输入。在本发明的实施例中，第一排序单元150可使用支持向量机或机器学习来计算每个3D ROI是目标对象所在区域的概率的得分。
在步骤440，可由分割单元140对步骤430中产生的3D ROI进行3D分割，以提取目标对象。
优选地，在步骤440，当分割单元140提取出多个目标对象时，可使用第二排序单元160计算指示每个目标对象是所关心的目标对象的概率的得分，对所述多个目标对象的得分进行排序，并将得分超过预定分数的目标对象确定为所关心的目标对象。在本发明的实施例中，第二排序单元160可使用支持向量机或机器学习来计算每个目标对象是所关心的目标对象的概率的得分。
优选地，在步骤430中，还可使用插值单元（未示出）对组合单元130组合的3D ROI或第一排序单元150输出的3D ROI进行插值，以在3D体积图像中形成连续的3D ROI并将所述连续的3D ROI提供给分割单元140。
通过使用本发明的用于在三维体积图像中检测对象的设备和方法，能够在三维医学图像中同时检测不同类型对象，并取得较高的检测精确度。
本发明示例性实施例可实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。计算机可读记录介质也可分布于连接网络的计算机系统，从而计算机可读代码以分布式存储和执行。此外，完成本发明的功能程序、代码和代码段可容易地被与本发明相关的领域的普通程序员在本发明的范围之内解释。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (22)

1.一种用于在三维体积图像中检测对象的设备，包括：
切片采样单元，被配置为对三维体积图像进行采样以获得多个二维图像；
检测单元，被配置为从切片采样单元采样获得的多个二维图像中的每个二维图像检测二维感兴趣区域；
组合单元，被配置为使用检测单元检测出的二维感兴趣区域来组合三维感兴趣区域；
分割单元，被配置为对三维感兴趣区域进行三维分割，以提取目标对象。
2.如权利要求1所述的设备，还包括：
第一排序单元，被配置为当组合单元组合出多个三维感兴趣区域时，计算指示每个三维感兴趣区域是目标对象所在区域的概率的得分，对三维感兴趣区域的得分进行排序，并选择得分超过预定分数的三维感兴趣区域提供给分割单元。
3.如权利要求1或2所述的设备，还包括：
第二排序单元，被配置为当分割单元提取出多个目标对象时，计算指示每个目标对象是所关心的目标对象的概率的得分，对所述多个目标对象的得分进行排序，并将得分超过预定分数的目标对象确定为所关心的目标对象。
4.如权利要求1所述的设备，其中，所述组合单元计算检测单元检测出的二维感兴趣区域之间的重合度或者特征相似度，依据计算出的重合度或特征相似度对二维感兴趣区域进行分组，并将属于相同组的多个二维感兴趣区域组合为一个三维感兴趣区域。
5.如权利要求4所述的设备，其中，所述组合单元将检测单元检测出的每个二维感兴趣区域视为无向图的一个顶点，确定每个顶点与其他顶点之间的权重，连通所述无向图中权重大于0的所有顶点对以形成带权重的无向图，并对带权重的无向图进行划分以获得一个或多个强连通分量，其中，每个强连通分量中包括的顶点所代表的二维感兴趣区域被组合为一个三维感兴趣区域，其中，两个顶点之间的权重是指所述两个顶点代表的两个二维感兴趣区域的重合度或特征相似度。
6.如权利要求5所述的设备，其中，对于使用特定算法检测出的任意两个顶点Rm(i)和Rn(j)，在组合单元中使用下面的等式（1）来计算代表所述两个二维感兴趣区域的两个顶点之间的权重：
w ( R m ( i ) , R n ( j ) ) = Jaccard ( R m ( i ) , R n ( j ) ) | m - n | < &Delta; 0 otherwise , - - - ( 1 )
Rn(j)指示检测单元使用所述特定算法对切片采样单元采样获得的第n个二维图像In进行检测而获得的第j个二维感兴趣区域，Rm(i)指示检测单元使用所述特定算法对切片采样单元采样获得的第m个二维图像Im进行检测而获得的第i个二维感兴趣区域，Δ是用于控制两个二维感兴趣区域的连通性的阈值，Jaccard函数用于计算可连通的二维感兴趣区域的重合度。
7.如权利要求5所述的设备，其中，组合单元使用轮廓特征、纹理特征、位置特征中的一种特征来计算使用特定算法检测出的任意两个二维感兴趣区域之间的特征相似度，并将计算出的特征相似度确定为无向图中代表所述任意两个二维感兴趣区域的两个顶点之间的权重。
8.如权利要求5所述的设备，其中，使用Tarjan算法对所述带权重的无向图进行划分以获得一个或多个强连通分量。
9.如权利要求2所述的设备，其中，第一排序单元使用支持向量机或机器学习来计算每个三维感兴趣区域是目标对象所在区域的概率的得分。
10.如权利要求3所述的设备，其中，第二排序单元使用支持向量机或机器学习来计算每个目标对象是所关心的目标对象的概率的得分。
11.如权利要求1所述的设备，还包括：
插值单元，被配置为对三维感兴趣区域进行插值，以在三维体积图像中形成连续的三维感兴趣区域。
12.一种用于在三维体积图像中检测对象的方法，所述方法包括：
（a）对三维体积图像进行采样以获得多个二维图像；
（b）从采样获得的多个二维图像中的每个二维图像检测二维感兴趣区域；
（c）使用检测出的二维感兴趣区域来组合三维感兴趣区域；
（d）对三维感兴趣区域进行三维分割，以提取目标对象。
13.如权利要求12所述的方法，步骤（c）还包括：
当组合出多个三维感兴趣区域时，计算指示每个三维感兴趣区域是目标对象所在区域的概率的得分，对三维感兴趣区域的得分进行排序，并选择得分超过预定分数的三维感兴趣区域作为步骤（d）的输入。
14.如权利要求12或13所述的方法，步骤（d）还包括：
当提取出多个目标对象时，计算指示每个目标对象是所关心的目标对象的概率的得分，对所述多个目标对象的得分进行排序，并将得分超过预定分数的目标对象确定为所关心的目标对象。
15.如权利要求12中所述的方法，其中，在步骤（c）包括：
（c1）计算检测出的二维感兴趣区域之间的重合度或者特征相似度；
（c2）依据计算出的重合度或特征相似度对二维感兴趣区域进行分组，并将属于相同组的多个二维感兴趣区域组合为一个三维感兴趣区域。
16.如权利要求15所述的方法，其中，步骤（c2）包括：
将在步骤（b）中检测出的每个二维感兴趣区域视为无向图中的一个顶点，并确定每个顶点与其他顶点之间的权重；
连通所述无向图中权重大于0的所有顶点对以形成带权重的无向图；
对带权重的无向图进行划分以获得一个或多个强连通分量，
其中，每个强连通分量中包括的顶点所代表的二维感兴趣区域被组合为一个三维感兴趣区域，
其中，两个顶点之间的权重是指所述两个顶点代表的两个二维感兴趣区域的重合度或特征相似度。
17.如权利要求16所述的方法，其中，对于使用特定算法检测出的任意两个顶点Rm(i)和Rn(j)，使用下面的等式（1）来计算代表所述两个二维感兴趣区域的两个顶点之间的权重：
w ( R m ( i ) , R n ( j ) ) = Jaccard ( R m ( i ) , R n ( j ) ) | m - n | < &Delta; 0 otherwise , - - - ( 1 )
Rn(j)指示使用所述特定算法对采样获得的第n个二维图像In进行检测而获得的第j个二维感兴趣区域，Rm(i)指示使用所述特定算法对采样获得的第m个二维图像Im进行检测而获得的第i个二维感兴趣区域，Δ是用于控制两个二维感兴趣区域的连通性的阈值，Jaccard函数用于计算可连通的二维感兴趣区域的重合度。
18.如权利要求16所述的方法，其中，使用轮廓特征、纹理特征、位置特征中的一种特征来计算使用特定算法检测出的任意两个二维感兴趣区域之间的特征相似度，并将计算出的特征相似度确定为无向图中代表所述任意两个二维感兴趣区域两个顶点之间的权重。
19.如权利要求16所述的方法，其中，使用Tarjan算法对所述带权重的无向图进行划分以获得一个或多个强连通分量。
20.如权利要求13所述的方法，其中，使用支持向量机或机器学习来计算每个三维感兴趣区域是目标对象所在区域的概率的得分。
21.如权利要求14所述的方法，其中，使用支持向量机或机器学习来计算每个目标对象是所关心的目标对象的概率的得分。
22.如权利要求12所述的方法，步骤（c）还包括：对三维感兴趣区域进行插值，以在三维体积图像中形成连续的三维感兴趣区域。
CN201310421889.6A 2013-09-16 2013-09-16 用于在三维体积图像中检测对象的设备和方法 Expired - Fee Related CN104463825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310421889.6A CN104463825B (zh) 2013-09-16 2013-09-16 用于在三维体积图像中检测对象的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310421889.6A CN104463825B (zh) 2013-09-16 2013-09-16 用于在三维体积图像中检测对象的设备和方法

Publications (2)

Publication Number Publication Date
CN104463825A true CN104463825A (zh) 2015-03-25
CN104463825B CN104463825B (zh) 2019-06-18

Family

ID=52909811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310421889.6A Expired - Fee Related CN104463825B (zh) 2013-09-16 2013-09-16 用于在三维体积图像中检测对象的设备和方法

Country Status (1)

Country Link
CN (1) CN104463825B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273904A (zh) * 2017-05-31 2017-10-20 上海联影医疗科技有限公司 图像处理方法及系统
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN109934223A (zh) * 2019-03-01 2019-06-25 北京地平线机器人技术研发有限公司 一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置
CN111670357A (zh) * 2018-01-31 2020-09-15 三星电子株式会社 视觉检查管理方法和视觉检查系统
CN111886609A (zh) * 2018-03-13 2020-11-03 丰田研究所股份有限公司 用于减少机器学习中的数据存储的系统和方法
CN114008447A (zh) * 2019-06-27 2022-02-01 西门子能源环球有限责任两合公司 用于查明和显示架空电线的部件处的潜在的损伤部位的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1676104A (zh) * 2004-04-01 2005-10-05 株式会社美蒂森 用于形成3d超声图像的设备和方法
CN101194290A (zh) * 2005-06-07 2008-06-04 索尼株式会社 信息处理装置和信息处理方法、图像处理装置和图像处理方法、以及计算机程序
CN101790748A (zh) * 2007-06-19 2010-07-28 爱克发医疗保健公司 对3d数字医学图像中的解剖实体进行分割的方法
CN101969852A (zh) * 2008-03-04 2011-02-09 断层放疗公司 用于改进图像分割的方法和系统
CN102314606A (zh) * 2011-07-13 2012-01-11 温州大学 无向图结点定位方法
US20120189178A1 (en) * 2011-01-25 2012-07-26 Samsung Electronics Co., Ltd. Method and apparatus for automatically generating optimal 2-dimensional medical image from 3-dimensional medical image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1676104A (zh) * 2004-04-01 2005-10-05 株式会社美蒂森 用于形成3d超声图像的设备和方法
CN101194290A (zh) * 2005-06-07 2008-06-04 索尼株式会社 信息处理装置和信息处理方法、图像处理装置和图像处理方法、以及计算机程序
CN101790748A (zh) * 2007-06-19 2010-07-28 爱克发医疗保健公司 对3d数字医学图像中的解剖实体进行分割的方法
CN101969852A (zh) * 2008-03-04 2011-02-09 断层放疗公司 用于改进图像分割的方法和系统
US20120189178A1 (en) * 2011-01-25 2012-07-26 Samsung Electronics Co., Ltd. Method and apparatus for automatically generating optimal 2-dimensional medical image from 3-dimensional medical image
CN102314606A (zh) * 2011-07-13 2012-01-11 温州大学 无向图结点定位方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273904A (zh) * 2017-05-31 2017-10-20 上海联影医疗科技有限公司 图像处理方法及系统
CN111670357A (zh) * 2018-01-31 2020-09-15 三星电子株式会社 视觉检查管理方法和视觉检查系统
CN111886609A (zh) * 2018-03-13 2020-11-03 丰田研究所股份有限公司 用于减少机器学习中的数据存储的系统和方法
CN111886609B (zh) * 2018-03-13 2021-06-04 丰田研究所股份有限公司 用于减少机器学习中的数据存储的系统和方法
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN109446951B (zh) * 2018-10-16 2019-12-10 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN111126242A (zh) * 2018-10-16 2020-05-08 腾讯科技（深圳）有限公司 肺部图像的语义分割方法、装置、设备及存储介质
US11861501B2 (en) 2018-10-16 2024-01-02 Tencent Technology (Shenzhen) Company Limited Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium
CN109934223A (zh) * 2019-03-01 2019-06-25 北京地平线机器人技术研发有限公司 一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置
CN114008447A (zh) * 2019-06-27 2022-02-01 西门子能源环球有限责任两合公司 用于查明和显示架空电线的部件处的潜在的损伤部位的方法

Also Published As

Publication number Publication date
CN104463825B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN107016665B (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
van den Heuvel et al. Automated measurement of fetal head circumference using 2D ultrasound images
Kim et al. Machine-learning-based automatic identification of fetal abdominal circumference from ultrasound images
CN101515365B (zh) 一种ct影像中的粘连血管型肺结节自动分割方法
CN104463825A (zh) 用于在三维体积图像中检测对象的设备和方法
US9355458B2 (en) Image processing apparatus, method and program
Georgiou et al. Learning fluid flows
RU2526752C1 (ru) Система и способ для автоматического планирования двухмерных видов в объемных медицинских изображениях
CN107708550A (zh) 用于检测和测量解剖异常的分段回声结构的表面建模
US9652684B2 (en) Image processing for classification and segmentation of rock samples
CN104143193B (zh) 一种超声图像中目标对象分割方法、装置及系统
Ryou et al. Automated 3D ultrasound biometry planes extraction for first trimester fetal assessment
CN110036409A (zh) 使用联合深度学习模型进行图像分割的系统和方法
Xiao et al. Building segmentation and modeling from airborne LiDAR data
CN106073824A (zh) 用于根据剪切波成像进行剪切模量和粘度的自动评估的方法和系统
CN104881631A (zh) 多特征整合的宫颈细胞图像特征提取与识别方法及宫颈细胞特征识别装置
CN103279944A (zh) 一种基于生物地理优化的图像分割方法
CN111932552A (zh) 一种主动脉建模的方法及装置
Yang et al. Semantic segmentation in architectural floor plans for detecting walls and doors
CN110930413A (zh) 一种基于弱监督多核分类优化合并的图像分割方法
Oda et al. 3D FCN feature driven regression forest-based pancreas localization and segmentation
Chopin et al. A new method for accurate, high-throughput volume estimation from three 2D projective images
CN107292039B (zh) 一种基于小波聚类的uuv巡岸轮廓构建方法
CN110268441A (zh) 获得物体的多个部件的3d模型数据的方法
CN110738702A (zh) 一种三维超声图像的处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190618

CF01 Termination of patent right due to non-payment of annual fee