CN110692065A - 基于表面的对象识别 - Google Patents

基于表面的对象识别 Download PDF

Info

Publication number
CN110692065A
CN110692065A CN201880035041.0A CN201880035041A CN110692065A CN 110692065 A CN110692065 A CN 110692065A CN 201880035041 A CN201880035041 A CN 201880035041A CN 110692065 A CN110692065 A CN 110692065A
Authority
CN
China
Prior art keywords
target object
periphery
distribution
directions
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880035041.0A
Other languages
English (en)
Other versions
CN110692065B (zh
Inventor
赵堃
中野宏毅
关山太朗
阪本正治
根岸康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN110692065A publication Critical patent/CN110692065A/zh
Application granted granted Critical
Publication of CN110692065B publication Critical patent/CN110692065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

可以通过估计目标对象的外围的多个方向的分布，并基于该分布来识别目标对象，从而来识别目标对象。

Description

基于表面的对象识别
背景技术
本发明涉及基于表面的对象识别。
诸如神经网络中的机器学习已经用于对象的图像识别。例如，已知的基于CT图像的结节(或癌症)检测。过去，2D图像被输入到神经网络中用于结节检测，如Hua，Kai-Lung等人在由《肿瘤靶向治疗》(OncoTargets and therapy)8(2015):2015–2022.PMC.Web.17Oct.2016出版的"通过深度学习技术对计算机断层摄影图像上的肺结节的计算机辅助分类"(“Computer-Aided Classification of Lung Nodules on ComputedTomography Images via Deep Learning Technique”)以及Richard Gruetzemacher和Ashish Gupta在《智能和智能系统》(Intelligence and Intelligent Systems(SIGODIS))2016.11.8出版的"使用深度学习进行肺结节检测和诊断"(“Using Deep Learning forPulmonary Nodule Detection&Diagnosis”)。
然而，由于2D(二维)图像有时可能不表示对象的3D(三维)形态特征，所以用2D图像对对象的识别可能不是足够精确的。另外，2D图像由于其大的数据大小而需要长的训练时间。
代替2D图像，对象的3D数据可以用于对象的识别。然而，用3D数据训练比用2D图像更耗时。
发明内容
根据本发明的第一方面，提供了一种方法，包括：估计目标对象的外围的多个方向的分布，以及基于该分布来识别目标对象。根据第一方面，可以用较少的计算资源准确地确定目标对象的识别。
根据本发明的第二方面，提供了第一方面的方法，其中目标对象的外围的多个方向对应于从参考点到目标对象的外围的方向。根据第二方面，可以用较少的计算资源精确地确定目标对象是否是结节。
根据本发明的第三方面，提供了第一或第二方面的方法，其中目标对象的外围对应于目标对象的体素数据的等值面。根据第二方面，可以用较少的计算资源准确地确定目标对象的识别。
根据本发明的第四方面，提供了第一至第三方面中任一方面的方法，其中，等值面包括多个子区域，并且目标对象的外围的多个方向中的每一个都是多个子区域中的每一个的方向。根据第四方面，可以用较少的计算资源准确地确定目标对象的识别。
根据本发明的第五方面，提供了第一至第四方面中任一方面的方法，其中，目标对象的外围的多个方向的分布是法线向量和中心向量之间的角度的余弦值的分布，法线向量是多个子区域的每个子区域的，并且中心向量在目标对象的中心和每个子区域的中心之间形成。根据第五方面，可以用较少的计算资源准确地确定目标对象的识别。
上述第一至第五方面还可以包括执行前述方法的装置，以及存储在计算机可读介质或可编程电路上实现的指令的计算机程序产品，用于使处理器或可编程电路执行前述方法。
发明内容的语句不一定描述本发明的实施例的所有特征。本发明的实施例还可以包括上述特征的子组合。
附图说明
图1示出了根据本发明实施例的装置的示例性配置；
图2示出了根据本发明实施例的装置所采取的操作步骤的流程图；
图3A-3O示出了根据本发明实施例的模板立方体；
图4示出了根据本发明实施例的对象的外围；
图5示出了根据本发明实施例的子区域；
图6示出了根据本发明实施例的分布；
图7示出了根据本发明实施例的CNN；
图8示出了根据本发明实施例的用作系统的计算机的示例性硬件配置。
具体实施方式
在下文中，将描述本发明的示例实施例。示例实施例不应限制如权利要求的本发明，并且实施例中描述的特征的组合不一定是本发明必不可少的。
图1示出了根据本发明实施例的装置10的示例性配置。装置10可以基于目标对象的外围来识别目标对象。在一个实施例中，装置10可以接收作为目标对象的身体组织的体素数据，并且通过利用神经网络基于身体组织的外围来识别身体组织是否是结节。
装置10可包括处理器和/或可编程电路。装置10还可以包括共同包括指令的一个或多个计算机可读介质。指令可以嵌入在计算机可读介质和/或可编程电路上。
当由处理器或可编程电路执行时，指令可以使处理器或可编程电路作为多个操作部分操作。因此，装置10可以被视为包括存储部分100、接收部分110、提取部分120、估计部分130、识别部分150和训练部分170。
存储部分100可以存储用于装置10执行的处理的信息。存储部分100还可以存储用于装置10的操作的各种数据/指令。装置10中的一个或多个其他元件(例如，接收部分110、提取部分120、估计部分130、识别部分150，训练部分170等)可以根据需要直接或经由存储部分100传送数据。存储部分可以由装置10的易失性或非易失性存储器实现。在一个实施例中，存储部分100可以存储为神经网络训练的权重。
接收部分110可以接收目标对象的三维数据。在一个实施例中，接收部分可以从数据库20或装置10的用户接收目标对象的体素数据。接收部分110还可以从数据库20接收训练对象的三维数据和训练对象的标识。
提取部分120可以从目标对象的三维数据中提取目标对象的外围。在一个实施例中，提取部分120可以提取目标对象的体素数据的等值面作为目标对象的外围。提取部分120可以从训练对象的三维数据中提取训练对象的外围。
估计部分130可以估计目标对象的外围的多个方向的分布。在一个实施例中，估计部分130可以生成目标对象的外围的多个方向的直方图，作为目标对象的外围的多个方向的分布。估计部分130还可以估计训练对象的外围的多个方向的分布。
识别部分150可以基于由估计部分130估计的分布来识别目标对象。在一个实施例中，识别部分150可以通过将分布输入到神经网络中来识别目标对象。
训练部分170可以训练具有包括多个训练集的训练数据的神经网络。在一个实施例中，每个训练集可以包括一个训练对象的外围的多个方向的分布和该一个训练对象的标识。
图2示出了根据本发明实施例的装置所采取的操作步骤的流程图。本实施例描述了一个例子，其中诸如装置10的装置执行从S110到S180的操作，如图2所示。该装置可以在整个S110-S140中执行训练阶段，其中训练神经网络。在整个S150-S180中执行测试阶段，其中目标对象由训练的神经网络识别。在一个实施例中，该装置可以仅执行训练阶段或测试阶段。
在S110，接收部分(诸如接收部分110)可以接收多个训练对象的三维数据。在一个实施例中，接收部分可以从数据库(诸如数据库20)接收多个训练对象中的每个训练对象的体素数据。
在一个实施例中，接收部分可以从MRI设备、CT扫描仪和/或其他3D成像设备接收身体组织(例如肺、肝、心脏、胃、肠、血管、骨骼、脑，其他器官等)的体素数据作为训练对象。例如，接收部分可以接收具有64个CT图像的体素数据，每个图像是肺的64×64像素切片，作为训练对象。
在一个实施例中，接收部分可以从数据库接收多个训练对象中的每个训练对象的2D图像。例如，接收部分可以从数据库接收肺切片的CT图像作为多个训练对象。
接收部分还可以接收多个训练对象的标识。在一个实施例中，标识可以是关于目标对象是属于第一类还是第二类。在该实施例中，第一类可以指示目标对象是正常的，并且第二类可以指示目标对象是异常的。
例如，接收部分可以接收训练对象是否是结节(或癌症)作为多个训练对象中的每个训练对象的训练对象的标识。对于训练对象，可以确认诊断为“结节”或“非结节”，由医生进行确认。
在S120，提取部分(诸如提取部分120)可以从训练对象的三维数据中提取训练对象的外围。外围可以是表示训练/目标对象的外形的形状。
在一个实施例中，提取部分可以提取每个训练对象的体素数据的等值面作为每个训练对象的外围。在一个实施例中，体素数据的等值面可以是由体素数据中具有恒定值或近似恒定值的顶点组成的表面。例如，等值面可以是从MRI体素数据中提取的具有相同或近似相同量的1H原子的表面。
在该实施例中，提取部分可以通过利用行进立方体算法来提取等值面。例如，提取部分可以基于预定的截止值将训练对象的体素数据中的每个体素变换为顶点，使得每个顶点具有值0或1。变换后的顶点形成立方体阵列，每个立方体包括具有值0或1的8个顶点。估计部分可以通过连接具有值1的顶点(例如，通过将模板立方体应用于顶点)来生成等值面。
图3A-3O示出了根据本发明实施例的模板立方体。图3A-3O中所示的15个立方体可以用作行进立方体算法的模板立方体。在图3A-3O中，立方体内的阴影线对应于具有值1的顶点，而立方体中的其他顶点对应于具有值0的顶点，并且散列表面对应于等值面的一部分。
例如，如果变换的体素数据中的立方体具有8个具有值0的顶点，则立方体不具有等值面，如图3A所示。如果变换的体素数据中的立方体具有值为1的1个顶点和具有值0的7个顶点，则立方体具有三角形等值面，如图3B所示。如果变换的体素数据中的立方体具有值为1的两个相邻顶点和具有值0的6个顶点，则立方体具有矩形等值面，如
图3C所示。图3C中的矩形等值面可以分成两个三角形等值面。
类似地，可以基于模板立方体形成各种图案的部分等值面，例如图3A-3O所示。图3A-3O中所示的模板立方体可以覆盖具有值1的顶点和由变换顶点形成的立方体的具有值0的顶点的组合的所有模式。
图4示出了根据本发明实施例的对象的外围。在一个实施例中，提取部分可以基于行进立方体算法提取训练对象的等值面，例如图4所示。等值面可包括多个子区域。多个子区域中的每个子区域可以是在训练对象的体素数据中具有恒定值的顶点的三角形。这些子区域可以对应于图3B-3O中所示的阴影三角形等值面。在图4中示出了一个三角形子区域401。
在一个实施例中，提取部分可以通过使用单个截止值来提取训练对象的单层等值面。在一个实施例中，提取部分可以通过使用一个或多个截止值来提取训练对象的分层等值面。
在一些备选实施例中，提取部分可以通过除了行进立方体之外的方法来提取体素数据的等值面。例如，提取部分可以通过内插算法估计体素数据中具有恒定值的3D位置，并连接估计的位置以生成等值面。
在S130，估计部分(诸如估计部分130)可以估计训练对象的外围的多个方向的分布。在一个实施例中，估计部分可以识别训练对象的等值面的方向。在该实施例中，估计部分可以识别等值面的多个子区域中的每个子区域的方向。在图4的实施例中，估计部分可以确定等值面的全部或部分子区域的方向。可以通过一个或两个参数来识别子区域的方向。
估计部分可以首先估计训练对象的从参考点到所述训练对象外围的外围的方向。在一个实施例中，参考点可以是训练对象的中心。
在一个实施例中，训练对象的中心可以是由包括至少一个子区域的立方体组成的三维形状的中心、包括至少一个子区域的立方体的边界框的中心、或由等值面覆盖的三维形状的中心。估计部分可以通过考虑训练对象的密度(例如，MRI体素数据中的1H的量)来确定训练对象的中心。
图5示出了根据本发明实施例的子区域。估计部分可以估计在训练对象的中心和每个子区域的中心之间形成的中心向量。在图5的实施例中，估计部分可估计在训练对象的中心503和子区域401的中心504之间形成的中心向量(如虚线箭头所示)。在替代实施例中，估计部分可以估计在训练对象的中心和每个子区域的一个顶点之间形成的中心向量。
估计部分还可以估计多个子区域的每个子区域的中心向量和法向向量之间的角度。在一个实施例中，估计部分可以估计每个子区域的法线向量和中心向量之间的角度的余弦值。在一个实施例中，估计部分可以估计每个子区域的法线向量和中心向量之间的角度的正弦值。
估计部分还可以估计每个子区域的由中心向量产生的平面与法向向量之间的第二角度，以及预定的参考平面。估计部分还可以使用第二角度、第二角度的余弦值和/或第二角度的正弦值作为每个子区域的方向的至少一部分。
估计部分可以基于估计的余弦值、正弦值和/或角度本身来生成训练对象的外围的多个方向的分布。在一个实施例中，估计部分可以将法线向量和多个子区域的中心向量之间的角度的余弦值累积，以产生分布。
在一个实施例中，估计部分可以将法线向量和多个子区域的中心向量之间的角度的正弦值累积，以产生分布。在一个实施例中，估计部分可以将法线向量和多个子区域的中心向量之间的角度值累积以产生分布。
在一个实施例中，估计部分可以生成由法线向量和训练对象的等值面的多个子区域的中心向量所成的角度的累积余弦值、正弦值和/或角度的直方图作为分布。在一个实施例中，估计部分可以使用第二角度，第二角度的余弦值和/或第二角度的正弦值来估计分布。
图6示出了根据本发明的实施例的分布。估计部分可以生成如图6所示的法向向量和多个子区域的中心向量之间的角度的余弦值的直方图作为分布。水平轴对应于余弦值的区间，垂直轴对应于图6中的每个余弦值的计数或比率。
结节通常可以采用球形，其中子区域的方向给出余弦值为1。因此，如果训练对象是结节，则训练对象的分布通常具有接近1的峰值。
在一个实施例中，除了方向的分布之外，估计部分还可以估计多个子区域的中心向量的长度的分布。
在替代实施例中，估计部分还可以计算每个子区域的中心向量的长度。在该实施例中，估计部分可以生成多个子区域的中心向量的长度的分布。
在替代实施例中，估计部分可以利用与相邻子区域形成的角度来识别等值面的每个子区域的方向。例如，估计部分可以生成与每个子区域和相邻子区域形成的相邻角度的分布、相邻角度的余弦值的分布、和/或相邻角度的正弦值的分布。
在替代实施例中，估计部分可以生成近似直方图的已知分布(诸如高斯分布)。在该实施例中，估计部分可以使用已知分布而不是S140的直方图。
在S140，训练部分(诸如训练部分170)可以训练具有多个训练集的神经网络。多个训练集中的每一个可以包括在S130估计的每个训练对象的分布(例如，直方图)和在S110接收的每个训练对象的标识。
在一个实施例中，每个训练集可以包括每个训练对象的等值面的方位的直方图以及每个训练对象(例如，身体组织)是否是结节的标识。在一个实施例中，每个训练集可以包括从分布导出的平均值和方差，而不是分布本身。
在一个实施例中，训练部分可以确定神经网络中的层中的每个节点与另一层中的每个节点之间的权重。在一个实施例中，训练部分可以通过执行反向传播来确定权重。在一个实施例中，神经网络可以是卷积神经网络(CNN)。
图7示出了根据本发明实施例的CNN。训练部分可以训练由图7的结构表示的神经网络。如图所示，神经网络可以包括多个(例如，三个)卷积层和汇集层的组，以及至少一个完全连接的层。卷积层可以是通过对输入执行滤波处理来执行卷积的层，并且可以包括与多个滤波器对应的多个神经元。
汇集层可以是应用矩形滤波器以提取输入的最大值的层，并且可以包括与多个矩形滤波器对应的多个神经元。所述至少一个完全连接的层可以包括多个层，每个层具有多个神经元，并且神经元可以在每个层之间彼此连接。
来自最低汇集层的所得输出可以输入到多个(例如，两个)完全连接的层。完全连接层的输出结果可以作为神经网络的输出来输出。在一个实施例中，训练部分可以训练卷积层、汇集层和完全连接的层中的节点之间至少一些权重。
由于分布(例如，直方图)是1D特征，因此CNN可以是具有1D卷积层和1D汇集层的1D-CNN。无论分布的微小变化或转移，1D-CNN都可以提取分布的特征。因此，训练有素的CNN可以提取分布的粗略特征。
在S150，接收部分可以接收目标对象的三维数据。目标对象可以是尚未识别的对象。在一个实施例中，接收部分可以从数据库或设备的用户接收目标对象的体素数据。接收部分可以从MRI设备、CT扫描仪和/或其他3D成像设备接收身体组织(诸如肺、肝、心脏、胃、肠、血管、骨、脑等)的体素数据作为目标对象。
在S160，提取部分可以提取目标对象的外围。提取部分可以以与S120的操作相同或类似的方式执行S160的操作。
在S170，估计部分可以估计目标对象的外围的多个方向的分布。估计部分可以以与S130的操作相同或类似的方式执行S170的操作。
在S180，识别部分(诸如识别部分150)可以基于使用在S140训练的神经网络在S170估计的分布来识别目标对象。在一个实施例中，识别部分可以处理神经网络的计算。
神经网络可以接收直方图作为1D-CNN的输入。在一个实施例中，由于方向的变化(例如，余弦值)，相似的等值面的直方图频率可以由不同的相邻的二进制位计数。方向的变化可以通过1D-卷积和1D-汇集来吸收。
神经网络可以输出目标对象的标识。在一个实施例中，神经网络可以输出值0或1，其中0表示目标对象是结节，1表示目标对象不是结节。在一个实施例中，神经网络可以输出目标对象是结节的可能性。
如关于前述实施例所解释的，该装置可以通过利用目标对象的外围的方向的信息来识别目标对象。对于3D形态特征，目标对象的外围的方向信息可以比目标对象的2D图像更具信息性。
目标对象的外围的方向的信息由诸如分布(例如，直方图)的1D信息表示，并且具有比目标对象的3D数据更少的数据量。因此，该装置可以用较少的计算资源准确地识别目标对象。例如，该装置可以基于从身体组织的体素数据导出的身体组织的外围来确定身体组织是否是结节。
在前述实施例中，训练部分训练神经网络。在一些备选实施例中，训练部分可以训练其他学习机器。在一个实施例中，训练部分可以使用训练数据训练支持向量机(或SVM)，并且识别部分可以使用训练的SVM识别目标对象。
在前述实施例中，估计部分可以使用训练/目标对象的预定中心。在一些备选实施例中，估计部分可以搜索训练对象的中心，使得训练对象的外围的方向的分布(例如，直方图)的变化最小化。由此，估计部分可以生成指示球形特征的分布。
图8示出了根据本发明实施例的可配置用于云服务应用的计算机的示例性硬件配置。安装在计算机800中的程序可以使计算机800用作或执行与本发明实施例的装置或其一个或多个部分(包括模块，组件，元件等)相关联的操作，和/或或者使计算机800执行本发明实施例或其步骤的过程。这样的程序可以由CPU 800-12执行，以使计算机800执行与本文描述的流程图和框图的一些或全部块相关联的某些操作。
根据本实施例的计算机800包括CPU 800-12、RAM 800-14、图形控制器800-16和显示设备800-18，它们通过主机控制器800-10相互连接。计算机800还包括输入/输出单元，例如通信接口800-22、硬盘驱动器800-24、DVD-ROM驱动器800-26和IC卡驱动器，它们通过输入/输出控制器800-20连接到主机控制器800-10。计算机还包括传统的输入/输出单元，例如ROM 800-30和键盘800-42，它们通过输入/输出芯片800-40连接到输入/输出控制器800-20。
CPU 800-12根据存储在ROM 800-30和RAM 800-14中的程序进行操作，从而控制每个单元。图形控制器800-16在RAM 800-14或其自身中提供的帧缓冲器等上接收由CPU 800-12生成的图像数据，并使图像数据显示在显示设备800-18上。
通信接口800-22经由网络800-50与其他电子设备通信。硬盘驱动器800-24存储在计算机800内由CPU 800-12使用的程序和数据。DVD-ROM驱动器800-26从DVD-ROM 800-01读取程序或数据，并通过RAM 800-14将程序或数据提供给给硬盘磁盘驱动器800-24。IC卡驱动器从IC卡读取程序和数据，和/或将程序和数据写入IC卡。
ROM 800-30在其中存储由计算机800在激活时执行的引导程序等，和/或取决于计算机800的硬件的程序。输入/输出芯片800-40可以还通过并行端口、串行端口、键盘端口、鼠标端口等将各种输入/输出单元连接到输入/输出控制器800-20。
程序由计算机可读介质(诸如DVD-ROM 800-01或IC卡)提供。从计算机可读介质读取程序安装在硬盘驱动器800-24、RAM 800-14或ROM 800-30中，它们也是计算机可读介质的示例，并且由CPU 800-12执行。这些程序中描述的信息处理被读入计算机800，导致程序与上述各种类型的硬件资源之间的协作。可以通过根据计算机800的使用实现信息的操作或处理来构成装置或方法。
例如，当在计算机800和外部设备之间执行通信时，CPU 800-12可以执行加载到RAM 800-14上的通信程序，以基于通信程序中描述的处理指导到通信接口800-22的通信处理。通信接口800-22在CPU 800-12的控制下，读取存储在诸如RAM 800-14、硬盘驱动器800-24、DVD-ROM800-01或IC卡等记录介质中提供的传输缓冲区域上的传输数据，将读取的发送数据发送到网络800-50，或者将从网络800-50接收的接收数据写入设置在记录介质上的接收缓冲区域等。
此外，CPU 800-12可以将文件或数据库的全部或必要部分读入到RAM 800-14，该文件或数据库已经存储在诸如外部的记录介质(诸如硬盘驱动器800-24、DVD-ROM驱动器800-26(DVD-ROM 800-01)、IC卡等)中，并对RAM 800-14上的数据执行各种类型的处理。然后，CPU 800-12可以将处理后的数据写回外部记录介质。
可以将各种类型的信息(例如各种类型的程序、数据、表格和数据库)存储在记录介质中以进行信息处理。CPU 800-12可以对从RAM 800-14读取的数据执行各种类型的处理，其包括各种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的搜索/替换等，如在整个本公开中所描述的并且由指令序列的程序指定，并且将结果写回到RAM 800-14。
另外，CPU 800-12可以在记录介质中搜索文件、数据库等中的信息。例如，当多个条目(每个条目具有第一属性的属性值，该第一属性的属性值与第二属性的属性值相关联)存储在记录介质中时，CPU 800-12可以搜索匹配条件的条目，该条件的属性值为从多个条目中指定为第一属性的属性值，并读取存储在条目中的第二属性的属性值，从而接收与满足预定条件的第一属性相关联的第二属性的属性值。
上述程序或软件模块可以存储在计算机800上或附近的计算机可读介质中。此外，服务器系统提供的(诸如硬盘或RAM之类)连接到专用通信网络或因特网记录介质可以用作计算机可读介质，从而通过网络将程序提供给计算机800的程序。
在任何可能的技术细节结合层面，本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
虽然已经描述了本发明的实施例，但是本发明的技术范围不限于上述实施例。对于本领域技术人员显而易见的是，可以对上述实施例添加各种改变和改进。从权利要求的范围中还显而易见的是，添加有这种改变或改进的实施例可以包括在本发明的技术范围内。
由权利要求、实施例或图中所示的装置、系统、程序和方法执行的每个过程的操作、过程、步骤和阶段可以以任何顺序执行，只要该顺序未由“之前”、“之前”等等，并且只要先前过程的输出未在后续过程中使用。即使在权利要求、实施例或图中使用诸如“第一”或“下一个”的短语来描述处理流程，也不一定意味着必须以该顺序执行该处理。

Claims (25)

1.一种方法，包括：
估计目标对象的外围的多个方向的分布；以及
根据所述分布识别所述目标对象。
2.如权利要求1所述的方法，其中，所述目标对象的所述外围的所述多个方向对应于从参考点指向所述目标对象的所述外围的方向。
3.如权利要求2所述的方法，其中，所述参考点是所述目标对象的中心。
4.如权利要求3所述的方法，其中，所述目标对象的所述外围对应于所述目标对象的体素数据的等值面。
5.如权利要求4所述的方法，其中，所述等值面包括多个子区域，并且所述目标对象的所述外围的所述多个方向中的每个方向是所述多个子区域中的每个子区域的方向。
6.如权利要求5所述的方法，其中每个子区域是在所述目标对象的所述体素数据中具有恒定值的顶点的三角形。
7.如权利要求6所述的方法，其中，所述目标对象的所述外围的所述多个方向的分布是法线向量和中心向量之间的角度的余弦值的分布，所述法线向量是多个子区域中的每个子区域的，并且所述中心向量是在所述目标对象的中心和所述每个子区域的中心之间形成的。
8.如权利要求1所述的方法，其中，所述目标对象的所述外围的所述多个方向的分布包括所述目标对象的所述外围的所述多个方向的直方图。
9.如权利要求1所述的方法，其中使用所述分布识别所述目标对象是通过使用神经网络来执行的。
10.如权利要求9所述的方法，其中，所述神经网络是卷积神经网络。
11.如权利要求9所述的方法，还包括：
训练具有多个训练集的所述神经网络，每个训练集包括训练对象的训练外围的多个方向的分布和所述训练对象的标识。
12.如权利要求1所述的方法，其中所述目标对象是身体组织。
13.一种装置，包括：
处理器或可编程电路，以及
一个或多个计算机可读介质，共同包括指令，当由所述处理器或所述可编程电路执行时，该指令使所述处理器或所述可编程电路执行：
接收目标对象的外围；
估计所述目标对象的所述外围的多个方向的分布；以及
根据所述分布识别所述目标对象。
14.如权利要求13所述的装置，其中，所述目标对象的所述外围的所述多个方向对应于从参考点指向所述目标对象的所述外围的方向。
15.如权利要求14所述的装置，其中，所述参考点是所述目标对象的中心。
16.如权利要求15所述的装置，其中，所述目标对象的所述外围对应于所述目标对象的体素数据的等值面。
17.如权利要求16所述的装置，其中，所述等值面包括多个子区域，并且所述目标对象的所述外围的所述多个方向中的每个方向是所述多个子区域中的每个子区域的方向。
18.如权利要求17所述的装置，其中每个子区域是在所述目标对象的所述体素数据中具有恒定值的顶点的三角形。
19.如权利要求18所述的装置，其中，所述目标对象的所述外围的所述多个方向的分布是法线向量和中心向量之间的角度的余弦值的分布，所述法线向量是多个子区域中的每个子区域的，并且所述中心向量是在所述目标对象的中心和所述每个子区域的中心之间形成的。
20.一种计算机程序产品，具有包含在计算机可读介质或可编程电路上的指令，所述指令分别可由处理器或所述可编程电路执行，以使所述处理器或所述可编程电路执行包括以下操作的操作：
接收目标对象的外围；
估计所述目标对象的所述外围的多个方向的分布；以及
根据所述分布识别所述目标对象。
21.如权利要求20所述的计算机程序产品，其中，所述目标对象的所述外围的所述多个方向对应于从参考点指向所述目标对象的所述外围的方向。
22.如权利要求21所述的计算机程序产品，其中，所述参考点是所述目标对象的中心。
23.如权利要求22所述的计算机程序产品，其中，所述目标对象的所述外围对应于所述目标对象的体素数据的等值面。
24.如权利要求20所述的计算机程序产品，其中，所述等值面包括多个子区域，并且所述目标对象的所述外围的所述多个方向中的每个方向是所述多个子区域中的每个子区域的方向。
25.如权利要求24所述的计算机程序产品，其中每个子区域是在所述目标对象的所述体素数据中具有恒定值的顶点的三角形。
CN201880035041.0A 2017-05-30 2018-05-16 基于表面的对象识别的方法、装置和计算机可读存储介质 Active CN110692065B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/608,814 US10169874B2 (en) 2017-05-30 2017-05-30 Surface-based object identification
US15/608,814 2017-05-30
PCT/IB2018/053402 WO2018220461A1 (en) 2017-05-30 2018-05-16 Surface-based object identification

Publications (2)

Publication Number Publication Date
CN110692065A true CN110692065A (zh) 2020-01-14
CN110692065B CN110692065B (zh) 2023-05-09

Family

ID=64455282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880035041.0A Active CN110692065B (zh) 2017-05-30 2018-05-16 基于表面的对象识别的方法、装置和计算机可读存储介质

Country Status (6)

Country Link
US (1) US10169874B2 (zh)
JP (1) JP7033369B2 (zh)
CN (1) CN110692065B (zh)
DE (1) DE112018000696T5 (zh)
GB (1) GB2577651A (zh)
WO (1) WO2018220461A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112998668A (zh) * 2021-02-06 2021-06-22 路晟悠拜(重庆)科技有限公司 基于毫米波的非接触式远场多人体呼吸心率监测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945537B (zh) * 2017-07-28 2023-09-22 索尼互动娱乐股份有限公司 训练装置、识别装置、训练方法、识别方法和程序
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010043729A1 (en) * 2000-02-04 2001-11-22 Arch Development Corporation Method, system and computer readable medium for an intelligent search workstation for computer assisted interpretation of medical images
US20060093196A1 (en) * 2004-10-28 2006-05-04 Odry Benjamin L System and method for automatic detection and localization of 3D bumps in medical images
US20060110017A1 (en) * 2004-11-25 2006-05-25 Chung Yuan Christian University Method for spinal disease diagnosis based on image analysis of unaligned transversal slices
US20060120591A1 (en) * 2004-12-07 2006-06-08 Pascal Cathier Shape index weighted voting for detection of objects
US20070286469A1 (en) * 2006-06-08 2007-12-13 Hitoshi Yamagata Computer-aided image diagnostic processing device and computer-aided image diagnostic processing program product
US20080080770A1 (en) * 2006-09-28 2008-04-03 General Electric Company Method and system for identifying regions in an image
US20090220155A1 (en) * 2008-02-29 2009-09-03 Canon Kabushiki Kaisha Image processing method, pattern detection method, pattern recognition method, and image processing device
CN102968611A (zh) * 2011-08-05 2013-03-13 索尼公司 信息处理器和信息处理方法
CN104700419A (zh) * 2015-03-27 2015-06-10 马学梅 一种放射科x光片的图像处理方法
CN106471548A (zh) * 2014-07-10 2017-03-01 高通股份有限公司 使用外围信息的加速模板匹配

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001078005A2 (en) 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
AU2001275444A1 (en) * 2000-06-09 2001-12-17 K. Walt Herridge Apparatus, methods and computer program products for performing high speed division calculations
JP2004522464A (ja) * 2000-10-02 2004-07-29 ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク 向上した視覚化、ナビゲーション及び検査
US7538764B2 (en) * 2001-01-05 2009-05-26 Interuniversitair Micro-Elektronica Centrum (Imec) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
US7043064B2 (en) * 2001-05-04 2006-05-09 The Board Of Trustees Of The Leland Stanford Junior University Method for characterizing shapes in medical images
US7058210B2 (en) * 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection
US8126244B2 (en) * 2007-09-21 2012-02-28 Siemens Medical Solutions Usa, Inc. User interface for polyp annotation, segmentation, and measurement in 3D computed tomography colonography
JP5527869B2 (ja) * 2008-03-21 2014-06-25 国立大学法人神戸大学 画像診断支援処理装置および画像診断支援処理プログラム
US9805473B2 (en) * 2008-09-19 2017-10-31 Siemens Healthcare Gmbh Method and system for segmentation of brain structures in 3D magnetic resonance images
US9639949B2 (en) * 2010-03-15 2017-05-02 Analog Devices, Inc. Edge orientation for second derivative edge detection methods
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
CN105809730B (zh) 2016-03-07 2018-08-07 哈尔滨工程大学 一种长骨骨折断面点云提取方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010043729A1 (en) * 2000-02-04 2001-11-22 Arch Development Corporation Method, system and computer readable medium for an intelligent search workstation for computer assisted interpretation of medical images
US20060093196A1 (en) * 2004-10-28 2006-05-04 Odry Benjamin L System and method for automatic detection and localization of 3D bumps in medical images
US20060110017A1 (en) * 2004-11-25 2006-05-25 Chung Yuan Christian University Method for spinal disease diagnosis based on image analysis of unaligned transversal slices
US20060120591A1 (en) * 2004-12-07 2006-06-08 Pascal Cathier Shape index weighted voting for detection of objects
US7529395B2 (en) * 2004-12-07 2009-05-05 Siemens Medical Solutions Usa, Inc. Shape index weighted voting for detection of objects
US20070286469A1 (en) * 2006-06-08 2007-12-13 Hitoshi Yamagata Computer-aided image diagnostic processing device and computer-aided image diagnostic processing program product
US20080080770A1 (en) * 2006-09-28 2008-04-03 General Electric Company Method and system for identifying regions in an image
US20090220155A1 (en) * 2008-02-29 2009-09-03 Canon Kabushiki Kaisha Image processing method, pattern detection method, pattern recognition method, and image processing device
CN102968611A (zh) * 2011-08-05 2013-03-13 索尼公司 信息处理器和信息处理方法
CN106471548A (zh) * 2014-07-10 2017-03-01 高通股份有限公司 使用外围信息的加速模板匹配
CN104700419A (zh) * 2015-03-27 2015-06-10 马学梅 一种放射科x光片的图像处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112998668A (zh) * 2021-02-06 2021-06-22 路晟悠拜(重庆)科技有限公司 基于毫米波的非接触式远场多人体呼吸心率监测方法

Also Published As

Publication number Publication date
US10169874B2 (en) 2019-01-01
CN110692065B (zh) 2023-05-09
GB201918312D0 (en) 2020-01-29
GB2577651A (en) 2020-04-01
DE112018000696T5 (de) 2019-10-17
US20180350063A1 (en) 2018-12-06
JP2020522056A (ja) 2020-07-27
WO2018220461A1 (en) 2018-12-06
JP7033369B2 (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
US11593943B2 (en) RECIST assessment of tumour progression
CN109685060B (zh) 图像处理方法和装置
Holtzman-Gazit et al. Segmentation of thin structures in volumetric medical images
US9633483B1 (en) System for filtering, segmenting and recognizing objects in unconstrained environments
RU2689029C2 (ru) Система и способ автоматического построения контуров в адаптивной радиотерапии
Ji et al. A new multistage medical segmentation method based on superpixel and fuzzy clustering
JP2019076699A (ja) 偽陽性低減での小結節検出
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
US10366488B2 (en) Image processing used to estimate abnormalities
WO2010001127A1 (en) Medical image segmentation
US20180060723A1 (en) Cascaded neural networks
CN110692065B (zh) 基于表面的对象识别的方法、装置和计算机可读存储介质
Liu Stbi-yolo: A real-time object detection method for lung nodule recognition
JP2016049454A (ja) ３ｄ医用画像中の対象物を分割するための３ｄ対象物の変換
EP4141790A1 (en) Method, device and system for automated segmentation of prostate in medical images for tumor detection
US20190392552A1 (en) Spine image registration method
CN114758093A (zh) 基于图像序列的三维模型生成方法、装置、设备及介质
Zhao et al. Comparison of the existing tool localisation methods on two‐dimensional ultrasound images and their tracking results
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN108805876B (zh) 使用生物力学模型的磁共振和超声图像的可形变配准的方法和系统
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
Pietka et al. Open architecture computer‐aided diagnosis system
Pramod Kumar et al. Volumetric lung nodule segmentation in thoracic CT scan using freehand sketch
CN116228850A (zh) 物体姿态估计方法、装置、电子设备及可读存储介质
Preedanan et al. Urinary stones segmentation in abdominal X-ray images using cascaded U-net pipeline with stone-embedding augmentation and lesion-size reweighting approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant