CN108292530A - 根据光学扫描进行胸壁估计 - Google Patents

根据光学扫描进行胸壁估计 Download PDF

Info

Publication number
CN108292530A
CN108292530A CN201680070819.2A CN201680070819A CN108292530A CN 108292530 A CN108292530 A CN 108292530A CN 201680070819 A CN201680070819 A CN 201680070819A CN 108292530 A CN108292530 A CN 108292530A
Authority
CN
China
Prior art keywords
wall
estimation
image
outer layer
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680070819.2A
Other languages
English (en)
Other versions
CN108292530B (zh
Inventor
D·B·库特拉
T·比洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN108292530A publication Critical patent/CN108292530A/zh
Application granted granted Critical
Publication of CN108292530B publication Critical patent/CN108292530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种图像处理系统(IPS)包括用于接收当前生物力学组件(TOR)的外层(OL)的表面图像的输入端口(IN)。所述图像是由表面成像装置(DSC)沿着至少一个成像方向采集的。所述组件包括相对于所述成像方向在所述外层后面的、从后面连结到所述外层的内壁元件(RC)。所述图像处理系统还包括被配置为提供针对所述内壁元件(RC)的几何数据的估计的壁估计器(WE)，所述估计基于按照所述表面图像的图像信息。

Description

根据光学扫描进行胸壁估计
技术领域
本发明涉及图像处理系统、图像处理方法、计算机可读介质以及计算机程序单元。
背景技术
乳腺癌是西方世界女性遭受的最常见的癌症类型。
患者有几种治疗选择，例如，手术，其中，乳房组织的受影响部分会被移除。在联合决策制定的背景下，已经开发出了生物力学方法来预先模拟乳房手术的结果。该模拟为患者或医学人员提供了手术结果的视觉表示以更好地理解预后。
目前，生物力学组件(例如，人体躯干)的这种模拟的产生是基于针对特定患者中的任一个采集的MR图像或CT图像。换句话说，在能够计算针对给定患者的模拟之前，需要首先采集特定患者的图像。然而，这种图像的采集要么非常昂贵，要么由于X辐射情况下的辐射剂量而本身会造成健康风险。
发明内容
因此需要替代系统或方法来促进更安全地产生对生物力学组件的模拟。
本发明的目的通过独立权利要求的主题来解决，其中，进一步的实施例被并入从属权利要求中。应当注意，本发明的以下描述的方面等同地适用于图像处理方法、图像处理系统、计算机程序单元和计算机可读介质。
根据本发明的第一方面，提供了一种图像处理系统，包括：
输入端口，其用于接收当前生物力学组件的外层的(输入)表面图像，所述图像是由表面成像装置沿着至少一个成像方向采集的，所述组件包括相对于所述成像方向在所述外层后面的、从后面连结到所述外层的至少一个内壁元件；
壁估计器，其被配置为提供针对所述内壁元件的几何数据的估计，所述估计基于按照所述表面图像的图像信息。
以合适的数据结构(例如，多边形(例如，三角形)网格模型)或以函数方式用包络函数等来提供对几何数据的估计。几何数据具体包括对壁元件的形状和/或取向和/或位置的描述。
外层基本上遮挡壁元件而不能进行视觉检查。所提出的方法仍然旨在在给定由表面(例如，光学)成像装置捕捉的外层的几何形状的情况下推断“下层”壁元件的几何形状。这是可能的，因为在一些生物力学组件中，可见外层的至少部分的几何形状对应于至少一个下层壁元件。“壁元件”是指位于外层后面的可能较大的壁结构的部分。换句话说，能够在不使用昂贵或有害的非表面(即，穿透式)成像仪器(例如，MRI或CT)的情况下搜集关于下层壁元件的几何形状的信息。光学成像足以满足当前的目的。更具体地，在一个非限制性实施例中，生物力学组件是人体(例如，女性)躯干。皮肤定义了阻挡位于一个或两个乳房后面的肋骨笼的部分的外层。在一个实施例中，壁元件的“形状”是指由位于一个或两个乳房后面的肋骨形成的几何包络。作为对此的细化，壁元件可以定义由肋骨笼和覆盖的胸肌形成的内边界。在其他实施例中，壁元件仅与覆盖肋骨的胸肌壁相关。所提出的系统能够应用于被皮肤遮挡的人体或动物解剖结构的其他部分。
使用由所提出的系统提供的几何数据能够有益于生物力学模拟。在对乳房的生物力学模拟中，最好知道后边界的形状和位置两者，即，肋骨笼的乳房组织连结到的那部分的形状和位置。
根据一个实施例，所述外层包括凸起部分，并且所述系统还包括图像分析器，所述图像分析器被配置为将所述表面图像分析为表示所述凸起部分的(第一)部分图像，其中，所述壁估计器被配置为提供所述估计，同时忽略按照所述部分图像的图像信息。换句话说，所述第一部分图像的补集形成输入图像的其余部分(其余图像)，并且估计仅基于该其余图像，第一部分图像中的图像信息被忽略。在一个实施例中，通过将几何模型(“基元”)拟合到输入表面图像的仅其余部分来获得这种壁估计。这种几何模型是一种“基元”，其整体形状类型与输入表面图像所限定的形状相对应。在女性人体躯干实施例中，凸起部分对应于乳房组织。该方法利用了这样的事实：如果忽略乳房几何形状的原样的“扭曲”效应，则皮肤轮廓的部分至少在形状上(但不一定在位置上)与肋骨笼壁形状相对应。
为了改善这种形状估计和/或估计躯干内部的壁元件的位置，根据一个实施例，所述系统包括厚度估计器，所述厚度估计器被配置为提供针对所述组件的或所述组件内的内层的厚度的估计。所述内层位于所述内壁与所述外层之间。所述壁估计器被配置为将所述厚度估计与按照所述表面图像的图像信息进行组合以提供所述内壁元件的所述几何数据。在女性人体躯干实施例中，凸起部分对应于乳房组织，并且内层是肋骨笼与皮肤/乳房之间的结缔组织层。厚度估计可以以平均厚度、单个控制点处的厚度或者优选地作为多个控制点处的厚度值的形式来提供，这些读数一起形成厚度分布。申请人发现：对该层的厚度分布的了解允许细化通过将几何基元拟合到上述其余表面而获得的肋骨笼元件的几何数据。而且，对这种厚度分布的了解以及将这种几何信息结合到模拟中，允许建立更逼真的躯干模拟，因为已经发现该层可以在重力作用下影响乳房动力学。
根据一个实施例，所述厚度估计器基于先前根据基础事实数据和从不同类型的这样的生物力学组件的群体获得的历史元数据而学习的函数关系模型来操作。能够使用机器学习或更传统的函数拟合技术。这允许准确且经济高效的厚度估计。
根据一个实施例，所述厚度估计器操作为将所述当前生物力学组件的元数据应用于所学习的函数关系模型以获得针对所述当前生物力学组件的所述厚度估计。这允许将所学习的知识应用于特定患者的细节。
根据一个实施例，所述系统包括被配置为生成所述组件的生物力学模拟的模拟单元。可以以图形方式来绘制模拟。
根据一个实施例，所述成像装置包括深度感测相机。也设想到诸如立体成像、激光扫描器系统(有或没有飞行时间)的其他光学技术以及诸如回波定位等的非光学技术，但是由于光学系统具有更高准确性而优选光学系统。简而言之，根据一个实施例，提出了一种系统和相关方法，其使得能够在不需要MR成像或CT成像的情况下进行乳房的生物力学模拟，其纯粹基于能够在一个优选实施例中根据光学表面扫描和元数据获得的目标的表面的表示。
附图说明
现在将参考以下附图来描述本发明的示范性实施例，在附图中：
图1不一定按比例绘制，示出了生物力学组件的部件；
图2示出了图像处理系统的示意性框图；并且
图3示出了图像处理方法的流程图。
具体实施方式
本文提出的是一种图像处理系统IPS，其基于生物力学组件的表面图像数据来估计所述组件内的内部结构的几何形状，所述组件内的所述内部结构被所述组件的外层遮挡。具体地，估计组件内的壁结构的几何形状。
但是在更详细地解释该图像处理系统的操作之前，首先参考图1(其不一定按比例绘制)来说明生物力学组件TOR的基本部件将是有益的。
图1A示出了诸如女性人体躯干TOR的生物力学组件的轴向视图。另一方面，图1B提供了所述躯干TOR的矢状视图(侧视图)。在图1A、图1B中，附图标记l和r分别指示左侧和右侧，而附图标记t和b分别指代躯干TOR的顶部和底部。从结构上讲，躯干TOR具有分层组成，一层被布置在另一层后面，暴露的外层OL(皮肤)遮挡躯干TOR内的层。这两个乳房形成为由凸起进入皮肤OL的下层乳房组织引起的皮肤OL的凸起部分。乳房组织连结到躯干内的肋骨笼RC的部分。在本文中具体将这个部分称为肋骨笼壁元件RC，或者简称为“壁元件”。更具体地，乳房组织连结到肋骨笼壁元件。壁元件RC是骨(肋骨)和胸肌组织的混合物。在皮肤/乳房组织与壁元件之间还有另外的中间层或内层IL。该内层IL由结缔组织形成，但也包括乳房组织和脂肪组织。被作为生物力学组件看待的女性躯干的主要部件因此包括外层(皮肤)、下层乳房组织、形成壁的肋骨笼RC，乳房组织经由位于乳房组织与肋骨笼之间的中间层与所述壁连结。
本申请中设想的一个目标包括由皮肤OL的光学相机DSC采集一幅或多幅表面图像，并且我们希望特别是基于该表面图像推断出躯干的其余的下层部件的几何形状，具体地，我们希望确定关于乳房经由中间层IL连结到的肋骨笼壁的几何数据。所述几何数据包括几何描述，其具体描述了肋骨笼壁的形状，特别是描述了肋骨笼壁的与乳房组织连结的那部分的形状。额外地或替代地，所述几何数据还可以包括在肋骨笼壁的一个或多个控制点处的位置和/或取向。在一个实施例中，本文设想使用关于肋骨笼壁RC的几何数据来提供经受力(特别是受重力)的躯干的生物力学模拟。
为了实现对躯干的特别逼真的生物力学模拟，有利的是还具有可用的内层或中间层IL的几何数据。内层IL有效地包围或嵌入乳房组织的连接到肋骨笼的那部分。申请人已经观察到该内层的形状和/或特别是厚度的知识引起高度逼真的生物力学模拟。此外，已经发现，内层的厚度估计能够基于从躯干群体学习的先验知识。换句话说，总之，基于皮肤OL的表面图像并且基于关于内层的平均厚度(其能够经由元数据与从其收集到表面图像的实际患者相关)的先前知识，建立针对上述部件中的每个部件的几何数据。具体地，计算针对内层和胸壁的几何数据。
然后能够在对通常已知的相应材料(组织)的弹性特性编码的虚拟连接点处将针对各种部件(特别是胸壁RC和内层IL)的几何数据虚拟地链接在一起。然后能够将如此链接的数据结构用作针对模拟程序的输入，该模拟程序能够例如对整个躯干的图形模拟进行绘制。基于该模拟，当来自乳房的某些组织元件被移除(例如在乳房切除术或其中组织部分被移除的其他手术介入中)时，能够在重力的影响下研究躯干的整体外观。例如，在乳房中检测到癌组织的情况下，通常是对从乳房中移除的癌部位周围的组织的切除体积(例如，圆柱体)。然后外科医生或介入医师能够选择针对该切除体积的最优取向，以便为患者实现在重力作用下的最有利的视觉外观。虽然在本文中设想优选实施例，但是应当理解，人体女性躯干仅仅是生物力学组件的一个实施例。也就是说，所提出的成像处理系统也可以有益地应用于人类(或动物)解剖结构的其他部分。图1中的虚线示出了希望估计的肋骨笼壁元件的特定形状。
现在参考图2，图2中示出了所提出的图像处理系统IPS的示意性框图。图像处理系统包括诸如Microsoft Kinect的深度感测相机的表面相机DSC以及能够在通用计算单元PU上被实施为软件模块的多个处理部件。在替代实施例中，图2中的IPS的模块被布置在分布式架构中并连接在合适的通信网络中。这些模块可以用硬件布置为适当编程的FPGA(现场可编程门阵列)或硬连线集成电路。
在系统IPS的输入端口IN处接收沿着(一个或多个)成像方向d采集的(一幅或多幅)输入表面图像。所述一幅或多幅图像优选地编码空间深度信息。特别是基于所述(一幅或多幅)输入图像，壁估计器WE估计针对被皮肤OL和内部组织IL遮挡的下层肋骨笼壁的几何数据。所述几何数据具体包括形状信息，但是也可以额外地或替代地包括位置和/或取向。
为了实现这种估计，根据一个实施例，系统IPS包括图像分析器IA。壁估计器WE与图像分析器IA结合操作。图像分析器将表面图像分析为两个部分图像：i)一个部分图像：图像表面的表示两个乳房的凸起部分，在本文中被称为乳房图像；以及ii)第二部分图像：表面图像的表示包围乳房部分的皮肤的其余部分的非凸起部分。本文中将第二部分称为其余图像。可以假设其余图像在第一近似中更接近于下层肋骨笼壁的走向和形状。然后，壁估计器WE将躯干的基元3D模型(例如，超椭球或其他模型)拟合到仅所述其余表面图像。也就是说，在该拟合操作期间，按照输入图像的凸起表面部分的图像信息基本上被忽略。换句话说，估计器WE执行该第一躯体拟合操作，以得出在没有乳房的情况下躯干TOR可能看起来是什么样的模型。这并不是说按照乳房图像的图像信息被丢弃。相反，如将在下面更详细地解释的，乳房图像被保留并用于建立模拟。更具体地，在一个非限制性实施例中，分离的乳房图像本身被转换成单独的网格模型，针对每个乳房一个网格模型，并且随后在构建模拟时与胸壁模型相链接。应当理解，所提出的系统和方法可能不一定适用于两个乳房，可能仅适用于要进行手术的乳房。
可以被实施为网格结构的拟合基元(即，初始形状类型)能够被认为是针对壁元件RC的几何数据的第一估计，特别是针对形状的第一估计。换句话说，在这种简化的建模中，假定内层是“零”厚度。
然而，为了获得优异的模拟质量，优选地，图像处理系统IPS还包括作为额外的处理部件的厚度估计器TE，其被配置为估计位于皮肤/乳房与内部肋骨笼壁RC之间的内层的厚度。组织估计器使用先验知识来提供针对例如沿着肋骨笼壁RC的走向的内层IL的平均厚度的估计。在另一实施例中，厚度估计器提供在沿着胸壁的预定控制点处的多个厚度读数。先验知识以适当的形式(表格、算法等)被保存在知识数据库DB中，并且能够通过厚度估计器TE从知识数据库DB中查询。估计该内层的厚度还允许定位内壁，具体为估计内壁位于躯干内部有多“深”。
i)内层的几何数据描述与ii)根据拟合到其余表面的几何模型的壁的估计的几何数据然后可以被组合以实现更好的壁估计。例如，能够从几何躯干模型(排除乳房几何形状)的先前估计中减去厚度估计值，以便细化对肋骨笼壁形状和/或位置和/或取向的估计。换句话说，关于内层厚度的知识允许细化拟合的几何躯干模型，以更确切地精确定位肋骨笼壁的位置和形状(如图1中的虚线所示)。
然后将用于针对胸壁RC和/或内层的(一幅或多幅)乳房图像的几何数据(例如，网格模型)转发到模拟单元SU。具体地，能够由模拟单元SU将如此细化的壁形状和内层厚度的几何数据与针对乳房图像的网格链接在一起，以实现更好、更逼真的完整躯干模拟。给定假定躯干TOR受到的力(例如，重力)的规范，模拟单元绘制躯干动力学的图形模拟。
如果需要模拟的图形表示，则能够将其显示在诸如计算机监视器MT的显示设备上。所提出的图像处理系统IPS被布置为交互式系统。换句话说，用户能够操纵几何数据，然后响应于这样的操纵来重新运行模拟，以在操纵几何数据的同时优选地以准实时的方式更新模拟。更具体地，模拟被嵌入在合适的GUI架构中，该GUI架构包括监视用户与当前显示的模拟的交互的事件处理程序。用户可以使用诸如指示器工具(鼠标、触控笔)或触摸屏交互的输入器件来改变几何数据。以这种方式，能够模拟虚拟手术介入，其中，切除乳房组织并且系统IPS通过对现在改变的躯干动力学的模拟的图形绘制来做出响应。用户因此能够找到最有利的方式来去除组织，以尽可能地保持躯干的自然动力学，从而促进患者术后更好的生活质量。
尽管如上所述的生物力学模拟的图形表示是优选实施例，但是在一些情况下纯粹数值模拟可能是足够的，并且本文也设想到这样的实施例。
现在参考图3，图3示出了针对图2中的图像处理系统的操作所基于的图像处理方法的流程图。然而，本领域技术人员应当理解，也可以单独阅读下文对方法的描述，这些描述不必与图2中描述的架构相联系。
在步骤S305处，接收生物力学组件(例如，人体或动物躯干)的输入表面图像。表面图像可以被构造为测得的距离的点云，这些点云一起定义包络下层的皮肤的形状或走向。表面图像是优选通过表面成像装置DSC(例如，深度感测相机)或其他光学技术(特别是非电离成像技术)沿着一个或多个成像方向采集的。在结构上，如图1所示，生物力学组件TOR被认为包括相机DSC可见的外层OT以及沿着成像方向被外层OT遮挡的内层IL和壁元件。内层位于外层与从后面(远离相机位置)连结到内层的壁元件之间。换句话说，壁元件经由内层连结到外层。
在步骤S320处，估计描述壁元件的几何数据。
在一个实施例中，这种估计基于中间步骤S310a，其中，将表面图像分析为上述两个部分图像：乳房图像，其描述或表示一个或多个凸起部分，例如，女性躯干的乳房组织；以及其余图像，其表示乳房部分外部的皮肤走向。然后，将几何模型，基元(例如，超椭球或其他形状)拟合到仅其余图像。另一方面，现在在这个拟合操作中忽略乳房图像。在该实施例中，估计壁RC的几何形状的步骤仅基于按照其余图像的图像信息。换句话说，乳房图像中的凸起部分被忽略，以便获得针对壁元件的几何数据的第一估计。针对基元的形状的选择将取决于预期的感兴趣解剖结构的整体形状特征，并且如果不是所考虑的人体躯干，则可以要求除了所提及的超椭球以外的形状。
为了拟合几何模型的目的而排除乳房图像信息能够以不同方式来实现。例如，在一个实施例中，使用形成容易识别的人造“界标”的人造标记。这些标记(贴纸、标签等)在采集表面图像之前被手动附着(例如通过粘附)到患者的皮肤。标记沿着周向围绕(一个或多个)乳房进行布置。然后可以通过分割操作自动检测标记印记来区分乳房图像与非乳房其余图像。任选地，在不使用人造标记的情况下，在3D重建网格中自动检测乳房部分。基于模型的方法能够用于识别属于乳房的皮肤部分。这些模型能够在群体的3D扫描上进行训练。
通过使用“片状”内插函数基于这些(自然的或人造的)界标进行适当内插，能够消除乳房图像信息。具体地，代表乳房的图像信息通过内插被替换为从其余表面图像的边缘内插的较小曲率的内插表面。更具体地，能够将曲线拟合到在输入表面图像中识别的多个标记点。然后该操作在表面图像中留下一个或多个“孔”，由曲线勾画的孔和曲线因此定义了其余表面的(一个或多个)边缘。然后，拟合基元的表面(例如，椭球模型表面)代替乳房图像部分，从而得到针对壁的形状或走向的第一几何估计。
除了将表面图像分析为两个部分图像并将几何模型拟合到其余图像的步骤S310a之外或代替所述步骤S310a，存在步骤S310b，其中，根据来自同一类型的其他解剖结构的先验知识来估计内层的厚度。然后将如此估计的厚度应用于拟合的几何模型以导出针对壁元件的模式细化估计。
更具体地，厚度估计步骤基于先前的学习步骤，在先前的学习步骤中，历史元数据与内层厚度的特性之间的依赖关系是从基础事实数据中学习的。基础事实数据包括例如先前从女性患者群体采集的MRI图像或CT图像。历史元数据包括如下参数：例如，年龄、体重、BMI、侧向方向(从左到右)的患者躯干尺寸，以及描述群体中的个体的其他因素(或这些因素的任意项的不同组合)。元数据在本文中被称为“历史”，因为它涉及先前从群体收集的图像数据。
假设诸如MRI图像的基础事实材料以对比充分地表示三种感兴趣结构，即，肋骨笼、壁和内层。然后自动或手动处理基础事实图像，以在单个控制点处或在沿着壁RC分布的多个预定义(不一定等距)的控制点处测量肋骨笼壁与内层之间的相对距离。然后将这些测量值与那些基础事实数据的元数据一起馈送到机器学习算法中，所述机器学习算法例如为随机森林(参见例如A.Cirminisi等人的“Decision Forests for Classification,Regression,Density Estimation,Manifold Learning and Semi-Supervised Learning”(第MSR-TR-2011-114号，2011年10月28日)、神经网络或用于学习元数据与组织厚度之间的函数关系(“训练模型”)其他方法。一旦在充足文库中的基础事实数据上进行了训练，就能够给模型馈送任何针对元数据的规范，并且经训练的模型将输出如下值：该值能够作为针对壁层厚度对层距离的估计。
该厚度估计操作也可以通过使用更传统的函数拟合流程来实现。在这种方法中，假设给出了一个参数化的函数描述，这个函数描述对于元数据对层厚度的依赖性仍然是未知的。例如，可以使用某种类别的函数，例如，系数是要拟合的参数的高维多项式。然后通过以下操作来“学习”针对这些参数的特定值：通过使用假定的函数描述(例如，多项式)将优化流程中的已知的历史元数据拟合到已知的厚度/距离测量值以基于某些优化标准(例如，最小二乘和等)来计算“最优”参数。一旦计算出这些参数，就能够将这些参数替换为假定的函数描述，其现在提供“规则”或“公式”来针对元数据的任何规范计算内层IL厚度/到肋骨笼壁的距离。用于揭示这种先验未知关系/依赖性的优化流程的一个范例是来自统计实验设计领域的“响应面方法论”(RSM)。参见例如G Box等人的“On the ExperimentalAttainment of Optimum Conditions”(Journal of the Royal Statistical Society,Series B(Methodological)，第13卷，第1期，1951年，第1-45页)。
换句话说，能够通过传统函数拟合方法或通过机器学习根据先验基础事实数据来估计内层的厚度。先前的方法得到元数据对层的依赖性的显式形式，并且能够从单个元数据和基础事实图像集中获得。另一种选择是首先对基础事实数据集和元数据进行求平均，然后将拟合操作应用于平均数据集。
如上所述的机器学习方法具有以下优点：能够从多个基础事实图像数据集及其相关联的历史元数据立即获知依赖性。不需要通过求平均来折叠多个数据集。在机器学习方法中，输出通常不像更传统的函数拟合方法那样提供针对依赖性的显式的函数描述或“公式”。相反，在机器学习中，“学习的”依赖性被编码在随机森林的多个决策树结构的个体和相互配置中，或者在神经网络的情况下，“学习的”依赖性被配置在神经网络的节点层的配置中。
如上所述的学习或拟合操作是在估计针对给定患者的内层IL的厚度的上述步骤之前的前驱阶段中完成的。针对厚度估计步骤所需要的仅仅是提供要为其拟定模拟以实现厚度估计的特定患者的特定元数据。换句话说，能够避免针对给定患者的特定MRI图像或CT图像，因为能够将过去已经针对其他患者采集的所有合适图像的文库用作基础事实。这个现有的基础事实图像文库能够从附接到HIS系统的图像存储系统(PACS)中收集。更具体地并且清楚的是，用于学习函数关系的基础真实图像(例如，MRI图像或CT图像)不是从要对其运行模拟的特定患者采集的图像数据(但是，当然，如果需要的话，仍然能够获得或使用这样的个人图像)。
所学习的函数元数据对组织厚度的关系能够被存储在知识数据库DB中的合适的数据结构中。合适的数据结构包括表格、函数/算法描述或其他内容。对要学习其躯干几何图形的当前患者应用当前元数据能够像针对已知厚度对元数据的依赖性的数据库查询和查找操作一样简单。在其他实施例中，该查询操作涉及诸如从已知的元数据对厚度的对/元组内插入期望厚度的计算。在其他实施例中，元数据被应用以填充学习到的函数描述(其本质上是数学公式)中的“占位符”位置。然后针对所需数量的控制点执行由该函数描述规定的算术运算，以导出针对这些控制点的一个或多个厚度估计。然后将这一个或多个厚度读数应用于在步骤S310a中拟合的几何模型，从而导出针对肋骨笼壁RC的形状/位置/取向的细化的估计。在步骤S330处，将针对内层和壁元件的几何数据进行组合以形成生物力学组件的生物力学模拟。
更具体地，在一个实施例中，以计算机图形网格的形式提供针对肋骨笼壁和内层估计的几何数据。在连接点处将这些网格与针对先前在步骤S310a处忽略的来自输入表面图像的一个(或两个)乳房组织部分的网格进行组合。就像网格的节点一样，也是这些网格之间的连接点对这些网格所表示的材料的弹性性质进行编码。并且由于躯干组织的材料组成和密度是已知的，因此能够使用所提供的几何数据作为边界条件而通过求解偏微分方程(PDE)组来计算在任何力(例如，重力)的影响下整个躯干结构的动力学模拟。
在一个实施例中，在显示单元上显示模拟，或者独立地显示模拟，或者与由相机DSC记录的原始表面扫描图像并排地显示模拟。
总而言之，在一个实施例中，本文提出的是一种方法，该方法纯粹基于光学表面扫描和元数据而使得能够进行对乳房的生物力学模拟而不需要MR成像或CT成像。使用能够例如通过使用深度感相机经济有效地采集的三维表面数据，我们提出通过在第一步骤中使用拟合到躯干表面的图像数据的几何模型来估计胸壁的形状并且因此估计表面与胸壁之间的组织的形状(利用关于从该拟合中排除的实际乳房组织的图像信息)。然后元数据驱动组织厚度估计，并且在第二步骤中估计组织厚度，这能够用于细化第一步骤中获得的几何模型。
应当注意，上述方法和系统能够应用于一个以上的内壁元件。例如，上述方法和系统可以通过分别估计肋骨笼和胸肌的覆盖壁作为两个离散的壁元件而得以细化，每个壁元件单独作为其自身的结构而被估计。这种方法甚至可以扩展到具有两个以上(覆盖)壁元件的更复杂的组件。该模拟能够捕捉到两个或更多个这种互相连接的壁元件的动力学特性，从而允许实现更高水平的真实感。
在本发明的另一示范性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于，其适于在适当的系统上运行根据前述实施例中的一个所述的方法的方法步骤。
因此，计算机程序单元可以被存储在计算机单元中，所述计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引发对上述方法的步骤的执行。此外，该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，可以装备数据处理器来执行本发明的方法。
本发明的该示范性实施例覆盖从一开始就使用本发明的计算机程序，以及借助于将现有程序更新转换为使用本发明的程序的计算机程序二者。
另外，计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示范性实施例的流程。
根据本发明的另外的示范性实施例，提出了一种计算机可读介质，例如，CD-ROM，其中，该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面的章节所描述。
计算机程序可以被存储和/或被分布在合适的介质(尤其地，但不一定为非瞬态介质)上，例如，与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式被分布，例如，经由互联网或其他有线或无线的电信系统被分布。
然而，计算机程序也可以被呈现在网络上，如万维网，并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示范性实施例，提供了用于使计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个所述的方法。
必须注意，本发明的实施例是参考不同主题来描述的。尤其地，一些实施例是参考方法型权利要求来描述的，而其他实施例是参考装置型权利要求来描述的。然而，除非另有说明，本领域技术人员将从以上和以下的描述中推断出，除属于一种类型的主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为在本申请中被公开。然而，所有的特征都能够被组合来提供多于特征的简单加合的协同效应。
尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示范性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (14)

1.一种图像处理系统(IPS)，包括：
输入端口(IN)，其用于接收当前生物力学组件(TOR)的外层(OL)的表面图像，所述图像是由表面成像装置(DSC)沿着至少一个成像方向采集的，所述组件包括相对于所述成像方向在所述外层后面的、从后面连结到所述外层的至少一个内壁元件(RC)；
壁估计器(WE)，其被配置为提供针对所述内壁元件(RC)的几何数据的估计，所述估计基于按照所述表面图像的图像信息，其中，所述外层(OL)包括凸起部分(B)，并且所述系统还包括图像分析器(IA)，所述图像分析器被配置为将所述表面图像分析为表示所述凸起部分的部分图像，其中，所述壁估计器被配置为提供所述估计，同时忽略按照所述部分图像的图像信息。
2.根据权利要求1所述的系统，厚度估计器(TE)被配置为提供针对所述组件的内层(IL)的厚度的估计，所述内层位于所述内壁与所述外层之间，其中，所述壁估计器(WE)被配置为将所述厚度估计与所述图像信息进行组合以提供所述内壁元件的所述几何数据。
3.根据前述权利要求中的任一项所述的系统，其中，所述厚度估计器基于先前根据基础事实数据和从不同类型的这样的生物力学组件的群体获得的历史元数据而学习的函数关系模型来操作。
4.根据权利要求3所述的系统，其中，所述厚度估计器操作为将所述当前生物力学组件(TOR)的元数据应用于所学习的函数关系模型以获得针对所述当前生物力学组件(TOR)的所述厚度估计。
5.根据前述权利要求中的任一项所述的系统，包括被配置为生成所述组件(TOR)的生物力学模拟的模拟单元(SU)。
6.根据前述权利要求中的任一项所述的系统，包括所述成像装置(DSC)和/或所述显示单元(MT)。
7.根据前述权利要求中的任一项所述的系统，其中，所述成像装置(DSC)包括深度感测相机。
8.根据前述权利要求中的任一项所述的系统，其中，所述几何数据包括所述壁的形状描述和/或位置描述。
9.根据权利要求所述的系统，其中，所述生物力学组件(TOR)包括人体躯干。
10.一种图像处理方法，包括以下步骤：
接收(S305)当前生物力学组件(TOR)的外层(OL)的表面图像，所述图像是由表面成像装置(DSC)沿着至少一个成像方向采集的，所述组件包括相对于所述成像方向在所述外层后面的、从后面连结到所述外层的内壁元件(RC)；并且
提供(S320)针对所述内壁元件(RC)的几何数据的估计，所述估计基于按照所述表面图像的图像信息，其中，所述外层(OL)包括凸起部分(B)，所述方法包括：
将所述表面图像分析(S310a)为表示所述凸起部分的部分图像，其中，在提供所述估计时，忽略按照所述部分图像的图像信息。
11.根据权利要求10所述的方法，包括：
提供(S310b)针对所述组件的内层(IL)的厚度的估计，所述内层位于所述内壁与所述外层之间，其中，所述壁估计器(WE)被配置为将所述厚度估计与所述图像信息进行组合以提供所述内壁元件的所述几何数据。
12.根据权利要求10-11中的任一项所述的方法，包括：
生成(S330)所述组件(TOR)的生物力学模拟。
13.一种用于控制根据权利要求1-9中的任一项所述的系统的计算机程序单元，所述计算机程序单元在由处理单元(PU)运行时适于执行根据权利要求10-12所述的方法的步骤。
14.一种在其上存储有根据权利要求13所述的程序单元的计算机可读介质。
CN201680070819.2A 2015-12-03 2016-12-01 根据光学扫描进行胸壁估计 Active CN108292530B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15197818 2015-12-03
EP15197818.6 2015-12-03
PCT/EP2016/079514 WO2017093446A1 (en) 2015-12-03 2016-12-01 Chest wall estimation from optical scans

Publications (2)

Publication Number Publication Date
CN108292530A true CN108292530A (zh) 2018-07-17
CN108292530B CN108292530B (zh) 2022-05-24

Family

ID=55070648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070819.2A Active CN108292530B (zh) 2015-12-03 2016-12-01 根据光学扫描进行胸壁估计

Country Status (4)

Country Link
US (1) US10692208B2 (zh)
EP (1) EP3384412A1 (zh)
CN (1) CN108292530B (zh)
WO (1) WO2017093446A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11160528B2 (en) * 2015-12-18 2021-11-02 General Electric Company System and method for visualization of ultrasound volumes

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2298282A1 (en) * 1999-02-19 2000-08-19 The John P. Robarts Research Institute Semi-automated segmentation method for 3-dimensional ultrasound
WO2011007312A1 (en) * 2009-07-17 2011-01-20 Koninklijke Philips Electronics N.V. Multi-modality breast imaging
US20110295112A1 (en) * 2008-01-09 2011-12-01 Precision Light, Inc. Anatomical recognition and dimensional analysis of breast volume to assist breast surgery
CN102918558A (zh) * 2010-01-28 2013-02-06 拉德罗吉克斯公司 用于对医学图像进行分析、优先级划分、显现和报告的方法和系统
US20140056502A1 (en) * 2011-03-02 2014-02-27 Thorsten Twellmann Image processing device for finding corresponding regions in two image data sets of an object
US20150182191A1 (en) * 2014-01-02 2015-07-02 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data
CN105474219A (zh) * 2013-08-28 2016-04-06 西门子公司 用于根据医学图像和临床数据来估计生理学心脏测量的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218727A1 (en) 2006-12-22 2008-09-11 Art, Advanced Research Technologies Inc. Method and apparatus for optical image reconstruction using contour determination
US7720196B2 (en) 2008-01-07 2010-05-18 Accuray Incorporated Target tracking using surface scanner and four-dimensional diagnostic imaging data
CN105578983B (zh) 2013-09-24 2021-01-22 皇家飞利浦有限公司 计算外科手术介入规划的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2298282A1 (en) * 1999-02-19 2000-08-19 The John P. Robarts Research Institute Semi-automated segmentation method for 3-dimensional ultrasound
US20110295112A1 (en) * 2008-01-09 2011-12-01 Precision Light, Inc. Anatomical recognition and dimensional analysis of breast volume to assist breast surgery
WO2011007312A1 (en) * 2009-07-17 2011-01-20 Koninklijke Philips Electronics N.V. Multi-modality breast imaging
CN102918558A (zh) * 2010-01-28 2013-02-06 拉德罗吉克斯公司 用于对医学图像进行分析、优先级划分、显现和报告的方法和系统
US20140056502A1 (en) * 2011-03-02 2014-02-27 Thorsten Twellmann Image processing device for finding corresponding regions in two image data sets of an object
CN105474219A (zh) * 2013-08-28 2016-04-06 西门子公司 用于根据医学图像和临床数据来估计生理学心脏测量的系统和方法
US20150182191A1 (en) * 2014-01-02 2015-07-02 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HOOSHIAR ZOLFAGHARNASAB: "3D Breast Parametric Model for Surgery Planning-a Technical Review", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/262001650》 *

Also Published As

Publication number Publication date
US10692208B2 (en) 2020-06-23
CN108292530B (zh) 2022-05-24
WO2017093446A1 (en) 2017-06-08
US20180350068A1 (en) 2018-12-06
EP3384412A1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
CN106651750B (zh) 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统
JP2020175184A (ja) ２ｄ解剖学的画像から３ｄ解剖学的画像を再構成するシステムおよび方法
CN107599412A (zh) 一种基于组织结构的三维建模方法、系统及三维模型
EP2840553A1 (en) 3d model data generation device, method and program
JP7522269B2 (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
CN110050281A (zh) 学习图像中的对象的注释
Eiben et al. Symmetric biomechanically guided prone-to-supine breast image registration
Zhang Virtual reality technology
Izard et al. NextMed: How to enhance 3D radiological images with Augmented and Virtual Reality
Badano et al. The stochastic digital human is now enrolling for in silico imaging trials—methods and tools for generating digital cohorts
Chan et al. A virtual surgical environment for rehearsal of tympanomastoidectomy
Levine et al. Mesh processing in medical-image analysis—a tutorial
Ebert et al. Image segmentation of post-mortem computed tomography data in forensic imaging: Methods and applications
CN108292530A (zh) 根据光学扫描进行胸壁估计
Regazzoni et al. A virtual platform for lower limb prosthesis design and assessment
Hassan et al. Evaluation of software tools for segmentation of temporal bone anatomy
CN101176683A (zh) 人体立体解剖图象的制作方法与应用
Welsh et al. A novel method of anatomical data acquisition using the Perception ScanWorks V5 scanner
CN110022772A (zh) X射线装置及其获取医学图像的方法
Li et al. Three-dimensional reconstruction of paracentesis approach in transjugular intrahepatic portosystemic shunt
KR20230156940A (ko) 적어도 하나의 인터페이스에서 객체의 적어도 하나의 영역을 시각화하는 방법
CN104027126A (zh) 医用图像处理装置以及医用图像处理方法
Costa Jr et al. Cinematic rendering for three-dimensional reconstructions of the chest wall: a new reality
Jerg et al. Diffuse domain method for needle insertion simulations
Plotkowiak et al. High performance computer simulations of cardiac electrical function based on high resolution MRI datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant