本申请是申请人“真实成像有限公司”于2010年2月25日提交的、发明名称为“用于热成像的方法、设备和系统”的中国专利申请No.200880104306.4的分案申请。
发明内容
根据本发明的一个方面,提供了计算身体中的热路径的方法。该方法包括:(a)将热数据与至少一部分身体的表面相关联以由此在所述表面上生成热数据图;(b)在所述热数据图中标识至少一个热可区分区域;以及(c)基于该至少一个热可区分区域的表面分布计算该至少一部分身体中的热路径。
根据下文所描述的本发明的优选实施例中另外的特征,通过从所述表面收集热辐射来实现(a)。
根据所描述的优选实施例中更进一步的特征,该方法还包括为所述至少一部分身体中的组织的发射率而校正所述收集的热辐射。
根据所描述的优选实施例中更进一步的特征,所述至少一个热可区分区域包括至少两个热可区分区域。
根据本发明的另一个方面,提供了计算活体中的热路径的方法,其包括:获得定义在活体的三维空间表示上并且具有与所述三维空间表示的表面相关联的热数据的合成热空间图像。优选地以多个图片单元将所述热数据网格化地布置在所述表面上,每个图片单元由网格上的密度值表示。该方法还包括在所述热空间图像中标识至少一个热可区分点区(spot),以及将所述热空间图像和所述热可区分点区用于计算所述热路径。
根据下文所描述的本发明的优选实施例中另外的特征,该方法还包括使用至少两个热轨道以便确定所述活体中的内部三维热可区分区域.
根据所描述的优选实施例中更进一步的特征,该方法还包括:获得表示所述活体的不同姿态的附加的合成热空间图像;重复所述热可区分点区标识和所述梯度计算以便确定对应于所述不同姿态的内部三维热可区分区域;以及比较对应于不同姿态的内部三维热可区分区域。
根据本发明的又另一个方面,提供了用于计算活体中的热路径的装置,其包括:输入单元,所述输入单元用于接收合成热空间图像;点区标识单元,所述点标识单元用于在所述合成热空间图像中标识至少一个热可区分点区;以及计算器,所述计算器用于基于所述热空间图像和所述热可区分点区计算活体中的所述热路径。
根据所描述的优选实施例中更进一步的特征,该装置还包括区域确定单元,所述区域确定单元被设计和配置用于基于至少两个热轨道来确定所述活体中内部三维热可区分区域。
根据所描述的优选实施例中更进一步的特征,通过计算在该点区处所述表面的空间梯度来计算所述热路径。
根据本发明的又另一个方面,提供了确定所述活体中内部三维热可区分区域的方法,该方法包括:获得合成热空间图像;在网格上搜索由大体上相似的密度值表示的至少一个图片单元集合;并且对于所述至少一个图片单元集合中的至少一个,定义多个轨迹,每个轨迹与该集合中的至少一对图片单元相关联并且被定义以便所述轨迹的每个点在距该对中的单个图片单元相等的热距离处,并且将该多个轨迹用于确定所述内部三维热可区分区域。
根据本发明的又另一个方面,提供了用于确定活体中内部三维热可区分区域的装置,该装置包括:输入单元,所述输入单元用于接收合成热空间图像;搜索单元,所述搜索单元用于在网格上搜索由大体上相似的密度值表示的至少一个图片单元集合;轨迹定义单元,所述轨迹定义单元用于定义多个轨迹,每个轨迹与该集合的至少一对图片单元相关联并且被定义以便所述轨迹的每个点在距该对中的单个图片单元相等的热距离处;以及区域确定单元,所述区域确定单元用于基于该多个轨迹确定所述内部三维热可区分区域。
根据下文所描述的本发明的优选实施例中另外的特征,该多个轨迹中的至少一个轨迹是平面。
根据所描述的优选实施例中又另外的特征,由该多个轨迹至少部分地界定所述内部三维热可区分区域。
根据所描述的优选实施例中又另外的特征,基于该多个轨迹中的至少若干个的相交线来确定所述内部三维热可区分区域。
根据所描述的优选实施例中又另外的特征,该方法还包括在所述内部三维热可区分区域内定位源区域。
根据所描述的优选实施例中又另外的特征,该装置还包括源区域定位器,用于在所述内部三维热可区分区域内定位源区域。
根据所描述的优选实施例中又另外的特征,从由重心、加权的重心和所述内部三维热可区分区域的质心构成的组中选择所述源区域。
根据本发明的其他方面,提供了确定活体中的多个热可区分对象的方法,该方法包括:获得合成热空间图像,其中以围绕所述表面上的至少一个热可区分点区的闭合等温线来表征所述热数据;基于所述合成热空间图像确定所述活体中的内部三维热可区分区域;分析所述三维空间表示以便在所述三维空间表示内定义分界线,其中属于分界线一侧上的点对应于所述表面上的单个热区分的点区,而属于所述分界线另一侧上的点对应于所述表面上的多个热区分的点区;以及将所述内部三维热可区分区域与所述分界线相比较以便确定活体中的热可区分对象的数量。
根据本发明的又其他方面,提供了用于确定活体中的多个热可区分对象的装置,该装置包括:输入单元,所述输入单元用于接收合成热空间图像;区域确定单元,所述区域确定单元用于基于所述合成热空间图像确定活体中内部三维热可区分区域;分析器,所述分析器用于分析三维空间表示以便在所述三维空间表示内定义分界线,其中属于分界线一侧上的点对应于表面上的单个热区分的点区,而属于分界线另一侧上的点对应于表面上的多个热区分的点区;以及比较单元,所述比较单元用于将内部三维热可区分区域与分界线相比较以便确定活体中的热可区分对象的数量。
根据下文所描述的本发明的优选实施例中另外的特征,该方法还包括获取至少一个热像图以及将该至少一个热像图映射到所述三位空间表示上以便形成所述合成热空间图像.
根据所描述的优选实施例中更进一步的特征,所述映射包括根据活体的发射率数据加权该至少一个热像图。
根据所描述的优选实施例中更进一步的特征,所述至少一个热像图包括多个热像图。
根据所描述的优选实施例中更进一步的特征,当所述活体处于不同的姿态时,所述热像图中的至少两个被获取。
根据所描述的优选实施例中更进一步的特征,所述至少一个附加的合成热空间图像对应于所述活体的不同姿态。
根据所描述的优选实施例中更进一步的特征,该方法还包括:获得活体的多个三维空间表示;对于至少两个三维空间表示,分析每个三维空间表示以便在所述三维空间表示的表面上确定等温线的预期的拓扑结构;以及基于所述预期的拓扑结构为所述至少一个热像图和/或所述活体的姿态选择视点。
根据所描述的优选实施例中更进一步的特征,该方法还包括:获得活体的至少一个附加的三维空间表示,其对应于相对于活体的不同的视点和/或活体的不同的姿态;基于所述活体中的内部三维热可区分区域,在所述至少一个附加的三维空间表示的表面上构建等温线的预期的拓扑结构;获得对应于所述不同的视点和/或不同的姿态的至少一个附加的合成热空间图像;将所述至少一个合成热空间图像与所述等温线的预期的拓扑结构相比较;以及发布与所述比较相关的报告。
根据所描述的优选实施例中更进一步的特征,方法还包括构建所述三维空间表示。
根据所描述的优选实施例中更进一步的特征,所述获得所述三维空间表示包括用红外线距离内的图案照射所述身体,将至少一个热成像设备用于获取所述身体和所述图案的至少一个热像图,计算对应于所述图案的距离数据,以及将所述至少一个热像图和所述距离数据用于构建身体的所述三维空间表示。
根据本发明的又其他方面,提供了用于活体前部的热空间成像的系统,该系统包括在其中具有用于获取活体的所述前部的至少一个热像图的至少一个热成像设备的体内探测系统,以及数据处理器,该数据处理器用于分析从所述体内探测系统接收的图像数据以便提供和显示活体的所述前部的合成热空间图像。
根据所描述的优选实施例中更进一步的特征,该系统还包括用于获取活体的所述前部的至少一个可见光图像的至少一个可见光成像设备。
根据所描述的优选实施例中更进一步的特征,该系统还包括用于使用图案照射身体的所述前部的照射设备。
根据所描述的优选实施例中更进一步的特征,所述体内探测系统适用于通过肛门而被插入。
根据所描述的优选实施例中更进一步的特征,所述体内探测系统适用于通过阴道而被插入。
根据所描述的优选实施例中更进一步的特征,所述体内探测系统适用于通过尿道而被插入。
根据所描述的优选实施例中更进一步的特征,所述体内探测系统适用于通过食道而被插入。
根据所描述的优选实施例中更进一步的特征,所述体内探测系统被安装在输送机构上。
根据所描述的优选实施例中更进一步的特征,从由内窥镜探测器和导管构成的组中选择所述输送机构。
根据本发明的另外的方面,提供了一种方法,其包括:从预先确定的视点获取活体的一系列热像图;比较所述热像图以提取所述热像图中的热变化;以及当所述热变化在预先确定的门限以下时,发布指示所述活体处于大体上稳定的热状态的报告。
根据所描述的优选实施例中更进一步的特征,所述获取和比较大体上同时被执行。
根据所描述的优选实施例中更进一步的特征,至少若干热像图被与单个先前所获取的热像图相比较。
根据所描述的优选实施例中更进一步的特征,至少若干热像图被与多个先前所获取的热像图相比较。
根据所描述的优选实施例中更进一步的特征,该方法还包括在显示设备上显示所述热变化。
根据本发明的又另外的方面,提供了监视医疗设备在活体中的位置的方法,其包括:将所述医疗设备的温度设置为与活体的平均温度充分不同的温度,形成活体的至少一个合成热空间图像,以及将该至少一个合成热空间图像用于监视可插入设备在活体中的位置。
根据本发明的更进一步的方面,提供了一种可插入到活体中的医疗设备,其包括具有近端、远端和从所述近端延伸到所述远端的光纤的空心结构,所述光纤被设计和构建为将热辐射从所述远端传送到所述近端。
根据所描述的优选实施例中更进一步的特征,所述空心结构和所述光纤由不同材料制成。
根据所描述的优选实施例中更进一步的特征,所述光纤由所述空心结构中的通道所限定。
根据本发明的更进一步的方面,提供了用于测距成像系统的照射设备,其包括用于生成光束的光源、动态光束偏转器以及具有多个区分的区域的图像形成元件,每个所述图像形成元件被设计用于形成不同的图像,其中所述动态光束偏转器被设计和配置为扫描所述图像形成元件以在不同的时间形成不同的图像。
根据所描述的优选实施例中更进一步的特征,所述光源包括激光设备,并且所述光束为激光光束。
根据所描述的优选实施例中更进一步的特征,所述动态光束偏转器包括可移动的镜子。
根据所描述的优选实施例中更进一步的特征,所述动态光束偏转器包括电光材料。
根据本发明的更进一步的方面,提供了构建身体的三维空间表示的方法,该方法包括:用红外线距离内的图案照射身体;将至少一个热成像设备用于获取所述身体和所述图案的至少一个热像图;计算对应于所述图案的距离数据;以及将该至少一个热像图和所述距离数据用于构建所述身体的所述三维空间表示。
根据所描述的优选实施例中更进一步的特征,所述获取包括从至少两个不同的视点获取所述身体和所述图案的至少两个热像图。
根据本发明的更进一步的方面,提供了用于构建身体的三维空间表示的系统,其包括:照射设备,所述照射设备被设计和构建用于使用红外线距离内的图案照射身体;至少一个热成像设备,所述至少一个热成像设备被设计和构建用于获取所述身体和所述图案的至少一个热像图;以及数据处理器,所述数据处理器被设计和配置用于计算对应于所述图案的距离数据,以及将至少一个热像图和所述距离数据用于构建所述身体的所述三维空间表示。
根据所描述的优选实施例中更进一步的特征,所述至少一个热成像设备被设计和构建用于从至少两个不同的视点获取所述身体和所述图案的至少两个热像图。
根据所描述的优选实施例中更进一步的特征,所述图案被选择为允许通过时间编码构建三维空间表示。
根据所描述的优选实施例中更进一步的特征,所述图案被选择为允许通过空间编码构建三维空间表示。
根据所描述的优选实施例中更进一步的特征,通过飞行时间技术(time-of-fiight technique)来计算所述距离数据。
根据所描述的优选实施例中更进一步的特征,通过三角测量法来计算所述距离数据。
根据所描述的优选实施例中更进一步的特征,表征所述照射的脉冲宽度比20毫秒短。
根据所描述的优选实施例中更进一步的特征,所述至少一个热像图的获取以小于20毫秒的曝光时间而被表征。
根据所描述的优选实施例中更进一步的特征,所述至少一个热像图的获取包括在单个曝光时间期间的多次读出。
根据所描述的优选实施例中更进一步的特征,所述多次读出中的至少两次读出被累积地执行。
根据所描述的优选实施例中更进一步的特征,通过激光来实现所述照射。
根据所描述的优选实施例中更进一步的特征,该方法还包括:对于至少若干热像图,过滤出源自由所述身体生成的热的图像数据。
根据优选实施例中又另外的特征,该方法还包括不用图案而获取身体的至少一个热像图,其中所述过滤出图像数据包括将不用所述图案获取的热像图从用所述图案获取的热像图中减去。
根据所描述的优选实施例中更进一步的特征,所述图像数据处理器被设计和配置用于过滤出源自由所述身体生成的热的图像数据。
根据所描述的优选实施例中更进一步的特征,所述图像数据处理器被设计和配置为将不用所述图案获取的热像图从用所述图案获取的热像图中减去,从而过滤出所述图像数据。
根据本发明的又另外的方面,提供了构建身体的三维空间表示的方法,所述方法包括:用一系列点区照射所述身体,其中该系列中的至少一个点区可与该系列中的所有其他点区区分开;将至少一个成像设备用于从至少两个不同的视点获取所述身体和所述一系列点区的至少两个图像;在每个图像中定位所述一系列点区;在每个图像中,标识该至少一个可区分的点区并且将该至少一个可区分的点区用于标识所述系列中的所有其他的点区;以及计算用于所述一系列点区的距离数据并且将所述距离数据用于构建所述身体的三维空间表示。
根据本发明的又另外的方面,提供了校准测距成像系统的方法,其包括:访问图形数据库,该数据库包含多个条目,每个条目具有图形条目以及对应于所述图形条目的视点的角度条目;用图形照射身体;将至少一个成像设备用于从至少两个不同的视点获取所述身体和所述图形的至少两个图像;对于至少两个图像,标识所述图形,在数据库中搜索与所述图形大体上相似的图形条目并且从所述数据库提取相应的角度条目,由此提供至少两个角度;基于该至少两个角度,计算用于所述图形的距离数据并且将所述距离数据用于校准所述测距成像系统。
根据本发明的又另外的方面,提供了一种校准热空间成像系统的方法,该系统具有至少一个至少一个热成像设备和至少一个可见光成像设备,该方法包括:在多个波长内用图案照射身体,其中该多个波长中的至少一个波长可被所述一个至少一个热成像设备检测并且该多个波长中的至少一个波长可被所述一个至少一个可见光成像设备检测;将所述至少一个至少一个热成像设备用于获取所述图案的至少一个热像图,并且将至少一个可见光成像设备用于获取所述图案的至少一个可见光图像;以及使用所述热像图和所述可见光图像校准所述三维热成像设备。
根据所描述的优选实施例中更进一步的特征,该至少一个热像图和至少一个可见光图像大体上同时被获取。
根据本发明的更进一步的方面,提供了构建身体的三维空间表示的方法,该方法包括:以如下方式使用可操作的用于生成至少两个不同光色的图案投影仪用编码的图案照射身体:使得不同颜色的编码的图案相互错开;获取所述编码的图案的至少一个图像以提供图像数据;以及基于所述图像数据计算所述编码的图案的三维位置,由此构建所述身体的三维空间表示。
根据本发明的又另外的方面,提供了用于构建身体的三维空间表示的系统,该系统包括:图案投影仪,所述图案投影仪可操作的用于以使得不同颜色的编码的图案相互错开的方式用至少两个不同光色的编码的图案照射所述身体;成像设备,所述成像设备用于获取所述编码的图案的至少一个图像,由此以提供图像数据;以及图像数据处理器,所述图像数据处理器被设计和配置用于基于所述图像数据计算所述编码的图案的三维位置。
根据所描述的优选实施例中更进一步的特征,该至少两个编码的图案相互错开一个像素尺寸。
根据所描述的优选实施例中更进一步的特征,所述图案投影仪是可操作的用于顺序地投射不同颜色的编码的图案。
根据所描述的优选实施例中更进一步的特征,不同颜色的编码的图案相互错开比相邻投影的像素中心之间的表征距离少的量。
根据所描述的优选实施例中更进一步的特征,所述至少一个图像的获取以小于20毫秒的曝光时间而被表征。
根据所描述的优选实施例中更进一步的特征,所述至少一个图像的获取包括在单个曝光时间期间的多次读出。
根据所描述的优选实施例中更进一步的特征,所述至少两个不同颜色包括第一颜色、第二颜色和第三颜色并且所述至少一个图像的获取包括在单个曝光时间期间的三次读出。
除非另外被定义,在本文中所使用的所有技术和科学术语具有本发明所属领域中的一个普通技术人员通常所理解的相同含义。尽管与本文所描述的那些相似或者等效的方法和材料可以被用在对本发明的实践和测试中,合适的方法和材料在下文中被描述。在冲突的情况下,专利说明书(包括定义)将决定(control)。另外,所述材料、方法和例子仅是示意性的并且不是意图要限制。
本发明的方法和系统的实施涉及手动地、自动地或者以其组合的方式执行或者完成所选择的任务或者步骤。而且,根据本发明的方法和系统的优选实施例的实际的仪器和装置,若干步骤可以在任何固件或者其组合的任何操作系统上通过硬件或者通过软件来实现。举例来说,就硬件而言,本发明的所选择的步骤可以被实现为芯片或者电路。就软件而言,本发明的所选择的步骤可以被实现为使用合适的操作系统由计算机执行的多个软件指令。在任何情况下,本发明的方法和系统的所选择的步骤可以被描述为由数据处理器执行,诸如用于执行多个指令的计算平台。
具体实施方式
本发明包含可以用在成像方面的方法、设备以及系统。特别地,但不是排他地,本实施方式可以被用来确定活体中内部的热可区分区域的位置。
参考附图和随附的说明书将更好地理解根据本实施例的方法、设备以及系统的原理和操作。
在详细地解释本发明的至少一个实施例之前,应当理解的是本发明不被限于在下面的说明中所阐述的或者在附图中所示出的构建的细节和部件的布置中它的适用。本发明能够用于其它实施例或者能够以各种方式被实践或者实现。同样地,应当理解的是在本文中所采用的措辞和术语是出于说明的目的而不应当被看作限制。
本发明已经设计出允许根据热路径或者轨道检测和定位所关心的组织区域(例如,诸如肿瘤的病状)的方式,其中热路径或者轨道从这种组织区域通向覆盖在该组织区域的表面。
在本文中设想了用于这种轨道或者路径计算的若干方式。一种这样的方式利用热数据图,该热数据图包括与至少一部分身体的表面相关联的热数据。一个或多个热可区分区域在热数据图中被标识。在本发明的各种示范性实施例中,(一个或多个)热可区分区域因而以就表面分布(例如热区域的图案)、表面上的位置、热密度、尺寸、相对于其他热可区分区域的位置而言(as far as)来表征。这些表征性的特征优选地被用于计算身体中的热路径。
因而,本发明优选的实施例一般而言涉及对表面信息的分析,诸如提取在下面的组织的特性。在本发明的各种示范性实施例中,表面信息包含空间信息以及热信息。
空间信息包含至少部分地包围三维体积的非平面的表面的几何特性。一般而言,非平面的表面是嵌入在三维空间中的二维对象。理论上,非平面的表面是由平滑连接且紧致的黎曼二维流形所导出的度量空间。理想地,非平面的表面的几何特性将被明确地提供,例如非平面的表面上的每个点的斜率和曲率(或者甚至其他空间导数或者其组合)。然而,这种信息极少有地可得到并且空间信息被提供用于非平面的表面的经采样的形式,其为黎曼二维流形上的点的集合并且足够用于描述二维流形的拓扑结构。典型地,非平面的表面的空间信息是3D空间表示的简化形式,其可以是点云或者是基于点云的3D重构(例如多边形网格或者曲线形网格)。借助于3D坐标系统来表现3D空间表示,诸如但不限于笛卡尔、球形、椭球形、3D抛物线或抛物面坐标3D系统。
术语“表面”在本文中被用作术语“非平面的表面”的缩略语。
热信息包含关于从表面排出或者被表面吸收的热的数据。由于表面的不同部分通常排出或者吸收不同量的热,热信息包含元组(tuple)的集合,每个元组包含表面上的区域或者点的坐标以及与该点或者区域相关联的热值(例如温度、热能)。热信息可以被转换成可视信号,在这种情况下热信息以热像图的形式。术语“热像图”和热信息贯穿说明书被可互换地使用而不以任何方式限制本发明的范围。特别地,除非另外定义,术语“热像图”的使用不应当被认为是被限于热信息到可视信号的转换。举例来说,可以在由计算机可读介质构成的存储器中将热像图存储为如上所述的、元组的集合。
身体的表面信息(热信息和空间信息)典型地以合成的3D图像的形式,该合成的3D图像将热数据和空间数据两者都包含在相同的3D图像上。这种图像被称为热空间图像。
所理解的是身体的三维图像典型地是二维图像,其除了指示身体构件的横向延伸外,还指示身体构件或者其部分与某个参考点的相对或者绝对距离,诸如成像装置的位置。因而,三维图像典型地包括属于三维身体(body)的非平面的表面的信息并且不一定是在块中(in thebulk)。然而,普遍接受的是将这种图像称为“三维的”,因为非平面的表面方便地被定义在三维的坐标系统上。因而,贯穿本说明书以及在随后的权利要求部分中,术语“三维图像”和“三维表示”主要与表面实体有关。
热空间图像定义在身体的3D空间表示上以及具有与3D空间表示的表面相关联并且以多个图片单元(例如,像素、像素的布置)网格化地布置在表面上的热数据,每个图片单元由网格上的密度值或者灰度级来表示。所理解的是不同密度值的数量可以不同于灰度级的数量。举例来说,8位显示器可以生成256个不同的灰度级。然而,原则上,对应于热信息的不同密度值的数量可以大得多。作为代表性的例子,假设热信息跨越37℃的范围并且以0.1℃的分辨率数字化。在这种情况下,有370个不同的密度值并且灰度级的使用的精确度差大约0.4倍。因而,在本发明的各种示范性的实施例中,通过使用密度值而不是灰度级来执行热数据的处理。尽管如此,灰度级的使用没有从本发明的范围中被排除。
在本文中术语“像素”有时被简化用来指示图片单元。然而,这不是意图要限制“图片单元”的含义,其指的是图像组成的单位。
典型地,一个或多个热像图被映射到3D空间表示的表面以形成热空间图像。要被映射到3D空间表示的表面上的热像图优选地包含在与3D空间表示相同的坐标系统上所表现的热数据。任何类型的热数据可以被使用。在一个实施例中,热数据包含绝对温度值,在另一个实施例中,热数据包含相对温度值,其每个对应例如表面上的相应的点和某个参考点之间的温度差,在另一个实施例中,热数据包含局部的温度差。同样所设想的是上述温度数据类型的组合,例如热数据可以包含绝对和相对温度值两者,以及类似数据。
典型地,热像图中的信息还包括在参考记号处的热条件(例如温度)。
热像图到3D空间表示的表面上的映射是例如通过精确地放置参考记号(例如通过将热像图中它们的坐标与3D空间表示中它们的坐标比较),从而也匹配其他点,因而形成合成的空间图像。
可选地并且优选地,热像图的映射伴随校正过程,在该修正过程中采用热发射率因素。
身体构件的热发射率是无量纲的量,被定义为从身体构件的表面发射的热辐射的量和从具有如身体构件相同的温度的黑体发射的热辐射的量之间的比。因而,理想的黑体的热发射率为1,而所有其他体的热发射率在0和1之间。通常所假定的是身体的热发射率大体上与其热吸收因子相等。
可以通过使用身体的估计的热特征来执行校正过程。特别地,热像图在将身体表面上的区域的发射率的差异考虑在内的情况下,被映射到描述身体的非平面的表面上。具有与其周围相比不同的发射率值的区域可以是例如受惊吓的区域、着色的区域、胸部的乳头区域、痣。另外,具有不同肤色的对象的发射率值可能不同。
在优选的实施例中,热像图根据表面的不同的发射率值而被加权。举例来说,当由热成像装置获取的信息包括温度或者能量值时,至少一部分温度或者能量值可以除以身体表面上的相应区域的发射率值。本领域的一个普通技术人员将理解这样的过程产生有效温度或者能量值,该值比由热成像装置获取的值高。由于不同的区域可能以不同的发射率值为特征,加权的热像图提供关于从身体表面发射的热的更好的估计。
对于身体包含妇女的胸部的情况下的合成热空间图像的代表性的例子在图1a-c中示出,其显示了作为非平面的表面被示出的3D空间表示(图1a)、作为平面的等温线被示出的热像图(图1b)以及通过将热像图映射到3D空间表示的表面上而形成的合成热空间图像(,图1c)。如所示出的那样,热空间图像的热数据被表示为网格上的灰度级值,在102处大概地示出。应当理解的是根据灰度级值的表示是出于示意的目的而不应当被看作限制。如在上文中所解释的那样,热数据的处理也可以通过使用密度值来执行。同样在图1a-c中示出的是被用于映射的参考记号101。
可以以现有技术中已知的任何技术来得到3D空间表示、热像图和合成热空间图像,诸如在国际专利申请No.WO 2006/003658、美国公开申请No.20010046316以及美国申请No.6,442,419、No.6,765,607、No.6,965,690、No.6,701,081、No.6,801,257、No.6,201,541、No.6,167,151、No.6,167,151和No.6,094,198。本实施方式还提供用于得到表面信息或者其部分的其他技术,将在下文中进一步详述。
本发明的优选实施例可以在有形的介质上实施,诸如用于执行方法步骤的计算机。本发明的优选实施例可以在计算机可读介质上实施,包含用于完成方法步骤的计算机可读指令。本发明的优选实施例也可以在具有数字计算机能力的电子装置上实施,该电子装置被布置用来在有形的介质上运行或者在计算机可读介质上执行指令。实现本实施例的方法步骤的计算机程序通常可以被分配给有形的分布介质上的用户。从该分布介质,计算机程序可以被复制到硬盘或者相似的中间存储介质。可以通过将计算机指令从它们的分布介质或者它们的中间存储介质下载到计算机的执行存储器中、配置计算机使其根据本发明的方法行动来运行计算机程序。所有这些操作对计算机系统领域的技术人员是熟知的。
本实施例在许多医疗和其他应用中是有用的。
举例来说,本实施例可以被用于确定内部的肿瘤或者炎症的存在、位置以及可选地为其大小,从而帮助例如对癌症的诊断。
本实施例对于构建血管图或者对于确定身体内特定的血管也是有用的,因为血管的温度通常与组织的温度不同。就这方面而言,本实施例在脸部识别领域也是有用的,因为知道脸上的血管位置可以有助于对确定的个体的标识。也设想了对其他器官的识别。由于本实施例定位身体中的热可区分区域的能力,使用本实施例的器官识别是尤其有利的。这样的定位可以被用于构建血管图,该血管图提供有关身体中血管的取向和深度两方面的信息。该图因而可以被用于标识个体,例如通过在可取得的并且可搜索的血管图数据库中搜索相似的图。
本实施例对于骨骼成像也是有用的,因为骨骼的温度通常不同于软组织的温度。这在医疗传导(medical conduction)方面尤其有用,诸如脊柱侧弯以及其他脊柱畸形,其中所要求的是定期地监视骨骼形状。在这种以及其他情况下,本实施例提供对危险的X射线成像的安全替代。
骨骼成像也可以被用于评估骨质疏松症的可能性。特别地,由于通常在健康骨骼的前部中比在其表面上有更多的热,骨骼矿物质密度减小的可能性可以通过监视骨骼表面的温度演变来标识。举例来说,根据本发明的优选实施例热空间图像系列可以以一定的间隔(例如一个月一次或者类似地)被得到以及被分析,以确定骨骼表面的温度是否随时间一致地增长。该分析可以被用于评估骨骼矿物质密度减小的可能性,其中更显著的温度增长速度对应于更高的可能性。
现在参考附图,图2是描述适合用于计算活体中的热路径的方法10的流程图。应当理解的是,除非另外定义,可以以许多执行组合或者顺序同时地或者顺序地执行下文中所描述的方法步骤。特别地,流程图的排序不应当被看作限制。举例来说,以特定顺序出现在下面的说明中或者流程图中的两个或多个方法步骤可以以不同的顺序(例如相反的顺序)或者大体上同时被执行。另外,下文所描述的若干方法步骤是可选的并且可以不被执行。
方法10可以被用于确定身体内热可区分对象存在于其上的路径。热可区分对象是具有比它们紧邻的周围的温度高或者低的温度的对象,并且可以是例如炎症、良性肿瘤、恶性肿瘤或者类似物。
该方法在步骤12处开始并且接着到步骤14,在步骤14中得到活体的合成热空间图像。如所表明的那样,合成热空间图像被定义在身体的3D空间表示上并且具有与该3D空间表示相关联的热数据。热空间图像可以通过方法10来生成或者其可以通过另一个方法或系统来生成,来自该另一个方法或系统的图像可以被方法10读取。
该方法接着到步骤16,在该步骤中一个或多个热可区分点区在热空间图中被标识。“热可区分点区”指3D空间表示的表面上的区域,对于该区域,与其相关联的热数据不同于与该区域的紧邻的周围相关联的热数据。举例来说,热可区分点区可以是温度在其处达到局部最高或者局部最低的区域。在201处大体上示出热可区分点区的作为例子的图示(见图1c)。热可区分点区的尺寸典型地比热空间图像的尺寸小得多。
该方法接着到步骤18,在该步骤中为至少若干热可区分点区计算到表面的空间梯度。空间梯度的计算在现有技术中是已知的,并且计算梯度的方法在许多教科书中可以找到。举例来说,当3D空间表示以多边形网格的形式时,空间梯度可以是穿过该点区并且垂直地指向相应的多边形的向量。对于点云或者其他类型的3D表示,可以通过第一空间导数或者通过切面来找到梯度。一旦梯度被计算得到,其优选地与点区的位置一起被用于定义可能是身体中的热路径的直线。举例来说,当活体包括热的对象时,诸如方法10被用于确定诸如炎症或者肿瘤的热可区分对象存在于其上的路径时,该直线可以被定义为热沿其在身体中传播的路径。
该过程在图3a中示出,该图显示了3D空间表示206的表面205上的热可区分点区201。梯度202指向3D空间表示内部并且路径203被定义为平行于梯度202并且穿过点区201的直线。同样被显示的是活体中内部的三维热可区分区域的位置,其由表示206中的内部区域204来表示。如所显示的那样,路径203也穿过区域204。一旦被找到,该路径优选地被显示或者记录在有形的介质上,诸如显示装置、硬拷贝、存储介质。
在本发明的各种示范性实施例中,该方法接着到步骤22,在该步骤中两个或多个热轨道被用于确定活体中内部的三维热可区分区域的位置。这个过程在图3b中示出,该图也显示了第二203′,对应于第二点区201′和第二梯度202′。区域204的位置可以通过计算两个轨道之间的相交来得到,或者当轨道不相交时,按照轨道的最接近的点之间的区域。一旦被找到,内部的三维热可区分区域优选地被显示或者记录在有形的介质上。优选地,该方法接着到步骤24,在该步骤中源区域208在区域204内被定位。源区域对应于身体内热可区分对象(例如炎症、肿瘤)的位置并且可以通过现有技术中已知的数学方法被定位,包括而不限于区域204的重心、加权的重心以及质心。
根据本发明的优选实施例,该方法返回到步骤14,在该步骤中另外的热空间图像被得到,该另外的热空间图像对应于活体的不同姿态。举例来说,当活体为妇女的胸部时,第一热空间图像可以描述妇女向前屈身或者以面朝下的姿态俯卧时的胸部。优选地,但不是强制性地,另外的热空间图像被得到使得两个或多个热空间图像相对于身体上预先确定的固定参考点可对准。举例来说,参考点可以是腋窝上的标志。(一个或多个)热可区分点区的标识以及(一个或多个)梯度的计算优选地为该另外的热空间图像而重复,以确定身体处于第二姿态时内部的三维热可区分区域的位置。在不同的姿态中被确定的位置因而可以被比较以评估过程的精确度。有关所评估的精确度的报告因而可以被发布,例如发布在显示装置、硬拷贝或者类似物上。
备选地,该位置可以被平均并且内部的三维热可区分区域的平均位置可以被显示或者记录在有形的介质上。
方法10在步骤26处结束。
图4是根据本发明的各种示范性实施例的用于计算活体中的热路径的设备40的示意性图示。设备40可以被用于执行方法10的一个或多个方法步骤。
设备40包含接收合成热空间图像的输入单元42、标识(一个或多个)热可区分点区的点区标识单元44以及用于计算空间梯度的梯度计算器46,如在上文中进一步详述的那样。设备40可选地并且优选地包含区域确定单元48,其被设计和配置用于确定内部的三维热可区分区域,如在上文中进一步详述的那样。设备40也可以包含源区域定位器48,其定位源区域,如上文中进一步详述的那样。
现在参考图5,其为根据本发明的各种示范性实施例的适合用于确定活体中内部的三维热可区分区域的位置以及可选地为其尺寸的方法50的流程图。
该方法在步骤52处开始并且接着到步骤54,在步骤54中得到合成热空间图像。热空间图像可以通过方法50来生成或者其可以通过另一个方法或系统来生成,来自该另一个方法或系统的图像可以被方法50读取。
该方法接着到步骤56,在该步骤中搜索表面,或者更具体地搜索网格102寻找由大体上相似的密度值表示的图片单元的一个或者多个集合。理论上,搜索网格寻找具有从I-ΔI到I+ΔI的密度值的图片单元集合,其中I为表征该集合的预先确定的密度并且ΔI为宽度(width)参数。ΔI的值优选地被选择为尽可能的小,但是仍然充分大以允许在集合中收集足够数量的图片单元(比方说多于10个图片单元)。举例来说,当每个图片单元中的密度值是从0-255的数,则ΔI可以是大约10个密度单位。
如在本文中所使用的,术语“大约”指±20%。
当多于一个的图片单元集合被定义时,每个集合以不同的密度I为特征,但是两个集合可以具有或者可以不具有相等的宽度参数。
搜索由大体上相似的密度值表示的图片单元集合也可以通过取平均的过程来实现。举例来说,搜索可以从在表面上定位热可区分点区或区域开始。在被定位的点区或区域中的像素或者图片单元的密度值接着被平均或者加权平均以提供平均密度值。该方法可以接着搜索具有相同或相似的平均密度值的其他区域或点区。如果没有匹配被找到,该方法可选地并且优选地通过使用热可区分区域中的图片单元以及在围绕该区域的图片单元来重新计算平均密度值,从而扩大该区域。该方法可以接着通过使用新的平均值来搜索其他区域。该过程可以被随意地重复若干次。因而,在该实施例中,集合以平均密度值为特征。
该方法接着到步骤58,在该步骤中为一个或多个图片单元集合定义多个轨迹。该多个轨迹中的每一个与集合中的至少一对图片单元相关联并且被定义使得轨迹上的每个点距该对中的单个图片单元相等的热距离。该过程在图6a中示出,图6a为示出表面205的截面以及具有大体上相似的密度值(因而属于相同集合)的图片单元对601和602的不完全视图。由点构成的轨迹603与点601和602相关联。定义在轨迹603的点604和点601之间的距离d1等于定义在轨迹603的相同的点604和点602之间的距离d2。一般而言,就基于热导率的热距离而言而不是就几何距离而言来确定距离d1和d2。尽管如此,在一些实施例中,身体可以被建模成热特性各向同性介质,在这种情况下热距离的定义与几何距离的定义一致。
轨迹603可以任何形状,或者是平面的或者是非平面的。所理解的是当距离d1和d2是几何距离时,轨迹603是平面。原则上,每对点可以与不同的轨迹相关联。因而,当集合包括多于一对点时,多个轨迹被定义。一旦轨迹被定义,该方法接着到步骤60,在该步骤中轨迹被用于定义内部的三维热可区分区域。这可以以多于一种的方式来进行。在一个实施例中,内部区域全部地或者部分地由该轨迹界定。换句话说,轨迹被用于定义区域的外部表面。这个实施例在图6b-d中示出,其显示了由用参考标号603、603′、603″标明的以多个平面轨迹划界的三维区域204的例子。
在另一个实施例中,基于两个或者更多轨迹的相交线来确定内部区域。该实施例在图6e-f中示出,图6e-f显示了两个轨迹603和603′沿其相交的线605(图6e)以及多个点606,其为两条或者多条线605的交点(图6f)。点606因而可以被用于定义区域204,例如通过将点606看作点云或者通过将区域204重构成多边形或者曲线形网格。
当该方法在步骤56中找到多于一个的图片单元集合时,至少一些集合中的轨迹被独立地用于定义与相应的集合相关联的内部区域。最终的内部区域可以接着被定义,例如通过对区域取平均。可以通过将与集合相关联的密度用作相应区域的相对权重而将平均值加权。备选地,最终的区域可以被定义为所有区域的合集。还有备选地,最终的区域可以被定义成两个或多个区域的交集。
根据本发明的优选实施例,该方法返回步骤54,在该步骤中得到一个或多个另外的热空间图像。该另外的热空间图像对应于活体的不同姿态。优选地,但不是强制性地,另外的热空间图像被得到使得两个或多个热空间图像相对于该身体上的预先确定的固定参考点对准。搜索(一个或多个)图片单元集合以及定义轨迹优选地被重复用于另外的热空间图像,以确定当身体处于第二姿态时内部的三维热可区分区域的位置。以不同的姿态被确定的位置可以接着被比较以评估该过程的精确度。有关被评估的精确度报告可以接着被发布,例如在限制装置、硬拷贝或者类似物上。
备选地,该位置可以被平均并且内部的三维热可区分区域的平均位置可以被显示或者记录在有形的介质上。
一旦被找到,区域204优选地被显示或者记录在有形的介质上。优选地,该方法接着到步骤62,在该步骤中源区域208在身体内被定位。该源区域对应于身体内热可区分对象(例如炎症、肿瘤)的位置并且可以通过现有技术中已知的数学方法来定位,包括但不限于区域204的重心、加权的重心以及质心。
方法50在步骤64处结束。
随后是在其中距离d1和d2是几何距离并且每个轨迹是平面的实施例中的用于定义轨迹和基于轨迹确定内部区域的算法的代表性的例子。
具有从I-ΔI到I+ΔI的相似的密度值的所有像素的集合被表示为s。在笛卡尔坐标系统中,s中的两个像素分别被表示为p1=[x1 y1 z1]T以及p2=[x2 y2 z2]T。这些像素的欧几里德范数分别被表示为||p1||2和||p2||2。由与p1和p2等距离的所有点构成的轨迹是垂直于向量p1-p2=[x1-x2 y1-y2 z1-z2]T的平面。这样的平面的等式为:
(等式2)
其也可以被写成:
2(x1-x2)x+2(y1-y2)y+2(z1-z2)z=||p1||2-||p2||2 (等式1)
所有这种平面的等式通过算法被连接以提供线性最小二乘问题:
(等式3)
其中A和b是对于任何像素对pi,pj∈s分别包括所有向量2(pi-pj)以及所有标准差||pi||2-||pj||2的阵列。该线性最小二乘问题的解是:
(ATA)-1ATb. (等式4)
通过下列伪代码来描述该算法:
1.在平面上找到唯一的灰度级值。
2.将A和b初始化为空阵列。
3.对于每个灰度级:
(a)找到共有相同的密度值(从I-ΔI到I+ΔI)的所有像素对。每个对定义一平面,其由距该对的两个像素相等的距离的所有点构成。
构建平面的等式(等式1或者2)。
(b)丢弃彼此太接近的所有对。
(c)将向量2.(p1-p2)连接到阵列A。
(d)将标量||p1||2-||p2||2连接到阵列b。
4.解线性最小二乘等式Ax≈b,等式4
5.结束
问题的复杂度为O(n2),其中n为s的尺寸,既用于选择s的所有对也用于解决对应的最小线性二乘问题。举例来说,对于由41x41的像素构成的抛物面,源的位置以(0.006,0.006,0.009)的精确度和0.03秒的计算时间在IBM ThinkPad R50e上被确定,IBM ThinkPad R50e配备有M 1.70GHz处理器以及599 MHz 504Mb的RAM。
图7是根据本发明的各种示范性实施例的用于确定活体中内部的三维热可区分区域的设备70的示意性图示。设备70可以被用于执行方法50的一个或多个方法步骤。
设备70包含用于接收合成热空间图像的输入单元42、在网格上搜索由大体上相似的密度值表示的图片单元的一个或多个集合的搜索单元72、定义轨迹的轨迹定义单元74以及用于基于轨迹确定内部区域204三维热可区分区域的区域确定单元76,如在上文中进一步详述的那样。设备70也可以包含如在上文中所进一步详述的源区域定位器48。
现在参考图8,其为根据本发明的各种示范性实施例的适合用于确定活体中的多个热可区分对象的方法80的流程图。
该方法在步骤82处开始并且接着到步骤84,在步骤84中得到合成热空间图像。热空间图像可以通过方法80来生成或者其可以通过另一个方法或系统来生成,来自该另一个方法或系统的图像可以被方法80读取。所理解的是当热数据被转换为可见图像时,图像通常是以等温线的形式。广义上说,等温线可以是闭合的或者它们可以是开放的。举例来说,当热数据包括温度水平时,闭合的等温线的存在典型地指示温度在该等温线所围绕的区域中具有一个或多个局部极值,而开放的等温线的存在典型地指示温度在该开放的等值线的区域中是单调的(包括鞍点的情况)。举例来说,当热源没有在成像装置的视界内时,等温线通常是开放的。
以闭合的等温线和开放的等温线为特征的热数据的代表性的例子分别在图9a-b中被提供。如所示出的那样,在图9a中,闭合的等温线围绕至少一个热可区分点区901,同时在图9b中没有这样的点区,在图9b中等温线是开放的。
在本发明的各种实施例中,在步骤84中得到的热空间图像的热数据以闭合的等温线为特征,该闭合的等温线围绕3D空间表示的表面上至少要一个热可区分点区。
该方法接着到步骤86,在该步骤中确定活体中一个或多个内部的三维热可区分区域的位置以及可选地其尺寸。这可以通过使用方法10、方法50或者任何其他方法来进行。还设想了方法之间的组合(例如方法10和50)。可选地并且优选地,该方法还确定如上文所描述的一个或多个源区域。
方法80接着到步骤88,在该步骤中3D空间表示被分析以定义空间表示内的分界线。该分界线被定义使得属于分界线一边的点对应于表面上的单个热区分的点区,而属于分界线另一边的点对应于表面上的多个热区分的点区。
参考图10a-d以及下面的说明可以更好地理解步骤88。
图10a是具有3D空间表示206的表面205上的热数据的热空间图像。在表面205上有两个热区分的点区901和902,每个点区都以被闭合的等温线围绕而可标识。图10b示意性地示出3D空间表示206的截面图,对应于图10a的热空间图像。在图10b中所示出的是表面205上的点区901和902和在块中的内部的热可区分源点903。
根据描述源点903和表面205上的各个点之间的热距离的距离函数D来看,点区901和902包含D的局部最小值。就是说,源点903和点区901之间的热距离小于源点903和表面205上紧邻点区901附近的点之间的任何热距离;并且源点903和点区902之间的热距离小于源点903和表面205上紧邻点区902附近的点之间的任何热距离。还在图10b中示出的是对应于全局最大值的表面点904。
在图10c-d中示出了不同的情况。图10c是在表面205上具有单个热区分的点区905的热空间图像(有闭合的等温线)。图10d是表面205的截面图的示意性图示,其对应于图10c的热空间图像。在图10b中示出的是在点区905和在块中的源点903。根据距离函数D来看,点区905是D的局部最小值。然而,不同于上文中在图10a-b中所呈现的情况,在图10c-d中只有一个局部最小值。
原则上,对于给定的表面205,距离函数D的局部最小值的数量取决于在块中源点903的位置。在本发明的各种示范性实施例中,该方法分析表面205并且在D对于其(for which)具有单个最小值的、源点903的所有可能的位置和D对于其具有多于一个最小值的、源点903的所有可能的位置之间定义分界线。这种分界线的代表性的示例在图10e中示出,图10e显示了将块分成两个部分907和908的分界线906,其中下面的部分907包括D对于其具有两个最小值的、源点903的所有可能的位置而上面的部分908包括D对于其具有单个最小值的、源点903的所有可能的位置。分界线906可以以点云的形式或者以近似点云的重构表面的形式被提供。点云在图10e中被示出为星号并且重构的表面被示出为实线。
一旦分界线906被找到,方法80接着到步骤90,其中在步骤86中找到的(一个或多个)内部区域和/或(一个或多个)源区域被与分界线906相比较。特别地,该方法确定,对于每个内部区域,其属于分界线的哪一边。这种比较允许方法80确定活体中热可区分区域的数量,如将根据下面的简化的例子所理解的那样。
因而,假设在步骤84中得到的热空间图像包括两个热可区分点区(比较图10a)。进一步假设在步骤86中,该方法表示定位在部分908内的内部源区域。由于所预期的是当源区域在部分908中被定位时在表面205上只有一个热区分的点区,该方法可以确定表面205上的两个热区分的点区对应于块中的两个不同的热可区分对象。另一方面,如果在步骤84中得到的热空间图像包括单个热区分的点区(比较图10c),并且该方法标识定位在部分908内的内部源区域,该方法可以确定被标识的内部源区域对应于块中的单个热区分的对象而没有其他这种对象。该比较也可以用于估计步骤86的精确度。举例来说,假设在步骤84中得到的热空间图像包括一个热区分的点区(比较图10c),以及在步骤86中该方法标识定位在部分907中的内部源区域。由于所预期的是当源区域在部分907中被定位时在表面205上将有两个热区分的点区,该方法可以确定在步骤86中所执行的过程的精确度不够并且发布报告或者就这种不精确向操作者发信号。备选的或者另外地,该方法可以返回步骤86并且通过使用另一个过程或者通过使用相同的过程但是用增加的精确度(例如将更多的采样点用于3D空间表示206的重构)来确定源区域的位置和/或尺寸。
方法80在步骤92处结束。
图11是根据本发明的各种示范性实施例的用于确定多个热可区分对象的设备110。设备110可以被用于执行方法80的一个或多个方法步骤。
设备110包含用于接收合成热空间图像的输入单元42以及区域确定单元112,其确定内部的3D热可区分区域以及可选地确定内部的源区域。单元112可以包含设备40的被选择的部件(例如单元44、计算器46、单元46、定位器48)和/或设备70的被选择的部件(例如单元72、单元74、单元76)并且可以执行方法10、方法50或者其组合的被选择的步骤。设备110还可以从设备40或70接收(一个或多个)内部区域。
设备110还包含分析器114,其分析3D空间表示并且定义如上文所描述的分界线906,以及比较单元116,其将内部的3D热可区分区域与分界线906比较以确定活体中热可区分对象的数量,如在上文中进一步详述的那样。
下面的说明是关于根据本发明的各种示范性实施例的用于得到热空间图像的技术。在下文中所描述的技术可以被上述任何方法和设备所采用。
可以通过获取一个或多个热像图并且将(一个或多个)热像图映射在3D空间表示上而大体上得到热空间图像。
现在参考图12a,其为根据本发明的优选实施例的热空间成像系统120的示意性图示。如图12a所示,人212的活体210或者其部分被置于成像装置214的前面。人212可以是站着、坐着或者以相对于成像装置214的任何其他合适的姿态。人212通过定位装置215相对于成像装置214初始地被放置或者后来被放置,该定位装置215典型地包含靠引擎的力量或者靠其他合适的力量在导轨上移动的平台。另外,热可区分对象216,诸如肿瘤,可以存在于人212的身体210中。举例来说,当身体210包含胸部时,对象216可以是胸部肿瘤,诸如癌症肿瘤。
根据本发明的优选实施例,人212可以穿着外衣218,诸如衬衫。优选地,外衣218对于诸如400-700纳米的可见波长可以是不可穿透的或者部分可穿透的,并且对于诸如红外线等、比可见波长长的波长可以是可穿透的。另外,参考标志220可以被置于接近人212处,优选地直接置于人212的身体上并且与身体210紧邻。可选地并且优选地,参考标志220被直接附在身体210上。参考标志220典型地可以包含材料片、画在人212上的标志或者任何其他合适的标志,如本文中下面所描述的那样。
成像装置214典型地包含至少一个可见光成像装置222,其至少可以感测可见波长以及至少一个热成像装置224,其对典型地在如3-5微米和/或8-12微米的范围中的红外线波长敏感。典型地,成像装置222和224能够感测在上文中所描述的参考标志220。
可选地,偏振器225可以被放在可见光成像装置222的前面。作为另外的备选,可以阻挡至少部分可见波长的颜色过滤器226可以被放在可见光成像装置222的前面。
典型地,至少一个可见光成像装置222可以包含黑白或者彩色照片成像装置或者诸如CCD或CMOS的数字成像装置。另外,至少一个可见光成像装置222可以包含多个成像元件,其中每个都可以是三维成像元件。
可选地并且优选地,可以通过定位装置227来相对于人212重新放置成像装置214。作为另外的备选,每个成像装置222和224也可以通过至少一个定位装置228被相对于人212重新放置。定位装置227可以包含引擎、杠杆或者任何其他合适的力,以及也可以包含用于移动在其上的成像装置214的导轨。优选地,重定位装置228可以被相似地构造。
通过可见光成像装置222和热成像装置224获取的数据经通信网络232被输出到数据处理器230,并且典型地通过在数据处理器上运行的算法而被分析和处理。最终得到的数据可以被显示在至少一个显示装置234上,其优选地经通信网络236连接到数据处理器230。数据处理器230典型地包含PC、PDA或者任何其他合适的数据处理器。通信网络232和236典型地包含诸如互联网或者内联网的物理通信网络,或者备选地可以包含无线网络,诸如蜂窝网络、红外线通信网络、射频(RF)通信网络、蓝牙(BT)通信网络或者任何其他合适的通信网络。
根据本发明的优选实施例,显示器234典型地包含屏幕,诸如LCD屏幕、CRT屏幕或者等离子屏幕。作为另外的备选,显示器234可以包含至少一个可视的装置,其包含两个LCD或者两个CRT,被放在用户的眼睛前面并且以与眼镜相似的结构组装。优选地,显示器234也显示指针238,其典型地沿被显示的模型的X、Y和Z轴可移动并且可以被用于指向被显示的数据中的不同位置或者单元。
现在参考图12b-f以及12a-e,其示出根据本发明的各种示范性实施例的热空间成像系统120的各种操作原理。
参考图12b-f首先说明可见光成像,并且参考图13a-e在后面说明热成像。将理解的是图12b-f所描述的可见光图像数据获取可以在图13a-e所描述的热像图数据获取之前、之后或者与其同时被执行。
参照图12b-f,包含身体210的人212被置于在成像装置214前面的定位装置215上,处于相对于成像装置的第一位置240。用可见光成像装置222,可选地通过偏振器225或者作为备选的选择通过颜色过滤器226来获取身体210的第一图像数据。使用颜色过滤器的优点在于其可以改进信噪比,例如当用特定颜色的图案或者标志照射人的时候,颜色过滤器可以被用于仅传送该特定颜色从而减少背景记录。另外,身体210的至少两个图像数据通过可见光成像装置222被获取,使得身体210至少被放置在相对于成像装置214的第二位置上。因而,第一、第二和可选地更多图像数据从成像装置相对于身体210的至少两个不同的视点点被获取。
可以如在图12b中可看到的那样通过使用定位装置215重新放置人212、如在图12c中可看到的那样使用定位装置227重新放置成像装置214或者如在图12d中可看到的那样使用定位装置228重新放置成像装置222来配置第二相对位置242。作为另外的备选,可以通过使用如在图12e中可看到那样的两个独立的成像装置214或者如在图12f中可看到那样的两个独立的可见光成像装置来配置第二相对位置242。
参照图13a-e,包含身体210的人212被置于在成像装置214前面的定位装置215上,处于相对于成像装置的第一位置244。身体210的第一热像图数据通过热成像装置224被获取。可选地并且优选地,身体210的至少两个热像图数据通过热成像装置224被获取,使得身体210至少被放在相对于成像装置214的第二位置242上。因而,第一、第二和可选地更多热像图数据从热成像装置相对于身体210的至少两个不同的视点被获取。
可以如在图13a中可看到的那样通过使用定位装置215重新放置人212、如在图13b中可看到的那样通过使用定位装置227重新放置成像装置214或者如在图13c中可看到的那样通过使用定位装置238重新放置热成像装置224来配置第二相对位置246。作为另外的备选,可以通过使用如在图12e中可看到那样的两个独立的成像装置214或者如在图12f中可看到那样的两个独立的可见光成像装置来配置第二相对位置246。
可以用热成像装置224通过分别对身体210的完整图像的多个窄条分别地成像来获取身体210的图像数据。备选地,身体210的完整图像通过热成像装置被获取,并且以多个窄条或者其他形状部分采样该图像用于处理。作为另外的备选,对身体210的成像可以通过使用不同的曝光时间而被执行。
从成像装置214得到的热像图数据和可见光图像数据优选地通过数据处理器230如下地被分析和处理。从成像装置222获取的图像数据通过数据处理器230被处理以构建身体210的三维空间表示,使用现有技术中所熟知的算法和方法,诸如美国专利No.6,442,419所描述的方法,如其好像在本文中被全面阐述的那样通过引用在此将该方法并入。3D空间表示优选地包含参考记号220的位置(比较图1a)。可选地并且优选地,3D空间表示包含与身体210的颜色、色调以及组织纹理有关的信息。从成像装置224获取的热像图数据通过数据处理器230被处理以构建身体210的热成像三维模型,使用现有技术中所熟知的算法和方法,诸如在美国专利No.6,442,419所描述的方法。热成像3D模型优选地包含参考记号(比较图1b)。热成像3D模型接着通过处理器230被映射到3D空间表示上(例如通过与参考记号220对准)以形成热空间图像。
用来构建身体210的3D空间表示的两个或多个可见光图像的组合,以及用来构建热成像3D模型的两个或多个热像图的组合可以要求从不同视点获取的图像数据(可见光的或者热成像的)之间的区域化比较。这种比较典型地为两部分过程:首先,图片单元的被选择的组在每个单独的图像中被标识,以及第二,一个图像的图片单元的被标识的组在各个图像之间被匹配。本实施例成功地提供了适合用于改进标识和匹配过程的方法。
根据本发明的优选实施例,用点区系列照射身体,其中该系列中的至少一个点区可与所有其他点区区分开。这种系列的代表性的例子在图14中示出,图14显示了点区系列142,其中一个点区144(当前例子中左起第三个)不同于所有其他点区。在图14的代表性的例子中,系列142是一行点区,但应当理解的是该系列可以具有任何几何特性,一维的(例如行、列、弧线、曲线等等)或者二维的(例如矩阵)。点区144可以通过任何区别特征而被区分,包括但不限于形状、尺寸、波长、密度以及取向。
一旦用该系列照射身体,一个或多个成像装置优选地被用于从至少两个不同视点获取身体和系列的两个或更多图像。图像可以是通过使用一个或更多可见光成像装置获取的可见光图像或者通过使用一个或多个热成像装置获取的热像图。系列142的波长或者波长范围与成像装置对其敏感的波长的范围相适应。因而,对于可见光图像,通常以可见光波长范围照射系列142,并且对于热像图,通常以红外线波长范围照射系列142。
一旦图像被获取,可区分的点区144优选地被标识并且被用于标识系列中的所有其他点区。参考图14的作为例子的系列,在已知系列中点区的数量以及系列中点区144的相对位置(当前例子中左起第三个)的情况下,所有其他点区可以通过它们相对于点区144的相对位置被标识。因而,该方法可以全面扫描沿图像的一条线的所有图片单元并且从已经被标识的点区开始清点(count)点区。
因而,本实施例将点区144用作指针,用来索引系列142中的所有点区。这种索引大大提高了匹配步骤的效率,因为与点区化的匹配相反其允许在系列等级上进行匹配。由于该系列原则上可以具有任意长度,单个系列匹配可以包含图像的大部分。
匹配允许对至少一些点区的距离数据进行计算,更优选地对系列中的每个点区,典型地通过三角测量法。3D空间表示或者3D热成像模型因而可以使用距离数据来构建。
根据本发明的另一个实施例,为小数量的照射点区执行点的标识和匹配,例如5个点区,更优选地为4个点区,更优选地为3个点区,更优选地为2个点区,更优选地为单个点区。在该实施例中,从每个视点获取多个图像,其中紧接每个这种获取之前是用点区对身体的表面上的不同区域或位置的照射。点区的标识和匹配对于每个这种区域或位置分别执行。
在任何上述实施例中,点区的标识可以通过减法来实现。更具体地,每个图像被获取两次:一次没有用点区照射身体以及另一次用点区。在不用点区的情况下所获取的图像接着被从用点区所获取的图像中减去,并且剩余的数据包括涉及具有最小是或者没有背景噪声的点区的大部分信息。
所理解的是,测距成像系统和热空间成像系统,诸如上文中的系统120或者如将在下文中进一步说明的其他系统可能在获取之前要求校准步骤。
本实施例成功地提供了校准过程,其采用了由图形构成的数据库,该数据库具有多个条目,每个条目都具有图形条目和对应于该图形条目的视点的角度条目。典型地通过从多个不同视点将图形(例如几何图形)投影在表面上并且为每个视点确定对每个图形造成的失真来提前准备数据库。用图形照射身体并且从至少两个不同的视点获取身体和图形的至少两个图像。对于每个图像,所获取的图形被标识。访问数据库并且搜索数据库寻找大体上与相应的图像的被标识的图形相似的图形条目。一旦为所有图像找到图形条目,相应的角度条目被用于通过三角测量法计算距离数据。本实施例的校准过程的优点在于在数据库中的搜索原则上可以比角度的全面计算快。
根据本发明的各种示范性实施例的热空间成像系统的校准也可以通过用具有多个波长的图案照射身体来进行,其中至少一个波长可被系统的热成像装置检测并且至少一个波长可被系统的可见光成像系统家侧。能够提供这种照射的照射装置在现有技术中是已知的。举例来说,可以采用红外线灯,诸如IR-50系列中的一个,该系列可从英国Scitec仪器有限公司(Scitec Instruments Ltd,UK)商业上买到。使用热成像装置和可见光成像装置获取身体的热像图和可见光图像。通过将通过可见光成像装置所获取的图案与通过热成像装置所获取的图案对准来执行校准。根据本发明的优选实施例热像图和可见光图像大体上同时被获取,使得身体在校准期间实质上是静止的。
可选地并且优选地可以通过采用如在上文中参考图14所进一步详述的索引技术来进行图案的标识。
现在参考图15,其为根据本发明的各种示范性实施例的适合用于构建身体的3D空间表示的方法150的流程图。在本发明的各种示范性实施例中,方法150基于热像图并且优选地不使用可见光图像来构建3D空间表示。
方法150在步骤152处开始并且接着道步骤154,在步骤154中用图案照射身体,例如红外线范围中的编码图案。该图案可以是以允许其标识的任何形状。举例来说,在一个实施例中,图案包含一个或多个条形码,在另一个实施例中,图案包含诸如在上文中所描述的系列144的点区系列,在另外的实施例中,图案包含条形码和点区系列的组合。
典型地,使用具有3-14微米波长的激光来照射图案。根据本发明的优选实施例,采用具有10.6微米波长的CO2激光。备选地,可以采用红外线灯,诸如IR-50系列中的一个,该系列可从英国Scitec仪器有限公司(Scitec Instruments Ltd,UK)商业上买到。根据被用来构建三维空间表示的所希望的技术来选择图案。因而,图案可以被选择用来允许时间编码和/或空间编码。
优选地,投影在身体上的图案随时间变化。举例来说,可以以快速的和周期性的方式投影图案系列,一次投影一个图案。这可以用多个方式中的任意一个来进行。举例来说,具有周期性变化的透射系数的板可以在照射装置前面被移动。备选地,具有圆周变化的透射系数的圆盘可以在照射装置前面被旋转。还有备选地,频闪技术可以被采用以快速地投影静止图案系列,相位相对于彼此偏移。还被设想的是将光学衍射元件用于形成图案。图案也可以是以点区系列的形式,如在上文中进一步详述的那样(比较图14以及随附的说明)。用于提供图案的优选的照射装置在下文中说明。
在本发明的各种示范性实施例中,照射以足够短的脉冲长度为特征。优选地,采用比20毫秒短的脉冲,例如15毫秒或者更少,更优选地为10毫秒或者更少。
方法150接着到步骤156,其中一个或多个热成像装置被用于获取身体和图案的一个或更多热像图。热成像装置优选地被装配有合适的光学器件,其用于在红外线范围中从身体和图案获取数据。这种光学器件可从例如以色列Holo-Or有限公司(Holo-Or Ltd,Israel)商业上买到。在本发明的各种示范性实施例中,该方法从两个或多个不同视点获取身体和图案的两个或多个热像图。根据被选择的图案类型来执行热成像。举例来说,当采用时间编码时,热成像装置与照射的脉冲同步。
根据本发明的优选实施例,热成像装置的曝光时间小于20毫秒。优选地,热成像装置的曝光时间和读出时间相互补充到20毫秒。举例来说,在一个实施例中,曝光时间为19毫秒并且读出在1毫秒器件。该实施例在图16中示出。
在备选的实施例中,若干次读出与一次曝光同时被执行。在该实施例中,曝光时间可以是20毫秒或者更短。该实施例在图16b中示出。根据本发明的优选实施例,读出累积地被执行。这可以例如通过将被获取的信号累积到成像装置的像素中先前被存储的信号上而不擦除或者替换先前的信号来进行。在若干次读出之后,比如说每20毫秒,存储在成像装置的像素中的数据可以被擦除。备选地,累积可以数字化地被执行。
在备选的实施例中,曝光时间和读出时间两者都比20毫秒短。该实施例在图16c中示出。
根据本发明的优选实施例,该方法前进到步骤158,在该步骤中源自由身体生成的热的图像数据被从所获取的热像图中过滤出。这可以通过处理(一个或多个)热像图来进行,例如使用数字密度过滤器。备选地,身体的一个或多个热像图被获取而不用图案,并且通过将不用图案所获取的热像图从用图案所获取的热像图中减去来实现过滤
该方法接着到步骤160,在该步骤中计算对应于图案的距离数据。距离数据可以通过飞行时间技术、三角测量技术或者现有技术中任何已知的技术来计算,为此参见例如在1984年的关于图案识别的国际会议记录中第806-808页上S.Inokuchi、K.Sato和F.Matsuda的“用于3D对象识别的测距成像系统(Range imaging system for 3Dobject recognition)”以及美国专利No.4,488,172、No.4,979,815、No.5,110,203、No.5,703,677、No.5,838,428、No.6,349,174、No.6,421,132、No.6,456,793、No.6,507,706、No.6,584,283、No.6,823,076、No.6,856,382、No.6,925,195和No.7,194,112。
该方法接着到步骤162,其中热像图和距离数据被用于构建身体的3D空间表示。
一旦被构建,3D空间表示可以被以可视的形式显示,例如使用显示装置或者打印机,或者其可以被数字化地记录在计算机可读介质上。3D空间表示也可以被输出,例如被数字化地输出到被配置用来接收该3D空间表示并且分析和/或处理它的另一个系统或者设备。举例来说,3D空间表示可以被输出到生成热空间图像的系统或者设备。该方法在步骤164处结束。
图17是用于构建身体的三维空间表示的系统170的示意性图示。系统170可以被用于执行方法150或者其中被选择的步骤。系统170包含被设计和构建用于用红外线范围中的图案照射装置172的照射装置172。图案174被示出为条形码,不一定是这种情况,因为对于一些应用,图案不一定要以条形码的形式。因而,图案174可以具有任何形状和纹理。此外,尽管在图17中示出了三个图案,不一定是这种情况,因为装置172可以被配置用于通过多于一个的图案来照射身体。因而,本实施例也设想了图案系列。在本发明的优选实施例中,图案174至少部分包含系列142以允许如在上文中进一步详述的索引。
装置172可以包含激光装置、红外线灯或者能够提供红外线距离中的光并且可选地也可以提供如上文所述的可见光范围中的光的任何其他照明装置。系统170还包含一个或多个热成像装置224,其获取身体210和图案174的一个或多个热像图。优选地,热成像装置224从至少两个不同视点点获取至少两个图像。系统170还包含数据处理器230,其计算对应于图案的距离数据并且构建如在上文中进一步详述的身体210的3D空间表示。在本发明的各种示范性实施例中,处理器230过滤出源自由身体生成的热的图像数据,例如通过将不用图案174所获取的热像图从使用图案174所获取的热像图中减去,如在上文中进一步详述的那样。
本实施例的技术被用于得到和/或分析身体的外部以及内部器官的部分的热空间图像。本实施例的技术也可以在外科手术期间被采用,在这种情况下可以通过热空间系统来接近要被热成像的器官。根据本发明的优选实施例最适合用于开放性手术应用的热空间系统与上文所描述的系统相似,但是优选地具有小型化的成像装置以允许容易地接近内部器官。该实施例对于对在开放性手术期间外科医生既可接近又可移动的内部器官成像尤其有用。
在肝脏肿瘤(例如腺瘤、肝细胞瘤等等)的情况中,例如在开放性手术期间,外科医生将成像装置放在接近肝脏处并且获取肝脏的热像图以确定其中诸如肿瘤的病变的位置。一旦(一个或多个)位置被确定,外科医生可以消灭肿瘤,例如通过切除或者成腔(cavitation)。所认可的是高度带血(extremely bloody)的器官,消灭肝脏中的肿瘤而不侵害肝脏组织的能力具有最大程度的重要性。此外,在极端的情况中,含有不可治愈量的肿瘤的肝脏部分可以被去除,而含有较少量肿瘤(例如转移)的剩余部分可以被热空间成像并且其中肿瘤可以通过切除或者成腔而被消灭。上述过程也可被执行用于其他器官,诸如肾脏、结肠、胃或者胰腺。
可以在本发明的各种示范性实施例中成像的另一个器官是大脑。大脑可以包含可以根据本实施例的示教被定位并且可选地被诊断的许多类型的肿瘤。这种肿瘤的代表性例子包括但不限于诸如脑膜瘤的早期良性肿瘤、诸如胶质母细胞癌或星形细胞瘤的早期恶性肿瘤以及从诸如结肠、胸部、睾丸和类似物转移到大脑的任何恶性转移。
这可以被实现,例如在开放性脑部手术期间。在该实施例中,头盖骨的部分被去除并且热空间成像装置以预先确定的布置被插入,在大脑和头盖骨剩余的部分之间。
本实施例的技术也可以被用在扩散最小的过程中。为此本发明者设想了在本文中通常被称为系统180并且在图18a-c中示意性示出的热空间成像系统。
参照图18a-c,系统180在其最简单的配置中包含体内探测系统182,该体内探测系统182在其中具有用于获取活体前部的至少一个热像图的一个或多个热成像装置184。
体内探测系统182优选地通过将装置安装在合适的输送机构上以内窥镜地方式被插入,输送机构诸如但不限于内窥镜探测器或者导管。体内探测系统182优选地是灵活的以易于其内窥镜式的插入。另外地并且优选地体内探测系统182是尺寸化的(sizewise)并且与对象的内腔在几何构造上相适应以使对象在非扩散的体内检查期间的不适最小化。因而,体内探测系统182优选地被用于经直肠的、经尿道的、经阴道的或者经食道的检查。
成像装置184优选地为微型成像装置以允许将其安装在探测系统182上。系统180还包含数据处理器230,其与探测系统182通信,例如经无线通信系统,该无线通信系统具有在探测系统182上的第一发射机/接收机186和在处理器230上的第二发射机/接收机188。备选地,通信可以经通信线190来建立。由成像装置184获取的图像数据经探测系统182被传送到处理器230,该处理器230接收图像数据并且分析它以提供和显示活体前部的合成热空间图像。热空间图像的生成如所表明的是通过将一个或多个热像图映射到3D空间表示206的表面205。
在本发明的各种示范性实施例中,探测系统182还包含一个或多个可见光成像装置192,其获取活体前部的至少一个可见光图像并且经探测系统182将属于可见光图像的图像数据传送到处理器230。在该实施例中,处理器230将可见光图像数据用于构建3D空间表示。
备选地,如图18b所示,系统180包含两个体内探测系统,标为182和182′,其中(一个或多个)热成像装置184被安装在探测系统182上并且(一个或多个)可见光成像装置192被安装在探测系统182′上。在该实施例中,探测系统182和182′优选地经例如发射机/接收机186或者通信线190在其之间通信以允许同步。
在还有另一个备选中,如图18c所示,系统180包含两个体内探测系统182和182′,每个都既具有(一个或多个)热成像装置184也具有(一个或多个)可见光成像装置192。类似于图18b的实施例,探测系统182和182′优选地在其之间通信。
在本发明的各种示范性实施例中,系统180还包含用于用图案照射身体前部的照射装置194。该图案用于距离数据的计算,如在上文中进一步详述的那样。照射装置194优选地被安装在探测系统182上。
一般而言,系统180可以在许多扩散最小的过程中被采用,包括但不限于关节镜检查、支气管镜检查、结肠镜检查、阴道镜检查、膀胱镜检查、内窥镜活组织检查、胃镜检查、腹腔镜检查、喉镜检查、直肠镜检查、胸腔镜检查、食道-胃-十二指肠镜检查以及内窥镜逆行胰胆管造影。
现在参考图19a,其为在其中体内探测系统被用于对胃部热空间成像的实施例的示意性图示。在图19a中示出的是食道360和胃361(图片来源:国家医学图书馆(NLM)网站)。还被示出的是用导管363通过食道360被插入并且被放置在胃361中的体内探测系统182。该实施例可以被用于对诸如平滑肌瘤的良性肿瘤,或者对诸如癌或淋巴瘤的恶性肿瘤成像。
通过食道插入体内探测系统182的能力允许操作者得到食道本身的热空间图像,从而在其上定位病状,诸如食道癌。
现在参考图19b,其为在其中体内探测系统182被用于对前列腺或膀胱热空间成像的实施例的示意性图示。在图19b中示出的是直肠367、膀胱366、前列腺370和尿道369。在本实施例中,体内探测系统可以通过肛门368或者通过尿道369被插入到直肠367中。当装置探测系统182通过尿道被插入时,其可以被用于对前列腺成像,在这种情况中探测系统182被放在靠近前列腺或者膀胱处,在这种情况中探测系统182被插入到膀胱中,如图19b所示。
现在参考图19c,其为在其中探测系统182被用于对子宫、膀胱或者卵巢热空间成像的实施例的示意性图示。在图19c中示出的是直肠367、膀胱366、子宫372和卵巢373。在本实施例中,探测系统182可以通过阴道374被插入。探测系统182备选地可以被安装在导管上并且被插入子宫中。该实施例的热空间成像可以被用于定位或者诊断子宫或膀胱中的息肉。另外,该实施例可以被用于定位并且可选地被用于诊断子宫中的良性肿瘤(例如肌瘤)或者其中任何恶性肿瘤。对于卵巢,该实施例可以被用于在其中对任何早期的或者继发的恶性肿瘤进行热空间成像。
在本发明的各种示范性实施例中,两个或多个3D空间表示被构建,使得不同的空间表示对应于对象的不同姿态。这些实施例对于上文所描述的任何类型的热空间成像可用。
这些3D空间表示中的至少若干个可选地并且优选地可以伴有对相应姿态的一个或多个热像图的获取以及相应的热像图在相应的3D空间表示上的映射,诸如用来提供多个热空间图像。
多个3D空间表示的一个优点在于其可以被本实施例的方法用作一致性测试。这在图20中示出,图20为适合用于评估对身体中内部的热可区分区域的确定的精确度的方法400的流程图。
方法400在步骤402处开始并且接着到步骤404,在步骤404中得到合成热空间图像。热空间图像可以通过方法400来生成或者其可以通过另一个方法或系统来生成,来自该另一个方法或系统的图像可以被方法400读取。该方法接着到步骤406,其中活体中一个或多个内部的三维热可区分区域的位置以及可选地其尺寸被确定。这可以通过使用方法10、方法50或者任何其他方法,包括不同方法之间的组合(例如方法10和50)来进行。可选地并且优选地,该方法也确定一个或多个源区域,如在上文中说明的那样。
方法400接着到步骤408,在该步骤中得到活体的一个或多个另外的3D空间表示,其中每个3D空间表示对应于相对于活体的不同视点和/或对应于活体的不同姿态。方法400可以构建另外的3D空间表示或者通过方法400可以从其读取它们的另一个方法或系统构建另外的3D空间表示。
方法400接着到步骤410,在该步骤中基于内部的三维热可区分区域、表面上的等温线的预期的拓扑结构,对于3D空间表示中的至少若干个构建另外的3D空间表示。预期的拓扑结构优选地包括涉及等值线的大体形状(闭合、开放)的信息,但是其也可以包括更多的信息,例如表面上的温度数据以及类似信息。可以通过使用身体中的内部区域的位置、3D空间表示的形状,并且通过对身体的热导率(其可以是各向同性的或者非各向同性的)建模在数值上计算预期的拓扑结构。举例来说,该方法可以通过考虑如在上文中进一步详述的热距离函数D来构建预期的拓扑结构,见图10a-e和随附的说明。
方法400接着到步骤412,在该步骤中得到一个或多个另外的热空间图像,其中每个热空间图像对应于相对于活体的不同视点和/或活体的不同姿态。热空间图像可以通过方法400来生成或者其可以通过另一个方法或系统来生成,来自该另一个方法或系统的图像可以被方法400读取。该方法接着到步骤414,在该步骤中(一个或多个)另外的热空间图像被与预期的拓扑结构比较。如果在另外的热空间图像中的等温线的拓扑结构与预期的拓扑结构相似,则该方法可以确定内部区域的位置以及可选地其尺寸是准确的。否则,该方法标识错误,确定错误已经被扫描到。因而,方法400起一致性检查的作用并且确定是否有就热可区分对象在身体内的位置而言的一致性。
方法400接着到步骤418,在该步骤中与比较有关的报告被发布,并且该方法在步骤419处结束。
若干3D空间表示的另外的优点在于它们可以用在初步测试中来选择用于成像和/或身体的姿态的合适的视点点。特别地,对于至少若干3D空间表示,表面上的等温线的预期的拓扑结构优选地被构建。一旦两个或多个这种预期的拓扑结构已知,操作者或者医师可以选择最适合用于检查的、成像和/或身体的姿态的视点。
举例来说,假设活体是妇女的胸部,并且3D空间表示在妇女站着时被得到并且当妇女向前屈身时得到第二3D空间表示。还假设对于第一3D空间表示,预期的拓扑结构具有开放的等温线,并且对于第二3D空间表示,预期的拓扑结构具有闭合的等温线。在这种情况下,操作者或者医师可以决定选择第二姿态(向前屈身),因为热可区分对象的位置的确定在热数据以闭合的等温线为特征时更加准确。
优选的是热空间成像将在热像图的获取期间对象的身体中有最小的热变化时被执行。
现在参考图21,其为根据本发明的各种示范性实施例的适合用于确保活体大体上处于稳定的热条件的方法420的流程图。该方法在步骤422处开始并且接着到步骤424,该步骤424中从预先确定的视点获取活体的热像图系列。方法420接着到步骤426,在该步骤中热像图被比较以提取图像中的热变化。在本发明的各种示范性实施例中,步骤424和步骤426大体上同时被执行。
可以以多于一种方式进行比较。在一个实施例中,每个热像图被与单个先前所获取的热像图比较。备选地,至少若干个热像图被与多个(例如全部)先前所获取的热像图比较。可选地并且优选地,该方法接着到步骤427,在该步骤中热变化被显示在显示装置上。
该方法接着到判定步骤428,在该步骤中该方法确定热变化是否在预先确定的门限以下。如果变化没有在门限以下,该方法返回步骤424。如果变化在门限以下,则该方法接到步骤430,在该步骤中指示活体大体上处于稳定的热条件的报告被发布。门限值取决于热成像装置并且典型地被设置为其热分辨率。在现有技术中已知的是具有0.1℃以及以下的分辨率的热成像装置。举例来说,Photon OEM照相机内核可从FLIR商业上买到并且提供小于0.085摄氏度的热分辨率、TH9100PMV可从NEC商业上买到并且提供小于0.06摄氏度的热分辨率以及IVN 3200-HS可从IMPAC商业上买到并且提供小于0.08摄氏度的热分辨率。因而,根据本发明的优选实施例,门限值大约为0。1摄氏度。
本发明也可以被用于监视医疗装置的位置,诸如活体组织穿刺针或者活体中的导管。举例来说,当活体组织穿刺针要被引入肿瘤时,热空间成像可以被用于确保该针的路径对于执行活体组织穿刺是恰当的。此外,由于热空间成像可以如所表明的那样被用于确定肿瘤的位置以及可选地为其尺寸,组合的过程可以被采用,其中相同的热空间成像系统被用于确定肿瘤的存在、位置以及可选地其尺寸并且一旦活体组织穿刺针被引入身体中其就被用于监视它的路径。
在本发明的各种实施例中,医疗装置的温度(针、导管等等)被设置为与身体的平均温度充分不同的温度。这确保医疗装置可被热空间成像系统检测。一旦医疗装置的温度被设定,医疗装置被引入身体中。身体和医疗装置的一个或多个合成热空间图像接着可以被生成并且被用于监视装置的位置或者路径。
现在参考图22,其为可插入活体中的医疗装置440的示意性图示。装置440可以被使用,例如作为活体组织检查装置,例如用于执行标准的胸部活体组织检查过程。装置440的具体优点是其允许当被插入身体中时感测或者测量温度。装置440优选地在尺寸上相对小并且不产生将在其中影响所进行的感测的热导率水平。优选地,装置440能够以高的精确度检测和提供肿瘤和周围组织的温度曲线,以允许当肿瘤为小尺寸时对处于早期的癌症的诊断。
装置440优选地包含空心结构442,其具有近端444、远端446以及从端444延伸到端446的光纤448。远端446可以是尖端的形状以允许装置440容易地被插入身体中。光纤448被设计和构建用于从远端446向近端444传送热辐射。热辐射可以通过合适的装置来测量或者记录,诸如但不限于,可选地与光纤448通信的热成像装置450。光纤448由适合用于引导红外线范围中的电磁辐射的材料制成。光纤448可以由与结构442的材料不同的材料。在该实施例中,光纤448被引入结构442中的通道452中。备选地,结构442可以由适合用于引导红外线范围中的电磁辐射的材料制成,在这种情况中通道本身可以起光纤的作用。
所理解的是在图22示出的实施例中,没有对温度的测量或者感测在结构442中被执行。相反地,借助于通过光纤的辐射来引导热能。这实质上不同于已知的温度测量探测器,例如在美国专利No.6,419,635中所公开的探测器,其中该探测器执行测量并且将数据传送到外部的位置。因而,从制造过程来看以及从成本和可用性来看装置440都是有优势的。
现在参考图23a-b,其为根据本发明的各种示范性实施例的照射装置460的示意性图示。装置460可以被用在测距成像系统中,例如用图案照射要被成像的表面。
装置460包含生成光束464的光源162、动态光束偏转器466以及图像形成元件468。光源462优选地包含发射激光光束的激光装置。光束464可以在可见光范围中或者在红外线范围中,取决于装置460所用于的应用。还被设想的是既生成可见光范围中的光束也生成红外线范围中的光束的光源,诸如IR-50系列中的一个,其可从英国Scitec仪器有限公司商业上买到。
光束偏转器466用于动态地反射光束464以全面(thereacross)扫描图像形成元件468的表面来定义例如光栅图案。光束偏转器466可以包含可移动的镜子或者可移动的镜子的阵列,诸如但不限于可从美国德州仪器有限公司(Texas Instruments Inc.,USA)商业上买到的数字微镜装置(Digital Micromirror DeviceTM)。光束偏转器466还可以包含电光单元,优选地为电光晶体,其响应于对其所施加的电偏置而使光束偏转。
图像形成元件468在图23b中被更好地观察,图23b示出根据视点A的单元468。如所示出的那样,单元468包含多个被区分的区域,用参考点区470-1、470-2、...470-M、...470-N标明。被区分的区域中的至少若干个优选地被设计用于形成不同的图像。区域470可以是例如全系元件、衍射光栅以及类似物。在任何情况下,区域470允许光的选择性透射使得穿过区域470的光构成图像。
在操作中,当光束464扫描单元468的表面时,不同的图像在不同的时间形成。因而,装置460能够以周期性的方式用图案系列来照射表面。单元468上的光束464的扫描速率优选地被选择为允许所形成的图像的快速变化。这是有利的,因为其易于快速的测距成像。举例来说,可以在单个帧的持续时间内(例如20毫秒)用由10个或更多图案构成的系列照射表面,从而使测距成像的速率提高一数量级。
本发明成功地提供了用于构建身体的三维空间表示的技术。该技术是对通常被称为“结构光技术”或者“编码光技术”的技术的改进。该技术基于被投影到非平面的表面上的条纹以能够反应表面特征的曲线与表面相交这个观察。曲线的图像可以通过成像装置被获取,其被成像用于在成像装置的平面(被称为成像平面)上形成多个测量点。该曲线和产生条纹的光源定义被称为光平面的另一个平面。在光平面上的点和成像平面上的点之间有对应关系。为了获取整个表面的图像,编码图案代替单个条纹被投影,因而有“结构光”或者“编码光”之称。
关于已知的结构光技术的主要问题是所得到的图像的横向分辨率不能被提高超过被用于产生编码图案的投影仪的内在分辨率。当许多类型的成像装置能够以相当小的像素尺寸(具有数十微米的量级)获取图像时,高分辨率的投影仪几乎无法得到。举例来说,SVGA投影仪生成800个条纹。对于大约40厘米的投影范围,单个条纹的宽度(或者相邻条纹之间的空间隙)为大约半毫米。使用更精密的并且昂贵的投影仪仅收效不大地改进分辨率。举例来说,XGA投影仪生成1024个条纹,从而仅可以将分辨率减小不到30%。然而,在这两种情况中,所认可的是单个被投影的单元的宽度在成像装置的若干像素上延伸,并且可实现的分辨率由投影仪的分辨率决定。
本发明通过提供用于构建身体的三维空间表示的方法500和系统600成功地克服了前述分辨率限制。
在图24中提供了描述根据本发明的优选实施例的方法500的方法步骤的流程图并且在图25中提供了根据本发明的优选实施例的系统600的示意性图示。
结合地参照图24和图25,方法500在步骤502处开始并且接着到步骤504,在步骤504中使用图案投影仪602照射身体610。在本发明的各种示范性投影仪中,投影仪602用两个或多个不同的颜色以使得具有不同颜色的编码图案相互错开的方式将编码的图案604投影在身体610上。在图25中示出的是三个相互错开的编码图案604a、604b以及604c,其可以举例来说对应于红光、绿光和蓝光的编码图案。
投影仪602可以基于现有技术中已知的任何技术,诸如但不限于LCD、DLP或其组合。投影仪602可以提供许多类型的图案。举例来说,图案可以包括若干条纹。条纹可以是一致的或者它们可以具有光密度轮廓的线性斜率。这种图案允许标识条纹上的若干点。图案的其他类型和形状没有被排除在本发明的范围之外。
广义上说,投影仪602包含光源606和光学器件608。光源606典型地包括多色照射单元或元件(cell)的矩阵,其每个都能胜任若干主颜色(例如红色、绿色和蓝色)的光输出。每个照射单元还可以被细分成两个或多个单色的子单元。因而,举例来说多色照射单元可以包括红色子单元、绿色子单元和蓝色子单元,如在现有技术中已知的那样。备选地,多色照射单元可以在没有这种细分的情况下操作,如在例如DLP投影器的情况中。矩阵可以是无源矩阵或者有源矩阵。
当光源606包含无源矩阵时,没有光在单元内被生成并且该单元仅能够阻挡由光源的背光组件生成的光的透射,或者允许由光源的前端照明组件生成的光的反射。在该实施例中,每个照射单元包含颜色滤波器,诸如颜色轮或者提供不同样色光输出的红色、绿色和蓝色(RGB)过滤器的布置。当光源606包含有源矩阵时,每个照射单元独立地辐射光。在该实施例中,每个单元可以产生白色光,其接着通过颜色滤波器被过滤处于子单元水平。备选地,每个子单元可以包含单色光发射元件,诸如发光二极管或者有机发光二极管。
光源606的多色照明单元的数量被称为投影仪602的分辨率。如将由本领域的一个普通技术人员所理解的那样,像素的数量越高,分辨率越好。已知的投影仪具有640x480个单元的分辨率(也被称为VGA投影仪)、800x600个单元的分辨率(也被称为SVGA投影仪)、1024x768个单元的分辨率(也被称为SXGA投影仪)、1400x1050个单元的分辨率(也被称为SXGA+或者SXGA加投影仪)以及800x600个单元的分辨率(也被称为UXGA投影仪)。
每个多色照射单元负责照射被照射的表面上的单元区域,该单元区域在文献中也被称为“基点”或者“投影像素”。由于投影像素对应于表面上的区域(而不是对应的照射单元的物理区域),它的尺寸取决于投影仪和被照射的表面之间的距离,并且取决于从照射单元发射的光束的散度。尽管如此,对于给定的投影仪和给定的投影距离,投影像素可以以尺寸为特征,诸如直径或者面积。投影仪602的分辨率决定在被照射的表面上的投影像素的最大数量。类似地,对于投影仪的给定覆盖面积,分辨率决定投影仪602的相邻投影像素的中心之间的横向距离。
光学元件608可选地控制由光源606生成的光束以提供编码图案。光学元件608可以包括例如聚焦或者瞄准单元、分色光学系统、衍射光栅、全系元件、数字微镜装置芯片以及类似物。不同颜色的编码图案之间的相互错开优选地通过光学元件608来实现。在本发明的各种实施例中,光学元件608以不同的转向角使不同的波长改变方向。这可以例如通过将光学元件608设计用于可选地操作具有可见光范围中的预先确定的波长(例如对应于绿色或者略呈绿色的光的波长)的光来实现。由于光学元件608被设计用于特定的波长,不同的光学控制被得到用于不同波长。
投影仪602优选地但不是强制地以顺序的模式操作。在这个优选实施例中,表面被照射使得具有不同颜色的两个相邻图案在不同的时间被投影。给定颜色的图案优选地通过启动照射单元的集合来生成,其中以使得集合中的每个单元发射相同波长的光的方式来启动照射单元的集合。相邻的图案可以通过启动用于发射作为不同波长的光的照射单元的相同集合来生成。因而,根据本发明的优选实施例,至少两个相邻的图案通过使用照射单元的相同集合而被生成。
图案的波长可以对应于单元的主颜色,或者备选地对应于主颜色的预先确定的混合。当主颜色的图案,比如说红色图案被生成时,集合中的每个单元发射红色光。相邻的图案可以通过启动例如用于发射绿色光的相同集合来生成,另一个相邻的图案可以通过启动用于发射蓝色光的相同集合来生成。优选地,投影仪602的顺序操作为使得单元的集合被启动以发射具有第一颜色的图案,接着相同的集合被启动以发射具有第二颜色图案等等。顺序地单元的另一个集合被启动以发射具有单个颜色的图案的系列等等。
根据本发明的优选实施例,投影仪602被设计和构建使得不同颜色的编码图案相互错开低于相邻的投影像素的中心之间的特征距离的量。优选地,不同颜色的编码图案相互错开相邻的投影像素的中心之间的特征距离的一半,更优选地为三分之一的量。
本发明利用光学元件608对不同波长的不同响应并且生成以小于投影像素的尺寸的距离错列的相邻图案。在本发明的各种实施例中,投影仪602以投影仪602的顺序模式操作,以避免相邻图案之间的混淆,尽管图案之间的距离小于单个投影像素的尺寸。然而,投影仪602也可以以同步的模式操作。在该实施例中,获取(以下参见步骤506和装置612)优选地采用颜色过滤器的布置以允许相邻条纹的标识。在任何情况下,投影仪602的有效分辨率被显著提高。优选地,投影仪602的有效分辨率是照射单元的数量的三倍。
更优选地,投影仪602的有效分辨率是其照射单元的数量的九倍。这可以通过在每个横向维度上将分辨率提高到三倍来实现。
考虑例如在表面上产生条纹的RGB投影仪。在表面上有一定量的不同位置可以被用条纹照射。该数量通常等于以投影像素为单位的表面宽度和长度。当投影仪以顺序模式操作时,不同位置的数量可以增加到三倍。这是因为照射单元的特定线性集合可以在表面上的第一横向位置上投影红色条纹、在表面上的第二横向位置上投影绿色条纹以及在表面上的第三横向位置上投影蓝色条纹,其中第一、第二和第三横向位置相对于彼此稍稍错列。尽管如此,所有三个位置的横向范围大概地等于单个投影像素的直径。因而,如果照明单元的集合将白色条纹(由所有RGB颜色的混合来形成)投影在表面上,它的宽度可能是每个主颜色条纹的宽度的三倍。
在图26a-d中示出了这种情况,图26a-d显示了在横向位置712处的第一条纹702(图26a)、在横向位置714处的第二条纹704(图26b)、在横向位置716处的第三条纹706(图26c)以及在横向位置712-716上延伸的所有这三个条纹。
可以对纵向以及水平的条纹进行类似的考虑,在这种情况中分辨率被增加为3x3=9倍。
在本发明的各种实施例各种实施例中,不同颜色两个相邻条纹之间的移位小于单个条纹的宽度。理论上,当条纹的宽度为w时,不同颜色的两个相邻条纹之间的相互错开为Xw,其中0<X<1,更优选地为0<X≤0.5,甚至更优选地0.3≤X≤0.5,比如说1/3。举例来说,当条纹的宽度为0.4毫米并且投影仪602产生三个不同主颜色时,相互错开为大于0.15毫米。
方法500接着到步骤506,在该步骤中获取编码图案的一个或多个图像以提供图像数据。该获取可以通过使用成像装置612来进行,诸如CCD或者类似装置。成像装置612的设计和基本功能在本领域中是熟知的并且没有在这里作任何详述。除了执行图像获取的基本功能以外(诸如但不限于读出和同步CCD芯片、背景提取、自动曝光、自动聚焦等等),装置612的电子电路优选地包含用于存储校准数据的存储介质。
根据本发明的优选实施例,获取被进行以在不同颜色的编码图案之间进行区分。因而,成像装置612的分辨率至少与投影仪602的有效分辨率一样高。另外,由于编码图案以顺序的方式被生成,图像的获取包含单个曝光时间期间的多次读出。举例来说,当由三个主颜色时,图像的获取包含在单个曝光时间期间的三次读出,例如每个所生成的图案一次读出。还被设想的是如在上文中进一步详细描述的短曝光时间(参见图16a-c和随附的说明)。
方法500前进到步骤508,在该步骤中基于图像数据计算编码图案的3D位置。通过使用图像数据处理器614来执行该计算,该图像数据处理器614被补充有现有技术中已知的3D位置计算算法。
广义地说,该算法优选地用编码图案的位置在图像上定位。可选地,所得到的图案的密度被在彼此之间比较。一旦图案被标识,它们3D坐标可以被确定,如在现有技术中已知的那样,例如通过三角测量法。系统的几何参数通常根据系统的设计而得知或者用现有技术中已知的合适的校准过程来确定,系统的几何参数诸如以图案根据其被发射的角度的、光源和成像装置之间的距离。校准数据的代表性的例子包括但不限于三角测量距离、焦距、像素尺寸、成角度的位置、编码图案的密度曲线或者类似数据。3D坐标的计算典型地但不是排他性地以两个阶段被采用:低分辨率阶段,其中仅一部分图案的3D坐标被确定,以及高分辨率阶段,其中为所有图案计算3D坐标。3D坐标的计算优选地以使得允许确定不同颜色的相邻图案的精确度来执行。换句话说,计算的精确度优选地使得允许在以低于相邻的投影像素之间的距离的量横向偏移的对象之间进行区分。举例来说,当图案包含条纹时,计算的精确度与两个相邻条纹之间的距离相适应。
典型地,每个都由大约10-50个条纹构成的大约10-20个图案足够用于近似表面的几何形状。可以通过使用如现有技术中已知的建网算法来提供被分成三角形的网格从而近似表面的三维表示。
该方法在步骤510处结束。
尽管已经结合其专门的实施例说明了本发明,很明显许多备选、改动和变化对于本领域的技术人员是显而易见的。因此,意图是要包含落在所附权利要求的实质和广义范围内的所有这种备选、改动和变化。在本说明书中提到的所有公开、专利和专利申请通过引用被全部并入本文中,与每个单独的公开、专利或专利申请被专门地和单独地被表明要通过引用被并入本文中一样。另外,本说明书中任何参考的引用或者认同不应当被看作承认这种参考作为现有技术对本发明可用。