CN110136191A - 用于体内对象的大小估计的系统和方法 - Google Patents

Abstract

一种用于体内对象的大小估计的系统、方法和虚拟工具包括接收并且显示通过体内成像装置获得的体内对象的二维图像；通过用户输入设备从用户接收表示关注点的被选区域的指示；估计在被选区域周围的多个图像像素的深度；基于估计的深度计算多个图像像素的三维坐标表示；将已知大小的虚拟工具投向三维表示；将虚拟工具投影至二维图像上以在显示的图像上创建具有二维形状的游标。

Description

用于体内对象的大小估计的系统和方法

本申请是申请日为2014年10月1日，申请号为201480050849.8，发明名称为“用于体内对象的大小估计的系统和方法”的专利申请的分案申请。

技术领域

本发明涉及一种估计图像中对象的几何参数的领域。更具体地，本发明涉及估计或确定图像中对象的大小。特别地，本发明涉及一种通过体内装置获得的图像并且涉及一种用于估计体内对象、区域或组织的大小的虚拟工具。

背景技术

已知装置例如使用成像技术、系统和/或方法可帮助提供体内感测。用于这种装置的用途中的一种可以是检测和/或识别可指示体内病理的对象或组织。例如可吞服或可摄取胶囊或其它装置的自主的体内感测装置可通过体管腔(body lumen)移动，当它们沿体管腔移动时感测、监控或以其它方式获得数据。这种自主的体内感测装置可包括例如用于获得诸如胃肠(GI)道等体腔或体管腔的图像的成像器。这种自主的体内感测装置可包括光学系统、光源、控制器和可选地发送器和天线。这些装置中的一些使用无线连接来传输图像数据。

存在用于估计体管腔中成像的对象的大小的不同方法。例如，体内装置可发射激光束并且可进一步获取由这种光束产生的在组织上的斑点以及周围组织或区域的图像。从体内装置到斑点的距离可例如基于图像中斑点的位置来计算。各种参数、系数或与颜色或附近组织(可被认为处于与激光束斑点相同的和已知的距离处)的其它光学方面相关的其它信息可被计算并且应用至图像中的其它区域、对象或组织中以便计算这种其它区域、对象或组织与体内装置的距离。

当使用用于活体检查的内窥镜时，内窥镜可包括通过将钳臂打开至体内对象的大小能使专业人员估计体内对象大小的真实钳(内窥镜钳)。

发明内容

本发明的实施例可提供用于体内对象的大小估计的系统和方法。方法包括显示通过体内成像装置获得的体内对象的二维图像，图像包括图像像素；从用户接收表示关注点的被选区域的指示；估计在被选区域周围的多个图像像素的深度(例如在正交于二维显示器的两个尺寸的第三尺寸中的距离)并且基于估计的深度计算多个图像像素的三维坐标表示。

另外，根据本发明实施例的方法包括将已知大小的虚拟工具投影或投向三维表示上(例如将工具加入至该表示)以确定工具的终点。投影或投向可包括和/或可按顺序执行以便确定虚拟工具的多个长度的终点。投影或投向可包括创建虚拟工具，虚拟工具具有原点和在多个方向上从所述原点开始并在所述多个方向上的所述终点结束的多个长度并且将多个延伸部或长度的终点定位在由三维表示上的三维空间中的三个坐标限定的点上，其中终点中的每一个被定位在从三维表示中的关注点以毫米为单位的相同的预定的绝对距离处。定位可包括检查沿某一方向从所述原点至所述组织的所述三维表示上的多个点的绝对距离并且如果对于某个点，绝对距离等于预定距离，则将某个点确定为终点的位置。

另外，根据本发明实施例的方法包括将虚拟工具加入或投影至二维图像以在显示的图像上创建游标或具有二维形状的其它屏幕上指示工具，游标在不同方向上具有多个尺寸，尺寸在二维图像上投影的确定的终点处结束。投影可包括创建在多个方向上具有多个投影的尺寸的二维游标，尺寸在投影在二维图像上的确定的终点处结束，其中投影的尺寸是在二维图像上的从在显示的图像上投影的终点至在显示的图像上选择的或标记的关注点的距离。

另外，根据本发明实施例的游标在显示的图像上方可移动而投影的尺寸根据在二维图像上从在显示的图像上投影的终点至在显示的图像上选择的或标记的关注点的距离是动态变化的，其中随着游标在显示的图像上方被移动或重新定位时，关注点是变化的。

根据本发明实施例的用于估计体内对象的大小的系统可包括有存储器和处理器的工作站，存储器存储由体内成像装置拍摄的图像。处理器可被配置成：显示通过体内成像装置获得的体内对象的二维图像；通过用户输入设备接收表示关注点的被选区域的指示；估计在被选区域周围的多个图像像素的深度并且基于估计的深度计算多个图像像素的三维坐标表示；将已知大小的虚拟工具投向三维表示上以确定工具的终点；将虚拟工具投影至二维图像上以在显示的图像上创建具有二维形状的游标，游标在不同方向上具有多个尺寸，尺寸在二维图像上投影的确定的终点处结束。

此外，处理器可被配置成：创建虚拟工具，虚拟工具具有原点和在多个方向从原点延伸的多个延伸部或在多个方向从原点在多个方向的终点处结束的长度；和将多个延伸部或长度的终点定位在由三维空间中的三个坐标限定的点上，在所述三维表示上，其中终点中的每一个被定位在距三维表示中的关注点以毫米为单位的相同预定的绝对距离处。

此外，处理器可被配置成：检查沿某一方向从所述原点至所述组织的所述三维表示上的多个点的绝对距离；如果对于某个点，所述绝对距离等于所述预定距离，则将所述某个点确定为终点的位置。

此外，处理器可被配置成创建在不同方向上具有多个投影的尺寸的二维游标，其中投影的尺寸是在二维图像上从在显示的图像上投影的终点至在显示的图像上选择的或标记的关注点的距离。

根据本发明进一步实施例，用于体内对象的大小估计的方法包括创建用于体内对象的大小估计的虚拟测量工具，工具包括在显示的二维图像上的关注点上的原点和在由所述体内成像装置拍摄的组织的图像的三维表示上的从原点开始的在多个方向上的多个长度，每一个长度具有在长度的远端处、被定位在图像的三维表示中的点上的终点，其中终点具有在三维表示中从原点的相同绝对距离、和将虚拟测量工具投影在图像上，用于创建在多个方向上具有多个投影的尺寸的二维游标，投影的尺寸是二维图像上从在显示的图像上投影的终点至在显示的图像上选择的关注点的距离。

附图说明

本发明的实施例以示例的方式被说明并且不限于附图中的图，其中相同参考数字指示相对应的、类似的或相似元件，其中：

图1示出了根据本发明实施例的体内成像装置的示意图；

图2示出了根据本发明实施例的体内成像系统的示意图；

图3是根据本发明实施例的在例如可通过深度估计模型计算的成像的组织的三维表示的横截面图示上投射的虚拟工具的示意横截面图；

图4A、图4B和图4C是根据本发明实施例的例如通过体内装置拍摄的显示的图像和被显示在图像上的虚拟测量工具的示意图；

图5是说明根据本发明实施例的用于体内对象的大小估计的方法的流程图。

将理解的是，为了说明的简单性和清楚性，在附图中示出的元件已经没有必要准确地或按比例绘制。例如，为清楚起见，一些元件的尺寸可相对于其它元件被夸大或一些物理组件可被包括在一个功能性阻挡部或元件中。此外，在认为合适的地方，参考数字可在附图中被重复以指示相应的或类似的元件。

具体实施方式

在下面详细的描述中，多个具体细节被阐述以便提供本发明的彻底理解。然而，本领域技术人员将理解的是，本发明可在没有这些具体细节的情况下被实践。在其它示例中，公知的方法、程序和组件、模型、单元和/或电路未被详细描述以免混淆本发明。

虽然本发明的实施例不限于此方面，但是利用诸如例如“处理”、“用计算机计算”、“计算”、“确定”、“建立”、“分析”、“检查”等术语的讨论可指将表示为计算机寄存器和/或存储器内的物理(例如，电子)量的数据操纵和/或变换成同样表示计算机寄存器和/或存储器内物理量和/或可存储执行操作和/或过程的指令的其它信息非临时性存储介质的其它数据的计算机、计算平台、计算系统或其它电子计算设备的操作和/或过程。

虽然本发明的实施例不限于此方面，但是如此处使用的术语“多数”和“多个”可包括例如“许多”或“两个或多个”。术语“多数”和“多个”可在通篇说明书中使用以描述两个或多个组件、装置、元件、单元、参数等。除非明确地阐述，此处描述的方法实施例不受限于具体顺序或序列。此外，描述的方法实施例或其元件中的一些可在同一时间点发生或被执行。

本发明的系统和方法的实施例可与能够获得体内对象的图像的成像系统或装置联合使用。更具体地，在一些实施例中，可使用可在如此处描述的体内装置中安装的成像装置或系统。然而，将理解的是，本发明实施例不受使用的成像系统、装置或单元的类型、性质或其它相关方面的限制。

本发明的一些实施例涉及诸如自主的可吞服成像装置等通常可吞服的体内装置。其它实施例没有必要是可吞服的或自主的并且可具有其它的形状或配置。根据本发明的实施例、包括适合与本发明的实施例一起使用的成像单元、接收单元、处理单元、存储单元和/或显示单元的装置可与在美国专利第7009634号和/或美国专利第5604531号中描述的实施例相似，美国专利第7009634号和美国专利第5604531号中的每一个被转让给本发明的共同受让人并且其全部内容在此引入以作参考。当然，如此处描述的装置和系统可具有组件的其它配置和其它设置。

根据一个实施例，体内成像装置可在其穿过GI道时收集一系列静止图像。图像可后来被表示为例如GI道穿过的图像或移动图像的流或序列。当体内成像装置穿过GI道可需要几个小时，体内成像装置或系统可收集大量的数据。体内成像装置可以例如每秒4-40个图像的速率(可使用诸如每秒两帧的其它速率)记录图像。体内成像装置可具有固定的或可变的帧拍摄和/或传输速率。当体内成像装置具有可变的或适应的帧速率(AFR)时，体内成像装置可例如基于诸如成像装置速度等参数、估计的位置、连续图像之间的相似度或其它标准在帧速率之间来回切换。总共成千个的图像例如50000个图像可被记录。图像记录速率、帧拍摄速率、拍摄图像的总数、当移动图像被编辑时选择的图像的总数和移动图像的观察时间中的每一个可以是固定的或变化的。

虽然可在替换实施例中使用其它图像格式，但是通过体内成像装置记录和传输的图像数据可以是数字彩色图像数据。在一个示例中，图像数据的每一帧可包括320行，每一行有320个像素，每一个像素包括根据已知方法的用于颜色和亮度的字节。例如在每一个像素中，颜色可通过四个子像素的镶嵌表示，每一个子像素对应于诸如红色、绿色或蓝色等原色(其中一个原色被表示两次)。整体像素的亮度可通过一个字节(即0-255)的亮度值记录。根据一个实施例，图像可被顺序地存储在数据处理器存储单元(例如图2中的存储装置(storage)630)中。存储的数据可包括包含颜色、强度和亮度的一个或多个像素性质。

虽然信息收集、存储和处理被描述为通过某些单元执行，但是本发明的系统和方法可利用替代装置来实施。例如，收集图像信息的组件不必被包含在成像装置中，但可被包含在适于穿过人体中管腔的诸如内窥镜、支架、导管、针等任何其它工具。数据处理器存储单元可存储通过体内成像装置记录的一系列图像。当体内成像装置移动通过患者的GI道时通过其记录的图像可被连续地拼合以形成移动图像流或视频。

如此处所指的成像参数或成像信息可以是与图像有关或相关联的任何信息。例如，成像参数、值或信息可与如现有技术中已知的数字图像中的像素相关联并且由其获得。因此，将理解的是，可与数字图像中的像素或其它成像表示例如色调、强度、颜色、饱和度等相关联的任何信息可如此处所述被获得、分析和/或处理。同样地，如此处所指的图像可通常(但不一定)是如通过成像设备拍摄的数字图像或空间或场景的表示。本发明的实施例可将图像的处理建立在具体信息的基础上，成像装置的参数或其它方面例如像素与大小的关系可使用用于获取或数字化图像的成像装置的已知分辨率参数来确定。因此，与成像装置相关的参数可同样地在此被称为成像参数。

根据一些实施例，从成像装置的距离和/或对象的大小可通过获得被设计以至少提供至少一个成像参数到至少一个距离参数的映射的组织模型、通过成像系统获得对象的数字图像、选择数字图像中的至少一个像素，其中这种至少一个像素与对象相关联，例如表示数字图像中对象的至少一部分并且基于组织模型和与像素相关联的数据，计算与体内成像系统与对象之间的距离相关的距离参数来确定或估计。

例如，给定图像中对象的距离(例如当采集图像时体内成像系统与对象的距离)，与对象相关联的像素数量(例如由对象的边缘或边界包围的像素的数量)与对象的大小的关系可基于成像系统的已知参数来确定。

现在参照示出了根据本发明的一个实施例的体内成像装置100的示意图的图1。如图所示，体内成像装置100可包括成像系统110、光源120、计算系统130、接收器/发送器140、电源150(例如内置电池或无线接收系统)和观察窗或圆顶160。在一些实施例中，体内成像装置100可以例如是能够拍摄图像和/或获得其它数据的可吞服胶囊。更具体地，体内成像装置100可被配置、设计或以其它方式启用以独立地采集图像并且被进一步配置以执行下述中的至少一个：处理、存储图像和其它信息、将图像传递给远程计算或通信设备和/或提供与获得的和/或处理的图像相关的信息、数据或参数。例如，当在人体或其它生物体内时，体内成像装置100可获得组织、对象或它周围的图像、存储、处理和/或传递这种获得的图像以及可能地计算、用计算机计算、确定和提供各种指示、报警，结果或测量。

在一些实施例中，体内成像装置100可以是如图1中示出的包括例如观察窗或圆顶160的胶囊的形状。观察窗160可以是凸的或大体上凸的并且光滑的，并且可从装置100的主体和/或壳体向外突出。观察窗160可被设计成为成像系统110提供合适的视场(FOV)和/或能使来自光源120的光到达装置100外部的对象，例如如图所示的对象170。可使用其它形状，装置不必是可吞服的或胶囊。例如，体内成像装置100可被移植、插入或以其它方式位于任何可适用位置中。

成像系统110可以是任何合适的成像系统。例如，成像系统110可包括任意数量的透镜或反光镜、可用于将成像系统110引导在特定方向或角度的支撑组件和/或嵌入式控制模型。成像系统110可包括互补金属氧化物半导体(CMOS)成像摄像机。如本领域中公知的，CMOS成像器通常是超低功耗成像器并且被设置在芯片级封装中。可使用其它类型CMOS成像器或其它成像器例如CCD成像器。320x320像素成像器可被包括在成像系统110，例如一个具有在5微米-6微米之间像素大小中。根据一些实施例，像素中的每一个可被装备有微透镜。

光源120可以是能够例如定期性地或连续地产生可与体内成像装置100的外部的对象例如在图1中示出的对象170相互作用的光或其它形式能量、任何合适的光源或能量源。例如，由光源120定期性地或连续地发射的光可从这种对象被反射并且通过成像系统110被拍摄。例如，光源120可以是提供光以照亮对象从而能获取如现有技术中已知的图像的发光二极管(LED)组、有机发光二极管(OLED)组或其它合适的光源。在其它实施例中，其它形式的能量或其它类型的光例如成像系统110能够获取的任何形式的光或能量可通过光源120产生。

计算系统130可以是适于处理如此处描述的图像以及控制、协调或以另外管理体内成像装置100中的组件的任何合适的物品、处理器、芯片、控制器或合适的计算装置。例如，计算系统130可执行下述中一个或多个：使成像系统110采集图像、处理图像、使这种图像被存储在体内成像装置100中的本地存储装置(未示出)上、例如通过控制发送器/接收器140使这种图像被传递至远程装置等。在一些实施例中，计算系统130不必是一个单独的组件；例如，计算系统130的部件可被集成至或嵌入成像系统110或接收器/发送器140中。将理解的是，计算系统130的任何功能可被分布至体内成像装置100的任何适用的或合适的组件。

发送器/接收器140可将图像和/或其它(例如非图像)信息发送至远程装置和/或从远程装置接收图像和/或其它(例如非图像)信息。例如被配置以与体内成像装置100无线通信的计算机可被放置在患者附近并且可与体内成像装置1000无线通信。发送器/接收器140可以是被可能地设置在芯片级封装中的具有高带宽输入的超低功耗射频(RF)发送器，可结合有处理芯片或电路并且可通过如图所示的天线发送和/或接收信息。体内成像装置100可包括诸如一个或多个电池等电源150。例如，电源150可包括氧化银电池、锂电池或具有高能量密度的其它电化学电池等。可使用其它电源。可使用其它组件、模型或单元。例如电源150能够从外部电源接收功率并且将功率发送至体内成像装置100。

体内成像装置100的实施例可通常是自主和/或独立的。例如，装置可以是胶囊或其他单元，在所述胶囊和其他单元中组件基本上被包含在容器或外壳内并且装置不需要例如接收功率、获得、存储或发送信息等的任何电线或电缆。体内成像装置100可与可接收、处理、存储、通信并且显示从体内成像装置100接收的图像或其它数据或信息的外部计算或通信系统通信。这种远程系统或装置可进一步被用于控制或以其它方式与体内成像装置100相互作用。因此，将理解的是，数字图像的处理和确定与如此处描述的距离和/或大小相关的确定可通过被配置成接收通过体内成像装置100获取的图像的远程计算系统来执行。

在一些实施例中，如此处描述的图像的处理中的一些或全部可通过体内成像装置100例如使用计算系统130来执行。在其它实施例中，体内成像装置100可执行此处描述的处理中的一些并且另一个计算系统例如远程系统可执行其它处理或任务。在另一个实施例中，体内成像装置100可仅采集图像、对这种获得的图像的执行有限处理或不处理并且将图像发送至可基于接收的图像执行各种参数的处理、分析和确定的远程计算装置或远程系统，例如这种远程系统将图像显示至医师、从医师接收选择并且基于医师的选择确定在图像中示出的对象的大小。

存储单元可被佩戴在患者身体上并且可与体内成像装置100通信以记录所获取的图像。存储单元可随后与可接收这种存储的图像的计算机例如工作站或服务器通信并且进一步处理如此处描述的图像，例如用计算机计算和/或计算在这种图像中示出的对象的大小。

现在参照示出了根据本发明实施例的体内成像系统600的示意图的图2。根据一些实施例，系统600可包括体内成像装置例如此处描述的体内成像装置100。如此处描述，体内成像装置100可以是可吞服的体内成像装置，但是可使用其它类型的装置或合适的实施方式。根据一个实施例，体内成像装置100可与提供数据的显示、控制或其它功能的外部接收和显示系统通信。系统600可包括含有处理器或控制器651和存储装置655的图像接收器650。为了简单起见，可被安装或包括在图像接收器650中的各种组件未被示出。例如图像接收器650可包括可与输入设备635和输出设备640相似的输出和输入组件或设备和/或与操作系统615相似的操作系统、与存储器624相似的存储器等。将理解的是，图像接收器650可以是任何合适的计算装置并且可执行与估计或确定在如此处描述的图像中示出的对象的距离、大小或其它尺寸相关的任何操作。

可包括天线或天线阵列、图像接收器存储装置655和数据处理器或控制器的图像接收器650可以是可由患者携带的小装置。例如，(例如卧床)患者可将图像接收器650佩戴在皮带或手腕上。图像接收器650可与体内成像装置100例如无线地通信、从体内成像装置100接收图像并且将接收的图像存储在存储装置655上。因此，图像接收器650可被附接至或佩戴在患者或病人上并且可收集在比较长的一段时间内通过体内成像装置100获得的图像。图像接收器650可被配置成与计算系统610无线地或以其它方式通信并且将图像和/或其它信息传输至计算系统610。例如，从体内成像装置100接收的图像和/或其它信息可被存储在存储装置655上并且可例如通过使用无线通信、通用串行总线(USB)连接或任何合适的机构或通信方法从存储装置655被传输至计算系统610。

计算系统610可分析、处理或以其它方式操纵或处理在任何适用的环境中通过任何合适的成像装置获取的和/或任何适用的对象的任何适用的图像。同样地，根据本发明的实施例，计算系统610可计算或推导出在任何适用的图像中对象或区域的大小估计。在具体实施例中，计算系统610可从体内成像装置100或图像接收器650接收图像并且可产生被显示在图像的顶部用于估计在这种图像中对象的大小的模拟钳。在一些实施例中，体内成像装置100可执行如此处描述的关于计算系统610的任务。例如，体内成像装置100可包括计算系统610的一些组件以及可能的附加组件。因此，可通过计算系统610执行的各种操作和任务可通过体内成像装置100例如通过计算系统130，在其它实施例中通过图像接收器650执行。在一些实施例中，为了估计对象的距离、大小或其它尺寸执行的图像的处理可以是分布式的。例如，处理的第一部分可通过体内成像装置100中的计算系统130来执行，第二部分可通过系统610来执行。例如，图像可根据照明模型并通过体内成像装置100中的计算系统130来修改，例如与像素相关的值可基于可以是装置专用的照明模型或光模型来改变。然后，这种预处理的图像可被传递至可执行距离、大小或其它尺寸估计的系统610。

计算系统610可包括可以是例如中央处理单元处理器(CPU)的处理器或控制器605、芯片或任何合适的计算机计算或计算装置、操作系统615、存储器624、存储装置630、输入设备635和输出设备640。操作系统615可以是或可包括被设计和/或配置成执行包括协调、调度、调停、监督、控制或以其它方式管理计算系统610的操作例如调度执行被加载至存储器624中的程序的任何代码段。在一些实施例中，操作系统615可以是商用操作系统。存储器624可以是或可包括例如随机存取存储器(RAM)、只读存储器(ROM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR)存储器芯片、闪速存储器、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或其它合适的存储器单元或存储装置单元。存储器624可以是或可包括多个可能不同的存储器单元。

可执行代码625可以是任何可执行代码例如应用、程序、进程、任务或者脚本。可执行代码625可在操作系统615的控制下通过控制器605执行。例如，可执行代码625可以是被设计以分析图像、确定用于采集图像的成像装置的这种图像中对象的距离并且创建和显示根据本发明实施例的用于体内对象的大小估计的虚拟工具。控制器605可被配置以执行根据此处讨论的方法。存储装置630可以是或可包括例如硬盘驱动器、软盘驱动器、压缩盘、(CD)驱动器、CD可记录(CD-R)驱动器、通用串行总线(USB)设备或其它合适的可移动和/或固定的存储单元。

输入设备635可以是或可包括鼠标、键盘、触摸屏或触摸板或任何合适的输入设备。在一些实施例中，输入设备635可以是输入端口。例如，可使用输入端口(例如网络接口卡(NIC)、USB端口或无线端口或卡)以从图像接收器650、体内成像装置100或外部存储装置接收图像。将公认的是，任何合适数量的输入设备能通过如所示的输入设备635可操作地连接至计算系统610。输出设备640可包括一个或多个显示器、扬声器和/或任何其它合适的输出设备。将公认的是，任何合适数量的输出设备能通过如所示的输出设备640可操作地连接至计算系统610。任何输入/输出(I/O)设备可通过如所示的输入设备635和输出设备640连接至计算系统610。例如，网络接口卡(NIC)、打印机或传真机、通用串行总线(USB)设备或外部硬盘驱动器可被包括在输入设备635和/或输出设备640中。

计算系统610可操作地连接至例如监视器或计算机显示器660和点击装置665。根据本发明的实施例，体内成像装置100由获得的并且被提供至计算系统610的图像可连同如此处描述的虚拟模拟钳一起被显示在显示器660上。

如图所示，可包括如此处下面详细地描述的例如组织模型和/或光学模型和/或照明模型的深度估计模型626可被加载至存储器624中(可使用其它或不同的模型)。深度估计模型626可估计对象与成像装置(或者与成像系统)的距离。估计的深度(或距离)连通二维显示器和光学模型可以将二维显示器的每个像素转化为三维实物坐标，例如转化为在三维空间中的对象的实际位置。深度估计模型626可以是任何合适的代码或数据并且可受通过例如控制器605或另一个合适的处理器执行的影响。在一些实施例中，深度估计模型626可包括组织模型、光学模型、照明模型和/或其它模型。将理解的是，此处描述的组织模型、光学模型和照明模型可通过适用的结构或模型来实现并且可被组合成或分解成如现有技术中已知的组件。例如，在一个实施例中，这些模型可以是能使应用基于一组成像参数搜索或确定距离值的数据结构。在其它实施例中，深度估计模型626可包括在拍摄图像时可在应用中使用以便推导出、确定或估计以像素描绘的从成像系统与对象之间的距离的参数。在一个实施例中，深度估计模型626可基于成像装置的已知光学特性和/或已知照亮特性来产生。深度估计模型626可映射在图像中对象的距离以通过可执行代码625和/或深度估计模型626产生可指示对于图像中每一个像素来说在拍摄的图像中表示的成像装置与成像的组织的距离的距离图。距离图可为显示的图像计算和/或可为一些或全部图像预计算和例如可与图像一起被存储为元数据。例如，应用(例如可执行代码625)可从图像中的像素提取强度和颜色、可例如基于在深度估计模型626中组织模型、照明模型和/或光学模型中的数据修改这些值和/或可将这些修改的值用作输入至深度估计模型626以便估计由图像像素表示的成像装置与对象(或者对象的一部分)之间的距离。

根据本发明的实施例，组织模型可如此处描述被产生、获得和/或提供和使用。如与组织的数字图像相关、被反映在组织的数字图像中或通过组织的数字图像表示的组织的各种方面、特性或质量可被测量、确定、推导出或建模。如本领域中公知的，数字图像中的像素可与成像参数、例如色调、强度、颜色、亮度、色度的值或水平、这些成像参数的饱和度水平或任何其它相关数据、参数或值相关联。与组织或对象相关的这种成像参数可受各种方面的影响。特别地，这种成像参数可受从用于采集图像的成像装置与对象之间的距离影响。因此，组织模型可在拍摄图像时将例如由与图像像素相关联的数据表示的一个或多个成像参数和成像装置与成像的对象之间的距离相关联、相关或映射。

组织模型可被设计和产生使得它可适于任何患者和/或任何组织使用。在其它实施例中，模型可被专门产生或适应于特定组织、特殊患者、患者条件或其它相关方面。例如，它可根据经验或以其它方式确定结肠中的组织表现出专门属性、行为、反应或其它方面或与光和/或成像相关的特性。因此，组织模型可根据这种属性或方面产生，使得可使用组织模型以便处理如此处描述的结肠组织的图像。例如，可使用基于由组织吸收或反射的光的已知水平或常量、从组织发射的光的颜色和强度以及可能的与相关系统或环境相关的参数产生的模型以确定或估计组织段与成像装置之间的距离。在一些实施例中，从数字图像中的像素提取的数据可与组织模型相关以便计算对象或区域的距离和/或大小。

组织模型可被设计以专门适应或适合特例、特殊患者、患者条件或疾病等。例如，第一模型可适于幼儿和第二模型可专门适应或适合老年患者。组织模型可与患者的状况相关。例如，当拍摄图像时，第一组织模型可用于正常饮食的患者而第二模型可用于在拍摄图像前禁食二十四小时或喝大量液体的患者。在一些实施例中，基本模型或通用模型可根据相关方面进行修改。例如，基本模型或通用模型可根据使用的成像系统或与使用的光相关的方面例如由光源120发射的光的强度或颜色构成而进行修改。在其它实施例中，组织模型可专用于体内的区域或解剖器官。

例如，组织模型可为结肠或胃肠(GI)道产生。组织模型可表示或呈现如在数字图像中反映的真实组织的属性。组织模型可同样地象征、描述、代表、包含或者基于真实组织的成像参数和成像装置和组织之间的诸如例如体内流体等介质。例如，光与组织的相互作用可以是已知的，例如从组织进行反射的给定光的光谱特性可通过组织模型研究或确定和表示。同样地，从组织反射的光的量或百分数或与由组织反射和/或吸收的光的强度、每一种色彩强度、色调、亮度、色度或亮度相关的成像参数可被研究、确定和/或是已知的。例如，通过检查使用诸如与使用的光相关的任何相关参数、成像装置与正在成像的组织、组织之间的距离和光学和照亮方面或特性等已知的相关参数获得的一系列图像，组织模型可被产生或构造。在一些实施例中，图像可被分析、各方面可被确定以及组织模型可被动态地和/或自动地选择或生成。

组织模型可包括成像参数或至距离的其它参数或其它相关参数的映射。因此，组织模型可用于将图像中的一个或多个成像或其它参数、值或其它数据映射、相关或关联至距离或大小。例如，与从如此处描述的组织反射的光相关的给定相关参数是已知的并且相关光学和照亮方面或特性是已知的，如通过图像反映的组织段或对象的颜色和/或强度可被映射至用于采集图像的成像系统与组织段或对象之间的距离。

可从图像提取或基于图像计算的参数的各种组合可同样地被映射。例如，光谱的仅一部分的吸收或反射的水平可如在此描述被检查和/或映射。在一个具体实施例中，组织模型可仅分析从组织反射的红光。红光可以是仅在成像器的红色通道中检测的光，其中红色通道、蓝色通道和绿色通道中的每一个分别检测以红色范围、蓝色范围和绿色范围的波长为中心的宽范围的波长中的光。在一个示例中，红色范围包括波长范围在600-750纳米(nm)的光。组织模型可将从组织(例如结肠)反射并且通过成像器的红色通道(或红色像素传感器)检测的光的强度映射至距离。例如，假设光传播是根据距离的倒数关系或函数衰减，对象的距离可通过方程来确定：其中D是在采集图像时成像装置与对象之间的距离，A和B是如此处描述所选择的常数，R是红光的强度。

在产生组织模型中，可使用将诸如光的强度或颜色等一个或多个成像参数映射、相关联或相关至距离的任何方法。例如，使用成像系统与对象之间的距离是已知的图像，人可将已知组织的颜色手动地映射至距离以产生组织模型(如此处讨论的组织模型的使用是自动的)。在其它实施例中，可使用外推、适应、图像分析或其它方法或技术以便将图像中的各种参数自动地映射至距离使得成像参数值与距离的映射、相关联或相关被实现。

照明模型可表示与图像的采集相关的任何有关照亮参数或方面。照明模型可包括但不限于(例如通过诸如光源120等光源)发射和/或(例如通过介质和/或组织)吸收或反射的照亮或亮度的水平或强度。例如，可使用可限定与诸如光的颜色强度、色调，颜色饱和度、亮度、色度，亮度等参数相关的方面的照明模型以便编译、产生、生产或获得照明模型。例如，与采集图像的环境例如在被成像装置拍摄之前光传播通过的介质相关的这些参数可被用在产生照明模型中。同样地，与辐射或光源例如正在通过光源发射的光的波长和/或强度相关的参数可以是已知的并且在照明模型中考虑在内。光源可装配有透镜、反射镜或各种衍射或其它光学元件。因此，照明模型可被产生使得这种透镜或元件的任何相关影响被考虑在内。照明模型可基于或根据照明源、透镜和其它组件、它们各自用途、类型和属性或可与使组织或对象照亮或成像相关的任何其它参数。

在其它实施例中，照明模型可基于用于采集相关图像的专用装置或系统。例如，图像中的中央点可比位于图像边缘附近的点被照得更亮。这种照亮水平或其它参数上的差异可由照亮光源的形状或其它特性、它们在装置中的位置等造成。在一些实施例中，照明模型可消除这种差异、计算校准参数或以其它方式将这种光学方面、照亮方面或其它方面考虑在内。照明模型的校准参数对所有(或一组、型号或一系列模型的全部)成像装置可以是相同的或可例如使用可编程参数对每一个装置专门校准。描述照亮差异或不均匀性的照明模型可相对于参考几何形状或平面来限定。例如，参考几何形状可以是以成像装置为中心的在半径r1...rN处的球体。在一些实施例中，最佳照明模型可随着成像的对象和照明源或成像装置之间距离的变化而变化。一些实施例可使用平均或最常见的最佳照明模型或可为每一个图像或图像流段反复地选择或切换至最佳照明模型。

根据本发明的实施例，可使用光学模型以便处理和/或分析图像。如此处所指的光学模型可以是图像中的畸变或可基于图像中的畸变而产生。例如，通过成像系统获得的光可通过介质(例如体内成像装置100中的圆顶或窗口)传播并且可由于其中的光学变化通过介质非均匀地弯曲。光学模型可包括与放大畸变、径向畸变或其它类型的畸变相关、例如以考虑和修正图像中这种畸变的参数或系数。例如，光学模型可包括反射、折射、衍射或其它光学畸变系数或参数。成像装置使用的透镜或反射镜可在装置拍摄的所有图像产生特殊的畸变效果。此外，畸变效果可当退出体内成像装置100时由于观察窗160的设计、形状其它方面以及光传播通过的介质而被引起。这些方面可在光学模型中被考虑在内并且因此可影响成像参数至距离的映射。

光学模型可考虑任何这种方面并且可被使用以便如此处所述正确地或更好地将成像参数映射至距离。例如，可使用光学模型以便推导出可被用于调节基本组织模型以适应特殊环境或情况的一个或多个常数或系数。例如，第一光学模型可被产生用于具有特殊成像系统、观察窗和光源的第一体内成像装置100，第二光学模型可被产生用于具有不同成像系统、观察窗和/或光源的第二体内成像装置100。因此，基本组织模型可基于光学模型适应于特殊环境或装置。在其它情况下并且如此处所述，光学模型可被使用以修改成像参数或值，例如在使用组织模型估计此处描述的距离之前修改。在一些实施例中，成像系统的校准参数或配置参数和/或环境可被使用以便推导出光学模型。例如，光源120相对于成像系统110的方向或由成像系统使用的透镜或反射镜的类型和数量可在当产生光学模型时被观察到。因此，光学模型可表示设备的任何与光学元件相关的方面和与通过体内装置图像的采集相关的环境并且因此可被使用以便将成像参数正确地映射至此处描述的距离。

因此，例如照明模型可指示从像素提取的红色的水平或百分数通过某些因子来修改。例如，基于当获得相关图像时与体内成像装置100使用的光源相关的信息，在利用深度估计模型626估计从成像装置例如从体内成像装置100(在图1中示出的)例如以毫米为单位的距离之前可有必要进行这种修改。在另一种情况下，基于与当采集图像时使用的透镜或反射镜相关的信息或参数，光学模型可指示与像素相关联的光的强度将通过某些因子例如0.98被减弱。例如，如果深度估计模型626被设计以基于光源120的特殊光强度提供从成像装置的距离(例如深度)估计，则当使用不同(例如较弱的)光源时，可需要适应以便产生足够的结果。

在另一实施例中，深度估计模型626可以是可执行代码。例如，光学模型和/或照明模型可以如此处描述的可设有颜色和强度形式的输入并且可提供以颜色和强度的修改的值形式的输出的可执行代码。同样地，深度估计模型626可以是可接收一组成像参数例如颜色和强度并且可作为输出距离(例如深度)估计返回的可执行代码组织模型。将理解的是，图2示出了体内成像系统的示例性示意图并且其它实施例或实施方式是可能的。例如，诸如组织模型、光学模型和/或照明模型等深度估计模型626的模型中一些或全部可在硬件(例如通过专用集成电路(ASIC)或芯片)中实施或例如为了提高运算速度，它们可在固件中实现。

虚拟测量工具可以是可被显示在或覆盖在诸如组织的图像等图像上以允许观察者或处理器估计或计算在图像中出现的对象的组织大小的图形化描述。在一些实施例中，可使用虚拟测量工具以模仿被专业人员使用来估计体内装置的大小的内窥镜钳。与使用用于大小估计的内窥镜钳相比，虚拟测量工具可使用一些诸如具有与体内对象的距离具有预计算的相关性的照明参数和/或颜色参数等客观参数来估计成像装置与对象之间的距离。这种参数和相关性可被存储在深度估计模型626中并且可用于如此处描述的距离估计。

虚拟测量工具创建器(例如虚拟钳创建器)629也可被加载至存储器624中。虚拟测量工具创建器629可以是可执行代码并且可例如被嵌入可执行代码625中、被可执行代码625启动和/或与可执行代码625交换数据和/或可以是可被可执行代码625调用的可执行代码功能。控制器605可以是虚拟测量工具创建器629，因为控制器605可被配置成执行代码来完成虚拟测量工具创建器629的功能。

基于由深度估计模型626创建的距离图并且基于显示的图像的像素的相对位置，显示的图像的三维表示可被创建，其中显示的图像的每一个像素可被转换成诸如例如X坐标、Y坐标、Z坐标等以毫米为单位的三维实物坐标或在三维空间中任何其它合适的坐标系，其可在收集图像时表示相对于由图像像素表示的组织上的点的成像装置的真实三维位置。虚拟测量工具创建器629可在显示的组织图像上生成可被显示为例如游标、屏幕上的图形符号或其它显示器的虚拟测量工具。游标可在显示的图像中的关注点或区域上具有投影的二维形状、投影的尺寸或长度在可例如通过用户或处理器选择或标记的原点周围在多个方向上延伸。在多个方向多个投影的尺寸或长度中的每一个表示从图像的三维表示中的工具的原点的恒定的并且相等的虚拟绝对长度，例如在多个方向上游标所有投影的尺寸或长度可表示在检查期间从可被定位或选择在显示的图像中关注点上的原点不会变化的相同、恒定的预定虚拟绝对长度。

众所周知，位于离成像装置更远的对象比位于成像装置附近的对象看起来更小。成像的场景通常包括在拍摄图像时被定位在离成像装置不同距离处的多个对象(例如成像的体内组织可在相同成像场景中具有位于成像装置附近的一部分和位于离成像装置更远的另一部分)。因此，虽然从原点在多个方向上游标的投影尺寸或长度表示在多个方向上从原点的恒定的并且相等的长度，但是它们可具有不同的显示尺寸或长度并且可在显示的图像上出现不相等。在一些实施例中，虚拟绝对长度可例如根据待检查的体内对象的期望的和/或估计的大小由用户来设置。例如，在多个方向上投影的尺寸或长度可表示例如以毫米为单位的长度l使得沿一个轴从游标的一端至游标的另一端的游标的最大大小有可能是2l(如此处详细地描述，例如图3)。例如，游标可被设计为具有8个臂例如四对臂的星号，其中在每一对臂中，臂沿一个轴从可以是臂的交汇点的关注点径向地指向相对的方向。然而，游标可包括任何其它合适的数量和/或布置的臂或可包括具有多个预定的方向的任何其它形状。在一些实施例中，游标不一定需要包括臂，例如游标的形状可以是在不同方向从关注点被不同长度或尺寸限定的封闭曲线。可使用任何其它形状或符号来生成游标，在一些实施例中，用户可根据个人喜好选择或配置形状。例如臂指向的方向或长度延伸的方向可以是恒定的或例如可以是由用户可变的。例如，用户可根据在图像中检查对象的大小的范围设置长度l。在一个示例中，长度可被设置成5毫米。

根据本发明的实施例的游标或屏幕上图形符号可被放置使得原点位于用户在体内显示的组织图像中选择的任何关注点上使得原点处于图像上的选择区域例如图像上的选择的像素或像素群，例如用户通过图像上的鼠标游标定位和/或点击或通过其它输入设备635或665选择的像素或区域处。

如所解释，用于显示的图像的距离图可被计算使得图像的每一个像素可具有通过深度估计模型626计算的与成像装置的距离。因此，显示的组织图像中的每一个像素可被转换成在三维空间中的诸如例如X坐标、Y坐标、Z坐标等三维坐标或任何其它合适的三维坐标系。在参照图3更详细地解释，游标或屏幕上的图形符号与在成像的组织上的某些三维位置处的原点一起可根据由选择的像素或区域表示的点相对于成像装置的计算距离并且基于显示的图像上像素或区域的相对位置被虚拟地投影(例如加入至图像)在成像的组织上。投影的游标可在多个方向的每一个上终止于成像的组织上的终点，每一个具有与原点的恒定的虚拟长度l。即，每一个终点可具有根据在拍摄图像时由深度估计模型626计算的从成像装置至该点的计算的距离和方向的三维坐标使得从原点至终点中的每一个的距离等于虚拟长度l。当被投影在显示的图像上时，工具可在多个方向中的每一个上具有根据在每一个方向上显示的图像上长度l的投影的二维显示的图像上的投影尺寸或长度。这种效果能使用户或处理器对成像的体内对象的大小和/或形状进行直接估计和/或直观估计。在一些实施例中，大小l可以约为匹配标准医用钳的大小的4.5毫米。然而，本发明并不限于这方面。

根据本发明的一些实施例，处理器/控制器605可接收通过体内成像装置100获得体内对象的图像(例如由像素构成的二维图像)。图像可被显示在例如显示器660上。然后，处理器/控制器605可例如通过输入设备635或665从用户接收关于表示图像上关注点(关注点对应于实物的体内特征)或位于关注区域中的像素或区域(例如选择的像素或像素簇)的指示。然后，根据本发明的实施例，图像的照明强度值可例如通过深度估计模型626的照明模型被校正。深度估计模型626可通过照明模型例如通过使用可由体内成像装置100拍摄的整个球形视场统一照明水平的预校准照明图校正照明强度值。然后，深度估计模型626可例如利用组织模型通过将校正的照明强度值转换成深度来估计多个图像点，例如在关注点周围的像素或像素，例如覆盖在选择的像素/区域周围的某些预定区域的像素的深度。基于估计的深度、图像上像素的相对位置和描述体内成像装置100的光学元件畸变的光学模型，深度估计模型626可计算多个图像点的三维坐标。因此，例如基于估计的深度，成像组织的三维表示或三维坐标表示(例如包括三维坐标或表示作为三维坐标的点)可被创建。然后，虚拟测量工具创建器629可如此处详细地描述的将例如参照图3和图4A-4C描述的已知大小或预定大小的虚拟工具投向或投影至成像的组织的三维表示(例如将工具加入至表示或图像中)。然后，虚拟工具可被投影至(例如被显示在)二维像素的图像上并且被创建或生成为例如在显示的组织图像上的具有二维形状的游标或屏幕上的图形符号。如参照图3和图4A-4C解释，在虚拟工具的终点的位置被确定在组织的三维表示中之后，在二维显示的图像上的终点可被投影值表示组织上的这些点的像素。基于这些投影的点，游标或另一个屏幕上的图形符号可例如通过绘制游标或屏幕上的图形符号在不同方向上的不同投影的尺寸或长度和在投影的点结束的尺寸或长度被创建并且显示。

因此并且如此处描述，本发明的实施例可包括编码、包括或存储当被处理器或控制器执行时执行此处公开的方法的指令例如计算机可执行指令的诸如计算机或处理器可读介质，或例如存储器、磁盘驱动器或USB闪存存储器等非临时性计算机或处理器存储介质等物品。例如，系统可包括诸如存储器的非临时性存储介质、诸如可执行代码625的计算机可执行指令和诸如控制器605的控制器。一些实施例可被设置在可包括将可用于为计算机或其它可编程装置编程序以执行如此处公开的方法的指令存储在其上的机器可读介质的计算机程序产品中。

本发明的其它实施例可以是或可包括用于估计通过体内成像装置成像的对象的距离、大小或其它尺寸的系统。系统可包括工作站或包括有存储器和处理器的任何其它合适的计算装置。存储器可被配置以存储通过体内成像系统拍摄的图像，处理器可被配置成选择图像中的至少一个像素，其中像素与成像的对象相关联。存储器可存储组织模型、光学模型和照明模型。处理器可被配置成在拍摄图像时基于组织模型(和/或光学模型和/或照明模型)和与像素相关联的数据来计算与体内成像系统与对象之间的距离相关的距离参数，其中组织模型被设计以提供至少一个成像参数到至少一个距离的至少一个映射。如在现有技术中已知，在数字图像中的像素可与成像参数例如色调、强度、颜色、亮度、发光度、色度的值或水平、这些成像参数的饱和度水平或任何其它相关数据相关联。如与组织或对象相关的这些成像参数可受各种方面影响。特别地，这些成像参数可受用于拍摄图像的成像装置与对象之间的距离影响。因此，组织模型可将例如与像素相关联的数据反映的一个或多个成像参数与距离相关联、相关或映射。例如，选择像素、计算与体内成像系统与对象之间的距离相关的距离参数或计算对象的大小或其它尺寸的处理器可以是控制器651或控制器605或者它可被包括在计算系统130或计算系统610中。基于计算的距离，处理器可创建此处描述的虚拟钳游标或屏幕上的图形符号。

在一些实施例中，用于估计与通过诸如体内成像装置100等成像系统或装置拍摄或成像的对象相关的大小、距离或其它尺寸或参数的任务和/或用于创建如此处描述的虚拟测量工具的任务可被分布在一些控制器、处理器或计算系统中。例如，计算系统130和控制器606、651可共同执行任何计算任务或计算以便估计如此处描述的对象的距离和/或大小。如此处描述，计算系统130和控制器605、651可传递或交换(例如通过无线链路或有线链路)任何数据、参数或信息。计算系统130和控制器605、651可在执行此处描述的任何有关任务或方法中协同努力和计算资源。

现在参照图3，其中图3是根据本发明实施例的在例如可通过深度估计模型626计算的成像的组织333的三维表示的横截面图示上投影的虚拟工具300的示意横截面图。虚拟工具300可包括原点P0和在不同方向具有相同长度l并终止于终点P1和P2的延伸部。如此处讨论，根据本发明实施例的控制器605可对图像中的每一个像素计算从成像装置至通过像素表示的组织的例如以毫米为单位的距离值。基于距离计算，控制器605可创建在不同方向上具有多个延伸部或长度、在多个方向上的延伸部或臂和延伸部或长度从其延伸的原点或臂例如径向地突出的交汇点的虚拟测量工具。在一些实施例中，虚拟工具300可具有长度为l的固定半径的圆的形状，就像当被放置在其上时呈三维表示表面的形状使得虚拟工具在每一个方向具有相同的从长度l的圆形片或布。在这情况下，诸如P1和P2等可如此所述确定的等多个终点可创建沿着包围的虚拟工具边缘的封闭轮廓。这种封闭轮廓可被投影在二维图像上并且创建如此处描述的封闭的游标或屏幕上的图形符号。

距离D0、D1和D2是当工具300被虚拟地放置在三维表示中的成像组织上时分别从成像装置10至原点P0和终点P1和P2的距离。根据本发明实施例的游标(诸如在图4A、图4B或图4C中示出的游标或屏幕上的图形符号310、310a或310b)可被定位在显示的图像上的某些区域例如专业人员或用户选择作为需要检查区域的区域上。在一个示例中，用户可将虚拟测量工具的游标或图形符号定位在显示的图像中出现异常的区域上或附近或根据其它参数和/或检查被怀疑为疾病或异常的区域上或附近。游标可在从诸如鼠标或键盘或其它合适的用户界面等控制用户界面接受移动命令之后例如通过系统(例如如上所述的控制器651和/或605)根据显示的图像移动和/或可例如通过如上所述的处理器/控制器651和/或605跨过图像自动地移动。当关注点被选择和/或原点P0被放置在例如具有三维坐标(X0、Y0、Z0)的组织的三维表示中的关注点上时，终点P1和P2中的每一个应被定位在例如在三维表示中从放置P0的关注点的绝对距离为l处分别具有三维坐标(X1、Y1、Z1)或(X2、Y2、Z2)的成像的组织的三维表示上的点上。例如终点中的每一个被定位在从三维表示中的关注点的绝对距离相同处。因此，为了设定或确定终点P1和/或P2在成像的组织的三维表示中的位置，处理器/控制器605和/或(例如通过处理器/控制器605控制的)虚拟测量工具创建器629可评估或检查沿某一方向从在(X0、Y0、Z0)处的原点至由它们三维坐标表示的多个点的绝对距离。如果对于某一点，绝对距离等于预定的距离，则某一点可被设定或确定为终点的位置。在从在(X0、Y0、Z0)处的原点至某一点的绝对距离等于预定的距离l的情况下，点可被设定或确定为诸如P1或P2等终点的位置。

在终点P1和P2的位置被确定在组织的三维表示中之后，它们可被投影在显示的图像上，至表示组织上的这些点的像素。因此，处理器/控制器605和/或虚拟测量工具创建器629可创建诸如例如在图4A、图4B或图4C中示出的游标310、310a或310b等可具有在多个方向上延伸的多个尺寸、长度或臂的游标，尺寸、长度或臂是从在显示的图像上的终点P1和P2的投影至在显示的图像即在表示关注点的选择的像素或区域处的P0的位置之间的距离。

现在参照是根据本发明的实施例的例如通过如上详细地描述的体内成像装置100拍摄的显示图像500和被显示或覆盖在图像500上的游标310的示意图的图4A。例如，在图4A的图示中，工具310的多个虚拟臂中的两个指向相对方向，其可以分别具有投影的尺寸或者长度L1和L2，并可分别终止于臂的远端处的投影的终点P1和P2。从原点P0至组织的三维表示上的点P1和P2的绝对距离等于如在图3中示出的预定长度l。如上面详细地描述，为了确定终点P1和P2的位置，处理器/控制器605和/或(例如通过处理器/控制器605控制的)虚拟测量工具创建器629可评估或检查沿某一方向从原点P0至组织的三维表示上的多个点的组织的三维表示上的绝对距离。图4B和图4C示意性地说明了根据本发明实施例的游标的不同实施例。例如图4B中的游标310b是根据本发明实施例的如此处描述的在多个不同方向(例如，在不同方向，游标的长度或尺寸可不同)上具有多个不同尺寸或长度或臂的游标的另一配置。例如，在一些实施例中，游标可包括如在图4C中示出的沿尺寸或长度或臂的刻度线。尺寸或长度或臂的长度中的每一个可不同和/或通常不同，但不是必须不同。根据本发明的各种实施例的游标的其它配置是可能的并且本发明不限于在附图中示出的具体配置。

图像500和虚拟工具/游标310、310a或310b可被显示例如在显示屏幕上。虚拟测量工具310、310a或310b可被显示在图像上或上方并且可具有多个臂或尺寸或长度和臂或长度从其径向地延伸的原点或交汇点P0。如此处讨论，多个臂或长度可实际上表示恒定的相等绝对长度，例如根据此处描述的本发明的实施例的每一个臂或长度可具有和/或设置成根据在三维表示中从原点P0至臂或长度的终点的距离的投影长度。终点P1和P2可以是当虚拟测量工具310、310a或310b被定位、显示在或覆盖在显示的图像500上的某一区域上时在显示的组织上臂终止的点。当虚拟测量工具例如通过从控制用户界面接受移动命令和/或通过处理器/控制器自动地横跨图像移动工具在显示的图像500上或上方移动时，根据本发明实施例的控制器605或651可根据从如此处描述的原点至相应终点的投影距离动态地改变在图4A、图4B和图4C中示出的工具310的投影的尺寸或长度或臂。在图4B中的工具310a的示例中，通过在组织上显示的工具310a的轮廓限定的区域可以是例如通过确定从用户在组织的三维表示中标记的原点的固定半径来计算的已知的、固定绝对面积。通过工具310a标记的外形、圆周、轮廓或边界可使用与确定上述工具310终点的方法相同的方法来确定。

在一些情况下，游标可由于在图像的某些区域中无法计算深度或距离例如由于在该区域中图像黑暗或缺乏清晰度或在游标被放置在图像的边缘附近或在组织不正常或组织被内容物覆盖的区域中的情况下在某一方向上无尺寸或长度或臂。在一些情况下，如果关注的选择的点处于深度或距离由于在该图像区域或部分黑暗或缺乏清晰度而不能被计算的区域中，则虚拟测量工具创建器629(例如由处理器/控制器605控制的)可在关注的选择点的相对侧寻找其间具有距离2l的至少两个端点，就像三维表面是平坦的并且每一个终点处于距关注的选择点预定长度l的距离处。因此已知大小2l的游标被创建在二维图像上，用于通过估计相对于已知大小2l的大小来估计图像中对象大小。

现在参照是说明根据本发明实施例的用于估计体内对象大小的方法的流程图的图5。如框710中所示，方法可包括例如通过体内成像装置100获得的体内对象的图像。图像可被显示在例如显示器660上。如在框720中所示，方法可包括通过诸如在图2中的输入设备635或665例如操纵游标的鼠标或任何其它合适的指向方法和/或装置等输入设备从用户接收表示关注点的像素的指示。关注点可以是例如在图像中对应于实物体内特征的点。如在框730中所示，方法可包括例如通过可在深度估计模型626中包括的照明模型校正图像的照明强度值。深度估计模型626可通过照明模型，例如通过使用可由体内成像装置100拍摄的整个球形视场统一照明水平的预校准照明图校正照明强度值。如在框740中所示，方法可包括利用组织模型通过将校正的照明强度值转换成深度来估计多个图像点例如在关注点周围、附近的像素或仅围绕关注点的像素的深度。如在框750中所示，方法可包括基于估计的深度、图像上像素的相对位置和描述体内成像装置100的光学元件畸变的光学模型来计算多个图像点的三维坐标表示。因此，例如成像的组织的三维表示可被创建。如在框760中所示，方法可包括将已知大小的虚拟工具投影或投向(例如加入)至成像组织的三维表示。如在框770中所示，方法可包括将虚拟工具加入或投影至二维像素化图像并且绘制为例如在组织的显示图像上具有二维形状的游标或另一个屏幕上的图形符号使得产生的游标或屏幕上的图形符号被显示给在显示的图像顶端的用户。虚拟工具和像素化图像可被显示在例如显示器660或另一个显示装置上。

根据本发明的一些实施例，将已知大小的虚拟工具投影或投向(例如加入)至成像组织的三维表示可包括创建具有例如如图3、图4A、图4B和/或图4C中示出的在多个方向上的多个延伸部或长度或臂以及延伸部或长度或臂从其延伸的原点的虚拟测量工具。根据本发明实施例的游标可被定位在显示的图像上的某一区域，例如专业人员或用户选择的作为需要检查区域的区域上。在一个示例中，用户可将虚拟测量工具的游标或图形符号定位在显示的图像中出现异常的区域或根据其他参数和/或检查怀疑患病或异常的区域上或附近。

投影或投向虚拟工具可进一步包括将工具的外形、边界、轮廓、延伸部或长度在由三维空间中的三个坐标限定的点上的终点定位在成像组织的三维表示，其中终点中的每一个被定位在从三维表示中的关注点的绝对距离l处。定位可例如通过评估或检查沿某一方向从原点至组织的三维表示上的多个点的绝对距离来执行。在对于某一点绝对距离等于预定长度l的情况下，点可被设定或确定为终点的位置。

将虚拟工具投影至或将其加入至二维像素化图像可包括创建例如分别在图4A、图4B或图4C中示出的游标310、310a或310b等游标，游标可在多个方向上具有是在二维图像上从投影在显示的图像上的终点至在显示的图像上选择或标记的关注点，例如在表示关注点的选择的像素或区域处的距离的多个投影的尺寸或长度。

根据本发明的一些实施例，投影的虚拟测量工具例如游标可被显示在显示的图像上。投影的测量工具可例如通过输入移动命令的用户，例如通过鼠标或键盘或另一个合适的输入设备在显示的图像上方移动。在其它实施例中，虚拟工具可通过处理器在图像上方自动地移动。工具的投影的尺寸或长度可根据在二维图像上从被投影在显示的图像上的终点至被投影在显示的图像上的关注点的距离动态地变化，其中关注点随着游标在显示的图像上方移动变化。

将理解的是，用户可根据例如正在检查或需要检查的对象的典型和/或预期的尺寸设定虚拟工具的最大尺寸，例如工具的延伸部或长度的绝对相等大小。

可理解的是，图像或帧可以是现实生活对象的数字表示或模拟表示，对帧中对象的参考可指这些对象的视觉表示。例如，图像中对象的尺寸可指图像中直观地表示现实生活对象的像素的区域。

注意的是，虽然此处描述的本发明的实施例适于对GI道成像，但是此处公开的装置和方法可适于对其它体腔或空间成像。

此处公开了不同的实施例。某些实施例的特征可与其它实施例的特征组合；因此，某些实施例可与多个实施例的特征组合。

为了说明和描述的目的，已经提供本发明实施例的前述描述。它并不旨是详尽的或不旨在将本发明限制至所公开的精确形式。本领域技术人员应理解的是，根据上述教导可能进行许多变型、变化、替换、改变和等同物。因此，将理解的是，所附权利要求旨在覆盖落入本发明的实质内容之内的所有变型和改变。

Claims (14)

1.一种用于图像中的体内对象的大小估计的方法，所述方法包括使用至少一个硬件处理器：

在监视器上显示所述体内对象的二维图像；

将已知大小的虚拟工具投向三维空间以确定所述虚拟工具的终点，其中所述三维空间中的坐标表示在捕获所述二维图像时在所述二维图像中所示的并且相对于用于捕获所述二维图像的成像装置的体内对象的真实世界三维位置；以及

将所述终点投影到所述二维图像以生成并且在显示图像上显示具有二维形状的屏幕上指示工具，所述屏幕上指示工具在不同方向上具有多个长度，所述长度终止于被投影至所述二维图像的所确定的终点。

2.根据权利要求1所述的方法，进一步包括使用所述至少一个硬件处理器：

从用户接收所显示的二维图像中的关注点的指示；以及

计算所述关注点周围的至少多个图像点的三维坐标表示，

其中将所述虚拟工具投向所述三维空间包括：将所述虚拟工具投向所述三维坐标表示。

3.根据权利要求2所述的方法，进一步包括使用所述至少一个硬件处理器：

估计至少所述多个图像点的深度，其中基于所估计的深度来计算所述三维坐标表示。

4.根据权利要求1所述的方法，进一步包括使用所述至少一个硬件处理器来计算所显示的二维图像的三维坐标表示，其中将所述虚拟工具投向所述三维空间包括：将所述虚拟工具投向所述三维坐标表示。

5.根据权利要求4所述的方法，其中所述二维图像包括图像像素，进一步包括使用所述至少一个硬件处理器来估计所显示的二维图像中的每个图像像素的深度，其中基于所估计的深度来计算所述三维坐标表示。

6.根据权利要求1所述的方法，进一步包括使用所述至少一个硬件处理器来从用户接收所显示的二维图像中的关注点的指示，其中所述虚拟工具包括：

原点；以及

多个预定长度的臂，所述臂从所述原点开始在多个方向上延伸并且在多个终点结束，

其中将所述虚拟工具投向所述三维空间包括：

计算所述三维空间中的所述关注点的坐标；以及

计算位于距所述三维空间中的所述关注点预定距离内的多个点的坐标，所述预定距离等于所述预定长度，其中所述多个点中的每个定义所述虚拟工具的多个终点中的终点；并且

其中所述屏幕上指示工具的多个长度中的每个从所述关注点延伸至被投影的终点中的一个。

7.根据权利要求6所述的方法，进一步包括使用所述至少一个硬件处理器来在所显示的二维图像上移动所述屏幕上指示工具，并且根据接收的关注点的改变来动态地改变所述屏幕上指示工具的长度。

8.根据权利要求1所述的方法，其中所述虚拟工具的形状是星号或曲线。

9.根据权利要求1所述的方法，其中根据待检查的体内对象的大小的范围来设置所述虚拟工具的大小。

10.一种用于图像中的体内对象的大小估计的方法，所述方法包括：

显示所述体内对象的二维图像；

计算所显示的二维图像的三维坐标表示；

从用户接收所显示的二维图像中的关注点的指示；

将所述关注点投向所述三维表示；

计算位于距所述三维表示中的关注点预定距离内的多个点的坐标，其中所述多个点中的每个定义具有在所述关注点处的原点的虚拟工具的终点；以及

将多个终点投影到所述二维图像以生成并且在所显示的图像上显示具有二维形状的屏幕上指示工具，所述屏幕上指示工具在不同方向上具有多个长度，每个长度从所述关注点延伸至被投影的终点中的一个。

11.一种用于图像中的体内对象的大小估计的系统，所述系统包括：

处理器，被配置为：

在监视器上显示所述体内对象的二维图像；

将已知大小的虚拟工具投向三维空间以确定所述虚拟工具的终点，其中所述三维空间中的坐标表示在捕获所述二维图像时在所述二维图像中所示的并且相对于用于捕获所述二维图像的成像装置的体内对象的真实世界三维位置；以及

将所述终点投向所述二维图像以生成在显示图像上的具有二维形状的屏幕上指示工具，所述屏幕上指示工具在不同方向上具有多个长度，所述长度终止于被投影至所述二维图像上的所确定的终点。

12.根据权利要求11所述的系统，其中所述处理器进一步被配置为：

通过用户输入装置从用户接收所显示的二维图像中的关注点的指示；并且

计算所述关注点周围的至少多个图像点的三维坐标表示，

其中将所述虚拟工具投向所述三维空间包括：将所述虚拟工具投向所述三维坐标表示。

13.根据权利要求11所述的系统，进一步包括用户输入装置，其中：

所述处理器进一步被配置为经由所述用户输入装置从用户接收在所显示的二维图像中的关注点的指示，

所述虚拟工具包括：

原点；以及

多个预定长度的臂，所述臂从所述原点在多个方向上延伸并且终止于多个终点，

将所述虚拟工具投向所述三维空间包括：

计算所述三维空间中的关注点的坐标；并且

计算位于距所述三维空间中的所述关注点预定距离内的多个点的坐标，所述预定距离等于所述预定长度，其中所述多个点中的每个定义所述虚拟工具的多个终点中的终点；并且

其中所述屏幕上指示工具的多个长度中的每个从所述关注点延伸至被投影的终点中的一个。

14.根据权利要求13所述的系统，其中所述处理器进一步被配置为在所显示的二维图像上移动所述屏幕上指示工具，并且根据接收的所述关注点的改变来动态地改变所述屏幕上指示工具的长度。