CN102638650B

CN102638650B - 表现照相机的特性的方法

Info

Publication number: CN102638650B
Application number: CN201210082410.6A
Authority: CN
Inventors: 王康怀; 戈登.威尔森
Original assignee: Capso Vision Inc
Current assignee: Capso Vision Inc
Priority date: 2007-01-09
Filing date: 2007-12-12
Publication date: 2014-12-10
Anticipated expiration: 2027-12-12
Also published as: JP2015053683A; JP5926345B2; US8405711B2; US20080165248A1; JP2013243679A; WO2008085644A1; CN102638650A; JP2010516088A; EP2103108A4; EP2103108A1

Abstract

提供了一种用于表现具有光学元件和图像传感器的照相机的特性的方法，所述照相机被装在可吞咽的胶囊中，所述方法包括：在受控条件下，对照相机的光学元件的视场进行照明；在所述受控条件下，通过在所述可吞咽的胶囊中提供的透明窗体，将多个图像曝光到照相机的图像传感器上；从所述多个图像中提取用于要利用照相机拍摄的图像的模型的参数值；将所提取的参数值存储在照相机内的档案存储设备中；以及使用所存储的参数值来补偿随后利用照相机拍摄的图像。

Description

表现照相机的特性的方法

本申请是申请日为2007年12月12日、申请号为200780052067.8、发明名称为“用于补偿胶囊照相机中的制造偏差和设计缺陷的方法”的发明专利申请的分案申请。

相关申请的交叉引用

本发明涉及(1)2007年1月9日提交的、名称为“用于补偿胶囊照相机(capsule camera)中的制造偏差(manufacturing variation)和设计缺陷(designimperfection)的方法”的美国非临时专利申请第11/621,486号；以及(2)2007年10月29日提交的、名称为“用于补偿胶囊照相机中的制造偏差和设计缺陷的方法”的美国非临时专利申请第11/926,640号，并且要求上述申请的优先权。对于美国指定来说，本申请是上述2007年10月29日提交的、美国非临时专利申请第11/926,640号的继续申请。

技术领域

本发明涉及用于补偿制造工艺中的偏差的方法。具体地，本发明涉及将这种方法应用到光学仪器。

背景技术

已经证明了胶囊照相机是一种用于检查胃肠(GI)道的有效的微创方式。在授权给(issue to)以色列政府国防部的美国专利5,604,531中描述了可吞咽的胶囊照相机的一个示例。转让到给定成像(Given Imaging)的几个专利更详细地描述了一种使用发射机来向外部接收机发送由照相机捕获的图像的胶囊照相机系统。其他胶囊照相机的示例包括美国专利6,709,387和6,428,469。还存在关于胶囊照相机的奥林巴斯公司(Olympus Corporation)的其他专利。例如，美国专利4,278,077公开了一种对于胃(stomach)设计的胶囊中的胶卷照相机。美国专利6,939,292公开了一种具有缓冲存储器和发射机的胶囊照相机。美国专利6,800,060公开了一种用于在原子分辨率存储(ARS)装置中存储图像数据的胶囊照相机。

现在，可以将电子设备中的各种改进合并到胶囊照相机中。例如，LED提供了一种紧凑和低功率的光源。CMOS图像传感器减少了组件计数和功率。集成电路布局(geometry)的进一步微型化允许了使用用于减少胶囊照相机的尺寸和功率的SOC(片上系统)技术。然而，尺寸减少增大了制造公差(manufacturing tolerance)的限制。例如，用于半导体图像传感器的制造工艺固有地不但包括批到批(lot-to-lot)、晶圆到晶圆(wafer-to-wafer)、和芯片到芯片(die-to-die)的偏差，而且包括芯片内的像素到像素的偏差。甚至用于感测在单元(cell)中存储的电荷以提供数字图像数据的模拟电路也在芯片内的位置之间变化。另外，LED由于其光谱和强度的偏差而闻名。同样，因为镜头的中心比边缘处更好地传递光，所以在图像的中心比边缘处导致更高的强度。即使通过相同的模具来制造镜头，同样也存在镜头之间的偏差。

另一示例源自于以下事实，胶囊照相机中的照明源照明仅几厘米远的对象，该对象接收不一致的光强。而且，用于让LED光穿过的、在胶囊外壳中提供的透明窗体优选地不是透明的。因而，当接通胶囊中的光源(例如，LED)时，透明窗体将照相机的视场内的一些光反射回到所述光源和图像传感器。

由于胶囊照相机意欲允许医生检查病人的GI道的内部，所以其准确性和图像质量备受关注。

发明内容

根据本发明的一个实施例，一种用于表现照相机的特性的方法包括：(a)在受控条件下，照明照相机的光学元件的视场；(b)在所述受控条件下，将多个图像曝光到照相机的图像传感器上；(c)从所述多个图像中提取用于要利用照相机拍摄的图像的模型的参数值；以及(d)使用所述参数值来补偿随后利用照相机拍摄的图像。可以通过预定色彩、对比度或图案的对象来提供用于提取所述参数值的图像。可以通过外部光源来照明所述视场。在一个实施例中，压缩所补偿的图像，以用于在照相机中进行存储或通过无线来进行传送。

根据一个实施例，照相机在档案存储器中存储图像和参数值。可替换地，照相机可以通过无线来向外部处理或服务站传送所述图像或参数值。

根据一个实施例，所述模型是温度相关的。所述模型包括：用于补偿像素到像素偏差的函数。这种函数的一个示例包括作为乘法因子和图像的测量值的乘积的项。意欲所述函数补偿像素响应度中的不一致性。另外，所述函数还可以包括用于补偿图像传感器的像素中的泄露电流的项。所述泄露电流随着曝光时间而增加，并且也可以是温度相关的。

根据一个实施例，对于每个像素来计算所述参数值，以用于补偿所述像素。可替换地，基于像素组来计算所述参数值，并且其中然后将所计算的参数值应用于所述像素组中的每个像素，以用于补偿。在一个实现中，可以从矩形区域中的像素中选择所述像素组。当进行传送时，与所述图像一起来传送用于标识照相机的标识符。

根据一个实施例，提供了一种用于表现具有光学元件和图像传感器的照相机的特性的方法，所述照相机被装在可吞咽的胶囊中，所述方法包括：在受控条件下，对照相机的光学元件的视场进行照明；在所述受控条件下，通过在所述可吞咽的胶囊中提供的透明窗体，将多个图像曝光到照相机的图像传感器上；从所述多个图像中提取用于要利用照相机拍摄的图像的模型的参数值；将所提取的参数值存储在照相机内的档案存储设备中；以及使用所存储的参数值来补偿随后利用照相机拍摄的图像。

一旦考虑了详细描述和附图，本发明就更好理解。

附图说明

图1示出了GI道中的胶囊照相机的示例。

图2图示了根据本发明一个实施例的、用于表现胶囊照相机中的像素到像素偏差和设计缺陷的特性的方法。

图3图示了根据本发明一个实施例的、用于在胶囊照相机的自身照明下表现该胶囊照相机中的像素到像素偏差和设计缺陷的特性的方法。

图4示出了根据本发明一个实施例的、用于使用利用上述特性表现过程的胶囊照相机的方法。

图5和图6分别图示了结合图4来描述的本发明的替换实施例。

图7图示了图像传感器阵列与由光学系统(诸如，胶囊照相机的镜头系统)产生的图像的足迹(footprint)之间的对准(alignment)。

图8A示出了LED的辐射图案的朗伯(Lambertian)曲线(即，角度对照度(illuminance))，而图8B示出了LED的辉度(luminance)对角度。

图9示出了镜头的网格变形图示。

具体实施方式

图1示出了GI道中的示范胶囊照相机。如图1所示，在身体内腔00内部看到可吞咽的胶囊照相机系统01，该身体内腔00例如可以是结肠、小肠、食道、或胃。胶囊照相机系统01在身体内部时是完全自治的，其所有元件封装在用于提供潮湿屏蔽的胶囊外壳10中，保护了内部组件免于接触体液。胶囊外壳10至少包括透明窗体，从而允许来自照明系统12的发光二极管(LED)的光穿过胶囊外壳10的壁以照明内腔壁，并且允许在胶囊照相机内收集来自内腔00壁的散射光，并且对其进行成像。胶囊外壳10还保护内腔00免于直接接触胶囊外壳10内部的异物。胶囊外壳10具有一种使得其能够容易地被吞咽、并且稍后能够有效地穿过GI道的形状。一般地，胶囊外壳10是无菌的，由无毒材料制成，并且十分光滑，以最小化搭挂(lodge)在内腔内的机率。

如图1所示，胶囊照相机系统01包括：照明系统12和照相机，该照相机包括：光学系统14和图像传感器16。可以由图像处理器18来处理由图像传感器16捕获的图像，该图像处理器18执行各种图像处理功能，诸如，确定胶囊是否在照相机的光学视角内相对于GI道的部分进行移动。可以由数字信号处理器(DSP)或中央处理单元(CPU)来实现图像处理器18。图像处理器18可以具有一个或多个部分帧缓冲器。可以提供半导体非易失性档案存储器20，以允许在收回胶囊之后、在身体外部的对接站或工作站处经由输出端口28来取回所述图像。可以使用数据压缩模块22来以压缩形式存储档案存储器20中的图像。(可以以硬件、或以在图像处理器18上运行的软件来实现数据压缩模块22)。由电池电源24来为胶囊照相机系统01供电。可以通过肠蠕动而经过GI道来推动胶囊照相机系统01。

可以由LED来实现照明系统12。尽管其他的配置也是可能的，但是在图1中，将LED定位在照相机的光圈(aperture)附近。还可以例如在光圈后面提供光源。也可以使用诸如激光二极管之类的其他光源。可替换地，也可以使用白色光源或者两个或更多窄波长带光源的组合。在一个实施例中，可以由各种组件(诸如，蓝色LED或紫色LED)、连同由LED的光所激发以发射更长波长处的光的磷光材料来形成白色LED。可以通过生物相容性玻璃或聚合物来制成允许光穿过的胶囊外壳10的部分。

可能包括多个折射、衍射、或反射镜头元件的光学系统14在图像传感器16上提供了其视场内的内腔00的图像。图像传感器16可以包括用于将所接收的光强转换为对应的电信号的电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)类型传感器装置。图像传感器16可以具有单色响应，或包括滤色器阵列，以允许(例如，使用RGB或CYM色彩空间代表法来)捕获色彩图像。优选地将来自图像传感器16的模拟信号转换为数字形式，以允许使用数字处理技术。可以使用图像传感器16内部(如在当前情况下)、或胶囊外壳10内部的另一位置处的模数(A/D)转换器来实现这种转换。可以在图像传感器16和该系统的剩余部分之间提供A/D单元。将照明系统12中的LED与图像传感器16的操作进行同步。控制模块26(未示出)的一个功能是在图像捕获操作期间控制LED。

当图像示出了相对于前一图像的充分运动时，图像处理器18可以选择保留该图像，以便节约有限的可用存储空间。可以在板载档案存储器系统20中存储所捕获的图像。虽然在活的有机体内、图1所示的输出端口28不进行操作，但是在从经过身体的旅程中收回胶囊照相机之后，该输出端口28向工作站上传数据。

当接通LED时，它们的光穿过胶囊外壳10中的透明窗体，以照明GI道中的对象。来自这些对象的反射光穿过透明窗体并且到达镜头14，该镜头14将图像聚焦在成像传感器16上。一些从LED发射的光从透明窗体的表面反射回来(如长短虚线103所示)，经过镜头14到图像传感器16上。因为图像传感器16中的单元阵列中的每个像素在某种意义上是唯一的，所以可以在外部提供的一致光照条件下(在关断胶囊照相机系统01中的LED的情况下)表现图像传感器16的特性，以确定图像传感器16中的像素到像素的偏差。事实上，这些像素的不同读出(readout)代表了像素的偏差、和镜头对于不一致像素值的影响两者。

图2图示了根据本发明一个实施例的、用于表现胶囊照相机中的像素到像素偏差和设计缺陷的特性的方法。如图2所示，准备了至少包括镜头系统、图像传感器、和发射机或档案存储器的胶囊照相机(步骤201)。接下来，在步骤202中，由已知色彩、强度、对比度或图案的光所照明的对象被放置在镜头系统的视场中，并且进行曝光。然后，将这些图像用于表现胶囊照相机系统的特性或校准该胶囊照相机系统。可以在档案存储器中存储所述图像，或传送所述图像。在随后的时间(步骤203)处，将这些图像用于校准从病人捕获的图像，以用于临床诊断目的。

一种用于补偿像素响应度(responsivity)中的偏差和对于照相机响应的场相关性(dependence)(即，即使在存在一致的对象照明时，传感器照明中的不一致性)的方法在于在校准期间提供具有一致色彩和亮度的场的照相机。然后，在该照明条件下拍摄测试图像，并且将其用于获得用于所有像素的红色分量的平均值A_R。如果具体像素的红色分量信号是PR_i，则可以在正常操作期间，通过将所测量的像素值的红色分量乘以因子A_R/PR_i来补偿该像素的红色分量。可以以同样的方式来补偿其他色彩分量。(还可以将该方法同样地应用于其他色彩空间域中的色彩分量)。

可以进行在其自身照明(例如，照明系统12)下的胶囊照相机系统的特性表现。图3图示了根据本发明一个实施例的、用于在胶囊照相机的自身照明下表现该胶囊照相机中的像素到像素偏差和设计缺陷的特性的方法。可以校正所组合的照明和成像系统的“白平衡”。如图3所示，准备了至少包括镜头系统、图像传感器、胶囊照相机的外壳内的照明系统、和发射机或档案存储器的胶囊照相机(步骤301)。接下来，在步骤302中，在镜头系统的视场中，通过照明系统来照明已知色彩、对比度、和图案的对象，并进行曝光。然后，将这些图像用于表现胶囊照相机系统的特性或校准该胶囊照相机系统。可以在档案存储器中存储所述图像，或传送所述图像。在随后的时间(步骤303)处，将这些图像用于校准从病人捕获的图像，以用于临床诊断目的。

在校准期间，可以从各种彩色场拍摄图像。可以将用于每个测试场的平均的红色、绿色、和蓝色像素响应与理想的响应和所确定的校正因子进行比较。例如，如果用于红色分量的所测量的平均值是A_R、并且所期望的平均像素值是A_R ^E，则可以通过将所测量的图像中的每个像素乘以因子A_R ^E/A_R来将该因子用于校正色彩保真度。可以对于绿色和蓝色分量推导出类似的因子。不同的测试色彩场可以产生用于三原色的不同校准因子。可替换地，可以将白色场用于校准所有色彩。可以拍摄相同测试图案的多个图像，并且对结果进行平均，使得在所测量的像素值中减少时间相关的噪声。可以确定并且存储测试条件上的校准因子的加权平均，以用于稍后的图像校正。可以在胶囊照相机系统01、在数据记录器、或在工作站软件中存储所述补偿因子。可以各自使用等式、曲线、分段曲线或查找表来定义补偿因子。每个像素的参数的数目也可以多于一个。

在图像传感器16内，与光输入无关的作用(effect)也影响每个像素值。可以在“暗(dark)”像素的输出值中看到这种作用。暗像素可以是不在光学系统14的视场内并且典型地被不透明材料覆盖的像素。虽然这种像素的输出值不是由光输入而引起的，但是招致诸如热感应电荷泄露。可以通过作为偏移来添加在暗像素处测量的热感应泄露电流(或暗像素组的平均热感应泄露电流)来补偿操作的像素。热感应泄露电流是温度和时间两者的函数。期望操作中的胶囊照相机的温度相对固定在人类体温、加上通过胶囊照相机的功耗和热传导两者确定的几度处。作为一阶估计，热感应泄露电流与像素的预充电和读出之间的时间成比例。

可以根据以下的等式(1)分别对于R、G和B色彩分量来补偿包括镜头系统14的作用的、像素到像素偏差或不一致像素响应度：

R＝F_R×P_R+C_lR×t_l+C_R

G＝F_G×P_G+C_lG×t_l+C_G (1)

B＝F_B×P_B+C_lB×t_l+C_B

其中，P_R、P_G、和P_B是用于从图像传感器16中的像素读取的三个色彩分量的所测量的分量值，F_R、F_G、和F_B是用于校正像素到像素偏差和用于调整平均像素值所提供的乘法因子，而C_R、C_G、和C_B是用于每个像素的可为正或负的偏移。在该模型中，假设像素响应与由像素所吸收的已接收辐射能量线性相关。线性相关性的斜率是“响应度”。在暗像素处(即，在零输入辐射能量处)，零光响应(“暗电流”)代表偏移。因为乘法因子简单，所以便于使用它以用于补偿。然而，如果像素特性相对于分量值来说是非线性的，则可能需要更复杂的补偿函数。在一般情况下，可以用f_k(P_k)来代替项F_k×P_k，k＝R，G，B。例如，这种函数可以是包括对数或指数项的多项式或函数。当然，f_k(P_k)也可以是其他参数(诸如，如下面讨论的温度)的函数。R、G、和B是原色。P_R、P_G、和P_B是非负值(当其计算值为负时，将每个值固定(clamp)到零；或者对于N比特分辨率，当计算值超过2^N-1时，将每个值固定到2^N-1)。

提供参数C_lr、C_lg和C_lb以补偿热感应泄露电流。泄露电流对于每个色彩分量的影响与时间t₁成比例，该t₁是单元预充电和单元读出之间的时间持续时间。为了求解F_R、C_lR、和C_R，必须拍摄包括两个不同照明强度和t₁的两个不同值的三个测试图像。

读出用于每个色彩分量的数据。作为一阶估计(例如，在没有进行下面讨论的、补偿热感应泄露电流的情况下)，可以对于每个色彩分量来存储或传送两个参数F_i和C_i。还可以存储或传送原始色彩图像数据，以减少空间需求或传送功率。这些原始色彩图像数据可以对应于在不同强度处照明的红色、蓝色、和绿色对象的少量图像。可替换地，其每一个具有一致的已知色彩的多个对象的图像可用于推导这些系数。例如，其中虽然使用了相同的RGB比例、但是提供了不同的强度的光照条件可以用于求解C_r、C_g和C_b参数。

提供参数C_lr、C_lg和C_lb以补偿热感应泄露电流。泄露电流对于每个色彩分量的影响与时间t₁成比例，该t₁是单元预充电和单元读出之间的时间持续时间。可以在胶囊照相机中或胶囊照相机外部计算该泄露电流。对于在胶囊照相机外部的计算，在闪存中存储或通过无线来传送用于每个图像的定时参数。用于存储这些定时参数所需的存储器空间相对于图像的尺寸来说是极小的。在上面讨论中，尽管为了阐明性目的而在该示例中使用了RGB空间，但是也可以使用其他色彩空间。

因为暗电流和响应度两者在像素之间变化，所以对于每个像素来计算这些参数的值，并且根据与每个像素相关联的参数值来将补偿应用到该像素。可替换地，可以使用在整个像素块的像素上计算的相同参数值(例如，相同的加法和乘法因子)来为像素块中的每个像素提供补偿。一个块可以是任何像素组，而不必是图像的矩形区域上的像素。

本发明人同样认识到本发明的方法还可以应用到用于除了如在身体内腔条件下进行操作的胶囊照相机之外的应用的照相机。对于这些其他应用，可能必须考虑C_lr、C_lg和C_lb、C_r、C_g和C_b以及乘法因子F_R、F_g、和F_B(或其函数形式)中的温度相关性。在一个实施例中，例如，在多个温度处进行测量。在每个温度处，根据上述过程来求解F_k(或其函数形式)、C_lk、和C_k，k＝r，g，b的值。

如上面讨论的，为了在操作期间使得补偿可用，可以在制造的时间处对于每个像素来计算系数，并且进行存储。可替换地，可以存储在已知的一致照明条件下拍摄的图像数据，以用于随后的系数计算。由于胶囊照相机中在操作期间拍摄的图像的数目为好几万的数量级，所以对于用于特性表现的几个乃至几十个测试图像的数据存储需求很小，并且可以将其存储在板载档案存储器(例如，存储器20)中。还可以通过无线来向外部记录器传送这些测试数据，该外部记录器可以稍后用在医生对图像的检查中。可以向每个胶囊照相机提供标识数字(ID)。基于所述ID，可以向网站上提供测试数据，并在医生检查所捕获的图像数据时，从该网站上下载所述测试数据。

用于基于上面讨论的简单关系提取系数的计算需求(例如，在电路面积和功率方面)相对低，并且可以容易地存储或传送测试图像数据(例如，用于每个色彩分量的值)、或者可以通过板载电路来计算的系数。为了阐明功率和电路需求，考虑对于用于处理三十个300k分辨率图像所需的JPEG电路的数量级估计。(存在从各种普通的铸造厂库(foundries’libraries)中可获得的JPEG电路的许多选择，其每一个由不超过大约50k个门而组成。)对于0.09μm工艺，将平均的本征门电容(gate capacitance)估计为：

4CiWL≈(5ff/μm²)(0.5μm)(0.09μm+0.2μm)≈3ff

(因子4假设了等效门具有4个晶体管。)0.2μm项代表了边缘电容。对于现今广泛采用的每个码字一个块的JPEG标准，需要大约30MHz来运行每秒三十帧的实时速度。因此，假设布线电容是本征电容的两倍，并且激活率是所有电路的1/3，则将所需的功率估计为：

0.5CV²*30MHz＝0.5*(2+1)*3ff*50k*(1/3)*(1V)²*30MHz＝2.25mW

用于处理30帧的能量是2.25mW×lsec＝2.25mJ，这是胶囊照相机的电池容量内的极小值。通过比较，用于计算上面的补偿系数的等式比用于JPEG处理的计算需求要简单得多，该用于JPEG处理的计算需求包括在ISO10918-2JPEG编码标准中指定的其他步骤之中的、空间-频率域离散余弦变换(DCT)运算和熵编码。此外，用于特性表现所需的测试图像的数目通常实质上少于30个图像。因此，提取胶囊照相机中的系数本身在实践中也容易实现。

因而，使用在这里讨论的方法和其他方法来校正所捕获的图像的成本不是麻烦的操作。另外，因为将未校正的图像中的像素到像素偏差表示为图像数据中的噪声，所以压缩图像的压缩率和质量在校正后的图像中比在未校正的图像中更加有利。在没有去除过程的情况下，这些噪声混合在有用信息中，并且因此增加了压缩图像中的比特数目。(例如，相邻像素之间的)近距离差异增加了频域数据，因而影响了压缩文件尺寸和图像质量两者。在压缩期间，对于图像数据中的噪声的处理进一步增加了功耗。例如，在MPEG处理的情况下，必须将先前的参考帧解压缩，以便对当前帧和参考帧之间的差异进行编码。远距离差异(即，传感器阵列内彼此距离充分远的像素之间的差异)影响了MPEG之类压缩中的运动估计。因为运动估计之后通过空间域和频率域变换来进行压缩，所以近距离差异和远距离差异两者均影响这种压缩算法中的运动估计。

本发明的方法可应用于在照相机外部表现图像传感器的特性。因为这种方法引入更少的噪声，允许更好的匹配，并且导致更少的频域项，所以该方法实现了更好的质量、更好的压缩率，并且提供了更少的功率需求。对于MPEG压缩的影响是双重的：校正了近距离偏差和远距离偏差两者。所述校正改善了传感器内的近距离、相邻或邻近像素的压缩率，同时远距离像素到像素偏差比近距离偏差高一个数量级。还可以单独地表现照相机的物镜光学元件的特性。典型地，无需单独地测量各个物镜光学元件中的每一个。可以组合用于图像传感器和物镜光学元件的校准数据。

在本发明的一个实施例中，(在提供或没有提供镜头的情况下并且在一致或已知条件下)使用上面讨论的方法之一来表现图像传感器的特性。由于压缩噪声而导致图像传感器典型地具有更多高频分量。如果提供了镜头，则应该使用几乎理想的镜头(这种镜头将是昂贵的)。否则，在考虑其缺陷的情况下，应该在使用之前离线地在光学上表现镜头的特性。然后，推导出校正数据，然后将其与具体传感器相关联。然后可以将校正数据提供到照相机制造商，以用于随后使用。

通过胶囊外壳10的内表面和外表面以及胶囊外壳10内的其他对象(例如，微粒污染)来在某种程度上反射来自照明源的光。这种反射既可以是镜面的，又可以是散射的。一些反射光可以传递到照相机的输入光瞳(pupil)中，以在图像传感器上进行收集。在到达图像传感器16之前，光可能从多个对象反射多次。

源自于LEG光的反射的乱真(spurious)信号与所拍照的场景无关。为了表现由图像传感器16从胶囊外壳10中的透明窗体的表面拾取的所反射的照明光的特性，可以将胶囊照相机完全放置在光吸收的环境中(即，没有光从该环境中反射)。在该安排下，在图像传感器16处感测的光仅仅由从LED发射的、从胶囊外壳10或从胶囊内的其他对象反射的光组成。虽然简单起见、以下讨论假设了LED光源，但是代替地可以使用其他光源，诸如，基于白炽、荧光、场离子化、磷光、或任何其他发光处理的那些光源。

可以将所测量的红色、绿色、和蓝色像素信号表达为，

P_{R} = Σ_{i = 1}^{n} C_{ir} I_{i} t_{LEDi} - C_{lR} \times t_{l} - C_{R}

P_{G} = Σ_{I = 1}^{n} C_{ig} I_{i} t_{LEDi} - C_{lG} \times t_{l} - C_{G} - - - (2)

P_{B} = Σ_{i = 1}^{n} C_{ib} I_{i} t_{LEDi} - C_{lB} \times t_{l} - C_{B}

其中I₁、...、I_n分别是LED₁到LED_n中的电流，而时间t_LED1、...、t_LEDn是对应LED电流的持续时间。诸如C_lR和C_R之类的减法项是使用前述过程所确定偏移。由于LED所发射的光功率与电流大致是线性的，所以期望在图像传感器处感测的反射光与随着时间而积分的在各个LED中流动的电流线性相关。虽然简单起见、等式(2)假设了用于LED_i的电流I_i是常数，但是还可以将等式(2)中的电流项表达为瞬时电流随着时间的积分，而不是电流和时间的乘法。

对于LED电流的n个不同组合做出测量，以允许对于每个色彩来求解n个独立的线性等式。理想地，依次单独地接通每个LED。可以使用n个图像、以及从等式(1)的图像测试中获得的泄露电流因子、C_lR、和偏移C_R的值，来求解用于红色的n个等式。可替换地，可以拍摄两个附加图像，并且可以使用等式(2)来获得泄露电流和偏移因子。在所述情况下，所需要的全部图像数目是n+2。)

来自胶囊外壳10的外表面的反射取决于其中浸没胶囊照相机的介质。在GI道中，经常在水性液体中浸没胶囊。在某些情况下，胶囊将仅部分地覆盖在液体中。可以利用填充有水的黑色容器中的胶囊来取得LED反射的一个校准数据集。可以在没有水的情况下取得另一校准数据集。当校正GI图像数据时，可以选择用于提供最佳校正的校准数据集。可以选择不同的校准数据集，以校正不同的图像区。可以通过以下各种标准来指示用于图像区的合适校正，诸如：

1.最小化空间频谱的高频分量。

2.使用用于检测边缘的图像处理算法，来最小化图像中的锐利的边缘。

3.最大化相继图像之间的改变。通常，图像区内接触胶囊的介质从一帧到下一帧是相同的，使得用于从胶囊外壳10的外表面的LED反射的每个像素中的合适校正从一帧到下一帧是不变的。如果正确地标识了校正(即，使用了恰当的校准数据集)，则最大化了图像中的改变。

4.只产生非负的校正像素信号。负值指示应用了错误的校准数据集。

由于其相应的地点、以及对象与光源之间的有限距离，所以还可以补偿每个LED的单一性和由所述LED投射在对象上的不一致光。即使不知道小肠内部和大肠内部的距离，由于已知光源的位置和强度并且平均人类的肠在形状和尺寸上具有某一特性范围，所以也可以做出校正。

可以在制造工艺期间(例如，在组装处理期间)、当在胶囊照相机内部或外部地存储所得到的图像和相关联的信息或所推导的系数期间，进行用于提取补偿参数所设计的测试或特性表现。

可替换地，可以由医院的技术员或由医生来执行特性表现或测试，所述医院的技术员或医生利用放置在用于提供受控特性表现环境的容器中的胶囊照相机来运行自动测试程序。可以在板载存储器中存储测试图像与相关联的信息或所提取的系数，或者如果胶囊照相机具有无线发射机和天线，则可以向外传送系数数据库或所述图像与相关联的信息。可以在稍后的时间处在用于显示和归档的工作站处取回这些数据。可以利用病人的健康记录或利用原始(即，未校正的)图像数据来归档所述特征表现数据。可替换地，与关于如何进行补偿过程的描述一起，存储校正图像和特性表现数据。医生可以自主使用特性表现数据消除(undo)补偿。

图4示出了根据本发明一个实施例的、用于使用利用上述特性表现过程的胶囊照相机的方法。如图4所示，准备了至少包括镜头系统、图像传感器、胶囊外壳内部的具有两个LED的照明系统、档案存储器和输出端口的胶囊照相机(步骤401)。接下来，在步骤402中，将胶囊照相机放置在没有外部光源的光吸收环境中。然后，在不同的相对照明处(术语“相对照明”是指曝光时间和光强的乘积)由照明系统使用照明来拍摄两个图像。然后，在档案存储器中存储所述图像。在步骤403中，将胶囊照相机放置在使用外部光源的一致光照条件的环境中。捕获不同的一致光照条件和像素预充电到读出时间(pixel precharge to readout times)的三个图像。然后，在档案存储器中存储所述图像。

可替换地，在步骤402中，在暗环境中在一个LED单独接通的情况下，拍摄每个图像。然后，在两个不同时间段中在全部两个LED关断的情况下，接着拍摄两个图像。表现时间相关和时间无关的泄露信号、以及LED反射的特性。然后，在档案存储器中存储所述特性表现数据。然后，在步骤403中，在一致白色背景和无LED照明的情况下，拍摄一个或多个图像。(仅需要一个图像来确定响应度。)

在步骤404中，由病人吞咽胶囊照相机，以使用胶囊照相机的照明系统作为光源来拍摄病人的GI道的图像。将这些图像捕获到档案存储器系统中。在步骤405中，在从病人身体中排出胶囊照相机之后，收回胶囊照相机，并且经过胶囊照相机的输出端口来取回所捕获的图像和在步骤402和403中拍摄的图像(如果存储了的话)。将在步骤402和403中拍摄的图像用于分别根据等式(2)和(1)来提取参数值，以用于胶囊照相机系统的特性表现和校准。然后，使用所提取的参数值来补偿所捕获的图像。

可替换地，可以经过输出端口(例如，输出端口28)或者由无线部件来向胶囊照相机外部传送测试或特性表现数据，以用于外部存储。图5图示了结合图4来描述的本发明的替换实施例。在图5所图示的方法中，向胶囊照相机提供非易失性存储缓冲器和发射机，来代替档案存储器。首先将包括在步骤502和503中拍摄的图像的、在胶囊照相机中拍摄的图像存储在非易失性存储缓冲器中，并且传送到外部接收机，在该外部接收机中存储所述图像以用在随后的步骤中。在一个实施例中，恰在胶囊对病人做出测量之前，无线地向接收机传送所存储的校正图像数据或系数。

可以利用ID来标记胶囊照相机，并且可以使得外部存储的测试数据或从测试数据中提取的参数在网站上、通过电子邮件、在闪存中、在VCD或其他部件上可用。在一个实施例中，在横穿GI道收回胶囊照相机之后，可以将测量数据下载到工作站，在该工作站中可以取回测试数据、或从测试数据中提取的参数，以补偿所捕获的图像数据。可替换地，可以在测试或特性表现图像或系数数据中嵌入ID或ID信息。工作站处的技术员可以使用所嵌入的ID，来经由因特网、或从另一存储媒体中取回测试或特性表现数据或系数，以执行补偿。

图6图示了结合图4来描述的本发明替换实施例。在图6所图示的方法中，向胶囊照相机提供装置ID和发射机以及天线，来代替档案存储器。将包括在步骤602和603中拍摄的图像的在胶囊照相机中拍摄的图像、连同装置ID一起传送到外部接收机。在外部储藏库(depository)处存储所述图像，可以使得所述外部储藏库可用于经由因特网的取回。在随后的步骤中使用从储藏库中取回的这些图像。

图7图示了图像传感器阵列(例如，传感器阵列16)和由光学系统(诸如，图1的胶囊照相机01的镜头14)产生的图像的足迹之间的对准。理想地，如图7所示，如果所有组件都没有瑕疵(defect)并且完全对准，则所捕获的图像的光学中心与传感器阵列的中心完全重合。然而，在实践中，所捕获的图像的中心与传感器阵列的中心不是完全对准的。另外，在光学系统的组件中典型地存在缺陷。通常地，将所捕获的图像设计为稍微小于传感器阵列的尺寸，以确保在传感器阵列内捕获整个图像。使用上面讨论的用于特性表现的测试图像，可能推导出捕获图像与感测阵列的中心的偏心度(misalignment)。例如，在一致光照下，传感器阵列的每列中的色彩分量的平均值指示了捕获图像的边缘在什么地方(例如，从左到右地扫描其中强度从暗过渡到亮的右边列、和其中图像从亮过渡到暗的左边列)。沿着行的相同过程指示了在图像顶部和底部处边缘在什么地方。

作为另一示例，当测试图像由重复图案组成时，可以将DCT(诸如，在JPEG或MPEG处理中使用的DCT)用于计算频率域图像信息。将图像足迹定位在其中与图案变得清晰和可辨别的地方对应的、DCT值突然增加的地方。可以存储光学中心和传感器阵列的中心之间的偏移(例如，以x和y坐标表达的位移)，以用于稍后在寄存器或在非易失性存储器(例如，档案存储器20)中进行参考。通过将传感器阵列的操作边界修剪到真实图像足迹、或图像足迹的“有意义的”部分(即，其中期望真实视场的区域)，而没有在传感器阵列中的区域上在真实有用视场外部浪费功率。另外，还减少了用于存储图像所需的空间、或用于传送图像所需的带宽。增强了工作站的利用率，并且还使得归档管理更加容易。

可以在用于辉度的8×8的块中执行DCT。因此，在一个实施例中，为了处理M列像素的区域，对于每行使用(M/8+1)个块。在这种安排下，分辨率在行和列方向两者中都是8个像素。一旦找到其中它的64个DCT值在先前块上开始增加或减小的8×8的块，就通过在相同行中包括先前块的最后列来重新形成当前的8×8的块，并且计算新的DCT值。如果DCT值还进一步增加或减小，则重复该过程，以包括所述先前块的又一列。重复该过程，直到找到最大或最小DCT值为止，这代表了DCT值在行方向中开始增加或减小的地方。当在列方向中应用时，该方法定位其中DCT值在列方向中开始增加或减小的像素。

在另一示例中，可以使用边缘信息来提供对准信息。边缘增强使用在许多现今的商业照相机或图像后处理软件中。用于提取边缘的一种方式是找到相邻列中的像素之间的辉度差异。该差异提供了一个方向中的边缘信息。可以将上述过程用在相邻行中的对应像素上，以得到在到列的方向中的边缘信息。可以一起使用对于列和行方向获取的边缘。

在图7中还图示了以下事实，由于镜头中的各个偏差，所以每个透镜的放大因子跨越胶囊照相机而不同，从而导致了照相机之间的不同足迹。例如，图像足迹的替换代表可以是矩形图像足迹的两个顶点。

如上面讨论的，可以在胶囊照相机内(例如，图像处理器18内，或通过控制传感器模拟增益并且向每个像素的每一色彩分量提供偏移来)进行图像补偿。可以在单独的非易失性闪存中、在专用集成电路(ASIC)中提供的存储器中或在图像传感器中，提供用于补偿或特性表现参数值所需的存储空间。可替换地，还可以在用于所捕获的图像数据的相同闪存非易失性存储器(例如，档案存储器20)中存储补偿或特性表现参数值。

图8A示出了LED的辐射图案的朗伯曲线(将照度示出为相对于LED轴的函数角度的极坐标图)，而图8B示出了作为角度的函数的辉度(线性标度)。这些图示出了真实LED设计的缺陷。

图9示出了镜头的网格变形(distortion)图示。如图9所示，虽然中间的变形最小(即，真实网格点与参考网格很好地匹配)，但是远离中心处变形变得明显。

由于大的制造偏差存在于LED产品之中，所以在由图8A和8B与图9所提出的设计问题之间存在基本差异。可替换地，在如由网格变形所测量的镜头制造中，偏差小并且是确定性的。即使在数据获取之后仅通过在显示之前对于工作站或另一计算机上的获取图像的反向映射，也可以在大部分中补偿图9所示的问题。图8A和8B中的缺陷由设计缺陷和制造偏差两者引起。可以使用上面图2-6中的方法来有效地处置这种缺陷或偏差。

在一个实施例中，可以通过对已知图案(例如，网格)进行成像、并且在显示之前(如先前所描述地)检测边缘以计算由光学缺陷(设计缺陷以及制造偏差)引起的传感器表面上的图像变形程度，来使用图2-6中的方法而补偿网格变形。可以类似地解决其他问题，例如横向色差(lateral color)。如果是确定性的，则可以在显示图像之前，在工作站上补偿该图像，并且如果由设计缺陷和制造偏差两者而引起所述瑕疵，则仅可以将图2-6中的方法实际地用于补偿，以在医学装置应用的情况下得到更高的图像保真度和更高的检测率。

提供了上面的详细描述以阐明本发明的特定实施例，并且不意欲该详细描述是限定性的。本发明范围内的众多变型和修改是可能的。在所附权利要求中提出本发明。

Claims

1.一种用于表现具有光学元件和图像传感器的照相机的特性的方法，所述方法包括：

在受控条件下，对照相机的光学元件的视场进行照明；

在所述受控条件下，将多个图像曝光到照相机的图像传感器上；

从所述多个图像中提取所述图像传感器中的像素的参数值；

将所提取的参数值存储在照相机内的档案存储设备中；以及

使用所存储的参数值来补偿随后利用照相机拍摄的图像。

2.根据权利要求1的方法，其中，所述多个图像包括具有预定色彩、对比度或图案的对象的图像。

3.根据权利要求1的方法，其中，所述受控条件包括使用外部光源，在指定的亮度强度和色度下对所述视场进行照明。

4.根据权利要求1的方法，其中所述图像传感器对于多个色彩分量敏感。

5.根据权利要求4的方法，其中所述曝光包括对于每个色彩分量以预定的光强提供所述照明。

6.根据权利要求5的方法，其中所述多个图像包括预定图案。

7.根据权利要求1的方法，还包括在存储设备中存储在所述受控条件下拍摄的图像。

8.根据权利要求1的方法，其中按照从由等式、曲线、分段曲线和查找表组成的组中选择的形式来表达所存储的参数值。

9.根据权利要求8的方法，其中所述参数值包括在各种温度处从图像传感器中的一个或多个暗像素测量的信号值。

10.根据权利要求9的方法，其中补偿所述图像还包括：测量捕获每个图像的温度，以及使用该温度作为对于为所存储的参数值构造的模型的输入。

11.根据权利要求10的方法，其中所述模型包括用于补偿像素到像素偏差的函数。

12.根据权利要求11的方法，其中所述函数包括乘法因子与图像的测量值的乘积。

13.根据权利要求11的方法，其中所述函数补偿多个像素上的平均像素值。

14.根据权利要求11的方法，其中所述函数补偿不一致的像素响应度。

15.根据权利要求11的方法，其中所述函数补偿平均像素值。

16.根据权利要求11的方法，其中所述函数基于从受控条件获得的期望像素值。

17.根据权利要求10的方法，其中所述模型包括用于补偿图像传感器的像素中的泄露电流的加法因子。

18.根据权利要求17的方法，其中在曝光时间上对所述泄露电流进行积分。

19.根据权利要求17的方法，其中所述加法因子是温度相关的。

20.根据权利要求1的方法，其中基于图像传感器上的像素组处的测量信号来计算所述参数值，并且其中，随后将所计算的参数值应用于所述组中的每个像素。

21.根据权利要求1的方法，还包括压缩所补偿的图像。

22.根据权利要求21的方法，其中还包括向外部储藏库传送所压缩的图像。

23.根据权利要求21的方法，其中将所述图像传感器与标识符相关联，并且其中将所压缩的图像与所述标识符一起传送。

24.根据权利要求10的方法，其中所述模型包括对于反射光的校正。

25.根据权利要求24的方法，其中所述校正是发光二极管中的电流的函数。

26.根据权利要求24的方法，其中所述校正还是曝光时间的函数。

27.根据权利要求1的方法，其中在照相机外部的处理器处执行所述补偿。