具体实施方式
附图及以下说明仅用于说明优选实施方式。需要说明的是,从以下的讨论中,本文所公开的结构和方法的可选实施例应被理解为可在不脱离权利要求书的原则的前提下被采用的可行的替代方案。为方便理解,相同的参考数字被用以指定附图中共同的元件。
本发明提供一种全光耳镜,其能够克服用于中耳炎诊断的特征提取的现有耳镜的低劣数据质量的问题。在一个实施例中,全光传感器被附加到传统数字耳镜及耳镜仪器内部的可选的滤镜模块上。通过这样的附加,能够捕捉三维(3D)形状、半透明度、和/或具体的颜色信息。
图1A-1C(现有技术)是用于表示耳朵的不同情况以及用来区分不同情况的特征的示例性图像。所示的三个情况是图1A中的急性中耳炎(AOM)、图1B中的渗出性中耳炎(OME)、以及图1C中的无渗出性中耳炎(NOE)。表1列出了用于区别情况的一些特征。更具体来说,表1列出了与上述三个情况有关的鼓膜(TM)图像上的耳镜发现物。
表1鼓膜图像上的与临床诊断类别有关的耳镜发现物
从图1A-C及表1可以看出,耳部的三个情况不同,并且可以根据以下特征的一个或更多个来对其彼此进行区别:颜色、位置(例如3D形状)、及半透明度。为了正确地进行耳部情况的诊断,希望耳镜图像可捕捉到关于耳朵内部(例如耳道中的鼓膜)的颜色、3D形状、及半透明度的精确的信息。
图2是全光数字耳镜系统的框图。该系统包括耳镜物镜210、成像光学器件(中继光学器件)220、全光传感器230以及成像处理用的计算模块240。耳镜物镜210可以是如用于传统耳镜中的成像物镜。成像光学器件220连同耳镜物镜210一起工作,以形成耳镜仪器中的传统图像。全光传感器230捕捉图像,而不是传统传感器阵列捕捉此图像。全光传感器230是具有安装在其前方的微成像阵列(例如微透镜阵列或小孔(pinhole)阵列)的传感器阵列。此外,滤镜模块(未在图2中示出)可以被插入在光学序列的光瞳平面上(或在其共轭系中的一个上),以允许进行光的光谱或其他滤光。由全光传感器230提取的数字信息被发送到计算模块240,该计算模块240进行全光数据的图像处理。这样一来,可以提取三维和/或光谱数据。
全光耳镜头可以被安装到容纳照射光源的手柄的顶部(例如便携系统)、或者可以与照射光源连接(例如壁挂系统)。该照射光源可以是LED光源、标准白色照射光源等。照射光源还可以具有偏振特性。例如,其可以发射非偏振、部分偏振、或完全偏振(例如TE、TM)的光。
图3表示出全光耳镜的光学序列(train)。全光耳镜包括两部分:主成像系统和全光传感器。主成像系统包括耳镜物镜320和中继光学器件330。其进行配合以形成物体310(例如耳朵内部、鼓膜等)的传统像。全光传感器(微透镜阵列340及传感器阵列350)以微透镜阵列340位于传统的像平面的方式被定位,该传统的像平面是主成像系统的中间像平面。然后传感器阵列350捕捉光场数据,该光场数据被称为物体310的全光图像。
在一个实施例中,全光图像包括深度数据。计算模块(未在图3中示出)进一步处理所捕捉到的全光图像以生成三维数据。全光耳镜的该操作模式可以被称为深度成像模式。例如,在深度成像模式下,由传感器阵列350所捕捉到的全光图像可被处理以生成耳朵内部的三维深度图像。
全光耳镜的另一个可能的操作模式是光谱成像模式。在光谱成像模式下,由传感器阵列350所捕捉到的全光图像包括光谱信息,并且该全光图像可以被处理以提供物体310的两个或更多个不同的光谱图像。在一个实施例中,如图4A-4C所示,光谱成像可以通过将滤镜模块放置到全光耳镜的光瞳平面共轭系(pupil plane conjugate)上来实现。用语“光瞳平面共轭系”是用来指作为主成像系统的光瞳平面或该光瞳平面的共轭平面的任意平面。例如,术语光瞳平面共轭系包括主成像系统的入射光瞳平面和出射光瞳平面。
图4A-4C表示出经过滤镜模块的不同布置。在图4A中,滤镜模块410位于中继光学器件与全光传感器之间的光圈(aperture)上。在图4B中,滤镜模块410位于入射光瞳上。在图4C中,滤镜模块410位于一对中继透镜之间的光圈上。在图4A-4C所示的各个实施例中,滤镜模块410被定位在光瞳平面共轭系上。
在图4B的一个实施例中,滤镜模块被包含在可拆卸的接头(或环)中,该接头(tip)被安装到全光耳镜上。如图4B所示,当安装了接头时,滤镜模块被定位在第一透镜组的入射光瞳上。在传统的耳镜中,用于进入耳道的窥镜可以被安装在该可拆卸的接头上。
在一个实施例中,全光耳镜可在深度成像模式和光谱成像模式之间进行切换。在一个方式中,对于深度成像模式使用透明(clear)滤镜,并且对于光谱成像模式使用一个或更多个不同的光谱滤镜。为了在两个模式之间进行切换,滤镜模块410可以包括透明的一部分和包含光谱滤镜的另一部分。滤镜模块可以相对于主成像系统被平移,以照射适合的部分。在图5中示出了这种滤镜模块的例子。该滤镜模块可以被定位在光瞳平面共轭系内并在光瞳平面共轭系中被平移,以在光谱滤镜组和透明滤镜之间进行切换。在图5中,黑色圆圈示出了光所穿过耳镜的横截面。
在图5A中,光穿过光谱滤镜,该光谱滤镜被描绘为红色矩形、蓝色矩形、绿色矩形、及黄色矩形。经过彩色滤镜的一部分光形成已由相应颜色滤镜所滤过的(全光图像中的)物体的图像。其结果是,光谱成像成为可能。在这个示例中,全光图像被形成,从该全光图像中可以提取物体的四个不同的光谱图像(即,红色图像、蓝色图像、绿色图像、及黄色图像)。
在图5B中,滤镜模块相对于主成像系统被平移,以使光穿过透明光圈。例如,其可被用于深度成像。在这个示例中,全光图像被形成,从该全光图像中可以提取三维深度图像。
这种特殊的滤镜模块具有用于彩色成像的RGB滤镜,由于组织的黄色或琥珀色是一个指标所以其中加上了黄色滤镜,该滤镜模块仅作为示例被示出。在一个实施例中,滤镜模块可以包括多个不同的光谱滤镜。具有多个颜色和/或布局的滤镜还可以被用于滤镜模块。例如,参见2011年5月4日申请的美国专利申请第13/040809号,本申请援引该美国专利申请的全部内容。
光谱成像有助于区别不同的耳部情况。在图1A-1C及表1中示出了一些耳部情况。例如,急性中耳炎(AOM)为明显的红色,渗出性中耳炎(OME)的特点为琥珀色,以及无渗出性中耳炎(NOE)包含灰色及粉色。在一个实施例中,滤镜模块包括用来被选择以区分不同的耳朵情况的不同的滤镜。在图5A-5B中示出了该滤镜模块,例如包含红-绿-蓝滤镜及黄色滤镜的滤镜模块。
图6A-6C表示出附加的滤镜模块。在图6A中,滤镜模块具有黄色滤镜和透明区域。在图6B中,滤镜模块具有黄色滤镜、琥珀色滤镜和透明区域。传感器阵列还可以配有光谱滤镜,例如标准拜耳RGB图案。由此,当图6A及6B中的滤镜模块使用其透明区域时,拜耳RGB图案可以被使用以实现彩色成像。图6A及图6B中的黄色及琥珀色滤镜也可以被用来提取附加的颜色信息。它们可以与单色传感器和/或RGB传感器(例如配置有标准拜耳RGB图案的传感器)一同使用。该附加的颜色信息(例如黄色、琥珀色等)可以被用来区别不同的耳部情况。
图6C表示具有滤镜阵列的滤镜模块。中心带包括三个光谱滤镜:黄色、琥珀色及第三光谱滤镜。它们可以用于光谱成像。右上及左上的滤镜是偏振滤镜,例如用其以降低反射。偏振滤镜还可以有助于提取照射特性(例如,当照射光具有一定程度的偏振时)。右中及左中的滤镜是透明的,例如其用于提取深度信息(例如深度成像)。右下及左下的滤镜是不同密度的中性密度滤镜,例如其用于增加全光耳镜的动态范围。
图7A-7B表示出引入了维度符号的全光耳镜系统,该维度符号将用来描述不同的设计考虑。图7A示出了全光耳镜的典型实施例,其包括主成像系统和全光传感器。主成像系统包括两个透镜组。第一透镜组是耳镜物镜,第二透镜组是中继光学器件。全光传感器包括微成像阵列340和传感器阵列350。在图7B中,微成像阵列是微透镜阵列340,其中每个微透镜具有光学识别特性,如直径、曲率半径、材料、及厚度。在一个实施例中,微透镜的直径选择自10至100微米之间。
如图7A所示,物体(例如鼓膜)位于物体平面上。其由第一透镜组被成像到第一中间像平面(可被称为中继平面)上,接着由第二透镜组被成像到第二中间像平面上,微透镜阵列340被定位在该第二中间像平面上。
在许多传统耳镜中,主成像系统的放大率被设为使整个鼓膜(TM)可被成像到传感器阵列350上(如图1A-1C所示)。假设传感器阵列350具有宽度W和高度H、且TM的直径为h,则主成像系统的放大率可由M=min(W,H)/h给出,其中min(x,y)返回x和y中较小值。
成人的TM的平均直径为h=7mm。这里我们定义1/3”传感器阵列的示例的光学系统规格为宽度W=4.6mm且高度H=3.7mm。对于该传感器阵列,主成像系统的放大率为M=3.7mm/7mm=0.53。该放大率是传统耳镜的典型的放大率。与此相反,显微镜通常具有大得多的放大率(>20),并且用于对人或自然场景进行成像的用户照相机通常具有小得多的放大率。
主成像系统的总放大率为M=M1*M2,其中M1是第一透镜组的放大率,M2是第二透镜组的放大率。为了便于说明,假设M2=1。在其他方法中,M2可以是1以外的任何适当的数。在该例子中,其中M2=1,M1=M。具有放大率M的第一透镜组的工作F值(working F-number)被定义为NW=(1+M)N,其中N为主成像系统的F值(即,N=f/D1,其中D1是主成像系统的入射光瞳的直径,f是主成像系统的有效焦距)。在一个实施例中,全光耳镜的主成像系统比F/8更快。
对于耳镜来说,工作距离z1是物体与第一透镜组之间的距离。对针对TM进行的成像来说,典型的工作距离是27-30mm。TM后面的骨头(bones)大约位于自TM高达15mm的距离。因此,工作距离可以变化,例如从27mm到45mm。为便于说明,假设工作距离z1=30mm。入射光瞳位于接近第一透镜组的耳镜的窄接头内,且通常小于耳镜的接头。为了装入耳道,耳镜的接头具有4-5mm的通常直径。射入射光瞳具有2mm的直径。则第一透镜组的有效焦距为f=N*D1=10.4mm。第二透镜组将第一透镜组的像传递到中间像平面上,其中微透镜阵列340被定位在该中间像平面上。传感器阵列350被定位在微透镜阵列340之后的距离z3’上,以捕捉全光图像。
在一个实施例中,物体位于靠近第一透镜组的超焦距。超焦距是超过所有对象可以被带入可接受的焦点的距离。在数学上,超焦距可以被表示为p=f2/(N c)+f,其中f是有效焦距,N是F值,c是容许弥散直径(confusion diameterlimit)的圆圈(circle)。在一个实施例中,微透镜的数值孔径与主成像系统的像侧数值孔径相匹配。这意味着,主成像系统的工作F值与微透镜的F值匹配。此外,z3’被选取为等于微透镜的焦距。在此配置中,景深仅在一个方向上,因此可以特别适合对远处的物体进行成像。
在一个实施例中,物体被放置在从第一透镜组的入射光瞳离开距离z1的位置上。第一透镜组的出射光瞳与中继平面之间的距离z2由透镜公式被确定为:z2=1/(1/f1-1/z1),其中f1是第一透镜组的有效焦距。
第一透镜组与第二透镜组之间的关系由D1exit/D1’=z2/z1’给出,其中D1exit是第一透镜组的出射光瞳的直径,D1’是第二透镜组的入射光瞳的直径,z1’是中继平面与第二透镜组的入射光瞳之间的距离。
第二透镜组的出射光瞳与中间像平面之间的距离z2’由透镜公式被确定为:z2’=1/(1/f1’-1/z1’),其中f1’是第二透镜组的有效焦距。
微透镜阵列与传感器阵列之间的距离z3’被选取为z3’=z2’×Mmicrolens。这里,Mmicrolens=D2/D1’exit是微透镜子系统的放大率,其中D2是微透镜的直径(如图7B所示),D1’exit是第二透镜组的出射光瞳的直径。这种配置是特定于具有在两个方向限定的景深的成像,其中物体可以不位于靠近超焦距。比较而言,显微镜通常具有大得多的放大率(>20)、较大的F值(>15)、以及小得多的工作距离(几毫米)。
在一个实施例中,如图7A所示,滤镜模块410被插入第二透镜组的光圈。滤镜模块410可通过在x-y平面内横向平移的方式进行调节,其中x-y平面垂直于第二透镜组的光轴(z轴)。为清楚起见,在图7A中也示出了坐标系。此外,第二透镜组可以具有安装到滤镜模块410的前面或背面的光圈/膜片/快门(diaphragm/iris/shutter)。该结构可以允许通过打开和关闭光圈/膜片/快门以调节光圈直径(aperture diameter)。
对于深度成像模式与光谱成像模式之间的切换可伴随主成像系统的景深的变化(除了改变滤镜之外)。一种改变景深的方法是通过调节光圈尺寸。例如,较大的光圈导致较短的景深,较短的景深由于更精细的深度分辨率而可能有益于深度成像。另一方面,较小的光圈导致较长的景深,较长的景深可能会不适合深度成像但会适合光谱成像。
在一个实施例中,在深度和光谱成像之间进行切换包括在第二透镜组的光圈平面上打开和关闭光圈/膜片/快门。下面给出两个示例性的配置。在第一个配置中,对于有效焦距f=10mm且0.019mm的弥散直径的圆圈,光圈敞开以启用较小的F值(例如F/5)及较小的景深(<2mm)。该配置适用于深度成像或组合深度+光谱成像。在第二个配置中,对于有效焦距f=10mm且0.019mm的弥散直径的圆圈,光圈被缩小以启用较大的F值(例如F/16)及较大的景深(>3.5mm)。该配置可能仅适用于光谱成像。
深度成像模式与光谱成像模式之间的切换还可以伴随主成像系统在焦点上的变化。这可以通过聚焦机构来完成。该聚焦机构(例如聚焦环)可以在主成像系统中移动透镜和/或移动全光传感器,以使在各种距离上的物体能够被聚焦到微透镜阵列平面(即,中间像平面)上。在一个方法中,聚焦机构被调节,以使在TM之前4-5mm到TM之后可达15mm的区域能够被成像聚焦到微透镜阵列平面上。这可以使在不同的感兴趣区域上的光谱和/或深度成像的不同组合成为可能。例如,可以期望具有靠近TM区域的深度和光谱成像二者(例如要完全区别不同的耳部情况),同时对于其他区域来说光谱成像可能足够。通过调节焦点,从而能够选择耳道的哪部分应“受到更多关注”。例如,一个人可以用接近TM的精细步长(即,精细深度分辨率)来调节焦点,以增加感兴趣区域的3D深度信息,并且对于耳道的其他区域利用粗步长来调节焦点。
在一个实施例中,当主成像系统具有大于5mm(>5mm)的景深时,全光耳镜处于光谱成像模式。这在例如对TM和TM之后的骨头(bones)两者进行成像聚焦于微透镜阵列平面中有用。相反,当主成像系统具有小于5mm(<5mm)的景深时,全光耳镜处于深度成像模式。在这个模式下,TM的深度估计成为可能,例如,通过聚焦在TM之后的骨头和/或TM之前的耳道的狭窄部分上。说明性地,第一透镜组可以具有可达45mm(大约TM之后15mm)的工作距离。
图8A-8B表示出使用Adelson/Wang模型对深度成像模式下的全光耳镜的深度估计的模拟结果。x轴以mm为单位表示出物体距离z1。物体是光轴上的点。y轴表示出如用Adelson/Wang模型计算出的该物体点的深度分辨率。每条曲线对应于具有光轴上下等距离处的小透镜(lenslets)的一对小透镜。曲线上的每个点对应于从小透镜对下的给定的传感器点位置计算物体的深度时所取得的深度分辨率。在该图中,每条曲线具有针对25个传感器点位置(小透镜对中的顶部小透镜的上半部、底部小透镜的下半部中的25个位置)所计算出的值。由于以像素大小为2微米的小透镜直径=100微米,因此我们得到100/(2*2)个像素位置。两个小透镜中的这些对传感器位置对应于物体的两个不同的视图(view)。图8B表示出从光轴正上及正下的第一小透镜对下的传感器点位置1-6,能够计算0.5mm深度分辨率下的30mm处的物体的深度。全光耳镜具有以下参数:f=10mm,f/8,z1=45mm(聚焦于鼓膜之后远端骨上),传感器分辨率大小=2μm,微透镜直径D2=100μm。TM大致位于z1=30mm。隆起的TM在z1=27mm与z1=30mm之间可见。围绕TM(即,z1=30mm)的位置的深度分辨率被预测为大约0.5mm。
以至少2个视图对可用于30mm的工作距离处的深度估计的方式来选择微透镜的直径。从全光数据的大约6个不同的视图对可进行深度估计。图8B是图8A的特写,并表示出适用于TM的深度测量的6个视图对(图8B中圈出)。
在全光耳镜中,还可以包括取景器,以使检查者可在图像捕捉时通过耳镜的取景器来观察图像。分光器或单镜头反射器件可以被用于分割光路、并且将像导向全光传感器及取景器。例如,单镜头反射器件或分光器均可以被插入耳镜的第一透镜组与第二透镜组之间的中继平面(如图7A所示),以使专家观察耳鼓,同时耳鼓的全光图像被捕捉到同一耳镜的传感器阵列上。
在其他实施例中,全光耳镜系统可以包括一组可拆卸的接头(tips)。每个可拆卸的接头包括不同的滤镜模块。每个滤镜模块可以被用于不同目的。例如,一个滤镜模块可以被用于光谱成像,而另一个滤镜模块可以被用于深度成像。这些可拆卸的接头可以彼此进行交换,并且被称为可互换的接头。当将可拆卸的接头安装到耳镜上时,包含于该接头内的滤镜模块被定位在主成像系统的入射光瞳上。
所述的全光耳镜可以设计及制造为原始的全光仪器。或者,现有的耳镜可以被修改而变成全光器件。在一个实施例中,可以使用售后的全光转换套件以将传统的数字耳镜转换为全光数字耳镜。该转换套件包括具有微成像阵列和传感器阵列的全光传感器。该数字耳镜装配有传统的传感器。在转换过程中,全光传感器代替传统传感器,以使微成像阵列(即,微透镜阵列或小孔阵列)被定位在数字耳镜的像平面上。例如,微成像阵列可以被定位在传统传感器先前所在的平面上。
虽然详细说明包含许多细节,但其不应被解释为限定本发明的范围,而应仅是作为示出了本发明的不同实施例及实施方式。应当理解为本发明的范围包括以上未详细讨论的其他实施例。在不脱离所附权利要求中定义的本发明的精神和范围的前提下,在本文中所公开的本发明的方法及装置的布置、操作及细节上,可以做出对于本领域技术人员来说显而易见的各种其他修改、改变及变化。因此,本发明的范围应由所附权利要求及其法律上的等同物来确定。