CN110383136A - 用于3d重构的系统和方法 - Google Patents

Abstract

描述了一种能够在特定深度处(例如，在皮肤的顶表面下方)聚焦的皮肤镜。提供光源以用于创建皮肤病变的阴影，并且提供图像采集设备以采集能够从其进行3D重构的图像。

Description

用于3D重构的系统和方法

发明领域

本发明涉及诊断成像领域，并且涉及一种检查设备以及如何校准检查设备的相机以用于诊断成像。

背景技术

皮肤镜能被用于皮肤的诊断成像。今天，大多数皮肤镜仍然是模拟设备，这意味着它们包括周围带有照明的放大镜。皮肤镜不仅看到皮肤的顶表面，而且它们还在皮肤的不同深度(向下约3mm或更多)处进行成像。皮肤科医生能够调整焦点，以使得焦点被设为“所需深度”，并且这是由皮肤科医生基于经验来确定的。随着焦点被改变，特定的皮肤结构将清晰起来，而其他皮肤结构将模糊。专家皮肤科医生在浏览皮肤(例如，顶部、表皮、真皮……)时识别这些结构并且一直知晓他/她所在的位置。然而，对于非专家而言，这是非常困难的，并且最为通常的，非专家不会确切地知晓设备聚焦在什么深度处。

对某些类型的皮肤癌的诊断并不容易，并且模拟设备在作出诊断时不会记录医生看见的图像。与在更好的诊断方法可用的情况下所需的活检相比，这会导致进行更多活检的保守办法。

图1在y轴上示出了不同皮肤层的示意性表示，并且在x轴上示出了不同波长(以nm计)的光的穿透深度(以mm计)。事实上，波长越长，它穿透皮肤组织越深，并且对应于特定波长的聚焦越深。在每个层中，都存在特征结构，由此将存在从表面向下超过3mm深度可见的“清晰”结构。由此，常规的自动聚焦算法(例如，智能手机中所使用的算法)将无法工作，因为这些算法依赖于一旦焦点被设置正确图像就是清晰的。

最近已经引入了数字皮肤镜。这些设备是常规模拟皮肤镜的数字等效设备。今天，数字皮肤镜提供与模拟皮肤镜通常相同的功能；但是它们能够采集皮肤图像，并且皮肤科医生能够(手动地)控制聚焦深度。

随着数字皮肤镜的出现，将皮肤病变的“成像”与其“读取/诊断”解耦变成可能。全科医生(GP)或护士能够例如对皮肤病变进行成像并将这些图像发送给皮肤科医生进行诊断。

然而，这要求图像是在正确的聚焦深度(或者更确切而言，在多个正确的聚焦深度)处采集的，并且知晓哪个聚焦深度与哪个图像相关联。

此外，以非常高的准确度知晓病变的深度是至关重要的。事实上，例如，在黑素瘤的情形中，病变的深度提供了对患者在5年后存活的机会的估计。黑素瘤的深度是用以估计以获得准确诊断的最至关重要的参数之一。因此，需要在设备的整个寿命期间完美地控制聚焦深度。

US20160282598A1(佳能3D)公开了如何校准显微镜以例如通过使用具有测试图案的校准目标进行3D分析。校准目标物理地定位在光学系统下方的可移动台上。

US20160058288A1(Mela，皮肤镜)公开了使用“系统的已知相机校准”作为校准参考来对组织进行三维成像。

发明内容

关于用于医疗应用的检查设备(诸如皮肤病检查设备或内窥镜)，需要：

·提供一种用于在对具有遍及其体积的结构的目标进行成像时自动控制聚焦深度的方法，因为当今存在的自动聚焦算法不适合。

·能够将控制聚焦的数字驱动值与聚焦深度的绝对值相关联，并将控制聚焦的数字驱动值范围与聚焦深度的绝对值范围相关联。

·将所采集的图像链接到特定的绝对聚焦深度值。

在一方面，本发明提供了一种直接应用于患者皮肤的检查单元，该检查单元在具有光轴的光路中具有多个光学元件，该光学元件包括：

围绕光轴布置的多个光源的第一光源环以及围绕光轴布置的多个光源的第二光源环，第一光源环投射基本上平行于光轴的光，而第二光源环投射基本上垂直于光轴的光，

具有视场并位于光轴上的数字图像捕获设备，以及直接应用于患者皮肤的查看表面，通过查看表面能够对目标对象进行成像，

控制器，其被配置成在使用第一光源环和第二光源环的光源中的不同光源照射目标对象以生成阴影时使用数字图像捕获设备来捕获患者皮肤上的目标对象的一系列不同的数字图像。

优选地提供用于存储一系列不同的数字图像的存储器。

优选地提供用于将不同的数字图像传送给数字处理引擎的通信接口。

处理引擎优选地被配置成用于进行成像处理以根据一系列不同的数字图像执行对目标对象的3D阴影重构。处理引擎可位于计算机处理设备中，该计算机处理设备经由无线或电缆通信链路链接到检查单元。

在一方面，本发明提供了以高准确度来校准皮肤的顶表面处的聚焦位置的方法。出于此原因，在优选实施例中，提供校准图案或者可将校准图案定位在检查设备(诸如皮肤镜或内窥镜)的参考查看表面处。参考查看表面可在检查设备的前玻璃的下表面上，其在使用期间与患者皮肤接触或者被插入到内窥镜的末端处的体腔内。皮肤镜以可获得的最佳准确度来知晓该设备聚焦在皮肤顶部下方什么绝对深度处也是有利的。这可通过本发明的各实施例提供聚焦装置并知晓使聚焦装置的聚焦位置移位的数字驱动电平与聚焦深度的对应绝对变化之间的关系来实现。由此，知晓设备在皮肤顶部下方聚焦得多深(在绝对值的意义上)是可能的。

类似的考虑适用于内窥镜。

可以使用不止一个校准图案。通过使用不同深度处的两个图案(其中这两个图案之间的深度差是已知的)，深度差与聚焦装置的驱动电平之间的关系可通过聚焦在这两个图案上并确定使聚焦位置移位的数字驱动值的对应差异来建立。随后建立聚焦深度的绝对差异与数字驱动值的对应变化之间的关系。这种关系是校准。

为了允许重复校准，要求参考距离在检查设备的寿命内不会改变。本发明的各实施例将该距离选择为校准图案与玻璃前侧之间的已知固定深度关系，玻璃前侧在检查期间将被直接施加到患者皮肤上。

将校准图案定位在与前玻璃参考查看表面的已知距离处的优点在于它允许自动聚焦。典型的现有自动聚焦算法迭代地改变聚焦，直到获得最大清晰度的图像的点。假定聚焦随后被正确地设置。这对自然场景(照片)有效，其中当聚焦错误时，图片是不清晰的。

但这对皮肤的诊断图像无效，因为皮肤在不同深度包含明确定义的结构。因此，改变聚焦产生获得清晰度的若干深度。而且此外，如果要执行自动聚焦，获得聚焦的深度将不是可靠的值。

在前玻璃参考查看表面(优选为与皮肤接触的表面)上提供校准图案意味着聚焦因此在皮肤的顶部而不在其内，因为玻璃被压在皮肤上。本发明的各实施例可以利用对检查设备的查看末端的延伸。在此类情形中，参考查看表面是与皮肤接触的表面，该表面可能不是前玻璃。延伸可以是不同长度的尖端。因此，校准的主要目标可以是能够聚焦在延伸的末端，更确切而言，聚焦在与皮肤接触的表面。

具有移动部分的聚焦设备使用机械系统来改变聚焦的进一步问题是反冲。反冲可取决于聚焦设备的行进方向而导致不同的聚焦位置。存在避免反冲的已知方法，但是它们可能增加检查单元的体积。本设备的各实施例通过使用可变形透镜来避免反冲。

在本发明的一个方面，提供了直接应用于患者皮肤或用于检查患者的中空器官或体腔的内部的经校准的检查单元，所述经校准的检查单元包括光路中的光学元件阵列，该光学元件阵列包括：

-至少一个光源，

-具有视场的图像捕获设备，

-具有限定沿光路的焦点位置的曲率半径和焦距的成像透镜，

-用于根据调整值来改变沿光路的聚焦位置的聚焦装置，以及

-参考查看表面，图像捕获设备通过参考查看表面来捕获图像，

其特征在于：

-用于在图像捕获设备的视场中相对于参考查看表面定位在固定位置的校准图案，以及

-用于定义聚焦装置的第一调整值与沿光路的焦点位置之间的关系(包括使聚焦位置处于校准图案的固定位置的第二调整值)的校准装置。

校准装置可是预先计算和存储的关系，或者校准装置可在任何时间生成该关系，例如，以所存储的第二调整值为例如与参考位置相对应的数字值开始。随后可确定“每数字驱动改变的距离步长”以完成校准。

校准图案不仅可被用于聚焦校准，而还可被用于绝对色彩校准。可使用单个校准图案或多个校准图案的组合，校准图案具有不同的功能。相应地，校准图案可包括彩色校准图表。彩色校准图表可被用于绝对色彩校准。这具有以下优点：包括绝对色彩校准并校正光源的可能漂移是可能的。

本发明提供了适于参考图像捕获设备的绝对参考校准点的装置。并且当该单元正在调查具有不同深度处的多个可能的焦点的对象时，可以指令该单元将光聚焦在所需的绝对深度。

使用一个或多个校准图案的校准还可提供一种在以后例如由执业医生校正沿光路的聚焦位置因变于调整值的预定义或预校准关系的装置。

至少一个光源可以第一波长为中心并具有第一光谱带宽。

这使得有可能与具有所需属性(例如，与波长相关的皮肤穿透深度)的特定颜色或波长范围的光一起工作。

至少一个光源可包括多个光源，每个光源以不同的波长为中心并具有光谱带宽，并且聚焦装置的第一调整值和沿光路的焦点位置对于每个波长而言可以是不同的。

这使得有可能使检查单元使用若干种颜色或波长的组合来操作，从而组合它们的属性。另外，光源可被独立地控制，这实现了定制的校准和操作。

可提供用于在图像采集设备的视场中相对于所述参考位置定位第二已知固定位置的第二校准图案，以及使第二聚焦位置处于第二校准图案的第二已知固定位置的第三校准值。

这使得有可能与可位于距第一焦点的已知位置的第二绝对焦点有关，以使得调整值可与绝对深度有关。另外，两个或更多个校准图案可提供与调整值的变化有关的、对沿光路的光轴的步长大小的估计。沿光轴的聚焦位置与调整值之间的关系可能由于老化而移位。使用处于不同深度的两个或更多个图案，标识并且因此校正这种漂移是可能的。

此外，可能存在位于第一校准图案与第二校准图案的位置之间的点处的其他校准图案。这可提供更高的校准准确度。一示例是第一校准图案和第二校准图案在前玻璃的两侧上，其中额外的校准图案被嵌入在玻璃中的中间位置处。

相应地，可在光学阵列的出射光孔中提供前板，并且其中校准图案可被提供在前板的两个表面中的至少一者上和/或在前板内部。

由此，校准图案可被置于检查单元的前玻璃上或前玻璃内部。

在本发明的另一方面，校准图案可被置于患者皮肤上作为纹身或印记。

这使得要被调查的实际对象上有可能具有校准点。

校准图案可被置于比前玻璃薄的基板上，该基板位于前玻璃的顶部或外壳内部，或者校准图案被直接置于外壳的一部分上。

替换地，可将校准图案置于可添加在前玻璃与要被调查的对象(例如，皮肤)之间的基板或薄膜上。替换地，可将具有图案的基板置于检查单元的外壳内部。替换地，校准图案可被直接置于外壳的一部分上。在所有情形中，具有图案的基板被置于成像设备的视场内。

在本发明的另一方面，聚焦装置可通过以下各项中的任一项来提供：作为液体透镜的成像透镜、或可被配置成沿光轴平移的图像采集设备、或可被配置成沿光轴平移的成像透镜。另外，上述配置的第一调整值和第二调整值可以是驱动电压。

由此，检查单元可通过使用高精度液体透镜、和/或移动传感器、和/或移动透镜来实现，其沿光轴的聚焦位置可通过改变驱动电压来调整。

在本发明的另一方面，聚焦装置可包括用于计算光学阵列的调制传递函数的装置。

这使得有可能获得关于例如相机分辨率的信息。

在本发明的另一方面，校准图案可以是三维图案，当所述三维图案以至参考查看表面的固定距离来安装检查设备上时，其限定离参考位置的多个已知固定位置。聚焦装置可进一步具有用于处于三维校准图案的多个已知固定位置的聚焦位置的多个调整值，例如，当在x,y平面中平移时，藉由此以使得能够准确地确定x,y平面中的位置的方式来制作校准图案。

另外，三维校准图案可被雕刻、蚀刻、铣削、或印刷在校准基板内。另外，校准图案可包括位于与图像采集设备的平面形成一角度的平面中的平行线。另外，校准图案可包括位于平行于传感器平面的平面中的图案。另外，图案之间的距离可与它们在基板内离基板表面的距离相关。

本发明的这一方面使得有可能朝向检查单元之外或超过检查单元的绝对点进行校准。校准图案可以是人体皮肤的体模，其可被用来检查校准的准确性。校准图案也可由单元的外壳的一部分形成，例如，外壳的边缘可通过边缘检测方法来检测。

在本发明的另一方面，经校准的检查单元可配置成与提供第二出射光孔的第二部件一起操作。另外，第二前玻璃被提供在第二出射光孔处，并且至少一个校准图案被提供在离第二前玻璃的已知距离处。另外，第二部件可包括透镜，其焦距与部件的长度有关。另外，成像透镜可以是液体透镜，并且附加部件中的透镜的焦距使相机透镜保持在高灵敏度的范围内操作，例如小的聚焦深度步长大小。

这使得有可能提供具有更好的合适几何形状的检查单元的外壳的形状，例如，其可到达像手指之间的窄区域中的皮肤的更细长的窄形状。如果使用例如液体透镜，期望使其保持在其最敏感范围内工作，其中精细调节是可能的。第二部件中的附加透镜可以改变焦距，以更好地适应液体透镜。

在本发明的另一方面，可将校准信息置于光学代码中，诸如与校准图案相邻的条形码或QR(快速响应)代码。

光学代码(诸如条形码或QR码)可存储关于校准图案的相关信息、和/或与用户有关的信息，例如定制的校准过程。

可提供一种例如使用前表面中的触摸屏来检测前表面是否与外部对象(诸如皮肤)接触的装置。这可被用来知晓绝对聚焦设置在何时是优选的以及自动对焦算法在何时是优选的。

附图简述

图1示出了不同波长在皮肤中的穿透深度。

图2示出了皮肤镜的基本部分。

图3a)示出了校准图案的示例，而图3b)示出了包括具有校准图案的前玻璃的本发明的一实施例。

图4示出了包括具有彼此相距一定距离的两个校准图案的前玻璃的本发明的一实施例。

图5示出了包括延伸件的本发明的一实施例。

图6示出了液体透镜的特性。

图7示出包括三维校准图案的本发明的一实施例。

图8示出了本发明的一实施例的流程图。

图9示出了相对聚焦函数的示例。

图10示出了包括充电站上的校准图案的本发明的一实施例。

图11示出了根据本发明的各实施例的皮肤镜的示意性侧视图。

图12示出了根据本发明的传感器的光谱敏感度。

图13示出了与本发明的各实施例一起使用的光源的归一化的光谱功率分布。

图14示出了UVB(280-320nm)、UVA(320-400nm)和可见光(400-700nm)的波长区域中分别针对与皮肤类型II、III和IV相对应的表皮中三种不同黑素体浓度的皮肤反射率。这一图像来自“人体皮肤的光学：人体健康的重要方面(The optics of human skin:Aspectsimportant for human health)”，Kristian Pagh Nielsen、Lu Zhao、Jakob J Stamnes、Johan Moan著，《太阳辐射与人体健康》(Solar Radiation and Human Health)，奥斯陆：挪威科学与文学学院，2008。

图15示出了解说根据本发明的方法的框图。

图16示出了图13中在蓝光源与绿光源之间的交叠区域中的特写。

图17示出了由于各种环境影响，表示聚焦位置的不同驱动电平的校准曲线能够如何随时间变化。

具体实施方式

将就特定实施例并且参考某些附图来描述本发明，但是本发明不限于此，而仅由权利要求书来限定。所描述的附图仅是示意性且非限定性的。在附图中，出于解说性目的，可将要素中的一些尺寸放大且不按比例绘制。当在本说明书和权利要求书中使用术语“包括”时，它不排除其他元素或步骤。此外，说明书和权利要求书中的术语第一、第二、第三等被用于在类似元素之间进行区分，而不一定用于描述顺序或时间次序。应当理解，如此使用的术语在适当的情况下是可互换的并且本文中所描述的本发明实施例与本文中所描述或解说的相比能够以其他顺序操作。

本发明涉及具有可变光学聚焦的光学系统，并且涉及解决特性可变性的问题。此类系统中的聚焦可通过数字值或驱动电平来控制。这些数字值被应用于致动器，该致动器能够机械地改变一个或多个透镜的位置以改变聚焦，或者在液体透镜(例如来自)的情形中施加电压以改变液体透镜的曲率，并且因此改变聚焦。这些数字值与精确聚焦深度之间的关系可能受到可变性的影响，例如，由机械公差、液体透镜对温度效应敏感引起、……。本发明的各实施例确保数字驱动值将总是与特定聚焦深度相关联。此外，根据本发明的各实施例的检查设备的光学系统可在制造时被校准，并且可在稍后作出校正以针对受到可能改变聚焦深度的温度变化影响的聚焦系统的准确度进行校正。在关键应用(诸如皮肤病学)中，聚焦深度的这些变化可能与在使仪器聚焦(例如，100-120μm)以进行准确诊断时所需的准确度的量级相同或甚至更大。

根据本发明的各实施例，用于聚焦装置的调整值对应于沿光轴的给定聚焦位置(图17中右手边的叉(x)，与因变于调整值的沿光轴的聚焦位置相组合，如下方的实线补偿所示)，或者可对因变于调整值的沿光轴的聚焦位置使用校正(使用预定的潜在非线性变换)，如可从上方的实线看到的。

这可以在与沿光轴的给定聚焦位置相对应的参考调整值由于例如老化、环境条件、机械变化(由于震动、振动…)而改变时(左侧的叉)重新测量仅一个校准点来完成。

图2解说了根据本发明的各实施例的数字皮肤镜的基本配置。其包括(任意形状的)外壳10、图像捕获设备(诸如相机传感器16)、相机透镜11、以及形成参考查看表面的前玻璃14。提供至少一个光源，或者提供多个光源17，但是皮肤镜原则上能够使用环境光工作。透镜可以例如是可变焦液体透镜，诸如来自Varioptic的“Caspian S-25H0-096”。传感器板可以例如是来自Leopard Imaging公司的“LI-IMX274-MIPI-M12”。内部光源可以使用例如来自的C或Z LED系列来实现。

重要的是，要注意尽管贯穿本申请使用了术语前玻璃，但是它不需要是玻璃，它可以是任何透明基板，例如透明塑料基板等。还可以提供用以检测查看表面何时接触皮肤的装置，查看表面可以是触摸屏。

图11示出了根据本发明的各实施例的皮肤镜110的示意性侧视图。本发明的各实施例也可被用在内窥镜的末端。

皮肤镜110有利地包括具有不同光谱带的多个光源1110，其中与每个光谱带相关联的聚焦处于人体或动物皮肤中的不同深度，如图1所示。由此，皮肤镜110使用多光谱成像。皮肤镜110按顺序地(或在本发明的各实施例中同时)使用不同光谱带的光源来照射感兴趣的皮肤区域。每次采集图像时，进行多光谱扫描。

在本发明的一实施例中，光源可以是LED光源。

皮肤镜110进一步包括图像采集设备1120，其可以是CCD或相机传感器、CMOS传感器、或行扫描仪。由此，术语“传感器”指的是任何合适的图像采集设备1120。

图像采集设备(诸如在本发明的一实施例中使用的传感器)在皮肤表面提供约6.6μm的分辨率。图11所示的设备的视场在皮肤表面为27.5×16mm。在更深的深度，视场略微增加。设备的视场被优选地选择为使得其能够查看常见类型的皮肤缺陷、病变等。

图像采集设备(例如，传感器)的光谱敏感度必须匹配光源的光谱带宽。然而，灰度传感器能够被用于本申请，尽管彩色传感器也可被用于本发明。

在图12上示出了能够与本发明的各实施例一起使用的Sony传感器的光谱敏感度。实线示出了Sony IMX214，而虚线示出了Sony IMX135。

在本发明的一实施例的示例中，多个光源(诸如LED)被布置成两个阵列，(即LED阵列)，每个阵列(即LED阵列)包括七个光源，例如，LED。

在本发明的优选实施例中，光源被布置成环。两个相同类型的光源(即颜色和可任选的偏振)可彼此被置于环的相对侧上。在根据本发明的一实施例中，七种不同类型的光源(例如，具有不同光谱带的LED光源)被布置成环。

可选择以下光谱带：

1.白、非偏振

2.蓝、非偏振

3.白、偏振

4.蓝、偏振

5.绿、偏振

6.深红、偏振

7.远红、偏振

为了生成偏振光，可将偏振器1125插入到设备中，如图11所示。

此外，可在图像采集装置的传感器1120的前方使用交叉偏振器1140(关于彼此交叉的两个偏振器的组合)。此类交叉偏振器能够滤除由于光散射引起的寄生反射。进一步在PCB传感器板1145上提供图像采集设备。

在LED阵列1110附近提供LED PCB板1130，如图11所示。

可任选地，紧固装置(诸如磁体)可被置于外壳的前边缘附近(前板附近)，该前边缘可被用来固定锥形延伸件，如下所述。

所有这些组件都被布置在外壳1150中。外壳可以是锥形的、或矩形的、圆柱形的等。

图13示出了与本发明的各实施例一起使用的LED光源的归一化的光谱功率分布。LED可从供应商“Lumiled”获得，并且该系列对于蓝、绿、深红和白被称为“Luxeon Z”，而对于远红被称为“Luxeon C”。不同的LED被用于不同的颜色。图16示出了图13中在蓝光源与绿光源之间的交叠区域中的特写。

在图11所示的示例中，每个LED 1110的光学中心位于具有7.5mm的半径的圆上，除了远红偏振LED，其圆具有7.9mm的半径。

LED环的中心对应于图像采集设备光轴并且具有用于透镜(例如，液体透镜)的开口。例如，开口半径可以是5至15 6.5mm。

本发明的设备的前玻璃1105可包括前玻璃上的抗反射涂层，其被提供在前玻璃的一侧或两侧上。这一涂层优选地提供尽可能少的滤光，并且不需要使用其他滤光器。前玻璃具有位于设备内部的上表面以及在使用期间能够与患者皮肤直接接触的下表面。前玻璃的厚度优选为1至2mm的范围内。

为了校准聚焦位置，取决于所使用的皮肤镜的类型，确定聚焦装置的数字驱动电平以生成校准。在一些实施例中，聚焦装置可由图像采集设备提供，该图像采集设备可沿光路的光轴平移，并且因此需要校准其相对于焦点的位置。在其他实施例中，聚焦装置可通过改变成像透镜的位置来提供，成像透镜能够沿着光路的光轴移动。在其他实施例中，聚焦装置可通过液体透镜来提供，其中液体透镜(例如，来自的透镜)的曲率变化可被修改，其中电压改变液体透镜的曲率，并且因此改变聚焦位置。在所有这些实施例中，通过数字值或驱动电平来控制聚焦。

图11所示的设备包括液体透镜1115，其与前玻璃的距离为40mm。计算这一距离以使得液体透镜处于平坦位置，并且由此光学系统具有有限的像差和失真并且具有最小的聚焦深度尺寸，并提供最佳光学性能。具有液体透镜的光学系统的聚焦深度的精度约为120μm。

因变于聚焦装置的数字驱动值的聚焦深度在给定波长下在聚焦装置的移动部分的整个运动范围上常常不是线性的。因此，本发明提供了不同类型的校准：局部和快速校准，其每次可通过评估清晰度并改变聚焦来迭代校准，以使清晰度度量被最大化，宽校准，其横跨沿光路的聚焦位置的更广范围并允许检测聚焦装置是否在线性范围之外。

这两种类型的校准的准确度具有相同的量级。可使用附加基板来执行宽校准，这使得能够确定数字驱动电平与视场中图案上的聚焦之间的关系，其中聚焦深度是已知的。对于进一步的聚焦位置，聚焦装置被用来确定用于不同的聚焦深度的数字驱动电平。这可使用具有在不同聚焦深度处的图案的校准目标来完成。在该宽校准期间，建立固定图案的聚焦深度同对应于皮肤中更深处(即超出设备的前方)的深度的聚焦深度范围之间的关系。这种类型的校准可以在工厂中执行，但是也可稍后例如由技术人员在现场执行，或者能够在对设备进行充电的同时在插接站内实现。

局部和快速校准执行宽校准的第一部分，但是被用来计及图像采集的外部操作条件，并且由此计及温度等。基于这种自校准，使用外部对象的校准得到校正。这样，更准确地知晓数字驱动电平与不同深度处的聚焦位置的关系，即使在没有外部校准目标(宽校准)的情况下亦是如此。

宽校准的范围可以可任选地限于焦距的前几毫米，以捕获皮肤病变。尽管光学系统能够超出该范围，但是绝对聚焦深度被校准在该范围内，在该范围中皮肤病变可能发生。对于内窥镜，可使用更大的范围。

这种宽校准可在工厂中进行，但是为了确保设备贯穿其寿命的可靠性，优选提供用于在每当需要时(例如在设备的充电期间(例如在插接站内))就执行这种宽校准的装置。每次图像采集或在设备启动时可有利地快速执行线性校准以补偿微小偏差。

首先将局部校准描述为第一实施例和第二实施例。宽校准被描述为本发明的第三实施例。注意到，可能不需要针对每种类型的设备进行宽校准。根据本发明的一些设备在运动部分的整个范围内显示出线性范围，并且由此可能不需要此类校准。

在根据本发明的第一实施例中，为了通过控制聚焦在给定波长下的位置来校准聚焦装置，校准图案可以位于沿图像采集设备(例如，传感器)的光轴的已知位置处并且在其视场内。图案可例如被置于FOV的边缘，以便不干扰图像。呈现给用户的图像甚至可能不包括校准图案的图像以便不干扰用户，而仅是包括感兴趣对象的中心部分。

由于聚焦位置或焦距可取决于波长，因此在这一情形中，具有以不同波长为中心的不同光谱带宽的每个光源对于设备的相同配置(液体透镜的相同曲率或图像采集设备的相同位置)具有不同聚焦位置，或者对于相同聚焦位置具有不同配置。由此，优选地针对每个波长执行以下校准。然而，也可以一个波长(例如，最短波长)执行校准，并且随后通过公式、查找表、算法等将校准外插到设备的所有其他波长。

由于校准可以是波长相关的，并且光源具有窄光谱带宽，因此与每个光源相关联的色差可被忽略。由于校准测量是针对每个波长单独地执行的，因此针对每个波长校正了色差。

根据本发明的检查设备可被用来分析皮肤表面和皮肤表面下方的感兴趣对象。校准被使用以能够知晓正在哪一深度执行测量。由于在整个皮肤体积中可以存在医学相关信息，因此根据本发明的各实施例的检查设备能够准确地测绘不同深度处的结构。该第一实施例旨在使用已知的校准图案来在离图像采集设备已知固定距离处、在皮肤表面的上方或水平处校准该设备，从而记录设备以波长之一在所述已知固定位置聚焦的驱动电平。

例如，校准图案可被直接置于前玻璃14的上表面和/或下表面中的一者或两者上。这种校准图案相对于设备的参考查看表面处于固定位置。在这一情形中，查看表面是前玻璃14的下表面。这可被用来在绝对测量中校准图像采集设备(例如，相机)并提供参考点以确定聚焦深度。通过将校准图案置于玻璃上，在执行校准时不必添加和/或正确地定位附加部件。这一实施例提供了校准图案与图像采集设备(例如，相机传感器)之间的固定距离(或校准图案与放大镜之间的固定距离，在使用运动图像采集设备(例如，传感器)的情形中)。

在下表面上提供校准图案作为在使用中被置于与皮肤接触的参考查看表面的优点是该设备随后针对皮肤表面进行校准。另外，校准图案也可被提供在外壳的内壁上以及图像采集设备的视场中。也有可能使用印记印章，或者在患者的皮肤表面上提供临时纹身，并且在执行采集之前使用具有印记或纹身的区域来校准该设备。

在本发明的一个实施例中，校准图案可被直接提供在前玻璃上。图3a)示出了校准图案的示例。图3b)与图2相同，其中在前玻璃的下表面上增加了图案52。为了清楚起见，图案52已经被放大：这些类型的图案主要通过薄膜沉积来制造，并且各条线可具有低至亚微米的量级。

图3a)所示的图案50具有以下优点：它不仅提供关于聚焦深度的信息，而且还通过计算具有图案的光学系统的调制传递函数来提供关于分辨率的信息。然而，本发明不限于此类图案。也可使用更简单的图案，诸如简单的线或圆。

校准图案也可被集成在前玻璃内离前玻璃表面任意深度处。如果至图像采集设备(例如，相机传感器(或透镜，在使用运动图像采集设备(例如，传感器)的情形中))的距离是已知的，则离前玻璃表面的距离可被补偿。图案原则上可被定位在相机的视场内的任意位置，例如在外壳材料本身上，只要其位置给出可再现并且在用于校准时提供可再现的聚焦深度。

校准过程可以通过令相机自动聚焦布置在给定波长下在前玻璃上获得图案的清晰图像(例如通过实现边缘检测方法)来实现。由于图案与图像采集设备(例如，相机传感器)之间的距离是已知的，则对应的数字驱动电平可被存储为针对给定波长的绝对聚焦深度的参考驱动电平。

从校准图案到用作参考查看表面的前玻璃表面的位置和距离是重要的。当校准图案清晰时，校准规程记录数字驱动电平。可外插该值以找到聚焦在皮肤中更深处的诸深度的各数字驱动电平的关系。这可以从设备的已知特性或者通过使用具有所需深度的外部对象找到校准数据来完成。

对于图像采集设备，例如设置有移动传感器以及静态透镜的相机，可使用透镜与传感器之间的距离。如果将校准图案置于前玻璃的下表面上，并且将对象置于与作为查看表面的前玻璃接触，则当使用参考驱动电平时，接触前玻璃的对象表面的部分将被聚焦。如果设备针对给定距离和给定波长进行了校准，则参考驱动电平是已知的。图像采集规程可在所有光谱带宽处开始，因为焦距可从一个波长外插到所有其他波长(或光谱带宽)。因此，可以采集对象在多个深度处的图像。

在本发明的第二实施例中，第二图案被提供在作为参考查看表面的前玻璃上或前玻璃中，距第一图案达一定距离。例如，这可通过在前玻璃的上表面和下表面上提供图案来实现，在这种情形中，它们被玻璃的厚度分开。图4示出了布置在前玻璃的相对侧的两个图案的a)顶视图和b)侧视图。图案51被提供在前玻璃52在前侧53的上表面上。另一图案54被置于前玻璃52的后侧55上。通过知晓玻璃的厚度，有可能建立图案51和54的位置与数字驱动电平之间的关系，假定系统的线性或系统的已知/预定义/近似的非线性行为。有了这一知识，有可能操纵图像采集设备(例如，相机)聚焦在样本中的特定深度，并且每个图像可与在对象中它被捕获的地方的绝对深度相关。

原则上，图案可被提供在基板中离彼此任意距离。至皮肤和在皮肤内的距离是重要的。至静态图像采集设备(例如，相机或静态透镜)的距离是这一距离的偏移量。

基板中的图案绝对位置应当在可再现的位置。至静态图像采集设备(例如，相机或静态透镜)的距离应当是恒定的。优选地，它们之间的距离大于相机的焦深，以供例如图像采集设备(例如，相机)相机来在它们之间进行区分。另一方面，较厚的玻璃将会导致几何失真。由此，对于约0.6mm的焦深，前玻璃或基板的优选厚度范围约为0.8-1.4mm，例如1.1mm。

在图11所示的示例中，设备尖端的宽度在15至30mm的范围内，这可能太宽而不能接入身体的某些部分进行检查，例如手指或脚趾之间。将具有更窄尖端的锥形延伸件添加到皮肤镜以更好地匹配要被检查的身体的形状可能是有益的。

图5示出了本发明的一实施例，其包括可被置于皮肤镜的前玻璃的前方的延伸件。图5a)包括外壳20、图像采集设备(例如，具有相机透镜21、相机传感器26的相机)、短锥体22和前玻璃24。锥体22可被永久地集成到外壳20中。如果延伸件22的长度25适中，则相机透镜可被适配成补偿附加长度25。然而，对于长延伸件，这可能不再是可能的，并且可能需要附加透镜。图5b)示出了“较长”类型的延伸锥体的示例。它包括外壳30、图像采集设备(例如具有相机镜头31、相机传感器36的相机)、长锥体32，锥形透镜33和前玻璃34。长锥体32可被成形为使得其适合于身体的更窄的角度，诸如举例而言手指或脚趾之间。

在常规锥体可以是可移除并且可由延伸锥体替换的实施例中，在透镜的前方总是只存在一个玻璃(如当前图片中所描绘的)。然而，如果常规锥体不是可移除的，则在常规锥体与延伸锥体之间将存在附加玻璃。延伸锥体基本上被添加在常规锥体的顶部。这具有防止灰尘或类似物进入设备的附加益处……。

如果使用非线性类型的聚焦装置，诸如相机镜头，例如，液体镜头，则这种移位可能迫使聚焦在其范围的更难以管理的部分中操作，例如，其中电压的较小变化可能会产生焦距的较大变化，或者其中电压的增加会减小焦距。本申请的主要目的是在该范围的步长最小的部分中操作。图6示出了液体透镜的焦距在y轴上)与所施加的电压(x轴上)之间的关系。例如，在约0.5-0.7mm的焦距处，小的电压步长将导致焦距的较小变化，这可能使精细调节更容易。例如在1mm处时，电压的较小变化产生焦距的较大步长。然而，在0.0至0.4V范围的下部部分，电压的增加导致焦距的减小。对于某些应用，期望将液体透镜保持在较低焦距处、在该范围的近似线性部分中操作。如果使用延伸件，则将透镜插入该件(例如图5b)中的透镜33)内以减小焦距可能是有益的。透镜可以是比液体透镜更简单的常规透镜。

如果使用延伸件，则应当将校准图案在置于作为参考查看表面的延伸件的前玻璃上。

在根据本发明的第三实施例中，预见到附加三维校准件，其被置于作为参考查看表面的前玻璃的前方。三维校准件可以是任何基板，诸如玻璃、塑料等。它可以是透明的，但这不是必需的，因为它在进行实际测量时被移除。该图案包括在校准件(其可超过前玻璃的厚度)内的各种已知深度处提供的物理结构。简单的解决方案可以例如是具有平行直线的基板，其位于相对于图像采集设备(例如，相机传感器)的平面倾斜的平面中。图7示出了包括图案61的示例性实施例，图案61具有在基板的不同深度(z方向)上延伸的平行线，z方向对应于设备的光轴。样本可通过例如在基板上进行雕刻(诸如激光雕刻)、对金属板的微光刻、玻璃蚀刻、铣削、使用墨水印刷、三维打印、或下表面激光雕刻来实现，但并不限于此。测试图案可被改造并用作现有设备的覆盖玻璃上的贴纸。外边界60可以例如是基板的外边界。基板可以是独立元件，例如金属片，其中周围的材料不是必需的。

假定图7包括基板60，校准图案的一部分62可以在表面68中水平地(沿x轴)延伸，而其他部分可被完全地嵌入基板60内部，例如倾斜的水平线63或“平坦的”水平线64。由此，校准图案的线具有V形，其中在顶点62和末端64处具有平坦且水平的部分。在垂直方向上(沿y轴)也可存在不与平坦的部分中的水平线62、63或64中的任一者交叉的线65。图案可以是围绕顶点62对称的。

基板或具有三维图案(例如，雕刻图案)的基板可通过机械装置来附连或容易地卡合或固定到例如皮肤镜的前玻璃或延伸锥体，以使得基板60的上表面68(或62)与皮肤镜的前玻璃的下表面接触(或延伸锥体的下表面接触，在任一情形中，均为参考查看表面)，并且侧面67面向外。

参考水平被认为是最低水平，例如，0mm的深度。在图7中，该参考平面与基板60的上表面68重合。图案或结构61的最大深度水平使用箭头65来指示。图案的校准线之间的距离可在亚毫米范围内，例如，20-40um。这些线可在x方向上连续地延伸穿过基板。连续线使得有可能具有可用于针对给定波长的相机聚焦的每个驱动电平位置的校准图案。首先，可以使相机以给定波长聚焦在特定水平上，例如沿虚线69。驱动电平被保持在存储器中并且计算相对聚焦函数(基于例如边缘检测)以给出聚焦的水平位置。在图7中，水平线63可通过线性函数z＝kx+x₀(初始)来描述，并且可通过知晓距离66来确定x₀(初始)。并且使用来自相对聚焦函数的x值，可针对所讨论的驱动电平来计算深度。该规程可针对多个不同的x值(像69)来重复。注意到，由于该三维校准图案的V形，测量可被执行两次，并且可以使用平均值作为结果。

如同图7中的图案的图案还可进一步提供与分辨率和MTF(调制传递函数)以及相机系统的分辨率有关的信息。

基板还可包括内部雕刻的数字，其中每个数字指示基板内部的实际深度。

校准图案还可包括彩色元件，以使得校准图案可被用于色彩校准。校准图案可以是彩色图表或彩色斑块。

在另一实施例中，代替使用基板，人体皮肤的体模可被用来校准传感器，例如，制造成体模的猪皮或人造皮肤。优点是此类体模更加真实并且可以改善校准。此类体模只可以在工厂中使用。由于猪皮非常相似于人体皮肤，因此猪皮的样本也可用作本发明的设备的校准基板。可以制作3D人造皮肤组织，如US 2016/0122723中所述描述的，其通过援引纳入于此。

图8示出了描述本发明的一实施例的流程图，其中使用图7中的结构来校准图像采集设备(例如，相机)。在步骤80，在其以0mm深度(参考水平)聚焦在垂直线65上时确定图像采集设备(例如，相机)设置。在步骤81，图像采集设备(例如，相机)以最大深度聚焦在垂直线65上，并记录图像采集设备(例如，相机)设置。在步骤82，将聚焦深度设为最小深度(80)与最大深度(81)之间的任意深度，在步骤83，针对当前聚焦设置，确定关于倾斜线组63的相对聚焦函数。并且在步骤84，相对于水平线计算聚焦函数F(x)：

其中i(x,y)是位置(x,y)处的归一化图像像素值，f(y)是具有中心抽头值f_中心且系数之和为0(例如(-0.5,1,-0.5))的一维高通滤波器内核，而是卷积运算符。在步骤84，“确定沿x轴的位置，其中83中的相对聚焦函数处于其最大值”，并且最终在步骤85中执行以下步骤：“插入来自步骤84的x并计算深度z”。

图9示出了相对聚焦函数91覆盖在校准图案90上的示例(参见Boddeke等人于1997年6月的《显微镜学杂志》(Journal of Microscopy)第186卷Pt3第270-274页)。

该图表具有x轴上的x位置以及y轴上的相对聚焦值。最锐聚焦的位置被认为是在曲线92的顶部。这也对应于校准图案的视觉外观。图案90的视图对应于直视图8中的表面68。

本发明还提供了在液体透镜附近提供温度传感器的可能性。由于液体透镜的驱动电压或对液体透镜的校准取决于温度变化，因此此类温度传感器可被用来补偿因变于温度函数的聚焦变化。

在本发明的一个实施例中，可在皮肤镜外部(例如，在充电站或插接站中)使用附加图案。图案可以是例如用于聚焦校准的线(如先前所描述的)，但是这也可以是例如用于色彩校准的具有已知颜色的色斑。

图10示出了皮肤镜100的一部分的示意图，其具有设置有校准图案102的前玻璃101(作为参考查看表面)。皮肤镜的部分100可被插入到充电站103中，以使得第二校准图案104可经由皮肤镜的前玻璃101来检测。当被插入充电站103内部时，能够知晓皮肤镜的部件100的位置，以使得校准图案102与104之间的距离可被用于校准。原则上，第二图案104可被定位在皮肤镜的相机的视场内的任意位置。

本发明的一个方面是提供了一种皮肤病检查设备。此类设备可被用来诊断皮肤癌(诸如黑素瘤)。

传统地，皮肤科医生已经使用五个标志来对黑素瘤进行分类，“ABCDE”：

·不对称(Asymmetry)，

·不规则的边界(irregular Borders)，

··不止一个或不均匀的颜色分布(more than one or uneven distributionof Color)，

·大直径(大于6mm)(a large Diameter)以及

·痣的演变(the Evolution of the moles)。

另外，对于结节性黑素瘤，使用不同的分类EFG，其为：

·升高(Elevated)：病变升高到周围皮肤上方。

·坚硬(Firm)：结节触摸起来是坚硬的。

·生长(Growing)：结节的大小增加。

因此，皮肤上方的高度也可被用作用以对皮肤癌病变进行检测和/或分类的手段。还可能发生此类皮肤病变在皮肤水平下方凹陷，例如在黑素瘤溃疡的情形中为腔。

为了分析可能是癌症的皮肤病变的三维形状，可以使用基于阴影和反射的体积重构算法。

回顾根据阴影和反射进行形状重构的现有方法：Silvio Savarese于2005年著的论文“根据阴影和反射进行形状重构(Shape Reconstruction from Shadows andReflections)”，加州理工学院。同一作者著的以下文章还提供了关于形状重构的信息：Silvio Savarese等于2007年3月“国际计算机视觉杂志(International Journal ofComputer Vision)”第71卷第3期第305-336页的“通过阴影雕刻进行3D重构：理论与实践评估(3D Reconstruction by Shadow Carving:Theory and Practical Evaluation)”。

存在不同的算法以从其阴影重构对象的形状。本发明的一个目的是将这种方法纳入到皮肤病检查设备中。普通技术人员找到基于阴影来提供3D体积重构的合适规程是预期没有限制的。

提出的第一已知算法中的一者被称为阴影雕刻。该算法使用通过观察点得到的锥体信息以及从该点获得的图像中的轮廓。通过使用不同的视角并使来自这些不同视角的锥体相交，可以重构对对象的估计。然而，这种方法不能够重构对象中的凹陷，这可能是本发明中的情形。

Shafer和Kanade(1983年计算机视觉、图形和图像处理22Computer Vision,Graphics,and Image Processing 22第145-176页上的“在找到表面定向时使用阴影(Using shadows in finding surface orientations)”)基于对一个表面投射另一表面的阴影的观察建立了可被置于表面定向上的基本约束。本发明的各实施例可以使用其中光源位置是已知的重构方法。此外，重构方法使用图像自阴影，即由对象(例如，皮肤病变(诸如黑素瘤))在自身上投射的阴影，而非由其他对象投射的阴影。能够作出的进一步假定是对象(例如，皮肤病变(诸如黑素瘤))的轮廓通过平滑函数来限定并且每个阴影区域的开始和结束能够被可靠地找到。界定阴影区域的每对点产生对阴影区域的开始处的轮廓斜率以及两个点之间的高度差的估计。例如，来自使用在不同位置处的一系列光源采集的图像的阴影的信息可被用来获得与所有观察到的数据点一致的插值样条。

因此，在根据本发明的这一实施例从其阴影重构三维对象时要精确地知晓作为视角的图像采集设备(例如，成像传感器)的位置并且要精确地知晓照射对象的光源的位置。

为了能够使用本发明的设备来重构皮肤病变的形状，除了第一光源环1110之外，还向检查设备添加了多个光源。这些附加光源1100被布置在第二环中，以处于皮肤表面感兴趣的区域附近并照射感兴趣的区域。用于成影的这些光源1100由此提供水平定向的照射。这些光源将与提供了更垂直的照射的现有光源1110组合。因此，多个光源从各个相垂直的方向提供了对表面皮肤病变的照射。

除了第一环光源1110之外，根据本发明的这些实施例的检查设备进一步包括在根据本发明的设备的前板附近提供的第二环光源1100。当皮肤表面处的感兴趣区域位于设备尖端的环的中间时，第二环的这些光源1100提供指向所述感兴趣区域的基本上水平的照射。

在根据本发明的优选实施例中，在前板附近提供的光源环1100包括至少4个光源，更优选地包括8个光源，并且更优选地包括16个。因为在本发明的一个实施例中检查设备的尖端为矩形，光源1100可按四的倍数布置在矩形环中。知晓每个光源1100、1110的确切位置有利于能够重构感兴趣对象的三维形状。

由于这些光源1100多数提供水平照射，因此它们主要被用来投射由在皮肤表面上方延伸的突起产生的阴影。在一实施例中，这些光源1100可以是白光LED。

在第二环中以彼此成90°布置的四个光源围绕感兴趣区域，然而不存在冗余信息。理想地，更多光源被提供以增加阴影数量。第二环中总共8或16个光源1100与第一环中七或十四个光源1110组合是良好的折衷，以提供能够重构皮肤病变的形状的足够信息。但是，也可以使用更多的光源。增加光源数量提高了测量精度，但是增加了处理时间。由此，在本发明的优选实施例中，可在第一和第二环中使用提供水平和垂直照射的12至25个光源。

图像捕获设备或传感器位于离皮肤镜中的前板约70mm处，如图11中所示。

如果感兴趣对象(诸如皮肤病变)包括腔或凹陷区域，则光源1100能够生成与此类腔相对应的阴影，但是不能看到腔。因此，可以使用第一环的光源1110，其在一实施例中是彩色LED。在根据本发明的一实施例的设备中，第一LED环位于离前板35mm处。这些将使得能够垂直地照亮皮肤病变并且还能够观察感兴趣区域中的腔以有助于重构。在图11所示的示例中，有两个七LED阵列，因此七加上16或即总共23。

为了生成足够的阴影图像，第一环的光源1110和第二环的光源1100按顺序照射以生成具有所需阴影的图像。对于每个顺序照射，图像采集设备采集图像。例如，首先按顺序点亮被提供在前表面附近的第二环的各光源，并且随后按顺序点亮提供平行于光轴的照射的各光源1110。

其光谱带宽不交叠或具有可忽略的交叠的两个光源可同时采集图像以减少采集时间。

给定与光源数量相对应的所生成的大量图像，优选将所采集的图像转移到具有处理装置的处理器，以分析每个图像的阴影并重构感兴趣对象的三维形状。

本发明的这一实施例提供了一种直接应用于患者皮肤的检查单元，该检查单元在具有光轴的光路中具有多个光学元件，该光学元件包括：

围绕光轴布置的多个光源的第一光源环以及围绕光轴布置的多个光源的第二光源环，第一光源环投射基本上平行于光轴的光，而第二光源环投射基本上垂直于光轴的光，

具有视场并位于光轴上的数字图像捕获设备，以及

直接应用于患者皮肤的查看表面，通过查看表面能够对目标对象进行成像，控制器，其被配置成在使用第一光源环和第二光源环的光源中的不同光源照射患者皮肤上的目标对象以生成阴影时使用数字图像捕获设备来捕获目标对象的一系列不同的数字图像。

优选地提供用于存储一系列不同的数字图像的存储器。

优选地提供用于将不同的数字图像传送给数字处理引擎的通信接口。

处理引擎优选地被配置成用于成像处理，以根据一系列不同的数字图像执行对目标对象的3D阴影重构。处理引擎可位于计算机处理设备中，该计算机处理设备经由无线或电缆通信链路链接到检查单元。

为了能够穿透皮肤，优选高功率LED。

为了获得良好的图像质量，各个窄带照射中的每一者能被设置为对于图像采集设备(例如，传感器)而言足够(但也不是过多)的输出功率是必须的。在功率过低的情况下，对于光谱图像而言，噪声将会非常高，在功率过多的情况下，则将存在裁剪，并且图像质量也将会很差。本发明使得有可能为每个LED单独地选择正确的光输出以与图像采集设备(例如，传感器)匹配。

由此有利的是，能够独立地控制各个窄带照射的相对功率。各个体光源的相对功率的设置取决于许多因素，诸如患者的皮肤类型，被成像的特定病变(红色病变、白色病变……)以及图像采集设备(例如，传感器)的光谱特性。

本发明的各实施例提供了用以相对于彼此调制各个LED光源的功率的装置，以使得对于传感器的给定(所选)增益/偏移设置，可以同时为所有光谱图像实现良好的图像质量。例如，有可能优化曝光，对于每种光类型，曝光可以是曝光时间(例如，快门速度)、透镜孔径和光强度的组合。这样做，能够获得更高/最佳的SNR和对比度。

同样对于偏振图像，偏振LED的功率优选地被加倍(调制)，以使得它们能够与非偏振光源的采集相组合。

根据本发明的各实施例的设备的目的是：在每个波长下采集多个图像，例如5到10个图像(如果存在七种类型的光源，则为七次)，在所使用的每个波长下，每个图像具有皮肤中的不同深度，以获得关于皮肤病变在多个深度处的信息。然而，为了获得如此大量的图像，由此为35到70个图像，这需要许多时间。每秒的帧数约为30。由此，采集所有图像数据需要1到2秒。与长采集时间相关联的问题是患者移动并且由此图像遭受运动伪影。

通过在相同的焦深处采集具有并行的不同光谱带的多个图像，可以减少成像时间。例如：同时采集红色和蓝色图像。然而，这需要计及LED的发射光谱，以及图像采集设备(例如，传感器)的滤波光谱，以避免使用不同光源同时采集的图像之间的串扰。因此，只要没有串扰(或可以计算的可预测串扰)，就可以捕获图像。

图像采集设备(例如，用于本发明的这些实施例的光传感器)可包括多个通道(参见图15)，每个通道被配置成捕获不同交叠光谱带宽中的光。例如，考虑具有图12所示的光谱敏感度的多通道传感器，r(λ)表示红通道的光谱敏感度或子像素，g(λ)表示绿通道的光谱敏感度或子光谱，而b(λ)表示蓝通道的光谱敏感度或子像素。

在采集图像时使用每个光源的全光谱带宽。通过补偿来移除少量噪声/串扰。例如：蓝光LED对绿光传感器的贡献。图13上示出了根据本发明的各实施例的光源的光谱功率分布。

计及检查设备照亮的皮肤类型是有利的，因为经反射的对象的光谱带宽是不同的。例如，皮肤可以是表皮中具有7.5％黑素瘤的皮肤，其对应于图14的中间曲线。皮肤的反射光谱可使用反射光谱R_对象(λ)来表示，并且是波长的函数。

为了解释本发明的这一实施例，每个光源在图像采集设备(例如，传感器)的每个通道内的贡献是针对具有反射光谱R_对象(λ)的参考对象来计算的。

在第一步骤中，当使用具有第一光谱带宽BW1的第一光源(例如，具有相对光谱功率分布S_B(λ)的蓝光源)照射参考对象时，可以计算传感器的红通道、绿道色和蓝通道的输出：

R_蓝表示传感器的红通道中的输出，并且被计算为与红通道相关联的光谱带宽与光源的相对光谱功率分布S_B(λ)之间的卷积与参考对象的反射光谱R_对象(λ)卷积。它表示参考对象上经反射的照明的相对功率谱与传感器的红通道的光谱带宽之间的交叠。

类似地，G_蓝和B_蓝分别表示在使用蓝光源照射参考对象时传感器的绿和蓝通道的输出。

由此，当光源的功率谱和信道的光谱带宽具有最宽交叠时，该通道中的输出将是最大的。

在这一示例中，当使用蓝光源照射参考对象时，光传感器的蓝通道的输出将是最大的。

引入以下比率，其表示由每个子像素或每个通道(分别为红通道、绿通道和蓝通道)捕获的(来自蓝光源的)蓝光的比率：

由蓝色子像素b_蓝捕获的蓝光的比率是最大的，例如为90％，因为蓝子像素的光谱敏感度与蓝LED光谱之间的光谱带宽的交叠是最大的。由绿子像素g_蓝捕获的蓝光的比率由此是第二大的，例如为8％，由红子像素捕获的蓝光的比例r_蓝由此是最小的，例如仅为2％。

类似地，当具有第二光谱带宽BW2的第二光源(例如，具有相对光谱功率分布S_R(λ)的红光源)照射相同参考对象时，每个通道的输出由下式提供：

在这一示例中，当，G_红表示在使用红光源照射对象时传感器的绿通道的输出。类似地，B_红表示在使用红光源照射参考对象时蓝通道的输出。

同样，可以计算表示由每个子像素或每个通道捕获的红光的量的比率：

在这一情形中，假定由红子像素吸收的红光的比率r_红是最大的，例如92％，g_红是第二大的，例如7％，而b_红为最小比率，例如仅为1％。

现在假定使用具有第一光谱带宽BW1和第二光谱带宽BW2的第一光源和第二光源同时照射(在该示例中为红光源和蓝光源)具有反射光谱R′_对象(λ)的不同但相似的对象(即相似的皮肤类型)，则所获得的红、绿和蓝传感器输出通过假定系统是线性的来给出：

这可被改写为：

R′_红+蓝＝r′_红+蓝*(R′_红+蓝+G′_红+蓝+B′_红+蓝)

G′_红+蓝＝g′_红+蓝*(R′_红+蓝+G′_红+蓝+B′_红+蓝)

B′_红+蓝＝b′_红+蓝*(R′_红+蓝+G′_红+蓝+B′_红+蓝)

每一项可被展开为：

现在可以使用以上展开的公式、使用以下关系来估计每个光源类型对每个通道的个体贡献：

其中每一个项是从使用具有反射光谱R_object(λ)的参考对象进行的校准以及从在使用红光源和蓝光源同时照射情况下执行的测量中知晓的。

注意到，这种技术的准确性主要由参考对象的反射光谱即R_对象(λ)和被测对象的反射光谱即R’_对象(λ)的相似度决定。在以上示例中，假定由多光谱光源照亮的对象为某种皮肤类型。如果实际皮肤类型非常相似，则所获得的准确度将会相当高。

如果由多光谱光源照亮的对象是未知的，则仍然可通过假定对象的某个反射光谱(例如，平坦光谱)来使用这种技术。

如能够从上文领会的，本发明提供了一种用于检索使用皮肤病检查设备的第一光源和第二光源同时照射的对象的多光谱图像的第一光谱图像和第二光谱图像的方法，光源的光谱带宽被包括在光传感器的光谱敏感度范围内。该方法包括以下步骤：

-使用具有第一BW1和第二BW2(基本上不同的光谱带宽)的第一光源和第二光源照射具有已知反射光谱R’_对象(λ)的对象，

-使用具有多个通道的光传感器来采集图像，每个通道被配置成捕获不同交叠光谱带宽中的光，

-从所采集的多光谱图像的每个通道中以及从表示与通道相关联的光谱带宽同第一光谱带宽或第二光谱带宽之间的卷积与参考对象的反射光谱R_对象(λ)卷积的预校准比率中检索第一和第二光谱图像的每个通道。

通过针对第一光谱带宽和第二光谱带宽计算光谱图像的每个通道j来获得第一光谱图像和第二光谱图像的每个通道和

其中n为光传感器的通道数，而被表示为：

并且其中通道j的输出和在反射光谱R_对象(λ)的参考对象由具有光谱带宽BW1和BW2照射时被表达为：

以及其中S_j(λ)是通道j的光谱敏感度，bw1(λ)和bw2(λ)分别为第一光源和第二光源的相对功率谱，s1和s2对应于传感器的光谱敏感度的下限和上限。

传感器可以是包括三个通道的RGB传感器，例如，分别为红、绿和蓝通道。

在本发明的一个实施例中，适于由检查单元使用的上述任何方法可由具有处理能力的数字设备实现，该数字设备包括一个或多个微处理器、处理器、微控制器或中央处理单元(CPU)和/或图形处理单元(GPU)，其被适配成执行利用软件(即一个或多个计算机程序)编程的各个功能。软件可被编译成在微处理器、处理器、微控制器、或中央处理单元(CPU)和/或图形处理单元(GPU)中的任一者上运行。

此类设备可以是独立设备(诸如台式计算机)，可被嵌入在另一电子组件中，例如，嵌入在PCB板上。该设备可以具有存储器(诸如非瞬态计算机可读介质、RAM和/或ROM)、操作系统、可任选地显示器(诸如固定格式显示器，诸如OLED显示器)、数据输入设备(诸如键盘)、定点设备(诸如“鼠标”)、用于与其他设备通信的串行或并行端口、连接到网络的网卡和连接。

软件可具体体现在计算机程序产品中，该计算机程序产品被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：

使用直接应用于患者皮肤的检查单元来捕获图像以进行对目标对象的3D重构，所述检查单元包括光学元件阵列，其包括：

围绕光轴布置的多个光源的第一光源环以及围绕该光轴布置的多个光源的第二光源环，

具有视场并位于光轴上的数字图像捕获设备，以及直接应用于患者皮肤的查看表面，通过查看表面能够对目标对象进行成像，

激活第一光源环以投射基本上平行于该光轴的光，并且激活第二光源环以投射基本上垂直于该光轴的光，

在使用第一光源环和第二光源环的光源中的不同光源照射目标对象以生成阴影时，使用数字图像捕获设备来捕获患者皮肤上的目标对象的一系列不同的数字图像。

软件可具体体现在计算机程序产品中，该计算机程序产品被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：

将一系列不同的数字图像存储在存储器中，

将不同的数字图像传送给数字处理引擎，

进行成像处理以根据一系列不同的数字图像执行对目标对象的3D阴影重构。

软件可具体体现在计算机程序产品中，该计算机程序产品被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：

-建立单元的聚焦装置的第一调整与沿该单元的光轴的焦点位置之间的关系，以及

-存储第二调整，其中聚焦位置处于校准图案的已知固定位置，

存储第二调整的步骤包括使用边缘检测算法来分析已知固定位置处的校准图案的步骤。

软件可具体体现在计算机程序产品中，该计算机程序产品被适配成在软件被加载到相应的一个或多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上执行时执行以下功能：

使用具有已知空间延伸的三维连续校准结构，该结构相对于参考位置被置于已知位置处，

指令图像捕获设备确立绝对参考值，相对于绝对参考值接合特定驱动电平，并使用聚焦函数来获得与所述驱动电平相对应的坐标，使用校准结构在空间中的延伸来计算关于所选驱动电平的深度。

上述任何软件可被存储在非暂时性信号存储装置上，诸如光盘(CD-ROM，DVD-ROM)、磁带、诸如闪存驱动器之类的固态存储器、诸如计算机硬盘之类的磁盘等等。

虽然上文已参考特定实施例对本发明进行了描述，但是这是为了阐明而非限制本发明。技术人员将理解，在不脱离本发明的范围的情况下，所公开的特征的各种修改和不同的组合是可能的。

Claims (28)

1.一种直接应用于患者皮肤的检查单元，所述检查单元在具有光轴的光路中具有多个光学元件，所述光学元件包括：

围绕所述光轴布置的多个光源的第一光源环以及围绕所述光轴布置的多个光源的第二光源环，所述第一光源环投射基本上平行于所述光轴的光，而所述第二光源环投射基本上垂直于所述光轴的光，

具有视场并位于所述光轴上的数字图像捕获设备，以及

直接应用于患者皮肤的查看表面，通过所述查看表面能够对目标对象进行成像，

控制器，其被配置成在使用所述第一光源环和所述第二光源环的光源中的不同光源照射所述目标对象以生成阴影时使用所述数字图像捕获设备来捕获所述患者皮肤上的目标对象的一系列不同的数字图像。

2.如权利要求1所述的检查单元，其特征在于，进一步包括用于存储所述一系列不同的数字图像的存储器。

3.如权利要求1或2所述的检查单元，其特征在于，所述控制器包括用于将所述不同的数字图像传送给数字处理引擎的通信接口。

4.如权利要求3所述的检查单元，其特征在于，所述处理引擎被配置成用于成像处理，以根据所述一系列不同的数字图像执行对所述目标对象的3D阴影重构。

5.如前述权利要求中任一项所述的检查单元，其特征在于，所述光学元件进一步包括：

具有限定沿所述光路的焦点位置的曲率半径和焦距的成像透镜，

用于根据调整值改变沿所述光路的聚焦位置的聚焦装置，以及

用于在所述图像捕获设备的所述视场中相对于所述参考查看表面定位在固定位置的第一校准图案，以及

校准装置，所述校准装置用于定义所述聚焦装置的第一调整值与沿所述光路的所述焦点位置之间的关系，包括使聚焦位置处于所述第一校准图案的固定位置的第二调整值。

6.如权利要求5所述的检查单元，其特征在于，所述第一光源环中的每个光源以不同波长为中心并具有光谱带宽，并且其中所述聚焦装置的第一调整值以及沿所述光路的所述焦点位置对于每个波长而言都是不同的。

7.如权利要求5或6所述的检查单元，其特征在于，进一步包括，用于在所述图像捕获设备的视场中相对于所述参考位置定位在第二已知固定位置的第二校准图案，以及使第二聚焦位置处于所述第二校准图案的所述第二已知固定位置的所存储的第三调整值。

8.如权利要求5至7中任一项所述的检查单元，其特征在于，进一步包括，在所述光路的出射光孔中的前板，并且其中所述第一校准图案被提供在所述前板的两个表面中的至少一者上和/或在所述前板内部。

9.如权利要求5至8中任一项所述的检查单元，其特征在于，所述第一校准图案作为纹身或印记位于患者皮肤上。

10.如权利要求5至9中任一项所述的检查单元，其特征在于，所述聚焦装置由所述成像透镜提供，所述成像透镜是液体透镜。

11.如权利要求5至10中任一项所述的检查单元，其特征在于，所述聚焦装置是通过所述图像捕获设备来提供的，所述图像捕获设备被配置成沿所述光轴平移。

12.如权利要求5至10中任一项所述的检查单元，其特征在于，所述聚焦装置是通过所述成像透镜来提供的，所述成像透镜被配置成沿所述光路的光轴平移。

13.如权利要求5至12中任一项所述的检查单元，其特征在于，所述第一调整值和所述第二调整值是驱动电压。

14.如权利要求5至13中任一项所述的检查单元，其特征在于，所述聚焦装置包括用于计算所述光学元件的调制传递函数的装置。

15.如权利要求5至14中任一项所述的检查单元，其特征在于，所述第一校准图案是三维图案，当所述三维图案可安装在出射光孔处时，其根据所述参考位置限定多个已知固定位置，以使得聚焦装置进一步包括使聚焦位置处于所述三维校准图案的所述多个已知固定位置的多个调整。

16.如权利要求15所述的检查单元，其特征在于，所述三维图案被雕刻、蚀刻、铣削在基板内。

17.如权利要求5至16中任一项所述的检查单元，其特征在于，所述第一校准图案包括诸如平行线之类的图案，所述平行线位于与所述图像捕获设备的平面形成一角度的平面中。

18.如权利要求15、16或17所述的检查单元，其特征在于，所述第一校准图案包括位于与所述图像捕获设备的平面平行的平面中的图案。

19.如权利要求15至18中任一项所述的检查单元，其特征在于，图案之间的距离与它们在基板内的深度相关。

20.如权利要求15至19中任一项所述的检查单元，其特征在于，所述第一校准图案是人体皮肤的体模。

21.如权利要求5至20中任一项所述的检查单元，其特征在于，所述成像透镜是液体透镜，并且附加件中的透镜的焦距使相机透镜保持在高灵敏度的范围内操作。

22.如权利要求5至21中任一项所述的检查单元，其特征在于，校准信息被置于与所述校准图案相邻的光学代码中。

23.如权利要求5至22中任一项所述的检查单元，其特征在于，所述第一校准图案还包括色彩校准。

24.如前述权利要求中任一项所述的检查单元，其特征在于，进一步包括用以检测所述查看表面何时接触皮肤的装置。

25.一种用于使用直接应用于患者皮肤的检查单元来捕获图像以进行对目标对象的3D重构的方法，所述检查单元包括光学元件阵列，所述光学元件阵列包括：

围绕光轴布置的多个光源的第一光源环以及围绕所述光轴布置的多个光源的第二光源环，所述第一光源环投射基本上平行于所述光轴的光，而所述第二光源环投射基本上垂直于所述光轴的光，

具有视场并位于所述光轴上的数字图像捕获设备，以及

直接应用于患者皮肤的查看表面，通过所述查看表面能够对目标对象进行成像，所述方法包括：

在使用所述第一光源环和所述第二光源环的光源中的不同光源照射所述目标对象以生成阴影时使用所述数字图像捕获设备来捕获所述患者皮肤上的所述目标对象的一系列不同的数字图像。

26.如权利要求25所述的方法，其特征在于，进一步包括将所述一系列不同的数字图像存储在存储器中。

27.如权利要求25或26所述的方法，其特征在于，进一步包括将所述不同的数字图像传送给数字处理引擎。

28.如权利要求27所述的方法，其特征在于，进一步包括进行图像处理以根据所述一系列不同的数字图像执行对所述目标对象的3D阴影重构。