CN105637561A - 根据具有阴影的光度立体技术的3d重构 - Google Patents

Abstract

公开一种处理场景的图像集合的方法。所述集合由限定图像平面的多个图像元素表示，并且所述图像由不同光强度空间分布但是相对于所述场景相同视点来表征。所述方法包括：对于至少一些图像元素中的每个，独立地选择平行于所述图像平面的方向，基于所述选择的方向构建加权矢量场，并基于所述构建的加权矢量场计算在所述场景中的表面垂直于所述图像平面的高度。所述方法进一步包括基于所述高度重构所述表面的三维空间表示；以及将所述空间表示传输至计算机可读介质。

Description

根据具有阴影的光度立体技术的3D重构

相关申请

2013年9月16日提交的美国临时专利申请No.61/878,401的内容，其整体以引用方式并入本文中。

技术领域与背景技术

在其中的一些实施例中，本发明涉及图像处理，并且更具体地，但非排他性地，涉及基于光度立体技术的图像处理。

光度立体技术(PS)已经成为用于三维(3D)对象获取技术的强有力工具。常规PS方法通过分析表面如何反射从多个方向入射的光来估计表面取向。已知的PS方法已经公开在S.Barsky和M.Petrou，模式分析和机器智能(patternanalysisandmachineintelligence)，IEEETransactionson，2003，25(10)：1239-1252；R.Mecca和J.D.Durou，2011，图像分析和处理(ImageAnalysisandProcessing)-ICIAP2011-16thInternationalConference，Ravenna，Italy，第286-295页；以及R.OnnandA.M.Bruckstein，1990，InternationalJournalofComputerVision，5(1)：105-113。

常规地，PS采用两步处理，其中在第一步中，为整个表面计算表面的法向矢量方向，以及在第二步中，所计算的方向用于计算表面的高度。

发明内容

根据本发明一些实施例的方面，提供了一种处理场景的图像的集合的方法。该集合由限定图像平面的多个图像元素(picture-element)表示，并且该图像由不同空间强度分布但是相对于场景的相同视点来表征。该方法包括：对于至少一些图像元素中的每个，独立地选择平行于图像平面的方向，基于所选择的方向构建加权矢量场，并基于所构建的加权矢量场计算在场景中的表面垂直于图像平面的高度。该方法进一步包括基于高度重构表面的三维空间表示。

根据本发明的一些实施例，表面在该集合的至少一个图像中被部分阻挡，并且其中方向的选择包括识别相邻于障碍的图像元素并针对所识别的图像元素选择障碍的切线方向。

根据本发明的一些实施例，方向的选择包括选择从图像元素指向还未由该方法访问(visit)的邻近图像元素的方向。

根据本发明的一些实施例，加权矢量场的构建包括：计算用于集合的图像对的矢量，从而提供候选矢量的集合；从候选矢量的集合选择矢量对，所述矢量对与至少一个其它的候选矢量对相比更正交于彼此；以及基于所选择的方向和基于所选择的矢量对计算加权矢量场。

根据本发明的一些实施例，该方法包括将三维空间表示与参考空间表示相比较，以及基于所述比较识别表面。

根据本发明的一些实施例，表面为个体的面部的表面。

根据本发明一些实施例的方面，提供了一种成像的方法。该方法包括：从多个位置依次照明场景；从相同视点获取表面的每个照明处的场景的至少一个图像，从而提供场景的图像的集合。该方法进一步包括通过执行如上所述的方法并且可任选地执行如下进一步详细说明的方法分析图像。

根据本发明的一些实施例，图像的集合为场景图像的集合。

根据本发明的一些实施例，图像的集合为内窥镜图像的集合。

根据本发明一些实施例的方面，提供了一种检查对象的表面的方法。该方法包括通过执行以上描述的方法使对象表面成像，并且分析三维空间表示，从而检查对象的表面。

根据本发明一些实施例的方面，提供了一种用于图像处理的计算机软件产品。该计算机软件产品包括由数据处理器可读取的非易失性存储器介质。该存储器介质存储程序指令，当存储器介质由数据处理器读取时，引起数据处理器接收图像的集合并且执行如上所述的方法和可任选地执行如下进一步详细说明的方法。

根据本发明一些实施例的方面，提供了一种用于成像的系统。该系统包括：照明系统，用于从多个位置照明场景；图像传感器，用于从相同视点中获取在表面每个照明处的场景的至少一个图像，从而提供场景图像的集合；以及数据处理器，具有电子电路和由电路可读取的非易失性存储器介质。存储器介质存储程序指令，当存储器介质由电路读取时引起电路接收图集合并且执行如上所述的方法和任选地执行如下进一步详细说明的方法。

根据本发明的一些实施例，照明系统和图像传感器被安装在内窥镜上。

根据本发明一些实施例的方面，提供了一种便携式设备，其包括如上所述的成像系统和可任选地包括如下进一步详细说明的成像系统。

根据本发明的一些实施例，便携式设备选自由以下项所组成的组：移动电话、智能电话、平板设备、移动数字照相机、穿戴式照相机、便携式媒体播放器、便携式游戏设备、便携式数字助理设备和便携式导航设备。

根据本发明一些实施例的方面，提供了一种处理场景的内窥镜图像的集合的方法，该集合由限定图像平面的多个图像元素表示，该图像由不同光强度空间分布但是相对于场景的相同视点来表征。该方法包括：获得场景中的对应于种子图像元素的位置的深度；对于除了种子图像元素的至少一些图像元素的每个图像元素，将深度与图像元素相关联，独立地选择平行于图像平面的方向，基于所选择的方向和相关联的深度构建加权矢量场，以及基于所构建的加权矢量场计算在场景中表面垂直于图像平面的高度。该方法进一步包括基于高度重构表面的三维空间表示。

根据本发明的一些实施例，加权矢量场是根据相对于深度的非线性的参数化而计算。

根据本发明的一些实施例，加权矢量场是根据与深度成反比的参数化而计算。

根据本发明的一些实施例，该方法包括针对光衰减校正图像元素的强度值。

根据本发明的一些实施例，校正包括计算光衰减系数，并且将强度值乘以光衰减系数。

根据本发明的一些实施例，校正包括计算由于通过光传播的距离引起的光衰减。

根据本发明的一些实施例，校正包括计算光的径向衰减。

根据本发明的一些实施例，表面在集合的至少一个图像中被部分阻挡，以及其中方向的选择包括识别相邻于障碍的图像元素并且针对所识别的图像元素选择障碍的切线方向。

根据本发明的一些实施例，方向的选择包括选择从图像元素指向还未由该方法访问的邻近图像元素的方向。

根据本发明的一些实施例，加权矢量场由以下方法构建：计算用于该集合的图像对的矢量，从而提供候选矢量集合；从候选矢量的集合中选择矢量对，所述矢量对与至少一个其它候选矢量对相比更正交于彼此；以及基于所选择的方向和基于所选择的矢量对计算加权矢量场。

根据本发明的一些实施例，图像元素沿着扩展的波前而动态选择。

根据本发明的一些实施例，高度的计算是根据前向数值方案。

根据本发明的一些实施例，该前向数值方案为前向逆风(upwind)方案。

根据本发明的一些实施例，该前向数值方案为前向半拉格朗日方案。

根据本发明的一些实施例，该方法包括基于空间表示构建场景的三维图。

根据本发明一些实施例的方面，提供了一种成像的方法。该方法包括：使用内窥镜用于从多个位置依次照亮场景；从相同视点中获取在表面每个照明处的场景的至少一个图像，从而提供场景图像的集合；以及执行如上描绘的方法并且可任选地执行如下详细说明的方法。

根据本发明一些实施例的方面，提供了一种用于图像处理的计算机软件产品。计算机软件产品包括由数据处理器可读取的非易失性存储器介质，存储器介质存储程序指令，当存储器介质由数据处理器读取时引起数据处理器接收图像集合并且执行如上描绘的方法和可任选性地执行如下详细说明的方法。

根据本发明一些实施例的方面，提供了一种用于成像的系统。该系统包括：内窥镜，其被安装有照明系统和图像传感器，所述照明系统经配置用于从多个位置照明场景，所述图像传感器用于从所述相同视点中获取在所述表面的每个照明处的所述场景的至少一个图像，从而提供场景图像的集合。该系统进一步包括数据处理器，其具有电子电路和由该电路可读取的非易失性存储器介质，其中该存储器介质存储程序指令，当存储器介质由电路读取时引起电路接收图像集合并且执行如上描绘的方法和可任选性地执行如下详细说明的方法。

除非另有限定，本文中使用的所有技术和/或科学术语具有如由本发明所属的本领域一个普通技术人员普遍理解的相同含义。尽管类似或等效于本文中描述那些的方法和材料能够用于本发明实施例的实践或测试中，但是示例性方法和/材料在以下描述。在冲突的情况下，包括限定的本专利说明书将会控制。此外，材料、方法以及示例仅是示例性的并且不旨在成为必要的限制。

本发明实施例的方法和/或系统的实施方式能够涉及人工、自动或它们的组合来执行或完成所选择任务。此外，根据本发明方法和/或系统的实施例的实际仪器和装备，各种所选择任务可以由以下项而实施：使用操作系统的硬件、软件或固件或它们的组合。

例如，用于执行根据本发明实施例的所选择任务的硬件可以作为芯片或电路而实施。作为软件，根据本发明实施例的所选择任务可以作为由使用任何合适操作系统的计算机执行的多个软件指令而实施。在本发明的示例性实施例中，根据如本文中所描述的方法和/或系统的示例性实施例的一个或更多个任务是由数据处理器执行的，诸如用于执行多个指令的计算平台。可任选地，数据处理器包括用于存储指令和/或数据的易失性存储器和/或非易失性存储器，例如，用于存储指令和/或数据的磁性硬盘和/或可移除媒体。可任选地，也提供了网络连接。也可任选地提供了显示器和/或诸如键盘或鼠标的用户输入设备。

附图说明

本文中参考附图仅通过示例的方式描述了本发明的一些实施例。现详细地具体参考附图，强调的是，所示细节是通过示例方式并且为了本发明实施例的例示讨论的目的。在这点上，结合附图的描述使得本领域技术人员显而易见的是如何实践本发明的实施例。

在附图中：

图1为示出照明矢量和它们分量的示意图；

图2为适用于根据本发明一些实施例处理场景的图像集合的方法的流程图；

图3为适用于根据本发明一些实施例构建加权矢量场的过程的流程图；

图4为适用于根据本发明一些实施例成像的方法的流程图；

图5为用于根据本发明一些实施例成像的系统的示意图；

图6为用于在本发明的实施例中成像的系统的示意图，其中，在内窥镜上安装照明系统和图像传感器；

图7为根据本发明一些实施例示出对应于矩形网格的方向集合的示意图；

图8为根据本发明一些实施例能够采用的波前扩展过程的示意图。

图9A至图9C示出在根据本发明一些实施例执行的合成图像处理实验中使用的初始图像；

图10A至图10C根据本发明一些实施例示出在具有不同噪声水平的情况下从图9A至9C的图像重构的噪声三维表面。

图11A至图11C示出在根据本发明一些实施例执行的图像处理实验中使用的具有合成阴影的半身像的三个真实图像集合；

图12示出如根据本发明一些实施例从图11A至图11C的图像中重构的表面；

图13A至图13C示出在根据本发明一些实施例执行的图像处理实验中使用的硬币的三个合成图像的集合；

图14示出如根据本发明一些实施例从图13A至图13C图像中重构的表面；

图15为根据本发明一些实施例的取决于所检查表面的实际光传播参数化的示意图；

图16为示出用于定向光源的光强度角衰减的示意图；

图17A至图17L示出在根据本发明一些实施例执行的实验期间获得的合成图像以及对应的三维重构；以及

图18A至图18C示出在根据本发明一些实施例执行的实验期间获得人工阶梯(图18A)、拇指指端(图18B)以及手掌(图18C)的三维表面重构。

具体实施方式

本发明，在其中的一些实施例中，涉及图像处理，并且更具体地，但非排他性地，涉及基于光度立体技术的图像处理。

在详细解释本发明至少一个实施例之前，应该理解的是，本发明在其应用中不必限于在以下描述中阐述和/或在附图和/或示例中例示的构建的细节以及部件的布置和/或方法。本发明能够进行其它实施例或能够以各种方式被实践或被实施。

光度立体技术通常涉及重构非平面表面，其能够方便地参数化为h(x，y)＝(x，y，z(x，y))，其中x和y为二维域(例如，笛卡尔坐标)上的坐标并且z(x，y)为距的距离。因此，当z≠0时，点(x，y，z(x，y))是在的外边，并且当z＝0时，点(x，y，z(x，y))是在中。的边界表示为并且的内部表示为Ω。在本发明的各种示例性实施例中，为平面的，例如平面的部分。在这些实施例中，z(x，y)表示平面以上或以下的高度。

本发明的一些实施例涉及从包含(一个或更多个)对象的场景的图像数据确定一个或更多个对象的z(x，y)的近似值。图像数据可任选地并优选为在不同光条件(例如，不同照明角度)下获取的场景的图像集合的形式。

本发明人发现：对于在域(即Ω的至少一部分)中的至少一些内部点，在图像获取时间内捕获的光强度之间的关系，照明方向和z(x，y)能够被写为：

其中，为Ω中的矢量场，f为Ω中的标量场，并且为z的梯度。

本文中，下划线符号表示矢量值。

术语“矢量”意指有序列表或有序数字对。普遍地，矢量的分量涉及诸如笛卡尔坐标或极坐标的坐标系。矢量能够图形地被表示为箭头，其中尾部为初始点并且头部为终点。

术语“矢量场”意指矢量的集合，其中该集合中的每个矢量与空间位置相关联。

通常以成对方式从图像数据中计算矢量场其中该对的一个图像的获取光强度乘以对应于该对的另一个图像的照明方向的域(例如，平面)上的投影。从形式上来看，表示在场景从方向ω’上由I₁(x，y)照明时获取的图像，以及在场景从另一个方向ω”上由I₂(x，y)照明时获取的图像，矢量场能够写为其中，(ω₁’，ω₂’)为ω’在域上的投影，并且(ω₁”，ω₂”)为ω”在域上的投影。注意的是，位于域中。矢量ω’和ω”任选并优选地被归一化。

通常也以成对方式从图像数据中计算标量场f(x，y)。对于标量场，该对的一个图像的获取光强度通常乘以在对应于该对的另一个图像的照明方向的域(例如，平面的法线)法线上的投影。从形式上来看，标量场f能够写为f＝I₃(x，y)ω₃’-I₁(x，y)ω₃”，其中，ω₃’为ω’在域的法线上的投影，并且ω₃”为ω”在域的法线上的投影。

在图1中例示矢量ω’和ω”以及它们在域上的投影和域的法线。在图1中示出为平面域以及距离一定距离的两个光源10和12。在上标记点(x，y)。矢量限定为从(x，y)指向光源10，并且矢量限定为从(x，y)指向光源12。本实施例预期使用多于两个的光源。当采用额外光源时，能够类似地限定额外照明矢量(例如，...)，其中第i个矢量点从(x，y)指向第i个光源。

以上限定的矢量场和标量类型能够用于表征对于照明方向对ω’和ω”的场景响应。因此，这种类型的矢量场以下称之为特征矢量场。

本文中描述的方法中的任一能够以多种形式实现。例如，其能够在诸如用于执行方法操作的计算机的可触摸介质上实现。其能够在包括用于实施方法操作的计算机可读指令的计算机可读介质上实现。其还能够在具有数字计算机能力的电子设备上实现，所述电子设备经布置使计算机程序在可触摸介质上运行或在计算机可读介质上执行指令。

实施本实施例方法的计算机程序能够普遍分发至在分发介质(诸如，但不限于，CD-ROMs或闪速存储器媒体)上的用户。计算机程序能够从分发介质复制至硬盘或类似中间存储介质。在本发明的一些实施例中，实施本实施例方法的计算机程序能够通过允许经由通信网络(例如，互联网)从远程位置中下载程序而分发至用户。计算机程序能够通过将来自它们的分发介质或它们的中间存储介质的计算机指令加载至计算机的执行存储器中加以运行，所述计算机的执行存储器配置该计算机以根据本发明的方法活动(act)。所有这些操作对于计算机系统领域的技术人员来说是熟知的。

图2为适用于根据本发明一些实施例处理场景的图像集合的方法的流程图。应该理解的是，除非另外限定，以下本文描述的操作能够以执行的许多组合或次序而同时或顺序地执行。具体地，流程图的次序不应被认为是限制。例如，在以下描述或流程图中以具体次序显现的两个或更多个操作能够以不同次序(例如，相反次序)或基本上同时地执行。此外，以下描述的各种操作为任选的并且可以不被执行。

方法在20开始并继续至21，在21处接收场景图像的集合。该集合优选地适用于通过如本领域熟知的PS提取三维空间信息。通常地，但不必要地，该集合图像由不同空间强度分布但相对于场景的相同视点来表征。该方法优选地接收从属于不同空间强度分布以及图像集合的信息。例如，该方法能够对于每个图像接收照明场景的光源(例如，相对于场景)的位置。

通过布置在域上网格化的多个图像元素(例如，像素、像素组)表示图像集合，其中网格为域的离散形式。例如，当域是平面时，图像元素限定本文中称之为图像平面的平面。

本文中有时缩写术语“像素”以指示图像元素。然而，这不旨在限制涉及图像组成单元的术语“图像元素”的含义。

参考本文中“图像”，尤其是参考在作为阵列收集性处理的像素处的数值。因此，如本文中使用的术语“图像”还涵盖不必对应于物理对象的数学对象。原始并处理过的图像当然对应于是从获取这个成像数据的场景的物理对象。

由于图像元素布置在网格上，每个图像元素对应于在网格上的空间位置。因此，参考具体图像元素是等效于参考在网格上的具体位置。在本发明的各种示例性实施例中，在相同网格上登记集合的所有图像，使得在网格上的每个位置与对应于集合的不同图像的多个强度值相关联。例如，当该集合包括3个灰度图像时，网格的每个(离散)位置(x，y)与3个灰度级相关联，第一灰度级存储在第一图像的位置(x，y)处的像素中，第二灰度级存储在第二图像的位置（x，y)处的像素中，以及第三灰度级存储在第三图像的位置(x，y)处的像素中。

因此，不失一般性，图像元素(x，y)能够与多个强度值(I₁，I₂，...)相关联，其中至少两个强度值对应于集合的不同图像。

集合的图像的数目是任选并优选地为3个或更多个(例如，4个或5个或6个或更多个)。

在下文中，该方法的描述指向本文中称之为位置(x，y)的位置处的位于网格上的任意选择的图像元素的数据处理。应该理解的是，该方法操作为图像的大部分或所有图像元素而优选独立地重复。

因此，方法继续至选择图像元素(x，y)处的22。任选并且优选地沿着扩展的波前而动态选择图像元素。能够通过处理对先前处理过的图像元素的直接相邻的图像元素形成扩展的波前。

如本文中所使用，如果两个图像元素之间不存在图像元素，则网格上的两个图像元素称之为“直接相邻”。例如，对于矩形网格，每个图像元素具有八个直接相邻：四个最近的相邻和四个紧挨着最近的相邻。

第一处理过的图像元素指的是“种子”，并且通常地，但不必要地，在或接近于网格中心处。

该方法继续至在选择平行于图像平面的方向处的23。在本发明各种示例性实施例中，在(x，y)处选择针对图像元素的方向是独立于在除了(x，y)以外的位置处针对任何图像元素先前选择的任何方向。这种方向的选择在本文中称之为“方向的独立选择”。

从离散方向的预定集合中任选并优选地选择方向能够基于网格的类型和在(x，y)处的图像元素具有的直接相邻的数目准备离散方向的集合。通常地，但不必要地，方向的集合包括用于每个相邻图像元素的一个方向，其中该方向限定为从(x，y)至相邻图像元素。例如，对于矩形网格，该方向的集合能够包括八个不同方向。在图7中示出对应于矩形网格的八个方向集合。

当一个或更多个图像包含不允许从对象表面的部分获取光强度的阴影区域或其它类型的障碍时，独立选择方向是特别有用的。在这些情形中，方法识别图像元素(x，y)是否邻近于障碍或阴影并且选择方向以与障碍相切。

本文中术语“切线”在离散网格的上下文中使用，并且因此不必要通过计算在点处的导数而设定。相反，切线方向为在相邻图像元素不是阻挡或阴影区域的一部分的约束条件下从(x，y)至直接相邻图像元素的方向。

在图8中例示这种选择切线方向的表示。该例示示出阻挡或阴影区域(在网格右上角处的黑色区域)。所选择方向被例示为围绕阻挡或阴影区域的小箭头。

在本发明的各种示例性实施例中，选择方向以便不会指向已经由该方法已经处理过的图像元素。在这些实施例中，该方法任选并优选地标记用于处理而访问的每个图像元素，以及选择方向以便不会指向未标记为处理过的图像元素。在本发明的各种示例性实施例中，方向为在以下约束条件下从(x，y)指向相邻图像元素的方向：(i)直接相邻图像元素不是阻挡或阴影区域的部分，以及(ii)直接相邻图像元素还未被该方法先前处理过(例如，还未针对直接相邻图像元素选择方向)。

方法进行至在加权矢量处的24，该加权矢量沿着或近似沿着(例如，具有小于10°偏差)所选择方向的(x，y)处而构建。由于该方法最终处理在网格上的多个图像元素(例如，所有图像元素)，针对每个处理过的图像元素构建的加权矢量的集合形成加权矢量场。

在本文中可交换地使用术语“矢量”和“矢量场”，其中在整个网格的上下文中，术语“矢量场”意指矢量的集合(针对在网格上的至少一些图像元素中的每个的一个矢量)，以及在具体图像元素的上下文中，术语“矢量场”意指对应于该具体图像元素并且为矢量集合部分的单个矢量。

加权矢量场任选并优选为两个或更多个特征矢量场的线性组合。矢量场为“加权的”，在此意义上，线性组合中的每个特征矢量场乘以相应加权系数。从不同对图像中任选并优选地构建每个特征矢量场，其中具体对的一个图像的所获取的光强度乘以对应于该具体对的另一个图像的在照明方向网格上的投影。

因此，例如，当图像集合包括三个图像I₁、I₂和I₃时，加权矢量场任选并优选为两个或更多个特征矢量场的线性组合，所述两个或更多个特征矢量场从以下项所组成的组选择：对应于对{I₁，I₂}的第一特征矢量场b¹²、对应于对{I₁，I₃}的第二特征矢量场b¹³以及对应于对{I₂，I₃}的第三特征矢量场b²³。任选并优选地选择线性组合中的特征矢量场的加权系数，使得加权矢量场的方向为沿着在23处选择的方向。

例如，当从两个特征矢量场(例如，b¹²和b¹²)中构建加权矢量场时，能够被写为其中α和β为计算的加权参数，使得组合αb¹²+βb¹²为沿着或近似沿着所选择的方向。还考虑了多于两个加权参数与多于两个特征矢量场的组合。在其中方向相切于阻挡或阴影区域的情形和实施例中，加权矢量场在障碍中的图像元素处具有空值。以下本文中提供用于计算加权矢量场的优选过程的更详细描述。

该方法进行至在基于所选择方向计算在场景中表面垂直于图像平面的高度处的25。利用由在24处构建的加权矢量场替换的附加条款，该计算任选地至少部分基于以上的公式1。本发明人发现：高度z(x，y)能够计算而不需要在高度计算之前单独计算梯度这种计算在本文中称之为直接高度计算。

直接高度计算能够通过取决于所构建的加权矢量场的迭代过程而执行。该迭代过程能够根据任何数值方案，其包括但不限于前向数值方案(例如，前向逆风方案、前向半拉格朗日方案)以及后向数值方案(例如，后向逆风方案、后向半拉格朗日方案)。

从25中，该方法可任选并优选循环回至选择用于处理的另一个图像元素的22(例如，根据扩展的波前原理)。优选地，在循环回至22之前，该方法标记图像元素为处理过的。

该方法进行至在基于如用于网格的所有或部分图像元素所计算的高度重构表面的三维(3D)空间表示处的26。该方法能够任选地进行至在将3D空间表示传输至计算机可读介质并且/或者显示在显示设备上的27。

该方法在28处结束。

通过本实施例的方法处理的图像能够具有任何类型，包括但不限于：场景图像、内窥镜图像、具体对象(例如，诸如但不限于面部或手指的身体器官，诸如但不限于集成电路或专用部分或工具的工业对象)的图像、具体建筑物(例如，人行道、建筑物墙、桥梁)的图像、壳体的内部的图像等。

通过本实施例方法获得的3D空间表示能够被用于在各种领域中，包括但不限于检测指纹(例如，通过从指纹图像集合中构建3D空间表示，并将所构建的与来自图书馆的指纹的参考3D空间表示相比较)、缩进字体、油画评估、表面检查(例如，表面粗糙度的分类)、构建场景、面部识别(例如，通过从个体面部的图像集合中构建3D空间表示，并将所构建的与来自图书馆的面部的参考3D空间表示相比较)等的3D图。本实施例的方法还能够与内窥镜相结合使用，以便当内窥镜在内窥镜的医疗步骤期间由操作者移动时实时恢复3D视图。

根据本发明一些实施例的该技术的一个优点在于：其提供了用于3D形状恢复的直接步骤。在本发明的各种示例性实施例中，该技术不需要中间操作。这是与通常需要中间操作的常规技术相反的，诸如在计算任何高度之前的每个点处计算梯度。本实施例技术的进一步的优点在于：甚至在图像具有丢失部分(例如，由于阴影或遮挡引起的)时，获得3D形状恢复。

本实施例技术的额外优点在于：在图像传感器的尺寸是大的时以及在与成像场景或对象相比图像传感器的尺寸是小的时，其都允许3D重构。这既允许处理从正交视点获取的图像又允许处理内窥镜获取的图像。

这不同于仅能够应用于3D扫描仪的大小相对于成像对象是相对较大的正交观看几何形状的常规技术，使得假设平行光方向。这是需要理解的。

图3为适用于根据本发明一些实施例构建加权矢量场的过程的流程图。该过程能够用于以上操作24。

过程开始在30处并继续至在计算用于图像集合的对的图像的矢量处的32。这提供了候选矢量。候选矢量能够平行于图像平面并且能够为如上文中进一步详细说明的特征矢量场的矢量。

因此，当图像集合包括三个图像I₁、I₂和I₃时，在三个图像I₁、I₂和I₃处的候选矢量的集合能够包括如位置(x，y)计算的矢量以及

当图像为内窥镜的图像时(例如，当所检查对象的比例比3D扫描仪大得多时)，光传播方向是不平行的，并且该方法优选地将照明矢量参数化为在网格上图像元素的坐标和在对应于那个图像元素的场景中点的深度z二者的函数。参数化相对于z优选地是非线性的。在一些实施例中，照明矢量被参数化为与深度z相互地成反比(或，等效地与1/z成正比)，使得量zb不取决于z。在以下示例部分中提供适合于本实施例的参数化的表示。一旦将照明矢量参数化，则能够基于该参数化计算诸如特征矢量场的矢量的候选矢量。

在本发明的各种示例性实施例中，候选矢量的计算包含针对光衰减校正强度值。这些实施例是特别有用的，但非排他性地用于内窥镜图像。通常，以乘以强度值的光衰减系数的形式计算该校正。光衰减系数能够校正由于距离引起的光衰减和/或光的径向衰减。在以下的示例部分中提供用于光衰减系数的计算的代表性示例。

该步骤继续至在矢量对选自候选矢量集合处的33。选择任选并且优选地基于集合中矢量对之间的角度，其中与更少的正交于彼此的矢量对相比，更有利于选择更多的正交于彼此的矢量对(即当矢量之间的角度是更接近于90°时)。在本发明的一些实施例中，与候选矢量的至少一个其它对相比，所选择矢量更多的正交于彼此，与任何其它对的候选矢量相比，更优选地更正交于彼此。

因此，该过程任选并优选地计算角度，或每候选矢量对的两个矢量之间的角度代表(proxy)，并然后基于所计算的角度或其代表选择该对。角度代表的表示性示例为两个矢量之间的标量积。当计算标量积时，该过程任选并优选地选择矢量对，用于这个标量积的矢量对是小于至少一个的更多优选的任何其它候选矢量对。

在其中基于参数化为网格上的图像元素和深度z的坐标的函数的照明矢量计算候选矢量的实施例中，其角度或其代表的计算包含z的值的估算。能够例如基于在已经为其估算表面的高度的相邻图像元素处的z的值执行这种估算。对于种子图像元素，z的值能够是输入值或其能够被直接测量。在本发明的各种示例性实施例中，计算角度或其代表不包括估算表面的空间梯度。

该过程继续至在加权矢量场被构建为组合(例如，所选择对的线性组合)处的34。所选择对的矢量由加权系数(例如，系数α和β)优选加权，诸如以沿着或近似沿着平行于图像平面的预定方向(例如，在23处选择的方向)对准加权矢量场。

该步骤在34结束。

图4为适用于根据本发明一些实施例成像的方法流程图。该方法开始在40处并继续至在从多个(例如，3个或更多个)位置依次照明场景或对象的表面处的41。这能够使用多个光源，或使用能够从一个位置替换到另一个位置的更少数目的光源(例如，单个光源)而完成。该方法继续至在每个照明处获取场景的一个或更多个图像的42，从而提供场景图像的集合。任选并优选地从相同视点获取集合的所有或至少一部分图像。该方法继续至在例如由以上描述的方法分析图像的集合处的43。

该方法在44结束。

现在参考图5，其为根据本发明一些实施例的用于成像的系统50的示意图。系统50任选并优选地包含用于从多个位置照明场景的照明系统52。如图5所示，照明系统52能够包括多个(例如，3个或更多个)光源52a、52b和52c。照明系统52还能够包括能够从一个位置替换至其它位置的一个或更多个光源。系统50进一步包括图像传感器或照相机54，其用于从相同视点中获取场景56的在表面的每个照明处的至少一个图像，从而提供场景的图像的集合。系统50还能够包括数据处理器58。数据处理器58具有电子电路和由电路可读取的非易失性存储器介质(未示出)。存储器介质存储程序指令，当存储器介质由电路读取时，引起电路从图像传感器54接收图像并执行以上所述的处理方法。

成像系统50的至少一些部件，优选为系统50的所有部件，能够被包括在便携式设备中，诸如但不限于：移动电话、智能电话、平板设备、移动数字照相机、穿戴式照相机、便携式媒体播放器、便携式游戏设备、便携式数字助理设备和便携式导航设备。

在本发明的一些实施例中，在内窥镜60上安装照明系统52和图像传感器或照相机54。在图6中示出这些实施例。照明系统52能够是产生静态激光点或激光线的激光系统，所述激光点或激光线附接于内窥镜上并经校准以自动提供用作种子点的真实深度坐标的集合。在这些实施例中，按如上描述计算除了种子点的图像中点的高度。数据处理器58能够是在内窥镜60的外部。在这些实施例中，将来自传感器54的图像如本领域中已知地传输至用于分析和显示的处理器58。

如本文中使用的术语“大约”指的是±10％。

本文中使用的单词“示例性”意指“充当示例、例子或说明”。描述为“示例性”的任何实施例不必解释为优选于或优于其它实施例，并且/或者将并入的特征从其它实施例中排除。

单词“任选地”在本文中用以意指“在一些实施例中提供并且在其它实施例中不提供”。本发明的任何具体实施例可以包括多个“任选地”特征，除非这种特征相冲突。

术语“包含”、“包含的”、“包括”、“包括的”、“具有”和它们的结合物意指“包括但不限于”。

术语“由...组成”意指“包括但限于”。

术语“基本上由...组成”意指组合、方法或结构可以包括额外成分、步骤和/或部分，但前提是额外成分、步骤和/或部分不实质上改变所要求组合、方法或结构的基本和新颖特征。

如本文所使用的，单数形式“一”、“一个”和“该”包括复数参考，除非上下文另外明确指示。例如，术语“组分”或“至少一个组分”可包括多个组分，该组分包括其混合物。

在整个该应用中，可以以范围的格式呈现本发明的各种实施例。应该理解的是，以范围的格式描述仅是为了便利和简要，并且不应解释为在本发明范围上的非弹性的限制。因此，范围的描述应该认为具有具体公开的所有可能的子范围以及在那个范围内的单独数值。例如，描述诸如从1至6的范围应该认为具有具体公开的子范围(诸如从1至3、从1至4、从1至5、从2至4、从2至6、从3至6等)，以及范围内的单独的数(例如，1、2、3、4、5和6)。无论范围的宽度，此均适用。

只要在本文中指示数值范围，其意指包括在指示范围内任何引用数值(分数或整数)。第一指示数和第二指示数之间的短语“二者之间的范围(ranging)/范围(ranges)”、以及“从”第一指示数“至”第二指示数的“范围(ranging)/范围(ranges)”在本文中可互换地使用，并意指包括第一指示数和第二指示数和其间的所有分数和整数。

应该理解，在单个实施例中的组合中还可以提供单独的实施例的上下文中描述用于清晰本发明的某些特征。相反地，还可以单独地或以任何合适子组合的方式提供，或者作为在本发明的任何其它描述适合的在单个实施例的上下文中描述的用于简要的本发明的各种特征。在各种实施例的上下文中描述的某些特征不应认为是那些实施例的必要特征，除非该实施例不起作用而不需要那些元件。

如以上本文中描绘和如在以下权利要求部分中所要求的本发明的各种实施例和方面发现在以下示例中的实验支持。

示例

现在参考以下示例，其与以上描述一起以非限制性方式例示本发明的一些实施例。

示例1

使用多个图像和阴影的直接表面重构

以下描述用于朗伯表面正交观看的阴影恢复形状(ShapefromShading，SfS)问题模型的设定。考虑了在紧凑域上限定的未知表面h(x，y)＝(x，y，z(x，y))。z的梯度由指示。基本朗伯表面假设产生由光源方向ω和表面n(x，y)的出射法线之间的内积确定图像形成模型，正如由以下反射率公式[Horn等，阴影恢复形状(ShapefromShading)，MIPress，1989]所表达：

R(n)(x，y)＝ρ(x，y)(ω·n(x，y))公式1.1

其中，ρ为表面反射率，并且ω＝(ω₁，ω₂，ω₃)(其中ω₃＞0)为指向远处光源的单元矢量。表面法线由以下给出：

借助该表示法，我们从公式1.1中获得以下图像公式的非线性模型：

传统研究，使用具有在以下两个步骤中各种类型额外数据工作的该公式已经处理SfS问题：(i)估算表面和的一阶导数(通常经由一些最小化算法)；以及(ii)从在Ω之上的梯度场恢复高度(通过积分或通过函数最小化)。

本发明人发现：两个步骤过程为了直接积分的目的引入了能够通过将公式1.3考虑为哈密顿-雅克比(Hamilton-Jacobi)类型的非线性偏微分方程(PDE)避免的近似误差。这种方法允许恢复函数z而不需要通过其梯度场。为了直接计算表面的高度，已经使用与涉及给出图像并基于表面[7]上的一些现有信息迭代的z(x，y)函数相关联的欧拉-拉格朗日方程研究若干变分方法。本发明人发现：这种PDE具有若干缺点，最重要的是涉及高阶偏导数，以及具有正则性小于C²函数的解的不可能性。

在针对单个图像数据和已知反射率的经典PDE的框架中，存在对于使用级别设定[9]、[3]的SfS的已知直接方法。该方法需要反射率的知识。

本发明人成功地执行了PS，甚至在ρ(x，y)为未知函数时。

存在用于收集关于表面的信息的许多方法，以便抵消公式1.1的不适定性并且在观察条件下获得对象的重构。能够用公式表达光度立体技术，以采用含有在以不同光源方向条件下从相同视点中取得的场景的各种图像中的信息。使n为图像的数量，其中每一个对应于PS设定中使用的不同光源，使PS_n为相关联深度恢复问题。在该部分中，导出了PS_n的微分公式。该公式依赖于基本正交SfS问题(公式1.1)的先前设置，并因此研究PDE的以下非线性系统：

其中，i＝1，...n，并且I_i为通过使用第i个光源ωⁱ照亮表面h获得的图像。在本文中使用的符号“～”指示具有三个分量矢量的前两个分量。

当考虑到两个图像时，常见的非线性能够通过除以图像辐照度方程而移除。等效的微分问题能够被写为：

承认唯一利普希茨(Lipschitz)解。

在公式1.5中，g(x，y)为边界条件，

b(x，y)＝(I₂(x，y))ω′₁-I₁(x，y))ω″₁，(I₂(x，y))ω′₂-I₁(x，y))ω″₂公式1.6

为特征场，以及

f(x，y)＝I₂(x，y)ω′₃-I₁(x，y)ω″₃公式1.7

本发明人利用呈现的公式1.5适定的微分方程，以便使用其用于在阴影存在下的PS₃问题，所述阴影对表面恢复增加进一步的复杂性，并移除边界条件的需要。本发明的一些实施例采用其中所有数据均是可用的PS₃公式(例如，在那些图像元素中，其中三个图像都不展现阴影)，以及用于部分Ω的其中在捕获图像中的一个中存在阴影的PS₂问题。

本示例重点是通过求解线性PDE系统的高度z的直接计算。

以下，在从非共面的光源点顺序照明之后获取假设图像。

对于通过非共面方向上的单独发亮的三个平行射线光源获得的三个线性独立图像，能够考虑唯一图像对的集合并且以下线性PDE系统能够被写为：

其中

以及

其中，(h，k)为没有重复的前三个自然整数中的两个的组合。

根据本发明的一些实施例，公式1.5的基本微分公式简化为能够处理阴影区域的单个PDE。当在两侧乘以函数q(x，y)时公式1.5不会失去适定性。因此，加权的PS_n模型(W-PS_n)能够通过考虑以下方程而限定：

以及

其中，为没有重复的整数指数对的集合。例如，当n＝3时，(1，3)，(2，3)}。根据本发明一些实施例的W-PS_n公式能够因此被写为：

任选并优选地限定加权函数q_p(因此也是和)以便允许处理阴影。本发明人发现：使用消失的加权函数同时保留问题的适定性是可能的。加权函数的标志通常是不重要的。任选并优选地选择加权函数使得存在其中他们是空值(例如，零)的点集合。

本发明人发现：为在至少两个图像中照亮的图像像素，确保了微分公式的适定性，并且如果相同条件保持在多个图像、加权情况下，则保留了微分公式的适定性。

以下，假设每个像素被照明在至少两个图像中从而避免变为PS₁问题。当由于存在涉及图像中的阴影引起的用于该对的函数b^p和f^p不包含相关信息时，将加权函数任选并优选地被考虑为使参与在公式1.11和公式1.12求和中的图像对的局部失效的转换。不失一般性地，点(x，y)∈Ω能够考虑为当I_i(x，y)＝0时在第i个图像中有阴影。该阴影的限定对应于没有环境光的成像条件。当有环境光时，该点能够认为是当I_i(x，y)＝I₀时的阴影，其中I₀为环境光的强度。

在本发明的一些实施例中，使用如下海维赛德(Heaviside)函数限定加权函数：

q(h，k)＝H(I_h(x，y))H(I_k(x，y))公式1.14

本发明人发现：尽管这些函数是不连续的，但是它们能够例如通过采用对公式1.14正则化而使用，不需要使公式1.13复杂化。例如，阴影能够限定为开放集，并且能够使用本领域已知的截止函数而使加权函数正则化(参见，例如，K.O.Friedrichs，1994，美国数学会汇刊(TransactionsoftheAmericanMathematicalSociety)，55(1)：PP.132-151)。

本发明人经由特征方法已经成功地证明了利普希茨函数空间中公式1.13解的唯一性。该解称之为“弱解”以指示其在中限定几乎所有地方，如在平滑解的组合(C²)，其中的每个限定在不同域上。

术语“几乎所有地方”在数学分析领域中是熟知的。其描述适用于域内除了(或许)点集合的每个点的属性，其中针对属性不适用的点的集合为零测度集合。

根据本发明的一些实施例，这些域以横跨在一些导数中存在间断点上的域之间的边界的方式拼接在一起，公式1.13得以满足。

其中表面z不是可微分的这些点是相同的，其中函数和是不连续的(跳跃不连续)。本发明人已经成功证明：(i)不存在用于投影特征场的临界点，即，以及(ii)没有在通过问断点隔开的两个集合之间防止来自边界的信息传播。这两个证明观察在以下称之为观察R1和观察R2。

本发明人发现：甚至在未知公式1.13的边界条件g(x，y)的情况下，仍能够执行三维重构。这通过采用数值策略而任选并优选地完成，数值策略包含选择在重构域内的单个任意值初始种子点并操纵特征的路径。本发明人发现：这种路径操纵允许以这样的一种方式进行数值积分公式1.13：允许执行3D形状重构用于在围绕阴影(参见图8)方向上的整个域。

本发明人根据两个不同矢量场和不能平行证明了一个定理。从形式上来看，该定理能够写为：

任选并优选利用该定理以控制用于这样情况的重构传播的方向：当n＝3时，其能够根据本发明一些实施例而概括为任何数目的图像。

通过如下的其指示函数，考虑三个发光像素M集合：

I_M(x，y)＝H(I₁(x，y))H(I₂(x，y))H(I₃(x，y)).公式1.16

任选并优选地选择在公式1.11和公式1.12中的函数q_p，以提供线性加权组合，例如，如由以下两个指数给出：

其中目的在于通过使用至少两个病态(ill-conditioned)方向和跨距导数所有可能方向的集合。由于用于M中每个点(x，y)以及用于集合中每个p的q_p(x，y)＝1，所以公式1.8能够加和为如下：

其中，α和β为实系数。公式1.18是用于在分析条件下具体图像元素的公式1.13的版本。

因此，只要涉及无阴影，本实施例就允许在其中在任何像素处独立地计算z的一阶导数的方向上的完全控制。任选并优选地选择系数α和β，以根据存在的阴影在像素处控制特征方向为在最有利的方向中。在图7中示出在对准离散网格的轴线上的八个主要方向。这些方向能够是由通过预定数值方案可访问的可能位置引起的积分方向。在下文中提供一些代表性数值方案。

一旦在点(x，y)∈M处选择具体方向d，则能够计算用于(α，β)的值，使得

上述定理确保公式1.19具有唯一解，并且选择公式1.17保证其是数值地稳定。

根据波前扩展原理任选并优选地选择分析条件下的图像元素。图8示出根据本发明一些实施例能够采用的波前扩展的步骤。根据本发明的一些任选实施例的过程能够总结如下：

1)将任意值固定至用于在阴影中不朝向图像域的中心(参见图8中点的点的z，并将所有点的相邻添加至将要被访问的像素的列表。

2)遍历将要被访问的像素的列表，并通过计算α和β更新用于每一个的z的值，所述α和β取决于如通过所选数值方案(参见例如以下公式1.21和公式1.23)需要的阴影位置；

3)对于每个新访问的像素，将其未访问的相邻添加至将要访问的像素的列表中。

4)在阴影的情况下，改变波前传播方向以便围绕阴影集，如通过图8右上角处的小箭头所示。这对应于边界条件的计算。然后，当波前扩展方向与阴影像素的特征方向一致时，在阴影像素集中对公式1.8中的合适方程求解。

5)重复操作1-4直至满足集合上的一些停止条件。

由于公式1.13的公式，能够通过选择特征矢量场b的方向来处理无阴影像素，使得该方向围绕阴影。因为在一些点处，波前的前进的方向将与沿着阴影集的边界所处的像素特征的方向一致，所以前进波前使得新像素可用于更新(甚至在它们所处在阴影集中时)。然后，该像素能够被添加至以将要被访问的像素集，并且接着充当能够使得在阴影集中的其它点在下一个波前的递增的前进中更新的种子像素。以这种方式，能够访问并正确地更新整个像素集。

以下是根据本发明一些实施例的一些数值方案的描述。

本示例涉及正方形域Ω，像具有一致离散空间步长Δ＝(b-a)/k的集合[a，b]²，其中，k为除以正方形边长的间隔数(即x_i＝-1+iΔ，y_i＝-1+jΔ，其中i，j＝0，...k)。符号用于指示属于的所有网格点，符号Ω_d用于指示所有内部点并且符号用于指示所有边界点。

以下描述的数值方案用于公式1.13的前向近似，其中根据选择导数的方向的矢量场的方向考虑信息的传播。为了简化表示法，以下缩写为并且以下缩写为f_i，j。注意的是，b_i，j为二维矢量场，而f_i，j为标量场。在(x_i，y_i)处的表面的近似高度指示为Z_i，j。

在本发明的一些实施例中，采用前向逆风方案。由于其跟随该传播方向，因此该方案称之为“前向逆风(forwardupwind)”。

这种方案能够写为：

其中，i，j＝1，...k-1。通过考虑对一阶导数的最合适的离散化，允许在矢量场b之后在公式1.20的右侧引入的人工扩散(artificialdiffusion)，以便跟踪特征线。具体地，其由相对于两个偏导数相容阶(consistencyorder)等于一的数值方案组成。

公式1.20能够被写为如下迭代方程：

由于观察R1确保公式1.21中的分母的存在不涉及任何困难，所以其是适定的。

在本发明的一些实施例中，采用前向半拉格朗日方案。在这些实施例中，以下方程通过将公式1.13中上部表达的两侧除以的范数而获得：

其中，由于观察R1，除以对于数值方案不涉及任何困难。

考虑到定向导数的限定(在γ的相反方向上，也因此具有特征矢量场b)，半拉格朗日方案能够写为：

其中，参数h大于零并且假设等于网格Δ的大小，以便达到收敛等于一的最高阶。

结果

呈现以上引入的数值方案收敛的数值分析。考虑在这个除了不连续的点之外呈现高斜率(大的利普希茨常数)的利普希茨表面中。在图9A至图9C中示出初始图像。在域Ω_d＝[-1，1]²中使用表面z的分析函数合成该图像。图像包括人工阴影区域以及非恒定反射率掩模。故意用5％高斯噪声破坏图像数据以进一步提高模拟的真实性。当L^∞离散范数时，停止用于两种方案的迭代，其被限定为

为小于被选择为10^-7的参数ε。以下表1显示在收敛处具有所测量的运行时间的误差。

在C++MEX文件中全部实施数值方案，并使用2012Corei72.3.GHzMacBookPro的单个芯在中执行。在该示例中，还未利用可用于积分策略实施的并行性。尽管该限制，但是算法在用于大小为500×500的图像的6fps处运行。

图10A至图10C示出从具有四百万像素的噪声图像中恢复的表面，其中图10A示出原始表面，图10B示出使用逆风方案的重构表面，以及图10C示出由半拉格朗日方案获得的重构表面。

图11A至图11C示出具有添加使形状恢复变得复杂的合成阴影的熟知的贝多芬半身像的三个图像集合，以及图12示出如根据本发明一些实施例的使用逆风方案从图11A至图11C中重构的表面。如所显示的，该重构表面在由合成阴影已经去除的信息的区域中也不具有明显的人工痕迹。

图13A至图13C为硬币的三个图像集合。这些图像具有围绕人类手指边界的不同区域上的阴影。图14示出如根据本发明一些实施例使用逆风方案从图13A至图13C中重构的表面。该重构示出的是人类形状是很好地计算的并且更进一步地已很好的保留围绕该形状的平坦区域。

示例2

内窥镜透视的光度立体技术(EPPS)

本示例提供用于来自经由使用n个图像(EPPS_n)的光度立体技术技术解决的内窥镜透视的问题的形状的公式。相对于先前(即，正交)情况的区别是基于合适参数化光传播以及光衰减以及透视观看几何形状的需要。

透视照相机的SfS模型是已知的[Tankus等，IJCV(IJCV)，2005，63(1)：21-43；Prados等，2005，在CVPR(InCVPR)，第2卷，第870-877页，IEEE计算机学会(IEEEComputerSociety)，2005；B.K.P.Horn，1975，计算机视觉的心理学(thePsychologyofComputerVision)，Winstion，P.H.(编)，第115-155页；以及Hasegawa等，1996，计算机与制图(ComputersandGraphics)，20(3)：351-364]。应用至内窥镜分析的透视SfS(PSfS)也是已知的[Yeun等人1999，在C.Taylor和A.Colchester编，MICCAI(MICCAI)，第1679卷，第318-327页；Narasimhan等，2009，IJCV(IJCV)，第211-228页；以及Okatani等人，1997，计算机视觉与图像理解(ComupterVisionandImageUnderstanding)，66(2)：119-131]。

在图15中示出表面∑的参数化。参数化取决于从图像域至的未知函数z，其中为实际数的集合。该参数化能够写为

其中

并且m_s(ε，η)＝(ε，η，-f)公式2.2

f为照相机的聚焦长度，以及缩写为的三元组为实物坐标(相对于图像坐标)。公式2.1的参数化基于针孔照相机模型并且是由于如图15中看见的具体透视观看几何形状所致，其中照相机放置在坐标系的原点C处(在光学中心处)。

对于表面∑的出射法线矢量为：

尽管辐射照度方程取决于单位法线，使用以下单位法线矢量：

本示例考虑用于朗伯表面的辐射照度方程，通过以下内积由余弦定理给出：

l(ε，η)＝ρ(ε，η)[n(ε，η)·ω(ε，η)]公式2.5

其中，为图像函数，ρ(ε，η)为未知的反射率以及ω(ε，η)为光源方向。

因为内窥镜公式假设关闭光源照明，所以入射至表面的光方向ω明确地取决于图像点(ε，η)。

因为光度立体技术使用若干光源，所以在光学平面z＝0上考虑实际放置(x_i，y_i)。光方向限定为：

其中

在本示例中，光方向取决于点(ε，η)以及z，因为他们从光学中心中被取代。这引入了没有涉及未知的导数而仅有z的非线性。

在本发明的各种示例性实施例中，考虑了至少两种不同种类的光衰减。第一类型涉及与光源和对象之间的平方距离成反比的光能量的减少。第二类型是由表面安装设备(SMD)光的实际方向发光模型引起的。也预期了其它连续衰减模型的使用。

第一种类光衰减能够通过明确地计算光源和表面之间的距离而被模型化。函数r₁(ε，η，z)和r₂(ε，η，z)限定表面的点和相应光源之间的距离。因为光源相对于原点而移位，所以距离函数为：

衰减因子然后能够写为

许多现有光源是定向的。也就是说，他们沿着主方向是明亮的并在距主方向更远的角度处变得不那么明亮。这种行为在图16中示出。由于定向性引起的衰减能够通过与相乘而有效地模拟，其中，r_a为衰减系数并联想到(reminiscent)用于表面反射的镜面模型。

衰减因子是可计算的，是因为

其中，ωⁱ(ε，η，z)为在(xⁱ，yⁱ)处放置的第i个光源。

两个衰减效应能够通过以下因子相乘而表示：

在本示例中，考虑了以下辐射照度方程：

其中

利用两个不同光源获得的如同公式2.11的两个辐射照度方程，能够通过注意在二者中呈现未消失量而合并：

该合并允许消除相对于包含在中的z的偏导数的非线性，并使得所得的表达独立于反射率。

因此能够获得以下第一阶拟线性PDE

其中

以及

其中，

对于三个图像，获得以下PDE：

其中

以及

其中，(m，l)为前三个自然整数中的两个的组合，而不具有重复。

类似于示例1，使用以下加权函数来限定加权EPPS_n(W-EPPS_n)：

因此，根据本发明一些实施例的W-EPPS_n公式能够被写为：

任选并优选限定加权函数ω_t(因此也是和)，以便允许处理阴影。本发明人发现：使用消失的加权函数同时保留适定性问题是可能的。加权函数的符号通常是不重要的。任选并优选地选择加权函数使得存在其中它们是空值(例如，零)的点的集合。

本发明人发现：为在至少两个图像中照亮的图像像素，确保了微分公式的适定性，并且如果相同条件保持在多个图像、加权情况下，则其保留了微分公式的适定性。

以下，假设每个像素被照明在至少两个图像中从而避免变为EPPS₁问题。当由于存在涉及图像中的阴影引起的用于该对的函数b^t和s^t不包含相关信息时，将加权函数任选并优选地被考虑为使参与在公式2.20和公式2.21的求和中的图像对的局部失效的转换。不失一般性地，点能够考虑为当I_i(ε，η)＝0时在第i个图像中有阴影。该阴影的限定对应于没有环境光的成像条件。当存在环境光时，该点能够认为是当I_i(x，y)＝I₀时的阴影，其中I₀为环境光的强度。在本发明的一些实施例中，使用如下海维赛德函数限定加权函数

W_(m，l)＝H(I_m(ε，η))H(I_l(ε，η))公式2.23

本发明人发现：尽管这些函数是不连续的，但是他们能够例如通过采用公式2.23的正则化来使用而不使公式2.22复杂化。例如，阴影能够被限定为开放集，并且加权函数能够使用本领域已知的截止函数而正则化(参见，例如，上文的Friedrichs，1944)。

本发明人经由特征的方法已经成功地证明在利普希茨函数空间中公式2.24的解的唯一性。该解称之为“弱解”以指示其是经典解的组合，每个解限定在不同域上，并且在整个Ω^p上利普希茨连续。

其中表面z不是可微分的点是相同的，其中函数和是不连续的(跳跃不连续性)。在示例1中呈现的观察R1和观察R2也将对EWPPS情况加以必要的变通(mutatismutandis)。

本发明人成功地计算了z而没有完全消除非线性。公式2.14的拟线性PDE仍旧包含非线性分量，但是本发明人发现：能够通过求解拟线性PDE成功地直接获得恢复z的问题。

根据本发明的一些实施例，用于重构表面的数值步骤包括在重构域内选择任意值初始种子点并操纵特征路径。

本发明人证明了定理，根据该定理，两个不同矢量场和不能是平行的。从形式上来看，该定理能够写为：

任选并优选利用该定理，以控制用于这样情况的特征的方向：当n＝3时，其能够根据本发明一些实施例而概括为任何数目的图像。

考虑三个照明像素的集合M，通过如下的其的指示函数：

I_M(ε，η)＝H(I₁(ε，η))H(I₂(ε，η))H(I₃(ε，η)).公式2.25

任选并优选地选择在公式2.20和公式2.21中的函数w_t，以提供线性加权组合，例如，如由以下两个指数给出：

由于w_t(ε，η)＝1(其中每个点(ε，η)在M中并且每个t在集合中)，所以公式2.17能够求和为：

其中，α和β为实系数。

因此，只要涉及无阴影，本实施例就允许在独立地在任何像素处计算z的一阶导数的方向上的完全控制。任选并优选地选择系数α和β，以控制在像素处的特征方向在如由一些积分策略需要的大多数有利的方向中。类似于示例1，在图7中的方向，或若需要的其它方向，能够是由通过预定数值方案可访问的可能位置引起的积分方向。一些代表性数值方案提供在下文中。

一旦在点(ε，η)∈M处选择具体方向d，则能够计算用于(α，β)的值，使得

上述定理确保公式2.28具有唯一解，并且选择公式2.26保证其状态是良好的。

根据波前扩展原理，任选并优选地选择在分析条件下的图像元素。图8中示出的代表性波前扩展原理还能够用于EPPS的情况。根据本发明的一些任选实施例的合适步骤能够总结如下：

1)将任意值固定至用于在阴影中不朝向图像域的中心点的z，并将所有点的相邻添加至以将要访问的像素的列表中。

2)遍历以将要访问的像素的列表并在确定如通过所选数值方案(参见例如以下公式2.30)所需要可用信息之后，通过计算α和β更新用于每一个的z值。

3)对于每个新访问的像素，将其未访问的相邻添加至以将要访问的像素的列表中。

4)在阴影的情况下，改变波前传播方向以便围绕阴影集合，如由在图8右上角处小箭头所示。这对应于边界条件的计算。然后，当波前扩展方向与阴影像素的特征方向一致时，在阴影像素集合中求解公式2.17中合适的方程。

5)重复操作1-4直至满足在集合上的一些停止条件。

以下是适用于根据本发明的一些实施例的EPPS的数值方案的描述。该数值方案用于公式2.22的前向近似，其中根据选择导数方向的矢量场方向考虑信息的传播。为了简化表示法，以下被缩写为并且以下被缩写为s_i，j(z_i，j)。并且以下被缩写为s_i，j(z_i，j)。注意，b_i，j为二维矢量场，而s_i，j为标量场。在(x_i，y_i)处的表面近似高度被指示为z_i，j。

在本发明的一些实施例中，采用了前向逆风方案。这种方案能够被写为：

公式2.29能够被写为如下可迭代方程：

由于观察R1确保了公式2.30中分母的存在不涉及任何困难，所以其是适定的。

结果

描述在本示例中的实施例已经采用了两种不同的情形。

在第一情形中，实际深度数据从结构化光范围扫描仪中获得。然后使用具有考虑以上描述的非线性光衰减的虚拟点光源的所扫描模特面部来合成辐射度图像。将非一致性合成的反射率添加至对象并且将模拟高斯噪声添加至辐射度图像中。

执行了三个不同实验。在图17A至图17L中示出合成图像和重构表面，其中图17A至图17D对应于第一实验，图17E至图17H对应于第二实验，并且图17I至图17L对应于第三实验。第一实验包括没有噪声(图17A)、没有强光衰减(图17B)和一致反射率(图17C)的合成图像；第二实验包括没有噪声(图17E)、强光衰减(图17F)和一致反射率(图17G)的合成图像；以及第三图像包括有噪声(图17I)、没有强衰减(图17J)和非一致反射率(图17K)的合成图像。在第一实验、第二实验以及第三实验期间获得的重构表面分别在图17D、图17H以及图17L中显示。

在第二情形中，采用了低成本的内窥镜照相机。将该照相机同步至三个独自控制的低功率白SMD光源，其具有固定己知位置以及近似为r_a＝1的实际径向衰减参数。近似朗伯的三个对象图像被捕获。该对象为小的人工阶梯、拇指指端和手掌的集合。在图18中显示这些对象的重构。如所显示的，已经获得拇指和手的良好重构(分别为图18B和图18C)。起始图像(图18A)噪声很大，并且通过相对于内窥镜情形非常远而获取。

使用Bouget校准工具箱发现了用于低成本内窥镜照相机的固有照相机参数，并且所有图形具有使用相同工具箱移除的透镜畸变的效果。随后，针对所有实验将聚焦长度值设定为1，并且在匹配照相机视角场的网格上限定ε和η。数值方案全都在未优化的C++中的MEX文件中实施并使用2012Corei72.3.GHzMacBookPro的单个芯在中执行。对于该工作，还未利用可用于积分策略实施方式的并行性。用于640×480图像的运行时间为近似1秒以更新方案的四个迭代。

实验建立允许测量对于表面上点的距离，以用作如积分策略所需要的初始种子点。可替换地，静态激光点或激光线能够被附接至内窥镜并校准以自动提供用作种子点的真实深度坐标的集合。

尽管已经结合其具体实施例描述了本发明，但是明显的是对于本领域技术人员许多可替换物、修改和变形将是显而易见的。因此，本发明旨在涵盖落在所附权利要求的精神和宽泛范围内的所有这种替换物、修改以及变形。

在本说明书中提到的所有出版物、专利以及专利申请，在本文中其全部内容通过参考方式并入至本说明书中。对于相同内容如同每个独自出版物、专利或专利申请具体并独自指示以通过参考方式并入本文中一样。此外，在本申请中的任何参考的引入或识别不应解释为承认这种参考可用作对于本发明的现有技术。对于使用的部分标题的内容，它们不应解释为必要的限制。

Claims (38)

1.一种处理场景的内窥镜图像集合的方法，所述集合由限定图像平面的多个图像元素表示，所述图像由不同光强度空间分布但是相对于所述场景相同视点来表征，所述方法包括：

获得所述场景中的对应于种子图像元素的位置的深度；

对于除了所述种子图像元素之外的至少一些图像元素中的每个图像元素，将深度关联到所述图像元素，独立地选择平行于所述图像平面的方向，基于所述选择的方向和所述关联的深度构建加权矢量场，并基于所述构建的加权矢量场计算所述场景中的表面的垂直于所述图像平面的高度；以及

基于所述高度重构所述表面的三维空间表示。

2.根据权利要求1所述的方法，其中根据相对于所述深度非线性的参数化计算所述加权矢量场。

3.根据权利要求1和权利要求2中任一项所述的方法，其中根据与所述深度成反比的参数化计算所述加权矢量场。

4.根据权利要求1至权利要求3中任一项所述的方法，进一步包括针对光衰减校正所述图像元素的强度值。

5.根据权利要求4所述的方法，其中所述校正包括计算光衰减系数，并将所述强度值与所述光衰减系数相乘。

6.根据权利要求4所述的方法，其中所述校正包括计算由于光传播的距离引起的光衰减。

7.根据权利要求4所述的方法，其中所述校正包括计算光的径向衰减。

8.根据权利要求1至权利要求7中任一项所述的方法，其中所述表面在所述集合的至少一个图像中被部分地阻挡，并且其中所述方向的所述选择包括识别相邻于障碍的图像元素并针对所述识别的图像元素选择所述障碍的切线方向。

9.根据权利要求1至权利要求8中任一项所述的方法，其中所述方向的所述选择包括选择从所述图像元素指向还未由所述方法访问的相邻图像元素的方向。

10.根据权利要求1至权利要求9中任一项所述的方法，其中所述构建所述加权矢量场，包括：

计算用于所述集合的图像对的矢量，从而提供候选矢量的集合；

从候选矢量的所述集合中选择矢量对，所述矢量对与至少一个其它候选矢量对相比更正交于彼此；以及

基于所述选择的方向以及基于所述选择的矢量对，计算所述加权矢量场。

11.根据权利要求1至权利要求10中任一项所述的方法，其中沿着扩展的波前动态选择所述图像元素。

12.根据权利要求1至权利要求11中任一项所述的方法，其中所述高度的所述计算是根据前向数值方案。

13.根据权利要求12所述的方法，其中所述前向数值方案为前向逆风方案。

14.根据权利要求12所述的方法，其中所述前向数值方案为前向半拉格朗日方案。

15.根据权利要求1至权利要求14中任一项所述的方法，进一步包括基于所述空间表示构建所述场景的三维图。

16.一种成像的方法，所述方法包括：

使用内窥镜以从多个位置依次照明场景；

从相同视点中获取在所述表面每个照明处的所述场景的至少一个图像，从而提供场景的图像集合；以及

执行根据权利要求1至权利要求15中任一项所述的方法。

17.一种用于图像处理的计算机软件产品，所述计算机软件产品包括：由数据处理器可读取的非易失性存储器介质，所述存储器介质存储程序指令，当由所述数据处理器读取所述存储器介质时，引起所述数据处理器接收图像的集合并且执行根据权利要求1至权利要求14中任一项所述的方法。

18.一种用于成像的系统，所述系统包括：

内窥镜，所述内窥镜被安装有照明系统和图像传感器，所述照明系统经配置用于从多个位置照明场景，所述图像传感器用于从所述相同视点中获取在所述表面的每个照明处的所述场景的至少一个图像，从而提供场景的图像集合；以及

数据处理器，所述数据处理器具有电子电路和由所述电路可读取的非易失性存储器介质，其中所述存储器介质存储程序指令，当所述程序指令由所述电路读取时引起所述电路接收所述图像集合，并且执行根据权利要求1至权利要求14中任一项所述的方法。

19.一种处理场景的图像集合的方法，所述集合由限定图像平面的多个图像元素表示，所述图像由不同光强度空间分布但是相对于所述场景的相同视点来表征，所述方法包括：

对于至少一些图像元素中的每个，使用数据处理器用于独立地选择平行于所述图像平面的方向，基于所述选择的方向构建加权矢量场，并基于所述构建的加权矢量场计算在所述场景中的表面的垂直于所述图像平面的高度；以及

使用所述数据处理器以基于所述高度重构所述表面的三维空间表示。

20.根据权利要求19所述的方法，其中所述表面在所述集合的至少一个图像中被部分阻挡，并且其中所述方向的所述选择包括识别相邻于障碍的图像元素并针对所述识别的图像元素选择所述障碍的切线方向。

21.根据权利要求19和权利要求20中任一项所述的方法，其中所述方向的所述选择包括选择从所述图像元素指向还未由所述方法访问的相邻图像元素的方向。

22.根据权利要求19至权利要求21中任一项所述的方法，其中所述构建所述加权矢量场，包括：

计算用于所述集合的图像对的矢量，从而提供候选矢量的集合；

从所述候选矢量的集合中选择矢量对，所述矢量对与至少一个其它候选矢量对相比更正交于彼此；以及

基于所述选择的方向和基于所述所选择的矢量对计算所述加权矢量场。

23.根据权利要求19至权利要求22中任一项所述的方法，其中沿着扩展的波前动态选择所述图像元素。

24.根据权利要求19至权利要求23中任一项所述的方法，其中所述高度的所述计算是根据前向数值方案。

25.根据权利要求24所述的方法，其中所述前向数值方案为前向逆风方案。

26.根据权利要求24所述的方法，其中所述前向数值方案为前向半拉格朗日方案。

27.根据权利要求19至权利要求26中任一项所述的方法，进一步包括基于所述空间表示构建所述场景的三维图。

28.根据权利要求19至权利要求26中任一项所述的方法，进一步包括将所述三维空间表示与参考空间表示进行比较，并基于所述比较识别所述表面。

29.根据权利要求28所述的方法，其中所述表面为个体的面部的表面。

30.一种成像方法，所述方法包括：

从多个位置依次照明场景；

从相同视点中获取在所述表面的每个照明处的所述场景的至少一个图像，从而提供场景的图像的集合；以及

执行根据权利要求19至权利要求29中任一项所述的方法。

31.根据权利要求19至权利要求30中任一项所述的方法，其中图像的所述集合为场景图像的集合。

32.根据权利要求19至权利要求30中任一项所述的方法，其中图像的所述集合为内窥镜图像的集合。

33.一种检查对象的表面的方法，包括通过权利要求30所述的方法成像所述对象的所述表面，并分析所述三维空间表示从而检查所述对象的所述表面。

34.一种用于图像处理的计算机软件产品，所述计算机软件产品包括由数据处理器可读取的非易失性存储器介质，所述存储器介质存储程序指令，当所述存储器介质由所述数据处理器读取时，引起所述数据处理器接收图像的集合并且执行根据权利要求19至权利要求26中任一项所述的方法。

35.一种用于成像的系统，包括：

照明系统，所述照明系统用于从多个位置照明场景；

图像传感器，所述图像传感器用于从相同视点中获取所述场景的在所述表面的每个照明处的至少一个图像，从而提供场景的图像集合；以及

数据处理器，所述数据处理器具有电子电路和由所述电路可读取的非易失性存储器介质，其中所述存储器介质存储程序指令，当所述存储器介质由所述电路读取时，引起所述电路接收图像的所述集合并且执行根据权利要求19至权利要求26中任一项所述的方法。

36.根据权利要求35所述的系统，其中所述照明系统和所述图像传感器安装在内窥镜上。

37.一种便携式设备，所述便携式设备包括根据权利要求23所述的成像系统。

38.根据权利要求37所述的便携式设备，其选自由以下项组成的组：移动电话、智能电话、平板设备、移动数字照相机、穿戴式照相机、便携式媒体播放器、便携式游戏设备、便携式数字助理设备和便携式导航设备。