CN106464780A

CN106464780A - Xslit相机

Info

Publication number: CN106464780A
Application number: CN201480054829.8A
Authority: CN
Inventors: 于静怡; 叶劲薇; 季雨
Original assignee: University of Delaware
Current assignee: University of Delaware
Priority date: 2013-10-03
Filing date: 2014-10-03
Publication date: 2017-02-22
Anticipated expiration: 2034-10-03
Also published as: JP6462671B2; WO2015051282A2; US10546395B2; KR102207461B1; KR20160068829A; US20160253824A1; WO2015051282A3; JP2016539530A; CN106464780B

Abstract

提供了用于重建场景的多视角相机、系统和方法。通过耦接至成像传感器的透镜模块对代表场景的光进行引导。透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在第一柱面透镜和第二柱面透镜上。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并列间隔开。通过成像传感器捕获通过透镜模块所引导的光以形成至少一个多视角图像。处理至少一个多视角图像以确定场景的重建特征。

Description

XSLIT相机

关于联邦政府资助研究的声明

本发明部分由来自美国国家科学基金会的资助号IIS-CAREER-0845268和IIS-RI-1016395来支持。美国政府可以享有该发明的权利。

相关申请的交叉引用

本申请要求2013年10月3日提交的题为“XSLIT CAMERA”的美国临时申请序列号61/886,161的优先权，该申请全部通过引用并入本文。

技术领域

本发明涉及多视角相机领域，并且更具体地涉及用于计算机视觉应用的方法和XSlit相机，所述计算机视觉应用包括曼哈顿世界(MW)重建、立体匹配和编码孔成像。

背景技术

已知针孔相机。针孔相机通常包括单个小孔(即针孔)，并且不包括透镜。针孔相机通常收集来自场景的穿过共同投影中心(COP)的光线。针孔相机模型描述了三维(3D)点的坐标与其在理想针孔相机的图像平面上的投影之间的数学关系。针孔相机模型通常用作各种计算机视觉任务(例如对象识别、运动分析、场景重建、图像复原等)的成像模型。针孔模型由于至少两个原因而受欢迎。首先，针孔几何结构简单，其由三个参数(共同投影中心在三维中的位置)唯一地定义，并且其成像过程可以通过常规的3×4针孔相机矩阵一致地描述。其次，人眼表现为虚拟针孔相机。例如，人眼可以将线观察为线以及将平行线观察为会聚于消失点处。因而，通常还将针孔相机称为立体相机。

多视角相机也已用于计算机视觉。在一般情况下，多视角相机捕获源自空间中的不同点的光线。多视角成像模型广泛存在于自然界中。例如，昆虫复眼可以包括指向稍有不同的方向的数千个个体感光体单元。由多视角相机所收集的光线通常不通过共同投影中心，并且因此不遵循针孔几何结构。与针孔成像模型相比，多视角成像模型可以提供感知和/或解释场景几何结构的优势。

可以将交叉缝隙相机追溯到归功于Ducos du Hauron的交叉缝隙变形器。变形器通过利用沿着相机轴线间隔开的一对狭窄部分(垂直交叉的缝隙)来替换针孔进而修改针孔相机。图像失真出现变形或畸形，并且变形压缩的程度与使用交叉缝隙模型所估计的失真紧密匹配。交叉缝隙的这种蛮力实现具有光效率低和成像质量差的缺点。

发明内容

本发明的一方面可以以用于重建场景的方法来实施。该方法包括通过耦接至成像传感器的透镜模块对代表场景的光进行引导。透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在第一柱面透镜和第二柱面透镜上。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并列间隔开。该方法还包括：通过成像传感器捕获通过透镜模块所引导的光以形成至少一个多视角图像；以及通过处理器处理至少一个多视角图像以确定场景的重建特征。

本发明的另一方面可以以一种系统实施。该系统包括相机和图像处理模块，该相机被配置成捕获场景的至少一个多视角图像。该相机包括透镜模块，该透镜模块耦接至成像传感器。透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在第一柱面透镜和第二柱面透镜上。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并列间隔开。图像处理模块被配置成接收所捕获的场景的至少一个多视角图像并且确定场景的重建特征。

本发明的又一方面可以以多视角相机实施。该相机包括成像传感器和透镜模块，该透镜模块耦接至成像传感器。透镜模块包括各自沿着成像传感器的光轴定位的第一柱面透镜和第二柱面透镜。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并列间隔开。透镜模块还包括第一缝隙形孔和第二缝隙形孔，其分别设置在第一柱面透镜和第二柱面透镜上。成像传感器被配置成捕获场景的多视角图像。

附图说明

在结合附图阅读时可以从下面的详细描述来理解本发明。需要强调的是，按照惯例，附图的各种特征可以不按比例绘制。相反，为了清楚可以任意扩大或缩小各种特征的尺寸。此外，在附图中，使用共同的附图标记代表相同的特征。本专利或申请文件包含至少一个彩色附图。在请求和支付必要费用时将由政府机关提供具有彩色附图的本专利或专利申请公布的副本。附图中包含以下图：

图1是根据本发明的一方面的示例XSlit成像系统的原理框图；

图2A是根据本发明的一方面的图1中所示的成像系统的示例XSlit相机的分解透视图，示出了XSlit透镜模块和相机的部件；

图2B是根据本发明的一方面的图2A所示的示例XSlit相机的透视图；

图2C是根据本发明的另一方面的图1中所示的成像系统的示例XSlit相机和旋转模块的透视图；

图3A是根据本发明的一方面的图2A中所示的XSlit相机的缝隙孔相对于两个图像平面的透视图，示出了XSlit相机的光线几何结构；

图3B是根据本发明的一方面的图2A中所示的XSlit相机的缝隙孔、图像平面和具有共面平行线的平面的透视图，示出了共面线的图像是弯曲的并且在像平面上的两个不同点处相交；

图3C是根据本发明的一方面的线图像的示例，示出了根据线图像的交点识别XSlit消失点(XVP)和共面共同点(CCP)；

图4是示出根据本发明的一方面的用于重建MW场景的示例性方法的流程图；

图5A是示出根据本发明的一方面的示例MW场景的图像；

图5B是图5A中所示的由立体相机捕获的MW场景的图像；

图5C和图5D是分别示出根据本发明的一方面的由图2A中所示的XSlit相机捕获并根据MW重建处理而重建的图5A中所示的MW场景的示例图像；

图6A和图6B是根据本发明的一方面的示例XSlit相机的分解透视图，示出了用于捕获旋转立体图像对的缝隙孔布置；

图6C和图6D是根据本发明的一方面的示例XSlit相机和用于捕获旋转立体图像对的旋转环的透视图；

图7A是根据本发明的一方面的旋转XSlit立体图像对的极曲线和几何结构的透视图；

图7B是示出根据本发明的一方面的示例旋转XSlit立体图像对和相应极曲线的图像，示出了在两个极曲线上的对应特征点；

图8是示出根据本发明的一方面的用于旋转立体匹配的示例性方法的流程图；

图9A和图9B示出了根据本发明的一方面的场景的示例成对旋转XSLit立体图像；

图9C、图9D和图9E是示出根据本发明的一方面的基于像素的方案、具有失真校正的基于块的方案和不具有失真校正的基于块的方案从图9A和9B的立体图像对复原的相应视差图的示例图像；

图10A、图10B和图10C是示出根据本发明的一方面的示例场景和该场景的成对旋转XSlit立体图像的图像；

图10D、图10E、图10F和图10G是根据本发明的一方面的图10A中所示场景关于不同XSlit基线的示例立体匹配结果和差别图；

图11是根据本发明的一方面的由XSlit相机捕获的点扩散函数(PSF)的示例图像；

图11A、图11B、图11C和图11D由左到右示出了图11A中所示的图像的盒装部分(boxed-portion)；

图12是示出根据本发明的一方面的用于编码孔成像的示例性方法的流程图；

图13A是根据本发明的一方面的用于编码孔成像的示例XSlit相机的透视图，示出了XSlit透镜定位和通过XSlit相机的光线变换；

图13B是根据本发明的一方面的关于深度差异编码孔和宽带编码孔的作为频率的函数的示例功率谱的曲线图；

图14A、图14B、图14C和图14D是根据本的一方面发明的合成场景的示例图像，所述示例图像包括地面实况图像、XSlit编码孔图像和通过等效球面透镜(TESL)编码孔图像；

图14E、图14F、图14G和图14H是在相应的图14A至图14D中所示的编码孔图像和地面实况图像的示例深度图像；

图14I、图14J和图14K是基于图14A至14C中所示的相应TESL和XSlit编码孔图像所得到的示例去模糊图像；以及

图14L、图14M、图14N和图14O是示出在相应的图14D、图14I、图14J和图14K中所示的图像的一部分的图像。

具体实施方式

本发明的各方面涉及相机和图像处理模块，所述相机被配置成捕获场景的至少一个多视角图像，所述图像处理模块用于处理所捕获的场景的至少一个多视角图像。相机包括透镜模块，该透镜模块耦接至成像传感器。透镜模块包括：第一和第二柱面透镜，其沿着成像传感器的光轴定位；以及第一和第二缝隙形孔，其分别设置在第一和第二柱面透镜上。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并且并列间隔开。图像处理模块被配置成接收所捕获的场景的至少一个多视角图像并且确定场景的重建特征。

第一和第二柱面透镜之间的角可以大于或等于90度并且小于180度。因此，本文中还将透镜模块描述为XSlit透镜模块，将相机描述为XSlit相机，以及将多视角图像称为XSlit图像。在一些示例中，XSlit相机可以被配置成在(相对于成像传感器)不同的柱面透镜位置处捕获两个图像。所述两个图像还被称为旋转立体图像对。在一些示例中，XSlit相机可以包括编码孔以便执行编码孔成像，该编码孔包括深度差异码和宽带码。

场景的重建特征可以包括(如针对曼哈顿世界(MW)重建的)图像中的一个或更多个平面的标识、(如经由旋转立体成像的)深度图确定和/或(如经由编码孔成像的)场景的深度重建。在一些示例中，图像处理模块可以被配置成根据所捕获XSlit图像来执行MW重建。在一些示例中，图像处理模块可以被配置成根据旋转XSlit立体图像对来执行旋转立体匹配。在一些示例中，图像处理模块可以被配置成根据所捕获XSlit编码图像来进行编码孔成像。

参照图1，示出了用于捕获和处理多视角图像(在此还称为XSlit图像)的XSlit成像系统100。系统100包括XSlit相机102、控制器104、图像处理模块106、存储器108、显示器110以及用户接口112。在一些示例中，系统100可以包括旋转模块114，如用于利用(下面针对图8进一步描述的)旋转立体匹配模块122来执行旋转立体匹配。虽然未示出，系统100可以例如经由全球网络(即因特网)被耦接至远程位置。

XSlit相机102包括XSlit透镜模块116和相机118。如下面针对图2A和图2B进一步描述的，透镜模块116包括沿着XSlit相机102的光轴210设置的第一缝隙透镜202-1和第二缝隙透镜202-2，其中第一缝隙透镜202-1被布置成相对于第二缝隙透镜202-2呈一定角度。在一些示例中，缝隙透镜202被定位成彼此垂直(如图2A所示)。在其他示例中，如图3A所示，缝隙透镜202被布置成呈斜角(即，既不平行也不共面)。相机118可以包括具有主透镜和成像传感器(如在图2A中所示的成像传感器208)的任何合适的通用相机。在一个示例中，相机118包括由索尼公司制造的型号为NEX-5N的数码相机。为了将相机118转换为XSlit相机102，XSlit透镜模块116可以附接至(图2B所示的)相机118的主透镜。XSlit相机102可以被配置成捕获场景的XSlit图像(即多视角图像)。

控制器104可以耦接至XSlit相机102、图像处理模块106、存储器108、显示器110、用户接口112以及可选的旋转模块114中的一个或更多个，以控制对XSlit图像的捕获、存储、显示和/或处理。控制器104可以包括例如逻辑电路、数字信号处理器或微处理器。可以理解的是，可以由控制器104来执行图像处理模块106的一个或更多个功能。

图像处理模块106可以包括(下面针对图4、图8、图12进一步详细描述的)曼哈顿世界(MW)重建处理模块120、旋转立体匹配模块122和编码孔成像模块中的一个或更多个。MW重建模块120可以被配置成重建由XSlit相机102所捕获的MW场景的平面。与旋转模块114组合的旋转立体匹配模块122可以(经由XSlit相机102的旋转)捕获成对的XSlit图像并且执行立体匹配，以重建所捕获的场景的深度图。编码孔成像模块124与XSlit相机102一起使用编码孔，以重建由XSlit相机102所捕获的场景的深度。图像处理模块106可以包括例如逻辑电路、数字信号处理器或微处理器。

存储器108可以被配置成存储从XSlit相机102所捕获的XSlit图像、(来自图像处理模块106的)经处理的图像和/或图像处理结果中的至少一个。存储器108可以包括任何合适的有形非暂态计算机可读介质例如磁盘、光盘或硬盘驱动器。

可以将(从XSlit相机102)所捕获的XSlit图像和/或(来自图像处理模块106的)经处理的图像/结果显示在显示器110上。显示器110可以包括被配置成显示图像/图像处理结果的任何合适的显示装置。用户接口112可以包括能够接收以下所述的任何合适的用户接口：与例如图像处理模块106的模块120至124(例如当图像处理模块106中包括一个以上模块时)的选择相关联的用户输入、与图像处理模块104相关联的参数、针对所捕获图像/经处理图像/处理结果在存储器108中的存储选择、针对图像/结果的显示选择和/或与可选的旋转模块114相关联的参数。用户接口112可以包括例如定点设备、键盘和/或显示装置。尽管用户接口112和显示器110被示出为独立设备，但是应该理解的是，可以将用户接口112的功能与显示器110的功能组合到一个装置中。

可选的旋转模块114可以被配置成使缝隙透镜202和/或相机118旋转。旋转模块114可以与旋转立体匹配模块122组合使用，以从XSlit相机102捕获成对XSlit图像。如图6A至图6D所示，旋转模块使缝隙透镜202-1、202-2相对于相机118旋转90度，以便利用(相对于光轴210)不同的缝隙透镜202布置来捕获同一场景两次。在一些示例中，可以如图6A和图6B所示的那样物理地旋转第一缝隙透镜202-1和第二缝隙透镜202-2。在其他示例中，可以如图6C和图6D所示的那样物理地旋转相机118，以产生与旋转每个缝隙透镜202-1、202-2相同的效果。

本领域技术人员可以根据本文的描述来理解合适的XSlit相机102、控制器104、图像处理模块106、显示器110、用户接口112和可选的旋转模块114。

接下来参照图2A和图2B，示出了示例XSlit相机102。具体地，图2A是XSlit相机102的分解透视图，而图2B是XSlit相机102的透视图。图2A示出了XSlit透镜模块116和相机118的成像传感器208相对于光轴210的布置。图2B示出了在相机118的透镜管212内缝隙透镜202-1、202-2的示例布置。应当理解的是，图2B中所示的布置代表XSlit相机102的示例实施方式，并且可以使用其他相机118和透镜管112布置。虽然在图2B中示出了三个透镜管212，相机118可以包括更少的透镜管212或附加的透镜管212。在一些示例中，缝隙透镜202-1、202-2可以在不具有任何透镜管212的情况下直接耦接至相机118。可以使用透镜管212以按照预定角度(即正交地或斜交地)对准缝隙透镜202-1、202-2。

如图2A所示，XSlit模块116包括沿光轴210设置的第一缝隙透镜202-1和第二缝隙透镜202-2。缝隙透镜202各自包括柱面透镜204(其具有延伸通过透镜的柱轴)和缝隙孔206。缝隙孔206被设置在柱面透镜204上并且被布置成使得缝隙长度沿柱面透镜204的柱轴方向延伸。第一缝隙透镜202-1被定位成相对于第二缝隙透镜202-1呈一定角度，所述角度相对于第一柱面透镜204-1和第二柱面透镜204-2的柱面透镜轴。第一缝隙透镜202-1与第二缝隙透镜202-2之间的角可以小于180度并且大于或等于90度。因为第一缝隙透镜202-1被布置成与第二缝隙透镜202-2呈一定角度，所以第一缝隙透镜202-1与第二缝隙透镜202-2的组合相对于光轴210形成交叉(即，X)。

XSlit相机102可以收集三维空间中的同时通过两个缝隙206-1、206-2(斜交或正交)的光线。柱面透镜204是将穿过柱面的光线聚焦于下述线上的柱面的一部分(如成像传感器208)，所述线平行于透镜204的表面和与透镜204相切的平面的交叉部分。柱面透镜204在垂直于这条线的方向上压缩图像，并且使其在平行于这条线的方向上(在切线平面上)保持不变。柱面透镜(204-1、204-2)的两个层可以连接在一起以合成XSlit透镜模块116。为了进一步提高XSlit相机102的场的深度，柱面透镜204各自与缝隙形孔206耦接。一般地，缝隙宽度越窄，由XSlit相机102可以捕获场的深度越深。

在一些示例中，可以用一维(1D)编码孔206-1'、206-2'代替缝隙孔206-1、206-2。可以经由编码孔成像将编码孔206'与编码孔成像模块124一起用于重建场景的深度。第一编码孔206-1'可以包括高深度差异编码，而第二编码孔206-2'可以包括宽带码。下面针对图12进一步描述了编码孔成像模块。

参照图2C，示出了被布置有旋转模块114的XSlit相机102的透视图。图2C中所示的示例可以用于执行(下面针对图6A至图6D和图8进一步描述的)旋转立体匹配。可以理解的是，图2C中所示的布置代表XSlit相机102和旋转器模块114的示例实施方式，并且可以使用其他相机118、其他透镜管112布置(或不具有透镜管112布置)和各种类型的旋转模块114来执行旋转立体匹配。在图2C中，旋转模块114被表示为指示旋转环。指示旋转环可以用于在同一布置中使第一缝隙透镜202-1和第二缝隙透镜202-2保持，同时使相机118旋转90度(如图6C和图6D中所示)，以便捕获场景的成对(旋转)立体图像。

返回参照图1，可以将XSlit相机102用于许多计算机视觉应用中。计算机视觉应用的若干示例由图像处理模块106来代表，包括MW重建模块120、旋转立体匹配模块122和编码孔成像模块124。接下来描述这三个计算机视觉应用。可以理解的是，图1中所示的计算机视觉应用代表XSlit相机102的示例计算机视觉应用，并且XSlit相机102还可以用于其他计算机视觉应用。

曼哈顿世界(MW)重建

曼哈顿世界场景通常基于笛卡尔坐标来描述真实世界场景。MV场景由平面和与三个互相正交的主轴对准的平行线构成。MW模型很适合于许多呈现了强几何规则性如平坦的墙、轴对准的窗户和尖利的角(例如城市场景等)的人造(内部/外部)环境。先前的努力集中在针对相机校准使用MW假设从图像重建MW场景。对于MW重建的挑战是MW场景通常呈现重复的线图案而缺少用于区分他们的纹理，使得难以直接应用立体匹配。

根据单个图像的MW重建是具有挑战性的。当前的方法是针对近场景几何结构利用单眼线索如消失点和参考平面(例如地面)。一些方法使用图像属性(颜色、边缘取向等)来标识具有不同几何分类(例如天空、地面、垂直物)的图像区域并且使用这个信息来生成视觉上令人愉悦的3D重建。一些方法检测图像中的线结构以恢复消失点和相机参数。其他方法应用机器学习技术来根据图像特征并且使用马尔科夫随机场(MRF)推断深度，以确定平面区域的位置和取向。

成像系统的MW重建模块120使用(来自XSlit相机102的)XSlit图像来执行单个图像曼哈顿世界(MW)重建。基于针孔的MW重建的困难在于共面模糊。虽然可以通过针孔成像检测到一组平行3D线的消失点，但是存在关于哪些线属于同一平面的模糊。共面模糊可以通过使用XSlit相机102获取场景来解决。在概念上，3D平行线在XSlit相机102中被映射成二维(2D)曲线。这些2D曲线将在多个点处相交而非单个消失点(图3B所示)。类似于在针孔相机中，XSlit图像中的平行线的图像虽然是弯曲的，但仍将在消失点(被称为XSlit消失点(XVP))处会聚。然而，与针孔相机相反，共面3D线的XSlit图像一般将在第二公共点(在本文中被称为共面公共点(CCP))处相交。CCP是不存在于针孔相机中的XSlit相机102的特征。根据MW重建模块102的MW重建根据识别的XVP和CCP来直接恢复3D线的几何结构以重建MW场景。

参照图3A，描述了XSlit相机102的射线几何结构。在图3A中，缝隙1和缝隙2分别涉及缝隙孔206-1、206-2，以及图像平面可以涉及图2A中的成像传感器208。传统方法使用从3D点到2D像素的投影来对相机中的成像过程进行建模。如下所述，将投影过程分解为两个部分：从3D点映射至XSlit相机102中收集的射线以及从射线映射至像素。使用用于使射线参数化的双平面参数化(2PP)。在2PP中，将每个射线(r)参数化为[u,v,s,t]，其中，[u,v]和[s,t]是与分别位于z＝0和z＝1处的两个平行图像平面∏_uv和∏_st的交点。可以将射线[u,v,s,t]视为两点表示的线。为了进一步简化分析，使用[u,v,σ,τ]参数化，其中，σ＝s–u以及τ＝t–v。将图像平面∏_uv选为默认图像(传感器)平面，使得可以将[σ,τ,1]视为射线的方向。

XSlit相机收集在3D空间中同时穿过两个缝隙(斜交(即，既不平行也不共面)或正交)的射线。给定两个缝隙l₁和I₂，可以如下来构建2PP：选择∏_uv和∏_st，使得他们平行于两个缝隙但是不包含两个缝隙，如图3A所示。接着，将两个缝隙正交投影在∏_uv上并且将他们的交叉点用作坐标系的原点。假设I₁和I₂位于z＝Z₁和z＝Z₂处且具有方向和其中，Z₁≠Z₂以及

发明人已经确定对于XSlit相机102中的射线的射线几何约束(又被称为XSRC)为：

其中：

发明人已经确定光线穿过3D线(l)(即，涉及3D场景的3D线)的约束、3D线平行于成像传感器平面(∏_uv)的约束以及3D线不平行于成像传感器平面(∏_uv)的约束。平行线性约束为：

3D线的非平行线性约束为：

XSRC(等式1)和3D线约束(等式2和3)可以用于检查3D线(l)的XSlit图像。具体地，发明人已经确定3D线映射到2D圆锥曲线(图3B所示)，并且圆锥曲线为以下形式的双曲线：

并且

其中，和表示双曲线的系数，等式(1)中示出系数A至F以及和是XSlit固有性质(即，他们对于所有3D线是相同的)。3D线不能直接根据其双曲线图像进行重建。这是因为3D线具有四个未知量(u,v,σ,τ)，而上面的分析可以用于确定u和v系数，以及等式(3)中的常数项。类似的模糊性存在于针孔相机中。

参照图3B，对于XSlit相机102，(平面∏上)共面线的图像将在图像平面∏_uv上相交于两个公共点处：XSlit消失点(XVP)和共面消失点(CCP)。因此，假设平行线不平行于图像平面∏_uv，则他们在图像平面上的图像具有消失点XVP。对于位于平面∏上不平行于两个缝隙(缝隙1和缝隙2)的一组线他们在XSlit相机102中的图像相交于第二公共点CCP。CCP是不存在于针孔相机中的XSlit相机102中的特有的图像特征。发明人已经确定：给定一组共面平行线如果这些线具有CCP，则CCP与线的XVP不重合。

为了恢复平面∏，确定∏的法线。给定XVP[u_v,v_v]和XSlit固有参数(A、B、C、D和E)，确定的方向为：

CCP[u_c,v_c]还对应于位于平面∏上的射线。可以根据等式(1)确定CCP的方向为：

因为XVP和CCP将不会重合，所以和CCP的方向(即)并不共线。∏的法线因此为最终，因为CCP位于∏上，所以确定∏的偏移d为：

d＝n_xu_c+n_yv_c， (7)

其中，法线为

参照图3C，对于MW场景，假设场景中的对象由与三个互相正交的主轴对准的线和平面构成。在由XSlit相机102捕获的MW场景中，所有CCP 302和XVP 304位于三角形上，其中，XVP 304对应于三角形顶点以及CCP 302-1、302-2、302-3位于三角形的边(或者边的延长部分)上。图3C还示出表示3D线的圆锥曲线。

接着参照图4，示出用于MW重建的示例方法。图4所示的步骤可以通过MW重建模块120(图1)根据由XSlit相机102捕获的XSlit图像来执行。图4所示的步骤表示本发明的示例实施方式。要理解的是，某些步骤可以按照与所示出的不同顺序的顺序进行执行。

在步骤400，捕获MW场景的XSlit图像。为了重建MW场景，将XSlit相机102倾斜，使得缝隙孔206-1、206-2(图2A)与场景中的平面(例如建筑物)的主轴不平行(以获得不同平面(例如不同的建筑物表面)的XVP和CCP)。如果缝隙孔206不平行于主轴，则CCP将不存在，并且线图像将不会弯曲。在一些示例中，所捕获的图像可以存储于存储器108(图1)中。

在步骤402，用圆锥曲线拟合所获得的XSlit图像中的线图像(例如图3C中的线图像300)。在步骤404，确定圆锥曲线的成对的交点。如上所述，线的图像为如等式4所示的双曲线，其中，系数A至F通过XSlit相机固有性质(XSlit相机固有性质可以预先确定并且对于所有双曲线是相同的)来唯一地确定。通过使用曲线上的采样点形成圆锥曲线系数的超定线性系统来应用曲线拟合方案。应用奇异值分解(SVD)来求解圆锥曲线参数至在Ding等人(“Recovering Specular Surfaces Using Curved Line Images,”CVRP 2009)中描述了示例性的曲线拟合方案。为了总结方法，圆锥曲线参数可以应用于二次圆锥曲线函数并且识别根据由两个圆锥曲线函数形成的二次方程式所识别的交叉点。

在步骤406，根据成对的交叉点来确定XVP和CCP。除了XVP和CCP以外，每两个对应于两个非平行(即不平行的)3D线的圆锥曲线同样可以相交。因为他们的交叉点将不会被其他圆锥曲线共享，所以可以移除仅出现一次的交叉部分以消除异常值。

所有CCP位于由三个XVP确定的三角形的边上。因此，使用其余交叉部分来拟合三条线，并且使用作为结果的三角形顶点(例如来自图3C中的点304)和边(点302)来将XVP(点304)和CCP(点302)分离。图3C示出这个针对由6个平面上的18条线300构成的简单场景的处理。每个平面具有位于其上的3条平行线并且所有线的方向与三个主轴对准。

在步骤408，根据在步骤406中确定的XVP和CCP、基于等式5至等式7来重建平面。为了根据单个XSlit图像来重建MW场景，将每个CCP映射回至平面(每个CCP对应于场景中的唯一的3D平面)。具体地，针对每个检测到的CCP，将CCP与XVP 304(三角形顶点)中的一个组合以用于计算等式5和等式6中的平面等式。

在步骤410，将XSlit图像中的曲线段映射至3D线段并且用于截断步骤408中恢复的平面。可以通过将源自圆锥曲线的XSlit射线与重建的平面相交来将每个曲线段映射回至3D线段。线段的端点可以用于截断恢复的平面。平面等式定义无限平面。因为3D线位于重建的平面上，所以线的长度确定平面的范围。可以使用3D线的长度(或者线段的端点)来将平面截断至其实际大小。

在步骤412，可以对恢复的模型进行渲染，以生成场景的图像。可以将恢复模型的模型渲染为多视角图像和/或透视图像。

可以考虑的是，非暂态计算机可读介质可以存储用于步骤402至412的机器执行的计算机可读指令。

接着参考图5A至图5D，使用XSlit相机102和MW重建模块120(图1)来重建示例真实MW场景。在图5A至图5D示出的示例中，使用镜头相机(Sony NEX-5N)，其中，用一对柱面透镜——每一个使用图2A所示的两个缝隙孔——来替换镜头相机的透镜。在示例中，对可互换镜头相机而非单镜头反射(SLR)相机进行修改，这是因为镜头相机具有较短的凸缘焦距(FFD)，即传感器与透镜架之间的距离。对于出现明显弯曲的3D线，该线应当相对于图像平面跨越了大的深度范围。因此，期望的会是不仅将相机放置得较接近于对象而且使用具有大的视场和较小焦距的透镜。示例XSlit相机使用两个柱面透镜，一个(较接近于传感器)具有25mm的焦距，而另一个透镜具有75mm的焦距。为了校准XSlit相机，将五条线的图案和辅助透视相机用于确定线位置和取向。然后进行曲线拟合以恢复XSlit固有性质。

图5A示出示例MW场景。场景由位于两个不同平面上的平行线构成，其中具有放置于两个平面之间的小的图像。将XSlit相机倾斜使得其两个缝隙不平行于场景中的线。

图5B为图5A中示出的MW场景的由透视相机捕获的图像。在通过透视相机进行观察时，线显得几乎相同。虽然线在公共消失点处相交，但是难以分辨他们是否属于不同平面。

图5C为图5A所示的MW场景的由示例XSlit相机捕获的图像。与图5B相反，两个平面的线在XSlit相机图像中不同。如图5C所示，线呈现不同的弯曲并且观察者可以直接识别出线不属于同一平面。

图5D为示出使用XSlit图像(图5C所示)的MW重建的图像。圆锥曲线拟合和CCP/CVP检测方法被应用于XSlit图像上的线图像(上面关于图4所描述的)。在示例中，一个XVP和两个CCP被识别并且被用于将两个恢复的平面映射回所获取的XSlit图像上。

总之，(如通过MW重建模块120的)MW重建处理经由XSlit成像(即非针孔成像)来提供MW场景重建。XSlit图像中的XSlit消失点(XVP)和共面公共点(CCP)可以用于将共面平行线分组。每组共面平行线在他们的XSlit图像中的XVP和CCP处相交并且其几何结构可以根据XVP和CCP来直接恢复。

旋转立体匹配

立体匹配是计算机视觉中广泛研究的问题。其旨在通过检查两个视点的相对位置来提取3D信息，类同于生物立体观测处理。当前的方法使用在平移运动下的透视相机。使第二相机平移离开第一相机，以具有用于产生视差的足够的相机基线(baseline)。可以通过将输入图像投射在公共图像平面上来进一步校正输入图像以具有完全水平的视差。

参照图1A、图2C、图6A和图6B，XSlit相机102可以耦接至旋转模块114并且用于捕获旋转XSlit立体图像对。所捕获的图像对可以被旋转立体匹配模块122用于重建场景的深度图。因此，XSlit相机102可以通过固定成像传感器208、第一缝隙透镜202-1和第二缝隙透镜202-2中每一个(相对于光轴210)的位置并且同时转换每个缝隙透镜202-1、202-2(参见图6A和图6B)的方向来形成立体图像对。可以通过旋转透镜202-1、202-2中每一个(如图6A和图6B所示)或者通过旋转相机118(实际上旋转成像传感器208)来将缝隙透镜202-1、202-2的方向转换90度。例如，旋转模块114可以用于固定XSlit透镜模块116并且相对于透镜模块116来旋转相机118(图6C和图6D所示)。在下面的描述中，XSlit1指代缝隙透镜202-1、202-2的第一方向(即旋转之前)，而XSlit2指代透镜202-1、202-2(经由直接旋转透镜202或者经由旋转相机118)旋转之后的缝隙透镜202-1、202-2的第二(相反)方向。

因此，XSlit相机102可以通过固定传感器/缝隙透镜位置(同时转换缝隙方向)——而非通过相机平移——来捕获立体图像对。在一些示例中，可以将XSlit透镜模块116安装在商品相机上并且经由旋转模块114改变缝隙方向，以捕获R-XSlit对。

旋转XSlit相机102会是有益的，这是因为其可以通过仅旋转缝隙来实现“固定位置”立体摄影，因此消除了对(如在透视立体成像中所使用的)在不同空间位置处放置两个相机的需要。旋转XSlit立体图像例如在外科手术情景下会是有用的。例如，可以将单个旋转XSlit相机用作用于使器官在3D中可视化的侵入设备，其中空间通常未大到足以容纳传统平移立体相机(以供他们适当地运行)。

参照图7A，描述了旋转XSlit图像对的对极几何。对于旋转立体模型，选择平行于两个缝隙但是不包含缝隙的两个图像平面∏_uv和∏_st。将两个缝隙正交投影在∏_uv上并且将交叉点用作坐标系的原点。使用[u，v，σ，τ]参数化表示，其中，σ＝s–u以及τ＝t–v。将图像平面∏_uv选为默认图像(传感器)平面，使得可以直接将(u，v)用作像素坐标并且可以将(σ，τ，1)视为射线的方向。假设两个缝隙I₁和I₂位于z＝Z₁和z＝Z₂处并且关于x轴具有角度θ₁和θ₂，其中Z₂>Z₁>0并且θ₁≠θ₂。因此，可以将每个XSlit相机102(即旋转之前和之后)表示为C(Z₁，Z₂，θ₁，θ₂)。C图中的每个像素(u，v)映射至如下具有方向(σ，τ，1)(参见附录A)的射线：

其中

A＝Z₂cosθ₂ sinθ₁-Z₁cosθ₁sinθ₂，B＝(Z₁-Z₂)cosθ₁ cosθ₂，

C＝(Z₁-Z₂)sinθ₁sinθ₂，D＝Z₁ cosθ₂sinθ₁-Z₂ cosθ₁ sinθ₂，

E＝Z₁Z₂sin(θ₂-θ₁)

可以将旋转XSlit相机对表示为两个XSlit相机，其中，XSlit 1：C(Z₁，Z₂，θ₁，θ₂)以及XSlit 2：C′(Z₁，Z₂，θ₂，θ₁)。换言之，缝隙对如图7A所示转换他们的方向。

对极几何指代立体视觉几何。通常，在两个相机从两个不同的位置观察3D场景时，存在3D点与2D图像上的他们的投影之间的导致图像点之间的约束的若干几何关系。通常，存在三种对极几何：平面、双曲面和双曲抛物面。如果存在对极几何，则应当存在沿C′(Z₁，Z₂，θ₂，0)的曲线，其中，源自曲线的所有射线与相交。

发明人已经确定旋转XSlit相机对形成有效的对极几何，使得具有以下形式的极曲线(epipolar curve)：

sinθ.uv-cosθ·v²＝κ (9)

存在于两个XSlit相机(即在旋转XSlit相机102之前和之后)中，其中K为常数。

等式9示出：不同于透视立体摄影，旋转XSlit相机对中的极线为双曲线形式的。然而，立体图像对中每个图像之间的对应性的搜索空间仍被有效降低至一维(1D)。

图7B示出厨房场景中的一部分的立体图像对。图像700-1为缝隙透镜202-1、202-2在第一位置的场景的第一图像。图像700-2为(通过旋转缝隙透镜202-1、202-2或者通过旋转相机118)缝隙透镜202-1、202-2转换至相反位置(即第二位置)的场景的的第二图像。极曲线702被定位和绘制在每个图像700上。还示出了沿相应极曲线702-1、702-2的特征点之间的对应性704。

将差别(disparity)用于立体视觉中以确定对象深度。通常，将图像进行比较。将两个图像关于彼此相互移动以找到匹配部分。所移动的量被称为差别。通常，差别取决于对象深度，是对象深度的单调函数并且可以用于在第二视图中定位对应像素。

在当前的透视立体匹配方案中，将差别定义为水平视差。然而，在旋转XSlit图像对中，因为极曲线为双曲线，所以对应像素既呈现出垂直视差又呈现出水平视差。旋转XSlit图像对差别(d^xs)被定义为：

因此，给定C中的像素(u_p，v_p)及其关于C′的差别则可以确定C′中的对应像素p′。具体地，可以确定并且然后极曲线可以用于确定u′_p＝(cosθ·v′_p)/sinθ＋κ/(sinθ·v′_p)，其中，

在透视相机中，当场景点位于连接两个投影中心(CoP)的线上时出现差别的奇异性(singularity of disparity)，即来自两个相机的射线变得相同。根据等式(10)，旋转XSlit图像对在v＝0处具有奇异性，在v＝0处不能再计算差别。实际上，v＝0意味着对极几何仍存在并且其对应于y＝0平面。在该情况下，差别被重新定义为d^xs＝u/u′——在y＝0时与v′/v一致。实奇异性是当x＝y＝0时，即射线与z轴对准——该射线是仅被两个XSlit相机共享的射线。

为了根据旋转XSlit图像对来恢复深度，可以通过将立体匹配建模为XSlit差别标识来使用图割算法。具体地，可以将差别d^xs(等式10)离散化成M标识(M为整数)。在将标识i∈[1,M]赋予C中像素p的情况下，可以如上所述来确定其在C′中的对应像素将标识分配给C中的像素p的能量函数E与透视立体匹配中使用的能量函数相同并且可以表示为：

其中，P是C中所有像素的集合，N表示像素邻域，并且非负系数α平衡(balance)数据项和平滑项E_s。项I(p)和I′(p)指代旋转XSlit图像对。

一旦恢复了差别图，就可以通过将等式(10)转化为如下来确定对象深度z：

等式(11)既适用于v轴上的像素也适用于v轴外的像素。

数据项的关于像素的比较可以对于相机校准和图像噪声是敏感的。期望的会是将块相似性进行比较以提高稳健性(与关于像素的比较相反)。不同于透视立体摄影，XSlit图像中的图像块失真(例如被剪切和/或被拉伸)，其中，失真通过缝隙位置/方向和对象深度进行确定。为了执行立体匹配，首先校正XSlit图像对中的失真并且然后测量块相似性。

接着参照图8，示出用于旋转立体匹配的示例方法。图8所示的步骤可以通过旋转立体匹配模块122(图1)、根据由XSlit相机102与旋转模块114相结合所捕获的一对XSlit图像来进行执行。图8所示的步骤表示本发明的示例实施方式。要理解的是某些步骤可以按照不同于所示出的顺序的顺序进行执行。

在步骤800，在缝隙透镜202-1、202-2被定位成沿着第一方向(如图6A和图6C所示)的情况下，通过XSlit相机102来捕获场景的第一XSlit图像。第一XSlit图像可以存储于存储器108中。在步骤802，经由旋转模块114将相机118(图1)和/或缝隙透镜202-1、202-2旋转90度(如图6B和图6D所示)，使得缝隙透镜202-1、202-2被定位成沿着与第一方向相反的第二方向。在步骤804，在透镜202沿第二方向(响应于步骤802)的情况下，通过XSlit相机102捕获场景的第二XSlit图像。第二XSlit图像同样可以存储于存储器108中。第一和第二XSlit图像表示旋转XSlit图像对。

在步骤806，可以例如基于等式(9)将极曲线定位于第一和第二XSlit图像的每一个中。为了定位极曲线，可以使用等式(9)。通过选择κ的值(例如κ＝2)，可以在对应的第一和第二XSlit图像中获得一组极曲线。

在步骤808，将第一和第二图像中每一个划分成m×n像素的块。在一个示例中，每个块大小为5×5像素。可以将块大小选得足够小，使得深度值在每个块中基本恒定。

在步骤810，在第一和第二图像中的每一个中的每个块中校正失真。因为XSlit图像中的失真可以包括剪切和拉伸，所以失真校正包括不剪切(un-shear)块并且然后调整块的大小使得块具有相同的纵横比。

在将差别标识分配给相机C中的像素时，首先在每个XSlit视图中用剪切矩阵来对块进行剪切，其中，s为剪切因子。对于C，以及对于C′，其中，z_i是与相对应的场景深度。

接着，校正纵横比失真。对于深度z_i处的场景点，其在C中的纵横比可以被确定为以及在C’中可以被确定为通过等式(10)，纵横比与对应于z_i的差别相同。因此可以直接将用作比例因子。假设原始图像分辨率在C中为m×n以及在C′中为n×m，(图像对的)第一图像的大小被调整为并且(图像对的)第二图像的大小被调整为

在步骤812，沿极曲线(步骤806)来测量块相似性(在步骤810中的失真校正之后)。因此，可以根据调整大小的结果(步骤810)来查询相同大小的块以确定块相似性。为了加快处理，可以用不同的差别标识对输入图像对预先按比例进行调节(并且存储于存储器108(图1)中)。具有特定差别标识的预先按比例调节的块然后可以从存储器108被检索并且用于确定块相似性。可以通过平均强度来测量块相似性。相似值在向每个块分配深度标识时提供惩罚项(penalty term)。例如，给定两个块，他们的相似性可以按照所有对应像素上的平均强度/色差进行确定。差可以按照L₁范数或L₂范数进行测量。

在步骤814，通过将相似性测量并入任意合适的立体匹配算法中来重建深度图，立体匹配算法例如但不限于图割、基于边缘的、由粗至精、自适应窗、动态规划、马尔科夫随机场和多基线技术。

可以考虑的是非暂态计算机可读介质可以存储用于步骤806至814的机器执行的计算机可读指令。

参照图9A至图9E，描述了针对场景的示例旋转立体匹配结果。R-XSlit对为P(1.0,1.5,105°)，其中，1.0表示缝隙透镜202-2至成像传感器208的距离，1.5表示缝隙透镜202-1至成像传感器208的距离以及105°表示缝隙透镜202-1、202-2之间的角度。具体地，图9A和图9B为包括地面实况(ground truth)图(图9A所示)的一对输入XSlit图像；图9C为针对使用图割的基于像素匹配的恢复的差别图；图9D为针对具有失真校正的基于块匹配的恢复的差别图；以及图9E为针对没有失真校正的基于块匹配的恢复的差别图。

使用具有一般的XSlit相机模型的POV-Ray射线追踪器(www.povray.org)来合成图像。场景具有[6,35]的深度范围。将σ＝0.05的高斯噪声添加至渲染的XSlit图像。基于像素的结果(图9C)缺少平滑性并且包括图像噪声。相反，没有失真校正的基于块的结果(图9E)产生大的误差。

在一个示例中，可以对缝隙透镜202-1、202-2(图6A)进行定位使得他们正交并且轴对准。这又被称为平行正交XSlit(POXSlit)相机。当缝隙透镜202-1、202-2被布置成形成POXSlit相机时，极曲线变成uv＝κ。POXSlit相机的图像可以显得类似于透视相机，具有较少的失真。

接着参照图10A至图10G，将旋转立体匹配方法(图8)用在以旋转POXSlit相机102获取的场景上。具体地，图10A示出用于由大约五个深度层构成的室内场景的实验装置。对该场景捕获两次(第一次作为XSlit1以及然后通过将相机102关于旋转环114旋转90度进行捕获的作为XSlit2)，以生成旋转POXSlit图像对。两个XSlit图像以2448×1376的分辨率被捕获并且被下采样至他们的原始分辨率的一半。两个缝隙透镜关于成像传感器208的位置为Z₁＝38mm以及Z₂＝66mm。缝隙孔206-1、206-2每一个具有2mm的宽度。图10B和图10C示出所捕获的第一和第二旋转XPOSlit图像。

环的旋转并不保证光轴210(即中心射线)被完全对准。然而，失真校正的基于块的图割算法可以适用于根据POXSlit图像对来恢复差别图。这类同于对稍微未对准的透视图像对进行立体匹配。虽然恢复的差别图仍可以展现有意义的场景结构，但是未对准可能会导致不准确的深度图。

图10D和图10F为示出给定POXSlit图像对(图10B和图10C)针对小基线(1.7)和大基线(2)的立体匹配结果的图像，其中，基线被定义为Z₂/Z₁。图10E和图10G为与图10D和图10F相对应的恢复的差别图。

在这个示例中，在基于块的立体匹配适用的[1.8,2.3]的范围，差别标识离散化为20级。在图10D和图10E中，使用相对小的XSlit基线(1.7)。作为结果，最大可解析深度相对小并且深度误差相对大。处理能够区分深度层1002、1004和1006。然而，其不能区分计算机图形学(computer graphics)书和图案化背景。

参照图10F和图10G，通过同样在固定Z₁的情况下将Z₂调节至76mm来将XSlit基线增大至2。通过增大基线，最大可解析深度增大并且深度误差可以降低。图10G示出背景和书现在被分别检测为两层(相应的层1008和1010)。然而，新的R-POXSlit图像具有较窄的视场。此外，图像呈现了较强的失真，例如，与图10D相比图10F被更多地水平拉伸。

编码孔成像

计算成像和摄影的新进展已经使得用于解决传统的挑战性的计算机视觉问题的许多新的解决方案得以实现。一类显著的解决方案为编码计算摄影。通过关于时间、空间、波长等来策略性地遮挡光，编码计算摄影可以有助于场景重建并且可以保持图像质量。例如，编码孔技术——其最初在天文学和X线成像中被发展——已经被扩展至商品相机。在当前相机中，编码图案使散焦模糊的频率特性与场景深度相关联以使得能够可靠地进行去卷积和深度估计。

当前的编码孔系统形成于装备有球面薄透镜和圆形孔的商品相机上。球面透镜可以在孔较小时有效地效仿针孔投影。这个模型还有助于从孔径大小和对象距离方面容易地分析景深。为了实现编码孔，通常的做法是用期望的编码图案替换圆形孔。

参照图1，成像系统100可以使用来自XSlit相机102的XSlit图像经由编码孔成像模块124来执行编码孔成像。如上所讨论的，在几何学上，XSlit镜头相机102收集同时穿过XSlit透镜模块116(包括在3D空间中的两个斜交或正交的缝隙)的光线。与球面透镜相比，XSlit透镜模块116产生不同的潜在有益的景深(DoF)。具体地，当两类透镜具有类似的通过量时，XSlit透镜模块116呈现较好的DoF。

参照图13A，示出了XSlit相机102的部分的透视图。图13A示出第一透镜204-1和第二透镜204-2关于成像传感器208的位置。图13A还示出光线(r_i)穿过透镜204-1、204-2的变换的示例。虽然图13A将第一柱面透镜204-1示出为与第二柱面透镜204-2正交，但是也可以将透镜204-1、204-2以倾斜角度进行布置。因此，以下关于柱面透镜204的正交布置所描述的编码孔成像处理也可以在柱面透镜204以倾斜角度进行布置的情况下进行执行。

在图13A中，将第一柱面透镜204-1定位于距成像传感器208的距离z＝I₁处。将第二柱面透镜204-2定位于距成像传感器208的距离z＝I₂处，其中，I₁>I₂。第一柱面透镜204-1和第二柱面透镜204-2具有各自的焦距f₁和f₂。第一柱面透镜204-1和第二柱面透镜204-2还具有各自的矩形孔(例如如图2A所示)——矩形孔具有各自的宽度w₁和w₂。

透镜的孔可以引入散焦模糊并且减小DoF。散焦模糊可以根据点扩散函数(PSF)——又被称为模糊核(blur kernel)——进行确定。发明人已经确定可以将XSlit相机102的PSF(模糊核)(又被称为XSlit PSF)表示为：

在图11和图11A至图11D中示出示例PSF。图11表示在不同深度处捕获的XSlitPSF。图11A至图11D表示图11中示出的高亮部分——从图11的左到右取得。将具有焦距50mm和50mm的XSlit相机102用于捕获投影在倾斜屏(screen)上的32×24点阵(相对于相机范围从15cm至36cm)。如图11A至图11D所示，XSlit PSF关于深度在形状和比例二者上均变化。因此，XSlit PSF为各向异性的并且其形状与深度有关。

基于XSlit相机102的DoF分析，可以确定用于编码图案成像的编码孔图案。开发编码图案是有挑战性的：理想图案必须具有两个矛盾的性质，即可靠的去卷积和高的深度差异(discrepancy)。期望的是孔编码图案(aperture code pattern)是宽带的以确保稳健的去卷积。还期望的是对于孔编码图案在频域包含许多零交点，以区分不同的深度层。XSlit透镜模块116使用具有宽带码(broadband code)的缝隙孔206-2′对缝隙透镜202(图2A)中具有较小尺寸的一个缝隙透镜(即缝隙透镜202-2)进行编码并且使用具有高的深度差异码的缝隙孔206-1′对另一缝隙透镜(即缝隙透镜202-1)进行编码。

接着参照图12，示出编码孔成像的示例方法。图12所示的步骤可以由编码孔成像模块124(图1)使用编码孔206-1′、206-2′(图2A)根据由XSlit相机102捕获的XSlit图像来执行。图12所示的步骤表示本发明的示例实施方式。要理解的是某些步骤可以按照不同于所示出的顺序的顺序进行执行。

在步骤1200，将具有高的深度差异码的1D编码孔206-1′应用于第一柱面透镜204-1(图2A)。在步骤1202，将具有宽带码的1D编码孔206-2′应用于第二柱面透镜204-2。

已经关于球面透镜探究了使用编码孔的深度恢复。基本的想法是对编码图案和散焦图像进行分析以恢复场景深度并且产生全焦点(all-focus)图像。然而，对码进行设计是困难的。为了辨别深度，孔图案理想地包括在频域中的零交点以意在模糊图像中引入深度变化。然而，为了确保稳健的去卷积，孔图案理想地为宽带，即其频率分布图应当几乎没有零交点。

根据对XSlit相机102的DoF分析，XSlit透镜模块116在与通过量相等的球面透镜(TESL)相同的光通过量下呈现较少的水平模糊和近似相同的垂直模糊。因此，使用高差异核对第一柱面透镜204-1(即水平透镜)进行编码并且用宽带核对垂直柱面透镜204-2进行编码。基于所选的编码孔，XSlit透镜模块116提供与其TESL相同的深度差异(因为他们具有一致的垂直模糊尺度(blur scale))，而其他尺寸较不模糊并且提供稳健的去卷积。当转换编码方案(即通过将宽带图案应用于第一柱面透镜204-1并且通过将高深度差异图案应用于第二柱面透镜204-2)时，虽然全焦点图像可以被更容易地恢复，但是深度辨别能力被降低。

接着，描述了针对每个柱面透镜204-1、204-2来选择合适的编码图案的示例。假设垂直图案为K_v(x)并且水平图案为K_h(y)。全部的模糊核因此为K(x,y)＝K_v(x)·K_v(y)，其中，x和y进一步通过封闭形式PSF(等式12)进行约束。对于每个1D图案，选择来自一系列随机采样的13位码的码。因为垂直码K_v为宽带码，所以选择其最小幅值在频域最大的码。

然后，固定K_v并且确定最优K_h。假设在深度i处的模糊核为为了提高深度差异，期望的是使通过不同深度处的核——即Kⁱ和K^j(i≠j)——引起的模糊图像分布之间的距离最大化。常用的Kullback-Leibler(KL)散度用于测量两个模糊图像分布之间的距离：

D(Pⁱ(y)，P^j(y))＝∫_yPⁱ(y)(log Pⁱ(y)-log P^j(y))dy (13)

其中，Pⁱ和P^j分别为针对Kⁱ和K^j的模糊图像分布，并且自然图像的超拉普拉斯(hyper-Laplacian)分布被用于计算Pⁱ和P^j。

在一个示例中，选择“1010010011111”作为垂直码并且选择“110011110011”作为水平码。图13B中示出这两个选择的码的功率谱。在图13B中，曲线1302为高的深度差异码的功率谱以及曲线1304为宽带码的功率谱。

在步骤1204处，使用在步骤1200和1202中应用的编码孔206-1′、206-2′通过XSlit相机102来捕获场景的XSlit图像。在一些示例中，所捕获的图像可以存储于存储器108(图1)中。

在步骤1206处，生成与相应的多个深度层相对应的多个PSF。为了估计深度，可以针对每个深度层使用编码图案和封闭形式的PSF(等式12)来预先计算对应的PSF。

在步骤1208处，从多个PSF中选择预先计算的PSF中的导致最优形状图像的PSF(具有最小振铃的一个)。具体地，在捕获的XSlit图像与不同深度层的预先计算的PSF之间执行去卷积。当PSF尺度(scale)大于实际尺度时，结果将呈现强的振铃效应。当尺度小于实际尺度时，图像会显得较不尖锐但不会呈现振铃。

可以将Gabor滤波器用于检测去卷积的图像中的振铃，其中，增大的响应对应于更剧烈的振铃。Gabor滤波器是通过正弦平面波调制的高斯核函数并且可以写为：

其中，x′＝xcosθ-ysinθ,y′＝xsinθ-ycosθ，λ为波长(空间频率的倒数)，θ为滤波器的取向，γ是纵横比，以及σ是高斯分布的标准差。

在一个示例中，将具有θ＝0°和90°的Gabor滤波器用于振铃检测。Gabor滤波器G_θ的响应R_θ定义为：

R_θ(x，y)＝∫∫I(x，y)G_θ(x-u，y-υ)dudυ (15)

其中，I(x,y)表示XSlit图像。

将每个去卷积的图像上的水平和垂直Gabor响应相加，并且具有最小值的响应对应于最优深度。可以将场景离散化为N个深度层并且可以针对分配的深度标识重新使用图割算法。Gabor响应被用作用于建立图的惩罚项。因此，将深度标识d_i分配给像素p的能量函数E用公式表示为：

其中，P表示图像中的所有像素，N表示像素邻域，E_d(p,d_i(p))是Gabor响应作为数据项，E_s是平滑项，以及非负系数α平衡(balance)数据项E_d和平滑项E_s。

在步骤1210，可以基于所选的PSF(步骤1208)来重建场景的深度。在一个示例中，为了恢复全焦点图像，因为模糊核仅包括1D场景信息，所以将修改的维纳去卷积重新用于自然图像先验(priors)。与可以解决具有许多零交点的核的迭代再加权最小二乘法(IRLS)去卷积相比，这个技术可以较快。因为模糊核(PSF)已知(并且为深度的函数)，所以一旦确定了核大小，就可以根据模糊核大小来确定深度。

可以考虑的是非暂态计算机可读介质可以存储用于步骤1206至步骤1210的机器执行的计算机可读指令。

接着，参照图14A至图14O，描述了用于以XSlit相机102进行场景重建的编码孔成像的示例。具体地，图14D为综合场景的地面实况图像(ground truth image)；图14A至图14C为TESL和XSlit编码孔图像；图14E至图14H为相应的图14A至图14D中示出的编码孔图像和地面实况图像的示例深度图图像；图14I至图14K为基于图14A至图14C中示出的相应的TESL和XSlit编码孔图像的示例的作为结果的去模糊图像；以及图14L至图14O示出在图像14D、14I、14J和14K中的相应的图像的部分。

图14D表示具有在20cm、40cm和80cm处的三个深度层的简单场景。XSlit透镜模块116被配置成聚焦在16cm和24cm处。TESL的焦平面与XSlit的前焦平面重合。对于TESL，使用被期望具有高的深度差异的编码图案。对于XSlit透镜模块116，使用高的深度差异码和宽带码。

图14A至图14O示出使用两个透镜恢复的深度图和全焦点图像。针对图像去卷积，IRLS(第一列)和维纳滤波器(其他两列)被应用。虽然恢复的全焦点图像由于频域中的零交点而在遮挡边界附近呈现振铃效应。具有编码孔的XSlit透镜模块116因为较小的水平PSF而能够减小振铃效应。XSlit编码方案及其恢复的深度图与TESL的相当。

虽然已经在用于捕获和处理图像的方法和系统方面对本发明进行了描述，但是考虑的是一个或更多个步骤和/或部件可以用软件进行实现以与微处理器/通用计算机(未示出)一起使用。在该实施方式中，可以将上述各个部件和/或步骤的功能的一个或更多个用控制计算机的软件进行实现。可以将软件实施在非暂态有形计算机可读介质(作为非限制性示例，例如磁盘、光盘、硬盘驱动器等)中以供计算机执行。如本文所述，图1所示的设备104、106、110和112可以使用专用电路系统和/或使用包含在耦接至控制器104的计算机可读介质108中的软件来执行某些操作。软件指令可以使得控制器104和/或图像处理模块106执行本文所述的一个或更多个处理。可替代地，可以代替或者结合软件指令来使用硬接线电路系统以实现本文所述的处理。因此，本文所述的实现方式不限于硬件电路系统和软件的任意特定组合。

虽然本文参考特定实施方式来示出和描述本发明，但是本发明并不意在限于所示的细节。相反，可以在权利要求的等价物的范围和界限内并且在不偏离本发明的情况下在细节上做出各种修改。

Claims

1.一种用于重建场景的方法，所述方法包括以下步骤：

通过耦接至成像传感器的透镜模块来对代表所述场景的光进行引导，所述透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着所述成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在所述第一柱面透镜和所述第二柱面透镜上，所述第二柱面透镜的柱轴被布置成相对于所述第一柱面透镜的柱轴呈一定角度并列间隔开；

通过所述成像传感器来捕获通过所述透镜模块所引导的光，以形成至少一个多视角图像；以及

通过处理器来处理所述至少一个多视角图像，以确定所述场景的重建特征。

2.根据权利要求1所述的方法，其中，处理所述至少一个多视角图像包括：

基于对所述至少一个多视角图像内的共面公共点和消失点的识别，从所述至少一个多视角图像中识别所述场景中的至少一个平面。

3.根据权利要求2所述的方法，所述方法进一步包括：

对所述至少一个多视角图像中的一个或更多个线图像进行圆锥曲线拟合；

确定所述圆锥曲线的成对交点，以识别所述共面公共点和所述消失点；以及

基于所述共面公共点和所述消失点来重建所述至少一个平面。

4.根据权利要求1所述的方法，其中，所述至少一个多视角图像包括第一多视角图像和第二多视角图像，其中，捕获光以形成所述至少一个多视角图像的步骤包括以下步骤：

当所述第一柱面透镜和所述第二柱面透镜被布置在相对于所述成像传感器的第一方向上时，捕获所述第一多视角图像；

将所述第一柱面透镜和所述第二柱面透镜相对于所述成像传感器进行旋转，使得所述第一柱面透镜和所述第二柱面透镜被布置在相对于所述成像传感器的与所述第一方向相反的第二方向上；以及

当所述第一柱面透镜和所述第二柱面透镜被布置在所述第二方向上时，捕获所述第二多视角图像，所述第一多视角图像和所述第二多视角图像形成立体图像对。

5.根据权利要求4所述的方法，其中，处理所述至少一个多视角图像包括：

基于所述立体图像对的每个图像中的至少一个极曲线，从所述立体图像对重建深度图。

6.根据权利要求5所述的方法，所述方法进一步包括：

在所述第一多视角图像和所述第二多视角图像中的每一个中定位所述至少一个极曲线；

将所述第一多视角图像和所述第二多视角图像中的每一个分割成多个块；

测量在所述第一多视角图像与所述第二多视角图像之间的沿着各自的所述至少一个极曲线的块相似度；以及

基于所述块相似度来重建所述深度图。

7.根据权利要求6所述的方法，所述方法进一步包括：

通过不剪切每个块或调整每个块的大小中的至少一个来校正所述第一多视角图像和所述第二多视角图像的每个块的失真。

8.根据权利要求1所述的方法，其中，所述第一缝隙形孔包括深度差异码，所述第二缝隙形孔包括宽带码，所述至少一个多视角图像形成编码图像，并且处理至少一个所捕获多视角图像包括：

基于所述透镜模块的点扩散函数(PSF)从所述编码图像重建所述场景的深度。

9.根据权利要求8所述的方法，所述方法进一步包括：

利用代表不同深度层的多个预定PSF中的每一个对所述编码图像进行去卷积；

选择多个PSF中的与最优去卷积图像对应的PSF；以及

基于所选择的PSF重建所述场景的深度。

10.一种系统，包括：

相机，其配置成捕获场景的至少一个多视角图像，所述相机包括：

耦接至成像传感器的透镜模块，所述透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着所述成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在所述第一柱面透镜和所述第二柱面透镜上，所述第二柱面透镜的柱轴被布置成相对于所述第一柱面透镜的柱轴呈一定角度并列间隔开；以及

图像处理模块，其被配置成接收所捕获的所述场景的至少一个多视角图像，并且确定所述场景的重建特征。

11.根据权利要求10所述的系统，其中，所述角度大于或等于90度并且小于180度。

12.根据权利要求10所述的系统，其中，所述图像处理模块被配置成：基于对所述至少一个多视角图像内的共面公共点和消失点的识别，从所述至少一个多视角图像中识别所述场景中的至少一个平面。

13.根据权利要求10所述的系统，进一步包括旋转模块，其耦接至所述相机，所述旋转模块被配置成有助于将所述第一柱面透镜和所述第二柱面透镜相对于所述成像传感器进行旋转，使得所述第一柱面透镜和所述第二柱面透镜被布置在相对于所述成像传感器的第一方向上或者在相对于所述成像传感器的与所述第一方向相反的第二方向上。

14.根据权利要求13所述的系统，其中，所述至少一个多视角图像包括第一多视角图像和第二多视角图像，其分别在所述第一方向和所述第二方向上捕获，以形成立体图像对，并且所述图像处理模块被配置成基于所述立体图像对的每个图像中的至少一个极曲线从所述立体图像对重建深度图。

15.根据权利要求10所述的系统，其中，所述第一缝隙形孔包括深度差异码，所述第二缝隙形孔包括宽带码，所捕获的至少一个多视角图像包括编码图像，并且所述图像处理模块被配置成基于所述透镜模块的点扩散函数(PSF)从所述编码图像重建所述场景的深度。

16.根据权利要求15所述的系统，其中，所述第二柱面透镜被设置在所述第一柱面透镜与所述成像传感器之间。

17.一种多视角相机，包括：

成像传感器；以及

透镜模块，其耦接至所述成像传感器，所述透镜模块包括：

第一柱面透镜和第二柱面透镜，其各自沿着所述成像传感器的光轴定位，所述第二柱面透镜的柱轴被布置成相对于所述第一柱面透镜的柱轴呈一定角度并列间隔开；以及

第一缝隙形孔和第二缝隙形孔，其分别设置在所述第一柱面透镜和所述第二柱面透镜上，

其中，所述成像传感器被配置成捕获场景的多视角图像。

18.根据权利要求17所述的多视角相机，其中，所述角度大于或等于90度并且小于180度。

19.根据权利要求17所述的多视角相机，其中，所述第一缝隙形孔包括深度差异码，并且所述第二缝隙形孔包括宽带码。

20.根据权利要求17所述的多视角相机，其中，所述成像传感器、所述第一柱面透镜或所述第二柱面透镜中的至少一个被配置成相对于所述光轴旋转，使得所述第一柱面透镜和所述第二透镜具有在相对于所述成像传感器的第一方向上布置的第一配置以及在相对于所述成像传感器的与所述第一方向相反的第二方向上布置的第二配置。