CN108432230B - 一种成像设备和一种用于显示场景的图像的方法 - Google Patents
一种成像设备和一种用于显示场景的图像的方法 Download PDFInfo
- Publication number
- CN108432230B CN108432230B CN201680072799.2A CN201680072799A CN108432230B CN 108432230 B CN108432230 B CN 108432230B CN 201680072799 A CN201680072799 A CN 201680072799A CN 108432230 B CN108432230 B CN 108432230B
- Authority
- CN
- China
- Prior art keywords
- image
- plane
- objective lens
- light
- image plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000003384 imaging method Methods 0.000 title claims abstract description 79
- 230000003287 optical effect Effects 0.000 claims description 67
- 230000005855 radiation Effects 0.000 claims description 35
- 230000001902 propagating effect Effects 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 41
- 238000009877 rendering Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 241000272168 Laridae Species 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000001454 recorded image Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000269800 Percidae Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
- G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Abstract
本发明公开用于聚焦于倾斜图像平面的方法和装置。举例来说，一个成像装置包含：经配置以在图像平面处聚焦场景的物镜，所述场景具有相对于所述物镜平面倾斜的物体平面；和接收来自所述物镜的光的传感器，所述传感器具有经配置以基于在所述传感器处接收的所述光产生图像数据的多个光感测元件。所述成像装置也包含处理器和存储器组件，其经配置以：接收所述图像数据，所述图像数据指示第一图像；接收指示所选择不平行图像平面的定向的倾斜参数；和基于所述倾斜参数将所述图像数据转换成相对图像数据，所述相对图像数据指示沿着所述不平行图像平面聚焦的第二图像。
Description
技术领域
本发明实施例涉及成像装置，且明确地说，涉及用于聚焦于倾斜图像平面的方法和设备。
背景技术
数字处理技术与成像装置和系统的集成已实现更有力且更容易使用的摄影产品。举例来说，用数字方式控制成像装置的快门速度、光圈和传感器敏感度的能力已提供在多种成像环境中改善的图片质量而不需摄影师手动地确定并设定每一环境的这些参数。
在传统摄影中，相机经操控以聚焦于环境的某一区域。在捕捉环境的图像之后，图像的部分取决于所述部分相对于相机的定向和位置而焦点对准或离焦。未焦点对准的许多区域归因于区域相对于相机的各种光学组件的相对定向而不可形成焦点对准。在现有相机系统中，为使最初未焦点对准的区域聚焦，相机的硬件元件(例如，透镜系统)必须经操控以用于新的聚焦位置。相应地，相机的用户可捕捉环境的多个图像，对于每一图像操纵硬件元件，仅捕捉(焦点对准)环境或场景的某一区域中的一或多个物体的单个所需图像。依据照相效果，对于在相机系统中使用来说，实现在捕捉目标场景之后聚焦于倾斜平面的计算能力，和获得Scheimpflug倾斜移位技术给摄影所提供的灵活性将是有利的。
发明内容
本发明的系统、方法和装置各具有若干创新方面，其中无单一者单独负责本文所公开的合乎需要的属性。本文中所描述的创新、方面和特征的组合可并入于系统、方法和装置的各种实施例中，且这些组合不受本文中所描述的实施例的实例(包含下文所描述的发明内容)限制。
一些实施例可包含成像设备。成像设备可包含定位于物镜平面处的物镜，所述物镜经配置以在图像平面处聚焦从场景接收的光，所述场景具有相对于物镜平面倾斜的物体平面。在一些实施例中，图像平面可定位于物镜的焦点处且可平行于物镜平面。成像装置也可包含经定位以接收经由物镜传播的光的传感器，所述传感器具有安置于在传感器平面中的传感器的表面上的多个光感测元件，所述光感测元件经配置以基于在传感器处接收的光产生图像数据，传感器平面平行于物镜平面。在一些实施例中，所述图像数据可为场景的光场数据。图像数据也可包含基于通过光感测元件接收的光的场景的辐射数据以及空间和角度数据。
成像设备可进一步包含可操作地耦合到传感器的处理器和可操作地耦合到所述处理器的存储器组件。处理器和存储器组件可共同地经配置以：接收由光感测元件产生的图像数据，所述图像数据指示由物镜聚焦在图像平面处的第一图像；接收指示所选择不平行图像平面的定向的倾斜参数，所述不平行图像平面具有相对于物镜平面成角度的定向；和基于接收的倾斜参数将接收的图像数据转换成相对图像数据，相对图像数据指示沿着不平行图像平面聚焦的第二图像。在一些实施例中，倾斜参数可基于不平行图像平面与图像平面之间的角度。不平行图像平面和物镜平面可在交叉点处相交。物体平面也可与不平行图像平面与物镜平面的交叉点相交。
在一些实施例中，成像设备也可包含经定位以接收经由物镜传播的光并安置于传感器与物镜之间的光学元件。光学元件可经配置以在光感测元件上产生场景的微图像。在此实施例中，处理器和存储器组件可经进一步配置以：识别沿着不平行图像的点；测量从光感测元件处的点发射的光线的辐射值，其中辐射值可基于传感器处的点的微图像；和基于倾斜参数确定方向性数据。确定方向数据可进一步包含基于点的微图像和不平行图像平面相对于图像平面的几何关系计算点偏移，和将偏移与用以计算偏移的微图像的至少一个辐射值相关联。
在一些实施例中，光学元件可为包含多个微透镜的微透镜阵列，每一微透镜可经配置以产生场景的微图像。而在其它实施例中，光学元件可为以阵列方式布置并经配置以在传感器处产生场景的多个微图像的多个相机。在一些实施例中，光学元件可为全光相机。
在一些实施例中，处理器和存储器组件可经进一步配置以确定传感器上的每一微图像的相对位置。图像数据可包含在每一光感测元件处捕捉的相对位置和辐射值。图像数据的相对位置可通过将用以照亮沿着不平行图像平面的点的射线迹线应用于由光学元件捕捉的微图像而计算，所述微图像表示点的微图像。
成像装置也可包含与处理器数据通信的显示器，所述显示器可经配置以接收来自处理器的第二图像并显示所述第二图像。在一些实施例中，处理器和存储器组件可进一步经共同地配置以产生在所显示第二图像上的指示不平行图像的四边形覆叠。四边形覆叠可基于从不平行图像平面与物镜平面之间的角度导出的投影变换。
根据另一方面，公开一种用于显示场景的图像的方法。这方法可包含通过物镜接收来自场景的光和在图像平面处聚焦所述光。物镜可具有物镜平面且场景可包含相对于物镜平面倾斜的物体平面。方法也可包含：在传感器处接收经由物镜传播的光，所述传感器可具有安置于传感器平面上的多个光感测元件；和通过光感测元件基于在传感器处接收的光产生图像数据。方法也可包含：接收由光感测元件产生的图像数据，图像数据可指示由物镜聚焦在图像平面处的第一图像；和接收指示所选择不平行图像平面的定向的倾斜参数。在一些实施例中，倾斜参数可基于不平行图像平面与图像平面之间的角度。不平行图像平面可具有相对于物镜平面成角度的定向。方法也可包含：基于接收的倾斜参数将接收的图像数据转换成相对图像数据，相对图像数据可指示沿着不平行图像平面聚焦的第二图像；在显示器处接收第二图像；和显示所述第二图像。在一些实施例中，显示第二图像可包含产生在所显示第二图像上的指示不平行图像的四边形覆叠，其中四边形覆叠是基于从不平行图像平面与物镜平面之间的角度导出的投影变换。
在一些实施例中，这方法也可包含由安置于传感器与物镜之间的光学元件接收经由物镜传播的光，和由光学元件在光感测元件上产生场景的微图像。在一个实施例中，图像数据可为场景的光场数据。在一些实施例中，将接收的图像数据转换成相对图像数据可包含识别沿着不平行图像的点；测量从光感测元件处的点发射的光线的辐射值，辐射值可基于在传感器处的点的微图像；和基于倾斜参数确定方向性数据。在一些实施例中，确定方向性数据可包含基于点的微图像和不平行图像平面相对于图像平面的几何关系计算点偏移，和将偏移与用以计算偏移的微图像的至少一个辐射值相关联。
在一些实施例中，光学元件可为包括多个微透镜的微透镜阵列，其中每一微透镜可经配置以产生场景的微图像。在其它实施例中，替代地或以组合形式，光学元件可包含以阵列方式布置并经配置以在传感器处产生场景的多个微图像的多个相机。
在一些实施例中，图像平面可定位于物镜的焦点处且可平行于物镜平面。在至少一个实施例中，图像数据包含基于通过光感测元件接收的光的场景的辐射、空间和角度数据。在一些实施例中，不平行图像平面与物镜平面在交叉点处相交。
在一些实施例中，方法也可包含确定传感器上的每一微图像的相对位置。图像数据可包含在每一光感测元件处捕捉的相对位置和辐射值。图像数据的相对位置可通过将用以照亮沿着不平行图像平面的点的射线迹线应用于由光学元件捕捉的微图像而计算，所述微图像表示点的微图像。
根据另一方面，公开一种包括指令的非暂时性计算机可读媒体，所述指令当经执行时使得处理器执行显示场景的图像的方法。这方法可包含接收由多个光感测元件产生的场景的图像数据，所述图像数据可指示通过物镜在图像平面处聚焦的第一图像。多个光感测元件可安置于传感器的传感器平面上并经配置以接收经由物镜传播的光，物镜具有物镜平面。物镜可经配置以在图像平面处聚焦场景的光，其中场景具有相对于物镜平面倾斜的物体平面。方法也可包含：接收指示所选择不平行图像平面的定向的倾斜参数，所述不平行图像平面具有相对于物镜平面成角度的定向；基于接收的倾斜参数将接收的图像数据转换成相对图像数据，所述相对图像数据可指示沿着不平行图像平面聚焦的第二图像；和在显示器处接收第二图像并显示所述第二图像。
根据另一方面，公开一种成像装置。所述装置可包含具有第一平面的用于接收来自场景的光的装置；用于在图像平面处聚焦光的装置，场景具有相对于第一平面倾斜的物体平面；和具有平行于第一平面的第二平面的用于接收经由第一平面传播的光，并基于在第二平面处接收的光产生图像数据的装置。方法也可包含用于接收所产生图像数据的装置。图像数据可指示在图像平面处聚焦的第一图像。方法可进一步包含用于执行以下操作的装置：接收指示所选择不平行图像平面的定向的倾斜参数，其中不平行图像平面可具有相对于第一平面成角度的定向；基于接收的倾斜参数将接收的图像数据转换成相对图像数据，其中相对图像数据可指示沿着不平行图像平面聚焦的第二图像；和在显示器处接收第二图像并显示所述第二图像。
附图说明
所公开的方面将在下文中结合附图予以描述，所述附图提供以说明且不限制所公开的方面，其中相同标号指定相同元件。
图1为根据一些实施例的链接到图像处理系统的相机的实例的示意性框图。
图2A到B说明执行聚焦深度的移位的全光相机的某些示范性方面。
图3为根据一个实施例的将图像聚焦于倾斜图像平面的全光相机的实例的示意性框图。
图4为确定沿着图3的倾斜图像平面的点的偏移的示意性表示。
图5说明不平行图像平面的示范性几何参数化。
图6A到D说明使用欧拉角的旋转变换。
图7A到C为根据一些实施例的用于显示聚焦于倾斜图像平面的图像的方法的实例的流程图。
图8为根据一些实施例的用于确定在图像上的指示倾斜图像平面的矩形覆叠的坐标的方法的实例的流程图。
图9A到9D说明所显示场景上覆叠的矩形聚焦平面。
具体实施方式
在以下描述中，给出特定细节以提供对实例的透彻理解。然而，所属领域的技术人员应理解，实例可在无需这些特定细节的情况下实践。举例来说，可以框图展示电组件/装置，从而避免以不必要的细节混淆实例。在其它情况下，可详细展示这些组件、其它结构和技术以进一步解释实例。
本文所公开的实施例描述成像装置(其也可被称作成像系统)，其在成像装置的光学元件在相对于彼此平行定向的同时提供倾斜移位功能性。本文所公开的实施例的一个非限制性优点为成像装置可经配置以不管相对于光学组件的定向和位置而聚焦于任一图像平面。
应注意如本文中所使用的术语“平行”或词平行的其它变化可指示经对准为平行的元件。然而，应理解，经对准为平行可不限于准确地或完美地平行，且可理解为包含元件相对于系统的其它元件的定向的微小变化。举例来说，经对准为平行可涵盖偏离准确平行两度、三度或更大度数的角度。从准确平行变化的量取决于相机系统的光学元件的光学性质，且变化经准许以使得本文所公开的成像装置能够针对其所希望目标而操作。
如本文中所使用，术语“倾斜”和“不平行”或这些词的其它变化可互换使用以指示一个平面相对于另一个平面的定向。举例来说，第一平面可经垂直地定向，且第二平面可以相对于第一平面的某一倾斜角定向以使得其两个平面在相对于彼此不平行的状态中。应理解，为不平行的必要角度倾斜可为任何角度，以使得当在本文中使用所述术语时两个平面为不平行。此外，平面可在多个方向中倾斜或不平行，例如，第一平面可在笛卡尔坐标平面上的第一方向和第二方向两者中相对于第二平面不平行(例如，所述平面可沿X、Y或Z方向倾斜)。
本文中所描述的实施例包含经配置用于在捕捉目标场景的图像数据之后经由后捕捉处理再现或显示聚焦于图像平面的图像的方法、设备和计算机可读媒体。在一些实施例中，方法、设备和计算机可读媒体可应用于全分辨率全光相机(也称作辐射相机或光场相机)或应用于相机的组件。虽然本文所公开的实施例是参考全光相机而说明，但应理解如本文所公开用于在捕捉场景之后聚焦图像的方法和设备可应用于任一相机系统或从真实场景获取的任一图像数据。这些方法和设备使用从场景获取的图像数据在图像捕捉和聚焦能力方面提供对于现有商业实施例的改善。在一些实施例中，本文所公开的相机系统和方法可为蜂窝式电话或其它移动装置的部分且因此经设定大小以适配紧致封装。在其它实施例中，相机系统可为独立成像装置。
在传统摄影中，相机经操控以在拍摄照片之前聚焦于目标场景的某一区域。在捕捉目标场景的图像之后，图像的部分焦点对准或离焦。并未焦点对准的一些部分不可焦点对准，例如以相对于成像装置的角度倾斜的目标场景的表面。为使并未焦点对准的区域聚焦，相机的硬件元件(例如，透镜系统)必须经操控用于新的聚焦位置。相反，光场或全光相机使用专用光学元件和光传感器以捕捉场景的光场。全光相机能够在单个图像中捕捉来自场景(例如在空间中的多个点处)的多个光线的辐射。举例来说，全光相机不仅测量在光传感器上的位置处的光的辐射，而且确定多少光沿每一光线到达光传感器。使用全光相机的情况下，由于场景的多个光线的色彩、方向和强度被捕捉，因此可在已捕捉图像之后使用软件执行聚焦。在捕捉图像之后操纵聚焦位置允许用户在任何时间修改图像的哪一区域焦点对准而不需再捕捉场景的图像。
在许多全光相机中，光进入主要(物镜)透镜并在由光传感器捕捉之前通过微透镜的阵列。物镜可包含单个透镜或可包括经配置以收集来自场景的光并将光聚焦到光传感器上的多个光学元件。微透镜的阵列中的每一微透镜可具有相对较小的大小(例如，100μm)，和相对较大聚焦深度。此允许相机通过使用微透镜阵列的微透镜中的每一者从稍微不同视点捕捉众多小图像或微图像而捕捉目标场景的所有部分。举例来说，使用微透镜阵列允许光传感器不仅测量入射于光传感器上的光的总量而且测量多少光沿入射于光传感器上的每一光线到达(例如，测量光场数据)。
在一些实施方案中，在通过光传感器测量光场数据以确定光传感器上的光的量和基于每一射线的光的量确定每一光线的方向后，实施于图像处理系统中的软件可经配置以提取并操纵光场数据以在后处理期间在场景的所要聚焦深度处产生图像。举例来说，光场数据提供沿与光传感器相交的每一射线行进的光的量。此可考虑为捕捉或产生到达光传感器的每一光感测元件的方向性发光分布。接着，如果成像装置已按所要布置而配置(例如，如果成像装置将已经定位以聚焦于给定聚焦深度或定向)，那么射线追踪技术可应用于光场数据以计算给定光线的射线迹线以确定射线将在何处终止。
在一些实施方案中，全光相机使用微透镜阵列以捕捉所关注的目标场景的4D光场数据。所获取4D辐射(作为积分图像(例如，作为图像的光场数据))可经处理以用于3D场景重构建或合成动态聚焦深度(DoF)效果。对于此新兴的相机技术，存在众多应用，范围介于娱乐到用于工业和科学应用的深度恢复。一些光场相机可用10百万像素传感器捕捉场景的20个不同视图(
加州圣荷西)。然而，经再现700×700像素图像可具有在堵塞边界处的可见伪影。
光场(lytro.com)相机使用11百万像素传感器以获取辐射。
常规相机具有平行于透镜平面的图像平面。因此，常规相机将场景聚焦于平行于传感器的图像平面。然而，Scheimpflug相机包含经布置以使得图像平面相对于物镜平面倾斜，且因此也相对于传感器倾斜的硬件。Scheimpflug相机可经配置以将目标场景聚焦于倾斜平面，例如聚焦于平行于相机的常规光轴并垂直于常规图像平面的平面。依据照相效果，对于在相机系统中使用来说，实现在捕捉目标场景之后聚焦于倾斜平面的计算能力，和获得Scheimpflug倾斜移位技术给摄影所提供的灵活性将是有利的。
在一个实施方案中，Scheimpflug摄影促进将相机聚焦于倾斜或经移位平面。在一个实施方案中，透镜平面相对于图像平面倾斜。聚焦于倾斜平面的能力已在现代数码相机中失去，这是由于图像平面和透镜平面在常规相机中是平行且固定的。本文所公开的实施例描述提供倾斜移位功能性同时相机的光学元件在大体上平行定向中，由此使得数码相机能够聚焦于任一平面的相机。在一个实施例中，倾斜移位功能性由Scheimpflug原理促进。这是从图像数据以计算方式实现。举例来说，使用构建有微透镜阵列的全光相机，或使用相机的阵列，捕捉光场数据，例如，目标场景的完整辐射。光场数据包含在相机的光传感器上捕捉的整个目标场景的空间数据和角度数据。本文所公开的相机的一个非限制性优点为聚焦计算是在稍后阶段、在目标场景的图像和光场数据被捕捉之后实现。本文所公开的实施例涵盖用于基于目标场景的光场数据在3D空间中以相对于物镜的任一角度定向的图像平面上再现最终图像的方法和装置。在于传感器处捕捉场景之后最终图像聚焦于任一倾斜平面。此功能性延伸现有全光相机再现方法，所述现有全光相机再现方法仅仅聚焦于平行于透镜平面的平面。
在一些实施例中，已实施倾斜图像平面上的聚焦图像之后捕捉再现以用于全光相机设定。在一个实施方案中，全光相机设定包含：在距传感器某一距离处定位的物镜，以使得目标场景在相机物镜的图像平面处聚焦；和在图像平面与传感器之间的某一距离处定位的微透镜阵列。在此实施例中，物镜图像是在物镜与微透镜阵列之间的图像平面处形成。物镜图像是作为来自微透镜阵列的多个虚拟微图像而捕捉和再成像于传感器上。在此配置中，传感器可放置于微透镜阵列后面的一段距离处。在一些实施例中，各种元件之间的距离以及物镜和微透镜阵列的微透镜的焦距满足透镜方程式并与主相机透镜一起构建中继系统。此实施例的一个非限制性优点为这些配置将全光相机的分辨率与形成微透镜阵列的微透镜的数目去耦，和使辐射采样更加灵活。摄影师在拍摄照片的同时可自由变化分辨率：这些全光相机的空间分辨率可与微透镜阵列与传感器之间的距离除以从物镜到微透镜阵列的距离相关，且可通过相对于传感器移动微透镜阵列而改变。
本文所公开的全光相机的另一非限制性优点为捕捉成像数据改善处理能力。举例来说，这些相机的应用可解决由使用常规数码相机的摄影者面临的许多问题。再现重新聚焦图像和3D视图仅为两个实例能力，但存在许多其它能力(包含HDR和多频谱成像、超分辨率和更多)。
本文所公开的实施例的另一方面包含用户接口(UI)，其可并入到能够利用图像数据以用于任一图像平面上的图像之后处理聚焦以供在与3D功能性(例如，游戏、立体或显微图)相关的在装置上的其它应用中使用的成像装置中。在一些实施例中，UI可能能够在所显示图像中将矩形显示为指示图像聚焦于的倾斜图像平面的四边形。UI的一个非限制性优点为对于成像装置的用户增加可视化以用于辅助操纵和调整图像平面以聚焦所显示图像。
图1为包含耦合到图像处理系统140的全光相机110的成像装置100的实施例的实例的框图。图像处理系统140与全光相机110通信并经配置以接收和处理由全光相机110捕捉的图像。在一些实施例中，全光相机110可包括在相机系统内使用的至少一个光学元件，其中相机系统(此图中未展示)经配置以捕捉如通过全光相机110观看的目标场景105的图像。图像处理系统140可包含用以操纵、处理或存储所捕捉图像的组件。
全光相机110包含经配置以接收、导引和感测来自定位于物体平面104处的目标场景105的光的组件。如在图1中所说明，全光相机包含物镜112、微透镜阵列125和光传感器130。物镜112经定位并暴露以接收来自可包含至少一个定位于目标场景105中的某处的所关注物体(例如，全光相机110的视场中的场景或物体)的目标场景105的光(例如，光线106)。应理解，虽然物镜112在图1中经说明为单个光学元件，但物镜可包括一或多个光学元件，不仅仅限于透镜(例如，物镜可包括一或多个透镜、折射元件、分散元件、镜像元件和/或导向元件)。
在物镜处接收的光穿过物镜112传播，且在入射于微透镜阵列125上之前进一步传播穿过物镜图像平面120。在所说明的实施例中，微透镜阵列125可包含个别微透镜126a到n的二维阵列，其中微透镜阵列125的微透镜126a到n中的每一者可具有相同的大小和形状。微透镜阵列125可包括足够微透镜126a到n并经定位以使得光传感器130的作用区域接收通过经由物镜112传播的光形成的图像的至少一部分。光传感器130可包括经配置以检测入射光并基于所检测光产生输出图像数据的多个光感测元件。微透镜阵列125可形成于具有某一厚度的衬底(或晶片)上或可由衬底(或晶片)形成，且在形成之后微透镜阵列125的厚度可与用以形成其的晶片或在上面形成其的晶片的厚度相同或大体上相同。虽然图1中描绘为微透镜的二维堆叠，但应理解微透镜阵列可为微透镜的平面集合或阵列。
物镜图像平面120为经定位于经由物镜112传播的来自目标场景105的光线106穿过的处的平面，这些射线在图像平面120处形成目标场景的图像122。目标场景105可反射辐射(例如，光)或发射辐射(例如，光)或可反射和发射光。在一些实施例中，微透镜阵列125中的多个微透镜126a到n可在物镜112的物镜图像平面120与光传感器130之间聚焦。即，微透镜阵列125可在物镜图像平面120的方向上具有焦距，所述焦距等于或大体上等于微透镜阵列125与物镜112的图像平面120之间的距离。虽然可不存在物理地定位在物镜图像平面120处的任何结构，但物镜图像平面120可被认为是具有通过经由物镜112传播的光产生的场景的“在空气中的”图像的空间中的平面位置。微透镜阵列125可经配置以将光聚焦于光传感器130上。从物镜112接收的光经由微透镜阵列125传播且接着传播到光传感器130上。光传感器130可定位在距微透镜阵列125的小于或等于f的距离处，其中f指微透镜阵列125的微透镜126a到n的在光传感器130的方向上的焦距，经由微透镜阵列125传播的光被聚焦在所述处。光传感器130与微透镜阵列125之间的距离可基于成像装置100的光学设计而变化。这些距离可经变化以达成高于奈奎斯(Nyquist)频率的调制转移函数(MTF)。
在操作中，微透镜阵列125的每一微透镜126a到n可接收表示或对应于图像的部分(例如，区域或区)的光。表示图像的部分的光可经由微透镜阵列125传播并由微透镜阵列125重定向以导引到光传感器130的对应区上。因此，微透镜阵列125的每一微透镜126a到n和光传感器130的其对应区可类似于从在图像平面120处的图像122捕捉小图像(或微图像135a到n)的小相机而起作用，且其中由微透镜阵列125的微透镜126a到n中的每一者捕捉的微图像135a到n的汇集捕捉物镜图像平面120处的图像122。通过将微透镜阵列125的微透镜126a到n聚焦在由物镜112在物镜图像平面120处产生的图像122上，全光相机110可经配置以捕捉4D光场数据，例如，来自目标场景105的辐射的空间和角度数据。4D光场数据可包含来自目标场景105的辐射的位置和方向性信息以及目标场景105的辐射或强度数据。此可允许全光相机110从捕捉的光场数据产生超出来自先前相机的图像的分辨率并满足现代摄影的要求和需要的高分辨率图像。
仍参看图1，图像处理系统140与光传感器130电子通信以接收并存储在光传感器130的每一像素处接收的光和经由微透镜阵列125中的每一微透镜126a到n传播从而得到微图像135a到n的光的信息。在一些实施例中，光传感器130可包括多个像素(例如，百万像素光传感器等)，且所述多个像素中的一或多个像素可从微透镜阵列125的每一微透镜126a到n捕捉目标场景的部分。在目标场景105的微图像135a到n经捕捉于光传感器130上之后，图像处理系统140可计算阵列中的每一像素的深度或以其它方式自由光传感器130收集的数据再现高分辨率图像。
如图1中所示，距离“a”指示物镜图像平面120与微透镜阵列125之间的距离。距离“b”表示微透镜阵列125与光传感器130之间的距离。距离f指示微透镜阵列125的微透镜126a到n的焦距，微透镜阵列125的微透镜126a到n中的每一者具有相同尺寸。如上文所论述，由于光传感器130定位在微透镜阵列125的焦距f或少于焦距f处，因此微透镜阵列125的焦距在光传感器130的方向上。距离b小于或等于f。在一些实施例中，距离a和b经调整(相应地调整微透镜阵列125的位置)。可关于物镜图像平面120与光传感器130之间的位置小心地移动和/或调整微透镜阵列125。距离a也可被称作间距，且可如下文所论述通过调整机构160调整。举例来说，微透镜阵列衬底(或晶片)的厚度可经调整以操纵距离a或b以使得微透镜阵列125可根据需要而移动更接近光传感器130以达成最佳设计性能。
图1还说明包含可集成于相机(其可对应于成像装置100)中的各个组件的全光相机110的实施例的实例。在一些实施例中，相机可包括两个通用部分：光学装置113和图像处理系统140。光学装置113可包含相机的光学组件中的一或多个。举例来说，光学装置113可包含快门(未图示)、物镜112、微透镜阵列125和光传感器130。图像处理系统140可包含多种组件，例如光传感器130(当不包含于光学装置113中时)、快门控制器145、取景器/屏幕150、控制器155、调整机构160、输入/输出(I/O)接口165、处理器170、存储器175、数据处理模块180、再现模块190和电力供应器185。在一些实施例中，额外或比本文中列出的那些组件更少的组件可包含于成像装置100中。图像处理系统140的组件可视需要耦合到一起和/或彼此通信以执行其相关联功能性。在一些实施例中，上文所描述的一或多个组件可在光学装置113和图像处理系统140中的一或多个中。另外或替代地，光学装置113的一或多个组件可集成于图像处理系统140中，或反之亦然。
在一些实施例中，光学装置113的一或多个组件可在固定位置中以使得其可不相对于光学装置113的其它组件移动。举例来说，物镜112和微透镜阵列125中的一或多个的位置可相对于其它组件中的一或多个而固定。在一些实施例中，光学装置113的组件中的一或多个可相对于其它组件中的一或多个可移动。举例来说，物镜112可经配置以在朝向或远离微透镜阵列125的方向中可移动，例如以用于聚焦。微透镜阵列125可经配置以朝向或远离物镜112可移动，和/或经配置以侧向地(相对于从物镜112到光传感器130的光光学路径)移动(例如)以对准微透镜阵列的微透镜126a到n与物镜112和/或光传感器130。在一些实施例中，光传感器130可包括常规薄膜、电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)或其类似者中的一或多个。
在一些实施例中，在光传感器130上捕捉的图像可由图像处理系统处理。举例来说，数据处理模块180可使用全分辨率光场再现方法(或应用于由全光相机捕捉的图像的其它图像处理算法)以从捕捉的图像产生高分辨率图像并根据本文所公开的方法将图像再聚焦于倾斜图像平面。在一些实施例中，数据处理模块180可使用硬件、软件或其组合而实施。在一些实施例中，所捕捉图像数据可存储在存储器175中以供稍后由经配置以基于如本文所公开的全分辨率光场再现(或类似)方法产生后处理图像的再现模块190再现。在一些实施例中，再现模块190可经配置为图像处理系统的部分，而在其它实施例中再现模块可为单独装置或计算机系统。在一些实施例中，由所捕捉图像数据产生的后处理图像可存储在存储器175中。
全光相机110的快门可定位在物镜112的前方或后方。快门可经配置以控制何时允许光传递到光传感器130，和多少光经传递到光传感器130。举例来说，当快门闭合时，没有光可从光学装置113外部传递到光传感器130。当快门打开时，光可通过物镜112传递到微透镜阵列125并经由微透镜阵列125传递到光传感器130。处理器170可经配置以接收来自快门控制器145的输入并基于快门控制器145控制快门的打开和闭合。取景器/屏幕150可经配置以将成像装置100如果在给定方向中激活那么将捕捉的图像的预览展示给成像装置100的用户。在一些实施例中，取景器/屏幕150可经配置以允许用户观看和选择成像装置100的选项(例如，经由选单或类似接口)或观看和修改已由成像装置100捕捉并存储在存储器175中的图像。在一个实施方案中，取景器/屏幕150可为经配置以显示覆叠于所捕捉图像上的表示用于将所捕捉图像聚焦于倾斜图像平面的倾斜图像平面的矩形的显示器。在一些实施例中，成像装置100可利用电力供应器185以提供电力到成像装置100的组件。在一些实施例中，电力供应器185可包括电池(例如，可充电或可替换电池)或到外部电力装置的连接器。存储器175可经配置以存储由光学装置113捕捉并由数据处理模块180处理的图像。在一些实施例中，存储器175可经配置以存储如由控制器和调整机构160输入的设定和调整。在一些实施例中，存储器175可为抽取式的或抽取式与永久存储器的组合。在一些实施例中，存储器可全部为永久性。
在一些实施例中，成像装置100的I/O接口165可经配置以允许相机连接到一或多个外部装置，例如，计算机或视频监视器。举例来说，I/O接口165可包含USB连接器、HDMI连接器或其类似者。在一些实施例中，I/O接口165可经配置以在成像装置100与所连接外部装置之间传送信息。在一些实施例中，I/O接口165可经配置以无线地(例如，经由红外线或Wi-Fi)传送信息。在一些实施例中，上文所描述的控制器155可经配置以控制相机的一或多个方面，包含与光学装置113相关联的设定(例如，快门速度、变焦、f数，等)，导览相机的选项和选单，观看和/或经由数据处理模块180修改捕捉图像，或在捕捉图像之后经由数据处理模块180和/或再现模块190在倾斜图像平面上再现重新聚焦图像。在一些实施例中，调整机构160可经配置以调整光学装置113的组件中的一或多个的相对位置。举例来说，调整机构160可经配置以调整微透镜阵列125与物镜112或光传感器130之间的距离。另外或替代地，调整机构160可经配置以调整微透镜阵列125与光传感器130之间的距离。
图2A到B说明全光相机布置的实例。图2A说明图1的图像平面120、光传感器130和微透镜阵列125的一部分。
图2B说明定位在由图1的图像处理系统140再现的虚拟图像平面136处的虚拟光传感器。图2B说明为在焦点121处聚焦的图像的重构建的虚拟点132。如上文参看图1所描述，目标场景105可定位在物体平面104处。全光相机110经配置以在图像平面120处接收来自目标场景105的光线106，如上文参看图1所描述。
再次参看图2A，光线进入全光相机110并在图像平面120上的焦点121处聚焦。光线106继续到微透镜阵列125。在本文中说明的实施例中，光传感器130经配置以大体上平行于物镜112的物镜平面。在一些实施例中，微透镜阵列125可大体上平行于光传感器130和/或物镜112的物镜平面。如上文所描述，微透镜阵列125的每一微透镜(例如，微透镜126a到c)将光聚焦于光传感器130上。在一些实施例中，光传感器130可大体上平行于微透镜阵列125、图像平面120和/或物镜112的物镜平面。光传感器130接着能够捕捉图像的光场数据。
图2B说明从光传感器130追踪到虚拟再现图像平面136并在虚拟再现图像平面136处再现以确定用于经配置以在与虚拟图像平面136相同的位置处具有真实图像平面的成像装置的图像的虚拟射线路径107。举例来说，表示在光传感器130上捕捉的图2A的微图像135a到c的数据点可由图像处理系统140利用以基于光场数据计算虚拟射线路径107，虚拟射线路径107可包含数据点131a到c且可包含沿着每一虚拟射线路径107的多个数据点。虚拟射线路径107可外推到任一再现图像平面且图像可被再现，例如，虚拟光线107在虚拟点132处聚焦。在虚拟点132处，形成用于表示如由光传感器130捕捉的微图像135a到c的数据点的图像。在一些实施例中，虚拟图像平面136可如在图2B中所说明平行于光传感器130。相应地，虚拟点132为在焦点121处捕捉的图像的重构建。然而，应理解虚拟图像平面136的任一定向是可能的(例如，三维空间中相对于光传感器130的任一倾斜角)。在一个实施例中，表示微图像135a到c的数据点可由光传感器130捕捉且与表示微图像135a到c的点相关联的光场数据可存储在图1的存储器175中。数据处理模块180、处理器170和存储器175可经共同地配置以在虚拟图像平面136处再现图像。
图3说明例如根据本文中所描述实施例的经配置以利用某些聚焦方法的全光相机310的实例。全光相机310可类似于全光相机110并经配置以包含Scheimpflug相机能力。举例来说，全光相机310可能够再现目标场景的聚焦于一或多个倾斜物体平面(例如，倾斜物体平面304a和304b)的图像。举例来说，由相机捕捉的目标场景的平面(例如，倾斜物体平面304a)无需平行于物镜312，因此倾斜图像平面321a也无需平行于物镜312。在一些实施例中，全光相机310可促进经由微透镜阵列325捕捉光场数据，且在微图像335a和335b和光场数据由光传感器330捕捉之后，图像322a可经聚焦到任一不平行图像平面(例如，倾斜图像平面321a)。微透镜阵列325与光传感器330之间的距离经说明为距离b。距离b可(例如)以大体上类似于上文参考图1的调整机构160所描述的方式而调整。在一些实施例中，也可在捕捉图像之后调整图像322a的深度。
图3展示利用大体上类似于参看图1和2A到B描述的光学元件的光学元件以在不平行图像平面上聚焦图像的示范性全光相机310。如图3中所示，可通过将图像重新聚焦于倾斜图像平面(例如，倾斜图像平面321a和321b)上而再现图像，然而，相机的各种物理组件大体上保持平行。如在图3中所说明，距离a1和a2界定距微透镜阵列325和倾斜图像平面321a和321b与光轴395相交的点的距离。图3展示具有两个不同物体平面(例如，倾斜物体平面304a和倾斜物体平面304b)的单个场景。然而，应理解场景可包含许多不同物体平面，可能无限数目个物体平面。每一物体平面可表示相机试图聚焦于其上的平面。举例来说，目标场景305a与倾斜物体平面304a相关联，而目标场景305b与倾斜物体平面304b相关联。图3的全光相机310可大体上类似于图1的全光相机110，且包含不管相对于物镜的定向将图像聚焦于任一平面上的能力。
参看目标场景305a，图3说明当源自目标场景305a的光线306穿过全光相机310传播时表示两个示范性光线的光线306。光线306在倾斜图像平面321a处聚焦(倾斜图像平面320a不平行且相对于全光相机310的光学组件倾斜)以形成图像322a。距离b可大体上等于微透镜阵列325的微透镜中的一或多个的焦距。然而，距离b无需等于微透镜的焦距，基于成像装置300的所寻求特性，其它布置是可能的。
不平行或倾斜图像平面321a与物镜平面315在单个点(下文中被称作Scheimpflug交叉点308a)处相交。倾斜物体平面304a也与物镜平面315在同一交叉点处交叉。图3也说明经由如上文关于目标场景305a所描述的类似关系与目标场景305b相关的Scheimpflug交叉点308b。
图4说明针对目标场景中的倾斜物体平面的光学图像形成。图4描绘用于说明在倾斜图像平面上再现经重新聚焦图像的方法中使用的倾斜图像平面321a和倾斜物体平面304a与图像平面320的几何关系的全光相机310的示意性表示。在一个实施例中，在全光相机310内部形成的倾斜物体平面304a、物镜平面315和倾斜图像平面321a在Scheimpflug交叉点308a处相交，如上文参看图3所描述。Scheimpflug交叉点308a和倾斜物体平面304a和倾斜图像平面321a相对于图像平面320的相应角定义用以确定透视或旋转变换的基准。举例来说，倾斜图像平面321a可定义倾斜图像平面基准405。倾斜物体平面304a可定义倾斜物体平面基准410。图像平面320可定义固定基准420，可对照其相对地确定倾斜图像平面基准405和倾斜物体平面基准410。
图4也是确定二维空间中沿着倾斜图像平面321a的任一所选择点的相对像素位置的示意性表示。图4可为图3的微透镜阵列325和光传感器330的放大示意描述。图4描绘具有倾斜图像平面321a的图像322a，倾斜图像平面321a相对于光传感器330而倾斜。如在图4中所说明，用于将图像重新聚焦于其上的示范性倾斜图像平面可具有倾斜图像平面基准405，其中倾斜图像平面基准以与倾斜图像平面321a相同的角度相对于固定基准420而倾斜。在一个实施例中，物镜312可使用微透镜阵列325形成2D目标场景305a的2D图像。在其它实施例中，本文中所描述的，图像可为来自3D目标场景的3D图像。微透镜阵列325可大体上类似于图1的微透镜阵列125。
2D图像322a可包含沿着倾斜图像平面321a构成图像322a的多个点。图像可包括来自目标场景的经聚焦光的无限数目个点。对于任一给定点，可通过追踪来自图像平面的给定点的穿过微透镜阵列325的各个微透镜的光线而获得光场数据。穿过微透镜阵列325追踪的图像322a的每一点产生对应于每一微透镜的微图像。举例来说，追踪从点323穿过微透镜326a、326b和326c的光的射线产生微图像(例如，微图像331a)。在一些实施例中，微图像的数目与微透镜的数目相同，其中每一微图像对应特定微透镜或与特定微透镜相关联。
在微图像331s经捕捉于光传感器330上后，图像处理系统可经配置以经由计算确定光传感器330上的微图像331a的相对像素位置。光场数据可包括经确定相对像素位置和由光传感器330的每一像素捕捉的光强度值。在一些实施例中，相对像素位置包含由光传感器接收的产生微图像的光的每一射线的空间和角度数据。
在一些实施例中，为将图像聚焦于任一图像平面上，图1的数据处理模块180可经配置(用存储光场数据的存储器175和处理器170)计算偏移值。在一个实施方案中，为聚焦于倾斜图像平面，相对像素位置是通过追踪从倾斜图像平面上的每一像素到微图像的光的射线和确定偏移值而计算，且像素强度是从由光传感器捕捉的辐射数据而计算。相对像素位置可从追踪经由全光相机310的所选择光线而建立。举例来说，如图4中所示，倾斜图像平面321a的任一给定点(例如，点323)的偏移可基于相对于图像平面320的给定像素位置而计算。举例来说，对于点323，偏移值可基于由微透镜阵列325产生并由光传感器330捕捉的微图像而计算。点323的偏移值可与给定点的强度值组合以在光传感器330处产生光场数据。在倾斜图像平面321a处聚焦的最终图像接着根据上文对于图2的描述由图1的再现模块190使用沿着倾斜图像平面321a的所有点的光场数据而再现。
图4中进一步说明用于确定偏移的几何布置。图4说明光传感器330距微透镜阵列325的距离为b且倾斜图像平面321a在距微透镜阵列325的距离a处与光轴395相交。倾斜图像平面321a与光轴395的交叉点经设定为几何结构的原点(例如，在X、Y、Z坐标平面上的点(0,0,0))。点323坐标为(x,y,z)。如图4中所示，微透镜阵列的微透镜具有μ的大小。在一些实施例中，大小为微透镜的直径，其中微透镜是圆形。应理解其它形状是可能的。
图4中所示的几何结构可由数据处理模块180和/或处理器170使用以确定偏移值(例如，点323从图像平面320上的点偏移的距离)。举例来说，通过追踪从点323穿过微透镜326a并到光传感器330的光线而形成微图像331a。点323的偏移可通过使用相似三角形的原理而确定：
其中Δηi为如由光传感器330所确定的微图像331a的高度，b为微透镜326a与光传感器330之间的距离，Yi为从微透镜326a的中心到光轴的距离，Y为点323的位置的Y坐标值，a为如上文所描述的距离，且Z为点323的位置的Z坐标值。从方程式1，点323从图像平面320的偏移可在2D平面中计算。虽然前面描述是关于单个点，但应理解，可针对沿着倾斜图像平面321a的图像322a的每一点执行同一过程，图像322a中可存在无限数目个点。在每一点的偏移值被计算后，偏移点可作为相对位置数据输入并与强度数据组合以提供光场数据到存储器175。从光场数据，再现模块190可经配置以再现沿着倾斜图像平面321a的图像。
可针对任一倾斜图像平面执行同一过程。举例来说，对于3D，如使用类似方法可建立从微透镜的中心的相对偏移。然而，用于确定3D偏移的方程式应用如下：
其中ξi,ηi分别为在使用具有坐标Xi和Yi的第i个微图像的情况下在X方向和Y方向中的从第i个微透镜的中心的偏移值。
焦点对准并设法再现的倾斜图像平面可由两个参数表达。这两个参数表示球形坐标中的平面的法线向量。举例来说，如在图5中所说明，角度
表示平面沿控制旋转轴(例如，图5中的Z轴)倾斜的方向且角度θ表示所选择方向的倾斜(例如，平面从平行于图5中所示的Z轴的旋转)的量。
图1的成像装置100可经配置以基于倾斜图像平面再现像素，且图像的点的坐标是关于倾斜平面基准而指定。相应地，来自倾斜图像平面和物镜平面的所捕捉辐射在不同基准中，例如倾斜图像平面的基准可相对于物镜的基准成某一角度(例如，图4的倾斜图像平面和传感器平面)。因此，相机系统可经配置以依据任一基准之间的相对角度的变化确定并建立这些两个基准之间的关系。举例来说，图6的x、y和z平面表示倾斜图像平面的基准且图6的X、Y和Z平面表示物镜平面的基准。可使用具有已知倾斜量的欧拉角建立X、Y和Z与x、y和z的关系。
图6说明示范性布置，其使用具有对应于所提及图像平面表示的倾斜角的旋转轴的序列(z,y′,z″)的旋转角度(φ,θ,-φ)的欧拉角。
从图6中所说明的欧拉角，可导出由数字R表示的对应旋转变换矩阵：
此旋转变换矩阵可评估如下：
旋转变换可写成v＝R*W，其中：
v＝(x,y,z)T且W＝(X,Y,Z)T 方程式5
其中T指示转置函数v和W。举例来说，行经转置为列。且
在本文中所描述的实施例中，方程式7的逆矩阵可通过在方程式7中用–θ取代θ来确定。在一些实施例中，此可解译为到原始基准的变换且可通过相对于同一倾斜轴倾斜负角度从倾斜基准获得。
使用上述方程式，以下值可被取代。对于z＝0的图像平面上的点，原始基准中的Z可由下式确定：
相应地，方程式2可如下导出：
分子值可从方程式4取代，其导致：
在一些实施例中，a(例如，从不倾斜图像平面到微透镜阵列的距离)的值可根据图1的调整机构160基于用户交互而可变。相应地，对于微透镜具有μ的大小的设定，视差方程式为：
其中间距(Pitch)为如从两个相邻微透镜所见的点的视差。
应用方程式11，微图像中的点的最终位置可被计算为
图7A到C为根据一个实施例的用于显示聚焦于倾斜图像平面上的图像的方法700的流程图。方法700可由图1的成像装置100和/或图3和4的成像装置300执行。在一些实施例中，显示聚焦于倾斜图像平面上的图像的方法可由与图像处理系统140的模块中的任一者通信的图1、3和4的全光相机110或310而执行。方法可作为软件解决方案由存储器175实施或在成像装置100或300中的别处(例如，由处理器170中的逻辑装置执行的一个或多个处理器)实施。
方法700在开始块705处开始且接着移到块710，其中成像装置由物镜接收来自场景的光且在图像平面处聚焦光。物镜可包括用于将图像聚焦在图像平面(例如，图1的图像平面120或图3的图像平面320)上的一或多个光学元件。在一些实施例中，物镜具有物镜平面且场景可具有相对于物镜平面倾斜的物体平面。在一个实施例中，当用户操作输入装置以起始拍摄照片或记录场景时接收并聚焦来自场景的光。在一个实施例中，物镜平面与图像平面平行。
在成像装置接收来自场景的光之后，方法700移到块720，在块720中在传感器处接收经由物镜传播的光。在一个实施例中，传感器定位在传感器平面处，且包含多个经配置以测量并检测入射于其上的光的光感测元件。在一个实施例中，传感器平面平行于物镜平面。
在传感器接收穿过物镜的光之后，方法700移到块730，在块730中光感测元件基于传感器处的所接收光产生图像数据。在一个实施例中，图像数据是由于来自场景通过物镜并通过经配置以产生光场数据的光学元件的光而产生。举例来说，图1的微透镜阵列125或图3的微透镜阵列可安置于传感器与物镜之间以产生如上文所描述的多个微图像。每一微图像可由传感器的光感测元件接收，所述光感测元件可经配置以基于入射于光感测元件上的每一射线的光的量产生每一微图像的光的辐射或数量以及每一微图像的空间和角度数据。
在产生图像数据之后，方法700移到接收倾斜参数的块740。倾斜参数可指示所选择倾斜或不平行图像平面的定向。倾斜图像平面具有相对于物镜平面的定向以使得角度存在于倾斜图像平面与物镜平面之间。因而，两个平面不平行。在一个实施例中，用户可操作图1的控制器155以操纵成像系统100以选择倾斜参数。倾斜参数可存储在存储器175中并通过处理器170检索。倾斜参数接着可通过数据处理模块180接收以供在如本文中详述并在上文参看图3到6所解释的方法700中使用。
在接收倾斜参数之后，方法700移到子方法块750，在子方法块750中基于接收的倾斜参数将图像数据转换成相对图像数据。在一些实施例中，相对图像数据指示沿着与倾斜参数有关的倾斜图像平面聚焦的第二图像。在一些实施例中，将图像数据转换成相对图像数据是以大体上类似于上文参看图3到6所描述的方式的方式执行。举例来说，数据处理模块180可利用图像数据、倾斜参数和各个平面的几何关系以确定第二图像的点的相对位置。此过程对构成图像数据的每一点实施以产生构成第二图像数据的多个点，点的集合能够从其中产生记录或照片中的帧。下文将参看图7B和7C进一步解释方法块750的子方法。
在图像数据转换成第二图像数据之后，方法700移到块760，在块760中显示第二图像。第二图像是基于第二图像数据而显示，且为聚焦于倾斜图像平面上的场景的图像。第二图像数据可由数据处理模块180转换，发射到存储器175中，由再现模块190检索，以使得图像数据可经组织且接着经提供到显示器150。显示器150可经配置以提供如由第二图像数据产生的视觉图像到场景的用户。
图7B为经执行用于构成图像数据的多个点的子方法750的流程图，子方法750在开始块751处开始接着移到块752。在块752处，成像装置识别沿着倾斜图像平面的点。举例来说，数据处理模块180选择位于所选择倾斜图像平面上的点。
在给定点经识别和选择之后，子方法750移到块753，在块753中由光感测元件测量从所识别点发射的光线的辐射值。举例来说，微图像可在来自光学元件(例如，微透镜阵列)的光感测元件上产生。光感测元件可经配置以测量辐射值并将那个值作为图像数据的部分存储。
在测量辐射值之后，子方法750移到方法块754，在块754中方向性数据是基于倾斜参数而经确定用于所识别点。下文将参看图7C进一步详细解释子方法754。在一些实施例中，如上文参看图3到6所解释使用透视或旋转变换以确定在各个固定和倾斜图像平面基准上的点的坐标而确定方向性数据。在确定方向性数据之后，方法750在结束块755处结束。子方法750可返回到方法700并继续块760。
图7C为用于基于倾斜参数确定方向性数据的子方法754的流程图，子方法754在开始块755处开始。子方法754接着移到块756，在块756中偏移是基于倾斜参数而经确定用于所识别点。举例来说，点的偏移可基于通过光学元件(例如，分别为图1和3的微透镜阵列125或25)产生的微图像而确定。在另一实施例中，偏移可基于倾斜图像平面相对于图像平面的定向而以几何学方式导出。偏移的导出可大体上类似于上文参看图3到6所描述的方式。
在点的偏移被确定之后，子方法754移到块757，在块757中偏移与确定偏移所针对的点的至少一个辐射值相关联。数据处理模块180和/或再现模块190可经配置以关联辐射值和偏移数据点以产生第二图像数据。在偏移与辐射值相关联之后，子方法754在结束块758处结束。子方法754可返回到方法700并继续到块760。
在本文所公开的成像装置和方法的一个实施方案中，包含用户接口(UI)，所述用户接口可并入于与3D功能性(例如，视频游戏、立体或显微图)相关的其它应用中。在一个实施例中，UI可显示于例如图1的显示器150的取景器/屏幕上，且所显示内容可由图1的处理器170和/或数据处理模块180确定和再现。举例来说，数据处理模块180可经配置以从光场数据确定相对像素位置，显示器150可经配置以在相对像素位置处再现每一像素的辐射值以便再现经重新聚焦图像。在一个实施例中，UI可经配置以确定待在显示器中再现的矩形并在场景中焦点对准的平面中覆叠所述矩形。在此方面，在重新聚焦所捕捉图像之后，矩形可以相对于传感器平面的某一透视而定位，因此矩形经显示为四边形(在透视变换之后)。在一些实施例中，根据图像平面的定向定位矩形，例如，矩形可基于倾斜图像平面相对于物镜的定向而定位。因而，矩形可指示焦点对准的当前图像平面。
在一个实施例中，所捕捉场景包含如上文所详述的光场数据。场景根据给定图像平面对焦，给定图像平面可在相对于物镜平面的任一定向中。图像平面可能平行于透镜平面，根据Scheimpflug原理相对于透镜平面倾斜，或在无限远处聚焦(例如，远地平线将呈现焦点对准)。
如上文参看图4到6所描述，透视或旋转变换矩阵(参见方程式4)是基于物镜与设法聚焦于上(由此建立相机内部的光场)的图像平面的几何关系而计算。当真实场景经捕捉为光场中(例如，在图像平面处)的图像时，图像经聚焦到图像平面并通过相机显示。对应于所显示图像的图像平面对应于所捕捉场景中的真实平面。在一些实施例中，为了视觉吸引，相机可经配置以展示对应于焦点对准的图像平面的虚拟图像平面同时所捕捉图像的剩余部分离焦。因此，虚拟图像平面可表示为具有经施加到其的透视变换的矩形，且矩形可说明为2D空间中的四边形。
在使用上述Scheimpflug倾斜控制器的情况下，可难以观察在所显示图像中焦点对准的倾斜平面。倾斜图像平面可与某一真实平面或场景中的矩形平面重合，图像平面可通过场景中的某一物体阻碍，或可在焦点对准的平面中不存在物体。
在一些实施例中，为了图像的可视化，相机呈现场景中的虚拟固定矩形。矩形平面可使用旋转变换(参见方程式4)在由相机获得和显示的图像上描绘。旋转变换可基于给定图像平面相对于物镜平面的倾斜角或几何定向而导出，如上文参看图4到6详述。此矩形也可覆叠在聚焦图像上，其中聚焦的平面可与图像平面的任一定向相关，此矩形具有某一透明度电平以准许所捕捉场景的不受抑制的观看同时也观看覆叠矩形。矩形的大小可指示图像中的聚焦深度。举例来说，较大矩形可指示焦点对准的图像平面更接近成像装置。较小矩形大小可指示焦点对准的图像平面距成像装置更远。零矩形大小可指示焦点对准的图像平面在无限远处。当图像平面相对于透镜平面倾斜时，相机可能够将覆叠的矩形调整成变形形状(例如，表示图像平面的四边形，如下文在图8到11中所示)。如果图像平面水平地或垂直地倾斜，那么平行度中的一者经保留在不倾斜方向中且矩形形成如同梯形的图像。
归因于相机的光学元件，所再现图像平面可映射到定位于物镜与传感器之间的具有任一定向的不同图像平面。这些图像平面和覆叠的矩形可基于Scheimpflug原理而确定。举例来说，图像平面与物镜之间的角度可基于Scheimpflug原理而估计。
参看图4，说明用于目标场景中的倾斜物体平面304a的光学图像形成的全光相机310的示意图。在全光相机310内部形成的倾斜物体平面304a、物镜平面315和倾斜图像平面321a在Scheimpflug交叉点308a处相交。举例来说，在倾斜物体平面304a中的矩形可以两个平行线对或四个点表示。点可具有在倾斜物体平面基准410(例如，x′y′z′基准)中的坐标。如图4中所示，对于x′y′z′倾斜物体平面基准410中的给定点p′，成像装置可经配置以确定通过物镜312在定义点p的倾斜图像平面基准405(例如，x,y,z基准)中形成的对应图像。应注意当前图像再现发生在x,y,z倾斜图像平面基准405中。
图8为用于确定通过物镜在图像平面基准中形成的物体平面基准中的目标场景的图像的坐标的方法的流程图。举例来说，对于倾斜物体平面304a上的给定点(例如，p')，主要透镜形成倾斜图像平面321a上的对应点(例如，p)。方法800为用于基于物体平面上的点p'的已知坐标确定图像平面中的点p的坐标的示范性方法。方法800可由图1的成像装置100执行。在一些实施例中，方法800可由与图像处理系统140的组件中的任一者通信的光学装置113的组件执行。方法可由存储器175实施为软件解决方案或由图像处理系统140在别处(例如，由处理器170中的逻辑装置执行的一个或多个处理器)实施。在一些实施例中，方法800可在倾斜图像平面被确定且经重新聚焦图像显示于显示器150上之后执行。
方法在块810处开始且继续进行块820。在块820处，方法800选择沿着倾斜物体平面304a的点(例如，点p')。在一些实施例中，点可为构成待覆叠于形成于倾斜图像平面321a上的图像上的矩形的至少一个点。在选择点p'之后，所述过程继续进行块820，其中物体平面的角度被确定。在一个实施例中，物体平面可具有ψ-θ的倾斜角，其中给定倾斜图像平面具有如图4中说明的倾斜角θ。
在确定物体平面的角度之后，方法继续进行块830，其中将用于所选择点p'的基准从倾斜物体平面基准410转换成固定基准420。此产生具有在固定基准420中定义的坐标的点P'。在于固定基准420中确定点P'之后，方法800继续进行其中成像装置确定点P的块840。具有固定基准420中的坐标的点P为沿着图像平面的对应于点P'的由从目标物体经由图4的物镜312并到倾斜图像平面321a上的射线迹线产生的点。在一个实施例中，点P'是经由透镜变换基于物镜312的物理特性而确定。
在于固定基准840中确定点P的坐标之后，方法800继续进行块850，在块850中将点P的坐标从固定基准420转换成倾斜图像平面基准405。在固定基准与图像平面基准之间的转换确定点p具有在倾斜图像平面基准405中的由倾斜图像平面基准405中的坐标定义的位置。在一些实施例中，点p的坐标定义在图1的显示器150中显示的图像中的点p'的位置。在一些实施例中，参看图8描述的方法可经执行用于沿着物体平面的任何数目个点且可用以定义待覆叠于所显示图像上的任一形状。在方法800将点P的坐标从固定基准转换到图像平面基准后，方法800在块860处结束。
下文参看图4描述方法800的示范性描述。举例来说，其中倾斜图像平面321a倾斜
的角度，对应倾斜物体平面304a可在几何上相关方向中倾斜。在图4中在由
确定的平面中说明几何关系。使用具有图4中的几何结构的Scheimpflug原理，角度θ和(ψ-θ)的正切经描绘为彼此成比例。举例来说，
其中ψ-θ为在Scheimpflug交叉点308a处在物镜平面315与倾斜物体平面304a之间定义的角度。角度ψ为倾斜物体平面304a与倾斜图像平面321a之间的角度，θ为定义于物镜平面315与倾斜图像平面321a之间的角度，v为倾斜图像平面321a与光轴395相交的点与物镜平面315之间的距离，且u为倾斜图像平面321a与光轴395的交叉点与物镜平面315之间的距离。其中关系式ψ-θ可经计算以供进一步使用。
对于不同基准之间的坐标的转换，可使用如上文参看图5到图7C详述的欧拉角方法，且可以类似方式导出公式。因此，对于点p'，通过ψ-θ的负倾斜角，以及
的倾斜方向，和相对于作为原点的点(0,0,(u+v))的倾斜，从x'y'z'到XYZ的基准转换为：
从先前论述，倾斜图像平面321a经形成为(a,b,c)*(X,Y,Z)T＝0(例如，平面法线为n＝(a,b,c)，其中
c＝cosθ)。相应地，图像点P可通过使通过物镜312的在(0,0,v)处的中心的射线303与点P′(例如，物体平面点)相交而确定(例如，图8的块840)。
接下来，射线参数方程式可写成：
并且，通过在图8的块840处求解参数方程式，交叉点P的坐标可经计算为：
由于这些方程式是在(X,Y,Z)固定基准420中求解，以发现所再现图像在显示器(例如，显示器150)上的对应像素位置，因此在块850处，固定基准420经转换成倾斜图像平面基准405。倾斜图像平面基准405可由在
的方向中的倾斜θ定义。在方程式3中建立的先前欧拉关系可经重新使用，其提供下式：
因此，使用如上文概述的方法800，通过以倾斜物体平面上的给定点开始，对应图像可经确定并显示于聚焦于倾斜图像平面的图像上。在一些实施例中，对应于倾斜图像平面的矩形的四个角可通过将旋转变换应用于沿着倾斜物体平面的所选择点以基于如本文中详述的几何关系在倾斜基准之间转换所述点而确定。
在一些实施例中，所形成图像与光学元件之间的距离的值可由图1的调整机构160中的间距控制。由于从物镜到光学元件的距离对于每一设定和图像捕捉是固定的(例如，距离D)，因此由物镜形成的图像距离可由u+a＝D确定。在计算距离和毫米到像素转换的同时可需要采用适当计算。举例来说，图像可以像素为单位且距离可以毫米为单位，因此原始图像像素可以不同单位表示，且在不同单位之间的转换中可需要适当小心。
图9A到D说明所显示场景上覆叠的矩形平面。展示成像装置的实施例，其具有经由所捕捉图像905a(图9A)、905b(图9B)、905c(图9C)和905d(图9D)显示目标场景的观看窗900，每一所捕捉图像描绘在各个倾斜图像平面处聚焦的同一场景。在一个实施例中，倾斜图像平面由透明或部分透明梯形930a到d表示。梯形表示在图像905a到d上覆叠的矩形平面。观看窗900可在显示器150上或来自例如图1的成像装置100的装置，包含视频相机、移动电话、平板计算机、计算机等。
图9A到9D说明栖息在护栏910上的海鸥920，支柱940邻近于海鸥920。另外，包含于每一图像中，但仅仅在图9D中描绘，第二海鸥950更远离用以捕捉或记录图像905的成像装置栖息在护栏910上。在一些实施例中，观看窗900可展示通过成像装置捕捉或记录的图像，其中所捕捉或记录的图像沿由梯形930a到930d表示的图像平面聚焦。举例来说，图9A说明所捕捉或记录图像，其中图像是沿由梯形930a表示的图像平面聚焦，以使得海鸥920的腿和水的倾斜区焦点对准。图9B说明所捕捉或记录图像，其中图像是沿由梯形930b表示的图像平面聚焦，其中图像平面仅仅沿着Y旋转轴而倾斜。图9C说明所捕捉或记录图像，其中图像是沿由梯形930c表示的图像平面聚焦，其中图像平面仅仅沿着X旋转轴而倾斜以使得海鸥920的尾和支柱940的底部焦点对准。图9D说明所捕捉或记录图像，其中图像沿由梯形930d表示的图像平面聚焦，其中图像平面有效定位于距成像装置的一段距离处(例如，小梯形930d)并倾斜以使得仅仅护栏910焦点对准以及允许观看在木护栏的远程处的海鸥950。
本文所公开的实施方案提供用于在装配期间主动地和最佳地对准光学系统的系统、方法和设备。所属领域的技术人员将认识到这些实施例可于硬件、软件、固件，或其任何组合中实施。
所属领域的技术人员将进一步了解，结合本文所公开的实施方案而描述的各种说明性逻辑块、模块、电路和程序步骤可实施为电子硬件、计算机软件或两者的组合。为了清晰说明硬件与软件的此互换性，各种说明性组件、块、模块、电路和步骤已在上文大体就其功能性加以描述。将此功能性实施为硬件或软件取决于特定应用和外加于整个系统上的设计约束。所属领域的技术人员可针对每一特定应用以变化方式实施所描述功能性，但这些实施决策不应被解译为导致脱离本发明的范围。所属领域的技术人员将认识到，一个部分或一部分可包括小于或等于整体的内容。举例来说，像素集合的一部分可指那些像素的子集合。
在一些实施例中，如上文所论述的电路、过程和系统可用于无线通信装置中。无线通信装置可为一种用以与其它电子装置无线通信的电子装置。无线通信装置的实例包含蜂窝式电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、迷你笔记型计算机、无线调制解调器、膝上型计算机、平板计算机装置等。
无线通信装置可包含用于实行上文所论述的方法的一或多个图像传感器、两个或多于两个图像信号处理器、包含指令或模块的存储器。装置也可具有数据、处理器加载指令和/或来自存储器、一或多个输入装置、一或多个输出装置(例如，显示装置和电源/接口)的数据。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同被称作收发器。收发器可经耦合到用于发射和/或接收无线信号的一或多个天线。
可将本文中所描述的功能作为一或多个指令存储于处理器可读或计算机可读媒体上。术语“计算机可读媒体”指可由计算机或处理器存取的任何可用的媒体。作为实例而非限制，此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或可用以按指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。如本文所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软碟和
光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”指计算装置或处理器，其与可由所述计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)相组合。如本文所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
本文中所公开的方法包括用于达成所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非对于所描述方法的恰当操作需要步骤或动作的特定次序，否则可修改特定步骤和/或动作的次序和/或使用而不脱离权利要求书的范围。
应注意术语“耦合(couple、coupling、coupled)”或如本文所使用的词语耦合的其它变化可指示间接连接抑或直接连接。举例来说，如果第一组件经“耦合”到第二组件，那么第一组件可为间接连接到第二组件抑或直接连接到第二组件。如本文所使用，术语“多个”指示两个或多于两个。举例来说，多个组件指示两个或多于两个组件。
术语“确定”涵盖多种动作，且因此“确定”可包含计算(calculating、computing)、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、确定和其类似者。此外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)和其类似者。此外，“确定”可包含解析、选择、挑选、建立和其类似者。
短语“基于”并不意味着“仅基于”，除非以其它方式明确地指定。换句话说，短语“基于”描述“仅基于”和“至少基于”两者。
在前文描述中，给出特定细节以提供对实例的透彻理解。然而，所属领域的技术人员应理解，实例可在无需这些特定细节的情况下实践。举例来说，可以框图展示电组件/装置，从而避免以不必要的细节混淆实例。在其它情况下，可详细展示这些组件、其它结构和技术以进一步解释实例。
本文包含的标题用以参考和辅助定位各章节。这些标题并不希望限制相对于其所描述的概念的范围。这些概念贯穿整个说明书具有适用性。
还应注意，可将实例描述为过程，所述过程被描绘为流程表、流程图、有限状态图、结构图或框图。虽然流程图可将操作描述成顺序过程，但是许多操作可并行或同时执行，并且所述过程可重复。另外，可重新排列操作的次序。当过程的操作完成时，所述过程终止。过程可对应于方法、功能、程序、次例程、子程序，等等。当过程对应于软件函数时，其终止对应于函数返回到呼叫函数或目标函数。
提供所公开的实施方案的先前描述以使任何所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易清楚这些实施方案的各种修改，且本文所定义的通用原理可在不脱离本发明精神或范围的情况下应用于其它实施方案。因此，本发明并不希望限于本文所展示的实施方案，而应符合与本文中所公开的原理和新颖特征一致的最广泛范围。
Claims (14)
1.一种成像设备，其包括：
物镜，其定位于物镜平面处，所述物镜经配置以在图像平面处聚焦从场景接收的光；
传感器，其经定位以接收经由所述物镜传播的光，所述传感器具有安置于在传感器平面中的所述传感器的表面上的多个光感测元件，所述光感测元件经配置以基于在所述传感器处接收的所述光产生图像数据，所述传感器平面平行于所述物镜平面；
光学元件，其经定位以接收传播穿过所述物镜的光且安置于所述传感器与所述物镜之间，所述光学元件经配置以产生关于所述光感测元件的所述场景的微图像；
处理器，其可操作地耦合到所述传感器；
存储器组件，其可操作地耦合到所述处理器，所述处理器和存储器组件经共同地配置以：
接收由所述光感测元件产生的所述图像数据，所述图像数据指示在所述图像平面处由所述物镜聚焦的第一图像，
接收指示相对于所述物镜平面倾斜的所选择成像平面的定向的倾斜参数，以及通过针对沿着不平行图像平面的多个点中的每一点执行以下操作来将所述接收的图像数据转换成相对图像数据，所述相对图像数据指示沿着相对于所述图像平面倾斜的所述不平行图像平面聚焦的第二图像，所述不平行图像平面基于所述倾斜参数：
识别沿着所述不平行图像的点；
在所述光感测元件处测量从所述点发射的光线的辐射值；以及
对于所述点的每一微图像，通过执行以下步骤来基于所述辐射值和所述倾斜参数确定方向性数据：
计算基于相对于所述图像平面的所述所选择成像平面的所述定向几何导出的点偏移；以及
将所述偏移与用以计算所述偏移的所述微图像的至少一个辐射值相关联；以及
显示器，其与所述处理器数据通信，所述显示器经配置以接收来自所述处理器的所述第二图像并显示所述第二图像。
2.根据权利要求1所述的成像设备，其中所述倾斜参数基于所述不平行图像平面与所述图像平面之间的角度。
3.根据权利要求1所述的成像设备，其中所述光学元件包括以下各者中的至少一个：
一微透镜阵列，其包括多个微透镜，每一微透镜经配置以产生所述场景的一微图像；以及
多个相机，其以阵列方式布置并经配置以在所述传感器处产生所述场景的多个微图像。
4.根据权利要求1所述的成像设备，其中所述处理器和所述存储器组件经进一步配置以确定所述传感器上的每一微图像的相对位置，其中所述图像数据包含在每一光感测元件处捕捉的所述相对位置和辐射值。
5.根据权利要求1所述的成像设备，其中所述图像平面经定位于所述物镜的焦点处并平行于所述物镜平面。
6.根据权利要求1所述的成像设备，其中所述图像数据包括基于通过所述光感测元件接收的所述光的所述场景的辐射数据以及空间和角度数据。
7.根据权利要求1所述的成像设备，其中所述不平行图像平面和所述物镜平面在相交点处相交。
8.根据权利要求1所述的成像设备，其中所述处理器和存储器组件经进一步共同地配置以计算从沿着所述不平行图像平面的点到由所述光学元件捕捉的所述微图像的光的射线迹线上的所述图像数据的相对位置。
9.根据权利要求1所述的成像设备，其中所述处理器和所述存储器组件经进一步共同地配置以在所述所显示第二图像上产生指示包括所述倾斜参数的所述所选择成像平面的四边形覆叠。
10.根据权利要求9所述的成像设备，其中所述四边形覆叠是基于从所述所选择成像平面与所述物镜平面之间的几何关系导出的投影变换。
11.根据权利要求1所述的成像设备，其进一步包括全光相机。
12.一种用于显示场景的图像的方法，所述方法包括：
由物镜接收来自场景的光并在图像平面处聚焦所述光，所述物镜具有物镜平面；在传感器处接收穿过所述物镜传播的光，所述传感器具有安置于传感器平面上的多个光感测元件；
由安置于所述传感器与所述物镜之间的光学元件接收传播穿过所述物镜的光，传播穿过所述光学元件的光在所述光感测元件上产生所述场景的微图像；
由所述多个光感测元件基于在所述传感器处接收的光产生图像数据；
接收由所述光感测元件产生的所述图像数据，所述图像数据指示在所述图像平面处由所述物镜聚焦的第一图像；
接收指示相对于所述物镜平面倾斜的所选择成像平面的定向的倾斜参数；
通过针对沿着不平行图像平面的多个点中的每一点执行以下操作来将所述接收的图像数据转换成相对图像数据，所述相对图像数据指示沿着相对于所述图像平面倾斜的所述不平行图像平面聚焦的第二图像，所述不平行图像平面基于所述倾斜参数：
识别沿着所述不平行图像的点；
在所述光感测元件处测量从所述点发射的光线的辐射值；以及
对于所述点的每一微图像，通过执行以下步骤来基于所述辐射值和所述倾斜参数确定方向性数据：
计算基于相对于所述图像平面的所述所选择成像平面的所述定向几何导出的点偏移；以及
将所述偏移与用以计算所述偏移的所述微图像的至少一个辐射值相关联；以及
在显示器处接收所述第二图像并显示所述第二图像。
13.根据权利要求12所述的方法，其中所述倾斜参数是基于所述不平行图像平面与所述图像平面之间的角度。
14.根据权利要求13所述的方法，其进一步包括在所述所显示第二图像上产生指示包括所述倾斜参数的所述所选择成像平面的四边形覆叠，其中所述四边形覆叠是基于所述不平行图像平面的失真矩形的投影变换，其中所述投影变换是从所述所选择成像平面与所述物镜平面之间的几何关系导出。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562270509P | 2015-12-21 | 2015-12-21 | |
| US62/270,509 | 2015-12-21 | ||
| US15/057,961 US9955057B2 (en) | 2015-12-21 | 2016-03-01 | Method and apparatus for computational scheimpflug camera |
| US15/057,961 | 2016-03-01 | ||
| PCT/US2016/064001 WO2017112371A1 (en) | 2015-12-21 | 2016-11-29 | Method and apparatus for computational scheimpflug camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108432230A CN108432230A (zh) | 2018-08-21 |
| CN108432230B true CN108432230B (zh) | 2021-02-26 |
Family
ID=59066582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680072799.2A Active CN108432230B (zh) | 2015-12-21 | 2016-11-29 | 一种成像设备和一种用于显示场景的图像的方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9955057B2 (zh) |
| EP (1) | EP3395059B1 (zh) |
| CN (1) | CN108432230B (zh) |
| ES (1) | ES2781181T3 (zh) |
| HU (1) | HUE049038T2 (zh) |
| TW (1) | TW201732320A (zh) |
| WO (1) | WO2017112371A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018079283A1 (ja) * | 2016-10-26 | 2018-05-03 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| JP7313869B2 (ja) * | 2018-05-11 | 2023-07-25 | キヤノン株式会社 | 撮像装置、制御装置、制御方法及びプログラム |
| WO2020061732A1 (en) * | 2018-09-27 | 2020-04-02 | Suzhou Aqueti Technology Co., Ltd. | Vcm-based optical apparatus, system, and imaging method thereof |
| US11095807B2 (en) | 2019-01-23 | 2021-08-17 | Giovanni Sacco | Method and apparatus for the correction of geometric and depth of field problems during image taking |
| US11381731B2 (en) * | 2019-03-15 | 2022-07-05 | Canon Kabushiki Kaisha | Imaging apparatus, imaging control method, and storage medium |
| US10868945B2 (en) * | 2019-04-08 | 2020-12-15 | Omnivision Technologies, Inc. | Light-field camera and method using wafer-level integration process |
| US20200380638A1 (en) * | 2019-05-30 | 2020-12-03 | Coretronic Corporation | Image processing device and image processing method |
| JP7362360B2 (ja) * | 2019-08-29 | 2023-10-17 | キヤノン株式会社 | 制御装置、撮像装置、レンズ装置、および、プログラム |
| KR20210057663A (ko) * | 2019-11-12 | 2021-05-21 | 캐논 가부시끼가이샤 | 제어 장치, 제어 방법, 및 저장 매체 |
| CN114095645B (zh) * | 2020-08-24 | 2023-04-18 | 浙江大华技术股份有限公司 | 景深调整方法以及摄像器件、存储装置 |
| DE102020126407A1 (de) * | 2020-10-08 | 2022-04-14 | Leica Camera Aktiengesellschaft | Bildaufnahmegerät |
| CN115690226B (zh) * | 2022-10-27 | 2024-02-13 | 合肥中科君达视界技术股份有限公司 | 一种基于Scheimpflug定律的大视场3D轮廓测量仪标定方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101795406A (zh) * | 2009-01-30 | 2010-08-04 | 三星电子株式会社 | 利用可变调制器获取光场数据的设备和方法 |
| CN101933040A (zh) * | 2007-06-06 | 2010-12-29 | 索尼株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
| CN104704809A (zh) * | 2012-10-19 | 2015-06-10 | 高通股份有限公司 | 使用折叠光学器件的多相机系统 |
| JP2015126261A (ja) * | 2013-12-25 | 2015-07-06 | キヤノン株式会社 | 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置 |
| WO2015132831A1 (ja) * | 2014-03-03 | 2015-09-11 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| CN105093472A (zh) * | 2015-08-25 | 2015-11-25 | 华为技术有限公司 | 成像装置和成像方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008050904A1 (fr) * | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
| US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
| US8189065B2 (en) * | 2008-01-23 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
| US8279325B2 (en) * | 2008-11-25 | 2012-10-02 | Lytro, Inc. | System and method for acquiring, editing, generating and outputting video data |
| US8289440B2 (en) | 2008-12-08 | 2012-10-16 | Lytro, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
| EP2464952B1 (en) | 2009-08-11 | 2018-10-10 | Koninklijke Philips N.V. | Multi-spectral imaging |
| JP5968107B2 (ja) * | 2011-09-01 | 2016-08-10 | キヤノン株式会社 | 画像処理方法、画像処理装置およびプログラム |
| US9179126B2 (en) * | 2012-06-01 | 2015-11-03 | Ostendo Technologies, Inc. | Spatio-temporal light field cameras |
| US9380221B2 (en) * | 2013-02-27 | 2016-06-28 | Massachusetts Institute Of Technology | Methods and apparatus for light field photography |
| US9161688B2 (en) | 2013-03-15 | 2015-10-20 | Amo Wavefront Sciences, Llc | System and method for corneal pachymetry using plenoptic imaging |
| US9183620B2 (en) | 2013-11-21 | 2015-11-10 | International Business Machines Corporation | Automated tilt and shift optimization |
| US20150310601A1 (en) | 2014-03-07 | 2015-10-29 | Digimarc Corporation | Methods and arrangements for identifying objects |
| US9478036B2 (en) * | 2014-04-14 | 2016-10-25 | Nokia Technologies Oy | Method, apparatus and computer program product for disparity estimation of plenoptic images |
| US9554030B2 (en) * | 2014-09-29 | 2017-01-24 | Yahoo! Inc. | Mobile device image acquisition using objects of interest recognition |
-
2016
- 2016-03-01 US US15/057,961 patent/US9955057B2/en active Active
- 2016-11-29 WO PCT/US2016/064001 patent/WO2017112371A1/en active Application Filing
- 2016-11-29 CN CN201680072799.2A patent/CN108432230B/zh active Active
- 2016-11-29 EP EP16816071.1A patent/EP3395059B1/en active Active
- 2016-11-29 HU HUE16816071A patent/HUE049038T2/hu unknown
- 2016-11-29 ES ES16816071T patent/ES2781181T3/es active Active
- 2016-12-14 TW TW105141315A patent/TW201732320A/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101933040A (zh) * | 2007-06-06 | 2010-12-29 | 索尼株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
| CN101795406A (zh) * | 2009-01-30 | 2010-08-04 | 三星电子株式会社 | 利用可变调制器获取光场数据的设备和方法 |
| CN104704809A (zh) * | 2012-10-19 | 2015-06-10 | 高通股份有限公司 | 使用折叠光学器件的多相机系统 |
| JP2015126261A (ja) * | 2013-12-25 | 2015-07-06 | キヤノン株式会社 | 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置 |
| WO2015132831A1 (ja) * | 2014-03-03 | 2015-09-11 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| CN105093472A (zh) * | 2015-08-25 | 2015-11-25 | 华为技术有限公司 | 成像装置和成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| HUE049038T2 (hu) | 2020-09-28 |
| WO2017112371A1 (en) | 2017-06-29 |
| CN108432230A (zh) | 2018-08-21 |
| EP3395059A1 (en) | 2018-10-31 |
| EP3395059B1 (en) | 2019-12-25 |
| TW201732320A (zh) | 2017-09-16 |
| US20170180618A1 (en) | 2017-06-22 |
| US9955057B2 (en) | 2018-04-24 |
| ES2781181T3 (es) | 2020-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108432230B (zh) | 一种成像设备和一种用于显示场景的图像的方法 | |
| US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
| JP4981124B2 (ja) | 改良型プレノプティック・カメラ | |
| US9215389B2 (en) | Image pickup device, digital photographing apparatus using the image pickup device, auto-focusing method, and computer-readable medium for performing the auto-focusing method | |
| EP3134868B1 (en) | Generation and use of a 3d radon image | |
| JP5968107B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
| JP4497211B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| US20130128068A1 (en) | Methods and Apparatus for Rendering Focused Plenoptic Camera Data using Super-Resolved Demosaicing | |
| US10708486B2 (en) | Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge | |
| JP2014197824A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| JP2018529256A (ja) | 低ｆナンバープレノプティックカメラのための２表面マイクロレンズアレイを有する方法および装置 | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
| JP6418770B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
| TWI543582B (zh) | 影像編輯方法以及相關之模糊參數建立方法 | |
| JP6544978B2 (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
| JP2014010783A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN114363522A (zh) | 拍照方法及相关装置 | |
| JP5822700B2 (ja) | 画像撮影方法および画像撮影装置、プログラム | |
| WO2021145913A1 (en) | Estimating depth based on iris size | |
| JP6483661B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
| JP7107224B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2016134686A (ja) | 撮像装置及び撮像方法 | |
| JP2018081534A (ja) | 画像処理装置、撮像装置および制御方法 | |
| US10425630B2 (en) | Stereo imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |