CN115989678A - 用于广角成像的多相机系统 - Google Patents
用于广角成像的多相机系统 Download PDFInfo
- Publication number
- CN115989678A CN115989678A CN202180042413.4A CN202180042413A CN115989678A CN 115989678 A CN115989678 A CN 115989678A CN 202180042413 A CN202180042413 A CN 202180042413A CN 115989678 A CN115989678 A CN 115989678A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- camera
- prism
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 127
- 238000012937 correction Methods 0.000 claims abstract description 167
- 238000000034 method Methods 0.000 claims abstract description 124
- 230000015654 memory Effects 0.000 claims description 59
- 239000011248 coating agent Substances 0.000 claims description 43
- 238000000576 coating method Methods 0.000 claims description 43
- 238000012986 modification Methods 0.000 claims description 20
- 230000004048 modification Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 104
- 238000012545 processing Methods 0.000 description 84
- 210000001747 pupil Anatomy 0.000 description 62
- 230000033001 locomotion Effects 0.000 description 47
- 230000008569 process Effects 0.000 description 38
- 230000007246 mechanism Effects 0.000 description 34
- 230000003287 optical effect Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 23
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 20
- 238000004891 communication Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 19
- 230000011664 signaling Effects 0.000 description 17
- 230000009977 dual effect Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000003068 static effect Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 239000004033 plastic Substances 0.000 description 5
- 241000226585 Antennaria plantaginifolia Species 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000006117 anti-reflective coating Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 238000002083 X-ray spectrum Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000000084 gamma-ray spectrum Methods 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004922 lacquer Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002044 microwave spectrum Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
描述了用于大视野数字成像的系统和技术。设备的第一图像传感器基于被第一光重定向元件从第一路径重定向到重定向的第一路径上的第一光来捕获第一图像，并且所述设备的第二图像传感器基于被第二光重定向元件从第二路径重定向到重定向的第二路径上的第二光来捕获第二图像。超过所述第一光重定向元件的所述第一路径的虚拟延伸可以与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交。所述设备可以使用视角畸变校正来修改所述第一图像和所述第二图像，并且可以通过对所述第一图像和所述第二图像进行组合来生成组合图像。所述组合图像可以具有比所述第一图像和/或所述第二图像更大的视野。
Description
技术领域
概括地说，本公开内容涉及图像或视频捕获设备，包括用于生成具有大(例如，宽)视野的图像的多相机系统。
背景技术
许多设备包括一个或多个相机。例如，智能手机或平板电脑包括用于捕获自拍图像的前置相机和用于捕获场景图像(例如风景或设备用户感兴趣的其他场景)的后置相机。用户可能希望捕获不适合相机视野的场景的图像。一些设备包括基于将光引导至图像传感器的相机镜头的曲率而具有不同视野的多个相机。因此，用户可以使用具有基于相机镜头曲率的期望的场景视野的相机来捕获图像。
发明内容
描述了用于数字成像以生成具有大视野的图像的系统和技术。例如，设备可以包括具有第一图像传感器的第一相机，第一图像传感器基于由第一光重定向元件重定向的第一光来捕获第一图像。第一光重定向元件可以将第一光从第一路径重定向到朝向第一相机的重定向的第一路径。设备可以包括具有第二图像传感器的第二相机，第二图像传感器基于由第二光重定向元件重定向的第二光来捕获第二图像。第二光重定向元件可以将第二光从第二路径重定向到朝向第二相机的重定向的第二路径。可以布置第一相机、第二相机、第一光重定向元件和第二光重定向元件使得超过第一光重定向元件的第一路径的虚拟延伸与超过第二光重定向元件的第二路径的虚拟延伸相交。可以布置这些元件使得第一相机的第一镜头和第二相机的第二镜头基于光重定向虚拟重叠而不物理重叠。该设备可以使用视角畸变校正来修改第一图像和/或第二图像，例如以使第一图像和第二图像看起来是从相同的角度观看所拍摄的场景。该设备可以从第一图像和第二图像生成组合图像，例如通过将第一图像和第二图像对齐和拼接在一起。组合图像可以具有比第一图像、第二图像或这二者更大的视野。
在一个示例中，提供了一种用于数字成像的装置。所述装置包括存储器以及耦合至所述存储器的一个或多个处理器，所述一个或多个处理器(例如，在电路中实现)耦合至所述存储器。所述一个或多个处理器被配置为并且可以：接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像；接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交；使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个；以及响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
在另一示例中，提供了一种数字成像方法。所述方法包括：接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像。所述方法包括：接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交。所述方法包括：使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个。所述方法包括：响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
在另一示例中，提供了一种非暂时性计算机可读存储介质，其上存储有指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器用于：接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像；接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交；使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个；以及响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
在另一示例中，提供了一种用于数字成像的装置。所述装置包括：用于接收由第一图像传感器捕获的场景的第一图像的单元，其中，第一光重定向元件将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像。所述装置包括：用于接收由第二图像传感器捕获的所述场景的第二图像的单元，其中，第二光重定向元件将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交。所述装置包括：用于使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个的单元。所述装置包括：用于响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像的单元，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
在一些方面，使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个包括：使用所述视角畸变校正将所述第一图像从描绘第一视角修改为描绘公共视角；并且使用所述视角畸变校正将所述第二图像从描绘第二视角修改为描绘所述公共视角，其中，所述公共视角在所述第一视角和所述第二视角之间。
在一些方面，使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个包括：识别所述第一图像和所述第二图像中的至少一个的图像数据中的一个或多个对象的描绘；以及通过基于所述一个或多个对象的所述描绘来投影所述图像数据来修改所述图像数据。
在一些方面，从所述第一图像和所述第二图像生成所述组合图像，所述一个或多个处理器包括：将所述第一图像的第一部分与所述第二图像的第二部分对齐；以及基于所述第一图像的所述第一部分与所述第二图像的所述第二部分对齐，将所述第一图像和所述第二图像拼接在一起。
在一些方面，上述方法、装置和计算机可读介质还包括：使用亮度均匀性校正来修改所述第一图像和所述第二图像中的至少一个。
在一些方面，上述方法、装置和计算机可读介质还包括：所述第一图像传感器；所述第二图像传感器；所述第一光重定向元件；以及所述第二光重定向元件。
在一些方面，所述第一光重定向元件包括第一反射表面，其中，为了将所述第一光重定向为朝向所述第一图像传感器，所述第一光重定向元件使用所述第一反射表面将所述第一光反射朝向所述第一图像传感器；并且所述第二光重定向元件包括第二反射表面，其中，为了将所述第二光重定向为朝向所述第二图像传感器，所述第二光重定向元件使用所述第二反射表面将所述第二光反射朝向所述第二图像传感器。
在一些方面，所述第一光重定向元件包括被配置为折射所述第一光的第一棱镜；并且所述第二光重定向元件包括被配置为折射所述第二光的第二棱镜。在一些方面，所述第一棱镜和所述第二棱镜是邻接的。在一些方面，桥连接所述第一棱镜的第一边缘和所述第二棱镜的第二边缘，其中，所述桥被配置为：防止光从所述第一棱镜的所述第一边缘和所述第二棱镜的所述第二边缘中的至少一个反射。在一些方面，所述第一棱镜包括至少一个斜切的边缘，并且其中，所述第二棱镜包括至少一个斜切的边缘。在一些方面，所述第一棱镜包括具有光吸收涂层的至少一个边缘，其中，所述第二棱镜包括具有光吸收涂层的至少一个边缘。在一些方面，所述第一路径是所述第一光进入所述第一棱镜前的第一光的路径，其中，所述第二路径是所述第二光进入所述第二棱镜前的第二光的路径。在一些方面，所述第一棱镜包括被配置为反射所述第一光的第一反射表面，其中，所述第二棱镜包括被配置为反射所述第二光的第二反射表面。在一些方面，所述第一路径为所述第一光进入所述第一棱镜之后但在所述第一反射表面反射所述第一光之前的第一光的路径，其中，所述第二路径为所述第二光进入所述第二棱镜之后但在所述第二反射表面反射所述第二光之前的第二光的路径。
在一些方面，所述第一图像和所述第二图像是被同时捕获的。在一些方面，所述第一光重定向元件相对于所述第一图像传感器固定，其中，所述第二光重定向元件相对于所述第二图像传感器固定。在一些方面，所述第一图像传感器的第一平坦表面面向第一方向，其中，所述第二图像传感器的第二平坦表面面向平行于所述第一方向的第二方向。
在一些方面，装置包括相机、移动手持设备、智能电话、移动电话、便携式游戏设备、另一移动设备、无线通信设备、智能手表、可穿戴设备、头戴式显示器(HMD)、扩展现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、服务器计算机、其他设备，或者它们的组合。在一些方面，一个或多个处理器包括图像信号处理器(ISP)。在一些方面，所述装置包括用于捕获一个或多个图像的一个或多个相机。在一些方面，所述装置包括捕获所述图像数据的图像传感器。在一些方面，该装置还包括用于显示图像、与所述图像的处理相关联的一个或多个通知和/或其他可显示数据的显示器。
本发明内容并不旨在标识要求保护的发明主题的关键或重要特征，也不旨在单独用于确定要求保护的发明主题的范围。应当通过参考本专利的整个说明书的适当部分、任何或所有附图以及每项权利要求来理解发明主题。
通过参考以下说明书、权利要求书和附图，前述以及其他特征和实施例将变得更加显而易见。
附图说明
在附图中通过举例的方式而非通过限定的方式示出了本公开内容的各个方面，并且在附图中相同的附图标记指代相同的元素。参考下列附图在下文中对本申请的说明性实施例进行了详细的描述，其中：
图1是示出使用具有镜头曲率的镜头的相机捕获的图像的畸变的示例的概念图。
图2是示出基于相机的一系列捕获的示例广角图像捕获的概念图；
图3是示出使用全景拼接生成的广角图像中的示例重影畸变的概念图；
图4是示出使用全景拼接生成的广角图像中的示例拼接畸变的概念图；
图5是示出被配置为生成一个或多个广角图像的示例设备的框图；
图6是示出用于捕获图像帧的两个相机的两个图像传感器及其相关联的镜头的概念图；
图7是示出将光重定向到相机镜头的示例重定向元件以及基于重定向元件的相机镜头和关联的图像传感器的位置变化的概念图；
图8是示出使用包括反射镜的重定向元件生成广角图像的两个相机的示例配置的概念图；
图9是示出使用包括棱镜的重定向元件生成广角图像的两个相机的示例配置的概念图；
图10A是示出由一个或多个相机捕获的图像帧中的示例视角畸变的概念图；
图10B是示出将两个图像帧到公共视角的示例视角畸变校正的概念图；
图10C是示出对由两个相机捕获的两个图像帧的示例数字对齐和拼接以用于生成广角图像的概念图；
图10D是示出从由两个相机捕获的两个图像帧生成的广角图像的示例亮度均匀性校正的概念图；
图11是示出可能在图像帧的一部分中引起散射噪声的来自相机镜头的示例光反射的概念图；
图12A是示出将光重定向到第一相机和将光重定向到第二相机的示例重定向元件的概念图；
图12B是示出图12A中的重定向元件的概念图，其示出了消除来自棱镜边缘的光散射；
图12C是示出来自视角角度的图12A中的重定向元件的概念图；
图13A是示出用于从多个图像帧生成组合图像的示例过程的流程图；
图13B是示出数字成像的示例方法的流程图；
图14是示出用于捕获要被组合以生成组合图像帧的多个图像帧的示例过程的流程图；
图15是示出平坦视角畸变校正和曲面视角畸变校正的示例的概念图；
图16是示出在平坦视角畸变校正和弯曲视角畸变校正中从图像传感器图像平面到视角校正图像平面的像素映射的概念图；
图17是示出场景的三个示例组合图像的概念图，每个组合图像被应用了不同曲率度数的弯曲视角畸变校正；
图18是示出对弯曲视角畸变校正相对于平坦视角畸变的不同曲率度数进行比较的图的概念图。
图19是示出用于执行弯曲视角畸变校正的示例过程的流程图；
图20是示出图像捕获和处理设备的架构的示例的框图；以及
图21是示出用于实施本技术的某些方面的系统的示例的框图。
具体实施方式
本公开内容的方面可以用于图像或视频捕获设备。一些方面包括使用多个相机生成广角图像。
智能手机、平板电脑、数字相机或其他设备包括用于捕获场景的图像或视频的相机。相机具有基于图像传感器和一个或多个相机镜头的最大视野。例如，相机镜头中具有较大曲率的单镜头或多镜头系统可以使图像传感器能够捕获场景的更大视野。一些设备包括具有基于聚焦镜头的曲率的不同视野的多个相机。例如，设备可以包括具有拥有正常视野的普通镜头的相机，以及具有拥有更宽视野的广角镜头的不同相机。相机或在相机的处理器上运行的软件应用的用户可以具有视野在不同的相机之间进行选择，以选择具有最适合捕获图像或视频的特定集合的视野的相机。例如，一些智能手机包括具有不同视野的长焦相机、广角相机和超广角相机。在捕获之前，用户或软件应用可以基于每个相机的视野来选择要使用哪个相机。由于依赖于近似值，因此对这种畸变的补偿可能计算成本高昂且不准确。应用畸变补偿可能保留一些原始畸变，可能过度补偿，和/或可能引入其他图像伪影。
然而，超广角相机具有的视野可能小于要捕获的场景的期望视野。例如，许多用户希望捕获场景视野大于相机视野的图像或视频。设备制造商可以增加相机镜头的曲率以增加相机的视野。然而，设备制造商可能还需要增加图像传感器的尺寸和复杂性以适应更大的视野。
此外，镜头曲率会在从相机捕获的图像帧中引入畸变。例如，镜头曲率会引入径向畸变，例如桶形畸变、枕形畸变或胡须畸变。在某些情况下，数字图像处理可用于通过使用逆畸变来扭曲畸变图像来对径向畸变执行基于软件的补偿。然而，针对径向畸变的基于软件的补偿执行起来可能很困难且计算量大。此外，基于软件的补偿通常依赖于可能不适用于所有情况的近似值和模型，并且最终可能导致图像不准确或不完整地扭曲。应用了补偿所得到的图像可能仍保留一些径向畸变，可能最终由于过度补偿而以与原始图像相反的方式畸变，或者可以包括其他视觉伪影。
描述了用于数字成像以生成具有大视野的图像的系统和技术。一种设备可包括基于由第一光重定向元件重定向的第一光来捕获第一图像的第一相机以及基于由第二光重定向元件重定向的第二光来捕获第二图像的第二相机。第一相机、第二相机、第一光重定向元件和第二光重定向元件可以布置为使得第一相机的第一镜头和第二相机的第二镜头基于光重定向虚拟重叠而不物理重叠。例如，第一相机的第一镜头的第一入射光瞳的第一中心和第二相机的第二镜头的第二入射光瞳的第二中心可以虚拟重叠而不物理重叠。该设备可以从第一图像和第二图像生成组合图像，例如通过将第一图像和第二图像对齐和拼接在一起。组合图像可以具有比第一图像、第二图像或这二者更宽的视野。
该设备不依赖于增加镜头曲率的广角镜头来生成具有大视野的广角镜头的组合图像。因此，设备中的相机可以使用不会引入广角镜头和超广角镜头引入的径向畸变的镜头，在这种情况下，很少或不需要应用径向畸变补偿。因此，与使用具有引入径向畸变的曲面镜头和随后补偿该径向畸变的处理器的相机来生成可比图像相比，使用该设备来生成具有大视野的组合图像的计算成本更低且更准确。与具有引入径向畸变的曲面镜头的相机中的图像传感器相比，该设备中的各个相机还可以分别具有更小并且更简单的图像传感器。因此，与具有引入径向畸变的曲面镜头的相机相比，设备中的单个相机可以消耗更少的功率，并且需要更少的电力来进行处理。
图1是示出使用具有拥有镜头曲率的镜头104的相机112捕获的图像的畸变的示例的概念图100。畸变基于镜头104的曲率。相机112至少包括镜头104和图像传感器106。镜头104将来自场景102的光引导至图像传感器106。图像传感器106捕获一个或多个图像帧。捕获的图像帧108是描绘场景102并且由相机112的图像传感器106捕获的示例图像帧。捕获的图像帧108包括桶形畸变，这是一种径向畸变。捕获的图像帧108中的桶形畸变导致场景102的中心在捕获的图像帧108中相对于场景的边缘看起来被拉伸，而场景102的角看起来被朝向捕获的图像帧108的中心挤压。
设备(例如相机112或另一图像处理设备)可以使用畸变补偿来处理捕获的图像帧108以减少桶形畸变。然而，该处理可能会在捕获的图像帧108上产生其自身的畸变效果。例如，捕获的帧108中的场景102的中心可以参考捕获的图像帧108中的场景的边缘被归一化或以其他方式调整。调整中心可以包括：拉伸捕获的图像帧108中的场景的角以更接近地类似于矩形(或者图像传感器的形状，如果不同于矩形的话)。在图1中示出了通过使用畸变补偿来处理捕获的图像帧108而生成的示例经处理图像帧110。示例经处理图像帧110示出了其中畸变补偿过度补偿了桶形畸变并引入枕形畸变的示例，枕形畸变是另一种类型的径向畸变。在处理捕获到的图像帧108时过多地拉伸角可能会引入例如枕形畸变。使用畸变补偿来处理图像还会引入其他图像伪影。
可以增加镜头104的镜头曲率以增加图像传感器106捕获的图像帧的视野。例如，广角镜头、超广角镜头和鱼眼镜头全部通常都表现出高水平的镜头曲率，这通常会导致桶形畸变、其他类型的径向畸变或其他类型的畸变。结果，使用这种镜头捕获的每个捕获图像帧108中的畸变增加，如图1所示的桶形畸变。畸变补偿将畸变或其他图像伪影(例如图1所示的枕形畸变)引入经处理图像帧110的可能性也随着镜头104中的曲率的增加而增加。因此，使用具有增加的镜头曲率的镜头104捕获和/或生成的图像，该图像包括具有比期望的更小视野的图像(例如，经裁剪图像)，通常是畸变的或包括伪影。
一些设备还包括软件功能，用于基于相机的运动使用单个相机生成具有更宽视野的图像。例如，一些相机应用包括相机移动全景拼接模式，用于生成具有比相机更宽视野的图像。对于相机移动全景拼接模式，用户移动相机，同时相机捕获一系列图像帧，直到所有场景都包括在这些图像帧中的至少一个图像帧中。然后将图像帧拼接在一起以生成广角图像。
图2是示出基于相机206的一系列捕获的场景202的示例广角图像捕获的概念图200。用户204希望捕获场景202的图像，但是描绘整个场景202所需的视野大于相机206的视野。因此，用户204将相机206置于相机移动全景拼接模式。用户204将相机206放置在由相机206的第一图示使用虚线指示的第一位置，使得相机的视野指向场景部分210。用户204指示相机206开始图像帧捕获(例如通过按下快门按钮)，并且相机206捕获具有场景部分210的第一图像帧。用户204移动相机206(例如沿着相机移动弧线208)以沿着方向216移动场景102的相机视野。在捕获第一图像帧之后，相机206捕获场景部分212的第二图像帧，同时相机206处于由相机206的第二图示使用虚线指示的第二位置。相机206的第二位置比相机206的第一位置位于沿方向216更远处。相机206的第二位置比相机206的第一位置位于沿相机移动弧线208更远处。用户继续移动相机206，并且相机206捕获场景部分214的第三图像帧，同时相机206处于由相机206的图示使用实线指示的第三位置。相机206的第三位置比相机206的第二位置位于沿方向216更远处。相机206的第三位置比相机206的第二位置位于沿相机移动弧线208更远处。在图像帧捕获期间沿相机移动弧线208平移相机206以捕获跨越场景202的图像帧之后，用户204可以停止图像帧捕获(例如通过再次按下快门按钮或通过松开在图像帧捕获期间被持续保持的快门按钮)。在捕获一系列图像帧之后，相机206或另一设备可以将一系列图像帧拼接在一起以生成具有比第一图像帧、第二图像帧和第三图像帧中的每个图像帧更宽的视野的场景102的组合图像。例如，场景部分210的第一图像帧、场景部分212的第二图像帧和场景部分214的第三图像帧(在不同时间捕获)被拼接在一起以生成描绘整个场景的组合图像202，其可以被称为整个场景202的广角图像。虽然示出了三个图像帧，但可以使用相机移动全景拼接模式，基于组合图像的期望视野来捕获和组合两个或更多个图像帧。
例如，相机206或另一设备可以识别出第一图像帧的第一部分和第二图像帧的第二部分二者都描绘了场景202的共享部分。场景202的共享部分在落在第一场景部分210和第二场景部分212二者内的两条垂直虚线之间示出。相机206或其他设备可以通过检测第一图像和第二图像内的场景202的共享部分的特征来识别第一图像和第二图像内的场景202的共享部分。相机206或其他设备可以将第一图像的第一部分与第二图像的第二部分对齐。相机206或其他设备可以通过将第一图像的第一部分和第二图像的第二部分拼接在一起来从第一图像和第二图像生成组合图像。相机206可以类似地将第二图像帧和第三图像帧拼接在一起。例如，相机206或其他设备可以识别在第三图像帧的第三部分和第二图像帧的第四部分中描绘的场景202的第二共享部分。相机206或其他设备可以将第三图像帧的第三部分和第二图像帧的第四部分拼接在一起。由于在相机206沿相机移动弧线208移动时在一段时间内捕获了一系列图像帧，因此图2中所示的相机移动全景拼接模式可能限于生成静止图像而不是视频，因为不能足够快地生成连续的全景拼接组合图像来描绘流畅的运动。另外，移动的相机206和捕获一系列图像帧的时间流逝可以将一种或多种畸变或伪影引入生成的图像中。示例畸变包括重影畸变和拼接畸变。重影畸变是这样一种效果：其中最终图像中可能出现单个对象的多个实例。重影畸变可能是该系列图像帧捕获期间场景202中的局部运动的结果。图3示出了重影畸变的示例。拼接畸变是这样一种效果：其中边缘可能会断裂，或者对象可能会分裂、扭曲、重叠等，其中两个图像帧被拼接在一起。图4示出了拼接畸变的示例。
畸变也会通过当移动相机时相机的入射光瞳改变场景的深度而引入。换句话说，移动相机会改变相机入射光瞳相对于场景的位置。与图像传感器相关联的入射光瞳是来自相机前方的光圈的图像(例如通过一个或多个位于光圈之前或位于光圈处的镜头将光聚焦到图像传感器)。
为了使场景中对象的深度不参考图像捕获之间的移动相机而改变，相机需要在以相机的入射光瞳为中心的轴上旋转。然而，当人移动相机时，人不会在以入射光瞳为中心的轴上旋转相机。例如，相机可以围绕移动相机的人的躯干处的轴移动(或者旋转也包括平移运动)。由于相机旋转不在入射光瞳处的轴上，因此入射光瞳的位置在图像帧捕获之间发生变化，并且图像帧是在不同深度处捕获的。拼接畸变可能是由于将在不同深度捕获的图像帧拼接在一起而导致的视差伪影的结果。拼接畸变也可能是全局运动的结果(其中还包括捕获一系列图像帧时相机视角的变化)。
基于相机206的用户沿相机移动弧线208的移动速度的变化，也可能将畸变和伪影引入组合图像中。例如，如果相机206的运动很快，则某些图像帧可能包括某些帧中的运动模糊。同样，如果相机206的运动很快，则两个连续图像帧中描绘的场景的共享部分可能非常小，可能会由于拼接不良而引入畸变。如果相机206的某些相机设置(例如焦点或增益)在相机移动弧线208期间的图像帧捕获之间改变，则也可以将畸变和伪影引入组合图像中。相机设置中的此类改变会在得到的组合图像中的图像之间产生可见的接缝。
本文所示的图描绘了每个相机的每个镜头在相机的入射光瞳的位置处。例如，图6-图9、图11和图12A-图12C就是这种情况。虽然相机镜头在图中被示为单个相机镜头以防止混淆本公开内容的方面，但相机镜头可以表示相机的单元件镜头或多元件镜头系统。此外，相机可以具有固定焦距，或者相机可以被配置为自动对焦(为此一个或多个相机镜头可以参考图像传感器移动)。本公开内容不限于图中描绘的入射光瞳或其位置的具体示例，或者相机镜头或其位置的具体示例。
图3是示出使用全景拼接生成的广角图像中的示例重影畸变310的概念图300。全景拼接可以指图2中的相机运动全景拼接操作模式。处于相机运动全景拼接模式的设备生成场景302的图像308。用户对设备进行定位使得设备的相机在第一时间捕获包括第一场景部分304的第一图像帧。用户移动设备使得设备的相机在第二时间捕获包括第二场景部分306的第二图像帧。场景302包括在场景302中从左向右移动的汽车。作为汽车在场景302中移动的结果，第一图像帧包括也包括在第二图像帧中的汽车的大部分。当两个图像帧拼接在一起时，汽车可能在结果图像308中表现为多辆汽车或汽车的多个部分(示为重影畸变310)。
另一方面，如果场景302中的汽车从右向左移动而不是从左向右移动，则尽管在第一图像帧的捕获期间和/或在第二图像帧的捕获期间该汽车存在于场景302中，但该汽车可至少部分地被从图像308中省略。例如，如果在第一图像帧的捕获期间汽车在第一时间至少部分地在第二场景部分306中，则汽车可以至少部分地被从第一图像帧中省略。如果在第二图像帧的捕获期间汽车在第二时间至少部分地在第一场景部分304中，则汽车可以至少部分地被从第二图像帧中省略。组合图像308因此可以至少部分地省略汽车，并且在一些情况下可以包括被部分省略的汽车的多于一个副本。这种类型的省略代表另一种类型的畸变或图像伪影，其可以由如图2所示的通过相机206的运动进行的相机运动全景拼接引起。
图4是示出使用全景拼接生成的广角图像中的示例拼接畸变410的概念图400。全景拼接可以指图2中的相机运动全景拼接操作模式。图4还描绘了视差伪影引起的拼接畸变。处于相机运动全景拼接模式的设备可以生成场景402的组合图像408。用户定位设备使得设备的相机206在第一时间捕获包括第一场景部分404的第一图像帧。用户移动设备使得设备的相机206在第二时间捕获包括第二场景部分406的第二图像帧。由于相机206在图像帧捕获之间移动(入射光瞳的位置发生变化)和/或场景402的第一图像帧和第二图像帧的视角变化，当两个图像帧拼接在一起时，可能存在基于视差和基于相机移动的伪影或畸变。例如，组合图像408是通过将第一图像帧和第二图像帧拼接在一起而生成的。如图所示，在树的左侧部分与树的右侧部分不对齐以及地面的左侧部分与地面的右侧部分不对齐的地方存在拼接畸变410。虽然示例拼接畸变410被示为在两个图像帧中捕获的场景的部分之间的横向位移，但是拼接畸变410还可以包括由试图在拼接期间对齐图像帧而导致的旋转位移或扭曲。以这种方式，场景中本应笔直且不间断的线条在最终图像中可能会以某个角度断开，本应笔直的线条在拼接附近可能会看起来弯曲，本应笔直的线条在拼接附近可能会突然改变方向，或者由于旋转，与另一侧相比，对象可能会在拼接的一侧看起来扭曲或畸变。来自拼接的畸变通过单个相机随着时间推移而移动来捕获图像帧而被增强。例如，在某些情况下，拼接畸变可能会导致场景中的对象在组合图像408中看起来被拉伸、挤压、倾斜、歪斜、扭曲、畸变或其他方式的不准确。
另一个示例畸变是视角畸变。回到图2时，相机206的视角来自场景部分210的右侧，而相机206的视角来自场景部分214的左侧。因此，水平边缘(例如地平线)可能在第一图像帧中看起来在一个方向上是倾斜的，并且相同的水平边缘(例如地平线)可能在第三图像帧中看起来在相反的方向上是倾斜的。从图像帧拼接在一起的最终图像可以经由弧线连接相对的倾斜边缘。例如，使用相机运动全景拼接模式生成的组合图像中的地平线可以看起来是弯曲的而不是平坦。这种曲率是视角畸变的示例。为了加剧视角畸变，视角会基于相机移动而变化，这在通过相机移动全景拼接生成广角图像的不同实例之间可能不一致。结果，在捕获一系列图像帧期间的相机视角可以不同于在其他系列的捕获的图像帧期间的相机视角图。
如上所述，通过增加镜头曲率以增加视野而引起的畸变降低了所得图像的质量，这对用户体验产生负面影响。此外，由随着时间的推移(在相机移动全景拼接模式下)捕获一系列图像帧以生成广角图像而导致的畸变会降低所得图像的质量，这对用户体验产生负面影响。此外，需要在用户手动移动相机的同时捕获一系列图像帧的相机移动全景拼接模式可能会阻止相机执行视频捕获，或者可能会导致由于相机移动而造成的难以去除的视差伪影。因此，需要一种用于生成防止或减少上述畸变的具有大视野的广角图像(包括针对视频具有大视野的一系列广角图像)的单元。
在一些全景拼接的示例中，多个相机被用来捕获图像帧，这可以允许在没有相机移动的情况下执行全景拼接。可以将由不同相机捕获的图像帧拼接在一起以生成具有比多个相机中的任何一个相机的视野更大的视野的组合图像。如下文所使用的，这样的组合图像(具有大于多个相机中的任何一个相机的视野的视野)被称为广角图像。多个相机可以被放置为使得它们的入射光瞳的中心重叠(例如虚拟重叠)。以这种方式，不需要移动多个相机或包括多个相机的设备(这可能导致一个或多个入射光瞳的位置发生变化)。因此，不会将由设备移动引起的畸变引入生成的广角图像中。在一些实施方式中，多个相机被配置为并发地和/或同时地捕获图像帧。如本文所使用的，图像帧的并发捕获可以指代图像帧的同时捕获。如本文所使用的，图像帧的并发和/或同时捕获可以指的是曝光窗口的至少一部分与由多个相机捕获的相对应图像帧重叠。如本文所使用的，图像帧的并发和/或同时捕获可以指的是相对应图像帧的曝光窗口的至少一部分落在共享时间窗口之内。共享时间窗口可以例如具有一个或多个皮秒、一个或多个纳秒、一个或多个毫秒、一个或多个厘秒、一个或多个分秒、一个或多个秒或者它们的组合的持续时间。以这种方式，在生成的广角图像中没有或有更少的由捕获一系列图像帧的时间流逝引起的畸变。
除了与入射光瞳的中心重叠之外，相机可以相对于彼此放置以捕获场景的期望视野。由于相机相对于彼此的位置是已知的，因此设备可以被配置为基于已知定位来减少或去除视角畸变。此外，由于由多个相机捕获并发和/或同时捕获的图像不需要每个相机都像图2的相机移动全景拼接模式那样捕获一系列图像帧，因此具有多个相机的设备可以被配置为生成包括一系列广角视频帧的广角视频。每个视频帧可以是通过将来自两个或更多个相机的两个或更多个图像拼接在一起而生成的组合图像。
在下面的描述中，阐述了大量具体的细节(例如具体组件、电路和过程的示例)以便提供对本公开内容的透彻理解。如本文中所使用的，术语“耦合”意指直接连接或者通过一个或多个中间组件或电路连接。另外，在下面的描述中以及出于解释的目的，阐述了特定的术语以便提供对本公开内容的透彻理解。然而，本领域的技术人员将明白的是：实施本文中公开的教示可以不需要这些具体的细节。在其他实例中，为了避免模糊本公开内容的教示，以框图形式示出了公知的电路和设备。按照程序、逻辑块、处理和计算机存储器中对数据比特操作的其他符号表示呈现了以下具体实施例的一些部分。在本公开内容中，程序、逻辑块、过程等被设想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量的物理操作的步骤。尽管不是必须的，但通常，这些量采取能够被存储、传输、组合、比较以及在计算机系统中以其他方式操作的电信号或磁信号的形式。
然而，应该牢记的是：所有这些和类似的术语将与适当的物理量相关联，并且仅仅是应用于这些量的方便的标识。除非特别声明，否则从以下讨论中可以明显看出，可以明白的是：贯穿本申请，使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”，“相乘”，“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“推导”、“设置”，“生成”等等术语的讨论是指计算机系统或类似电子计算设备的动作和处理，其操纵并将计算机系统的寄存器和存储器内表示为物理(电子)量的数据转换成类似地表示成计算机系统的存储器或寄存器或其他这种信息存储、传输或显示设备内的物理量的其他数据。
在附图中，可以将单个框描述为执行功能或一些功能；然而，在实际实践中，由该框执行的功能或一些功能可以在单个组件或多个组件中执行，和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地表示硬件和软件之间的该可交换性，下文对各个说明性的组件、框、模块、电路和步骤均围绕其功能进行了总体描述。至于这种功能是实现为硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束。本领域技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是这种实现决策不应解释为造成对本公开内容的范围的背离。而且，示例设备可以包括所示的那些组件之外的组件，包括诸如处理器、存储器等的公知组件。
本公开内容的方面适用于任何合适的电子设备，包括或耦合至能够捕获图像或视频的多个图像传感器(例如安全系统、智能手机、平板电脑、膝上型计算机、数字视频和/或静态相机、图像捕获设备2005A、图像处理设备2005B、图像捕获和处理设备2000、计算系统2100，等等)。术语“设备”和“装置”不限于一个或特定数量的物理对象(例如一部智能手机、一个相机控制器、一个处理系统等)。如本文所使用的，设备可以是具有可可以实现本公开内容的至少一些部分的一个或多个部分的任何电子设备。虽然下文的描述和示例使用术语“设备”来描述本公开内容的各个方面，但是术语“设备”不限于特定配置、类型或数量的对象。如本文所使用的，装置可以包括用于执行所描述的操作的设备或设备的一部分。
图中的描绘可能未按尺度或比例绘制，并且实施方式可能在大小或维度上与图中描绘的不同。一些图描绘了指示相机的入射光瞳的相机镜头。然而，相机和入射光瞳可以相对于彼此(和图像传感器)处于任何合适的定位以执行本公开内容的方面。图中描绘的镜头可指示单元件镜头或多元件镜头(即使镜头在图中可能看起来被描绘为单元件镜头)。因此，本公开内容不限于图中明确描绘的示例。
图5是示出被配置为生成一个或多个广角图像的示例设备500的框图。示例设备500包括(或耦合至)相机501和相机502。虽然描绘了两个相机，但设备500可以包括任何数量的相机(例如3个相机、4个相机，等等)。第一相机501和第二相机502可以包括在单个相机模块中或者可以是设备500的单独相机模块的一部分。在智能手机或平板电脑的示例中，第一相机501和第二相机502可以与设备同一侧上的一个或多个光圈相关联以接收用于捕获场景的图像帧的光。第一相机501和第二相机502可以相对于彼此放置以允许通过将来自相机501和相机502的图像进行组合来产生比第一相机501和/或第二相机502的视野更大的视野来捕获场景。在一些实施方式中，设备500包括(或耦合至)一个或多个光重定向元件503。一个或多个光重定向元件503的至少第一子集可以将光朝向第一相机501重定向。一个或多个光重定向元件503的至少第二子集可以将光朝向第二相机502重定向。第一相机501可以基于由一个或多个光重定向元件503重定向的入射光来捕获第一图像。第二相机502可以基于由一个或多个光重定向元件503重定向的入射光来捕获第二图像。设备500可以对第一图像和第二图像进行组合以生成具有比第一图像的第一视野、第二图像的第二视野或这二者更宽和/或更大的组合图像视野的组合图像。组合图像可以被称为广角图像。组合图像视野可以被称为大视野、宽视野，或者它们的组合。
设备500可以通过对第一图像和第二图像进行组合(例如，通过将第一图像和第二图像拼接在一起而不需要移动第一相机501和/或第二相机502)来生成组合图像。例如，设备或另一设备可以识别由第一相机501捕获的第一图像的第一部分以及由第二相机502捕获的第二图像的第二部分二者都描绘了所拍摄场景的共享部分。设备500可以通过检测第一图像和第二图像二者内的场景的共享部分的特征来识别第一图像和第二图像内的场景的共享部分。设备500可以将第一图像的第一部分与第二图像的第二部分对齐。设备500可以通过将第一图像的第一部分和第二图像的第二部分拼接在一起来从第一图像和第二图像生成组合图像。
第一相机501和第二相机502可以是专有相机、专用相机或者任何类型的相机。在一些方面，第一相机501和第二相机502可以是彼此相同类型的相机。例如，第一相机501和第二相机502可以是相同的品牌和型号。在一些方面，第一相机501和第二相机502可以是不同类型、品牌和/或型号的相机。虽然下文的示例描绘了两个相似的相机501和502，但任何合适数量、类型或配置的相机都可以用于执行本公开内容的方面。第一相机501和第二相机502可以分别用于接收和捕获至少一种光谱，例如可见光光谱、红外光光谱、紫外光光谱、微波光谱、无线电波光谱、X射线谱、伽马射线谱、电磁谱的另一子集，或者它们的组合。
第一相机501、第二相机502和一个或多个重定向元件503可以被布置为使得与第一相机501和第二相机502相关联的入射光瞳的中心虚拟重叠。例如，每个相机都包括耦合至一个或多个镜头的图像传感器，用于将光聚焦到相对应的图像传感器上，并且镜头和入射光瞳位于相机的同一位置。在使用一个或多个重定向元件503时，可以安排第一相机501和第二相机502使得它们的镜头虚拟重叠(例如，他们各自的入射光瞳的中心虚拟重叠)，而它们的镜头不会在物理上重叠或以其他方式占据相同的空间。例如，第一相机501和第二相机502捕获的光可以由一个或多个重定向元件503重定向(例如，反射和/或折射)，使得第一相机501和第二相机502的镜头可以在物理上分离，同时保持镜头的虚拟重叠(例如，入射光瞳的中心的虚拟重叠)。由于相机的相关联的入射光瞳的中心虚拟重叠，因此由不同相机501和502捕获的图像帧之间的视差效果被减少(或消除)。
如本文所使用的，虚拟重叠可以是指如果光未被重定向(例如，参考图7所述)将包括多个对象(例如相机镜头)的位置。例如，虚拟重叠的第一相机501的第一镜头和第二相机502的第二镜头可以包括与第二镜头的第二虚拟位置重叠的第一镜头的第一虚拟位置。在光重定向元件503的第一光重定向元件将第一光线重定向远离第一路径并朝向第一相机501之前，第一光线沿第一路径行进。在光重定向元件503的第二光重定向元件将第二光线重定向远离第二路径并朝向第二相机502之前第二光线沿第二路径行进。超出了第一光重定向元件的第一路径的虚拟延伸与第一镜头的第一虚拟位置相交。超出了第二光重定向元件的第二路径的虚拟延伸与第一镜头的第二虚拟位置相交。
设备500还可以包括一个或多个附加镜头、一个或多个光圈、一个或多个快门或与第一相机501和第二相机502相关联的其他合适组件。设备500还可以包括闪光灯、深度传感器或任何其他合适的成像组件。尽管两个相机作为设备500的一部分被示出，但设备500可以包括或耦合至未示出的其他图像传感器。以这种方式，广角成像可能包括使用多于两个的相机(例如三个或更多个相机)。在下文的示例中说明了这两个相机以清楚解释所公开的各个方面，但本公开内容不仅限于使用两个相机的具体示例。
示例设备500还包括处理器504、存储指令508的存储器506以及相机控制器510。在一些实施方式中，设备500可以包括显示器514、多个输入/输出(I/O)组件516以及电源518。设备500还可以包括未示出的附加特征或组件。在一个示例中，可以包括许多收发机和基带处理器的无线接口可以被包括用于无线通信设备。在另一示例中，一个或多个运动传感器(例如陀螺仪)、位置传感器(例如全局定位系统传感器(GPS))和传感器控制器可以包括在设备中。
存储器506可以是存储有用于执行本公开内容中描述的一个或多个操作的所有或部分的计算机可执行指令508的非瞬态或非暂时性计算机可读介质。在一些实施方式中，指令508包括用于使用第一相机501和第二相机502以广角捕获模式操作设备500的指令。指令508还可以包括由设备500执行的其他应用或程序，例如操作系统，相机应用或由设备500执行的其他应用或操作。在一些示例中，存储器506存储了第一相机501和/或第二相机502的图像帧(作为帧缓冲器)。
在一些示例中，存储器506存储相机亮度统一校准数据。使用相机亮度统一校准数据，设备500(例如，相机控制器510，ISP 512和/或处理器504)可以调整来自第一相机501的第一图像中的亮度水平和/或来自第二相机502的第二图像中的亮度水平。例如，设备500可以从第一图像、第二图像或这二者去除渐晕或其他亮度不均匀。设备500还可以增加或减少第一图像、第二图像或这二者的整体亮度，使得整体亮度在第一图像和第二图像之间相匹配。这样的亮度调整可以确保组合图像中没有可见的接缝(例如，在组合图像中的来自第一图像的部分和组合图像中的来自第二图像的部分之间)。在一些示例中，存储器506存储视角畸变校正数据。视角畸变校正数据可以包括诸如角度、距离、方向、幅度、畸变校正向量、曲率或者它们的组合的数据。使用视角畸变校正数据，设备500(例如，相机控制器510、ISP512和/或处理器504)可以执行视角畸变校正(例如，视角畸变校正1022、平坦视角畸变校正1515、弯曲视角畸变校正1525，弯曲视角畸变校正1630)。
处理器504可以是能够执行存储在存储器506内的一个或多个软件程序(例如指令508)的脚本或指令的一个或多个合适的处理器。在一些方面，处理器504可以是执行指令508的一个或多个通用处理器。例如，处理器504可以是应用处理器，并且可以执行相机应用。在一些实施方式中，处理器504被配置为指示相机控制器510参考第一相机501和第二相机502来执行一个或多个操作。在附加或替代方面，处理器504可以包括用于在不使用软件的情况下执行功能或操作的集成电路或其他硬件。
虽然在图5的示例中示出经由处理器504彼此耦合，但处理器504、存储器506、相机控制器510、可选显示器514以及可选I/O组件516可以以各种布置彼此耦合。例如，处理器504、存储器506、相机控制器510、可选显示器514，和/或可选I/O组件516可以经由一个或多个本地总线(为简单起见未示出)彼此耦合。
如果设备500包括显示器514，则显示器514可以是允许用户交互和/或呈现项目以供用户查看的任何合适的显示器或屏幕(例如从第一相机501和第二相机502中的一个或多个捕获的图像、视频或预览图像)。在一些方面，显示器514是触敏显示器。可选I/O组件516可以包括任何合适的机制、接口或设备，以便从用户接收输入(例如命令)并向用户提供输出。例如，I/O组件516可以包括图形用户界面(GUI)、键盘、鼠标、麦克风和扬声器、可挤压边框、一个或多个按钮(例如电源按钮)、滑块或开关。
相机控制器510可以包括图像信号处理器512，其可以是用于处理由一个或多个相机501和502提供的捕获的图像帧的一个或多个图像信号处理器。在一些示例实施方式中，相机控制器510(例如图像信号处理器512)还可以控制第一相机501和第二相机502的操作。例如，相机控制器510(例如图像信号处理器512)可以从处理器504接收指令以执行广角成像，并且相机控制器510可以对第一相机501和第二相机502进行初始化并指示第一相机501和第二相机502捕获一个或多个图像帧，相机控制器510和/或处理器504使用全景拼接将这些图像帧组合成组合图像以用于广角成像。相机控制器510可以控制第一相机501和第二相机502的其他方面，例如用于执行自动白平衡、自动对焦或自动曝光操作中的一项或多项的操作。
在一些方面，图像信号处理器512包括一个或多个处理器，处理器被配置为执行来自存储器的指令(例如来自存储器506的指令508、存储在耦合至图像信号处理器512的单独存储器中的指令，或者由处理器504提供的指令)。例如，图像信号处理器512可以执行指令来处理来自第一相机501和第二相机502的图像帧以生成广角图像。除了包括被配置为执行软件的一个或多个处理器的图像信号处理器512之外或者作为其替代，图像信号处理器512可以包括用于执行本公开内容中描述的一个或多个操作的特定硬件。图像信号处理器512可以替代地或附加地可以包括特定硬件和执行软件指令的能力的组合。
虽然图像信号处理器512被描述为相机控制器510的一部分，但图像信号处理器512可以与相机控制器510分开。例如，控制第一相机501和第二相机502的相机控制器510可以包括在处理器504中(例如体现在由处理器504执行的指令508中或者体现在处理器504的一个或多个集成电路中)。图像信号处理器512可以是从图像传感器(用于捕获图像帧)到存储器(用于存储图像帧)的图像处理流水线的一部分并且与处理器504分开。
虽然参考图5中的示例设备500描述了用于执行广角成像或图像捕获的以下示例，但可以使用任何合适的设备或装置。例如，执行广角成像的设备可以是设备500的一部分(例如片上系统或成像处理流水线的组件)。在另一示例中，设备500可以包括与所描绘的组件或附加组件的不同配置。
设备500被配置为使用第一相机501和第二相机502来生成一个或多个广角图像。例如，第一相机501和第二相机502被配置为捕获图像帧，并且设备500(例如图像信号处理器512)被配置为处理图像帧以生成广角图像。如本文中所使用的，广角图像是指具有比第一相机501或第二相机502更宽的视野的图像。在处理图像帧时，设备500对图像帧进行以组合生成广角图像(其也可以被称为组合图像)。第一相机501和第二相机502可以被放置为使得相关联的入射光瞳的中心虚拟重叠。以这种方式，可以减少或消除视差效应。处理还可以包括减少组合图像的图像帧中的畸变(例如减少基于第一相机501和第二相机502之间的位置差异的视角畸变，以及由将光聚焦到相机501或502的图像传感器上的一个或多个相机镜头的配置造成的不均匀亮度畸变)。在一些实施方式中，第一相机501和第二相机502可以被配置为并发地和/或同时地捕获图像帧。以这种方式，可以减少或消除由全局运动或局部运动引起的畸变。如上所述，并发和/或同时捕获的图像帧可以指图像帧的曝光窗口的至少一部分重叠。曝光窗口可以任何合适的方式重叠。例如，可以协调图像帧的帧开始(SOF)，可以协调图像帧的帧结束(EOF)，或者存在所有图像帧都在其曝光窗口中的时间范围。如本文所使用的，图像帧的并发和/或同时捕获可以指的是相对应图像帧的曝光窗口的至少一部分落在共享时间窗口之内。共享时间窗口可以例如具有一个或多个皮秒、一个或多个纳秒、一个或多个毫秒、一个或多个厘秒、一个或多个分秒、一个或多个秒或者它们的组合的持续时间。
在一些实施方式中，第一相机501和第二相机502被配置为：捕获图像帧以看起来好像第一相机501和第二相机502的图像传感器彼此邻接。在一些实施方式中，第一相机501和第二相机502可以彼此成一定角度以捕获场景的不同部分。例如，如果智能手机处于风景模式，则第一相机501和第二相机502可以水平相邻并且彼此偏移一定角度。第一相机501可捕获场景的右侧部分，而第二相机502可捕获场景的左侧部分。
在一些示例中，第一相机501、第二相机502或这二者是静止的。在一些示例中，第一相机501的镜头、第二相机502的镜头或这二者是静止的。在一些示例中，第一相机501的图像传感器、第二相机502的图像传感器或这二者是静止的。在一些示例中，一个或多个光重定向元件503中的每一个是静止的。
图6是示出第一相机和第二相机的概念图600。第一相机包括第一图像传感器602和相关联的第一相机镜头606，它们在图6中使用虚线示出。第一相机镜头606位于第一相机的入射光瞳处。第二相机包括第二图像传感器604和相关联的第二相机镜头608，它们在图6中使用实线示出。第二相机镜头608位于第二相机的入射光瞳处。如上所述，虽然相机镜头可以被描述为单个镜头，但相机镜头可以是单元件镜头或多元件镜头系统。
概念图600可以是设备500的第一相机501和第二相机502的概念配置的示例。重叠镜头606和608的概念性描述示出了第一相机的入射光瞳与第二相机的入射光瞳虚拟重叠。重叠的入射光瞳中心减少或消除由不同图像传感器602和604捕获的图像帧的视差。来自图像传感器602和604的相对应图像帧可以被组合以生成具有比单个图像帧更大视野的图像。例如，图像可以拼接在一起。如上所述，减少或去除视差减少了组合图像中可能存在的伪影或畸变的数量和效应。
在一些实施方式中，第一图像传感器602的视野与第二图像传感器604的视野重叠。例如，第一图像传感器的视野的右边缘可以与第二图像传感器的视野的左边缘重叠。
由于第一图像传感器602可以捕获广角图像中场景的右侧部分并且第二图像传感器604可以捕获广角图像中场景的左侧部分，因此可以生成广角图像的视角以在第一图像传感器602的视角和第二图像传感器604的视角之间。图像传感器602和604彼此不平行，并且图像传感器602和604捕获的图像帧包括相对于彼此的视角畸变。为了生成具有两个视角之间的视角的广角图像，设备500可以对来自图像传感器602和604二者的图像帧执行视角畸变校正以生成具有期望视角的图像帧。在一些其他实施方式中，设备500可以对来自一个图像传感器的图像帧执行视角畸变校正以生成具有与另一图像传感器相似的视角的图像帧。以这种方式，广角图像可以具有图像传感器之一的视角。
除了减少或去除视差伪影之外，设备500可以使用概念图600中所示的配置比在相机移动全景拼接模式下使用单个相机更成功地减少视角畸变，相机移动全景拼接模式依赖于物理移动的单个相机(如图2所示)或具有更大曲率的相机镜头以增加视野。由于相机相对于彼此具有固定位置，因此图像传感器602和604之间的角度是静态的。使用图6所示的配置，设备500可以处理捕获的图像帧以减少基于角度的视角畸变。由于角度是静态的，因此可以以数字方式校正视角畸变(例如在捕获的图像帧的处理期间)。例如，设备500可以执行视角畸变校正作为基于图像传感器602和604之间的角度而配置的预定义滤波器(例如在图像信号处理器512中)。相比之下，当在图像帧捕获之间移动时，图像传感器实例之间的角度(对于依赖于图2中物理上移动的单个相机的相机移动全景拼接模式)可以取决于设备移动而变化。因此，使用依赖于物理上移动的单个相机的相机移动全景拼接模式的设备(如图2中)不能使用基于静态角度的预定义滤波器来消除视角畸变，因为静态角度不存在。这使得在使用依赖于图2中物理上移动的单个相机的相机移动全景拼接生成的组合图像中补偿视角畸变非常困难且计算量大。具有用于第一相机501、第二相机502和/或一个或多个光重定向元件503的固定位置的设备500因此可以更快速、可靠地并且以减少的计算开销执行视角畸变校正。
返回参考图6，第一相机和第二相机可以具有相同的焦距。以这种方式，聚焦场景的深度范围对于图像传感器602和604是相同的。然而，镜头606和608在物理上可以不占据相同的空间。在一些实施方式中，棱镜和/或反射表面可以被配置为执行空间重叠的两个镜头的功能(在分开的镜头之间没有物理接触)。例如，棱镜和/或反射表面可以被成形为将光从第一方向引导到第一相机镜头606并且将光从第二方向引导到第二相机镜头608，使得与相机镜头606和608相关联的入射光瞳的虚拟图像在它们的中心重叠。
在一些其他实施方式中，相机可以被配置为使得入射光瞳的中心虚拟重叠，而相机的相机镜头在空间上彼此分离。例如，一个或多个光重定向元件可用于将光重定向至相机镜头606和608。基于光重定向元件的特性和位置，第一相机镜头606可以与第二相机镜头608在空间上分离，同时入射光瞳的中心虚拟重叠。以这种方式，图像传感器仍然可以被配置为捕获符合图6中具有重叠相机镜头606和608的概念图600的图像帧。在一些实施方式中，第一图像传感器602可以与第一重定向元件相关联，并且第二图像传感器604可以与第二重定向元件相关联。在一些实现中，第一重定向元件和第二重定向元件可以是相同的重定向元件(例如，如图12A-图12C的重定向元件1210)。
如本文所使用的，重定向元件可以是被配置为将沿第一路径行进的光重定向到第二路径的任何合适的元件。重定向元件可以反射或折射光。在一些实施方式中，重定向元件可以包括用于反射光的反射镜。如本文所使用的，反射镜可以指代任何合适的反射表面(例如反射涂层、镜面玻璃等)。
图7是示出将光重定向到图像传感器702的重定向元件706和基于重定向元件706的图像传感器702的位置变化的概念图700。如所描绘的，重定向元件706可以包括用于将接收到的光反射朝向镜头704(和图像传感器702)的反射镜。光的路径用实线表示，其中箭头指示符指示光的方向。如果重定向元件706被去除、省略或以其他方式不存在，则光将改为在光被光重定向元件706重定向之前，沿着光的原始路径的延伸(使用虚线示出)行进到虚拟图像传感器708的位置(经由虚拟相机镜头710的虚拟入射光瞳)。例如，返回参考图6，被引导至第二图像传感器604的光接近相机镜头608的位置。参照图7，如果使用光重定向元件706将光通过相机镜头704引导至图像传感器702，则图像传感器702如图7所示放置，而不是在虚拟图像传感器708的位置处，以供图像传感器702捕获相同的图像帧。以这种方式，相机镜头704的位置如图7所示，而不是在虚拟相机镜头710的位置。以这种方式，用于多个图像传感器的镜头可以在空间上分离，而镜头和/或入射光瞳仍然虚拟重叠。
例如，第一光线在到达光重定向元件706之前遵循初始路径720并且被重定向到指向相机镜头704和图像传感器702的重定向路径722上。第一光线沿重定向路径722到达相机镜头704和图像传感器702。初始路径720超出光重定向元件706的虚拟延伸724以虚线示出，并且改为指向并到达虚拟相机镜头710和虚拟图像传感器708。第二光线和第三光线也在图7中示出。光重定向元件706将第二光线和第三光线从它们的初始路径重定向朝向相机镜头704和图像传感器702。第二光线和第三光线因此到达相机镜头704和图像传感器702。第二光线和第三光线的初始路径超出光重定向元件706的虚拟延伸使用虚线示出，并且改为指向并到达虚拟相机镜头710和虚拟图像传感器708。
重定向元件706的反射表面(例如，反射镜)可以形成位于重定向元件706的反射表面(例如，反射镜)后方的虚拟图像(在重定向元件706的右侧，如图7所示)。虚拟相机镜头710可以是从图7中描绘的初始路径720的方向通过重定向元件706的反射表面(例如，反射镜)观察到的相机镜头704的虚拟图像。虚拟图像传感器708可以是从图7中描绘的初始路径720的方向通过重定向元件706的反射表面(例如，反射镜)观察到的图像传感器702的虚拟图像。
图8是示出使用重定向元件810和812生成广角图像的两个相机的示例配置的概念图800。第一相机包括第一相机镜头806(其可以是一个或多个相机镜头)和第一图像传感器802。第二相机包括第二相机镜头808(其可以是一个或多个相机镜头)和第二图像传感器804。
图8中的描绘800可以实现与图6中的概念图600相同的功能，其中第一镜头806和第二镜头808虚拟重叠(例如，相机镜头806和808的入射光瞳的中心虚拟重叠)，同时在空间上被物理分离，以从图像传感器802和804捕获的图像帧中去除或减少组合图像中的视差伪影。在将描绘800与图6中的概念图600进行比较时，第一图像传感器802(与第一重定向元件810相关联)被配置为捕获场景的一部分，类似于第一图像传感器602。第二图像传感器804(与第二重定向元件812相关联)被配置为捕获场景的其他部分，类似于第二图像传感器604。基于使用第一重定向元件810和第二重定向元件812，第一相机镜头806与第二相机镜头808在空间上分离，并且第一图像传感器802与第二图像传感器804在空间上分离。
在一些实施方式中，重定向元件810和812可以位于设备的外部。例如，包括重定向元件的组件可以耦合至设备500以通过设备500中的一个或多个开口将光导向第一相机501和第二相机502的图像传感器。在一些示例中，设备500可以包括设置在设备500的外表面上的重定向元件。在一些示例中，重定向元件可以设置在设备内部。例如，该设备可以包括一个或多个开口和/或光圈以允许光进入该设备(例如来自场景的光被捕获用于生成广角图像)。开口/光圈可以包括玻璃或另一种透明材料以允许光通过，其可成形为一个或多个镜头。开口可以包括也可以不包括用于调整光进入设备的方向的一个或多个镜头或其他组件。重定向元件810和812可以沿设备开口和相关联的图像传感器802或804之间的光学路径定位。
虽然重定向元件810和812被示为两个单独的反射镜，但是重定向元件810和812可以是一个重定向元件。例如，重定向元件810和812可以在一侧物理连接成为一个重定向元件。另外，图像传感器802和804的布置被示为朝向彼此取向。例如，图像传感器802和804的光轴可以对齐和/或可以彼此平行。然而，图像传感器和镜头可以以任何合适的方式布置以接收来自场景的期望视野的光。例如，图像传感器802和804的光轴可能未对齐和/或可能彼此不平行和/或可能彼此成某一角度。本公开不限于图8所示的组件布置。
在一些实施方式中，图像传感器802和804被配置为并发地和/或同时地捕获图像帧(例如针对图像帧，曝光窗口的至少一部分重叠)。以这种方式，减少了局部运动和全局运动(从而减少了生成的广角图像中的畸变)。在一些实施方式中，图像传感器802和804被配置为并发地、同时地和/或在共享时间窗口内捕获图像帧。共享时间窗口可以例如具有一个或多个皮秒、一个或多个纳秒、一个或多个毫秒、一个或多个厘秒、一个或多个分秒、一个或多个秒或者它们的组合的持续时间。另外，由于图像传感器802和804之间的角度是静态的，因此设备可以被配置为基于已知角度减少视角畸变。
在一些实施方式中，到第一图像传感器802的光和到第二图像传感器804的光可以被折射(例如，通过高折射率介质)以减少相机光圈处的视角畸变和/或光渐晕。在高折射率材料中传播的光在离开介质之前具有较小的发散角，从而减少位于高折射率介质的退出表面附近的镜头光圈处的渐晕。折射可以替代地或附加地用于调整图像传感器802和804的视野。例如，可以加宽视野以加宽广角图像的视野。在另一示例中，可以移动视野以允许图像传感器802和804之间的不同间距。折射可用于允许相机镜头806和808之间的进一步物理分离，同时仍然允许入射光瞳的中心虚拟重叠。例如，棱镜可以对预期用于相应图像传感器的光进行折射，并且棱镜可以影响与图像传感器相关联的入射光瞳的位置。基于折射，可以允许相机镜头之间的额外物理间距，同时仍然允许入射光瞳中心的虚拟重叠。在一些实施方式中，重定向元件可以包括棱镜。棱镜上的至少一个表面可以包括反射表面，例如反射镜。以这种方式，包括棱镜的一个或多个重定向元件可以被配置为折射和/或反射指向第一图像传感器802或第二图像传感器804的光。
图9是示出两个相机和两个重定向元件910和912的示例配置的概念图900。这两个相机用于生成广角图像。第一相机包括第一图像传感器902和第一相机镜头906。第二相机包括第二图像传感器904和第二相机镜头908。
重定向元件910和912可以包括一个或多个棱镜。每个棱镜可以包括高折射率介质(例如，具有高于阈值的折射率)。如所描绘的，第一重定向元件910将第一光(例如，包括一条或多条光线)从接近第一重定向元件910的第一路径重定向到朝向第一图像传感器902的经重定向的第一路径。第一路径可以被称为初始第一路径。第二重定向元件912将第二光(例如，包括一条或多条光线)从接近第二重定向元件912的第二路径重定向到朝向第二图像传感器904的经重定向的第二路径。第二路径可以被称为初始第二路径。重定向元件910和912的位置可以如参考图8所描述的那样。例如，重定向元件910和912可以在设备外部，或者重定向元件910和912可以在设备内部并且被配置为接收穿过设备中的开口的光。
在图9中，第一镜头906还可以表示第一相机的光圈和/或入射光瞳的位置。第二镜头908还可以表示第二相机的光圈和/或入射光瞳的位置。在图示900中，第一重定向元件910包括第一棱镜，并且第二重定向元件912包括第二棱镜。第一棱镜被配置为：折射去往第一图像传感器902的第一光以将第一光从接近棱镜的第一路径重定向到折射的第一路径。第二棱镜被配置为：折射去往第二图像传感器904的第二光以将第二光从接近棱镜的第二路径重定向到折射的第二路径。在一些实施方式中，第一重定向元件910还包括在第一棱镜的侧面918上的第一反射镜。第一反射镜被配置为：通过将第一光从折射的第一路径重定向到反射的第一路径来将第一光反射朝向第一图像传感器902。第二重定向元件912还包括在第二棱镜的侧面920上的第二反射镜。第二反射镜被配置为：通过将第二光从折射的第二路径重定向到反射的第二路径来将第二光反射朝向第二图像传感器904。在被侧面918上的第一反射镜反射之后，第一光离开第一棱镜922。
由于第一棱镜922的折射，第一光可以在离开第一棱镜922时从反射的第一路径被重定向到棱镜后第一路径。类似地，在被侧面920上的第二反射镜反射之后，第二光离开第二棱镜922。由于第二棱镜924的折射，第二光可以在离开第二棱镜924时从反射的第二路径被重定向到棱镜后第二路径。
在一些示例中，第一光还可以被第一镜头906从棱镜后第一路径重定向(例如，经由折射)到镜头后第一路径。在一些示例中，第二光还可以被第二镜头908从棱镜后第二路径重定向(例如，经由折射)到镜头后第二路径。以这种方式，每个重定向元件910和912可以包括棱镜，其中，棱镜的一侧包括反射涂层。穿过棱镜并到达反射涂层的光被反射或折回到相应的图像传感器。在一些其他实施方式中，重定向元件可以包括单独的反射组件和折射组件。例如，第一反射镜或第二反射镜可以分别是与第一棱镜和第二棱镜分离的单独组件。
如本文所使用的，棱镜可以指代任何合适的光折射对象，例如合适形状的玻璃或塑料棱镜。合适的形状可以包括三角棱镜、六角棱镜等，其表面角度被配置为根据需要对来自场景的光进行折射。在一些实施方式中，重定向元件包括等边三角棱镜(或用于对光进行折射的其他合适的有边三角棱镜)。在图示900中，第一重定向元件910的侧面922与第二重定向元件的侧面924在同一平面上大致对齐。棱镜可以被配置为使得每个相机包括大约70度的视角(具有大约70度的角度的视野)。在一些实施方式中，侧面922和924涂有抗反射涂层以防止反射光被图像传感器902和904捕获。在一些实施方式中，面向相机镜头的棱镜表面也涂有抗反射涂层以防止光从这些表面反射。
在一些示例中，镜头后第一路径可以被称为经重定向的第一路径。在一些示例中，棱镜后第一路径可以被称为经重定向的第一路径。在一些示例中，反射的第一路径可以被称为经重定向的第一路径。在一些示例中，折射的第一路径可以被称为经重定向的第一路径。在一些示例中，镜头后第二路径可以被称为经重定向的第二路径。在一些示例中，棱镜后第二路径可以被称为经重定向的第二路径。在一些示例中，反射的第二路径可以被称为经重定向的第二路径。在一些示例中，折射的第二路径可以被称为经重定向的第二路径。在一些示例中，接近棱镜的第一路径可以被称为第一路径或初始第一路径。在一些示例中，折射的第一路径可以被称为第一路径或初始第一路径。在一些示例中，接近棱镜的第二路径可以被称为第二路径或初始第二路径。在一些示例中，折射的第二路径可以被称为第二路径或初始第二路径。
第一棱镜或第二棱镜可以被配置为：对来自场景的一部分的光进行折射以便调整焦距。例如，第一棱镜和第二棱镜可以被成形为使得棱镜的光的入射角和出射角允许相关联的相机镜头906和908处于不同的位置，同时仍然具有与图6中的概念图600相同的效果。以这种方式，镜头可以在空间上分离，而入射光瞳的中心仍然虚拟重叠(如图6所示)。第一镜头906和第二镜头908的入射光瞳的中心虚拟重叠(被示为第一虚拟镜头926和第二虚拟镜头928的入射光瞳的实际重叠)可以提供以下技术益处：在入射光瞳没有像图9中那样虚拟重叠的情况下，减少或去除组合图像中否则可能存在(并且存在技术问题)的视差伪影。例如，作为重定向元件910和912的结果，如果第一重定向元件910不存在，则第一图像传感器902可以被概念化为第一虚拟图像传感器914，并且如果第二重定向元件912不存在，则第二图像传感器904可以被概念化为第二虚拟图像传感器914。类似地，如果重定向元件910和912不存在，则镜头906和908可以被概念化为虚拟镜头926和928。重叠的虚拟镜头926和928指示重叠的入射光瞳，如图6所示。
第一虚拟镜头926可以被概念化为如果第一光继续沿其第一路径的虚拟延伸(延伸超出第一重定向元件910)而不是被第一重定向元件910的至少一部分重定向朝向第一镜头906和第一图像传感器902，第一镜头906为了接收第一镜头906实际接收的该第一光而将具有的虚拟位置、取向和/或姿态。第二虚拟镜头928可以被概念化为如果第二光继续沿其第二路径的虚拟延伸(延伸超出第二重定向元件912)而不是被第二重定向元件912的至少一部分重定向朝向第二镜头908和第二图像传感器904，第二镜头908为了接收第二镜头908实际接收的该第二光而将具有的虚拟位置、取向和/或姿态。
类似地，第一虚拟图像传感器914可以被概念化为如果第一光继续沿其第一路径的虚拟延伸而不是被第一重定向元件910的至少一部分重定向朝向第一镜头906和第一图像传感器902，第一图像传感器902为了接收第一图像传感器902实际接收的第一光而将具有的虚拟位置、取向和/或姿态。第二虚拟图像传感器916可以被概念化为如果第二光继续沿其初始第二路径的虚拟延伸而不是被第二重定向元件912的至少一部分重定向朝向第二镜头908和第二图像传感器904，第二图像传感器904为了接收第二图像传感器904实际接收的该第二光而将具有的虚拟位置、取向和/或姿态。
在一些示例中，第一重定向元件910和第一镜头906之间的距离等于第一重定向元件910和第一虚拟镜头926之间的距离。在一些示例中，第一重定向元件910和第一图像传感器902之间的距离等于第一重定向元件910和第一虚拟图像传感器914之间的距离。在一些示例中，第二重定向元件912和第二镜头908之间的距离等于第二重定向元件912和第二虚拟镜头928之间的距离。在一些示例中，第二重定向元件912和第二图像传感器904之间的距离等于第二重定向元件912和第二虚拟图像传感器916之间的距离。
在一些示例中，第一重定向元件910的反射表面918与第一镜头906之间的光学距离大约等于第一重定向元件910的反射表面与第一虚拟镜头926之间的光学距离。在一些示例中，第一重定向元件910的反射表面与第一图像传感器902之间的光学距离大约等于第一重定向元件910的反射表面与第一虚拟图像传感器914之间的光学距离。在一些示例中，第二重定向元件912的反射表面与第二镜头908之间的光学距离大约等于第二重定向元件912的反射表面与第二虚拟镜头928之间的光学距离。在一些示例中，第二重定向元件912的反射表面与第二图像传感器904之间的光学距离大约等于重定向元件912的第二反射表面与第二虚拟图像传感器916之间的光学距离。
识别与第一虚拟镜头926、第二虚拟镜头928、第一虚拟图像传感器914和第二虚拟图像传感器916相对应的虚拟位置、取向和/或姿态可以包括：概念性地去除或省略第一重定向元件910的至少一部分和第二重定向元件912的至少一部分，例如概念性地去除至少第一棱镜的侧面918上的反射表面(例如，反射镜)、第二棱镜的侧面920上的反射表面(例如，反射镜)、第一棱镜本身、第二棱镜本身，或者它们的组合。第一光的先行路径可以包括进入第一棱镜之前的第一光的路径或者第一光进入第一棱镜之后但第一光被第一棱镜的侧面918上的反射表面(例如，反射镜)重定向之前的第一光的路径。第二光的先行路径可以包括在进入第二棱镜之前的第二光的路径或者第二光进入第二棱镜之后但第二光被第二棱镜的侧面920上的反射表面(例如，反射镜)重定向之前的第二光的路径。
第一虚拟镜头926可以被称为第一镜头906的虚拟镜头、第一镜头906的虚拟位置、第一镜头906的虚拟取向、第一镜头906的虚拟姿态，或者它们的组合。第二虚拟镜头928可以被称为第二镜头908的虚拟镜头、第二镜头908的虚拟位置、第二镜头908的虚拟取向、第二镜头908的虚拟姿态，或者它们的组合。第一虚拟图像传感器914可以被称为第一图像传感器902的虚拟图像传感器、第一图像传感器902的虚拟位置、第一图像传感器902的虚拟取向、第一图像传感器的虚拟姿态902，或者它们的组合。第二虚拟图像传感器916可以被称为第二图像传感器904的虚拟图像传感器、第二图像传感器904的虚拟位置、第二图像传感器904的虚拟取向、第二图像传感器的虚拟姿态904，或者它们的组合。基于折射，第一相机镜头906和第二相机镜头908之间的间距可以小于图8中第一相机镜头806和第二相机镜头808之间的间距(其中光重定向元件可以不折射光)。类似地，第一图像传感器902和第二图像传感器904之间的间距可以小于图8中第一图像传感器802和第二图像传感器804之间的间距。
第一重定向元件910的侧面918上的反射表面(例如，反射镜)可以形成位于第一重定向元件910的侧面918上的反射表面(例如，反射镜)后面的虚拟图像(如图9所示在第一重定向元件910的下方和右侧)。第二重定向元件912的侧面920上的反射表面(例如，反射镜)可以形成位于第二重定向元件912的侧面920上的反射表面(例如，反射镜)后面的虚拟图像(如图9所示在第二重定向元件912的下方和左侧)。图9中描绘了第一虚拟镜头926可以是第一镜头906的虚拟图像，如通过第一重定向元件910的侧面918上的反射表面(例如，反射镜)从光接近第一重定向元件910的方向所观察到的。图9中描绘了第一虚拟图像传感器914可以是第一图像传感器902的虚拟图像，如通过第一重定向元件910的侧面918上的反射表面(例如，反射镜)从光接近第一重定向元件910的方向所观察到的。图9中描绘了第二虚拟镜头928可以是第二镜头908的虚拟图像，如通过第二重定向元件912的侧面920上的反射表面(例如，反射镜)从光接近第二重定向元件912的方向所观察到的。图9中描绘了第二虚拟图像传感器916可以是第二图像传感器904的虚拟图像，如通过第二重定向元件912的侧面920上的反射表面(例如，反射镜)从光接近第二重定向元件912的方向所观察到的。
在一些实施方式中，第一棱镜和第二棱镜彼此物理分离(例如距离1/2毫米(mm))。间距可以是为了防止棱镜相互碰撞而对棱镜造成损坏。在一些其他实施方式中，第一棱镜和第二棱镜可以物理连接。例如，第一棱镜和第二棱镜可以在其中一个角处连接，使得第一重定向元件910和第二重定向元件912是具有用于折射和反射针对第一图像传感器902和第二图像传感器904的光的多个棱镜和反射镜的同一个重定向元件。
类似于上文参考图8所描述的，可以通过对捕获后的图像帧数字地执行视角畸变校正来减少视角畸变。可以通过设备来对图像帧(具有经校正的畸变)进行组合(例如，数字地)以生成广角图像(其也可以被称为组合图像)。类似于图8，图像传感器902和904可以被配置为并发和/或同时捕获图像帧，和/或捕获共享时间窗口内的图像帧，以减少来自运动的畸变或组合图像中的其他畸变。
如上所述，由图像传感器802、804、902或904捕获的图像帧可以包括视角畸变。然而，因为由图像传感器802、804、902和904捕获的视角是已知的并且是静态的，因此视角畸变补偿技术在一些情况下可以一致地应用于由图像传感器802、804、902和904中的每个图像传感器捕获的每个图像。
图10A是示出由图像传感器1004捕获的图像帧1006中的示例视角畸变的概念图1000。图像传感器1004可以是图8或图9中的任何图像传感器的实现。如图所示，图像传感器1004参考垂直于场景1002的角度捕获场景1002。镜头(未示出)可以位于场景1002和图像传感器1004之间。镜头可以是任何镜头，例如第一相机镜头606、第二相机镜头608、相机镜头704、第一相机镜头806、第二相机镜头808、第一镜头906、第二镜头908、第一镜头1106、第二镜头1108、第一镜头1206、第二镜头1208、镜头1660、镜头2015或另一镜头。由于场景1002的右侧部分比场景1002的左侧部分更靠近图像传感器1004，因此捕获的图像帧1006包括视角畸变。视角畸变被示为图像帧1006中场景1002的右侧部分看起来比图像帧1006中场景1002的左侧部分更大。由于图像传感器1004相对于另一图像传感器的角度是已知的(例如在图6的概念性图示中的图像传感器602和604之间)，设备500(例如图像信号处理器512)可以执行视角畸变校正1022以生成经处理图像1008。设备500可以使用视角畸变校正1022来修改捕获到的图像帧1006以生成经处理图像1008。例如，在视角畸变校正1022期间，设备500可以将捕获的图像帧1006的梯形区域映射到矩形区域上(或反之亦然)，这可以被称为梯形视角畸变校正、梯形投影变换或者梯形畸变。在一些情况下，视角畸变校正1022可被称为视角畸变、视角变换、投影畸变、投影变换、变换、扭曲，或者它们的某种组合。
在捕获场景1002时，图像传感器1004还可以捕获场景1002之外的区域(例如来自传感器的图像帧1006中的白色三角形所示)。在视角畸变校正1022的一些实施方式中，设备500对捕获的图像帧1006进行处理，使得所得到的经处理图像1008仅包括场景1002的图示部分，而捕获的图像帧1006中没有额外的捕获场景信息。设备500取得捕获的图像帧1006的左侧部分，其包括场景1002的图示部分(排除了在白色三角形所示的场景1002上方和下方的捕获场景的额外部分)，并且将捕获的图像帧1006的剩余部分调整到捕获的图像帧1006中场景1002的左侧部分以生成图像1008。从捕获的图像帧1006的左侧取得的部分(对应于场景1002的图示部分)可以基于图像传感器的视野，捕获的图像帧1006要被调整到的公共视角，并且捕获场景的不同部分的另一图像传感器的视角未示出。例如，基于相机的两个视角、公共视角和视野，设备500可以使用捕获的图像帧1006的图像像素的左列中的图像像素范围以用于经处理图像1008。
类似地，从图像帧1006的右侧取得的部分(对应于场景1002的图示部分)可以基于图像传感器的视野，图像帧1006要被调整到的公共视角，并且捕获场景的不同部分的另一图像传感器的视角未示出。例如，基于相机的两个视角、公共视角和视野，设备500可以使用捕获的图像帧1006的图像像素的右列中的图像像素范围以用于经处理图像1008。在示例捕获的图像帧1006中，捕获的图像帧1006的最右列中的所有像素包括来自场景1002的图示部分的信息(表示捕获的图像帧1006中捕获的捕获场景的额外部分的白色三角形结束于图像帧1006中图像像素的右列)。
如图所示，场景1002的图示部分在图像帧1006中从图像帧1006的左列图像像素中的较小范围的图像像素向图像帧1006的右列图像像素中的较大范围的图像像素歪斜。当从左向右移动通过图像像素的列时，该范围内的像素数量增加的速率可以是线性的(设备500可以基于像素范围的线性回归来确定该增加的速率，该像素范围的线性回归基于列或每列的像素范围的定义映射)。以这种方式，将被用于经处理图像1008的图像帧1006的图像像素的列中的图像像素可以是基于像素列与左列和与右列的距离的映射。例如，如果图像帧1006包括将用于图像1008的100列100个像素的场景信息并且左列包括将用于图像1008的50个像素的场景信息，则第50列可以包括将用于图像1008(0.5*50+0.5*100)的大约75个像素的场景信息。此外，要用于经处理图像1008的场景信息的像素可以以图像帧1006的列的中心为中心。继续前面的示例，第50列可以包括列底部的将不被使用的12或13个像素并且可以包括列顶部的将不被使用的13或12个像素。
基于组合图像的期望公共视角，设备可以使用场景信息的所选择的像素来调整捕获的图像帧(例如图像帧1006)的像素值以生成经处理图像1008。设备500可以响应于对捕获的图像帧1006的修改来生成组合图像以生成经处理图像1008。调整像素值会造成场景1002中平行的水平线(由于视角畸变，它们在图像帧1006中被示为彼此倾斜)在图像1008中再次平行。为了调整图像1008的像素值(使得在示例中，水平线在图像1008中是平行的)，设备500可以“拉伸”图像帧1006中的像素值以覆盖多个像素。例如，拉伸图像帧1006中的像素值以覆盖经处理图像1008中的多个像素值可以包括：使用图像1008中的多个像素位置处的像素值。相反，设备500可以对图像帧1006中的多个像素值进行组合以用于图像1008中的较少像素值(例如通过取平均或其他组合手段)。基于合并或过滤(例如取平均、中值过滤等)的视角畸变校正1022过程可以应用于像素值来调整图像帧1006中的场景1002的捕获图像以生成经处理图像1008。在示例中，该过程被示为在垂直方向上执行。然而，也可以在水平方向上应用该过程以防止场景1002在经处理图像1008中看起来被拉伸。尽管描述了用于视角畸变校正1022的一些示例滤波器，但在视角畸变的校正中，任何合适的滤波器都可用于对像素值进行组合以生成经处理图像1008。作为视角畸变校正的结果，经处理图像1008可以在水平和/或垂直方向上小于或大于图像帧1006(以像素数量计)。
虽然上述实施方式描述了确定在校正视角畸变中要被调整的图像帧的一部分，但在一些实施方式中，一个或多个图像传感器可以被配置为基于视角畸变校正来调整针对图像帧的读数。例如，图像传感器1004可以被配置为：从特定图像传感器像素读出(例如排除了捕获图像帧1006的白色三角形中的场景信息的图像传感器像素)。在一些实施方式中，设备可被配置为：基于要包括在经处理图像1008中的场景1002的部分来调整图像传感器的像素的哪些行(或者行的部分)要被读出。随后可以对图像帧(其仅包括来自图像传感器1004的像素数据的子集)执行视角畸变。视角畸变功能可以基于从图像传感器读出的像素的数量。由于来自这两个相机的图像帧包括参考组合图像的预期视角的视角畸变，因此设备500可以对来自这两个相机的图像帧执行视角畸变校正。
图10B是示出将两个图像帧1024到组合图像1026的公共视角的示例视角畸变校正1022的概念图1020。如两个图像帧1024所示，第一图像和第二图像具有彼此相反的视角畸变。设备500用于将第一图像和第二图像中的每一个的视角畸变(例如上面描述的)校正(使用视角畸变校正1022)到公共视角(例如组合图像1026中所示)。在校正了视角畸变之后，设备500可以对经校正的图像1和经校正的图像2进行拼接以生成组合(广角)图像。
拼接可以是用于生成组合图像的任何合适的拼接过程。在一些实施方式中，第一相机501的视野与第二相机502的视野重叠。例如，第一相机501、第二相机502和一个或多个重定向元件503被布置为使得视野重叠1/2度至5度。在校正视角畸变之后，设备500使用来自两个相机501和502的捕获帧中的重叠部分来对齐和组合两个图像帧以生成组合图像。由于存在重叠，设备500可以基于对齐捕获的图像帧来减少拼接错误。在一些实施方式中，设备500可以补偿随时间重叠的变化(例如如果设备500发生跌落或碰撞，重复的温度变化导致一个或多个组件的移位，等等)。例如，在设备生产时，重叠可能从5度开始，但随着时间的推移，重叠可能会增加到7度。设备500可以使用在两个图像帧的重叠场景部分中的对象检测和匹配来对齐图像帧并生成组合图像(而不是使用基于固定重叠和排列布置的静态合并滤波器)。通过在两个图像帧的重叠场景部分中对齐和匹配对象，设备500可以使用任何重叠(只要具有足够的大小，例如1/2度)将图像帧拼接在一起以生成组合图像。
图10C是示出由两个相机捕获的两个图像帧的用于生成广角图像的示例数字对齐和拼接1042的概念图1040。为了说明数字对齐和拼接的操作，该场景被描述为英文字母的两个实例(从A-Z两次)。场景中字母表的正确实例用其每个字母都带圆圈来示出。场景中字母表的左侧实例，其字母周围都没有圆圈。相机1(例如第一相机501)捕获场景中字母表的左侧实例。相机2(例如第二相机502)捕获场景中字母表的右侧实例。两个相机的重叠视野可能会导致这两个相机在场景中间捕获
(带圆圈的字母“A”)。重叠是基于两个相机之间的角度(例如由用于图9中的一个相机的镜头906和传感器902以及另一个相机的镜头908和传感器904的虚拟镜头和图像传感器所示)。设备500通过使用对象或场景识别以及朝向相机1的图像帧的右边缘的匹配和朝向相机2的图像帧的左边缘的匹配来执行数字对齐和拼接1042，以对齐匹配的对象/场景。对齐可以包括参考另一图像帧以移位和/或旋转一个或两个图像帧，以重叠图像帧之间的像素，直到场景的匹配对象或部分重叠。在图像帧基于匹配对象/场景对齐的情况下，将两个图像帧拼接在一起以生成数字对齐和拼接的图像(其可以包括将经移位和/或旋转的图像帧一起保存为组合图像)。拼接可以包括对重叠的图像像素值进行平均，选择其中一个图像像素值作为组合图像像素值，或以其他方式来混合图像像素值。
除了减少拼接畸变和减少视角畸变之外，设备500可以减少组合图像中的非均匀亮度畸变。可以将一个或多个相机镜头配置为将场景成像到图像传感器上。由镜头形成的图像的相对光照度可以遵循I(θ)＝Io×cos4θ的低或最小值，其中θ为入射光线与镜头法线之间的角度，Io是常数，而I(θ)是入射光以角度θ照射的图像像素的光照度。垂直于镜头的光(θ＝0)将被聚焦到传感器的中心，并且最大角度(例如θ＝30°)的光将被聚焦到传感器的边缘)。因此，边缘处的图像亮度为中心亮度的cos4(30°)＝0.56。此外，光重定向组件(例如图8中的反射镜和图9中的棱镜)可能会引入渐晕，渐晕从而可能进一步降低边缘附近图像像素的亮度。因此，到达图像传感器中心的光线可能比到达图像传感器边缘的光线更多。到达图像传感器边缘(并且尤其是角落像素)的光线可能不如到达图像传感器中心的光线多。因此，从第一相机501和第二相机502捕获的图像帧可以在整个图像像素上具有非均匀亮度。来自第一相机501的第一图像帧和/或来自第二相机502的第二图像帧中的渐晕或其他亮度不均匀性可以导致在通过对第一图像和第二图像进行组合生成的组合图像中出现可见的接缝。捕获后(诸如在校正视角畸变之前或之后和/或在将图像帧拼接在一起之前或之后)，设备500可以校正组合图像的图像帧的亮度不均匀性。例如，设备500可以调整来自第一相机501的第一图像帧中的亮度以消除来自第一图像的渐晕，并且可以调整来自第二相机502的第二图像帧中的亮度以消除来自第二图像的渐晕，或二者兼而有之。设备500可以在设备500对第一图像和第二图像进行组合之前进行这些亮度调整以生成组合图像。通过这样的亮度调整来去除渐晕可以确保组合图像中没有可见的接缝(例如，在组合图像中的来自第一图像的部分和组合图像中的来自第二图像的部分之间)。
此外，在一些情况下，第一相机501和第二相机502可以接收到不等量的光，可以以不同的方式处理光和/或图像数据(例如，由于相机硬件和/或软件的差异)，和/或可能被错误校准。来自第一相机501的第一图像帧和来自第二相机502的第二图像帧之间的亮度水平或另一图像属性不相等可以导致在通过对第一图像与第二图像进行组合而生成的组合图像中出现可见的接缝。在一些示例中，设备500可以增加或减少来自第一相机501的第一图像帧中的亮度，可以增加或减少来自第二相机502的第二图像帧中的亮度，或二者兼而有之。设备500可以在设备500对第一图像和第二图像进行组合之前进行这些亮度调整以生成组合图像。这样的亮度调整可以确保组合图像中没有可见的接缝(例如，在组合图像中的来自第一图像的部分和组合图像中的来自第二图像的部分之间)。图10D是示出从由两个相机捕获的两个图像帧生成的广角图像的示例亮度均匀性校正1062的概念图1060。亮度均匀性校正1062可以校正上文针对图10C讨论的渐晕或其他亮度不均匀性。图1064示出了基于第一相机501和第二相机502的图像传感器的中心处的光照度的图像传感器的相对光照度。每个图像传感器的中心被照亮最多(由图像传感器中心与组合图像的中心成30度角定位表示)。可以测量入射光与本文讨论的棱镜顶面(例如，图9中的侧面922和侧面924，图12A-图12C中的侧面1220)的法线之间的角度。在一些示例中，镜头可以相对于棱镜的顶面法线倾斜30度，例如图9中由第一虚拟镜头926和第二虚拟镜头928的角度所指示的。30度的入射光可以垂直于镜头，并且因此可以被聚焦在传感器的中心，并在所得到的图像中具有最大的光照度/亮度。如果每个图像传感器包括70度视角，则两个图像传感器的视野可能会重叠10度。当从图像传感器的中心(例如，在图1064中分别与-30度和30度相对应的中心)向图像传感器的边缘(例如，在图1064的中间用0表示的边缘以及图1064的两端)移动时，图像传感器的光照度降低。虽然图1064沿图像传感器的一个轴示出用于说明目的，但图1064可以包括附加维度或者可以以其他方式绘制以指示基于二维图像传感器的光照度变化。
在一些实现中，可以确定基于图像传感器中心的光照度(例如指示每个部分的差异的分数、小数或比率)的对图像传感器不同部分的光照度的指示。例如，图1064可以基于相机的类型已知或在相机的校准期间被确定(图1064被体现为覆盖图像传感器的二维区域)。在一些实施方式中，可以在校准期间通过使用均匀光照度来捕获测试场景(例如具有均匀背景的场景)的图像帧来获得图1064。经处理图像的像素值(无均匀性校正)因此可以指示相对于图像中某个位置的光照度变化。在这种指示或图1064对于第一相机501和第二相机502是已知的情况下，设备执行亮度均匀性校正1062以生成具有均匀校正的图像(如图1066所示)。
在一些实现中，设备500增加图像帧中图像像素的亮度(例如增加YUV色彩空间中的亮度值或类似地增加RGB色彩空间中的RGB值)。图像像素的亮度增加的量可以是将当前亮度值除以相关联图像传感器像素和图像传感器中心之间的光照度的分数(例如基于图1064)。以这种方式，每个图像像素的亮度可以增加到与图像传感器中心的图像像素的亮度(如图1066所示)类似。
设备500因此可以使用一个或多个重定向元件503将光引导到第一相机501和第二相机502以进行图像帧捕获来生成包括经校正的视角畸变、减少的拼接伪影和降低的亮度畸变(非均匀亮度)的组合图像。
一个或多个重定向元件和相机的一些实施方式可能导致组合图像中的散射噪声。
图11是示出可能在图像帧的一部分中引起散射噪声的来自第一相机镜头1106的示例光反射的概念图1100。第一相机包括第一图像传感器1102和第一相机镜头1106。第一相机可以是图9中第一相机的实施例(包括第一图像传感器902和第一相机镜头906)。第一重定向元件1110位于第一相机的外部以将光引导朝向第一图像传感器1102。如图所示，在第一重定向元件1110的一侧接收到的光被第一重定向元件1110的第一棱镜折射，被第一棱镜的侧面1112上的第一反射镜反射，并且被引导朝向相机镜头1106。第一相机镜头1106可以通过Fresnel反射将光的一小部分反射回朝向第一棱镜。接收到的朝向图像传感器1102的顶端的光表示被允许通过镜头1106的光的其余部分。由第一相机镜头1106反射的光通过第一棱镜朝棱镜的右上边缘传回。第一棱镜的右上边缘可以被称为最靠近第二重定向元件1120的第二棱镜的第一棱镜的边缘。第一棱镜和/或第二棱镜可以包括高折射率介质(例如，具有高于阈值的折射率)。虽然未示出，但重定向元件的棱镜的一个或多个边缘可以是斜切的(以减轻破裂)。棱镜的右上边缘(可以是斜切的)可以将来自相机镜头1106的光反射并散射回朝向相机镜头1106，并且相机镜头1106可以将光引导朝向图像传感器1102的底端。以此方式，旨在针对图像传感器1102的一部分的光可能被图像传感器1102的不同部分错误地接收。在图像传感器1102的非预期位置中接收到的光可能导致第一相机捕获具有散射噪声和相关图像伪影形式的畸变亮度的图像帧。虽然仅针对第一相机(具有第一镜头1106和第一图像传感器1102)和第一重定向元件1110示出了散射噪声，但是散射噪声可以针对第二相机(具有第二镜头1108和第二图像传感器1104)和第二重定向元件1120发生。此外，散射噪声可能出现在图像传感器的与相机的重叠视野相对应的部分中。因此，组合图像可能包括组合图像的拼接线或一侧的位置附近的散射噪声。这可能导致组合图像中出现可见的拼接线，这是不希望的，因为它破坏了组合图像中图像数据的连续性。
一个或多个重定向元件503被配置为防止将光从相机镜头重定向回朝向相机镜头。例如，重定向元件1110可以被配置为防止将光从相机镜头1106反射回朝向相机镜头1106(并且对于其他重定向元件也是类似的)。在一些实施方式中，防止棱镜的一个或多个边缘的一部分对光进行散射。在防止这些部分对光进行散射的过程中，防止了棱镜的一个或多个斜切边缘对光进行散射。例如，在图11的示例中，光吸收涂层可以被施加到棱镜的右上斜切边缘。在一些实施方式中，棱镜的另外两个角边缘中的一个或这二者(它们不在图11中所示的光路中并且可以斜切也可以不斜切)也可以涂有光吸收涂层以防止光从这些位置处的表面的散射。以这种方式，在图11中左棱镜的右上边缘处接收到的光被吸收并且不会向相机镜头1106和传感器1102散射。在一些示例中，光吸收涂层可以是不透明的。在一些示例中，光吸收涂层可以是黑色、深灰色或暗色的。
在一些其他实施方式中，为了减少由来自相机镜头的反射引起并随后被棱镜边缘散射的散射噪声，可以将第一重定向元件和第二重定向元件组合成单个重定向元件，使得左棱镜的右上角和右棱镜的左上角被有效消除(物理上不存在)。
图12A是示出将光重定向到第一相机和将光重定向到第二相机的示例重定向元件1210的概念图1200。第一相机包括第一图像传感器1202和第一相机镜头1206，并且第一相机可以是图9中的第一相机的示例实现。第二相机包括第二图像传感器1204和第二相机镜头1208，并且第二相机可以是图9中的第二相机的示例实现。例如，这两个相机的视角Theta可以都是70度。
重定向元件1210包括用于折射预期针对第一图像传感器1202的光的第一棱镜1212，以及用于折射预期针对第二图像传感器1204的光的第二棱镜1214。第一反射镜可以在第一棱镜1212的侧面1216上，并且第二反射镜可以在第二棱镜1218的侧面1218上(类似于图9中的重定向元件910和912)。第一棱镜1212和/或第二棱镜1218可以包括高折射率介质(例如，具有高于阈值的折射率)。第一棱镜1212和第二棱镜1214是邻接的。第一棱镜1212和第二棱镜1214在侧面1216和1218的顶部物理连接和/或接合和/或桥接。例如，棱镜1212和1214连接成在这两个棱镜的顶部边缘重叠。例如，第一棱镜1212的最靠近第二棱镜1214的边缘与第二棱镜1214的最靠近第一棱镜1212的边缘重叠并接合在一起。在一些实施方式中，棱镜1212和1214的重叠部分可以具有重定向元件1210的1/2mm至1mm的高度。棱镜1212和1214的重叠部分可以被称为连接第一棱镜1212和第二棱镜1214的桥。
以这种方式，在重定向元件的侧面1220的中心附近接收的光可以基于侧面1216或1218中的哪一个接收到光而被反射朝向第一图像传感器1202或第二图像传感器1204。由相机镜头1206和相机镜头1208反射回来的朝向重定向元件1210的光不击中棱镜角边缘(如图11所示)，因为重定向元件1210中不存在棱镜角边缘。
在制造重定向元件1210的一些实施方式中，期望形状的注射成型(例如包括两个邻接/重叠的三角形或等边三角形棱柱)填充有具有期望折射率的塑料。在创建所需形状的塑料元件之后，塑料元件的两个表面(例如侧面1216和1218)施加有反射涂层。在一些实施方式中，抗反射涂层被施加到顶侧以接收来自场景(例如侧面1220)的光。抗反射涂层也可以施加到棱镜的朝向相机镜头1206和1208的侧面。在一些实施方式中，重定向元件1210的近侧面和远侧面还包括非反射和/或光吸收涂层。在一些示例中，涂层可以是不透明的。在一些示例中，涂层可以是黑色、深灰色或暗色的。随着棱镜1212和1214的顶角彼此最接近重叠，相机可以被放置为确保第一镜头1206和第二镜头1208的虚拟中心虚拟重叠，同时保持物理上分离，如图9所示(例如，如图9所示第一镜头1206的第一入射光瞳的中心和第二镜头1208的入射光瞳的中心重叠)。在一些实施方式中，相机的取向与图9中相同或相似，以确保由图像传感器1202和1204捕获的两个图像的组合图像的中心拼接区域的场景重叠0.5-5度。虽然在图12A(或重定向元件的棱镜的其他实施方式)中未示出，但是一个或多个角边缘可以被斜切以防止破裂。
虽然在图12A中没有示出与第一镜头1206和第二镜头1208相对应的虚拟镜头，但应当理解，这种虚拟镜头的位置将类似于图9的第一虚拟镜头926和第二虚拟镜头928的位置。虽然在图12A中没有示出与第一图像传感器1202和第二图像传感器1204相对应的虚拟图像传感器，但应当理解，这种虚拟图像传感器的位置将类似于图9的第一虚拟图像传感器914和第二虚拟图像传感器916的位置。虽然在图12A中未示出第一光和第二光的先前路径朝向虚拟镜头和虚拟图像传感器的、超出第一棱镜1212和第二棱镜1214的虚拟延伸，但应当理解，图12A中第一光和第二光的先前路径的虚拟延伸将看起来类似于图9中第一光和第二光的先前路径的虚拟延伸。
图12B是示出图12A中的重定向元件的概念图1240，其示出了消除来自棱镜边缘的光散射(例如图11所示的)。进入棱镜1212的强侧面光照度被侧面1216上的反射表面折射和反射。反射光以折射角离开重定向元件1210并继续向镜头1206传播。通过Fresnel反射从镜头表面反射的光的部分重新进入棱镜1212并向顶部中心(两个棱镜1212和1214重叠的位置)传播。由于棱镜1212(和棱镜1214)不包括在重定向元件1210的顶部中心处的角边缘，因此没有光散射回镜头1206。例如，从镜头1206反射的光可以继续传播并在侧面1220上退出重定向元件1220。相机可以参考重定向元件1210进行定向，以确保来自其他棱镜表面(例如来自侧面1220)的后续镜面反射不会被其图像传感器接收。虽然参照图12B中的棱镜1212示出了光散射的减少，但关于由与第二图像传感器1204相关联的第二相机镜头1208反射的光，对于第二棱镜1214，可以发生相同的光散射减少。由于反射光在侧面1220上离开重定向元件1210，因此使用图12A-图12C所示的重定向元件1210和重叠接合的棱镜1212和1214减少或消除了针对图11讨论的散射噪声和可见接缝。因此，使用重定向元件1210和重叠接合的棱镜1212和1214提高了使用图像传感器1202和1204单独捕获的图像以及将图像传感器1202和1204捕获的图像拼接在一起生成的组合图像二者的图像质量。此外，棱镜1212和1214在重定向元件1210中重叠并接合，重定向元件1210具有额外的好处，即确保棱镜1212和1214可以相对于彼此精确定位，并且在不需要额外的硬件来控制棱镜1212和1214彼此的相对位置的情况下，不会相对于彼此错位。
图12C是示出从视角角度看图12A中的重定向元件的概念图1260。光重定向元件1210被示为在第一相机和第二相机之间。第一相机包括第一镜头1206，其基于概念图1260中的视角被隐藏不可见，但仍使用虚线示出。第二相机包括第二镜头1208，其基于概念图1260中的视角被隐藏不可见。光重定向元件1210包括第一棱镜1212和第二棱镜1214。第一棱镜1212和第二棱镜1214是邻接的。第一棱镜1212的最靠近第二棱镜1214的边缘与第二棱镜1214的最靠近第一棱镜1212的边缘接合。第一棱镜1212的侧面1216包括反射涂层。第二棱镜1218的侧面1218包括反射涂层。光重定向元件1210包括基于概念图1260中的视角被隐藏不可见但仍然使用虚线指向的侧面1220。
在一些情况下，第一棱镜1212可以被称为第一光重定向元件，并且第二棱镜1214可以被称为第二光重定向元件。在一些情况下，第一光重定向元件的边缘与第二光重定向元件的边缘物理重叠并接合在一起。在一些情况下，第一棱镜的边缘在物理上与第二棱镜的边缘重叠并接合在一起。在一些情况下，第一棱镜1212的第一侧面1216(具有反射表面)可以被称为第一光重定向元件，而第二棱镜1214的第一侧面1218(具有反射表面)可以被称为第二光重定向元件。光重定向元件1210可以被称为单个光重定向元件，其中第一光重定向元件和第二光重定向元件是单个光重定向元件的两个不同部分。
如上所示，可以使用一个或多个重定向元件将光从场景引导朝向多个相机。多个相机捕获要被组合的图像帧以生成广角图像。例如广角图像包括较少的由镜头曲率引起的畸变，并且可以具有比其他单个相机更宽的视角用于广角成像。
在组合第一图像帧和第二图像帧以生成组合图像之前、并发地、同时和/或之后，设备500可以对组合图像或捕获的图像帧执行其他处理滤波器。例如，图像帧可以具有不同的色温或光强度。其他示例处理可以包括在图像处理流水线期间执行的成像处理滤波器，例如去噪、边缘增强等。在处理图像之后，设备500可以存储图像、将图像输出到另一设备、将图像输出到显示器514，等等。在一些实施方式中，在创建广角视频时可以生成一系列广角图像。例如，图像传感器并发和/或同时捕获一系列图像帧，并且设备500对相关联的图像帧(如针对一系列图像帧中的每个图像帧描述的)进行处理，以生成用于视频的组合图像序列。下面参考图13A、图13B和图14描述了用于生成组合图像的示例方法。虽然这些方法被描述为由设备500和/或由成像系统执行，但是任何合适的设备都可以用于执行示例中的操作。
图13A是示出用于从多个图像帧生成组合图像的示例过程的流程图1300。在一些示例中，过程1300中的操作可以由成像系统执行。在一些示例中，成像系统是设备500。在一些示例中，成像系统包括下列各项中的至少一项：相机112、相机206、设备500、概念图600中所示的成像架构、概念图700中所示的成像架构、概念图800中所示的成像架构、概念图900中所示的成像架构、概念图1100中所示的成像架构、概念图1200中所示的成像架构、概念图1240中所示的成像架构、概念图1260中所示的成像架构、概念图1600中所示的成像架构、以下的至少一个图像捕获和处理系统2000、图像捕获设备2005A、图像处理设备2005B、图像处理器2050、主机处理器2052、ISP 2054、计算系统2100、云服务的一个或多个网络服务器，或者它们的组合。
在操作1302处，成像系统可以接收由第一相机501捕获的场景的第一图像帧。例如，在第一相机501捕获第一图像帧(包括场景的第一部分)之后，图像信号处理器512可以接收第一图像帧。场景的第一部分可以是场景的一侧。在1304处，设备500还可以接收由第二相机502捕获的场景的第二图像帧。例如，在第二相机502捕获第二图像帧(包括场景的第二部分)之后，图像信号处理器512可以接收第二图像帧。场景的第二部分可以是场景的另一侧。
在操作1306处，成像系统可以从第一图像帧和第二图像帧生成组合图像。组合图像包括比第一图像帧的视野或第二图像帧的视野更宽的视野。例如，可以将第一图像帧和第二图像帧拼接在一起(如上所述)。在一些实施方式中，在图像帧中捕获的场景的边中的重叠用于拼接第一图像帧和第二图像帧。
基于虚拟地重叠基于一个或多个重定向元件503(例如图8、图9或图12A-图12C中的重定向元件)捕获第一图像帧和第二图像帧的第一相机501和第二相机502的入射光瞳的中心，组合图像可以具有减少或去除的视差效果。以这种方式，镜头或其他组件不会物理重叠，而入射光瞳的中心虚拟重叠。在一些实施方式中，图像帧由相机501和502并发和/或同时捕获以减少由局部运动或全局运动引起的畸变。
尽管图13A中未示出，但成像系统可以继续处理组合图像，包括在图像处理流水线中执行去噪、边缘增强或任何其他合适的图像处理滤波器。得到的组合图像可以存储在存储器506或另一合适的存储器中，可以提供给另一设备，可以显示在显示器514上，或者可以以其他任何合适的方式使用。
图13B是示出数字成像的示例方法1350的流程图。在一些示例中，过程1300中的操作可以由成像系统执行。在一些示例中，成像系统是设备500。在一些示例中，成像系统包括以下各项中的一项或多项：相机112、相机206、设备500、概念图600中所示的成像架构、概念图700中所示的成像架构、概念图800中所示的成像架构、概念图900中所示的成像架构、概念图1100中所示的成像架构、概念图1200中所示的成像架构、概念图1240中所示的成像架构、概念图1260中所示的成像架构、概念图1600中所示的成像架构、：以下各项中的至少一个图像捕获和处理系统2000、图像捕获设备2005A、图像处理设备2005B、图像处理器2050、主机处理器2052、ISP 2054、计算系统2100、云服务的一个或多个网络服务器，或者它们的组合。
在操作1355处，成像系统接收由第一图像传感器捕获的场景的第一图像。第一光重定向元件将第一光从第一路径重定向到朝向第一图像传感器的重定向的第一路径。第一图像传感器基于在第一图像传感器处接收到第一光来捕获第一图像。在一些示例中，成像系统包括第一图像传感器和/或第一光重定向元件。在一些示例中，第一图像传感器是第一相机的一部分。第一相机还可以包括第一镜头。在一些示例中，成像系统包括第一镜头和/或第一相机。
操作1355的第一图像传感器的示例包括图像传感器106、相机的图像传感器206、第一相机的图像传感器501、第二相机的图像传感器502、第一图像传感器602、第二图像传感器604、图像传感器702、第一图像传感器802、第二图像传感器804、第一图像传感器902、第二图像传感器904、图像传感器1004、第一图像传感器1102、第二图像传感器1104、第一图像传感器1202、第二图像传感器1204、图像传感器2030、本文描述的另一图像传感器，或者它们的组合。操作1355的第一镜头的示例包括镜头104、相机的镜头206、第一相机的镜头501、第二相机的镜头502、第一相机镜头606、第二相机镜头608、相机镜头704、第一相机镜头806、第二相机镜头808、第一镜头906、第二镜头908、第一镜头1106、第二镜头1108、第一镜头1206、第二镜头1208、镜头1660、镜头2015、本文描述的另一镜头，或者它们的组合。操作1355的第一光重定向元件的示例包括光重定向元件706、第一光重定向元件810、第二光重定向元件812、第一光重定向元件910、第二光重定向元件912、第一光重定向元件910的第一棱镜、第二光重定向元件912的第二棱镜、光重定向元件910的侧面918上的第一反射表面、第二光重定向元件912的侧面920上的第二反射表面920、第一光重定向元件1110、第二光重定向元件1112、第一光重定向元件1110的第一棱镜、第二光重定向元件1112的第二棱镜、第一光重定向元件1110的侧面1112上的第一反射表面、第二光重定向元件1112的第二反射表面、光重定向元件1210、光重定向元件1210的第一棱镜1212、光重定向元件1210的第二棱镜1214、光重定向元件1210的侧面1216上的第一反射表面、第二光重定向元件1212的侧面1218上的第二反射表面、本文所述的另一棱镜、本文所述的另一反射表面、本文所述的另一光重定向元件，或者它们的组合。
在操作1360处，成像系统接收由第二图像传感器捕获的场景的第二图像。第二光重定向元件将第二光从第二路径重定向到朝向第二图像传感器的重定向的第二路径。第二图像传感器基于在第二图像传感器处接收到第二光来捕获第二图像。超过第一光重定向元件的第一路径的虚拟延伸与超过第二光重定向元件的第二路径的虚拟延伸相交。在一些示例中，成像系统包括第二图像传感器和/或第二光重定向元件。在一些示例中，第二图像传感器是第二相机的一部分。第二相机还可以包括第二镜头。在一些示例中，成像系统包括第二镜头和/或第二相机。
操作1360的第二图像传感器的示例包括图像传感器106、相机的图像传感器206、第一相机的图像传感器501、第二相机的图像传感器502、第一图像传感器602、第二图像传感器604、图像传感器702、第一图像传感器802、第二图像传感器804、第一图像传感器902、第二图像传感器904、图像传感器1004、第一图像传感器1102、第二图像传感器1104、第一图像传感器1202、第二图像传感器1204、图像传感器2030、本文描述的另一图像传感器，或者它们的组合。操作1360的第二镜头的示例包括镜头104、相机的镜头206、第一相机的镜头501、第二相机的镜头502、第一相机镜头606、第二相机镜头608、相机镜头704、第一相机镜头806、第二相机镜头808、第一镜头906、第二镜头908、第一镜头1106、第二镜头1108、第一镜头1206、第二镜头1208、镜头1660、镜头2015、本文描述的另一镜头，或者它们的组合。操作1360的第二光重定向元件的示例包括光重定向元件706、第一光重定向元件810、第二光重定向元件812、第一光重定向元件910、第二光重定向元件912、第一光重定向元件910的第一棱镜、第二光重定向元件912的第二棱镜、光重定向元件910的侧面918上的第一反射表面、第二光重定向元件912的侧面920上的第二反射表面、第一光重定向元件1110、第二光重定向元件1112、第一光重定向元件1110的第一棱镜、第二光重定向元件1112的第二棱镜、第一光重定向元件1110的侧面1112上的第一反射表面、第二光重定向元件1112的第二反射表面、光重定向元件1210、光重定向元件1210的第一棱镜1212、光重定向元件1210的第二棱镜1214、光重定向元件1210的侧面1216上的第一反射表面、第二光重定向元件1212的侧面1218上的第二反射表面、本文所述的另一棱镜、本文所述的另一反射表面、本文所述的另一光重定向元件，或者它们的组合。
在一些示例中，第一镜头和第二镜头虚拟重叠。在一些示例中，虽然第一镜头和第二镜头虚拟重叠，但第一镜头和第二镜头在物理上不重叠、在空间上不重叠、在物理上分离和/或在空间上分离。例如，图9的第一镜头906和第二镜头908在物理上不重叠、在空间上不重叠、在物理上分离并且在空间上分离。尽管如此，第一镜头906和第二镜头908虚拟重叠，因为第一虚拟镜头926(第一镜头906的虚拟位置)与第二虚拟镜头928(第二镜头908的虚拟位置)重叠。虽然第一镜头1106和第二镜头1108的虚拟镜头位置未在图11中示出，但第一镜头1106和第二镜头1108也可以虚拟重叠(例如，第一镜头1106的虚拟镜头位置可以与第二镜头的虚拟镜头位置1108重叠)。第一镜头1106和第二镜头1108在物理上不重叠、在空间上不重叠、在物理上分离并且在空间上分离。虽然第一镜头1206和第二镜头1208的虚拟镜头位置未在图12A-图12C中示出，但第一镜头1206和第二镜头1208也可以虚拟重叠(例如，第一镜头1206的虚拟镜头位置可以与第二镜头1208的虚拟镜头位置重叠)。第一镜头1206和第二镜头1208在物理上不重叠、在空间上不重叠、在物理上分离并且在空间上分离。
第一光重定向元件可以包括第一反射表面。第一反射表面的示例可以包括重定向元件706的反射表面、第一光重定向元件的反射表面810、第一光重定向元件910的侧面918上的反射表面、第一光重定向元件1110的侧面1112上的反射表面、光重定向元件1210的侧面1216上的反射表面、本文描述的另一反射表面，或者它们的组合。为了将第一光重定向为朝向第一图像传感器，第一光重定向元件使用第一反射表面将第一光反射朝向第一图像传感器。类似地，第二光重定向元件可以包括第二反射表面。第二反射表面的示例可以包括重定向元件706的反射表面、第二光重定向元件的反射表面812、第二光重定向元件912的侧面920上的反射表面、最靠近第一光重定向元件1110的1112的第二光重定向元件1120的侧面上的反射表面、光重定向元件1210的侧面1218上的反射表面、本文描述的另一反射表面，或者它们的组合。为了将第二光重定向为朝向第二图像传感器(例如，第二图像传感器904/1204)，第二光重定向元件使用第二反射表面将第二光反射朝向第二图像传感器。第一反射表面可以是或者可以包括反射镜。第二反射表面可以是或者可以包括反射镜。
第一光重定向元件可包括被配置为折射第一光的第一棱镜。第二光重定向元件可以包括被配置为折射第二光的第二棱镜。在一些示例中，第一棱镜和第二棱镜是邻接的(例如，如图12A-图12C所示)。例如，第一棱镜和第二棱镜可以由单件塑料、玻璃、水晶或其他材料制成。桥可以连接第一棱镜的第一边缘和第二棱镜的第二边缘。例如，在图12A-图12C中，第一棱镜的在侧面1220和侧面1216之间的边缘通过桥连接到第二棱镜的在侧面1220和侧面1218之间的边缘。该桥可以被配置为防止光从第一棱镜的第一边缘和第二棱镜的第二边缘中的至少一个反射。例如，如图12A-图12C所示，连接两个棱镜的桥可以防止从图11中所示和标记的棱镜角散射。
第一棱镜可包括至少一个斜切的边缘。例如，在图9的第一重定向元件910中，侧面922和侧面918之间的边缘可以是斜切的。图11的第一重定向元件1110中的第一棱镜的相对应边缘可以是斜切的。第二棱镜可以包括至少一个斜切的边缘。例如，在图9的第二重定向元件912中，侧面924和侧面920之间的边缘可以是斜切的。图11的第二重定向元件1120中的第二棱镜的相对应边缘可以是斜切的。第一棱镜可包括具有光吸收涂层的至少一个边缘。例如，在图9的第一重定向元件910中，侧面922和侧面918之间的边缘可以具有光吸收涂层。图11的第一重定向元件1110中的第一棱镜的相对应的边缘可以具有光吸收涂层。图12A-图12C的重定向元件1210中的第一棱镜1212的相对应的边缘(例如，在连接第一棱镜1212与第二棱镜1214的桥处和/或在桥附近)可以具有光吸收涂层。第二棱镜可包括具有光吸收涂层的至少一个边缘。例如，在图9的第二重定向元件912中，侧面924和侧面920之间的边缘可以具有光吸收涂层。图11的第二重定向元件1120中的第二棱镜的相对应的边缘可以具有光吸收涂层。图12A-图12C的重定向元件1210中的第二棱镜1214的相对应的边缘(例如，在连接第一棱镜1212与第二棱镜1214的桥处和/或在桥附近)可以具有光吸收涂层。光吸收涂层可以是油漆、漆、材料或另一类型的涂层。光吸收涂层可以是不透明的。光吸收涂层可以是反射性的或非反射性的。光吸收涂层可以是黑色、深灰色、深色、深色渐变、深色图案或者它们的组合。
在一些示例中，在操作1355和1360中引用的第一路径是指在第一光进入第一棱镜之前的第一光的路径。因此，第一路径可以是尚未被第一棱镜折射的路径。例如，在图9的上下文中，第一路径可以指在z到达第一重定向元件910的顶侧922之前的第一光的路径。在图11的上下文中，第一路径可以指在到达第一重定向元件1110的相对应顶侧(未标示)之前的第一光的路径。在图12A-图12C的上下文中，第一路径可以指在到达重定向元件1210的第一棱镜1212的相对应的顶侧1220之前的第一光的路径。在一些示例中，在操作1355和1360中引用的第二路径是指在第二光进入第二棱镜之前的第二光的路径。因此，第二路径可以是尚未被第二棱镜折射的路径。例如，在图9的上下文中，第二路径可以指在到达第二重定向元件912的顶侧924之前的第二光的路径。在图11的上下文中，第二路径可以指在到达第二重定向元件1120的相对应顶侧(未标示)之前的第二光的路径。在图12A-图12C的上下文中，第二路径可以指在到达重定向元件1210的第二棱镜1214的相对应的顶侧1220之前的第二光的路径。
在一些示例中，第一棱镜包括被配置为反射第一光的第一反射表面。在一些示例中，第二棱镜包括被配置为反射第二光的第二反射表面。第一反射表面可以是或者可以包括反射镜。第二反射表面可以是或者可以包括反射镜。在一些示例中，在操作1355和1360中引用的第一路径是指在第一光进入第一棱镜之后但在第一反射表面反射第一光之前的第一光的路径。因此，第一路径可以已经被第一棱镜折射，但还没有被第一反射表面反射。例如，在图9的上下文中，第一路径可以指穿过第一重定向元件910的顶侧922并进入第一重定向元件910之后但在到达第一重定向元件910的侧面918上的反射表面之前的第一光的路径。在图11的上下文中，第一路径可以指进入第一重定向元件1110之后但在到达第一重定向元件1110的侧面1112上的反射表面之前的第一光的路径。在图12A-图12C的上下文中，第一路径可以指穿过重定向元件1210的第一棱镜1212的顶侧1220并且进入重定向元件1210的第一棱镜1212之后但在到达重定向元件1210的第一棱镜1212的侧面1216上的反射表面之前的第一光的路径。在一些示例中，在操作1355和1360中引用的第二路径是指在第二光进入第二棱镜之后但在第二反射表面反射第二光之前的第二光的路径。因此，第二路径可以已经被第二棱镜折射，但还没有被第二反射表面反射。例如，在图9的上下文中，第二路径可以指在穿过第二重定向元件912的顶侧924并进入第二重定向元件912之后但在到达第二重定向元件912的侧面920上的反射表面之前的第二光的路径。在图11的上下文中，第二路径可以是指在进入第二重定向元件1120之后但在到达最靠近第一重定向元件1110的侧面1112的第二重定向元件1120的侧面上的反射表面之前的第二光的路径。在图12A-图12C的上下文中，第二路径可以指在穿过重定向元件1210的第二棱镜1214的顶侧1220并且进入重定向元件1210的第二棱镜1214之后但在到达重定向元件1210的第二棱镜1214的侧面1218上的反射表面之前的第二光的路径。
在一些示例中，第一图像和第二图像是同时地、并发地、同时进行地、在共享时间窗内、在彼此的阈值持续时间内或以它们的组合捕获的。第一光重定向元件可以相对于第一图像传感器固定和/或静止。第二光重定向元件可以相对于第二图像传感器固定和/或静止。第一光重定向元件可以相对于第二光重定向元件固定和/或静止。第一光重定向元件可以相对于成像系统的壳体固定和/或静止。第二光重定向元件可以相对于成像系统的壳体固定和/或静止。例如，第一图像传感器、第一光重定向元件、第二图像传感器和第二光重定向元件在图8、图9、图11、图12A-图12C所示的各种图像传感器和光重定向元件、本文所述的这些的变体或者它们的组合中可以以固定和/或静止布置方式布置。第一光重定向元件在一些情况下可以相对于第一图像传感器和/或第二光重定向元件和/或成像系统的壳体可移动，例如使用电机和/或致动器。第二光重定向元件在一些情况下可以相对于第二图像传感器和/或第一光重定向元件和/或成像系统的壳体可移动，例如使用电机和/或致动器。
第一图像传感器的第一平坦表面可以面向第一方向，而第二图像传感器的第二平坦表面可以面向第二方向。第一方向可以是第一图像传感器的光轴和/或与第一图像传感器相关联的镜头的光轴和/或与第一图像传感器相关联的相机的光轴。第二方向可以是第二图像传感器的光轴和/或与第二图像传感器相关联的镜头的光轴和/或与第二图像传感器相关联的相机的光轴。第一方向和第二方向可以相互平行。第一相机也可以面向第一方向。第二相机也可以面向第二方向。第一方向和第二方向可以直接指向彼此。在一些示例中，第一图像传感器的第一平坦表面可以面向第二图像传感器的第二平坦表面。在一些示例中，第一相机可以面向第二相机。例如，图8的第一图像传感器802和第二图像传感器804彼此面对，并且朝向与彼此各自的方向平行的方向。图9的第一图像传感器902和第二图像传感器904彼此面对，并且朝向与彼此各自的方向平行的方向。图11的第一图像传感器1102和第二图像传感器1104彼此面对，并且朝向与彼此各自的方向平行的方向。图12A-图12C的第一图像传感器1202和第二图像传感器1204彼此面对，并且朝向与彼此各自的方向平行的方向。
在操作1365处，成像系统使用视角畸变校正来修改第一图像和第二图像中的至少一个。操作1365的视角畸变校正可以被称为视角畸变。操作1365的视角畸变校正的示例包括图10A的视角畸变校正1022、图10B的视角畸变校正1022、图15的平坦视角畸变校正1515、图15的弯曲视角畸变校正1525、图16的平坦视角畸变校正1620、图16的弯曲视角畸变校正1630、本文描述的另一种类型的视角畸变校正、本文描述的另一种类型的视角畸变，或者它们的组合。
在一些示例中，为了对第一图像和第二图像中的至少一个执行操作1365的修改，成像系统使用视角畸变校正将第一图像从描绘第一视角修改为描绘公共视角。成像系统使用视角畸变校正将第二图像从描绘第二视角修改为描绘公共视角。公共视角可以在第一视角和第二视角之间。例如，在图10B中，两个图像1024中的第一图像具有其向右倾斜的视角，而两个图像1024中的第一图像具有其向左倾斜的视角。如在组合图像1026的第一图像部分和组合图像1026的第一图像部分中可见的，公共视角是正前方，在两个图像1024的左右视角之间。在图16中，第一原始图像平面1614的视角略微逆时针倾斜，而第二原始图像平面1616的视角略微顺时针倾斜。在平坦视角校正图像平面1625中可见的公共视角(如使用平坦投影变换像素映射1620映射的)是完全水平的，在第一原始图像平面1614和第二原始图像平面1616的略微逆时针和略微顺时针倾斜的视角之间。
在一些示例中，为了对第一图像和第二图像中的至少一个执行操作1365的修改，成像系统识别(第一图像和/或第二图像的)图像数据中的一个或多个对象的描绘。成像系统通过基于一个或多个对象的描绘来投影图像数据来修改图像数据。在一些示例中，成像系统可以将图像数据投影到平坦视角校正图像平面上(例如，作为图10A-图10B、图15和图16中所示的平坦视角畸变校正1022/1520/1620的一部分)。在一些示例中，成像系统可以将图像数据投影到弯曲视角校正图像平面上(例如，作为如图15、图16、图17、图18和图19中的弯曲视角畸变校正1530/1630的一部分)。例如，参考图15，成像系统(例如，双相机设备1505)识别第一图像和第二图像中的汽水罐的描绘。在弯曲视角畸变校正1525中，成像系统(例如，双相机设备1505)基于汽水罐的描绘通过对图像数据进行投影来修改图像数据。参考图16，成像系统(例如，包括镜头1660)识别在第一图像和第二图像中的场景1655中沿着曲线的对一个或多个对象的描绘。在弯曲视角畸变校正1630中，成像系统(例如，包括镜头1660)通过基于沿着场景1655中的曲线的对一个或多个对象的描绘来投影图像数据来修改图像数据。参考图17，成像系统(未示出)识别第一图像和第二图像中的场景1655中的一个或多个对象(例如，电视机1740、沙发1750)的描绘。在三个组合图像1710-1730的不同视角畸变校正中，成像系统可以通过基于一个或多个对象(例如，电视机1740、沙发1750)的描绘来投影图像数据来修改图像数据。
在一些示例中，成像系统使用亮度均匀性校正来修改第一图像和第二图像中的至少一个。例如，成像系统可以从第一图像、第二图像或这二者去除渐晕和/或其他亮度不均匀性。图10D的亮度均匀性校正1062是成像系统可以用来修改第一图像和/或第二图像的亮度均匀性校正的示例。成像系统还可以增加或减少第一图像、第二图像或这二者的整体亮度，使得整体亮度在第一图像和第二图像之间相匹配。成像系统还可以增加或减少第一图像、第二图像或这二者中的其他图像特性(例如，对比度、色彩饱和度、白平衡、黑平衡、色彩水平、直方图等)，使得这些图像属性在第一图像和第二图像之间相匹配。亮度和/或其他图像属性的此类调整可以确保组合图像中没有可见的接缝(例如，在组合图像中的来自第一图像的部分和组合图像中的来自第二图像的部分之间)。在一些示例中，成像系统可以在操作1365的与视角畸变校正相关的修改之后执行与亮度均匀性校正相关的修改。在一些示例中，成像系统可以在操作1365的与视角畸变校正相关的修改之前执行与亮度均匀性校正相关的修改。在一些示例中，成像系统可以与操作1365的与视角畸变校正相关的修改同时执行与亮度均匀性校正相关的修改。
在操作1370处，成像系统从第一图像和第二图像生成组合图像。成像系统可以响应于使用视角畸变校正对第一图像和第二图像中的至少一个的修改而从第一图像和第二图像生成组合图像。成像系统可以响应于使用亮度均匀性校正对第一图像和第二图像中的至少一个的修改而从第一图像和第二图像生成组合图像。组合图像包括比第一图像的第一视野和第二图像的第二视野中的至少一个更大的组合图像视野。例如，图10B的组合图像1026具有比两个图像1024中的第一图像和第二图像的第一视野和第二视野更大和/或更宽的视野。类似地，图10C的组合图像具有比由第一相机捕获的第一图像的第一视野和由第二相机捕获的第二图像的第二视野更大和/或更宽的视野。
从第一图像和第二图像生成组合图像可以包括：将第一图像的第一部分与第二图像的第二部分对齐。从第一图像和第二图像生成组合图像可以包括：基于第一图像的第一部分和第二图像的第二部分被对齐来将第一图像和第二图像拼接在一起。图10C的数字对齐和拼接1042是这种对齐和拼接的示例。第一图像的第一部分和第二图像的第二部分可以至少部分地匹配。例如，参考图10C，第一图像的第一部分可以是由第一相机捕获的第一图像的一部分，其包括图10C场景中间的
(带圆圈的字母“A”)，而第二图像的第二部分可以是由第二相机捕获的第二图像的一部分，其包括图10C场景中间的
(带圆圈的字母“A”)。第一图像的第一部分和第二图像的第二部分可以匹配可以重叠以进行拼接。组合图像可包括第一图像的第一部分、第二图像的第二部分，或者将来自第一图像的第一部分的图像数据与来自第二图像的第二部分的图像数据进行合并或组合的合并图像部分。
如上所述，成像系统可以是设备500。设备500可以至少包括被配置为捕获图像帧以生成组合图像的第一相机501和第二相机502。设备500还可以包括一个或多个重定向元件503。
图14是示出用于捕获要被组合以生成组合图像帧的多个图像帧的示例过程1400的流程图。
图14中的操作可以是由设备500执行的图13A和/或图13B中的操作的示例实现。例如，设备500可以使用图8、图9或图12A-图12C中描绘的相机和重定向元件(或其他合适的重定向元件)的配置来虚拟地重叠第一相机501和第二相机502的入射光瞳中心(如图6中描绘的)。虚线框示出可以执行的可选步骤。
在操作1402处，第一光重定向元件将第一光重定向朝向第一相机501。例如，第一光重定向元件可以重定向从设备中的开口接收到的光的一部分。在一些实施方式中，第一光重定向元件的第一反射镜将第一光反射朝向第一相机501(操作1404)。在图8的示例中，第一光重定向元件810的反射镜可以将来自场景的第一部分的光反射到第一相机镜头806。在图9的示例中，第一棱镜918的侧面918上的反射镜可以将来自场景的第一部分的光反射到第一相机镜头906。在图12A的示例中，重定向元件1210的第一棱镜1212的侧面1216上的反射镜可以将来自场景的第一部分的光反射到第一相机镜头1206。
在一些实施方式中，第一光重定向元件的第一棱镜也可以折射第一光(操作1406)。回到图9的示例，重定向元件可以包括反射镜和棱镜二者。例如，棱镜的一侧可以包括反射涂层，其用于反射通过棱镜的光。参考回图12A的示例，重定向元件可以包括多个棱镜，其中，一个棱镜用于折射针对第一相机501的第一光。
在一些实施方式中，第一镜头将第一光从第一光重定向元件引导朝向第一相机501(操作1408)。在操作1410处，第一相机501基于第一光来捕获第一图像帧。在操作1412处，第二光重定向元件将第二光重定向朝向第二相机502。例如，第二光重定向元件可以重定向从设备中的开口接收到的光的一部分。在一些实施方式中，第二光重定向元件的第二反射镜将第二光反射朝向第二相机502(操作1414)。在图8的示例中，第二重定向元件812的反射镜可以将来自场景的第二部分的光反射朝向第二相机镜头808。在图9的示例中，第二重定向元件912的第二棱镜的侧面920上的第二反射镜可以将来自场景的第二部分的光反射到第二相机镜头908。在图12A的示例中，重定向元件1210的第二棱镜的侧面1218上的第二反射镜可以将光从场景的第二部分反射到第二镜头1208。在一些实施方式中，第二光重定向元件的第二棱镜也可以折射第二光(操作1416)。回到图9的示例，第二重定向元件912可以包括反射镜和棱镜二者。例如，三角棱镜的一侧可以包括反射涂层，其用于反射通过棱镜的光。回到图12A的示例，重定向元件1210可以包括第二棱镜和第二反射镜，用于将光反射和折射朝向第二相机镜头1208。参考回图14，在一些实施方式中，第一重定向元件和第二重定向元件是相同的重定向元件。在某些实现中，重定向元件包括多个棱镜和反射镜，用于重定向第一光和重定向第二光。例如，图12A中的重定向元件1210包括两个三角棱镜1212和1214(例如等边三角棱镜)，其侧面1216和1218上有反射镜。
在一些实施方式中，第二镜头可以将第二光从第二光重定向元件引导朝向第二相机502的图像传感器(操作1418)。在操作1420处，第二相机502基于第二光来捕获第二图像帧。如上所述，第一光重定向元件和第二光重定向元件(可以是单独的或单个重定向元件)可以被放置为允许第一相机501和第二相机502的入射光瞳的中心虚拟重叠。以这种方式，可以减少或消除组合图像中的视差效应。在某些实施方式中，第二图像帧与第一图像帧并发地和/或同时捕获。以这种方式，多个图像帧可以并发地和/或同时由设备500的第一相机501和第二相机502捕获，以减少由全局运动或局部运动引起的组合图像中的畸变。捕获的图像帧可以被提供给设备500的其他组件(例如图像处理器512)以处理图像帧，包括在操作1422中对图像帧进行组合以生成组合(广角)图像，如上所述。
本文讨论的图像帧可以被称为图像、图像帧、视频帧或帧。本文讨论的图像可以被称为图像、图像帧、视频帧或帧。本文讨论的视频帧可以被称为图像、图像帧、视频帧或帧。本文讨论的帧可以被称为图像、图像帧、视频帧或帧。
除非具体描述为以特定方式实现，否则本文中描述的技术可以用硬件、软件、固件或它们的任意组合来实现。描述为模块或组件的任何特征也可以一起实现在集成逻辑器件中，或者单独实现为分立但可互操作的逻辑器件。如果在软件中实现，这些技术可以至少部分地通过非暂时性处理器可读存储介质(例如图5的示例设备500中的存储器506)实现，所述非暂时性处理器可读存储介质包括指令508，所述指令在由处理器504(或相机控制器510或图像信号处理器512或其他合适的组件)执行时，使设备500执行上述一种或多种方法。非暂时性处理器可读数据存储介质可以形成计算机程序产品的一部分，计算机程序产品可以包括封装材料。
非暂时性处理器可读存储介质可以包括随机存取存储器(RAM)(如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、其他已知存储介质等。附加地或替代地，这些技术可以至少部分地由处理器可读通信介质实现，所述处理器可读通信介质承载或传送指令或数据结构形式的代码并且可以由计算机或其他处理器访问、读取和/或执行。
结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由一个或多个处理器执行，处理器例如图5的示例设备500中的处理器504或图像信号处理器512。此类处理器可以包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其他等效集成或离散逻辑电路。如本文中所使用的，术语“处理器”可以指代前述结构或适于本文中所描述的技术的实现的任何其他结构中的任何一个。另外，在一些方面中，本文中描述的功能可以在如本文所述配置的专用软件模块或硬件模块内提供。此外，这些技术可以在一个或多个电路或逻辑单元中完全实现。通用处理器可以是微处理器，但是以替换的方式，处理器可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合、或者任何其他这种配置。
图15是示出平坦视角畸变校正1515和曲面视角畸变校正1525的示例的概念图1500。如前所述，视角畸变校正可用于看起来改变拍摄场景的视角或观看角度。在图10B的视角畸变校正1022的情况下，使用视角畸变校正1022，使得第一图像和第二图像看起来共享所拍摄场景的公共视角或共同观看角度。
图10B的概念图1020中示出的视角畸变校正1022是梯形视角畸变校正的示例，其是平坦视角畸变校正1515的示例。梯形视角畸变校正将梯形区域映射到矩形区域，反之亦然。平坦视角畸变校正将第一平坦(例如，非弯曲)二维区域映射到第二平坦(例如，非弯曲)二维区域。第一平坦(例如，非弯曲)二维区域和第二平坦(例如，非弯曲)二维区域可以相对于彼此具有不同的旋转取向(例如，俯仰、偏航和/或滚动)。在一些示例中，可以使用矩阵乘法来执行平坦视角畸变校正。
具有本文讨论的双相机架构之一的设备500(例如，如图900、1100、1200、1240和/或1260所示)可以使用平坦视角畸变校正1515产生许多类型场景的高质量组合图像。然而，设备500可以在使用平坦视角畸变校正1515时产生某些类型的场景的组合图像，这些组合图像在视觉上出现扭曲和/或视觉畸变。对于这类场景，与使用平坦视角畸变校正1515相比，使用弯曲视角畸变校正1525可以产生具有减少或消除了视觉扭曲的组合图像。
例如，概念图1500示出了场景1510，其中五个汽水罐以部分围绕双相机设备1505的弧线排列，其中，五个汽水罐中的每个汽水罐与双相机设备1505的距离大致相等。双相机设备1505是具有本文讨论的双相机架构之一的设备500(例如，如图900、图1100、图1200、图1240和/或图1260所示)，设备500从分别由双相机设备1505的两个相机捕获的场景1510的两个图像生成场景1510的组合图像，如本文所述(例如，如流程图1300、1350或1400所示)。
双相机设备1505使用平坦视角畸变校正1515来执行视角校正，同时生成第一组合图像1520。第一组合图像1520在视觉上出现扭曲。例如，尽管场景1510中的五个汽水罐与双相机设备1505的距离大致相等，但第一组合图像1520中最左边的汽水罐和最右边的汽水罐看起来比第一组合图像1520中的中央的三个汽水罐更大。第一张组合图像1520中最左边的汽水罐和最右边的汽水罐本身也显得扭曲，其中，最左边的汽水罐和最右边的看起来有不同的高度。第一组合图像1520中最左边的汽水罐和最右边的汽水罐似乎与第一组合图像1520中的中央的三个汽水罐的距离也比第一组合图像1520中的中央的三个汽水罐彼此相距更远。
双相机设备1505使用弯曲变换视角畸变校正1525来执行视角校正，同时生成第二组合图像1530。第二组合图像1530减少或去除了第一组合图像1520中全部或大部分明显的视觉扭曲。例如，场景1510中的五个汽水罐在第二组合图像1530中看起来彼此的大小比在第一组合图像1520中更相似。最左边的汽水罐和最右边的汽水罐在第二组合图像1530中看起来也比在第一组合图像1520中扭曲的更少。场景1510中所有五个汽水罐之间的间距在第二组合图像1530中看起来比在第一组合图像1520中更一致。
在各种类型的场景中，弯曲视角畸变校正1525可以比平坦视角畸变校正1515更优化地使用。例如，在从高空(例如，高楼或山脉)捕获的远处地平线的全景场景中，使用弯曲视角畸变校正1525可以比平坦视角畸变校正1515更优。
图16是示出在平坦视角畸变校正1515和弯曲视角畸变校正1525中从图像传感器图像平面到视角校正图像平面的像素映射的概念图。具体而言，图16包括基于例如概念图900、1100、1200、1240和/或1260中所示的双相机架构的第一图1600。第一图1600示出了通过第一虚拟镜头926并到达第一虚拟图像传感器914的虚拟光束。第一虚拟图像传感器914也被标记为第一原始图像平面1614，因为第一原始图像平面1614表示由第一图像传感器902/1102/1202捕获的第一图像(未示出)。第一图1600还示出了通过第二虚拟镜头928并到达第二虚拟图像传感器916的虚拟光束。第二虚拟图像传感器916也被标记为第二原始图像平面1616，因为第二原始图像平面1616表示由第二图像传感器904/1104/1204捕获的第二图像(未示出)。
第一图1600示出了投影变换像素映射1620虚线箭头，其执行平坦视角畸变校正1515。投影变换像素映射1620虚线箭头通过第一原始图像平面1614的各个像素投射到经视角校正的图像平面1625的相对应像素上，并通过第二原始图像平面1616的各个像素投射到经视角校正的图像平面1625的相对应像素上。经视角校正的图像平面1625表示在执行平坦视角畸变校正1515之后，通过将第一图像与第二图像合并而生成的组合图像。
图16中的第二图1650示出了弯曲视角畸变校正1525的示例。场景1655，其可以包括平坦部分和弯曲部分，是使用带有镜头1660的相机拍摄的。镜头1660可以是物理镜头(例如镜头704、806、808、906、908、1106、1108、1206和/或1208)，或者也可以是虚拟镜头(例如，虚拟镜头710、926和/或928)。相机捕获场景1655的图像，该图像在平坦图像平面1665上被捕获。在一些示例中，平坦图像平面1665是原始图像平面(例如，如在第一原始图像平面1614和/或第二原始图像平面1616中)，其表示在物理图像传感器(例如图像传感器702、802、804、902、904、1004、1102、1104、1202和/或1204)和/或虚拟图像传感器(例如，虚拟图像传感器708、914和/或916)处的图像捕获。在一些示例中，平坦图像平面1665是经平坦视角校正的图像平面1625，如第一图1600所示。沿平坦图像平面1665的点由平坦x轴表示。沿平坦x轴的点可以使用针对给定角度α的公式x＝f·tan(α)找到。在第二图1650中，f是相机的焦距。在第二图1650中，α是相机的视角，或者相机视角内的角度。例如，相机的视角可以是60度。为了执行弯曲视角畸变校正1525，像素从平坦图像平面1665被投影到经弯曲视角校正的图像平面1630上。沿经弯曲视角校正的图像平面1630的点由弯曲x'轴表示。沿弯曲x'轴的点可以使用公式x′＝f·α找到。因此，无论角度α如何，沿弯曲x'轴的任何点距离镜头1660的距离f都相同。
在对某些图像执行视角校正时，对经弯曲视角校正的图像平面1630的曲率进行更细微的控制可能是有用的。可以使用公式
来执行更细微的弯曲视角畸变校正1525。此处，x"表示取决于变量P的经可变曲率视角校正的图像平面。在该公式中，P是变量，可以对其进行调整以调整经可变曲率视角校正的图像平面的曲率强度。例如，当P＝1时，则x"＝f·tan(α)，使经弯曲视角校正的图像平面1630平坦并等效于平坦图像平面1665(并且等效于平坦x轴)。当P＝0时，则x"未定义，但当P接近0时，x"的极限为f·α。因此，为了弯曲视角畸变校正1525的目的，当P＝0时x"＝f·α，使经可变曲率视角校正的图像平面强弯曲并等效于经弯曲视角校正的图像平面1630(并且等效于弯曲的x'轴)。如果P在0和1之间，则经可变曲率视角校正的图像平面的弯曲小于经弯曲视角校正的图像平面1630，但比平坦图像平面1665更弯曲。图17提供了使用弯曲视角畸变校正1525以及经可变曲率视角校正的图像平面和被设置为不同值的P生成的组合图像的示例。
图17是示出场景的三个示例组合图像(1710、1720和1730)的概念图1700，每个组合图像被应用了不同曲率度数的弯曲视角畸变校正1525。通过使用上述公式
映射到经可变曲率视角校正的图像平面来应用弯曲视角畸变校正1525的不同曲率度数。
具体而言，第一组合图像1710是通过应用弯曲视角畸变校正1525来将图像像素映射到经强弯曲视角校正的图像平面上而生成的，因为P＝0。第二组合图像1720是通过应用弯曲视角畸变校正1525来将图像像素映射到经中等弯曲视角校正的图像平面上而生成的，因为P＝0.8。第三组合图像1730是通过应用视角畸变校正1515来将图像像素映射到经平坦视角校正的图像平面上而生成的，因为P＝1。
所有三幅组合图像(1710、1720和1730)都描绘了相同的场景，该场景描绘了一个人坐在椅子上面对电视机1740，椅子与沙发相邻1750，以及其他事务。坐在椅子上的人靠近拍摄场景的中心，而电视机1740在拍摄场景的左侧，而沙发1750在拍摄场景的右侧。在第一组合图像1710(其中P＝0)中，电视机1740和沙发1750看起来在水平方向上挤压在一起，弯曲和/或朝向相机倾斜得太厉害，并且因此显得不自然。在第三组合图像1730(其中P＝1)中，电视机1740和沙发1750看起来远离坐着的人向两侧拉伸，并且相对于场景中的其他对象显得不自然的长并且在水平方向上被拉伸。在第二组合图像1720(其中P＝0.8)中，电视机1740和沙发1750看起来自然地反映了拍摄的场景。
图18是示出关于平坦视角畸变的弯曲视角畸变校正的不同曲率度数进行比较的图1800的概念图。通过使用上述公式
映射到经可变曲率视角校正的图像平面来应用弯曲视角畸变校正1525的不同曲率度数。图1800基于公式
图1800的水平轴表示用P＝1的归一化的x，或者使用角度范围0<＝α<＝65度的平坦视角校正的映射输出。纵轴表示x"，或者可变曲率视角校正的映射输出，其具有与水平轴相同比例的不同曲率度数。
图1800示出了五条线1805、1810、1815、1820和1825。第一条线1805对应于P＝0。第二条线1810对应于P＝0.4。第三条线1815对应于P＝0.6。第四条线1820对应于P＝0.8。第五条线1825对应于P＝1.0。
图19是示出用于执行弯曲视角畸变校正的示例过程的流程图。在一些示例中，过程1300中的操作可以由成像系统执行。在一些示例中，成像系统是设备500。在一些示例中，成像系统包括下列一项或多项：相机112、相机206、设备500、概念图600中所示的成像架构、概念图700中所示的成像架构、概念图800中所示的成像架构、概念图900中所示的成像架构、概念图1100中所示的成像架构、概念图1200中所示的成像架构、概念图1240中所示的成像架构、概念图1260中所示的成像架构、概念图1600中所示的成像架构、以下各项的至少一个：图像捕获和处理系统2000、图像捕获设备2005A、图像处理设备2005B、图像处理器2050、主机处理器2052、ISP 2054、计算系统2100、云服务的一个或多个网络服务器，或者它们的组合。
在操作1905处，成像系统接收由第一相机的第一图像传感器捕获的场景的第一图像。第一图像对应于平坦平面图像平面。在一些示例中，第一图像对应于平坦平面图像平面，因为第一图像传感器在形状和/或相对尺寸上对应于平坦平面图像平面。在一些示例中，第一图像对应于平坦平面图像平面，因为第一图像是使用平坦视角畸变校正1515投影到平坦平面图像平面上的。
在操作1910处，成像系统识别经弯曲视角校正的图像平面。在一些示例中，成像系统使用公式x′＝f·α将经弯曲视角校正的图像平面识别为图1650的经弯曲视角校正的图像平面1630。在一些示例中，成像系统使用公式
将经弯曲视角校正的图像平面识别为经可变曲率视角校正的图像平面。
在操作1915处，成像系统至少通过将第一图像的图像数据从与第一图像传感器相对应的平坦平面图像平面投影到经弯曲视角校正的图像平面上来生成经视角校正的第一图像。
过程1900可以是使用操作1365的视角畸变修改第一图像和/或第二图像的示例。在一些示例中，在操作1905中接收的第一图像可以是在操作1355中接收的第一图像的示例，并且操作1915的经视角校正的第一图像可以是使用操作1365的视角畸变的修改后的第一图像的示例。在一些示例中，在操作1905中接收的第一图像可以是在操作1360中接收的第二图像的示例，并且操作1915的经视角校正的第一图像可以是使用操作1365的视角畸变的修改后的第二图像的示例。
在一些示例中，P可以是预先确定的。在成像系统中，可以通过成像系统的用户接口从用户接收用户输入，并且成像系统可以基于用户输入来确定P。在一些示例中，成像系统可以通过检测到场景在第一图像中出现扭曲或者如果将平坦视角畸变校正1515单独应用于第一图像则可能出现扭曲来自动确定P。在一些示例中，当成像系统确定场景在第一图像中出现扭曲或者如果将平坦视角畸变校正1515单独应用于第一图像则可能出现扭曲时，成像系统可以自动确定P以修复或优化第一图像中场景的外观。在一些示例中，成像系统可以基于在第一图像中拍摄的场景中的对象距离、分布以及对象和/或表面的表面取向来自动确定P。成像系统可以使用由成像系统的一个或多个相机捕获的第一图像和/或一个或多个其他图像，基于对象检测和/或识别来确定场景中的对象距离、分布和/或对象和/或表面的表面取向。例如，成像系统可以使用面部检测和/或面部识别来识别场景中的人，这些人与相机的靠近程度(例如，基于经由眼睛间距离或面部特征之间的其他测量结果确定的面部大小)，人正面向的方向，等等。成像系统可以基于使用成像系统的一个或多个距离传感器生成的场景的一个或多个点云来确定场景中的对象距离、分布和/或对象和/或表面的表面取向，距离传感器例如一个或多个光检测和测距(LIDAR)传感器、一个或多个无线电检测和测距(RADAR)传感器、一个或多个声音导航和测距(SONAR)传感器、一个或多个声音检测和测距(SODAR)传感器、一个或多个飞行时间(TOF)传感器、一个或多个结构光(SL)传感器，或者它们的组合。
在一些示例中，成像系统可以使用对象检测、对象识别、面部检测或面部识别来自动确定P以修复或优化在第一图像中检测到的人的外观、面部或另一特定类型的对象。例如，成像系统可以确定第一图像包括对办公楼的描绘。成像系统可能期望办公楼具有矩形棱镜形状(例如，盒子)。成像系统可以自动确定P以使办公楼在经视角校正的第一图像中尽可能接近矩形棱镜形状，并且例如使得经视角校正的第一图像去除或减少出现在第一图像中的办公楼边缘的任何弯曲。成像系统可以确定第一图像包括对人的面部的描绘。成像系统可以基于与该人的面部的其他预存储图像的比较来识别该人的面部，并且可以自动确定P以使经视角校正的第一图像中描绘的人的面部看起来尽可能接近该人的面部的预存储图像。
在一些示例中，弯曲视角畸变校正只能应用于第一图像的一部分，而不是整个第一图像。例如，在描绘五个汽水罐的组合图像1520中，组合图像1520中最左边的汽水罐和最右边的汽水罐显得最扭曲。在某些示例中，弯曲视角畸变校正可以仅应用于组合图像1520的区域，该区域包括最左边的汽水罐和最右边汽水罐的描绘。
在一些示例中，可以应用弯曲视角畸变校正来减少各种类型的畸变，包括广角镜头和/或鱼眼镜头带来的畸变。
图20是示出图像捕获和处理系统2000的架构的框图。针对先前附图所讨论的相机、镜头和/或图像传感器中的每一个都可以包括在图像捕获和处理系统2000中。例如，图1的镜头104和图像传感器106可以包括在图像捕获和处理系统2000中。图2的相机206可以是图像捕获和处理系统2000的示例。图5的第一相机501和第二相机502可以各自是图像捕获和处理系统2000的示例。图6的第一相机镜头606和第一图像传感器602可以包括在一个图像捕获和处理系统2000中，而图6的第二相机镜头608和第二图像传感器604可以包括在另一图像捕获和处理系统2000中。图7的相机镜头704和图像传感器702可以包括在图像捕获和处理系统2000中。图8的第一相机镜头806和第一图像传感器802可以包括在一个图像捕获和处理系统2000中，而图8的第二相机镜头808和第二图像传感器804可以包括在另一图像捕获和处理系统2000中。图9的第一相机镜头906和第一图像传感器902可以包括在一个图像捕获和处理系统2000中，而图9的第二相机镜头908和第二图像传感器904可以包括在另一图像捕获和处理系统2000中。图10A的图像传感器1004可以包括在图像捕获和处理系统2000中。图10C的第一相机和第二相机可以各自是图像捕获和处理系统2000的示例。图11的第一相机镜头1106和第一图像传感器1102可以包括在一个图像捕获和处理系统2000中，而图11的第二相机镜头1108和第二图像传感器1104可以包括在另一图像捕获和处理系统2000中。图12A-图12C的第一相机镜头1206和第一图像传感器1202可以包括在一个图像捕获和处理系统2000中，而图12A-图12B的第二相机镜头1208和第二图像传感器1204可以包括在另一图像捕获和处理系统2000中。在图13A的示例操作1300的流程图中提到的第一镜头和第一图像传感器可以包括在一个图像捕获和处理系统2000中，而在图13A的示例操作1300的流程图中提到的第二镜头和第二图像传感器可以包括在另一图像捕获和处理系统2000中。在图13B的示例操作1300的流程图中提到的第一镜头和第一图像传感器可以包括在一个图像捕获和处理系统2000中，而在图13B的示例操作1300的流程图中提到的第二镜头和第二图像传感器可以包括在另一图像捕获和处理系统2000中。在图14的示例操作1400的流程图中提到的第一相机可以包括在一个图像捕获和处理系统2000中，而在图14的示例操作1400的流程图中提到的第二相机可以包括在另一图像捕获和处理系统2000中。
图像捕获和处理系统2000包括用于捕获和处理场景图像(例如，场景2010的图像)的各种组件。图像捕获和处理系统2000可以捕获独立图像(或照片)和/或可以捕获包括特定序列中的多个图像(或视频帧)的视频。系统2000的镜头2015面向场景2010并接收来自场景2010的光。镜头2015使光偏向图像传感器2030。由镜头2015接收的光穿过由一个或多个控制机制2020控制的光圈并由图像传感器2030接收。
一个或多个控制机制2020可以基于来自图像传感器2030的信息和/或基于来自图像处理器2050的信息来控制曝光、聚焦和/或变焦。一个或多个控制机制2020可以包括多个机制和组件；例如，控制机制2020可以包括一个或多个曝光控制机制2025A、一个或多个聚焦控制机制2025B和/或一个或多个变焦控制机制2025C。一个或多个控制机制2020还可以包括所示出的控制机制之外的附加控制机制，例如控制模拟增益、闪光灯、HDR、景深和/或其他图像捕获属性的控制机制。
控制机制2020中的焦点控制机制2025B可以获得焦点设置。在一些示例中，焦点控制机制2025B将焦点设置存储在存储器寄存器中。基于焦点设置，焦点控制机制2025B可以调整镜头2015相对于图像传感器2030的位置的位置。例如，基于焦点设置，变焦控制机制2025B可以通过使电机或伺服系统(或其他镜头机制)致动来将镜头2015移动得更靠近图像传感器2030或更远离图像传感器2030，从而调整焦点。在一些情况下，附加镜头可以包括在系统2000中，例如图像传感器2030的每个光电二极管上的一个或多个微镜头，每个微镜头在光到达光电二极管之前将从镜头2015接收的光偏向相对应的光电二极管。可以经由对比度检测自动对焦(CDAF)、相位检测自动对焦(PDAF)、混合自动对焦(HAF)或者它们的某种组合来确定焦点设置。可以使用控制机制2020、图像传感器2030和/或图像处理器2050来确定焦点设置。焦点设置可以被称为图像捕获设置和/或图像处理设置。
控制机制2020的曝光控制机制2025A可以获得曝光设置。在一些情况下，曝光控制机制2025A将曝光设置存储在存储器寄存器中。基于该曝光设置，曝光控制机制2025A可以控制光圈的大小(例如，光圈大小或f/stop)、光圈打开的持续时间(例如，曝光时间或快门速度)、图像传感器2030的灵敏度(例如ISO速度或胶片速度)、图像传感器2030应用的模拟增益，或者它们的任何组合。曝光设置可以被称为图像捕获设置和/或图像处理设置。
控制机制2020的变焦控制机制2025C可以获得变焦设置。在一些示例中，变焦控制机制2025C将变焦设置存储在存储器寄存器中。基于变焦设置，变焦控制机制2025C可以控制包括镜头2015和一个或多个附加镜头的镜头元件组件(镜头组件)的焦距。例如，变焦控制机制2025C可以通过使一个或多个电机或伺服系统(或其他镜头机制)致动以相对于彼此移动一个或多个镜头来控制镜头组件的焦距。变焦设置可以被称为图像捕获设置和/或图像处理设置。在一些示例中，镜头组件可以包括齐焦可变焦镜头或变焦可变焦镜头。在一些示例中，镜头组件可以包括聚焦镜头(在某些情况下可以是镜头2015)，其首先接收来自场景2010的光，然后光在到达图像传感器2030之前，穿过聚焦镜头(例如，镜头2015)和图像传感器2030之间的无焦变焦系统。在一些情况下，无焦变焦系统可以包括两个焦距相等或相似(例如，在彼此的阈值差异内)的正(例如，会聚、凸)镜头，它们之间有一个负(例如，发散、凹)镜头。在一些情况下，变焦控制机制2025C移动无焦变焦系统中的一个或多个镜头，例如负镜头和正镜头中的一个或两个。
图像传感器2030包括一个或多个光电二极管阵列或其他光敏元件。每个光电二极管测量最终与图像传感器2030生成的图像中的特定像素相对应的光量。在一些情况下，不同的光电二极管可以被不同的滤色器覆盖，并且因此可以测量与覆盖光电二极管的滤色器颜色相匹配的光。例如，拜耳(Bayer)滤色器包括红色滤色器、蓝色滤色器和绿色滤色器，其中图像的每个像素基于来自至少一个被红色滤色器覆盖的光电二极管的红光数据、来自至少一个被蓝色滤色器覆盖的光电二极管的蓝光数据以及来自至少一个被绿色滤色器覆盖的光电二极管的绿光数据而生成。除了或取代红色、蓝色和/或绿色滤色器，其他类型的滤色器可以使用黄色、品红色和/或青色(也被称为“翡翠色”)滤色器。一些图像传感器(例如，图像传感器2030)可能完全没有滤色器，而是可能在整个像素阵列(在某些情况下是垂直堆叠的)中使用不同的光电二极管。整个像素阵列中的不同光电二极管可以具有不同的光谱灵敏度曲线，因此响应于不同波长的光。单色图像传感器也可能缺少滤色器，并且因此缺少颜色深度。
在一些情况下，图像传感器2030可以替代地或附加地包括不透明和/或反射掩模，其阻挡光在某些时间和/或从某些角度到达某些光电二极管或某些光电二极管的部分，其可用于相位检测自动对焦(PDAF)。图像传感器2030还可以包括用于放大由光电二极管输出的模拟信号的模拟增益放大器和/或将光电二极管的模拟信号输出(和/或由模拟增益放大器放大的)转换为数字信号的模数转换器(ADC)。在一些情况下，针对一个或多个控制机制2020讨论的某些组件或功能可以替代地或附加地包括在图像传感器2030中。图像传感器2030可以是电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、有源像素传感器(APS)、互补金属氧化物半导体(CMOS)、N型金属-氧化物半导体(NMOS)、混合CCD/CMOS传感器(例如，sCMOS)或它们的某种其他组合。
图像处理器2050可以包括一个或多个处理器，例如一个或多个图像信号处理器(ISP)(包括ISP 2054)、一个或多个主机处理器(包括主机处理器2052)和/或针对处理系统2100讨论的任何其他类型的处理器2110中的一种或多种。主机处理器2052可以是数字信号处理器(DSP)和/或其他类型的处理器。在一些实施方式中，图像处理器2050是包括主机处理器2052和ISP 2054的单个集成电路或芯片(例如，被称为片上系统或SoC)。在一些情况下，芯片还可以包括一个或多个输入/输出端口(例如，输入/输出(I/O)端口2056)、中央处理单元(CPU)、图形处理单元(GPU)、宽带调制解调器(例如，3G、4G或LTE、5G等)、存储器、连接组件(例如，BluetoothTM、全球定位系统(GPS)等)、它们的任何组合和/或其他组件。I/O端口2056可以根据一个或多个协议或规范包括任何合适的输入/输出端口或接口，例如集成电路间2(I2C)接口、集成电路间3(I3C)接口、串行外设接口(SPI)接口、串行通用输入/输出(GPIO)接口、移动行业处理器接口(MIPI)(例如MIPI CSI-2物理(PHY)层端口或接口、高级高性能总线(AHB)总线，它们的任何组合和/或其他输入/输出端口。在一个说明性示例中，主机处理器2052可以使用I2C端口与图像传感器2030进行通信，而ISP 2054可以使用MIPI端口与图像传感器2030进行通信。
图像处理器2050可以执行许多任务，例如去除马赛克、颜色空间转换、图像帧下采样、像素插值、自动曝光(AE)控制、自动增益控制(AGC)、CDAF、PDAF、PDAF、自动白平衡、将图像帧合并以形成HDR图像、图像识别、对象识别，特征识别、接收输入、管理输出、管理存储器或者它们的一些组合。图像处理器2050可以将图像帧和/或经处理的图像存储在随机存取存储器(RAM)2040/2020、只读存储器(ROM)2045/2025、高速缓存器、存储器单元、另一存储设备，或者它们的某种组合中。
各种输入/输出(I/O)设备2060可以连接到图像处理器2050。I/O设备2060可以包括显示屏、键盘、按键、触摸屏、触控板、触敏表面、打印机、任何其他输出设备2135、任何其他输入设备2145，或者它们的某种组合。在一些情况下，可以通过I/O设备2060的物理键盘或按键，或者通过I/O设备2060的触摸屏的虚拟键盘或按键，将说明文字输入图像处理设备2005B。I/O 2060可以包括能够在系统2000和一个或多个外围设备之间建立有线连接的一个或多个端口、插孔或其他连接器，系统2000可以通过的一个或多个端口、插孔或其他连接器从一个或多个外围设备接收数据和/或将向一个或多个外围设备发送数据。I/O 2060可以包括能够在系统2000和一个或多个外围设备之间建立无线连接的一个或多个无线收发机，系统2000可以通过这些无线收发机从一个或多个外围设备接收数据和/或将向一个或多个外围设备发送数据。外围设备可以包括任何先前讨论的类型的I/O设备2060，并且一旦它们耦合至端口、插孔、无线收发机或其他有线和/或无线连接器，它们本身就可以被认为是I/O设备2060。
在一些情况下，图像捕获和处理系统2000可以是单个设备。在一些情况下，图像捕获和处理系统2000可以是两个或更多个单独的设备，包括图像捕获设备2005A(例如，相机)和图像处理设备2005B(例如，耦合至相机的计算设备)。在一些实施方式中，图像捕获设备2005A和图像处理设备2005B可以例如经由一条或多条电线、电缆或其他电连接器和/或经由一个或多个无线收发机无线地耦合在一起。在一些实施方式中，图像捕获设备2005A和图像处理设备2005B可以彼此断开。
如图20所示，垂直虚线将图20的图像捕获和处理系统2000分成两部分，分别表示图像捕获设备2005A和图像处理设备2005B。图像捕获设备2005A包括镜头2015、控制机制2020和图像传感器2030。图像处理设备2005B包括图像处理器2050(包括ISP 2054和主机处理器2052)、RAM 2040、ROM 2045和I/O 2060。在一些情况下，图像捕获设备2005A中所示的某些组件，例如ISP 2054和/或主机处理器2052，可以包括在图像捕获设备2005A中。
图像捕获和处理系统2000可以包括电子设备，例如移动或固定电话手台(例如，智能手机、蜂窝电话等)、桌面式计算机、膝上型计算机或笔记本计算机、平板计算机、机顶盒、电视机、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备、互联网协议(IP)相机，或者任何其他合适的电子设备。在一些示例中，图像捕获和处理系统2000可以包括用于无线通信(例如蜂窝网络通信、802.11wi-fi通信、无线局域网(WLAN)通信或者它们的某种组合)的一个或多个无线收发机。在一些实施方式中，图像捕获设备2005A和图像处理设备2005B可以是不同的设备。例如，图像捕获设备2005A可以包括相机设备，并且图像处理设备2005B可以包括计算设备，例如移动手台、桌面式计算机或其他计算设备。
虽然图像捕获和处理系统2000被示为包括某些组件，但本领域普通技术人员将理解：图像捕获和处理系统2000可以包括比图20中所示的组件更多的组件。图像捕获和处理系统2000的组件可以包括软件、硬件或者软件和硬件的一种或多种组合。例如，在一些实施方式中，图像捕获和处理系统2000的组件可以包括电子电路或其他电子硬件和/或可以使用其来实现，所述电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、GPU、DSP、CPU和/或其他合适的电子电路)，和/或可以包括计算机软件、固件或其任何组合和/或使用其来实现，以执行本文所述的各种操作。软件和/或固件可包括存储在计算机可读存储介质上并且可由实现图像捕获和处理系统2000的电子设备的一个或多个处理器执行的一个或多个指令。
图21是示出用于实施本技术的某些方面的系统的示例的图。具体而言，图21示出了计算系统2100的示例，其可以是例如构成内部计算系统的任何计算设备、远程计算系统、相机或其任何组件，在其中系统的组件使用连接2105相互通信。连接2105可以是使用总线的物理连接，或者是到处理器2110的直接连接，例如在芯片组架构中。连接2105也可以是虚拟连接、网络连接或者逻辑连接。
在一些实施例中，计算系统2100是分布式系统，其中本公开内容中描述的功能可以分布在数据中心、多个数据中心、对等网络等之内。在一些实施例中，所描述的系统组件中的一个或多个代表许多这样的组件，每个组件执行描述该组件所针对的功能的一些或全部。在一些实施例中，组件可以是物理或虚拟设备。
示例系统2100包括至少一个处理单元(CPU或处理器)2110以及将包括系统存储器2115(例如只读存储器(ROM)2120和随机存取存储器(RAM)2125)的各种系统组件耦合至处理器2110的连接2105。计算系统2100可以包括与处理器2110直接连接、紧邻或集成为处理器2110的一部分的高速存储器的高速缓存器2112。
处理器2110可以包括任何通用处理器和硬件服务或软件服务，例如存储在存储设备2130中的服务2132、2134和2136，它们被配置为控制处理器2110以及其中软件指令被并入实际处理器设计的专用处理器。处理器2110可以本质上是完全独立的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了实现用户交互，与计算系统2100包括输入设备2145，其可以表示任何数量的输入机制，例如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音，等等。计算系统2100还可以包括输出设备2135，其可以是多个输出机制中的一个或多个。在一些情况下，多模式系统可以使用户能够提供多种类型的输入/输出以与计算系统2100通信。计算系统2100可以包括通信接口2140，其通常可以支配和管理用户输入和系统输出。通信接口可以使用有线和/或无线收发机来执行或促进接收和/或发送有线或无线通信，包括使用下列各项的收发机：音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、
端口/插头、以太网端口/插头、光纤端口/插头、专有有线端口/插头、
无线信号传输、
低功耗(BLE)无线信号传输、
无线信号传输、射频识别(RFID)无线信号传输、近场通信(NFC)无线信号传输、专用短距离通信(DSRC)无线信号传输、802.11Wi-Fi无线信号传输、无线局域网(WLAN)信号传输、可见光通信(VLC)、全球微波接入互操作性(WiMAX)、红外(IR)通信无线信号传输、公共交换电话网络(PSTN)信号传输、综合业务数字网络(ISDN)信号传输、3G/4G/5G/LTE蜂窝数据网络无线信号传输、ad-hoc网络信号传输、无线电波信号传输、微波信号传输、红外信号传输、可见光信号传输、紫外光信号传输、沿电磁频谱的无线信号传输，或者它们的某种组合。通信接口2140还可以包括一个或多个全球导航卫星系统(GNSS)接收机或收发机，其用于基于从与一个或多个GNSS系统相关联的一个或多个卫星接收的一个或多个信号来确定计算系统2100的位置。GNSS系统包括但不限于基于美国的全球定位系统(GPS)、基于俄罗斯的全球导航卫星系统(GLONASS)、基于中国的北斗导航卫星系统(BDS)以及基于欧洲的伽利略(Galileo)GNSS。对在任何特定硬件布置上的操作没有限制，并且因此这里的基本特征可以很容易地替换为改进的硬件或固件布置(当它们在开发中)。
存储设备2130可以是非易失性和/或非暂时性和/或计算机可读存储器设备，并且可以是硬盘或可以存储计算机可存取数据的其他类型的计算机可读介质，例如磁带盒、闪存卡、固态存储器设备、数字多功能磁盘、盒式磁带、软盘、软磁盘、硬盘、磁带、磁条/磁条带、任何其他磁存储介质、闪存、忆阻器存储器、任何其他固态存储器、压缩盘只读存储器(CD-ROM)光盘、可重写压缩盘(CD)光盘、数字视频盘(DVD)光盘、蓝光盘(BDD)光盘、全息光盘、另一种光学介质、安全数字(SD)卡、微型安全数字(microSD)卡、Memory
卡、智能卡芯片、EMV芯片、用户身份模块(SIM)卡、微小/微型/纳米/微微SIM卡、另一种集成电路(IC)芯片/卡、随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存EPROM(FLASHEPROM)、高速缓存器(L1/L2/L3/L4/L5/L#)、电阻式随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移矩RAM(STT-RAM)、其他存储器芯片或盒式存储器，和/或它们的组合。
存储设备2130可以包括软件服务、服务器、服务等，当处理器2110执行定义这种软件的代码时，它使系统执行某种功能。在一些实施例中，执行特定功能的硬件服务可以包括存储在计算机可读介质中的与必要的硬件组件(例如处理器2110、连接2105、输出设备2135等)连接的软件组件，以执行该功能。
如本文中所使用的，术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含或携带指令和/或数据的各种其他介质。计算机可读介质可以包括其中可以存储数据的非暂时性介质，并且不包括无线地或通过有线连接传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带、诸如光盘(CD)或数字通用光盘(DVD)的光学存储介质、闪存器、存储器或存储设备。计算机可读介质上可以存储有代码和/或机器可执行指令，其可以表示过程、功能、子程序、程序、例程、模块、软件包、类、或者指令、数据结构或程序语句的任意组合。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容来连接到另一个代码段或硬件电路。信息、自变量、参数数据等可以使用包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段来传递、转发或发送。
在一些实施例中，计算机可读存储设备、介质和存储器可以包括包含比特流等的电缆或无线信号。然而，当提及时，非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身之类的介质。
在上文的说明中提供了具体细节来提供对本文中提供的实施例和示例的透彻理解。然而，本领域技术的普通技术人员将意理解的是，可以在不使用这些具体细节的情况下来实施这些实施例。为了解释清楚起见，在一些情况下，本技术可以被呈现为包括单独的功能块，单独的功能块包括功能块，该功能块包括设备、设备组件、以软件体现的方法中的步骤或例程，或者硬件和软件的组合。除了图中所示和/或本文所述的组件外，还可以使用其他组件。例如，可以将电路、系统、网络、过程和其他组件以框图形式示为组件，以免在不必要的细节上模糊实施例。例如，可以在没有非必要细节的情况下示出公知的电路、过程、算法、结构和技术以避免模糊实施例。
各个实施例可以作为过程或方法来描述，过程或方法被描绘成了流程图、流图、数据流图、结构图或框图。虽然流程图可以将操作描述为顺序过程，但操作中的许多操作可以并发、并发地或同时地执行。此外，可以对这些操作的顺序进行重新布置。过程在其操作完成后会终止，但是过程可以具有图中没的其他步骤。过程可以对应于方法、函数、过程、子例程，子程序等。当过程对应于函数时，其终止可以对应于该函数返回到调用函数或主函数。
可以使用存储在计算机可读介质中或从计算机可读介质中可获得的计算机可执行指令来实现根据上述示例的过程和方法。例如，这样的指令可以包括使通用计算机、专用计算机或处理设备或以其他方式配置通用计算机、专用计算机或处理设备执行某个功能或功能组的指令和数据。可以通过网络访问所使用的计算机资源的一些部分。计算机可执行指令可以是例如二进制、如汇编语言的中间格式指令、固件、源代码等。可用于存储指令、所用信息和/或在根据所述示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、被提供有非易失性存储器的USB设备、网络存储设备等等。
实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合，并且可以采用多种外形尺寸中的任意一种。当以软件、固件、中间件，或微代码来实现时，用于执行必要任务的程序代码或代码段(例如，计算机程序产品)可以存储在计算机可读或机器可读介质中。处理器可以执行必要的任务。外形尺寸的典型示例包括膝上型计算机、智能电话、移动电话、平板电脑设备或其他外形小巧的个人计算机、个人数字助理、机架安装设备、独立设备等等。本文描述的功能也可以体现在外围设备或附加卡中。作为进一步的示例，这种功能还可以在单个设备中执行的不同芯片或不同过程之间的电路板上实现。
指令、用于传达这些指令的介质、用于执行它们的计算资源以及用于支持这样的计算资源的其他结构是用于提供本公开内容中描述的功能的示例单元。
在前文的描述中，参考本申请的特定实施例描述了本申请的各个方面，但是本领域技术人员将认识到，本申请不限于此。因此，尽管在本文中已经详细描述了本申请的说明性实施例，但是应当理解，这些发明构思可以用其他方式被不同地体现和采用，并且所附权利要求旨在被解释为包括这样的变型，除了现有技术所限制的以外。可以单独或联合使用上述申请的各种特征和方面。此外，在不脱离本说明书的更广泛的精神和范围的情况下，实施例可以在本文所述之外的任何数量的环境和应用中使用。因此，应该认为本说明和附图是说明性而非限制性的。为了说明的目的，以特定顺序描述了方法。应当认识到的是，在替代实施例中，可以用与所描述的顺序不同的顺序来执行这些方法。
普通技术人员将理解，本文中使用的小于(“<”)和大于(“>”)符号或术语可以在不脱离本说明书的范围的情况下替换为小于或等于(“≤”)和大于或等于(“≥”)符号。
在将组件描述为“被配置为”执行某些操作的情况下，可以例如通过设计电子电路或其他硬件以执行该操作，通过对可编程电子电路(例如微处理器或其他合适的电子电路)进行编程以执行该操作或其任意组合来实现这种配置。
短语“耦合至”是指直接或间接物理连接到另一个组件的任何组件，和/或直接或间接与另一个组件进行通信的任何组件(例如，通过有线或无线连接和/或其他合适的通信接口连接到另一个组件)。
引用集合中的“至少一个”和/或集合中的“一个或多个”的权利要求语言或其他语言表示该集合中的一个成员或该集合中的多个成员(以任何组合)满足权利要求。例如，引用“A和B中的至少一个”的声明语言意指A、B或A和B。在另一个示例中，引用“A、B和C中的至少一个”的声明语言是指A，B，C或A和B，或A和C，或B和C，或A和B和C。语言集合中的“至少一个”和/或集合中的“一个或多个”不将集合限制为该集合中列出的项目。例如，引用“A和B中的至少一个”的声明语言可以意指A，B或A和B，并且可以另外包括未在A和B的集合中列出的项目。
结合本文公开的实施例而描述的各个说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或它们的组合。为了清楚地表示硬件和软件之间的该可交换性，上文对各个说明性的组件、框、模块、电路和步骤均围绕其功能进行了总体描述。至于这种功能是实现为硬件还是实现为软件，取决于特定的应用和对整个系统所施加的设计约束。本领域技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是这种实现决策不应解释为造成对本申请的范围的背离。
本文描述的技术还可以以电子硬件、计算机软件、固件或其任何组合来实现。可以在诸如通用计算机、无线通信手持设备或具有包括在无线通信手持设备和其他设备中的应用的多种用途的集成电路设备等各种设备中的任何一种设备中实现这种技术。描述为模块或组件的任何特征可以一起实现在集成逻辑器件中，或者单独实现为分立但可互操作的逻辑器件。如果以软件实现，则可以至少部分地通过包括程序代码的计算可读数据存储介质来实现这些技术，程序代码包括指令，当被执行时，所述指令执行上述方法中的一个或多个。计算机可读数据存储介质可以形成计算机程序产品的一部分，计算机程序产品可以包括封装材料。计算机可读介质可以包括存储器或数据存储介质，例如随机存取存储器(RAM)(如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、磁或光数据存储介质等。附加地或替代地，这些技术可以至少部分地由计算可机读通信介质实现，所述通信介质承载或传送指令或数据结构形式的程序代码并且可以由计算机访问、读取和/或执行，例如传播信号或波形。
程序代码可由处理器执行，处理器可以包括诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路的一个或多个处理器。这样的处理器可以被配置为执行本公开内容中描述的任何技术。通用处理器可以是微处理器，或者，处理器可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合、或者任何其他这种配置。因此，本文中所使用的术语“处理器”可以指代任意前述结构，或者前述结构的任意组合，或者适于本文中描述的技术的实现的任何其他结构或装置。此外，在一些方面，本文中描述的功能可以在被配置用于编码和解码的专用软件和/或硬件模块之内提供，或者并入组合视频编解码器(CODEC)。
如上所述，尽管公开内容示出了说明性方面，但应当指出的是，在不脱离所附权利要求书的范围的情况下，在本文中可以进行各种变化和修改。此外，除非另有明确说明，否则根据本文中描述的方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序执行。此外，虽然可以用单数形式来描述或主张元素，但除非明确声明限于单数形式，否则复数也是预期的。因此，本公开内容不限于图示示例，并且用于执行本文中描述的功能的任何单元包括在本公开内容的方面中。
本公开内容的说明性方面包括：
方面1：一种用于数字成像的设备，包括：存储器；以及一个或多个处理器，所述处理器被配置为：接收由具有第一入射光瞳的第一相机捕获的场景的第一图像帧，其中：第一光重定向元件将第一光重定向为朝向所述第一相机；并且所述第一相机基于由所述第一光重定向元件重定向为朝向所述第一相机的所述第一光来捕获所述第一图像帧；接收由具有第二入射光瞳的第二相机捕获的所述场景的第二图像帧，其中：第二光重定向元件将第二光重定向为朝向所述第二相机；所述第二相机基于由所述第二光重定向元件重定向为朝向所述第二相机的所述第二光来捕获所述第二图像帧；并且所述第一相机镜头入射光瞳的第一中心与所述第二相机镜头入射光瞳的第二中心虚拟重叠；以及从所述第一图像帧和所述第二图像帧生成组合图像，其中，所述组合图像包括比所述第一图像帧的视野或所述第二图像帧的视野更宽的第一视野。
方面2：根据方面1所述的设备，其中，所述一个或多个处理器还被配置为：将所述第一图像帧从第一视角调整为公共视角；将所述第二图像帧从第二视角调整为所述公共视角，其中，所述公共视角在所述第一视角与所述第二视角之间。
方面3：根据方面1或方面2中任一方面所述的设备，其中，所述一个或多个处理器被配置为：将所述第一图像帧和所述第二图像帧对齐并拼接在一起以生成组合图像，其中，对齐所述图像帧是基于所述第一图像帧和所述第二图像帧中的所述场景的重叠部分中的场景匹配。
方面4：根据方面1至3中任一方面所述的设备，还包括：第一相机；第二相机；第一光重定向元件；以及第二光重定向元件，其中，基于所述第一相机、所述第二相机以及所述第一光重定向元件和第二光重定向元件的位置，所述第一相机镜头入射光瞳中心和所述第二相机镜头入射光瞳中心在第一位置虚拟重叠而所述第一相机镜头和所述第二相机镜头在所述第一位置没有物理重叠。
方面5：根据方面4所述的设备，其中：所述第一光重定向元件包括被配置为将所述第一光反射朝向所述第一相机的第一反射镜；并且所述第二光重定向元件包括被配置为将所述第二光反射朝向所述第二相机的第二反射镜。
方面6：根据方面5所述的设备，其中：所述第一光重定向元件还包括被配置为折射所述第一光的第一棱镜；并且所述第二光重定向元件还包括被配置为折射所述第二光的第二棱镜。
方面7：根据方面6所述的设备，其中：所述第一反射镜位于所述第一棱镜的第一侧；所述第二反射镜位于所述第二棱镜的第二侧；防止所述第一棱镜的一个或多个角将来自所述第一相机的第一相机镜头表面的光反射回朝向所述第一相机镜头；并且防止所述第二棱镜的一个或多个角将来自所述第二相机的第二相机镜头表面的光反射回朝向所述第二相机镜头。
方面8：根据方面7所述的设备，其中：所述第一棱镜的所述一个或多个角包括斜切边缘，其中，光吸收涂层施加到所述第一棱镜的所述斜切边缘；并且所述第二棱镜的所述一个或多个角包括斜切边缘，其中，光吸收涂层被施加到所述第二棱镜的所述斜切边缘。
方面9：根据方面1至8中任一方面所述的设备，其中，所述第一光重定向元件和所述第二光重定向元件是单个重定向元件；所述单个重定向元件包括所述第一棱镜和所述第二棱镜；所述第一反射镜位于所述第一棱镜的第一侧；所述第二反射镜位于所述第二棱镜的第二侧；并且所述第一棱镜和所述第二棱镜在所述单个重定向元件中的所述第一侧和所述第二侧处重叠并连接。
方面10：根据方面1至8中任一方面所述的设备，其中，所述第一图像帧和所述第二图像帧是并发捕获的。
方面11：一种用于数字成像的方法，包括：接收由具有第一入射光瞳的第一相机捕获的场景的第一图像帧，其中：第一光重定向元件将第一光重定向为朝向所述第一相机；并且所述第一相机基于由所述第一光重定向元件重定向为朝向所述第一相机的所述第一光来捕获所述第一图像帧；接收由具有第二入射光瞳的第二相机捕获的所述场景的第二图像帧，其中：第二光重定向元件将第二光重定向为朝向所述第二相机；所述第二相机基于由所述第二光重定向元件重定向为朝向所述第二相机的所述第二光来捕获所述第二图像帧；并且所述第一相机镜头入射光瞳的第一中心与所述第二相机镜头入射光瞳的第二中心虚拟重叠；以及从所述第一图像帧和所述第二图像帧生成组合图像，其中，所述组合图像包括比所述第一图像帧的视野或所述第二图像帧的视野更宽的第一视野。
方面12：根据方面11所述的方法，还包括：将所述第一图像帧从第一视角调整为公共视角；以及将所述第二图像帧从第二视角调整为所述公共视角，其中，所述公共视角在所述第一视角与所述第二视角之间。
方面13：根据方面11或方面12中任一方面所述的方法，还包括：将所述第一图像帧和所述第二图像帧对齐并拼接在一起以生成组合图像，其中，对齐所述图像帧是基于所述第一图像帧和所述第二图像帧中的所述场景的重叠部分中的场景匹配。
方面14：根据方面11至13中任一方面所述的方法，还包括：通过所述第一光重定向元件来重定向所述第一光；通过所述第二光重定向元件来重定向所述第二光；通过所述第一相机来捕获所述第一图像帧；以及通过所述第二相机来捕获所述第二图像帧，其中，基于所述第一相机、所述第二相机以及所述第一重定向元件和第二光重定向元件的位置，所述第一相机镜头入射光瞳中心和所述第二相机镜头入射光瞳中心在第一位置处虚拟重叠而所述第一相机镜头和所述第二相机镜头在所述第一位置处没有物理重叠。
方面15：根据方面14所述的方法，其中：通过所述第一光重定向元件来重定向所述第一光包括：通过第一反射镜将所述第一光反射朝向所述第一相机；并且通过所述第二光重定向元件来重定向所述第二光包括：通过第二反射镜将所述第二光反射朝向所述第二相机。
方面16：根据方面15所述的方法，其中：通过所述第一光重定向元件来重定向所述第一光还包括：通过第一棱镜来折射所述第一光；并且通过所述第二光重定向元件来重定向所述第二光还包括：通过第二棱镜来折射所述第二光。
方面17：根据方面16所述的方法，其中：所述第一反射镜位于所述第一棱镜的第一侧；所述第二反射镜位于所述第二棱镜的第二侧；防止所述第一棱镜的一个或多个角将来自所述第一相机的第一相机镜头表面的光反射回朝向所述第一相机镜头；并且防止所述第二棱镜的一个或多个角将来自所述第二相机的第二相机镜头表面的光反射回朝向所述第二相机镜头。
方面18：根据方面17所述的方法，其中：所述第一棱镜的所述一个或多个角包括斜切边缘，其中光吸收涂层被施加到所述第一棱镜的所述斜切边缘；并且所述第二棱镜的所述一个或多个角包括斜切边缘，其中光吸收涂层被施加到所述第二棱镜的所述斜切边缘。
方面19：根据方面11至18中任一方面所述的方法，其中，所述第一光重定向元件和所述第二光重定向元件是单个重定向元件；所述单个重定向元件包括所述第一棱镜和所述第二棱镜；所述第一反射镜位于所述第一棱镜的第一侧；所述第二反射镜位于所述第二棱镜的第二侧；并且所述第一棱镜和所述第二棱镜在所述单个重定向元件中的所述第一侧和所述第二侧处重叠并连接。
方面20：根据方面11至19中任一方面所述的方法，其中，所述第一图像帧和所述第二图像帧是并发捕获的。
方面21：一种存储有指令的非暂时性计算机可读介质，所述指令当由用于数字成像的设备的一个或多个处理器执行时使所述设备用于：接收由具有第一入射光瞳的第一相机捕获的场景的第一图像帧，其中：第一光重定向元件将第一光重定向为朝向所述第一相机；并且所述第一相机基于由所述第一光重定向元件重定向为朝向所述第一相机的所述第一光来捕获所述第一图像帧；接收由具有第二入射光瞳的第二相机捕获的所述场景的第二图像帧，其中：第二光重定向元件将第二光重定向为朝向所述第二相机；所述第二相机基于由所述第二光重定向元件重定向为朝向所述第二相机的所述第二光来捕获所述第二图像帧；并且所述第一相机镜头入射光瞳的第一中心与所述第二相机镜头入射光瞳的第二中心虚拟重叠；以及从所述第一图像帧和所述第二图像帧生成组合图像，其中，所述组合图像包括比所述第一图像帧的视野或所述第二图像帧的视野更宽的第一视野。
方面22：根据方面21所述的计算机可读介质，其中，所述指令的执行还使所述设备用于：将所述第一图像帧从第一视角调整为公共视角；以及将所述第二图像帧从第二视角调整为所述公共视角，其中，所述公共视角在所述第一视角与所述第二视角之间。
方面23：根据方面21或方面22中任一方面所述的计算机可读介质，其中，所述指令的执行还使所述设备用于：将所述第一图像帧和所述第二图像帧对齐并拼接在一起以生成组合图像，其中，对齐所述图像帧是基于所述第一图像帧和所述第二图像帧中的所述场景的重叠部分中的场景匹配。
方面24：根据方面21至23中任一方面所述的计算机可读介质，其中，所述指令的执行还使所述设备用于：通过所述第一光重定向元件来重定向所述第一光；通过所述第二光重定向元件来重定向所述第二光；通过所述第一相机来捕获所述第一图像帧；以及通过所述第二相机来捕获所述第二图像帧，其中，基于所述第一相机、所述第二相机以及所述第一光重定向元件和第二光重定向元件的位置，所述第一相机镜头入射光瞳中心和所述第二相机镜头入射光瞳中心在第一位置处虚拟重叠而所述第一相机镜头和所述第二相机镜头在所述第一位置处没有物理重叠。
方面25：根据方面24所述的计算机可读介质，其中：通过所述第一光重定向元件来重定向所述第一光包括：通过第一反射镜将所述第一光反射朝向所述第一相机；通过所述第二光重定向元件来重定向所述第二光包括：通过第二反射镜将所述第二光反射朝向所述第二相机。
方面26：根据方面25所述的计算机可读介质，其中：通过所述第一光重定向元件来重定向所述第一光还包括：通过第一棱镜来折射所述第一光；并且通过所述第二光重定向元件来重定向所述第二光还包括：通过第二棱镜来折射所述第二光。
方面27：根据方面26所述的计算机可读介质，其中：所述第一反射镜位于所述第一棱镜的第一侧；所述第二反射镜位于所述第二棱镜的第二侧；防止所述第一棱镜的一个或多个角将来自所述第一相机的第一相机镜头表面的光反射回朝向所述第一相机镜头；并且防止所述第二棱镜的一个或多个角将来自所述第二相机的第二相机镜头表面的光反射回朝向所述第二相机镜头。
方面28：根据方面27所述的计算机可读介质，其中：所述第一棱镜的所述一个或多个角包括斜切边缘，其中光吸收涂层被施加到所述第一棱镜的所述斜切边缘；并且所述第二棱镜的所述一个或多个角包括斜切边缘，其中光吸收涂层被施加到所述第二棱镜的所述斜切边缘。
方面29：根据方面21至28中任一方面所述的计算机可读介质，其中，所述第一光重定向元件和所述第二光重定向元件是单个重定向元件；所述单个重定向元件包括所述第一棱镜和所述第二棱镜；所述第一反射镜位于所述第一棱镜的第一侧；所述第二反射镜位于所述第二棱镜的第二侧；并且所述第一棱镜和所述第二棱镜在所述单个重定向元件中的所述第一侧和所述第二侧处重叠并连接。
方面30：根据方面21至28中任一方面所述的计算机可读介质，其中，所述第一图像帧和所述第二图像帧是并发捕获的。
方面31：一种用于数字成像的装置，所述装置包括：存储器；以及一个或多个处理器，其被配置为：接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件被配置为：将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器被配置为：基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像；接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件被配置为：将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器被配置为：基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像；使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个；以及响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
方面32：根据方面31所述的装置，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交。
方面33：根据方面31或32中任一方面所述的装置，其中，为了使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个，所述一个或多个处理器被配置为：使用所述视角畸变校正将所述第一图像从描绘第一视角修改为描绘公共视角；并且使用所述视角畸变校正将所述第二图像从描绘第二视角修改为描绘所述公共视角，其中，所述公共视角在所述第一视角和所述第二视角之间。
方面34：根据方面31至33中任一方面所述的装置，其中，为了使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个，所述一个或多个处理器被配置为：识别所述第一图像和所述第二图像中的至少一个的图像数据中对一个或多个对象的描绘；以及至少部分地通过基于对所述一个或多个对象的所述描绘来投影所述图像数据来修改所述图像数据。
方面35：根据方面31至34中任一方面所述的装置，其中，为了从所述第一图像和所述第二图像生成所述组合图像，所述一个或多个处理器被配置为：将所述第一图像的第一部分与所述第二图像的第二部分对齐；以及基于所述第一图像的所述第一部分与所述第二图像的所述第二部分对齐，将所述第一图像和所述第二图像拼接在一起。
方面36：根据方面31至35中任一方面所述的装置，还包括：所述第一图像传感器；所述第二图像传感器；所述第一光重定向元件；以及所述第二光重定向元件。
方面37：根据方面31至36中任一方面所述的装置，其中：所述第一光重定向元件包括第一反射表面，其中，为了将所述第一光重定向为朝向所述第一图像传感器，所述第一光重定向元件使用所述第一反射表面将所述第一光反射朝向所述第一图像传感器；并且所述第二光重定向元件包括第二反射表面，其中，为了将所述第二光重定向为朝向所述第二图像传感器，所述第二光重定向元件使用所述第二反射表面将所述第二光反射朝向所述第二图像传感器。
方面38：根据方面31至37中任一方面所述的装置，其中：所述第一光重定向元件包括被配置为折射所述第一光的第一棱镜；并且所述第二光重定向元件包括被配置为折射所述第二光的第二棱镜。
方面39：根据方面38所述的装置，其中，所述第一棱镜和所述第二棱镜是邻接的。
方面40：根据方面38或39中任一方面所述的装置，其中，桥连接所述第一棱镜的第一边缘和所述第二棱镜的第二边缘，其中，所述桥被配置为：防止光从所述第一棱镜的所述第一边缘和所述第二棱镜的所述第二边缘中的至少一个反射。
方面41：根据方面38至40中任一方面所述的装置，其中，所述第一棱镜包括至少一个斜切的边缘，并且其中，所述第二棱镜包括至少一个斜切的边缘。
方面42：根据方面38至41中任一方面所述的装置，其中，所述第一棱镜包括具有光吸收涂层的至少一个边缘，其中，所述第二棱镜包括具有光吸收涂层的至少一个边缘。
方面43：根据方面38至42中任一方面所述的装置，其中，所述第一路径是在所述第一光进入所述第一棱镜前的第一光的路径，其中，所述第二路径是在所述第二光进入所述第二棱镜前的第二光的路径。
方面44：根据方面38至43中任一方面所述的装置，其中，所述第一棱镜包括被配置为反射所述第一光的第一反射表面，其中，所述第二棱镜包括被配置为反射所述第二光的第二反射表面。
方面45：根据方面38至44中任一方面所述的装置，其中，所述第一路径为在所述第一光进入所述第一棱镜之后但在所述第一反射表面反射所述第一光之前的第一光的路径，其中，所述第二路径为在所述第二光进入所述第二棱镜之后但在所述第二反射表面反射所述第二光之前的第二光的路径。
方面46：根据方面31至45中任一方面所述的装置，其中，所述第一图像和所述第二图像是被同时捕获的。
方面47：根据方面31至46中任一方面所述的装置，其中，所述第一光重定向元件相对于所述第一图像传感器固定，其中，所述第二光重定向元件相对于所述第二图像传感器固定。
方面48：根据方面31至47中任一方面所述的装置，其中，所述第一图像传感器的第一平坦表面面向第一方向，其中，所述第二图像传感器的第二平坦表面面向平行于所述第一方向的第二方向。
方面49：根据方面31至48中任一方面所述的装置，其中，所述一个或多个处理器被配置为：使用亮度均匀性校正来修改所述第一图像和所述第二图像中的至少一个。
方面50：一种用于数字成像的方法，所述方法包括：接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像；接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像；使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个；以及响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
方面51：根据方面50所述的方法，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交。
方面52：根据方面50或51中任一方面所述的方法，其中，使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个包括：使用所述视角畸变校正将所述第一图像从描绘第一视角修改为描绘公共视角；并且使用所述视角畸变校正将所述第二图像从描绘第二视角修改为描绘所述公共视角，其中，所述公共视角在所述第一视角和所述第二视角之间。
方面53：根据方面50至52中任一方面所述的方法，其中，使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个包括：识别所述第一图像和所述第二图像中的至少一个的图像数据中对一个或多个对象的描绘；以及通过基于对所述一个或多个对象的所述描绘来投影所述图像数据来修改所述图像数据。
方面54：根据方面50至53中任一方面所述的方法，其中：所述第一光重定向元件包括第一反射表面，其中，为了将所述第一光重定向为朝向所述第一图像传感器，所述第一光重定向元件使用所述第一反射表面将所述第一光反射朝向所述第一图像传感器；并且所述第二光重定向元件包括第二反射表面，其中，为了将所述第二光重定向为朝向所述第二图像传感器，所述第二光重定向元件使用所述第二反射表面将所述第二光反射朝向所述第二图像传感器。
方面55：根据方面50至54中任一方面所述的方法，其中：所述第一光重定向元件包括被配置为折射所述第一光的第一棱镜；并且所述第二光重定向元件包括被配置为折射所述第二光的第二棱镜。
方面56：根据方面55所述的方法，其中，所述第一棱镜和所述第二棱镜是邻接的。
方面57：根据方面55或56中任一方面所述的方法，其中，桥连接所述第一棱镜的第一边缘和所述第二棱镜的第二边缘，其中，所述桥被配置为：防止光从所述第一棱镜的所述第一边缘和所述第二棱镜的所述第二边缘中的至少一个反射。
方面58：根据方面55至57中任一方面所述的方法，其中，所述第一棱镜包括至少一个斜切的边缘，并且其中，所述第二棱镜包括至少一个斜切的边缘。
方面59：根据方面55至58中任一方面所述的方法，其中，所述第一棱镜包括具有光吸收涂层的至少一个边缘，其中，所述第二棱镜包括具有光吸收涂层的至少一个边缘。
方面60：根据方面55至59中任一方面所述的方法，其中，所述第一路径是在所述第一光进入所述第一棱镜前的第一光的路径，其中，所述第二路径是在所述第二光进入所述第二棱镜前的第二光的路径。
方面61：根据方面55至60中任一方面所述的方法，其中，所述第一棱镜包括被配置为反射所述第一光的第一反射表面，其中，所述第二棱镜包括被配置为反射所述第二光的第二反射表面。
方面62：根据方面55至61中任一方面所述的方法，其中，所述第一路径为在所述第一光进入所述第一棱镜之后但在所述第一反射表面反射所述第一光之前的第一光的路径，其中，所述第二路径为在所述第二光进入所述第二棱镜之后但在所述第二反射表面反射所述第二光之前的第二光的路径。
方面63：根据方面50至62中任一方面所述的方法，其中，所述第一图像和所述第二图像是被同时捕获的。
方面64：根据方面50至63中任一方面所述的方法，其中，所述第一光重定向元件相对于所述第一图像传感器固定，其中，所述第二光重定向元件相对于所述第二图像传感器固定。
方面65：根据方面50至64中任一方面所述的方法，其中，所述第一图像传感器的第一平坦表面面向第一方向，其中，所述第二图像传感器的第二平坦表面面向平行于所述第一方向的第二方向。
方面66：根据方面50至64中任一方面所述的方法，还包括：使用亮度均匀性校正来修改所述第一图像和所述第二图像中的至少一个。
方面67：一种用于数字成像的装置，所述装置包括用于执行根据方面31至66中任意方面的操作的单元。
方面68：一种存储有指令的计算机可读存储介质，所述指令当被执行时，使一个或多个处理器执行根据方面31至66中任意方面的操作。
方面69：一种用于数字成像的装置，所述装置包括：存储器；以及一个或多个处理器，其被配置为：接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件被配置为：将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器被配置为：基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像；接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件被配置为：将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器被配置为：基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交；使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个；以及响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
方面70：根据方面69所述的装置，其中，所述一个或多个处理器被配置为执行根据方面32至49或方面51至66中任意方面所述的操作。
方面71：一种用于数字成像的方法，所述方法包括：接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件被配置为：将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器被配置为：基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像；接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件被配置为：将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器被配置为：基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交；使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个；以及响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
方面72：根据方面71所述的方法，还包括根据方面32至49或方面51至66中任意方面所述的操作。
Claims (30)
1.一种用于数字成像的装置，所述装置包括：
存储器；以及
一个或多个处理器，其被配置为：
接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件被配置为：将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器被配置为：基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像；
接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件被配置为：
将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器被配置为：基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交；
使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个；以及
响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
2.根据权利要求1所述的装置，其中，为了使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个，所述一个或多个处理器被配置为：
使用所述视角畸变校正将所述第一图像从描绘第一视角修改为描绘公共视角；并且
使用所述视角畸变校正将所述第二图像从描绘第二视角修改为描绘所述公共视角，其中，所述公共视角在所述第一视角和所述第二视角之间。
3.根据权利要求1所述的装置，其中，为了使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个，所述一个或多个处理器被配置为：
识别所述第一图像和所述第二图像中的至少一个的图像数据中对一个或多个对象的描绘；以及
至少部分地通过基于对所述一个或多个对象的所述描绘来投影所述图像数据来修改所述图像数据。
4.根据权利要求1所述的装置，其中，为了从所述第一图像和所述第二图像生成所述组合图像，所述一个或多个处理器被配置为：
将所述第一图像的第一部分与所述第二图像的第二部分对齐；以及
基于所述第一图像的所述第一部分与所述第二图像的所述第二部分对齐，将所述第一图像和所述第二图像拼接在一起。
5.根据权利要求1所述的装置，还包括：
所述第一图像传感器；
所述第二图像传感器；
所述第一光重定向元件；以及
所述第二光重定向元件。
6.根据权利要求1所述的装置，其中：
所述第一光重定向元件包括第一反射表面，其中，为了将所述第一光重定向为朝向所述第一图像传感器，所述第一光重定向元件使用所述第一反射表面将所述第一光反射朝向所述第一图像传感器；并且
所述第二光重定向元件包括第二反射表面，其中，为了将所述第二光重定向为朝向所述第二图像传感器，所述第二光重定向元件使用所述第二反射表面将所述第二光反射朝向所述第二图像传感器。
7.根据权利要求1所述的装置，其中：
所述第一光重定向元件包括被配置为折射所述第一光的第一棱镜；并且
所述第二光重定向元件包括被配置为折射所述第二光的第二棱镜。
8.根据权利要求7所述的装置，其中，所述第一棱镜和所述第二棱镜是邻接的。
9.根据权利要求8所述的装置，其中，桥连接所述第一棱镜的第一边缘和所述第二棱镜的第二边缘，其中，所述桥被配置为：防止光从所述第一棱镜的所述第一边缘和所述第二棱镜的所述第二边缘中的至少一个反射。
10.根据权利要求7所述的装置，其中，所述第一棱镜包括至少一个斜切的边缘，并且其中，所述第二棱镜包括至少一个斜切的边缘。
11.根据权利要求7所述的装置，其中，所述第一棱镜包括具有光吸收涂层的至少一个边缘，其中，所述第二棱镜包括具有所述光吸收涂层的至少一个边缘。
12.根据权利要求7所述的装置，其中，所述第一路径是在所述第一光进入所述第一棱镜前的所述第一光的路径，其中，所述第二路径是在所述第二光进入所述第二棱镜前所述第二光的路径。
13.根据权利要求7所述的装置，其中，所述第一棱镜包括被配置为反射所述第一光的第一反射表面，其中，所述第二棱镜包括被配置为反射所述第二光的第二反射表面。
14.根据权利要求13所述的装置，其中，所述第一路径为在所述第一光进入所述第一棱镜之后但在所述第一反射表面反射所述第一光之前的所述第一光的路径，其中，所述第二路径为在所述第二光进入所述第二棱镜之后但在所述第二反射表面反射所述第二光之前的所述第二光的路径。
15.根据权利要求1所述的装置，其中，所述第一图像和所述第二图像是被同时捕获的。
16.根据权利要求1所述的装置，其中，所述第一光重定向元件相对于所述第一图像传感器固定，其中，所述第二光重定向元件相对于所述第二图像传感器固定。
17.根据权利要求1所述的装置，其中，所述第一图像传感器的第一平坦表面面向第一方向，其中，所述第二图像传感器的第二平坦表面面向平行于所述第一方向的第二方向。
18.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
使用亮度均匀性校正来修改所述第一图像和所述第二图像中的至少一个。
19.一种用于数字成像的方法，所述方法包括：
接收由第一图像传感器捕获的场景的第一图像，其中，第一光重定向元件将第一光从第一路径重定向到朝向所述第一图像传感器的重定向的第一路径，其中，所述第一图像传感器基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像；
接收由第二图像传感器捕获的所述场景的第二图像，其中，第二光重定向元件将第二光从第二路径重定向到朝向所述第二图像传感器的重定向的第二路径，其中，所述第二图像传感器基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像，其中，超过所述第一光重定向元件的所述第一路径的虚拟延伸与超过所述第二光重定向元件的所述第二路径的虚拟延伸相交；
使用视角畸变校正来修改所述第一图像和所述第二图像中的至少一个；以及
响应于使用所述视角畸变校正对所述第一图像和所述第二图像中的至少一个的修改来从所述第一图像和所述第二图像生成组合图像，其中，所述组合图像包括比所述第一图像的第一视野和所述第二图像的第二视野中的至少一个更大的组合图像视野。
20.根据权利要求19所述的方法，其中，使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个包括：
使用所述视角畸变校正将所述第一图像从描绘第一视角修改为描绘公共视角；并且
使用所述视角畸变校正将所述第二图像从描绘第二视角修改为描绘所述公共视角，其中，所述公共视角在所述第一视角和所述第二视角之间。
21.根据权利要求19所述的方法，其中，使用所述视角畸变校正来修改所述第一图像和所述第二图像中的至少一个包括：
识别所述第一图像和所述第二图像中的至少一个的图像数据中对一个或多个对象的描绘；以及
通过基于对所述一个或多个对象的所述描绘来投影所述图像数据来修改所述图像数据。
22.根据权利要求19所述的方法，其中，
所述第一光重定向元件包括第一反射表面，其中，为了将所述第一光重定向为朝向所述第一图像传感器，所述第一光重定向元件使用所述第一反射表面将所述第一光反射朝向所述第一图像传感器；并且
所述第二光重定向元件包括第二反射表面，其中，为了将所述第二光重定向为朝向所述第二图像传感器，所述第二光重定向元件使用所述第二反射表面将所述第二光反射朝向所述第二图像传感器。
23.根据权利要求19所述的方法，其中，
所述第一光重定向元件包括被配置为折射所述第一光的第一棱镜；并且
所述第二光重定向元件包括被配置为折射所述第二光的第二棱镜。
24.根据权利要求23所述的方法，其中，所述第一棱镜和所述第二棱镜是邻接的。
25.根据权利要求24所述的方法，其中，桥连接所述第一棱镜的第一边缘和所述第二棱镜的第二边缘，其中，所述桥被配置为：防止光从所述第一棱镜的所述第一边缘和所述第二棱镜的所述第二边缘中的至少一个反射。
26.根据权利要求23所述的方法，其中，所述第一路径是在所述第一光进入所述第一棱镜前的所述第一光的路径，其中，所述第二路径是在所述第二光进入所述第二棱镜前的所述第二光的路径。
27.根据权利要求23所述的方法，其中，所述第一棱镜包括被配置为反射所述第一光的第一反射表面，其中，所述第二棱镜包括被配置为反射所述第二光的第二反射表面。
28.根据权利要求27所述的方法，其中，所述第一路径为在所述第一光进入所述第一棱镜之后但在所述第一反射表面反射所述第一光之前的所述第一光的路径，其中，所述第二路径为在所述第二光进入所述第二棱镜之后但在所述第二反射表面反射所述第二光之前的所述第二光的路径。
29.根据权利要求19所述的方法，其中，所述第一图像和所述第二图像是被同时捕获的。
30.根据权利要求19所述的方法，还包括：
使用亮度均匀性校正来修改所述第一图像和所述第二图像中的至少一个。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063040661P | 2020-06-18 | 2020-06-18 | |
| US63/040,661 | 2020-06-18 | ||
| US17/166,861 | 2021-02-03 | ||
| US17/166,861 US11516391B2 (en) | 2020-06-18 | 2021-02-03 | Multiple camera system for wide angle imaging |
| PCT/US2021/033260 WO2021257234A1 (en) | 2020-06-18 | 2021-05-19 | Multiple camera system for wide angle imaging |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115989678A true CN115989678A (zh) | 2023-04-18 |
Family
ID=79022155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180042413.4A Pending CN115989678A (zh) | 2020-06-18 | 2021-05-19 | 用于广角成像的多相机系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11516391B2 (zh) |
| EP (1) | EP4169240A1 (zh) |
| CN (1) | CN115989678A (zh) |
| WO (1) | WO2021257234A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019079403A1 (en) * | 2017-10-18 | 2019-04-25 | Gopro, Inc. | LOCAL EXPOSURE COMPENSATION |
| CN110398872A (zh) * | 2018-04-25 | 2019-11-01 | 华为技术有限公司 | 一种镜头模组及照相机 |
| US20220070353A1 (en) * | 2020-08-27 | 2022-03-03 | Shield Ai | Unmanned aerial vehicle illumination system |
| US11582403B2 (en) * | 2020-12-02 | 2023-02-14 | Bevilacqua Research Corp. | System and method for image stitching |
| US11997390B2 (en) * | 2021-06-28 | 2024-05-28 | nearmap australia pty ltd. | Hyper camera with shared mirror |
| US11743600B2 (en) * | 2021-08-12 | 2023-08-29 | Aspeed Technology Inc. | Multiple-processor system for multiple-lens camera and method thereof |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006074161A2 (en) * | 2005-01-03 | 2006-07-13 | Vumii, Inc. | Systems and methods for night time surveillance |
| WO2011037964A1 (en) | 2009-09-22 | 2011-03-31 | Tenebraex Corporation | Systems and methods for correcting images in a multi-sensor system |
| US8988508B2 (en) | 2010-09-24 | 2015-03-24 | Microsoft Technology Licensing, Llc. | Wide angle field of view active illumination imaging system |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US9383550B2 (en) * | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9386222B2 (en) * | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9541740B2 (en) * | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9813623B2 (en) | 2015-10-30 | 2017-11-07 | Essential Products, Inc. | Wide field of view camera for integration with a mobile device |
| EP3741101A1 (en) * | 2018-01-19 | 2020-11-25 | Veo Technologies Aps | A computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest |
| US10757396B2 (en) | 2018-01-26 | 2020-08-25 | Weining Tan | Adding new imaging capabilities to smart mobile device |
| WO2019194745A1 (en) | 2018-04-03 | 2019-10-10 | National University Of Singapore | Method and system for recording an image using one or more prisms |
| CN209514286U (zh) * | 2019-03-25 | 2019-10-18 | 中强光电股份有限公司 | 投影装置及其成像模块 |
-
2021
- 2021-02-03 US US17/166,861 patent/US11516391B2/en active Active
- 2021-05-19 WO PCT/US2021/033260 patent/WO2021257234A1/en unknown
- 2021-05-19 EP EP21732705.5A patent/EP4169240A1/en active Pending
- 2021-05-19 CN CN202180042413.4A patent/CN115989678A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021257234A1 (en) | 2021-12-23 |
| EP4169240A1 (en) | 2023-04-26 |
| US20210400193A1 (en) | 2021-12-23 |
| US11516391B2 (en) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11516391B2 (en) | Multiple camera system for wide angle imaging | |
| US11706520B2 (en) | Under-display camera and sensor control | |
| US11810256B2 (en) | Image modification techniques | |
| US20130242061A1 (en) | Camera module and portable device using the same | |
| WO2023049651A1 (en) | Systems and methods for generating synthetic depth of field effects | |
| US20230025380A1 (en) | Multiple camera system | |
| WO2023279289A1 (en) | Processing image data using multi-point depth sensing system information | |
| WO2023029715A1 (zh) | 基于屏下摄像的图像处理方法、设备、系统和存储介质 | |
| WO2023192706A1 (en) | Image capture using dynamic lens positions | |
| US11843871B1 (en) | Smart high dynamic range image clamping | |
| US20220414847A1 (en) | High dynamic range image processing | |
| US20230031023A1 (en) | Multiple camera system | |
| WO2019015464A1 (en) | SYSTEMS AND METHODS FOR BLOCKING A TARGET IN VIDEO SURVEILLANCE | |
| US11792505B2 (en) | Enhanced object detection | |
| US20240209843A1 (en) | Scalable voxel block selection | |
| US20240144717A1 (en) | Image enhancement for image regions of interest | |
| US11982527B2 (en) | Systems and methods of imaging with multi-domain image sensor | |
| US20230021016A1 (en) | Hybrid object detector and tracker | |
| US11115600B1 (en) | Dynamic field of view compensation for autofocus | |
| US20240214692A1 (en) | High dynamic range region based compute gating | |
| US11363209B1 (en) | Systems and methods for camera zoom | |
| US20240179422A1 (en) | Auxiliary engine for hardware virtualization | |
| US20240185401A1 (en) | Area efficient high dynamic range bandwidth compression | |
| US20240179382A1 (en) | Systems and methods of imaging with multi-domain image sensor | |
| US20230281835A1 (en) | Wide angle eye tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |