CN114730064A - 扫描折叠相机的视点像差校正 - Google Patents

扫描折叠相机的视点像差校正 Download PDF

Info

Publication number
CN114730064A
CN114730064A CN202180003962.0A CN202180003962A CN114730064A CN 114730064 A CN114730064 A CN 114730064A CN 202180003962 A CN202180003962 A CN 202180003962A CN 114730064 A CN114730064 A CN 114730064A
Authority
CN
China
Prior art keywords
image
viewpoint
optical path
folding element
path folding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180003962.0A
Other languages
English (en)
Inventor
伊塔马尔·阿祖莱
加尔·萨弗拉
安纳特·维尔布纳
埃拉·耶胡达伊
帕斯·伊兰
纳达夫·吉瓦
诺伊·科恩
加尔·沙伯泰
以法莲·戈登堡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Corephotonics Ltd
Original Assignee
Corephotonics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Corephotonics Ltd filed Critical Corephotonics Ltd
Priority to CN202310141571.6A priority Critical patent/CN116125660A/zh
Publication of CN114730064A publication Critical patent/CN114730064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/1805—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for prisms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G03B2205/003—Movement of one or more optical elements for control of motion blur by a prism with variable angle or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Abstract

本发明公开用于校正多种扫描折叠相机和包含这样的多种扫描折叠相机的多相机中的视点(POV)像差的多种系统和方法。在一远距折叠相机中，所述远距折叠相机包含一光路折叠元件(OPFE)和一图像传感器，所述光路折叠元件在一个或两个方向上倾斜以将所述远距折叠相机对准朝向一场景的一视点，从所述视点捕获一远距图像或多个远距图像的一串流，对具有多个视点像差的所述远距图像和所述多个视点像差进行数字校正以获得一像差校正图像或多个图像的一串流。

Description

扫描折叠相机的视点像差校正
相关申请案
本申请涉及要求于2020年7月15日提交美国临时专利申请案63/051,993号的优先权，其全文通过引用并入本文。
技术领域
本文公开的实施例总体上涉及多种数码相机(digital camera)，特别是涉及使用多种折叠数码相机获得的图像的校正。
背景技术
已知紧凑型数码相机(camera)具有多个折叠光学元件，也被称为“折叠相机”或“折叠相机模块”，参见例如共同拥有的国际专利申请案PCT/IB2016/057366号。图1A从第一透视示意性地示出其中公开并编号为100的折叠远距相机。图1B从第二透视示出相机100。相机100包含透镜(lens)102，具有透镜光轴110、光路折叠元件(optical path foldingelement，OPFE)104和图像传感器106。光路折叠元件104将定义相机100的视点(point ofview，POV)108且基本上平行于X轴的第一光路从对象、场景或全景视图部分114沿基本上平行于Z轴的轴110折叠进入第二光路。图像传感器106具有与轴110对齐(平行)的平面法线，及输出可由图像信号处理器(ISP-未显示)处理的输出图像。在一些实施例中，图像信号处理器可能是图像传感器106的一部分。
相机100被设计以用于围绕轴110(Z轴)相对于图像传感器旋转光路折叠元件104，箭头112表示旋转。也就是说，相机100是一种“扫描式(scanning)”远距相机(“STC”)。光路折叠元件104可如多个光学需求(见下文)所要求在一角度范围内旋转，在某些情况下可旋转最高到180度，在其他情况下可旋转最高到360度。相机100可以用其“固有(native)”的远距(Tele)视野(N-FOVT)扫描场景，因此它可以有效地覆盖大于固有远距视野(N-FOVT)的场景的视野(FOV)，我们称之为扫描远距视野(S-FOVT)。扫描远距视野(S-FOVT)是包含可以用扫描式远距相机在多个扫描式远距相机图像中捕获的所有场景片段的视野。要扫描二维场景，光路折叠元件104必须绕两个旋转轴旋转。例如，固有远距视野(N-FOVT)＝10-20度，扫描远距视野(S-FOVT)＝30-80度。
图1C显示了旋转30度后的光路折叠元件104，图1D显示了从零位置旋转180度后的光路折叠元件104。30度和180度的旋转位置是许多旋转位置范围的示例。
多个图像是从相机的某些视点(FOV)获取的。视点是由以相机光圈位置为起点，以固有远距视野(N-FOVT)中心处的对象点为终点的矢量的单位矢量定义的方向。例如，在根据ISO协定定义的球坐标(r，θ，
Figure BDA0003414152270000021
)中，相机在r＝0处的视点由(1，θ，
Figure BDA0003414152270000023
)定义，极角θ和方位角
Figure BDA0003414152270000022
定义了在C-N-FOVT处对象点的位置。在图1A和1B中，光路折叠元件处于零旋转位置(“零位置”)。当光路折叠元件处于零位置时，用传感器获取的图像(即由相机100“生成”)没有视点像差。在如上定义的球坐标中，零旋转位置给定为(1，0，0)。当视点改变时，传感器获取的图像会发生视点像差。具体而言，图像可以被倾斜(拉伸成梯形)和/或旋转和/或缩放，参见例如图2A和2B。
无论视点是什么，都需要及具有一个没有视点像差的扫描式远距相机图像将会是有利的。
发明内容
考虑到光路折叠元件位置，本文提出的方法使用数字算法校正视点像差，以获得无视点像差的图像。在获取(捕获)图像并对其进行校正之后，本文建议从校正后的图像剪裁矩形区域，以在屏幕上显示剪裁后的矩形图像或将剪裁后的矩形图像保存到文件中。对于每个光路折叠元件位置，对获取的图像应用预先计算的几何变换(即单应性变换)，产生经视点像差校正的图像。
取决于校正视点像差后的光路折叠元件位置，原始的(未校正的)图像中心将与校正后的图像中心不重合。例如，可以有五种不同的剪裁选项(A、B、C、D、E)，参见图3D。
剪裁的结果是具有与零位置相同的纵横比AR(即高度/宽度＝3/4)的矩形图像，但是具有比零位置图像区域更小的图像区域。图像区域的尺寸取决于光路折叠元件位置。校正和剪裁的图像将被缩放以适合显示大小或保存的图像大小。
所有图像可以进一步剪裁，以使所有光路折叠元件位置具有相同的剪裁尺寸(图像区域)。适合所有光路折叠元件位置的最大剪裁尺寸可以被计算为每个光路折叠元件位置的最大尺寸集合中的最小尺寸。
在各种实施例中，提供了多种方法，包含：提供一远距折叠相机，所述远距折叠相机包含一光路折叠元件(OPFE)和一图像传感器；在一个或多个方向上倾斜所述光路折叠元件，以将所述远距折叠相机对准朝向一视点(POV)；从所述视点捕获一远距图像或多个远距图像的一串流，所述远距图像具有一视点像差；以及将所述视点像差进行数字校正。
在一些实施例中，所述视点可以具有多个像差，及上面和下面应用所述多个像差的一个、一些或全部的校正。
在一些实施例中，将所述视点像差校正的步骤包含：对像差的被捕获的所述远距图像应用一几何变换，以获得相应的一像差校正图像。在一些示例性实施例中，所述几何变换使用在一相机校准程序中捕获的校准信息。
在一些实施例中，所述方法进一步包含：将所述像差校正图像剪裁，以获得一像差校正剪裁图像，所述像差校正剪裁图像具有一像差校正剪裁图像中心、一像差校正剪裁图像尺寸和一像差校正剪裁图像宽/高比。
在一些实施例中，所述方法进一步包含：将所述像差校正剪裁图像缩放，以获得一像差校正剪裁和缩放的输出图像，所述像差校正剪裁和缩放的输出图像具有一输出图像中心、一输出图像尺寸和一输出图像宽/高比。在一些实施例中，所述倾斜所述光路折叠元件的步骤和从所述视点捕获一远距图像的步骤被重复，以获得在多个视点处捕获的多个远距图像，及所述输出图像中心被选择，使得为所有可能的视点捕获的多个远距图像覆盖一场景中的一最大矩形区域。在一些实施例中，所述倾斜所述光路折叠元件的步骤和从所述视点捕获一远距图像的步骤被重复，以获得在多个视点处捕获的多个远距图像，及所述输出图像中心被选择，使得对于特定的多个视点捕获的多个远距图像覆盖一场景中的一最大矩形区域。
在各种实施例中，提供了多种系统，包含：一广角相机，具有一广角视场FOVW；一远距相机，具有一远距视场FOVT<FOVW，所述远距相机包含一光路折叠元件(OPFE)和一图像传感器，所述远距相机具有一扫描能力，所述扫描能力通过所述光路折叠元件在一个或多个方向上倾斜，以将远距折叠相机对准朝向一场景的一视点，所述远距图像或多个远距图像的一串流具有一视点像差，及一处理器配置为将所述视点像差进行数字校正。
在一些实施例中，所述视点像差可以使用校准数据来校正。
在一些实施例中，所述校准数据可存储在一非易失性存储器中。
在一些实施例中，所述校准数据包含：所述光路折叠元件在一个或两个方向上的倾斜位置与一场景中多个相应视点之间校准的数据。
在一些实施例中，校准数据可包含：一远距图像和一广角图像之间校准的数据。
在一些实施例中，所述校准数据包含：所述光路折叠元件在一个或两个方向上的倾斜位置与广角视场内远距视场位置之间校准的数据。
在一些实施例中，所述处理器配置为将所述视点像差进行数字校正可包含：对捕获的远距图像或多个远距图像的一串流应用一几何变换，以获得一像差校正图像。
在一些实施例中，所述几何变换可以是一单应性变换。
在一些实施例中，所述几何变换可包含：一单应性基于运动的计算，所述基于单应运动的计算使用来自所述广角相机的多个帧的一串流。
在一些实施例中，所述单应性基于运动的计算可进一步使用惯性测量单元信息。
在一些实施例中，所述几何变换可以是一非仿射变换。
在一些实施例中，所述图像传感器具有一图像传感器中心、一有源传感器宽度和一有源传感器高度，及所述输出图像中心与所述图像传感器中心相重合。
在一些实施例中，所述输出图像中心可以被选择，以便实现一特定输出图像宽/高比的一最大可能矩形剪裁图像尺寸。
在一些实施例中，所述输出图像中心的位置可距离一理想输出图像中心小于10x像素大小。
在一些实施例中，所述输出图像中心的位置可距离一理想输出图像中心小于所述有源传感器的宽度的10％。
在一些实施例中，所述输出图像中心可的位置可距离一理想输出图像中心小于所述有源传感器的高度的10％。
在一些实施例中，所述输出图像中心可以被选择，使得跨越不同的多个视点的一对象的一对象图像放大率M与一恒定值的差异小于10％
在一些实施例中，所述输出图像中心可以被选择，使得输出图像覆盖一场景中的一最大区域。
在一些实施例中，所述输出图像中心可以被选择，使得为所有可能的视点捕获的多个远距图像覆盖一场景中的一最大矩形区域。
在一些实施例中，所述输出图像中心可以被选择，使得对于特定的多个视点捕获的多个远距图像覆盖一场景中的一最大矩形区域。
在一些实施例中，所述输出图像中心可以被选择，使得输出图像以一视觉上吸引的方式显示一感兴趣区域或感兴趣对象。
在各种实施例中，提供了多种方法，包含：提供一远距折叠相机，所述远距折叠相机包含一光路折叠元件(OPFE)和一图像传感器；在一个或多个方向上倾斜所述光路折叠元件，以将远距折叠相机对准朝向一校准图的多个视点(POV)，每个视点与相应的一光路折叠元件位置相关联；在每个视点处捕获所述校准图的相应的一远距图像，每个远距图像具有相应的一视点像差；分析所述远距图像的数据，以导出具有其相应的视点像差的每个视点和相应的所述光路折叠元件位置之间的校准数据；以及使用所述校准数据对所述视点像差进行数字校正。
在一些实施例中，所述校准图可包含多个位置标识符，所述多个位置标识符允许从相应的所述远距图像确定给定的所述光路折叠元件位置的所述视点。
在一些实施例中，所述校准图可包含多个角度标识符，所述多个角度标识符允许从每个远距图像确定给定的所述光路折叠元件位置的所述视点像差。
在一些实施例中，所述校准图可以是一棋盘图。
在一些实施例中，所述校准数据可以由一双向函数表示，所述双向函数将任何光路折叠元件位置转换为一远距视点和/或其相应的多个视点像差，反之亦然。
在一些实施例中，所述双向函数可以是一多项式。
在一些实施例中，所述校准数据可以是通过一双向查找表表示，所述双向查找表将任何光路折叠元件位置转换为一远距视点和/或其相应的多个视点像差，反之亦然。
在一些实施例中，所述校准数据可以是通过一查找表表示，所述查找表包含多个光路折叠元件位置，所述多个光路折叠元件位置具有对于多个远距视点和/或其相应的多个视点像差相关联的多个值。
在一些实施例中，所述多个光路折叠元件位置可包含多于五个的光路折叠元件位置、多于50个的光路折叠元件位置或甚至多于250个的光路折叠元件位置。
在一些实施例中，一种方法可进一步包含：提供一广角相机，所述广角相机具有一视场FOVW大于所述远距折叠相机的一视场FOVT。
在一些实施例中，在所述远距图像的分析和所述校准数据的使用之间，一方法可以进一步包含：在一第一附加步骤中，将一远距图像视点定位在与所述远距图像视点相关联的一相应光路折叠元件位置处的一相应广角图像视场内，来捕获所述校准图的一附加远距图像以及捕获所述校准图的一广角图像，及在一第二附加步骤中，使用远距和广角图像数据来导出相应的所述光路折叠元件位置、所述相应广角视场内的所述远距视点、和相对于所述广角图像的所述远距图像的视点像差之间的校准数据。在一些这样的实施例中，所述第一附加步骤和所述第二附加步骤可以被同时执行。在一些这样的实施例中，所有的步骤是均由同一操作员执行。在一些这样的实施例中，第一第四步骤可以是由一第一操作员执行，及所述第一附加步骤和所述第二附加步骤可以是由一第二操作员执行。在一些这样的实施例中，第一第四步骤可以是在小于10秒的一时间帧内执行，及所述第一附加步骤和所述第二附加步骤是在小于10秒的一时间帧内执行。在一些这样的实施例中，第一第四步骤可以是在小于5秒的一时间帧内执行，及所述第一附加步骤和所述第二附加步骤是在小于5秒的一时间帧内执行。在一些这样的实施例中，所述第一附加步骤不包含任何附加图像的捕获，及所述校准数据的分析和导出包含：接收所述远距折叠相机和所述广角相机之间的外部校准数据。
附图说明
下面参考本段后面列出的附图来描述本文公开的实施例的非限制性示例。附图和描述旨在说明和阐明本文公开的实施例，并且不应被视为以任何方式限制。不同附图中的类似元件可以用类似标号表示。
图1A从一透视示意性地示出了具有一光路折叠元件在一零位置的已知折叠相机；
图1B从另一透视示意性地示出图1A的折叠相机；
图1C示意性地示出了图1A的相机具有所述光路折叠元件在一第一非零位置；
图1D示意性地示出了图1A的相机具有所述光路折叠元件在一第二非零位置；
图2A示出了一对象域中的不同光路折叠元件位置和相应的视野；
图2B示出了在三个不同光路折叠元件位置处的相应的多个对象的获取图像、校正图像和剪裁图像；
图2C示出了如本文所述的用于生成一远距输出图像的方法；
图3A示出了具有一示例性对象的多个光路折叠元件扫描位置的整个范围的一视野；
图3B示出了图3A中所述示例性对象的获取图像的细节；
图3C示出了图3B中所述获取图像的一校正图像的细节；
图3D示出了图3C中所述校正图像的一剪裁图像的细节；
图4示意性地示出了包含具有至少一个扫描远距相机的多个多孔径相机的一电子装置的实施例。
图5示出了本文所述的一扫描式远距相机校准程序的方法；
图6示出了可用于图5中所述的校准方法的示例性校准图。
具体实施方式
图2A示出了“对象域”中的不同光路折叠元件位置及其相应的固有远距视野(N-FOVT)。图2B示出了在图2A中所示的三个不同(0、1和2)光路折叠元件位置处的相应的多个对象的获取图像、校正图像和剪裁图像。对象域定义为由具有足够大的视野且没有任何像差和失真的理想相机捕获的场景的外观。也就是说，对象域对应于场景的外观，就像其在人类观察者看来一样。对象域与“图像域”不同，图像域定义是扫描式远距相机(如相机100)捕获的场景的外观。
在图2A-B中，202-i(i＝0，1，2)表示多个扫描远距视野(S-FOVT)，204-i表示多个对象，206-i表示多个图像框，208-i表示多个对象204-i的图像，210-i表示多个图像数据边界，212-i表示多个图像框的矩形剪裁。
方块200表示包含扫描远距视野的最小矩形视野，即所有视点的所有图像数据，可通过对象域中的扫描式远距相机来达到。三个不同光路折叠元件位置(0、1和2)的固有远距视野由202-0、202-1和202-2表示。每个光路折叠元件位置对应不同的视点。光路折叠元件“零位置”202-0的固有远距视野被定义为产生没有视点像差的对象或场景的图像的固有远距视野，即(除了缩放因子(scaling factor)并且假设没有相机像差和失真)在零位置处，对象域中的对象与图像域中的对象图像相同。如图所示，任何其他位置(如202-1和202-2)的固有远距视野不是水平矩形(相对于202-0)，而是任意四边形。同一个矩形对象分别在固有远距视野202-0、202-1和202-2中由204-0、204-1和204-2表示。
在一个示例中，光路折叠元件被定位在扫描位置1(图2A)处，具有固有远距视野202-1，所述固有远距视野202-1包含对象204-1并表示扫描式远距相机的视点。在位置1处捕获(获取)图像框206-1(图2B)。在捕获的图像中，对象204-1由捕获对象图像208-1(图2B)表示。在框206-1上应用几何变换以获得校正图像框206’-1。所述几何变换与光路折叠元件的旋转角度有关，在所述旋转角度下，相应的图像被捕获。在校正的图像框206’-1内，可以看到图像208-1的校正图像208’-1。210’-1标记校正的图像框206’-1中存在的图像数据的边界，212-1是可能的矩形剪裁，包含210’-1的图像段。矩形剪裁212-1的纵横比AR(即水平宽度与垂直高度之比)可与图像传感器106的纵横比AR相同。在其他示例中，矩形剪裁212-1可以具有与用于输出零位置图像(例如206”-0)的纵横比相同的纵横比。然后将校正的图像206’-1剪裁以获得校正后的剪裁图像206”-1。
在获取的图像行中的图2B中，206-0、206-1和206-2分别是在光路折叠元件位置0、1和2处获取的原始图像捕获(帧)。208-0、208-1和208-2分别是对象204-0、204-1和204-2的捕获图像。在校正的图像行中，206-0、206-1和206’-2表示经过图像矫正(rectification)的多个校正的(也称为“矫正的(rectified)”或“像差校正的(aberration-corrected)”)图像框。208’-0、208’-1和208’-2表示经过图像矫正后的对象204-0、204-1和204-2的捕获对象图像208-0、208-1和208-2，即它们表示对象的“校正图像”(或“矫正图像”)。校正图像206’-1中存在的图像数据具有边界210’-1，及校正图像206’-2中存在的图像数据具有边界210’-2。206’-1和210’-1之间以及206’-2和210’-2之间的虚线区域没有要在屏幕上显示或保存到磁盘的有效图像数据(即所述区域仅包含空像素)。212-1和212-2是可能的矩形剪裁，分别包含210’-1和210’-2的图像段。212-1和212-2可能具有特定的纵横比。在剪裁的图像行中，206”-0、206”-1和206”-2是像差校正剪裁(“ACC”)图像，包含206’-0、206’-1和206’-2的图像数据，即，它们包含206-0、206-1和206-2的校正图像数据。在一些实施例中，剪裁后，图像将被缩放。在图像206”-0、206”-1和206”-2中，区域208-0、208-1和208”-2表示经过矫正、剪裁和缩放的对象204-0、204-1和204-2的图像数据。通过分别沿边界212-1和212-2剪裁图像206’-1和206’-2，来生成图像206”-1和206”-2。图像206”-0未进行剪裁，即206’-0的所有图像数据也存在于206”-0中。应该注意，由于位置’0’被定义为没有视点像差，因此校正算法将对所获取的图像没有影响(即，206-0，206-0和206”-0将是相同的)。在其他示例中，206-0、206-0和206”-0的尺寸可能不相等，但206’-0和/或206”-0的尺寸可能与206-0的尺寸不同，通过一些剪裁系数而不同。这同样适用于对象图像208-0、208-0和208”-0。
图2C示意性地示出了用于生成本文公开的远距输出图像的示例性方法。在第一步骤252中，由人类用户或程序触发的命令通过扫描将固有远距视野定向到场景内的感兴趣区域(ROI)。可以通过旋转光路折叠元件来执行扫描。通过光路折叠元件旋转的视野扫描不是瞬时执行的，而是需要一些停留时间，例如，对于扫描2-5度，可以是约1-30毫秒，对于扫描10-25度，可以是约15-100毫秒。在所述停留时间之后，在步骤254中捕获扫描式远距相机图像(例如图2B中的图像206-0、206-1和206-2)。在步骤256中，扫描式远距相机图像被矫正。在第一矫正子步骤(称为“几何变换子步骤”)中，执行几何变换(例如单应性变换、仿射变换或非仿射变换)，其结果如图2B所示。在下面的示例中，“单应性变换”用于表示任何有意义的几何变换。单应性变换校正与任何特定视点相关联的像差，因此是视点的函数。可执行第二矫正子步骤(“插值子步骤”)，其在下文中详细说明。
由此获得校正的(或矫正的，或像差校正的)的图像。光路折叠元件位置和相应视点之间的校准数据可用于选择对应于特定视点的单应性变换。在一些实施例中，几何变换可包含本领域已知的校正，例如失真校正和颜色校正。在步骤258中，如图2B所示剪裁校正后的图像。在步骤260中，缩放剪裁的图像。在步骤262中，输出剪裁和缩放的输出图像。输出图像可以显示在电子装置(例如装置400)(图4)上和/或存储在存储器(例如存储器450)(图4)或装置的任何其他存储器中。
步骤258中的剪裁可根据不同的剪裁选择标准进行。某些剪裁选择标准可能针对剪裁图像的特定大小。其他剪裁选择标准可以使得特定输入图像坐标能够被转移到剪裁图像的特定图像坐标。在下文中，“剪裁选择”标准可简称为“剪裁标准”。
针对剪裁图像的特定大小的剪裁标准可以是如下：在一个标准(剪裁标准1)中，可以剪裁图像，以便生成的图像是矩形图像。在另一个标准(剪裁标准2)中，生成的图像可以是正方形。在此处和下文中，图像尺寸和形状由图像像素的数量和分布定义，使得尺寸和形状不依赖于图像显示的实际模式。例如，矩形图像具有m个行(图像高度)，其中每行包含n个值(图像宽度)。方形图像有m个行，每个行具有m值。如果满足m1xn1>m2xn2，则具有m1行和n1值的第一矩形图像大于具有m2行和n2值的第二矩形图像。
在另一标准(剪裁标准3)中，剪裁图像，以便获得对于特定视点具有特定纵横比的最大矩形图像。此标准的示例是图3D中所示的剪裁选项“D”和“E”。纵横比是指图像的宽/高比。纵横比可以是4:3、3:2或16:9。在又一标准(剪裁标准4)中，剪裁在第一视点处捕获的图像，使得所得图像具有与在第二视点处捕获的图像相同的纵横比和尺寸。第二视点是导致最小图像的视点，所述最小图像通过对第二视点剪裁具有特定纵横比的最大矩形图像而获得。剪裁标准4确保在所有可能的视点处剪裁的图像具有相同的纵横比和形状。在又一标准(剪裁标准5)中，剪裁图像，使得从步骤254中从整个扫描远距视野捕获的扫描式远距相机图像生成的所有输出图像覆盖对象域中矩形视野的最大区域。此剪裁标准确保了对象域(如200)中矩形视场的区域被扫描远距视野最大覆盖。在另一个标准(剪裁标准6)中，图像被矩形剪裁，以便在整个扫描远距视野中获得相同的对象到图像(object-to-image)的放大率。通常，对于较大的视点，在步骤254中捕获的对象图像的图像较小。在一些实施例中，如果所有视点获得的放大率与恒定值相差<10％，则可以满足“相同的放大率”的条件。在其他示例中，如果所有视点获得的放大率变化<5％或<15％，则可以满足“相同的放大率”的条件。
下面介绍将特定输入图像坐标映射到剪裁图像的特定图像坐标的剪裁标准。通常，通过应用特定的剪裁选择标准，可以将在步骤254中捕获的图像(“输入图像”)的任何任意对象图像点定义为在步骤262中输出图像的图像中心。在剪裁标准7中，可以矩形剪裁图像，使得剪裁图像的图像中心含有与特定视点的输入图像中心的图像数据相同的图像数据。图像中心可定义为中心像素和位于例如像素大小10倍半径内的周围像素。在一些实施例中，图像中心可定义为中心像素加上位于例如像素大小5倍或30倍半径内的周围像素。
在剪裁标准8中，可以矩形剪裁图像，使得剪裁后的图像中心包含与输入图像中心的图像数据相同的图像数据，和剪裁后的图像另外地满足以下条件：剪裁在任意第一和第二视点处捕获的任意两个图像，以便使生成的图像具有相同的纵横比和尺寸。在又一其它实例中，剪裁标准8可另外地满足剪裁图像具有最大尺寸的条件(剪裁标准9)。在另一个示例中，可以剪裁图像，以便在步骤264中以视觉上吸引的方式在图像输出上显示感兴趣区域(ROI)或感兴趣对象(OOI)(剪裁标准10)。此标准可能支持审美意象(aesthetic image)剪裁，例如，如王等人在2018年5月《IEEE模式分析和机器智能汇刊》的文章“注意和审美感知照片剪裁的深层网络解决方案”中所述。审美意象剪裁的应用也在共同拥有的PCT专利申请案PCT/IB2020-061330号中描述。在又一其它实例中，可根据进一步处理步骤的需要剪裁图像，例如，可剪裁图像以使得仅包含对象域中的视野的特定段(剪裁标准11)。可能的进一步处理例如可以是超级图像(super image)的生成，即由多个输入图像的图像数据组成的输出图像的生成。超级图像的生成在共同拥有的PCT专利申请案PCT/IB2021-054070号中描述。另一种可能的进一步处理可以是生成本领域已知的全景图像。
步骤260中的缩放可根据不同的缩放选择标准执行。在一些实施例中，可以执行缩放，以便在步骤254中在不同视点下捕获的图像及在步骤262中输出的图像(“输出图像”)具有相同的尺寸和纵横比(缩放标准1)。在其他示例中，可以执行缩放，使得输出图像中的每个对象图像区域的像素密度与在步骤254中捕获的图像中存在的对象域中的每个区域的像素密度相同(缩放标准2)。在又一其它示例中，可执行缩放，以使得图像尺寸适合对图像数据执行进一步处理的程序的要求(缩放标准3)。
上述步骤252-262可依次执行，即一个接一个。
在一些扫描式远距相机图像校正实施例中，步骤256可以如下执行：假设(x输入 i，y输入 j)是输入图像(在步骤254中捕获)的一些任意图像坐标(i，j)的值，且假设(x输出 m，y输出 n)是输出图像(步骤256的输出图像)的一些任意图像坐标(m，n)的值。在几何变换子步骤中，单应性变换可以是(x输出，y输出)＝fH(x输入，y输入)，其中H是本领域已知的3x3单应性变换矩阵。单应性变换可以使用fH -1＝fH-1进行反演(inversed)。剪裁变换(x输出，y输出)＝剪裁(x输入，y输入)可以是(x输出 m，y输出 n)＝(x输入 i-剪裁-开始_xi，y输入 j-剪裁-开始_yj)，用于将输入图像的每个坐标分配给输出图像中的坐标，其中仅将值大于0的坐标用于输出图像。矢量(剪裁-开始_xi，剪裁-开始_yj)定义剪裁图像的尺寸和形状。反剪裁变换(inverse crop transformation)剪裁-1由(x输入 m，y输入 n)＝(x输出 i+剪裁-开始_xi，y输出 j-剪裁-开始_yj)定义。缩放变换(x输出，y输出)＝缩放(x输入，y输入)可以是(x输出，y输出)＝(sx·x输出，sy·y输入)分别在x和y方向上具有缩放因子sx和sy。反缩放变换缩放-1由(x输入，y输入)＝(sx -1·x输出，sy -1·y输出)定义。变换函数T通过依次应用单应性、剪裁和缩放来定义，即T由(x输出，y输出)＝缩放(剪裁(fH(x输入，y输入))和(x输出，y输出)＝T(x输入，y输入)来定义。
在插值子步骤中，可以通过变换函数T直接从输入图像依序插入输出图像(x输出，y输出)的所有值。例如，可以从具有输出图像的坐标(m，n)的任意起点处计算值(x输出 m，y输出 n)开始。为此，计算输入图像(x输入，y输入)的坐标(m’，n’)，其将被包含用于计算输出图像的特定坐标(m，n)处的值(x输出 m，y输出 n)。输入图像中的坐标(m’，n’)可通过将反变换函数T-1应用于所有输出坐标(m，n)来获得，即T-1(x输出m，y输出n)或fH -1(剪裁-1(缩放-1(x输出m，y输出n))，用于所有(m，n)。通常，T-1不能将每个坐标(m，n)映射到一个坐标(m’，n’)，而是将每个坐标映射到相邻坐标(m’，n’)的一段上。对于计算值(x输出 m，y输出 n)，可以考虑相邻坐标(m’，n’)的整个段或部分段。对于在坐标(m，n)处获得输出图像的值(x输出 m，y输出 n)，在第一步骤中，可以根据T(x输出’m，y输出’n)＝重新采样(T输入，x输入 m’，y输入 n’)为所有相邻坐标(m’，n’)评估本领域已知的重新采样函数R。可通过本领域已知的方法(例如最近邻法(nearest neighbor)、双线性或双立方)执行重新采样。
在值(x输出 m，y输出 n)被确定之后，可以执行上述步骤来计算附加坐标(o，p)处的值(x输出o，y输出 p)等。这将重复进行，直到获得输出图像的所有值(x输出，y输出)。在各种实施例中，对多个输出坐标或甚至并行地对所有输出坐标执行如上所述的计算。在一些扫描式远距相机图像矫正实施例中，此处描述的计算可以由中央处理单元(Central Processing Unit，CPU)执行。在其它扫描式远距相机图像矫正实施例中，为了更快的图像处理，此处描述的计算可以由图形处理单元(Graphics Processing Unit，GPU)执行扫描式远距相机图像矫正可以在不同的色域中执行，例如RGB、YUV、YUV420和本领域已知的其他色域。
图3A显示了对象域中的扫描远距视野(S-FOVT)300。302表示对应于300内特定光路折叠元件位置的固有远距视野(N-FOVT)。304表示场景中的对象点，其图像点位于图像传感器的中心。306表示场景中包含在固有远距视野302中的任意选定特定对象点。
图3B示出了具有中心304’及包含对象点306的图像点306’的获取的远距图像310。图3C示出了通过将上述几何变换应用于图像310而生成的校正图像312。314是校正图像中图像数据的边界，即边界(虚线区域)之外没有可用的图像数据。304”和306”分别是校正图像中图像点304’和306’的位置。
图3D示出了用于矩形剪裁图3C所示的校正图像312和生成如本文所述的输出图像的示例性不同选项。可以看出，位于输出图像中心(OIC)的图像数据取决于选定的剪裁标准。在标记为“D”和“C”的示例中，选择了剪裁选择标准，使得特定图像点306’位于输出图像中心。选择剪裁选项“D”，以满足两个标准：(i)“特定图像点306’位于输出图像中心”和(ii)“达到给定视点的最大矩形图像”。选择剪裁选项“C”，以满足“特定图像点306’位于输出图像中心”的标准。标记为“A”、“B”和“E”的示例中描述了其他剪裁选择标准。选择剪裁选项“A”，以满足标准“图像中心304’位于输出图像中心”。选择剪裁选项“B”，以满足两个标准：(i)“图像中心306’位于输出图像中心”和(ii)“达到给定视点的最大矩形图像”。选择剪裁选项“E”，以便满足输出图像的标准“达到给定视点的最大矩形图像”。在其他示例(未显示)中，可以选择剪裁选项，以满足两个标准：(i)“图像中心304’位于输出图像中心”和(ii)“达到所有可能视点的最大矩形图像”。将输出图像中心准确定位在特定图像位置(“理想输出图像中心”)，(例如图像中心)，但靠近理想输出图像中心，可能并不总是可能或有益的。理想输出图像中心的接近可表示为图像传感器尺寸的百分比(例如，输出图像中心的位置可距离理想输出图像中心小于图像传感器宽度的10％)或像素距离(例如，输出图像中心的位置可距离理想输出图像中心小于10倍(10x)像素大小的距离)。
在其他示例(未示出)中，可以选择剪裁选项，以便满足“达到所有可能视点的最大矩形图像”的标准。在另一个示例(未示出)中，可以选择剪裁选项，以便满足标准“达到特定多个视点的最大矩形图像”。所述特定多个视点可以覆盖所有可能的视点或其子集。
图4示意性地示出编号为400及包含具有至少一个扫描式远距相机的多孔径相机的移动电子装置(“电子装置”)的实施例。电子装置400可以是智能手机、平板电脑、笔记本电脑等。电子装置400包含第一扫描式远距相机模块410，所述第一扫描式远距相机模块包含光路折叠元件412，用于视野扫描，及远距透镜模块418，形成由第一图像传感器416记录的远距图像。图像传感器416具有由实际执行采光的有源传感器宽度和有源传感器高度定义的有源传感器区域，以及不执行采光的非有源区域。远距透镜致动器422可移动透镜模块418以进行聚焦和/或光学图像稳定(OIS)。电子装置400还可以包含应用处理器(AP)440，所述应用处理器包含视野扫描器442、运动估计器444和图像生成器446。扫描式远距相机410的有效焦距(effective focal length，“EFL”)为EFL＝5毫米-50毫米。图像传感器416的传感器对角线(sensor diagonal，“SD”)可以是SD＝3mm-15mm。
校准数据可存储在第一存储器424中，例如电可擦除可编程只读存储器(EEPROM)、第二存储器438、或第三存储器450中，例如非易失性存储器(NVM)。校准数据可包含扫描式远距相机校准数据和双相机校准数据。电子装置400还包含广角(“W”)(或超广角，“UW”)相机模块430，其具有FOVW、FOVUW>N-FOVT，其包含第二透镜模块434，形成由第二图像传感器432记录的图像。第二透镜致动器436可移动透镜模块434以进行聚焦和/或光学图像稳定。
在使用中，例如应用处理器440的处理单元可以从相机模块410和430接收相应的第一和第二图像数据，并向相机模块410和430提供相机控制信号。视野扫描器442可接收来自人类用户的命令或用于将固有远距视野定向朝向场景中特定视点的程序。在一些实施例中，所述命令可以包含单个请求，将固有远距视野定向朝向一个特定视点。在其他示例中，所述命令可以包含一系列请求，例如用于将固有远距视野串行地定向朝向多个特定视点。视野扫描器442可配置为根据请求的特定视点计算扫描顺序。视野扫描仪442可配置为向光路折叠元件致动器414提供控制信号，所述光路折叠元件致动器414可响应控制信号，旋转光路折叠元件412以扫描固有远距视野。在一些实施例中，视野扫描器442还可向光路折叠元件致动器414提供控制信号，以驱动光路折叠元件412，用于光学图像稳定。
电子装置400还包含惯性测量单元(IMU或“陀螺仪(Gyro)”)460，可提供有关在400的运动上的信息。运动估计器444可以使用来自惯性测量单元460的数据，例如用于估计由人类用户引起的手部运动。在一些实施例中，运动估计器444可以使用附加数据。例如，来自相机410和/或来自相机430的图像数据，以用于从本领域已知的多个图像估计“光流”。运动估计器444可以使用来自惯性测量单元460的数据，也可以使用光流数据以更高的准确度估计400的运动。400的运动信息可用于光学图像稳定或上述单应性变换。在其他实施例中，只有根据相机410和/或相机430的图像数据估计的光流数据才能用于估计400的运动。图像生成器446可被配置为分别生成图像和图像串流，如图2C中所述。在一些实施例中，图像生成器446可以配置为仅使用来自相机430的第一图像数据。在其他实施例中，图像生成器446可以使用来自相机410和/或相机430的图像数据。
图5示出了本文所述的一扫描式远距相机校准程序的方法。校准程序允许推导单扫描远距相机(“扫描式远距相机校准(STC calibration)”)或双相机(“dual-camera，DC”)的校准数据，包含扫描式远距相机和广角相机具有FOVW>N-FOVT(“双相机校准(DCcalibration)”)。校准程序的目标是将所有可能视点的三个参数连接：由位置传感器值对定义的特定光路折叠元件位置、与所述特定光路折叠元件位置相关联的视点、以及与特定视点相关联的视点像差。
在第一示例(校准示例1或“CE1”)中，校准程序是指通过沿两个轴旋转光路折叠元件进行二维扫描的扫描式远距相机，其中旋转的幅度分别由两个或多个位置传感器(例如霍尔传感器)、第一和第二位置传感器P1和P2测量。扫描式远距相机的视点分别由P1和P2的值对(value pair)p1和p2测量。在第一步骤502中，提供校准图(“CC”)。合适的校准图包含位置标识符(例如位置标识符602和604，参见图6)，其允许确定图表上的位置。当使用扫描式远距相机在给定距离捕获合适的校准图时，对于扫描远距视野中的所有视点，固有远距视野中存在至少一个位置标识符。借助于位置标识符，可以确定相对于校准图的扫描式远距相机的视点。位置标识符例如可以是编码位置信息的符号，在棋盘上以足够高的频率分布。另外地，合适的校准图包含允许确定校准图和校准图的扫描式远距相机图像之间的相对角度倾斜和旋转的角度标识符。角度标识符例如可以是棋盘中的线条。图6中示出了合适的校准图的示例。校准图的尺寸以及扫描式远距相机和校准图之间的距离将被选择，使得整个扫描远距视野包含在校准图覆盖的视野中。
在CE1中，可以为特定扫描式远距相机设计定义N个特定值对(p1、p2)的列表。在一些实施例中，所述列表可以包含N＝10个值对(p1，p2)1，…(p1，p2)10。在其他实施例中，所述列表可能包含N＝10至20个或更多个的值对。根据值对选择的第一标准，可以选择值对，使得扫描式远距相机必须在校准程序中捕获最小数量的不同视点(或者，换句话说，步骤504和506需要的最小重复次数)。
对于双相机校准的第二个示例(“CE2”)，在步骤502中，可能需要另一个校准图，其中校准图可以是棋盘，也可以不是棋盘。CE2的扫描式远距相机满足与CE1相同的属性。同样在CE2中，可以为特定扫描式远距相机设计定义N个特定位置传感器值对(p1、p2)的列表，每个值对与特定光路折叠元件位置相关。在一些实施例中，所述列表可以包含N＝200个值对(p1，p2)1，…(p1，p2)200。在其他实施例中，所述列表可能包含N＝100至300个或更多个的值对。
通过将光路折叠元件倾斜至特定光路折叠元件位置，在CE1和CE2中，例如由(p1，p2)1定义，在步骤504中，扫描式远距相机被引导至校准图上的(未知)视点。
在步骤506中，捕获一个或多个扫描式远距相机图像。对于双相机校准和CE2，需要步骤506的第二个子步骤，其中扫描式远距相机图像是和广角图像一起捕获，所述广角图像由广角相机来捕获。和广角图像一起捕获扫描式远距相机图像在此处意味着在相同的双相机位置和取向处捕获图像。通常，捕获可以是同时进行的，但这不是强制性的。
在一些实施例中，和广角图像一起捕获的扫描式远距相机图像可以一起执行并且在单个步骤中执行，例如由同一操作员执行。
在其他示例中，这两个步骤可以分开执行，例如由不同的操作员执行。例如，为了相对于第一校准图校准扫描式远距相机，第一操作员可以在特定光路折叠元件位置捕获一个或多个扫描式远距相机图像。相对于第一校准图校准的扫描式远距相机可通过第二操作员被包含在双相机中，所述双相机用于以扫描式远距相机在特定光路折叠元件位置处捕获第二校准图(可能与第一校准图相同，也可能与第一校准图不同)，以及一个或多个广角图像，用于相对于双相机的广角相机来校准扫描式远距相机。根据N个值对重复执行步骤504和506，以便在N个光路折叠元件位置(或值对)中的每个位置捕获一个或多个扫描式远距相机图像。对于多个光路折叠元件位置的步骤502和504的重复可例如在预定的时间帧内执行。预定的时间帧例如可以是10秒或5秒。例如，第一操作员可以是制造扫描式远距相机的相机模块制造商，第二操作员可以是将扫描式远距相机包含在双相机中并且将双相机包含在移动装置中的电话制造商。在一些实施例中，步骤506的第二子步骤不包含捕获额外的扫描式远距相机和广角图像，而是包含接收扫描式远距相机和广角相机之间的外部校准数据。
在步骤508中，分析扫描式远距相机图像。目的是将视点和相应的视点像差分配给步骤504的特定光路折叠元件(或值对)位置。分析包含使用出现在扫描式远距相机图像中的校准图的位置标识符来确定捕获它的视点，以及使用校准图的角度标识符和地面真值图像来确定视点像差。
对于CE1，分析包含使用出现在扫描式远距相机图像中的校准图的位置标识符来确定捕获它的视点，以及使用校准图的角度标识符和地面真值图像来确定视点像差。
在CE1的第一子步骤中，将POVi分配给值对(p1，p2)i。
在CE1的第二子步骤中，将扫描式远距相机图像与相应视点处的校准图的地面真值图像进行比较。在此比较中，确定哪些图像变换参数将扫描式远距相机图像变换为校准图的地面真值图像。在一些实施例中，可以使用三个图像变换参数。对于双相机和CE2，通过比较扫描式远距相机图像和在步骤506中捕获的广角图像来确定视点和相应的视点像差。
在CE1的步骤508中，对所有值对(p1，p2)1，…(p1，p2)N执行第一和第二子步骤，以便向每个值对(p1，p2)i分配特定的POVi和图像变换参数。
在步骤510中，根据步骤508中的分析，得出校准数据。在一些实施例中，校准数据由双向数据多项式表示。在其他示例中，校准数据由双向查找表(LUT)多项式表示。在所有示例中，扫描式远距相机校准数据包含可用于将任何光路折叠元件位置转换为扫描式远距相机图像相对于棋盘和/或扫描式远距相机视点的扫描式远距相机图像的视点像差的函数。双相机校准数据可用于将任何光路折叠元件位置转换为相对于广角相机和/或广角视场(FOVW)内扫描式远距相机视点的扫描式远距相机图像视点像差。反之亦然，相对于广角相机图像的扫描式远距相机图像的任何视点像差可以转换为广角视场内的扫描式远距相机视点和/或光路折叠元件位置(因此是“双向(bi-directional)”的)。在又一其它实例中，扫描式远距相机校准数据由双向查找表表示，双向查找表包含多个光路折叠元件位置，具有相对于校准图和/或扫描式远距相机视点的扫描式远距相机图像视点像差的相关联值。双相机校准数据由双向查找表表示，其包含大量(a multitude of)光路折叠元件位置，具有相对于广角相机图像和/或广角视场内的远距视点的扫描式远距相机图像的旋转角度的相关联值。对于CE1，函数被确定，所述函数将所有值对(p1，p2)1，…(p1，p2)N与其分配的特定视点，视点1，…，视点N之间的关系，以及其分配的图像变换参数近似。此函数是概括性的，这意味着它用于在所有可能的光路折叠元件位置值对、其视点和图像变换参数之间进行双向转换，以进行图像校正。根据用于值对选择的第二标准，可以选择值对，使得函数的归纳(generalization)导致最小累积误差(aggregated error，“AE”)。“累积误差(AE)”，将要被最小化的，此处是指误差函数，所述误差函数取决于扫描式远距相机图像的偏差，所述扫描式远距相机图像的偏差对于所有可能的视点(或一数量的视点，其足够大以在统计上近似所有可能的视点)经过来自其相应的地面真值图像的视点校正。在一些实施例中，在满足用于值对选择的第一或第二标准之间进行了一些折衷。
对于CE2，导出的校准数据包含在双向查找表中。双向查找表包含N个光路折叠元件位置(值对)、与每个值对相关联的视点以及其相应的视点像差。这意味着并非所有可能的光路折叠元件位置都有明确的校准数据。因此，对于不包含在双向查找表中的光路折叠元件位置处用CE2矫正扫描式远距相机图像，可以近似视点及其视点像差。在用于近似的一些实施例中，可以使用与一个光路折叠元件位置相关联的校准值，所述光路折叠元件位置是来自所有N个光路折叠元件位置中位于最靠近当前光路折叠元件位置的位置。此处可以通过本领域已知的距离度量来定义最近距离，例如，相应值对的二次距离(sqrt((p1-p1c)2+(p2-p2c)2)可以最小，其中p1、p2是当前光路折叠元件位置，p1c、p2c是双向查找表中包含的值。在用于近似的其他示例中，可以使用与多个光路折叠元件位置相关联的多个校准值的加权平均值，所述多个光路折叠元件位置是来自所有N个光路折叠元件位置中位于最靠近当前光路折叠元件位置的位置。
在步骤512中，将校准数据应用于扫描式远距相机图像以校正视点像差。
图6示出了可用于图5中描述的校准方法的示例校准图600。校准图600包含72个位置标识符，以9行(取向平行x)和8列(取向平行y)的形式分布。示例性地，第一行的两个第一位置标识符分别被标记为602和604。位置标识符位于距离校准图参考点的定义距离处，例如校准图的左上角。为了在不同相机校准图距离处使用校准图600进行校准，可以调整校准图600的尺寸，以便在扫描远距视野中对于所有视点在固有远距视野中存在至少一个位置标识符。校准图600还包含另外的角度标识符，在本示例中由棋盘的垂直线和水平线表示。
虽然已经根据某些实施例和一般相关联的方法描述了本公开，但本领域技术人员将清楚地看到实施例和方法的变化和组合。本发明不受本文所述的具体实施例的限制，而仅受所附权利要求书的范围的限制。
除非另有说明，否则在用于选择的选项列表的最后两个成员之间使用表达式“和/或”表示选择一个或多个列出的选项是适当的及可以进行选择。
应当理解，在权利要求书或说明书提及一个或一个元件的情况下，所述引用不应被解释为仅存在所述元件中的一个。
本说明书中提及的所有引用均通过引用完整地并入本说明书中，其程度与每个单独引用具体且单独表示通过引用并入本说明书相同。此外，本申请中引用或标识的任何引用不得解释为承认此类引用可作为本发明的现有技术使用。

Claims (54)

1.一种方法，其特征在于，所述方法包含：
a)提供一种远距折叠相机，所述远距折叠相机包含一光路折叠元件和一图像传感器；
b)在一个或多个方向上倾斜所述光路折叠元件，以将所述远距折叠相机对准朝向一视点；
c)从所述视点捕获一远距图像，所述远距图像具有一视点像差；以及
d)将所述视点像差进行数字校正。
2.如权利要求1所述的方法，其特征在于，将所述视点像差校正的步骤包含：对具有一视点像差的被捕获的所述远距图像应用一几何变换，以获得相应的一像差校正图像。
3.如权利要求2所述的方法，其特征在于，所述方法进一步包含：将所述像差校正图像剪裁，以获得相应的一像差校正剪裁图像，所述相应的像差校正剪裁图像具有一像差校正剪裁图像中心、一像差校正剪裁图像尺寸和一像差校正剪裁图像宽/高比。
4.如权利要求3所述的方法，其特征在于，所述方法进一步包含：将所述像差校正剪裁图像缩放，以获得相应的一像差校正剪裁和缩放的输出图像，所述相应的像差校正剪裁和缩放的输出图像具有一输出图像中心、一输出图像尺寸和一输出图像宽/高比。
5.如权利要求4所述的方法，其特征在于，所述图像传感器具有一图像传感器中心、一有源传感器宽度和一有源传感器高度，及所述输出图像中心与所述图像传感器中心相重合。
6.如权利要求4所述的方法，其特征在于，所述输出图像中心被选择，以便实现一特定输出图像宽/高比的一最大可能矩形剪裁图像尺寸。
7.如权利要求6所述的方法，其特征在于，所述输出图像中心的位置距离一理想输出图像中心小于10像素大小。
8.如权利要求6所述的方法，其特征在于，所述输出图像中心的位置距离一理想输出图像中心小于所述有源传感器的宽度的10％。
9.如权利要求6所述的方法，其特征在于，所述输出图像中心的位置距离一理想输出图像中心小于所述有源传感器的高度的10％。
10.如权利要求4所述的方法，其特征在于，所述输出图像中心被选择，使得跨越不同的多个视点的一对象的一对象图像放大率M与一恒定值的差异小于10％。
11.如权利要求4所述的方法，其特征在于，所述输出图像中心被选择，使得输出图像覆盖一场景中的一最大区域。
12.如权利要求4所述的方法，其特征在于，重复步骤b和c，以获得在多个视点处捕获的多个远距图像，及其中所述输出图像中心被选择，使得为所有可能的视点捕获的多个远距图像覆盖一场景中的一最大矩形区域。
13.如权利要求4所述的方法，其特征在于，重复步骤b和c，以获得在多个视点处捕获的多个远距图像，及其中所述输出图像中心被选择，使得为特定的多个视点捕获的多个远距图像覆盖一场景中的一最大矩形区域。
14.如权利要求4所述的方法，其特征在于，所述输出图像中心被选择，使得输出图像以一视觉上吸引人的方式显示一感兴趣区域或一感兴趣对象。
15.如权利要求2所述的方法，其特征在于，所述几何变换使用在一相机校准程序中捕获的校准数据。
16.如权利要求2所述的方法，其特征在于，所述几何变换是一单应性变换。
17.一种系统，其特征在于，所述系统包含：
a)一广角相机，具有一广角视场FOVW；
b)一远距相机，具有一远距视场FOVT<FOVW，所述远距相机包含一光路折叠元件和一远距图像传感器，所述远距折叠相机具有一扫描能力，所述扫描能力通过所述光路折叠元件在一个或多个方向上倾斜，以将远距折叠相机对准朝向一场景的一视点，以用于从所述视点捕获一远距图像，所述远距图像具有一视点像差；以及
c)一处理器，配置为数字校正所述视点像差。
18.如权利要求17所述的系统，其特征在于，所述处理器的配置以数字校正所述视点像差包含：对捕获的远距图像应用一几何变换的一配置，以获得相应的一像差校正图像。
19.如权利要求17所述的系统，其特征在于，所述视点像差使用一校准数据进行校正。
20.如权利要求19所述的系统，其特征在于，所述校准数据存储在一非易失性存储器中。
21.如权利要求19所述的系统，其特征在于，所述校准数据包含：所述光路折叠元件在一个或两个方向上的多个倾斜位置与一场景中多个相应视点之间校准的数据。
22.如权利要求19所述的系统，其特征在于，所述校准数据包含：一远距图像和一广角图像之间校准的数据。
23.如权利要求19所述的系统，其特征在于，所述校准数据包含：所述光路折叠元件在一个或两个方向上的多个倾斜位置与广角视场内远距视场位置之间校准的数据。
24.如权利要求18所述的系统，其特征在于，所述几何变换是一单应性变换。
25.如权利要求24所述的系统，其特征在于，所述单应性变换包含：一基于运动的计算，所述基于运动的计算使用来自所述广角相机的多个帧的一串流。
26.如权利要求25所述的系统，其特征在于，单应性基于运动的计算进一步使用一惯性测量单元信息。
27.如权利要求18所述的系统，其特征在于，所述几何变换是一非仿射变换。
28.如权利要求17所述的系统，其特征在于，所述处理器的配置以数字校正所述视点使用在一相机校准程序中捕获的校准数据。
29.一种方法，其特征在于，所述方法包含：
a)提供一远距折叠相机，所述远距折叠相机包含一光路折叠元件和一图像传感器；
b)在一个或多个方向上倾斜所述光路折叠元件，以将远距折叠相机对准朝向一校准图的多个视点，每个视点与相应的一光路折叠元件位置相关联；
c)在每个视点处捕获所述校准图的相应的一远距图像，每个远距图像具有相应的一视点像差；
d)分析所述远距图像的数据，以导出具有其相应的视点像差的每个视点和相应的所述光路折叠元件位置之间的校准数据；以及
e)使用所述校准数据对所述视点像差进行数字校正。
30.如权利要求29所述的方法，其特征在于，所述校准图包含多个位置标识符，所述多个位置标识符允许从相应的所述远距图像确定给定的所述光路折叠元件位置的所述视点。
31.如权利要求29所述的方法，其特征在于，所述校准图包含多个角度标识符，所述多个角度标识符允许从每个远距图像确定给定的所述光路折叠元件位置的所述视点像差。
32.如权利要求29所述的方法，其特征在于，所述校准图是一棋盘图。
33.如权利要求29所述的方法，其特征在于，所述校准数据由一双向函数表示，所述双向函数将任何光路折叠元件位置转换为一远距视点和/或其相应的多个视点像差，反之亦然。
34.如权利要求33所述的方法，其特征在于，所述双向函数是一多项式。
35.如权利要求29所述的方法，其特征在于，所述校准数据是通过一双向查找表表示，所述双向查找表将任何光路折叠元件位置转换为一远距视点和/或其相应的多个视点像差，反之亦然。
36.如权利要求29所述的方法，其特征在于，所述校准数据是通过一查找表表示，所述查找表包含多个光路折叠元件位置，所述多个光路折叠元件位置具有对于多个远距视点和/或其相应的多个视点像差相关联的多个值。
37.如权利要求36所述的方法，其特征在于，所述多个光路折叠元件位置包含多于五个的光路折叠元件位置。
38.如权利要求36所述的方法，其特征在于，所述多个光路折叠元件位置包含多于50个的光路折叠元件位置。
39.如权利要求36所述的方法，其特征在于，所述多个光路折叠元件位置包含多于250个的光路折叠元件位置。
40.如权利要求29所述的方法，其特征在于，所述方法进一步包含：提供一广角相机，所述广角相机具有一视场FOVW大于所述远距折叠相机的一视场FOVT。
41.如权利要求40所述的方法，其特征在于，在步骤d和e之间，所述方法还包含：
在一第一附加步骤中，将一远距图像视点定位在与所述远距图像视点相关联的一相应光路折叠元件位置处的一相应广角图像视场内，来捕获所述校准图的一附加远距图像以及捕获所述校准图的一广角图像，及
在一第二附加步骤中，使用远距和广角图像数据来导出相应的所述光路折叠元件位置、所述相应广角视场内的所述远距视点、和相对于所述广角图像的所述远距图像的视点像差之间的校准数据。
42.如权利要求41所述的方法，其特征在于，所有的步骤是同时执行的。
43.如权利要求41所述的方法，其特征在于，所有的步骤是均由同一操作员执行。
44.如权利要求41所述的方法，其特征在于，步骤a至d是由一第一操作员执行，及所述第一附加步骤和所述第二附加步骤是由一第二操作员执行。
45.如权利要求41所述的方法，其特征在于，步骤a至d是在小于10秒的一时间帧内执行，及所述第一附加步骤和所述第二附加步骤是在小于10秒的一时间帧内执行。
46.如权利要求41所述的方法，其特征在于，步骤a至d是在小于5秒的一时间帧内执行，及所述第一附加步骤和所述第二附加步骤是在小于5秒的一时间帧内执行。
47.如权利要求41所述的方法，其特征在于，所述第一附加步骤不包含任何附加图像的捕获，及所述校准数据的分析和导出包含：接收所述远距折叠相机和所述广角相机之间的外部校准数据。
48.如权利要求41所述的方法，其特征在于，所述校准数据是由一双向函数表示，所述双向函数将任何光路折叠元件位置转换为一广角视场内的一远距视点和/或相对于所述广角图像的所述远距图像的视点像差，反之亦然。
49.如权利要求49所述的方法，其特征在于，所述双向函数是一双向多项式。
50.如权利要求41所述的方法，其特征在于，所述校准数据是通过一双向查找表表示，所述双向查找表将任何光路折叠元件位置转换为广角视场内的一远距视点和/或相对于所述广角图像的所述远距图像的视点像差，反之亦然。
51.如权利要求41所述的方法，其特征在于，所述校准数据是通过一查找表表示，所述查找表包含多个光路折叠元件位置，所述多个光路折叠元件位置具有对于所述广角视场内的多个远距视点和/或相对于一广角图像的所述远距图像的多个视点像差相关联的多个值。
52.如权利要求52所述的方法，其特征在于，所述多个光路折叠元件位置包含多于五个的光路折叠元件位置。
53.如权利要求52所述的方法，其特征在于，所述多个光路折叠元件位置包含多于50个的光路折叠元件位置。
54.如权利要求52所述的方法，其特征在于，所述多个光路折叠元件位置包含多于250个的光路折叠元件位置。
CN202180003962.0A 2020-07-15 2021-07-13 扫描折叠相机的视点像差校正 Pending CN114730064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310141571.6A CN116125660A (zh) 2020-07-15 2021-07-13 用于校正扫描折叠相机的视点像差的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063051993P 2020-07-15 2020-07-15
US63/051,993 2020-07-15
PCT/IB2021/056311 WO2022013753A1 (en) 2020-07-15 2021-07-13 Point of view aberrations correction in a scanning folded camera

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310141571.6A Division CN116125660A (zh) 2020-07-15 2021-07-13 用于校正扫描折叠相机的视点像差的方法

Publications (1)

Publication Number Publication Date
CN114730064A true CN114730064A (zh) 2022-07-08

Family

ID=79555154

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310141571.6A Pending CN116125660A (zh) 2020-07-15 2021-07-13 用于校正扫描折叠相机的视点像差的方法
CN202180003962.0A Pending CN114730064A (zh) 2020-07-15 2021-07-13 扫描折叠相机的视点像差校正

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310141571.6A Pending CN116125660A (zh) 2020-07-15 2021-07-13 用于校正扫描折叠相机的视点像差的方法

Country Status (5)

Country Link
US (2) US11910089B2 (zh)
EP (2) EP4045960A4 (zh)
KR (2) KR20230004887A (zh)
CN (2) CN116125660A (zh)
WO (1) WO2022013753A1 (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323858B1 (en) * 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
US20020171604A1 (en) * 2001-05-16 2002-11-21 Travis Tadysak Virtual reality helmet
US20020180759A1 (en) * 1999-05-12 2002-12-05 Imove Inc. Camera system with both a wide angle view and a high resolution view
CN102216941A (zh) * 2008-08-19 2011-10-12 数字标记公司 用于内容处理的方法和系统
CN103827917A (zh) * 2011-07-25 2014-05-28 科英布拉大学 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置
CN104933399A (zh) * 2014-03-20 2015-09-23 富士通株式会社 图像校正装置和图像校正方法
US20150304527A1 (en) * 2014-04-18 2015-10-22 Altek Semiconductor Corporation Lens distortion correction method
CN105453131A (zh) * 2012-04-27 2016-03-30 奥多比公司 图像的自动调整
US20170294002A1 (en) * 2016-04-07 2017-10-12 Qualcomm Incorporated Systems and methods for adjusting an image
CN107290838A (zh) * 2017-07-21 2017-10-24 浙江大华技术股份有限公司 一种镜头遮挡装置以及摄像装置
CN109845237A (zh) * 2016-08-17 2019-06-04 惠普打印机韩国有限公司 图像形成设备、图像形成设备的扫描图像校正方法以及非暂时性计算机可读记录介质
CN110430345A (zh) * 2014-06-20 2019-11-08 高通股份有限公司 使用折射棱镜的折叠光学阵列相机
CN110582724A (zh) * 2017-03-15 2019-12-17 核心光电有限公司 具有全景扫描范围的照相装置
CN110738608A (zh) * 2019-05-27 2020-01-31 首都师范大学 一种平面图像校正方法及系统
US10832418B1 (en) * 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images

Family Cites Families (326)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
EP0342419B1 (de) 1988-05-19 1992-10-28 Siemens Aktiengesellschaft Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
DE3927334C1 (zh) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
KR940017747A (ko) 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6268611B1 (en) 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
EP1314132B1 (en) * 2000-06-27 2010-02-17 Rami Orpaz Make-up and fashion accessory display method and system
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
AU2003236050A1 (en) 2003-03-20 2004-10-11 Seijiro Tomita Panoramic picture creating method and device, and monitor system using the method and device
CN1574894A (zh) 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
ATE524760T1 (de) 2004-07-20 2011-09-15 Five Dimension Co Ltd Elektronische bildgebungseinrichtung
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
CN101427372B (zh) 2004-08-25 2012-12-12 普罗塔里斯菲洛有限责任公司 用于多个相机装置的设备和操作该设备的方法
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
US20060291042A1 (en) * 2005-05-17 2006-12-28 Alfano Robert R Optical scanning zoom microscope with high magnification and a large field of view
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US7822330B2 (en) 2005-11-14 2010-10-26 Nikon Corporation Image blur correction device and camera
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
JP4669047B2 (ja) 2006-02-06 2011-04-13 ノキア コーポレイション 撮像システムにおける位置検知の方法及びデバイス
JP2009526257A (ja) 2006-02-06 2009-07-16 ノキア コーポレイション ジンバルプリズムを用いた光学像スタビライザ
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US9618748B2 (en) 2008-04-02 2017-04-11 Esight Corp. Apparatus and method for a dynamic “region of interest” in a display system
US20100134621A1 (en) * 2007-04-06 2010-06-03 Korea Expressway Corporation Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and it, and unwrapping method for the same
EP2149067A1 (en) 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US8794526B2 (en) 2007-06-04 2014-08-05 Hand Held Products, Inc. Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
WO2009097552A1 (en) 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5118751B2 (ja) 2008-09-10 2013-01-16 パナソニック株式会社 カメラ本体および撮像装置
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
TWI441514B (zh) * 2008-11-12 2014-06-11 Avisonic Technology Corp 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
CN105681633B (zh) 2009-03-19 2019-01-18 数字光学公司 双传感器照相机及其方法
WO2010116366A1 (en) 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Video motion compensation and stabilization gimbaled imaging system
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
KR101325292B1 (ko) 2009-06-16 2013-11-08 인텔 코오퍼레이션 핸드헬드 디바이스의 카메라 응용
WO2010148363A2 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
US9215385B2 (en) 2009-06-22 2015-12-15 Ominivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
ES2739036T3 (es) 2009-09-14 2020-01-28 Viion Systems Inc Cámara de análisis de vídeo de resolución dual sacádica
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US20110242355A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
EP2567287B1 (en) 2010-05-03 2019-08-21 InVisage Technologies, Inc. Devices and methods for high-resolution image and video capture
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
EA201201649A1 (ru) 2010-07-13 2013-06-28 Рам Шрикант Мирлай Фотокамерное устройство покадровой фотосъемки для получения трехмерного изображения с изменяемой глубиной восприятия
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5654867B2 (ja) 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
WO2012122177A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging, LLC Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
EP2860963B1 (en) 2012-06-11 2019-05-22 Sony Interactive Entertainment Inc. Image generation device, and image generation method
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
JP6129309B2 (ja) 2012-07-12 2017-05-17 デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド ジェスチャに基づくユーザインターフェース
US9225903B2 (en) 2012-07-12 2015-12-29 Sony Corporation Image blur correction apparatus, method of correcting image blur, and imaging apparatus
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
EP2915325A4 (en) 2012-10-31 2016-06-01 Invisage Technologies Inc PICTURE AND VIDEO RECORDING WITH ADVANCED VIEW FIELD
TWI525802B (zh) 2012-11-08 2016-03-11 威動光私人有限公司 變焦透鏡、光學裝置、用以製造其之方法及包含其之手持式電子器件
CN104106002B (zh) 2012-11-16 2017-10-13 松下电器（美国）知识产权公司 相机驱动装置
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9230326B1 (en) * 2012-12-31 2016-01-05 Cognex Corporation System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
US9185291B1 (en) 2013-06-13 2015-11-10 Corephotonics Ltd. Dual aperture zoom digital camera
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
US9137447B2 (en) 2013-07-31 2015-09-15 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that generates an image including an emphasized in-focus part of a captured image
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
WO2015041496A1 (ko) 2013-09-23 2015-03-26 엘지이노텍 주식회사 카메라 모듈 및 그 제작 방법
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
CN104581136B (zh) 2013-10-14 2017-05-31 钰立微电子股份有限公司 图像校准系统和立体摄像机的校准方法
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
EP3079010B1 (en) 2013-12-06 2018-09-12 Huawei Device (Dongguan) Co., Ltd. Photographing method for dual-camera device and dual-camera device
CN105340267A (zh) 2013-12-06 2016-02-17 华为终端有限公司 一种生成图片的方法及一种双镜头设备
EP3062509B1 (en) 2013-12-06 2020-06-03 Huawei Device Co., Ltd. Terminal and image processing method
KR20160090373A (ko) 2013-12-06 2016-07-29 후아웨이 디바이스 컴퍼니 리미티드 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
US10257450B2 (en) 2014-05-15 2019-04-09 Huawei Technologies Co., Ltd. Multi-frame noise reduction method, and terminal
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
US10129455B2 (en) 2014-09-30 2018-11-13 Huawei Technologies Co., Ltd. Auto-focus method and apparatus and electronic device
US9476744B2 (en) 2014-10-08 2016-10-25 Dieterich Standard, Inc. Integrated orifice plate assembly
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US10275898B1 (en) * 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
CN112305833A (zh) 2015-04-16 2021-02-02 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
WO2016207754A1 (en) 2015-06-24 2016-12-29 Corephotonics Ltd. Low profile tri-axis actuator for folded lens camera
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
KR102263924B1 (ko) * 2015-08-13 2021-06-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR102225727B1 (ko) 2015-09-06 2021-03-10 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
KR101928716B1 (ko) * 2015-12-29 2018-12-12 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
WO2017147614A1 (en) 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP3458235A4 (en) * 2016-05-19 2019-11-27 Simbe Robotics, Inc. METHOD FOR THE AUTOMATIC PRODUCTION OF PATHWAY POINTS FOR THE IMAGING OF RAYS IN A STORE
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
KR102365926B1 (ko) 2017-01-12 2022-02-23 코어포토닉스 리미티드 컴팩트 폴디드 카메라
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
EP3639089B1 (en) * 2017-07-21 2023-09-06 Zhejiang Dahua Technology Co., Ltd. Systems and methods for blocking a target in video monitoring
US20190100156A1 (en) * 2017-09-29 2019-04-04 GM Global Technology Operations LLC System and method for controlling a display
KR20200005332A (ko) 2018-07-06 2020-01-15 삼성전자주식회사 캘리브레이션 장치 및 그것의 동작 방법

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323858B1 (en) * 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
US20020180759A1 (en) * 1999-05-12 2002-12-05 Imove Inc. Camera system with both a wide angle view and a high resolution view
US20020171604A1 (en) * 2001-05-16 2002-11-21 Travis Tadysak Virtual reality helmet
CN102216941A (zh) * 2008-08-19 2011-10-12 数字标记公司 用于内容处理的方法和系统
CN103827917A (zh) * 2011-07-25 2014-05-28 科英布拉大学 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置
CN105453131A (zh) * 2012-04-27 2016-03-30 奥多比公司 图像的自动调整
CN104933399A (zh) * 2014-03-20 2015-09-23 富士通株式会社 图像校正装置和图像校正方法
US20150304527A1 (en) * 2014-04-18 2015-10-22 Altek Semiconductor Corporation Lens distortion correction method
CN110430345A (zh) * 2014-06-20 2019-11-08 高通股份有限公司 使用折射棱镜的折叠光学阵列相机
US20170294002A1 (en) * 2016-04-07 2017-10-12 Qualcomm Incorporated Systems and methods for adjusting an image
CN109845237A (zh) * 2016-08-17 2019-06-04 惠普打印机韩国有限公司 图像形成设备、图像形成设备的扫描图像校正方法以及非暂时性计算机可读记录介质
CN110582724A (zh) * 2017-03-15 2019-12-17 核心光电有限公司 具有全景扫描范围的照相装置
CN107290838A (zh) * 2017-07-21 2017-10-24 浙江大华技术股份有限公司 一种镜头遮挡装置以及摄像装置
US10832418B1 (en) * 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images
CN110738608A (zh) * 2019-05-27 2020-01-31 首都师范大学 一种平面图像校正方法及系统

Also Published As

Publication number Publication date
KR20220012852A (ko) 2022-02-04
CN116125660A (zh) 2023-05-16
US20230108086A1 (en) 2023-04-06
US11910089B2 (en) 2024-02-20
EP4045960A1 (en) 2022-08-24
EP4045960A4 (en) 2022-12-14
WO2022013753A1 (en) 2022-01-20
US20230131620A1 (en) 2023-04-27
KR20230004887A (ko) 2023-01-06
EP4202521A1 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
US11546518B2 (en) Dual aperture zoom camera with video support and switching / non-switching dynamic control
CN111095923B (zh) 校准装置、校准系统和校准方法
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
JP5666069B1 (ja) 座標算出装置及び方法、並びに画像処理装置及び方法
JP2014007730A (ja) 情報処理方法および装置、プログラム。
CN111292278B (zh) 图像融合方法及装置、存储介质、终端
US20210405518A1 (en) Camera system with a plurality of image sensors
CN114730064A (zh) 扫描折叠相机的视点像差校正
KR102480209B1 (ko) 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치
US11119396B1 (en) Camera system with a plurality of image sensors
Araki et al. High quality panoramic image generation using multiple panoramic annular lens images
Marks et al. Feedback stitching for gigapixel video
Bailey et al. Vision sensor with an active digital fovea

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Itamar Azulei

Inventor after: Ruth Katz

Inventor after: Gale Zafra

Inventor after: Annette Vilbuna

Inventor after: Ella Yehudai

Inventor after: PAS Ilan

Inventor after: Nadaf jiva

Inventor after: Noy Cohen

Inventor after: Gale sabertai

Inventor after: Ephraim Gordenburg

Inventor before: Itamar Azulei

Inventor before: Gale Zafra

Inventor before: Annette Vilbuna

Inventor before: Ella Yehudai

Inventor before: PAS Ilan

Inventor before: Nadaf jiva

Inventor before: Noy Cohen

Inventor before: Gale sabertai

Inventor before: Ephraim Gordenburg

CB03 Change of inventor or designer information