CN107786859B - 根据多个图像传感器帧进行高分辨率数字摄影的方法和设备 - Google Patents

根据多个图像传感器帧进行高分辨率数字摄影的方法和设备 Download PDF

Info

Publication number
CN107786859B
CN107786859B CN201710742028.6A CN201710742028A CN107786859B CN 107786859 B CN107786859 B CN 107786859B CN 201710742028 A CN201710742028 A CN 201710742028A CN 107786859 B CN107786859 B CN 107786859B
Authority
CN
China
Prior art keywords
image
deflector
offset
photosensor array
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710742028.6A
Other languages
English (en)
Other versions
CN107786859A (zh
Inventor
王勤
陈刚
杨大江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN107786859A publication Critical patent/CN107786859A/zh
Application granted granted Critical
Publication of CN107786859B publication Critical patent/CN107786859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种相机系统具有镜头,该镜头通过具有至少一个偏转器板的偏转器系统将入射光聚焦到光传感器阵列上。图像处理器利用第一位置的偏转器系统来捕获至少第一图像并且利用第二位置的偏转器系统来捕获第二图像,以在光传感器阵列上提供第一轴上的焦点偏移,并且固件被配置成根据至少第一和第二图像来准备增强图像。一种成像的方法包括:通过具有至少一个偏转器板的偏转器系统将入射光聚焦到光传感器阵列上;利用第一位置的偏转器系统来接收至少第一图像;利用被配置成在光传感器阵列上提供焦点偏移的偏转器系统来接收第二图像;以及根据第一和第二图像来准备增强图像。

Description

根据多个图像传感器帧进行高分辨率数字摄影的方法和设备
背景技术
光传感器阵列集成电路被组织成光传感器单元的阵列,每个光传感器单元具有光敏二极管或光敏晶体管以及被布置成在曝光之前对光传感器单元的电容预先充电的晶体管,电容可以是光敏二极管的结电容。光敏二极管或光敏晶体管一般被布置成使电容放电,与在光敏二极管或光敏晶体管上接收的光成比例。光传感器单元也具有被布置成从电容读取电荷的晶体管。阵列可以具有一个或多个有缺陷的光传感器单元,或者并不以与阵列的多数其他光敏二极管单元完全相同的方式对应于光的光传感器单元。在生产期间,对光传感器阵列进行测试并且丢弃具有过度缺陷或者不良缺陷或不一致的光传感器单元的那些阵列,因为大型阵列更可能具有有缺陷的单元,阵列越大成本越高。
光传感器阵列通常在光传感器阵列的光敏二极管或光敏晶体管上形成有颜色滤光件的“拜耳模式(Bayer-pattern)”;通常是在四个单元的宏单元中。每个宏单元只可以提供一个完整的三色信号,因此,颜色的固有空间分辨率显著小于阵列的公认像素计数,因为颜色检测需要多个光敏二极管或光敏晶体管单元。在典型的拜耳模式宏单元中,三个单元各自由不同的颜色滤光件覆盖,诸如,红色滤光件、绿色滤光件和蓝色滤光件,单元的第四光传感器可以不被覆盖或者可以用复制其他三个单元中的一个的颜色滤光件进行覆盖。
在低光度下,诸如夜晚,具有大型光敏二极管和/或长积分时间的光传感器阵列需要捕获足够的光子来呈现适当的亮度分辨率;然而,高空间分辨率图像通常需要大量的光敏二极管。具有大量大型光敏二极管的图像传感器比具有少量大型光敏二极管或大量小型光敏二极管的传感器贵得多;它们也比具有较小表面积的传感器更可能有缺陷。
通常,每个传感器阵列的有效表面的一部分被准备用于曝光的每个光敏二极管和读取所曝光的光敏二极管所需的预先充电和选择晶体管占据。其他空间通常被意图减少相邻光敏二极管之间的串扰的互连和保护环消耗。如果完全位于光敏二极管之间,那么图像中可无法捕获很好地聚焦于图像传感器阵列的形状(甚至是明显的界限)。
在有些情形下,诸如,基于三脚架的风景和静物摄影,摄影师希望得到在曝光期间没有多少(如果有的话)移动的场景的极高分辨率的图像。
发明内容
在实施例中,相机系统具有镜头,该镜头通过具有至少一个偏转器板的偏转器系统将入射光聚焦到光传感器阵列上。图像处理器被配置成利用第一位置的偏转器系统来捕获至少第一图像并且利用第二位置的偏转器系统来捕获第二图像,以在光传感器阵列上提供第一轴上的焦点偏移,并且固件被配置成根据至少第一和第二图像来准备增强图像。
在另一实施例中,成像的方法包括:通过具有至少一个偏转器板的偏转器系统将入射光聚焦到光传感器阵列上;利用第一位置的偏转器系统来接收至少第一图像;利用配置在第二位置的偏转器系统来接收第二图像,以在光传感器阵列上提供焦点偏移;以及根据至少第一和第二图像来准备增强图像。
附图说明
图1是实施例中的相机系统的框图。
图2是适合用在实施例中的机电图像偏转装置的示意图。
图3是示出适合用在替代实施例中的电光图像偏转装置的示意图。
图4是示出图2和图3所示的类型的两个图像偏转装置的示意图,所述图像偏转装置串联地放置在相机的光路中,以提供光传感器阵列的两个轴上的偏转。
图5是示出图1的相机系统的操作的流程图。
图6是拜耳模式光传感器的说明,其中R表示阵列的光敏晶体管或光敏二极管上的红色滤光件、B表示阵列的光敏晶体管或光敏二极管上的蓝色滤光件并且G表示阵列的光敏晶体管或光敏二极管上的绿色滤光件。
具体实施方式
提议产生静止物体的图像的相机系统,所述图像的空间分辨率比相机的光传感器阵列直接提供的空间分辨率高。
相机系统100具有镜头102,所述镜头将入射光聚焦到光传感器阵列104上;光传感器阵列是具有单元阵列的CMOS集成电路,每个单元具有光敏二极管或光敏晶体管以及相关联的预先充电和感测晶体管,诸如数字摄影领域中已知的。数字图像处理器106进行联接以读取光传感器阵列104,图像处理器106具有存储器系统108并且适于在存储于存储器108中的固件112中的机器可读指令的控制下从光传感器阵列104中读取图像、处理这些图像,并且将已处理图像110存储在存储器108中。在实施例中,存储器108是分级的异构型存储器系统,所述存储器系统具有高速缓冲存储器、含有固件112的只读存储器、适合用于临时图像116的中间处理和存储的RAM,以及适合存储已处理图像110的可移动“闪存”存储卡,诸如,“SD”卡。在替代实施例中,存储器108具有适合存储已处理图像110的固定“闪存”存储器以及用于将图像传输到计算机的通信电路。在另一替代实施例中,相机系统构建到另一电子装置中,诸如,手机、平板电脑或笔记本计算机,并且存储器108的适合存储已处理图像的那部分是手机、平板电脑或笔记本计算机的存储器;在此替代实施例中,相机系统的一个或多个其他部分(诸如,图像处理器106)也可以有两种用途,作为手机、平板电脑或笔记本计算机的部件。
相机系统具有与至少一个偏转器致动器118结合操作的图像偏转器114,所述偏转器适合使光传感器阵列104上的图像在至少一个轴上转移确定的距离。偏转器致动器118在相机控制器122的控制下操作,所述相机控制器也适合控制图像处理器106、光传感器阵列104以及可选的焦点和/或光圈控制器120的操作。相机系统可以具有一个或多个额外的部件,诸如,电池、电池充电传感器、包括“快门”触发按钮在内的控制按钮、闪光灯系统、麦克风和音频处理电路、诸如可以适合无线或USB通信的通信系统111,以及其他装置。
在实施例中,图像偏转器114包括至少一个透明板150(图2),所述透明板放置在由镜头102和光传感器阵列104限定的光学系统内并且与光学系统的轴124取向成非垂直角度,在此实施例中,偏转器致动器118是机电致动器152,所述机电致动器可以是电磁致动器,或者在替代实施例中是压电致动器,所述机电致动器进行联接以使偏转器在光学系统内的至少第一角位置到第二角位置之间机械转移,所述第二角位置不等于第一角位置。在特定实施例中,机电致动器152直接或通过推杆154联接到板150。在此实施例中,机电致动器152可以进行联接以移动偏转器板150的第一端,偏转器板150的第二端通过枢轴、铰链或柔性安装件156锚固到安装架158,机电致动器152附接到所述安装架。偏转器板具有比空气大的折射率。当偏转器150处于第一角度160时,由镜头聚焦的来自物体的特定点的入射光161聚焦到光传感器阵列170上的第一点162上。当偏转器150被致动器驱动到第二角度164时,其他条件一样,来自物体的特定点的入射光161通过板而不同地折射,因为板的第一角度与第二角度之间存在差异,使得光聚焦到光传感器阵列170上的第二点166上,从而使光传感器阵列170上的物体的图像在阵列的轴上移位。对这个移位的校准需要调整板角度和机械致动器移位。
应注意,所有附图中示出的偏转器114、150、202的角度意图说明偏转器位于一定角度;所示的角度远远超过实际角度,并且在实施例中,推杆154可以接近竖直。
在图3所示的替代实施例中,图像偏转器是由电光调制(EOM)材料制成的透明板202,诸如,铌酸锂、钛酸锆酸镧铅(PLZT)、钽酸锂或者某些聚合物。透明EOM材料板202覆在具有包括透明电导体层的单独电极的第一和第二相对侧上,用作电容器的第一板204和第二板206,而EOM材料用作电容器的电介质。在特定实施例中,透明电容器板204、206由氧化铟锡(ITO)或氧化锡(TO)形成。在此实施例中,偏转器致动器118是可控电压源208,所述可控电压源进行联接以在电容器的第一板与第二板之间施加第一电压或第二电压,所述第一电压和第二电压不同。在特定实施例中,第一电压为零伏。偏转器与光学系统的镜头102和光传感器阵列104之间的轴210设置成特定的预定非垂直角度。相对于施加低电压的折射率,EOM材料利用所施加的高电压来改变有效折射率。因此,当电压源208在电容器的第一板204与第二板206之间提供第一电压时,来自物体的特定点的入射光212聚焦在图像传感器阵列216上的第一点214上。当电压源在电容器的第一板204与第二板206之间提供第二电压时,板的折射率改变并且来自物体的特定点的入射光212聚焦在图像传感器阵列216的第二点218上,从而使光传感器阵列216上的物体的图像在阵列216的轴上移位。通过调整第一电压和第二电压来实现对特定移位的校准。
具有单个偏转器板的实施例可以通过在两个正交轴上旋转单个偏转器板来实现X和Y移位。替代实施例250(图4)通过使用两个偏转器板252、256来实现X和Y移位,所述偏转器板分别在正交轴上倾斜并且沿着光学系统的镜头260与光传感器阵列262之间的光轴253串联地定位。根据图4的实施例可以具有独立的机械致动器,或者如果由电光材料制成,则具有独立的电子电压源致动器254、258。
在任何自动对焦之后,利用图1的系统的两轴(X和Y)的实施例且使用图4的光路的图像采集300(图5)以在相机控制器122中执行的固件将X和Y轴偏转器设置302到第一位置开始。随后将图像传感器阵列104预先充电并且读取,以得到304第一图像并且由在图像处理器106中执行的固件将它存储在存储器108的临时图像116部分中。随后将偏转器切换到第二位置;在示例性实施例中,将X致动器设置306到第二位置。得到308第二图像并且将它存储在临时图像116中。随后将另一偏转器切换到第二位置,在示例性实施例中,将Y致动器设置310到第二位置,因此X和Y都在第二位置。随后得到312第三图像并且将它存储在临时图像116中。随后将致动器重置314到第一位置,在示例性实施例中,将X致动器返回到第一位置,因此只有Y致动器在第二位置。随后得到316第四图像并且将它存储在临时图像116中。随后由图像处理器106来处理第四捕获图像,以形成增强图像,所述增强图像经过压缩并存储在存储器系统108的已处理图像110区域中。在一些实施例中,省略对第三图像的捕获和保存。
在黑白增强320实施例中,偏转器板经过配置和校准以使光传感器阵列上的聚焦图像在阵列上偏移光传感器中心到光传感器中心距离的(整数N+二分之一)倍数的距离。在一些实施例中,N可以为零。如果N为非零,那么在插入像素之前,执行第二、第三和第四图像中的像素数据的对准转移。通过在第一图像的每行的像素之间插入第二图像的像素以创建临时图像A并且在第四图像的像素之间插入第三图像的像素以创建临时图像B,这些实施例准许来自原始捕获图像的已处理图像中的有效X和Y分辨率加倍。临时图像B的行随后插入在临时图像A的行之间,以创建可以进行压缩并作为已处理图像110存储的增强分辨率图像。
彩色增强322实施例使用具有拜耳型模式的单元的滤光件,每个单元中具有至少三个原色滤光件。偏转器板经过配置和校准以使光传感器阵列上的聚焦图像在阵列上偏移光传感器中心到光传感器中心距离的整数(N)倍的距离。在一些实施例中,N可以是一或更多,如果N大于一,那么执行图像的初步对准转移。假设每个拜耳模式单元350(如在图6上所见)中的第四滤光件是第一滤光件的复本并且位于第一滤光件的对角线上,那么通过对在特定像素处给出第一颜色值的第一和第三捕获图像的强度进行平均来导出增强图像,其中第二图像给出第二颜色值并且第四图像作为第三颜色值。如果第一颜色是绿色,第二颜色是红色并且第三颜色是蓝色,那么这将给出可以压缩并存储为已处理图像110的一部分的传统红绿蓝(RGB)三色平面彩色像素。然而,增强图像的X中的相邻像素从第二和第四捕获图像的平均中接收它的第一颜色值,从第一捕获图像中接收第二颜色值,从第三捕获图像中接收第三颜色值。增强图像的Y中的相邻像素从第二和第四捕获图像的平均中接收它的第一颜色值,从第一捕获图像中接收第三颜色值,并且从第三捕获图像中接收第二颜色值。确定每个像素的三色平面的替代操作可以被设计为与不同于图6所示的颜色滤光件的模式一起使用。
很多照片拍摄的是运动物体;上述成像技术依赖于第一图像的捕获304与第四图像的捕获316之间发生的很少运动。为了避免运动模糊,在实施例中,在生成已处理图像之前,在图像上执行边缘检测。将这些图像中的检测的边缘位置进行比较,以确定在捕获第一图像与捕获第四图像之间流逝的时间期间快速移动的区域和没有移动的区域。在此实施例中,快速移动的区域中上述黑白或彩色图像增强被抑制,而只在没有移动的区域中执行所述图像增强。
应注意,捕获第一、第二、第三和第四图像、将这些图像存储在临时图像116中、边缘检测、插入图像的像素以及图像压缩全部都由执行存储于存储器108中的固件112的图像处理器106执行,并且这些功能在由相机控制器122所指示的拍照时间执行,或者在嵌入手机、平板电脑或膝上型计算机中的实施例中,在由手机、平板电脑或膝上型计算机的处理器指示的时间执行。此外,在一些实施例中,图像处理器106可以执行额外的功能,诸如,快速移动区域的拜耳模式颜色分辨率确定以及自动对焦确定。
特征的组合
在实施例中,上述特征可以采用多种方式组合。例如,本文中描述的机电和电光偏转器可以都与本文中描述的颜色分辨率增强方法一起使用,或者与本文中描述的单色像素交织分辨率增强方法一起使用。发明人预期的具体实施例是:
一种标记为A的相机系统,其包括:光路,其具有镜头,镜头被配置成将入射光聚焦到光传感器阵列上;偏转器系统,其包括在镜头与光传感器阵列之间以非垂直角度设置的至少一个偏转器板;致动装置,其联接到偏转器板并且可在命令下操作;以及图像处理器,其进行联接以从光传感器阵列接收图像、将图像存储在存储器系统的临时存储区域中、处理来自存储器系统的临时存储单元的图像,并且将已处理图像存储在存储器系统的已处理图像区域中,这些都是在来自存储器系统的固件的指导下进行的。相机系统被配置成利用第一位置的偏转器系统来捕获至少第一图像并且利用第二位置的偏转器系统来捕获第二图像,以在光传感器阵列上提供第一图像与第二图像之间的第一偏移轴上的焦点偏移,并且固件被配置成根据至少第一和第二图像准备增强图像。
一种标记为AA的相机系统,其包括标记为A的相机系统,其中偏转器系统可配置成在光传感器阵列上提供垂直于第一偏移轴的第二轴上的焦点偏移,其中相机系统被配置成利用被配置成提供第二轴上的焦点偏移的偏转器系统来捕获至少第三图像,并且其中固件被配置成根据至少第一、第二和第三图像来准备增强图像。
一种标记为AB的相机系统,其包括标记为A或AA的相机系统,其中偏转器系统被配置成使得第二图像从第一图像偏移大于或等于一的整数个像素,并且其中增强图像的每个像素接收来自第一、第二、第三和第四图像中的至少两个图像的强度作为颜色信息。
一种标记为AC的相机系统,其包括标记为A或AA的相机系统,其中偏转器系统被配置成使得第二图像从第一图像偏移整数个像素加上二分之一的像素,并且其中固件被配置成通过将第一、第二、第三和第四图像中的至少一个图像的像素插入第一、第二、第三和第四图像中的另一图像来准备增强图像。
一种标记为AD的相机系统,其包括标记为A、AA、AB或AC的相机系统,其中致动装置包括机电致动器,机电致动器进行联接以在第一位置与第二位置之间移动偏转器板,第一位置对应于第一配置。
一种标记为AE的相机系统,其包括标记为A、AA、AB或AC的相机系统,其中致动装置是电压源,电压源进行联接以将电压提供到偏转器板上的透明导电电极,其中偏转器板由电光材料形成,其中致动装置在偏转器系统的第一配置下在透明导电电极之间施加第一电压,并且在偏转器系统的第二配置下在透明导电电极之间施加第二电压。
一种标记为B的成像方法,其包括:将入射光聚焦到光传感器阵列上;聚焦的入射光穿过偏转器系统,偏转器系统包括设置在镜头与光传感器阵列之间的至少一个偏转器板以及联接到偏转器板的致动装置;利用第一配置下的偏转器系统来接收至少第一图像;利用第二配置下的偏转器系统来接收第二图像,以在光传感器阵列上提供第一轴上的焦点偏移;以及根据至少第一和第二图像来准备增强图像。
一种标记为BA的成像方法,其包括标记为B的方法,其中偏转器系统可配置成在光传感器阵列上提供垂直于第一偏移轴的第二轴上的焦点偏移,并且方法还包括利用被配置成提供第二轴上的焦点偏移的偏转器系统来捕获第三图像。
一种标记为BB的成像方法,其包括标记为B或BA的方法,其中偏转器系统被配置成使得第二图像从第一图像偏移大于或等于一的整数个像素,并且其中增强图像的每个像素接收来自第一、第二和第三图像中的至少两个图像的强度作为颜色信息。
一种标记为BC的成像方法,其包括标记为B或BA的方法,其中偏转器系统被配置成使得第二图像从第一图像偏移整数个像素加上二分之一的像素,并且其中固件被配置成通过将第一、第二和第三图像中的至少一个图像的像素插入第一、第二和第三图像中的另一图像来准备增强图像。
一种标记为BD的成像方法,其包括标记为B、BA、BB或BC的方法,其中致动装置包括机电致动器,机电致动器进行联接以在第一位置到第二位置之间移动偏转器板,第一位置对应于第一配置。
一种标记为BE的成像方法,其包括标记为B、BA、BB或BC的方法,其中致动装置是电压源,电压源进行联接以将电压提供到偏转器板上的透明导电电极,其中偏转器板由电光材料形成,其中致动装置在偏转器系统的第一配置下在透明导电电极之间施加第一电压,并且在偏转器系统的第二配置下在透明导电电极之间施加第二电压。
应注意,以上描述中含有或附图中示出的主题应被解释为说明性的,而不是限制性的。所附权利要求书意图涵盖本文中描述的一般和具体特征,以及本方法和系统的范围的所有表述。

Claims (7)

1.一种相机系统,包括:
镜头,配置成将入射光聚焦到光传感器阵列上;
偏转器系统,包括在所述镜头与所述光传感器阵列之间以非垂直角度设置的至少一个偏转器板;
致动装置,联接到所述偏转器板并且能够在相机控制器的命令下进行操作;
图像处理器,进行联接以在来自存储器系统的固件的指导下从所述光传感器阵列接收图像、将图像存储在所述存储器系统的临时存储区域中、处理来自所述存储器系统的临时存储区域的图像,并且将已处理图像保存在所述存储器系统的已处理图像区域中;
其中所述相机系统配置成利用第一配置的所述偏转器系统来捕获至少第一图像并且利用第二配置的所述偏转器系统来捕获第二图像,以在所述光传感器阵列上提供所述第一图像与所述第二图像之间在第一偏移轴上的焦点偏移,以及
其中所述偏转器系统能够配置成在所述光传感器阵列上提供与所述第一偏移轴垂直的第二偏移轴上的焦点偏移,其中所述相机系统配置成利用配置成提供所述第二偏移轴上的所述焦点偏移的所述偏转器系统来捕获至少第三图像和第四图像,并且其中所述固件配置成根据至少所述第一图像、所述第二图像和所述第三图像来准备增强图像,
其中所述偏转器系统配置成使得所述第二图像从所述第一图像偏移大于或等于一的整数个像素,并且其中所述增强图像的每个像素接收来自所述第一图像、所述第二图像、所述第三图像和第四图像中的至少两个图像的强度作为颜色信息,
其中所述致动装置是电压源,所述电压源进行联接以将电压提供到所述偏转器板上的透明导电电极,其中所述偏转器板由固体的电光材料形成,其中所述致动装置在所述偏转器系统的所述第一配置中在所述透明导电电极之间施加第一电压,并且在所述偏转器系统的所述第二配置中在所述透明导电电极之间施加第二电压。
2.如权利要求1所述的相机系统,其中所述电光材料选自由铌酸锂、钛酸锆酸镧铅(PLZT)和钽酸锂构成的组中。
3.如权利要求2所述的相机系统,其中第一偏转器板被配置为在第一偏移轴中偏转图像,第二偏转器板被配置为在第二偏移轴中偏转图像,所述第二偏移轴垂直于所述第一偏移轴。
4.一种相机系统,包括:
镜头,配置成将入射光聚焦到光传感器阵列上;
偏转器系统,包括在所述镜头与所述光传感器阵列之间以非垂直角度设置的至少一个偏转器板;
致动装置,联接到所述偏转器板并且能够在相机控制器的命令下进行操作;
图像处理器,进行联接以在来自存储器系统的固件的指导下从所述光传感器阵列接收图像、将图像存储在所述存储器系统的临时存储区域中、处理来自所述存储器系统的临时存储区域的图像,并且将已处理图像保存在所述存储器系统的已处理图像区域中;
其中所述相机系统配置成利用第一配置的所述偏转器系统来捕获至少第一图像并且利用第二配置的所述偏转器系统来捕获第二图像,以在所述光传感器阵列上提供所述第一图像与所述第二图像之间在第一偏移轴上的焦点偏移,
其中所述偏转器系统能够配置成在所述光传感器阵列上提供与所述第一偏移轴垂直的第二偏移轴上的焦点偏移,其中所述相机系统配置成利用配置成提供所述第二偏移轴上的所述焦点偏移的所述偏转器系统来捕获至少第三图像,并且其中所述固件配置成根据至少所述第一图像、所述第二图像和所述第三图像来准备增强图像,
其中所述致动装置是电压源,所述电压源进行联接以将电压提供到所述偏转器板上的透明导电电极,其中所述偏转器板由固体的电光材料形成,其中所述致动装置在所述偏转器系统的所述第一配置中在所述透明导电电极之间施加第一电压,并且在所述偏转器系统的所述第二配置中在所述透明导电电极之间施加第二电压。
5.一种成像的方法,其包括:
将入射光聚焦到光传感器阵列上;
聚焦的入射光穿过偏转器系统,所述偏转器系统包括设置在镜头与所述光传感器阵列之间的至少一个偏转器板,所述偏转器系统包括联接到所述偏转器板的致动装置;
利用第一配置的所述偏转器系统来接收至少第一图像;
利用第二配置的所述偏转器系统来接收第二图像,以在所述光传感器阵列上提供第一偏移轴上的焦点偏移;以及根据至少所述第一图像和所述第二图像来准备增强图像,
其中所述偏转器系统能够配置成在所述光传感器阵列上提供与所述第一偏移轴垂直的第二偏移轴上的焦点偏移,并且所述方法还包括利用配置成提供所述第二偏移轴上的所述焦点偏移的所述偏转器系统来捕获第三图像,
其中所述光传感器阵列具有在像素上方以四单元方形图案组织的滤色器,每个图案具有三色中的每个颜色的至少一个像素,
其中所述增强图像的每个像素接收来自所述第一图像、所述第二图像和所述第三图像中的至少两个图像的强度作为颜色信息,
其中所述致动装置是电压源,所述电压源进行联接以将电压提供到所述偏转器板上的透明导电电极,其中所述偏转器板由固体的电光材料形成,其中所述致动装置在所述偏转器系统的所述第一配置中在所述透明导电电极之间施加第一电压,并且在所述偏转器系统的所述第二配置中在所述透明导电电极之间施加第二电压。
6.根据权利要求5所述的方法,其中所述偏转器系统配置成使得所述第二图像从所述第一图像偏移整数个像素加上二分之一像素,并且其中所述固件被配置成通过将所述第一图像、所述第二图像和所述第三图像中的至少一个图像的像素插入所述第一图像、所述第二图像、和所述第三图像中的另一图像来准备所述增强图像。
7.一种成像的方法,其包括:
将入射光聚焦到光传感器阵列上;
聚焦的入射光穿过偏转器系统,所述偏转器系统包括设置在镜头与所述光传感器阵列之间的至少一个偏转器板,所述偏转器系统包括联接到所述偏转器板的致动装置;
利用第一配置的所述偏转器系统来接收至少第一图像;
利用第二配置的所述偏转器系统来接收第二图像,以在所述光传感器阵列上提供第一偏移轴上的焦点偏移;
其中所述偏转器系统能够配置成在所述光传感器阵列上提供与所述第一偏移轴垂直的第二偏移轴上的焦点偏移,并且所述方法还包括利用配置成提供所述第二偏移轴上的所述焦点偏移的所述偏转器系统来捕获第三图像,以及根据至少所述第一图像、所述第二图像和所述第三图像来准备增强图像,
其中所述致动装置是电压源,所述电压源进行联接以将电压提供到所述偏转器板上的透明导电电极,并且其中所述偏转器板由固体的电光材料形成。
CN201710742028.6A 2016-08-29 2017-08-25 根据多个图像传感器帧进行高分辨率数字摄影的方法和设备 Active CN107786859B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/249,787 US10104285B2 (en) 2016-08-29 2016-08-29 Method and apparatus for high resolution digital photography from multiple image sensor frames
US15/249,787 2016-08-29

Publications (2)

Publication Number Publication Date
CN107786859A CN107786859A (zh) 2018-03-09
CN107786859B true CN107786859B (zh) 2020-04-17

Family

ID=61244078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710742028.6A Active CN107786859B (zh) 2016-08-29 2017-08-25 根据多个图像传感器帧进行高分辨率数字摄影的方法和设备

Country Status (3)

Country Link
US (1) US10104285B2 (zh)
CN (1) CN107786859B (zh)
TW (1) TWI693833B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110164384B (zh) * 2018-09-29 2022-06-10 京东方科技集团股份有限公司 一种亮度补偿方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116911A (ja) * 1995-10-20 1997-05-02 Canon Inc 撮像システム
US8072574B2 (en) * 2008-02-25 2011-12-06 LensVector Tunable liquid lens with reduced aberration
WO2010059966A2 (en) * 2008-11-21 2010-05-27 Panavision International, L.P. Imaging system with a dynamic optical low-pass filter
CN102798959B (zh) 2012-08-20 2014-10-29 爱佩仪光电技术(深圳)有限公司 一种可实现镜头可控倾斜的音圈马达结构
US9288395B2 (en) 2012-11-08 2016-03-15 Apple Inc. Super-resolution based on optical image stabilization
US9057896B1 (en) * 2012-12-20 2015-06-16 Amazon Technologies, Inc. Orientation variable polarization

Also Published As

Publication number Publication date
TWI693833B (zh) 2020-05-11
US20180063424A1 (en) 2018-03-01
TW201807998A (zh) 2018-03-01
CN107786859A (zh) 2018-03-09
US10104285B2 (en) 2018-10-16

Similar Documents

Publication Publication Date Title
CN105898118B (zh) 图像传感器和包括图像传感器的成像设备
US8587681B2 (en) Extended depth of field for image sensor
KR100927360B1 (ko) 이미지 센서 및 디지털 카메라
CN102089698B (zh) 摄像设备
CN204761572U (zh) 成像装置
RU2490715C1 (ru) Устройство захвата изображения
US20090051984A1 (en) Image sensor having checkerboard pattern
US20040130649A1 (en) Cameras
CN103501405A (zh) 摄像设备
US10566358B2 (en) Image sensor and image capturing apparatus
TW200903792A (en) Image sensor
CN102089697A (zh) 摄像设备
US11626436B2 (en) Imaging device and image sensor
CN107786859B (zh) 根据多个图像传感器帧进行高分辨率数字摄影的方法和设备
JP2003018445A (ja) 画像撮像装置
JP6960755B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2009070912A (ja) 固体撮像素子及び撮像装置
WO2023125629A1 (zh) 图像传感器、曝光控制方法、摄像模组和电子设备
CN112887571B (zh) 图像传感器、摄像模组和电子设备
CN114125240A (zh) 图像传感器、摄像模组、电子设备及拍摄方法
US11122196B2 (en) Image processing apparatus
KR20070119147A (ko) 이미지 센서의 유효 다이나믹 레인지를 효과적으로증대하는 더블 셔터링 방법
US20240205560A1 (en) Sensor including micro lenses of different sizes
WO2021166834A1 (ja) 撮像装置、及び撮像方法
CN115278001A (zh) 图像传感器、摄像头模组、电子设备及拍摄方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant