CN109391752A - 用于产生超分辨率图像的像素的校准 - Google Patents

用于产生超分辨率图像的像素的校准 Download PDF

Info

Publication number
CN109391752A
CN109391752A CN201810866861.6A CN201810866861A CN109391752A CN 109391752 A CN109391752 A CN 109391752A CN 201810866861 A CN201810866861 A CN 201810866861A CN 109391752 A CN109391752 A CN 109391752A
Authority
CN
China
Prior art keywords
pixel
image
luminous intensity
detector array
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810866861.6A
Other languages
English (en)
Other versions
CN109391752B (zh
Inventor
基思·D·洪费尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN109391752A publication Critical patent/CN109391752A/zh
Application granted granted Critical
Publication of CN109391752B publication Critical patent/CN109391752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请公开了用于产生超分辨率图像的像素的校准。一种产生超分辨率图像的方法(300)包括捕获场景的图像的检测器阵列(104)，其中，检测器阵列(104)提供场景的各个部分的像素，并且检测器阵列(104)以增量捕获图像，在每个增量中，透镜(106、108)或检测器阵列(104)被移动单独检测器(114)的长度。方法(300)还包括处理单元(150)确定像素的光强度，并且基于光强度将像素校准到参考像素，并由此补偿各个检测器(114)的灵敏度的任何差异。该校准基于图像(112)中的一个图像的参考像素与另一个图像中的另一个像素的光强度的比较，其中，场景的所述部分对于图像(112)中的一个图像的参考像素和图像(112)中的另一个图像中的另一个像素而言是相同的。

Description

用于产生超分辨率图像的像素的校准
技术领域
本公开总体上涉及成像，并且具体地涉及基于运动的超分辨率成像。
背景技术
照相机系统是卫星、无人机(UAV)以及用于情报、监视和侦察(ISR)目的的其他监视平台的重要组成部分。近年来，用于增强照相机系统分辨率的技术已被纳入越来越多的军事和民用环境应用中。分辨率增强技术可以在这些应用中体现为各种形式。例如，一些技术通过计算机软件实现，而其他分辨率增强可能是由所用的物理光学器件产生的。
但是，分辨率增强技术在数码相机系统中可能会受到限制。具体地，数码相机可以通过检测在一段时间内由电荷耦接器件(CCD)或其他光电检测器阵列接收到的光子来捕获数字图像。标准CCD照相机数据的分辨率严重受限于CCD照相机中各个像素大小和计数。
称为超分辨率的计算技术可用于将CCD照相机的分辨率提高到超出其物理极限。利用超分辨率技术，可以产生分辨率高于原始捕获图像的分辨率的图像。更具体地，超分辨率技术将许多较低分辨率图像相互比较，然后从这些较低分辨率图像统计地演变成更高分辨率的图像。
发明内容
在2016年8月30日发布的题为：“基于运动和基于声波的超分辨率(Move Basedand Sonic Based Super Resolution)”的美国专利号9,430,814中公开了一种用于根据基于运动的超分辨率处理技术来产生超分辨率图像的改进的照相机系统，其内容通过引用并入本文中。本公开致力于解决包括像素与像素的灵敏度差异和正被成像的场景中的运动对象(这可能在基于运动的超分辨率图像处理中产生传播像差)的多个缺点的增强技术。
根据本公开的示例实施方式，检测器阵列的像素被校准到参考像素以补偿各个检测器的灵敏度的任何差异。在一些示例中，该校准包括捕获场景的图像，在捕获场景的图像期间，针对图像的某个子集，所述检测器阵列的焦平面在至少一个方向上移动一个像素/检测器宽度。因此，在一些图像中，多个检测器测量从所述场景的相同部分进入的光，如同其他图像中的其他检测器。于是，这用于补偿任何像素与像素(装置与装置)的灵敏度差异。如果像素灵敏度差异仅缓慢变化，或者如果以二维进行，则可以从冗余图像中去除像素灵敏度差异以确定所述场景内的运动。可以对所述场景内检测到的运动进行内插以确定其对序列中每个图像的影响，这将减少运动模糊。
因此，本公开包括但不限于以下示例实施方式。
一些示例实施方式提供了一种用于产生超分辨率图像的照相机系统，该照相机系统包括透镜；检测器阵列，该检测器阵列被配置为捕获通过所述透镜聚焦到焦平面上的场景的图像，所述检测器阵列包括由各个检测器组成的阵列，各个检测器被配置为提供所述场景的相应部分的像素，所述检测器阵列被配置为以增量捕获所述图像，在所述增量的每个增量中，所述透镜或检测器阵列以及由此所述焦平面沿着由所述检测器阵列的物理布置所限定的水平方向或垂直方向移动单独检测器的长度；以及处理单元，该处理单元被配置为确定所述图像中的像素的光强度并且基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿各个检测器的灵敏度的任何差异，其中，对于至少一些像素的每个像素，所述处理单元被配置为校准所述像素包括被配置为至少进行以下：执行一个所述图像中的所述参考像素的光强度与另一个图像的所述像素的光强度的比较，其中，所述场景的所述部分对于所述一个图像的所述参考像素与所述另一个图像的所述像素而言是相同的；并且基于此，至少在所述参考像素的光强度和所述像素的光强度不同的情况下，确定用于调整所述像素的光强度的乘数，所述乘数为所述参考像素的光强度与所述像素的光强度的比率或者从所述比率确定。
在前述或任何后续的示例实施方式或者其任何组合的所述照相机系统的一些示例实施方式中，所述检测器阵列被配置为以增量捕获所述图像包括被配置为以至少两个增量来捕获所述图像，所述至少两个增量包括所述焦平面沿着水平方向移动所述单独检测器的长度的至少一个增量，以及所述焦平面沿着垂直方向移动所述单独检测器的长度的至少一个增量。
在任何前述或任何后续示例实施方式或者其任何组合的所述照相机系统的一些示例实施方式中，对于至少另一些所述像素的每个另一个像素，所述处理单元被配置为校准所述另一个像素包括被配置为至少确定所述图像中的一个图像的所述像素的光强度与所述图像中的另一个图像的所述另一个像素的光强度的比率，其中，所述场景的所述部分对于所述图像中的一个图像的所述像素与所述图像中的另一个图像的所述另一个像素而言是相同的；并且确定用于调整所述另一个像素的光强度的乘数，所述乘数为用于调整所述像素的光强度的乘数与所述像素的光强度与所述另一个像素的光强度的比率的乘积。
在任何前述或任何后续的示例实施方式或者其任何组合的所述照相机系统的一些示例实施方式中，所述处理单元被配置为执行所述比较包括被配置为执行所述参考像素的光强度与所述图像的相应成对图像中的所述像素的光强度的比较，其中，所述场景的所述部分对于所述参考像素和所述像素而言是相同的，并且其中，所述处理单元被配置为确定所述乘数包括被配置为确定所述参考像素的所述光强度与所述相应成对图像的所述像素的所述光强度之间的比率的平均值。
在任何前述或任何后续的示例实施方式或其任何组合的所述照相机系统的一些示例实施方式中，对于所述像素中的任何特定像素，所述处理单元被配置为执行所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像的所述特定像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述特定像素而言是相同的；并且在所述参考像素的所述光强度与所述特定像素的所述光强度相差超过指示缺陷像素的预定阈值的情况下，将所述特定像素识别为缺陷像素。
在任何前述或任何后续示例实施方式或者其任何组合的所述照相机系统的一些示例实施方式中，所述照相机系统进一步包括耦接到所述透镜或检测器阵列并且被配置为移动所述透镜或检测器阵列并由此移动所述焦平面的换能器；以及控制单元，该控制单元与所述换能器通信并被配置为控制所述换能器以移动所述透镜或所述检测器阵列。
在任何前述或任何后续示例实施方式或其任何组合的所述照相机系统的一些示例实施方式中，所述照相机系统被配置为在校准所述像素之后产生超分辨率图像，并且其中，所述换能器被配置为在预定时间段内移动所述透镜或检测器阵列并且由此移动所述焦平面，在所述预定时间段期间，所述检测器阵列被配置为捕获多个图像；所述控制单元被配置为将所述像素划分成子像素并且控制所述换能器以在所述预定时间段期间以子像素的长度的增量移动所述透镜或所述检测器阵列；并且所述处理单元被配置为从所述多个图像确定所述像素的光强度，并且使用至少一些所述像素的每个像素的乘数，从所述像素的光强度确定所述子像素的光强度，并组合所述子像素的光强度以产生单个图像。
在任何前述或任何后续示例实施方式或者其任何组合的所述照相机系统的一些示例实施方式中，所述多个图像包括具有第一图像、最后图像和其间的至少一个图像的图像序列，并且所述处理单元进一步被配置为至少执行所述第一图像和所述最后图像中的至少一对像素的光强度的比较，其中，所述场景的所述部分对于所述第一图像和所述最后图像中的至少一对像素而言是相同的，并且其中，在所述至少一对像素的所述光强度相差超过指示所述场景中的移动的预定阈值的至少一个情况下，所述处理单元被配置为确定所述像素的所述光强度包括被配置为通过从所述第一图像和所述最后图像中的所述像素的光强度内插来确定所述第一图像和所述最后图像之间的至少一个图像中的所述像素的光强度。
在任何前述或任何后续示例实施方式或者其任何组合的所述照相机系统的一些示例实施方式中，所述子像素的长度对应于像素的分数(fraction)，并且所述处理单元被配置为确定所述至少一个图像中的所述像素的所述光强度包括被配置为基于所述第一图像和所述最后图像中的所述场景的相应部分的像素的光强度，至少内插所述至少一个图像中的所述场景的相应部分的光强度；并且基于对应于所述至少一个图像中的所述像素中的所述场景的相应部分的分数的所述场景的相应部分的所述光强度的分数来确定所述至少一个图像中的所述像素的光强度。
一些示例性实施方式提供了一种产生超分辨率图像的方法，所述方法包括由检测器阵列捕获通过透镜聚焦到焦平面上的场景的图像，所述检测器阵列包括提供所述场景的所述相应部分的像素的各个检测器的阵列，所述检测器阵列以增量捕获所述图像，在每个所述增量中，所述透镜或所述检测器阵列并且由此所述焦平面沿着由所述检测器阵列的物理布置限定的水平方向或垂直方向移动单独检测器的长度；以及由处理单元确定所述图像中的所述像素的光强度，并且基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿所述各个检测器的灵敏度的任何差异，其中，对于至少一些所述像素的每个像素，校准所述像素包括至少进行以下：执行所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像中的所述像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像中的所述参考像素与所述图像中的另一个图像中的所述像素而言是相同的；并且基于此，至少在所述参考像素的光强度和所述像素的光强度不同的情况下，确定用于调整所述像素的光强度的乘数，所述乘数为所述参考像素的光强度与所述像素的光强度的比率或从所述比率确定。
在前述或任何后续的示例实施方式或者其任何组合的所述方法的一些示例实施方式中，以增量捕获所述图像包括以至少两个增量来捕获所述图像，所述至少两个增量包括所述焦平面沿着水平方向移动所述单独检测器的长度的至少一个增量，以及所述焦平面沿着垂直方向移动所述单独检测器的长度的至少一个增量。
在任何前述或任何后续示例实施方式或者其任何组合的所述方法的一些示例实施方式中，对于至少另一些所述像素的每个另一个像素，校准所述另一个像素包括至少确定所述图像中的一个图像的所述像素的光强度与所述图像中的另一个图像的所述另一个像素的光强度的比率，其中，所述场景的所述部分对于所述图像中的一个图像的所述像素与所述图像中的另一个图像的所述另一个像素而言是相同的；并且确定用于调整所述另一个像素的光强度的乘数，所述乘数为用于调整所述像素的光强度的乘数与所述像素的光强度与所述另一个像素的光强度的比率的乘积。
在任何前述或任何后续的示例实施方式或者其任何组合的所述方法的一些示例实施方式中，执行所述比较包括执行所述参考像素的光强度与所述图像的相应成对图像中的所述像素的光强度的比较，其中，所述场景的所述部分对于所述参考像素和所述像素而言是相同的，并且其中，确定所述乘数包括确定所述参考像素的所述光强度与所述相应成对图像的所述像素的所述光强度之间的比率的平均值。
在任何前述或任何后续的示例实施方式或其任何组合的所述方法的一些示例实施方式中，对于所述像素的任何特定像素，所述方法包括执行所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像的所述特定像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述特定像素而言是相同的；并且在所述参考像素的所述光强度与所述特定像素的所述光强度相差超过指示缺陷像素的预定阈值的情况下，将所述特定像素识别为缺陷像素。
在任何前述或任何后续示例实施方式或者其任何组合的所述方法的一些示例实施方式中，所述方法进一步包括由耦接到所述透镜或所述检测器阵列的换能器移动所述透镜或检测器阵列并由此移动所述焦平面；并且由与所述换能器通信的控制单元控制所述换能器以移动所述透镜或所述检测器阵列。
在任何前述或任何后续示例实施方式或其任何组合的所述方法的一些示例实施方式中，所述方法进一步包括在校准所述像素之后产生超分辨率图像，并且包括由所述换能器在预定时间段内移动所述透镜或所述检测器阵列并且由此移动所述焦平面，在所述预定时间段期间，所述检测器阵列捕获多个图像；由所述控制单元将所述像素划分成子像素并且控制所述换能器以在所述预定时间段期间以子像素的长度的增量移动所述透镜或所述检测器阵列；并且由所述处理单元从所述多个图像确定所述像素的光强度，并且使用至少一些所述像素中的每个像素的乘数，从所述像素的光强度确定所述子像素的光强度，并组合所述子像素的光强度以产生单个图像。
在任何前述或任何后续示例实施方式或者其任何组合的所述方法的一些示例实施方式中，所述多个图像包括具有第一图像、最后图像和其间的至少一个图像的图像序列，并且所述方法进一步包括至少执行所述第一图像和所述最后图像中的至少一对像素的光强度的比较，其中，所述场景的所述部分对于所述第一图像和所述最后图像中的至少一对像素而言是相同的，并且其中，在所述至少一对像素的所述光强度相差超过指示所述场景中的移动的预定阈值的至少一个情况中，确定所述像素的所述光强度包括通过从所述第一图像和所述最后图像中的所述像素的光强度进行内插来确定所述第一图像和所述最后图像之间的至少一个图像中的所述像素的光强度。
在任何前述或任何后续示例实施方式或者其任何组合的所述方法的一些示例实施方式中，所述子像素的长度对应于像素的分数，并且确定所述至少一个图像中的所述像素的所述光强度包括基于所述第一图像和所述最后图像中的所述场景的相应部分的像素的光强度，至少内插所述至少一个图像中的所述场景的相应部分的光强度；并且基于对应于所述至少一个图像中的所述像素中的所述场景的相应部分的分数的所述场景的相应部分的所述光强度的分数来确定所述至少一个图像中的所述像素的光强度。
一些示例实施方式提供了一种用于产生超分辨率图像的计算机可读存储介质，该计算机可读存储介质为非暂态并且存储有计算机可读程序代码部分，该计算机可读程序代码部分响应于被处理单元执行，促使设备执行以下：通过检测器阵列至少确定场景的图像中的像素的光强度，所述检测器阵列被配置为捕获通过透镜聚焦到焦平面上的图像，所述检测器阵列包括各个检测器的阵列，被配置为提供所述场景的相应部分的所述像素，所述检测器阵列被配置为以增量捕获所述图像，在所述增量的每个增量中，所述透镜或检测器阵列以及由此所述焦平面沿着由所述检测器阵列的物理布置所限定的水平方向或垂直方向移动单独检测器的长度；并且基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿所述各个检测器的灵敏度的任何差异，其中，对于至少一些所述像素的每个像素，所述设备被配置为校准所述像素包括被促使至少执行以下：执行所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像的所述像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述像素而言是相同的；并且基于此，至少在所述参考像素的光强度和所述像素的光强度不同的情况下，确定用于调整所述像素的光强度的乘数，所述乘数为所述参考像素的光强度与所述像素的光强度的比率或者从所述比率确定。
在任何前述或任何后续示例实施方式或者其任何组合的所述计算机可读存储介质的一些示例实施方式中，对于至少另一些像素的每个另一个像素，所述设备被促使校准所述另一个像素包括被促使至少确定所述图像中的一个图像的所述像素的光强度与所述图像中的另一个图像的所述另一个像素的光强度的比率，其中，所述场景的所述部分对于所述图像中的一个图像的所述像素与所述图像中的另一个图像的所述另一个像素而言是相同的；并且确定用于调整所述另一个像素的光强度的乘数，所述乘数为用于调整所述像素的光强度的乘数与所述像素的光强度与所述另一个像素的光强度的比率的乘积。
在任何前述或任何后续的示例实施方式或者其任何组合的所述计算机可读存储介质的一些示例实施方式中，所述设备被促使执行所述比较包括被促使执行所述参考像素的光强度与所述图像的相应成对图像中的所述像素的光强度的比较，其中，所述场景的所述部分对于所述参考像素和所述像素而言是相同的，并且其中，所述设备被促使确定所述乘数包括被促使确定所述参考像素的所述光强度与所述相应成对图像的所述像素的所述光强度之间的比率的平均值。
在任何前述或任何后续的示例实施方式或其任何组合的所述计算机可读存储介质的一些示例实施方式中，对于所述像素的任何特定像素，所述设备被促使执行所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像的所述特定像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述特定像素而言是相同的；并且在所述参考像素的所述光强度与所述特定像素的所述光强度相差超过指示缺陷像素的预定阈值的情况下，将所述特定像素识别为缺陷像素。
通过阅读以下详细描述以及下面简要描述的附图，本公开的这些和其他特征、方面和优点将变得显而易见。本公开包括在本公开中阐述的两个、三个、四个或更多个特征或要素的任何组合，而不管这些特征或要素是否在本文描述的特定示例实施方式中明确地组合或以其他方式引用。本公开旨在从整体上阅读，使得本公开的任何可分离特征或要素在其任何方面和示例实施方式中应被视为可组合的，除非本公开的上下文明确指出并非如此。
因此应当理解，提供本发明内容仅仅是为了总结一些示例实施方式的目的，以便提供对本公开的一些方面的基本理解。因此，应当理解，上述示例实施方式仅仅是示例，并且不应被解释为以任何方式缩小本公开的范围或精神。根据下面结合附图进行的详细描述，其他示例实施方式、方面和优点将变得显而易见，所述附图以示例的方式示出了一些所述的示例实施方式的原理。
附图说明
已经以一般术语描述了本公开的示例实施方式，现在将参考附图，附图不一定按比例绘制，并且其中：
图1为根据本公开的一个示例实施方式的照相机系统的示意图；
图2为图1的照相机系统的检测器阵列的示意图；
图3为图1的照相机系统的目标图像的示意图；
图4为图2的检测器阵列在第一位置中心对准焦平面上的投影目标图像的焦点的示意图；
图5和图6分别为在图4的第一位置由检测器阵列的各个检测器检测到的光强度和由所述检测器阵列捕获的第一图像的示意图；
图7为检测器阵列从图4的第一位置移位到第二位置的示意图；
图8和图9分别为在图7的第二位置由检测器阵列的各个检测器检测到的光强度和由所述检测器阵列捕获的第二图像的示意图；
图10为检测器阵列从图7的第二位置移位到第三位置的示意图；
图11和图12分别为在图10的第三位置由检测器阵列的各个检测器检测到的光强度和由所述检测器阵列捕获的第三图像的示意图；
图13为检测器阵列从图10的第三位置移位到第四位置的示意图；
图14和图15分别为在图13的第四位置由检测器阵列的各个检测器检测到的光强度和由所述检测器阵列捕获的第四图像的示意图；
图16为根据另一示例实施方式对图6、图9、图12和图15的第一、第二、第三和第四图像执行的交织过程的示意图；
图17为根据另一示例实施方式的用于通过线性代数进行处理的参考阵列的示意图；
图18为根据另一示例实施方式将图17的参考阵列应用于图6、图9、图12和图15的图像的示意图；
图19为从图18中的线性代数应用得到的解矩阵的示意图；
图20为由图19的解阵列产生的单个超分辨率图像的示意图；
图21、图22和图23为根据各种示例性实施方式的分别处于无应力状态、最大压缩状态和最大拉伸状态的检测器的示意图；
图24为根据另一示例实施方式的从图21至图23的图像组合的单个图像的示意图；
图25为根据另一示例实施方式的照相机系统的示意图；
图26和图27为示出根据各种示例实施方式的用于提高数码相机的分辨率的相应过程的流程图；
图28示出了根据一些示例实施方式的由检测器阵列的各个检测器提供的场景的相应部分的像素；
图29和图30为根据一些示例实施方式的图28的检测器阵列在第一位置中心对准于焦平面上的投影目标图像的焦点以及由所述检测器阵列在第一位置中捕获的第一图像的示意图；
图31和图32为根据一些示例实施方式的焦平面被移位到第二位置的检测器阵列以及由所述检测器阵列在第二位置捕获的第二图像的示意图；
图33和图34为根据场景中存在运动的一些示例实施方式的由检测器阵列在四个位置的第一和最后位置捕获的四个图像的序列中的第一图像和最后图像的示意图；
图35和图36为根据一些示例实施方式的图33和图34的第一和最后图像的像素中的场景的部分的示意图；
图37和图38为根据场景中存在运动的一些示例实施方式的从图33和图34的第一和最后图像内插的四个图像的序列中的第二和第三图像的示意图；
图39为根据一些示例实施方式的包括产生超分辨率图像的方法的各种操作的流程图；以及
图40示出了根据一些示例实施方式的设备。
具体实施方式
在下文中，现在将参考附图更全面地描述本公开的一些实施方式，在所述附图中，示出了本公开的一些但不是全部的实施方式。实际上，本公开的各种实施方式可以以许多不同的形式来实施，并且不应被解释为局限于本文阐述的实施方式；相反，提供了这些示例实施方式，使得本公开将是详尽和完整的，并且将向本领域技术人员充分传达本公开的范围。例如，除非另外指明，否则对第一、第二等内容的引用不应解释为暗示特定的顺序。而且，例如，本文可以引用定量度量、值、关系等等。除非另有说明，否则这些中的任何一个或多个(如果不是全部的话)可以为绝对的或近似的以说明可能发生的可接受的变化，例如由于工程公差等原因引起的变化。相同的附图标记在通篇中指代相同的元件。
图1示意性地示出了根据本公开的示例实施方式的用于产生超分辨率数字图像的照相机系统100。利用照相机系统，检测器阵列104可以捕获场景的目标图像102。例如，一个或多个透镜106、108，光圈110或其他光学元件(未示出)可将来自图像102的光聚焦到焦平面112上。定位在焦平面112处的检测器阵列104可以被配置为检测来自目标图像的光的强度。
现在参考图2，并继续参考图1，检测器阵列104可以包括单独检测器114的阵列，被配置为记录图像数据并由此提供目标图像102中的场景的相应部分的像素。例如，检测器可以包括电荷耦合器件(CCD)、CMOS传感器或其他图像传感器。每个检测器可以测量并存储其位置处的光强度或每单位时间的光子计数。图2中的示例检测器阵列示出了二十微米(20μ)正方形检测器的三乘三(3×3)阵列。然而，所述检测器阵列不限于九个正方形检测器。此外，当然也可以使用其他尺寸的检测器阵列和检测器。
为了产生超分辨率图像，照相机系统100可以包括被配置为将电信号转换为机械能的一个或多个换能器116。例如，换能器可以被耦接到检测器阵列104，并且可以被配置为将运动施加于检测器阵列104。应当理解，尽管照相机系统100被示出和描述为包括换能器116，但是也可以使用用于施加运动的其他装置。通过将运动施加于检测器阵列104，当目标图像102和透镜106、108保持静止时，照相机系统100可以在预定时间段内捕获多个图像。然后，可以将由检测器阵列104捕获的多个图像组合成单个超分辨率图像。
照相机系统100还可以包括被配置为控制检测器阵列104和换能器116的控制单元118(图1)。控制单元118可以包括处理器(例如“计算机处理器”)或基于处理器的装置，该装置可以包括其上存储有计算机可执行指令的非暂态计算机可读存储介质或与所述非暂态计算机可读存储介质相关联。一个或多个算法可以被编程到与所述控制单元相关联的存储器120(图1)中。所述存储器可以包括非易失性存储器。应当理解，所述控制单元可以包括其他硬件、软件、固件及其组合。
根据一个示例实施方式，照相机系统100可以包括被预编程到控制单元118的存储器120中的基于运动的超分辨率模式或“运动模式”。所述运动模式可以在预定的时间段内通过换能器116将检测器阵列104移位到相对于焦平面112的不同位置。每当检测器阵列104处于不同位置时，检测器阵列104可以捕获图像，由此在预定时间段内累积多个图像。
例如，换能器116可以由压电材料构成。当照相机系统100处于运动模式时，控制单元118向一个(或多个)换能器116发送信号以移动检测器阵列104。作为响应，压电换能器可以将来自所述信号的电能转换成检测器阵列104的精确机械运动。应当理解，也可以使用压电换能器以外的其他类型的换能器116。
如图2所示，一个换能器116可以被耦接到检测器阵列104的第一垂直边缘122，以便在水平方向上(左和右)移动所述检测器阵列。另一个换能器116可以被耦接到检测器阵列104的第一水平边缘124，以便在垂直方向上(上和下)移动所述检测器阵列。然而，换能器116当然可以被耦接到检测器阵列104上的第二垂直边缘126、第二水平边缘128和/或其他位置。另外，多于或少于两个换能器116可以被用于在各个方向上移动检测器阵列104。
此外，每个换能器116可以进一步被配置为沿着水平和垂直方向以增量移动检测器阵列104。每个增量可以包括检测器阵列104中的单个检测器114的长度的分数。为了确定所述增量的分数长度，检测器阵列104中的每个检测器114理论上可以被分成更小的子像素130。在图2的示例中，每20微米(20μ)正方形检测器114被分成四个子像素130。更具体地，每个检测器114被分割为10微米(10μ)正方形子像素130的二乘二阵列。
在运动模式中，检测器阵列104可以在水平方向上被移位子像素130的长度，并且可以在垂直方向上被移位子像素130的高度。图2中的示例子像素130的长度和高度为10微米(10μ)。因此，通过使用换能器116，检测器阵列104可以在水平方向上被移位单个检测器114的长度的一半，并且可以被移位单个检测器114的高度的一半。然而，子像素130的其他布置当然是可能的，并且因此可以使用其他分数长度和增量。
现在参考图3至图15，并继续参考图1和图2，所述附图示出了照相机系统100中的运动模式的示例。更具体地，如图3所示，示例目标图像102可以被聚焦到焦平面112上。如图4所示，当检测器阵列104处于第一位置132时，检测器阵列104可以中心对准于焦平面112的焦点。
为了在第一位置132捕获图像，检测器阵列104中的每个单独检测器114可以检测所述检测器的位置中每单位时间的光强度。在该示例中，白色子像素129可以具有光子计数零(0)，黑色子像素133可以具有光子计数九(9)，并且灰色子像素131可以具有光子计数五(5)。利用这种代表性的标度，由所述检测器阵列中的每个单独检测器检测到的光强度如图5所示。
图6示出了通过使用测量和存储的光子计数，由检测器阵列104在第一位置132捕获的第一图像134。将图6中的第一图像与图3中的目标图像102进行比较，显示了检测器阵列104的固有低分辨率。检测器阵列104自身不足以捕获目标图像102的细节。
然而，在照相机系统100中使用运动模式以使得检测器阵列104能够捕获多个图像以用于超分辨率增强。如图7所示，检测器阵列104可以被移位到第二位置136。更具体地，检测器阵列104可以在第一垂直边缘122的水平方向上(或向焦平面112的左侧)移动一个增量。在图8中示出了由检测器阵列104的每个单独检测器114在第二位置136检测到的光强度。在图9中示出了由检测器阵列104在第二位置136捕获的第二图像138。
在图10所示的迭代中，检测器阵列104可以被移位到第三位置140，在该第三位置处，检测器阵列104在与第一水平边缘124的方向相反的垂直方向上(或者在焦平面112的向上方向上)移动一个增量。在图11中示出了由检测器阵列104的每个单独检测器114在第三位置140检测到的光强度。在图12中示出了由检测器阵列104在第三位置140捕获的第三图像142。
在后续的迭代中，检测器阵列104可以被移位到图13所示的第四位置144。检测器阵列104在与第一垂直边缘122的方向相反的水平方向上(或者向焦平面112的右侧)移动一个增量。在图14中示出了由检测器阵列104的每个单独检测器114在第四位置144检测到的光强度。在图15中示出了由检测器阵列104在第四位置144捕获的第四图像146。为了返回到第一位置132，检测器阵列104可以在第一水平边缘124的垂直方向上(或焦平面112的向下方向上)移动一个增量。
照相机系统100还可以包括处理单元150(图1)，处理单元150被配置为将多个图像组合成单个超分辨率图像。处理单元150可以与照相机系统100的控制单元118成一体或与其分离。在一个示例中，处理单元150可以包括与第二存储器相关联的第二处理器，所述第二存储器与控制单元118和存储器120通信。例如，处理单元150可以包括有所述光学器件和控制单元。另选地，所述处理单元可以被包括在稍后用于处理由所述检测器阵列捕获的多个图像的单独部件，例如个人计算机(PC)上。
处理单元150可以通过交织过程将所述多个图像组合成单个图像152。如图16所示，通过将来自四个图像中的每个图像的每个强度布置成彼此相邻，处理单元可以将第一图像134、第二图像138、第三图像142和第四图像146交织成单个超分辨率图像152。例如，来自每个图像134、138、142、144的左上角检测器154的强度可以根据每个图像被拍摄的位置彼此相邻地放置，并且以更小的尺寸显示在单个图像152的左上角156中。
对检测器阵列104中的其余检测器114重复所述交错过程，以产生具有增强分辨率图像的单个图像152，该单个图像152比原始图像表现出更高的特征清晰度。即，交错四个三乘三(3×3)像素图像134、138、142、144产生单个六乘六(6×6)像素图像152和二乘二(2×2)分辨率增强。应当理解，在预定时间段内可以捕获不止四个图像，从而产生更高分辨率的单个图像。上面结合图3-图16说明和描述的过程可以根据用于任何大小(m×n)的子像素阵列的各种预定分辨率增强程度进行重复。
现在参考图17-图20，并继续参考图1-图16，处理单元150还可以使用线性代数组合多个图像。为了形成线性代数方程，参考阵列158的每个子像素可以用例如图17中所示的变量索引来标记。例如，六乘六(6×6)阵列160的每个子像素可以被分配指示子像素的强度是未知的变量a至aj(a、b、c、d、...、ad、af、ai、aj)。当然可以使用不同于图17中所示的其他变量索引和参考阵列。
此外，当捕获多个图像时，在运动模式中，检测器阵列104的至少部分可以在预定时间段的至少部分期间延伸到投影到焦平面112上的目标图像102的边界162的外部。由于目标图像102通过光圈110投影到焦平面112上，因此边界162可以由光圈110确定。例如，在运动模式下，检测器阵列104可以被移位到边界162外侧的某些位置，在这些位置，利用检测器阵列104捕获一些图像，从而产生具有光强度为零(0)的边界164的参考阵列158。边界164的每个子像素可以与阵列160中的子像素具有相同的大小。
更具体地，在运动模式下，照相机系统100可以旨在从检测器阵列104中心对准于焦平面112的焦点的第一位置132移动所述检测器阵列，使得光强度为零(0)的边界164被捕获。这通过将所述检测器阵列的至少一部分延伸到没有光入射的边界162之外来完成。这样做时，边界164的每个子像素可以用为零(0)的已知光强度来标记。
应当理解，虽然在图17中边界164被示出为具有两行和两列的零强度子像素，但是也可以使用边界164的其他配置。例如，边界164可以仅包括一行和一列的零强度子像素。
通过分配子像素变量索引并提供零光强度的边界164，处理单元150可以设置通过线性代数有效地求解的参考阵列158的方程。如在图18中的左上方检测器154的示例中所示，当将所述参考阵列应用于第一图像134、第二图像138、第三图像142、第四图像146和它们的检测到的光强度中的每一个时，可以建立以下方程：
a+b+c+d＝9
a+0+c+0＝0
a+0+0+0＝0
a+b+0+0＝0
使用线性代数求解变量a、b、c和d，给出了以下解：
a＝b＝c＝0,d＝9
通过求解的变量a、b、c和d，处理单元150可以迭代地求解其他变量e至aj(e、f、g、...、ai、aj)。如图19所示，通过线性代数确定参考阵列158的每个子像素的光强度产生解阵列166。对所述解阵列应用光强度值(白色子像素具有为0的光子计数，黑色子像素具有为9的光子计数，并且灰色子像素可以具有为5的光子计数)的代表性标度产生图20中的单个超分辨率图像168。如图所示，对于没有运动模式的照相机系统，使用线性代数以组合四个图像134、138、142、144，从而产生具有四倍分辨率的单个图像168。
应当理解，在上述图2-图20中示出和描述的示例用于说明的目的，并且所公开的系统100和技术可以以更多或更少的迭代来使用以实现超分辨率。所公开的系统和技术可以根据用于任何大小(m×n)的子像素阵列的各种预定分辨率增强程度来使用和修改。
另外，照相机系统100可以以其他方式将运动施加于检测器阵列104。尽管在运动模式中由换能器116施加的运动物理地将整个检测器阵列104移位到不同位置，但可以施加其他类型的运动。例如，根据另一示例实施方式，照相机系统100可以包括被预编程到控制单元118的存储器120中的基于声波的超分辨率模式或“声波模式”。所述声波模式可以通过声音来移动检测器阵列104，声音为作为压力的机械波传播的振动。声音或压力波致使材料应变。因此，当施加于检测器阵列104时，声波可以改变检测器阵列104的大小。
在声波模式的一个示例中，换能器116可以为被配置为跨检测器阵列104诱发声波的扬声器换能器。在另一个示例中，类似于运动模式，换能器116可以为跨检测器阵列104延伸的压电换能器。所述压电换能器可以被配置为拉伸和压缩所述检测器阵列，由此跨检测器阵列104产生压力波。通过声音将运动施加于检测器阵列104，可以在预定时间段内以不同大小的检测器阵列捕获多个图像。
现在参考图21-图24，并继续参考图1-图20，在一个检测器114上示出了照相机系统100中的声波模式的示例。如图21所示，在非应变的状态下，检测器的长度可以为20微米(20μ)，并且可以在图像170中每单位时间测量200个光子。在目标图像102和透镜106、108保持静止的情况下，可以在检测器阵列104和每个单独检测器114上诱发声音或压力波。例如，如果换能器116被耦接到检测器阵列104的第一垂直边缘122(图2)，则检测器114将在水平方向上拉伸和压缩。
如图22所示，在最大压缩状态下，检测器114的长度可以被压缩到18微米(18μ)，并且可以在图像172中每单位时间测量140个光子。在图23所示的最大拉伸状态下，检测器114的长度可以为二十二微米(22μ)，并且可以在图像174中每单位时间测量240个光子。如图24所示，将三个图像170、172、174组合在一起产生在声波传播方向上具有可变强度的单个图像176。
更具体地，可以将来自三个图像170、172、174的在非应变状态、最大压缩状态和最大拉伸状态下捕获的光子计数相互比较，以便确定入射到单个图像176的子像素178上的光子计数。然后将来自每个子像素的强度组合以产生超分辨率图像176。应当理解，还可能需要在声波传播期间在非应变状态、最大压缩状态和最大拉伸状态以外的不同状态下收集光子计数。
可以使用声音或压力波的各种频率。此外，在照相机系统100处于声波模式的预定时间段期间，当检测器114未受到应变、未被最大程度地压缩和最大程度地拉伸时，检测器114可以在预定时间间隔内测量光强度。而且，由于声波的频率为周期性的，可以收集每单位时间的光子计数的采样并将其在一起平均。
另外，使用不同的声波传播方向可以提高该方向的分辨率。例如，利用耦接到检测器阵列104的第一水平边缘124(图2)的另一换能器116，当施加声音时，检测器114将在垂直方向上被拉伸和压缩。因此，在两个正交方向(例如水平和垂直方向)上诱导声波可以产生网格类型的细化。应当理解，声波传播可以应用于除水平和垂直以外的方向。例如，可以在跨检测器114和检测器阵列104的对角线方向上诱发声波。此外，选择用于声波传播的各种方向可以允许检测器阵列114的可变形状、大小和强度图，其然后可以用于产生超分辨率图像。
在如图25所示的另一个示例实施方式中，可以将运动施加于透镜106、108中的一个或多个来代替检测器阵列104，以实现与上述类似的结果。例如，所述透镜可以移动，而目标图像102和检测器阵列104保持静止。施加运动至透镜使投影图像的焦点相对于检测器阵列104在焦平面112上移动。然后检测器阵列104可以在预定时间段期间捕获多个图像，以便允许超分辨率增强。
例如，一个或多个换能器216可以耦接到透镜106、108。所述换能器可以为扬声器换能器或压电换能器。在运动和声波模式中，透镜106、108可以移位位置并改变大小。当目标图像102不移动时，改变所述透镜应变将改变光线折弯的方向，由此改变检测器阵列104上的光子路径的位置。通过对到所述焦平面的距离和声音强度进行策略性选择，照相机系统100可被设计成在整个焦平面112上提供超分辨率。
此外，照相机系统100外部的机械振动可能影响所述超分辨率图像。因此，为了消除振动对超分辨率图像的影响，可能需要对照相机系统进行调整。
通常，前述公开可用于与照相机系统有关的各种应用。具体地，所公开的系统和技术可以用于提供超分辨率图像。例如，所公开的系统和技术可以用于但不限于卫星、无人机(UAV)以及用于情报、监视和侦察(ISR)目的的其他监视平台，以及用于军事和民用环境的其他应用。
通过将所公开的系统和技术实现到数码相机系统，提供了用于提高图像的分辨率的成本有效且高效的解决方案。所公开的基于运动的超分辨率模式和基于声波的超分辨率模式可以容易地实施而没有显著的费用。所述运动模式和声波模式中的每一个均可以打开或关闭，这取决于是否期望超分辨率图像。
现在转向图26，并继续参考图1-图25，图26示出了根据本公开的另一示例实施方式的用于提高具有透镜106、108和检测器阵列104的数码相机系统100的分辨率的过程220。在框222处，检测器阵列104捕获第一图像134。在框224处，将运动施加于透镜106/108和检测器阵列104中的一者。在框226处，检测器阵列104捕获另一个图像138。然后，在框228处，照相机系统100的控制单元118确定是否将捕获更多图像142、146。取决于预定分辨率增强程度，可能需要捕获更多图像142、146。例如，对于2×2(2×2)分辨率增强，需要捕获不同位置的四个图像。如果需要获取更多图像，则过程220进行到框224并重复框224和226，直到捕获到所有预定图像。如果不需要获取更多图像，则在框230处，将图像134、138、142、146组合成具有增强分辨率的单个图像152。
图27示出了用于增强数码相机系统的分辨率的另一个过程242。在框244处，可以在预定时间段内在透镜106、108和检测器阵列104中的一者上施加声波。在框246处，在施加声波的预定时间段期间，检测器阵列104选择性地捕获多个图像。
在一些情况下，在例如上述的基于运动的超分辨率图像处理中传播像差可能由像素与像素的灵敏度差异、正被拍摄的场景中的运动对象等造成。为了解决这些和可能的其他缺点，一些示例性实施方式将检测器阵列104的像素校准到参考像素以补偿各个检测器114的灵敏度的任何差异。如果像素灵敏度差异仅缓慢变化，或者如果以二维方式进行，则可以确定所述场景内的运动并进行内插以确定其对序列中每个图像的影响，这将减少运动模糊。
如上所述，检测器阵列104包括被配置为提供目标图像102中的场景的相应部分的像素的单独检测器114的阵列。根据一些示例实施方式，所述检测器阵列被配置为以增量捕获图像，在每个增量中，透镜106、108或检测器阵列104并且由此焦平面112沿着由检测器阵列104的物理布置所定义的水平方向或垂直方向移动单独检测器114的长度。在一些示例中，所述增量包括至少两个增量，焦平面112沿着水平方向移动单独检测器114的长度的至少一个增量，以及焦平面112沿着垂直方向移动单独检测器114的长度的至少一个增量。处理单元150被配置为确定所述图像中的像素的光强度，并且基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿各个检测器114的灵敏度的任何差异。
在一些示例中，对于至少一些像素中的每个像素，上述校准包括处理单元150被配置为至少执行图像102中的一个图像的所述参考像素的光强度与所述图像的另一个图像中的像素的光强度的比较。在一个图像和另一个图像中，所述场景的所述部分对于所述一个图像中的参考像素和所述另一个图像中的像素而言是相同的。基于该比较，处理单元150被配置为至少在所述参考像素的光强度和所述像素的光强度不同的情况下确定用于调整所述像素的光强度的乘数。在这方面，所述乘数为所述参考像素的光强度与所述像素的光强度的比率或由所述比率确定。
为了进一步示出根据一些示例的校准，参考图28-图32。图28类似于图2，但是示出了检测器阵列104的单独检测器114提供包括目标图像102中的对象282(参见图29)的所述场景的相应部分的像素280。如图29所示，示例目标图像102被聚焦到焦平面112上，其中，当检测器阵列104处于第一位置284时，检测器阵列104中心对准于焦平面112的焦点。为了在第一位置284中捕获图像，检测器阵列104中的每个单独检测器114可以在检测器114的位置检测每单位时间的光强度。在该示例中，像素280a中的一个像素-参考像素-可以具有光子计数九(9)，并且其他像素可以具有光子计数零(0)。并且图30示出了通过使用测得和所存储的光子计数，由检测器阵列104在第一位置284捕获的第一图像286。
如图31所示，检测器阵列104可以被移位一个单独检测器114的长度而到达第二位置288。更具体地，检测器阵列104可以在水平方向上向焦平面112的左侧移动一个增量。在图32中示出了由检测器阵列104在第二位置288捕获的第二图像290。在第二图像290中，所述场景的所述部分对于第一图像286中的参考像素280a和第二图像中的像素280b而言是相同的。但是在此，假定像素280b在第二图像中具有光子计数八(8)。也就是说，当每个像素暴露于所述场景的相同部分时，由像素280b计数的光子的数量不同于由参考像素280a计数的光子的数量。在这种情况下，处理单元150可以确定用于调整像素280b的光强度的乘数。并且在一些示例中，所述乘数为参考像素280a的光强度与像素280b的光强度的比率(在该示例中为9/8)。然后，在超分辨率图像处理期间，该像素280b的光强度可以乘以所述乘数以将其校准到参考像素280a。
在一些示例中，处理单元150被配置为执行参考像素280a的光强度与图像102的相应成对图像中的像素280b的光强度的比较，其中，所述场景的所述部分对于参考像素280a和像素280b而言是相同的。在这些示例中的一些示例中，处理单元150被配置为针对各个成对图像，确定参考像素280a的光强度与像素280b的光强度的比率的平均值，并且由此确定用于调整所述像素的光强度的乘数。
在一些示例中，对于至少另一些所述像素的每个另一个像素，所述校准包括处理单元150被配置为至少确定图像102中的一个图像中的像素的光强度与所述图像中的另一个图像中的所述另一个像素的光强度的比率。类似于之前所述，在所述图像的一个图像和另一个图像中，所述场景的所述部分对于所述图像中的一个图像中的所述像素和所述图像中的另一个图像中的所述另一个像素而言是相同的。处理单元150然后被配置为确定用于调整所述另一个像素的光强度的乘数。该乘数为用于调整所述像素的光强度的乘数和所述像素的光强度与所述另一个像素的光强度之比的乘积。
在一些示例中，上述过程可用于识别可在后续校准和/或超分辨率图像处理中跳过或以其他方式考虑的缺陷像素。更具体地，在一些示例中，对于所述像素的任何特定像素，处理单元150被配置为执行图像102中的一个图像中的所述参考像素的光强度与所述图像的另一个图像中的特定像素的光强度的比较。同样，在所述图像的一个图像和另一个图像中，所述场景的所述部分对于所述图像中的一个图像中的参考像素和所述图像中的另一个图像中的特定像素而言是相同的。并且在这些示例中，所述处理单元被配置为在所述参考像素的光强度和所述特定像素的光强度相差超过指示缺陷像素的预定阈值的情况下，将所述特定像素识别为缺陷像素。在一些示例中，该预定阈值可以为所述参考像素的光强度的一半以上。
例如上面所述，不管所述校准的确切方式如何，所述像素的乘数可以此后用于超分辨率成像处理。具体地，例如，换能器116被配置为在预定时间段内移动透镜106、108或检测器阵列104并且由此移动焦平面112，在所述预定时间段期间，检测器阵列104被配置为捕获多个图像。控制单元118被配置为将所述像素分成子像素，并且控制所述换能器在预定时间段期间以子像素的长度为增量移动透镜106、108或检测器阵列104。并且，处理单元150被配置为从所述多个图像确定所述像素的光强度，并且使用用于至少一些所述像素中的每个像素的所述乘数，从所述像素的光强度确定所述子像素的光强度，并且组合所述子像素的光强度以产生单个图像。
在一些示例中，用于确定像素灵敏度差异的相同过程可以用于在图像102中确定所述场景内的运动，然后所述运动可以被内插以确定其对图像序列中的每个所述图像的影响以减少运动模糊。在这些示例中，所述多个图像包括具有第一图像、最后图像和其间的至少一个图像的图像序列。然后，处理单元150进一步被配置为至少执行第一图像和最后图像中的至少一对像素的光强度的比较，其中，所述场景的所述部分对于所述第一图像和最后图像中的所述像素对而言是相同的。在所述像素对的所述光强度相差超过指示所述场景中的运动的预定阈值的至少一个情况下，所述处理单元被配置为通过从所述第一图像和最后图像中的所述像素的光强度内插，而确定在所述第一图像和所述最后图像之间的所述图像中的所述像素的光强度。
在所述子像素的长度对应于像素的分数的一些其他示例中，处理单元150被配置为确定所述第一图像和所述最后图像之间的图像102中的所述像素的光强度包括：被配置为基于所述第一图像和所述最后图像中的所述场景的相应部分的所述像素的光强度，至少内插所述图像中的所述场景的相应部分的光强度。并且其包括处理单元，该处理单元被配置为基于所述场景的所述相应部分的所述光强度的分数，确定所述图像中的所述像素的光强度，所述相应部分的所述光强度的分数对应于所述图像中的所述像素中的所述场景的相应部分的分数。
再次考虑图29-图32中所示的示例，其中，所述场景中的对象282以与焦平面112相同的方向和速率移动。在这种情况下，可以以单独检测器114(三个子像素130)的长度的三分之一为增量捕获四个图像的序列，并且与图29-图32中所示的第一图像286和第二图像290同时来捕获。在所述对象静止的情况下，人们可能会希望所述序列中的第一和最后图像对应于所述第一和第二图像。但是，在所述对象如上所述移动的情况下，所述第一图像和最后图像均可以看上去与第一图像288相同。这在图33和34中分别示出了在四个图像的序列中的第一图像292和最后图像294。将没有移动的第二图像290(图32)与有移动的最后图像294(图34)进行比较，以说明所述场景中的移动引起参考像素280a和像素280b的不同光强度。
在这种情况下，尽管所述场景的所述部分对于所述第一和最后图像中的参考像素280a和像素280b而言仍然是相同的，但是所述成对像素的光强度相差超过指示对象282在所述场景中移动的预定阈值。然后，处理单元150可以被配置为通过从第一图像292和最后图像294中的所述像素的光强度内插来确定第一图像292和最后图像294之间的两个图像(第二和第三图像)中的像素280的光强度。
更具体地，在一些示例中，基于所述第一图像和所述最后图像中的所述场景的相应部分的所述像素的光强度来完成该内插。通过识别图33和图34的示例中的像素280c中的另外一个像素，所述场景的所述部分在第一图像292的像素280a和280c中和最后图像294的相应像素280b和280a中是相同的。场景在第一图像的像素280b中的部分落在最后图像294之外，并且所述场景在所述第一图像之外的附加部分落入所述最后图像之内。这在图35和图36中进一步示出，其中，所述场景在第一图像292中的像素280a、280b和280c中的部分分别由“A”、“B”和“C”表示，并且其中，这些部分然后在最后图像294中的像素中。
再次假定与之前相同的光子计数，所述场景的部分A、B和C在第一图像292中具有各自的光子计数9、0、0，并且在最后的图像294中具有各自的光子计数为0、0、9。通过在第一图像292和最后图像294之间内插，所述场景的部分A、B和C在第二图像中具有各自的光子计数6、0、3，并且在第三图像中具有各自的光子计数3、0、6。求场景A、B和C的部分之和：
第一图像 第二图像 第三图像 最后图像
场景部分A 9 6 3 0
场景部分B 0 0 0 0
场景部分C 0 3 6 9
因为所述像素以三分之一的增量从第一图像292移动到最后图像294，所以在所述第二图像中，像素280a由(2/3A+1/3C＝5)构成，像素280b由(2/3B+1/3A＝2)构成，并且像素280c由(2/3C＝2)构成。在所述第三图像中，像素280a由(1/3A+2/3C＝5)构成，像素280b由(1/3B+2/3A＝2)构成，并且像素280c由(1/3C＝2)构成。对像素280a、280b和280c求和：
并且，通过使用上述光子计数，图37和图38分别示出了第二图像296和第三图像298。
图39示出了根据本公开的一些示例性实施方式的包括产生超分辨率图像的方法300的各种操作的流程图。所述方法包括：在框302处，由检测器阵列104捕获通过透镜106、108聚焦到焦平面112上的场景的图像。检测器阵列104包括提供所述场景的相应部分的像素的各个检测器114的阵列。检测器阵列104以增量捕获图像，在每个增量中，透镜106、108或检测器阵列104并且由此焦平面112沿着由检测器阵列104的物理布置所定义的水平方向或垂直方向移动单独检测器114的长度。
所述方法包括：在框304和306处，由处理单元150确定所述图像中的所述像素的光强度，并基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿各个检测器114的灵敏度的任何差异。对于至少一些所述像素的每个像素，校准所述像素至少包括：在框308处执行所述图像的一个图像的所述参考像素的光强度与所述图像中的另一个图像中的所述像素的光强度的比较，其中，所述场景的所述部分对于所述图像的一个图像的所述参考像素与所述图像中的另一个图像中的所述像素而言是相同的。并且，校准所述像素包括：在框310处，至少在所述参考像素的光强度和所述像素的光强度不同的情况下，基于所述比较确定用于调整所述像素的光强度的乘数，所述乘数为所述参考像素的光强度与所述像素的光强度的比率或从所述比率确定。
在一些示例中，可以提供一个或多个设备，所述设备被配置为用作本文中所示和描述的控制单元118或处理单元150中的任一者或两者，或以其他方式实施上述控制单元118或处理单元150中的任一者或两者。在涉及不止一个设备的示例中，各个设备可以以多种不同方式彼此连接或以其他方式通信，例如直接或间接通过有线或无线网络等。
图40更具体地示出根据一些示例实施方式的设备312。通常，本公开的示例实施方式的设备可以包括、包含一个或多个固定或便携式电子装置或者在所述电子装置中实施。所述设备可以包括多个部件中的每个部件中的一个或多个，例如连接到存储器316(例如，存储装置)的处理器314。
处理器314通常为能够处理信息(例如数据、计算机程序和/或其他合适的电子信息)的任何计算机硬件。所述处理器由电子电路的集合组成，其中一些电子电路可以被封装为集成电路或多个互连的集成电路(集成电路有时还被统称为“芯片”)。处理器可以被配置为执行计算机程序，该计算机程序可以存储在处理器上或以其他方式存储在(相同或另一设备的)存储器316中。
根据具体实施方式，处理器314可以为多个处理器、多处理器核或一些其他类型的处理器。此外，所述处理器可以使用多个异构处理器系统来实现，其中，主处理器与一个或多个辅助处理器存在于单个芯片上。作为另一说明性示例，处理器可以为包含相同类型的多个处理器的对称多处理器系统。在又一示例中，所述处理器可以实施为或以其他方式包括一个或多个专用集成电路(ASIC)、FPGA等。因此，尽管所述处理器能够执行计算机程序以执行一个或多个功能，但是各种示例的处理器能够在不借助于计算机程序的情况下执行一个或多个功能。
存储器316通常为能够临时和/或永久存储信息(例如数据、计算机程序(例如，计算机可读程序代码318)和/或其他合适信息)的任何计算机硬件。所述存储器可以包括易失性和/或非易失性存储器，并且可以为固定的或可移除的。合适的存储器的示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、闪存、拇指驱动器、可移动计算机磁盘、光盘、磁带或上述的一些组合。光盘可以包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)、DVD等。在各种情况下，所述存储器可以被称为计算机可读存储介质。所述计算机可读存储介质为能够存储信息的非暂态装置，并且可与计算机可读传输介质(例如能够将信息从一个位置传送到另一个位置的电子暂态信号)区分开。如本文所述的计算机可读介质通常可以指计算机可读存储介质或计算机可读传输介质。
除了所述存储器之外，所述处理器还可以连接到用于显示、发送和/或接收信息的一个或多个接口。所述接口可以包括通信接口320(例如，通信单元)和/或一个或多个用户界面。所述通信接口可以被配置为发送和/或接收信息，例如向其他设备、网络等发送信息和/或从其他设备、网络等接收信息。所述通信接口可以被配置为通过物理(有线)和/或无线通信链路发送和/或接收信息。合适的通信接口的示例包括网络接口控制器(NIC)、无线NIC(WNIC)等。
所述用户界面可以包括显示器322和/或一个或多个用户输入界面324(例如，输入/输出单元)。所述显示器可以被配置为向用户呈现或以其他方式显示信息，所述显示器的合适示例包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子体显示面板(PDP)等。
用户输入接口324可以为有线或无线的，并且可以被配置为从用户将信息接收到设备中，例如以用于处理、存储和/或显示。用户输入接口的合适示例包括麦克风、图像或视频捕获装置、键盘或小键盘、操纵杆、触敏表面(与触摸屏分离或集成到触摸屏中)、生物计量传感器等。所述用户界面可以进一步包括用于与例如打印机、扫描仪等外设通信的一个或多个接口。
如上所述，程序代码指令可以存储在存储器中，并且由处理器执行，以实现本文描述的系统、子系统和它们各自的元件的功能。应当理解，任何合适的程序代码指令可以从计算机可读存储介质加载到计算机或其他可编程设备上以产生特定的机器，使得所述特定的机器成为用于实现本文指定的功能的装置。这些程序代码指令还可以被存储在计算机可读存储介质中，所述这些程序代码指令可以命令计算机、处理器或其他可编程设备以特定方式运行以生成特定机器或特定制品。存储在所述计算机可读存储介质中的所述指令可以产生制品，其中，所述制品成为用于实现本文描述的功能的装置。所述程序代码指令可以从计算机可读存储介质中检索并被加载到计算机、处理器或其他可编程设备中，以配置所述计算机、处理器或其他可编程设备，从而执行要在所述计算机、处理器或其他可编程设备上执行的操作或执行由所述计算机、处理器或其他可编程设备执行的操作。
所述程序代码指令的检索、加载和执行可以按顺序执行，使得一次检索、加载和执行一条指令。在一些示例实施方式中，可以并行地执行检索、加载和/或执行，使得多个指令一起被检索、加载和/或执行。所述程序代码指令的执行可以产生计算机实现的过程，使得由所述计算机、处理器或其他可编程设备执行的所述指令提供用于实现本文描述的功能的操作。
处理器对指令的执行或者所述指令在计算机可读存储介质中的存储支持用于执行指定功能的操作的组合。以这种方式，设备312可以包括处理器314和耦接到所述处理器的计算机可读存储介质或存储器316，其中所述处理器被配置为执行存储在所述存储器中的计算机可读程序代码318。还应当理解，一个或多个功能以及功能的组合可以通过执行专用功能的基于专用硬件的计算机系统和/或处理器或者专用硬件和程序代码指令的组合来实现。
此外，本公开包括根据以下项的实施例：
项1.一种用于产生超分辨率图像的照相机系统，所述照相机系统包括：
透镜；
检测器阵列，所述检测器阵列被配置为捕获通过所述透镜聚焦到焦平面上的场景的图像，所述检测器阵列包括被配置为提供用于所述场景的相应部分的像素的各个检测器的阵列，所述检测器阵列被配置为以增量捕获所述图像，在每个增量中，所述透镜或检测器阵列以及由此所述焦平面沿着由所述检测器阵列的物理布置所限定的水平方向或垂直方向移动单独检测器的长度；以及
处理单元，所述处理单元被配置为确定所述图像中的所述像素的光强度，并且基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿所述各个检测器的灵敏度的任何差异，其中，对于至少一些所述像素的每个像素，所述处理单元被配置为校准所述像素包括被配置为至少：
执行所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像的所述像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述像素而言是相同的；并且基于此，
至少在所述参考像素的所述光强度和所述像素的所述光强度不同的情况下，确定用于调整所述像素的所述光强度的乘数，所述乘数为所述参考像素的所述光强度与所述像素的所述光强度的比率或者从所述比率确定。
项2.根据项1所述的照相机系统，其中，所述检测器阵列被配置为以增量捕获所述图像包括被配置为以至少两个增量来捕获所述图像，所述至少两个增量包括所述焦平面沿着所述水平方向移动所述单独检测器的长度的至少一个增量，以及所述焦平面沿着所述垂直方向移动所述单独检测器的长度的至少一个增量。
项3.根据项1至2中的任一项所述的照相机系统，其中，对于至少另一些所述像素的每个另一个像素，所述处理单元被配置为校准所述另一个像素包括被配置为至少：
确定所述图像中的一个图像的所述像素的光强度与所述图像中的另一个图像的所述另一个像素的光强度的比率，其中，所述场景的所述部分对于所述图像中的一个图像的所述像素与所述图像中的另一个图像的所述另一个像素而言是相同的；并且
确定用于调整所述另一个像素的所述光强度的乘数，所述乘数为用于调整所述像素的所述光强度的乘数和所述像素的所述光强度与所述另一个像素的所述光强度的比率的乘积。
项4.根据项1至3中的任一项所述的照相机系统，其中，所述处理单元被配置为执行所述比较包括：被配置为执行所述参考像素的所述光强度与所述图像的相应成对图像中的所述像素的所述光强度的比较，其中，所述场景的所述部分对于所述参考像素和所述像素而言是相同的，并且
其中，所述处理单元被配置为确定所述乘数包括：被配置为确定所述参考像素的所述光强度与所述图像的所述相应成对图像的所述像素的所述光强度的所述比率的平均值。
项5.根据项1至4中的任一项所述的照相机系统，其中，对于所述像素的任何特定像素，所述处理单元被配置为：
执行所述图像中的一个图像的所述参考像素的所述光强度与所述图像中的另一个图像的所述特定像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述特定像素而言是相同的；并且
在所述参考像素的所述光强度和所述特定像素的所述光强度相差超过指示缺陷像素的预定阈值的情况下，将所述特定像素识别为缺陷像素。
项6.根据项1至5中的任一项所述的照相机系统，进一步包括：
换能器，所述换能器耦接到所述透镜或所述检测器阵列并且被配置为移动所述透镜或所述检测器阵列并由此移动所述焦平面；以及
控制单元，所述控制单元与所述换能器通信并被配置为控制所述换能器以移动所述透镜或所述检测器阵列。
项7.根据项6所述的照相机系统，其中，所述照相机系统被配置为在校准所述像素之后产生超分辨率图像，并且其中：
所述换能器被配置为在预定时间段内移动所述透镜或所述检测器阵列并由此移动所述焦平面，在所述预定时间段期间，所述检测器阵列被配置为捕获多个图像；
所述控制单元被配置为将所述像素分成子像素，并且控制所述换能器在所述预定时间段期间以子像素的长度为增量移动所述透镜或所述检测器阵列；以及
处理单元，所述处理单元被配置为从所述多个图像确定所述像素的光强度，并且使用用于至少一些所述像素中的每个像素的所述乘数，从所述像素的所述光强度确定所述子像素的光强度，并且组合所述子像素的所述光强度以产生单个图像。
项8.根据项7所述的照相机系统，其中，所述多个图像包括具有第一图像、最后图像和其间的至少一个图像的图像序列，并且所述处理单元进一步被配置为至少：
执行所述第一图像和所述最后图像中的至少一对像素的光强度的比较，其中，所述场景的所述部分对于所述第一图像和最后图像中的所述至少一对像素对而言是相同的，并且
其中，在所述至少一对像素的所述光强度相差超过指示所述场景中的运动的预定阈值的至少一个情况下，所述处理单元被配置为确定所述像素的所述光强度包括被配置为通过从所述第一图像和所述最后图像中的所述像素的所述光强度进行内插，来确定在所述第一图像和所述最后图像之间的所述至少一个图像中的所述像素的光强度。
项9.根据项8所述的照相机系统，其中，所述子像素的长度对应于像素的分数，并且所述处理单元被配置为确定所述至少一个图像中的所述像素的所述光强度的包括被配置为至少：
基于所述第一图像和所述最后图像中的所述场景的所述相应部分的像素的光强度，对所述至少一个图像中所述场景的所述相应部分的光强度进行内插；并且
基于所述场景的所述相应部分的所述光强度的分数来确定所述至少一个图像中的所述像素的所述光强度，所述场景的所述相应部分的所述光强度的分数对应于所述至少一个图像中的所述像素中的所述场景的所述相应部分的分数。
项10.一种产生超分辨率图像的方法，所述方法包括：
由检测器阵列捕获通过透镜聚焦到焦平面上的场景的图像，所述检测器阵列包括提供用于所述场景的相应部分的像素的各个检测器的阵列，所述检测器阵列以增量捕获所述图像，在所述增量的每个增量中，所述透镜或所述检测器阵列以及由此所述焦平面沿着由所述检测器阵列的物理布置所限定的水平方向或垂直方向移动单独检测器的长度；并且
由处理单元确定所述图像中的所述像素的光强度，并且基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿所述各个检测器的灵敏度的任何差异，其中，对于至少一些所述像素中的每个像素，校准所述像素包括至少：
执行所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像的所述像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述像素而言是相同的；并且基于此，
至少在所述参考像素的所述光强度和所述像素的所述光强度不同的情况下，确定用于调整所述像素的所述光强度的乘数，所述乘数为所述参考像素的所述光强度与所述像素的所述光强度的比率或者从所述比率确定。
项11.根据项10所述的方法，其中，以增量捕获所述图像包括以至少两个增量来捕获所述图像，所述至少两个增量包括所述焦平面沿着所述水平方向移动所述单独检测器的长度的至少一个增量，以及所述焦平面沿着所述垂直方向移动所述单独检测器的长度的至少一个增量。
项12.根据项10至11中的任一项所述的方法，其中，对于至少另一些所述像素的每个另一个像素，校准所述另一个像素包括至少：
确定所述图像中的一个图像的所述像素的光强度与所述图像中的另一个图像的所述另一个像素的光强度的比率，其中，所述场景的所述部分对于所述图像中的一个图像的所述像素与所述图像中的另一个图像的所述另一个像素而言是相同的；并且
确定用于调整所述另一个像素的所述光强度的乘数，所述乘数为用于调整所述像素的所述光强度的乘数和所述像素的所述光强度与所述另一个像素的所述光强度的比率的乘积。
项13.根据项10至12中的任一项所述的方法，其中，执行所述比较包括执行所述参考像素的所述光强度与所述图像的相应成对图像中的所述像素的所述光强度的比较，其中，所述场景的所述部分对于所述参考像素和所述像素而言是相同的，并且
其中，确定所述乘数包括确定所述参考像素的所述光强度与所述图像的所述相应成对图像的所述像素的所述光强度的所述比率的平均值。
项14.根据项10至13中的任一项所述的方法，其中，对于所述像素的任何特定像素，所述方法包括：
执行所述图像中的一个图像的所述参考像素的所述光强度与所述图像中的另一个图像的所述特定像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述特定像素而言是相同的；并且
在所述参考像素的所述光强度和所述特定像素的所述光强度相差超过指示缺陷像素的预定阈值的情况下,将所述特定像素识别为缺陷像素。
项15.根据项10至14中的任一项所述的方法，进一步包括：
由耦接到所述透镜或所述检测器阵列的换能器移动所述透镜或所述检测器阵列并由此移动所述焦平面；并且
由与所述换能器通信的控制单元控制所述换能器以移动所述透镜或所述检测器阵列。
项16.根据项15所述的方法，进一步包括在校准所述像素之后产生超分辨率图像，并且包括：
由所述换能器在预定时间段内移动所述透镜或所述检测器阵列并由此移动所述焦平面，在所述预定时间段期间，所述检测器阵列捕获多个图像；
由所述控制单元将所述像素划分成子像素并且控制所述换能器在所述预定时间段期间以子像素的长度为增量移动所述透镜或所述检测器阵列；并且
由所述处理单元从所述多个图像确定所述像素的光强度，并且使用用于至少一些所述像素中的每个像素的所述乘数，从所述像素的所述光强度确定所述子像素的光强度，并且组合所述子像素的所述光强度以产生单个图像。
项17.根据项10至16中的任一项所述的方法，其中，所述多个图像包括具有第一图像、最后图像和其间的至少一个图像的图像序列，并且所述方法进一步包括至少：
执行所述第一图像和所述最后图像中的至少一对像素的光强度的比较，其中，所述场景的所述部分对于所述第一图像和最后图像中的所述至少一对像素对而言是相同的，并且
其中，在所述至少一对像素的所述光强度相差超过指示所述场景中的运动的预定阈值的至少一个情况下，确定所述像素的所述光强度包括通过从所述第一图像和所述最后图像中的所述像素的所述光强度内插而确定在所述第一图像和所述最后图像之间的所述至少一个图像中的所述像素的光强度。
项18.根据项10至17中的任一项所述的方法，其中，所述子像素的长度对应于像素的分数，并且确定所述至少一个图像中的所述像素的光强度至少包括：
基于所述第一图像和所述最后图像中的所述场景的所述相应部分的像素的光强度，在所述至少一个图像中内插所述场景的所述相应部分的光强度；并且
基于所述场景的所述相应部分的所述光强度的分数来确定所述至少一个图像中的所述像素的所述光强度，所述场景的所述相应部分的所述光强度的分数对应于所述至少一个图像中的所述像素中的所述场景的所述相应部分的分数。
项19.一种用于产生超分辨率图像的计算机可读存储介质，所述计算机可读存储介质为非瞬态的并且存储有计算机可读程序代码部分，所述计算机可读程序代码部分响应于处理单元的执行而使得设备至少：
由检测器阵列确定场景的图像中的像素的光强度，所述检测器阵列被配置为捕获通过透镜聚焦到焦平面上的所述图像，所述检测器阵列包括被配置为提供用于所述场景的相应部分的所述像素的各个检测器的阵列，所述检测器阵列被配置为以增量捕获所述图像，在所述增量的每个增量中，所述透镜或所述检测器阵列以及由此所述焦平面沿着由所述检测器阵列的物理布置所限定的水平方向或垂直方向被移动单独检测器的长度；并且
基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿所述各个检测器的灵敏度的任何差异，其中，对于至少一些所述像素的每个像素，所述设备被促使校准所述像素包括被促使至少：
执行所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像的所述像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述像素而言是相同的；并且基于此，
至少在所述参考像素的所述光强度和所述像素的所述光强度不同的情况下，确定用于调整所述像素的所述光强度的乘数，所述乘数为所述参考像素的所述光强度与所述像素的所述光强度的比率或者从所述比率确定。
项20.根据项19所述的计算机可读存储介质，其中，对于至少另一些所述像素的每个另一个像素，所述设备被促使校准所述另一个像素包括被促使至少：
确定所述图像中的一个图像的所述像素的光强度与所述图像中的另一个图像的所述另一个像素的光强度的比率，其中，所述场景的所述部分对于所述图像中的一个图像的所述像素与所述图像中的另一个图像的所述另一个像素而言是相同的；并且
确定用于调整所述另一个像素的所述光强度的乘数，所述乘数为用于调整所述像素的所述光强度的乘数和所述像素的所述光强度与所述另一个像素的所述光强度的比率的乘积。
项21.根据项19至20中的任一项所述的计算机可读存储介质，其中，所述设备被促使执行所述比较包括被促使执行所述参考像素的所述光强度与所述图像的所述相应成对图像中的所述像素的所述光强度的比较，其中，所述场景的所述部分对于所述参考像素和所述像素而言是相同的，并且
其中，所述设备被促使确定所述乘数包括被促使确定所述参考像素的所述光强度与所述图像的所述相应图像对的所述像素的所述光强度的所述比率的平均值。
项22.根据项19至21中的任一项所述的计算机可读存储介质，其中，对于所述像素的任何特定像素，所述设备被促使：
执行所述图像中的一个图像的所述参考像素的所述光强度与所述图像中的另一个图像的所述特定像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的一个图像的所述参考像素与所述图像中的另一个图像的所述特定像素而言是相同的；并且
在所述参考像素的所述光强度和所述特定像素的所述光强度相差超过指示缺陷像素的预定阈值的情况下，将所述特定像素识别为缺陷像素。
对于本公开所属领域的技术人员而言，本文阐述的本公开的许多修改和其他实施方式将受益于前述描述和相关附图中呈现的教导。因此，应当理解，本公开不限于所公开的具体实施方式，并且修改和其他实施方式旨在被包括在所附权利要求的范围内。此外，尽管前面的描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例实施方式，但是应当理解，在不脱离所附权利要求的范围的情况下，所述元件和/或功能的不同组合可以通过替代实施方式来提供。就这一点而言，例如，不同于以上明确描述的元件和/或功能的组合也可以设想为在一些所附权利要求中阐述。尽管本文使用了特定的术语，但它们仅用于一般性和描述性的意义，而不是为了限制的目的。

Claims (15)

1.一种用于产生超分辨率图像的照相机系统(100)，所述照相机系统(100)包括：
透镜(106、108)；
检测器阵列(104)，被配置为捕获通过所述透镜(106、108)聚焦到焦平面(112)上的场景的图像(102)，所述检测器阵列(104)包括单独检测器(114)的阵列，所述单独检测器(114)被配置为提供所述场景的各个部分的像素，所述检测器阵列(104)被配置为以增量捕获所述图像(102)，在每个增量中，所述透镜(106、108)或所述检测器阵列(104)以及由此所述焦平面(112)沿着由所述检测器阵列(104)的物理布置所限定的水平方向或垂直方向移动单独检测器(114)的长度；以及
处理单元(150)，被配置为确定所述图像中的所述像素的光强度，并且基于所述光强度将所述像素校准到所述像素的参考像素，并由此补偿所述单独检测器(114)的灵敏度的任何差异，其中，对于至少一些像素中的每个像素，所述处理单元(150)被配置为校准所述像素包括被配置为至少：
执行所述图像(102)中的一个图像的所述参考像素的光强度与所述图像(102)中的另一个图像的所述像素的光强度的比较，其中，所述场景的所述部分对于所述图像(102)中的所述一个图像的所述参考像素与所述图像(102)中的所述另一个图像的所述像素而言是相同的；并且基于此，
至少在所述参考像素的所述光强度和所述像素的所述光强度不同的情况下，确定用于调整所述像素的所述光强度的乘数，所述乘数为所述参考像素的所述光强度与所述像素的所述光强度的比率或者从所述比率确定所述乘数。
2.根据权利要求1所述的照相机系统，其中，所述检测器阵列(104)被配置为以增量捕获所述图像包括被配置为以至少两个增量来捕获所述图像，所述至少两个增量包括所述焦平面(112)沿着所述水平方向移动所述单独检测器(114)的长度的至少一个增量；以及所述焦平面(112)沿着所述垂直方向移动所述单独检测器(114)的长度的至少一个增量。
3.根据权利要求1至2中任一项所述的照相机系统，其中，对于至少另一些像素中的每个另一个像素，所述处理单元(150)被配置为校准所述另一个像素包括被配置为至少：
确定所述图像(102)中的一个图像的所述像素的光强度与所述图像(102)中的另一个图像的所述另一个像素的光强度的比率，其中，所述场景的所述部分对于所述图像(102)中的所述一个图像的所述像素与所述图像(102)中的所述另一个图像的所述另一个像素而言是相同的；并且
确定用于调整所述另一个像素的所述光强度的乘数，该乘数为用于调整所述像素的所述光强度的乘数和所述像素的所述光强度与所述另一个像素的所述光强度的比率的乘积。
4.根据权利要求1至2中任一项所述的照相机系统，其中，所述处理单元(150)被配置为执行所述比较包括被配置为执行所述参考像素的所述光强度与所述图像(102)的相应成对图像中的所述像素的所述光强度的比较，其中，所述场景的所述部分对于所述参考像素和所述像素而言是相同的，并且
其中，所述处理单元(150)被配置为确定所述乘数包括被配置为确定所述参考像素的所述光强度与所述图像(102)的各个成对图像的所述像素的所述光强度的比率的平均值。
5.根据权利要求1至2中任一项所述的照相机系统，其中，对于像素中的任何特定像素，所述处理单元(150)被配置为：
执行所述图像(102)中的一个图像的所述参考像素的所述光强度与所述图像(102)中的另一个图像的所述特定像素的光强度的比较，其中，所述场景的所述部分对于所述图像(102)中的所述一个图像的所述参考像素与所述图像(102)中的所述另一个图像的所述特定像素而言是相同的；并且
在所述参考像素的所述光强度和所述特定像素的所述光强度相差超过指示缺陷像素的预定阈值的情况下，将所述特定像素识别为缺陷像素。
6.根据权利要求1至2中任一项所述的照相机系统，进一步包括：
换能器(116)，耦接到所述透镜(106、108)或所述检测器阵列(104)并且被配置为移动所述透镜(106、108)或所述检测器阵列(104)并由此移动所述焦平面(112)；以及
控制单元(118)，与所述换能器(116)通信并被配置为控制所述换能器(116)移动所述透镜(106、108)或所述检测器阵列(104)。
7.根据权利要求6所述的照相机系统，其中，所述照相机系统被配置为在校准所述像素之后产生超分辨率图像(152、168、176)，并且其中：
所述换能器(116)被配置为在预定时间段内移动所述透镜(106、108)或所述检测器阵列(104)并且由此移动所述焦平面(112)，在所述预定时间段期间，所述检测器阵列(104)被配置为捕获多个图像；
所述控制单元(118)被配置为将所述像素分成子像素并且控制所述换能器(116)在所述预定时间段期间以子像素(130)的长度为增量移动所述透镜(106、108)或所述检测器阵列(104)；并且
所述处理单元(150)被配置为从所述多个图像(102)确定所述像素的光强度，并且使用用于至少一些像素中的每个像素的乘数，从所述像素的所述光强度确定所述子像素(130)的光强度，并且组合所述子像素(130)的所述光强度以产生单个图像。
8.根据权利要求7所述的照相机系统，其中，所述多个图像包括具有第一图像、最后图像和其间的至少一个图像的图像序列，并且所述处理单元(150)进一步被配置为至少：
执行所述第一图像和所述最后图像中的至少一对像素的光强度的比较，其中，所述场景的所述部分对于所述第一图像和所述最后图像中的所述至少一对像素对而言是相同的，并且
其中，在所述至少一对像素的所述光强度相差超过指示所述场景中的运动的预定阈值的至少一个情况下，所述处理单元(150)被配置为确定所述像素的所述光强度包括被配置为通过从所述第一图像和所述最后图像中的所述像素的所述光强度进行内插而确定在所述第一图像和所述最后图像之间的所述至少一个图像中的所述像素的光强度。
9.根据权利要求8所述的照相机系统，其中，所述子像素(130)的长度对应于像素的分数，并且所述处理单元被配置为确定所述至少一个图像中的所述像素的所述光强度包括被配置为至少：
基于所述场景的各个部分在所述第一图像和所述最后图像中的像素的光强度，内插所述场景的所述各个部分在所述至少一个图像中的光强度；并且
基于所述场景的各个部分的所述光强度的分数来确定所述至少一个图像中的所述像素的所述光强度，所述场景的各个部分的所述光强度的分数对应于所述至少一个图像中的所述像素中的所述场景的各个部分的分数。
10.一种产生超分辨率图像的方法(300)，所述方法包括：
由检测器阵列(104)捕获(302)通过透镜(106、108)聚焦到焦平面(112)上的场景的图像，所述检测器阵列(104)包括单独检测器(114)的阵列，所述单独检测器(114)提供所述场景的相应部分的像素，所述检测器阵列(104)以增量方式捕获所述图像，在每个增量中，所述透镜(106、108)或所述检测器阵列以及由此所述焦平面(112)沿着由所述检测器阵列(104)的物理布置所限定的水平方向或垂直方向移动单独检测器(114)的长度；并且
由处理单元(150)确定(304)所述图像中的所述像素的光强度，并且基于所述光强度将像素校准到所述像素的参考像素，并由此补偿所述单独检测器(114)的灵敏度的任何差异，其中，对于至少一些像素中的每个像素，校准(306)所述像素至少包括：
执行(308)所述图像中的一个图像的所述参考像素的光强度与所述图像中的另一个图像的所述像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的所述一个图像的所述参考像素与所述图像中的所述另一个图像的所述像素而言是相同的；并且基于此，
至少在所述参考像素的所述光强度和所述像素的所述光强度不同的情况下，确定(310)用于调整所述像素的所述光强度的乘数，所述乘数为所述参考像素的所述光强度与所述像素的所述光强度的比率或者从所述比率确定所述乘数。
11.根据权利要求10所述的方法，其中，以增量捕获所述图像包括以至少两个增量来捕获所述图像，所述至少两个增量包括所述焦平面(112)沿着所述水平方向移动所述单独检测器(114)的长度的至少一个增量；以及所述焦平面(112)沿着所述垂直方向移动所述单独检测器(114)的长度的至少一个增量。
12.根据权利要求10至11中的任一项所述的方法，其中，对于至少另一些像素中的每个另一个像素，校准所述另一个像素包括至少：
确定所述图像中的一个图像的所述像素的光强度与所述图像中的另一个图像的所述另一个像素的光强度的比率，其中，所述场景的所述部分对于所述图像中的所述一个图像的所述像素与所述图像中的所述另一个图像的所述另一个像素而言是相同的；并且
确定用于调整所述另一个像素的所述光强度的乘数，所述乘数为用于调整所述像素的所述光强度的乘数和所述像素的所述光强度与所述另一个像素的所述光强度的比率的乘积。
13.根据权利要求10至11中的任一项所述的方法，其中，执行(308)所述比较包括执行所述参考像素的所述光强度与所述图像的各个成对图像中的所述像素的所述光强度的比较，其中，所述场景的所述部分对于所述参考像素和所述像素而言是相同的，并且
其中，确定所述乘数包括确定所述参考像素的所述光强度与所述图像的所述各个成对图像的所述像素的所述光强度的所述比率的平均值。
14.根据权利要求10至11中的任一项所述的方法，其中，对于所述像素的任何特定像素，所述方法包括：
执行所述图像中的一个图像的所述参考像素的所述光强度与所述图像中的另一个图像的所述特定像素的光强度的比较，其中，所述场景的所述部分对于所述图像中的所述一个图像的所述参考像素与所述图像中的所述另一个图像的所述特定像素而言是相同的；并且
在所述参考像素的所述光强度和所述特定像素的所述光强度相差超过指示缺陷像素的预定阈值的情况下，将所述特定像素识别为缺陷像素。
15.根据权利要求10至11中的任一项所述的方法，进一步包括：
由耦接到所述透镜(106、108)或所述检测器阵列(104)的换能器(116)移动所述透镜(106、108)或所述检测器阵列(104)并由此移动所述焦平面(112)；并且
由与所述换能器(116)通信的控制单元(118)控制所述换能器(116)移动所述透镜(106、108)或所述检测器阵列(104)。
CN201810866861.6A 2017-08-03 2018-08-01 用于产生超分辨率图像的像素的校准 Active CN109391752B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/668,310 2017-08-03
US15/668,310 US10264191B2 (en) 2017-08-03 2017-08-03 Calibration of pixels for producing super resolution images

Publications (2)

Publication Number Publication Date
CN109391752A true CN109391752A (zh) 2019-02-26
CN109391752B CN109391752B (zh) 2021-08-10

Family

ID=63254511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866861.6A Active CN109391752B (zh) 2017-08-03 2018-08-01 用于产生超分辨率图像的像素的校准

Country Status (4)

Country Link
US (1) US10264191B2 (zh)
EP (1) EP3439286B1 (zh)
JP (1) JP7111528B2 (zh)
CN (1) CN109391752B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6684382B2 (en) 2001-08-31 2004-01-27 Numerical Technologies, Inc. Microloading effect correction
US11595573B2 (en) * 2021-06-25 2023-02-28 Hewlett-Packard Development Company, L.P. Adjustable imaging devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330569A (zh) * 2007-06-18 2008-12-24 索尼株式会社 图像处理装置、图像处理方法和程序
CN101996387A (zh) * 2009-08-20 2011-03-30 佳能株式会社 图像处理装置及图像处理方法
US20140022339A1 (en) * 2012-07-18 2014-01-23 Qualcomm Incorporated Crosstalk reduction in multiview video processing
CN103914810A (zh) * 2013-01-07 2014-07-09 通用汽车环球科技运作有限责任公司 用于动态后视镜的图像超分辨率
US20160093021A1 (en) * 2014-09-29 2016-03-31 The Boeing Company Move Based and Sonic Based Super Resolution

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400070A (en) 1992-10-07 1995-03-21 Eastman Kodak Company Lever actuated optical offset image sampling system
EP0669757B1 (en) 1994-02-28 2002-11-27 Canon Kabushiki Kaisha Image sensing apparatus
US5514865A (en) 1994-06-10 1996-05-07 Westinghouse Electric Corp. Dither image scanner with compensation for individual detector response and gain correction
US5789622A (en) 1996-09-12 1998-08-04 Trw Inc. Focal plane array calibration method
JP4536170B2 (ja) 1996-12-27 2010-09-01 シャープ株式会社 撮像装置
US6184527B1 (en) 1997-08-26 2001-02-06 Raytheon Company Dither correction for infrared detector arrays
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
JP2002209223A (ja) * 2001-01-09 2002-07-26 Sony Corp 画像処理装置および方法、並びに記録媒体
US7218751B2 (en) 2001-06-29 2007-05-15 Digimarc Corporation Generating super resolution digital images
JP2004214890A (ja) * 2002-12-27 2004-07-29 Minolta Co Ltd 固体撮像装置
US9270868B2 (en) 2005-03-15 2016-02-23 Hewlett-Packard Development Company, L.P. Charge coupled device
US7884861B2 (en) 2005-03-22 2011-02-08 Microview Technologies PTD Ltd. Image resolution multiplier
JP4752515B2 (ja) * 2006-01-12 2011-08-17 日産自動車株式会社 撮像装置、および多素子検出器の感度補正方法
US7657000B2 (en) 2006-11-27 2010-02-02 Cmt Medical Technologies Ltd. Method and apparatus for dual energy radiography
JP5781351B2 (ja) * 2011-03-30 2015-09-24 日本アビオニクス株式会社 撮像装置、その画素出力レベル補正方法、赤外線カメラシステム及び交換可能なレンズシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330569A (zh) * 2007-06-18 2008-12-24 索尼株式会社 图像处理装置、图像处理方法和程序
CN101996387A (zh) * 2009-08-20 2011-03-30 佳能株式会社 图像处理装置及图像处理方法
US20140022339A1 (en) * 2012-07-18 2014-01-23 Qualcomm Incorporated Crosstalk reduction in multiview video processing
CN103914810A (zh) * 2013-01-07 2014-07-09 通用汽车环球科技运作有限责任公司 用于动态后视镜的图像超分辨率
US20160093021A1 (en) * 2014-09-29 2016-03-31 The Boeing Company Move Based and Sonic Based Super Resolution

Also Published As

Publication number Publication date
JP7111528B2 (ja) 2022-08-02
US20190045106A1 (en) 2019-02-07
US10264191B2 (en) 2019-04-16
CN109391752B (zh) 2021-08-10
EP3439286A1 (en) 2019-02-06
JP2019029999A (ja) 2019-02-21
EP3439286B1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
JP5909540B2 (ja) 画像処理表示装置
KR101021607B1 (ko) 향상된 이미지 품질을 갖는 이미지 시스템 및 그와 관련된 방법
EP3522522B1 (en) Methods and apparatus for superpixel modulation
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101612165B1 (ko) 초고해상도 이미지 생성 방법 및 이를 구현하기 위한 비선형 디지털 필터
US20110280541A1 (en) Method and device for controlling video recordation property of camera module according to velocity of object
JP2013072906A (ja) 撮像装置
US8363111B2 (en) Resolution test device and method thereof
US9906717B1 (en) Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
JP2020042801A (ja) イメージ復元方法及び装置
CN103379294B (zh) 图像处理设备、具有该设备的摄像设备和图像处理方法
CN104581137A (zh) 检测设备、摄像设备、摄像系统和检测设备的控制方法
CN109391752A (zh) 用于产生超分辨率图像的像素的校准
JP2011135553A (ja) 撮像装置、画像処理方法、及び、コンピュータプログラム
JP5248368B2 (ja) 画像処理装置
CN105208263B (zh) 图像处理装置及其控制方法
US20160255294A1 (en) Image capturing apparatus and image processing apparatus
JP6149717B2 (ja) 撮像装置及び撮像方法
JP2016200703A (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
US9430814B2 (en) Move based and sonic based super resolution
JP2010056992A (ja) 画像補正装置、および、画像補正方法、および、プログラム、および、記録媒体
JP2016111444A (ja) 画像処理装置
JP2022188733A (ja) イメージセンシング装置及びその動作方法
JP6305180B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
WO2018030135A1 (ja) 撮像装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant