CN105450924B - 超分辨率图像的获取方法和装置 - Google Patents
超分辨率图像的获取方法和装置 Download PDFInfo
- Publication number
- CN105450924B CN105450924B CN201410521674.6A CN201410521674A CN105450924B CN 105450924 B CN105450924 B CN 105450924B CN 201410521674 A CN201410521674 A CN 201410521674A CN 105450924 B CN105450924 B CN 105450924B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image sensor
- image
- described image
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims abstract description 166
- 238000009826 distribution Methods 0.000 claims abstract description 102
- 230000008859 change Effects 0.000 claims abstract description 30
- 238000010191 image analysis Methods 0.000 claims description 9
- 239000004744 fabric Substances 0.000 claims description 7
- 238000009828 non-uniform distribution Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims 1
- 230000004069 differentiation Effects 0.000 abstract description 6
- 230000004927 fusion Effects 0.000 abstract description 2
- 239000000463 material Substances 0.000 description 137
- 239000000758 substrate Substances 0.000 description 27
- 230000005684 electric field Effects 0.000 description 21
- 239000000696 magnetic material Substances 0.000 description 20
- 229920001746 electroactive polymer Polymers 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000035699 permeability Effects 0.000 description 16
- 230000009471 action Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000000919 ceramic Substances 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229920000642 polymer Polymers 0.000 description 4
- 235000007926 Craterellus fallax Nutrition 0.000 description 3
- 240000007175 Datura inoxia Species 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003447 ipsilateral effect Effects 0.000 description 2
- 229910001004 magnetic alloy Inorganic materials 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 229910052692 Dysprosium Inorganic materials 0.000 description 1
- 229910000976 Electrical steel Inorganic materials 0.000 description 1
- 239000004997 Liquid crystal elastomers (LCEs) Substances 0.000 description 1
- 229910052771 Terbium Inorganic materials 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 229910052746 lanthanum Inorganic materials 0.000 description 1
- FZLIPJUXYLNCLC-UHFFFAOYSA-N lanthanum atom Chemical compound [La] FZLIPJUXYLNCLC-UHFFFAOYSA-N 0.000 description 1
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 1
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002905 metal composite material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910000889 permalloy Inorganic materials 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 229910052761 rare earth metal Inorganic materials 0.000 description 1
- 150000002910 rare earth metals Chemical class 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 229910000859 α-Fe Inorganic materials 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本申请实施例公开了一种超分辨率图像的获取方法和装置，其中一种超分辨率图像的获取方法包括：经图像传感器获取待摄场景的一图像；改变所述图像传感器的像素点分布至少一次；经每次改变后的所述图像传感器分别获取所述待摄场景的一图像；根据获取的各图像获取所述待摄场景的一超分辨率图像。本申请实施例通过融合单个图像传感器分时获取相同场景的多幅差异化图像的方式来获取一超分辨率图像，方案简单易实现，可更好满足用户多样化的实际应用需求。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种超分辨率图像的获取方法和装置。
背景技术
分辨率是评价图像质量的重要指标之一。
为了提高图像分辨率，可由多张对同一场景拍摄得到的内容相似但空间(Spatio)和/或时间(Temporal)等信息不完全相同的多张低分辨率(Low-Resolution)图像进行软件处理，生成一超分辨率(Super-Resolution)图像。
超分辨率图像的应用广泛，例如可应用但不限于：恢复不同采集场景中损失的高频信息，如失焦、运动模糊、非理想采样等等，甚至可用于恢复超过光学系统散射极限(Diffraction Limit)的高频空间信息。因此，超分辨率图像的获取技术的研究引起技术人员的普遍关注。
发明内容
在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本申请提供一种超分辨率图像的获取方法和装置。
一方面，本申请实施例提供了一种超分辨率图像的获取方法，包括：
经图像传感器获取待摄场景的一图像；
改变所述图像传感器的像素点分布至少一次；
经每次改变后的所述图像传感器分别获取所述待摄场景的一图像；
根据获取的各图像获取所述待摄场景的一超分辨率图像。
另一方面，本申请实施例还提供了一种超分辨率图像的获取装置，包括：
一原始图像获取模块，用于经图像传感器获取待摄场景的一图像；
一像素点分布改变模块，用于改变所述图像传感器的像素点分布至少一次；
一调节图像获取模块，用于经每次改变后的所述图像传感器分别获取所述待摄场景的一图像；
一超分辨率图像获取模块，用于根据获取的各图像获取所述待摄场景的一超分辨率图像。
本申请实施例提供的技术方案，经像素点分布调节前的图像传感器获取一图像，之后改变所述图像传感器的像素点分布至少一次，并在每次改变之后经改变后的图像传感器再分别获取相同场景的一图像，这样相当于分时获取了针对同一场景的内容相似但采集到的细节信息不完全相同的一组图像，对这一组图像进行融合等软件处理即可生成一超分辨率图像，该超分辨率图像的分辨率高于所述一组图像中每幅图像的分辨率。由此可见，本申请实施例提供技术方案无需使用多个相机或多个图像传感器即可获取超分辨率图像，方案简单易实现，可更好满足用户多样化的实际应用需求。
通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中：
图1a为本申请实施例提供的一种超分辨率图像的获取方法流程图；
图1b为本申请实施例提供第一种像素密度可调的图像传感器的结构示意图；
图1c为本申请实施例提供第二种像素密度可调的图像传感器的结构示意图；
图1d为本申请实施例提供第三种像素密度可调的图像传感器的结构示意图；
图1e为本申请实施例提供第四种像素密度可调的图像传感器的结构示意图；
图1f为本申请实施例提供图像传感器在不均匀光场激励情形时进行像素密度调整的场景示例；
图1g为本申请实施例提供第五种像素密度可调的图像传感器的结构示意图；
图1h为本申请实施例提供第六种像素密度可调的图像传感器的结构示意图；
图1i为本申请实施例提供第七种像素密度可调的图像传感器的结构示意图；
图1j为本申请实施例提供第八种像素密度可调的图像传感器的结构示意图；
图2a为本发明实施例提供的一种经像素点均匀分布的图像传感器获取的图像示例；
图2b为本发明实施例提供的图像传感器在像素点均匀分布改变后的一种状态下获取的图像示例；
图2c为本发明实施例提供的图像传感器在像素点均匀分布改变后的另一种状态下获取的图像示例；
图2d为本发明实施例提供的一种超分辨率图像的示例；
图3为本申请实施例提供的一种超分辨率图像的获取装置的逻辑框图；
图4为本申请实施例提供的另一种超分辨率图像的获取装置的逻辑框图；
图5为本申请实施例提供的一种第一区确定模块的逻辑框图；
图6为本申请实施例提供的又一种超分辨率图像的获取装置的逻辑框图。
本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
图1a为本申请实施例提供的一种超分辨率图像的获取方法流程图。本申请实施例提供的超分辨率图像的获取方法的执行主体可为某一超分辨率图像的获取装置，所述超分辨率图像的获取装置可在但不限于拍照、摄像、摄影、视频监控等应用过程中通过执行该超分辨率图像的获取方法进行静态或动态的图像处理控制。所述超分辨率图像的获取装置的设备表现形式不受限制，例如所述超分辨率图像的获取装置可为某一独立的部件，该部件与如相机、摄影机、手机、穿戴式摄像头等成像设备配合通信；或者，所述超分辨率图像的获取装置可作为某一功能模块集成在一成像设备中，本申请实施例对此并不限制。
具体如图1a所示，本申请实施例提供的一种超分辨率图像的获取方法包括：
S101：经图像传感器获取待摄场景的一图像。
所述图像传感器在初始状态下各像素点均匀分布。通过如相机、手机、摄像机等成像设备对待摄场景进行调焦、曝光等处理，可经该成像设备中像素点均匀分布的图像传感器获取所述待摄场景的一图像，获取的该图像的不同部分的分辨率均相同。
S102：改变所述图像传感器的像素点分布至少一次，经每次改变后的所述图像传感器分别获取所述待摄场景的一图像。
所述图像传感器为像素点分布可调的图像传感器，例如柔性图像传感器，所述柔性图像传感器包括柔性衬底以及在所述柔性衬底上形成的多个图像传感器像素(即像素点)，其中所述柔性衬底在满足一定条件时可以发生伸缩、弯曲等变化来调整其像素点的相对位置分布。
对所述图像传感器的像素点分布的调节可为一次或多次，以一次或多次改变所述图像传感器的像素点分布；每次改变之后，所述图像传感器的像素点分布都呈非均匀分布，且所述图像传感器当前像素点分布和之前任一次改变之后的像素点分布都不相同。
每改变一次所述图像传感器的像素点分布，就经本次改变后的所述图像传感器获取所述待摄场景的一图像。如果多次改变所述图像传感器的像素点分布，则每次像素点分布改变之后，都会经每次改变后的所述图像传感器获取所述待摄场景的一图像。
由于像素点分布改变之后的所述图像传感器的像素点呈现非均匀分布，因此，经每次改变后的所述图像传感器分别获取的所述待摄场景的各图像中，每幅图像不同部分的分辨率可能存在差异性分布，如局部较为清晰而局部较为模糊。
S103：根据获取的各图像获取所述待摄场景的一超分辨率图像。
经S101-S102之后，可获取至少两副图像，即：经处于像素点均匀分布状态下的图像传感器获取的一副图像，该图像的不同部分分辨率相同；以及经处于至少一种像素点非均匀分布状态下的图像传感器获取的至少一副图像，所述至少一副图像中每幅图像不同部分的分辨率可能存在差异化分布，局部图像分辨率高而局部图像分辨率低。
获取的所述至少两副图像就形成了对同一场景拍摄得到的内容相似但采集到的细节信息不完全相同的一组图像，对这一组图像进行融合等软件处理，即可生成一超分辨率图像，该超分辨率图像的分辨率高于所述一组图像中每幅图像的分辨率。
本申请实施例提供的技术方案，经像素点分布调节前的图像传感器获取一图像，之后改变所述图像传感器的像素点分布至少一次，并在每次改变之后经改变后的图像传感器再分别获取相同场景的一图像，这样相当于分时获取了针对同一场景的内容相似但采集到的细节信息不完全相同的一组图像，对这一组图像进行融合等软件处理即可生成一超分辨率图像，该超分辨率图像的分辨率高于所述一组图像中每幅图像的分辨率。由此可见，本申请实施例提供技术方案无需使用多个相机或多个图像传感器即可获取超分辨率图像，方案简单易实现，可更好满足用户多样化的实际应用需求。
上述技术方案中，所述图像传感器的像素点分布的改变方法非常灵活，本申请实施例对此并不限制。
改变所述图像传感器的像素点分布的一种可选的实现方式，旨在将所述图像传感器的像素点分布由均匀分布的初始状态改变为非均匀分布状态，而对所述图像传感器的像素点分布进行灵活调整。
例如，改变所述图像传感器的像素点分布至少一次，包括：增加所述图像传感器的第一成像区域的平均像素点密度至少一次。
本申请实施例中，所述第一成像区域为所述图像传感器的部分成像区域，所述第一成像区域具体为所述图像传感器的哪部分成像区域，可随机确定或根据实际需要确定，确定方式非常灵活，本申请实施例对此并不限制。例如，所述第一成像区域可为所述图像传感器的某一连续分布的区域，可为但不限于图像传感器的中心区域、左上角区域、右下角区域等等。又例如，所述第一成像区域可包括多个成像子区，所述多个成像子区在所述图像传感器内分散分布，如将图像传感器左上、左下、右上、右下等多个成像子区作为本申请实施例的所述第一成像区域，等等。
该方案调节所述图像传感器的像素点分布，使得所述图像传感器的所述第一成像区域的像素点数量增加、像素点分布较为密集，即所述第一成像区域的平均像素点密度增加了，此时，经图像传感器获取的相同场景的图像中对应第一成像区域的子图像的细节较为丰富，分辨率较高，而该图像的其他子图像的分辨率则较低，由此形成了分辨率差异分布的图像。对所述图像传感器的像素点分布调节可为一次；或者，对所述图像传感器的像素点分布调节可为多次，如可依次递增平均像素点分布密度，如下一次调节后的图像传感器的平均像素点密度比上一次调节后的平均像素点密度大，等等。
本申请实施例中，至少一次改变所述图像传感器的像素点分布之后，所述第一成像区域内的像素点均匀分布或非均匀分布。也就是说，任一次改变所述图像传感器的像素点分布之后，所述第一成像区域内的像素点可以是等间距均匀分布，也可以是部分稀疏部分密集的非均匀分布，本申请实施例对此并不限制。
又例如，改变所述图像传感器的像素点分布至少一次，包括：减小所述图像传感器的所述第一成像区域的平均像素点密度至少一次。
该方案减小所述图像传感器的所述第一成像区域的像素点数量，使所述第一成像区域内的像素点较为稀疏。由于所述图像传感器是一个整体，因此，如果所述第一成像区域的平均像素点密度减小，则所述图像传感器除了所述第一成像区域之外的其他成像区域(不妨称为“第二成像区域”)的平均像素点密度增加，经图像传感器获取的相同场景的图像中对应第一成像区域的子图像的分辨率较低，而对应第二成像区域的子图像的细节较为丰富，分辨率较高，由此形成了分辨率差异分布的图像。
对所述图像传感器的像素点分布调节可为一次；或者，对所述图像传感器的像素点分布调节可为多次，如可依次递减平均像素点分布密度，如下一次调节后的图像传感器的平均像素点密度比上一次调节后的平均像素点密度小，等等。
再例如：改变所述图像传感器的像素点分布至少一次，包括：增加所述图像传感器的所述第一成像区域的平均像素点密度至少一次，以及，减小所述图像传感器的所述第一成像区域的平均像素点密度至少一次。例如：可经像素点均匀分布的图像传感器获取一图像a，如图2a所示；然后，先增加所述第一成像区域的平均像素点密度一次(或多次)，并经增加后的图像传感器获取相同场景的图像b，该图像b对应所述第一成像区域的子图像的分辨率较高，而对应第二成像区域的子图像的分辨率较低，如图2b所示；之后，再减小所述第一成像区域的平均像素点密度一次(或多次)，并经减小后的图像传感器获取相同场景的图像c，该图像c对应所述第一成像区域的子图像的分辨率较低，而对应所述第二成像区域的子图像的分辨率较高，如图2c所示。将获取的至少将两张图像融合起来，如将图像a、图像b和图像c融合起来，各图像的细节相互补充，在一张图像中细节不足的部分可在另一张图像中得以加强，场景不同部分呢的细节都得到不同程度的细化，相当于提高了相同场景不同部分所成图像的分辨率，由此得到一超分辨率图像d，如图2d所示，该超分辨率图像d的分辨率高于图像a、图像b和图像c中任一图像的分辨率。
改变所述图像传感器的像素点分布的另一种可选的实现方式，旨在对所述图像传感器对应待摄场景的局部的成像区域进行针对性调节，以实现对所述图像传感器的像素点分布进行灵活调整。
例如，所述获取方法还包括：确定所述图像传感器与第一区对应的成像区域，所述第一区为所述待摄场景的局部；相应的，改变所述图像传感器的像素点分布至少一次，包括：改变确定的所述成像区域内的像素点分布至少一次。
本申请发明人在实践本申请实施例的过程中发现，通常基于图像传感器进行待摄场景的图像采集时，图像传感器的像素均匀分布，基于该图像传感器采集得到的该场景不同区域的图像的分辨率相同。然而在某些场景下，该场景的不同区域通常对用户而言具有不同的意义和/或重要性，即用户对待摄场景不同区域的成像质量要求不尽相同。例如：在人物拍摄场景下，用户对场景中人脸的感兴趣程度要高于场景中的景物，故对人脸成像的分辨率等要求较高；等等。
为此，本申请实施例提供了一种可针对待摄场景的局部(即所述第一区)，改变图像传感器与所述第一区对应的成像区域，通过对相同场景进行分时多次采集图像的方式，来获取相同场景的内容相似但对应所述第一区的子图像细节丰富程度不同的一组图像。可选的，改变确定的所述成像区域内的像素点分布至少一次，包括：增加确定的所述成像区域内的平均像素点密度至少一次，通过增加确定的所述成像区域的平均像素点密度的方式，来获取至少一副清晰度较高、细节程度较为丰富的图像，结合这些图像成像获取相同场景的超分辨率图像，可提高获取的超分辨率图像中对应所述第一区的部分的成像质量。
可选的，本申请实施例提供的技术方案中，所述超分辨率图像的获取方法还包括：确定所述第一区。该方案可根据实际需要预先确定当前待摄场景的局部(如图像空间分辨率要求较高的区域，或者，图像空间分辨率要求较低的区域)为所述第一区，可更好满足用户个性化的应用需求。
所述第一区的确定方式非常灵活，本申请实施例对此并不限制。一种可选的实现方式，可根据所述相机阵列获取的所述待摄场景的预览图像确定所述第一区，该方案基于所述预览图像确定所述第一区，可提高用户使用的方便性。
基于所述预览图像确定所述第一区的具体实现方式也非常灵活。
例如，可根据所述预览图像的感兴趣区(Region of Interest，简称ROI)信息确定所述第一区，即：可基于所述相机阵列关于所述待摄场景的预览图像获取感兴趣区确定信息；确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。所述感兴趣区可包括但不限于以下一种或多种：用户选择的所述预览图像的至少一个区域(即所述预览图像的用户选择区)、用户注视的所述预览图像的至少一个区域(即所述预览图像的用户注视区)、相机阵列对所述预览图像自动检测得到的感兴趣区。该方案根据所述预览图像的感兴趣区确定待摄场景中与之对应的局部为所述第一区，使得所述第一区的确定与实际用户需求更为吻合，可更好满足用户个性化的应用需求。
又例如，可根据所述预览图像的图像分析结果自动确定所述第一区，即：可对所述相机阵列关于所述待摄场景的预览图像进行图像分析；根据所述图像分析结果确定所述第一区。一种可选的场景中，可对所述预览图像进行人脸识别，根据识别结果将待摄场景与人脸图像对应的人脸区确定为所述第一区。该方案可根据所述预览图像的图像分析结果确定待摄场景中与之对应的区域为所述第一区，使得所述第一区的确定更为智能，提高所述第一区确定的效率和普适性。
本申请实施例在基于像素点均匀分布的图像传感器获取所述待摄场景的一图像之后，可改变所述图像传感器的像素点分布至少一次，以经该图像传感器在像素点分布不同的至少一状态下获取相同场景的其他至少一图像。其中，所述图像传感器像素点分布的改变方式，可根据实际需要灵活选择，本申请实施例对此并不限制。一种可选的实现方式，该图像传感器包括可控变形材料部，可根据期望达到的像素点分布的状态确定该图像传感器的可控变形材料部的形变控制信息；根据所述形变控制信息控制所述可控变形材料部发生形变，以通过所述可控变形材料部的形变相应调整所述图像传感器的像素点分布。该方案通过控制可控变形材料部的形变来调整所述图像传感器的像素点分布，方案简单易实现。
所述可控变形材料部即为通过改变作用其上的某外部作用因素(如外场)可使其发生形变，在作用其上的外场撤销或改变时，该可控变形材料部的形变可以恢复。
图1b为本申请实施例提供一种像素密度可调的图像传感器的结构示意图。如图1b所示，本申请实施例提供的像素密度可调的图像传感器包括：多个图像传感器像素11和一可控变形材料部12，其中，图像传感器通过图像传感器像素11进行图像采集，多个图像传感器像素11呈阵列分布，可控变形材料部12分别与多个图像传感器像素11连接；可控变形材料部12在外场作用下可发生形变、并通过可控变形材料部12的形变相应调整多个图像传感器像素11的密度分布。
本申请实施例提供的技术方案中，所述可控变形材料部为通过改变该可控变形材料部上的某外场作用因素可使其发生形变，在某外场作用因素撤销或改变时，该可控变形材料部的形变可以恢复，所述外场可针对所述可控变形材料部的形变特性选择作用于其上的相应控制外场，例如所述外场包括但不限于外部电场、磁场、光场等等。图像传感器像素可包括但不限于至少一光电转换单元。各图像传感器像素与可控变形材料部之间可采用但不限于粘接等方式进行紧密连接，这样，当所述可控变形材料部发生形变，就会相应调整各图像传感器像素之间的间距，由此改变图像传感器像素的密度分布，达到可根据实际需要赋予图像传感器不同区域以差异化像素密度分布的效果。
实际应用中，可将不均匀分布的外场作用在所述可控变形材料部的不同区域，使得所述可控变形材料部不同部分区域发生不同程度的变形，由此调整图像传感器像素的整体密度分布。可选的，可将所述外场作用在所述可控变形材料部与多个所述图像传感器像素不重叠的区域，这样可使得所述可控变形材料部与所述图像传感器像素重叠的区域不发生形变，而是通过所述可控变形材料部的其他部分的形变来改变图像传感器像素的密度分布，该方案有利于避免因可控变形材料部的形变对所述图像传感器像素造成的损坏。
实际应用中，可根据需要选择合适的至少一种可控变形材料来制备所述可控变形材料部，以使所述可控变形材料部具有可变形且变形可恢复的特性。可选的，所述可控变形材料部至少由以下一种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形变材料、磁致伸缩材料。
所述压电材料可以因电场作用产生机械变形。采用所述压电材料制备的可控变形材料部以下称为压电材料部。利用所述压电材料的这一物理特性，本申请实施例可根据但不限于所述目标像素密度分布信息确定用于使压电材料部发生相应机械形变所需的电场控制信息，根据所述电场控制信息控制作用在压电材料部的电场，使得所述压电材料部发生相应的机械形变，通过所述压电材料部的机械形变相应调整图像传感器的像素密度分布，由此达到根据所述目标像素密度分布信息调整所述图像传感器的像素密度分布的目的。所述压电材料可包括但不限于以下至少之一：压电陶瓷、压电晶体。该方案可充分利用压电材料的物理特性来调整图像传感器的像素密度分布。
所述电活性聚合物(Electroactive Polymers，简称EAP)是一类能够在电场作用下改变其形状或大小的聚合物材料。采用所述电活性聚合物制备的可控变形材料部以下称为电活性聚合物部。利用所述电活性聚合物的这一物理特性，本申请实施例可根据但不限于所述目标像素密度分布信息确定用于使电活性聚合物部发生相应形变所需的电场控制信息，根据所述电场控制信息控制作用在电活性聚合物层的电场，使得所述电活性聚合物层发生相应的形变，通过所述电活性聚合物层的形变相应调整图像传感器的像素密度分布，由此达到根据所述目标像素密度分布信息调整所述图像传感器的像素密度分布的目的。所述电活性聚合物可包括但不限于以下至少之一：电子型电活性聚合物、离子型电活性聚合物；所述电子型电活性聚合物包括以下至少之一：铁电体聚合物(如聚偏氟乙烯等)、电致伸缩接枝弹性体、液晶弹性体；所述离子型电活性聚合物包括以下至少之一：电流变液、离子聚合物-金属复合材料等。该方案可充分利用电活性聚合物的物理特性来调整图像传感器的像素密度分布。
所述光致形变材料是一类能够在光场作用下改变其形状或大小的高分子材料。采用所述光致形变材料制备的可控变形材料部以下称为光致形变材料部。利用所述光致形变材料的这一物理特性，本申请实施例可根据但不限于所述目标像素密度分布信息确定光致形变材料部发生相应形变所需的光场控制信息，根据所述光场控制信息控制作用在所述光致形变材料部的光场，使得所述光致形变材料部发生相应的形变。通过所述光致形变材料部的形变相应调整图像传感器的像素密度分布，由此达到根据所述目标像素密度分布信息调整所述图像传感器的像素密度分布的目的。所述光致形变材料可包括但不限于以下至少之一：光致伸缩铁电陶瓷、光致形变聚合物；所述光致伸缩铁电陶瓷包括但不限于锆钛酸铅镧(PLZT)陶瓷，光致形变聚合物包括但不限于光致形变液晶弹性体)。该方案可充分利用光致形变材料的物理特性来调整图像传感器的像素密度分布。
所述磁致伸缩材料是一类能够在磁场作用下改变其磁化状态，进而使其尺寸发生变化的磁性材料。采用所述磁致形变材料制备的可控变形材料部以下称为磁致形变材料部。利用所述磁致伸缩材料的这一物理特性，本申请实施例可根据但不限于所述目标像素密度分布信息确定磁致伸缩材料发生相应形变所需的磁场控制信息，根据所述磁场控制信息控制作用在所述磁致形变材料部的磁场，使得所述磁致形变材料部发生相应的形变。通过所述磁致形变材料部的形变相应调整图像传感器的像素密度分布，由此达到根据所述目标像素密度分布信息调整所述图像传感器的像素密度分布的目的。所述磁致形变材料可包括但不限于稀土超磁致伸缩材料，如以(Tb,Dy)Fe2化合物为基体的合金Tbo0.3Dy0.7Fe1.95材料等。该方案可充分利用磁致形变材料的物理特性来调整图像传感器的像素密度分布。
本申请实施例提供的技术方案中，各图像传感器像素和可控变形材料部的具体结构和连接方式可根据实际需要确定，实际方式非常灵活。
一种可选的实现方式，如图1b所示，所述可控变形材料部12包括：一可控变形材料层121，多个所述图像传感器像素11阵列分布且连接在所述可控变形材料层121的一面。可选的，可根据实际工艺条件选择将多个所述图像传感器像素直接形成于所述可控变形材料层12上，或者，多个所述图像传感器像素与所述可控变形材料层12可分别制备且二者可采用但不限于粘接的方式紧密连接。该方案结构简单、易实现。
另一种可选的实现方式，如图1c所示，所述可控变形材料部12包括多个可控变形材料连接子部122，多个所述可控变形材料连接子部122阵列分布，以对应连接阵列分布的多个所述图像传感器像素11，即阵列分布的多个所述图像传感器像素通过阵列分布的多个所述可控变形材料连接子部连接为一体。可选的，可根据实际工艺在图像传感器像素阵列的像素的间隔区域形成多个所述可控变形材料连接子部，多个所述可控变形材料连接子部与相应图像传感器像素可以采用但不限于抵接、粘接等方式连接。通过控制多个所述可控变形材料连接子部的形变即可调整图像传感器像素的密度分布，结构简单，易实现。
进一步，如图1d和图1e所示，所述图像传感器还可包括：形变控制部13，形变控制部13用于调节作用到所述可控变形材料部12的所述外场的分布，以控制所述可控变形材料部12发生相应的形变，这样，当所述可控变形材料部12发生形变，就会相应调整各图像传感器像素11之间的间距，由此改变图像传感器像素11的密度分布，达到可根据实际需要赋予图像传感器不同区域以差异化像素密度分布的效果。
可选的，如图1d所示，所述形变控制部可包括光场控制部131，光场控制部131用于调节作用到所述可控变形材料部12的外部光场分布，以控制所述可控变形材料部12发生相应的形变。该情形下，所述可控变形材料部12可包括至少由光致形变材料制备而成的光致形变材料部，如所述光致形变材料部可包括至少由所述光致形变材料制备而得的光致形变材料层，或者，所述可控变形材料部可包括至少由所述光致形变材料制备而得的多个光致形变材料连接子部。光场控制部131通过改变作用在所述光致形变材料部的光场分布(图1d中通过箭头疏密表示作用在所述可控变形材料部12不同强度分布的光场)，来激励所述可控变形材料部12的不同区域发生不同程度的形变，并通过所述可控变形材料部12的形变相应各图像传感器像素11之间的间距，由此改变图像传感器像素11的密度分布，达到可根据实际需要赋予图像传感器不同区域以差异化像素密度分布的效果。
可选的，如图1e所示，所述形变控制部可包括电场控制部132，电场控制部132用于调节作用到所述可控变形材料部的外部电场分布，以控制所述可控变形材料部发生相应的形变。该情形下，所述可控变形材料部12可包括至少由压电材料制备而成的压电材料部(如压电材料层或者压电材料连接子部，等等)，或者，所述可控变形材料部12可包括至少由电活性聚合物制备而成的电活性聚合物部(如电活性聚合物层或者电活性聚合物连接子部，等等)。如图1e所示，可通过控制线连接电场控制部和可控变形材料，电场控制部132通过改变作用在所述可控变形材料部的电场分布，来激励所述可控变形材料部12的不同区域发生不同程度的形变。如果作用在所述可控变形材料部12电场为零电场，则所述可控变形材料部不发生形变(不妨称为零电场激励)；如果改变作用在所述可控变形材料部12的电场强弱分布(如图中所示的“+”正电场激励和“-”负电场激励)，使得作用在所述可控变形材料部12不同区域的电场强度有所差异，如图1f所示，这样，所述可控变形材料部的不同区域可发生不同程度的形变，并通过所述可控变形材料部12的形变相应调整各图像传感器像素11之间的间距，由此改变图像传感器的整体像素密度分布，达到可根据实际需要赋予图像传感器不同区域以差异化像素密度分布的效果。
本申请实施例中所述可控变形部与形变控制部可直接连接，也可间接连接。所述形变控制部可作为所述图像传感器的一部分，或者，所述形变控制部也可不作为所述图像传感器的一部分，所述图像传感器也可预留管脚、接口等方式与所述形变控制部连接。作用在所述可控变形材料部上的外场可包括但不限于电场、磁场、光场等。用于产生电场的硬件、软件结构，用于产生磁场的硬件、软件结构、以及用于产生光场的硬件、软件结构等，可根据实际需要采用相应的现有技术实现，本申请实施例在此不再赘述。
可选的，所述图像传感器还可包括柔性衬底，所述柔性衬底可包括但不限于柔性塑料衬底，其具有一定的柔性，可根据需要改变柔性衬底的形状。图像传感器像素、可控变形材料部可设柔性衬底的同侧或不同侧。例如：如图1g所示，多个所述图像传感器像素11连接于柔性衬底14的一面，可控变形材料部(如可控变形材料层121)连接于柔性衬底14的另一面。又例如：如图1h所示，多个所述图像传感器像素11连接于柔性衬底14的一面，可控变形材料部(如可控变形材料连接子部122)连接相应的图像传感器像素且与所述图形传感器像素11位于所述柔性衬底14的同一面。该方案不仅可以通过作用在可控变形材料部的外场控制其发生形变来间接调整图像传感器的整体像素密度分布，实现图像传感器的像度密度可调，还可因其采用了柔性衬底灵活改变图像传感器的形状，如将平面的图像传感器弯曲一定角度以得到曲面的图像传感器，由此满足多样化图像采集、装饰等应用需求。
图1i为本申请实施例提供第七种像素密度可调的图像传感器的结构示意图。如图1i所示的图像传感器中，所述可控变形材料部12包括：柔性衬底123和多个导磁材料部124；多个图像传感器像素11分别与柔性衬底123连接，至少部分图像传感器像素11上连接有多个导磁材料部124，通过改变作用在导磁材料部124的磁场使柔性衬底123发生相应形变、并通过所述形变相应调整多个所述图像传感器像素11的密度分布。例如：可在每个图像传感器像素的侧面设置一导磁材料部124，可选的，图像传感器像素11分别与柔性衬底123和导磁材料部124粘接。所述导磁材料部可包括导磁材料制备的磁极，所述导磁材料可以但不限于使用软磁性材料、硅钢片，坡莫合金，铁氧体，非晶态软磁合金、超微晶软磁合金等中的一种或多种。采用软磁性材料作制备的所述导磁材料部导磁性能较好，磁场撤销后剩磁很小以便于下一次调整。
进一步，可选的，本申请实施例所述的形变控制部13还可包括：磁场控制部133，磁场控制部133用于调节作用到所述可控变形材料部的外部磁场分布，以控制所述可控变形材料部发生相应的形变。例如，当磁场控制部133控制作用在导磁材料部124上的磁场(即激励磁场)发生变化时，如图1i所示的相邻图像传感器像素之间施加一定磁场强弱分布的同磁极(NN或SS)排斥磁场或异磁极(NS或SN)吸引磁场，磁极之间会相应产生排斥力或吸引力，该磁力作用传递到柔性衬底123使柔性衬底123发生伸缩等变形，进而导致相应图像传感器像素之间的间距发生改变，实现调整图像传感器像素密度分布的目的。该方案结合柔性衬底的可伸缩等形变特性以及磁场控制原理，实现图像传感器上的像素密度分布可调。
图1j为本申请实施例提供第八种像素密度可调的图像传感器的结构示意图。如图1j所示的图像传感器中，所述可控变形材料部12包括：柔性衬底123和多个导磁材料部124；多个导磁材料部124的一面分别与所述柔性衬底123连接，多个所述导磁材料部124的相对面分别对应连接多个所述图像传感器像素11，通过改变作用在所述导磁材料部124的磁场使所述柔性衬底11发生相应形变、并通过所述形变相应调整多个所述图像传感器像素11的密度分布。可选的，导磁材料部124与柔性衬底123粘接、图像传感器像素11与导磁材料部124粘接，当柔性衬底123发生当作用在导磁材料部124上的磁场发生变化时，磁力作用传递到柔性衬底123使柔性衬底123发生伸缩等变形，进而实现调整图像传感器像素密度分布的目的。该方案结合柔性衬底的可伸缩等形变特性以及磁场控制原理，实现图像传感器上的像素密度分布可调。
本领域技术人员可以理解，在本申请具体实施方式的上述任一方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。
图3为本申请实施例提供的一种超分辨率图像的获取装置的逻辑框图。如图3所示，本申请实施例提供的一种超分辨率图像的获取装置包括：一原始图像获取模块31、一像素点分布改变模块32、一调节图像获取模块33和一超分辨率图像获取模块34。
原始图像获取模块31用于经图像传感器获取待摄场景的一图像。
像素点分布改变模块32用于改变所述图像传感器的像素点分布至少一次。
调节图像获取模块33用于经每次改变后的所述图像传感器分别获取所述待摄场景的一图像。
超分辨率图像获取模块34用于根据获取的各图像获取所述待摄场景的一超分辨率图像。
在所述像素点分布改变模块32每次改变了所述图像传感器的像素点分布之后，可触发所述调节图像获取模块33对相同场景进行一次图像采集。
本申请实施例提供的技术方案，经像素点分布调节前的图像传感器获取一图像，之后改变所述图像传感器的像素点分布至少一次，并在每次改变之后经改变后的图像传感器再分别获取相同场景的一图像，这样相当于分时获取了针对同一场景的内容相似但采集到的细节信息不完全相同的一组图像，对这一组图像进行融合等软件处理即可生成一超分辨率图像，该超分辨率图像的分辨率高于所述一组图像中每幅图像的分辨率。由此可见，本申请实施例提供技术方案无需使用多个相机或多个图像传感器即可获取超分辨率图像，方案简单易实现，可更好满足用户多样化的实际应用需求。
本申请实施例提供的超分辨率图像的获取装置可在但不限于拍照、摄像、摄影、视频监控等应用过程中通过执行该超分辨率图像的获取方法进行静态或动态的图像处理控制。所述超分辨率图像的获取装置的设备表现形式不受限制，例如所述超分辨率图像的获取装置可为某一独立的部件，该部件与如相机、摄影机、手机、穿戴式摄像头等成像设备配合通信；或者，所述超分辨率图像的获取装置可作为某一功能模块集成在一成像设备中，本申请实施例对此并不限制。
可选的，如图4所示，所述像素点分布改变模块32包括：一第一像素点分布调节子模块321。第一像素点分布调节子模块321用于增加所述图像传感器的第一成像区域的平均像素点密度至少一次，所述第一成像区域为所述图像传感器的部分成像区域。在所述第一像素点分布调节子模块321每次改变了所述图像传感器的像素点分布之后，可触发所述调节图像获取模块33对相同场景进行一次图像采集。
该方案使得所述图像传感器的所述第一成像区域的像素点数量增加、像素点分布较为密集，即所述第一成像区域的平均像素点密度增加了，此时，经图像传感器获取的相同场景的图像中对应第一成像区域的子图像的细节较为丰富，分辨率较高，而该图像的其他子图像的分辨率则较低，由此形成了分辨率差异分布的图像。
可选的，所述像素点分布改变模块32包括：一第二像素点分布调节子模块322。第二像素点分布调节子模块322用于减小所述图像传感器的第一成像区域的平均像素点密度至少一次，所述第一成像区域为所述图像传感器的部分成像区域。在所述第二像素点分布调节子模块322每次改变了所述图像传感器的像素点分布之后，可触发所述调节图像获取模块33对相同场景进行一次图像采集。该方案减小所述图像传感器的所述第一成像区域的像素点数量，使所述第一成像区域内的像素点较为稀疏，而第二成像区域的平均像素点密度增加，经图像传感器获取的相同场景的图像中对应第一成像区域的子图像的分辨率较低，而对应第二成像区域的子图像的细节较为丰富，分辨率较高，由此形成了分辨率差异分布的图像。
可选的，所述获取装置还包括：一成像区域确定模块35。成像区域确定模块35用于确定所述图像传感器与第一区对应的成像区域，所述第一区为所述待摄场景的局部。相应的，所述像素点分布改变模块32包括：一第三像素点分布调节子模块323，第三像素点分布调节子模块323用于改变确定的所述成像区域内的像素点分布至少一次。该方案可对所述图像传感器对应待摄场景的局部的成像区域进行针对性调节，以实现对所述图像传感器的像素点分布进行灵活调整。可选的，所述第三像素点分布调节子模块323包括：一像素点调密单元3231。像素点调密单元3231用于增加确定的所述成像区域内的平均像素点密度至少一次。该方案通过增加所述成像区域内的平均像素点密度，可提高经像素点分布调节后的图像传感器获取的图像中对应所述成像区域的子图像的成像质量。
可选的，所述获取装置还包括：一第一区确定模块36。第一区确定模块36用于确定所述第一区。该方案可根据实际需要预先确定当前待摄场景的局部为所述第一区，可更好满足用户个性化的应用需求。
进一步的，可选的，如图5所示，所述第一区确定模块36包括：一感兴趣区确定信息获取子模块361和一感兴趣区确定子模块362。感兴趣区确定信息获取子模块361用于基于所述图像传感器关于所述待摄场景的预览图像获取感兴趣区确定信息；感兴趣区确定子模块362用于确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。该方案根据所述预览图像的感兴趣区确定待摄场景中与之对应的局部为所述第一区，使得所述第一区的确定与实际用户需求更为吻合，可更好满足用户个性化的应用需求。
可选的，所述第一区确定模块36包括：一图像分析子模块363和一第一区确定子模块364。图像分析子模块363用于对所述图像传感器关于所述待摄场景的预览图像进行图像分析；第一区确定子模块364用于根据所述图像分析结果确定所述第一区。该方案可根据所述预览图像的图像分析结果确定待摄场景中与之对应的区域为所述第一区，使得所述第一区的确定更为智能，提高所述第一区确定的效率和普适性。
图6为本申请实施例提供的另一种超分辨率图像的获取装置的结构框图，本申请具体实施例并不对超分辨率图像的获取装置700的具体实现方式做限定。如图6所示，超分辨率图像的获取装置600可以包括：
处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630、以及通信总线640。其中：
处理器610、通信接口620、以及存储器630通过通信总线640完成相互间的通信。
通信接口620，用于与比如具有通信功能的设备、外部光源等通信。
处理器610，用于执行程序632，具体可以执行上述任一光场采集控制方法实施例中的相关步骤。
例如，程序632可以包括程序代码，所述程序代码包括计算机操作指令。
处理器610可能是一个中央处理器(Central Processing Unit，简称CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器630，用于存放程序632。存储器630可能包含随机存取存储器(RandomAccess Memory，简称RAM)，也可能还包括非易失性存储器(Non-volatile memory)，例如至少一个磁盘存储器。
例如，在一种可选的实现方式中，处理器610通过执行程序632可执行以下步骤：经图像传感器获取待摄场景的一图像；改变所述图像传感器的像素点分布至少一次；经每次改变后的所述图像传感器分别获取所述待摄场景的一图像；根据获取的各图像获取所述待摄场景的一超分辨率图像。
在其他可选的实现方式中，处理器610通过执行程序632还可执行上述其他任一实施例提及的步骤，在此不再赘述。
程序632中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述，在此不再赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
可选的，所述图像传感器可采用上文所述的柔性图像传感器。或者，所述图像传感器还可包括：阵列分布的多个图像传感器像素；一可控变形材料部，分别与多个所述图像传感器像素连接；所述可控变形材料部在外场作用下可发生形变、并通过所述形变相应调整多个所述图像传感器像素的密度分布；所述外场由所述成像控制装置控制。
有关所述图像传感器的结构可参见图1b-图1j的相应记载，所述成像控制装置可直接控制所述外场来控制所述可控变形材料部的形变，进而改变所述图像传感器的像素点分布；或者，所述成像控制装置可通过控制所述形变控制部来间接控制外场，使得所述可控变形材料部发生相应形变以相应改变所述图像传感器的像素点分布；等等。所述图像传感器像素和所述变形材料部的物理连接方式，可根据实际需要确定，只要满足在所述变形材料部发生形变时可改变所述图像传感器的像素点分布即可，本申请实施例对此并不限制，具体实现方式可参见上文的相应记载，在此不再赘述。
在本申请上述各实施例中，实施例的序号和/或先后顺序仅仅便于描述，不代表实施例的优劣。对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述，可参见相应方法实施例的记载，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中，显然，各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时，在上面对本申请具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是：以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。
Claims (18)
1.一种超分辨率图像的获取方法，其特征在于，包括：
经图像传感器获取待摄场景的一图像，所述图像传感器为柔性图像传感器；
改变所述图像传感器的像素点分布至少一次；
经每次改变后的所述图像传感器分别获取所述待摄场景的一图像；
根据获取的各图像获取所述待摄场景的一超分辨率图像。
2.根据权利要求1所述的获取方法，其特征在于，改变所述图像传感器的像素点分布至少一次，包括：
增加所述图像传感器的第一成像区域的平均像素点密度至少一次，所述第一成像区域为所述图像传感器的部分成像区域。
3.根据权利要求1所述的获取方法，其特征在于，改变所述图像传感器的像素点分布至少一次，包括：
减小所述图像传感器的第一成像区域的平均像素点密度至少一次，所述第一成像区域为所述图像传感器的部分成像区域。
4.根据权利要求2或3所述的获取方法，其特征在于，至少一次改变所述图像传感器的像素点分布之后，所述第一成像区域内的像素点均匀分布或非均匀分布。
5.根据权利要求2或3所述的获取方法，其特征在于，所述第一成像区域包括多个成像子区，所述多个成像子区在所述图像传感器内分散分布。
6.根据权利要求1所述的获取方法，其特征在于，
所述获取方法还包括：确定所述图像传感器与第一区对应的成像区域，所述第一区为所述待摄场景的局部；
改变所述图像传感器的像素点分布至少一次，包括：改变确定的所述成像区域内的像素点分布至少一次。
7.根据权利要求6所述的获取方法，其特征在于，改变确定的所述成像区域内的像素点分布至少一次，包括：
增加确定的所述成像区域内的平均像素点密度至少一次。
8.根据权利要求6或7所述的获取方法，其特征在于，所述获取方法还包括：
确定所述第一区。
9.根据权利要求8所述的获取方法，其特征在于，确定所述第一区，包括：
基于所述图像传感器关于所述待摄场景的预览图像获取感兴趣区确定信息；
确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。
10.根据权利要求8所述的获取方法，其特征在于，确定所述第一区，包括：
对所述图像传感器关于所述待摄场景的预览图像进行图像分析；
根据所述图像分析结果确定所述第一区。
11.一种超分辨率图像的获取装置，其特征在于，包括：
一原始图像获取模块，用于经图像传感器获取待摄场景的一图像，所述图像传感器为柔性图像传感器；
一像素点分布改变模块，用于改变所述图像传感器的像素点分布至少一次；
一调节图像获取模块，用于经每次改变后的所述图像传感器分别获取所述待摄场景的一图像；
一超分辨率图像获取模块，用于根据获取的各图像获取所述待摄场景的一超分辨率图像。
12.根据权利要求11所述的超分辨率图像的获取装置，其特征在于，所述像素点分布改变模块包括：
一第一像素点分布调节子模块，用于增加所述图像传感器的第一成像区域的平均像素点密度至少一次，所述第一成像区域为所述图像传感器的部分成像区域。
13.根据权利要求11或12所述的超分辨率图像的获取装置，其特征在于，所述像素点分布改变模块包括：
一第二像素点分布调节子模块，用于减小所述图像传感器的第一成像区域的平均像素点密度至少一次，所述第一成像区域为所述图像传感器的部分成像区域。
14.根据权利要求11所述的超分辨率图像的获取装置，其特征在于，
所述获取装置还包括：一成像区域确定模块，用于确定所述图像传感器与第一区对应的成像区域，所述第一区为所述待摄场景的局部；
所述像素点分布改变模块包括：一第三像素点分布调节子模块，用于改变确定的所述成像区域内的像素点分布至少一次。
15.根据权利要求14所述的超分辨率图像的获取装置，其特征在于，所述第三像素点分布调节子模块包括：
一像素点调密单元，用于增加确定的所述成像区域内的平均像素点密度至少一次。
16.根据权利要求14或15所述的超分辨率图像的获取装置，其特征在于，所述获取装置还包括：
一第一区确定模块，用于确定所述第一区。
17.根据权利要求16所述的超分辨率图像的获取装置，其特征在于，所述第一区确定模块包括：
一感兴趣区确定信息获取子模块，用于基于所述图像传感器关于所述待摄场景的预览图像获取感兴趣区确定信息；
一感兴趣区确定子模块，用于确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。
18.根据权利要求16所述的超分辨率图像的获取装置，其特征在于，所述第一区确定模块包括：
一图像分析子模块，用于对所述图像传感器关于所述待摄场景的预览图像进行图像分析；
一第一区确定子模块，用于根据所述图像分析结果确定所述第一区。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410521674.6A CN105450924B (zh) | 2014-09-30 | 2014-09-30 | 超分辨率图像的获取方法和装置 |
| US15/510,820 US10110810B2 (en) | 2014-09-30 | 2015-08-26 | Super-resolution image acquisition methods and apparatus |
| PCT/CN2015/088108 WO2016050126A1 (en) | 2014-09-30 | 2015-08-26 | Super-resolution image acquisition methods and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410521674.6A CN105450924B (zh) | 2014-09-30 | 2014-09-30 | 超分辨率图像的获取方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105450924A CN105450924A (zh) | 2016-03-30 |
| CN105450924B true CN105450924B (zh) | 2019-04-12 |
Family
ID=55560659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410521674.6A Active CN105450924B (zh) | 2014-09-30 | 2014-09-30 | 超分辨率图像的获取方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10110810B2 (zh) |
| CN (1) | CN105450924B (zh) |
| WO (1) | WO2016050126A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107995518B (zh) * | 2017-12-22 | 2021-02-26 | 海信视像科技股份有限公司 | 图像显示方法、装置和计算机存储介质 |
| CN109598676A (zh) * | 2018-11-15 | 2019-04-09 | 华南理工大学 | 一种基于哈达玛变换的单幅图像超分辨率方法 |
| CN112313944A (zh) * | 2019-11-28 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112488964B (zh) * | 2020-12-18 | 2024-04-16 | 深圳市镜玩科技有限公司 | 针对滑动列表的图像处理方法、相关装置、设备及介质 |
| CN112954195A (zh) * | 2021-01-27 | 2021-06-11 | 维沃移动通信有限公司 | 对焦方法、装置、电子设备及介质 |
| US11468705B1 (en) * | 2021-06-21 | 2022-10-11 | Novatek Microelectronics Corp. | Display device with a fingerprint sensing function |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
| CN203225818U (zh) * | 2013-05-15 | 2013-10-02 | 威海华菱光电股份有限公司 | 可同时扫描两行数据的图像处理装置 |
| CN104063856A (zh) * | 2014-05-28 | 2014-09-24 | 北京大学深圳研究生院 | 一种快速超分辨率图像重建方法和装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7009645B1 (en) * | 1999-09-30 | 2006-03-07 | Imec Vzw | Constant resolution and space variant sensor arrays |
| EP1160725A3 (de) * | 2000-05-09 | 2002-04-03 | DaimlerChrysler AG | Bildaufnehmer und Bildaufnahmeverfahren, insbesondere zur dreidimensionalen Erfassung von Objekten oder Szenen |
| US20030137585A1 (en) * | 2001-12-12 | 2003-07-24 | James Mahon | Machine vision system |
| JP4818053B2 (ja) * | 2006-10-10 | 2011-11-16 | 株式会社東芝 | 高解像度化装置および方法 |
| US8169495B2 (en) * | 2006-12-01 | 2012-05-01 | Broadcom Corporation | Method and apparatus for dynamic panoramic capturing |
| US7742090B2 (en) | 2006-12-22 | 2010-06-22 | Palo Alto Research Center Incorporated | Flexible segmented image sensor |
| CN101345870B (zh) * | 2008-09-04 | 2010-06-30 | 上海交通大学 | 低码率视频超分辨率重构的编码装置和解码装置 |
| US20120159996A1 (en) * | 2010-12-28 | 2012-06-28 | Gary Edwin Sutton | Curved sensor formed from silicon fibers |
| JP5762114B2 (ja) * | 2011-04-28 | 2015-08-12 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| US8675999B1 (en) | 2012-09-28 | 2014-03-18 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Apparatus, system, and method for multi-patch based super-resolution from an image |
| US20140160231A1 (en) | 2012-12-12 | 2014-06-12 | Daniel C. Middleton | Multi-focal image capture and display |
| US9817935B2 (en) * | 2014-07-17 | 2017-11-14 | King Abdulaziz City For Science And Technology | Interlaced bi-sensor super-resolution enhancement |
| CN104159025B (zh) | 2014-08-06 | 2018-02-13 | 北京智谷睿拓技术服务有限公司 | 图像采集控制方法和装置、图像采集设备 |
-
2014
- 2014-09-30 CN CN201410521674.6A patent/CN105450924B/zh active Active
-
2015
- 2015-08-26 WO PCT/CN2015/088108 patent/WO2016050126A1/en active Application Filing
- 2015-08-26 US US15/510,820 patent/US10110810B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
| CN203225818U (zh) * | 2013-05-15 | 2013-10-02 | 威海华菱光电股份有限公司 | 可同时扫描两行数据的图像处理装置 |
| CN104063856A (zh) * | 2014-05-28 | 2014-09-24 | 北京大学深圳研究生院 | 一种快速超分辨率图像重建方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10110810B2 (en) | 2018-10-23 |
| WO2016050126A1 (en) | 2016-04-07 |
| US20170280052A1 (en) | 2017-09-28 |
| CN105450924A (zh) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105450924B (zh) | 超分辨率图像的获取方法和装置 | |
| CN105472233B (zh) | 光场采集控制方法和装置、光场采集设备 | |
| CN104243823B (zh) | 光场采集控制方法和装置、光场采集设备 | |
| CN104469147B (zh) | 光场采集控制方法和装置、光场采集设备 | |
| CN104301605B (zh) | 数码变焦图像的成像控制方法和装置、成像设备 | |
| CN104159025B (zh) | 图像采集控制方法和装置、图像采集设备 | |
| CN105530423B (zh) | 超分辨率图像的获取方法和获取装置 | |
| Bhat et al. | Deep burst super-resolution | |
| Kuthirummal et al. | Flexible depth of field photography | |
| CN104410845B (zh) | 光通信发送方法和装置、接收方法和装置、光通信系统 | |
| CN104157660B (zh) | 像素密度可调的图像传感器及其像素密度调整方法 | |
| CN104159038B (zh) | 浅景深效果图像的成像控制方法和装置及成像设备 | |
| US20180033356A1 (en) | Display control methods and apparatuses, display devices | |
| WO2016107208A1 (en) | Light field display control methods and apparatus, and light field display devices | |
| CN104486555B (zh) | 图像采集控制方法和装置 | |
| CN104320596A (zh) | 超分辨率图像的获取方法和获取装置 | |
| Chandramouli et al. | Convnet-based depth estimation, reflection separation and deblurring of plenoptic images | |
| CN111327887A (zh) | 电子装置及其操作方法，以及处理电子装置的图像的方法 | |
| Dayan et al. | Deep sparse light field refocusing | |
| Chandramouli et al. | A generative model for generic light field reconstruction | |
| Liang et al. | Light field acquisition using programmable aperture camera | |
| Tateishi et al. | Time-multiplexed coded aperture and coded focal stack-comparative study on snapshot compressive light field imaging | |
| Portz et al. | High-quality video denoising for motion-based exposure control | |
| Park et al. | Light field image super-resolution based on multilevel structures | |
| CN104702847B (zh) | 图像分辨率调整方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 002, 5th Floor, Building 1, No. 33 Xierqi Middle Road, Haidian District, Beijing, 100085 Patentee after: BEIJING ZHIGU TECH Co.,Ltd. Country or region after: China Address before: 100085 room 1f06, 1 / F, 33 Xiaoying West Road, Haidian District, Beijing Patentee before: BEIJING ZHIGU TECH Co.,Ltd. Country or region before: China |