CN102611842A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备和图像处理方法。在一个实施例中，提供一种图像处理设备。该图像处理设备可以包含：第一图像采集器，配置成采集第一空间分辨率的第一图像；第二图像采集器，配置成采集第二空间分辨率的第二图像，其中第二空间分辨率可以高于第一空间分辨率；确定器，配置成基于预定相似度标准确定第一图像中对应于第二图像的预定部分的第一图像的一部分的位置；以及复制电路，配置成基于确定的位置将第二图像的预定部分复制到输出图像中的位置。

Description

图像处理设备和图像处理方法

技术领域

实施例一般涉及图像处理设备和图像处理方法。

背景技术

价格驱动的产品（例如，诸如移动电话或多媒体播放器/录像机的几乎所有非专用照相机实现的消费设备）中的照相机模块可以以称为“滚动快门”的电子方式实现快门机制。不像在经典照相机设备中，其中传感器（或胶片）曝光可以通过机械卷帘控制，而电子快门可以通过激励且随后去激励相应传感器元件这样做。尽管所谓的同步快门可以同时激励和去激励所有的光敏单元，滚动快门可以通过逐行曝光传感器工作。同步快门可能涉及读出逻辑，因为可能针对所有行需要同步发生到影子存储器的转移，因而增加了设备复杂性且进而增加了成本。

基于滚动快门的解决方案几乎可以在整个帧周期上扩展读出时间，因而允许片上相对低速和小的缓冲器。因此，实际上，在除了消费数码照片中的最高质量片段之外的所有中，基于滚动快门的系统可以是流行的解决方案。成本和复杂性的优点可以在某一价格体现，但是：因为各行可能在不同时间点暴露于光，快速移动的对象（或照相机移动/摇摄）可能导致明显的伪像。

发明内容

本发明第一方面涉及一种图像处理设备，包含：

第一图像采集器，配置成采集第一空间分辨率的第一图像；

第二图像采集器，配置成采集第二空间分辨率的第二图像，其中第二空间分辨率高于第一空间分辨率；

确定器，配置成基于预定相似度标准确定第一图像中对应于第二图像的预定部分的第一图像的一部分的位置；以及

复制电路，配置成基于确定的位置将第二图像的预定部分复制到输出图像中的位置。

本发明第二方面涉及一种图像处理方法，包含：

采集第一空间分辨率的第一图像；

采集第二空间分辨率的第二图像，其中第二空间分辨率高于第一空间分辨率；

基于预定相似度标准确定第一图像中对应于第二图像的预定部分的第一图像的一部分的位置；以及

基于确定的位置，将第二图像的预定部分复制到输出图像中的位置。

本发明第三方面涉及一种图像处理设备，包括：

第一图像采集器，配置成采集第一空间分辨率的第一图像；

第二图像采集器，配置成采集第二空间分辨率的第二图像，其中第二空间分辨率高于第一空间分辨率；

放大电路，配置成将第一图像放大到第二空间分辨率；

运动向量采集器，配置成基于执行第二图像相对于放大的第一图像的运动估算采集至少一个运动向量；以及

发生电路，配置成基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

本发明第四方面涉及一种图像处理方法，包含：

采集第一空间分辨率的第一图像；

采集第二空间分辨率的第二图像，其中第二空间分辨率高于第一空间分辨率；

将第一图像放大到第二空间分辨率；

基于执行第二图像相对于放大的第一图像的运动估算采集至少一个运动向量；以及

基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

附图说明

在附图中，贯穿不同视图，相似的参考符号一般表示相同的部件。附图没有必要按比例绘制，而是将重点放在说明本发明的原理上。在下面的描述中，将参考下图描述本发明的各个实施例。附图中：

图1示出说明同步快门的图像采集的图示；

图2示出说明滚动快门的图像采集的图示；

图3示出根据一个实施例的图像处理设备；

图4示出根据一个实施例的图像处理设备；

图5示出说明根据一个实施例的图像处理方法的流程图；

图6示出根据一个实施例的图像处理设备；

图7示出说明根据一个实施例的图像处理方法的流程图；

图8示出说明根据一个实施例的第一图像的图像采集的图示；

图9示出说明根据一个实施例的输出图像的产生的图示；

图10示出根据一个实施例的第二图像；

图11示出根据一个实施例的第一图像；

图12示出根据一个实施例的放大的第一图像；以及

图13示出根据一个实施例的输出图像。

具体实施方式

下面的详细描述参考附图，附图以说明性方式示出可以实践本发明的特定细节和实施例。这些实施例被足够详细地描述以使得本领域技术人员能够实践本发明。可以利用其他实施例且可以在不偏离本发明的范围的条件下做出结构、逻辑和电学变化。各个实施例没有必要相互排他，因为一些实施例可以与一个或更多其他实施例组合以形成新的实施例。

术语“耦合”或“连接”分别旨在包括直接“耦合”或直接“连接”以及间接“耦合”或间接“连接”。

此处使用用词“示例性”来表示“用作示例、实例或说明”。此处描述为“示例性”的任意实施例或设计没有必要解读为比其他实施例或设计更优选或有利。

图像处理设备可以包括存储器，该存储器例如可以在终端用户设备实施的处理中使用。在实施例中使用的存储器可以是：易失性存储器，例如DRAM（动态随机存取存储器）；或非易失性存储器，例如PROM（可编程只读存储器）、EPROM（可擦除PROM）、EEPROM（电学可擦除PROM）；或闪存，例如，浮栅存储器、电荷捕获存储器、MRAM（磁阻随机存取存储器）或PCRAM（相变随机存取存储器）。

在一个实施例中，“电路”可以理解成任意种类的逻辑实现实体，其可以是专用目的电子电路或执行存储在存储器中的软件、固件或其任意组合的处理器。因而，在一个实施例中，“电路”可以是硬布线逻辑电路或诸如可编程处理器的可编程逻辑电路，例如是微处理器（例如，复杂指令集计算机（CISC）处理器或精简指令集计算机（RISC）处理器）。“电路”还可以是执行软件的处理器，所述软件例如任意种类的计算机程序，例如，使用诸如例如Java的虚拟机代码的计算机程序。根据备选实施例，下面将更详细描述的相应功能的任意其他种类的实现也可以理解为“电路”。

为设备提供各种实施例，且为方法提供各种实施例。应当理解，方法也具有设备的基本属性，且反之亦然。因此，为简单起见，可以省略这些属性的重复描述。

价格驱动的产品（例如，诸如移动电话或多媒体播放器/录像机的几乎所有非专用照相机实现的消费设备）中的照相机模块可以以称为“滚动快门”的电子方式实现快门机制。不像在经典照相机设备中，其中传感器（或胶片）曝光可以通过机械卷帘控制，而电子快门可以通过激励且随后去激励相应传感器元件这样做。尽管所谓的同步快门可以同时激励和去激励所有的光敏单元，滚动快门可以通过逐行曝光传感器工作。同步快门可能涉及读出逻辑，因为可能针对所有行需要同步发生到影子存储器的转移，因而增加了设备复杂性且进而增加了成本。

基于滚动快门的解决方案几乎可以在整个帧周期上扩展读出时间，因而允许片上相对低速和小的缓冲器。因此，实际上，在除了消费数码照片中的最高质量片段之外的所有中，基于滚动快门的系统可以是流行的解决方案。成本和复杂性的优点可以在某一价格体现，但是：因为各行可能在不同时间点暴露于光，快速移动的对象（或照相机移动/摇摄）可能导致明显的伪像。在常用设备中，这被考虑且广泛地认为是质量和成本的折中。在常用设备中，上述伪像的减小可以通过减小用于帧的读出时间实现，因而折中了滚动快门机制的成本优势。

根据各个实施例，可以提供用于减小伪像而不折中滚动快门传感器的成本优势的设备和方法。

图1示出说明同步快门的图像采集的图示100。例如，获取数字图像的场景可以由相对于照相机从左向右移动的球104（以暗灰色示出）组成。同步快门可以立即记录该场景，换句话说，在曝光时间期间记录该场景，如箭头102所指示。因而，球104可以在图像的图像平面106上表达为像素108（以浅灰色示出）。尽管球可能是移动的，像素108的形状可以几乎是球104的形状，因为所有像素可以同时被获取。

图2示出说明滚动快门的图像采集的图示200。滚动快门可以逐行记录图像；因而，移动的球可以示意为传感器上的修剪椭圆体，如下面更详细解释。

例如，在时间T，使用滚动快门机制，可以采集第一行图像的像素，如第一箭头206所示。没有第一行的像素可以对应于时间T的球204的位置，使得仅可以采集背景像素（以白色示出），且至此采集的数字图像202可能仅包括第一行白色像素。

例如，在时间T+1，使用滚动快门机制，可以采集第二行图像的像素，如第二箭头212所示。同时球可能已经移动到右边，使得现在球210可以存在于比前一时间步骤更靠右的位置。可以在第二行中采集对应于球210的像素，使得第二行中球的表达214可以被采集且可以添加到至此采集的数字图像208中。

例如，在时间T+2，使用滚动快门机制，可以采集第三行图像的像素，如第三箭头212所示。同时球可能已经移动到右边，使得现在球218可以存在于比前一时间步骤更靠右的位置。可以在第三行中采集对应于球218的像素，使得第三行中球的表达222可以被采集且可以添加到至此采集的数字图像216。

例如，在时间T+3，使用滚动快门机制，可以采集第四行图像的像素，如第四箭头228所示。同时球可能已经移动到右边，使得现在球226可以存在于比前一时间步骤更靠右的位置。可以在第四行中采集对应于球226的像素，使得第四行中球的表达230可以被采集且可以添加到至此采集的数字图像224。

例如，在时间T+4，使用滚动快门机制，可以采集第五行图像的像素，如第五箭头236所示。同时球可能已经移动到右边，使得现在球234可以存在于比前一时间步骤更靠右的位置。可以在第五行中采集对应于球234的像素，使得第五行中球的表达238可以被采集且可以添加到至此采集的数字图像232。

例如，在时间T+5，使用滚动快门机制，可以采集第六行图像的像素，如第六箭头244所示。同时球可能已经移动到右边，使得现在球242可以存在于比前一时间步骤更靠右的位置。可以在第六行中采集对应于球242的像素，使得第六行中球的表达246可以被采集且可以添加到至此采集的数字图像240。

例如，在时间T+6，使用滚动快门机制，可以采集第七行图像的像素，如第七箭头252所示。同时球可能已经移动到右边，使得现在球250可以存在于比前一时间步骤更靠右的位置。可以在第七行中采集对应于球250的像素，使得第七行中球的表达254可以被采集且可以添加到至此采集的数字图像248。

例如，在时间T+7，使用滚动快门机制，可以采集第八行图像的像素，如第八箭头260所示。同时球可能已经移动到右边，使得现在球258可以存在于比前一时间步骤更靠右的位置。可以在第八行中采集对应于球258的像素，使得第八行中球的表达262可以被采集且可以添加到至此采集的数字图像256。

例如，在时间T+8，使用滚动快门机制，可以采集第九行图像的像素，如第九箭头268所示。同时球可能已经移动到右边，使得现在球266可以存在于比前一时间步骤更靠右的位置。可以在第九行中采集对应于球266的像素，使得第九行中球的表达270可以被采集且可以添加到至此采集的数字图像264。

例如，在时间T+9，使用滚动快门机制，可以采集第十行图像的像素，如第十箭头276所示。同时球可能已经移动到右边，使得现在球274可以存在于比前一时间步骤更靠右的位置。可以在第十行中采集对应于球274的像素，使得第十行中球的表达276可以被采集且可以添加到至此采集的数字图像272。

例如，在时间T+10，使用滚动快门机制，可以采集第十一行图像的像素，如第十一箭头284所示。同时球可能已经移动到右边，使得现在球282可以存在于比前一时间步骤更靠右的位置。可以在第十一行中采集对应于球282的像素，使得第十一行中球的表达284可以被采集且可以添加到至此采集的数字图像280。

例如，在时间T+11，使用滚动快门机制，可以采集第十二行图像的像素，如第十二箭头292所示。同时球可能已经移动到右边，使得现在球290可以存在于比前一时间步骤更靠右的位置。第十二行中没有像素可以对应于球290，使得对应于背景的一行白色像素可以被添加到至此采集的数字图像288。

图3示出根据一个实施例的图像处理设备300。图像处理设备300可以包括：第一图像采集器302，配置成采集第一空间分辨率的第一图像；第二图像采集器304，配置成采集第二空间分辨率的第二图像，其中第二空间分辨率可以高于第一空间分辨率；确定器306，配置成基于预定相似度标准确定第一图像中对应于第二图像的预定部分的第一图像的一部分的位置；以及复制电路308，配置成基于确定的位置将第二图像的预定部分复制到输出图像中的位置。第一图像采集器302、第二图像采集器304、确定器306和复制电路308例如可以经由诸如例如线缆或计算机总线的电学连接310或经由任意其他合适的电学连接彼此耦合以交换电学信号。

根据各个实施例，第一图像和第二图像可以是彩色图像，例如RGB（红－绿－蓝）彩色图像。

根据各个实施例，第一图像和第二图像可以是黑白图像。

根据各个实施例，输出图像可以具有第二空间分辨率。

根据各个实施例，预定相似度标准可以是或可以包括用于将第一图像与第二图像进行比较的标准。

根据各个实施例，预定相似度标准可以是或可以包括第一图像的像素值和第二图像的像素值之间的绝对差之和以及/或第一图像的像素值和第二图像的像素值之差的平方和。根据各个实施例，预定相似度标准可以包括或可以是最小化第一图像的像素值和第二图像的像素值之间的绝对差之和以及/或最小化第一图像的像素值和第二图像的像素值之差的平方和。

图4示出根据一个实施例的图像处理设备400。类似于图3的图像处理设备300，图像处理设备400可以包括第一图像采集器302、第二图像采集器304、确定器305和复制电路308。如下面更详细描述，图像处理设备400还可以包括放大电路（upscaling circuit）402。如下面更详细描述，图像处理设备400还可以包括图像传感器配置器404。如下面更详细描述，图像处理设备400还可以包括分割电路406。如下面更详细描述，图像处理设备400还可以包括运动向量采集器408。如下面更详细描述，图像处理设备400还可以包括发生电路410。第一图像采集器302、第二图像采集器304、确定器306、复制电路308、放大电路402、图像传感器配置器404、分割电路406、运动向量采集器408和发生电路410例如可以经由诸如例如线缆或计算机总线的电学连接310或经由任意其他合适的电学连接彼此耦合以交换电学信号。

根据各个实施例，放大电路402可以配置成将第一图像放大到第二空间分辨率。根据各个实施例，确定器306可以进一步配置成基于另一预定相似度标准确定放大的第一图像中对应于第二图像的预定部分的放大的第一图像的一部分的位置。

根据各个实施例，复制电路308还可以配置成，对于没有复制第二图像的任何部分的输出图像的区域，复制放大的第一图像的区域（例如到没有复制第二图像的任何部分的输出图像的区域）。根据各个实施例，输出图像的区域可以对应于或可以等同于放大的第一图像的区域。

根据各个实施例，该另一预定相似度标准可以包括或可以是用于将放大的第一图像与第二图像进行比较的标准。

根据各个实施例，该另一预定相似度标准可以包括或可以是放大的第一图像的像素值和第二图像的像素值之间的绝对差之和以及/或放大的第一图像的像素值和第二图像的像素值之差的平方和。根据各个实施例，该另一预定相似度标准可以包括或可以是最小化放大的第一图像的像素值和第二图像的像素值之间的绝对差之和以及/或最小化放大的第一图像的像素值和第二图像的像素值之差的平方和。

根据各个实施例，第一图像可以具有第一时间分辨率且第二图像可以具有第二时间分辨率。根据各个实施例，第一时间分辨率可以高于第二时间分辨率。

根据各个实施例，第二图像采集器304可以包括滚动快门传感器。

根据各个实施例，第一图像采集器302和第二图像采集器304可以包括公共传感器。

根据各个实施例，图像传感器配置器404可以配置成将用于采集第一图像的公共传感器配置为第一空间分辨率且将用于采集第二图像的公共传感器配置为第二空间分辨率。

根据各个实施例，分割电路406可以配置成将第二图像分割成预定大小的多个块。根据各个实施例，其中第二图像的预定部分可以对应于或可以是该多个块中的块。

根据各个实施例，运动向量采集器408可以配置成基于执行第二图像相对于第一图像的运动估算来采集至少一个运动向量。根据各个实施例，发生电路410可以配置成基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

根据各个实施例，发生电路410可以包含复制电路308。

图5示出说明根据一个实施例的图像处理方法的流程图500。在502中，可以采集第一空间分辨率的第一图像。在504，可以采集第二空间分辨率的第二图像，其中第二空间分辨率可以高于第一空间分辨率。在506中，可以基于预定相似度标准确定第一图像中对应于第二图像的预定部分的第一图像的一部分的位置。在508中，基于确定的位置，第二图像的预定部分可以复制到输出图像中的位置。

根据各个实施例，第一图像和第二图像可以是彩色图像，例如RGB（红－绿－蓝）彩色图像。

根据各个实施例，第一图像和第二图像可以是黑白图像。

根据各个实施例，输出图像可以具有第二空间分辨率。

根据各个实施例，预定相似度标准可以是或可以包括用于将第一图像与第二图像进行比较的标准。

根据各个实施例，预定相似度标准可以是或可以包括第一图像的像素值和第二图像的像素值之间的绝对差之和以及/或第一图像的像素值和第二图像的像素值之差的平方和。根据各个实施例，预定相似度标准可以包括或可以是最小化第一图像的像素值和第二图像的像素值之间的绝对差之和以及/或最小化第一图像的像素值和第二图像的像素值之差的平方和。

根据各个实施例，图像处理方法还可包括将第一图像放大到第二空间分辨率。根据各个实施例，确定第一图像的一部分可以通过基于另一预定相似度标准确定放大的第一图像中对应于第二图像的预定部分的放大的第一图像的一部分的位置来执行。

根据各个实施例，对于没有复制第二图像的任何部分的输出图像的区域，可以复制放大的第一图像的区域（例如，到没有复制第二图像的任何部分的输出图像的区域）。根据各个实施例，输出图像的区域可以对应于或可以等同于放大的第一图像的区域。

根据各个实施例，该另一预定相似度标准可以包括或可以是用于将放大的第一图像与第二图像进行比较的标准。

根据各个实施例，该另一预定相似度标准可以包括或可以是放大的第一图像的像素值和第二图像的像素值之间的绝对差之和以及/或放大的第一图像的像素值和第二图像的像素值之差的平方和。根据各个实施例，该另一预定相似度标准可以包括或可以是最小化放大的第一图像的像素值和第二图像的像素值之间的绝对差之和以及/或最小化放大的第一图像的像素值和第二图像的像素值之差的平方和。

根据各个实施例，第一图像可以具有第一时间分辨率且第二图像可以具有第二时间分辨率。根据各个实施例，第一时间分辨率可以高于第二时间分辨率。

根据各个实施例，第二图像可以通过滚动快门传感器采集。

根据各个实施例，第一图像和第二图像可以通过公共传感器采集。

根据各个实施例，为了采集第一图像，公共传感器可以配置成第一空间分辨率，且为了采集第二图像，公共传感器可以配置成第二空间分辨率。

根据各个实施例，第二图像可以分割成预定大小的多个块。根据各个实施例，第二图像的预定部分可以对应于或可以是或可以包括该多个块中的块。

根据各个实施例，可以基于执行第二图像相对于第一图像的运动估算来采集至少一个运动向量。根据各个实施例，可以基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

图6示出根据一个实施例的图像处理设备600。图像处理设备600可以包括：第一图像采集器602，配置成采集第一空间分辨率的第一图像；第二图像采集器604，配置成采集第二空间分辨率的第二图像，其中第二空间分辨率可以高于第一空间分辨率；放大电路606，配置成将第一图像放大到第二空间分辨率；运动向量采集器608，配置成基于执行第二图像相对于放大的第一图像的运动估算采集至少一个运动向量；以及发生电路610，配置成基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。第一图像采集器602、第二图像采集器604、放大电路606、运动向量采集器608以及发生电路610例如可以经由诸如例如线缆或计算机总线的电学连接612或经由任意其他合适的电学连接彼此耦合以交换电学信号。

图7示出说明根据一个实施例的图像处理方法的流程图700。在702中，可以采集第一空间分辨率的第一图像。在704，可以采集第二空间分辨率的第二图像，其中第二空间分辨率可以高于第一空间分辨率。在706中，第一图像可以放大到第二空间分辨率。在708中，可以基于执行第二图像相对于放大的第一图像的运动估算采集至少一个运动向量。在710中，可以基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

根据各个实施例，可以提供一种计算机程序产品，当在计算机上执行时，该计算机程序产品可以执行上述方法之一。

根据各个实施例，可以提供用于在照相机产生的图像中减小滚动快门造成的伪像的方法和设备。

根据各个实施例，关于场景的时间信息可以被采集且期望的伪像可以基于该信息纠正。

根据各个实施例，（例如首先）可以获取低分辨率图像（其可以对应于上面和下面描述的第一图像）。因为水平和垂直分辨率可以同样减小，相比于全分辨率帧，所得的帧可以在短得多的时间周期读出。例如，帧可以在水平和垂直方向使用因子8而欠采样，因而导致读出时间约为全分辨率读出的1/64。

由于短读出时间，低分辨率帧（换句话说：参考帧或第一图像）可以几乎不显示任意滚动快门造成的伪像，且因而可以用作用于可以（例如，在记录参考帧之后立即）获取的全分辨率帧的模型。

在下文中，将描述示出较短读出周期如何可以导致明显减小的伪像的图像。注意，一行的读出可以加速，以及将读出的行的数目可以减小。

用于说明性目的，在下面描述的说明中，可以假设仅为2的欠采样因子。此外，为清楚起见，对于下面描述的说明，欠采样图像中的对象的速度减小为原来的1/2。

图8示出说明根据一个实施例的第一图像的图像采集的图示800。例如，可以采集第一图像（换句话说：低分辨率参考图像）。

例如，在时间T，使用滚动快门机制，可以采集第一行第一图像的像素，如第一箭头806所示。可以存在球804（以暗灰色示出）。可以在第一行第一图像中采集对应于球804的像素，使得第一行中球的表达可以被采集且可以添加到至此采集的第一图像802。在所示示例中，第一行中没有像素可以对应于球，使得可以仅采集一行背景像素（以白色示出）。

例如，在时间T+0.5（注意与采集例如如上述参考图2所述的可能是具有全分辨率的第二图像相比，花费较少的时间来采集一行图像），使用滚动快门机制，可以采集第二行第一图像的像素，如第二箭头814所示。同时球可能已经移动到右边，使得现在球812可以存在于比前一时间步骤更靠右的位置。可以在第二行第一图像中采集对应于球812的像素，使得第二行中球的表达816（以浅灰色示出）可以被采集且可以添加到至此采集的第一图像810。

例如，在时间T+1，使用滚动快门机制，可以采集第三行第一图像的像素，如第三箭头822所示。同时球可能已经移动到右边，使得现在球820可以存在于比前一时间步骤更靠右的位置。可以在第三行第一图像中采集对应于球820的像素，使得第三行中球的表达824可以被采集且可以添加到至此采集的第一图像818。

例如，在时间T+1.5，使用滚动快门机制，可以采集第四行第一图像的像素，如第四箭头830所示。同时球可能已经移动到右边，使得现在球828可以存在于比前一时间步骤更靠右的位置。可以在第四行第一图像中采集对应于球828的像素，使得第四行中球的表达832可以被采集且可以添加到至此采集的第一图像826。

例如，在时间T+2，使用滚动快门机制，可以采集第五行第一图像的像素，如第五箭头838所示。同时球可能已经移动到右边，使得现在球836可以存在于比前一时间步骤更靠右的位置。可以在第五行第一图像中采集对应于球836的像素，使得第五行中球的表达840可以被采集且可以添加到至此采集的第一图像834。

例如，在时间T+2.5，使用滚动快门机制，可以采集第六行第一图像的像素，如第六箭头846所示。同时球可能已经移动到右边，使得现在球844可以存在于比前一时间步骤更靠右的位置。可以在第六行第一图像中采集对应于球844的像素。在所示示例中，第六行第一图像中没有像素可以对应于球，使得仅白色行可以被采集且可以添加到至此采集的第一图像842。

因为与第二图像相比第一图像的空间分辨率减小，用于采集一行第一图像的时间可以小于用于采集一行第二图像的时间，且第一图像的行数可以小于第二图像的行数。与第二图像相比，用于采集第一图像花费的较短的时间（例如，与如参考图2描述的用于第二图像的12个时间间隔相比，如参考图8描述的用于第一图像的3个时间间隔）可以被认为是第一图像的较高时间分辨率。因此，采集的第一图像可以比第二图像更好地类似于移动对象（例如球）的形状。

图9示出说明根据一个实施例的输出图像的产生的图示900。根据各个实施例，低分辨率参考图像902（第一图像）可以与变形的高的分辨率图像904（第二图像或细节图像）组合（如第一箭头908和第二箭头910所指示），导致具有明显减小的伪像的高分辨率图像906（输出图像）。例如，输出图像906可以包括对应于第二图像的像素值914的像素值916且还可以包括对应于第一图像的像素值912的像素值918。

根据各个实施例，滚动快门造成的伪像可以通过将具有高时间分辨率的图像与具有高空间分辨率的图像组合成具有高时间和空间分辨率的图像而克服。

根据各个实施例，照相机传感器可以借助于数字控制和数据接口附连到应用处理系统。

根据各个实施例，照相机可以支持读出时间和分辨率参数的重编程。

根据各个实施例，两个（或更多）图像可以被获取（全目标分辨率中的一个（第二图像））且转移到系统存储器。

根据各个实施例，ISP（图像信号处理）功能性可以将参考图像（第一图像）和全分辨率图像（第二图像）二者的原始RGB（拜尔图案RGB）数据转换成插值RGB数据（RGB像素）。

根据各个实施例，参考图像（第一图像）可以借助于诸如双线性、双三次或正弦函数的插值方法放大到全分辨率（以获得放大的第一图像）。为了实现近实时帧速率，可以为此操作提供专用硬件。

根据各个实施例，首先可以分配和初始化可以存储结果图像的缓冲器。

根据各个实施例，在下一阶段，可以以逐行方式产生结果图像（输出图像）：结果图像的每一行可以通过组合若干基础操作创建。高分辨率源（第二图像）图像的行可以分裂为“均匀”步幅。这些均匀块可以通过分析相邻像素的梯度发现。在对部分进行偏移、缩放或弯曲的同时，这些部分可以复制到结果图像（输出图像）的相应行（或相近行）。

根据各个实施例，在这些块中的每一个的转移操作之后，可以计算结果图像（输出图像）和放大的低分辨率参考图像（放大的第一图像）的现在填充的部分的均方误差。可以提供利用该值结合梯度下降方法用于发现与均方误差函数中的局部最小相关的图像（在确保结果图像的最大覆盖的同时）。

根据各个实施例，在处理发现局部最小之后未被覆盖的像素可以填充以从低分辨率参考图像（第一图像）获得的相应像素值。从下面描述的图像中可以看出，最终的图像（输出图像）因此可以包含移动对象附近的小伪像。

根据各个实施例，高（空间）分辨率图像（第二图像，例如图像A）可以被操纵，使得它接近低（空间）分辨率图像（第一图像，例如图像B）。由于在一个或两个图像的曝光期间一个或更多对象的运动的曝光，可能出现两个图像中的差异。根据各个实施例，对于图像A中的每一个像素pa_i,j（其中i和j可以是图像中的坐标），向量                                                

可以被采集，使得通过该向量移动像素给出图像B中的“相应”像素pb_k,l，换句话说：

并且

。

根据各个实施例，运动向量可以按照以下方式采集。根据各个实施例，首先，图像B可以放大到图像A的（空间）分辨率。这例如可以利用双线性插值、双三次插值、正弦插值或任意其他常用插值完成。根据各个实施例，然后可以在图像A中的像素周围切割块。根据各个实施例，块的大小可以在每个方向（水平或垂直）中介于10至20像素之间，例如为16像素，或者是2的任意其他次幂，这使得实现起来容易。根据各个实施例，可以使用不是正方形大小的块，而是例如在水平方向的像素数目不同于在垂直方向的像素数目的矩形块。根据各个实施例，可能试图发现与该块尽可能好地匹配的图像B中的区域。根据各个实施例，匹配度可以基于比如误差（平方）和的测量确定。例如，简单搜索算法可以开始于图像A中的块的位置，无遗漏地在图像B上移动，且可以针对每个位置计算匹配度。例如，具有最高匹配度的位置可以是图像B中的块的位置。根据各个实施例，可以基于图像A中的块的位置和图像B中的相应位置采集向量

。应当注意，该方法可能是计算昂贵的。根据各个实施例，通过做出各种假设，计算努力可以数量级地减小。根据各个实施例，可以使用图像处理、测量技术和视频编码中常用的备选方法，例如，最佳块匹配方法、频域中的相位关联和相似方法、例如Horn-Schunk方法的用于计算光流的方法。

根据各个实施例，在已经发现向量（可以称为运动估算）之后，例如可以通过将图像A的像素复制到输出图像中的相应位置（这可以称为运动补偿）创建输出图像。根据各个实施例，不被图像A的复制像素填充的位置可以填充以放大图像B的像素。根据各个实施例，为了获得源于图像A的区域和源于图像B的区域的平滑过渡，过渡地带中的像素可以由来自图像B的像素淡入淡出。

根据各个实施例，可以获得可以从滚动快门伪像矫正的所得图像（输出图像）。

在下文中，示出各个实施例的模拟的图像。在模拟场景中，汽车可以从左向右移动。

图10示出根据一个实施例的第二图像1000。在可以是全分辨率图像的第二图像1000中，示出由于汽车的移动导致的变形。因而，汽车1002看上去就好像汽车的下部与汽车的上部相比向左移动，这可能是由于图像1000的上面的行和图像1000的下面的行的读出之间消逝的时间所致。

图11示出根据一个实施例的第一图像1100（低分辨率参考图像）。因为第一图像1100的时间分辨率高于第二图像1000的时间分辨率，图像1100中示出的汽车1102不显示（或仅仅显示）像第二图像1000中的汽车1002那样的变形。

图12示出根据一个实施例的放大的第一图像1200。放大的第一图像1200例如可以利用正弦插值通过放大图11的低分辨率参考图像1100获得。类似于第一图像1100，汽车1202不显示变形。

图13示出根据一个实施例的输出图像1300（所得图像）。注意图像1300中示出的汽车1302比图像1000显示更少的变形，且比放大的第一图像1200中示出的汽车1202具有更高的空间分辨率。

尽管已经参考特定实施例特别示出和描述了本发明，本领域技术人应当理解可以在不偏离如所附权利要求限定的本发明的精神和范围的条件下做出形式和细节中的各种修改。本发明的范围因而由所附权利要求指示且落在权利要求的意义和等价范围内的所有变化因此旨在被包含。

Claims (25)

1.一种图像处理设备，包含：

第一图像采集器，配置成采集第一空间分辨率的第一图像；

第二图像采集器，配置成采集第二空间分辨率的第二图像，其中第二空间分辨率高于第一空间分辨率；

确定器，配置成基于预定相似度标准确定第一图像中对应于第二图像的预定部分的第一图像的一部分的位置；以及

复制电路，配置成基于确定的位置将第二图像的预定部分复制到输出图像中的位置。

2.根据权利要求1所述的图像处理设备，

其中输出图像具有第二空间分辨率。

3.根据权利要求1所述的图像处理设备，

其中预定相似度标准是用于将第一图像与第二图像进行比较的标准。

4.根据权利要求1所述的图像处理设备，还包含：

放大电路，配置成将第一图像放大到第二空间分辨率；

其中该确定器还配置成基于另一预定相似度标准确定放大的第一图像中对应于第二图像的预定部分的放大的第一图像的一部分的位置。

5.根据权利要求4所述的图像处理设备，

其中复制电路还配置成，对于没有复制第二图像的任何部分的输出图像的区域，复制放大的第一图像的区域；

其中该输出图像的该区域对应于该放大的第一图像的该区域。

6.根据权利要求4所述的图像处理设备，

其中该另一预定相似度标准是用于将放大的第一图像与第二图像进行比较的标准。

7.根据权利要求1所述的图像处理设备，

其中第一图像具有第一时间分辨率且第二图像具有第二时间分辨率；并且

其中第一时间分辨率高于第二时间分辨率。

8.根据权利要求1所述的图像处理设备，

其中第二图像采集器包含滚动快门传感器。

9.根据权利要求1所述的图像处理设备，

其中第一图像采集器和第二图像采集器包含公共传感器。

10.根据权利要求9所述的图像处理设备，还包含：

图像传感器配置器，配置成将用于采集第一图像的公共传感器配置为第一空间分辨率且将用于采集第二图像的公共传感器配置为第二空间分辨率。

11.根据权利要求1所述的图像处理设备，还包含：

分割电路，配置成将第二图像分割成预定大小的多个块；

其中第二图像的预定部分对应于该多个块中的块。

12.根据权利要求1所述的图像处理设备，还包含：

运动向量采集器，配置成基于执行第二图像相对于第一图像的运动估算采集至少一个运动向量；以及

发生电路，配置成基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

13.一种图像处理方法，包含：

采集第一空间分辨率的第一图像；

采集第二空间分辨率的第二图像，其中第二空间分辨率高于第一空间分辨率；

基于预定相似度标准确定第一图像中对应于第二图像的预定部分的第一图像的一部分的位置；以及

基于确定的位置，将第二图像的预定部分复制到输出图像中的位置。

14.根据权利要求13所述的图像处理方法，

其中输出图像具有第二空间分辨率。

15.根据权利要求13所述的图像处理方法，

其中预定相似度标准是用于将第一图像与第二图像进行比较的标准。

16.根据权利要求13所述的图像处理方法，还包含：

将第一图像放大到第二空间分辨率；

其中确定第一图像的一部分通过基于另一预定相似度标准确定放大的第一图像中对应于第二图像的预定部分的放大的第一图像的一部分的位置来执行。

17.根据权利要求16所述的图像处理方法，还包含：

对于没有复制第二图像的任何部分的输出图像的区域，复制放大的第一图像的区域；

其中该输出图像的该区域对应于该放大的第一图像的该区域。

18.根据权利要求16所述的图像处理方法，

其中该另一预定相似度标准是用于将放大的第一图像与第二图像进行比较的标准。

19.根据权利要求13所述的图像处理方法，

其中第一图像具有第一时间分辨率且第二图像具有第二时间分辨率；并且

其中第一时间分辨率高于第二时间分辨率。

20.根据权利要求13所述的图像处理方法，

其中第二图像通过滚动快门传感器采集。

21.根据权利要求13所述的图像处理方法，

其中第一图像和第二图像通过公共传感器采集。

22.根据权利要求13所述的图像处理方法，还包含：

将第二图像分割成预定大小的多个块；

其中第二图像的预定部分对应于该多个块中的块。

23.根据权利要求13所述的图像处理方法，还包含：

基于执行第二图像相对于第一图像的运动估算采集至少一个运动向量；以及

基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

24.一种图像处理设备，包括：

第一图像采集器，配置成采集第一空间分辨率的第一图像；

第二图像采集器，配置成采集第二空间分辨率的第二图像，其中第二空间分辨率高于第一空间分辨率；

放大电路，配置成将第一图像放大到第二空间分辨率；

运动向量采集器，配置成基于执行第二图像相对于放大的第一图像的运动估算采集至少一个运动向量；以及

发生电路，配置成基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

25.一种图像处理方法，包含：

采集第一空间分辨率的第一图像；

采集第二空间分辨率的第二图像，其中第二空间分辨率高于第一空间分辨率；

将第一图像放大到第二空间分辨率；

基于执行第二图像相对于放大的第一图像的运动估算采集至少一个运动向量；以及

基于如下而产生输出图像：基于采集的至少一个运动向量执行第二图像的运动补偿。

Images