CN104869381B - 一种图像处理系统、方法及装置 - Google Patents

Abstract

本发明公开了一种图像处理系统、方法及装置，用以解决现有技术中的ISP架构存在的处理的图像大小兼容性差的问题，即：图像传感器，用于获取图像；采样模块，用于根据图像传感器配置的图像分辨率与ISP模块处理的最大行分辨率，对接收的视频图像进行采样；ISP模块，用于接收采样模块传送的视频图像，并对该视频图像进行图像处理，还用于根据ISP模块处理的最大行分辨率，读取存储器中当前存储的静态图像，并对该静态图像进行图像处理，以及将处理后的图像发送至存储器；存储器，用于存储图像。这样，不需要要求ISP模块处理图像的大小的配置，降低了图像处理过程中的行缓存的需求，解决了ISP模块处理的图像大小兼容性差的问题。

Description

一种图像处理系统、方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种图像处理系统、方法及装置。

背景技术

在现有技术中的各种可以进行视频拍摄和拍照功能的多媒体设备（如数码相机、手机、平板电脑等）中，都存在获取图像的图像传感器，以及可以进行图像处理的多媒体处理芯片。其中，图像传感器包括互补金属氧化物半导体（Complementary Metal-Oxide-Semiconductor，CMOS）图像传感器、电荷藕合器件（Charge Coupled Device，CCD）图像传感器等。

而大部分的多媒体处理芯片都带有图像信号处理器（Image Signal Processor，ISP）模块，用于对图像传感器获取的图像进行处理，这些ISP模块一般都是针对某一个特定的规格进行设计，例如，某ISP模块是针对500W像素的图像大小设计的，包含该ISP模块的多媒体处理芯片只能接收和处理500W像素以下的图像，如果需要针对大于500W像素的图像，比如1200W像素的图像，上述多媒体处理芯片则无法工作，该多媒体处理芯片需要重新进行设计。

现有技术中的多媒体处理系统的结构示意图参阅图1所示，当前图像信息的获取，一般是使用CMOS或者是CCD图像传感器，这些图像传感器的信号需要经过ISP模块进行处理，才能转化为用户需要的图像信息，ISP模块在多媒体处理系统中的位置如图所示。

ISP模块具体的图像处理的功能包括：坏点去除、自动曝光、白平衡、自动对焦、色彩校正、贝尔插值、噪声去除、边缘增强等，这些图像处理功能理论上可以由中央处理器（Central Processing Unit，CPU）或者图形处理器（Graphic Processing Unit，GPU）来处理，但是获取视频时，需要进行实时的图像处理，从功耗和效率上考虑，采用ISP模块来做图像处理是最为合适的。ISP模块需要做的图像处理很多，为了实现实时性的操作，就需要做流水处理，算法一级接一级，传统的ISP流水线参阅图2所示，原始的图像数据从图像传感器传入，经过ISP流水线处理后直接进行系统存储。在ISP图像处理流水线中，一些算法需要参考上下行的数据，如坏点去除和插值算法，效果比较好的算法至少需要参考上两行和下两行的数据，因此为了实现硬件数据流水操作，需要保存至少4行的数据，这样，上述两个算法实现，累加需要8行的行缓存，其中一行的行缓存为一行像素点数据的比特数。对于像素较大图像的数据，这些行缓存所占用的逻辑是比较大的，例如，若ISP模块支持4096的行分辨率（每个像素点12比特），8行的行缓存需要存储约400k比特（12*4096*8=393216），其中，支持4096的行分辨率为可以处理分辨率为4096*H的图像，即处理宽度为4096个像素点的图像。图中的ISP模块总共需要的行缓存=B*Image_Width*H，其中，B为一个像素点的比特数，Image_Width为图像的行分辨率，H为行缓存的行数。一些复杂算法需要更多的行缓存，功能比较少的ISP模块一般需要10行以上的缓存，处理大像素的图像时，这些行缓存所占的芯片面积较大。

对于一些可以处理高像素图像的多媒体处理芯片，例如，可以处理3200W像素的图像的规格的多媒体处理芯片，可以满足大部分的需求，但是数据进行流水处理过程中需要很大的片内行缓存，由于每一个比特的缓存数据都需要一个硬件逻辑单元存储，因此，处理过程中产生的很大的缓存数据则需要很多的硬件逻辑单元存储，导致多媒体处理芯片的面积很大，进而增加了生产成本，以及导致了多媒体处理芯片的良率下降，最终影响该多媒体处理芯片的图像处理效率。

综上所述，通过传统的ISP模块的图像处理流程进行图像处理，只能处理小于或等于ISP模块的规格的图像，兼容性较差；处理大像素图像的多媒体处理芯片的面积大，进而增加生产成本、导致多媒体处理芯片的良率下降，最终影响该多媒体处理芯片的图像处理效率。

发明内容

本发明实施例提供了一种图像处理系统、方法及装置，用以解决现有技术中的ISP架构存在的处理的图像大小兼容性差的问题，以及处理大像素图像的多媒体处理芯片面积大，进而增加生产成本、导致多媒体处理芯片的良率下降，最终影响该多媒体处理芯片的图像处理效率的问题。

本发明实施例提供的具体技术方案如下：

第一方面，一种图像处理系统，包括图像传感器、采样模块、图像信号处理器ISP模块以及存储器，其中，

图像传感器，与采样模块和存储器相连接，用于将获取的视频图像发送至所述采样模块，以及将获取的静态图像直接发送至所述存储器；

采样模块，与ISP模块相连接，用于根据所述图像传感器配置的图像分辨率与所述ISP模块处理的最大行分辨率，对接收的所述视频图像进行采样，并将采样后的视频图像发送至所述ISP模块；

ISP模块，与存储器相连接，用于接收所述采样模块传送的视频图像，并对所述视频图像进行图像处理，以及将处理后的视频图像发送至所述存储器；还用于根据所述ISP模块处理的最大行分辨率，读取所述存储器中当前存储的静态图像，并对所述静态图像进行图像处理，以及将处理后的静态图像发送至所述存储器；

存储器，用于存储视频图像以及静态图像。

这样，通过采样模块将采集的视频图像进行采样处理后再发往ISP模块进行图像处理，并直接存储静态图像，ISP模块从存储器中读取静态图像并进行图像处理，不需要对静态图像进行下采样，也不需要要求ISP模块处理图像的大小的配置，降低了图像处理过程中的行缓存的需求，保证在行缓存容量的前提下，可以支持处理图像传感器发送的任意大分辨率的图像，解决了ISP模块处理的图像大小兼容性差的问题，并且避免了处理大像素图像时，重新设计的多媒体处理芯片的面积太大的问题，降低了生产成本、提高了多媒体处理芯片的良率，最终提高了该多媒体处理芯片的图像处理效率。

结合第一方面，在第一种可能的实现方式中，所述图像传感器具体用于：

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内全部静态图像发送至存储器；或

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内指定帧数的静态图像发送至存储器。

这样，图像传感器可以将指定的多个静态图像保存，待ISP模块处理后供用户选择。

结合第一方面，在第二种可能的实现方式中，所述采样模块具体用于：

确定所述图像传感器配置的图像分辨率中的行分辨率小于或等于所述ISP模块处理的最大行分辨率时，采用1:1的比例对接收的所述视频图像进行采样；

确定所述图像传感器配置的图像分辨率中的行分辨率大于所述ISP模块处理的最大行分辨率时，采用小于或等于1:N的比例对接收的所述视频图像进行采样，其中，N为所述图像传感器配置的图像分辨率中的行分辨率与所述ISP模块处理的最大行分辨率的商。

这样，通过采样模块对视频图像进行处理，可以使采样后的图像的行分辨率满足ISP模块处理的最大行分辨率，使ISP模块可以对视频图像进行图像处理。

结合第一方面或以上任一种可能的实现方式，在第三种可能的实现方式中，所述ISP模块具体用于：

若所述存储器中当前存储的静态图像的行分辨率小于或等于所述ISP模块处理的最大行分辨率，则一次读取所述静态图像；

若所述存储器中当前存储的静态图像的行分辨率大于所述ISP模块处理的最大行分辨率，则分次读取所述静态图像，每次读取行分辨率小于或等于所述ISP模块处理的最大行分辨率的部分图像，直至所述静态图像全部读完。

这样，通过每次读取行分辨率小于或等于ISP模块处理的最大行分辨率的部分图像，可以使读取的部分图像的行分辨率满足ISP模块处理的最大行分辨率，使ISP模块可以对静态图像进行图像处理。通过这种方式，不需要要求ISP模块处理图像的大小的配置，解决了ISP模块处理的图像大小兼容性差的问题。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，在非首次读取所述存储器中当前存储的静态图像时，所述ISP模块进一步用于：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，所述宽度为设定数目的像素点的宽度。

这样，ISP模块采用重叠的方式避免边界效应，提高图像处理后的静态图像的质量。

结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述ISP模块还用于：

采用与所述ISP模块对所述视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。

这样，采用不改变原图像的基本特征的处理视频图像采用的调整参数，对每次读取的静态图像中的部分图像进行图像处理，可以得到最优化的图像。

第二方面，一种图像处理方法，包括：

接收到存储视频图像指令，获取当前的视频图像；

根据获取的当前的视频图像的图像分辨率与预设的最大行分辨率，对所述视频图像进行采样；

将采样后的视频图像进行图像处理，并将处理后的视频图像进行存储；

在接收到存储视频图像指令过程中或在接收到存储视频图像指令之后，接收到存储静态图像指令时，获取当前的静态图像直接进行存储；

根据预设的最大行分辨率读取存储的静态图像，并对所述静态图像进行图像处理，并将处理后的静态图像进行存储。

通过这种方法，采样模块将采集的视频图像进行采样处理后再发往ISP模块进行图像处理，并直接存储静态图像，从存储器中读取静态图像并进行图像处理，不需要对静态图像进行下采样，也不需要要求处理图像的大小，降低了图像处理过程中的行缓存的需求，保证在行缓存容量的前提下，可以支持处理图像传感器发送的任意大分辨率的图像，解决了ISP模块处理的图像大小兼容性差的问题，并且避免了处理大像素图像时，重新设计的多媒体处理芯片的面积太大的问题，降低了生产成本、提高了多媒体处理芯片的良率，最终提高了该多媒体处理芯片的图像处理效率。

结合第二方面，在第一种可能的实现方式中，根据获取的当前的视频图像的图像分辨率与预设的最大行分辨率，对所述视频图像进行采样，包括：

确定所述视频图像的图像分辨率中的行分辨率小于或等于预设的最大行分辨率时，采用1:1的比例对所述视频图像进行采样；

确定所述视频图像的图像分辨率中的行分辨率大于预设的最大行分辨率时，采用小于或等于1:N的比例对所述视频图像进行采样，其中，N为所述视频图像的图像分辨率中的行分辨率与预设的最大行分辨率的商。

通过这种方法，对视频图像进行采用处理，可以使采样后的图像的行分辨率满足预设的最大行分辨率，以便可以对视频图像进行图像处理。

结合第二方面，在第二种可能的实现方式中，接收到存储静态图像指令时，获取当前的静态图像直接进行存储，包括：

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内全部静态图像发送至存储器；或

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内指定帧数的静态图像发送至存储器。

通过这种方法，可以将指定的多个静态图像保存，待ISP模块处理后供用户选择。

结合第二方面或以上任一种可能的实现方式，在第三种可能的实现方式中，根据预设的最大行分辨率读取存储的静态图像，包括：

若当前存储的静态图像的行分辨率小于或等于所述预设的最大行分辨率，则一次读取所述静态图像；

若当前存储的静态图像的行分辨率大于所述预设的最大行分辨率，则分次读取静态图像，每次读取行分辨率小于或等于所述预设的最大行分辨率的部分图像，直至所述静态图像全部读完。

通过这种方法，每次读取行分辨率小于或等于预设的最大行分辨率的部分图像，可以使读取的部分图像的行分辨率满足预设的最大行分辨率，以便对静态图像进行图像处理。通过这种方式，不需要要求ISP模块处理图像的大小的配置，解决了ISP模块处理的图像大小兼容性差的问题。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，在非首次读取当前存储的静态图像时，每次读取行分辨率小于或等于所述预设的最大行分辨率的部分图像，包括：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，所述宽度为设定数目的像素点的宽度。

通过这种方法，采用重叠的方式避免边界效应，提高图像处理后的静态图像的质量。

结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，对所述静态图像进行图像处理，包括：

采用与对所述视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。

通过这种方法，采用不改变原图像的基本特征的处理视频图像采用的调整参数，对每次读取的静态图像中的部分图像进行图像处理，可以得到最优化的图像。

第三方面，一种图像处理装置，包括：

第一获取单元，用于接收到存储视频图像指令，获取当前的视频图像；

采样单元，用于根据获取的当前的视频图像的图像分辨率与预设的最大行分辨率，对所述视频图像进行采样；

第一处理单元，用于将采样后的视频图像进行图像处理，并将处理后的视频图像进行存储；

第二获取单元，用于在接收到存储视频图像指令过程中或在接收到存储视频图像指令之后，接收到存储静态图像指令时，获取当前的静态图像直接进行存储；

第二处理单元，用于根据预设的最大行分辨率读取存储的静态图像，并对所述静态图像进行图像处理，并将处理后的静态图像进行存储。

这样，第二获取单元直接存储静态图像，第二处理单元读取静态图像并进行图像处理，不需要对静态图像进行下采样，也不需要要求处理图像的大小，降低了图像处理过程中的行缓存的需求，保证在行缓存容量的前提下，可以支持处理图像传感器发送的任意大分辨率的图像，解决了ISP模块处理的图像大小兼容性差的问题，并且避免了处理大像素图像时，重新设计的多媒体处理芯片的面积太大的问题，降低了生产成本、提高了多媒体处理芯片的良率，最终提高了该多媒体处理芯片的图像处理效率。

结合第三方面，在第一种可能的实现方式中，所述采样单元具体用于：

确定所述视频图像的图像分辨率中的行分辨率小于或等于预设的最大行分辨率时，采用1:1的比例对所述视频图像进行采样；

确定所述视频图像的图像分辨率中的行分辨率大于预设的最大行分辨率时，采用小于或等于1:N的比例对所述视频图像进行采样，其中，N为所述视频图像的图像分辨率中的行分辨率与预设的最大行分辨率的商。

这样，采样单元对视频图像进行采用处理，可以使采样后的图像的行分辨率满足预设的最大行分辨率，以便可以对视频图像进行图像处理。

结合第三方面，在第二种可能的实现方式中，所述第二获取单元具体用于：

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内全部静态图像发送至存储器；或

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内指定帧数的静态图像发送至存储器。

这样，第二获取单元可以将指定的多个静态图像保存，待第二处理单元处理后供用户选择。

结合第三方面或以上任一种可能的实现方式，在第三种可能的实现方式中，所述第二处理单元具体用于：

若当前存储的静态图像的行分辨率小于或等于所述预设的最大行分辨率，则一次读取所述静态图像；

若当前存储的静态图像的行分辨率大于所述预设的最大行分辨率，则分次读取所述静态图像，每次读取行分辨率小于或等于所述预设的最大行分辨率的部分图像，直至所述静态图像全部读完。

这样，第二处理单元每次读取行分辨率小于或等于预设的最大行分辨率的部分图像，可以使读取的部分图像的行分辨率满足预设的最大行分辨率，以便对静态图像进行图像处理。通过这种方式，不需要要求ISP模块处理图像的大小的配置，解决了ISP模块处理的图像大小兼容性差的问题。

结合第三方面的第三种可能的实现方式，在第四种可能的实现方式中，在非首次读取当前存储的静态图像时，所述第二处理单元进一步用于：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，所述宽度为设定数目的像素点的宽度。

这样，第二处理单元采用重叠的方式避免边界效应，提高图像处理后的静态图像的质量。

结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，所述第二处理单元还用于：

采用与所述第一处理单元对所述视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。

这样，第二处理单元采用不改变原图像的基本特征的处理视频图像采用的调整参数，对每次读取的静态图像中的部分图像进行图像处理，可以得到最优化的图像。

采用本发明技术方案，通过直接存储静态图像，并分次读取该静态图像进行图像处理，这样，不需要对静态图像进行下采样，也不需要要求ISP模块处理图像的大小的配置，降低了图像处理过程中的行缓存的需求，保证在行缓存容量的前提下，可以支持处理图像传感器发送的任意大分辨率的图像，解决了ISP模块处理的图像大小兼容性差的问题，并且避免了处理大像素图像时，重新设计的多媒体处理芯片的面积太大的问题，降低了生产成本、提高了多媒体处理芯片的良率，最终提高了该多媒体处理芯片的图像处理效率。

附图说明

图1为现有技术提供的一种多媒体处理系统的结构示意图；

图2为现有技术提供的一种ISP模块的图像处理流程示意图；

图3为本发明实施例提供的一种图像处理系统结构示意图；

图4为本发明实施例提供的一种ISP模块读取静态图像的实例图；

图5为本发明实施例提供的一种基于图像处理系统的具体流程示意图；

图6为本发明实施例提供的另一种基于图像处理系统的具体流程示意图；

图7为本发明实施例提供的一种图像处理方法的具体流程图；

图8为本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

采用本发明技术方案，能够有效地避免现有技术中的ISP架构存在的处理的图像大小兼容性差的问题，以及处理大像素图像的多媒体处理芯片面积大，进而增加生产成本、导致多媒体处理芯片的良率下降，最终影响该多媒体处理芯片的图像处理效率的问题。

本发明实施例提供了一种图像处理系统，应用于各种图像处理设备，下面结合附图对本发明优选的实施方式进行详细说明。

本发明实施例提供的图像处理系统可以应用于各种图像处理设备的视频录制模式以及拍照模式，其中在各种图像处理设备的拍照模式下的预览过程与视频录制模式过程中的图像处理流程相同。

在实际应用中，视频录制模式过程中的视频图像的图像分辨率通常会比拍照模式拍摄的静态图像的图像分辨率小，例如某图像处理设备最大可录制1080逐行扫描（Progressive-scan，P）的视频（其中，1080P表示画面图像的垂直方向有1080条水平扫描线。通常1080P的视频图像的图像分辨率为1920*1080），却可以拍摄1600万像素的静态图像（静态图像的图像分辨率可以为4628*3456），而拍照模式下的预览的视频图像也是1080P的。因此，对于该图像处理设备来说，其主要工作时间处理小分辨率的视频图像，较少的工作时间处理大分辨率的静态图像，若采用现有技术中的可以处理高像素图像的多媒体处理芯片，则片内处理大分辨率的静态图像的行缓存在主要工作时间是空闲的，因此，很容易造成资源浪费。

在实际应用中，视频录制模式中要求视频图像要实时处理，而拍照模式中为了增加用户的体验，不需要进行实时处理，因为拍摄静态图像时，需要一个迟滞预览，因此，基于以上图像处理需求，本发明实施例提供了一种图像处理系统，参阅图3所示，该图像处理系统包括右侧的直接存储通路和左侧的回读通路。

参阅图3所示，本发明实施例提供的一种图像处理系统包括：图像传感器301、采样模块302、ISP模块303以及存储器304，其中

图像传感器301，与采样模块302和存储器相连接，用于将获取的视频图像发送至采样模块302，以及将获取的静态图像直接发送至存储器304；

采样模块302，与ISP模块303相连接，用于根据图像传感器301配置的图像分辨率与ISP模块303处理的最大行分辨率，对接收的视频图像进行采样，并将采样后的视频图像发送至ISP模块303；

ISP模块303，与存储器304相连接，用于接收采样模块302传送的视频图像，并对该视频图像进行图像处理，以及将处理后的视频图像发送至存储器304；还用于根据ISP模块303处理的最大行分辨率，读取存储器304中当前存储的静态图像，并对该静态图像进行图像处理，以及将处理后的静态图像发送至存储器304；

存储器304，用于存储视频图像以及静态图像。

图像传感器301具体用于：

在接收到存储静态图像指令的时刻，将该时刻所设定的时间段内全部静态图像发送至存储器304；或

在接收到存储静态图像指令的时刻，将该时刻所设定的时间段内指定帧数的静态图像发送至存储器304。

具体的，图像传感器301（即摄像头等图像采集装置）用来获取当前的图像信息，在接收到存储静态图像指令的时刻（即在拍照模式下摁下快门的时刻），可以将设定时间段内的全部或指定帧数的静态图像发送至存储器304。其中，设定时间段、以及静态图像的帧数等可以根据实际的应用需求确定。例如，照相机，在摁下快门准备拍照时，可以在摁下快门的时刻之后1秒或2秒钟的全部帧数或指定帧数的静态图像（照片）保存，将保存的所有照片都进行图像处理，用来供用户选择。

采样模块302具体用于：

确定图像传感器301配置的图像分辨率中的行分辨率小于或等于ISP模块303处理的最大行分辨率时，采用1:1的比例对接收的视频图像进行采样；

确定图像传感器301配置的图像分辨率中的行分辨率大于ISP模块303处理的最大行分辨率时，采用小于或等于1:N的比例对接收的视频图像进行采样，其中，N为图像传感器301配置的图像分辨率中的行分辨率与ISP模块303处理的最大行分辨率的商。

在本实施例中，由于在摁下快门后，图像传感器会直接把静态图像（照片）存储，不经过采样模块302，采样模块302只处理视频录制模式下的视频图像和拍照模式中预览的视频图像，这样，可以实时处理视频图像，而静态图像不通过采样模块302，可以保持静态图像的高分辨率，从而减少了静态图像采样降低分辨率并进行图像处理后还需要进行将降低分辨率的静态图像恢复高分辨率的步骤，提高了系统的工作效率，并增加了用户的体验。

采样模块302采用的算法必须不能改变视频图像的特征（如亮度、色彩等），只能改变视频图像的分辨率的大小，例如抽点算法、离散余弦变换（Discrete Cosine Transform，DCT）域下采样算法等。

采样模块302用于缩小图像传感器发送的视频图像，该采样模块302的采样比例是根据图像传感器301配置的图像分辨率中的行分辨率与ISP模块303可以处理的最大行分辨率来共同决定的。采样比例即分辨率的转换，仍以照相机为例，ISP模块303处理的最大行分辨率即为可设置的最大预览尺寸（如该照相机的显示屏的行分辨率），该照相机的采样模块302的采样比例由图像传感器输出的图像的行分辨率与ISP模块303最大预览尺寸共同决定。

优选的，当确定图像传感器301配置的图像分辨率中的行分辨率小于或等于ISP模块303处理的最大行分辨率时，采用1:1的比例对接收的视频图像进行采样。图像传感器301配置的图像分辨率中的行分辨率即为该图像传感器301获取的视频图像的行分辨率，在获取的视频图像的行分辨率小于或等于ISP模块303处理的最大行分辨率时，该ISP模块303可以直接对视频图像进行处理，可以将该采样模块302的采样比例设为1:1。

确定图像传感器301配置的图像分辨率中的行分辨率大于ISP模块303处理的最大行分辨率时，采用小于或等于1:N的比例对接收的视频图像进行采样，其中，N为图像传感器301配置的图像分辨率中的行分辨率与ISP模块303处理的最大行分辨率的商。当图像传感器301获取的视频图像的行分辨率是ISP模块303处理的最大行分辨率N倍时，只有将该视频图像的分辨率缩小至原来的1/N后，ISP模块303才可以进行图像处理。

ISP模块303具体用于：

若存储器304中当前存储的静态图像的行分辨率小于或等于ISP模块303处理的最大行分辨率，则一次读取该静态图像；

若存储器304中当前存储的静态图像的行分辨率大于ISP模块303处理的最大行分辨率，则分次读取存储器304中当前存储的静态图像，每次读取行分辨率小于或等于ISP模块303处理的最大行分辨率的部分图像，直至该静态图像全部读完。

具体的，ISP模块303可以对静态图像和视频图像进行图像处理，其中，图像处理包括：坏点去除、自动曝光、白平衡、自动对焦、色彩校正、贝尔插值、噪声去除、边缘增强等。

若ISP模块303对视频图像进行图像处理，则可以直接将采样模块302发送过来的视频图像进行处理；若ISP模块303对静态图像进行图像处理，则必须先将存储在存储器304中的静态图像读取出来在进行处理，由于存储器304中存储的静态图像是图像传感器301通过直接存储通路直接发送的，因此，该静态图像的分辨率与图像传感器301配置的图像分辨率相同，而与ISP模块303处理的最大行分辨率并不匹配，所以，ISP模块303只能根据本地处理的最大行分辨率和存储器中当前存储的静态图像的行分辨，读取静态图像，每次读取行分辨率小于或等于本地处理的最大行分辨率的部分图像，若该静态图像的分辨率小于本地处理的最大行分辨率，则一次全部读取该静态图像，否则，分次读取该静态图像，直至该静态图像全部读完。

这样，降低了ISP模块303在图像处理过程中的行缓存，其中ISP模块303总共需要的行缓存=B*Image_Width_min*H，其中，B为一个像素点的比特数，Image_Width_min为每次读取的部分图像的行分辨率，H为行缓存的行数。

例如，ISP模块303处理的最大行分辨率为2304，而该静态图像的分辨率为4608*3456，则ISP模块303可以分依次读取和处理小于或等于2304（如2048）行分辨率（2048个像素点宽度）的部分图像，这样，ISP模块303可以三次将该静态图像全部读完。

在非首次读取所述存储器中当前存储的静态图像时，ISP模块303进一步用于：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，该宽度为设定数目的像素点的宽度。

若静态图像的分辨率为4608*3456，ISP模块303每次读取2304行分辨率的部分图像，则可以两次将该静态图像全部读完，但是会出现边界效应。优选的，本发明实施例采用重叠的方式来避免边界效应，例如，参阅图4所示，第一次和第二次都读取2048行分辨率（2048个像素点宽度）的部分图像，第三次读取640行分辨率（640个像素点宽度）的部分图像，第二次读取的部分图像与第一次的部分图像重叠64个像素点宽度，第三次读取的部分图像与第二次的部分图像也重叠64个像素点宽度。

当ISP模块303对该静态图像存储时，会将理后的几个部分图像去除覆盖的部分，并拼接成一张完整的静态图像。

ISP模块303还用于：

采用与ISP模块303对视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。

当获取的视频图像的行分辨率大于ISP模块303可以处理的最大行分辨率时，预览的视频图像是经过采样模块302对原视频图像采样后的视频图像，因此，ISP模块303对视频图像进行图像处理的参数调整（如自动白平衡、自动曝光、自动亮度调节、色彩还原、自动对焦等等）是通过采样后的视频图像进行分析处理而得到的，由于选用的采样算法不改变原图像的基本特征，因此，对从存储器304中分次取出的静态图像中的部分图像数据采用与对采样后的视频图像相同的调整参数进行图像处理，就可以得到最优化的图像。

基于本发明实施例提供的一种图像处理系统，本发明实施例提供了基于该图像处理系统的具体流程图，参阅图5所示：

图中第一步为视频录制模式的全过程，以及拍照模式中的预览过程，即：图像传感器获取当前的视频图像；采样模块根据图像传感器配置的图像分辨率与ISP模块处理的最大行分辨率，对该视频图像进行采样；ISP模块将采样后的视频图像进行图像处理，并将处理后的视频图像发送给存储器进行存储。

第二步为拍照模式中，摁下快门存储静态图像阶段，即：图像传感器将获取的静态图像直接发送至存储器。

第三步为拍照模式中，对静态图像进行处理阶段，即ISP模块读取存储中当前存储的静态图像，并对该静态图像进行图像处理，并最终将处理后的静态图像发送至存储器。

在实际应用中，基于本发明实施例提供的图像处理系统的具体流程可以灵活变动，参阅图6所示，可以在拍照模式下预览的同时存储静态图像，即图中的第一步为图5中的第一步与第二步的综合：

图中第一步为拍照模式中，摁下快门存储静态图像的阶段，但此时仍可以进行预览，即：一方面，图像传感器获取当前的视频图像；采样模块根据图像传感器配置的图像分辨率与ISP模块处理的最大行分辨率，对该视频图像进行采样；ISP模块将采样后的视频图像进行图像处理，并将处理后的视频图像发送给存储器进行存储；同时，另一方面，图像传感器将获取的静态图像直接发送至存储器。

第二步为拍照模式中，对静态图像进行处理阶段，即ISP模块读取存储中当前存储的静态图像，并对该静态图像进行图像处理，并最终将处理后的静态图像发送至存储器。

基于以上实施例中提供的一种图像处理系统，本发明实施例还提供了一种图像处理方法，参阅图7所示，该方法的具体流程为：

步骤701：接收到存储视频图像指令，获取当前的视频图像。

当设备处于拍照模式的预览中，会向图像处理系统发送存储视频图像指令。

步骤702：根据获取的当前的视频图像的图像分辨率与预设的最大行分辨率，对该视频图像进行采样。

其中，视频图像的图像分辨率为图像处理系统中图像传感器配置的图像分辨率，预设的最大行分辨率为图像处理系统中ISP模块处理的最大行分辨率。

具体的，执行步骤702时，可以但不局限于以下两种方式：

第一种方式：确定该视频图像的图像分辨率中的行分辨率小于或等于预设的最大行分辨率时，采用1:1的比例对该视频图像进行采样；

第二种方式：确定该视频图像的图像分辨率中的行分辨率大于预设的最大行分辨率时，采用小于或等于1:N的比例对该视频图像进行采样，其中，N为该视频图像的图像分辨率中的行分辨率与预设的最大行分辨率的商。

步骤703：将采样后的视频图像进行图像处理，并将处理后的视频图像进行存储。

具体的，可以对采样后的视频图像进行以下图像处理：坏点去除、自动曝光、白平衡、自动对焦、色彩校正、贝尔插值、噪声去除、边缘增强等。

步骤704：在接收到存储视频图像指令过程中或在接收到存储视频图像指令之后，接收到存储静态图像指令时，获取当前的静态图像直接进行存储。

当设备被摁下快门拍摄照片时，会向图像处理系统发送存储静态图像指令。

具体的，执行步骤704时，可以采用以下两种方式对静态图像进行存储：

第一种方式：在接收到存储静态图像指令的时刻，将该时刻所设定的时间段内全部静态图像发送至存储器；

第二种方式：在接收到存储静态图像指令的时刻，将该时刻所设定的时间段内指定帧数的静态图像发送至存储器。

步骤705：根据预设的最大行分辨率读取存储的静态图像，并对该静态图像进行图像处理，并将处理后的静态图像进行存储。

具体的，根据预设的最大行分辨率读取存储的静态图像，包括：

若当前存储的静态图像的行分辨率小于或等于该预设的最大行分辨率，则一次读取静态图像；

若当前存储的静态图像的行分辨率大于该预设的最大行分辨率，则分次读取当前存储的静态图像，每次读取行分辨率小于或等于预设的最大行分辨率的部分图像，直至该静态图像全部读完。

在非首次读取当前存储的静态图像时，每次读取行分辨率小于或等于预设的最大行分辨率的部分图像，包括：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，所述宽度为设定数目的像素点的宽度。

对静态图像进行图像处理，包括：

采用与对视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。

基于本发明实施例提供的一种图像处理系统和一种图像处理方法，参阅图8所示，本发明实施例还提供了一种图像处理装置，具体包括：第一获取单元801、采样单元802、第一处理单元803、第二获取单元804以及第二处理单元805，其中

第一获取单元801，用于接收到存储视频图像指令，获取当前的视频图像；

采样单元802，用于根据获取的当前的视频图像的图像分辨率与预设的最大行分辨率，对视频图像进行采样；

第一处理单元803，用于将采样后的视频图像进行图像处理，并将处理后的视频图像进行存储；

第二获取单元804，用于在接收到存储视频图像指令过程中或在接收到存储视频图像指令之后，接收到存储静态图像指令时，获取当前的静态图像直接进行存储；

第二处理单元805，用于根据预设的最大行分辨率读取存储的静态图像，并对该静态图像进行图像处理，并将处理后的静态图像进行存储。

采样单元802具体用于：

确定视频图像的图像分辨率中的行分辨率小于或等于预设的最大行分辨率时，采用1:1的比例对所述视频图像进行采样；

确定视频图像的图像分辨率中的行分辨率大于预设的最大行分辨率时，采用小于或等于1:N的比例对该视频图像进行采样，其中，N为该视频图像的图像分辨率中的行分辨率与预设的最大行分辨率的商。

第二获取单元804具体用于：

在接收到存储静态图像指令的时刻，将该时刻所设定的时间段内全部静态图像发送至存储器；或

在接收到存储静态图像指令的时刻，将该时刻所设定的时间段内指定帧数的静态图像发送至存储器。

第二处理单元805具体用于：

若当前存储的静态图像的行分辨率小于或等于预设的最大行分辨率，则一次读取静态图像；

若当前存储的静态图像的行分辨率大于预设的最大行分辨率，则分次读取当前存储的静态图像，每次读取行分辨率小于或等于该预设的最大行分辨率的部分图像，直至该静态图像全部读完。

在非首次读取当前存储的静态图像时，第二处理单元805进一步用于：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，所述宽度为设定数目的像素点的宽度。

第二处理单元805还用于：

采用与第一处理单元803对视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。

综上所述，本发明实施例提供了一种图像处理系统、方法及装置，该系统包括：图像传感器、采样模块、ISP模块以及存储器，其中，图像传感器，与采样模块和存储器相连接，用于将获取的视频图像发送至采样模块，以及将获取的静态图像直接发送至存储器；采样模块，与ISP模块相连接，用于根据图像传感器配置的图像分辨率与ISP模块处理的最大行分辨率，对接收的视频图像进行采样，并将采样后的视频图像发送至ISP模块；ISP模块，与存储器相连接，用于接收采样模块传送的视频图像，并对该视频图像进行图像处理，以及将处理后的视频图像发送至存储器；还用于根据ISP模块处理的最大行分辨率，读取存储器中当前存储的静态图像，并对该静态图像进行图像处理，以及将处理后的静态图像发送至存储器；存储器，用于存储视频图像以及静态图像。通过直接存储静态图像，并分次读取该静态图像进行图像处理，这样，不需要对静态图像进行下采样，也不需要要求ISP模块处理图像的大小的配置，降低了图像处理过程中的行缓存的需求，保证在行缓存容量的前提下，可以支持处理图像传感器发送的任意大分辨率的图像，解决了ISP模块处理的图像大小兼容性差的问题，并且避免了处理大像素图像时，重新设计的多媒体处理芯片的面积太大的问题，降低了生产成本、提高了多媒体处理芯片的良率，最终提高了该多媒体处理芯片的图像处理效率。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种图像处理系统，其特征在于，包括图像传感器、采样模块、图像信号处理器ISP模块以及存储器，其中，

图像传感器，与采样模块和存储器相连接，用于将获取的视频图像发送至所述采样模块，以及将获取的静态图像直接发送至所述存储器；

采样模块，与ISP模块相连接，用于根据所述图像传感器配置的图像分辨率与所述ISP模块处理的最大行分辨率，对接收的所述视频图像进行采样，并将采样后的视频图像发送至所述ISP模块；其中，所述采样模块，在对接收的所述视频图像进行采样时，具体用于：确定所述图像传感器配置的图像分辨率中的行分辨率小于或等于所述ISP模块处理的最大行分辨率时，采用1:1的比例对接收的所述视频图像进行采样；或者确定所述图像传感器配置的图像分辨率中的行分辨率大于所述ISP模块处理的最大行分辨率时，采用小于或等于1:N的比例对接收的所述视频图像进行采样，其中，N为所述图像传感器配置的图像分辨率中的行分辨率与所述ISP模块处理的最大行分辨率的商；

ISP模块，与存储器相连接，用于接收所述采样模块传送的视频图像，并对所述视频图像进行图像处理，以及将处理后的视频图像发送至所述存储器；还用于根据所述ISP模块处理的最大行分辨率，读取所述存储器中当前存储的静态图像，并对所述静态图像进行图像处理，以及将处理后的静态图像发送至所述存储器；

存储器，用于存储视频图像以及静态图像。

2.如权利要求1所述的系统，其特征在于，所述图像传感器具体用于：

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内全部静态图像发送至存储器；或

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内指定帧数的静态图像发送至存储器。

3.如权利要求1或2所述的系统，其特征在于，所述ISP模块具体用于：

若所述存储器中当前存储的静态图像的行分辨率小于或等于所述ISP模块处理的最大行分辨率，则一次读取所述静态图像；

若所述存储器中当前存储的静态图像的行分辨率大于所述ISP模块处理的最大行分辨率，则分次读取所述静态图像，每次读取行分辨率小于或等于所述ISP模块处理的最大行分辨率的部分图像，直至所述静态图像全部读完。

4.如权利要求3所述的系统，其特征在于，在非首次读取所述存储器中当前存储的静态图像时，所述ISP模块进一步用于：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，所述宽度为设定数目的像素点的宽度。

5.如权利要求3所述的系统，其特征在于，所述ISP模块还用于：

采用与所述ISP模块对所述视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。

6.一种图像处理方法，其特征在于，包括：

接收到存储视频图像指令，获取当前的视频图像；

根据获取的当前的视频图像的图像分辨率与预设的最大行分辨率，对所述视频图像进行采样，具体包括：确定所述视频图像的图像分辨率中的行分辨率小于或等于预设的最大行分辨率时，采用1:1的比例对所述视频图像进行采样；或者确定所述视频图像的图像分辨率中的行分辨率大于预设的最大行分辨率时，采用小于或等于1:N的比例对所述视频图像进行采样，其中，N为所述视频图像的图像分辨率中的行分辨率与预设的最大行分辨率的商；

将采样后的视频图像进行图像处理，并将处理后的视频图像进行存储；

在接收到存储视频图像指令过程中或在接收到存储视频图像指令之后，接收到存储静态图像指令时，获取当前的静态图像直接进行存储；

根据预设的最大行分辨率读取存储的静态图像，并对所述静态图像进行图像处理，并将处理后的静态图像进行存储。

7.如权利要求6所述的方法，其特征在于，接收到存储静态图像指令时，获取当前的静态图像直接进行存储，包括：

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内全部静态图像发送至存储器；或

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内指定帧数的静态图像发送至存储器。

8.如权利要求6或7所述的方法，其特征在于，根据预设的最大行分辨率读取存储的静态图像，包括：

若当前存储的静态图像的行分辨率小于或等于所述预设的最大行分辨率，则一次读取所述静态图像；

若当前存储的静态图像的行分辨率大于所述预设的最大行分辨率，则分次读取所述静态图像，每次读取行分辨率小于或等于所述预设的最大行分辨率的部分图像，直至所述静态图像全部读完。

9.如权利要求8所述的方法，其特征在于，在非首次读取当前存储的静态图像时，每次读取行分辨率小于或等于所述预设的最大行分辨率的部分图像，包括：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，所述宽度为设定数目的像素点的宽度。

10.如权利要求8所述的方法，其特征在于，对所述静态图像进行图像处理，包括：

采用与对所述视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。

11.一种图像处理装置，其特征在于，包括：

第一获取单元，用于接收到存储视频图像指令，获取当前的视频图像；

采样单元，用于根据获取的当前的视频图像的图像分辨率与预设的最大行分辨率，对所述视频图像进行采样；其中，所述采样单元具体用于：确定所述视频图像的图像分辨率中的行分辨率小于或等于预设的最大行分辨率时，采用1:1的比例对所述视频图像进行采样；或者确定所述视频图像的图像分辨率中的行分辨率大于预设的最大行分辨率时，采用小于或等于1:N的比例对所述视频图像进行采样，其中，N为所述视频图像的图像分辨率中的行分辨率与预设的最大行分辨率的商；

第一处理单元，用于将采样后的视频图像进行图像处理，并将处理后的视频图像进行存储；

第二获取单元，用于在接收到存储视频图像指令过程中或在接收到存储视频图像指令之后，接收到存储静态图像指令时，获取当前的静态图像直接进行存储；

第二处理单元，用于根据预设的最大行分辨率读取存储的静态图像，并对所述静态图像进行图像处理，并将处理后的静态图像进行存储。

12.如权利要求11所述的装置，其特征在于，所述第二获取单元具体用于：

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内全部静态图像发送至存储器；或

在接收到存储静态图像指令的时刻，将所述时刻所设定的时间段内指定帧数的静态图像发送至存储器。

13.如权利要求11或12所述的装置，其特征在于，所述第二处理单元具体用于：

若当前存储的静态图像的行分辨率小于或等于所述预设的最大行分辨率，则一次读取所述静态图像；

若当前存储的静态图像的行分辨率大于所述预设的最大行分辨率，则分次读取所述静态图像，每次读取行分辨率小于或等于所述预设的最大行分辨率的部分图像，直至所述静态图像全部读完。

14.如权利要求13所述的装置，其特征在于，在非首次读取当前存储的静态图像时，所述第二处理单元进一步用于：

读取当前的部分图像时，当前的部分图像与上一次读取的部分图像重叠预设的宽度，其中，所述宽度为设定数目的像素点的宽度。

15.如权利要求13所述的装置，其特征在于，所述第二处理单元还用于：

采用与所述第一处理单元对所述视频图像进行图像处理时相同的调整参数，对每次读取的静态图像中的部分图像进行图像处理。