CN106454079B - 图像处理方法及装置和相机 - Google Patents

Abstract

本发明提供了一种图像处理方法及装置和相机。该图像处理方法包括：接收原始图像数据；对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据；对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据；以及对所述第二图像数据进行视频分析，并将视频分析结果叠加到所述第一图像数据上以得到第三图像数据。本发明所提供的图像处理方法及装置和相机能够在保证算法分析准确度的基础上兼顾用户的查看体验。

Description

图像处理方法及装置和相机

技术领域

本发明涉及图像处理技术领域，更具体地涉及一种图像处理方法及装置和相机。

背景技术

普通相机通常采用一个成像模组加一个处理单元来完成视频流或者图片的采集、分析、编码、存储、传输等任务。双目相机通常采用两个成像模组加上一个或者两个处理单元，在普通相机的基础上实现测量物体角度、距离等功能。

其中，成像模组通常包括图像传感器和图像信号处理器(Image SignalProcessor，缩写为ISP)。图像信号处理器通常用于对前端图像传感器输出的信号做处理，例如将图像传感器采集的原始数据进行去噪声、白平衡处理、色彩空间转换、以及进行锐度、色度、对比度处理等，以提高后端视频或者图片的用户查看体验。

然而，这些处理中的一些可能导致图像信息的丢失或改变图像的频率响应。例如，降低噪声、增大锐度、对比度等可以提高后端视频或者图片的用户查看体验，但同时去噪声之后图像细节会损失；增大锐度可以使图像边缘的锐度增大，使图像看起来更清晰，但是改变了图像的频率响应。这些对普通相机没有任何的影响，但是对于算法分析(例如对图像的视频分析等)是非常不利的。

发明内容

考虑到上述问题而提出了本发明。根据本发明一方面，提供了一种图像处理方法，所述图像处理方法包括：接收原始图像数据；对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据；对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据；以及对所述第二图像数据进行视频分析，并将视频分析结果叠加到所述第一图像数据上以得到第三图像数据。

在本发明的一个实施例中，所述第一处理操作与所述第二处理操作并行进行。

在本发明的一个实施例中，所述图像处理方法在相机内部实现。

在本发明的一个实施例中，所述原始图像数据来自图像传感器，所述第一处理操作由第一图像信号处理单元实现，所述第二处理操作由第二图像信号处理单元实现。

在本发明的一个实施例中，还包括：对所述第三图像数据进行编码操作。

在本发明的一个实施例中，所述第一处理操作包括以下中的至少一种：自动曝光、去噪声、自动白平衡、色彩滤波、色彩空间转换、图像锐化、对比度增强以及边缘检测增强。

在本发明的一个实施例中，所述第二处理操作包括以下中的至少一种：自动曝光、自动白平衡、色彩滤波以及色彩空间转换。

在本发明的一个实施例中，所述对所述原始图像数据进行第二处理操作包括：基于第一曝光参数对所述原始图像数据进行自动曝光处理，并将处理后的所述原始图像数据进行自动白平衡处理；以及判断自动白平衡处理后的所述原始图像数据的白平衡是否达到白平衡基准点：若否，则基于所述第一曝光参数调整自动曝光处理的曝光参数得到第二曝光参数，并基于所述第二曝光参数对所述原始图像数据进行自动曝光处理；若是，则对自动白平衡处理后的所述原始图像数据进行色彩滤波处理。

在本发明的一个实施例中，所述色彩空间转换包括将所述原始图像数据从RGB色彩空间转换为YUV色彩空间。

在本发明的一个实施例中，所述视频分析包括人脸检测和/或人脸识别。

在本发明的一个实施例中，所述图像处理方法还包括：根据所述原始图像数据的时间序列，为所述原始图像数据中的每一帧图像标记时间戳；并且所述将视频分析结果叠加到所述第一图像数据上包括：基于所述第二图像数据中的任一帧图像的时间戳，将该帧图像的所述视频分析结果叠加到与该帧图像具有相同时间戳的所述第一图像数据的对应帧的图像上。

在本发明的一个实施例中，所述对所述第二图像数据进行视频分析包括：检测所述第二图像数据任一帧图像是否包括目标对象，以及若是，则对所述目标对象进行识别，得到视频分析结果，以及获取所述目标对象在该帧图像的位置坐标；并且所述将视频分析结果叠加到所述第一图像数据上包括：基于所述目标对象在所述第二图像数据任一帧图像的位置坐标，将与其对应的视频分析结果叠加到所述第一图像数据中的对应帧的图像的相同位置坐标处。

根据本发明另一方面，提供了一种图像处理装置，所述图像处理装置包括：第一图像信号处理单元，用于接收原始图像数据，并对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据；第二图像信号处理单元，用于接收原始图像数据，并对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据；以及视频分析单元，用于对所述第二图像数据进行视频分析，并将视频分析结果叠加到所述第一图像数据上以得到第三图像数据。

在本发明的一个实施例中，所述第一图像信号处理单元和所述第二图像信号处理单元并行地执行所述第一处理操作与所述第二处理操作。

在本发明的一个实施例中，所述图像处理装置在相机内部实现。

在本发明的一个实施例中，所述原始图像数据来自图像传感器。

在本发明的一个实施例中，所述图像处理装置还包括编码单元，用于对所述第三图像数据进行编码操作。

在本发明的一个实施例中，所述第一处理操作包括以下中的至少一种：自动曝光、去噪声、自动白平衡、色彩滤波、色彩空间转换、图像锐化、对比度增强以及边缘检测增强。

在本发明的一个实施例中，所述第二处理操作包括以下中的至少一种：自动曝光、自动白平衡、色彩滤波以及色彩空间转换。

在本发明的一个实施例中，所述第二图像信号处理单元对所述原始图像数据进行第二处理操作包括：基于第一曝光参数对所述原始图像数据进行自动曝光处理，并将处理后的所述原始图像数据进行自动白平衡处理；以及判断自动白平衡处理后的所述原始图像数据的白平衡是否达到白平衡基准点：若否，则基于所述第一曝光参数调整自动曝光处理的曝光参数得到第二曝光参数，并基于所述第二曝光参数对所述原始图像数据进行自动曝光处理；若是，则对自动白平衡处理后的所述原始图像数据进行色彩滤波处理。

在本发明的一个实施例中，所述色彩空间转换包括将所述原始图像数据从RGB色彩空间转换为YUV色彩空间。

在本发明的一个实施例中，所述视频分析单元对所述第二图像数据进行的视频分析包括人脸检测和/或人脸识别。

在本发明的一个实施例中，所述第一图像信号处理单元和所述第二图像信号处理单元还用于：根据所述原始图像数据的时间序列，为所述原始图像数据中的每一帧图像标记时间戳；并且所述视频分析单元还用于：基于所述第二图像数据中的任一帧图像的时间戳，将该帧图像的所述视频分析结果叠加到与该帧图像具有相同时间戳的所述第一图像数据的对应帧的图像上。

在本发明的一个实施例中，所述视频分析单元对所述第二图像数据进行视频分析包括：检测所述第二图像数据任一帧图像是否包括目标对象，以及若是，则对所述目标对象进行识别，得到视频分析结果，以及获取所述目标对象在该帧图像的位置坐标；并且所述视频分析单元将视频分析结果叠加到所述第一图像数据上包括：基于所述目标对象在所述第二图像数据任一帧图像的位置坐标，将与其对应的视频分析结果叠加到所述第一图像数据中的对应帧的图像的相同位置坐标处。

根据本发明又一方面，提供了一种相机，所述相机包括图像采集装置和上述任一项所述的图像处理装置。

根据本发明实施例的图像处理方法及装置和相机对原始图像数据进行不同的处理以分别用于更好的视觉效果和算法分析，能够在保证算法分析准确度的基础上兼顾后端用户的查看体验。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是用于实现根据本发明实施例的图像处理方法和装置的示例电子设备的示意性框图；

图2是根据本发明实施例的图像处理方法的示意性流程图；

图3是根据本发明实施例的图像处理装置的示意性框图；

图4是根据本发明实施例的图像处理系统的示意性框图；以及

图5是根据本发明实施例的相机的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现本发明实施例的图像处理方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、相机等。

下面，将参考图2描述根据本发明实施例的图像处理方法200。

在步骤S210，接收原始图像数据。

在一个实施例中，可以接收图像采集装置所采集的原始图像数据。例如，可以从智能手机、平板电脑等的摄像头接收原始图像数据，或从相机的图像传感器接收原始图像数据等。在一个示例中，可以从一个图像传感器接收原始图像数据。在其他示例中，可以从两个或更多个图像传感器接收原始图像数据。当从两个或更多个图像传感器接收原始图像数据时，以下将描述的步骤中的原始图像数据是来自同一个图像传感器的原始图像数据。也就是说，当从两个或更多个图像传感器接收原始图像数据时，可以针对每个图像传感器的原始图像数据均执行一次以下的步骤。

在步骤S220，对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据。

在一个实施例中，对所接收的原始图像数据进行第一处理操作是为了获得更好的视觉效果，方便在后端获得更好的观看体验。

在一个示例中，所述第一处理操作包括以下中的至少一种：自动曝光、去噪声、自动白平衡、色彩滤波、色彩空间转换、图像锐化、对比度增强以及边缘检测增强。对原始图像数据执行这些操作可以使后端图像看起来舒服，提高后端用户的查看体验。例如，通过对原始图像数据进行去噪声处理，降低原始图像数据的噪声点，使图像显示更清晰，以及对图像数据进行自动白平衡、色彩滤波等处理，使图像显示时色彩更均衡，视觉效果更好，再例如，对原始图像数据进行对比度增强处理，使图像显示时色彩更鲜明亮丽、图像中的物体轮廓更清晰分明等，在此不再一一说明。

下面举例说明第一处理操作中某些操作的实现。

例如，对于自动曝光操作，可以根据图像的清晰程度等判断当前拍摄环境的光线的强弱，进而自动调节曝光参数(例如，可以包括亮度、对比度、曝光值等)，以实现自动曝光。

对于自动白平衡操作，可以通过接收到的原始图像数据和白平衡感测器的探测数据确定当前环境的光线情况，从而确定被摄物体的色温值，以此判断摄像条件，再根据被拍摄物体的色温值控制色温校正电路对该色温加以校正，白平衡自动控制电路自动将白平衡调到合适的位置，从而得到更加自然的图像数据。

对于色彩空间转换操作，首先，色彩空间转换是指把一个色彩空间中的颜色数据转换或表示成另一个色彩空间中的相应数据，即用不同的色彩空间中的数据表示同一颜色。例如，可以将与设备相关的RGB色彩空间转换到与设备无关的CIELab色彩空间。任何一个与设备有关的色彩空间都可以在CIELab色彩空间中测量、标定。如果不同的与设备相关颜色都能对应到CIELab色彩空间的同一点，那么，它们之间的转换就一定是准确的。示例性地，可以采用三维查表插值法、多项式回归法或色差法等实现色彩空间转换。在另一个示例中，色彩空间转换可以包括将原始图像数据从RGB色彩空间转换为YUV色彩空间，从而减少原始图像数据所占带宽，优化其传输。

上面的描述仅是示例性地描述了第一处理操作中的一些操作，由于第一处理操作是为了得到相对于原始图像数据具有更好的视觉效果的图像数据，例如第一处理操作包括图像信号处理器(ISP)对前端图像传感器输出信号所做的常规处理等，因此本领域普通技术人员可以理解第一处理操作的具体内容，此处对于第一处理操作所包括的其他操作不再赘述。

在步骤S230，对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据。

在一个实施例中，对所接收的原始图像数据进行第二处理操作是用于对原始图像数据进行算法分析，诸如视频分析等。

由于对原始图像数据的第一处理操作中的一些操作会导致原始图像数据中图像信息的丢失，例如，降低噪声、增大锐度、对比度等可以提高后端视频或者图片的用户查看体验，但同时图像细节会损失，例如，丢失部分图像像素；增大锐度可以使图像边缘的锐度增大，使图像看起来更清晰，但是改变了图像的频率响应。而图像损失、图像的频率响应变化均不利于算法分析(例如对图像的视频分析等)。因此，第二处理操作能使经处理的图像数据具有更多的可用于视频分析的信息的处理操作，例如，较第一图像数据而言，第二图像数据具有更多的利于视频分析的信息。示例性地，第二图像数据较第一图像数据，图像像素丢失较少或者未丢失图像像素、以及图像的频率响应无改变或者其改变在预设范围内。

在一个示例中，当第一处理操作包括多个处理操作时，第二处理操作仅包括第一处理操作中的一部分处理操作，且该部分的处理操作不会使原始图像数据丢失图像信息，或者经过该部分的处理操作的处理后原始图像数据丢失图像信息的数量在预设范围内，以使得不会影响对经处理后的图像数据进行视频分析的准确度。在另一个示例中，第二处理操作可以包括使得原始图像数据丢失图像信息最少(例如，图像像素丢失的数量在预设范围内)、而又有利于算法分析的处理操作，例如自动曝光、自动白平衡，色彩空间转换，边缘检测增强等。

在一个示例中，第二处理操作可以包括以下中的至少一种：自动曝光、自动白平衡、色彩滤波、以及色彩空间转换。这样的处理不会对算法分析造成不利影响，相对可以提高算法分析的准确度。关于第二处理操作所包括的具体操作，由于它们同时也可以是第一处理操作中所包含处理操作的一部分，前面在步骤S220关于它们的实现已举例描述过，此处为了简洁不再赘述，可参见在步骤S220中的相关描述理解第二处理操作的具体操作的实现。

关于第二处理操作所包含操作的处理顺序，可根据需要进行设置。在一个示例中，第二处理操作包括自动曝光、自动白平衡和色彩滤波，基于此，对原始图像数据进行第二处理操作可以包括：基于第一曝光参数对原始图像数据进行自动曝光处理，并将处理后的原始图像数据进行自动白平衡处理；以及判断自动白平衡处理后的原始图像数据的白平衡是否达到白平衡基准点：若否，则基于第一曝光参数调整自动曝光处理的曝光参数得到第二曝光参数，并基于第二曝光参数对原始图像数据进行自动曝光处理；若是，则对自动白平衡处理后的原始图像数据进行色彩滤波处理。在其他示例中，也可以按照其他的合适顺序进行处理。

在步骤S240，对所述第二图像数据进行视频分析，并将视频分析结果叠加到所述第一图像数据上以得到第三图像数据。

前面已经描述，对从所接收的原始图像数据进行第二处理操作是用于诸如视频分析的算法分析。在该步骤，对第二处理操作后得到的第二图像数据进行视频分析。在一个示例中，视频分析可以包括人脸检测和/或人脸识别。在其他示例中，视频分析也可以包括其他属于视频分析的内容。视频分析结果例如可以包括人脸检测结果、人脸识别结果、车辆检测结果、车辆识别结果、车牌识别结果等，以人脸识别结果为例，可以包括人脸对应对象的性别、年龄、衣着、姓名、户籍地等等。本领域技术人员可以理解的是，前述视频分析结果是示例性的而不为其造成任何限制，可以根据当前视频分析需求而确定视频分析结果的内容。

在一个示例中，在对经过第二处理操作的原始图像数据(即第二图像数据)进行视频分析后，可以将视频分析结果(例如人脸检测结果或人脸识别结果)叠加到经过第一处理操作的相对应的原始图像数据(即第一图像数据)上以得到第三图像数据。由于进行第一处理操作和进行第二处理操作的原始图像数据是相同的，只是相同的原始图像数据被施加了不同的处理操作(分别得到了第一图像数据和第二图像数据)。因此，将第二图像数据进行视频分析后，可以找到相对应的第一图像数据，以将视频分析结果所述相对应的第一图像数据上。

在一个示例中，可以基于时间戳找到所述相对应的第一图像数据。也就是说，可以基于经过视频分析的原始图像数据的时间戳找到具有相同时间戳的经过第一处理操作的原始图像数据以进行视频分析结果的叠加。

例如，可以在接收到原始图像数据之后，根据原始图像数据的时间序列，为原始图像数据中的每一帧图像标记时间戳。基于此，将视频分析结果叠加到第一图像数据上可以包括：基于第二图像数据中的任一帧图像的时间戳，将该帧图像的视频分析结果叠加到与该帧图像具有相同时间戳的第一图像数据的对应帧的图像上。

例如，设所接收到的原始图像数据包括5个图像帧，分别标记时间戳为001、002、003、004和005，这5个图像帧例如可被两个图像信号处理单元接收(例如，将5个图像帧同时传输给第一图像处理单元和第二图像处理单元)，并由这两个图像信号处理单元分别进行第一处理操作和第二处理操作。在一个示例中，第一处理操作和第二处理操作可以并行执行。在将这5个图像帧进行第二处理操作以后，可以对已完成第二处理操作的每个图像帧进行视频分析，例如对图像帧中的人脸进行检测、识别，并将结果叠加到已完成第一处理操作的对应的图像帧上。举例来讲，假设在时间戳为002(即第2帧)的图像帧中检测识别到人物A，则可将该识别结果叠加到经过第一处理操作的对应的图像帧(即时间戳为002的图像帧)。类似地，可将这5个图像帧中所有的识别结果均叠加到经过第一处理操作的对应的图像帧中，以用于后续的处理，例如编码、传输等。基于时间戳找到相对应的第一图像数据以进行视频分析结果的叠加实现简单，快捷方便。

在另一个示例中，可以基于目标图像在图像中的位置坐标找到相对应的第一图像数据。例如，在对第二图像数据进行视频分析时检测第二图像数据任一帧图像是否包括目标对象，若是，则对该目标对象进行识别，得到视频分析结果，以及获取该目标对象在该帧图像的位置坐标。基于此，将视频分析结果叠加到第一图像数据上可以包括：基于所述目标对象在第二图像数据任一帧图像的位置坐标，将与其对应的视频分析结果叠加到第一图像数据中的对应帧的图像的相同位置坐标处。基于上述实施例，第一图像数据和第二图像数据中的任一对象的坐标位置均相同，通过任一对象的坐标以将对应的识别结果和第一图像数据进行叠加，使对象与其对应的识别结果能够准确地一一对应起来，更有利于后续结果查看和分辨。

在一些示例中，可以对识别结果的显示方式进行处理，例如，将识别结果设置为透视显示，而不会在图像显示时遮挡对应的对象。在另一些示例中，可以对识别结果的显示位置进行调整，例如，调整在与其对应的对象的正上方的预设范围内，举例来讲，假设对象为人，将其识别结果显示在距离该人的头顶20mm位置处，从而在图像显示时该对象不被其识别结果遮挡。

在其他示例中，还可以通过其他方式找到相对应的第一图像数据以进行视频分析结果的叠加。

应了解，本发明不受具体采用的视频分析方法(例如，人脸检测方法和人脸识别方法)的限制，无论是现有的视频分析方法(例如，人脸检测方法和人脸识别方法)还是将来开发的视频分析方法(例如，人脸检测方法和人脸识别方法)，都可以应用于根据本发明实施例的图像处理方法中，并且也应包括在本发明的保护范围内。

根据本发明的实施例，图像处理方法200还可以包括对所述第三图像数据进行编码操作(未在图2中示出)。

在一个示例中，对被叠加了视频分析结果的第一图像数据(即最终得到的第三图像数据)进行编码，例如进行H.264、MJPEG编码，或其他编码等，以用于后续的处理，例如固态硬盘(SSD)或串口硬盘(SATA)存储、网络传输、显示等。

由于对原始图像数据进行了第一处理操作，因此后端用户的视觉体验得到了保证(例如，提高的图像显示的清晰度)，同时还对原始图像数据进行了不影响算法分析效率和准确度的第二处理操作，保障了视频分析结果的准确性和时效性，而将具有准确性和时效性的视频分析结果叠加到具有较好视觉体验的图像数据上，使得后端用户在查看视频(或者图像)时，不仅可以有良好的视觉体验，还能准确地得到对所查看图像或视频的视频分析结果(例如人脸识别结果)。

基于上面的描述，根据本发明实施例的图像处理方法对原始图像数据进行不同的处理以分别用于更好的视觉效果和算法分析结果，能够在保证算法分析结果准确度的基础上兼顾后端用户的视觉体验。

示例性地，根据本发明实施例的图像处理方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的图像处理方法可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机、相机等。例如，根据本发明实施例的图像处理方法可以在相机内部实现，原始图像数据可以来自图像传感器，所述第一处理操作由第一图像信号处理单元实现，所述第二处理操作由第二图像信号处理单元实现。替代地，根据本发明实施例的图像处理方法还可以部署在服务器端(或云端)。替代地，根据本发明实施例的图像处理方法还可以分布地部署在服务器端(或云端)和个人终端处。

图3示出了根据本发明实施例的图像处理装置300的示意性框图。

如图3所示，根据本发明实施例的图像处理装置300包括第一图像信号处理单元310、第二图像信号处理单元320以及视频分析单元330。上述各个单元可分别执行上文中结合图2描述的图像处理方法的各个步骤/功能。以下仅对该图像处理装置300的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

第一图像信号处理单元310用于接收原始图像数据，并对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据。第二图像信号处理单元320用于接收原始图像数据，并对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据。视频分析单元330用于对所述第二图像数据进行视频分析，并将视频分析结果叠加到所述第一图像数据上以得到第三图像数据。第一图像信号处理单元310、第二图像信号处理单元320以及视频分析单元330均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

根据本发明实施例，第一图像信号处理单元310和第二图像信号处理单元320可以接收图像采集装置所采集的原始图像数据。例如，第一图像信号处理单元310和第二图像信号处理单元320可以从智能手机、平板电脑等的摄像头接收原始图像数据，或从相机的图像传感器接收原始图像数据等。在一个示例中，第一图像信号处理单元310和第二图像信号处理单元320可以从一个图像传感器接收原始图像数据。在其他示例中，第一图像信号处理单元310和第二图像信号处理单元320可以从两个或更多个图像传感器接收原始图像数据。当从两个或更多个图像传感器接收原始图像数据时，第一图像信号处理单元310和第二图像信号处理单元320分别进行的第一处理操作和第二处理操作是针对来自同一个图像传感器的原始图像数据。

根据本发明实施例，第一图像信号处理单元310对所接收的原始图像数据进行第一处理操作是为了获得更好的视觉效果，方便后端获得更好的观看体验。

在一个示例中，第一图像信号处理单元310所进行的第一处理操作包括以下中的至少一种：自动曝光、去噪声、自动白平衡、色彩滤波、色彩空间转换、图像锐化、对比度增强、以及边缘检测增强。第一图像信号处理单元310对原始图像数据执行这些操作可以使后端图像看起来舒服，提高后端用户的查看体验。关于这些操作的示例性实现可以参见前面关于图2的图像处理方法中的描述，为了简洁，此处不再赘述。

根据本发明实施例，第二图像信号处理单元320对从所接收的原始图像数据进行第二处理操作是用于对原始图像数据进行算法分析，诸如视频分析等。由于第一图像信号处理单元310对原始图像数据的第一处理操作中的一些操作会导致原始图像数据中图像信息的丢失，图像信息的丢失对于算法分析(例如对图像的视频分析等)是非常不利的。因此，第二处理操作是相对于第一处理操作，能使经处理的图像数据具有更多的可用于视频分析的信息的处理操作。

在一个示例中，第二图像信号处理单元320对原始图像数据所进行的第二处理操作仅包括第一处理操作的一部分，且该部分的处理操作不会使原始图像数据丢失图像信息或者仅使原始图像数据丢失最少图像信息，例如自动曝光、自动白平衡，色彩空间转换，边缘检测增强等。

在一个示例中，第二图像信号处理单元320所进行的第二处理操作可以包括以下中的至少一种：自动曝光、自动白平衡、色彩滤波、以及色彩空间转换。这样的处理不会对算法分析造成不利影响，相对可以提高算法分析的准确度。由于第二处理操作可以是第一处理操作中所包含处理操作的一部分，因此为了简洁，此处不再赘述第二处理操作的具体操作的实现。

关于第二图像信号处理单元320对原始图像数据所进行的第二处理操作所包含操作的处理顺序，可根据需要进行设置。在一个示例中，第二图像信号处理单元320对原始图像数据进行第二处理操作可以包括：基于第一曝光参数对原始图像数据进行自动曝光处理，并将处理后的原始图像数据进行自动白平衡处理；以及判断自动白平衡处理后的原始图像数据的白平衡是否达到白平衡基准点：若否，则基于第一曝光参数调整自动曝光处理的曝光参数得到第二曝光参数，并基于第二曝光参数对原始图像数据进行自动曝光处理；若是，则对自动白平衡处理后的原始图像数据进行色彩滤波处理。在其他示例中，第二图像信号处理单元320也可以按照其他的合适顺序进行处理。

根据本发明实施例，视频分析单元330对经过第二处理操作的原始图像数据(即第二图像数据)进行视频分析。在一个示例中，视频分析可以包括人脸检测和/或人脸识别。在其他示例中，视频分析也可以包括其他属于视频分析的内容。

在一个示例中，在对经过第二处理操作的原始图像数据(即第二图像数据)进行视频分析后，视频分析单元330可以将视频分析结果(例如人脸检测结果或人脸识别结果)叠加到经过第一处理操作的相对应的原始图像数据(即第一图像数据)上以得到第三图像数据。示例性地，视频分析单元330可以基于时间戳找到所述相对应的第一图像数据。基于时间戳找到相对应的原始图像数据以进行视频分析结果的叠加实现简单，快捷方便。在另一个示例中，视频分析单元330可以基于目标图像在图像中的位置坐标找到相对应的第一图像数据。在其他示例中，视频分析单元330还可以通过其他方式找到相对应的第一图像数据以进行视频分析结果的叠加。

根据本发明实施例，视频分析单元330对经过第一处理操作的、被叠加了视频分析结果的原始图像数据(即第三图像数据)进行编码，例如进行H.264、MJPEG编码，或其他编码等，以用于后续的处理，例如固态硬盘(SSD)或串口硬盘(SATA)存储、网络传输、显示等。

由于第一图像信号处理单元310对从图像采集装置所接收的原始图像数据进行了第一处理操作，因此后端用户的查看体验得到了保证，同时由于第二图像信号处理单元320对图像采集装置所接收的原始图像数据进行了不影响算法分析效率和准确度的第二处理操作，且视频分析单元330将分析结果叠加在了经过第一处理操作的相对应的原始图像数据上并进行编码等后续处理，因此最终后端用户不仅可以有良好的查看体验，还能准确地得到对所查看图像或视频的视频分析结果(例如人脸识别结果)。

基于上面的描述，根据本发明实施例的图像处理装置对原始图像数据进行不同的处理以分别用于更好的视觉效果和算法分析，能够在保证算法分析准确度的基础上兼顾后端用户的查看体验。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图4示出了根据本发明实施例的图像处理系统400的示意性框图。图像处理系统400包括存储装置410以及处理器420。

其中，存储装置410存储用于实现根据本发明实施例的图像处理方法中的相应步骤的程序代码。处理器420用于运行存储装置420中存储的程序代码，以执行根据本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置中的相应模块。此外，图像处理系统400还可以包括图像采集装置(未在图4中示出)，其可以用于采集原始图像数据。当然，图像采集装置不是必需的，可直接接收来自其他源的原始图像数据。

在一个实施例中，在所述程序代码被处理器420运行时使得图像处理系统400执行以下步骤：接收原始图像数据；对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据；对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据；以及对所述第二图像数据进行视频分析，并将视频分析结果叠加到所述第一图像数据上以得到第三图像数据。

在一个示例中，所述第一处理操作与所述第二处理操作并行进行。

在一个示例中，所述图像处理系统在相机内部实现。

在一个示例中，所述原始图像数据来自图像传感器，所述第一处理操作由第一图像信号处理单元实现，所述第二处理操作由第二图像信号处理单元实现。

在一个示例中，在所述程序代码被处理器420运行时还使得图像处理系统400执行以下步骤：对所述第三图像数据进行编码操作。

在一个示例中，所述第一处理操作包括以下中的至少一种：自动曝光、去噪声、自动白平衡、色彩滤波、色彩空间转换、图像锐化、对比度增强以及边缘检测增强。

在一个示例中，所述第二处理操作包括以下中的至少一种：自动曝光、自动白平衡、色彩滤波以及色彩空间转换。

在一个示例中，所述对所述原始图像数据进行第二处理操作包括：基于第一曝光参数对所述原始图像数据进行自动曝光处理，并将处理后的所述原始图像数据进行自动白平衡处理；以及判断自动白平衡处理后的所述原始图像数据的白平衡是否达到白平衡基准点：若否，则基于所述第一曝光参数调整自动曝光处理的曝光参数得到第二曝光参数，并基于所述第二曝光参数对所述原始图像数据进行自动曝光处理；若是，则对自动白平衡处理后的所述原始图像数据进行色彩滤波处理。

在一个示例中，所述色彩空间转换包括将所述原始图像数据从RGB色彩空间转换为YUV色彩空间。

在一个示例中，所述视频分析包括人脸检测和/或人脸识别。

在一个示例中，在所述程序代码被处理器420运行时还使得图像处理系统400执行以下步骤：根据所述原始图像数据的时间序列，为所述原始图像数据中的每一帧图像标记时间戳；并且所述将视频分析结果叠加到所述第一图像数据上包括：基于所述第二图像数据中的任一帧图像的时间戳，将该帧图像的所述视频分析结果叠加到与该帧图像具有相同时间戳的所述第一图像数据的对应帧的图像上。

在一个示例中，所述对所述第二图像数据进行视频分析包括：检测所述第二图像数据任一帧图像是否包括目标对象，以及若是，则对所述目标对象进行识别，得到视频分析结果，以及获取所述目标对象在该帧图像的位置坐标；并且所述将视频分析结果叠加到所述第一图像数据上包括：基于所述目标对象在所述第二图像数据任一帧图像的位置坐标，将与其对应的视频分析结果叠加到所述第一图像数据中的对应帧的图像的相同位置坐标处。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含接收原始图像数据的计算机可读的程序代码，另一个计算机可读存储介质包含进行第一处理操作的计算机可读的程序代码，又一个计算机可读存储介质包含进行第二处理操作的计算机可读的程序代码，再一个计算机可读存储介质包含进行视频分析以及进行视频分析结果叠加的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的图像处理装置的各个功能模块，并且/或者可以执行根据本发明实施例的图像处理方法。

在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：接收原始图像数据；对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据；对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据；以及对所述第二图像数据进行视频分析，并将视频分析结果叠加到所述第一图像数据上以得到第三图像数据。

在一个示例中，所述第一处理操作与所述第二处理操作并行进行。

在一个示例中，所述存储介质在相机内部实现。

在一个示例中，所述原始图像数据来自图像传感器，所述第一处理操作由第一图像信号处理单元实现，所述第二处理操作由第二图像信号处理单元实现。

在一个示例中，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤：对所述第三图像数据进行编码操作。

在一个示例中，所述第一处理操作包括以下中的至少一种：自动曝光、去噪声、自动白平衡、色彩滤波、色彩空间转换、图像锐化、对比度增强以及边缘检测增强。

在一个示例中，所述第二处理操作包括以下中的至少一种：自动曝光、自动白平衡、色彩滤波以及色彩空间转换。

在一个示例中，所述对所述原始图像数据进行第二处理操作包括：基于第一曝光参数对所述原始图像数据进行自动曝光处理，并将处理后的所述原始图像数据进行自动白平衡处理；以及判断自动白平衡处理后的所述原始图像数据的白平衡是否达到白平衡基准点：若否，则基于所述第一曝光参数调整自动曝光处理的曝光参数得到第二曝光参数，并基于所述第二曝光参数对所述原始图像数据进行自动曝光处理；若是，则对自动白平衡处理后的所述原始图像数据进行色彩滤波处理。

在一个示例中，所述色彩空间转换包括将所述原始图像数据从RGB色彩空间转换为YUV色彩空间。

在一个示例中，所述视频分析包括人脸检测和/或人脸识别。

在一个示例中，在一个示例中，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤：根据所述原始图像数据的时间序列，为所述原始图像数据中的每一帧图像标记时间戳；并且所述将视频分析结果叠加到所述第一图像数据上包括：基于所述第二图像数据中的任一帧图像的时间戳，将该帧图像的所述视频分析结果叠加到与该帧图像具有相同时间戳的所述第一图像数据的对应帧的图像上。

在一个示例中，所述对所述第二图像数据进行视频分析包括：检测所述第二图像数据任一帧图像是否包括目标对象，以及若是，则对所述目标对象进行识别，得到视频分析结果，以及获取所述目标对象在该帧图像的位置坐标；并且所述将视频分析结果叠加到所述第一图像数据上包括：基于所述目标对象在所述第二图像数据任一帧图像的位置坐标，将与其对应的视频分析结果叠加到所述第一图像数据中的对应帧的图像的相同位置坐标处。

根据本发明实施例的图像处理装置中的各模块可以通过根据本发明实施例的图像处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的图像处理方法、装置、系统以及存储介质对原始图像数据进行不同的处理以分别用于更好的视觉效果和算法分析，能够在保证算法分析准确度的基础上兼顾后端用户的查看体验。

进一步地，根据本发明实施例，还提供了一种相机，如图5所示，所述相机500包括图像采集装置510和图像处理装置520(即前述图像处理装置300)。其中，图像处理装置520用于采集原始图像数据。在一个示例中，图像采集装置510可以包括一个图像传感器(未在图5中示出)，以实现单目相机。在另一个示例中，图像采集装置510也可以包括两个或更多个图像传感器(未在图5中示出)，以实现双目相机或多目相机。当图像采集装置510包括两个或更多个图像传感器时，根据本发明实施例的图像处理装置520可以对来自每个图像传感器的原始图像数据分别进行处理。图像处理装置520的具体结构和操作可以参见图3中关于根据本发明实施例的图像处理装置300的描述，为了简洁，此处不再赘述。

在一些示例中，相机500包括图像采集装置510和图像处理装置520，其中，图像处理装置520中的第一图像信号处理单元310、第二图像信号处理单元320以及视频分析单元330分别由三个处理器实现。

示例性地，图像采集装置510将采集的图像数据(即原始图像数据)分别传输给第一图像信号处理单元310和第二图像信号处理单元320，第一图像信号处理单元310对其接收到的原始图像数据进行第一处理操作，并在完成第一处理操作后的图像数据(即第一图像数据)传输给视频分析单元330，以及第二图像信号处理单元320对其接收到的原始图像数据进行第二处理操作，并在完成第二处理操作后的图像数据(即第二图像数据)传输给视频分析单元330。视频分析单元330对第二图像数据进行视频分析，并将视频分析结果叠加到第一图像数据上，从而得到第三图像数据。

示例性地，视频分析单元330还可以对第三图像数据进行编码、传输等处理。

根据本发明实施例的相机对所采集的原始图像数据进行不同的处理以分别用于更好的视觉效果和算法分析，能够在保证算法分析准确度的基础上兼顾后端用户的查看体验。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (21)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

接收原始图像数据；

对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据；

对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据；以及

对所述第二图像数据进行视频分析得到视频分析结果，并将所述视频分析结果叠加到所述第一图像数据上以得到第三图像数据；

其中，所述第一处理操作包括以下中的至少一种：自动曝光、去噪声、自动白平衡、色彩滤波、色彩空间转换、图像锐化、对比度增强以及边缘检测增强；

所述第二处理操作包括以下中的至少一种：自动曝光、自动白平衡、色彩滤波以及色彩空间转换；

所述第二图像数据较所述第一图像数据，图像像素丢失较少或者未丢失图像像素、以及图像的频率响应无改变或者其改变在预设范围内。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一处理操作与所述第二处理操作并行进行。

3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法在相机内部实现。

4.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述原始图像数据来自图像传感器，所述第一处理操作由第一图像信号处理单元实现，所述第二处理操作由第二图像信号处理单元实现。

5.根据权利要求1所述的图像处理方法，其特征在于，还包括：对所述第三图像数据进行编码操作。

6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述原始图像数据进行第二处理操作包括：

基于第一曝光参数对所述原始图像数据进行自动曝光处理，并将处理后的所述原始图像数据进行自动白平衡处理；以及

判断自动白平衡处理后的所述原始图像数据的白平衡是否达到白平衡基准点：

若否，则基于所述第一曝光参数调整自动曝光处理的曝光参数得到第二曝光参数，并基于所述第二曝光参数对所述原始图像数据进行自动曝光处理；

若是，则对自动白平衡处理后的所述原始图像数据进行色彩滤波处理。

7.根据权利要求1所述的图像处理方法，其特征在于，所述色彩空间转换包括将所述原始图像数据从RGB色彩空间转换为YUV色彩空间。

8.根据权利要求1所述的图像处理方法，其特征在于，所述视频分析包括人脸检测和/或人脸识别。

9.根据权利要求1所述的图像处理方法，其特征在于，

所述图像处理方法还包括：

根据所述原始图像数据的时间序列，为所述原始图像数据中的每一帧图像标记时间戳；并且

所述将视频分析结果叠加到所述第一图像数据上包括：

基于所述第二图像数据中的任一帧图像的时间戳，将该帧图像的所述视频分析结果叠加到与该帧图像具有相同时间戳的所述第一图像数据的对应帧的图像上。

10.根据权利要求1所述的图像处理方法，其特征在于，

所述对所述第二图像数据进行视频分析包括：

检测所述第二图像数据任一帧图像是否包括目标对象，以及

若是，则对所述目标对象进行识别，得到视频分析结果，以及获取所述目标对象在该帧图像的位置坐标；并且

所述将视频分析结果叠加到所述第一图像数据上包括：

基于所述目标对象在所述第二图像数据任一帧图像的位置坐标，将与其对应的视频分析结果叠加到所述第一图像数据中的对应帧的图像的相同位置坐标处。

11.一种图像处理装置，其特征在于，所述图像处理装置包括：

第一图像信号处理单元，用于接收原始图像数据，并对所述原始图像数据执行第一处理操作以得到相对于所述原始图像数据具有更好的视觉效果的第一图像数据；

第二图像信号处理单元，用于接收原始图像数据，并对所述原始图像数据执行第二处理操作以得到相对于所述第一图像数据具有更多的可用于视频分析的信息的第二图像数据；以及

视频分析单元，用于对所述第二图像数据进行视频分析得到视频分析结果，并将所述视频分析结果叠加到所述第一图像数据上以得到第三图像数据；

其中，所述第一处理操作包括以下中的至少一种：自动曝光、去噪声、自动白平衡、色彩滤波、色彩空间转换、图像锐化、对比度增强以及边缘检测增强；

所述第二处理操作包括以下中的至少一种：自动曝光、自动白平衡、色彩滤波以及色彩空间转换；

所述第二图像数据较所述第一图像数据，图像像素丢失较少或者未丢失图像像素、以及图像的频率响应无改变或者其改变在预设范围内。

12.根据权利要求11所述的图像处理装置，其特征在于，所述第一图像信号处理单元和所述第二图像信号处理单元并行地执行所述第一处理操作与所述第二处理操作。

13.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理装置在相机内部实现。

14.根据权利要求11至13任一项所述的图像处理装置，其特征在于，所述原始图像数据来自图像传感器。

15.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理装置还包括编码单元，用于对所述第三图像数据进行编码操作。

16.根据权利要求11所述的图像处理装置，其特征在于，所述第二图像信号处理单元对所述原始图像数据进行第二处理操作包括：

基于第一曝光参数对所述原始图像数据进行自动曝光处理，并将处理后的所述原始图像数据进行自动白平衡处理；以及

判断自动白平衡处理后的所述原始图像数据的白平衡是否达到白平衡基准点：

若否，则基于所述第一曝光参数调整自动曝光处理的曝光参数得到第二曝光参数，并基于所述第二曝光参数对所述原始图像数据进行自动曝光处理；

若是，则对自动白平衡处理后的所述原始图像数据进行色彩滤波处理。

17.根据权利要求11所述的图像处理装置，其特征在于，所述色彩空间转换包括将所述原始图像数据从RGB色彩空间转换为YUV色彩空间。

18.根据权利要求11所述的图像处理装置，其特征在于，所述视频分析单元对所述第二图像数据进行的视频分析包括人脸检测和/或人脸识别。

19.根据权利要求11所述的图像处理装置，其特征在于，

所述第一图像信号处理单元和所述第二图像信号处理单元还用于：

根据所述原始图像数据的时间序列，为所述原始图像数据中的每一帧图像标记时间戳；并且

所述视频分析单元还用于：

基于所述第二图像数据中的任一帧图像的时间戳，将该帧图像的所述视频分析结果叠加到与该帧图像具有相同时间戳的所述第一图像数据的对应帧的图像上。

20.根据权利要求11所述的图像处理装置，其特征在于，

所述视频分析单元对所述第二图像数据进行视频分析包括：

检测所述第二图像数据任一帧图像是否包括目标对象，以及

若是，则对所述目标对象进行识别，得到视频分析结果，以及获取所述目标对象在该帧图像的位置坐标；并且

所述视频分析单元将视频分析结果叠加到所述第一图像数据上包括：

基于所述目标对象在所述第二图像数据任一帧图像的位置坐标，将与其对应的视频分析结果叠加到所述第一图像数据中的对应帧的图像的相同位置坐标处。

21.一种相机，其特征在于，所述相机包括图像采集装置和权利要求11-20中的任一项所述的图像处理装置。

Images