CN106612397A

CN106612397A - 一种图像处理方法及终端

Info

Publication number: CN106612397A
Application number: CN201611055099.0A
Authority: CN
Inventors: 徐爱辉; 王猛; 陈鹏飞; 张腾; 汤少华
Original assignee: Nubia Technology Co Ltd
Current assignee: Nubia Technology Co Ltd
Priority date: 2016-11-25
Filing date: 2016-11-25
Publication date: 2017-05-03

Abstract

一种图像处理方法及终端，包括：在电子光圈模式下，通过第一摄像头获取第一图像数据流，同时通过第二摄像头获取第二图像数据流，所述第一图像数据流包括多帧第一图像数据，第二图像数据流包括多帧第二图像数据；根据预先设置的第一摄像头的用于校正图像的第一参数对每一帧第一图像数据进行校正，根据预先设置的第二摄像头的用意校正图像的第二参数对每一帧第二图像数据进行校正；从校正后的图像数据流中确定出参考帧，将所述图像数据流中除所述参考帧以外的各帧图像数据与所述参考帧进行配准；对配准后的各帧图像数据进行融合处理时，将图像边界处黑色区域的像素替换为所述参考帧对应的像素后进行融合处理，得到目标图像。

Description

一种图像处理方法及终端

技术领域

本发明涉及拍照领域中的图像处理技术，尤其涉及一种图像处理方法及终端。

背景技术

拍照功能是移动终端常用的功能之一，部分移动终端的拍照功能具有电子光圈模式。在电子光圈模式下，用户调整光圈值之后，在曝光时间内移动终端会进行连续不间断的拍摄，然后对拍摄出来的多张图像透明化之后再进行叠加处理，整体效果与“慢快门”所带来的实际效果十分一致，主要突出超长甚至可以达到B门级别的曝光时间。电子光圈模式采用的算法不会产生过曝，画面整体呈现的效果比较自然。

采用电子光圈模式进行拍照时，由于需要连续拍摄多张图像进行图像融合，因此，各个图像需要保证对齐，尤其是在手持模式下。可见，在进行图像融合之前，需要首先进行图像对齐。并且在图像的边界处由于图像对齐会形成黑边，这些黑边处的像素如果按照加权平均的方式进行融合会形成亮度的差异，给图像的整体视觉带来影响。

发明内容

本发明实施例提供了一种图像处理方法及终端，能够提高图像的整体视觉。

本发明实施例提供的终端，包括：

获取单元，用于在电子光圈模式下，通过第一摄像头获取第一图像数据流，同时通过第二摄像头获取第二图像数据流，所述第一图像数据流包括多帧第一图像数据，第二图像数据流包括多帧第二图像数据；

校正模块，用于根据预先设置的第一摄像头的用于校正图像的第一参数对第一图像数据流中的每一帧第一图像数据进行校正，根据预先设置的第二摄像头的用于校正图像的第二参数对第二图像数据流中的每一帧第二图像数据进行校正；

配准单元，用于从校正后的第一图像数据流中确定出第一参考帧，将所述校正后的第一图像数据流中除所述第一参考帧以外的各帧校正后的第一图像数据与所述第一参考帧进行配准；从校正后的第二图像数据流中确定出第二参考帧，将所述校正后的第二图像数据流中除所述第二参考帧以外的各帧校正后的第二图像数据与所述第二参考帧进行配准；

融合单元，用于对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像；对配准后的各帧第二图像数据进行融合处理时，将第二图像边界处黑色区域的像素替换为所述第二参考帧对应的像素后进行融合处理，得到第二目标图像。

本发明实施例中，所述融合单元包括：

分析子单元，用于对配准后的各帧第一图像数据进行分析，确定出各帧第一图像边界处的黑色区域；对配准后的各帧第二图像数据进行分析，确定出各帧第二图像边界处的黑色区域；

替换及融合子单元，用于对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像；对配准后的各帧第二图像数据进行融合处理时，将第二图像边界处黑色区域的像素替换为所述第二参考帧对应的像素后进行融合处理，得到第二目标图像。

本发明实施例中，所述替换及融合子单元，还用于根据所述第一图像边界处黑色区域，确定在所述第一参考帧中与所述第一图像边界处黑色区域相对应的第一参考区域；将第一图像边界处黑色区域的像素替换为所述第一参考帧中第一参考区域中的像素后进行融合处理，得到第一目标图像；根据所述第二图像边界处黑色区域，确定在所述第二参考帧中与所述第二图像边界处黑色区域相对应的第二参考区域；将第二图像边界处黑色区域的像素替换为所述第二参考帧中第二参考区域中的像素后进行融合处理，得到第二目标图像。

本发明实施例中，所述配准单元，还用于以校正后的第一图像数据流中的第一帧校正后的第一图像数据作为第一参考帧，将所述校正后的第一图像数据流中除所述第一帧校正后的第一图像数据以外的各帧校正后的第一图像数据与所述第一参考帧进行对齐；以校正后的第二图像数据流中的校正后的第一帧图像数据作为第二参考帧，将所述校正后的第二图像数据流中除所述第一帧校正后的第二图像数据以外的各帧校正后的第二图像数据与所述第二参考帧进行对齐；其中，所述对齐是指将相同空间位置的像素点对齐。

本发明实施例中，所述融合单元，还用于将配准后的各帧第一图像数据的各个像素点按照空间位置对应进行叠加；将配准后的各帧第一图像数据的各个像素点按照空间位置对应进行叠加。

本发明实施例中，所述第一参数包括：预先建立的第四物理坐标系到预先建立的第一摄像头所在的第二物理坐标系的第一旋转矩阵和第一摄像头参数；

所述第二参数包括：预先建立的第四物理坐标系到预先建立的第二摄像头所在的第三物理坐标系的第二旋转矩阵和第二摄像头参数；

所述校正模块具体用于采用以下方式实现根据预先设置的第一摄像头的用于校正图像的第一参数对第一图像数据流中的每一帧第一图像数据进行校正：

预先定义大小与第一图像数据或第二图像数据相同的网格图像数据；

对于网格图像数据中的每一个第一像素点，根据所述第一摄像头参数或所述第二摄像头参数将所述第一像素点在第三像素坐标系下的像素坐标转换成在所述第三像素坐标系下的物理坐标；将所述第一像素点在第三像素坐标系下的物理坐标转换成在第四物理坐标系的坐标；其中，第四物理坐标系为位于预先建立的所述第一摄像头所在的第二物理坐标系和所述第二摄像头所在的第三物理坐标系之间的坐标系，所述第三像素坐标系为与所述第四物理坐标系对应的坐标系；

根据第一旋转矩阵将所述第一像素点在所述第四物理坐标系的坐标转换成在所述第二物理坐标系的坐标，将所述第一像素点在所述第二物理坐标系的坐标转换成在第一像素坐标系下的物理坐标；根据所述第一摄像头参数将所述第一像素点在所述第一像素坐标系下的物理坐标转换成在第一像素坐标系下的像素坐标；其中，所述第一像素坐标系为与所述第二物理坐标系对应的坐标系；

将所述网格图像数据中在所述第一像素坐标系下的像素坐标小于0或者大于第一图像数据边框的第一像素点滤除；

对于滤除后的网格图像数据中的每一个第二像素点，对所述第二像素点在第一像素坐标系下的像素坐标进行整形化处理；

根据第一图像数据中像素坐标为整形化处理后的第二像素点在第一像素坐标系下的像素坐标的像素点的颜色值赋予滤除后的网格图像数据中的第二像素点的颜色值。

本发明实施例中，所述第一摄像头参数包括：

所述第一摄像头在所述第二物理坐标系的x轴方向的焦距fx0、所述第一摄像头在所述第二物理坐标系的y轴方向的焦距fy0、所述第一摄像头的光心投影到所述第一像素坐标系下的像素坐标的x轴坐标cx0、所述第一摄像头的光心投影到所述第一像素坐标系下的像素坐标的y轴坐标cy0；

所述第二摄像头参数包括：

所述第二摄像头在所述第三物理坐标系的x轴方向的焦距fx1、所述第二摄像头在所述第三物理坐标系的y轴方向的焦距fy1、所述第二摄像头的光心投影到第二像素坐标系下的像素坐标的x轴坐标cx1、所述第二摄像头的光心投影到所述第二像素坐标系下的像素坐标的y轴坐标cy1；其中，所述第二像素坐标系为与所述第三物理坐标系对应的坐标系；

所述校正模块具体用于采用以下方式实现所述根据第一摄像头参数或第二摄像头参数将所述第一像素点在第三像素坐标系下的像素坐标转换成在第三像素坐标系下的物理坐标：

按照公式和或者，按照公式和计算第j个第一像素点在所述第三像素坐标系下的物理坐标；

其中，pud0_x_j为第j个第一像素点在所述第三像素坐标系下的物理坐标的x轴坐标，p0_x_j为第j个第一像素点在所述第三坐标系下的像素坐标的x轴坐标，pud0_y_j为第j个第一像素点在所述第三像素坐标系下的物理坐标的y轴坐标，p0_y_j为第j个第一像素点在所述第三坐标系下的像素坐标的y轴坐标。

本发明实施例中，所述校正模块具体用于采用以下方式实现所述根据第一旋转矩阵将第一像素点在第四物理坐标系的坐标转换成在第二物理坐标系的坐标：

按照公式计算第j个第一像素点在所述第二物理坐标系的坐标；

其中，pOL_j(x)为第j个第一像素点在所述第二物理坐标系的x轴坐标，pOL_j(y)为第j个第一像素点在所述第二物理坐标系的y轴坐标，pOL_j(z)为第j个第一像素点在所述第二物理坐标系的z轴坐标，R0为所述第一旋转矩阵，pO_j(x)为第j个第一像素点在所述第四物理坐标系的x轴坐标，pO_j(y)为第j个第一像素点在所述第四物理坐标系的y轴坐标，pO_j(z)为第j个第一像素点在所述第四物理坐标系的z轴坐标。

本发明实施例中，所述校正模块具体用于采用以下方式实现所述对第二像素点在第一像素坐标系下的像素坐标进行整形化处理包括：

将所述第二像素点在所述第一像素坐标系下的像素坐标的x轴坐标分别向上取整和向下取整，将所述第二像素点在所述第一像素坐标系下的像素坐标的y轴坐标分别向上取整和向下取整，得到整形化处理后的第二像素点在所述第一像素坐标系下的像素坐标分别为和

其中，pOL_k(x)为第k个第二像素点在所述第一像素坐标系下的像素坐标的x轴坐标，pOL_k(y)为第k个第二像素点在所述第一像素坐标系下的像素坐标的y轴坐标。

本发明实施例提供的图像处理方法，包括：

在电子光圈模式下，通过第一摄像头获取第一图像数据流，同时通过第二摄像头获取第二图像数据流，所述第一图像数据流包括多帧第一图像数据，所述第二图像数据流包括多帧第二图像数据；

根据预先设置的第一摄像头的用于校正图像的第一参数对第一图像数据流中的每一帧第一图像数据进行校正，根据预先设置的第二摄像头的用于校正图像的第二参数对第二图像数据流中的每一帧第二图像数据进行校正；

从校正后的第一图像数据流中确定出第一参考帧，将所述校正后的第一图像数据流中除所述第一参考帧以外的各帧校正后的第一图像数据与所述第一参考帧进行配准；对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像；

从校正后的第二图像数据流中确定出第二参考帧，将所述校正后的第二图像数据流中除所述第二参考帧以外的各帧校正后的第二图像数据与所述第二参考帧进行配准；对配准后的各帧第二图像数据进行融合处理时，将第二图像边界处黑色区域的像素替换为所述第二参考帧对应的像素后进行融合处理，得到第二目标图像。

本发明实施例中，所述对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像，包括：

对配准后的各帧第一图像数据进行分析，确定出各帧第一图像边界处的黑色区域；

对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像。

本发明实施例中，所述将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像，包括：

根据所述第一图像边界处黑色区域，确定在所述第一参考帧中与所述第一图像边界处黑色区域相对应的第一参考区域；

将第一图像边界处黑色区域的像素替换为所述第一参考帧中第一参考区域中的像素后进行融合处理，得到第一目标图像。

本发明实施例中，所述从校正后的第一图像数据流中确定出第一参考帧，将所述校正后的第一图像数据流中除所述第一参考帧以外的各帧校正后的第一图像数据与所述第一参考帧进行配准，包括：

以加载后的第一图像数据流中的第一帧校正后的第一图像数据作为第一参考帧，将所述校正后的第一图像数据流中除所述第一帧校正后的第一图像数据以外的各帧校正后的第一图像数据与所述第一参考帧进行对齐；

其中，所述对齐是指将相同空间位置的像素点对齐。

本发明实施例中，所述将配准后的各帧第一图像数据进行融合处理，包括：

将配准后的各帧第一图像数据的各个像素点按照空间位置对应进行叠加。

所述根据预先设置的第一摄像头的用于校正图像的第一参数对第一图像数据进行校正包括：

本发明实施例中，所述第一摄像头参数包括：

所述第二摄像头参数包括：

所述根据第一摄像头参数或第二摄像头参数将所述第一像素点在第三像素坐标系下的像素坐标转换成在第三像素坐标系下的物理坐标包括：

本发明实施例中，所述根据第一旋转矩阵将第一像素点在第四物理坐标系的坐标转换成在第二物理坐标系的坐标包括：

本发明实施例中，所述对第二像素点在第一像素坐标系下的像素坐标进行整形化处理包括：

本发明实施例的技术方案中，在手持电子光圈模式下，通过第一摄像头获取第一图像数据流，通过第二摄像头获取第二图像数据流，所述第一图像数据流包括多帧第一图像数据，所述第二图像数据流包括多帧第二图像数据；从校正后的第一图像数据流中确定第一出参考帧，将所述校正后的第一图像数据流中除所述第一参考帧以外的各帧校正后的第一图像数据与所述第一参考帧进行配准；对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像；从校正后的第二图像数据流中确定出第二参考帧，将所述校正后的第二图像数据流中除所述第二参考帧以外的各帧校正后的第二图像数据与所述第二参考帧进行配准；对配准后的各帧第二图像数据进行融合处理时，将第二图像边界处黑色区域的像素替换为所述第二参考帧对应的像素后进行融合处理，得到第二目标图像。通过对本发明实施例技术方案的实施，用户可以手持终端进行电子光圈的拍摄，在提高用户拍摄便利性的同时，避免了由于手持而引起的图像不清楚的问题，保障了拍摄的效果，提升了用户拍摄体验。在进行图像融合时，对于图像配准引起的像素黑边进行了处理，保证了整个图像各个位置的像素点过渡自然。

附图说明

下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。

图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图；

图2为如图1所示的移动终端的无线通信系统示意图；

图3为本发明实施例一的图像处理方法的流程示意图；

图4为本发明实施例一建立的坐标系的示意图；

图5为光流图像像素点匹配示意图；

图6为简易的手机运动模型示意图；

图7为本发明实施例的利用光流对多帧图像进行对齐流程图；

图8为本发明实施例二的图像处理方法的流程示意图；

图9为本发明实施例的提示框的界面示意图；

图10为本发明实施例的图像融合示意图；

图11为本发明实施例获取第一参数和第二参数的方法的流程图；

图12为本发明实施例计算第一参数和第二参数的方法的流程图；

图13为本发明实施例一的终端的结构组成示意图；

图14为本发明实施例二的终端的结构组成示意图；

图15为相机的电气结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的各种方式可以相互组合。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明实施例的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

移动终端可以以各种形式来实施。例如，本发明实施例中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA，PersonalDigital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP，Portable MediaPlayer)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例的移动终端的硬件结构示意。

移动终端100可以包括无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。

广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB，Digital Multimedia Broadcasting)的电子节目指南(EPG，Electronic Program Guide)、数字视频广播手持(DVB-H，Digital Video Broadcasting-Handheld)的电子服务指南(ESG，Electronic Service Guide)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T，Digital Multimedia Broadcasting-Terrestrial)、数字多媒体广播-卫星(DMB-S，Digital Multimedia Broadcasting-Satellite)、数字视频广播手持(DVB-H)，前向链路媒体(MediaFLO，Media Forward Link Only)的数据广播系统、地面数字广播综合服务(ISDB-T，Integrated Services Digital Broadcasting-Terrestrial)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。

移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。

无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括无线局域网络(Wi-Fi，WLAN，Wireless Local Area Networks)、无线宽带(Wibro)、全球微波互联接入(Wimax)、高速下行链路分组接入(HSDPA，High Speed Downlink Packet Access)等等。

短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙、射频识别(RFID，Radio Frequency Identification)、红外数据协会(IrDA，InfraredData Association)、超宽带(UWB，Ultra Wideband)、紫蜂等等。

位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是全球定位系统(GPS，Global Positioning System)。根据当前的技术，GPS模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能够通过实时地连续计算当前位置信息来计算速度信息。

A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风122，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。

感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器141。

接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM，User Identify Module)、客户识别模块(SIM，Subscriber Identity Module)、通用客户识别模块(USIM，Universal SubscriberIdentity Module)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。

另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。

显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI，User Interface)或图形用户界面(GUI，Graphical UserInterface)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。

同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD，LiquidCrystal Display)、薄膜晶体管LCD(TFT-LCD，Thin Film Transistor-LCD)、有机发光二极管(OLED，Organic Light-Emitting Diode)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为透明有机发光二极管(TOLED)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。

音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。

警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incoming communication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。

存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。

存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM，Random AccessMemory)、静态随机访问存储器(SRAM，Static Random Access Memory)、只读存储器(ROM，Read Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically ErasableProgrammable Read Only Memory)、可编程只读存储器(PROM，Programmable Read OnlyMemory)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。

控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，DigitalSignal Processing)、数字信号处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。

至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。

如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。

现在将参考图2描述其中根据本发明实施例的移动终端能够操作的通信系统。

这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA，Frequency Division Multiple Access)、时分多址(TDMA，Time Division Multiple Access)、码分多址(CDMA，Code Division MultipleAccess)和通用移动通信系统(UMTS，Universal Mobile Telecommunications System)(特别地，长期演进(LTE，Long Term Evolution))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。

参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS，BaseStation)270、基站控制器(BSC，Base Station Controller)275和移动交换中心(MSC，Mobile Switching Center)280。MSC280被构造为与公共电话交换网络(PSTN，PublicSwitched Telephone Network)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC275。

每个BS 270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS 270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS 270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz,5MHz等等)。

分区与频率分配的交叉可以被称为CDMA信道。BS 270也可以被称为基站收发器子系统(BTS，Base Transceiver Station)或者其它等效术语。在这样的情况下，术语“基站”可以用于笼统地表示单个BSC275和至少一个BS 270。基站也可以被称为“蜂窝站”。或者，特定BS 270的各分区可以被称为多个蜂窝站。

如图2中所示，广播发射器(BT，Broadcast Transmitter)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中，示出了几个卫星300，例如可以采用全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。

在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。

作为无线通信系统的一个典型操作，BS 270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS 270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS 270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS 270以将正向链路信号发送到移动终端100。

移动终端中无线通信单元110的移动通信模块112基于移动终端内置的接入移动通信网络(如2G/3G/4G等移动通信网络)的必要数据(包括用户识别信息和鉴权信息)接入移动通信网络为移动终端用户的网页浏览、网络多媒体播放等业务传输移动通信数据(包括上行的移动通信数据和下行的移动通信数据)。

无线通信单元110的无线互联网模块113通过运行无线热点的相关协议功能而实现无线热点的功能，无线热点支持多个移动终端(移动终端之外的任意移动终端)接入，通过复用移动通信模块112与移动通信网络之间的移动通信连接为移动终端用户的网页浏览、网络多媒体播放等业务传输移动通信数据(包括上行的移动通信数据和下行的移动通信数据)，由于移动终端实质上是复用移动终端与通信网络之间的移动通信连接传输移动通信数据的，因此移动终端消耗的移动通信数据的流量由通信网络侧的计费实体计入移动终端的通信资费，从而消耗移动终端签约使用的通信资费中包括的移动通信数据的数据流量。

基于上述移动终端100硬件结构以及通信系统，提出本发明方法各个实施例。

图3为本发明实施例一的图像处理方法的流程示意图，本示例中的图像处理方法应用于终端，如图3所示，所述图像处理方法包括以下步骤：

步骤301：在电子光圈模式下，通过第一摄像头获取第一图像数据流，同时通过第二摄像头获取第二图像数据流。

本步骤中，所述第一图像数据流包括多帧第一图像数据，第二图像数据流包括多帧第二图像数据。

本步骤中，第一摄像头和第二摄像头组成双目摄像头，具有共同的视场，其可以是位于同一水平面的左摄像头和右摄像头，也可以是位于同一垂直面的上摄像头和下摄像头，也可以是其他的情况，本发明实施例对此不作限定。

本发明实施例中，终端可以是包含双目摄像头的手机、平板电脑等电子设备。终端具有拍照功能，且终端的拍照功能具有电子光圈模式；利用电子光圈拍照时，需要用户将拍照功能设置为电子光圈模式。

在电子光圈模式下，用户调整光圈值之后，在曝光时间内终端会进行连续不间断的拍摄，然后对拍摄出来的多张图像进行融合处理。采用电子光圈进行拍照时，由于需要连续拍摄多张图像进行融合处理，因此，各张图像需要保证对齐。为了保证电子光圈的易用性和用户体验性，本发明实施例为电子光圈拍摄增加了手持模式，在手持模式下，用户可以方便的手持终端利用电子光圈进行拍摄。

在拍摄时，首先通过第一摄像头获取第一图像数据流，同时通过第二摄像头获取第二图像数据流，所述第一图像数据流包括多帧第一图像数据，第二图像数据流包括多帧第二图像数据。具体地，首先同步通过第一摄像头获取拍摄的第一原始图像数据流，通过第二摄像头获取拍摄的第二原始图像数据流；然后对第一原始图像数据流进行数据读取和图像预处理，得到所述第一图像数据流；对第二原始图像数据流进行数据读取和图像预处理，得到第二图像数据流。这里，由于相机拍摄的图像信号处理(ISP，Image SignalProcessing)流程以及外界环境的不可预知变换，同步获取的第一原始图像数据流中的各帧第一原始图像数据和第二原始图像数据流中的各帧第二原始图像数据在光照、噪声、清晰度、对焦点上出现差异。在进行融合处理前，需要通过必要的预处理过程对第一原始图像数据流中的各帧第一原始图像数据和第二原始图像数据流中的各帧第二原始图像数据进行预处理，这里，预处理过程包括：图像滤波来消除噪声、对比度拉伸来提高图像的清晰度以及图像的光照差异。这样进行预处理后，第一图像数据流中的各帧第一图像数据、第二图像数据流中的各帧第二图像数据的差异将会减小，有助于后续图像配准算法效果的提升。

步骤302、根据预先设置的第一摄像头的用于校正图像的第一参数对第一图像数据流中的每一帧第一图像数据进行校正，根据预先设置的第二摄像头的用于校正图像的第二参数对第二图像数据流中的每一帧第二图像数据进行校正。

本步骤中，第一参数包括：预先建立的第四物理坐标系到预先建立的第一摄像头所在的第二物理坐标系的第一旋转矩阵R0和第一摄像头参数。

其中，第一摄像头参数包括：第一摄像头在第二物理坐标系的x轴方向的焦距fx0、第一摄像头在第二物理坐标系的y轴方向的焦距fy0，第一摄像头的光心(即第二物理坐标系的原点)投影到第一像素坐标系下的像素坐标的x轴坐标cx0、第一摄像头的光心投影到第一像素坐标系下的像素坐标的y轴坐标cy0。

第二参数包括：第四物理坐标系到预先建立的第二摄像头所在的第三物理坐标系的第二旋转矩阵R1和第二摄像头参数。

第二摄像头参数包括：第二摄像头在第三物理坐标系的x轴方向的焦距fx1、第二摄像头在第三物理坐标系的y轴方向的焦距fy1，第二摄像头的光心(即第三物理坐标系的原点)投影到第二像素坐标系下的像素坐标的x轴坐标cx1、第二摄像头的光心投影到第二像素坐标系下的像素坐标的y轴坐标cy1。

其中，如图4所示，第一物理坐标系P、第三物理坐标系OR、第四物理坐标系O和第二物理坐标系OL为三维坐标系，第一像素坐标系Pl、第二像素坐标系Pr和第三像素坐标系P0为二维坐标系。

其中，第一物理坐标系为被拍摄对象所在的坐标系，可以根据实际需要随意设置，可以设置第二物理坐标系的z轴与第一摄像头的光轴平行，可以设置第三物理坐标系的z轴与第二摄像头的光轴平行，第四物理坐标系是一个虚拟的物理坐标系，可以设置第四物理坐标系的原点到第二物理坐标系的原点的距离和到预先建立的第二摄像头所在的第三物理坐标系的原点的距离相等。

其中，第一像素坐标系为与第二物理坐标系对应的坐标系，即是与第一摄像头的探测器相对应的坐标系；第二像素坐标系为与第三物理坐标系对应的坐标系，即是与第二摄像头的探测器相对应的坐标系；第三像素坐标系为与第四物理坐标系对应的坐标系，即是与第四物理坐标系所在的虚拟摄像头的探测器相对应的坐标系。这三个像素坐标系可以根据实际需求进行设定。

本步骤中，根据预先设置的第一摄像头的用于校正图像的第一参数对第一图像数据进行校正包括：

对于网格图像数据中的每一个第一像素点，根据第一摄像头参数或第二摄像头参数将第一像素点在第三像素坐标系下的像素坐标转换成在第三像素坐标系下的物理坐标；将第一像素点在第三像素坐标系下的物理坐标转换成在第四物理坐标系的坐标；其中，第四物理坐标系为位于预先建立的第一摄像头所在的第二物理坐标系和第二摄像头所在的第三物理坐标系之间的坐标系，第三像素坐标系为与第四物理坐标系对应的坐标系；

根据第一旋转矩阵将第一像素点在第四物理坐标系的坐标转换成在第二物理坐标系的坐标，将第一像素点在第二物理坐标系的坐标转换成在第一像素坐标系下的物理坐标；根据第一摄像头参数将第一像素点在第一像素坐标系下的物理坐标转换成在第一像素坐标系下的像素坐标；其中，第一像素坐标系为与第二物理坐标系对应的坐标系；

将网格图像数据中在第一像素坐标系下的像素坐标小于0或者大于第一图像数据边框的第一像素点滤除；

对于滤除后的网格图像数据中的每一个第二像素点，对第二像素点在第一像素坐标系下的像素坐标进行整形化处理；

其中，当第一图像数据和第二图像数据均为灰度图像时，网格图像数据的灰度级可以随意设置，例如将网格图像数据的灰度级设置为255或0，当然也可以设置成其他的取值；当第一图像数据和第二图像数据均为彩色图像时，网格图像数据的R、G、B的取值可以随意设置，例如可以将网格图像数据的R、G、B均设置为255或0，当然也可以设置成其他的取值，本发明实施例对此不作限定。

其中，根据第一摄像头参数或第二摄像头参数将第一像素点在第三像素坐标系下的像素坐标转换成在第三像素坐标系下的物理坐标包括：

按照公式和或者，按照公式和计算第j个第一像素点在第三像素坐标系下的物理坐标；

其中，pud0_x_j为第j个第一像素点在第三像素坐标系下的物理坐标的x轴坐标，p0_x_j为第j个第一像素点在第三坐标系下的像素坐标的x轴坐标，pud0_y_j为第j个第一像素点在第三像素坐标系下的物理坐标的y轴坐标，p0_y_j为第j个第一像素点在第三坐标系下的像素坐标的y轴坐标。

其中，可以采用本领域技术人员的熟知技术实现将第一像素点在第三像素坐标系下的物理坐标转换成在第四物理坐标系的坐标，并不用于限定本发明实施例的保护范围，这里不再赘述。

其中，根据第一旋转矩阵将第一像素点在第四物理坐标系的坐标转换成在第二物理坐标系的坐标包括：

按照公式计算第j个第一像素点在第二物理坐标系的坐标；

其中，pOL_j(x)为第j个第一像素点在第二物理坐标系的x轴坐标，pOL_j(y)为第j个第一像素点在第二物理坐标系的y轴坐标，pOL_j(z)为第j个第一像素点在第二物理坐标系的z轴坐标，R0为第一旋转矩阵，pO_j(x)为第j个第一像素点在第四物理坐标系的x轴坐标，pO_j(y)为第j个第一像素点在第四物理坐标系的y轴坐标，pO_j(z)为第j个第一像素点在第四物理坐标系的z轴坐标。

其中，可以采用本领域技术人员的熟知技术手段实现将第一像素点在第二物理坐标系的坐标转换成在第一像素坐标系下的物理坐标，并不用于限定本发明实施例的保护范围，这里不再赘述。

其中，根据第一摄像头参数将第一像素点在第一像素坐标系下的物理坐标转换成在第一像素坐标系下的像素坐标包括：

按照公式POL_j_pixel(x)＝c_OL_j(x)fx0+cx0和POL_j_pixel(y)＝c_OL_j(y)fy0+cy0计算第一像素点在第一像素坐标系下的像素坐标；

其中，POL_j_pixiel(x)为第j个第一像素点在第一像素坐标系下的像素坐标的x轴坐标，POL_j_pixiel(y)为第j个第一像素点在第一像素坐标系下的像素坐标的y轴坐标，c_OL_j(x)为第j个第一像素点在第一像素坐标系下的物理坐标的x轴坐标，c_OL_j(y)为第j个第一像素点在第一像素坐标系下的物理坐标的y轴坐标。

其中，如果第一像素点在第一像素坐标系下的像素坐标的x轴坐标小于0或者大于第一图像数据的宽度，或者，第一像素点在第一像素坐标系下的像素坐标的y轴坐标小于0或者大于第一图像数据的长度，则将第一像素点滤除。

其中，对第二像素点在第一像素坐标系下的像素坐标进行整形化处理包括：

将第二像素点在第一像素坐标系下的像素坐标的x轴坐标分别向上取整和向下取整，将第二像素点在第一像素坐标系下的像素坐标的y轴坐标分别向上取整和向下取整，得到整形化处理后的第二像素点在第一像素坐标系下的像素坐标分别为和

其中，pOL_k(x)为第k个第二像素点在第一像素坐标系下的像素坐标的x轴坐标，pOL_k(y)为第k个第二像素点在第一像素坐标系下的像素坐标的y轴坐标。

其中，根据第一图像数据中像素坐标为整形化处理后的第二像素点在第一像素坐标系下的像素坐标的像素点的颜色值赋予滤除后的网格图像数据中的第二像素点的颜色值包括：

按照公式

赋予滤除后的网格图像数据中的第二像素点的颜色值。

其中，I(k)为网格图像数据中的第k个第二像素点的灰度值，w1、w2、w3和w4为权值系数，为第一图像数据中像素坐标为的像素点的灰度值，为第一图像数据中像素坐标为的像素点的灰度值，为第一图像数据中像素坐标为的像素点的灰度值，为第一图像数据中像素坐标为的像素点的灰度值；

或者，按照公式

和公式赋予滤除后的网格图像数据中的第二像素点的颜色值。

其中，IR(k)为网格图像数据中的第k个第二像素点的R值，w1、w2、w3和w4为权值系数，为第一图像数据中像素坐标为的像素点的R值，为第一图像数据中像素坐标为的像素点的R值，为第一图像数据中像素坐标为的像素点的R值，为第一图像数据中像素坐标为的像素点的R值；

IG(k)为网格图像数据中的第k个第二像素点的G值，为第一图像数据中像素坐标为的像素点的G值，为第一图像数据中像素坐标为的像素点的G值，为第一图像数据中像素坐标为的像素点的G值，为第一图像数据中像素坐标为的像素点的G值；

IB(k)为网格图像数据中的第k个第二像素点的B值，为第一图像数据中像素坐标为的像素点的B值，为第一图像数据中像素坐标为的像素点的B值，为第一图像数据中像素坐标为的像素点的B值，为第一图像数据中像素坐标为的像素点的B值。

其中，按照公式计算w1；其中，pk(x)为第k个第二像素点在第一像素坐标系下的像素坐标的x轴坐标，pk(y)为第k个第二像素点在第一像素坐标系下的像素坐标的y轴坐标。

按照公式计算w2；

按照公式计算w3；

按照公式计算w4。

本步骤中，对第二图像数据的校正过程和对第一图像数据的校正过程类似，这里不再赘述。

步骤303：从校正后的第一图像数据流中确定出第一参考帧，将所述校正后的第一图像数据流中除所述第一参考帧以外的各帧校正后的第一图像数据与所述第一参考帧进行配准；对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像。

本发明实施例中，将校正后的第一图像数据流中的各帧校正后的第一图像数据进行配准后，各帧第一图像数据中相同空间位置的像素点实现了对齐，避免了后续进行图像融合时带来模糊。

本发明实施例中，配准也称为对齐，图像对齐有很多算法，主要分为基于局部特征的方法和基于全局特征的方法。其中，基于局部特征的典型方法是提取图像的关键特征点，然后利用这些关键特征点进行图像空间对齐模型的映射矩阵计算，最后利用映射矩阵进行图像对齐。这类方法的配准效果一般可以满足很多场景的要求，如光照的变化(不同曝光图像的合成)，大范围图像偏移(全景图像拼接)、暗光图像(噪声加大)等各种复杂的场景。另外一类是基于全局互信息匹配的搜索对齐方法，可以减少随机特征点引起的匹配误差。

光流场也是一种基于点的匹配算法，它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。这里，运动场其实就是物体在三维真实世界中的运动；光流场是运动场在二维图像平面上(人的眼睛或者摄像头)的投影。

通过一个图片序列，把每张图像中每个像素的运动速度和运动方向找出来就是光流场。如图5所示，第T帧的时候A点的位置是(x1,y1)，那么我们在第T+1帧的时候再找到A点，假如它的位置是(x2,y2)，那么我们就可以确定A点的运动向量：V＝(x2,y2)-(x1,y1)。

如何找到第t+1帧的时候A点的位置可通过Lucas-Kanade光流法实现，基本过程如下：

假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。对于空间和时间坐标使用偏导数，图像约束方程可以写为：

I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)

其中，I(x,y,t)为图像在(x,y)位置的像素值。

其中，

假设移动足够的小，那么对图像约束方程使用泰勒公式，可以得到：

其中，HOT指更高阶，HOT在移动足够小的情况下可以忽略。从方程(2)中可以得到：

Vx＝dx，Vx＝dx (4)

其中，Vx,Vy分别是I(x,y,t)的光流向量中x，y的组成。Ix和Iy则是图像在(x,y,t)这一点向相应方向的差分。所以就有：

Ix*Vx+Iy*Vy＝-It (6)

上述方程中有2个未知量，至少需要两个非相关的方程进行求解。Lucas-Kanade光流法假定空间像素点运动一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。这是Lucas-Kanade光流法特有的假定，因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。假定特征点邻域内做相似运动，就可以联立n多个方程求取x，y方向的速度(n为特征点邻域总点数，包括该特征点)。可以得到下面的方程：

为了解决这个超定问题，采用最小二乘法：

继而可以得到光流相邻V：

上述方案中提到小运动假定，当目标速度很快这一假定会不成立，多尺度能解决这个问题。首先，对每一帧建立一个高斯金字塔，最大尺度图片在最顶层，原始图片在底层。然后，从顶层开始估计下一帧所在位置，作为下一层的初始位置，沿着金字塔向下搜索，重复估计动作，直到到达金字塔的底层。这样搜索可以快速定位到像素点的运动方向和位置。

图7给出了利用光流对多帧图像进行对齐流程。利用光流场的计算方法，可以得到两幅图像之间的稀疏匹配点，之后利用这些点的坐标计算图像映射模型。在图像对齐步骤中，选择正确的图像对齐变换模型很重要。常见的空间变换模型有仿射变换和透视变换模型。

仿射变换可以形象的表示成以下形式。一个平面内的任意平行四边形可以被仿射变换映射为另一个平行四边形，图像的映射操作在同一个空间平面内进行，通过不同的变换参数使其变形而得到不同类型的平行四边形。

透射变换是更一般化的变换模型，相比较仿射变换，透射变换更具有灵活性，一个透射变换可以将矩形转变成梯形，它描述了将空间内一个平面投影到另一个空间平面内，仿射变换是透视变换的一个特例。

上述矩阵各个元素的意义如下：

a₀₂和a₁₂为位移参数；

a₀₀a₀₁和a₁₀a₁₁为缩放与旋转参数；

a₂₀a₂₁为水平与垂直方向的变形量。

这里需要选择透视变换模型，主要考虑到手持终端，如手机在连续拍摄多幅图像时，手机的抖动运动基本上不在同一个平面，简易的运动模型如图6所示。

本发明实施例中，各帧校正后的第一图像数据进行配准(也即对齐)后，需要对图像进行融合处理，这里，采取图像像素点依次叠加的融合方法。依据公式(14)进行融合处理：

其中，I为每张图像，m为第m张图像，k为已经合成的图像张数，N为图像总合成张数。

参照图10，在图像的边界处由于图像映射变换后会形成黑边，这些黑边处的像素如果按照加权平均的方式进行融合会形成亮度的差异，给图像的整体视觉带来影响。以参考帧为图像数据流中的第一帧图像数据为例，其他各帧图像数据都在第一帧图像数据下进行配准融合，参考帧不会出现黑边像素，对于具有黑边的图像数据而言，将黑边处的像素替换为参考帧对应位置处的像素来参与加权平均，从而有效的解决了图像黑边的问题。

步骤304、从校正后的第二图像数据流中确定出第二参考帧，将所述校正后的第二图像数据流中除所述第二参考帧以外的各帧校正后的第二图像数据与所述第二参考帧进行配准；对配准后的各帧第二图像数据进行融合处理时，将第二图像边界处黑色区域的像素替换为所述第二参考帧对应的像素后进行融合处理，得到第二目标图像。

步骤304与步骤303的实现过程类似，这里不再赘述。

本发明实施例的技术方案，提出了一种图像处理方法，利用摄像头参数对图像数据进行校正，并利用图像配准原理对多帧待合成的校正后的图像数据进行图像对齐，该对齐方法允许一定范围内的图像抖动误差，图像最后的合成效果出现的像素偏差较小。更为重要的是，在图像融合时，对于图像配准引起的像素黑边进行了处理，保证了整个图像各个位置的像素点过渡自然。

上述第一参数和第二参数可以通过以下方法获得，获得第一参数和第二参数后，将第一参数和第二参数预先保存在带有双目摄像头的终端中即可实现图像的校正。

参见图11，获取第一参数和第二参数的方法包括：

步骤1100、建立坐标系：建立预设对象所在的第一物理坐标系、第一摄像头所在的第二物理坐标系和对应的第一像素坐标系、第二摄像头所在的第三物理坐标系和对应的第二像素坐标系、设置在第二物理坐标系和第三物理坐标系之间的第四物理坐标系和对应的第三像素坐标系。

本步骤中，如图4所示，第一物理坐标系P、第二物理坐标系OL、第三物理坐标系OR、第四物理坐标系O为三维坐标系，第一像素坐标系Pl、第二像素坐标系Pr和第三像素坐标系P0为二维坐标系。

其中，第一物理坐标系可以根据实际需要随意设置，可以设置第二物理坐标系的z轴与第一摄像头的光轴平行，第三物理坐标系的z轴与第二摄像头的光轴平行，第四物理坐标系是一个虚拟的物理坐标系，可以设置第四物理坐标系的原点到第二物理坐标系的原点的距离和到第三物理坐标系的原点的距离相等。

第一像素坐标系是与第一摄像头的探测器相对应的坐标系，第二像素坐标系是与第二摄像头的探测器相对应的坐标系，第三像素坐标系是与第四物理坐标系所在的虚拟摄像头的探测器相对应的坐标系，这三个像素坐标系均可以根据实际需求进行设定。

步骤1101、采用第一摄像头获取预设对象的第三图像，同时采用第二摄像头获取预设对象的第四图像。

步骤1102、从第三图像中获取与第四图像重叠的第五图像，从第四图像中获取与第三图像重叠的第六图像。

步骤1103、根据所建立的坐标系、第五图像和第六图像计算第一摄像头的用于校正图像的第一参数和第二摄像头的用于校正图像的第二参数。

本步骤中，第一参数包括：第四物理坐标系到第二物理坐标系的第一旋转矩阵R0和第一摄像头参数。

第二参数包括：第四物理坐标系到第三物理坐标系的第二旋转矩阵R1和第二摄像头参数。

本步骤中，参见图12，根据所建立的坐标系、第五图像和第六图像计算第一摄像头的用于校正图像的第一参数和第二摄像头的用于校正图像的第二参数包括：

步骤1200、初始化第一权值系数矩阵a和第二权值系数矩阵b；

本步骤中，第一权值系数矩阵a为6行1列的矩阵，第二权值系数矩阵b为3行1列的矩阵，即a＝[a1；a2；a3；a4；a5；a6]，b＝[b1；b2；b3]。

初始化时，可以将第一权值系数矩阵a和第二权值系数矩阵b初始化为零矩阵，即a＝[0；0；0；0；0；0]，b＝[0；0；0]，当然，也可以将第一权值系数矩阵a和第二权值系数矩阵初始化为其他值，本发明实施例对此不作限定。

步骤1201、根据第二权值系数矩阵b计算第一旋转矩阵R0和第二旋转矩阵R1；

本步骤中，按照公式计算第一旋转矩阵R0，按照公式计算第二旋转矩阵R1。

步骤1202、根据第一权值系数矩阵和第一旋转矩阵将第i预设点在第一物理坐标系中的坐标pw投影到第二物理坐标系得到第i预设点在第二物理坐标系的坐标Pc0_i，根据第一权值系数矩阵和第二旋转矩阵将第i预设点在第一物理坐标系中的坐标pw投影到第三物理坐标系得到第i预设点在第三物理坐标系的坐标Pc1_i；其中，i为大于或等于1的整数；包括：

根据第一权值系数矩阵a计算第一物理坐标系投影到第四物理坐标系的第一变换矩阵M；根据第一变换矩阵M和第一旋转矩阵R0计算第一物理坐标系投影到第二物理坐标系的第二变换矩阵M0，根据第一变换矩阵M和第二旋转矩阵R1计算第一物理坐标系投影到第三物理坐标系的第三变换矩阵M1。

其中，按照公式

计算第一变换矩阵M；

其中，为第一物理坐标系P投影到第四物理坐标系O在x轴上的偏移，为第一物理坐标系P投影到第四物理坐标系O在y轴上的偏移，为第一物理坐标系P投影到第四物理坐标系O在z轴上的偏移，为第一物理坐标系P的x轴绕第四物理坐标系O的x轴旋转的旋转矩阵，为第一物理坐标系P的y轴绕第四物理坐标系O的y轴旋转的旋转矩阵，为第一物理坐标系P的z轴绕第四物理坐标系O的z轴旋转的旋转矩阵。

其中，按照公式M0＝[R0,-R0C0；0,0,0,1]M计算第二变换矩阵M0，按照公式M0＝[R1,-R1C1；0,0,0,1]M计算第三变换矩阵M1。

其中，C0为第四物理坐标系O的原点到第二物理坐标系OL的原点的距离，C1为第四物理坐标系O的原点到第三物理坐标系OR的原点的距离。

其中，按照公式计算第i预设点在第二物理坐标系的坐标Pc0_i，按照公式计算第i预设点在第三物理坐标系的坐标Pc1_i。

其中，Pc0_i(x)为第i预设点在第二物理坐标系的x轴坐标，Pc0_i(y)为第i预设点在第二物理坐标系的y轴坐标，Pc0_i(z)为第i预设点在第二物理坐标系的z轴坐标，Pc1_i(x)为第i预设点在第三物理坐标系的x轴坐标，Pc1_i(y)为第i预设点在第三物理坐标系的y轴坐标，Pc1_i(z)为第i预设点在第三物理坐标系的z轴坐标，pw(x)为第i预设点在第一物理坐标系中的x轴坐标，pw(y)为第i预设点在第一物理坐标系中的y轴坐标，pw(z)为第i预设点在第一物理坐标系中的z轴坐标。

步骤1203、根据第一摄像头参数将所述第i预设点在第二物理坐标系的坐标Pc0_i转换成第i预设点在第一像素坐标系下的第一像素坐标Pc0_i_pixiel，根据第二摄像头参数将第i预设点在第三物理坐标系的坐标Pc0_i_pixiel转换成第i预设点在第二像素坐标系下的第二像素坐标Pc1_i_pixiel。包括：

将第i预设点在第二物理坐标系的坐标Pc0_i投影到第一像素坐标系得到第i预设点在第一像素坐标系下的第一物理坐标c_y0_i，将第i预设点在第三物理坐标系的坐标Pc1_i投影到第二像素坐标系得到第i预设点在第二像素坐标系下的第二物理坐标c_y1_i；根据第一物理坐标c_y0_i和所述第一摄像头参数计算第i预设点在第一像素坐标系下的第一像素坐标Pc0_i_pixiel，根据第二物理坐标c_y1_i和所述第二摄像头参数计算第i预设点在第二像素坐标系下的第二像素坐标Pc1_i_pixiel；

其中，可以采用本领域技术人员的熟知技术实现将第i预设点在第二物理坐标系的坐标Pc0_i投影到第一像素坐标系得到第i预设点在第一像素坐标系下的第一物理坐标c_y0_i，将第i预设点在第三物理坐标系的坐标Pc1_i投影到第二像素坐标系得到第i预设点在第二像素坐标系下的第二物理坐标c_y1_i，并不用于限定本发明实施例的保护范围，这里不再赘述。

其中，按照公式Pc0_i_pixel(x)＝c_y0_i(x)fx0+cx0和Pc0_i_pixel(y)＝c_y0_i(y)fy0+cy0计算第i预设点在第一像素坐标系下的第一像素坐标Pc0_i_pixiel，按照公式Pc1_i_pixel(x)＝c_y1_i(x)fx1+cx1和Pc1_i_pixel(y)＝c_y1_i(y)fy1+cy1计算第i预设点在第二像素坐标系下的第二像素坐标Pc1_i_pixiel。

其中，Pc0_i_pixiel(x)为第i预设点在第一像素坐标系下的第一像素坐标的x轴坐标，Pc0_i_pixiel(y)为第i预设点在第一像素坐标系下的第一像素坐标的y轴坐标，c_y0_i(x)为第一物理坐标的x轴坐标，c_y0_i(y)为第一物理坐标的y轴坐标，Pc1_i_pixiel(x)为第i预设点在第二像素坐标系下的第二像素坐标的x轴坐标，Pc1_i_pixiel(y)为第i预设点在第二像素坐标系下的第二像素坐标的y轴坐标，c_y1_i(x)为第二物理坐标的x轴坐标，c_y1_i(y)为第二物理坐标的y轴坐标。

步骤1204、根据所有预设点在所述第三图像中的坐标、第一像素坐标、所有预设点在所述第四图像中的坐标、所有预设点的第一物理坐标和第二物理坐标计算增量矩阵。包括：

根据第i预设点在第五图像中的坐标P0_i和第一像素坐标Pc0_i_pixiel计算第i预设点的第一差值error0_i，根据第i预设点在第六图像中的坐标P1_i和第一像素坐标Pc0_i_pixiel计算第i预设点的第二差值error1_i，所有预设点的第一差值error0_i和第二差值error1_i组成差值矩阵residusl；计算所有预设点的第一物理坐标c_y0_i和第二物理坐标c_y1_i关于所述第一权值系数矩阵a、所述第二权值系数矩阵b、所述第一摄像头参数和所述第二摄像头参数的雅可比矩阵Jac；根据雅可比矩阵Jac和差值矩阵residusl计算增量矩阵plus；

本步骤中，按照公式计算第i预设点的第一差值error0_i，按照公式计算第i预设点的第二差值error1_i。

其中，P0_i(x)为第i预设点在第三图像中的x轴坐标，P0_i(y)为第i预设点在第三图像中的y轴坐标，error0_i(x)为第i预设点在x轴的第一差值，error0_i(y)为第i预设点在y轴的第一差值，error1_i(x)为第i预设点在x轴的第二差值，error1_i(y)为第i预设点在y轴的第二差值。

本步骤中，差值矩阵residusl为4n行1列的矩阵，其中，n为预设点的个数，即residusl＝[error0_1(x)；error0_1(y)；error1_1(x)；error1_1(y)；error0_2(x)；error0_2(y)；error1_2(x)；error1_2(y)；……；error0_n(x)；error0_n(y)；error1_n(x)；error1_n(y)]。

其中，按照公式

也就是说，雅可比矩阵为4n行17列的矩阵，雅可比矩阵的第1行为第一预设点的第一物理坐标的x轴坐标分别对第一权值系数矩阵a中的6个元素、第二权值系数矩阵b中的3个元素、第一摄像头参数和第二摄像头参数共17个参数的偏导，第2行为第一预设点的第一物理坐标的y轴坐标分别对17个参数的偏导，第3行为第一预设点的第二物理坐标的x轴坐标分别对17个参数的偏导，第4行为第一预设点的第二物理坐标的y轴坐标分别对17个参数的偏导，第5行为第二预设点的第一物理坐标的x轴坐标分别对17个参数的偏导，第6行为第二预设点的第一物理坐标的y轴坐标分别对17个参数的偏导，第7行为第二预设点的第二物理坐标的x轴坐标分别对17个参数的偏导，第8行为第二预设点的第二物理坐标的y轴坐标分别对17个参数的偏导，依次类推，第(4n-3)行为第n预设点的第一物理坐标的x轴坐标分别对17个参数的偏导，第(4n-2)行为第n预设点的第一物理坐标的y轴坐标分别对17个参数的偏导，第(4n-1)行为第n预设点的第二物理坐标的x轴坐标分别对17个参数的偏导，第4n行为第n预设点的第二物理坐标的y轴坐标分别对17个参数的偏导。

其中，按照公式plus＝(Jac'Jac)\(Jac'residusl)计算增量矩阵plus。

增量矩阵plus为1行17列的矩阵，每一行对应上述17个参数中的一个的增量，即plus＝[△a1，△a2，△a3，△a4，△a5，△a6，△b1，△b2，△b3，△fx0，△fy0，△cx0，△cy0，△fx1，△fy1，△cx1，△cy1]。

其中，△a1为a1的增量，△a2为a2的增量，△a3为a3的增量，△a4为a4的增量，△a5为a5的增量，△a6为a6的增量，△b1为b1的增量，△b2为b2的增量，△b3为b3的增量，△fx0为fx0的增量，△fy0为fy0的增量，△cx0为cx0的增量，△cy0为cy0的增量，△fx1为fx1的增量，△fy1为fy1的增量，△cx1为cx1的增量，△cy1为cy1的增量。

步骤1205、根据增量矩阵plus对第一权值系数矩阵a、第二权值系数矩阵b、第一参数和第二参数进行更新；

本步骤中，将每一个参数的初始取值加上对应的增量即得到更新后的参数。例如，更新后的a1为0+△a1，依次类推。

步骤1206、根据更新后的第一权值系数矩阵a、第二权值系数矩阵b、第一参数和第二参数继续执行步骤1201～步骤1205，直到迭代次数大于或等于预设次数，输出第一参数和第二参数。

本步骤中，在奇数次迭代过程中，根据更新后的第二权值系数矩阵b计算第一旋转矩阵R0，而第二旋转矩阵R1仍然采用上一次的值；在偶数次迭代过程中，根据更新后的第二权值系数矩阵b计算第二旋转矩阵R1，而第一旋转矩阵R0仍然采用上一次的值。

图8为本发明实施例二的图像处理方法的流程示意图，本示例中的图像处理方法应用于终端，如图8所示，所述图像处理方法包括以下步骤：

步骤801：在手持电子光圈模式下，通过第一摄像头拍摄得到第一原始图像数据流，同时通过第二摄像头拍摄得到第二原始数据流，所述第一原始图像数据流包括多帧第一原始图像数据，第二原始图像数据流包括多帧第二原始图像数据；对所述第一原始图像数据流中的各帧第一原始图像数据进行预处理，得到所述第一图像数据流，对第二原始图像数据流中的各帧第二原始图像数据进行预处理，得到第二图像数据流。

本发明实施例中，终端可以是带双目相机的手机、平板电脑等电子设备。终端具有拍照功能，且终端的拍照功能具有电子光圈模式；利用电子光圈拍照时，需要用户将拍照功能设置为电子光圈模式。

在拍摄时，首先通过第一摄像头获取第一图像数据流，同时通过第二摄像头获取第二图像数据流，所述第一图像数据流包括多帧第一图像数据，第二图像数据流包括多帧第二图像数据。具体地，首先同步通过第一摄像头获取拍摄的第一原始图像数据流，通过第二摄像头获取拍摄的第二原始图像数据流；然后对第一原始图像数据流进行数据读取和图像预处理，得到所述第一图像数据流，对第二原始图像数据流进行数据读取和图像预处理，得到第二图像数据流。这里，由于相机拍摄的ISP处理流程以及外界环境的不可预知变换，同步获取的第一原始图像数据流中的各帧第一原始图像数据和第二原始图像数据流中的各帧第二原始图像数据在光照、噪声、清晰度、对焦点上出现差异。在进行融合处理前，需要通过必要的预处理过程对第一原始图像数据流中的各帧第一原始图像数据和第二原始图像数据流中的各帧第二原始图像数据进行预处理，这里，预处理过程包括：图像滤波来消除噪声、对比度拉伸来提高图像的清晰度以及图像的光照差异。这样进行预处理后，图像数据流中的各帧图像数据的差异将会减小，有助于后续图像配准算法效果的提升。

步骤802：根据预先设置的第一摄像头的用于校正图像的第一参数对第一图像数据流中的每一帧第一图像数据进行校正，根据预先设置的第二摄像头的用于校正图像的第二参数对第二图像数据流中的每一帧第二图像数据进行校正。

步骤803：以校正后的第一图像数据流中的第一帧校正后的第一图像数据作为第一参考帧，将所述校正后的第一图像数据流中除所述第一帧校正后的第一图像数据以外的各帧校正后的第一图像数据与所述第一参考帧进行配准；以校正后的第二图像数据流中的第一帧校正后的第二图像数据作为第二参考帧，将所述校正后的第二图像数据流中除所述第一帧校正后的第二图像数据以外的各帧校正后的第二图像数据与所述第二参考帧进行配准。

光流场也是一种基于点的匹配算法，它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

步骤804：在显示界面上显示提示框；所述提示框用于提示在所述在手持电子光圈模式下，利用双目相机拍摄时手持抖动的方位。

参照图9，在应用交互界面上，显示一个用户提示框，该提示框可以提示用户当前手持抖动的方位，这样可以便于用户及时纠正。

步骤805：对配准后的各帧第一图像数据进行分析，确定出各帧第一图像边界处的黑色区域；对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像；对配准后的各帧第二图像数据进行分析，确定出各帧第二图像边界处的黑色区域；对配准后的各帧第二图像数据进行融合处理时，将第二图像边界处黑色区域的像素替换为所述第二参考帧对应的像素后进行融合处理，得到第二目标图像。

根据所述第一图像边界的处黑色区域，确定在所述第一参考帧中与所述黑色区域相对应的第一参考区域；

将第一图像边界处黑色区域的像素替换为所述第一参考帧中参考区域中的像素后进行融合处理，得到第一目标图像。

这里，可以通过聚类算法将第一图像边界的处黑色区域划分出来，例如K-means算法。

本发明实施例中，各帧校正后的第一图像数据进行配准(也即对齐)后，需要对图像进行融合处理，这里，采取图像像素点依次叠加的融合方法。

对校正后的第二图像数据进行配准和融合的方式可以参考对校正后的第一图像数据进行配准和融合的方式，这里不再赘述。

本发明实施例的技术方案，提出了一种图像处理方法，利用摄像头参数对图像数据进行校正，并利用图像配准原理对多帧待合成的校正后的图像数据进行图像对齐，该对齐方法允许一定范围内的图像抖动误差，图像最后的合成效果出现的像素偏差较小。更为重要的是，在图像融合时，对于图像配准引起的像素黑边进行了处理，保证了整个图像各个位置的像素点过渡自然。此外，在电子光圈的拍摄过程中，加入了提示框，防止用户拍摄时终端抖动范围过大。

图13为本发明实施例一的终端的结构组成示意图，如图13所示，所述终端包括：

获取单元11，用于在电子光圈模式下，通过第一摄像头获取第一图像数据流，同时通过第二摄像头获取第二图像数据流，所述第一图像数据流包括多帧第一图像数据，第二图像数据流包括多帧第二图像数据；

校正模块12，用于根据预先设置的第一摄像头的用于校正图像的第一参数对第一图像数据流中的每一帧第一图像数据进行校正，根据预先设置的第二摄像头的用于校正图像的第二参数对第二图像数据流中的每一帧第二图像数据进行校正；

配准单元13，用于从校正后的第一图像数据流中确定出第一参考帧，将所述校正后的第一图像数据流中除所述第一参考帧以外的各帧校正后的第一图像数据与所述第一参考帧进行配准；从校正后的第二图像数据流中确定出第二参考帧，将所述校正后的第二图像数据流中除所述第二参考帧以外的各帧校正后的第二图像数据与所述第二参考帧进行配准；

融合单元14，用于对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像；对配准后的各帧第二图像数据进行融合处理时，将第二图像边界处黑色区域的像素替换为所述第二参考帧对应的像素后进行融合处理，得到第二目标图像。

所述融合单元14包括：

分析子单元141，用于对配准后的各帧第一图像数据进行分析，确定出各帧第一图像边界处的黑色区域；对配准后的各帧第二图像数据进行分析，确定出各帧第二图像边界处的黑色区域；

替换及融合子单元142，用于对配准后的各帧第一图像数据进行融合处理时，将第一图像边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像；对配准后的各帧第二图像数据进行融合处理时，将第二图像边界处黑色区域的像素替换为所述第二参考帧对应的像素后进行融合处理，得到第二目标图像。

所述替换及融合子单元142，还用于根据所述第一图像边界处黑色区域，确定在所述第一参考帧中与所述第一图像边界处黑色区域相对应的第一参考区域；将第一图像边界处黑色区域的像素替换为所述第一参考帧中第一参考区域中的像素后进行融合处理，得到第一目标图像；根据所述第二图像边界处黑色区域，确定在所述第二参考帧中与所述第二图像边界处黑色区域相对应的第二参考区域；将第二图像边界处黑色区域的像素替换为所述第二参考帧中第二参考区域中的像素后进行融合处理，得到第二目标图像。

所述配准单元13，具体用于以所述校正后的第一图像数据流中的第一帧校正后的第一图像数据作为第一参考帧，将所述校正后的第一图像数据流中除所述第一帧校正后的第一图像数据以外的各帧校正后的第一图像数据与所述第一参考帧进行对齐；以所述校正后的第而图像数据流中的第一帧校正后的第二图像数据作为第一参考帧，将所述校正后的第二图像数据流中除所述第一帧校正后的第二图像数据以外的各帧校正后的第二图像数据与所述第二参考帧进行对齐；其中，所述对齐是指将相同空间位置的像素点对齐。

所述融合单元14，还用于将配准后的各帧第一图像数据的各个像素点按照空间位置对应进行叠加；将配准后的各帧第二图像数据的各个像素点按照空间位置对应进行叠加。

这里需要指出的是：以上终端实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明终端实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

图14为本发明实施例二的终端的结构组成示意图，所述终端包括：处理器1101、双目相机1102、显示屏1103；所述处理器1101、相机1102以及显示屏1103均通过总线1104连接。

所述双目相机1102，用于在手持电子光圈模式下，通过第一摄像头拍摄得到第一原始图像数据流，同时通过第二摄像头拍摄得到第二原始图像数据流，所述第一原始图像数据流包括多帧第一原始图像数据，第二原始图像数据流包括多帧第二原始图像数据；

所述处理器1101，用于对所述第一原始图像数据流中的各帧第一原始图像数据进行预处理，得到所述第一图像数据流；对所述第二原始图像数据流中的各帧第二原始图像数据进行预处理，得到所述第人图像数据流；其中，所述预处理包括以下至少之一：图像滤波、对比度拉伸；从所述图像数据流中确定出参考帧，将所述图像数据流中除所述参考帧以外的各帧图像数据与所述参考帧进行配准；对配准后的各帧图像数据进行融合处理时，将图像边界处黑色区域的像素替换为所述参考帧对应的像素后进行融合处理，得到目标图像。

所述显示屏1103，用于在显示界面上显示提示框；所述提示框用于提示在所述在手持电子光圈模式下，拍摄时手持抖动的方位。

图15为双目相机的电气结构框图。

镜头1211由用于形成被摄体像的多个光学镜头构成，为单焦点镜头或变焦镜头。镜头1211在镜头驱动器1221的控制下能够在光轴方向上移动，镜头驱动器1221根据来自镜头驱动控制电路1222的控制信号，控制镜头1211的焦点位置，在变焦镜头的情况下，也可控制焦点距离。镜头驱动控制电路1222按照来自微处理器1217的控制命令进行镜头驱动器1221的驱动控制。

在镜头1211的光轴上、由镜头1211形成的被摄体像的位置附近配置有摄像元件1212。摄像元件1212用于对被摄体像摄像并取得摄像图像数据。在摄像元件1212上二维且呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的红绿蓝(RGB)滤色器。

摄像元件1212与摄像电路1213连接，该摄像电路1213在摄像元件1212中进行电荷蓄积控制和图像信号读出控制，对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形，进而进行增益提高等以成为适当的电平信号。

摄像电路1213与A/D转换器1214连接，该A/D转换器1214对模拟图像信号进行模数转换，向总线1227输出数字图像信号(以下称之为图像数据)。

总线1227是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线1227连接着上述A/D转换器1214，此外还连接着图像处理器1215、JPEG处理器1216、微处理器1217、同步动态随机存取内存(SDRAM，Synchronous Dynamic random access memory)1218、存储器接口(以下称之为存储器I/F)1219、液晶显示器(LCD，Liquid CrystalDisplay)驱动器1220。

图像处理器1215对基于摄像元件1212的输出的图像数据进行光学黑色(OB，Optical Black)相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。JPEG处理器1216在将图像数据记录于存储介质1225时，按照JPEG压缩方式压缩从SDRAM 1218读出的图像数据。此外，JPEG处理器1216为了进行图像再现显示而进行JPEG图像数据的解压缩。进行解压缩时，读出记录在存储介质1225中的文件，在JPEG处理器1216中实施了解压缩处理后，将解压缩的图像数据暂时存储于SDRAM 1218中并在LCD 1226上进行显示。另外，在本实施方式中，作为图像压缩解压缩方式采用的是JPEG方式，然而压缩解压缩方式不限于此，当然可以采用MPEG、TIFF、H.264等其他的压缩解压缩方式。

微处理器1217发挥作为该相机整体的控制部的功能，统一控制相机的各种处理序列。微处理器1217连接着操作单元1223和闪存1224。

操作单元1223包括但不限于实体按键或者虚拟按键，该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作控件，检测这些操作控件的操作状态。

将检测结果向微处理器1217输出。此外，在作为显示器的LCD1226的前表面设有触摸面板，检测用户的触摸位置，将该触摸位置向微处理器1217输出。微处理器1217根据来自操作单元1223的操作位置的检测结果，执行与用户的操作对应的各种处理序列。

闪存1224存储用于执行微处理器1217的各种处理序列的程序。微处理器1217根据该程序进行相机整体的控制。此外，闪存1224存储相机的各种调整值，微处理器1217读出调整值，按照该调整值进行相机的控制。

SDRAM 1218是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM 1218暂时存储从模拟/数字(A/D)转换器1214输出的图像数据和在图像处理器1215、JPEG处理器1216等中进行了处理后的图像数据。

存储器接口1219与存储介质1225连接，进行将图像数据和附加在图像数据中的文件头等数据写入存储介质1225和从存储介质1225中读出的控制。存储介质1225可以实施为能够在相机主体上自由拆装的存储器卡等存储介质，然而不限于此，也可以是内置在相机主体中的硬盘等。

LCD驱动器1210与LCD 1226连接，将由图像处理器1215处理后的图像数据存储于SDRAM 1218，需要显示时，读取SDRAM 1218存储的图像数据并在LCD 1226上显示，或者，JPEG处理器1216压缩过的图像数据存储于SDRAM 1218，在需要显示时，JPEG处理器1216读取SDRAM 1218的压缩过的图像数据，再进行解压缩，将解压缩后的图像数据通过LCD 1226进行显示。

LCD1226配置在相机主体的背面进行图像显示，然而不限于此，也可以采用基于有机EL也就是有机发光二极管(OLED，Organic Electro-Luminescence)的各种显示面板进行图像显示。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种终端，其特征在于，所述终端包括：

获取单元，用于在电子光圈模式下，通过第一摄像头获取第一图像数据流，同时通过第二摄像头获取第二图像数据流，所述第一图像数据流包括多帧第一图像数据，所述第二图像数据流包括多帧第二图像数据；

2.根据权利要求1所述的终端，其特征在于，所述第一参数包括：预先建立的第四物理坐标系到预先建立的第一摄像头所在的第二物理坐标系的第一旋转矩阵和第一摄像头参数；

3.根据权利要求2所述的终端，其特征在于，所述第一摄像头参数包括：

所述第二摄像头参数包括：

4.根据权利要求2任一项所述的终端，其特征在于，所述校正模块具体用于采用以下方式实现所述根据第一旋转矩阵将第一像素点在第四物理坐标系的坐标转换成在第二物理坐标系的坐标：

5.根据权利要求2任一项所述的终端，其特征在于，所述校正模块具体用于采用以下方式实现所述对第二像素点在第一像素坐标系下的像素坐标进行整形化处理包括：

6.一种图像处理方法，其特征在于，所述方法包括：

从校正后的第一图像数据流中确定出第一参考帧，将所述校正后的第一图像数据流中除所述第一参考帧以外的各帧校正后的第一图像数据与所述第一参考帧进行配准；对配准后的各帧第一图像数据进行融合处理时，将第一图像数据边界处黑色区域的像素替换为所述第一参考帧对应的像素后进行融合处理，得到第一目标图像；

7.根据权利要求6所述的图像处理方法，其特征在于，所述第一参数包括：预先建立的第四物理坐标系到预先建立的第一摄像头所在的第二物理坐标系的第一旋转矩阵和第一摄像头参数；

8.根据权利要求7所述的图像处理方法，其特征在于，所述第一摄像头参数包括：

所述第二摄像头参数包括：

9.根据权利要求7任一项所述的图像处理方法，其特征在于，所述根据第一旋转矩阵将第一像素点在第四物理坐标系的坐标转换成在第二物理坐标系的坐标包括：

10.根据权利要求7任一项所述的图像处理方法，其特征在于，所述对第二像素点在第一像素坐标系下的像素坐标进行整形化处理包括：