CN107194963A - 一种双摄像头图像处理方法及终端 - Google Patents

Abstract

本发明实施例公开了一种双摄像头图像处理方法，所述方法包括：第一摄像头与第二摄像头同时进行拍摄，分别获取第一图像与第二图像；根据所述第一图像与所述第二图像获取拍摄场景的深度图；根据所述拍摄场景的深度图获取所述第一图像中每个子区域的深度值；将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域；根据预设的图像处理策略对所述第一图像中的待处理区域进行处理。本发明实施例同时还公开了一种双摄像头图像处理终端。

Description

一种双摄像头图像处理方法及终端

技术领域

本发明涉及图像处理领域，尤其涉及一种双摄像头图像处理方法及终端。

背景技术

目前，在移动终端两侧通常具备前置摄像头与后置摄像头两个摄像头，拍摄时由前置摄像头或者后置摄像头单独进行拍摄。由于单颗摄像头的CMOS感光元件尺寸有限，单颗摄像头拍摄出的照片存在噪点多、拍摄不清晰等问题，随着移动终端照相功能的普及，单个摄像头独立进行拍摄已难以满足使用者的需求。为了改进单摄像头的拍摄效果，包括双摄像头手机等在内的双摄像头移动终端在日常生活中受到了越来越广泛的应用，双摄像头移动终端中的主摄像头与副摄像头位于终端的同一侧，对同一场景分别拍摄照片。

通过双摄像头进进行拍摄可以利用拍摄得到的两张图像综合得到更为清晰，图像效果更好的图像。目前利用双摄像头中两个摄像头的光圈大小不同可以实现背景虚化等功能，但是，目前对双摄像头拍摄得到的图像进行处理的应用难以满足需求。

发明内容

本发明的主要目的在于提出一种双摄像头图像处理方法及终端，旨在解决图像拍摄中背景替换与特效添加的问题。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种双摄像头图像处理方法，所述方法包括：

第一摄像头与第二摄像头同时进行拍摄，分别获取第一图像与第二图像；

根据所述第一图像与所述第二图像获取拍摄场景的深度图；

根据所述拍摄场景的深度图获取所述第一图像中每个子区域的深度值；

将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域；

根据预设的图像处理策略对所述第一图像中的待处理区域进行处理。

上述方案中，所述根据所述第一图像与所述第二图像获取拍摄场景的深度图，包括：

对所述第一图像与所述第二图像进行三维重建，获取三维模型；

根据所述三维模型获取所述拍摄场景的深度图；其中，所述第一图像与所述第二图像是具有视差的两张图像。

上述方案中，所述将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域，包括：

当所述子区域的深度值大于所述预设的深度值时，确定所述子区域为第一待处理区域；

当所述子区域的深度值小于所述预设的深度值时，确定所述子区域为第二待处理区域。

上述方案中，在所述根据预设的图像处理策略对所述第一图像中的待处理区域进行处理之前，所述方法还包括：

接收图像处理指令；

当所述图像处理指令用于指示图像替换时，确定所述图像处理策略为第一图像处理策略；

当所述图像处理指令用于指示图像添加时，确定所述图像处理策略为第二图像处理策略。

上述方案中，所述根据预设的图像处理策略对所述第一图像中的待处理区域进行处理，包括：

当执行所述第一图像处理策略时，利用预设的背景图像对所述第一待处理区域进行图像替换；

当执行所述第二图像处理策略时，利用预设的特效图像对所述第二待处理区域进行图像添加。

第二方面，本发明实施例提供了一种双摄像头图像处理终端，所述终端包括：

第一摄像头，用于拍摄第一图像；

第二摄像头，用于拍摄第二图像；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的双摄像头图像处理程序，所述双摄像头图像处理程序被所述处理器执行时实现以下步骤：

根据所述第一图像与所述第二图像获取拍摄场景的深度图；

根据所述拍摄场景的深度图获取所述第一图像中每个子区域的深度值；

将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域；

根据预设的图像处理策略对所述第一图像中的待处理区域进行处理。

上述方案中，所述双摄像头图像处理程序被所述处理器执行时实现以下步骤：

对所述第一图像与所述第二图像进行三维重建，获取三维模型；

根据所述三维模型获取所述拍摄场景的深度图；其中，所述第一图像与所述第二图像是具有视差的两张图像。

上述方案中，所述双摄像头图像处理程序被所述处理器执行时实现以下步骤：

当所述子区域的深度值大于所述预设的深度值时，确定所述子区域为第一待处理区域；

当所述子区域的深度值小于所述预设的深度值时，确定所述子区域为第二待处理区域。

上述方案中，所述双摄像头图像处理程序被所述处理器执行时还实现以下步骤：

接收图像处理指令；

当所述图像处理指令用于指示图像替换时，利用预设的背景图像对所述第一待处理区域进行图像替换；

当所述图像处理指令用于指示图像添加时，利用预设的特效图像对所述第二待处理区域进行图像添加。

第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有双摄像头图像处理程序，所述双摄像头图像处理程序被处理器执行时实现如第一方面中任一项所述的双摄像头图像处理方法的步骤。

本发明实施例所提供的一种双摄像头图像处理方法及终端，利用第一摄像头与第二摄像头拍摄的图像得到拍摄场景的深度图，根据拍摄场景的深度图实现对拍摄图像的背景替换或者是特效添加。

附图说明

图1为本发明实施例提供的一种移动终端的硬件结构示意图；

图2为本发明实施例提供的移动终端能够操作的通信系统结构示意图；

图3为本发明实施例一提供的一种双摄像头图像处理方法流程示意图一；

图4为本发明实施例一提供的一种双摄像头图像处理方法流程示意图二；

图5为本发明实施例一提供的一种双摄像头图像处理方法流程示意图三；

图6为本发明实施例一提供的一种双摄像头图像处理方法界面图一；

图7为本发明实施例一提供的一种双摄像头图像处理方法流程示意图四；

图8为本发明实施例一提供的一种双摄像头图像处理方法界面图二；

图9为本发明实施例一提供的一种双摄像头图像处理方法界面图三；

图10为本发明实施例二提供的一种双摄像头图像处理方法具体实现流程示意图；

图11为本发明实施例二提供的双摄像头对第一图像进行背景替换的流程图；

图12为本发明实施例三提供的一种双摄像头图像处理终端结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本发明实施例，下面对本发明的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本发明实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。

具体地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。其中，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving Gate Way，服务网关)2034，PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。其中，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本发明不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统等，此处不做限定。

基于上述移动终端硬件结构以及通信网络系统，提出本发明方法各个实施例。

实施例一

参见图3，其示出了本发明实施例提供的一种双摄像头图像处理方法，所述方法包括：

S101、第一摄像头与第二摄像头同时进行拍摄，分别获取第一图像与第二图像。

S102、根据第一图像与第二图像获取拍摄场景的深度图。

可选地，参见图4，S102具体包括S1021和S1022：

S1021、对第一图像与第二图像进行三维重建，获取三维模型；

S1022、根据三维模型获取拍摄场景的深度图；其中，第一图像与第二图像是具有视差的两张图像。

需要说明的是，终端的两个摄像头同时进行拍摄，可以获取同一拍摄场景下的两张图像。由于第一摄像头与第二摄像头间存在一定的距离，当第一摄像头与第二摄像头对同一拍摄场景同时进行拍摄时，拍摄获取的第一图像与第二图像就存在视差。根据存在视差的第一图像和第二图像，利用三维重建技术就可以得到拍摄场景的深度图。通过深度图可以区分拍摄场景中各物体的前后顺序。场景深度就是焦点前后的清晰范围，场景深度越大，整个图像从远景到近景就会越清晰；场景深度越浅，拍摄主体越清晰但是前景和背景就会越虚化，从而更突出主体。影响场景深度的因素主要是焦距、光圈和拍摄距离。焦距越长，光圈越大，拍摄距离越近，则场景深度越浅；反之，焦距越短，光圈越小，拍摄距离越远，则场景深度越大。

还需要说明的是，对第一图像与第二图像进行三维重建的过程为：第一图像与第二图像为拍着场景中三维物体的二维图像。通过第一摄像头与第二摄像头标定来建立有效的成像模型，求解出第一摄像头与第二摄像头的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。对第一图像与第二图像进行特征提取，提取的特征主要包括特征点、特征线和特征区域。根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在第一图像与第二图像这两幅不同图像中的成像点进行一一对应起来，这样就完成了立体匹配过程。通过上述过程获取比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息。

S103、根据拍摄场景的深度图获取第一图像中每个子区域的深度值。

需要说明的是，拍摄场景的深度图对应拍摄场景的深度值信息，拍摄场景中的不同物体对应不同的深度值信息。利用拍摄场景的深度图获取第一图像的场景中不同物体的深度值，不同的深度值对应着物体在第一图像场景中的前后顺序。通过深度值可以确定第一图像的前景物体与背景物体，以及前景物体与背景物体中间的场景。

还需要说明的是，将第一图像划分成N个子区域后，所得到的每一个子区域是相互独立且彼此之间没有交集的，并且N个子区域刚好组合成为第一图像。对于图像子区域的划分粒度，可以根据技术方案实际应用的需要进行选择，比如，最小的子区域划分粒度可以为像素点，此外，还可以以固定区域大小的像素块作为划分粒度，在本实施例中，可以用像素点作为划分粒度为例进行说明，因此，第一图像划分得到的子区域为各像素点。

S104、将第一图像中每个子区域的深度值与预设的深度值进行比较，获取第一图像中的待处理区域。

参见图5，S104具体包括S1041和S1042：

S1041、当子区域的深度值大于预设的深度值时，确定子区域为第一待处理区域；

S1042、当子区域的深度值小于预设的深度值时，确定子区域为第二待处理区域。

具体地，预设的深度值为用户设定的深度值，将第一图像中的每一个子区域的深度值逐一与预设的深度值进行比较，通过比较结果可以将第一图像中的所有子区域分为两大类，一类为大于预设的深度值的子区域，这一类子区域为第一待处理区域；另一类为小于预设的深度值的子区域，这一类子区域为第二待处理区域。

可选地，将第一图像的子区域划分到像素点，即每一个像素点为第一图像的一个子区域，将第一图像的每一个像素点深度值与预设的深度值进行比较可以更精确的对第一图像的所有区域的深度值进行划分，获得更好的待处理区域划分效果。

在划分出第一待处理区域与第二待处理之后，需要对第一图像的不同待处理区域进行不同的处理，因此，在对第一图像进行处理之前要先确定图像处理策略。

具体地，在根据预设的图像处理策略对第一图像中的待处理区域进行处理之前，所述方法还包括：

接收图像处理指令；

当图像处理指令用于指示图像替换时，确定图像处理策略为第一图像处理策略；

当图像处理指令用于指示图像添加时，确定图像处理策略为第二图像处理策略。

举例来说，参见图6，用户预先选定了对图像处理的方式，图像处理的方式分为两种，一种为背景替换，另一种为添加特效。用户可以在图6所示的界面中选择对图像进行背景替换或者进行特效添加，或者是同时进行背景替换和特效添加。通过背景替换，用户可以在拍摄时将图像的背景替换成任意背景。通过添加特效，用户可以在拍摄时在图像的前景或者前景与背景中添加任意的特效图案。

S105、根据预设的图像处理策略对第一图像中的待处理区域进行处理。

参见图7，S105具体包括S1051和S1052：

S1051、当执行第一图像处理策略时，利用预设的背景图像对第一待处理区域进行图像替换。

需要说明的是，图像替换可以使用户在拍照的同时将拍摄场景的背景进行实时的替换。这样的拍摄方法使得用户可以将拍摄背景换成任何指定的背景，不用再通过后期的抠图等处理来进行背景替换。

预设的背景图像为用户选定的用作背景替换的图像，参见图8，图8示出了用户选择预设的背景图像的操作界面。在背景替换模式下，用户在给定的图片中选择作为替换的背景图像，界面给出了背景深度值的取值范围D1-D2，用户输入一个在D1与D2之间的深度值D。第一图像处理策略是针对第一待处理区域进行的，若第一图像的子区域为像素点，那么在逐像素的对比过程中，第一待处理区域为第一图像中的深度值大于深度值D的像素点。在界面中用户可以在给定的用于背景替换的图片中选择合适的图片作为预设的背景图像，也可以通过本地图库或者互联网等途径选择合适的图片作为预设的背景图像。

S1052、当执行第二图像处理策略时，利用预设的特效图像对第二待处理区域进行图像添加。

需要说明的是，在前景物体和背景之间加上一些指定的元素为第一图像增加额外的效果，使得第一图像中处在前景物体和背景之间的中间场景能够有更多的元素，拍摄出的照片更加生动，获得带有特效的第一图像。加入的指定元素可以为静态的或者动态的图形元素，通过这些静态的或者动态的图形元素可以使第一图像呈现出不同的风格，让最终的成像更加多元。

预设的特效图像为用户选定的用作特效添加的图像，参见图9，图9示出了用户选择预设的特效图像的操作界面。在特效添加模式下，用户在给定的特效图片中选择添加的特效图像，通过特效图像可以呈现出下雨、下雪或者花开等特效。界面给出了前景物体与背景之间深度值的取值范围D3-D4，用户输入一个在D3与D4之间的深度值D。第二图像处理策略是针对第二待处理区域进行的，若第一图像的子区域为像素点，那么在逐像素的对比过程中，第二待处理区域为第一图像中的深度值小于深度值D的像素点。在界面中用户可以在给定的用于特效添加的图片中选择合适的图片作为预设的特效图像，也可以通过本地图库或者互联网等途径选择合适的图片作为预设的特效图像。

根据上述的图像拍摄方法还可以进行视频录制，在视频录制的过程中进行背景替换或者特效添加，录制出生动的，带有特效的视频。在视频录制时还可以利用定位功能显示拍摄视频的当前位置所在地，在背景替换或特效添加时还可以配上与背景和特效对应的音乐等声效。

本发明实施例所提供的一种双摄像头图像处理方法，利用第一摄像头与第二摄像头拍摄的图像得到拍摄场景的深度图，根据拍摄场景的深度图实现对拍摄图像的背景替换或者是特效添加。

实施例二

参见图10，其示出了本发明实施例提供的双摄像头图像处理方法的具体实现流程，该流程包括：

S201、第一摄像头与第二摄像头同时进行拍摄，获取具有视差的第一图像与第二图像。

可以理解的，终端上两个摄像头同时对同一场景进行拍摄，可以获得两张具有视差的图像。

S202、对第一图像与第二图像进行三维重建，获取拍摄场景的深度图。

具体地，利用两张具有视差的第一图像与第二图像进行三维重建，可以得到拍摄场景的深度图。从深度图可以知道拍摄场景中所有物体的前后顺序以及图像中每一个像素点的深度值。

S203、根据拍摄场景的深度图获取第一图像中每个子区域的深度值。

需要说明的是，根据场景的深度图就可以得到第一图像的深度值信息，第一图像的深度值信息表明了第一图像的拍摄场景中所有被拍摄物体在场景中的前后顺序等，可以区分出第一图像中的前景物体与背景，以及前景物体与背景之间的部分。若要对第一图像进行可选地处理，可以对第一图像中每个像素点进行处理，将第一图像中的每个像素点作为第一图像的子区域。

S204、将第一图像中每个子区域的深度值与预设的深度值进行比较，若第一图像中的子区域深度值大于预设的深度值，执行S205；若第一图像中的子区域深度值小于预设的深度值，执行S206。

S205、确定所述子区域为第一待处理区域。

可以理解地，当第一图像中的子区域深度值大于预设的深度值时，第一图像中这一部分的子区域被划分为第一待处理区域。

S206、确定所述子区域为第二待处理区域。

可以理解地，当第一图像中的子区域深度值小于预设的深度值时，第一图像中这一部分的子区域被划分为第二待处理区域。

S207、接收图像处理指令。

具体地，终端接收用户对第一图像进行处理的指令，若对第一图像进行处理的指令为背景替换，则将用户选定的背景图像作为预设的背景图像；若对第一图像进行处理的指令为增加特效，则将用户选定的特效图像作为预设的特效图像；若对第一图像进行处理的指令为背景替换与增加特效，则将用户选定的背景图像与选定的特效图像作为预设的背景图像与预设的特效图像。

S208、判断图像处理指令的类型，当图像处理指令用于指示图像替换时，确定图像处理策略为第一图像处理策略，执行S209；当图像处理指令用于指示图像添加时，确定图像处理策略为第二图像处理策略，执行S210。

S209、利用预设的背景图像对第一待处理区域进行图像替换。

可以理解地，当执行第一图像处理策略时，对第一图像的背景进行替换。若第一图像的子区域为像素点，那么第一图像中深度值大于预设的深度值的像素点即为被替换的像素点。

S210、利用预设的特效图像对第二待处理区域进行图像添加。

可以理解地，当执行第二图像处理策略时，在第一图像中添加预设的特效。若第一图像的子区域为像素点，那么添加特效的位置为第一图像中深度值小于预设的深度值的像素点。

举例来说，参见图11，图11示出了利用双摄像头对第一图像进行背景替换的流程图。由图11可知，由第一摄像头拍摄获取第一图像，由第一摄像头与第二摄像头拍摄的图像共同获取拍摄场景的深度图。根据预设的背景图像与深度图对第一图像进行背景替换，获得替换背景后的第一图像。

本发明实施例所提供的一种双摄像头图像处理方法，利用第一摄像头与第二摄像头拍摄的图像得到拍摄场景的深度图，根据拍摄场景的深度图实现对拍摄图像的背景替换或者是特效添加。

实施例三

参见图12，其示出了本发明实施例提供一种双摄像头图像处理终端12的结构示意图，所述终端12可以包括：

第一摄像头1201，用于拍摄第一图像；

第二摄像头1202，用于拍摄第二图像；

存储器1203、处理器1204及存储在所述存储器1203上并可在所述处理器1204上运行的双摄像头图像处理程序，所述双摄像头图像处理程序被所述处理器1204执行时实现以下步骤：

根据所述第一图像与所述第二图像获取拍摄场景的深度图；

根据所述拍摄场景的深度图获取所述第一图像中每个子区域的深度值；

将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域；

根据预设的图像处理策略对所述第一图像中的待处理区域进行处理。

可以理解，本发明实施例中的存储器1203可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的系统和方法的存储器1203旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器1204可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1204中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1204可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1203，处理器1204读取存储器1203中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地，作为另一个实施例，所述双摄像头图像处理程序被所述处理器1204执行时实现以下步骤：

对所述第一图像与所述第二图像进行三维重建，获取三维模型；

根据所述三维模型获取所述拍摄场景的深度图；其中，所述第一图像与所述第二图像是具有视差的两张图像。

可选地，作为另一个实施例，所述双摄像头图像处理程序被所述处理器1204执行时实现以下步骤：

当所述子区域的深度值大于所述预设的深度值时，确定所述子区域为第一待处理区域；

当所述子区域的深度值小于所述预设的深度值时，确定所述子区域为第二待处理区域。

可选地，作为另一个实施例，所述双摄像头图像处理程序被所述处理器1204执行时还可以实现以下步骤：

接收图像处理指令；

当所述图像处理指令用于指示图像替换时，确定所述图像处理策略为第一图像处理策略；

当所述图像处理指令用于指示图像添加时，确定所述图像处理策略为第二图像处理策略。

可选地，作为另一个实施例，所述双摄像头图像处理程序被所述处理器1204执行时实现以下步骤：

当执行所述第一图像处理策略时，利用预设的背景图像对所述第一待处理区域进行图像替换；

当执行所述第二图像处理策略时，利用预设的特效图像对所述第二待处理区域进行图像添加。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

具体来讲，本实施例中的一种双摄像头图像处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种双摄像头图像处理方法对应的计算机程序指令被一电子设备读取或被执行时，包括如下步骤：

第一摄像头与第二摄像头同时进行拍摄，分别获取第一图像与第二图像；

根据所述第一图像与所述第二图像获取拍摄场景的深度图；

根据所述拍摄场景的深度图获取所述第一图像中每个子区域的深度值；

将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域；

根据预设的图像处理策略对所述第一图像中的待处理区域进行处理。

可选的，存储介质中存储的与步骤：根据所述第一图像与所述第二图像获取拍摄场景的深度图，包括：

对所述第一图像与所述第二图像进行三维重建，获取三维模型；

根据所述三维模型获取所述拍摄场景的深度图；其中，所述第一图像与所述第二图像是具有视差的两张图像。

可选地，存储介质中存储的与步骤：将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域，包括：

当所述子区域的深度值大于所述预设的深度值时，确定所述子区域为第一待处理区域；

当所述子区域的深度值小于所述预设的深度值时，确定所述子区域为第二待处理区域。

可选地，存储介质中存储的与步骤：在所述根据预设的图像处理策略对所述第一图像中的待处理区域进行处理之前，所述方法还包括：

接收图像处理指令；

当所述图像处理指令用于指示图像替换时，确定所述图像处理策略为第一图像处理策略；

当所述图像处理指令用于指示图像添加时，确定所述图像处理策略为第二图像处理策略。

可选地，存储介质中存储的与步骤：根据预设的图像处理策略对所述第一图像中的待处理区域进行处理，包括：

当执行所述第一图像处理策略时，利用预设的背景图像对所述第一待处理区域进行图像替换；

当执行所述第二图像处理策略时，利用预设的特效图像对所述第二待处理区域进行图像添加。

本发明实施例所提供的一种双摄像头图像处理终端，利用第一摄像头与第二摄像头拍摄的图像得到拍摄场景的深度图，根据拍摄场景的深度图实现对拍摄图像的背景替换或者是特效添加。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所描述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种双摄像头图像处理方法，其特征在于，所述方法包括：

第一摄像头与第二摄像头同时进行拍摄，分别获取第一图像与第二图像；

根据所述第一图像与所述第二图像获取拍摄场景的深度图；

根据所述拍摄场景的深度图获取所述第一图像中每个子区域的深度值；

将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域；

根据预设的图像处理策略对所述第一图像中的待处理区域进行处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像与所述第二图像获取拍摄场景的深度图，包括：

对所述第一图像与所述第二图像进行三维重建，获取三维模型；

根据所述三维模型获取所述拍摄场景的深度图；其中，所述第一图像与所述第二图像是具有视差的两张图像。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域，包括：

当所述子区域的深度值大于所述预设的深度值时，确定所述子区域为第一待处理区域；

当所述子区域的深度值小于所述预设的深度值时，确定所述子区域为第二待处理区域。

4.根据权利要求1所述的方法，其特征在于，在所述根据预设的图像处理策略对所述第一图像中的待处理区域进行处理之前，所述方法还包括：

接收图像处理指令；

当所述图像处理指令用于指示图像替换时，确定所述图像处理策略为第一图像处理策略；

当所述图像处理指令用于指示图像添加时，确定所述图像处理策略为第二图像处理策略。

5.根据权利要求1所述的方法，其特征在于，所述根据预设的图像处理策略对所述第一图像中的待处理区域进行处理，包括：

当执行所述第一图像处理策略时，利用预设的背景图像对所述第一待处理区域进行图像替换；

当执行所述第二图像处理策略时，利用预设的特效图像对所述第二待处理区域进行图像添加。

6.一种双摄像头图像处理终端，其特征在于，所述终端包括：

第一摄像头，用于拍摄第一图像；

第二摄像头，用于拍摄第二图像；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的双摄像头图像处理程序，所述双摄像头图像处理程序被所述处理器执行时实现以下步骤：

根据所述第一图像与所述第二图像获取拍摄场景的深度图；

根据所述拍摄场景的深度图获取所述第一图像中每个子区域的深度值；

将所述第一图像中每个子区域的深度值与预设的深度值进行比较，获取所述第一图像中的待处理区域；

根据预设的图像处理策略对所述第一图像中的待处理区域进行处理。

7.根据权利要求6所述的终端，其特征在于，所述双摄像头图像处理程序被所述处理器执行时实现以下步骤：

对所述第一图像与所述第二图像进行三维重建，获取三维模型；

根据所述三维模型获取所述拍摄场景的深度图；其中，所述第一图像与所述第二图像是具有视差的两张图像。

8.根据权利要求6所述的终端，其特征在于，所述双摄像头图像处理程序被所述处理器执行时实现以下步骤：

当所述子区域的深度值大于所述预设的深度值时，确定所述子区域为第一待处理区域；

当所述子区域的深度值小于所述预设的深度值时，确定所述子区域为第二待处理区域。

9.根据权利要求6所述的终端，其特征在于，所述双摄像头图像处理程序被所述处理器执行时还实现以下步骤：

接收图像处理指令；

当所述图像处理指令用于指示图像替换时，利用预设的背景图像对所述第一待处理区域进行图像替换；

当所述图像处理指令用于指示图像添加时，利用预设的特效图像对所述第二待处理区域进行图像添加。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有双摄像头图像处理程序，所述双摄像头图像处理程序被处理器执行时实现如权利要求1至5中任一项所述的双摄像头图像处理方法的步骤。