CN104284064A - 用于预览双镜头图像的方法和设备 - Google Patents

Abstract

本发明公开一种用于预览双镜头图像的方法和设备。一种具有两个图像传感器的电子装置提供实时地组合从第一图像传感器捕捉的局部图像和从第二图像传感器捕捉的背面图像的预览屏幕。局部图像是正面图像的一部分，该部分包括基于算法检测的期望的用户的部分(诸如，用户的面部)。电子装置通过将局部图像叠加在背面图像上来显示双镜头预览屏幕。

Description

用于预览双镜头图像的方法和设备

技术领域

本公开总体来说涉及用于预览由电子装置拍摄的正面的双镜头图像和背面的双镜头图像的方法和设备。

背景技术

通信技术的快速发展已经引起了对新颖且创新的电子装置以及电子装置功能的开发。已经被看出快速发展的一个领域是在各种用户界面(UI)方案和UI功能的开发上。此外，用于提高现有电子装置的有用性并满足终端用户需求的驱动力已经导致甚至在基础应用程序上的发展。

随着很多这样的电子装置(诸如，蜂窝电话、智能电话、平板电脑和便携式个人计算机)包括相机，具体地，已经看出相机相关的应用从仅允许视觉捕捉被摄体(subject)的基本相机功能发展到能够通过文本消息、电子邮件或社交媒体将捕捉的图像与其他用户共享的功能。也可为了各种目的改变或编辑捕捉的图像。例如，现在存在各种允许用户执行各种简单或甚至复杂的编辑任务(诸如，添加滤镜、去除红眼、或甚至改变照片中的人物外貌(例如，改变照片中人的发型))的图像编辑应用。

在功用和功能上，也已经看出这些电子装置的硬件的发展。例如，现在很多现代电子装置配备有两个相机，一个相机置于电子装置的正面，一个置于电子装置的背面。这能够实现多个功能(诸如，实时视频聊天、更容易自拍等)。另一相对新颖的功能包括分别显示由正面相机和背面相机拍摄的正面图像和背面图像。在这种所谓的“双镜头模式”下，将正面图像与背面图像组合以形成合成图像。例如，主图像(由背面相机捕捉)可以以类似于画中画(PIP)格式的某种格式来与子图像(由正面相机捕捉)叠加。这可允许用户捕捉感兴趣的事件或事物(由背面相机拍摄)而同时捕捉他或她自己本身对于事件的体验或反应(由正面相机拍摄)。

然而，当用户试图利用双镜头模式时问题出现，这是由于那时用户必须同时考虑并捕捉两个图像构图。在常见双镜头模式下，正面图像以PIP“盒子”被显示在背面图像上方(通常，正面图像PIP“盒子”的位置被预定，但是可在图片构图内改变)。对于正面图像，通常难以设置适当的镜头构图。具体地，在任何得到的正面图像构图中，脸部通常倾向于一侧，以致捕捉的图像的一侧的权值更重，特别是在正面相机的视角宽的情况下。

此外，当相较于完整的合成图像的大小，正面图像PIP“盒子”(也可被称作子图像)相对较小时，由于在预览屏幕内它的大小限制，用户会难以确认子图像的质量。

此外，由于用户必须使用一只手来触发捕捉按钮，并使用另一只手使电子装置固定，所以电子装置会摇晃以致产生失焦图像。因此，合成图像通常质量欠佳以致用户不满。

提出以上信息仅作为背景信息以帮助理解本公开，至于任何上述信息是否可应用为针对本发明的现有技术，尚未作出决定，也未作出声明。

发明内容

本发明旨在至少部分地解决、减轻或消除与现有技术相关的问题和/或缺点中的至少一个。

本发明是一种用于预览双镜头图像并帮助捕捉双镜头照片的方法和设备。所述方法和设备利用包含在算法上被识别的被摄体部分(诸如，用户的面部)的局部图像。本发明帮助通过实时预览双镜头图像来合成组合的双镜头图像。

根据本发明的一方面，公开一种用于预览双镜头图像的电子装置设备。电子装置设备包括：第一图像传感器，用于捕捉正面图像；第二图像传感器，用于捕捉背面图像，图像信号处理器，用于对由第一图像传感器和第二图像传感器捕捉的图像执行图像处理；控制器，用于根据来自正面图像的被摄体的算法识别来设置感兴趣的像素的区域。第一图像传感器被指示为基于感兴趣的像素的区域来输出局部图像，图像信号处理器通过将局部图像叠加在背面图像上来创建组合的双镜头图像。然后，组合的双镜头预览图像被显示。

根据本发明的另一方面，公开一种用于预览在电子装置中捕捉的双镜头图像的方法。在算法上识别由第一图像传感器捕捉的正面图像中的期望的被摄体部分。根据在正面图像中识别的期望的被摄体部分的位置来设置感兴趣的像素的区域。第一图像传感器被指示为输出与感兴趣的像素的区域相应的局部图像。通过将局部图像叠加在由第二图像传感器捕捉的背面图像上来创建组合的双镜头图像。在显示器上预览组合的双镜头图像。

通过以下结合附图公开的本发明的示例性实施例的详细描述，本发明的其它方面、优点和突出特征对于本领域技术人员来说将变得清楚。

附图说明

通过参照附图详细地描述本发明的示例性实施例，本发明的以上和其它特征以及优点将变得更清楚，其中：

图1是示出根据本发明的实施例的电子装置的配置的框图；

图2示出根据本发明的实施例的示例智能电话电子装置的正面的透视图；

图3示出根据本发明的实施例的示例智能电话电子装置的背面的透视图；

图4是将根据本发明的实施例的使用电子装置的两个图像传感器捕捉图像形象化的概要示图；

图5是示出根据本发明的实施例的用于实现双镜头图像预览的电子装置的配置的框图；

图6A是根据本发明的实施例的由背面相机捕捉的背面图像的示图；

图6B是根据本发明的实施例的由正面相机捕捉的正面图像的示图；

图6C是根据本发明的实施例将组合图6A中的背面图像和图6B中的正面图像的图像预览形象化的示图；

图7是示出根据本发明的实施例的图像预览方法的流程图。

具体实施方式

在下文中将参照示出本发明的说明性的实施例的附图，更充分地描述本发明。然而，本发明可以以很多形式被实施，并且不应被解释为受限于在此描述的实施例；与之相反，提供这些实施例使得本公开将是彻底的并完整的，并且将发明的范围充分地传达给本领域技术人员。贯穿本公开，相同的标号可被理解为指示相同的部分、组件和结构。

将理解：尽管可在此使用术语“第一”、“第二”、“第三”等描述各种元件、组件、区域、层和/或区段，但是这些元件、组件、区域、层和/或区段不应该被这些术语所限制。仅使用这些术语来区分一个元件、组件、区域、层和/或区段与另一区域、层或区段。因此，在不脱离本发明的教导的情况下，以下讨论的“第一”元件、组件、区域、层或区段可被称为“第二”元件、组件、区域、层或区段。当通过使用连接词“和/或”等描述相关联的列表项时，所述描述应被理解为包括所述相关联的列表项的一项或更多项的任意和全部组合。

在此使用的术语仅为了描述具体实施例的目的，而非意图限制本发明。

将理解：除非上下文清楚地另有指示，否则单数形式包括复数指代。还将理解：在说明书中使用术语“包括”时，术语“包括”指定声明的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或更多个其它特征、整体、步骤、操作、元件、组件和/或其组合的存在或附加。

除非另有定义，否则在此使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员的一般理解相同的含义。还将理解：应该将术语(诸如常用词典中所定义的术语)解释为具有与在相关领域的上下文中的它们的含义一致的含义，并且除非在此被明确地这样定义，否则将不以理想的或过于正式的含义解释所述术语。

在下文中，详细地公开双镜头图像预览方法和设备。电子装置设备可被配备有两个图像传感器，所述两个图像传感器可以是正面相机和背面相机。预览双镜头图像可以被显示在电子装置的显示屏上。预览双镜头图像优选地显示由电子装置的背面相机捕捉的背面图像，该背面相机可被用于捕捉“被摄体”图像或(通常)背面图像。当双向模式被激活时，电子装置也可利用电子装置的正面相机来捕捉“用户”图像、“前景”场景图像或(通常)正面图像。正面相机优选地被指示为输出由用户所指示的部分图像，该部分图像仅包括正面图像中的期望的元素，例如，该部分图像可以是用户的身体中的一部分(例如，具体地，用户的面部)。这可基于指定感兴趣的基于像素的区域(包括例如用户的面部的用户的部位)的信息来确定。然后，电子装置可通过将正面图像叠加在背面图像的上方来显示双镜头预览屏幕。因此，仅对正面图像的相对小的区域执行潜在图像处理，这具有减少计算需求和功耗的附加优点。

图1是示出根据本发明的实施例的电子装置的配置的框图。在此描述的电子装置可构成具有显示单元以及正面相机和背面相机的任意装置。电子装置也可被称作“便携式装置”、“移动终端”、“通信终端”、“便携式通信终端”“便携式移动终端”等。例如，电子装置可以是智能电话、蜂窝电话、游戏机、电视、显示装置、车辆头部单元、笔记本计算机、膝上型计算机、平板个人计算机(PC)、个人媒体播放器(PMP)、个人数字助理(PDA)或任意其它相似电子装置。电子装置可被实现为具有无线通信功能的袖珍的便携式通信终端。电子装置也可是柔性显示装置。配备有至少两个图像传感器的任意其它装置也可被用于执行或启用本发明。虽然在本发明的一些实施例中将采用便携式装置作为电子装置的代表性示例，但应理解：可省略或替换便携式装置的一些组件。

现在参照图1，电子装置100可包括触摸屏190和至少一个触摸屏控制器195。触摸屏190和触摸屏控制器195可被分别实现为显示单元和显示控制器。电子装置100也可包括控制器110、通信模块120、图像传感器模块150、输入/输出模块160、传感器模块170、存储器175和供电单元180。

控制器110可包括：中央处理单元(CPU)111；只读存储器(ROM)112，用于存储用于控制电子装置100的操作系统；随机存取存储器(RAM)113，用于存储从外部源输入的信号或数据，或用作计算存储器并执行电子装置100中的应用。CPU111可利用一个或更多个处理器核，因此CPU111可被实现为双核、三核或四核装置等。对于任意计算装置典型的是，CPU111、ROM112和RAM113可通过内部总线相互连接。

控制器110可控制通信模块120、图像传感器模块150、输入/输出模块160、传感器模块170、存储器175、供电单元180、触摸屏190和触摸屏控制器195。

通信模块120可包括移动通信模块、无线局域网络(WLAN)模块和短距离通信模块中的至少一个。通信模块120可使用一个或更多个天线通过移动通信来将电子装置100连接到外部电子装置。移动通信模块将用于语音呼叫、视频会议呼叫、短消息服务(SMS)消息或多媒体消息服务(MMS)消息的无线信号发送到蜂窝电话、智能电话、平板PC或其它电子装置，或从上述装置接收所述无线信号。

WLAN模块优选地允许经由无线接入点(AP，未示出)连接到互联网。WLAN模块优选地支持WLAN标准IEEE802.11x。

短距离通信模块可能够在便携式终端100和外部电子装置之间进行短距离通信。短距离通信可被实现为例如蓝牙、红外数据协会(IrDA)、WiFi直连、近场通信(NFC)等，并且可包括一个或更多个短距离通信解决方案。

图像传感器模块150可包括以矩阵M×N排列的多个像素，并且每个像素可包括光电二极管和至少一个晶体管。像素累积由入射光产生的电荷(即，曝光处理)，并且基于累积的电荷的电压指示入射光的照度(即，图像数据输出处理)。当形成静止图像或运动图像的图像被处理时，从图像传感器模块150输出的图像数据包括从像素输出的电压集(即像素值)，并且该图像数据指示一个图像(即，静止图像)。该图像包括M×N个像素。仅为了列举一些非限制性的可能，图像传感器模块150可以是电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器。

图像传感器模块150可包括例如用于捕捉静止图像或视频影片的第一图像传感器151和第二图像传感器152。第一图像传感器151和第二图像传感器152为电子装置100提供相机功能，从而优选地将通过镜头系统输入的光信号转换成电图像信号，然后将电图像信号发送到控制器110。这允许用户使用电子装置100来拍摄视频影片或捕捉静止图像。第一图像传感器151和第二图像传感器152中的每一个可包括通用相机模块(诸如，镜头系统、光圈等)。在理解第一图像传感器151和第二图像传感器152分别是正面相机和背面相机的示例的情况下给出以下描述。

图像传感器模块150也可包括用于启用变焦功能的镜头筒155中的至少一个。电机单元154可使镜头筒155的移动自动化。闪光单元153可提供捕捉被摄体所需的辅助光源。在电子装置的一种通用配置中，第一图像传感器151可被置于电子装置100的正表面，第二图像传感器152可被置于电子装置100的背表面。

图像传感器模块150可选地包括第三图像传感器(未示出)。第一图像传感器151和第三图像传感器的位置相互邻近(通常在1cm到8cm之间的距离内)可允许捕捉三维(3D)静止图像或视频影片。输入/输出模块160可包括以下中的至少一个：一个或更多个按钮161、至少一个振动组件164(用于提供触觉反馈)和键盘166。然而，输入/输出模块160不限于前述元件，还可包括其它未示出的元件，诸如，麦克风、扬声器、耳机插孔、鼠标、轨迹球、操纵杆、光标控制(诸如，用于控制触摸屏190上的光标的移动的光标方向键)等。

按钮161可被置于电子装置100的外壳(壳体)的正面、侧面或背面上，并且可至少包括电源/锁定按钮、音量按钮、菜单按钮、主屏幕按钮、回退按钮或搜索按钮。

振动组件164可将电信号转换成机械振动，从而向用户提供触觉反馈。例如，当电子装置100从另一装置接收语音或视频呼叫时，电子装置100可触发振动组件164。振动组件164也可响应于通过触摸屏190的用户输入进行操作。一个或更多个振动电机164可被安装在电子装置100中以按照需要提供不同类型的振动或不同振动量。

键盘166可从用户接收键输入以帮助控制电子装置100。键盘166可包括机械键盘或显示在触摸屏190上的虚拟键盘。根据电子装置100的性能或结构(具体来说，如果期望使用虚拟键盘或使用虚拟键盘有利)，可省略电子装置100的机械键盘。

传感器模块170优选地包括用于检测电子装置100的状态和条件的至少一个传感器。例如，传感器模块170可包括：接近传感器，用于检测用户到电子装置100的接近；照度传感器，用于检测在电子装置100的当前环境中的周围光量；运动传感器，用于检测电子装置100的任意移动(例如，旋转、加速度或应用于电子装置100的振动)；地磁传感器，用于使用磁场来检测方向；重力传感器，用于检测重力作用的方向；高度计，用于通过测量气压来检测电子装置100的高度。传感器模块170可也被考虑为包括用于捕捉图像的图像传感器模块150(虽然没有示出此关系)。当然，可按照需要添加或利用除了前述传感器之外的传感器。

存储器175可被用于存储用于帮助通信模块120、图像传感器模块150、输入/输出模块160、传感器模块170或触摸屏190的操作的信号、程序、指令或数据输入/输出。存储器175可存储用于控制、执行或帮助电子装置100或控制器110的各种特征的控制程序和应用。应理解：术语“存储器”不但指示存储器175，还指示任意其它数据存储器，诸如，在控制器110中的ROM112、RAM113或安装在电子装置100中的存储卡(例如，SD卡、记忆棒)。存储器175也可包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。

存储器175也可存储很多不同的功能应用(诸如，全球定位系统(GPS)应用、游戏、基于时间的闹钟应用等)、关于与应用相关联的图形用户界面(GUI)的图像、与用户信息相关的数据库或数据、文档、用于处理触摸输入的方法、操作电子装置100所需的背景图像(例如，菜单屏幕、待机屏幕等)、操作程序、由图像传感器模块150捕捉的图像或视频等。

存储器175优选为机器可读(即，计算机可读)介质，该机器可读介质可被定义为可接受将数据提供给机器使其能够执行具体功能的介质。存储器175可适当地包括非易失性介质和易失性介质使得电子装置100可读取并执行存储在介质中的指令。

机器可读介质可被实现为例如软盘、柔性磁盘、硬盘、磁带、光盘只读存储器(CD-ROM)、光盘、打孔卡(punch card)、纸带、RAM、可编程ROM(PROM)、可擦除PROM(EPROM)和闪存EPROM。

供电单元180优选地从一个或更多个置于电子装置100的外壳内部的电池向电子装置100供电。供电单元180也可经由例如耦合到电子装置100的充电线缆向电子装置100提供来自外部电源的电力。供电单元180也可使用无线充电技术向电子装置100提供来自外部电源的无线电力。

电子装置100可具有至少一个触摸屏以向用户提供用于控制电子装置100的操作(例如，呼叫、数据通信、广播、摄影等)的GUI功能。触摸屏190可接收由用户的身体部位(例如，手指)做出的至少一个用户输入。触摸可以是单触摸或连续触摸移动，或者任意其它类型的触摸输入。触摸屏190可将与触摸输入的连续移动相应的模拟信号发送到触摸屏控制器195。可以以多种不同的方法(包括但不得以任何方式限制于电容部件、红外部件、声波部件或它们的组合)来实现触摸屏。

在此使用的术语“触摸”不但指示触摸屏190和用户输入部件(诸如，手指)之间的直接接触，还指示非直接接触，诸如，悬停(例如，手指在触摸屏190的上方可检测的距离内，诸如，在1cm内)。距触摸屏190的可检测的距离可根据电子装置100的性能或结构而改变。触摸屏190可针对发生的不同类型的触摸事件输出不同值(例如，模拟电压或电流值)从而区别例如直接触摸事件(在该事件中，用户直接触摸触摸屏190)和悬停触摸事件(在该事件中，用户将输入装置悬停在触摸屏190的上方)。

响应于从触摸屏控制器195接收的用户输入信号，控制器110可触发或激活显示在GUI上的程序或功能。例如，响应于直接触摸事件或显示在触摸屏190上快捷键按钮或对象上方的悬停事件，控制器110可选择或执行快捷键或对象。触摸屏控制器195也可被实现为控制器110的组件功能或核心功能。

触摸屏控制器195可不但确定做出用户输入的位置还可通过检测通过触摸屏190输出的值(例如，当前值)来确定悬停距离，将确定的距离转换成数字信号(例如，z坐标轴)，并将数字信号提供给控制器110。控制器110也可检测通过其它模块(诸如，图像传感器模块150、输入/输出模块160、传感器模块170等)接收的各种用户输入。用户输入可包括输入到电子装置100的不同形式的信息，诸如，触摸、用户手势、语音、瞳孔移动、生命体征等。控制器110可控制响应于用户输入的任意组合来执行电子装置100中的预定的操作或功能。

图2示出根据本发明的实施例的电子装置的示例(智能电话)的正面的透视图，图3示出根据本发明的实施例的电子装置的示例(智能电话)的背面的透视图。现在参照图2和图3，触摸屏190被置于电子装置100的正面101的中心空间位置。触摸屏190可足够大以占据电子装置100的正面101的主要部分。触摸屏190显示示例首要主屏幕。首要主屏幕是当电子装置100被通电时显示在触摸屏190上的第一屏幕。如果电子装置100具有多个主屏幕，则首要主屏幕可简单地被定义为将被显示的预配置的多个主屏幕中的第一主屏幕。在首要主屏幕中，快捷键图标191-1、191-2和191-3可被设置用于访问频繁使用的应用。主菜单键191-4被设置用于访问示出当前安装在电子装置100上的全部应用的菜单。同样地，时间指示符、天气指示符和其它功能指示符可按照用户的期望来显示。

在触摸屏190的底部，可存在安装在电子装置100的主体中的多个物理按钮，包括主屏幕按钮161a、菜单按钮161b和回退按钮161c。

当主屏幕按钮161a被触发时，主屏幕按钮161a可使电子装置100在触摸屏190上显示首要主屏幕。菜单按钮161b提供可在触摸屏190上显示的链接菜单。链接菜单可包括微件添加菜单、背景改变菜单、搜索菜单、编辑菜单、环境设置菜单等。回退按钮161c可被用于显示在当前屏幕之前显示在右边的屏幕，或被用于停止最近使用的应用。

多个传感器可被安装在电子装置100的正面101的最远部分，包括例如第一图像传感器151、照度传感器170a和接近传感器170b。同样地，现在参照图3，多个装置可被安装在电子装置100的背面，包括例如第二图像传感器152、闪光单元153和扬声器163。此外，多个控制器和装置可被安装在电子装置100的边缘，诸如，电源/锁定按钮162d(图2中)、音量按钮161e(图3中)和一个或更多个麦克风162(图3中)。

虽然到目前为止所描述的电子装置100包括两个图像传感器151和152，但是应理解：在本发明的其它实施例中，在电子装置100中可包括多于两个的图像传感器。本发明的实施例也可被应用到将由多于两个或更多的图像传感器拍摄的额外图像组合为单个图像的处理。具体地，从由第一图像传感器151捕捉的图像中选择的图像、从由第二图像传感器152捕捉的图像中选择的图像和从由第三图像传感器捕捉的图像中选择的图像可被组合为单个图像。然而，为了简洁起见，描述在此的实施例将仅包括两个图像传感器151和152。

在本发明的一个实施例中，通过组合分别由第一图像传感器151和第二图像传感器152捕捉的正面图像和背面图像来创建组合的双镜头图像。通过使用电子装置100的第二图像传感器152捕捉期望的图像来获得背面图像。通过使用电子装置100的第一图像传感器151捕捉被摄体来创建正面图像。例如，第一图像传感器151可被配置为捕捉正在持有电子装置100的用户的图像，第二图像传感器152可被配置为捕捉用户当前正在观看的任何事物。

然后，控制器110调节电子装置100的一般操作(包括电子装置100的各种组件)。因此，当产生双镜头图像时，在接收到合适的用户输入时，控制器110可指示第一图像传感器151执行以下操作：捕捉正面图像(在这种情况下，用户的图片)，设置仅包括捕捉的图像的整个像素区域中用户的身体(可以是用户的面部、手部等)的感兴趣的像素区域，然后输出与感兴趣的像素区域相应的图像。控制器110也可指示第二图像传感器152捕捉背面图像(假定某个感兴趣的对象、人或风景画)并输出背面图像。最终，控制器110可将背面图像和来自正面图像的感兴趣的像素区域组合。特别地，第一图像传感器151并非完整地输出整个正面图像，与之相反，仅输出存在与限定的感兴趣的像素区域内的图像，该图像必然小于完整的像素区域内捕捉的正面图像。

如下将提供双镜头模式和最佳镜头模式的简洁描述，该描述将有助于理解本发明。双镜头模式是指使用两个不同的图像传感器来同时或顺序地捕捉两个图像，在双镜头模式中，将两个图像组合为单个图像。最佳镜头模式是指拍摄一系列的照片，基于预定的分类偏好在一系列照片中选择最佳照片，其中，预定的分类偏好确定哪些图像是更期望的。预定的分类偏好可与例如模糊量的各个数值、面部表情、拍摄成分等相应。

参照图4将更详细地描述双镜头模式。图4是将根据本发明的实施例的使用电子装置的两个图像传感器捕捉图像形象化的概要示图。

参照图4，假设：第一图像传感器151和第二图像传感器152同时或具有最小时差来拍摄正面图像和背面图像，用户必须几乎同时地调整两张图片的构图。例如，如果用户期望使用第二图像传感器152捕捉被摄体400，则为了期望的构图，用户必须调整第二图像传感器152的观看角度从而使被摄体400在第二图像传感器152的适当的观看角度内。同时，用户还必须改变他们自己相对于第一图像传感器151的位置以确保适合捕捉期望的用户的面部405的图片。

然而，根据本发明的一个实施例，拍摄双镜头照片从自动识别用户的面部405开始，然后双镜头照片作为实时图像被预览。这能够使用户无需改变他们自己的位置更容易地决定是否拍摄图像。换言之，本发明的该实施例并非从由第一图像传感器151拍摄的静止图像中提取用户的面部并同时将提取的区域与背面图像组合，而是第一图像传感器151可输出包括具有识别出的面部的最小区域的局部图像，并且第二图像传感器152以原始大小输出背面图像。通过将局部图像叠加在背面图像上来创建组合的图像，从而在逐帧基础上提供实时实况预览。因此，在捕捉任意图像之前，用户可通过实况预览屏幕来检查包括他们的面部405的正面图像的构图，其中，在实时预览屏幕中，用户的面部405被跟踪并显示。

根据本发明的一个实施例，第一图像传感器151可根据从ISP156或控制器110接收的控制信号来使第一图像传感器151的全部像素曝光，或仅使第一图像传感器151的全部像素中的感兴趣的区域的像素曝光，并从像素输出的图像数据被输出到ISP156。

因此，本发明同时提供由第一图像传感器151捕捉的第一实时预览图像和由第二图像传感器152捕捉的第二实时预览图像。因此，第一实时预览图像从第一图像传感器151的全部像素中的识别出的面部的部分像素输出。

在双镜头模式下，分别由第一图像传感器151和第二图像传感器152来实时(或具有某个等级的时差)捕捉第一预览图像和第二预览图像，并将第一预览图像和第二预览图像显示在一个屏幕中。用户可分析第一预览图像和第二预览图像以确定何时拍摄双镜头照片。预览图像优选地是可配置的。例如，根据PIP格式，正面图像可被显示在背面图像的上方，或可选地，它们可被配置为将以用户指定的大小的预览图像显示在用户指定的位置。例如，预览屏幕可划分屏幕的特定区域，或者它们中每一个可单独以完整大小被显示。

由第一图像传感器151捕捉的第一预览图像的分辨率可不同于由第二图像传感器152捕捉的第二预览图像的分辨率。例如，来自第二图像传感器152的预览图像的分辨率可比来自第一图像传感器151的预览图像的分辨率高。这可能是一种常见实现方式，因为背面相机的分辨率通常比正面相机(其通常被认为是辅助或补充相机)的分辨率高。在本发明的一些实施例中，控制器110可从正面图像确定并选择用户的面部405，并指示第一图像传感器151输出仅包括用户的面部的局部图像。然后可将局部图像与背面图像组合以形成最终的双镜头图像。由于局部图像必然比完整的正面图像小，因此，局部图像需要较少的由电子装置100的处理，所以这导致在计算和功耗上的急剧减少。

图5是示出根据本发明的实施例的用于实现双镜头图像预览的电子装置的配置的框图。电子装置100可还包括图像信号处理器(ISP)156。ISP156可接收由图像传感器模块150捕捉的实时图像，处理图像以符合期望的视觉特性(大小、质量、分辨率等)，并显示处理的图像。图像的处理可包括例如伽马校正、插值、空间变换、图像效果、图像缩放、自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF)等。触摸屏190显示从ISP156接收的高质量图像。控制器110控制图像传感器模块150和/或ISP156以帮助和调节图像处理的执行。

当需要使用图像传感器151和图像传感器152的应用(例如，相机应用)被触发时，第一图像传感器151由控制器110激活。第一图像传感器151可将包括第一图像传感器151的完整像素范围的图像信号500输出发送到ISP156。然后ISP156可对图像信号500执行信号处理。从ISP156示出的任意和全部的像素信息可被用于在算法上识别用户的一部分(例如，用户的面部、手部等)，因此，所述像素信息被优选地被处理至可容易地进行被摄体部分的检测和识别的程度。也就是说，尽管期望将图像转换为高质量图像以更好地符合触摸屏190的视觉特性，但是如果仅可从低质量图像识别被摄体部分，那么像素信息应被处理至这样的程度以创建低质量图像。

随后，控制器110接收由ISP156处理的像素信息。然后，控制器110优选地从包括图像的像素的完整范围选择一部分来限定感兴趣的像素区域，从而创建被摄体部分(例如，用户的面部405)位于其中心处的预定大小的局部图像。

感兴趣的像素区域被用于创建仅包括期望且识别的被摄体部分(诸如，用户的面部405)的图像，并且在感兴趣的像素区域内的像素的数量必然比捕捉的正面图像中的像素的完整范围的像素的数量少，但是比包括期望的被摄体部分的像素的数量多。例如，感兴趣的像素区域的大小可与最小尺寸的矩形相应，其中，该矩形将用户的面部的图像(根据由控制器110识别的被摄体部分的位置)完整地包围。当然，该矩形将比由第一图像传感器151捕捉的完整的正面图像小，但是比期望的被摄体部分大，这是由于用户的面部被该矩形包围，但是不包括该矩形中的全部的像素。

控制器110优选地分析从ISP156接收的正面图像的像素信息，确定适当的感兴趣的像素区域，有效地选择将被叠加到由第二图像传感器152捕捉的背面图像上的部分正面图像。控制器110通过使用来自处理的正面图像的像素信息识别期望的被摄体部分来确定适当的感兴趣的像素区域。然后，控制器110将感兴趣的像素区域设置为完整地包围期望的被摄体部分的区域。

可在算法上利用例如图像模式算法来识别期望的被摄体部分。控制器100可基于这样已知的模式信息(可包括面部、手部等的图像模式)来设置感兴趣的像素区域。可选地，控制器110可基于很多学习模式算法来识别被摄体部分。

一旦控制器110基于来自接收的像素信息的特征识别出被摄体部分，则控制器110可指示第一图像传感器151基于关于被摄体部分的位置的信息来输出局部图像。然后，第一图像传感器151基于仅与感兴趣的像素区域相应的指示来优选地输出图像信号510。因此，第一图像传感器151可输出从像素的完整范围中的一部分输出的实时预览图像。在本发明的一个实施例中，在识别出被摄体部分之后，控制器110可确定在第一图像传感器151的完整范围的像素区域内是否已经做出被摄体部分的位置的改变，以便通过跟踪被摄体部分来显示实时预览屏幕。如果控制器110确定已经做出了被摄体部分的位置的改变，则控制器110可修改感兴趣的像素区域使得期望的被摄体部分继续存在于局部图像中。其后，控制器110指示第一图像传感器151输出仅包括修改后的感兴趣的像素区域的局部图像510。

然后，可由ISP156接收输出的局部图像。然后，ISP156可通过将局部图像510叠加在背面图像505的上方来创建组合的双镜头图像515。这可自动完成或在由用户的请求时完成。如果相机模式是用于组合正面图像和背面图像的组合模式，则ISP156优选地通过将感兴趣的像素的局部图像510置于背部图像505内的预定位置或用户指定的位置来组合局部图像510和背面图像505。ISP156也可调整将被叠加到背面图像505上的局部图像510的大小。当确定局部图像510的适当大小时，ISP156可考虑背面图像505的大小、存在于背面图像505内的对象和其它类似的因素。局部图像510可被透明地或不透明地叠加到背面图像505上。也就是说，感兴趣的像素的图像510可被叠加使得背面图像505的相应部分不可见(不透明叠加)或透明可见(透明叠加)。因此，控制器110可操作第一图像传感器151和第二图像传感器152实时地、同时地、或具有最小时差地拍摄照片以创建双镜头预览。触摸屏190可显示由ISP156创建的组合的双镜头图像515。当用户期望使用连续捕捉的照片来创建双镜头图像时，也可利用所述方法和设备。在这种情况下，电子装置100可被配置为：首先第二图像传感器152聚焦拍摄被摄体，然后在预定的时间间隔之后，第一图像传感器151聚焦拍摄被摄体(反之亦然)。然后，图像可被自动地叠加以创建双镜头图像。

图6A是根据本发明的实施例的由背面相机捕捉的背面图像的示图，图6B是根据本发明的实施例的由正面相机捕捉的正面图像的示图。一旦用户执行利用图像传感器的应用(诸如，相机应用)，则如图6A中所描述，由第二图像传感器152来捕捉背面图像。如图6B中所描述，还由第一图像传感器151来捕捉正面图像605。然后，该图像605被依次从第一图像传感器151输出到ISP156(相应于从图5输出的图像信号500)。然后，控制器110确定在整个像素图像605内是否检测到面部(当面部是期望的被摄体部分时)。如果检测到面部，则控制器110将具有在其上居中的识别的面部的区域610设置为感兴趣的像素区域，并且区域610足够大到完整地包围期望的被摄体部分(面部)。然后，控制器110将区域610的信息发送到第一图像传感器151。然后，第一图像传感器151将来自区域610的相应像素的信号输出到ISP156，ISP156将区域610的像素的相应局部图像620依次输出到触摸屏190。

图6C是根据本发明的实施例的将组合图6A中的背面图像和图6B中的正面图像的图像预览形象化的示图。然后，ISP156可将局部图像620叠加到背面图像600，以创建合成的双镜头图像预览615。局部图像620具有特定的像素大小(反映确定的感兴趣的像素区域)，其中，被摄体部分(在这种情况下是用户的面部)位于局部图像中心。如果期望，局部图像620也可以以PIP格式被叠加到背面图像600上的预定位置。因此，如图6C中所描述，可在触摸屏190上预览组合的双镜头图像。

在双镜头图像这样预览的情况下，一旦接收到用于捕捉照片的命令，则控制器110可使第二图像传感器152实时拍摄背面图像600,并可使第一图像传感器151拍摄局部图像610。背面图像和局部图像优选地根据预览图像615被组合，然后作为单个静止的双镜头图像被存储在存储器175中。

图7是示出根据本发明的实施例的图像预览方法的流程图。在执行需要捕捉视频的图像的应用时，在步骤700中，控制器优选地激活第一图像传感器151和第二图像传感器152，它们均开始发送像素信息(同时或者具有某个较小的时差)。在步骤705中，控制器110接收优选地为来自第一图像传感器151的完整像素图像的正面图像。在步骤710中，控制器确定正面图像(或第一图像)是否包含被摄体部分(诸如，用户的面部、手部等)。

虽然在本发明的一些实施例中，用户的面部、手部等可被限定为被摄体部分，但是在用户希望在他/她的面部移出焦距的情况下拍摄前景对象(诸如，建筑物)的其它实施例中，可能在第一图像中发现没有被摄体部分。因此，如果在第一图像中没有发现被摄体，则控制器100可在第一图像中搜索建筑物、物品和/或对象的特征，并将分布那些特征的区域设置为已经提前学习的对象的区域。因此，在步骤720中，控制器110可以以预定的大小输出包括已经被提取学习的对象(即，训练对象)的第三图像(即，局部图像)。因此，训练对象的图像(诸如，建筑物、动物、物品等)可被用于指定感兴趣的像素区域。关于训练对象的信息可被存储在数据库中，或电子装置100的存储器175中，并且感兴趣的像素区域可被设置为完整地包围训练对象的像素区域。

另一方面，如果在第一图像中确实发现了被摄体部分，那么在步骤715中，感兴趣的像素区域可被设置为完整地包围被摄体部分所需的最小像素区域(在其中具有居中的被摄体部分)，并且控制器110优选地输出第三图像(即，局部图像620或510)。在步骤725中，控制器110优选地通过将第三图像叠加到由第二图像传感器捕捉的背面图像上来组合背面图像和第三图像，然后将组合的双镜头图像预览显示在触摸屏190上。

根据本发明的一个实施例，用户可预览包括局部图像的双镜头图像，其中，所述局部区域仅包括被摄体部分(用户的身体)而非由第一输入传感器捕捉的完整的正面图像。同时，用户可预览从第二图像传感器接收的背面图像。将局部图像与背面图像进行叠加以实时创建双镜头图像预览。在双镜头图像预览被显示在屏幕上的情况下，用户可安排照片的构图，并在完成期望的构图时捕捉双镜头图像。

第一图像传感器和第二图像传感器也可被分别称作“正面图像传感器”和“背面图像传感器”，或“正面相机”和“背面相机”。

虽然在此使用触摸屏190来描述示例性显示单元，但是没有触摸检测功能的标准显示器可代替触摸屏190被使用。

根据本发明的一些实施例，电子装置试图拍摄用户和目标被摄体的照片，由电子装置的图像传感器模块获得的用户的图像被调整为仅包括用户的面部的局部图像。其后图像传感器模块可输出与包围用户的面部的区域相应的局部图像，这样电子装置可输出双镜头预览屏幕，在双镜头预览屏幕中，局部图像被叠加到目标被摄体的图像的顶部。

局部图像比整个正面图像小，但是它被特别指定为包括期望的用户的被摄体部分的区域。由于局部图像必然比完整的正面图像小，所以这减少了执行图像处理上的计算需求和功耗。

根据本发明的一些实施例，通过实时地将与正面图像中的选择的区域相应的局部图像(包括期望的用户的被摄体部分)叠加到背面图像的上方来创建双镜头预览。因此，使用预览捕捉的任何产生的双镜头图像可具有更愉悦的构图。

此外，根据本发明的一些实施例，用户可通过使用双镜头预览屏幕来捕捉双镜头图像，在该预览屏幕中，用户的面部的图像被叠加在具有期望的被摄体或场景的背面图像上，预览屏幕能够创建更好的摄影构图。

本公开的上述实施例可在硬件、固件中被实现，或者经由可被存储在记录介质中的软件或计算机代码的执行来实现(诸如，CD ROM、数字通用光盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘)，或者可通过网络下载的计算机代码实现(其中，所述计算机代码初始存储在远程记录介质上或非暂时性机器可读介质并将被存储在本地记录介质上)，使得描述在此的方法可使用通用计算机或专用处理器在被存储在记录介质上的软件中被实现，或者在可编程硬件或专用硬件(诸如ASIC或FPGA)中被实现。如本领域中所理解：计算机、处理器、微处理器控制器或可编程硬件包括存储器组件(例如，RAM、ROM、闪存等)，其中，所述存储器组件可存储或接收软件或计算机代码，其中，所述软件或计算机代码在被计算机、处理器或硬件访问并执行时将实现描述在此的处理方法。此外，应认识到：当通用计算机访问用于实现在此示出的所述处理的代码时，所述代码的执行将通用计算机转变为用于执行在此示出的所述处理的专用计算机。在附图中提供的任意功能和步骤可在硬件、软件或它们的组合来实现，并且所述功能和步骤可在计算机的编程的指令内完全或部分地被执行。

在此的功能和处理步骤可响应于用户命令被自动地或完全地或部分地被执行。自动执行的活动(包括步骤)响应于可执行指令或装置操作执行，不需要用户指示活动的开始。

在此指示的术语“单元”或“模块”被理解为包括针对特定期望的功能被配置的硬件(诸如，处理器或微处理器)，或包括机器可执行代码的非暂时性介质。

电子装置可从有线/无线地连接的程序提供器接收程序并存储程序。程序提供器可包括用于存储具有用于执行本发明的实施例的指令的程序、用于存储本发明的实施例所需的信息的存储器、用于有线/无线地与电子装置通信的通信单元和用于在请求时或自动地将程序发送到电子装置的控制器。

虽然连同例如移动通信终端已经描述了多个实施例，但是本领域普通技术人员将理解并领会：在不脱离本发明的范围的情况下可作出各种修改。因此，本领域普通技术人员将清楚：本发明不限于描述的实施例，提供所述实施例仅为了说明目的。

Claims (15)

1.一种用于预览双镜头图像的电子装置，其特征在于：

显示屏；

第一图像传感器，被配置为捕捉正面图像；

第二图像传感器，被配置为捕捉背面图像；

图像信号处理器，被配置为对由第一图像传感器和第二图像传感器捕捉的图像执行图像处理；

控制器，被配置为：

基于正面图像内的被摄体部分的算法识别来设置感兴趣的像素的区域，其中，感兴趣的像素的区域包围被摄体部分，

基于设置的感兴趣的像素的区域，从第一图像传感器输出局部图像，

使用图像信号处理器通过将局部图像叠加在背面图像上来创建组合的图像，

在显示屏上显示组合的图像。

2.如权利要求1所述的电子装置，其特征在于：控制器被配置为基于面部识别算法确定被摄体部分是否存在于正面图像中，并且当确定被摄体部分存在于正面图像中时，将包括被摄体部分的正面图像中的一部分设置为感兴趣的像素的区域。

3.如权利要求1所述的电子装置，其特征在于：图像信号处理器被配置为通过以画中画格式将局部图像置于背面图像的预定位置来创建组合的图像。

4.如权利要求1所述的电子装置，其特征在于：包括感兴趣的像素的区域的局部图像在大小上比正面图像小。

5.如权利要求1所述的电子装置，其特征在于：第一图像传感器被配置为基于关于感兴趣的像素的区域的信息将局部图像发送到图像信号处理器。

6.如权利要求1所述的电子装置，其特征在于：控制器被配置为控制从第一图像传感器实时捕捉正面图像和局部图像并且从第二图像传感器实时捕捉背面图像以在显示屏中进行预览。

7.如权利要求1所述的电子装置，其特征在于：控制器在组合的图像在显示屏上被预览时，控制第一图像传感器实时地从第一图像传感器捕捉局部图像，控制第二图像传感器实时地从第二图像传感器捕捉背面图像，并存储组合的图像。

8.如权利要求1所述的电子装置，其特征在于：控制器被配置为确定在由第一图像传感器捕捉的第一正面图像和随后的正面图像之间被摄体部分的位置是否存在改变；

在确定存在改变时，基于在随后的正面图像内的被摄体部分的算法识别来重设感兴趣的像素的区域；

基于重设的感兴趣的像素的区域，从第一图像传感器输出局部图像。

9.一种用于预览双镜头图像的方法，其特征在于：

使用处理器在算法上识别由第一图像传感器捕捉的正面图像中的被摄体部分；

基于在正面图像中识别的被摄体部分来设置感兴趣的像素的区域，其中，感兴趣的像素的区域包围被摄体部分；

基于设置的感兴趣的像素的区域来指示第一图像传感器输出局部图像；

通过将局部图像叠加在从第二图像传感器输出的背面图像上来创建组合的图像；

通过将组合的图像显示在显示屏上来预览组合的图像。

10.如权利要求9所述的方法，其特征在于：包括感兴趣的像素的区域的局部图像在大小上比正面图像小。

11.如权利要求9所述的方法，其特征在于：设置感兴趣的像素的区域的步骤包括：

基于面部识别算法确定被摄体部分是否存在于正面图像中；

当确定被摄体部分存在时，将包括被摄体部分的正面图像中的某部分设置为感兴趣的像素的区域。

12.如权利要求11所述的方法，其特征在于：组合的图像包括以画中画格式叠加在背面图像的预定位置的局部图像。

13.如权利要求9所述的方法，其特征在于：正面图像和局部图像由第一图像传感器实时捕捉并且背面图像由第二图像传感器实时捕捉，以进行预览。

14.如权利要求9所述的方法，其特征还在于：

从第一图像传感器实时捕捉局部图像并从第二图像传感器实时捕捉背面图像；

存储组合的图像。

15.如权利要求9所述的方法，其特征还在于：

确定在由第一图像传感器捕捉的正面图像和随后的正面图像之间被摄体部分的位置是否存在改变；

在确定存在改变时，基于在随后的正面图像内的被摄体部分的算法识别来重设感兴趣的像素的区域；

基于重设的感兴趣的像素的区域，从第一图像传感器输出局部图像。