CN107105130B - 电子设备及其操作方法 - Google Patents

Abstract

提供了一种电子设备及其操作方法。电子设备包括相机模块、存储器模块、和可操作地与所述相机模块和存储器模块耦合的处理器。所述处理器通过相机模块获取图像，基于获取的图像提取距离信息，基于提取的距离信息来确定用于物体的图像处理技术，将所确定的图像处理技术应用在获取的图像以生成新的图像，以及显示所述新的图像。

Description

电子设备及其操作方法

技术领域

本公开一般涉及能够处理图像的电子设备以其操作方法。

背景技术

随着数字技术的发展，电子设备可以用于各种类型，诸如移动通信终端、智能电话、平板个人计算机(PC)、个人数字助理(PDA)、电子记事簿、笔记本计算机、可穿戴设备等等。电子设备正逐渐达到甚至包含其它设备的功能的移动融合水平。电子设备能够包括相机模块。电子设备能够通过相机模块拍摄物体图像，并且能够将所拍摄的图像存储到或者发送到外部的另一电子设备。

当处理拍摄的图像时，电子设备可以设置通过菜单等等提前准备的图像处理功能，并且应用所设置的图像处理功能，从而处理通过相机模块获取的图像。例如，在电子设备使用图像滤波器的情况下，用户能够预先设置所述图像滤波器，并且电子设备能够将所设置的图像滤波器的功能应用在通过相机模块获取的图像，从而处理所述图像。

发明内容

根据本公开的各种示例实施例的电子设备能够提供能够执行以下操作的装置和方法：从所获取的图像数据提取距离信息，基于提取的距离信息自动地确定图像处理技术，以及将所确定的图像处理技术应用在获取的图像，从而生成新的图像。

根据本公开的各种示例实施例的电子设备能够提供能够执行以下操作的装置和方法：从通过图像传感器获取的图像数据提取距离信息，基于提取的距离信息自动地确定图像滤波器，以及将所确定的图像滤波器应用在获取的图像，从而生成新的图像。

根据本公开的各种示例实施例的电子设备能够提供能够执行以下操作的装置和方法：提取通过图像传感器生成的图像数据的轮廓线，以识别物体的配置信息；基于所述配置信息来设置图像滤波器；以及将所述图像滤波器应用在图像数据，从而生成新的图像。

根据本公开的各种示例实施例的电子设备能够包括相机模块、存储器模块、以及可操作地与相机模块和存储器模块耦合的处理器。所述处理器能够通过相机模块获取图像数据，基于获取的图像数据提取距离信息，基于提取的距离信息确定用于物体的图像处理技术，将所确定的图像处理技术应用在获取的图像数据，并且显示所应用的图像数据。

用于在根据本公开的各种示例实施例的电子设备中进行操作的方法能够包括以下操作：通过图像传感器获取图像数据；从获取的图像数据提取距离信息；基于提取的距离信息确定用于物体的图像处理技术；将所确定的图像处理技术应用在获取的图像数据以生成新的图像；以及显示所述新的图像。

附图说明

从以下结合附图的详细描述，本公开的这些和其它方面、特征和伴随优点将被更加容易地领悟和理解，其中，相似的参考标号指代相似的元素，并且其中：

图1是示出根据各种示例实施例的示例网络环境系统的示图；

图2是示出根据各种示例实施例的示例电子设备的框图；

图3是示出根据各种示例实施例的示例程序模块的框图；

图4是示出根据本公开的各种示例实施例的示例电子设备的框图；

图5是示出用于在根据本公开的各种示例实施例的电子设备中处理获取的图像和生成新的图像的示例装置的框图；

图6A、图6B、图6C、图6D和图6E是示出根据本公开的各种示例实施例的示例图像滤波器的示图；

图7是示出根据本公开的各种示例实施例的示例图像传感器的示图。

图8是示出根据本公开的示例实施例的图像传感器的示例像素阵列的示图；

图9A、图9B和图9C是示出根据本公开的各种示例实施例的示例图像传感器的单位像素和子像素的示例结构的示图；

图10A和图10B是示出根据本公开的各种示例实施例的图像传感器的单位像素和子像素的示例的示图；

图11A和图11B是示出包括上表面相位差传感器的图像传感器的示例操作的示图；

图12A和图12B是扩展和示出根据本公开的示例实施例的示例图像传感器的一个部分的区的示图；

图13A和图13B是示出在根据本公开的各种示例实施例的电子设备中显示获取的图像和距离信息的示例的示图；

图14A、图14B、图14C、和图14D是示出根据本公开的各种示例实施例的电子设备的图像处理的示例的示图；

图15是示出根据本公开的各种示例实施例的示例图像处理设备的框图；以及

图16是示出根据本公开的各种示例实施例的在电子设备中处理图像的示例方法的流程图。

具体实施方式

参考附图更详细地描述本公开的各种示例实施例。相同的或者相似的组件可以由相同的或者相似的参考标号指定，虽然它们被示出在不同的附图中。本领域熟知的结构或者过程的详细描述可以被省略，以避免模糊本公开的主题。这里使用的术语是考虑到本公开的功能来定义的，并且可以根据用户的或者运营商的意图和用途而变化。因此，这里使用的术语应该被基于这里做出的描述来理解。将理解，单数形式“一”和“该”包括复数的指示物，除非上下文清楚地另外指示。在本公开中，诸如“A或者B”、“A和B中的至少一个”、或者A和B中的一个或多个”的表达可以包括所列出的项目的全部可能的组合。诸如这里所使用的“第一”、“第二”、“主要”、或者“次要”的表达可以代表各种元素，而不管次序和/或重要性，并且不限制相应的元素。所述表达可以用于将一个元素与另一元素区分开。当描述元素(诸如第一元素)“(可操作地或者可通信地)耦合”到或者“连接”到另一元素(诸如第二元素)时，所述元素可以直接连接到所述另一元素，或者可以通过又一元素(诸如第三元素)连接。

在本公开中使用的表达“被配置(或者设置)为”可以根据情形与例如“适于”、“具有...的能力”、“被设计为”、“被适配为”、“被使得”或者“能够”可互换地使用。术语“被配置(或者设置)为”不仅仅指代通过硬件“被专门设计为”。在某些情形下，表达“被配置为...的装置”可以指代装置“能够”与另一装置或者组件一起操作的情形。例如，短语“被配置(或者设置)为执行A、B、和C的处理器”可以是专用处理器、能够通过运行存储在用于执行相应的操作的独占处理器(例如，嵌入式处理器)处或者存储器设备处的至少一个软件程序来执行相应的操作的通用处理器(诸如，中央处理单元(CPU)或者应用处理器)。

根据本公开的各种示例实施例的电子设备可以具体实现为，例如，以下各项中的至少一个，但是不限于此：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG3(MP3)播放器、医疗设备、相机、和可穿戴设备等等。可穿戴设备能够包括以下各项中的至少一个：配件类型(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜、或者头戴式设备(HMD))、织物或者衣物嵌入类型(例如，电子服装)、身体可附接类型(例如，护皮垫或者纹身)、和可植入电路等等，但是不限于此。电子设备可以具体实现为以下各项中的至少一个，例如：电视机、数字多功能盘(DVD)、音频设备、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、媒体盒(例如，三星HomeSync^TM、苹果TV^TM、或者谷歌TV^TM)、游戏控制台(例如，Xbox^TM、PlayStation^TM)、电子词典、电子钥匙、摄像录像机、和电子相框等等，但是不限于此。

在另一示例实施例中，电子设备可以具体实现为以下各项中的至少一个：各种医疗设备(诸如，各种便携式医疗测量设备(血糖测量设备、心跳测量设备、血压测量设备、或者体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、扫描机、和超声波设备)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、用于轮船的电子设备(诸如，用于轮船的导航设备、和陀螺仪指南针)、航空电子设备、安全设备、用于车辆的头部单元、工业或者家庭机器人、无人机、金融机构的自动柜员机(ATM)、商店的销售点(POS)设备、和物联网(IoT)设备(例如，灯泡、各种传感器、洒水器设备、火灾警报器、恒温器、路灯、烤面包机、运动装备、热水箱、加热器、和锅炉)等等，但是不限于此。

根据示例实施例，电子设备可以具体实现为以下各项中的至少一个：家具、建筑/结构或者车辆的一部分；电子板；电子签名接收设备、投影仪、和各种测量设备(例如，供水、电、燃气、或者电波测量设备)等等，但是不限于此。根据示例实施例，电子设备可以是柔性电子设备或者前述各种设备中的两个或更多个的组合。根据本公开的示例实施例，电子设备不限于前述设备，可以具体实现为最新研发的电子设备。如这里所使用的术语“用户”能够指代使用电子设备的人或者使用电子设备的设备(例如，人工智能电子设备)。

首先参考图1，电子设备101驻留在网络环境100中。电子设备101能够包括总线110、处理器(例如，包括处理电路)120、存储器130、输入/输出接口(例如，包括输入/输出电路)150、显示器160、和通信接口(例如，包括接口电路)170。电子设备101可以不具有所述组件中的至少一个，或者可以包括至少一个另外的组件。

总线110能够包括用于连接组件120到170和在所述组件之间递送通信信号(例如，控制消息或者数据)的电路。

处理器120能够包括各种处理电路，诸如，例如，并且不限于，专用处理器、CPU、应用处理器、和通信处理器(CP)等等中的一个或多个。处理器120能够，例如，针对电子设备101的至少另一组件的控制和/或通信执行操作或者数据处理。

存储器130能够包括易失性和/或非易失性存储器。存储器130能够，例如，存储与电子设备101的至少另一组件有关的命令或者数据。根据实施例，存储器130能够存储软件和/或程序140。程序140能够包括，例如，内核141、中间件143、应用编程接口(API)145、和/或应用程序(或者“应用”)147。内核141、中间件143、或者API 145的至少一部分可以被称为操作系统(OS)。内核141能够控制或者管理用于执行由其它程序(例如，中间件143、API145、或者应用程序147)实施的操作或者功能的系统资源(例如，总线110、处理器120、或者存储器130)。此外，内核141能够提供用于通过从中间件143、API 145、或者应用程序147访问电子设备101的单个组件来控制或者管理系统资源的接口。

中间件143能够，例如，担当用于通过通信在API 145或者应用程序147和内核141之间交换数据的中介角色。此外，中间件143能够基于从应用程序147接收的一个或多个作业请求的优先级来处理所述一个或多个作业请求。例如，中间件143能够为应用程序147中的至少一个分配用于使用电子设备101的系统资源(例如，总线110、处理器120、或者存储器130)的优先级，并且处理所述一个或多个作业请求。API 145，作为应用147通过其来控制从内核141或者中间件143提供的功能的接口，能够包括，例如，用于文件控制、窗口控制、图像处理、或者字符控制的至少一个接口或功能(例如，指令)。输入/输出接口150，例如，能够将从用户或者另一外部设备输入的命令或者数据递送到电子设备101的(多个)其它组件，或者将从电子设备101的(多个)其它组件输入的命令或者数据输出到用户或者另一外部设备。

显示器160，例如，能够包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器、或者电子纸显示器等等，但是不限于此。显示器160，例如，能够向用户显示各种内容(例如，文本、图像、视频、图标、和/或符号)。显示器160能够包括例如触摸屏，并且接收利用电子笔或者用户的身体部分的触摸输入、手势输入、接近输入、或者悬停输入。

通信接口170能够，例如，设置电子设备101和外部设备(例如，第一外部电子设备102、第二外部电子设备104、或者服务器106)之间的通信。例如，通信接口170能够通过无线通信或者有线通信通过网络162与外部设备(例如，第二外部电子设备104或者服务器106)通信。

无线通信，例如，能够包括使用长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、或者全球移动通信系统(GSM)中的至少一个的蜂窝通信。无线通信164能够包括，例如，无线保真(WiFi)、蓝牙、蓝牙低功耗(BLE)、Zigbee、近场通信(NFC)、磁安全传输、射频(RF)、和体域网(BAN)中的至少一个。无线通信能够包括GNSS。GNSS能够包括，例如，全球定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗导航卫星系统(北斗)、或者伽利略(欧洲全球卫星导航系统)。在下文中，GPS可以与GNSS互换地使用。有线通信，例如，能够包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信、和普通老式电话服务(POTS)中的至少一个。网络162能够包括电信网络，例如，计算机网络(例如，LAN或者WAN)、互联网、和电话网络中的至少一个。

第一外部电子设备102和第二外部电子设备104中的每一个可以具有与电子设备101的类型相同的类型或者不同的类型。根据本公开的实施例，在电子设备101中运行的操作中的全部或者一部分可以由另一电子设备或者多个电子设备(例如，电子设备102或者104、或者服务器106)运行。为了自动地或者根据请求来执行功能或者服务，而不是由电子设备101执行所述功能或者服务，电子设备101能够从另一设备(例如，电子设备102或者104、或者服务器106)请求与电子设备101有关的功能的至少一部分。所述另一电子设备(例如，电子设备102或者104、或者服务器106)能够执行所请求的功能或者额外功能，并且将它的结果传送到电子设备101。电子设备101能够通过处理接收到的结果来提供所请求的功能或者服务。在这样做时，例如，云计算、分布式计算、或者客户端-服务器计算技术可以被使用。

图2是示出根据本公开的示例实施例的示例电子设备201的框图。

电子设备201，例如，能够包括上述的图1的电子设备101的全部或者一部分。电子设备201包括一个或多个处理器(例如，AP)(例如，包括处理电路)210、通信模块(例如，包括通信电路)220、用户识别模块(SIM)224、存储器230、传感器模块240、输入设备(例如，包括输入电路)250、显示器260、接口(例如，包括接口电路)270、音频模块280、相机模块291、电力管理模块295、电池296、指示器297、和马达298。

处理器210，例如，可以包括各种处理电路并且能够控制连接到处理器210的多个硬件或者软件组件，并且还能够通过运行OS或者应用程序来执行各种数据处理和操作。处理器210可以，例如，利用片上系统(SoC)来实施。处理器210还能够包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2中所示的组件中的至少一部分(例如，蜂窝模块221)。处理器210能够将从至少一个其它组件(例如，非易失性存储器)接收的命令或者数据加载到易失性存储器中，处理它们，并且在非易失性存储器中存储各种数据。

通信模块220能够具有与图1的通信接口170相同的或者相似的配置。通信模块220可以包括各种通信电路，诸如，例如，并且不限于，蜂窝模块221、WiFi模块223、蓝牙(BT)模块225、GNSS模块227、NFC模块228、和RF模块229。蜂窝模块221，例如，能够通过通信网络提供语音呼叫、视频呼叫、短消息服务(SMS)、或者互联网服务。蜂窝模块221能够通过使用SIM(例如，SIM卡)224来识别和认证通信网络中的电子设备201。蜂窝模块221能够执行处理器210提供的功能的至少一部分。蜂窝模块221还能够包括CP。蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227、和NFC模块228中的至少一些(例如，两个或更多个)可以包括在一个集成电路(IC)或者IC封装中。RF模块229，例如，能够发送/接收通信信号(例如，RF信号)。RF模块229，例如，能够包括收发器、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)、或者天线。根据另一实施例，蜂窝模块221、WiFi模块223、BT模块225、GNSS模块227、和NFC模块228中的至少一个能够通过额外的RF模块来发送/接收RF信号。SIM 224，例如，能够包括卡(该卡包括SIM或者嵌入式SIM)，并且还能够包含唯一标识信息(例如，集成电路卡标识符(ICCID))或者用户信息(例如，国际移动用户识别码(IMSI))。

存储器230(例如，存储器130)能够包括内部存储器232和/或外部存储器234中的至少一个。内部存储器232能够包括，例如，易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、或者同步动态RAM(SDRAM))、和非易失性存储器(例如，一次可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、快闪ROM、快闪存储器、硬盘驱动器、和固态驱动器(SSD))中的至少一个。外部存储器234能够包括闪存驱动器，例如，紧凑式闪存(CF)、安全数字(SD)、微型SD、迷你SD、极限数字(xD)、多媒体卡(MMC)、或者记忆棒。外部存储器234可以通过各种接口在功能上或者物理地连接到电子设备201。

传感器模块240能够，例如，测量物理量或者检测电子设备201的操作状态，并且从而将测量到的或者检测到的信息转换为电信号。传感器模块240能够包括手势传感器240A、陀螺仪传感器240B、大气压传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红绿蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、亮度(例如，光)传感器240K、和紫外线(UV)传感器240M中的至少一个。额外地或者替换性地，传感器模块240能够包括电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还能够包括用于控制传感器模块240中的至少一个传感器的控制电路。电子设备还能够作为处理器210的一部分或者单独地包括被配置为控制传感器模块240的处理器，并且因此在处理器210休眠的同时控制传感器模块240。

输入设备250能够包括各种输入电路，诸如，例如，但是不限于，触摸板252、(数字)笔传感器254、按键256、和超声输入设备258中的至少一个。触摸板252能够使用电容式、电阻式、红外、和超声波方法中的至少一个。此外，触摸板252还能够包括控制电路。触摸板252还能够包括触觉层以便向用户提供触觉响应。(数字)笔传感器254能够包括，例如，触摸板的一部分或者用于识别的薄片。按键256能够包括，例如，物理按钮、触摸按键、光学按键、或者小键盘。超声输入设备258能够通过麦克风288检测来自输入部件的超声波，并且检查与检测到的超声波相对应的数据。

显示器260(例如，显示器160)能够包括面板262、全息设备264、投影仪266、和/或用于控制它们的控制电路中的至少一个。面板262可以被实施为柔性的、透明的、或者可穿戴的，例如。面板262和触摸板252可以配置有一个或多个模块。面板262能够包括用于测量用户触摸的压力的压力传感器(或者力传感器)。压力传感器可以与触摸板252集成，或者与触摸板252分离地包括一个或多个传感器。全息设备264能够通过使用光的干涉在空中显示三维图像。投影仪266能够通过在屏幕上投射光来显示图像。所述屏幕可以，例如，放置在电子设备201内部或者外部。

接口270能够包括各种接口电路，诸如，例如，并且不限于，HDMI 272、USB 274、光学接口276、或者D-超小型接口(D-sub)278。接口270可以被包括在，例如，图1的通信接口170中。额外地或者替换性地，接口270能够包括移动高清链接(MHL)接口、SD卡/MMC接口、或者红外数据协会(IrDA)标准接口。

音频模块280，例如，能够将声音转换为电信号并且将电信号转换为声音。音频模块280的至少一些组件可以被包括在，例如，图1的输入/输出接口150中。音频模块280能够处理通过扬声器282、接收器284、耳机286、或者麦克风288输入或者输出的声音信息。相机模块291，作为用于捕获静止图像和视频的设备，能够包括一个或多个图像传感器(例如，前传感器或者后传感器)、镜头、图像信号处理器(ISP)、或者闪光灯(例如，LED或者氙灯)。电力管理模块295，例如，能够管理电子设备201的电力。根据本公开的实施例，电力管理模块295能够包括电力管理IC(PMIC)、充电器IC、或者电池或燃料量表，例如。PMIC能够具有有线和/或无线充电方法。无线充电方法能够包括，例如，磁共振方法、磁感应方法、或者电磁方法，并且还能够包括用于无线充电的附加电路，例如，线圈回路、谐振电路、或者整流器电路。电池量表能够测量电池296的剩余容量、或者充电期间电池296的电压、电流、或温度。电池296能够包括，例如，可充电电池和/或太阳能电池。

指示器297能够显示电子设备201或者它的一部分(例如，处理器210)的特定状态，例如，启动状态、消息状态、或者充电状态。马达298能够将电信号转换为机械振动，并且生成振动或者触觉效果。电子设备201能够包括用于根据诸如数字多媒体广播(DMB)、数字视频广播(DVB)、或者MediaFLOW^TM的标准来处理媒体数据的移动TV支持设备(例如，GPU)。电子设备的上述组件中的每一个可以配置有至少一个组件，并且相应组件的名称能够根据电子设备的种类而变化。根据本公开的实施例，电子设备(例如，电子设备201)可以被配置为包括上述组件中的至少一个或者另外的组件，或者不包括上述组件中的一些。此外，电子设备中的组件中的一些被配置为一个实体，从而先前的相应的组件的功能被相同地执行。

图3是示出根据本公开的实施例的示例程序模块的框图。程序模块310(例如，程序140)能够包括用于控制与电子设备(例如，电子设备101)有关的资源的OS、和/或在所述OS上运行的各种应用(例如，应用程序147)。所述OS能够包括，例如，Android^TM、iOS^TM、Windows^TM、Symbian^TM、Tizen^TM、或者Bada^TM。参考图3，程序模块310能够包括内核320(例如，内核141)、中间件330(例如，中间件143)、API 360(例如，API 145)、和/或应用370(例如，应用程序147)。程序模块310的至少一部分可以被预加载在电子设备上，或者可以从外部电子设备(例如，电子设备102、104、或者服务器106)下载。

内核320包括，例如，系统资源管理器321和/或设备驱动器323中的至少一个。系统资源管理器321能够控制、分配、或者取回系统资源。根据实施例，系统资源管理器321能够包括进程管理单元、存储器管理单元、或者文件系统管理单元。设备驱动器323能够包括，例如，显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、小键盘驱动器、WiFi驱动器、音频驱动器、或者进程间通信(IPC)驱动器。

中间件330，例如，能够提供应用370通常要求的功能，或者能够通过API 360向应用370提供各种功能，以便允许应用370高效地使用电子设备内部的有限的系统资源。中间件330包括以下各项中的至少一个：运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电力管理器345、数据库管理器346、封包管理器347、连接性管理器348、通知管理器349、位置管理器350、图形管理器351、和安全性管理器352。

运行时库335能够包括，例如，被编译器用来在应用370运行的同时通过编程语言添加新功能的库模块。运行时库335能够管理输入/输出，管理存储器，或者运算功能处理。应用管理器341，例如，能够管理应用370的生命周期。窗口管理器342能够管理在屏幕中使用的GUI资源。多媒体管理器343能够识别用于播放各种媒体文件的格式，并且通过使用相应格式的编解码器来编码或者解码媒体文件。资源管理器344能够管理应用3740的源代码或者存储器空间。电力管理器345能够管理电池的容量或者电力，并且提供用于电子设备的操作的电力信息。电力管理器345能够与基本输入/输出系统(BIOS)一起操作。数据库管理器346能够创建、搜索、或者修改在应用370中使用的数据库。封包管理器347能够管理以封包文件格式分布的应用的安装或者更新。

连接性管理器348能够管理，例如，无线连接。通知管理器349能够向用户提供事件，诸如传入消息、约会、和接近警告。位置管理器350能够管理电子设备的位置信息。图形管理器351能够管理将被提供给用户的图形效果或者与所述图形效果有关的用户接口。安全性管理器352能够提供，例如，系统安全性或者用户认证。中间件330能够包括用于管理电子设备的语音或者视频呼叫功能的电话管理器、或者用于组合上述组件的各种功能的中间件模块。中间件330能够提供专用于每个类型的OS的模块。中间件330能够动态地删除现有组件中的一部分或者添加新的组件。作为API编程功能的集合的API 360可以根据OS作为另一配置被提供。例如，Android或者iOS能够为每个平台提供一个API集合，并且Tizen能够为每个平台提供两个或更多个API集合。

应用370能够包括以下各项中的至少一个：主页(home)371、拨号器372、SMS/多媒体消息系统(MMS)373、即时消息(IM)374、浏览器375、相机376、警报377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、唱片集383、时钟384、健康护理(例如，测量运动量或者血糖水平)、或者环境信息(例如，空气压力、湿度、或者温度信息)提供应用。应用370能够包括用于支持电子设备和外部电子设备之间的信息交换的信息交换应用。信息交换应用能够包括，例如，用于将特定信息中继到外部设备的通知中继应用或者用于管理外部电子设备的设备管理应用。例如，通知中继应用能够将通知信息从电子设备的另一应用中继到外部电子设备，或者从外部电子设备接收通知信息并将其转发到用户。设备管理应用，例如，能够安装、删除、或者更新与电子设备通信的外部电子设备的功能(例如，开启/关闭外部电子设备自身(或者一些组件)或者显示亮度(或者分辨率)调整)、或者在外部电子设备中操作的应用。应用370能够根据外部电子设备的属性而包括指定的应用(例如，移动医疗设备的健康护理应用)。应用370能够包括从外部电子设备接收的应用。程序模块310的至少一部分可以利用软件、固件、硬件(例如，处理器210)、或者它们中的至少两个的组合来实施(例如，运行)，并且包括模块、程序、例程、指令集、或者用于运行一个或多个功能的进程。

在本公开中使用的术语“模块”包括单元，该单元包括硬件、软件、或者固件、或者它们的任何组合，并且所述“模块”可以与诸如单元、逻辑、逻辑块、组件、电路等等的术语互换地使用。所述“模块”可以是一体地构造的组件或者最小单元、或者它们的用于执行一个或多个功能的一个部分。所述“模块”可以机械地或者电气地实施，并且可以包括，例如，但不限于，熟知的或者将被研发以执行某些操作的专用进程、CPU、专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、或者可编程逻辑器件。

根据各种示例实施例的装置(例如，它的模块或者功能)或者方法(例如，操作)的至少一部分可以利用存储在计算机可读存储介质(例如，存储器130)中的指令来实施。如果所述指令将被一个或多个处理器(例如，处理器120)运行，则所述一个或多个处理器可以执行与所述指令相对应的功能。计算机可读存储介质可以包括硬盘、软盘、磁性介质(例如，磁带)、光学介质(例如，致密盘-ROM(CD-ROM)、数字多功能盘(DVD)、磁光介质(例如，软盘))、内部存储器等等。所述指令可以包括由编译器创建的代码或者可由解释器运行的代码。

根据各种示例实施例的模块或者编程模块还可以包括上述元素当中的至少一个或者更多个元素，或者可以省略它们中的一些，或者还可以包括额外的其它元素。由模块、编程模块、或者其它元素执行的操作可以以顺序的、并行的、重复的、或者探索的方式来运行。此外，所述操作中的一些可以以不同的顺序来运行，或者可以被省略，或者其它操作可以被添加。

在本公开的各种示例实施例中，术语“图像信息”可以，例如，被用作包括从图像传感器输出的图像数据以及电子设备和物体之间的距离信息的术语。“图像数据”可以包括，例如，在图像传感器中生成的彩色图像。“距离信息”可以包括，例如，在图像传感器中生成的在物体和电子设备之间的距离信息。可以例如通过图像传感器的像素之间的相位差信息来生成距离信息。例如，2光电检测器(2-PD)图像传感器或者4-PD图像传感器能够通过子像素之间的相位差来确定距离信息。包括上表面相位差传感器的图像传感器能够基于上表面相位差传感器的输出来确定距离信息。所述“图像信息”可以包括，例如，“三维(3D)信息”。“配置信息”可以包括，例如，可以基于图像中包括的物体的深度图(depth map)来估计的信息。配置信息能够包括图像内的物体范围和/或物体位置信息。配置信息还能够包括电子设备的拍摄姿势信息。“新图像”可以包括，例如，通过对获取的图像应用可以自动地设置在电子设备中的图像处理技术而生成的图像。所述图像处理技术可以包括，例如，图像滤波方法。

图4是示出根据本公开的各种示例实施例的示例电子设备的框图。

参考图4，电子设备能够包括处理器(例如，包括处理电路)400、存储器模块410、相机模块(例如，包括相机以及关联图像获取和处理电路)420、传感器模块430、输入模块(例如，包括输入电路)440、和/或显示器模块450。在某些示例实施例中，电子设备能够省略所述元素中的至少一个，或者额外地包括其它元素。

处理器400可以包括各种处理电路，并且能够根据电子设备的至少一个其它元素的控制和/或应用运行，来运行操作或者数据处理。处理器400能够分析在拍摄模式下获取的图像数据，以便提取距离信息，并且基于所提取的距离信息来处理图像。处理器400能够设置拍摄条件。处理器400能够在基于拍摄条件获取的图像数据的基础上识别图像数据内的物体的配置信息，并且基于所述物体的配置信息来设置图像处理技术(例如，图像滤波器)，并且将所设置的图像处理技术应用在所获取的图像数据，从而生成新的图像。

存储器模块410能够包括易失性和/或非易失性存储器。存储器模块410能够存储与电子设备的至少其它元素有关的命令或者数据。存储器模块410能够存储软件和/或程序。所述程序能够，例如，包括内核、中间件、应用编程接口(API)、应用程序(或者“应用”)等等。所述内核、中间件、或者API中的至少一些可以被称为操作系统(OS)。根据本公开的各种示例实施例的存储器模块410能够存储图像滤波器。

相机模块420能够包括各种图像接收和处理电路和元素，诸如，例如，并且不限于，镜头和图像传感器，并且能够获取包括物体的图像。相机模块420可以是图2的相机模块291。相机模块420也可以被称为成像设备。图像传感器能够生成图像数据。图像数据能够包括用于提取距离信息(例如，深度信息)的信号。例如，图像数据能够包括像素图像数据和用于提取(确定)距离信息的信号。图像传感器能够具有其中一个单位像素包括多个子像素的图像传感器结构(例如，2-PD图像传感器、4-PD图像传感器等等)。图像传感器能够具有包括像素传感器和上表面相位差传感器的结构。图像传感器可以是能够提取电子设备和物体之间的距离信息的飞行时间(Time Of Flight，TOF)图像传感器或者结构化光(structured-light)图像传感器。图像传感器能够包括IR或者超声波测量设备等等，并且输出用于提取物体的距离信息的信号。

传感器模块430能够包括能够感测电子设备的运动、电子设备的姿势等等的信息的各种传感器。传感器模块430可以是图2的传感器模块240。传感器模块430能够包括倾斜传感器、加速度传感器、陀螺仪传感器、等等。传感器模块430还能够包括以下各项中的一些或全部：压力传感器、接近传感器、气压计、地磁传感器(或者罗盘针传感器)、超声波传感器、通过使用图像来感测移动的光流、温度-湿度传感器、照度传感器、UV传感器、和/或手势传感器。

根据本公开的各种示例实施例的传感器模块430能够识别以下各项中的至少一个：电子设备的倾斜、电子设备的移动、和/或拍摄模式下的电子设备的抓取。倾斜传感器能够感测电子设备的倾斜。倾斜传感器也可以被替换成加速度传感器和/或陀螺仪传感器。

输入模块440可以包括各种输入电路，并且可以包括，例如，图1的输入输出接口150和图2的输入设备250的整个或者部分结构。输入模块440能够输入：用于控制电子设备的操作的输入和数据。输入模块440可以是触摸板。输入模块440能够包括(数字)笔传感器。输入模块440能够包括按键按钮。

显示器模块450可以是图1的显示器160或者图2的显示器260。显示器模块450可以是液晶显示器(LCD)、或者发光二极管(LED)显示器。LED显示器能够包括有机LED(OLED)和有源矩阵OLED(AMOLED)等等。

输入模块440和显示器模块450能够包括触摸屏。触摸屏能够在处理器400的控制下显示屏幕，并且能够检测使用电子笔或者用户的身体的一部分输入的触摸、手势、接近、或者悬停。

根据本公开的各种示例实施例的电子设备还能够包括通信模块(图4中未示出)。所述通信模块能够包括各种通信电路，例如，但不限于，包括无线通信模块和有线通信模块中的至少一个。无线通信模块能够包括RF模块、蜂窝模块、WiFi模块、蓝牙模块、和/或GPS模块中的一些或者全部。

蜂窝模块能够使用长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等等中的至少一个。

并且，通信模块能够包括WiFi模块、蓝牙(BT)模块、近场通信(NFC)、全球导航卫星系统(GNSS)、GPS等等中的至少一个。根据使用区域、带宽等等，GNSS能够，例如，包括GPS、全球导航卫星系统(GLONASS)、北斗导航卫星系统(在下文中，“北斗”)、伽利略、或者欧洲全球卫星导航系统中的至少一个。通信模块的“GNSS”可以与“GPS”可互换地使用。

图5是示出根据本公开的各种示例实施例的用于在电子设备中处理获取的图像和生成新的图像的示例装置的示图。

参考图5，电子设备能够包括相机模块510、拍摄设置模块520、信息获取模块530、滤波器确定模块540、滤波器应用模块550、和/或显示器模块560。

相机模块510可以是图4的相机模块420。相机模块510可以包括能够将光学信号转换为电信号并且将电信号作为图像数据输出的各种电路和元素。相机模块510能够包括图像传感器。图像传感器能够从通过镜头入射的光学信号获取图像数据。

图像传感器能够包括能够生成图像和用于提取距离信息的信号的一体式(one-piece type)图像传感器、以及生成图像和用于提取距离信息的信号中的每一个的立体式(stereo type)图像传感器。

根据示例实施例，一体式图像传感器可以是：其中一个单位像素具有多个子像素的图像传感器(例如，2-PD图像传感器、4-PD图像传感器等等)、包括上表面相位差传感器和像素传感器的图像传感器、等等。一体式图像传感器能够同时输出：用于提取距离信息的信号、和图像数据。从图像传感器输出的所述图像数据以及所述用于提取距离信息的信号可以被彼此映射。

根据示例实施例，立体式图像传感器能够独立地构建颜色传感器阵列和深度传感器阵列中的每一个，所述颜色传感器阵列生成色彩数据，而深度传感器阵列输出用于计算(确定)距离信息的信号。例如，深度传感器阵列可以是IR传感器阵列。立体式图像传感器能够独立地生成彩色图像和用于提取距离信息的信号中的每一个。例如，立体式图像传感器能够在相互不同的时间生成所述彩色图像和所述用于提取距离信息的信号。

根据本公开的各种示例实施例的相机模块420的图像传感器可以是包括生成图像和用于确定距离信息的信号的所有传感器的一体式图像传感器。根据本公开的各种示例实施例的相机模块420的图像传感器也可以是单独地生成图像和用于确定距离信息的信号的立体式图像传感器。

根据本公开的各种示例实施例的图像传感器能够生成包括图像和用于确定距离信息的信号的图像数据。所述图像和所述用于确定距离信息的信号可以被同时生成，或者所述图像和所述用于确定距离信息的信号可以被单独地生成。并且，所述图像和所述用于确定距离信息的信号可以按照像素或者按照设置的区域被映射，或者可以不被映射。

拍摄设置模块520能够包括被配置为设置诸如相机模块510的焦点、曝光、白平衡等等的一般拍摄条件的各种电路和/或程序元素。拍摄设置模块520能够设置将所述图像处理技术应用或者不应用在从相机模块510获取的图像。例如，所述图像处理技术可以是图像滤波。如果应用图像滤波器的拍摄操作被设置，则拍摄设置模块520能够设置在相机模块510中设置的拍摄条件，并且能够设置在滤波器确定模块540中确定图像滤波器。

信息获取模块530能够包括被配置为得到信息的各种电路和/或程序元素，所述信息诸如构成视野的物体之间的位置关系、所述物体和电子设备之间的位置关系、电子设备的拍摄姿势等等。例如，信息获取模块530能够从在相机模块510中获取的图像数据中感测能够提取距离信息的信号，并且获取(例如，确定)物体的距离信息。

信息获取模块530能够包括被配置为基于所获取的距离信息(例如，深度图)来知晓电子设备和物体之间的位置关系的各种电路和/或程序元素。可以使用以下各项来获取距离信息：具有多个子像素检测元素(例如，光电二极管或者光电检测器(PD))作为所述提取一个像素图像的单元的图像传感器(例如，2-PD图像传感器或者4-PD图像传感器)、包括上表面相位差传感器的图像传感器、TOF图像传感器、结构化光图像传感器、焦点调整图像传感器、IR或者超声波图像传感器等等。根据示例实施例，在它是2-PD图像传感器的情况下，信息获取模块530能够确定单位像素内的两个子像素的信号之间的相位差，以便获取用于提取距离信息的信号。根据示例实施例，在它是包括上表面相位差传感器的图像传感器的情况下，信息获取模块530能够基于图像传感器内的上表面相位差传感器的信号来获取距离信息。在信息获取模块530中获取的距离信息可以是深度图。

根据示例实施例，相机模块510的图像传感器可以是生成图像数据的二维(2D)图像传感器。例如，图像传感器具有色彩像素传感器阵列，并且可以不生成用于提取距离信息的信号。在图像传感器是二维图像传感器的情况下，信息获取模块530能够提取(例如，图像匹配)在图像传感器中生成的图像数据的边缘或者边界。图像数据的边缘或者边界可以基于图像的轮廓线、色彩数据的变化等等来提取。

信息获取模块530能够获取电子设备的拍摄姿势信息。例如，当用户通过相机模块510执行拍摄操作时，信息获取模块530能够从传感器模块430的加速度传感器和/或陀螺仪传感器的输出感测电子设备的姿势和所述姿势的变化。

基于相机模块510中输出的图像和/或信息获取模块530中输出的距离信息(例如，深度图)，滤波器确定模块540能够确定构成图像的物体的配置信息。物体的配置信息能够包括图像范围(例如，照片范围)中的物体的位置、物体的尺寸、物体和电子设备之间的深度信息等等。基于物体的配置信息，滤波器确定模块540能够设置适合于图像内的物体的图像处理技术。例如，所述图像处理技术可以是图像滤波器。所设置的图像滤波器可以是一个图像滤波器或者多个图像滤波器。

滤波器确定模块540能够包括各种电路和/或程序元素，诸如，例如，并且不限于，识别模块和滤波器确定模块。识别模块基于相机模块510中输出的图像数据、和/或信息获取模块530中输出的距离信息(例如，深度图)来识别主要物体的配置信息。滤波器确定模块可以基于所识别的配置信息来自动地设置图像滤波器。

根据示例实施例，滤波器确定模块540的识别模块能够基于信息获取模块530中输出的距离信息(例如，深度图)来识别物体的配置信息。例如，滤波器确定模块540的识别模块能够基于相机模块510中输出的图像数据和信息获取模块530中输出的距离信息，来识别物体的配置信息。

根据示例实施例，如果相机模块510的图像传感器是在相互不同的时间生成用于提取距离信息的信号和图像数据的图像传感器(例如，立体式图像传感器)，则滤波器确定模块540的识别模块能够将图像数据的帧与提取距离信息的信号进行同步，并且执行识别操作。

根据示例实施例，当在相机模块510的图像传感器中用于提取距离信息的信号和图像数据不是按照像素被映射的时，滤波器确定模块540的识别模块能够以设置的形式来映射所述图像数据和用于提取距离信息的信号(映射图像数据的区域和生成用于提取距离信息的信号的区域)，并且执行识别操作。

滤波器应用模块550能够基于在滤波器确定模块540中确定的图像处理技术，来处理在相机模块510中获取的图像数据。如果图像处理技术是图像滤波方法，则滤波器应用模块550能够通过存储器模块410访问与在滤波器确定模块540中确定的图像滤波器相对应的数据。并且，滤波器应用模块550能够将所设置的图像滤波器应用到在相机模块510中获取的图像数据，以生成新的图像。

显示器模块560能够显示被滤波器应用模块550应用的图像(例如，对图像应用了图像滤波器的新的图像)。

在显示器模块560中显示的图像可以是预览图像(或者实时图像)。电子设备能够将在相机模块510中获取的图像作为预览图像在显示器模块560中进行显示。如果捕获请求被生成，则电子设备能够在存储器模块410中存储在相机模块510中获取的图像。例如，如果应用图像滤波器的拍摄操作被请求，则拍摄设置模块520能够设置拍摄模式，并且滤波器确定模块540能够设置图像滤波器。相机模块510能够生成包括主要物体的图像数据。图像数据能够包括提取电子设备和所述物体之间的距离信息的信号、以及所述物体的图像数据。信息获取模块530能够从相机模块510中输出的图像数据提取物体的距离信息，以生成电子设备和物体之间的距离信息(例如，深度图)。信息获取模块530能够基于图4的传感器模块430的输出，来提取电子设备的拍摄姿势信息。

滤波器确定模块540能够通过拍摄设置模块520的输出，来识别图像处理技术(例如，图像滤波方法)的设置。滤波器确定模块540能够通过信息获取模块530的输出，来识别物体的特征(例如，图像中包括的物体的组成元素、位置关系、等等)。基于所识别的物体特征，信息获取模块530能够提取物体的范围信息(例如，深度图)。基于这个信息，信息获取模块530能够确定将被应用到图像的滤波器。滤波器应用模块550能够将在滤波器确定模块540中确定的所设置的图像滤波器应用到在相机模块510中获取的图像，以生成新的图像。所述新的图像可以是对所获取的图像应用了所设置的图像滤波器的图像。

显示器模块560能够显示在滤波器应用模块550中生成的新的图像。在显示器模块560上显示的新的图像可以是应用了基于物体和电子设备之间的距离确定的图像滤波器的图像。并且，所述新的图像可以作为预览图像被显示。显示器模块560能够显示在信息获取模块560中获取的电子设备的姿势信息。

用户能够检查在显示器模块560中显示的新的图像，并且校正电子设备的姿势。并且，基于用户的姿势校正，信息获取模块530能够获取包括在图像中的物体的距离信息、和所述电子设备的姿势信息。滤波器确定模块540能够根据通过信息获取模块530的输出校正的距离信息和姿势信息，滤波器确定模块540能够确定新的图像的范围信息(例如，深度图)。

如果期望的图像被显示在显示器模块560中，则用户能够生成捕获命令。如果捕获命令被生成，则处理器400能够将显示器模块中显示的新的图像存储在存储器模块410中。存储器模块410中存储的图像可以是被应用了滤波器的图像。存储器模块410中存储的图像能够包括在相机模块510中获取的图像和被应用了滤波器的图像的全部。

图6A、图6B、图6C、图6D和图6E是示出根据本公开的各种示例实施例的图像滤波器的示图。

图6A是示出示例线性滤波器的示例特性的示图。线性滤波器可以是这样的滤波器：其中，聚焦的点变得清楚，并且其随着其远离所述聚焦的点，模糊得越严重。在一个轴的方向上，模糊能够具有相同程度的模糊。模糊程度能够在垂直于所述轴的方向上变化。模糊程度的变化可以根据电子设备(例如，相机)的姿势(例如，倾斜)而不同。线性滤波器能够进行处理以使得图像中的聚焦的点清楚，并且随着其远离焦点而增加模糊强度。例如，滤波器掩膜(filter mask)的尺寸增大，或者掩膜系数的形式变得不同。

线性滤波器能够包括用于强调物体的线性滤波器、能够模糊背景的线性滤波器、和/或能够强调物体并且模糊背景的线性滤波器。

图6B是示出示例圆形滤波器(或者径向滤波器或者多边形滤波器)的示例特性的示图。为了吸引观看图像的观看者的眼睛，圆形滤波器能够强调特定物体。例如，圆形滤波器能够增加相应图形的内部区域的曝光和清晰度，从而能够让人基于物体周围的圆形形式的形状(例如，圆、椭圆、或者多边形)而注意到该物体。圆形滤波器能够包括能够模糊图像的背景的焦点的圆形滤波器、能够强调物体的圆形滤波器、或者能够模糊背景并且强调物体的圆形滤波器。

图6C是示出示例光照滤波器(lighting filter)(或者光照效果)的示例特性的示图。光照滤波器能够将若干光照效果应用在红色、绿色、和蓝色(RGB)图像。光照滤波器能够通过被称为凹凸贴图的灰色阴影滤波器的纹理，来产生和存储三维(3D)效果，并且将所存储的3D效果也用于另一图像。光照滤波器能够使用光源。光照滤波器能够调整光照范围，并且还能够改变方向。光照滤波器能够调整光照强度、光照范围、曝光等等。

图6D是示出示例微距滤波器(macro filter)的示例特性的示图。微距拍摄可以是通过对物体进行近距离拍摄(close-up photographing)，来用所述物体填满整个图像帧的拍摄。例如，微距拍摄随着靠近物体而增大失焦(out-focus)量，并且能够获取对前景和背景全部都进行失焦处理的图像。微距拍摄可以自由改变拍摄角度和构图，并且因此可以适合于拍摄小东西。例如，微距拍摄可以是在非常接近物体的距离处进行拍摄的方法。微距拍摄的吸引力是通过近距离拍摄物体而知晓不能用裸眼看见的微观世界。

在本公开的各种示例实施例中，如果与物体的距离被感测为大，则电子设备能够执行缩放操作以便对物体进行微距拍摄。电子设备能够将微距滤波器应用在微距拍摄的图像以便强调物体。例如，如果作为分析电子设备和物体之间的距离信息的结果而确定了圆形滤波器、并且识别出与物体的距离遥远，则电子设备能够执行缩放操作以获取物体图像，并且设置圆形滤波器和微距滤波器以处理所述图像。微距滤波器能够包括用于强调物体的微距滤波器、能够模糊背景的微距滤波器、或者能够强调物体并且模糊背景的微距滤波器。

图6E是示出示例选择性聚焦(或者狭窄景深(Depth Of Field，DOF))滤波器的示例特性的示图。当处理图像时，如果选择性聚焦滤波器产生对物体的前景和/或背景的模糊，则选择性聚焦滤波器能够具有其中物体更加被强调的效果。

根据本公开的各种示例实施例的电子设备能够基于获取的图像来获取距离信息(例如，深度图)，并且基于距离信息来识别物体的范围，并且基于所识别的物体的范围来自动地确定图像处理技术(例如，图像滤波方法)。图像处理技术可以，例如，确定图6A到图6E的图像滤波器当中的至少一个图像滤波器，并且将所确定的图像滤波器应用到所获取的图像，从而生成新的图像。相机模块能够生成构成图像的物体的距离信息。相机模块的图像传感器可以是：其中单位像素具有多个子像素结构的多PD图像传感器、包括上表面相位差传感器的图像传感器、通过测量输出光学信号反射和返回所花费的时间来确定距离(例如，深度)的TOF图像传感器、结构化光图像传感器、焦点调整图像传感器、IR图像传感器、和/或超声波图像传感器。

图7是示出根据本公开的各种示例实施例的示例图像传感器的示图。

参考图7，电子设备能够包括处理器400、图像传感器700、和显示器模块450。图像传感器700能够包括像素阵列730、行驱动器733、读出驱动器735、和/或定时信号发生器740。

根据各种示例实施例，图像传感器700能够将入射光学信号生成为图像数据。处理器400能够处理所生成的图像数据，并且在可操作地与电子设备耦合的显示器160上显示经处理的图像数据。处理器400能够检查用于处理在图像传感器700中获取的图像数据的模式，并且基于检查到的模式来处理图像数据。

像素阵列730能够感测通过镜头720捕获的物体710。像素阵列730能够将镜头720的光学信号转换为电信号，并且生成图像数据。定时信号发生器740能够生成用于通过行驱动器733激活像素阵列730的行线像素的定时信号。并且，定时信号发生器740能够生成用于读出像素阵列730的列线像素的定时信号。像素阵列730能够通过行驱动器733激活行线像素，并且能够通过读出驱动器735读出列线像素信号。在图7中，图中示出了定时信号发生器740被包括在图像传感器700中，但是可以被包括在处理器400。

像素阵列730可以是包括微透镜、色彩滤波器、和光电二极管的像素的阵列。像素阵列730能够包括多个单位像素，并且每个单位像素能够包括多个子像素。子像素能够包括光电二极管。图像传感器700能够，例如，包括其中一个单位像素具有至少两个或者更多个子像素(例如，光电二极管(PD))的结构。图像传感器700能够输出包括红色(R)、绿色(G)、和蓝色(B)当中的至少一条色彩信息的色彩信息。

图8是示出根据本公开的示例实施例的图像传感器的示例像素阵列的示图。

参考图8，像素阵列730能够包括按矩阵形式排列的多个单位像素810至840。单位像素810至840中的每一个能够包括多个子像素。像素阵列730能够一次输出全部单位像素的数量与每个单位像素的子像素的数量的乘积一样多的子像素级(sub pixel level)的信号。像素阵列730还能够对一个单位像素的子像素级的信号求和，并且输出与全部单位像素的数量一样多的信号。所述单位像素能够包括至少两个子像素。图8示出其中一个单位像素包括四个子像素的示例。在图8中，第一单位像素810能够包括四个子像素811至814，并且第二单位像素820能够包括四个子像素821至824，并且第三单位像素830能够包括四个子像素831至834，并且第四单位像素840也能够包括四个子像素841至844。

根据本公开的各种示例实施例的像素阵列730的子像素间距可以小于公共像素阵列的像素间距。图8示出单位像素810至840分别地包括四个子像素，但是不限于此。所述单位像素能够分别地包括两个子像素。例如，第一单位像素810能够包括两个子像素811和812，并且第二单位像素820能够包括两个子像素821和822，并且第三单位像素831能够包括两个子像素831和832，并且第四单位像素840能够包括两个子像素841至842。

根据示例实施例，定时信号发生器740能够生成用于通过行驱动器733和读出驱动器735来驱动像素阵列730的行线和列线的定时信号。像素阵列730能够基于行驱动器733的行线控制，以行线为单位来激活像素。读出驱动器735能够根据定时信号发生器740的控制，输出沿着列线的每个子像素级的信号。

像素阵列730的单位像素810至840能够各自包括安装在上部(upper part)的微透镜和/或每个色彩滤波器。微透镜能够增加每个聚光能力。每个色彩滤波器能够透射或者阻挡特定光谱范围的光。单位像素内的子像素能够包括光电二极管。例如，子像素能够共享一个微透镜和色彩滤波器，并且能够使用各自的光电二极管。例如，在一个单位像素包括四个子像素的情况下，所述四个子像素能够通过各自相应的光电二极管，将通过一个微透镜和色彩滤波器接收的光学信号转换为电信号。

行驱动器733能够在定时信号发生器740的控制下，将用于控制大多数的子像素的各个操作的控制信号驱动到像素阵列730中。例如，所述控制信号能够包括用于选择子像素的信号和用于重置的信号。读出驱动器735能够包括用于选择像素阵列730的列线和读出所选择的列线的子像素级的信号的元素(例如，模数转换器(ADC)等等)。

根据示例实施例，读出驱动器735能够输出单位像素810至840的各自子像素级的信号。例如，读出驱动器810至840能够读出在各个子像素中感测到的图像信号。处理器400能够对待和/或处理所述子像素信号，并且生成角度信息和/或距离信息(例如，深度数据)。

图9A、图9B和图9C是示出根据本公开的各种示例实施例的示例图像传感器的示例单位像素和子像素的示例结构的示图。

图9A是示出其中图像传感器的单位像素包括两个子像素的示例的示图。图9A是示出其中图像传感器的单位像素包括四个子像素的示例的示图。图9C是示出如图9A中的具有两个子像素的单位像素的结构的示例的示图。

参考图9A，图像传感器700的单位像素能够包括至少一个微透镜920、至少一个色彩滤波器930、和/或包括两个光电二极管(PD1和PD2)的光接收部分940。例如，图9A的单位像素能够生成两个子像素信号。将进行以下描述，在以下描述中具有图9A的单位像素结构的图像传感器与2-PD图像传感器可互换地使用。参考图9B，图像传感器700的单位像素能够包括一个微透镜920、一个色彩滤波器930、和/或包括四个光电二极管(PD1至PD4)的光接收部分950。例如，图9B的单位像素能够生成四个子像素信号。将进行以下描述，在以下描述中具有图9B的单位像素结构的图像传感器与4-PD图像传感器可互换地使用。

在图9A或者图9B中，光接收部分940或者950能够将通过镜头910接收的入射光转换为电信号，并且生成转换后的电信号。光接收部分940或者950能够包括层压形式的掺杂区。所述掺杂区可以基于入射光的入射角度被层压。

参考图9C，图像传感器700能够包括多个单位像素。每个单位像素960能够包括至少两个或者更多个光电二极管。并且，障栅(barrier)970可以位于各个光电二极管之间。例如，至少一个色彩滤波器930可以位于所述多个光电二极管上。并且，例如，至少一个微透镜920可以位于所述多个光电二极管上。微透镜920可以，例如，位于色彩滤波器930上。例如，入射在每个单位像素960上的光可以经由至少一个微透镜920和至少一个色彩滤波器930入射在各个不同的光电二极管上。图像传感器700能够根据入射在各个光电二极管上的光的相位差，来输出用于焦点检测的信息。

根据示例实施例，镜头910可以可操作地与用于光学图像稳定(OIS)或者自动对焦(AF)的致动器耦合。

根据示例实施例，色彩滤波器930可以是红色(R)滤波器、绿色(G)滤波器、或者蓝色(B)滤波器，或者可以是黄色滤波器、品红滤波器、或者青色滤波器、等等，但是不限于此。

根据示例实施例，色彩滤波器930可以基于入射光的入射角度而形成在光电二极管940或者950上，并且能够具有贝尔模板(Bayer pattern)。所述贝尔模板能够将用于接受红色、绿色、和/或蓝色中的每一个的亮度的滤波器安排在二维平面上，以便聚集目标的亮度和色彩，并且使得图像数据是以点形成的。在贝尔模板色彩滤波器下面的形成格子网络的每个单位像素不识别总自然色彩，而仅仅识别红色、绿色、和/或蓝色当中的被指派的色彩，并且通过对该被指派的色彩进行插值来模拟自然色彩。

根据示例实施例，因为要维持色彩滤波器930被层叠的平铺角，所以微透镜920可以形成为对应于色彩滤波器930上的光电二极管940或者950。OIS镜头910可以，例如，位于镜头架(未示出)的内部，并且能够聚集光。

根据示例实施例，处理器400能够对单位像素的各个子像素的信号进行处理(例如，相加和平均)，并且输出经处理的信号作为图像数据。根据示例实施例，处理器400能够确定单位像素中包括的子像素的信号之间的相位差，以生成距离信息(例如，深度信息)。例如，在图9A中，处理器400能够确定单位像素的两个子像素信号之间的相位差，以生成深度信息。处理器400能够处理所述两个子像素信号以生成色彩图像数据。例如，如果具有高清晰度(HD)(1,280×720)的像素阵列730的图像传感器700具有其中一个单位像素具有四个子像素的4-PD结构，则图像传感器700能够读取每个光电二极管的色彩值，并且输出具有四倍高清(QHD)(2,560×1,440)的分辨率的图像数据。

图10A和图10B是示出根据本公开的各种示例实施例的图像传感器的单位像素和子像素的示例的示图。图10A是其中图像传感器的单位像素包括两个子像素的示例示图。图10B是其中图像传感器的单位像素包括四个子像素的示例示图。

图像传感器700能够包括多个单位像素。每个单位像素能够包括多个子像素。R像素可以是用于红色的像素图像，并且G像素可以是用于绿色的像素图像，而B像素可以是用于蓝色的像素图像。

根据示例实施例，一个单位像素能够包括至少两个或者更多个子像素(例如，光电二极管)。每个单位像素能够包括一个微透镜和色彩滤波器。单位像素能够输出一个子像素级的信号，并且因此一个单位像素能够包括多个数据。

根据示例实施例，所述单位像素能够将所包括的至少两个或者更多个子像素级的信号求和，并且还将所述信号作为一个图像数据输出。所述单位像素还能够输出用于确定入射在至少两个子像素上的光的相位差的相位差信息。例如，在如图10A中那样单位像素包括两个子像素的情况下，相位差信息能够包括用于确定左/右像素之间的相位差的信息。例如，在如图10B中那样单位像素包括四个子像素的情况下，相位差信息能够包括用于确定上子像素和下子像素之间的相位差的信息或者用于确定左子像素和右子像素之间的相位差的信息。例如，相位差信息能够包括用于确定位于对角位置的对角子像素之间的相位差的信息。例如，单位像素还能够输出用于确定特定色彩的子像素之间的相位差的信息。例如，单位像素能够输出用于仅仅从RGB像素当中相对多地接受光的G像素确定色彩信息和相位差的信息，并且还仅仅输出来自剩余的R像素和B像素的色彩信息。

图10A和图10B基于红色、绿色、和蓝色来示出贝尔模板，但是本公开的示例实施例不限于此，并且能够使用各种滤波器模板(filter pattern)。

根据各种示例实施例，处理器400能够基于从图像传感器700输出的子像素信号，来获取距离信息和/或图像数据。例如，处理器400能够基于拍摄模式和条件来进行操作，并且获取距离信息(例如，深度信息)和/或图像数据。

在示例实施例中，处理器400能够基于图像传感器700的各个子像素信号来确定相位差。处理器400能够通过使用相位差信息来提取距离信息。

在示例实施例中，处理器400能够基于图像传感器700的各个子像素信号来生成图像数据。例如，在图像传感器700是具有2-PD结构的图像传感器的情况下，处理器400能够每个单位像素的第一子像素信号和第二子像素信号进行处理(例如，相加或者平均)，以生成单位像素的图像数据。

在示例实施例中，处理器400能够基于图像传感器700的各个子像素信号来生成相位差信息和图像数据。例如，在图像传感器700是具有2-PD结构的图像传感器的情况下，处理器400能够确定每个单位像素的第一子像素信号和第二子像素信号之间的相位差，以生成距离信息。处理器400能够处理第一子像素信号和第二子像素信号，以生成图像数据。

在示例实施例中，处理器400能够基于图像传感器700的各个子像素信号来生成相位差信息。在图像传感器700是具有2-PD结构的图像传感器的情况下，处理器400能够选择性地处理第一子像素信号和/或第二子像素信号。例如，处理器400能够基于单位像素的属性(例如，色彩)来不同地调整处理图像数据的操作。例如，在单位像素的属性是红色或者蓝色的情况下，处理器400能够控制图像传感器700输出将各个子像素级的信号(例如，第一信号和第二信号)求和的图像数据。并且，在单位像素的属性是绿色的情况下，处理器400能够控制图像传感器700将各个子像素级的数据(例如，第一信号和第二信号)处理为单位像素级的图像数据，并且输出所述图像数据。

图11A和图11B是示出包括上表面相位差传感器的图像传感器的示例操作的示图。图11A是示出根据本公开的各种示例实施例的物体的位置的示图。

在如图11A中那样物体1110至1130被安排在成像设备的前面的状态下，用户能够将成像设备1100聚焦在期望的物体上，并且拍摄所述期望的物体。成像设备1100能够包括具有图7的结构的图像传感器700。图11A示出了这样的示例：物体1110在距离(D1)处位于最靠近成像设备1100的位置，物体1130在距离(D3)处位于最远离成像设备1100的位置，并且物体1120在距离(D2)处位于距成像设备1100中间距离的位置。在如图11A中那样物体被安排在成像设备1100的前面的状态下，如果用户将成像设备1100聚焦在特定物体上并且拍摄所述特定物体，则拍摄的图像可以被获取为这样的图像：基于与聚焦的物体间隔的距离，聚焦的物体变得更加清楚而其它物体变得更加不清楚。

成像设备1100的相位差检测像素能够分别地输出用于物体1110至1130的不同相位差值。例如，在成像设备1100被聚焦在物体1120上的情况下，物体1120可以是第一聚焦区域的物体，并且物体1110可以是第二聚焦区域的物体，并且物体1130可以是第三聚焦区域的物体。

图11B是示出根据本公开的各种示例实施例的示例图像传感器的示图。

参考图11B，成像设备能够包括至少一个相位差检测像素1150(例如，上表面相位差传感器)和至少一个图像像素1160(例如，色彩像素)。在图11B中，第一图像1170可以是拍摄第一物体(例如，图11A的物体1110)的图像。第二图像1180可以是拍摄第二物体(例如，图11A的物体1120)的图像。第三图像1190可以是拍摄第三物体(例如，图11A的物体1130)的图像。根据示例实施例，电子设备(例如，图4的处理器400)能够基于在至少一个相位差检测像素1150中感测的相位差值，来获取由图像传感器感测到的物体1110至1130之间的相对距离信息(例如，深度信息)。例如，电子设备能够基于第一图像1170中包括的至少一个相位差检测像素的值，来获取距第一物体1110的距离。例如，在与第一图像1170相对应的相位差检测像素的值是与第一聚焦区域相对应的值的情况下，电子设备能够确定成像设备被聚焦在第一图像1170上，并且能够基于镜头测距仪来获取距与第一图像1170相对应的第一物体1110的距离(例如，图11A的D1)。电子设备能够将图像传感器划分为子区(或者多个区)R₁₁至R_mn(例如，行线R₁至R_m，和列线R₁至R_n)，并且基于各个子区中包括的相位差检测像素的值，来获取与各个子区相对应的物体之间的距离。例如，在与第一图像1170相对应的相位差检测像素的值是与第一聚焦区域相对应的值、并且与第二图像1180相对应的相位差检测像素的值是与第二聚焦区域相对应的值的情况下，电子设备能够获取第一图像1170和第二图像1180之间的相对距离。

图12A和图12B是扩展和示出根据本公开的各种示例实施例的示例图像传感器的一个部分的区的示图。

参考图12A，图像传感器(例如，图7的像素阵列730)的像素1251和1255能够包括布线区1213、光接收区1215、和成像透镜(例如，微透镜1217)。

布线区1213可以被安排为在图像传感器的基底1211的一个表面上间隔恒定距离。光接收区1215可以分别地安排在布线区1213之间。例如，布线区1213和光接收区1215可以相互交替地安排在基底1211的一个表面上。诸如电源或者信号线和晶体管的元素可以安排在布线区1213中。光接收区1215是基本上检测光和/或图像并且将其转换为电信号的光电变换区。光接收区1215能够基于检测到的图像的信息，将电信号转发到布线区1213。

各个单位像素1251和1255能够包括一个光接收区1215、耦合到所述光接收区1215的布线区1213的布线和晶体管、和/或被安排为对应于相应的光接收区1215的微透镜1217。在单位像素1251和1255当中，部分像素(例如，1251)能够作为图像检测像素(例如，色彩像素)来操作。在单位像素1251和1255当中，部分像素(例如，1255)可以，例如，被构建为具有相位分离结构的相位差检测像素。

相位差检测像素1255能够包括将遮光膜1219安装在光接收区1215上的相位分离结构。每个微透镜1217可以被安排为处于光轴(P)与对应于微透镜1217的光接收区1215重合的状态。腔体1229被提供在光接收区1215上方的布线区1213之间。遮光膜1219可以被安排在布线区1213之间的腔体1229中。遮光膜1219能够覆盖在光接收区1215的一侧的光接收区1215的表面区域的一部分(例如，大约一半)，并且部分地遮挡传入光接收区1215的光。

参考图12B，相位差检测像素1255可以如图12B的参考标号1255a和1255b所表示的那样被配对，并且被安排为相互邻接或者部分地间隔开。遮光膜1219a可以被安排在配对的相位差检测像素1255当中的第一相位差检测像素1255a中。遮光膜1219a可以被安排在这样的位置中：不与被安排在第二相位差检测像素1255b中的遮光膜1219b重叠，例如，相对于遮光膜1219b偏移。如果第一相位差检测像素1255a检测到通过微透镜1217的一侧的光，则第二相位差检测像素1255b能够检测通过微透镜1217的另一侧的光。图像传感器和/或配备有图像传感器的诸如相机或者便携式终端的电子设备能够比较由各个相位差检测像素1255检测到的值，并且测量图像传感器的聚焦调整状态。

根据示例实施例，相位差检测像素1255能够基于以下各项来输出不同的值：其中物体的焦点被放置在图像传感器的第一聚焦状态(例如，实线1261)，其中物体的焦点被放置在图像传感器和物体之间的第二聚焦状态(例如，虚线1263)，以及其中物体的焦点被放置在除了图像传感器之外的区并且在图像传感器和物体之间的第三聚焦状态(例如，双点划线1265)。电子设备能够基于第一聚焦状态至第三聚焦状态，来识别物体之间的相对距离。

在图12A和图12B中，已经对例如具有遮光膜的相位差检测像素进行了根据示例实施例的描述，以便说明相位差检测像素的结构和操作。但是将理解，根据各种示例实施例的相位差检测像素能够包括具有各种形式(或者结构)的相位差分离结构的相位差检测像素。

如上，当用户利用成像设备1100拍摄图像时，可以在设置的物体位置中进行聚焦。安排在图像传感器中的相位差检测像素(例如，上表面相位差传感器)1150能够提取聚焦的物体和非聚焦的其它物体的距离信息。电子设备能够通过每对相位差检测像素(或者上表面相位差传感器)1150来得到相位差值。电子设备还能够将图像传感器的区划分为如图11B中所示的子区，并且使用与各个子区相对应的相位差检测像素(或者上表面相位差传感器)来得到相位差值。

如图11B中所示，将借助其中使用与各个子区相对应的相位差检测像素来确定物体的距离信息的示例来进行以下描述。图像能够包括两个或更多个物体。当电子设备确定这些物体的距离信息时，电子设备能够得到聚焦的物体和非聚焦的物体(例如聚焦在前面或者聚焦在后面的物体)之间的距离。

根据示例实施例，电子设备能够将适配(适合)于拍摄的物体的图像处理技术应用在获取到的图像，以生成适配于用户的偏好的(或者用户期望的)新的图像。应用在获取的图像的图像处理技术可以被电子设备自动地确定和选择，或者电子设备能够显示分析的图像处理技术，从而用户能够进行选择。

根据示例实施例，电子设备能够分析在图像传感器中获取的图像中所包括的物体信息，并且确定图像处理技术，并且能够将所确定的图像处理技术应用在获取的图像并且显示所述图像。例如，图像处理技术可以是确定可应用在获取的图像的图像滤波器的方法。例如，获取的图像可以是食物图像。

根据示例实施例，电子设备能够获取与食物相关联的图像数据，并且基于食物图像数据来提取食物和电子设备之间的距离信息，并且基于所提取的距离信息来生成配置信息(例如，食物图像的尺寸、食物图像的位置、食物的距离信息等等)，以及基于食物的配置信息来确定图像滤波器。如图6A至图6E中所示，图像滤波器可以是对线性滤波器、圆形滤波器、光照滤波器、微距滤波器、和/或选择性聚焦滤波器中的一个或多个的选择。

图13A和图13B是示出根据本公开的各种示例实施例的在电子设备中显示获取的图像以及基于获取的图像数据提取的距离信息的示例的示图。

根据示例实施例，电子设备能够包括食物模式。如果用户触发食物拍摄命令，则电子设备(例如，拍摄设置模块520)能够将图像处理技术应用在从相机模块510输出的图像数据，以生成新的图像。

电子设备能够获取图13A的图像。图13A的图像是食物图像，并且能够具有其中食物被包含在容器中的结构。例如，图像中包括的物体可以是容器、食物等等。相机模块510的图像传感器能够读出图13A的图像。处理器400能够提取信息，诸如，从相机模块510输出的图像中包括的物体(例如，容器和/或食物)之间的位置关系、所述物体和拍摄单元(例如，相机)之间的位置关系、拍摄单元的姿势等等。例如，如果单位像素是如图8中那样的包括多个子像素的图像传感器(例如，2-PD图像传感器、4-PD图像传感器等等)，则处理器400能够基于子像素信号之间的相位差来获取(估计)距离信息。

处理器400能够从估计的距离信息中估计配置信息(例如，深度图)，所述配置信息能够规划出电子设备和物体之间的位置关系。除了多PD图像传感器之外，估计距离信息的方法还能够使用上表面相位差图像传感器、焦点调整图像传感器、IR或者超声波图像传感器等等。图像的距离信息(例如，深度图)还可以以图13B的形式来表达。

图14A、图14B、图14C、和图14D是示出根据本公开的各种示例实施例的电子设备的图像处理的示例的示图。

处理器400能够基于传感器模块430的输出，来感测电子设备的姿势和所述姿势的变化。处理器400能够基于从图像传感器输出的图像数据以及估计的配置信息，来确定物体的特征(例如，组成元素、位置关系等等)。处理器400能够基于所确定的物体的特征来确定图像滤波器。例如，如果物体的特征具有它在水平方向、垂直方向、或者对角方向上长的形式，则电子设备能够确定线性滤波器。例如，如果物体1450的特征具有如图14C中所示的圆形或者椭圆形式(例如，包含在球形容器中的食物)，则电子设备能够确定圆形滤波器。在确定图像滤波器之后，电子设备能够将所确定的图像滤波器应用在从图像传感器获取的图像，以生成新的图像。

例如，在图14A中，图像数据能够包括主要物体图像1410和背景图像1420。如果基于图14A的图像确定了线性滤波器，则电子设备能够将线性滤波器应用在图14A的获取的图像，以生成图14B的新的图像。生成的新的图像可以包括清楚显示的区(1430)和经模糊处理的区(1440)。在图14C中，图像数据能够包括主要物体图像1450和背景图像1460。如果基于图14C的图像确定了圆形滤波器，则电子设备能够将圆形滤波器应用在图14C的获取的图像，以生成图14D的新的图像。生成的新的图像可以包括清楚显示的区(1470)和经模糊处理的区(1480)。

被应用图像滤波器的图像中的模糊的中心可以是作为判据(criterion)的聚焦点。焦点可以是图像的中心或者可以基于触摸等等而不同。图像滤波方法能够在聚焦位置周围执行模糊处理，而不在聚焦位置中执行模糊处理。

图15是示出根据本公开的各种示例实施例的示例图像处理设备的示例的框图。

参考图15，电子设备能够设置适合于获取的图像的图像处理技术，并且能够将所设置的图像处理技术应用在获取的图像，以生成用户期望的新的图像。根据本公开的各种示例实施例，电子设备能够分析获取的图像并且自动地设置图像处理技术。在电子设备中设置的图像处理技术可以用于选择用户期望的图像。根据示例实施例，电子设备能够通过分析获取的图像和拍摄环境(例如，拍摄条件，诸如焦点、曝光、白平衡等等；依赖于电子设备的拍摄角度的拍摄姿势等等；运动；等等)来设置图像处理技术。

电子设备能够基于设置的拍摄条件来设置相机模块，并且通过相机模块获取图像。拍摄条件能够包括使用根据本公开的各种示例实施例的图像处理技术的拍摄模式。相机模块能够包括图像传感器1510。图像传感器1510能够基于拍摄条件感测物体，并且将感测结果转换为电图像信号。图像数据能够包括亮度信息、色彩信息、用于提取物体和电子设备之间的距离信息的信号等等。

如果图像处理技术被确定，则电子设备能够驱动相机模块和执行拍摄操作。相机模块的操作可以是显示预览图像的操作。显示预览图像的操作可以是处理在图像传感器1510中获取的图像数据并且在显示器模块1560中显示所述图像数据的操作。

图像传感器1510可以是具有图8的结构的图像传感器(例如，2-PD图像传感器或者4-PD图像传感器)。图像传感器1510可以是如图11B中那样的包括像素传感器和上表面相位差传感器的图像传感器。图像传感器1510能够包括TOF图像传感器、结构化光图像传感器、和/或IR或超声波测量设备。

根据示例实施例，图像传感器1510可以是将输出图像和用于提取距离信息的信号的结构实施为一个设备的一体式图像传感器。根据示例实施例，图像传感器1510可以是其中生成图像数据的图像传感器和生成用于提取距离信息的信号的传感器(例如，深度传感器)中的每一个被独立地构建的立体式结构的图像传感器。

根据示例实施例，图像传感器1510能够同时生成图像数据和用于提取距离信息的信号。根据示例实施例，图像传感器1510能够在不同时间生成图像数据和用于提取距离信息的信号。

根据示例实施例，图像传感器1510能够生成并且将图像数据和用于提取距离信息的信号按照像素或者按照区进行映射。根据示例实施例，图像传感器1510能够生成并且不将图像数据和用于提取距离信息的信号按照像素或者按照区进行映射。

图像处理模块1520可以包括各种图像处理电路和程序元素，其能够通过处理来自图像传感器1510的输出，来提取图像数据和距离信息。图像处理模块1520能够包括图像处理单元(例如，图像信号处理器(ISP))和信息获取单元。图像处理单元能够从作为图像传感器1510中的输出的3D图像提取和处理图像数据。信息获取单元能够通过从在图像传感器1510中输出的3D图像提取用于提取物体和电子设备之间的距离信息的信号，来提取该距离信息。

图像处理单元能够执行图像预处理操作和图像后处理操作。第一，图像预处理操作能够为图像执行自动白平衡(AWB)、自动曝光(AE)、自动对焦(AF)提取和处理、镜头阴影校正、死像素校正、拐点校正(knee correction)等等。图像后处理操作能够包括色彩插值、图像处理链(IPC)、色彩转换等等。色彩插值操作能够执行将图像传感器1510中输出的像素转换(例如，全彩转换)为包括三个色彩RGB的色彩的功能。IPC能够执行色彩插值图像的降噪、伽马校正、亮度校正等等。并且，色彩转换操作能够将校正的图像(例如，原始数据、贝尔数据)转换为YUV(或者YCbCr)图像。

信息获取单元能够基于图像传感器1510中输出的像素信号，来确定物体和电子设备之间的距离信息。例如，在图像传感器1510是包括上表面相位差传感器的图像传感器的情况下，信息获取单元能够基于上表面相位差传感器的信号来提取物体和电子设备之间的距离信息。信息获取单元能够生成电子设备的拍摄环境信息。拍摄环境信息能够包括拍摄元数据(例如，可交换图像文件格式(exif))、和/或电子设备的拍摄姿势信息。在信息获取单元中估计的距离信息可以是深度图。深度图信息可以被映射有图像数据的像素。

例如，图像传感器可以是2-PD图像传感器。图像处理单元能够将在2-PD图像传感器1510中输出的子像素信号求和或者平均，以生成单位像素的信号。此后，图像处理单元能够对单位像素信号进行预处理和后处理，以生成图像数据。通过确定单位像素的第一子像素信号和第二子像素信号之间的相位差，信息获取单元能够估计距离信息。在信息获取单元中确定的第一和第二子像素信号之间的相位差可以用作电子设备和物体之间的距离信息。

根据示例实施例，相机模块510的图像传感器可以是生成图像数据的二维图像传感器。如果图像传感器是二维图像传感器，则图像处理模块1520能够提取图像数据的轮廓线并且生成与距离信息相似的信息。例如，如果图像传感器是二维图像传感器，则信息获取单元能够提取在图像传感器中生成的图像数据的轮廓线，并且生成与距离信息相似的信息。图像数据的轮廓线可以基于色彩数据的变化、图像的亮度等等来提取。

识别模块1530可以包括各种处理电路和程序元素，其能够基于在图像处理模块1520中生成的图像数据和距离信息(或图像数据的轮廓线信息)来识别物体的配置信息(例如，基于距离信息的、物体范围、物体在图像内的位置等等)。例如，识别模块1530能够基于在图像处理模块1520中输出的物体和电子设备之间的距离信息，来识别图像内包括的至少一个物体。根据示例实施例，识别模块1530能够基于距离信息估计物体的配置信息。根据示例实施例，识别模块1530能够基于图像数据和距离信息来估计物体的配置信息。

在识别模块1530中识别的物体的配置信息可以基于深度图来估计。物体的配置信息能够包括诸如物体的形式(例如，线形、圆形、椭圆形等等)、物体的深度、物体的尺寸、物体的位置等等的信息。滤波器确定模块1540可以包括各种电路和程序元素，其能够基于物体的配置信息来确定图像滤波器。图像滤波器可以是如图6A至图6E中所示的各种形式的滤波器。滤波器确定模块1540能够基于物体的配置信息来选择一个或者多个图像滤波器。

滤波器应用模块1550可以包括各种电路和程序元素，其能够将在滤波器确定模块1540中确定的图像滤波器应用在经图像处理的获取图像，以生成新的图像。显示器模块1560能够将在滤波器应用模块1560中生成的新的图像作为预览图像显示。

在分析深度图和图像以及确定物体的配置信息(例如，物体区)的持续时间期间，电子设备能够向显示器模块1560提供通知，以通知它正处于图像处理的过程中。例如，电子设备能够把将被应用在最终拍摄图像的或者与此类似的图像处理效果(例如，滤波器效果)应用在预览屏幕，并且显示预览屏幕。通过这样做，电子设备能够通知它现在正在处理中，并且同时显示生成最终结果的过程。例如，当将图像滤波器应用在获取的图像时，电子设备能够改变预览图像的尺寸或者改变预览图像的属性(例如，模糊强度和曝光值)，从而让用户感到享受的感觉而不会无聊。

根据示例实施例，在图像传感器1510中获取的图像可以是食物图像。例如，如果食物被包括在物体当中，则图像传感器1510能够生成图像数据。图像数据能够包括食物图像和/或用于提取食物的距离信息的信号。图像处理模块1520能够处理食物图像数据，并且能够基于食物图像数据生成距离信息(例如，深度图)。食物图像可以通过物体的深度图和电子设备的姿势信息来表示。例如，深度图可以被2-PD图像传感器感测和获取，或者也可以被上表面相位差图像传感器或者聚焦调整图像传感器获取。深度图还可以通过分离的IR或者超声波测量设备来获得。电子设备的姿势信息可以通过安装在电子设备中的传感器(例如，加速度传感器和/或陀螺仪传感器)来获得。

识别模块1530能够基于深度图信息或者食物图像和深度图信息，来识别食物图像的配置信息(例如，食物图像的范围(或者尺寸)、位置、距离等等)。例如，识别模块1530能够基于能够进一步包括电子设备的深度图和/或姿势信息的获取的距离信息，来识别作为物体的食物的配置信息。滤波器确定模块1540能够基于物体(例如，食物)的配置信息，来确定将被应用在物体的最合适的图像滤波器。所确定的图像滤波器可以是多个预先准备的图像滤波器之一、或者两个或更多个图像滤波器的组合。例如，识别模块1530能够使用距离信息(例如，深度图)提取作为物体的食物的范围以及食物的位置。滤波器应用模块1540能够基于提取的食物范围和位置来确定最合适的图像滤波器。例如，如果在识别模块1530中识别的食物的范围是处于其在水平方向上长的形式，则滤波器确定模块1540能够确定图14B的线性滤波器。如果在识别模块1530中识别的食物的范围是圆形，滤波器确定模块1540能够确定图14D的圆形滤波器。

滤波器应用模块1550能够将在滤波器确定模块1540中确定的图像滤波器应用到在识别模块1530中输出的图像数据，以生成新的图像。例如，滤波器应用模块1550能够清楚显示被应用图像滤波器的区的图像(例如，在识别模块1530中识别的主要物体的区)，并且能够对于除此之外的外围区给出模糊效果。被应用图像滤波器的区可以基于通过距离信息识别的物体组成元素来设置。例如，图像滤波器中的模糊的中心可以是作为判据的聚焦的点。焦点可以是图像滤波器的中心，或者可以基于触摸等等而被多样化地设置。根据示例实施例，图像滤波方法能够在聚焦位置周围执行模糊处理，而不在聚焦位置中执行模糊处理。根据示例实施例，图像滤波方法能够以相互不同的模糊强度在聚焦位置中和聚焦位置周围执行模糊处理。

滤波器应用模块1550能够将不同于模糊效果的效果应用在被应用了图像滤波器的区的图像。例如，滤波器应用模块1550还能够应用给予明亮感觉的光照效果、或者扩展特定区的微距效果。例如，在食物范围是圆形的情况下，滤波器确定模块1540能够确定圆形滤波器和光照滤波器。如果这样，则滤波器应用模块1550能够将圆形滤波器区设置到物体所位于的区，并且将光照效果应用在物体图像。

如果在滤波器应用模块1550中生成新的图像，则显示器模块1560能够显示所生成的新的图像。在显示器模块1560中显示的图像可以是预览图像。在提取距离信息(例如，深度图)和估计物体区以便应用图像滤波器的同时，电子设备能够通过显示器模块1560显示它正在处理中。

根据示例实施例，在确定将应用图像滤波器的物体区的同时，电子设备能够在显示器模块1560上显示具有与将被图像处理和生成的新的图像的相似的效果的预览图像。例如，当电子设备显示预览图像时，电子设备能够改变和显示将被应用图像滤波器(例如，线性滤波器、圆形滤波器等等)的部分，或者能够改变和显示外围图像的模糊强度和/或亮度(例如，曝光值)。被应用图像滤波器的部分可以是整个图像。将被应用图像滤波器的部分的改变能够代表在图像滤波器内应用处理(例如，处理效果)的部分的改变。

因此，用户能够检查动态地改变以下操作的过程：通过预览图像分析食物、和自动地设置图像滤波器效果和卓越的画面质量。根据示例实施例，当电子设备显示预览图像时，电子设备能够基于电子设备的姿势信息来显示预览图像。例如，电子设备的姿势信息可以基于传感器模块来获取，并且可以从识别模块1530被提供给滤波器应用模块1550。滤波器应用模块1550能够根据电子设备的拍摄姿势，将图像滤波器应用在获取的图像，从而生成预览图像。滤波器应用模块1550能够将电子设备的姿势信息与预览图像一起输出到显示器模块1560。显示器模块1560能够显示基于电子设备的拍摄姿势的预览图像，并且能够显示相关联的拍摄姿势信息。

在示例实施例中，在显示预览图像的过程中，电子设备能够根据用户的选择来改变图像滤波器的应用区(例如，聚焦位置)。例如，电子设备能够在预览图像中通过用户的指定(例如，触摸等等)改变图像滤波器和中心位置。例如，如果滤波器区被用户设置(例如，如果用户的绘画输入被识别)，则识别模块1530能够通过所述由用户设置的滤波器区来生成配置信息。滤波器确定模块1540能够基于由用户设置的滤波器区来设置图像滤波器。在预览模式中，滤波器应用模块1550能够应用由用户设置的图像滤波器应用，以生成新的图像(例如，预览图像)。用户能够通过触摸输入等等来设置图像滤波器的聚焦点。如果聚焦点被设置，则滤波器应用模块1550能够以由用户设置的聚焦点为中心，来应用所设置的图像滤波器。

如果用户在显示预览图像的过程中生成捕获命令，则电子设备能够将滤波器应用模块1550中生成的新的图像存储在存储器中。根据示例实施例，电子设备能够存储在图像处理模块1520中获取的图像数据和在滤波器应用模块1550中生成的新的图像的全部。

根据本公开的各种示例实施例的电子设备能够包括相机模块、存储器模块、以及可操作地与相机模块和存储器模块耦合的处理器。处理器能够通过相机模块获取图像，基于获取的图像提取距离信息，基于提取的距离信息确定用于物体的图像处理技术，将确定的图像处理技术应用在获取的图像，并且显示被应用的图像。

相机模块能够包括生成图像数据、以及用于提取电子设备和物体之间的距离信息的信号的图像传感器。

相机模块的图像传感器能够包括单位像素的阵列，并且单位像素能够包括两个子像素。处理器能够基于单位像素的子像素的信号之间的相位差来提取距离信息，并且平均所述子像素的信号以生成图像数据。

相机模块的图像传感器能够包括上表面相位差传感器和像素传感器，并且所述处理器能够基于上表面相位差传感器的信号来提取距离信息、以及基于像素传感器的信号来生成图像数据。

所述处理器能够基于图像提取距离信息，并且基于距离信息识别物体。

图像处理技术是图像滤波器，并且处理器能够提取所识别的物体的配置信息、基于所提取的配置信息确定图像滤波器、以及将所确定的图像滤波器应用在获取的图像数据以生成新的图像。

在确定图像处理技术的同时，处理器能够显示预览图像，并且所述预览图像可以是被应用了基于模糊、曝光变化等等的动态滤波器的预览图像。

电子设备还能够包括感测电子设备的姿势的传感器模块，并且处理器能够在作为预览图像被显示的新的图像中显示电子设备的姿势信息。

处理器能够在配置信息中选择线性滤波器、圆形滤波器、光照滤波器、微距滤波器、和选择性聚焦滤波器当中的至少一个滤波器，并且将所选择的滤波器应用在图像数据。

所生成的新的图像可以是以所述图像滤波器的焦点为判据在其外围区中被模糊处理的图像。也就是，所生成的新的图像可以是在除了所述图像滤波器的焦点位置之外的其外围区中被模糊处理的图像。

图像滤波器可以是被应用在食物图像的图像滤波器。

根据捕获请求，处理器能够将新的图像存储在存储器模块中。

相机模块能够包括生成二维图像数据的图像传感器。处理器能够基于图像数据提取物体的轮廓线信息，并且基于轮廓线信息识别物体的配置信息，并且基于配置信息确定图像滤波器，以及将所确定的图像滤波器应用在图像数据。

图16是示出根据本公开的各种示例实施例的在电子设备中处理图像的示例方法的流程图。

参考图16，在操作1611，如果拍摄命令被生成，则电子设备(例如，图4的处理器400)能够设置拍摄条件，并且控制相机模块启动拍摄。拍摄模式可以是应用图像滤波器的拍摄模式。如果拍摄被启动，则电子设备的图像传感器能够将通过镜头入射的光学信号转换为图像数据。图像数据能够包括图像的亮度信息和色彩信息，并且能够包括用于提取物体的距离信息的信号。

在示例实施例中，电子设备能够同时获取图像数据和用于提取距离信息的信号。例如，图像传感器可以是其中生成图像数据的传感器和生成用于提取距离信息的信号的传感器被集成在一个电路中的一体式图像传感器。在一体式图像传感器中，电子设备能够在相同的帧持续时间获取图像数据和用于提取距离信息的信号。

在示例实施例中，电子设备能够在相互不同的时间获取图像数据和用于提取距离信息的信号。例如，图像传感器可以是其中生成图像数据的传感器和生成用于提取距离信息的信号的传感器被独立地构建的立体式图像传感器。在立体式图像传感器中，电子设备能够单独地获取图像数据和用于提取距离信息的信号。

在示例实施例中，电子设备可以不映射图像数据和用于提取距离信息的信号。例如，在图像传感器中，生成图像数据的传感器和用于提取距离信息的传感器可能在尺寸(例如，分辨率)上不同。如果传感器在尺寸上相互不同，则电子设备能够以像素为单位来映射图像数据和用于提取距离信息的信号。电子设备能够按照区来映射图像数据和用于提取距离信息的信号。例如，电子设备能够将传感器分割为段，并且能够按照段来映射图像数据和用于提取距离信息的信号。

如果电子设备获取图像数据1613，则在操作1615，电子设备能够基于三维图像数据来提取物体的距离信息。物体的距离信息(例如，深度图)可以是物体和电子设备之间的距离信息。

图像传感器可以是不能够生成用于提取距离信息的信号的图像传感器。如果这样，则在操作1615，电子设备能够提取物体的轮廓线信息。例如，在操作1615，电子设备能够提取在图像传感器中生成的图像数据的轮廓线，并且生成与距离信息相似的信息。图像数据的轮廓线可以基于图像的轮廓线、色彩数据的改变、图像的亮度等等来提取。

在提取物体的距离信息之后，在操作1617，电子设备能够基于物体的距离信息和/或图像数据来识别物体的配置信息。例如，物体的配置信息能够包括诸如物体的范围(或者尺寸)、在图像范围内的位置、物体的深度等等的信息。根据示例实施例，在图像传感器中输出的图像数据和用于提取物体的距离信息的信号可以在相互不同的时间生成。如果没有进行用于生成图像数据的帧和用于提取物体距离信息的信号的帧的时间的同步，则在操作1617，在电子设备同步图像数据的帧和用于提取物体距离信息的信号的帧之后，电子设备能够基于图像数据和用于提取物体距离信息的信号来识别物体的配置信息。

根据示例实施例，在图像传感器中输出的图像数据和用于提取物体的距离信息的信号可能是幅度(或者分辨率)不彼此映射的信号。如果所述两个信号没有按照像素或者按照区来映射，则在操作1617，电子设备能够映射所述图像数据和所述用于提取物体距离信息的信号，并且基于映射的两个信号来识别物体的配置信息。例如，如果图像数据的分辨率(或者传感器尺寸)大于用于提取距离信息的信号的分辨率，则电子设备能够将图像的尺寸分割为段，并且将用于提取相应的距离信息的信号映射到图像段，并且基于映射的两个信号来识别物体的配置信息。

在操作1619，电子设备能够基于识别的物体的配置信息来确定图像处理技术。图像处理技术可以是图像滤波器。如果图像滤波器被确定，则在操作1621，电子设备能够将所确定的图像滤波器应用在获取的图像数据，以生成新的图像。在操作1623，电子设备能够在显示器上显示所生成的新的图像，例如，预览图像。显示在显示器上的图像可以是预览图像。

预览图像可以是其中自动设置的图像滤波器被应用到获取的图像的图像。如果拍摄构图和焦点根据用户的拍摄姿势(例如，拍摄角度和/或距离)而改变，则在操作1613，电子设备能够获取被拍摄姿势改变的图像。如果图像被改变，则电子设备能够基于改变的图像数据来提取距离信息。电子设备能够基于所提取的距离信息来识别最新识别的物体的配置信息，并且能够基于所识别的配置信息来改变图像滤波器。

用户能够检查显示在显示器上的预览图像。在电子设备基于所生成的图像来识别物体配置信息并且设置图像滤波器时，电子设备能够显示具有与被应用了图像滤波器的图像相似的效果的预览图像。例如，在电子设备确定图像滤波器时，电子设备能够通过使用模糊、曝光变化等等在预览屏幕上显示各种形式的预览图像。例如，电子设备能够将具有变化的感觉的动态滤波器(例如，模糊应用、曝光变化等等)应用在预览屏幕，从而通过处理在视觉上为用户提供适合于物体的图像滤波器。

在显示预览图像的情况下，用户能够生成绘画和/或触摸输入。如果绘画输入被感测到，则电子设备能够基于所述绘画输入来设置图像滤波器，并且将被应用了所设置的图像滤波器的图像作为预览图像进行显示。如果触摸输入被感测到，则电子设备能够基于触摸位置来设置图像滤波器的聚焦位置，并且显示被应用了所设置的图像滤波器的预览图像。

如果被应用了期望的构图和图像滤波器的新的图像作为预览图像被显示，则用户能够生成捕获命令。如果捕获命令被生成，则在操作1625，电子设备能够识别这个捕获命令。在操作1627，电子设备能够存储被应用了图像滤波器的新的图像。在操作1627，电子设备还能够存储被应用了图像滤波器的新的图像和在图像传感器中获取的图像的全部。

根据示例实施例，在电子设备的图像传感器中获取的图像可以是食物图像。用户能够在拍摄菜单中设置食物模式。如果食物模式被选择，则在操作1611，电子设备能够识别食物模式的设置，并且能够执行应用图像滤波器和生成图像的操作。根据示例实施例，在电子设备使用2-PD图像传感器的情况下，电子设备能够生成图像数据和用于提取距离信息的信号。例如，构成单位像素的子像素的信号可以是用于提取距离信息的信号，并且所述子像素的平均值(或者总和)信号可以是图像数据。图像传感器能够转换通过镜头入射的光学信号，并且将所述光学信号输出为图像信息。在操作1613，电子设备能够获取食物图像信息。例如，物体可以是食物，并且食物能够在电子设备和食物之间具有相互不同的距离。例如，在食物被包含在容器中的情况下，所述容器和所述食物能够具有与电子设备的相互不同的距离。并且，甚至放置在容器之内的食物能够具有相互不同的距离信息。在操作1615，电子设备能够从食物的图像数据提取距离信息。例如，如果如图13A中那样获取了食物图像，则电子设备能够如图13B中那样提取所述食物图像的深度图。在操作1617，电子设备能够基于深度图(或者深度图和图像数据)，来估计将应用图像滤波器的食物的配置信息(例如，食物范围和/或位置、食物图像的距离等等)。

例如，如果食物被包括在构成图像的物体当中，则电子设备能够估计(或者感测)食物的形式、位置信息、食物和电子设备之间的位置关系。从图像提取的距离信息可以通过图像(例如，所获取的整个图像内的食物图像)的深度图和电子设备的姿势信息来表示。例如，深度图可以通过2-PD图像传感器来获得，或者还可以通过包括上表面相位差传感器的图像传感器来获取。深度图还可以通过单独的IR或者超声波测量设备来获得。电子设备的姿势信息可以通过安装在电子设备中的传感器来获得。

在操作1619，电子设备能够基于距离信息(例如电子设备的深度图和/或姿势信息)，来确定将被应用在物体的最合适的图像滤波器。图像滤波器可以是各种形式的图像滤波器，并且可以被存储在存储器中。根据所识别的物体的配置信息(例如，食物图像的范围、食物图像的位置等等)，电子设备能够设置预先准备的多个图像滤波器当中的一个或多个图像滤波器。

根据示例实施例，如果食物图像具有线性形式，则电子设备能够设置图6A的线性滤波器。根据示例实施例，如果食物图像被包含在具有圆形或者多边形形式的容器之内，则电子设备能够设置图6B的圆形滤波器。根据示例实施例，在深度的相对改变平滑的情况下，电子设备能够应用线性滤波器。根据示例实施例，在深度的改变比较突然的情况下，电子设备能够以所述深度的区为判据来应用圆形滤波器。根据示例实施例，如果食物图像在亮度方面比较暗，则电子设备能够设置图6C的光照滤波器。根据示例实施例，如果食物图像在整个图像中具有小尺寸，则电子设备能够设置图6D的微距滤波器。根据示例实施例，在电子设备强调食物图像的情况下，电子设备能够设置图6E的选择性聚焦滤波器。

根据示例实施例，如果食物图像具有线性形式并且在亮度方面是暗的，则电子设备能够将线性滤波器和光照滤波器一起设置。根据示例实施例，如果食物图像被包含在圆形容器中并且在整个图像中具有小尺寸，则电子设备能够将圆形滤波器和微距滤波器一起设置。根据示例实施例，如果食物图像被包含在椭圆容器中并且电子设备强调所述椭圆容器内的食物图像，则电子设备能够将圆形滤波器和选择性聚焦滤波器一起设置。

电子设备能够基于距离信息估计整个图像中的食物图像范围，并且设置将被应用在所估计的食物图像的最优图像滤波器。在设置图像滤波器之后，在操作1621，电子设备能够将所设置的图像滤波器应用在食物图像，以生成新的图像。例如，电子设备清楚地显示被应用了图像滤波器(例如，线性滤波器和/或圆形滤波器)的区，并且对除了食物图像之外的外围区图像进行模糊处理。例如，在圆形滤波器和光照滤波器被设置的情况下，电子设备能够通过将光照效果给予被设置了圆形滤波器的范围的食物图像来进行显示，以强调所述食物图像。未被设置图像滤波器的范围的图像可以被模糊处理。根据示例实施例，当电子设备应用图像滤波器以生成新的图像时，电子设备能够应用给予明亮感觉的光照效果或者扩展特定区的微距效果。

在操作1623，电子设备能够将被应用了图像滤波器的新的图像作为预览图像进行显示。电子设备能够在提供被应用了图像滤波器的预览图像之前显示其它图像。例如，在分析深度图和图像以及确定将应用图像滤波器的区(或者物体区)的持续时间期间，电子设备能够为用户提供通知它正在处理中的通知。也就是说，在显示被应用了图像滤波器的新的图像之前，电子设备能够显示预览屏幕，所述预览屏幕应用将被应用到最终拍摄图像的效果或者与该效果类似的效果(例如，滤波器效果)。在电子设备生成应用图像滤波器的新的图像的同时，电子设备能够向用户通知它现在正在图像处理中，并且同时显示生成最终结果的过程，从而使得用户感到享受图像处理功能的感觉而不会厌烦。例如，当电子设备应用图像滤波器时，电子设备能够改变食物图像的尺寸(例如，模糊强度和/或曝光值)，并且显示食物图像。例如，电子设备能够在预览屏幕上动态地显示通知以下内容的操作：分析食物图像，并且自动地设置图像滤波器效果和卓越的画面质量。

用于在根据本公开的各种示例实施例的电子设备中操作的方法能够包括以下操作：通过图像传感器获取图像；从获取的图像提取距离信息；基于提取的距离信息确定用于物体的图像处理技术；将所确定的图像处理技术应用在获取的图像以生成新的图像；以及将新的图像作为预览图像显示。

获取图像的操作能够包括获取图像数据和获取用于提取电子设备和物体之间的距离信息的信号的操作。

确定图像处理技术的操作能够包括基于深度图识别物体的配置信息、以及基于所述配置信息设置用于处理图像的图像滤波器的操作。

确定图像处理技术的操作能够包括基于图像数据的轮廓线识别配置信息、以及基于所述配置信息设置用于处理图像的图像滤波器的操作。

设置图像滤波器的操作能够基于所识别的物体的配置信息来设置线性滤波器、圆形滤波器、光照滤波器、微距滤波器、和选择性聚焦滤波器当中的至少一个滤波器。

生成新的图像的操作能够生成以所述图像滤波器的焦点为判据在其外围区中被模糊处理的图像。

确定图像处理技术的操作还能够包括显示预览图像的操作，并且所述显示预览图像的操作能够显示被应用了基于模糊、曝光变化等等的动态滤波器的预览图像。

根据各种示例实施例，包括成像设备的电子设备能够分析获取的图像以便自动地设置图像处理技术，并且将所设置的图像处理技术应用在获取的图像以生成新的图像。如果应用图像处理技术的拍摄操作(例如，食物拍摄)被请求，则电子设备能够从通过成像设备获取的图像数据中提取主要物体的配置信息，并且能够基于所提取的配置信息来自动地设置将应用的图像滤波器，并且将图像滤波器应用在获取的图像，以及显示其中主要物体被强调的图像。

已经参考附图描述了本公开的各种示例实施例。应该理解，各种示例实施例意图是例示性的，而不是限制性的。因此，本领域普通技术人员将清楚，各种修改、变化、和替换将落入如所附权利要求中定义的本公开的真实精神和全部范围之内。

Claims (20)

1.一种电子设备，包括：

相机模块；

存储器模块；和

处理器，可操作地与所述相机模块和存储器模块耦合，

其中，所述处理器被配置为：

通过相机模块获取图像数据，

基于获取的图像数据提取距离信息，

基于物体的形状来确定多个图像滤波器当中用于所述物体的图像滤波器，其中，基于所述距离信息确定所述物体的形状，以及

将所确定的图像滤波器应用在所获取的图像数据以生成新的图像，并且显示所述新的图像。

2.如权利要求1所述的设备，其中，所述相机模块包括被配置为获取图像数据和生成用于提取电子设备和物体之间的距离的距离信息的信号的图像传感器。

3.如权利要求2所述的设备，其中，所述相机模块的图像传感器包括单位像素的阵列，每个单位像素包括两个子像素，并且

所述处理器被配置为基于所述单位像素的子像素的信号之间的相位差来生成用于提取距离信息的信号，并且平均所述子像素的信号以生成图像数据。

4.如权利要求2所述的设备，其中，所述相机模块的图像传感器包括上表面相位差传感器和像素传感器，并且

所述处理器被配置为基于上表面相位差传感器的信号来生成用于提取距离信息的信号，并且基于所述像素传感器的信号来生成图像数据。

5.如权利要求2所述的设备，其中，所述处理器被配置为基于所述图像数据提取距离信息，并且基于所述距离信息识别物体。

6.如权利要求5所述的设备，其中，所述处理器被配置为提取所识别的物体的配置信息，基于所提取的配置信息来确定图像滤波器，将所确定的图像滤波器应用在获取的图像数据，并且生成新的图像。

7.如权利要求1所述的设备，其中，所述处理器被配置为在确定图像滤波器的过程中显示预览图像，并且

所述预览图像包括被应用了基于模糊和/或曝光变化的动态滤波器的预览图像。

8.如权利要求6所述的设备，还包括被配置为感测电子设备的姿势的传感器模块，并且

所述处理器被配置为在作为预览图像被显示的所述新的图像中显示电子设备的姿势信息。

9.如权利要求6所述的设备，其中，所述处理器被配置为基于所述配置信息选择以下各项中的至少一个：线性滤波器、圆形滤波器、光照滤波器、微距滤波器、和选择性聚焦滤波器，并且将所选择的滤波器应用在图像数据。

10.如权利要求9所述的设备，其中，所生成的新的图像包括以所述图像滤波器的焦点为判据在其外围区中被模糊处理的图像。

11.如权利要求6所述的设备，其中，所述图像滤波器包括被应用在食物图像的图像滤波器。

12.如权利要求6所述的设备，其中，所述处理器被配置为基于捕获请求将所述新的图像存储在存储器模块中。

13.如权利要求1所述的设备，其中，所述相机模块包括生成二维图像数据的图像传感器，并且

所述处理器被配置为基于图像数据提取物体的轮廓线信息，并且基于轮廓线信息识别物体的配置信息，并且基于配置信息确定图像滤波器，以及将所确定的图像滤波器应用在图像数据。

14.一种用于在电子设备中进行操作的方法，所述方法包括：

通过图像传感器获取图像数据；

从获取的图像数据提取距离信息；

基于物体的形状来确定多个图像滤波器当中用于所述物体的图像滤波器，其中，基于所述距离信息确定所述物体的形状；

将所确定的图像滤波器应用在获取的图像数据，以生成新的图像；和

显示所述新的图像。

15.如权利要求14所述的方法，其中，所述获取所述图像数据包括：

获取图像数据；以及

获取用于提取电子设备和物体之间的距离的距离信息的信号。

16.如权利要求14所述的方法，其中，所述确定所述图像滤波器包括：

基于深度图识别物体的配置信息；和

基于所述配置信息来设置用于处理图像的图像滤波器。

17.如权利要求14所述的方法，其中，所述确定所述图像滤波器包括：

基于所述图像数据的轮廓线来识别配置信息；以及

基于所述配置信息来设置用于处理图像的图像滤波器。

18.如权利要求16所述的方法，其中，所述设置所述图像滤波器基于所识别的物体的配置信息来设置以下各项中的至少一个：线性滤波器、圆形滤波器、光照滤波器、微距滤波器、和选择性聚焦滤波器。

19.如权利要求14所述的方法，其中，所述生成新的图像生成以所述图像滤波器的焦点的判据在其外围区中被模糊处理的图像。

20.如权利要求14所述的方法，其中，所述确定所述图像滤波器还包括显示预览图像，以及

显示预览图像的步骤包括显示被应用了基于模糊和/或曝光变化的动态滤波器的预览图像。

Images