CN109196316A - 用于验证图像的光源的方法和电子设备 - Google Patents

用于验证图像的光源的方法和电子设备 Download PDF

Info

Publication number
CN109196316A
CN109196316A CN201780029148.XA CN201780029148A CN109196316A CN 109196316 A CN109196316 A CN 109196316A CN 201780029148 A CN201780029148 A CN 201780029148A CN 109196316 A CN109196316 A CN 109196316A
Authority
CN
China
Prior art keywords
image
pixel
light
light source
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780029148.XA
Other languages
English (en)
Other versions
CN109196316B (zh
Inventor
朴宰亨
李正源
朴景台
南贤智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109196316A publication Critical patent/CN109196316A/zh
Application granted granted Critical
Publication of CN109196316B publication Critical patent/CN109196316B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J5/605—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature using visual determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J2005/608—Colour temperature of light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Telephone Function (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

一种电子设备包括：包括像素阵列的图像传感器；以及与所述图像传感器电连接的图像处理器。所述图像处理器被配置为：从所述像素阵列获取对象的基于第一组光路生成的第一图像，并获取所述对象的基于第二组光路生成的第二图像，所述第二组光路与所述第一组光路具有相位差；以像素为单位对所述第一图像中包括的像素值和所述第二图像中包括的像素值进行归一化；以及基于与归一化的所述像素值的变化相关联的参数，验证由所述对象反射的光的光源或从所述对象产生的光的光源。

Description

用于验证图像的光源的方法和电子设备
技术领域
本公开一般涉及一种用于在拍摄对象的照片时通过使用出现相位差的传感器的图像来验证光源的方法，以及执行该方法的电子设备。
背景技术
随着IT技术的高度发展，相机已经从传统的胶片相机发展成数码相机。数码相机可以将光转换为电图像信号，并且可以将电图像信号存储为数字数据(图像数据)。
与传统的胶片相机不同，数码相机可以考虑到在拍摄时施加到对象的光的色温而执行白平衡以校正到对象的特定中性色。通常，白平衡技术已经跟踪了在所拍摄图像的一些或所有像素中的非彩色区域，并且已经基于该非彩色区域的像素值调整了整个图像的色温。
发明内容
技术问题
然而，根据一般的白平衡技术，由于在所拍摄的对象的图像中混合了光源的颜色和对象的特定颜色，因此可能无法准确或精确地估计应用白平衡技术所必需的光源的色温和类型。而且，如果使用一般的白平衡技术，由于需要分别考虑到用于验证典型光源的方法和用于验证异常光源的方法而实现算法，所以电子设备(例如，相机)的计算资源已被过度地使用，从而导致大量增加了功率和时间的消耗。
问题的解决方案
本公开的示例方面至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的示例方面要提供一种用于使用所拍摄的图像来验证由对象反射的光的光源或从该对象产生的光的光源的方法以及执行该方法的电子设备。本公开的另一示例方面要提供一种用于基于经验证的光源来执行白平衡的方法以及执行该方法的电子设备。
根据本公开的示例方面，一种电子设备包括：图像传感器，所述图像传感器包括像素阵列；以及与所述图像传感器电连接的图像处理器。所述图像处理器被配置为：从所述像素阵列获取对象的基于第一组光路生成的第一图像，并获取所述对象的基于第二组光路生成的第二图像，所述第二组光路与所述第一组光路具有相位差；以像素为单位对所述第一图像中包括的像素值和所述第二图像中包括的像素值进行归一化；以及基于与归一化的所述像素值的变化相关联的参数，验证由所述对象反射的光的光源和/或从所述对象产生的光的光源。
根据本公开的另一示例方面，一种方法包括：获取对象的基于第一组光路生成的第一图像，并获取所述对象的基于第二组光路生成的第二图像，所述第二组光路与所述第一组光路具有相位差；以像素为单位对所述第一图像中包括的像素值和所述第二图像中包括的像素值进行归一化；以及基于与归一化的所述像素值的变化相关联的参数，验证由所述对象反射的光的光源或从所述对象产生的光的光源。
通过以下结合附图公开了本公开的各种示例实施例的详细描述，本公开的其他方面、优点和显著特征将变得对于本领域技术人员显而易见。
附图说明
根据以下结合附图的详细描述，本公开的上述和其他方面、特征和附带的优点将更加明显并且易于理解，附图中同样的附图标记表示同样的元件，附图中：
图1是示出根据各种示例实施例的网络环境中的示例电子设备的示图；
图2是示出根据各种示例实施例的示例电子设备的框图；
图3是示出根据各种示例实施例的示例程序模块的框图；
图4是示出根据本公开的示例实施例的示例电子设备的框图；
图5是示出根据示例实施例的图像传感器的示例配置的图，
图6是示出根据各种示例实施例的光电元件的示例布局的图；
图7是示出根据示例实施例的用于获取相位差图像的示例方法的图；
图8是示出根据示例实施例的示例光源验证方法的流程图；
图9是示出根据另一示例实施例的示例光源验证方法的流程图；
图10是示出根据示例实施例的对象的图像；
图11是示出根据示例实施例的三维地绘制了第一图像组和第二图像组的像素值的示例的图表；
图12是示出根据示例实施例的三维地绘制了第一图像组和第二图像组的归一化像素值的示例的图表；
图13是示出根据示例实施例的导出K参数的示例的图表；
图14是示出白炽灯下方的示例非彩色对象和在拍摄该非彩色对象时的归一化像素值的三维曲线图的图。
图15是示出根据示例实施例的通过使用光圈来获取相位差图像的示例方法的示图；
图16是示出根据示例实施例的使用OIS驱动器模块获取相位差图像的示例方法的示图；
图17是示出根据另一示例实施例的示例光源验证方法的流程图；以及
图18是示出根据另一示例实施例的导出K参数的示例的图表。
贯穿整个附图，应当注意，同样的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
可以参照附图描述本公开的各种示例实施例。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种修改、等同形式和/或替换。关于附图的描述，相似的元件可以用相似的附图标记进行标记。
在本公开中，本文使用的表述“具有”、“可以具有”、“包括”和“包含”，或“可以包括”和“可以包含”表示存在相应的特征(例如，诸如数字值、功能、操作或组件的元件)但不排除存在其他特征。
在本公开中，本文使用的表述“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”等可以包括一个或更多个相关所列术语的任何和所有组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指包括下列所有情况：(1)包括至少一个A；(2)包括至少一个B；或(3)包括至少一个A和至少一个B两者。
本文使用的诸如“第一”、“第二”等术语可以指代本公开的各种实施例的各种元件，但是不限制这些元件。例如，“第一用户设备”和“第二用户设备”不管用户设备的顺序或优先级指示了不同的用户设备。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
应当理解，当元件(例如，第一元件)被称为“(可操作地或通信地)与另一元件(例如，第二元件)耦接”/“(可操作地或通信地)耦接到另一元件(例如，第二元件)”或“(可操作地或通信地)连接到另一元件(例如，第二元件)”时，它可以与其他元件直接耦接/耦接到其他元件或连接到其他元件，或者可以存在中间元件(例如，第三元件)。另一方面，当元件(例如，第一元件)被称为“与另一元件(例如，第二元件)直接耦接”/“直接耦接到另一元件(例如，第二元件)”或“直接连接到另一元件(例如，第二元件)”时，应当理解不存在中间元件(例如，第三元件)。
根据情况，本文使用的“被配置为”的表述可以用作例如“适合于”、“有能力”、“设计为”、“适应于”、“用做”或“能够”。术语“被配置为”并不仅指硬件中的“专门设计”。相反，表述“被配置为……的设备”可以指代“能够”与另一设备或其他组件一起工作的设备。CPU，例如，“被配置为执行A、B和C的处理器”可以指用于执行相应操作的专用处理器(例如，嵌入式处理器)或通用处理器(例如，中央处理单元(CPU)或应用处理器)，该通用处理器可以通过执行存储在存储器设备中的一个或更多个软件程序来执行相应的操作。
本公开中使用的术语被用于描述本公开的各种示例实施例，但不旨在限制本公开的范围。除非另有说明，否则单数形式的术语可以包括复数形式。本文使用的所有术语(包括技术或科学术语)可以具有本领域技术人员通常理解的相同含义。将进一步理解的是，在字典中定义并且通常使用的术语也应当被解释为在相关的现有领域中的惯例，而不是理想化或过于正式的检测，除非本文在本公开的各种示例实施例中明确地如此定义。在一些情况下，即使术语是在本公开中定义的术语，它们也可以不被解释为排除本公开的实施例。
根据本公开的各种示例实施例的电子设备可以包括以下项中的至少一个：智能手机、平板个人计算机(PC)、移动电话机、视频电话机、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机或可穿戴设备等，但不限于此。根据各种实施例，可穿戴设备可以包括以下项中的至少一个：配饰型(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式设备(HMD)、织物或服装集成型(例如，电子服饰)、身体附着型(例如，皮肤垫或纹身)或可植入型(例如，可植入电路)等，但不限于此。
根据各种示例实施例，电子设备可以是家用电器。家用电器可以包括例如以下项中的至少一个：例如，电视机(TV)、数字多功能光盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、电视盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、便携式摄像机、电子相框等，但不限于此。
根据另一示例实施例，电子设备可以包括以下项中的至少一个：医疗设备(例如，各种便携式医疗测量设备(例如，血糖监测设备、心跳测量设备、血压测量设备、体温测量设备等))、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描仪和超声波设备)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车载信息娱乐设备、船舶电子设备(例如，导航系统和陀螺仪)、航空电子设备、安全设备、车辆头部单元、工业或家用机器人、自动柜员机(ATM)、销售点(POS)或物联网(例如，灯泡、各种传感器、电表或煤气表、洒水装置、火警警报器、恒温器、路灯、烤面包机、运动设备、热水箱、加热器、锅炉等)等，但不限于此。
根据示例实施例，电子设备可以包括以下项中的至少一个：家具或建筑物/结构的部分、电子板、电子签名接收设备、投影仪，或各种测量仪器(例如，水表、电表、燃气表)等，但不限于此。根据各种实施例，电子设备可以是上述设备中的一个或其组合。根据示例实施例的电子设备可以是柔性电子设备。此外，根据本公开的实施例的电子设备可以不限于上述电子设备，并且可以包括其他电子设备和根据技术发展的新电子设备。
在下文中，将参照附图描述根据各种示例实施例的电子设备。本文使用的术语“用户”可以指使用电子设备的人或可以指使用电子设备的设备(例如，人工智能电子设备)。
图1是示出根据各种示例实施例的网络环境中的示例电子设备的图。
参照图1，根据各种实施例，电子设备101、102或104或者服务器106可以通过网络162或短程通信164彼此连接。电子设备101可以包括总线110、处理器(例如，包括处理电路)120、存储器130、输入/输出接口(例如，包括输入/输出电路)150、显示器160和通信接口(例如，包括通信电路)170。根据一个实施例，电子设备101可以不包括上述元件中的至少一个，或者还可以包括其他元件。
例如，总线110可以互连上述元件110至170，并且可以包括用于在上述元件之间传送通信(例如，控制消息和/或数据)的电路。
处理器120可以包括各种处理电路，例如但不限于，专用处理器、中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或更多个。例如，处理器120可以执行与电子设备101的至少其他元件的控制和/或通信相关联的算术运算或数据处理。
存储器130可以包括易失性存储器和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他元件相关联的指令或数据。根据实施例，存储器130可以存储软件和/或程序140。程序140例如可以包括内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141的至少一部分、中间件143或API 145可以称为“操作系统(OS)”。
例如，内核141可以控制或管理用于执行其他程序(例如，中间件143、API 145和应用程序147)的操作或功能的系统资源(例如，总线110、处理器120、存储器130等)。此外，内核141可以提供允许中间件143、API 145或应用程序147访问电子设备101的离散元件以便控制或管理系统资源的接口。
中间件143可以履行中介角色，使得API 145或应用程序147与内核141通信以交换数据。
此外，中间件143可以根据优先级处理从应用程序147接收到的任务请求。例如，中间件143可以为应用程序147的至少一个分配优先级，该优先级使得可以使用电子设备101的系统资源(例如，总线110、处理器120、存储器130等)。例如，中间件143可以根据分配给至少一个任务请求的优先级来处理一个或更多个任务请求，这使得可以对一个或更多个任务请求执行调度或负载平衡。
API 145例如可以是应用程序147通过其对由内核141或中间件143提供的功能进行控制的接口，并且例如可以包括用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，指令)。
输入/输出接口150可以包括各种输入/输出电路并且充当例如接口的作用，该接口将用户或另一外部设备的指令或数据输入发送到电子设备101的(多个)其他元件。此外，输入/输出接口150可以将从电子设备101的(多个)其他元件接收的指令或数据输出到用户或另一外部设备。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器等，但不限于此。显示器160例如可以向用户显示各种内容(例如，文本、图像、视频、图标、符号等)。显示器160可以包括触摸屏，并且例如可以接收使用电子笔或用户身体的一部分输入的触摸、手势、接近或悬停。
例如，通信接口170可以包括各种通信电路并在电子设备101和外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线通信或有线通信被连接到网络162，以便与外部设备(例如，第二外部电子设备104或服务器106)通信。
无线通信可以包括例如LTE(长期演进)、LTE-A(高级LTE)、CDMA(码分多址)、WCDMA(宽带CDMA)、UMTS(通用移动通信系统)、WiBro(无线宽带)、GSM(全球移动通信系统)等中的至少一个，作为蜂窝通信协议。此外，无线通信例如可以包括短距离通信164。短距离通信164可以包括无线保真(Wi-Fi)、蓝牙、近场通信(NFC)、磁条传输(MST)、全球导航卫星系统(GNSS)等中的至少一个。
MST可以响应于传输数据使用电磁信号生成脉冲，并且该脉冲可以生成磁场信号。电子设备101可以将磁场信号传送到销售点(POS)，并且POS可以使用MST读取器来检测磁场信号。POS可以通过将检测到的磁场信号转换为电信号来恢复数据。
基于可用区域、带宽等，GNSS系统可以包括例如以下项中的至少一个：全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(以下称为“北斗”)或欧洲全球卫星导航系统(以下简称“伽利略”)。在本公开的下文中，“GPS”和“GNSS”可以互换使用。有线通信例如可以包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、普通电话业务(POTS)等中的至少一个。网络162可以包括电信网络(例如，计算机网络(例如，LAN或WAN)、因特网或电话网络)中的至少一个。
第一外部电子设备102和第二外部电子设备104中的每个可以是其类型与电子设备101的类型不同或相同的设备。根据实施例，服务器106可以包括一个或更多个服务器的组。根据各种实施例，电子设备101将执行的全部或部分操作可以由另一个或多个电子设备(例如，电子设备102和104或服务器106)执行。根据实施例，在电子设备101自动执行或响应于请求来执行某一功能或服务的情况下，电子设备101可以不在内部执行功能或服务，但是可选地，它可以请求在其他设备(例如，电子设备102或104或服务器106)处执行与电子设备101相关联的功能的至少一部分。其他电子设备(例如，电子设备102或104或服务器106)可以执行所请求的功能或附加功能，并且可以将执行结果发送到电子设备101。电子设备101可以使用所接收的结果来提供所请求的功能或服务，或者可以另外处理所接收的结果以提供所请求的功能或服务。为此，例如可以使用云计算、分布式计算或客户端-服务器计算。
图2是示出根据各种示例实施例的示例电子设备的框图。
参照图2，电子设备201例如可以包括图1中所示的电子设备101的全部或一部分。电子设备201可以包括一个或更多个处理器(例如，应用处理器)(例如，包括处理电路)210、通信模块(例如，包括通信电路)220、用户识别模块229、存储器230、安全模块236、传感器模块240、输入设备(例如，包括输入电路)250、显示器260、接口(例如，包括接口电路)270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
处理器210可以包括各种处理电路，并驱动例如操作系统(OS)或应用以控制连接到处理器210的多个硬件或软件元件，并且可以处理和计算各种数据。例如，处理器210可以用片上系统(SoC)实现。根据实施例，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2中所示的元件的至少一部分(例如，蜂窝模块221)。处理器210可以加载和处理从其他元件(例如，非易失性存储器)中的至少一个接收到的指令或数据，并且可以将各种数据存储在非易失性存储器中。
通信模块220可以被配置为与图1的通信接口170相同或类似。通信模块220可以包括各种通信电路，例如但不限于，蜂窝模块221、Wi-Fi模块222、蓝牙(BT)模块223、GNSS模块224(例如，GPS模块、Glonass模块、北斗模块或伽利略模块)、近场通信(NFC)模块225、MST模块226和射频(RF)模块227。
蜂窝模块221例如可以通过通信网络来提供语音通信、视频通信、个性服务、因特网服务等。根据实施例，蜂窝模块221可以通过使用用户识别模块(例如，SIM卡)229来执行通信网络内的电子设备201的辨别和认证。根据实施例，蜂窝模块221可以执行处理器210提供的至少一部分功能。根据实施例，蜂窝模块221可以包括通信处理器(CP)。
例如，Wi-Fi模块222、BT模块223、GNSS模块224、NFC模块225或MST模块226中的每个可以包括用于处理通过相应模块交换的数据的处理器。根据实施例，蜂窝模块221、Wi-Fi模块222、BT模块223、GNSS模块224、NFC模块225或MST模块226的至少一部分(例如，两个或更多个)可以被包括在一个集成电路(IC)或IC封装中。
例如，RF模块227可以发送和接收通信信号(例如，RF信号)。例如，RF模块227可以包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例，蜂窝模块221、Wi-Fi模块222、BT模块223、GNSS模块224、NFC模块225或MST模块226中的至少一个可以通过单独的RF模块来发送和接收RF信号。
用户识别模块229可以包括例如包括用户识别模块的卡和/或嵌入式SIM，并且可以包括唯一识别信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户识别码(IMSI))。
存储器230(例如，存储器130)可以包括内部存储器232和/或外部存储器234。例如，内部存储器232可以包括以下项中的至少一个：易失性存储器(例如，动态随机访问存储器(DRAM)、静态RAM(SRAM)或同步DRAM(SDRAM))、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除和可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存))、硬盘驱动器或固态硬盘(SSD)。
外部存储器234还可以包括闪存驱动器，诸如紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、小型安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器234可以通过各种接口可操作地和/或物理地连接到电子设备201。
安全模块236可以包括数据安全电路，并且是包括了安全级别高于存储器230的安全级别的存储空间的模块，而且可以是保障安全数据存储和受保护的执行环境的电路。安全模块236可以用单独的电路实现，并且可以包括单独的处理器。例如，安全模块236可以是在可被移除的智能芯片或安全数字(SD)卡中，或者可以包括嵌入在电子设备201的固定芯片中的嵌入式安全元件(eSE)。此外，安全模块236可以基于与电子设备201的操作系统OS不同的OS来操作。例如，安全模块236可以基于Java卡开放平台(JCOP)OS来操作。
传感器模块240例如可以测量物理量或者可以检测电子设备201的操作状态。传感器模块240可以将测量到或检测到的信息转换为电信号。一般地或另外地，传感器模块240可以包括以下项中的至少一个：手势传感器240A、陀螺仪传感器240B、气压(例如，大气压)传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红绿蓝(RGB)传感器)、生物计量传感器240I、温度/湿度传感器240J、照度传感器240K或紫外线(UV)传感器240M。尽管未示出，但另外地或一般地，传感器模块240例如还可以包括电子鼻传感器、肌电图传感器(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外线(IR)传感器、虹膜传感器、指纹传感器等。传感器模块240还可以包括用于控制其中包括的至少一个或更多个传感器的控制电路。根据实施例，电子设备201还可以包括处理器，该处理器是处理器210的一部分或者独立于处理器210且被配置为控制传感器模块240。处理器可以在处理器210保持休眠状态的同时控制传感器模块240。
输入设备250可以包括各种输入电路，例如但不限于，触摸面板252、(数字)笔传感器254、键256或超声输入单元258。例如，触摸面板252可以使用电容检测方法、电阻检测方法、红外检测方法和超声检测方法中的至少一种。而且，触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层，以向用户提供触觉反应。
(数字)笔传感器254例如可以是触摸面板的一部分或者可以包括用于识别的附加片。键256例如可以包括物理按钮、光学键、小键盘等。超声输入设备258可以通过麦克风(例如，麦克风288)检测(或感测)从输入设备生成的超声信号，并且可以检查与检测到的超声信号对应的数据。
显示器260(例如，显示器160)可以包括面板262、全息图设备264或投影仪266。面板262可以与图1中所示的显示器160相同或相似。面板262例如可以实现为柔性、透明或可穿戴的。面板262和触摸面板252可以集成到单个模块中。全息图设备264可以使用光干涉现象在空中显示立体图像。投影仪266可以将光投射到屏幕上以显示图像。该屏幕可以被布置在电子设备201的内部或外部。根据实施例，显示器260还可以包括用于控制面板262、全息图设备264或投影仪266的控制电路。
接口270可以包括各种接口电路，例如但不限于，高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或D形-超小型(D-sub)278。接口270例如可以被包括在图1所示的通信接口170中。另外地或一般地，接口270例如可以包括移动高清晰度链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可以沿双向方向转换声音和电信号。音频模块280的至少一部分例如可以被包括在图1所示的输入/输出接口150中。音频模块280例如可以处理通过扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。
用于拍摄静止图像或视频的相机模块291例如可以包括至少一个或更多个图像传感器(例如，前传感器或后传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如，LED或氙气灯)。
电源管理模块295例如可以管理电子设备201的电源。根据实施例，电源管理集成电路(PMIC)、充电器IC或者电池或燃料表可以被包括在电源管理模块295。PMIC可以具有有线充电方法和/或无线充电方法。无线充电方法例如可以包括磁共振方法、磁感应方法或电磁方法，并且还可以包括附加电路，例如线圈回路、谐振电路或整流器等。电池量表例如可以测量电池296的剩余容量以及电池充电时的电压、电流或温度。电池296例如可以包括可充电电池和/或太阳能电池。
指示器297可以显示电子设备201或其一部分(例如，处理器210)的特定状态，诸如启动状态、消息状态、充电状态等。电机298可以将电信号转换为机械振动并且可以产生以下效果：振动、触觉等。尽管未示出，但是用于支持移动TV的处理设备(例如，GPU)可以被包括在电子设备201中。用于支持移动TV的处理设备可以根据数字多媒体广播(DMB)、数字视频广播(DVB)、MediaFloTM等的标准来处理媒体数据。
根据本公开各种实施例的电子设备的上述元件中的每个可以被配置有一个或更多个组件，并且可以根据电子设备的类型来改变元件的名称。在各种示例实施例中，电子设备可以包括上述元件中的至少一个，并且可以省略一些元件或者可以添加其他另外的元件。此外，根据各种实施例的电子设备的一些元件可以彼此组合以形成一个实体，使得元件的功能可以以与组合之前相同的方式来执行。
图3是示出根据各种示例实施例的示例程序模块的框图。
参照图3，程序模块310(例如，程序140)可以包括操作系统(OS)以控制与电子设备(例如，电子设备101)相关联的资源，和/或在OS上驱动的各种应用(例如，应用程序147)。OS例如可以是AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或Samsung bada OSTM。
程序模块310可以包括内核320、中间件330、应用程序编程接口(API)360和/或应用程序370。程序模块310的至少一部分可以预先加载在电子设备上或可以从外部电子设备(例如，电子设备102或104、服务器106等)下载。
内核320(例如，内核141)例如可以包括系统资源管理器321或设备驱动器323。系统资源管理器321可以执行系统资源的控制、分配或检索。根据实施例，系统资源管理器321可以包括进程管理单元、存储器管理单元或文件系统管理单元。设备驱动器323例如可以包括显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动程序。
中间件330例如可以提供应用370共同需要的功能，或者可以通过API 360向应用370提供各种功能，以允许应用370有效地使用电子设备的有限的系统资源。根据实施例，中间件330(例如，中间件143)可以包括以下项中的至少一个：运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351、安全管理器352或支付管理器354。
运行时库335例如可以包括库模块，当运行应用370时编译器使用该库模块通过编程语言来添加新功能。运行时库335可以执行输入/输出管理、存储器管理或关于算术功能的性能。
应用管理器341例如可以管理应用370的至少一个应用的生命周期。窗口管理器342可以管理在屏幕中使用的GUI资源。多媒体管理器343可以识别用于播放各种媒体文件所需的格式，并且可以通过使用适合于该格式的编解码器来执行媒体文件的编码或解码。资源管理器344可以管理诸如存储空间、存储器或应用370的至少一个应用的源代码之类的资源。
电源管理器345例如可以利用基本输入/输出系统(BIOS)来操作以管理电池或电源，并且可以为电子设备的操作提供电源信息。数据库管理器346可以生成、搜索或修改要在应用370的至少一个应用中使用的数据库。包管理器347可以对以包文件的形式进行发布的应用进行安装或更新。
连接管理器348例如可以管理诸如Wi-Fi或蓝牙无线连接。通知管理器349可以以不干扰用户的模式来显示或通知诸如到达消息、约定或接近通知之类的事件。位置管理器350可以管理关于电子设备的位置信息。图形管理器351可以管理提供给用户的图形效果，或管理与其相关的用户界面。安全管理器352可以提供系统安全性或用户认证所需的一般安全功能。根据实施例，在电子设备(例如，电子设备101)包括电话功能的情况下，中间件330还可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器。
中间件330可以包括中间件模块，其组合了上述元件的各种功能。中间件330可以提供专用于每种OS类型的模块以提供差异化功能。另外，中间件330可以动态地移除预先存在的元件的一部分，或者可以向其添加新元件。
API 360(例如，API 145)例如可以是编程功能集，并且可以具有依据OS可变的配置。例如，在OS是android或iOS的情况下，可以允许每个平台提供一个API集。在OS是Tizen的情况下，可以允许每个平台提供两个或更多个API集。
应用370(例如，应用程序147)例如可以包括能够提供以下功能的一个或更多个应用：主页371、拨号器372、SMS/MMS 373、即时消息(IM)374、浏览器375、相机376、警报器377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、时钟384或支付385，或者能够提供健康护理(例如，测量运动量、血糖等)或环境信息(例如，大气压力、湿度、温度等)。
根据实施例，应用370可以包括用于支持电子设备(例如，电子设备101)与外部电子设备(例如，电子设备102或104)之间进行信息交换的应用(以下为了描述方便而称为“信息交换应用”)。信息交换应用例如可以包括用于将特定信息发送到外部电子设备的通知中继应用，或者用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括将从其他应用(例如，用于SMS/MMS、电子邮件、健康护理或环境信息的应用)产生的通知信息发送到外部电子设备(例如，电子设备102或104)的功能。另外，信息交换应用例如可以从外部电子设备接收通知信息，并将通知信息提供给用户。
设备管理应用例如可以管理(例如，安装、删除或更新)至少一个功能(例如，外部电子设备本身(或一部分元件)的开启/关闭)或者调整与电子设备通信的外部电子设备(例如，电子设备102或104)的显示器的亮度(或分辨率)，在外部电子设备中运行的应用，或者从外部电子设备提供的服务(例如，呼叫服务、消息服务等)。
根据示例实施例，应用370可以包括根据外部电子设备(例如，电子设备102或104)的属性分配的应用(例如，移动医疗设备的健康护理应用)。根据实施例，应用370可以包括从外部电子设备(例如，服务器106或电子设备102或104)接收的应用。根据实施例，应用370可以包括预加载的应用或可从服务器下载的第三方应用。根据实施例的程序模块310的元件标题可以依据操作系统的种类进行修改。
根据各种示例实施例，程序模块310的至少一部分可以由软件、固件、硬件或其两个或更多个的组合来实现。例如可以由处理器(例如，处理器210)来实现(例如，执行)程序模块310的至少一部分。程序模块310的至少一部分例如可以包括用于执行一个或更多个功能的模块、程序、例程、指令集、进程等。
图4是示出根据本公开的示例实施例的示例电子设备的框图。
参照图4，根据实施例的电子设备401可以包括相机模块(例如，包括相机电路)410、图像传感器接口(I/F)(例如，包括接口电路)420、校准模块(例如，包括校准电路)430、存储器440和480、图像处理器(例如，包括图像处理电路)450、处理器(例如，包括处理电路)460和显示器470。图4中所示的电子设备401可以对应于图1至图3所示的电子设备，在此不再重复描述彼此对应的组件。根据各种示例实施例，电子设备401可以在没有一些组件的情况下实现，或者可以被实现为进一步包括图4中未示出的一个或更多个组件。
相机模块410可以包括各种相机电路和元件，例如但不限于，透镜411、光圈(或光阑)412、图像传感器413、快门414和光学图像稳定(OIS)驱动器模块415-1和415-2。根据各种示例实施例，相机模块410可以在没有一些组件的情况下实现，或者可以被实现为进一步包括图4中未示出的一个或更多个组件。
透镜411可以对从外部入射在相机模块410上的光进行聚焦。聚焦的光可以通过光圈412到达图像传感器413。也就是说，透镜411可以允许由对象反射的光或从对象产生的光到达图像传感器413的像素阵列。
光圈412可以在处理器460的控制下调整到达图像传感器413(或图像传感器413的像素阵列)的入射光的量(辐射强度)。一般地，到达图像传感器413的入射光的量可以随着光圈值变大而减小，并且可以随着光圈值变小而增大。
图像传感器413可以包括像素阵列，在该像素阵列中，多个像素以格子或阵列形状被二维地布置。像素阵列可以包括数百万或数千万像素，并且可以将多种预定颜色之一分配给各个像素。例如，多种预定颜色例如但不限于可以包括“红色、绿色和蓝色(RGB)”或“红色、绿色、蓝色和白色(RGBW)”。图像传感器413可以使用电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)等来实现。
根据示例实施例，图像传感器413的像素阵列可以基于来自外部的入射光来生成电信号，并且可以基于该电信号来生成数字图像数据。根据实施例，图像传感器413的像素阵列可以基于第一组光路生成对象的第一图像数据(或简称为“第一图像”)，基于与第一组光路有相位差的第二组光路生成对象的第二图像数据(或简称为“第二图像”)。下面将参照图5和图6更全面地描述图像传感器413的配置。
快门414可以调整图像传感器413曝光的时间。例如，如果快门414缓慢操作，则大量光入射在图像传感器413上；如果快门414快速操作，则少量光入射在图像传感器413上。快门414操作的时间可以基于快门速度进行调整。快门414可以包括机械快门或电子快门来控制图像传感器。
OIS驱动器模块415-1和415-2可以动态地调整透镜411或像素阵列的布置(或位置)。OIS驱动器模块415-1和415-2可以沿补偿握持电子设备401的手的移动的方向，精细地调整透镜141或图像传感器413的布置。因此，能够对由于手的移动导致的图像模糊进行校正。
然而，根据示例实施例，OIS驱动器模块415-1和415-2可以校正模糊。另外，OIS驱动器模块415-1和415-2也可以在处理器460或图像处理器450的控制下沿指定方向，精细地调整透镜141或图像传感器413的布置。根据各种实施例，OIS驱动器模块415-1和415-2可以基于电子设备401的制造商被称为减振(VR)模块、图像稳定器(IS)、光学稳定器(OS)、防抖(AS)模块、稳定拍摄模块等。
图像传感器I/F 420可以包括接口电路，并调解图像传感器413和另一个组件(例如，图像处理器450或存储器440)之间的数据发送和接收。例如，图像传感器I/F 420可以将图像传感器413中生成的图像数据提供给图像处理器450，或者可以向存储器440提供相机模块410的组件的设置参数(例如，光圈值、曝光时间(快门速度)、ISO(国际标准化组织)12232:1998值、ISO 12232:2006值或其组合)。
校准模块430可以包括各种校准电路和参考校准参数和/或阴影校准参数。参数可以被应用于存储器440中存储的(例如，查找表(LUT)中的)K参数数据441和/或(例如，查找表(LUT)中的)白平衡(WB)校正数据442。
存储器440和480中的每个可以包括易失性存储器和/或非易失性存储器。例如，存储器440和480中的每个可以存储与电子设备401的至少一个其他组件相关联的命令或数据。为了便于描述，存储器440和存储器480在图4中根据要执行的功能被示为单独的组件。例如，存储器440和存储器480可以用一个组件实现。
根据示例实施例，存储器440可以包括K参数数据441和WB校正数据442。数据441和442可以以查找表(LUT)的格式进行存储。“K参数”可以指示与指定光源中的归一化像素值的变化趋势相关联的参数(稍后将详细描述)。
例如，K参数数据441可以包括LUT数据，其中指定光源的色温(或颜色温度)或光源的类型与“K参数”相关。
而且，例如WB校正数据442可以包括LUT数据，其中指定光源的色温或光源的类型与相应的WB校正数据相关。根据各种实施例，可以通过从图像传感器I/F 420接收到的曝光信息(例如，ISO值、快门速度值、光圈值或其组合)来优化WB校正数据442。
根据各种示例实施例，合适的校准可以基于电子设备401和/或相机模块410的规格和任何其他环境配置被应用于存储器440中存储的K参数数据441和WB校正数据442。
例如，基于像素阵列中包括的每个单元图像传感器的微透镜的入射光中心角和/或每个单元图像传感器中包括的多个光电元件(或光电探测器或光电装置)之间的占有率(或光电元件之间的边界)，可以将合适的校准应用于K参数数据441和WB校正数据442。
同时，根据示例实施例，存储器480可以存储图像数据文件作为通过图像处理器450的处理所获得的最终结果。
图像处理器450可以包括各种图像处理电路并与相机模块410的图像传感器413电连接，并且可以获取图像传感器413生成的图像数据。图像处理器450可以根据本公开的各种示例实施例来处理所获取的图像数据。
根据实施例，图像处理器450可以从图像传感器413的像素阵列获取基于第一组光路生成的对象的第一图像和基于与第一组光路具有相位差的第二组光路生成的对象的第二图像。
根据示例实施例，图像处理器450可以获取多种预定颜色(或颜色通道)(例如，“RGB”、“RGBW”、“RGrGbB”等)中的每个的第一图像(或第一组图像)和第二图像(或第二组图像)。例如，基于第一光路组生成的R通道的第一图像、基于第一光路组生成的G通道的第一图像，以及基于第一光路组生成的B通道的第一图像可以形成(或构成)第一组图像。如在以上描述中，基于第二光路组生成的R通道的第二图像、基于第二光路组生成的G通道的第二图像，以及基于第二光路组生成的B通道的第二图像可以形成(或构成)第二组图像。
而且，根据实施例，图像处理器450可以使用各种配置来获取第一图像和第二图像。
例如，图像处理器450可以通过使用图像传感器413的多个像素中的每个中包括的第一光电元件来获取第一图像，并且同样地，可以通过使用多个像素的每个中包括的第二光电元件来获取第二图像(例如，参见图7)。
作为另一示例，图像处理器450可以通过调整光圈412来获取第一图像和第二图像(例如，参见图15)。
作为另一示例，图像处理器450可以通过使用OIS驱动器模块415-1和415-2调整透镜411或图像传感器413(或图像传感器413的像素阵列)的布置，获取第一图像和第二图像(例如，参见图16)。
根据实施例，图像处理器450可以以像素为单位对第一图像中包括的像素值和第二图像中包括的像素值进行归一化。像素值例如可以具有0到255的范围。像素值例如可以被称为“像素强度”、“像素强度值”等。
例如，在图像传感器413的像素阵列的像素“X”中，假设第一光电元件的像素值是“L”而第二光电元件的像素值是“R”。在这种情况下，第一图像中包括的像素“X”的像素值是“L”，第二图像中包括的像素“X”的像素值是“R”。如果图像处理器450对第一图像和第二图像进行归一化，则归一化的第一图像的像素“X”的像素值是“L/(L+R)”，归一化的第二图像的像素“X”的像素值是“R/(L+R)”。如在以上描述中，图像处理器450可以对图像传感器413的像素阵列中包括的多个像素执行归一化。这样，图像处理器450可以导出归一化的第一图像(或具有归一化的像素值的第一图像)和归一化的第二图像(或具有归一化的像素值的第二图像)。
根据各种实施例，在图像处理器450执行归一化之前，图像处理器450可以从第一图像中包括的像素值和第二图像中包括的像素值中排除可靠性被确定为低于指定参考值的像素值。例如，图像处理器450可以将饱和的或低于指定值的像素值确定为低可靠性的像素值。
根据实施例，图像处理器450可以提取与归一化的像素值的变化趋势相关联的参数(K参数)，并且可以验证由对象反射的光的光源或由对象所产生的光的光源。例如，基于K参数，图像处理器450可以验证被施加到对象的光的光源的类型或色温，或者可以验证对象所产生的光的光源的类型或色温。
根据实施例，图像处理器450可以通过对存储器440中存储的K参数和数据(例如，LUT格式化的K参数数据441)进行比较，验证由对象反射的光的光源的色温或从对象产生的光的光源的色温。或者，图像处理器450可以通过对存储器440中存储的K参数和数据进行比较，验证由对象反射的光的光源的类型或从对象产生的光的光源的类型。
根据实施例，图像处理器450可以基于验证后的光源来执行白平衡。例如，图像处理器450可以获取存储器440中存储的LUT格式化的WB校正数据442的与经验证的光源相对应的WB校正数据。图像处理器450可以通过使用所获取的WB校正数据来执行白平衡。
图像处理器450在图4中被示为独立于处理器460。然而，根据各种示例实施例，图像处理器450可以与处理器460集成在一体(例如，单芯片)中。
处理器460可以包括各种处理电路，例如但不限于，专用处理器、中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或更多个。处理器460例如可以执行数据处理或与电子设备401中包括的至少一个其他组件的控制和/或通信相关联的操作。
显示器470例如可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器、电子纸显示器等，但不限于此。显示器例如可以显示通过相机模块410拍摄的图像、由图像处理器450校正白平衡的图像等。
根据各种示例实施例，显示器470可以包括触摸屏，并且例如可以接收通过使用电子笔或用户身体的一部分输入的触摸、手势、接近或悬停。
图5是示出根据示例实施例的图像传感器的示例配置的图。
参照图5，图像传感器500可以包括像素阵列501。例如，图像传感器500可以对应于图4中所示的图像传感器413。
图像传感器500中包括的像素阵列501可以包括多个(例如，数百万到数千万)像素。可以沿像素阵列501的第一方向(例如，水平方向)布置数百或数千个像素，并且同样地，可以沿像素阵列501的第二方向(例如，垂直方向)布置数百或数千个像素。
根据示例实施例，可以将指定的预定颜色(或颜色通道)分配给像素阵列501中包括的多个像素中的每个。例如，预定颜色可以包括(R,G,B)、(R,Gr,Gb,B)或(R,G,B,W)。多个像素可以通过透镜(例如，图4的透镜411)接收入射光。多个像素中的每个像素可以将具有所分配的预定颜色的光转换为作为电信号的像素值。
多个像素可以被实现为以便布置一个单元图像传感器(“像素”和“单元图像传感器”可以互换地使用)。例如，一个单元图像传感器510可以被布置在分配有绿色“G”的像素510中。
根据实施例，单元图像传感器510可以包括微透镜511、各种膜或滤波器512至514、第一光电元件(或第一光电探测器)515L，以及第二光电元件(或第二光电探测器)515R。尽管图5中未示出，单元图像传感器510还可以包括与光电元件515L和515R与图像处理器450电连接的任何其他组件，诸如导电图案、高折射图案等。
微透镜511可以调整入射到微透镜511上的光的路径，以允许入射光到达第一光电元件515L和第二光电元件515R。
红外线截止滤波器512可以阻挡通过微透镜511入射的至少一部分红外光线。例如，红外线截止滤波器512可以在光源充足的白天防止和/或减少过度曝光。另一方面，红外线截止滤波器512可以在夜间自动移除。
滤色器513可以允许指定的预定颜色(或颜色通道)的光通过。例如，预定颜色可以包括R、G、B或R、Gr、Gb、B或R、G、B、W。例如，滤色器513可以包括例如包括红色滤色器、绿色滤色器和蓝色滤色器的Bayer(拜尔)图案。
抗反射层514可以通过防止通过微透镜511入射的光被反射来增加到达第一光电元件515L和第二光电元件515R的入射光的量。
例如，第一光电元件515L和第二光电元件515R中的每个可以对应于形成在半导体基板上的光电二极管。第一光电元件515L和第二光电元件515R中的每个可以通过光电效应根据接收到的光的强度来产生电荷。可以基于电荷量来确定像素值。根据各种实施例，光电元件515L和515R也可以被称为“成像装置”。
此外，两个光电元件515L和515R在图5中被示为布置在一个像素(或一个单元图像传感器)上。然而，本公开的实施例可以不限于此。根据各种示例实施例，可以布置一个光电元件或者两个或更多个光电元件。其中布置了两个或更多个光电元件的像素可以被称为“多像素”，而其中布置有两个光电元件的像素可以被称为“双像素”。
图6是示出根据各种示例实施例的光电元件的各种示例布局的图。
参照图6，示出了其中布置有根据各种实施例的光电元件的单元图像传感器610至660。例如，图4的图像传感器413的像素阵列中可以包括多个图6中示出的各种类型的单元图像传感器610至660。根据各种示例实施例，图6中示出的光电元件的布置是示例性的，但是本公开的实施例可以不限于此。
根据实施例，水平布置的第一光电元件615L和第二光电元件615R可以被包括在一个像素610(或一个单元图像传感器)中。水平布置的光电元件615L和615R可以沿水平方向接收不同相位的光，以生成关于同一对象的第一图像和第二图像。
根据另一实施例，垂直布置的第一光电元件635T和第二光电元件635B可以被包括在一个像素630中。垂直布置的光电元件635T和635B可以沿垂直方向接收不同相位的光，以成关于同一对象的第一图像和第二图像。
根据实施例，单个光电元件625可以被包括在一个像素620中。单个光电元件625可以以时间间隔生成关于同一对象的第一图像和第二图像。例如，在单个光电元件625生成第一图像之后，单个光电元件625可以通过调整光圈来生成具有与第一图像不同的相位的第二图像(参见图15)。作为另一示例，在单个光电元件625生成第一图像之后，该单个光电元件625可以通过调整透镜或图像传感器(或图像传感器的像素阵列)的布置来生成具有与第一图像不同的相位的第二图像(参见图16)。
根据另一实施例，布置在左上方的第一光电元件645LT、布置在右上方的第二光电元件645RT、布置在左下方的第三光电元件645LB，以及布置在右下方的第四光电元件645RB可以被包括在一个像素640中。四个光电元件645LT、645RT、645LB和645RB可以有助于生成关于同一对象的各自具有不同相位差的第一图像、第二图像、第三图像和第四图像。
根据另一实施例，布置在左侧的第一光电元件655L、布置在中间的第二光电元件655M和布置在右侧的第三光电元件655R可以被包括在一个像素650中。三个光电元件655L、655M和655R可以有助于生成关于同一对象的各自具有相位差的第一图像、第二图像和第三图像。
根据另一实施例，沿垂直方向分别布置在顶部、中间和底部的第一光电元件665T、第二光电元件665M和第三光电元件655B可以被包括在一个像素660中。三个光电元件665T、665M和655B可以有助于生成关于同一对象的具有相位差的第一图像、第二图像和第三图像。
图7是示出根据示例实施例的用于获取相位差图像的示例方法的图。
参照图7，示出了聚焦光的透镜701(对应于例如图4的透镜411)和包括多个像素的图像传感器的像素阵列702。单元图像传感器(例如，710-1、710-2或710-3)可以被包括在像素阵列702包括的多个像素中的每个像素中。在图7中，被包括在单元图像传感器710-1中的两个光电元件715L和715R可以具有与例如图6所示的第一光电元件615L和第二光电元件615R的布置对应的布置。
根据示例实施例，入射在透镜701上的光中的对应于第一组光路的光可以在穿过透镜701的第一区域710L之后被折射。与第一组光路对应的光可以到达像素阵列702的单元图像传感器710-1的第一光电元件715L。同时，入射在透镜701上的光中的对应于第二组光路(与第一组光路具有相位差)的光可以在穿过透镜701的第二区域710R之后被折射。与第二组光路对应的光可以到达像素阵列702的单元图像传感器710-1的第二光电元件715R。
单元图像传感器710-1的第一光电元件715L和第二光电元件715R中的每个可以生成与接收到的光的强度相对应的像素值。单元图像传感器710-1中的像素值的生成可以在像素阵列702中包括的多个像素(例如，710-2和710-3)中被类似地执行。在多个像素中生成的第一光电元件715L的像素值可以形成第一图像，并且在多个像素中生成的第二光电元件715R的像素值可以形成第二图像。
在上述情况下，可以基于从同一对象反射的光或从同一对象产生的光来生成第一图像和第二图像。在第一图像和第二图像中，由于透镜的固有特性，可能在边缘附近生成由于辐射强度不足所引起的阴影或渐晕。当像素阵列的边缘附近的像素的像素值减小时，可以显著地生成“阴影”，并且可以以随着诸如R、G、B等的光的波长变化的模式来生成“阴影”。
同时，根据示例实施例，在像素阵列702中包括的多个像素中，每个像素中包括的第一光电元件和第二光电元件的占据区域(或曝光区域)的比例可以改变。占用区域的比例可以随着以下情况而改变：(考虑到“阴影”的影响)每个像素布置在像素阵列702上的位置；分配给每个像素的滤色器的预定颜色(例如，R、G或B)；相机模块或电子设备的规格等。通过调整占用区域的比例，可以调整聚焦光的光学位置(出射光瞳)。占用区域的比例可以用于校准被存储在存储器中的K参数数据和WB校正数据。
例如，在像素710-1中，布置在“R”区域中的光电元件的占用面积的比例可以高于布置在“L”区域中的光电元件的占用面积的比例。作为另一示例，在像素710-2中，布置在“R”区域中的光电元件的占用面积的比例与布置在“L”区域中的光电元件的占用面积的比例几乎相同；在像素710-3中，布置在“R”区域中的光电元件的占用面积的比率可以低于布置在“L”区域中的光电元件的占据面积的比例。
图8是示出根据示例实施例的示例光源验证方法的流程图。
参照图8，根据示例实施例的光源验证方法可以包括操作801至操作805。操作801至操作805例如可以由图4中所示的电子设备401来执行。例如，操作801至操作805可以分别使用能够由电子设备401的图像处理器450执行(或执行)的指令来实现。该指令可以被存储在例如电子设备401的计算机可读记录介质或存储器480中。下面，可以通过使用图4的附图标记来描述操作801至操作805。
在操作801中，电子设备401的图像处理器450可以从图像传感器413获取对象的基于第一组光路生成的第一图像和基于第二组光路生成的第二图像，该第二组光路与第一组光路具有相位差。
在操作803中，图像处理器450可以以像素为单位对第一图像中包括的像素值和第二图像中包括的像素值进行归一化。
在操作805中，图像处理器450可以基于与归一化的像素值的变化趋势相关联的参数(K参数)来验证由对象反射的光的光源或从对象产生的光的光源。例如，图像处理器450可以验证施加到对象的光的光源的类型或色温，或者从对象产生的光的光源的类型或色温。
根据实施例，在操作805中，图像处理器450可以通过对被预先存储在存储器440中的数据(例如，K参数LUT数据)和K参数进行比较，验证由对象反射或从对象产生的光的光源的类型或色温。
图9是示出根据另一示例实施例的示例光源验证方法的流程图。可以参照图10至图14来帮助描述光源验证方法。
参照图9，根据示例实施例的光源验证方法可以包括操作901至操作909。操作901至操作909可以由例如图4中所示的电子设备401来执行。例如，操作901至操作909可以分别使用能够由电子设备401的图像处理器450执行(或运行)的指令来实现。该指令例如可以被存储在电子设备401的存储器480中。图4的附图标记可以用于描述图9，并且假设如图5所示一个像素中包括两个光电元件。为了便于描述，将交替参考图9和图10至图14。
在操作901中，电子设备401的图像处理器450可以对于多种预定颜色(例如，R、Gr、Gb和B)中的每个，从图像传感器413获取对象的基于第一组光路生成的第一图像和基于第二组光路生成的第二图像，该第二组光路与第一组光路具有相位差。
例如，参照图10，电子设备401可以使用相机模块410拍摄白炽灯下方的对象1000的图片。如果拍摄对象1000，则电子设备401的图像处理器450可以对于多种预定颜色(例如，R、Gr、Gb和B)中的每个，从图像传感器413获取对象的基于第一组光路生成的第一图像和基于第二组光路生成的对象的第二图像，该第二组光路与第一组光路具有相位差。这样，可以获取R颜色的第一图像、Gr颜色的第一图像、Gb颜色的第一图像和B颜色的第一图像，并且第一图像可以被称为“第一图像组”。如在以上描述中，可以获取R颜色的第二图像、Gr颜色的第二图像、Gb颜色的第二图像和B颜色的第二图像，并且第二图像可以被称为“第二图像组”。
参照图11，与图10的对象1000相关联的第一图像组和第二图像组的像素值对于每种预定颜色被三维地示出。在每个图中，第一方向可以对应于图像传感器413中包括的像素阵列的水平方向，第二方向可以对应于像素阵列的垂直方向。
例如，在第一图像组中，考虑到像素值变化的趋势，R颜色R通道的第一图像像素值1101-L、Gr颜色Gr通道的第一图像像素值1102-L、Gb颜色Gb通道的第一图像像素值1103-L，和B颜色B通道的第一图像像素值1104-L可以在第一方向的左侧上高度是相同的。
而且，例如，在第二图像组中，考虑到像素值变化的趋势，R颜色R通道的第二图像像素值1101-R、Gr颜色Gr通道的第二图像像素值1102-R、Gb颜色Gb通道的第二图像像素值1103-R，和B颜色B通道的第二图像像素值1104-R可以在第一方向的右侧上高度是相同的。
参照第一图像组和第二图像组的图形，可以验证由于图10的对象1000的配置、预定颜色(或通道)以及相位差，每个图像具有唯一的图案。而且，在第一图像组中的第一方向的右侧和第二图像组中的第二方向的左侧，可以验证出由于阴影或渐晕而导致像素值低，该阴影或渐晕是由于辐射强度不足所生成的。
在图9的操作903中，电子设备401的图像处理器450可以从第一图像中包括的像素值和第二图像中包括的像素值中排除其可靠性被确定为低于指定参考值的像素值。例如，图像处理器450可以将饱和的或低于指定值的像素值确定为低可靠性的像素值，并且可以排除所确定的像素值。
例如，在图11中所示的第一图像组和第二图像组的每个图像中，在执行归一化之前，可以排除可靠性低的像素的像素值。
在图9的操作905中，电子设备401的图像处理器450可以对于多种预定颜色(例如，R、Gr、Gb和B)中的每个，以像素为单位对第一图像组中包括的像素值和第二图像组中包括的像素值进行归一化。
例如，参照图12，示出了三维绘制的对于每种预定颜色R、Gr、Gb和B被归一化的像素值曲线图。例如，如果图11中所示的R颜色R通道的第一图像像素值1101-L和R颜色R通道的第二图像像素值1101-R被归一化，则可以导出图12中示出的归一化的R颜色R通道的像素值1201-L和1201-R。如在以上描述中那样，如果图11中所示的Gr颜色Gr通道的第一图像像素值1102-L和Gr颜色Gr通道的第二图像像素值1102-R被归一化，则可以导出图12中所示的归一化的Gr颜色Gr-通道的归一化的像素值1202-L和1202-R。而且，如果图11中所示的Gb颜色Gb通道的第一图像像素值1103-L和Gb颜色Gb通道的第二图像像素值1103-R被归一化，则可以导出图12中所示的归一化的Gb颜色Gb通道的像素值1203-L和1203-R。另外，如果图11中所示的B颜色B通道的第一图像像素值1104-L和B颜色B通道的第二图像像素值1104-R被归一化，则可以导出图12中所示的归一化的B颜色B通道的像素值1204-L和1204-R。
查看图12中所示的每种颜色(或通道)的归一化像素值，与图11不同，可以验证出对象1000特有的图案消失了。另外，可以验证出每种颜色(或通道)的归一化像素值的变化趋势对于每个通道有稍微的变化。
在图9的操作907中，电子设备401的图像处理器450可以基于与归一化的像素值的变化的趋势相关联的参数(K参数)来验证由对象反射的光的光源或从对象产生的光的光源。例如，图像处理器450可以验证光源的类型或色温。
例如，参照图13，示出了导出K参数的图。例如，如果在第二方向上取图12中所示的R颜色(R通道)的归一化的像素值1201-L和1201-R的平均值，则可以导出图13的归一化的像素值的平均值曲线图1301-L和1301-R。在这种情况下，曲线图1301-R在曲线图1301-L和曲线图1301-R的交叉点处的变化率k1可以是K参数的一部分。
如在以上描述中那样，如果在第二方向上取图12中所示的Gr颜色(Gr-通道)的归一化的像素值1202-L和1202-R的平均值，则可以导出图13的归一化的像素值的平均值曲线图1302-L和1302-R。在这种情况下，曲线图1302-R在曲线图1302-L和曲线图1302-R的交叉点处的变化率k2可以是K参数的一部分。
而且，如果在第二方向上取图12中所示的Gb颜色(Gb通道)的归一化的像素值1203-L和1203-R的平均值，则可以导出图13的归一化的像素值的平均值曲线图1303-L和1303-R。在这种情况下，曲线图1303-R在曲线图1303-L和曲线图1303-R的交叉点处的变化率k3可以是K参数的一部分。
而且，如果在第二方向上取图12中所示的B颜色(B通道)的归一化的像素值1204-L和1204-R的平均值，则可以导出图13的归一化的像素值的平均值曲线图1304-L和1304-R。在这种情况下，曲线图1304-R在曲线图1304-L和曲线图1304-R的交叉点处的变化率k4可以是K参数的一部分。
例如，在示例实施例中，K参数可以是{k1,k2,k3,k4}。电子设备401的图像处理器450可以通过对被预先存储在存储器440中的数据(例如，K参数LUT数据)和导出的K参数进行比较，验证由对象反射或从对象产生的光的光源的类型或色温。
根据各种示例实施例，k1、k2、k3和k4可以分别取曲线图1301-L、1302-L、1303-L和1304-L在曲线图1301-L、1302-L、1303-L和1304-L与曲线图1301-R、1302-R、1303-R和1304-R的交叉点处的变化率。或者，根据各种实施例，k1、k2、k3和k4可以分别取曲线图1301-L、1302-L、1303-L和1304-L的变化率的绝对值与曲线图1301-R、1302-R、1303-R和1304-R在曲线图1301-L、1302-L、1303-L和1304-L与曲线图1301-R、1302-R、1303-R和1304-R的交叉点处的变化率的绝对值的平均值。另外，采用变化率的点可以不限于曲线图1301-L、1302-L、1303-L和1304-L和曲线图1301-R、1302-R、1303-R和1304-R交叉处的点。
关于以上描述，参照图14，例如，如果在白炽灯条件下拍摄非彩色的对象1400，则如曲线图1401-L和1401-R所示来绘制R颜色R通道的归一化的像素值。曲线图1401-L和曲线图1401-R的像素值可以与图11的第一图像组和第二图像组的像素值完全不同。然而，能够验证图11的归一化的像素值的变化趋势类似于图12的图像组的归一化的像素值的变化趋势。因此，如果每种颜色(或通道)的K参数被预先存储在存储器440中以对应于指定光源的类型(或色温)，则可以对通过与从所拍摄的图像导出的K参数进行比较而获得的光源进行验证(或估计)。
在图9的操作909中，电子设备401的图像处理器450可以使用所获取的与经验证的光源相对应的WB校正数据来执行白平衡。例如，WB校正数据可以被包括在存储器440中存储的LUT格式化的WB校正数据442中。
图15是示出根据示例实施例的用于使用光圈获取相位差图像的示例方法的图。
参照图15，示出了聚焦光的透镜1501(对应于图4的411)、光圈1502(对应于图4的412)和单元图像传感器(或像素)1510。单个光电元件可以被包括在单元图像传感器1510中。
在15A的情况下，光圈1502可以覆盖透镜1501的右侧，即，透镜1501的大约一半。在这种情况下，由透镜1501聚焦的光中的仅对应于偏左侧的光可以穿过透镜1501。偏左侧的光可以形成一致的光路组并且可以到达单元图像传感器1510中包括的单个光电元件。
在15B的情况下，光圈1502可以覆盖透镜1501的大约左半侧。在这种情况下，透镜1501聚焦的光中的仅对应于偏右侧的光可以穿过透镜1501。偏右侧的光可以形成与15A的光路组具有相位差的一致光路组，并且可以到达包括在单元图像传感器1510中包括的单个光电元件。
根据图15的示例实施例，即使单元图像传感器1510仅包括单个光电元件，通过以时间间隔进行的拍摄，单元图像传感器1510可以关于同一对象生成具有不同相位差的第一图像和第二图像。
图16是示出根据示例实施例的使用OIS驱动器模块来获取相位差图像的示例方法的图。
参照图16，示出了聚焦光的透镜1601(对应于图4的411)、OIS驱动器模块1603(对应于图4的415-1)和单元图像传感器(或像素)1610。单个光电元件可以被包括在单元图像传感器1610中。
在16A的情况下，OIS驱动器模块1603可以将透镜1601向右移动。在这种情况下，通过透镜1601聚焦的光可以对应于相对于向右侧偏置的光。右偏置光可以形成一致的光路组，并且可以到达包括在单元图像传感器1610中的单个光电元件。
同时，在16B的情况下，OIS驱动器模块1603可以将透镜1601向左移动。在这种情况下，通过透镜1601聚焦的光可以对应于相对于向左侧偏置的光。左偏置光可以形成与光路组16A具有相位差的一致光路组，并且可以到达包括在单元图像传感器1610中的单个光电元件。
根据图16的示例实施例，即使单元图像传感器1610仅包括单个光电元件，通过以时间间隔进行的拍摄，单元图像传感器1610可以关于同一对象生成具有不同相位差的第一图像和第二图像。
图17是示出根据另一示例实施例的示例光源验证方法的流程图。可以参照图18来帮助描述图17中所示的光源验证方法。
参照图17，根据示例实施例的光源验证方法可以包括操作1701至操作1705。操作1701至操作1705例如可以由图4所示的电子设备401来执行。例如，操作1701至操作1705可以分别使用能够由电子设备401的图像处理器450执行(或运行)的指令来实现。该指令例如可以存储在电子设备401的存储器480中。图4的附图标记用于描述图17，就像图6的单元图像传感器(或单位像素)650和660，并且假设三个光电元件被包括在一个像素中。为了便于描述，而且包括图18的其他附图还将一起被参考。
在操作1701中，对于多种预定颜色(例如，R、Gr、Gb和B)中的每个，电子设备401的图像处理器450可以从图像传感器413获取对象的基于第一组光路生成的第一图像、对象的基于第二组光路生成的第二图像、对象的基于第三组光路生成的第三图像。第一组光路、第二组光路和第三组光路可以具有彼此一致的相位差。
例如，基于第一组光路的第一图像可以通过图6中所示的多个第一光电元件655L或665T来获取，基于第二组光路的第二图像可以通过图6中所示的多个第二光电元件655M或665M来获取，而基于第三组光路的第三图像可以通过图6中所示的多个第三光电元件655R或665B来获取。
例如，电子设备401可以使用相机模块410拍摄白炽灯下方的图10的对象1000的图片。如果拍摄了对象1000，则对于多种预定颜色中的每一种(例如，R、Gr、Gb和B)，电子设备401的图像处理器450可以从图像传感器413获取对象的基于第一组光路生成的第一图像、对象的基于第二组光路生成的第二图像，以及对象的基于第三组光路生成的第三图像。
这样，可以获取R颜色的第一图像、Gr颜色的第一图像、Gb颜色的第一图像和B颜色的第一图像，并且可以将第一图像称为“第一图像组”。如在以上描述中，可以获取R颜色的第二图像、Gr颜色的第二图像、Gb颜色的第二图像和B颜色的第二图像，并且可以将第二图像称为“第二图像组”。同样地，可以获取R颜色的第三图像、Gr颜色的第三图像、Gb颜色的第三图像和B颜色的第三图像，并且可以将第三图像称为“第三图像组”。
在操作1703中，电子设备401的图像处理器450可以对于多种预定颜色(例如，R、Gr、Gb和B)中的每个以像素为单位对第一图像组、第二图像组和第三图像组中包括的像素值进行归一化。通过上述归一化操作，对象1000特有的图案可以消失。
例如，在像素阵列的任何一个像素中，假设R颜色R通道的第一图像的像素值是“P1”，R颜色R通道的第二图像的像素值是“P2”，R颜色R通道的第三图像的像素值是“P3”，则第一图像的在任何一个像素中的归一化像素值可以是“P1/(P1+P2+P3)”，第二图像的在任何一个像素中的归一化像素值可以是“P2/(P1+P2+P3)”，第三图像的在任何一个像素中的归一化像素值可以是“P3/(P1+P2+P3)”。对于每种预定颜色(例如，R、Gr、Gb和B)，可以对像素阵列中包括的多个像素类似地执行归一化操作。
在操作1705中，电子设备450的图像处理器450可以基于与归一化的像素值的变化趋势相关联的参数(K参数)来验证由对象反射的光的光源或从对象产生的光的光源。例如，图像处理器450可以验证光源的类型或色温。
例如，参照18，示出了用于导出K参数的曲线图。例如，图18可以指示与参照图12和图13描述的操作类似的操作的执行结果相对应的曲线图。即，例如，能够在图17的操作1703中获得且被三维地绘制的归一化图像组可以通过沿第二方向(或第一方向)进行平均而得到图18所示的二维曲线图。
例如，在R颜色R通道中，可以绘制第一图像的归一化像素值的(第二方向的)平均值曲线图1801-P1、第二图像的归一化像素值的平均值曲线图1801-P2、第三图像的归一化像素值的平均值曲线图1801-P3。在这种情况下，可以指定曲线图1801-P1和曲线图1801-P3的交点处的曲线图1801-P3的变化率k11。而且，可以指定曲线图1801-P1和曲线图1801-P2的交叉点处的曲线图1801-P2的变化率k12，以及可以指定曲线图1801-P2和曲线图1801-P3的交叉点处的曲线图1801-P3的变化率k13。k11、k12和k13可以被包括作为K参数的一部分。
如在上面的描述中，例如，在Gr颜色Gr通道中，可以绘制第一图像的归一化像素值的(第二方向的)平均值曲线图1802-P1、第二图像的归一化像素值的平均值曲线图1802-P2和第三图像的归一化像素值的平均值曲线图1802-P3。在这种情况下，可以指定在曲线图1802-P1和曲线图1802-P3的交叉点处的曲线图1802-P3的变化率k21。而且，可以指定在曲线图1802-P1和曲线图1802-P2的交叉点处的曲线图1802-P2的变化率k22，以及可以指定曲线图1802-P2和曲线图1802-P3的交叉点处的曲线图1802-P3的变化率k23。k21、k22和k23可以被包括作为K参数的一部分。
如在上面的描述中，例如，在Gb颜色Gb通道中，可以绘制第一图像的归一化像素值的(第二方向的)平均值曲线图1803-P1、第二图像的归一化像素值的平均值曲线图1803-P2以及第三图像的归一化像素值的平均值曲线图1803-P3。在这种情况下，可以指定在曲线图1803-P1和曲线图1803-P3的交叉点处的曲线图1803-P3的变化率k31。而且，可以指定在曲线图1803-P1和曲线图1803-P2的交点处的曲线图1803-P2的变化率k32，以及可以指定在曲线图1802-P2和曲线图1803-P3的交点处的曲线图1803-P3的变化率k33。k31、k32和k33可以被包括作为K参数的一部分。
如在上面的描述中，例如，在B颜色B通道中，可以绘制第一图像的归一化像素值的(第二方向的)平均值曲线图1804-P1、第二图像的归一化像素值的平均值曲线图1804-P2和第三图像的归一化像素值的平均值曲线图1804-P3。在这种情况下，可以指定在曲线图1804-P1和曲线图1804-P3的交叉点处的曲线图1804-P3的变化率k41。而且，可以指定在曲线图1804-P1和曲线图1804-P2的交叉点处的曲线图1804-P2的变化率k42，以及可以指定在曲线图1804-P2和曲线图1804-P3的交叉点处的曲线图1804-P3的变化率k43。k41、k42和k43可以被包括作为K参数的一部分。
也就是说，在该实施例中，K参数可以是{{k11,k12,k13},{k21,k22,k23},{k31,k32,k33},{k41,k42,k43}}。电子设备401的图像处理器450可以通过对被预先存储在存储器440中的数据(例如，K参数LUT数据)与导出的K参数进行比较，验证由对象反射或从对象产生的光的光源的类型或色温。
K参数的数据格式可以不限于上述示例。根据各种实施例，在导出K参数时可以使用一些斜率的平均值。例如，K参数可以具有{{k11,(k12+k13)/2},{k21,(k22+k23)/2},{k31,(k32+k33)/2},{k41,(k42+k43)/2}}的数据格式。
同时，根据各种示例实施例，如在图9的操作903中，电子设备401的图像处理器450可以在操作1703之前从第一图像、第二图像和第三图像中包括的像素值中排除其可靠性被确定为低于指定参考值的像素值。
而且，根据各种示例实施例，如在图9的操作909中，电子设备401的图像处理器450可以在操作1705之后通过使用与经验证的光源对应的WB校正数据来执行白平衡。
图17和图18是在每个像素(或单元图像传感器)中包括了三个光电元件的条件下进行描述的。然而，本公开的实施例可以不限于此。例如，参照图6的附图标记640，可以在图像传感器的每个像素中包括四个光电元件。或者，可以在图像传感器的每个像素中包括五个或更多个光电元件。尽管四个或更多个光电元件被布置在一个像素中，但是本领域技术人员可以基于图17和图18的描述来实现本公开的各种实施例。
根据本公开的各种示例实施例，可以通过使用基于第一组光路的第一图像和基于与第一组光路相位差具有相位差的第二组光路的第二图像，更精确地验证由对象反射的光的光源或从对象产生的光的光源。因此，可以基于更精确地验证的光源来执行更适当的白平衡。由于用于验证光源的算法简单，因此可以提高验证光源的速度，可以减少计算资源，并且可以减少验证光源所消耗的功率。
根据示例实施例，电子设备可以包括图像传感器，该图像传感器包括像素阵列，以及与图像传感器电连接的图像处理器。图像处理器可以被配置为从像素阵列获取对象的基于第一组光路生成的第一图像和对象的基于第二组光路生成的第二图像，该第二组光路与第一组光路具有相位差，以便以像素为单位对第一图像中包括的像素值和第二图像中包括的像素值进行归一化，并基于与归一化的像素值中的变化(例如，变化的发展或变化趋势)相关联的参数来验证由对象反射的光的光源或从对象产生的光的光源。
在另一示例实施例中，图像处理器可以基于与归一化的像素值的变化相关联的参数来验证施加到对象的光的光源或从对象产生的光的光源的类型或色温。
在另一示例实施例中，电子设备还可以包括存储数据的存储器，其中指定光源的类型和与指定光源中的像素值的变化趋势相关联的参数是彼此相关的。图像处理器可以通过对与归一化的像素值的变化趋势相关联的参数和存储在存储器中的数据进行比较来验证由对象反射的光的光源的类型或从对象产生的光的光源的类型。
在另一示例实施例中，电子设备还可以包括存储数据的存储器，其中指定光源的色温和与指定光源中的像素值的变化趋势相关联的参数是彼此相关的。图像处理器可以通过对与归一化的像素值的变化趋势相关联的参数和存储在存储器中的数据进行比较来验证由对象反射的光的光源的色温或从对象产生的光的光源的色温。
在另一示例实施例中，像素阵列可以包括多个像素，并且多个像素中的每个可以至少包括微透镜、第一光电元件和第二光电元件。图像处理器可以通过使用多个像素中的每个像素中包括的第一光电元件来获取第一图像，并且可以通过使用多个像素中的每个像素中包括的第二光电元件来获取第二图像。
在另一示例实施例中，电子设备还可以包括：透镜，其允许由对象反射的光或从对象产生的光到达像素阵列；以及驱动器模块，其动态地控制透镜或像素阵列的布置。图像处理器可以通过调整透镜和像素阵列的布置来获取第一图像和第二图像。
在另一示例实施例中，电子设备还可以包括：透镜，其允许由对象反射的光或从对象产生的光到达像素阵列；以及光圈，其用于调整入射在像素阵列上的光的量。图像处理器可以通过调整光圈来获取第一图像和第二图像。
在另一示例实施例中，图像处理器可以被配置为在从第一图像中包括的像素和第二图像中包括的像素中排除了其可靠性被确定为低于指定参考值的像素值之后，执行归一化。
在另一示例实施例中，图像处理器可以将饱和的或低于指定值的像素值确定为可靠性低的像素值。
在另一示例实施例中，可以将多种预定颜色之一分配给像素阵列中包括的各个像素。图像处理器可以分别对于多种预定颜色中的每种获取第一图像和第二图像。
在另一示例实施例中，图像处理器还可以从像素阵列获取对象的基于与第一组光路和第二组光路具有相位差的至少一个第三组光路生成的至少一个第三图像。图像处理器可以以像素为单位对第一图像、第二图像和至少一个第三图像中包括的像素值进行归一化。
在另一示例实施例中，电子设备还可以包括存储器，其被配置为存储与光源对应的白平衡校正数据。图像处理器可以从存储器获取与经验证的光源对应的白平衡校正数据，并且可以通过使用所获取的白平衡校正数据来执行白平衡。
在另一示例实施例中，存储在存储器中的白平衡校正数据可以通过ISO值、快门速度值或电子设备的光圈值来进行优化。
根据示例实施例，一种用于验证所获取的图像的光源的方法可以包括：获取对象的基于第一组光路生成的第一图像和对象的基于与第一组光路具有相位差的第二组光路生成的第二图像；以像素为单位对第一图像中包括的像素值和第二图像中包括的像素值进行归一化；以及基于与归一化的像素值中的变化趋势相关联的参数，验证由对象反射的光的光源或从对象产生的光的光源。
在另一示例实施例中，光源的验证可以包括：验证施加到对象的光的光源或从对象产生的光的光源的类型或色温。
在另一示例实施例中，光源的验证可以包括：通过对与归一化的像素值中的变化趋势相关联的参数和被预先存储的数据进行比较，验证由对象反射的光的光源的类型或从对象产生的光的光源的类型。
在另一示例实施例中，光源的验证可以包括：通过对与归一化的像素值中的变化趋势相关联的参数和被预先存储的数据进行比较，验证由对象反射的光的光源的色温或从对象产生的光的光源的色温。
在另一示例实施例中，该方法还可以包括：在执行归一化之前，从第一图像中包括的像素值和第二图像中包括的像素值中排除其可靠性被确定为低于指定参考值的像素值。
在另一示例实施例中，可以将饱和的或低于指定值的像素值确定为可靠性低的像素值。
在另一示例实施例中，获取第一图像和第二图像可以包括：分别对于多种预定颜色中的每种，获取第一图像和第二图像。
在另一示例实施例中，该方法还可以包括通过使用与经验证的光源对应的白平衡校正数据来执行白平衡。
本文使用的术语“模块”例如可以指包括了硬件、软件和固件的一个或更多个组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或可以是其一部分。“模块”可以是用于执行一个或更多个功能或其一部分的最小单元。“模块”可以机械地或电子地实现。例如，“模块”可以包括专用处理器、CPU、专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和已知的或将要开发的用于执行某些操作的可编程逻辑器件中的至少一个。
根据各种示例实施例的装置的至少一部分(例如，其模块或功能)或方法(例如，操作)例如可以通过以程序模块的形式存储在计算机可读存储介质中的指令来实现。当该指令由处理器(例如，处理器120)执行时，该指令可以使一个或更多个处理器执行与该指令对应的功能。计算机可读存储介质例如可以是存储器130。
计算机可读记录介质可包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，光盘只读存储器(CD-ROM)和数字通用光盘(DVD)、磁光介质(例如，光磁软盘))和硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)或闪存)。而且，程序指令不仅可以包括诸如由编译器生成的事物的机器代码，还可以包括使用解释器在计算机上可执行的高级语言代码。上述硬件单元可以被配置为经由对一个或更多个软件模块进行操作以执行本公开的操作，反之亦然。
根据各种示例实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略上述元件的一部分，或者还可以包括其他元件。由根据各种实施例的模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式地方法执行。另外，一些操作可以以不同的顺序来执行或者可以被省略。或者，可以添加其他操作。
根据本公开的各种示例实施例，可以通过使用基于第一组光路的第一图像和基于与第一组光路具有相位差的第二组光路的第二图像，更精确地验证由对象反射的光的光源或从对象产生的光的光源。因此，可以基于更精确地验证的光源来执行更适当的白平衡。由于用于白平衡的算法是简单的，因此可以提高验证光源的速度，可以减少计算资源，并且可以减少用于验证光源的功率。
尽管已经参照本公开的各种示例实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离如由所附权利要求及其等同形式限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子设备，所述电子设备包括：
图像传感器，所述图像传感器包括像素阵列；以及
与所述图像传感器电连接的图像处理器，
其中，所述图像处理器被配置为：
从所述像素阵列获取对象的基于第一组光路生成的第一图像，并获取所述对象的基于第二组光路生成的第二图像，所述第二组光路与所述第一组光路具有相位差，
以像素为单位对所述第一图像中包括的像素值和所述第二图像中包括的像素值进行归一化，以及
基于与归一化的所述像素值的变化相关联的参数，验证由所述对象反射的光的光源和/或从所述对象产生的光的光源。
2.根据权利要求1所述的电子设备，其中，所述图像处理器被配置为：
基于所述与归一化的所述像素值的变化相关联的参数，验证施加到所述对象的光的光源或从所述对象产生的光的光源的类型和/或色温。
3.根据权利要求1所述的电子设备，还包括：
存储器，所述存储器被配置为存储数据，在所述数据中指定光源的类型和与所述指定光源中的像素值的变化相关联的参数是彼此相关的，
其中，所述图像处理器被配置为：通过将所述与归一化的所述像素值的变化相关联的参数与被存储在所述存储器中的数据进行比较，验证由所述对象反射的所述光的光源的类型和/或从所述对象产生的所述光的光源的类型。
4.根据权利要求1所述的电子设备，还包括：
存储器，所述存储器被配置为存储数据，在所述数据中指定光源的色温和与所述指定光源中的像素值的变化相关联的参数是彼此相关的，
其中，所述图像处理器被配置为：通过将所述与归一化的所述像素值的变化相关联的参数与被存储在所述存储器中的数据进行比较，验证由所述对象反射的所述光的光源的色温和/或从所述对象产生的所述光的光源的色温。
5.根据权利要求1所述的电子设备，其中，所述像素阵列包括多个像素，
其中所述多个像素中的每个包括：
微透镜；
第一光电探测器；以及
第二光电探测器，
其中，所述图像处理器被配置为：
使用所述多个像素中的每个像素中包括的所述第一光电探测器来获取所述第一图像，以及
使用所述多个像素中的每个像素中包括的所述第二光电探测器来获取所述第二图像。
6.根据权利要求1所述的电子设备，还包括：
透镜，所述透镜被配置为允许由所述对象反射的光和/或从所述对象产生的光被导向所述像素阵列；以及
驱动器模块，所述驱动器模块包括被配置为动态地控制所述透镜或所述像素阵列的布置的驱动器电路，
其中，所述图像处理器被配置为通过调整所述透镜和所述像素阵列的布置，获取所述第一图像和所述第二图像。
7.根据权利要求1所述的电子设备，还包括：
透镜，所述透镜被配置为允许由所述对象反射的光和/或从所述对象产生的光被导向所述像素阵列；以及
光圈，所述光圈被配置为调整入射到所述像素阵列上的光的量，
其中，所述图像处理器被配置为通过调整所述光圈来获取所述第一图像和所述第二图像。
8.根据权利要求1所述的电子设备，其中，所述图像处理器被配置为在从所述第一图像中包括的所述像素值和所述第二图像中包括的所述像素值中排除了特定像素值之后，执行归一化。
9.根据权利要求8所述的电子设备，其中，所述特定像素值包括饱和的像素值和/或低于指定像素值的像素值。
10.根据权利要求1所述的电子设备，其中，多种预定颜色之一被分配给所述像素阵列中包括的各个像素，以及
其中，所述图像处理器被配置为分别对于所述多种预定颜色中的每种颜色，获取所述第一图像和所述第二图像。
11.根据权利要求1所述的电子设备，其中，所述图像处理器被配置为：
从所述像素阵列还获取所述对象的基于至少一个第三组光路生成的至少一个第三图像，所述至少一个第三组光路与所述第一组光路和所述第二组光路具有相位差，以及
以像素为单位对所述第一图像、所述第二图像和所述至少一个第三图像中包括的像素值进行归一化。
12.根据权利要求1所述的电子设备，还包括：
存储器，所述存储器被配置为存储与光源相对应的白平衡校正数据，
其中，所述图像处理器被配置为：
从所述存储器获取与经验证的所述光源相对应的白平衡校正数据，以及
使用所获取的白平衡校正数据，执行白平衡。
13.根据权利要求12所述的电子设备，其中，通过使用所述电子设备的ISO值、快门速度值或光圈值，改善被存储在所述存储器中的所述白平衡校正数据。
14.一种用于验证所捕获的图像的光源的方法，所述方法包括：
获取对象的基于第一组光路生成的第一图像，并获取所述对象的基于第二组光路生成的第二图像，所述第二组光路与所述第一组光路具有相位差；
以像素为单位对所述第一图像中包括的像素值和所述第二图像中包括的像素值进行归一化；以及
基于与归一化的所述像素值的变化相关联的参数，验证由所述对象反射的光的光源和/或从所述对象产生的光的光源。
15.根据权利要求14所述的方法，其中，验证所述光源包括：
验证施加到所述对象的光的光源和/或从所述对象产生的光的光源的类型和/或色温。
CN201780029148.XA 2016-05-12 2017-04-13 用于验证图像的光源的方法和电子设备 Expired - Fee Related CN109196316B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160057948A KR102618590B1 (ko) 2016-05-12 2016-05-12 이미지의 광원을 판단하는 방법 및 이를 수행하는 전자 장치
KR10-2016-0057948 2016-05-12
PCT/KR2017/004026 WO2017195993A2 (en) 2016-05-12 2017-04-13 Method and electronic device for verifying light source of images

Publications (2)

Publication Number Publication Date
CN109196316A true CN109196316A (zh) 2019-01-11
CN109196316B CN109196316B (zh) 2021-02-12

Family

ID=60267417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780029148.XA Expired - Fee Related CN109196316B (zh) 2016-05-12 2017-04-13 用于验证图像的光源的方法和电子设备

Country Status (5)

Country Link
US (1) US10339672B2 (zh)
EP (1) EP3430363A4 (zh)
KR (1) KR102618590B1 (zh)
CN (1) CN109196316B (zh)
WO (1) WO2017195993A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023044856A1 (en) * 2021-09-26 2023-03-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for improving quality of image captured by image sensor having image plane phase-difference pixels, electronic device, computer-readable storage medium and terminal device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388788B2 (en) * 2015-09-10 2022-07-12 Brava Home, Inc. In-oven camera and computer vision systems and methods
KR20180033003A (ko) 2016-09-23 2018-04-02 삼성전자주식회사 입사광의 파장 스펙트럼을 검출하는 방법 및 이를 수행하는 전자 장치
KR102570607B1 (ko) * 2018-06-22 2023-08-25 삼성전자주식회사 이미지의 광원의 타입을 결정하는 전자 장치 및 방법
KR101975186B1 (ko) * 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법
US11227412B2 (en) * 2019-07-05 2022-01-18 Lg Electronics Inc. Artificial intelligence apparatus for calibrating color of display panel of user and method for the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932986A (zh) * 2011-08-12 2013-02-13 台湾积体电路制造股份有限公司 使用开关的led灯的色温调节
US20130308011A1 (en) * 2012-05-16 2013-11-21 Canon Kabushiki Kaisha Image pickup apparatus and image processing method
US20130343646A1 (en) * 2012-06-22 2013-12-26 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
CN103685919A (zh) * 2012-09-11 2014-03-26 索尼公司 处理装置、处理方法和程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270802A (en) 1989-04-14 1993-12-14 Hitachi, Ltd. White balance adjusting device for video camera
JP3943288B2 (ja) * 1999-06-29 2007-07-11 富士フイルム株式会社 視差画像撮像装置、視差画像処理装置、及び視差画像処理方法
US8229215B2 (en) * 2007-12-03 2012-07-24 Omnivision Technologies, Inc. Image sensor apparatus and method for scene illuminant estimation
KR100987030B1 (ko) * 2008-09-18 2010-10-11 연세대학교 산학협력단 화이트밸런스 보정 방법 및 장치
KR20100035906A (ko) 2008-09-29 2010-04-07 엘지전자 주식회사 Ｒｇｂ 색공간에서의 색역 매핑 장치 및 그 방법
US8357899B2 (en) * 2010-07-30 2013-01-22 Aptina Imaging Corporation Color correction circuitry and methods for dual-band imaging systems
KR101896386B1 (ko) * 2011-11-22 2018-09-11 삼성전자주식회사 화이트 밸런스 조절장치 및 방법
KR102056141B1 (ko) 2013-02-25 2019-12-16 삼성전자주식회사 이미지 센서 및 이를 포함하는 컴퓨팅 시스템
KR102211862B1 (ko) * 2014-04-09 2021-02-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 센서 시스템
JP6508890B2 (ja) * 2014-07-07 2019-05-08 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
KR102374109B1 (ko) 2014-08-01 2022-03-14 삼성전자주식회사 크로스토크 특성을 개선하는 이미지 센서 및 그의 제조 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932986A (zh) * 2011-08-12 2013-02-13 台湾积体电路制造股份有限公司 使用开关的led灯的色温调节
US20130308011A1 (en) * 2012-05-16 2013-11-21 Canon Kabushiki Kaisha Image pickup apparatus and image processing method
US20130343646A1 (en) * 2012-06-22 2013-12-26 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
CN103685919A (zh) * 2012-09-11 2014-03-26 索尼公司 处理装置、处理方法和程序

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023044856A1 (en) * 2021-09-26 2023-03-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for improving quality of image captured by image sensor having image plane phase-difference pixels, electronic device, computer-readable storage medium and terminal device

Also Published As

Publication number Publication date
WO2017195993A3 (en) 2018-07-19
US10339672B2 (en) 2019-07-02
CN109196316B (zh) 2021-02-12
KR102618590B1 (ko) 2023-12-28
KR20170127638A (ko) 2017-11-22
WO2017195993A2 (en) 2017-11-16
EP3430363A2 (en) 2019-01-23
EP3430363A4 (en) 2019-01-30
US20170330348A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
KR102444085B1 (ko) 휴대용 통신 장치 및 휴대용 통신 장치의 영상 표시 방법
CN113965678B (zh) 电子设备及其图像捕获方法
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
CN109196316A (zh) 用于验证图像的光源的方法和电子设备
KR102570305B1 (ko) 전자 장치 및 그 제어 방법
KR102401659B1 (ko) 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
CN108141535A (zh) 用于生成图像数据的电子设备和方法
CN107409180A (zh) 具有相机模块的电子装置和用于电子装置的图像处理方法
CN107851422A (zh) 电子设备和电子设备中的显示控制方法
CN110462572A (zh) 电子装置及其控制方法
CN108574975A (zh) 无线路由器、物联网设备和用于支持连接到物联网设备的无线路由器的系统
CN108353152B (zh) 图像处理设备及其操作方法
CN110214375A (zh) 图像传感器和包括其的电子设备
CN104869320A (zh) 电子设备和控制电子设备操作方法
KR20170097860A (ko) 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
KR20180091589A (ko) 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
KR20150141808A (ko) 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
KR20180001254A (ko) 이미지 처리장치 및 방법
CN109661804A (zh) 包括虹膜识别传感器的电子设备和操作电子设备的方法
CN107796512A (zh) 具有显示器和传感器的电子设备及操作电子设备的方法
KR102371211B1 (ko) 복수의 카메라를 이용하여 생체 정보를 인증하는 방법 및 장치
CN105981365A (zh) 电子装置的拍摄方法及其电子装置
KR20170054915A (ko) 카메라 전환 방법 및 이를 지원하는 전자 장치
CN106031157A (zh) 用于处理图像的电子设备和方法
WO2019071623A1 (zh) 一种拍摄方法以及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210212