CN104869320B - 电子设备和控制电子设备操作方法 - Google Patents

电子设备和控制电子设备操作方法 Download PDF

Info

Publication number
CN104869320B
CN104869320B CN201510068318.8A CN201510068318A CN104869320B CN 104869320 B CN104869320 B CN 104869320B CN 201510068318 A CN201510068318 A CN 201510068318A CN 104869320 B CN104869320 B CN 104869320B
Authority
CN
China
Prior art keywords
pixel
exposure
time
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510068318.8A
Other languages
English (en)
Other versions
CN104869320A (zh
Inventor
姜和映
尹泳权
李種硖
金汶洙
金兑澔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104869320A publication Critical patent/CN104869320A/zh
Application granted granted Critical
Publication of CN104869320B publication Critical patent/CN104869320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供了一种电子设备以及控制其操作的方法。该方法包括：使用图像传感器获取图像数据，该图像传感器包括多个第一像素和多个第二像素，多个第一像素配置成具有相同的第一曝光时间，多个第二像素配置成具有相同的第二曝光时间，其中，获取图像数据的步骤包括：当多个第一像素的相同的第一曝光时间与多个第二像素的相同的第二曝光时间相同时，使用多个第一像素和多个第二像素获取图像数据；以及至少部分地基于所获取的图像数据来控制图像传感器，以使多个第一像素的相同的第一曝光时间不同于多个第二像素的相同的第二曝光时间。

Description

电子设备和控制电子设备操作方法
技术领域
本公开涉及一种电子设备。更具体地，本公开涉及一种使用电子设备处理高动态范围(HDR)图像的方法。
背景技术
图像的动态范围可以是用于表示图像的暗区至亮区的亮度级的范围，并且被定义为最亮像素值与最暗像素值的比值。动态范围通过控制用于表示图像的照度(如亮度)的像素值来进行调整。通过改进图像传感器输出的图像的动态范围以提高图像质量的技术称为高动态范围(HDR)方案。
在HDR方案中，通过两次或两次以上对同一对象进行拍摄而获得具有不同曝光时间的图像，并且通过合成这些图像扩展动态范围。此时，可通过区别地配置曝光量或快门速度获得具有不同曝光时间的两个图像，并且可通过合成和校正这两个图像获得HDR图像。
上述信息作为背景信息而提供，它们仅用于帮助理解本申请公开的内容，而不能确定或断定上述任何内容是否适于作为针对本发明的现有技术。
发明内容
由于通过合成和校正具有不同曝光的多个图像来获取高动态范围(HDR)图像，因此可能需要更长的时间来捕获和合成多个图像。
本公开的诸方面将至少解决上述的问题和/或缺点并且将至少提供如下文所述的优点。因此，本公开的一方面将提供一种在动态环境中创建具有高动态范围的图像的电子传感器及其控制方法。
本公开的另一方面将提供一种对通过实时组合长曝光像素和短曝光像素而获取的图像进行处理的电子传感器及其控制方法。
本公开的另一方面将提供一种通过实时校正曝光过度区域和曝光不足区域而创建高质量图像的电子传感器及其控制方法。
本公开的另一方面将提供一种自动执行自动曝光模式与高动态范围模式转变的电子传感器及其控制方法。
根据本公开的一方面，提供了一种电子设备。该电子设备包括图像传感器和至少一个处理器，该图像处理器配置成通过其所包括的像素阵列获取图像数据，该至少一个处理器配置成处理图像数据，其中像素阵列包括多个第一像素和多个第二像素，多个第一像素配置成具有相同的第一曝光时间，多个第二像素配置成具有相同的第二曝光时间，其中，该相同的第一曝光时间与该相同的第二曝光时间相同或不同，其中，该至少一个处理器配置成基于至少一些图像数据控制图像传感器，以使得多个第一像素以下至少一种状态改变：从与多个第二像素具有相同曝光时间的状态改变为与多个第二像素具有不同曝光时间的状态；以及从与多个第二像素具有不同曝光时间的状态改变为与多个第二像素具有相同曝光时间的状态。
根据本公开的另一方面，提供了一种控制电子设备操作的方法。该方法包括：使用图像传感器获取图像数据，其中图像传感器包括多个第一像素和多个第二像素，多个第一像素具有相同的第一曝光时间，多个第二像素具有相同的第二曝光时间，其中获取图像数据的步骤包括：当多个第一像素的相同的第一曝光时间与多个第二像素的相同的第二曝光时间相同时，使用多个第一像素和多个第二像素获取图像数据；以及至少部分地基于所获取的图像数据，控制图像传感器，以使得多个第一像素的相同的第一曝光时间不同于多个第二像素的相同的第二曝光时间。
根据本公开的一方面，提供了一种用于捕获图像的电子设备。该电子设备包括图像传感器，配置成通过其所包括的像素阵列获取图像数据，像素阵列配置成使用多个第一像素和多个第二像素生成图像数据，其中多个第一像素配置成具有相同的第一曝光时间，多个第二像素配置成具有相同的第二曝光时间，并且多个第一像素和多个第二像素包括在像素阵列中。该电子设备还包括至少一个处理器，配置成处理图像数据，以控制相同的第一曝光时间和相同的第二曝光时间使得相同的第一曝光时间与相同的第二曝光时间相同或不同，以及根据图像数据生成输出图像。
对于本领域技术人员而言，通过以下结合附图且公开了本申请各实施方式的详细描述，本公开的其他方面、优点以及显著特征将变得显而易见。
附图说明
通过结合附图给出的以下描述，本公开的某些实施方式的上述及其他方面、特征以及优点将变得更明显，在附图中：
图1A是根据本公开实施方式的电子设备的框图；
图1B是根据本公开另一实施方式的电子设备的框图；
图2是根据本公开实施方式用于处理从图像传感器输出的图像数据的图像处理设备的框图；
图3A和图3B示出了根据本公开实施方式的图像传感器中多个像素的布置的示例；
图4示出了根据本公开实施方式的图像传感器中多个像素的多种布置的示例；
图5、图6、图7、图8以及图9是与根据本公开实施方式的图像传感器的像素的曝光操作相关的曲线图；
图10示出了根据本公开实施方式的滤色器的特性；
图11A是示出根据本公开实施方式的、当自动曝光模式转变成现场高动态范围(HDR)模式时控制图像传感器的方法的流程图；
图11B是示出根据本公开实施方式配置多个第一像素的曝光时间和多个第二像素的曝光时间的方法的流程图；
图12示出了根据本公开实施方式的、基于自动曝光模式中捕获的图像数据的直方图的示例；
图13是示出根据本公开实施方式调整曝光时间的方法的视图；
图14示出了根据本公开实施方式的、根据长曝光时间调整的直方图变化示例；
图15示出了根据本公开实施方式的、根据长曝光时间调整的图像变化示例；
图16示出了根据本公开实施方式的、根据短曝光时间调整的直方图变化示例；
图17示出了根据本公开实施方式的、根据短曝光时间调整的图像变化示例；
图18是示出根据本公开实施方式的、当现场HDR模式转变成自动曝光模式时控制图像传感器的方法的流程图；
图19是根据本公开实施方式的电子设备的框图；
图20是根据本公开实施方式的硬件的框图；以及
图21是根据本公开实施方式的编程模块的框图。
应注意，在所有附图中，相同的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
下面参照附图所提供的描述用于帮助全面理解如权利要求书及其等同方案所限定的本公开的多个实施方式。以下描述包括用于帮助理解的多个具体细节，但是这些具体细节应认为仅是示例性的。因此，本领域普通技术人员应该理解，在不背离本公开精神和范围的情况下，可以对本文中描述的多个实施方式做出各种改变和修改。另外，为了清楚和简明起见，公知功能和结构的描述可能会被省略。
以下描述和权利要求书中所使用的术语和词语并不限于其字面含义，而仅是发明人用来使得能够清楚且一致地理解本公开。因此，对本领域技术人员显而易见的是，以下对本公开的多个实施方式的描述仅是出于说明的目的，而不是用来限制如所附权利要求书及其等同方案所限定的本公开。
应理解，除非上下文中另有明确说明，单数形式的“一(a或an)”和“该(the)”包括复数个所指物。因此，例如，当提及“部件表面”时包括提及一个或多个这种表面。
本文中可能使用的表述如“包括(include)”和“可包括(may include)”表示存在所公开的功能、操作和组成元件，但并不限制一个或多个附加功能、操作和组成元件。在本公开中，术语如“包括(include)”和/或“具有(have)”可解释为表示某一特性、数量、步骤、操作、组成元件、部件或其组合，而不应解释为排除还具有一个或多个其他特性、数量、步骤、操作、组成元件、部件或其组合的存在或可能性。
此外，在本公开中，“和/或”的表述包括所列相关词语的任一组合和所有组合。例如，“A和/或B”的表述可包括A，可包括B，或可包括A和B。
虽然本公开中诸如“第一”和“第二”的表述可修饰本公开的各组成元件，但其并不限制这些组成元件。例如，以上表述并不限制元件的顺序和/或重要性。相反，以上表述仅用于将一个元件与其他元件区分开。例如，虽然第一用户设备和第二用户设备表示不同的用户设备，但是这两者都是用户设备。再例如，在不背离本公开范围的情况下，第一元件可称为第二元件，第二元件也可类似地称为第一元件。
在一个部件被描述为“连接”至其他部件或由其他部件“访问”的情况下，应理解为不仅该部件可直接连接至其他部件或由其他部件访问，而且可存在位于其间的另一部件。另一方面，在部件被描述为“直接连接”至其他部件或由其他部件“直接访问”的情况下，应理解为其间不存在任何部件。本公开中所用术语仅用于描述具体实施方式，并非旨在限制本公开。除非上下文中另有明确说明，单数形式旨在包括复数形式。
在下文中，将参照附图描述根据本公开多个实施方式的电子传感器。包括根据本公开多个实施方式的电子传感器(例如图像传感器)的相机模块可安装至电子设备。这种电子设备可设置有相机、摄像放像机、网络摄像机、监控摄像机、医用相机、高速相机、多相机(如3D相机)等。
根据本公开多个实施方式的电子设备可包括具有通信功能的设备。例如，电子设备可包括诸如以下设备的各种设备的至少之一或组合：智能电话、平板式个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型PC、上网本型计算机、个人数字助手(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG)音频层3(MP3)播放器、移动医疗设备、可穿戴设备(例如头戴式设备(HMD)如电子眼镜、电子衣服、电子钟、腕表、电子手环、电子项链、电子配件和智能手表)、家用电器(例如冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器等)、人工智能机器人、电视机(TV)、数字化视频光盘(DVD)播放器、音频系统、各种医疗设备(例如磁共振血管成像(MRA)、磁共振成像(MRI)、计算机断层成像(CT)、电影相机、超声设备等)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、机顶盒、TV盒子(例如Samsung HomeSyncTM、Apple TVTM或Google TVTM)、电子词典、车辆信息娱乐设备、船用电子设备(例如船用导航设备、回转罗盘等)、航空电子设备、安全设备、电子钥匙、摄像放像机、游戏机、平板显示设备、电子相框、电子相册、包括通信功能的家具或结构/建筑物的一部分、电子板、电子签名接收设备、投影仪等。此外，对本领域技术人员显而易见的是，根据本公开各实施方式的电子设备不限于上述设备。
图1A是根据本公开实施方式的电子设备的框图。
参照图1A，电子设备可包括图像传感器10、图像预处理器20、包括图像信号处理器(ISP)40的应用处理器(AP)30、存储单元50、显示单元60以及自动曝光控制器70。图1A中仅示出与本公开实施方式相关的组成元件，显然除上述组成元件外，电子设备还可设有其他元件。
相机模块(未示出)可包括图像传感器10，作为电子传感器示例的图像传感器10可检测入射光，并且在由对象反射的光通过透镜输入至图像传感器10时，其可输出与检测到的光对应的电子图像信号。图像传感器10可以帧为单位输出通过对对象进行拍摄而获得的图像信号。图像传感器10包括以下至少之一：互补金属氧化物半导体(CMOS)传感器、电荷耦合器件(CCD)传感器、Foveon传感器、互补图像传感器等。
图像传感器10配置有多个像素11，并且可包括由多个像素11构成的阵列，在该阵列中多个像素11设置成多行和多列，以获得具有预定尺寸的图像。从多个像素11中，根据本公开实施方式的阵列可分成多个第一像素(未示出)和多个第二像素(未示出)。这里，多个第一像素和多个第二像素可被理解为：可根据本公开各实施方式形成各种像素布置，如像素组、像素对、至少两个相邻像素、至少每隔一个像素等。在下文中，多个第一像素和多个第二像素分别被称为第一组像素和第二组像素，并且可统称第一组和第二组像素。
第一组和第二组像素可配置成具有相同的曝光时间。第一组和第二组像素可通过自动曝光控制器70从具有相同曝光时间的状态改变为具有不同曝光时间的状态，或者第一组和第二组像素的曝光时间可改变为相同的时间。相反地，第一组和第二组像素还可从具有不同曝光时间的状态改变为具有相同曝光时间的状态，或者第一组和第二组像素的曝光时间可改变相同的时间量。
根据本公开的实施方式，第一组和第二组像素具有相同曝光时间的状态可定义为自动曝光模式，而第一组和第二组像素具有不同曝光时间的状态可定义为现场高动态范围(HDR)模式。根据本公开的实施方式，当满足改变曝光时间的条件时，第一组和第二组像素可从具有相同曝光时间的状态改变为具有不同曝光时间的状态，反之亦然。可通过自动方法实现从自动曝光模式到HDR模式的转变，还可通过自动方法实现HDR模式的释放以及返回自动曝光模式。
例如，在自动方法中，基于拍摄的图像数据检查预定的转变条件，如果满足该条件，则自动曝光模式可自动转变成HDR模式。根据一个实施方式，在自动方法中，如果在HDR模式下不满足该条件，则HDR模式可自动转变成自动曝光模式。
在自动曝光模式中，图像传感器10可基于第一组和第二组像素的像素值输出第一图像数据和第二图像数据，其中第一图像数据和第二图像数据可被称为第一和第二图像数据。分别基于第一组和第二组像素的像素值的第一和第二图像是包括具有相同曝光时间的一个或多个不同像素的图像，并且这些像素的亮度值之间可能不存在差别。
在HDR模式中，图像传感器10可基于第一组像素的像素值输出第三图像数据，以及可基于第二组像素的像素值输出第四图像数据。这里，通过区分以相同对象为目标的第一组和第二组像素的曝光，分别生成第三图像数据和第四图像数据。例如，第三图像数据可以是长曝光图像数据，而第四图像数据可以是短曝光图像数据。可通过使第一组像素曝光较长时间而获得长曝光图像数据，而通过使第二组像素曝光较短时间而获得短曝光图像数据。可通过校正和合成长曝光图像数据和短曝光图像数据而创建一个HDR图像。
如上所述，图像传感器10可具有通过自动曝光控制器70来调整曝光量的功能。也就是，图像传感器10的第一组和第二组像素的曝光量可通过自动曝光控制器70进行调整。在本公开的实施方式中，第一组和第二组像素的曝光量可通过曝光时间进行调整。
配置图像传感器10的多个像素11可分成两个不同的像素组，并由图1A中的阴影像素和非阴影像素表示。由多个像素11创建的图像数据12可传输至图像预处理器20。
位于图像信号处理器40前端的图像预处理器20可对图像传感器10传输的图像数据12进行预处理。在逆着背光13对对象进行拍摄的情况下，图像传感器10可输出这样的图像数据12，即，在该图像数据12中，位于背光13前面的对象15由于曝光不足而变黑，而背景部分14由于曝光过度而变白。
图像预处理器20可执行图像处理，如亮度数据创建21、坏像素校正(BPC)22、重建23、动态范围压缩(DRC)24等。
由于在自动曝光模式中图像预处理器20从图像传感器10接收一个图像数据，因此图像预处理器20可不执行重建23并可省略动态范围压缩24。与之不同，在HDR模式中，在合成具有不同曝光时间的两个图像数据的情况下，HDR图像(即合成图像)的质量可由于在合成过程中产生的数据丢失而劣化。出于这种考虑，图像预处理器20可校正具有不同曝光时间的两个图像数据，以防止图像质量的劣化。
为此，坏像素校正22、重建23以及动态范围压缩24可作为图像预处理器20可执行的图像处理技术的示例。这里，重建23可用来通过使用包含在长曝光图像数据和短曝光图像数据中的像素值而形成长曝光图像和短曝光图像，以及通过内插和合成来将长曝光图像和短曝光图像合并成一个HDR图像。
如上所述，可通过位于图像信号处理器40前端的图像预处理器20的一些配置来对图像数据进行预处理。此外，除了由图像预处理器20执行的图像处理操作之外，剩余的图像处理操作可由图像信号处理器40执行。根据本公开的实施方式，在电子设备中，配置成处理图像数据的至少一个处理器(例如，图像预处理器20、AP 30以及图像信号处理器40)可彼此独立，并且如图1A所示，可将图像预处理器20设置在图像信号处理器40的前端，并且图像信号处理器40包括在AP30中。
图1B是根据本公开另一实施方式的电子设备的框图。
参照图1B，与图1A不同，图像预处理器20的所有或一些配置可实施在AP 30内。虽然在图1B中，AP 30包括图像预处理器20和图像信号处理器40，但是图像预处理器20的配置还可实施为由图像信号处理器40执行，而在这样的情况下，可省略图像预处理器20。
图像信号处理器40可接收由图像传感器10拍摄的实时图像数据，并且可将这些图像数据处理成适于显示单元60的屏幕特性(如尺寸、清晰度、分辨率等)或其他显示单元的屏幕特性。这种图像处理功能包括诸如伽玛校正、内插、空间变化、图像效果、图像比例、自动白平衡(AWB)、自动曝光(AE)、自动对焦(AF)等功能。此外，图像信号处理器40可基于矩阵测光类型、接触式自动曝光类型、中央加权测光类型和点测光类型中至少之一而以自动曝光模式进行操作。
图像信号处理器40可实施为包括在AP 30中，其中AP 30执行多媒体功能以顺利进行和控制各附加功能(如相机功能、多媒体数据复制功能等)。
在自动曝光模式中，图像信号处理器40可配置参考曝光时间。参考曝光时间可以是这样的时间间隔，在该时间间隔中，图像传感器10的第一组像素和第二组像素相同地曝光。可使用多种方法作为配置参考曝光时间的方法。根据本公开实施方式的图像信号处理器40可基于亮度数据创建直方图，并可使用该直方图来确定长曝光时间和短曝光时间以及参考曝光时间。也就是说，直方图分析可用于确定图像的饱和度。
图像信号处理器40可基于图像传感器10的第一组和第二组像素的像素值确定是否满足预定模式转变条件，其中获得图像传感器10的第一组和第二组像素的像素值以用于确定参考曝光时间。如果满足模式转变条件，则图像信号处理器40可通过控制自动曝光控制器70来为第一组和第二组像素不同地配置曝光时间。因此，根据配置的曝光时间(即，长曝光时间和短曝光时间)，自动曝光控制器70可控制图像传感器10的曝光量。
例如，在逆着背光13对对象进行拍摄的情况下，图像传感器10可输出图像数据12，在该图像数据12中，位于背光13前面的对象15由于曝光不足而变黑，而背景部分14由于曝光过度而变白。在这种情况下，在自动曝光模式中，图像信号处理器40控制自动曝光控制器70调整参考曝光时间，显示在显示单元60上的图像因此在整体上会变得更亮或更暗。在这种情况下，由曝光不足所导致的黑色部分和由曝光过度所导致的白色部分需要进行校正以具有不同的亮度。也就是说，黑色部分需要进行校正以变得更亮，而白色部分需要进行校正以变得更暗。
在自动曝光模式中，在获得具有曝光过度区域和曝光不足区域的图像的情况下，当通过直方图分析满足模式转变条件时，图像信号处理器40可转变成HDR模式。这里，曝光过度区域可意味着这样的情况：第一组和第二组像素的、高于选自直方图的第一参考值的像素亮度值的数量大于第一阈值，而曝光不足区域可意味着这样的情况：第一组和第二组像素的、低于选自直方图的第二参考值的像素亮度值的数量大于第二阈值。
以不同曝光时间捕获的两个或两个以上图像数据可从图像传感器10输出。图像预处理器20可对以长曝光时间获得的长曝光图像和以短曝光时间获得的短曝光图像执行图像预处理。如上所述，根据本公开的实施方式，可通过使用图像传感器10中的长曝光像素组来对曝光不足所导致的较暗区域(例如，黑色部分)执行校正。由于与短曝光像素组相比，长曝光像素组被曝光了相对更长时间，从而大量的光被输入至其，因此可利用长曝光像素组获得具有适当曝光的图像。此外，可利用短曝光像素组对曝光过度所导致的相对更亮区域(例如，白色部分)执行校正。用于短曝光像素组的曝光时间配置成短于在自动曝光模式中捕获图像的曝光时间，从而可校正较亮区域。
因此，通过对由长曝光像素组获得的长曝光图像和由短曝光像素组获得的短曝光图像进行内插，图像预处理器20可创建一个HDR图像。图像信号处理器40可在显示单元60上显示HDR图像61(参照图1A)。可获得与通过适当调整曝光而获得的图像相似的HDR图像61，在这样的情况下，由于曝光过度而较亮的背景具有经过调整的曝光63，以及由于曝光不足而较暗的对象具有经过调整的曝光62，其中经过调整的曝光63被调整以使得背景的亮度减小，经过调整的曝光62被调整以使得对象的亮度增大。
存储单元50可包括图像缓冲器，该图像缓冲器根据帧来存储基于从图像传感器10获得的图像数据所形成的图像。此外，存储单元50可存储用于在自动曝光模式中确定参考曝光时间的自动曝光表以及用于在HDR模式中确定长曝光时间和短曝光时间的HDR表。例如，在直方图上存在曝光过度区域和曝光不足区域的情况下，可根据直方图从HDR表提取相关的长曝光时间和短曝光时间。表的值可具有例如在各种拍摄环境中实验性测量的平均值以及相机的基础设定值，并且还可由用户通过选项菜单进行配置。
虽然如图1A和图1B所示，电子设备可配置成包括详细的组成元件，如图像预处理器30和图像信号处理器40，但是电子设备大体可分成用于将图像数据转换成电信号的图像传感器和用于处理电信号的图像处理器。
图2是根据本公开实施方式用于处理从图像传感器输出的图像数据的图像处理设备的框图。
参照图2，从图像传感器10输出的图像数据可传输至图像获取单元41，基于图像数据的亮度数据可传输至直方图计算单元42。
在以自动曝光模式进行操作的情况下，图像获取单元41可从图像传感器10获取使用第一组像素和第二组像素以相同曝光时间获得的至少一个图像数据。如果在明亮的户外空间捕获图像，则可在使用第一组像素和第二组像素以相同曝光时间获得的图像数据A和图像数据B上生成由曝光过度所导致的白色饱和部分。这里，在相同曝光时间的情况下，基于第一组像素获得的图像数据A与基于第二组像素获得的图像数据B之间可能不存在亮度差。
直方图计算单元42可基于第一组像素和第二组像素的亮度值创建直方图，并且可基于直方图确定曝光过度或曝光不足。
例如，直方图计算单元42可计算用于从图像传感器10接收的图像数据A和图像数据B的亮度值，并且曝光时间调整单元43可逐步区分与所计算的亮度值相关的信息，并可基于区分的亮度值信息确定参考曝光时间。可通过各种方法(如，参考捕获之前的预览模式中显示的图像数据的直方图来配置参考曝光时间的方法)来配置这种参考曝光时间。
可基于图像预处理器20生成的亮度数据来计算亮度值。直方图计算单元42基于亮度数据形成直方图，其中直方图(示出频率分布的曲线图)用于测量相机视野中图像的曝光，并且表示图像中像素的照度值分布。
当直方图计算单元42确定已产生曝光过度或曝光不足时，曝光时间调整单元43可调整第一组像素和第二组像素的参考曝光时间，并可在自动曝光控制器70的控制下调整图像传感器10的曝光时间。还可通过调整参考曝光时间来调整传输至图像获取单元41的图像数据的亮度值，并且在通过图像校正单元45进行校正之后，输出图像创建单元46可输出其亮度值根据曝光过度或曝光不足进行了调整的输出图像C。因此，在明亮的户外空间中捕获的图像数据A和图像数据B上产生的饱和现象由于参考曝光时间的调整而消失，从而获得了被调整用于输出图像C的亮度。
然而，在由于背光而同时在图像数据上产生曝光过度和曝光不足时，难以仅通过亮度调整而同时解决曝光过度和曝光不足。在本公开的实施方式中，在同时产生曝光过度和曝光不足时，第一组和第二组像素的曝光时间可改变为具有互不相同的状态。此外，在本公开的另一实施方式中，当在以相同曝光时间捕获的图像数据上产生曝光过度和曝光不足的其中之一时，可将图像传感器10的第一组和第二组像素的曝光时间改变相同的时间量。
为此，可对以下情况进行比较，其中一种情况是：比基于直方图计算单元42中的直方图所选择的第一参考值高的像素亮度值的数量大于第一阈值；另一种情况是：比基于该直方图所选择的第二参考值低的像素亮度值的数量大于第二阈值。高于所选择的第一参考值的像素亮度值的数量大于第一阈值的程度可映射为必须以短曝光处理的像素的曝光时间。此外，低于所选择的第二参考值的像素亮度值的数量大于第二阈值的程度可映射为必须以长曝光处理的像素的曝光时间。
因此，如果长曝光时间与短曝光时间的比值大于或等于阈值比值，则曝光时间调整单元43可确定长曝光时间和短曝光时间，以使得第一组和第二组像素的曝光时间彼此不同。这时，可参考预存的HDR表确定和调整长曝光时间和短曝光时间。例如，在确定曝光时间时，假设适当曝光的曝光时间为1/250并且曝光比值为1比4，则长曝光像素可具有1/125的曝光时间，短曝光像素可具有1/500的曝光时间。可通过电子设备的控制器对从各像素检测到的各图像信息进行组合，以完成所捕获的图像。
自动曝光控制器70可根据由曝光时间调整单元43确定的长曝光时间和短曝光时间来控制图像传感器10。因此，对于预定的长曝光时间，可基于为图像传感器10的长曝光组的像素指定的像素值获得长曝光图像数据，而对于短曝光时间，可基于为图像传感器10的短曝光组的像素指定的像素值获得短曝光图像数据。
图像获取单元41可获取通过不同曝光时间捕获的两个图像数据，即长曝光图像数据D和短曝光图像数据E。这时，以不同曝光时间捕获的长曝光图像数据D由于背光导致的曝光不足而在整体上可能较暗，而短曝光图像数据E由于曝光过度而在整体上可能较亮。在这种情况下，曝光时间调整单元43基于直方图计算单元42计算的直方图来调整长曝光时间和短曝光时间。因此，可获得以经过调整的长曝光时间和经过调整的短曝光时间捕获的长曝光图像数据和短曝光图像数据。这时，以经过调整的长曝光时间捕获的长曝光图像数据可以是针对曝光不足而校正了亮度的图像数据，而以经过调整的短曝光时间捕获的短曝光图像数据可以是针对曝光过度而校正了亮度的图像数据。
图像校正单元45可执行对长曝光图像数据与短曝光图像数据之间的差别进行校正的操作。因此，输出图像创建单元46可将长曝光图像数据与短曝光图像数据合成，合成图像F(也可称为HDR图像F)对于用户可表现为HDR图像。可通过将校正的短曝光图像与校正的长曝光图像合成而创建HDR图像F。曝光过度部分的亮度被减小而曝光不足部分的亮度被增大，以使得即使在背光状态下，HDR图像F在整体上可表现为接近真实的图像。因此，对于相同对象，可获得具有扩展动态范围的图像。
这时，图像的亮区和暗区可根据捕获时间点和/或对象而改变。根据本公开的多个实施方式，设有图像传感器的电子设备还可通过识别对象的图像上的亮区和暗区，重新布置长曝光像素和短曝光像素。此外，根据操纵电子设备的用户的意图，图像上的特定区域还可配置为感兴趣区(ROI)。为此，图像处理设备还可包括目标区域检测单元44。
例如，当图像上的面部或文本所在部分产生曝光不足或曝光过度时，与其他部分相比，目标区域检测单元44可对面部或文本所在部分不同地应用长曝光时间和/或短曝光时间。
为此，目标区域检测单元44可基于面部识别算法或文本识别算法分析图像数据，以检测面部或文本所在区域。例如，当目标区域检测单元44在曝光过度区域中检测到面部时，曝光时间调整单元43可将短曝光时间与总曝光时间的比值调高，相反地，当目标区域检测单元44在曝光不足区域中检测到面部时，曝光时间调整单元43可将长曝光时间与总曝光时间的比值调低，以执行拍摄和合成。此外，目标区域检测单元44可将长曝光时间与总曝光时间的比值配置为使其在图像上的感兴趣区中更高。以不同的方式，目标区域检测单元44可进行控制，以使得图像上的感兴趣区中设置的长曝光像素多于短曝光像素。
图3A和图3B示出了根据本公开实施方式的图像传感器中多个像素的布置的示例。
参照图3A，在该图中例示了图像传感器10的第一组像素(可以是多个第一像素)和第二组像素(可以是多个第二像素)根据选自阵列的一些区域的图案进行布置。在第一组像素被定义为长曝光像素而第二组像素被定义为短曝光像素的情况下，长曝光像素和短曝光像素可具有多边形形状。例如，可具有这样的布置，其中长曝光像素中至少两个直接邻近的像素不共享多边形的一边，以及短曝光像素中至少两个直接邻近的像素不共享多边形的一边。
图3B示出了掩模300a具有4X 4的尺寸的情况下长曝光像素和短曝光像素的布置。在掩模300a中，Gr、R和B像素被指定为长曝光像素，除Gr、R和B像素之外剩余r、b和gb像素被指定为短曝光像素。例如，在图3B中，在每个奇数行中，三个长曝光像素和一个短曝光像素可交替布置在水平方向，而在每个偶数行中，三个短曝光像素和一个长曝光像素可交替布置在水平方向。这时，偶数行中的长曝光像素可布置为与相邻的奇数行中的长曝光像素邻近。
通过上述布置，如图3A所示，可呈现出交叉条纹图案，其中配置有长曝光像素的水平线和配置有短曝光像素的竖直线以预定距离彼此相交，在这样的情况下，水平线与竖直线相交的距离可互不相同。因此，长曝光像素和短曝光像素可在对角线方向表现为阶梯式图案。
虽然在上述实施方式中三个长曝光像素或三个短曝光像素以预定距离设置，但还可进行多种布置。例如，第一组像素中的至少两个和第二组像素之一可交替布置。
根据本公开的各实施方式，根据形成在图像传感器10上的图像的亮区和暗区的动态范围，第一组和第二组像素的曝光量可配置为彼此不同。根据本公开的实施方式，可通过曝光时间、光电变换效率以及光圈调校中的至少之一来配置第一组和第二组像素的曝光量。
根据本公开的各实施方式，可通过包括以下操作的方法来控制图像传感器10，即，将配置图像传感器10的像素中的一些配置为以预配置曝光时间检测对象图像的第一像素组的操作，以及将配置图像传感器10的剩余像素中的至少一些配置为以短于第一像素组的预配置曝光时间的曝光时间检测对象图像的第二像素组的操作。
根据实施方式，在与图像传感器10上形成的图像的区域对应的像素中，配置成具有高像素输出值的像素可设置为属于第一像素组的像素，以及配置成具有低像素输出值的像素可设置为属于第二像素组的像素。
根据实施方式，可通过上述方法动态地分配配置第一像素组的像素和配置第二像素组的像素的布置。
根据实施方式，可通过上述方法，将配置第一像素组的像素和配置第二像素组的像素布置成重复或不规则的图案。
根据实施方式，上述方法使得当第一像素组的像素曝光时第二像素组的像素以不同的曝光时间检测曝光图案至少两次。
根据实施方式，通过上述方法，可在形成于图像传感器10上的图像上配置ROI，并且在ROI中用于配置第一像素组的像素可比用于配置第二像素组的像素更多。
图4示出了根据本公开实施方式的图像传感器中的多个像素的各布置的示例。
图4中示出了图像传感器10的各种布置，即由第一组像素400a(可称为长曝光像素400a)和第二组像素400b(可称为短曝光像素400b)形成的图案400、图案410、图案420、图案430、图案440、图案450以及图案460。例如，如上所述，现场HDR功能可通过以下来执行：划分图案400中的像素，将图像传感器10配置成具有不同曝光量设定的至少两个像素组，以及布置所划分的像素组。如图4所示，长曝光像素400a和短曝光像素400b可布置在图案400、图案410、图案420和图案430(可称为重复图案400、重复图案410、重复图案420和重复图案430)中的任一个中，或布置在图案440、图案450和图案460(可称为不规则图案440、不规则图案450和不规则图案460)中的任一个中。
将配置图像传感器10的图案400的像素划分成具有不同曝光量设定的至少两个像素组并布置所划分的像素组的操作可固定地配置在制造图像传感器10的过程中，或根据安装有图像传感器10的设备的捕获模式而动态地配置。
在描述本公开的各实施方式时，“曝光量设定彼此不同”的表述可意味着长曝光像素400a被曝光的持续时间不同于短曝光像素400b被曝光的持续时间。为了不同地配置曝光量，在一些实施方式中，短曝光像素400b和长曝光像素400a可同时曝光。相反地，不必同时曝光长曝光像素400a和短曝光像素400b。在一些实施方式中，为了不同地配置曝光量，长曝光像素400a的光电变换效率可配置成不同于短曝光像素400b的光电变换效率。在一些实施方式中，为了不同地配置曝光量，长曝光像素400a的光圈调校可配置成不同于短曝光像素400b的光圈调校。在一些实施方式中，为了不同地配置曝光量，长曝光像素400a的像素大小可配置成不同于短曝光像素400b的像素大小，或者可通过控制透镜或滤光器调整每单位时间输入至像素的光量。
图5、图6、图7、图8以及图9是与根据本公开各实施方式的图像传感器的像素的曝光操作相关的曲线图。
参照图5，在根据本公开各实施方式的图像传感器10中，利用第二像素配置的第二像素组(例如，短曝光像素400b的组，可被称为组2)开始曝光操作的时间比利用第一像素配置的第一像素组(例如，长曝光像素400a的组，可被称为组1)晚，并且第一像素组的像素和第二像素组的像素可同时完成曝光操作。
参照图6，在根据本公开各实施方式的图像传感器10中，第一像素组的像素和第二像素组的像素可同时开始曝光操作，并且第二像素组的像素可早于第一像素组的像素完成曝光操作。另外，虽然未示出，但是与第一像素组(组1)的像素相比，第二像素组(组2)的像素还可较晚开始曝光操作并且较早完成曝光操作。
参照图7，在根据本公开各实施方式的图像传感器10中，第一像素组的像素和第二像素组的像素可同时开始曝光操作，以不同的光电变换效率执行曝光操作并且同时完成曝光操作。
参照图8，在根据本公开各实施方式的图像传感器10中，第二像素组可晚于第一像素组开始曝光操作，并且第一像素组和第二像素组可以不同的光电变换效率执行曝光操作并且同时完成曝光操作。
参照图9，在根据本公开的各实施方式的图像传感器10中，第一像素组的像素和第二像素组的像素可同时开始曝光操作并以不同的光电变换效率执行曝光操作，并且第二像素组可早于第一像素组完成曝光操作。如上所述，第一像素组和第二像素组还可具有不同的曝光时间并且以不同的光电变换效率进行操作。
图10是示出了根据本公开实施方式的滤色器的特性的图。
根据本公开实施方式的图像传感器10可设有与长曝光像素400a和短曝光像素400b相对应的滤色器。例如，滤色器可包括白光过滤器W、红光过滤器R、绿光过滤器G、蓝光过滤器B或用于传输或中断另一颜色的光的过滤器。根据入射光的波长，滤色器可具有不同的透射率。例如，参照图10，与红光过滤器R、绿光过滤器G和蓝光过滤器B相比，白光过滤器W具有较高的归一化灵敏率，并且红光过滤器R、绿光过滤器G和蓝光过滤器B的归一化灵敏率可彼此相似。因此，对于相同的曝光时间，布置为与白光过滤器W对应的像素可比其他像素具有更多曝光。
图11A是示出根据本公开实施方式的、当自动曝光模式转变成现场HDR模式时控制图像传感器的方法的流程图，以及图12示出了根据本公开实施方式的、基于在自动曝光模式中捕获的图像数据的直方图的示例。
参照图11A和图12。通过参照图12进行的描述有助于理解图11A所示的操作。如图11A所示，在操作1110，电子设备获取通过图像传感器10以参考曝光时间捕获的图像数据，然后在操作1115中，电子设备可创建用于图像数据的直方图，其中在该参考曝光时间中，第一组像素的曝光量与第二组像素的曝光量相同。可基于亮度数据创建直方图，直方图可用于确定长曝光时间、短曝光时间以及参考曝光时间。
参照图12，根据捕获时间点和/或对象，图像中可能存在亮区和暗区，例如在逆着背光捕获对象的情况下，捕获的图像中亮区和暗区之间的亮度差可能相当大。因此，如图12所示，在直方图上可存在曝光过度区域1210和曝光不足区域1200。
在图12所示的直方图中，曝光过度区域1210可表示第一组和第二组像素中高于第一参考亮度值的像素亮度值的数量大于第一阈值的情况，曝光不足区域1200可表示第一组和第二组像素中低于第二参考亮度值的像素亮度值的数量大于第二阈值的情况。因此，图像中具有较高亮度值的曝光过度区域可在偏向直方图右侧处具有较高分布。此外，图像的具有较低亮度值的曝光不足区域可在偏向直方图左侧处具有较高分布。
因此，在操作1120中，电子设备可确定直方图中是否存在曝光过度和曝光不足。如果曝光过度和曝光不足都存在于直方图中，则在操作1130中，电子设备可调整长曝光时间和/或短曝光时间。换句话说，电子设备可调整第一组和第二组像素的曝光时间中至少之一，以使得第一组和第二组像素的曝光时间彼此不同。
然而，在第一组和第二组像素的曝光时间彼此相等时捕获的图像数据中，可仅产生曝光过度和曝光不足之一。当在操作1120中确定曝光过度和曝光不足并未共存时，在操作1125中，电子设备可调整参考曝光时间。此外，在曝光过度和曝光不足未共存的情况下，调整参考曝光时间的功能(即操作1125)可包括维持参考曝光时间的功能。这里，因为第一组和第二组像素的曝光时间与参考曝光时间相同，所以调整参考曝光时间可意味着将第一组和第二组像素的曝光时间改变相同的时间量。可基于直方图确定曝光时间的改变程度。这里，独立于对参考曝光时间或长曝光时间和短曝光时间的调整，图像信号处理器40可执行控制，以使得基于以经过调整的参考曝光时间或经过调整的长曝光时间和短曝光时间捕获的图像数据创建图像，并且该图像显示在显示单元60上。
具体地，电子设备可比较高于所选择的第一参考值的像素亮度值的数量大于第一阈值的程度与低于所选择的第二参考值的亮度值的数量大于第二阈值的程度，其中第一参考值基于直方图进行选择。因此，当高于所选择的参考值的像素亮度值的数量大于第一阈值的程度映射为短曝光时间、且低于所选择的另一参考值的像素亮度值的数量大于第二阈值的程度映射为长曝光时间时，可通过直方图分析来计算长曝光时间与短曝光时间的比值。
当长曝光时间与短曝光时间的比值大于第一阈值比值时，电子设备可转变成调整长曝光时间和/或短曝光时间的模式。当长曝光时间与短曝光时间的比值小于等于第一阈值比值时，电子设备可将长曝光时间和/或短曝光时间改变相同的时间量。也就是说，电子设备可调整参考曝光时间。当基于直方图的长曝光时间与短曝光时间的比值小于或等于第二阈值比值时，在电子设备以调整的长曝光时间和/或短曝光时间的模式操作的情况下，电子设备可回到自动曝光模式，这将在下文参照图18进行描述。这里，第一阈值比值和第二阈值比值可具有相同的值。
在操作1135中，电子设备可获取以经过调整的长曝光时间捕获的长曝光图像数据和以经过调整的短曝光时间捕获的短曝光图像数据，并且在操作1140中，电子设备可基于长曝光图像数据和短曝光图像数据创建直方图(即，用于各图像数据)。在操作1145中，电子设备可基于直方图计算长曝光时间与短曝光时间的比值，以及在操作1150中，电子设备可确定长曝光时间与短曝光时间的比值是否大于或等于阈值比值。如果长曝光时间与短曝光时间的比值大于或等于阈值比值，则在操作1155中，电子设备可调整长曝光时间和/或短曝光时间，以及在操作1160中，电子设备可确定捕获是否完成。另一方面，如果在操作1150中所确定的，长曝光时间与短曝光时间的比值并非大于或等于阈值比值，则电子设备可回到操作1125以调整参考曝光时间。如上所述，根据本公开的各实施方式，在长曝光时间与短曝光时间的比值不小于(或根据设计选择不大于)阈值比值的情况下，图像信号处理器40可进行控制，以使得基于以经过调整的长曝光时间和经过调整的短曝光时间捕获的图像数据通过内插法创建HDR图像并且该HDR图像显示在显示单元60上。
图11B是示出根据本公开实施方式配置多个第一像素和多个第二像素的曝光时间的方法的流程图，以及图13是示出根据本公开实施方式调整曝光时间的方法的视图。
参照图11B和图13。通过参照图13进行的描述有助于理解图11B所示的操作。如图11B所示，在操作1170中，电子设备可获取这样的图像数据，该图像数据是在多个第一像素与多个第二像素具有相同曝光时间的状态下捕获的。其后，在操作1175中，确定是否满足第一条件与第二条件中至少之一。这里，第一条件可表示图像数据中高于第一参考值的像素亮度值的数量是否大于第一阈值，以及第二条件可表示图像数据中低于第二参考值的像素亮度值的数量是否大于第二阈值。
当在操作1175中确定满足第一条件或第二条件时，在操作1180中，电子设备可将多个第一像素的曝光时间和多个第二像素的曝光时间改变相同的时间量。相反地，当在操作1175中确定第一条件和第二条件都满足时，在操作1185中，电子设备做出使得多个第一像素与多个第二像素具有不同曝光时间的改变。
根据本公开的各实施方式，当长曝光时间与短曝光时间的比值大于或等于阈值比值时，电子设备(例如，包括在电子设备中的处理器)可配置成对图像传感器进行控制，以使得多个第一像素改变为具有与多个第二像素的曝光时间不同的曝光时间，其中短曝光时间为这样的曝光时间：其与高于所选择的第一参考值的像素亮度值的数量大于第一阈值的程度相对应，而长曝光时间为这样的曝光时间：其与低于所选择的第二参考值的像素亮度值的数量大于第二阈值的程度相对应。
此外，根据本公开的各实施方式，当多个第一像素改变为具有与多个第二像素的曝光时间不同的曝光时间时，处理器可配置成通过以下操作形成HDR图像：基于从多个第一像素获得的第一图像数据和从多个第二像素获得的第二图像数据执行重建和动态范围压缩的至少一个图像处理。
如果具有不同曝光时间的多个像素的曝光时间的比值不超过阈值比值，则电子设备可以自动曝光模式进行操作。在自动曝光模式中，多个第一像素与多个第二像素具有相同的曝光时间。在自动曝光模式中可省略诸如重建和动态范围压缩的图像处理。
参照图13，多个第一像素的曝光时间与多个第二像素的曝光时间相同的状态1300可改变为多个第一像素的曝光时间与多个第二像素的曝光时间不同的状态1310，或者可改变为将多个第一像素的曝光时间和多个第二像素的曝光时间改变相同时间量的状态1325。可基于直方图进行状态改变，其中该直方图以多个第一像素的图像数据和多个第二像素的图像数据为基础。
例如，如果在曝光时间彼此相同的状态1300下，基于多个第一像素的图像数据和多个第二像素的图像数据创建了包括曝光过度区域和曝光不足区域的直方图1305，则状态1300可改变为曝光时间彼此不同的状态1310。此外，如果在曝光时间彼此相同的状态1300下，创建了包括曝光过度区域的直方图1315或包括曝光不足区域的直方图1320，则状态1300可改变为曝光时间已改变的状态1325。因此，如果在曝光时间改变的状态1325下，基于多个第一像素的图像数据和多个第二像素的图像数据创建了包括曝光过度区域和曝光不足区域的直方图1340，则可改变为状态1310，在状态1310下，曝光时间彼此不同。
相反地，如果在曝光时间彼此不同的状态1310下，基于多个第一像素的图像数据和多个第二像素的图像数据创建了具有均匀分布的像素值的直方图1330，则可回到曝光时间彼此相同的状态1300。然而，如果在曝光时间彼此不同的状态1310下，基于多个第一像素的图像数据和多个第二像素的图像数据创建了包括曝光过度区域和曝光不足区域中至少之一的直方图1335，则可改变为状态1325。在状态1325下，将当前不同的曝光时间改变相同时间量。如果在状态1325下创建的直方图1345具有均匀分布，则可改变至状态1300。在状态1300下，多个第一像素的曝光时间和多个第二像素的曝光时间被相同地配置。
图14示出了根据本公开实施方式的、根据长曝光时间调整的直方图变化示例。
参照图14，例如，如果图像传感器10的第一组像素的曝光量(即，长曝光像素的曝光量)调整为与曝光不足区域对应，则曝光不足部分1200可改变为具有如图14所示的相对均匀的亮度值分布1400。
图15示出了根据本公开实施方式的、根据长曝光时间调整的图像变化示例。
参照图15，这里，假设调整曝光时间之前的图像1500是在自动曝光模式中捕获的图像，而调整曝光时间之后的图像1520是在HDR模式中捕获的长曝光图像，其中在自动曝光模式中，第一组像素的曝光时间与第二组像素的曝光时间相同。
如图15所示，在调整曝光时间之前的图像1500中，当光源位于对象1510后方时，由于曝光不足，对象1510表现得比其实际更暗。然而，在增加长曝光像素的曝光时间之后，可获得已校正了对象1530亮度的长曝光的图像1520。如上所述，通过调整长曝光像素的曝光时间，曝光时间配置为长于通常的曝光时间，从而获得曝光不足区域经过改善的图像。
图16示出了根据本公开实施方式的、根据短曝光时间调整的直方图变化示例。
参照图16，例如，如果图像传感器10的第二组像素的曝光量(即，短曝光像素的曝光量)调整为与曝光过度区域对应，则曝光过度部分1210可改变为具有如图16所示的相对均匀的亮度值分布1600。下面将参照图17描述这种变化。
图17示出了根据本公开实施方式的、根据短曝光时间调整的图像变化示例。
参照图17，在图像1700中，在调整曝光时间之前，由于曝光过度，背景部分1710表现得比其实际亮得多。然而，在减小了短曝光像素的曝光时间之后，可获得短曝光图像1720，其中与调整曝光时间之前的图像1700相比，已校正了背景部分1730的亮度。如上所述，通过调整短曝光像素的曝光时间，曝光时间配置为短于通常的曝光时间，从而获得曝光过度区域经过改善的图像。
同时，在图12中，当在自动曝光模式中识别到背光时，HDR模式被触发。然而，在HDR模式中背光消失的情况下，期望通过释放HDR模式回到自动曝光模式。下面将参照图18描述在从根据本公开各实施方式的现场HDR模式转变至自动曝光模式时控制图像传感器的过程。
图18是示出了根据本公开实施方式的、当现场HDR模式转变成自动曝光模式时控制图像传感器的方法的流程图。
参照图18，在操作1810中，电子设备可获取以长曝光时间捕获的长曝光图像数据和以短曝光时间捕获的短曝光图像数据，并且在操作1811中，电子设备可基于长曝光图像数据和短曝光图像数据创建用于各图像数据的直方图。在操作1812中，电子设备可基于直方图计算长曝光时间与短曝光时间的比值，以及在操作1813中，电子设备可确定长曝光时间与短曝光时间的比值是否大于或等于阈值比值。如果该比值大于或等于阈值比值，则在操作1814中，电子设备可调整长曝光时间和/或短曝光时间，如果该比值不大于阈值比值，则在操作1815中，该电子设备可应用参考曝光时间。
在本公开的另一实施方式中，还可根据捕获图像的目的限定第三阈值比值。例如，在需要捕获用于光学字符识别(OCR)的图像的情况下，尽管在图像的一些区域中期望进行文本检测，但如果图像的短曝光时间与长曝光时间的比值小于或等于第一阈值比值，也不会进入HDR模式。在这种情况下，可通过应用小于参考阈值比值的第三阈值比值来检测和识别文本。
在本公开的另一实施方式中，可通过使用多个图像传感器来分析直方图。例如，可基于从第一图像传感器和第二图像传感器输出的图像数据计算第一短曝光时间和第一长曝光时间以及第二短曝光时间和第二长曝光时间。这里，第一短曝光时间与第一长曝光时间的比值和第二短曝光时间与第二长曝光时间的比值可与阈值比值进行比较，并且可根据比较的结果调整HDR模式的操作。例如，在根据照明的变化进行HDR模式与自动曝光模式之间频繁转变的情况下，为了防止屏幕上显示的图像闪烁，在HDR模式中可仅当第一短曝光时间与第一长曝光时间的比值和第二短曝光时间与第二长曝光时间的比值都超过阈值比值时才执行操作。
在本公开的另一实施方式中，可应用使用多个图像传感器的HDR模式。例如，可通过对基于第一图像传感器的短曝光像素的像素值和第二图像传感器的长曝光像素的像素值的图像进行合成，来提供和/或生成HDR图像。
图19是根据本公开实施方式的电子设备的框图。
参照图19，电子设备100可包括总线110、处理器120、存储器130、用户输入模块140、显示模块150以及通信模块160。
总线110可以是连接上述元件和在上述元件之间传输通信(例如，控制消息)的电路。
例如，处理器120可通过总线110从上述其他元件(例如，存储器130、用户输入模块140、显示模块150以及通信模块160)接收指令、解释接收的指令以及根据解释的指令执行计算或数据处理。
存储器130可存储指令和/或数据，其中该指令和/或数据是从处理器120和/或其他元件(例如，用户输入模块140、显示模块150以及通信模块160)接收的、和/或由处理器120和/或其他元件创建的。存储器130可包括诸如内核131、中间件132、应用编程接口(API)133、应用134等的编程模块。每个上述编程模块可利用软件、固件、硬件或其中两种或两种以上的组合来配置。
内核131可控制和/或管理用于执行在剩余编程模块(例如，中间件132、API 133以及应用134)中实施的操作和/或功能的系统资源(例如，总线110、处理器120、存储器130等)。此外，内核131可提供接口，中间件132、API 133以及应用134可通过该接口访问电子设备100的各个元件，以控制和/或管理各个元件。
中间件132可作为中间媒介，以使得API 133和应用134与内核131通信从而传输/接收数据。此外，对于从多个应用134接收的任务请求，中间件132例如可通过使用向应用134中至少之一分配使用电子设备100的系统资源(例如，总线110、处理器120以及存储器130)的优先级的方法来执行用于任务请求的负载均衡。
API 133是这样的接口，应用134可通过该接口控制内核131和中间件132提供的功能，API 133可包括用于文件控制、窗口控制、图像处理和/或文本控制的至少一个接口和/或功能。
用户输入模块140例如可从用户接收指令和/或数据，并且可将接收的指令和/或数据通过总线110传输至处理器120和/或存储器130。显示模块150可向用户显示图像和/或数据。
通信模块160可连接另一电子设备104与电子设备100之间的通信和/或服务器106与电子设备100之间的通信。通信模块160可支持短距通信协议(例如无线保真度(Wi-Fi)、蓝牙(BT)、和/或近场通信(NFC))，或者可使用网络162(例如，因特网、局域网(LAN)、广域网(WAN)、电信网络、蜂窝网络、卫星网络或简易老式电话服务(POTS))来进行通信。其他电子设备104可以是与电子设备100相同的设备(例如相同类型的设备)或与电子设备100不同的设备(例如不同类型的设备)。
图20是根据本公开实施方式的硬件的框图。
参照图20，硬件200例如可以是图19所示的电子设备100。如图20所示，硬件200可包括至少一个处理器210(可被称为处理器210)、用户识别模块(SIM)卡214、存储器220、通信模块230、传感器模块240、用户输入模块250、显示模块260、接口270、音频模块280、相机模块291、电能管理模块295、电池296、指示器297以及马达298。
处理器210(可类似于处理器120)可包括至少一个AP 211和/或至少一个通信处理器(CP)213。处理器210例如可以是图19所示的处理器120。虽然在图20中，AP 211和CP 213包括在处理器210中，但是AP 211和CP 213可分别包括在不同的集成电路(IC)封装件中。在实施方式中，AP 211和CP 213可包括在一个IC封装件中。
AP 211可通过驱动操作系统或应用程序来控制与其连接的多个硬件和/或软件元件，并且可执行包括多媒体数据的各种数据的处理和计算。AP 211例如可实施为片上系统(SoC)。根据实施方式，处理器210还可包括图形处理单元(GPU)(未示出)。
CP 213可在包括硬件200的电子设备(例如，电子设备100)与通过网络和电子设备相连的其他电子设备之间的通信中执行管理数据链路和转换通信协议的功能。CP 213例如可实施为SoC。根据实施方式，CP 213可执行至少一些多媒体控制功能。CP 213例如可通过使用用户识别模块如SIM卡214辨别和认证通信网络中的电子设备。此外，CP 213可向用户提供各种服务，如话音呼叫服务、视频呼叫业务、文本消息服务以及分组数据服务。
此外，CP 213可控制通信模块230的数据传输/接收。虽然在图20中将诸如CP 213、电能管理单元295以及存储器220的元件与AP211单独示出，但是根据实施方式，AP 211可实施为包括至少一些上述元件(例如CP 213)。
根据实施方式，AP 211和/或CP 213可将自与其连接的非易失性存储器或其他元件中至少之一接收的指令和/或数据加载到易失性存储器中并可处理上述指令和/或数据。另外，AP 211或CP 213可将自其他元件中至少之一接收和/或由其他元件中至少之一创建的数据存储到非易失性存储器中。
SIM卡214可以是实施用户识别模块的卡，并且可插入形成在电子设备特定位置处的槽中。SIM卡214可包括唯一的识别信息(例如集成电路卡标识符(ICCID))或用户信息(例如国际移动用户识别码(IMSI))。
存储器220可包括内部存储器222和/或外部存储器224。存储器220例如可以是图19所示的存储器130。内部存储器222可包括易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)和/或非易失性存储器(例如，只读存储器(ROM)、一次可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、掩模型ROM、闪速ROM、NAND闪速存储器、NOR闪速存储器等)中的至少之一。根据实施方式，内部存储器222可具有固态驱动器(SSD)的形式。外部存储器224还可包括闪速驱动器(例如紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、记忆棒等)。
通信模块230可包括无线通信模块231和/或无线电频率(RF)模块234。通信模块230例如可以是图19所示的通信模块160。无线通信模块230例如可包括Wi-Fi模块233、BT模块235、GPS 237和/或NFC模块239。例如，无线通信模块231可提供使用无线频率的无线通信功能。附加地或可替换地，无线通信模块231可包括网络接口(未示出)(如LAN卡)、和/或用于连接硬件200与网络(如图19的网络162，例如因特网、LAN、WAN、电信网络、蜂窝网络、卫星网络、POTS等)的调制解调器(未示出)。
RF模块234用来执行数据传输/接收，例如RF信号和/或分页电子信号的传输/接收。虽然未示出，但是RF模块234可例如包括收发器、功率放大器模块(PAM)、频率滤波器、低噪音放大器(LNA)和/或类似物。此外，RF模块234还可包括用于在自由空间中以无线通信传输/接收电磁波的部件，例如导体、导线等。
传感器模块240例如可包括姿态传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、红色/绿色/蓝色(RGB)传感器240H、生物传感器240I、温度/湿度传感器240J、照明传感器240K以及紫外线(UV)传感器240M中至少之一。传感器模块240测量物理量和/或感测电子设备的操作状态，并可将测量或感测的信息转换成电信号。另外，传感器模块240例如可包括电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)或指纹传感器等。传感器模块240还可包括控制电路，用于控制其中包括的一个或多个传感器。
用户输入模块250可包括触摸板252、笔传感器254、键256和/或超声输入装置258。用户输入模块250例如可以是图19所示的用户输入模块140。触摸板252可识别通过例如电容型触摸板、电阻型触摸板、红外型触摸板和声波型触摸板中至少之一输入的触摸。此外，触摸板252还可包括控制器(未示出)。在电容型触摸板的情况下，靠近识别以及直接触摸是可能的。触摸板252还可包括触觉层。在这种情况下，触摸板252可向用户提供触觉响应。
例如可利用与接收用户的触摸输入相同和/或相似的方法和/或使用单独的识别片来实施笔传感器254。例如，键盘或触摸键可用作键256。超声输入装置258是这样的装置，其可通过生成超声波信号的笔来检测从电子设备至麦克风(例如，麦克风288)的声波从而识别数据，并且这样无线识别也是可能的。根据实施方式，硬件200还可使用通信模块230从与通信模块230相连的外部设备(例如，网络、计算机和/或服务器)接收用户输入。
显示模块260可包括面板262和/或全息图264。显示模块260例如可以是图19所示的显示模块150。例如，面板262可以是液晶显示器(LCD)、有源矩阵有机发光二极管(AM-OLED)或任何合适和/或相似类型的显示设备。面板262例如可实施为柔性的、透明的和/或可穿戴的。面板262还可与触摸板252配置为一个模块。全息图264可通过使用光的干涉而在空中显示三维图像。根据实施方式，显示模块260还可包括用于控制面板262和/或全息图264的控制电路。
接口270例如可包括高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、投影仪276或D-超小型(D-sub)接口278。附加地或可替换地，接口270例如可包括安全数字(SD)/多媒体卡(MMC)(未示出)和/或红外数据协会(IrDA)设备(未示出)。
音频模块280可在语音与电信号之间进行双向转换。音频模块280可转换例如通过扬声器282、接收器284、耳机286和/或麦克风288输入和/或输出的语音信息。
相机单元291可拍摄静止图像和运动图像，并且根据实施方式，相机单元291可包括一个或多个图像传感器，例如前透镜和/或后透镜(未示出)、图像信号处理器(ISP)(未示出)和/或闪光灯LED(未示出。
电能管理单元295可管理硬件200的电能。虽然未示出，但电能管理模块295例如可包括电能管理集成电路(PMIC)、充电器IC和/或电池电量计。
PMIC例如可安装在IC和/或SoC半导体中。充电方法可分成有线充电方法和无线充电方法。充电器IC可对电池充电，并可防止充电器引入过电压和/或过电流。根据实施方式，充电器IC可包括用于有线充电方法和无线充电方法中至少之一的充电器IC。磁共振方案、磁感应方案、和/或电磁波方案可作为无线充电方法的示例，可增加用于无线充电的附加电路，如线圈环路、共振电路、整流器等。
当正在充电时，电池电量计例如可测量电池296的剩余电量、电压、电流或温度。电池296可产生电力以供给电能，并且例如可以是可再充电电池。
指示器297可显示具体状态，例如硬件200和/或硬件200的一部分(例如，AP 211)的启动状态、消息状态、和/或充电状态。马达298可将电信号转换成机械振动。
虽然未示出，但硬件200可包括支持移动TV的处理单元，例如GPU。支持移动TV的处理单元可处理基于数字多媒体广播(DMB)、数字视频广播(DVB)的标准的媒体数据、媒体流等。
根据本公开实施方式的硬件的上述每个元件可配置有一个或多个部件，各元件的名称可根据电子设备的类型而改变。根据本公开的硬件可包括上述部件中至少之一，或还可包括其他附加元件，和/或可省略上述部件中的一些。此外，根据本公开实施方式的硬件的一些元件可组合成一个实体，该实体可执行与组合之前各元件的功能相同的功能。
本公开中使用的术语“模块”例如可以指包括硬件、软件以及固件的一个或多个组合的单元。“模块”可与诸如单元、逻辑、逻辑块、部件或电路等的术语互换地使用。“模块”可以是最小单元或一体形成的部件的一部分。“模块”可以是执行一个或多个功能的最小单元或其一部分。“模块”可以机械方式和/或电子方式实施。例如，根据本公开的“模块”可包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)以及用于执行已知的和/或将在以后开发的操作的可编程逻辑设备中至少之一。
图21是根据本公开实施方式的编程模块的框图。
参照图21，编程模块300可包括(例如，存储)在电子设备100中，例如在图19所示的存储器130中。编程模块300的至少一部分可利用软件、固件、硬件或其两个或两个以上的组合来配置。编程模块300可包括实施在硬件(例如，硬件200)中的操作系统，以控制与电子设备(例如，电子设备100)相关的资源、和/或在操作系统上驱动的各种应用(例如，应用370)。例如，操作系统可以是Android、iOS、Windows、Symbian、Tizen、Bada等。参照图21，编程模块300可包括内核310、中间件330、API 360以及应用370。
内核310(可类似于内核131)可包括系统资源管理器311和/或设备驱动器312。虽然未示出，但系统资源管理器311例如可包括过程管理单元、存储器管理单元和/或文件系统管理单元。系统资源管理器311可执行系统资源的控制、分配和/或收集。虽然未示出，但设备驱动器312例如可包括显示驱动器、相机驱动器、蓝牙驱动器、共享存储驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器和/或音频驱动器。此外，根据一个实施方式，设备驱动器312可包括进程间通信(IPC)驱动器(未示出)。
中间件330可包括多个预先实施的模块，以提供应用370通常需要的功能。此外，中间件330可通过API 360提供功能，以使得应用370可有效地使用电子设备内受限的系统资源。例如，如图21所示，中间件330(可类似于中间件132)可包括运行时间库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电能管理器345、数据库管理器346、包管理器347(packet manager)、连接管理器348、通知管理器349、位置管理器350、图形管理器351和/或安全管理器352中至少之一。
运行时间库335可包括库模块(未示出)，该库模块由编译器使用以在应用370正在执行时通过编程语言增加新功能。根据实施方式，运行时间库335可执行输入/输出功能，存储管理功能和/或用于算术函数的功能。
例如，应用管理器341可管理应用370中至少之一的生命周期。窗口管理器342可管理屏幕所用的图形用户界面(GUI)资源。多媒体管理器343可辨别再现各种媒体文件所需的格式，并且可通过使用适用于对应格式的编解码器，执行媒体文件的编码和/或解码。资源管理器344可管理资源，例如应用370中至少之一的源代码、存储器以及存储空间。
当与基本输入输出系统(BIOS)一起操作时，电能管理器345可管理电池和/或电能，并且电能管理器345可提供操作所需的电能信息。数据库管理器346可管理由应用370中至少之一使用的数据库的生成、搜索和/或改变。包管理器347可管理以包文件形式分布的应用的安装和/或更新。
例如，连接管理器348可管理无线连接，如Wi-Fi和/或蓝牙。通知管理器349可以不打扰用户的方式显示和/或通知事件，如到达消息、许诺、接近通知等。位置管理器350可管理电子设备的位置信息。图形管理器351可管理将提供给用户的图形效果以及与该图形效果相关的用户界面。安全管理器352可提供系统安全或用户认证所需的所有安全功能。根据实施方式，在电子设备(例如电子设备100)具有电话呼叫功能的情况下，中间件330还可包括用于管理电子设备的语音或视频呼叫功能的电话管理器(未示出)。
中间件330可通过上述内部元件模块的各种功能性组合生成和使用新的中间件模块。中间件330可提供根据操作系统类型而专用化的模块，以提供差异化功能。此外，中间件330可动态地移除一些现有元件和/或增加新元件。因此，中间件330可不包括在本公开各实施方式中描述的元件中的一些、进一步包括其他元件、和/或利用具有不同名称但执行相似功能的元件替换上述元件。
API 360(例如，API 133)是一组API编程功能，并且可根据操作系统设有不同的配置。例如，在Android或iOS的情况下，可提供用于每个平台的一个API组，以及在Tizen的情况下，可提供两个或两个以上API组。
应用370(可类似于应用134)例如可包括预加载应用和/或第三方应用，其可包括家庭应用371、日记应用372、SMS/MMS应用373、IM应用374、浏览器应用375、相机应用376、警报应用377、联系人应用378、语音拨号应用379、电子邮件应用380、日历应用381、媒体播放器应用382、相册应用383、时钟应用384以及任何其他类似和/或合适的应用。
可利用存储在计算机可读存储媒介中的指令实施编程模块300的至少一部分。当由至少一个处理器(例如，处理器210)执行指令时，该至少一个处理器可执行与上述指令对应的功能。计算机可读存储媒介例如可以是存储器260。例如可由处理器210实施(例如，执行)编程模块300的至少一部分。编程模块300的至少一部分例如可包括用于执行一个或多个功能的模块、程序(program)、线程(routine)、指令集和/或方法等。
根据本公开的实施方式，编程模块(例如，编程模块300)的元件名称可根据操作系统的类型而改变。根据本公开实施方式的编程模块可包括一个或多个上述元件，和/或还可包括其他附加元件，和/或可省略一些上述元件。可通过连续的、并行的、重复的和/或启发性的方法处理由根据本公开实施方式的编程模块和/或其他元件执行的操作，并且可省略一些操作和/或可增加其他操作。
虽然已参照本公开的各实施方式示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求书及其等同方案所限定的本公开的精神和范围情况下，可以在形式和细节方面对其做出各种改变。

Claims (26)

1.一种电子设备，包括：
图像传感器，配置成通过其所包括的像素阵列获取图像数据；以及
至少一个处理器，配置成处理所述图像数据，
其中所述像素阵列包括：
多个第一像素，配置成具有相同的第一曝光时间；以及多个第二像素，配置成具有相同的第二曝光时间；
其中，所述相同的第一曝光时间与所述相同的第二曝光时间相同或不同，以及
其中，所述至少一个处理器配置成基于至少一些所述图像数据控制所述图像传感器，以使得所述多个第一像素进行以下至少一种状态改变：
从与所述多个第二像素具有相同曝光时间的状态改变为与所述多个第二像素具有不同曝光时间的状态，以及
从与所述多个第二像素具有不同曝光时间的状态改变为与所述多个第二像素具有相同曝光时间的状态。
2.如权利要求1所述的电子设备，其中，所述至少一个处理器进一步配置成：基于包含在所述图像数据中的至少一些像素亮度值控制所述图像传感器。
3.如权利要求2所述的电子设备，其中，所述至少一个处理器进一步配置成：至少部分地基于所述图像数据中高于选择的第一参考值的像素亮度值的数量是否大于第一阈值，控制所述图像传感器，以使所述多个第一像素从与所述多个第二像素具有相同曝光时间的状态改变为与所述多个第二像素具有不同曝光时间的状态。
4.如权利要求3所述的电子设备，其中，所述至少一个处理器进一步配置成：当所述图像数据中低于选择的第二参考值的像素亮度值的数量大于第二阈值时，控制所述图像传感器，以将所述多个第一像素的曝光时间和所述多个第二像素的曝光时间改变相同时间量。
5.如权利要求2所述的电子设备，其中，所述至少一个处理器进一步配置成：当所述图像数据中高于选择的第一参考值的像素亮度值的数量大于第一阈值并且所述图像数据中低于选择的第二参考值的像素亮度值的数量大于第二阈值时，控制所述图像传感器，以使所述多个第一像素从与所述多个第二像素具有相同曝光时间的状态改变为与所述多个第二像素具有不同曝光时间的状态。
6.如权利要求5所述的电子设备，其中，所述至少一个处理器进一步配置成：当和所述图像数据中低于所述选择的第二参考值的像素亮度值的数量大于所述第二阈值的程度相对应的曝光时间与和所述图像数据中高于所述选择的第一参考值的像素亮度值的数量大于所述第一阈值的程度相对应的曝光时间的比值大于或等于阈值比值时，控制所述图像传感器，以使所述多个第一像素改变为与所述多个第二像素具有不同曝光时间的状态。
7.如权利要求6所述的电子设备，其中，所述至少一个处理器进一步配置成：当所述多个第一像素改变为与所述多个第二像素具有不同曝光时间的状态时，基于从所述多个第一像素获得的第一图像数据和从所述多个第二像素获得的第二图像数据，执行重建和动态范围压缩中的至少一个图像处理来形成高动态范围图像。
8.如权利要求3所述的电子设备，其中，所述至少一个处理器进一步配置成：当所述多个第一像素与所述多个第二像素具有不同曝光时间时，处理从所述多个第一像素获得的第一图像数据和从所述多个第二像素获得的第二图像数据。
9.如权利要求8所述的电子设备，其中，所述至少一个处理器进一步配置成：至少部分地基于所述第一图像数据和所述第二图像数据，调整所述多个第一像素的曝光时间和所述多个第二像素的曝光时间中至少之一。
10.如权利要求8所述的电子设备，其中，所述至少一个处理器进一步配置成：至少部分地基于所述第一图像数据和/或所述第二图像数据，控制所述图像传感器，以使所述多个第一像素改变为与所述多个第二像素具有相同曝光时间的状态。
11.如权利要求8所述的电子设备，其中，所述至少一个处理器进一步配置成：使用所述第一图像数据中包含的像素值来形成第一图像，以及基于所述第二图像数据形成第二图像。
12.如权利要求11所述的电子设备，其中，所述至少一个处理器进一步配置成：使用内插法形成所述第一图像和所述第二图像中至少之一。
13.如权利要求11所述的电子设备，其中，所述至少一个处理器进一步配置成：通过合成所述第一图像和所述第二图像形成第三图像。
14.如权利要求13所述的电子设备，其中，
所述电子设备还包括配置成显示图像的显示器，以及
所述至少一个处理器进一步配置成控制所述显示器，以在所述显示器上显示所述第三图像。
15.如权利要求1所述的电子设备，其中，所述至少一个处理器包括应用处理器、图像处理器和图像预处理器中至少之一。
16.如权利要求1所述的电子设备，其中，在所述像素阵列的一些区域中，所述多个第一像素和所述多个第二像素根据选择的图案进行布置。
17.如权利要求1所述的电子设备，其中，所述像素阵列具有多边形形状，并且所述多个第一像素和所述多个第二像素布置成使得所述多个第一像素中至少两个直接邻近的像素不共享所述多边形的一边，以及所述多个第二像素中至少两个直接邻近的像素不共享所述多边形的一边。
18.一种控制电子设备操作的方法，包括：
使用图像传感器获取图像数据，其中所述图像传感器包括多个第一像素和多个第二像素，所述多个第一像素配置成具有相同的第一曝光时间，所述多个第二像素配置成具有相同的第二曝光时间，
其中，获取图像数据的步骤包括：
当所述多个第一像素的所述相同的第一曝光时间与所述多个第二像素的所述相同的第二曝光时间相同时，使用所述多个第一像素和所述多个第二像素获取所述图像数据；以及
至少部分地基于所获取的图像数据，控制所述图像传感器，以使得所述多个第一像素的所述相同的第一曝光时间不同于所述多个第二像素的所述相同的第二曝光时间。
19.如权利要求18所述的方法，其中，获取图像数据的步骤还包括：
基于所获取的图像数据中包含的至少一些像素亮度值，控制所述图像传感器，以使所述多个第一像素从具有与所述多个第二像素的所述相同的第二曝光时间不同的所述相同的第一曝光时间的状态改变为具有与所述多个第二像素的所述相同的第二曝光时间相同的所述相同的第一曝光时间的状态。
20.如权利要求18所述的方法，其中，获取图像数据的步骤还包括：
基于所述图像数据中包含的至少一些像素亮度值，调整所述多个第一像素的所述相同的第一曝光时间和所述多个第二像素的所述相同的第二曝光时间中至少之一。
21.如权利要求20所述的方法，其中，获取图像数据的步骤还包括：
至少部分地基于所述图像数据中高于选择的第一参考值的像素亮度值的数量是否大于第一阈值来执行控制，以使所述多个第一像素从具有与所述多个第二像素的所述相同的第二曝光时间相同的所述相同的第一曝光时间的状态改变为具有与所述多个第二像素的所述相同的第二曝光时间不同的所述相同的第一曝光时间的状态。
22.如权利要求21所述的方法，其中，获取图像数据的步骤还包括：
当所述图像数据中低于选择的第二参考值的像素亮度值的数量大于第二阈值时，执行控制，以将所述多个第一像素的所述相同的第一曝光时间和所述多个第二像素的所述相同的第二曝光时间改变相同时间量。
23.如权利要求20所述的方法，其中，获取图像数据的步骤还包括：
当所述图像数据中高于选择的第一参考值的像素亮度值的数量大于第一阈值，并且所述图像数据中低于选择的第二参考值的像素亮度值的数量大于第二阈值时，执行控制，以使所述多个第一像素从具有与所述多个第二像素的所述相同的第二曝光时间相同的所述相同的第一曝光时间的状态改变为具有与所述多个第二像素的所述相同的第二曝光时间不同的所述相同的第一曝光时间的状态。
24.如权利要求23所述的方法，其中，获取图像数据的步骤还包括：
当和所述图像数据中低于所述选择的第二参考值的像素亮度值的数量大于所述第二阈值的程度相对应的曝光时间与和所述图像数据中高于所述选择的第一参考值的像素亮度值的数量大于所述第一阈值的程度相对应的曝光时间的比值大于或等于阈值比值时，执行控制，以使所述多个第一像素改变为具有与所述多个第二像素的所述相同的第二曝光时间不同的所述相同的第一曝光时间的状态。
25.如权利要求24所述的方法，还包括：
当所述多个第一像素改变为具有与所述多个第二像素的所述相同的第二曝光时间不同的所述相同的第一曝光时间时，基于从所述多个第一像素获得的第一图像数据和从所述多个第二像素获得的第二图像数据，执行重建和动态范围压缩中的至少一个图像处理，以形成高动态范围图像。
26.如权利要求20所述的方法，还包括：
基于由所述多个第一像素和所述多个第二像素生成的图像数据，形成第三图像；以及
显示所述第三图像。
CN201510068318.8A 2014-02-21 2015-02-10 电子设备和控制电子设备操作方法 Active CN104869320B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140020912A KR102149187B1 (ko) 2014-02-21 2014-02-21 전자 장치와, 그의 제어 방법
KR10-2014-0020912 2014-02-21

Publications (2)

Publication Number Publication Date
CN104869320A CN104869320A (zh) 2015-08-26
CN104869320B true CN104869320B (zh) 2019-07-12

Family

ID=53883463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510068318.8A Active CN104869320B (zh) 2014-02-21 2015-02-10 电子设备和控制电子设备操作方法

Country Status (3)

Country Link
US (1) US9451173B2 (zh)
KR (1) KR102149187B1 (zh)
CN (1) CN104869320B (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6218389B2 (ja) * 2013-02-07 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
KR102124598B1 (ko) * 2013-09-30 2020-06-19 삼성전자주식회사 이미지 획득 방법 및 장치
US9894287B2 (en) * 2013-12-06 2018-02-13 Huawei Device (Dongguan) Co., Ltd. Method and apparatus for acquiring a high dynamic image using multiple cameras
TWI505233B (zh) * 2014-02-20 2015-10-21 Asustek Comp Inc 影像處理方法及影像處理裝置
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
US9307162B2 (en) * 2014-05-21 2016-04-05 Himax Imaging Limited Local enhancement apparatus and method to generate high dynamic range images by blending brightness-preserved and brightness-adjusted blocks
JP6444073B2 (ja) 2014-06-25 2018-12-26 キヤノン株式会社 画像処理装置
JP6520035B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
JP6579868B2 (ja) * 2015-09-01 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6570384B2 (ja) * 2015-09-11 2019-09-04 キヤノン株式会社 撮像装置及び撮像システム
KR101737518B1 (ko) * 2015-10-27 2017-05-18 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 시간 및 횟수 결정 방법과 시스템
KR102465212B1 (ko) * 2015-10-30 2022-11-10 삼성전자주식회사 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN106303269A (zh) * 2015-12-28 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置、图像采集设备
JP6610290B2 (ja) * 2016-01-28 2019-11-27 セイコーエプソン株式会社 電気光学装置、及び、電気光学装置の制御方法
US10523874B2 (en) * 2016-02-16 2019-12-31 Sony Corporation Image processing apparatus, image processing method, and program
KR102570305B1 (ko) * 2016-05-04 2023-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109076177B (zh) * 2016-05-30 2021-06-15 索尼公司 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
KR101809727B1 (ko) * 2016-09-27 2017-12-15 주식회사 켐트로닉스 Svm 시스템 및 그의 영상입력 및 처리방법
JP6914633B2 (ja) * 2016-09-30 2021-08-04 キヤノン株式会社 撮像装置及び撮像方法
CN108694368B (zh) * 2017-03-30 2022-01-25 神盾股份有限公司 影像感测装置及感测方法
US10645302B2 (en) * 2017-03-30 2020-05-05 Egis Technology Inc. Image sensing device having adjustable exposure periods and sensing method using the same
US10158797B2 (en) * 2017-03-31 2018-12-18 Motorola Mobility Llc Combining images when a face is present
US20180376087A1 (en) * 2017-06-23 2018-12-27 Qualcomm Incorporated Using the same pixels to capture both short and long exposure data for hdr image and video
CN107347139B (zh) * 2017-06-30 2019-01-29 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
EP3444746A1 (en) * 2017-07-05 2019-02-20 Shenzhen Goodix Technology Co., Ltd. Method, device, chip and terminal device for fingerprint collection
KR102412007B1 (ko) * 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
CN109407521B (zh) * 2017-08-15 2022-03-29 无锡小天鹅电器有限公司 家电控制方法、装置和洗衣机
CN110892708B (zh) * 2017-08-18 2021-07-30 富士胶片株式会社 摄像装置、摄像装置的控制方法以及存储介质
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
EP3767944B1 (en) * 2018-03-15 2022-07-06 JVCKenwood Corporation Drive recorder, display control method, and program
KR102688523B1 (ko) * 2018-03-15 2024-07-26 삼성전자주식회사 카메라를 이용하여 획득한 이미지에 대한 복원 정보를 이용하여 압축 처리하는 전자 장치 및 방법
US10447951B1 (en) * 2018-04-11 2019-10-15 Qualcomm Incorporated Dynamic range estimation with fast and slow sensor pixels
CN108616689B (zh) * 2018-04-12 2020-10-02 Oppo广东移动通信有限公司 基于人像的高动态范围图像获取方法、装置及设备
CN110708468B (zh) * 2018-07-10 2021-10-12 瑞芯微电子股份有限公司 摄像方法和装置
CN108683863B (zh) 2018-08-13 2020-01-10 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及可读存储介质
CN109005346B (zh) * 2018-08-13 2020-04-03 Oppo广东移动通信有限公司 控制方法、装置、电子设备和计算机可读存储介质
JPWO2020045014A1 (ja) * 2018-08-28 2021-08-12 ソニーグループ株式会社 医療システム、情報処理装置及び情報処理方法
TWI695622B (zh) 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
JP7150147B2 (ja) 2018-09-07 2022-10-07 ドルビー ラボラトリーズ ライセンシング コーポレイション 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出
CN109348124B (zh) * 2018-10-23 2021-06-11 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
JP7260990B2 (ja) * 2018-10-26 2023-04-19 キヤノン株式会社 撮像装置及び撮像システム
KR102585654B1 (ko) * 2018-12-07 2023-10-10 삼성전자주식회사 수광 시간이 다른 복수의 픽셀을 이용하여 획득한 데이터의 합성을 통해 이미지를 생성하는 전자 장치 및 방법
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
WO2020221840A1 (en) * 2019-04-30 2020-11-05 Signify Holding B.V. Camera-based lighting control
WO2020227980A1 (zh) * 2019-05-15 2020-11-19 合刃科技（深圳）有限公司 图像传感器、光强感知系统及方法
US11653101B2 (en) 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
US11064134B2 (en) 2019-06-05 2021-07-13 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
US11102422B2 (en) * 2019-06-05 2021-08-24 Omnivision Technologies, Inc. High-dynamic range image sensor and image-capture method
CN112243090B (zh) * 2019-07-16 2024-10-18 三星电子株式会社 图像传感器和图像处理系统
KR20210009255A (ko) 2019-07-16 2021-01-26 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
CN110381263B (zh) * 2019-08-20 2021-04-13 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR20210053377A (ko) 2019-11-01 2021-05-12 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
CN110661983B (zh) * 2019-11-12 2021-03-19 腾讯科技（深圳）有限公司 图像采集方法、装置、设备及存储介质
JP7516031B2 (ja) * 2019-11-19 2024-07-16 キヤノン株式会社 撮像装置及び撮像システム
US11232284B2 (en) * 2019-12-27 2022-01-25 Omnivision Technologies, Inc. Techniques for robust anti-spoofing in biometrics using polarization cues for NIR and visible wavelength band
EP4078943A4 (en) * 2020-01-09 2023-01-18 Huawei Technologies Co., Ltd. IMAGE SENSOR AND DEVICE COMPRISING AN IMAGE SENSOR
KR20210099865A (ko) 2020-02-05 2021-08-13 삼성전자주식회사 이미지 센서 모듈, 그것의 영상 압축 방법 및 전자 장치
WO2021195896A1 (zh) * 2020-03-30 2021-10-07 华为技术有限公司 目标识别方法及装置
CN111462021B (zh) * 2020-04-27 2023-08-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112217999B (zh) * 2020-09-23 2022-02-18 浙江大华技术股份有限公司 一种宽动态模式的调整方法、装置、电子设备和存储介质
KR20230024063A (ko) * 2021-08-11 2023-02-20 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법
JP2023044339A (ja) 2021-09-17 2023-03-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラムおよび記憶媒体
CN116210229A (zh) * 2021-09-28 2023-06-02 迪克创新科技有限公司 曝光控制电路及相关图像传感器及电子装置
KR20230085999A (ko) 2021-12-07 2023-06-15 삼성디스플레이 주식회사 전자 장치 및 이의 이미지 처리 방법
KR102703015B1 (ko) * 2022-03-16 2024-09-04 성균관대학교산학협력단 인공지능 기반 강화된 안저영상 생성 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치
CN114363525B (zh) * 2022-03-17 2022-06-28 杭州灵西机器人智能科技有限公司 Hdr快速自动成像方法、结构光相机、电子设备和存储介质
US12062161B2 (en) * 2022-12-05 2024-08-13 Qualcomm Incorporated Area efficient high dynamic range bandwidth compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262564A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序
CN101365069A (zh) * 2007-06-29 2009-02-11 豪威科技有限公司 具有图像浮散漏极的、高动态范围的传感器
CN102122388A (zh) * 2010-01-11 2011-07-13 三星电子株式会社 用于获得高动态范围图像的设备和方法
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
JP5171434B2 (ja) * 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP4561912B2 (ja) 2008-09-12 2010-10-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP2015041150A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 表示制御装置及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262564A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序
CN101365069A (zh) * 2007-06-29 2009-02-11 豪威科技有限公司 具有图像浮散漏极的、高动态范围的传感器
CN102122388A (zh) * 2010-01-11 2011-07-13 三星电子株式会社 用于获得高动态范围图像的设备和方法
CN102769756A (zh) * 2011-05-02 2012-11-07 索尼公司 图像处理设备、图像处理方法和程序

Also Published As

Publication number Publication date
CN104869320A (zh) 2015-08-26
KR102149187B1 (ko) 2020-08-28
US9451173B2 (en) 2016-09-20
KR20150099302A (ko) 2015-08-31
US20150244916A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
CN104869320B (zh) 电子设备和控制电子设备操作方法
CN107409180B (zh) 具有相机模块的电子装置和用于电子装置的图像处理方法
KR102265326B1 (ko) 이미지 촬영장치 및 방법
CN105874776A (zh) 图像处理设备和方法
CN105282430B (zh) 使用照片的构图信息的电子装置及使用该装置的拍摄方法
KR102603426B1 (ko) 이미지 처리장치 및 방법
KR102570305B1 (ko) 전자 장치 및 그 제어 방법
JP6924901B2 (ja) 写真撮影方法および電子装置
CN114095666B (zh) 拍照方法、电子设备和计算机可读存储介质
CN107851422A (zh) 电子设备和电子设备中的显示控制方法
CN110214375A (zh) 图像传感器和包括其的电子设备
CN106031157A (zh) 用于处理图像的电子设备和方法
CN108353152A (zh) 图像处理设备及其操作方法
EP4036842A1 (en) Image flooding processing method and apparatus, and storage medium
KR20150037083A (ko) 이미지 획득 방법 및 장치
CN113452969B (zh) 图像处理方法和装置
CN109196316A (zh) 用于验证图像的光源的方法和电子设备
CN110462617A (zh) 用于通过多个相机认证生物数据的电子装置和方法
CN104869319B (zh) 影像处理方法及影像处理装置
CN108259771A (zh) 图像处理方法、装置、存储介质和电子设备
CN107682619A (zh) 用于处理图像的方法和支持该方法的电子设备
CN116723410B (zh) 调节帧间隔的方法和装置
WO2021190097A1 (zh) 图像处理方法和装置
CN118552452A (zh) 去除摩尔纹的方法及相关装置
CN116320716A (zh) 图片采集方法、模型训练方法及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant