CN108141535B - 用于生成图像数据的电子设备和方法 - Google Patents

用于生成图像数据的电子设备和方法 Download PDF

Info

Publication number
CN108141535B
CN108141535B CN201680058394.3A CN201680058394A CN108141535B CN 108141535 B CN108141535 B CN 108141535B CN 201680058394 A CN201680058394 A CN 201680058394A CN 108141535 B CN108141535 B CN 108141535B
Authority
CN
China
Prior art keywords
sub
pixels
image
pixel
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680058394.3A
Other languages
English (en)
Other versions
CN108141535A (zh
Inventor
姜和映
金东秀
金汶洙
尹泳权
张东薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108141535A publication Critical patent/CN108141535A/zh
Application granted granted Critical
Publication of CN108141535B publication Critical patent/CN108141535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Abstract

提供了一种电子设备的方法，该电子设备包括获取与对象相对应的光学信号的图像传感器以及控制图像传感器的控制器。该方法包括：识别用于通过使用光学信号来生成与对象相对应的图像的模式；至少基于该模式确定要用于生成图像的至少一个图像属性的设置；至少基于该设置通过使用与光学信号相对应的像素数据来生成图像数据；以及至少基于该图像数据通过功能性地连接到电子设备的显示器来显示与对象相对应的图像。

Description

用于生成图像数据的电子设备和方法
技术领域
本公开涉及一种用于在电子设备中生成图像数据的装置和方法。更具体地，本公开的各方面涉及一种用于通过具有图像像素阵列的图像传感器来生成图像数据的装置和方法。
背景技术
电子设备提供的各种服务和附加功能的数量正在逐渐增加。为了提高电子设备的有效价值并满足用户的各种需求，已经开发了电子设备可执行的各种应用。
电子设备可以通过安装在电子设备中的相机来拍摄对象，并且该相机可以包括检测对象的图像传感器。电子设备可以通过例如图像传感器来检测对象或图像。图像传感器可以例如以多个像素为单位配置，并且每个像素单元可以由例如多个子像素构成。图像传感器可以包括被称为例如像素或光点的小光电二极管的阵列。例如，像素不从光中提取颜色，并且可以将宽频谱带的光子转换为电子。因此，图像传感器的像素可以仅接收例如宽频谱带的光中的用于获取颜色所需的频带的光。
提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和断言上述任何内容是否可应用作关于本公开的现有技术。
发明内容
技术问题
本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的一个方面在于提供了一种通过图像传感器来生成图像数据的方法以及生成用于计算相位差的信息的方法，该图像传感器具有包括多个子像素的图像像素阵列。功能性地连接到电子设备的图像传感器可以输出所有子像素的信号，然后将相位差信息和图像数据分离，但是可能无法有效地提供图像传感器的最大输出。例如，处理从所有子像素输出的信号可能会增加功耗。
问题的解决方案
根据本公开的一方面，提供了一种电子设备的方法，所述电子设备包括获取与对象相对应的光学信号的图像传感器以及控制图像传感器的控制器。该方法包括：识别用于通过使用光学信号来生成与对象相对应的图像的模式；至少基于该模式确定要用于生成图像的至少一个图像属性的设置；至少基于该设置通过使用与光学信号相对应的像素数据来生成图像数据；以及至少基于该图像数据通过功能性地连接到电子设备的显示器来显示与对象相对应的图像。
根据本公开的另一方面，提供了一种电子设备。该电子设备包括显示器、被配置为获取与对象相对应的光学信号的图像传感器、以及至少一个处理器。所述至少一个处理器被配置为：通过使用光信号来识别用于生成与对象相对应的图像的模式，至少基于该模式确定要用于生成图像的至少一个图像属性的设置，至少基于该设置通过使用与光信号相对应的像素数据来生成图像数据，并且至少基于该图像数据通过功能性地连接到电子设备的显示器来显示与对象相对应的图像。
根据本公开的另一方面，提供了一种电子设备。所述电子设备包括：图像传感器，被配置为获取与对象相对应的光学信号，所述图像传感器包括多个单位像素，所述多个单位像素中的至少一个单位像素包括第一子像素和第二像素；以及至少一个处理器，所述至少一个处理器功能性地连接到所述图像传感器。所述至少一个处理器被配置为：通过使用图像传感器至少基于光学信号来获取与对象相对应的像素数据，识别用于生成与对象相对应的图像的至少一个图像属性的设置，当设置满足预定条件时通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定图像的相位差，并且在设置不满足预定条件时避免确定该相位差。
发明的有益效果
根据本公开的各种实施例的电子设备和方法可以根据用户的使用模式以子像素或像素为单位输出例如图像数据，从而有效地使用图像传感器。此外，具有包括至少两个子像素(例如，光电二极管)的图像传感器的电子设备可以以高帧率或低功率输出图像数据，使得用户可以使用用户期望的信息和/或执行用户期望的功能，并提高电子设备的可用性。
根据结合附图公开了本公开各种实施例的以下详细描述，本公开的其他方面、优点和突出特征对于本领域技术人员将变得清楚明白。
附图说明
根据结合附图的以下描述，本公开的特定实施例的上述和其它方面、特征以及优点将更清楚，在附图中：
图1示出了根据本公开实施例的网络环境100内的电子设备；
图2是根据本公开实施例的电子设备的框图；
图3是根据本公开实施例的程序模块的框图；
图4示出了根据本公开实施例的输出图像数据的电子设备的示例；
图5示出了根据本公开实施例的图像传感器的像素阵列的配置的示例；
图6A示意性地示出了根据本公开实施例的图像传感器中具有两个光电二极管的单位像素；
图6B示意性地示出了根据本公开实施例的图像传感器中具有四个光电二极管的单位像素；
图6C示出了根据本公开实施例的具有两个光电二极管的单位像素的结构；
图6D是根据本公开实施例的图像传感器中具有两个光电二极管的单位像素的电路图；
图6E示出了根据本公开实施例的单位像素中的每个开关的时间图的示例；
图7是示出了根据本公开实施例的用于生成图像数据的操作的流程图；
图8A示出了根据本公开实施例的图像传感器的单位像素包括两个子像素的示例；
图8B示出了根据本公开实施例的图像传感器的单位像素包括四个子像素的示例；
图9示出了根据本公开实施例的用于以第一模式输出图像数据的过程的示例；
图10示出了根据本公开实施例的用于以第二模式输出图像数据的过程的示例；
图11A示出了根据本公开实施例的用于以第三模式输出图像数据的过程的示例；
图11B例示了根据本公开实施例的用于以第四模式输出图像数据的过程的示例；
图12示出了根据本公开实施例的用于以第四模式选择性地组合子像素级的信号的过程的示例；
图13A示出了根据本公开实施例的用于发送所生成的数据和/或用于计算相位差的信息的信道的示例；
图13B示出了根据本公开实施例的用于通过预定信道来发送图像数据和用于计算相位差的信息的示例；
图13C示出了根据本公开实施例的用于通过预定信道来发送图像数据和用于计算相位差的信息的示例；
图14是示出了根据本公开实施例的用于生成图像的操作的流程图；以及
图15是示出了根据本公开的另一实施例的用于生成图像数据的操作的流程图。
应注意，在整个附图中，相似的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
提供以下参考附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。
以下描述和权利要求中使用的术语和词语不限于其书面含义，而是仅仅被发明人用来实现对本公开清楚一致的理解。因此，本领域技术人员应清楚，以下对本公开各种示例实施例的描述仅用于说明目的，而不是要限制由所附权利要求及其等同物限定的本公开。
应当理解的是，除非上下文中另有清楚指示，否则单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个的引用。
如本文所用，表述“具有”、“可以具有”、“包括”或“可以包括”指的是存在对应特征(例如，数字、功能、操作或诸如组件的构成元素)，而不排除一个或更多个附加特征。
在本公开中，表述“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”可以包括所列出项目的所有可能组合。例如，表述“A或B”、“A和B中的至少一个”或“A或B中的至少一个”指的是以下所有情形：(1)包括至少一个A，(2)包括至少一个B，或者(3)包括至少一个A和至少一个B的全部。
在本公开各种实施例中使用的表述“第一”或“第二”可以修饰各种组件，而不管顺序和/或重要性如何，但不限制对应组件。例如，第一用户设备和第二用户设备指示不同的用户设备，但是它们都是用户设备。类似地，可以将第一元件称为第二元件，并且可以将第二元件称为第一元件，而不脱离本公开的范围。
应当理解：当将一元件(例如，第一元件)称为(可操作或可通信地)“连接”或“耦接”到另一元件(例如，第二元件)时，该元件可以直接连接或直接耦接到该另一元件，或者可以在它们之间插入任何其他元件(例如，第三元件)。相反，可以理解：在将一元件(例如，第一元件)称为“直接连接”或“直接耦接”到另一元件(第二元件)时，则没有元件(例如，第三元件)插入在它们之间。
根据情况，在本公开中使用的表述“被配置为”可以与以下各项交换：例如，“适合于”、“具有...的能力”、“被设计用于”、“适于”、“制作用于”或“能够”。术语“被构造为...”可能不一定意味着在硬件方面“被专门设计为...”。备选地，在一些情况下，表述“被配置为...的设备”可以意味着该设备与其它设备或组件一起“能够...”。例如，短语“适于(或(被)配置为)执行A、B和C的处理器”可以意味着仅用于执行相应操作的专用处理器(例如，嵌入式处理器)，或可以通过执行存储在存储器件中的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
本文所用的术语仅用于描述具体实施例的目的，而非意在限制其它实施例的范围。单数表述可以包括复数表述，除非它们在上下文中明显不同。除非另行定义，否则本文所用的所有术语(包括技术术语和科学术语)具有与本公开所属技术领域的技术人员通常理解的含义相同的含义。除非本公开中清楚地定义，否则这样的术语(如在常用词典中定义的术语)可以被解释为具有与相关技术领域中的上下文含义等同的含义，而不应被解释为具有理想的或过分正式的含义。在一些情况下，即使本公开中定义的术语也不应被解释为排除本公开的实施例。
根据本公开各种实施例的电子设备可以包括以下至少一项：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-book阅读器)、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助手(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频层-3(MP3)播放器、移动医疗设备、相机和可穿戴设备。可穿戴设备可以包括以下至少一种：饰品类型(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、衣料或服饰集成类型(例如，电子服饰)、身体附着类型(例如，皮肤贴或纹身)和生物植入类型(例如，可植入电路)。
电子设备可以是家电。家用电器可以包括以下中的至少一个：例如电视、数字多功能盘(DVD)播放器、音频设备、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家用自动控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、录像机和电子相框。
根据实施例，电子设备可以包括以下至少一项：各种医疗设备(例如，各种便携式医疗测量设备(血糖监控设备、心率监控设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)机和超声波扫描机)、导航设备、全球定位系统(GPS)接收机、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、车辆信息娱乐设备、船用电子设备(例如，船用导航设备和罗盘)、航空电子设备、安全设备、车辆头单元、工业或家用机器人、银行的自动柜员机(ATM)、商店的销售点(POS)或物联网设备(例如，灯泡、各种传感器、电表或燃气表、洒水器设备、火警、恒温器、街灯、烤面包机、运动器材、热水箱、加热器、锅炉等)。
电子设备可以包括以下中的至少一项：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪、以及各种测量仪器(例如水表、电表、气表、和无线电波表)。在各种实施例中，电子设备可以是上述各种设备中的一个或多个的组合。电子设备还可以是柔性设备。根据本公开实施例的电子设备不限于上述设备，并可以包括根据技术发展的新型电子设备。
在下文中，将参考附图来描述根据本公开的各种实施例的电子设备。在本公开中，术语“用户”可指示使用电子设备的人或者使用电子设备的设备(例如，人工智能电子设备)。
图1示出了根据本公开实施例的网络环境内的电子设备。
参考图1，电子设备101可以在网络环境100内进行操作。电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信模块170。在一些实施例中，电子设备101可以省略元件中的至少一个，或还可以包括其他元件。
总线110可以包括例如将组件110至170互连并且在组件110至170之间传递通信(例如，控制消息和/或数据)的电路。
处理器120可以包括CPU、AP和通信处理器(CP)中的一个或多个。例如，处理器120可以执行与电子设备101的至少一个其他元件的控制和/或通信相关的操作或数据处理。
存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储例如与电子设备101的至少一个其它元件相关的指令或数据。根据实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143和API 145中的至少一些可以被称作操作系统(OS)。
内核141可以控制或管理用于执行在其它程序(例如，中间件143、API 145或应用程序147)中实施的操作或功能的系统资源(例如，总线110、处理器120或存储器130等)。此外，内核141可以提供接口，其中，中间件143、API 145或应用程序147可以通过所述接口访问电子设备101的各个元件以控制或管理系统资源。
中间件143可以用作用于使API 145或应用程序147与内核141通信以交换数据的媒介。
中间件143可以根据优先级来处理从应用程序147接收到的一个或多个任务请求。例如，中间件143可以向应用程序147中的一个或多个分配使用电子设备101的系统资源(例如，总线110、处理器120、存储器130等)的优先级。中间件143可以通过根据向一个或多个应用程序分配的优先级处理一个或多个任务请求，来对该一个或多个任务请求执行调度或负载均衡。
作为通过其应用147控制从内核141或中间件143提供的功能的接口，API 145可以包括用于文件控制、窗口控制、图像处理、文本控制等的至少一个接口或功能(例如，指令)。
输入/输出接口150可以用作能够向电子设备101的其他元件转发从用户或外部设备输入的指令或数据的接口。此外，输入/输出接口150可以向用户或另一外部设备输出从电子设备101的其他组成元件接收的指令或数据。
显示器160的示例可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器、以及电子纸显示器。显示器160可以为用户显示各种类型的内容(例如，文本、图像、视频、图标、符号等)。显示器160可以包括触摸屏，并且可以接收使用电子笔或用户身体的一部分输入的触摸、手势、接近或悬停。
通信模块170可以配置电子设备101与外部设备(第一外部电子设备102、第二外部电子设备104或服务器106)之间的通信。通信模块170可以通过无线或有线通信与网络162相连，以便与外部设备(例如，第二外部电子设备104或服务器106)进行通信。
无线通信可以使用以下至少一项作为蜂窝通信协议：长期演进(LTE)、LTE-高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、WiBro(无线宽带)和全球移动通信系统(GSM)等。此外，无线通信可以包括短距离通信164。短距离通信164可以例如包括以下至少一项：Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球导航卫星系统(GNSS)等。根据使用区域、带宽等，GNSS可以包括以下至少一项：全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(以下称为“北斗”)或欧洲基于全球卫星的导航系统(伽利略)等。在本公开中，“GPS”可以与“GNSS”互换使用。有线通信可以包括以下各项中的至少一个：通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式电话业务(POTS)等。网络162可以包括电信网络，例如，计算机网络(例如，LAN或WAN)、互联网和电话网络中的至少一项。
第一外部电子设备102和第二外部电子设备104均可以与电子设备101是相同或不同的类型。服务器106可以包括具有一个或多个服务器的组。可以在另一电子设备或多个电子设备(例如，电子设备102和104或服务器106)中执行电子设备101所执行的所有操作或一些操作。当电子设备101必须自动地或响应于请求来执行一些功能或服务时，作为电子设备101本身执行该功能或服务的替代或附加，电子设备10可以请求另一设备(例如，电子设备102或104或服务器106)执行与该功能或服务相关的至少一些功能。其它电子设备可以执行所请求的功能或附加功能，并且可以向电子设备101传送执行结果。电子设备101可以提供接收到的结果本身，或者可以附加地处理接收到的结果以提供请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
图2是根据本公开的实施例的电子设备201的框图。
参考图2，电子设备201可以包括图1所示的电子设备101的全部或一部分。电子设备201可以包括至少一个AP 210、通信模块220、订户标识模块(SIM)卡224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电力管理模块295、电池296、指示器297和电机298。
处理器210可以驱动OS或应用程序来控制与其连接的多个硬件或软件元件，并且可以执行各种类型的数据处理和操作。处理器210可以实现为片上系统(SoC)。处理器210还可包括图形处理单元(GPU)和/或图像信号处理器。处理器210还可以包括图2中示出的元件中的至少一些(例如，蜂窝模块221)。处理器210可以将从至少一个其他元件(例如，非易失性存储器)接收到的指令或数据加载到易失性存储器中，以处理加载的指令或数据，而且可以将各种类型的数据存储在非易失性存储器中。
通信模块220可以具有与图1的通信模块170相同或相似的配置。通信模块220可以包括蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227(例如，GPS模块、Glonass模块、北斗模块或Galileo模块)、NFC模块228和射频(RF)模块229。
蜂窝模块221可以通过通信网络提供例如语音呼叫、视频呼叫、文本消息服务、互联网服务等。根据一个实施例，蜂窝模块221可以使用订户标识模块224(例如，SIM卡)来识别和认证通信网络中的电子设备201。蜂窝模块221可以执行处理器210可以提供的功能中的至少一些功能。蜂窝模块221可以包括CP。
Wi-Fi模块223、BT模块225、GNSS模块227或NFC模块228均可以包括用于处理通过相应模块发送和接收的数据的处理器。蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少两个或更多个可以包括在一个集成芯片(IC)中或IC封装中。
RF模块229可以发送/接收通信信号(例如，RF信号)。RF模块229可以包括收发机、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据本公开的另一实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227和NFC模块228中的至少一个可以通过单独的RF模块来发送/接收RF信号。
订户标识模块224可以包括含有订户标识模块和/或嵌入式SIM的卡，并且可以包含唯一标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识(IMSI))。
存储器230(例如，存储器130)可以包括内部存储器232和/或外部存储器234。内部存储器232可以包括以下至少一项：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)、以及非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存、NOR闪存等)、硬盘驱动器、固态驱动器(SSD)等)。
外部存储器234还可以包括闪存驱动器，例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你型安全数字(Mini-SD)、极速数字(xD)、多媒体卡(MMC)、存储棒等。外部存储器234可以通过各种接口与电子设备201功能连接和/或物理连接。
传感器模块240可以测量物理量或检测电子设备201的操作状态，并且可以将测量的或检测的信息转换为电信号。传感器模块240可以包括例如以下至少一项：手势传感器240A、陀螺传感器240B、气压传感器240C、磁传感器240D、加速度传感器240E、握力传感器240F、接近传感器240G、颜色传感器240H(例如，红、绿和蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、光照传感器240K和紫外(UV)传感器240M。附加地或者备选地，传感器模块240可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可以包括用于控制包括在其中的一个或多个传感器的控制电路。在一些实施例中，电子设备201还可以包括被配置为控制传感器模块240的处理器，作为处理器210的一部分或独立于处理器210，并可以在处理器210处于睡眠状态期间控制传感器模块240。
输入设备250可以包括触摸面板252、(数字)笔传感器254、键256或超声输入设备258。触摸面板252可以使用电容型、电阻型、红外(IR)型和超声型中的至少一种。此外，触控面板252还可以包括控制电路。触摸面板252还可以包括用于向用户提供触觉反应的触觉层。
(数字)笔传感器254可以包括识别片，该识别片是触摸面板的一部分或者与触摸面板分离。键256可以包括物理按钮、光学键或键区。超声输入设备258可以通过麦克风(例如，麦克风288)来检测由输入单元产生的超声波，以识别与检测到的超声波相对应的数据。
显示器260(例如，显示器160)可以包括面板262、全息设备264或投影仪266。面板262可以具有与图1所示的显示器160相同或相似的配置。面板262可以被实施为柔性的、透明的或可穿戴的。面板262可与触摸面板252一起被实现为一个模块。全息设备264可以通过使用光的干涉在空中显示三维图像。投影仪266可以通过将光投影到屏幕上来显示图像。该屏幕可以位于电子设备201的内部或外部。显示器260还可以包括用于控制面板262、全息设备264或投影仪266的控制电路。
接口270可以包括高清晰度多媒体接口(HDMI)272、USB 274、光学接口276或D-超小型元件(D-sub)278。接口270可以被包括在图1所示的通信接口170中。附加地或备选地，接口270可以包括移动高清链路(MHL)接口、SD卡/MMC接口、或红外线数据协会(IrDA)标准接口。
音频模块280将声音转换为电信号，反之亦然。音频模块280的至少一些元件可以包括在图1所示的输入/输出接口150中。音频模块280可以处理通过扬声器282、听筒284、耳机286、麦克风288等输入或输出的声音信息。
相机模块291是可以拍摄静态图像和运动图像的设备。相机模块291可包括一个或多个图像传感器(例如，前置传感器或后置传感器)、透镜、图像信号处理器(ISP)或者闪光灯(例如，LED或氙灯)。
电力管理模块295可以管理电子设备201的电力。电子设备201可以是通过电池接收电力的电子设备，但根据本公开的电子设备不限于此。电力管理模块295可以包括电源管理集成电路(PMIC)、充电器集成电路(IC)或者电池或燃料表。PMIC可以具有有线和/或无线充电方法。无线充电方法的示例可以包括磁共振方法、磁感应方法、电磁波方法等。还可以包括用于无线充电的附加电路(例如，线圈环、谐振电路、整流器等)。电池表可以测量电池296的剩余量以及充电时的电压、电流或温度。电池296可以包括可再充电电池和/或太阳能电池。
指示器297可以指示电子设备201或电子设备201的一部分(例如，处理器210)的特定状态(例如，引导状态、消息状态、充电状态等)。发动机298可以将电信号转换成机械振动，并且可以产生振动、触觉效果等。尽管未示出，然而电子设备201可以包括用于支持移动TV的处理单元(例如，GPU)。用于支持移动TV的处理单元可以处理符合诸如数字多媒体广播(DMB)、数字视频广播(DVB)、mediaFloTM等之类的标准的媒体数据。
根据本公开实施例的硬件的每个上述组成元件可以配置有一个或多个组件，且相应组成元件的名称可以基于电子设备的类型而改变。根据本公开各种实施例的电子设备可以包括上述元件中的至少一个。可以省略一些元件，或者还可以将其他附加元件包括在电子设备中。此外，根据各种实施例的硬件组件中的一些可以组合为一个实体，该实体可以执行与相关组件在组合之前的功能相同的功能。
图3是根据本公开实施例的程序模块的框图。
参考图3，程序模块310(例如，程序140)可以包括对与电子设备(例如，电子设备101)相关的资源进行控制的OS和/或在OS中执行的各种应用(例如，应用程序147)。OS可以例如是AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM、BadaTM等。
程序模块310可以包括内核320、中间件330、API 360和/或应用370。程序模块310的至少一部分可以预先加载到电子设备上，或者可以从外部电子设备(例如，电子设备102或104或服务器106)下载。
内核320(例如，内核141)可以包括系统资源管理器321和/或设备驱动器323。系统资源管理器321可以控制、分配或获取系统资源。系统资源管理器321可以包括进程管理器、存储器管理器或文件系统管理器。设备驱动323可以包括显示器驱动、相机驱动、BT驱动、共享存储器驱动、USB驱动、键盘驱动、Wi-Fi驱动、音频驱动或进程间通信(IPC)驱动。
中间件330可以提供应用370共同需要的功能，或者可以通过API 360向应用370提供各种功能，使得应用370可以高效地使用电子设备内的有限系统资源。中间件330(例如，中间件143)可以包括例如以下至少一项：运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、数据包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351和安全管理器352。
运行时间库335可以包括库模块，在应用370运行的同时，编译器使用所述库模块来通过编程语言添加新的功能。运行时间库335可以执行输入/输出管理、存储器管理、算术函数的功能等。
应用管理器341可以管理应用370中的至少一个的生命周期。窗口管理器342可以管理在屏幕上使用的图形用户界面(GUI)资源。多媒体管理器343可以确定用于再现各种媒体文件所需的格式，并可以通过使用适于相应格式的编码器/解码器(编解码器)对媒体文件进行编码或解码。资源管理器344可以管理至少一个应用370的资源，例如源代码、内存、存储空间等。
电力管理器345可以与例如基本输入/输出系统(BIOS)一同操作，以便管理电池或电源，并且提供用于操作电子设备所需的电力信息。数据库管理器346可以产生、搜索和/或改变将被至少一个应用370使用的数据库。数据包管理器347可以管理以数据包文件形式分发的应用的安装或更新。
连接管理器348可以管理无线连接，例如Wi-Fi、BT等。通知管理器349可以用不打扰用户的方式来显示或通知事件，例如到来消息、约定、接近通知等。位置管理器350可以管理电子设备的位置信息。图形管理器351可以管理将向用户提供的图形效果以及与图形效果相关的用户界面。安全管理器352可以提供系统安全、用户认证等所需的各种安全功能。在电子设备(例如，电子设备101)具有电话呼叫功能的情况下，中间件330还可以包括电话管理器，用于管理电子设备的语音或视频呼叫功能。
中间件330可以包括中间件模块，用于形成上述元件的各种功能的组合。中间件330可以根据OS的类型提供专门化的模块，以便提供差异化的功能。此外，中间件330可动态移除现有元件中的一些，或可添加新元件。
API 360(例如，API 145)是API编程功能的集合，并且可以根据OS而具有不同配置。例如，在安卓或iOS的情况下，可以针对每个平台提供一个API集，在Tizen的情况下，可以针对每个平台提供两个或更多个API集。
应用370(例如，应用程序147)可以包括能够执行以下功能的一个或多个应用：例如，主页371、拨号盘372、短消息服务(SMS)/多媒体消息服务(MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383、时钟384、健康护理(例如，测量运动量或血糖)和环境信息(例如，大气压、湿度、温度信息等)。
应用370可以包括支持电子设备(例如，电子设备101)和外部电子设备(例如，电子设备102或104)之间的信息交换的应用(“信息交换应用”)。信息交换应用可以包括用于向外部电子设备转发特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括向外部电子设备(例如，电子设备102或104)传送从电子设备的其它应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用、环境信息应用等等)生成的通知信息的功能。此外，通知中继应用可以从外部电子设备接收通知信息，并可以将所接收的通知信息提供给用户。
设备管理应用可以管理(例如，安装、删除或更新)与电子设备通信的外部电子设备(例如，电子设备102或104)的至少一个功能(例如，开启/关闭外部电子设备自身(或其一些组件)的功能、或调整显示器的亮度(或分辨率)的功能)、在外部电子设备中操作的应用、以及由外部电子设备提供的服务(例如，呼叫服务、消息服务等)。
应用370可以包括根据外部电子设备(例如，电子设备102或104)的属性所指定的应用(例如，移动医疗设备的健康护理应用等)。应用370可以包括从外部电子设备(例如，服务器106或电子设备102或104)接收到的应用。应用370可以包括预加载的应用或可以从服务器下载的第三方应用。根据本公开上述实施例的程序模块310的元件名称可以根据OS的类型而改变。
根据本公开的各种实施例，程序模块310中的至少一些可以实现为软件、固件、硬件或其两个或更多个的组合。程序模块310的至少一部分可以由例如处理器(例如，处理器210)来实现(例如，执行)。程序模块310中的至少一些可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集和/或进程。
图4示出了根据本公开实施例的输出图像数据的电子设备的示例。
参考图4，电子设备101可以包括例如透镜420、通过透镜420检测对象410的图像传感器430、控制器440和输出图像的显示器160。
图像传感器430可以根据光学信号生成图像数据。控制器440可以处理所生成的图像数据以在功能性地连接到电子设备的显示器160上显示处理后的图像数据。控制器440可以识别用于生成与图像传感器430检测到的图像相对应的图像数据的模式，并且至少基于该模式来确定用于生成图像的至少一个图像属性(例如，帧率和/或分辨率)的设置。
图像传感器430可以以多个像素为单位配置，并且每个单位像素可以包括多个子像素。子像素可以包括光电二极管。图像传感器430可以包括在一个单位像素中具有两个或更多个子像素(例如，光电二极管)的结构。图像传感器430可以输出包括R(红色)、G(绿色)和B(蓝色)中的至少一种颜色信息的颜色信息。
图像传感器430可以包括含有多个子像素的像素阵列431；按照单元或行来控制子像素阵列的行驱动器432；存储、感测、放大和/或输出从子像素阵列输出的信号的导出部(lead-out)433；向行驱动器432和导出部433提供时钟信号的定时发生器434；和/或存储图像传感器430的操作所需的各种命令的控制寄存器435。控制器440可以包括相机控制器441、图像信号处理器442和/或I/F(接口)443。
图像传感器430可以通过对控制器440的控制来检测通过透镜420成像的对象410。控制器440可以在显示器160上输出由图像传感器430检测并生成的图像数据。显示器160可以是可以输出图像数据的任何设备。例如，显示器160可以被实现为专用显示器(例如，在电子设备上形成的监视器或显示器，诸如计算机、移动电话、TV或相机)。图像传感器430可以获取与对象410相对应的光学信号。图像传感器430可以功能性地连接到控制器440。虽然图像传感器430被描述为图像传感器或相机的元件，但是图像传感器430不限于此并且可以进行各种修改。
控制器440可以输出用于计算两个或更多个子像素之间的相位差的信息。此外，控制器440可以通过使用从图像传感器430读取的信息来获得颜色信息。控制器440可以识别与对象410相对应的图像属性的设置。例如，当图像属性的设置满足预定条件(例如，该设置在第一预定范围内)时，图像传感器430可以通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来输出与对象410相对应的图像的像素数据。此外，图像传感器430可以通过使用像素数据来生成图像数据。另外，当图像属性的设置不满足预定条件(例如，设置在与第一预定范围不同的另一预定范围(例如，第二预定范围)内时)，控制器440可以控制(或设置)相应像素不用于基于与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定相位差。
控制器440可以调节通过图像传感器430输出的信息(例如，用于计算相位差或图像数据的信息)。例如，控制器440可以基于图像属性或模式(例如，第一模式到第四模式)的设置来不同地调整通过图像传感器430输出的信息。控制器440可以根据每种模式不同地调整通过图像传感器430输出的信息(例如，用于计算相位差或图像数据的信息)。例如，在第一模式下，控制器440可以控制图像传感器430仅输出用于通过使用每个子像素级信号来计算相位差的信息。此外，控制器440可以通过对用于计算相位差的信息进行后处理来识别相位差信息。
在第二模式下，控制器440可以控制图像传感器430输出通过组合各个子像素级的数据(例如，第一信号和第二信号)而生成的图像数据。例如，通过图像传感器430获取的信号可以包括未被标识为第一信号或第二信号的一个单位像素级信号。
在第三模式下，控制器440可以控制图像传感器430输出用于通过使用每个子像素级的信号来计算相位差的信息。此外，控制器440可以控制图像传感器430处理并输出每个子像素级的数据(例如，第一信号和第二信号)作为单位像素级的图像数据(例如，组合或平均第一信号和第二信号)。
在第四模式下，控制器440可以控制图像传感器430输出用于通过使用每个子像素级的信号来计算相位差的信息。此外，控制器440可以控制图像传感器430处理并输出每个子像素级的数据(例如，第一信号和第二信号)作为单位像素级的图像数据(例如，组合或平均第一信号和第二信号)。例如，控制器440可以基于单位像素的属性(例如，颜色)来不同地调整用于处理图像数据的操作。当单位像素的属性对应于红色或蓝色时，控制器440可以控制图像传感器430输出通过组合各个子像素级的数据(例如，第一信号和第二信号)而生成的图像数据。此外，当单位像素的属性对应于绿色时，控制器440可以控制图像传感器430处理并输出各个子像素级的数据(例如，第一信号和第二信号)作为单位像素级的图像数据。
控制器440可以基于用户输入以及图像属性的设置来确定图像属性的设置。例如，当生成用户输入时，控制器440可以识别与用户输入相对应的模式并且确定与模式相关的图像属性的设置。当在电子设备101中包括的应用中通过相机(例如，相机376)接收到用户输入时，控制器440可以通过该用户输入来识别所确定的模式。此外，控制器440可以基于该模式来确定图像属性的设置。
当图像信息的设置满足预定条件(例如，该设置在第一预定范围内)时，控制器440可以控制(或设置)相应像素通过使用第一信号和第二信号来生成图像数据。
当图像信息的设置不满足预定条件(例如，该设置在与第一预定范围不同的预定范围(例如，第二预定范围)内)时，控制器440可以控制图像传感器430通过读取第一信号和第二信号的组合来生成图像数据。图像信息可以包括例如对象410的尺寸、对象410与图像传感器之间的距离、对象410的移动速度、要通过显示器160输出的图像的帧率、或者它们的组合。
当图像信息包括要输出的图像的帧率时，图像信息的设置的预定条件(例如，第一预定范围)可以包括低速帧率，而不满足预定条件的另一预定范围(例如，第二预定范围)可以包括高速帧率。低速帧率可以包括每秒30帧，并且高速帧率可以包括每秒60帧。根据各种实施例，高速帧率和低速帧率可以根据电子设备101的规范或技术发展而变化。
相机控制器441可以对控制寄存器435进行控制。相机控制器441可以通过使用例如内部集成电路(I2C)来控制图像传感器430或控制寄存器435。在一些实施例中，控制器440可以省略至少一个元件或者还可以包括另一个元件。
图像信号处理器442可以接收与导出部433的输出信号相对应的子像素信号(SPS)，并且以子像素或像素为单位来处理和/或处置子像素信号，以生成图像数据。图像信号处理器442可以通过I/F 443在显示器160上显示例如图像数据。
像素阵列431可以包括多个单位像素。每个单位像素可以包括多个子像素。每个单位像素可以包括两个光电二极管或四个光电二极管。每个子像素可以感测通过透镜420入射的光，并且根据对行驱动器432的控制来输出至少一个子像素信号。子像素信号可以是具有值“0”或“1”的数字信号。将参考图5和图6A至图6E来详细描述子像素的示例。
定时发生器434可以通过向行驱动器432和/或导出部433中的每一个输出控制信号或时钟信号来控制行驱动器432和/或导出部433的操作或定时。控制寄存器435根据对相机控制器441的控制进行操作、存储图像传感器430的操作所需的各种命令、并且将各种命令发送到定时发生器434。
像素阵列431可以将来自由行驱动器432提供的每个控制信号选择的行的子像素信号输出到导出部433。
导出部433可以暂时存储从像素阵列431输出的子像素信号，然后感测、放大并输出子像素信号。导出部433可以包括用于暂时存储像素信号的每列中包括的多个列存储器(例如，SRAM)、用于感测和放大像素信号的感测放大器(SA)(未示出)、或用于对暂时存储的像素信号进行计数的计数器(未示出)。
透镜420可以包括主透镜。例如，主透镜可以以对应于整个像素阵列431的尺寸来实现，并且使对象410的图像聚焦。
控制器440可以识别用于输出与通过图像传感器430检测到的对象相对应的图像数据的模式，并且基于所识别的模式来确定用于生成图像的至少一个图像属性(例如，帧率和/或分辨率)的设置。此外，图像传感器430可以至少基于该设置通过使用与光学信号相对应的像素数据来生成图像数据。该模式可以包括：第一模式，其中从图像传感器430中包括的所有子像素输出子像素级的信号(或者与光学信号相对应的像素数据)；第二模式，其中通过组合和读取单位像素内的每个子像素级的信号来输出单位像素级的图像数据；第三模式，其中从单位像素内的各个子像素获取信号，通过所获取的信号生成用于计算子像素之间的相位差的信息，并且输出通过组合或平均从单位像素内的各个子像素获取的信号而生成的单位像素级的图像数据以及用于计算相位差的信息；以及第四模式，其中通过以子像素级组合和读取第一单位像素(例如，R像素或B像素)内的各个子像素的信号来输出单位像素级的图像数据，使用从第二单位像素(例如，G像素)内的各个子像素获取的信号输出用于计算相位差的信息，并且通过以子像素级组合或平均所获取的信号来输出单位像素级的图像数据。在第四模式下，由第一单位像素输出的图像数据以及由第二单位像素输出的信息和图像数据可以被一起输出。此外，控制器440可以控制电子设备101通过后处理过程在显示器160上显示由图像传感器430输出的图像数据。
控制器440可以通过使用用于计算相位差的信息来识别相位差。例如，基于在每个子像素中获取的信号(例如，用于计算相位差的信息)，控制器440可以识别包括在信号中的属性(例如，亮度信息或颜色信息)并且基于所识别的属性之间的差异(例如，子像素的属性的差异)来识别相位差。控制器440可以基于在子像素中获取的亮度信息之间的差异来识别相位差。
例如，在第一模式下，电子设备101(控制器440)可以输出图像传感器430的所有子像素中的子像素级的信号。图像传感器430可以输出每个单位像素中包括的多个子像素中的每一个子像素中的子像素级的信号。
电子设备101(控制器440)可以根据图像传感器430的每个单位像素来输出与子像素的总和相对应的单位像素级的图像数据，以便以比第一模式更高的速度在第二模式下生成图像。例如，由于与第一模式相比，在第二模式下的数据量变得较小，所以电子设备101(控制器440)可以高速输出图像数据，并且可以不输出用于计算子像素之间的相位差的信息。
电子设备101(控制器440)可以获取图像传感器430的单位像素内的每个子像素中的信号，输出用于通过使用所获取的信号来计算子像素之间的相位差的信息，根据每个单位像素组合或平均子像素的信号，读取相加信号的或平均的信号，并且以第三模式输出单位像素级的图像数据。在第三模式下，可以同时输出信息和图像数据。该信息可以包括用于计算相位差的经滤波的数据。
电子设备101(控制器440)可以以子像素级组合并读取从第一单位像素内的各个子像素获取的信号并输出单位像素级的图像数据。此外，可以从第二单位像素内的各个子像素获取信号，可以使用所获取的信号来生成用于计算第二单位像素内的子像素之间的相位差的信息，并且可以通过组合或平均并读取所获取的信号来输出单位像素级的图像数据。此外，在第四模式下，可以组合并输出由第一单位像素输出的图像数据、由第二单位像素输出的图像数据以及所生成的信息。电子设备101(控制器440)可以组合并输出R像素和B像素之间的相应像素中的各个子像素的信号，并且以第四模式从G像素的每个子像素输出子像素级的每个信号。在这种情况下，在第四模式下，可以同时输出用于计算子像素之间的相位差的信息和图像数据。在第四模式下，例如，可以输出用于计算G像素的子像素之间的相位差的信息。
在第一模式下，电子设备101(控制器440)可以将图像信息设置为AF，并且将图像信息的设置设置为高速AF(例如，使用相位差信息的AF)。在第一模式下，控制器440可以例如以低帧率(例如，每秒30帧)输出图像数据。在第一模式下，控制器440可以输出每个单位像素中的子像素级的信号。
在第二模式下，电子设备101(控制器440)可以将图像信息设置为帧率并且将图像信息的设置设置为高帧率。在第二模式下，控制器440可以输出图像数据，例如高帧率(例如，每秒60帧)，并且可以不生成用于计算子像素之间的相位差的信息。控制器440可以通过组合每个单位像素内的各个子像素的信号来仅输出单位像素级的图像数据，从而进行高速操作。
在第三模式下，电子设备101(控制器440)可以将图像信息设置为AF和帧率，并且可以将AF的设置设置为高速AF(例如，使用相位差信息的AF)并且将帧率的设置设置为高帧率。在第三模式下，控制器440可以获取单位像素内的各个子像素中的信号，生成用于通过使用所获取的信号来计算相位差的信息，并且以子像素级组合或平均在单位像素内的各个子像素中获取的信号，以输出单位像素级的图像数据。在第三模式下，可以同时输出已经被相加或平均的信息和数据。
在第四模式下，电子设备101(控制器440)可以将图像信息设置为AF和帧率，并且将AF的设置设置为高速AF(例如，使用相位差信息的AF)并且将帧率的设置设置为高帧率。在第四模式下，与第一模式相比，控制器440可以以更高的帧率(例如，每秒60帧)输出图像数据。此外，控制器440可以通过使用与用于以第三模式输出图像数据的功率相比较低的功率来输出图像数据。控制器440可以通过以子像素级组合在第一单位像素(例如，R像素和B像素)内的各个子像素中获取的信号来输出单位像素级的图像数据。控制器440可以输出用于通过使用在第二单位像素(例如，G像素)内的各个子像素中获取的信号来计算相位差的信息，并且通过以子像素级组合或平均所获取的信号来输出单位像素级的图像数据。控制器440可以输出由第一单位像素输出的图像数据和由第二单位像素输出的图像数据以及用于以第四模式计算相位差的信息。用于计算子像素之间的相位差的信息可以被加到所生成的图像数据。此外，所生成的图像数据可以与该信息一起输出。第一单位像素可以包括R像素和B像素，并且第二单位像素可以包括G像素。控制器440可以组合在与R像素或B像素相对应的像素中所包括的子像素中获取的信号，并且对在G像素中所包括的子像素中获取的信号进行组合或平均，以输出单位像素级的图像数据。此外，控制器440可以生成用于通过使用G像素中包括的子像素的信号来计算相位差的信息。
控制器440可以根据每种模式来处理从R像素输出的图像数据、从B像素输出的图像数据以及从G像素输出的图像数据，并且将图像显示在显示器160上。控制器40可以以子像素或单位像素为单位来处理从导出部433输出的子像素级的信号或者以单位像素为单位的图像数据，以生成图像并且将生成的图像显示在显示器上160。
尽管示出了所有元件都包括在电子设备101中，但是各种实施例不限于此。例如，根据电子设备101的角色、功能或能力，电子设备101的元件中的至少一些元件可以被分配给电子设备101和外部电子设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)。
根据本公开的各种实施例，虽然控制器440被示出为是与图像传感器430分离的元件，但是各种实施例不限于此。例如，根据电子设备101的角色、功能或能力，控制器440可以包括在图像传感器430的至少一部分中。例如，相机控制器441或接口单元(I/F)443可以包括在图像传感器430中，并且图像信号处理器442可以被实现为与图像传感器430分离。
根据本公开的各种实施例，相机控制器441、图像信号处理器442或接口单元(I/F)443中的至少一些可以以软件、固件、硬件或者两个或更多个的组合来实现。相机控制器441、信号处理器442或接口单元(I/F)443中的至少一些可以由例如处理器(例如，处理器120)来实现(例如，执行)。相机控制器441、图像信号处理器442和接口单元(I/F)443中的至少一些可以包括例如用于执行一个或更多功能的模块、程序、例程、指令集或进程。
根据本公开的各种实施例，电子设备101可以实现例如相机控制器441、图像信号处理器442、或I/F 443以与处理器(例如，图1的处理器120)集成，并且相机控制器441、图像信号处理器442或I/F 443可以以软件形式存储在处理器可访问的(专用)存储区中并且被实现为可由处理器执行。
图5示出了根据本公开实施例的示出了图像传感器的像素阵列的配置的示例。
参考图5，图像传感器430的像素阵列431可以包括例如排列成矩阵型的多个单位像素510-a至510-d，并且每个单位像素可以包括多个子像素。图像传感器430可以一次输出与每个单位像素的子像素和所有单位像素的乘积相对应的信号，或者通过组合一个单位像素的子像素级的信号来输出与所有单位像素的数量相对应的信号。第一单位像素510-a可以包括多个子像素511、512、513和514。第二单位像素510-b可以包括多个子像素515、516、517和518。备选地，单位像素可以包括两个子像素(或光电二极管)或四个子像素(或光电二极管)。子像素间距可以小于普通图像传感器430中的像素间距。
尽管图5示出第一单位像素510-a至第四单位像素510-d中的每一个包括四个子像素，但是本公开不限于此。
基于对定时发生器434的控制，像素阵列431可以根据以行为单位的列线输出各个子像素级的信号。
包括用于透过或阻挡特定频谱区域的光的每个颜色滤波器在内的滤波器阵列(未示出)可以布置在像素阵列431中包括的单位像素的上部。此外，用于增加例如聚光能力的微透镜可以布置在像素阵列431中包括的多个单位像素的上部。
根据定时发生器434的控制，行驱动器432可以驱动用于控制多个子像素420中的每一个的操作的多个控制信号到像素阵列431中。例如，多个控制信号可以包括用于控制多个子像素中的每个子像素所产生的光电荷的传输的信号、用于选择多个子像素中的每一个子像素的信号、或用于复位多个子像素中的每一个子像素的信号。导出块433可以包括用于处理从像素阵列431输出的子像素级的信号的各种元件(例如，计数器、存储器、导出电路或感测放大器电路)。
图像信号处理器442可以处理和/或处置从第一单位像素510-a到第四单位像素510-d输出的子像素级的信号。例如，图像信号处理器442可以将例如子像素级的信号和相加的信号组合为一个单位像素级图像数据。
导出部433可以将与第一单位像素510-a到第四单位像素510-d中的每一个的子像素相对应的子像素级的信号输出。第一单位像素510-a至第四单位像素510-d可以输出例如与已经穿过相应微透镜的多个子像素相对应的子像素级的信号。图像信号处理器442可以处理和/或处置例如子像素级的信号并且生成角度信息和深度数据。
图6A示意性地示出了根据本公开实施例的图像传感器中具有两个光电二极管的单位像素。
图6B示意性地示出了根据本公开实施例的图像传感器中具有四个光电二极管的单位像素。
图6C示出了根据本公开实施例的具有两个光电二极管的单位像素的结构的示例。
图6D是示出了根据本公开实施例的图像传感器中具有两个光电二极管的单位像素的电路图。
图6E示出了根据本公开实施例的单位像素中的开关中的每个开关的时间图的示例。
参考图6A至图6E，当光穿过颜色滤波器进入光导体时，在光导体中产生的电子空穴根据光的波长和强度而改变，并且根据本公开的实施例的图像传感器430可以输出具有信号可被处理的电平的电压信号。图像传感器430可以根据其类型被分成例如电荷耦合器件(CCD)型图像传感器和互补金属氧化物半导体(CMOS)型图像传感器。图像传感器430可以配置多个单位像素，并且可以使用图像传感器阵列以便获取预定尺寸的图像数据，在该图像传感器阵列中多个单位像素以预定的行和列排列。
图像传感器430的单位像素可以包括两个光电二极管640、颜色滤波器630和/或微透镜620。此外，图像传感器430的单位像素可以包括四个光电二极管650、颜色滤波器630和/或微透镜620。根据本公开的实施例的图像传感器430可以包括由多个子像素构成的单位像素的阵列，如图6A和图6B所示。每个单位像素的子像素的数量可以是预定的，图6A示出了两个子像素，图6B示出了四个子像素。
控制器440可以组合单位像素的各个子像素级的信号并输出一个图像数据。此外，控制器440可以输出用于计算每个单位像素中包括的子像素(例如，光电二极管)之间的相位差的信息。例如，如图6A所示，根据本公开的实施例的单位像素还可以输出用于计算入射到每个光电二极管的光的相位差的信息，并输出与两个子像素级(例如，光电二极管)的信号的组合相对应的颜色信息。
图像传感器可以输出每个光电二极管的值，并且相应地，一个单位像素可以输出多个光电二极管的每条颜色信息。例如，当具有HD(1280×720)个像素的图像传感器包括在一个单位像素中具有四个光电二极管的4PD结构时，图像传感器可以读取每个光电二极管的颜色值并输出具有四倍高清晰度(QHD)的分辨率(2560×1440)的图像数据。
光电二极管640和650可以将入射光转换成电信号，产生转换后的电信号，并且包括累积的掺杂区域。此外，可以基于入射光的入射角来累积掺杂区域。
透镜610可以功能性地连接到用于光学图像稳定(OIS)或自动聚焦(AF)的致动器。
颜色滤波器630可以是R(红色)滤波器、G(绿色)滤波器、B(蓝色)滤波器、黄色滤波器、品红色滤波器或青色滤波器。
颜色滤波器630可以基于入射光的入射角形成在光电二极管640和650上并具有拜耳模式。在拜耳模式下，滤波器在二维平面上接收红色、绿色和蓝色中的每一个的亮度，以便通过收集目标的亮度和颜色来形成包括点的图像数据。在拜耳模式颜色滤波器下方形成栅格网络的每个单位像素可以仅识别在红色、绿色和/或蓝色之间分配的颜色，而不是识别全色，并且可以插入该颜色以推断全色。
微透镜620可以形成为对应于颜色滤波器630上的光电二极管640和650，同时保持颜色滤波器630以其进行累积的倾斜角度。此外，OIS透镜610可以位于透镜安装件(未示出)内并且可以收集光。
参考图6C，根据本公开的实施例，图像传感器430可以包括多个单位像素，每个单位像素660可以包括两个或更多个光电二极管，并且阻挡件670可以位于光电二极管之间。此外，至少一个颜色滤波器630可以位于多个光电二极管上。另外，至少一个微透镜620可以位于多个光电二极管上。微透镜620可以位于颜色滤波器630上。入射到每个单位像素的光可以经由至少一个微透镜和至少一个颜色滤波器入射到不同光电二极管中的每个光电二极管，并且可以根据入射到每个光电二极管的光的相位差来输出用于焦点检测的信息。
图像传感器的每个单位像素可以包括：用于检测光量的光电二极管(PD)；用于通过浮动扩散传输光电二极管D1和D2所生成的电荷的传输开关TX_T1和TX_T2；用于在图像传感器中包括的至少两个像素中选择相应像素的选择开关RS；用于复位浮动扩散区域的复位开关RST；以及用于以相应传输开关的输出电压输出浮动扩散区域的电位的放大开关SF。
参考图6D和图6E，两个光电二极管D1和D2可以分别电连接到例如传输开关TX_T1665和TX_T2667，以传输它们自身的信号。
光电二极管D1和D2可以接收已经穿过相同微透镜的光。例如，两个光电二极管中的每一个可以接收已经穿过颜色滤波器区域的光，并且可以产生与接收到的光能量相对应的电荷。
通过传输开关665和667在光电二极管D1和D2中产生的电荷可以被传输到浮动扩散区域669。选择开关RS 661可以从图像传感器中包括的至少两个像素中选择相应的像素。复位开关RST 663可以复位浮动扩散区域669。在复位开关663复位之后，当传输开关665和667中的一个将电荷传输到浮动扩散区域669时，放大开关SF 671可以以相应传输开关665和667的输出电压来输出浮动扩散区域669的电位。
当光学滤波器的颜色滤波器区域在光电二极管D1和D2中累积时，光电二极管D1和D2的输出电压可以是具有从图像传感器输出的颜色信息的分量。例如，光电二极管D1的输出电压可以是图6E的T1信号，并且光电二极管D2的输出电压可以是图6E的T2信号。
将描述开关663、665和671中的每一个的时间图。根据对相应像素的选择，选择开关661可以处于高电平(在下文中称为“激活状态”)达预定时间。根据选择开关661的激活状态，复位开关663可以通过周期性地产生具有长达预定时间的高电平的脉冲来复位浮动扩散区域669。
当传输开关665和667根据选择开关661的复位脉冲的产生以预定次序顺序地产生具有长达预定时间的高电平的脉冲(在下文中称为“传输脉冲”)时，光电二极管D1和D2中产生的电荷可以顺序地被传输到浮动扩散区域669。此外，传输开关665和667中的一个可以将电荷传输到浮动扩散区域669，并且放大开关671可以以相应传输开关的输出电压来输出浮动扩散区域669的电位。
根据本公开的实施例的电子设备101可以包括：图像传感器，用于获取与对象410相对应的光学信号；控制器，用于识别用于通过使用光学信号来生成与对象410相对应的图像的模式，确定对用于至少基于该模式来生成图像的至少一个图像属性的设置，至少基于该设置通过使用与光学信号相对应的像素数据来生成图像数据，并且至少基于该图像数据通过功能性地连接到电子设备的显示器以及用于显示该图像数据的显示器来显示与对象410相对应的图像。
根据本公开的各种实施例，控制器440将至少一个图像属性的第一设置确定为模式对应于第一模式时的设置，将至少一个图像属性的第二设置确定为模式对应于第二模式时的设置，将至少一个图像属性的第三设置确定为模式对应于第三模式时的设置，并且将至少一个图像属性的第四设置确定为模式对应于第四模式时的设置。
根据本公开的各种实施例，控制器可以识别以下模式：第一模式，其中功能性地连接到电子设备的图像传感器的多个单位像素中的至少一个单位像素中包括的多个子像素分别输出子像素级的像素数据；第二模式，其中通过单位像素内的多个子像素的像素数据的组合来输出单位像素级的图像数据；第三模式，其中从单位像素内的各个子像素获取信号，输出用于计算单位像素内的子像素之间的相位差的信息，并且通过以子像素级组合或平均所获取的信号来输出单位像素级的图像数据；以及第四模式，其中通过组合第一单位像素(例如，R像素或B像素)内的各个子像素的信号来输出单位像素级的图像数据，生成用于使用从第二单位像素(例如，G像素)内的各个子像素获取的信号来计算相位差的信息，并且通过以子像素级组合或平均所获取的信号来输出单位像素级的图像数据。此外，在第四模式下，可以一起输出由第一单位像素输出的图像数据、由第二单位像素输出的图像数据以及用于计算相位差的信息。
根据本公开的各种实施例，在第一模式下，图像属性的设置是低帧率，并且控制器可以输出与多个子像素之间的相位差相对应的信息(例如，用于计算相位差的信息)和基于第一模式的图像数据。
根据本公开的各种实施例，在第二模式下，图像属性的设置是高帧率，并且控制器可以输出图像数据，而可以不输出基于第二模式且与多个子像素之间的相位差相对应的信息(例如，用于计算相位差的信息)。在第三模式下，图像属性的设置是与第一模式相比更高的帧率，并且控制器可以输出图像数据以及基于第三模式且与多个子像素之间的相位差相对应的信息(例如，用于计算相位差的信息)。
根据本公开的各种实施例，在第四模式下，图像属性的设置是高帧率，并且控制器可以输出通过组合第一单位像素内的子像素的信号而生成的图像数据、为了通过使用在第二单位像素内的子像素中获取的信号来计算像素之间的相位差而生成的信息、以及通过组合或平均所获取的信号而生成的图像数据。
根据本公开的各种实施例，控制器可以通过组合多个单位像素中的红色(R)像素和蓝色(B)像素中包括的各个子像素的信号来生成图像数据、用于使用绿色(G)像素中包括的子像素的信号来计算相位差的信息、以及通过组合或平均所获取的信号而生成的图像数据。控制器可以输出生成的图像以及用于计算相位差的信息。
根据本公开的各种实施例，图像传感器可以包括多个单位像素，并且每个单位像素可以包括：像素阵列，该像素阵列包括多个子像素；用于以行为单位来控制子像素阵列的行驱动器；用于存储、感测、放大或输出从子像素阵列输出的信号的导出部；用于向行驱动器和导出部提供时钟信号的时间发生器；以及用于存储与图像传感器的操作有关的命令的控制寄存器。
根据本公开的实施例的电子设备101可以包括显示器、用于获取与对象410相对应的光学信号的图像传感器430、以及控制器。控制器可以识别用于通过使用光学信号来生成与对象相对应的图像的模式，至少基于该模式来确定要用于生成图像的至少一个图像属性的设置，至少基于该设置通过使用与光学信号相对应的像素数据来生成图像数据，并且至少基于该图像数据通过功能性地连接到电子设备的显示器来显示与对象相对应的图像。
根据本公开的各种实施例，控制器440可以将至少一个图像属性的第一设置确定为模式对应于第一模式时的设置，并且可以将至少一个图像属性的第二设置确定为模式对应于第二模式时的设置。
根据本公开的各种实施例，该模式可以包括以下模式：第一模式，其中图像传感器的多个单位像素中的至少一个单位像素中包括的多个子像素分别输出子像素级的像素数据；第二模式，其中通过单位像素内的多个子像素的像素数据的组合来输出单位像素级的图像数据；第三模式，其中生成用于计算多个子像素之间的相位差的信息，并且通过组合或平均多个子像素级的信号来输出单位像素级的图像数据；以及第四模式，其中生成用于计算多个子像素之间的相位差的信息，并且通过选择性地组合或平均多个子像素的像素数据来输出单位像素级的图像数据。
根据本公开的各种实施例，当模式对应于第一模式时，控制器440可以输出与多个子像素之间的相位差相对应的信息，并且当模式对应于第二模式时，控制器440可以不输出与多个子像素之间的相位差相对应的信息。
根据本公开的各种实施例，当模式对应于第三模式时，控制器440可以输出图像数据以及与多个子像素之间的相位差相对应的信息。
根据本公开的各种实施例，当模式对应于第四模式时，控制器440可以输出通过组合第一单位像素内的子像素的像素数据而生成的图像数据、用于使用从第二单位像素内的子像素获取的像素数据来计算像素之间的相位差的信息、以及通过组合所获取的像素数据而生成的图像数据。
根据本公开的实施例的电子设备101可以包括：图像传感器，该图像传感器获取与对象相对应的光学信号，该图像传感器包括多个单位像素，所述多个单位像素中的至少一个单位像素包括第一子像素和第二像素；以及功能性地连接到图像传感器的控制器。控制器可以通过使用图像传感器至少基于光学信号来获取与对象相对应的像素数据，识别用于生成与对象相对应的图像的至少一个图像属性的设置，当设置满足预定条件时通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定图像的相位差，并且在设置不满足预定条件时避免确定该相位差。
根据本公开的各种实施例，当设置满足预定条件时，控制器440可以通过使用第一信号和第二信号来生成子像素级的图像。
根据本公开的各种实施例，当设置不满足预定条件时，控制器440可以通过组合第一信号和第二信号来生成单位像素级的图像。
根据本公开的各种实施例，设置不满足预定条件的情况可以包括设置满足另一预定条件的情况。
根据本公开的各种实施例，至少一个图像属性可以包括帧率，并且设置满足预定条件的情况包括至少一个图像属性的设置对应于低帧率的情况，并且设置不符合预定条件的情况包括至少一个图像属性的设置对应于高帧率的情况。
根据本公开的各种实施例，至少一个图像属性可以包括对象的尺寸、对象与图像传感器之间的距离、对象的移动速度或其组合。
根据本公开的各种实施例，可以包括与第一子像素和第二子像素中的每一个相对应的光电二极管。
根据本公开的各种实施例，当通过图像数据分析对象尺寸对应于预定范围时(例如，当对象尺寸等于或小于整个图像区域的30％时)，控制器440可以通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定与对象相对应的图像的相位差。备选地，当对象尺寸不对应于预定范围时(例如，当对象尺寸大于或等于整个图像区域的30％时)，控制器440可以不通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定与对象相对应的图像的相位差。根据本公开的实施例，尽管已经描述了预定范围等于或小于30％，但这仅仅是一个实施例，并且预定范围可以在30％以上并且可以是可变的。
根据本公开的各种实施例，控制器440可以通过使用接近传感器240G、照度传感器240K和红外传感器(未示出)中的至少一个来计算对象与图像传感器之间的距离。控制器440可以基于对象与图像传感器之间的距离来确定是否生成用于计算相位差的信息。当对象与图像传感器之间的距离对应于预定距离(例如，短于5米)时，控制器440可以通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定与对象相对应的图像的相位差。备选地，当对象和图像传感器之间的距离不对应于预定距离(例如，不短于5米)时，控制器440可以不通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定与对象相对应的图像的相位差。
根据本公开的各种实施例，控制器440可以通过图像数据分析来分析对象的移动速度。例如，当通过控制器440确定的对象的移动速度对应于预定速度(例如，快于或等于4km/h)时，控制器440可以通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定与对象相对应的图像的相位差。备选地，当对象的移动速度不对应于预定速度(例如，不快于或等于4km/h)时，控制器440可以不通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定与对象相对应的图像的相位差。
图7是示出了根据本公开实施例的用于生成图像数据的操作的流程图。
参考图7，在操作710中，电子设备101(例如，控制器440)可以识别用于生成图像数据的模式。该模式可以由电子设备的用户选择或确定。例如，可以基于通过电子设备101中包括的应用(例如，相机376)获取的用户输入来识别模式。此外，电子设备101(例如，控制器440)可以根据例如用户所选择的模式(例如，拍摄条件)来确定用于生成图像数据的至少一个图像属性以及图像属性的设置。例如，电子设备101(例如，控制器440)可以通过相机应用(例如，相机376)根据拍摄条件((例如，运动、具有很多移动的人(比如儿童)、具有很少移动的人(例如，自拍)、风景、连续拍摄或视频)来确定用于生成图像数据的至少一个图像属性的设置。此外，电子设备101(例如，控制器440)可以根据所确定的设置来生成图像数据。在拍摄条件中，运动可以被称为第一模式(第三模式或第四模式)，具有很少移动的人(自拍)可以被称为第二模式，并且具有很多移动的人(儿童)可以被称为第三模式或第四模式。
当电子设备101(例如，控制器440)处于预设模式(例如，默认模式或运动模式)时，电子设备101可以在第一模式下操作。在第一模式下，控制器440可以输出例如所有子像素中的子像素级信号。电子设备101(例如，控制器440)可以输出例如每个单位像素中包括的各个子像素级的信号。
当选择了拍摄条件(例如，具有很少移动的人(自拍)、连续拍摄或视频)时，电子设备101(例如，控制器440)可以以第二模式进行操作。在第二模式下，控制器440可以组合并读取子像素中的在每个单位像素内的各个子像素级信号，然后仅输出单位像素级的图像数据。在这种情况下，由于第二模式与第一模式相比具有较少数量的数据，所以与第一模式相比，第二模式可以以较高的速度输出图像数据。
当用户选择需要高速图像处理和相位差信息的拍摄条件(例如，运动或具有很多移动的儿童)时，电子设备101(例如，控制器440)可以以第三模式进行操作。在第三模式下，图像传感器430可以获取各个子像素中的信号，生成用于通过使用所获取的信号来计算子像素之间的相位差的信息，并且以子像素级来组合或平均各个子像素中所获取的信号，以便输出单位像素级的图像数据。此外，电子设备101可以输出用于计算相位差的信息和图像数据。
当用户选择需要高速图像处理和相位差信息中的一些的拍摄条件(例如，运动、视频或具有很多移动的儿童)时，电子设备101可以以第四模式进行操作。在第四模式下，控制器440可以以子像素级来组合第一单位像素内的各个子像素中获取的信号并输出单位像素级的图像数据。电子设备101可以获取第二单位像素内的各个子像素中的信号，生成用于通过使用所获取的信号来计算第二单位像素内的子像素之间的相位差的信息，并且对所获取的信号进行组合或平均，以输出单位像素级的图像数据。在第四模式下，可以输出由第一单位像素输出的图像数据、由第二单位像素输出的图像数据、以及用于计算相位差的信息。第一单位像素可以是R像素和B像素中的至少一个，并且第二单位像素可以是G像素。
电子设备101可以控制图像传感器430的操作以便在所识别的模式下输出图像数据。该模式可以包括：第一模式，其中从图像传感器430中包括的所有子像素输出子像素级的信号；第二模式，其中通过组合单位像素内的各个子像素的信号来输出单位像素级的图像数据；第三模式，其中从单位像素内的各个子像素获取像素级信号，通过所获取的信号生成用于计算子像素之间的相位差的信息，并且通过以子像素级组合或平均从单位像素内的各个子像素获取的子像素级信号来输出单位像素级的图像数据；以及第四模式，其中通过以子像素级组合第一单位像素(例如，R像素或B像素)内的各个子像素的信号来输出单位像素级的图像数据，输出用于使用从第二单位像素(例如，G像素)内的各个子像素获取的信号来计算相位差的信息，并且通过以子像素级组合或平均所获取的信号来输出单位像素级的图像数据。
在操作712中，电子设备101可以识别是否生成图像数据。电子设备101可以识别是否通过图像传感器430接收到与对象相对应的光学信号。电子设备101可以通过图像传感器430来识别用于通过与对象相对应的接收到的光学信号来生成图像数据的模式。
在操作714中，当模式被确定为第一模式时，电子设备101可以在操作716中从各个子像素获取信号(或像素数据)。当以第一模式输出图像数据时，电子设备101可以控制图像传感器以第一模式输出图像数据。电子设备101可以检测由图像传感器430的像素阵列431的单位像素中包括的多个子像素中的各个子像素输出的信号。电子设备101可以处理在相同单位像素中包括的各个子像素中输出的信号。
在操作718中，电子设备101可以输出每个单位像素内的各个子像素级的信号。电子设备101可以输出像素阵列431的每个单位像素中的各个子像素级的信号。
当在操作724中将模式确定为第二模式时，电子设备101可以在操作726中以子像素级组合并读取单位像素内的各个子像素的信号。在操作728中，电子设备101可以通过以子像素级相加的信号仅输出单位像素级的图像数据。电子设备101可以控制图像传感器以第二模式输出图像数据。电子设备101可以以子像素级组合和读取图像传感器430的像素阵列431的单位像素内的子像素的信号并输出单位像素级的图像数据。
电子设备101可以在第二模式下以高帧率(例如，每秒60帧)输出图像数据，并且可以不针对第二模式输出的图像数据来生成或输出用于计算像素之间的相位差的信息。第二模式可以应用于其中仅以高速获取图像数据的情景(例如，连续拍摄)。在第二模式下，子像素的求和可以包括像素级(例如，模拟域)，使得噪声可以很小。
当在操作732中将模式确定为第三模式时，电子设备101可以在操作734中从各个子像素获取信号。此外，电子设备101可以控制图像传感器430以第三模式输出图像数据。在操作736中，电子设备101可以生成例如用于计算图像传感器430的像素阵列431的单位像素中包括的子像素之间的相位差的信息。
在操作738中，电子设备101可以通过在单位像素内的子像素中获取的信号来生成例如单位像素级的图像数据。电子设备101可以控制图像传感器430以第三模式输出图像数据。电子设备101可以在比第一模式更快的第三模式下以高帧率(例如，每秒60帧)生成图像数据。
在操作740中，电子设备101可以输出所生成的图像数据以及用于计算单位像素内的子像素之间的相位差的信息。电子设备101可以将所生成的图像数据和用于计算相位差的信息一起输出。
当在操作744中将模式确定为第四模式时，电子设备101可以在操作746中根据每个单位像素选择性地组合各个子像素的信号。当以第四模式输出图像数据时，电子设备101可以控制图像传感器430以第四模式输出图像数据。在第四模式下，电子设备101可以仅针对特定单位像素以子像素级组合并输出子像素的信号，并且针对其他(或剩余)单位像素输出各个子像素的像素级输出信号。电子设备101可以选择性地组合图像传感器430的像素阵列431的单位像素内的子像素的信号。例如，在第四模式下，通过组合包括R像素或B像素的子像素的信号来输出R像素或B像素级的图像数据，并且可以输出用于使用在包括G像素的各个子像素中获取的信号来计算子像素之间的相位差的信息以及通过组合或平均在G像素中获取的信号而获得的G像素级的图像数据。G像素可以具有比R像素和B像素更大的加权值。例如，人眼对绿色的敏感度最高。为此，G像素的加权值可以是0.7，R像素的加权值可以是0.2，并且B像素的加权值可以是0.1。因此，在第四模式下，可以通过以子像素级组合R像素和B像素中包括的子像素的信号来输出单位像素级的图像数据，并且可以针对G像素输出各个子像素级的信号。
在操作748中，电子设备101可以生成用于计算单位像素内的子像素之间的相位差的信息。例如，电子设备101可以输出用于通过使用在G像素内的子像素中获取的信号来计算像素之间的相位差的信息。该信息可以包括用于计算相位差的经滤波的数据。
在操作750中，电子设备101可以生成单位像素级的图像数据。例如，电子设备101可以收集以R像素生成的图像数据、以G像素生成的图像数据以及以B像素生成的图像数据。在操作752中，电子设备101可以输出所收集的图像数据和信息。电子设备101(例如，图像传感器430)可以在比第一模式更快的第四模式下以高帧率(例如，每秒60帧)生成图像数据。
在第四模式下，可以单独或同时输出所生成的数据和用于计算相位差的信息。第四模式可以应用于其中同时使用例如高速图像处理(例如，每秒60帧)和子像素信息(例如，用于计算相位差的信息)的场景(例如，连续拍摄或运动)。例如，与第一模式相比，第四模式可以具有应当通过接口线输出的较少量的数据。备选地，第四模式可以通过减少时钟(例如，与第一模式相比减少60％)并且降低像素分辨率(例如，是第一模式的1/2分辨率)以低功率(例如，与第一模式相比减少100％)进行操作，并且可以将帧率(例如，相对于最大接口速度，与第一模式相比加倍的速度)增加到最大速度。
根据各种实施例，当通过显示器160输出图像数据时，电子设备101可以根据模式改变的生成基于改变后的模式实时输出图像数据。
图8A示出了根据本公开的实施例的其中图像传感器的单位像素包括两个子像素的示例，图8B示出了根据本公开的实施例的其中图像传感器的单位像素包括四个子像素的示例。
参考图8A和图8B，根据本公开的实施例的图像传感器430可以包括多个单位像素，并且每个单位像素可以包括多个子像素。用R标记的像素可以执行用于获取红色的像素图像的操作，用G标记的像素可以执行用于获取绿色的像素图像的操作，并且用B标记的像素可以执行用于获取蓝色的像素图像的操作。
人眼对绿色的敏感度最高，因此G像素可能主要使用两个滤波器。
一个单位像素可以包括两个或更多个子像素(例如，光电二极管)。每个单位像素可以包括至少一个微透镜。此外，每个单位像素可以包括至少一个颜色滤波器。颜色滤波器可以位于微透镜和子像素之间。子像素可以接收具有已经穿过微透镜和颜色滤波器的至少一些区域的可见光线的光，并且可以将该光输出为数据。因此，单位像素可以输出一个子像素级信号，并且在一个像素中包括多条数据。
单位像素可以组合单位像素中包括的两个或更多个子像素级的信号，并且可以将相加的信号输出为一个数据。此外，单位像素可以输出用于计算入射到所包括的两个或更多个子像素的光的相位差的相位差信息。该信息可以包括用于计算相位差的经滤波的数据。例如，在如图8A所示的像素包括两个子像素的情况下，该信息可以包括用于计算左像素和右像素之间的相位差的信息。此外，当如图8B所示像素包括四个子像素时，信息可以包括用于通过使用顶部和底部子像素来计算顶部和底部像素之间的相位差的信息以及用于通过使用左子像素和右子像素来计算左像素和右像素之间的相位差的信息。该信息可以包括用于通过使用对角定位的子像素来计算相位差的信息。该信息可以仅输出用于计算特定颜色的像素之间的相位差的信息。例如，仅在RGB像素中接收到相对较大光量的G像素中，输出颜色信息和用于计算相位差的信息。在剩余的R像素和B像素中，仅输出颜色信息。
尽管针对像素阵列示出了基于红色、绿色和蓝色的拜耳模式，但是本公开不限于此，可以使用各种滤波器模式。
每个单位像素可以包括光学检测元件和滤波器。像素R可以包括允许红光和/或红外光穿过的滤光器，像素G可以包括绿光滤波器，并且像素B可以包括蓝光滤波器。例如，每个单位像素不仅可以透过红光、绿光或蓝光还可以透过红外光，使得由已经穿过每个像素的光产生的检测信息可能包括红外光的噪声。当检测信息中红外光的噪声较小时，可以例如基于检测信息来获取颜色信息。与上述不同的是，当需要去除红外光的噪声时，可以通过适当的处理过程来生成从其去除红外光的噪声的检测信息，并且可以基于所生成的检测信息来获取颜色信息。
图9示出了根据本公开的实施例的用于以第一模式输出图像数据的过程的示例。
参考9，控制器440可以输出图像传感器430的多个单位像素中包括的子像素级信号，并且可以生成或输出数据。控制器440可以例如从每个单位像素中包括的多个子像素中的每个子像素输出子像素级信号。图像传感器430的像素阵列901可以包括多个单位像素902、903、904和905，并且每个单位像素可以包括多个子像素。例如，每个单位像素可以包括两个光电二极管。备选地，每个单位像素可以包括四个光电二极管。例如，第一单元像素902可以包括两个子像素。第一单位像素902可以是R像素，第二单位像素903可以是G像素，第三单位像素904可以是G像素，并且第四单位像素905可以是B像素。
R像素902可以包括两个子像素(例如，光电二极管)，并且可以输出第一子像素级信号911和/或第二子像素级信号912。此外，G像素903可以包括两个子像素(例如，光电二极管)，并且可以输出第三子像素级信号913和第四子像素级信号914。
G像素904可以包括两个子像素(例如，光电二极管)，并且可以输出第五子像素级信号931和/或第六子像素级信号932。此外，B像素905可以包括两个子像素(例如，光电二极管)，并且可以输出第七子像素级信号933和/或第八子像素级信号934。
图10示出了根据本公开的实施例的用于以第二模式输出图像数据的过程的示例。
参考图10，电子设备101可以通过组合图像传感器430的单位像素内的子像素的信号来仅输出单位像素级的图像数据。在这种情况下，与图9的情况相比，数据量变少，所以仅该图像数据可以以高速输出。图像传感器430的像素阵列可以包括多个单位像素，并且每个单位像素可以包括多个子像素。例如，每个单位像素可以包括两个光电二极管。备选地，每个单位像素可以包括四个光电二极管。例如，第一单位像素至第四单位像素1002、1003、1004和1005中的每一个可以包括两个子像素。第一单位像素1002可以是R像素，第二单位像素1003可以是G像素，第三单位像素1004可以是G像素，并且第四单位像素1005可以是B像素。
R像素1002可以包括两个子像素(例如，光电二极管)，并且可以通过组合各个子像素中的信号来输出单位像素级的图像数据1011。G像素1003可以包括两个子像素(例如，光电二极管)，并且通过组合各个子像素的信号来输出单位像素级的图像数据1012。此外，根据行的每个单位像素可以组合并输出各个子像素的信号。G像素1004可以包括两个子像素(例如，光电二极管)并通过组合各个子像素的数据来输出单位像素级的图像数据1021，并且B像素1005可以包括两个子像素(例如，光电二极管)并通过组合各个子像素的数据来输出单位像素级的图像数据1022。
电子设备101可以通过组合多个子像素的信号来生成单位像素级的图像数据。此外，电子设备101还可以输出在每个单位像素中生成的单位像素级的图像数据。电子设备101可以通过组合R像素1002中包括的各个子像素的光量来生成图像数据，并且可以通过组合G像素1003中包括的各个子像素的光量来生成图像数据1012。此外，电子设备101可以组合图像数据1011和1012。另外，电子设备101可以通过组合G像素1004中包括的各个子像素的数据来生成图像数据1021，并且可以通过组合B像素1005中包括的各个子像素的数据来生成图像数据1022。
第二模式可以应用于用于仅高速获取图像数据的场景(例如，连续拍摄)。在这种情况下，由于对子像素的求和包括单位像素，因此噪声较小并且因此可以获取高清晰度图像数据。此外，电子设备101可以不生成或输出例如用于计算单位像素内的子像素之间的相位差的信息。
图11A示出了根据本公开的实施例的用于以第三模式输出图像数据的过程的示例。
图11B示出了根据本公开的实施例的用于以第四模式输出图像数据的过程的示例。
参考图11A，电子设备101(例如，图像传感器430)可以从单位像素1111的子像素1111a、111b、单位像素1112的子像素1112a、1112b、单位像素1113的子像素1113a、1113b以及单位像素1114的子像素1114a和1114b获取信号1121a、1121b、1122a、1122b、1123a、1123b、1124a和1124b。电子设备101可以生成用于通过使用所获取的信号1121a、1121b、1122a、1122b、1123a、1123b、1124a和1124b来计算相位差的信息1130。电子设备101可以通过组合或平均从每个单位像素的多个子像素获取的信号来生成单位像素级的图像数据。电子设备101可以通过对从第一单位像素1111的子像素1111a和1111b获取的信号1121a和1121b进行组合或平均来生成单位像素级的第一图像数据1125，通过对从第二单位像素1112的子像素1112a和1112b获取的信号1122a和1122b进行组合或平均来生成单位像素级的第二图像数据1126，通过对从第三单位像素1113的子像素1113a和1113b获取的信号1123a和1123b进行组合或平均来生成单位像素级的第三图像数据1127，并且通过对从第四单位像素1114的子像素1114a和1114b获取的信号1124a和1124b进行组合或平均来生成单位像素级的第四图像数据1128。此外，电子设备101可以输出所生成的图像数据1125、1126、1127和1128以及信息1130。例如，所生成的图像数据1125、1126、1127和1128以及信息1130可以被单独或同时输出。
电子设备101(例如，控制器440)可以从单位像素1141的子像素1141a、141b、单位像素1142的子像素1142a、1142b、单位像素1143的子像素1143a、1143b和单位像素1144的子像素1144a和1144b获取信号1151a、1151b、1152a、1152b、1153a、1153b、1154a和1154b。电子设备101可以生成用于通过使用所获取的信号1151a、1151b、1152a、1152b、1153a、1153b、1154a和1154b来计算相位差的信息1160。电子设备101可以通过组合或平均从每个单位像素的多个子像素获取的信号来生成单位像素级的图像数据。电子设备101可以通过对从第五单位像素1141的子像素1141a和1141b获取的信号1151a和1151b进行组合或平均来生成单位像素级的第五图像数据1155，通过对从第六单位像素1142的子像素1142a和1142b获取的信号1152a和1152b进行组合或平均来生成单位像素级的第六图像数据1156，通过对从第七单位像素1143的子像素1143a和1143b获取的信号1153a和1153b进行组合或平均来生成单位像素级的第七图像数据1157，并且通过对从第八单位像素1144的子像素1144a和1144b获取的信号1154a和1154b进行组合或平均来生成单位像素级的第八图像数据1158。此外，电子设备101可以输出所生成的图像数据1155、1156、1157和1158以及信息1160。例如，所生成的图像数据1155、1156、1157和1158以及信息1160可以被单独或同时输出。生成的第一图像数据至第八图像数据1125、1126、1127、1128、1155、1156、1157和1158以及信息1130和1160可以被一起输出。
图像传感器430的像素阵列431可以包括多个单位像素，并且每个单位像素可以包括多个子像素。例如，每个单位像素可以包括两个光电二极管。备选地，每个单位像素可以包括四个光电二极管。控制器440可以组合或平均图像传感器430中包括的单位像素内的子像素的信号。控制器440可以同时输出组合数据或平均数据以及用于计算每个单位像素内的子像素之间的相位差的信息。此外，第一单位像素1111可以包括R像素，并且第二单位像素1112可以包括G像素。第三单位像素1113可以包括R像素，并且第四单位像素1114可以包括G像素。第五单位像素1141可以包括G像素，并且第六单位像素1142可以包括B像素。第七单位像素1143可以包括G像素，并且第八单位像素1144可以包括B像素。
电子设备101(例如，图像传感器430)可以生成用于计算每个单位像素的子像素之间的相位差的信息。
参考图11B，电子设备101(例如，图像传感器430)可以通过如附图标记1171所指示的以子像素级组合第一单位像素1161的子像素1161a和1161b的信号来输出单位像素级的图像数据1175，并且可以单独输出从第二单位像素1162的子像素1162a和1162b获取的信号1172a和1172b，而不对该信号进行组合。电子设备101(例如，控制器440)可以生成用于通过使用从第二单位像素1162获取的信号1172a和1172b来计算相位差的信息1179，并通过组合或平均所获取的信号1172a和1172b来输出单位像素级的图像数据1176。电子设备101可以如附图标记1173所指示的通过以子像素级组合第三单位像素1163的子像素1163a和1163b的信号来输出单位像素级的图像数据1177，并且可以单独地输出从第四单位像素1164的子像素1164a和1164b获取的信号1174a和1174b，而不对该信号进行组合。电子设备101可以生成用于通过使用从第四单位像素1164获取的信号1174a和1174b来计算相位差的信息1179，并且通过组合或平均所获取的信号1174a和1174b来输出单位像素级的图像数据1178。此外，电子设备101可以输出所生成的图像数据1175、1176、1177和1178以及信息1179。例如，所生成的图像数据1175、1176、1177和1178以及信息1179可以被单独或同时输出。
电子设备101可以单独地输出从第五单位像素1181的子像素1181a和1181b获取的信号1191a和1191b，而不对该信号进行组合，并且可以通过以子像素级组合第六单位像素1182的子像素1182a和1182b的信号来输出单位像素级的图像数据1192。电子设备101例如可以生成用于通过使用从第五单位像素1181获取的信号1191a和1191b来计算相位差的信息1199，并且通过组合或平均所获取的信号1191a和1191b来输出单位像素级的图像数据1194。此外，电子设备101可以单独地输出第七单位像素1183的子像素1183a和1183b的信号1193a和1193b，而不对该信号进行组合，并且通过以子像素级组合第八单位像素1184的子像素1184a和1184b的信号来输出单位像素级的图像数据1197。电子设备101例如可以生成用于通过使用从第七单位像素1183获取的信号1193a和1193b来计算相位差的信息1199，并且通过组合或平均所获取的信号1191a和1191b来输出单位像素级的图像数据1194。此外，电子设备101可以输出例如所生成的图像数据1195、1196、1197和1198以及信息1199。例如，所生成的图像数据1194、1195、1196和1197以及信息1199可以被单独或同时输出。根据各种实施例，可以组合并输出在各个单位像素中生成的单位像素级的1175、1176、1177、1178、1195、1196、1197和1198，并且可以将用于计算第二单位像素内的子像素之间的相位差的信息1179和用于计算第四单位像素内的子像素之间的相位差的信息1199加到组合后的图像数据并对其进行传输。
第一单位像素1161可以包括R像素，并且第二单位像素1162可以包括G像素。第三单位像素1163可以包括R像素，并且第四单位像素1164可以包括G像素。第五单位像素1181可以包括G像素，并且第六单位像素1182可以包括B像素。第七单位像素1183可以包括G像素，并且第八单位像素1184可以包括B像素。如上所述，在第四模式下，可以对以下各项进行组合并输出：通过选择性地组合第一单位像素(或第三单位像素、第六单位像素或第八单位像素)内的子像素的信号生成的图像数据；用于使用从第二单位像素(或第四单位像素、第五单位像素或第七单位像素)内的子像素获取的信号来计算像素之间的相位差而生成的信息；以及通过组合或平均所获取的信号而生成的图像数据。
根据各种实施例，电子设备101(例如，图像传感器430)可以生成用于计算G像素1162、1164、1184和1183的子像素之间(例如，子像素1162a和1162b之间、子像素1164a和1164b之间、子像素1181a和1181b之间以及子像素1183a和1183b之间)的相位差的信息。该信息可以是用于计算子像素之间的相位差的信息并且可以包括经滤波的数据。
根据各种实施例，第四模式可以包括具有高帧率(每秒60帧)和子像素之间的相位差的输出模式(例如，运动或视频)。第四模式可以应用于使用高速图像处理和用于计算子像素之间的相位差的信息的情景(例如，连续拍摄或运动)。例如，当在高速预览(例如，高速图像处理或每秒60帧)期间需要AF时，执行第四模式。与第一模式相比，第四模式可以具有较少量的应当通过接口线输出的数据，第四模式可以通过降低时钟(例如，与第一模式相比降低了60％)并且降低像素分辨率(例如，是第一模式的1/2分辨率)来以低功率(例如，与第一模式相比降低了10％)执行。此外，第四模式可以以接口支持的最高速度执行输出，由此增加帧率。在这样的第四模式下，例如，可以组合并输出从一些子像素输出的数据，并且因此与第一模式相比可以提高输出速度。
图12示出了根据本公开的实施例的用于在第四模式下选择性地组合子像素级信号的过程的示例。
参考图12，电子设备101(例如，图像传感器430)可以如附图标记1212所指示的以子像素级组合通过单位像素(例如，R像素)的两个子像素获取的信号，在相应光电二极管的电容器中对该信号进行充电，并执行导出部输出。此外，电子设备101(例如，控制器440)可以在相应光电二极管的各个电容器中对通过单位像素(例如，G像素)的两个子像素的各个子像素获取的信号1220和1230进行充电，并执行导出部输出。在图12中，为了进一步提高第四模式的输出速度，可以通过选择性地组合一些像素的信号来输出单位像素级的图像数据，使得与第三模式相比可以更快地生成图像数据，并且可以同时输出G像素内的子像素之间的相位差。
图13A示出了根据本公开的实施例的用于传输所生成的图像数据和/或用于计算相位差的信息的信道(例如，移动工业处理器接口(MIPI)或MIPI虚拟信道(VC))的示例。
图13B示出了根据本公开的实施例的用于通过预定信道(例如，MIPI或MIPI VC)传输图像数据和用于计算相位差的信息的示例。
参考图13A和图13B，电子设备(例如，控制器440)可以传输用于计算相位差的信息1312和1313，该信息1312和1313是使用用于传输图像数据的四行1311以及与用于传输图像数据的四行1311相关的所有单位像素生成的。
图13C示出了根据本公开的实施例的用于通过预定信道(例如，MIPI或MIPI VC)来传输图像数据和用于计算相位差的信息的示例。
参考图13C，电子设备(例如，控制器440)可以传输用于计算相位差的信息1322，该信息1322是使用用于传输图像数据的四行1321以及与用于传输图像数据的四行1321有关的一些单位像素生成的。用于传输图像数据的四行1311和1321以及用于传输用于计算相位差的信息1312、1313和1322的行可以不同。用于传输图像数据的四行1311和1321可以使用例如MIPI，并且用于计算相位差的信息1312、1313和1322可以使用MIPI VC。
参考图13A至图13C，根据本公开的实施例生成的图像数据可以通过第一行至第四行1301、1302、1303和1304来传输，并且该信息可以通过单独的信道1305来传输。备选地，根据本公开的实施例生成的图像数据可以通过第一行至第四行1301、1302、1303和1304中的至少一个来传输。
参考图13B，电子设备(例如，控制器440)可以传输图像数据1311和用于计算相位差的信息1312和1313，该信息1312和1313是使用与图像数据1311相关的所有单位像素生成的。图像数据1311和用于计算相位差的信息1312和1313可以通过一个信道或不同的信道来传输。当图像传感器430不提供高动态范围(HDR)时，可以使用与图像数据1311相关的所有单位像素来生成用于计算相位差的信息1312和1313，如图13B所示。图像数据1311可以包括图13A所示的第一行至第四行1301、1302、1303和1304。此外，用于计算相位差的信息1312和1313可以包括图13A中所示的PAF数据。
参考图13C，电子设备(例如，控制器440)可以传输图像数据1321和用于计算相位差的信息1322，该信息1322是使用与图像数据1321相关的所有单位像素中的一些生成的。图像数据1321和用于计算相位差的信息1322可以通过一个信道或不同信道传输。当图像传感器430提供HDR时，控制器440可以通过使用与图像数据1321相关的所有单位像素(例如，支持长时间曝光的像素)中的一些像素来生成用于计算相位差的信息1322，如图13C所示。图像数据1321可以包括图13A所示的第一行至第四行1301、1302、1303和1304。此外，用于计算相位差的信息1322可以包括图13A中所示的PAF数据。
根据本公开的各种实施例，控制器440可通过同时或顺序地传输图像数据和用于计算相位差的信息来高效地生成相位差信息(例如，使用用于计算相位差的信息所计算的信息)。例如，控制器440可以通过同时或顺序地传输图像数据和用于计算相位差的信息来防止忽略相位差信息或在生成相位差信息时时间延迟的问题。控制器440可以通过同时或顺序地传输图像数据的四行1311和1321以及用于计算相位差的信息1312、1313和1322，来防止在传输全部图像数据之后传输用于计算相位差的信息时产生的间题(产生1帧的时间差)。
图14是示出了根据本公开的实施例的用于生成图像的操作的流程图。
参考图14，在操作1410中，电子设备101(例如，图像传感器430)可以获取例如与对象相对应的光学信号。光学信号可以包括通过使用从电子设备101的图像传感器430中包括的各个子像素获取的信号来生成图像数据所需的各种信息。电子设备101(例如，控制器440)可以生成用于通过从子像素获取的信号计算子像素之间的相位差的信息和(或)生成图像数据。图像传感器430可以包括多个单位像素，并且每个单位像素可以包括R像素、G像素和B像素中的一个。
在操作1412中，电子设备101可以识别至少一个图像属性的设置。例如，电子设备101可以识别要通过显示器160输出的图像的图像属性。图像属性可以包括对象尺寸、对象与图像传感器之间的距离、对象的移动速度、要输出的图像的帧率或其组合。电子设备101可以识别图像属性以通过或不通过与各个子像素相对应的信号来确定相位差。
在操作1414中，电子设备101可以确定设置是否满足预定条件。当设置满足预定条件时，电子设备101可以控制或设置电子设备101的至少一个元件，以通过使用第一子像素的第一信号和第二子像素的第二信号来生成图像数据。
在操作1416中，电子设备101(例如，图像传感器430)可以通过使用第一子像素的第一信号和第二子像素的第二信号来确定与对象相对应的相位差。在操作1418中，电子设备101(例如，控制器440)可以通过使用第一信号和第二信号来生成图像数据。电子设备101可以通过使用第一信号和第二信号来生成单位像素级的图像数据。例如，电子设备101可以通过组合第一信号和第二信号或通过使用第一信号和第二信号的平均值来生成图像数据。
当在操作1414中设置不符合预定条件时(例如，当设置在第二预定范围内时)，在操作1420中，电子设备101可以不例如通过使用第一子像素的第一信号和第二子像素的第二信号来确定与对象相对应的相位差。此外，在操作1422中，电子设备101可以通过组合第一信号和第二信号来生成图像数据。电子设备101可以通过组合例如第一信号和第二信号来生成单位像素级的图像数据。其中设置不满足预定条件的情况可以包括其中设定满足其他预定条件的情况。
图15是示出了根据本公开实施例的用于生成图像数据的操作的流程图。
参考图15，用于生成图像数据的操作可以包括：用于识别用于生成图像数据的模式的操作；用于确定图像属性的设置的操作；用于基于该设置来生成图像数据的操作；以及用于输出所生成的图像数据的操作。
参考图15，在操作1510中，电子设备101(例如，控制器440)可以识别用于生成图像数据的模式。电子设备101可以确定与用户选择的条件相匹配的用于生成图像数据的模式。或者，电子设备101可以根据用户的情况或拍摄的图像的属性来选择性地执行该模式。图像的属性可以根据运动、人物、风景或视频而变化，并且电子设备101可以按照根据属性的模式来选择性地进行操作。
电子设备101(例如，控制器440)可以识别用于生成图像数据的模式是否对应于第一模式，在该第一模式下，单独输出多个单位像素中的至少一个单位像素中包括的多个子像素的信号。电子设备101可以识别第二模式，在该第二模式下，以子像素级组合每个单位像素内的多个子像素的信号，并且输出单位像素级的图像数据。电子设备101可以识别第三模式，在该第三模式下，通过从每个单位像素内的多个子像素获取的信号来生成用于计算相位差的信息，并且通过组合或平均所获取的信号来生成单位像素级的图像数据。电子设备101可以识别第四模式，在该第四模式下，以子像素级组合第一单位像素(例如，R像素或B像素)内的各个子像素的信号并且输出单位像素级的图像数据，通过使用从第二单位像素(例如，G像素)内的各个子像素获取的信号来输出用于计算相位差的信息，并且通过组合或平均所获取的信号来输出单位像素级的图像数据。第一模式对应于当需要高速AF(例如，使用相位差信息的AF)时所选择的模式，并且第二模式对应于当需要高帧率(60帧/秒)时所选择的模式。第三模式和第四模式对应于当需要高速AF(例如，使用相位差信息的AF)和高帧率(例如，每秒60帧)时所选择的模式。第四模式对应于以下模式，其中可以以与第一模式相比更高的帧率生成图像数据，并且可以生成每个单位像素级的图像数据以及用于计算G像素内的子像素之间的相位差的信息。在第四模式下，可以通过子像素的信号的选择性组合来生成单位像素级的图像数据，并且可以将信息加到所生成的图像数据并输出。在第四模式下，单位像素级的图像数据可以通过以子像素级组合R像素中包括的子像素的信号来输出，可以通过使用从G像素中包括的各个子像素获取的信号来输出用于计算相位差的信息，可以通过对所获取的信号进行组合或平均来生成单位像素级的图像数据，并且可以通过以子像素级组合B像素中包括的各个子像素的信号来输出单位像素级的图像数据。此外，在第四模式下，所生成的图像数据可以被收集并且信息可以被加到收集的数据，然后图像数据和信息可以被一起输出。
在操作1512中，电子设备101可以确定图像属性的设置。电子设备101可以至少基于在操作1512中识别的模式来确定要用于生成图像数据的至少一个图像属性的设置。
在操作1514中，电子设备101可以基于该设置生成图像数据。当设置对应于第一模式时，电子设备101可以例如提供高速AF(例如，使用相位差信息的AF)(例如，每秒60帧)。此外，电子设备101可以以低帧率(例如，每秒30帧)生成图像数据。根据本公开的实施例，尽管已经描述了低帧率对应于每秒30帧或每秒15帧，但这仅仅是一个实施例，并且根据电子设备101的规格或技术发展，根据本公开的低帧率可以包括比上述每秒30帧或每秒15帧更低或更高的帧率。
当识别的设置对应于第二模式时，电子设备101可以以比第一模式的帧率更快的帧率(例如，60帧/秒)生成图像，并且可以不生成用于计算单位像素内的子像素之间的相位差的信息。此外，由于从单位像素内的各个子像素获取的信号可以以第一模式输出，并且可以通过以子像素级组合从单位像素内的各个子像素获取的信号来以第二模式生成并输出单位像素级的图像，所以与第一模式相比，第二模式可以具有较少量的数据，从而只有图像数据可以通过第二模式以高速输出。根据本公开的实施例，尽管已经描述了高帧率对应于每秒60帧，但这仅仅是一个实施例，并且根据电子设备101的规格或技术发展，根据本公开的高帧率可以包括比上述每秒60帧更低或更高的帧率。
当所识别的设置对应于第三模式时，电子设备101可以生成用于通过使用从每个单位像素内的子像素获取的信号来计算每个单位像素内的子像素之间的相位差的信息，并且可以通过以子像素级组合或平均每个单位像素内的子像素的信号来生成单位像素级的图像数据。例如，由于与第一模式相比，在第三模式下处理的数据量(或数据量)变得更小，所以电子设备101可以以比第一模式更高的速度输出图像数据和用于计算相位差的信息。
当识别的设置对应于第四模式时，通过接口线输出的数据量可以小于第一模式的数据量。备选地，第四模式可以通过减少时钟(例如，与第一模式相比减少60％)并且降低像素分辨率(例如，是第一模式的1/2分辨率)以低功率(例如，与第一模式相比10％减少)执行，并且可以将帧率增加到最大速率。与第四模式相对应的帧率(例如，相对于最大接口速率，与第一模式相比加倍的速率)是用于以相对高的速度处理帧的速率，并且可以包括每秒60帧。尽管在本公开的实施例中已经描述了每秒60帧，但这仅仅是一个实施例，并且根据电子设备101的规格或技术发展，本公开可以包括低于或者高于每秒60帧的帧率。
在操作1516中，电子设备101可以输出所生成的图像数据。在操作1514中，电子设备101可以组合并输出例如以每个单位级生成的图像数据。此外，电子设备101可以通过后处理过程来处理例如多个组合图像数据，并且通过功能性地连接到电子设备的显示器160来显示图像数据。当在通过显示器160显示图像数据的同时模式或设置改变时，电子设备101可以通过使用与改变后的设置相对应的帧率和分辨率中的至少一个来生成图像数据，并且实时显示所生成的图像数据。
在图7、图14和图15所示的过程和方法中描述的操作(例如，操作710至752、操作1410至1422或操作1510至1516)可以顺序、并行、重复或探索式地执行。例如，操作可以按不同顺序执行，或者可以省略一些操作，或者可以增加其他操作。
根据本公开的各种实施例，一种借助于包括获取与对象相对应的光学信号的图像传感器以及控制图像传感器的控制器的电子设备的方法，该方法可以包括：识别用于通过使用该光学信号来生成与对象相对应的图像的模式的操作；至少基于该模式来确定要用于生成图像的至少一个图像属性的设置的操作；至少基于该设置通过使用与光学信号相对应的像素数据来生成图像数据的操作；以及至少基于该图像数据通过功能性地连接到电子设备的显示器来显示与对象相对应的图像的操作。
根据本公开的各种实施例，确定设置的操作可以包括以下操作：当模式对应于第一模式时，将至少一个图像属性的第一设置确定为所述设置的操作；以及当模式对应于第二模式时，将至少一个图像属性的第二设置确定为所述设置的操作。
根据本公开的各种实施例，该模式可以包括以下模式：第一模式，其中图像传感器的多个单位像素中的至少一个单位像素中包括的多个子像素分别输出子像素级的像素数据；第二模式，其中通过单位像素内的多个子像素的像素数据的组合来输出单位像素级的图像数据；第三模式，其中生成用于计算多个子像素之间的相位差的信息，并且通过组合或平均多个子像素级的信号来输出单位像素级的图像数据；以及第四模式，其中生成用于计算多个子像素之间的相位差的信息，并且通过选择性地组合或平均多个子像素的像素数据来输出单位像素级的图像数据。
根据本公开的各种实施例，可以基于第一模式输出与多个子像素之间的相位差相对应的信息。
根据本公开的各种实施例，可以基于第二模式输出图像数据，并且可以不输出与多个子像素之间的相位差相对应的信息。
根据本公开的各种实施例，可以基于第三模式输出图像数据以及与多个子像素之间的相位差相对应的信息。
根据本公开的各种实施例，可以基于第四模式输出通过组合第一单位像素内的子像素的像素数据而生成的图像数据、用于使用从第二单位像素内的子像素获取的像素数据来计算或平均像素之间的相位差的信息、以及通过组合或平均所获取的像素数据而生成的图像数据。
根据本公开的各种实施例，第一单位像素可以包括红色(R)像素或蓝色(B)像素，并且第二单位像素可以包括绿色(G)像素。
根据本公开的各种实施例，生成图像数据的操作可以包括以下操作：至少基于光学信号来获取与对象相对应的像素数据的操作；识别要用于生成与所述对象相对应的图像的至少一个图像属性的设置的操作；当所述设置满足预定条件时，通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定所述图像的相位差的操作；以及当设置不满足预定条件时，避免确定该相位差的操作。
根据本公开的各种实施例，当设置满足预定条件时，可以包括通过使用第一信号和第二信号来生成子像素级图像的操作。例如，当设置满足预定条件时，控制器440可以生成第一信号和第二信号中的每一个的子像素级图像。
根据本公开的各种实施例，当设置不满足预定条件时，可以包括通过组合第一信号和第二信号来生成单位像素级的图像的操作。
根据本公开的各种实施例，设置不满足预定条件的情况可以包括设置满足另一预定条件的情况。
根据本公开的各种实施例，至少一个图像属性可以包括帧率，并且设置满足预定条件的情况可以包括至少一个图像属性的设置对应于低帧率的情况，并且设置不符合预定条件的情况可以包括至少一个图像属性的设置对应于高帧率的情况。
根据本公开的各种实施例，至少一个图像属性可以包括对象的尺寸、对象与图像传感器之间的距离、对象的移动速度或其组合。
根据本公开的各种实施例，可以包括与第一子像素和第二子像素中的每一个相对应的光电二极管。
根据本公开的各种实施例，生成图像数据的操作可以以下操作：通过图像传感器获取与对象相对应的光学信号的操作，该图像传感器包括多个单位像素，多个单位像素中的至少一个包括第一子像素和第二像素；通过使用图像传感器至少基于光学信号来获取与对象相对应的像素数据的操作；识别要用于生成与对象相对应的图像的至少一个图像属性的设置的操作；当设置满足预定条件时，通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定图像的相位差的操作；以及当设置不满足预定条件时，避免确定相位差的操作。
根据本公开的各种实施例，当设置满足预定条件时，可以包括通过使用第一信号和第二信号来生成子像素级图像的操作。
根据本公开的各种实施例，当设置不满足预定条件时，可以包括通过组合第一信号和第二信号来生成单位像素级的图像的操作。
根据本公开的各种实施例，设置不满足预定条件的情况可以包括设置满足另一预定条件的情况。
根据本公开的各种实施例，至少一个图像属性可以包括帧率，并且设置满足预定条件的情况可以包括至少一个图像属性的设置对应于低帧率的情况，并且设置不符合预定条件的情况可以包括至少一个图像属性的设置对应于高帧率的情况。
根据本公开的各种实施例，至少一个图像属性可以包括对象的尺寸、对象与图像传感器之间的距离、对象的移动速度或其组合。
根据本公开的各种实施例，可以包括与第一子像素和第二子像素相对应的光电二极管。
本文所使用的术语“模块”可以例如意味着包括硬件、软件和固件之一或者其中两种或更多种的组合在内的单元。“模块”可以与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成组成元件的最小单元或其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械或电学地实现。例如，根据本公开的“模块”可以包括以下至少一项：已知的或将来研发的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行操作的可编程逻辑器件。
根据本公开的各种实施例，可以通过以编程模块形式存储在计算机可读存储介质中的命令，来实现根据本公开的设备(例如，模块或其功能)或方法(例如，操作)中的至少一部分。指令在由处理器(例如，处理器120)执行时，可以使一个或多个处理器执行与该指令相对应的功能。例如，计算机可读存储介质可以是存储器130。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，紧凑盘只读存储器(CD-ROM)和DVD)、磁光介质(例如，光磁软盘)、硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。此外，程序指令可以包括能够在计算机中使用译码器执行的高级语言代码以及由编译器产生的机器代码。上述硬件设备可以被配置为作为一个或更多个软件模块进行操作以执行本公开的操作，反之亦然。
根据本公开的各种实施例，提供了一种其中存储有指令的存储介质。所述指令被配置为当由一个或多个处理器执行时允许所述一个或多个处理器执行一个或多个操作。由电子设备执行所述一个或多个操作，所述电子设备包括获取与对象相对应的光学信号的图像传感器以及控制图像传感器的控制器，所述一个或多个操作包括：识别用于通过使用该光学信号来生成与对象相对应的图像的模式的操作；至少基于该模式来确定要用于生成图像的至少一个图像属性的设置的操作；至少基于该设置通过使用与光学信号相对应的像素数据来生成图像数据的操作；以及至少基于该图像数据通过功能性地连接到电子设备的显示器来显示与对象相对应的图像的操作。
根据本公开的各种实施例，提供了一种其中存储有指令的存储介质。所述指令被配置为当由一个或多个处理器执行时允许所述一个或多个处理器执行一个或多个操作。所述一个或多个操作可以包括以下操作：通过使用包括多个单位像素的图像传感器至少基于光学信号来获取与对象相对应的像素数据的操作，所述至少一个单位像素包括用于获取与对象相对应的光学信号的第一子像素和第二子像素；识别要用于生成与对象相对应的图像的至少一个图像属性的设置的操作；当设置满足预定条件时，通过使用与第一子像素相对应的第一信号以及与第二子像素相对应的第二信号来确定图像的相位差的操作；以及当设置不满足预定条件时，避免确定相位差的操作。
根据本公开的编程模块可以包括上述组件中的一个或多个，或还可以包括其他附加组件，或可以省略上述组件中的一些。根据本公开各种实施例的由模块、编程模块或其他组成元件执行的操作可以依次地、并行地、重复地或启发式地执行。另外，一些操作可以按不同顺序执行，或者可以被省略，或者可以增加其他操作。
虽然参考本公开各实施例示出并描述了本公开，但是本领域技术人员将理解：在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，可以进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备的方法，所述电子设备包括获取与对象相对应的光学信号的图像传感器、显示器以及控制所述图像传感器的至少一个处理器，所述方法包括：
由所述至少一个处理器识别用于通过使用所述光学信号来生成与所述对象相对应的图像的模式；
由所述至少一个处理器至少基于所述模式来确定要用于生成所述图像的至少一个图像属性的设置；
由所述至少一个处理器至少基于所述设置使用与所述光学信号相对应的像素数据来生成图像数据，其中基于所述模式确定至少两种相位差计算类型之中在所述像素数据上使用的相位差计算的类型；以及
由所述至少一个处理器控制所述显示器以至少基于所述图像数据，通过功能性地连接到所述电子设备的显示器来显示与所述对象相对应的所述图像。
2.根据权利要求1所述的方法，其中，确定所述设置包括：
当所述模式对应于第一模式时，将所述至少一个图像属性的第一设置确定为所述设置；以及
当所述模式对应于第二模式时，将所述至少一个图像属性的第二设置确定为所述设置。
3.根据权利要求1所述的方法，其中所述模式包括：
第一模式，其中所述图像传感器的多个单位像素中的至少一个单位像素中包括的多个子像素分别输出子像素级的像素数据，
第二模式，其中通过单位像素内的多个子像素的像素数据的组合来输出单位像素级的图像数据，
第三模式，其中生成用于计算所述多个子像素之间的相位差的信息，并且通过组合或平均具有所述多个子像素的等级的信号来输出所述单位像素级的图像数据；以及
第四模式，其中生成用于计算所述多个子像素之间的相位差的信息，并且通过选择性地组合或平均所述多个子像素的像素数据来输出所述单位像素级的图像数据。
4.根据权利要求3所述的方法，还包括基于所述第二模式输出图像数据并且不输出与所述多个子像素之间的相位差相对应的信息。
5.根据权利要求3所述的方法，还包括基于所述第三模式输出图像数据以及与所述多个子像素之间的相位差相对应的信息。
6.根据权利要求3所述的方法，还包括：基于所述第四模式，输出通过组合第一单位像素内的子像素的像素数据而生成的图像数据、用于使用从第二单位像素内的子像素获取的像素数据来计算像素之间的相位差的信息、以及通过组合所获取的像素数据而生成的图像数据。
7.一种电子设备，包括：
显示器；
图像传感器，获取与对象相对应的光学信号；以及
至少一个处理器，
其中所述至少一个处理器被配置为：
识别用于通过使用所述光学信号来生成与所述对象相对应的图像的模式，
至少基于所述模式来确定要用于生成所述图像的至少一个图像属性的设置，
至少基于所述设置使用与所述光学信号相对应的像素数据来生成图像数据，其中基于所述模式确定至少两种相位差计算类型之中在所述像素数据上使用的相位差计算的类型，以及
控制所述显示器以至少基于所述图像数据，通过功能性地连接到所述电子设备的显示器来显示与所述对象相对应的所述图像。
8.根据权利要求7所述的电子设备，其中，所述至少一个处理器还被配置为：
当所述模式对应于第一模式时，输出与所述图像传感器的多个单位像素中的至少一个单位像素中包括的多个子像素之间的相位差相对应的信息，以及
当所述模式对应于第二模式时，不输出与所述多个子像素之间的相位差相对应的信息。
9.根据权利要求7所述的电子设备，其中所述至少一个处理器还被配置为：当所述模式对应于第三模式时，输出图像数据以及与所述图像传感器的多个单位像素中的至少一个单位像素中包括的多个子像素之间的相位差相对应的信息。
10.一种电子设备，包括：
图像传感器，被配置为获取与对象相对应的光学信号，所述图像传感器包括多个单位像素，所述多个单位像素中的至少一个单位像素包括第一子像素和第二子像素；以及
至少一个处理器，功能性地连接到所述图像传感器，
其中所述至少一个处理器被配置为：
通过使用所述图像传感器至少基于光学信号来获取与所述对象相对应的像素数据，
识别要用于生成与所述对象相对应的图像的至少一个图像属性的设置，
当所述设置满足预定条件时，通过基于至少两种相位差计算类型之一使用与所述第一子像素相对应的第一信号以及与所述第二子像素相对应的第二信号来确定所述图像的相位差；以及
当所述设置不符合所述预定条件时，避免确定所述相位差。
11.根据权利要求10所述的电子设备，其中，所述至少一个处理器还被配置为：当所述设置满足所述预定条件时，通过使用所述第一信号和所述第二信号来生成子像素级的图像。
12.根据权利要求10所述的电子设备，其中，所述至少一个处理器被配置为：当所述设置不满足所述预定条件时，通过组合所述第一信号和所述第二信号来生成单位像素级的图像。
13.根据权利要求10所述的电子设备，所述设置不满足所述预定条件的情况包括所述设置满足另一预定条件的情况。
14.根据权利要求10所述的电子设备，其中所述至少一个图像属性包括帧率，并且所述设置满足所述预定条件的情况包括所述至少一个图像属性的设置对应于低帧率的情况，并且所述设置不满足所述预定条件的情况包括所述至少一个图像属性的设置对应于高帧率的情况。
15.根据权利要求10所述的电子设备，其中，所述至少一个图像属性包括所述对象的尺寸、所述对象与所述图像传感器之间的距离、所述对象的移动速度或它们的组合。
CN201680058394.3A 2015-10-05 2016-09-30 用于生成图像数据的电子设备和方法 Active CN108141535B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0139712 2015-10-05
KR1020150139712A KR102390836B1 (ko) 2015-10-05 2015-10-05 이미지 데이터를 생성하는 전자 장치 및 방법
PCT/KR2016/011027 WO2017061738A1 (en) 2015-10-05 2016-09-30 Electronic device and method for generating image data

Publications (2)

Publication Number Publication Date
CN108141535A CN108141535A (zh) 2018-06-08
CN108141535B true CN108141535B (zh) 2020-09-22

Family

ID=58447854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680058394.3A Active CN108141535B (zh) 2015-10-05 2016-09-30 用于生成图像数据的电子设备和方法

Country Status (6)

Country Link
US (3) US10200646B2 (zh)
EP (1) EP3342156B1 (zh)
KR (1) KR102390836B1 (zh)
CN (1) CN108141535B (zh)
AU (1) AU2016334911B2 (zh)
WO (1) WO2017061738A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102390836B1 (ko) * 2015-10-05 2022-04-26 삼성전자주식회사 이미지 데이터를 생성하는 전자 장치 및 방법
CN105611122B (zh) * 2015-12-18 2019-03-01 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
JP6727814B2 (ja) * 2016-01-14 2020-07-22 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP6672081B2 (ja) * 2016-06-01 2020-03-25 キヤノン株式会社 撮像装置
JP6847669B2 (ja) * 2017-01-10 2021-03-24 オリンパス株式会社 撮像装置、撮像方法
US10638054B2 (en) * 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
US10444415B2 (en) * 2017-02-14 2019-10-15 Cista System Corp. Multispectral sensing system and method
JP7071055B2 (ja) * 2017-02-24 2022-05-18 キヤノン株式会社 撮像素子および撮像装置
WO2018183220A1 (en) * 2017-03-28 2018-10-04 Ring Inc. Adjustable alert tones and operational modes for audio/video recording and communication devices based upon user location
CN107105141B (zh) * 2017-04-28 2019-06-28 Oppo广东移动通信有限公司 图像传感器、图像处理方法、成像装置和移动终端
KR101899070B1 (ko) * 2017-07-19 2018-09-14 국방과학연구소 랜덤신호에 대한 강건성 정량화를 통한 단독 영상 품질 평가 방법 및 장치
KR102370881B1 (ko) * 2017-07-21 2022-03-07 삼성전자주식회사 이미지 데이터의 속성에 기반하여 이미지를 압축할 수 있는 전자 장치 및 방법
US10540733B2 (en) * 2017-11-16 2020-01-21 The Boeing Company Frameless random-access image sensing
KR102435614B1 (ko) * 2017-11-17 2022-08-24 삼성전자주식회사 카메라 모듈 내에서 이미지 센서를 위한 클럭 신호를 생성하기 위한 전자 장치 및 방법
CN115720298A (zh) * 2017-11-22 2023-02-28 索尼半导体解决方案公司 像素阵列、摄像元件和电子设备
US10147461B1 (en) * 2017-12-29 2018-12-04 Rovi Guides, Inc. Systems and methods for alerting users to differences between different media versions of a story
CN108211357A (zh) * 2018-01-15 2018-06-29 腾讯科技（上海）有限公司 虚拟控制对象的控制方法、装置、存储介质和电子装置
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
KR102571864B1 (ko) * 2018-10-31 2023-08-29 엘지이노텍 주식회사 카메라 장치
KR20200113399A (ko) * 2019-03-25 2020-10-07 에스케이하이닉스 주식회사 이미지 처리 시스템, 이미지 센서, 이미지 센서의 구동 방법
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
US11288773B1 (en) * 2019-04-23 2022-03-29 Alarm.Com Incorporated Multi-resolution image or video
CN113841387A (zh) * 2019-07-02 2021-12-24 索尼半导体解决方案公司 固态成像装置、其驱动方法以及电子设备
KR20210060691A (ko) 2019-11-18 2021-05-27 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
CN111046819B (zh) * 2019-12-18 2023-09-05 浙江大华技术股份有限公司 一种行为识别处理方法及装置
CN116648923A (zh) * 2020-12-16 2023-08-25 索尼半导体解决方案公司 成像装置
KR20220118022A (ko) * 2021-02-18 2022-08-25 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170644A (zh) * 2006-10-25 2008-04-30 奥林巴斯映像株式会社 摄像装置及图像处理方法
CN102422631A (zh) * 2009-05-13 2012-04-18 利士文时计工业股份有限公司 检测系统、检测系统的信号处理方法、及烟雾感测器
CN102739942A (zh) * 2011-04-11 2012-10-17 三星电子株式会社 数字图像拍摄设备及其控制方法
CN104135607A (zh) * 2013-05-01 2014-11-05 佳能株式会社 摄像装置及摄像装置的控制方法
CN104272161A (zh) * 2012-05-01 2015-01-07 富士胶片株式会社 摄像装置和对焦控制方法
CN104641276A (zh) * 2012-09-12 2015-05-20 富士胶片株式会社 摄像装置及信号处理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331445A (ja) 1996-06-12 1997-12-22 Canon Inc 画像処理装置
US8576293B2 (en) * 2010-05-18 2013-11-05 Aptina Imaging Corporation Multi-channel imager
JP5744545B2 (ja) 2011-01-31 2015-07-08 キヤノン株式会社 固体撮像装置およびカメラ
JP5539585B2 (ja) * 2011-03-24 2014-07-02 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
WO2012132117A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 撮像装置及びその駆動方法
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP5853594B2 (ja) * 2011-10-31 2016-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5914055B2 (ja) * 2012-03-06 2016-05-11 キヤノン株式会社 撮像装置
WO2014118868A1 (ja) * 2013-01-30 2014-08-07 パナソニック株式会社 撮像装置及び固体撮像装置
KR102155133B1 (ko) 2013-07-12 2020-09-11 삼성전자주식회사 이미지 표시 방법 및 장치
KR20150096224A (ko) * 2014-02-14 2015-08-24 삼성전자주식회사 고체 촬상 소자, 전자기기 및 오토 포커싱 방법
KR102149448B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
US9445018B2 (en) * 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
JP6602109B2 (ja) * 2015-08-28 2019-11-06 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
KR102390836B1 (ko) * 2015-10-05 2022-04-26 삼성전자주식회사 이미지 데이터를 생성하는 전자 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170644A (zh) * 2006-10-25 2008-04-30 奥林巴斯映像株式会社 摄像装置及图像处理方法
CN102422631A (zh) * 2009-05-13 2012-04-18 利士文时计工业股份有限公司 检测系统、检测系统的信号处理方法、及烟雾感测器
CN102739942A (zh) * 2011-04-11 2012-10-17 三星电子株式会社 数字图像拍摄设备及其控制方法
CN104272161A (zh) * 2012-05-01 2015-01-07 富士胶片株式会社 摄像装置和对焦控制方法
CN104641276A (zh) * 2012-09-12 2015-05-20 富士胶片株式会社 摄像装置及信号处理方法
CN104135607A (zh) * 2013-05-01 2014-11-05 佳能株式会社 摄像装置及摄像装置的控制方法

Also Published As

Publication number Publication date
CN108141535A (zh) 2018-06-08
EP3342156A4 (en) 2019-01-02
US10951847B2 (en) 2021-03-16
AU2016334911B2 (en) 2020-07-02
EP3342156B1 (en) 2024-02-07
EP3342156A1 (en) 2018-07-04
US11418751B2 (en) 2022-08-16
EP3342156C0 (en) 2024-02-07
WO2017061738A1 (en) 2017-04-13
US20190141271A1 (en) 2019-05-09
KR102390836B1 (ko) 2022-04-26
US20170099449A1 (en) 2017-04-06
AU2016334911A1 (en) 2018-04-19
US10200646B2 (en) 2019-02-05
KR20170040572A (ko) 2017-04-13
US20210203871A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN108141535B (zh) 用于生成图像数据的电子设备和方法
CN106375739B (zh) 图像传感器及其信号处理方法
US10423194B2 (en) Electronic device and image capture method thereof
US10764521B2 (en) Image sensor and electronic device comprising the same
US10306163B2 (en) Electronic device having camera module, and image processing method for electronic device
KR102195311B1 (ko) 이미지의 잡음 특성 개선 방법 및 그 전자 장치
US10469742B2 (en) Apparatus and method for processing image
US20180013955A1 (en) Electronic device including dual camera and method for controlling dual camera
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
US11196945B2 (en) Electronic device including camera module and method for controlling electronic device
CN108476296B (zh) 用于使电子装置的数据同步的设备和方法
US10339672B2 (en) Method and electronic device for verifying light source of images
US11039065B2 (en) Image signal processing method, image signal processor, and electronic device
US11153498B2 (en) Image processing method and electronic device supporting same
KR102489279B1 (ko) 이미지 처리장치 및 방법
CN107870038B (zh) 用于检测入射光的波长光谱的方法和电子装置
KR20170046391A (ko) 영상 촬영 장치 및 방법
KR20170046404A (ko) 영상 촬영 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant