CN116530088A - 相机模块和包括相机模块的电子装置 - Google Patents

相机模块和包括相机模块的电子装置 Download PDF

Info

Publication number
CN116530088A
CN116530088A CN202180077910.8A CN202180077910A CN116530088A CN 116530088 A CN116530088 A CN 116530088A CN 202180077910 A CN202180077910 A CN 202180077910A CN 116530088 A CN116530088 A CN 116530088A
Authority
CN
China
Prior art keywords
color filter
light receiving
data
receiving element
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180077910.8A
Other languages
English (en)
Inventor
姜和映
金东秀
朴宰亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116530088A publication Critical patent/CN116530088A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一种电子装置可以包括：相机模块；以及至少一个处理器，其中：所述相机模块包括微透镜阵列、滤色器阵列和光电检测器阵列；所述微透镜阵列的第一行包括第一微透镜和与所述第一微透镜相邻的第二微透镜；所述滤色器阵列的第一行包括设置在所述第一微透镜下方的第一滤色器和第二滤色器以及设置在所述第二微透镜下方的第三滤色器和第四滤色器；并且所述光电检测器阵列的第一行包括设置在所述第一滤色器下方的第一光电检测器、设置在所述第二滤色器下方的第二光电检测器、设置在所述第三滤色器下方的第三光电检测器、以及设置在所述第四滤色器下方的第四光电检测器。

Description

相机模块和包括相机模块的电子装置
技术领域
本公开的各种实施例涉及一种能够以高分辨率实现全像素自动聚焦(AF)的相机模块以及一种包括该相机模块的电子装置。
背景技术
电子装置的相机模块可以包括图像传感器，并且该图像传感器除了执行图像捕获功能之外，还可以执行诸如AF和自动曝光(AE)等功能。
至于AF，现有技术教导了将相位检测自动聚焦(PDAF)用于快速时间聚焦。还存在一种微透镜被集成到一个镜头中并且设置在一些像素上方的方法。在这种情况下，由于能够区分光路，所以能够通过在非聚焦状态下生成相位差并且计算该相位差来找到聚焦位置。
另外，在现有技术中，存在这样的技术：通过在一个片上透镜中嵌入诸如光电二极管等的多个光电转换元件所获得的结构被应用于相位差像素，片上透镜被布置于在左右两侧与行方向的两个像素相邻的像素组上方，并且在左右两侧彼此相邻的像素具有相同的颜色和曝光时间。
发明内容
技术问题
根据现有技术，存在当高分辨率可行时无法实现相位差AF的情况，或当相位差可行时由于分辨率的降低而无法实现高分辨率的情况。
根据现有技术，由于从AF的实现方式角度来看存在着像素增加的限制，所以存在低照度聚焦性能劣化、图像处理量增加并且图像质量下降的问题。
根据现有技术，存在即使使用在一些像素上集成和设置微透镜的结构也难以改进AF性能和实现高分辨率的问题。
根据本公开，可以提供一种使用小像素尺寸来实现高分辨率并且提供相位差AF的相机模块，以及一种包括该相机模块的电子装置。
要在本文件中实现的技术问题不限于以上提及的技术问题，并且未被提及的其他技术问题可以由本公开的技术人员通过以下描述清楚地理解。
技术方案
一种根据本公开的实施例的电子装置可以包括：相机模块；以及至少一个处理器，所述至少一个处理器电连接到所述相机模块，其中，所述相机模块可以包括：微透镜阵列，所述微透镜阵列包括多个微透镜；滤色器阵列，所述滤色器阵列设置在所述微透镜下方并且包括多个滤色器；以及光接收元件阵列，所述光接收元件阵列设置在所述滤色器阵列下方并且包括多个光接收元件，其中，所述微透镜阵列的第一行包括第一微透镜和与所述第一微透镜相邻的第二微透镜，其中，所述滤色器阵列的第一行包括设置在所述第一微透镜下方的第一滤色器和第二滤色器以及设置在所述第二微透镜下方的第三滤色器和第四滤色器，所述滤色器阵列的第一行与所述微透镜阵列的第一行相对应，以及其中，所述光接收元件阵列的第一行包括设置在所述第一滤色器下方的第一光接收元件、设置在所述第二滤色器下方的第二光接收元件、设置在所述第三滤色器下方的第三光接收元件、以及设置在所述第四滤色器下方的第四光接收元件，所述光接收元件阵列的第一行与所述滤色器阵列的第一行相对应。
一种根据本公开的实施例的相机模块可以包括：微透镜阵列，所述微透镜阵列包括多个微透镜；滤色器阵列，所述滤色器阵列设置在所述微透镜下方并且包括多个滤色器；以及光接收元件阵列，所述光接收元件阵列设置在所述滤色器阵列下方并且包括多个光接收元件，其中，所述微透镜阵列的第一行包括第一微透镜和与所述第一微透镜相邻的第二微透镜，其中，所述滤色器阵列的第一行包括设置在所述第一微透镜下方的第一滤色器和第二滤色器以及设置在所述第二微透镜下方的第三滤色器和第四滤色器，所述滤色器阵列的第一行与所述微透镜阵列的第一行相对应，以及其中，所述光接收元件阵列的第一行包括设置在所述第一滤色器下方的第一光接收元件、设置在所述第二滤色器下方的第二光接收元件、设置在所述第三滤色器下方的第三光接收元件、以及设置在所述第四滤色器下方的第四光接收元件，所述光接收元件阵列的第一行与所述滤色器阵列的第一行相对应。
一种根据本公开的实施例的电子装置可以包括：相机模块；以及处理器，所述处理器可操作地连接到所述相机模块，其中，所述相机模块可以包括：微透镜阵列；多个滤色器，其中，所述多个滤色器中的每一个滤色器可以包括被配置为选择性地让穿过了所述微透镜阵列的入射光的波长通过的滤色器阵列；以及光接收元件阵列，所述光接收元件阵列设置在所述滤色器阵列下方，以及其中，所述微透镜阵列按N/2×M阵列布置，所述滤色器阵列按N×M阵列布置，并且所述光接收元件阵列按N×M阵列布置。
有益效果
根据本公开的各种实施例，在包括小尺寸像素以实现大像素的电子装置的相机模块中，所述像素能够用作用于相位差AF的像素和用于图像获取的像素两者。
根据本公开的各种实施例，所述电子装置能够同时地实现高分辨率和相位差AF，同时通过仅用简单的算术运算同时地获取高分辨率和相位差信息来使存储器使用率最小化。
基于各种实施例可获得的效果可能不限于以上提及的效果，并且通过以下描述，本公开所涉及的本领域的技术人员可以清楚地理解未被提及的其他效果。
附图说明
图1是网络环境中根据各种实施例的电子装置的框图。
图2是示出了根据各种实施例的相机模块的框图。
图3示出了根据实施例的包括相机模块的电子装置的简化配置。
图4示出了根据实施例的微透镜阵列、滤色器阵列和光接收元件阵列的结构。
图5示出了根据实施例的微透镜阵列、滤色器阵列和光接收元件阵列的结构。
图6详细地示出了根据实施例的微透镜阵列、滤色器阵列和光接收元件阵列的结构。
图7示出了根据实施例的在电子装置中根据微透镜阵列、滤色器阵列和光接收元件阵列的结构计算像素值的过程。
具体实施方式
图1是示出了根据各种实施例的网络环境100中的电子装置101的框图。
参照图1，网络环境100中的电子装置101可以经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可以经由服务器108与电子装置104进行通信。根据实施例，电子装置101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在各种实施例中，可以从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可以将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可以将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个部件(例如，显示模块160)。
处理器120可以运行例如软件(例如，程序140)来控制电子装置101的与处理器120耦接的至少一个其它部件(例如，硬件部件或软件部件)，并可以执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可以将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储在易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可以被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可以将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可以控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可以与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可以将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如，可以通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可以包括除了硬件结构以外的软件结构。
存储器130可以存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可以包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
可以将程序140作为软件存储在存储器130中，并且程序140可以包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可以从电子装置101的外部(例如，用户)接收将由电子装置101的另一部件(例如，处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可以将声音信号输出到电子装置101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的。接收器可以用于接收呼入呼叫。根据实施例，可以将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可以向电子装置101的外部(例如，用户)视觉地提供信息。显示模块160可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可以包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可以将声音转换为电信号，反之亦可。根据实施例，音频模块170可以经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)耦接或无线耦接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可以检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持将用来使电子装置101与外部电子装置(例如，电子装置102)耦接(例如，有线地)或无线耦接的一个或更多个特定协议。根据实施例，接口177可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可以包括连接器，其中，电子装置101可以经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可以将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。
相机模块180可以捕获静止图像或运动图像。根据实施例，相机模块180可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以管理对电子装置101的供电。根据实施例，可以将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可以对电子装置101的至少一个部件供电。根据实施例，电池189可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可以支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可以包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可以经由第一网络198(例如，短距离通信网络，诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可以将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可以支持在4G网络之后的5G网络以及下一代通信技术(例如新无线(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可以支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可以支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可以支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可以将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可以包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可以包括多个天线(例如，阵列天线)。在这种情况下，可以由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可以经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的部件(例如，射频集成电路(RFIC))可以附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可以形成毫米波天线模块。根据实施例，毫米波天线模块可以包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可以经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互耦接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可以经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可以在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可以请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可以执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可以使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可以使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可以包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2是示出了根据各种实施例的相机模块180的框图200。
参照图2，相机模块180可以包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可以采集从将被拍摄图像的物体发出或反射的光。镜头组件210可以包括一个或更多个透镜。根据实施例，相机模块180可以包括多个镜头组件210。在这种情况下，相机模块180可以形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可以具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可以具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可以包括例如广角镜头或长焦镜头。
闪光灯220可以发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可以包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可以通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可以包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可以使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可以沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置#01的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可以使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例，可以将图像稳定器240实现为例如光学图像稳定器。
存储器250可以至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可以经由显示模块160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可以由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可以将存储器250配置为存储器130的至少一部分，或者可以将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可以对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可以包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可以对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可以将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示模块160、电子装置102、电子装置104或服务器108)。根据实施例，可以将图像信号处理器260配置为处理器120的至少一部分，或者可以将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可以由处理器120经由显示模块160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可以将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置101可以包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可以形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可以形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可以形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可以形成后置相机。另外，多个相机模块180可以包括广角相机、长焦相机、彩色相机、单色相机或IR(红外)相机中的至少一者(例如，TOF(飞行时间)相机、结构光相机)。根据实施例，IR相机可以作为传感器模块(例如，图1的传感器模块176)的至少一部分来操作。例如，TOF相机可以作为用于检测到主体的距离的传感器模块(例如，图1的传感器模块176)的至少一部分来操作。
图3示出了根据实施例的包括相机模块的电子装置的简化配置。
根据实施例，图3示出了电子装置300中包括的简化部件，并且电子装置300可以包括与参照图1描述的电子装置101的部件相同或类似的部件。
参照图3，电子装置300可以至少包括处理器310(例如，图1中的处理器120和图2中的图像信号处理器260)、相机模块320、存储器330(图1中的存储器130)以及显示器340(例如，图1中的显示模块160)。另外，相机模块320可以包括与图1的相机模块180或图2的相机模块180的部件相同或类似的部件。
根据实施例，处理器310可以与相机模块320、存储器330和显示器340电耦接或可操作地耦接。处理器310能够通过被连接到相机模块320、存储器330和显示器340来控制这些部件。
将在必要部分中稍后描述根据各种实施例的处理器310的控制操作。
根据实施例，相机模块320可以包括布置有多个微透镜的微透镜阵列321、以拜耳图案布置有多个滤色器的滤色器阵列322、以及布置有光接收元件的多个光接收元件阵列323。
在实施例中，微透镜阵列321可以使所接收到的光会聚或者使由与滤色器阵列322相对应的像素接收到的光分开。在实施例中，关于微透镜阵列321的微透镜的基本单位的尺寸，可以将光接收元件阵列323的光接收元件的尺寸的特定倍数用作基本单位。微透镜阵列321的微透镜的基本单位的纵横比可以不同于光接收元件的纵横比。在实施例中，微透镜的基本单位的特定倍数可以与滤色器阵列322的滤色器的基本单位的特定倍数相同。例如，关于微透镜的基本单位，可以将与光接收元件在水平方向上的两个像素相对应的尺寸用作基本单位。
在实施例中，滤色器阵列322可以通过选择性地让接收到的光的波长通过来实现颜色。在实施例中，关于滤色器阵列322的滤色器的基本单位，可以将光接收元件阵列323的光接收元件的尺寸的特定倍数用作基本单位，并且每个滤色器可以包括不同颜色(例如，R(红色)、G(绿色)、B(蓝色))。另外，不同颜色的合计区域(合计波长区域)可以包括可见光的所有波长区域。在实施例中，滤色器阵列322的滤色器的基本单位的尺寸可以具有相同的纵横比。
在实施例中，滤色器阵列322可以形成各种图案(例如，特定图案)。例如，滤色器阵列322可以包括具有以下图案的滤色器阵列：RGB图案、RGBE(红色、绿色、蓝色、翡翠色)图案、CYYM(青色、黄色、品红色)图案、CYGM(青色、黄色、绿色、品红色)图案、或RGBW(红色、绿色、蓝色、白色)图案。
在实施例中，光接收元件阵列323可以接收光并且将光转换成电信号。
在实施例中，光接收元件阵列323在水平方向上的长度和光接收元件阵列323在垂直于水平方向的垂直方向上的长度可以彼此不同。例如，在光接收元件阵列323中，垂直方向的长度可以是水平方向的长度的1.5倍。光接收元件阵列323的水平方向可以意指例如执行图像传感器(例如，图2中的图像传感器230)的读出方向。
在实施例中，相机模块320的微透镜阵列321、滤色器阵列322和光接收元件阵列323可以具有堆叠结构。例如，滤色器阵列322可以设置在光接收元件阵列323上，并且微透镜阵列321可以设置在滤色器阵列322上。
在实施例中，进入相机模块320的入射光可以顺序地穿过微透镜阵列321、滤色器阵列322和光接收元件阵列323。例如，微透镜阵列321可以通过入射光，而滤色器阵列322可以选择性地让入射光的波长通过。另外，光接收元件阵列323可以将已经由滤色器阵列322选择性地通过的光转换成电信号。
在实施例中，处理器310可以基于已经顺序地穿过微透镜阵列321、滤色器阵列322和光接收元件阵列323的光的电信号执行数据计算(例如，像素值的计算)。
在实施例中，尽管在图3中未示出，但是电子装置300可以包括图像信号处理器(ISP)(未示出)(例如，图2中的图像信号处理器260)。例如，图像信号处理器(未示出)可以被包括在相机模块320中或包括在除相机模块320以外的部件中。
在实施例中，图像信号处理器(未示出)可以在处理器310的控制下对入射光执行数据计算。例如，图像信号处理器(未示出)可以对已经顺序地穿过微透镜阵列321、滤色器阵列322和光接收元件阵列323的光执行数据计算(例如，像素值的计算)。例如，图像信号处理器(未示出)可以以包括在滤色器阵列322中的滤色器(例如，图6中的滤色器621、滤色器622、滤色器623和滤色器624)为单位计算(例如，合计)像素值以便转换成拜尔图案。根据另一实施例，可以以有效像素(例如，图7中的有效像素(例如，有效像素710、有效像素720和有效像素730)为单位而不是微透镜阵列321和光接收元件阵列323的配置(例如，数目)执行像素值的数据计算。
根据实施例，存储器330可以电连接到处理器310，并且处理器310可以将处理后的数据存储在存储器330中。另外，存储器330可以是易失性存储器或非易失性存储器。
根据实施例，显示器340可以电连接到处理器310，并且处理器310可以基于处理后的数据在显示器340上显示画面。
图4示出了根据实施例的微透镜阵列、滤色器阵列和光接收元件阵列的结构。
在实施例中，图4中示出的结构表示当从顶部观察微透镜阵列、滤色器阵列和光接收元件阵列的堆叠结构时获得的结构的部分400。例如，图4示出了当从顶部观察时包括微透镜阵列、滤色器阵列和光接收元件阵列的堆叠结构当中的四个光接收元件(例如，光接收元件431、光接收元件432、光接收元件433和光接收元件434)、四个滤色器(例如，滤色器421、滤色器422、滤色器423和滤色器424)以及两个微透镜(例如，微透镜411和微透镜412)的结构。
在实施例中，当从顶部观察微透镜阵列、滤色器阵列和光接收元件阵列的堆叠结构时获得的部分400的图案可以在当从顶部观察堆叠结构时获得的整个结构中重复。
在实施例中，微透镜411和微透镜412可以彼此相邻设置。例如，微透镜411可以设置在覆盖滤色器421和滤色器422的区域中，而微透镜412可以设置在覆盖滤色器423和滤色器424的区域中。微透镜411和微透镜412彼此相邻设置，同时覆盖四个滤色器(例如，滤色器421、滤色器422、滤色器423和滤色器424)。作为另一示例，微透镜411可以设置在覆盖光接收元件431和光接收元件432的区域中，而微透镜412可以设置在覆盖光接收元件433和光接收元件434的区域中。微透镜411和微透镜412可以彼此相邻设置，同时覆盖四个光接收元件(例如，光接收元件431、光接收元件432、光接收元件433和光接收元件434)。
在实施例中，四个滤色器(例如，滤色器421、滤色器422、滤色器423和滤色器424)可以并排布置在同一行中。另外，滤色器421、滤色器422、滤色器423和滤色器424可以设置在微透镜411和微透镜412下方。作为特定示例，滤色器阵列322的与微透镜阵列(例如，图3中的微透镜阵列321)的第一行相对应的第一行可以包括设置在微透镜411下方的滤色器421和滤色器422以及设置在微透镜412下方的滤色器423和滤色器424。例如，在滤色器阵列322的与微透镜阵列(例如，图3中的微透镜阵列321)的第一行相对应的第一行中，在微透镜411下方，滤色器421可以设置在第一列中，滤色器422可以设置在第二列中，滤色器423可以设置在第三列中，并且滤色器424可以设置在第四列中。
在实施例中，光接收元件431、光接收元件432、光接收元件433和光接收元件434可以分别设置在滤色器421、滤色器422、滤色器423和滤色器424下方。例如，光接收元件431可以设置在滤色器421下方，光接收元件432可以设置在滤色器422下方，光接收元件433可以设置在滤色器423下方，而光接收元件434可以设置在滤色器424下方。
图5示出了根据实施例的微透镜阵列、滤色器阵列和光接收元件阵列的结构。
在实施例中，图5中示出的结构是当从横向侧观察微透镜阵列(例如，图3中的微透镜阵列321)、滤色器阵列(例如，图3中的滤色器阵列322)和光接收元件阵列(例如，图3中的光接收元件阵列323)的堆叠结构时获得的结构的部分500。
在实施例中，当从横向侧观察微透镜阵列(例如，图3中的微透镜阵列321)、滤色器阵列(例如，图3中的滤色器阵列322)和光接收元件阵列(例如，图3中的光接收元件阵列323)的堆叠结构时获得的结构的部分400的图案可以在当从顶部观察堆叠结构时获得的整个结构中重复。
在实施例中，滤色器421和滤色器422可以设置在微透镜411下方，而滤色器423和滤色器424可以设置在微透镜412下方。
在实施例中，光接收元件431和光接收元件432可以设置在滤色器421和滤色器422下方，而光接收元件433和光接收元件434可以设置在滤色器423和滤色器424下方。例如，光接收元件431可以设置在滤色器421下方，光接收元件432可以设置在滤色器422下方，光接收元件433可以设置在滤色器423下方，而光接收元件434可以设置在滤色器424下方。作为特定示例，在光接收元件阵列(例如，图3中的光接收元件阵列323)的与滤色器阵列(例如，图3的滤色器阵列322)的第一行相对应的第一行中，设置在滤色器421下方的光接收元件431可以被包括在第一列中，设置在滤色器422下方的光接收元件432可以被包括在第二列中，设置在滤色器423下方的光接收元件433可以被包括在第三列中，而设置在滤色器424下方的光接收元件434可以被包括在第四列中。
在实施例中，滤色器(例如，滤色器421、滤色器422、滤色器423和滤色器424)可以对应于具有相同颜色的一个滤色器。
图6详细地示出了根据实施例的微透镜阵列、滤色器阵列和光接收元件阵列的结构。
根据实施例，图6示出了当从顶部观察微透镜阵列、滤色器阵列和光接收元件阵列的堆叠结构时获得的结构。
在实施例中，区域610可以包括四个光接收元件(例如，光接收元件631、光接收元件632、光接收元件633和光接收元件634)、四个滤色器(例如，滤色器621、滤色器622、滤色器623和滤色器624)以及两个微透镜(例如，微透镜611和微透镜612)。例如，区域610可以是与滤色器阵列(例如，滤色器阵列322)的第一行中的第一列至第四列相对应的区域。
在根据实施例的区域610中，滤色器阵列(例如，滤色器阵列322)的第一行的与微透镜阵列(例如，图3中的微透镜阵列321)的第一行的第一列至第四列相对应的第一列至第四列可以包括设置在微透镜611下方的滤色器621和滤色器622以及设置在微透镜612下方的滤色器623和滤色器624。滤色器阵列(例如，滤色器阵列322)的第一行的第一列至第四列可以包括分别设置在滤色器621、滤色器622、滤色器623和滤色器624下方的光接收元件631、光接收元件632、光接收元件633和光接收元件634。
在根据实施例的区域610中，设置在滤色器621下方的光接收元件631、设置在滤色器622下方的光接收元件632、设置在滤色器623下方的光接收元件633以及设置在滤色器624下方的光接收元件634可以被包括在光接收元件阵列(例如，图3中的光接收元件阵列323)的第一行的与滤色器阵列(例如，图3中的滤色器阵列322)的第一行的第一列至第四列相对应的第一列至第四列中。根据实施例，光接收元件(例如，图5的光接收元件431至434)可以被形成为具有不同的水平(行)尺寸和垂直(列)尺寸。例如，光接收元件可以具有大约0.8μm(列)×大约0.6μm(行)的尺寸。另外，根据实施例，微透镜可以是以大约0.8μm(列)×大约1.2μm(行)的尺寸形成的，并且每一个微透镜可以配置有两个光接收透镜。
在根据实施例的区域610中，电子装置300可以在处理器310的控制下基于来自光接收元件阵列(例如，光接收元件阵列323)的电信号获取计算(例如，像素值的计算)所需要的数据。例如，在处理器310的控制下，电子装置300可以从设置在滤色器621下方的光接收元件(例如，第一光接收元件)获取数据S1，并且可以从设置在滤色器622下方的光接收元件(例如，第二光接收元件)获取数据S2。另外，在处理器310的控制下，电子装置300可以从设置在滤色器623下方的光接收元件(例如，第三光接收元件)获取数据S3，并且可以从设置在滤色器624下方的光接收元件(例如，第四光接收元件)获取数据S4。
包括在根据实施例的区域610中的滤色器(例如，滤色器621、滤色器622、滤色器623和滤色器624)的颜色可以是相同的。例如，滤色器621、滤色器622、滤色器623和滤色器624的颜色可以与G(绿色)相同。作为另一示例，滤色器621、滤色器622、滤色器623和滤色器624可以对应于具有一种颜色的一个滤色器区域。
根据实施例的区域630可以是与滤色器阵列(例如，图3中的滤色器阵列322)或光接收元件阵列(例如，光接收元件阵列323)的第一行至第三行中的第一列至第四列相对应的区域。
根据实施例的区域630可以是包括如下结构的区域：与滤色器阵列(例如，图3中的滤色器阵列322)的第一行中的第一列至第四列相对应的区域610的结构也以相同方式重复地布置在挨着滤色器阵列(例如，图3中的滤色器阵列322)的第一行定位的第二行和第三行中的第一列至第四列中。
包括在根据实施例的区域630中的滤色器的颜色可以是相同的。例如，包括在区域630中的滤色器的颜色可以与G(绿色)相同。
根据实施例的区域640可以是与滤色器阵列(例如，图3中的滤色器阵列322)的第四行至第六行中的第一列至第四列相对应的区域。
根据实施例的区域650可以是与滤色器阵列(例如，图3中的滤色器阵列322)的第一行至第三行中的第五列至第八列相对应的区域。
根据实施例的区域660可以是与滤色器阵列(例如，图3中的滤色器阵列322)的第四行至第六行中的第五列至第八列相对应的区域。
根据实施例的区域640、区域650和区域660可以设置在区域630周围。例如，区域640和区域650可以与区域630相邻设置，而区域660可以与区域640和区域650相邻设置。
在实施例中，区域630、区域640、区域650和区域660中的每一者可以被认为是一个组。例如，区域630可以被认为是第一组，区域640可以被认为是第二组，区域650可以被认为是第三组，而区域660可以被认为是第四组。另外，假定滤色器阵列(例如，图3中的滤色器阵列322)和光接收元件阵列(例如，光接收元件阵列323)包括上述组，可以认为第一组被布置在第一行的第一列中，第二组被布置在第一行的第二列中，第三组被布置在第二行的第一列中，而第四组被布置在第二行的第二列中。
包括在根据实施例的区域640中的滤色器的颜色可以不同于包括在区域630、650和660中的滤色器的颜色。例如，包括在区域640中的滤色器的颜色可以与B(蓝色)相同。
包括在根据实施例的区域650中的滤色器的颜色可以不同于包括在区域630、640和660中的滤色器的颜色。例如，包括在区域650中的滤色器的颜色可以与R(红色)相同。
包括在根据实施例的区域660中的滤色器的颜色可以与包括在区域630中的滤色器的颜色相同，并且可以不同于包括在区域630、640和650中的滤色器的颜色。例如，包括在区域660中的滤色器的颜色可以与G(绿色)相同。
在实施例中，配置有区域630、区域640、区域650和区域660的图案可以在滤色器阵列(例如，图3中的滤色器阵列322)中重复。例如，在滤色器阵列(例如，图3中的滤色器阵列322)中，配置有包括具有颜色G的滤色器的区域630、包括具有颜色B的滤色器的区域640、包括具有颜色R的滤色器的区域650、以及包括具有颜色G的滤色器的区域660的图案可以在整体上重复。
在实施例中，电子装置(例如，图3中的电子装置300)在处理器(例如，图3的处理器310)的控制下基于有效像素生成图像输出所需要的颜色数据。例如，可以存在配置有区域630、区域640、区域650和区域660的一个图案。在这种情况下，电子装置300可以基于与颜色G相对应的有效像素(例如，3×3布置的有效像素)生成图像输出所需要的关于区域630或区域660的颜色数据。另外，电子装置300可以基于与颜色B相对应的有效像素(例如，3×3布置的有效像素)生成图像输出所需要的关于区域640的颜色数据，并且可以基于与颜色R相对应的有效像素(例如，3×3布置的有效像素)生成图像输出所需要的关于区域650的颜色数据。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下生成AF所需要的AF数据。例如，电子装置300可以在处理器310的控制下基于两个光接收元件对应于一个微透镜(例如，微透镜611)的结构生成AF数据。另外，电子装置300可以生成滤色器阵列(例如，图3中的滤色器阵列322)或光接收元件阵列(例如，图3中的光接收元件阵列323)的所有像素的AF数据。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下顺序地输出颜色数据和AF数据。
图7示出了根据实施例的在电子装置中根据微透镜阵列、滤色器阵列和光接收元件阵列的结构计算像素值的过程。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下获取有关已经穿过了微透镜阵列(例如，图3中的微透镜阵列321)、滤色器阵列(例如，图3中的滤色器阵列322)和光接收元件阵列(例如，图3中的光接收元件阵列323)的光的数据。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3的处理器310)的控制下基于通过光接收元件阵列(例如，图3中的光接收元件阵列323)的光接收元件的光电转换生成的电信号获取关于光的数据。
根据实施例，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3的处理器310)的控制下考虑到像素的相位差、有效像素的重心和有效像素通过权重计算来获取像素值。
在实施例中，有效像素(例如，有效像素710、有效像素720和有效像素730)可以是由电子装置(例如，电子装置300)的处理器(例如，处理器310)通过计算与相应像素相对应的数据(例如，数据S1、数据S2、数据S3和数据S4)所定义的虚拟像素区域。例如，电子装置300可以在处理器(例如，处理器310)的控制下通过计算与相应像素相对应的数据S1、数据S2、数据S3和数据S4来获取有效像素710、有效像素720和有效像素730的像素值。
在实施例中，电子装置(例如，电子装置300)除了获取诸如上述有效像素710、有效像素720和有效像素730等有效像素的像素值之外，还可以在处理器(例如，处理器310)的控制下获取与区域630相对应的3×3有效像素的像素值。另外，电子装置(例如，电子装置300)可以在处理器(例如，处理器310)的控制下获取与区域630、区域640、区域650和区域660相对应的3×3有效像素的像素值和/或与电子装置300的所有像素相对应的3×3有效像素的像素值。
在实施例中，电子装置(例如，电子装置300)可以在处理器(例如，处理器310)的控制下将上述3×3有效像素转换成1×1有效像素。根据实施例，电子装置(例如，电子装置300)可以使用多个像素被分组成一个像素并对其进行处理的像素合并(binning)。例如，可以执行将3×3有效像素集成的nona binning，并且在低照度环境中透镜(例如，图2中的镜头组件210)周围的噪声可以减小。另外，电子装置(例如，图3的电子装置300)可以在生成高分辨率图像和低分辨率图像时在处理器(例如，图3的处理器310)的控制下不同地执行有关图像数据和AF数据的相应处理，并且将稍后描述细节。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下对从四个像素获取的数据(例如，数据S1、数据S2、数据S3和数据S4)执行计算。另外，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下获取与有效像素(例如，有效像素710、有效像素720和有效像素730)相对应的相应像素值(例如，第一像素值、第二像素值和第三像素值)。
在实施例中，作为示例参考区域630的第一行中的第一列至第四列，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下从与第一行的第一列相对应的光接收元件(例如，第一光接收元件)获取数据S1。电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下从与第一行的第二列相对应的光接收元件(例如，第二光接收元件)获取数据S2。另外，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下从与第一行的第三列相对应的光接收元件(例如，第三光接收元件)获取数据S3，并且从与第一行的第四列相对应的光接收元件(例如，第四光接收元件)获取数据S4。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下基于数据S1、数据S2和数据S3获取第一像素值。例如，电子装置300可以在处理器310的控制下通过针对数据S1、数据S2和数据S3的(2/3×S1)+(1/2×S2)+(-1/6×S3)的权重计算来获取有效像素710的像素值(例如，第一像素值)。作为另一示例，在分辨率改进以及伪影(Artifact)改进方面，电子装置300可以在处理器310的控制下通过针对数据S1、数据S2和数据S3的权重计算(例如，(2/3×S1)+(1/2x×S2)+(-1/6×S3)的权重计算)来获取有效像素710的像素值(例如，第一像素值)。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下基于数据S2和数据S3获取第二像素值。例如，电子装置300可以考虑到共享微透镜(例如，图6中的微透镜611)的像素(例如，与滤色器621和滤色器622相对应的像素)的相位差执行权重计算。作为特定示例，与滤色器621和滤色器623相对应的像素可以具有类似的相位，而与滤色器622和滤色器624相对应的像素也可以具有类似的相位。电子装置300可以在处理器310的控制下通过针对数据S2和数据S3的(1/2×S2)+(1/2×S3)的权重计算来获取有效像素720的像素值(例如，第二像素值)。在分辨率改进方面，电子装置300可以在处理器310的控制下通过针对数据S1、数据S2、数据S3和数据S4的(1×S1)+(-1/2×S2)+(-1/2×S4)+(1×S4)的权重计算来获取有效像素730的像素值(例如，第二像素值)。在伪影改进方面，电子装置300可以在处理器310的控制下通过针对数据S1、数据S2、数据S3和数据S4的(1/3×S1)+(1/6×S2)+(1/6×S3)+(1/3×S4)的权重计算来获取有效像素720的像素值(例如，第二像素值)。在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下基于数据S2、数据S3和数据S4获取第三像素值。例如，电子装置300可以在处理器310的控制下通过针对数据S2、数据S3和数据S4的(-1/6×S2)+(1/2×S3)+(2/3×S4)的权重计算来获取有效像素730的像素值(例如，第三像素值)。另外，在分辨率改进和伪影改进方面，电子装置300可以在处理器310的控制下通过针对数据S2、数据S3和数据S4的(-1/6×S2)+(1/2×S3)+(2/3×S3)的权重计算来获取有效像素730的像素值(例如，第三像素值)。
如上所述，基于用户输入或输入数据，电子装置300可以在处理器310的控制下，以分辨率改进为主，对伪影执行不同的有效像素数据过程。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下基于获取到的像素值(例如，第一像素值、第二像素数据和第三像素数据)生成图像输出所需要的颜色数据。
根据实施例，电子装置(例如，图3的电子装置300)可以在生成高分辨率图像和低分辨率图像时在处理器(例如，图3中的处理器310)的控制下不同地执行关于图像数据和AF数据的处理。
在实施例中，在生成高分辨率图像的情况下，电子装置300可以在处理器310的控制下通过插值获取超过光接收元件数目(例如，六个)的图像信息(例如，对应于九个光接收元件的信息)。另外，电子装置300可以在处理器310的控制下从光接收元件(例如，六个光接收元件)当中的两个或更多个光接收元件获取AF所需要的相位差信号(例如，PDAF数据)。
在实施例中，在生成低分辨率图像的情况下，电子装置300可以在处理器310的控制下对光接收元件(例如，六个光接收元件)执行binning过程，并且接收一条颜色数据。另外，电子装置300可以在处理器310的控制下从光接收元件(例如，六个光接收元件)当中的两个或更多个光接收元件获取AF所需要的相位差信号(例如，PDAF数据)。在实施例中，在生成高分辨率图像和低分辨率图像的情况下，电子装置300可以在处理器310的控制下顺序地获取处理后的图像相关数据和AF数据。
在实施例中，电子装置300可以在处理器310的控制下控制AF相关操作的激活和/或去激活(deactivation)。
根据实施例，独立地生成电信号(例如，像素信号)并且多个像素沿彼此垂直的x(或水平)方向或y(或垂直)方向设置的像素组可以被定义为位于单个微透镜下方的第一像素组(例如，图7的左侧)和位于具有单一颜色的滤色器下方的(方形)第二像素组(例如，图7的右侧)。
在实施例中，第一像素组在x方向上的长度可以比在y方向上的长度要长。例如，第一像素组在x方向上的长度可以是1.2μm，而在y方向上的长度可以是0.8μm。然而，这是示例，本公开不限于此。
在实施例中，第一像素组在x方向上的像素数目可以大于在y方向上的像素数目。例如，在x方向上的像素数目可以是在y方向上的像素数目的两倍。然而，这是示例，本公开不限于此。
在实施例中，第一像素组可以沿x方向和y方向布置，例如，第一像素组的区域可以被布置为与第二像素组的区域基本上重合。
根据实施例，在数据计算中，根据第二像素组的区域内部的第二像素信号，电子装置(例如，电子装置300)的处理器(例如，处理器310)可以生成同一区域的第三像素信号。例如，在生成第三像素信号时，电子装置300的处理器310可以通过组合多个相邻不同的第一像素组的像素信号来生成小于第二像素组区域中的像素数目的像素信号。在这种情况下，电子装置300的处理器310可以执行仅与沿x方向布置的像素信号的组合。然而，本公开不限于此。
在实施例中，电子装置300可以在处理器310的控制下基于第一像素组的信号生成相位差信号(例如，PDAF数据)。
在上述各种实施例中，电子装置(例如，电子装置300)可以在处理器(例如，处理器310)的控制下维持有效像素数据的纵横比。
在实施例中，在电子装置300的光接收元件阵列(例如，图3中的光接收元件阵列323)中，水平长度和垂直长度在纵横比3×4时可以是相同的，由电子装置300获取的像素值可以是在相同水平和垂直长度上根据纵横比3×3的像素值。电子装置300可以通过对另一布置(例如，3×4)的光接收元件执行数据过程来获取与特定布置(例如，3×3)相对应的图像数据。
在实施例中，电子装置(例如，图3中的电子装置300)可以在处理器(例如，图3中的处理器310)的控制下基于获取的像素值(例如，第一像素值、第二像素值和第三像素值)生成图像输出所需要的颜色数据。在实施例中，电子装置300可以在处理器310的控制下对nona型像素图案执行重新镶嵌过程以将像素图案作为拜尔图案输出。在实施例中，在处理器310的控制下，电子装置300可以如上所述获取与区域630中的第一行的第一列至第四列相对应的第一像素值、第二像素值和第三像素值。在实施例中，电子装置300可以以相同方式在处理器310的控制下获取与区域630的第二行和第三行的第一列至第四列相对应的像素值(例如，第四像素值至第九像素值)。在实施例中，电子装置300可以在处理器310的控制下以与区域630相同的方式获取与区域640、区域650和区域660相对应的像素值。在实施例中，电子装置300可以获取区域630、区域640、区域650和区域660中的每一者的总像素值。在实施例中，电子装置300可以将区域630、640、650和660中的每一者的总像素值作为拜尔图案输出。
在根据实施例的电子装置(例如，电子装置300)中，电子装置(例如，电子装置300)可以包括相机模块(例如，相机模块320)以及电连接到该相机模块(例如，相机模块320)的至少一个处理器(例如，处理器310)，其中，相机模块(例如，相机模块320)可以包括：微透镜阵列(例如，微透镜阵列321)，其包括多个微透镜；滤色器阵列(例如，滤色器阵列322)，其设置在微透镜下方并且包括多个滤色器；光接收元件阵列(例如，光接收元件阵列323)，其设置在滤色器阵列(例如，滤色器阵列322)下方并且包括多个光接收元件，其中，微透镜阵列(例如，微透镜阵列321)的第一行可以包括第一微透镜和与第一微透镜相邻的第二微透镜，其中，滤色器阵列(例如，滤色器阵列322)的第一行可以包括设置在第一微透镜下方的第一滤色器(例如，滤色器421)和第二滤色器(例如，滤色器422)以及设置在第二微透镜下方的第三滤色器(例如，滤色器423)和第四滤色器(例如，滤色器424)，滤色器阵列(例如，滤色器阵列322)的第一行与微透镜阵列(例如，微透镜阵列321)的第一行)相对应，以及其中，光接收元件阵列(例如，光接收元件阵列323)的第一行可以包括设置在第一滤色器(例如，滤色器421)下方的第一光接收元件(例如，第一光接收元件431)、设置在第二滤色器(例如，滤色器422)下方的第二光接收元件(例如，光接收元件432)、设置在第三滤色器(例如，滤色器423)下方的第三光接收元件(例如，光接收元件433)、以及设置在第四滤色器(例如，滤色器424)下方的第四光接收元件(例如，光接收元件434)，光接收元件阵列(例如，光接收元件阵列323)的第一行与滤色器阵列(例如，滤色器阵列322)的第一行相对应。
在根据实施例的电子装置(例如，电子装置300)中，至少一个处理器(例如，处理器310)可以被配置为：基于由第一光接收元件(例如，光接收元件431)获取的第一数据、由第二光接收元件(例如，光接收元件432)获取的第二数据、以及由第三光接收元件(例如，光接收元件433)获取的第三数据获取第一像素值，基于第二数据和第三数据获取第二像素值，并且基于第二数据、第三数据以及由第四光接收元件(例如，光接收元件434)获取的第四数据获取第三像素值。
在根据实施例的电子装置(例如，电子装置300)中，至少一个处理器(例如，处理器310)可以被配置为：通过分别对第一数据、第二数据和第三数据应用不同权重来获取第一像素值。
在根据实施例的电子装置(例如，电子装置300)中，至少一个处理器(例如，处理器310)可以被配置为：通过对第二数据和第三数据中的每一者应用相同权重来获取第二像素值。
在根据实施例的电子装置(例如，电子装置300)中，至少一个处理器(例如，处理器310)可以被配置为：通过分别对第二数据、第三数据和第四数据应用不同权重来获取第三像素值。
在根据实施例的电子装置(例如，电子装置300)中，至少一个处理器(例如，处理器310)可以被配置为：基于第一光接收元件(例如，光接收元件431)、第二光接收元件(例如，光接收元件432)、第三光接收元件(例如，光接收元件433)和第四光接收元件(例如，光接收元件434)生成AF数据。
在根据实施例的电子装置(例如，电子装置300)中，至少一个处理器(例如，处理器310)可以被配置为：基于第一像素值、第二像素值和第三像素值生成颜色数据，并且顺序地输出颜色数据和AF数据。
在根据实施例的电子装置(例如，电子装置300)中，处理器(例如，处理器310)可以被配置为：基于由第一光接收元件(例如，光接收元件431)获取的第一数据、由第二光接收元件(例如，光接收元件432)获取的第二数据、由第三光接收元件(例如，光接收元件433)获取的第三数据、以及由第四光接收元件(例如，光接收元件434)获取的第四数据获取第一像素值、第二像素值和第三像素值。
在根据实施例的电子装置(例如，电子装置300)中，滤色器阵列(例如，滤色器阵列322)的第一滤色器(例如，滤色器421)、第二滤色器(例如，滤色器422)、第三滤色器(例如，滤色器423)和第四滤色器(例如，滤色器424)可以具有第一颜色，而与第一滤色器(例如，滤色器421)、第二滤色器(例如，滤色器422)、第三滤色器(例如，滤色器432)和第四滤色器(例如，滤色器424)中的任何一个位于所述滤色器阵列(例如，滤色器阵列322)的第一行旁边的第二行和第三行的同一列中设置的滤色器可以包括具有第一颜色的第一组。
在根据实施例的电子装置(例如，电子装置300)中，电子装置(例如，电子装置300)可以包括具有与第一组相同数目的滤色器的第二组，其中，第二组的滤色器具有第二颜色，可以包括具有与第一组相同数目的滤色器的第三组，其中，第三组的滤色器具有第三颜色，并且第一组、第二组和第三组可以形成特定图案。
在根据实施例的相机模块(例如，相机模块320)中，相机模块(例如，相机模块320)可以包括：图像信号处理器(例如，处理器310)；微透镜阵列(例如，微透镜阵列321)，其包括多个微透镜；滤色器阵列(例如，滤色器阵列322)，其设置在微透镜下方并且包括多个滤色器；光接收元件阵列(例如，光接收元件阵列323)，其设置在滤色器阵列(例如，滤色器阵列322)下方并且包括多个光接收元件，其中，微透镜阵列(例如，微透镜阵列321)的第一行可以包括第一微透镜和与第一微透镜相邻的第二微透镜，其中，滤色器阵列(例如，滤色器阵列322)的第一行可以包括设置在第一微透镜下方的第一滤色器(例如，滤色器421)和第二滤色器(例如，滤色器422)以及设置在第二微透镜下方的第三滤色器(例如，滤色器423)和第四滤色器(例如，滤色器424)，滤色器阵列(例如，滤色器阵列322)的第一行与微透镜阵列(例如，微透镜阵列321)的第一行相对应，以及其中，光接收元件阵列(例如，光接收元件阵列323)的第一行可以包括设置在第一滤色器(例如，滤色器421)下方的第一光接收元件(例如，第一光接收元件431)、设置在第二滤色器(例如，滤色器422)下方的第二光接收元件(例如，光接收元件432)、设置在第三滤色器(例如，滤色器423)下方的第三光接收元件(例如，光接收元件433)、以及设置在第四滤色器(例如，滤色器424)下方的第四光接收元件(例如，光接收元件434)，光接收元件阵列(例如，光接收元件阵列323)的第一行与滤色器阵列(例如，滤色器阵列322)的第一行相对应。
在根据实施例的相机模块(例如，相机模块320)中，图像信号处理器(例如，处理器310)可以被配置为：基于由第一光接收元件(例如，光接收元件431)获取的第一数据、由第二光接收元件(例如，光接收元件432)获取的第二数据、以及由第三光接收元件(例如，光接收元件433)获取的第三数据获取第一像素值，基于第二数据和第三数据获取第二像素值，并且基于第二数据、第三数据以及由第四光接收元件(例如，光接收元件434)获取的第四数据获取第三像素值。
在根据实施例的相机模块(例如，相机模块320)中，图像信号处理器(例如，处理器310)可以被配置为：通过分别对第一数据、第二数据和第三数据应用不同权重来获取第一像素值。
在根据实施例的相机模块(例如，相机模块320)中，图像信号处理器(例如，处理器310)可以被配置为：通过对第二数据和第三数据中的每一者应用相同权重来获取第二像素值。
在根据实施例的相机模块(例如，相机模块320)中，图像信号处理器(例如，处理器310)可以被配置为：通过分别对第二数据、第三数据和第四数据应用不同权重来获取第三像素值。
在根据实施例的电子装置(例如，电子装置300)中，电子装置(例如，电子装置300)可以包括：相机模块(例如，相机模块320)；以及可操作地连接到相机模块(例如，相机模块320)的处理器(例如，处理器310)，其中，相机模块(例如，相机模块320)可以包括：微透镜阵列(例如，微透镜阵列321)；滤色器阵列(例如，滤色器阵列322)，其包括多个滤色器，其中，所述多个滤色器中的每一个滤色器可以选择性地让穿过微透镜阵列(例如，微透镜阵列321)的入射光的波长通过；以及光接收元件阵列(例如，光接收元件阵列323)，其设置在滤色器阵列(例如，滤色器阵列322)下方，其中，微透镜阵列(例如，微透镜阵列321)可以按N/2×M阵列布置，滤色器阵列(例如，滤色器阵列322)可以按N×M阵列布置，并且光接收元件阵列(例如，光接收元件阵列323)可以按N×M阵列布置。
在根据实施例的电子装置(例如，电子装置300)中，处理器(例如，处理器310)可以被配置为：基于由光接收元件阵列(例如，光接收元件阵列323)光电转换后的电信号获取第一数据、第二数据、第三数据和第四数据。
在根据实施例的电子装置(例如，电子装置300)中，处理器(例如，处理器310)可以被配置为：基于第一数据、第二数据和第三数据获取第一像素值，基于第二数据和第三数据获取第二像素值，并且基于第二数据、第三数据和第四数据获取第三像素值。
在根据实施例的电子装置(例如，电子装置300)中，处理器(例如，处理器310)可以被配置为：通过分别对第一数据、第二数据和第三数据应用不同权重来获取第一像素值，通过对第二数据和第三数据中的每一者应用相同权重来获取第二像素值，并且通过分别对第二数据、第三数据和第四数据应用不同权重来获取第三像素值。
在根据实施例的电子装置(例如，电子装置300)中，处理器(例如，处理器310)可以被配置为维持和输出有效像素数据的纵横比。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可以用来指代相似或相关的元件。将理解的是，与项相应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可以用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)耦接”、“耦接到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可以与所述另一元件直接(例如，有线地)耦接、与所述另一元件无线连接、或经由第三元件与所述另一元件耦接。
如与本公开的各种实施例关联使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并可以与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可以将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在机器(例如，电子装置101)的处理器(例如，处理器120)的控制下，该处理器可以在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来分发计算机程序产品，或者可以经由应用商店(例如，Play StoreTM)在线分发(例如，下载或上传)计算机程序产品，或者可以直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线分发的，则计算机程序产品中的至少部分可以是临时产生的，或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可以省略上述部件中的一个或更多个部件，或者可以添加一个或更多个其它部件。可选择地或者另外地，可以将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可以仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可以顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可以按照不同的顺序来运行或被省略，或者可以添加一个或更多个其它操作。

Claims (15)

1.一种电子装置，所述电子装置包括：
相机模块；以及
至少一个处理器，所述至少一个处理器电连接到所述相机模块，
其中，所述相机模块包括：
微透镜阵列，所述微透镜阵列包括多个微透镜；
滤色器阵列，所述滤色器阵列设置在所述微透镜下方并且包括多个滤色器；以及
光接收元件阵列，所述光接收元件阵列设置在所述滤色器阵列下方并且包括多个光接收元件，
其中，所述微透镜阵列的第一行包括第一微透镜和与所述第一微透镜相邻的第二微透镜，
其中，所述滤色器阵列的第一行包括设置在所述第一微透镜下方的第一滤色器和第二滤色器以及设置在所述第二微透镜下方的第三滤色器和第四滤色器，所述滤色器阵列的第一行与所述微透镜阵列的第一行相对应，并且
其中，所述光接收元件阵列的第一行包括设置在所述第一滤色器下方的第一光接收元件、设置在所述第二滤色器下方的第二光接收元件、设置在所述第三滤色器下方的第三光接收元件、以及设置在所述第四滤色器下方的第四光接收元件，所述光接收元件阵列的第一行与所述滤色器阵列的第一行相对应。
2.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为：
基于由所述第一光接收元件获取的第一数据、由所述第二光接收元件获取的第二数据、以及由所述第三光接收元件获取的第三数据，获取第一像素值，
基于所述第二数据和所述第三数据获取第二像素值，以及
基于所述第二数据、所述第三数据以及由所述第四光接收元件获取的第四数据获取第三像素值。
3.根据权利要求2所述的电子装置，
其中，所述至少一个处理器被进一步配置为：通过分别对所述第一数据、所述第二数据和所述第三数据应用不同权重来获取所述第一像素值。
4.根据权利要求2所述的电子装置，
其中，所述至少一个处理器被进一步配置为：通过对所述第二数据和所述第三数据中的每一者应用相同权重来获取所述第二像素值。
5.根据权利要求2所述的电子装置，
其中，所述至少一个处理器被进一步配置为：通过分别对所述第二数据、所述第三数据和所述第四数据应用不同权重来获取所述第三像素值。
6.根据权利要求2所述的电子装置，
其中，所述至少一个处理器被进一步配置为：基于所述第一光接收元件、所述第二光接收元件、所述第三光接收元件和所述第四光接收元件生成自动聚焦AF数据。
7.根据权利要求6所述的电子装置，其中，所述至少一个处理器被进一步配置为：
基于所述第一像素值、所述第二像素值和所述第三像素值生成颜色数据，以及
顺序地输出所述颜色数据和所述AF数据。
8.根据权利要求1所述的电子装置，
其中，所述处理器被配置为：基于由所述第一光接收元件获取的第一数据、由所述第二光接收元件获取的第二数据、由所述第三光接收元件获取的第三数据、以及由所述第四光接收元件获取的第四数据，获取第一像素值、第二像素值和第三像素值。
9.根据权利要求1所述的电子装置，
其中，所述滤色器阵列的所述第一滤色器、所述第二滤色器、所述第三滤色器和所述第四滤色器具有第一颜色，并且
其中，设置在与挨着所述滤色器阵列的第一行定位的第二行和第三行的所述第一滤色器、所述第二滤色器、所述第三滤色器和所述第四滤色器中的任何一个相同的列中的滤色器包括具有第一颜色的第一组。
10.根据权利要求9所述的电子装置，
其中，包括具有与所述第一组相同数目的滤色器的第二组，所述第二组的滤色器具有第二颜色，
其中，包括具有与所述第一组相同数目的滤色器的第三组，其中，所述第三组的滤色器具有第三颜色，
所述第一组、所述第二组和所述第三组形成特定图案。
11.一种相机模块，所述相机模块包括：
图像信号处理器；
微透镜阵列，所述微透镜阵列包括多个微透镜；
滤色器阵列，所述滤色器阵列设置在所述微透镜下方并且包括多个滤色器；以及
光接收元件阵列，所述光接收元件阵列设置在所述滤色器阵列下方并且包括多个光接收元件，
其中，所述微透镜阵列的第一行包括第一微透镜和与所述第一微透镜相邻的第二微透镜，
其中，所述滤色器阵列的第一行包括设置在所述第一微透镜下方的第一滤色器和第二滤色器以及设置在所述第二微透镜下方的第三滤色器和第四滤色器，所述滤色器阵列的第一行与所述微透镜阵列的第一行相对应，并且
其中，所述光接收元件阵列的第一行包括设置在所述第一滤色器下方的第一光接收元件、设置在所述第二滤色器下方的第二光接收元件、设置在所述第三滤色器下方的第三光接收元件、以及设置在所述第四滤色器下方的第四光接收元件，所述光接收元件阵列的第一行与所述滤色器阵列的第一行相对应。
12.根据权利要求11所述的相机模块，其中，所述图像信号处理器被配置为：
基于由所述第一光接收元件获取的第一数据、由所述第二光接收元件获取的第二数据、以及由所述第三光接收元件获取的第三数据，获取第一像素值，
基于所述第二数据和所述第三数据获取第二像素值，以及
基于所述第二数据、所述第三数据以及由所述第四光接收元件获取的第四数据，获取第三像素值。
13.根据权利要求12所述的相机模块，
其中，所述图像信号处理器被进一步配置为：通过分别对所述第一数据、所述第二数据和所述第三数据应用不同权重来获取所述第一像素值。
14.根据权利要求12所述的相机模块，
其中，所述图像信号处理器被进一步配置为：通过对所述第二数据和所述第三数据中的每一者应用相同权重来获取所述第二像素值。
15.根据权利要求12所述的相机模块，
其中，所述图像信号处理器被进一步配置为：通过分别对所述第二数据、所述第三数据和所述第四数据应用不同权重来获取所述第三像素值。
CN202180077910.8A 2020-11-18 2021-11-18 相机模块和包括相机模块的电子装置 Pending CN116530088A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0154925 2020-11-18
KR1020200154925A KR20220068034A (ko) 2020-11-18 2020-11-18 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치
PCT/KR2021/017007 WO2022108365A1 (ko) 2020-11-18 2021-11-18 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치

Publications (1)

Publication Number Publication Date
CN116530088A true CN116530088A (zh) 2023-08-01

Family

ID=81709516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180077910.8A Pending CN116530088A (zh) 2020-11-18 2021-11-18 相机模块和包括相机模块的电子装置

Country Status (5)

Country Link
US (1) US11895401B2 (zh)
EP (1) EP4210323A4 (zh)
KR (1) KR20220068034A (zh)
CN (1) CN116530088A (zh)
WO (1) WO2022108365A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230167874A (ko) 2022-06-03 2023-12-12 에스케이이노베이션 주식회사 리튬 이차 전지용 전해액 및 이를 포함하는 리튬 이차 전지

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006038A (ja) 2005-06-22 2007-01-11 Canon Inc 画像処理装置及び画像処理方法及びプログラム及び記憶媒体
JP2010252277A (ja) 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ
CN102483510B (zh) 2009-11-20 2015-04-15 富士胶片株式会社 固态成像装置
JP5967950B2 (ja) * 2011-04-20 2016-08-10 キヤノン株式会社 撮像素子及び撮像装置
JP5556823B2 (ja) 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
WO2013108656A1 (ja) 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム
JP2013172292A (ja) * 2012-02-21 2013-09-02 Sony Corp 撮像装置及び撮像素子アレイ
CN104205332B (zh) * 2012-03-30 2016-05-18 富士胶片株式会社 摄像元件以及摄像装置
JPWO2014112002A1 (ja) 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
US9711553B2 (en) 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
JP6296887B2 (ja) * 2014-05-07 2018-03-20 キヤノン株式会社 焦点調節装置およびその制御方法
EP3236500B1 (en) 2014-12-18 2022-04-20 Sony Group Corporation Solid-state image pickup element and electronic device
KR102348760B1 (ko) * 2015-07-24 2022-01-07 삼성전자주식회사 이미지 센서 및 그에 따른 신호 처리 방법
US9807294B2 (en) 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
KR102524400B1 (ko) * 2016-07-04 2023-04-24 에스케이하이닉스 주식회사 하나의 컬러 필터 및 하나의 마이크로렌즈를 공유하는 다수 개의 포토다이오드들을 갖는 이미지 센서
US20180026065A1 (en) 2016-07-21 2018-01-25 Visera Technologies Company Limited Image-sensor structures
KR102372736B1 (ko) 2017-03-06 2022-03-11 에스케이하이닉스 주식회사 위상차 검출 픽셀을 구비하는 이미지 센서
JP2019041352A (ja) * 2017-08-29 2019-03-14 キヤノン株式会社 撮像装置及び撮像システム
KR102407200B1 (ko) 2017-09-19 2022-06-10 삼성전자주식회사 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
KR102545173B1 (ko) * 2018-03-09 2023-06-19 삼성전자주식회사 위상 검출 픽셀들을 포함하는 이미지 센서 및 이미지 촬상 장치
KR102570048B1 (ko) 2018-03-20 2023-08-22 에스케이하이닉스 주식회사 이미지 센서
KR102632474B1 (ko) * 2019-02-11 2024-02-01 삼성전자주식회사 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
TW202044566A (zh) * 2019-05-10 2020-12-01 日商索尼半導體解決方案公司 攝像元件及電子機器
KR20210080875A (ko) * 2019-12-23 2021-07-01 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
JP2022171190A (ja) 2021-04-30 2022-11-11 株式会社東芝 経路検出装置およびプログラム

Also Published As

Publication number Publication date
EP4210323A1 (en) 2023-07-12
EP4210323A4 (en) 2024-01-10
WO2022108365A1 (ko) 2022-05-27
US20220345634A1 (en) 2022-10-27
KR20220068034A (ko) 2022-05-25
US11895401B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
US20230239576A1 (en) Method, apparatus, and storage medium for providing slow shutter
US20230209202A1 (en) Electronic device for performing image stabilization, and operating method therefor
US11558587B2 (en) Camera module comprising complementary color filter array and electronic device comprising same
US11895401B2 (en) Camera module for high resolution auto focusing and electronic device including same
US20230135693A1 (en) Electronic device including image sensor
EP4270934A1 (en) Electronic device comprising image sensor and method of operating same
EP4254977A1 (en) Electronic device comprising image sensor and operating method thereof
US11997405B2 (en) Electronic device integrating phase difference detection and imaging and method for controlling the same
US20230199294A1 (en) Electronic device including under display camera and operating method thereof
US20230154132A1 (en) Method for providing image and electronic device supporting the same
EP4329286A1 (en) Electronic device for synchronizing lens driving information with image
US20230388677A1 (en) Electronic device including image sensor and operating method thereof
EP4336856A1 (en) Electronic device for applying bokeh effect to image and operation method of same
US20220377246A1 (en) Electronic device including camera
EP4270928A1 (en) Electronic device comprising image sensor and operating method therefor
US20230199330A1 (en) Electronic device for processing continuous shooting input and method thereof
US20240078685A1 (en) Method for generating file including image data and motion data, and electronic device therefor
US20230254599A1 (en) Electronic device comprising image sensor and operation method of same
EP4307702A1 (en) Electronic device including image sensor and operating method thereof
EP4310588A1 (en) Image stabilizer and electronic device comprising same
KR20230113109A (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
KR20220115493A (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
KR20230120533A (ko) 전자 장치 및 이의 동작 방법
CN116848851A (zh) 包括图像传感器的电子设备及其操作方法
KR20230037382A (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination