CN114390192A - 用于提高图像分辨率的装置及其操作方法 - Google Patents

用于提高图像分辨率的装置及其操作方法 Download PDF

Info

Publication number
CN114390192A
CN114390192A CN202111209747.4A CN202111209747A CN114390192A CN 114390192 A CN114390192 A CN 114390192A CN 202111209747 A CN202111209747 A CN 202111209747A CN 114390192 A CN114390192 A CN 114390192A
Authority
CN
China
Prior art keywords
pixel
pixel data
image
sub
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111209747.4A
Other languages
English (en)
Inventor
李正局
崔允硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114390192A publication Critical patent/CN114390192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种电子装置及其方法和数字相机，包括：图像传感器，其基于通过透镜接收的光产生像素数据，所述透镜允许捕获的图像在第一方向上被压缩的失真；和图像信号处理器，其对像素数据执行重新拼接处理以校正在第一方向上发生的失真，并且产生重新拼接的像素数据。

Description

用于提高图像分辨率的装置及其操作方法
相关申请的交叉引用
本申请要求于2020年10月21日在韩国知识产权局提交的韩国专利申请No.10-2020-0136546的优先权，所述申请中的公开内容以引用方式全部并入本文中。
技术领域
本文描述的本公开的实施例涉及电子装置，并且更具体地，涉及用于提高包括允许失真的透镜的相机系统的图像分辨率的电子装置及其操作方法。
背景技术
图像传感器可分为电荷耦接装置(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器(CIS)等。CMOS图像传感器包括用CMOS晶体管实现的像素，并通过使用包括在每个像素中的光电转换元件将光能转换为电信号。CMOS图像传感器通过使用在每个像素处产生的电信号来获得关于捕获的图像或拍摄的图像的信息。
智能电话可配备有提供比诸如电影宽屏视图的经典视场更宽的视场的相机。图像可被裁剪以获得与图像传感器的宽高比相比具有更大的宽度的图像。在这种情况下，裁剪后的图像的视野变窄，并且在图像裁剪处理中丢弃原始图像的一部分。由于这个原因，可能更难以确保如用户所期望的更宽的视场。
通过使用允许更大的图像失真的透镜可确保更宽的视场。为了获得具有用户所期望的更宽视场的宽高比的图像，可解决这种图像失真。
发明内容
本公开的实施例提供了一种在包括允许失真的透镜的相机系统中通过使用多像素结构的图像传感器的重新拼接处理来提高图像分辨率的电子装置及其操作方法。
根据实施例，一种电子装置包括：图像传感器，其基于通过透镜接收的光产生像素数据，所述透镜允许捕获的图像在第一方向上被压缩的失真；以及图像信号处理器，其对产生的像素数据执行重新拼接处理以校正在第一方向上发生的失真，并产生重新拼接的像素数据。
根据实施例，一种电子装置包括：图像传感器，其基于通过透镜接收的光产生像素数据，所述透镜允许捕获的图像在第一方向上被压缩的失真；以及图像信号处理器，其对像素数据执行重拼接处理以校正在第一方向上发生的失真，并产生重拼接的像素数据。像素阵列包括：第一单位像素，其包括共享第一浮置扩散区和第一滤色器的第一多个子像素；第二单位像素，其包括共享第二浮置扩散区和第二滤色器的第二多个子像素；以及第三单位像素，其包括共享第三浮置扩散区和第三滤色器的第三多个子像素。
根据实施例，一种处理从图像传感器输出的信号的方法，所述图像传感器包括第一单位像素、第二单位像素和第三单位像素，所述第一单位像素包括第一多个子像素和第一滤色器，所述第二单位像素包括第二多个子像素和第二滤色器，所述第三单位像素包括第三多个子像素和第三滤色器，所述方法包括：基于通过透镜接收的光从多个子像素获取像素值，所述透镜允许捕获的图像在第一方向上被压缩的失真；通过对像素值执行相关双采样来产生像素数据；以及通过对所述像素数据执行重新拼接处理来产生重新拼接的像素数据，以校正在第一方向上发生的失真。
根据实施例，一种数字相机包括：透镜，其允许入射光在第一方向上的压缩；图像传感器，其被配置为基于通过透镜接收的入射光产生像素数据；以及图像信号处理器，其被配置为通过在第一方向上解压缩产生的像素数据来产生重新拼接的像素数据。
图像传感器可包括：第一单位像素，其包括共享第一浮置扩散区的第一多个子像素；第二单位像素，其包括共享第二浮置扩散区的第二多个子像素；以及第三单位像素，其包括共享第三浮置扩散区的第三多个子像素，其中，图像信号处理器被配置为仅将在第一方向上彼此相邻第一多个子像素、第二多个子像素和第三多个子像素重新拼接。
附图说明
通过参照附图详细描述本公开的实施例，本公开的上述和其它实施例将变得显而易见。
图1是示出根据本公开的实施例的图像处理部分的配置的框图。
图2是示出图1的像素阵列的配置的框图。
图3是示出与从包括图2的像素阵列的图像传感器输出的像素数据相关联的重新拼接处理的框图。
图4是示出执行图3的重新拼接处理的方法的框图。
图5是示出图1的像素阵列的另一配置的框图，图6是示出图5的单位像素之一的电路图。
图7是示出与从包括图5的像素阵列的图像传感器输出的第一像素数据相关联的数字分箱(digital binning)和与第二像素数据相关联的重新拼接处理的框图。
图8是示出执行图7的数字分箱和重新拼接处理的方法的框图。
图9是示出根据本公开的实施例的通过重新拼接处理来提高图像分辨率的处理的概念图。
图10是示出根据本公开的实施例的用于提高图像分辨率的装置的操作方法的流程图。
图11是示出根据本公开的另一实施例的图像处理块和应用处理器的配置的框图。
图12是示出采用根据本公开的实施例的图像分辨率提高方法的包括多相机模块的电子装置的配置的框图。
图13是示出图12的相机模块的配置的框图。
具体实施方式
以下，详细描述本公开的实施例，使得本领域技术人员可容易地实现本公开的所述实施例和其它实施例。
在详细描述中参照术语“单元”、“模块”、“块”等描述的组件以及在附图中示出的功能块可用软件、硬件或它们的组合来实现。例如，软件可包括机器代码、固件、嵌入式代码、应用软件或它们的组合。例如，硬件可包括电气电路、电子电路、处理器、计算机、集成电路、集成电路核心、图像传感器、压力传感器、惯性传感器、微机电系统(MEMS)、无源元件、或它们的组合。
图1示出根据本公开的实施例的图像处理块100的配置。图像处理块100可实现为诸如智能电话、数字相机、膝上型计算机、台式计算机等的各种电子装置的一部分。图像处理块100可包括透镜110、图像传感器120和图像信号处理器130。
可从由可接收反射光的透镜110瞄准的对象或场景10接收光。具体地，在本公开的实施例中使用的透镜110可确保宽视场，但是可允许图像在视场变宽的第一方向上被压缩的失真。例如，透镜110可以是变形透镜(anamorphic lens)，其确保在特定方向上的宽视场，但是允许图像在诸如视场变宽的特定方向上压缩的失真。下面，可假设由于透镜110而产生失真的方向与由于透镜110而使视场变宽的方向相同，但不限于此。
图像传感器120可基于通过透镜110接收的光产生电信号。例如，图像传感器120可用互补金属氧化物半导体(CMOS)图像传感器等来实现。例如，图像传感器120可以是具有双像素结构或四单元(tetra cell)结构的多像素图像传感器。
图像信号处理器130可通过适当地处理由图像传感器120产生的电信号来产生与从场景10捕获的光相关联的图像数据。在以下描述中，场景10可包括背景、风景等以及通常反射或发射光以由图像传感器120捕获的目标。
图像传感器120可包括像素阵列121。像素阵列121的像素可将光转换成电信号以产生像素值。图像传感器120可对像素值执行相关双采样(CDS)以产生像素数据PDAT。具体地，因为本公开的透镜110允许失真，所以像素数据PDAT可指示发生失真的图像。例如，在透镜110是允许在视场变宽的方向上失真的变形透镜的情况下，像素数据PDAT可指示在视场变宽的方向上发生失真的图像。在本公开中，发生失真的图像或数据是指基于通过允许失真的透镜接收的光产生的图像或数据。
图像信号处理器130可包括重新拼接处理器131。重新拼接处理器131可在发生失真的方向上对像素数据PDAT执行失真校正，并且可产生重新拼接的像素数据RDAT。例如，重新拼接处理器131可在发生失真的方向上对像素数据PDAT执行重新拼接处理。
例如，重新拼接处理器131可对指示在视场变宽的方向上发生失真的图像的像素数据PDAT执行重新拼接处理，并且可产生重新拼接的像素数据RDAT。在这种情况下，重新拼接的像素数据RDAT可指示通过校正由于透镜110导致的失真而提高了在发生失真的方向上的分辨率的图像。
例如，重新拼接处理可包括延伸处理(诸如在发生失真的方向上按比例放大(upscale)像素数据PDAT的大小)，以及基于像素数据PDAT的值执行内插。相反，重新拼接处理器131可不在不发生失真的方向上(诸如在视场不变宽的方向上)执行重新拼接处理。
图像信号处理器130可基于重新拼接的像素数据RDAT产生与场景10相关联的图像数据IDAT。为此，图像信号处理器130可对重新拼接的像素数据RDAT执行以下处理：颜色校正、自动白平衡、伽马校正、颜色饱和度校正、坏像素校正和色调校正。
在图1中示出一个透镜110和一个图像传感器120。然而，在另一实施例中，图像处理块100可包括多个透镜和多个图像传感器。在这种情况下，多个透镜可具有不同的视场，并且可导致不同的失真。多个图像传感器可具有不同的功能、不同的性能和/或不同的特性，并且分别包括在多个图像传感器中的像素阵列的配置或结构可不同。另外，图像传感器120还可包含诸如用于执行相关双采样(CDS)的模数转换器(ADC)、计数器、缓冲器等。
另外，尽管图1示出重新拼接处理器131以硬件形式在图像处理块100中实现的情况，但是本公开不限于此。在另一实施例中，图1的重新拼接处理器131可以以软件的形式在诸如独立于图像处理块100的应用处理器的主处理器上实现。将参照图11描述重新拼接处理器131以软件的形式在应用处理器上实现的实施例。
图2示出图1的像素阵列121的配置。像素阵列200可包括布置为具有M列和N行的矩阵的多个单位像素(诸如201至204)，其中M和N为整数。
多个单位像素中的每一个可包括滤色器。例如，多个单位像素中的每一个可包括使红色光谱的红光通过的红色滤光器、使绿色光谱的光通过的绿色滤光器、或使蓝色光谱的光通过的蓝色滤光器。在图2中，单位像素201和单位像素204中的每一个包括绿色滤光器，单位像素202包括红色滤光器，单位像素203包括蓝色滤光器。在以下描述中，包括绿色滤光器的像素被指示为Gr像素或Gb像素，包括红色滤光器的像素被指示为R像素，且包括蓝色滤光器的像素被指示为B像素。
像素阵列200的多个单位像素可以以拜耳图案(Bayer pattern)的形式布置。例如，可在像素阵列200的奇数行(诸如第一行和第三行)中的每一行处交替地设置Gr像素和R像素。例如，可在像素阵列200的偶数行(诸如第二行和第四行)中的每一行处交替地设置B像素与Gb像素。
像素阵列200的多个单位像素(诸如201至204)中的每一个可包括两个子像素(诸如201a至204b中的两个)。构成一个单位像素(诸如201)的两个子像素(诸如201a和201b)可共享一个微透镜，并且可包括相同的滤色器。也就是说，像素阵列200可具有双像素结构。每个子像素可包括诸如光电二极管的光电转换元件。在图2中，粗实线指示单位像素，细实线指示子像素。
构成一个单位像素(诸如201)的两个子像素(诸如201a和201b)可共享一个浮置扩散区，或者可分别包括浮置扩散区。每个子像素可输出模拟信号，并且从每个子像素输出的模拟信号可由模数转换器(ADC)转换为数字信号。像素数据PDAT可以是从各个子像素输出的一组信号。
在像素阵列200的单位像素以具有M列和N行的矩阵形式布置的情况下，像素数据PDAT的大小可由“M×N”表示。在以下描述中，在图像数据的大小由“M×N”表示的情况下，图像数据指示由以具有M列和N行的矩阵形式布置的单位像素表示的图像。
图2示出每个子像素占据相同大小的空间(诸如子像素201a占据的空间的大小和子像素201b占据的空间的大小相同)的情况。然而，本公开不限于此。例如，在另一实施例中，子像素可占据不同大小的空间，例如子像素201a占据的空间宽于子像素201b占据的空间。
图3示出与从包括图2的像素阵列200的图像传感器120输出的像素数据PDAT相关联的重新拼接处理。图3中示出的实施例的像素数据PDATa的大小为4×4，并且重新拼接的像素数据RDATa的大小为8×4，但本公开不限于此。下面，将参照图1至图3一起来提供描述。
因为像素阵列200的每个单位像素包括两个子像素，所以从像素阵列200的每个单位像素输出的图像数据可包括从构成每个单位像素的两个子像素输出的像素值。因此，像素数据PDATa可包括从像素阵列200的各个子像素输出的像素值。
重新拼接处理器131可在发生失真的方向(诸如视场变宽的方向)上对像素数据PDATa执行重新拼接处理，并且可产生重新拼接的像素数据RDATa。换句话说，重新拼接的像素数据RDATa指示的图像可以是这样的图像，其中，与像素数据PDATa指示的图像相比，数据大小在发生失真的方向上被放大，诸如在发生失真的方向上被按比例放大。
可基于像素数据PDATa的像素值(诸如从构成像素阵列200的各个子像素输出的像素值)来确定重新拼接的像素数据RDATa的像素值。例如，可通过基于像素数据PDATa的第一行210的像素值执行内插来确定重新拼接的像素数据RDATa的第一行220的像素值。当执行上述重新拼接处理时，重新拼接的像素数据RDATa可指示通过校正由于透镜110导致的失真而提高了在发生失真的方向上的分辨率的图像。
图4示出执行图3的重新拼接处理的方法。详细地，图4示出通过对图3的像素数据PDATa的第一行210执行重新拼接处理来产生图3的重新拼接的像素数据RDATa的第一行220的像素值的处理。
像素数据PDATa的第一行210可包括从4个单位像素(例如，8个子像素)输出的8个像素值Gr1至R4。重新拼接的像素数据RDATa的第一行220可包括8个像素值Gr1R至R4R。重新拼接处理器131可基于像素数据PDATa的第一行210的像素值来确定重新拼接的像素数据RDATa的第一行220的像素值。例如，重新拼接处理器131可通过基于像素数据PDATa的第一行210的像素值Gr1至R4执行内插来确定重新拼接的像素数据RDATa的第一行220的像素值Gr1R至R4R。
可基于像素数据PDATa的Gr像素值、Gb像素值、R像素值和B像素值来确定重新拼接的像素数据RDATa的Gr像素值、Gb像素值、R像素值和B像素值。例如，重新拼接的像素数据RDATa的像素值Gr1R可与像素数据PDATa的像素值Gr1相同。同样地，重新拼接的像素数据RDATa的像素值R2R、像素值Gr3R和像素值R4R可分别与像素数据PDATa的像素值R2、像素值Gr3和像素值R4相同。
例如，可基于像素数据PDATa的像素值Gr2和像素值Gr3来确定重新拼接的像素数据RDATa的像素值Gr2R，其中，Gr2的权重大于Gr3，因为Gr2R在第一方向上相比于接近Gr3更接近Gr2，但不限于此。
【等式1】
Figure BDA0003308414360000081
如在确定像素值Gr2R的上述方法中，可基于像素数据PDATa的像素值类似地确定像素值R1R、像素值R3R和像素值Gr4R。然而，本公开不限于此。例如，可通过不同于上述方法的方法来确定重新拼接的像素数据RDATa的像素值。
图5示出图1的像素阵列121的另一配置。像素阵列300可包括布置为N×M矩阵的多个单位像素(诸如301至304)，其中，M和N是整数。
多个单位像素中的每一个可包括滤色器。在图5中，单位像素301和单位像素304中的每一个包括绿色滤光器，单位像素302包括红色滤光器，并且单位像素303包括蓝色滤光器。像素阵列300的多个单位像素可以以拜耳图案的形式布置。
像素阵列300的多个单位像素(诸如301至304)中的每一个可包括4个子像素(诸如301a至304d中的四个)。构成一个单位像素(诸如301)的4个子像素(诸如301a至301d)可具有相同的滤色器。也就是说，可以以四单元结构实现像素阵列300。每个子像素可包括诸如光电二极管的光电转换元件。另外，每个子像素可包括微透镜，构成一个单位像素(诸如301)的4个子像素(诸如301a至301d)可共享一个浮置扩散区。
每个子像素可输出模拟信号，并且从每个子像素输出的模拟信号可由模数转换器转换为数字信号。像素数据PDAT可以是从各个子像素输出的一组信号。
图6示出图5的单位像素之一的电路图。例如，单位像素301可包括光电转换元件PD1至PD4、传输晶体管Tx1至Tx4、复位晶体管RST、双转换晶体管DC、驱动晶体管Dx和选择晶体管SEL。单位像素301可包括子像素301a至301d。
在本实施例中，虽然子像素301a在第一方向上与子像素301b的距离比在第二方向上与子像素301c的距离更近，这可具体适用于确保在第一方向上具有更宽视场的图像，但是实施例不限于此。例如，在替代实施例中，子像素301a可在第一方向上离子像素301b比在第二方向上离子像素301c更远，或者它可与子像素301b和子像素301C基本上等距。
此外，尽管子像素301a在第一方向上与子像素301b基本上水平对齐，并且在第二方向上与子像素301c基本上竖直对齐，但是实施例不限于此。例如，在替代实施例中，子像素301a可与子像素301b水平对齐但与子像素301c竖直交错、与子像素301b水平交错但与子像素301c竖直对齐、或与子像素301b水平交错并且与子像素301c竖直交错。
第一子像素301a可包括第一光电转换元件PD1和第一传输晶体管Tx1，其余子像素301b、301c和301d中的每一个可包括与第一子像素301a的元件类似的元件。子像素301a至301d中的每一个可共享复位晶体管RST、双转换晶体管DC、驱动晶体管Dx和选择晶体管SEL。另外，如参照图5所描述的，子像素301a至301d可共享浮置扩散区FD。
双转换晶体管DC可由双转换信号VDC驱动。当双转换晶体管DC断开时，浮置扩散区FD可与第一浮置扩散电容器CFD1连接。在这种情况下，浮置扩散区FD的电容可对应于第一浮置扩散电容器CFD1的电容。
当双转换晶体管DC导通时，浮置扩散区FD可与第二浮置扩散电容器CFD2以及第一浮置扩散电容器CFD1连接。扩展的浮置扩散区FD’指示当双转换晶体管DC导通时的浮置扩散区。可提供第二浮置扩散电容器CFD2以防止饱和。例如，浮置扩散电容器CFD1和CFD2可以是寄生电容器和/或电容器元件。
传输晶体管Tx1至Tx4可分别由传输信号VT1至VT4驱动，并可将由光电转换元件PD1至PD4产生或积分的电荷传输至浮置扩散区FD或扩展的浮置扩散区FD’。例如，传输晶体管Tx1至Tx4的第一端可分别与光电转换元件PD1至PD4连接，并且传输晶体管Tx1至Tx4的第二端可共同与浮置扩散区FD连接。
浮置扩散区FD或扩展的浮置扩散区FD’可累积对应于入射光量的电荷。当传输晶体管Tx1至Tx4分别由传输信号VT1至VT4导通时，浮置扩散区FD或扩展的浮置扩散区FD’可对从光电转换元件PD1至PD4提供的电荷进行累积。因为浮置扩散区FD与作为源极跟随器放大器操作的驱动晶体管Dx的栅极端子连接，所以可在浮置扩散区FD处形成对应于累积的电荷的电压。
复位晶体管RST可由复位信号VRST驱动并且可将电源电压VDD提供到浮置扩散区FD或扩展的浮置扩散区FD’。由此，累积在浮置扩散区FD或扩展的浮置扩散区FD’处的电荷可移动到用于诸如VDD的电源电压的端子，并且可复位浮置扩散区FD或扩展的浮置扩散区FD’的电压。
驱动晶体管Dx可将施加到其栅极端子的浮置扩散区FD或扩展的浮置扩散区FD’的电压放大到诸如施加到其输入端子的VDD的电压，以产生像素信号PIX。选择晶体管SEL可由选择信号VSEL驱动，并且可以以行为单位选择要读取的像素。当选择晶体管SEL导通时，可通过列线CL输出像素信号PIX。
图7示出与从包括图5的像素阵列300的图像传感器120输出的第一像素数据PDATb_1相关联的数字分箱以及与第二像素数据PDATb_2相关联的重新拼接处理。实施例在图5中被示出为第一像素数据PDATb_1和第二像素数据PDATb_2中的每一个的大小是4×4，并且重新拼接的像素数据RDATb的大小是8×4，但是本公开不限于此。下面，将一起参照图1、图5和图7给出描述。
因为像素阵列300的每个单位像素包括四个子像素，所以从像素阵列300的每个单位像素输出的图像数据可包括从构成每个单位像素的四个子像素输出的像素值。因此，第一像素数据PDATb_1可包括从像素阵列300的各个子像素输出的像素值。
第二像素数据PDATb_2可被产生作为在不发生失真的方向(诸如列方向)上对第一像素数据PDATb_1的像素值执行数字分箱的结果。例如，图像信号处理器130可通过在不发生失真的方向上对第一像素数据PDATb_1的像素值执行数字分箱来产生第二像素数据PDATb_2。例如，可通过在不发生失真的方向上对第一像素数据PDATb_1的第一行310的像素值执行数字分箱来确定第二像素数据PDATb_2的第一行320的像素值。
在另一实施例中，图像传感器120可执行模拟分箱。下面，将参照图6来描述对构成像素阵列300的单位像素中的一个(诸如301)执行模拟分箱的情况。
单位像素的第一传输晶体管Tx1和第三传输晶体管Tx3可同时导通，并且单位像素可输出与从第一光电转换元件PD1和第三光电转换元件PD3传输的电荷的总和相对应的第一像素信号。同样地，单位像素的第二传输晶体管Tx2和第四传输晶体管Tx4可同时导通，并且单位像素可输出与从第二光电转换元件PD2和第四光电转换元件PD4传输的电荷的总和相对应的第二像素信号。第一像素信号和第二像素信号中的每一个可通过模数转换器转换为数字信号。
其余的单位像素中的每一个也可输出各自与电荷的总和相对应的像素信号，并且输出的像素信号可分别被转换为数字信号。如此转换的一组数字信号可被输出作为像素数据。由此，像素阵列300可输出像素数据，诸如作为模拟分箱的结果而获得的第二像素数据PDATb_2。
重新拼接处理器131可在发生失真的方向上(诸如视场变宽的方向上)对第二像素数据PDATb_2执行重新拼接处理，并且可产生重新拼接的像素数据RDATb。换句话说，与第二像素数据PDATb_2指示的图像相比，重新拼接的像素数据RDATb指示的图像可以是数据大小在发生失真的方向上被放大(诸如，数据大小在发生失真的方向上被按比例放大，并且没发生失真的方向上的数据大小被相等地保持)的图像。
可基于第二像素数据PDATb_2的像素值(诸如从构成像素阵列300的各个子像素输出的像素值)来确定重新拼接的像素数据RDATb的像素值。例如，可通过基于第二像素数据PDATb_2的第一行320的像素值执行内插来确定重新拼接的像素数据RDATb的第一行330的像素值。当执行上述重新拼接处理时，重新拼接的像素数据RDATb可指示通过对由于透镜110导致的失真进行校正而提高了发生失真的方向上的分辨率的图像。
图8示出执行图7的数字分箱和重新拼接处理的方法。详细地，图8示出通过对图7的第一像素数据PDATb_1的第一行310的像素值执行数字分箱来产生图7的第二像素数据PDATb_2的第一行320的像素值，并且通过对第二像素数据PDATb_2的第一行320的像素值执行重新拼接处理来产生图7的重新拼接的像素数据RDATb的第一行330的像素值的处理。下面，将一起参照图1、图5和图8给出描述。
第一像素数据PDATb_1的第一行310可包括从4个单位像素(诸如16个子像素)输出的16个像素值Gr1至R8。第二像素数据PDATb_2的第一行320可包括8个像素值Gr1B至R4B。重新拼接的像素数据RDATb的第一行330可包括8个像素值Gr1R至R4R。
图像信号处理器130可通过在没有发生失真的方向(诸如列方向)上对第一像素数据PDATb_1的第一行310的像素值执行数字分箱来确定第二像素数据PDATb_2的第一行320的像素值。例如，第二像素数据PDATb_2的像素值Gr1B可被确定为第一像素数据PDATb_1的像素值Gr1和像素值Gr3的平均值，并且第二像素数据PDATb_2的像素值Gr2B可被确定为第一像素数据PDATb_1的像素值Gr2和像素值Gr4的平均值。
同样地，可通过计算第一像素数据PDATb_1的像素值的平均值来确定第二像素数据PDATb_2的其余的像素值中的每一个。然而，本公开不限于此。例如，图像信号处理器130可通过使用与上述方法不同的方法对第一像素数据PDATb_1的像素值执行数字分箱。
重新拼接处理器131可基于第二像素数据PDATb_2的第一行320的像素值来确定重新拼接的像素数据RDATb的第一行330的像素值。例如，重新拼接处理器131可通过基于第二像素数据PDATb_2的第一行320的像素值Gr1B至R4B执行内插来确定重新拼接的像素数据RDATb的第一行330的像素值Gr1R至R4R。
基于第二像素数据PDATb_2的第一行320的像素值Gr1B至R4B执行内插的方法与参照图4描述的方法相同，因此，为了避免重复，将省略额外的描述。然而，本公开不限于此。例如，可通过不同于上述方法的方法来确定重新拼接的像素数据RDATb的像素值。
图8示出重新拼接处理器131在重新拼接处理之前对第一像素数据PDATb_1执行数字分箱的情况，但是本公开不限于此。在另一实施例中，如参照图6和图7所描述的，像素数据可被输出作为执行模拟分箱的结果。同时，在另一实施例中，可不执行模拟分箱和数字分箱两者，并且重新拼接处理器131可通过使用第一像素数据PDATb_1的所有像素值来执行重新拼接处理。
此外，本公开不限于以图2的双单元结构或图5的四单元结构来实现图1的图像传感器120的情况。在另一实施例中，可以以多像素结构(其中，每个单位像素由各自包括相同的滤色器的多个子像素(诸如4个或更多)组成)来实现图1的像素阵列121。如参照图2和图5所描述的，每个单位像素可包括多个子像素，每个子像素包括诸如光电二极管的光电转换元件。构成一个单位像素的多个子像素可共享一个浮置扩散区或者可共享多个浮置扩散区。
图9概念性地示出了根据本公开的实施例的通过重新拼接处理来提高图像分辨率的处理。
在本公开的实施例中使用的透镜110可以是变形透镜，其能够确保在方向D1上的宽视场，并且允许图像在方向D1(诸如视场相对于场景10变宽的方向)上被压缩的失真。例如，具有宽高比2M：N的区域可以是能够通过在本公开的实施例中使用的透镜110捕获的区域，并且具有宽高比M：N的区域“b”可以是能够通过不引起失真的透镜捕获的区域。
像素阵列121可基于通过透镜110接收的光来产生作为电信号的像素数据PDAT。因为由于透镜110而发生图像在方向D1上被压缩的失真，所以像素数据PDAT的大小可以是“M×N”。如参照图2至图8所描述的，重新拼接处理器131可对像素数据PDAT执行重新拼接处理，以产生重新拼接的像素数据RDAT。重新拼接的像素数据RDAT指示的图像可以是与像素数据PDAT指示的图像相比，数据大小在方向D1上从“M”放大到“2M”(诸如数据大小在方向D1上按比例放大)的图像。
换句话说，重新拼接的像素数据RDAT的大小可以是“2M×N”，并且宽高比可以是“2M：N”。重新拼接的像素数据RDAT可指示通过对由于透镜110引起的失真进行校正而提高了在发生失真的方向上的分辨率(诸如从“M”到“2M”)的图像。
相反，为了通过使用不引起失真的经典透镜获得具有宽高比2M：N的图像，可能需要以下操作：捕获区域“b”，然后将捕获的图像裁剪为对应于区域“c”的大小。因此，与通过一般图像传感器获得的特定宽高比的图像相比，由本公开的图像传感器120获得的特定宽高比的图像可示出相当宽的区域。
图10是示出根据本公开的实施例的用于提高图像分辨率的装置的操作方法的流程图。下面，将一起参照图1和图10给出描述。
在操作S110中，像素阵列121可基于通过透镜110接收的光产生像素值。在操作S120中，图像传感器120可通过对由像素阵列121产生的像素值执行相关双采样(CDS)来产生像素数据PDAT。具体地，因为本公开的实施例中使用的透镜110允许失真，所以像素数据PDAT可指示发生失真的图像。例如，在透镜110是允许在视场变宽的方向上失真的变形透镜的情况下，像素数据PDAT可指示在视场变宽的方向上发生失真的图像。
在操作S130中，重新拼接处理器131可在发生失真的方向上对像素数据PDAT执行重新拼接处理，并且可产生重新拼接的像素数据RDAT。在这种情况下，重新拼接的像素数据RDAT可指示通过校正失真而提高了在发生失真的方向上的分辨率的图像。
图11是示出根据本公开的另一实施例的图像处理块100和应用处理器140的配置的框图。与图1不同，图11示出这样的实施例：其中，重新拼接处理器141不被包括在图像信号处理器130中，并且在独立于图像处理块100的应用处理器140中被实现为软件。
像素阵列121可基于通过透镜110接收的光产生像素数据PDAT，并且图像信号处理器130可基于像素数据PDAT产生与场景10相关联的图像数据IDAT。重新拼接处理器141可对图像数据IDAT执行重新拼接处理，以产生重新拼接的像素数据RDAT。除了重新拼接处理器141被包括在应用处理器140中之外，对图像数据IDAT执行重新拼接处理的方法与参照图2至图8描述的对像素数据PDAT执行重新拼接处理的方法相同，因此，为了避免重复，将省略额外的描述。
图12示出了采用根据本公开的实施例的图像分辨率提高方法的包括多相机模块的电子装置的配置。图13示出图12的相机模块的配置。
参照图12，电子装置1000可包括相机模块组1100、应用处理器1200、PMIC(电力管理集成电路)1300和外部存储器1400。
相机模块组1100可包括多个相机模块1100a、1100b和1100c。图12中示出了包括三个相机模块1100a、1100b和1100c的电子装置，但是本公开不限于此。在实施例中，相机模块组1100可被修改为仅包括两个相机模块。另外，在实施例中，相机模块组1100可被修改为包括“n”个相机模块，其中n是4或更大的自然数。
下面，将参照图13更全面地描述相机模块1100b的详细配置，但是下面的描述可同样地应用于其余的相机模块1100a和1100c。
参照图13，相机模块1100b可包括棱镜1105、光路折叠元件(OPFE)1110、致动器1130、图像感测装置1140和储存器1150。
棱镜1105可包括反光材料的反射平面1107，并且可改变从外部入射的光“L”的路径。
在实施例中，棱镜1105可将沿第一方向“X”入射的光“L”的路径改变为垂直于第一方向“X”的第二方向“Y”。此外，棱镜1105可通过在围绕中心轴1106的方向“A”上旋转反光材料的反射平面1107或者在方向“B”上旋转中心轴1106，将在第一方向“X”上入射的光“L”的路径改变为与第一方向“X”垂直的第二方向“Y”。在这种情况下，OPFE 1110可沿垂直于第一方向“X”和第二方向“Y”的第三方向“Z”上移动。
在实施例中，如图所示，棱镜1105在方向“A”上的最大旋转角度可在正A方向上等于或小于15度，并且可在负A方向上大于15度，但是本公开不限于此。
在实施例中，棱镜1105可在正B或负B方向上在大约20度内、在10度和20度之间或者在15度和20度之间移动；这里，棱镜1105可在正B或负B方向上以相同的角度移动，或者可在大约1度内以相似的角度移动。
在实施例中，棱镜1105可在第三方向(诸如与中心轴1106延伸的方向平行的Z方向)上移动反光材料的反射平面1107。
例如，OPFE 1110可包括由“m”个(m为自然数)透镜组成的光学透镜。这里，“m”个透镜可在第二方向“Y”上移动，以改变相机模块1100b的光学变焦比。例如，当相机模块1100b的默认光学变焦比是“Z”时，通过移动包括在OPFE 1110中的“m”个光学透镜，相机模块1100b的光学变焦比可被改变为3Z、5Z或更大的光学变焦比。OPFE 1110还可包括由“n”个(n是上述“m”个透镜前面的自然数)透镜组成的诸如变形透镜的光学透镜。
致动器1130可将OPFE 1110或光学透镜移动至特定位置。例如，致动器1130可调整光学透镜的位置，使得图像传感器1142被置于光学透镜的焦距处，以便精确感测。
图像感测装置1140可包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可通过使用通过光学透镜提供的光“L”来感测感测目标的图像。控制逻辑1144可控制相机模块1100b的总体操作。例如，控制逻辑1144可基于通过控制信号线CSLb提供的控制信号来控制相机模块1100b的操作。此外，控制逻辑1144可包括用于执行本公开的重新拼接处理的诸如图1的131的重新拼接处理器。
存储器1146可存储相机模块1100b的操作所需的信息，诸如校准数据1147。校准数据1147可包括相机模块1100b通过使用从外部提供的光“L”产生图像数据所需的信息。校准数据1147可包括例如关于上述旋转程度的信息、关于焦距的信息、关于光轴的信息等。在以其中焦距根据光学透镜的位置而变化的多状态相机的形式实现相机模块1100b的情况下，校准数据1147可包括用于光学透镜的每个位置(或状态)的焦距值和关于自动聚焦的信息。校准数据1147可包括关于执行本公开的重新拼接处理的方向的信息。
储存器1150可储存通过图像传感器1142感测到的图像数据。储存器1150可设置在图像感测装置1140的外部，并且可以以储存器1150和构成图像感测装置1140的传感器芯片堆叠的形状来实现。在实施例中，可用电可擦除可编程只读存储器(EEPROM)来实现储存器1150，但是本公开不限于此。
一起参照图12和图13，在实施例中，多个相机模块1100a、1100b和1100c中的每一个可包括致动器1130。由此，相同的校准数据1147或不同的校准数据1147可根据多个相机模块1100a、1100b和1100c中的致动器1130的操作而被包括在多个相机模块1100a、1100b和1100c中。
在实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(诸如1100b)可以是其中包括上述的棱镜1105和OPFE 1110的折叠透镜形状的相机模块，并且其余的相机模块(诸如1100a和1100c)可以是其中不包括上述的棱镜1105和OPFE 1110的竖直形状的相机模块；然而，本公开不限于此。
在实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(诸如1100c)可以是例如通过使用红外线(IR)来提取深度信息的竖直形状的深度相机。在这种情况下，应用处理器1200可将从深度相机提供的图像数据和从诸如1100a或1100b的任何其它相机模块提供的图像数据合并，并可产生三维(3D)深度图像。
在实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(诸如1100a和1100b)可具有不同的视场。在这种情况下，多个相机模块1100a、1100b和1100c中的至少两个相机模块(诸如1100a和1100b)可包括不同的光学透镜，但不限于此。
另外，在实施例中，多个相机模块1100a、1100b和1100c的视场可以是不同的。在这种情况下，多个相机模块1100a、1100b和1100c可包括不同的光学透镜，但不限于此。
在实施例中，多个相机模块1100a、1100b和1100c可设置为彼此物理分离。也就是说，多个相机模块1100a、1100b和1100c可不使用一个图像传感器1142的感测区域，而是多个相机模块1100a、1100b和1100c可分别在其中包括独立的图像传感器1142。
返回到图12，应用处理器1200可包括图像处理装置1210、存储器控制器1220和内部存储器1230。应用处理器1200可实现为与多个相机模块1100a、1100b和1100c分离。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可用单独的半导体芯片来实现。在实施例中，应用处理器1200可包括用于执行本公开的重新拼接处理的诸如图11的141的重新拼接处理器。
图像处理装置1210可包括多个子图像处理器1212a、1212b和1212c，图像产生器1214，和相机模块控制器1216。
图像处理装置1210可包括多个子图像处理器1212a、1212b和1212c，子图像处理器的数量对应于多个相机模块1100a、1100b和1100c的数量。
分别从相机模块1100a、1100b和1100c产生的图像数据可通过分离的图像信号线ISLa、ISLb和ISLc分别被提供给相应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a产生的图像数据可通过图像信号线ISLa被提供给子图像处理器1212a，从相机模块1100b产生的图像数据可通过图像信号线ISLb被提供给子图像处理器1212b，从相机模块1100c产生的图像数据可通过图像信号线ISLc被提供给子图像处理器1212c。例如，可通过使用相机串行接口(基于MIPI(移动工业处理器接口)的CSI)来执行该图像数据传输，但是本公开不限于此。
同时，在实施例中，一个子图像处理器可被设置为与多个相机模块相对应。例如，子图像处理器1212a和子图像处理器1212c可被集成地实现，而不是如图12中所示的那样彼此分离；在这种情况下，可通过诸如多路复用器的选择元件来选择分别从相机模块1100a和相机模块1100c提供的多条图像数据中的一条，并且可将选择的图像数据提供给集成子图像处理器。
分别提供给子图像处理器1212a、1212b和1212c的图像数据可被提供给图像产生器1214。图像产生器1214可根据图像产生信息(产生信息)或模式信号，通过使用分别从子图像处理器1212a、1212b和1212c提供的图像数据来产生输出图像。
更详细地，图像产生器1214可根据图像产生信息(产生信息)或模式信号，通过将分别从具有不同视场的相机模块1100a、1100b和1100c产生的图像数据的至少一部分合并来产生输出图像。此外，图像产生器1214可根据图像产生信息(产生信息)或模式信号，通过选择分别从具有不同视场的相机模块1100a、1100b和1100c产生的图像数据之一来产生输出图像。
在实施例中，图像产生信息(产生信息)可包括变焦信号或变焦因子。另外，在实施例中，模式信号可以是例如基于从用户选择的模式的信号。
在图像产生信息(产生信息)是变焦信号或变焦因子并且相机模块1100a、1100b和1100c具有不同的视场的情况下，图像产生器1214可根据变焦信号的种类执行不同的操作。例如，在变焦信号是第一信号的情况下，图像产生器1214可将从相机模块1100a输出的图像数据和从相机模块1100c输出的图像数据合并，并且可通过使用合并的图像信号和在合并操作中未使用的从相机模块1100b输出的图像数据来产生输出图像。在变焦信号是与第一信号不同的第二信号的情况下，在没有图像数据合并操作的情况下，图像产生器1214可选择分别从相机模块1100a、1100b和1100c输出的图像数据中的一个，并且可输出所选择的图像数据作为输出图像。然而，本公开不限于此，并且可无限制地修改所公开的处理图像数据的方法。
在实施例中，图像产生器1214可通过从多个子图像处理器1212a、1212b和1212c中的至少一个接收曝光时间不同的多个图像数据并且对多个图像数据执行高动态范围(HDR)处理来产生具有增加的动态范围的合并的图像数据，此外，在实施例中，图像产生器1214可通过接收发生失真的图像数据并且然后在发生失真的方向上对发生失真的图像数据执行重新拼接处理来产生具有改进的分辨率的图像数据。
相机模块控制器1216可分别向相机模块1100a、1100b和1100c提供控制信号。从相机模块控制器1216产生的控制信号可通过彼此分离的控制信号线CSLa、CSLb和CSLc分别被提供给相应的相机模块1100a、1100b和1100c。
多个相机模块1100a、1100b和1100c中的一个可根据包括变焦信号的图像产生信息(产生信息)或模式信号而被指定为主相机(诸如1100b)，并且其余的相机模块(诸如1100a和1100c)可被指定为从属相机。上述指定信息可被包括在控制信号中，并且包括指定信息的控制信号可通过彼此分离的控制信号线CSLa、CSLb和CSLc分别被提供给相应的相机模块1100a、1100b和1100c。
作为主相机和从属相机操作的相机模块可根据变焦因子或操作模式信号而改变。例如，在相机模块1100a的视场比相机模块1100b的视场宽并且变焦因子指示低变焦比的情况下，相机模块1100b可作为主相机操作，并且相机模块1100a可作为从属相机操作。相反，在变焦因子指示高变焦比的情况下，相机模块1100a可作为主相机操作，并且相机模块1100b可作为从属相机操作。
在实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个的控制信号可包括同步使能信号。例如，在相机模块1100b被用作主相机并且相机模块1100a和1100c被用作从属相机的情况下，相机模块控制器1216可将同步使能信号发送到相机模块1100b。被提供有同步使能信号的相机模块1100b可基于所提供的同步使能信号产生同步信号，并可通过同步信号线SSL将产生的同步信号提供给相机模块1100a和1100c。可利用同步信号将相机模块1100b以及相机模块1100a和1100c同步以将图像数据发送到应用处理器1200。
在实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个的控制信号可包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可关于感测速度在第一操作模式和第二操作模式下操作。
在第一操作模式中，多个相机模块1100a、1100b和1100c可以以第一速度产生图像信号(诸如可产生第一帧速率的图像信号)，可以以高于第一速度的第二速度编码图像信号(诸如可以编码高于第一帧速率的第二帧速率的图像信号)，并且将编码的图像信号发送到应用处理器1200。在这种情况下，第二速度可是第一速度的30倍或更小。
应用处理器1200可将接收到的图像信号(即，编码的图像信号)存储在其中提供的内部存储器1230中或存储在位于应用处理器1200外部的外部存储器1400中。然后，应用处理器1200可从内部存储器1230或外部存储器1400读取编码的图像信号并对编码的图像信号进行解码，并且可显示基于解码的图像信号产生的图像数据。例如，图像处理装置1210的子像处理器1212a、1212b和1212c中的相应的一个可对编码的图像信号执行解码，并且还可对解码的图像信号执行图像处理。
在第二操作模式中，多个相机模块1100a、1100b和1100c可以以低于第一速度的第三速度产生图像信号，并将图像信号发送到应用处理器1200。例如，相机模块可产生低于第一帧速率的第三帧速率的图像信号。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可对接收到的图像信号执行图像处理，或者可将图像信号存储在内部存储器1230或外部存储器1400中。
PMIC 1300可分别向多个相机模块1100a、1100b和1100c供应电力，例如，电源电压。例如，在应用处理器1200的控制下，PMIC 1300可通过电力信号线PSLa向相机模块1100a供应第一电力，可通过电力信号线PSLb向相机模块1100b供应第二电力，并且可通过电力信号线PSLc向相机模块1100c供应第三电力。
PMIC 1300可响应于来自应用处理器1200的电力控制信号PCON产生对应于多个相机模块1100a、1100b和1100c中的每一个的电力，并且可调节电力的水平。电力控制信号PCON可包括用于多个相机模块1100a、1100b和1100c的每一个操作模式的电力调节信号。例如，操作模式可包括低电力模式。在这种情况下，电力控制信号PCON可包括关于在低电力模式下操作的相机模块的信息和设置的电力水平。分别提供给多个相机模块1100a、1100b和1100c的电力的水平可彼此相同或者可彼此不同。此外，电力的水平可动态地改变。
根据本公开的实施例，可通过经由重新拼接处理来校正图像的失真来提高分辨率。具体地，通过使用多像素结构的图像传感器可增加或降低(诸如用于低光条件)图像分辨率。
尽管已经参考本公开的实施例描述了本公开，但是对于相关领域的普通技术人员来说，在不脱离如所附权利要求中阐述的本公开的精神和范围的情况下，可对本公开进行各种改变和修改是显而易见的。

Claims (20)

1.一种电子装置，包括：
图像传感器，其被配置为基于通过透镜接收的光产生像素数据，所述透镜允许捕获的图像在第一方向上被压缩的失真；以及
图像信号处理器，其被配置为对产生的所述像素数据执行重新拼接处理以校正在所述第一方向上发生的失真，并且产生重新拼接的像素数据。
2.根据权利要求1所述的电子装置，其中，所述图像传感器包括像素阵列，所述像素阵列包括：
第一单位像素，其包括第一多个子像素、第一滤色器和第一微透镜；
第二单位像素，其包括第二多个子像素、第二滤色器和第二微透镜；以及
第三单位像素，其包括第三多个子像素、第三滤色器和第三微透镜。
3.根据权利要求2所述的电子装置，其中，所述重新拼接处理包括增加所述像素数据在所述第一方向上的分辨率。
4.根据权利要求3所述的电子装置，其中，所述图像信号处理器基于所述像素数据中具有相同类型的像素数据的至少一部分来执行所述重新拼接处理。
5.根据权利要求1所述的电子装置，其中，所述图像传感器包括像素阵列，所述像素阵列包括：
第一单位像素，其包括共享第一浮置扩散区和第一滤色器的第一多个子像素；
第二单位像素，其包括共享第二浮置扩散区和第二滤色器的第二多个子像素；以及
第三单位像素，其包括共享第三浮置扩散区和第三滤色器的第三多个子像素，
其中，所述多个子像素中的每个子像素包括微透镜。
6.根据权利要求5所述的电子装置，其中，所述重新拼接处理包括针对所述像素数据增加所述像素数据在所述第一方向上的分辨率。
7.根据权利要求6所述的电子装置，其中，所述图像信号处理器基于所述像素数据中具有相同类型的像素数据的至少一部分来执行所述重新拼接处理。
8.根据权利要求5所述的电子装置，其中，所述图像信号处理器对从构成每个单位像素的子像素输出的像素值的至少一部分执行数字分箱，以及
其中，所述重新拼接处理包括增加所述像素数据在所述第一方向上的分辨率。
9.根据权利要求8所述的电子装置，其中，所述图像信号处理器基于作为所述数字分箱的结果获得的像素数据中具有相同类型的像素数据的至少一部分来执行所述重新拼接处理。
10.一种电子装置，包括：
图像传感器，其被配置为基于通过透镜接收的光产生像素数据，所述透镜允许捕获的图像在第一方向上被压缩的失真；以及
图像信号处理器，其被配置为对产生的所述像素数据执行重新拼接处理以校正在所述第一方向上发生的失真，并且产生重新拼接的像素数据，
其中，所述图像传感器包括像素阵列，所述像素阵列包括：
第一单位像素，其包括共享第一浮置扩散区和第一滤色器的第一多个子像素；
第二单位像素，其包括共享第二浮置扩散区和第二滤色器的第二多个子像素；以及
第三单位像素，其包括共享第三浮置扩散区和第三滤色器的第三多个子像素。
11.根据权利要求10所述的电子装置，其中，所述重新拼接处理包括增加所述像素数据在所述第一方向上的分辨率。
12.根据权利要求11所述的电子装置，其中，所述图像信号处理器基于所述像素数据中具有相同类型的像素数据的至少一部分来执行所述重新拼接处理。
13.根据权利要求10所述的电子装置，
其中，所述图像信号处理器对从构成每个单位像素的子像素输出的像素值的至少一部分执行数字分箱，以及
其中，所述重新拼接处理包括增加所述像素数据在所述第一方向上的分辨率。
14.根据权利要求13所述的电子装置，其中，所述图像信号处理器基于作为所述数字分箱的结果获得的像素数据中具有相同类型的像素数据的至少一部分来执行所述重新拼接处理。
15.一种处理从图像传感器输出的信号的方法，所述图像传感器包括第一单位像素、第二单位像素和第三单位像素，所述第一单位像素包括第一多个子像素和第一滤色器，所述第二单位像素包括第二多个子像素和第二滤色器，所述第三单位像素包括第三多个子像素和第三滤色器，所述方法包括：
基于通过透镜接收的光从多个子像素获取像素值，所述透镜允许捕获的图像在第一方向上被压缩的失真；
通过对所述像素值执行相关双采样来产生像素数据；以及
通过对所述像素数据执行重新拼接处理来产生重新拼接的像素数据，以校正在所述第一方向上发生的失真。
16.根据权利要求15所述的方法，其中，产生所述重新拼接的像素数据包括：增加所述像素数据在所述第一方向上的分辨率。
17.根据权利要求16所述的方法，其中，产生所述重新拼接的像素数据还包括：基于所述像素数据中具有相同类型的像素数据的至少一部分来执行所述重新拼接处理。
18.根据权利要求15所述的方法，还包括：
在产生所述重新拼接的像素数据之前，对从构成每个单位像素的子像素输出的像素值的至少一部分执行数字分箱。
19.根据权利要求18所述的方法，其中，产生所述重新拼接的像素数据包括：增加所述像素数据在所述第一方向上的分辨率。
20.根据权利要求19所述的方法，其中，产生所述重新拼接的像素数据还包括：基于作为所述数字分箱的结果获得的像素数据中具有相同类型的像素数据的至少一部分来执行所述重新拼接处理。
CN202111209747.4A 2020-10-21 2021-10-18 用于提高图像分辨率的装置及其操作方法 Pending CN114390192A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0136546 2020-10-21
KR1020200136546A KR20220053067A (ko) 2020-10-21 2020-10-21 왜곡을 발생시키는 렌즈를 갖는 카메라 시스템에서 이미지 해상도를 개선하는 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN114390192A true CN114390192A (zh) 2022-04-22

Family

ID=81185455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111209747.4A Pending CN114390192A (zh) 2020-10-21 2021-10-18 用于提高图像分辨率的装置及其操作方法

Country Status (3)

Country Link
US (1) US11758288B2 (zh)
KR (1) KR20220053067A (zh)
CN (1) CN114390192A (zh)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5381145B2 (ja) 2009-02-13 2014-01-08 セイコーエプソン株式会社 プロジェクター
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9438866B2 (en) * 2014-04-23 2016-09-06 Omnivision Technologies, Inc. Image sensor with scaled filter array and in-pixel binning
US9210391B1 (en) 2014-07-31 2015-12-08 Apple Inc. Sensor data rescaler with chroma reduction
US9219870B1 (en) 2014-07-31 2015-12-22 Apple Inc. Sensor data rescaler for image signal processing
JP6598507B2 (ja) 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US10033986B2 (en) 2015-05-26 2018-07-24 Google Llc Capturing light-field images with uneven and/or incomplete angular sampling
US10148864B2 (en) 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US9936123B2 (en) * 2016-08-04 2018-04-03 Omnivision Technologies, Inc. Camera and method with widescreen image on nearly-square aspect ratio photosensor array
CN106353747A (zh) 2016-09-06 2017-01-25 乐视控股（北京）有限公司 距离测量方法及装置
ES2741888T3 (es) 2017-03-13 2020-02-12 Lumileds Holding Bv Dispositivo de formación de imágenes con un rendimiento de enfoque automático mejorado
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
KR102441363B1 (ko) 2017-07-13 2022-09-07 삼성전자주식회사 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법
US10638055B2 (en) * 2018-01-15 2020-04-28 Qualcomm Incorporated Aperture simulation
JP2020043435A (ja) * 2018-09-07 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP7195120B2 (ja) * 2018-11-16 2022-12-23 キヤノン株式会社 撮像装置およびその制御方法
WO2020111369A1 (ko) * 2018-11-30 2020-06-04 엘지전자 주식회사 이미지 센서 및 그 제어 방법
US10853913B2 (en) * 2019-03-11 2020-12-01 Qualcomm Incorporated Color filter array pattern conversion
US11470286B2 (en) * 2019-07-16 2022-10-11 Mritunjay Singh Image sensors with color, panchromatic and infrared pixels
CN110944160B (zh) 2019-11-06 2022-11-04 维沃移动通信有限公司 一种图像处理方法及电子设备
US20210390747A1 (en) * 2020-06-12 2021-12-16 Qualcomm Incorporated Image fusion for image capture and processing systems
US11184553B1 (en) * 2020-09-23 2021-11-23 Qualcomm Incorporated Image signal processing in multi-camera system

Also Published As

Publication number Publication date
US11758288B2 (en) 2023-09-12
KR20220053067A (ko) 2022-04-29
US20220122219A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
US11425323B2 (en) Image sensor and operating method thereof
CN113766155A (zh) 一种用于补偿具有多滤色器阵列的图像传感器的串扰的设备和方法
CN113852769A (zh) 图像传感器及其合并方法
CN115633267A (zh) 图像传感器和操作图像传感器的方法
US20220116557A1 (en) Pixel array and image sensor including the same
CN115529427A (zh) 图像处理装置、电子装置以及用于噪声降低的装置的操作方法
CN114390227A (zh) 被配置为改善组合模式中的伪影的图像传感器
US11700460B2 (en) Image sensing apparatus and image binning method thereof
KR20220017649A (ko) 이미지 센서를 포함하는 전자 장치
US20220334357A1 (en) Image sensor for zoom processing and electronic device including the same
US11418737B2 (en) Image signal processor and electronic device and electronic system including the same
CN114390192A (zh) 用于提高图像分辨率的装置及其操作方法
US20230154945A1 (en) Image sensor
US20230005980A1 (en) Image sensor
US20220408038A1 (en) Image sensing device
US20240284056A1 (en) Image processor, image processing device including the same and image processing method
EP4184934B1 (en) Image sensor
US20240251185A1 (en) Imaging apparatus and an imaging system including the imaging apparatus
US20220337771A1 (en) Camera module and operating method of camera module
US20220174232A1 (en) Image sensor and pixel array of image sensor
US20240098384A1 (en) Image sensor including an auto-focus pixel
CN116095525A (zh) 图像传感器、应用处理器和图像感测装置
CN118555502A (zh) 包括执行移位操作的计数器的图像传感器及其操作方法
KR20230067491A (ko) 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination