CN114208147B - 图像传感器、相机模块和包括相机模块的光学装置 - Google Patents

图像传感器、相机模块和包括相机模块的光学装置 Download PDF

Info

Publication number
CN114208147B
CN114208147B CN202080056290.5A CN202080056290A CN114208147B CN 114208147 B CN114208147 B CN 114208147B CN 202080056290 A CN202080056290 A CN 202080056290A CN 114208147 B CN114208147 B CN 114208147B
Authority
CN
China
Prior art keywords
bayer pattern
image
processor
image sensor
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080056290.5A
Other languages
English (en)
Other versions
CN114208147A (zh
Inventor
金大勋
朴贞娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN114208147A publication Critical patent/CN114208147A/zh
Application granted granted Critical
Publication of CN114208147B publication Critical patent/CN114208147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

根据一个实施方式的图像传感器可以包括：图像感测单元，其接收光并且生成具有第一分辨率的第一拜耳图案；以及处理器，其从图像感测单元接收作为第一拜耳图案的至少一部分的第二拜耳图案，并且然后基于所接收的第二拜耳图案生成与第二拜耳图案相比具有更高的分辨率的第三拜耳图案。

Description

图像传感器、相机模块和包括相机模块的光学装置
技术领域
本发明涉及图像传感器、相机模块和包括相机模块的光学装置，并且更具体地，涉及用于使用包括在图像传感器中的单独的处理器来执行线图像处理的技术。
背景技术
随着技术进步和相机装置的小型化变得可能，小型相机装置正被应用于诸如智能电话、移动电话、PDA等的各种IT装置并且在其中使用。使用图像传感器(例如CCD或CMOS)作为主要部件来制造相机装置，并且相机装置被制造成实现聚焦调整，以调整图像的尺寸。
这样的相机装置被配置成包括多个透镜和致动器，并且相对于被摄体的对象可以以这样的方式被拍摄：当致动器移动每个透镜以改变相对距离时，光学焦距被调整。
具体地，相机装置包括：图像传感器，其将从外部接收的光信号转换为电信号；透镜，其将光聚焦到图像传感器上；红外(IR)滤波器；容纳它们的壳体；以及处理图像传感器信号的印刷电路板等，并且致动器通过诸如音圈马达(VCM)致动器或微机电系统(MEMS)致动器的致动器来调整透镜的焦距。
同时，随着技术的进步和使得能够实现高分辨率图像，对能够实现远处对象的高分辨率图像的技术的需求也在增加。
通常，相机配备有变焦功能以拍摄远处对象的照片，变焦功能主要分为光学变焦和数字变焦方法，在光学变焦中，相机内的实际透镜移动以放大被摄体，在数字变焦方法中，通过使用数字处理方法放大被拍摄的被摄体的图像数据的一部分来实现变焦效果。
在通过使用透镜移动来获得被摄体的图像的光学变焦的情况下，可以获得具有相对高分辨率的图像，但是存在的问题是相机的内部结构复杂，并且由于增加了部件而成本增加。另外，对可以通过使用光学变焦放大被摄体的区域存在限制，并且对于这部分，正在开发利用软件校正的技术。
除了这些方法之外，还存在通过移动相机内的部件生成更多像素信息来实现高分辨率图像的技术，例如利用音圈马达(VCM)或微机电系统(MEMS)技术来摇动传感器的传感器移位技术、通过利用VCM等摇动透镜来获得像素信息的光学图像稳定器(OIS)技术、以及将滤光器在传感器与透镜之间进行摇动的技术等。
然而，这些技术的缺点在于，当拍摄移动对象时，可能发生诸如运动模糊或伪像的现象，因为它们合成了若干视差的数据，这导致降低图像质量的问题。
另一方面，作为使用通常在TV中使用的软件算法的高分辨率实现技术，存在单帧超分辨率(SR)或多帧超分辨率(SR)技术等。
在这些技术的情况下，不存在伪像问题，但是这是一种难以应用于可以应用诸如移动设备、车辆、IoT等的小型相机模块的装置的算法，并且另外，安装单独的图像处理器以实现这样的技术。
然而，由于用于执行这样的合成算法的软件通常具有要处理的大量数据，因此存在即使在应用处理器(AP)中也难以实时处理的问题，并且即使AP可以执行这些功能，这样的AP也是昂贵的，并且存在制造成本增加的问题。
发明内容
技术主题
因此，本发明是为解决如上所述的现有技术的问题而设计的发明，并且要提供一种相机模块和包括该相机模块的光学装置，该相机模块和光学装置能够通过使用安装在图像传感器上的单独的处理器执行由AP处理的图像处理的至少一部分的预处理来执行相同的功能而无需安装昂贵的AP。
另外，要提供了一种相机模块和包括该相机模块的光学装置，相机模块和光学装置能够通过在AP中的图像处理之前基于从图像传感器接收的拜耳图案有关的信息对要输出至外部的图像执行预处理来减少AP上的负担。
技术解决方案
根据实施方式的一种图像传感器可以包括：图像感测单元，其接收光并且生成具有第一分辨率的第一拜耳图案；以及处理器，其用于从图像感测单元接收作为第一拜耳图案的至少一部分的第二拜耳图案，以基于所接收的第二拜耳图案生成与第二拜耳图案相比具有更高的分辨率的第三拜耳图案。
图像传感器可以包括对准单元，对准单元用于从图像感测单元接收第一拜耳图案，以通过分解或重新布置第一拜耳图案的至少一部分来生成第二拜耳图案。
处理器可以基于从对准单元接收的第二拜耳图案生成第三拜耳图案。
处理器可以通过对第一拜耳图案执行超分辨率(SR)或变焦来输出第二拜耳图案。
处理器可以通过基于通过执行深度学习获得的算法对第二拜耳图案执行图像处理来输出第三拜耳图案。
根据另一实施方式的一种相机模块可以包括：图像感测单元，其用于接收光以生成具有第一分辨率的第一拜耳图案；以及处理器，其用于从图像感测单元接收作为第一拜耳图案的至少一部分的第二拜耳图案，以基于接收到的第二拜耳图案来生成与第二拜耳图案相比具有更高的分辨率的第三拜耳图案。
相机模块可以包括对准单元，对准单元用于从图像感测单元接收第一拜耳图案，以通过分解或重新布置第一拜耳图案的至少一部分来生成第二拜耳图案。
处理器可以基于从对准单元接收的第二拜耳图案生成第三拜耳图案。
处理器可以通过基于通过执行深度学习获得的算法对第二拜耳图案执行图像处理来输出第三拜耳图案。
根据另一实施方式的一种光学装置包括：图像感测单元，其用于接收光以生成具有第一分辨率的第一拜耳图案；应用处理器AP，其用于接收从图像传感器输出的图像信息；以及处理器，其用于基于作为第一拜耳图案的至少一部分的第二拜耳图案来生成与第二拜耳图案相比具有更高的分辨率的第三拜耳图案，其中，图像信息可以包括与第三拜耳图案对应的信息。
处理器从AP接收图像信息，并且然后基于已接收的图像信息从第一拜耳图案中设置要设置为第二拜耳图案的范围，并且可以基于已设置的范围生成第三拜耳图案。
处理器可以将第三拜耳图案输出至AP。
图像信息可以包括关于第一拜耳图案的变焦信息，并且处理器可以基于变焦信息来设置要设置为第二拜耳图案的范围。
光学装置还可以包括向外部显示图像的显示器，并且第二拜耳图案的范围可以对应于显示器所显示的区域。
可以将处理器与AP分开独立地安装在相机模块内。
有益效果
根据实施方式的图像传感器、相机模块和包括该图像传感器、相机模块的光学装置可以通过使用安装在图像传感器上的单独的处理器执行由AP处理的图像处理的一部分来高效地执行图像处理而无需安装昂贵的AP，因此，存在可以相对经济地制造相机模块和包括相机模块的光学装置的效果。
另外，由于网络配置以优化的方式生成高分辨率图像，因此其可以利用相对小尺寸的芯片来实现，并且本技术可以通过将应用了本技术的芯片安装在相机装置中来实现，使得可以通过将本技术应用于不具有变焦功能的相机装置或仅支持针对特定倍率的固定变焦的相机装置来使用连续变焦功能。
另外，由于执行预处理的处理器可以执行由AP执行的一些功能，而不是使用可以通过深度学习过程最佳地执行图像处理的算法，所以可以减少由AP实时处理的数据量，并且因此，存在这样的效果：可以降低AP的功耗并且可以平稳地操作AP。
附图说明
图1是示出根据实施方式的图像传感器的部分配置的框图。
图2是示出根据实施方式的执行深度学习训练的过程的图。
图3是示出根据实施方式的具有通过处理器的第三拜耳图案的图像的图。
图4是示出根据另一实施方式的光学装置的部分配置的框图。
图5是示出根据另一实施方式的图像传感器的部分配置的框图。
图6是示出根据另一实施方式的图像传感器的部分配置的框图。
图7是示出根据实施方式的控制光学装置的方法的流程图。
具体实施方式
在本说明书中描述的实施方式和在附图中示出的配置是所公开的发明的优选示例，并且在提交本申请时可以存在可以替换本说明书的实施方式和附图的各种修改。
另外，本说明书中使用的术语用于描述实施方式，并且不旨在限制和/或限定所公开的发明。除非上下文另外明确指出，否则单数表达包括复数表达。
在本说明书中，诸如“包括”、“包含”或“具有”的术语旨在表示说明书中描述的特征、数字、步骤、动作、部件、部分或其组合的存在。或其他特征、数字、步骤、动作、部件、部分或其组合的存在或添加，或任何其他特征、数字、步骤、操作、部件、部分或其组合的存在或添加，并且包括序数，诸如本文中使用的“第一”和“第二”。上述术语可以用来描述各种部件、但是部件不受术语的限制。
在下文中，将参照附图详细描述本发明的实施方式，以使本领域的普通技术人员可以容易地实现本发明。另外，在附图中，为了清楚地描述本发明，省略了与说明书无关的部分。
图1是示出根据实施方式的图像传感器200的部分配置的框图。
参照图1，根据实施方式，根据实施方式的图像传感器200可以包括：图像感测单元210，其用于获取外部对象的图像；对准单元220，其用于通过对准或合成由图像感测单元210获取的图像来生成新图像；以及处理器230，其用于基于从对准单元220接收的图像执行深度学习。
图像感测单元210可以包括将通过安装在相机模块100上的透镜120进入的光转换成电信号的装置。具体地，感测单元210可以包括各种类型的图像传感器，例如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)。
具体地，图像感测单元210基于通过透镜120获得的信息生成具有第一分辨率的第一拜耳图案，并将生成的第一拜耳图案发送至对准单元220。
一般的相机装置或相机设备可以通过从图像传感器接收拜耳图案并且应用颜色(颜色插值处理、颜色插值或去马赛克)的处理来输出图像数据，并且此处，拜耳图案是指由相机模块100或图像感测单元210输出的原始数据，该图像感测单元210将包括在相机模块100中的光信号转换为电信号。
为了详细说明这一点，可以通过能够检测颜色R、G和B的图像传感器中设置的每个像素将通过包括在相机模块100中的透镜120透射的光信号转换成电信号。例如，如果相机模块100的规格是5百万像素，则可以认为包括以下图像传感器：该图像传感器包括能够检测颜色R、G和B的5百万像素。
并且实际上，如果图像传感器的像素的数目为5百万，则可以看出，每个像素不检测所有颜色，而是仅检测黑白亮度的黑白像素与R、G和B滤光器中的任何一个组合。也就是说，在图像传感器中，R、G和B滤色器以特定图案设置在布置成与像素的数目一样多的黑白像素单元上。
因此，根据用户(即，人)的视觉特性将R、G和B颜色图案彼此交叉地设置，并且这被称为拜耳图案。
通常，拜耳图案具有比图像数据小的数据量。因此，优点在于，即使装置配备有不具有高端处理器的相机模块，其也可以比图像数据相对更快地发送和接收拜耳图案图像信息，并且基于此，可以将拜耳图案图像转换成具有各种分辨率的图像。
例如，由于相机模块安装在车辆上，所以即使在使用全双工传输速度为100Mbit/s的低电压差分信号(LVDS)的环境中，相机模块也不需要许多处理器来处理图像，并且因此相机模块不会过载，从而其不会危及驾驶员或使用车辆的驾驶员的安全。
另外，由于可以减小通过车内通信网络传输的数据的大小，所以存在以下效果：即使将车内通信网络应用于自主车辆，也可以消除由根据在车辆中设置的多个相机的操作的通信方法、通信速度等引起的问题。
返回到图1和对图像传感器200的说明，对准单元220可以对准或合成由图像感测单元210获取的图像以生成新图像。
具体地，对准单元220通过从图像感测单元210接收第一拜耳图案，并且然后分解或重新布置第一拜耳图案的全部或部分来生成第二拜耳图案，并且可以将所生成的第二拜耳图案发送至处理器230。因此，第二拜耳图案可以具有与第一拜耳图案相同或更小的尺寸。
通常，在图像处理的情况下，仅对除了用户不期望的区域之外的用户期望的区域执行图像处理可以减少系统过载并且高效地执行图像处理。
因此，对准单元220可以通过分解或重新布置第一拜耳图案的至少一部分来生成第二拜耳图案，使得处理器230可以仅对从图像感测单元210接收到的第一拜耳图案中的将要执行图像处理的区域执行图像处理，并且将生成的第二拜耳图案发送至处理器230。
并且由于对准单元220不改变拜耳图案的分辨率，通常，第一拜耳图案和第二拜耳图案的分辨率可以被视为具有相同的分辨率。
在从图像感测单元210接收作为第一拜耳图案的至少一部分的第二拜耳图案之后，处理器230可以基于接收到的第二拜耳图案生成具有比第二拜耳图案更高分辨率的第三拜耳图案。
具体地，处理器230可以通过使用由深度学习训练生成的算法从接收自图像感测单元210的具有第一分辨率的第二拜耳图案生成第三拜耳图案，第三拜耳图案具有比第一拜耳图案分辨率高的第三分辨率值，并且第三拜耳图案的分辨率的值可以由用户根据用户的目的自由地设置和改变。
另外，处理器230对接收到的第一拜耳图案执行超分辨率(SR)或变焦，并且基于此可以生成第二拜耳图案。
因此，尽管在附图中未示出，但是根据实施方式的图像传感器200或相机模块100还可以包括输入单元，输入单元用于接收关于第三拜耳图案的信息，通过输入单元，用户可以将关于期望分辨率的信息发送至图像传感器200或相机模块100。
例如，如果用户想要获得高分辨率图像，则可以将第三分辨率设置为与第一分辨率具有较大差异的分辨率，并且当期望在相对短的时间内获取新图像时，可以将第三分辨率值自由地设置为与第一分辨率的值没有较大差异的分辨率。
在图1中，将对准单元220和处理器230示出为分离的部件，但不限于此，并且处理器230可以同时执行对准单元220的角色。
另外，处理器230可以通过存储器(未示出)来实现，在存储器中存储有通过处理器执行的至少一个程序指令。
具体地，存储器可以包括诸如SRAM或DRAM的易失性存储器。然而，存储器不限于此，并且在一些情况下，存储器还可以包括非易失性存储器，例如闪存存储器、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等。
到目前为止，已经描述了根据实施方式的图像传感器200的一般部件。在下文中，将描述生成应用于处理器230的算法的方法和特征。
应用于根据实施方式的图像传感器200的处理器230的算法是用于生成具有比输入图像的分辨率高的分辨率的图像的算法，并且可以意指通过重复执行深度学习训练而生成的最优算法。
深度学习(也称为深度结构化学习)是指一组与机器学习相关的算法，该机器学习通过若干非线性变换方法的组合来尝试高级抽象(对大量数据或复杂数据中的核心内容或功能进行概括的任务)。
具体地，深度学习以计算机能够理解的形式表达任何学习数据(例如，在图像的情况下，将像素信息表达为列向量等)，并且深度学习是用于大量研究的学习技术(如何形成更好的表示技术以及如何形成学习这些的模型)以将这些应用于学习，并且可以包括诸如深度神经网络(DNN)和深度信念网络(DBN)的学习技术。
例如，深度学习可以首先识别周围环境并且将当前环境状态发送至处理器。处理器执行与其对应的动作，并且环境再次根据该动作向处理器通知奖励值。并且处理器采取使奖励值最大化的动作。通过该过程，可以重复学习过程。
如上所述，在执行深度学习时使用的学习数据可以是通过将具有低实际分辨率的拜耳图像转换为具有高分辨率的拜耳图像而获得的结果，或者可以是通过模拟获得的信息。
如果执行模拟处理，则可以通过根据模拟的环境(图像的背景、颜色的类型等)调整模拟处理来更快速地获取数据。在下文中，将参照图3和图4详细描述根据实施方式的生成应用于处理器230的算法的方法。
图2是示出根据实施方式的具有已经通过处理器的第三拜耳图案的图像的图，并且图3是示出根据另一实施方式的光学装置的部分配置的框图。
图2的深度学习是应用深度神经网络(DNN)算法的深度学习，并且是示出当应用DNN算法时生成具有新分辨率的图像的过程的图。
可以将深度神经网络(DNN)指定为：深度神经网络，其中在输入层与输出层之间存在多个隐藏层；卷积神经网络，其形成神经元之间的连接模式，类似于动物的视觉皮层的结构；以及递归神经网络，其随着时间在每个时刻不断建立神经网络。
具体地，DNN通过重复卷积和子采样以减少数据量和失真来对神经网络进行分类。换言之，DNN通过特征提取和分类输出分类结果，并且主要用于图像分析，并且卷积意指图像滤波。
如果参照图2描述由应用了DNN算法的处理器230执行的过程，则处理器230基于具有第一分辨率的第一拜耳图案10对期望增大其倍率的区域执行卷积和子采样。
增大倍率意指仅放大由图像感测单元210获取的图像中的特定部分。因此，由于未被用户选择的部分是用户不感兴趣的部分，所以不需要执行增大分辨率的处理，使得只有被用户选择的部分可以经受卷积和子采样处理。
子采样是指减小图像尺寸的过程。作为示例，子采样可以使用最大池方法等。最大池是在给定区域中选择最大值的技术，类似于神经元如何响应最大信号。子采样具有降低噪声和提高学习速度的优点。
当执行卷积和子采样时，可以输出多个图像20，如图2所示。此后，可以使用尺度扩大(up-scale)方法基于输出的图像来输出具有不同特征的多个图像。尺度扩大方法意指使用r^2个不同滤波器将图像尺度扩大为r*r倍。
当根据尺度扩大30如图2所示输出多个图像时，处理器230可以基于这些图像重新组合图像，并且最终输出具有第二分辨率的第二拜耳图像40。
因此，如图3所示,当用户从具有第一分辨率的图像10中选择特定区域时，处理器230可以仅对该区域执行上述深度学习，并且作为其结果，如图3所示，可以生成具有第二分辨率的拜耳图像40。
通常，为了用小芯片实现能够深度学习的处理器，应当使深度学习过程和存储器门的数目最小化，并且此处，对门的数目具有最大影响的因素是算法复杂度以及每时钟处理的数据量，并且由处理器处理的数据量取决于输入分辨率。
因此，由于根据实施方式的处理器230以在降低输入分辨率之后执行尺度扩大以减少门的数目的方式创建高倍率图像，所以存在可以更快地生成图像的优点。
例如，如果需要将具有8MP(百万像素)的输入分辨率的图像变焦两次，则通过基于1/4区域(2MP)在水平方向和垂直方向上分别尺度扩大两倍来将其变焦两次。并且将1/4区域(2MP)尺度缩小到1/4并且使用分辨率为0.5MP的图像作为深度学习的输入数据之后，基于所生成的图像，如果以使宽度和长度分别尺度扩大4倍的方式将其变焦为4倍(4×)，则可以生成变焦2次的同一区域的变焦图像。
因此，在根据实施方式的处理器230中，为了防止由于输入分辨率损失而引起的性能劣化，深度学习通过学习多达与分辨率损失对应的倍率来生成图像，因此存在使性能劣化最小化的优点。
另外，用于实现高分辨率图像的基于深度学习的算法通常使用帧缓冲器，由于帧缓冲器的特性，帧缓冲器可能难以在通用PC和服务器中实时操作，然而，由于根据实施方式的处理器230应用已经通过深度学习生成的算法，因此其可以容易地应用于低规格相机装置和包括低规格相机装置的各种装置。另外，在具体应用该算法时，通过仅使用若干行缓冲器来实现高分辨率，因此还存在可以用相对小的芯片来实现处理器的效果。
另外，在本说明书中执行深度学习可以意指通过推理或迭代学习生成算法以生成如先前参照图2所述的最优算法的过程，但是同时，执行由这样的过程生成的算法也可以被视为执行深度学习。
图4是示出根据另一实施方式的光学装置的部分配置的框图。
参照图4，根据实施方式的光学装置400可以包括图像传感器200、包括图像传感器的相机模块100以及包括ISP 310的AP 300。
具体地，相机模块100可以包括滤光器110、透镜120、致动器130、驱动器IC 140和图像传感器200。
由于图像传感器200和包括在图像传感器200中的图像感测单元210、对准单元220和处理器230是与图1中所述那些部件起到相同作用的部件，因此将省略其描述。
相机模块100的滤光器110用于选择性地阻挡从外部进入的光，并且通常可以位于透镜120的上部。
透镜120是将诸如玻璃的透明材料的表面细磨成球形表面以收集或发射来自对象的光以形成光学图像的装置，并且相机模块100中使用的一般透镜120可以设置有具有不同特性的多个透镜。
致动器130可以通过调整透镜120或包括透镜120的镜筒的位置来调整焦点。例如，致动器130可以是音圈马达(VCM)类型。并且透镜120可以包括可变焦透镜。
当致动器130包括可变焦透镜时，驱动器IC 140可以驱动可变焦透镜。
驱动器IC 140可以意指将驱动信号和数据作为电信号提供给面板以在屏幕上显示字符或视频图像的半导体(IC)，并且如稍后将描述的，可以将驱动器IC 140设置在光学装置400的各种位置。另外，驱动器IC 140可以驱动致动器130。
应用处理器(AP)300是移动存储器芯片，并且可以意指负责光学装置400中的各种应用和图形处理的操作的核心半导体。
AP 300可以以片上系统(SoC)的形式实现，该片上系统包括计算机的中央处理单元(CPU)的功能以及控制存储器、硬盘、图形卡和其他设备的连接的芯片组的功能。
图像信号处理单元(ISP)310可以使用移动工业处理器接口(MIPI)通信接收由处理器230生成的第二拜耳图像，并且执行图像信号处理的过程。
图像信号处理单元310可以在处理图像信号时包括多个子过程。例如，可以对接收到的图像执行伽玛校正，或者可以执行以下中的至少一个或更多个：颜色校正、自动曝光校正和自动白平衡。
另外，在从AP 300再次接收到作为由图像感测单元210输出并且被发送至AP 300的信息的信息之后，根据实施方式的处理器230可以基于接收到的图像信息生成与第二拜耳图案相比具有更高分辨率的第三拜耳图案。
具体地，处理器230从AP 300接收图像信息，并且然后基于已接收到的图像信息从第一拜耳图案中设置要设置为第二拜耳图案的范围，并且基于设置的范围，可以生成第三拜耳图案，并且可以将生成的第三拜耳图案发送至AP 300。
并且图像信息可以包括关于第一拜耳图案的变焦信息，或者可以包括关于由向外部显示图像的显示器(未示出)显示的区域的信息。也就是说，变焦信息意指用户想要以较高的分辨率观看的区域，并且由显示器显示的区域意指在所拍摄的图像中显示在显示器上的一些图像。
因此，根据实施方式的处理器230基于这样的信息不对不需要执行图像处理的部分执行图像处理，而是选择性地仅对要执行图像处理的区域执行图像处理，使得可以提高效率。
例如，在感兴趣区域由于具有8Mp分辨率的图像传感器中的变焦而对应于图像的1/4的情况下，与由于变焦而仅输入与感兴趣区域(整个图像的1/4)对应的2Mp相比，当将具有8Mp大小的图像按照8MP输入时，处理器的操作受到很大影响。也就是说，这是因为对非感兴趣区域的图像处理消耗大量时间并且可能使处理器的操作过载。
然而，根据实施方式的处理器230基于从AP 300接收的信息，不对不需要处理的部分执行图像处理，而是选择性地仅对必须执行图像处理的区域执行图像处理，使得存在可以更有效地执行图像处理的效果。
另外，由于根据实施方式的图像传感器200通过传感器内部的自集成来执行SR功能，所以可以提高存储器的使用效率，并且存在以下效果：通过使用图像传感器200的3堆栈式DRAM结构，避免用于保证实时性能的单独冗余存储器堆栈结构。
通常，在生成更多像素信息以实现高分辨率图像的技术的情况下，存在单帧超分辨率(SR)或多帧超分辨率(SR)技术等，但在这些技术的情况下，不存在伪像(artifact)问题，然而其是难以应用于可以应用诸如移动设备、车辆、IoT等的小型相机模块的装置的算法，并且另外，为了实现这样的技术，安装了单独的图像处理器。
然而，由于用于执行这样的合成算法的软件通常具有要处理的大量数据，因此存在即使在应用处理器(AP)中也难以实时处理的问题，并且即使AP可以执行这些功能，这样的AP也是昂贵的，并且存在制造成本增加的问题。
然而，如图4所示，根据实施方式的相机模块100或光学装置400，由于图像传感器200包括能够执行由AP 300处理的图像处理的一部分的处理器230，所以无需安装昂贵的AP就能够进行高效的图像处理，使得存在能够相对经济地制造相机模块和光学装置的效果。
另外，由于图像传感器200在AP 300中的图像处理之前基于关于拜耳图案的信息对图像执行预处理，所以存在减少了要由AP 300处理的数据量的效果。因此，存在通过这样的结构和序列降低了AP 300的功耗并且更平稳地操作AP 300的效果。
也就是说，在现有技术的情况下，为了在图像传感器、处理器与AP之间建立通信连接，需要“图像传感器输出(MIPI tx)-芯片输入(MIPI rx)-芯片输出(MIPI tx)-AP输入(MIPI rx)”结构。但是由于根据实施方式的光学装置400具有在图像传感器200内部执行预处理功能的处理器230，并且由处理器230生成的信息可以通过现有的图像传感器输出250(MIPI tx)被输出，所以存在使设计相对简单的效果。
因此，在根据示例性实施方式的光学装置400中，可以从现有技术的结构“图像传感器输出(MIPI tx)-芯片输入(MIPI rx)-芯片输出(MIPI tx)-AP输入(MIPI rx)”中删除部分“芯片输入(MIPI rx)-芯片输出(MIPI tx)”。另外，由于与图像传感器200的集成，可以降低MIPI IP的成本，使得可以经济地制造相机模块和光学装置，并且还可以提高设计的自由度。
另外，由于在图像传感器200内共享的各种数据信息在芯片中一起共享，所以也可以统一和传递AP 300的控制信号，并且也可以通过一起使用已经在图像传感器200中的EEPROM或闪存来节省存储器。
另外，由于图像传感器200还包括简单的ISP功能，所以如果将这些功能用于图像数据，则可以创建更多样的深度学习图像数据库，使得存在可以提高最终性能的效果。
图6是示出根据另一实施方式的图像传感器200的部分配置的框图。
图6对应于图像传感器200的图1的图像传感器200的更详细视图，并且将省略与图1重叠的描述。
通常，为了将从图像感测单元210输入并且通过内部块处理的大容量图像原始数据传发送至AP 300，必须使用高速MIPI接口。因此，图5中的锁相环(PLL)253是执行这样的功能的部件，并且可以发挥分频和倍增的作用，以实现若干Gbps的速度。
OTP 254是指用于存储图像感测单元210和SR算法的特定参数的存储空间。
I2C 255是用于根据用户对相机模块100的操纵从AP 300输出指令的接口，并且通常具有通过两条线SCL和SDA连接的总线结构。
在内部LDO(低压降输出)&POR 257中，内部LDO可以用于向图像感测单元210供电，并且在POR的情况下，可以与AP 300的操作指令同时执行用于节电模式下的平稳操作的复位功能。
图7是示出根据实施方式的控制光学装置400的方法的流程图。
参照图7，光学装置400可以基于从外部接收的关于对象的信息生成第一拜耳图案(S10)。
此后，在从AP接收到关于将被图像处理的区域的信息之后，将第一拜耳图案中的将被图像处理的至少部分区域创建为第二拜耳图案(S20、S30)。
此后，在执行深度学习以生成具有比第二拜耳图案的分辨率高的分辨率的第三拜耳图案之后，可以将生成的第三拜耳图案发送至AP。
到目前为止，已经通过附图研究了图像传感器200、相机模块100和包括相机模块的光学装置400。
由于用于执行这样的合成算法的软件通常具有大量要处理的数据，因此存在即使在应用处理器(AP)中也难以实时处理的问题，并且即使AP能够执行这些功能，这样的AP也是昂贵的，并且存在制造成本增加的问题。
然而，根据实施方式的相机模块100或光学装置400，由于图像传感器200包括能够执行由AP 300处理的图像处理的一部分的处理器230，所以无需安装昂贵的AP就能够进行高效的图像处理，使得存在能够相对经济地制造相机模块和光学装置的效果。
也就是说，由于图像传感器200在AP 300中的图像处理之前基于关于拜耳图案的信息对图像执行预处理，所以存在减少要由AP 300处理的数据量的效果。因此，存在通过这样的结构和序列降低了AP 300的功耗和更平稳地操作AP 300的效果。
另外，由于根据实施方式的相机模块100以优化网络配置的方式生成高分辨率图像，因此其可以用相对小尺寸的芯片来实现，并且本技术可以通过将应用本技术的芯片安装在相机装置中来实现。因此，通过将本技术应用于不具有变焦功能的相机装置或仅支持针对特定倍率的固定变焦的相机装置，可以使用连续变焦功能。
到目前为止，虽然已经参照有限的实施方式和附图描述了实施方式，但是本领域技术人员根据以上描述可以进行各种修改和变化。例如，如果以与所描述的方法不同的顺序来执行所描述的技术，以及/或者以与所描述的方法不同的方式来组合或结合所描述的系统、结构、装置、电路等的部件，或者甚至由其他部件或等同物替换或替代，则可以实现适当的结果。因此，其他实施方式和权利要求的等同物也落入随后描述的权利要求的范围内。

Claims (14)

1.一种图像传感器，包括：
图像感测单元，其用于接收光并且生成具有第一分辨率的第一拜耳图案；
处理器，其形成在所述图像传感器内部，用于从所述图像感测单元接收作为所述第一拜耳图案的至少一部分的第二拜耳图案，并且基于所述第二拜耳图案生成与所述第二拜耳图案相比具有更高分辨率的第三拜耳图案；以及
对准单元，其用于从所述图像感测单元接收所述第一拜耳图案，并且通过分解或重新布置所述第一拜耳图案的至少一部分来生成所述第二拜耳图案，
其中，所述处理器通过基于通过执行深度学习获得的算法对所述第二拜耳图案执行图像处理来输出所述第三拜耳图案，并且
其中，所述处理器将所述第三拜耳图案输出至位于所述图像传感器外部的应用处理器AP。
2.根据权利要求1所述的图像传感器，其中，所述对准单元在所述处理器设定的范围内分解或重新布置所述第一拜耳图案的至少一部分。
3.根据权利要求1所述的图像传感器，其中，所述处理器基于从所述对准单元接收的所述第二拜耳图案来生成所述第三拜耳图案。
4.根据权利要求1所述的图像传感器，其中，所述处理器通过对所述第一拜耳图案执行超分辨率(SR)或变焦来输出所述第二拜耳图案。
5.一种相机模块，包括：
透镜；
图像感测单元，其用于接收光以生成具有第一分辨率的第一拜耳图案；
处理器，其形成在图像传感器内部，用于从所述图像感测单元接收作为所述第一拜耳图案的至少一部分的第二拜耳图案，并且基于所述第二拜耳图案生成与所述第二拜耳图案相比具有更高的分辨率的第三拜耳图案；以及
对准单元，其用于从所述图像感测单元接收所述第一拜耳图案，并且通过分解或重新布置所述第一拜耳图案的至少一部分来生成所述第二拜耳图案，
其中，所述处理器通过基于通过执行深度学习获得的算法对所述第二拜耳图案执行图像处理来输出所述第三拜耳图案；并且
其中，所述处理器将所述第三拜耳图案输出至位于所述图像传感器外部的应用处理器AP。
6.根据权利要求5所述的相机模块，其中，所述处理器基于从所述对准单元接收的所述第二拜耳图案生成所述第三拜耳图案。
7.根据权利要求6所述的相机模块，其中，所述对准单元在所述处理器设定的范围内分解或重新布置所述第一拜耳图案的至少一部分。
8.根据权利要求5所述的相机模块，其中，所述处理器通过对所述第一拜耳图案执行超分辨率(SR)或变焦来输出所述第二拜耳图案。
9.一种光学装置，包括：
图像感测单元，其用于接收光以生成具有第一分辨率的第一拜耳图案；
应用处理器AP，其用于接收从图像传感器输出的图像信息；
处理器，其形成在所述图像传感器内部，用于基于作为所述第一拜耳图案的至少一部分的第二拜耳图案来生成与所述第二拜耳图案相比具有更高的分辨率的第三拜耳图案；以及
对准单元，其用于从所述图像感测单元接收所述第一拜耳图案，并且通过分解或重新布置所述第一拜耳图案的至少一部分来生成所述第二拜耳图案，
其中，所述处理器通过基于通过执行深度学习获得的算法对所述第二拜耳图案执行图像处理来输出所述第三拜耳图案，
其中，所述处理器将所述第三拜耳图案输出至位于所述图像传感器外部的所述应用处理器AP；并且
其中，所述图像信息包括与所述第三拜耳图案对应的信息。
10.根据权利要求9所述的光学装置，其中，所述处理器从所述应用处理器AP接收图像信息，并且基于所述图像信息从所述第一拜耳图案中设置要设置为所述第二拜耳图案的范围，并且基于已经设置的所述范围生成所述第三拜耳图案。
11.根据权利要求9所述的光学装置，其中，所述图像信息包括关于所述第一拜耳图案的变焦信息，并且
其中，所述处理器基于所述变焦信息设置所述第二拜耳图案的范围。
12.根据权利要求11所述的光学装置，还包括用于向外部显示图像的显示器，并且
其中，所述第二拜耳图案的范围对应于由所述显示器显示的区域。
13.根据权利要求9所述的光学装置，其中，所述处理器与所述应用处理器AP分开独立地安装在所述图像传感器内部。
14.根据权利要求9所述的光学装置，其中，所述处理器与所述应用处理器AP分开独立地安装在相机模块内部。
CN202080056290.5A 2019-08-09 2020-08-05 图像传感器、相机模块和包括相机模块的光学装置 Active CN114208147B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0097830 2019-08-09
KR1020190097830A KR102213765B1 (ko) 2019-08-09 2019-08-09 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
PCT/KR2020/010361 WO2021029599A1 (ko) 2019-08-09 2020-08-05 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기

Publications (2)

Publication Number Publication Date
CN114208147A CN114208147A (zh) 2022-03-18
CN114208147B true CN114208147B (zh) 2023-07-25

Family

ID=74559963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080056290.5A Active CN114208147B (zh) 2019-08-09 2020-08-05 图像传感器、相机模块和包括相机模块的光学装置

Country Status (7)

Country Link
US (1) US20220224852A1 (zh)
EP (1) EP4013039A4 (zh)
JP (1) JP2022543783A (zh)
KR (1) KR102213765B1 (zh)
CN (1) CN114208147B (zh)
TW (1) TW202121887A (zh)
WO (1) WO2021029599A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11924589B2 (en) * 2019-12-27 2024-03-05 Semiconductor Energy Laboratory Co., Ltd. Imaging system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030020357A (ko) * 2000-07-06 2003-03-08 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 데이터 해상도를 향상시키는 방법 및 장치
JP2010130569A (ja) * 2008-11-28 2010-06-10 Samsung Digital Imaging Co Ltd 撮像装置及び撮像装置の制御方法
CN104704810A (zh) * 2012-07-12 2015-06-10 高途乐公司 图像捕获加速器
CN105874776A (zh) * 2013-12-30 2016-08-17 三星电子株式会社 图像处理设备和方法
JP2018151747A (ja) * 2017-03-10 2018-09-27 株式会社ツバサファクトリー 超解像度処理装置、超解像度処理方法およびコンピュータプログラム
KR20190037842A (ko) * 2017-09-29 2019-04-08 삼성전자주식회사 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US10229478B2 (en) * 2014-09-26 2019-03-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
WO2017126899A2 (en) * 2016-01-19 2017-07-27 Samsung Electronics Co., Ltd. Methods and systems for reconstructing a high frame rate high resolution video
KR101791573B1 (ko) * 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
RU2652722C1 (ru) * 2017-05-03 2018-04-28 Самсунг Электроникс Ко., Лтд. Обработка данных для сверхразрешения
KR102326165B1 (ko) * 2017-08-23 2021-11-16 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
US10643306B2 (en) * 2017-10-11 2020-05-05 Qualcomm Incoporated Image signal processor for processing images
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
US11704771B2 (en) * 2017-12-01 2023-07-18 Huawei Technologies Co., Ltd. Training super-resolution convolutional neural network model using a high-definition training image, a low-definition training image, and a mask image
KR102530752B1 (ko) * 2018-08-29 2023-05-10 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030020357A (ko) * 2000-07-06 2003-03-08 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 데이터 해상도를 향상시키는 방법 및 장치
JP2010130569A (ja) * 2008-11-28 2010-06-10 Samsung Digital Imaging Co Ltd 撮像装置及び撮像装置の制御方法
CN104704810A (zh) * 2012-07-12 2015-06-10 高途乐公司 图像捕获加速器
CN105874776A (zh) * 2013-12-30 2016-08-17 三星电子株式会社 图像处理设备和方法
JP2018151747A (ja) * 2017-03-10 2018-09-27 株式会社ツバサファクトリー 超解像度処理装置、超解像度処理方法およびコンピュータプログラム
KR20190037842A (ko) * 2017-09-29 2019-04-08 삼성전자주식회사 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치

Also Published As

Publication number Publication date
EP4013039A4 (en) 2023-06-14
EP4013039A1 (en) 2022-06-15
TW202121887A (zh) 2021-06-01
WO2021029599A1 (ko) 2021-02-18
JP2022543783A (ja) 2022-10-14
US20220224852A1 (en) 2022-07-14
CN114208147A (zh) 2022-03-18
KR102213765B1 (ko) 2021-02-08

Similar Documents

Publication Publication Date Title
CN110049236A (zh) 摄像头防抖电路、移动终端、组装方法
US11468539B2 (en) Image processing device and imaging device
US20240114245A1 (en) Imaging support device, imaging support system, imaging system, imaging support method, and program
EP4199496A1 (en) Image stabilization method and electronic device therefor
KR20220067034A (ko) 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체
CN114208147B (zh) 图像传感器、相机模块和包括相机模块的光学装置
KR102242939B1 (ko) 카메라 장치 및 카메라 장치의 이미지 생성 방법
KR102494123B1 (ko) 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
CN114270799B (zh) 相机装置以及相机装置的图像生成方法
US11825214B2 (en) Camera device and image generation method of camera device
KR102371944B1 (ko) 카메라 장치 및 카메라 장치의 이미지 생성 방법
US20240119561A1 (en) Image processing device and image processing method
KR20210044648A (ko) 영상 처리 장치 및 이를 포함하는 광학 기기
JP4522956B2 (ja) カメラシステム制御装置、そのプログラムおよびコンピュータ読取可能な記録媒体、カメラシステム、ならびにカメラシステムの制御方法
JP7000066B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20220159854A (ko) 이미지 처리 모듈
CN113079313B (zh) 图像处理装置、图像拾取装置、图像处理方法及存储介质
US11363209B1 (en) Systems and methods for camera zoom
US20230396884A1 (en) Electronic device for improving image quality, and operation method of same
US20240013362A1 (en) Image processing method, image processing apparatus, learning apparatus, manufacturing method of learned model, and storage medium
US20230232121A1 (en) Imaging device and imaging method
KR20210047070A (ko) 이미지 처리 장치 및 이미지 처리 방법
KR20120049669A (ko) 자동초점 기능이 내장된 고정초점 카메라 모듈

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant