CN107979716A - 相机模块和包括该相机模块的电子装置 - Google Patents

相机模块和包括该相机模块的电子装置 Download PDF

Info

Publication number
CN107979716A
CN107979716A CN201710990893.2A CN201710990893A CN107979716A CN 107979716 A CN107979716 A CN 107979716A CN 201710990893 A CN201710990893 A CN 201710990893A CN 107979716 A CN107979716 A CN 107979716A
Authority
CN
China
Prior art keywords
image
camera model
described image
region
point spread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710990893.2A
Other languages
English (en)
Other versions
CN107979716B (zh
Inventor
金玄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of CN107979716A publication Critical patent/CN107979716A/zh
Application granted granted Critical
Publication of CN107979716B publication Critical patent/CN107979716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

本公开提供一种相机模块和包括该相机模块的电子装置，所述相机模块包括：镜头模块，包括镜头；图像传感器，设置在所述镜头模块的下方并且被配置为从穿过所述镜头的光产生被摄体的图像；及逻辑控制器，被配置为使用像差信息对产生的所述图像执行分辨率校正计算，所述像差信息通过将产生的所述图像与所述被摄体的预先构建的清晰图像彼此比较来估计。

Description

相机模块和包括该相机模块的电子装置
本申请要求于2016年10月21日提交到韩国知识产权局的第10-2016-0137730号韩国专利申请的优先权的权益，所述韩国专利申请的全部公开内容出于所有目的通过引用被包含于此。
技术领域
本公开涉及一种相机模块和包括该相机模块的电子装置。
背景技术
近来，在诸如蜂窝电话、平板电脑、个人计算机(PC)等的移动装置中使用的显示器的像素的数量和尺寸已经迅速地增大。根据显示器的像素的数量的增大，在移动装置中使用的相机模块的像素的数量也已经增大。
根据移动装置的相机模块的开发的趋势，图像传感器的像素的尺寸已经根据移动装置的小型化和纤薄化而减小。由于像素的尺寸减小，发生了诸如在低照度下亮度不足、大量的噪声以及在背光条件下灰度表现力不足的现象。这些现象还在光学变焦功能中出现。
根据移动装置的纤薄化，通常，远摄镜头的高度受到限制，从而移动装置的相机模块的光学变焦的倍率限制为大约两倍。已经连续地进行这样的尝试：通过使用棱镜反射镜使入射到远摄镜头的光的路径弯曲以解决远摄镜头的高度的限制。然而，在具有弯曲形式的远摄镜头中，相机模块的高度可减小至6mm或更小，而光的路径可增大至20mm或更大，使得相机模块的长度增大至25mm的水平，造成相机模块的体积的增大。
另外，也已经连续地进行这样的尝试：通过使包括广角镜头的广角相机的图像和远摄相机的图像彼此合成以实现高的图像质量的光学变焦功能。当广角相机的图像和远摄相机的图像彼此合成时，有必要在相机模块中记录广角相机的图像和远摄相机的图像之间存在的相对图像对准值和畸变量信息，但是在制造过程中记录的图像对准值和畸变量信息可能不反映在相机模块的实际使用环境中产生的倾斜变化和焦距变化。
发明内容
提供本发明内容以按照简化的形式对所选择的构思进行介绍，并在具体实施方式中进一步描述所述构思。本发明内容既不意在限定所要求保护的主题的关键特征或必要特征，也不意在用于帮助确定所要求保护的主题的范围。
在一个总体方面，一种相机模块包括：镜头模块，包括远摄镜头；图像传感器，设置在所述镜头模块的下方并且被配置为从穿过所述远摄镜头的光产生被摄体的图像；及逻辑控制器，被配置为使用像差信息对产生的所述图像执行分辨率校正计算，所述像差信息通过将产生的所述图像与所述被摄体的预先构建的清晰图像彼此比较来估计。
所述像差信息可包括通过Blur_Image＝PSF*Clear_Image而被模型化的点扩散函数，这里，Blur_Image为由所述图像传感器产生的所述图像，PSF为所述点扩散函数，Clear_Image为所述被摄体的所述预先构建的清晰图像，并且*为卷积。
所述像差信息可包括包含从所述点扩散函数提取的峰的坐标位置和模糊的宽度的模糊参数。
所述像差信息可包括：所述图像的区域中的误差区域的点扩散函数；及所述图像的所述区域中的正常区域的模糊参数，其中，在所述区域中的每个的所述点扩散函数和参考点扩散函数的比较中，在所述误差区域中，所述点扩散函数和所述参考点扩散函数之间的差异等于或大于阈值，在所述正常区域中，所述点扩散函数和所述参考点扩散函数之间的差异低于所述阈值。
所述参考点扩散函数可基于所述相机模块的设计数据。
所述相机模块还可包括存储器，所述存储器被配置为将所述误差区域的所述点扩散函数和所述正常区域的所述模糊参数存储在其中。
所述误差区域的所述点扩散函数和所述正常区域的所述模糊参数的相应的数据大小可彼此不同。
所述存储器可为非易失性存储器。
所述逻辑控制器可根据在捕获所述被摄体的图像时的照度环境和焦点位置中的任意一者或两者对通过所述图像传感器产生的所述图像执行所述分辨率校正计算。
所述像差信息可包括包含关于所述区域的数量和大小的信息的去模糊参数。
所述远摄镜头可为弯曲的。
在另一总体方面，一种电子装置包括：镜头模块，包括远摄镜头；图像传感器，设置在所述镜头模块的下方并且被配置为从穿过所述远摄镜头的光产生被摄体的图像；主机模块，根据设定的光学变焦倍率放大由所述图像传感器产生的所述图像，以产生变焦图像，其中，所述主机模块接收从所述图像传感器传输的图像，对所述图像中的每个中的变焦区域进行裁切，然后将所述变焦区域被裁切的所述图像彼此合成，以产生变焦图像。
所述主机模块可以以超分辨率将所述变焦区域被裁切的所述图像彼此合成。
所述主机模块可包括缓冲器模块和信号处理器，所述缓冲器模块被配置为将从所述图像传感器传输的所述图像顺序地存储在其中，所述信号处理器被配置为：对存储在所述缓冲器模块中的所述图像中的每个中的所述变焦区域进行裁切，并且将所述变焦区域被裁切的所述图像彼此合成。
所述远摄镜头可为弯曲的。
所述超分辨率的合成产生四倍变焦图像。
通过以下具体实施方式、附图和权利要求，其他特征和方面将是显而易见的。
附图说明
图1是示出相机模块的示例的示意性分解透视图。
图2和图3分别描绘了示出图像传感器的示例的上表面和下表面的透视图。
图4是示出估计和存储点扩散函数(PSF)的方法的示例的流程图。
图5是示出随机噪声图案的示例的示图。
图6是示出产生像差信息的过程的示例的流程图。
图7至图9是示出根据本公开的各个示例的电子装置的主要单元的示例的框图。
图10是示出电子装置的主要单元的示例的框图。
在所有的附图和具体实施方式中，相同的标号指示相同的元件。附图可不按照比例绘制，为了清楚、说明及便利起见，可夸大附图中的元件的相对尺寸、比例和描绘。
具体实施方式
提供以下具体实施方式以帮助读者获得对这里所描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开内容后，这里所描述的方法、设备和/或系统的各种变换、修改及等同物将是显而易见的。例如，这里所描述的操作顺序仅仅是示例，并不局限于这里所阐述的顺序，而是除了必须以特定顺序发生的操作之外，可做出在理解本申请的公开内容后将是显而易见的改变。此外，为了提高清楚性和简洁性，可省略本领域中公知的特征的描述。
这里所描述的特征可以以不同的形式实施，并且将不被解释为局限于这里所描述的示例。更确切的说，已提供这里所描述的示例仅仅为示出在理解本申请的公开内容后将是显而易见的实现这里所描述的方法、设备和/或系统的很多可行的方式中的一些方式。
如这里所使用的，术语“和/或”包括相关所列项中的任意一个和任意两个或更多个的任意组合。
为了易于描述，这里可以使用诸如“在……上方”、“上”、“在……下方”以及“下”的空间相对术语，以描述如附图所示的一个元件相对于另一元件的关系。这样的空间相对术语意图包含除了附图中所描绘的方位以外装置在使用或操作中的不同方位。例如，如果图中的装置被翻转，则被描述为相对于另一元件位于“上方”或“上”的元件随后将相对于另一元件位于“下方”或“下”。因而，术语“在……上方”根据装置的空间方位包括上方和下方两种方位。装置也可以其他方式定位(例如，旋转90度或处于其他方位)，并且对这里使用的空间相对术语做出相应解释。
这里使用的术语仅用于描述各个示例且不用于限制本公开。除非上下文另外清楚地指出，否则单数冠词也意图包括复数形式。术语“包含”、“包括”和“具有”列举存在所陈述的特征、数量、操作、构件、元件和/或它们的组合，但是不排除存在或添加的一个或更多个其他特征、数量、操作、构件、元件和/或它们的组合。
由于制造技术和/或公差，如附图所示的形状会发生变型。因而，这里所描述的示例不局限于附图中所示的特定形状，而是包括制造期间所发生的形状上的变化。
这里所描述的示例的特征可以以在理解本申请的公开内容后将是显而易见的各种方式进行组合。此外，尽管这里所描述的示例具有各种构造，但是在理解本申请的公开内容后将是显而易见的其他构造是可能的。
图1是示出本公开的相机模块的示例的分解透视图的示意图。
参照图1，相机模块1包括图像传感器10、印刷电路板20、致动器保持件30、镜头模块40和外壳50。
图像传感器10安装在印刷电路板20上。电连接到主机(未示出)的连接器单元CON设置在印刷电路板20的一侧。致动器保持件30将镜头模块40容纳于其中，并且可向线圈施加驱动信号以沿着光轴方向驱动镜头模块40，其中，所述线圈设置为面对附着到镜头模块40的一侧的磁体。镜头模块40可包括多个镜头。作为示例，多个镜头为远摄镜头和/或弯曲的远摄镜头。
结合到镜头模块40的致动器保持件30安装在图像传感器10的像素阵列控制器200上。致动器保持件30可使用热粘合剂结合到印刷电路板20。外壳50将致动器保持件30支撑和固定于其中，并且作为示例，外壳50可由具有低热应变的金属形成。虽然在图1中没有详细地示出，但是除了图像传感器10之外，印刷电路板20还可设置有处理从图像传感器10输出的图像的辅助集成电路(IC)70。
图2和图3分别描绘了示出图像传感器的示例的上表面和下表面的透视图。
参照图2和图3，图像传感器10包括基板100、像素阵列控制器200、像素阵列驱动器311、采样控制器312、时钟信号产生器313、参考电压产生器314、数字转换器315、存储器单元316和数字信号处理器317。
基板100可以是硅基板，并且包括第一基板110和第二基板120。第一基板110和第二基板120可通过热熔工艺彼此结合。第一基板110和第二基板120具有形成在其中的多个过孔112，并且多个过孔112穿透第一基板110和第二基板120并且使第一基板110和第二基板120彼此电连接。作为示例，多个过孔112为硅通孔(TSV)。
多个垫111、像素阵列控制器200以及像素阵列驱动器311的行驱动器311a和列驱动器311b中的一个形成在第一基板110上。图2示出了像素阵列驱动器311的列驱动器311b形成在第一基板110上的情况。像素阵列驱动器311的行驱动器311a、采样控制器312、时钟信号产生器313、参考电压产生器314、数字转换器315、存储器单元316和数字信号处理器317形成在第二基板120上。电连接至主机以发送和接收数据和信号的串联接口318另外地形成在第二基板120上。
多个垫111设置在第一基板110的边缘区域中，并且将从外部源施加的电力供应到图像传感器10。在图像传感器10中，根据本公开的示例，组件被分开并被设置在第一基板110和第二基板120上以增大空间效率。
像素阵列控制器200包括以矩阵形式设置在X(这里，X为2或更大的自然数)行和Y(这里，Y为2或更大的自然数)列的多个像素，并且多个像素中的每个可设置有光电二极管。
根据本公开的示例的像素阵列控制器200为色彩像素阵列。色彩像素阵列为具有红色、绿色和蓝色形式的RGB格式的色彩像素阵列。另外，色彩像素阵列可以是具有红色、绿色、蓝色和白色形式的RGBW格式的色彩像素阵列和具有红色、白色和蓝色形式的RWB格式的色彩像素阵列中的一者。白色像素可以添加到色彩像素阵列中以改善敏感性，从而补偿在低照度下的亮度。
色彩像素阵列200可以是两个或更多个像素阵列层沿着竖直方向堆叠的多层色彩像素阵列。与通常的二维地设置的色彩像素阵列相比，三维地设置的多层色彩像素阵列可减小图像捕获区域，从而减小相机模块的尺寸和高度。
像素阵列驱动器311包括行驱动器311a和列驱动器311b。行驱动器311a可在像素阵列控制器200中的以矩阵形式设置的多个像素中选择沿着行方向设置的像素并且驱动所选择的沿着行方向设置的像素。列驱动器311b可在像素阵列控制器200中的以矩阵形式设置的多个像素中选择沿着列方向设置的像素并且驱动所选择的沿着列方向设置的像素。通过行驱动器311a和列驱动器311b在像素阵列控制器200中选择的像素的光电二极管可输出诸如电压信号的模拟信号。
采样控制器312对像素阵列控制器200的模拟信号进行采样。采样控制器312可包括对从像素阵列控制器200的光电二极管输出的模拟信号进行采样的相关双采样(CDS)电路，并且CDS电路可对模拟信号进行采样以产生采样信号。采样控制器312还可包括对由CDS电路采样的光电二极管的模拟信号进行放大的放大器电路。
时钟信号产生器313向像素阵列驱动器311、采样控制器312等提供时钟信号。时钟信号产生器313可包括锁相环(PLL)电路和定时产生器(T/G)电路，所述锁相环电路从外部源输入的时钟信号产生内部时钟信号，所述定时产生器电路控制像素阵列控制器200的多个像素的光电二极管的曝光定时、复位定时、读取定时、帧输出定时。像素阵列驱动器311和采样控制器312可使用从时钟信号产生器313提供的时钟信号分别执行像素阵列控制器200的驱动和采样操作。
参考电压产生器314产生供应给像素阵列驱动器311、采样控制器312等的参考电压。作为示例，参考电压产生器314通过从外部源经过垫111施加的电力产生参考电压。
数字转换器315包括模数转换器，并且将从采样控制器312输出的采样信号转换成数字信号以产生图像。由数字转换器315产生的参考图像和相对图像可提供至数字信号处理器317。
存储器单元316可包括具有固件的只读存储器(ROM)、图像处理计算所需的随机存取存储器(RAM)、记录校准信息的一次性可编程(OTP)存储器以及寄存器。
数字信号处理器317对包括从数字转换器315提供的数字信号的图像执行图像处理。
通常，相机模块包括具有至少一个透镜的光学系统。由相机模块获得的图像和实际图像之间存在差异。原因是相机模块的分辨率受到像差的影响。像差指的是由于光在穿过光学系统之后没有聚集在一点处而使图像在处于模糊状态、具有色彩的状态或者畸变状态下被观看。存在当使用具有恒定波长的单色光时出现的单色像差和由于光学系统的折射率根据光的波长而彼此不同而出现的色像差。
这里，单色像差可理解为还包括倾斜像差、离焦像差、球面像差、彗差、像散、曲率像差(bulge aberration)和畸变。在本说明书中，像差被理解为包括单色像差和色像差中的任意一者或两者。通常，由于在便携式电子装置中使用纤薄相机模块的需求而使像差倾向于增大，并且由于像差的增大而发生模糊现象，使得相机模块的分辨率减小。
模糊现象是清晰图像的一个像素的亮度由于像差使周围像素的亮度畸变的现象，并且可由指示模糊的水平的点扩散函数(PSF)表示。当PSF具有相对窄的分布时，分辨率被表示为高。相反地，当PSF具有相对宽的分布时，分辨率被表示为低。
在通过相机模块捕获被摄体的图像时获得的模糊图像Blur_Image通过限定非模糊图像的清晰图像Clear_Image和点扩散函数(PSF)之间的卷积而被模型化，如式1所示。
[式1]
Blur_Image＝PSF*Clear_Image(*：卷积)
这里，当计算PSF时，虽然通过去卷积从模糊图像重建了清晰图像，但是从模糊图像准确地计算PSF是非常困难的。因此，为了重建清晰图像，需要非常精确地估计PSF并在相机模块的每个中存储估计的PSF。
图4是示出本公开的估计和存储PSF的方法的示例的流程图，图5是示出随机噪声图案的示例的示图。将参照图4和图5详细地描述在相机模块的制造过程期间将PSF存储在相机模块的每个中的过程。
参照图4，估计和存储PSF的方法从捕获图5的随机噪声图案的图像(S410)开始。相机模块捕获彼此分开预定距离的随机噪声图案的图像。捕获的图像被传输到主机(S420)，并且主机通过将清晰图像与捕获的随机噪声图案的图像彼此比较来估计PSF(S430)。将估计的PSF存储在相机模块中(S440)。在这种情况下，由于每个制造的相机模块的相机模块的PSF之间产生差异，因此在制造相机模块的过程的校准过程中对每个单个模块估计PSF，并在对应的相机模块中存储PSF。存储的PSF用于从模糊图像重建清晰图像。
通过上述过程，相机模块存储关于估计的PSF的信息，并且使用存储的关于估计的PSF的信息校正捕获的图像的分辨率，以实现高的图像质量分辨率。
PSF可在图像传感器的像素阵列的中央区域中具有与高斯(Gaussian)形式类似的形式，并且具有朝向像素阵列的周围区域变为与高斯形式不同的形式。因此，为了在每个区域中有效地估计具有不同形式的PSF，有必要将图像传感器的像素阵列沿着水平方向划分为M个相等的部分并且沿着竖直方向划分为N个相等的部分，并且估计与总数M×N个区域相对应的多个区域中的每个中的PSF。
根据本公开的示例，捕获的图像被分为多个区域，并且在相机模块的存储器中存储仅如下的区域的估计的PSF：在多个区域中的每个中估计的PSF和光学系统的设计值(例如，基于相机模块的设计数据的参考点扩散函数)的比较中存在等于或高于阈值的大的差异的区域。在比较中，差异低于阈值的区域(即，差异不高的区域)被确定为具有良好的分辨率，并且对应区域的估计的PSF不按照原样被存储。但是指示模糊的宽度和峰的坐标位置的模糊参数被存储在相机模块的存储器中，所述模糊的宽度和峰的坐标位置通过高斯函数对所述对应区域的估计的PSF取近似而进行估计。
图6是示出根据本公开的示例的产生像差信息的过程的流程图。将参照图6详细地描述估计关于图像的每个区域中的模糊特性的像差信息的方法。
首先，将随机噪声图案的清晰图像和捕获的图像划分为多个区域(S610)。然后，将PSF应用到随机噪声图案的清晰图像的多个区域中的每个，以使随机噪声图案的清晰图像模糊(S620)。将模糊的图像和捕获的图像彼此比较以在改变PSF的同时更新PSF，从而显著地减小模糊的图像和捕获的图像之间的图像差异(S630)。作为更新的结果，对多个区域中的每个的PSF进行估计(S640)，并且多个区域中的每个的估计的PSF可彼此不同。
当对多个区域的PSF进行估计时，将多个区域中的每个的估计的PSF与参考PSF彼此比较(S650)。这里，参考PSF是指示在设计光学系统的过程中理想的仿真数据的值。当估计的PSF和参考PSF之间的差异等于阈值或更大时，对应区域在相机模块的分辨率方面被确定为误差区域(NG区域)。当估计的PSF和参考PSF之间的差异低于阈值时，对应区域在相机模块的分辨率方面被确定为正常区域(OK区域)(S660)。
然后，将误差区域的估计的PSF存储在相机模块中，并且对正常区域的估计的PSF取近似，然后存储在相机模块中(S670)。正常区域的估计的PSF不按照原样存储在相机模块中，而是通过高斯函数取近似，从而将包括模糊的宽度和峰的坐标位置的模糊参数存储在相机模块中。
下面的式2表示在针对正常区域执行的PSF近似处理中使用的高斯近似函数。对在之前的过程中估计的PSF进行标准化处理，使其最大值变为255(8位灰度分辨率的最大值)，然后使用由下面的式2表示的高斯近似函数取近似。
[式2]
这里，a和b分别指示沿着水平方向和竖直方向划分的窗口区域的峰的坐标位置，σx和σy分别指示沿着水平方向和竖直方向划分的窗口区域的模糊的宽度。
根据本公开的示例，误差区域的估计的PSF按照原样存储在相机模块中，而正常区域的估计的PSF通过高斯函数取近似，从而将包括模糊的宽度和峰的坐标位置的模糊参数存储在相机模块中，结果是存储的数据的大小显著减小。此外，误差区域的估计的PSF和正常区域的模糊参数的相应的数据大小可彼此不同。
例如，在图像被划分为16×12个区域的情况下，对16×12个区域的PSF进行估计，然后存储估计的PSF，所需的存储器的大小如以下的[情况1]和[情况2]中所述。
这里，在整个图像被划分为16×12个区域的情况下，在0.3视场内存在的区域的数量可对应于6×6＝36，在0.5视场内存在的区域的数量可对应于10×10＝100。
这里，当图像传感器的沿着对角线方向的像素阵列的端点为1.0视场时，具有4:3的纵横比的图像传感器的像素阵列可由沿着水平方向的0.8视场和沿着竖直方向的0.6视场表示。
[情况1]所需的通道数量为四个(R、Gr、Gb和B)的情况
所需的通道的数量×区域的数量×每个区域的PSF数据的大小×PSF数据的分辨率：
①0.0到0.3视场：在PSF数据的大小为5×5像素的情况下，＝4×(6×6)×(5×5)×1字节＝3,600字节
②0.3到0.5视场：在PSF数据的大小为7×7像素的情况下，＝4×(10×10-6×6)×(7×7)×1字节＝12,544字节
③0.5到1.0视场：在PSF数据的大小为9×9像素的情况下，＝4×(16×12-10×10)×(9×9)×1字节＝29,808字节
也就是说，所需的存储器的总大小：3,600+12,544+29,808＝45,952字节＝44.88千字节。
[情况2]所需的通道数量的总数为三个(R、G和B)的情况
(相同的PSF被应用到Gr和Gb通道)
所需的通道的数量×区域的数量×每个区域的PSF数据的大小×PSF数据的分辨率：
①0.0到0.3视场：在PSF数据的大小为5×5像素的情况下，＝3×(6×6)×(5×5)×1字节＝2700字节
②0.3到0.5视场：在PSF数据的大小为7×7像素的情况下，＝3×(10×10-6×6)×(7×7)×1字节＝9,408字节
③0.5到1.0视场：在PSF数据的大小为9×9像素的情况下，＝3×(16×12-10×10)×(9×9)×1字节＝22,356字节
也就是说，所需的存储器的总大小：2,700+9,408+22,356＝34,464字节＝33.66千字节。
另一方面，在误差区域(例如，参考PSF和估计的PSF之间的差异为最大的仅上部五个区域)的估计的PSF按照原样被存储并且针对剩余的正常区域使用高斯近似函数的曲线拟合法来存储模糊参数的情况下，所需的存储器的大小如下面的[情况3]和[情况4]中所述。
这里，假设误差区域在0.5视场或更大视场的区域中产生，并且针对0.5视场内的区域，使用在执行校正计算的硬件时钟内部校正算法中的每个区域中默认设置的四个模糊参数。假设相应的模糊参数由1字节表示。
[情况3]所需的通道数量为四个(R、Gr、Gb和B)的情况
①所需的通道数量×误差区域(NG区域)的数量×每个区域的PSF数据的大小×PSF数据的分辨率
＝4×(5)×(9×9)×1字节＝1,620字节
②所需的通道数量×正常区域(OK区域)的数量×每个区域的模糊参数
＝4×(16×12-10×10)×4字节＝1,472字节
也就是说，所需的存储器的总大小：1,620+1,472＝3,092字节＝3.02千字节。
[情况4]所需的通道数量为三个(R、G和B)的情况
(相同的PSF被应用到Gr和Gb通道)
①所需的通道数量×误差区域(NG区域)的数量×每个区域的PSF数据的大小×PSF数据的分辨率
＝3×(5)×(9×9)×1字节＝1,215字节
②所需的通道数量×正常区域(OK区域)的数量×每个区域的模糊参数
＝3×(16×12-10×10)×4字节＝1,104字节
也就是说，所需的存储器的总大小：1,215+1,104＝2,319字节＝2.26千字节。
根据本公开的示例，根据多个区域中的哪些区域被确定为正常区域和多个区域中的哪些区域被确定为误差区域而分别存储模糊参数和PSF，因此，减小了存储模糊参数和PSF所需的存储器的大小。因此，模糊参数和PSF可存储在相机模块1的诸如OTP存储器、ROM、电可擦除可编程只读存储器(EEPROM)或FROM的非易失性存储器区域中。
与模糊参数和PSF相对应的区域的坐标也可存储在存储器中。作为示例，当确定总数16×12个区域中的区域(16,1)为误差区域时，(16,1)的坐标与PSF一起存储在存储器中。
另外，存储器存储包括关于从图像划分的区域的数量和大小的信息的去模糊参数以及其中的误差区域的PSF和正常区域的模糊参数。作为示例，当图像被划分为M×N个区域时，去模糊参数包括关于沿着水平方向划分的区域的数量和大小以及沿着竖直方向划分的区域的数量和大小的信息。
如上所述，存储在存储器中的PSF、模糊参数和去模糊参数对应于相机模块中的像差信息。像差信息可按照查找表的形式存储。
同时，相机模块的分辨率可受到在相机模块捕获被摄体的图像时的照度环境和确定的焦点调整位置的影响。因此，为了根据在相机模块捕获被摄体的图像时的照度环境和确定的焦点调整位置来校正分辨率，根据本公开的示例的相机模块调整去模糊强度或去噪声强度。调整去模糊强度或去噪声强度，以确定所捕获的图像的分辨率的改善水平。
详细地，主机可执行相机模块的自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制。主机可包括用于执行自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制的相应的引擎。
当主机执行自动曝光(AE)控制时，可确定捕获图像时的照度；当主机执行自动白平衡(AWB)控制时，可确定光源的色温；当主机执行自动对焦(AF)控制时，可确定光学系统的焦点位置。关于所确定的照度、所确定的光源的色温和所确定的焦点位置的信息可存储在相机模块中。
根据本公开的示例的相机模块可根据存储的关于照度、光源的色温和焦点位置的信息来确定合适的去模糊强度和去噪声强度，并且另外地执行分辨率校正计算。作为示例，在低照度环境下，去模糊强度被设定为弱并且去噪声强度被设定为强，以产生低噪声。另外，当光学系统的焦点位置靠近特写位置时，去模糊强度被设定为弱。当光源为卤素灯(3000K)时，具有红色波长的光的影响大，红色通道的去模糊强度被设定为比绿色通道和蓝色通道的去模糊强度强。
可按照查找表的形式拟定去模糊强度和去噪声强度，所述查找表的形式通过在制造相机模块的过程中改变照度环境以及相机模块和被摄体之间的距离的实验来确定。作为示例，去模糊强度被分为从等级1至等级10的十个等级，然后被应用。等级1对应于最弱的去模糊强度，等级10对应于最强的去模糊强度。类似地，去噪声强度也被划分为从等级1至等级10的十个等级，然后被应用。由于划分的等级的数量是基于实验而合适地确定的，因此，划分的等级的数量可多于或少于十个等级。
图7至图9是示出根据本公开的示例的电子装置的主要单元的框图。由于除了在执行分辨率校正计算的逻辑控制器的配置以及存储在分辨率校正计算中使用的多个参数的存储器的配置上部分不同之外，图7至图9的示例的组件的详细操作彼此类似，因此将省略重叠或重复的描述，将主要描述根据图7的示例的相机模块。
参照图7，数字信号处理器317包括缓冲器模块317a、信号处理器317b和输出接口317c，并且还可包括辅助存储器单元317d。
缓冲器模块317a接收从像素阵列控制器200提供的图像。如上所述，图像包括通过数字转换器315从由像素阵列控制器200输出的模拟信号转换的数字信号。缓冲器模块317a包括行缓冲存储器，并且可在其中顺序地存储接收的图像。
当参考数量的图像存储在缓冲器模块317a的行缓冲存储器中时，信号处理器317b驱动在信号处理器317b中包括的去模糊引擎，以执行图像的分辨率校正计算。
包括PSF、模糊参数和去模糊参数的像差信息存储在辅助存储器单元317d中。作为示例，像差信息存储在诸如辅助存储器单元317d的OTP存储器的非易失性存储器中。信号处理器317b使用存储在辅助存储器单元317d中的像差信息执行图像的分辨率校正计算。信号处理器317b中包括的去模糊引擎可按照所需的采样率对存储在辅助存储器单元317d中的PSF进行采样，以在视频模式下执行分辨率校正计算。
分辨率被校正的图像通过输出接口317c被传输到电子装置的安装有相机模块的主机60。主机60包括控制相机模块的控制器61、处理分辨率被校正的图像的颜色处理器62、YUV处理器63、视频编码器64和联合图像专家组(JPEG)编码器65。
主机60的控制器61执行相机模块的自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制。控制器61包括用于执行自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制的相应的引擎。在控制器61执行自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制时确定的关于照度、光源的色温和焦点位置的信息存储在辅助存储器单元317d中的寄存器中。信号处理器317b根据存储在辅助存储器单元317d的寄存器中的关于照度、光源的色温和焦点位置的信息确定合适的去模糊强度和去噪声强度，并且另外地执行图像的分辨率校正计算。当关于照度、光源的色温和焦点位置的信息存储在寄存器中时，信号处理器317b参照查找表选择去模糊强度和去噪声强度，以执行图像的分辨率校正计算。
参照图8，根据本公开的示例的相机模块包括图像传感器10、主机60和辅助IC 70。
图像传感器10的数字信号处理器317包括信号处理器317b和输出接口317c。信号处理器317b接收从像素阵列控制器200提供的图像，将图像的格式改变为被传输到辅助IC70的图像的格式，并且通过输出接口317c将具有改变的格式的图像传输到辅助IC 70。图像包括通过数字转换器315从由像素阵列控制器200输出的模拟信号转换的数字信号。
辅助IC 70包括输入接口71、缓冲器模块72、信号处理器73和输出接口74，并且还可包括辅助存储器单元75。
缓冲器模块72通过输入接口71接收从数字信号处理器317的输出接口317c传输的图像。缓冲器模块72包括行缓冲存储器，并且在其中顺序地存储接收的图像。
当参考数量的图像存储在缓冲器模块72的行缓冲存储器中时，信号处理器73驱动在信号处理器73中包括的去模糊引擎，以执行图像的分辨率校正计算。
包括PSF、模糊参数和去模糊参数的像差信息存储在辅助存储器单元75中。作为示例，像差信息存储在诸如辅助存储器单元75的ROM的非易失性存储器中。信号处理器73使用存储在辅助存储器单元75中的像差信息执行图像的分辨率校正计算。在信号处理器73中包括的去模糊引擎可按照所需的采样率对存储在辅助存储器单元75中的PSF进行采样，以在视频模式下执行分辨率校正计算。
分辨率被校正的图像通过输出接口74被传输到电子装置的安装有相机模块的主机60。主机60包括控制相机模块的控制器61、处理分辨率被校正的图像的颜色处理器62、YUV处理器63、视频编码器64和JPEG编码器65。
主机60的控制器61可执行相机模块的自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制。控制器61可包括用于执行自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制的相应的引擎。在控制器61执行自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制时确定的关于照度、光源的色温和焦点位置的信息可存储在辅助存储器单元75中的寄存器中。信号处理器73根据存储在辅助存储器单元75的寄存器中的关于照度、光源的色温和焦点位置的信息确定合适的去模糊强度和去噪声强度，并且另外地执行图像的分辨率校正计算。
参照图9，相机模块包括图像传感器10和主机60。
图像传感器10的数字信号处理器317包括信号处理器317b和输出接口317c。信号处理器317b接收从像素阵列控制器200提供的图像，将图像的格式改变为被传输到主机60的图像的格式，并且通过输出接口317c将具有改变的格式的图像传输到主机60。图像可包括通过数字转换器315从由像素阵列控制器200输出的模拟信号转换的数字信号。
主机60包括控制器61、颜色处理器62、YUV处理器63、JPEG编码器65、缓冲器模块66、信号处理器67和辅助存储器单元68。
缓冲器模块66接收从数字信号处理器317的输出接口317c传输的图像。缓冲器模块66包括行缓冲存储器，并且可在其中顺序地存储接收的图像。
当参考数量的图像存储在缓冲器模块66的行缓冲存储器中时，信号处理器67驱动在信号处理器67中包括的去模糊引擎，以执行图像的分辨率校正计算。
包括PSF、模糊参数和去模糊参数的像差信息存储在存储器单元316中。作为示例，像差信息存储在存储器单元316的诸如ROM的非易失性存储器中。信号处理器67使用存储在存储器单元316中的像差信息执行图像的分辨率校正计算。在信号处理器67中包括的去模糊引擎可按照所需的采样率对存储在存储器单元316中的PSF进行采样，以在视频模式下执行分辨率校正计算。
主机60的控制器61执行相机模块的自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制。控制器61可包括用于执行自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制的相应的引擎。
在控制器61执行自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制时确定的关于照度、光源的色温和焦点位置的信息可存储在主机60的辅助存储器单元68中的寄存器中。信号处理器67根据存储在辅助存储器单元68的寄存器中的关于照度、光源的色温和焦点位置的信息确定合适的去模糊强度和去噪声强度，并且另外地执行图像的分辨率校正计算。通过颜色处理器62、YUV处理器63、视频编码器64和JPEG编码器65处理分辨率被校正的图像。
在上述图7至图9的示例中描述了像差信息存储在辅助存储器单元317d(见图7)、辅助存储器单元75(见图8)和存储器单元316(见图9)中的情况。但是在镜头模块40中使用的至少一个远摄镜头具有比广角镜头的畸变量相对大的畸变量，因此可在制造相机模块的过程的校准过程中计算用于补偿至少一个远摄镜头的畸变量的畸变系数，并将其存储在存储器中。这样的存储器包括辅助存储器单元317d(见图7)、辅助存储器单元75(见图8)和存储器单元316(见图9)。这里，诸如信号处理器317b(见图7)、信号处理器73(见图8)和信号处理器67(见图9)的逻辑控制器使用存储在存储器中的畸变系数来校正图像的畸变。
图10是示出根据本公开的示例的电子装置的主要单元的框图。
图像传感器10的数字信号处理器317包括信号处理器317b和输出接口317c。信号处理器317b接收从像素阵列控制器200提供的图像，将图像的格式改变为可被传输到主机60的图像的格式，并且通过输出接口317c将具有改变的格式的图像传输到主机60。图像包括通过数字转换器315从由像素阵列控制器200输出的模拟信号转换的数字信号。
主机60包括控制器61、颜色处理器62、YUV处理器63、视频编码器64、JPEG编码器65、缓冲器模块66和信号处理器67。
控制器61执行相机模块的自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制。控制器61可包括用于执行自动曝光(AE)控制、自动白平衡(AWB)控制和自动对焦(AF)控制的相应的引擎。
通过输出接口317c传输的图像通过颜色处理器62和YUV处理器63进行处理，然后被传输到缓冲器模块66。缓冲器模块66可包括行缓冲存储器，并可在其中顺序地存储接收的图像。
当参考数量的图像存储在缓冲器模块66的行缓冲存储器中时，信号处理器67执行图像的分辨率校正计算。信号处理器67根据由用户选择的光学变焦倍率确定变焦区域，并且对存储在缓冲器模块66中的多个图像中的每个中的变焦区域进行裁切。信号处理器67对变焦区域被裁切的多个图像执行超分辨率合成计算，以在高倍率下执行光学变焦。
例如，当图像传感器10的分辨率为12M(像素的数量：4000*3000)并且在具有2X的光学变焦倍率的远摄镜头中由用户选择的变焦倍率为4时，图像传感器10将经过两次光学放大的图像输出至主机60。信号处理器67对存储在缓冲器模块66中的多个图像中的与4倍的变焦倍率相对应的区域进行裁切，然后对变焦区域被裁切的多个图像执行超分辨率合成计算，以产生具有超分辨率的四倍变焦图像。由信号处理器67产生的图像可分别通过视频编码器64和JPEG编码器65按照视频格式和JPEG格式进行处理。
如上所述，根据本公开的示例，可提供一种相机模块，所述相机模块通过根据像差信息校正从穿过远摄镜头的光产生的图像的分辨率而具有超图像质量分辨率，并且具有纤薄形式。另外，可对从图像传感器传输的多个图像中的每个中的变焦区域进行裁切，并且变焦区域被裁切的多个图像可彼此合成，以在高倍率下执行光学变焦。
虽然以上已经示出和描述了示例性实施例，但是对于本领域技术人员来说将显而易见的是，在不脱离本发明的由所附权利要求限定的范围的情况下，可做出修改和变型。

Claims (17)

1.一种相机模块，包括：
镜头模块，包括镜头；
图像传感器，设置在所述镜头模块的下方并且被配置为从穿过所述镜头的光产生被摄体的图像；及
逻辑控制器，被配置为通过将产生的所述图像与所述被摄体的预先构建的清晰图像进行比较来估计像差信息，并且使用估计的所述像差信息对所述图像执行分辨率校正计算。
2.根据权利要求1所述的相机模块，其中，所述像差信息包括通过Blur_Image＝PSF*Clear_Image而被模型化的点扩散函数，
这里，Blur_Image为由所述图像传感器产生的所述图像，PSF为所述点扩散函数，Clear_Image为所述被摄体的所述预先构建的清晰图像，并且*为卷积。
3.根据权利要求2所述的相机模块，其中，所述像差信息包括包含从所述点扩散函数提取的峰的坐标位置和模糊的宽度的模糊参数。
4.根据权利要求3所述的相机模块，其中，所述像差信息包括：
所述图像的区域中的误差区域的点扩散函数；及
所述图像的所述区域中的正常区域的模糊参数，
其中，在所述区域中的每个的所述点扩散函数和参考点扩散函数的比较中，在所述误差区域中，所述点扩散函数和所述参考点扩散函数之间的差异等于或大于阈值，在所述正常区域中，所述点扩散函数和所述参考点扩散函数之间的差异低于所述阈值。
5.根据权利要求4所述的相机模块，其中，所述参考点扩散函数基于所述相机模块的设计数据。
6.根据权利要求4所述的相机模块，所述相机模块还包括存储器，所述存储器被配置为将所述误差区域的所述点扩散函数和所述正常区域的所述模糊参数存储在其中。
7.根据权利要求6所述的相机模块，其中，所述误差区域的所述点扩散函数和所述正常区域的所述模糊参数的相应的数据大小彼此不同。
8.根据权利要求6所述的相机模块，其中，所述存储器为非易失性存储器。
9.根据权利要求1所述的相机模块，其中，所述逻辑控制器根据在捕获所述被摄体的图像时的照度环境和焦点位置中的任意一者或两者对通过所述图像传感器产生的所述图像执行所述分辨率校正计算。
10.根据权利要求4所述的相机模块，其中，所述像差信息包括包含关于所述区域的数量和大小的信息的去模糊参数。
11.根据权利要求1所述的相机模块，其中，所述镜头为弯曲的。
12.一种电子装置，包括：
镜头模块，包括镜头；
图像传感器，设置在所述镜头模块的下方并且被配置为从穿过所述镜头的光产生被摄体的图像；
主机模块，根据设定的光学变焦倍率放大由所述图像传感器产生的所述图像，以产生变焦图像，
其中，所述主机模块接收从所述图像传感器传输的图像，对所述图像中的每个中的变焦区域进行裁切，并且将所述变焦区域被裁切的所述图像彼此合成，以产生变焦图像。
13.根据权利要求12所述的电子装置，其中，所述主机模块以超分辨率将所述变焦区域被裁切的所述图像彼此合成。
14.根据权利要求12所述的电子装置，其中，所述主机模块包括：
缓冲器模块，被配置为将从所述图像传感器传输的所述图像顺序地存储在其中；及
信号处理器，被配置为：
对存储在所述缓冲器模块中的所述图像中的每个中的所述变焦区域进行裁切，并且
将所述变焦区域被裁切的所述图像彼此合成。
15.根据权利要求12所述的电子装置，其中，所述镜头为弯曲的。
16.根据权利要求13所述的电子装置，其中，所述超分辨率的合成产生四倍变焦图像。
17.根据权利要求16所述的电子装置，其中，所述电子装置还被配置为基于像差信息校正由所述图像传感器产生的所述图像的分辨率。
CN201710990893.2A 2016-10-21 2017-10-23 相机模块和包括该相机模块的电子装置 Active CN107979716B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0137730 2016-10-21
KR1020160137730A KR102550175B1 (ko) 2016-10-21 2016-10-21 카메라 모듈 및 이를 포함하는 전자 기기

Publications (2)

Publication Number Publication Date
CN107979716A true CN107979716A (zh) 2018-05-01
CN107979716B CN107979716B (zh) 2021-03-30

Family

ID=61970323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710990893.2A Active CN107979716B (zh) 2016-10-21 2017-10-23 相机模块和包括该相机模块的电子装置

Country Status (3)

Country Link
US (1) US10594932B2 (zh)
KR (1) KR102550175B1 (zh)
CN (1) CN107979716B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681595A (zh) * 2023-08-01 2023-09-01 长春理工大学 一种基于多峰psf的远距离计算超分辨率成像装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643313B2 (en) * 2018-01-19 2020-05-05 Bae Systems Information And Electronic Systems Integration Inc. Methods for image denoising and deblurring
CN111968052B (zh) * 2020-08-11 2024-04-30 北京小米松果电子有限公司 图像处理方法、图像处理装置及存储介质
KR102661114B1 (ko) * 2020-11-10 2024-04-25 삼성전자주식회사 카메라 모듈 검사 장치, 카메라 모듈 검사 방법 및 이미지 생성 장치
US20230319401A1 (en) * 2022-03-31 2023-10-05 Qualcomm Incorporated Image capture using dynamic lens positions

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100188528A1 (en) * 2009-01-28 2010-07-29 Kabushiki Kaisha Toshiba Image recording device, manufacturing apparatus of image recording device, and manufacturing method of image recording device
EP2390720A2 (en) * 2010-05-27 2011-11-30 Samsung Electro-Mechanics Co., Ltd Camera module
JP2013175003A (ja) * 2012-02-24 2013-09-05 Osaka Prefecture Univ Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置
CN103856723A (zh) * 2014-02-25 2014-06-11 中国人民解放军国防科学技术大学 一种单透镜成像的psf快速标定方法
JP2015033006A (ja) * 2013-08-02 2015-02-16 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び顕微鏡システム
CN104580879A (zh) * 2013-10-09 2015-04-29 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
CN104767930A (zh) * 2014-01-03 2015-07-08 三星电机株式会社 用于图像校正的设备和方法
JP2016082524A (ja) * 2014-10-21 2016-05-16 富士通株式会社 処理装置、処理方法および処理プログラム
CN106572285A (zh) * 2015-10-08 2017-04-19 三星电机株式会社 相机模块、电子装置及其操作方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101070591B1 (ko) 2009-06-25 2011-10-06 (주)실리콘화일 듀얼 스테레오 카메라를 구비한 거리 측정 장치
US8582820B2 (en) * 2010-09-24 2013-11-12 Apple Inc. Coded aperture camera with adaptive image processing
JP5682358B2 (ja) * 2011-02-15 2015-03-11 株式会社ニコン 撮像装置
WO2013121312A1 (en) * 2012-02-14 2013-08-22 Koninklijke Philips N.V. Image resolution enhancement
US20130242138A1 (en) * 2012-03-15 2013-09-19 Canon Kabushiki Kaisha Enhanced resolution image capture
US8988538B2 (en) * 2012-07-02 2015-03-24 Canon Kabushiki Kaisha Image pickup apparatus and lens apparatus
KR101438948B1 (ko) 2012-12-12 2014-09-11 현대자동차주식회사 시선 추적 제어 장치 및 방법
US20150195461A1 (en) 2014-01-03 2015-07-09 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for image correction
US10229478B2 (en) 2014-09-26 2019-03-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
EP3198557A4 (en) 2014-09-26 2017-12-13 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
US10382684B2 (en) * 2015-08-20 2019-08-13 Kabushiki Kaisha Toshiba Image processing apparatus and image capturing apparatus
US10075633B2 (en) * 2015-10-13 2018-09-11 Samsung Electro-Mechanics Co., Ltd. Camera module and method of manufacturing the same
US10416087B2 (en) * 2016-01-01 2019-09-17 Kla-Tencor Corporation Systems and methods for defect detection using image reconstruction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100188528A1 (en) * 2009-01-28 2010-07-29 Kabushiki Kaisha Toshiba Image recording device, manufacturing apparatus of image recording device, and manufacturing method of image recording device
EP2390720A2 (en) * 2010-05-27 2011-11-30 Samsung Electro-Mechanics Co., Ltd Camera module
JP2013175003A (ja) * 2012-02-24 2013-09-05 Osaka Prefecture Univ Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置
JP2015033006A (ja) * 2013-08-02 2015-02-16 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び顕微鏡システム
CN104580879A (zh) * 2013-10-09 2015-04-29 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
CN104767930A (zh) * 2014-01-03 2015-07-08 三星电机株式会社 用于图像校正的设备和方法
CN103856723A (zh) * 2014-02-25 2014-06-11 中国人民解放军国防科学技术大学 一种单透镜成像的psf快速标定方法
JP2016082524A (ja) * 2014-10-21 2016-05-16 富士通株式会社 処理装置、処理方法および処理プログラム
CN106572285A (zh) * 2015-10-08 2017-04-19 三星电机株式会社 相机模块、电子装置及其操作方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681595A (zh) * 2023-08-01 2023-09-01 长春理工大学 一种基于多峰psf的远距离计算超分辨率成像装置
CN116681595B (zh) * 2023-08-01 2023-11-03 长春理工大学 一种基于多峰psf的远距离计算超分辨率成像装置

Also Published As

Publication number Publication date
US10594932B2 (en) 2020-03-17
CN107979716B (zh) 2021-03-30
US20180115704A1 (en) 2018-04-26
KR20180044085A (ko) 2018-05-02
KR102550175B1 (ko) 2023-07-03

Similar Documents

Publication Publication Date Title
CN107979716A (zh) 相机模块和包括该相机模块的电子装置
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US10313578B2 (en) Image capturing apparatus and method for controlling image capturing apparatus
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
US8619183B2 (en) Image pickup apparatus and optical-axis control method
US7112779B2 (en) Optical apparatus and beam splitter
CN102984448B (zh) 利用颜色数字图像对动作如锐度修改进行控制的方法
JP5725975B2 (ja) 撮像装置及び撮像方法
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
WO2010116683A1 (ja) 撮像装置および撮像方法
US20080101728A1 (en) Image creation with software controllable depth of field
CN101656835A (zh) 图像拾取设备、显示器和图像处理设备
CN105323423B (zh) 图像处理方法、图像处理装置及摄像装置
US9661241B2 (en) Solid-state imaging device and electronic apparatus
US7355154B2 (en) Image sensing apparatus with movable light flux splitter and control method thereof
CN107710744A (zh) 摄像器件和摄像设备
JP2006126652A (ja) 撮像装置
EP3675477B1 (en) Electronic device for providing function by using rgb image and ir image acquired through one image sensor
CN115280766B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
JP2001078217A (ja) 撮像装置
US8634672B2 (en) Digital image signal processing apparatus and method
US7898591B2 (en) Method and apparatus for imaging using sensitivity coefficients
JP2000244932A (ja) 撮像装置及び撮像方法
JP2008129360A (ja) 焦点検出装置及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant