CN107105141A - 图像传感器、图像处理方法、成像装置和移动终端 - Google Patents

图像传感器、图像处理方法、成像装置和移动终端 Download PDF

Info

Publication number
CN107105141A
CN107105141A CN201710297653.4A CN201710297653A CN107105141A CN 107105141 A CN107105141 A CN 107105141A CN 201710297653 A CN201710297653 A CN 201710297653A CN 107105141 A CN107105141 A CN 107105141A
Authority
CN
China
Prior art keywords
photosensitive unit
pixel
focusing
photosensitive
output valve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710297653.4A
Other languages
English (en)
Other versions
CN107105141B (zh
Inventor
周奇群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710297653.4A priority Critical patent/CN107105141B/zh
Publication of CN107105141A publication Critical patent/CN107105141A/zh
Priority to TW107100949A priority patent/TWI651582B/zh
Priority to US15/893,475 priority patent/US10484627B2/en
Priority to EP18163006.2A priority patent/EP3396942B1/en
Priority to KR1020197018149A priority patent/KR102161557B1/ko
Priority to JP2019540603A priority patent/JP6878604B2/ja
Priority to PCT/CN2018/081781 priority patent/WO2018196568A1/en
Application granted granted Critical
Publication of CN107105141B publication Critical patent/CN107105141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明公开了一种图像传感器、图像处理方法、成像装置和移动终端，其中，图像传感器包括：感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元，图像传感器具有第一输出模式和第二输出模式。本发明实施例的图像传感器，当拍照环境光强度小于预设强度时，图像传感器以第一输出模式生成图像，在环境光强度大于预设强度时，以第二输出模式生成图像。另外，利用该图像传感器进行对焦时，还可根据获取对焦感光单元中两部分感光像素的输出值进行相位对焦，能有效提高对焦速度。本发明还公开了一种图像传感器的图像处理方法、成像装置和移动终端。

Description

图像传感器、图像处理方法、成像装置和移动终端
技术领域
本发明涉及电子技术领域，尤其涉及一种图像传感器、图像处理方法、成像装置和移动终端。
背景技术
随着技术的不断更新，越来越多的厂家开始使用16M-4M结构的图像传感器。该图像传感器在暗光条件下，通过4M模式输出图像，可以提高信噪比，改善噪声表现。但是，在暗光条件下，4M模式对焦速度慢。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为了解决上述问题，本发明第一方面提出一种图像传感器的图像处理方法，其中，图像传感器包括：感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元，图像传感器具有第一输出模式和第二输出模式，该图像处理方法包括以下步骤：检测当前环境光强度；当当前环境光强度小于预设强度时，控制图像传感器进入第一输出模式；在第一输出模式下，控制感光单元阵列进入对焦模式；读取对焦感光单元中一部分感光像素的输出值并作为第一输出值；读取对焦感光单元中另一部分感光像素的输出值并作为第二输出值；根据第一输出值和第二输出值进行对焦控制；在第一输出模式下，控制感光单元阵列进入成像模式；控制感光单元阵列进行曝光，以生成第一输出模式下的图像。
本发明的图像传感器的图像处理方法，基于图像传感器包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
为了解决上述问题，本发明第二方面提出一种图像传感器，该图像传感器包括感光单元阵列；设置在感光单元阵列上的滤光单元阵列；位于滤光单元阵列之上的微透镜阵列；其中，感光单元阵列包括对焦感光单元和非对焦感光单元，图像传感器具有第一输出模式和第二输出模式。
本发明的图像传感器，基于包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，为提高对焦速度提供硬件基础。
本发明的第三方面实施例提出一种成像装置，该成像装置包括：上述实施例提出的图像传感器；检测模块，用于检测当前环境光强度；控制模块，用于当当前环境光强度小于预设强度时，控制图像传感器进入第一输出模式；在第一输出模式下，控制感光单元阵列进入对焦模式；读取对焦感光单元中一部分感光像素的输出值并作为第一输出值；读取对焦感光单元中另一部分感光像素的输出值并作为第二输出值；根据第一输出值和第二输出值进行对焦控制；在第一输出模式下，控制感光单元阵列进入成像模式；控制感光单元阵列进行曝光，以生成第一输出模式下的图像。
本发明的成像装置，基于图像传感器包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
本发明第四方面还提出一种移动终端，该移动终端包括壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为移动终端的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行上述的图像传感器的图像处理方法。
本发明实施例的移动终端，基于图像传感器包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
本发明第五方面提出一种图像传感器的图像处理方法，其中，图像传感器包括：感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，微透镜阵列包括第一微透镜和第二微透镜，一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元，其中，N为正整数，图像传感器具有第一输出模式和第二输出模式，该图像处理方法包括以下步骤：检测当前环境光强度；当当前环境光强度小于预设强度时，控制图像传感器进入第一输出模式；在第一输出模式下，控制感光单元阵列进入对焦模式；读取对焦感光单元中一部分感光像素的输出值并作为第一输出值；读取对焦感光单元中另一部分感光像素的输出值并作为第二输出值；根据第一输出值和第二输出值进行对焦控制；在第一输出模式下，控制感光单元阵列进入成像模式；控制感光单元阵列进行曝光，以生成第一输出模式下的图像。
本发明的图像传感器的图像处理方法，基于图像传感器的一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
为了解决上述问题，本发明第六方面提出一种图像传感器，该图像传感器包括感光单元阵列；设置在感光单元阵列上的滤光单元阵列；位于滤光单元阵列之上的微透镜阵列；其中，微透镜阵列包括第一微透镜和第二微透镜，一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元，其中，N为正整数，图像传感器具有第一输出模式和第二输出模式。
本发明的图像传感器，基于一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元的结构，为提高画面质量和提高对焦速度提供硬件基础。
本发明的第七方面实施例提出一种成像装置，该成像装置包括：图像传感器；检测模块，用于检测当前环境光强度；控制模块，用于当当前环境光强度小于预设强度时，控制所述图像传感器进入第一输出模式；在第一输出模式下，控制感光单元阵列进入对焦模式；读取对焦感光单元中一部分感光像素的输出值并作为第一输出值；读取对焦感光单元中另一部分感光像素的输出值并作为第二输出值；根据第一输出值和第二输出值进行对焦控制；在第一输出模式下，控制感光单元阵列进入成像模式；控制感光单元阵列进行曝光，以生成第一输出模式下的图像。
本发明的成像装置，基于图像传感器的一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
本发明第八方面还提出一种移动终端，该移动终端包括壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为移动终端的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行上述图像传感器的图像处理方法。
本发明实施例的移动终端，基于图像传感器的一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明的一个实施例的图像传感器的立体结构图；
图2是根据本发明的一个实施例的图像传感器的图像处理方法的流程图；
图3是根据本发明的一个实施例的将对焦感光单元2*2个感光像素分为左侧和右侧两部分进行对焦的效果示意图；
图4是根据本发明的一个实施例的将对焦感光单元2*2个感光像素分为上侧和下侧两部分的示意图；
图5是根据本发明的一个实施例的以对焦感光单元的两条对角线将2*2个感光像素分为两部分的示意图；
图6是根据本发明的一个实施例的第一输出模式下成像的效果示意图；
图7是根据本发明的一个实施例的第二输出模式下成像模式的图像处理方法的流程图；
图8是根据本发明的一个实施例的对接收到红光的感光单元进行插值还原的示意图；
图9是根据本发明的一个实施例的对接收到绿光的感光单元进行插值还原的示意图；
图10是根据本发明的一个实施例的图像传感器的剖面图；
图11是根据本发明的一个实施例的N和M的取值为2时图像传感器的俯视图；
图12是根据本发明的另一个实施例的图像传感器的剖面图；
图13是根据本发明的一个实施例的图像传感器中对焦感光单元的分布示意图；
图14是根据本发明的另一个实施例的图像传感器中对焦感光单元的分布示意图；
图15是根据本发明的一个实施例的对焦感光单元Gp与图像传感器中心点的距离的示意图；
图16是根据本发明的一个实施例的处理对焦感光单元Gp的示意图；
图17是根据本发明的一个实施例的成像装置的框图；
图18是根据本发明的一个实施例的移动终端的结构示意图；
图19是根据本发明的另一个实施例的将对焦感光单元2*2个感光像素分为左侧和右侧两部分进行对焦的效果示意图；
图20是根据本发明的另一个实施例的将对焦感光单元2*2个感光像素分为上侧和下侧两部分的示意图；
图21是根据本发明的另一个实施例的以对焦感光单元的两条对角线将2*2个感光像素分为两部分的示意图；
图22是根据本发明的另一个实施例的第一输出模式下成像的效果示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像传感器、图像处理方法、成像装置和移动终端。
图1是根据本发明的一个实施例的图像传感器的立体结构图。
如图1所示，该图像传感器100包括：感光单元阵列10、滤光单元阵列20和微透镜阵列30。
其中，滤光单元阵列20设置在感光单元阵列10上，微透镜阵列30位于滤光单元阵列20之上。感光单元阵列10包括对焦感光单元和非对焦感光单元。对焦感光单元和非对焦感光单元均为感光单元。
本发明实施例中的图像传感器具有两种输出模式，第一输出模式和第二输出模式。
基于图1所示的图像传感器的结构，下面对本发明实施例提出的图像传感器的图像处理方法进行说明。
如图2所示，该图像传感器的图像处理方法包括：
S21，检测当前环境光强度。
通过手机对物体进行拍照时，摄像头对准拍摄的物体后，检测当前拍照环境的光强度。
S22，当当前环境光强度小于预设强度时，控制图像传感器进入第一输出模式。
将检测的当前拍照环境的光强度与预设强度进行比较，如果当前环境光强度小于预设强度如300勒克斯，即被拍摄物体处于弱光环境，则控制图像传感器进入第一输出模式。其中，第一输出模式可以为4M输出格式，该格式下输出的照片同一感光单元内感光像素的颜色相同，分辨率相对较低，但信噪比高。
S23，在第一输出模式下，控制感光单元阵列进入对焦模式。
对准要拍摄的物体后，点击屏幕进行对焦，这时感光单元阵列进入第一输出模式下的对焦模式。
S24，读取对焦感光单元中一部分感光像素的输出值并作为第一输出值。
S25，读取对焦感光单元中另一部分感光像素的输出值并作为第二输出值。
S26，根据第一输出值和第二输出值进行对焦控制。
在相关技术中，一般地，为了实现PDAF(Phase Detection Auto Focus，相位检测自动对焦)，通常利用图像传感器内相邻且成对设置的感光像素结构设计(又称遮蔽像素，masked pixels，遮蔽像素结构相较于普通感光像素结构更加复杂，通常需要改变普通感光像素本身结构或者在感光像素结构上单独增加一个光线遮挡部，以使得射向遮蔽像素上的多个方向光线中特定方向上的光线不能到达遮蔽像素的感光部分，而除了特定方向之外的光线则可以到达遮蔽像素的感光部分，换言之，遮蔽像素通常成对、邻近且对称的设置，成对设置的遮蔽像素用于对多个方向的光线进行分离)，将射向成对设置的遮蔽像素上的多个方向上的成像光束分离成比如左和右两部分，通过对比左、右两部分光线成像后的相位差(即通过采集成对设置的遮蔽像素的输出)来计算镜头需要移动的距离。
而在本发明的实施例中，通过不同方向的光线信号对比可以获取成像图像的相位差信息，进一步地根据相位差信息获得拍摄物体的距离信息，为相位对焦和景深信息测试提供数据基础。显然，本发明实施例中，只需要利用微透镜单元、滤光单元和对焦感光单元的配合设计，就可以实现相位对焦的检测，而无需改变普通感光像素本身结构或者在感光像素结构上单独增加一个光线遮挡部，相位对焦检测的实现方式也更加简单。
下面以对焦感光单元包括2*2个感光像素为例，说明第一输出模式下的对焦控制方法。
如图3所示，读取对焦感光单元中左侧的两个感光像素的输出值Gp30和Gp32作为第一输出值，读取另外一部分感光像素即右侧两个感光像素的输出值Gp31和Gp33作为第二输出值。
在获取第一输出值和第二输出值之后，求出对焦感光单元左侧两个感光像素的输出值Gp30与Gp32之间的和，即Gp1＝Gp30+Gp32，生成第一相位值Gp1。同样，求出右侧两个感光像素的输出值Gp31与Gp33之间的和，即Gp2＝Gp31+Gp33，生成第二相位值Gp2。从而，可以获取Gp1和Gp2之间的相位差信息，进而可以将相位差信息转换为对焦距离信息，根据对焦距离信息调节镜头的位置实现相位对焦，相位对焦检测的实现方式也更加简单。
在本发明的另一个实施例中，如图4所示，将对焦感光单元中2*2个感光像素分为上侧和下侧两个部分，可读取对焦感光单元中上侧的两个感光像素的输出值作为第一输出值，读取下侧的两个感光像素的输出值作为第二输出值。在获取第一输出值和第二输出值之后，根据第一输出值生成第一相位值，根据第二输出值生成第二相位值，再根据第一相位值和第二相位值之间的相位差信息进行对焦控制。
在本发明的又一个实施例中，如图5所示，以对焦感光单元的两条对角线将2*2个感光像素分为两部分，可读取左上角的感光像素与右下角的感光像素作为第一输出值，读取左下角的感光像素与右上角的感光像素作为第二输出值。在获取第一输出值和第二输出值之后，根据第一输出值生成第一相位值，根据第二输出值生成第二相位值，再根据第一相位值和第二相位值之间的相位差信息进行对焦控制。
在本发明实施例中，将对焦感光单元2*2个感光像素左右两侧感光像素的输出值分别作为第一输出值和第二输出值，可以检测左右方向的相位差信息；将对焦感光单元2*2个感光像素上下两侧感光像素的输出值分别作为第一输出值和第二输出值，可以检测上下方向的相位差信息；将对焦感光单元两条对角线上的感光像素的输出值分别作为第一输出值和第二输出值，可检测斜向的相位差信息。
本发明实施例提出的图像传感器处于第一输出模式时的对焦控制方法，通过读取对焦感光单元中不同部分的感光像素的输出值，获取不同角度入射光线的相位信息，进行不同方向相位信息检测，提高了暗光下的对焦速度，对焦更准确。
S27，在第一输出模式下，控制感光单元阵列进入成像模式；
在第一输出模式下，根据对焦感光单元中两部分感光像素输出值完成对焦控制后，控制感光单元阵列进入成像模式。
S28，控制感光单元阵列进行曝光，以生成第一输出模式下的图像。
如图6所示，蓝色B0、绿色G1、绿色G3和红色R4组成了一个拜耳RGB阵列。对对焦感光单元和非对焦感光单元进行曝光，读取对焦感光单元的输出值Gp30、Gp31、Gp32和Gp33，非对焦感光单元的输出值B00、B01、B02、B03、Gb10、Gb11、Gb12、Gb13等等。
读取对焦感光单元和非对焦感光单元的输出值之后，将同一对焦感光单元的2*2个感光像素的输出值Gp30、Gp31、Gp32和Gp33相加，即Gp30+Gp31+Gp32+Gp33＝G3，得到对焦感光单元的像素值G3。将同一非对焦感光单元的2*2个感光像素输出值B00、B01、B02、B03相加，即B00+B01+B02+B03＝B0，得到该非对焦感光单元的像素值B0。同理，可得到非对焦感光单元的像素值，绿色G1＝Gb10+Gb11+Gb12+Gb13，红色R4＝R40+R41+R42+R43等等。根据对焦感光单元和非对焦感光单元的像素值生成第一输出模式下的图像。
本发明实施例的成像方法，将感光单元内的M*M个感光像素的输出值之和作为该感光单元的像素值，根据对焦感光单元和非对焦感光单元的像素值生成图像，可有效地提升图像的成像灵敏度和信噪比。
本发明的图像传感器的图像处理方法，基于图像传感器包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
上述实施例是在拍照环境光强度较低的情况下，图像传感器进入第一输出模式时对焦方法和成像方法。下面详细介绍在强光环境下图像传感器的图像处理方法。
通过手机对物体进行拍照时，摄像头对准拍摄的物体后，检测当前拍照环境的光强度。将检测的拍照环境的光强度与预设强度进行比较，如果拍照环境的光强度大于预设强度如300勒克斯，即拍照环境为强光环境时，则控制图像传感器进入第二输出模式。
其中，第二输出模式可以为16M输出格式，该格式下输出的照片同一感光单元内的感光像素的颜色不同，相比第一输出模式输出的照片具有更多的细节，分辨率较高。
对准要拍摄的物体后，点击屏幕进行对焦，这时感光单元阵列进入对焦模式。
在本发明的实施例中，第二输出模式下的对焦控制方法与第一输出模式下的对焦控制方法类似，在此不再赘述。
如图7所示，第二输出模式下成像方法包括：
S71，在第二输出模式下，控制感光单元阵列进入成像模式。
在第二输出模式下，通过对焦感光单元中两部分感光像素输出值获得相位差信息，根据相位差信息完成对焦控制后，控制感光单元阵列进入成像模式。
S72，控制感光单元阵列进行曝光，以生成第二输出模式下的图像。
在本发明的实施例中，控制感光单元进入成像模式后，对感光单元阵列进行曝光，同时读取感光单元阵列的输出值。
在读取感光单元阵列的输出值后，可通过插值还原算法获得感光单元阵列的像素值，再根据像素值生成图像。
在本发明的实施例中，插值还原算法包括：判断当前像素的颜色与关联像素的颜色是否相同，如图8所示，右边图形中R22为当前像素，关联像素为左边图像中的R22。
在当前像素的颜色与关联像素的颜色相同时，将关联像素的像素值作为当前像素的像素值。举例而言，如图8所示，由于当前像素R22颜色为红色与关联像素的颜色相同，因此，当前像素的值与关联像素的值相同即R22＝R22。
在当前像素的颜色与关联像素的颜色不同时，根据关联像素单元的像素值通过插值方式计算当前像素的像素值。其中，图像像素单元的阵列包括关联像素单元，关联像素单元的颜色与当前像素颜色相同且与当前像素相邻。
举例而言，如图8所示，当前像素Gr23的颜色为绿色，关联像素R23的颜色为红色，当前像素的颜色与关联像素的颜色不相同，可根据关联像素单元的像素值通过插值方式计算当前像素的像素值Gr23的值，其中，当前像素Gr23的关联像素单元为G1、G3、G5、G7。
在本发明的一个实施例中，根据感光单元接收的光的颜色不同，插值还原算法可分为两种情况，具体示例如下。
示例一：以接收到红光的感光单元为例。如图8所示，当前像素R22的颜色为红色，与关联像素R22颜色也为红色，因此R22＝R22。当前像素Gr23的颜色为绿色与关联像素R23的颜色不相同，因此可根据关联像素单元G1、G3、G5和G7的像素值通过插值方式得到当前像素Gr23的值，如公式一所示。
公式一：
当前像素Gb32的颜色为绿色与关联像素R32的颜色不相同，可根据关联像素单元G1、G3、G5和G7的像素值，通过公式二的所示的插值方式得到当前像素Gb32的像素值。
公式二：
当前像素B33的颜色为蓝色，与关联像素R33的颜色不相同，可根据关联像素单元B0、B2、B6和B8的像素值通过插值算法得到当前像素B33的值，如公式三所示。
公式三：
需要说明的是，接收到蓝光的感光单元的插值还原算法与接收到红光的感光单元的插值还原算法相同，此处不再赘述。
示例二：以接收到绿光的感光单元为例。如图9所示，当前像素R22颜色为红色，与关联像素Gr22的颜色不同，可根据关联像素单元R3和R5的像素值通过插值还原得到当前像素R22的值，如公式四所示。
公式四：
当前像素Gr23的颜色为绿色与关联像素Gr23的颜色相同，则当前像素的值与关联像素的值相同，即Gr23＝Gr23。当前像素Gb32的颜色为绿色与关联像素的颜色相同，当前像素的值与关联像素的值相同，即Gr32＝Gr32。当前像素B33的颜色为蓝色与关联像素Gr33的颜色不同，可根据关联像素单元B1、B7的像素值通过插值还原得到当前像素B33的值，如公式五所示。
公式五：
通过上述插值还原算法获得感光单元阵列的像素值之后，根据感光单元阵列的像素值生成第二输出模式下的图像。
本发明实施例提出的图像处理方法，图像传感器可根据拍照环境的光强度选择对应的数据输出模式，在环境光强度小于预设强度时，以第一输出模式生成图像，在环境光强度大于预设强度时，以第二输出模式生成图像。
本发明的图像传感器的图像处理方法，基于图像传感器包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
为了增加对焦感光单元的进光量，提高对焦速度，微透镜阵列30中的微透镜大小可以不相同，以获取大微透镜对应的感光像素的相位信息，实现快速对焦。
如图10所示，微透镜阵列30包括两种大小不同的微透镜，第一微透镜31和第二微透镜32。其中，一个第一微透镜31覆盖一个对焦感光单元11，N*N个第二微透镜32覆盖一个非对焦感光单元12，其中，N为正整数。对焦感光单元11和非对焦感光单元12均包括M*M个感光像素110，其中，M为正整数。
在本发明的一个实施例中，N和M的取值可以相同。以N和M的取值为2为例，如图11所示，图像传感器100中，2*2个第二微透镜覆盖一个非对焦感光单元，对焦感光单元和非对焦感光单元均包括2*2个感光像素。
当N和M的取值相同时，图像传感器的对焦方法和成像方法与上述实施例中的对焦方法和成像方法类似，在此不再赘述。
当然，N与M的取值也可以不相同。N与M的取值不同时，图像传感器的对焦方法和成像方法与上述实施例中的对焦方法和成像方法类似，在此不再赘述。
需要说明的是，在本发明的实施例中，微透镜的形状可以是如图11所示的圆形，也可以是矩形，或者其他形状。
为了使对焦感光单元上聚集更多的光线，在本发明的再一个实施例中，微透镜阵列中一个第一微透镜覆盖N*N个矩形微透镜，其中，N为正整数。具体示例，如图12所示，该图像传感器一个第一微透镜覆盖2*2个矩形微透镜33。
也就是说，该实施例中的图像传感器，其微透镜阵列30包括第一微透镜31、第二微透镜32和矩形微透镜33。通过双层形状大小不同的两种微透镜覆盖对焦感光单元，可以使更多的光线聚集到对焦感光单元上，提高暗光环境下的拍摄效果和对焦速度。
在本发明的一个实施例中，如图13所示，微透镜阵列30可包括水平中心线和竖直中心线，微透镜阵列包括多个第一微透镜。多个第一微透镜包括设置在水平中心线的第一组第一微透镜和设置在竖直中心线的第二组第一微透镜。
为了提高对焦速度，在本发明的另一个实施例中，如图14所示，多个第一微透镜还可包括设置在微透镜阵列四个边线上的第三组第一微透镜。
从图14可以看出，由第一微透镜覆盖的对焦感光单元，即图中的Gp，在整个图像传感器中零散分布，占总像素个数的3％～5％，图像传感器中心区域Gp分布更密集，边缘区域分布较为稀疏，优先获取画面中心的相位信息，在不影响画质的情况下，有效提高对焦速度。
由于透镜密度越大，透镜的折射率越大，聚光能力越强，为了使中心区域的对焦感光单元聚集较多的光线，以提升对焦速度和拍摄效果。在本发明的一个实施例中，可使第一组第一微透镜和第二组第一微透镜的透镜密度大于第三组第一微透镜的透镜密度，从而使中心区域的对焦感光单元的进光量相对边缘较大，进而提升对焦速度和拍摄效果。
在本发明的一个实施例中，在基于图14所示的对焦感光单元的分布基础上，当图像传感器处于第二输出模式下，在对感光单元阵列进行曝光，读取对焦感光单元和非对焦感光单元的输出值时，需要对对焦感光单元Gp的感光像素的值进行处理。
由于图像传感器中间部分光线强，四周光线较弱，因此图像传感器中间部分的对焦感光单元Gp内感光像素的值是可以直接使用的，离图像传感器中心点越远，对焦感光单元Gp内感光像素的值的可信度越低，可逐渐被周边感光像素的值取代。
在本发明的一个实施例中，根据对焦感光单元Gp离图像传感器的中心点的距离对对焦感光单元内感光像素的值进行处理。在一个具体实施例中，如图15所示，当对焦感光单元Gp与图像传感器中心点的距离小于r1时，也就是说，对焦感光单元处于图像传感器的中间部分时，可认为此时对焦感光单元Gp内感光像素的值与非对焦感光单元Gr的值是等价的。如图16所示，Gr30＝Gp30，Gr31＝Gp31，Gr32＝Gp32，Gr33＝Gp33。
当对焦感光单元Gp与图像传感器中心点的距离大于r2时，对焦感光单元Gp内感光像素的像素值可通过周边感光像素插值计算得到。
当对焦感光单元Gp与图像传感器中心点的距离大于r1小于r2时，可以距离为加权权重，通过将距离小于r1的对焦感光单元的感光像素的像素值与距离大于r2的通过插值计算得到的感光像素的像素值进行加权平均，计算得到该对焦感光单元内感光像素的像素值。
通过上述方法对对焦感光单元Gp的相位信息进行处理后，可获得感光单元阵列的输出值。根据获得的感光单元阵列的输出值，通过插值还原算法可获得感光单元阵列的像素值。其中，插值还原算法与上述实施例中的插值还原算法相同，在此不再赘述。
通过上述插值还原算法获得感光单元阵列的像素值之后，根据感光单元阵列的像素值可生成第二输出模式下的图像。
本发明实施例提出的方案，在进行插值还原之前，根据第一微透镜的空间位置，对对焦感光单元内感光像素的值进行处理，与简单的丢弃对焦感光单元处的相位信息，通过周边像素补偿的方案相比，提高了图像的清晰度和拍摄效果。
为达上述目的，本发明实施例还提出一种传感器。
如图1所示，该图像传感器100包括：感光单元阵列10、滤光单元阵列20和微透镜阵列30。
其中，滤光单元阵列20设置在感光单元阵列10上，微透镜阵列30位于滤光单元阵列20之上。感光单元阵列10包括对焦感光单元和非对焦感光单元。对焦感光单元和非对焦感光单元均为感光单元。
本发明实施例的图像传感器具有两种输出模式，第一输出模式和第二输出模式。
为了增加对焦感光单元的进光量，提高对焦速度，微透镜阵列30中的微透镜大小可以不相同，以获取大微透镜对应的感光像素的相位信息，实现快速对焦。
如图10所示，微透镜阵列30包括两种大小不同的微透镜，第一微透镜31和第二微透镜32。其中，一个第一微透镜31覆盖一个对焦感光单元11，N*N个第二微透镜32覆盖一个非对焦感光单元12，其中，N为正整数。对焦感光单元11和非对焦感光单元12均包括M*M个感光像素110，其中，M为正整数。
在本发明的一个实施例中，N和M的取值可以相同。以N和M的取值为2为例，如图11所示，图像传感器100中，2*2个第二微透镜覆盖一个非对焦感光单元，对焦感光单元和非对焦感光单元均包括2*2个感光像素。当然，N与M的取值也可以不相同。
需要说明的是，在本发明的实施例中，微透镜的形状可以是如图11所示的圆形，也可以是矩形，或者其他形状。
为了使对焦感光单元上聚集更多的光线，在本发明的再一个实施例中，微透镜阵列中一个第一微透镜覆盖N*N个矩形微透镜，其中，N为正整数。具体示例，如图12所示，该图像传感器一个第一微透镜覆盖2*2个矩形微透镜33。
也就是说，该实施例中的图像传感器，其微透镜阵列30包括第一微透镜31、第二微透镜32和矩形微透镜33。通过双层形状大小不同的两种微透镜覆盖对焦感光单元，可以使更多的光线聚集到对焦感光单元上，提高暗光环境下的拍摄效果和对焦速度。
在本发明的一个实施例中，如图13所示，微透镜阵列30可包括水平中心线和竖直中心线，微透镜阵列包括多个第一微透镜。多个第一微透镜包括设置在水平中心线的第一组第一微透镜和设置在竖直中心线的第二组第一微透镜。
为了提高对焦速度，在本发明的另一个实施例中，如图14所示，多个第一微透镜还可包括设置在微透镜阵列四个边线上的第三组第一微透镜。
从图14可以看出，由第一微透镜覆盖的对焦感光单元，即图中的Gp，在整个图像传感器中零散分布，占总像素个数的3％～5％，图像传感器中心区域Gp分布更密集，边缘区域分布较为稀疏，优先获取画面中心的相位信息，在不影响画质的情况下，有效提高对焦速度。
由于透镜密度越大，透镜的折射率越大，聚光能力越强，为了使中心区域的对焦感光单元聚集较多的光线，以提升对焦速度和拍摄效果。在本发明的一个实施例中，可使第一组第一微透镜和第二组第一微透镜的透镜密度大于第三组第一微透镜的透镜密度，从而使中心区域的对焦感光单元的进光量相对边缘较大，进而提升对焦速度和拍摄效果。
本发明的图像传感器，基于包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，为提高对焦速度提供硬件基础。
为达上述目的，下面对本发明再一方面实施例的成像装置进行说明。
图17是根据本发明的一个实施例的成像装置的框图，如图17所示，该成像装置1700包括上述方面的图像传感器1710、检测模块1720和控制模块1730。
控制模块1730用于当当前环境光强度小于预设强度时，控制图像传感器进入第一输出模式；在第一输出模式下，控制感光单元阵列进入对焦模式；读取对焦感光单元中一部分感光像素的输出值并作为第一输出值；读取对焦感光单元中另一部分感光像素的输出值并作为第二输出值；根据第一输出值和第二输出值进行对焦控制；在第一输出模式下，控制感光单元阵列进入成像模式；控制感光单元阵列进行曝光，以生成第一输出模式下的图像。
控制模块1730具体用于：根据第一输出值生成第一相位值；根据第二输出值生成第二相位值；根据第一相位值和第二相位值进行对焦控制。
控制模块1730具体用于控制对焦感光单元和非对焦感光单元进行曝光，并读取对焦感光单元和非对焦感光单元的输出值；将同一对焦感光单元的M*M个感光像素或同一非对焦感光单元的M*M个感光像素的输出值相加以得到对焦感光单元和非对焦感光单元的像素值从而生成第一输出模式下的图像。
控制模块1730还用于当当前环境光强度大于预设强度时，控制图像传感器进入第二输出模式；在第二输出模式下，控制感光单元阵列进入对焦模式；读取对焦感光单元中一部分感光像素的输出值并作为第三输出值；读取对焦感光单元中另一部分感光像素的输出值并作为第四输出值；根据第三输出值和第四输出值进行对焦控制；在第二输出模式下，控制感光单元阵列进入成像模式；控制感光单元阵列进行曝光，以生成第二输出模式下的图像。
控制模块1730具体用于：控制感光单元阵列进行曝光，并读取感光单元阵列的输出值，以得到感光单元阵列的像素值从而生成图像，其中，感光单元阵列的像素值通过插值还原算法获得。
控制模块1730具体用于：判断当前像素的颜色与关联像素的颜色是否相同；在当前像素的颜色与关联像素的颜色相同时，将关联像素的像素值作为当前像素的像素值；和在当前像素的颜色与关联像素的颜色不同时，根据关联像素单元的像素值通过插值方式计算当前像素的像素值，图像像素单元的阵列包括关联像素单元，关联像素单元的颜色与当前像素颜色相同且与当前像素相邻。
本发明的成像装置，基于图像传感器包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
本发明再一方面实施例还提出一种移动终端。
如图18所示，该移动终端包括壳体1810、处理器1820、存储器1830、电路板1840和电源电路1850，其中，电路板1840安置在壳体1810围成的空间内部，处理器1820和存储器1830设置在电路板1840上；电源电路1850，用于为移动终端的各个电路或器件供电；存储器1830用于存储可执行程序代码；处理器1820通过读取存储器1830中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行上述方面的图像传感器的图像处理方法。
本发明实施例的移动终端，基于图像传感器包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列和位于滤光单元阵列之上的微透镜阵列，其中，感光单元阵列包括对焦感光单元和非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
为达上述目的，本发明实施例还提出了一种图像传感器的图像处理方法。
如图10所示，该图像传感器100包括感光单元阵列10、滤光单元阵列20和微透镜阵列30。
其中，滤光单元阵列20设置在感光单元阵列10上，微透镜阵列30位于滤光单元阵列20之上。感光单元阵列10包括多个对焦感光单元11和多个非对焦感光单元12。
其中，微透镜阵列30包括第一微透镜31和第二微透镜32。第一微透镜31覆盖一个对焦感光单元11。N*N个第二微透镜32覆盖一个非对焦感光单元12。对焦感光单元11和非对焦感光单元12均包括M*M个感光像素110，其中，M为正整数。
基于图10所示的图像传感器的结构，下面对本发明实施例的图像传感器的图像处理方法进行说明。
如图2所示，该图像传感器的图像处理方法包括：
S21，检测当前环境光强度。
通过手机对物体进行拍照时，摄像头对准拍摄的物体后，检测当前拍照环境的光强度。
S22，当当前环境光强度小于预设强度时，控制图像传感器进入第一输出模式。
将检测的当前拍照环境的光强度与预设强度进行比较，如果当前环境光强度小于预设强度如300勒克斯，即被拍摄物体处于弱光环境，则控制图像传感器进入第一输出模式。其中，第一输出模式可以为4M输出格式，该格式下输出的照片同一感光单元内感光像素的颜色相同，分辨率相对较低，但信噪比高。
S23，在第一输出模式下，控制感光单元阵列进入对焦模式。
对准要拍摄的物体后，点击屏幕进行对焦，这时感光单元阵列进入第一输出模式下的对焦模式。
S24，读取对焦感光单元中一部分感光像素的输出值并作为第一输出值。
S25，读取对焦感光单元中另一部分感光像素的输出值并作为第二输出值。
S26，根据第一输出值和第二输出值进行对焦控制。
下面以对焦感光单元包括2*2个感光像素为例，说明第一输出模式下的对焦控制方法。
如图19所示，读取对焦感光单元中左侧的两个感光像素的输出值Gp30和Gp32作为第一输出值，读取另外一部分感光像素即右侧两个感光像素的输出值Gp31和Gp33作为第二输出值。
在获取第一输出值和第二输出值之后，求出对焦感光单元左侧两个感光像素的输出值Gp30与Gp32之间的和，即Gp1＝Gp30+Gp32，生成第一相位值Gp1。同样，求出右侧两个感光像素的输出值Gp31与Gp33之间的和，即Gp2＝Gp31+Gp33，生成第二相位值Gp2。从而，可以获取Gp1和Gp2之间的相位差信息，进而可以将相位差信息转换为对焦距离信息，根据对焦距离信息调节镜头的位置实现相位对焦，相位对焦检测的实现方式也更加简单。
在本发明的另一个实施例中，如图20所示，将对焦感光单元中2*2个感光像素分为上侧和下侧两个部分，可读取对焦感光单元中上侧的两个感光像素的输出值作为第一输出值，读取下侧的两个感光像素的输出值作为第二输出值。在获取第一输出值和第二输出值之后，根据第一输出值生成第一相位值，根据第二输出值生成第二相位值，再根据第一相位值和第二相位值之间的相位差信息进行对焦控制。
在本发明的又一个实施例中，如图21所示，以对焦感光单元的两条对角线将2*2个感光像素分为两部分，可读取左上角的感光像素与右下角的感光像素作为第一输出值，读取左下角的感光像素与右上角的感光像素作为第二输出值。在获取第一输出值和第二输出值之后，根据第一输出值生成第一相位值，根据第二输出值生成第二相位值，再根据第一相位值和第二相位值之间的相位差信息进行对焦控制。
在本发明实施例中，将对焦感光单元2*2个感光像素左右两侧感光像素的输出值分别作为第一输出值和第二输出值，可以检测左右方向的相位差信息；将对焦感光单元2*2个感光像素上下两侧感光像素的输出值分别作为第一输出值和第二输出值，可以检测上下方向的相位差信息；将对焦感光单元两条对角线上的感光像素的输出值分别作为第一输出值和第二输出值，可检测斜向的相位差信息。
本发明实施例提出的图像传感器处于第一输出模式时的对焦控制方法，通过读取对焦感光单元中不同部分的感光像素的输出值，获取不同角度入射光线的相位信息，进行不同方向相位信息检测，提高了暗光下的对焦速度，对焦更准确。
S27，在第一输出模式下，控制感光单元阵列进入成像模式；
在第一输出模式下，通过对焦感光单元中两部分感光像素输出值获得相位差信息，根据相位差信息完成对焦控制后，控制感光单元阵列进入成像模式。
S28，控制感光单元阵列进行曝光，以生成第一输出模式下的图像。
本发明实施例以对焦感光单元和非对焦感光单元包括2*2个感光像素为例。如图22所示，蓝色B0、绿色G1、绿色G3和红色R4组成了一个拜耳RGB阵列。对对焦感光单元和非对焦感光单元进行曝光，读取对焦感光单元的输出值Gp30、Gp31、Gp32和Gp33，非对焦感光单元的输出值B00、B01、B02、B03、Gb10、Gb11、Gb12、Gb13等等。
读取对焦感光单元和非对焦感光单元的输出值之后，将同一对焦感光单元的2*2个感光像素的输出值Gp30、Gp31、Gp32和Gp33相加，即Gp30+Gp31+Gp32+Gp33＝G3，得到对焦感光单元的像素值G3。将同一非对焦感光单元的2*2个感光像素输出值B00、B01、B02、B03相加，即B00+B01+B02+B03＝B0，得到该非对焦感光单元的像素值B0。同理，可得到非对焦感光单元的像素值，绿色G1＝Gb10+Gb11+Gb12+Gb13，红色R4＝R40+R41+R42+R43等等。根据对焦感光单元和非对焦感光单元的像素值生成第一输出模式下的图像。
本发明实施例的成像方法，将感光单元内的M*M个感光像素的输出值之和作为该感光单元的像素值，根据对焦感光单元和非对焦感光单元的像素值生成图像，可有效地提升图像的成像灵敏度和信噪比。
本发明的图像传感器的图像处理方法，基于图像传感器的一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元的结构，图像传感器具有两种输出模式，第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
上述实施例是在拍照环境光强度较低的情况下，图像传感器进入第一输出模式时对焦方法和成像方法。下面详细介绍在强光环境下图像传感器的图像处理方法。
通过手机对物体进行拍照时，摄像头对准拍摄的物体后，检测当前拍照环境的光强度。将检测的拍照环境的光强度与预设强度进行比较，如果拍照环境的光强度大于预设强度如300勒克斯，即拍照环境为强光环境时，则控制图像传感器进入第二输出模式。
其中，第二输出模式可以为16M输出格式，该格式下输出的照片同一感光单元内的感光像素的颜色不同，相比第一输出模式输出的照片具有更多的细节，分辨率较高。
对准要拍摄的物体后，点击屏幕进行对焦，这时感光单元阵列进入对焦模式。
在本发明的实施例中，第二输出模式下的对焦控制方法与第一输出模式下的对焦控制方法类似，成像方法与上述实施例中第二输出模式下成像方法类似，在此不再赘述。
在本发明的一个实施例中，N和M的取值可以相同。以N和M的取值为2为例，如图11所示，图像传感器100中，2*2个第二微透镜覆盖一个对焦感光单元，对焦感光单元和非对焦感光单元均包括2*2个感光像素。
当N和M的取值相同时，图像传感器的对焦方法和成像方法与上述实施例中的对焦方法和成像方法类似，在此不再赘述。
当然，N与M的取值也可以不相同。N与M的取值不同时，图像传感器的对焦方法和成像方法与上述实施例中的对焦方法和成像方法类似，在此不再赘述。
在本发明的一个实施例中，如图13所示，微透镜阵列30可包括水平中心线和竖直中心线，微透镜阵列包括多个第一微透镜。多个第一微透镜包括设置在水平中心线的第一组第一微透镜和设置在竖直中心线的第二组第一微透镜。
为了提高对焦速度，在本发明的另一个实施例中，如图14所示，多个第一微透镜还可包括设置在微透镜阵列四个边线上的第三组第一微透镜。
从图14可以看出，由第一微透镜覆盖的对焦感光单元，即图中的Gp，在整个图像传感器中零散分布，占总像素个数的3％～5％，图像传感器中心区域Gp分布更密集，边缘区域分布较为稀疏，优先获取画面中心的相位信息，在不影响画质的情况下，有效提高对焦速度。
由于透镜密度越大，透镜的折射率越大，聚光能力越强，为了使中心区域的对焦感光单元聚集较多的光线，以提升对焦速度和拍摄效果。在本发明的一个实施例中，可使第一组第一微透镜和第二组第一微透镜的透镜密度大于第三组第一微透镜的透镜密度，从而使中心区域的对焦感光单元的进光量相对边缘较大，进而提升对焦速度和拍摄效果。
在本发明的一个实施例中，在基于图14所示的对焦感光单元的分布基础上，当图像传感器处于第二输出模式下，在对感光单元阵列进行曝光，读取对焦感光单元和非对焦感光单元的输出值时，需要对对焦感光单元Gp的感光像素的值进行处理。
由于图像传感器中间部分光线强，四周光线较弱，因此图像传感器中间部分的对焦感光单元Gp内感光像素的值是可以直接使用的，离图像传感器中心点越远，对焦感光单元Gp内感光像素的值的可信度越低，可逐渐被周边感光像素的值取代。
在本发明的一个实施例中，根据对焦感光单元Gp离图像传感器的中心点的距离对对焦感光单元内感光像素的值进行处理。在一个具体实施例中，如图15所示，当对焦感光单元Gp与图像传感器中心点的距离小于r1时，也就是说，对焦感光单元处于图像传感器的中间部分时，可认为此时对焦感光单元Gp内感光像素的值与非对焦感光单元Gr的值是等价的。如图16所示，Gr30＝Gp30，Gr31＝Gp31，Gr32＝Gp32，Gr33＝Gp33。
当对焦感光单元Gp与图像传感器中心点的距离大于r2时，对焦感光单元Gp内感光像素的像素值可通过周边感光像素插值计算得到。
当对焦感光单元Gp与图像传感器中心点的距离大于r1小于r2时，可以距离为加权权重，通过将距离小于r1的对焦感光单元的感光像素的像素值与距离大于r2的通过插值计算得到的感光像素的像素值进行加权平均，计算得到该对焦感光单元内感光像素的像素值。
通过上述方法对对焦感光单元Gp的相位信息进行处理后，可获得感光单元阵列的输出值。根据获得的感光单元阵列的输出值，通过插值还原算法可获得感光单元阵列的像素值。其中，插值还原算法与上述实施例中的插值还原算法相同，在此不再赘述。
通过上述插值还原算法获得感光单元阵列的像素值之后，根据感光单元阵列的像素值可生成第二输出模式下的图像。本发明实施例提出的方案，在进行插值还原之前，根据第一微透镜的空置位置，对对焦感光单元内感光像素的值进行处理，与简单的丢弃对焦感光单元处的相位信息，通过周边像素补偿的方案相比，提高了图像的清晰度和拍摄效果。
本发明的图像传感器的图像处理方法，基于图像传感器的一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元的结构，图像传感器具有第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
为达上述目的，本发明实施例又提出一种图像传感器。
如图10所示，该图像传感器100包括感光单元阵列10、滤光单元阵列20和微透镜阵列30。
其中，滤光单元阵列20设置在感光单元阵列10上，微透镜阵列30位于滤光单元阵列20之上。感光单元阵列10包括多个对焦感光单元11和多个非对焦感光单元12。
其中，微透镜阵列30包括第一微透镜31和第二微透镜32。第一微透镜31覆盖一个对焦感光单元11。N*N个第二微透镜32覆盖一个非对焦感光单元12。对焦感光单元11和非对焦感光单元12包括M*M个感光像素110，其中，M为正整数。
在本发明的一个实施例中，N和M的取值可以相同。以N和M的取值为2为例，如图11所示，图像传感器100中，2*2个第二微透镜覆盖一个对焦感光单元，对焦感光单元和非对焦感光单元均包括2*2个感光像素。当然，N与M的取值也可以不相同。
在本发明的一个实施例中，如图13所示，微透镜阵列30可包括水平中心线和竖直中心线，微透镜阵列包括多个第一微透镜。多个第一微透镜包括设置在水平中心线的第一组第一微透镜和设置在竖直中心线的第二组第一微透镜。
为了提高对焦速度，在本发明的另一个实施例中，如图14所示，多个第一微透镜还可包括设置在微透镜阵列四个边线上的第三组第一微透镜。
从图14可以看出，由第一微透镜覆盖的对焦感光单元，即图中的Gp，在整个图像传感器中零散分布，占总像素个数的3％～5％，图像传感器中心区域Gp分布更密集，边缘区域分布较为稀疏，优先获取画面中心的相位信息，在不影响画质的情况下，有效提高对焦速度。
由于透镜密度越大，透镜的折射率越大，聚光能力越强，为了使中心区域的对焦感光单元聚集较多的光线，以提升对焦速度和拍摄效果。在本发明的一个实施例中，可使第一组第一微透镜和第二组第一微透镜的透镜密度大于第三组第一微透镜的透镜密度，从而使中心区域的对焦感光单元的进光量相对边缘较大，进而提升对焦速度和拍摄效果。
为达上述目的，本发明实施例还提出一种成像装置。本发明实施例提出的成像装置，与上述实施例中的成像装置的结构和功能类似，在此不再赘述。
本发明实施例的成像装置，基于图像传感器的一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元的结构，图像传感器具有第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
为达上述目的，本发明实施例还提出了一种移动终端，其结构与图18所示的移动终端结构类似，处理器运行与可执行程序代码对应的程序，可实现上述实施例提出的图像传感器的图像处理方法。
本发明实施例的移动终端，基于图像传感器的一个第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元的结构，图像传感器具有第一输出模式和第二输出模式，当环境光强度小于预设强度时，图像传感器进入第一输出模式，利用对焦感光单元中一部分感光像素的输出值与另外一部分感光像素的输出值，进行对焦控制，能有效提高对焦速度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (44)

1.一种图像传感器的图像处理方法，其特征在于，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列和位于所述滤光单元阵列之上的微透镜阵列，其中，所述感光单元阵列包括对焦感光单元和非对焦感光单元，所述图像传感器具有第一输出模式和第二输出模式，所述方法包括以下步骤：
检测当前环境光强度；
当所述当前环境光强度小于预设强度时，控制所述图像传感器进入第一输出模式；
在所述第一输出模式下，控制所述感光单元阵列进入对焦模式；
读取所述对焦感光单元中一部分感光像素的输出值并作为第一输出值；
读取所述对焦感光单元中另一部分感光像素的输出值并作为第二输出值；
根据所述第一输出值和第二输出值进行对焦控制；
在所述第一输出模式下，控制所述感光单元阵列进入成像模式；
控制所述感光单元阵列进行曝光，以生成所述第一输出模式下的图像。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一输出值和第二输出值进行对焦控制具体包括：
根据所述第一输出值生成第一相位值；
根据所述第二输出值生成第二相位值；
根据所述第一相位值和第二相位值进行对焦控制。
3.如权利要求1所述的方法，其特征在于，所述微透镜阵列包括第一微透镜和第二微透镜，一个所述第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元，其中，N为正整数。
4.如权利要求3所述的方法，其特征在于，所述微透镜阵列包括水平中心线和竖直中心线，所述第一微透镜为多个，所述多个第一微透镜包括：
设置在所述水平中心线的第一组第一微透镜；和
设置在所述竖直中心线的第二组第一微透镜。
5.如权利要求4所述的方法，其特征在于，所述微透镜阵列包括四个边线，所述多个第一微透镜还包括：
设置在所述四个边线的第三组第一微透镜。
6.如权利要求5所述的方法，其特征在于，所述第一组第一微透镜和所述第二组第一微透镜的透镜密度大于所述第三组第一微透镜的透镜密度。
7.如权利要求1所述的方法，其特征在于，所述对焦感光单元和所述非对焦感光单元包括M*M个感光像素，控制所述感光单元阵列进行曝光，以生成所述第一输出模式下的图像，包括：
控制所述对焦感光单元和所述非对焦感光单元进行曝光，并读取所述对焦感光单元和所述非对焦感光单元的输出值；
将同一所述对焦感光单元的M*M个感光像素或同一所述非对焦感光单元的M*M个感光像素的输出值相加以得到所述对焦感光单元和所述非对焦感光单元的像素值从而生成所述第一输出模式下的图像，其中，M为正整数。
8.如权利要求1所述的方法，其特征在于，还包括：
当所述当前环境光强度大于所述预设强度时，控制所述图像传感器进入第二输出模式；
在所述第二输出模式下，控制所述感光单元阵列进入对焦模式；
读取所述对焦感光单元中一部分感光像素的输出值并作为第三输出值；
读取所述对焦感光单元中另一部分感光像素的输出值并作为第四输出值；
根据所述第三输出值和第四输出值进行对焦控制；
在所述第二输出模式下，控制所述感光单元阵列进入成像模式；
控制所述感光单元阵列进行曝光，以生成所述第二输出模式下的图像。
9.如权利要求8所述的方法，其特征在于，控制所述感光单元阵列进行曝光，以生成所述第二输出模式下的图像，包括：
控制所述感光单元阵列进行曝光，并读取所述感光单元阵列的输出值，以得到所述感光单元阵列的像素值从而生成图像，其中，所述感光单元阵列的像素值通过插值还原算法获得。
10.如权利要求9所述的方法，其特征在于，通过插值还原算法获得所述感光单元阵列的像素值，包括：
判断所述当前像素的颜色与所述关联像素的颜色是否相同；
在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和
在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过插值方式计算所述当前像素的像素值，图像像素单元的阵列包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素颜色相同且与所述当前像素相邻。
11.一种图像传感器，其特征在于，包括：
感光单元阵列；
设置在所述感光单元阵列上的滤光单元阵列；
位于所述滤光单元阵列之上的微透镜阵列；
其中，所述感光单元阵列包括对焦感光单元和非对焦感光单元，所述图像传感器具有第一输出模式和第二输出模式。
12.如权利要求11所述的图像传感器，其特征在于，所述微透镜阵列包括第一微透镜和第二微透镜，一个所述第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元，其中，N为正整数。
13.如权利要求12所述的图像传感器，其特征在于，所述微透镜阵列包括水平中心线和竖直中心线，所述第一微透镜为多个，所述多个第一微透镜包括：
设置在所述水平中心线的第一组第一微透镜；和
设置在所述竖直中心线的第二组第一微透镜。
14.如权利要求13所述的图像传感器，其特征在于，所述微透镜阵列包括四个边线，所述多个第一微透镜还包括：
设置在所述四个边线的第三组第一微透镜。
15.如权利要求14所述的图像传感器，其特征在于，所述第一组第一微透镜和所述第二组第一微透镜的透镜密度大于所述第三组第一微透镜的透镜密度。
16.如权利要求11所述的图像传感器，其特征在于，所述对焦感光单元和所述非对焦感光单元包括M*M个感光像素，其中，M为正整数。
17.一种成像装置，其特征在于，包括：
如权利要求11-16任一项所述的图像传感器；
检测模块，用于检测当前环境光强度；
控制模块，用于当所述当前环境光强度小于预设强度时，控制所述图像传感器进入第一输出模式；
在所述第一输出模式下，控制所述图像传感器的感光单元阵列进入对焦模式；
读取所述对焦感光单元中一部分感光像素的输出值并作为第一输出值；
读取所述对焦感光单元中另一部分感光像素的输出值并作为第二输出值；
根据所述第一输出值和第二输出值进行对焦控制；
在所述第一输出模式下，控制所述感光单元阵列进入成像模式；
控制所述感光单元阵列进行曝光，以生成所述第一输出模式下的图像。
18.如权利要求17所述的成像装置，其特征在于，所述控制模块具体用于：
根据所述第一输出值生成第一相位值；
根据所述第二输出值生成第二相位值；
根据所述第一相位值和第二相位值进行对焦控制。
19.如权利要求17所述的成像装置，其特征在于，所述控制模块具体用于：
控制对焦感光单元和非对焦感光单元进行曝光，并读取所述对焦感光单元和所述非对焦感光单元的输出值；
将同一所述对焦感光单元的M*M个感光像素或同一所述非对焦感光单元的M*M个感光像素的输出值相加以得到所述对焦感光单元和所述非对焦感光单元的像素值从而生成所述第一输出模式下的图像，其中，M为正整数。
20.如权利要求17所述的成像装置，其特征在于，所述控制模块还用于：
当所述当前环境光强度大于所述预设强度时，控制所述图像传感器进入第二输出模式；
在所述第二输出模式下，控制所述感光单元阵列进入对焦模式；
读取所述对焦感光单元中一部分感光像素的输出值并作为第三输出值；
读取所述对焦感光单元中另一部分感光像素的输出值并作为第四输出值；
根据所述第三输出值和第四输出值进行对焦控制；
在所述第二输出模式下，控制所述感光单元阵列进入成像模式；
控制所述感光单元阵列进行曝光，以生成所述第二输出模式下的图像。
21.如权利要求20所述的成像装置，其特征在于，所述控制模块具体用于：
控制所述感光单元阵列进行曝光，并读取所述感光单元阵列的输出值，以得到所述感光单元阵列的像素值从而生成图像，其中，所述感光单元阵列的像素值通过插值还原算法获得。
22.如权利要求21所述的成像装置，其特征在于，所述控制模块具体用于：
判断所述当前像素的颜色与所述关联像素的颜色是否相同；
在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和
在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过插值方式计算所述当前像素的像素值，所述图像像素单元的阵列包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素颜色相同且与所述当前像素相邻。
23.一种移动终端，包括壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述移动终端的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1至10中任一项所述的图像传感器的图像处理方法。
24.一种图像传感器的图像处理方法，其特征在于，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列和位于所述滤光单元阵列之上的微透镜阵列，其中，所述微透镜阵列包括第一微透镜和第二微透镜，一个所述第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元，其中，N为正整数，所述图像传感器具有第一输出模式和第二输出模式，所述方法包括以下步骤：
检测当前环境光强度；
当所述当前环境光强度小于预设强度时，控制所述图像传感器进入第一输出模式；
在所述第一输出模式下，控制所述感光单元阵列进入对焦模式；
读取所述对焦感光单元中一部分感光像素的输出值并作为第一输出值；
读取所述对焦感光单元中另一部分感光像素的输出值并作为第二输出值；
根据所述第一输出值和第二输出值进行对焦控制；
在所述第一输出模式下，控制所述感光单元阵列进入成像模式；
控制所述感光单元阵列进行曝光，以生成所述第一输出模式下的图像。
25.如权利要求24所述的方法，其特征在于，所述根据所述第一输出值和第二输出值进行对焦控制具体包括：
根据所述第一输出值生成第一相位值；
根据所述第二输出值生成第二相位值；
根据所述第一相位值和第二相位值进行对焦控制。
26.如权利要求24所述的方法，其特征在于，所述微透镜阵列包括水平中心线和竖直中心线，所述第一微透镜为多个，所述多个第一微透镜包括：
设置在所述水平中心线的第一组第一微透镜；和
设置在所述竖直中心线的第二组第一微透镜。
27.如权利要求26所述的方法，其特征在于，所述微透镜阵列包括四个边线，所述多个第一微透镜还包括：
设置在所述四个边线的第三组第一微透镜。
28.如权利要求27所述的方法，其特征在于，所述第一组第一微透镜和所述第二组第一微透镜的透镜密度大于所述第三组第一微透镜的透镜密度。
29.如权利要求24所述的方法，其特征在于，所述对焦感光单元和所述非对焦感光单元包括M*M个感光像素，控制所述感光单元阵列进行曝光，以生成所述第一输出模式下的图像，包括：
控制所述对焦感光单元和所述非对焦感光单元进行曝光，并读取所述对焦感光单元和所述非对焦感光单元的输出值；
将同一所述对焦感光单元的M*M个感光像素或同一所述非对焦感光单元的M*M个感光像素的输出值相加以得到所述对焦感光单元和所述非对焦感光单元的像素值从而生成所述第一输出模式下的图像，其中，M为正整数。
30.如权利要求24所述的方法，其特征在于，还包括：
当所述当前环境光强度大于所述预设强度时，控制所述图像传感器进入第二输出模式；
在所述第二输出模式下，控制所述感光单元阵列进入对焦模式；
读取所述对焦感光单元中一部分感光像素的输出值并作为第三输出值；
读取所述对焦感光单元中另一部分感光像素的输出值并作为第四输出值；
根据所述第三输出值和第四输出值进行对焦控制；
在所述第二输出模式下，控制所述感光单元阵列进入成像模式；
控制所述感光单元阵列进行曝光，以生成所述第二输出模式下的图像。
31.如权利要求30所述的方法，其特征在于，控制所述感光单元阵列进行曝光，以生成所述第二输出模式下的图像，包括：
控制所述感光单元阵列进行曝光，并读取所述感光单元阵列的输出值，以得到所述感光单元阵列的像素值从而生成图像，其中，所述感光单元阵列的像素值通过插值还原算法获得。
32.如权利要求31所述的方法，其特征在于，通过插值还原算法获得所述感光单元阵列的像素值，包括：
判断所述当前像素的颜色与所述关联像素的颜色是否相同；
在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和
在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过插值方式计算所述当前像素的像素值，图像像素单元的阵列包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素颜色相同且与所述当前像素相邻。
33.一种图像传感器，其特征在于，包括：
感光单元阵列；
设置在所述感光单元阵列上的滤光单元阵列；
位于所述滤光单元阵列之上的微透镜阵列；
其中，所述微透镜阵列包括第一微透镜和第二微透镜，一个所述第一微透镜覆盖一个对焦感光单元，N*N个第二微透镜覆盖一个非对焦感光单元，其中，N为正整数，所述图像传感器具有第一输出模式和第二输出模式。
34.如权利要求33所述的图像传感器，其特征在于，所述微透镜阵列包括水平中心线和竖直中心线，所述第一微透镜为多个，所述多个第一微透镜包括：
设置在所述水平中心线的第一组第一微透镜；和
设置在所述竖直中心线的第二组第一微透镜。
35.如权利要求34所述的图像传感器，其特征在于，所述微透镜阵列包括四个边线，所述多个第一微透镜还包括：
设置在所述四个边线的第三组第一微透镜。
36.如权利要求35所述的图像传感器，其特征在于，所述第一组第一微透镜和所述第二组第一微透镜的透镜密度大于所述第三组第一微透镜的透镜密度。
37.如权利要求33所述的图像传感器，其特征在于，所述对焦感光单元和所述非对焦感光单元包括M*M个感光像素，其中，M为正整数。
38.一种成像装置，其特征在于，包括：
如权利要求33-37任一项所述的图像传感器；
检测模块，用于检测当前环境光强度；
控制模块，用于当所述当前环境光强度小于预设强度时，控制所述图像传感器进入第一输出模式；
在所述第一输出模式下，控制所述感光单元阵列进入对焦模式；
读取所述对焦感光单元中一部分感光像素的输出值并作为第一输出值；
读取所述对焦感光单元中另一部分感光像素的输出值并作为第二输出值；
根据所述第一输出值和第二输出值进行对焦控制；
在所述第一输出模式下，控制所述感光单元阵列进入成像模式；
控制所述感光单元阵列进行曝光，以生成所述第一输出模式下的图像。
39.如权利要求138所述的成像装置，其特征在于，所述控制模块具体用于：
根据所述第一输出值生成第一相位值；
根据所述第二输出值生成第二相位值；
根据所述第一相位值和第二相位值进行对焦控制。
40.如权利要求38所述的成像装置，其特征在于，所述控制模块具体用于：
控制所述对焦感光单元和所述非对焦感光单元进行曝光，并读取所述对焦感光单元和所述非对焦感光单元的输出值；
将同一所述对焦感光单元的M*M个感光像素或同一所述非对焦感光单元的M*M个感光像素的输出值相加以得到所述对焦感光单元和所述非对焦感光单元的像素值从而生成所述第一输出模式下的图像，其中，M为正整数。
41.如权利要求38所述的成像装置，其特征在于，所述控制模块还用于：
当所述当前环境光强度大于所述预设强度时，控制所述图像传感器进入第二输出模式；
在所述第二输出模式下，控制所述感光单元阵列进入对焦模式；
读取所述对焦感光单元中一部分感光像素的输出值并作为第三输出值；
读取所述对焦感光单元中另一部分感光像素的输出值并作为第四输出值；
根据所述第三输出值和第四输出值进行对焦控制；
在所述第二输出模式下，控制所述感光单元阵列进入成像模式；
控制所述感光单元阵列进行曝光，以生成所述第二输出模式下的图像。
42.如权利要求41所述的成像装置，其特征在于，所述控制模块具体用于：
控制所述感光单元阵列进行曝光，并读取所述感光单元阵列的输出值，以得到所述感光单元阵列的像素值从而生成图像，其中，所述感光单元阵列的像素值通过插值还原算法获得。
43.如权利要求42所述的成像装置，其特征在于，所述控制模块具体用于：
判断所述当前像素的颜色与所述关联像素的颜色是否相同；
在所述当前像素的颜色与所述关联像素的颜色相同时，将所述关联像素的像素值作为所述当前像素的像素值；和
在所述当前像素的颜色与所述关联像素的颜色不同时，根据关联像素单元的像素值通过插值方式计算所述当前像素的像素值，所述图像像素单元的阵列包括所述关联像素单元，所述关联像素单元的颜色与所述当前像素颜色相同且与所述当前像素相邻。
44.一种移动终端，包括壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述移动终端的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求24至32中任一项所述的图像传感器的图像处理方法。
CN201710297653.4A 2017-04-28 2017-04-28 图像传感器、图像处理方法、成像装置和移动终端 Active CN107105141B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201710297653.4A CN107105141B (zh) 2017-04-28 2017-04-28 图像传感器、图像处理方法、成像装置和移动终端
TW107100949A TWI651582B (zh) 2017-04-28 2018-01-10 影像感測器、影像處理方法、成像裝置和行動終端
US15/893,475 US10484627B2 (en) 2017-04-28 2018-02-09 Image sensor with improved micro-lens, related imaging method and electronic device
EP18163006.2A EP3396942B1 (en) 2017-04-28 2018-03-21 Image sensor, imaging method and electronic device
KR1020197018149A KR102161557B1 (ko) 2017-04-28 2018-04-03 이미지 센서, 이미징 방법 및 전자 디바이스(image sensor, imaging method and electronic device)
JP2019540603A JP6878604B2 (ja) 2017-04-28 2018-04-03 撮像方法および電子装置
PCT/CN2018/081781 WO2018196568A1 (en) 2017-04-28 2018-04-03 Image sensor, imaging method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710297653.4A CN107105141B (zh) 2017-04-28 2017-04-28 图像传感器、图像处理方法、成像装置和移动终端

Publications (2)

Publication Number Publication Date
CN107105141A true CN107105141A (zh) 2017-08-29
CN107105141B CN107105141B (zh) 2019-06-28

Family

ID=59657465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710297653.4A Active CN107105141B (zh) 2017-04-28 2017-04-28 图像传感器、图像处理方法、成像装置和移动终端

Country Status (7)

Country Link
US (1) US10484627B2 (zh)
EP (1) EP3396942B1 (zh)
JP (1) JP6878604B2 (zh)
KR (1) KR102161557B1 (zh)
CN (1) CN107105141B (zh)
TW (1) TWI651582B (zh)
WO (1) WO2018196568A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196568A1 (en) * 2017-04-28 2018-11-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, imaging method and electronic device
CN109167941A (zh) * 2018-11-09 2019-01-08 德淮半导体有限公司 图像传感器及其制造方法
CN110062144A (zh) * 2019-05-14 2019-07-26 德淮半导体有限公司 相位对焦图像传感器及其形成方法、工作方法
CN112118387A (zh) * 2019-06-19 2020-12-22 三星电子株式会社 图像传感器和包括图像传感器的电子设备
CN112444793A (zh) * 2019-08-30 2021-03-05 Oppo广东移动通信有限公司 飞行时间tof系统和tof发射器
WO2022027194A1 (zh) * 2020-08-03 2022-02-10 深圳市汇顶科技股份有限公司 图像传感器、图像处理方法及装置、成像系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) * 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
CN108900772A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种移动终端及图像拍摄方法
KR102624107B1 (ko) * 2018-12-06 2024-01-12 삼성전자주식회사 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치
US11245878B2 (en) * 2019-02-28 2022-02-08 Qualcomm Incorporated Quad color filter array image sensor with aperture simulation and phase detection
KR20210080875A (ko) * 2019-12-23 2021-07-01 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
US11373431B2 (en) 2020-01-20 2022-06-28 Visual Sensing Technology Co., Ltd. Electronic device
CN113140578A (zh) * 2020-01-20 2021-07-20 胜薪科技股份有限公司 电子装置
KR20210099379A (ko) * 2020-02-04 2021-08-12 삼성전자주식회사 전자 장치 및 af 수행 방법
KR20210156493A (ko) 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치
CN114145009B (zh) * 2020-07-03 2024-01-26 深圳市汇顶科技股份有限公司 光电转换单元、图像传感器及对焦方法
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
KR20220051881A (ko) 2020-10-19 2022-04-27 삼성전자주식회사 비닝 모드에서의 아티팩트를 개선하는 이미지 센서
KR20220077735A (ko) 2020-12-02 2022-06-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 픽셀 어레이
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
KR20230014490A (ko) * 2021-07-21 2023-01-30 삼성전자주식회사 오토 포커스 기능을 제공하는 방법 및 그 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103531603A (zh) * 2013-10-30 2014-01-22 上海集成电路研发中心有限公司 一种cmos图像传感器
CN104064577A (zh) * 2014-07-16 2014-09-24 上海集成电路研发中心有限公司 自动对焦的图像传感器
CN104241310A (zh) * 2014-09-23 2014-12-24 上海集成电路研发中心有限公司 一种具有双微透镜层的cmos图像像素阵列
CN105611122A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN106549025A (zh) * 2015-09-16 2017-03-29 台湾积体电路制造股份有限公司 用于复合网格结构的相位检测自动对焦（phaf）像素的微透镜

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6638786B2 (en) 2002-10-25 2003-10-28 Hua Wei Semiconductor (Shanghai ) Co., Ltd. Image sensor having large micro-lenses at the peripheral regions
US7505206B2 (en) * 2006-07-10 2009-03-17 Taiwan Semiconductor Manufacturing Company Microlens structure for improved CMOS image sensor sensitivity
JP4961993B2 (ja) * 2006-12-18 2012-06-27 株式会社ニコン 撮像素子、焦点検出装置および撮像装置
JP5672989B2 (ja) 2010-11-05 2015-02-18 ソニー株式会社 撮像装置
DE102013102667A1 (de) * 2013-03-15 2014-10-02 Osram Opto Semiconductors Gmbh Anzeigevorrichtung
US9372286B2 (en) * 2013-04-11 2016-06-21 Omnivision Technologies, Inc. Method of forming dual size microlenses for image sensors
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
JP2017508250A (ja) * 2014-02-24 2017-03-23 スリーエム イノベイティブ プロパティズ カンパニー 遠隔ダウンコンバータを含む光学デバイス
KR20170032227A (ko) * 2014-07-16 2017-03-22 소니 주식회사 복안 촬상 장치
KR20160010986A (ko) * 2014-07-21 2016-01-29 에스케이하이닉스 주식회사 이미지 센서
KR102294316B1 (ko) * 2014-08-04 2021-08-26 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
KR102195407B1 (ko) 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US9853076B2 (en) * 2015-04-16 2017-12-26 Taiwan Semiconductor Manufacturing Co., Ltd. Stacked grid for more uniform optical input
JP6603892B2 (ja) * 2015-05-14 2019-11-13 パナソニックＩｐマネジメント株式会社 撮像装置
US10044959B2 (en) 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
KR102390836B1 (ko) 2015-10-05 2022-04-26 삼성전자주식회사 이미지 데이터를 생성하는 전자 장치 및 방법
CN107040724B (zh) 2017-04-28 2020-05-15 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
CN107105141B (zh) 2017-04-28 2019-06-28 Oppo广东移动通信有限公司 图像传感器、图像处理方法、成像装置和移动终端
CN106982329B (zh) 2017-04-28 2020-08-07 Oppo广东移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
CN107135340A (zh) 2017-04-28 2017-09-05 广东欧珀移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
CN107040702B (zh) 2017-04-28 2020-06-05 Oppo广东移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103531603A (zh) * 2013-10-30 2014-01-22 上海集成电路研发中心有限公司 一种cmos图像传感器
CN104064577A (zh) * 2014-07-16 2014-09-24 上海集成电路研发中心有限公司 自动对焦的图像传感器
CN104241310A (zh) * 2014-09-23 2014-12-24 上海集成电路研发中心有限公司 一种具有双微透镜层的cmos图像像素阵列
CN106549025A (zh) * 2015-09-16 2017-03-29 台湾积体电路制造股份有限公司 用于复合网格结构的相位检测自动对焦（phaf）像素的微透镜
CN105611122A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196568A1 (en) * 2017-04-28 2018-11-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, imaging method and electronic device
US10484627B2 (en) 2017-04-28 2019-11-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor with improved micro-lens, related imaging method and electronic device
CN109167941A (zh) * 2018-11-09 2019-01-08 德淮半导体有限公司 图像传感器及其制造方法
CN109167941B (zh) * 2018-11-09 2021-02-09 德淮半导体有限公司 图像传感器及其制造方法
CN110062144A (zh) * 2019-05-14 2019-07-26 德淮半导体有限公司 相位对焦图像传感器及其形成方法、工作方法
CN112118387A (zh) * 2019-06-19 2020-12-22 三星电子株式会社 图像传感器和包括图像传感器的电子设备
CN112444793A (zh) * 2019-08-30 2021-03-05 Oppo广东移动通信有限公司 飞行时间tof系统和tof发射器
WO2022027194A1 (zh) * 2020-08-03 2022-02-10 深圳市汇顶科技股份有限公司 图像传感器、图像处理方法及装置、成像系统

Also Published As

Publication number Publication date
JP2020505863A (ja) 2020-02-20
WO2018196568A1 (en) 2018-11-01
EP3396942A1 (en) 2018-10-31
JP6878604B2 (ja) 2021-05-26
EP3396942B1 (en) 2020-05-13
US10484627B2 (en) 2019-11-19
US20180316878A1 (en) 2018-11-01
TWI651582B (zh) 2019-02-21
TW201839487A (zh) 2018-11-01
KR20190089017A (ko) 2019-07-29
CN107105141B (zh) 2019-06-28
KR102161557B1 (ko) 2020-10-06

Similar Documents

Publication Publication Date Title
CN107105141A (zh) 图像传感器、图像处理方法、成像装置和移动终端
CN107040724A (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
CN106982328A (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
CN206759600U (zh) 成像系统
CN107135340A (zh) 图像传感器、对焦控制方法、成像装置和移动终端
CN105611122B (zh) 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105611124B (zh) 图像传感器、成像方法、成像装置及终端
CN106982329A (zh) 图像传感器、对焦控制方法、成像装置和移动终端
CN107105140A (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
CN106331445B (zh) 全光凹相机
CN102378015B (zh) 使用亮度和色度传感器的图像捕获
CN102685377B (zh) 摄像装置
CN107040702A (zh) 图像传感器、对焦控制方法、成像装置和移动终端
CN202750183U (zh) 视差成像设备和视差成像系统
CN207338378U (zh) 图像传感器
CN107146797A (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
CN106973206A (zh) 摄像模组摄像处理方法、装置和终端设备
CN105611123B (zh) 成像方法、图像传感器、成像装置及电子装置
CN105609516B (zh) 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN106921823B (zh) 图像传感器、摄像模组和终端设备
CN103502866A (zh) 摄影装置及程序
CN104519327A (zh) 图像传感器及图像采集系统
CN106454289A (zh) 控制方法、控制装置及电子装置
CN106604001A (zh) 图像处理方法、图像处理装置、成像装置及电子装置
CN106067937A (zh) 镜头模块阵列、图像感测装置与数字缩放图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1238834

Country of ref document: HK

CB02 Change of applicant information

Address after: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant