CN106973206B - 摄像模组摄像处理方法、装置和终端设备 - Google Patents

摄像模组摄像处理方法、装置和终端设备 Download PDF

Info

Publication number
CN106973206B
CN106973206B CN201710300310.9A CN201710300310A CN106973206B CN 106973206 B CN106973206 B CN 106973206B CN 201710300310 A CN201710300310 A CN 201710300310A CN 106973206 B CN106973206 B CN 106973206B
Authority
CN
China
Prior art keywords
focusing
photosensitive units
pairs
phase difference
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710300310.9A
Other languages
English (en)
Other versions
CN106973206A (zh
Inventor
曾元清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710300310.9A priority Critical patent/CN106973206B/zh
Publication of CN106973206A publication Critical patent/CN106973206A/zh
Priority to PCT/CN2018/083950 priority patent/WO2018196698A1/zh
Priority to EP18790392.7A priority patent/EP3595285A4/en
Priority to US16/664,313 priority patent/US11082605B2/en
Application granted granted Critical
Publication of CN106973206B publication Critical patent/CN106973206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种摄像模组摄像处理方法、装置和终端设备，其中，该方法包括：控制所述感光单元阵列进入对焦模式；读取所述M对第一对焦感光单元的第一组输出值；读取所述N对第二对焦感光单元的第二组输出值；根据所述第一组输出值和所述第二组输出值，进行对焦控制。通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度。

Description

摄像模组摄像处理方法、装置和终端设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种摄像模组摄像处理方法、装置和终端设备。
背景技术
双核全像素对焦技术是目前市面上最先进的对焦技术。该技术将图像传感器的像素点一分为二，一个像素点里有两个光电二极管，能够在不遮盖任何像素的前提下有效完成相位差检测。因此相比传统对焦方法，利用一个像素只有一个光电二极管的传感器进行对焦，双核全像素对焦技术的对焦精度和速度更高，且由于无需牺牲成像像素，对焦的有效范围也更广。
然而，发明人发现现有的双核全像素对焦技术的对焦准确度和速度仍有待提高。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种摄像模组摄像处理方法，该方法通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度。。
本申请的第二个目的在于提出一种摄像模组摄像处理装置。
本申请的第三个目的在于提出一种终端设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序。
为了解决上述问题，本申请一方面提出一种摄像模组摄像处理方法，其中，所述摄像模组包括图像传感器，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列，和位于所述滤光单元阵列之上的微透镜阵列；
其中，所述感光单元阵列中包括M对中心线互相平行的第一对焦感光单元和N对中心线互相平行的第二对焦感光单元，一个微透镜单元覆盖一个滤光单元和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行；
一对第一对焦感光单元的中心线，与一对第二对焦感光单元的中心线间的交角大于0度，M和N为大于或等于1的正整数；
所述方法包括以下步骤：
控制所述感光单元阵列进入对焦模式；
读取所述M对第一对焦感光单元的第一组输出值；
读取所述N对第二对焦感光单元的第二组输出值；
根据所述第一组输出值和所述第二组输出值，进行对焦控制。
本申请实施例提供的摄像模组摄像处理方法，首先控制感光单元阵列进入对焦模式，然后分别读取M对第一对焦感光单元的第一组输出值和N对第二对焦感光单元的第二组输出值，再根据第一组输出值和第二组输出值，进行对焦控制。通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度。
为了解决上述问题，本申请第二方面提出一种摄像模组摄像处理装置，其中，所述摄像模组包括图像传感器，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列，和位于所述滤光单元阵列之上的微透镜阵列；
其中，所述感光单元阵列中包括M对中心线互相平行的第一对焦感光单元和N对中心线互相平行的第二对焦感光单元，一个微透镜单元覆盖一个滤光单元和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行；
一对第一对焦感光单元的中心线，与一对第二对焦感光单元的中心线间的交角大于0度，M和N为大于或等于1的正整数；
所述摄像模组摄像处理装置包括：
第一控制模块，用于控制所述感光单元阵列进入对焦模式；
第一读取模块，用于读取所述M对第一对焦感光单元的第一组输出值；
第二读取模块，用于读取所述N对第二对焦感光单元的第二组输出值；
第二控制模块，用于根据所述第一组输出值和所述第二组输出值，进行对焦控制。
本申请实施例提供的摄像模组摄像处理装置，首先控制感光单元阵列进入对焦模式，然后分别读取M对第一对焦感光单元的第一组输出值和N对第二对焦感光单元的第二组输出值，再根据第一组输出值和第二组输出值，进行对焦控制。通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度。
为了解决上述问题，本申请第三方面提出一种终端设备，包括：壳体、电路板、摄像模组和电源电路，其中，所述电路板安置在所述壳体围成的空间内部；所述电源电路，用于为所述终端设备的各个电路或器件供电；
所述摄像模组包括图像传感器，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列，和位于所述滤光单元阵列之上的微透镜阵列；
其中，所述感光单元阵列中包括M对中心线互相平行的第一对焦感光单元和N对中心线互相平行的第二对焦感光单元，一个微透镜单元覆盖一个滤光单元和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行；
一对第一对焦感光单元的中心线，与一对第二对焦感光单元的中心线间的交角大于0度，M和N为大于或等于1的正整数。
本申请实施例提供的终端设备中，摄像模组包括感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列，和位于所述滤光单元阵列之上的微透镜阵列的图像传感器，通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度。
为了解决上述问题，本申请第四方面提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面所述的摄像模组摄像处理方法。
为了解决上述问题，本申请第五方面提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如第一方面所述的摄像模组摄像方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是传统双核对焦图像传感器结构示意图；
图2a是根据本申请的一个实施例的图像传感器的剖面图；
图2b是根据本申请的一个实施例的图像传感器的俯视图；
图3是根据本申请的一个实施例的图像传感器中对焦感光单元分布示意图；
图4是根据本申请的另一个实施例的图像传感器中对焦感光单元分布示意图；
图5是根据本申请的一个实施例的摄像模组的示意图；
图6是本申请一个实施例的摄像模组摄像处理方法的流程图；
图7是本申请另一个实施例的摄像模组摄像处理方法的流程图；
图8是本申请一个实施例的摄像模组摄像处理装置的结构图；
图9是本申请另一个实施例的摄像模组摄像处理装置的结构图；
图10是本申请一个实施例提供的终端设备的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像传感器、摄像模组摄像处理方法、装置、摄像模组和终端设备。
双核全像素对焦技术是目前市场上最先进的对焦技术，该对焦技术所采用的双核对焦传感器结构如图1所示，每个微透镜(图1中圆圈表示微透镜)下对应两个光电二极管。进行成像处理时，将“1”和“2”的值相加获得单分量像素值。进行对焦处理时，分别读出“1”和“2”的值，通过计算两者之间的相位差即可计算出镜头的驱动量和驱动方向。
由于目前的图像传感器中，对焦感光单元中的两个光电二极管都是并向排列的，因此，只能检测像素点水平方向的相位差。
为了解决现有双核全像素对焦技术只能检测像素点水平方向的相位差的问题，本发明提出了一种图像传感器和摄像模组摄像处理方法，通过在图像传感器中，设置多个光电二极管排列方向不同的对焦感光单元，以检测像素点在多个方向的相位差，有效提升了对焦速度，同时提高了双核对焦的精度和准确度。
首先结合图2a和图2b，对本申请实施例提供的图像传感器进行详细说明。
图2a是根据本申请的一个实施例的图像传感器的剖面图，图2b是根据本申请的一个实施例的图像传感器的俯视图。图2a仅以部分图像传感器进行示意。
如图2a和图2b所示，该图像传感器100包括感光单元阵列10、滤光单元阵列20和微透镜阵列30。
其中，滤光单元阵列20设置在感光单元阵列10上，微透镜阵列30位于滤光单元阵列20之上。感光单元阵列10包括M对中心线互相平行的第一对焦感光单元11和N对中心线互相平行的第二对焦感光单元12，一个微透镜单元31覆盖一个滤光单元21和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行。
其中，一对第一对焦感光单元11的中心线，与一对第二对焦感光单元12的中心线间的交角大于0度，M和N为大于或等于1的正整数。
在本申请实施例中，第一对焦感光单元11的中心线和第二对焦感光单元12中的中心线，指图2a中光电二极管111和光电二极管112之间的中心线，以及图2b中“1”和“2”之间的中心线。
在本发明的实施方式中，滤光单元阵列20采用拜耳结构，采用拜耳结构能采用传统针对拜耳结构的算法来处理图像信号，从而不需要硬件结构上做大的调整。每个滤光单元21对应一对对焦感光单元，即一对对焦感光单元对应相同颜色的滤光单元21。一对对焦感光单元对应2个子像素点及两个光电二极管111和112，分别对应图2b中的“1”和“2”。
本申请实施例中，由于一对第一对焦感光单元11的中心线，与一对第二对焦感光单元12的中心线间的交角大于0度，也就是说，感光单元阵列10中的M对第一对焦感光单元11与N对第二对焦感光单元12在图像传感器100中的排列方向不同。
从而，利用本申请实施例提供的图像传感器100进行对焦时，在感光单元阵列10中，每对对焦感光单元对应的两个光电二极管分别采集信号后，由于感光单元阵列10中包含排列方向不同的对焦感光单元，因此，可以检测像素点在两个不同方向的相位差及偏差方向，从而准确计算出镜头应该移动的方向及距离，进而完成对焦。相比现有的双核全像素对焦技术，仅通过检测像素点在水平方向的相位差及偏差方向，确定镜头应该移动的方向及距离，利用本申请实施例提供的图像传感器100，对焦精度和准确度更高。
可以理解的是，本申请实施例的感光单元阵列10中，M对第一对焦感光单元11与N对第二对焦感光单元12可在图像传感器100上以任意不同的排列方向进行设置。例如，M对第一对焦感光单元11以其中心线与图像传感器100的水平方向平行的方式进行设置、N对第二对焦感光单元12以其中心线与图像传感器100的某个对角线平行的方式进行设置，或者，M对第一对焦感光单元11以其中心线与图像传感器100的水平方向垂直的方式进行设置、N对第二对焦感光单元12以其中心线与图像传感器100的某个对角线平行的方式进行设置，等等。
在本申请一种较优的实现形式中，每对第一对焦感光单元11的中心线与每对第二对焦感光单元12的中心线垂直，从而在进行对焦时，第一对焦感光单元11和第二对焦感光单元12，可以检测到各像素点在两个互相垂直的方向的相位差，由于两个方向的相位差互相无关，从而可以直接根据两个方向的相位差，快速计算镜头应该向移动的距离，从而快速完成对焦。
具体实现时，第一对焦感光单元11的对数M，与第二对焦感光单元12的对数N，可以根据需要进行设置。具体的，第一对焦感光单元11的对数M和第二对焦感光单元12的对数N可以相等，也可以不等，此处不作限制。
其中，M＝N时，图像传感器100在两个方向上可实现的对焦精度及准确度的一致性更好。
需要说明的是，如图2b所示，图像传感器100上的所有感光单元阵列10，均可分别设置为第一对焦感光单元11和第二对焦感光单元12，以实现双核全像素对焦。且M对第一对焦感光单元11和N对第二对焦感光单元12，可以以任意形式，分布在图像传感器100上。比如第一对焦感光单元11第二对焦感光单元12，还可以间隔设置在图像传感器100上。
在本申请一种可能的实现形式中，M对第一对焦感光单元11和N对第二对焦感光单元12，可以分别设置在图像传感器100的竖直中心线和水平中心线上。
或者，M对第一对焦感光单元11和N对第二对焦感光单元12，还可以分别设置在所述图像传感器100的两组对边线上。
举例来说，假设M＝7、N＝6，M对第一对焦感光单元11的中心线与图像传感器100的水平方向平行、N对第二对焦感光单元12的中心线与图像传感器100的水平方向垂直。则如图3所示，M对第一对焦感光单元11可以设置在图像传感器100的竖直中心线上，N对第二对焦感光单元12可以设置在图像传感器100的水平中心线上。或者，也可以将M对第一对焦感光单元11设置在图像传感器100的水平中心线上，N对第二对焦感光单元12设置在图像传感器100的垂直中心线上。
另外，M对第一对焦感光单元11和N对第二对焦感光单元12在图像传感器100上设置时的密集程度，也可以根据需要进行设置，例如，M对第一对焦感光单元11可以在图像传感器100的中间密集分布，N对第二对焦感光单元12可以在图像传感器100的四周零散分布，等等。
需要说明的是，由于用户在进行拍摄时，通常会使被拍摄物位于图像的中间区域。因此，在图像传感器上设置对焦感光单元时，可以设置在图像传感器的竖直中心线和水平中心线上的对焦感光单元的密度，大于设置在图像传感器的两组对边线上的对焦感光单元的密度，从而在拍摄过程中，可以优先获取画面中心的相位信息，在不影响画质的情况下，可以有效提高对焦速度。
通过上述分析可知，通过在图像传感器100的感光单元阵列10中，设置两种排列方向不同的对焦感光单元，即可在每对对焦感光单元包含的两个光电二极管分别采集信号后，通过检测像素点在两个不同方向的相位差及偏差方向，准确计算出镜头应该移动的方向及距离，从而完成对焦。在本申请一种可能的实现形式中，还可以在感光单元阵列10中，设置三种或三种以上的排列方向的对焦感光单元，从而使对焦的精度和准确度更高。
即，感光单元阵列10中还可以包括：L对中心线互相平行的第三对焦感光单元，L为大于或等于1的正整数。
其中，一对第三对焦感光单元，分别被一个滤光单元21和一个微透镜单元31覆盖；
一对第三对焦感光单元的中心线，与一对第一对焦感光单元11的中心线，及一对第二对焦感光单元12的中心线间的交角分别大于0度。
举例来说，如图4所示，假设M＝12、N＝16、L＝36，则M对第一对焦感光单元11的中心线可以与图像传感器100的水平方向呈45度角，N对第二对焦感光单元12的中心线可以与图像传感器100的水平方向平行，L对第三对焦感光单元的中心线可以与图像传感器100的水平方向垂直。
具体实现时，与感光单元阵列10中，设置两种光电二极管排列方向不同的对焦感光单元类似，M对第一对焦感光单元11、N对第二对焦感光单元12和L对第三对焦感光单元，也可以设置在图像传感器100上的任意位置。
例如，M对第一对焦感光单元11、N对第二对焦感光单元12和L对第三对焦感光单元，可以分别设置在图像传感器100的水平中心线、第一对角线和第二对角线上。
或者，M对第一对焦感光单元11、N对第二对焦感光单元12和L对第三对焦感光单元，可以分别设置在图像传感器100的垂直中心线、第一对角线和第二对角线上，等等。
本申请实施例提供的图像传感器，包括：感光单元阵列、设置在感光单元阵列上的滤光单元阵列，和位于滤光单元阵列之上的微透镜阵列，通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，为检测像素点在多个方向的相位差，提高双核对焦的速度、精度和准确度提供了硬件基础。
基于图1-图4中图像传感器100的结构，本申请实施例还提出一种摄像模组。
如图5所示，摄像模组500包括图像传感器100。
具体的，图像传感器100包括：感光单元阵列10、设置在所述感光单元阵列10上的滤光单元阵列20，和位于所述滤光单元阵列20之上的微透镜阵列30；
其中，所述感光单元阵列10中包括M对第一对焦感光单元11和N对第二对焦感光单元12，一个微透镜单元31覆盖一个滤光单元和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行；
一对第一对焦感光单元11的中心线，与一对第二对焦感光单元12的中心线间的交角大于0度，M和N为大于或等于1的正整数。
需要说明的是，前述对图像传感器实施例的解释说明也适用于该实施例的摄像模组，其实现原理类似，此处不再赘述。
本申请实施例提供的摄像模组中，图像传感器中包括感光单元阵列、设置在感光单元阵列上的滤光单元阵列，和位于滤光单元阵列之上的微透镜阵列，通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，实现了检测像素点在多个方向的相位差，提高了双核对焦的速度、精度和准确度。
基于图5中摄像模组的结构，下面结合图6对本申请实施例的摄像模组摄像处理方法进行说明。
具体的，摄像模组500包括本申请实施例提供的图像传感器100。
其中，图像传感器100的结构如图1-图4所示，此处不再赘述。
图6是本申请一个实施例的摄像模组摄像处理方法的流程图。
如图6所示，该方法包括：
步骤601，控制感光单元阵列进入对焦模式。
具体的，摄像模组500可以通过多种触发方式，控制感光单元阵列10进入对焦模式。比如，可以预先设置控制感光单元阵列10进入对焦模式的条件，当图像传感器100获取的图像满足该条件时，则摄像模组500可以控制感光单元阵列10自动进入对焦模式；或者，也可以根据用户的需要控制感光单元阵列10进入对焦模式，例如在用户触控设置在摄像模组500上的控制按钮时，控制感光单元阵列10进入对焦模式，等等。
步骤602，读取M对第一对焦感光单元的第一组输出值。
其中，第一组输出值，包括M对第一对焦感光单元11分别对应的两个光电二极管的输出值。
步骤603，读取N对第二对焦感光单元的第二组输出值。
其中，第二组输出值，包括N对第二对焦感光单元12分别对应的两个光电二极管的输出值。
举例来说，以图2b为例，图2b中包括32对中心线与图像传感器100的水平方向垂直的第一对焦感光单元11，以及32对中心线与图像传感器100的水平方向平行的第二对焦感光单元12。则第一组输出值，包括32对第一对焦感光单元11中左右两个光电二极管分别的输出值；第二组输出值，包括32对第二对焦感光单元12中上下两个光电二极管分别的输出值。
步骤604，根据第一组输出值和所述第二组输出值，进行对焦控制。
具体的，读取了M对第一对焦感光单元11的第一组输出值和N对第二对焦感光单元12的输出值后，即可根据下面的步骤，进行对焦控制。即，步骤604，具体可以包括：
步骤604a，根据第一组输出值，确定图像传感器当前获取的图像在第一方向上的相位差。
其中，第一方向，为与M对第一对焦感光单元11的中心线垂直的方向。
步骤604b，根据第二组输出值，确定图像在第二方向上的相位差。
其中，第二方向，为与N对第二对焦感光单元12的中心线垂直的方向。
仍以图2b为例，假设
Figure BDA0001283440220000091
为一对第一对焦感光单元11对应的左边的光电二极管的输出值，
Figure BDA0001283440220000092
为一对第一对焦感光单元11对应的右边的光电二极管的输出值，则根据M对第一对焦感光单元11的第一组输出值，利用下面的公式，即可确定图像传感器100当前获取的图像在水平方向上的相位差Δx。
Figure BDA0001283440220000093
其中，水平方向上的相位差Δx，为M对第一对焦感光单元11对应的左右两边的光电二极管，分别获取的两幅图像差异最小时的相位差。
类似的，假设
Figure BDA0001283440220000094
为一对第二对焦感光单元12对应的上边的光电二极管的输出值，
Figure BDA0001283440220000095
为一对第二对焦感光单元12对应的下边的光电二极管的输出值，则根据N对第二对焦感光单元12的第二组输出值，利用下面的公式，即可确定图像传感器100当前获取的图像在垂直方向上的相位差Δy。
Figure BDA0001283440220000096
步骤604c，根据第一方向上的相位差和第二方向上的相位差进行对焦控制。
具体的，确定了图像传感器100当前获取的图像在第一方向上的相位差及第二方向上的相位差后，即可根据相位差，确定摄像模组500应该移动的距离及移动的方向，从而完成对焦。
具体实现时，可以根据第一方向上的相位差和第二方向上的相位差，通过多种方法，进行对焦控制。
方法一
根据第一方向上的相位差，确定图像传感器100在第一方向上的第一位移量；根据第二方向上的相位差，确定摄像模组500在第二方向上的第二位移量；根据所述第一位移量及所述第二位移量，控制摄像模组500进行对焦。
具体的，根据两个方向上的相位差，分别确定图像传感器100在两个方向上的位移量后，即可控制摄像模组500在两个方向上分别移动对应的距离，从而完成对焦。
方法二
根据第一方向上的相位差及第二方向的相位差，确定图像的相位差；根据相位差，确定摄像模组500的旋转角度及位移量；根据旋转角度及位移量，控制摄像模组500进行对焦。
具体的，确定了图像在两个方向上的相位差后，即可通过预设的方法，确定图像的相位差。例如，可以利用两个方向上的相位差的平方和，作为图像的相位差。则根据图像的相位差确定摄像模组500的旋转角度及位移量后，即可控制摄像模组500旋转对应角度后，移动对应距离，从而完成对焦。
可以理解的是，摄像模组500中还包括镜头，则控制摄像模组500进行对焦时，可以控制摄像模组500中的图像传感器100移动，也可以控制镜头移动，从而完成对焦。
本申请实施例提供的摄像模组摄像处理方法，首先控制感光单元阵列进入对焦模式，然后分别读取M对第一对焦感光单元的第一组输出值和N对第二对焦感光单元的第二组输出值，再根据第一组输出值和第二组输出值，进行对焦控制。通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度。
进一步地，通过上述方式确定图像传感器当前获取的图像在第一方向上的相位差和第二方向上的相位差后，还可以根据相位差确定被拍摄物体的景深，进而对被拍摄图像进行虚化处理。下面结合图7，对本申请实施例提供的摄像模组摄像处理方法进行进一步说明。
图7是本申请另一个实施例的摄像模组摄像处理方法的流程图。
如图7所示，该方法包括：
步骤701，控制感光单元阵列进入对焦模式。
步骤702，读取M对第一对焦感光单元的第一组输出值。
步骤703，读取N对第二对焦感光单元的第二组输出值。
步骤704，根据第一组输出值，确定图像传感器当前获取的图像在第一方向上的相位差。
步骤705，根据第二组输出值，确定图像在第二方向上的相位差。
其中，步骤702和步骤703可以同时进行，也可以先执行步骤702，后执行步骤703，或者先执行步骤703，后执行步骤702，此处不作限制。
类似的，步骤704和步骤705可以同时进行，或者先后进行。
步骤706，根据第一方向上的相位差和第二方向上的相位差，确定当前被拍摄物的景深。
本申请实施例中，景深指被拍摄物与微透镜阵列之间的距离。
步骤707，根据被拍摄物的景深，对被拍摄物进行虚化处理。
其中，虚化是一种常见的拍照技术，在拍照时，取景窗里有对焦点，当对焦点对到被拍摄物上，按下快门，即可使获取的图像中，被拍摄物是清晰的，而背景和其它物体是虚化的。
现有技术，可以通过数码相机的长焦大光圈镜头，把拍摄到的空间里面的划分为多个层次。例如，距离镜头最近的物体是一层，稍远的物理是一层，再远的物体是另一层，以此类推。把焦点对在其中的一层，即可让该层的物体清晰的显示出来，而清晰层前后相邻几层的物体因为不在焦点上，就会稍微模糊，距离清晰层越远的层的物体就越模糊。将这些层叠加在一起，即可形成被拍摄物清晰可以显示，而其它物体随距离清晰层空间越远而越模糊的进行显示的图像。
通过现有的双核全像素对焦技术，根据图像传感器当前获取的图像在一个方向上的相位差，即可确定当前被拍摄物的景深，从而将对焦点对到被拍摄物所在的层上，得到虚化处理后的图像。
然而，在实际运用中，当图像传感器当前获取的图像在一个方向上的相位差较小，但是在其它方向相位差较大时，则利用现有技术，可能无法准确的确定当前被拍摄物的景深，并将焦点对到被拍摄物所在的层上，导致被拍摄物的虚化效果不好。
而本申请实施例中，通过在图像传感器100上设置具有多种排列方向的多对对焦感光单元，可以确定图像在不同方向上的相位差，从而在某个方向上的相位差较小时，也可以更准确、快速的确定当前被拍摄物的景深，并将焦点准确的对到被拍摄物所在的层上，从而使得到的图像的空间感和层次感更强，虚化效果更好。
其中，上述步骤701-步骤705的具体实现过程和原理，可以参照上述实施例中步骤601-604的详细描述，此处不再赘述。
本申请实施例提供的摄像模组摄像处理方法，首先控制感光单元阵列进入对焦模式，然后分别读取M对第一对焦感光单元的第一组输出值和N对第二对焦感光单元的第二组输出值，再根据第一组输出值和第二组输出值，确定当前被拍摄物的景深，从而对被拍摄物进行虚化处理。通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度，增强了图像传感器获取的图像的空间感和层次感，优化了图像的虚化效果。
基于上述实施例，本申请还提出一种摄像模组摄像处理装置。
具体的，摄像模组500包括本申请实施例提供的图像传感器100。
其中，图像传感器100的结构如图1-图4所示，此处不再赘述。
图8是本申请一个实施例的摄像模组摄像处理装置的结构图。
如图8所示，该摄像模组摄像处理装置包括：
第一控制模块81，用于控制所述感光单元阵列进入对焦模式；
第一读取模块82，用于读取所述M对第一对焦感光单元的第一组输出值；
第二读取模块83，用于读取所述N对第二对焦感光单元的第二组输出值；
第二控制模块84，用于根据所述第一组输出值和所述第二组输出值，进行对焦控制。
其中，本实施例提供的摄像模组摄像处理装置，可以被配置在任何终端中，用于执行前述实施例中的摄像模组摄像处理方法。
需要说明的是，前述实施例中对摄像模组摄像处理方法实施例的解释说明也适用于该实施例的摄像模组摄像处理装置，此处不再赘述。
本申请实施例提供的摄像模组摄像处理装置，首先控制感光单元阵列进入对焦模式，然后分别读取M对第一对焦感光单元的第一组输出值和N对第二对焦感光单元的第二组输出值，再根据第一组输出值和第二组输出值，进行对焦控制。通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度。
图9是本申请另一个实施例的摄像模组摄像处理装置的结构图。
如图9所示，上述第二控制模块84，具体可以包括：
第一确定单元841，用于根据所述第一组输出值，确定所述图像传感器100当前获取的图像在第一方向上的相位差；
第二确定单元842，用于根据所述第二组输出值，确定所述图像在第二方向上的相位差；
控制单元843，用于根据所述第一方向上的相位差和第二方向上的相位差进行对焦控制。
在本申请一种可能的实现形式中，上述控制单元841，具体用于：
根据所述第一方向上的相位差，确定所述图像传感器100在第一方向上的第一位移量；
根据所述第二方向上的相位差，确定所述摄像模组500在第二方向上的第二位移量；
根据所述第一位移量及所述第二位移量，控制所述摄像模组500进行对焦。
在本申请另一种可能的实现形式中，上述控制单元841，还用于：
根据所述第一方向上的相位差及所述第二方向的相位差，确定所述图像的相位差；
根据所述相位差，确定所述摄像模组500的旋转角度及位移量；
根据所述旋转角度及位移量，控制所述摄像模组500进行对焦。
可以理解的是，摄像模组500还包括：镜头。
在本申请另一种可能的实现形式中，上述控制单元841，还用于：
控制所述图像传感器100和/或所述镜头移动，进行对焦。
在本申请另一种可能的实现形式中，摄像模组摄像处理装置，还包括：
确定模块，用于根据所述第一方向上的相位差和第二方向上的相位差，确定当前被拍摄物的景深；
处理模块，用于根据所述景深，对所述被拍摄图像进行虚化处理。
需要说明的是，前述实施例中对摄像模组摄像处理方法实施例的解释说明也适用于该实施例的摄像模组摄像处理装置，此处不再赘述。
本申请实施例提供的摄像模组摄像处理装置，首先控制感光单元阵列进入对焦模式，然后分别读取M对第一对焦感光单元的第一组输出值和N对第二对焦感光单元的第二组输出值，再根据第一组输出值和第二组输出值，进行对焦控制。通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度，增强了图像传感器获取的图像的空间感和层次感，优化了图像的虚化效果。
本发明再一方面实施例还提出一种终端设备。图10是本申请一个实施例提供的终端设备的结构图。
如图10所示，该终端设备包括壳体101、电路板102、摄像模组500和电源电路103，其中，所述电路板102安置在所述壳体101围成的空间内部；所述电源电路103，用于为所述终端设备的各个电路或器件供电。
具体的，摄像模组500包括图像传感器100，图像传感器100包括：感光单元阵列10、设置在所述感光单元阵列10上的滤光单元阵列20，和位于所述滤光单元阵列20之上的微透镜阵列30；
其中，所述感光单元阵列10中包括M对第一对焦感光单元11和N对第二对焦感光单元12，一个微透镜单元31覆盖一个滤光单元和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行；
一对第一对焦感光单元11的中心线，与一对第二对焦感光单元12的中心线间的交角大于0度，M和N为大于或等于1的正整数。
在一种可能的实现形式中，上述终端设备还可以包括存储器104、处理器105；
所述处理器105和所述存储器104设置在所述电路板102上；所述存储器104用于存储可执行程序代码；所述处理器405通过读取所述存储器104中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行以下步骤：
控制所述感光单元阵列10进入对焦模式；
读取所述M对第一对焦感光单元11的第一组输出值；
读取所述N对第二对焦感光单元12的第二组输出值；
根据所述第一组输出值和所述第二组输出值，进行对焦控制。
需要说明的是，前述对图像传感器和摄像模组摄像处理方法实施例的解释说明也适用于该实施例的终端设备，其实现原理类似，此处不再赘述。
本申请实施例提供的终端设备中，摄像模组包括感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列，和位于所述滤光单元阵列之上的微透镜阵列的图像传感器，通过在感光单元阵列上设置具有多种排列方向的多对对焦感光单元，并利用读取的不同排列方向的对焦感光单元的输出值，进行对焦，提高了双核对焦的速度、精度和准确度。
为达上述目的，本申请实施例提出了一种计算机可读存储介质，其上存储有计算机程序，当该程序被处理器执行时实现如前述实施例中的摄像模组摄像处理方法。
为达上述目的，本申请实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如前述实施例中的摄像模组摄像处理方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种摄像模组摄像处理方法，其特征在于，所述摄像模组包括图像传感器，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列，和位于所述滤光单元阵列之上的微透镜阵列；
其中，所述感光单元阵列中包括M对中心线互相平行的第一对焦感光单元和N对中心线互相平行的第二对焦感光单元，一个微透镜单元覆盖一个滤光单元和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行；
一对第一对焦感光单元的中心线，与一对第二对焦感光单元的中心线间的交角大于0度，M和N为大于或等于1的正整数；
M对所述第一对焦感光单元和N对所述第二对焦感光单元分别设置在所述图像传感器的竖直中心线和水平中心线上，或者M对所述第一对焦感光单元和N对所述第二对焦感光单元分别设置在所述图像传感器的两组对边线上，且所述图像传感器的竖直中心线和水平中心线上的对焦感光单元的密度，大于所述图像传感器的两组对边线上的对焦感光单元的密度；
所述方法包括以下步骤：
控制所述感光单元阵列进入对焦模式；
读取所述M对第一对焦感光单元的第一组输出值；
读取所述N对第二对焦感光单元的第二组输出值；
根据所述第一组输出值和所述第二组输出值，进行对焦控制。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一组输出值和所述第二组输出值，进行对焦控制，包括：
根据所述第一组输出值，确定所述图像传感器当前获取的图像在第一方向上的相位差；
根据所述第二组输出值，确定所述图像在第二方向上的相位差；
根据所述第一方向上的相位差和第二方向上的相位差进行对焦控制。
3.如权利要求2所述的方法，其特征在于，所述根据所述第一方向上的相位差和第二方向上的相位差进行对焦控制，包括：
根据所述第一方向上的相位差，确定所述图像传感器在第一方向上的第一位移量；
根据所述第二方向上的相位差，确定所述摄像模组在第二方向上的第二位移量；
根据所述第一位移量及所述第二位移量，控制所述摄像模组进行对焦。
4.如权利要求2所述的方法，其特征在于，所述根据所述第一方向上的相位差和第二方向上的相位差进行对焦控制，包括：
根据所述第一方向上的相位差及所述第二方向的相位差，确定所述图像的相位差；
根据所述相位差，确定所述摄像模组的旋转角度及位移量；
根据所述旋转角度及位移量，控制所述摄像模组进行对焦。
5.如权利要求3或4所述的方法，其特征在于，所述摄像模组还包括：镜头；
所述控制所述摄像模组进行对焦，包括：
控制所述图像传感器和/或所述镜头移动，进行对焦。
6.如权利要求2所述的方法，其特征在于，所述方法，还包括：
根据所述第一方向上的相位差和第二方向上的相位差，确定当前被拍摄物的景深；
根据所述景深，对所述被拍摄图像进行虚化处理。
7.一种摄像模组摄像处理装置，其特征在于，所述摄像模组包括图像传感器，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列，和位于所述滤光单元阵列之上的微透镜阵列；
其中，所述感光单元阵列中包括M对中心线互相平行的第一对焦感光单元和N对中心线互相平行的第二对焦感光单元，一个微透镜单元覆盖一个滤光单元和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行；
一对第一对焦感光单元的中心线，与一对第二对焦感光单元的中心线间的交角大于0度，M和N为大于或等于1的正整数；
M对所述第一对焦感光单元和N对所述第二对焦感光单元分别设置在所述图像传感器的竖直中心线和水平中心线上，或者M对所述第一对焦感光单元和N对所述第二对焦感光单元分别设置在所述图像传感器的两组对边线上，且所述图像传感器的竖直中心线和水平中心线上的对焦感光单元的密度，大于所述图像传感器的两组对边线上的对焦感光单元的密度；
所述装置包括：
第一控制模块，用于控制所述感光单元阵列进入对焦模式；
第一读取模块，用于读取所述M对第一对焦感光单元的第一组输出值；
第二读取模块，用于读取所述N对第二对焦感光单元的第二组输出值；
第二控制模块，用于根据所述第一组输出值和所述第二组输出值，进行对焦控制。
8.如权利要求7所述的装置，其特征在于，所述第二控制模块，包括：
第一确定单元，用于根据所述第一组输出值，确定所述图像传感器当前获取的图像在第一方向上的相位差；
第二确定单元，用于根据所述第二组输出值，确定所述图像在第二方向上的相位差；
控制单元，用于根据所述第一方向上的相位差和第二方向上的相位差进行对焦控制。
9.如权利要求8所述的装置，其特征在于，所述控制单元，具体用于：
根据所述第一方向上的相位差，确定所述图像传感器在第一方向上的第一位移量；
根据所述第二方向上的相位差，确定所述摄像模组在第二方向上的第二位移量；
根据所述第一位移量及所述第二位移量，控制所述摄像模组进行对焦。
10.如权利要求8所述的装置，其特征在于，所述控制单元，还用于：
根据所述第一方向上的相位差及所述第二方向的相位差，确定所述图像的相位差；
根据所述相位差，确定所述摄像模组的旋转角度及位移量；
根据所述旋转角度及位移量，控制所述摄像模组进行对焦。
11.如权利要求9或10所述的装置，其特征在于，所述摄像模组还包括：镜头；
所述控制单元，还用于：
控制所述图像传感器和/或所述镜头移动，进行对焦。
12.如权利要求8所述的装置，其特征在于，所述装置，还包括：
确定模块，用于根据所述第一方向上的相位差和第二方向上的相位差，确定当前被拍摄物的景深；
处理模块，用于根据所述景深，对所述被拍摄图像进行虚化处理。
13.一种终端设备，其特征在于，包括：壳体、电路板、摄像模组和电源电路，其中，所述电路板安置在所述壳体围成的空间内部；所述电源电路，用于为所述终端设备的各个电路或器件供电；
所述摄像模组包括图像传感器，所述图像传感器包括：感光单元阵列、设置在所述感光单元阵列上的滤光单元阵列，和位于所述滤光单元阵列之上的微透镜阵列；
其中，所述感光单元阵列中包括M对中心线互相平行的第一对焦感光单元和N对中心线互相平行的第二对焦感光单元，一个微透镜单元覆盖一个滤光单元和一对对焦感光单元，其中，每对对焦感光单元的中心线与该对对焦感光单元的排列方向平行；
一对第一对焦感光单元的中心线，与一对第二对焦感光单元的中心线间的交角大于0度，M和N为大于或等于1的正整数；
M对所述第一对焦感光单元和N对所述第二对焦感光单元分别设置在所述图像传感器的竖直中心线和水平中心线上，或者M对所述第一对焦感光单元和N对所述第二对焦感光单元分别设置在所述图像传感器的两组对边线上，且所述图像传感器的竖直中心线和水平中心线上的对焦感光单元的密度，大于所述图像传感器的两组对边线上的对焦感光单元的密度；
所述终端设备，还包括：
存储器、处理器；
所述处理器和所述存储器设置在所述电路板上；
所述存储器用于存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行以下步骤：
控制所述感光单元阵列进入对焦模式；
读取所述M对第一对焦感光单元的第一组输出值；
读取所述N对第二对焦感光单元的第二组输出值；
根据所述第一组输出值和所述第二组输出值，进行对焦控制。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的摄像模组摄像处理方法。
CN201710300310.9A 2017-04-28 2017-04-28 摄像模组摄像处理方法、装置和终端设备 Active CN106973206B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710300310.9A CN106973206B (zh) 2017-04-28 2017-04-28 摄像模组摄像处理方法、装置和终端设备
PCT/CN2018/083950 WO2018196698A1 (zh) 2017-04-28 2018-04-20 摄像模组摄像处理方法、装置和终端设备
EP18790392.7A EP3595285A4 (en) 2017-04-28 2018-04-20 PHOTOGRAPHY PROCESSING METHOD AND DEVICE FOR CAMERA MODULE AND TERMINAL DEVICE
US16/664,313 US11082605B2 (en) 2017-04-28 2019-10-25 Method of photography processing for camera module, terminal, using same and storage medium implementing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710300310.9A CN106973206B (zh) 2017-04-28 2017-04-28 摄像模组摄像处理方法、装置和终端设备

Publications (2)

Publication Number Publication Date
CN106973206A CN106973206A (zh) 2017-07-21
CN106973206B true CN106973206B (zh) 2020-06-05

Family

ID=59331609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710300310.9A Active CN106973206B (zh) 2017-04-28 2017-04-28 摄像模组摄像处理方法、装置和终端设备

Country Status (4)

Country Link
US (1) US11082605B2 (zh)
EP (1) EP3595285A4 (zh)
CN (1) CN106973206B (zh)
WO (1) WO2018196698A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973206B (zh) * 2017-04-28 2020-06-05 Oppo广东移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
KR102545173B1 (ko) * 2018-03-09 2023-06-19 삼성전자주식회사 위상 검출 픽셀들을 포함하는 이미지 센서 및 이미지 촬상 장치
CN108600712B (zh) 2018-07-19 2020-03-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN112866547B (zh) * 2019-11-12 2023-01-31 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112866510B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112866554B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112866543B (zh) * 2019-11-12 2022-06-14 Oppo广东移动通信有限公司 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112866551B (zh) * 2019-11-12 2022-06-14 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112866553B (zh) * 2019-11-12 2022-05-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112866545B (zh) * 2019-11-12 2022-11-15 Oppo广东移动通信有限公司 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112866546B (zh) * 2019-11-12 2022-09-27 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112866655B (zh) * 2019-11-12 2022-11-15 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112866542B (zh) * 2019-11-12 2022-08-12 Oppo广东移动通信有限公司 追焦方法和装置、电子设备、计算机可读存储介质
CN110769162B (zh) * 2019-11-28 2021-07-13 维沃移动通信有限公司 电子设备及对焦方法
CN111787237B (zh) * 2020-08-17 2022-03-01 Oppo（重庆）智能科技有限公司 像素、图像传感器、对焦方法、装置及终端设备
CN113691699B (zh) * 2021-08-02 2023-06-20 维沃移动通信有限公司 成像芯片组件、摄像模组及其对焦方法和电子设备
CN114157788A (zh) * 2021-11-30 2022-03-08 信利光电股份有限公司 一种解决摄像头拍摄特殊纹理形状对焦失败的方法、摄像模组及拍摄装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025903A (zh) * 2009-09-09 2011-04-20 富士胶片株式会社 图像采集设备
CN103069325A (zh) * 2010-08-16 2013-04-24 索尼公司 图像捕获元件和成像设备
CN104104849A (zh) * 2013-04-10 2014-10-15 佳能株式会社 摄像设备及其控制方法
CN106358026A (zh) * 2015-07-15 2017-01-25 三星电子株式会社 包括自动对焦像素的图像传感器和包括其的图像处理系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4500434B2 (ja) * 2000-11-28 2010-07-14 キヤノン株式会社 撮像装置及び撮像システム、並びに撮像方法
JP4901093B2 (ja) * 2004-11-19 2012-03-21 Ｈｏｙａ株式会社 デジタルカメラ
JP2011221253A (ja) * 2010-04-08 2011-11-04 Sony Corp 撮像装置、固体撮像素子、撮像方法およびプログラム
JP5556823B2 (ja) * 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
JP6019692B2 (ja) 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
JP6218377B2 (ja) * 2012-12-27 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
JP6346439B2 (ja) * 2013-01-07 2018-06-20 キヤノン株式会社 撮像装置及びその制御方法
JP6045362B2 (ja) * 2013-01-17 2016-12-14 オリンパス株式会社 撮像装置および焦点検出方法
TW201514599A (zh) * 2013-10-07 2015-04-16 Novatek Microelectronics Corp 影像感測器及影像擷取系統
KR102125561B1 (ko) * 2013-12-03 2020-06-22 삼성전자주식회사 촬영 장치 및 이의 제어 방법
KR102294316B1 (ko) 2014-08-04 2021-08-26 엘지이노텍 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
US9635242B2 (en) * 2014-09-29 2017-04-25 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
US9911773B2 (en) 2015-06-18 2018-03-06 Omnivision Technologies, Inc. Virtual high dynamic range large-small pixel image sensor
US10070042B2 (en) * 2016-12-19 2018-09-04 Intel Corporation Method and system of self-calibration for phase detection autofocus
CN106973206B (zh) * 2017-04-28 2020-06-05 Oppo广东移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
CN106921823B (zh) * 2017-04-28 2019-09-17 Oppo广东移动通信有限公司 图像传感器、摄像模组和终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025903A (zh) * 2009-09-09 2011-04-20 富士胶片株式会社 图像采集设备
CN103069325A (zh) * 2010-08-16 2013-04-24 索尼公司 图像捕获元件和成像设备
CN104104849A (zh) * 2013-04-10 2014-10-15 佳能株式会社 摄像设备及其控制方法
CN106358026A (zh) * 2015-07-15 2017-01-25 三星电子株式会社 包括自动对焦像素的图像传感器和包括其的图像处理系统

Also Published As

Publication number Publication date
US11082605B2 (en) 2021-08-03
WO2018196698A1 (zh) 2018-11-01
CN106973206A (zh) 2017-07-21
EP3595285A1 (en) 2020-01-15
US20200059604A1 (en) 2020-02-20
EP3595285A4 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
CN106973206B (zh) 摄像模组摄像处理方法、装置和终端设备
CN107040724B (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
JP6878604B2 (ja) 撮像方法および電子装置
CN106921823B (zh) 图像传感器、摄像模组和终端设备
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
CN106982329B (zh) 图像传感器、对焦控制方法、成像装置和移动终端
CN106982328B (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5956782B2 (ja) 撮像素子及び撮像装置
CN104052919B (zh) 摄像装置、摄像系统及信号处理装置
CN107133982B (zh) 深度图构建方法、装置及拍摄设备、终端设备
CN107105140B (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
CN107146797B (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
CN103733106B (zh) 摄像设备及其控制方法
JP2000102040A (ja) 電子ステレオカメラ
CN103379294B (zh) 图像处理设备、具有该设备的摄像设备和图像处理方法
CN107040702B (zh) 图像传感器、对焦控制方法、成像装置和移动终端
CN107135340A (zh) 图像传感器、对焦控制方法、成像装置和移动终端
CN103986854A (zh) 图像处理设备、摄像设备和控制方法
CN107124536B (zh) 双核对焦图像传感器及其对焦控制方法和成像装置
CN106973199A (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN112866674B (zh) 深度图获取方法、装置、电子设备和计算机可读存储介质
CN115205359A (zh) 基于扫描光场的鲁棒深度估计方法及装置
JP2020134399A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JPH06214148A (ja) 測距装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant