CN108605097A - 光学成像方法及其装置 - Google Patents

光学成像方法及其装置 Download PDF

Info

Publication number
CN108605097A
CN108605097A CN201680080826.0A CN201680080826A CN108605097A CN 108605097 A CN108605097 A CN 108605097A CN 201680080826 A CN201680080826 A CN 201680080826A CN 108605097 A CN108605097 A CN 108605097A
Authority
CN
China
Prior art keywords
image
cutting
black
black white
target scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680080826.0A
Other languages
English (en)
Other versions
CN108605097B (zh
Inventor
陈刚
唐忠伟
罗巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108605097A publication Critical patent/CN108605097A/zh
Application granted granted Critical
Publication of CN108605097B publication Critical patent/CN108605097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G06T5/70—
    • G06T5/73—
    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors

Abstract

本申请提供一种成像方法，所述成像方法应用于包括彩色摄像头和黑白摄像头的成像装置，所述黑白摄像头的分辨率大于所述彩色摄像头的分辨率，包括：获取变焦倍率；同时采集目标场景的彩色图像和黑白图像，其中，所述黑白图像的分辨率大于所述彩色图像的分辨率；根据所述变焦倍率，对所述黑白图像和所述彩色图像分别进行裁剪处理，其中，所述裁剪后的黑白图像和所述裁剪后的彩色图像的视场角相同；将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像。因此，本申请实施例提供的光学成像方法，得到的输出图像能够获得更高的光学变焦能力。

Description

光学成像方法及其装置 技术领域
本申请实施例涉及光学成像领域，并且更具体地，涉及一种光学成像方法及其装置。
背景技术
随着成像技术的发展，利用带有摄像头的便携式终端设备进行拍摄时，越来越追求能够获得更高的成像清晰度。对于可变焦镜头来说，能够通过调整镜头的焦距，能够放大远处的物体，使用户看清远处物体的细节。
而可变焦镜头一般较大，常见于数码相机中，直接将这种技术用于便携式终端设备(例如手机)上有悖于用户对便携终端设备轻薄特性的追求。因此，手常见的作法是利用数码变焦技术实现远处物体的放大，然而这种技术对于成像解像力和清晰度的提升有上限，在放大倍数较大时，图像不够清晰。
因此，亟需一种技术手段，能够在保证终端设备轻薄特性的前提下，使终端设备的成像获得更高的解像力和清晰度。
发明内容
本申请实施例提供一种光学成像方法及其装置，能够在保证该成像装置轻薄特性的前提下，使获得的图具有更高的解像力和清晰度。
第一方面，提供一种成像方法，所述成像方法应用于包括彩色摄像头和黑白摄像头的成像装置，所述黑白摄像头的分辨率大于所述彩色摄像头的分辨率，包括：获取变焦倍率；同时采集目标场景的彩色图像和黑白图像，其中，所述黑白图像的分辨率大于所述彩色图像的分辨率；根据所述变焦倍率，对所述黑白图像和所述彩色图像分别进行裁剪处理，其中，所述裁剪后的黑白图像和所述裁剪后的彩色图像的视场角相同；将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像。
因此，本申请实施例提供的光学成像方法，将彩色摄像头采集的彩色图像和黑白摄像头采集的黑白图像合成，得到的输出图像能够获得更高的光学变焦能力。
结合第一方面，在第一方面的第一种可能的实现方式中，所述将所述裁 剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像，包括：将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；将所述色度分量图像与所述裁剪后的黑白图像合成，得到所述输出图像。
因此，将裁剪后的彩色图像的亮度分量图像由裁剪后的黑白图像替代，与色度分量图像进行合成，能够得到解像力更高的输出图像。
结合第一方面及其上述实现方式，在第一方面的第二种可能的实现方式中，在所述采集目标场景的初始彩色图像之前，所述方法还包括：根据所述目标场景的亮度，确定所述彩色摄像头采集的图像帧数目，以及确定所述黑白摄像头采集的图像帧数目。
因此，当场景亮度较大时，此时成像信噪比较高，因此采集的帧数较少；当场景亮度较低时，此时成像信噪比较低，因此采集的帧数较多，这样有利于图像合成过程中的噪声处理和图像细节恢复。
结合第一方面，在第一方面的第三种可能的实现方式中，在将所述色度分量图像与所述预处理黑白图像合成之前，所述将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像，包括：对所述色度分量图像和/或所述裁剪后的黑白图像进行超分辨率处理。
具体地，如果彩色摄像头采集的彩色图像为M帧时，将会处理得到到M帧色度分量图像以及M帧亮度分量图像，将M帧色度分量图像进行超分辨率处理可以得到一帧色度分量图像；同理，将M帧亮度分量图像进行超分辨率处理可以得到一帧亮度分量图。
进一步地，如果黑白摄像头采集的黑白图像为N帧，将N帧黑白图像进行超分辨率处理可以得到一帧黑白图像。
因此，如果进一步将经过超分辨率处理的色度分量图像和经过超分辨率处理的黑白图像进行合成，能够得到光学变焦能力更高的输出图像。
结合第一方面及其上述实现方式，在第一方面的第四种可能的实现方式中，所述将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像，包括：将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；将所述裁剪后的黑白图像的高频信息替换所述亮度分量图像的高频信息，得到光变亮度分量图像；将所述色度分量图像与所述光变亮度分量图像合成，得到所述输出图像。
也就是说，将裁剪后的黑白图像的高频信息替换掉亮度分量图像中的高 频信息，得到光变亮度分量图像，进一步地，将光变亮度分量图像与色度分量图像合成，得到输出图像。
结合第一方面及其上述实现方式，在第一方面的第五种可能的实现方式中，在将所述色度分量图像与所述预处理黑白图像合成之前，所述将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像，包括：将所述色度分量图像进行超分辨率处理；和/或将所述亮度分量图像进行超分辨率处理；和/或将所述裁剪后的黑白图像进行超分辨率处理。
结合第一方面及其上述实现方式，在第一方面的第六种可能的实现方式中，当所述裁剪后的黑白图像为N帧时，所述将所述裁剪后的黑白图像进行超分辨率处理，包括：当所述目标场景是高亮场景时，利用所述N帧图像中的N1帧黑白图像进行超分辨率处理；当所述目标场景不是高亮场景时，利用所述N帧图像中的N2帧黑白图像进行超分辨率处理，其中，N、N1、N2分别为正整数，N1<N2≤N。
因此，本申请实施例能利用黑白图像在解像力和清晰度方面的优势，提升最终变焦成像亮度分量的解像力和清晰度，也就提升了最终输出图像的清晰度和解像力。
结合第一方面及其上述实现方式，在第一方面的第七种可能的实现方式中，所述方法还包括：根据所述目标场景的亮度，调整所述输出图像的成像参数，所述成像参数包括下列参数中的至少一项：降噪参数、锐化参数、或对比度。
因此，本申请实施例的方法能够根据不同的场景配置成像参数，能够确保最终光变图像的成像质量。
第二方面，提供一种成像装置，包括：光学变焦模块，所述光学变焦模块用于获取变焦倍率；彩色摄像头，所述彩色摄像头用于采集目标场景的彩色图像；黑白摄像头，所述黑白摄像头用于在采集所述彩色图像的同时，采集所述目标场景的黑白图像，其中，所述黑白图像的分辨率大于所述彩色图像的分辨率；所述光学变焦模块还用于根据所述变焦倍率，对所述黑白图像和所述彩色图像分别进行裁剪处理，其中，所述裁剪后的黑白图像和所述裁剪后的彩色图像的视场角相同；将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像。
结合第二方面，在第二方面的第一种可能的实现方式中，所述光学变焦 模块具体用于：将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；将所述色度分量图像与所述裁剪后的黑白图像合成，得到所述输出图像。
结合第二方面，在第二方面的第二种可能的实现方式中，所述光学变焦模块具体用于：将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；将所述裁剪后的黑白图像的高频信息替换所述亮度分量图像的高频信息，得到光变亮度分量图像；将所述色度分量图像与所述光变亮度分量图像合成，得到所述输出图像。
结合第二方面，在第二方面的第三种可能的实现方式中，所述成像装置还包括：场景控制模块，所述场景控制模块用于根据所述目标场景的亮度，确定所述彩色摄像头采集的图像帧数目，以及确定所述黑白摄像头采集的图像帧数目。
结合第二方面，在第二方面的第四种可能的实现方式中，所述光学变焦模块具体用于：将所述色度分量图像进行超分辨率处理；和/或将所述亮度分量图像进行超分辨率处理；和/或将所述裁剪后的黑白图像进行超分辨率处理。
结合第二方面，在第二方面的第五种可能的实现方式中，当所述裁剪后的黑白图像为N帧时，所述光学变焦模块具体用于：当所述目标场景是高亮场景时，利用所述N帧图像中的N1帧黑白图像进行超分辨率处理；当所述目标场景不是高亮场景时，利用所述N帧图像中的N2帧黑白图像进行超分辨率处理，其中，N、N1、N2分别为正整数，N1<N2≤N。
结合第二方面，在第二方面的第六种可能的实现方式中，所述成像装置还用于根据所述目标场景的亮度，调整所述输出图像的成像参数，所述成像参数包括下列参数中的至少一项：降噪参数、锐化参数、或对比度。
结合第二方面，在第二方面的第七种可能的实现方式中，所述彩色摄像头包括光学防抖模块和/或所述黑白摄像头包括光学防抖模块。
因此，由于黑白摄像头和彩色摄像头的传感器不同，因此受抖动影响不同，独立的光学防抖模块可以单独克服每个摄像头抖动造成的成像模糊。
第三方面，提供一种光学成像装置，包括：彩色摄像头，所述彩色摄像头用于采集目标场景的动态或静态彩色图像；黑白摄像头，所述黑白摄像头用于在采集所述彩色图像的同时，采集所述目标场景的动态或静态黑白图像，其中，所述黑白图像的分辨率大于所述彩色图像的分辨率；存储器，所 述存储器用于存储彩色摄像头采集的彩色图像以及所述黑白摄像头采集的黑白图像；处理器，所述处理器用于获取变焦倍率，并根据所述变焦倍率，对所述黑白图像和所述彩色图像分别进行裁剪处理，其中，所述裁剪后的黑白图像和所述裁剪后的彩色图像的视场角相同；将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像；屏幕，所述屏幕用于显示所述输出图像。
应理解，上述处理器用于执行存储器的指令，该执行使得处理器执行第一方面或第一方面的任意可能的实现方式中的方法。
第四方面，提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
附图说明
图1示出了本申请一个实施例的成像方法的示意性图。
图2示出了本申请一个实施例的成像装置的示意图。
图3示出了本申请一个实施例的视场角的示意图。
图4示出了本申请一个实施例的成像装置的示意图。
图5示出了本申请另一个实施例的成像装置的示意图。
图6示出了本申请一个实施例的方法的示意性流程图。
图7示出了本申请一个实施例的终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
图1示出了本申请一个实施例的成像方法的示意性流程图，成像方法应用于包括彩色摄像头和黑白摄像头的成像装置，所述黑白摄像头的分辨率大于所述彩色摄像头的分辨率，如图1所示，该方法100包括：
步骤110，获取变焦倍率。
步骤120，同时采集目标场景的彩色图像和黑白图像，其中，黑白图像的分辨率大于始彩色图像的分辨率。
步骤130，根据变焦倍率，对黑白图像和彩色图像分别进行裁剪处理， 其中，裁剪后的黑白图像和所裁剪后的彩色图像的视场角相同。
步骤140，将裁剪后的彩色图像与裁剪后的黑白图像合成，获得目标场景的输出图像。
图2示出了本申请一个实施例的成像装置的示意图，如图2所示，黑白摄像头和彩色摄像头可以位于终端设备的前面，也可以位于终端设备的背面，该黑白摄像头和彩色摄像头的排布方式可以为水平排布也可以为竖直排布，本申请不做限定。
应理解，对于黑白摄像头来说，其成像原理决定了黑白摄像头与同样分辨率的彩色摄像头相比，具有更高的解像力以及细节呈现能力，具体地，如果黑白摄像头与彩色摄像头在相同分辨率，同像素尺寸(英文：pixelsize)的情况下，黑白摄像头采集的图像在对角线方向的解像力是彩色摄像头采集的图像的2倍。
进一步地，如果采用更大分辨率的黑白摄像头，例如，黑白摄像头的成像分辨率与彩色摄像头的成像分辨率比值T，那么利用黑白摄像头和彩色摄像头分别采集合成的输出图像相当于在原先彩色摄像头变焦能力的基础上，水平和垂直方向提升了T倍的光学变焦能力，对角线方向提升了2T倍的光学变焦能力。例如，彩色摄像头101的分辨率为12M(3968*2976)，黑白摄像头102的分辨率为20M(5120*3840)，那么在原先彩色摄像头变焦能力的基础上，提升了5120/3968倍的光学变焦能力。
其中，变焦能力指的是在满足一定图像清晰度的情况下，能将图像放大多少倍的能力。
具体地，在步骤110中，获取变焦倍率指的是用户选择的放大倍率，例如，1.5倍变焦(1.5×)，2倍变焦(2×)，三倍变焦(3×)等。
应理解，用户可以通过成像装置上的变焦倍率按键进行变焦倍率的选择，也可以通过成像装置屏幕输入手势命令，进行变焦倍率的选择。进一步地，当按下成像装置的拍摄按键或成像装置屏幕输入的手势命令，黑白摄像头和彩色摄像头同时采集目标场景的图像，在曝光时间内，彩色摄像头可以采集M帧彩色图像，黑白摄像头可以采集N帧黑白图像，其中，M，N为正整数。
在步骤130中，根据变焦倍率S对黑白图像进行裁剪处理，是指对黑白摄像头初始采集的黑白图像以中心为原点进行裁剪，使得裁剪后的预处理黑 白图像长和宽方向都变为原来初始黑白图像大小的1/S，整个预处理黑白图像大小变为原始黑白图像的1/S2。举例来说，当变焦倍率为2×时，将初始黑白图像以中心为原点，裁剪获得的预处理黑白图像长和宽方向都是原来初始黑白图像大小的1/2，预处理黑白图像大小变为原始黑白图像的1/4。
应理解，此处可以将裁剪后的黑白图像称之为预处理黑白图像，将裁剪后的彩色图像称之为预处理彩色图像。
进一步地，在步骤130中，预处理黑白图像与预处理彩色图像的视场角(英文：Field Of View，简写：FOV)相同。图3是本申请一个实施例的视场角的示意图。如图3中A所示，示出了摄像头A和摄像头B分别拍摄相同的目标场景时的示意图，图3中B是摄像头A采集的图像，图3中C是摄像头B采集的图像，由于摄像头A和摄像头B的排布方式，获得的图像B图和C图的视场角也不同，因此通过裁剪，例如保留图B和图C重合部分，也就是图D，可以得到两幅视场角相同的图像。
因此，本申请实施例提供的光学成像方法，将彩色摄像头采集的彩色图像和黑白摄像头采集的黑白图像合成，得到的输出图像能够获得更高的光学变焦能力。
可选地，作为本申请一个实施，将裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像，包括：将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；将所述色度分量图像与所述裁剪后的黑白图像合成，得到所述输出图像。
也就说，将预处理彩色图像的亮度分量图像由预处理黑白图像替代，与色度分量图像进行合成，能够得到解像力更高的输出图像。
更进一步地，由于预处理黑白图像实际是亮度信息图像，但由于该预处理黑白图像与彩色图像的亮度分量图像相比，能呈现出更多图像细节，因此将彩色图像的亮度分量图像替换为预处理黑白图像，进一步将预处理黑白图像与彩色图像的色度分量图像进行合成，能够得到的光学变焦能力更好的输出图像。
具体地，将预处理图像变换到hsv空间、lab、yuv等色度和亮度分离的空间内，将彩色摄像头拍摄的色彩图像亮度和色度信号的分离，以获得亮度分量的图像和色度分量的图像。这样做的目的是使得后续算法可以对图像的色度和亮度进行独立的处理，而不会因为对于亮度的处理影响图像的色度， 或者对于图像的色度处理影响图像的亮度。
其中，对上述几个颜色模型的具体解释如下：
HSV色彩模型中包括色调(英文：Hue，简写：H)，饱和度(英文：Saturation，简写S)，度明度(英文：Value，简写：V)色调饱。
Lab色彩模型是由明度(L)和有关色彩的a，b三个要素组成。L表示明度(英文：Luminosity，简写：L)，其中，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。
YUV色彩模型中，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)。
具体地，如果为了进一步增大成像装置的变焦能力，则需要进行超分辨率处理，超分辨率处理能够利用硬件或软件的方法提升原有图像分辨率，例如，基于插值的图像超分辨率技术，基于重建的图像超分辨率技术，基于深度学习的图像超分辨率技术等，本申请实施例不限于此。
对于预处理彩色图像来说，超分辨率模块能够将预处理彩色图像放大到用户选择的变焦比例对应的图像分辨率，也就是说，该结果实际上是数码变焦的结果，对图像的解像力和清晰度有一定的限制。
应理解，对于彩色摄像头来说，可能在曝光时间内拍摄了M帧图像，其中，M为大于或等于1的正整数，那么该M帧图像在经过超分辨处理后得到1帧处理后的图像。
对于预处理黑白图像来说，假设用户选择的变焦比例为z(例如选择1.5x，2x变焦等)，而黑白摄像头的成像分辨率和彩色摄像头成像分辨率比值T，在第一种情况下，当z<T时，则对预处理黑白图像进行时域多帧降噪，然后将图像缩小到用户选择的放大比率对应的图像分辨率，使得将要进行合成的色度分量图像与缩小后的预处理黑白图像大小相同。该处理后的黑白图像保留了成像细节和解像力优势的同时，提升了成像信噪比。
在第二种情况下，如果z>T时，则对黑白摄像头采集到的黑白图像进行超分辨率处理，将图像放大到用户选择变焦比率对应的图像分辨率，使得将要进行合成的色度分量图像与放大后的预处理黑白图像大小相同。该处理实际上拓展了光学变焦的能力，将光学变焦和数码变焦相结合，实现了较大的变焦比率。由于黑白摄像头在解像力和清晰度方面的优势，虽然该结果是数码变焦，但是相比传统摄像头的数码变焦结果，在解像力和清晰度方面都有 较大的提升。
应理解，在z＝T时，不进行图像的放大或缩小，但可以对预处理黑白图像进行多时域降噪处理。
应理解，对于黑白摄像头来说，可能在曝光时间内拍摄了N帧图像，其中，N为大于或等于1的整数，那么该N帧图像在超分辨处理后得到1帧处理后的图像。
还应理解，N和M可以相同，也可以不同。
也就是说，可以对预处理黑白图像进行超分辨率处理之后，再与将所述色度分量图像进行合成，将预处理彩色图像的亮度分量图像由预处理黑白图像替代，与色度分量图像进行合成，能够得到解像力更高的输出图像。
当黑白摄像头采集到的黑白图像为N帧时，所述将所述裁剪后的黑白图像进行超分辨率处理，包括：当所述目标场景是高亮场景时，利用所述N帧图像中的N1帧黑白图像进行超分辨率处理；当所述目标场景不是高亮场景时，利用所述N帧图像中的N2帧黑白图像进行超分辨率处理，其中，N、N1、N2分别为正整数，N1<N2≤N。
这是因为在低亮度场景下，噪声大，需要多帧进行超分辨率处理，以恢复黑白图像的高频信号，而在高亮度场景下，噪声小，不需要多帧，例如可以需要1帧就可以进行超分辨率处理，恢复得到黑白图像的高频信号。
可选地，作为本申请一个实施例，所述预处理彩色图像与所述预处理黑白图像合成，获得所述目标场景的输出图像，包括：将所述预处理彩色图像分离为色度分量图像和亮度分量图像；将所述预处理黑白图像的高频信息替换所述亮度分量图像的高频信息，得到光变亮度分量图像；将所述色度分量图像与所述色度分量图像合成，得到输出图像。
与前述实施例中单纯将预处理彩色图像的亮度分量图像由预处理黑白图像代替不同，在本实施例中，只是将预处理黑白图像的高频信息替换掉彩色图像的亮度分量图像中的高频信息，得到光变亮度分量图像，进一步地，将光变亮度分量图像与色度分量图像合成，得到输出图像。
应理解，图像的高频和低频是对图像各个位置之间强度变化的一种度量方法，其中，低频信息主要对整副图像的强度的综合度量，高频信息主要是对图像边缘和轮廓的度量，高频信息是一个相对概念，利用不同的滤波器得到的高频信息也不相同，例如，作为本申请一个实施例，可以使用高斯滤波 器获得图像的高频信息。图像中的高频信息反映图像的细节，因此将预处理黑白图像的高频信息替换掉彩色图像的亮度分量图像的高频信息，得到的光变亮度分量图像的解像力和分辨率也能够得到提升。
光亮度分量图像和上述彩色图像的色度分量图像进行合成，也就进行颜色空间转换的逆变换，最终得到输出图像。因此，本申请实施例能利用黑白图像在解像力和清晰度方面的优势，提升最终变焦成像亮度分量的解像力和清晰度，也就提升了最终输出图像的清晰度和解像力。
应理解，该色度分量图像也可以为进行超分辨处理后得到的图像。
进一步地，在步骤140之后，成像装置将会在显示界面上显示出清晰度更高、解像能力更好的输出图像。
可选地，作为本申请一个实施例，在所述同时采集目标场景的彩色图像和黑白图像之前，上述方法还包括：根据所述目标场景的亮度，确定所述彩色摄像头在曝光时间内采集的图像帧数目，以及确定所述黑白摄像头在所述曝光时间内采集的图像帧数目。
成像装置能够根据目标场景的亮度，确定两颗摄像头在光变场景下采集图像的帧数。当场景亮度较大时，此时成像信噪比较高，因此采集的帧数较少；当场景亮度较低时，此时成像信噪比较低，因此采集的帧数较多，这样有利于图像合成过程中的噪声处理和图像细节恢复。
可选地，作为本申请一个实施例，所述场景控制模块204还用于根据所述目标场景的变焦模式，调整所述光学变焦模块的成像参数，所述成像参数包括下列参数中的至少一项：降噪参数、锐化参数、或对比度。
也就是说，另外，该模块能够控制图像信号处理(Image Signal Processing，简写：ISP)模块203进行降噪、锐化、对比度和动态范围的调制。在高亮场景会控制ISP模块关闭降噪和锐化模块，在低照度场景会控制ISP模块打开降噪和锐化模块，并将参数调整到合适的水平。
另外，根据变焦模式下的对比度和动态范围参数和普通拍照模式不同，能够在不同变焦模式下有针对性的调整对比度和动态范围的参数。
因此，本申请实施例的方法能够根据不同的场景配置成像参数，能够确保最终光变图像的成像质量。
图4示出了本申请一个实施例的成像装置的示意图。如图2所示，该成像装置400包括：
光学变焦模块401，所述光学变焦模块401用于获取变焦倍率。
彩色摄像头402，所述彩色摄像头402用于采集目标场景的彩色图像。
黑白摄像头403，所述黑白摄像头403用于在采集所述彩色图像的同时，采集所述目标场景的黑白图像，其中，所述黑白图像的分辨率大于所述彩色图像的分辨率。
所述光学变焦模块403还用于根据所述变焦倍率，对所述黑白图像和所述彩色图像分别进行裁剪处理，其中，所述裁剪后的黑白图像和所述裁剪后的彩色图像的视场角相同；将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像。
因此，本申请实施例提供的成像装置通过光学变焦模块，将彩色摄像头采集的彩色图像和黑白摄像头采集的黑白图像合成，得到的输出图像能够获得更高的光学变焦能力。
可选地，作为本申请一个实施例，上述光学变焦模块具体用于：将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；将所述色度分量图像与所述裁剪后的黑白图像合成，得到所述输出图像。
可选地，如果为了进一步增大成像装置的变焦能力，则在光学变焦模块401中将会存在超分辨率模块，超分辨率模块能够利用硬件或软件的方法提升原有图像分辨率。
当彩色摄像头402在曝光时间内采集了M帧图像时，超分辨率模块在超分辨处理过程中将M帧图像合称为1帧图像，其中，M为大于或等于1的整数。
当黑白摄像头403在曝光时间内采集了N帧图像时，超分辨率模块在超分辨率处理过程中将N帧图像合称为1帧图像，其中，N为大于或等于1的整数。
可选地，作为本申请一个实施例，所述光学变焦模块401具体用于：所述光学变焦模块具体用于：将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；将所述裁剪后的黑白图像的高频信息替换所述亮度分量图像的高频信息，得到光变亮度分量图像；将所述色度分量图像与所述光变亮度分量图像合成，得到所述输出图像。
应理解，光学变焦模块能执行如图1所示的实施例中描述的相应的方法，为了简洁起见，再次不再赘述。
可选地，作为本申请一个实施例，如图5所示，图5示出了本申请一个实施例的成像装置的示意图。上述成像装置500包括：光学变焦模块501、彩色摄像头502、黑白摄像头503、场景控制模块504、图像信号处理模块505、编码模块506以及预览模块507。
其中，上述彩色摄像头502、黑白摄像头503、光学变焦模块501与图4所示实施例能够执行的功能类似，再次不再赘述；图像信号处理模块505用于将目标场景的彩色图转换为yuv图像，并进行基本图像处理操作:如图像校正、降噪、锐化、颜色管理等；编码模块506用于主要将yuv图像进行压缩编码，生成特定格式的图像(例如，jpg格式)；预览模块507用于将图像帧送到显示屏幕呈现给用户实时画面。
其中，场景控制模块504用于所述场景控制模块用于根据所述目标场景的亮度，确定所述彩色摄像头在曝光时间内采集的图像帧数目，以及确定所述黑白摄像头在所述曝光时间内采集的图像帧数目。
具体地，该场景控制模块504控制两颗摄像头在光变场景下采集图像的帧数。当场景亮度较大时，此时成像信噪比较高，因此采集的帧数较少；当场景亮度较低时，此时成像信噪比较低，因此采集的帧数较多。
可选地，作为本申请一个实施例，所述场景控制模块504还用于根据所述目标场景的变焦模式，调整所述光学变焦模块的成像参数，所述成像参数包括下列参数中的至少一项：降噪参数、锐化参数、对比度。
也就是说，另外，该模块能够控制图像信号处理(Image Signal Processing，简写：ISP)模块505进行降噪、锐化、对比度和动态范围的调制。在高亮场景会控制ISP模块关闭降噪和锐化模块，在低照度场景会控制ISP模块打开降噪和锐化模块，并将参数调整到合适的水平。
另外，根据变焦模式下的对比度和动态范围参数和普通拍照模式不同，能够控制ISP模块505在变焦模式下有针对性的调整对比度和动态范围的参数。
也就是说，根据不同的场景配置ISP模块的成像参数，能够确保最终光变图像的成像质量。
可选地，作为本申请一个实施例，所述彩色摄像头包括光学防抖模块和/或所述黑白摄像头包括光学防抖模块。
也就是说，在黑白摄像头和彩色摄像摄像头中可以分别加入光学防抖 (英文：Optical Image Stabilization，简写：OIS)模块，应理解，变焦场景下，成像清晰度对于手机抖动更加敏感，OIS模块的加入可以克服手机抖动带来的图像模糊，极大提升变焦拍照质量；进一步地，由于彩色和黑白摄像头成像传感器不同，受相同抖动的影响程度不同。加入独立的OIS模块可以同时使彩色和黑白摄像头均较好的克服抖动带来的成像模糊。
图6是本申请一个实施例的方法的示意性流程图。该方法执行主体可以为图4或图5所示出的成像装置，如图6所示，该方法包括：
步骤601，控制两颗摄像头在光变场景下采集图像的帧数。当场景亮度较大时，此时成像信噪比较高，因此采集的帧数较少；当场景亮度较低时，此时成像信噪比较低，因此采集的帧数较多。
另外，控制ISP降噪、锐化、对比度和动态范围调整。在高亮场景会关闭降噪和锐化模块，在低照度场景会打开降噪和锐化模块，并将参数调整到合适的水平。变焦模式下的对比度和动态范围参数和普通拍照模式不同，需要在变焦模式下有针对性的调整ISP中对比度和动态范围模块的参数。
步骤602，彩色摄像头的拜耳传感器采集M帧图像。
步骤603，黑白摄像头的单色传感器采集N帧图像。
步骤604，图像剪裁，根据用户选择的放大倍率，对彩色摄像头采集的图像和黑白摄像头采集的图像分别进行裁剪，使得裁剪后的黑白图像和彩色图像视场角相同。
步骤,605，色度和亮度分离。用于将彩色摄像头的图像信号变换到hsv、lab、yuv等色度和亮度分离的空间内，实现彩色摄像头亮度和色度信号的分离。继而能够可以对图像的色度和亮度进行独立的处理，而不会因为对于亮度的处理影响图像的色度，或者反之。也就是说，M帧裁剪后的彩色图像分离为M帧色度分量图像和M帧亮度分量图像。
步骤606，超分辨率处理。对M帧色度分量图像和M帧亮度分量图像分别进行超分辨率处理，得到1帧处理后的色度分量图像和1帧处理后的亮度分量图像。
步骤607，判断当前目标场景是否为高亮场景，如果是高亮场景，可以使用N1帧；如果不是高亮场景，也就是低亮场景，那么可以用N2帧，其中N1<N2≤N，N、N1、N2都为正整数；这是因为在低亮度场景下，噪声大，需要多帧进行超分辨率处理，以恢复黑白图像的高频信号，而在高亮度场景 下，噪声小，不需要多帧，例如可以需要1帧就可以进行超分辨率处理，恢复得到黑白图像的高频信号。
步骤609，光学变焦处理，在该光学变焦处理中至少包括两种可选地实施方式，方式一，将超分辨率处理后的亮度分量图像由超分辨率处理后的黑白图像替代，得到光变亮度分量图像；方式二，将超分辨率处理后的亮度分量的高频信号由超分辨率处理后的黑白图像的高频信号替代，得到光变亮度分量图像。
应理解，步骤609中还可以包括如图1所示实施例中相应的流程和方法，在此不再赘述。
步骤610，将色度分量图像和由步骤609得到的光变亮度图像进行合成，得到最终的输出图像。
步骤611，输出图像，在成像装置的显示界面上显示输出图像。
图7示出了本发明一个实施例的终端设备700，以终端设备为手机为例，图7示出的是与本发明实施例相关的手机700的部分结构的框图。参考图7，手机700包括：射频(Radio Frequency，RF)电路710、电源720、处理器730、存储器740、输入单元750、显示单元760、传感器770、音频电路780、以及无线保真(wireless fidelity，WiFi)模块790等部件，在本发明实施例中传感器770包括黑白摄像头和彩色摄像头。本领域技术人员可以理解，图7中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图7对手机700的各个构成部件进行具体的介绍：
RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器730处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路710还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging  Service，SMS)等。
存储器740可用于存储软件程序以及模块，处理器730通过运行存储在存储器740的软件程序以及模块，从而执行手机700的各种功能应用以及数据处理。存储器740可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图象播放功能等)等；存储数据区可存储根据手机700的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器740可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元750可用于接收输入的数字或字符信息，以及产生与手机700的用户设置以及功能控制有关的键信号输入。具体地，输入单元750可包括触控面板751以及其他输入设备752。触控面板751，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板751上或在触控面板751附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板751可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器730，并能接收处理器730发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板751。除了触控面板751，输入单元750还可以包括其他输入设备752。具体地，其他输入设备752可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元760可用于显示由用户输入的信息或提供给用户的信息以及手机700的各种菜单。显示单元760可包括显示面板761，可选的，可以采用LCD、OLED等形式来配置显示面板761。进一步的，触控面板751可覆盖显示面板761，当触控面板751检测到在其上或附近的触摸操作后，传送给处理器730以确定触摸事件的类型，随后处理器730根据触摸事件的类型在显示面板761上提供相应的视觉输出。虽然在图7中，触控面板751与显示面板751是作为两个独立的部件来实现手机700的输入和输入功能，但是在某些实施例中，可以将触控面板751与显示面板761集成而实现手机700的 输入和输出功能。
手机700还可包括至少一种传感器770，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板761的亮度，接近传感器可在手机700移动到耳边时，关闭显示面板761和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机700还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路780、扬声器781，麦克风782可提供用户与手机700之间的音频接口。音频电路780可将接收到的音频数据转换后的电信号，传输到扬声器781，由扬声器781转换为声音信号输出；另一方面，麦克风782将收集的声音信号转换为电信号，由音频电路780接收后转换为音频数据，再将音频数据输出至RF电路710以发送给比如另一手机，或者将音频数据输出至存储器740以便进一步处理。
WiFi属于短距离无线传输技术，手机700通过WiFi模块790可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块790，但是可以理解的是，其并不属于手机700的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器730是手机700的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器740内的软件程序和/或模块，以及调用存储在存储器740内的数据，执行手机700的各种功能和处理数据，从而实现基于手机的多种业务。可选的，处理器730可包括一个或多个处理单元；优选的，处理器730可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器730中。
手机700还包括给各个部件供电的电源720(比如电池)，优选的，电源可以通过电源管理系统与处理器730逻辑相连，从而通过电源管理系统实现 管理充电、放电、以及功耗等功能。
尽管未示出，手机700还可以包括蓝牙模块等，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例中描述的各方法步骤和单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或步骤可以用硬件、处理器执行的软件程序，或者二者的结合来实施。软件程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
尽管通过参考附图并结合优选实施例的方式对本申请进行了详细描述，但本申请并不限于此。在不脱离本申请的前提下，本领域普通技术人员可以对本申请的实施例进行各种等效的修改或替换，而这些修改或替换都应在本申请的涵盖范围内。

Claims (16)

  1. 一种成像方法，其特征在于，所述成像方法应用于包括彩色摄像头和黑白摄像头的成像装置，所述黑白摄像头的分辨率大于所述彩色摄像头的分辨率，包括：
    获取变焦倍率；
    同时采集目标场景的彩色图像和黑白图像，其中，所述黑白图像的分辨率大于所述彩色图像的分辨率；
    根据所述变焦倍率，对所述黑白图像和所述彩色图像分别进行裁剪处理，其中，所述裁剪后的黑白图像和所述裁剪后的彩色图像的视场角相同；
    将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像，包括：
    将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；
    将所述色度分量图像与所述裁剪后的黑白图像合成，得到所述输出图像。
  3. 根据权利要求1所述的方法，其特征在于，所述将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像，包括：
    将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；
    将所述裁剪后的黑白图像的高频信息替换所述亮度分量图像的高频信息，得到光变亮度分量图像；
    将所述色度分量图像与所述光变亮度分量图像合成，得到所述输出图像。
  4. 根据权利要求1至3中任一项所述的方法，其特征在于，在所述同时采集目标场景的彩色图像和黑白图像之前，所述方法还包括：
    根据所述目标场景的亮度，确定所述彩色摄像头采集的图像帧数目，以及确定所述黑白摄像头采集的图像帧数目。
  5. 根据权利要求4所述的方法，其特征在于，所述将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像，包括：
    将所述色度分量图像进行超分辨率处理；和/或
    将所述亮度分量图像进行超分辨率处理；和/或
    将所述裁剪后的黑白图像进行超分辨率处理。
  6. 根据权利要求5所述的方法，其特征在于，当确定所述黑白摄像头采集的图像帧数目为N帧，所述将所述裁剪后的黑白图像进行超分辨率处理，包括：
    当所述目标场景是高亮场景时，利用所述N帧图像中的N1帧黑白图像进行超分辨率处理；
    当所述目标场景不是高亮场景时，利用所述N帧图像中的N2帧黑白图像进行超分辨率处理，其中，N、N1、N2分别为正整数，N1<N2≤N。
  7. 根据权利要求1至6中任一项所述的方法，其特征在于，在所述采集目标场景的初始彩色图像之前，所述方法还包括：
    根据所述目标场景的亮度，调整所述输出图像的成像参数，所述成像参数包括下列参数中的至少一项：降噪参数、锐化参数、或对比度。
  8. 一种成像装置，其特征在于，包括：
    光学变焦模块，所述光学变焦模块用于获取变焦倍率；
    彩色摄像头，所述彩色摄像头用于采集目标场景的彩色图像；
    黑白摄像头，所述黑白摄像头用于在采集所述彩色图像的同时，采集所述目标场景的黑白图像，其中，所述黑白图像的分辨率大于所述彩色图像的分辨率；
    所述光学变焦模块还用于根据所述变焦倍率，对所述黑白图像和所述彩色图像分别进行裁剪处理，其中，所述裁剪后的黑白图像和所述裁剪后的彩色图像的视场角相同；将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像。
  9. 根据权利要求8所述的成像装置，其特征在于，所述光学变焦模块具体用于：
    将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；
    将所述色度分量图像与所述裁剪后的黑白图像合成，得到所述输出图像。
  10. 根据权利要求8所述的成像装置，其特征在于，所述光学变焦模块具体用于：
    将所述裁剪后的彩色图像分离为色度分量图像和亮度分量图像；
    将所述裁剪后的黑白图像的高频信息替换所述亮度分量图像的高频信 息，得到光变亮度分量图像；
    将所述色度分量图像与所述光变亮度分量图像合成，得到所述输出图像。
  11. 根据权利要求8至10中任一项所述的成像装置，其特征在于，所述成像装置还包括：
    场景控制模块，所述场景控制模块用于根据所述目标场景的亮度，确定所述彩色摄像头采集的图像帧数目，以及确定所述黑白摄像头采集的图像帧数目。
  12. 根据权利要求11所述的成像装置，其特征在于，所述光学变焦模块具体还用于：
    将所述色度分量图像进行超分辨率处理；和/或
    将所述亮度分量图像进行超分辨率处理；和/或
    将所述裁剪后的黑白图像进行超分辨率处理。
  13. 根据权利要求12所述的装置，其特征在于，当所述裁剪后的黑白图像为N帧时，所述光学变焦模块具体还用于：
    当所述目标场景是高亮场景时，利用所述N帧图像中的N1帧黑白图像进行超分辨率处理；
    当所述目标场景不是高亮场景时，利用所述N帧图像中的N2帧黑白图像进行超分辨率处理，其中，N、N1、N2分别为正整数，N1<N2≤N。
  14. 根据权利要求8至13中任一项所述的成像装置，其特征在于，所述成像装置还用于根据所述目标场景的亮度，调整所述输出图像的成像参数，所述成像参数包括下列参数中的至少一项：降噪参数、锐化参数、或对比度。
  15. 根据权利要求8至14中任一项所述的装置，其特征在于，所述彩色摄像头包括光学防抖模块和/或所述黑白摄像头包括光学防抖模块。
  16. 一种光学成像装置，其特征在于，包括：
    彩色摄像头，所述彩色摄像头用于采集目标场景的动态或静态彩色图像；
    黑白摄像头，所述黑白摄像头用于在采集所述彩色图像的同时，采集所述目标场景的动态或静态黑白图像，其中，所述黑白图像的分辨率大于所述彩色图像的分辨率；
    存储器，所述存储器用于存储彩色摄像头采集的彩色图像以及所述黑白摄像头采集的黑白图像；
    处理器，所述处理器用于获取变焦倍率，并根据所述变焦倍率，对所述黑白图像和所述彩色图像分别进行裁剪处理，其中，所述裁剪后的黑白图像和所述裁剪后的彩色图像的视场角相同；将所述裁剪后的彩色图像与所述裁剪后的黑白图像合成，获得所述目标场景的输出图像；
    屏幕，所述屏幕用于显示所述输出图像。
CN201680080826.0A 2016-11-03 2016-12-22 光学成像方法及其装置 Active CN108605097B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610958373 2016-11-03
CN201610958373.9 2016-11-03
PCT/CN2016/111449 WO2018082165A1 (zh) 2016-11-03 2016-12-22 光学成像方法及其装置

Publications (2)

Publication Number Publication Date
CN108605097A true CN108605097A (zh) 2018-09-28
CN108605097B CN108605097B (zh) 2020-09-08

Family

ID=62075656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680080826.0A Active CN108605097B (zh) 2016-11-03 2016-12-22 光学成像方法及其装置

Country Status (6)

Country Link
US (1) US10810720B2 (zh)
EP (1) EP3531689B1 (zh)
JP (1) JP6803982B2 (zh)
KR (1) KR102156597B1 (zh)
CN (1) CN108605097B (zh)
WO (1) WO2018082165A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109507209A (zh) * 2019-01-22 2019-03-22 中科院金华信息技术有限公司 一种薄膜印刷缺陷检测系统及方法
CN115379194A (zh) * 2021-05-19 2022-11-22 北京小米移动软件有限公司 深度图像的量化方法及装置、终端设备、存储介质

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
CN109005343A (zh) * 2018-08-06 2018-12-14 Oppo广东移动通信有限公司 控制方法、装置、成像设备、电子设备及可读存储介质
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
EP3864573A1 (en) 2018-10-11 2021-08-18 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
KR20210042588A (ko) * 2019-10-10 2021-04-20 엘지전자 주식회사 영상을 압축 또는 복원하기 위한 방법 및 장치
CN113518172B (zh) * 2020-03-26 2023-06-20 华为技术有限公司 图像处理方法和装置
US20210304357A1 (en) * 2020-03-27 2021-09-30 Alibaba Group Holding Limited Method and system for video processing based on spatial or temporal importance
CN111683234B (zh) * 2020-06-04 2022-05-31 深圳开立生物医疗科技股份有限公司 一种内窥镜成像方法、装置及相关设备
CN115460343B (zh) * 2022-07-31 2023-06-13 荣耀终端有限公司 图像处理方法、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7057647B1 (en) * 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
CN101150731A (zh) * 2006-09-22 2008-03-26 罗罡 用于数字成像的彩色滤波阵列及其成像方法
CN101493893A (zh) * 2008-12-11 2009-07-29 中山大学 一种图像数据融合方法
CN103109524A (zh) * 2010-09-24 2013-05-15 英特尔公司 变焦拍摄装置图像融合技术
CN103714659A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于双光谱融合的疲劳驾驶识别系统
CN105049718A (zh) * 2015-07-06 2015-11-11 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN105556944A (zh) * 2012-11-28 2016-05-04 核心光电有限公司 高分辨率薄多孔径成像系统
CN105578063A (zh) * 2015-07-14 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端
CN105681633A (zh) * 2009-03-19 2016-06-15 数字光学公司 双传感器照相机及其方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307776A (ja) * 1995-04-27 1996-11-22 Hitachi Ltd 撮像装置
CA2264777A1 (en) 1996-09-30 1998-04-09 Karl L. Chase Reduced cost high resolution color camera
JP2004032517A (ja) * 2002-06-27 2004-01-29 Minolta Co Ltd 撮像システムおよび画像処理装置
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
JP2010063088A (ja) 2008-08-08 2010-03-18 Sanyo Electric Co Ltd 撮像装置
US9336442B2 (en) * 2012-01-18 2016-05-10 Intellectual Ventures Fund 83 Llc Selecting images using relationship weights
JP2013196294A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 人物画像処理装置、及び人物画像処理方法
US9443335B2 (en) * 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
US9414037B1 (en) 2014-09-26 2016-08-09 Amazon Technologies, Inc. Low light image registration
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
KR102194711B1 (ko) 2015-02-04 2020-12-23 삼성전기주식회사 카메라 모듈 손떨림 보정 장치 및 이의 게인 조정 방법
KR102603426B1 (ko) * 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
CN108605099B (zh) 2016-10-17 2020-10-09 华为技术有限公司 用于终端拍照的方法及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7057647B1 (en) * 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
CN101150731A (zh) * 2006-09-22 2008-03-26 罗罡 用于数字成像的彩色滤波阵列及其成像方法
CN101493893A (zh) * 2008-12-11 2009-07-29 中山大学 一种图像数据融合方法
CN105681633A (zh) * 2009-03-19 2016-06-15 数字光学公司 双传感器照相机及其方法
CN103109524A (zh) * 2010-09-24 2013-05-15 英特尔公司 变焦拍摄装置图像融合技术
CN105556944A (zh) * 2012-11-28 2016-05-04 核心光电有限公司 高分辨率薄多孔径成像系统
CN103714659A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于双光谱融合的疲劳驾驶识别系统
CN105049718A (zh) * 2015-07-06 2015-11-11 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN105578063A (zh) * 2015-07-14 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109507209A (zh) * 2019-01-22 2019-03-22 中科院金华信息技术有限公司 一种薄膜印刷缺陷检测系统及方法
CN115379194A (zh) * 2021-05-19 2022-11-22 北京小米移动软件有限公司 深度图像的量化方法及装置、终端设备、存储介质

Also Published As

Publication number Publication date
CN108605097B (zh) 2020-09-08
WO2018082165A1 (zh) 2018-05-11
US20190355108A1 (en) 2019-11-21
EP3531689A1 (en) 2019-08-28
EP3531689B1 (en) 2021-08-18
JP6803982B2 (ja) 2020-12-23
KR102156597B1 (ko) 2020-09-16
EP3531689A4 (en) 2019-10-30
JP2019534518A (ja) 2019-11-28
KR20190073518A (ko) 2019-06-26
US10810720B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
CN108605097A (zh) 光学成像方法及其装置
US10497097B2 (en) Image processing method and device, computer readable storage medium and electronic device
JP6967160B2 (ja) 画像処理方法および関連デバイス
CN111641778B (zh) 一种拍摄方法、装置与设备
CN107438163B (zh) 一种拍照方法、终端及计算机可读存储介质
CN107093418B (zh) 一种屏幕显示方法、计算机设备及存储介质
CN108605099B (zh) 用于终端拍照的方法及终端
CN107230182B (zh) 一种图像的处理方法、装置以及存储介质
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN109639996B (zh) 高动态场景成像方法、移动终端及计算机可读存储介质
CN113179374A (zh) 图像处理方法、移动终端及存储介质
CN108459799B (zh) 一种图片的处理方法、移动终端及计算机可读存储介质
CN108200347A (zh) 一种图像处理方法、终端和计算机可读存储介质
WO2021093712A1 (zh) 图像处理方法和相关产品
CN108200352B (zh) 一种调解图片亮度的方法、终端及存储介质
US11032483B2 (en) Imaging apparatus, imaging method, and program
CN111885307A (zh) 一种景深拍摄方法、设备及计算机可读存储介质
CN108156392B (zh) 一种拍摄方法、终端和计算机可读存储介质
CN114143471B (zh) 图像处理方法、系统、移动终端及计算机可读存储介质
CN107360378B (zh) 一种曝光控制方法、移动终端和计算机存储介质
CN108335301B (zh) 一种拍照方法及移动终端
CN113472980A (zh) 一种图像处理方法、装置、设备、介质和芯片
CN115705663B (zh) 图像处理方法与电子设备
CN107968920B (zh) 一种参数确定方法及电子设备、存储介质
CN117714858A (zh) 一种图像处理方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant