CN111641778B - 一种拍摄方法、装置与设备 - Google Patents

一种拍摄方法、装置与设备 Download PDF

Info

Publication number
CN111641778B
CN111641778B CN202010345762.0A CN202010345762A CN111641778B CN 111641778 B CN111641778 B CN 111641778B CN 202010345762 A CN202010345762 A CN 202010345762A CN 111641778 B CN111641778 B CN 111641778B
Authority
CN
China
Prior art keywords
camera
image
target
target scene
preset threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010345762.0A
Other languages
English (en)
Other versions
CN111641778A (zh
Inventor
王银廷
张熙
张一帆
陈锦伟
高海东
胡昌启
李瑞华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010345762.0A priority Critical patent/CN111641778B/zh
Publication of CN111641778A publication Critical patent/CN111641778A/zh
Application granted granted Critical
Publication of CN111641778B publication Critical patent/CN111641778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Abstract

本发明公开了一种拍摄方法，该方法应用于拍摄终端，拍摄终端包括第一摄像头、第二摄像头和第三摄像头；其中，第一摄像头和第三摄像头为彩色摄像头，第二摄像头为黑白摄像头，第二摄像头的分辨率大于第一摄像头和第三摄像头的分辨率，第一摄像头、第二摄像头和第三摄像头均为定焦镜头；且第三摄像头的等效焦距大于第一摄像头和第二摄像头的等效焦距；该方法包括：获取目标变焦倍率；根据目标变焦倍率从第一摄像头、第二摄像头和第三摄像头中确定目标镜头；利用目标镜头采集包含目标场景的图像；根据包含目标场景的图像，获得目标场景的输出图像。目标场景为用户期待拍摄的场景。通过本发明，实现近似5x的无损变焦效果。

Description

一种拍摄方法、装置与设备
技术领域
本发明涉及终端技术领域，尤其涉及一种拍摄方法、装置与设备。
背景技术
变焦是拍照最常用的模式之一，有时用户需要拍摄远处物体的特写，例如远处的雕像，3～5米外的人像等等；有时用户想通过变焦调整拍照的构图。如，手机用户使用手机拍照最常用的是2～5x的变焦。
实现变焦的方式包括光学变焦(optical zoom)，数码变焦(digital zoom)等。虽然都有助于望远拍摄时放大远方物体，但是只有光学变焦可以支持图像主体成像后，增加更多的像素，让主体不但变大，同时也相对更清晰。这种像光学变焦一样，不但放大主体区域，同时也能保证图像清晰度的变焦，称为无损变焦。
拍照终端通常采用定焦镜头或变焦镜头，它们最大的区别就在于是否可以光学变焦，定焦镜头不能光学变焦，如果想放大中心的场景，只能走近或者依靠图像插值算法进行数码变焦。而变焦镜头可以进行光学变焦，想放大远处的物体，在其可光学变焦的范围内只需要调整相应的变焦倍率即可，可以保证放大的同时，不会损失细节。对于可变焦镜头来说，能够通过调整镜头的焦距，能够放大远处的物体，使用户看清远处物体的细节。
然而，变焦镜头一般较大较厚，常见于数码相机中，然而直接将这种可变焦镜头用于便携式终端设备(例如轻薄的手机)上有悖于用户对便携终端设备轻薄特性的追求；尤其是高倍率(大于3x)的变焦镜头。因此，常见的作法是利用数码变焦技术实现远处物体的放大，然而这种技术对于成像解像力和清晰度的提升有上限，在放大倍数较大时，图像清晰度有损失。
因此，亟需一种技术手段，能够在保证终端设备轻薄特性的前提下，使终端设备的成像获得更高的解像力和清晰度。
发明内容
本发明实施例提供了一种拍摄方法、装置与设备，在高变焦倍率下实现无损成像，提高用户的拍照体验。
本发明实施例提供的具体技术方案如下：
第一方面，本发明实施例提供一种拍摄方法，该方法应用于拍摄终端，该拍摄终端包括第一摄像头、第二摄像头和第三摄像头；其中，第一摄像头和第三摄像头为彩色摄像头，第二摄像头为黑白摄像头，第一摄像头、第二摄像头和第三摄像头均为定焦镜头；且第三摄像头的等效焦距大于第一摄像头和第二摄像头的等效焦距；该方法具体包括：
获取目标变焦倍率；
根据目标变焦倍率从第一摄像头、第二摄像头和第三摄像头中确定目标镜头；
利用目标镜头采集包含目标场景的图像；
根据包含目标场景的图像，获得目标场景的输出图像。
其中，目标场景是用户最终期待的拍照区域，也可以理解为在目标变焦倍率下，终端中的预览图；因此目标变焦倍率和目标场景存在对应关系。
第二方面，本发明实施例提供一种拍摄装置，该装置应用于拍摄终端，拍摄终端包括第一摄像头、第二摄像头和第三摄像头；其中，第一摄像头和第三摄像头为彩色摄像头，第二摄像头为黑白摄像头，第一摄像头、第二摄像头和第三摄像头均为定焦镜头；且第三摄像头的等效焦距大于第一摄像头和第二摄像头的等效焦距：该装置还包括：
获取模块，用于获取目标变焦倍率；
确定模块，用于根据目标变焦倍率从第一摄像头、第二摄像头和第三摄像头中确定目标镜头；
采集模块，用于利用目标镜头采集包含目标场景的图像；
图像处理模块，用于根据包含目标场景的图像，获得目标场景的输出图像。
根据本发明实施例提供的上述方法和装置的技术方案，拍摄终端采用多颗定焦镜头的组合，而没有使用体积庞大的变焦器件，所以不会明显增加终端的厚度，从而实现近似5x的无损变焦效果，保证了终端的美观，尤其是手机这种智能手持设备；同时满足用户对终端小巧轻薄以及大变焦下无损成像的要求；提升用户的使用体验。
根据第一方面或者第二方面，在一种可能的设计中：第二摄像头的分辨率大于第一摄像头和第三摄像头的分辨率。
根据第一方面或者第二方面，在一种可能的设计中：第二摄像头的分辨率大于第一摄像头和第三摄像头的输出图像的分辨率。
根据第一方面或者第二方面，在一种可能的设计中：当目标变焦倍率为(1，3)倍变焦时，确定第一摄像头和第二摄像头为目标镜头；且利用第一摄像头和第二摄像头分别采集包含目标场景的图像。该方法可以由获取模块、确定模块和采集模块协作执行。
第一摄像头和第二摄像头相比于第三摄像头为短焦镜头，在低目标变焦倍率需求下，采用第一摄像头和第二摄像头分别采集彩色图像和黑白图像，并在后续采用中心裁剪、多帧变焦、黑白彩色融合的方法，可以实现低目标变焦倍率下的清晰成像；这些算法可以由图像处理模块执行。
根据第一方面或者第二方面，在一种可能的设计中：当目标变焦倍率为[3，5]倍变焦时，还要判断目标场景的照度是否低于预设阈值；若目标场景的照度低于预设阈值，则确定第二摄像头和第三摄像头为目标镜头；并利用第二摄像头和第三摄像头分别采集包含目标场景的图像。若目标场景的照度不低于预设阈值，则确定第三摄像头为目标镜头；并利用第三摄像头采集包含目标场景的图像。该方法可以由获取模块、确定模块和采集模块协作执行。
第三摄像头相比于第一摄像头和第二摄像头为短焦镜头，在中等目标变焦倍率需求下，采用第三摄像头采集彩色图像；如果目标场景的光照充足，即非暗光环境，则通过中心裁剪、多帧变焦的方法近似可以达到无损变焦；如果目标场景的光照不充足，即暗光环境，还需要使能第二摄像头，采集黑色图像为第三摄像头的采集的彩色图像做细节补充；通过中心裁剪、多帧变焦、长焦黑白彩色融合的方法近似可以达到无损变焦；进而可以实现中等目标变焦倍率下的清晰成像。这些算法可以由图像处理模块执行。
根据第一方面或者第二方面，在一种可能的设计中：当目标变焦倍率为(5，10]倍变焦时，还要判断目标场景的照度是否低于预设阈值；若目标场景的照度低于预设阈值，则确定第二摄像头和第三摄像头为目标镜头；并利用第二摄像头和第三摄像头分别采集包含目标场景的图像。若目标场景的照度不低于预设阈值，则确定第三摄像头为目标镜头；并利用第三摄像头采集包含目标场景的图像。该方法可以由获取模块、确定模块和采集模块协作执行。
第三摄像头相比于第一摄像头和第二摄像头为短焦镜头，在高目标变焦倍率需求下，采用第三摄像头采集彩色图像；如果目标场景的光照充足，即非暗光环境，则通过中心裁剪、多帧变焦、数码变焦的方法近似可以达到无损变焦；如果目标场景的光照不充足，即暗光环境，还需要使能第二摄像头，采集黑色图像为第三摄像头的采集的彩色图像做细节补充；通过中心裁剪、多帧变焦、数码变焦、长焦黑白彩色融合的方法近似可以达到无损变焦；进而可以实现高目标变焦倍率下的清晰成像。这些算法可以由图像处理模块执行。
根据第一方面或者第二方面，在一种可能的设计中：第三摄像头的等效焦距为第二摄像头的等效焦距的3倍，第二摄像头的等效焦距与第一摄像头的等效焦距相等。
根据第一方面或者第二方面，在一种可能的设计中：第一摄像头的等效焦距为27mm，第二摄像头的等效焦距为27mm，第三摄像头的等效焦距为80mm；即第三摄像头的等效焦距近似为第一/二摄像头的等效焦距的3倍。
根据第一方面或者第二方面，在一种可能的设计中：第一摄像头、第二摄像头和第三摄像头的分辨率分别为10M、20M和10M。
应理解，可以根据不同的用户变焦需求确定出多种不同的终端，这些终端可以有不同特性的镜头，也可以提供在不同变焦条件下的镜头组合和图像处理算法等。如上述以3x、5x作为分界，仅是其中的一种实现方式。更为宽泛的，本发明目标变焦倍率可以包括低中高三个范围。为了表述方便，将这三个范围表示为(1，a)、[a，b]、(b，c]。其中，第一摄像头和第二摄像头作为短焦镜头(如等效焦距为27mm)，本身具备强大的短焦成像能力；然而随着目标变焦倍率的值的增大，采用第一摄像头和第二摄像头采集的图像进行处理得到的输出图像的清晰度随之变差，其中，处理算法包括多帧变焦和黑白彩色融合；因此在清晰度的约束下，a有个最大值，具体值与用户对清晰度的要求、镜头参数以及算法有关，此处不予以列举和限定。通常第三摄像头的镜头参数和a的最大值有关(如a为3时，第三镜头的等效焦距可以为80mm)，即中等变焦需求的程度下，第一摄像头和第二摄像头已经不能满足成像质量了；这时采集图像的主要任务要由长焦镜头第三摄像头来承担；然而随着目标变焦倍率的值进一步增大，采用第三摄像头采集的图像进行处理得到的输出图像的清晰度也会随之变差，其中，处理算法包括多帧变焦和黑白彩色融合；因此在清晰度的约束下，b也有个最大值，b也可以理解为终端本身能够达到近似无损的最大变焦能力，具体值与用户对清晰度的要求、镜头参数以及算法有关，此处不予以列举和限定。至于(b，c]这个范围，镜头组合方式与采集图像方式类似于[a，b]，只是在后面加入了数码变焦的算法，进而实现高目标变焦倍率下的成像，但是成像质量已出现损失，因此终端系统、器件等功能约束下，c有个最大值，c也可以理解为终端本身在低清晰度要求下能够达到的最大变焦能力，具体值与用户对清晰度的要求程度、镜头参数、以及算法有关，此处不予以列举和限定。通过本发明，可以在(1，b]倍率变焦范围内实现无损变焦。
此外，如果用户对变焦图像的清晰度允许有一定限度的损失，或者因图像处理算法的进步使得终端设备允许使用焦距更大的长焦镜头，(如4x，或5x长焦镜头，即等效焦距分别为108mm，或135mm)，则上述可能的设计中，目标变焦倍率的范围、镜头的参数、以及镜头组合方式都可以基于上述理论进行适应性地调整，进而得到满足用户需求的图像。如，第三摄像头可以的等效焦距可以大于80mm。这些可能的设计都应属于本发明保护范围内。
此外，如果用户对感光条件下，变焦图像的噪声或细节允许有一定限度的增大，或者因图像处理算法的进步使得终端设备允许使用焦距更大的长焦镜头，(如4x，或5x长焦镜头，即等效焦距分别为108mm，或135mm)，则上述可能的设计中，目标变焦倍率的范围、镜头的参数、以及镜头组合方式都可以基于上述理论进行适应性地调整，进而得到满足用户需求的图像。如，第二摄像头的等效焦距可以大于27mm。这些可能的设计都应属于本发明保护范围内。
此外，如果用户对变焦图像的清晰度允许有一定限度的损失，或者因图像处理算法的进步作为说明，b的值可以大于5，如可以达到5.5x或6x等其他值。
更具体地，上述可能的技术实现可以由处理器调用存储器中的程序与指令进行相应的处理，如使能摄像头，控制摄像头采集图像，对采集的图像进行算法处理，生成最终输出图像并存储等。
第三方面，本发明实施例提供一种终端设备，终所述终端设备包含存储器、处理器、总线、第一摄像头、第二摄像头和第三摄像头；存储器、第一摄像头、第二摄像头、第三摄像头以及处理器通过总线相连；其中，第一摄像头和第三摄像头为彩色摄像头，第二摄像头为黑白摄像头，第一摄像头、第二摄像头和第三摄像头均为定焦镜头；且第三摄像头的等效焦距大于第一摄像头和第二摄像头的等效焦距；摄像头用于在处理器的控制下采集图像信号；存储器用于存储计算机程序和指令；处理器用于调用存储器中存储的计算机程序和指令，使所述终端设备执行如上述任何一种可能的设计方法。
根据第三方面，在一种可能的设计中，终端设备还包括天线系统、天线系统在处理器的控制下，收发无线通信信号实现与移动通信网络的无线通信；移动通信网络包括以下的一种或多种：GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
上述方法、装置与设备既可以应用于终端自带的拍照软件进行拍摄的场景；也可以应用于终端中运行第三方拍照软件进行拍摄的场景。
通过本发明，可以在智能手机上达到近似5x的无损变焦效果，甚至是在暗光环境下，也能比较好的在解析力和噪声中达成平衡。
附图说明
图1为本发明实施例中一种终端的结构示意图；
图2为本发明实施例中一种拍摄方法的流程图；
图3为本发明实施例中一种具体的摄像头设计方式；
图4为本发明实施例中第一种可选情形的拍摄方式；
图5为本发明实施例中目标场景从实际采集图像到输出图像的变化过程；
图6为本发明实施例中第二种可选情形的拍摄方式；
图7为本发明实施例中第三种可选情形的拍摄方式；
图8为本发明实施例中第四种可选情形的拍摄方式；
图9为本发明实施例中第五种可选情形的拍摄方式；
图10为本发明实施例中的一种摄像装置的结构示意图；
图11为本发明实施例中一种人脸掩膜示意图；
图12为本发明实施例中训练深度神经网络的方法示意图；
图13为本发明实施例中一种基于神经网络的图像增强的方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，终端，可以是向用户提供拍照和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备，比如：数码相机、单反相机、移动电话(或称为“蜂窝”电话)、智能手机，可以是便携式、袖珍式、手持式、可穿戴设备(如智能手表等)、平板电脑、个人电脑(PC，Personal Computer)、PDA(PersonalDigital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、无人机、航拍器等。
图1示出了终端100的一种可选的硬件结构示意图。
参考图1所示，终端100可以包括射频单元110、存储器120、输入单元130、显示单元140、摄像头150、音频电路160、扬声器161、麦克风162、处理器170、外部接口180、电源190等部件，在本发明实施例中，所述摄像头150至少存在3个。
摄像头150用于采集图像或视频，可以通过应用程序指令触发开启，实现拍照或者摄像功能。摄像头可以包括成像镜头，滤光片，图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可称为待拍摄对象)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入到处理170进行后续处理。
本领域技术人员可以理解，图1仅仅是便携式多功能装置的举例，并不构成对便携式多功能装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
所述输入单元130可用于接收输入的数字或字符信息，以及产生与所述便携式多功能装置的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触摸屏131以及其他输入设备132。所述触摸屏131可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏上或在触摸屏附近的操作)，并根据预先设定的程序驱动相应的连接装置。触摸屏可以检测用户对触摸屏的触摸动作，将所述触摸动作转换为触摸信号发送给所述处理器170，并能接收所述处理器170发来的命令并加以执行；所述触摸信号至少包括触点坐标信息。所述触摸屏131可以提供所述终端100和用户之间的输入界面和输出界面。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏。除了触摸屏131，输入单元130还可以包括其他输入设备。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键132、开关按键133等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单。在本发明实施例中，显示单元还用于显示设备利用摄像头150获取到的图像，可以包括某些拍摄模式下的预览图像、拍摄的初始图像以及拍摄后经过一定算法处理后的目标图像。
进一步的，触摸屏131可覆盖显示面板141，当触摸屏131检测到在其上或附近的触摸操作后，传送给处理器170以确定触摸事件的类型，随后处理器170根据触摸事件的类型在显示面板141上提供相应的视觉输出。在本实施例中，触摸屏与显示单元可以集成为一个部件而实现终端100的输入、输出、显示功能；为便于描述，本发明实施例以触摸显示屏代表触摸屏和显示单元的功能集合；在某些实施例中，触摸屏与显示单元也可以作为两个独立的部件。
所述存储器120可用于存储指令和数据，存储器120可主要包括存储指令区和存储数据区，存储数据区可存储关节触摸手势与应用程序功能的关联关系；存储指令区可存储操作系统、应用、至少一个功能所需的指令等软件单元，或者他们的子集、扩展集。还可以包括非易失性随机存储器；向处理器170提供包括管理计算处理设备中的硬件、软件以及数据资源，支持控制软件和应用。还用于多媒体文件的存储，以及运行程序和应用的存储。
处理器170是终端100的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的指令以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器170可包括一个或多个处理单元；优选的，处理器170可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器170中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，他们也可以在独立的芯片上分别实现。处理器170还可以用于产生相应的操作控制信号，发给计算处理设备相应的部件，读取以及处理软件中的数据，尤其是读取和处理存储器120中的数据和程序，以使其中的各个功能模块执行相应的功能，从而控制相应的部件按指令的要求进行动作。
所述射频单元110可用于收发信息或通话过程中信号的接收和发送，特别地，将基站的下行信息接收后，给处理器170处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，射频单元110还可以通过无线通信与网络设备和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General PacketRadio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long TermEvolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，麦克风162用于收集声音信号，还可以将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器170处理后，经射频单元110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理，音频电路也可以包括耳机插孔163，用于提供音频电路和耳机之间的连接接口。
终端100还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器170逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
终端100还包括外部接口180，所述外部接口可以是标准的Micro USB接口，也可以使多针连接器，可以用于连接终端100与其他装置进行通信，也可以用于连接充电器为终端100充电。
尽管未示出，终端100还可以包括闪光灯、无线保真(wireless fidelity，WiFi)模块、蓝牙模块、不同功能的传感器等，在此不再赘述。下文中描述的全部方法均可以应用在图1所示的终端中。
参阅图2所示，本发明实施例提供一种拍摄方法，该方法应用于一种拍摄终端，该终端包括第一摄像头、第二摄像头和第三摄像头；其中，第一摄像头和第三摄像头为彩色摄像头，第二摄像头为黑白摄像头，第二摄像头的分辨率大于第一摄像头和第三摄像头的分辨率，第一摄像头、第二摄像头和第三摄像头均为定焦镜头；且第三摄像头的等效焦距大于第一摄像头和第二摄像头的等效焦距；该方法包括如下步骤：
步骤21：获取目标变焦倍率；
步骤22：根据目标变焦倍率从第一摄像头、第二摄像头和第三摄像头中确定出目标镜头；
步骤23：利用目标镜头采集包含目标场景的图像；
步骤24：根据采集到的包含目标场景的图像，获得目标场景的输出图像。目标场景为用户期待拍摄的场景，其中所述输出图像的分辨率小于所述第二摄像头的分辨率。
其中，上述三个摄像头可以位于终端设备的前面，也可以位于终端设备的背面，它们具体的排布方式可以根据设计者的需求灵活确定，本申请不做限定。
其中，业界习惯于将不同尺寸感光元件上成像的视角，转化为135胶片相机(135胶片相机的感光面是固定不变的，35mm胶片规格)上同样成像视角所对应的镜头焦距，这个转化后的焦距就是135胶片相机的等效焦距，即等效焦距。数码相机因为其感光元件(CCD或CMOS)的尺寸是随相机的不同而不同(如有1/2.5英寸，1/1.8英寸等)，所以同样焦距的镜头在不同尺寸感光元件的数码相机上，成像的视角也不同。但对于用户来说，真正有意义的正是相机的拍摄范围(视角大小)，即人们更关注的是等效焦距而不是实际焦距。
在具体实现过程中，第三摄像头的等效焦距要比第一摄像头和第二摄像头的等效焦距更大。第一摄像头、第二摄像头、第三摄像头的等效焦距除了上例中的(27mm，27mm，80mm)组合外；第一摄像头、第二摄像头的等效焦距还可以选择25mm-35mm中的其它值，第三摄像头的等效焦距可以为第一摄像头或第二摄像头的等效焦距的2-4倍，作为长焦镜头，当第一摄像头和第二摄像头获得的图片无法再通过算法达到无损变焦时的，承担更大变焦需求下无损变焦的图像获取。这个倍数由第一摄像头和第二摄像头的参数和算法性能在实现输出图像无损的前提下所能达到的最大变焦倍率决定；如2.5，3，3.5倍等；仅作举例，不做限定。
在具体实现过程中，第二摄像头的光圈要比第一摄像头和第三摄像头的光圈更大。如，第二摄像头的光圈值为1.65，第一摄像头的光圈值为1.8，第三摄像头的光圈值为2.4；如，第二摄像头的光圈值为1.55，第一摄像头的光圈值为1.7，第三摄像头的光圈值为2.2等；仅作举例，不做限定。
在具体实现过程中，第二摄像头的分辨率要比第一摄像头和第三摄像头的分辨率更大。第二摄像头、第一摄像头、第三摄像头的分辨率除了上例中的(20M，10M，10M)组合；还可以如(20M，10M，8M)组合，(24M，12M，12M)组合，(24M，12M，10M)组合等等；仅作举例，不做限定。
其中，彩色摄像头可以理解为是一种RGB传感器，可以摄取目标场景的色彩，拍摄彩色照片；黑白摄像头可以理解为是一种单色传感器，只拍摄黑白场景；由于单色传感器可以从场景中抓取更丰富的细节，因此黑白摄像头可以摄取目标场景中的细节和轮廓。
应理解，对于黑白摄像头来说，其成像原理决定了黑白摄像头与同样分辨率的彩色摄像头相比，具有更高的解像力以及细节呈现能力，具体地，如果黑白摄像头与彩色摄像头在相同分辨率，同像素尺寸(英文：pixelsize)的情况下，黑白摄像头采集的图像在对角线方向的解像力是彩色摄像头采集的图像的2倍。进一步地，如果采用更大分辨率的黑白摄像头，例如，黑白摄像头的成像分辨率与彩色摄像头的成像分辨率比值T，那么利用黑白摄像头和彩色摄像头分别采集合成的输出图像相当于在原先彩色摄像头变焦能力的基础上，水平和垂直方向提升了T倍的光学变焦能力，对角线方向提升了2T倍的光学变焦能力。例如，彩色摄像头的分辨率为12M(3968*2976)，黑白摄像头的分辨率为20M(5120*3840)，那么在上述彩色摄像头变焦能力的基础上，提升了5120/3968倍的光学变焦能力。其中，摄像头的分辨率由镜头设计厂商确定，与制造工艺和材料有关，现有技术中不同分辨率的摄像头种类多样，本发明中仅作列举不做任何限定。
若黑白摄像头和彩色摄像头同时参与成像；彩色摄像头捕捉到的丰富色彩信息与黑白摄像头抓取的清晰细节进行融合，从而可以获得更高质量的照片。
具体地，在步骤11中，获取目标变焦倍率指的是获取到用户选择的放大倍率，例如，1.5倍变焦(1.5x)，2倍变焦(2x)，3倍变焦(3x)等。目标倍率可以是以预设视场角作为基准参照，该预设视场角可以由用户或设计者灵活选择；例如以78FOV为基准参照。目标变焦倍率的值记为n，例如相机的焦距可调精度为0.1，nx可以取1.1x、1.2x、1.3x；如可调精度为0.5，nx可以取1.5x、2.0x、2.5x等……
应理解，用户可以通过拍照设备上的变焦倍率按键进行变焦倍率的选择；也可以通过拍照设备的显示屏幕输入手势命令，进行变焦倍率的选择；也可以是系统根据用户在特定位置的输入确定出的变焦倍率。
进一步地，当用户按下拍照设备的拍摄按键或接收到拍照设备屏幕上输入的手势命令，即触发了快门，目标摄像头采集包含有目标场景的图像；具体的，目标摄像头在曝光时间内，可以至少采集一张图像；终端将这些采集的图片进行处理，得到目标场景的输出图像。
应理解，目标场景为用户期待拍摄的场景图像；相机系统在被调到目标倍率的时的预览图，是用户对目标场景最直观的感知。而本发明提供的都是定焦镜头，因此定焦镜头在拍摄距离固定的条件下，拍摄到的视野是固定的，因此目标摄像头实际采集的图像是比目标场景更大的视野；即采集包含目标场景的图像。
结合图2，请参阅图3，图3为本发明实施例提供的一种较为具体的摄像头设计方式，该设计包括三颗定焦摄像头，结合三个摄像头不同的特性，在不同变焦倍率下选择性使能至少一个镜头采集图像，并对采集图像进行图像处理达成近似5x无损变焦。简单来说，相机在变焦nx进行拍照后的图像与距离物体1/n距离进行不变焦拍照的图像，若二者的细节和清晰度相当，则称为无损变焦。一般以光学变焦为标杆，认为光学变焦是无损的，所以变焦效果与光学变焦相近，则可称为无损变焦。有一些客观测试可以用来衡量图像的解析力和清晰度，例如Image Engineering(IE)公司提供的西门子星图等。
本发明可以实现在手机或平板电脑等移动便携终端或智能拍照终端。用户进入变焦模式，选定变焦倍率，终端中的拍照系统根据用户的变焦倍率以及预先设定的摄像头组合模式确定出需要使能的摄像头；利用使能的摄像头连续拍摄多帧图像(若使能的摄像头为多个，则多个摄像头同步拍摄)；针对拍摄的多帧图像，利用预先设定的相应算法，得到一幅清晰的变焦图像。
以图3为描述基础，下面将以具体示例分情形说明，在不同的目标变焦倍率下，本发明提供的不同的拍照方式以及图像处理方式。其中，
第一摄像头具体参数可以为：
等效焦距27mm，彩色摄像头，分辨率10M；
第二摄像头具体参数可以为：
等效焦距27mm，黑白摄像头，分辨率20M；
第三摄像头具体参数可以为：
等效焦距80mm，彩色摄像头，分辨率10M。
情形1
请参阅图4。
S101，当目标变焦倍率在1x～3x范围内时，终端使能第一摄像头和第二摄像头。
用户在调整相机参数时，一旦用户设定的目标变焦倍率在(1，3)区间，终端就会使能第一摄像头(主摄像头)和第二摄像头(副摄像头)，此时，预览图像也会相应的改变，这时预览图像为用户所期待拍摄的目标场景图像。由于第一摄像头是主摄像头，第二摄像头是副摄像头，因此预览图像是第一摄像头实际取景图像中的一部分，该部分区域的大小由目标变焦倍率和预设的输出图像的长宽比(如4:3或16:9等)共同决定。应理解，第一摄像头和第二摄像头的实际取景图像与实际预览图中的图像内容是不同的(下文中第三摄像头同理)。其中，第一摄像头和第二摄像头实际的取景图像可能并不被用户所见；预览图像是用户对自己所期待拍摄的目标场景的直观感知，也是目标变焦倍率最直观的体现。
为了方便说明，将第一摄像头实际拍摄到的图像的宽记为w0，高记为h0，w0*h0为第一摄像头的分辨率；第二摄像头实际拍摄到的图像的宽记为w1，高记为h1，w1*h1为第二摄像头的分辨率。由于第一摄像头和第二摄像头的分辨率是确定的，因此w0、h0、w1、h1可以看作是常数。
一种情形下，w0，h0若与预设的输出图像的长宽比相匹配，最终输出图像的宽度和高度也是w0，h0；另一种情形下，w0，h0若与预设的输出图像的长宽比不相匹配，最终输出图像的宽度和高度为w0’和h0’，则相机系统需将实际拍摄到的w0*h0的图像裁剪成为w0’*h0’的图像，再进行后续的图像处理。应理解，为了方便下文中的算法说明，情形1-情形5这5个实例均以前一种情形为例展开描述。至于后一种情形，本领域技术人员可以通过普通的数学知识进行推导，本发明中不予以详述。
S102，当拍照功能被触发时，第一摄像头和第二摄像头分别对各自的实际取景场景进行连续拍摄，分别得到m0帧彩色图像和m1帧黑白图像；其中m0和m1为正整数，m0与m1可以相等，本发明对两者大小关系以及具体取值并不做限定；一种实现方式m0与m1可以取4或6等；m0帧彩色图像在时序上可以是连续也可以是非连续的，m1帧黑白图像同样在时序上可以是连续也可以是非连续的。
一种实现方式中，m0或m1可以为1，但为1时便不涉及后续的多帧变焦操作，即执行后续的S103后直接到S105进行黑白彩色融合；而m0或m1通常应大于1，这时会涉及到后续的多帧变焦操作，即执行后续的S103、S104、S105。
应理解，由于第一摄像头和第二摄像头是定焦镜头，因此，实际拍摄的图像还包含了预览图像之外的其他内容，并非仅仅是用户在预览图中看到的自己期待拍到的变焦的目标场景。
S103，将m0帧彩色图像进行中心区域裁剪(也可简称中心裁剪)，对于第一摄像头实际拍摄的图像，截取出m0帧w0*h0/n2大小的彩色图像。将m1帧黑白图像进行中心区域裁剪，对于第二摄像头实际拍摄的图像，截取出m1帧w1*h1/n2大小的黑白图像。
中心区域裁剪可以理解为截取用户期望的拍照区域，即保证输入图像的中心不变，截取指定大小的有效区域。其中，截取的区域由用户指定的目标变焦倍率和摄像头的等效焦距联合决定。
因此，从用户的直观感知上，目标场景既可以狭义地指目标变焦倍率下的预览图，也可以广义地指中心区域裁剪出的区域。
S104，将上述m0帧w0*h0/n2大小的彩色图像进行多帧变焦得到彩色多帧变焦结果，即1帧w0*h0/n2大小的彩色变焦图像；将上述m1帧w0*h0/n2大小的黑白图像进行多帧变焦得到黑白多帧变焦结果，即1帧w0*h0/n2大小的黑白变焦图像。
其中，在实际采集的图像中裁剪出目标场景，并通过多帧变焦得到1帧目标场景图像；目标场景图像区域以及大小的变化可以参阅图5。
在具体实现过程中，用户拍摄是因手持必然产生抖动，因此多帧图像必然会产生图像内容的不同，目标场景中同一物体在不同帧的图像中的清晰度会略有差异。因此利用多帧图像的各位置采样到的信息进行互补，可以融合成一帧解析力更高、清晰度更高、噪声更小的图像。
其中，一种可选的多帧变焦算法流程如下：
1)选定参考帧，常用方法包括：选择第一帧，选择中间时刻拍摄的帧，或选择最清晰的一帧等方法；例如，具体可以选择前两帧中更清晰的一帧作为参考帧；
2)将其它每个帧输入图像向参考帧对齐，并根据参考帧对对齐后的图像进行运动补偿；然后可以执行步骤3)或步骤4)；
3)将完成运动补偿的多帧图像分别进行插值放大，可以选择Bicubic，Lanczos等方法，将中心区域的图像的尺寸从w0*h0/n2变为w0*h0；同时保持中心区域的图像内容不变；这个步骤可选；
4)将2)中得到的多帧图像输入到提前训练好的一种卷积神经网络，得到变焦后的1帧图像，将中心区域的图像的尺寸从w0*h0/n2变为w0*h0；同时保持中心区域的图像内容不变。或者3)中得到的多帧图像输入到提前训练好的另一种卷积神经网络，得到变焦后的1帧图像，且图像的尺寸为w0*h0。
上述流程中，运动补偿、插值放大、卷积神经网络等实现方式众多，多帧变焦算法的实现方式也是多种多样的，本发明中并不予以算法的限定。本领域技术人员应当理解，还有很多开源算法可以用来调用实现上述流程，故在此不详细展开。
S105，将S104中得到的1帧彩色变焦图像和1帧黑白变焦图像进行黑白彩色融合，得到1帧w0*h0的彩色输出图像，即目标场景的输出图像，也是用户可以保存的图像。这里，目标场景的输出图像的分辨率和第一摄像头或第三摄像头的分辨率是一样的。
其中，一种可选的黑白彩色融合算法流程如下：
算法流程：
1)根据场景距离等因素选择融合分支；如可以以黑白为基础，融合彩色信息；或者以彩色为基础融合黑白的高频；
2)利用全局配准结合局部块匹配的方法将黑白和彩色图像对齐；
3)根据1)选择的分支，对对齐后的黑白图像和彩色图像进行信息融合，得到融合后的结果；
4)对融合后的结果进行锐化处理。
上述算法流程中，涉及到的处理方式可以采用现有技术中的成熟算法，如融合、对齐、锐化等，本发明中不予以限定和赘述。
正如前文所述，两颗摄像头同时参与成像，彩色摄像头捕捉到的丰富色彩信息与黑白摄像头抓取的清晰细节进行融合，从而可以获得更高质量的照片。
情形2
请参阅图6。
S201，当目标变焦倍率在3x～5x范围内时，系统需要判断目标场景是否属于暗光环境；如果不属于暗光环境，则终端使能第三摄像头。
其中，暗光环境的判定可以通过是否满足预设条件来确定。如光线条件小于100Lux，认为是暗光环境，大于等于100Lux认为不属于暗光环境；该照度预设值由用户或终端设计厂商自由确定，本发明中不予以限定。具体实现过程中，终端可以通过正常曝光时的ISO值进行判定，如当ISO大于等于400，判定是暗光环境，ISO小于400判定是非暗光环境；该ISO的预设值由用户或终端设计厂商自由确定，本发明中不予以限定。
用户在调整相机参数时，一旦用户设定的目标变焦倍率在[3，5]区间，就会使能第三摄像头，此时，预览图像也会相应的改变；这时预览图像为第三摄像头实际取景图像中的一部分，该部分区域的大小由目标变焦倍率和预设的输出图像的长宽比共同决定。
S202，当拍照功能被触发时，第三摄像头对实际取景场景进行连续拍摄，得到m2帧彩色图像。
将第三摄像头拍摄到的图像的宽记为w2，高记为h2，w2*h2为第三摄像头的分辨率；由于第三摄像头与第一摄像头的分辨率相同，因此w2＝w0，h2＝h0，另外，m2也可以与m0相同，剩余步骤和附图暂且也用w0、h0和m0来表示。
S203，将m0帧彩色图像进行中心区域裁剪，对于第三摄像头实际拍摄的图像，截取出m0帧w0*h0/(n/n0)2大小的彩色图像。由于第三摄像头的等效焦距为80mm，即长焦镜头，在相同的拍摄距离处，所拍摄的影像大于标准镜头，但视野变小；因此中心区域由目标变焦倍率以及等效焦距共同决定；这里n0近似等于3(80mm/27mm)，是由镜头的等效焦距决定的。
S204，将上述m0帧w0*h0/(n/n0)2大小的彩色图像进行多帧变焦得到彩色多帧变焦结果，即1帧w0*h0大小的彩色变焦图像，即目标场景的输出图像，也是用户可以保存的图片。这里，目标场景的输出图像的分辨率和第一摄像头或第三摄像头的分辨率是一样的。
其中，S204中的多帧变焦算法可以参照S104中的多帧变焦算法。
情形3
请参阅图7。
S301，当目标变焦倍率在3x～5x范围内时，系统需要判断目标场景是否属于暗光环境；如果属于暗光环境，则终端使能第二摄像头和第三摄像头。暗光环境的判定可参照S201。
用户在调整相机参数时，一旦用户设定的目标变焦倍率在[3，5]区间，就会使能第三摄像头(主摄像头)和第二摄像头(副摄像头)使能，此时，预览图像也会相应的改变；这时预览图像为第三摄像头实际取景图像中的一部分，该部分区域的大小由目标变焦倍率和预设的输出图像的长宽比共同决定。
S302，当拍照功能被触发时，第三摄像头和第二摄像头分别对各自的实际取景场景进行连续拍摄，分别得到m2帧彩色图像和m1帧黑白图像。
将第三摄像头实际拍摄到的图像的宽记为w2，高记为h2，w2*h2为第三摄像头的分辨率；由于第三摄像头与第一摄像头的分辨率相同，因此w2＝w0，h2＝h0，另外，m2也可以与m0相同，剩余步骤和附图暂且也用w0、h0和m0来表示。
将第二摄像头实际拍摄到的图像的宽记为w1，高记为h1，w1*h1为第二摄像头的分辨率。
应理解，由于第三摄像头和第二摄像头是定焦镜头，因此，实际拍摄的图像还包含了预览图像之外的其他内容，并非仅仅是用户在预览图中看到的自己期待拍到的变焦的目标场景。
S303，将m0帧彩色图像进行中心区域裁剪，对于第三摄像头实际拍摄的图像，截取出m0帧w0*h0/(n/n0)2大小的彩色图像。将m1帧黑白图像进行中心区域裁剪，对于第二摄像头实际拍摄的图像，截取出m1帧w1*h1/n2大小的黑白图像。这里n0近似等于3。
S304，将S303中得到的m0帧w0*h0/(n/n0)2大小的彩色图像进行多帧变焦得到彩色多帧变焦结果，即1帧w0*h0大小的彩色变焦图像。并将S303中得到的m1帧w0*h0/n2大小的黑白图像进行多帧变焦得到黑白多帧变焦结果，即1帧w0*h0/n2大小的黑白变焦图像。
其中，S304中的多帧变焦算法可以参照S104中的多帧变焦算法。
S305，将S304中得到的1帧w0*h0大小的彩色变焦图像和1帧w0*h0/n2大小的黑白变焦图像进行长焦(Tele-photo)黑白融合；得到1帧大小为w0*h0的彩色输出图像，即目标场景的输出图像。这里，目标场景的输出图像的分辨率和第一摄像头或第三摄像头的分辨率是一样的。
其中，一种可选的长焦黑白融合算法流程如下：
1)以长焦镜头对应的彩色变焦图像(可称为Tele图像)为基准，将黑白变焦图像向Tele图像对齐；并得到运动区域掩码；
2)将Tele图像、对齐的黑白图像与运动区域掩码一同输入到提前训练好的卷积神经网络，得到融合后的结果；
3)对2)中融合后的结果进行锐化处理。
长焦黑白融合，即利用了Tele图像的解析力和清晰度更高的优势，又利用了黑白图像噪声更小的优势，保证了在暗光条件下高倍率变焦场景的图像质量，几乎达到无损水平。
上述算法流程中，涉及到的处理方式可以采用现有技术中的成熟算法，如融合、对齐、锐化等，本发明中不予以限定和赘述。
情形4
请参阅图8。
S401，当目标变焦倍率在5x～10x范围内时，系统需要判断目标场景是否属于暗光环境；如果不属于暗光环境，则终端使能第三摄像头。暗光环境的判定可参照S201。
用户在调整相机参数时，一旦用户设定的目标变焦倍率在(5，10]区间，就会使能第三摄像头，此时，预览图像也会相应的改变；这时预览图像为第三摄像头实际取景图像中的一部分，该部分区域的大小由目标变焦倍率和预设的输出图像的长宽比共同决定。
S402，当拍照功能被触发时，第三摄像头对实际取景场景进行连续拍摄，得到m2帧彩色图像。
将第三摄像头拍摄到的图像的宽记为w2，高记为h2，w2*h2为第三摄像头的分辨率；由于第三摄像头与第一摄像头的分辨率相同，因此w2＝w0，h2＝h0，另外，m2也可以与m0相同，剩余步骤和附图暂且也用w0、h0和m0来表示。
S403，将m0帧彩色图像进行中心区域裁剪，对于第三摄像头实际拍摄的图像，截取出m0帧w0*h0/(n/n0)2大小的彩色图像。由于第三摄像头的等效焦距为80mm，即长焦镜头，在相同的拍摄距离处，所拍摄的影像大于标准镜头；因此中心区域由目标变焦倍率以及等效焦距共同决定；这里n0近似等于3(80mm/27mm)。
S404，将上述m0帧w0*h0/(n/n0)2大小的彩色图像进行多帧变焦得到彩色多帧变焦结果，即1帧w0*h0/(n/n1)2大小的彩色变焦图像。这里的n1指的是终端拍照系统无损变焦的能力，即无损条件下最大的变焦倍率；如本例中的5x，n1由终端中的整个拍照系统的参数性能共同决定，可以看作是一个常数。
其中，S404中的多帧变焦算法可以参照S104中的多帧变焦算法。
S405，将S404中得到的1帧w0*h0/(n/n1)2大小的彩色变焦图像进行数码变焦，得到一帧w0*h0大小的彩色变焦图像，即目标场景的输出图像。这里，目标场景的输出图像的分辨率和第一摄像头或第三摄像头的分辨率是一样的。
其中，数码变焦的方法有很多，如采用插值放大，常用方法有：bilinear,bicubic,Lanczos等。数码变焦只能将图像分辨率放大到目标大小，但不能保证图像清晰度和解析力，所以相对于无损变焦，被认为是有一定损失的变焦。但是同样表达了相机一定的成像能力。
情形5
请参阅图9。
S501，当目标变焦倍率在5x～10x范围内时，系统需要判断目标场景是否属于暗光环境；如果属于暗光环境，则终端使能第二摄像头和第三摄像头。暗光环境的判定可参照S201。
用户在调整相机参数时，一旦用户设定的目标变焦倍率在(5，10]区间，就会使能第三摄像头(主摄像头)和第二摄像头(副摄像头)使能，此时，预览图像也会相应的改变；这时预览图像为第三摄像头实际取景图像中的一部分，该部分区域的大小由目标变焦倍率和预设的输出图像的长宽比共同决定。
S502，当拍照功能被触发时，第三摄像头和第二摄像头分别对各自的实际取景场景进行连续拍摄，分别得到m2帧彩色图像和m1帧黑白图像。
将第三摄像头实际拍摄到的图像的宽记为w2，高记为h2，w2*h2为第三摄像头的分辨率；由于第三摄像头与第一摄像头的分辨率相同，因此w2＝w0，h2＝h0，另外，m2也可以与m0相同，剩余步骤和附图暂且也用w0、h0和m0来表示。
将第二摄像头实际拍摄到的图像的宽记为w1，高记为h1，w1*h1为第二摄像头的分辨率。
应理解，由于第三摄像头和第二摄像头是定焦镜头，因此，实际拍摄的图像还包含了预览图像之外的其他内容，并非仅仅是用户在预览图中看到的自己期待拍到的变焦的目标场景。
S503，将m0帧彩色图像进行中心区域裁剪，对于第三摄像头实际拍摄的图像，截取出m0帧w0*h0/(n/n0)2大小的彩色图像；将m1帧黑白图像进行中心区域裁剪，对于第二摄像头实际拍摄的图像，截取出m1帧w1*h1/n2大小的黑白图像。这里n0近似等于3。
S504，将S503中得到的m0帧w0*h0/(n/n0)2大小的彩色图像进行多帧变焦得到彩色多帧变焦结果，即1帧w0*h0/(n/n1)2大小的彩色变焦图像。并将S503中得到的m1帧w0*h0/n2大小的黑白图像进行多帧变焦得到黑白多帧变焦结果，即1帧w0*h0/(n/n1)2大小的黑白变焦图像。
其中，S504中的多帧变焦算法可以参照S104中的多帧变焦算法。
S505，将S504中得到的1帧w0*h0/(n/n1)2大小的彩色变焦图像和1帧w0*h0/(n/n1)2大小的黑白变焦图像进行长焦(Tele-photo)黑白融合；得到1帧大小为w0*h0/(n/n1)2大小的彩色变焦图像。这里的n1指的是终端拍照系统无损变焦的能力，即无损条件下最大的变焦倍率；例如5x，n1由终端中的整个拍照系统的参数性能共同决定；可以看作是一个常数。
S506，将S505中得到的1帧w0*h0/(n/n1)2大小的彩色变焦图像进行数码变焦，得到一帧w0*h0大小的彩色变焦图像，即目标场景的输出图像。这里，目标场景的输出图像的分辨率和第一摄像头或第三摄像头的分辨率是一样的。
数码变焦算法为现有的成熟技术，可以参照S405。
应理解，上述5种情形仅是本发明中一些可选的实时方式；并且由于摄像头参数设计、算法实现方式、用户设置、终端操作系统、终端所处环境的不同，前文所提及的具体参数均可能存在一定的误差；另外，一些参数的表达由于不同的参照的标准而有所不同。具体参数的设置无法通过穷举而一一列出，本领域技术人员应当理解，本发明旨在根据用户不同的变焦需求，能够相应地有不同的镜头组合方式获取图片，根据相应的算法得到最终图片，实现从1～5x的整个大的变焦范围内的成像质量依旧保持无损。如果无损条件的最大目标倍率适当调整，本领域技术人员可以根据本发明实施例沿用镜头的组合方式，适应性地进行改变镜头参数、或采用不同类型的算法去达到近似无损变焦。如果用户对变焦图像的清晰度允许一定的损失，或者终端设备允许使用更大的长焦镜头，则上述实施例中的变焦范围、以及镜头组合都可以基于上述理论进行适应性地调整，进而得到满足用户需求的图像，这些变形的技术方案都应属于本发明保护范围内。
还应理解，用户在使用过程中，常常会因自己的实际需求，在调焦的过程中，会出现短时间内连续涉及到不同的变焦范围；这些变焦范围的改变会直接引起摄像头使能的改变。以上述5个情形为例，每个摄像头具体的使能状态可以参照图3中的不同变焦范围下三个摄像头的状态。如，起初目标变焦倍率为1.5，此时第一摄像头和第二摄像头开启且第三摄像头关闭，当目标变焦倍率从1.5调到3.5时，且目标场景为暗光条件，这时，第三摄像头和第二摄像头开启且第一摄像头关闭。
还应理解，上述实施例中，输出图像的分辨率与第一摄像头或第三摄像头的分辨率相同，并且比第二摄像头的分辨低。实际上输出图像的分辨率应满足用户对清晰度的要求，与第一摄像头和第三摄像头其实并没有严格的相等关系，通常第一摄像头或第三摄像头代表了拍摄终端在不同拍照模式下最基本的成像性能；因此输出图像的最大分辨率和第一摄像头或第三摄像头的分辨率大致相等。通常终端出厂时，输出图像的最大分辨率基本就确定了，用户可以根据自己的需求在相机系统中设置输出图像的分辨率。
此外，具体实现过程中，拍照系统还用于根据目标场景的变焦模式，调整光学变焦模块的成像参数，成像参数包括下列参数中的至少一项：降噪参数、锐化参数、或对比度。以对中间过程的图像进行降噪、锐化、对比度和动态范围的调制。如，在高亮场景会控制ISP模块关闭降噪和锐化模块，在低照度场景会控制ISP模块打开降噪和锐化模块，并将参数调整到合适的水平。另外，根据变焦模式下的对比度和动态范围参数和普通拍照模式不同，也可以在不同变焦模式下有针对性的调整对比度和动态范围的参数。因此，本申请实施例的方法能够根据不同的场景配置成像参数，确保最终图像的成像质量。
通过本发明，可以在智能手机上达到近似5x的无损变焦效果，甚至是在暗光环境下，也能比较好的在解析力和噪声中达成平衡。使用多颗定焦镜头的组合，而没有使用体积庞大的功能器件，所以不会明显增加终端的厚度，保证了终端的美观，尤其是手机这种智能手持设备；同时满足用户对终端小巧轻薄以及大变焦下无损成像的要求；提升用户的使用体验。
基于上述实施例提供的拍摄方法，本发明实施例提供一种拍摄装置700，所述装置700可以应用于各类拍照设备，如图10所示，该装置700包括获取模块701、确定模块702、去采集模块703、图像处理模块704，以及第一摄像头、第二摄像头和第三摄像头；其中，第一摄像头和第三摄像头为彩色摄像头，第二摄像头为黑白摄像头，第二摄像头的分辨率大于第一摄像头和第三摄像头的分辨率，第一摄像头、第二摄像头和第三摄像头均为定焦镜头；且第三摄像头的等效焦距大于第一摄像头和第二摄像头的等效焦距；相关特性可以参照前述方法实施例中的描述。
获取模块701，用于获取目标变焦倍率。该获取模块701可以由处理器调用相应的程序指令根据外界的输入获取得到。
确定模块702，用于根据目标变焦倍率从第一摄像头、第二摄像头和第三摄像头中确定出目标镜头。该确定模块702可以由处理器调用存储器中的程序指令对上述三个摄像头选择性地使能控制。
采集模块703，用于利用目标镜头采集包含目标场景的图像；该采集模块703可以由处理器实现，并将采集到的图像存储在存储器中。
图像处理模块704，用于根据采集到的包含目标场景的图像，获得目标场景的输出图像。该图像处理模块704可以由处理器实现，可以通过调用本地存储器或云端服务器中的数据以及算法，进行相应计算实现，并输出最终用户期待得到的目标场景的图片。
在具体实现过程中，获取模块701具体用于执行步骤21中所提到的方法以及可以等同替换的方法；确定模块702具体用于执行步骤22中所提到的方法以及可以等同替换的方法；采集模块703具体用于执行步骤23中所提到的方法以及可以等同替换的方法；图像处理模块704具体用于执行步骤24中所提到的方法以及可以等同替换的方法。
更为具体地，在不同的目标倍率下；
获取模块701、确定模块702可以协作执行上述S101、S201、S301、S401、或S501的方法；
采集模块703可以执行上述S102、S202、S302、S402、或S502的方法；
图像处理模块704可以执行上述S103-S105、S203-S204、S303-S305、S403-S405、或S503-S506的方法。
其中，上述具体的方法实施例以及实施例中技术特征的解释、表述、以及多种实现形式的扩展也适用于装置中的方法执行，装置实施例中不予以赘述。
本发明提供了一种图像处理装置700。可以根据不同的变焦需求，采用不同的摄像头组合进行拍照和图像处理，以实现近似5x的无损变焦效果，同时不引用大体积器件，提高用户对终端的使用美感和对图像的质量要求。
应理解以上装置700中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个模块可以为单独设立的处理元件，也可以集成在终端的某一个芯片中实现，此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个模块的功能。此外各个模块可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：central processing unit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specific integrated circuit，简称：ASIC)，或，一个或多个微处理器(英文：digital signal processor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：FPGA)等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的部分实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括已列举实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。
图像超分辨率重建是基于一张或多张低分辨率图像重建出高分辨率图像的一种图像处理技术，广泛用于卫星图像、医学影像、视频监控等领域。图像超分辨率算法可以作为一种图像预处理技术，用于提升后续的图像识别、检测或更高层语义的图像分析；亦可以作为一种图像增强技术，用于提升图像图像：更高的解像力、或者更合适的对比度。
和普通图像超分辨率不同的是，人脸超分辨率图像增强技术能利用图像存在的统计特性对图像进行区分性地增强处理。人脸统计特性包括：人脸上眉毛、眼睛、鼻子、嘴、耳朵、皮肤等器官的位置结构，以及各个器官的灰度值分布、颜色值分布、纹理特征等。
本发明另一方面的实施例提供了一种基于神经网络的图像增强的方法和装置。
所述方法包括：
终端设备得到初始图像；
在一种可能的实现方式中，终端设备可以是智能手机，平板电脑或穿戴式设备。
在一种可能的实现方式中，可以使用终端设备的摄像头进行图像的采集，或者也可以是终端设备从其它设备处接收图像。
对终端设备得到的初始图像进行人脸解析，得到人脸图像；
在一种可能的实现方式中，对得到的初始图像进行上采样，从而增大初始图像的分辨率，得到上采样后的图像。
对上采样后的图像进行人脸检测；
在一种可能的实现方式中，可以通过人脸检测的方式确定人脸位置，从而提取得到人脸图像。对图像中的人脸进行检测，得到人脸图像的方式可以参考现有技术中的有关规定，在此不再赘述。
根据人脸图像得到人脸掩膜；
在一种可能的实现方式中，可以通过在人脸图像上解析出各个人脸器官的方式形成由各个器官组成的人脸掩膜。在一个示例中，人脸掩膜可以如图B所示。
根据所述人脸掩膜，对所述人脸图像进行分辨率增强；
在一种可能的实现方式中，提取人脸图像的Y通道图，将人脸掩膜和人脸图像的Y通道图输入到预先训练的深度神经网络，得到分辨率增强后的图像。
在一种可能的实现方式中，提取检测到的人脸图像中的人脸Y通道图，将值域[0,255]的人脸Y通道图线性映射到[-1,1]之间，在Y通道图、人脸掩膜图上，基于学习到的深度神经网络，进行人脸超分辨率图像增强，得到分辨率增强后的结果，然后将值域[-1,1]的结果图线性映射到[0,255]之间。
在一种可能的实现方式中，如图C所示，可以通过如下的方式得到训练的深度神经网络：
对高清人脸图像做降质处理，得到训练用的高清—低清图像对，
对高清人脸下采样，得到低分辨率人脸图像，
施以降质处理，再上采样得到低清人脸图像，
解析高清人脸图像，得到由各器官组成的人脸掩膜，
在高清—低清人脸对、人脸掩膜的基础上训练人脸超分辨率图像增强模型，
设计生成器网络G和用于对抗的鉴别器网络D，
交替训练G和D，最终得到生成器模型。
根据所述初始图像，所述人脸图像，所述分辨率增强后的图像，得到最终的输出图像。
在一种可能的实现方式中，融合原始人脸图像和网络结果，得到最终的结果，并将其合入终端采集的原始图像中去。
在一种可能的实现方式中，融合原始图像和网络的结果后，还包括抑制格子纹等伪纹理的处理，还可以对进行抑制处理后的图像做亮度矫正，消除结果中存在的亮度变化，然后将亮度矫正后的结果合入终端采集的原始图像中去。
在一种可能的实现方式中，具体的，用原始图像做网络结果的导向图，对网络结果做导向滤波，消除网络结果中存在的格子纹，将上步的结果图的亮度直方图映射和输入Y通道的亮度直方图，确保结果和输入保持亮度一致，将上步的结果合入终端采集的原始图像中去。
在一种可能的实现方式中，本发明实施例所述的一种基于神经网络的图像增强的方法可以如图A所示的流程进行处理。
本发明实施例的一种基于深度神经网络的终端超分辨率图像增强方法和装置，设计出的根据人脸掩膜和Y通道人脸图有区分地超分辨率图像增强的神经网络：用人脸掩膜、Y通道人脸图，高低清图像对训练出来的网络，能利用人脸图像的先验特性对人脸的各个部位做特定的超分辨率等图像增强；以及抑制伪纹理的图像融合机制：利用原始图像无伪纹理的特性，和网络结果进行融合，抑制网络的伪纹理。
可以在人脸图像分辨率得到增强的同时，人脸主要器官部位的噪声得到抑制、细节有所增加、对比度和锐度得到提升，同时伪纹理也得到了抑制。
因为设置了输入Y通道低清人脸和人脸掩膜，输出高清人脸图像的网络，通过这个设置可以使网络在人脸掩膜的指导下，学习到各个人脸区域各不相同的变化过程，所以可以在终端设备实现人脸图像有区域性、有针对性地增强；因为设置了网络结果，输入人脸，原始图像的加权融合机制，通过这个处理可以兼取同时考虑到多维度的信息，所以实现图像细节提升、对比度增强、模糊抑制等增强效果的同时又有效地抑制伪纹理。
本发明实施例的基于神经网络的图像增强的装置，包括了处理器和存储介质，可以执行如上述实施例所述的方法，在此不再赘述。
本发明另一方面实施例公开了一种基于深度神经网络的图像处理的方法，所述方法包括：
使用深度神经插值网络构造出多帧的低频结构信息，然后根据原始的图像结构信息结合低清-高清图像对，学习出丰富的高频信息。通过加入低频结构，使得超分神经网络聚焦于高频稀疏信息的学习，使得网络的恢复结果在锐度、对比度、解析力和噪声上获得了非常好的效果，同时最大限度地避免了干扰的产生。
在一种可能的实现方式中，通过构建低分辨-高分辨图像对，训练深度插值网络。
在一种可能的实现方式中，将多帧鬼影掩蔽随机移动1个像素，获取参考图像的像素信息替换当前帧图像的像素信息，同时在该像素上叠加一个符合高斯分布的噪声随机数。
在一种可能的实现方式中，对于多帧原始图像结构信息提取：1)利用拉普拉斯算子提取边缘结构信息；2)利用小波变换提取高频结构信息。
基于深度神经网络多帧超分辨率恢复方法。
高频细节提取。
通过模拟终端多帧成像的机制，使得生成的训练数据集能够有效地覆盖住实际数据分布，让训练和测试的数据形态保持一致，所以深度神经网络能够非常有效地学到数据之间的映射关系，达到增强图像细节和降低噪声的效果；因为在网络中加入的均值图像通路，整个网络在学习映射过程中，更聚焦于训练图像之间的高频差异，所以使得整个网络能够更高效地学习；因为通过对均值图像再提取高频信息与网络的输出进行融合，所以能够有效地避免高频信息的损失，使得输出的结果细节更丰富。

Claims (26)

1.一种拍摄方法，其特征在于，所述方法包括：
获取目标变焦倍率；
当所述目标变焦倍率不低于第一预设阈值时，根据目标场景的照度和所述目标变焦倍率从终端所包括的第二摄像头和第三摄像头中确定目标摄像头，所述目标摄像头至少包括所述第三摄像头；其中，所述第三摄像头为彩色摄像头，所述第二摄像头为黑白摄像头，所述第二摄像头和所述第三摄像头均为采用了定焦镜头的摄像头；且所述第三摄像头的等效焦距大于所述第二摄像头的等效焦距；所述第一预设阈值由所述第三摄像头的等效焦距决定；
利用所述目标摄像头采集包含目标场景的图像；
根据所述包含目标场景的图像，获得所述目标场景的输出图像。
2.如权利要求1所述方法，其特征在于，所述根据目标场景的照度和所述目标变焦倍率从终端所包括的第二摄像头和第三摄像头中确定目标摄像头包括：
当所述目标场景的照度低于第二预设阈值时，确定所述第二摄像头和所述第三摄像头为目标摄像头；
所述利用所述目标摄像头采集包含目标场景的图像包括：
利用所述第三摄像头和所述第二摄像头分别采集包含所述目标场景的彩色图像和黑白图像。
3.如权利要求1所述方法，其特征在于，所述根据目标场景的照度和所述目标变焦倍率从终端所包括的第二摄像头和第三摄像头中确定目标摄像头包括：
当所述目标场景的照度不低于第二预设阈值时，确定所述第三摄像头为目标摄像头；
所述利用所述目标摄像头采集包含目标场景的图像包括：
利用所述第三摄像头采集包含目标场景的彩色图像。
4.如权利要求2所述方法，其特征在于，所述根据所述包含目标场景的图像，获得所述目标场景的输出图像包括：
当所述目标变焦倍率不大于第三预设阈值时，针对所述包含目标场景的彩色图像和黑白图像，采用中心裁剪、多帧变焦、图像融合获得所述目标场景的输出图像；其中，所述第三预设阈值大于所述第一预设阈值；所述第三预设阈值表征所述终端无损变焦的能力。
5.如权利要求2所述方法，其特征在于，所述根据所述包含目标场景的图像，获得所述目标场景的输出图像包括：
当所述目标变焦倍率大于第三预设阈值时，针对所述包含目标场景的彩色图像和黑白图像，采用中心裁剪、多帧变焦、数码变焦、图像融合获得所述目标场景的输出图像；其中，所述第三预设阈值大于所述第一预设阈值；所述第三预设阈值表征所述终端无损变焦的能力。
6.如权利要求3所述方法，其特征在于，所述根据所述包含目标场景的图像，获得所述目标场景的输出图像包括：
当所述目标变焦倍率不大于第三预设阈值时，针对所述包含目标场景的彩色图像，采用中心裁剪、多帧变焦获得所述目标场景的输出图像；其中，所述第三预设阈值大于所述第一预设阈值；所述第三预设阈值表征所述终端无损变焦的能力。
7.如权利要求3所述方法，其特征在于，所述根据所述包含目标场景的图像，获得所述目标场景的输出图像包括：
当所述目标变焦倍率大于第三预设阈值时，针对所述包含目标场景的彩色图像，采用中心裁剪、多帧变焦、数码变焦获得所述目标场景的输出图像；其中，所述第三预设阈值大于所述第一预设阈值；所述第三预设阈值表征所述终端无损变焦的能力。
8.如权利要求1-7任一项所述方法，其特征在于，所述第二摄像头的光圈值为1.55或1.65，所述第三摄像头的光圈值为2.4或2.2。
9.如权利要求1-7任一项所述方法，其特征在于，所述第二摄像头的分辨率为20M或24M，所述第三摄像头的分辨率为8M，10M或12M。
10.如权利要求1-7任一项所述方法，其特征在于，所述第二摄像头的分辨率大于所述第三摄像头的分辨率。
11.如权利要求1-7任一项所述方法，其特征在于，所述第二摄像头的光圈大于所述第三摄像头的光圈。
12.如权利要求1-7任一项所述方法，其特征在于，所述第三摄像头的等效焦距是所述第二摄像头的等效焦距的2-4倍。
13.一种拍摄装置，其特征在于，所述装置包括：
获取模块，用于获取目标变焦倍率；
确定模块，用于当所述目标变焦倍率不低于第一预设阈值时，根据目标场景的照度和所述目标变焦倍率从终端所包括的第二摄像头和第三摄像头中确定目标摄像头，所述目标摄像头至少包括所述第三摄像头；其中，所述第三摄像头为彩色摄像头，所述第二摄像头为黑白摄像头，所述第二摄像头和所述第三摄像头均为采用了定焦镜头的摄像头；且所述第三摄像头的等效焦距大于所述第二摄像头的等效焦距；所述第一预设阈值由所述第三摄像头的等效焦距决定；
采集模块，用于利用所述目标摄像头采集包含目标场景的图像；
图像处理模块，用于根据所述包含目标场景的图像，获得所述目标场景的输出图像。
14.如权利要求13所述装置，其特征在于，所述确定模块具体用于当所述目标场景的照度低于第二预设阈值时，确定所述第二摄像头和所述第三摄像头为目标摄像头；
所述采集模块具体用于利用所述第三摄像头和所述第二摄像头分别采集包含所述目标场景的彩色图像和黑白图像。
15.如权利要求13所述装置，其特征在于，所述确定模块具体用于当所述目标场景的照度不低于第二预设阈值时，确定所述第三摄像头为目标摄像头；
所述采集模块具体用于利用所述第三摄像头采集包含目标场景的彩色图像。
16.如权利要求14所述装置，其特征在于，所述图像处理模块具体用于当所述目标变焦倍率不大于第三预设阈值时，针对所述包含目标场景的彩色图像和黑白图像，采用中心裁剪、多帧变焦、图像融合获得所述目标场景的输出图像；其中，所述第三预设阈值大于所述第一预设阈值；所述第三预设阈值表征所述终端无损变焦的能力。
17.如权利要求14所述装置，其特征在于，所述图像处理模块具体用于当所述目标变焦倍率大于第三预设阈值时，针对所述包含目标场景的彩色图像和黑白图像，采用中心裁剪、多帧变焦、数码变焦、图像融合获得所述目标场景的输出图像；其中，所述第三预设阈值大于所述第一预设阈值；所述第三预设阈值表征所述终端无损变焦的能力。
18.如权利要求15所述装置，其特征在于，所述图像处理模块具体用于当所述目标变焦倍率不大于第三预设阈值时，针对所述包含目标场景的彩色图像，采用中心裁剪、多帧变焦获得所述目标场景的输出图像；其中，所述第三预设阈值大于所述第一预设阈值；所述第三预设阈值表征所述终端无损变焦的能力。
19.如权利要求15所述装置，其特征在于，所述图像处理模块具体用于当所述目标变焦倍率大于第三预设阈值时，针对所述包含目标场景的彩色图像，采用中心裁剪、多帧变焦、数码变焦获得所述目标场景的输出图像；其中，所述第三预设阈值大于所述第一预设阈值；所述第三预设阈值表征所述终端无损变焦的能力。
20.如权利要求13-19任一项所述装置，其特征在于，所述第二摄像头的光圈值为1.55或1.65，所述第三摄像头的光圈值为2.4或2.2。
21.如权利要求13-19任一项所述装置，其特征在于，所述第二摄像头的分辨率为20M或24M，所述第三摄像头的分辨率为8M，10M或12M。
22.如权利要求13-19任一项所述装置，其特征在于，所述第二摄像头的分辨率大于所述第三摄像头的分辨率。
23.如权利要求13-19任一项所述装置，其特征在于，所述第二摄像头的光圈大于所述第三摄像头的光圈。
24.如权利要求13-19任一项所述装置，其特征在于，所述第三摄像头的等效焦距是所述第二摄像头的等效焦距的2-4倍。
25.一种终端设备，其特征在于，所述终端设备包括存储器、处理器、总线、第二摄像头和第三摄像头；所述存储器、所述第二摄像头、所述第三摄像头以及所述处理器通过所述总线相连；其中，所述第三摄像头为彩色摄像头，所述第二摄像头为黑白摄像头，所述第二摄像头和所述第三摄像头均为采用了定焦镜头的摄像头；且所述第三摄像头的等效焦距大于所述第二摄像头的等效焦距；
所述第三摄像头用于在所述处理器的控制下采集彩色图像信号；
所述第二摄像头用于在所述处理器的控制下采集单色信号；
所述存储器用于存储计算机程序和指令；
所述处理器用于调用所述存储器中存储的所述计算机程序和指令，用于执行如权利要求1-12任一项所述的方法。
26.如权利要求25所述的终端设备，所述终端设备还包括天线系统、所述天线系统在处理器的控制下，收发无线通信信号实现与移动通信网络的无线通信；所述移动通信网络包括以下的一种或多种：GSM网络、CDMA网络、3G网络、4G网络、5G网络、FDMA、TDMA、PDC、TACS、AMPS、WCDMA、TDSCDMA、WIFI以及LTE网络。
CN202010345762.0A 2018-03-26 2018-03-26 一种拍摄方法、装置与设备 Active CN111641778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010345762.0A CN111641778B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810254358.5A CN108391035B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN202010345762.0A CN111641778B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810254358.5A Division CN108391035B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备

Publications (2)

Publication Number Publication Date
CN111641778A CN111641778A (zh) 2020-09-08
CN111641778B true CN111641778B (zh) 2021-05-04

Family

ID=63072828

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202010364121.XA Pending CN111885295A (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN201810254358.5A Active CN108391035B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN202010345762.0A Active CN111641778B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN202010359013.3A Active CN111885294B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN202010347009.5A Active CN111669493B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN201980005857.3A Active CN111373727B (zh) 2018-03-26 2019-03-11 一种拍摄方法、装置与设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202010364121.XA Pending CN111885295A (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN201810254358.5A Active CN108391035B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202010359013.3A Active CN111885294B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN202010347009.5A Active CN111669493B (zh) 2018-03-26 2018-03-26 一种拍摄方法、装置与设备
CN201980005857.3A Active CN111373727B (zh) 2018-03-26 2019-03-11 一种拍摄方法、装置与设备

Country Status (10)

Country Link
US (1) US11206352B2 (zh)
EP (1) EP3713209B1 (zh)
JP (1) JP6945744B2 (zh)
KR (1) KR102310430B1 (zh)
CN (6) CN111885295A (zh)
AU (1) AU2019241111B2 (zh)
BR (1) BR112020015673A2 (zh)
CA (1) CA3085555C (zh)
SG (1) SG11202005392TA (zh)
WO (1) WO2019184686A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885295A (zh) 2018-03-26 2020-11-03 华为技术有限公司 一种拍摄方法、装置与设备
CN110838088B (zh) * 2018-08-15 2023-06-02 Tcl科技集团股份有限公司 一种基于深度学习的多帧降噪方法、装置及终端设备
CN110913122B (zh) 2018-09-18 2021-08-10 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质
US11080832B2 (en) 2018-09-26 2021-08-03 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, and storage medium
CN111741211B (zh) * 2019-03-25 2022-07-29 华为技术有限公司 图像显示方法和设备
CN110602392B (zh) * 2019-09-03 2021-10-01 Oppo广东移动通信有限公司 控制方法、成像模组、电子设备及计算机可读存储介质
CN110572581B (zh) * 2019-10-14 2021-04-30 Oppo广东移动通信有限公司 基于终端设备的变焦虚化图像获取方法和装置
CN110767145B (zh) * 2019-10-24 2022-07-26 武汉天马微电子有限公司 显示装置及其驱动方法
CN110855884B (zh) * 2019-11-08 2021-11-09 维沃移动通信有限公司 可穿戴设备及其控制方法和控制装置
CN113037988B (zh) * 2019-12-09 2022-10-25 Oppo广东移动通信有限公司 变焦方法、电子装置和计算机可读存储介质
CN111107265B (zh) * 2019-12-25 2021-10-22 RealMe重庆移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
JP2021136511A (ja) * 2020-02-25 2021-09-13 キヤノン株式会社 撮像装置、撮像システム、制御方法、プログラム、および、記憶媒体
CN111447359B (zh) * 2020-03-19 2021-07-02 展讯通信（上海）有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备
CN115734071A (zh) * 2020-03-20 2023-03-03 华为技术有限公司 图像处理方法及装置
CN113452898B (zh) * 2020-03-26 2023-07-18 华为技术有限公司 一种拍照方法及装置
KR20210150903A (ko) * 2020-06-04 2021-12-13 삼성전자주식회사 디스플레이를 포함하는 전자 장치
CN111757005A (zh) * 2020-07-06 2020-10-09 Oppo广东移动通信有限公司 拍摄控制方法及装置、计算机可读介质和电子设备
CN111787224B (zh) * 2020-07-10 2022-07-12 深圳传音控股股份有限公司 图像的获取方法、终端设备和计算机可读存储介质
CN112118394B (zh) * 2020-08-27 2022-02-11 厦门亿联网络技术股份有限公司 一种基于图像融合技术的暗光视频优化方法及装置
JP7299864B2 (ja) * 2020-09-24 2023-06-28 Ｔｖｓ Ｒｅｇｚａ株式会社 受信装置、コンピュータプログラム
CN116405776A (zh) * 2020-09-27 2023-07-07 华为技术有限公司 多镜头视频录制方法及相关设备
CN112291472B (zh) * 2020-10-28 2021-09-28 Oppo广东移动通信有限公司 预览图像处理方法及装置、存储介质和电子设备
CN114640783B (zh) * 2020-12-15 2024-03-05 华为技术有限公司 一种拍照方法及相关设备
CN113206960A (zh) * 2021-03-24 2021-08-03 上海闻泰电子科技有限公司 拍摄方法、装置、计算机设备和计算机可读存储介质
CN115633252B (zh) * 2021-08-11 2023-10-20 荣耀终端有限公司 拍摄方法及其相关设备
CN115696067B (zh) * 2021-08-12 2024-03-26 荣耀终端有限公司 终端的图像处理方法、终端设备和计算机可读存储介质
CN115967846A (zh) * 2021-10-09 2023-04-14 荣耀终端有限公司 一种图像处理方法及电子设备
CN114793269A (zh) * 2022-03-25 2022-07-26 岚图汽车科技有限公司 摄像头的控制方法及相关设备
CN114640798B (zh) * 2022-05-09 2022-10-04 荣耀终端有限公司 图像处理方法、电子设备及计算机存储介质
CN114915728A (zh) * 2022-05-23 2022-08-16 普联技术有限公司 一种多目摄像设备变焦的方法及多目摄像设备
CN116051368B (zh) * 2022-06-29 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
CN115314636A (zh) * 2022-08-03 2022-11-08 天津华来科技股份有限公司 基于摄像头的多路视频流处理方法和系统
CN116528040B (zh) * 2023-07-03 2023-09-05 清华大学 基于复眼智能相机的图像超分辨率重建方法、装置及相机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135769A (zh) * 2006-08-29 2008-03-05 亚洲光学股份有限公司 变焦镜头
CN106990646A (zh) * 2016-01-20 2017-07-28 深圳富泰宏精密工业有限公司 多镜头系统、其工作方法及便携式电子装置
CN107734214A (zh) * 2016-08-10 2018-02-23 宁波舜宇光电信息有限公司 具有不同大小光圈的多摄像头模组及其应用

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031466A (ja) 2003-07-07 2005-02-03 Fujinon Corp 撮像装置および撮像方法
JP2005109623A (ja) 2003-09-29 2005-04-21 Minolta Co Ltd 多眼式撮像装置及び移動体通信端末
US7916180B2 (en) * 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
FI20085510L (fi) * 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
US8149323B2 (en) * 2008-12-18 2012-04-03 Qualcomm Incorporated System and method to autofocus assisted by autoexposure control
US8665316B2 (en) * 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
US10412367B2 (en) * 2011-08-05 2019-09-10 3D Media Ltd Multi-lens camera with a single image sensor
EP2592823A3 (en) * 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
CN113259565B (zh) * 2012-11-28 2023-05-19 核心光电有限公司 多孔径成像系统
US10223838B2 (en) * 2013-03-15 2019-03-05 Derek A. Devries Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
US9185291B1 (en) * 2013-06-13 2015-11-10 Corephotonics Ltd. Dual aperture zoom digital camera
FR3009395B1 (fr) * 2013-07-31 2016-12-23 Dxo Labs Dispositif pour la prise de vue comportant une pluralite de modules cameras
US9443335B2 (en) 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
CN105340267A (zh) * 2013-12-06 2016-02-17 华为终端有限公司 一种生成图片的方法及一种双镜头设备
US9609200B2 (en) * 2014-09-24 2017-03-28 Panavision International, L.P. Distance measurement device for motion picture camera focus applications
KR20160038409A (ko) * 2014-09-30 2016-04-07 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102359268B1 (ko) * 2015-02-16 2022-02-08 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
US20160353012A1 (en) * 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
US10129483B2 (en) * 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
KR102336447B1 (ko) 2015-07-07 2021-12-07 삼성전자주식회사 촬영 장치 및 그 동작 방법
KR102263924B1 (ko) * 2015-08-13 2021-06-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US9948857B2 (en) * 2015-10-22 2018-04-17 Samsung Electronics Co., Ltd. Method and device for generating images
KR101751140B1 (ko) * 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
CN107295225B (zh) * 2016-04-12 2020-07-10 三星电机株式会社 相机模块
US10701256B2 (en) * 2016-06-12 2020-06-30 Apple Inc. Switchover control techniques for dual-sensor camera system
CN105979145A (zh) * 2016-06-22 2016-09-28 上海顺砾智能科技有限公司 提高无人机航拍影像质量的拍摄系统及拍摄方法
CN105954881A (zh) * 2016-07-21 2016-09-21 合肥工业大学 一种手机照相变焦镜头
CN106210524B (zh) * 2016-07-29 2019-03-19 信利光电股份有限公司 一种摄像模组的拍摄方法及摄像模组
CN106454077B (zh) * 2016-09-26 2021-02-23 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置和终端
CN206350072U (zh) * 2016-11-08 2017-07-21 聚晶半导体股份有限公司 摄像模块和摄像装置
KR102204596B1 (ko) * 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
US10681273B2 (en) * 2017-08-24 2020-06-09 Samsung Electronics Co., Ltd. Mobile device including multiple cameras
US10200599B1 (en) * 2017-09-07 2019-02-05 Qualcomm Incorporated Image capture setting determination in devices having access to multiple cameras
US10630895B2 (en) * 2017-09-11 2020-04-21 Qualcomm Incorporated Assist for orienting a camera at different zoom levels
CN107819992B (zh) * 2017-11-28 2020-10-02 信利光电股份有限公司 一种三摄像头模组及电子设备
CN111885295A (zh) * 2018-03-26 2020-11-03 华为技术有限公司 一种拍摄方法、装置与设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135769A (zh) * 2006-08-29 2008-03-05 亚洲光学股份有限公司 变焦镜头
CN106990646A (zh) * 2016-01-20 2017-07-28 深圳富泰宏精密工业有限公司 多镜头系统、其工作方法及便携式电子装置
CN107734214A (zh) * 2016-08-10 2018-02-23 宁波舜宇光电信息有限公司 具有不同大小光圈的多摄像头模组及其应用

Also Published As

Publication number Publication date
CN111669493A (zh) 2020-09-15
WO2019184686A1 (zh) 2019-10-03
BR112020015673A2 (pt) 2020-12-08
US11206352B2 (en) 2021-12-21
CN108391035A (zh) 2018-08-10
US20200358954A1 (en) 2020-11-12
EP3713209A4 (en) 2021-03-03
AU2019241111A1 (en) 2020-07-02
JP2021507646A (ja) 2021-02-22
KR20200100673A (ko) 2020-08-26
KR102310430B1 (ko) 2021-10-07
CN111885294B (zh) 2022-04-22
CA3085555A1 (en) 2019-10-03
CN111373727B (zh) 2021-01-12
CN111885294A (zh) 2020-11-03
CN108391035B (zh) 2020-04-21
CN111641778A (zh) 2020-09-08
CN111885295A (zh) 2020-11-03
AU2019241111B2 (en) 2023-04-13
EP3713209A1 (en) 2020-09-23
JP6945744B2 (ja) 2021-10-06
SG11202005392TA (en) 2020-07-29
CN111373727A (zh) 2020-07-03
CA3085555C (en) 2023-12-19
CN111669493B (zh) 2021-04-09
EP3713209B1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
CN111641778B (zh) 一种拍摄方法、装置与设备
EP3531689B1 (en) Optical imaging method and apparatus
EP3686845B1 (en) Image processing method and device and apparatus
CN111418201A (zh) 一种拍摄方法及设备
CN109923850B (zh) 一种图像捕捉装置及方法
CN113810590A (zh) 图像处理方法、电子设备、介质和系统
WO2023137956A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP2022103020A (ja) 写真撮影の方法及び装置、端末、記憶媒体
JP2014103643A (ja) 撮像装置及び被写体認識方法
CN114143471B (zh) 图像处理方法、系统、移动终端及计算机可读存储介质
JP7212128B2 (ja) 画像処理方法、装置及び記憶媒体
WO2023245363A1 (zh) 图像处理方法及装置、电子设备、存储介质
WO2019072222A1 (zh) 一种图像处理方法、装置与设备
CN115428009A (zh) 基于内容的图像处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant