CN116709042A - 一种图像处理方法和电子设备 - Google Patents

一种图像处理方法和电子设备 Download PDF

Info

Publication number
CN116709042A
CN116709042A CN202210178183.0A CN202210178183A CN116709042A CN 116709042 A CN116709042 A CN 116709042A CN 202210178183 A CN202210178183 A CN 202210178183A CN 116709042 A CN116709042 A CN 116709042A
Authority
CN
China
Prior art keywords
module
image
processing
isp
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210178183.0A
Other languages
English (en)
Other versions
CN116709042B (zh
Inventor
张文红
邵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210178183.0A priority Critical patent/CN116709042B/zh
Priority to CN202410789948.3A priority patent/CN118540599A/zh
Priority to EP22928461.7A priority patent/EP4344241A4/en
Priority to US18/577,602 priority patent/US20240251180A1/en
Priority to PCT/CN2022/142766 priority patent/WO2023160221A1/zh
Publication of CN116709042A publication Critical patent/CN116709042A/zh
Application granted granted Critical
Publication of CN116709042B publication Critical patent/CN116709042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理方法和电子设备，应用于图像处理技术领域。该方法包括：启动摄像头；获取当前拍照环境下的变焦倍率以及环境照度；在所述变焦倍率大于或等于第一倍率，且，所述环境照度大于或等于第一亮度阈值时，采用第一模式进行拍照；在所述第一模式中，所述摄像头用于对采集的图像信号采用非合并模式以及裁剪方式进行处理，输出第一图像数据，所述第一图像数据采用第一图像格式，能够提升高倍率拍摄场景下图像的清晰度，有助于提升用户的拍摄体验。

Description

一种图像处理方法和电子设备
技术领域
本申请涉及图像处理技术领域，并且具体地，涉及一种图像处理方法和电子设备。
背景技术
随着智能终端日益发展，拍摄功能成为智能终端的必备功能。用户对智能终端的拍摄(拍照和/或摄像)需求以及体验也不断增强。智能终端可采用数字变焦(digitalzoom)的方式拍摄图像。数字变焦，是指通过软件算法对图像进行裁剪和/或放大。
目前，在高变焦倍率拍摄场景下，如果采用合并模式出图，会损失图像清晰度，导致图像质量不佳，影响用户的拍摄体验。
发明内容
有鉴于此，本申请提供了一种图像处理方法、电子设备、计算机可读存储介质和计算机程序产品，能够提升高倍率拍摄场景下图像的清晰度，有助于提升用户的拍摄体验。
第一方面，提供了一种图像处理方法，包括：
启动摄像头；
获取当前拍照环境下的变焦倍率以及环境照度；
在所述变焦倍率大于或等于第一倍率，且，所述环境照度大于或等于第一亮度阈值时，采用第一模式进行拍照；
在所述第一模式中，所述摄像头用于对采集的图像信号采用非合并模式以及裁剪方式进行处理，输出第一图像数据，所述第一图像数据采用第一图像格式。
上述第一图像格式为四方原始数据(quadra raw)。
上述方法可以由终端设备或终端设备中的芯片执行。基于上述方案，在高变焦倍率和高照度场景下采用第一模式进行拍照，采用非合并模式和裁剪方式进行出图，得到图像数据的格式为quadra raw，并利用quadra raw进行后通路图像处理，有助于提升图像清晰度。
本申请实施例为第一模式设计了后通路的处理流程，具体涉及预览流、拍照流、缩略图流。
在一种可能的实现方式中，所述第一图像数据存储于第一缓存中；
所述方法还包括：
接收用户的第一操作，所述第一操作用于触发拍照；
响应于所述第一操作，从所述第一缓存中获取所述第一图像数据；
通过后处理算法模块或ISP第一模块对所述第一图像数据进行拜耳图像再生成(Remosaic)处理，得到第二图像数据，所述第二图像数据采用第二图像格式；
通过ISP第二模块对所述第二图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。
在拍照通路的处理中，相比于将第一图像数据送入ISP或者摄像头内部进行Remosaic处理，利用后处理算法模块对第一图像数据进行Remosaic处理的情形，能够达到更好的降噪效果，有利于提升拍照图像的清晰度。
在一种可能的实现方式中，所述方法还包括：
在缩略图流中，通过ISP第一模块对所述第一图像数据进行拜耳图像再生成处理，得到拜耳格式的数据；
通过ISP第二模块对所述拜耳格式的数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。
因此，本申请实施例还提供了第一模式下缩略图流的处理方式，有助于提高缩略图的图像质量。
在一种可能的实现方式中，所述方法还包括：
在所述第一模式的预览通路中，通过ISP第一模块对所述第一图像数据进行再次马赛克处理，得到第三图像数据；
通过ISP第二模块对所述第三图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。
因此，本申请实施例还提供了第一模式下预览流的处理方式，有助于提高预览图像的质量。
本申请实施例还基于不同的变焦倍率和不同的环境照度，设计了相应的拍照流程。
在一种可能的实现方式中，所述方法还包括：
在所述变焦倍率大于第二倍率，且所述环境照度小于所述第一亮度阈值时，采用第二模式进行拍照，所述第二倍率小于所述第一倍率；
或者，
在所述变焦倍率大于第二倍率且小于所述第一倍率，且所述环境照度大于或等于第一亮度阈值时，采用第二模式进行拍照；
在所述第二模式中，所述摄像头用于对采集的图像信号采用合并模式出图，输出第四图像数据，所述第四图像数据采用第二图像格式。
因此，在变焦倍率大于第二倍率且是低照度场景时，采用第二模式拍照；在变焦倍率大于第二倍率且小于第一倍率，且是高照度场景时，也采用第二模式拍照，即摄像头采用合并模式出图，这样能够保证感光度，有助于提升图像的信噪比。
在一种可能的实现方式中，所述方法还包括：
在所述第二模式的预览通路中，通过ISP第二模块对所述第四图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述第四图像数据对RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出预览图像。
在上述第二模式中，通过上述处理流程，可以提高预览图像的质量。
在一种可能的实现方式中，所述第四图像数据存储于第一缓存中，所述方法还包括：
接收用户的第二操作，所述第二操作用于触发拍照；
响应于所述第二操作，从所述第一缓存中获取所述第四图像数据；
通过后处理算法模块或ISP第二模块对所述第四图像数据进行图像处理，得到第五图像数据；
通过后处理算法模块或ISP第三模块对所述第五图像数据进行裁剪和上采样处理，输出拍照图像。
在上述第二模式中，通过上述处理流程，可以提高拍照图像的质量。
在一种可能的实现方式中，所述方法还包括：
在缩略图流中，通过ISP第二模块对所述第四图像的数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出缩略图。
在上述第二模式中，通过上述处理流程，可以提高缩略图的图像质量。
在一种可能的实现方式中，所述方法还包括：
在所述变焦倍率等于第二倍率，且所述环境照度大于或等于第一亮度阈值时，采用第三模式进行拍照，所述第二倍率小于所述第一倍率；
或者，在所述变焦倍率等于所述第二倍率，且所述环境照度小于第一亮度阈值时，采用第三模式进行拍照；
在所述第三模式中，所述摄像头用于对采集的图像信号采用合并模式出图，输出第六图像数据，所述第六图像数据采用第二图像格式。
因此，在变焦倍率等于第二倍率时，图像清晰度可以满足需求，因此优先考虑信噪比的因素，在变焦倍率等于第二倍率的全场景下(高照度场景和低照度场景)，采用第三模式进行拍照，可以提升信噪比。
在一种可能的实现方式中，所述第六图像数据存储于第一缓存中，所述方法还包括：
接收用户的第三操作，所述第三操作用于触发拍照；
响应于所述第三操作，从所述第一缓存中获取所述第六图像数据；
通过后处理算法模块或ISP第二模块对所述第六图像数据进行图像处理，得到第七图像数据；
通过ISP第三模块对所述第七图像数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。
在上述第三模式中，通过上述处理流程，可以提高拍照图像的质量。
在一种可能的实现方式中，所述方法还包括：
在缩略图流中，通过ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。
在上述第三模式中，通过上述处理流程，可以提高缩略图的图像质量。
在一种可能的实现方式中，所述方法还包括：
在所述第三模式的预览通路中，通过ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。
在上述第三模式中，通过上述处理流程，可以提高预览图像的质量。
第二方面，提供了一种电子设备，包括用于执行第一方面中任一种方法的单元。该电子设备可以是终端，也可以是终端内的芯片。该电子设备包括输入单元、显示单元和处理单元。
当该电子设备是终端时，该处理单元可以是处理器，该输入单元可以是通信接口，该显示单元可以是图形处理模块和屏幕；该终端还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该终端执行第一方面中的任一种方法。
当该电子设备是终端内的芯片时，该处理单元可以是芯片内部的逻辑处理单元，该输入单元可以是输出接口、管脚或电路等，该显示单元可以是芯片内部的图形处理单元；该芯片还可以包括存储器，该存储器可以是该芯片内的存储器(例如，寄存器、缓存等)，也可以是位于该芯片外部的存储器(例如，只读存储器、随机存取存储器等)；该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该芯片执行第一方面的任一种方法。
在一种实现方式中，所述处理单元用于启动摄像头；获取当前拍照环境下的变焦倍率以及环境照度值；在所述变焦倍率大于或等于第一倍率，且，所述环境照度值大于或等于第一亮度阈值时，采用第一模式进行拍照；在所述第一模式中，所述摄像头用于对采集的图像信号采用非合并模式以及裁剪方式进行处理，输出第一图像数据，所述第一图像数据采用第一图像格式。
上述第一图像格式为四方原始数据(quadra raw)。
在一种可能的实现方式中，所述第一图像数据存储于第一缓存中；
所述输入单元用于接收用户的第一操作，所述第一操作用于触发拍照；
所述处理单元用于从所述第一缓存中获取所述第一图像数据；
还用于调用后处理算法模块或ISP第一模块对所述第一图像数据进行拜耳图像再生成(Remosaic)处理，得到第二图像数据，所述第二图像数据采用第二图像格式；
还用于调用ISP第二模块对所述第二图像数据进行去马赛克处理，得到RGB格式的数据；
还用于调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。
在一种可能的实现方式中，所述处理单元还用于：
在缩略图流中，调用ISP第一模块对所述第一图像数据进行拜耳图像再生成处理，得到拜耳格式的数据；
调用ISP第二模块对所述拜耳格式的数据进行去马赛克处理，得到RGB格式的数据；
调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。
在一种可能的实现方式中，所述处理单元还用于：
在所述第一模式的预览通路中，调用ISP第一模块对所述第一图像数据进行再次马赛克处理，得到第三图像数据；
调用ISP第二模块对所述第三图像数据进行去马赛克处理，得到RGB格式的数据；
调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。
在一种可能的实现方式中，所述处理单元还用于：
在所述变焦倍率大于第二倍率，且所述环境照度小于所述第一亮度阈值时，采用第二模式进行拍照，所述第二倍率小于所述第一倍率；
或者，
在所述变焦倍率大于第二倍率且小于所述第一倍率，且所述环境照度大于或等于第一亮度阈值时，采用第二模式进行拍照；
在所述第二模式中，所述摄像头用于对采集的图像信号采用合并模式出图，输出第四图像数据，所述第四图像数据采用第二图像格式。
在一种可能的实现方式中，所述处理单元还用于：
在所述第二模式的预览通路中，调用ISP第二模块对所述第四图像数据进行去马赛克处理，得到RGB格式的数据；
调用ISP第三模块对所述第四图像数据对RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样，输出预览图像。
在一种可能的实现方式中，所述第四图像数据存储于第一缓存中；
所述输入单元用于接收用户的第二操作，所述第二操作用于触发拍照。
所述处理单元还用于：响应于所述第二操作，从所述第一缓存中获取所述第四图像数据；
调用后处理算法模块或ISP第二模块对所述第四图像数据进行图像处理，得到第五图像数据；
调用后处理算法模块或ISP第三模块对所述第五图像数据进行裁剪和上采样，输出拍照图像。
在一种可能的实现方式中，所述处理单元还用于：
在缩略图流中，调用ISP第二模块对所述第四图像的数据进行去马赛克处理，得到RGB格式的数据；
调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出缩略图。
在一种可能的实现方式中，所述处理单元还用于：
在所述变焦倍率等于第二倍率，且所述环境照度大于或等于第一亮度阈值时，采用第三模式进行拍照，所述第二倍率小于所述第一倍率；
或者，在所述变焦倍率等于所述第二倍率，且所述环境照度小于第一亮度阈值时，采用第三模式进行拍照；
在所述第三模式中，所述摄像头用于对采集的图像信号采用合并模式出图，输出第六图像数据，所述第六图像数据采用第二图像格式。
在一种可能的实现方式中，所述第六图像数据存储于第一缓存中，所述输入单元用于：接收用户的第三操作，所述第三操作用于触发拍照。
所述处理单元还用于：响应于所述第三操作，从所述第一缓存中获取所述第六图像数据；
调用后处理算法模块或ISP第二模块对所述第六图像数据进行图像处理，得到第七图像数据；
调用ISP第三模块对所述第七图像数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。
在上述第三模式中，通过上述处理流程，可以提高拍照图像的质量。
在一种可能的实现方式中，所述处理单元还用于：
在缩略图流中，调用ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；
调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。
在一种可能的实现方式中，所述处理单元还用于：
在所述第三模式的预览通路中，调用ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；
调用ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。
第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。
第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种方法。
附图说明
图1是本申请实施例的应用场景的一个示例图；
图2是本申请实施例在不同变焦倍率以及不同环境照度下的处理模式的示意图；
图3是本申请实施例的一个拍照系统的示意性框图；
图4是本申请实施例的一个拍照方法的示意性流程图；
图5是本申请实施例的另一个拍照系统的示意性框图；
图6是本申请实施例的另一个拍照方法的示意性流程图；
图7是本申请实施例的又一个拍照系统的示意性框图；
图8是本申请实施例的又一个拍照方法的示意性流程图；
图9是本申请实施例应用的一个架构示意图；
图10是一种适用于本申请的电子设备的结构示意图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
本申请实施例中，除非另有说明，“多个”的含义可以是两个或两个以上。
本申请实施例适用于电子设备，该电子设备可以为手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等。
本申请实施例的电子设备中装备有图像采集器(比如摄像头)。
本申请实施例对电子设备的具体类型不作任何限制。下文以电子设备是手机为例描述本申请实施例的图像处理方法。
以下结合图1中的场景示例说明。图1是本申请实施例的一个应用场景示例图。
如图1中(1)所示的手机界面中，界面可以显示多个应用程序：应用1、应用2、…、应用7以及相机应用程序。用户点击相机应用程序，手机启动相机。在相机运行后，手机界面显示如图1中(2)所示的界面。该界面可以称为相机的拍摄界面。该拍摄界面中可以包括取景框11、变焦倍率12(默认为1x)、相册图标13、拍摄控件14和摄像头旋转控件等。用户点击拍摄控件14，可以进行拍照。在该界面中，相册图标13显示的是缩略图。摄像头旋转控件可以用于切换摄像头。
其中，取景框11用于获取拍摄预览的图像，可以实时显示预览图像。
手机支持数字变焦。用户在使用拍摄功能时，可通过在触摸屏上操作来选择不同的变焦倍率。
作为一种示例，如图1中(2)所示，用户点击图1中(2)的变焦倍率12，界面显示如图1中(3)所示的界面，出现变焦倍率的选择项15(比如，最高变焦倍率为8x，最低变焦倍率为1x)。用户在选择项15中向上拖动变焦倍率12，在变焦倍率为2x时松手，界面显示如图1中(4)所示，即，选择变焦倍率为2x。当然，在选中变焦倍率后，变焦倍率的选择项15可以隐藏，即界面上显示选择的变焦倍率为2x。
应理解，图1中的拍照场景只是示意性说明本申请的一个应用场景，这并不对本申请实施例构成限定。事实上，本申请实施例也可以应用于其他使用摄像头的场景，比如录像场景、视频通话场景、视频直播场景等。
还应理解，图1中的(2)示出的是用户在手机竖屏下进行拍照的一个界面示意图，但本申请并不限于此。比如，用户可以在手机横屏下进行拍摄。
还应理解，图1中(3)所示出的变焦倍率的选择项15的上下限(即最大的变焦倍率和最小变焦倍率)可取决于手机的实现，图1中(3)所示的上下限值仅为示例，本申请实施例并不限于此。
还应理解，图1中(3)所示出的变焦倍率的选择项15在界面中所处的位置也仅是一种示例，本申请实施例并不限于此。
在一些实施例中，手机可采用四色滤波器阵列(Quadra Color Filter Array，Quadra CFA)传感器(sensor)摄像头(camera)。摄像头的关键器件包括光学镜片(lens)和图像传感器(sensor)。在摄像头启动后，sensor可基于采集到的图像信号出图。在本申请实施例中，sensor采用何种方式出图取决于拍摄场景的变焦倍率和环境照度。
可以理解，本申请实施例对摄像头如何启动不作具体限定。例如，如图1中(1)所示，用户点击相机应用程序可以摄像头。
目前在高变焦倍率的场景下，sensor通常采用合并模式(binning mode)出图。高变焦倍率是指变焦倍率满足预设条件的变焦倍率。
本申请实施例对高变焦倍率的定义不作具体限定。一种实现方式，可以将变焦倍率大于或等于变焦倍率阈值定义为高变焦倍率。比如，将大于或等于2x的变焦倍率定义为高变焦倍率。又一种实现方式，变焦倍率落入某一个变焦倍率区间时定义为高变焦倍率等。比如，将落入2x-8x的变焦倍率定义为高变焦倍率。
合并模式是指将相邻像元感应的电荷加在一起，以一个像素的模式读出，通过合并模式输出的图像数据为拜耳格式(bayer raw)。比如，在合并模式中，sensor可将4个像素值进行取和以及求平均值，得到一个像素的值，作为处理后的像素值输出。
合并模式的优势在于可以提升暗光环境下的信噪比，感光度较好。但是，合并模式并不适用于高变焦倍率场景。在高变焦倍率下采用合并模式出图会损失图像的清晰度，影响用户体验。
清晰度损失的原因在于：在数字变焦情况下，通常采用在原图(此处的原图是sensor基于合并模式获得的原图)基础上进行裁剪的方式，实现数字变焦视场角(FOV)的变化，并利用上采用算法恢复图像的分辨率，但是对于高变焦倍率的情形，那么随着变焦倍率的增加，从原图上裁剪掉的面积会越大，那么再通过上采样算法得到原尺寸图像的分辨率的清晰度的损失会越严重。
有鉴于此，本申请实施例提供了一种图像处理方法和电子设备。本申请实施例的图像处理方法，在高变焦倍率和高照度场景下，sensor采用非合并模式和裁剪方式进行出图，得到图像数据的格式为四方原始数据(quadra raw)，并利用quadra raw进行后通路图像处理，有助于提升图像清晰度。
另外，本申请实施例通过为不同变焦倍率以及不同环境照度的拍照场景，设计相应的模式或拍照流程，发挥各个组件的优势，从而在各个场景下达到提升图像质量的目的，提升用户体验。
为了便于理解，在介绍本申请实施例的拍照方法之前，首先对本申请实施例涉及的部分术语进行解释。
非合并模式(non-binning mode)，在非合并模式下，提供与sensor的分辨率相同的图像。sensor采用非合并模式出图，其图像格式是四方原始(quadra raw)格式，而非bayer raw。
图像信号处理器(image signal processor，ISP)，用于处理摄像头采集到的数字图像信号，获得一张符合人眼的图像。ISP中可以包括多个子模块，比如，ISP第一模块、ISP第二模块和ISP第三模块。
为便于ISP处理，需要将非合并模式下得到的quadra raw转换为bayer raw。
拜耳图像再生成(Remosaic)，通过对像素进行重新排列，或者说像素互换，将非合并模式下的数据转换为标准的bayer raw。在本申请实施例中，Remosaic处理可以通过后处理算法模块或ISP第一模块实现。
去马赛克(Demosaic)，用于将拜耳格式的数据转换为RGB格式的数据。Demosaic可以理解为进行色彩插值处理，即将从sensor中获得的拜耳数据中还原出符合色彩显示设备的真实世界色彩。
裁剪，通过对采集的图像进行裁剪，得到与变焦倍率对应的视场角的图。裁剪可通过crop函数实现。例如，采用crop函数获得2x下对应的视场图。
上采样，是指将特征图的分辨率还原到原始图片的分辨率大小。上采样可以通过缩放(scale)函数实现图像的放大。比如，在得到2x下的图像后，采用scale函数对2x下的图像进行放大，使得图像尺寸与1x的图像尺寸相同。
环境照度，是指用户在拍摄时拍摄环境的光线强弱。环境照度的值可以采用以下指标表征：亮度值(lighting value，LV)、光照度(lux)或光照度索引值(luxindex)等等。
LV用于估计环境亮度，其具体计算公式如下：
其中，Exposure为曝光时间，Aperture为光圈大小，Iso为感光度，Luma为图像在XYZ颜色空间中Y的平均值。
本申请实施例将通过非合并模式输出的图像数据的格式命名为第一图像格式，例如，第一图像格式是quadra raw。
本申请实施例将通过合并模式输出的图像数据的格式命名为第二图像格式，例如，第二图像格式是bayer raw。
当摄像头启动后，电子设备可以获取当前拍照环境下的变焦倍率(比如，用户可以通过图1中(2)的变焦倍率12选择变焦倍率)以及环境照度。对于不同的变焦倍率以及不同的环境照度，本申请实施例提供相应的处理方案(比如，第一模式、第二模式、第三模式)。以下将结合图2进行描述。
参考图2，图2是本申请实施例在不同变焦倍率以及不同环境照度下对应的处理模式的示意图。
如图2所示，变焦倍率从左到右依次增大。在图2中，基于第一倍率和第二倍率对变焦倍率的区间进行划分。其中，第一倍率大于第二倍率。第一倍率可以是大于或等于2的变焦倍率。例如，第一倍率是2x，第二倍率是1x。又例如，第一倍率是4x，第二倍率是1x。
如图2所示，环境照度从下到上依次变强。在图2中，基于第一亮度阈值将环境照度分为低照度(或者说暗光环境)和高照度(或者说亮光环境)。
例如，如果环境照度大于或等于第一亮度阈值，则是高照度场景；如果环境照度小于第一亮度阈值，则是低照度场景。
应理解，此处将环境照度等于第一亮度阈值的情形划分到高照度场景，但本申请实施例不限于此，比如，也可以将环境照度等于第一亮度阈值的情形划分到低照度场景。下文以高照度场景和低照度场景进行描述。
作为一种可能的实现方式，环境照度可采用LV表征，相应的，第一亮度阈值为第一LV值。
作为一种可能的实现方式，环境照度可采用luxindex表征，相应的，第一亮度阈值为luxindex值。其中，luxindex取值越大，环境照度越低；luxindex取值越小，环境照度越高。
如图2所示，在变焦倍率大于或等于第一倍率，且环境照度是高照度时，sensor基于第一模式处理图像信号。在第一模式中，sensor采用非合并+裁剪模式出图，或者说，sensor采用非合并模式处理数字图像信号，并基于变焦倍率进行相应的裁剪处理。
如图2所示，在变焦倍率大于第二倍率且小于第一倍率，且环境照度是高照度场景时，基于第二模式处理图像信号。在第二模式中，sensor采用合并模式出图。
如图2所示，在变焦倍率大于第二倍率，且环境照度是低照度场景时，基于第二模式处理图像信号。
如图2所示，在变焦倍率等于第二倍率的全照度场景下，即，不论是高照度场景还是低照度场景下，均基于第三模式处理图像信号。在第三模式中，sensor采用合并模式出图。
应注意，上述第二模式和第三模式的sensor出图方式相同，均为合并模式，区别在于后通路的处理有所区别，后文在介绍相关处理流程时会详细描述。
可以理解的是，对于变焦倍率小于第二倍率的情况，是否采用图2中所示的变焦倍率等于第二倍率的处理方式，可以取决于产品的具体实现，本申请实施例不作具体限定。例如，在用户选择的变焦倍率大于0x且小于1x时，如果电子设备具有超广角摄像头，那么可以切换到超广角摄像头进行处理。又例如，在用户选择的变焦倍率大于0x且小于1x时，也可以不切换摄像头，采用图2中示出的变焦倍率等于第二倍率的处理方式。
以下描述在不同变焦倍率和不同环境照度下选择图2中所示的相应模式的技术效果。
对于变焦倍率大于或等于第一倍率的情况，不同环境照度下采用的模式不同，具体包括：(1)在高照度场景下，图像清晰度为优先考虑的因素，使用第一模式(sensor采用非合并模式和裁剪方式进行出图)有助于提升图像的清晰度；(2)在低照度场景下，信噪比为优先考虑的因素，采用第二模式(sensor采用合并模式出图)，有助于提升暗光环境下的信噪比。
对于变焦倍率大于第二倍率且小于第一倍率的情况，不同环境照度下均采用第二模式(sensor采用合并模式出图)，有助于提升信噪比。
对于变焦倍率为等于第二倍率的情况下，不同环境照度下均采用第三模式(sensor采用合并模式出图)。这是因为在变焦倍率为第二倍率下，能够满足图像的分辨率要求，因此需要优先考虑信噪比的因素，sensor采用合并模式出图有助于提升信噪比。
对于环境照度为高照度场景的情况：(1)在变焦倍率大于或等于第一倍率时，图像清晰度为优先考虑的因素，采用第一模式有助于提升图像的清晰度；(2)在变焦倍率大于第二倍率且小于第一倍率时，采用第二模式(sensor采用合并模式出图)，能够提升信噪比；(3)在变焦倍率等于第二倍率的场景，清晰度无损失，因此采用第三模式(sensor采用合并模式出图)即可，有助于节省功耗。
对于环境照度为低照度场景的情况，不论变焦倍率如何变化，sensor均采用合并模式出图，保证了暗光环境下的感光度，有助于提升信噪比。
综上所述，在不同的数字变焦倍率以及不同的环境照度场景下，本申请实施例设计合适的出图模式或拍照流程，以达到提升图像质量的目的。
上述图2中提到的三种模式中均支持预览流、拍照流和缩略图流的处理流程。以下结合图3-图8详细描述在各个模式下对图像信号的具体处理流程。
以下结合图3描述第一模式的相关设计。图3是本申请实施例的拍照系统300的一个示意性框图。如图3所示，该拍照系统300包括决策模块、ISP参数配置、摄像头、第一缓存、第一图像处理模块、ISP第一模块、ISP第二模块、ISP第三模块。所述摄像头包括光学镜片以及图像传感器(sensor)。
应理解，预览流中涉及的ISP第一模块、ISP第二模块和ISP第三模块，拍照流中涉及的ISP第一模块、ISP第二模块和ISP第三模块，与缩略图流中涉及的ISP第一模块、ISP第二模块和ISP第三模块之间可以是部分复用或全部复用的，也可以是相互独立的，本申请实施例对此不作限定。
比如，预览流对应一套ISP第一模块、ISP第二模块和ISP第三模块；拍照流对应一套ISP第一模块、ISP第二模块和ISP第三模块；缩略图流对应一套ISP第一模块、ISP第二模块和ISP第三模块。又比如，预览流、拍照流以及缩略图流共用同一套ISP第一模块、ISP第二模块和ISP第三模块。又比如，预览流与拍照流复用ISP第一模块，预览流对应一套ISP第二模块和ISP第三模块，拍照流对应一套ISP第二模块和ISP第三模块，缩略图流对应一套ISP第二模块和ISP第三模块等等。
可以理解，上述关于ISP第一模块、ISP第二模块和ISP第三模块的描述只是示例描述，本申请实施例并不限于此。
还可以理解，上述关于ISP第一模块、ISP第二模块和ISP第三模块的描述对于后文的图5和图7也适用，下文将不再赘述。
所述决策模块用于根据变焦倍率和环境照度等因素，确定各个模块(包括摄像头、ISP第一模块、ISP第二模块、ISP第三模块和后处理算法模块)的参数配置。各个模块的相关参数配置可通过ISP参数配置模块下发给各个模块。换句话说，所述决策模块通过ISP参数配置模块，控制或调配各个模块的功能或作用，比如说，使能或不使能哪些ISP模块，ISP模块采用何种方式处理图像数据等等。
作为一种可能的实现方式，在变焦倍率大于或等于第一倍率，且环境照度是高照度环境时，所述决策模块至少确定以下参数配置：所述摄像头(或者说sensor)的出图方式为非合并+裁剪模式(或者也可表述为图3中示出的非合并模式+裁剪)，预览流中的ISP第一模块的图像处理包括Remosaic处理，拍照流中的后处理算法模块或ISP第一模块包括Remosaic处理，以及，缩略流中的ISP第一模块的图像处理包括Remosaic处理。
可选地，所述决策模块还可以配置各个ISP模块的其他参数，比如，颜色、亮度效果、变焦倍率等，控制实现各个ISP模块的ISP参数配置一致。
在第一模式中，所述摄像头用于采集图像信号，并对所述采集的图像信号通过非合并模式以及裁剪处理，输出第一图像数据。所述第一图像数据采用第一图像格式。第一图像格式为四方原始(quadra raw)。换种表述，sensor采用非合并+裁剪方式进行出图。
需要说明的是，由于此处sensor的出图方式采用的是非合并模式，相比于合并模式，在非合并模式下不会损失图像的分辨率(或者说清晰度)，在高变焦倍率下(比如，变焦倍率大于或等于第一倍率)需优先保证图像的清晰度，因此在高变焦倍率下采用非合并模式出图会更合适。另外，在通过非合并模式出图后，只需要再做裁剪即可得到高变焦倍率的相应视场角的图像，无需再对图像进行上采样。
举例来说，假设sensor的分辨率为50M(或者说像素为5千万)，变焦倍率取2x，那么sensor使用非合并模式出图后，还需要进行2x视场角(FOV)的裁减，就能得到12.5M的图像。
所述第一缓存用于存储摄像头输出的第一图像数据，以便在拍照命令后触发后能够第一时间从第一缓存中获取拍照帧的数据。
所述第一图像处理模块用于处理拍照通路的图像数据。所述第一图像处理模块包括后处理算法模块、ISP第一模块、ISP第二模块和ISP第三模块。
所述后处理算法模块可用于在拍照模式下离线对图像进行处理，以提升图像效果。例如，所述后处理算法模块用于对图像执行以下一项或多项处理：多帧融合降噪处理、多帧HDR处理等等。
如图3所示，在第一模式中，对于预览流而言，数据流经过ISP第一模块、ISP第二模块和ISP第三模块。其中，ISP第一模块用于对第一图像数据进行Remosaic处理。ISP第二模块用于进行Bayer域的处理，输出RGB格式的数据。ISP第三模块用于进行RGB域或YUV域的处理，输出YUV格式的数据。
以下将描述ISP第一模块、ISP第二模块和ISP第三模块可以包含的进一步处理功能。此处做统一说明，在ISP第一模块、ISP第二模块和ISP第三模块使能的情况下，下面关于ISP第一模块、ISP第二模块和ISP第三模块的进一步处理功能的相关描述，对其他模式(下文的第二模式和第三模式)或其他通路(拍照流、缩略图流)也是适用的。下文出现ISP第一模块、ISP第二模块和ISP第三模块的地方将不再赘述其进一步处理功能。
可选地，ISP第一模块还包括以下一项或多项处理：binning、HDR融合等。
可选地，ISP第二模块还包括以下一项或多项处理：坏点矫正(bad pixelcorrection，BPC)、黑电平矫正(black level correct，BLC)、镜头阴影矫正(lens shadecorrection，LSC)、自动白平衡(automatic white balance，AWB)、bayer域降噪(noisereduce，NR)、Demosaic等。
可选地，ISP第三模块还包括以下一项或多项处理：颜色矫正(color correct，CC)、YUV域降噪NR、颜色增强(color enhancer，CE)、锐化(Sharpen)、色调映射(ToneMapping)等。
如图3所示，在第一模式中，对于拍照流而言，数据流经过第一缓存、第一图像处理模块。第一图像处理模块中内部的数据流走向也可以有多种方式。本申请实施例对第一数据送入第一图像处理模块内部后的处理不作具体限定。在第一图像处理模块内部，决策模块可以选择数据流经过哪些模块，或不经过哪些模块。
图3中示出了数据流在所述第一图像处理模块中的两种走向。一种可能的实现方式，如图3所示，从第一缓存中获得的第一图像数据在送入第一图像处理模块后，首先输送到后处理算法模块，即，不经过ISP第一模块，而是由后处理算法模块对第一图像数据进行Remosaic处理，然后经过ISP第二模块、ISP第三模块。其中，ISP第二模块与后处理算法模块之间通过双向箭头(即可双向交互)连接；ISP第三模块与后处理算法模块之间通过双向箭头连接。
例如，在第一图像数据经过后处理算法模块进行Remosaic处理后，可送入ISP第二模块进行处理，接着，在ISP第二模块处理完成后可将图像数据再返回给后处理算法模块进行处理，也可以传输给ISP第三模块进行处理；然后，后处理算法模块处理完后可送入ISP第三模块处理，最后ISP第三模块处理完后返回给后处理算法模块进一步处理，有助于提高图像质量。
由于第一图像数据(格式为quadra raw)在送入所述后处理算法模块时，噪声模型并未被破坏，所述后处理算法模块可以基于第一图像数据进行降噪处理。这样，通过噪声建模的方法能够达到更好的降噪效果。相比于将第一图像数据送入ISP或者摄像头内部进行Remosaic处理，这样做能够达到更好的降噪效果，有利于提升拍照图像的清晰度，提高用户拍摄体验。
另一种可能的实现方式，如图3所示，第一图像数据在送入第一图像处理模块后，首先输送到ISP第一模块。ISP第一模块对第一图像数据进行Remosaic处理；接着，ISP第一模块处理后的图像数据送到后处理算法模块；后处理算法模块进行处理后可以将处理后的图像数据传输给ISP第二模块，在ISP第二模块处理完成后可将图像数据再返回给后处理算法模块进行处理，也可以传输给ISP第三模块进行处理；然后，后处理算法模块处理完后可送入ISP第三模块处理，最后ISP第三模块处理完后返回给后处理算法模块进一步处理，有助于提高图像质量。
如图3所示，在第一模式中，对于缩略流而言，数据流经过第一缓存、ISP第一模块、ISP第二模块和ISP第三模块。其中，ISP第一模块用于对第一图像数据进行Remosaic处理，得到的图像数据的格式为bayer raw。经过ISP第一模块处理后得到的bayer raw，可通过ISP第二模块和ISP第三模块进行进一步处理。ISP第二模块用于进行Bayer域的处理，输出RGB格式的数据。ISP第三模块用于进行RGB域或YUV域的处理，输出YUV格式的数据。
需要说明的是，由于缩略图要保证优先出图速度，因此缩略图流对图像的清晰度要求要低于拍照流，因此对于缩略图流而言，不需要经过后处理算法模块对图像进行处理。
本申请实施例为第一模式设计了后通路的处理流程，具体涉及预览流、拍照流、缩略图流。以下结合图4描述采用图3所示的拍照系统300的拍照流程。
图4示出了在第一模式下拍照方法的示意性流程图。如图4所示，第一模式的拍照方法包括以下步骤：
步骤401，对于采集的图像信号，通过非合并模式以及裁剪处理，获得第一图像数据，所述第一图像数据采用第一图像格式。
具体而言，sensor对采集到的图像信号采用非合并模式出图，并基于quadra raw格式图像进行裁剪(比如，通过crop函数实现)，获得quadra raw图像。
步骤402，在获得第一图像数据后，将所述第一图像数据送入预览通路，同时，将所述第一图像数据存储在第一缓存中。
其中，第一缓存用于保存拍照帧的数据。在拍照命令触发后，可从第一缓存中获得拍照帧的数据返回给用户。
例如，第一缓存是零秒延时拍照(zero shutter lag，ZSL)缓存(buffer)。ZSLbuffer用来存储sensor直出的图像数据。在ZSL模式下，当拍照命令下发后，系统就会从ZSLbuffer中选出对应帧的图像数据送入拍照流和缩略图流进行处理。
步骤403-1，通过ISP第一模块对第一图像数据进行Remosaic处理，得到第三图像数据，并将所述第三图像数据送入ISP第二模块。所述第三图像数据采用第二图像格式(bayer raw)。
也就是说，sensor输出的图像格式是quadra raw格式，经过ISP第一模块处理后，得到bayer raw格式的图像。
步骤403-2，通过ISP第二模块对所述第三图像数据进行去马赛克处理，得到RGB格式的数据。
步骤403-3，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。
以上步骤403-1至步骤403-3描述的是第一模式下预览流的工作流程。通过上述流程，可以提高预览图像的图像质量。
步骤404，接收用户的第一操作，所述第一操作用于触发拍照。
所述第一操作是拍照命令。本申请实施例对第一操作的具体形式不作具体限定，比如，第一操作是手动点击拍摄控件，或者，第一操作是通过声音控制手机进行拍照，或者所述第一操作是定时启动拍照功能的操作(比如，在3秒后自动拍照)。例如，第一操作是用户点击图1中所示的拍摄控件14的操作。
步骤405，响应于所述第一操作，从第一缓存中获取第一图像数据。
在接收到拍照命令后，需要从第一缓存中取出对应拍照时间戳的图像帧，比如，该图像帧的数据为所述第一图像数据。
步骤406-1，通过后处理算法模块对所述第一图像数据进行Remosaic处理，得到第二图像数据。所述第二图像数据采用第二图像格式(bayer raw)。
步骤406-2，通过ISP第二模块对所述第二图像数据进行去马赛克处理，得到RGB格式的数据；
步骤406-3，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。
以上步骤404至步骤406-3描述的是第一模式下的拍照流的工作流程。在拍照通路的处理中，相比于将第一图像数据送入ISP或者摄像头内部进行Remosaic处理，利用后处理算法模块对第一图像数据进行Remosaic处理的情形，能够达到更好的降噪效果，有利于提升拍照图像的清晰度。
另外，在拍照通路中，Remosaic处理也可以由ISP第一模块执行。可选地，上述步骤406-1也可以替换为：通过ISP第一模块对所述第一图像数据进行Remosaic处理，得到第二图像数据。所述第二图像数据采用第二图像格式(bayer Raw)。相应的，步骤406-2和步骤406-3也可以进行相应调整。比如，步骤406-2替换为：通过后处理算法模块对第二图像数据进行图像处理，并将后处理算法模块处理后的图像数据送到ISP第二模块进行处理；步骤406-3替换为：通过ISP第三模块对ISP第二模块输出的图像数据进行处理，输出拍照图像。后处理算法模块、ISP第二模块或ISP第三模块对图像数据的具体处理方式不作限定，可以参考前文描述。
步骤407-1，在缩略图流中，通过ISP第一模块对所述第一图像数据进行Remosaic处理，得到拜耳格式的数据。
步骤407-2，通过ISP第二模块对所述拜耳格式的数据进行去马赛克处理，得到RGB格式的数据；
步骤407-3，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。
以上步骤404、步骤405、步骤407-1至步骤407-3描述的是第一模式下的缩略图流的工作流程。通过上述步骤，有助于提高缩略图的图像质量。
以下结合图5描述第二模式的相关设计。图5是本申请实施例的拍照系统500的一个示意性框图。图5中的拍照系统500与图3中的拍照系统300包括的内容相同。此处不再赘述拍照系统500中包括的模块。第二模式与第一模式的区别至少在于以下方面：一方面，sensor的出图方式不同，具体即，在第二模式中，sensor采用合并模式出图；另一方面，在第二模式中，ISP第三模块或者后处理算法模块需要基于变焦倍率进行裁剪和上采样处理。
作为一种可能的实现方式，在以下两种情况：(1)变焦倍率大于第二倍率且小于第一倍率，且环境照度是高照度场景；(2)变焦倍率大于第二倍率，且环境照度是低照度场景，所述决策模块至少确定以下参数配置：所述摄像头的出图方式为合并模式，在预览通路中ISP第三模块的图像处理包括裁剪和上采样，以及，在拍照通路中后处理算法模块或ISP第三模块的图像处理包括裁剪和上采样。
需要说明的是，为了提升信噪比(或者保证暗光下较好的感光度)，第二模式中sensor采用合并模式出图，获得第四图像数据，所述第四图像数据采用第二图像格式。第二图像格式是bayer raw。在获得第四图像数据后，将所述第四图像数据送入预览通路，同时，将所述第四图像数据存储在第一缓存中。第一缓存的描述可以参考前面的描述，此处不作赘述。
比如，在变焦倍率大于1x的暗光下，为了提升信噪比，sensor采用合并模式出图，得到bayer raw。另外，还需要根据变焦倍率对图像进行裁剪，以便得到跟变焦倍率对应的视场图。最后，出图(预览出图或拍照出图)的尺寸大小应当与1x的尺寸大小一致，因此还需要对裁剪后的图像进行上采样处理。
同样，第二模式中也涉及预览流、拍照流以及缩略流的处理流程。以图5中的数据走向进行示例说明。
图5中预览流的数据走向与图3中预览流的数据走向相同。二者的区别至少在于，在图5中，ISP第一模块不需要对从sensor获得的图像数据进行处理，或者说图像数据经过ISP第一模块后会传送至ISP第二模块；并且，ISP第三模块用于对图像进行裁剪和上采样，以保证预览图像的分辨率保持不变。
图5中的拍照流的数据走向与图3中拍照流的数据走向相同。图5与图3中的第一图像处理模块包含的模块相同。类似地，图5中的第一图像处理模块中内部的数据流走向也可以有多种方式。二者的区别至少在于，在图5中，后处理算法模块或ISP第三模块中的处理包括裁剪和上采样处理，以保证拍照图像的分辨率保持不变。
如图5所示，在第二模式中，对于缩略流而言，数据流经过第一缓存、ISP第二模块和ISP第三模块。此处数据流不需要经过ISP第一模块的原因在于，从第一缓存中获得的图像数据的格式为第二图像格式，即bayer raw，因此无需ISP第一模块进行处理以得到bayerraw。另外，此处缩略流是离线处理，因此可以调用ISP第二模块和ISP第三模块处理图像。并且，ISP第三模块用于对图像进行裁剪和上采样，以保证缩略图像的分辨率保持不变。
本申请实施例为第二模式设计了后通路的处理流程，具体涉及预览流、拍照流、缩略图流。以下结合图6描述采用图5所示的拍照系统的500的拍照流程。
图6示出了第二模式的拍照方法的示意性流程图。如图6所示，第二模式的拍照方法包括以下步骤：
步骤601，对于采集的图像信号，通过合并模式处理，获得第四图像数据，所述第四图像数据采用第二图像格式。第二图像格式是bayer raw。
也就是说，sensor采用合并模式出图，输出bayer raw图像，比如第四图像数据。第四图像数据可以送入预览通路处理，也可存储于第一缓存中以便后续拍照通路调用。
步骤602，在获得所述第四图像数据后，将所述第四图像数据送入预览通路，同时，将所述第四图像数据存储在第一缓存中。
第一缓存的描述可以参考前文，此处不再赘述。
步骤603-1，通过ISP第二模块对所述第四图像数据进行去马赛克处理，得到RGB格式的数据；
步骤603-2，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出预览图像。
以上步骤603-1至步骤603-2描述的是第二模式下的预览流的工作流程。通过上述步骤，可以提高第二模式下预览图像的质量。
步骤604，接收用户的第二操作，所述第二操作用于触发拍照。
所述第二操作是拍照命令。第二操作的描述可以参考前文第一操作的描述，此处不再赘述。
步骤605，响应于所述第二操作，从第一缓存中获取第四图像数据。
步骤606-1，通过后处理算法模块或ISP第二模块对所述第四图像数据进行图像处理，得到第五图像数据。
比如，通过后处理算法模块或ISP第二模块对所述第四图像数据进行Bayer域的处理，得到RGB格式的数据。可以理解，后处理算法模块或ISP第二模块也可以执行其他图像处理，具体参考前文描述，此处不再赘述。
步骤606-2，通过后处理算法模块或ISP第三模块对所述第五图像数据进行裁剪和上采样处理，输出拍照图像。
可选地，后处理算法模块或ISP第三模块还可对所述第五图像数据进行RGB域或YUV域的处理等。
以上步骤604至步骤606-2描述的是第二模式下的拍照流的工作流程。通过上述步骤，可以提高第二模式下的拍照图像的质量。
步骤607-1，通过ISP第二模块对所述第四图像的数据进行去马赛克处理，得到RGB格式的数据；
步骤607-2，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出缩略图。
以上步骤607-1至步骤607-2描述的是第二模式下的缩略流的工作流程。通过上述步骤，可以提高第二模式下缩略图的质量。
以下结合图7描述第三模式的相关设计。图7是本申请实施例的拍照系统700的一个示意性框图。图7中的拍照系统700与图5中的拍照系统500包括的内容相同。此处不再赘述拍照系统700中包括的模块。第三模式与第二模式的区别至少在于以下方面：在第三模式中，ISP第三模块或者后处理算法模块不需要基于变焦倍率进行裁剪和上采样处理。
作为一种可能的实现方式，在变焦倍率等于第二倍率的全场景(包括高照度场景和低照度场景)下，所述决策模块至少确定以下参数配置：所述摄像头的出图方式为合并模式。
如图7所示，sensor采用合并模式出图，获得第六图像数据，所述第六图像数据采用第二图像格式(bayer raw)。在获得第六图像数据后，将所述第六图像数据送入预览通路，同时，将所述第六图像数据存储在第一缓存中。第一缓存的描述可以参考前面的描述，此处不作赘述。
举例来说，第二倍率为1x，在1x场景下无分辨率的损失，因此能够满足图像的分辨率要求，保证了出图的清晰度；另外，由于合并模式能够提升图像信噪比，提升低照度场景下的图像效果，因此在1x全场景下，可以采用合并模式出图，图像具有较好的信噪比。
同样，第三模式中也涉及预览流、拍照流以及缩略流的处理流程。以图7中的数据走向进行示例说明。
图7中预览流的数据走向与图5中预览流的数据走向相同。二者的区别至少在于，在图7中，ISP第三模块不需要对图像进行裁剪和上采样。
图7中的拍照流的数据走向与图5中拍照流的数据走向相同。图7与图5中的第一图像处理模块包含的模块相同。类似地，图5中的第一图像处理模块中内部的数据流走向也可以有多种方式。二者的区别至少在于，在图7中，后处理算法模块或ISP第三模块不需要对图像进行裁剪和上采样处理。
图7中的缩略流的数据走向与图5中的缩略流的走向相同。在图7中，数据流经过第一缓存、ISP第二模块和ISP第三模块。此处数据流不需要经过ISP第一模块的原因在于，从第一缓存中获得的图像数据的格式为第二图像格式，即bayer raw，因此无需ISP第一模块进行处理以得到bayer raw。另外，此处缩略流是离线处理，因此可以调用ISP第二模块和ISP第三模块处理图像。并且，ISP第三模块不需要对图像进行裁剪和上采样处理。
本申请实施例为第三模式设计了后通路的处理流程，具体涉及预览流、拍照流、缩略图流。以下结合图8描述采用图7所示的拍照系统700的拍照流程。
图8示出了第三模式的拍照方法示意性流程图。如图8所示，第三模式的拍照方法包括以下步骤：
步骤801，对于采集的图像信号，通过合并模式处理，获得第六图像数据，所述第六图像数据采用第二图像格式。第二图像格式是bayer raw。
步骤802，在获得所述第六图像数据后，将所述第六图像数据送入预览通路，同时，将所述第六图像数据存储在第一缓存中。
步骤803-1，通过ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；
步骤803-2，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。
以上步骤803-1至步骤803-2描述的是第三模式下的预览流的工作流程。通过上述步骤，可以提高第三模式下的预览图像的质量。
步骤804，接收用户的第三操作，所述第三操作用于触发拍照。
所述第三操作是拍照命令。所述第三操作的描述可以参考前文第一操作的描述，此处不再赘述。
步骤805，响应于所述第三操作，从第一缓存中获取第六图像数据。
步骤806-1，通过后处理算法模块或ISP第二模块对所述第六图像数据进行图像处理，得到第七图像数据。
比如，通过后处理算法模块或ISP第二模块对所述第六图像数据进行bayer域的处理，得到RGB格式的数据。可以理解，后处理算法模块或ISP第二模块也可以执行其他图像处理，具体参考前文描述，此处不再赘述。
步骤806-2，通过ISP第三模块对所述第七图像数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。
以上步骤804至步骤808-2描述的是第三模式下的拍照流的工作流程。通过上述步骤，可以提高第三模式下的拍照图像的质量。
步骤807-1，通过ISP第二模块对所述第六图像数据进行Demosaic处理，得到RGB格式的数据；
步骤807-2，通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。
以上步骤807-1至步骤807-2描述的是第三模式下的缩略流的工作流程。通过上述步骤，可以提高第三模式下的缩略图的质量。
在上述三种模式下，sensor出图方式可能是合并模式，也可能是非合并+裁剪模式。sensor出图方式之间的转换无需停起流；并且，输入到ISP模块中的图像的尺寸和比特位宽始终保持不变，这样使得ISP硬件也无需停起流，从而实现三种模式的无缝切换。停起流是指ISP硬件停止数据流后再重新启动数据流的处理。停起流体现在界面上可能使得屏幕出现黑屏或白屏、或者画面卡顿的现象，对用户体验不好，因此需要避免停起流的现象。
可以理解，上述图3、图5和图7中所示出的拍照系统仅是示例性描述，本申请实施例并不限于此。
还可以理解，上述图4、图6和图8中所示的拍照方法的流程也仅是示例性描述，并不对本申请实施例的保护范围构成限定。
以下结合图9和图10描述本申请实施例应用的软件系统和硬件架构。
图9是本申请实施例应用的架构(包括软件系统和部分硬件)的一个示意图。如图9所示，应用架构分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，应用架构可以分为五层，从上至下分别为应用层、应用框架层、硬件抽象层HAL、驱动层(driver)以及硬件层。
如图9所示，应用层包括相机和图库。可以理解，图9中示出的是部分应用程序，事实上应用层还可以包括其他应用程序，本申请对此不作限定。比如应用层还包括信息、闹钟、天气、秒表、指南针、计时器、手电筒、日历、支付宝等应用程序。
如图9所示，应用框架层包括相机访问接口。相机访问接口中包括相机管理和相机设备。硬件抽象层包括相机硬件抽象层和相机算法库。其中，相机硬件抽象层中包括多个相机设备。相机算法库中包括后处理算法模块和决策模块。
应理解，决策模块也可以放在其他层。作为一种可能的实现方式，决策模块可以放在应用层或应用框架层。
驱动层用于驱动硬件资源。驱动层中可以包括多个驱动模块。如图9所示，驱动层包括相机设备驱动、数字信号处理器驱动和图形处理器驱动等。
硬件层包括传感器、图像信号处理器、数字信号处理器和图形处理器。其中，床干起中包括多个传感器、TOF摄像头以及多光谱传感器。图像信号处理器中包括ISP第一模块、ISP第二模块和ISP第三模块。
举例来说，用户可以点击相机应用程序。在用户点击相机进行拍照时，拍照指令可以通过相机访问接口下发到相机硬件抽象层。相机硬件抽象层调用相机设备驱动，并调用相机算法库。相机算法库中的决策模块根据变焦倍率和环境光确定拍照模式(比如第一模式、第二模式或第三模式)，并将配置好的参数(包括sensor出图方式、各个ISP模块的参数配置、后处理算法模块的参数配置)发送给相机硬件抽象层。相机硬件抽象层将决策模块配置的参数下发到相机设备驱动。相机设备驱动基于相机硬件抽象层下发的配置参数发送到硬件层，比如，将sensor出图方式发送给传感器，将各个ISP模块的参数配置发送给图像信号处理器。传感器基于sensor出图方式进行出图。图像信号处理器基于各个ISP模块的参数配置进行相应的处理。相机算法库还用于向驱动层中的数字信号处理器驱动下发数字信号，以便数字信号处理器驱动调用硬件层中的数字信号处理器进行数字信号处理。数字信号处理器可以将处理好的数字信号通过数字信号处理器驱动返回到相机算法库。相机算法库还用于向驱动层中的图形信号处理器驱动下发数字信号，以便图形信号处理器驱动调用硬件层中的图形处理器进行数字信号处理。图形处理器可以将处理好的图形数据通过图形处理器驱动返回到相机算法库。
另外，图像信号处理器输出的图像可以发送给相机设备驱动。相机设备驱动可以将图像信号处理器输出的图像发送给相机硬件抽象层。相机硬件抽象层可以将图像送入后处理算法模块作进一步处理，也可以将图像送入相机访问接口。相机访问接口可以将相机硬件抽象层返回的图像发送至相机。
上文详细描述了本申请实施例应用的软件系统。下面结合图10描述电子设备1000的硬件系统。
图10示出了一种适用于本申请的电子设备1000的结构示意图。
电子设备1000可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
需要说明的是，图10所示的结构并不构成对电子设备1000的具体限定。在本申请另一些实施例中，电子设备1000可以包括比图10所示的部件更多或更少的部件，或者，电子设备1000可以包括图10所示的部件中某些部件的组合，或者，电子设备1000可以包括图10所示的部件中某些部件的子部件。比如，图10所示的接近光传感器180G可以是可选的。图10示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。例如，处理器110可以包括以下接口中的至少一个：内部集成电路(inter-integrated circuit，I2C)接口、内部集成电路音频(inter-integrated circuit sound，I2S)接口、脉冲编码调制(pulse codemodulation，PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purpose input/output，GPIO)接口、SIM接口、USB接口。
图10所示的各模块间的连接关系只是示意性说明，并不构成对电子设备1000的各模块间的连接关系的限定。可选地，电子设备1000的各模块也可以采用上述实施例中多种连接方式的组合。
充电管理模块140用于从充电器接收电力。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的电流。在一些无线充电的实施例中，充电管理模块140可以通过电子设备1000的无线充电线圈接收电磁波(电流路径如虚线所示)。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备1000供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数和电池健康状态(例如，漏电、阻抗)等参数。可选地，电源管理模块141可以设置于处理器110中，或者，电源管理模块141和充电管理模块140可以设置于同一个器件中。
电子设备1000的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
电子设备1000可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、迷你发光二极管(mini light-emitting diode，Mini LED)、微型发光二极管(micro light-emitting diode，Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes，QLED)。在一些实施例中，电子设备1000可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备1000可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备1000可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备1000在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备1000可以支持一种或多种视频编解码器。这样，电子设备1000可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。
NPU是一种借鉴生物神经网络结构的处理器，例如借鉴人脑神经元之间传递模式对输入信息快速处理，还可以不断地自学习。通过NPU可以实现电子设备1000的智能认知等功能，例如：图像识别、人脸识别、语音识别和文本理解。
电子设备1000可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能，例如，音乐播放和录音。
距离传感器180F用于测量距离。电子设备1000可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备1000可以利用距离传感器180F测距以实现快速对焦。
环境光传感器180L用于感知环境光亮度。电子设备1000可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备1000是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备1000可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备1000的表面，并且与显示屏194设置于不同的位置。
按键190包括开机键和音量键。按键190可以是机械按键，也可以是触摸式按键。电子设备1000可以接收按键输入信号，实现于案件输入信号相关的功能。
马达191可以产生振动。马达191可以用于来电提示，也可以用于触摸反馈。马达191可以对作用于不同应用程序的触摸操作产生不同的振动反馈效果。对于作用于显示屏194的不同区域的触摸操作，马达191也可产生不同的振动反馈效果。不同的应用场景(例如，时间提醒、接收信息、闹钟和游戏)可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
在一些实施例中，处理器110可以基于启动摄像头；获取当前拍照环境下的变焦倍率以及环境照度值；根据所述变焦倍率以及环境照度值确定相应的拍照流程。
在一种可能的实现方式中，在所述变焦倍率大于或等于第一倍率，且，所述环境照度值大于或等于第一亮度阈值时，处理器110控制摄像头采用第一模式进行拍照；在所述第一模式中，所述摄像头用于对采集的图像信号采用非合并模式以及裁剪方式进行处理，输出第一图像数据，所述第一图像数据采用第一图像格式。
可以理解，本申请实施例的图像处理方法可以应用于图10中所示的电子设备中，具体的实现步骤可以参考前文方法实施例的介绍，此处不再赘述。
由上可知，在高变焦倍率和高照度场景下采用第一模式进行拍照，采用非合并模式和裁剪方式进行出图，得到图像数据的格式为quadra raw，并利用quadra raw进行后通路图像处理，有助于提升图像清晰度。
本申请还提供了一种计算机程序产品，该计算机程序产品被处理器执行时实现本申请中任一方法实施例所述的方法。
该计算机程序产品可以存储在存储器中，经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。
该计算机可读存储介质可以是易失性存储器或非易失性存储器，或者，可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。
本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
启动摄像头；
获取当前拍照环境下的变焦倍率以及环境照度；
在所述变焦倍率大于或等于第一倍率，且，所述环境照度大于或等于第一亮度阈值时，采用第一模式进行拍照；
在所述第一模式中，所述摄像头用于对采集的图像信号采用非合并模式以及裁剪方式进行处理，输出第一图像数据，所述第一图像数据采用第一图像格式。
2.根据权利要求1所述的方法，其特征在于，所述第一图像数据存储于第一缓存中；
所述方法还包括：
接收用户的第一操作，所述第一操作用于触发拍照；
响应于所述第一操作，从所述第一缓存中获取所述第一图像数据；
通过后处理算法模块或图像信号处理器ISP第一模块对所述第一图像数据进行拜耳图像再生成处理，得到第二图像数据，所述第二图像数据采用第二图像格式；
通过ISP第二模块对所述第二图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在缩略图流中，通过ISP第一模块对所述第一图像数据进行拜耳图像再生成处理，得到拜耳格式的数据；
通过ISP第二模块对所述拜耳格式的数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
在所述第一模式的预览通路中，通过ISP第一模块对所述第一图像数据进行再次马赛克处理，得到第三图像数据；
通过ISP第二模块对所述第三图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述变焦倍率大于第二倍率，且所述环境照度小于所述第一亮度阈值时，采用第二模式进行拍照，所述第二倍率小于所述第一倍率；
或者，
在所述变焦倍率大于第二倍率且小于所述第一倍率，且所述环境照度大于或等于第一亮度阈值时，采用第二模式进行拍照；
在所述第二模式中，所述摄像头用于对采集的图像信号采用合并模式出图，输出第四图像数据，所述第四图像数据采用第二图像格式。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在所述第二模式的预览通路中，通过图像信号处理器ISP第二模块对所述第四图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述第四图像数据对RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出预览图像。
7.根据权利要求5所述的方法，其特征在于，所述第四图像数据存储于第一缓存中，所述方法还包括：
接收用户的第二操作，所述第二操作用于触发拍照；
响应于所述第二操作，所述第一缓存中获取所述第四图像数据；
通过后处理算法模块或ISP第二模块对所述第四图像数据进行图像处理，得到第五图像数据；
通过后处理算法模块或ISP第三模块对所述第五图像数据进行裁剪和上采样处理，输出拍照图像。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
在缩略图流中，通过ISP第二模块对所述第四图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，并对所述YUV格式的数据进行裁剪和上采样处理，输出缩略图。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述变焦倍率等于第二倍率，且所述环境照度大于或等于第一亮度阈值时，采用第三模式进行拍照，所述第二倍率小于所述第一倍率；
或者，在所述变焦倍率等于所述第二倍率，且所述环境照度小于第一亮度阈值时，采用第三模式进行拍照；
在所述第三模式中，所述摄像头用于对采集的图像信号采用合并模式出图，输出第六图像数据，所述第六图像数据采用第二图像格式。
10.根据权利要求9所述的方法，其特征在于，所述第六图像数据存储于第一缓存中，所述方法还包括：
接收用户的第三操作，所述第三操作用于触发拍照；
响应于所述第三操作，从所述第一缓存中获取所述第六图像数据；
通过后处理算法模块或ISP第二模块对所述第六图像数据进行图像处理，得到第七图像数据；
通过ISP第三模块对所述第七图像数据进行RGB处理或YUV处理，得到YUV格式的数据，输出拍照图像。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
在缩略图流中，通过ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出缩略图。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
在所述第三模式的预览通路中，通过ISP第二模块对所述第六图像数据进行去马赛克处理，得到RGB格式的数据；
通过ISP第三模块对所述RGB格式的数据进行RGB处理或YUV处理，得到YUV格式的数据，输出预览图像。
13.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器耦合，所述存储器用于存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行权利要求1至12中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至12中任一项所述的方法。
15.一种芯片，其特征在于，包括处理器，当所述处理器执行指令时，所述处理器执行如权利要求1至12中任一项所述的方法。
16.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被运行时，使得计算机执行如权利要求1至12中任一项所述的方法。
CN202210178183.0A 2022-02-24 2022-02-24 一种图像处理方法和电子设备 Active CN116709042B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202210178183.0A CN116709042B (zh) 2022-02-24 2022-02-24 一种图像处理方法和电子设备
CN202410789948.3A CN118540599A (zh) 2022-02-24 2022-02-24 一种图像处理方法和电子设备
EP22928461.7A EP4344241A4 (en) 2022-02-24 2022-12-28 IMAGE PROCESSING METHOD AND ELECTRONIC DEVICE
US18/577,602 US20240251180A1 (en) 2022-02-24 2022-12-28 Image processing method and electronic device
PCT/CN2022/142766 WO2023160221A1 (zh) 2022-02-24 2022-12-28 一种图像处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210178183.0A CN116709042B (zh) 2022-02-24 2022-02-24 一种图像处理方法和电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410789948.3A Division CN118540599A (zh) 2022-02-24 2022-02-24 一种图像处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN116709042A true CN116709042A (zh) 2023-09-05
CN116709042B CN116709042B (zh) 2024-07-09

Family

ID=87764663

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210178183.0A Active CN116709042B (zh) 2022-02-24 2022-02-24 一种图像处理方法和电子设备
CN202410789948.3A Pending CN118540599A (zh) 2022-02-24 2022-02-24 一种图像处理方法和电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410789948.3A Pending CN118540599A (zh) 2022-02-24 2022-02-24 一种图像处理方法和电子设备

Country Status (4)

Country Link
US (1) US20240251180A1 (zh)
EP (1) EP4344241A4 (zh)
CN (2) CN116709042B (zh)
WO (1) WO2023160221A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118175441A (zh) * 2024-04-24 2024-06-11 荣耀终端有限公司 图像传感器、图像处理方法、电子设备、存储介质及产品

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557520A (zh) * 2008-04-07 2009-10-14 安奇逻辑股份有限公司 动态图像处理装置、动态图像处理方法及动态图像处理程序
US20110261217A1 (en) * 2010-04-21 2011-10-27 Nokia Corporation Image processing architecture with pre-scaler
US20120213407A1 (en) * 2011-02-23 2012-08-23 Canon Kabushiki Kaisha Image capture and post-capture processing
CN103369239A (zh) * 2012-03-28 2013-10-23 三星电子株式会社 摄像机设备的图像处理装置和方法
CN106791378A (zh) * 2016-11-29 2017-05-31 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN111279680A (zh) * 2017-08-31 2020-06-12 深圳传音通讯有限公司 一种方形裁剪拍照方法、拍照系统及拍照装置
CN112367459A (zh) * 2020-10-23 2021-02-12 深圳市锐尔觅移动通信有限公司 图像处理方法、电子装置及非易失性计算机可读存储介质
US20210067749A1 (en) * 2019-08-26 2021-03-04 Samsung Electronics Co., Ltd. System and method for content enhancement using quad color filter array sensors
CN112866576A (zh) * 2021-01-18 2021-05-28 Oppo广东移动通信有限公司 图像预览方法、存储介质及显示设备
CN113727016A (zh) * 2021-06-15 2021-11-30 荣耀终端有限公司 一种拍摄方法及电子设备
CN113747028A (zh) * 2021-06-15 2021-12-03 荣耀终端有限公司 一种拍摄方法及电子设备
CN114007011A (zh) * 2021-10-26 2022-02-01 希姆通信息技术（上海）有限公司 基于相机的输出模式切换方法及其系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988461B2 (ja) * 2001-12-28 2007-10-10 株式会社ニコン 電子カメラ
WO2020139493A1 (en) * 2018-12-28 2020-07-02 Qualcomm Incorporated Systems and methods for converting non-bayer pattern color filter array image data
KR102530752B1 (ko) * 2018-08-29 2023-05-10 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법
US11108973B2 (en) * 2018-10-05 2021-08-31 Essential Products, Inc. Varying a zoom level of an image recorded with a lens having a fixed zoom level
KR102629343B1 (ko) * 2018-12-21 2024-01-26 삼성전자주식회사 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치
US11218641B2 (en) * 2019-09-09 2022-01-04 Qualcomm Incorporated Image capture mode adaptation

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557520A (zh) * 2008-04-07 2009-10-14 安奇逻辑股份有限公司 动态图像处理装置、动态图像处理方法及动态图像处理程序
US20110261217A1 (en) * 2010-04-21 2011-10-27 Nokia Corporation Image processing architecture with pre-scaler
US20120213407A1 (en) * 2011-02-23 2012-08-23 Canon Kabushiki Kaisha Image capture and post-capture processing
CN103369239A (zh) * 2012-03-28 2013-10-23 三星电子株式会社 摄像机设备的图像处理装置和方法
CN106791378A (zh) * 2016-11-29 2017-05-31 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN111279680A (zh) * 2017-08-31 2020-06-12 深圳传音通讯有限公司 一种方形裁剪拍照方法、拍照系统及拍照装置
US20210067749A1 (en) * 2019-08-26 2021-03-04 Samsung Electronics Co., Ltd. System and method for content enhancement using quad color filter array sensors
CN112367459A (zh) * 2020-10-23 2021-02-12 深圳市锐尔觅移动通信有限公司 图像处理方法、电子装置及非易失性计算机可读存储介质
CN112866576A (zh) * 2021-01-18 2021-05-28 Oppo广东移动通信有限公司 图像预览方法、存储介质及显示设备
CN113727016A (zh) * 2021-06-15 2021-11-30 荣耀终端有限公司 一种拍摄方法及电子设备
CN113747028A (zh) * 2021-06-15 2021-12-03 荣耀终端有限公司 一种拍摄方法及电子设备
CN114007011A (zh) * 2021-10-26 2022-02-01 希姆通信息技术（上海）有限公司 基于相机的输出模式切换方法及其系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118175441A (zh) * 2024-04-24 2024-06-11 荣耀终端有限公司 图像传感器、图像处理方法、电子设备、存储介质及产品

Also Published As

Publication number Publication date
CN116709042B (zh) 2024-07-09
EP4344241A4 (en) 2024-10-23
US20240251180A1 (en) 2024-07-25
CN118540599A (zh) 2024-08-23
WO2023160221A1 (zh) 2023-08-31
EP4344241A1 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
WO2023015981A1 (zh) 图像处理方法及其相关设备
WO2023015991A1 (zh) 拍照方法、电子设备和计算机可读存储介质
CN116744120B (zh) 图像处理方法和电子设备
CN116055890B (zh) 生成高动态范围视频的方法和电子设备
CN115633262B (zh) 图像处理方法和电子设备
CN114463191B (zh) 一种图像处理方法及电子设备
CN116055897B (zh) 拍照方法及其相关设备
CN114390212B (zh) 拍照预览方法、电子设备以及存储介质
CN115272138A (zh) 图像处理方法及其相关设备
CN116709042B (zh) 一种图像处理方法和电子设备
WO2024174625A1 (zh) 图像处理方法和电子设备
CN115767290B (zh) 图像处理方法和电子设备
CN116668862B (zh) 图像处理方法与电子设备
CN117135471A (zh) 一种图像处理方法和电子设备
CN113891008B (zh) 一种曝光强度调节方法及相关设备
CN115460343A (zh) 图像处理方法、设备及存储介质
CN117651221A (zh) 视频处理的方法及电子设备
CN116723417B (zh) 一种图像处理方法和电子设备
WO2024179058A1 (zh) 图像处理方法和电子设备
CN115767287B (zh) 图像处理方法与电子设备
CN116668838B (zh) 图像处理方法与电子设备
CN116055855B (zh) 图像处理方法及其相关设备
CN116051368B (zh) 图像处理方法及其相关设备
CN118175246A (zh) 处理视频的方法、显示设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant