CN112532892A - 图像处理方法及电子装置 - Google Patents

图像处理方法及电子装置 Download PDF

Info

Publication number
CN112532892A
CN112532892A CN201910887457.1A CN201910887457A CN112532892A CN 112532892 A CN112532892 A CN 112532892A CN 201910887457 A CN201910887457 A CN 201910887457A CN 112532892 A CN112532892 A CN 112532892A
Authority
CN
China
Prior art keywords
video image
shooting
neural network
brightness
shooting environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910887457.1A
Other languages
English (en)
Other versions
CN112532892B (zh
Inventor
周蔚
周承涛
黄一宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910887457.1A priority Critical patent/CN112532892B/zh
Priority to PCT/CN2020/110734 priority patent/WO2021052111A1/zh
Publication of CN112532892A publication Critical patent/CN112532892A/zh
Priority to US17/698,161 priority patent/US20220210308A1/en
Application granted granted Critical
Publication of CN112532892B publication Critical patent/CN112532892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/60—
    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请实施例公开了一种图像处理方法及电子装置，用于根据拍摄环境亮度，处理视频图像。该图像处理方法包括：拍摄视频时，检测视频图像的拍摄环境亮度；在拍摄环境亮度低于预设阈值时，采用神经网络来处理视频图像；在拍摄环境亮度高于或等于预设阈值时，采用预设去噪方法来处理视频图像，该预设去噪方法不包括神经网络架构。人工智能(artificial intelligence，AI)领域的神经网络需要大量的计算单元，会带来一定功耗，采用上述图像处理方法可以在保障终端功耗的同时，提升视频图像处理的效果。

Description

图像处理方法及电子装置
技术领域
本申请实施例涉及计算机领域，尤其涉及图像处理方法及电子装置。
背景技术
随着短视频的火爆传播，消费者对视频拍摄的需求爆发式增长，不管是在何时何地都希望可以拍到清楚、高质量的视频，但通过手机拍摄视频往往受限于环境光源亮度。在低照度(illuminance)拍摄场景下，比如环境的亮度低于30勒克斯(lux)，若没有其他辅助设备，由于环境光线太暗，摄像头的进光亮小，则拍摄出的影像黑暗。尤其，在环境的亮度低于0.1lux时，拍摄出的影像质量极其糟糕，会出现噪声大、细节无法辨认等问题。
为解决这个问题，有些厂商为手机的后置指摄像头增加闪光灯，以改善暗光环境下的拍摄效果。但是拍摄时，闪光灯可提升亮度的距离有限(最远可覆盖2米左右)，对于远处的物体无法提升亮度。另外，有些厂商通过采用大光圈、大像素的摄像模组来提升图像亮度，但这种摄像模组一方面价格昂贵，另一方面厚度较大，用户体验不理想。
发明内容
本申请实施例提供图像处理方法及电子装置，用于提升视频拍摄时的亮度，改善低环境拍摄亮度下拍摄得到的视频质量不佳的问题。
为了达到上述目的，本申请提供了如下技术方案：
第一方面，提供一种图像处理方法，该方法可以由终端执行，也可以由终端内的芯片执行，该芯片可以是处理器,例如系统芯片或图像信号处理器(Image SignalProcessor，ISP)。
该方法包括：
拍摄视频时，检测拍摄环境亮度；在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄得到的第一视频图像进行处理，得到第一目标视频图像；其中，第一神经网络用于降低第一视频图像的噪声。
应理解，第一神经网络包括但不限于卷积神经网络。神经网络(如卷积神经网络)可以利用深度学习来提升视频图像处理的效果，尤其是针对于具有高频噪声的视频图像，通过本申请提供的图像处理方法，可以优化得到更清楚的视频图像细节信息。
结合第一方面所提供的技术方案，一种可能的实施方式中，该方法还包括：在拍摄环境亮度高于或等于预设阈值时，采用第一预设去噪算法对拍摄环境亮度下拍摄的第二视频图像进行去噪处理，得到第二目标视频图像；其中，第一预设去噪算法不包括神经网络。
应理解，神经网络虽然可以通过深度学习来提升视频图像处理的效果，但需要大量的计算单元，会带来一定额外的功耗。采用本申请提供的视频图像处理方法，根据拍摄环境亮度，选择相应的方法来处理视频图像，可以在提升视频图像处理效果的同时，降低终端功耗。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，第一视频图像对应的拍摄帧率小于第二视频图像对应的拍摄帧率。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，一种可能的实施方式中，第一视频图像对应的拍摄帧率的取值范围包括[24,30]帧每秒(frame per second，fps)。
应理解，随着拍摄环境亮度的降低，人眼对于视频图像的拍摄帧率和显示帧率感知度会降低，但由于人眼所能感受到连贯画面的最低显示帧率为24fps，通过将第一视频图像对应的拍摄帧率限缩在人眼可感知的合适的范围，可以在降低终端功耗。
可以理解的是，在具体实施过程中，可选的，第一视频图像对应的拍摄帧率的取值范围可以比[24,30]fps更大，例如[24,40]fps，以提升用户视觉体验。
可选的，第一视频图像对应的拍摄帧率的取值范围可以为[24,30]fps，以提升用户视觉体验。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，第二视频图像对应的拍摄帧率的取值范围包括[30,60]fps。
应理解，拍摄帧率与曝光时间相关，在拍摄环境亮度高于或等于预设阈值时，拍摄帧率的提高可以提升用户视觉体验。
可以理解的是，在具体实施过程中，可选的，第一视频图像对应的拍摄帧率的取值范围可以比[30,60]fps更大，例如[20,70]fps。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，在检测拍摄环境亮度之前，该方法还包括：进入第一拍摄模式，所述第一拍摄模式用于指示终端检测拍摄环境亮度。
可选的，进入第一拍摄模式，具体包括：检测到用户指示进入第一拍摄模式的第一操作，进入第一拍摄模式。这里，第一操作可以是手势操作(例如，在拍摄界面上左划或上划)，或者，第一操作可以是用户输入用于指示进入第一拍摄模式的语音指令(例如，用户输入“开启夜摄模式”或“开启夜景拍摄模式”)，或者，第一操作可以是点击操作(例如，用户双击用于指示开启第一拍摄模式的控件)，或者，第一操作可以是指关节操作(例如，用户通过指关节划“Z”形图像)，或者，第一操作可以是用户设置拍摄参数满足开启第一拍摄模式的范围(例如，用户设置感光度ISO值为128000)。第一操作可以在终端出厂前预先设置，也可以在后期系统升级时设置。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，至少采用第一神经网络对拍摄环境亮度下拍摄得到的视频图像进行处理，具体包括：
采用第一神经网络和第二神经网络对拍摄环境亮度下拍摄得到的视频图像进行处理；其中，第二神经网络用于优化第一视频图像的动态范围。
可选的，第二神经网络用于优化第一视频图像的动态范围，可以包括：第二神经网络用于均匀第一视频图像的直方图。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像的拍摄环境亮度低于预设阈值，采用第一神经网络，和/或，第二神经网络处理第i帧视频图像，其中，i大于1。
应理解，通过本申请提供的图像处理方法，只针对拍摄得到的视频图像中拍摄环境亮度低于预设阈值的视频图像帧来进行神经网络的处理，可以进一步有效降低终端功耗。
另一种可能的实施方式中，在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像至第j帧视频图像的平均拍摄环境亮度低于预设阈值，采用第一神经网络，和/或，第二神经网络处理第i帧视频图像至第j帧视频图像，其中，1≤i≤j≤N。
应理解，基于连续多帧的视频图像的平均拍摄环境亮度或连续间隔多帧的视频图像的平均拍摄环境亮度，降低了视频图像的采样难度，更易于实施。
又一种可能的实施方式中，在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像低于预设阈值，采用第一神经网络，和/或，第二神经网络处理第k帧视频图像至第j帧视频图像，其中，1≤k≤i≤j≤N。
应理解，由于拍摄环境亮度可能是逐渐变化的，基于第一次检测到拍摄得到的视频图像中拍摄环境亮度低于预设阈值的视频图像帧，对于该视频图像帧向后的连续几帧进行神经网络的处理，可以提升视频图像处理的效果，保障视频图像的连续性，同时，降低实施难度。
再一种可能的实施方式中，在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像低于预设阈值，采用第一神经网络，和/或，第二神经网络处理第i帧视频图像至第N帧视频图像，其中，1≤i≤N，N为所拍摄得到的视频图像全部帧数。
另外，上述可能的实施方式中，i、k、j应小于或等于所拍摄得到的视频图像全部帧数N。
应理解，基于第一次检测到拍摄得到的视频图像中拍摄环境亮度低于预设阈值的视频图像帧，对于该视频图像自该视频图像帧之后均采用神经网络来处理，可以提升视频图像处理的效果，保障视频图像的连续性，但功耗较大。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，检测视频图像的拍摄环境亮度，具体包括：
根据拍摄视频的拍摄参数，或拍摄视频的终端的环境光传感器的传感信息，或所述视频图像的图像平均亮度，确定所述视频图像的拍摄环境亮度；
其中，所述拍摄参数包括感光度、曝光时间、光圈大小中的一个或多个。
应理解，传感信息在具体实施过程中，可选的，可以是环境光传感器测量得到的拍摄环境亮度测量结果，例如：0.1lux；可选的，可以是通过计算处理后的拍摄环境亮度测量结果，例如，环境光传感器测量得到的拍摄环境亮度的量化信息，或者，根据环境光传感器测量得到的拍摄环境亮度以及预定义映射关系得到的亮度层级信息；可选的，可以是指示信号，例如，环境光传感器测量得到的拍摄环境亮度与阈值比较的结果，其中，指示信号可以是高电平或低电平，0或1指示位。比如，通过高电平来指示当前测量得到的拍摄环境亮度低于阈值，低电平指示当前测量得到的拍摄环境亮度高于阈值。
还应理解的是，处理器可以通过接口电路来获取拍摄视频图像的终端的环境光传感器的传感信息，并确定该终端的拍摄环境亮度。具体地，可以由与环境光传感器相连的接口电路通过环境光传感器来获取，也可以由与存储环境光传感器的测量结果的存储器相连的接口电路来通过存储器来获取。
感光度可以是ISO值。具体地，拍摄参数由用户设置，或者，由终端基于摄像头所获得的视频图像信息设置，或者，由终端基于环境光传感器测量得到的传感信息设置。拍摄环境亮度与感光度(或曝光时间)成反比，即感光度越高，视频图像的拍摄环境亮度越低。
应理解的是，在本申请中，第一神经网络和第二神经网络可以是卷积神经网络。可选的，在具体实施过程中，可以通过加速器来加速卷积神经网络的处理，以实现实时处理。其中，加速器可以是神经网络处理器(neural-network processing unit，NPU)。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，预设阈值小于或等于5勒克斯。例如，预设阈值为0.2勒克斯，或者，预设阈值为1勒克斯。
结合第一方面或第一方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，该方法还包括：
显示当前拍摄环境亮度下拍摄到的视频图像；
或者，显示所述第一目标视频图像；
或者，显示所述第二目标视频图像。
应理解的是，在具体实施过程中，为了节省功耗，可以在拍摄界面预览显示经过神经网络处理前的视频图像(例如，摄像头拍摄得到的视频图像，或者，通过预设去噪算法处理后得到的视频图像)，而将采用神经网络处理后的视频图像存储下来，以供用户播放。也可以通过利用神经网络处理拍摄得到的视频图像，并在拍摄界面预览显示经过神经网络处理后的视频图像，以提升用户视觉体验。
第二方面，提供一种图像处理方法，该方法可以由终端执行，也可以由终端内的芯片执行，该芯片可以是处理器,例如系统芯片或图像信号处理器(Image SignalProcessor，ISP)。
该方法包括：
拍摄视频时，检测拍摄环境亮度；在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄得到的第一视频图像进行处理，得到第一目标视频图像；其中，第一神经网络用于优化所述第一视频图像的动态范围。
结合第二方面所提供的技术方案，一种可能的实施方式中，第一神经网络用于优化第一视频图像的动态范围，可以包括：第二神经网络用于均匀第一视频图像的直方图。
结合第二方面所提供的技术方案，一种可能的实施方式中，该方法还包括：在拍摄环境亮度高于或等于预设阈值时，采用第一预设去噪算法对拍摄环境亮度下拍摄的第二视频图像进行去噪处理，得到第二目标视频图像；其中，第一预设去噪算法不包括神经网络。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，第一视频图像对应的拍摄帧率小于第二视频图像对应的拍摄帧率。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，一种可能的实施方式中，第一视频图像对应的拍摄帧率的取值范围包括[24,30]帧每秒(frame per second，fps)。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，第二视频图像对应的拍摄帧率的取值范围包括[30,60]fps。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，在检测拍摄环境亮度之前，该方法还包括：进入第一拍摄模式，所述第一拍摄模式用于指示终端检测拍摄环境亮度。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，至少采用第一神经网络对拍摄环境亮度下拍摄得到的视频图像进行处理，具体包括：
采用第一神经网络和第二神经网络对拍摄环境亮度下拍摄得到的视频图像进行处理；其中，第二神经网络用于降低第一视频图像的噪声。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像的拍摄环境亮度低于预设阈值，采用第一神经网络处理第i帧视频图像，其中，i大于1。
应理解，通过本申请提供的图像处理方法，只针对拍摄得到的视频图像中拍摄环境亮度低于预设阈值的视频图像帧来进行神经网络的处理，可以进一步有效降低终端功耗。
另一种可能的实施方式中，在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像至第j帧视频图像的平均拍摄环境亮度低于预设阈值，采用第一神经网络处理第i帧视频图像至第j帧视频图像，其中，1≤i≤j≤N。
应理解，基于连续多帧的视频图像的平均拍摄环境亮度或连续间隔多帧的视频图像的平均拍摄环境亮度，降低了视频图像的采样难度，更易于实施。
又一种可能的实施方式中，在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像低于预设阈值，采用第一神经网络处理第k帧视频图像至第j帧视频图像，其中，1≤k≤i≤j≤N。
应理解，由于拍摄环境亮度可能是逐渐变化的，基于第一次检测到拍摄得到的视频图像中拍摄环境亮度低于预设阈值的视频图像帧，对于该视频图像帧向后的连续几帧进行神经网络的处理，可以提升视频图像处理的效果，保障视频图像的连续性，同时，降低实施难度。
再一种可能的实施方式中，在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像低于预设阈值，采用第一神经网络处理第i帧视频图像至第N帧视频图像，其中，1≤i≤N，N为所拍摄得到的视频图像全部帧数。
另外，上述可能的实施方式中，i、k、j应小于或等于所拍摄得到的视频图像全部帧数N。
应理解，基于第一次检测到拍摄得到的视频图像中拍摄环境亮度低于预设阈值的视频图像帧，对于该视频图像自该视频图像帧之后均采用神经网络来处理，可以提升视频图像处理的效果，保障视频图像的连续性，但功耗较大。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，检测视频图像的拍摄环境亮度，具体包括：
根据拍摄视频的拍摄参数，或拍摄视频的终端的环境光传感器的传感信息，或所述视频图像的图像平均亮度，确定所述视频图像的拍摄环境亮度；
其中，所述拍摄参数包括感光度、曝光时间、光圈大小中的一个或多个。
应理解，传感信息在具体实施过程中，可选的，可以是环境光传感器测量得到的拍摄环境亮度测量结果，例如：0.1lux；可选的，可以是通过计算处理后的拍摄环境亮度测量结果，例如，环境光传感器测量得到的拍摄环境亮度的量化信息，或者，根据环境光传感器测量得到的拍摄环境亮度以及预定义映射关系得到的亮度层级信息；可选的，可以是指示信号，例如，环境光传感器测量得到的拍摄环境亮度与阈值比较的结果，其中，指示信号可以是高电平或低电平，0或1指示位。比如，通过高电平来指示当前测量得到的拍摄环境亮度低于阈值，低电平指示当前测量得到的拍摄环境亮度高于阈值。
还应理解的是，处理器可以通过接口电路来获取拍摄视频图像的终端的环境光传感器的传感信息，并确定该终端的拍摄环境亮度。具体地，可以由与环境光传感器相连的接口电路通过环境光传感器来获取，也可以由与存储环境光传感器的测量结果的存储器相连的接口电路来通过存储器来获取。
感光度可以是ISO值。具体地，拍摄参数由用户设置，或者，由终端基于摄像头所获得的视频图像信息设置，或者，由终端基于环境光传感器测量得到的传感信息设置。拍摄环境亮度与感光度(或曝光时间)成反比，即感光度越高，视频图像的拍摄环境亮度越低。
应理解的是，在本申请中，第一神经网络和第二神经网络可以是卷积神经网络。可选的，在具体实施过程中，可以通过加速器来加速卷积神经网络的处理，以实现实时处理。其中，加速器可以是神经网络处理器(neural-network processing unit，NPU)。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，预设阈值小于或等于5勒克斯。例如，预设阈值为0.2勒克斯，或者，预设阈值为1勒克斯。
结合第二方面或第二方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，该方法还包括：
显示当前拍摄环境亮度下拍摄到的视频图像；
或者，显示所述第一目标视频图像；
或者，显示所述第二目标视频图像。
应理解的是，在具体实施过程中，为了节省功耗，可以在拍摄界面预览显示经过神经网络处理前的视频图像(例如，摄像头拍摄得到的视频图像，或者，通过预设去噪算法处理后得到的视频图像)，而将采用神经网络处理后的视频图像存储下来，以供用户播放。也可以通过利用神经网络处理拍摄得到的视频图像，并在拍摄界面预览显示经过神经网络处理后的视频图像，以提升用户视觉体验。
第三方面，提供一种图像处理装置，该图像处理装置可以用于执行如第一方面或第二方面或任一种可能的实现方式所述的图像处理方法。包括：
检测单元，用于在拍摄视频时，检测拍摄环境亮度；处理单元，用于在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，得到第一目标视频图像；其中，第一神经网络用于降低第一视频图像的噪声。
应理解，在具体实现过程中，可选的，检测单元和处理单元可以由具有特定功能的程序代码来实现。或者，可选的，检测单元和处理单元可以由检测器和处理器实现。
第四方面，本申请实施例提供一种电子装置，该电子装置可以包括：处理器，存储器；处理器，存储器耦合，存储器可用于存储计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被电子装置执行时，使得电子装置执行如第一方面或第二方面或任一种可能的实现方式所述的图像处理方法。
第五方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：计算机软件指令；当计算机软件指令在电子装置中运行时，使得该电子装置执行如第一方面或第二方面或第一方面的可能实现方式中任一项所述的图像处理方法。
第六方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行如第一方面或第二方面或任一种可能的实现方式所述的图像处理方法。
第七方面，本申请实施例提供一种芯片系统，该芯片系统应用于电子装置；芯片系统包括接口电路和处理器；接口电路和处理器通过线路互联；接口电路用于从电子装置的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行该计算机指令时，芯片系统执行如第一方面或第二方面或任一种可能的实现方式所述的图像处理方法。
第八方面，本申请实施例提供一种图形用户界面(graphical user interface，GUI)，该图形用户界面存储在电子装置中，该电子装置包括显示器、存储器、一个或多个处理器；一个或多个处理器用于执行存储在存储器中的一个或多个计算机程序，该图形用户界面包括：显示在所述显示器上的GUI，该GUI包括视频画面，该视频画面中包括经上述第一方面或任一种可能的实现方式处理后的第i帧视频图像，该视频画面是其他电子装置(如称为第二电子装置)传输给该电子装置的，第二电子装置包括显示屏和摄像头。
第九方面，本申请实施例提供一种终端，包括：摄像头，以及处理器。
摄像头，用于拍摄视频图像；
处理器，用于在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，得到第一目标视频图像。
结合第九方面所提供的技术方案，一种可能的实施方式中，第一视频图像对应的拍摄帧率的取值范围包括[24,30]fps。
结合第九方面或第九方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，处理器还用于在拍摄环境亮度高于或等于预设阈值时，采用第一预设去噪算法对拍摄环境亮度下拍摄的第二视频图像进行去噪处理，得到第二目标视频图像。其中，第一预设去噪算法不包括神经网络。
结合第九方面或第九方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，第二视频图像对应的拍摄帧率的取值范围包括[30,60]fps。
结合第九方面或第九方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，处理器还用于检测拍摄环境亮度。具体地，例如通过接口电路
结合第九方面或第九方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，该终端还包括：环境光传感器，用于测量终端拍摄的环境亮度。
另一种可能的实施方式中，处理器还用于根据摄像头拍摄的视频图像确定终端拍摄的环境亮度。
又一种可能的实施方式中，处理器还用于根据用户设置的拍摄参数，确定终端拍摄的环境亮度。其中，拍摄参数包括：感光度，曝光时间和光圈大小中的一个或多个。
结合第九方面或第九方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，处理器，还用于在检测拍摄环境亮度之前，使能该终端进入第一拍摄模式，所述第一拍摄模式用于指示终端检测拍摄环境亮度。
结合第九方面或第九方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，处理器具体用于确定视频图像中的第i帧视频图像的拍摄环境亮度低于阈值，采用卷积神经网络处理第i帧视频图像，其中，所述i大于1。
结合第九方面或第九方面中任一可能的实施方式所提供的技术方案，一种可能的实施方式中，该终端还包括：触屏显示器，用于显示当前拍摄环境亮度下拍摄到的视频图像。
另一种可能的实施方式中，该终端还包括：触屏显示器，用于显示显示所述第一目标视频图像。
又一种可能的是实施方式中，该终端还包括：触屏显示器，用于显示显示所述第二目标视频图像。
应当理解的是，本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1为本申请实施例提供的一种电子装置的硬件结构示意图；
图2为本申请实施例提供的一种电子装置的软件结构示意图；
图3为本申请实施例提供的手机的一种图形用户界面；
图4为本申请实施例提供的手机的另一种图形用户界面；
图5为本申请实施例提供的手机的又一种图形用户界面；
图6为本申请实施例提供的一种图像处理方法的流程示意图；
图7为本申请实施例提供的手机的又一种图形用户界面；
图8为本申请实施例提供的一种神经网络的流程示意图；
图9为本申请实施例提供的一种去噪单元的网络架构示例性设计；
图10为本申请实施例提供的一种动态范围转换单元的网络架构示例性设计；
图11为本申请实施例提供的另一种图像处理方法的流程示意图；
图12为本申请实施例提供的手机的又一种图形用户界面；
图13为本申请实施例提供的手机的又一种图形用户界面；
图14为本申请实施例提供的手机的又一种图形用户界面；
图15为本申请实施例提供的手机的又一种图形用户界面；
图16为本申请实施例提供的手机的又一种图形用户界面；
图17为本申请实施例提供的一种图像处理装置的结构示意图；
图18为本申请实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供了一种图像处理方案，包括：图像处理方法、电子装置。该处理方案可以用于在拍摄照片或者拍摄视频时，根据视频拍摄环境亮度，处理视频图像，具体地，在低照度拍摄场景下，通过基于神经网络来处理视频图像，在提高图像信噪比(signalto noise ratio，SNR)的同时提高图像亮度。在非低照度拍摄场景下，通过预设去噪算法来处理视频图像，以降低终端的功耗。这里，神经网络可以包括，但不限于卷积神经网络(convolutional neural network，CNN)。
本申请实施例提供的图像处理方法可以应用于电子装置，上述电子装置可以是终端，也可以是终端内部的芯片。终端例如，手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等电子装置上，本申请实施例对电子装置的具体类型不作任何限制。
图1为本申请实施例提供的一种电子装置的硬件结构示意图。如图1所示，电子装置100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本申请实施例示意的结构并不构成对电子装置100的具体限定。在本申请另一些实施例中，电子装置100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子装置100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子装置100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子装置100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子装置100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子装置100充电，也可以用于电子装置100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子装置，例如AR设备等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子装置100的结构限定。在本申请另一些实施例中，电子装置100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子装置100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子装置供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子装置100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子装置100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子装置100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子装置100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子装置100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子装置100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
电子装置100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子装置100可以包括1个或N个显示屏194，N为大于1的正整数。
电子装置100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子装置100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子装置100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子装置100可以支持一种或多种视频编解码器。这样，电子装置100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子装置100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子装置100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子装置100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子装置100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
电子装置100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子装置100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子装置100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子装置100可以设置至少一个麦克风170C。在另一些实施例中，电子装置100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子装置100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子装置平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子装置100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子装置100根据压力传感器180A检测所述触摸操作强度。电子装置100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子装置100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子装置100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子装置100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子装置100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中，电子装置100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。电子装置100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子装置100是翻盖机时，电子装置100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
加速度传感器180E可检测电子装置100在各个方向上(一般为三轴)加速度的大小。当电子装置100静止时可检测出重力的大小及方向。还可以用于识别电子装置姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。电子装置100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子装置100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子装置100通过发光二极管向外发射红外光。电子装置100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子装置100附近有物体。当检测到不充分的反射光时，电子装置100可以确定电子装置100附近没有物体。电子装置100可以利用接近光传感器180G检测用户手持电子装置100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子装置100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子装置100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子装置100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，电子装置100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子装置100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子装置100对电池142加热，以避免低温导致电子装置100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子装置100对电池142的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子装置100的表面，与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子装置100可以接收按键输入，产生与电子装置100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子装置100的接触和分离。电子装置100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子装置100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子装置100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子装置100中，不能和电子装置100分离。
电子装置100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子装置100的软件结构。
图2是本申请实施例的电子装置100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子装置100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子装置振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
在本申请实施例中，参见图2，系统库中还可以包括图像处理库。在启动相机应用后，相机应用可以获取到电子装置采集到的图像。在获得各物体分别所在的区域后，图像处理库可以保留特定的一个或多个物体所在区域内像素点的像素值，将特定的一个或多个物体所在区域以外的其他区域内像素点的像素值转换为灰度值，从而可以将特定物体所在的整个区域的色彩保留下来。
如图1和图2所示结构的终端可以用于执行本申请实施例提供的图像处理方法。为了便于理解，本申请以下实施例将以具有图1和图2所示结构的手机为例，结合附图对本申请实施例提供的拍摄场景下的图像处理方法进行具体阐述。
图3中的(a)示出了手机的一种图形用户界面(graphical user interface，GUI)，该GUI为手机的桌面301。当手机检测到用户点击桌面301上的相机应用(application，APP)的图标302的操作后，可以启动相机应用，显示如图3中的(b)所示的另一GUI，该GUI可以称为拍摄界面303。该拍摄界面303上可以包括取景框304。在预览状态下，该取景框404内可以实时显示预览图像。可以理解的是，在拍照模式和录像模式(即视频拍摄模式)下，取景框304的大小可以不同。例如，图3中的(b)所示的取景框可以为拍照模式下的取景框。在录像模式下，取景框304可以为整个触摸屏。
示例性的，参见图3中的(b)，在手机启动相机后，取景框304可以显示有图像。另外，拍摄界面上还可以包括用于指示拍照模式的控件305，用于指示录像模式的控件306，以及拍摄控件307。在拍照模式下，当手机检测到用户点击该拍摄控件307的操作后，手机执行拍照操作；在录像模式下，当手机检测到用户点击该拍摄控件307的操作后，手机执行拍摄视频的操作。其中，可选的，在拍照模式下，可以拍摄静态图片或者动态图片(live photo)。图4中的(a)示出了手机的另一种GUI，该GUI为拍摄静态图片模式的界面401。在手机启动相机后，在拍照模式下，对于拍摄静态图片模式的拍摄界面上还可以包括用于指示拍摄动态图片的控件402。当手机检测到用户点击该控件402，由拍摄静态图片模式转换为拍摄动态图片模式，显示如图4中(b)所示的另一GUI，该GUI为拍摄动态图片模式的界面403。类似的，在手机启动相机后，在拍照模式下，对于拍摄动态图片模式的拍摄界面上还可以包括用于指示拍摄静态图片的控件404。当手机检测到用户点击该控件404，由拍摄静态图片模式转换为拍摄动态图片模式，显示如图4中(a)所示的GUI。其中，可选的，控件402与控件404可以为相同图标，并以带有颜色的高亮区分。可选的，控件402与控件404可以为相同图标，并以不同类型的线条区分，例如，实线与虚线，或者，粗线与细线。
在具体实施过程中，进入拍摄动态图片模式的GUI还有多种可选的设计，示例性的，参见图5中的(a)，拍摄界面501上还包括用于指示显示其他更多模式的控件502。当手机检测到用户选中该拍摄控件502，例如，用户点击该拍摄控件502，或者手机检测到用户将拍摄控件502滑动至GUI中央，或者手机检测到用户将拍摄控件502滑动至拍摄键上方。显示如
图5中的(b)所示的GUI。该GUI为界面503，界面503中显示有多种用于指示特定拍摄模式的控件，其中包括用于指示拍摄动态图片模式的控件504。当手机检测到用户点击该拍摄控件504，显示拍摄界面501，并进入拍摄动态图片模式。
应理解，本申请实施例所提供的图像处理方法可以应用于静态图片、动态图片、视频的拍摄以及处理场景中。为了便于描述，本申请实施例将以视频拍摄为例展开表述。
图6为本申请实施例提供的一种图像处理方法的流程示意图，该图像处理方法可以由终端执行，也可以由终端内部的芯片执行。如图6所示，方法600包括：
S601：拍摄视频时，检测拍摄环境亮度。
这里，拍摄环境亮度也可以理解为拍摄的照度。在具体实施过程中，该检测操作可以有以下可选的实施方式。
可选的，由环境光传感器来检测拍摄环境亮度，并输出相应测量结果。例如，测量的亮度值，或者，量化后的亮度值，或者，指示亮度范围的常数，或者，对应不同测量结果的指示信号。处理器通过接口电路接收上述测量结果，以获取拍摄环境亮度。
可选的，检测感光度(photosensibility)，也称ISO(internationalstandarization organization)值，和/或，曝光时间。根据ISO值，和/或，曝光时间，和/或，光圈大小来确定拍摄环境亮度。具体地，亮度I与ISO值、曝光时间t曝光的关系为：
Figure BDA0002207741600000171
即，随着曝光时间的增大，和/或，ISO值的增大，亮度越低。
其中，ISO值可以由终端硬件检测，也可以由用户手动设置。示例性地，参见图7中的(a)，拍摄界面701上还包括用于指示用户手动设置拍摄参数模式的控件702。当手机检测到用户选中该控件702，显示如图7中的(b)所示的GUI。该GUI为用户手动设置拍摄参数的界面703，界面703包括用于指示ISO值的控件704。可选的，该控件704可显示当前拍摄参数中的ISO值。可选的，当手机检测到用户点击该控件704时，显示如图7中的(c)所示的GUI。该GUI为用户手动设置ISO值的界面705，其中，界面705可示出当前拍摄的模式，例如，自动设置ISO值模式，或者，手动设置ISO值模式(例如，显示ISO数值)。可选的，界面705包括用于指示当前ISO值的滑轨706，例如，通过滑轨706中央指向，或者，滑轨706加粗位置指向，或者，滑轨706高亮位置指向，或者，滑轨706凸起位置指向，来示出当前拍摄所采用的ISO值或者，ISO值模式。这里，滑轨706可以左右滑动。用户可以通过滑动滑轨706来手动设置ISO值以及模式。或者，还可以输入ISO值。当用户滑动滑轨706时，显示如图7中的(d)所示的GUI。该GUI为用户手动设置ISO值的界面707，界面707中由滑轨706指示的ISO值为当前拍摄所用的ISO。
可选的，检测拍摄得到的视频图像的图像平均亮度。
S602：在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，得到第一目标视频图像；其中，第一神经网络用于降低所述第一视频图像的噪声。
应理解，第一神经网络包括但不限于卷积神经网络。神经网络(如卷积神经网络)可以利用深度学习来提升视频图像处理的效果，尤其是针对于视频图像的高频噪声，通过本申请提供的图像处理方法，可以优化得到更清楚的视频图像细节信息。
应理解，S601和S602中拍摄环境亮度与阈值的比较有多种可选的实施方式，例如，将测得的拍摄环境亮度直接与阈值比较。或者，将测得的拍摄环境亮度的量化结果与阈值比较。或者，曝光时间与时间阈值比较。或者，将用户设置的ISO值或者手机自动设置的ISO值与阈值比较。具体地，例如，设置ISO阈值为51200，当用户设置ISO值为58000时，则认为拍摄环境亮度低于阈值，根据第一神经网络处理视频。当用户设置ISO值为50时，则认为拍摄环境亮度高于阈值，根据第一神经网络处理视频。
进一步地，可选的，还可以采用第二神经网络在低照度或暗光条件下拍摄得到的视频图像进行处理；其中，第二神经网络用于优化第一视频图像的动态范围。
具体地，例如，通过第二神经网络来均匀第一视频图像的亮度直方图，包括但不限于提升暗度过低部分的亮度，降低亮度过高部分的亮度。
可选的，在通过神经网络(例如，上述第一神经网络或第二神经网络)处理第一视频图像前，还可以通过其它算法对该第一视频图像进行其他处理。例如，BM3D去噪算法，或者，非局部均值(non-local mean)算法。其中，非局部均值算法可以使用图像中的所有像素，基于相似度来加权平均。上述其他处理可以包括但不限于：去噪、动态范围调整、提升对比度、调整颜色等。
其中，可选的，第一视频图像对应的拍摄帧率的取值范围包括[24,30]帧每秒(frame per second，fps)。比如，25fps。换句话说，在拍摄环境亮度低于预设阈值时(如低照度或暗光拍摄环境下)，终端摄像头拍摄视频图像的帧率可以包括[24,30]fps。比如，25fps。此时摄像头拍摄的视频图像可以包括第一视频图像。
随着环境拍摄亮度的降低，人眼对于视频图像的拍摄帧率和显示帧率感知度会降低，但由于人眼所能感受到连贯画面的最低显示帧率为24fps，通过将第一视频图像对应的拍摄帧率限缩在人眼可感知的合适的范围，可以在降低终端功耗。
其中，预设阈值可以小于或等于5勒克斯。例如，0.2勒克斯，1勒克斯等。
可选的，该方法600还包括：
S603：在拍摄环境亮度高于或等于预设阈值时，采用第一预设去噪算法对拍摄环境亮度下拍摄的第二视频图像进行去噪处理，得到第二目标视频图像；其中，第一预设去噪算法不包括神经网络。
这里，第一预设去噪算法可以理解为传统的计算机图像处理方法。例如但不限于，BM3D去噪算法，或者，非局部均值算法。
可选的，在拍摄环境亮度高于或等于预设阈值时，采用其它不包括神经网络的预设算法对拍摄环境亮度拍摄的第二视频图像进行去噪处理，得到第二目标视频图像。上述预设算法可以用于动态范围调整、提升对比度、调整颜色等。上述预设算法可以包括但不限于直方图均衡化，gamma变换，指数变换。
第一视频图像对应的拍摄帧率的取值应小于第二视频图像对应的拍摄帧率的取值。
其中，可选的，第二视频图像对应的拍摄帧率的取值范围包括[30,60]fps。换句话说，在拍摄环境亮度高于或等于预设阈值时(如非低照度或高光拍摄环境下)，终端摄像头拍摄视频图像的帧率可以包括[30,60]fps。比如，60fps。此时摄像头拍摄的视频图像可以包括第二视频图像。
应理解，拍摄帧率与曝光时间相关，高照度或者高拍摄环境亮度条件下，曝光时间短，可以达到更高的拍摄帧率，采用更高的拍摄帧率拍摄得到的视频图像可以提升用户视觉体验。
这里，应理解的是，S602与S603可以单独执行，或者，并行执行，或者，也可以在拍摄环境亮度的变化过程中交替执行。
应理解，神经网络(例如，上述第一神经网络或第二神经网络)可以理解为AI的计算机图像处理方法，包括CNN。由于神经网络需要大量的计算单元，可选的，可以通过加速器(例如，NPU或GPU)来加速该方法处理的过程，以保障实时性。但这样也带来了额外的功耗，可能会缩短待机时间。根据拍摄环境亮度，选择适应的方法来处理视频。由于神经网络如CNN，在处理视频时可以在提升视频亮度的同时，提升视频的对比度，保留更多的图像细节。但由于神经网络的采用会需要大量的计算单元，所以在拍摄环境亮度较高时，采用第一预设去噪算法可以降低终端功耗。
可选的，该方法600还包括：
S604：进入第一拍摄模式，第一拍摄模式用于指示终端检测拍摄环境亮度。
在具体实施过程中，进入第一拍摄模式的触发条件，有多种可能的实施方法：
示例1：
通过检测用户的操作，来确定是否进入第一拍摄模式。例如，用户的手势操作、语音指令的输入、指关节操作、点击操作、或者用户所设置的相关拍摄参数的取值进入了预定义的触发范围中，其中，拍摄参数包括但不限于ISO值、曝光时间、光圈大小中的一个或多个。
下面给出几个可能的例子。终端检测到用户在用户界面707中将ISO值设置到12800以下，确定进入第一拍摄模式。或者，终端检测到用户“开启夜景拍摄模式”的语音指令，确定进入第一拍摄模式。或者，终端检测到用户通过指关节划出了“Z”形图像，确定进入第一拍摄模式。或者，终端检测到用户点击用于指示开启第一拍摄模式的控件，确定进入第一拍摄模式。
示例2：
通过检测是否处于低照度或暗光条件下拍摄，来确定是否进入第一拍摄模式。
具体地，包括但不限于，通过检测拍摄参数，和/或，环境光传感器的传感信息，和/或，拍摄所得到的图像的参数来确定是否进入第一拍摄模式。其中，拍摄参数包括但不限于光圈大小、曝光时间、ISO值中的一个或多个；拍摄所得到的图像的参数包括但不限于图像的平均亮度。
具体地，例如，终端检测到环境光传感器的传感信息指示终端处于低照度或暗光条件时，终端自动进入第一拍摄模式，并开始检测拍摄环境亮度。例如，终端检测到当前拍摄参数ISO值大于特定参数(如50000)，认为终端处于低照度或暗光条件下，终端自动进入第一拍摄模式，并开始检测拍摄环境亮度。例如，终端检测到拍摄所得到的图像的平均亮度对于特定参数，认为终端处于低照度或暗光条件下，终端自动进入第一拍摄模式，并开始检测拍摄环境亮度。
应理解，上述检测操作可以是在拍摄过程中实时检测，并在检测到存在上述触发条件时，进入第一拍摄模式。
对于S601至S604所述的方法，可以针对单帧视频图像，或者，多帧视频图像进行处理。其中，多帧视频图像包括但不限于连续多帧视频图像，或者间断多帧视频图像(如等间隔多帧视频图像)。
可选的，确定拍摄到的视频图像中的第i帧视频图像的拍摄环境亮度低于预设阈值，采用第一神经网络，和/或，第二神经网络处理第i帧视频图像，其中，i大于1。
可选的，确定拍摄到的视频图像中的第i帧视频图像至第j帧视频图像的平均拍摄环境亮度低于预设阈值，采用第一神经网络，和/或，第二神经网络处理第i帧视频图像至第j帧视频图像，其中，1≤i≤j≤N。
可选的，确定拍摄到的视频图像中的第i帧视频图像低于预设阈值，采用第一神经网络，和/或，第二神经网络处理第k帧视频图像至第j帧视频图像，其中，1≤k≤i≤j≤N。
可选的，确定拍摄到的视频图像中的第i帧视频图像低于预设阈值，采用第一神经网络，和/或，第二神经网络处理第i帧视频图像至第N帧视频图像，其中，1≤i≤N。
可选的，确定拍摄到的视频图像中的第i帧视频图像低于预设阈值，采用第一神经网络，和/或，第二神经网络处理全部视频图像，其中，1≤i≤N。
可选的，确定拍摄到的视频图像中的第i帧视频图像至第j帧视频图像的平均拍摄环境亮度低于预设阈值，采用第一神经网络，和/或，第二神经网络处理全部视频图像，其中，1≤i≤j≤N。
应理解，终端摄像头可以拍摄得到一系列的视频图像，进而得到视频流；拍摄界面(也称预览界面)所显示的内容为预览流；拍摄完成存储的一系列的视频图像可以称为录像流，其中，包括通过上述方法600得到的第一目标视频图像，和/或，第二目标视频图像。第i帧视频图像为视频流中任一帧视频图像，i小于或等于视频流的总帧数N。
可选的，目标视频可以由第一目标视频图像，和/或，第二目标视频图像替换原视频流中相同帧号的视频图像所得。应理解，预览流可以包括目标视频图像。其中，为了节省功耗，预览流与录像流可以不一致。
可选的，该方法600还包括：S605：显示当前拍摄环境亮度下拍摄到的视频图像。
可选的，该方法600还包括：S606：显示第一目标视频图像。
可选的，该方法600还包括：S607：显示第二目标视频图像。
可以理解的是，在具体实现过程中，考虑到终端功耗以及用户视觉效果的差异，可以有多种实施方式，这里给出几种示例性设计以帮助理解。
示例1，在拍摄界面上显示当前摄像头所拍摄到的视频图像。将第一目标视频图像，和/或，第二目标视频图像存储在存储器中。在检测到用户选择播放上述第一目标视频图像，和/或，第二目标视频图像时再显示相应的视频图像。采用这种方法，用户在拍摄时，无法感知到视频处理后的效果，但可以降低终端功耗，提升终端待机时间。
示例2，在拍摄界面上显示第二目标视频图像。将第一目标视频图像存储在存储器中，在检测到用户选择播放上述第一目标视频图像时再显示相应的视频图像。采用这种方法，用户在拍摄时，预览效果会优于直接显示摄像头所拍摄到的视频图像，同时，可以降低终端功耗，提升终端待机时间。
示例3，在拍摄界面上显示第一目标视频图像。采用这种方法时，可以提升用户的视觉效果，但是也会带来一定的额外功耗，降低终端待机时间。可选的，还可以通过NPU来加速神经网络的处理过程，以提升拍摄界面预览效果的连续性。
对于上述第一神经网络和第二神经网络可以由以下示例性训练方法获得：以多张带有不同噪声的视频图像作为训练样本，对上述视频图像进行标记，通过多张不同带有噪声的视频图像合并得到干净的视频图像，并以干净的视频图像作为目标(label)，通过深度学习算法来训练，以获得与目标接近的结果，并获得相应的神经网络模型。其中，不同噪声包括高频噪声、低频噪声。具体地，深度学习算法可以包括但不限于U-net或者resnet算法。为了降低实施难度，上述视频图像可以利用摄像头静止拍摄获得，以获取无偏移的视频图像。可以通过计算图像的损失参数来评估训练效果，例如，最小均值误差(minimum meansquare error，MMSE)，或者，L1范数，或者，感知损失(perception loss)等。
参见图8，这里给出包括第一神经网络和第二神经网络的示例性神经网络设计。其中，第一神经网络包括去噪单元801，第二神经网络包括动态范围转换单元802。可选的，神经网络如图8中的(a)所示，图像可以先通过去噪单元801进行去噪后，再通过动态范围转换单元802调整动态范围。可选的，神经网络如图8中的(b)所示，图像可以先通过动态范围转换单元802调整动态范围，再通过去噪单元801去噪。可选的，该神经网络还可以包括图像经过第一预设去噪单元803处理后，再由去噪单元801和动态范围转换单元802处理。这样可以进一步提升图像处理的效果。类似的，这里去噪单元801和动态范围转换单元802处理的先后顺序不作限定。其中，去噪单元801，和/或，动态范围转换单元802，采用了CNN算法。其中，去噪单元也可以称为滤波器(filter)，动态范围转换单元也可以称为动态范围转换器(dynamic range converter)。
图9为本申请实施例提供的一种去噪单元的网络架构示例性设计。如图9所示，图像以输入分辨率和输入通道数N1的数组结构来输入。其中，在具体实施过程中，输入分辨率为长H乘以宽W的形式，输入通道数N1的取值可以根据实际情况设定。例如，一般常见的图像由红色(red，R)、绿色(green，G)、蓝色(blue，B)三个通道组成或者由亮度(Y)、色彩(U)、浓度(V)三个通道组成，则输入通道数N的取值为3。类似的，经过该去噪单元处理后也以目标分辨率和输出通道数M1的数组结构来输出。其中，在具体实施过程中，目标分辨率也为长乘以宽的形式，输出通道数M1的取值可以根据实际情况设定。图9中以输入通道数N1为3，输出通道数M1为3举例。
该去噪单元可包括亚像素(subpixel)子单元、卷积(convolution)子单元、合并(concate)子单元，以及反卷积(deconvolution)子单元。其中，卷积子单元的卷积核包括但不限于3乘3。
图10为本申请实施例提供的一种动态范围转换单元的网络架构示例性设计。如图10所示，图像以输入分辨率和输入通道数N2的数组结构来输入。其中，在具体实施过程中，输入分辨率为长H乘以宽W的形式，输入通道数N2的取值可以根据实际情况设定。例如，一般常见的图像由R、G、B三个通道组成，则输入通道数N的取值为3。类似的，经过该去噪单元处理后也以目标分辨率和输出通道数M2的数组结构来输出。其中，在具体实施过程中，目标分辨率也为长乘以宽的形式，输出通道数M2的取值可以根据实际情况设定。图9中以输入通道数N2为3，输出通道数M2为3举例。
该动态范围转换单元可包括下采样(downsampling)子单元、卷积子单元、上采样(upsampling)子单元。其中，上采样子单元为保边上采样，具体地，可以由导向滤波器(guided filter)、或者双边滤波器(biateral filter)等滤波器来实现。
可选的，这里为了节省开销，去噪单元，和/或，动态范围转换单元可以仅包括亮度通道，此时，输入通道数为1，输出通道数为1。应理解的是，去噪单元与动态范围转换单元的输入通道数与输出通道数应根据图像处理的先后顺序保持一致。例如，图像先通过去噪单元处理，再由动态范围转换单元处理，此时，去噪单元的输入通道数为3，输出通道数为1，则动态范围转换单元的输入通道数应为1，输出通道数为1。
图11为本申请实施例提供的另一种图像处理方法的流程示意图，该图像处理方法可以由终端执行，也可以由终端内部的芯片执行。如图11所示，方法1100包括：
S1101：进入第一拍摄模式，第一拍摄模式用于指示终端检测拍摄环境亮度。
可选的，检测拍摄环境的亮度，在拍摄环境的亮度低于阈值时，认为进入夜景拍摄模式。其中，检测拍摄环境的亮度的方法可以参考图6中的S601相关表述，这里不再重复赘述。进一步，可选的，手机在拍摄过程中，如处于图12中的(a)所示的GUI，在拍摄环境的亮度低于阈值时，显示图12中的(b)所示的GUI，该GUI为用于指示夜景模式选择的界面1202，界面1202包括对话框1203。其中，对话框1203中包括用于指示进入夜景模式的控件1204，以及用于指示不进入夜景模式的控件1205，对话框的位置可以在屏幕的上方、或者中部、或者下方。当手机检测到用户点击控件1204时，进入夜景模式。当手机检测到用户点击
可选的，在手机检测到用户点击控件1204时，显示图12中的(c)所示的GUI，该GUI为用于指示采用人工智能算法的拍摄模式的界面1206。在本申请实施例，采用人工智能算法的拍摄模式也可以理解为采用夜景模式。界面1206包括用于指示选择或退出人工智能算法拍摄模式的控件1207。在处于人工智能算法拍摄模式时，当手机检测到用户点击控件1207时，则退出人工智能算法拍摄模式。
可选的，在手机检测到用户点击控件1204时，显示图12中的(d)所示的GUI，该GUI为用于指示采用夜景拍摄模式的界面1208，界面1208包括用于指示选择或退出夜景模式的控件1209。在处于夜景拍摄模式时，当手机检测到用户点击控件1209时，则退出夜景拍摄模式。
可选的，手机在拍摄过程中，如处于图13中的(a)所示的GUI，该GUI为界面1301，界面1301显示当前拍摄的视频图像或动态图片，这里称为图像1。在拍摄环境的亮度低于阈值时，显示图13中的(b)所示的GUI，该GUI为用于显示两种不同处理方式效果图的界面1302，界面1302包括图像1，以及用于显示经过神经网络处理后的图像(这里称图像2)的控件1303。通过经过神经网络处理前后的不同图像的显示，用户可以直观感受到图像处理的效果差异。可选的，用户可以通过点击控件1303来选择进入夜景拍摄模式。可选的，用户可以通过如下滑或左滑或双击等预设手势操作，选择进入夜景拍摄模式。这里，预设手势操作可以在出厂前预定义，也可以由用户在设置中预定义。进一步，可选的，进入夜景拍摄模式，显示图13中的(c)所示的GUI，该GUI为显示图像2的界面1301。可选的，进入夜景拍摄模式，显示图13中的(d)所示的GUI，该GUI为用于显示两种不同处理方式效果图的界面1305。界面1305包括图像2，以及用于显示未经过神经网络处理的图像(即图像1)的控件1306。类似的，用户可以通过选择控件1306来退出夜景拍摄模式。
可选的，可检测用户选择的拍摄模式。例如，手机在拍摄过程中，检测到用户点击到控件1207或控件1209，则认为手机进入相应模式。或者，例如，手机在拍摄过程中，检测到用户的语音命令，该语音命令指示手机进入夜景拍摄模式。
可选的，手机在拍摄过程中，如处于图14中的(a)所示的GUI，该GUI为界面1401，界面1401用于显示当前拍摄的视频图像，包括用于指示显示其他更多模式的控件1402。当手机检测到用户选中该拍摄控件1402，例如，用户点击该拍摄控件1402，或者手机检测到用户将拍摄控件1402滑动至GUI中央，或者手机检测到用户将拍摄控件1402滑动至拍摄键上方。显示如图14中的(b)所示的GUI。该GUI为界面1403，界面1403中显示有多种用于指示特定拍摄模式的控件，其中包括用于指示检测环境亮度的控件1404。当手机检测到用户点击该拍摄控件1404，进入第一拍摄模式，这里，即夜摄录像模式。
可选的，手机在拍摄过程中，如处于图15中的(a)所示的GUI，该GUI为界面1501，界面1501用于显示当前拍摄的视频图像，包括用于指示显示其他更多选项的控件1502。当手机检测到用户选中该拍摄控件1502，例如，用户点击该拍摄控件1502，或者手机检测到用户将拍摄控件1502滑动至GUI中央，或者手机检测到用户将拍摄控件1502滑动至拍摄键上方。显示如图15中的(b)所示的GUI。该GUI为界面1503，界面1503中显示有多种用于指示特定拍摄模式的控件，其中包括用于指示检测环境亮度的控件1504。当手机检测到用户点击该拍摄控件1504，进入第一拍摄模式，这里，即夜摄录像模式。
应理解，本申请实施例中的夜景模式或夜摄录像模式或人工智能处理模式，为第一拍摄模式可选的名称，在具体实施过程中，可以用其他名称替换。
在检测到进入第一拍摄模式，可以执行上述方法600及各可选实施例。
S1102：在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，得到第一目标视频图像；其中，第一神经网络用于降低第一视频图像的噪声。
其中，第一神经网络与第一预设去噪算法的实施方式可以参考图6中的S602相关表述，这里不再重复赘述。
手机在拍摄过程中，如处于图16中的(a)所示的GUI，该GUI为界面1601，界面1601用于显示当前拍摄的视频图像(如图像1)，包括用于指示打开录像流的控件1602，预览流包括上述当前拍摄的视频图像。当手机检测到用户选中该拍摄控件1602，显示如图16中的(b)所示的GUI。该GUI为界面1603，界面1603中包括存储的视频图像(如图像2)，用于指示播放录像流的控件1604。当手机检测到用户选中该拍摄控件1602，播放上述录像流。
本申请所提供的方法根据拍摄视频亮度，处理视频图像。在低照度或暗光条件时采用第一神经网络，和/或，第二神经网络处理拍摄所得的视频，在非低照度或非暗光条件时采用不包括神经网络的第一预设去噪算法处理拍摄所得的视频。在提升处理效果的同时，可以保障终端功耗尽可能的降低。另外，在具体实施过程中，通过NPU等加速器对于上述第一神经网络和第二神经网络的加速，可以保障视频图像处理的实时性，以及播放的连续性，降低用户等待时延。此外，通过不同用户界面上的交互方法或者终端检测触发条件来触发终端进入第一拍摄模式，可以提升方案实施的多样性，提高用户体验。
图17为本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置可以是终端，也可以是终端内部的芯片，并且可以实现如图6或图11所示的图像处理方法以及上述各可选实施例。如图17所示，图像处理装置1700包括：检测单元1701和处理单元1702。
检测单元1701用于执行上述方法600中S601、方法1100中S1101中任一步骤以及其中任一可选的实施例。处理单元1702，用于执行上述方法600中S602至604、方法1100中S1101至S1102中任一步骤及任一可选的示例。具体参见方法示例中的详细描述，此处不做赘述。
其中，检测单元1701用于在拍摄视频时，检测拍摄环境亮度；处理单元1702，用于在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，得到第一目标视频图像；其中，第一神经网络用于降低第一视频图像的噪声。
应理解的是，本申请实施例中的图像处理装置可以由软件实现，例如，具有上述功能的计算机程序或指令来实现，相应计算机程序或指令可以存储在终端内部的存储器中，通过处理器读取该存储器内部的相应计算机程序或指令来实现上述功能。或者，本申请实施例中的图像处理装置还可以由硬件来实现。其中处理单元1702为处理器(如NPU、GPU、系统芯片中的处理器)，检测单元1701为检测器。或者，本申请实施例中的图像处理装置还可以由处理器和软件模块的结合实现。
具体地，检测单元可以为处理器的接口电路，或者，终端的环境光传感器等。例如，终端的环境光传感器将检测得到的拍摄环境亮度测量结果，发送给处理器接口电路。其中，拍摄环境亮度测量结果可以是量化后的值，或者，与预设阈值比较的结果。例如，通过高电平指示拍摄环境亮度低于预设阈值，低电平指示拍摄环境亮度高于或等于预设阈值。处理器在接收到上述拍摄环境亮度测量结果。再例如，处理器可以通过检测拍摄参数来确定拍摄环境亮度，或者，处理器还可以通过检测视频图像的平均图像亮度来确定拍摄环境亮度。
可选的，处理单元1702，用于在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，包括：处理单元1702用于采用第一神经网络和第二神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理。第二神经网络用于优化第一视频图像的动态范围。
可选的，处理单元1702还用于在所述拍摄环境亮度高于或等于预设阈值时，采用第一预设去噪算法对拍摄环境亮度下拍摄的第二视频图像进行去噪处理，得到第二目标视频图像。
其中，所述第一预设去噪算法不包括神经网络。
可选的，处理单元1702，还用于在检测单元检测拍摄环境亮度之前，使能终端进入第一拍摄模式，第一拍摄模式用于指示终端检测拍摄环境亮度。
可选的，处理单元1702，用于在拍摄环境亮度低于预设阈值时，至少采用第一神经网络对拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：处理单元1702，用于确定拍摄到的视频图像中的第i帧视频图像的拍摄环境亮度低于预设阈值，至少采用第一神经网络处理所述第i帧视频图像，其中，所述i大于1。
可选的，该1700还包括：显示单元1703，用于显示当前拍摄环境亮度下拍摄到的视频图像；或者，用于显示所述第一目标视频图像；或者，用于显示所述第二目标视频图像。
显示单元可以由显示器来实现。也可以由处理器使能显示器来显示上述内容来实现，显示器可以是具有功能的显示器。显示单元1703可用于执行方法600中的S605至S607中任一步骤及任一可选的示例。
应理解，本申请实施例中的装置处理细节可以参考图6、图9中的相关表述，本申请实施例将不再重复赘述。
图18为本申请实施例提供的另一种图像处理装置的结构示意图，该图像处理装置可以是终端，也可以是终端内部的芯片，并且可以实现如图6或图18所示的图像处理方法以及上述各可选实施例。如图18所示，图像处理装置1800包括：处理器1801，与处理器1001耦合的接口电路1802。应理解，虽然图18中仅示出了一个处理器和一个接口电路。图像处理装置1800可以包括其他数目的处理器和接口电路。
其中，接口电路1802用于与终端的其他组件连通，例如存储器或其他处理器。处理器1801用于通过接口电路1802与其他组件进行信号交互。接口电路1802可以是处理器1801的输入/输出接口。
例如，处理器1801通过接口电路1802读取与之耦合的存储器中的计算机程序或指令，并译码和执行这些计算机程序或指令。应理解，这些计算机程序或指令可包括上述终端功能程序，也可以包括上述应用在终端内的图像处理装置的功能程序。当相应功能程序被处理器1801译码并执行时，可以使得终端或在终端内的图像处理装置实现本申请实施例所提供的图像处理方法中的方案。
可选的，这些终端功能程序存储在图像处理装置1800外部的存储器中。当上述终端功能程序被处理器1801译码并执行时，存储器中临时存放上述终端功能程序的部分或全部内容。
可选的，这些终端功能程序存储在图像处理装置1800内部的存储器中。当图像处理装置1800内部的存储器中存储有终端功能程序时，图像处理装置1800可被设置在本发明实施例的终端中。
可选的，这些终端功能程序的部分内容存储在图像处理装置1800外部的存储器中，这些终端功能程序的其他部分内容存储在图像处理装置1800内部的存储器中。
应理解，图1至图2、图17至图18任一所示的图像处理装置可以互相结合，图1至图2、图17至图18任一所示的图像处理装置以及各可选实施例相关设计细节可互相参考，也可以参考图6或图11任一所示的图像处理方法以及各可选实施例相关设计细节。此处不再重复赘述。
应理解，图6或图11任一所示的图像处理方法以及各可选实施例，图1至图2、图17至图18任一所示的图像处理装置以及各可选实施例，不仅可以用于在拍摄中处理视频或图像，还可以用于处理已经拍摄完成的视频或图像。本申请不做限定。
实施例及附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于表示不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必仅限于字面列出的那些步骤或单元，而是可包括没有字面列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，吧b，c可以是单个，也可以是多个。
应理解，在本申请中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。本申请提到的“耦合”一词，用于表达不同组件之间的互通或互相作用，可以包括直接相连或通过其他组件间接相连。
在本申请的上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤等)或无线(例如红外、无线电、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘和磁带；可以是光介质，例如DVD；也可以是半导体介质，例如固态硬盘(Solid State Disk，SSD)等。
本申请实施例中，存储器，是指具有数据或信息存储能力的器件或电路，并可向处理器提供指令和数据。存储器包括只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、非易失性随机存取存储器(NVRAM)，可编程只读存储器或者电可擦写可编程存储器、寄存器等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (23)

1.一种图像处理方法，其特征在于，所述方法包括：
拍摄视频时，检测拍摄环境亮度；
在所述拍摄环境亮度低于预设阈值时，至少采用第一神经网络对所述拍摄环境亮度下拍摄到的第一视频图像进行处理，得到第一目标视频图像；
其中，所述第一神经网络用于降低所述第一视频图像的噪声。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述拍摄环境亮度高于或等于预设阈值时，采用第一预设去噪算法对所述拍摄环境亮度下拍摄的第二视频图像进行去噪处理，得到第二目标视频图像；
其中，所述第一预设去噪算法不包括神经网络。
3.根据权利要求2所述的方法，其特征在于，所述第一视频图像对应的拍摄帧率小于所述第二视频图像对应的拍摄帧率。
4.根据权利要求3所述的方法，其特征在于，所述第一视频图像对应的拍摄帧率的取值范围包括[24,30]fps。
5.根据权利要求1至4任一所述的方法，其特征在于，在所述检测拍摄环境亮度之前，所述方法还包括：
进入第一拍摄模式，所述第一拍摄模式用于指示终端检测拍摄环境亮度。
6.根据权利要求1至4任一所述的方法，其特征在于，所述至少采用第一神经网络对所述拍摄环境亮度下拍摄到的视频图像进行处理，具体包括：
采用第一神经网络和第二神经网络对所述拍摄环境亮度下拍摄到的视频图像进行处理；
其中，所述第二神经网络用于优化所述第一视频图像的动态范围。
7.根据权利要求1至4任一所述的方法，其特征在于，所述在所述拍摄环境亮度低于预设阈值时，至少采用第一神经网络对所述拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
确定拍摄到的视频图像中的第i帧视频图像的拍摄环境亮度低于预设阈值，至少采用第一神经网络处理所述第i帧视频图像，其中，所述i大于1。
8.根据权利要求7所述的方法，其特征在于，所述检测所述视频图像的拍摄环境亮度，具体包括：
根据拍摄视频的拍摄参数，拍摄视频的终端的环境光传感器的传感信息，或所述视频图像的图像平均亮度，确定所述视频图像的拍摄环境亮度；
其中，所述拍摄参数包括感光度、曝光时间、光圈大小中的一个或多个。
9.根据权利要求7所述的方法，其特征在于，所述预设阈值小于或等于5lux。
10.根据权利要求7所述的方法，其特征在于，所述方法还包括：
显示当前拍摄环境亮度下拍摄到的视频图像；
或者，显示所述第一目标视频图像；
或者，显示所述第二目标视频图像。
11.一种图像处理装置，其特征在于，所述装置包括：
检测单元，用于在拍摄视频时，检测拍摄环境亮度；
处理单元，用于在所述拍摄环境亮度低于预设阈值时，至少采用第一神经网络对所述拍摄环境亮度下拍摄到的第一视频图像进行处理，得到第一目标视频图像；
其中，所述第一神经网络用于降低所述第一视频图像的噪声。
12.根据权利要求11所述的装置，其特征在于：
所述处理单元，还用于在所述拍摄环境亮度高于或等于预设阈值时，采用第一预设去噪算法对所述拍摄环境亮度下拍摄的第二视频图像进行去噪处理，得到第二目标视频图像；
其中，所述第一预设去噪算法不包括神经网络。
13.根据权利要求12所述的装置，其特征在于，所述第一视频图像对应的拍摄帧率小于所述第二视频图像对应的拍摄帧率。
14.根据权利要求13所述的装置，其特征在于，所述第一视频图像对应的拍摄帧率的取值范围包括[24,30]fps。
15.根据权利要求11至14任一所述的装置，其特征在于：
所述处理单元，还用于在所述检测单元检测所述拍摄环境亮度之前，使能终端进入第一拍摄模式，所述第一拍摄模式用于指示终端检测拍摄环境亮度。
16.根据权利要求11至14任一所述的装置，其特征在于，所述处理单元，用于在所述拍摄环境亮度低于预设阈值时，至少采用第一神经网络对所述拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
所述处理单元，用于在所述拍摄环境亮度低于预设阈值时，采用第一神经网络和第二神经网络对所述拍摄环境亮度下拍摄到的视频图像进行处理；
其中，所述第二神经网络用于优化所述第一视频图像的动态范围。
17.根据权利要求11至14任一所述的装置，其特征在于，所述处理单元，用于在所述拍摄环境亮度低于预设阈值时，至少采用第一神经网络对所述拍摄环境亮度下拍摄到的第一视频图像进行处理，具体包括：
所述处理单元，用于确定拍摄到的视频图像中的第i帧视频图像的拍摄环境亮度低于预设阈值，至少采用第一神经网络处理所述第i帧视频图像，其中，所述i大于1。
18.根据权利要求17所述的装置，其特征在于，所述检测单元用于在拍摄视频时，检测拍摄环境亮度，具体包括：
所述检测单元，用于根据拍摄视频的拍摄参数，拍摄视频的终端的环境光传感器的传感信息，或所述视频图像的图像平均亮度，确定所述视频图像的拍摄环境亮度；
其中，所述拍摄参数包括感光度、曝光时间、光圈大小中的一个或多个。
19.根据权利要求17所述的装置，其特征在于，所述预设阈值小于或等于5lux。
20.根据权利要求17所述的装置，其特征在于，所述装置还包括：
显示单元；
所述显示单元，用于显示当前拍摄环境亮度下拍摄到的视频图像；
或者，所述显示单元，用于显示所述第一目标视频图像；
或者，所述显示单元，用于显示所述第二目标视频图像。
21.一种电子装置，其特征在于，所述电子装置包括：处理器，存储器；所述处理器和所述存储器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述电子装置执行时，使得所述电子装置执行如权利要求1至10中任一项所述的视频图像处理方法。
22.一种计算机可读存储介质，其特征在于，包括：计算机软件指令；
当所述计算机软件指令在电子装置中运行时，使得所述电子装置执行如权利要求1至10中任一项所述的视频图像处理方法。
23.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至10中任一项所述的视频图像处理方法。
CN201910887457.1A 2019-09-19 2019-09-19 图像处理方法及电子装置 Active CN112532892B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910887457.1A CN112532892B (zh) 2019-09-19 2019-09-19 图像处理方法及电子装置
PCT/CN2020/110734 WO2021052111A1 (zh) 2019-09-19 2020-08-24 图像处理方法及电子装置
US17/698,161 US20220210308A1 (en) 2019-09-19 2022-03-18 Image processing method and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910887457.1A CN112532892B (zh) 2019-09-19 2019-09-19 图像处理方法及电子装置

Publications (2)

Publication Number Publication Date
CN112532892A true CN112532892A (zh) 2021-03-19
CN112532892B CN112532892B (zh) 2022-04-12

Family

ID=74883346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910887457.1A Active CN112532892B (zh) 2019-09-19 2019-09-19 图像处理方法及电子装置

Country Status (3)

Country Link
US (1) US20220210308A1 (zh)
CN (1) CN112532892B (zh)
WO (1) WO2021052111A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395551A (zh) * 2021-07-20 2021-09-14 珠海极海半导体有限公司 处理器、npu芯片和电子设备
CN113542591A (zh) * 2021-06-02 2021-10-22 惠州Tcl移动通信有限公司 缩时摄影处理方法、装置、移动终端及存储介质
WO2024067743A1 (zh) * 2022-09-30 2024-04-04 北京字跳网络技术有限公司 用于视频通话的补光控制方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928799B2 (en) * 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN115550544B (zh) * 2022-08-19 2024-04-12 荣耀终端有限公司 图像处理方法及装置
CN117615440A (zh) * 2024-01-24 2024-02-27 荣耀终端有限公司 模式切换方法及相关装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262206A1 (en) * 2005-05-19 2006-11-23 Mstar Semiconductor Inc. Noise reduction method
CN104023166A (zh) * 2014-06-20 2014-09-03 武汉烽火众智数字技术有限责任公司 一种环境自适应视频图像降噪方法及装置
CN104079842A (zh) * 2014-06-27 2014-10-01 广东欧珀移动通信有限公司 相机噪声和帧率的控制方法与装置
CN104580969A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 录像帧率调整方法和装置
US20160117806A1 (en) * 2013-07-25 2016-04-28 Fujifilm Corporation Image processing device, image capture device, image processing method, and program
CN106127698A (zh) * 2016-06-15 2016-11-16 深圳市万普拉斯科技有限公司 图像降噪处理方法和装置
CN107452348A (zh) * 2017-08-15 2017-12-08 广州视源电子科技股份有限公司 显示画面的降噪方法和系统、计算机设备及可读存储介质
CN109118447A (zh) * 2018-08-01 2019-01-01 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及终端设备
CN109886892A (zh) * 2019-01-17 2019-06-14 迈格威科技有限公司 图像处理方法、图像处理装置以及存储介质
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110248106A (zh) * 2019-06-13 2019-09-17 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备以及存储介质
CN111385484A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 信息处理方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005973B (zh) * 2015-06-30 2018-04-03 广东欧珀移动通信有限公司 一种图像快速去噪的方法及装置
CN111784615A (zh) * 2016-03-25 2020-10-16 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
CN107194900A (zh) * 2017-07-27 2017-09-22 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
CN108965731A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 一种暗光图像处理方法及装置、终端、存储介质
CN110246101B (zh) * 2019-06-13 2023-03-28 Oppo广东移动通信有限公司 图像处理方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262206A1 (en) * 2005-05-19 2006-11-23 Mstar Semiconductor Inc. Noise reduction method
US20160117806A1 (en) * 2013-07-25 2016-04-28 Fujifilm Corporation Image processing device, image capture device, image processing method, and program
CN104580969A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 录像帧率调整方法和装置
CN104023166A (zh) * 2014-06-20 2014-09-03 武汉烽火众智数字技术有限责任公司 一种环境自适应视频图像降噪方法及装置
CN104079842A (zh) * 2014-06-27 2014-10-01 广东欧珀移动通信有限公司 相机噪声和帧率的控制方法与装置
CN106127698A (zh) * 2016-06-15 2016-11-16 深圳市万普拉斯科技有限公司 图像降噪处理方法和装置
CN107452348A (zh) * 2017-08-15 2017-12-08 广州视源电子科技股份有限公司 显示画面的降噪方法和系统、计算机设备及可读存储介质
CN109118447A (zh) * 2018-08-01 2019-01-01 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及终端设备
CN111385484A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 信息处理方法和装置
CN109886892A (zh) * 2019-01-17 2019-06-14 迈格威科技有限公司 图像处理方法、图像处理装置以及存储介质
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110248106A (zh) * 2019-06-13 2019-09-17 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备以及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542591A (zh) * 2021-06-02 2021-10-22 惠州Tcl移动通信有限公司 缩时摄影处理方法、装置、移动终端及存储介质
CN113395551A (zh) * 2021-07-20 2021-09-14 珠海极海半导体有限公司 处理器、npu芯片和电子设备
WO2024067743A1 (zh) * 2022-09-30 2024-04-04 北京字跳网络技术有限公司 用于视频通话的补光控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220210308A1 (en) 2022-06-30
CN112532892B (zh) 2022-04-12
WO2021052111A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN112532857B (zh) 一种延时摄影的拍摄方法及设备
CN109951633B (zh) 一种拍摄月亮的方法和电子设备
CN110401766B (zh) 一种拍摄方法及终端
CN113132620B (zh) 一种图像拍摄方法及相关装置
CN110506416B (zh) 一种终端切换摄像头的方法及终端
CN112532892B (zh) 图像处理方法及电子装置
CN113726950B (zh) 一种图像处理方法和电子设备
CN113810601B (zh) 终端的图像处理方法、装置和终端设备
CN112492193B (zh) 一种回调流的处理方法及设备
CN113810603B (zh) 点光源图像检测方法和电子设备
CN113542580B (zh) 去除眼镜光斑的方法、装置及电子设备
CN113891009B (zh) 曝光调整方法及相关设备
WO2022001258A1 (zh) 多屏显示方法、装置、终端设备及存储介质
CN113935898A (zh) 图像处理方法、系统、电子设备及计算机可读存储介质
CN113170037A (zh) 一种拍摄长曝光图像的方法和电子设备
WO2023273323A1 (zh) 一种对焦方法和电子设备
CN113572948A (zh) 视频处理方法和视频处理装置
CN115967851A (zh) 快速拍照方法、电子设备及计算机可读存储介质
CN112532508B (zh) 一种视频通信方法及视频通信装置
CN113923372B (zh) 曝光调整方法及相关设备
WO2022033344A1 (zh) 视频防抖方法、终端设备和计算机可读存储介质
CN114827098A (zh) 合拍的方法、装置、电子设备和可读存储介质
CN114173184A (zh) 投屏方法和电子设备
CN113542574A (zh) 变焦下的拍摄预览方法、终端、存储介质及电子设备
CN116709018B (zh) 一种变焦条分割方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant