CN115767290A - 图像处理方法和电子设备 - Google Patents

图像处理方法和电子设备 Download PDF

Info

Publication number
CN115767290A
CN115767290A CN202211191123.9A CN202211191123A CN115767290A CN 115767290 A CN115767290 A CN 115767290A CN 202211191123 A CN202211191123 A CN 202211191123A CN 115767290 A CN115767290 A CN 115767290A
Authority
CN
China
Prior art keywords
image
electronic device
pixel
algorithm
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211191123.9A
Other languages
English (en)
Other versions
CN115767290B (zh
Inventor
王宇
王敏刚
朱聪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211191123.9A priority Critical patent/CN115767290B/zh
Publication of CN115767290A publication Critical patent/CN115767290A/zh
Application granted granted Critical
Publication of CN115767290B publication Critical patent/CN115767290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本申请涉及图像处理领域,提供了一种图像处理方法和电子设备,该图像处理方法包括:运行相机应用程序;获取第一图像,第一图像为第一颜色空间的图像;基于第一算法对第一图像进行下采样处理,得到第二图像;基于第二算法对第一图像进行下采样处理,得到第三图像,第一算法与第二算法为不同的下采样处理算法;基于第二图像与第三图像得到第一位置信息,第一位置信息用于指示第二图像中异色像素的像素位置;基于第一位置信息、第二图像与第一图像,得到第四图像,第四图像为去除异色图像区域的图像,第四图像的尺寸小于第一图像的尺寸;显示或者保存第四图像。基于本申请的方案,能够去除下采样处理后图像中的异色像素,提高图像质量。

Description

图像处理方法和电子设备
技术领域
本申请涉及图像领域,具体地,涉及一种图像处理方法和电子设备。
背景技术
电子设备在图像采集时,通常由电子设备中的图像传感器采集原始图像;电子设备对原始图像进行图像处理输出处理后的图像;由于图像传感器采集的原始图像的尺寸通常较大,因此需要对原始图像进行下采样处理,对下采样处理后的原始图像进行图像处理;目前,为了减少下采样后原始图像中的细节损失问题,通常采用高质量线性插值算法(High-quality Linear Interpolation)对原始图像进行下采样处理;但是,对于高质量线性插值算法处理后的原始图像,在进行颜色空间转换处理(例如,去马赛克处理)后图像中会出现异色像素。
因此,如何去除图像中的异色像素,提升图像质量成为一个亟需解决的问题。
发明内容
本申请提供了一种图像处理方法和电子设备,能够去除图像中的异色图像像素,提高图像质量。
第一方面,提供了一种图像处理方法,应用于电子设备,包括:
运行相机应用程序;
获取第一图像,所述第一图像为第一颜色空间的图像;
基于第一算法对所述第一图像进行下采样处理,得到第二图像;
基于第二算法对所述第一图像进行所述下采样处理,得到第三图像,所述第一算法与所述第二算法不同;
基于所述第二图像与所述第三图像得到第一位置信息,所述第一位置信息用于指示所述第二图像中异色像素的像素位置,所述异色像素为与邻近像素的像素差值大于第一预设阈值的像素;
基于所述第一位置信息、所述第二图像与所述第一图像,得到第四图像,所述第四图像为去除所述异色图像区域的图像,所述第四图像的尺寸小于所述第一图像的尺寸;
显示或者保存所述第四图像。
在本申请的实施例中,通过对第一图像执行两种不同的下采样处理算法可以得到下采样处理后的第二图像与第三图像;根据第二图像与第三图像可以得到第二图像中异色像素的第一位置信息;根据第一位置信息与第一图像可以对第二图像中的异色像素进行处理,得到去除异色像素的第四图像;由于第一图像为未经过处理得到图像,因此根据第一图像可以对第二图像中的异色像素进行处理,从而去除第二图像中的异色像素,得到去除异色像素的第四图像,提高图像质量。
应理解,异色像素可以是指局部偏色像素,即图像中出现局部与图像整体风格或者内容不相符的像素;在本申请的实施例中,异色像素所在的图像区域可以是指异色图像区域。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第一位置信息、所述第二图像与所述第一图像,得到第四图像,包括:
基于第一位置信息,得到所述第一图像中的第二位置信息;
基于所述第二位置信息与所述第一图像,得到第一像素信息;
基于所述第一像素信息与所述第二图像,得到所述第四图像。
可选地,在一种可能实现方式中,可以将第二图像中的第一位置信息映射到第一图像中,得到第一图像中的第二坐标位置;根据第一图像中的第二坐标位置,得到第一像素信息;根据第一像素信息对第二图像进行处理,可以得到去除异色像素的第四图像。
在本申请的实施例中,由于第一图像为未经过处理的图像,因此第一图像中不存在异色像素;根据第一图像中的像素信息可以对第二图像中的异色像素进行处理,得到去除异色像素的第四图像,从而提高图像质量。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第一像素信息与所述第二图像,得到所述第四图像,包括:
基于所述第一像素信息对所述第二图像中的所述异色像素进行替换处理,得到所述第四图像。
在本申请的实施例中,由于第一图像未经过处理的图像;因此,第一图像中不存在异色图像区域;通过第一图像中的像素信息对第二图像中异色像素进行替换处理,从而得到去除异色像素的第四图像,从而提高图像质量;此处,直接基于第一像素信息对第二图像中的异色像素进行替换处理,电子设备的操作简便易于实现。
结合第一方面,在第一方面的某些实现方式中,所述第二图像的尺寸与所述第三图像的尺寸相同,所述基于所述第二图像与所述第三图像得到第一位置信息,包括:
对所述第二图像与所述第三图像进行作差,得到第五图像;
基于所述第五图像,得到所述第一位置信息。
在本申请的实施例中,可以对第二图像与第三图像进行作差,得到差值图像即第五图像;基于第五图像可以得到异色像素的像素位置。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第五图像,得到所述第一位置信息,包括:
在所述第五图像中确定像素的颜色分量大于第二预设阈值的像素位置,得到所述第一位置信息。
在本申请的实施例中,可以对第二图像与第三图像进行作差,得到差值图像;若差值图像即第五图像中某个像素的颜色分量大于第二预设阈值,可以表示第二图像与第三图像在该像素位置的差异较大,则该像素位置的像素为异色像素。
需要说明的是,第二图像与第三图像为基于不同的下采样处理算法对第一图像进行下采样处理后得到的图像;根据第二图像与第三图像之间的差异可以确定第二图像中是否存在异色图像区域,即确定第二图像中是否包括异色像素;例如,若第二图像与第三图像之间的差异较小,则说明第二图像中不存在异色图像区域;若第二图像与第三图像中存在差异较大的图像区域,则说明第二图像中存在异色图像区域,从而确定第二图像中异色像素的第一位置信息。
结合第一方面,在第一方面的某些实现方式中,还包括:
检测到所述电子设备所处拍摄环境的颜色对比度大于第三预设阈值。
在本申请的实施例中,电子设备可以检测所处的拍摄环境是否为颜色对比度较高的拍摄环境;由于在颜色对比度较高的环境中,容易出现异色像素;因此,电子设备在执行本申请实施例提供的图像处理方法之前可以先检测当前的拍摄环境是否为颜色对比度较高的拍摄环境;在高颜色对比度的拍摄环境,触发电子设备执行本申请实施例提供的图像处理方法去除第二图像中的异色像素,得到去除异色像素的第四图像。
结合第一方面,在第一方面的某些实现方式中,还包括:
检测到所述电子设备所处的拍摄环境为夜景拍摄环境,所述夜景拍摄环境是指拍摄环境的亮度小于第四预设阈值的拍摄环境。
在本申请的实施例中,由于在电子设备所处的拍摄环境为夜景拍摄环境的情况下,拍摄环境的亮度较低,在第二图像(例如,下采样处理后的Raw图像)的高亮区域的边缘部分容易出现异色像素的问题;因此,在本申请的实施例中电子设备可以检测所处的拍摄场景是否为夜景拍摄环境;在电子设备所处的拍摄环境为夜景拍摄环境的情况下,触发电子设备执行本申请实施例提供的图像处理方法去除第二图像中的异色像素,得到去除异色像素的第四图像。
结合第一方面,在第一方面的某些实现方式中,所述第一算法为对所述第一颜色空间中不同颜色分量采用不同权重值的下采样算法。
在一种可能的实现方式中,第一算法可以包括高质量线性插值算法,在基于高质量线性插值算法对原始Raw图像进行下采样处理时,对R分量、G分量与B分量可以采用不同的线性滤波器。
在本申请的实施例中,由于第一算法(例如,高质量线性插值算法)对不同的颜色分量采用不同的线性滤波器;即对不同的颜色分量采用不同的权重,使得下采样处理后高频信息与低频信息的对比度增强,导致高频信息与低频信息无法自然过渡,导致第二图像中存在异色像素。
结合第一方面,在第一方面的某些实现方式中,所述第二算法为对所述第一颜色空间中不同颜色分量采用相同权重值的下采样算法。
在一种可能的实现方式中,第二算法可以包括V2H2下采样处理,在基于V2H2下采样处理对第一图像(例如,原始Raw图像)进行下采样处理时,对R分量、G分量与B分量可以采用相同的权重值,即可以对Raw图像中的R像素、B像素与G像素进行加权取平均,得到第三图像(例如,下采样处理后的Raw图像)。
需要说明的是,由于V2H2下采样处理是通过加权取平均的方式将相邻的几个像素加权求和得到一个像素,从而得到降低分辨率的图像;由于在V2H2下采样处理中,对于高频信息与低频信息均对应相同的权重,会使得下采样处理后的图像中存在部分细节信息的损失;但是,由于高频信息与低频信息的权重值相同,下采样处理后不会使得高频信息与低频信息的对比度增强,因此通过V2H2下采样处理得到的缩小尺寸的Raw图像中不会出现异色图像区域。
第二方面,提供了一种电子设备,电子设备包括一个或多个处理器与存储器;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得电子设备执行:
运行相机应用程序;
获取第一图像,所述第一图像为第一颜色空间的图像;
基于第一算法对所述第一图像进行下采样处理,得到第二图像;
基于第二算法对所述第一图像进行所述下采样处理,得到第三图像,所述第一算法与所述第二算法为不同的下采样处理算法;
基于所述第二图像与所述第三图像得到第一位置信息,所述第一位置信息用于指示所述第二图像中异色像素的像素位置,所述异色像素为与邻近像素的像素差值大于第一预设阈值的像素;
基于所述第一位置信息、所述第二图像与所述第一图像,得到第四图像,所述第四图像为去除所述异色图像区域的图像,所述第四图像的尺寸小于所述第一图像的尺寸;
显示或者保存所述第四图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
基于第一位置信息,得到所述第一图像中的第二位置信息;
基于所述第二位置信息与所述第一图像,得到第一像素信息;
基于所述第一像素信息与所述第二图像,得到所述第四图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
基于所述第一像素信息对所述第二图像中的所述异色像素进行替换处理,得到所述第四图像。
结合第二方面,在第二方面的某些实现方式中,所述第二图像的尺寸与所述第三图像的尺寸相同,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
对所述第二图像与所述第三图像进行作差,得到第五图像;
基于所述第五图像,得到所述第一位置信息。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
在所述第五图像中确定像素的颜色分量大于第二预设阈值的像素位置,得到所述第一位置信息。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
检测到所述电子设备所处拍摄环境的颜色对比度大于第三预设阈值。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
检测到所述电子设备所处的拍摄环境为夜景拍摄环境,所述夜景拍摄环境是指拍摄环境的亮度小于第四预设阈值的拍摄环境。
结合第二方面,在第二方面的某些实现方式中,所述第一算法为对所述第一颜色空间中不同颜色分量采用不同权重值的下采样算法。
结合第二方面,在第二方面的某些实现方式中,所述第二算法为对所述第一颜色空间中不同颜色分量采用相同权重值的下采样算法。
第三方面,提供了一种电子设备,包括用于执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法的模块/单元。
第四方面,提供一种电子设备,所述电子设备包括一个或多个处理器和存储器与;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
第五方面,提供了一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种图像处理方法。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
在本申请的实施例中,通过对第一图像执行两种不同的下采样处理算法可以得到下采样处理后的第二图像与第三图像;根据第二图像与第三图像可以得到第二图像中异色像素的第一位置信息;根据第一位置信息与第一图像可以对第二图像中的异色像素进行处理,得到去除异色像素的第四图像;由于第一图像为未经过处理得到图像,因此根据第一图像可以对第二图像中的异色像素进行处理,从而去除第二图像中的异色像素,得到去除异色像素的第四图像,提高图像质量。
附图说明
图1是一种适用于本申请的电子设备的硬件系统的示意图;
图2是一种适用于本申请的电子设备的软件系统的示意图;
图3是一种适用于本申请实施例的应用场景的示意图;
图4是一种适用于本申请实施例的图形用户界面的示意图;
图5是本申请实施例提供的一种图像处理方法的示意性流程图;
图6是本申请实施例提供的一种图像处理方法的示意性流程图;
图7是本申请实施例提供的一种根据高线性插值算法下采样处理的示意图;
图8是本申请实施例提供的一种V2H2下采样处理的示意图
图9是本申请实施例提供的一种图像处理方法的示意性流程图;
图10是本申请实施例提供的一种图像处理方法的示意性流程图;
图11是本申请实施例提供的一种图像处理方法的示意性流程图;
图12是一种适用于本申请实施例的图形用户界面的示意图;
图13是一种适用于本申请实施例的图形用户界面的示意图;
图14是一种适用于本申请实施例的图形用户界面的示意图;
图15是一种适用于本申请实施例的图形用户界面的示意图;
图16是一种适用于本申请实施例的图形用户界面的示意图;
图17是本申请实施例提供的一种电子设备的结构示意图;
图18是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请的实施例中,以下术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了便于对本申请实施例的理解,首先对本申请实施例中涉及的相关概念进行简要说明。
1.下采样
下采样是指缩小图像尺寸的图像处理算法;例如,对于一幅图像I尺寸为M*N,对其进行S倍下采样,即得到(M/S)*(N/S)尺寸的分辨率图像。
2.高质量线性插值算法(High-quality Linear Interpolation,HQLI)
高质量线性插值算法是指对不同的颜色分量基于不同的线性滤波器对缺失的颜色分量进行估计的算法。
应理解,高质量线性插值算法在对缺失的颜色分量进行估计时,通过采用该颜色通道现有的值以及与该颜色分量相邻的像素的值估计缺失的颜色分量。
3.隔行隔列(V2H2)下采样处理
V2H2下采样处理是指将同一通道中隔行隔列的四个像素加权取平均得到一个像素的算法。
4.照度
照度是反映光照强度的一种单位,其物理意义是照射到单位面积上的光通量,照度的单位是每平方的流明(Lm)数,也可以称为勒克斯(Lux)。
5.亮度值(Lighting Value,LV)
亮度值用于估计环境亮度,其具体计算公式如下:
Figure BDA0003869419760000061
其中,Exposure为曝光时间;Aperture为光圈大小;Iso为感光度;Luma为图像在XYZ颜色空间中,Y的平均值。
图1示出了一种适用于本申请的电子设备的硬件系统。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、投影仪等等,本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
需要说明的是,图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图1所示的部件更多或更少的部件,或者,电子设备100可以包括图1所示的部件中某些部件的组合,或者,电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。
示例性地,处理器110可以包括一个或多个处理单元。例如,处理器110可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。例如,处理器110可以包括以下接口中的至少一个:内部集成电路(inter-integrated circuit,I2C)接口、内部集成电路音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制(pulse codemodulation,PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purpose input/output,GPIO)接口、SIM接口、USB接口。
示例性地,在本申请的实施例中,处理器110可以用于执行本申请实施例提供的图像处理方法;例如,行相机应用程序;获取第一图像,第一图像为第一颜色空间的图像;基于第一算法对第一图像进行下采样处理,得到第二图像;基于第二算法对第一图像进行下采样处理,得到第三图像,第一算法与第二算法不同;基于第二图像与第三图像得到第一位置信息,第一位置信息用于指示第二图像中异色像素的像素位置,异色像素为与邻近像素的像素差值大于第一预设阈值的像素;基于第一位置信息、第二图像与第一图像,得到第四图像,第四图像为去除异色图像区域的图像,第四图像的尺寸小于第一图像的尺寸;显示或者保存第四图像。
图1所示的各模块间的连接关系只是示意性说明,并不构成对电子设备100的各模块间的连接关系的限定。可选地,电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。
可选地,显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、迷你发光二极管(mini light-emitting diode,Mini LED)、微型发光二极管(micro light-emitting diode,Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes,QLED)。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
示例性地,电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
示例性地,ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过摄像头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头193中。
示例性地,摄像头193(也可以称为镜头)用于捕获静态图像或视频。可以通过应用程序指令触发开启,实现拍照功能,如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头,通过滤光片,最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可以称为待拍摄场景、目标场景,也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像;滤光片主要是用于将光线中的多余光波(例如除可见光外的光波,如红外)滤去;图像传感器可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor,CMOS)光电晶体管。图像传感器主要是用于对接收到的光信号进行光电转换,转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。
示例性地,数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
示例性地,视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
示例性地,陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如,当快门被按下时,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
示例性地,加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态,作为横竖屏切换和计步器等应用程序的输入参数。
示例性地,距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,例如在拍摄场景中,电子设备100可以利用距离传感器180F测距以实现快速对焦。
示例性地,环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
示例性地,指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
示例性地,触摸传感器180K,也称为触控器件。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,并且与显示屏194设置于不同的位置。
上文详细描述了电子设备100的硬件系统,下面介绍电子设备100的软件系统。
图2是本申请实施例提供的电子设备的软件系统的示意图。
如图2所示,系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
应用层210可以包括相机应用程序。
可选地,应用层210还可以包括图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
应用框架层220为应用程序层的应用程序提供应用程序编程接口(applicationprogramming interface,API)和编程框架;应用程序框架层可以包括一些预定义的函数。
例如,应用框架层220可以包括相机访问接口;相机访问接口中可以包括相机管理与相机设备。其中,相机管理可以用于提供管理相机的访问接口;相机设备可以用于提供访问相机的接口。
硬件抽象层230用于将硬件抽象化。比如,硬件抽象层可以包括相机硬件抽象层以及其他硬件设备抽象层;相机抽象层中可以包括相机设备1、相机设备2等;相机硬件抽象层可以与相机算法库相连接,相机硬件抽象层可以调用相机算法库中的算法。
示例性地,相机算法库中可以包括图像处理算法;运行图像处理算法,可以执行本申请实施例提供的图像处理方法。
驱动层240用于为不同硬件设备提供驱动。比如,驱动层可以包括相机设备驱动。
硬件层250可以包括图像传感器、图像信号处理器以及其他硬件设备。
目前,电子设备在图像采集时,通常由电子设备中的图像传感器采集原始图像;电子设备对原始图像进行图像处理后输出处理后的图像;由于图像传感器采集的原始图像的尺寸通常较大,因此需要先对原始图像进行下采样处理,再对下采样处理后的原始图像进行图像处理;目前,为了减少下采样后原始图像中的细节损失,通常采用高质量线性插值算法(High-quality Linear Interpolation,HQLI)对原始图像进行下采样处理;但是,对于高质量线性插值算法处理后的原始图像,在进行颜色空间转换处理(例如,去马赛克处理)后图像中会出现异色图像区域。例如,在高对比度的拍摄场景中,图像中高亮区域的边缘与较暗区域的边缘会出现局部异色像素;例如,在夜景拍摄场景中,在高亮区域的边缘会出现局部像素偏红、局部像素区域偏色,或者局部像素出现其他偏色,导致图像中出现局部异色图像区域。
需要说明的是,异色图像区域是指图像中颜色偏差较大的像素所在的图像区域;与偏色图像区域相比,异色图像区域中像素的偏差较大。
有鉴于此,本申请的实施例提供了一种图像处理方法和电子设备;在本申请的实施例中,通过对第一图像执行两种不同的下采样处理算法可以分别得到下采样处理后的第二图像与第三图像;根据第二图像与第三图像可以得到第二图像中异色像素的第一位置信息;根据第一位置信息与第一图像可以对第二图像中的异色像素进行处理,得到去除异色像素的第四图像;由于第一图像为未经过处理的图像,因此根据第一图像可以对第二图像中的异色像素进行处理,从而去除第二图像中的异色像素,得到去除异色像素的第四图像,提高图像质量。
图3是本申请实施例提供的图像处理方法的应用场景的示意图。
示例性地,本申请实施例中的图像处理方法可以应用于录制视频领域;通过本申请实施例提供的图像处理方法,在高对比度的拍摄环境中(例如,夜景拍摄环境)录制视频时,能够去除图像中的异色图像区域,提高视频质量。
应理解,为了确保下采样处理后的Raw图像中的细节信息损失较小,通常采用高质量线性插值算法对图像传感器采集的Raw图像进行下采样处理;由于在进行下采样处理时,高质量线性插值算法对应于R像素、G像素与B像素采用不同的权重值,导致下采样处理后图像中的高频信息与低频信息的对比度增强,使得高频信息与低频信息无法自然过渡;由于高频信息与低频信息无法自然过渡,因此图像中出现局部像素偏紫、局部像素偏红或者局部像素的其他偏色问题,即图像中出现了异色图像区域;通过本申请实施例中的图像处理方法能够去除图像中的异色图像区域,提高图像质量。
示例性地,本申请的图像处理方法可以应用于夜景拍摄场景中录制视频;如图3所示,在夜景拍摄环境中包括拍摄对象260与拍摄对象270;其中,拍摄对象260可以为路灯,拍摄对象270可以为树木;图3所示的显示界面为电子设备的录像预览显示界面,由于通常采用高质量线性插值算法对图像传感器采集的Raw图像进行下采样处理,导致图像中出现异色图像区域。
可选地,在录像显示界面中的预览图像中包括异色图像区域。
可选地,在电子设备的录像控件被触发,电子设备生成视频;例如,如图4所示,在夜景拍摄场景中,在高亮区域的边缘会出现局部偏色区域280;其中,局部偏色280可以是指局部像素偏红、局部像素区域偏色,或者局部像素出现其他偏色等。
可选地,在本申请实施例中提供的图像处理方法应用于录制视频场景中时,电子设备用于执行:运行相机应用程序;获取第一图像流,第一图像流为第一颜色空间的图像流;基于第一算法对第一图像流进行下采样处理,得到第二图像流;基于第二算法对第一图像流进行下采样处理,得到第三图像流,第一算法与第二算法不同;基于第二图像流与第三图像流得到第一位置信息,第一位置信息用于指示第二图像流中异色像素的像素位置,异色像素为与邻近像素的像素差值大于第一预设阈值的像素;基于第一位置信息、第二图像与第一图像,得到第四图像,第四图像流为去除异色图像区域的图像流,第四图像流的尺寸小于第一图像流的尺寸;显示或者保存第四图像流。
应理解,第一图像流中包括如图5所示的第一图像,第二图像流中包括第二图像,第三图像流中包括第三图像,第四图像流中包括第四图像。
可选地,本申请实施例提供的图像处理方法可以应用于拍照领域;通过本申请实施例提供的图像处理方法,在高对比度的拍摄环境中(例如,夜景拍摄环境)拍照时,能够去除图像中的异色图像区域,提高图像质量。
可选地,本申请实施例中的图像处理方法还可以应用于录制视频领域、视频通话领域或者其他图像处理领域。
可选地,在本申请实施例中提供的图像处理方法应用于拍照场景中时,电子设备用于执行:获取第一图像,第一图像为第一颜色空间的图像;基于第一算法对第一图像进行下采样处理,得到第二图像;基于第二算法对第一图像进行下采样处理,得到第三图像,第一算法与第二算法不同;基于第二图像与第三图像得到第一位置信息,第一位置信息用于指示第二图像中异色像素的像素位置,异色像素为与邻近像素的像素差值大于第一预设阈值的像素;基于第一位置信息、第二图像与第一图像,得到第四图像,第四图像为去除异色图像区域的图像,第四图像的尺寸小于第一图像的尺寸;显示或者保存第四图像。
示例性地,视频通话场景可以包括但不限于以下场景中:
视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、人像智能运镜应用场景、系统相机录像功能录制视频、视频监控,或者智能猫眼等人像拍摄类场景等。
可选地,本申请实施例中的图像处理方法还可以适用于预览场景,预览场景包括但不限于以下场景中:
拍照预览、光圈预览、夜景预览、人像预览、录像预览、多镜录像预览或者专业预览等。
应理解,预览场景可以是指电子设备在某个拍摄模式下,未点击指示拍摄的按钮之前电子设备采集图像的场景。
应理解,上述为对应用场景的举例说明,并不对本申请的应用场景作任何限定。
下面结合图5至图16对本申请实施例提供的图像处理方法进行详细地描述。
图5是本申请实施例提供的一种图像处理方法的示意性流程图。该方法300包括可以由图1所示的电子设备执行;该方法300包括步骤S310至步骤S370,下面分别对步骤S310至步骤S370进行详细地描述。
步骤S310、运行相机应用程序。
示例性地,用户可以通过单击“相机”应用程序的图标,指示电子设备运行相机应用;或者,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备运行相机应用。又或者,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备运行相机应用程序。又或者,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备运行相机应用程序。例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备运行相机应用程序等。
应理解,上述为对运行相机应用程序的操作的举例说明;还可以通过语音指示操作,或者其它操作的指示电子设备运行相机应用程序;本申请对此不作任何限定。
还应理解,运行相机应用程序可以是指启动相机应用程序。
步骤S320、获取第一图像。
其中,第一图像为第一颜色空间的图像;第一颜色空间可以是在Raw颜色空间。
可选地,第一图像可以为原始Raw图像;例如,原始Raw图像可以为图像传感器采集的全尺寸的Raw图像。
示例性地,假设电子设备中相机模组(例如,摄像头)支持的最大分辨率为4096*2160,则图像传感器采集的第一图像为分辨率可以为4096*2160的Raw图像。
应理解,由于第一图像的分辨率较大,因此通常可以对第一图像进行下采样处理后得到缩小尺寸的Raw图像;对缩小尺寸的Raw图像进行图像处理,从而降低电子设备的功耗。
步骤S330、基于第一算法对第一图像进行下采样处理,得到第二图像。
可选地,第一算法为对第一颜色空间中不同颜色分量采用不同权重值的下采样算法。
示例性地,第一算法可以包括高质量线性插值算法,在基于高质量线性插值算法对原始Raw图像进行下采样处理时,对R分量、G分量与B分量可以采用不同的线性滤波器,如图后续7所示。
在本申请的实施例中,由于高质量线性插值算法对不同的颜色分量采用不同的线性滤波器;即对不同的颜色分量采用不同的权重,使得下采样处理后高频信息与低频信息的对比度增强,导致高频信息与低频信息无法自然过渡;因此,在对下采样处理后的Raw图像进行去马赛克处理后,图像中会出现明显的异色图像区域,如图4所示;其中,异色图像区域可以是指图像中出现局部像素偏红、局部像素区域偏紫色,或者局部像素出现其他偏色等图像区域。
应理解,上述以第一算法为高质量线性插值算法进行举例说明;第一算法还可以是其他进行下采样处理后导致图像中引入异色图像区域的下采样算法,本申请对此不作任何限定。
步骤S340、基于第二算法对第一图像进行下采样处理,得到第三图像。
其中,第二算法与第一算法为不同的下采样处理算法。
可选地,第二算法为对第一颜色空间中不同颜色分量采用相同权重值的下采样算法。
示例性地,第二算法可以包括V2H2下采样处理,在基于V2H2下采样处理对原始Raw图像进行下采样处理时,对R分量、G分量与B分量可以采用相同的权重值,即可以对Raw图像中的R像素、B像素与G像素进行加权取平均,得到下采样处理后的Raw图像,如图后续8所示。
需要说明的是,由于V2H2下采样处理是通过加权取平均的方式将相邻的几个像素合加权求和得到一个像素,从而得到降低分辨率的图像;由于在V2H2下采样处理中,对于高频信息与低频信息均对应相同的权重,会使得下采样处理后的图像中存在部分细节信息的损失;但是,由于高频信息与低频信息的权重值相同,下采样处理后不会使得高频信息与低频信息的对比度增强,因此通过V2H2下采样处理得到的缩小尺寸的Raw图像中不会出现异色图像区域。
应理解,上述以第二算法为V2H2下采样算法进行举例说明;第二算法为对Raw图像中不同颜色分量采用相同权重值的下采样算法;第二算法还可以是其他进行下采样处理算法,本申请对此不作任何限定。
可选地,步骤S330与步骤S340可以同时执行;或者,步骤S330与步骤S340可以一前一后执行,本申请对此不作任何限定。
步骤S350、基于第二图像与第三图像得到第一位置信息。
其中,第一位置信息用于指示第二图像中异色像素的像素位置,异色像素为与邻近像素的像素差值大于第一预设阈值的像素。
应理解,异色像素可以是指局部偏色像素,即图像中出现局部与图像整体风格或者内容不相符的像素;在本申请的实施例中,异色像素所在的图像区域可以是指异色图像区域。
示例性地,异色像素可以是指图像中出现局部像素偏紫、局部像素偏红或者局部像素的其他偏色等问题,如图4所示的图像区域280。
需要说明的是,第二图像与第三图像为基于不同的下采样处理算法对第一图像进行下采样处理后得到的图像;根据第二图像与第三图像之间的差异可以确定第二图像中是否存在异色图像区域,即确定第二图像中是否包括异色像素;例如,若第二图像与第三图像之间的差异较小,则说明第二图像中不存在异色图像区域;若第二图像与第三图像中存在差异较大的图像区域,则说明第二图像中存在异色图像区域,从而确定第二图像中异色像素的第一位置信息。
应理解,异色像素可以是指第二图像中离散的像素点;或者,异色像素也可以是指第二图像中连续的像素点。
可选地,第二图像的尺寸与第三图像的尺寸相同,基于所述第二图像与第三图像得到第一位置信息,包括:
对第二图像与第三图像进行作差,得到第五图像;基于第五图像,得到第一位置信息。
示例性地,在第五图像中确定像素的颜色分量大于第二预设阈值的像素位置,得到第一位置信息。
在本申请的实施例中,可以对第二图像与第三图像进行作差,得到差值图像即第五图像;若差值图像中某个像素位置的像素值大于第二预设阈值,可以表示第二图像与第三图像在该像素位置的差异较大,则该像素位置的像素为异色像素。
示例性地,可以对第二图像与第三图像进行逐像素作差,得到第五图像。
示例性地,可以基于等间隔像素对第二图像与第三图像进行作差,得到第五图像。
步骤S360、基于第一位置信息、第二图像与第一图像,得到第四图像。
其中,第四图像为去除异色图像区域的图像,第四图像的尺寸小于第一图像的尺寸。
应理解,基于第一位置信息可以得到第二图像中的异色像素的像素位置;第一图像可以为原始的Raw图像,基于第一图像中的像素可以对第二图像中异色像素进行处理,从而得到去除异色像素的第四图像。
可选地,基于第一位置信息、第二图像与第一图像,得到第四图像,包括:
基于第一位置信息,得到第一图像中的第二位置信息;基于第二位置信息与第一图像,得到第一像素信息;基于第一像素信息与第二图像,得到第四图像。
示例性地,可以将第二图像中的第一位置信息映射到第一图像中,得到第一图像中的第二坐标位置;根据第一图像中的第二坐标位置,得到第一像素信息;根据第一像素信息对第二图像进行处理,可以得到去除异色像素的第四图像。
应理解,根据第二图像中的第一位置信息,可以得到第一图像的第二位置信息;例如,第一位置信息为(x1,y1);由于第二图像为对第一图像进行下采样处理后得到的图像;因此,可以将(x1,y1)映射至第一图像,得到第二位置信息(x2,y2);根据第二位置信息(x2,y2)可以在第一图像中获取第一像素信息。可选地,基于第一像素信息与第二图像,得到第四图像,包括:
基于第一像素信息对第二图像中的异色像素进行替换处理,得到第四图像。
在本申请的实施例中,由于第一图像为图像传感器采集的未经过处理的图像;因此,原始图像中不存在异色图像区域;通过将下采样处理后的图像中的异色像素的坐标映射至原始图像中,获取原始图像中该坐标位置的像素信息;基于原始图像中的像素信息对异色像素进行替换处理,从而得到去除异色像素的下采样处理后的图像。
示例性地,可以选取第一像素信息中的全部像素对第二图像中的异色像素进行替换,得到去除异色像素的第四图像。
例如,假设第二图像中的异色像素包括第一像素、第二像素与第三像素;第一像素在第二图像中的位置信息为第一坐标;第二像素在第二图像中的位置信息为第二坐标;第三像素在第二图像中的位置信息为第三坐标;将第一坐标映射至第一图像中,可以得到坐标1;根据坐标1可以获取第一图像中的像素1;基于像素1可以对第二图像中的第一像素进行替换;类似地,将第二坐标映射至第一图像中,可以得到坐标2;根据坐标2可以获取第一图像中的像素2;基于像素2可以对第二图像中的第二像素进行替换;类似地,将第三坐标映射至第一图像中,可以得到坐标3;根据坐标3可以获取第一图像中的像素3;基于像素3可以对第二图像中的第三像素进行替换;在本申请的实施例中,从而去除第二图像中的异色像素。
示例性地,可以选取第一像素信息中的部分对第二图像中的异色像素进行替换处理,得到去除异色像素的第四图像。
示例性地,根据对第一像素信息与第二图像中的异色像素进行融合处理,得到去除异色像素的第四图像。
应理解,上述为举例说明,本申请对基于第一像素信息与第二图像,得到第四图像的具体实现方式不作任何限定。
步骤S370、显示或者保存第四图像。
可选地,在电子设备处于预览状态时,可以显示第四图像;或者,在电子设备处于预览状态时,可以显示第四图像流,并且保存第四图像。
示例性地,预览状态可以包括普通预览状态与录制预览状态;例如,普通预览状态是指在相机应用程序中,在点击拍照的控件或者录制视频的控件之前,取景框内实时显示预览图像;或者,普通预览状态也可以是指在视频通话应用程序中,取景框内实时显示的视频通话的预览图像;录制预览状态可以是指在点击相机应用程序中的录制视频的控件之后,在录制界面中取景框中实时显示的录制预览图像。
可选地,在电子设备处于录制状态时,可以保存第四图像。
可选地,上述方法还包括:
检测到电子设备所处拍摄环境的颜色对比度大于第三预设阈值。
在本申请的实施例中,电子设备可以检测所处的拍摄环境是否为颜色对比度较高的拍摄环境;由于在颜色对比度较高的环境中,容易出现异色像素;因此,电子设备在执行本申请实施例提供的图像处理方法之前可以先检测当前的拍摄环境是否为颜色对比度较高的拍摄环境。
可选地,上述方法还包括:
检测到电子设备所处的拍摄环境为夜景拍摄环境,夜景拍摄环境是指拍摄环境的亮度小于第四预设阈值的拍摄环境。
需要说明的是,由于在电子设备所处的拍摄环境为夜景拍摄环境的情况下,拍摄环境的亮度较低,在第二图像(例如,下采样处理后的Raw图像)的高亮区域的边缘部分容易出现异色像素的问题;因此,在本申请的实施例中电子设备可以检测所处的拍摄场景是否为夜景拍摄环境;在电子设备所处的拍摄环境为夜景拍摄环境的情况下,触发电子设备执行本申请实施例提供的图像处理方法去除第二图像中的异色像素,得到去除异色像素的第四图像。
可选地,在本申请的实施例中,电子设备可以检测照度值(例如,Lux index);若照度值大于第一预设阈值时,则表示电子设备所处的拍摄环境为夜景拍摄环境。
应理解,通常情况下照度值越大,表示拍摄环境的亮度越低。
可选地,在本申请的实施例中,电子设备可以检测亮度值;若亮度值小于第二预设阈值的情况下,则表示电子设备所处的拍摄环境为夜景拍摄环境。
例如,亮度值的具体计算公式如下:
Figure BDA0003869419760000151
其中,Exposure为曝光时间;Aperture为光圈大小;Iso为感光度;Luma为图像在XYZ颜色空间中,Y的平均值。
应理解,通常情况下亮度值越小,表示拍摄环境的亮度越低。
可选地,在本申请的实施例中,若电子设备检测到指示开启夜景模式的操作,则表示电子设备所处的拍摄环境为夜景拍摄环境。
在本申请的实施例中,通过对第一图像执行两种不同的下采样处理算法可以得到下采样处理后的第二图像与第三图像;根据第二图像与第三图像可以得到第二图像中异色像素的第一位置信息;根据第一位置信息与第一图像可以对第二图像中的异色像素进行处理,得到去除异色像素的第四图像;由于第一图像为未经过处理的图像,因此根据第一图像可以对第二图像中的异色像素进行处理,从而去除第二图像中的异色像素,得到去除异色像素的第四图像,提高图像质量。
下面结合图6至图11对本申请实施例提供的图像处理方法的多种实现方式进行举例描述。
实现方式一
可选地,在本申请的实施例中,在电子设备检测到所处的拍摄环境为夜景拍摄环境,且检测到下采样处理后的Raw图像中包括异色图像区域的情况下,电子设备可以执行本申请实施例提供的图像处理方法;换而言之,在电子设备检测到所处的拍摄环境为夜景拍摄环境,且检测到下采样处理后的Raw图像中包括异色图像区域的情况下,通过本申请实施例的图像处理方法能够去除下采样Raw图像中的异色图像区域,从而解决下采样处理Raw图像中的异色问题。
图6是本申请实施例提供的一种图像处理方法的示意性流程图。该方法400包括可以由图1所示的电子设备执行;该方法400包括步骤S410至步骤S450,下面分别对步骤S410至步骤S450进行详细的描述。
步骤S410、运行相机应用程序。
示例性地,用户可以通过单击“相机”应用程序的图标,指示电子设备运行相机应用;或者,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备运行相机应用。又或者,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备运行相机应用程序。又或者,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备运行相机应用程序。例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备运行相机应用程序等。
应理解,上述为对运行相机应用程序的操作的举例说明;还可以通过语音指示操作,或者其它操作的指示电子设备运行相机应用程序;本申请对此不作任何限定。
还应理解,运行相机应用程序可以是指启动相机应用程序。
步骤S420、检测到开启录像模式的操作。
可选地,在电子设备应用于录像场景中,运行相机应用程序后电子设备可以先默认开启拍摄模式;检测到指示录像模式的操作后,电子设备开启录像模式。
示例性地,在电子设备运行相机应用程序后,电子设备检测到对录像控件的点击操作,响应于点击操作,电子设备运行录像模式。
应理解,上述在电子设备处于录像场景的举例说明;可选地,本申请的实施例也可以应用于拍照场景;在电子设备应用于拍照场景中,运行相机应用程序后电子设备可以默认开启拍照模式。
步骤S430、检测到电子设备所处的拍摄环境为夜景拍摄环境。
可选地,在本申请的实施例中,电子设备可以检测照度值(例如,Lux index);若照度值大于第一预设阈值时,则表示电子设备所处的拍摄环境为夜景拍摄环境。
应理解,通常情况下照度值越大,表示拍摄环境的亮度越低。
可选地,在本申请的实施例中,电子设备可以检测亮度值;若亮度值小于第二预设阈值的情况下,则表示电子设备所处的拍摄环境为夜景拍摄环境。
例如,亮度值的具体计算公式如下:
Figure BDA0003869419760000161
其中,Exposure为曝光时间;Aperture为光圈大小;Iso为感光度;Luma为图像在XYZ颜色空间中,Y的平均值。
应理解,通常情况下亮度值越小,表示拍摄环境的亮度越低。
可选地,在本申请的实施例中,若电子设备检测到指示开启夜景模式的操作,则表示电子设备所处的拍摄环境为夜景拍摄环境。
应理解,由于在电子设备所处的拍摄环境为夜景拍摄环境的情况下,拍摄环境的亮度较低,在下采样处理后的Raw图像的高亮区域的边缘部分容易出现异色图像区域的问题;因此,在本申请的实施例中,在对下采样的Raw图像中的异色图像区域进行处理之前,电子设备可以检测所处的拍摄场景是否为夜景拍摄场景。
步骤S440、检测到下采样处理后的Raw图像中包括异色图像区域。
可选地,图像传感器采集的Raw图像为未经过电子设备处理的Raw图像;换而言之,图像传感器采集的第一Raw图像可以是指原始Raw图像;通常情况下,原始Raw图像的分辨率较大,为了减小电子设备图像处理的功耗,通常会对原始Raw图像进行下采样处理得到缩小分辨率的Raw图像;对缩小分辨率的Raw图像进行图像处理。
示例性地,原始Raw图像可以为全尺寸的Raw图像;假设,电子设备中相机模组(例如,摄像头)支持的最大分辨率为4096*2160,则图像传感器采集的第一Raw图像为分辨率可以为4096*2160的Raw图像;下采样处理后的Raw图像的分辨率小于4096*2160。
可选地,在本申请的实施例中,为了确保下采样后的Raw图像中具有较小的细节信息;通常采用高质量线性插值算法对原始Raw图像进行下采样处理,得到处理后的Raw图像。
在本申请的实施例中,下采样的Raw图像可以为根据第一下采样处理算法(例如,高质量线性插值算法)得到的缩小分辨率的Raw图像;由于第一下采样处理算法在进行下采样处理时,对不同像素可以采用不同的权重值,因此使得下采样处理后的Raw图像中高频信息的损失较小,能够确保下采样后图像中的细节信息。
示例性地,以第一下采样处理为高质量线性插值算法进行举例说明;图7为采用高质量线性插值算法进行下采样处理的示意图;如图7中的(a)所示为8×8分辨率的原始Raw图像;原始Raw图像中的区域460表示滑动窗口的大小;图7中的(b)表示绿色分量(G)的线性滤波器;图7中的(c)表示蓝色分量(B)的线性滤波器;可以采用滑动窗口、绿色分量的线性滤波器与蓝色分量的线性滤波器,基于间隔步长为1像素对原始Raw图像进行遍历,得到绿色分量(如图7中的(d)所示)、红色分量(如图7中的(e)所示)与蓝色分量(如图7中的(f)所示);对绿色分量(G)、红色分量(R)与蓝色分量(B)进行插值,得到下采样后的Raw图像(如图7中的(g)所示)。
应理解,由于高质量线性插值算法对不同的颜色分量采用不同的线性滤波器;即对不同的颜色分量采用不同的权重,使得下采样处理后高频信息与低频信息的对比度增强,导致高频信息与低频信息无法自然过渡;因此,在对下采样处理后的Raw图像进行去马赛克处理后,图像中会出现明显的异色图像区域,如图4所示;其中,异色图像区域可以是指图像中出现局部像素偏红、局部像素区域偏紫色,或者局部像素出现其他偏色等图像区域。
可选地,检测到下采样处理后的Raw图像中的异色图像区域的实现方式可以参见图9所示的步骤S504至步骤S505的相关描述,此处不再赘述。
步骤S450、对下采样处理后的Raw图像中的异色图像区域进行处理,得到去除异色图像区域的Raw图像。
示例性地,可以将异色图像区域的坐标映射到原始Raw图像中,获取原始Raw图像中像素;采用原始Raw图像中的局部像素替换下采样处理后的Raw图像中的异色图像区域的像素,得到去除异色图像区域的Raw图像。
应理解,由于原始Raw图像为图像传感器采集的未经过处理的Raw图像;因此,原始Raw图像中不存在异色图像区域;通过将下采样处理后的Raw图像中的异色图像区域的坐标映射至原始Raw图像中,获取原始Raw图像中该图像区域的像素;基于原始Raw图像中的局部像素对下采样处理后的Raw图像中的异色图像区域像素进行替换处理,从而得到去除异色图像区域的下采样处理后的Raw图像。
下面结合图9对本申请实施例提供的图像处理方法进行详细描述。图9是本申请实施例提供的一种图像处理方法的示意性流程图。该方法500包括可以由图1所示的电子设备执行;该方法500包括步骤S501至步骤S509,下面分别对步骤S501至步骤S509进行详细的描述。
应理解,图9所示的示意图中以第一算法为高质量线性插值算法,第二算法为V2H2下采样处理算法进行举例说明。
应理解,第一算法为对Raw颜色空间中不同颜色分量采用不同权重值的下采样算法;第二算法为对Raw颜色空间中不同颜色分量采用相同权重值的下采样算法;本申请对第一算法与第二算法不作任何限定。
步骤S501、运行相机应用程序。
可选地,运行相机应用程序的实现方式可以参见图6中的步骤S410的相关描述,此处不再赘述。
可选地,在电子设备应用于录制视频的场景中,相机应用程序运行后检测到指示开启录像模式的操作,则电子设备可以运行录像模式。
步骤S502、检测到开启录像模式的操作。
可选地,在电子设备应用于录像场景中,运行相机应用程序后电子设备可以先默认开启拍摄模式;检测到指示录像模式的操作后,电子设备开启录像模式。
示例性地,在电子设备运行相机应用程序后,电子设备检测到对录像控件的点击操作,响应于点击操作,电子设备运行录像模式。
应理解,上述在电子设备处于录像场景的举例说明;可选地,本申请的实施例也可以应用于拍照场景;在电子设备应用于拍照场景中,运行相机应用程序后电子设备可以默认开启拍照模式。
步骤S503、检测到拍摄环境为夜景拍摄环境。
可选地,在本申请的实施例中,电子设备可以检测照度值(例如,Lux index);若照度值大于第一预设阈值,则电子设备所处的拍摄环境为夜景拍摄环境。
应理解,通常情况下照度值越大,表示拍摄环境的亮度越低。
可选地,在本申请的实施例中,电子设备可以检测亮度值;若亮度值小于第二预设阈值,则电子设备所处的拍摄环境为夜景拍摄环境。
例如,亮度值的具体计算公式如下:
Figure BDA0003869419760000181
其中,Exposure为曝光时间;Aperture为光圈大小;Iso为感光度;Luma为图像在XYZ颜色空间中,Y的平均值。
应理解,通常情况下亮度值越小,表示拍摄环境的亮度越低。
可选地,若电子设备可以检测到用户指示开启夜景模式的操作,则电子设备所处的拍摄环境为夜景拍摄环境。
在本申请的实施例中,由于在电子设备所处的拍摄环境为夜景拍摄环境的情况下,拍摄环境的亮度较低,在Raw图像的高亮区域的边缘部分容易出现异色图像区域的问题;因此,在本申请的实施例中,在执行本申请的图像处理方法之前,电子设备可以检测所处的拍摄场景是否为夜景拍摄场景。
步骤S504、获取图像传感器采集的第一Raw图像。
可选地,第一Raw图像可以为原始Raw图像;例如,原始Raw图像可以为图像传感器采集的全尺寸的Raw图像。
示例性地,假设电子设备中相机模组(例如,摄像头)支持的最大分辨率为4096*2160,则图像传感器采集的第一Raw图像为分辨率可以为4096*2160的Raw图像。
应理解,由于第一Raw图像的分辨率较大,因此通常可以对第一Raw图像进行下采样处理后得到缩小尺寸的Raw图像;对缩小尺寸的Raw图像进行图像处理,从而降低电子设备的功耗。
步骤S505、基于高质量线性插值算法对第一Raw图像进行下采样处理,得到第二Raw图像。
示例性地,高质量线性插值算法的实现过程如图7所示。
在一个示例中,可以根据高质量线性插值算法对图像传感器采集的原始Raw图像进行下采样处理,得到缩小尺寸的第二Raw图像。
步骤S506、基于V2H2下采样处理算法对第一Raw图像进行下采样处理,得到第三Raw图像。
示例性地,如图8所示的为V2H2下采样处理算法的实现过程;图8中的(a)表示原始Raw图像,原始Raw图像中的区域470表示滑动窗口的大小;根据滑动窗口对窗口内的不同通道的分量进行加权求和,可以得到如图8中的(b)所示红色分量(R),如图8中的(c)所示绿色分量(G),以及如图8中的(d)所示的蓝色分量(B);对绿色分量、红色分量与蓝色分量进行插值,得到下采样后的Raw图像(如图8中的(e)所示)。
应理解,V2H2的下采样处理是通过加权取平均的方式将相邻的几个像素加权求和得到一个像素,从而得到降低分辨率的图像;由于在第二算法中,对于高频信息与低频信息均对应相同的权重,会使得下采样处理后的图像中存在部分细节信息的损失;但是,由于高频信息与低频信息的权重值相同,下采样处理后不会使得高频信息与低频信息的对比度增强,因此通过V2H2的下采样处理得到的缩小尺寸的Raw图像中不会出现异色图像区域。
可选地,第二Raw图像的分辨率与第三Raw图像的分辨率相同。
步骤S507、对第二Raw图像与第三Raw图像进行作差,得到第四Raw图像。
示例性地,可以对第二Raw图像与第三Raw图像进行逐像素作差,得到差值图像;该差值图像即为第四Raw图像。
步骤S508、基于预设阈值与第四Raw图像,得到异色图像区域的位置信息。
示例性地,根据预设阈值可以对第四Raw图像的各个颜色分量进行筛选,得到异色像素的坐标信息。
应理解,第二Raw图像与第三Raw图像为基于不同的下采样处理算法对同一Raw图像进行下采样处理后得到的缩小尺寸的Raw图像;对第二Raw图像与第三Raw图像作差,得到第四Raw图像;若第四Raw图像中出现像素大于预设阈值的目标像素,则表示在第二Raw图像与第三Raw图像中该目标像素所在的图像区域之间的差异较大;因此,该目标像素所在的图像区域则为异色图像区域。
示例性地,可以基于预设阈值对第四Raw图像中的像素进行遍历,若第四Raw图像中的像素大于预设阈值,则表示该像素为异色图像区域中的像素;从而确定异色图像区域的位置信息;该位置信息可以为第二Raw图像中异色图像区域的位置信息。
可选地,由于第二Raw图像为对第一Raw图像进行下采样处理后得到的缩小尺寸的Raw图像;因此,基于第二Raw图像中异色图像区域的位置信息进行坐标映射可以得到第一Raw图像中的图像区域,即可以将异色图像区域的坐标映射至第一Raw图像。
步骤S509、基于第一Raw图像对第二Raw图像中的异色图像区域进行处理,得到去除异色图像区域的Raw图像。
示例性地,可以将异色图像区域的位置信息映射至第一Raw图像中,得到第一Raw图像中的目标图像区域;基于目标图像区域的像素对第二Raw图像中异色图像区域中的像素进行替换,得到去除异色图像区域的Raw图像。
在本申请的实施例中,第二Raw图像为根据高质量线性插值算法得到的缩小尺寸的Raw图像;由于高质量线性插值算法在进行下采样时,对不同像素可以采用不同的权重值,因此使得下采样处理后的图像中高频信息的损失较小,能够确保下采样后图像中的细节信息;第一Raw图像为图像传感器采集的未经处理的原始Raw图像;因此,第一Raw图像中不存在由于下采样处理引入的高频信息与低频信息的对比度增强的问题,即第一Raw图像中不存在异色图像区域;在本申请的实施例中,基于第一Raw图像中的像素可以对第二Raw图像中的异色图像区域的像素进行替换处理,从而确保下采样处理后的Raw图像为细节信息较好,且不存在异色图像区域的Raw图像;提高图像质量。
实现方式二
可选地,在本申请的实施例中,在电子设备检测到下采样处理后的Raw图像中包括异色图像区域之后,电子设备可以对下采样的Raw图像中的异色图像区域进行处理,得到去除异色图像区域的Raw图像;结合图10与图11进行详细的描述。
应理解,本申请实施例中的图像处理方法也可以适用于非夜景拍摄环境;基于本申请实施例中的图像处理方法,电子设备可以检测下采样处理后的Raw图像中是否存在异色图像区域;在下采样处理后的Raw图像中包括异色图像区域的情况下,电子设备可以对下采样处理后的Raw图像中的异色图像区域进行处理,得到去除异色图像区域的下采样Raw图像。
可选地,本申请实施例提供的图像处理方法还可以应用于正常亮度的拍摄场景;例如,在室内拍摄场景中,拍摄对象包括相邻的黑色拍摄对象与白色拍摄对象;由于黑色拍摄对象与白色拍摄对象之间的颜色对比度较大,则下采样处理后的Raw图像中也可能出现异色图像区域;在可以通过本申请实施例的图像处理方法对下采样处理后的Raw图像中的异色图像区域进行处理,得到去除异色图像区域的下采样Raw图像。
图10是本申请实施例提供的一种图像处理方法的示意性流程图。该方法600包括可以由图1所示的电子设备执行;该方法600包括步骤S610至步骤S640,下面分别对步骤S610至步骤S640进行详细的描述。
步骤S610、运行相机应用程序。
步骤S620、检测到开启录像模式的操作。
步骤S630、检测到下采样处理后的Raw图像中包括异色图像区域。
步骤S640、对下采样处理后的Raw图像中的异色图像区域进行处理,得到去除异色图像区域的Raw图像。
可选地,图10中与图6中相同的部分可以参见图6中的相关描述,此处不再赘述。
图11是本申请实施例提供的一种图像处理方法的示意性流程图。该方法700包括可以由图1所示的电子设备执行;该方法700包括步骤S701至步骤S708,下面分别对步骤S701至步骤S708进行详细的描述。
步骤S701、运行相机应用程序。
步骤S702、检测到开启录像模式的操作。
步骤S703、获取图像传感器采集的第一Raw图像。
步骤S704、对第一Raw图像进行第一下采样处理,得到第二Raw图像。
步骤S705、对第一Raw图像进行第二下采样处理,得到第三Raw图像。
步骤S706、对第二Raw图像与第三Raw图像进行作差,得到第四Raw图像。
步骤S707、基于预设阈值与第四Raw图像,得到异色图像区域的位置信息。
步骤S708、基于第一Raw图像对第二Raw图像中的异色图像区域进行处理,得到去除异色图像区域的Raw图像。
可选地,图11中与图9中相同的部分可以参见图9中的相关描述,此处不再赘述。
下面结合图12至图16对电子设备在录像场景中执行本申请实施例的图像处理方法的界面示意图进行举例描述。
示例一
可选地,在本申请的实施例中运行相机应用程序后,电子设备的显示屏中显示预览图像,预览图像中包括异色图像区域;在电子设备检测到用户点击设置控件开启智能夜景模式后,可以执行本申请实施例提供的图像处理方法,即能够去除图像中的异色图像区域,显示去除异色图像区域的预览图像。
示例性地,如图12所示,图12中的(a)所示的图形用户界面(graphical userinterface,GUI)为电子设备的桌面801;电子设备检测到用户点击桌面801上的相机应用程序的控件802,如图12中的(b)所示;在电子设备检测到用户点击桌面801上的相机应用程序的控件802之后,电子设备运行相机应用程序;运行相机应用程序后,电子设备可以显示拍照预览界面803;拍照预览界面803中包括预览图像,预览图像中包括异色图像区域804;异色图像区域804中的圆形可以表示像素偏红、像素偏紫或者其他偏色;拍照预览界面803中还包括录像的控件805,如图12中的(c)所示;电子设备检测到用户点击控件805的操作,如图12中的(d)所示;当电子设备检测到用户点击控件805的操作之后,电子设备可以显示录像预览界面,如图13中的(a)所示;录像预览界面包括预览图像与设置的控件806;电子设备检测到用户点击控件806的操作,如图13中的(b)所示;在电子设备检测到用户点击控件806的操作之后,显示设置显示界面,如图13中的(c)所示;在设置显示界面中包括只能夜景的控件包括807;电子设备检测到用户点击控件807的操作,如图13中的(d)所示;在电子设备检测到用户点击控件807的操作之后,可以触发电子设备执行本申请实施例提供的图像处理方法,即电子设备能够去除预览图像中的异色图像区域。
示例性地,设置显示界面中包括控件808,如图14中的(a)所示;电子设备检测到用户点击控件808的操作,如图14中的(b)所示;在电子设备检测到用户点击控件808后,电子设备显示录像预览界面809;此时,录像预览界面809中的预览图像为去除异色图像区域的预览图像,如图14中的(c)所示。
示例二
可选地,在本申请的实施例中运行相机应用程序后,电子设备的显示屏中显示预览图像,预览图像中包括异色图像区域;在电子设备检测到开启人工智能拍摄模式的操作,可以执行本申请实施例提供的图像处理方法,即能够去除图像中的异色图像区域,显示去除异色图像区域的预览图像。
示例性地,如图15所示,图15中的(a)所示的图形用户界面(graphical userinterface,GUI)为电子设备的桌面901;电子设备检测到用户点击桌面901上的相机应用程序的控件902,如图15中的(b)所示;在电子设备检测到用户点击桌面901上的相机应用程序的控件902之后,电子设备运行相机应用程序;运行相机应用程序后,电子设备可以显示拍照预览界面903;拍照预览界面903中包括预览图像,预览图像中包括异色图像区域904;异色图像区域904中的圆形可以表示像素偏红、像素偏紫或者其他偏色;拍照预览界面903中还包括人工智能拍摄模式的控件905,如图15中的(c)所示;电子设备检测到用户点击控件905的操作,如图15中的(d)所示;当电子设备检测到用户点击控件905的操作之后,电子设备可以运行本申请实施例提供的图像处理方法,显示拍照预览界面906,如图16中的(a)所示;拍照预览界面906中的预览图像为通过本申请实施例提供的图像处理方法去除异色图像区域的预览图像;拍照预览界面906中包括录像的控件907;电子设备检测到用户点击控件907的操作,如图16中的(b)所示;在电子设备检测到用户点击控件907的操作之后,电子设备可以显示录像预览界面908,如图16中的(c)所示。
需要说明的是,上述为对电子设备应用于录像场景的显示界面进行举例说明,本申请对此不作任何限定。
应理解,上述举例说明是为了帮助本领域技术人员理解本申请实施例,而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明,显然可以进行各种等价的修改或变化,这样的修改或变化也落入本申请实施例的范围内。
上文结合图1至图16详细描述了本申请实施例提供的图像处理方法;下面将结合图17至图18详细描述本申请的装置实施例。应理解,本申请实施例中的装置可以执行前述本申请实施例的各种方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图17是本申请实施例提供的一种电子设备的结构示意图。该电子设备1000包括处理模块1010与获取模块1020。
其中,处理模块1010用于运行相机应用程序;获取模块1020用于获取第一图像,所述第一图像为第一颜色空间的图像;处理模块1010还用于获取第一图像,所述第一图像为第一颜色空间的图像;基于第一算法对所述第一图像进行下采样处理,得到第二图像;基于第二算法对所述第一图像进行所述下采样处理,得到第三图像,所述第一算法与所述第二算法不同;基于所述第二图像与所述第三图像得到第一位置信息,所述第一位置信息用于指示所述第二图像中异色像素的像素位置,所述异色像素为与邻近像素的像素差值大于第一预设阈值的像素;基于所述第一位置信息、所述第二图像与所述第一图像,得到第四图像,所述第四图像为去除所述异色图像区域的图像,所述第四图像的尺寸小于所述第一图像的尺寸;显示或者保存所述第四图像。
可选地,作为一个实施例,所述处理模块1010具体用于:
基于第一位置信息,得到所述第一图像中的第二位置信息;
基于所述第二位置信息与所述第一图像,得到第一像素信息;
基于所述第一像素信息与所述第二图像,得到所述第四图像。
可选地,作为一个实施例,所述处理模块1010具体用于:
基于所述第一像素信息对所述第二图像中的所述异色像素进行替换处理,得到所述第四图像。
可选地,作为一个实施例,所述第二图像的尺寸与所述第三图像的尺寸相同,所述处理模块1010具体用于:
对所述第二图像与所述第三图像进行作差,得到第五图像;
基于所述第五图像,得到所述第一位置信息。
可选地,作为一个实施例,所述处理模块1010具体用于:
在所述第五图像中确定像素的颜色分量大于第二预设阈值的像素位置,得到所述第一位置信息。
可选地,作为一个实施例,所述处理模块1010还用于:
检测到所述电子设备所处拍摄环境的颜色对比度大于第三预设阈值。
可选地,作为一个实施例,所述处理模块1010还用于:
检测到所述电子设备所处的拍摄环境为夜景拍摄环境,所述夜景拍摄环境是指拍摄环境的亮度小于第四预设阈值的拍摄环境。
可选地,作为一个实施例,所述第一算法为对所述第一颜色空间中不同颜色分量采用不同权重值的下采样算法。
可选地,作为一个实施例,所述第二算法为对所述第一颜色空间中不同颜色分量采用相同权重值的下采样算法。
需要说明的是,上述电子设备1000以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
图18示出了本申请提供的一种电子设备的结构示意图。图18中的虚线表示该单元或该模块为可选的;电子设备1100可以用于实现上述方法实施例中描述的图像处理方法。
电子设备1100包括一个或多个处理器1101,该一个或多个处理器1101可支持电子设备1100实现方法实施例中的图像处理方法。处理器1101可以是通用处理器或者专用处理器。例如,处理器1101可以是中央处理器(central processing unit,CPU)、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件,如分立门、晶体管逻辑器件或分立硬件组件。
可选地,处理器1101可以用于对电子设备1100进行控制,执行软件程序,处理软件程序的数据。电子设备1100还可以包括通信单元1105,用以实现信号的输入(接收)和输出(发送)。
例如,电子设备1100可以是芯片,通信单元1105可以是该芯片的输入和/或输出电路,或者,通信单元1105可以是该芯片的通信接口,该芯片可以作为终端设备或其它电子设备的组成部分。
又例如,电子设备1100可以是终端设备,通信单元1105可以是该终端设备的收发器,或者,通信单元1105可以1100中可以包括一个或多个存储器1102,其上存有程序1104,程序1104可被处理器1101运行,生成指令1103,使得处理器1101根据指令1103执行上述方法实施例中描述的图像处理方法。
可选地,存储器1102中还可以存储有数据。
可选地,处理器1101还可以读取存储器1102中存储的数据,该数据可以与程序1104存储在相同的存储地址,该数据也可以与程序1104存储在不同的存储地址。
可选地,处理器1101和存储器1102可以单独设置,也可以集成在一起,例如,集成在终端设备的系统级芯片(system on chip,SOC)上。
示例性地,存储器1102可以用于存储本申请实施例中提供的图像处理方法的相关程序1104,处理器1101可以用于在执行图像处理方法时调用存储器1102中存储的图像处理方法的相关程序1104,执行本申请实施例的图像处理方法;例如,运行相机应用程序;获取第一图像,第一图像为第一颜色空间的图像;基于第一算法对第一图像进行下采样处理,得到第二图像;基于第二算法对第一图像进行下采样处理,得到第三图像,第一算法与第二算法不同;基于第二图像与第三图像得到第一位置信息,第一位置信息用于指示第二图像中异色像素的像素位置,异色像素为与邻近像素的像素差值大于第一预设阈值的像素;基于第一位置信息、第二图像与第一图像,得到第四图像,第四图像为去除异色图像区域的图像,第四图像的尺寸小于第一图像的尺寸;显示或者保存第四图像。
可选地,本申请还提供了一种计算机程序产品,该计算机程序产品被处理器1101执行时实现本申请中任一方法实施例中的图像处理方法。
例如,该计算机程序产品可以存储在存储器1102中,例如是程序1104,程序1104经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器1101执行的可执行目标文件。
可选地,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
例如,该计算机可读存储介质例如是存储器1102。存储器1102可以是易失性存储器或非易失性存储器,或者,存储器1102可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的电子设备的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法,其特征在于,应用于电子设备,包括:
运行相机应用程序;
获取第一图像,所述第一图像为第一颜色空间的图像;
基于第一算法对所述第一图像进行下采样处理,得到第二图像;
基于第二算法对所述第一图像进行所述下采样处理,得到第三图像,所述第一算法与所述第二算法为不同的下采样处理算法;
基于所述第二图像与所述第三图像得到第一位置信息,所述第一位置信息用于指示所述第二图像中异色像素的像素位置,所述异色像素为与邻近像素的像素差值大于第一预设阈值的像素;
基于所述第一位置信息、所述第二图像与所述第一图像,得到第四图像,所述第四图像为去除所述异色图像区域的图像,所述第四图像的尺寸小于所述第一图像的尺寸;
显示或者保存所述第四图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述基于所述第一位置信息、所述第二图像与所述第一图像,得到第四图像,包括:
基于第一位置信息,得到所述第一图像中的第二位置信息;
基于所述第二位置信息与所述第一图像,得到第一像素信息;
基于所述第一像素信息与所述第二图像,得到所述第四图像。
3.如权利要求2所述的图像处理方法,其特征在于,所述基于所述第一像素信息与所述第二图像,得到所述第四图像,包括:
基于所述第一像素信息对所述第二图像中的所述异色像素进行替换处理,得到所述第四图像。
4.如权利要求1至3中任一项所述的图像处理方法,其特征在于,所述第二图像的尺寸与所述第三图像的尺寸相同,所述基于所述第二图像与所述第三图像得到第一位置信息,包括:
对所述第二图像与所述第三图像进行作差,得到第五图像;
基于所述第五图像,得到所述第一位置信息。
5.如权利要求4所述的图像处理方法,其特征在于,所述基于所述第五图像,得到所述第一位置信息,包括:
在所述第五图像中确定像素的颜色分量大于第二预设阈值的像素位置,得到所述第一位置信息。
6.如权利要求1至5中任一项所述的图像处理方法,其特征在于,还包括:
检测到所述电子设备所处拍摄环境的颜色对比度大于第三预设阈值。
7.如权利要求1至5中任一项所述的图像处理方法,其特征在于,还包括:
检测到所述电子设备所处的拍摄环境为夜景拍摄环境,所述夜景拍摄环境是指拍摄环境的亮度小于第四预设阈值的拍摄环境。
8.如权利要求1至7中任一项所述的图像处理方法,其特征在于,所述第一算法为对所述第一颜色空间中不同颜色分量采用不同权重值的下采样算法。
9.如权利要求1至8中任一项所述的图像处理方法,其特征在于,所述第二算法为对所述第一颜色空间中不同颜色分量采用相同权重值的下采样算法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的方法。
11.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储了计算机程序,当所述计算机程序被处理器执行时,使得处理器执行权利要求1至9中任一项所述的方法。
CN202211191123.9A 2022-09-28 2022-09-28 图像处理方法和电子设备 Active CN115767290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211191123.9A CN115767290B (zh) 2022-09-28 2022-09-28 图像处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211191123.9A CN115767290B (zh) 2022-09-28 2022-09-28 图像处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN115767290A true CN115767290A (zh) 2023-03-07
CN115767290B CN115767290B (zh) 2023-09-29

Family

ID=85350464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211191123.9A Active CN115767290B (zh) 2022-09-28 2022-09-28 图像处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN115767290B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408927A (zh) * 2023-12-12 2024-01-16 荣耀终端有限公司 图像处理方法、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016203365A1 (en) * 2015-06-14 2017-01-05 Adobe Inc. Controlling smoothness of a transition between images
CN110602403A (zh) * 2019-09-23 2019-12-20 华为技术有限公司 一种暗光下拍照的方法及电子设备
CN111050143A (zh) * 2018-10-11 2020-04-21 华为技术有限公司 一种图像拍摄方法和终端设备
CN111327814A (zh) * 2018-12-17 2020-06-23 华为技术有限公司 一种图像处理的方法及电子设备
CN111899178A (zh) * 2020-08-18 2020-11-06 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
CN112135053A (zh) * 2020-09-25 2020-12-25 努比亚技术有限公司 图像处理方法、移动终端及计算机可读存储介质
CN112532855A (zh) * 2019-09-17 2021-03-19 华为技术有限公司 一种图像处理方法和装置
CN113132562A (zh) * 2021-04-21 2021-07-16 维沃移动通信有限公司 镜头阴影校正方法、装置及电子设备
WO2022089479A1 (zh) * 2020-10-30 2022-05-05 维沃移动通信(杭州)有限公司 拍照方法、装置及电子设备
WO2022127787A1 (zh) * 2020-12-18 2022-06-23 华为技术有限公司 一种图像显示的方法及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016203365A1 (en) * 2015-06-14 2017-01-05 Adobe Inc. Controlling smoothness of a transition between images
CN111050143A (zh) * 2018-10-11 2020-04-21 华为技术有限公司 一种图像拍摄方法和终端设备
CN111327814A (zh) * 2018-12-17 2020-06-23 华为技术有限公司 一种图像处理的方法及电子设备
CN112532855A (zh) * 2019-09-17 2021-03-19 华为技术有限公司 一种图像处理方法和装置
CN110602403A (zh) * 2019-09-23 2019-12-20 华为技术有限公司 一种暗光下拍照的方法及电子设备
CN111899178A (zh) * 2020-08-18 2020-11-06 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
CN112135053A (zh) * 2020-09-25 2020-12-25 努比亚技术有限公司 图像处理方法、移动终端及计算机可读存储介质
WO2022089479A1 (zh) * 2020-10-30 2022-05-05 维沃移动通信(杭州)有限公司 拍照方法、装置及电子设备
WO2022127787A1 (zh) * 2020-12-18 2022-06-23 华为技术有限公司 一种图像显示的方法及电子设备
CN113132562A (zh) * 2021-04-21 2021-07-16 维沃移动通信有限公司 镜头阴影校正方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117408927A (zh) * 2023-12-12 2024-01-16 荣耀终端有限公司 图像处理方法、设备及存储介质

Also Published As

Publication number Publication date
CN115767290B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
WO2023015981A1 (zh) 图像处理方法及其相关设备
CN116744120B (zh) 图像处理方法和电子设备
WO2024045670A1 (zh) 生成高动态范围视频的方法和电子设备
WO2023130922A1 (zh) 图像处理方法与电子设备
WO2023160285A1 (zh) 视频处理方法和装置
CN115061770A (zh) 显示动态壁纸的方法和电子设备
CN115767290B (zh) 图像处理方法和电子设备
CN114390212B (zh) 拍照预览方法、电子设备以及存储介质
CN116668862B (zh) 图像处理方法与电子设备
WO2023060921A1 (zh) 图像处理方法与电子设备
WO2023040725A1 (zh) 白平衡处理方法与电子设备
CN116437198B (zh) 图像处理方法与电子设备
CN113891008B (zh) 一种曝光强度调节方法及相关设备
WO2021154807A1 (en) Sensor prioritization for composite image capture
CN115767287B (zh) 图像处理方法与电子设备
WO2023160221A1 (zh) 一种图像处理方法和电子设备
CN116723417B (zh) 一种图像处理方法和电子设备
CN115526786B (zh) 图像处理方法及其相关设备
CN115955611B (zh) 图像处理方法与电子设备
CN115633262B (zh) 图像处理方法和电子设备
WO2023124201A1 (zh) 图像处理方法与电子设备
CN115426458B (zh) 光源检测方法及其相关设备
CN116664701A (zh) 光照估计方法及其相关设备
CN117135293A (zh) 图像处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant