CN113132626A - 一种图像处理方法以及电子设备 - Google Patents
一种图像处理方法以及电子设备 Download PDFInfo
- Publication number
- CN113132626A CN113132626A CN202110328208.6A CN202110328208A CN113132626A CN 113132626 A CN113132626 A CN 113132626A CN 202110328208 A CN202110328208 A CN 202110328208A CN 113132626 A CN113132626 A CN 113132626A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- camera module
- parameter
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 386
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000006698 induction Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 37
- 230000000694 effects Effects 0.000 claims description 13
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 41
- 238000010586 diagram Methods 0.000 description 26
- 230000008859 change Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 12
- 238000005457 optimization Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- -1 process Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法以及电子设备。其中,所述方法包括:通过摄像头模组获得原始图像;所述原始图像,为外界光通过所述摄像头模组的镜头、在所述摄像头模组的感应阵列上形成的感应信号数组;获得与所述摄像头模组对应的图像处理参数;其中,所述图像处理参数,用于弥补所述摄像头模组对图像质量的影响;基于所述图像处理参数,对所述原始图像进行处理,获得目标图像;其中,所述目标图像的图像质量优于所述原始图像的图像质量。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种图像处理方法以及电子设备。
背景技术
在实际应用中,对图像的优化,通常是基于图像本身的像素或色彩特征进行的。这样的图像优化结果,并不能满足实际的图像处理需求。
发明内容
基于以上问题,本申请实施例提供了一种图像处理方法以及电子设备。
本申请实施例提供的图像处理方法,能够基于摄像头模组的图像处理参数,对通过摄像头模组获得的原始图像进行处理,获得目标图像,而图像处理参数能够客观的表征摄像头模组对光线的处理过程,因此通过图像处理参数能够客观的弥补摄像头模组对图像质量的影响,从而实现了根据摄像头模组本身的图像处理特性对原始图像的优化,也就是说,本申请实施例提供的图像处理方法,能够根据原始图像客观形成因素,对原始图像进行优化补偿,从而能够改善原始图像的优化效果,提升目标图像的图像质量。
本申请实施例提供的技术方案是这样的:
一种图像处理方法,所述方法包括:
通过摄像头模组获得原始图像;所述原始图像,为外界光通过所述摄像头模组的镜头、在所述摄像头模组的感应阵列上形成的感应信号数组;
获得与所述摄像头模组对应的图像处理参数;其中,所述图像处理参数,用于弥补所述摄像头模组对图像质量的影响;
基于所述图像处理参数,对所述原始图像进行处理,获得目标图像;其中,所述目标图像的图像质量优于所述原始图像的图像质量。
在一些实施方式中,所述图像处理参数包括多组处理参数;每组所述处理参数,包括多个处理数据;所述多组处理参数与多个处理区域之间具备第一关联关系;所述基于所述图像处理参数,对所述原始图像进行处理,获得目标图像包括:
基于多个所述处理区域分割所述原始图像,得到多个待处理图像区域;
基于所述处理参数,针对与所述处理参数对应的待处理图像区域进行补偿处理,得到区域图像补偿结果;
基于每个所述区域图像补偿结果,获得所述目标图像。
在一些实施方式中,所述方法还包括:
获得表征外界环境亮度的亮度参数;
所述获得与所述摄像头模组对应图像处理参数包括:
如果所述亮度参数大于亮度阈值,获得与所述摄像头模组对应的第一组合的图像处理参数;其中,所述第一组合的图像处理参数包括多组处理参数;
如果所述亮度参数小于或等于亮度阈值,获得与所述摄像头模组对应的第二组合的图像处理参数;其中,所述第二组合的图像处理参数包括多组处理参数;
与所述第二组合的图像处理参数对应的处理区域的数量,大于与所述第一组合的图像处理参数对应的处理区域的数量。
在一些实施方式中,所述镜头的视场范围,与多组处理参数之间具备第二关联关系。
在一些实施方式中,如果所述摄像头模组位于显示屏下方,所述图像处理参数,还用于弥补与所述摄像头模组对应的显示屏部分的物理结构对图像质量的影响。
在一些实施方式中,所述处理区域,为所述感应阵列上的物理区域,所述方法还包括:
获取所述图像处理参数的梯度信息;
基于所述图像处理参数的梯度信息,在所述感应阵列上划分所述处理区域。
在一些实施方式中,所述图像处理参数,包括第一光处理参数、以及第二光处理参数;所述第一光处理参数,为所述镜头对所述外界光的处理参数;所述第二光处理参数,覆盖所述镜头的物理组件对所述外界光的处理参数;所述获取所述图像处理参数的梯度信息,包括:
获取所述第一光处理参数的第一梯度信息、以及所述第二光处理参数的第二梯度信息;
基于所述第一梯度信息以及所述第二梯度信息,获取所述图像处理参数的梯度信息。
在一些实施方式中,所述处理区域,为所述感应阵列上的物理区域,所述方法还包括:
获取所述摄像头模组的结构参数;其中,所述摄像头模组的结构参数,至少包括所述摄像头模组的摄像头组件与所述感应阵列之间的距离范围;
基于所述摄像头模组的结构参数,在所述感应阵列上划分所述处理区域。
在一些实施方式中,所述处理区域,为所述感应阵列上的物理区域,所述方法还包括:
获取运算负载参数、以及图像显示参数;其中,所述运算负载参数,包括所述摄像头模组所属的电子设备的运算吞吐量;所述图像显示参数,包括所述电子设备的显示模组的分辨率参数;
基于所述运算负载参数和/或所述图像分辨率参数,在所述感应阵列上划分所述处理区域。
本申请实施例还提供了一种电子设备,所述电子设备包括:摄像头模组以及处理器;其中:
所述摄像头模组,用于感应通过所述摄像头模组的镜头的外界光,获得原始图像;其中,所述原始图像,形成在所述摄像头模组的感应阵列上;
所述处理器,用于获得与所述摄像头模组对应的图像处理参数;其中,所述图像处理参数,用于弥补所述摄像头模组对图像质量的影响;
所述处理器,还用于基于所述图像处理参数,对所述原始图像进行处理,获得目标图像;其中,所述目标图像的图像质量优于所述原始图像的图像质量。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时,能够实现如前任一实施例所述的图像处理方法。
本申请实施例提供的图像处理方法,能够获得摄像头模组对应的图像处理参数,并根据该图像处理参数,对通过摄像头模组获得的原始图像进行弥补处理,得到目标图像,以改善目标图像相对于原始图像的图像质量。由于摄像头模组的图像处理参数与原始图像的形成过程直接相关,因此,图像处理参数能够直接接影响原始图像的图像质量,所以,通过图像处理参数对原始图像进行处理,就能够改善摄像头模组中对原始图像的图像质量的影响,从而能够从根本上改善原始图像的图像质量。
附图说明
图1为本申请实施例提供的第一种图像处理方法的流程示意图;
图2为本申请实施例提供的第二种图像处理方法的流程示意图;
图3为相关技术中的屏下摄像头(Camera Under Display,CUD)模式下显示屏的划分结构示意图;
图4为相关技术中UDC模式下成像质量改变的第一原理示意图;
图5a为相关技术中UDC模式下成像质量改变的第二原理示意图;
图5b为相关技术中UDC模式下成像质量改变的第三原理示意图;
图6为本申请实施例获得的原始图像示意图;
图7a为本申请实施例提供的对原始图像进行划分得到第一待处理图像区域的原理示意图;
图7b为本申请实施例提供的对原始图像进行划分得到第二待处理图像区域的原理示意图;
图7c为本申请实施例提供的对原始图像进行划分得到第三待处理图像区域的原理示意图;
图7d为本申请实施例提供的对原始图像进行划分得到第四待处理图像区域的原理示意图;
图7e为本申请实施例提供的对原始图像进行划分得到第五待处理图像区域的原理示意图;
图8为本申请实施例提供的基于调制传递函数(Modulation Transfer Function,MTF)参数矩阵对原始图像进行处理得到目标图像的流程示意图;
图9为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请涉及数据处理领域,尤其涉及一种图像处理方法以及计算机可读存储介质。
在实际应用中,对图像的优化处理,通常都是通过各类软件算法或者软件工具,根据图像本身数据特征以及数据状态,对图像进行色彩优化、目标识别、边缘识别、修复拉伸等操作。然而,以上各种操作,都是根据图像本身的特性进行的,在图像本身的质量较差或者恶化严重的情况下,通过上述方式对图像进行的任何优化处理,所产生的改善程度都将是非常有限的。并且,上述图像优化过程,并不能反应出图像形成过程中的各种因素对图像质量的影响。
基于以上问题,本申请实施例提供了一种图像处理方法,该数据处理方法能够基于摄像头模组的图像处理参数,对通过摄像头模组获得的原始图像进行处理,获得目标图像,由于图像处理参数客观上反应了摄像头模组在原始图像形成过程中所发挥的作用,因此,通过图像处理参数对原始图像进行处理,就能够弥补摄像头模组对原始图像的图像质量的影响,也就是说,本申请实施例提供的图像处理方法,能够根据原始图像形成过程中的、摄像头模组的客观因素,对原始图像进行优化补偿,从而能够改善原始图像的优化效果,进而能够显著提升目标图像的图像质量。
需要说明的是,本申请实施例提供的图像处理方法,可以是由电子设备的处理器来实现的,上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable LogicDevice,PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。
图1为本申请实施例提供的第一种图像处理方法的流程示意图。如图1所示,该数据处理方法可以包括步骤101至步骤103:
步骤101、通过摄像头模组获得原始图像。
其中,原始图像,为外界光通过摄像头模组的镜头、在摄像头模组的感应阵列上形成的感应信号数组。
在一种实施方式中,摄像头模组,可以包括镜头、以及与镜头相对设置的感应阵列。示例性地,感应阵列,可以是图像传感器。
在一种实施方式中,摄像头模组,还可以包括数字信号处理芯片(Digital SignalProcessor,DSP),其中,DSP可以对感应阵列中的感应信号数组进行高速优化处理。
在一种实施方式中,摄像头模组的镜头,可以是标准镜头、广角镜头、长焦镜头、变焦镜头等。
在一种实施方式中,摄像头模组的镜头,可以覆盖有保护膜等,在这种情况下,保护膜也会对外界光的传播产生影响。
在一种实施方式中,感应信号数组,可以包括外界光在感应阵列上形成的所有感应信号。
在一种实施方式中,感应信号数组,可以包括外界光在感应阵列的指定区域形成的感应信号,示例性地,指定区域,可以为感应阵列的几何中心区域。
在一种实施方式中,原始图像的数量可以是一张。
在一种实施方式中,原始图像,可以包括通过摄像头模组连续采集的多张图像。
在一种实施方式中,外界光可以是以任意入射角度入射至镜头的。示例性地,对于同一镜头而言,不同的入射角度的光线的焦距,可以是不同的。
步骤102、获得与摄像头模组对应的图像处理参数。
其中,图像处理参数,用于弥补摄像头模组对图像质量的影响。
在一种实施方式中,图像处理参数,可以表示镜头质量的参数,比如,镜头对光线的透传程度、反射程度等。
在一种实施方式中,图像处理参数,可以表示镜头结构的参数,比如,镜头的凹凸程度、镜头的有效感光面积等。
在一种实施方式中,图像处理参数,可以表示镜头的物理成分的参数,比如镜头是由光学玻璃组成,还是由树脂组成。
在一种实施方式中,图像处理参数,可以表示镜头的光学特性参数,比如焦距、视场角度、相对孔径、光圈系数等。
在一种实施方式中,图像处理参数,可以表示镜头对外界光的处理能力参数。示例性地,镜头对外界光的处理能力参数,可以是通过镜头在一个毫米范围内能够呈现出的线条数量评估的。
在一种实施方式中,图像处理参数,可以与镜头的MTF参数相关。示例性地,MTF参数可以是以矩阵的形式表示的,也就是说,镜头上的每一个点,都具备对应的MTF参数。在实际应用中,MTF参数代表了镜头的分辨率,因此,该参数在图像形成的过程中发挥着重要的作用。
在本申请实施例中,为了弥补镜头对已经形成的原始图像的图像质量的影响,可以对MTF参数进行处理,得到图像处理参数。
在一种实施方式中,图像处理参数,可以是通过对MTF参数进行矩阵求逆得到的。
在一种实施方式中,弥补对图像质量的影响,可以是改善图像的清晰程度、增强图像亮度、改善图像对比度、凸显图像细节等。
步骤103、基于图像处理参数,对原始图像进行处理,获得目标图像。
其中,目标图像的图像质量优于原始图像的图像质量。
在一种实施方式中,基于图像处理参数,对原始图像进行处理,可以是通过以下任一方式进行的:
对图像处理参数对应的矩阵、以及与原始图像对应的数组或矩阵执行矩阵乘法计算,以实现对原始图像的修正。
确定修正参数对应的矩阵,基于修正参数对应的矩阵以及图像处理参数对应的矩阵,对原始图像对应的数组或矩阵进行修正。
在一种实施方式中,目标图像与原始图像的格式可以不同,比如,原始图像为*.jpg格式,目标图像为*.mp4格式。
在一种实施方式中,目标图像的数据量、与原始图像的数据量可以不同。示例性地,可以对至少两张原始图像进行合并优化处理,并根据合并优化处理的结果获得目标图像。
在一种实施方式中,至少两张原始图像,可以是摄像头模组连续采集的;至少两张原始图像,可以是携带有相同目标对象的相同或不同特征信息。比如,第一原始图像携带有目标对象的指定部位的正面特征信息,第二原始图像携带有目标对象的指定部位的侧面特征信息;此时,分别对第一原始图像以及第二原始图像进行优化处理,将处理后得到的正面特征信息与侧面特征信息进行融合拼接,就能够得到目标图像,此时目标图像中可以携带有清晰、且精细的指定部位的特征。
在一种实施方式中,目标图像的图像质量,可以包括目标图像的清晰度、分辨率、对比度、亮度等。相应地,目标图像的清晰度、分辨率、对比度、亮度等,可以优于原始图像的对应特征。
由以上可知,本申请实施例提供的图像处理方法,在获得摄像头模组对应的图像处理参数之后,能够根据图像处理参数,对通过摄像头模组获得的原始图像进行弥补处理,得到目标图像,以改善目标图像相对于原始图像的图像质量。由于摄像头模组的图像处理参数与原始图像的形成过程直接相关,其直接影响了原始图像的图像质量,因此,通过图像处理参数,就能够获得原始图像形成过程中对原始图像的干扰因素的影响程度,那么通过图像处理参数对原始图像进行处理,从而能够从客观上实现对原始图像的图像质量的实质性改善。
基于前述实施例,本申请实施例提供了第二种图像处理方法,图2为本申请实施例提供的第二种图像处理方法的流程示意图。如图2所示,该流程可以包括步骤201至步骤205:
步骤201、通过摄像头模组获得原始图像。
其中,原始图像,为外界光通过摄像头模组的镜头、在摄像头模组的感应阵列上形成的感应信号数组。
步骤202、获得与摄像头模组对应的图像处理参数。
其中,图像处理参数,用于弥补摄像头模组对图像质量的影响。
在本申请实施例中,图像处理参数包括多组处理参数;每组处理参数,包括多个处理数据;多组处理参数与多个处理区域之间具备第一关联关系。
在一种实施方式中,图像处理参数,可以仅包括一组图像处理参数,示例性地,唯一的一组图像处理参数,可以为镜头的MTF参数矩阵。
在一种实施方式中,图像处理参数所包括的多组处理参数,是通过对图像处理参数对应的矩阵进行分割而得到的。
相应地,每一组处理参数中,包含的多个处理数据,可以是图像处理参数矩阵中的多个矩阵元素,这些矩阵元素,在图像处理参数矩阵中可以是连续分布的。
在一种实施方式中,图像处理参数所包含的多组处理参数,可以是对图像处理参数矩阵进行矩阵分解而得到的。示例性地,矩阵分解可以包括三角分解、正交分解等。
在一种实施方式中,处理区域,可以为指定形状的;示例性地,指定形状可以是规则的几何形状。
在一种实施方式中,多个处理区域之间,可以是相邻的。
在一种实施方式中,第一关联关系,可以包括处理参数与处理区域之间的一一对应关系,比如,第一组处理参数,对应于第一处理区域;第N组处理参数,对应于第N处理区域;其中,N为大于1的整数。
在一种实施方式中,第一关联关系,可以包括处理参数与处理区域之间的多对多、或者多对一的对应关系。
步骤203、基于多个处理区域分割原始图像,得到多个待处理图像区域。
在一种实施方式中,原始图像的像素分布,可以是与感应阵列的分布一致的。
在一种实施方式中,原始图像的几何形状以及尺寸大小,可以是与感应阵列的几何形状以及尺寸大小一致的。
在一种实施方式中,原始图像,可以形成在感应阵列的中心区域,示例性地,原始图像,可以以规则的几何形状形成在感应阵列的中心区域中。
在一种实施方式中,待处理图像区域,可以是对原始图像进行划分得到的多个相邻的图像区域。
在一种实施方式中,待处理图像区域,可以是互不相邻的。
在一种实施方式中,待处理图像区域的数量,可以与处理区域的数量相等。
在一种实施方式中,待处理图像区域的形状,可以与处理区域的形状相同或相似。
在本申请实施例中,处理区域,为感应阵列上的物理区域。
在一种实施方式中,处理区域,可以为感应阵列上具备规则几何形状的物理区域。
在一种实施方式中,处理区域,可以为感应阵列上相互独立的物理区域。
在一种实施方式中,第K物理区域与第K+1物理区域,可以是相邻的;示例性地,第K物理区域的至少一个边缘,可以与第K+1物理区域的至少一个边缘相邻;示例性地,第K物理区域的每一边缘,可以与第K+1物理区域的每一边缘均紧密贴合。其中,K为大于0的整数。
在本申请实施例中,处理区域,可以是通过步骤A1至步骤A2获得:
步骤A1、获取图像处理参数的梯度信息。
在一种实施方式中,图像处理参数的梯度信息,可以与镜头的材质、做工、几何形状等密切相关。
在一种实施方式中,图像处理参数的梯度信息,可以是连续的,还可以是分段连续的。
在一种实施方式中,图像处理参数的梯度信息,能够表征镜头的各个区域对光线的处理能力的变化。
在一种实施方式中,镜头上呈几何对称关系的区域所对应的图像处理参数的梯度信息,可以是一致的。
在一种实施方式中,镜头上各个光入射点对应的图像处理参数的梯度信息,可以是各不相同的。
在一种实施方式中,图像处理参数的梯度信息,可以是携带有MTF参数信息的矩阵。
在一种实施方式中,图像处理参数的梯度信息,可以在镜头生产完成之后,就已经确定。
在一种实施方式中,图像处理参数的梯度信息,可以是通过对镜头的光线处理能力进行测试而获得的。
在本申请实施例中,图像处理参数,包括第一光处理参数、以及第二光处理参数;第一光处理参数,为镜头对外界光的处理参数;第二光处理参数,为覆盖镜头的物理组件对外界光的处理参数。
在一种实施方式中,第一光处理参数,可以表示镜头本身对外界光的处理参数。示例性地,第一光处理参数,可以为镜头的MTF参数对应的矩阵的逆矩阵。
在一种实施方式中,覆盖镜头的物理组件,可以为镜头的保护膜。
在一种实施方式中,覆盖镜头的物理组件,可以为用于对对入射至镜头的外界光进行初步处理的组件,比如,该物理组件,可以用于削弱以某个角度入射的逆光。
在一种实施方式中,覆盖镜头的物理组件,可以为用于对入射至镜头的外界光进行初步过滤的组件,比如,该物理组件可以过滤某个频率范围内的光谱。
在本申请实施例中,如果摄像头模组位于显示屏下方,上述物理组件,可以为覆盖摄像头模组的显示屏;相应地,图像处理参数,还用于弥补与摄像头模组对应的显示屏部分的物理结构对图像质量的影响。
摄像头模组位于显示屏下方的设置方式,对应于实际应用中的CUD。
图3为相关技术中的CUD模式下显示屏的划分结构示意图。
如图3所示,在CUD模式下,显示屏可以划分为两个区域即第一区域301、以及第二区域302。其中,第一区域301为显示屏的用于显示数据的区域,第二区域302为CUD区域,即该区域的内部对应设置有摄像头模组,在不需要采集图像的情况下,第二区域302能够与第一区域301同时实现数据显示功能;在需要采集图像的情况下,第二区域302不再显示数据,并切换至透光状态,从而能够接收外界光,然后将一定分量的外界光透传至摄像头模组。
在实际应用中,由于第二区域302需要实现数据显示功能,因此,在第二区域302对应的显示屏的内部空间,设置有用于显示数据的走线。当电子设备切换至图像采集状态,第二区域302对应的显示屏的内部空间设置的这些走线,会对入射至第二区域302的外界光产生一定的干扰,从而导致摄像头模组采集的图像的模糊化。
在一种实施方式中,与摄像头模组对应的显示屏部分的物理结构,可以包括显示屏中与摄像头模组对应设置的、上述走线的物理结构。示例性地,上述走线的物理结构,可以包括上述走线的密度、透光度、光感参数等。
图4为相关技术中UDC模式下成像质量改变的第一原理示意图。
在图4中,镜头401接收到的外界光,是已经被显示屏中与第二区域302对应设置的各种走线反射、折射、衍射之后的光线,因此,经过上述走线的干之后,这些光线在镜头401处的入射角变得随机和分散,当这些光线经过镜头401的处理之后,到达感应阵列402的感应信号的质量有明显下降。
图5a为相关技术中UDC模式下成像质量改变的第二原理示意图。
图5b为相关技术中UDC模式下成像质量改变的第三原理示意图。
在理想情况下,若入射光线未被上述走线严重干扰,那么,外界光入射至镜头401之后,在感应阵列402上的成像为图5a所示的规则的圆形,且圆形上的深色点阵,可以对应于不透光的走线的实际分布状态。而在实际应用中,由于上述走线对入射光的各种干扰作用,导致入射光线与镜头401之间的夹角更加随机,这相当于摄像头组件的入瞳发生了形变,而真正有效的入瞳则是入射光线在垂直于感应阵列402方向的投影,即如图5b所示,感应阵列402上的投影的形状、以及点阵之间的相对距离均发生了较为明显的变化,并且,整体点阵的清晰程度也下降明显。
在相关技术中,并不存在能够改善UDC模式下图像模式的有效方案,而本申请实施例提供的图像处理方法中,图像处理参数,可以包含第二区域302即UDC中的走线对外界光的衍射效应,那么,基于图像处理参数,对原始图像进行处理时,就能够削弱UDC的走线的衍射效应对图像采集的影响,从而能够弥补显示屏部分的物理结构对图像质量的影响。
相应地,在本申请实施例中,步骤A1中的获取图像处理参数的梯度信息,可以通过步骤B1至步骤B2实现:
步骤B1、获取第一光处理参数的第一梯度信息、以及第二光处理参数的第二梯度信息。
在一种实施方式中,第一光处理参数对应的第一矩阵、与第二光处理参数对应的第二矩阵的大小,可以是相同的。
在一种实施方式中,第一梯度信息,与第二梯度信息的变化规律,可以是一致的,示例性地,第一梯度信息、第二梯度信息,可以均表示摄像头模组的几何中心位置的光线透传效率的变化信息。
在一种实施方式中,第一梯度信息、与第二梯度信息的变化规律,可以是不同的。
在一种实施方式中,第一梯度信息与第二梯度信息,可以是在UDC模式设置完成之后就确定的。
步骤B2、基于第一梯度信息以及第二梯度信息,获取图像处理参数的梯度信息。
在一种实施方式中,基于第一梯度信息以及第二梯度信息,获取图像处理参数的梯度信息,可以是通过以下方式实现的:
对第一光处理参数对图像质量的改善程度或改善维度进行分析,得到第一数据;对第二光处理参数对图像质量的改善程度或改善维度进行分析,得到第二数据;根据第一数据以及第二数据,确定对第一梯度信息对应的第一权重、以及第二梯度信息对应的第二权重,然后根据第一权重以及第二权重,对第一梯度信息以及第二梯度信息进行加权计算,获得图像处理参数的梯度信息。
在一种实施方式中,第一光处理参数对图像质量的改善程度,与第二光处理参数对图像质量的改善程度可以不同。
在一种实施方式中,第一光处理参数对图像质量的改善维度,与第二光处理参数对图像质量的改善维度也可以不同。比如,第一光处理参数能够改善图像的清晰度;第二光处理参数能够改善图像的亮度。
在一种实施方式中,基于第一梯度信息以及第二梯度信息,获取图像处理参数的梯度信息,还可以是通过以下任一方式实现的:
将第一梯度信息与第二梯度信息中的元素进行对应叠加运算,获取图像处理参数的梯度信息。
对覆盖镜头的物理组件的光学特性参数进行分析,确定环境参数对该物理组件的图像处理效果产生明显影响的第一阈值;在环境参数对应的实际数值大于或等于第一阈值的情况下,基于第一梯度信息以及第二梯度信息,获取图像处理参数的梯度信息;反之,在环境参数对应的实际数值小于第一阈值的情况下,基于第一梯度信息,获取图像处理参数的梯度信息。
在本申请实施例中,图像处理参数的梯度信息,不仅包括镜头对应的第一梯度信息,还包括覆盖镜头的物理组件对应的第二梯度信息。如此,通过上述图像处理参数对原始图像进行处理时,充分考虑了镜头本身、以及覆盖镜头的物理组件对外界光传输过程、对原始图像形成过程的影响,从而能够客观而全面的改善目标图像的图像质量。
在本申请实施例中,在处理区域为感应阵列上的物理区域的情况下,本申请实施例所提供的图像处理方法,还可以包括步骤C1至步骤C2:
步骤C1、获取摄像头模组的结构参数。
其中,摄像头模组的结构参数,至少包括摄像头模组的摄像头组件与感应阵列之间的距离范围。
在一种实施方式中,摄像头组件,可以包括镜头。
在一种实施方式中,摄像头组件与感应阵列之间的距离范围,可以是摄像头组件的几何中心位置,与感应阵列的几何中心位置之间的距离的范围。
在一种实施方式中,摄像头组件与感应阵列之间的距离范围,对于摄像头模组而言,可以是固定的,示例性,摄像头组件与感应阵列之间的实际距离,可以随着摄像头组件的机械移动而改变,比如,对摄像头模组的调焦操作,可以改变摄像头组件与感应组件之间的距离。
步骤C2、基于摄像头模组的结构参数,在感应阵列上划分处理区域。
在一种实施方式中,步骤C2可以是通过以下方式实现的:
基于摄像头组件与感应组件之间的实际距离、以及摄像头模组的结构参数,在感应阵列上划分处理区域。
示例性地,结构参数中的每一距离数值,对图像质量的影响程度是可以通过测量确定的,因此,根据实际距离、与结构参数中的焦距的大小,就可以确定实际距离对图像质量的影响程度,然后再根据该影响程度,确定如何处理区域的划分。比如,当实际距离大于焦距时,实际距离对于图像质量的影响较为明显,此时可以划分多个处理区域。
在一种实施方式中,步骤C2可以是通过以下方式实现的:
基于摄像头模组的结构参数、摄像头组件的光学参数以及感应组件的光学参数,在感应阵列上划分处理区域。
示例性地,摄像头组件的光学参数,可以是由摄像头组件的材料、工艺、立体几何形状等因素确定的。
示例性地,感应组件的光学参数,可以包括感应组件对光线的感应速度、对不同强度的光线的感应效果等。
示例性地,根据摄像头组件的光学参数以及感应组件的光学参数,可以确定摄像头组件处理外界光后得到的第一光线,以及感应组件得到较好质量的原始图像的所需要的第二光线。
示例性地,根据第一光线、第二光线以及摄像头模组的结构参数,可以确定在感应阵列上如何划分处理区域。比如,在第一光线的强度,小于第二光线的强度的情况下,可以结合摄像头模组的结构参数对第一光线强度的影响,确定在感应阵列上划分较多的处理区域,以削弱第一光线强度较弱对图像质量的影响。
在本申请实施例中,在处理区域为感应阵列上的物理区域的情况下,本申请实施例所提供的图像处理方法,还可以包括步骤D1至步骤D2:
步骤D1、获取运算负载参数、以及图像显示参数。
其中,运算负载参数,包括摄像头模组所属的电子设备的运算吞吐量;图像显示参数,包括电子设备的显示模组的分辨率参数。
在一种实施方式中,电子设备,可以是移动电子设备,比如智能手机。
在一种实施方式中,电子设备,可以是计算机设备,比如笔记本计算机。
在一种实施方式中,电子设备中可以集成有摄像头模组。
在一种实施方式中,摄像头模组,是设置在电子设备之外的,电子设备与摄像头模组之间可以建立通信连接。
在一种实施方式中,运算负载参数,可以表示电子设备运算吞吐量的瞬时峰值、或者运算吞吐量的平均值。
在一种实施方式中,显示模组,可以包括电子设备的显示屏幕。
在一种实施方式中,图像显示参数,可以包括电子设备能够输出的颜色范围、分辨率等。其中,颜色范围,可以包括是以黑白灰色输出,还是以彩色输出。
步骤D2、基于运算负载参数和/或图像分辨率参数,在感应阵列上划分处理区域。
在一种实施方式中,基于运算负载参数,在感应阵列上划分处理区域,可以是通过以下方式实现的:
基于运算负载参数,确定电子设备的处理器在单位时间内能够执行的运算次数,然后根据上述运算次数,在感应阵列上划分处理区域。示例性地,若上述运算次数小于或等于第二阈值,则可以在感应阵列上划分数量较少的处理区域,相应地,对图像处理参数划分得到的处理参数的组数,也可以相应较少;反之,若上述运算次数大于第二阈值,则可以在感应阵列上划分数量较多的处理区域,相应地,对图像处理参数划分得到的处理参数的组数,也可以相对较多。
通过以上操作,本申请实施例提供的图像处理方法对图像处理所依据的处理区域,能够与电子设备的处理能力运算能力相吻合,从而降低了图像处理的数据量超过电子设备的运算能力而产生的卡顿、或者图像处理失败的概率。
在一种实施方式中,基于图像分辨率参数,在感应阵列上划分处理区域,可以是通过以下方式实现的:
基于图像分辨率参数,确定电子设备的显示模组能够显示的数据量,在该数据量小于或等于第三阈值的情况下,可以在感应阵列上划分数量较少的处理区域;反之,在数据量大于第三阈值的情况下,可以在感应阵列上划分数量较多的处理区域。
通过以上操作,本申请实施例提供的图像处理方法使得对图像处理的结果,能够与电子设备的显示组件的显示能力相匹配,从而降低了前期对图像进行了精细的处理,但是处理完成的目标图像无法正常加载显示的概率。
在一种实施方式中,基于运算负载参数和图像分辨率参数,在感应阵列上划分处理区域,可以是通过以下方式实现的:
基于运算负载参数和图像分辨率参数,确定电子设备能够支持的图像数据处理数量,然后根据图像数据处理数量,确定在感应阵列上划分的处理区域的数量。示例性地,若图像数据处理数量大于或等于第四阈值,则可以在感应阵列上划分较多的处理区域;反之,则可以划分数量较少的处理区域。
通过以上操作,本申请实施例提供的图像处理方法,在对处理区域划分时,能够在考虑电子设备的分辨率参数的条件下,兼顾电子设备的运算负载参数,从而能够根据电子设备的多个维度的、与图像处理相关的参数,改善图像质量,从而提高了图像质量改善的效果,降低了图像质量改善过程中异常的出现概率。
需要说明的是,上述第二阈值、第三阈值以及第四阈值,可以是固定设置在电子设备中的,还可以是可调整的。
步骤A2、基于图像处理参数的梯度信息,在感应阵列上划分处理区域。
在一种实施方式中,基于图像处理参数的梯度信息,在感应阵列上划分处理区域,可以是通过以下任一方式实现的:
确定图像处理参数中梯度信息的变化规律,根据梯度信息的变化规律,在感应阵列上划分处理区域。
对图像处理参数的梯度信息进行统计,设定第五阈值,将梯度信息小于第五阈值的图像处理参数、对应的感应阵列上的连续区域划分为一个处理区域,将梯度信息大于或等于第五阈值的图像处理参数、对应的感应阵列的连续区域划分为另一个处理区域;示例性地,第五阈值的具体数值,可以根据实际的图像采集的需求、或者用户的选择而设定。
在本申请实施例中,多个处理区域,可以是以感应阵列的几何中心为中心的一组同心几何形状。比如,多个处理区域,可以是以感应阵列的几何中心为中心的圆环。
步骤204、基于处理参数,针对与处理参数对应的待处理图像区域进行补偿处理,得到区域图像补偿结果。
在一种实施方式中,步骤204,可以是通过以下方式实现的:
获取与处理参数对应的待处理图像区域的像素信息;基于处理参数,对上述像素信息矩阵或数组执行乘法计算,从而得到区域图像补偿结果。
示例性地,上述乘法计算过程中,还可以添加权重参数,其中,权重参数,用于改变处理参数对待处理图像区域的弥补程度。
示例性地,不同的待处理图像区域对应的权重参数,可以不同。
在一种实施方式中,区域图像补偿结果,可以是与待处理图像区域的形状和大小均匹配的图像数据。
本申请实施例提供的图像处理方法,还可以包括以下操作:
获取表征外界环境亮度的亮度参数。
在一种实施方式中,亮度参数,可以是外界环境亮度的瞬时亮度参数。
在一种实施方式中,亮度参数,可以表示外接环境亮度在指定时间内的平均亮度。
在本申请实施例中,如果亮度参数大于亮度阈值,获得与摄像头模组对应的第一组合的图像处理参数;如果亮度参数小于或等于亮度阈值,获得与摄像头模组对应的第二组合的图像处理参数。
其中,第一组合的图像处理参数包括多组处理参数;第二组合的图像处理参数包括多组处理参数;并且,与第二组合的图像处理参数对应的处理区域的数量,大于与第一组合的图像处理参数对应的处理区域的数量。
在一种实施方式中,亮度阈值,可以是固定设置在摄像头模组中的。
在一种实施方式中,亮度阈值,可以随着摄像头模组的使用时间而改变,比如随着镜头材质的老化,亮度阈值,可以自适应的调整。
在本申请实施例中,第二组合的图像处理参数对应的处理区域的数量,大于第一组合的图像处理参数对应的处理区域的数量,这样,在环境光亮度较低的情况下,根据数量较多的处理区域,可以确定数量较多的待处理图像区域,相应地,根据数量较多的处理参数,对对应的待处理图像区域进行处理,从而能够更加精细的弥补摄像头模组对图像质量的影响,进而改善目标图像的质量。
在本申请实施例中,镜头的视场范围,与多组处理参数之间具备第二关联关系。
在实际应用中,摄像头模组的镜头获取外界光、然后获得原始图像的过程,与外界光的入射角度有密切关系。在外界光的入射角度位于镜头的视场范围内时,镜头才能采集到外界光并传输至感应阵列;反之,若外界光的入射角度位于镜头的视场范围之外时,镜头无法采集到外界光。
在本申请实施例中,多组处理参数,还能够用于评估不同入射角度的外界光对图像质量的影响;在实际应用中,可以对镜头的MTF参数矩阵进行划分,得到多个MTF子矩阵,这些子矩阵能够反应出不同的角度的入射光线被感应至感应阵列上的感应信号的变化。
在一种实施方式中,第二关联关系,可以表示镜头的视场范围内的、以指定步进角度为单位的入射角度、与MTF参数矩阵之间的对应关系。示例性地,指定步进角度,可以为5度或者10度;示例性地,指定步进角度,可以是可调的。
在一种实施方式中,镜头的视场范围内的第一入射角度,可以对应第一MTF参数矩阵;第二入射角度,可以对应第二MTF参数矩阵。
相应地,为了弥补镜头对第一入射角度的入射光的感应效果,可以将第一MTF参数矩阵采用前述实施例相似的方法进行划分,得到多个第一MTF子参数矩阵,然后基于多个第一MTF子参数矩阵,对原始图像划分得到的多个待处理图像区域进行处理,从而得到图像质量改善后的目标图像。
在本申请实施例中,在采集到外界光时,可以初步判断出外界光的入射角度,然后根据入射角度与第二关联关系中视场范围的匹配程度,确定对应的图像处理参数,然后再根据对应的图像处理参数,对该角度入射的外界光对应的原始图像进行优化。如此,根据外界光的入射角度确定对应的图像处理参数,从而能够实现针对性更强的图像优化,能够更好的改善目标图像的图像质量。
步骤205、基于每个区域图像补偿结果,获得目标图像。
在一种实施方式中,目标图像,可以是通过以下方式获得的:
将每个区域图像补偿结果拼接起来,得到目标图像。
获取每一区域图像补偿结果的边缘信息,根据边缘信息以及每一区域图像补偿结果,得到目标图像。
示例性地,每一区域图像补偿结果的边缘信息,可以包括每一区域图像补偿结果的像素信息、以及像素的坐标信息。
示例性地,根据像素的坐标信息,可以确定区域图像补偿结果之间的拼接方式;根据区域图像补偿结果的像素信息,可以确定在拼接多个区域图像补偿结果的时候,是否需要对边缘位置的像素信息执行像素平滑处理,以减少目标图像中像素梯度过大的问题。
图6为本申请实施例获得的原始图像示意图。
明显,图6所示的原始图像的清晰度较弱,不同目标对象之间的区分度也不够明显。
图7a至图7e,为本申请实施例提供的对原始图像进行划分得到第一待处理图像区域至第五待处理图像区域的原理示意图。
如图7a所示,第一待处理图像区域,可以是以原始图像的几何中心为中心的圆形区域;如图7b所示,第二待处理图像区域,可以与第一待处理图像区域的中心为相同几何中心的环形区域;图7c至图7e分别示出了与第一待处理图像区域的中心为几何中心的第三待处理图像区域、第四待处理图像区域以及第五待处理图像区域。
从图7a至图7e可以看出,不同的待处理图像区域所携带的特征信息不同,并且,不同的待处理图像区域的清晰程度也不同。在通常情况下,可以以感应阵列的集合中心、即对应于原始图像的几何中心为中心,进行待处理图像区域的划分。
图8为本申请实施例提供的基于MTF参数矩阵对原始图像进行处理得到目标图像的流程示意图。如图8所示,该流程可以包括步骤801至步骤805:
步骤801、对原始图像进行环形分割,得到待处理图像区域。
示例性地,对原始图像进行环形分割,可以是以原始图像的几何中心为中心、以处理区域为依据进行的。
步骤802、获得MTF参数矩阵。
示例性地,步骤801与步骤802之间的顺序可以先后调整,也可以同步执行,本申请实施例对此不做限定。
步骤803、对MTF参数矩阵进行分割,得到MTF子参数矩阵。
示例性地,对MTF参数矩阵进行分割,可以是依据处理区域进行的。
步骤804、根据MTF子参数矩阵,对待处理图像区域进行处理,得到处理结果。
示例性地,可以先获取MTF子参数矩阵的逆矩阵,再根据MTF子参数矩阵的逆矩阵,对对应的待处理图像区域进行处理。
步骤805、将处理结果合成为目标图像。
在本申请实施例中,上述处理过程,削弱了镜头和覆盖镜头的物理组件、或者镜头对原始图像的图像质量的影响,从而改善了原始图像的质量。
通过本申请实施例提供的图像处理方法,在CUD模式、在图像处理参数为MTF参数矩阵的情况下,通过镜头和显示屏的图像处理参数,对原始图像在频率域进行模糊反运算,从而实现了根据原始图像的形成过程中的各种客观影响因素,改善原始图像质量的目的。
由以上可知,本申请实施例提供的图像处理方法,通过摄像头模组获得原始图像之后,还能获得与摄像头模塑对应的图像处理参数,然后基于多个处理区域分割原始图像,得到多个待处理图像区域,在基于处理参数,针对与处理参数对应的待处理图像区域进行补偿处理的过程中,充分考虑了原始图像获取过程中摄像头模组的图像处理参数的客观影响,从而使得补偿处理的针对性更强;在补偿处理结束得到区域图像补偿结果之后,还能基于每个区域图像补偿结果,获得目标图像,从而能够从根本上改善目标图像的图像质量。
基于前述实施例,本申请实施例还提供了一种电子设备9,图9为本申请实施例提供的电子设备9的结构示意图。如图9所示,该电子设备9包括摄像头模组901以及处理器902;其中:
摄像头模组901,用于感应通过摄像头模组的镜头的外界光,获得原始图像;其中,原始图像,形成在摄像头模组的感应阵列上;
处理器902,用于获得与摄像头模组对应的图像处理参数;其中,图像处理参数,用于弥补摄像头模组对图像质量的影响;
处理器902,还用于基于图像处理参数,对原始图像进行处理,获得目标图像;其中,目标图像的图像质量优于原始图像的图像质量。
在一些实施方式中,图像处理参数包括多组处理参数;每组处理参数,包括多个处理数据;多组处理参数与多个处理区域之间具备第一关联关系。
处理器902,用于基于多个处理区域分割原始图像,得到多个待处理图像区域;
处理器902,还用于基于处理参数,针对与处理参数对应的待处理图像区域进行补偿处理,得到区域图像补偿结果;基于每个区域图像补偿结果,获得目标图像。
在一些实施方式中,处理器902,用于获得表征外界环境亮度的亮度参数;
处理器902,还用于获得与摄像头模组对应的第一组合的图像处理参数;其中,第一组合的图像处理参数包括多组处理参数;
如果亮度参数小于或等于亮度阈值,处理器902,还用于获得与摄像头模组对应的第二组合的图像处理参数;其中,第二组合的图像处理参数包括多组处理参数;与第二组合的图像处理参数对应的处理区域的数量,大于与第一组合的图像处理参数对应的处理区域的数量。
在一些实施方式中,镜头的视场范围,与多组处理参数之间具备第二关联关系。
在一些实施方式中,如果摄像头模组位于显示屏下方,图像处理参数,还用于弥补与摄像头模组对应的显示屏部分的物理结构对图像质量的影响。
在一些实施方式中,处理区域,为感应阵列上的物理区域。
处理器902,用于获取图像处理参数的梯度信息;
处理器902,还用于基于图像处理参数的梯度信息,在感应阵列上划分处理区域。
在一些实施方式中,图像处理参数,包括第一光处理参数、以及第二光处理参数;第一光处理参数,为镜头对外界光的处理参数;第二光处理参数,覆盖镜头的物理组件对外界光的处理参数;
处理器902,用于获取第一光处理参数的第一梯度信息、以及第二光处理参数的第二梯度信息;
处理器902,还用于基于第一梯度信息以及第二梯度信息,获取图像处理参数的梯度信息。
在一些实施方式中,处理区域,为感应阵列上的物理区域,方法还包括:
处理器902,用于获取摄像头模组的结构参数;其中,摄像头模组的结构参数,至少包括摄像头模组的摄像头组件与感应阵列之间的距离范围;
处理器902,还用于基于摄像头模组的结构参数,在感应阵列上划分处理区域。
在一些实施方式中,处理区域,为感应阵列上的物理区域,方法还包括:
处理器902,用于获取运算负载参数、以及图像显示参数;其中,运算负载参数,包括摄像头模组所属的电子设备的运算吞吐量;图像显示参数,包括电子设备的显示模组的分辨率参数;
处理器902,还用于基于运算负载参数和/或图像分辨率参数,在感应阵列上划分处理区域。
其中,上述处理器902可以为特定用途集成电路ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
由以上可知,本申请实施例提供的电子设备,在获得摄像头模组对应的图像处理参数,能够根据该处理参数,对通过摄像头模组获得的原始图像进行弥补处理,得到目标图像,以改善目标图像相对于原始图像的图像质量。因此,由于摄像头模组的图像处理参数与原始图像的形成过程直接相关,且直接影响了原始图像的图像质量,因此,通过图像处理参数对原始图像进行处理,就能够客观的改善原始图像形成过程中对原始图像的干扰因素的影响,从而能够从根本上实现对原始图像的图像质量的实质性改善。
基于前述实施例,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时,能够实现如前任一实施例所述的图像处理方法。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本申请所提供的各方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种图像处理方法,其中,所述方法包括:
通过摄像头模组获得原始图像;所述原始图像,为外界光通过所述摄像头模组的镜头、在所述摄像头模组的感应阵列上形成的感应信号数组;
获得与所述摄像头模组对应的图像处理参数;其中,所述图像处理参数,用于弥补所述摄像头模组对图像质量的影响;
基于所述图像处理参数,对所述原始图像进行处理,获得目标图像;其中,所述目标图像的图像质量优于所述原始图像的图像质量。
2.根据权利要求1所述的方法,所述图像处理参数包括多组处理参数;每组所述处理参数,包括多个处理数据;所述多组处理参数与多个处理区域之间具备第一关联关系;所述基于所述图像处理参数,对所述原始图像进行处理,获得目标图像包括:
基于多个所述处理区域分割所述原始图像,得到多个待处理图像区域;
基于所述处理参数,针对与所述处理参数对应的待处理图像区域进行补偿处理,得到区域图像补偿结果;
基于每个所述区域图像补偿结果,获得所述目标图像。
3.根据权利要求2所述的方法,其中,所述方法还包括:
获得表征外界环境亮度的亮度参数;
所述获得与所述摄像头模组对应图像处理参数包括:
如果所述亮度参数大于亮度阈值,获得与所述摄像头模组对应的第一组合的图像处理参数;其中,所述第一组合的图像处理参数包括多组处理参数;
如果所述亮度参数小于或等于亮度阈值,获得与所述摄像头模组对应的第二组合的图像处理参数;其中,所述第二组合的图像处理参数包括多组处理参数;
与所述第二组合的图像处理参数对应的处理区域的数量,大于与所述第一组合的图像处理参数对应的处理区域的数量。
4.根据权利要求2至3任一所述的方法,其中,所述镜头的视场范围,与多组处理参数之间具备第二关联关系。
5.根据权利要求1至3任一所述的方法,其中,如果所述摄像头模组位于显示屏下方,所述图像处理参数,还用于弥补与所述摄像头模组对应的显示屏部分的物理结构对图像质量的影响。
6.根据权利要求2所述的方法,其中,所述处理区域,为所述感应阵列上的物理区域,所述方法还包括:
获取所述图像处理参数的梯度信息;
基于所述图像处理参数的梯度信息,在所述感应阵列上划分所述处理区域。
7.根据权利要求6所述的方法,其中,所述图像处理参数,包括第一光处理参数、以及第二光处理参数;所述第一光处理参数,为所述镜头对所述外界光的处理参数;所述第二光处理参数,覆盖所述镜头的物理组件对所述外界光的处理参数;所述获取所述图像处理参数的梯度信息,包括:
获取所述第一光处理参数的第一梯度信息、以及所述第二光处理参数的第二梯度信息;
基于所述第一梯度信息以及所述第二梯度信息,获取所述图像处理参数的梯度信息。
8.根据权利要求2所述的方法,其中,所述处理区域,为所述感应阵列上的物理区域,所述方法还包括:
获取所述摄像头模组的结构参数;其中,所述摄像头模组的结构参数,至少包括所述摄像头模组的摄像头组件与所述感应阵列之间的距离范围;
基于所述摄像头模组的结构参数,在所述感应阵列上划分所述处理区域。
9.根据权利要求2所述的方法,其中,所述处理区域,为所述感应阵列上的物理区域,所述方法还包括:
获取运算负载参数、以及图像显示参数;其中,所述运算负载参数,包括所述摄像头模组所属的电子设备的运算吞吐量;所述图像显示参数,包括所述电子设备的显示模组的分辨率参数;
基于所述运算负载参数和/或所述图像分辨率参数,在所述感应阵列上划分所述处理区域。
10.一种电子设备,所述电子设备包括:摄像头模组以及处理器;其中:
所述摄像头模组,用于感应通过所述摄像头模组的镜头的外界光,获得原始图像;其中,所述原始图像,形成在所述摄像头模组的感应阵列上;
所述处理器,用于获得与所述摄像头模组对应的图像处理参数;其中,所述图像处理参数,用于弥补所述摄像头模组对图像质量的影响;
所述处理器,还用于基于所述图像处理参数,对所述原始图像进行处理,获得目标图像;其中,所述目标图像的图像质量优于所述原始图像的图像质量。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110328208.6A CN113132626B (zh) | 2021-03-26 | 2021-03-26 | 一种图像处理方法以及电子设备 |
US17/550,397 US11838643B2 (en) | 2021-03-26 | 2021-12-14 | Information processing method and electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110328208.6A CN113132626B (zh) | 2021-03-26 | 2021-03-26 | 一种图像处理方法以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113132626A true CN113132626A (zh) | 2021-07-16 |
CN113132626B CN113132626B (zh) | 2022-05-31 |
Family
ID=76773903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110328208.6A Active CN113132626B (zh) | 2021-03-26 | 2021-03-26 | 一种图像处理方法以及电子设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11838643B2 (zh) |
CN (1) | CN113132626B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114866699A (zh) * | 2022-05-23 | 2022-08-05 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和电子设备 |
CN115442517A (zh) * | 2022-07-26 | 2022-12-06 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
US12118693B2 (en) | 2021-07-21 | 2024-10-15 | Samsung Electronics Co., Ltd. | Method and electronic device for capturing media using under display camera |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441764A (zh) * | 2008-12-31 | 2009-05-27 | 中国资源卫星应用中心 | 一种mtfc遥感图像复原方法 |
CN103632369A (zh) * | 2013-12-05 | 2014-03-12 | 淮海工学院 | 块平均清晰度组合无参考水下图像通用性质量检测方法 |
US20160048952A1 (en) * | 2014-08-15 | 2016-02-18 | Nikon Corporation | Algorithm and device for image processing |
CN107734294A (zh) * | 2017-09-26 | 2018-02-23 | 中国科学院长春光学精密机械与物理研究所 | 监控图像复原系统及方法 |
CN109410152A (zh) * | 2018-11-26 | 2019-03-01 | Oppo广东移动通信有限公司 | 成像方法和装置、电子设备、计算机可读存储介质 |
CN109685853A (zh) * | 2018-11-30 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN110035206A (zh) * | 2019-03-26 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN110858871A (zh) * | 2018-08-24 | 2020-03-03 | 佳能株式会社 | 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 |
CN110910805A (zh) * | 2019-12-31 | 2020-03-24 | 深圳创维-Rgb电子有限公司 | 一种显示屏的补偿调节装置及其补偿调节方法 |
CN112449085A (zh) * | 2019-08-30 | 2021-03-05 | 北京小米移动软件有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220021728A (ko) * | 2020-08-14 | 2022-02-22 | 삼성전자주식회사 | 카메라 모듈을 포함하는 전자 장치 |
KR20220058143A (ko) * | 2020-10-30 | 2022-05-09 | 삼성전자주식회사 | 영상 복원 방법 및 장치 |
US12086956B2 (en) * | 2021-02-09 | 2024-09-10 | Vinai AI Application and Research Joint Stock Co. | Device based on machine learning |
EP4272458A4 (en) * | 2021-07-21 | 2024-08-21 | Samsung Electronics Co Ltd | METHOD AND ELECTRONIC DEVICE FOR CAPTURING MEDIA USING AN UNDER-SCREEN CAMERA |
-
2021
- 2021-03-26 CN CN202110328208.6A patent/CN113132626B/zh active Active
- 2021-12-14 US US17/550,397 patent/US11838643B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441764A (zh) * | 2008-12-31 | 2009-05-27 | 中国资源卫星应用中心 | 一种mtfc遥感图像复原方法 |
CN103632369A (zh) * | 2013-12-05 | 2014-03-12 | 淮海工学院 | 块平均清晰度组合无参考水下图像通用性质量检测方法 |
US20160048952A1 (en) * | 2014-08-15 | 2016-02-18 | Nikon Corporation | Algorithm and device for image processing |
US20170365046A1 (en) * | 2014-08-15 | 2017-12-21 | Nikon Corporation | Algorithm and device for image processing |
CN107734294A (zh) * | 2017-09-26 | 2018-02-23 | 中国科学院长春光学精密机械与物理研究所 | 监控图像复原系统及方法 |
CN110858871A (zh) * | 2018-08-24 | 2020-03-03 | 佳能株式会社 | 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统 |
CN109410152A (zh) * | 2018-11-26 | 2019-03-01 | Oppo广东移动通信有限公司 | 成像方法和装置、电子设备、计算机可读存储介质 |
CN109685853A (zh) * | 2018-11-30 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN110035206A (zh) * | 2019-03-26 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN112449085A (zh) * | 2019-08-30 | 2021-03-05 | 北京小米移动软件有限公司 | 图像处理方法及装置、电子设备、可读存储介质 |
CN110910805A (zh) * | 2019-12-31 | 2020-03-24 | 深圳创维-Rgb电子有限公司 | 一种显示屏的补偿调节装置及其补偿调节方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12118693B2 (en) | 2021-07-21 | 2024-10-15 | Samsung Electronics Co., Ltd. | Method and electronic device for capturing media using under display camera |
CN114866699A (zh) * | 2022-05-23 | 2022-08-05 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和电子设备 |
CN115442517A (zh) * | 2022-07-26 | 2022-12-06 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
CN115442517B (zh) * | 2022-07-26 | 2023-07-25 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113132626B (zh) | 2022-05-31 |
US20220311925A1 (en) | 2022-09-29 |
US11838643B2 (en) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113132626B (zh) | 一种图像处理方法以及电子设备 | |
US11089201B2 (en) | Dual-core focusing image sensor, focusing control method for the same, and electronic device | |
CN109712102B (zh) | 一种图像融合方法、装置及图像采集设备 | |
US9142582B2 (en) | Imaging device and imaging system | |
US9383199B2 (en) | Imaging apparatus | |
US8432479B2 (en) | Range measurement using a zoom camera | |
EP3025302B1 (en) | System and method of correcting image artifacts | |
CN110660066A (zh) | 网络的训练方法、图像处理方法、网络、终端设备及介质 | |
US8436912B2 (en) | Range measurement using multiple coded apertures | |
US9692958B2 (en) | Focus assist system and method | |
US9531963B2 (en) | Image capturing device and image capturing system | |
US20070160310A1 (en) | Apparatus and method for image configuring | |
EP3477582B1 (en) | Systems and methods for processing a stream of data values | |
CN102473293B (zh) | 图像处理设备和图像处理方法 | |
CN110520768B (zh) | 高光谱光场成像方法和系统 | |
CN113168669B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN109005367B (zh) | 一种高动态范围图像的生成方法、移动终端及存储介质 | |
EP3477585A1 (en) | Systems and methods for processing a stream of data values | |
Martínez-Domingo et al. | Image processing pipeline for segmentation and material classification based on multispectral high dynamic range polarimetric images | |
EP3480785A1 (en) | Systems and methods for processing a stream of data values | |
EP3477584A1 (en) | Systems and methods for processing a stream of data values | |
CN114730548A (zh) | 拼接屏白平衡调整的方法和装置、电子设备、介质 | |
US11769311B1 (en) | Systems and methods for editing three-dimensional image data with realistic camera and lens effects | |
Lamb et al. | Perceived no reference image quality measurement for chromatic aberration | |
CN114862718A (zh) | 一种图像聚焦评价方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |