CN116862801A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116862801A CN116862801A CN202310852295.4A CN202310852295A CN116862801A CN 116862801 A CN116862801 A CN 116862801A CN 202310852295 A CN202310852295 A CN 202310852295A CN 116862801 A CN116862801 A CN 116862801A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- contrast
- module
- reflectivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000002310 reflectometry Methods 0.000 claims abstract description 165
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims description 57
- 230000004927 fusion Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 50
- 238000009499 grossing Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 137
- 239000013598 vector Substances 0.000 description 26
- 235000019557 luminance Nutrition 0.000 description 22
- 230000008569 process Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及存储介质,属于人工智能技术领域。该图像处理方法包括:获取第一图像的图像深度信息和亮度参数;根据图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率;基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度;将第一图像中的两个以上图像区域的对比度分别调整为图像区域对应的目标对比度,得到第二图像。
Description
技术领域
本申请属于人工智能技术领域,具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
拍摄图像的过程中,经常会因为光线问题和图像处理问题,导致图像的色彩寡淡,不同图像区域缺乏对比感、层次感。
相关技术中,通常通过滤镜或全局调整的方法对图像进行优化,但是优化效果并不理想,例如,当用户想要突出图像中的某个物体时,通过滤镜或全局调整的方法对图像进行处理后,除了用户想要突出的物体的图像区域,其他图像区域也会被调整,因此容易导致其他图像区域失真。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及存储介质,能够确定两个以上图像区域分别对应的目标对比度,然后分别对两个以上图像区域的对比度进行针对性调整,因此可以在优化图像的对比感和层次感的同时,保证图像不失真。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
获取第一图像的图像深度信息和亮度参数;
根据图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率;
基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度;
将第一图像中的两个以上图像区域的对比度分别调整为图像区域对应的目标对比度,得到第二图像。
第二方面,本申请实施例提供了一种图像处理装置,该装置包括:
获取模块,用于获取第一图像的图像深度信息和亮度参数;
处理模块,用于根据图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率;
确定模块,用于基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度;
调整模块,用于将第一图像中的两个以上图像区域的对比度分别调整为图像区域对应的目标对比度,得到第二图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,能够根据第一图像的图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率,并基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度,然后将两个以上图像区域的对比度分别调整为该图像区域对应的目标对比度,便可以得到第二图像。由于,本申请实施例可以确定两个以上图像区域分别对应的目标对比度,然后分别对两个以上图像区域的对比度进行针对性调整,因此可以在优化图像的对比感和层次感的同时,保证图像不失真。
附图说明
图1是根据一示例性实施例示出的一种原始图像的示意图;
图2是根据一示例性实施例示出的一种滤镜处理后的图像示意图;
图3是根据一示例性实施例示出的一种图像处理方法的流程图之一;
图4是根据一示例性实施例示出的一种区域划分后的图像示意图;
图5是根据一示例性实施例示出的一种第二图像的示意图;
图6是根据一示例性实施例示出的一种人为修正对比度的场景示意图;
图7是根据一示例性实施例示出的一种图像处理模型的结构示意图之一;
图8是根据一示例性实施例示出的一种图像处理模型的结构示意图之二;
图9是根据一示例性实施例示出的一种图像区域与反射率的对应关系示意图;
图10是根据一示例性实施例示出的一种图像处理方法的流程图之二;
图11是根据一示例性实施例示出的一种图像处理装置的结构框图;
图12是根据一示例性实施例示出的一种电子设备的结构框图;
图13为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
相关技术中,通常通过滤镜或全局调整的方法对图像进行优化,但是优化效果并不理想。例如,原始图像可以如图1所示,画面整体色彩较为一致,不同图像区域缺乏对比感、层次感。当用户想要突出图像中的马匹时,通过滤镜对图像进行了处理,得到了如图2所示的图像,由于图像中除马匹之外的其他区域也被调整了,导致图2中的其他区域失真,比如原始图像中的部分云朵在图2中已经无法看到。
因此,如何在优化图像的对比感和层次感的同时,保证图像不失真,便成了需要解决的技术问题。
针对相关技术中出现的问题,本申请实施例提供了一种图像处理方法,能够根据第一图像的图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率,并基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度,然后将两个以上图像区域的对比度分别调整为该图像区域对应的目标对比度,便可以得到第二图像。由于,本申请实施例可以确定两个以上图像区域分别对应的目标对比度,然后分别对两个以上图像区域的对比度进行针对性调整,因此可以在优化图像的对比感和层次感的同时,保证图像不失真。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、装置、电子设备及存储介质进行详细地说明。
本申请所提供的图像处理方法,可以应用于图像处理场景中,下面结合图3-图11对本申请实施例提供的图像处理方法进行详细说明。需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理方法。
图3是根据一示例性实施例示出的一种图像处理方法的流程图。
如图3所示,该图像处理方法可以包括如下步骤:
步骤310,获取第一图像的图像深度信息和亮度参数。
这里,第一图像可以为待处理的图像,可以是通过相机拍摄得到的。第一图像可以为红绿蓝(Red-Green-Blue,RGB)图像。示例性地,第一图像可以如图1所示。
图像深度信息可以通过专业的硬件获取,也可以通过模型预测获取。亮度参数可以通过相机获取,亮度参数可以包括曝光参数和照度(lux)。
其中,曝光参数可以包括相机的光圈、快门和感光度(International StandardsOrganization,ISO),光圈越大,图像越亮;快门时间越长,图像越亮;ISO越大,图像越亮。照度可以是相机估算的值,可以反应当前环境的亮度,数值越大,环境越暗;数值越小,环境越亮。
步骤320,根据图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率。
这里,单个图像区域中的像素点的图像深度是相近的。
反射率可以是图像中的物体的反射率,也即物体反射光的能力,与物体本身性质有关,比如物体材质,表面粗糙程度等。物体的反射率不同会使得物体的图像效果不同,因此基于物体的图像可以确定物体的反射率。不同物体的反射率可以不同,因此图像中不同物体对应的图像区域的反射率可以不同。
在一种可选的实施方式中,步骤320可以包括:
利用图像处理模型、图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率。
具体地,将第一图像、第一图像的图像深度信息和亮度参数输入至图像处理模型,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,可以输出得到两个以上图像区域分别对应的反射率。
这里,图像处理模型可以是基于卷积神经网络和transformer构建的。其中,卷积神经网络可以是一种直接从数据中学习的深度学习网络架构,特别适合在图像中寻找模式以识别对象、类和类别;transformer可以是一种用于处理序列数据的神经网络模型,基于自注意力机制,通过多层堆叠的多头自注意力和前馈神经网络构成一个典型的transformer结构。
该图像处理模型可以是对初始图像处理模型进行训练得到的。
在一种可选的实施方式中,在上述利用图像处理模型、图像深度信息和亮度参数,对第一图像进行区域划分以及确定不同图像区域的反射率,得到两个以上图像区域及两个以上图像区域分别对应的反射率之前,该方法还可以包括:
获取两个以上训练样本,该训练样本可以包括样本图像、样本图像对应的样本亮度参数、样本图像深度信息和两个以上样本图像区域及其分别对应的样本反射率;
针对两个以上训练样本中的每个训练样本,分别执行以下步骤:
利用初始图像处理模型、样本图像深度和样本亮度参数,对样本图像进行区域划分,得到两个以上预测图像区域,以及确定两个以上预测图像区域的预测反射率,得到两个以上预测图像区域分别对应的预测反射率;
根据两个以上预测图像区域及其分别对应的预测反射率,以及两个以上样本图像区域及其分别对应的样本反射率,确定损失函数值;
根据损失函数值调整初始图像处理模型的模型参数,训练得到图像处理模型。
在一种可选的实施方式中,获取两个以上训练样本,具体可以包括:
获取两个以上样本图像分别对应的样本亮度参数和样本图像深度信息;
针对两个以上样本图像中的每个样本图像,分别执行以下步骤:
利用分割模型对样本图像进行分割,得到两个以上样本图像区域;
利用反射率预测模型预测样本图像中两个以上样本图像区域分别对应的样本反射率;
基于样本图像、样本图像对应的样本亮度参数、样本图像深度信息、两个以上样本图像区域及其分别对应的样本反射率,构建训练样本。
这里,分割模型可以为Segment Anything等分割大模型,大模型可以部署到云端。分割模型可以按照层次对样本图像进行分割。
示例性地,样本图像可以如图1所示,将图1所示的图像输入至Segment Anything,利用Segment Anything对图1所示的图像进行分割,输出得到的两个以上样本图像区域,分割得到的样本图像区域可以如图4所示。
当然也可以人为对样本图像进行分割,得到两个以上样本图像区域。
反射率预测模型可以为NIID-Net。可以将第一图像输入至NIID-Net,利用NIID-Net预测样本图像中两个以上样本图像区域分别对应的样本反射率,输出得到两个以上样本图像区域分别对应的样本反射率。
当然也可以人为标注两个以上样本图像区域分别对应的样本反射率,使其符合特定的标准。
此外,可以预先存储常见物体的反射率,用于人为标注样本反射率或者对反射率预测模型输出的样本反射率进行修正。
示例性地,不同物体的反射率图可以如图5所示,相同颜色的物体反射率接近,颜色越深反射率越低,颜色越浅反射率越高。
步骤330,基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度。
这里,可以分别确定每个图像区域对应的目标对比度。具体地,针对每个图像区域,可以根据该图像区域对应的反射率确定该图像区域对应的亮度信息,然后再基于该图像区域对应的亮度信息确定该图像区域对应的对比度。
在一种可选的实施方式中,步骤330可以包括:
获取图像区域中的两个以上像素点分别对应的第一亮度;
根据图像区域的反射率和两个以上第一亮度,确定图像区域中的两个以上像素点分别对应的第二亮度;
基于两个以上第二亮度确定图像区域的目标对比度。
这里,可以通过感光元件获取图像区域中的两个以上像素点分别对应的第一亮度。
相机可以默认假设全局反射率18度灰,对于每个像素点,由于物体反射光不同,像素的亮度是不同的,该像素的亮度正相关于物体的反射率,但是测光是基于全局的18度灰假设,因此物体反射率不同,入射光的强度应该不同,因此需要基于反射率增减亮度。
具体地,可以根据图像区域中的两个以上像素点分别对应的第一亮度和该图像区域对应的反射率,确定该图像区域中的两个以上像素点分别对应的第二亮度。
示例性地,图像区域中每个像素点对应的第二亮度的计算公式可以如下:
其中,Brightness1为像素点对应的第二亮度,Brightness0为像素点对应的第一亮度,r为图像区域对应的反射率。
然后,可以基于两个以上第二亮度中的最大亮度和最小亮度确定该图像区域的目标对比度。
示例性地,该图像区域的目标对比度的计算公式可以如下:
其中,C为目标对比度,Brightnessmax为两个以上第二亮度中的最大亮度,Brightnessmin为两个以上第二亮度中的最小亮度。
如此,通过上述过程,可以根据图像区域中的两个以上像素点分别对应的第一亮度和该图像区域对应的反射率,准确地确定该图像区域中的两个以上像素点分别对应的第二亮度,继而可以根据两个以上像素点分别对应的第二亮度更准确地确定该图像区域的目标对比度。
在一种可选的实施方式中,上述基于两个以上第二亮度确定图像区域的目标对比度,可以包括:
基于两个以上第二亮度确定图像区域的第一对比度;
根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理,得到目标对比度。
这里,该相邻图像区域可以包括与该图像区域相邻的至少一个图像区域。
具体地,可以基于两个以上第二亮度中的最大亮度和最小亮度确定该图像区域的第一对比度,然后对第一对比度进行平滑处理,得到目标对比度。
不同图像区域之间的对比度差距越大越大,对比度差距越小/>越小;不同图像区域之间的图像深度差距越大/>越大,图像深度差距越小越小,基于此,对第一对比度进行平滑处理的公式可以为:
其中,i表示图像区域,j表示相邻图像区域。Ci为图像区域i的第一对比度,Cj为相邻图像区域的第二对比度,di为图像区域的第一图像深度,dj为相邻图像区域的第二图像深度,C为图像区域的目标对比度。
如此,通过上述过程对图像区域的对比度进行平滑处理,可以避免该图像区域与相邻图像区域之间的对比度差异较大,导致明显的断层和突兀,从而使图像更自然。
在一种可选的实施方式中,上述根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理,得到目标对比度,可以包括:
确定图像区域的内容标签;
获取内容标签对应的第三对比度;
根据第三对比度确定图像区域对应的权重;
根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理,得到第四对比度;
基于权重对第四对比度进行加权处理,得到目标对比度。
这里,内容标签可以用于表示图像区域的内容,示例性地,内容标签可以为天空、草地或马匹等。
第三对比度可以是基于用户历史输入的修正值确定的。在确定图像区域的内容标签之前,用户可能手动修正过该内容标签对应的其他历史图像区域的对比度,可以对用户手动修正的对比度进行存储,作为该内容标签对应的第三对比度。具体地,第三对比度可以是用户手动修正后的对比度与手动修正前的对比度的差值。
具体地,可以将图像区域输入至分类模型,利用分类模型对图像区域进行语义特征提取,输出得到该图像区域的内容标签。然后可以获取该内容标签对应的第三对比度,根据第三对比度确定图像区域对应的权重。
此外,还可以通过上述对第一对比度进行平滑处理的公式,计算得到第四对比度。
然后,基于上述权重对该第四对比度进行加权处理,得到目标对比度。
示例性地,可以通过以下公式计算目标对比度:
其中,Ci为图像区域i的第一对比度,Cj为相邻图像区域的第二对比度,di为图像区域的第一图像深度,dj为相邻图像区域的第二图像深度,C为图像区域的目标对比度,avg(h)为图像区域i的内容标签对应的两个以上第三对比度的平均值,hi为基于最近一次用户输入确定的该内容标签对应的第三对比度。
如此,基于用户历史输入确定的第三对比度,自动为该图像区域平滑后的对比度进行加权处理得到目标对比度,可以使目标对比度更符合用户需求。
在一种可选的实施方式中,在上述根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理之后,该方法还可以包括:
基于平滑处理后的第一对比度显示图像区域;
接收用户对图像区域的第一输入;
响应于第一输入,将图像区域对应的对比度更新为目标对比度。
这里,在对第一对比度进行平滑处理之后,可以基于平滑处理后的第一对比度显示该图像区域。若用户对该图像区域的显示效果不满意,则可以通过手动输入,对该图像区域的对比度进行修正。第一输入可以是修正图像区域的对比度的输入,该第一输入可以将图像区域对应的对比度由平滑处理后的第一对比度修正为目标对比度。
示例性地,如图6所示,用户的电子设备上基于平滑处理后的第一对比度显示图像区域601,若用户对该图像区域601的显示效果不满意,长按该图像区域601,电子设备可以显示对比度轮盘602,用户可以通过对该对比度轮盘602进行输入,增加或减少该图像区域601的对比度,将该图像区域601的对比度由平滑处理后的第一对比度调整为目标对比度。
如此,可以通过用户输入对图像区域的对比度进行修正,使该图像区域的显示效果更符合用户的个性化需求。
在一种可选的实施方式中,在上述响应于第一输入,将图像区域对应的对比度更新为目标对比度之后,该方法还可以包括:
针对图像区域的每个第一相邻图像区域,分别执行以下步骤:
获取第一相邻图像区域的第三图像深度和第五对比度,以及与第一相邻图像区域相邻的第二相邻图像区域的第四图像深度和第六对比度;
根据第三图像深度、第四图像深度和第六对比度,对第五对比度进行平滑处理,得到第一相邻图像区域对应的目标对比度。
这里,第一相邻图像区域可以是与人为修正对比度的图像区域相邻的图像区域,第二相邻图像区域可以是与第一相邻图像区域相邻的图像区域,第二相邻图像区域可以不包括该人为修正对比度的图像区域。
具体地,在对图像区域的对比度进行人为修正之后,可以对与该图像区域相邻的第一相邻图像区域进行平滑处理。对第一相邻图像区域进行平滑处理的具体过程与上述对图像区域进行平滑处理的具体过程相同,在此不再赘述。
如此,在对图像区域的对比度进行人为修正之后,可以对与该图像区域相邻的第一相邻图像区域进行平滑处理,以避免不同图像区域之间的对比度差异较大,导致明显的断层和突兀,从而使图像更自然。
在一种可选的实施方式中,在上述接收用户对图像区域的第一输入之后,该方法还可以包括:
响应于第一输入,存储图像区域对应的目标对比度和内容标签。
这里,该目标对比度可以是基于第一输入确定的。
具体地,可以存储该目标对比度,当后续进行图像处理时,可以基于该目标对比度和第四对比度的差值确定该内容标签对应的历史对比度。也可以直接存储该目标对比度和第四对比度的差值,作为该内容标签对应的历史对比度。
如此,存储该图像区域对应的目标对比度和内容标签,可以为后续处理相同内容标签的图像区域提供历史数据,以便后续确定图像区域的对比度时能够参考该历史数据,使得确定的对比度更符合用户需求。
步骤340,将第一图像中的两个以上图像区域的对比度分别调整为图像区域对应的目标对比度,得到第二图像。
示例性地,第二图像可以如图5所示。
由此,能够根据第一图像的图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率,并基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度,然后将两个以上图像区域的对比度分别调整为该图像区域对应的目标对比度,便可以得到第二图像。由于,本申请实施例可以确定两个以上图像区域分别对应的目标对比度,然后分别对两个以上图像区域的对比度进行针对性调整,因此可以在优化图像的对比感和层次感的同时,保证图像不失真。
在一种可选的实施方式中,图像处理模型可以包括图像特征提取模型、反射率特征提取模型和区域划分模型,基于此,步骤320可以包括:
利用图像特征提取模型对第一图像和图像深度信息进行图像特征提取,得到第一特征;
利用反射率特征提取模型对第一特征和亮度参数进行反射率特征提取,得到第二特征;
利用区域划分模型、第一特征和第二特征对第一图像进行区域划分,得到两个以上图像区域及两个以上图像区域分别对应的反射率。
这里,第一特征可以是第一图像和图像深度信息的图像特征。第二特征可以是基于第一特征和亮度参数确定的反射率。
具体地,可以将第一图像和图像深度信息输入至图像特征提取模型,利用图像特征提取模型对第一图像和图像深度信息进行图像特征提取,输出得到第一特征;将第一特征和亮度参数输入至反射率特征提取模型,利用反射率特征提取模型对第一特征和亮度参数进行反射率特征提取,输出得到第二特征;将第一特征和第二特征输入至区域划分模型,利用区域划分模型、第一特征和第二特征对第一图像进行区域划分,得到两个以上图像区域及两个以上图像区域分别对应的反射率。
如此,通过机器学习模型对第一图像进行区域划分和确定反射率,可以准确高效地确定两个以上图像区域及两个以上图像区域分别对应的反射率。
在一种可选的实施方式中,图像特征提取模型可以包括卷积模块、反卷积模块和第三特征融合模块,基于此,利用图像特征提取模型对第一图像和图像深度信息进行图像特征提取,得到第一特征,可以包括:
将第一图像和图像深度信息输入至卷积模块,利用卷积模块对第一图像和图像深度信息进行图像特征提取,输出得到第六特征;
将第六特征输入至反卷积模块,利用反卷积模块对第六特征进行上采样,输出得到第七特征;
将第七特征输入至第三特征融合模块,利用第三特征融合模块对第七特征进行特征融合,输出得到第一特征。
其中,卷积模块可以包括第一卷积层和第二卷积层,第一卷积层和第二卷积层均可以为两个以上卷积层,反卷积模块可以包括第一反卷积层和第二反卷积,第一反卷积层和第二反卷积均可以为两个以上反卷积层,第三特征融合模块可以包括全连接层。
示例性地,可以如图7所示,将第一图像和图像深度信息输入至第一卷积层,利用第一卷积层对第一图像和图像深度信息进行浅层语义特征提取,输出得到浅层特征编码向量701,将浅层特征编码向量701输入至第二卷积层,利用第二卷积层对浅层特征编码向量701进行深层语义特征提取,输出得到深层特征编码向量702,也即第六特征,将深层特征编码向量702输入至第一反卷积层,利用第一反卷积层对深层特征编码向量702进行上采样,得到上采样特征编码向量703;将上采样特征编码向量703和浅层特征编码向量701输入至第二反卷积层,利用第二反卷积层对上采样特征编码向量703和浅层特征编码向量701进行上采样,输出得到特征编码向量704,也即第七特征,将特征编码向量704输入至全连接层,利用全连接层对特征编码向量704进行拼接,输出得到第一特征705。
这里,通过两个以上卷积层可以获取不同卷积层提取的图像特征编码向量。浅层语义更关注局部特征,深层语义更关注全局特征,对应到图像即浅层是局部的曝光或者轮廓,深层是更大面积的曝光和轮廓。其中,浅层特征编码向量和深层特征编码向量是图像按序经过两个以上卷积层后输出的编码向量,经过的卷积层越多,编码向量越是深层特征编码向量。
利用全连接层对浅层特征编码向量和深层特征编码向量进行拼接,可以得到一个多维度的图像特征编码向量,该全连接层可以预先学习了浅层特征编码向量和深层特征编码向量对反射率和区域划分影响的权重因子,也即相关的模型参数。
在一种可选的实施方式中,反射率特征提取模型可以包括特征转换模块、第一特征融合模块和反射率特征提取模块,基于此,利用反射率特征提取模型对第一特征和亮度参数进行反射率特征提取,得到第二特征,可以包括:
将亮度参数输入至特征转换模块,利用特征转换模块将亮度参数转换为与第一特征维度相同的特征,输出得到第三特征;
将第一特征和第三特征输入至第一特征融合模块,利用第一特征融合模块对第一特征和第三特征进行特征融合,输出得到第四特征;
将第四特征输入至反射率特征提取模块,利用反射率特征提取模块对第四特征进行反射率特征提取,输出得到第二特征。
其中,特征转换模块可以包括全连接层。第一特征融合模块可以用于对输入的特征进行点乘。反射率特征提取模块可以包括至少一个transformer。
示例性地,可以如图7所示,将曝光参数和lux输入至可学习的全连接层,利用全连接层将曝光参数和lux转换为与第一特征维度相同的特征,输出得到第三特征;对第一特征705和第三特征进行点乘,得到第四特征;将第四特征输入至3层transformer,利用3层transformer对第四特征进行反射率特征提取,输出得到第二特征706。
此外,在将第四特征输入至transformer之前,可以先对第四特征进行特征切片,可以将第四特征平均分成几段,例如,可以分成9段或16段。如图8所示,可以对第四特征对应的两个以上特征片段810进行线性投影(Linear Projection of Flattened Payches),再对线性投影后的两个以上特征片段进行位置嵌入(Position Embedding,PE),然后再输入至transformer,该transformer可以包括多头自注意力机制(Self-Multi-HeadAttention,Self-MHA)和前馈神经网络(Feed Forward)。
这里,transformer可以预先学习了亮度参数对不同编码特征向量特征的影响。具体地,transformer多头自注意力机制可以预先学习了曝光参数和lux等环境信息,对不同图像区域的反射类的影响。
如此,通过对图像特征和亮度参数的融合特征进行反射率特征提取,可以准确高效地提取图像的反射率特征。
在一种可选的实施方式中,区域划分模型可以包括第二特征融合模块和区域划分模块,基于此,利用区域划分模型、第一特征和第二特征对第一图像进行区域划分,得到两个以上图像区域及两个以上图像区域分别对应的反射率,可以包括:
将第一特征和第二特征输入至第二特征融合模块,利用第二特征融合模块对第一特征和第二特征进行特征融合,输出得到第五特征;
将第五特征输入至区域划分模块,利用区域划分模块对第五特征进行区域划分,输出得到两个以上图像区域及两个以上图像区域分别对应的反射率。
其中,第二特征融合模块可以包括Concat模块和全连接层,其中Concat模块可以用于将输入的特征按层拼接。区域划分模块可以包括池化层。
示例性地,可以如图7所示,将第一特征705和第二特征706输入至Concat模块,利用Concat模块将第一特征705和第二特征706按层拼接,输出得到拼接特征707;将拼接特征707输入至全连接层,利用全连接层对拼接特征707进行融合,输出得到第五特征708;将第五特征708输入至池化层,利用池化层对第五特征708进行区域划分,输出得到包含两个以上图像区域和两个以上图像区域分别对应的反射率的掩膜图像,该掩膜图像可以如图9所示。
如此,通过对图像特征和反射率特征的融合特征进行区域划分,可以准确高效地确定两个以上图像区域及其分别对应的反射率。
为了更好地描述整个方案,基于上述各实施例,举一个具体例子,如图10所示,该图像处理方法可以包括步骤1001-1007,下面对此进行详细解释。
步骤1001,获取第一图像的图像深度信息和亮度参数。
步骤1002,根据图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率。
步骤1003,基于图像区域对应的反射率确定图像区域对应的第一对比度。
步骤1004,对第一对比度进行平滑处理。
步骤1005,响应于用户对图像区域的第一输入,将图像区域对应的对比度更新为目标对比度。
步骤1006,对图像区域的第一相邻图像区域的对比度进行平滑处理,得到第一相邻图像区域对应的目标对比度。
步骤1007,将第一图像中的两个以上图像区域的对比度分别调整为该图像区域对应的目标对比度,得到第二图像。
各步骤具体过程可参见上述实施例,在此不再赘述。
由此,能够根据第一图像的图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率,并基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度,然后将两个以上图像区域的对比度分别调整为该图像区域对应的目标对比度,便可以得到第二图像。由于,本申请实施例可以确定两个以上图像区域分别对应的目标对比度,然后分别对两个以上图像区域的对比度进行针对性调整,因此可以在优化图像的对比感和层次感的同时,尽可能保证图像不失真。
本申请实施例提供的图像处理方法,可以通过获取曝光参数和lux等拍照相关的环境信息和图像语义信息,自动优化图像的层次干、氛围感,突出图像中的部分元素,使得画面兼具美感的同时,保留原有的环境特征,提高用户的体验感和分享欲。
此外,基于本申请实施例提供的图像处理方法,除了可以分区域调整图像的对比度,还可以分区域调整图像的饱和度、亮度等其他参数,从而使图像具有更好的效果。再调整图像的饱和度、亮度等其他参数的过程中,也可以进行平滑处理和人为修正,避免不同图像区域间过于突兀。
需要说明的是,上述本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请实施例提供的图像处理方法,执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。
基于相同的发明构思,本申请还提供了一种图像处理装置。下面结合图13对本申请实施例提供的图像处理装置进行详细说明。
图11是根据一示例性实施例示出的一种图像处理装置的结构框图。
如图11所示,图像处理装置1100可以包括:
获取模块1101,用于获取第一图像的图像深度信息和亮度参数;
处理模块1102,用于根据图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率;
确定模块1103,用于基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度;
调整模块1104,用于将第一图像中的两个以上图像区域的对比度分别调整为图像区域对应的目标对比度,得到第二图像。
下面对上述图像处理装置1100进行详细说明,具体如下所示:
在其中一个实施例中,处理模块1102可以包括:
图像特征提取子模块,用于利用图像特征提取模型对第一图像和图像深度信息进行图像特征提取,得到第一特征;
反射率特征提取子模块,用于利用反射率特征提取模型对第一特征和亮度参数进行反射率特征提取,得到第二特征;
区域划分子模块,用于利用区域划分模型、第一特征和第二特征对第一图像进行区域划分,得到两个以上图像区域及两个以上图像区域分别对应的反射率。
在其中一个实施例中,反射率特征提取模型包括特征转换模块、第一特征融合模块和反射率特征提取模块;
反射率特征提取子模块可以包括:
特征转换单元,用于将亮度参数输入至特征转换模块,利用特征转换模块将亮度参数转换为与第一特征维度相同的特征,输出得到第三特征;
第一特征融合单元,用于将第一特征和第三特征输入至第一特征融合模块,利用第一特征融合模块对第一特征和第三特征进行特征融合,输出得到第四特征;
特征提取单元,用于将第四特征输入至反射率特征提取模块,利用反射率特征提取模块对第四特征进行反射率特征提取,输出得到第二特征。
在其中一个实施例中,区域划分模型包括第二特征融合模块和区域划分模块;
区域划分子模块可以包括:
第二特征融合单元,用于将第一特征和第二特征输入至第二特征融合模块,利用第二特征融合模块对第一特征和第二特征进行特征融合,输出得到第五特征;
区域划分单元,用于将第五特征输入至区域划分模块,利用区域划分模块对第五特征进行区域划分,输出得到两个以上图像区域及两个以上图像区域分别对应的反射率。
在其中一个实施例中,确定模块1103可以包括:
获取子模块,用于获取图像区域中的两个以上像素点分别对应的第一亮度;
亮度确定子模块,用于根据图像区域的反射率和两个以上第一亮度,确定图像区域中的两个以上像素点分别对应的第二亮度;
对比度确定子模块,用于基于两个以上第二亮度确定图像区域的目标对比度。
在其中一个实施例中,对比度确定子模块可以包括:
确定单元,用于基于两个以上第二亮度确定图像区域的第一对比度;
平滑处理单元,用于根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理,得到目标对比度。
在其中一个实施例中,平滑处理单元可以包括:
确定子单元,用于确定图像区域的内容标签;
第一获取子单元,用于获取内容标签对应的第三对比度;
确定子单元,用于根据第三对比度确定图像区域对应的权重,第三对比度是基于用户历史输入的修正值确定的;
第一平滑处理子单元,用于根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理,得到第四对比度;
加权处理子单元,用于基于权重对第四对比度进行加权处理,得到目标对比度。
在其中一个实施例中,该装置还可以包括:
显示模块,用于在根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理之后,基于平滑处理后的第一对比度显示图像区域;
接收模块,用于接收用户对图像区域的第一输入;
更新模块,用于响应于第一输入,将图像区域对应的对比度更新为目标对比度。
由此,能够根据第一图像的图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率,并基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度,然后将两个以上图像区域的对比度分别调整为该图像区域对应的目标对比度,便可以得到第二图像。由于,本申请实施例可以确定两个以上图像区域分别对应的目标对比度,然后分别对两个以上图像区域的对比度进行针对性调整,因此可以在优化图像的对比感和层次感的同时,尽可能保证图像不失真。
本申请实施例中的图像处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图3至图10的方法实施例实现的各个过程,实现相同的技术效果,为避免重复,这里不再赘述。
可选地,如图12所示,本申请实施例还提供一种电子设备1200,包括处理器1201和存储器1202,存储器1202上存储有可在所述处理器1201上运行的程序或指令,该程序或指令被处理器1201执行时实现上述图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图13为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1300包括但不限于:射频单元1301、网络模块1302、音频输出单元1303、输入单元1304、传感器1305、显示单元1306、用户输入单元1307、接口单元1308、存储器1309、以及处理器1310等部件。
本领域技术人员可以理解,电子设备1300还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1310逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图13中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1310,用于获取第一图像的图像深度信息和亮度参数;
根据图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率;
基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度;
将第一图像中的两个以上图像区域的对比度分别调整为图像区域对应的目标对比度,得到第二图像。
由此,能够根据第一图像的图像深度信息和亮度参数,对第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上图像区域的反射率,得到两个以上图像区域分别对应的反射率,并基于两个以上图像区域分别对应的反射率,确定两个以上图像区域分别对应的目标对比度,然后将两个以上图像区域的对比度分别调整为该图像区域对应的目标对比度,便可以得到第二图像。由于,本申请实施例可以确定两个以上图像区域分别对应的目标对比度,然后分别对两个以上图像区域的对比度进行针对性调整,因此可以在优化图像的对比感和层次感的同时,尽可能保证图像不失真。
可选地,处理器1310,还用于利用图像特征提取模型对第一图像和图像深度信息进行图像特征提取,得到第一特征;
利用反射率特征提取模型对第一特征和亮度参数进行反射率特征提取,得到第二特征;
利用区域划分模型、第一特征和第二特征对第一图像进行区域划分,得到两个以上图像区域及两个以上图像区域分别对应的反射率。
如此,通过机器学习模型对第一图像进行区域划分和确定反射率,可以准确高效地确定两个以上图像区域及两个以上图像区域分别对应的反射率。
可选地,反射率特征提取模型包括特征转换模块、第一特征融合模块和反射率特征提取模块;
处理器1310,还用于将亮度参数输入至特征转换模块,利用特征转换模块将亮度参数转换为与第一特征维度相同的特征,输出得到第三特征;
将第一特征和第三特征输入至第一特征融合模块,利用第一特征融合模块对第一特征和第三特征进行特征融合,输出得到第四特征;
将第四特征输入至反射率特征提取模块,利用反射率特征提取模块对第四特征进行反射率特征提取,输出得到第二特征。
如此,通过对图像特征和亮度参数的融合特征进行反射率特征提取,可以准确高效地提取图像的反射率特征。
可选地,区域划分模型包括第二特征融合模块和区域划分模块;
处理器1310,还用于将第一特征和第二特征输入至第二特征融合模块,利用第二特征融合模块对第一特征和第二特征进行特征融合,输出得到第五特征;
将第五特征输入至区域划分模块,利用区域划分模块对第五特征进行区域划分,输出得到两个以上图像区域及两个以上图像区域分别对应的反射率。
如此,通过对图像特征和反射率特征的融合特征进行区域划分,可以准确高效地确定两个以上图像区域及其分别对应的反射率。
可选地,处理器1310,还用于
获取图像区域中的两个以上像素点分别对应的第一亮度;
根据图像区域的反射率和两个以上第一亮度,确定图像区域中的两个以上像素点分别对应的第二亮度;
基于两个以上第二亮度确定图像区域的目标对比度。
如此,通过上述过程,可以根据图像区域中的两个以上像素点分别对应的第一亮度和该图像区域对应的反射率,准确地确定该图像区域中的两个以上像素点分别对应的第二亮度,继而可以根据两个以上像素点分别对应的第二亮度更准确地确定该图像区域的目标对比度。
可选地,处理器1310,还用于基于两个以上第二亮度确定图像区域的第一对比度;
根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理,得到目标对比度。
如此,通过上述过程对图像区域的对比度进行平滑处理,可以避免该图像区域与相邻图像区域之间的对比度差异较大,导致明显的断层和突兀,从而使图像更自然。
可选地,处理器1310,还用于确定图像区域的内容标签;
获取内容标签对应的第三对比度;
根据第三对比度确定图像区域对应的权重,第三对比度是基于用户历史输入的修正值确定的;
根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理,得到第四对比度;
基于权重对第四对比度进行加权处理,得到目标对比度。
如此,基于用户历史输入确定的第三对比度,自动为该图像区域平滑后的对比度进行加权处理得到目标对比度,可以使目标对比度更符合用户需求。
可选地,显示单元1306,用于在根据图像区域的第一图像深度、图像区域的相邻图像区域的第二图像深度和第二对比度,对第一对比度进行平滑处理之后,基于平滑处理后的第一对比度显示图像区域;
处理器1310,还用于接收用户对图像区域的第一输入;
响应于第一输入,将图像区域对应的对比度更新为目标对比度。
如此,可以通过用户输入对图像区域的对比度进行修正,使该图像区域的显示效果更符合用户的个性化需求。
应理解的是,本申请实施例中,输入单元1304可以包括图形处理器(GraphicsProcessing Unit,GPU)13041和麦克风13042,图形处理器13041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1306可包括显示面板13061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板13061。用户输入单元1307包括触控面板13071以及其他输入设备13072中的至少一种。触控面板13071,也称为触摸屏。触控面板13071可包括触摸检测装置和触摸控制器两个部分。其他输入设备13072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器1309可用于存储软件程序以及各种数据。存储器1309可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1309可以包括易失性存储器或非易失性存储器,或者,存储器1309可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器1309包括但不限于这些和任意其它适合类型的存储器。
处理器1310可包括一个或多个处理单元;可选地,处理器1310集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1310中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器、随机存取存储器、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (18)
1.一种图像处理方法,其特征在于,所述方法包括:
获取第一图像的图像深度信息和亮度参数;
根据所述图像深度信息和所述亮度参数,对所述第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上所述图像区域的反射率,得到两个以上所述图像区域分别对应的反射率;
基于两个以上所述图像区域分别对应的反射率,确定两个以上所述图像区域分别对应的目标对比度;
将所述第一图像中的两个以上所述图像区域的对比度分别调整为所述图像区域对应的目标对比度,得到第二图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述图像深度信息和所述亮度参数,对所述第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上所述图像区域的反射率,得到两个以上所述图像区域分别对应的反射率,包括:
利用图像特征提取模型对所述第一图像和所述图像深度信息进行图像特征提取,得到第一特征;
利用反射率特征提取模型对所述第一特征和所述亮度参数进行反射率特征提取,得到第二特征;
利用区域划分模型、所述第一特征和所述第二特征对所述第一图像进行区域划分,得到两个以上图像区域及两个以上所述图像区域分别对应的反射率。
3.根据权利要求2所述的方法,其特征在于,所述反射率特征提取模型包括特征转换模块、第一特征融合模块和反射率特征提取模块;
所述利用反射率特征提取模型对所述第一特征和所述亮度参数进行反射率特征提取,得到第二特征,包括:
将所述亮度参数输入至所述特征转换模块,利用所述特征转换模块将所述亮度参数转换为与所述第一特征维度相同的特征,输出得到第三特征;
将所述第一特征和所述第三特征输入至所述第一特征融合模块,利用所述第一特征融合模块对所述第一特征和所述第三特征进行特征融合,输出得到第四特征;
将所述第四特征输入至所述反射率特征提取模块,利用所述反射率特征提取模块对所述第四特征进行反射率特征提取,输出得到所述第二特征。
4.根据权利要求2所述的方法,其特征在于,所述区域划分模型包括第二特征融合模块和区域划分模块;
所述利用区域划分模型、所述第一特征和所述第二特征对所述第一图像进行区域划分,得到两个以上图像区域及两个以上所述图像区域分别对应的反射率,包括:
将所述第一特征和所述第二特征输入至所述第二特征融合模块,利用所述第二特征融合模块对所述第一特征和所述第二特征进行特征融合,输出得到第五特征;
将所述第五特征输入至所述区域划分模块,利用所述区域划分模块对所述第五特征进行区域划分,输出得到两个以上图像区域及两个以上所述图像区域分别对应的反射率。
5.根据权利要求1所述的方法,其特征在于,所述基于两个以上所述图像区域分别对应的反射率,确定两个以上所述图像区域分别对应的目标对比度,包括:
获取所述图像区域中的两个以上像素点分别对应的第一亮度;
根据所述图像区域的反射率和两个以上所述第一亮度,确定所述图像区域中的两个以上像素点分别对应的第二亮度;
基于两个以上所述第二亮度确定所述图像区域的目标对比度。
6.根据权利要求5所述的方法,其特征在于,所述基于两个以上所述第二亮度确定所述图像区域的目标对比度,包括:
基于两个以上所述第二亮度确定所述图像区域的第一对比度;
根据所述图像区域的第一图像深度、所述图像区域的相邻图像区域的第二图像深度和第二对比度,对所述第一对比度进行平滑处理,得到所述目标对比度。
7.根据权利要求6所述的方法,其特征在于,所述根据所述图像区域的第一图像深度、所述图像区域的相邻图像区域的第二图像深度和第二对比度,对所述第一对比度进行平滑处理,得到所述目标对比度,包括:
确定所述图像区域的内容标签;
获取所述内容标签对应的第三对比度;
根据所述第三对比度确定所述图像区域对应的权重,所述第三对比度是基于用户历史输入的修正值确定的;
根据所述图像区域的第一图像深度、所述图像区域的相邻图像区域的第二图像深度和第二对比度,对所述第一对比度进行平滑处理,得到第四对比度;
基于所述权重对所述第四对比度进行加权处理,得到所述目标对比度。
8.根据权利要求6所述的方法,其特征在于,在所述根据所述图像区域的第一图像深度、所述图像区域的相邻图像区域的第二图像深度和第二对比度,对所述第一对比度进行平滑处理之后,所述方法还包括:
基于平滑处理后的第一对比度显示所述图像区域;
接收用户对所述图像区域的第一输入;
响应于所述第一输入,将所述图像区域对应的对比度更新为所述目标对比度。
9.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取第一图像的图像深度信息和亮度参数;
处理模块,用于根据所述图像深度信息和所述亮度参数,对所述第一图像进行区域划分,得到两个以上图像区域,以及确定两个以上所述图像区域的反射率,得到两个以上所述图像区域分别对应的反射率;
确定模块,用于基于两个以上所述图像区域分别对应的反射率,确定两个以上所述图像区域分别对应的目标对比度;
调整模块,用于将所述第一图像中的两个以上所述图像区域的对比度分别调整为所述图像区域对应的目标对比度,得到第二图像。
10.根据权利要求9所述的装置,其特征在于,所述处理模块包括:
图像特征提取子模块,用于利用图像特征提取模型对所述第一图像和所述图像深度信息进行图像特征提取,得到第一特征;
反射率特征提取子模块,用于利用反射率特征提取模型对所述第一特征和所述亮度参数进行反射率特征提取,得到第二特征;
区域划分子模块,用于利用区域划分模型、所述第一特征和所述第二特征对所述第一图像进行区域划分,得到两个以上图像区域及两个以上所述图像区域分别对应的反射率。
11.根据权利要求10所述的装置,其特征在于,所述反射率特征提取模型包括特征转换模块、第一特征融合模块和反射率特征提取模块;
所述反射率特征提取子模块包括:
特征转换单元,用于将所述亮度参数输入至所述特征转换模块,利用所述特征转换模块将所述亮度参数转换为与所述第一特征维度相同的特征,输出得到第三特征;
第一特征融合单元,用于将所述第一特征和所述第三特征输入至所述第一特征融合模块,利用所述第一特征融合模块对所述第一特征和所述第三特征进行特征融合,输出得到第四特征;
特征提取单元,用于将所述第四特征输入至所述反射率特征提取模块,利用所述反射率特征提取模块对所述第四特征进行反射率特征提取,输出得到所述第二特征。
12.根据权利要求10所述的装置,其特征在于,所述区域划分模型包括第二特征融合模块和区域划分模块;
所述区域划分子模块包括:
第二特征融合单元,用于将所述第一特征和所述第二特征输入至所述第二特征融合模块,利用所述第二特征融合模块对所述第一特征和所述第二特征进行特征融合,输出得到第五特征;
区域划分单元,用于将所述第五特征输入至所述区域划分模块,利用所述区域划分模块对所述第五特征进行区域划分,输出得到两个以上图像区域及两个以上所述图像区域分别对应的反射率。
13.根据权利要求9所述的装置,其特征在于,所述确定模块包括:
获取子模块,用于获取所述图像区域中的两个以上像素点分别对应的第一亮度;
亮度确定子模块,用于根据所述图像区域的反射率和两个以上所述第一亮度,确定所述图像区域中的两个以上像素点分别对应的第二亮度;
对比度确定子模块,用于基于两个以上所述第二亮度确定所述图像区域的目标对比度。
14.根据权利要求13所述的装置,其特征在于,所述对比度确定子模块包括:
确定单元,用于基于两个以上所述第二亮度确定所述图像区域的第一对比度;
平滑处理单元,用于根据所述图像区域的第一图像深度、所述图像区域的相邻图像区域的第二图像深度和第二对比度,对所述第一对比度进行平滑处理,得到所述目标对比度。
15.根据权利要求14所述的装置,其特征在于,所述平滑处理单元包括:
确定子单元,用于确定所述图像区域的内容标签;
第一获取子单元,用于获取所述内容标签对应的第三对比度;
确定子单元,用于根据所述第三对比度确定所述图像区域对应的权重,所述第三对比度是基于用户历史输入的修正值确定的;
第一平滑处理子单元,用于根据所述图像区域的第一图像深度、所述图像区域的相邻图像区域的第二图像深度和第二对比度,对所述第一对比度进行平滑处理,得到第四对比度;
加权处理子单元,用于基于所述权重对所述第四对比度进行加权处理,得到所述目标对比度。
16.根据权利要求14所述的装置,其特征在于,所述装置还包括:
显示模块,用于在所述根据所述图像区域的第一图像深度、所述图像区域的相邻图像区域的第二图像深度和第二对比度,对所述第一对比度进行平滑处理之后,基于平滑处理后的第一对比度显示所述图像区域;
接收模块,用于接收用户对所述图像区域的第一输入;
更新模块,用于响应于所述第一输入,将所述图像区域对应的对比度更新为所述目标对比度。
17.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述的图像处理方法的步骤。
18.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-8任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310852295.4A CN116862801A (zh) | 2023-07-11 | 2023-07-11 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310852295.4A CN116862801A (zh) | 2023-07-11 | 2023-07-11 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116862801A true CN116862801A (zh) | 2023-10-10 |
Family
ID=88231843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310852295.4A Pending CN116862801A (zh) | 2023-07-11 | 2023-07-11 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116862801A (zh) |
-
2023
- 2023-07-11 CN CN202310852295.4A patent/CN116862801A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020192483A1 (zh) | 图像显示方法和设备 | |
CN110663045B (zh) | 用于数字图像的自动曝光调整的方法、电子系统和介质 | |
US10074165B2 (en) | Image composition device, image composition method, and recording medium | |
Yang et al. | Single image haze removal via region detection network | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
US10382712B1 (en) | Automatic removal of lens flares from images | |
WO2022160895A1 (zh) | 图像处理方法、图像处理装置、电子系统及可读存储介质 | |
CN112272832A (zh) | 用于基于dnn的成像的方法和系统 | |
WO2023151511A1 (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
CN113095470A (zh) | 神经网络的训练方法、图像处理方法及装置、存储介质 | |
CN113781370A (zh) | 图像的增强方法、装置和电子设备 | |
CN113507570B (zh) | 曝光补偿方法、装置和电子设备 | |
CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
CN111724447A (zh) | 一种图像处理方法、系统及电子设备和存储介质 | |
US20170163852A1 (en) | Method and electronic device for dynamically adjusting gamma parameter | |
WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
US20230127327A1 (en) | System and method for learning tone curves for local image enhancement | |
US20220188991A1 (en) | Method and electronic device for managing artifacts of image | |
CN113011328B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN116862801A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN117280709A (zh) | 屏下摄像头的图像恢复 | |
CN117529929A (zh) | 使用屏下相机捕获媒体的方法和电子装置 | |
CN114143448B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
JP2006287689A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 | |
CN114302057B (zh) | 图像参数确定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |