CN110930372B - 一种图像处理方法、电子设备及计算机可读存储介质 - Google Patents
一种图像处理方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110930372B CN110930372B CN201911076445.7A CN201911076445A CN110930372B CN 110930372 B CN110930372 B CN 110930372B CN 201911076445 A CN201911076445 A CN 201911076445A CN 110930372 B CN110930372 B CN 110930372B
- Authority
- CN
- China
- Prior art keywords
- image
- light source
- images
- color
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 100
- 230000008030 elimination Effects 0.000 claims abstract description 53
- 238000003379 elimination reaction Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 210000003710 cerebral cortex Anatomy 0.000 claims 2
- 210000001525 retina Anatomy 0.000 claims 2
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图像处理方法、电子设备及计算机可读存储介质,其中,所述图像处理方法包括:获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;若所述光源类别为人造光源,对所述P张图像进行色带检测;若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理;输出消除色带后的图像。根据本发明实施例的图像处理方法,可根据获取的光源类别信息确定光源类别,以确定摄像头获取的图像是否需要进行色带检测和消除,不仅简化了色带检测的过程,同时降低了误检的可能性,提高了图像处理速度。
Description
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、电子设备及计算机可读存储介质。
背景技术
目前,电子设备使用的摄像头的CMOS(Complementary Metal OxideSemiconductor,即互补金属氧化物半导体)是逐行曝光的,由此,在不同的拍照环境下,由于不同频率的光源,电子设备拍摄到的画面中将出现banding(色带)现象,这严重影响了电子设备的成像画质。
针对banding(色带)现象,现有的解决方案主要集中在色带检测和色带消除过程。但是现有的解决方案存在着色带检测过程繁琐、检测精度不高,图像处理速度慢等缺点。
发明内容
本发明实施例提供一种图像处理方法、电子设备及计算机可读存储介质,以解决现有技术中色带检测过程繁琐、检测效果差、图像处理速度慢的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种图像处理方法,包括:
获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;
识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;
若所述光源类别为人造光源,对所述P张图像进行色带检测;
若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理;
输出消除色带后的图像。
第二方面,本发明实施例提供了一种电子设备,包括:
获取模块,用于获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;
识别模块,用于识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;
色带检测模块,用于若所述光源类别为人造光源,对所述P张图像进行色带检测;
色带消除模块,用于若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理;
图像输出模块,用于输出消除色带后的图像。
第三方面,本发明实施例提供了一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的图像处理方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
在本发明实施例中,在进行色带检测前先根据获取的光源类别信息确定光源类别,以确定摄像头获取的图像是否需要进行色带检测和消除,不仅简化了色带检测的过程,同时降低了误检的可能性,提高了图像处理速度。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例提供的一种图像处理方法的流程示意图之一;
图2为本发明实施例提供的视网膜大脑皮层理论的示意图;
图3为本发明实施例提供的目标色带消除模型的示意图;
图4为本发明实施例提供的一种电子设备的结构示意图之一;
图5为本发明实施例提供的一种电子设备的结构示意图之二;
图6为本发明实施例提供的一种电子设备的结构示意图之三。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“包括”以及它的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,说明书以及权利要求中使用“和/或”表示所连接对象的至少其中之一,例如A和/或B,表示包含单独A,单独B,以及A和B都存在三种情况。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
请参考图1,图1为本发明实施例提供的一种图像处理方法的流程示意图。如图1所示,本发明实施例的图像处理方法包括以下步骤:
(1)步骤101:获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数。
具体来说,在步骤101中,电子设备的摄像头包括各种传感器以及其他组件,通过电子设备的摄像头可以采集得到目标场景下的连续的多张图像,此处的连续的多张图像为在时间上连续的多张图像,一张图像也即一帧图像。
(2)步骤102,识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源。
在步骤102中,摄像头的拍摄画面即目标场景,在该目标场景下,光源的类别可能是自然光源,例如太阳等,也可能是人造光源,例如日光灯、白炽灯等。
在本发明实施例中,步骤102中识别目标场景下的光源类别的步骤具体可以包括:
步骤1021:采用摄像头的颜色传感器获取颜色信息;
步骤1022:根据所述颜色信息,确定光源信息,所述光源信息包括显色指数和相关色温中的至少之一;
步骤1023:根据所述光源信息,确定所述目标场景下的光源类别。
更具体地说,摄像头在拍摄连续的图像的同时,利用摄像头的颜色传感器获取当前目标场景下的颜色信息,然后根据颜色传感器获取的颜色信息确定光源信息,该光源信息包括显色指数(CRI)和相关色温(CCT)中的至少之一。
较优的,为了提高识别光源类别的准确度,本发明实施例中,可以采用光源估计模型进行识别,也就是说,在得到所述光源信息后,可以采用该光源估计模型对采集到的光源信息进行估计,从而确定该目标场景下的光源类别是自然光源还是人造光源。其中,光源估计模型可以是K近邻模型或卷积神经网络模型,通过预先构建模型并对其进行光源类别识别训练,可以使光源估计模型能够对光源类别进行估计,其具体学习训练过程为现有技术,在此不再赘述。可以知道,光源估计模型的训练学习越充分、其估计的准确度也就越高。而且,同时利用显色指数(CRI)和相关色温(CCT)两个数据信息对光源类型进行估计也可以提高其估计的准确度。通过摄像头自动获取显色指数(CRI)和/或相关色温(CCT),可以实现光源类别的自动识别,提升用户的体验度。
在本发明的另一些实施例中,步骤102中识别目标场景下的光源类别还可以通过以下方式:
电子设备直接接收用于确定光源类别的输入,也就是说,在摄像头拍摄连续的图像的同时,电子设备提供光源类别的选项,选项可以包括自然光源选项和人造光源选项,当电子设备接收到选择自然光源选项的输入时,即可确定光源类别为自然光源,当电子设备接收到选择人造光源选项的输入时,即可确定光源类别为人造光源。通过这样的方式,可以增加人为的干预,节省电子设备的运算处理。
(3)步骤103:若所述光源类别不是自然光源,对获取的P张图像进行色带检测,判断从P张图像中是否检测到色带。
进一步地,基于摄像头CMOS的逐行曝光的原理可知,图像各行之间的曝光时间相同,对于与COMS曝光时间不匹配的频率的光源,每行获取到的亮度不一致,由此拍摄出来的图像发生banding现象,banding现象即图像中存在色带,band即色带、条带。可以发现,banding产生的两个必备条件是:CMOS的逐行曝光原理以及与COMS曝光时间不匹配的频率的人造光源。也就是说,当只有自然光源时,拍摄到的图像中不会出现banding现象。因此,当步骤102的结果显示光源类别不是自然光源时,摄像头拍摄到的图像可能存在色带,所以在这种情况下,为提高用户体验度,需要检测图像是否有色带。
根据以上分析,若光源类别为人造光源,则对获取的连续的P张图像进行色带检测。具体的,上述步骤103可以包括:
步骤1031:根据所述P张图像,得到目标检测图像;
步骤1032:将目标检测图像输入到目标色带检测模型中检测是否有色带。
其中,目标色带检测模型用于检测图像中是否有色带,在本发明的一些具体实施例中,目标色带检测模型具体可以为卷积神经网络模型,由于目标色带检测模型需要预先训练学习,因此,在步骤1032之前,还可以包括如下步骤:
首先,获取用于训练的S个图像样本,S个图像样本包括以人造光源作为光源的图像和以自然光源作为光源的图像,每个图像样本包括连续的M张图像,其中,S、M均为正整数,且S=M;当然,图像样本越多,训练的效果也就越好,目标色带检测模型的检测准确度也就越高。
然后,将每个图像样本中的每一帧图像与另外一帧图像进行差分计算,即像素的时间差分计算,例如,每个图像样本包括连续的6张图像,分别为X1,X2,X3,X4,X5,X6,可以用X2-X1,X4-X3,X6-X5进行差分计算,也可以用X6-X4,X5-X3,X4-X2,X3-X1进行差分计算,还可以用X6-X5,X5-X4,X4-X3,X3-X2,X2-X1进行差分计算,只要是每个图像样本中的任意两张图像均可进行差分计算,但要确保每一张图像均进行过差分计算。
接着,将经差分计算后得到的多张帧差图像进行图像融合,最终得到目标样本图像,可以确定,S个图像样本最终将得到S张RGB的目标样本图像。
在上述图像融合过程中,由于图像融合可能存在一些瑕疵,因此,可选的,在图像融合之后,还可以进一步对融合后的图像进行图像预处理,例如白化处理、调整大小、变形等等,从而获得一张处理结果较好的目标样本图像,有利于提高目标色带检测模型的检测准确度。
最后,构建卷积神经网络模型,利用得到的S张目标样本图像对卷积神经网络模型进行训练,使其不断学习检测色带,以得到可以用于检测色带的卷积神经网络模型,即目标色带检测模型。
采用训练学习后的卷积神经网络模型对图像进行色带检测,可以有效提高检测的准确度以及检测效率。
进一步的,上述步骤1031具体可以包括如下步骤:
从获取的P张图像中每间隔目标时长选取连续的M帧图像,间隔的目标时长可以设为5s、6s等数值,其中,P、M均为正整数,并且M≤P;
对选取的M帧图像中的每一帧图像与其余任意一帧图像进行差分计算,即像素的时间差分计算,例如,每个图像样本包括连续的6帧图像,分别为X1,X2,X3,X4,X5,X6,可以用X2-X1,X4-X3,X6-X5进行差分计算,也可以用X6-X4,X5-X3,X4-X2,X3-X1进行差分计算,还可以用X6-X5,X5-X4,X4-X3,X3-X2,X2-X1进行差分计算,只要是每个图像样本中的任意两帧图像均可进行差分计算,但要确保每一帧图像均进行过差分计算;也就是说,可以从P张图像中选取一部分图像进行上述的差分计算过程,也可以使用全部P张图像进行上述的差分计算过程;
再将经差分计算后得到的多张帧差图像进行图像融合,最终得到目标检测图像。
在上述图像融合过程中,由于图像融合可能存在一些瑕疵,因此,可选的,在图像融合之后,还可以进一步对融合后的图像进行图像预处理,例如白化处理、调整大小、变形等等,从而获得一张处理结果较好的目标检测图像,有利于提高目标色带检测模型的检测准确度。
较优的,上述对P张图像进行图像处理得到目标检测图像的步骤应与上述目标色带检测模型训练时得到目标样本图像的步骤保持一致,以提高色带检测的准确度。
(4)步骤104:若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理。
也就是说或,在经过步骤1032后,若目标检测图像检测到有色带,则需要对摄像头拍摄的P张图像进行色带消除。具体来说,步骤104可以包括:
步骤1041:将P张图像输入到目标色带消除模型中,消除P张图像中的色带。
在本发明的一些具体实施例中,目标色带消除模型具体可以为卷积神经网络模型,由于目标色带消除模型需要预先训练学习,因此,在步骤1041之前,还包括如下步骤:
首先,获取同一场景下有色带的图像样本和没有色带的图像样本,获取的方法可以通过控制光源的手段,也即在人造光源的场景下拍摄得到有色带的图像样本,然后将该场景的光源替换为自然光源,从而拍摄得到没有色带的图像样本(相当于色带消除后的图像样本);当然,获取的图像样本越多,训练的效果也就越好,目标色带消除模型的消除效果也就越好。
然后,基于Retinex理论(即视网膜大脑皮层理论),构建卷积神经网络模型,利用获取的一一对应的有色带的图像样本和没有色带的图像样本对卷积神经网络进行色带消除训练,得到用于消除色带的卷积神经网络模型,即目标色带消除模型。
请参考图2,图2为本发明实施例提供的Retinex理论的示意图。如图2所示,Retinex理论认为,一幅图像可以表示成反射分量R和照明分量L的乘积,即可表示为下式的形式:
I=R x L
其中,R为反射分量,反应物体本身的颜色特性,对应图像中的高频部分,L为照度分量,反应环境的亮度,对应图像中的低频部分。
而banding的产生正是由于环境亮度变化造成的,因此,如果能够对照度分量L进行修正,从原始图像S中估计出L,就可以计算出一个较好的R,从而消除色带,改善图像的视觉效果。在处理中,通常将图像转至对数域,即从而将乘积关系转换为和的关系:
log(I)=log(R)+log(L);
log(R)=log(I)-log(L)。
因此,Retinex理论的核心就是从原始图像I中估测L,并去除L。结合深度学习的方法,需要训练得到一个卷积神经网络模型,该卷积神经网络模型的输入为原始图像I,使用时,I经过卷积神经网络模型网络计算得到修正后的L,通过以上的公式计算,得到最终的结果R。考虑到时间成本,这一过程可以利用小图进行,由于原图像I保留了大量的原始图像信息,因此还原出的R依然能够保持清晰的画质。
由此,本发明实施例的目标色带消除模型采用基于Retinex理论构建的卷积神经网络模型,利用获取的一一对应的有色带的图像样本和没有色带的图像样本对卷积神经网络进行色带消除训练,便可得到用于消除色带的卷积神经网络模型。
请参考图3,图3为本发明实施例提供的目标色带消除模型的示意图。如图3所示,输入为原图像I,F(x)表示的是下采样过程,由卷积层、采样层等组成,F-1(x)是F(x)的逆过程,为上采样过程,同样由卷积层和采样层等构成。通过该目标色带消除模型,最终得到增强后的图像R,也即色带消除后的图像。
(5)步骤105:输出消除色带后的图像。
摄像头采集的P张图像在经过目标色带检测模型检测出色带、并利用色带消除模型将色带消除等步骤后,即可输出消除色带后的图像。这样,输出的图像清晰,可提高用户的拍摄体验。
在本发明实施例中,电子设备在进行色带检测前先根据获取的光源类别信息确定光源类别,从而确定摄像头获取的图像是否需要进行色带检测和消除,不仅简化了色带检测的过程,同时降低了误检的可能性,提高了图像处理速度;在色带检测和色带消除过程中,通过获取预先训练学习好的目标色带检测模型和目标色带消除模型来对摄像头采集的图像进行快速地色带检测和色带消除,色带检测准确度高,色带消除效果好,显著提高了电子设备的图像处理和输出速度,提升了电子设备用户的体验。
本发明另一实施例提供了一种图像处理方法,所述图像处理方法可以包括以下步骤:
步骤201:获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;
步骤202:获取所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;
步骤203:输出所述光源类别为自然光源的图像。
在本实施例中,步骤201和步骤202的具体实施过程见上一实施例,在此不再赘述。在目标场景的光源类别为自然光源时,根据上一实施例的分析可知,P张图像中将不存在色带,因此,在这种情况下,可以直接输出光源类别为自然光源的图像。例如,若所述光源类别为自然光源,输出所述P张图像。本发明实施例通过判断目标场景的光源类别为自然光源还是人工光源,即可知道是否需要对拍摄的图像进行色带检测,并且在光源类别为自然光源时直接输出拍摄的图像,避免了对每一张拍摄的图像都进行色带检测的繁琐步骤,提高了图像输出速度,提升了用户体验。
本发明再一实施例提供了一种图像处理方法,所述图像处理方法可以包括以下步骤:
步骤301:获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;
步骤302:识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;
步骤303:若所述光源类别不是自然光源,对获取的P张图像进行色带检测,判断从P张图像中是否检测到色带;
步骤304:输出未检测到色带的图像。
上述步骤301、步骤302以及步骤303的具体实施过程见实施例一,在此不再赘述。本发明实施例中,在未检测到色带时,可以直接输出未检测到色带的图像。本发明实施例通过目标色带检测模型对拍摄的图像进行色带检测,并且在未检测到色带时直接输出图像,避免了对每一张拍摄的图像都进行色带消除的繁琐步骤,提高了图像输出速度,提升了用户体验。
请参考图4,图4为本发明又一实施例提供的一种电子设备,该电子设备400包括:
获取模块401,用于获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;
识别模块402,用于识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;
色带检测模块403,用于若所述光源类别为人造光源,对所述P张图像进行色带检测,判断从所述P张图像中是否检测到色带;
色带消除模块404,用于若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理;
图像输出模块405,用于输出消除色带后的图像。
可选的,所述识别模块402包括:
颜色信息采集子模块,用于采用所述摄像头的颜色传感器获取颜色信息;
光源信息采集子模块,用于根据所述颜色信息,确定光源信息,所述光源信息包括显色指数和相关色温中的至少一项;
光源类别确定子模块,用于根据所述光源信息,确定所述目标场景下的光源类别。
可选的,所述图像输出模块还用于输出所述P张图像中所述光源类别为自然光源的图像。
可选的,所述色带检测模块403包括:
色带检测图像样本获取子模块,用于获取S个图像样本,S个图像样本包括以人造光源作为光源的图像和以自然光源作为光源的图像,每个图像样本包括连续的M张图像,其中,M=P;
帧差计算子模块,用于将每个图像样本中的每一张图像与另外一张图像进行差分计算,将经差分计算后得到的多张帧差图像进行图像融合,得到目标样本图像;
色带检测模型训练子模块,用于建立卷积神经网络模型,利用所述目标样本图像对所述卷积神经网络模型进行色带检测训练,得到目标色带检测模型;
检测图像处理子模块,用于根据所述P张图像,得到目标检测图像;
色带检测子模块,用于将所述目标检测图像输入到所述目标色带检测模型中检测是否有色带。
可选的,所述检测图像处理子模块包括:
帧差计算单元,用于将所述P张图像中的每一张图像与另外一张图像进行差分计算,得到多张帧差图像;
图像融合单元,用于对所述多张帧差图像进行图像融合,得到所述目标检测图像。
可选的,所述色带消除模块404包括:
色带消除图像样本获取子模块,用于获取同一场景下有色带的图像样本和没有色带的图像样本;
色带消除模型训练子模块,用于建立卷积神经网络模型,利用所述有色带的图像样本和所述没有色带的图像样本对所述卷积神经网络进行色带消除训练,得到目标色带消除模型;
色带消除子模块,用于将所述P张图像输入到所述目标色带消除模型中,消除所述P张图像中的色带。
在本发明实施例中,电子设备400在进行色带检测前先根据获取的光源类别信息确定光源类别,从而确定摄像头获取的图像是否需要进行色带检测和消除,不仅简化了色带检测的过程,同时降低了误检的可能性,提高了图像处理速度;在色带检测和色带消除过程中,通过获取事先训练学习好的目标色带检测模型和目标色带消除模型来对摄像头采集的图像进行快速地色带检测和色带消除,从而提高了电子设备的图像处理和输出速度,提升了电子设备用户的体验。
请参考图5,图5为本发明另一实施例的电子设备的结构示意图,该电子设备50包括但不限于:射频单元51、网络模块52、音频输出单元53、输入单元54、传感器55、显示单元56、用户输入单元57、接口单元58、存储器59、处理器510、以及电源511等部件。本领域技术人员可以理解,图5中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、以及计步器等。
处理器510,用于:
获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;
识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;
若所述光源类别为人造光源,对所述P张图像进行色带检测;
若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理;
输出消除色带后的图像。
在本发明实施例中,在进行色带检测前先根据获取的光源类别信息确定光源类别,以确定摄像头获取的图像是否需要进行色带检测和消除,不仅简化了色带检测的过程,同时降低了误检的可能性,提高了图像处理速度。
应理解的是,本发明实施例中,射频单元51可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器510处理;另外,将上行的数据发送给基站。通常,射频单元51包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元51还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块52为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元53可以将射频单元51或网络模块52接收的或者在存储器59中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元53还可以提供与电子设备50执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元53包括扬声器、蜂鸣器以及受话器等。
输入单元54用于接收音频或视频信号。输入单元54可以包括图形处理器(Graphics Processing Unit,GPU)541和麦克风542,图形处理器541对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元56上。经图形处理器541处理后的图像帧可以存储在存储器59(或其它存储介质)中或者经由射频单元51或网络模块52进行发送。麦克风542可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元51发送到移动通信基站的格式输出。
电子设备50还包括至少一种传感器55,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板561的亮度,接近传感器可在电子设备50移动到耳边时,关闭显示面板561和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器55还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元56用于显示由用户输入的信息或提供给用户的信息。显示单元56可包括显示面板561,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板561。
用户输入单元57可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元57包括触控面板571以及其他输入设备572。触控面板571,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板571上或在触控面板571附近的操作)。触控面板571可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器510,接收处理器510发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板571。除了触控面板571,用户输入单元57还可以包括其他输入设备572。具体地,其他输入设备572可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板571可覆盖在显示面板561上,当触控面板571检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器510根据触摸事件的类型在显示面板561上提供相应的视觉输出。虽然在图5中,触控面板571与显示面板561是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板571与显示面板561集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元58为外部装置与电子设备50连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元58可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收的输入传输到电子设备50内的一个或多个元件或者可以用于在电子设备50和外部装置之间传输数据。
存储器59可用于存储软件程序以及各种数据。存储器59可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器59可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器59内的软件程序和/或模块,以及调用存储在存储器59内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元;优选的,处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
电子设备50还可以包括给各个部件供电的电源511(比如电池),优选的,电源511可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备50包括一些未示出的功能模块,在此不再赘述。
请参考图6,图6为本发明又一实施例的电子设备的结构示意图,该电子设备60包括:处理器61和存储器62。在本发明实施例中,电子设备60还包括:存储在存储器62上并可在处理器61上运行的计算机程序,计算机程序被处理器611执行时可以实现上述任一图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述任一图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括多张指令用以使得一台电子设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (12)
1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;
识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;
若所述光源类别为人造光源,对所述P张图像进行色带检测;
若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理;
输出消除色带后的图像;
所述若所述光源类别为人造光源,对所述P张图像进行色带检测的步骤包括:
根据所述P张图像,得到目标检测图像;
将所述目标检测图像输入到目标色带检测模型中检测是否有色带;
将所述目标检测图像输入到目标色带检测模型前,还包括:
获取S个图像样本,S个图像样本包括以人造光源作为光源的图像和以自然光源作为光源的图像,每个图像样本包括连续的M张图像,从获取的所述P张图像中每间隔目标时长选取所述连续的M张图像,其中,P、M均为正整数,并且M≤P;
将每个图像样本中的每一张图像与另外一张图像进行差分计算,将经差分计算后得到的多张帧差图像进行图像融合,得到目标样本图像;
建立卷积神经网络模型,利用所述目标样本图像对所述卷积神经网络模型进行色带检测训练,得到所述目标色带检测模型。
2.根据权利要求1所述的图像处理方法,其特征在于,所述识别所述目标场景下的光源类别的步骤包括:
采用所述摄像头的颜色传感器获取颜色信息;
根据所述颜色信息,确定光源信息,所述光源信息包括显色指数和相关色温中的至少一项;
根据所述光源信息,确定所述目标场景下的光源类别。
3.根据权利要求1所述的图像处理方法,其特征在于,所述识别所述目标场景下的光源类别之后,所述方法还包括:
若所述光源类别为自然光源,输出所述P张图像。
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述P张图像,得到目标检测图像的步骤包括:
将所述P张图像中的每一张图像与另外一张图像进行差分计算,得到多张帧差图像;
对所述多张帧差图像进行图像融合,得到目标检测图像。
5.根据权利要求1所述的图像处理方法,其特征在于,所述若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理的步骤包括:
将所述P张图像输入到目标色带消除模型中,消除所述P张图像中的色带;
将所述P张图像输入到目标色带消除模型前,还包括:
获取同一场景下有色带的图像样本和没有色带的图像样本;
建立基于视网膜大脑皮层理论的卷积神经网络模型,利用所述有色带的图像样本和所述没有色带的图像样本对所述卷积神经网络进行色带消除训练,得到所述目标色带消除模型。
6.一种电子设备,其特征在于,包括:
获取模块,用于获取摄像头采集的目标场景下的连续的P张图像,其中P为正整数;
识别模块,用于识别所述目标场景下的光源类别,所述光源类别包括自然光源和人造光源;
色带检测模块,用于若所述光源类别为人造光源,对所述P张图像进行色带检测;
色带消除模块,用于若从所述P张图像中检测到色带,对所述P张图像进行色带消除处理;
图像输出模块,用于输出消除色带后的图像;
所述色带检测模块包括:
色带检测图像样本获取子模块,用于获取S个图像样本,S个图像样本包括以人造光源作为光源的图像和以自然光源作为光源的图像,每个图像样本包括连续的M张图像,从获取的所述P张图像中每间隔目标时长选取所述连续的M张图像,其中,P、M均为正整数,并且M≤P;
帧差计算子模块,用于将每个图像样本中的每一张图像与另外一张图像进行差分计算,将经差分计算后得到的多张帧差图像进行图像融合,得到目标样本图像;
色带检测模型训练子模块,用于建立卷积神经网络模型,利用所述目标样本图像对所述卷积神经网络模型进行色带检测训练,得到目标色带检测模型;
检测图像处理子模块,用于根据所述P张图像,得到目标检测图像;
色带检测子模块,用于将所述目标检测图像输入到所述目标色带检测模型中检测是否有色带。
7.根据权利要求6所述的电子设备,其特征在于,所述识别模块包括:
颜色信息采集子模块,用于采用所述摄像头的颜色传感器获取颜色信息;
光源信息采集子模块,用于根据所述颜色信息,确定光源信息,所述光源信息包括显色指数和相关色温中的至少一项;
光源类别确定子模块,用于根据所述光源信息,确定所述目标场景下的光源类别。
8.根据权利要求6所述的电子设备,其特征在于,所述图像输出模块还用于输出所述P张图像中所述光源类别为自然光源的图像。
9.根据权利要求6所述的电子设备,其特征在于,所述检测图像处理子模块包括:
帧差计算单元,用于将所述P张图像中的每一张图像与另外一张图像进行差分计算,得到多张帧差图像;
图像融合单元,用于对所述多张帧差图像进行图像融合,得到所述目标检测图像。
10.根据权利要求6所述的电子设备,其特征在于,所述色带消除模块包括:
色带消除图像样本获取子模块,用于获取同一场景下有色带的图像样本和没有色带的图像样本;
色带消除模型训练子模块,用于建立基于视网膜大脑皮层理论的卷积神经网络模型,利用所述有色带的图像样本和所述没有色带的图像样本对所述卷积神经网络进行色带消除训练,得到目标色带消除模型;
色带消除子模块,用于将所述P张图像输入到所述目标色带消除模型中,消除所述P张图像中的色带。
11.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911076445.7A CN110930372B (zh) | 2019-11-06 | 2019-11-06 | 一种图像处理方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911076445.7A CN110930372B (zh) | 2019-11-06 | 2019-11-06 | 一种图像处理方法、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110930372A CN110930372A (zh) | 2020-03-27 |
CN110930372B true CN110930372B (zh) | 2023-04-25 |
Family
ID=69853292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911076445.7A Active CN110930372B (zh) | 2019-11-06 | 2019-11-06 | 一种图像处理方法、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110930372B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113596344B (zh) * | 2021-07-26 | 2023-10-24 | 艾酷软件技术(上海)有限公司 | 拍摄处理方法、装置、电子设备和可读存储介质 |
CN115514901A (zh) * | 2022-09-09 | 2022-12-23 | 维沃移动通信有限公司 | 曝光时间调整方法及其电路 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7084907B2 (en) * | 2001-01-15 | 2006-08-01 | Nikon Corporation | Image-capturing device |
CN1245018C (zh) * | 2002-12-17 | 2006-03-08 | 北京中星微电子有限公司 | 运动画面中闪烁的消除方法 |
CN108322723B (zh) * | 2018-02-06 | 2020-01-24 | 深圳创维-Rgb电子有限公司 | 一种色彩失真的补偿方法、装置和电视机 |
CN109671037B (zh) * | 2018-12-27 | 2022-09-06 | 中国科学技术大学 | 一种面向可见光通信的光源识别方法及系统 |
-
2019
- 2019-11-06 CN CN201911076445.7A patent/CN110930372B/zh active Active
Non-Patent Citations (2)
Title |
---|
Guarnieri, G., et al..Image-splitting techniques for a dual-layer high dynamic range LCD display.Journal of Electronic Imaging.2008,第17卷(第4期),全文. * |
肖泉 等.有效消除光晕现象和颜色保持的彩色图像增强算法.计算机辅助设计与图形学学报.2011,第22卷(第8期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110930372A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107172364B (zh) | 一种图像曝光补偿方法、装置和计算机可读存储介质 | |
CN107566739B (zh) | 一种拍照方法及移动终端 | |
CN109688322B (zh) | 一种生成高动态范围图像的方法、装置及移动终端 | |
CN110557575B (zh) | 消除炫光的方法和电子设备 | |
CN108989672B (zh) | 一种拍摄方法及移动终端 | |
CN107846583B (zh) | 一种图像阴影补偿方法及移动终端 | |
CN107730460B (zh) | 一种图像处理方法及移动终端 | |
CN107948498B (zh) | 一种消除相机摩尔条纹方法及移动终端 | |
CN107749046B (zh) | 一种图像处理方法及移动终端 | |
CN107644396B (zh) | 一种唇色调整方法和装置 | |
CN108449541B (zh) | 一种全景图像拍摄方法及移动终端 | |
CN108040209B (zh) | 一种拍摄方法和移动终端 | |
JP7467667B2 (ja) | 検出結果出力方法、電子機器及び媒体 | |
CN110933302B (zh) | 一种拍摄方法及电子设备 | |
CN109819166B (zh) | 一种图像处理方法和电子设备 | |
CN110930329A (zh) | 星空图像处理方法及装置 | |
CN111246102A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
CN110602424A (zh) | 视频处理方法及电子设备 | |
CN110930372B (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
CN110855901B (zh) | 摄像头的曝光时间控制方法及电子设备 | |
CN111008929B (zh) | 图像矫正方法及电子设备 | |
CN111182211B (zh) | 拍摄方法、图像处理方法及电子设备 | |
CN109639981B (zh) | 一种图像拍摄方法及移动终端 | |
CN107798662B (zh) | 一种图像处理方法及移动终端 | |
CN108156386B (zh) | 一种全景拍照方法及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |