CN107451976A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN107451976A
CN107451976A CN201710652831.0A CN201710652831A CN107451976A CN 107451976 A CN107451976 A CN 107451976A CN 201710652831 A CN201710652831 A CN 201710652831A CN 107451976 A CN107451976 A CN 107451976A
Authority
CN
China
Prior art keywords
image
mrow
rgb
tri
passages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710652831.0A
Other languages
English (en)
Other versions
CN107451976B (zh
Inventor
杨长久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201710652831.0A priority Critical patent/CN107451976B/zh
Publication of CN107451976A publication Critical patent/CN107451976A/zh
Priority to EP18839321.9A priority patent/EP3625761B1/en
Priority to PCT/CN2018/086456 priority patent/WO2019019772A1/en
Application granted granted Critical
Publication of CN107451976B publication Critical patent/CN107451976B/zh
Priority to US16/718,304 priority patent/US11069090B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置,用以解决现有技术中在对图像的颜色进行校正时存在着校正效果不好的问题;本申请实施例提供的图像处理方法包括:获取到图像后,分别对所述图像红绿蓝RGB三个通道的噪声进行估计;基于预设的RGB三个通道的噪声值,确定所述图像RGB三个通道的相关系数;基于所述图像RGB三个通道的噪声估计值和所述图像RGB三个通道的相关系数,校正所述图像的颜色,其中,图像RGB三个通道的噪声估计值和RGB三个通道的相关系数可以反映图像的实际采集环境,因此基于这些信息对图像颜色进行校正的效果更好。

Description

一种图像处理方法及装置
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置。
背景技术
随着图像处理技术的快速发展,图像处理技术可以应用的技术领域也越来越多,如无人驾驶领域、航拍领域、安防领域等,几乎在每一技术领域中都需要图像最大限度地呈现物体的真实颜色,以更好地对图像中所包含的信息进行识别,因此,需要对摄像头采集的图像进行颜色校正。
目前,根据以下公式对摄像头采集的图像进行颜色校正:
Cout=M×Cin
其中:
Cin=[Rin Gin Bin]T,为进行颜色校正之前图像中任一像素点的RGB值;
Cout=[Rout Gout Bout]T,为进行颜色校正之后图像中任一像素点的RGB值;
为3×3的颜色校正矩阵(Color CorrectionMatrices,CCM)矩阵;Cideal是根据预先设定的标准环境和标准RGB值进行标定而得到的标准颜色矩阵。
对上述公式进行变形可得:
现有技术中,需要预先根据标准环境和标准RGB值,对不同的采集环境进行标定得到不同采集环境下的Cideal。在对图像的颜色进行校正时,再查找与图像的实际采集环境最为接近的Cideal,根据上式得到M后再对图像进行颜色校正,但利用这种离线标定方法得到的Cideal并不能准确反映图像的实际采集环境,因此,根据由Cideal计算的M来对图像的颜色进行校正的效果并不好。
可见,现有技术中在对图像的颜色进行校正时存在着校正效果不好的问题。
发明内容
本申请实施例提供一种图像处理方法及装置,用以解决现有技术中在对图像的颜色进行校正时存在着校正效果不好的问题。
本申请实施例提供的一种图像处理方法,包括:
获取到图像后,分别对所述图像红绿蓝RGB三个通道的噪声进行估计;
基于预设的RGB三个通道的噪声值,确定所述图像RGB三个通道的相关系数;
基于所述图像RGB三个通道的噪声估计值和所述图像RGB三个通道的相关系数,校正所述图像的颜色。
本申请实施例提供的一种图像处理装置,包括:
估计模块,用于获取到图像后,分别对所述图像红绿蓝RGB三个通道的噪声进行估计;
确定模块,用于基于预设的RGB三个通道的噪声值,确定所述图像RGB三个通道的相关系数;
校正模块,用于基于所述图像RGB三个通道的噪声估计值和所述图像RGB三个通道的相关系数,校正所述图像的颜色。
本申请实施例提供的一种计算设备,包括至少一个处理器、以及至少一个存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述计算设备执行上述图像处理方法的步骤。
本申请实施例提供的一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述计算机程序在所述计算设备上运行时,使所述计算设备执行上述图像处理方法的步骤。
本申请实施例中,获取到图像后,分别对图像RGB三个通道的噪声进行估计,并基于预设的RGB三个通道的噪声值,确定图像RGB三个通道的相关系数,然后基于图像RGB三个通道的噪声估计值和图像RGB三个通道的相关系数对图像的颜色进行校正,其中,图像RGB三个通道的噪声估计值和RGB三个通道的相关系数可以准确反映图像的实际采集环境,因此基于这些信息对图像颜色进行校正的效果更好,并且,本申请实施例也不需要对图像的采集环境进行反复标定,因此还可以节省人工成本。
附图说明
图1为本申请实施例提供的图像处理方法流程图;
图2为本申请实施例提供的确定分块图像的第二颜色校正矩阵的方法流程图;
图3为本申请实施例提供的又一图像处理方法流程图;
图4为本申请实施例提供的确定每一像素点的第二颜色校正矩阵的示意图;
图5为本申请实施例提供的图像处理装置的结构图。
图6为本申请实施例提供的用于实现图像处理的计算设备的硬件结构示意图。
具体实施方式
本申请实施例中,获取到图像后,分别对图像RGB三个通道的噪声进行估计,并确定图像RGB三个通道的相关系数,然后基于图像RGB三个通道的噪声估计值和图像RGB三个通道的相关系数对图像的颜色进行校正,其中,图像RGB三个通道的噪声估计值和RGB三个通道的相关系数可以反映图像的实际采集环境,因此基于这些信息对图像颜色进行校正的效果更好,并且,本申请实施例也不需要对图像的采集环境进行反复标定,因此还可以节省人工成本。
下面结合说明书附图对本申请实施例作进一步详细描述。
实施例一
如图1所示,为本申请实施例提供的图像处理方法流程图,包括以下步骤:
S101:获取到图像后,分别对图像RGB三个通道的噪声进行估计。
在具体实施过程中,获取到图像后,对图像RGB三个通道中的每一通道可以执行以下操作:对图像进行边缘检测确定图像边缘像素点的个数,并基于拉普拉斯算子对图像进行卷积处理,之后根据图像的宽、高、边缘像素点的个数和进行卷积处理后的图像估计该通道的噪声值。
比如,可以根据以下公式确定图像每一通道的噪声估计值σn
其中,W为图像的宽;H为图像的高;Nedge为图像的边缘像素点的个数;L为基于拉普拉斯算子对图像进行卷积处理后的图像;为L中除了图像的边缘像素点之外其它像素点的亮度值取绝对值之后的和;并且,σR、σG、σB分别为图像RGB三个通道的噪声估计值。
S102:基于预设的RGB三个通道的噪声值,确定图像RGB三个通道的相关系数。
在具体实施过程中,以N×N的窗口、N/2为行步长和列步长对图像进行分块处理,之后遍历图像中的分块图像,对于遍历到到的每一分块图像,确定该分块图像中每一像素点的RGB值,然后根据各像素点的RGB值和预设的RGB三个通道的噪声值,确定该分块图像RGB三个通道的相关系数。
比如,某一分块图像包含t个像素点,其中,每一像素点的RGB值表示为[Rin GinBin]T,预设的RGB三个通道的噪声为[NR NG NB]T,则在噪声情况下该像素点的RGB值[R′inG′in B′in]T为:
[R′in G′in B′in]T=[Rin+NR Gin+NG Bin+NB]。
进一步地,根据以下公式计算分块图像RGB三个通道的相关系数Cor:
S103:基于图像RGB三个通道的噪声估计值和图像RGB三个通道的相关系数,校正图像的颜色。
现有技术中,对于摄像头采集的图像使用同样的颜色校正矩阵M进行校正,而实际上一幅图像不同部位的噪声可能是不同的,如果采用同样的M进行校正,可能使图像中噪声比较大的部位发生失色或者异常,导致无法准确辨别图像中物体的真实颜色,并且这种情况在低照度情况下更为严重。为了避免这种现象,本申请实施例中对于不同的分块图像可以确定不同的噪声相关系数。
具体地,对于每一分块图像,可以根据该分块图像RGB三个通道的相关系数和图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵,然根据修正矩阵和该分块图像原始的第一颜色校正矩阵M,确定该分块图像的第二颜色校正矩阵M',进而根据各分块图像的第二颜色校正矩阵校正对图像的颜色进行校正。
其中,修正矩阵主对角线上的元素可以反映出对分块图像的噪声估计是否合适,如果主对角线上存在取值小于零的元素,则可能使图像发生失色或者异常。因此,上述在根据该分块图像RGB三个通道的相关系数和图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵之后,若确定修正矩阵主对角线上任一元素的取值小于零,还可以对图像RGB三个通道的噪声估计值进行修正,之后返回根据该分块图像RGB三个通道的相关系数和图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵的步骤,直到得到的修正矩阵主对角线上任一元素的取值都大于零。
具体地,对于每一分块图像,可以根据图2所示的流程得到该分块图像的第二颜色校正矩阵:
S201a:确定分块图像的噪声相关系数。
比如,可以根据以下公式得到整副图像的噪声相关系数CorNN:
初始时将其作为分块图像的噪声相关系数。
S202a:确定分块图像的修正矩阵。
比如,可以根据以下公式计算该分块图像的修正矩阵A:
A=Cor-1*(Cor-CorNN)。
S203a:判断修正矩阵A的主对角线上是否存在取值小于零的元素,若是,则进入S204a;否则,进入S205a。
S204a:对分块图像的噪声相关系数进行修正,并返回S202a。
具体地,可以根据以下式公式对分块图像的CorNN进行更新:
其中,w1=1/σR,w2=1/σG,w3=1/σB,w1、w2、w3的范围为[0.25,0.5]。
S205a:确定分块图像的第二颜色校正矩阵。
比如,可以根据以下公式计算该分块图像的第二颜色校正矩阵M':
M'=M*AT
在具体实施过程中,得到各分块图像的第二颜色校正矩阵之后,可以遍历图像中的像素点,对于遍历到的每个像素点,根据该像素点在图像中的坐标,确定覆盖该像素点的L个分块图像的第二颜色校正矩阵分别对应的权重,然后基于L个分块图像的第二颜色校正矩阵和相应的权重,确定该像素点的第二颜色校正矩阵,进一步地,基于该像素点的第二颜色校正矩阵对该像素点的颜色进行校正。
比如,当L=4时,对于遍历到的每个像素点,可以根据以下公式确定覆盖该像素点的四个分块图像的第二颜色校正矩阵的权重:
其中,(x,y)为该像素点在图像中的坐标;d=N/2;w1为位于左上角分块图像的第二颜色校正矩阵的权重;w2为位于右上角分块图像的第二颜色校正矩阵的权重;w3为位于左下角分块图像的第二颜色校正矩阵的权重;w4为位于右下角分块图像的第二颜色校正矩阵的权重。
然后,根据以下公式确定该像素点的第二颜色校正矩阵M′i
M′i=w1M′1+w2M′2+w3M′3+w4M′4
其中,M′1、M'2、M′3、M'4分别为左上角分块图像、右上角分块图像、左下角分块图像和右下角分块图像的第二颜色校正矩阵。
特别地,当对图像划分出一个分块图像时,整幅图像共用一个第二颜色校正矩阵,图像中的每个像素点都根据该第二颜色校正矩阵进行颜色校正。
本申请实施例中,获取到图像后,分别对图像RGB三个通道的噪声进行估计,并确定图像RGB三个通道的相关系数,然后基于图像RGB三个通道的噪声估计值和图像RGB三个通道的相关系数对图像的颜色进行校正,其中,图像RGB三个通道的噪声估计值和RGB三个通道的相关系数可以反映图像的实际采集环境,因此基于这些信息对图像颜色进行校正的效果更好,并且,本申请实施例中只需标定一次来得到第一颜色校正矩阵,后续不再需要对图像的采集环境进行反复标定,因此还可以节省人工成本。
实施例二
这里,首先对得到图像的第二颜色校正矩阵的过程进行说明。
实际应用中,在对图像进行颜色校正时,图像中每个像素点的RGB值一般都包含有噪声,本申请实施例中假设噪声为加性高斯白噪声,则:
C′in=Cin+N;
其中,C′in=[R′in G′in B′in]T,为噪声情况下像素点的RGB值;
Cin=[Rin Gin Bin]T为无噪声情况下像素点的RGB值;N=[NR NG NB]T,为预设的高斯白噪声下RGB三个通道的噪声值。
则,改进后的颜色校正方程为:
其中,M为图像的第一颜色校正矩阵(现有技术中的颜色校正矩阵);M'为图像的第二颜色校正矩阵;为无噪声情况下图像中像素点的RGB值经过M′校正后的RGB值;[N'R N'G N'B]T为图像中像素点的RGB三个通道的预设噪声值经过M'校正后的噪声值。
将C′in=Cin+N代入上述公式中可得:
下面,以图像的G通道为例说明求解第二颜色校正矩阵M'的过程。
假设Gout=αRin+βGin+γBin,α、β、γ为无噪声情况下第一颜色校正矩阵M的系数;G′out=α′R′in+β′G′in+γ′B′in,α′、β′、γ′为噪声情况下第二颜色校正矩阵M'的系数,为了求解M'的系数,同样需要求解方程:
待人上式可得:
通过最小二乘法求解上述方程可以得到:
将上式进行转置可得:
[α' β' γ']=[α β γ](Cor-CorNN)T(Cor-1)T
其中,Cor为图像RGB三个通道的相关系数,CorNN为图像的噪声相关系数。
类似地,计算图像R通道和B通道的M'系数可得,第二颜色校正矩阵M'为:
M′=M(Cor-CorNN)T(Cor-1)T
根据上述过程,在具体实施过程中,可以按照图3所示的流程对图像的颜色进行校正:
S301:对图像进行分块处理。
这里,可以以N×N的窗口、N/2为行步长和列步长对图像进行分块处理,这样,对图像进行重叠分块可以使图像的颜色过度自然,减少图像颜色的不均匀性。
S302:对分块图像进行遍历。
S303:对于遍历到的每一分块图像,计算该分块图像的第二颜色校正矩阵。
可选地,对于每一分块图像,根据以下公式计算该分块图像RGB三个通道的相关系数Cor:
其中,t为分块图像包含的像素点个数;[R′in G′in B′in]T为噪声情况下图像中像素点的RGB值;[Rin Gin Bin]T为无噪声情况下图像中像素点的RGB值;并且,[R′in G′in B′in]T=[Rin+NR Gin+NG Bin+NB],[NR NG NB]T为预设的图像RGB三个通道的噪声值。
可选地,对于RGB中的任一通道,在该通道下对图像进行边缘检测确定图像边缘像素点的个数Nedge,并基于拉普拉斯算子对图像进行卷积处理得到图像L,然后根据以下公式计算该通道的噪声值:
其中,W为图像的宽;H为图像的高;为卷积矩阵L中除了图像的边缘像素点之外其它像素点的亮度值取绝对值之后的和;n的取值为R,G,B。
进一步地,根据以下公式计算图像的噪声相关系数CorNN:
其中,σR、σG、σB分别为对图像RGB三个通道的噪声估计值。
最后,根据以下公式确定该分块图像的第二颜色校正矩阵M':
M′=M(Cor-CorNN)T(Cor-1)T
其中,M为第一颜色校正矩阵,确定M的方法与现有技术相同,在此不再赘述。
此外,上述噪声相关系数CorNN属于整幅图像,对图像进行分块以后,每一分块图像的噪声并不相同,如果根据上述噪声相关矩阵计算每个分块图像的第二颜色校正矩阵可能会使某些分块图像发生异常或者偏色。为了避免这种现象,令M'=MAT,其中,A=Cor-1*(Cor-CorNN)为修正矩阵,然后以修正矩阵主对角线上的元素为准,判断上述噪声相关矩阵CorNN是否会使分块图像发生异常或者偏色。
具体地,若修正矩阵A主对角线上存在取值小于0的元素,则说明基于上述噪声相关系数计算的第二颜色校正矩阵会使分块图像发生偏色,为此,上述过程中在得到分块图像的修正矩阵A之后,若确定修正矩阵A主对角线上存在取值小于0的元素,则可以按照以下公式对CorNN进行更新:
其中,w1=1/σR,w2=1/σG,w3=1/σB,w1、w2、w3的范围为[0.25,0.5]。
之后,根据公式A=Cor-1*(Cor-CorNN),重新计算修正矩阵A,循环上述操作直到修正矩阵A主对角线上任一元素的值都大于零时,再根据公式M'=MAT计算分块图像的第二颜色校正矩阵。
S304:对图像中的像素点进行遍历。
S305:对于遍历到的每一个像素点,确定该像素点的第二颜色校正矩阵,根据该像素点的第二颜色校正矩阵对该像素点进行颜色校正。
这里,由于采用了对图像进行分块的方式计算各分块图像的第二颜色校正矩阵,为了防止块与块之间出现块效应,在对图像颜色进行校正处理时,可以通过双线性插值的方式获得各分块图像共同覆盖区域内、像素点的第二颜色校正矩阵。
具体地,如图4所示,为确定各分块图像共同覆盖区域内每一像素点的第二颜色校正矩阵的示意图,其中,中间分块图像的大小为N/2×N/2,该分块图像被左上角分块图像1、右上角分块图像2、左下角分块图像3和右下角分块图像4共同覆盖,分块图像1、分块图像2、分块图像3、分块图像4的第二颜色校正矩阵分别为M′1、M'2、M′3、M'4,则对于中间分块图像中的每一像素点,可以根据以下公式确定该像素点的第二颜色校正矩阵M′i
Mi=w1M′1+w2M′2+w3M′3+w4M′4
其中:(x,y)为该像素点在图像中的坐标;d=N/2;w1、w2、w3、w4分别为分块图像1、分块图像2、分块图像3、分块图像4的第二颜色校正矩阵的权重。
进一步地,根据以下公式对该像素点的颜色进行校正:
Cout=M′i×Cin
其中,Cin=[Rin Gin Bin]T为该像素点在进行颜色校正之前RGB三个通道的亮度值;Cout=[Rout Gout Bout]T,为该像素点在进行颜色校正之后RGB三个通道的亮度值。
实施例三
基于同一发明构思,本申请实施例中还提供了一种与图像处理方法对应的对图像处理装置,由于该装置解决问题的原理与本申请实施例图像处理方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
如图5所示,为本申请实施例提供的图像处理装置的结构图,包括:
估计模块501,用于获取到图像后,分别对所述图像红绿蓝RGB三个通道的噪声进行估计;
确定模块502,用于基于预设的RGB三个通道的噪声值,确定所述图像RGB三个通道的相关系数;
校正模块503,用于基于所述图像RGB三个通道的噪声估计值和所述图像RGB三个通道的相关系数,校正所述图像的颜色。
可选地,所述估计模块501具体用于:
在每一通道下,对所述图像进行边缘检测确定所述图像边缘像素点的个数;
基于拉普拉斯算子对所述图像进行卷积处理;
根据所述图像的宽、高、所述边缘像素点的个数和进行卷积处理后的图像,估计该通道的噪声值。
可选地,根据以下公式确定所述图像RGB三个通道中任一通道的噪声估计值σn
其中,W为所述图像的宽;H为所述图像的高;Nedge为所述图像的边缘像素点的个数;L为进行卷积处理后的图像;为L中除了所述图像的边缘像素点之外其它像素点的亮度值取绝对值之后的和。
可选地,所述确定模块502具体用于:
以N×N的窗口、N/2为行步长和列步长对所述图像进行分块处理;其中,N为自然数;
遍历所述图像中的分块图像;
对于遍历到的每一分块图像,确定该分块图像中每一像素点的RGB值;
基于各像素点的RGB值和预设的RGB三个通道的噪声值,确定该分块图像RGB三个通道的相关系数。
可选地,所述校正模块503具体用于:
对于每一分块图像,根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵;
根据所述修正矩阵和该分块图像原始的第一颜色校正矩阵,确定该分块图像的第二颜色校正矩阵;
基于各分块图像的第二颜色校正矩阵校正所述图像的颜色。
可选地,所述校正模块503具体用于:
对于每一分块图像,根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵之后,若确定所述修正矩阵主对角线上任一元素的取值小于零,则对所述图像RGB三个通道的噪声估计值进行修正;
返回根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵的步骤,直到得到的修正矩阵主对角线上任一元素的取值都大于零。
可选地,所述校正模块503具体用于:
遍历所述图像中的像素点;
对于遍历到的每个像素点,根据该像素点在所述图像中的坐标,确定共同覆盖该像素点的L个分块图像的第二颜色校正矩阵分别对应的权重;其中,L为大于1的整数;
基于所述L个分块图像的第二颜色校正矩阵和相应的权重,确定该像素点的第二颜色校正矩阵;
基于该像素点的第二颜色校正矩阵对该像素点的颜色进行校正。
可选地,若L=4,则对于遍历到的每个像素点,根据以下公式确定覆盖该像素点的四个分块图像的第二颜色校正矩阵的权重:
其中:(x,y)为所述像素点在所述图像中的坐标;d=N/2;w1为位于左上角分块图像的第二颜色校正矩阵的权重;w2为位于右上角分块图像的第二颜色校正矩阵的权重;w3为位于左下角分块图像的第二颜色校正矩阵的权重;w4为位于右下角分块图像的第二颜色校正矩阵的权重。
实施例四
如图6所示,为本申请实施例提供的用于实现图像处理的计算设备的硬件结构示意图,包括至少一个处理器601、以及至少一个存储器602,其中,存储器存储有程序代码,当程序代码被所述处理器执行时,使得计算设备执行上述图像处理方法的步骤。
实施例五
本申请实施例提供的一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述计算机程序在所述计算设备上运行时,使所述计算设备执行上述图像处理方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (18)

1.一种图像处理方法,其特征在于,包括:
获取到图像后,分别对所述图像红绿蓝RGB三个通道的噪声进行估计;
基于预设的RGB三个通道的噪声值,确定所述图像RGB三个通道的相关系数;
基于所述图像RGB三个通道的噪声估计值和所述图像RGB三个通道的相关系数,校正所述图像的颜色。
2.如权利要求1所述的方法,其特征在于,分别对所述图像红绿蓝RGB三个通道的噪声进行估计,包括:
在每一通道下,对所述图像进行边缘检测确定所述图像边缘像素点的个数;
基于拉普拉斯算子对所述图像进行卷积处理;
根据所述图像的宽、高、所述边缘像素点的个数和进行卷积处理后的图像,估计该通道的噪声值。
3.如权利要求2所述的方法,其特征在于,根据以下公式确定所述图像RGB三个通道中任一通道的噪声估计值σn
<mrow> <msub> <mi>&amp;sigma;</mi> <mi>n</mi> </msub> <mo>=</mo> <msqrt> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> </msqrt> <mfrac> <mn>1</mn> <mrow> <mn>6</mn> <mrow> <mo>(</mo> <mo>(</mo> <mi>W</mi> <mo>-</mo> <mn>2</mn> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mi>H</mi> <mo>-</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>N</mi> <mrow> <mi>e</mi> <mi>d</mi> <mi>g</mi> <mi>e</mi> </mrow> </msub> <mo>)</mo> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mi>m</mi> <mi>a</mi> <mi>g</mi> <mi>e</mi> <mi>I</mi> <mi>e</mi> <mi>x</mi> <mi>c</mi> <mi>l</mi> <mi>u</mi> <mi>d</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mi>g</mi> <mi>e</mi> </mrow> </munder> <mo>|</mo> <mi>L</mi> <mo>|</mo> <mo>;</mo> </mrow>
其中,W为所述图像的宽;H为所述图像的高;Nedge为所述图像的边缘像素点的个数;L为进行卷积处理后的图像;为L中除了所述图像的边缘像素点之外其它像素点的亮度值取绝对值之后的和。
4.如权利要求1所述的方法,其特征在于,基于预设的RGB三个通道的噪声值,确定所述图像RGB三个通道的相关系数,包括:
以N×N的窗口、N/2为行步长和列步长对所述图像进行分块处理;其中,N为自然数;
遍历所述图像中的分块图像;
对于遍历到的每一分块图像,确定该分块图像中每一像素点的RGB值;
基于各像素点的RGB值和预设的RGB三个通道的噪声值,确定该分块图像RGB三个通道的相关系数。
5.如权利要求4所述的方法,其特征在于,基于所述图像RGB三个通道的噪声估计值和所述图像RGB三个通道的相关系数,校正所述图像的颜色,包括:
对于每一分块图像,根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵;
根据所述修正矩阵和该分块图像原始的第一颜色校正矩阵,确定该分块图像的第二颜色校正矩阵;
基于各分块图像的第二颜色校正矩阵校正所述图像的颜色。
6.如权利要求5所述的方法,其特征在于,对于每一分块图像,根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵之后,还包括:
若确定所述修正矩阵主对角线上任一元素的取值小于零,则对所述图像RGB三个通道的噪声估计值进行修正;
返回根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵的步骤,直到得到的修正矩阵主对角线上任一元素的取值都大于零。
7.如权利要求5或6所述的方法,其特征在于,基于各分块图像的第二颜色校正矩阵校正所述图像的颜色,包括:
遍历所述图像中的像素点;
对于遍历到的每个像素点,根据该像素点在所述图像中的坐标,确定共同覆盖该像素点的L个分块图像的第二颜色校正矩阵分别对应的权重;其中,L为大于1的整数;
基于所述L个分块图像的第二颜色校正矩阵和相应的权重,确定该像素点的第二颜色校正矩阵;
基于该像素点的第二颜色校正矩阵对该像素点的颜色进行校正。
8.如权利要求7所述的方法,其特征在于,若L=4,则对于遍历到的每个像素点,根据以下公式确定覆盖该像素点的四个分块图像的第二颜色校正矩阵的权重:
<mrow> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>x</mi> <mo>)</mo> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>y</mi> <mo>)</mo> </mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> </mfrac> <mo>;</mo> </mrow>
<mrow> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> </mfrac> <mo>;</mo> </mrow>
<mrow> <msub> <mi>w</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>x</mi> <mo>)</mo> <mi>y</mi> </mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> </mfrac> <mo>;</mo> </mrow>
<mrow> <msub> <mi>w</mi> <mn>4</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mi>x</mi> <mi>y</mi> </mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> </mfrac> <mo>;</mo> </mrow>
其中:(x,y)为所述像素点在所述图像中的坐标;d=N/2;w1为位于左上角分块图像的第二颜色校正矩阵的权重;w2为位于右上角分块图像的第二颜色校正矩阵的权重;w3为位于左下角分块图像的第二颜色校正矩阵的权重;w4为位于右下角分块图像的第二颜色校正矩阵的权重。
9.一种对图像颜色进行校正的装置,其特征在于,包括:
估计模块,用于获取到图像后,分别对所述图像红绿蓝RGB三个通道的噪声进行估计;
确定模块,用于基于预设的RGB三个通道的噪声值,确定所述图像RGB三个通道的相关系数;
校正模块,用于基于所述图像RGB三个通道的噪声估计值和所述图像RGB三个通道的相关系数,校正所述图像的颜色。
10.如权利要求9所述的装置,其特征在于,所述估计模块具体用于:
在每一通道下,对所述图像进行边缘检测确定所述图像边缘像素点的个数;
基于拉普拉斯算子对所述图像进行卷积处理;
根据所述图像的宽、高、所述边缘像素点的个数和进行卷积处理后的图像,估计该通道的噪声值。
11.如权利要求10所述的装置,其特征在于,根据以下公式确定所述图像RGB三个通道中任一通道的噪声估计值σn
<mrow> <msub> <mi>&amp;sigma;</mi> <mi>n</mi> </msub> <mo>=</mo> <msqrt> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> </msqrt> <mfrac> <mn>1</mn> <mrow> <mn>6</mn> <mrow> <mo>(</mo> <mo>(</mo> <mi>W</mi> <mo>-</mo> <mn>2</mn> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mi>H</mi> <mo>-</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>N</mi> <mrow> <mi>e</mi> <mi>d</mi> <mi>g</mi> <mi>e</mi> </mrow> </msub> <mo>)</mo> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>g</mi> <mi>e</mi> <mi>I</mi> <mi>e</mi> <mi>x</mi> <mi>c</mi> <mi>l</mi> <mi>u</mi> <mi>d</mi> <mi>e</mi> <mi>e</mi> <mi>d</mi> <mi>g</mi> <mi>e</mi> </mrow> </munder> <mo>|</mo> <mi>L</mi> <mo>|</mo> <mo>;</mo> </mrow>
其中,W为所述图像的宽;H为所述图像的高;Nedge为所述图像的边缘像素点的个数;L为进行卷积处理后的图像;为L中除了所述图像的边缘像素点之外其它像素点的亮度值取绝对值之后的和。
12.如权利要求9所述的装置,其特征在于,所述确定模块具体用于:
以N×N的窗口、N/2为行步长和列步长对所述图像进行分块处理;其中,N为自然数;
遍历所述图像中的分块图像;
对于遍历到的每一分块图像,确定该分块图像中每一像素点的RGB值;
基于各像素点的RGB值和预设的RGB三个通道的噪声值,确定该分块图像RGB三个通道的相关系数。
13.如权利要求12所述的装置,其特征在于,所述校正模块具体用于:
对于每一分块图像,根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵;
根据所述修正矩阵和该分块图像原始的第一颜色校正矩阵,确定该分块图像的第二颜色校正矩阵;
基于各分块图像的第二颜色校正矩阵校正所述图像的颜色。
14.如权利要求13所述的装置,其特征在于,所述校正模块具体用于:
对于每一分块图像,根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵之后,若确定所述修正矩阵主对角线上任一元素的取值小于零,则对所述图像RGB三个通道的噪声估计值进行修正;
返回根据该分块图像RGB三个通道的相关系数和所述图像RGB三个通道的噪声估计值,确定该分块图像的修正矩阵的步骤,直到得到的修正矩阵主对角线上任一元素的取值都大于零。
15.如权利要求13或14所述的装置,其特征在于,所述校正模块具体用于:
遍历所述图像中的像素点;
对于遍历到的每个像素点,根据该像素点在所述图像中的坐标,确定共同覆盖该像素点的L个分块图像的第二颜色校正矩阵分别对应的权重;其中,L为大于1的整数;
基于所述L个分块图像的第二颜色校正矩阵和相应的权重,确定该像素点的第二颜色校正矩阵;
基于该像素点的第二颜色校正矩阵对该像素点的颜色进行校正。
16.如权利要求15所述的装置,其特征在于,若L=4,则对于遍历到的每个像素点,根据以下公式确定覆盖该像素点的四个分块图像的第二颜色校正矩阵的权重:
<mrow> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>x</mi> <mo>)</mo> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>y</mi> <mo>)</mo> </mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> </mfrac> <mo>;</mo> </mrow>
<mrow> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> </mfrac> <mo>;</mo> </mrow>
<mrow> <msub> <mi>w</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>x</mi> <mo>)</mo> <mi>y</mi> </mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> </mfrac> <mo>;</mo> </mrow>
<mrow> <msub> <mi>w</mi> <mn>4</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mi>x</mi> <mi>y</mi> </mrow> <msup> <mi>d</mi> <mn>2</mn> </msup> </mfrac> <mo>;</mo> </mrow>
其中:(x,y)为所述像素点在所述图像中的坐标;d=N/2;w1为位于左上角分块图像的第二颜色校正矩阵的权重;w2为位于右上角分块图像的第二颜色校正矩阵的权重;w3为位于左下角分块图像的第二颜色校正矩阵的权重;w4为位于右下角分块图像的第二颜色校正矩阵的权重。
17.一种计算设备,其特征在于,包括至少一个处理器、以及至少一个存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述计算设备执行权利要求1~8任一所述方法的步骤。
18.一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述计算机程序在所述计算设备上运行时,使所述计算设备执行权利要求1~8任一所述方法的步骤。
CN201710652831.0A 2017-07-28 2017-07-28 一种图像处理方法及装置 Active CN107451976B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710652831.0A CN107451976B (zh) 2017-07-28 2017-07-28 一种图像处理方法及装置
EP18839321.9A EP3625761B1 (en) 2017-07-28 2018-05-11 Systems and methods for image processing
PCT/CN2018/086456 WO2019019772A1 (en) 2017-07-28 2018-05-11 SYSTEMS AND METHODS FOR IMAGE PROCESSING
US16/718,304 US11069090B2 (en) 2017-07-28 2019-12-18 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710652831.0A CN107451976B (zh) 2017-07-28 2017-07-28 一种图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN107451976A true CN107451976A (zh) 2017-12-08
CN107451976B CN107451976B (zh) 2019-09-17

Family

ID=60490792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710652831.0A Active CN107451976B (zh) 2017-07-28 2017-07-28 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN107451976B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019772A1 (en) * 2017-07-28 2019-01-31 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PROCESSING
CN109934786A (zh) * 2019-03-14 2019-06-25 河北师范大学 一种图像的颜色校正方法、系统及终端设备
CN111063368A (zh) * 2018-10-16 2020-04-24 中国移动通信有限公司研究院 一种音频信号中的噪声估计方法、装置、介质和设备
CN111351836A (zh) * 2018-12-20 2020-06-30 核动力运行研究所 一种阵列探头涡流检测信号图形成像优化方法
CN111564015A (zh) * 2020-05-20 2020-08-21 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置
CN111652826A (zh) * 2020-05-18 2020-09-11 哈尔滨工业大学 基于Wallis滤波+直方图匹配的有重多/高光谱遥感图像匀色方法
CN112104818A (zh) * 2020-08-28 2020-12-18 稿定(厦门)科技有限公司 Rgb通道分离方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091232A1 (en) * 2001-11-13 2003-05-15 Nokia Corporation Method and system for improving color images
US20060291746A1 (en) * 2005-06-21 2006-12-28 Samsung Electronics Co., Ltd. Method of and apparatus for removing color noise based on correlation between color channels
US20090129695A1 (en) * 2007-11-15 2009-05-21 Aldrich Bradley C Method and system for noise management for spatial processing in digital image/video capture systems
CN101466046A (zh) * 2007-12-21 2009-06-24 三星Techwin株式会社 用于去除图像信号的颜色噪声的方法和设备
US20100141809A1 (en) * 2007-08-13 2010-06-10 Olympus Corporation Image processing apparatus, image pickup apparatus, storage medium for storing image processing program, and image processing method
CN102156964A (zh) * 2011-03-31 2011-08-17 杭州海康威视软件有限公司 彩色图像去噪声的方法及其系统
CN102750671A (zh) * 2011-09-28 2012-10-24 新奥特(北京)视频技术有限公司 一种图像彩色噪声去除方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091232A1 (en) * 2001-11-13 2003-05-15 Nokia Corporation Method and system for improving color images
US20060291746A1 (en) * 2005-06-21 2006-12-28 Samsung Electronics Co., Ltd. Method of and apparatus for removing color noise based on correlation between color channels
US20100141809A1 (en) * 2007-08-13 2010-06-10 Olympus Corporation Image processing apparatus, image pickup apparatus, storage medium for storing image processing program, and image processing method
US20090129695A1 (en) * 2007-11-15 2009-05-21 Aldrich Bradley C Method and system for noise management for spatial processing in digital image/video capture systems
CN101466046A (zh) * 2007-12-21 2009-06-24 三星Techwin株式会社 用于去除图像信号的颜色噪声的方法和设备
CN102156964A (zh) * 2011-03-31 2011-08-17 杭州海康威视软件有限公司 彩色图像去噪声的方法及其系统
CN102750671A (zh) * 2011-09-28 2012-10-24 新奥特(北京)视频技术有限公司 一种图像彩色噪声去除方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019772A1 (en) * 2017-07-28 2019-01-31 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PROCESSING
US11069090B2 (en) 2017-07-28 2021-07-20 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
CN111063368A (zh) * 2018-10-16 2020-04-24 中国移动通信有限公司研究院 一种音频信号中的噪声估计方法、装置、介质和设备
CN111063368B (zh) * 2018-10-16 2022-09-27 中国移动通信有限公司研究院 一种音频信号中的噪声估计方法、装置、介质和设备
CN111351836A (zh) * 2018-12-20 2020-06-30 核动力运行研究所 一种阵列探头涡流检测信号图形成像优化方法
CN111351836B (zh) * 2018-12-20 2023-09-12 核动力运行研究所 一种阵列探头涡流检测信号图形成像优化方法
CN109934786B (zh) * 2019-03-14 2023-03-17 河北师范大学 一种图像的颜色校正方法、系统及终端设备
CN109934786A (zh) * 2019-03-14 2019-06-25 河北师范大学 一种图像的颜色校正方法、系统及终端设备
CN111652826A (zh) * 2020-05-18 2020-09-11 哈尔滨工业大学 基于Wallis滤波+直方图匹配的有重多/高光谱遥感图像匀色方法
CN111564015A (zh) * 2020-05-20 2020-08-21 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置
CN111564015B (zh) * 2020-05-20 2021-08-24 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置
CN112104818A (zh) * 2020-08-28 2020-12-18 稿定(厦门)科技有限公司 Rgb通道分离方法及系统
CN112104818B (zh) * 2020-08-28 2022-07-01 稿定(厦门)科技有限公司 Rgb通道分离方法及系统

Also Published As

Publication number Publication date
CN107451976B (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN107451976A (zh) 一种图像处理方法及装置
US11610082B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
JP6871314B2 (ja) 物体検出方法、装置及び記憶媒体
CN106650630B (zh) 一种目标跟踪方法及电子设备
US9842386B2 (en) Image filtering based on image gradients
CN102682446B (zh) 使用自适应联合双边滤波器生成稠密深度图的设备和方法
US8374428B2 (en) Color balancing for partially overlapping images
US20150178900A1 (en) Depth image processing apparatus and method based on camera pose conversion
US20160182873A1 (en) Image processing apparatus, image processing system, image processing method, and computer program
US20150279021A1 (en) Video object tracking in traffic monitoring
US20110057943A1 (en) Balancing Luminance Disparity in a Display by Multiple Projectors
US10817723B2 (en) Image recognition system and information-display method thereof
CN105069453A (zh) 一种图像校正方法及装置
CN104052979A (zh) 用于图像处理的装置和技术
CN104735360B (zh) 光场图像处理方法和装置
CN109934873B (zh) 标注图像获取方法、装置及设备
CN106062824A (zh) 边缘检测装置、边缘检测方法和程序
CN104346817A (zh) 一种视频图像偏色检测方法及装置
KR101215666B1 (ko) 오브젝트 색상 보정 방법, 시스템 및 컴퓨터 프로그램 제품
US20180204333A1 (en) Object detection device and object detection method
KR101028699B1 (ko) 회화적 렌더링 장치 및 방법
CN104282013B (zh) 一种用于前景目标检测的图像处理方法及装置
CN113808004B (zh) 图像变换装置、图像变换方法以及图像变换用计算机程序
CN106611406B (zh) 图像校正方法和图像校正设备
US20140147056A1 (en) Depth image noise removal apparatus and method based on camera pose

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant