CN112634183A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN112634183A CN112634183A CN202011225826.XA CN202011225826A CN112634183A CN 112634183 A CN112634183 A CN 112634183A CN 202011225826 A CN202011225826 A CN 202011225826A CN 112634183 A CN112634183 A CN 112634183A
- Authority
- CN
- China
- Prior art keywords
- fusion
- fused
- image
- images
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 239
- 239000011159 matrix material Substances 0.000 claims abstract description 163
- 238000013507 mapping Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 abstract description 12
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000007499 fusion processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像处理方法及装置,包括:获取两帧待融合图像,两帧待融合图像中的像素点一一对应;基于预设维度的权重映射矩阵,获取两帧待融合图像中一一对应的两个像素点的融合权重值,并根据融合权重值,建立融合掩码矩阵;对融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;根据目标融合掩码矩阵,对两帧待融合图像进行图像融合,得到目标图像。在本发明中,由于像素点的融合权重值仅需在权重映射矩阵中按照索引进行查询得到,使得计算量极小,响应速度极快,相较于现有技术中泊松融合和曝光融合等方法,具有更快的响应速度,提升了HDR融合过程的融合速度。
Description
技术领域
本发明属于图像处理技术领域,特别是涉及一种图像处理方法及装置。
背景技术
随着电子设备的功能不断完善,用户对电子设备的拍摄功能的需求越来越高,高动态光照渲染(HDR,High-Dynamic Range)作为电子设备的相机的一项功能,通过在同一个场景下拍摄多张不同曝光度的图像,最后进行多张图像合成,从而增强最终照片动态的范围,增加照片的层次感。
在目前,在电子设备中常用的HDR融合算法,主要是获取多个不同曝光度的图像,通过泊松融合、曝光融合等方法进行融合,从而得到高动态范围的图像,获取的高动态范围图像相比拍摄的单图,在过曝以及暗处细节更好。
但是,目前的HDR融合算法在应用过程中会产生计算量较大,耗时较多的问题。
发明内容
本发明提供一种图像处理方法及装置,以便解决现有技术中HDR融合算法在应用过程中会产生计算量较大,耗时较多的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种图像处理方法,所述图像处理方法包括:
获取两帧待融合图像,两帧所述待融合图像中的像素点一一对应;
基于预设维度的权重映射矩阵,获取两帧所述待融合图像中一一对应的两个像素点的融合权重值,并根据所述融合权重值,建立融合掩码矩阵;
对所述融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;
根据所述目标融合掩码矩阵,对两帧所述待融合图像进行图像融合,得到目标图像。
第二方面,本发明实施例提供了一种图像处理装置,所述装置包括:
获取模块,用于获取两帧待融合图像,两帧所述待融合图像中的像素点一一对应;
建立模块,用于基于预设维度的权重映射矩阵,获取两帧所述待融合图像中一一对应的两个像素点的融合权重值,并根据所述融合权重值,建立融合掩码矩阵;
滤波模块,用于对所述融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;
融合模块,用于根据所述目标融合掩码矩阵,对两帧所述待融合图像进行图像融合,得到目标图像。
本发明实施例的第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述所述的图像处理方法的步骤。
本发明实施例的第四方面,提供了一种装置,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述所述的图像处理方法的步骤。
在本发明实施例中,本发明包括:获取两帧待融合图像,两帧待融合图像中的像素点一一对应;基于预设维度的权重映射矩阵,获取两帧待融合图像中一一对应的两个像素点的融合权重值,并根据融合权重值,建立融合掩码矩阵;对融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;根据目标融合掩码矩阵,对两帧待融合图像进行图像融合,得到目标图像。在本发明中,由于像素点的融合权重值仅需在权重映射矩阵中按照索引进行查询得到,使得计算量极小,响应速度极快,相较于现有技术中泊松融合和曝光融合等方法,具有更快的响应速度,提升了HDR融合过程的融合速度,并且降低了对硬件的依赖度,能够更好的适应用于低性能平台。
附图说明
图1是本发明实施例提供的一种图像处理方法的步骤示意图;
图2是本发明实施例提供的一种图像处理方法的具体步骤示意图;
图3是本发明实施例提供的一种权重映射矩阵展示示意图;
图4是本发明实施例提供的一种图像处理装置的结构框图;
图5是本发明实施例提供的一种装置的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的一种图像处理方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、获取两帧待融合图像,两帧待融合图像中的像素点一一对应。
可选的,所述两帧待融合图像为:一次拍摄操作在不同曝光时间下产生的至少两张尺寸相同的原始图像。
在本发明实施例中,相机的HDR功能包括相机在同一拍摄场景下,通过一次拍摄操作在不同曝光时间下产生两张尺寸相同的原始图像,并利用每个曝光时间相对应原始图像中的最佳细节,将两张原始图像进行图像融合,使得融合后的最终图像的动态范围和层次感较高,亮暗区域的细节都有较高表现,使得拍摄效果更高。因此,在一种实现方式中,本发明实施例获取的两帧待融合图像可以为:一次拍摄操作在不同曝光时间下产生的至少两张尺寸相同的原始图像,其中,两张原始图像尺寸相同,两张原始图像的像素点一一对应。
待融合图像可以是YUV(明亮度通道、色度通道、饱和度通道)域的图像。YUV域的图像常常运行在硬件性能较一般的设备上,如果在这些设备上应用较高的硬件资源的HDR融合算法,如,泊松融合、曝光融合等,耗时较长,影响用户体验。本发明实施例的图像融合方法所需硬件资源较少,耗时较短,提高了融合性能。
需要说明的是,在其他实现方式中,本发明实施例获取的两帧待融合图像也可以为两张融合图像,融合图像可以为两张尺寸相同的原始图像融合后得到的图像,另外,两帧待融合图像也可以为两张新的融合图像,新的融合图像可以为两张尺寸相同的融合图像融合后得到的图像。
步骤102、基于预设维度的权重映射矩阵,获取两帧所述待融合图像中一一对应的两个像素点的融合权重值,并根据所述融合权重值,建立融合掩码矩阵。
在本发明实施例中,由于两张待融合图像的尺寸相同,像素点一一对应,则在两张待融合图像融合过程中,两张待融合图像中一一对应的像素点之间需要根据融合权重值进行融合,以得到目标图像,即对于一个待融合图像中的第一像素点,在另一个待融合图像中存在与第一像素点对应的第二像素点,第一像素点和第二像素点按照融合权重值融合后,得到目标图像中与第一像素点和第二像素点对应的像素点。其中,两帧待融合图像中一一对应的像素点的像素值可以构建像素值组,为像素值组确定一个融合权重值,即可实现一一对应的像素点之间的融合。
例如,两张待融合图像一张为亮帧图像,一张为暗帧图像,亮帧图像的平均像素值大于暗帧图像的平均像素值,亮帧图像中的一个像素点的像素值为100,暗帧图像中与该像素点对应的像素点的像素值为50,则像素值组为(100,50)。
获取待融合图像的每个像素点的融合权重值可以指获取两张待融合图像中的一张待融合图像每个像素点的融合权重值,此时所有像素点的融合权重值即指一张待融合图像中所有像素点的融合权重值。
由于两张待融合图像中一一对应的两个像素点各自的融合权重之和为1,获取了两张待融合图像中一张待融合图像的像素点的融合权重值,也就获取了另一张待融合图像对应像素点的融合权重值。
具体的,在进行两张待融合图像的融合时,亮帧图像中的一个像素点的像素值为100,暗帧图像中与该像素点对应的像素点的像素值为50,则像素值组为(100,50),需要为像素值组(100,50)设置其对应的融合权重值,像素值为100的像素点对应的权重与像素值为50的像素点对应的权重之和为1。HDR算法的逻辑是使得最终融合后的图像中不会出现过亮及过暗的区域,因此,在像素值为100的像素点的像素值过大时,降低像素值为100的像素点融合时的权重,在像素值为50的像素点的像素值过小时,降低像素值为50的像素点融合时的权重(也可以理解为增加像素值为100的像素点对应的权重)。
基于上述思想,本发明实施例可以提前建立预设维度的权重映射矩阵,权重映射矩阵可以实现根据像素值组中像素值的大小差异,对像素值组对应的两个一一对应的像素点的权重进行分配。具体的,本发明实施例可以为像素值组分配一个融合权重值,该融合权重值可以为像素值组中来自于亮帧的像素点对应的权重值,则像素值组中来自于暗帧的像素点对应的权重值为1-融合权重值。当然,融合权重值也可以为像素值组中来自于暗帧的像素点对应的权重值,本发明实施例对此不作限定。
权重映射矩阵中的每个元素即为一个融合权重值,每个元素的索引可以由两个像素值构成,即权重映射矩阵反映了每个像素值组与其对应的融合权重值的映射关系。
例如,针对亮帧待融合图像和暗帧待融合图像的一个像素值组(来自于暗帧的像素点的像素值为50,来自于亮帧的像素点的像素值为100),权重映射矩阵在索引(50,100)位置处的元素代表的融合权重值为0.6(假设融合权重值为像素值组中来自于亮帧的像素点对应的权重值),则进行亮暗帧图像的融合时,像素值组中来自于亮帧的像素点对应的权重值为0.6,像素值组中来自于暗帧的像素点对应的权重值为0.4。
由于像素值的取值范围为0-255,则权重映射矩阵的维度可以为256×256,这样权重映射矩阵所涵盖的像素值组有256×256种,涵盖了像素点能产生的所有的像素值组,权重映射矩阵的每一个元素赋值后,所有像素值组都可以在权重映射矩阵中映射到对应的融合权重值。需要说明的是,权重映射矩阵的维度也可以根据实际需求自行进行设定,但是不能大于256×256。
在获取了待融合图像的每个像素点的融合权重值之后,可以基于所有像素点的融合权重值,建立融合掩码矩阵,该融合掩码矩阵的维度和待融合图像的维度相同,即假设待融合图像为100×100维度,则融合掩码矩阵也为100×100维度。
融合掩码矩阵涵盖了两帧待融合图像在图像融合时所需的所有融合权重值,可以将融合掩码矩阵当作一张融合权重图,后续进行两帧待融合图像融合时,调用融合掩码矩阵即可实现像素点的融合权重值确定,完成图像融合。
可选的,步骤102还可以通过根据预设的映射规则,建立预设维度的所述权重映射矩阵的方式实现。
在本发明实施例中,由于每个像素点的融合权重值仅需在256×256维度的权重映射矩阵中按照索引进行查询得到,则预设维度优选为256×256,使得计算量极小,响应速度极快,相较于现有技术中泊松融合和曝光融合等方法,具有更快的响应速度,提升了HDR融合过程的融合速度。
步骤103、对所述融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵。
在本发明实施例中,直接生成的融合掩码矩阵可以当做一张融合权重图,其在初次生成时,内部存在较多的中高频变化,直接用该融合掩码矩阵进行图像融合,会因较多的中高频变化导致最终融合后图像的图像细节较差,本发明实施例中,对融合掩码矩阵进行引导滤波操作,其意义是在于希望去除融合掩码矩阵中的高中频信息,使得融合后图像的画面更加平滑,提升图像质量,但是引导滤波操作还会保留融合掩码矩阵的边缘信息,这是为了避免融合后图像中的物体特征边缘过于平滑而产生佛光效应(物体特征边缘过于平滑而产生类似佛光的效果)等缺陷。
步骤104、根据所述目标融合掩码矩阵,对两帧所述待融合图像进行图像融合,得到目标图像。
在本发明实施例中,目标融合掩码矩阵中包含了两帧待融合图像中所有一一对应的两个像素点的融合权重值,则可以利用目标融合掩码矩阵,对两帧待融合图像按照每个像素点的融合权重值进行图像融合,得到目标图像,目标图像的画面具有较平滑的展示效果,且保留了物体特征边缘清晰的特点,另外,在进行了HDR融合后,目标图像的画面的动态范围和层次感较高,亮暗区域的细节都有较高表现。
例如,两张待融合图像一张为亮帧图像,一张为暗帧图像,亮帧图像中的一个像素点的像素值为100,暗帧图像中与该像素点对应的像素点的像素值为50,则像素值组为(100,50)。来自于亮暗的帧像素点在目标融合掩码矩阵中对应的元素为0.6,即像素值组对应的融合权重值为0.6。
在进行图像融合时,目标图像中对应的像素点的像素值=100×0.6+50×(1-0.6)=80。对目标图像的所有像素点执行同样的操作,可以得到目标图像中所有像素点的像素值。
综上,本发明实施例提供的一种图像处理方法,包括:获取两帧待融合图像,两帧待融合图像中的像素点一一对应;基于预设维度的权重映射矩阵,获取两帧待融合图像中一一对应的两个像素点的融合权重值,并根据融合权重值,建立融合掩码矩阵;对融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;根据目标融合掩码矩阵,对两帧待融合图像进行图像融合,得到目标图像。在本发明中,由于像素点的融合权重值仅需在权重映射矩阵中按照索引进行查询得到,使得计算量极小,响应速度极快,相较于现有技术中泊松融合和曝光融合等方法,具有更快的响应速度,提升了HDR融合过程的融合速度,并且降低了对硬件的依赖度,能够更好的适应用于低性能平台。
图2是本发明实施例提供的一种图像处理方法的具体步骤流程图,如图2所示,该方法可以包括:
步骤201、获取两帧待融合图像,两帧待融合图像中的像素点一一对应。
该步骤具体可以参照上述步骤101,此处不再赘述。
可选的,所述两帧待融合图像为:一次拍摄操作在不同曝光时间下产生的n张尺寸相同的原始图像中,由任意两张原始图像经过图像融合得到的所有融合图像中的任意两张融合图像;
或,所述两帧待融合图像为:由任意两张所述融合图像经过图像融合得到的所有新的融合图像中的任意两张新的融合图像。
在其他实现方式中,本发明实施例获取的两帧待融合图像也可以为两张融合图像,融合图像可以为两张尺寸相同的原始图像融合后得到的图像,另外,两帧待融合图像也可以为两张新的融合图像,新的融合图像可以为两张尺寸相同的融合图像融合后得到的图像。
步骤202、根据所述待融合图像中像素点的像素值,建立包括所述一一对应的两个像素点的像素值的像素值组。
在本发明实施例中,由于两张待融合图像的尺寸相同,像素点一一对应,则相互对应的两个像素点在两张待融合图像中可以分别有对应的像素值,则根据相互对应的两个像素点,可以建立包含两个像素值的像素值组。
例如,两张待融合图像一张为亮帧图像,一张为暗帧图像,亮帧图像中的一个像素点的像素值为100,暗帧图像中与该像素点对应的像素点的像素值为50,则像素值组为(100,50)。
步骤203、以所述像素值组作为查询索引,将在预设维度的权重映射矩阵中查询到的元素的值,作为所述像素值组对应像素点的融合权重值,并根据所述融合权重值,建立所述融合掩码矩阵。
权重映射矩阵中的每个元素即为一个融合权重值,每个元素的索引可以由两个像素值构成,即权重映射矩阵反映了每个像素值组与对应的融合权重值的映射关系。
因此,利用像素值组包含的像素值作为查询索引,可以将从重映射矩阵中查询到的元素的值作为所述像素值组对应的像素点的融合权重值。
可选的,步骤203可以通过根据预设的映射规则,建立预设维度的所述权重映射矩阵的方式进行实现。
可选的,步骤203可以包括:
子步骤2031、基于下述公式1建立预设维度的所述权重映射矩阵;
其中,aij=Max(0,255-(255-i)×decay);bij=Max(0,Min(255,(i-m)×n);
W为所述权重映射矩阵中每个元素的值,i为所述元素的行数,j为所述元素的列数,所述权重映射矩阵的维度h×w=256×256,Max为取最大值操作,Min为取最小值操作,权重衰减因子decay为正的实数,m和n为常数,优选的,m=40,n=3。
在本发明实施例中,i为所述元素的行数,其取值范围为0-255,j为所述元素的列数,其取值范围为0-255,在以来自亮帧的像素点的权重值为融合权重值时,aij和bij的公式思想的物理意义为线性的在像素点的平均像素值处于表示亮帧的亮帧像素值范围时,为像素点设定较小的融合权重值,在像素点的平均像素值处于表示暗帧的暗帧像素值范围时,为像素点设定较大的融合权重值。这样可以得到一个具有明暗缓慢过度的权重映射矩阵。
需要说明的是,权重衰减因子decay的取值正的实数,优选的,权重衰减因子decay的取值为2。
将权重映射矩阵转化为权重图的形式进行展示,可以得到如图3所示的示意图,图3示出了本发明实施例提供的一种权重映射矩阵展示示意图,其中,权重映射矩阵转换后的权重图10的左上角为坐标原点(0,0),其横轴用于表示亮帧像素值,纵轴用于表示暗帧像素值,其反映的思想为,亮帧越亮越不取过大的融合权重值。在实际应用中,亮帧的像素值,比暗帧的像素值小的部分是不会被利用到的,因此只有右上三角区域11是具体被利用到的。
可选的,所述两帧待融合图像包括第一待融合图像和第二待融合图像,所述第一待融合图像的平均像素值大于所述第二待融合图像的平均像素值;步骤203还可以包括:
子步骤2032、在所述像素值组中,将所述第二待融合图像中的第二像素点的像素值确定为所述查询索引的查询行,将所述第一待融合图像中与所述第二像素点对应的第一像素点的像素值确定为所述查询索引的查询列。
子步骤2033、根据所述查询索引,在所述权重映射矩阵中查询对应元素的值,并将查询到的元素的值,作为所述像素值组对应的像素点的融合权重值。
在本发明实施例中,由于第一待融合图像的平均像素值大于第二待融合图像的平均像素值,则可以将第一待融合图像作为亮帧图像,将第二待融合图像作为暗帧图像。
进一步的,基于上述子步骤2031建立的权重映射矩阵,权重映射矩阵中每个元素的索引的行对应像素值组中来自暗帧的像素点的像素值,列对应像素值组中来自亮帧的像素点的像素值,因此,本发明实施例可以将第二待融合图像中的第二像素点的像素值确定为查询索引的查询行,将第一待融合图像中与所述第二像素点对应的第一像素点的像素值确定为查询索引的查询列,并基于查询索引,在权重映射矩阵中查询对应元素的值,并将查询到的元素的值,作为像素值组对应的像素点的融合权重值。
例如,针对亮帧待融合图像和暗帧待融合图像,一一对应的两个像素点的像素值构成的像素值组(来自暗帧的像素点的像素值50,来自亮帧的像素点的像素值100),在HDR融合算法的思想下,为了达到更高的图像质量,使得最终融合后的图像中不会出现过亮或过暗的区域,权重映射矩阵在索引(50,100)位置处的元素代表的融合权重值可以为0.6,则一种实现方式下,亮暗帧在融合时,像素值组中来自亮帧的像素点的权重值为0.6,像素值组中来自暗帧的像素点的权重值为0.4。
步骤204、通过具有预设纹理特征的引导矩阵,对所述融合掩码矩阵进行引导滤波操作,得到所述目标融合掩码矩阵。
其中,所述目标融合掩码矩阵的边缘特征的细节度大于或等于预设细节度阈值,且所述目标融合掩码矩阵的纹理特征与所述预设纹理特征之间的相似度大于预设相似度阈值。
在本发明实施例中,引导滤波操作的一种实现方式,可以通过设定一个具有预设纹理特征的引导矩阵,来对融合掩码矩阵进行引导滤波操作,其中,预设纹理特征可以为展现效果较平滑的纹理特征。
引导矩阵可以使得用于执行引导滤波操作的滤波器,得对知融合掩码矩阵的纹理特征的变化程度,同时能够计算出融合掩码矩阵中的什么位置为边缘,并保留边缘位置的细节,即使得最后输出的目标融合掩码矩阵整体以及边缘位置上与融合掩码矩阵相似,但是纹理部分与引导矩阵相似。这样能够去除融合掩码矩阵中的高中频信息,使得融合后图像的画面更加平滑,提升图像质量,但是引导滤波操作还会保留融合掩码矩阵的边缘信息,这是为了避免融合后图像中的物体特征边缘过于平滑而产生佛光效应等缺陷。
步骤205、根据所述目标融合掩码矩阵,对两帧所述待融合图像进行图像融合,得到目标图像。
该步骤具体可以参照上述步骤104,此处不再赘述。
可选的,所述融合掩码矩阵的每个元素的值为与所述元素对应的像素点的融合权重值;步骤205具体可以包括:
子步骤2051、根据所述目标融合掩码矩阵以及公式2,对所述第一待融合图像和所述第二待融合图像进行图像融合,得到所述目标图像。
公式2:B=ev0×M+ev1×(1-M);
其中,B为所述目标图像的像素点的值,ev0为所述第一待融合图像的的第一像素点的像素值,ev1为所述第二待融合图像中与所述第一像素点对应的第二像素点的像素值,M为所述像素点对应的元素在所述目标融合掩码矩阵中的元素值;所述目标融合掩码矩阵与所述融合掩码矩阵中的元素一一对应;所述两帧待融合图像包括第一待融合图像和第二待融合图像,所述第一待融合图像的平均像素值大于所述第二待融合图像的平均像素值。
例如,第一待融合图像为亮帧图像,第二待融合图像为暗帧图像,亮帧图像中的一个像素点的像素值为100,暗帧图像中与该像素点对应的像素点的像素值为50,则像素值组为(100,50)。像素值组在目标融合掩码矩阵中对应的元素为0.6,即在融合时,像素值为100的像素点的权重为0.6,像素值为50的像素点的权重为0.4。
在进行图像融合时,基于上述公式2,目标图像中对应的像素点的像素值B=100×0.6+50×(1-0.6)=80。对目标图像的所有像素点执行同样的操作,可以得到目标图像中所有像素点的像素值。
综上,本发明实施例提供的一种图像处理方法,包括:获取两帧待融合图像,两帧待融合图像中的像素点一一对应;基于预设维度的权重映射矩阵,获取两帧待融合图像中一一对应的两个像素点的融合权重值,并根据融合权重值,建立融合掩码矩阵;根据目标融合掩码矩阵,对两帧待融合图像进行图像融合,得到目标图像。在本发明中,由于像素点的融合权重值仅需在权重映射矩阵中按照索引进行查询得到,使得计算量极小,响应速度极快,相较于现有技术中泊松融合和曝光融合等方法,具有更快的响应速度,提升了HDR融合过程的融合速度,并且降低了对硬件的依赖度,能够更好的适应用于低性能平台。
图4是本发明实施例提供的一种图像处理装置的结构框图,如图4所示,该装置可以包括:
获取模块301,用于获取两帧待融合图像,两帧待融合图像中的像素点一一对应;
建立模块302,用于基于预设维度的权重映射矩阵,获取两帧所述待融合图像中一一对应的两个像素点的融合权重值,并根据所述融合权重值,建立融合掩码矩阵;
可选的,建立模块302,包括:
获取子模块,用于根据所述待融合图像中像素点的像素值,建立包括所述一一对应的两个像素点的像素值的像素值组;
查询子模块,用于以所述像素值组作为查询索引,将在预设维度的权重映射矩阵中查询到的元素的值,作为所述像素值组对应的像素点的融合权重值。
可选的,所述两帧待融合图像包括第一待融合图像和第二待融合图像,所述第一待融合图像的平均像素值大于所述第二待融合图像的平均像素值;所述查询子模块,包括:
索引建立单元,用于在所述像素值组中,将所述第二待融合图像中的第二像素点的像素值确定为所述查询索引的查询行,将所述第一待融合图像中与所述第二像素点对应的第一像素点的像素值确定为所述查询索引的查询列;
映射单元,用于根据所述查询索引,在所述权重映射矩阵中查询对应元素的值,并将查询到的元素的值,作为所述像素值组对应的像素点的融合权重值。
滤波模块303,用于对所述融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;
可选的,滤波模块303,包括:
滤波子模块,用于通过具有预设纹理特征的引导矩阵,对所述融合掩码矩阵进行引导滤波操作,得到所述目标融合掩码矩阵;
其中,所述目标融合掩码矩阵的边缘特征的细节度大于或等于预设细节度阈值,且所述目标融合掩码矩阵的纹理特征与所述预设纹理特征之间的相似度大于预设相似度阈值。
融合模块304,用于根据所述目标融合掩码矩阵,对两帧所述待融合图像进行图像融合,得到目标图像。
可选的,所述融合掩码矩阵的每个元素的值为与所述元素对应的像素点的融合权重值;所述融合模块304,包括:
根据所述目标融合掩码矩阵以及公式2,对所述第一待融合图像和所述第二待融合图像进行图像融合,得到所述目标图像;
公式2:B=ev0×M+ev1×(1-M);
其中,其中,B为所述目标图像的像素点的值,ev0为所述第一待融合图像的的第一像素点的像素值,ev1为所述第二待融合图像中与所述第一像素点对应的第二像素点的像素值,M为所述像素点对应的元素在所述目标融合掩码矩阵中的元素值;所述目标融合掩码矩阵与所述融合掩码矩阵中的元素一一对应;
所述两帧待融合图像包括第一待融合图像和第二待融合图像,所述第一待融合图像的平均像素值大于所述第二待融合图像的平均像素值。
可选的,所述装置还包括:
映射矩阵建立模块,用于根据预设的映射规则,建立预设维度的所述权重映射矩阵。
可选的,所述映射矩阵建立模块,包括:
第一建立子模块,用于基于下述公式1建立预设维度的所述权重映射矩阵;
其中,aij=Max(0,255-(255-i)×decay);bij=Max(0,Min(255,(i-m)×n);
W为所述权重映射矩阵中每个元素的值,i为所述元素的行数,j为所述元素的列数,所述权重映射矩阵的维度h×w=256×256,Max为取最大值操作,Min为取最小值操作,权重衰减因子decay的取值正的实数,m和n的取值为预设常数。
可选的,所述两帧待融合图像为:一次拍摄操作在不同曝光时间下产生的两张尺寸相同的原始图像。
可选的,所述两帧待融合图像为:一次拍摄操作在不同曝光时间下产生的n张尺寸相同的原始图像中,由任意两张原始图像经过图像融合得到的所有融合图像中的任意两张融合图像;
或,所述两帧待融合图像为:由任意两张所述融合图像经过图像融合得到的所有新的融合图像中的任意两张新的融合图像。
综上,本发明实施例提供的一种图像处理装置,包括:获取两帧待融合图像,两帧待融合图像中的像素点一一对应;基于预设维度的权重映射矩阵,获取两帧待融合图像中一一对应的两个像素点的融合权重值,并根据融合权重值,建立融合掩码矩阵;对融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;根据目标融合掩码矩阵,对两帧待融合图像进行图像融合,得到目标图像。在本发明中,由于像素点的融合权重值仅需在权重映射矩阵中按照索引进行查询得到,使得计算量极小,响应速度极快,相较于现有技术中泊松融合和曝光融合等方法,具有更快的响应速度,提升了HDR融合过程的融合速度,并且降低了对硬件的依赖度,能够更好的适应用于低性能平台。
另外,本发明实施例还提供一种装置,具体可以参照图5,该装置600包括处理器610,存储器620以及存储在存储器620上并可在处理器610上运行的计算机程序,该计算机程序被处理器610执行时实现上述实施例的图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述的图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,可以为只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本发明实施例还提供了一种计算机程序,该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤,并且用于实现根据本发明实施例的图像处理装置中的相应模块。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种图像处理方法,其特征在于,所述图像处理方法包括:
获取两帧待融合图像,两帧所述待融合图像中的像素点一一对应;
基于预设维度的权重映射矩阵,获取两帧所述待融合图像中一一对应的两个像素点的融合权重值,并根据所述融合权重值,建立融合掩码矩阵;
对所述融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;
根据所述目标融合掩码矩阵,对两帧所述待融合图像进行图像融合,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述基于预设维度的权重映射矩阵,获取两帧所述待融合图像中一一对应的两个像素点的融合权重值,包括:
根据所述待融合图像中像素点的像素值,建立包括所述一一对应的两个像素点的像素值的像素值组;
以所述像素值组作为查询索引,将在预设维度的权重映射矩阵中查询到的元素的值,作为所述像素值组对应的像素点的融合权重值。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
根据预设的映射规则,建立预设维度的所述权重映射矩阵。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述两帧待融合图像包括第一待融合图像和第二待融合图像,所述第一待融合图像的平均像素值大于所述第二待融合图像的平均像素值;
所述以所述像素值组作为查询索引,将在预设维度的权重映射矩阵中查询到的元素的值,作为所述像素值组对应的像素点的融合权重值,包括:
在所述像素值组中,将所述第二待融合图像中的第二像素点的像素值确定为所述查询索引的查询行,将所述第一待融合图像中与所述第二像素点对应的第一像素点的像素值确定为所述查询索引的查询列;
根据所述查询索引,在所述权重映射矩阵中查询对应元素的值,并将查询到的元素的值,作为所述像素值组对应的像素点的融合权重值。
6.根据权利要求1-5任一项所述的方法,其特征在于,
所述根据所述融合权重值,建立融合掩码矩阵,包括:
所述融合掩码矩阵的每个元素的值为与所述元素对应的像素点的融合权重值;
所述根据所述目标融合掩码矩阵,对两帧所述待融合图像进行图像融合,得到目标图像,包括:
根据所述目标融合掩码矩阵以及公式2,对所述第一待融合图像和所述第二待融合图像进行图像融合,得到所述目标图像;
公式2:B=ev0×M+ev1×(1-M);
其中,B为所述目标图像的像素点的值,ev0为所述第一待融合图像的第一像素点的像素值,ev1为所述第二待融合图像中与所述第一像素点对应的第二像素点的像素值,M为所述像素点对应的元素在所述目标融合掩码矩阵中的元素值;所述目标融合掩码矩阵与所述融合掩码矩阵中的元素一一对应;
所述两帧待融合图像包括第一待融合图像和第二待融合图像,所述第一待融合图像的平均像素值大于所述第二待融合图像的平均像素值。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述两帧待融合图像为:一次拍摄操作在不同曝光时间下产生的两张尺寸相同的原始图像。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述两帧待融合图像为:一次拍摄操作在不同曝光时间下产生的n张尺寸相同的原始图像中,由任意两张原始图像经过图像融合得到的所有融合图像中的任意两张融合图像;
或,所述两帧待融合图像为:由任意两张所述融合图像经过图像融合得到的所有新的融合图像中的任意两张新的融合图像。
9.根据权利要求8所述的方法,其特征在于,所述图像融合是通过权利要求1-6任一项所述的方法进行的。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述对所述融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵,包括:
通过具有预设纹理特征的引导矩阵,对所述融合掩码矩阵进行引导滤波操作,得到所述目标融合掩码矩阵;
其中,所述目标融合掩码矩阵的边缘特征的细节度大于或等于预设细节度阈值,且所述目标融合掩码矩阵的纹理特征与所述预设纹理特征之间的相似度大于预设相似度阈值。
11.一种图像处理装置,其特征在于,所述图像处理装置包括:
获取模块,用于获取两帧待融合图像,两帧所述待融合图像中的像素点一一对应;
建立模块,用于基于预设维度的权重映射矩阵,获取两帧所述待融合图像中一一对应的两个像素点的融合权重值,并根据所述融合权重值,建立融合掩码矩阵;
滤波模块,用于对所述融合掩码矩阵进行引导滤波操作,得到目标融合掩码矩阵;
融合模块,用于根据所述目标融合掩码矩阵,对两帧所述待融合图像进行图像融合,得到目标图像。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的图像处理方法的步骤。
13.一种装置,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至10中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011225826.XA CN112634183A (zh) | 2020-11-05 | 2020-11-05 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011225826.XA CN112634183A (zh) | 2020-11-05 | 2020-11-05 | 图像处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112634183A true CN112634183A (zh) | 2021-04-09 |
Family
ID=75303089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011225826.XA Pending CN112634183A (zh) | 2020-11-05 | 2020-11-05 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112634183A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344830A (zh) * | 2021-05-10 | 2021-09-03 | 深圳瀚维智能医疗科技有限公司 | 基于多张单通道温度图片的融合方法和装置 |
CN113781370A (zh) * | 2021-08-19 | 2021-12-10 | 北京旷视科技有限公司 | 图像的增强方法、装置和电子设备 |
CN113781416A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种输送带撕裂检测方法、装置及电子设备 |
CN113905185A (zh) * | 2021-10-27 | 2022-01-07 | 锐芯微电子股份有限公司 | 图像处理方法和装置 |
CN114529490A (zh) * | 2022-04-24 | 2022-05-24 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
CN114972023A (zh) * | 2022-04-21 | 2022-08-30 | 合众新能源汽车有限公司 | 图像拼接处理方法、装置、设备及计算机存储介质 |
-
2020
- 2020-11-05 CN CN202011225826.XA patent/CN112634183A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344830A (zh) * | 2021-05-10 | 2021-09-03 | 深圳瀚维智能医疗科技有限公司 | 基于多张单通道温度图片的融合方法和装置 |
CN113781370A (zh) * | 2021-08-19 | 2021-12-10 | 北京旷视科技有限公司 | 图像的增强方法、装置和电子设备 |
CN113781416A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种输送带撕裂检测方法、装置及电子设备 |
CN113905185A (zh) * | 2021-10-27 | 2022-01-07 | 锐芯微电子股份有限公司 | 图像处理方法和装置 |
CN113905185B (zh) * | 2021-10-27 | 2023-10-31 | 锐芯微电子股份有限公司 | 图像处理方法和装置 |
CN114972023A (zh) * | 2022-04-21 | 2022-08-30 | 合众新能源汽车有限公司 | 图像拼接处理方法、装置、设备及计算机存储介质 |
CN114529490A (zh) * | 2022-04-24 | 2022-05-24 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112634183A (zh) | 图像处理方法及装置 | |
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
WO2019105154A1 (en) | Image processing method, apparatus and device | |
CN108090886B (zh) | 一种高动态范围红外图像的显示与细节增强方法 | |
CN113518185B (zh) | 视频转换处理方法、装置、计算机可读介质及电子设备 | |
CN113888437A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
WO2022160895A1 (zh) | 图像处理方法、图像处理装置、电子系统及可读存储介质 | |
WO2021143300A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112351195B (zh) | 图像处理方法、装置和电子系统 | |
Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
CN111127476A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN113039576A (zh) | 图像增强系统和方法 | |
JP2018195079A (ja) | 画像処理装置および画像処理方法 | |
KR20230074136A (ko) | 세일리언시 기반 캡처 또는 이미지 프로세싱 | |
CN113781370A (zh) | 图像的增强方法、装置和电子设备 | |
CN116309152A (zh) | 一种低照度图像的细节增强方法、系统、设备和存储介质 | |
CN115082350A (zh) | 频闪图像处理方法、装置、电子设备和可读存储介质 | |
Lei et al. | Low-light image enhancement using the cell vibration model | |
CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
EP3363193B1 (en) | Device and method for reducing the set of exposure times for high dynamic range video imaging | |
CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
CN116468636A (zh) | 低照度增强方法、装置、电子设备和可读存储介质 | |
CN116957948A (zh) | 图像处理方法、电子产品和存储介质 | |
WO2022067761A1 (zh) | 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质 | |
CN114663300A (zh) | 基于dce的低照度图像增强方法、系统及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |