CN115022535B - 图像处理方法、装置及电子设备 - Google Patents
图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115022535B CN115022535B CN202210552952.9A CN202210552952A CN115022535B CN 115022535 B CN115022535 B CN 115022535B CN 202210552952 A CN202210552952 A CN 202210552952A CN 115022535 B CN115022535 B CN 115022535B
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- map
- cycle
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims description 39
- 230000007797 corrosion Effects 0.000 claims description 20
- 238000005260 corrosion Methods 0.000 claims description 20
- 238000005530 etching Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000001788 irregular Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000005096 rolling process Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000010432 diamond Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置及电子设备,该方法通过获取n张连续拍摄的图像,并通过n‑1次迭代运算,在每次迭代运算中,获取前景图对应的第一影图,并根据第一影图分别获取第一背景残图和第一前景残图,通过将第一背景残图和第一前景残图拼接,获取融合图像。本发明实施例提供的图像处理方法,不仅可以将任意不规则物体进行拼接,还能提高图像融合效果。
Description
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、装置及电子设备。
背景技术
在一些图像处理的应用场景中,需要将多幅包含同一对象、不同角度拍摄的多张连续拍摄的图像融合成一幅完整的图像。例如,对远程电子图章图像的融合;再例如,对滚指指纹的融合。
虽然现有技术提供了一些图像融合的方法,但效果不佳。
发明内容
本发明实施例提供一种图像处理方法、装置及电子设备,以克服现有技术的图像融合效果不佳的问题。
第一方面,本发明实施例提供一种图像处理方法,所述方法包括:
获取n张连续拍摄的图像;所述第i张图像记为S[i],所述n为大于或等于2的整数;
循环执行n-1次如下步骤:
在第j次循环中,将P[j-1]作为背景图;将S[j+1]作为前景图;所述P[j-1]为第j-1次循环中获取的融合图像,所述j为大于或等于1,且小于或等于n-1;在第1次循环中,所述P[j-1]取S[1];
在第j次循环中,根据所述前景图,获取第一影图;所述第一影图用于表征所述前景图中目标物体的轮廓;
在第j次循环中,根据所述第一影图和所述背景图,获取第一背景残图;根据所述第一影图和所述前景图获取第一前景残图;所述第一背景残图用于表征缺失所述前景图中目标物体的剩余像素;所述第一前景残图用于表征所述前景图中的目标物体的像素;
在第j次循环中,根据所述第一背景残图和所述第一前景残图,获取第j次循环中的融合图像P[j];
将所述第n-1次循环后获取的融合图像P[n-1]作为目标融合图像。
可选地,在第j次循环中,所述根据所述第一背景残图和所述第一前景残图,获取第j次循环中的融合图像P[j],具体包括:
循环执行m次如下步骤,所述m为大于或等于1的整数:
在第k次循环中,对所述第一影图腐蚀一个像素获取第二影图,将所述第一影图与所述第二影图进行异或处理获取边缘影图;
在第k次循环中,将所述第一背景残图上,所述边缘影图所指示的边缘像素点的像素值替换为融合像素值,获取第二背景残图;所述融合像素值由所述第一背景残图,所述第一前景残图和融合系数确定;
在第k次循环中,用所述第二影图替换所述第一影图;
根据所述第一影图和所述前景图获取第二前景残图;
根据所述第二背景残图和所述第二前景残图,获取第j次循环中的融合图像P[j]。
可选地,在所述获取n张连续拍摄的图像之后,还包括:
对所述n张连续拍摄的图像进行膨胀处理;
对膨胀处理后的图像进行腐蚀处理。
可选地,所述对膨胀处理后的图像进行腐蚀处理,具体包括:
将所述膨胀处理后的图像沿依次沿上、下、左、右平移多层像素,并与所述膨胀处理后的图像做交集,获取腐蚀处理后的图像。
可选地,在所述根据所述前景图,获取第一影图之后,还包括:
对所述第一影图进行扩边处理。
第二方面,本发明实施例提供一种图像处理装置,所述装置包括:
获取模块,用于获取n张连续拍摄的图像;所述第i张图像记为S[i],所述n为大于或等于2的整数;
处理模块,用于循环执行n-1次如下步骤:
在第j次循环中,将P[j-1]作为背景图;将S[j+1]作为前景图;所述P[j-1]为第j-1次循环中获取的融合图像,所述j为大于或等于1,且小于或等于n-1;在第1次循环中,所述P[j-1]取S[1];在第j次循环中,根据所述前景图,获取第一影图;所述第一影图用于表征所述前景图中目标物体的轮廓;在第j次循环中,根据所述第一影图和所述背景图,获取第一背景残图;根据所述第一影图和所述前景图获取第一前景残图;所述第一背景残图用于表征缺失所述前景图中目标物体的剩余像素;所述第一前景残图用于表征所述前景图中的目标物体的像素;在第j次循环中,根据所述第一背景残图和所述第一前景残图,获取第j次循环中的融合图像P[j];将所述第n-1次循环后获取的融合图像P[n-1]作为目标融合图像。
可选地,所述处理模块,具体用于循环执行m次如下步骤,所述m为大于或等于1的整数:
在第k次循环中,对所述第一影图腐蚀一个像素获取第二影图,将所述第一影图与所述第二影图进行异或处理获取边缘影图;在第k次循环中,将所述第一背景残图上,所述边缘影图所指示的边缘像素点的像素值替换为融合像素值,获取第二背景残图;所述融合像素值由所述第一背景残图,所述第一前景残图和融合系数确定;在第k次循环中,用所述第二影图替换所述第一影图;根据所述第一影图和所述前景图获取第二前景残图;根据所述第二背景残图和所述第二前景残图,获取第j次循环中的融合图像P[j]。
可选地,所述处理模块,还用于在所述获取模块获取n张连续拍摄的图像之后,对所述n张连续拍摄的图像进行膨胀处理;对膨胀处理后的图像进行腐蚀处理。
可选地,所述处理模块,具体用于将所述膨胀处理后的图像沿依次沿上、下、左、右平移多层像素,并与所述膨胀处理后的图像做交集,获取腐蚀处理后的图像。
可选地,所述处理装置还用于在根据所述前景图,获取第一影图之后,对所述第一影图进行扩边处理。
第三方面,本发明实施例提供一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行第一方面任一项所述的方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机执行指令,当所述计算机执行指令被处理器执行时,实现第一方面任一项所述的方法。
本发明实施例提供的图像处理方法、装置及电子设备,该方法通过获取n张连续拍摄的图像,并通过n-1次迭代运算,在每次迭代运算中,获取前景图对应的第一影图,并根据第一影图分别获取第一背景残图和第一前景残图,通过将第一背景残图和第一前景残图拼接,获取融合图像。本发明实施例提供的图像处理方法,不仅可以将任意不规则物体进行拼接,还能提高图像融合效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理方法的流程示意图;
图2是本发明实施例提供的背景图和前景图的示意图;
图3是本发明实施例提供的影图的示意图;
图4是本发明实施例提供的背景残图和前景残图的示意图;
图5是本发明实施例提供的融合图像的示意图;
图6是本发明实施例提供的另一种图像处理方法的流程示意图;
图7是本发明实施例提供的又一种图像处理方法的流程示意图;
图8是本发明实施例提供的一种图像处理装置的结构示意图;
图9为本发明实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种图像处理方法、装置及电子设备,该方法通过提取前景图上包括目标物体轮廓的影图,并基于影图提取前景图上的目标物体,以及基于影图忽略背景图上对应像素区域的灰度值,然后将背景图和前景图进行融合处理;经过多次迭代后,完成多张连续拍摄物体的图像融合。本发明该方法可以将任意不规则物体进行拼接,提高融合效果。
图1是本发明实施例提供的一种图像处理方法的流程示意图,如图1所示,该方法可以包括:
S101、获取n张连续拍摄的图像。
获取n张连续拍摄图像的方法本发明实施例不做限制。
其中,n为大于或等于2的整数。第i张图像可以记为S[i],例如,第1张图像记为S[1],第二张图像记为S[2]。
S102、判断当前循环次数j是否大于n-1。
在当前循环次数j小于或等于n-1时,说明当前循环未执行完,执行步骤S103。
在当前循环次数j大于n-1时,说明当前循环已执行完,执行步骤S107。
应理解,下述步骤S103-s106将循环执行n-1次,具体如下:
S103、在第j次循环中,将P[j-1]作为背景图,将S[j+1]作为前景图。
其中,P[j-1]为第j-1次循环中获取的融合图像。j为大于或等于1,且小于或等于n-1。在第1次循环中,P[j-1]取S[1],即选择第一张图像作为第1次循环中的背景图,S[2]为前景图;在第2次循环中,选择第一次循环输出的融合图像P[1]作为当前循环中的背景图,将S[3]作为前景图。
图2是本发明实施例提供的背景图和前景图的示意图,如图2所示,图2(a)为背景图,其中,平行四边形A表示背景图中的目标物体,区域C表示背景图中目标物体以外的其他区域;在目标物体上的矩形1和菱形4用于表征背景图中目标物体上的纹理图案。应理解,平行四边形A所指示的目标物体可以是任意形状的不规则图形。图2(b)为前景图,其中,区域B为前景图中的目标物体,可以为任意形状的不规则图形;梯形2是目标物体上的纹理图案;圆形3为前景图中目标物体之外的背景纹理图案。
S104、在第j次循环中,根据前景图,获取第一影图。
其中,第一影图用于表征前景图中目标物体的轮廓。
示例性的,可以确定预设的像素阈值,以区分前景图上的目标物体和其他区域。例如像素阈值取100时,第一影图上大于或等于100的像素点可以识别为目标物体的轮廓,而小于或等于100的像素值识别为其他区域。
图3是本发明实施例提供的影图的示意图。如图3所述,在图3所示的影图中,将目标物体对应的区域B内的像素值设置为1,将目标物体之外的像素值设置为0,由此可以提取出前景图上目标物体的轮廓。
S105、在第j次循环中,根据第一影图和背景图,获取第一背景残图;根据第一影图和前景图获取第一前景残图。
其中,第一背景残图用于表征缺失前景图中目标物体的剩余像素。即,将背景图上,与第一影图的目标物体的轮廓对应像素坐标的像素值修改为0。
示例性的,图4是本发明实施例提供的背景残图和前景残图的示意图。如图4(a)所示,与图2(a)对比,目标物体对应的平行四边形A上与第一影图上指示目标物体轮廓区域的像素值设置为0,矩形1保留而菱形4被替换。对应的,区域C上与第一影图上指示目标物体轮廓区域的像素值也设置为0。
第一前景残图用于表征前景图中的目标物体的像素。即,将前景图上,与第一影图的目标物体的轮廓对应像素坐标以外的其他像素值修改为0。
继续参照图4,如图4(b)所示,与图2(b)对比,第一影图上目标物体以外的像素值置零,圆形3被清除。
S106、在第j次循环中,根据第一背景残图和第一前景残图,获取第j次循环中的融合图像P[j]。
例如,可以将第一背景残图和第一前景残图上对应位置上的像素值依次相加,获取第j次循环中的融合图像。
图5是本发明实施例提供的融合图像的示意图。如图5所示,背景图上的目标物体A与前景图上的目标物体融合到一张图像上。
S107、将第n-1次循环后获取的融合图像P[n-1]作为目标融合图像。
再执行完n-1次迭代运算后,可以有效的将连续获取的n张图像融合为一张融合图像。
本发明实施例提供的图像处理方法,该方法通过获取n张连续拍摄的图像,并通过n-1次迭代运算,在每次迭代运算中,获取前景图对应的第一影图,并根据第一影图分别获取第一背景残图和第一前景残图,通过将第一背景残图和第一前景残图拼接,获取融合图像。本发明实施例提供的图像处理方法,可以将任意不规则物体进行拼接,提高图像融合效果。
在一些应用场景中,图像的边缘存在不可忽略的失真,例如滚指指纹。当图像边缘存在失真是,为提高图像融合的效果,本发明实施例还对上述实施例中的步骤S106进行进一步的改进,具体如下:
图6是本发明实施例提供的另一种图像处理方法的流程示意图,如图6所示,步骤S106可以具体包括:
S1061、判断当前循环次数k是否大于m。
其中,m为大于或等于1的整数。本发明实施例中m为融合次数,也即两幅图像融合时过渡边界宽度。m的大小可以根据实际情况确定,例如在滚指指纹图像的融合中,m的大小可以为一个脊线宽度加上一个谷线宽度。
在当前循环次数k小于或等于m时,说明当前循环未执行完,执行步骤S1062。
在当前循环次数k大于m时,说明当前循环已执行完,执行步骤S1065。
S1062、在第k次循环中,对第一影图腐蚀一个像素获取第二影图,将第一影图与第二影图进行异或处理获取边缘影图。
其中,腐蚀技术为现有技术,本发明实施例不再赘述。
通过对第一影图腐蚀一个像素获取第二影图,并将第一影图和第二影图异或处理后,可以获取当前第一影图最外一层像素的边缘影图。
S1063、在第k次循环中,将第一背景残图上,边缘影图所指示的边缘像素点的像素值替换为融合像素值,获取第二背景残图。
其中,融合像素值由第一背景残图,第一前景残图和融合系数确定。
示例性的,可以在背景残图上找到与边缘影图上提取的最外一层像素相同位置的像素,并对这些像素的像素值进行重写,以优化融合图像的过渡区域。
在一种可能的实现方式中,融合系数可以为线性的,例如,第k次循环中的融合系数K可以定义为公式(1):
K=k/m (1)
在另一种可能的实现方式中,融合系数可以为非线性的,例如,在第k次循环中的融合系数K可以定义为公式(2):
K=2k*(1/m) (2)
进一步的,对于第一背景残图上,与边缘影图所指示的边缘像素点坐标相同的像素点的像素值,可以有公式(3)确定:
C=B*K+A(1-K) (3)
其中,C为融合像素值,B为第一背景残图上与边缘像素点坐标对应的像素值,A为第一前景残图上与边缘像素点坐标对应的像素值。
S1064、在第k次循环中,用第二影图替换第一影图。
在当前循环次数k小于或等于m时,用第二影图替换第一影图继续执行步骤S1042。
在当前循环次数k大于m时,用第二影图替换第一影图并继续执行步骤S1065。
S1065、根据第一影图和前景图获取第二前景残图。
其中,根据第一影图和前景图获取第二前景残图的方式参照上述实施例,本实施例不再赘述。
S1066、根据第二背景残图和第二前景残图,获取第j次循环中的融合图像P[j]。
该步骤参照上述实施例,本实施例不再赘述。
本发明实施例中,通过在背景残图和前景残图中设置适当宽度的过渡区域,并重写过渡区域内像素点的像素值,该方法可以实现平滑的过渡,融合图像中不存在明显的边缘接缝。并且,本发明该方法同样可以平滑过渡目标物体内部的空心区域。
在一些应用场景中,例如滚指指纹图像的融合中,目标物体可能存在非连续的区域,例如指纹脊线和指纹谷线相互交错,形成多条给孤立的线条。为了更好的结果非连续目标物体的融合,本发明实施例在获取n张连续拍摄的图像之后,还可以进一步包括如下步骤:
图7是本发明实施例提供的又一种图像处理方法的流程示意图,如图7所示,所述方法还包括:
S201、对n张连续拍摄的图像进行膨胀处理。
示例性的,对于滚指指纹的场景,可以采用1.5倍的谷线平均宽度进行膨胀处理。
S202、对膨胀处理后的图像进行腐蚀处理。
经膨胀处理后,目标物体的边缘也随之扩大,进一步的,在经过腐蚀处理使图像的边缘恢复到原来的边界。由于目标物体边缘最外侧通常存在一圈较大的失真阴影,因此可以采用较大的腐蚀宽度,示例性的,腐蚀宽度可以为失真阴影平均宽度的1.2倍。
在一种可能的实现方式中,腐蚀处理可以采用现有技术的方式。
在另一种可能的实现方式中,本发明实施例还提供另一种腐蚀技术,该方法具体可以包括:
将膨胀处理后的图像沿依次沿上、下、左、右平移多层像素,并与膨胀处理后的图像做交集,获取腐蚀处理后的图像。
由于传统腐蚀方法每次只能腐蚀一层像素,当需要腐蚀多层时,采用多次迭代的方式。本发明实施例提供的腐蚀方法,在需要腐蚀多层像素值时,仅需执行4次交集运算,相对于腐蚀宽度大于4次的场景,可以显著提高腐蚀的效率。
在上述步骤S201-S202中,前景图像需要经历过先膨胀后腐蚀的过程。若保持图像宽度和高度不变,则会导致在图像中坐标距离边缘小于膨胀数量的周边像素数据发生溢出损失,导致融合拼接图像的最上侧,最下侧,最左侧,以及最右侧的这个四边总是无法显示出指纹,这种情况称为周边问题。周边问题就会导致图像四边存在融合空白区。
现有技术的一种解决方式是采取增加所有在中间处理过程中图像的宽度和高度,但现有技术的方式会明显增加运算量,降低图像处理的性能。
本发明实施例提供另一种改进的处理方法,在步骤S104之后,还可以对第一影图进行扩边处理。
具体如下:
在指纹滚指融合拼接过程中,每当腐蚀一次并得到物体外边缘区域矩形时,得到矩形的左上角坐标为(LEFT,TOP),以及矩形的右角坐标为(RIGHT,BOTTOM);分析矩形位置,如果位置距离某个图像边缘等于腐蚀数量,则说明前景图中指纹已经贴边,需要进行周边处理,具体分为影图上侧扩边,影图下侧扩边,影图左侧扩边,以及影图右侧扩边四个步骤;
4A)影图上侧扩边就是分析矩形的上边缘距离图像边缘是否等于腐蚀数量,若不等于则说明指纹没有贴在上侧边缘,无需上侧扩边转去执行步骤4B,否则执行步骤4A1。
4A1)在影图中垂直坐标等于TOP的一行中,从左向右查找第一个像素值为1的影像素作为左起始点,记录水平坐标位置iUpLeft;之后继续查找最右一个像素值为1的影像素作为右结束点,记示水平坐标位置iUpRight;然后执行步骤4A2。
4A2)分别以坐标(iUpLeft,TOP),以及(iUpRight,TOP)为下底边,以影图上边缘为上底边作一个等腰梯形,并使等腰梯形的两个下底边内角为45度;之后用影像素1填充整个梯形;再执行步骤4B。
4B)影图下侧扩边就是分析矩形的下边缘距离图像边缘是否等于腐蚀数量,若不等于则说明指纹没有贴在下侧边缘,无需下侧扩边转去执行步骤4C,否则执行步骤4B1。
4B1)在影图中垂直坐标等于BOTTOM的一行中,从左向右查找第一个像素值为1的影像素作为左起始点,记录水平坐标位置iDownLeft;之后继续查找最右一个像素值为1的影像素作为右结束点,记示水平坐标位置iDownRight;然后执行步骤4B2。
4B2)分别以坐标(iDownLeft,BOTTOM),以及(iDownRight,BOTTOM)为下底边,以影图下边缘为上底边作一个等腰梯形,并使等腰梯形的两个下底边内角为45度;之后用影像素1填充整个梯形;再执行步骤4C。
4C)影图左侧扩边就是分析矩形的左边缘距离图像边缘是否等于腐蚀数量,若不等于则说明指纹没有贴在左侧边缘,无需左侧扩边转去执行步骤4D,否则执行步骤4C1。
4C1)在影图中水平坐标等于LEFT的一列中,从上向下查找第一个像素值为1的影像素作为左上起始点,记录水平坐标位置iLeftUp;之后继续查找最下一个像素值为1的影像素作为左下结束点,记示水平坐标位置iLeftDown;然后执行步骤4C2。
4C2)分别以坐标(LEFT,iLeftUp),以及(LEFT,iLeftDown)为下底边,以影图左边缘为上底边作一个等腰梯形,并使等腰梯形的两个下底边内角为45度;之后用影像素1填充整个梯形;再执行步骤4C3。
4C3)如果曾经执行过步骤4A1),那么就检查坐标为(LEFT+1,TOP+1)影像素数值,若为0则执行步骤4C5,否则执行步骤4C4。
4C4)在影图中以左上角坐标(0,0)和右下角坐标(2*CN,2*CN)作一个正方形,并用影像素1填充整个正方形,然后执行频骤4C5。
4C5)如果曾经执行过步骤4B1),那么就检查坐标为(LEFT+1,BOTTOM-1)影像素数值,若为0则执行步骤4D,否则执行步骤4C6。
4C6)在影图中以左上角坐标(0,BOTTOM-CN)和右下角坐标(2*CN,BOTTOM+CN)作一个正方形,并用影像素1填充整个正方形,然后执行频骤4D;
4D)影图右侧扩边就是分析矩形的右边缘距离图像边缘是否等于腐蚀数量,若不等于则说明指纹没有贴在右侧边缘,无需右侧扩边转去执行步骤4E,否则执行步骤4D1。
4D1)在影图中水平坐标等于RIGHT的一列中,从上向下查找第一个像素值为1的影像素作为右上起始点,记录水平坐标位置iRightUp;之后继续查找最下一个像素值为1的影像素作为右下结束点,记示水平坐标位置iRightDown;然后执行步骤4D2。
4D2)分别以坐标(RIGHT,iRightUp),以及(RIGHT,iRightDown)为下底边,以影图右边缘为上底边作一个等腰梯形,并使等腰梯形的两个下底边内角为45度;之后用影像素1填充整个梯形;再执行步骤4D3。
4D3)如果曾经执行过步骤4A1),那么就检查坐标为(RIGHT-1,TOP+1)影像素数值,若为0则执行步骤4D5,否则执行步骤4D4。
4D4)在影图中以左上角坐标(RIGHT-CN,0)和右下角坐标(RIGHT+CN,TOP+CN)作一个正方形,并用影像素1填充整个正方形,然后执行频骤4D5;
4D5)如果曾经执行过步骤4B1),那么就检查坐标为(RIGHT-1,BOTTOM-1)影像素数值,若为0则执行步骤4E,否则执行步骤4D6。
4D6)在影图中以左上角坐标(RIGHT-CN,BOTTOM-CN)和右下角坐标(RIGHT+CN,BOTTOM+CN)作一个正方形,并用影像素1填充整个正方形,然后执行频骤4E。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图8是本发明实施例提供的一种图像处理装置的结构示意图,如图8所示,所述装置可以包括:获取模块11和处理模块12。其中,
获取模块11,用于获取n张连续拍摄的图像;第i张图像记为S[i],n为大于或等于2的整数。
处理模块12,用于循环执行n-1次如下步骤:
在第j次循环中,将P[j-1]作为背景图;将S[j+1]作为前景图;P[j-1]为第j-1次循环中获取的融合图像,j为大于或等于1,且小于或等于n-1;在第1次循环中,P[j-1]取S[1];在第j次循环中,根据前景图,获取第一影图;第一影图用于表征前景图中目标物体的轮廓;在第j次循环中,根据第一影图和背景图,获取第一背景残图;根据第一影图和前景图获取第一前景残图;第一背景残图用于表征缺失前景图中目标物体的剩余像素;第一前景残图用于表征前景图中的目标物体的像素;在第j次循环中,根据第一背景残图和第一前景残图,获取第j次循环中的融合图像P[j];将第n-1次循环后获取的融合图像P[n-1]作为目标融合图像。
在一些可能的实现方式中,处理模块12,具体用于循环执行m次如下步骤,m为大于或等于1的整数:
在第k次循环中,对第一影图腐蚀一个像素获取第二影图,将第一影图与第二影图进行异或处理获取边缘影图;在第k次循环中,将第一背景残图上,边缘影图所指示的边缘像素点的像素值替换为融合像素值,获取第二背景残图;融合像素值由第一背景残图,第一前景残图和融合系数确定;在第k次循环中,用第二影图替换第一影图;根据第一影图和前景图获取第二前景残图;根据第二背景残图和第二前景残图,获取第j次循环中的融合图像P[j]。
在一些可能的实现方式中,处理模块12,还用于在获取模块获取n张连续拍摄的图像之后,对n张连续拍摄的图像进行膨胀处理;对膨胀处理后的图像进行腐蚀处理。
在一些可能的实现方式中,处理模块12,具体用于将膨胀处理后的图像沿依次沿上、下、左、右平移多层像素,并与膨胀处理后的图像做交集,获取腐蚀处理后的图像。
在一些可能的实现方式中,处理装置12还用于在根据前景图,获取第一影图之后,对第一影图进行扩边处理。
图9为本发明实施例提供的另一种图像处理装置的结构示意图,如图9所示,该装置包括:存储器91和至少一个处理器92。
存储器91,用于存储程序指令。
处理器92,用于在程序指令被执行时实现本发明实施例中的图像处理方法,具体实现原理可参见上述实施例,本实施例此处不再赘述。
该图像处理装置还可以包括及输入/输出接口93。
输入/输出接口93可以包括独立的输出接口和输入接口,也可以为集成输入和输出的集成接口。其中,输出接口用于输出数据,输入接口用于获取输入的数据,上述输出的数据为上述方法实施例中输出的统称,输入的数据为上述方法实施例中输入的统称。
本申请还提供一种可读存储介质,可读存储介质中存储有执行指令,当图像处理装置的至少一个处理器执行该执行指令时,当计算机执行指令被处理器执行时,实现上述实施例中的图像处理方法。
本申请还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。图像处理装置的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得图像处理装置实施上述各种实施方式提供的图像处理方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取n张连续拍摄的图像;所述第i张图像记为S[i],所述n为大于或等于2的整数;
循环执行n-1次如下步骤:
在第j次循环中,将P[j-1]作为背景图;将S[j+1]作为前景图;所述P[j-1]为第j-1次循环中获取的融合图像,所述j为大于或等于1,且小于或等于n-1;在第1次循环中,所述P[j-1]取S[1];
在第j次循环中,根据所述前景图,获取第一影图;所述第一影图用于表征所述前景图中目标物体的轮廓;
在第j次循环中,根据所述第一影图和所述背景图,获取第一背景残图;根据所述第一影图和所述前景图获取第一前景残图;所述第一背景残图用于表征缺失所述前景图中目标物体的剩余像素;所述第一前景残图用于表征所述前景图中的目标物体的像素;
在第j次循环中,根据所述第一背景残图和所述第一前景残图,获取第j次循环中的融合图像P[j];
将所述第n-1次循环后获取的融合图像P[n-1]作为目标融合图像。
2.根据权利要求1所述的方法,其特征在于,在第j次循环中,所述根据所述第一背景残图和所述第一前景残图,获取第j次循环中的融合图像P[j],具体包括:
循环执行m次如下步骤,所述m为大于或等于1的整数:
在第k次循环中,对所述第一影图腐蚀一个像素获取第二影图,将所述第一影图与所述第二影图进行异或处理获取边缘影图;
在第k次循环中,将所述第一背景残图上,所述边缘影图所指示的边缘像素点的像素值替换为融合像素值,获取第二背景残图;所述融合像素值由所述第一背景残图,所述第一前景残图和融合系数确定;
在第k次循环中,用所述第二影图替换所述第一影图;
根据所述第一影图和所述前景图获取第二前景残图;
根据所述第二背景残图和所述第二前景残图,获取第j次循环中的融合图像P[j]。
3.根据权利要求1或2所述的方法,其特征在于,在所述获取n张连续拍摄的图像之后,还包括:
对所述n张连续拍摄的图像进行膨胀处理;
对膨胀处理后的图像进行腐蚀处理。
4.根据权利要求3所述的方法,其特征在于,所述对膨胀处理后的图像进行腐蚀处理,具体包括:
将所述膨胀处理后的图像沿依次沿上、下、左、右平移多层像素,并与所述膨胀处理后的图像做交集,获取腐蚀处理后的图像。
5.根据权利要求3所述的方法,其特征在于,在所述根据所述前景图,获取第一影图之后,还包括:
对所述第一影图进行扩边处理。
6.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取n张连续拍摄的图像;所述第i张图像记为S[i],所述n为大于或等于2的整数;
处理模块,用于循环执行n-1次如下步骤:
在第j次循环中,将P[j-1]作为背景图;将S[j+1]作为前景图;所述P[j-1]为第j-1次循环中获取的融合图像,所述j为大于或等于1,且小于或等于n-1;在第1次循环中,所述P[j-1]取S[1];在第j次循环中,根据所述前景图,获取第一影图;所述第一影图用于表征所述前景图中目标物体的轮廓;在第j次循环中,根据所述第一影图和所述背景图,获取第一背景残图;根据所述第一影图和所述前景图获取第一前景残图;所述第一背景残图用于表征缺失所述前景图中目标物体的剩余像素;所述第一前景残图用于表征所述前景图中的目标物体的像素;在第j次循环中,根据所述第一背景残图和所述第一前景残图,获取第j次循环中的融合图像P[j];将所述第n-1次循环后获取的融合图像P[n-1]作为目标融合图像。
7.根据权利要求6所述的装置,其特征在于,
所述处理模块,具体用于循环执行m次如下步骤,所述m为大于或等于1的整数:
在第k次循环中,对所述第一影图腐蚀一个像素获取第二影图,将所述第一影图与所述第二影图进行异或处理获取边缘影图;在第k次循环中,将所述第一背景残图上,所述边缘影图所指示的边缘像素点的像素值替换为融合像素值,获取第二背景残图;所述融合像素值由所述第一背景残图,所述第一前景残图和融合系数确定;在第k次循环中,用所述第二影图替换所述第一影图;根据所述第一影图和所述前景图获取第二前景残图;根据所述第二背景残图和所述第二前景残图,获取第j次循环中的融合图像P[j]。
8.根据权利要求6或7所述的装置,其特征在于,
所述处理模块,还用于在所述获取模块获取n张连续拍摄的图像之后,对所述n张连续拍摄的图像进行膨胀处理;对膨胀处理后的图像进行腐蚀处理。
9.一种电子设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机执行指令,当所述计算机执行指令被处理器执行时,实现权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210552952.9A CN115022535B (zh) | 2022-05-20 | 2022-05-20 | 图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210552952.9A CN115022535B (zh) | 2022-05-20 | 2022-05-20 | 图像处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115022535A CN115022535A (zh) | 2022-09-06 |
CN115022535B true CN115022535B (zh) | 2024-03-08 |
Family
ID=83069043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210552952.9A Active CN115022535B (zh) | 2022-05-20 | 2022-05-20 | 图像处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115022535B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318558A (zh) * | 2014-10-17 | 2015-01-28 | 浙江大学 | 复杂场景下基于多信息融合的手势分割方法 |
CN109377515A (zh) * | 2018-08-03 | 2019-02-22 | 佛山市顺德区中山大学研究院 | 一种基于改进ViBe算法的运动目标检测方法及系统 |
WO2021093635A1 (zh) * | 2019-11-12 | 2021-05-20 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN113409188A (zh) * | 2021-06-30 | 2021-09-17 | 中国工商银行股份有限公司 | 一种图像背景替换方法、系统、电子设备及存储介质 |
-
2022
- 2022-05-20 CN CN202210552952.9A patent/CN115022535B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318558A (zh) * | 2014-10-17 | 2015-01-28 | 浙江大学 | 复杂场景下基于多信息融合的手势分割方法 |
CN109377515A (zh) * | 2018-08-03 | 2019-02-22 | 佛山市顺德区中山大学研究院 | 一种基于改进ViBe算法的运动目标检测方法及系统 |
WO2021093635A1 (zh) * | 2019-11-12 | 2021-05-20 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN113409188A (zh) * | 2021-06-30 | 2021-09-17 | 中国工商银行股份有限公司 | 一种图像背景替换方法、系统、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115022535A (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8401333B2 (en) | Image processing method and apparatus for multi-resolution feature based image registration | |
CN110569699B (zh) | 对图片进行目标采样的方法及装置 | |
US6714689B1 (en) | Image synthesizing method | |
CN112396640B (zh) | 图像配准方法、装置、电子设备及存储介质 | |
CN111754536B (zh) | 图像标注方法、装置、电子设备及存储介质 | |
CN112418165B (zh) | 基于改进型级联神经网络的小尺寸目标检测方法与装置 | |
CN112802197A (zh) | 动态场景下基于全卷积神经网络的视觉slam方法及系统 | |
CN111260675B (zh) | 一种图像真实边界高精度提取方法及系统 | |
CN111462098A (zh) | 待侦测物体阴影面积重叠的检测方法、装置、设备及介质 | |
CN115022535B (zh) | 图像处理方法、装置及电子设备 | |
CN110874170A (zh) | 一种图像区域修正方法、图像分割方法及装置 | |
CN115630660B (zh) | 基于卷积神经网络的条码定位方法和装置 | |
CN110580274B (zh) | 一种gis数据渲染方法 | |
CN114663449A (zh) | 道路病害面积计算方法、装置、计算机设备和存储介质 | |
CN113033593B (zh) | 基于深度学习的文本检测训练方法及装置 | |
CN113129227A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
JP2010211398A (ja) | 画像処理装置 | |
JP2017027363A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
CN113470001B (zh) | 一种用于红外图像的目标搜索方法 | |
CN104881119B (zh) | 一种基于视频输入的获取隔空手势轨迹的方法 | |
CN116386089B (zh) | 运动场景下人体姿态估计方法、装置、设备及存储介质 | |
WO2024016368A1 (zh) | 一种掩膜引导的影像镶嵌线的生成方法、装置、计算机设备及存储介质 | |
CN114185429B (zh) | 手势关键点定位或姿态估计的方法、电子装置和存储介质 | |
CN114596413B (zh) | 一种影像时序拼接方法、三维影像模型建立方法和装置 | |
CN116934774B (zh) | 一种快速及高精度的全景图像裁剪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |