CN117726507A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN117726507A CN117726507A CN202310990312.0A CN202310990312A CN117726507A CN 117726507 A CN117726507 A CN 117726507A CN 202310990312 A CN202310990312 A CN 202310990312A CN 117726507 A CN117726507 A CN 117726507A
- Authority
- CN
- China
- Prior art keywords
- image
- ith
- sub
- image block
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 95
- 230000008569 process Effects 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 24
- 238000007499 fusion processing Methods 0.000 claims description 13
- 238000007500 overflow downdraw method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 239000000945 filler Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 abstract description 23
- 238000004364 calculation method Methods 0.000 abstract description 11
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 230000015556 catabolic process Effects 0.000 abstract description 5
- 238000006731 degradation reaction Methods 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 description 70
- 238000010586 diagram Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 13
- 238000005520 cutting process Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 1
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理方法及装置。该方法可以应用于电子设备。根据该方法,在获取图像处理模型输出的多个图像块后,根据拼接规则对多个图像块进行拼接处理,得到待输出的图像,其中,多个图像块中两个相邻的图像块在待输出的图像中分别对应的位置存在交叠区域,并且,交叠区域中包含这两个相邻的图像块的拼接线;判定拼接线处是否会出现拼接痕迹;在拼接线处会出现拼接痕迹的情况下,对该两个图像块的交叠区域进行图像融合,并用由图像融合得到的新的图像块的像素值覆盖图像融合之前的待输出图像中交叠区域的像素值。从而在优化电子设备输出整图的拼接痕迹的同时,尽可能少地引入额外的计算,从而尽可能降低导致算法性能恶化的可能性。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种图像处理方法及装置。
背景技术
为了缩短电子设备图像处理的时间,通常采用以下图像处理方式,即电子设备基于图像处理模型并行处理多张图像块,随后对处理后的多张图像块进行拼接处理,输出一张完整的图像。例如,电子设备通过拍照获取图像,先对该图像进行切块处理得到多个图像块,再按照上述图像处理方式进行处理。再例如,电子设备进行全景拍照,先获取多张图像块,再按照上述图像处理方式进行处理。
然而电子设备在某些场景下获取的图像,例如在夜晚拍摄包含广告牌、显示屏的照片作为待处理的图像,并用上述方式进行图像处理后,最终得到的整图很可能出现肉眼可见的拼接痕迹,进而影响最终出图的美观。
发明内容
本申请提供了一种图像处理方法及装置。该图像处理方法可以应用于电子设备。根据该图像处理方法,能够在优化电子设备输出整图的拼接痕迹的同时,尽可能少地引入额外的计算,从而尽可能降低导致算法性能恶化的可能性。
第一方面,本申请提供了一种图像处理方法,包括:获取由图像处理模型输出的N个第一图像块,N≥2且N为整数;根据拼接规则对N个第一图像块进行拼接处理,得到第一图像,拼接规则包括N个第一图像块中每个第一图像块在第一图像中对应的第一位置,其中,N个第一图像块中,第i个第一图像块对应的第i个第一位置和第j个第一图像块对应的第j个第一位置相互交叠且存在第一交叠区域,第一图像中的第一交叠区域包含第i个第一图像块和第j个第一图像块的拼接线,且第一交叠区域由拼接线分为两个子交叠区域,包括靠近第i个第一图像块的第一子交叠区域与靠近第j个第一图像块的第二子交叠区域,1≤i≤N,1≤j≤N,i≠j,且i和j均为整数;计算第一图像中拼接线两侧的像素值的均方误差,两侧的像素值中,一侧的像素值包含于第一子交叠区域且属于第i个第一图像块,另一侧的像素值包含于第二子交叠区域且属于第j个第一图像块;在均方误差大于或等于预设值的情况下,针对第i个第一图像块和第j个第一图像块在第一交叠区域对应的像素值进行图像融合处理,得到第二图像块,其中,预设值是根据图像处理模型确定的;用第二图像块的像素值覆盖第一图像中第一交叠区域的像素值,得到更新后的第一图像。
上述方案,通过判断均方误差是否大于或等于预设值,从能确定拼接线处是否会出现拼接痕迹,在均方误差大于或等于预设值的情况下,确定会出现拼接痕迹,则对第一交叠区域对应的像素值进行图像处理。从而在优化电子设备输出整图的拼接痕迹的同时,尽可能少地引入额外的计算,从而尽可能降低导致算法性能恶化的可能性。
可选地,在均方误差小于预设值的情况下,则认为接线处不会出现拼接痕迹,则不会对第一交叠区域对应的像素值进行图像处理。
示例性的,该图像处理模型可以包括一个或多个神经网络模型,该一个或多个模型可以用于对图像提升显示效果,例如提升亮度、提升清晰度、降低噪点、锐化、颜色矫正等。N≥2且N为整数。
可理解,预设值是根据图像处理模型确定的。在确定预设值时,一个图像处理模型与一个或多个测试场景对应。示例性的,该图像处理模型是用于提升图像的清晰度的模型,该图像处理模型对应的多组测试场景包括:夜景拍摄的测试场景、室内拍摄的测试场景、阴天拍摄的测试场景。可选地,预设值还根据每个第一图像块的大小所确定。
需要说明的是,本申请中涉及的拼接线只是逻辑上的拼接线,并不能理解为两个图像块之间存在拼接线,那么最终出图就一定存在肉眼可见的拼接缝隙。如果拼接线两侧的相邻像素差异较小,肉眼是看不出两张图像块之间的拼接缝隙的,如图2所示;如果拼接线两侧的相邻像素差异特别大,则会出现如图1所示的肉眼可见的拼接缝隙。
结合第一方面,在一种可能的实现方式中,每个第一图像块包括第一有效部分和第一填充部分,拼接规则还包括:每个第一图像块包括的第一有效部分对应第一图像中的第一子位置,以及每个第一图像块包括的第一填充部分对应第一图像中的第二子位置;其中,第i个第一图像块包括第i个第一有效部分和第i个第一填充部分,第i个第一有效部分对应第i个第一子位置,第i个第一填充部分对应第i个第二子位置;其中,在N个第一图像块中,第i个第二子位置与其他第一图像块中的至少一个第一图像块包括的第一有效部分对应的第一子位置交叠,至少一个第一图像块包括第j个第一图像块,其中,在N个第一图像块中,第i个第一子位置与其他第一图像块包括的第一有效部分对应的第一子位置均不交叠,第i个第一子位置与至少一个第一图像块中的每个第一图像块包括的第一有效部分对应的第一子位置通过邻边相拼接,其中,第i个第一子位置与第j个图像包括的第j个有效部分对应的第j个第一子位置的邻边为拼接线。
上述方案,由于第i个第二子位置与其他第一图像块中的至少一个第一图像块包括的第一有效部分对应的第一子位置交叠,从而在均方误差大于或等于预设值的情况下,以便于对第一交叠区域对应的像素值进行图像融合。
可以理解的是,第i个第二子位置与第j个第一子子位置交叠的情况下,该两个位置交叠的区域分别对应的第i个第一填充部分和第j个第一有效部分的像素值较为接近。
结合第一方面,在一种可能的实现方式中,第j个第一图像块包括第j个第一有效部分和第j个第一填充部分,第j个第一有效部分对应第j个第一子位置,第j个第一填充部分对应第j个第二子位置;第一子交叠区域为第i个第一子位置与第j个第二子位置的交叠区域,第二子交叠区域为第j个第一子位置与第i个第二子位置的交叠区域;针对第i个第一图像块和第j个第一图像块在第一交叠区域对应的像素值进行图像融合处理,包括:针对第i个第一有效部分与第j个第一填充部分在第一子交叠区域分别对应的像素值,以及第j个第一有效部分与第i个第一填充部分在第二子交叠区域分别对应的像素值,进行图像融合处理。
结合第一方面,在一种可能的实现方式中,根据拼接规则对N个第一图像块进行拼接处理,得到第一图像,包括:创建第二图像,并对第二图像的像素值进行初始化,第二图像的与第一图像的大小相同;分别去除N个第一图像块中的N个第一填充部分,得到N个第一有效部分;根据每个第一图像块包括的第一有效部分对应第一图像中的第一子位置,用N个第一有效部分的像素值覆盖第二图像中的像素值,得到第一图像。
上述方案,将裁剪掉第一填充部分得到的第一有效部分的像素值直接覆盖在第二图像上,得到第一图像,以便于后续向该第一图像上覆盖图像融合得到的第二图像块。
结合第一方面,在一种可能的实现方式中,方法还包括:保存第i个第一图像块和第j个第一图像块的在第一交叠区域对应的像素值。
上述方案,是在根据裁剪掉第一填充部分后得到的N个第一有效部分,并根据N个第一有效部分得到第一图像后,确定均方误差大于或等于预设值的情况下,能够直接使用保存的第一交叠区域对应的像素值进行图像融合,提升图像融合的效率。
可理解,在进行拼接处理时,可以保存N个第一图像块对应的第一位置相互交叠得到的所有交叠区域,以便于后续流程中需要进行图像融合时能够灵活调用。
结合第一方面,在一种可能的实现方式中,第i个第一有效部分与第j个第一有效部分通过邻边拼接,且第i个第一有效部分与第j个第一有效部分的邻边为拼接线,第i个第一有效部分中紧邻拼接线的一列第一像素列中包括M个第一像素,第j个第一有效部分中紧邻拼接线的一列第二像素列中包括M个第二像素,第一像素列中第m个第一像素与第二像素列中第m个第二像素组成一个像素对,M≥2且M为整数,1≤m≤M且m为整数,计算第一图像中拼接线两侧的像素值的均方误差,包括:计算第一像素列和第二像素列组成的M个像素对中每个像素对中的第一像素的像素值与第二像素的像素值之差的平方值,得到M个平方值;计算该M个平方值的平均值,得到均方误差。
上述方案,通过拼接线两侧相邻的像素值的差异,以便于判断拼接下两侧是否会出现拼接痕迹。
结合第一方面,在一种可能的实现方式中,预设值还根据每个第一图像块中第一有效部分和第一填充部分的尺寸的占比所确定。
上述方案,通过针对每个第一图像块中第一有效部分和第一填充部分的尺寸的不同的占比设置相应的预设值,能够提高判断是否会出现拼接痕迹的准确度。
结合第一方面,在一种可能的实现方式中,获取由电子设备拍摄的第三图像,且第三图像与第一图像的大小相同;根据切块规则对第三图像进行切块处理,得到N个第三图像块,切块规则包括N个第三图像块中每个第三图像块在第三图像中对应的第二位置,每个第一图像块与N个第三图像块中的每个第三图像块的大小相同;将N个第三图像块输入图像处理模型,得到N个第一图像块,且N个第一图像块与N个第三图像块一一对应。
上述方案,电子设备针对拍摄得到的图像或图像块先进行切块处理,得到N个第三图像块,再对N个第三图像块进行图像处理后得到N个第一图像块,随后再对N个第一图像块进行拼接处理,能够实现图像块的并行处理,提升图像处理的效率。
结合第一方面,在一种可能的实现方式中,获取由图像处理模型输出的N个第一图像块,包括:获取由电子设备拍摄的N个第三图像块,且每个第一图像块与N个第三图像块中的每个第三图像块的大小相同;将N个第三图像块输入图像处理模型,得到N个第一图像块,且N个第一图像块与N个第三图像块一一对应。
可理解,N个第三图像块是由电子设备拍摄的实现方式适用于全景拍摄场景;先获取第三图像,切换得到N个第三图像块的实现方式适用于手机拍照后为了提升图像处理的效率而并行处理多个图像块的场景。
结合第一方面,在一种可能的实现方式中,每个第三图像块包括第二有效部分和第二填充部分,且在每个第三图像块中,切块规则还包括:每个第三图像块包括的第二有效部分对应第三图像中的第三子位置,以及每个第三图像块包括的第二填充部分对应第三图像中的第四子位置;其中,第i个第三图像块包括第i个第二有效部分和第i个第二填充部分,第i个第二有效部分对应第i个第三子位置,第i个第二填充部分对应第i个第四子位置;其中,在N个第三图像块中,第i个第四子位置与其他第三图像块中的至少一个第三图像块包括的第二有效部分对应的第三子位置交叠,至少一个第三图像块包括第j个第三图像块,其中,在N个第三图像块中,第i个第三子位置与其他第三图像块包括的第二有效部分对应的第三子位置均不交叠。
结合第一方面,在一种可能的实现方式中,第三图像块与第一图像块的大小相同,方法还包括:根据第i个第三图像块在第三图像中对应的第二位置,确定第i个第一图像块在第一图像中对应的第一位置。
上述方案,根据对第三图像进行切分处理得到的第二位置确定第一位置,能够在拼接处理中尽可能还原切分前各个图像块所处的位置,减少切分处理和拼接处理对图像还原度的影响。
结合第一方面,在一种可能的实现方式中,第i个第一有效部分与第i个第二有效部分的大小相同,且第i个第一填充部分的大小与第i个第二填充部分的大小相同,根据第i个第三图像块在第三图像中对应的第二位置,确定第i个第一图像块在第一图像中对应的第一位置,包括:根据第i个第二有效部分在第三图像中对应的第i个第三子位置,确定第i个第一有效部分在第一图像中对应的第i个第一子位置,以及,根据第i个第二填充部分在第三图像中对应的第i个第四子位置,确定第i个第一填充部分在第一图像中对应的第i个第二子位置。
上述方案,根据第三子位置和第四子位置确定第一子位置和第二子位置,能够在拼接处理中尽可能还原切分前各个图像块所处的位置,减少切分处理和拼接处理对图像还原度的影响。
结合第一方面,在一种可能的实现方式中,预设值还根据第i个第二填充部分和/或第i个第二有效部分的尺寸在第i个第三图像的尺寸中的占比所确定。
上述方案,第i个第一填充部分和第i个第一有效部分的尺寸在第i个第一图像的尺寸中的占比,是根据第i个第二填充部分和/或第i个第二有效部分的尺寸在第i个第三图像的尺寸中的占比确定的,从而在对第三图像进行切分处理时即可确定要使用的预设值。
可选地,预设值还根据第三图像块的大小确定。
结合第一方面,在一种可能的实现方式中,针对第i个第一图像块和第j个第一图像块在第一交叠区域对应的像素值进行图像融合处理,包括:基于Alpha融合方法,针对第i个第一图像块和第j个第一图像块在第一交叠区域对应的像素值进行图像融合处理。
上述方案,能够进一步降低计算复杂度。
第二方面,本申请提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;其中,一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第三方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第四方面,本申请提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第五方面,本申请提供一种包含指令的计算机程序产品,当上述计算机程序产品在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地,上述第二方面提供的电子设备、第三方面提供的芯片系统、第四方面提供的计算机存储介质、第五方面提供的计算机程序产品均用于执行本申请所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1示出了拼接多张图像块得到的整图存在拼接缝隙的示意图;
图2示出了基于本申请提供的图像处理方法对多张图像块处理后得到的整图;
图3示出了本申请提供的图像处理方法的一例的示意图;
图4A示出了图像块1#i和图像块1#j在第一图像中分别对应的第一位置的示意图;
图4B示出了图像块1#i和图像块1#j、图像块1#k以及图像块1#s在第一图像中分别对应的第一位置的示意图;
图5A示出了与图4A对应的第i个第一有效部分和第i个第一填充部分在第一图像中对应的位置的一例的示意图;
图5B示出了与图4B对应的第i个第一有效部分和第i个第一填充部分在第一图像中对应的位置的又一例的示意图;
图5C示出了与图4A对应的第j个第一有效部分和第j个第一填充部分在第一图像中对应的位置的一例的示意图;
图6A示出了第一图像中有效部分1#i与有效部分1#j相邻拼接的示意图;
图6B示出了第一测试填充部分的占比为25%情况下,处理第一测试图像块的流程的示意图;
图6C示出了第一测试填充部分的占比为5%情况下,处理第一测试图像块的流程的示意图;
图7示出了S104和S105的示意图;
图8示出了针对待融合的图像块设置坐标系的示意图;
图9示出了本申请提供的图像处理的方法的又一例的示意图;
图10示出了本申请提供的对第三图像进行切块处理的示意图;
图11A与图6B对应,示出了根据第三测试图像块中第二测试填充部分的占比确定根据第一测试图像块中第一测试填充部分的占比的一例的示意图;
图11B和图6C对应,示出了根据第三测试图像块中第二测试填充部分的占比确定根据第一测试图像块中第一测试填充部分的占比的又一例的示意图;
图12示出了本申请提供的图像处理方法的再一例的示意图;
图13示出了本申请实施例提供的一种电子设备1000的硬件结构示意图;
图14示出了本申请实施例提供的一种电子设备1000的软件系统的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
应当理解的是,本申请提及的“多个”是指两个或两个以上。在本申请的描述中,除非另有说明,“/”表示或的意思,比如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,比如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,为了便于清楚描述本申请的技术方案,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例提供的图像处理方法适用于任何具有拍摄功能的电子设备,例如手机、平板电脑、照相机、智能可穿戴设备等,本申请实施例对此不做限定。本申请中电子设备获取图像的方式有很多种。如电子设备可以通过图像拍摄装置(如摄像头)拍摄图像;又如,电子设备可以下载图像等等;又如,电子设备可以通过一些应用与其他电子设备交互图像等信息。本申请对此不做限定。
为了缩短电子设备图像处理的时间,通常采用以下图像处理方式,即电子设备基于图像处理模型并行处理多张图像块,随后对处理后的多张图像块进行拼接处理,输出一张完整的图像。例如,电子设备在获取图像后,且该图像在被神经网络模型处理前,通常会将该图像切分成若干图像块,以便于神经网络模型可以并行处理这些图像块,最终将神经网络模型处理完的图像块再拼接成整图。这种图像处理的方法,相比于电子设备直接处理一张完整的图像,图像处理的性能可以大幅提升,图像处理的时间可以大幅缩短。再例如,电子设备进行全景拍照,先拍摄多张图像块,由神经网络并行处理这些图像块,最终将神经网络模型处理完的图像块再拼接成整图。
然而电子设备在某些场景下获取的图像,例如在夜晚拍摄包含广告牌、显示屏的照片作为待处理的图像,并用上述方式进行图像处理后,最终得到的整图很可能出现肉眼可见的拼接缝隙(或者在本申请中也可以称为拼接痕或拼接痕迹),进而影响最终出图的美观。图1示出了拼接多张图像块得到的整图存在拼接缝隙的示意图。如图1所示,该灰度图中的框选出区域中,箭头指向的位置存在接近于白色的拼接缝隙。事实上,在图1以彩色图像形式显示时,箭头指向的位置处拼接缝隙更为明显。
本申请提供一种图像处理方法,在获取图像处理模型输出的多个图像块后,根据拼接规则对多个图像块进行拼接处理,得到待输出的图像,其中,多个图像块中两个相邻的图像块在待输出的图像中分别对应的位置存在交叠区域,并且,在待输出的图像中的交叠区域中包含这两个相邻的图像块的拼接线;判定拼接线处是否会出现拼接痕迹;在拼接线处会出现拼接痕迹的情况下,对该两个图像块的交叠区域进行图像融合,并用由图像融合得到的新的图像块的像素值覆盖图像融合之前的待输出图像中交叠区域的像素值。
可以理解的是,针对可能出现的拼接缝隙,本申请先判定是否会出现拼接痕迹,再针对会出现拼接痕迹的情况进行图像融合。因此,本申请的方案,在优化拼接痕迹的同时,尽可能减少引入额外的计算的情况,从而尽可能降低导致算法性能恶化的可能性。
相对于在拼接时,通过对所有相邻图像块在待输出图像中对应的位置的交叠区域的像素值均做图像融合方法来优化拼接痕迹的方法,本申请提供的图像处理方法尽可能减少需要进行图像融合操作的次数,从而尽可能减少引入额外的计算开销,以及减少图像融合算法使得输出的整图的局部清晰度降低的情况。可以理解的是,每多进行一次图像融合操作都需要引入额外的计算处理,会导致算法的整体性能恶化,并且,每一块进行图像融合的交叠区域都存在由于图像融合算法导致清晰度降低的可能性。然而,拼接痕迹并非图像处理时必然出现的问题,或者说拼接痕迹并非图像处理时常见的处理效果瑕疵,因此对所有相邻图像块的交叠区域做图像融合方法即使能优化拼接痕迹,但是会引入大量的额外的计算开销,导致算法性能明显恶化,以及增加输出整图的局部清晰度降低的可能性。这样为了解决一个问题而带来更多隐患的方法,成本过高。
图2示出了基于本申请提供的图像处理方法对多张图像块处理后得到的整图。其中,图1对应的拼接前的多张图像块与图2对应的拼接处理前的多张图像块相同。如图2所示,整张图像未出现任何肉眼可见的拼接痕迹。
下面结合附图详细介绍本申请提供的图像处理方法100至300。图3示出了本申请提供的图像处理方法100的示意图,由电子设备执行步骤S101至S105。
S101,获取由图像处理模型输出的N个第一图像块。
其中,该图像处理模型可以包括一个或多个神经网络模型,该一个或多个模型可以用于对图像提升显示效果,例如提升亮度、提升清晰度、降低噪点、锐化、颜色矫正等。N≥2且N为整数。
作为一种可能的实现方式,输入该图像处理模型的图像或图像块,是根据电子设备拍摄得到的图像确定的,下文将结合具体示例对该种可能的实现方式进行说明。
S102,根据拼接规则对N个第一图像块进行拼接处理,得到第一图像。
其中,拼接规则包括N个第一图像块中每个第一图像块在第一图像中对应的第一位置。一种可能的实现方式中,该第一位置可以用坐标进行表示。该坐标可以位于世界坐标系中,也可以位于第一图像的坐标系中。比如以第一图像的左上角的顶点为原点,水平方向为x轴,竖直方向为y轴,右上角的顶点的横坐标为正值,左下角的顶点为纵坐标为负值。以一个第一图像块的四个顶点的坐标确定该第一图像块在第一图像中对应的第一位置,或者,以一个第一图像块的左上角的顶点的坐标以及该第一图像块的尺寸确定该第一图像块在第一图像中对应的第一位置。
下面以N个第一图像块中的第i个第一图像块(为了方便说明,在下文中称为图像块1#i)和第j个第一图像块(为了方便说明,在下文中称为图像块1#j)为例,结合图4A和图4B,对N个图像块在第一图像中对应的第一位置进行说明。
图4A示出了图像块1#i和图像块1#j在第一图像中分别对应的第一位置的示意图。如图4A所示,第一图像中,第i个第一图像块对应的第i个第一位置(即图4A中的第一位置1#i)的四个顶点分别用实心黑色圆点表示,第j个第一图像块对应的第j个第一位置(即图4A中的第一位置1#j)的四个顶点分别用空心方框表示。第一位置1#i与第一位置1#j相互交叠,且第一位置1#i与第一位置1#j的交叠线用点划线表示,由第一位置1#i与第一位置1#j的水平方向的两条边,以及两条点划线组成的区域为第一位置1#i与第一位置1#j第一交叠区域#i-j。第一交叠区域包含第i个第一图像块和第j个第一图像块的拼接线#i-j,且第一交叠区域#i-j由拼接线分为两个子交叠区域,包括靠近第i个第一图像块的第一子交叠区域#i-j与靠近第j个第一图像块的第二子交叠区域#i-j,1≤i≤N,1≤j≤N,i≠j,且i和j均为整数。具体的,拼接线#i-j的位置如何确定,将在下文介绍。
图4B示出了图像块1#i和图像块1#j、图像块1#k以及图像块1#s在第一图像中分别对应的第一位置的示意图。在图4A的基础上,图4B中还示出了图像块1#k和图像块1#s在第一图像中分别对应的第一位置1#k和第一位置1#s。如图4B所示,与图4A类似的,第一位置1#i与第一位置1#k存在第一交叠区域#i-k,第一交叠区域#i-k包含拼接线#i-k,第一交叠区域#i-k由拼接线分为两个子交叠区域,包括靠近第i个第一图像块的第一子交叠区域#i-k与靠近第k个第一图像块的第二子交叠区域#i-k;第一位置1#i与第一位置1#s存在第一交叠区域#i-s,第一交叠区域#i-s包含拼接线#i-s,第一交叠区域#i-s由拼接线分为两个子交叠区域,包括靠近第i个第一图像块的第一子交叠区域#i-s与靠近第s个第一图像块的第二子交叠区域#i-s,1≤k≤N,1≤s≤N,i≠j≠k≠s,且k和s均为整数。
可以理解的是,以第一位置1#i为例,在该第一位置1#i的上下左右四个方向,都有可能存在与第一位置1#i存在交叠区域的其他第一位置,图4A和图4B仅作为示例,并不对本申请的保护范围造成限定。
一种可能的实现方式中,每个第一图像块包括第一有效部分和第一填充部分,拼接规则还包括:每个第一图像块包括的第一有效部分对应第一图像中的第一子位置,以及每个第一图像块包括的第一填充部分对应第一图像中的第二子位置。下面结合图5A至图5C,对一个第一图像块中的第一有效部分和第一填充部分在第一图像块中对应的位置进行说明。
其中,第i个第一图像块包括第i个第一有效部分(为了方便说明,在下文中称为有效部分1#i)和第i个第一填充部分(为了方便说明,在下文中称为填充部分1#i)。第i个第一有效部分对应第i个第一子位置(为了方便说明,在下文中称为第一子位置1#i),第i个第一填充部分对应第i个第二子位置(为了方便说明,在下文中称为第二子位置1#i)。图5A示出了与图4A对应的第i个第一有效部分和第i个第一填充部分在第一图像中对应的位置的一例的示意图。如图5A所示,横线填充的区域为第一子位置1#i,交叉线填充的区域为第二子位置1#i。图5B示出了与图4B对应的第i个第一有效部分和第i个第一填充部分在第一图像中对应的位置的又一例的示意图。如图5B所示,横线填充的区域为第一子位置1#i,交叉线填充的区域为第二子位置1#i。图5C示出了与图4A对应的第j个第一有效部分和第j个第一填充部分在第一图像中对应的位置的一例的示意图。如图5A所示,横线填充的区域为第一子位置1#j,交叉线填充的区域为第二子位置1#j。
可以理解的是,第i个第二子位置与第j个第一子子位置交叠的情况下,该两个位置交叠的区域分别对应的第i个第一填充部分和第j个第一有效部分的像素值较为接近。
下面基于上文中的拼接规则,详细介绍相邻的第一图像块之间相交叠的可能的实现方式。
一方面,在N个第一图像块中,第i个第二子位置与其他第一图像块中的至少一个第一图像块包括的第一有效部分对应的第一子位置交叠,至少一个第一图像块包括第j个第一图像块。另一方面,在N个第一图像块中,第i个第一子位置与其他第一图像块包括的第一有效部分对应的第一子位置均不交叠,第i个第一子位置与至少一个第一图像块中的每个第一图像块包括的第一有效部分对应的第一子位置通过邻边相拼接。其中,第i个第一子位置与第j个图像包括的第j个有效部分对应的第j个第一子位置的邻边为拼接线。换句话说,可以将有效部分1#i和有效部分1#j的邻边确定为拼接线#i-j。
示例性1-1,结合图4A、图5A和图5C可以理解的是:第二子位置1#i与第一子位置1#j交叠,而第一子位置1#i与第一子位置1#j不交叠;相应地,第二子位置1#j与第一子位置1#i交叠,而第一子位置1#j与第一子位置1#i不交叠。以及,第一子位置1#i与第一子位置1#j之间的邻边,即为拼接线#i-j。另外,第一子交叠区域#i-j为第一子位置1#i与第二子位置1#j的交叠区域,第二子交叠区域#i-j为第二子位置1#j与第二子位置1#i的交叠区域。
示例1-2,结合图4B、图5B,以及对示例1-1进行类比,可以理解的是:图像块1#j、图像块1#k以及图像块1#s分别包括有效部分1#j和填充部分1#j、有效部分1#k和填充部分1#k,以及有效部分1#s和填充部分1#s。有效部分1#j和填充部分1#j分别对应第一子位置1#j和第二子位置1#j,第一子位置1#k分别对应第一子位置1#k和第二子位置1#k;有效部分1#s和填充部分1#s分别对应第一子位置1#s和第二子位置1#s。在N个第一图像块中,第二子位置1#i分别与第一子位置1#j、第一子位置1#k和第一子位置1#s交叠。第一子位置1#i与第一子位置1#j、第一子位置1#k和第一子位置1#s均不交叠。以及,第一子位置1#i与第一子位置1#j之间的邻边,即为拼接线#i-j;第一子位置1#i与第一子位置1#k之间的邻边,即为拼接线#i-k;第一子位置1#i与第一子位置1#s之间的邻边,即为拼接线#i-s。另外,第一子交叠区域#i-j为第一子位置1#i与第二子位置1#j的交叠区域,第二子交叠区域#i-j为第二子位置1#j与第二子位置1#i的交叠区域;第一子交叠区域#i-k为第一子位置1#i与第二子位置1#k的交叠区域,第二子交叠区域#i-k为第二子位置1#k与第二子位置1#i的交叠区域;第一子交叠区域#i-s为第一子位置1#i与第二子位置1#s的交叠区域,第二子交叠区域#i-s为第二子位置1#s与第二子位置1#i的交叠区域。
可以理解的是,以第一位置1#i为例,在该第一位置1#i的上下左右四个方向,都有可能存在与第一位置1#i存在交叠区域的其他第一位置,从而图像块1#i的填充部分1#i可以位于有效部分1#i的四周,图5A和图5B仅作为示例,并不对本申请的保护范围造成限定。
下面介绍S102的一种可能的实现方式,包括以下步骤:
步骤1-1,创建第二图像,并对第二图像的像素值进行初始化。
其中,第二图像的与第一图像的大小相同。可以将第二图像的像素值初始化为0,或者,初始化为1,本申请对此不做限定。
步骤1-2,分别去除N个第一图像块中的N个第一填充部分,得到N个第一有效部分。
或者说,分别去除N个第一图像块中的N个第一填充部分的像素值,得到N个第一有效部分。
步骤1-3,根据每个第一图像块包括的第一有效部分对应第一图像中的第一子位置,用N个第一有效部分的像素值覆盖第二图像中的像素值,得到第一图像。
具体的,用有效部分1#i覆盖第一子位置1#i的像素值,i从1至N增加。最终,第一图像是由N个第一有效部分互不重叠地拼接而成。
上述方案,将裁剪掉第一填充部分得到的第一有效部分的像素值直接覆盖在第二图像上,得到第一图像,以便于后续向该第一图像上覆盖图像融合得到的第二图像块。
S103,计算第一图像中拼接线两侧的像素值的均方误差。
其中,两侧的像素值中,一侧的像素值(为了方便说明,下文称为像素值#i)包含于第一子交叠区域且属于第i个第一图像块,另一侧的像素值(为了方便说明,下文称为像素值#j)包含于第二子交叠区域且属于第j个第一图像块。
图6A示出了第一图像中有效部分1#i与有效部分1#j相邻拼接的示意图。如图6A所示,像素值#i为有效部分1#i中紧邻拼接线的n列像素#i的值,像素值#i为有效部分1#j中紧邻拼接线的n列像素#j的值,n≥1且n为整数。
本申请中涉及的拼接线两侧的像素值的均方误差(mean square error,MSE)是用来衡量拼接线两侧的像素值的差异的。在一种可能的实现方式中,第i个第一有效部分与第j个第一有效部分通过邻边拼接,且第i个第一有效部分与第j个第一有效部分的邻边为拼接线,第i个第一有效部分中紧邻拼接线的一列第一像素列中包括M个第一像素,第j个第一有效部分中紧邻拼接线的一列第二像素列中包括M个第二像素,第一像素列中第m个第一像素与第二像素列中第m个第二像素组成一个像素对,M≥2且M为整数,1≤m≤M且m为整数,计算第一图像中拼接线两侧的像素值的均方误差,包括:计算第一像素列和第二像素列组成的M个像素对中每个像素对中的第一像素的像素值与第二像素的像素值之差的平方值,得到M个平方值;计算该M个平方值的平均值,得到均方误差。以图6A中拼接线#i-j与第一图像的坐标系中的y轴平行,且n=1,且1列像素#i有M个像素,一个像素#j也有M个像素为例,针对m行像素,分别计算像素#i与像素#j中纵坐标相同的像素值之差的平方值,得到M个平方值,并对该M个平方值求平均值,得到拼接线两侧的像素值的均方误差。
上述方案,通过拼接线两侧相邻的像素值的差异,以便于判断拼接下两侧是否会出现拼接痕迹。
S104,在均方误差大于或等于预设值的情况下,针对第i个第一图像块和第j个第一图像块在第一交叠区域对应的像素值进行图像融合处理,得到第二图像块。
其中,预设值是根据图像处理模型确定的。在确定预设值时,一个图像处理模型与一个或多个测试场景对应。示例性的,该图像处理模型是用于提升图像的清晰度的模型,该图像处理模型对应的多组测试场景包括:夜景拍摄的测试场景、室内拍摄的测试场景、阴天拍摄的测试场景。
可选地,预设值还根据每个第一图像块的大小所确定。
可选地,预设值还根据每个第一图像块中第一有效部分和/或第一填充部分的尺寸的占比所确定。
其中,确定后的预设值可以配置于电子设备中。相应地,电子设备可以根据图像处理模型、模型输出的第一图像块的大小、以及每个第一图像块中第一有效部分和/或第一填充部分的尺寸的占比确定调用哪一个预设值。
下面介绍确定预设值的可能的实现方式。
一种可能的实现方式中,以针对图像处理模型输出的至少两个第一测试图像块进行拼接处理为例,假设在图像处理模型为模型#1以及每个第一测试图像块的大小为z的情况下,在每个测试场景中,通过调整每个第一测试图像块中的第一测试有效部分和第一测试填充部分的尺寸的占比,并按照S102所述的方式进行拼接处理,分别计算拼接线相邻像素列的MSE值并由人眼判断是否存在拼接痕迹,可以总结出出现拼接痕迹的临界MSE值。例如,将第一测试填充部分的占比从25%至5%从大到小调整,每隔5%调整一次,假设第一测试填充部分的占比为20%时肉眼看不出拼接痕迹,而第一测试填充部分的占比为15%时肉眼能看出拼接痕迹,则第一测试填充部分的占比为20%时的MSE值即为该临界MSE值。图6B和图6C分别示出了第一测试填充部分的占比为25%和5%的情况下,处理第一测试图像块的流程的示意图。图6B和图6C中仅以第一测试图像块#i和第一测试图像块#j进行示例,以及仅以占比为25%和5%进行示例,并不限制本申请的保护范围。随后将多组测试场景中最大的临界MSE值作为预设值#1;优选地,将稍小于该最大的临界MSE值的数值作为预设值#1,这样S103中计算得到的均方误差只要小于该预设值#1,就不会出现拼接痕迹。从而获得的该预设值#1,是在使用模型#1,且模型#1输出的图像块的大小为z的情况下,电子设备要调用的预设值。还可以通过调整第一测试图像块的大小,获得不同大小的第一测试图像块对应的预设值。
可以理解的是,调整每个第一测试图像块中的第一测试有效部分和第一测试填充部分的尺寸的占比,在对至少两个第一测试图像块进行拼接处理时,参照的拼接规则也会相应调整,以便于至少两个第一测试图像块中的每个第一测试图像块的第一测试有效部分能够互不交叠地相邻拼接。
示例性的,夜景拍摄的测试场景中,输入图像处理模型的图像或图像块是在夜景拍摄的测试场景拍摄得到的图像,调整输出的至少两个第一测试图像块中的第一测试有效部分和第一测试填充部分的尺寸的占比,并将至少两个第一测试图像块中的第一测试有效部分相邻拼接,计算不同的占比对应的MSE值。类似地,计算室内拍摄的测试场景、阴天拍摄的测试场景下,不同的占比对应的MSE值。假设3个场景中计算得到的MSE值的最大值为2e-5,确定预设值为1.8e-5,则S103中计算得到的均方误差≥1.8e-5的情况下,肉眼能看到拼接痕迹,执行S104;则S103中计算得到的均方误差<1.8e-5的情况下,肉眼看不出拼接痕迹,则不执行S104。
上述方案,通过分别针对每个第一图像块中第一有效部分和第一填充部分的尺寸的不同的占比、第一图像块的不同的大小以及不同的图像处理模型,设置相应的预设值,能够提高判断是否会出现拼接痕迹的准确度。
下面介绍确定第一交叠区域对应的像素值的可能的实现方式。可以理解的是,由上文可知,第一交叠区域包括第一子交叠区域和第二子交叠区域,因此第一交叠区域对应的像素值包括第一子交叠区域对应的像素值和第二子交叠区域对应的像素值。
图7示出了S104和S105的示意图。如图7所示,与图4A中第一位置1#i和第二位置1#j相互交叠形成第一交叠区域#i-j为例。第一子交叠区域#i-j对应的像素值为有效部分1#i在第一子交叠区域#i-j对应的像素值,以及填充部分1#j在第一子交叠区域#i-j对应的像素值。第二子交叠区域#i-j对应的像素值为有效部分1#j在第二子交叠区域#i-j对应的像素值,以及填充部分1#i在第二子交叠区域#i-j对应的像素值。
下面介绍本申请涉及的图像融合的实现方式。图像融合可以理解为对两个图像的像素值做加权计算。为了尽可能降低计算复杂度,本申请优选使用Alpha融合方法进行图像融合。以第一子交叠区域与第二子交叠区域的大小相同为例,即填充部分1#i与填充部分1#j的大小相同,换句话说,拼接线等分第一交叠区域。则图7中,待融合图像块#i中包括的部分的有效部分#i与填充部分#i的大小相同,待融合图像块#j中包括的部分的有效部分#j与填充部分#j的大小相同。
图8示出了针对待融合的图像块设置坐标系的示意图。如图8所示,待融合图像块#i和待融合图像块#j的底边宽度均为o,分别以拼接线#i-j所在的直线为y轴,底边所在的直线为x轴,则拼接线与底边的交点为原点(0,0),建立两个坐标系。该两个坐标系的x的范围均为随后根据下列公式进行Alpha融合。
可以理解的是,上述公式是针对纵坐标相同的一行像素值来进行图像融合的。假设待融合图像块#i和待融合图像块#j中分别有m行像素值,那么该m行像素值中的每一行都需要按照上述公式进行所有Alpha融合。
其中,x为坐标系中的横坐标,weightx为横坐标x处的权重,o为第一交叠区域的底边的宽度,也是融合后的第二图像块的底边的宽度,ix为待融合图像块#i的坐标系中横坐标x对应的像素值,jx为待融合图像块#j的坐标系中横坐标x对应的像素值,mixx为横坐标x对应的融合后的像素值,x∈Z表示x为整数。
还可以理解的是,通过上述计算mixx的公式可知,在计算越靠近图像块#i的横坐标x对应的融合后的像素值时,ix的权重占比更大,从而mixx越接近ix,反之则mixx越接近jx。
需要说明的是,本申请涉及图像融合方法还可以是Alpha融合方法以外的图像融合方法,本申请对比不做限定。
可选地,在均方误差小于预设值的情况下,则认为接线处不会出现拼接痕迹,则不会对第一交叠区域对应的像素值进行图像处理。
可选地,在S104之前,方法100还可以包括:步骤2,保存第i个第一图像块和所述第j个第一图像块的在第一交叠区域对应的像素值。可理解,在进行拼接处理时,可以保存N个第一图像块对应的第一位置相互交叠得到的所有交叠区域,以便于后续流程中需要进行图像融合时能够灵活调用。
上述方案,是在根据裁剪掉第一填充部分后得到的N个第一有效部分,并根据N个第一有效部分得到第一图像后,确定均方误差大于或等于预设值的情况下,能够直接使用保存的第一交叠区域对应的像素值进行图像融合,提升图像融合的效率。
S105,用第二图像块的像素值覆盖第一图像中第一交叠区域的像素值,得到更新后的第一图像。
其中,第二图像块与第一交叠区域的大小相同。
需要说明的是,本申请中涉及的拼接线只是逻辑上的拼接线,并不能理解为两个图像块之间存在拼接线,那么最终出图就一定存在肉眼可见的拼接缝隙。如果拼接线两侧的相邻像素差异较小,肉眼是看不出两张图像块之间的拼接缝隙的,如图2所示;如果拼接线两侧的相邻像素差异特别大,则会出现如图1所示的肉眼可见的拼接缝隙。
本申请提供的图像处理方法100,通过判断均方误差是否大于或等于预设值,从能确定拼接线处是否会出现拼接痕迹,在均方误差大于或等于预设值的情况下,确定会出现拼接痕迹,则对第一交叠区域对应的像素值进行图像处理。从而在优化电子设备输出整图的拼接痕迹的同时,尽可能少地引入额外的计算,从而尽可能降低导致算法性能恶化的可能性。
另外,再针对方法100给出以下一些说明。
作为一种可能的实现方式,在S101中,输入该图像处理模型的图像或图像块,是根据电子设备拍摄得到的图像确定的。下文将分别通过图像处理方法200和图像处理方法300,介绍如何根据电子设备拍摄得到的图像确定输入该图像处理模型的图像或图像块的实现方式。并且,介绍方法200与方法100结合的基础上,本申请提供的进一步的方案;以及方法300与方法100结合的基础上,本申请提供的进一步的方案。
图9示出了本申请提供的图像处理的方法200的示意图。可以理解的是,方法200可以理解为S102的一种可能的实现方式。方法200包括:
S201,获取由电子设备拍摄的第三图像。
其中,第三图像与第一图像的大小相同。可以理解的是,这里的第三图像是一张整图,方法100中的第一图像也是一张整图。
S202,根据切块规则对第三图像进行切块处理,得到N个第三图像块。
其中,切块规则包括:N个第三图像块中每个第三图像块在第三图像中对应的第二位置。
图10示出了本申请提供的对第三图像进行切块处理的示意图。进行切块处理后,每个第三图像块(在图10中以图像块3#i为例)都在第三图像中对应一个第二位置。
一种可能的实现方式中,该第二位置可以用坐标进行表示。具体的用坐标表示第二位置的实现方式可以参照S102中用坐标表示第一位置的相关的描述。
S203,将N个第三图像块输入图像处理模型,得到N个第一图像块。
其中,N个第一图像块与N个第三图像块一一对应,且每个第一图像块与N个第三图像块中的每个第三图像块的大小相同。对于图像处理模型的说明可以参照方法100中的相关的描述。
上述方案,电子设备针对拍摄得到的图像或图像块先进行切块处理,得到N个第三图像块,再对N个第三图像块进行图像处理后得到N个第一图像块,随后再对N个第一图像块进行拼接处理,能够实现图像块的并行处理,提升图像处理的效率。
一种可能的实现方式中,每个第三图像块包括第二有效部分和第二填充部分。且在每个第三图像块中,切块规则还包括:每个第三图像块包括的第二有效部分对应第三图像中的第三子位置,以及每个第三图像块包括的第二填充部分对应第三图像中的第四子位置。
以第i个第三图像块(图10中的图像块3#i)为例,包括第i个第二有效部分(图10中的有效部分3#i)和第i个第二填充部分(图10中的填充部分3#i),第i个第二有效部分对应第三图像中的第i个第三子位置,第i个第二填充部分对应第三图像中的第i个第四子位置。一方面,在N个第三图像块中,填充部分3#i与其他第三图像块中的至少一个第三图像块包括的第二有效部分交叠,换句话说,第i个第四子位置与其他第三图像块中的至少一个第三图像块包括的第二有效部分对应的第三子位置交叠。其中,至少一个第三图像块包括第j个第三图像块。另一方面,在N个第三图像块中,填充部分3#i与其他第三图像块中的至少一个第三图像块包括的第二有效部分均不交叠,换句话说,第i个第三子位置与其他第三图像块包括的第二有效部分对应的第三子位置均不交叠。
在该种可能的实现方式中,可选地,第i个所述第一有效部分与第i个所述第二有效部分的大小相同,且第i个所述第一填充部分的大小与第i个所述第二填充部分的大小相同。
可选地,第i个第三图像块完全包含于第三图像的情况下,第i个填充部分的像素值即为该第i个填充部分所在位置的像素值。第i个第三图像块部分超出第三图像的情况下,超出第三图像的部分可以用数值0填充像素值或填充第i个第三图像块中包含于第三图像的像素值。例如图10中,左上角的第三图像块的填充部分的部分像素值可以用数值0填充像素值。
方法100中的拼接规则可以是根据方法200中的切块规则确定的。可以理解的是,如上文所述,第三图像与第一图像的大小相同,每个第一图像块与N个第三图像块中的每个第三图像块的大小相同,并且N个第一图像块与N个第三图像块一一对应。具体的,根据第i个第三图像块在第三图像中对应的第二位置,确定第i个第一图像块在第一图像中对应的第一位置。例如,假设第三图像也参照S102中第一图像建立的坐标系的方式,建立第三图像的左上角的顶点为原点的坐标系,那么第i个第三图像块在第三图像中的坐标,与第i个第一图像块在第一图像中的坐标相同。上述方案,根据对第三图像进行切分处理得到的第二位置确定第一位置,能够在拼接处理中尽可能还原切分前各个图像块所处的位置,减少切分处理和拼接处理对图像还原度的影响。
进一步地,由于第i个所述第一有效部分与第i个所述第二有效部分的大小相同,且第i个所述第一填充部分的大小与第i个所述第二填充部分的大小相同,从而根据第i个第二有效部分在第三图像中对应的第i个第三子位置,确定第i个第一有效部分在第一图像中对应的第i个第一子位置,以及,根据第i个第二填充部分在第三图像中对应的第i个第四子位置,确定第i个第一填充部分在第一图像中对应的第i个第二子位置。例如,假设第三图像也参照S102中第一图像建立的坐标系的方式,建立第三图像的左上角的顶点为原点的坐标系,那么第i个第二填充部分在第三图像中的坐标,与第i个第一填充部分在第一图像中的坐标相同。上述方案,根据第三子位置和第四子位置确定第一子位置和第二子位置,能够在拼接处理中尽可能还原切分前各个图像块所处的位置,减少切分处理和拼接处理对图像还原度的影响。
另外,在S104中预设值的可能的实现方式的基础上,方法200中的预设值还可以根据N个第三图像块的大小,以及第i个所述第二填充部分的尺寸和/或第i个第二有效部分的尺寸在第i个第三图像的尺寸中的占比所确定。可以理解的是,参照方法200通过第三测试图像得到至少两个第一测试图像块,从而,第一测试图像的大小是根据对第三测试图像进行切分处理得到的第三测试图像块的大小确定的,那么第一测试有效部分和第一测试填充的部分的大小在第一测试图像块中的占比也是根据第二测试有效部分和第二测试填充的部分的大小在第三测试图像块中的占比确定的。示例性的,图11A和图11B分别与图6B和图6C对应,示出了根据第三测试图像块中第二测试填充部分的占比确定根据第一测试图像块中第一测试填充部分的占比的示意图。图11A和图11B中仅以占比为25%和5%进行示例,并不限制本申请的保护范围。上述方案,第i个第一填充部分和第i个第一有效部分的尺寸在第i个第一图像的尺寸中的占比,是根据第i个第二填充部分和/或第i个第二有效部分的尺寸在第i个第三图像的尺寸中的占比确定的,从而在对第三图像进行切分处理时即可确定要使用的预设值。
图12示出了本申请提供的图像处理方法300的示意图。
S301,获取由电子设备拍摄的N个第三图像块。
其中,每个第一图像块与N个第三图像块中的每个第三图像块的大小相同。
S302,将N个第三图像块输入图像处理模型,得到N个第一图像块。
其中,N个第一图像块与N个第三图像块一一对应。
示例性的,电子设备在进行全景拍照的场景下,拍摄N张第三图像块,由图像处理模型对N张第三图像块进行并行处理,随后再通过方法100将输出的N张第一图像块拼接成第一图像,能够提升图像处理的效率。
可以理解的是,方法300和方法200的区别在于,在方法300中,不对电子设备拍摄得到N个图像块进行切块处理。因此,方法300可以参照除了方法200中与切块处理相关的说明以外的其他相关描述。另外,方法300和方法200的区别还在于,方法200中,第二位置、第三子位置和第四子位置是根据切块规则确定的;在方法300中,第二位置、第三子位置和第四子位置可以是预配置的。例如,假设全景图像(即第一图像)的目标尺寸为H×W,其中,H为第一图像的竖直方向的像素个数,W为第一图像的水平方向的像素个数。拍摄过程中,电子设备拍摄的第i张第三图像块与第i+1张第三图像块的交叠区域在水平方向上的像素个数为O,1≤i≤N。那么,每张第三图像块在水平方向上的像素的个数w可以按照下列公式进行计算:
从而,每个第三图像块的尺寸为H×w。第i个第三图像块对应的第二位置,在水平方向上为第w×(i-1)个像素至w×i-1个像素。第三子位置在水平方向上为第w×(i-1)个像素至第w×i-1-O个像素。第四子位置在水平方向上为第w×i-1-O个像素至第w×i-1个像素。
请参考图13,图13示出了本申请实施例提供的一种电子设备1000的硬件结构示意图。参见图13,电子设备1000可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备1000的具体限定。在本申请另一些实施例中,电子设备1000可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,比如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。
其中,控制器可以是电子设备1000的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口,如可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备1000的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备1000的显示功能。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备1000的结构限定。在本申请另一些实施例中,电子设备1000也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193和无线通信模块160等供电。
电子设备1000的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备1000中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。比如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备1000上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
无线通信模块160可以提供应用在电子设备1000上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。
电子设备1000通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备1000可以包括1个或N个显示屏194,N为大于1的整数。
电子设备1000可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。比如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备1000可以包括1个或N个摄像头193,N为大于1的整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。比如,当电子设备1000在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备1000可以支持一种或多种视频编解码器。这样,电子设备1000可以播放或录制多种编码格式的视频,比如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,比如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备1000的智能认知等应用,比如:图像识别,人脸识别,语音识别,文本理解等。本申请中的NPU还用于通过图像处理模型进行图像处理。具体的,该图像处理模型用于获取N个第三图像块,并根据N个第三图像块,输出N个第一图像块。
外部存储器接口120可以用于连接外部存储卡,比如Micro SD卡,实现扩展电子设备1000的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。比如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,来执行电子设备1000的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备1000在使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,比如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备1000可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D以及应用处理器等实现音频功能,比如音乐播放,录音等。按键190包括开机键,音量键等。按键190可以是机械按键,也可以是触摸式按键。电子设备1000可以接收按键输入,产生与电子设备1000的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。
传感器模块180可以包括1个或多个传感器,这些传感器可以为相同类型或不同类型。可理解,图13所示的传感器模块180仅为一种示例性的划分方式,还可能有其他划分方式,本申请对此不作限制。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194,电子设备根据压力传感器180A检测所述触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
陀螺仪传感器180B可以用于确定电子设备的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。
加速度传感器180E可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备可以利用距离传感器180F测距以实现快速对焦。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备的表面,与显示屏194所处的位置不同。
气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。电子设备使用光电二极管检测来自附近物体的红外反射光。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于获取指纹。温度传感器180J用于检测温度。骨传导传感器180M可以获取振动信号。
接下来对电子设备1000的软件系统予以说明。
示例性的,电子设备1000可以是手机。电子设备1000的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)系统为例,对电子设备1000的软件系统进行示例性说明。
图14示出了本申请实施例提供的一种电子设备1000的软件系统的框图。参见图14,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统层,内核层和硬件抽象层(HardwareAbstraction Layer,HAL)。
应用程序层可以包括一系列应用程序包。如图14所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图14所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问,这些数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,比如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序的显示界面,显示界面可以由一个或多个视图组成,比如,包括显示短信通知图标的视图,包括显示文字的视图,以及包括显示图片的视图。电话管理器用于提供电子设备1000的通信功能,比如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如,通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在系统顶部状态栏的通知,比如后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知,比如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块,比如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(比如:OpenGL ES),2D图形引擎(比如:SGL)等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,比如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含摄像头驱动,处理器驱动,显示驱动,音频驱动等设备驱动程序。设备驱动程序为I/O系统和相关硬件之间的接口,用于驱动对应的硬件设备。
硬件抽象层(HAL)是位于操作系统内核与上层软件之间的接口层,其目的在于将硬件抽象化。硬件抽象层是设备内核驱动的抽象接口,用于实现向更高级别的Java API框架提供访问底层设备的应用编程接口。HAL包含多个库模块,例如相机、显示屏、蓝牙、音频等。其中每个库模块都为特定类型的硬件组件实现一个接口。当系统框架层API要求访问便携设备的硬件时,Android操作系统将为该硬件组件加载库模块。本申请中,HAL层包括:图像切块模块、图像拼接模块、图像计算模块、图像裁剪模块、图像创建模块、图像保存模块、图像融合模块以及图像覆盖模块等,并且通过这些模块来执行本申请提供的图像处理方法。
具体的,在本申请中,图像拼接模块,用于从处理器获取由图像处理模型输出的N个第一图像块,并拼接规则对N个第一图像块进行拼接处理,得到第一图像。图像创建模块,用于创建第二图像,并对第二图像的像素值进行初始化。图像裁剪模块,用于分别去除N个第一图像块中的N个第一填充部分,得到N个第一有效部分。图像覆盖模块,用于根据每个第一图像块包括的第一有效部分对应第一图像中的第一子位置,用N个第一有效部分的像素值覆盖第二图像中的像素值,得到第一图像;还用于用第二图像块的像素值覆盖第一图像中第一交叠区域的像素值,得到更新后的第一图像。图像计算模块,用于计算第一图像中拼接线两侧的像素值的均方误差。图像融合模块,用于在均方误差大于或等于预设值的情况下,针对第i个第一图像块和第j个第一图像块在第一交叠区域对应的像素值进行图像融合处理,得到第二图像块。图像切块模块,用于获取由电子设备拍摄的第三图像,并根据切块规则对第三图像进行切块处理,得到N个第三图像块。图像保存模块,用于保存第i个第一图像块和所述第j个第一图像块的在第一交叠区域对应的像素值。
硬件层包括摄像头组、单独的处理器、集成处理器、显示器和音频设备等。需要说明的是,需要说明的是,本申请提供的图14所示的电子设备的软件结构示意图仅作为一种示例,并不限定Android操作系统不同分层中的具体模块划分,具体可以参考常规技术中对Android操作系统软件结构的介绍。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,比如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如:同轴电缆、光纤、数据用户线(digital subscriber line,DSL))或无线(比如:红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如:软盘、硬盘、磁带)、光介质(比如:数字通用光盘(digital versatile disc,DVD))或半导体介质(比如:固态硬盘(solid state disk,SSD))等。
以上所述为本申请提供的可选实施例,并不用以限制本申请,凡在本申请的揭露的技术范围之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (16)
1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
获取由图像处理模型输出的N个第一图像块,N≥2且N为整数;
根据拼接规则对所述N个第一图像块进行拼接处理,得到第一图像,所述拼接规则包括所述N个第一图像块中每个第一图像块在所述第一图像中对应的第一位置,其中,所述N个第一图像块中,第i个第一图像块对应的第i个所述第一位置和第j个第一图像块对应的第j个所述第一位置相互交叠且存在第一交叠区域,所述第一图像中的所述第一交叠区域包含所述第i个第一图像块和所述第j个第一图像块的拼接线,且所述第一交叠区域由所述拼接线分为两个子交叠区域,包括靠近所述第i个第一图像块的第一子交叠区域与靠近所述第j个第一图像块的第二子交叠区域,1≤i≤N,1≤j≤N,i≠j,且i和j均为整数;
计算所述第一图像中所述拼接线两侧的像素值的均方误差,所述两侧的像素值中,一侧的像素值包含于所述第一子交叠区域且属于所述第i个第一图像块,另一侧的像素值包含于所述第二子交叠区域且属于所述第j个第一图像块;
在所述均方误差大于或等于预设值的情况下,针对所述第i个第一图像块和所述第j个第一图像块在所述第一交叠区域对应的像素值进行图像融合处理,得到第二图像块,其中,所述预设值是根据所述图像处理模型确定的;
用所述第二图像块的像素值覆盖所述第一图像中所述第一交叠区域的像素值,得到更新后的所述第一图像。
2.如权利要求1所述的方法,其特征在于,所述每个第一图像块包括第一有效部分和第一填充部分,所述拼接规则还包括:所述每个第一图像块包括的所述第一有效部分对应所述第一图像中的第一子位置,以及所述每个第一图像块包括的所述第一填充部分对应所述第一图像中的第二子位置;其中,所述第i个第一图像块包括第i个所述第一有效部分和第i个所述第一填充部分,第i个所述第一有效部分对应第i个所述第一子位置,第i个所述第一填充部分对应第i个所述第二子位置;
其中,在所述N个第一图像块中,第i个所述第二子位置与其他第一图像块中的至少一个第一图像块包括的所述第一有效部分对应的所述第一子位置交叠,所述至少一个第一图像块包括所述第j个第一图像块,
其中,在所述N个第一图像块中,第i个所述第一子位置与所述其他第一图像块包括的所述第一有效部分对应的所述第一子位置均不交叠,第i个所述第一子位置与所述至少一个第一图像块中的每个第一图像块包括的所述第一有效部分对应的所述第一子位置通过邻边相拼接,其中,第i个所述第一子位置与所述第j个图像包括的第j个有效部分对应的第j个所述第一子位置的邻边为所述拼接线。
3.如权利要求2所述的方法,其特征在于,所述第j个第一图像块包括第j个所述第一有效部分和第j个所述第一填充部分,第j个所述第一有效部分对应第j个所述第一子位置,第j个所述第一填充部分对应第j个所述第二子位置;
所述第一子交叠区域为第i个所述第一子位置与第j个所述第二子位置的交叠区域,所述第二子交叠区域为第j个所述第一子位置与第i个所述第二子位置的交叠区域;
所述针对所述第i个第一图像块和所述第j个第一图像块在所述第一交叠区域对应的像素值进行图像融合处理,包括:
针对第i个所述第一有效部分与第j个所述第一填充部分在所述第一子交叠区域分别对应的像素值,以及第j个所述第一有效部分与第i个所述第一填充部分在所述第二子交叠区域分别对应的像素值,进行所述图像融合处理。
4.如权利要求2所述的方法,其特征在于,所述根据拼接规则对所述N个第一图像块进行拼接处理,得到第一图像,包括:
创建第二图像,并对所述第二图像的像素值进行初始化,所述第二图像的与所述第一图像的大小相同;
分别去除所述N个第一图像块中的N个所述第一填充部分,得到N个所述第一有效部分;
根据所述每个第一图像块包括的所述第一有效部分对应所述第一图像中的第一子位置,用N个所述第一有效部分的像素值覆盖所述第二图像中的像素值,得到所述第一图像。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
保存所述第i个第一图像块和所述第j个第一图像块的在所述第一交叠区域对应的像素值。
6.如权利要求2所述的方法,其特征在于,第i个所述第一有效部分与所述第j个所述第一有效部分通过邻边拼接,且所述第i个所述第一有效部分与所述第j个所述第一有效部分的所述邻边为所述拼接线,第i个所述第一有效部分中紧邻所述拼接线的一列第一像素列中包括M个第一像素,第j个所述第一有效部分中紧邻所述拼接线的一列第二像素列中包括M个第二像素,所述第一像素列中第m个所述第一像素与所述第二像素列中第m个所述第二像素组成一个像素对,M≥2且M为整数,1≤m≤M且m为整数,
所述计算所述第一图像中所述拼接线两侧的像素值的均方误差,包括:
计算所述第一像素列和所述第二像素列组成的M个像素对中每个像素对中的所述第一像素的像素值与所述第二像素的像素值之差的平方值,得到M个平方值;
计算所述M个平方值的平均值,得到所述均方误差。
7.如权利要求2至6中任一项所述的方法,其特征在于,
所述预设值还根据所述每个第一图像块中所述第一有效部分和所述第一填充部分的尺寸的占比所确定。
8.如权利要求1至6中任一项所述的方法,其特征在于,所述获取由图像处理模型输出的N个第一图像块,包括:
获取由所述电子设备拍摄的第三图像,且所述第三图像与所述第一图像的大小相同;
根据切块规则对所述第三图像进行切块处理,得到所述N个第三图像块,所述切块规则包括所述N个第三图像块中每个第三图像块在所述第三图像中对应的第二位置,所述每个第一图像块与所述N个第三图像块中的每个第三图像块的大小相同,其中,所述切块规则用于确定所述拼接规则;
将所述N个第三图像块输入所述图像处理模型,得到所述N个第一图像块,且所述N个第一图像块与所述N个第三图像块一一对应。
9.如权利要求8所述的方法,其特征在于,所述每个第三图像块包括第二有效部分和第二填充部分,且在所述每个第三图像块中,所述切块规则还包括:所述每个第三图像块包括的所述第二有效部分对应所述第三图像中的第三子位置,以及所述每个第三图像块包括的所述第二填充部分对应所述第三图像中的第四子位置;其中,所述第i个第三图像块包括第i个所述第二有效部分和第i个所述第二填充部分,第i个所述第二有效部分对应第i个所述第三子位置,第i个所述第二填充部分对应第i个所述第四子位置;
其中,在所述N个第三图像块中,第i个所述第四子位置与其他第三图像块中的至少一个第三图像块包括的所述第二有效部分对应的所述第三子位置交叠,所述至少一个第三图像块包括所述第j个第三图像块,
其中,在所述N个第三图像块中,第i个所述第三子位置与其他第三图像块包括的所述第二有效部分对应的所述第三子位置均不交叠。
10.如权利要求9所述的方法,其特征在于,所述第三图像块与所述第一图像块的大小相同,所述方法还包括:
根据所述第i个第三图像块在所述第三图像中对应的所述第二位置,确定所述第i个第一图像块在所述第一图像中对应的所述第一位置。
11.如权利要求10所述的方法,其特征在于,第i个所述第一有效部分与第i个所述第二有效部分的大小相同,且第i个所述第一填充部分的大小与第i个所述第二填充部分的大小相同,
所述根据所述第i个第三图像块在所述第三图像中对应的所述第二位置,确定所述第i个第一图像块在所述第一图像中对应的所述第一位置,包括:
根据第i个所述第二有效部分在所述第三图像中对应的第i个所述第三子位置,确定第i个所述第一有效部分在所述第一图像中对应的第i个所述第一子位置,以及,根据第i个所述第二填充部分在所述第三图像中对应的第i个所述第四子位置,确定第i个所述第一填充部分在所述第一图像中对应的第i个所述第二子位置。
12.如权利要求11所述的方法,其特征在于,所述预设值还根据第i个所述第二填充部分和/或第i个所述第二有效部分的尺寸在所述第i个第三图像的尺寸中的占比所确定。
13.如权利要求1至6中任一项所述的方法,其特征在于,所述获取由图像处理模型输出的N个第一图像块,包括:
获取由所述电子设备拍摄的N个第三图像块,且所述每个第一图像块与所述N个第三图像块中的每个第三图像块的大小相同;
将所述N个第三图像块输入所述图像处理模型,得到所述N个第一图像块,且所述N个第一图像块与所述N个第三图像块一一对应。
14.如权利要求1所述的方法,其特征在于,所述针对所述第i个第一图像块和所述第j个第一图像块在所述第一交叠区域对应的像素值进行图像融合处理,包括:
基于Alpha融合方法,针对所述第i个第一图像块和所述第j个第一图像块在所述第一交叠区域对应的像素值进行图像融合处理。
15.一种电子设备,包括存储器,以及一个或多个处理器,其特征在于,所述存储器用于存储计算机程序;所述处理器用于调用所述计算机程序,使得所述电子设备执行权利要求1至14中任一项所述的方法。
16.一种计算机存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求1至14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310990312.0A CN117726507A (zh) | 2023-08-04 | 2023-08-04 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310990312.0A CN117726507A (zh) | 2023-08-04 | 2023-08-04 | 图像处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117726507A true CN117726507A (zh) | 2024-03-19 |
Family
ID=90207549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310990312.0A Pending CN117726507A (zh) | 2023-08-04 | 2023-08-04 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117726507A (zh) |
-
2023
- 2023-08-04 CN CN202310990312.0A patent/CN117726507A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117063461A (zh) | 一种图像处理方法和电子设备 | |
CN111768416B (zh) | 照片裁剪方法及装置 | |
CN111882642B (zh) | 三维模型的纹理填充方法及装置 | |
CN113643186A (zh) | 一种图像增强方法及电子设备 | |
CN112749613A (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
CN113837920A (zh) | 一种图像渲染方法及电子设备 | |
CN116723257A (zh) | 一种图像显示方法及电子设备 | |
CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
CN114004732A (zh) | 图像编辑提示方法、装置、电子设备和可读存储介质 | |
CN117726507A (zh) | 图像处理方法及装置 | |
CN116761082B (zh) | 图像处理方法及装置 | |
CN116688494B (zh) | 生成游戏预测帧的方法和电子设备 | |
CN116672707B (zh) | 生成游戏预测帧的方法和电子设备 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116955208B (zh) | 测试方法、终端设备、芯片及存储介质 | |
CN116700655B (zh) | 一种界面显示方法及电子设备 | |
CN117412174B (zh) | 拍摄方法及相关设备 | |
CN116708931B (zh) | 图像处理方法及电子设备 | |
CN113297875B (zh) | 一种视频文字跟踪方法及电子设备 | |
CN114866641B (zh) | 一种图标处理方法、终端设备及存储介质 | |
CN116723410B (zh) | 调节帧间隔的方法和装置 | |
CN117710786A (zh) | 图像处理方法、图像处理模型的优化方法及相关设备 | |
CN116795306A (zh) | 图像显示方法和电子设备 | |
CN116664701A (zh) | 光照估计方法及其相关设备 | |
CN116560770A (zh) | 壁纸显示方法、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |