CN114219840A - 图像配准融合方法、装置及计算机存储介质 - Google Patents
图像配准融合方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN114219840A CN114219840A CN202111271584.2A CN202111271584A CN114219840A CN 114219840 A CN114219840 A CN 114219840A CN 202111271584 A CN202111271584 A CN 202111271584A CN 114219840 A CN114219840 A CN 114219840A
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- infrared light
- registration
- fusion method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像配准融合方法、装置及计算机存储介质。其中,图像配准融合方法包括获取被拍摄画面的可见光图像和红外光图像;对可见光图像进行裁剪,获得预设尺寸的可见光小图;对红外光图像进行偏移裁剪,获得预设尺寸的红外光小图;红外光小图与可见光小图满足配准;将可见光小图和变换处理后的红外光小图融合放大得到融合放大图像。通过上述方法,本申请能够有效地解决图像配准融合过程出现的黑边问题。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种图像配准融合方法、装置及计算机存储介质。
背景技术
图像配准是将不同摄像机或不同条件下(照度、摄像位置、角度等)获取的两幅或者多幅图像进行空间变换处理,使得各个图像在几何上能够匹配对应起来。图像配准的目的是去除待配准图像和参考图像之间在几何上的不一致,包括平移、旋转和形变,为进一步的图像处理做准备。
常见的图像配准融合现有技术中,配准采用块处理,使用DDR进行图像缓存,由于DDR读写速度不一致,ISP图像处理时钟、DDR读写时钟、融合处理输出时钟可能均不相同,为避免画面跨帧出现断层,凡涉及到DDR缓存的区域,均要求至少缓存1帧数据再开始下一步处理,因此会出现延时大的缺陷。延时缺陷不利于较高场景的应用场合,不具备产品的竞争力。
配准采用流处理,没有DDR缓存时,主要缺点是牺牲系统较多的RAM资源对图像进行补边,同时还存在黑边问题;使用1级DDR缓存时,解决了RAM资源过大的问题,但是补边效果不理想。
发明内容
本申请主要解决的技术问题是提出一种图像配准融合方法、装置及计算机存储介质,能够很好的平衡图像处理过程出现的延时、资源消耗以及黑边问题。
为解决上述技术问题,本申请采用的一个技术方案是:获取被拍摄画面的可见光图像和红外光图像;对可见光图像进行裁剪,获得预设尺寸的可见光小图;对红外光图像进行偏移裁剪,获得预设尺寸的红外光小图;红外光小图与可见光小图满足配准;将可见光小图和变换处理后的红外光小图融合放大得到融合放大图像。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种图像配准融合装置,包括处理器、存储器、采集电路以及显示屏,采集电路、存储器和显示屏分别耦接处理器,采集电路用于与具有图像传感器的设备连接,存储器存储计算机程序,显示屏用于显示配准融合后的图像,处理器用于执行计算机程序,以实现如上述的图像配准融合方法。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种计算机存储介质,存储有计算机程序,所述计算机程序能够被处理器执行以实现上述的图像配准融合方法。
本申请的有益效果是:区别于现有技术的情况,本申请通过获取可见光图像和红外光图像大图,实现无分辨率限制的使用场景,对可见光图像裁剪预设尺寸的可见光小图,以及对红外光图像偏移裁剪相同预设尺寸的红外光小图,解决图像配准融合过程中出现的黑边问题,进一步,不需要消耗RAM资源对图像进行补边,从而解决RAM资源消耗的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请图像配准融合方法实施例的流程示意框图;
图2是本申请图像配准融合方法实例例的原始图像与小图的示意图;
图3是本申请图像配准融合方法实施例的流处理流程示意图;
图4是本申请图像配准融合装置第一实施例的结构示意框图;
图5是本申请具有存储功能的装置的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参阅图1,图1是本申请图像配准融合方法一实施例的流程示意图。本实施例包括以下步骤。
S101:获取被拍摄画面的可见光图像和红外光图像。
被拍摄画面的可见光图像可以通过至少带有可见光摄像头传感器的设备获取,或者同时拥有可见光摄像头传感器和红外光传感器的设备,例如数码相机、手机、平板、便携设备、电脑或者球形摄像机等。被拍摄画面的红外图像可以通过至少带有红外光摄像头传感器的设备获取,例如红外摄像机、热成像仪或者球形摄像机等。
在步骤S101中,获取同一原始尺寸的可见光图像和红外光图像。
具体的,不同类型的传感器的分辨率有可能不一致,获取可见光图像和红外光图像时,摄像头传感器以起始坐标为起点输出图像。采集设备获取可见光图像和红外光图像时,获取可见光图像和红外光图像的有效中心图,采集到相同尺寸的有效的可见光图像和红外光图像。通过获取同一原始尺寸的可见光图像和红外光图像,可以消除因摄像头传感器分辨率不同,而造成采集到的可见光图像和红外光图像分辨率不一致的问题。
S102:对可见光图像进行裁剪,获得预设尺寸的可见光小图。
获取原始尺寸的可见光图像,从原始可见光图像的中心位置,按照预设尺寸裁剪可见光图像,获得预设尺寸的可见光小图。
获取可见光小图后,还需要对可见光小图进行初步的图像处理,例如对可见光小图进行3A、坏点校正、去噪、强光抑制、背光补偿、色彩增强等算法处理。
S103:对红外光图像进行偏移裁剪,获得预设尺寸的红外光小图;红外光小图与可见光小图满足配准。
获取原始尺寸的红外光图像,按照预设尺寸裁剪红外光图像,获得红外光小图。其中,按照预设尺寸裁剪红外光图像时,可以从红外光图像的中心位置裁剪预设尺寸的红外光小图,也可以取偏移中心位置的其它区域裁剪。将红外光小图与可见光小图进行配准前,同样需要将红外光小图进行初步的图像处理,将经过初步图像处理的红外光小图与可见光小图送入配准模块进行图像配准,满足配准。
其中,图像配准时,将经过初步图像处理的红外光小图与由红外光小图和可见光小图计算得到的tform矩阵进行计算,并计算配准坐标,再经过插值出像素值,获得配准后的红外光小图,即红外光小图与可见光小图满足配准。
S104:将可见光小图和变换处理后的红外光小图融合放大得到融合放大图像。
图像融合时,将获得的预设尺寸的可见光小图和变换处理后的预设尺寸的红外光小图进行融合,获得融合后预设尺寸的小图,而小图不能作为输出目标图像,还需要对融合后的预设尺寸的小图进行放大处理,得到融合后放大图像。
进一步地,将可见光小图和变换处理后的红外光小图进行融合放大得到原始尺寸的融合放大图像。
对原始尺寸可见光图像裁剪获得预设尺寸的可见光小图,以及对原始红外光图像偏移裁剪,并且与可见光小图满足配准的预设尺寸的红外光小图,即将预设尺寸的可见光小图和变换处理后的预设尺寸的红外光小图进行融合,融合后的图像仍然是预设尺寸的小图,因此输出融合图像前还需要进行放大处理,对融合后的小图放大至原始尺寸。
基于上述实施例,本申请为了优化图像处理中的计算效率,在每个步骤中做了进一步的改进。
对可见光图像进行裁剪,获取预设尺寸的可见光小图时,还包括基于裁剪坐标对可见光图像进行裁剪,获取预设尺寸的可见光小图。
裁剪坐标指从可见光图像上任取一点作为可见光小图的裁剪坐标,以该裁剪坐标为起点裁剪预设尺寸的可见光小图,获得预设尺寸的可见光小图。
对红外光图像进行偏移裁剪,获得预设尺寸的红外光小图时,还包括基于偏移坐标对红外光图像进行裁剪,获得预设尺寸的红外光小图;偏移坐标基于截取坐标偏移预设参数,以使得可见光小图和红外光小图满足配准。
截取坐标,指在红外光图像中,任取一个坐标为红外光小图的截取坐标,以该截取坐标为起点或者中心裁剪预设尺寸的红外光小图。偏移坐标,指对截取坐标偏移预设参数之后的坐标偏移。预设参数指对截取坐标偏移时设置的一个参数,该参数的范围可以取正负30为最大值和最小值,或者其他范围的数值,比如预设参数为(-30,+30)时,可以取(0,0)、(2,3)、(-2,3)、(2,-3)、(-2,-3)等的预设参数。对红外光图像裁剪时,以偏移坐标为起点,裁剪预设尺寸的红外光小图。
对红外光图像进行偏移裁剪,获得预设尺寸的红外光小图;红外光小图与可见光小图满足配准的另一个实施例中,包括将可见光小图和红外光小图进行配准比较,以获得红外光图像的偏移参数;依据偏移参数对红外光图像进行偏移裁剪。
具体地,将获取到的红外光小图和可见光小图送入在线配准装置,计算得到红外光小图的偏移参数,并根据偏移参数,对截取坐标进行偏移,得到新的偏移坐标,并以新的偏移坐标为起点,裁剪预设尺寸的红外光小图,获取新的预设尺寸的红外光小图。也可预先设定初始的预设参数,进行变换后再做配准比较。这里初始预设参数可以是根据经验设置,若配准比较结果为适配,则无需再进行调整,可提高变换处理的效率。若配准比较结果为不适配,则根据配准比较结果,对预设参数进行调整。
为了更好地获取符合要求的可见光小图,进一步地对可见光小图与原始可见光图像做进一步的限定,预设尺寸与原始尺寸的差值的一半大于或等于预设参数的最大值。
可见光小图的预设尺寸与可见光图像的原始尺寸的差值的一半大于或等于预设参数的最大值是指,可见光小图的中心与原始可见光图像的中心重合,在原始可见光图像中,以该中心点为原点,经过原点作出原始图像关于原点的左、右和上、下图像的中线,分别通过左、右中线和上、下中线获取原始图像关于上述中线周边等比例且相对中线对称的面积,根据两根中线获取到的面积的交集,即为预设尺寸。其中,与左、右中线对称的任意一边的面积,其差值与原始图像中左、右中线任意一边的面积的差值的一半大于或等于预设参数的最大值;同理有与上、下中线对称的任意一边的面积,其差值与原始图像中上、下中线任意一边的面积的差值的一半大于或等于预设参数的最大值。
更进一步地,预设参数包括宽度偏移参数和高度偏移参数;对可见光图像进行裁剪,获得预设尺寸的可见光小图,包括:可见光小图的中心位置与可见光图像的中心位置一致;可见光小图与可见光图像的宽度间距大于或等于宽度偏移参数最大值,高度间距大于或等于高度偏移参数最大值。
一般图像的尺寸为宽高标准,预设参数包括宽度偏移参数和高度偏移参数,宽度偏移参数可以对应坐标轴中的X轴,高度偏移参数则可以对应于坐标轴中的Y轴。对可见光图像裁剪可见光小图时,可见光小图的中心位置与可见光图像的中心位置相同,并以裁剪坐标为起点,裁剪可见光小图的尺寸与可见光图像的尺寸宽度间距大于或等于宽度偏移参数,高度间距大于或等于高度偏移参数的可见光小图。
举例说明,比如取原始图像的尺寸为W*H,预设尺寸为w*h,其中,预设尺寸的确定步骤如下所述:
1、确定最大宽度偏移参数为deltax,最大高度偏移参数为deltay,根据最大偏移参数获取预设尺寸的范围。
则有尺寸为w*h的小图与尺寸为W*H的图像的宽度间距大于或等于宽度偏移参数最大值,可以用公式表达为:
(W-w)/2>=Max(deltax);
高度间距大于或等于最大高度偏移参数,可以用公式表达为:
(H-h)/2>=Max(deltay);
根据上述两个公式可以获取预设尺寸的宽度w以及高度h的一个范围。
2、根据w以及h获取系数K。
系数K为从有效图像裁剪有效小图时,等比例获取小图的一个系数,该系数为原始图像的宽度偏移参数比上预设图像的宽度偏移参数,可以用公式表达为:
K>=W/w;
原始图像的高度偏移参数比上预设图像的高度偏移参数,可以用公式表达为:
K>=H/h;
上述两个公式表明,预设尺寸小图的裁剪,是等比例裁剪。
3、根据系数K,确定最终预设尺寸。
步骤2表明系数K也是一个有效范围,因此,根据有效原始尺寸以及选取有效范围中的系数K,可以确定最终的预设尺寸,用公式表达为:
w=W/K;
h=H/K;
参阅图2,取原始可见光图像的尺寸为W*H,预设尺寸可见光小图尺寸为,尺寸为w*h的可见光小图的中心与尺寸为W*H的可见光图像中心重合。对尺寸为w*h的红外光小图,取偏移参数(deltax,deltay),在尺寸为W*H的原始红外图像中任取一个截取坐标(x,y),通过对截取坐标进行偏移,得到偏移坐标(x-deltax,y-deltay),以偏移坐标(x-deltax,y-deltay)为起点,在尺寸为W*H的红外光图像中裁剪尺寸为w*h的红外光小图。因为偏移参数满足(W-w)/2>=deltax,(H-h)/2>=deltay的关系,因此偏移后的红外光小图不会超出原始红外光图像的范围,也即图像不会出现因偏移参数超过原始尺寸的图像支持范围导致的黑边问题。进一步的,不需要消耗RAM资源来解决黑边问题,从而减少RAM资源的消耗。
本申请另一个实施例中,图像配准融合方法还包括判断融合放大图像的显示质量是否满足预设要求;若不满足,则重新执行以下步骤:对红外光小图进行变换处理,以使得红外光小图和可见光小图满足配准;将可见光小图和变换处理后的红外光小图融合放大得到融合放大图像。
具体的,图像配准融合并放大后,对融合放大后的图像的质量进行判断,判断图像是否满足图像处理的预期。当不满足时,可以通过重新获取新的预设参数,即对可见光小图和红外光小图进行重新配准融合处理,获得新的预设参数,根据新的预设参数对红外光图像进行偏移裁剪处理,得到新的红外光小图,然后将可见光小图和新的红外光小图融合放大得到融合放大图像。
通过调整获取红外光小图的预设参数,能够使图像配准融合放大的图像达到最佳预期值。
本申请一个具体的实施例中,采集到的原始可见光图像为3840x2160,并且起始坐标为(12,21);原始红外光图像为3840x2160,并且起始坐标为(12,21)。假设预设参数deltax、deltay的最大值为正负30。
1、对原始可见光图像裁剪预设尺寸的可见光小图:
1-1、可见光小图预设尺寸约束:根据预设参数的极大值以及预设尺寸与原始尺寸的关系满足(W-w)/2>=Max(deltax),(H-h)/2>=Max(deltay),代入可见光图像的原始尺寸W=3840,H=2160,得到预设尺寸w<=3780,h<=2100。
1-2、计算裁剪比例:由于要求等比例裁剪,则要求W/K<=3780,H/K<=2100,将有效分辨率W=3840,H=2160代入,得到K>=1.02857。将K参数设置为1.03。
1-3、计算可见光小图预设尺寸:将上述裁剪参数K代入,求得可见光小图w=3840/1.03=3728,h=2160/1.03=2097。
1-4、裁剪坐标:(W-w)/2=(3840-3728)/2=56,(H-h)/2=(2160-2097)/2=31(向下取整)。
1-5、裁剪:按上述裁剪坐标从可见光采集中心图W*H中裁剪尺寸为w=3728,h=2097的可见光小图中心图。
2、对原始红外图像裁剪预设尺寸的红外光小图:
2-1、红外光小图预设尺寸与可见光小图预设尺寸相同,w=3728,h=2097。
2-2、偏移参数:默认初始值deltax、deltay均为0。
2-3、红外光小图偏移坐标:截取坐标默认与可见光小图裁剪坐标一致(56,31),因为偏移参数都为0,因此偏移坐标为(56,31)。
2-4、裁剪:在3840x2160的红外光图像中以裁剪坐标为起点,裁剪尺寸为w=3728,h=2097的红外光小图。
将可见光小图中心图和红外光小图进行融合,融合后的图像尺寸为3728x 2097的小图,对融合后的小图放大至尺寸为3840x2160,并判断放大后的融合图像是否满足预期处理,如不满足则重新计算得到新的偏移参数。
2-5、在线配准:将可见光小图中心图以及红外光小图进行在线配准,计算得到新的偏移参数,例如deltax=-20,deltay=10。
2-6、更新红外光小图偏移坐标:偏移参数改变,则红外光小图的偏移坐标也发生变化,新的偏移坐标为56-(-20)=76,31-10=20,即(76,20)。
2-7、更新红外光小图:在原始红外光图像中,以新的偏移坐标为起点,裁剪尺寸为3728x 2097的红外光小图。
将新的红外光小图进行配准,满足配准后与可见光小图中心图融合,获取融合后尺寸为3728x 2097的小图,再对融合后的小图进行放大处理获得放大后尺寸为3840x2160的融合图像。
本申请的一个实例中,图像配准融合方法在FPGA中基于流模式实现。
参阅图3,图像配准融合方法在FPGA中,采用流处理,可见光图像和红外光图像经过ISP图像处理后,直接进行图像配准,不需要DDR缓存来做分块处理,配准结束则直接对可见图像和红外光图像融合。通过流处理的过程,可以避免1级DDR缓存的延时,能够适应对画面延时性要求较高的场景,提高产品竞争力。
上述提及的图像配准融合装置,可以参照下述本申请提供的图像配准融合装置(未标注)。
参阅图4,本申请电子设备实施例描述的图像配准融合装置,包括:处理器10、采集电路20、存储器30以及显示屏40,采集电路20、存储器30和显示屏40分别耦接处理器10,采集电路20用于与具有图像传感器的设备连接,存储器30存储计算机程序,显示屏40用于显示配准融合后的图像,处理器10用于执行计算机程序,以实现如上述本申请图像配准融合处理方法实施例描述的图像配准融合方法。
采集电路20用于与本实施例图像配准融合转置与外部摄像头传感器采集图像信息,图像配准融合转置可以通过采集电路20获取可见光图像和红外光图像。显示屏用于显示图像配准融合放大后的图像。存储器30用于存储程序数据,可以是RAM,也可以是ROM,或者其他类型的存储设备。
处理器10用于控制图像配准融合转置的操作。处理器10可能是一种集成电路芯片,具有信号的处理能力。处理器10还可以是通用处理器、数字信号处理器,专用集成电路、现场可编程门阵列(FPGA)或者其他可编程逻辑器件。通用处理器还可以是微处理器或者该处理器10也可以是任何常规的处理器等。
在本申请所提供的几个实施例中,应该理解到,所揭露的图像配准融合转置和图像配准融合方法,可以通过其它的方式实现。例如,以上所描述的图像配准融合装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合可以是通过一些接口,装置或单元的间接耦合,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
参阅图5,上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在计算机可读的存储介质30中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令(计算机程序)用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等电子设备。
关于计算机可读的存储介质中的计算机程序的执行过程的阐述可以参照上述本申请图像配准融合方法实施例中阐述,在此不再赘述。
以上所述仅为本申请的优选实施方式,并不用于限制本发明,对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种图像配准融合方法,其特征在于,所述图像配准融合方法包括:
获取被拍摄画面的可见光图像和红外光图像;
对所述可见光图像进行裁剪,获得预设尺寸的可见光小图;
对所述红外光图像进行偏移裁剪,获得所述预设尺寸的红外光小图;所述红外光小图与所述可见光小图满足配准;
将所述可见光小图和变换处理后的所述红外光小图融合放大得到融合放大图像。
2.根据权利要求1所述的图像配准融合方法,其特征在于,所述对所述可见光图像进行裁剪,获得预设尺寸的可见光小图,包括:
基于裁剪坐标对所述可见光图像进行裁剪,获取预设尺寸的可见光小图;
所述对所述红外光图像进行偏移裁剪,获得所述预设尺寸的红外光小图,包括:
基于偏移坐标对所述红外光图像进行裁剪,获得预设尺寸的红外光小图;所述偏移坐标基于截取坐标偏移预设参数,以使得所述可见光小图和所述红外光小图满足配准。
3.根据权利要求2所述的图像配准融合方法,其特征在于,所述获取被拍摄画面的可见光图像和红外图像,包括:
获取同一原始尺寸的可见光图像和红外光图像。
4.根据权利要求3所述的图像配准融合方法,其特征在于,所述预设尺寸与所述原始尺寸的差值的一半大于或等于所述预设参数的最大值。
5.根据权利要求4所述的图像配准融合方法,其特征在于,所述预设参数包括宽度偏移参数和高度偏移参数;对所述可见光图像进行裁剪,获得预设尺寸的可见光小图,包括:
所述可见光小图的中心位置与所述可见光图像的中心位置一致;
所述可见光小图与所述可见光图像的宽度间距大于或等于所述宽度偏移参数最大值,高度间距大于或等于所述高度偏移参数最大值。
6.根据权利要求1所述的图像配准融合方法,其特征在于,所述将所述可见光小图和变换处理后的所述红外光小图融合放大得到融合放大图像,包括:
将所述可见光小图和变换处理后的所述红外光小图进行融合放大得到所述原始尺寸的融合放大图像。
7.根据权利要求1所述的图像配准融合方法,其特征在于,对所述红外光图像进行偏移裁剪,获得所述预设尺寸的红外光小图;所述红外光小图与所述可见光小图满足配准,包括:
将所述可见光小图和所述红外光小图进行配准比较,以获得所述红外光小图的偏移参数;
依据所述偏移参数对所述红外光图像进行偏移裁剪。
8.根据权利要求1所述的图像配准融合方法,其特征在于,所述图像配准融合方法还包括:
判断所述融合放大图像的显示质量是否满足预设要求;
若不满足,则重新执行以下步骤:
所述对所述红外光小图进行变换处理,以使得所述红外光小图和所述可见光小图满足配准;
将所述可见光小图和变换处理后的所述红外光小图融合放大得到融合放大图像。
9.根据权利要求1所述的图像配准融合方法,其特征在于,所述图像配准融合方法在FPGA中基于流模式实现。
10.一种图像配准融合装置,其特征在于,包括处理器、存储器、采集电路以及显示屏,所述采集电路、所述存储器和所述显示屏分别耦接所述处理器,所述采集电路用于与具有图像传感器的设备连接,所述存储器存储计算机程序,所述显示屏用于显示配准融合后的图像,所述处理器用于执行所述计算机程序,以实现如权利要求1-8任一项所述的配准融合方法。
11.一种计算机存储介质,其特征在于,存储有计算机程序,所述计算机程序能够被处理器执行以实现如权利要求1-9任一项所述的图像配准融合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111271584.2A CN114219840A (zh) | 2021-10-29 | 2021-10-29 | 图像配准融合方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111271584.2A CN114219840A (zh) | 2021-10-29 | 2021-10-29 | 图像配准融合方法、装置及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114219840A true CN114219840A (zh) | 2022-03-22 |
Family
ID=80696257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111271584.2A Pending CN114219840A (zh) | 2021-10-29 | 2021-10-29 | 图像配准融合方法、装置及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114219840A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998221A (zh) * | 2022-05-13 | 2022-09-02 | 杭州汇萃智能科技有限公司 | 一种双光融合热熔胶涂胶在线检测方法、系统及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017147556A (ja) * | 2016-02-16 | 2017-08-24 | 大日本印刷株式会社 | 撮影システム |
CN109191417A (zh) * | 2018-09-11 | 2019-01-11 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性检测与改进双通道的自适应融合方法及装置 |
CN111723815A (zh) * | 2020-06-23 | 2020-09-29 | 中国工商银行股份有限公司 | 模型训练方法、图像处理方法、装置、计算机系统和介质 |
CN112215876A (zh) * | 2020-10-22 | 2021-01-12 | 烟台艾睿光电科技有限公司 | 一种双光谱图像配准融合方法、装置、设备及存储介质 |
CN112529987A (zh) * | 2020-09-14 | 2021-03-19 | 武汉高德智感科技有限公司 | 一种手机终端红外图像和可见光图像融合方法及系统 |
CN113283411A (zh) * | 2021-07-26 | 2021-08-20 | 中国人民解放军国防科技大学 | 无人机目标检测方法、装置、设备和介质 |
-
2021
- 2021-10-29 CN CN202111271584.2A patent/CN114219840A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017147556A (ja) * | 2016-02-16 | 2017-08-24 | 大日本印刷株式会社 | 撮影システム |
CN109191417A (zh) * | 2018-09-11 | 2019-01-11 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性检测与改进双通道的自适应融合方法及装置 |
CN111723815A (zh) * | 2020-06-23 | 2020-09-29 | 中国工商银行股份有限公司 | 模型训练方法、图像处理方法、装置、计算机系统和介质 |
CN112529987A (zh) * | 2020-09-14 | 2021-03-19 | 武汉高德智感科技有限公司 | 一种手机终端红外图像和可见光图像融合方法及系统 |
CN112215876A (zh) * | 2020-10-22 | 2021-01-12 | 烟台艾睿光电科技有限公司 | 一种双光谱图像配准融合方法、装置、设备及存储介质 |
CN113283411A (zh) * | 2021-07-26 | 2021-08-20 | 中国人民解放军国防科技大学 | 无人机目标检测方法、装置、设备和介质 |
Non-Patent Citations (2)
Title |
---|
HUA XU: "the implement of real time fusion of infrared and visible light video images based on opencv", IEEE, 10 March 2016 (2016-03-10) * |
龙勇志: "红外与可见光图像配准与融合算法研究", 中国优秀硕士学位论文全文数据库信息科技辑, 15 July 2020 (2020-07-15) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998221A (zh) * | 2022-05-13 | 2022-09-02 | 杭州汇萃智能科技有限公司 | 一种双光融合热熔胶涂胶在线检测方法、系统及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111885294B (zh) | 一种拍摄方法、装置与设备 | |
CN111028189A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2019042216A1 (zh) | 图像虚化处理方法、装置及拍摄终端 | |
WO2021083059A1 (zh) | 一种图像超分重建方法、图像超分重建装置及电子设备 | |
US8059899B2 (en) | Image processing apparatus, image processing method, and computer product | |
CN115052104B (zh) | 图像处理方法、电子装置及非易失性计算机可读存储介质 | |
JP6812862B2 (ja) | 画像処理システム、撮像装置、画像処理方法及びプログラム | |
JP2010118040A (ja) | 魚眼補正と透視歪み削減の画像処理方法及び画像処理装置 | |
WO2021093534A1 (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
WO2010089836A1 (ja) | 画像処理装置 | |
US20220392027A1 (en) | Method for calibrating image distortion, apparatus, electronic device and storage medium | |
CN114219840A (zh) | 图像配准融合方法、装置及计算机存储介质 | |
CN113938578B (zh) | 一种图像虚化方法、存储介质及终端设备 | |
JP5966603B2 (ja) | 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体 | |
WO2020181641A1 (zh) | 图像放大方法及图像放大装置 | |
CN114449130B (zh) | 一种多摄像头的视频融合方法及系统 | |
CN115222603A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
KR20120069543A (ko) | 화상 처리 장치, 화상 처리 방법 및 촬상 장치 | |
JP5251684B2 (ja) | 画像処理装置 | |
CN113395434A (zh) | 一种预览图像虚化方法、存储介质及终端设备 | |
CN113971689A (zh) | 图像配准方法以及相关装置 | |
JP6273881B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20240292112A1 (en) | Image signal processor, operating method thereof, and application processor including the image signal processor | |
WO2022262599A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
JP2005136497A (ja) | 画像処理方法、画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |