CN112700382A - 一种图像接缝消除方法、装置及电子设备 - Google Patents
一种图像接缝消除方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112700382A CN112700382A CN202011540592.8A CN202011540592A CN112700382A CN 112700382 A CN112700382 A CN 112700382A CN 202011540592 A CN202011540592 A CN 202011540592A CN 112700382 A CN112700382 A CN 112700382A
- Authority
- CN
- China
- Prior art keywords
- difference value
- seam
- image
- value
- invalid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008030 elimination Effects 0.000 claims abstract description 50
- 238000003379 elimination reaction Methods 0.000 claims abstract description 50
- 238000012937 correction Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 206010040925 Skin striae Diseases 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 101100443238 Caenorhabditis elegans dif-1 gene Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种图像接缝消除方法、装置及电子设备,该方法包括:对红外焦平面探测器获取的图像进行非均匀性校正,得到校正后的图像;所述红外焦平面探测器的焦平面包括至少两个部分,所述至少两个部分拼接成所述焦平面,各部分采用独立的电路进行驱动;对于所述校正后的图像中的任一接缝,提取所述校正后的图像中该接缝两侧的像素的差异值;所述接缝与所述焦平面的所述至少两个部分中相邻的两个部分的拼接位置对应;依据所述差异值对该接缝进行消除。该方法可以实现红外拼接探测器的红外图像的接缝消除。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像接缝消除方法、装置及电子设备。
背景技术
非制冷红外焦平面阵列是指由红外敏感像元组成的阵列,该红外敏感像元能够吸收外界红外辐射并引起像元升温,升温引起热敏感材料阻值变化,并且这种阵列可以在非绝对零度的环境下工作。
非制冷红外焦平面探测器由于电路设计、制作工艺以及场景辐射等原因,焦平面上的每个像元的响应率很难保持一致,这就会产生图像非均匀性问题,因此需要进行非均匀性校正,来整体提高成像质量和清晰度。
目前,大面阵非制冷红外焦平面探测器(如1024*1280的百万级大面阵非制冷红外焦平面探测器)在进行电路设计时,将整个焦平面阵列均分为了上下两部分(可以将该探测器称为红外拼接探测器),分别使用独立的两个电路进行驱动,由于电路上自身的差异,会造成探测器上下两部分响应的非均匀性,从而使红外成像图上出现接缝现象。
此外,除电路设计因素影响外,设备整体的热稳定能力也与接缝的产生有密不可分的关系,在衬底温度发生漂移时,上下两部分的非均匀性会增大或减小,红外图像中的接缝现象也会逐渐明显。
然而,目前对于红外拼接探测器的研究大多集中在拼接工艺方式和电路设计上,对红外拼接探测器的成像缺陷研究的关注度较低,尚不存在针对红外拼接探测器的红外图像的接缝消除方法。
发明内容
有鉴于此,本申请提供一种图像接缝消除方法、装置及电子设备。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种图像接缝消除方法,包括:
对红外焦平面探测器获取的图像进行非均匀性校正,得到校正后的图像;所述红外焦平面探测器的焦平面包括至少两个部分,所述至少两个部分拼接成所述焦平面,各部分采用独立的电路进行驱动;
对于所述校正后的图像中的任一接缝,提取所述校正后的图像中该接缝两侧的像素的差异值;所述接缝与所述焦平面的所述至少两个部分中相邻的两个部分的拼接位置对应;
依据所述差异值对该接缝进行消除。
根据本申请实施例的第二方面,提供一种图像接缝消除方法,包括:
对待处理图像进行非均匀性校正,得到校正后的待处理图像;
对于所述校正后的待处理图像中的任一接缝,提取所述校正后的待处理图像中该接缝两侧的像素的差异值;
依据所述差异值对该接缝进行消除。
根据本申请实施例的第三方面,提供一种图像接缝消除装置,包括:
校正单元,用于对红外焦平面探测器获取的图像进行非均匀性校正,得到校正后的图像;所述红外焦平面探测器的焦平面包括至少两个部分,所述至少两个部分拼接成所述焦平面,各部分采用独立的电路进行驱动;
提取单元,用于对于所述校正后的图像中的任一接缝,提取所述校正后的图像中该接缝两侧的像素的差异值;所述接缝与所述焦平面的所述至少两个部分中相邻的两个部分的拼接位置对应;
处理单元,用于依据所述差异值对该接缝进行消除。
根据本申请实施例的第四方面,提供一种图像接缝消除装置,包括:
校正单元,用于对待处理图像进行非均匀性校正,得到校正后的待处理图像;
提取单元,用于对于所述校正后的待处理图像中的任一接缝,提取所述校正后的待处理图像中该接缝两侧的像素的差异值;
处理单元,用于依据所述差异值对该接缝进行消除。
根据本申请实施例的第五方面,提供一种电子设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现第一方面或第二方面的图像接缝消除方法。
根据本申请实施例的第六方面,提供一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现第一方面或第二方面的图像接缝消除方法。
根据本申请实施例的第七方面,提供一种计算机程序,该计算机程序存储于机器可读存储介质,并且当处理器执行该计算机程序时,促使处理器执行第一方面或第二方面的图像接缝消除方法。
本申请实施例的图像接缝消除方法,对焦平面包括至少两个部分,且各部分采用独立电路进行驱动的红外焦平面探测器,通过对该红外焦平面探测器获取的图像进行非均匀性校正,得到校正后的图像,对于校正后的图像中的任一接缝,提取校正后的图像中该接缝两侧的像素的差异值,并依据差异值对该接缝进行消除,实现了对焦平面的拼接导致的图像中的接缝的消除,优化了红外焦平面探测器的成像效果。
附图说明
图1是本申请一示例性实施例示出的一种图像接缝消除方法的流程示意图;
图2是本申请一示例性实施例示出的一种依据差异值对该接缝进行消除的流程示意图;
图3是本申请一示例性实施例示出的一种确定差异值中的有效差异值和无效差异值的流程示意图;
图4是本申请一示例性实施例示出的一种依据有效差异值对无效差异值进行替换的流程示意图;
图5是本申请一示例性实施例示出的一种依据替换后的差异值对该接缝进行消除的流程示意图;
图6是本申请一示例性实施例示出的一种图像接缝消除方法的流程示意图;
图7A是本申请一示例性实施例示出的一种存在接缝的红外图像的示意图;
图7B是本申请一示例性实施例示出的一种原始图像与其对应的目标背景分割效果示意图;
图7C是本申请一示例性实施例示出的一种接缝消除后的红外图像中的竖纹现象示意图;
图7D是本申请一示例性实施例示出的一种红外图像接缝消除效果示意图;
图7E和图7F是本申请示例性实施例示出的存在接缝的图像的示意图;
图8是本申请一示例性实施例示出的一种衬底温度与探测器响应之间的关系示意图;
图9是本申请一示例性实施例示出的一种对图像进行目标背景分割得到目标背景二值图的流程示意图;
图10是本申请一示例性实施例示出的一种图像接缝消除装置的结构示意图;
图11是本申请一示例性实施例示出的一种图像接缝消除装置的结构示意图;
图12是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1,为本申请实施例提供的一种图像接缝消除方法的流程示意图,如图1所示,该图像接缝消除方法可以包括以下步骤:
需要说明的是,本申请实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
步骤S100、对红外焦平面探测器获取的图像进行非均匀性校正,并提取图像接缝的原始差异值,该红外焦平面探测器的焦平面包括至少两个部分,该至少两个部分拼接成焦平面,各部分采用独立的电路进行驱动。
本申请实施例中,对于焦平面包括至少两个部分,且各部分采用独立电路进行驱动的红外焦平面探测器,如上文中提及的大面阵非制冷红外焦平面探测器,其获取到的图像对应焦平面的拼接位置会存在接缝,影响图像成像效果。
为了优化通过该类型的红外焦平面探测器获取的图像成像效果,需要对通过该类型的红外焦平面探测器获取到的图像进行接缝消除处理。
考虑到红外焦平面探测器由于电路设计、制作工艺以及场景辐射等原因,焦平面上的每个像元的响应率很难保持一致,从而导致图像非均匀性问题,因此,对于红外焦平面探测器获取到的图像,需要进行非均匀性校正,来整体提高成像质量和清晰度。
示例性的,可以依次通过对红外焦平面探测器获取到的图像进行两点校正、打坏点、时域滤波等处理,实现对红外焦平面探测器获取到的图像的非均匀性校正。
步骤S110、对于校正后的图像中的任一接缝,提取校正后的图像中该接缝两侧的像素的差异值;图像中的接缝与焦平面的上述至少两个部分中相邻的两个部分的拼接位置对应。
本申请实施例中,对于校正后的图像中的任一接缝,可以提取该校正后的图像中该接缝两侧的像素的差异值。
举例来说,假设校正后的图像的第i1行与第i2行之间存在接缝(|i1-i2|=1),则校正后的图像该接缝的差异值为第i1行中各像素点与第i2行中同列像素点的像素值之间的差值,例如,第i1行中第1列的像素点的像素值与第i2行第1列的像素点的像素值之间的差值…第i1行第m列的像素点的像素值与第i2行第m列的像素点的像素值之间的差值。
步骤S120、依据所提取的差异值对该接缝进行消除。
本申请实施例中,对于校正后的图像中的任一接缝,可以依据所提取的该接缝两侧的像素的差异值,对该接缝进行消除。
例如,对于接缝两侧的图像中像素值较小的一侧,可以对该侧各列的像素值加上该列像素对应的差异值;或者,对于接缝两侧的图像中像素值较高的一侧,可以对该侧各列的像素值减去该列像素对应的差异值,其具体实现可以在下文中结合具体实例进行说明。
需要说明的是,在本申请实施例中,对于焦平面包括3个或3个以上部分的红外焦平面探测器,其获取到的图像中会存在多个接缝,在针对各接缝进行消除时,需要保证各部分图像(图像中的接缝将图像划分为多个部分)采用统一的参考基准。
举例来说,以图7E所示图像为例,假设图像中存在2条接缝(焦平面包括3部分),在进行接缝消除时,可以按照上述方式分别确定各接缝两侧的像素的差异值,当依据该差异值进行接缝消除时,可以以中间部分图像为参考基准对上、下两部分图像进行补偿,即保持中间部分图像的像素值不变,对上、下两部分图像的像素值进行调整,保证整体图像的协调性,优化图像成像效果。
又举例来说,以图7F所示的图像为例,假设图像中存在呈“十字形”的4条接缝(焦平面包括4部分)。
在进行接缝消除时,可以按照上述方式分别确定接缝1两侧的像素的差异值以及接缝2两侧的像素的差异值,并依据所确定的差异值,以第1部分(左上角)图像为基准,分别对第2部分(右上角)图像和第3部分(左下角)图像进行补偿;然后,再确定接缝3两侧的像素的差异值,并依据所确定的差异值,以第2部分图像为基准,对第4部分图像(右下角)进行补偿,或者,确定接缝4两侧的像素的差异值,并依据所确定的差异值,以第3部分图像为基准,对第4部分图像进行补偿。
或者,在进行接缝消除时,可以按照上述方式分别确定接缝1两侧的像素的差异值以及接缝4两侧的像素的差异值,并依据所确定的差异值,以第1部分图像为基准对第2部分图像进行补偿,以及,以第3部分图像为基准对第4部分图像为基准;此时,第1部分图像和第2部分图像可以作为同一部分图像(如称为上部分图像),第3部分图像和第4部分图像可以作为同一部分图像(如称为下部分图像),然后,可以按照上述方式分别确定接缝2和接缝3两侧的像素的差异值,并依据所确定的差异值,以上部分图像为基准对下部分图像进行补偿,或者,以下部分图像为基准对上部分图像进行补偿。
可见,在图1所示方法流程中,对焦平面包括多部分的红外焦平面探测器获取到的图像,在进行非均匀性校正后,依据校正后的图像中接缝两侧的像素值的差异值,对接缝进行消除,优化了图像成像效果。
在一些实施例中,如图2所示,步骤S120中,依据差异值对该接缝进行消除,可以通过以下步骤实现:
步骤S121、对校正后的图像进行目标与背景分割,并依据分割结果确定差异值中的有效差异值和无效差异值。
步骤S122、依据有效差异值对无效差异值进行替换,以得到替换后的差异值。
步骤S123、依据替换后的差异值对该接缝进行消除。
示例性的,考虑到上述图像接缝消除方案是通过依据接缝两侧的像素点的像素值之间的差异对图像进行补偿实现的,而当场景中心存在小尺寸的过亮目标或当场景接缝上正好是两个亮度相差较大的不同物体时,依据接缝两侧的像素的差异值进行补偿会对其他背景部分产生影响,出现亮或暗的宽竖纹,因此,对图像进行目标背景分离,并依据背景部分接缝处的像素差异进行接缝消除,可以优化接缝消除的效果。
相应地,可以通过对校正后的图像进行目标与背景分割,并依据分割结果确定步骤S110中确定的差异值中的有效差异值和无效差异值。
示例性的,可以使用最大类间方差法(简称OTSU)实现图像的目标背景分割,其具体实现可以在下文中结合具体实例进行说明,本申请实施例在此不做赘述。
在一个示例中,对于步骤S110中提取的接缝两侧的像素的差异值中的任一差异值,当该差异值对应的接缝两侧的两个像素点均为背景时,该差异值为有效差异值;否则,该差异值为无效差异值。
在一个示例中,如图3所示,步骤S121中,对校正后的图像进行目标与背景分割,并依据分割结果确定差异值中的有效差异值和无效差异值,可以通过以下步骤实现:
步骤S1211、对校正后的图像进行目标与背景分割,得到目标背景二值图。
步骤S1212、对于任一差异值,当该差异值对应的两个像素点在目标背景二值图中的值均为1时,确定该差异值为有效差异值;否则,确定该差异值为无效差异值。
示例性的,可以通过对校正后的图像进行目标与背景分割,得到目标背景二值图。
在该目标背景二值图中,背景处的像素点(本文中称为第一类型像素点)对应的值为1,目标处的像素点(本文中称为第二类型像素点)对应的值为0。
对于任一差异值,当该差异值对应的两个像素点(接缝两侧相邻的同一列的两个像素点)在目标背景二值图中的值均为1,即该两个像素点均为背景时,确定该差异值为有效差异值;否则,确定该差异值为无效差异值。
例如,该两个像素点中任一像素点在目标背景二值图中的值为0(该像素点为目标),或者,该两个像素点在目标背景二值图中的值均为0(该两个像素点均为目标)时,确定该差异值为无效差异值。
当确定了有效差异值和无效差异值时,可以依据有效差异值对无效差异值进行替换,以得到替换后的差异值,并依据替换后的差异值对接缝进行消除,从而避免接缝消除后的图像中出现宽竖纹,进一步优化图像成像效果。
在一个示例中,如图4所示,步骤S122中,依据有效差异值对无效差异值进行替换,可以通过以下步骤实现:
步骤S1221、确定有效差异值的平均值。
步骤S1222、将无效差异值替换为有效差异值的平均值。
示例性的,当按照上述方式确定了差异值中的有效差异值和无效差异值时,可以确定各有效差异值的平均值,并将无效差异值替换为有效差异值的平均值。
举例来说,假设步骤S110中提取到的差异值包括dif1、dif2、…、dif1280,其中,dif1、dif2、…dif1200为有效差异值,dif1201、dif1202、…、dif1280为无效差异值,则可以确定有效差异值的平均值为:
dif_ave=(dif1+dif2+…+dif1200)/1200
进而,可以分别将dif1201、dif1202、…、dif1280等无效差异值中的任一差异值替换为dif_ave。
在一个示例中,如图5所示,步骤S123中,依据替换后的差异值对该接缝进行消除,可以通过以下步骤实现:
步骤S1231、对替换后的差异值进行平滑滤波,以得到滤波后的差异值。
步骤S1232、依据滤波后的差异值对该接缝进行消除。
示例性的,考虑到若简单地使用有效差异值替换无效差异值,则可能会由于差异补偿值不连续导致接缝消除后的图像中存在细竖纹的现象,影响图像成像质量,因此,在按照上述方式进行了差异值替换后,可以对替换后的差异值进行平滑滤波,以提高差异补偿值的连续性,进而,优化接缝消除后的图像的成像效果。
相应地,当按照步骤S122中描述的方式得到了替换后的差异值时,可以对替换后的差异值进行平滑滤波,以得到滤波后的差异值,并依据滤波后的差异值对该接缝进行消除,以避免接缝消除后的图像中出现细竖纹,进一步优化图像成像效果。
示例性的,可以依据预设滤波窗口,对替换后的差异值进行移动平滑滤波,其具体实现可以在下文中结合具体实例进行说明,本申请实施例在此不做赘述。
需要说明的是,对差异值进行移动平滑滤波时,需要选择合适的窗口大小,若窗口过小,则差异补偿值不连续,会出现严重的细竖纹现象;若窗口过大,则基于最终差异值进行接缝消除后,图像局部还是会存在分层,影响接缝消除效果。
在一个示例中,对于1024*1280的图像,窗口大小可以为1*55。
在一些实施例中,上述差异值为n元一维向量,n为步骤S100中获取到的图像的列数,步骤S110中提取的接缝两侧的像素的差异值中第j个值为I(i1,j)减去I(i2,j),I(i1,j)为校正后的图像的第i1行第j列的像素点的像素值,I(i2,j)为校正后的图像的第i2行第j列的像素点的像素值,第i1行归属于校正后的图像的第一部分,i2行归属于校正后的图像的第二部分,图像接缝为第一部分与第二部分之间的接缝,且|i1-i2|=1。
步骤S120中,依据差异值对该接缝进行消除,可以包括:
对于校正后的图像的第二部分中第j列的任一像素点,将该像素点的像素值加上最终差异值中第j个值;或,
对于校正后的图像的第一部分中第j列的任一像素点,将该像素点的像素值减去最终差异值中第j个值。
示例性的,当上述差异值是通过接缝两侧第一部分中的像素点的像素值减去第二部分中的像素点的像素值得到时,在按照上述方式确定了差异值时,可以依据该差异值对第一部分图像中的像素点的像素值或第二部分图像中的像素点的像素值进行补偿。
例如,将第二部分任一列的像素点的像素值加上对应列的差异值,或者,将第一部分任一列的像素点的像素值减去对应列的差异值。
需要说明的是,在确定了差异值时,也可以通过对第一部分图像中的像素点的像素值和第二部分图像中的像素点的像素值进行补偿。
例如,假设差异值中的第j个值(对应图像第j列像素)为10,则可以将第一部分中第j列的任一像素点的像素值减去x,然后,将第二部分中第j列的任一像素点加上(10-x);0<x<10。
请参见图6,为本申请实施例提供的一种图像接缝消除方法的流程示意图,如图6所示,该图像接缝消除方法可以包括以下步骤:
步骤S600、对待处理图像进行非均匀性校正,得到校正后的待处理图像。
示例性的,待处理图像并不特指某一固定的图像,而是可以指代任一需要进行接缝消除的图像,例如,通过上述方法实施例中描述的红外焦平面探测器获取到的图像。
示例性的,待处理图像为待处理红外图像。
本申请实施例中,步骤S600的实现可以参见上述实施例中相关描述,本申请实施例对此不做赘述。
步骤S610、对于校正后的待处理图像中的任一接缝,提取该校正后的待处理图像中该接缝两侧的像素的差异值。
步骤S620、依据差异值对该接缝进行消除。
本申请实施例中,步骤S610~步骤S620的实现可以参见上述实施例中相关描述,本申请实施例对此不做赘述。
在一些实施例中,步骤S620中,依据差异值对该接缝进行消除,可以包括:
对校正后的待处理图像进行目标与背景分割,并依据分割结果确定差异值中的有效差异值和无效差异值;
依据有效差异值对所述无效差异值进行替换,以得到替换后的差异值;
依据替换后的差异值对该接缝进行消除。
示例性的,考虑到图像接缝消除方案是通过依据接缝两侧的像素点的像素值之间的差异对图像进行补偿实现的,而当场景中心存在小尺寸的过亮目标或当场景接缝上正好是两个亮度相差较大的不同物体时,依据接缝两侧的像素的差异值进行补偿会对其他背景部分产生影响,出现亮或暗的宽竖纹,因此,对图像进行目标背景分离,并依据背景部分接缝处的像素差异进行接缝消除,可以优化接缝消除的效果。
相应地,可以通过对校正后的待处理图像进行目标与背景分割,并依据分割结果确定步骤S610中确定的差异值中的有效差异值和无效差异值。
示例性的,可以使用最大类间方差法(简称OTSU)实现校正后的待处理图像的目标背景分割,其具体实现可以在下文中结合具体实例进行说明,本申请实施例在此不做赘述。
在一个示例中,对于步骤S610中提取的接缝两侧的像素的差异值中的任一差异值,当该差异值对应的接缝两侧的两个像素点均为背景时,该差异值为有效差异值;否则,该差异值为无效差异值。
在一个示例中,上述对待处理图像进行目标与背景分割,并依据分割结果确定差异值中的有效差异值和无效差异值,可以包括:
对校正后的图像进行目标与背景分割,得到目标背景二值图;
对于任一差异值,当该差异值对应的两个像素点在目标背景二值图中的值均为1时,确定该差异值为有效差异值;否则,确定该差异值为无效差异值。
示例性的,可以通过对校正后的待处理图像进行目标与背景分割,得到目标背景二值图。
在该目标背景二值图中,背景处的像素点(本文中称为第一类型像素点)对应的值为1,目标处的像素点(本文中称为第二类型像素点)对应的值为0。
对于任一差异值,当该差异值对应的两个像素点(接缝两侧相邻的同一列的两个像素点)在目标背景二值图中的值均为1,即该两个像素点均为背景时,确定该差异值为有效差异值;否则,确定该差异值为无效差异值。
例如,该两个像素点中任一像素点在目标背景二值图中的值为0(该像素点为目标),或者,该两个像素点在目标背景二值图中的值均为0(该两个像素点均为目标)时,确定该差异值为无效差异值。
当确定了有效差异值和无效差异值时,可以依据有效差异值对无效差异值进行替换,以得到替换后的差异值,并依据替换后的差异值对接缝进行消除,从而避免接缝消除后的图像中出现宽竖纹,进一步优化图像成像效果。
在一个示例中,上述依据有效差异值对无效差异值进行替换,可以包括:
确定有效差异值的平均值;
将无效差异值替换为有效差异值的平均值。
示例性的,当按照上述方式确定了差异值中的有效差异值和无效差异值时,可以确定各有效差异值的平均值,并将无效差异值替换为有效差异值的平均值。
在一个示例中,上述依据替换后的差异值对该接缝进行消除,可以包括:
对替换后的差异值进行平滑滤波,以得到滤波后的差异值;
依据滤波后的差异值对该接缝进行消除。
示例性的,考虑到若简单地使用有效差异值替换无效差异值,则可能会由于差异补偿值不连续导致接缝消除后的图像中存在细竖纹的现象,影响图像成像质量,因此,在按照上述方式进行了差异值替换后,可以对替换后的差异值进行平滑滤波,以提高差异补偿值的连续性,进而,优化接缝消除后的图像的成像效果。
相应地,当得到了替换后的差异值时,可以对替换后的差异值进行平滑滤波,以得到滤波后的差异值,并依据滤波后的差异值对该接缝进行消除,以避免接缝消除后的图像中出现细竖纹,进一步优化图像成像效果。
示例性的,可以依据预设滤波窗口,对替换后的差异值进行移动平滑滤波,其具体实现可以在下文中结合具体实例进行说明,本申请实施例在此不做赘述。
需要说明的是,对差异值进行移动平滑滤波时,需要选择合适的窗口大小,若窗口过小,则差异补偿值不连续,会出现严重的细竖纹现象;若窗口过大,则基于最终差异值进行接缝消除后,图像局部还是会存在分层,影响接缝消除效果。
在一个示例中,对于1024*1280的图像,窗口大小可以为1*55。
在一些实施例中,上述差异值为n元一维向量,n为待处理图像的列数,步骤S610中提取的接缝两侧的像素的差异值中第j个值为I(i1,j)减去I(i2,j),I(i1,j)为校正后的待处理图像的第i1行第j列的像素点的像素值,I(i2,j)为校正后的待处理图像的第i2行第j列的像素点的像素值,第i1行归属于校正后的待处理图像的第一部分,i2行归属于校正后的待处理图像的第二部分,图像接缝为第一部分与第二部分之间的接缝,且|i1-i2|=1。
步骤S620中,依据差异值对该接缝进行消除,可以包括:
对于校正后的待处理图像的第二部分中第j列的任一像素点,将该像素点的像素值加上最终差异值中第j个值;或,
对于校正后的待处理图像的第一部分中第j列的任一像素点,将该像素点的像素值减去最终差异值中第j个值。
示例性的,当上述差异值是通过接缝两侧第一部分中的像素点的像素值减去第二部分中的像素点的像素值得到时,在按照上述方式确定了差异值时,可以依据该差异值对第一部分图像中的像素点的像素值或第二部分图像中的像素点的像素值进行补偿。
例如,将第二部分任一列的像素点的像素值加上对应列的差异值,或者,将第一部分任一列的像素点的像素值减去对应列的差异值。
需要说明的是,在确定了差异值时,也可以通过对第一部分图像中的像素点的像素值和第二部分图像中的像素点的像素值进行补偿。
例如,假设差异值中的第j个值(对应图像第j列像素)为10,则可以将第一部分中第j列的任一像素点的像素值减去x,然后,将第二部分中第j列的任一像素点加上(10-x);0<x<10。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
在该实施例中,以1024*1280的百万级大面阵非制冷红外焦平面探测器(简称红外拼接探测器)的红外图像接缝消除为例。
红外拼接探测器在进行两点非均匀性校正后,成像图上存在类似“接缝”的非均匀性,其示意图可以如图7A所示。造成这种现象的原因主要有以下两点:
其一,红外拼接探测器在进行电路设计时,将整个焦平面阵列均分为了512×1280上下两部分,分别使用独立的两个电路进行驱动,由于电路上自身的差异,会造成探测器上下两部分响应的非均匀性,从而使红外成像图上出现接缝现象。
其二,除电路设计因素影响外,设备整体的热稳定能力也与接缝的产生有密不可分的关系,在衬底温度发生漂移时,上下两部分的非均匀性会增大或减小,红外图像中的接缝现象也会逐渐明显。
示例性的,衬底温度与探测器响应之间的关系示意图可以如图8所示。其中,up和down分别表示探测器上半块和下半块的像元响应曲线。随衬底温度变化,响应曲线有不同的走势,导致差异越来越大,消除接缝所需的校正量C也随时间、温度、环境等变化。
本申请提出一种红外拼接探测器的接缝消除方案,通过求取上下两部分的有效差值来弥补由温漂效应带来的响应不一致现象,对图像整体的差异进行校正。
该方案主要包括目标背景分割、差异提取和补偿等处理,主要流程包括:首先对探测器数据(红外图像)进行非均匀性校正,并提取原始差异值;然后,对校正后的图像进行目标背景分割,得到目标背景二值图,以确定无效差异值,将无效差异值排除,使用有效差值均值替换;对有效差值进行移动平滑滤波,去除竖纹等其他噪声影响;最后,根据平滑后的差异值对原始数据进行补偿,通过筛选差异值排除了过亮、过暗物体的干扰,补偿后的数据消除了拼接缝,改善了图像整体的视觉效果。
下面对上述流程进行具体说明:
1、目标与背景分割
考虑到当场景中心存在小尺寸的过亮目标或当场景接缝上正好是两个亮度相差较大的不同物体时,依据该部分接缝处的像素点的像素值之间的差异进行补偿会对其他背景部分产生影响,出现亮或暗的宽竖纹,因此,需要将该部分提取出来,不参与后续的补偿值计算。
示例性的,可以采用最大类间方差法(OTSU)分割目标和背景,该算法不受图像亮度和对比度的影响,按照图像的灰度特性,将图像分成背景和目标两部分。
通过将图像直方图的灰度像素依据某一阈值分为背景和目标两类,计算两类的类间方差,通过不断迭代阈值T,找到使类间方差最大的T。由于方差是灰度分布均匀性的一种度量,背景和目标的类间方差越大,说明构成图像两部分的差别越大,当部分目标错分为背景或部分背景错分为目标都会导致两部分的方差变小,因此,最大类间方差对应的阈值T为对图像进行目标和背景分割的最优阈值。
举例来说,对于图像I(x,y),假设图像的大小为m*n(该实施例中,m*n可以为1204*1280),目标和背景的分割阈值记作T。
图像中像素的灰度值小于等于阈值T的像素属于背景,个数记作N0,平均灰度为μ0。像素的灰度值大于阈值T的像素属于目标,个数记作N1,平均灰度为μ1。则背景和目标占比如下:
设图像的总平均灰度μ,那么类间方差g为:
g=w0×(μ0-μ)2+w1×(μ1-μ)2
而图像总灰度μ=ω0×μ0+ω1×μ1,联合上式,得到:
g=w0×w1×(μ0-μ)2
基于初始化的阈值T,利用阈值迭代,得到最优目标背景分割的最优阈值T,基于最优阈值T对图像进行二分类,得到目标背景二值图:
像素值小于等于T的为背景,参与后续运算,置为1;像素值大于T的为目标,不参与有效差值的计算,置为0。
示例性的,对图像进行目标背景分割得到目标背景二值图的流程示意图可以如图9所示。
如图9所示,对图像进行目标背景分割得到目标背景二值图的实现流程可以包括:
S901、确定校正后的图像的直方图hist(i),并依据该直方图hist(i)计算图像均值(mean)。
示例性的,i=1,2,3,…,Nbins。
Nbins为原始数据最大值(即原始图像中的最大像素值,也可以称为灰度级)。
S903、依据阈值T对校正后的图像进行目标与背景分割,并分别确定图像中目标与背景的占比。
示例性的,当确定了阈值T时,可以将图像中像素的灰度值小于该阈值T的像素确定为背景;将像素的灰度值大于该阈值T的像素确定为目标。
示例性的,对于图像I(x,y),假设图像的大小为m*n(该实施例中,m*n可以为1204*1280)。
图像中像素的灰度值小于等于阈值T(即I≤T)的像素属于背景,个数记作N0,平均灰度(可以称为背景均值)为μ0。像素的灰度值大于阈值T(即I>T)的像素属于目标,个数记作N1,平均灰度(可以称为目标均值)为μ1。则背景占比(记为ω0)和目标占比(记为ω1)如下:
示例性的,ω0+ω1=1,即ω1=1-ω0。
S904、依据目标与背景的占比确定类间方差(记为g)。
示例性的,假设图像的总平均灰度μ,则类间方差g为:
g=w0×(μ0-μ)2+w1×(μ1-μ)2
而图像总灰度μ=ω0×μ0+ω1×μ1,联合上式,得到:
g=w0×w1×(μ0-μ)2
S905、确定所确定的类间方差是否大于预设的类间方差的初始值。若是,则转至步骤S906;否则,转至步骤S907。
S906、将类间方差的值更新为所确定的类间方差(即令g0=g),并转至步骤S907。
S907、对阈值进行迭代(在当前阈值的基础上加1,即令T=T+1),并转至步骤S903。
示例性的,假设初始化类间方差为g0=0,若步骤S904中确定的类间方差g>g0,则将g0的取值更新为g,并将当前使用的阈值T的值更新为T+1,并重新执行步骤S903~S905。
S908、确定T是否大于等于Nbins;若是,则转至步骤S909;否则,转至步骤S907。
S909、将背景置为1,目标置为0,目标背景二值图,完成目标背景分割。
示例性的,目标背景分割效果可以如图7B所示。
需要说明的是,目标背景分割过程中统计的直方图hist(i)可在后续直方图均衡中复用。
2、原始差值提取
dif=I(512,:)-I(513,:)
dif为原始差异值,I(x,:)表示第x行像素点的原始像素值。
其中,对于1024*1280的红外拼接探测器,采集到的红外图像的接缝为第512行与第513行之间的接缝,可以通过这两行的像素点的像素值差异确定初始差异值。
3、有效差异值确定
根据步骤1中目标背景二值图中bin得到有效标志位:
即接缝上下的像素点均为背景时,该两个像素点对应的差异值为有效差异值;否则,为无效差异值;其中,flag为1表征有效差异值,flag为0表征无效差异值。
确定有效差异值的均值:
即将有效差异值的和值与有效差异值的个数的比值,确定为有效差异值的均值。
则有效差异值替换完成后的差异值为:
对差值进行筛选是为了避免亮目标引起的校正后宽竖纹的出现,如图7C中的(a)所示。
4、对替换完成后的差异值进行平滑滤波
以移动平滑滤波为例,假设替换完成后的差异值为x={x1,x2,x3,…xn},长度为n,平滑滤波后输出的差异值(即最终差异值)为y={y1,y2,y3,…yn},若取滤波窗口为1×W(W为奇数),设p=(W-1)/2,则:
需要说明的是,若滤波窗口过小,则差异补偿值不连续,会出现严重的细竖纹现象,如图7C中的(b)所示;若窗口过大,则基于最终差异值进行接缝消除后,图像局部还是会存在分层,影响接缝消除效果。
示例性的,取窗口1×55,计算得到平滑滤波后的最终差异值(也可以称为补偿值)dif'。
5、对原始图像数据进行补偿
消除接缝后的图像中各像素点的像素值为:
其中,Iup为图像上半部分像素点的原始像素值,Idown为图像下半部分像素点的原始像素值,outup为消除接缝后的图像上半部分像素点的像素值,outdown为消除接缝后的图像下半部分像素点的像素值。
其中,对于下半部分图像每一列的像素点,可以将该像素点的像素值加上该列的补偿值。
需要说明的是,由于在确定差异值时,是通过接缝处上半部分图像的像素点的像素值减去下半部分图像对应像素点的像素值的方式确定的,因此,在补偿时,可以通过将下半部分的像素点的像素值加上对应的补偿值的方式实现补偿,或者,也可以通过将上半部分的像素点的像素值减去对应的补偿值的方式实现补偿。
但应该认识到,在确定差异值时,也可以通过接缝处下半部分图像的像素点的像素值减去上半部分图像对应像素点的像素值的方式确定,在该情况下,在补偿时,可以通过将下半部分的像素点的像素值减去对应的补偿值的方式实现补偿,或者,也可以通过将上半部分的像素点的像素值加上对应的补偿值的方式实现补偿,其具体实现在此不做赘述。
采用上述方案,可有效消除拼接探测器的接缝现象,从而改善图像效果,效果图可以如图7D所示。
需要说明的是,在本申请实施例中,按照上述方式对红外拼接探测器采集的红外图像进行接缝消除后,还可以对处理后的图像分别进行上下块去竖纹、整体去横纹、图像增强以及直方图均衡等一种或多种处理,以进一步优化图像效果,其具体实现在此不再赘述。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图10,为本申请实施例提供的一种图像接缝消除装置的结构示意图,如图10所示,该图像接缝消除装置可以包括:
校正单元1010,用于对红外焦平面探测器获取的图像进行非均匀性校正,得到校正后的图像;所述红外焦平面探测器的焦平面包括至少两个部分,所述至少两个部分拼接成所述焦平面,各部分采用独立的电路进行驱动;
提取单元1020,用于对于所述校正后的图像中的任一接缝,提取所述校正后的图像中该接缝两侧的像素的差异值;所述接缝与所述焦平面的所述至少两个部分中相邻的两个部分的拼接位置对应;
处理单元1030,用于依据所述差异值对该接缝进行消除。
在一些实施例中,所述处理单元1030依据所述差异值对该接缝进行消除,包括:
对所述校正后的图像进行目标与背景分割,并依据分割结果确定所述差异值中的有效差异值和无效差异值;
依据所述有效差异值对所述无效差异值进行替换,以得到替换后的差异值;
依据所述替换后的差异值对该接缝进行消除。
在一些实施例中,所述处理单元1030依据所述替换后的差异值对该接缝进行消除,包括:
对所述替换后的差异值进行平滑滤波,以得到滤波后的差异值;
依据所述滤波后的差异值对该接缝进行消除。
在一些实施例中,对于所述差异值中的任一差异值,当该差异值对应的接缝两侧的两个像素点均为背景时,该差异值为有效差异值;否则,该差异值为无效差异值。
在一些实施例中,所述处理单元1030依据所述有效差异值对所述无效差异值进行替换,包括:
确定所述有效差异值的平均值;
将所述无效差异值替换为所述有效差异值的平均值。
请参见图11,为本申请实施例提供的一种图像接缝消除装置的结构示意图,如图11所示,该图像接缝消除装置可以包括:
校正单元1110,用于对待处理图像进行非均匀性校正,得到校正后的待处理图像;
提取单元1120,用于对于所述校正后的待处理图像中的任一接缝,提取所述校正后的待处理图像中该接缝两侧的像素的差异值;
处理单元1130,用于依据所述差异值对该接缝进行消除。
在一些实施例中,所述处理单元1130依据所述差异值对该接缝进行消除,包括:
对所述校正后的待处理图像进行目标与背景分割,并依据分割结果确定所述差异值中的有效差异值和无效差异值;
依据所述有效差异值对所述无效差异值进行替换,以得到替换后的差异值;
依据所述替换后的差异值对该接缝进行消除。
在一些实施例中,所述处理单元1130依据所述替换后的差异值对该接缝进行消除,包括:
对所述替换后的差异值进行平滑滤波,以得到滤波后的差异值;
依据所述滤波后的差异值对该接缝进行消除。
在一些实施例中,对于所述差异值中的任一差异值,当该差异值对应的接缝两侧的两个像素点均为背景时,该差异值为有效差异值;否则,该差异值为无效差异值。
在一些实施例中,所述处理单元1130依据所述有效差异值对所述无效差异值进行替换,包括:
确定所述有效差异值的平均值;
将所述无效差异值替换为所述有效差异值的平均值。
本申请实施例提供一种电子设备,包括处理器和存储器,其中,存储器存储有能够被所述处理器执行的机器可执行指令,处理器用于执行机器可执行指令,以实现上文描述的图像接缝消除方法。
请参见图12,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器1201、存储有机器可执行指令的存储器1202。处理器1201与存储器1202可经由系统总线1203通信。并且,通过读取并执行存储器1202中与图像接缝消除逻辑对应的机器可执行指令,处理器1201可执行上文描述的图像接缝消除方法。
本文中提到的存储器1202可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(RadomAccess Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
在一些实施例中,还提供了一种机器可读存储介质,如图12中的存储器1202,该机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现上文描述的图像接缝消除方法。例如,所述机器可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序,存储于机器可读存储介质,例如图12中的存储器1202,并且当处理器执行该计算机程序时,促使处理器1201执行上文中描述的图像接缝消除方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (15)
1.一种图像接缝消除方法,其特征在于,包括:
对红外焦平面探测器获取的图像进行非均匀性校正,得到校正后的图像;所述红外焦平面探测器的焦平面包括至少两个部分,所述至少两个部分拼接成所述焦平面,各部分采用独立的电路进行驱动;
对于所述校正后的图像中的任一接缝,提取所述校正后的图像中该接缝两侧的像素的差异值;所述接缝与所述焦平面的所述至少两个部分中相邻的两个部分的拼接位置对应;
依据所述差异值对该接缝进行消除。
2.根据权利要求1所述的方法,其特征在于,所述依据所述差异值对该接缝进行消除,包括:
对所述校正后的图像进行目标与背景分割,并依据分割结果确定所述差异值中的有效差异值和无效差异值;
依据所述有效差异值对所述无效差异值进行替换,以得到替换后的差异值;
依据所述替换后的差异值对该接缝进行消除。
3.根据权利要求2所述的方法,其特征在于,所述依据所述替换后的差异值对该接缝进行消除,包括:
对所述替换后的差异值进行平滑滤波,以得到滤波后的差异值;
依据所述滤波后的差异值对该接缝进行消除。
4.根据权利要求2所述的方法,其特征在于,对于所述差异值中的任一差异值,当该差异值对应的接缝两侧的两个像素点均为背景时,该差异值为有效差异值;否则,该差异值为无效差异值。
5.根据权利要求2所述的方法,其特征在于,所述依据所述有效差异值对所述无效差异值进行替换,包括:
确定所述有效差异值的平均值;
将所述无效差异值替换为所述有效差异值的平均值。
6.一种图像接缝消除方法,其特征在于,包括:
对待处理图像进行非均匀性校正,得到校正后的待处理图像;
对于所述校正后的待处理图像中的任一接缝,提取所述校正后的待处理图像中该接缝两侧的像素的差异值;
依据所述差异值对该接缝进行消除。
7.根据权利要求6所述的方法,其特征在于,所述依据所述差异值对该接缝进行消除,包括:
对所述校正后的待处理图像进行目标与背景分割,并依据分割结果确定所述差异值中的有效差异值和无效差异值;
依据所述有效差异值对所述无效差异值进行替换,以得到替换后的差异值;
依据所述替换后的差异值对该接缝进行消除。
8.根据权利要求7所述的方法,其特征在于,所述依据所述替换后的差异值对该接缝进行消除,包括:
对所述替换后的差异值进行平滑滤波,以得到滤波后的差异值;
依据所述滤波后的差异值对该接缝进行消除。
9.根据权利要求7所述的方法,其特征在于,对于所述差异值中的任一差异值,当该差异值对应的接缝两侧的两个像素点均为背景时,该差异值为有效差异值;否则,该差异值为无效差异值。
10.根据权利要求7所述的方法,其特征在于,所述依据所述有效差异值对所述无效差异值进行替换,包括:
确定所述有效差异值的平均值;
将所述无效差异值替换为所述有效差异值的平均值。
11.一种图像接缝消除装置,其特征在于,包括:
校正单元,用于对红外焦平面探测器获取的图像进行非均匀性校正,得到校正后的图像;所述红外焦平面探测器的焦平面包括至少两个部分,所述至少两个部分拼接成所述焦平面,各部分采用独立的电路进行驱动;
提取单元,用于对于所述校正后的图像中的任一接缝,提取所述校正后的图像中该接缝两侧的像素的差异值;所述接缝与所述焦平面的所述至少两个部分中相邻的两个部分的拼接位置对应;
处理单元,用于依据所述差异值对该接缝进行消除。
12.根据权利要求11所述的装置,其特征在于,所述处理单元依据所述差异值对该接缝进行消除,包括:
对所述校正后的图像进行目标与背景分割,并依据分割结果确定所述差异值中的有效差异值和无效差异值;
依据所述有效差异值对所述无效差异值进行替换,以得到替换后的差异值;
依据所述替换后的差异值对该接缝进行消除;
其中,所述处理单元依据所述替换后的差异值对该接缝进行消除,包括:
对所述替换后的差异值进行平滑滤波,以得到滤波后的差异值;
依据所述滤波后的差异值对该接缝进行消除;
和/或,
对于所述差异值中的任一差异值,当该差异值对应的接缝两侧的两个像素点均为背景时,该差异值为有效差异值;否则,该差异值为无效差异值;
和/或,
所述处理单元依据所述有效差异值对所述无效差异值进行替换,包括:
确定所述有效差异值的平均值;
将所述无效差异值替换为所述有效差异值的平均值。
13.一种图像接缝消除装置,其特征在于,包括:
校正单元,用于对待处理图像进行非均匀性校正,得到校正后的待处理图像;
提取单元,用于对于所述校正后的待处理图像中的任一接缝,提取所述校正后的待处理图像中该接缝两侧的像素的差异值;
处理单元,用于依据所述差异值对该接缝进行消除。
14.根据权利要求13所述的装置,其特征在于,所述处理单元依据所述差异值对该接缝进行消除,包括:
对所述校正后的待处理图像进行目标与背景分割,并依据分割结果确定所述差异值中的有效差异值和无效差异值;
依据所述有效差异值对所述无效差异值进行替换,以得到替换后的差异值;
依据所述替换后的差异值对该接缝进行消除;
其中,所述处理单元依据所述替换后的差异值对该接缝进行消除,包括:
对所述替换后的差异值进行平滑滤波,以得到滤波后的差异值;
依据所述滤波后的差异值对该接缝进行消除;
和/或,对于所述差异值中的任一差异值,当该差异值对应的接缝两侧的两个像素点均为背景时,该差异值为有效差异值;否则,该差异值为无效差异值;
和/或,所述处理单元依据所述有效差异值对所述无效差异值进行替换,包括:
确定所述有效差异值的平均值;
将所述无效差异值替换为所述有效差异值的平均值。
15.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求1-5或6-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011540592.8A CN112700382B (zh) | 2020-12-23 | 2020-12-23 | 一种图像接缝消除方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011540592.8A CN112700382B (zh) | 2020-12-23 | 2020-12-23 | 一种图像接缝消除方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112700382A true CN112700382A (zh) | 2021-04-23 |
CN112700382B CN112700382B (zh) | 2024-03-26 |
Family
ID=75509367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011540592.8A Active CN112700382B (zh) | 2020-12-23 | 2020-12-23 | 一种图像接缝消除方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112700382B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020114533A1 (en) * | 2000-12-14 | 2002-08-22 | Eastman Kodak Company | Adaptive process for removing streaks in multi-band digital images |
CN102708558A (zh) * | 2012-06-01 | 2012-10-03 | 惠州华阳通用电子有限公司 | 视频图像拼接装置、拼接方法以及视频监视系统 |
US20150172620A1 (en) * | 2013-12-16 | 2015-06-18 | National Chiao Tung University | Optimal dynamic seam adjustment system and method for image stitching |
CN105530443A (zh) * | 2015-12-17 | 2016-04-27 | 天津天地伟业数码科技有限公司 | 一种基于fpga的多通道ccd图像拼接缝消除方法 |
CN105931203A (zh) * | 2016-04-26 | 2016-09-07 | 成都市晶林科技有限公司 | 基于统计相对条纹去除法的红外图像条纹滤波方法 |
CN106780396A (zh) * | 2016-12-30 | 2017-05-31 | 上海集成电路研发中心有限公司 | 一种消除图像拼缝的方法 |
CN107967078A (zh) * | 2016-10-20 | 2018-04-27 | 南京仁光电子科技有限公司 | 一种拼接屏触控点的标定方法 |
WO2019052534A1 (zh) * | 2017-09-15 | 2019-03-21 | 腾讯科技(深圳)有限公司 | 图像拼接方法及装置、存储介质 |
CN111879412A (zh) * | 2020-08-03 | 2020-11-03 | 烟台艾睿光电科技有限公司 | 制冷型红外探测器的图像生成方法、装置及可读存储介质 |
CN111932478A (zh) * | 2020-08-10 | 2020-11-13 | 国科天成(北京)科技有限公司 | 一种非制冷红外焦平面的自适应非均匀校正方法 |
-
2020
- 2020-12-23 CN CN202011540592.8A patent/CN112700382B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020114533A1 (en) * | 2000-12-14 | 2002-08-22 | Eastman Kodak Company | Adaptive process for removing streaks in multi-band digital images |
CN102708558A (zh) * | 2012-06-01 | 2012-10-03 | 惠州华阳通用电子有限公司 | 视频图像拼接装置、拼接方法以及视频监视系统 |
US20150172620A1 (en) * | 2013-12-16 | 2015-06-18 | National Chiao Tung University | Optimal dynamic seam adjustment system and method for image stitching |
CN105530443A (zh) * | 2015-12-17 | 2016-04-27 | 天津天地伟业数码科技有限公司 | 一种基于fpga的多通道ccd图像拼接缝消除方法 |
CN105931203A (zh) * | 2016-04-26 | 2016-09-07 | 成都市晶林科技有限公司 | 基于统计相对条纹去除法的红外图像条纹滤波方法 |
CN107967078A (zh) * | 2016-10-20 | 2018-04-27 | 南京仁光电子科技有限公司 | 一种拼接屏触控点的标定方法 |
CN106780396A (zh) * | 2016-12-30 | 2017-05-31 | 上海集成电路研发中心有限公司 | 一种消除图像拼缝的方法 |
WO2019052534A1 (zh) * | 2017-09-15 | 2019-03-21 | 腾讯科技(深圳)有限公司 | 图像拼接方法及装置、存储介质 |
CN111879412A (zh) * | 2020-08-03 | 2020-11-03 | 烟台艾睿光电科技有限公司 | 制冷型红外探测器的图像生成方法、装置及可读存储介质 |
CN111932478A (zh) * | 2020-08-10 | 2020-11-13 | 国科天成(北京)科技有限公司 | 一种非制冷红外焦平面的自适应非均匀校正方法 |
Non-Patent Citations (5)
Title |
---|
HOU, Y等: "Radiometric calibration of Mars HiRISE high resolution imagery based on FPGA", INT. ARCH. PHOTOGRAMM. REMOTE SENS. SPATIAL INF. SCI. * |
周廷刚: "遥感彩色影像镶嵌拼接缝的消除方法研究", 计算机工程与应用, no. 36, pages 84 - 86 * |
杨超军等: "基于电阻阵拼接的红外场景生成方法研究", 红外技术, vol. 36, no. 06 * |
王军: "遥感图像拼接缝消除算法研究", 中国硕博论文全文库信息科技辑, no. 07 * |
郭栋梁等: "内河船舶安全系统中的红外图像拼接", 重庆工学院学报(自然科学版), vol. 23, no. 10 * |
Also Published As
Publication number | Publication date |
---|---|
CN112700382B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Agrawal et al. | A novel joint histogram equalization based image contrast enhancement | |
De et al. | Multi-focus image fusion using a morphology-based focus measure in a quad-tree structure | |
CA2515564C (en) | Method and apparatus for removing uneven brightness in an image | |
US8090214B2 (en) | Method for automatic detection and correction of halo artifacts in images | |
CN110648349A (zh) | 基于背景减除和连通区域算法的焊缝缺陷分割方法 | |
CN111161172B (zh) | 一种红外图像列向条纹消除方法、系统及计算机存储介质 | |
US20120314945A1 (en) | Apparatus and method for image processing | |
CN113870233B (zh) | 一种捆绑纱检测方法、计算机设备及存储介质 | |
JP5158202B2 (ja) | 画像補正装置および画像補正方法 | |
CN103400367A (zh) | 一种无参考型模糊图像质量评价方法 | |
CN112200826B (zh) | 一种工业弱缺陷分割方法 | |
CN110708568A (zh) | 一种视频内容突变检测方法及装置 | |
CN115578286A (zh) | 高动态范围的混合曝光成像方法和装置 | |
Seo | Image denoising and refinement based on an iteratively reweighted least squares filter | |
CN115908415A (zh) | 基于边缘的缺陷检测方法、装置、设备及存储介质 | |
KR100271261B1 (ko) | 화상데이터처리방법및화상데이터처리장치 | |
CN110175972B (zh) | 一种基于透射图融合的红外图像增强方法 | |
CN112700382A (zh) | 一种图像接缝消除方法、装置及电子设备 | |
Graham et al. | Blind restoration of space-variant Gaussian-like blurred images using regional PSFs | |
CN114998186A (zh) | 基于图像处理的铜始极片表面结疤缺陷检测方法及系统 | |
CN115049549A (zh) | 一种基于稳健估计的红外图像条状噪声去除方法 | |
CN114359183A (zh) | 图像质量评估方法及设备、镜头遮挡的确定方法 | |
JP4247993B2 (ja) | 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体 | |
Tseng et al. | Image fusion with contrast improving and feature preserving | |
Lee et al. | Multi-image high dynamic range algorithm using a hybrid camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |