CN114882332A - 一种基于图像融合的目标检测系统 - Google Patents

一种基于图像融合的目标检测系统 Download PDF

Info

Publication number
CN114882332A
CN114882332A CN202210633735.2A CN202210633735A CN114882332A CN 114882332 A CN114882332 A CN 114882332A CN 202210633735 A CN202210633735 A CN 202210633735A CN 114882332 A CN114882332 A CN 114882332A
Authority
CN
China
Prior art keywords
image
fusion
fused
visible light
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210633735.2A
Other languages
English (en)
Inventor
郑月节
张泽来
马明
陈国栋
李茜茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Fujite Electric Technology Co ltd
Original Assignee
Jiangsu Fujite Electric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Fujite Electric Technology Co ltd filed Critical Jiangsu Fujite Electric Technology Co ltd
Priority to CN202210633735.2A priority Critical patent/CN114882332A/zh
Publication of CN114882332A publication Critical patent/CN114882332A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像融合的目标检测系统，包括获取模块、预处理模块、图像融合模块和目标检测模块，获取模块用于获取红外图像和可见光图像，图像融合模块用于对预处理模块对红外图像和可见光图像进行处理获得的预处理后的红外图像和可见光图像进行图像融合处理，获得融合图像，目标检测模块用于判断融合图像中是否存在检测目标。在进行图像融合时，本发明通过构建协方差矩阵获得的融合权重获取第一中间图像，然后再考虑光线变化获得第二中间图像，基于第一中间图像和第二中间图像获得融合图像。较于单独的可见光图像或红外图像，本发明获得的融合图像质量更高，更有利于对检测目标进行正确的识别。

Description

一种基于图像融合的目标检测系统
技术领域
本发明涉及目标检测领域，尤其涉及一种基于图像融合的目标检测系统。
背景技术
现有技术中，在采用单一类型的图像进行目标检测时，往往会出现检测结果不够准确的问题。红外图像能够表示目标辐射的能量的大小，但缺少物体的轮廓、纹理等细节信息，而可见光图像在光线条件较好时，能够保留轮廓、纹理等信息，但是，可见光图像容易受到光照等因素的影响。因此，出现了通过将红外图像和可见光图像进行融合，然后再针对融合图像进行目标检测的方法。
现有的可见光图像和红外图像的融合过程中，一般是采用加权融合的方式对这两种图像进行融合，融合时的权重一般是由该领域技术人员的事先确定，之后一直采用同样的权重进行图像融合，显然，这样的设置方式并没有考虑到光线的变化对可见光图像中包含的细节信息的影响，从而使得在光线较差时，融合得到的图像质量较差，影响后续目标检测的结果的准确性。
发明内容
本发明的目的在于公开一种基于图像融合的目标检测系统，解决现有技术中，使用事先确定的融合权重对图像进行融合处理出现的，没有考虑光线变化对可见光图像中的影响，在光线较差时，融合得到的图像质量较差，影响后续目标检测的结果的准确性的问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于图像融合的目标检测系统，包括获取模块、预处理模块、图像融合模块和目标检测模块；
获取模块用于获取检测区域的红外图像infImg和可见光图像visImg；
预处理模块用于分别对红外图像infImg和可见光图像visImg进行图像预处理，获得预处理后的红外图像afInfImg和预处理后的可见光图像afVisImg；
图像融合模块用于对预处理后的红外图像afInfImg和预处理后的可见光图像afVisImg进行图像融合处理获得融合图像fusImg：
对预处理后的红外图像afInfImg进行小波分解处理，获得红外图像afInfImg对应的垂直方向、水平方向、对角线方向的高频小波系数图像hAfInfImgver、hAfInfImghor、hAfInfImgdia以及低频小波系数图像lAfInfImg；
对预处理后的可见光图像afVisImg进行小波分解处理，获得可见光图像afVisImg对应的垂直方向、水平方向、对角线方向的高频小波系数图像hAfVisImgver、hAfVisImghor、hAfVisImgdia以及低频小波系数图像lAfVisImg；
使用预设的融合规则对hAfInfImgver和hAfVisImgver进行图像融合处理，获得垂直方向的融合子图像fusSubImgver；
使用预设的融合规则对hAfInfImghor和hAfVisImghor进行图像融合处理，获得水平方向的融合子图像fusSubImghor；
使用预设的融合规则对hAfInfImgdia和hAfVisImgdia进行图像融合处理，获得对角线方向的融合子图像fusSubImgdia；
使用预设的融合规则对lAfInfImg和lAfVisImg进行图像融合处理，获得低频融合子图像lSubImg；
对fusSubImgver、fusSubImghor、fusSubImgdia和lSubImg进行小波重构，获得融合图像fusImg；
其中，所述预设的融合规则，包括：
对于红外图像infImg对应的待融合图像A和可见光图像visImg对应的待融合图像B，以待融合图像A为基准图像，获取待融合图像B对应的配准图像B'；
计算待融合图像A和配准图像B'之间的融合权重：
构建矩阵Z，
Figure BDA0003679686890000021
其中，xA,n表示待融合图像A中第n个像素点的像素值，xB',n表示配准图像B'中第n个像素点的像素值；n∈[1,N]，N表示像素点的总数；
基于待融合图像A和配准图像B'分别计算矩阵Z的协方差矩阵covMatA和协方差矩阵covMatB'；
分别获取covMatA和covMatB'的特征值matEigA和matEigB'；
计算待融合图像A的融合权重fusWeiA：
Figure BDA0003679686890000031
计算配准图像B'的融合权重fusWeiB'：
Figure BDA0003679686890000032
采用如下公式对待融合图像A和配准图像B'进行图像融合：
fusImgA,B',1＝fusWeiA×A+fusWeiB'×B'
Figure BDA0003679686890000033
Figure BDA0003679686890000034
式中，topPixVal表示fusImgA,B',1表示第一中间图像，fusImgA,B',2表示第二中间图像，fusImgA,B',fin表示可见光图像visImg对应的灰度图像中的灰度最大值，红外图像infImg对应的待融合图像A和可见光图像visImg对应的待融合图像B的融合图像；
目标检测模块用于对融合图像fusImg进行目标检测，判断融合图像fusImg中是否存在检测目标。
作为优选，
A∈{hAfInfImgver,hAfInfImghor,hAfInfImgdia,lAfInfImg}，
当A为hAfInfImgver时，B为hAfVisImgver；
当A为hAfInfImghor时，B为hAfVisImghor；
当A为hAfInfImgdia时，B为hAfVisImgdia；
当A为lAfInfImg时，B为lAfVisImg。
作为优选，基于图像融合的目标检测系统还包括目标识别模块，
目标识别模块用于在融合图像fusImg中存在检测目标时，基于融合图像fusImg识别检测目标的类型。
作为优选，通过如下方式对红外图像infImg进行预处理，获得预处理后的红外图像afInfImg：
对红外图像infImg进行降噪处理，获得降噪图像lwfInfImg；
对降噪图像lwfInfImg进行边缘检测，获取边缘像素点集合colEdgPix；
在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中的像素点进行边缘增强，获得预处理后的红外图像afInfImg。
作为优选，所述对红外图像infImg进行降噪处理，获得降噪图像lwfInfImg，包括：
Figure BDA0003679686890000041
式中，infImg(c)表示红外图像infImg中的像素点c的像素值，lwfInfImg(c)表示像素点c在降噪图像lwfInfImg中对应的像素点的像素值，nruc表示以像素点c为中心的h×h大小的区域内的像素点的集合，infImg(d)表示nruc中的像素点d在红外图像infImg中的像素值，Φ2表示nruc中的像素点与像素点c之间的像素值差值的方差，Γ2表示nruc中的像素点与像素点c之间的直线距离的方差，dist(c,d)表示像素点c和像素点d之间的直线距离，g表示常数系数，g∈(2,3)，
Figure BDA0003679686890000042
Figure BDA0003679686890000043
nfnruc表示nruc中的像素点的数量。
作为优选，所述在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中的像素点进行边缘增强，获得预处理后的红外图像afInfImg，包括：
将边缘像素点集合colEdgPix中像素值最大的像素点记为maxPix，将maxPix在红外图像infImg中对应的像素点的像素值记为infImg(maxPix)；
在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中除了maxPix之外的像素点分别进行边缘增强处理，获得预处理后的红外图像afInfImg：
对于像素点ranPix，ranPix∈colEdgPix且ranPix≠maxPix，
采用如下的方式对ranPix进行处理：
Figure BDA0003679686890000051
式中，lwfInfImg(ranPix)表示像素点ranPix在降噪图像lwfInfImg中的像素值，lwfInfImg(maxPix)表示像素点maxPix在降噪图像lwfInfImg中的像素值，infImg(ranPix)表示像素点ranPix在红外图像infImg中对应的像素点的像素值。
作为优选，通过如下方式对可见光图像visImg进行预处理，获得预处理后的可见光图像afVisImg：
对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg；
对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg。
作为优选，对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg，包括：
使用Gamma算法对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg。
作为优选，对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg，包括：
使用非局部均值降噪算法对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg。
本发明在对可见光图像和红外图像进行融合时，通过先分别对可见光图像和红外图像进行预处理，获取预处理后的可见光图像和预处理后的红外图像，然后对预处理后的预处理后的可见光图像和红外图像分别进行小波分解，获得高频小波系数图像和低频小波系数图像，在分别对高频小波图像进行融合，获得高频融合子图像和低频融合子图像，在将高频融合子图像和低频融合子图像进行小波重构处理，从而获得最终的融合图像。获得的融合图像相较于单独的可见光图像或红外图像，包含的图像信息更多，质量更高，更有利于对检测目标进行正确的识别。
在进行图像融合时，本发明并不是采用固定的权重，而是先通过构建矩阵Z，然后再分别获取待融合图像A和配准图像B'的融合权重，这样的设置方式，使得融合权重随着图像中的检测目标的像素值分布变化而自适应变化，有利于提高获得的融合图像的准确性，另外，本发明除了基于融合图像A和配准图像B'的融合权重获得第一中间图像之外，还考虑了光线的变化对于融合图像B中的信息的影响，在光线较差时，使得融合图像B的权重自适应地降低，从而获取第二中间图像，最后基于第一中间图像和第二中间图像获得最终的融合图像。这样的设置方式，能够在光线较差时提高红外图像中的信息在最终的融合图像中的比重，从而有效地提高了融合图像的质量，进而提高目标检测的结果的准确性。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1，为本发明一种基于图像融合的目标检测系统的一种示例性实施例图。
图2，为本发明一种基于图像融合的目标检测系统的另一种示例性实施例图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1所示的一种实施例，本发明提供了一种基于图像融合的目标检测系统，包括获取模块、预处理模块、图像融合模块和目标检测模块；
获取模块用于获取检测区域的红外图像infImg和可见光图像visImg；
预处理模块用于分别对红外图像infImg和可见光图像visImg进行图像预处理，获得预处理后的红外图像afInfImg和预处理后的可见光图像afVisImg；
图像融合模块用于对预处理后的红外图像afInfImg和预处理后的可见光图像afVisImg进行图像融合处理获得融合图像fusImg：
对预处理后的红外图像afInfImg进行小波分解处理，获得红外图像afInfImg对应的垂直方向、水平方向、对角线方向的高频小波系数图像hAfInfImgver、hAfInfImghor、hAfInfImgdia以及低频小波系数图像lAfInfImg；
对预处理后的可见光图像afVisImg进行小波分解处理，获得可见光图像afVisImg对应的垂直方向、水平方向、对角线方向的高频小波系数图像hAfVisImgver、hAfVisImghor、hAfVisImgdia以及低频小波系数图像lAfVisImg；
使用预设的融合规则对hAfInfImgver和hAfVisImgver进行图像融合处理，获得垂直方向的融合子图像fusSubImgver；
使用预设的融合规则对hAfInfImghor和hAfVisImghor进行图像融合处理，获得水平方向的融合子图像fusSubImghor；
使用预设的融合规则对hAfInfImgdia和hAfVisImgdia进行图像融合处理，获得对角线方向的融合子图像fusSubImgdia；
使用预设的融合规则对lAfInfImg和lAfVisImg进行图像融合处理，获得低频融合子图像lSubImg；
对fusSubImgver、fusSubImghor、fusSubImgdia和lSubImg进行小波重构，获得融合图像fusImg；
其中，所述预设的融合规则，包括：
对于红外图像infImg对应的待融合图像A和可见光图像visImg对应的待融合图像B，以待融合图像A为基准图像，获取待融合图像B对应的配准图像B'；
计算待融合图像A和配准图像B'之间的融合权重：
构建矩阵Z，
Figure BDA0003679686890000081
其中，xA,n表示待融合图像A中第n个像素点的像素值，xB',n表示配准图像B'中第n个像素点的像素值；n∈[1,N]，N表示像素点的总数；
基于待融合图像A和配准图像B'分别计算矩阵Z的协方差矩阵covMatA和协方差矩阵covMatB'；
分别获取covMatA和covMatB'的特征值matEigA和matEigB'；
计算待融合图像A的融合权重fusWeiA：
Figure BDA0003679686890000082
计算配准图像B'的融合权重fusWeiB'：
Figure BDA0003679686890000083
采用如下公式对待融合图像A和配准图像B'进行图像融合：
fusImgA,B',1＝fusWeiA×A+fusWeiB'×B'
Figure BDA0003679686890000084
Figure BDA0003679686890000085
式中，topPixVal表示fusImgA,B',1表示第一中间图像，fusImgA,B',2表示第二中间图像，fusImgA,B',fin表示可见光图像visImg对应的灰度图像中的灰度最大值，红外图像infImg对应的待融合图像A和可见光图像visImg对应的待融合图像B的融合图像；
目标检测模块用于对融合图像fusImg进行目标检测，判断融合图像fusImg中是否存在检测目标。
本发明在对可见光图像和红外图像进行融合时，通过先分别对可见光图像和红外图像进行预处理，获取预处理后的可见光图像和预处理后的红外图像，然后对预处理后的预处理后的可见光图像和红外图像分别进行小波分解，获得高频小波系数图像和低频小波系数图像，在分别对高频小波图像进行融合，获得高频融合子图像和低频融合子图像，在将高频融合子图像和低频融合子图像进行小波重构处理，从而获得最终的融合图像。获得的融合图像相较于单独的可见光图像或红外图像，包含的图像信息更多，质量更高，更有利于对检测目标进行正确的识别。
在进行图像融合时，本发明并不是采用固定的权重，而是先通过构建矩阵Z，然后再分别获取待融合图像A和配准图像B'的融合权重，这样的设置方式，使得融合权重随着图像中的检测目标的像素值分布变化而自适应变化，有利于提高获得的融合图像的准确性，另外，本发明除了基于融合图像A和配准图像B'的融合权重获得第一中间图像之外，还考虑了光线的变化对于融合图像B中的信息的影响，在光线较差时，使得融合图像B的权重自适应地降低，从而获取第二中间图像，最后基于第一中间图像和第二中间图像获得最终的融合图像。这样的设置方式，能够在光线较差时提高红外图像中的信息在最终的融合图像中的比重，从而有效地提高了融合图像的质量，进而提高目标检测的结果的准确性。
在一种实施例中，检测区域为本系统所负责空中区域。
在一种实施例中，检测目标包括无人机。
作为优选，所述以待融合图像A为基准图像，获取待融合图像B对应的配准图像B'，包括：
分别选取待融合图像A和融合图像B中的目标区域；
分别对待融合图像A和融合图像B中的目标区域进行多尺度多方位边缘检测，计算待融合图像A和融合图像B中的目标区域的边缘交互方差；
基于边缘交互方差确定配准参数；
使用配准参数对融合图像B进行图像变换处理，从而获得配准图像B'。
作为优选，所述基于待融合图像A和配准图像B'分别计算矩阵Z的协方差矩阵covMatA和协方差矩阵covMatB'，包括：
在计算矩阵Z的协方差矩阵时，使用待融合图像A中的像素点的像素值的平均值作为协方差计算公式中的平均值，从而获得协方差矩阵covMatA；
同理，使用配准图像B'中的像素点的像素值的平均值作为协方差计算公式中的平均值，则可获得协方差矩阵covMatB'。
作为优选，
A∈{hAfInfImgver,hAfInfImghor,hAfInfImgdia,lAfInfImg}，
当A为hAfInfImgver时，B为hAfVisImgver；
当A为hAfInfImghor时，B为hAfVisImghor；
当A为hAfInfImgdia时，B为hAfVisImgdia；
当A为lAfInfImg时，B为lAfVisImg。
作为优选，如图2所示，基于图像融合的目标检测系统还包括目标识别模块，
目标识别模块用于在融合图像fusImg中存在检测目标时，基于融合图像fusImg识别检测目标的类型。
具体的，可以通过将融合图像fusImg中的检测目标的图像与预先存储的各种类型的参考图像来进行匹配，从而确定融合图像fusImg中的检测目标的类型。
例如，当检测目标为无人机时，通过图像匹配的方式就能够确定无人机的类型，无人机的类型包括固定翼无人机、旋翼无人机、扑翼无人机、无人直升机等。
作为优选，通过如下方式对红外图像infImg进行预处理，获得预处理后的红外图像afInfImg：
对红外图像infImg进行降噪处理，获得降噪图像lwfInfImg；
对降噪图像lwfInfImg进行边缘检测，获取边缘像素点集合colEdgPix；
在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中的像素点进行边缘增强，获得预处理后的红外图像afInfImg。
在上述实施例中，本发明先通过边缘检测获得边缘像素点，然后在对边缘像素点进行边缘增强处理，获得预处理后的红外图像，这样设计的目的主要是为了提高降噪后获得的降噪图像中的感兴趣区域的轮廓特征，因为降噪在降低了噪声的影响的同时，会导致像素点之间的像素值差异变小，从而使得感兴趣区域的轮廓的清晰度受到一定程度的降低，因此，本发明通过对降噪图像中的边缘像素点进行边缘增强，能够获得轮廓更为清晰的感兴趣区域，有利于提高后续获得的融合图像中的感兴趣区域的信息含量，从而提高目标检测的准确性。
作为优选，所述对红外图像infImg进行降噪处理，获得降噪图像lwfInfImg，包括：
Figure BDA0003679686890000111
式中，infImg(c)表示红外图像infImg中的像素点c的像素值，lwfInfImg(c)表示像素点c在降噪图像lwfInfImg中对应的像素点的像素值，nruc表示以像素点c为中心的h×h大小的区域内的像素点的集合，infImg(d)表示nruc中的像素点d在红外图像infImg中的像素值，Φ2表示nruc中的像素点与像素点c之间的像素值差值的方差，Γ2表示nruc中的像素点与像素点c之间的直线距离的方差，dist(c,d)表示像素点c和像素点d之间的直线距离，g表示常数系数，g∈(2,3)，
Figure BDA0003679686890000112
Figure BDA0003679686890000113
nfnruc表示nruc中的像素点的数量。
本发明在对红外图像进行降噪处理时，从像素值差异和距离差异两方面对当前进行降噪处理的像素点进行降噪处理，能够在尽可能保留更对的细节信息的同时，实现对噪声的有效去除。
作为优选，所述在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中的像素点进行边缘增强，获得预处理后的红外图像afInfImg，包括：
将边缘像素点集合colEdgPix中像素值最大的像素点记为maxPix，将maxPix在红外图像infImg中对应的像素点的像素值记为infImg(maxPix)；
在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中除了maxPix之外的像素点分别进行边缘增强处理，获得预处理后的红外图像afInfImg：
对于像素点ranPix，ranPix∈colEdgPix且ranPix≠maxPix，
采用如下的方式对ranPix进行处理：
Figure BDA0003679686890000121
式中，lwfInfImg(ranPix)表示像素点ranPix在降噪图像lwfInfImg中的像素值，lwfInfImg(maxPix)表示像素点maxPix在降噪图像lwfInfImg中的像素值，infImg(ranPix)表示像素点ranPix在红外图像infImg中对应的像素点的像素值。
在进行边缘增强时，本发明引入了当前进行比较的两个像素点在原始的红外图像中的像素值之间的差异比值，从而使得原始的轮廓信息重新复现在降噪图像中，有效地提高了获得的预处理后的红外图像中的感兴趣区域的轮廓信息和细节信息。
作为优选，通过如下方式对可见光图像visImg进行预处理，获得预处理后的可见光图像afVisImg：
对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg；
对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg。
作为优选，对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg，包括：
使用Gamma算法对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg。
作为优选，对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg，包括：
使用非局部均值降噪算法对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg。
作为优选，对融合图像fusImg进行目标检测，包括：
使用MR-CNN、DeepIDNet等目标检测算法对对融合图像fusImg进行目标检测。
尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。
实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

Claims (9)

1.一种基于图像融合的目标检测系统，其特征在于，包括获取模块、预处理模块、图像融合模块和目标检测模块；
获取模块用于获取检测区域的红外图像infImg和可见光图像visImg；
预处理模块用于分别对红外图像infImg和可见光图像visImg进行图像预处理，获得预处理后的红外图像afInfImg和预处理后的可见光图像afVisImg；
图像融合模块用于对预处理后的红外图像afInfImg和预处理后的可见光图像afVisImg进行图像融合处理获得融合图像fusImg：
对预处理后的红外图像afInfImg进行小波分解处理，获得红外图像afInfImg对应的垂直方向、水平方向、对角线方向的高频小波系数图像hAfInfImgver、hAfInfImghor、hAfInfImgdia以及低频小波系数图像lAfInfImg；
对预处理后的可见光图像afVisImg进行小波分解处理，获得可见光图像afVisImg对应的垂直方向、水平方向、对角线方向的高频小波系数图像hAfVisImgver、hAfVisImghor、hAfVisImgdia以及低频小波系数图像lAfVisImg；
使用预设的融合规则对hAfInfImgver和hAfVisImgver进行图像融合处理，获得垂直方向的融合子图像fusSubImgver；
使用预设的融合规则对hAfInfImghor和hAfVisImghor进行图像融合处理，获得水平方向的融合子图像fusSubImghor；
使用预设的融合规则对hAfInfImgdia和hAfVisImgdia进行图像融合处理，获得对角线方向的融合子图像fusSubImgdia；
使用预设的融合规则对lAfInfImg和lAfVisImg进行图像融合处理，获得低频融合子图像lSubImg；
对fusSubImgver、fusSubImghor、fusSubImgdia和lSubImg进行小波重构，获得融合图像fusImg；
其中，所述预设的融合规则，包括：
对于红外图像infImg对应的待融合图像A和可见光图像visImg对应的待融合图像B，以待融合图像A为基准图像，获取待融合图像B对应的配准图像B'；
计算待融合图像A和配准图像B'之间的融合权重：
构建矩阵Z，
Figure FDA0003679686880000021
其中，xA,n表示待融合图像A中第n个像素点的像素值，xB',n表示配准图像B'中第n个像素点的像素值；n∈[1,N]，N表示像素点的总数；
基于待融合图像A和配准图像B'分别计算矩阵Z的协方差矩阵covMatA和协方差矩阵covMatB'；
分别获取covMatA和covMatB'的特征值matEigA和matEigB'；
计算待融合图像A的融合权重fusWeiA：
Figure FDA0003679686880000022
计算配准图像B'的融合权重fusWeiB'：
Figure FDA0003679686880000023
采用如下公式对待融合图像A和配准图像B'进行图像融合：
fusImgA,B',1＝fusWeiA×A+fusWeiB'×B'
Figure FDA0003679686880000024
Figure FDA0003679686880000025
式中，topPixVal表示fusImgA,B',1表示第一中间图像，fusImgA,B',2表示第二中间图像，fusImgA,B',fin表示可见光图像visImg对应的灰度图像中的灰度最大值，红外图像infImg对应的待融合图像A和可见光图像visImg对应的待融合图像B的融合图像；
目标检测模块用于对融合图像fusImg进行目标检测，判断融合图像fusImg中是否存在检测目标。
2.根据权利要求1所述的一种基于图像融合的目标检测系统，其特征在于，
A∈{hAfInfImgver,hAfInfImghor,hAfInfImgdia,lAfInfImg}，
当A为hAfInfImgver时，B为hAfVisImgver；
当A为hAfInfImghor时，B为hAfVisImghor；
当A为hAfInfImgdia时，B为hAfVisImgdia；
当A为lAfInfImg时，B为lAfVisImg。
3.根据权利要求1所述的一种基于图像融合的目标检测系统，其特征在于，还包括目标识别模块，
目标识别模块用于在融合图像fusImg中存在检测目标时，基于融合图像fusImg识别检测目标的类型。
4.根据权利要求1所述的一种基于图像融合的目标检测系统，其特征在于，通过如下方式对红外图像infImg进行预处理，获得预处理后的红外图像afInfImg：
对红外图像infImg进行降噪处理，获得降噪图像lwfInfImg；
对降噪图像lwfInfImg进行边缘检测，获取边缘像素点集合colEdgPix；
在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中的像素点进行边缘增强，获得预处理后的红外图像afInfImg。
5.根据权利要求4所述的一种基于图像融合的目标检测系统，其特征在于，所述对红外图像infImg进行降噪处理，获得降噪图像lwfInfImg，包括：
Figure FDA0003679686880000041
式中，infImg(c)表示红外图像infImg中的像素点c的像素值，lwfInfImg(c)表示像素点c在降噪图像lwfInfImg中对应的像素点的像素值，nruc表示以像素点c为中心的h×h大小的区域内的像素点的集合，infImg(d)表示nruc中的像素点d在红外图像infImg中的像素值，Φ2表示nruc中的像素点与像素点c之间的像素值差值的方差，Γ2表示nruc中的像素点与像素点c之间的直线距离的方差，dist(c,d)表示像素点c和像素点d之间的直线距离，g表示常数系数，g∈(2,3)，
Figure FDA0003679686880000042
Figure FDA0003679686880000043
nfnruc表示nruc中的像素点的数量。
6.根据权利要求4所述的一种基于图像融合的目标检测系统，其特征在于，所述在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中的像素点进行边缘增强，获得预处理后的红外图像afInfImg，包括：
将边缘像素点集合colEdgPix中像素值最大的像素点记为maxPix，将maxPix在红外图像infImg中对应的像素点的像素值记为infImg(maxPix)；
在降噪图像lwfInfImg中对边缘像素点集合colEdgPix中除了maxPix之外的像素点分别进行边缘增强处理，获得预处理后的红外图像afInfImg：
对于像素点ranPix，ranPix∈colEdgPix且ranPix≠maxPix，
采用如下的方式对ranPix进行处理：
Figure FDA0003679686880000051
式中，lwfInfImg(ranPix)表示像素点ranPix在降噪图像lwfInfImg中的像素值，lwfInfImg(maxPix)表示像素点maxPix在降噪图像lwfInfImg中的像素值，infImg(ranPix)表示像素点ranPix在红外图像infImg中对应的像素点的像素值。
7.根据权利要求1所述的一种基于图像融合的目标检测系统，其特征在于，通过如下方式对可见光图像visImg进行预处理，获得预处理后的可见光图像afVisImg：
对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg；
对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg。
8.根据权利要求7所述的一种基于图像融合的目标检测系统，其特征在于，对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg，包括：
使用Gamma算法对可见光图像visImg进行光照校正处理，获得处理图像gamVisImg。
9.根据权利要求7所述的一种基于图像融合的目标检测系统，其特征在于，对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg，包括：
使用非局部均值降噪算法对处理图像gamVisImg进行降噪处理，获得预处理后的可见光图像afVisImg。
CN202210633735.2A 2022-06-06 2022-06-06 一种基于图像融合的目标检测系统 Withdrawn CN114882332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210633735.2A CN114882332A (zh) 2022-06-06 2022-06-06 一种基于图像融合的目标检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210633735.2A CN114882332A (zh) 2022-06-06 2022-06-06 一种基于图像融合的目标检测系统

Publications (1)

Publication Number Publication Date
CN114882332A true CN114882332A (zh) 2022-08-09

Family

ID=82679143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210633735.2A Withdrawn CN114882332A (zh) 2022-06-06 2022-06-06 一种基于图像融合的目标检测系统

Country Status (1)

Country Link
CN (1) CN114882332A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641487A (zh) * 2022-08-26 2023-01-24 青岛元动芯能源科技有限公司 一种基于中子和x射线的多级判定融合方法和系统
CN115830424A (zh) * 2023-02-09 2023-03-21 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641487A (zh) * 2022-08-26 2023-01-24 青岛元动芯能源科技有限公司 一种基于中子和x射线的多级判定融合方法和系统
CN115641487B (zh) * 2022-08-26 2023-06-27 中子时代(青岛)创新科技有限公司 一种基于中子和x射线的多级判定融合方法和系统
CN115830424A (zh) * 2023-02-09 2023-03-21 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质
CN115830424B (zh) * 2023-02-09 2023-04-28 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN114882332A (zh) 一种基于图像融合的目标检测系统
CN108921800A (zh) 基于形状自适应搜索窗口的非局部均值去噪方法
CN114299275B (zh) 一种基于霍夫变换的车牌倾斜校正方法
JP2013236249A (ja) 画像処理装置及び画像処理方法
CN106815821A (zh) 近红外图像的去噪方法和装置
CN114898210B (zh) 一种基于神经网络的遥感图像目标识别方法
CN114936981B (zh) 一种基于云平台的场所扫码登记系统
CN110136088B (zh) 一种人类胚胎心脏超声图像去噪方法
CN117094917B (zh) 一种心血管3d打印数据处理方法
CN114582003B (zh) 一种基于云计算服务的睡眠健康管理系统
CN111242065B (zh) 一种便携式车载智能驾驶系统
CN117036310A (zh) 一种dicom影像外围轮廓的识别提取方法
CN114581374A (zh) 一种基于人工智能技术的电动车辅助驾驶系统
CN113450340A (zh) 一种皮肤纹理检测系统
CN114863030B (zh) 基于人脸识别和图像处理技术生成自定义3d模型的方法
CN115330710B (zh) 一种基于云计算的汽车线束质检系统
CN114219992B (zh) 一种基于图像识别技术的无人船避障系统
CN113628148B (zh) 红外图像降噪方法和装置
CN115937021A (zh) 基于频率域特征分离和迭代优化大气光的偏振去雾方法
CN115311182A (zh) 一种基于深度学习的mri图像合成ct图像的方法及系统
CN115439349A (zh) 一种基于图像增强的水下slam优化方法
CN107945196A (zh) 一种用于航拍校正图像拼接的图像边沿检测方法
CN109671131B (zh) 影像校正方法、装置、医疗影像设备及存储介质
CN111899198A (zh) 一种海上图像去雾方法及装置
CN113506218B (zh) 一种用于多车厢超长车型的360°视频拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220809