CN114648477A - 一种数字融合矩阵 - Google Patents

一种数字融合矩阵 Download PDF

Info

Publication number
CN114648477A
CN114648477A CN202210305225.2A CN202210305225A CN114648477A CN 114648477 A CN114648477 A CN 114648477A CN 202210305225 A CN202210305225 A CN 202210305225A CN 114648477 A CN114648477 A CN 114648477A
Authority
CN
China
Prior art keywords
image
digital
fusion
matrix
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210305225.2A
Other languages
English (en)
Inventor
杨伟忠
徐晨鑫
雷凌
朱恩东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Beixin Intelligent Technology Co ltd
Original Assignee
Nanjing Beixin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Beixin Intelligent Technology Co ltd filed Critical Nanjing Beixin Intelligent Technology Co ltd
Priority to CN202210305225.2A priority Critical patent/CN114648477A/zh
Publication of CN114648477A publication Critical patent/CN114648477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种数字融合矩阵，包括以下步骤：(1)使用摄像头读取视频帧；(2)对读取到的视频帧进行预处理；(3)目标ROI区域提取，插值缩放至同一分辨率；(4)特征点检测求取数字变换矩阵；(5)图像配准和信息融合。该数字融合矩阵针对云台摄像头采集的图像视频流，进行图像预处理和图像增强，提取图像中的轮廓特征，捕捉感兴趣区域后，根据ROI区域形状特征将图像插值缩放至同一分辨率，利用特征点检测求取变换矩阵，并以此进行图像配准和信息融合，得到新的图像数据，只需采用云台摄像头进行实时视频采集，硬件开销少，并且相比现有的图像融合算法，提高的对图像数据来源的兼容性，可以对不同视场角下的图像进行信息融合。

Description

一种数字融合矩阵
技术领域
本发明涉及计算机视觉的图像融合技术领域，具体为一种数字融合矩阵。
背景技术
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。图像融合作为信息融合的一个分支，是当前信息融合研究中的一个热点。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一幅，或者一列的形式给出。而图像融合是将2张或2张以上的图像信息的融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。
现有的图像融合算法处理的数据多为同一视角采集的图像，要求场景一致，针对目标同时采集相同尺寸的红外图像和可见光图像以构成目标物图像对，以此对RGB和热红外图像数据进行图像融合技术的研究；使用的采集设备为海康云台摄像机，多视角分别采集RGB和热红外图像，该类方法无法直接适用于云台摄像头的图像融合工作，所以我们提出了一种数字融合矩阵，以便于解决上述中提出的问题。
发明内容
本发明的目的在于提供一种数字融合矩阵，以解决上述背景技术提出的目前市场上现有的图像融合算法处理的数据多为同一视角采集的图像，要求场景一致，针对目标同时采集相同尺寸的红外图像和可见光图像以构成目标物图像对，以此对RGB和热红外图像数据进行图像融合技术的研究；使用的采集设备为海康云台摄像机，多视角分别采集RGB和热红外图像，该类方法无法直接适用于云台摄像头的图像融合工作的问题。
为实现上述目的，本发明提供如下技术方案：一种数字融合矩阵，包括以下步骤：
(1)使用摄像头读取视频帧；
(2)对读取到的视频帧进行预处理；
(3)目标ROI区域提取，插值缩放至同一分辨率；
(4)特征点检测求取数字变换矩阵；
(5)图像配准和信息融合。
优选的，所述步骤(1)中所使用的用于读取视频帧的摄像头选用海康威视mini摄像机。
优选的，所述步骤(2)中对图像进行预处理的方式为利用高斯滤波对图像进行预处理，使用高斯滤波器对图像进行噪声消除。
优选的，所述步骤(2)中所使用的高斯滤波是一种加权平均滤波，其卷积核带有一个系数用于实现平均，矩阵中所有数值之和的倒数即为卷积核的系数，在实际滤波中，对图像进行遍历，以图像中某一点作为卷积核中心，利用卷积核对该像素点周围邻域像素作加权平均，计算结果作为当前像素点的新像素值，最终实现对图像的高斯滤波去躁，为后续步骤(3)与步骤(4)提供高质量图像数据。
优选的，所述步骤(3)中确定ROI区域的方法为对图像进行OTSU二值化阈值分割，以及Canny轮廓提取，再利用长宽比等形状尺度特征进行筛选。
优选的，所述步骤(3)中插值缩放时使用双线性插值，即两次线性插值，分别在x方向和y方向上。
优选的，所述步骤(4)中利用Akaza算子进行特征点检测，求取数字变换矩阵，进行图像信息融合，AKAZE算法使用FED(快速显示算法)算法对非线性扩散方程进行求解。
与现有技术相比，本发明的有益效果是：该数字融合矩阵针对云台摄像头采集的图像视频流，进行图像预处理和图像增强，提取图像中的轮廓特征，捕捉感兴趣区域后，根据ROI区域形状特征将图像插值缩放至同一分辨率，利用特征点检测求取变换矩阵，并以此进行图像配准和信息融合，得到新的图像数据，只需采用云台摄像头进行实时视频采集，硬件开销少，并且相比现有的图像融合算法，提高的对图像数据来源的兼容性，可以对不同视场角下的图像进行信息融合。
附图说明
图1为本发明一种数字融合矩阵流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
一种数字融合矩阵结构，包括以下步骤：
(1)使用摄像头读取视频帧，读取时摄像头选用海康威视mini摄像机；
(2)对读取到的视频帧进行预处理，利用高斯滤波对图像进行预处理，使用高斯滤波器对图像进行噪声消除；
高斯滤波是一种加权平均滤波，其卷积核带有一个系数用于实现平均，矩阵中所有数值之和的倒数即为卷积核的系数，在实际滤波中，对图像进行遍历，以图像中某一点作为卷积核中心，利用卷积核对该像素点周围邻域像素作加权平均，计算结果作为当前像素点的新像素值，最终实现对图像的高斯滤波去躁，为后续步骤(3)与步骤(4)提供高质量图像数据；
高斯分布可根据高斯函数选择权重，函数的均值μ＝0时的一维形式和二维形式如公式所示。其中σ为正态分布的标准偏差，其值决定了函数的衰减快慢。
μ＝0时的一维形式：
Figure BDA0003564558400000041
μ＝0时的二维形式：
Figure BDA0003564558400000042
(3)目标ROI区域提取，插值缩放至同一分辨率，对图像进行OTSU二值化阈值分割，以及Canny轮廓提取，再利用长宽比等形状尺度特征进行筛选，确定目标ROI区域，使用双线性插值，即两次线性插值对分辨率进行缩放；
图像四点Q11(x1,y1)，Q12(x1,y2)，Q21(x2,y1)，Q22(x2,y2)像素值为f(Q11)，f(Q12)，f(Q21)，f(Q22)；对四点间任意一点P(x,y)的像素值f(P),可先在x方向上进行线性插值，再在y方向上进行线性插值，得到一下关系式，即可进行P点的像素值求解，保证缩放后图像的质量；
Figure BDA0003564558400000043
(4)特征点检测求取数字变换矩阵，利用Akaza算子进行特征点检测，求取数字变换矩阵，进行图像信息融合，AKAZE算法使用FED(快速显示算法)算法对非线性扩散方程进行求解；
FED算法求解非线性扩散方程：Li+1＝(I+τA(Li))Li， i＝0,1,L, n-1
其中I为单位矩阵，A(Li)是图像在维度i上的传导矩阵，由高斯滤波后的尺度影响的梯度直方图构造，为时间步长，为进化时间的差值ti-1-ti
(5)图像配准和信息融合。
实施例二
一种数字融合矩阵结构，包括以下步骤：
(1)对读取到的视频帧进行预处理，利用高斯滤波对图像进行预处理，使用高斯滤波器对图像进行噪声消除；
高斯滤波是一种加权平均滤波，其卷积核带有一个系数用于实现平均，矩阵中所有数值之和的倒数即为卷积核的系数，在实际滤波中，对图像进行遍历，以图像中某一点作为卷积核中心，利用卷积核对该像素点周围邻域像素作加权平均，计算结果作为当前像素点的新像素值，最终实现对图像的高斯滤波去躁，为后续步骤(3)与步骤(4)提供高质量图像数据；
高斯分布可根据高斯函数选择权重，函数的均值μ＝0时的一维形式和二维形式如公式所示。其中σ为正态分布的标准偏差，其值决定了函数的衰减快慢。
μ＝0时的一维形式：
Figure BDA0003564558400000051
μ＝0时的二维形式：
Figure BDA0003564558400000052
(2)目标ROI区域提取，插值缩放至同一分辨率，对图像进行OTSU二值化阈值分割，以及Canny轮廓提取，再利用长宽比等形状尺度特征进行筛选，确定目标ROI区域，使用双线性插值，即两次线性插值对分辨率进行缩放；
图像四点Q11(x1,y1)，Q12(x1,y2)，Q21(x2,y1)，Q22(x2,y2)像素值为f(Q11)，f(Q12)，f(Q21)，f(Q22)；对四点间任意一点P(x,y)的像素值f(P),可先在x方向上进行线性插值，再在y方向上进行线性插值，得到一下关系式，即可进行P点的像素值求解，保证缩放后图像的质量；
Figure BDA0003564558400000061
(3)特征点检测求取数字变换矩阵，利用Akaza算子进行特征点检测，求取数字变换矩阵，进行图像信息融合，AKAZE算法使用FED(快速显示算法)算法对非线性扩散方程进行求解；
FED算法求解非线性扩散方程：Li+1＝(I+τA(Li))Li， i＝0,1,L, n-1
其中I为单位矩阵，A(Li)是图像在维度i上的传导矩阵，由高斯滤波后的尺度影响的梯度直方图构造，为时间步长，为进化时间的差值ti-1-ti
(4)图像配准和信息融合。
实施例三
一种数字融合矩阵结构，包括以下步骤：
(1)使用摄像头读取视频帧，读取时摄像头选用海康威视mini摄像机；
(2)对读取到的视频帧进行预处理，利用高斯滤波对图像进行预处理，使用高斯滤波器对图像进行噪声消除；
高斯滤波是一种加权平均滤波，其卷积核带有一个系数用于实现平均，矩阵中所有数值之和的倒数即为卷积核的系数，在实际滤波中，对图像进行遍历，以图像中某一点作为卷积核中心，利用卷积核对该像素点周围邻域像素作加权平均，计算结果作为当前像素点的新像素值，最终实现对图像的高斯滤波去躁，为后续步骤(3)与步骤(4)提供高质量图像数据；
Figure BDA0003564558400000062
(3)特征点检测求取数字变换矩阵，利用Akaza算子进行特征点检测，求取数字变换矩阵，进行图像信息融合，AKAZE算法使用FED(快速显示算法)算法对非线性扩散方程进行求解；
FED算法求解非线性扩散方程：Li+1＝(I+τA(Li))Li， i＝0,1,L, n-1
其中I为单位矩阵，A(Li)是图像在维度i上的传导矩阵，由高斯滤波后的尺度影响的梯度直方图构造，为时间步长，为进化时间的差值ti-1-ti
(4)图像配准和信息融合。
实施例四
一种数字融合矩阵结构，包括以下步骤：
(1)使用摄像头读取视频帧，读取时摄像头选用海康威视mini摄像机；
(2)对读取到的视频帧进行预处理，利用高斯滤波对图像进行预处理，使用高斯滤波器对图像进行噪声消除；
高斯滤波是一种加权平均滤波，其卷积核带有一个系数用于实现平均，矩阵中所有数值之和的倒数即为卷积核的系数，在实际滤波中，对图像进行遍历，以图像中某一点作为卷积核中心，利用卷积核对该像素点周围邻域像素作加权平均，计算结果作为当前像素点的新像素值，最终实现对图像的高斯滤波去躁，为后续步骤(3)与步骤(4)提供高质量图像数据；
高斯分布可根据高斯函数选择权重，函数的均值μ＝0时的一维形式和二维形式如公式所示。其中σ为正态分布的标准偏差，其值决定了函数的衰减快慢。
μ＝0时的一维形式：
Figure BDA0003564558400000071
μ＝0时的二维形式：
Figure BDA0003564558400000072
目标ROI区域提取，插值缩放至同一分辨率，对图像进行OTSU二值化阈值分割，以及Canny轮廓提取，再利用长宽比等形状尺度特征进行筛选，确定目标ROI区域，使用双线性插值，即两次线性插值对分辨率进行缩放；
图像四点Q11(x1,y1)，Q12(x1,y2)，Q21(x2,y1)，Q22(x2,y2)像素值为f(Q11)，f(Q12)，f(Q21)，f(Q22)；对四点间任意一点P(x,y)的像素值f(P),可先在x方向上进行线性插值，再在y方向上进行线性插值，得到一下关系式，即可进行P点的像素值求解，保证缩放后图像的质量；
Figure BDA0003564558400000081
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种数字融合矩阵，其特征在于，包括以下步骤：
(1)使用摄像头读取视频帧；
(2)对读取到的视频帧进行预处理；
(3)目标ROI区域提取，插值缩放至同一分辨率；
(4)特征点检测求取数字变换矩阵；
(5)图像配准和信息融合。
2.根据权利要求1所述的一种数字融合矩阵，其特征在于：所述步骤(1)中所使用的用于读取视频帧的摄像头选用海康威视mini摄像机。
3.根据权利要求1所述的一种数字融合矩阵，其特征在于：所述步骤(2)中对图像进行预处理的方式为利用高斯滤波对图像进行预处理，使用高斯滤波器对图像进行噪声消除。
4.根据权利要求1所述的一种数字融合矩阵，其特征在于：所述步骤(2)中所使用的高斯滤波是一种加权平均滤波，其卷积核带有一个系数用于实现平均，矩阵中所有数值之和的倒数即为卷积核的系数，在实际滤波中，对图像进行遍历，以图像中某一点作为卷积核中心，利用卷积核对该像素点周围邻域像素作加权平均，计算结果作为当前像素点的新像素值，最终实现对图像的高斯滤波去躁，为后续步骤(3)与步骤(4)提供高质量图像数据。
5.根据权利要求1所述的一种数字融合矩阵，其特征在于：所述步骤(3)中确定ROI区域的方法为对图像进行OTSU二值化阈值分割，以及Canny轮廓提取，再利用长宽比等形状尺度特征进行筛选。
6.根据权利要求1所述的一种数字融合矩阵，其特征在于：所述步骤(3)中插值缩放时使用双线性插值，即两次线性插值，分别在x方向和y方向上。
7.根据权利要求1所述的一种数字融合矩阵，其特征在于：所述步骤(4)中利用Akaza算子进行特征点检测，求取数字变换矩阵，进行图像信息融合，AKAZE算法使用FED(快速显示算法)算法对非线性扩散方程进行求解。
CN202210305225.2A 2022-03-25 2022-03-25 一种数字融合矩阵 Pending CN114648477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210305225.2A CN114648477A (zh) 2022-03-25 2022-03-25 一种数字融合矩阵

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210305225.2A CN114648477A (zh) 2022-03-25 2022-03-25 一种数字融合矩阵

Publications (1)

Publication Number Publication Date
CN114648477A true CN114648477A (zh) 2022-06-21

Family

ID=81996090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210305225.2A Pending CN114648477A (zh) 2022-03-25 2022-03-25 一种数字融合矩阵

Country Status (1)

Country Link
CN (1) CN114648477A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100640A (zh) * 2015-01-23 2015-11-25 武汉智源泉信息科技有限公司 一种局部配准并行视频拼接方法及系统
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN107146201A (zh) * 2017-05-08 2017-09-08 重庆邮电大学 一种基于改进图像融合的图像拼接方法
CN107197269A (zh) * 2017-07-04 2017-09-22 广东工业大学 一种视频拼接的方法与装置
CN113177593A (zh) * 2021-04-29 2021-07-27 上海海事大学 一种水上交通环境中雷达点云与影像数据的融合方法
WO2022052303A1 (zh) * 2020-09-14 2022-03-17 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100640A (zh) * 2015-01-23 2015-11-25 武汉智源泉信息科技有限公司 一种局部配准并行视频拼接方法及系统
CN106960428A (zh) * 2016-01-12 2017-07-18 浙江大立科技股份有限公司 可见光和红外双波段图像融合增强方法
CN107146201A (zh) * 2017-05-08 2017-09-08 重庆邮电大学 一种基于改进图像融合的图像拼接方法
CN107197269A (zh) * 2017-07-04 2017-09-22 广东工业大学 一种视频拼接的方法与装置
WO2022052303A1 (zh) * 2020-09-14 2022-03-17 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备
CN113177593A (zh) * 2021-04-29 2021-07-27 上海海事大学 一种水上交通环境中雷达点云与影像数据的融合方法

Similar Documents

Publication Publication Date Title
CN110070570B (zh) 一种基于深度信息的障碍物检测系统及方法
CN104683767B (zh) 透雾图像生成方法及装置
US10694101B2 (en) Contrast-enhanced combined image generation systems and methods
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110766706A (zh) 图像融合方法、装置、终端设备及存储介质
CN105139391B (zh) 一种雾霾天气交通图像边缘检测方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
CN111028263B (zh) 一种基于光流颜色聚类的运动物体分割方法及其系统
Cao et al. Digital multi-focusing from a single photograph taken with an uncalibrated conventional camera
CN105608674B (zh) 一种基于图像配准、插值和去噪的图像增强方法
Lee et al. Infrared small target detection algorithm using an augmented intensity and density-based clustering
KR20200016507A (ko) 영상 합성 방법 및 장치
CN114648477A (zh) 一种数字融合矩阵
Chen et al. Image segmentation in thermal images
CN111583315A (zh) 一种新的可见光图像和红外图像配准方法及装置
CN112017221A (zh) 基于尺度空间的多模态图像配准方法、装置和设备
CN115035281B (zh) 一种快速的红外全景图像拼接方法
CN111368826A (zh) 一种基于可变卷积核的明火检测算法
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN116030430A (zh) 铁轨识别方法、装置、设备及存储介质
CN115423861A (zh) 气体泄露检测方法及装置、设备、存储介质
KR20200016508A (ko) 영상 합성 방법 및 장치
Kwon et al. All-in-focus imaging using average filter-based relative focus measure
CN112927139B (zh) 一种双目热成像系统及超分辨率图像获取方法
CN115035466A (zh) 一种用于安全监视的红外全景雷达系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination