CN102567979B - 车载红外夜视系统及其多源图像融合方法 - Google Patents
车载红外夜视系统及其多源图像融合方法 Download PDFInfo
- Publication number
- CN102567979B CN102567979B CN201210017952.5A CN201210017952A CN102567979B CN 102567979 B CN102567979 B CN 102567979B CN 201210017952 A CN201210017952 A CN 201210017952A CN 102567979 B CN102567979 B CN 102567979B
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- images
- visible images
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004297 night vision Effects 0.000 title claims abstract description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 6
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 6
- 230000003321 amplification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种车载红外夜视系统，包括一红外摄像装置、一可见光摄像装置、图像数据处理单元、显示装置；其中红外摄像装置、可见光摄像装置分别与图像数据处理单元的输入端连接；本发明还公开了采用该车载红外夜视系统进行多源图像融合的方法，步骤如下：（1）读入可见光图像与红外图像的图像数据，分别进行预处理；（2）分别进行特征点选取，分别提取多尺度边缘并二值化；（3）在边缘处采用LTS-Hausdorff距离精确匹配；（4）仿射变换对待匹配图进行处理；（5）对配准输出图像进行改进Laplace金字塔图像融合。本发明使融合时间较少，效率更高，融合显示效果更好。
Description
技术领域
本发明涉及图像处理技术，具体为一种图像配准、融合及增强方法，应用于车载红外夜视装置中图像处理过程。
背景技术
图像配准、融合及增强是首先确定在相同或不同时间、相同或不同传感器拍摄的两幅或多幅图像之间最佳匹配关系，然后对已配准的图像进行融合，接着对感兴趣的区域进行增强处理。配准结果给出了两幅图像之间相对位置关系，融合后的图象可以提供更加丰富的信息，增强后的图像会凸显出特征。
目前，汽车在夜间行驶时，主要由近光灯和远光灯提供照明。其中，近光灯有效距离为40m左右，远光灯有效距离为100m左右，从人眼观察前方路面到采取措施的反应距离为70m左右。在夜晚行车，当出现紧急情况时，一方面驾驶员由于视力受限，容易发生交通事故，另一方面驾驶员由于不熟悉路况，容易发生危险情况。
传统红外夜视辅助系统一般有两种类型，一种为被动式红外热像仪，通过获取被探测物体的温度成像，夜视效果很好，但是价格昂贵，另外一种为主动式红外摄像机，通过辅助红外灯照射被探测物体，接收被测物体反射光成像，价格便宜但是夜视效果较差。两种类型辅助系统均为将采集到的模拟视频信号直接显示，虽然直观，但是不能突出特征。
发明内容
本发明所要解决的技术问题是针对背景技术的缺陷，提供车载红外夜视行车系统中图像配准及增强的方法，计算量较小，精度较高，鲁棒性较强。
本发明为解决上述技术问题采用以下技术方案：
一种多源图像融合方法，用于车载红外夜视系统，该方法分别利用一可见光摄像装置以及一红外摄像装置同时获取观测区域的可见光图像和红外图像；然后将获取的可见光图像和红外图像进行融合，生成融合图像；具体步骤如下：
步骤A、分别对可见光图像和红外图像进行预处理，预处理包括图像的均衡和滤波；
步骤B、采用多尺度Harris-Laplace特征点提取算法分别对预处理后的可见光图像和红外图像构建尺度空间图像集，并提取多尺度特征点及特征尺度；
步骤C、统计步骤B中得到的特征尺度数据，以重复出现最多的特征尺度数据作为最佳特征尺度，以该最佳特征尺度对原可见光图像和红外图像进行Canny边缘提取，进行二值化后存储；
步骤D、分别在步骤C中获取的可见光与红外边缘二值化图像上，以步骤B中提取的多尺度特征点的坐标为中心，以步骤C得到的最佳特征尺度对应的数值为长度，构建正方形检测区域，对检测区域利用最小截平方Hausdorff距离为测度进行精确匹配，并获得精确匹配的特征点对；
步骤E、使用最小二乘法对获取到的精确匹配的特征点对拟合出仿射变换的参数，利用该参数对待匹配图进行仿射变换，并存储已配准的可见光图像和红外图像；
步骤F、将已配准的可见光图像和红外图像进行融合。
进一步的，本发明的多源图像融合方法中，步骤C具体包括以下步骤：
步骤C1.定义积分尺度的尺度变化函数： 
；其中，
为尺度变化函数，
为常数因子，
为尺度空间图像序号，
为尺度空间图像总数；根据上述尺度变化函数分别统计出可见光图像对应的最佳特征尺度与红外图像对应的最佳特征尺度
；
步骤C2. 以可见光图像对应的最佳特征尺度为标准差，
为模板尺寸，对预处理后的可见光图像进行高斯平滑滤波，获取到可见光图像的边缘特征尺度图像；以红外图像对应的最佳特征尺度
为标准差，
为模板尺寸，对预处理后的红外图像进行高斯平滑滤波，获取到红外图像的边缘特征尺度图像；其中，
为向下取整；
步骤C3. 在可见光边缘特征尺度图像上，以每个特征点为中心，以为长度划定每个特征点的矩形区域子图像；在红外边缘特征尺度图像上，以每个特征点为中心，以为长度划定每个特征点的矩形区域子图像；
将红外图像的每个矩形区域子图像插值或采样为与可见光图像相同区域大小；以可见光图像为基准图，在其每个特征点附近搜索红外图像的特征点，构成候选匹配点对；
步骤C4.对所有矩形区域子图像进行Canny边缘提取，并进行二值化处理后存储。
进一步的，本发明的多源图像融合方法中，步骤D所述对检测区域利用最小截平方Hausdorff距离为测度进行精确匹配的方法具体为：
在候选匹配点对中，以特征点对应的矩形区域二值化子图像作为输入，其像素点对应的坐标为参数，使用最小截平方Hausdorff距离进行相似度测量，候选匹配点对中距离最小的匹配对为精确匹配对。
进一步的，本发明的多源图像融合方法中，步骤F中所述将已配准的可见光图像和红外图像进行融合是采用改进模板的金字塔图像融合方法，具体包括以下步骤：
步骤F1. 将经典的
高斯模板分解为向量：
；
步骤F2. 使用
构建高斯金字塔；
高斯塔式分解：
其中，G0为高斯分解第0层， N为高斯金字塔顶层的层号；
分别是高斯金字塔第
层图像的行数和列数，
为第
层的图像；
对
先进行每一行高斯分解，再进行每一列高斯分解，通过采样构成高斯金字塔；
步骤F3. 由高斯金字塔建立Laplace金字塔对可见光图像与红外图像分解与融合。
进一步的，本发明的多源图像融合方法中，在步骤F后还包括确定可见光和红外融合图像中的道路范围，并对道路范围内的图像进行对比度增强和亮度增强的步骤。
本发明还提供一种车载夜视系统，包括一红外摄像装置、一可见光摄像装置、图像数据处理单元、显示装置；所述红外摄像装置、可见光摄像装置分别与图像数据处理单元的输入端连接；所述图像数据处理单元包括依次信号连接的图像预处理模块、特征提取模块、图像配准模块及图像融合模块；图像数据处理单元的输出端与显示装置的输入端连接；
其中，所述图像预处理模块分别对可见光图像和红外图像进行预处理；
所述特征提取模块采用多尺度Harris-Laplace特征点提取算法分别对预处理后的可见光图像和红外图像构建尺度空间图像集，并提取多尺度特征点及特征尺度；
所述图像配准模块用于对可见光图像、红外图像进行特征匹配；
所述图像融合模块用于采用金字塔图像融合方法，将已配准的可见光图像和红外图像进行融合。
进一步的，本发明的车载夜视系统，所述红外摄像装置为主动红外摄像机，所述可见光摄像装置为可见光CCD摄像机。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
（1）本发明运用了图像融合的方法，相比单个传感器，该方法能体现出更多细节；
（2）多尺度分析理论的引入使得进行图像处理时，提取的特征点更加全面，特征尺度对应的Canny边缘提取在参与相似性度量时，相比单尺度图像边缘，减少了干扰，提高匹配的鲁棒性；
（3）以特征尺度为参数构建LTS-Hausdorff距离匹配区域，对有严重遮掩或者退化的图像中的部分图像可以产生较好的效果；
（4）改进模板的金字塔多层分解融合算法使融合时间较少，效率更高，融合显示效果更好。
附图说明
图1是本发明图像整体算法流程图；
图2是本发明图像配准算法流程图；
图3是本发明图像融合算法流程图；
图4是本发明应用于车载红外夜视系统的结构示意图；图中标号：1-主动式红外摄像机，2-可见光CCD摄像机。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明是车载红外夜视行车系统图像处理方法，通过安装在汽车前方两路摄像机采集图像，如图4所示，1为主动式红外摄像机，2为可见光CCD摄像机。两路摄像机采集到的数据经过DSP处理单元进行预处理并存储待配准的区域，对重叠部分进行配准融合，然后将融合输出结果由ARM控制单元进行控制输出到液晶显示器显示。
首先提取出邻近两路摄像头图像，一幅作为基准图，一幅作为匹配图，如图4所示，配准区域为BC重叠区域，选取一组不同的高斯核对原图进行卷积，分别采用Harris-Laplace特征点提取算法，将获取到的特征点坐标、尺度及LoG响应分别存储。
接着统计两幅图对应不同尺度特征点数量，确定特征尺度。通过变换高斯模板尺寸大小及方差，获取一系列不同尺度下红外与可见光图像，进行Canny边缘提取并存储，获取特征区域，创建新的空白图像，并将红外图像中每个特征尺度对应的特征边缘区域拷贝至该新的空白图像，二值化后存储。
然后采用LTS-Hausdorff距离进行匹配。遍历可见光的特征点所在特征区域与新的红外多尺度边缘图像中的特征点所在的特征区域，分别求取两个点集的LTS-Hausdorff距离，距离最小为匹配对，直到遍历所有特征点，将精确匹配后的特征点存储。
使用最小二乘法对获取到的精确匹配的特征点对拟合出仿射变换的参数。利用该参数对匹配图进行仿射变换，输出配准结果。
将配准图像作为融合前的输入图像，分别进行金字塔分解，包括低通滤波和降采样过程。在不同层进行图像融合与重构，并将最终融合图像存储输出。
将最终融合图像进行Canny边缘提取，并由最小二乘法计算道路边缘曲线的参数，确定道路的宽度范围，对范围内的区域进行亮度增强及对比度增强，将处理完成的图像存储并显示。
本发明在基于图像特征的基础上对图像进行处理，具体配准算法如图2所示，算法步骤如下：
（1）读入可见光图像与红外图像的图像数据；
（2）分别进行预处理；
（3）分别进行特征点选取；
（4）分别提取多尺度边缘并二值化；
（5）在边缘处采用LTS-Hausdorff距离精确匹配；
（6）仿射变换对待匹配图进行处理；
（7）对配准输出图像进行改进Laplace金字塔图像融合；
（8）对配准融合后的图像提取道路边缘并增强边缘范围内图像的对比度。
其中（2）预处理算法包括直方图均衡与高斯平滑滤波，表述如下：
A． 直方图均衡过程为：
设原始输入图像各灰度级的像素数目为
，
，其中
为灰度总级数，则原始图像的直方图即各灰度级的概率密度
为：
其中为原始图像的总像素数目，为原始图像的第
级灰度。则图像的累积分布函数
为：
；
则经过直方图均衡输出的灰度级为：
其中
是取整运算符。通过原图像的灰度级函数和
的映射关系，修改原图像的灰度级，获得直方图均衡后输出图像。
B． 高斯平滑滤波首先求出二维高斯函数的模板： 
，由连续Gaussian分布求离散模板，采样、量化，并使模板归一化，然后将采集到的图像分别卷积获取滤波后的图像。
步骤（3）特征点提取采用多尺度Harris-Laplace特征点提取算法，表述如下：
A． 构建多尺度二维高斯核函数，定义如下：
令
，
为积分尺度，为微分尺度，
为常量且
，
为尺度因子；
获取二维高斯核函数的x与y方向的梯度：
，
；
B． 求图像上某点I沿x，y方向的一阶偏导：
构建多尺度空间自相关矩阵：
C． 获取
的两个特征值，
，并建立度量函数
:
Harris定义的特征点位于图像二阶导数的自相关矩阵有两个最大特征值的位置，本质上表示特征点中心周围至少是有两个不同方向纹理，正如实际特征点由至少两个边缘相交产生。在实际情况中，当
与
中较小的特征值远大于噪声门限，即
，可以获取到位置空间中的强特征点。
D．根据度量函数和阈值可以确定在位置空间不同尺度下的特征点。由于位置空间的候选点不一定在尺度空间中也能成为候选点，对位置空间的候选点还需在尺度空间中进行筛选。对于二维高斯函数，其拉普拉斯变换为：
；
根据其函数特性可知，函数值随尺度的增加呈阶梯衰减，因此，在进行尺度空间筛选时应对其进行标准化。标准化高斯拉普拉斯变换为：
在尺度空间搜索到的候选点分别比较其与邻近空间相邻位置26个点的标准化高斯拉普拉斯响应值，如果该候选点为局部极大值点，则选择该点为尺度空间特征点，否则，剔除该点。将提取出的特征点位置、尺度及LoG响应存储。
步骤（4）改进的多尺度边缘提取并二值化，采用的是Canny算子，表述如下：
A定义积分尺度的尺度变化函数：
。其中，
为尺度变化函数，
为常数因子，
为尺度空间图像序号，
为尺度空间图像总数。统计步骤（3）中得到的特征尺度数据，以重复出现最多的特征尺度数据作为可见光与红外图像对应的最佳特征尺度
，
。
B. 以最佳特征尺度
为标准差，
为模板尺寸（为向下取整）对预处理后的可见光图像进行高斯平滑滤波，获取到特征尺度图像。以最佳特征尺度
为标准差，
为模板尺寸（
为向下取整）对预处理后的红外图像进行高斯平滑滤波，获取到特征尺度图像。
C. 在可见光与红外特征尺度图像上，以每个特征点为中心，与
为长度划定每个特征点的矩形区域子图像，将红外图像的每个矩形区域子图像插值或采样为与可见光图像相同区域大小。以可见光图像为基准图，在其每个特征点附近搜索红外图像的特征点，构成候选匹配点对。
D. 选取可见光与红外特征尺度图像，计算梯度的大小M和方向O。局部梯度，边缘方向
。
E. 对梯度进行非极大抑制：将每个像素点的8邻域分为4个扇形区域，将梯度方向在-22.5°~ 22.5°和-157.5°~157.5°，22.5°~67.5°和-157.5°~-112.5°，67.5°~112.5°和-112.5°~-67.5°,112.5°~157.5°和-67.5°~-22.5°分成这四个扇区编号为0-3。设中心区域像素的灰度值为
，将此像素梯度值与0-3号扇区内的两个像素的梯度值进行比较，若此像素的梯度值不比这两个像素的梯度值大，则令
；否则，
的值不变。将
存储于
中，
则为非极大抑制后的图像。
F. 使用两个阈值T1和T2对
做阈值处理，其中T1<T2，值大于T2的边缘像素称为强边缘像素点，则该点为边缘点，T1和T2之间的边缘像素称为弱边缘像素点，再根据边缘连通性进一步判断其是否为边缘点。如果弱边缘像素点的邻接像素中有边缘点，则认为该弱边缘像素点也为边缘点，否则，认为该点为非边缘点。获取到的可见光与红外图像的边缘图像点分别二值化后存储。
步骤（5）精确匹配采用LTS-Hausdorff距离（即最小截平方Hausdorff距离）算法，表述如下：
A. 两个集合
，
的LTS-Hausdorff距离定义为：
其中，
，
，
，
,
，为待取的百分比，
表示取整运算，
为欧氏距离运算。
为集合
中的点的个数，
为集合
中的点的个数。
B. 使用LTS-Hausdorff距离进行精确匹配过程如下：
在候选匹配点对中，以特征点对应的矩形区域二值化子图像作为输入，其像素点对应的坐标为集合的元素，使用LTS-Hausdorff距离进行相似度测量，候选匹配点对中距离最小的匹配对为精确匹配对。
步骤（6）采取仿射变换作为空间变换模型对匹配图处理，表述如下：
A. 六参数仿射变换可以用如下矩阵形式表示：
，
其中
，
分别为两副处理图像对应点位置坐标。
为参数。则有：
转换形式为：
；
B，两幅图像均提取出来许多特征点，通过相似性度量后，形成了一一对应关系，但是这些关系可能会有错误，形成误配，通过最小二乘法拟合能在一定程度上消除误差，使得解算出的模型参数尽可能满足所有点，这个过程可以视为解超定方程。需要拟合出最优近似解。假设有N+1对匹配点，则有：
其中
仿射变换后像素位置，
为原图像的像素坐标。
由最小二乘法矩阵形式可知：形如
的超定方程在最小二乘法下极小意义的解为
，可以推出六参数仿射变换参数在最小二乘法下的近似解为：
，其中
可计算出仿射变换变换矩阵的六个参数。
步骤（7）改进拉普拉斯金字塔图像融合，融合算法如图3所示，表述如下：
A，改进拉普拉斯金字塔图像融合：
分解为向量：
高斯塔式分解，包括低通滤波和降采样过程。设原图像G0为高斯分解第0层，则高斯金字塔分解变换可表示为：
N为高斯金字塔顶层的层号；
分别是高斯金字塔第
层图像的行数和列数，
为第
层的图像。对
先进行每一行高斯分解，再进行每一列高斯分解。
B，由高斯金字塔建立Laplace金字塔，此过程分为内插放大和带通滤波两个过程。内插放大过程表示为：
内插放大先对行数据内插放大两倍，再对列数据内插放大两倍，并且插值时，奇数位置用式（a）插值，偶数位置用式（b）插值。由内插放大，得到放大的图像
，使
的尺寸与
的尺寸相同。
C，对不同层次的子图，采取不同的融合方法。将拉普拉斯顶层子图作为图像的低频子图，其余层次子图作为图像的高频子图。由于红外图像的分辨率较低，经过边缘检测后的图像低频子图的信息较多，将红外图像低频子图作为融合后的图像低频子图。对于高频子图，则需要分析纹理特征，根据各自不同特点，采用基于区域特性的能量加权平均融合规则。可见光图像边缘提取的子图，有较明显的纹理特征，取能量最高的方向的能量均值作为该区域的能量权值，而红外图像则按照本区域能量均值作为能量权值，融合过程表示为：
其中G为融合后高频子图，G1、G2分别为红外图像边缘检测和可见光图像边缘检测的高频子图，H1、H2为对应的能量权值。
D，从拉普拉斯金字塔
的顶层开始按下式递推：
其中G* l+1由G l+1内插放大，最终可获得融合后图像G0。
步骤（8）提取融合后图像道路区域并增强，表述如下：
A. 综合考虑直道与弯道以及本算法计算复杂度，采用最小二乘法[6]有效定位车道边缘：
对步骤（7）获取到的融合图像采取步骤（4）的方法提取图像的边缘，假定边缘数据点为
，设道路曲线方程为多项式：
B. 误差函数
为
的多元函数，求其极值：
，
。
C. 将误差函数
的等式转换为矩阵表示。
即可解出
。
根据边缘点
的范围，确定道路范围，对范围内图像进行对比度增强及亮度增强。
Claims (4)
1.一种多源图像融合方法，用于车载红外夜视系统，其特征在于，该方法分别利用一可见光摄像装置以及一红外摄像装置同时获取观测区域的可见光图像和红外图像；然后将获取的可见光图像和红外图像进行融合，生成融合图像；具体步骤如下：
步骤A、分别对可见光图像和红外图像进行预处理，预处理包括图像的均衡和滤波；
步骤B、采用多尺度Harris-Laplace特征点提取算法分别对预处理后的可见光图像和红外图像构建尺度空间图像集，并提取多尺度特征点及特征尺度；
步骤C、统计步骤B中得到的特征尺度数据，以重复出现最多的特征尺度数据作为最佳特征尺度，以该最佳特征尺度对原可见光图像和红外图像进行Canny边缘提取，进行二值化后存储；
步骤D、分别在步骤C中获取的可见光与红外边缘二值化图像上，以步骤B中提取的多尺度特征点的坐标为中心，以步骤C得到的最佳特征尺度对应的数值为长度，构建正方形检测区域，对检测区域利用最小截平方Hausdorff距离为测度进行精确匹配，并获得精确匹配的特征点对；
步骤E、使用最小二乘法对获取到的精确匹配的特征点对拟合出仿射变换的参数，利用该参数对待匹配图进行仿射变换，并存储已配准的可见光图像和红外图像；
步骤F、将已配准的可见光图像和红外图像采用改进模板的金字塔图像融合方法进行融合，具体包括以下步骤：
步骤F1.将经典的5×5高斯模板分解为向量：
步骤F2.使用w(n)构建高斯金字塔；
高斯塔式分解：
其中，G0为高斯分解第0层，N为高斯金字塔顶层的层号；Cl和Rl分别是高斯金字塔第l层图像的行数和列数，Gl为第l层的图像；
对Gl先进行每一行高斯分解，再进行每一列高斯分解，通过采样构成高斯金字塔；
步骤F3.由高斯金字塔建立Laplace金字塔对可见光图像与红外图像分解与融合。
2.如权利要求1所述多源图像融合方法，其特征在于，步骤C具体包括以下步骤：
步骤C1.定义积分尺度的尺度变化函数：σI=b·an,n=0,1…N；其中，σI为尺度变化函数，a,b为常数因子，n为尺度空间图像序号，N为尺度空间图像总数；根据上述尺度变化函数分别统计出可见光图像对应的最佳特征尺度σs_vi与红外图像对应的最佳特征尺度σs_in；
步骤C2.以可见光图像对应的最佳特征尺度σs_vi为标准差，〈6σs_vi〉为模板尺寸，对预处理后的可见光图像进行高斯平滑滤波，获取到可见光图像的边缘特征尺度图像；以红外图像对应的最佳特征尺度σs_in为标准差，〈6σs_in〉为模板尺寸，对预处理后的红外图像进行高斯平滑滤波，获取到红外图像的边缘特征尺度图像；其中，〈·〉为向下取整；
步骤C3.在可见光边缘特征尺度图像上，以每个特征点为中心，以〈6σs_vi〉为长度划定每个特征点的矩形区域子图像；在红外边缘特征尺度图像上，以每个特征点为中心，以〈6σs_in〉为长度划定每个特征点的矩形区域子图像；
将红外图像的每个矩形区域子图像插值或采样为与可见光图像相同区域大小；以可见光图像为基准图，在其每个特征点附近搜索红外图像的特征点，构成候选匹配点对；
步骤C4.对所有矩形区域子图像进行Canny边缘提取，并进行二值化处理后存储。
3.如权利要求1所述多源图像融合方法，其特征在于，步骤D所述对检测区域利用最小截平方Hausdorff距离为测度进行精确匹配的方法具体为：
在候选匹配点对中，以特征点对应的矩形区域二值化子图像作为输入，其像素点对应的坐标为参数，使用最小截平方Hausdorff距离进行相似度测量，候选匹配点对中距离最小的匹配对为精确匹配对。
4.如权利要求1-3任一项所述的多源图像融合方法，其特征在于，在步骤F后还包括确定可见光和红外融合图像中的道路范围，并对道路范围内的图像进行对比度增强和亮度增强的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210017952.5A CN102567979B (zh) | 2012-01-20 | 2012-01-20 | 车载红外夜视系统及其多源图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210017952.5A CN102567979B (zh) | 2012-01-20 | 2012-01-20 | 车载红外夜视系统及其多源图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102567979A CN102567979A (zh) | 2012-07-11 |
| CN102567979B true CN102567979B (zh) | 2014-02-05 |
Family
ID=46413329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210017952.5A Active CN102567979B (zh) | 2012-01-20 | 2012-01-20 | 车载红外夜视系统及其多源图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102567979B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102963294B (zh) * | 2012-11-02 | 2014-12-10 | 西安理工大学 | 一种夜间行驶车辆远光灯开启状态的判别方法 |
| CN104284140A (zh) * | 2013-07-08 | 2015-01-14 | 上海奇志光电科技有限公司 | 一种车辆夜间辅助驾驶系统及方法 |
| CN103337080A (zh) * | 2013-07-15 | 2013-10-02 | 四川大学 | 基于梯度方向Hausdorff 距离的红外图像和可见光图像配准技术 |
| CN103390281B (zh) * | 2013-07-29 | 2016-04-13 | 西安科技大学 | 一种双光谱夜视仪车载系统及双光谱融合设计方法 |
| CN104463774B (zh) * | 2013-09-25 | 2017-09-29 | 北京环境特性研究所 | 一种基于dm642的三路图像融合处理器设计方法 |
| CN103793895A (zh) * | 2014-01-10 | 2014-05-14 | 中国农业大学 | 一种果树冠层器官图像拼接方法 |
| CN105263008B (zh) * | 2014-06-19 | 2018-03-16 | 深圳中兴力维技术有限公司 | 低环境照度下的彩色图像质量提升方法及其装置 |
| CN104021568B (zh) * | 2014-06-25 | 2017-02-15 | 山东大学 | 基于轮廓多边形拟合的可见光与红外图像的自动配准方法 |
| CN107578433B (zh) * | 2017-08-17 | 2020-04-21 | 中南大学 | 一种用于识别电解槽极板温度的方法 |
| CN107657664B (zh) * | 2017-08-17 | 2020-07-10 | 上海交通大学 | 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备 |
| CN107607202B (zh) * | 2017-08-31 | 2021-05-11 | 江苏宇特光电科技股份有限公司 | 三光融合智能成像仪 |
| CN109756685A (zh) * | 2017-11-07 | 2019-05-14 | 科盾科技股份有限公司 | 一种基于图像拼接和图像融合的车载夜视系统 |
| CN108154493B (zh) * | 2017-11-23 | 2021-11-30 | 南京理工大学 | 一种基于fpga的双波段红外图像伪彩融合算法 |
| CN108171318B (zh) * | 2017-11-30 | 2022-05-27 | 河南大学 | 一种基于模拟退火—高斯函数的卷积神经网络集成方法 |
| CN108364272A (zh) * | 2017-12-30 | 2018-08-03 | 广东金泽润技术有限公司 | 一种高性能红外-可见光融合探测方法 |
| CN108765358A (zh) * | 2018-05-22 | 2018-11-06 | 烟台艾睿光电科技有限公司 | 可见光和红外光的双光融合方法以及插件式热像仪系统 |
| CN109215046B (zh) * | 2018-08-06 | 2021-05-21 | 浙江工贸职业技术学院 | 一种基于图像插值运算的拉普拉斯算子边缘检测方法 |
| CN109101940A (zh) * | 2018-08-24 | 2018-12-28 | 北京壹氢科技有限公司 | 一种无人机红外视频信息显示于可见光视频中的方法 |
| CN109118466B (zh) * | 2018-08-29 | 2021-08-03 | 电子科技大学 | 一种红外图像与可见光图像融合的处理方法 |
| CN109345499A (zh) * | 2018-10-23 | 2019-02-15 | 太原理工大学 | 一种红外图像融合技术 |
| EP3877951A1 (en) * | 2018-11-06 | 2021-09-15 | Flir Commercial Systems, Inc. | Automatic co-registration of thermal and visible image pairs |
| CN110243769A (zh) * | 2019-07-30 | 2019-09-17 | 南阳理工学院 | 一种多源信息辅助的高光谱亚像元目标识别系统和方法 |
| CN110544205B (zh) * | 2019-08-06 | 2021-05-07 | 西安电子科技大学 | 基于可见光与红外交叉输入的图像超分辨率重建方法 |
| CN110880003B (zh) * | 2019-10-12 | 2023-01-17 | 中国第一汽车股份有限公司 | 一种图像匹配方法、装置、存储介质及汽车 |
| CN111667520B (zh) * | 2020-06-09 | 2023-05-16 | 中国人民解放军63811部队 | 红外图像和可见光图像的配准方法、装置及可读存储介质 |
| CN111738969B (zh) * | 2020-06-19 | 2024-05-28 | 无锡英菲感知技术有限公司 | 图像融合方法、装置及计算机可读存储介质 |
| CN112184831B (zh) * | 2020-09-23 | 2023-06-16 | 深兰自动驾驶研究院(山东)有限公司 | 一种rgb图像及ir图像的自动对应标定方法、系统及装置 |
| CN112383747B (zh) * | 2020-11-02 | 2021-06-22 | 长沙超创电子科技有限公司 | 一种长距离全范围超高分辨率智能感知复眼监控摄像机 |
| CN112329677B (zh) * | 2020-11-12 | 2024-02-02 | 北京环境特性研究所 | 基于特征融合的遥感图像河道目标检测方法和装置 |
| CN112750095A (zh) * | 2021-01-04 | 2021-05-04 | 悉地（苏州）勘察设计顾问有限公司 | 一种红外与可见光融合方法、交通监控装置及存储介质 |
| CN113095139B (zh) * | 2021-03-11 | 2022-07-05 | 上海航天控制技术研究所 | 一种基于高斯模板匹配的红外点目标识别方法 |
| CN113112440A (zh) * | 2021-04-23 | 2021-07-13 | 华北电力大学 | 一种基于fpga的紫外与可见光图像融合系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673396A (zh) * | 2009-09-07 | 2010-03-17 | 南京理工大学 | 基于动态目标检测的图像融合方法 |
| CN102298779A (zh) * | 2011-08-16 | 2011-12-28 | 淮安盈科伟力科技有限公司 | 全景辅助泊车系统的图像配准方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4532765B2 (ja) * | 2001-03-13 | 2010-08-25 | キヤノン株式会社 | 画像処理装置及び画像処理プログラム |
-
2012
- 2012-01-20 CN CN201210017952.5A patent/CN102567979B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673396A (zh) * | 2009-09-07 | 2010-03-17 | 南京理工大学 | 基于动态目标检测的图像融合方法 |
| CN102298779A (zh) * | 2011-08-16 | 2011-12-28 | 淮安盈科伟力科技有限公司 | 全景辅助泊车系统的图像配准方法 |
Non-Patent Citations (2)
| Title |
|---|
| 朱智超，闫钧华，徐诚.基于亚像素红外与可见光图像配准方法.《国外电子测量技术》.2011,第30卷(第9期), * |
| 金宝刚,王晓蕾.一种红外与可见光图像的自动配准方法.《光学与光电技术》.2007,第5卷(第6期), * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102567979A (zh) | 2012-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102567979B (zh) | 车载红外夜视系统及其多源图像融合方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| Choi et al. | Thermal image enhancement using convolutional neural network | |
| CN104766058B (zh) | 一种获取车道线的方法和装置 | |
| CN111046880B (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN107341453B (zh) | 一种车道线提取方法及装置 | |
| CN104392212B (zh) | 一种基于视觉的道路信息检测及前方车辆识别方法 | |
| CN102298779B (zh) | 全景辅助泊车系统的图像配准方法 | |
| CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
| CN104299008B (zh) | 基于多特征融合的车型分类方法 | |
| CN111563469A (zh) | 一种不规范停车行为识别方法及装置 | |
| CN103793708B (zh) | 一种基于仿射校正的多尺度车牌精准定位方法 | |
| CN109584281B (zh) | 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 | |
| CN104751465A (zh) | 一种基于lk光流约束的orb图像特征配准方法 | |
| CN103500327B (zh) | 基于空间位置信息的同一品牌车辆的车型识别方法 | |
| CN104778721A (zh) | 一种双目图像中显著性目标的距离测量方法 | |
| CN106558072A (zh) | 一种基于改进sift特征在遥感图像上配准的方法 | |
| CN106407924A (zh) | 基于路面特征的双目道路识别检测方法 | |
| CN105809640A (zh) | 基于多传感器融合的低照度视频图像增强方法 | |
| CN104134200A (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
| CN106250816A (zh) | 一种基于双摄像头的车道线识别方法及系统 | |
| CN111539303B (zh) | 基于单目视觉的车辆驾驶偏移预警方法 | |
| CN111382658B (zh) | 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法 | |
| CN116279592A (zh) | 一种用于无人物流车的可行驶区域划分方法 | |
| CN104598906B (zh) | 车辆外轮廓检测方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |