CN110942475A - 紫外与可见光图像融合系统及快速图像配准方法 - Google Patents

紫外与可见光图像融合系统及快速图像配准方法 Download PDF

Info

Publication number
CN110942475A
CN110942475A CN201911106804.9A CN201911106804A CN110942475A CN 110942475 A CN110942475 A CN 110942475A CN 201911106804 A CN201911106804 A CN 201911106804A CN 110942475 A CN110942475 A CN 110942475A
Authority
CN
China
Prior art keywords
image
ultraviolet
visible light
map
vis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911106804.9A
Other languages
English (en)
Other versions
CN110942475B (zh
Inventor
杨锋
顾燕
吕扬
赵维骏
朱波
郭一亮
焦国力
董隽媛
周新
宋淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Night Vision Technology Co Ltd
Original Assignee
North Night Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Night Vision Technology Co Ltd filed Critical North Night Vision Technology Co Ltd
Priority to CN201911106804.9A priority Critical patent/CN110942475B/zh
Publication of CN110942475A publication Critical patent/CN110942475A/zh
Application granted granted Critical
Publication of CN110942475B publication Critical patent/CN110942475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种紫外与可见光图像融合系统及快速图像配准方法,紫外光电动聚焦光学镜头、可见光电动聚焦光学镜头、紫外探测器、可见光探测器、光学镜头聚焦信息采集模块、图像采集模块、图像处理模块、控制模块、图像显示模块、供电模块以及图像配准装置。本发明可自适应修正由平行光轴带来图像间的探测距离不同而改变的目标平移量,并快速实现图像的畸变校正及配准。

Description

紫外与可见光图像融合系统及快速图像配准方法
技术领域
本发明涉及图像处理技术领域,具体而言涉及一种紫外与可见光图像融合系统及自适应快速图像配准方法。
背景技术
在图像处理领域中,多光谱图像信息融合技术可以弥补单一传感器由于自身器件、探测环境等因素带来的不足,使多传感器协同工作成为可能。其中,图像配准是图像信息融合的先决条件与关键,只有匹配精度高的图像经过图像信息融合才能可以更好的丰富图像的信息,图像配准技术一直是图像信息融合技术的一个难点,由于不同传感器的光学视场角、探测器分辨率、融合系统前端光路结构等因素,在工程化系统中实现快速配准是非常困难的。
目前,大多是图像信息融合系统实时图像配准仍需要手动配合调整配准参数,例如红外和可见光图像融合系统,由于光学材料等因素的限制,系统光路多采用双光路平行光轴设计,此种光轴设计简单,但是在某一距离实现图像配准后,由于光轴之间的存在间距,带来的直接影响是系统随着探测距离的改变原先配准好的图像将出现错位的失配现象。传统图像配准方法有基于灰度信息的图像配准方法、基于特征的图像配准方法等,其中基于灰度信息的图像配准方法需要对整幅图像进行计算,当图像较大时会存在计算量大、配准速度慢情况;基于特征的图像配准方法是目前最广泛使用的图像配准方法,但对于不存在明显特征的图像配准很难完成,如可见光与紫外光图像、红外与紫外图像等。以上两种方法需要遍历图像,实际应用时计算量大,对于实时系统应用视频图像延迟较高。
发明内容
本发明针对目前平行光轴在不同距离目标探测存在失配及传统图像配准算法不利于工程实现,提出一种紫外与可见光图像融合系统及自适应快速图像配准方法,可自适应修正由平行光轴带来图像间的探测距离不同而改变的目标平移量,并快速实现图像的畸变校正及配准。
为达成上述目的,本发明提出一种紫外与可见光图像融合系统,包括紫外光电动聚焦光学镜头、可见光电动聚焦光学镜头、紫外探测器、可见光探测器、光学镜头聚焦信息采集模块、图像采集模块、图像处理模块、控制模块、图像显示模块、供电模块以及图像配准装置,其中:
紫外光电动聚焦光学镜头,用于场景紫外光光学聚焦成像,并反馈聚焦信息;
可见光电动聚焦光学镜头,用于场景可见光学聚焦成像,并反馈聚焦信息;
紫外光探测器,用于将紫外光光学图像转换成二维数字图像;
可见光探测器,用于将可见光光学图像转换成二维数字图像;
光学镜头聚焦信息采集模块,用于采集紫外光和可见光光学镜头聚焦位置反馈信息;
图像采集模块,用于采集紫外光探测器和可见光探测器的数字信号;
图像处理模块,用于实现紫外图像与可见光图像的融合处理;
控制模块,用于控制图像处理模块的图像融合;
图像显示模块,用于图像融合处理后的图像显示;
供电模块,用于对系统进行供电;
图像配准装置包括紫外光源、棋盘靶标以及计算机系统,所述紫外光源,用于在标定过程中提供紫外信号;棋盘靶标,用于在标定过程中提供具有角点特征的棋盘图像。
优选的实施例中,所述紫外光电动聚焦光学镜头和紫外探测器组成的紫外光路与可见光电动聚焦光学镜头和可见光探测器组成的可见光光路不存在旋转关系,且垂直方向探测中心在同一高度。
优选的实施例中,所述控制模块通过控制图像采集模块和图像处理模块的图像采集和图像处理实现紫外图像与可见光图像的配准处理。
优选的实施例中,紫外图像与可见光图像的配准处理具体包括:
采集未经过图像配准处理的紫外棋盘靶图像及可见光棋盘靶图像;
将采集的紫外棋盘靶图像和可见光棋盘靶图像进行鱼眼校正标定,得到紫外通道相机内参矩阵AUV、畸变系数DUV,可见光通道相机内参矩阵AVIS、畸变系数DVIS
根据内参矩阵和畸变系数,获取紫外相机原始图像和校正后图像的坐标对应矩阵,包括:紫外图像的水平方向对应矩阵mapnUV、垂直方向对应矩阵mapmUV,以及可见光图像的水平方向对应矩阵mapnVIS、垂直方向对应矩阵mapmVIS
设校正后紫外图像某一坐标点像素值为IUV(x,y),可见光为IVIS(x,y),则:
IUV(x,y)=I′UV(mapnUV(x,y),mapmUV(x,y))
IVIS(x,y)=I′VIS(mapnVIS(x,y),mapmVIS(x,y))
其中,I′UV未校正前原始紫外图像;I′VIS为未校正前可见光图像;x为校正后图像水平坐标;y为校正后图像垂直坐标;
通过校正后的紫外图像和可见光图像,确定图像缩放比例系数k,图像中心点的垂直偏移量为d,由于安装时探测中心在同一高度,可得d=0;
通过调节可见光镜头的聚焦电机,记录当不同聚焦距离时,校正后的紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F,存在对应关系,并进行统计标定:
l=map(F)
采用可见光作为参考图像背景,使紫外图像与可见光图像完全重叠,利用计算机可得经过缩放与平移后的水平方向对应矩阵map′nUV和垂直方向对应矩阵map′mUV
map′nUV(x,y)=mapnUV(k*(x-l),k*y)
map′mUV(x,y)=mapmUV(k*(x-l),k*y)
则紫外图像最终显示图像
Figure BDA0002271556710000031
Figure BDA0002271556710000032
将矩阵map′nUV、map′mUV、mapnVIS、mapmVIS生成查找表,将紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F统计关系map(F)生成查找表,并将五个查找表固化到融合系统存储器中;
当紫外与可见光融合系统启动后,将采集到的一帧原始紫外图像与可见光图像在存储器中进行缓存,通过五个查找表从存储器中获得需要显示的图像数据输出,实现快速图像校正配准。
优选的实施例中,所述图像处理模块采用FPGA、ARM或者DSP实现。
本发明还提出一种紫外与可见光图像快速配准方法,包括:
将紫外光电动聚焦光学镜头、可见光电动聚焦光学镜头、紫外探测器、可见光探测器安装至图像融合系统内,并通过安装是的紫外光电动聚焦光学镜头和紫外探测器组成的紫外光路与可见光电动聚焦光学镜头和可见光探测器组成的可见光光路不存在旋转关系,且垂直方向探测中心在同一高度;
采集未经过图像配准处理的紫外棋盘靶图像及可见光棋盘靶图像;
将采集的紫外棋盘靶图像和可见光棋盘靶图像进行鱼眼校正标定,得到紫外通道相机内参矩阵AUV、畸变系数DUV,可见光通道相机内参矩阵AVIS、畸变系数DVIS
根据内参矩阵和畸变系数,获取紫外相机原始图像和校正后图像的坐标对应矩阵,包括:紫外图像的水平方向对应矩阵mapnUV、垂直方向对应矩阵mapmUV,以及可见光图像的水平方向对应矩阵mapnVIS、垂直方向对应矩阵mapmVIS
设校正后紫外图像某一坐标点像素值为IUV(x,y),可见光为IVIS(x,y),则:
IUV(x,y)=I′UV(mapnUV(x,y),mapmUV(x,y)
IVIS(x,y)=I′VIS(mapnVIS(x,y),mapmVIS(x,y))
其中,I′UV未校正前原始紫外图像;I′VIS为未校正前可见光图像;x为校正后图像水平坐标;y为校正后图像垂直坐标;
通过校正后的紫外图像和可见光图像,确定图像缩放比例系数k,图像中心点的垂直偏移量为d,由于安装时探测中心在同一高度,可得d=0;
通过调节可见光镜头的聚焦电机,记录当不同聚焦距离时,校正后的紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F,存在对应关系,并进行统计标定:
l=map(F)
采用可见光作为参考图像背景,使紫外图像与可见光图像完全重叠,利用计算机可得经过缩放与平移后的水平方向对应矩阵map′nUV和垂直方向对应矩阵map′mUV
map′nUV(x,y)=mapnUV(k*(x-l),k*y)
map′mUV(x,y)=mapmUV(k*(x-l),k*y)
则紫外图像最终显示图像
Figure BDA0002271556710000041
Figure BDA0002271556710000042
将矩阵map′nUV、map′mUV、mapnVIS、mapmVIS生成查找表,将紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F统计关系mpa(F)生成查找表,并将五个查找表固化到融合系统存储器中;
当紫外与可见光融合系统启动后,将采集到的一帧原始紫外图像与可见光图像在存储器中进行缓存,通过五个查找表从存储器中获得需要显示的图像数据输出,实现快速图像校正配准。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1是本发明的紫外与可见光融合系统结构框图。
图2是本发明的紫外、可见光鱼眼校正示意框图。
图3是紫外、可见光棋盘靶图像。
图4是查找快速图像校正配准示意图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
结合图1-4所示,根据本发明优选的实施例的一种紫外与可见光图像融合系统,包括紫外光电动聚焦光学镜头、可见光电动聚焦光学镜头、紫外探测器、可见光探测器、光学镜头聚焦信息采集模块、图像采集模块、图像处理模块、控制模块、图像显示模块、供电模块以及图像配准装置。
紫外光电动聚焦光学镜头,用于场景紫外光光学聚焦成像,并反馈聚焦信息。
可见光电动聚焦光学镜头,用于场景可见光学聚焦成像,并反馈聚焦信息。
紫外光探测器,用于将紫外光光学图像转换成二维数字图像。
可见光探测器,用于将可见光光学图像转换成二维数字图像。
光学镜头聚焦信息采集模块,用于采集紫外光和可见光光学镜头聚焦位置反馈信息。
图像采集模块,用于采集紫外光探测器和可见光探测器的数字信号。
图像处理模块,用于实现紫外图像与可见光图像的融合处理。
控制模块,用于控制图像处理模块的图像融合。
图像显示模块,用于图像融合处理后的图像显示。
供电模块,用于对系统进行供电。
图像配准装置包括紫外光源、棋盘靶标以及计算机系统,所述紫外光源,用于在标定过程中提供紫外信号;棋盘靶标,用于在标定过程中提供具有角点特征的棋盘图像。
优选的实施例中,所述紫外光电动聚焦光学镜头和紫外探测器组成的紫外光路与可见光电动聚焦光学镜头和可见光探测器组成的可见光光路不存在旋转关系,且垂直方向探测中心在同一高度。
优选的实施例中,所述控制模块通过控制图像采集模块和图像处理模块的图像采集和图像处理实现紫外图像与可见光图像的配准处理。
优选的实施例中,紫外图像与可见光图像的配准处理具体包括:
采集未经过图像配准处理的紫外棋盘靶图像及可见光棋盘靶图像;
将采集的紫外棋盘靶图像和可见光棋盘靶图像进行鱼眼校正标定,得到紫外通道相机内参矩阵AUV、畸变系数DUV,可见光通道相机内参矩阵AVIS、畸变系数DVIS
根据内参矩阵和畸变系数,获取紫外相机原始图像和校正后图像的坐标对应矩阵,包括:紫外图像的水平方向对应矩阵mapnUV、垂直方向对应矩阵mapmUV,以及可见光图像的水平方向对应矩阵mapnVIS、垂直方向对应矩阵mapmVIS
设校正后紫外图像某一坐标点像素值为IUV(x,y),可见光为IVIS(x,y),则:
IUV(x,y)=I′UV(mapnUV(x,y),mapmUV(x,y))
IVIS(x,y)=I′VIS(mapnVIS(x,y),mapmVIS(x,y))
其中,I′UV未校正前原始紫外图像;I′VIS为未校正前可见光图像;x为校正后图像水平坐标;y为校正后图像垂直坐标;
通过校正后的紫外图像和可见光图像,确定图像缩放比例系数k,图像中心点的垂直偏移量为d,由于安装时探测中心在同一高度,可得d=0;
通过调节可见光镜头的聚焦电机,记录当不同聚焦距离时,校正后的紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F,存在对应关系,并进行统计标定:
l=map(F)
采用可见光作为参考图像背景,使紫外图像与可见光图像完全重叠,利用计算机可得经过缩放与平移后的水平方向对应矩阵map′nUV和垂直方向对应矩阵map′mUV
map′nUV(x,y)=mapnUV(k*(x-l),k*y)
map′mUV(x,y)=mapmUV(k*(x-l),k*y)
则紫外图像最终显示图像
Figure BDA0002271556710000062
Figure BDA0002271556710000061
将矩阵map′nUV、map′mUV、mapnVIS、mapmVIS生成查找表,将紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F统计关系map(F)生成查找表,并将五个查找表固化到融合系统存储器中;
当紫外与可见光融合系统启动后,将采集到的一帧原始紫外图像与可见光图像在存储器中进行缓存,通过五个查找表从存储器中获得需要显示的图像数据输出,实现快速图像校正配准。
优选的实施例中,所述图像处理模块采用FPGA、ARM或者DSP实现。
本发明还提出一种紫外与可见光图像快速配准方法,包括:
将紫外光电动聚焦光学镜头、可见光电动聚焦光学镜头、紫外探测器、可见光探测器安装至图像融合系统内,并通过安装是的紫外光电动聚焦光学镜头和紫外探测器组成的紫外光路与可见光电动聚焦光学镜头和可见光探测器组成的可见光光路不存在旋转关系,且垂直方向探测中心在同一高度;
采集未经过图像配准处理的紫外棋盘靶图像及可见光棋盘靶图像;
将采集的紫外棋盘靶图像和可见光棋盘靶图像进行鱼眼校正标定,得到紫外通道相机内参矩阵AUV、畸变系数DUV,可见光通道相机内参矩阵AVIS、畸变系数DVIS
根据内参矩阵和畸变系数,获取紫外相机原始图像和校正后图像的坐标对应矩阵,包括:紫外图像的水平方向对应矩阵mapnUV、垂直方向对应矩阵mapmUV,以及可见光图像的水平方向对应矩阵mapnVIS、垂直方向对应矩阵mapmVIS
设校正后紫外图像某一坐标点像素值为IUV(x,y),可见光为IVIS(x,y),则:
IUV(x,y)=I′UV(mapnUV(x,y),mapmUV(x,y))
IVIS(x,y)=I′VIS(mapnVIS(x,y),mapmVIS(x,y))
其中,I′UV未校正前原始紫外图像;I′VIS为未校正前可见光图像;x为校正后图像水平坐标;y为校正后图像垂直坐标;
通过校正后的紫外图像和可见光图像,确定图像缩放比例系数k,图像中心点的垂直偏移量为d,由于安装时探测中心在同一高度,可得d=0;
通过调节可见光镜头的聚焦电机,记录当不同聚焦距离时,校正后的紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F,存在对应关系,并进行统计标定:
l=map(F)
采用可见光作为参考图像背景,使紫外图像与可见光图像完全重叠,利用计算机可得经过缩放与平移后的水平方向对应矩阵map′nUV和垂直方向对应矩阵map′mUV
map′nUV(x,y)=mapnUV(k*(x-l),k*y)
map′mUV(x,y)=mapmUV(k*(x-l),k*y)
则紫外图像最终显示图像
Figure BDA0002271556710000072
Figure BDA0002271556710000071
将矩阵map′nUV、map′mUV、mapnVIS、mapmVIS生成查找表,将紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F统计关系map(F)生成查找表,并将五个查找表固化到融合系统存储器中;
当紫外与可见光融合系统启动后,将采集到的一帧原始紫外图像与可见光图像在存储器中进行缓存,通过五个查找表从存储器中获得需要显示的图像数据输出,实现快速图像校正配准。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种紫外与可见光图像融合系统,其特征在于,包括紫外光电动聚焦光学镜头、可见光电动聚焦光学镜头、紫外探测器、可见光探测器、光学镜头聚焦信息采集模块、图像采集模块、图像处理模块、控制模块、图像显示模块、供电模块以及图像配准装置,其中:
紫外光电动聚焦光学镜头,用于场景紫外光光学聚焦成像,并反馈聚焦信息;
可见光电动聚焦光学镜头,用于场景可见光学聚焦成像,并反馈聚焦信息;
紫外光探测器,用于将紫外光光学图像转换成二维数字图像;
可见光探测器,用于将可见光光学图像转换成二维数字图像;
光学镜头聚焦信息采集模块,用于采集紫外光和可见光光学镜头聚焦位置反馈信息;
图像采集模块,用于采集紫外光探测器和可见光探测器的数字信号;
图像处理模块,用于实现紫外图像与可见光图像的融合处理;
控制模块,用于控制图像处理模块的图像融合;
图像显示模块,用于图像融合处理后的图像显示;
供电模块,用于对系统进行供电;
图像配准装置包括紫外光源、棋盘靶标以及计算机系统,所述紫外光源,用于在标定过程中提供紫外信号;棋盘靶标,用于在标定过程中提供具有角点特征的棋盘图像。
2.根据权利要求1所述的紫外与可见光图像融合系统,其特征在于,所述紫外光电动聚焦光学镜头和紫外探测器组成的紫外光路与可见光电动聚焦光学镜头和可见光探测器组成的可见光光路不存在旋转关系,且垂直方向探测中心在同一高度。
3.根据权利要求1所述的紫外与可见光图像融合系统,其特征在于,所述控制模块通过控制图像采集模块和图像处理模块的图像采集和图像处理实现紫外图像与可见光图像的配准处理。
4.根据权利要求3所述的紫外与可见光图像融合系统,其特征在于,紫外图像与可见光图像的配准处理具体包括:
采集未经过图像配准处理的紫外棋盘靶图像及可见光棋盘靶图像;
将采集的紫外棋盘靶图像和可见光棋盘靶图像进行鱼眼校正标定,得到紫外通道相机内参矩阵AUV、畸变系数DUV,可见光通道相机内参矩阵AVIS、畸变系数DVIS
根据内参矩阵和畸变系数,获取紫外相机原始图像和校正后图像的坐标对应矩阵,包括:紫外图像的水平方向对应矩阵mapnUV、垂直方向对应矩阵mapmUV,以及可见光图像的水平方向对应矩阵mapnVIS、垂直方向对应矩阵mapmVIS
设校正后紫外图像某一坐标点像素值为IUV(x,y),可见光为IVIS(x,y),则:
IUV(x,y)=I′UV(mapnUV(x,y),mapmUV(x,y))
IVIS(x,y)=I′VIS(mapnVIS(x,y),mapmVIS(x,y))
其中,I′UV未校正前原始紫外图像;I′VIS为未校正前可见光图像;x为校正后图像水平坐标;y为校正后图像垂直坐标;
通过校正后的紫外图像和可见光图像,确定图像缩放比例系数k,图像中心点的垂直偏移量为d,由于安装时探测中心在同一高度,可得d=0;
通过调节可见光镜头的聚焦电机,记录当不同聚焦距离时,校正后的紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F,存在对应关系,并进行统计标定:
l=map(F)
采用可见光作为参考图像背景,使紫外图像与可见光图像完全重叠,利用计算机可得经过缩放与平移后的水平方向对应矩阵map′nUV和垂直方向对应矩阵map′mUV
map′nUV(x,y)=mapnUV(k*(x-l),k*y)
map′mUV(x,y)=mapmUV(k*(x-l),k*y)
则紫外图像最终显示图像
Figure FDA0002271556700000021
Figure FDA0002271556700000022
将矩阵map′nUV、map′mUV、mapnVIS、mapmVIS生成查找表,将紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F统计关系map(F)生成查找表,并将五个查找表固化到融合系统存储器中;
当紫外与可见光融合系统启动后,将采集到的一帧原始紫外图像与可见光图像在存储器中进行缓存,通过五个查找表从存储器中获得需要显示的图像数据输出,实现快速图像校正配准。
5.根据权利要求3所述的紫外与可见光图像融合系统,其特征在于,所述图像处理模块采用FPGA、ARM或者DSP实现。
6.根据权利要求1所述的紫外与可见光图像融合系统实现的紫外与可见光图像快速配准方法,其特征在于,包括:
将紫外光电动聚焦光学镜头、可见光电动聚焦光学镜头、紫外探测器、可见光探测器安装至图像融合系统内,并通过安装是的紫外光电动聚焦光学镜头和紫外探测器组成的紫外光路与可见光电动聚焦光学镜头和可见光探测器组成的可见光光路不存在旋转关系,且垂直方向探测中心在同一高度;
采集未经过图像配准处理的紫外棋盘靶图像及可见光棋盘靶图像;
将采集的紫外棋盘靶图像和可见光棋盘靶图像进行鱼眼校正标定,得到紫外通道相机内参矩阵AUV、畸变系数DUV,可见光通道相机内参矩阵AVIS、畸变系数DVIS
根据内参矩阵和畸变系数,获取紫外相机原始图像和校正后图像的坐标对应矩阵,包括:紫外图像的水平方向对应矩阵mapnUV、垂直方向对应矩阵mapmUV,以及可见光图像的水平方向对应矩阵mapnVIS、垂直方向对应矩阵mapmVIS
设校正后紫外图像某一坐标点像素值为IUV(x,y),可见光为IVIS(x,y),则:
IUV(x,y)=I′UV(mapnUV(x,y),mapmUV(x,y))
IVIS(x,y)=I′VIS(mapnVIS(x,y),mapmVIS(x,y))
其中,I′UV未校正前原始紫外图像;I′VIS为未校正前可见光图像;x为校正后图像水平坐标;y为校正后图像垂直坐标;
通过校正后的紫外图像和可见光图像,确定图像缩放比例系数k,图像中心点的垂直偏移量为d,由于安装时探测中心在同一高度,可得d=0;
通过调节可见光镜头的聚焦电机,记录当不同聚焦距离时,校正后的紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F,存在对应关系,并进行统计标定:
l=map(F)
采用可见光作为参考图像背景,使紫外图像与可见光图像完全重叠,利用计算机可得经过缩放与平移后的水平方向对应矩阵map′nUV和垂直方向对应矩阵map′mUV
map′nUV(x,y)=mapnUV(k*(x-l),k*y)
map′mUV(x,y)=mapmUV(k*(x-l),k*y)
则紫外图像最终显示图像
Figure FDA0002271556700000031
Figure FDA0002271556700000032
将矩阵map′nUV、map′mUV、mapnVIS、mapmVIS生成查找表,将紫外图像和可见光图像中心点的水平偏移量l与电机反馈值F统计关系map(F)生成查找表,并将五个查找表固化到融合系统存储器中;
当紫外与可见光融合系统启动后,将采集到的一帧原始紫外图像与可见光图像在存储器中进行缓存,通过五个查找表从存储器中获得需要显示的图像数据输出,实现快速图像校正配准。
CN201911106804.9A 2019-11-13 2019-11-13 紫外与可见光图像融合系统及快速图像配准方法 Active CN110942475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911106804.9A CN110942475B (zh) 2019-11-13 2019-11-13 紫外与可见光图像融合系统及快速图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911106804.9A CN110942475B (zh) 2019-11-13 2019-11-13 紫外与可见光图像融合系统及快速图像配准方法

Publications (2)

Publication Number Publication Date
CN110942475A true CN110942475A (zh) 2020-03-31
CN110942475B CN110942475B (zh) 2023-02-17

Family

ID=69906646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911106804.9A Active CN110942475B (zh) 2019-11-13 2019-11-13 紫外与可见光图像融合系统及快速图像配准方法

Country Status (1)

Country Link
CN (1) CN110942475B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367472A (zh) * 2020-11-09 2021-02-12 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法
CN113112440A (zh) * 2021-04-23 2021-07-13 华北电力大学 一种基于fpga的紫外与可见光图像融合系统及方法
CN115656202A (zh) * 2022-10-25 2023-01-31 西安交通大学 用于绝缘子表面状态的多波段光学检测装置
CN115656202B (zh) * 2022-10-25 2024-06-04 西安交通大学 用于绝缘子表面状态的多波段光学检测装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106327424A (zh) * 2016-08-30 2017-01-11 南京邮电大学 红外与可见光图像配准参数校正装置和校正方法
CN106500852A (zh) * 2016-09-28 2017-03-15 北方夜视技术股份有限公司 红外与可见光图像配准与融合的系统与方法
US20180012498A1 (en) * 2015-01-15 2018-01-11 Nanjing University 5D Technology Co., Ltd. Auxiliary berthing method and system for vessel
CN107607202A (zh) * 2017-08-31 2018-01-19 江苏宇特光电科技股份有限公司 三光融合智能成像仪及其方法
US20180270474A1 (en) * 2015-02-06 2018-09-20 The University Of Akron Optical imaging system and methods thereof
CN109872269A (zh) * 2019-01-08 2019-06-11 中国科学院高能物理研究所 一种基于鱼眼图像校正的康普顿相机图像融合方法
CN110322485A (zh) * 2019-06-25 2019-10-11 南京大学 一种异构多相机成像系统的快速图像配准方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180012498A1 (en) * 2015-01-15 2018-01-11 Nanjing University 5D Technology Co., Ltd. Auxiliary berthing method and system for vessel
US20180270474A1 (en) * 2015-02-06 2018-09-20 The University Of Akron Optical imaging system and methods thereof
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106327424A (zh) * 2016-08-30 2017-01-11 南京邮电大学 红外与可见光图像配准参数校正装置和校正方法
CN106500852A (zh) * 2016-09-28 2017-03-15 北方夜视技术股份有限公司 红外与可见光图像配准与融合的系统与方法
CN107607202A (zh) * 2017-08-31 2018-01-19 江苏宇特光电科技股份有限公司 三光融合智能成像仪及其方法
CN109872269A (zh) * 2019-01-08 2019-06-11 中国科学院高能物理研究所 一种基于鱼眼图像校正的康普顿相机图像融合方法
CN110322485A (zh) * 2019-06-25 2019-10-11 南京大学 一种异构多相机成像系统的快速图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"信息光学 光学信息处理、图像识别", 《中国光学与应用光学文摘》 *
周前飞等: "航空变焦距斜视成像几何畸变的自动校正", 《光学精密工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367472A (zh) * 2020-11-09 2021-02-12 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法
CN112367472B (zh) * 2020-11-09 2022-04-05 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法
CN113112440A (zh) * 2021-04-23 2021-07-13 华北电力大学 一种基于fpga的紫外与可见光图像融合系统及方法
CN115656202A (zh) * 2022-10-25 2023-01-31 西安交通大学 用于绝缘子表面状态的多波段光学检测装置
CN115656202B (zh) * 2022-10-25 2024-06-04 西安交通大学 用于绝缘子表面状态的多波段光学检测装置

Also Published As

Publication number Publication date
CN110942475B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
TWI423659B (zh) 影像校正方法與相關影像校正系統
CN109767474B (zh) 一种多目相机标定方法、装置及存储介质
CN111243033B (zh) 一种优化双目相机外参数的方法
WO2019179200A1 (zh) 多目相机的三维重建方法、vr相机和全景相机
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
KR20040058277A (ko) 캘리브레이션 유도 방법, 이미지 처리 방법 및 이미지시스템
CN105959669B (zh) 一种基于重映射的集成成像微图像阵列快速生成方法
CN108592884B (zh) 一种通用线阵卫星核线影像生成方法
CN107358577B (zh) 一种立方体全景图的快速拼接方法
CN104657982A (zh) 一种投影仪标定方法
CN110942475B (zh) 紫外与可见光图像融合系统及快速图像配准方法
CN103945207B (zh) 一种基于视点合成的立体图像垂直视差消除方法
CN112734863A (zh) 一种基于自动定位的交叉式双目相机标定方法
CN110544208B (zh) 工业级图像拼接方法及系统
TW201839716A (zh) 環景影像的拼接方法及其系統
CN107274352A (zh) 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统
CN109996048A (zh) 一种基于结构光的投影校正方法及其系统
CN111343360B (zh) 一种校正参数获得方法
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法
CN112634372B (zh) 一种实时的双目相机矫正方法、装置及存储介质
CN115601437A (zh) 一种基于目标识别的动态会聚型双目立体视觉系统
CN107172323B (zh) 大视场摄像头的图像去暗角方法及装置
CN116543055A (zh) 图像畸变标定方法、校正方法、计算机装置、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant