CN108510455B - 一种激光照射器图像融合方法及系统 - Google Patents
一种激光照射器图像融合方法及系统 Download PDFInfo
- Publication number
- CN108510455B CN108510455B CN201810258273.4A CN201810258273A CN108510455B CN 108510455 B CN108510455 B CN 108510455B CN 201810258273 A CN201810258273 A CN 201810258273A CN 108510455 B CN108510455 B CN 108510455B
- Authority
- CN
- China
- Prior art keywords
- image
- light spot
- target plate
- correction
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 8
- 238000012937 correction Methods 0.000 claims abstract description 195
- 238000000605 extraction Methods 0.000 claims abstract description 54
- 230000009466 transformation Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 153
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 238000003702 image correction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开激光照射器图像融合方法及系统，该方法包括：获取由测量光学系统采集的光斑图像和靶板图像；根据所述光斑图像进行光斑区域的提取，得到光斑提取图像；对所述光斑提取图像进行配准变换，得到光斑配准图像；对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像；对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像。采用本发明方法或系统可以解决非共轴成像的图像融合精度低的问题。
Description
技术领域
本发明涉及图像融合领域，特别是涉及一种激光照射器图像融合方法及系统。
背景技术
激光照射器是激光半主动制导武器的关键部件之一。激光照射器的命中率是评价其空间特性的主要指标。激光照射器发射激光照射在靶板上，在靶板上形成激光光斑。激光光谱属于近红外光谱，靶板光谱属于可见光光谱，二者光谱相差很大，无法使用单一的可见光传感器或红外传感器同时对二者进行清晰成像。在现有技术中，激光照射器空间性能监测系统采用可见光、红外两个传感器分别对靶板和光斑进行单独成像，装有可见光带通滤波器的可见传感器对靶板图像进行成像(图像中只能看见靶板，看不见光斑)，装有近红外窄带滤波器的红外传感器对激光光斑进行成像(图像中只能看见光斑，看不见靶板和背景信息)。由于双传感器的使用，在激光照射器空间性能监测系统中可见光和红外传感器采用非共轴成像系统，可见光与红外两个成像系统的参数：分辨率、视场、系统焦距和成像空间坐标均不相同，导致了靶板图像和光斑图像的分辨率、视场、图像中物体放缩比例和位置的不同。综上所述，使用靶板图像和光斑图像很难实现高精度的激光照射器命中率指标的测量。
发明内容
本发明的目的是提供一种激光照射器图像融合方法及系统。解决了非共轴成像的图像融合精度低的问题。
为实现上述目的，本发明提供了如下方案：
一种激光照射器图像融合方法，包括：
获取由测量光学系统采集的光斑图像和靶板图像；所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号，根据所测量激光信号同步采集光斑图像和靶板图像；
根据所述光斑图像进行光斑区域的提取，得到光斑提取图像；
对所述光斑提取图像进行配准变换，得到光斑配准图像；
对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像；
对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像。
可选的，所述根据所述光斑图像进行光斑区域的提取，得到光斑提取图像具体包括：
根据最大类间方差法对所述光斑图像进行二值化操作，得到二值化图像；
对所述二值化图像进行多次闭运算，得到闭运算后图像；
对所述闭运算后图像进行八邻域连通域分析，得到所述闭运算后图像的连通区域；
根据所述连通区域进行特征提取，得到面积最大的连通区域，将面积最大的连通区域作为光斑区域；
对所述光斑区域，使用漫水填充法进行图像填充，得到填充后二值化图像；
根据所述光斑区域，对所述填充后二值化图像进行重置，将所述光斑区域内的图像与所述光斑区域外的图像进行区分重置，将所述进行区分重置后的填充后二值化图像作为重置后二值化图像；
根据所述重置后二值化图像和所述光斑图像，得到只保留光斑的图像，将所述只保留光斑的图像作为光斑提取图像。
可选的，所述对所述光斑提取图像进行配准变换，得到光斑配准图像具体包括：
读取光学测量系统配准参数，得到所述光斑图像的空间变换矩阵；
设定所述光斑提取图像的光斑图像矩阵；所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成；
将所述空间变换矩阵与所述光斑图像矩阵相乘，得到所述光斑配准图像的配准图像矩阵；所述配准图像矩阵的元素代表所述光斑配准图像的设定位置处的像素值；
根据所述配准图像矩阵得到所述光斑配准图像。
可选的，所述对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像具体包括：
读取所述目标靶板和所述测量光学系统的参数，构建成像模型；
根据所述成像模型和所述靶板图像中目标靶板的参数，计算透视畸变校正矩阵；
设定所述靶板图像的靶板图像矩阵，所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成；
将所述透视畸变校正矩阵与所述配准图像矩阵相乘，得到所述光斑校正图像矩阵；
根据所述光斑校正图像矩阵得到所述光斑校正图像；
将所述透视畸变校正矩阵与所述靶板图像矩阵相乘，得到靶板校正图像矩阵；
根据所述靶板校正图像矩阵得到所述靶板校正图像。
可选的，所述对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像具体包括：
设定待融合区域为所述光斑校正图像上的光斑区域，得到所述待融合区域的大小和位置；
根据所述待融合区域的大小和位置，得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值；
根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值，得到靶板校正图像加权系数和光斑校正图像加权系数；
根据所述靶板校正图像加权系数和所述光斑校正图像加权系数，对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加，得到融合图像的像素值；
根据所述融合图像的像素值得到所述融合图像。
一种激光照射器图像融合系统，包括：
待融合图像获取模块，用于获取由测量光学系统采集的光斑图像和靶板图像；所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号，根据所测量激光信号同步采集光斑图像和靶板图像；
光斑提取模块，用于根据所述光斑图像进行光斑区域的提取，得到光斑提取图像；
光斑配准模块，用于对所述光斑提取图像进行配准变换，得到光斑配准图像；
图像校正模块，用于对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像；
图像融合模块，用于对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像。
可选的，所述光斑提取模块具体包括：
二值化计算单元，用于根据最大类间方差法对所述光斑图像进行二值化操作，得到二值化图像；
闭运算单元，用于对所述二值化图像进行多次闭运算，得到闭运算后图像；
连通域分析单元，用于对所述闭运算后图像进行八邻域连通域分析，得到所述闭运算后图像的连通区域；
特征提取单元，用于根据所述连通区域进行特征提取，得到面积最大的连通区域作为光斑区域；
图像填充单元，用于对所述光斑区域使用漫水填充法进行图像填充，得到填充后二值化图像；
图像重置单元，用于根据所述光斑区域对所述填充后二值化图像进行重置，得到重置后二值化图像；
光斑提取图像获得单元，用于根据所述重置后二值化图像和所述光斑图像，得到光斑提取图像。
可选的，所述光斑配准模块具体包括：
空间变换矩阵获取单元，用于获取所述光斑图像的空间变换矩阵；所述空间变换矩阵包括所述光斑图像的平移、缩放、旋转的空间变换关系；
矩阵设定单元，用于设定所述光斑提取图像的光斑图像矩阵；所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成；
光斑图像矩阵变换单元，用于将所述空间变换矩阵与所述光斑图像矩阵相乘，得到所述光斑配准图像的配准图像矩阵；所述配准图像矩阵包括所述光斑配准图像的设定位置处的像素值；
光斑配准图像获得单元，用于根据所述配准图像矩阵得到所述光斑配准图像。
可选的，所述图像校正模块具体包括：
成像模型构建单元，用于读取所述目标靶板和所述测量光学系统的参数，构建成像模型；
校正矩阵计算单元，用于根据所述成像模型和所述靶板图像中目标靶板的参数，计算透视畸变校正矩阵；
靶板图像矩阵设定单元，用于设定所述靶板图像的靶板图像矩阵，所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成；
光斑校正图像矩阵计算单元，用于将所述透视畸变校正矩阵与所述配准图像矩阵相乘，得到光斑校正图像矩阵；
光斑校正图像获得单元，用于根据所述光斑校正图像矩阵得到所述光斑校正图像；
靶板校正图像矩阵计算单元，用于将所述透视畸变校正矩阵与所述靶板图像矩阵相乘，得到靶板校正图像矩阵；
靶板校正图像获得单元，用于根据所述靶板校正图像矩阵得到所述靶板校正图像。
可选的，所述图像融合模块具体包括：
待融合区域设定单元，用于设定待融合区域为所述光斑校正图像上的光斑区域，得到所述待融合区域的大小和位置；
最大像素值确定单元，用于根据所述待融合区域的大小和位置得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值；
加权系数设定单元，用于根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值，得到靶板校正图像加权系数和光斑校正图像加权系数；
像素值相加单元，用于根据所述靶板校正图像加权系数和所述光斑校正图像加权系数，对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加，得到融合图像的像素值；
融合图像获得单元，用于根据所述融合图像的像素值得到所述融合图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明中通过测量激光照射的光斑图像和靶板图像，根据光斑图像进行处理得到光斑提取图像，对光斑提取图像进行配准得到光斑配准图像，进而对光斑配准图像和靶板图像进行透视畸变的校正处理，得到光斑校正图像和靶板校正图像，对光斑校正图像和靶板校正图像进行融合得到最终的融合图像。本发明解决了非共轴成像、不同光谱、不同视场、不同分辨率、不同成像空间坐标图像融合的难题，提高了激光照射器空间性能命中率的测量精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例激光照射器图像融合方法流程图；
图2为本发明实施例激光照射器图像融合系统结构图；
图3为本发明实施例光斑提取图像方法流程图；
图4为本发明实施例光斑配准图像方法流程图；
图5为本发明实施例融合图像方法流程图；
图6为本发明实施例激光照射器图像融合装置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种激光照射器图像融合方法及系统。解决了非共轴成像的图像融合精度低的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例激光照射器图像融合方法流程图。参见图1，一种激光照射器图像融合方法，包括：
步骤101：获取由测量光学系统采集的光斑图像和靶板图像；所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号，根据所测量激光信号同步采集光斑图像和靶板图像；
步骤102：根据所述光斑图像进行光斑区域的提取，得到光斑提取图像；
步骤103：对所述光斑提取图像进行配准变换，得到光斑配准图像；
步骤104：对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像；
步骤105：对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像。
采用上述方法解决了非共轴成像、不同光谱、不同视场、不同分辨率、不同成像空间坐标图像融合的难题，提高了激光照射器空间性能命中率的测量精度。
图3为本发明实施例光斑提取图像方法流程图；参见图3，步骤102具体包括：
步骤1021：根据最大类间方差法对所述光斑图像进行二值化操作，得到二值化图像；
步骤1022：对所述二值化图像进行多次闭运算，得到闭运算后图像；
步骤1023：对所述闭运算后图像进行八邻域连通域分析，得到所述闭运算后图像的连通区域；
步骤1024：根据所述连通区域进行特征提取，得到面积最大的连通区域，将面积最大的连通区域作为光斑区域；
步骤1025：对所述光斑区域，使用漫水填充法进行图像填充，得到填充后二值化图像；
步骤1026：根据所述光斑区域，对所述填充后二值化图像进行重置，将所述光斑区域内的图像与所述光斑区域外的图像进行区分重置，将所述进行区分重置后的填充后二值化图像作为重置后二值化图像；
步骤1027：根据所述重置后二值化图像和所述光斑图像，得到只保留光斑的图像，将所述只保留光斑的图像作为光斑提取图像。
图4为本发明实施例光斑配准图像方法流程图。参见图4，步骤103具体包括：
步骤1031：读取光学测量系统配准参数，得到所述光斑图像的空间变换矩阵；
步骤1032：设定所述光斑提取图像的光斑图像矩阵；所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成；
步骤1033：将所述空间变换矩阵与所述光斑图像矩阵相乘，得到所述光斑配准图像的配准图像矩阵；所述配准图像矩阵的元素代表所述光斑配准图像的设定位置处的像素值；
步骤1034：根据所述配准图像矩阵得到所述光斑配准图像。
步骤104具体包括：
读取所述目标靶板和所述测量光学系统的参数，构建成像模型；
根据所述成像模型和所述靶板图像中目标靶板的参数，计算透视畸变校正矩阵；
设定所述靶板图像的靶板图像矩阵，所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成；
将所述透视畸变校正矩阵与所述配准图像矩阵相乘，得到所述光斑校正图像矩阵；
根据所述光斑校正图像矩阵得到所述光斑校正图像；
将所述透视畸变校正矩阵与所述靶板图像矩阵相乘，得到靶板校正图像矩阵；
根据所述靶板校正图像矩阵得到所述靶板校正图像。
图5为本发明实施例融合图像方法流程图。参见图5，步骤105具体包括：
步骤1051：设定待融合区域为所述光斑校正图像上的光斑区域，得到所述待融合区域的大小和位置；
步骤1052：根据所述待融合区域的大小和位置，得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值；
步骤1053：根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值，得到靶板校正图像加权系数和光斑校正图像加权系数；
步骤1054：根据所述靶板校正图像加权系数和所述光斑校正图像加权系数，对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加，得到融合图像的像素值；
步骤1055：根据所述融合图像的像素值得到所述融合图像。
图2为本发明实施例激光照射器图像融合系统结构图。参见图2，一种激光照射器图像融合系统，包括：
待融合图像获取模块201，用于获取由测量光学系统采集的光斑图像和靶板图像；所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号，根据所测量激光信号同步采集光斑图像和靶板图像；
光斑提取模块202，用于根据所述光斑图像进行光斑区域的提取，得到光斑提取图像；
光斑配准模块203，用于对所述光斑提取图像进行配准变换，得到光斑配准图像；
图像校正模块204，用于对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像；
图像融合模块205，用于对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像。
本发明中系统采用双传感器代替单传感器提高了采集的靶板图像和光斑图像的信噪比，双传感器测量激光照射器空间性能命中率指标，存在非共轴成像、不同光谱、不同视场、不同分辨率、不同成像空间坐标图像融合的难题，提高了激光照射器空间性能命中率的测量精度。
其中，所述光斑提取模块202具体包括：
二值化计算单元，用于根据最大类间方差法对所述光斑图像进行二值化操作，得到二值化图像；
闭运算单元，用于对所述二值化图像进行多次闭运算，得到闭运算后图像；
连通域分析单元，用于对所述闭运算后图像进行八邻域连通域分析，得到所述闭运算后图像的连通区域；
特征提取单元，用于根据所述连通区域进行特征提取，得到面积最大的连通区域作为光斑区域；
图像填充单元，用于对所述光斑区域使用漫水填充法进行图像填充，得到填充后二值化图像；
图像重置单元，用于根据所述光斑区域对所述填充后二值化图像进行重置，得到重置后二值化图像；
光斑提取图像获得单元，用于根据所述重置后二值化图像和所述光斑图像，得到光斑提取图像。
光斑配准模块203具体包括：
空间变换矩阵获取单元，用于获取所述光斑图像的空间变换矩阵；所述空间变换矩阵包括所述光斑图像的平移、缩放、旋转的空间变换关系；
矩阵设定单元，用于设定所述光斑提取图像的光斑图像矩阵；所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成；
光斑图像矩阵变换单元，用于将所述空间变换矩阵与所述光斑图像矩阵相乘，得到所述光斑配准图像的配准图像矩阵；所述配准图像矩阵包括所述光斑配准图像的设定位置处的像素值；
光斑配准图像获得单元，用于根据所述配准图像矩阵得到所述光斑配准图像。
图像校正模块204具体包括：
成像模型构建单元，用于读取所述目标靶板和所述测量光学系统的参数，构建成像模型；
校正矩阵计算单元，用于根据所述成像模型和所述靶板图像中目标靶板的参数，计算透视畸变校正矩阵；
靶板图像矩阵设定单元，用于设定所述靶板图像的靶板图像矩阵，所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成；
光斑校正图像矩阵计算单元，用于将所述透视畸变校正矩阵与所述配准图像矩阵相乘，得到光斑校正图像矩阵；
光斑校正图像获得单元，用于根据所述光斑校正图像矩阵得到所述光斑校正图像；
靶板校正图像矩阵计算单元，用于将所述透视畸变校正矩阵与所述靶板图像矩阵相乘，得到靶板校正图像矩阵；
靶板校正图像获得单元，用于根据所述靶板校正图像矩阵得到所述靶板校正图像。
图像融合模块205具体包括：
待融合区域设定单元，用于设定待融合区域为所述光斑校正图像上的光斑区域，得到所述待融合区域的大小和位置；
最大像素值确定单元，用于根据所述待融合区域的大小和位置得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值；
加权系数设定单元，用于根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值，得到靶板校正图像加权系数和光斑校正图像加权系数；
像素值相加单元，用于根据所述靶板校正图像加权系数和所述光斑校正图像加权系数，对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加，得到融合图像的像素值；
融合图像获得单元，用于根据所述融合图像的像素值得到所述融合图像。
图6为本发明实施例激光照射器图像融合装置示意图。参见图6，601为激光照射器，602为靶板，603为转台，604为测量光学系统，605为激光回波探测器。本发明上述方法所需设备和实现步骤如下：
所需设备：激光照射器601，靶板602，转台603，测量光学系统604，激光回波探测器605
实施步骤：
步骤1，图像采集:测量光学系统604和激光回波探测器605平行装载在转台603上，转台603跟踪目标靶板602，并随着目标靶板602的移动而转动，激光照射器601发射激光照射在目标靶板602上，激光回波探测器605探测到目标靶板602上反射的激光回波信号，回波信号经过处理后产生同步触发信号，同步触发信号触发测量光学系统604中的红外传感器和可见光传感器同时采集靶板图像和光斑图像；。
步骤2，光斑提取:
对光斑图像用OSTU阈值算法进行二值化得到二值化图像，对二值化图像做两次闭运算，再进行八邻域连通域分析，对分析得出的连通域进行特征提取，提取出的面积最大的连通域即为光斑区域，对光斑区域使用漫水填充法进行图像填充，对二值化图像进行图像重置,把光斑区域外的图像置为0，把光斑区域内的图像置为1,最后使用图像相乘把经过上述处理的二值化图像与原光斑图像相乘，得到只保留光斑的光斑提取图像，完成光斑提取。
步骤3，图像配准:对光学系统进行标定后，可获取靶板图像和光斑图像的空间变换矩阵T,空间变换矩阵T为3×3的方阵，包括靶板图像和光斑图像的平移、缩放、旋转的空间变换关系；在实时采集图像的过程中，根据测量光学系统参数与目标靶板参数构建成像模型，并根据成像模型靶板图像中靶板的四个角点参数可计算出透视畸变校正矩阵C，透视畸变校正矩阵C为3*3的方阵，包括无畸变成像空间与畸变成像空间二者的空间坐标系之间的平移、缩放、旋转、透视的变换关系。图像配准算法如下：
定义符号“*”为矩阵相乘符号，定义光斑提取图像的图像矩阵为Am×n，使用空间变换矩阵T对光斑提取图像变换，变换公式为Bp×q＝T*Am×n，矩阵Bp×q为变换得出的光斑配准图像的图像矩阵，光斑配准图像的视场、分辨率、成像空间与靶板图像相同，定义靶板图像的图像矩阵Gp×q，使用透视畸变校正矩阵C对光斑配准图像和靶板图像变换，变换公式为Ep×q＝C*Bp×q和Dp×q＝C*Gp×q，得出的矩阵Ep×q和Dp×q分别光斑校正图像和靶板校正图像的图像矩阵，光斑校正图像和靶板校正图像是无透视畸变的。
步骤4，图像融合：定义区域R为光斑校正图像上光斑区域，求取区域R的大小和位置，找到区域R上靶板校正图像的最大像素值为MaxVisble与光斑校正图像的最大像素值为MaxIR,定义靶板校正图像加权系数α，α的计算方法为：
定义光斑校正图像的加权系数β，其计算方法为：
β＝1-α
对靶板校正图像与光斑校正图像所有对应像素点坐标下的像素值加权相加，得到融合图像，加权相加的计算方法为：
F＝α*V+β*I
式中V、I、F分别表示靶板校正图像、光斑校正图像、融合图像在同一坐标处的像素值。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种激光照射器图像融合方法，其特征在于，包括：
获取由测量光学系统采集的光斑图像和靶板图像；所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号，根据所测量激光信号同步采集光斑图像和靶板图像；
根据所述光斑图像进行光斑区域的提取，得到光斑提取图像；
对所述光斑提取图像进行配准变换，得到光斑配准图像；
对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像；
对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像；
所述对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像具体包括：
设定待融合区域为所述光斑校正图像上的光斑区域，得到所述待融合区域的大小和位置；
根据所述待融合区域的大小和位置，得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值；
根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值，得到靶板校正图像加权系数和光斑校正图像加权系数；
根据所述靶板校正图像加权系数和所述光斑校正图像加权系数，对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加，得到融合图像的像素值；
根据所述融合图像的像素值得到所述融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述光斑图像进行光斑区域的提取，得到光斑提取图像具体包括：
根据最大类间方差法对所述光斑图像进行二值化操作，得到二值化图像；
对所述二值化图像进行多次闭运算，得到闭运算后图像；
对所述闭运算后图像进行八邻域连通域分析，得到所述闭运算后图像的连通区域；
根据所述连通区域进行特征提取，得到面积最大的连通区域，将面积最大的连通区域作为光斑区域；
对所述光斑区域，使用漫水填充法进行图像填充，得到填充后二值化图像；
根据所述光斑区域，对所述填充后二值化图像进行重置，将所述光斑区域内的图像与所述光斑区域外的图像进行区分重置，将所述进行区分重置后的填充后二值化图像作为重置后二值化图像；
根据所述重置后二值化图像和所述光斑图像，得到只保留光斑的图像，将所述只保留光斑的图像作为光斑提取图像。
3.根据权利要求1所述的图像融合方法，其特征在于，所述对所述光斑提取图像进行配准变换，得到光斑配准图像具体包括：
读取光学测量系统配准参数，得到所述光斑图像的空间变换矩阵；
设定所述光斑提取图像的光斑图像矩阵；所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成；
将所述空间变换矩阵与所述光斑图像矩阵相乘，得到所述光斑配准图像的配准图像矩阵；所述配准图像矩阵的元素代表所述光斑配准图像的设定位置处的像素值；
根据所述配准图像矩阵得到所述光斑配准图像。
4.根据权利要求3所述的图像融合方法，其特征在于，所述对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像具体包括：
读取所述目标靶板和所述测量光学系统的参数，构建成像模型；
根据所述成像模型和所述靶板图像中目标靶板的参数，计算透视畸变校正矩阵；
设定所述靶板图像的靶板图像矩阵，所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成；
将所述透视畸变校正矩阵与所述配准图像矩阵相乘，得到所述光斑校正图像矩阵；
根据所述光斑校正图像矩阵得到所述光斑校正图像；
将所述透视畸变校正矩阵与所述靶板图像矩阵相乘，得到靶板校正图像矩阵；
根据所述靶板校正图像矩阵得到所述靶板校正图像。
5.一种激光照射器图像融合系统，其特征在于，包括：
待融合图像获取模块，用于获取由测量光学系统采集的光斑图像和靶板图像；所述测量光学系统用于采集激光照射器发射到目标靶板上的激光信号，根据所测量激光信号同步采集光斑图像和靶板图像；
光斑提取模块，用于根据所述光斑图像进行光斑区域的提取，得到光斑提取图像；
光斑配准模块，用于对所述光斑提取图像进行配准变换，得到光斑配准图像；
图像校正模块，用于对所述光斑配准图像和所述靶板图像分别进行透视畸变校正变换，得到光斑校正图像和靶板校正图像；
图像融合模块，用于对所述光斑校正图像和所述靶板校正图像进行融合，得到融合图像。
6.根据权利要求5所述的图像融合系统，其特征在于，所述光斑提取模块具体包括：
二值化计算单元，用于根据最大类间方差法对所述光斑图像进行二值化操作，得到二值化图像；
闭运算单元，用于对所述二值化图像进行多次闭运算，得到闭运算后图像；
连通域分析单元，用于对所述闭运算后图像进行八邻域连通域分析，得到所述闭运算后图像的连通区域；
特征提取单元，用于根据所述连通区域进行特征提取，得到面积最大的连通区域作为光斑区域；
图像填充单元，用于对所述光斑区域使用漫水填充法进行图像填充，得到填充后二值化图像；
图像重置单元，用于根据所述光斑区域对所述填充后二值化图像进行重置，得到重置后二值化图像；
光斑提取图像获得单元，用于根据所述重置后二值化图像和所述光斑图像，得到光斑提取图像。
7.根据权利要求5所述的图像融合系统，其特征在于，所述光斑配准模块具体包括：
空间变换矩阵获取单元，用于获取所述光斑图像的空间变换矩阵；所述空间变换矩阵包括所述光斑图像的平移、缩放、旋转的空间变换关系；
矩阵设定单元，用于设定所述光斑提取图像的光斑图像矩阵；所述光斑图像矩阵由所述光斑提取图像的设定位置处的像素值组成；
光斑图像矩阵变换单元，用于将所述空间变换矩阵与所述光斑图像矩阵相乘，得到所述光斑配准图像的配准图像矩阵；所述配准图像矩阵包括所述光斑配准图像的设定位置处的像素值；
光斑配准图像获得单元，用于根据所述配准图像矩阵得到所述光斑配准图像。
8.根据权利要求7所述的图像融合系统，其特征在于，所述图像校正模块具体包括：
成像模型构建单元，用于读取所述目标靶板和所述测量光学系统的参数，构建成像模型；
校正矩阵计算单元，用于根据所述成像模型和所述靶板图像中目标靶板的参数，计算透视畸变校正矩阵；
靶板图像矩阵设定单元，用于设定所述靶板图像的靶板图像矩阵，所述靶板图像矩阵由所述靶板图像的设定位置处的像素值组成；
光斑校正图像矩阵计算单元，用于将所述透视畸变校正矩阵与所述配准图像矩阵相乘，得到光斑校正图像矩阵；
光斑校正图像获得单元，用于根据所述光斑校正图像矩阵得到所述光斑校正图像；
靶板校正图像矩阵计算单元，用于将所述透视畸变校正矩阵与所述靶板图像矩阵相乘，得到靶板校正图像矩阵；
靶板校正图像获得单元，用于根据所述靶板校正图像矩阵得到所述靶板校正图像。
9.根据权利要求5所述的图像融合系统，其特征在于，所述图像融合模块具体包括：
待融合区域设定单元，用于设定待融合区域为所述光斑校正图像上的光斑区域，得到所述待融合区域的大小和位置；
最大像素值确定单元，用于根据所述待融合区域的大小和位置得到所述待融合区域对应的所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值；
加权系数设定单元，用于根据所述靶板校正图像的最大像素值和所述光斑校正图像的最大像素值，得到靶板校正图像加权系数和光斑校正图像加权系数；
像素值相加单元，用于根据所述靶板校正图像加权系数和所述光斑校正图像加权系数，对所述待融合区域内的所述靶板校正图像与所述光斑校正图像的所有对应像素点坐标下的像素值加权相加，得到融合图像的像素值；
融合图像获得单元，用于根据所述融合图像的像素值得到所述融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810258273.4A CN108510455B (zh) | 2018-03-27 | 2018-03-27 | 一种激光照射器图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810258273.4A CN108510455B (zh) | 2018-03-27 | 2018-03-27 | 一种激光照射器图像融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108510455A CN108510455A (zh) | 2018-09-07 |
| CN108510455B true CN108510455B (zh) | 2020-07-17 |
Family
ID=63378630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810258273.4A Active CN108510455B (zh) | 2018-03-27 | 2018-03-27 | 一种激光照射器图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108510455B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017218B (zh) * | 2020-09-09 | 2024-08-02 | 杭州海康威视数字技术股份有限公司 | 一种图像配准方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5686960A (en) * | 1992-01-14 | 1997-11-11 | Michael Sussman | Image input device having optical deflection elements for capturing multiple sub-images |
| CN1545064A (zh) * | 2003-11-27 | 2004-11-10 | 上海交通大学 | 红外与可见光图像融合方法 |
| CN101727665A (zh) * | 2008-10-27 | 2010-06-09 | 广州飒特电力红外技术有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN201927079U (zh) * | 2011-03-07 | 2011-08-10 | 山东电力研究院 | 一种对于可见光图像和红外图像的快速实时融合处理系统 |
| CN102306375A (zh) * | 2011-08-31 | 2012-01-04 | 北京航空航天大学 | 一种sar与可见光像素级融合图像的分割方法 |
| KR20150024169A (ko) * | 2013-08-26 | 2015-03-06 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
| CN105069769A (zh) * | 2015-08-26 | 2015-11-18 | 哈尔滨工业大学 | 一种微光与红外夜视图像融合方法 |
| CN106932692A (zh) * | 2017-03-07 | 2017-07-07 | 北京瑞盈智拓科技发展有限公司 | 基于红外紫外可见光图像融合的检测装置以及检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9897415B2 (en) * | 2015-12-22 | 2018-02-20 | Huntercraft Limited | Infrared-light and low-light two-phase fusion night-vision sighting device |
-
2018
- 2018-03-27 CN CN201810258273.4A patent/CN108510455B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5686960A (en) * | 1992-01-14 | 1997-11-11 | Michael Sussman | Image input device having optical deflection elements for capturing multiple sub-images |
| CN1545064A (zh) * | 2003-11-27 | 2004-11-10 | 上海交通大学 | 红外与可见光图像融合方法 |
| CN101727665A (zh) * | 2008-10-27 | 2010-06-09 | 广州飒特电力红外技术有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN201927079U (zh) * | 2011-03-07 | 2011-08-10 | 山东电力研究院 | 一种对于可见光图像和红外图像的快速实时融合处理系统 |
| CN102306375A (zh) * | 2011-08-31 | 2012-01-04 | 北京航空航天大学 | 一种sar与可见光像素级融合图像的分割方法 |
| KR20150024169A (ko) * | 2013-08-26 | 2015-03-06 | 삼성테크윈 주식회사 | 영상 융합 시스템 및 그 방법 |
| CN105069769A (zh) * | 2015-08-26 | 2015-11-18 | 哈尔滨工业大学 | 一种微光与红外夜视图像融合方法 |
| CN106932692A (zh) * | 2017-03-07 | 2017-07-07 | 北京瑞盈智拓科技发展有限公司 | 基于红外紫外可见光图像融合的检测装置以及检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 激光制导动靶照射精度测量系统;姚志军 等;《液晶与显示》;20141215;第29卷(第6期);第1124-1130页 * |
| 远距离激光光斑位置高精度测量方法;张少迪 等;《中国激光》;20120710;第39卷(第7期);第1-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108510455A (zh) | 2018-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104966308B (zh) | 一种计算激光光束光斑大小的方法 | |
| CN111383285B (zh) | 一种基于毫米波雷达与摄像机传感器融合标定方法及系统 | |
| CN109919975B (zh) | 一种基于坐标标定的广域监控运动目标关联方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| Jazayeri et al. | Interest operators for feature‐based matching in close range photogrammetry | |
| CN109633633B (zh) | 一种基于分段分类增强处理的生命信号增强方法 | |
| CN105389591B (zh) | 一种红外成像传感器典型效应仿真的验证方法 | |
| CN104776832A (zh) | 一种空间内物体的定位方法、机顶盒和系统 | |
| Wu et al. | A robust signal preprocessing chain for small-footprint waveform lidar | |
| Yang et al. | Detection of morphology defects in pipeline based on 3D active stereo omnidirectional vision sensor | |
| CN114022589B (zh) | 一种星敏感器抗杂散光星点提取方法 | |
| CN107092905B (zh) | 一种电力巡检机器人的待识别仪器定位方法 | |
| CN111385558B (zh) | Tof摄像模组精度测量方法及其系统 | |
| CN116071424A (zh) | 基于单目视觉的果实空间坐标定位方法 | |
| CN107341824A (zh) | 一种图像配准的综合评价指标生成方法 | |
| CN108510455B (zh) | 一种激光照射器图像融合方法及系统 | |
| Wu et al. | Six‐degree‐of‐freedom generalized displacements measurement based on binocular vision | |
| CN113052153B (zh) | 遥感反射率影像的检验方法、装置、电子设备及存储介质 | |
| TW201326776A (zh) | 鏡頭檢測裝置及方法 | |
| CN104502992B (zh) | 一种基于空时过采样扫描的弱小点目标精确定位方法及系统 | |
| Oppliger et al. | Sensor fusion of 3D time-of-flight and thermal infrared camera for presence detection of living beings | |
| Weinmann et al. | Semi-automatic image-based co-registration of range imaging data with different characteristics | |
| Riera et al. | Using image recognition to automate video analysis of physical processes | |
| CN103903258B (zh) | 基于次序统计量谱聚类的遥感图像变化检测方法 | |
| CN107451992B (zh) | 一种sar图像变化检测的方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |