CN106683044A - 一种多通道光学探测系统的图像拼接方法、装置 - Google Patents
一种多通道光学探测系统的图像拼接方法、装置 Download PDFInfo
- Publication number
- CN106683044A CN106683044A CN201510763422.9A CN201510763422A CN106683044A CN 106683044 A CN106683044 A CN 106683044A CN 201510763422 A CN201510763422 A CN 201510763422A CN 106683044 A CN106683044 A CN 106683044A
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- splicing
- benchmark
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000003287 optical effect Effects 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims abstract description 174
- 230000009466 transformation Effects 0.000 claims abstract description 115
- 230000008569 process Effects 0.000 claims description 41
- 230000008901 benefit Effects 0.000 claims description 20
- 230000001174 ascending effect Effects 0.000 claims description 13
- 238000012163 sequencing technique Methods 0.000 claims description 10
- 238000004040 coloring Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 241000208340 Araliaceae Species 0.000 claims description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 6
- 235000008434 ginseng Nutrition 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 239000000306 component Substances 0.000 description 17
- 230000008859 change Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005304 joining Methods 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N ferric oxide Chemical compound O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种多通道光学探测系统的图像拼接方法，包括：对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，并进行筛选，确定优选特征点对信息和待拼接图像的变换矩阵；计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数；按照设定的拼接顺序，利用所述初始图像均衡参数对待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像。采用本方法，有效的提高了拼接图像的质量。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种多通道光学探测系统的图像拼接方法及装置。
背景技术
在军、民等众多应用领域，都对大视场、高分辨率光学探测系统有着强烈的需求。为了解决传统的可见光侦察探测装置受技术水平的限制以及物理原理的约束，高的角分辨率和大的视场角不能兼顾，无法可靠实现大范围目标探测识别的问题，研究人员开展了基于仿生复眼技术的多通道光学探测系统的研究，并且取得了一定的成绩。
多通道光学探测系统有着大视场角、高分辨率等优势，能够在一定程度上解决典型光学侦察探测系统的问题。其系统主要构成包括多个用于拍摄目标区域图像的图像采集装置(例如：高分辨相机)、图像拼接装置、图像显示装置，其中，图像拼接装置用于对多个通道采集的图像进行拼接处理，是多通道光学探测系统的核心部件。在多通道光学探测系统实际应用中，往往需要图像拼接装置将多通道光学系统获取到的多幅图像合成一幅大图，并以一定帧频显示。
基于不变特征的图像拼接方法是一种公认的较为可靠的图像拼接方法。然而在实际应用，现有方法存在一定问题，其计算效率、拼接精度还有待进一步提高。对于典型的基于不变特征的图像拼接方法，必须结合系统特点和实际应用开展优化设计。最突出的问题是：由于光照以及图像采集装置的传感器本身的差异，多个通道获取到的图像亮度、对比度等有一定差距，若直接进行图像拼接，则拼接后的图像不同区域亮度、对比度等差异较大、拼接痕迹明显，影响实际应用。现有技术中在图像拼接之前采用典型的直方图均衡方法对待拼接图像进行亮度均衡，能够在一定程度上解决这个问题，但由于其利用的是全局图像信息，而实际图像情况又比较复杂，会出现误处理的情况，从而导致图像拼接质量下降。
因此，需要本领域技术人员迫切解决的一个技术问题就是：如何提高图像的拼接质量。
发明内容
本申请所要解决的技术问题是提供一种多通道光学探测系统的图像拼接方法，通过利用特征点对信息进行图像均衡处理，能够提高拼接图像的质量。
为了解决上述问题，本申请公开了一种多通道光学探测系统的图像拼接方法包括：对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息；对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的待拼接图像的变换矩阵；计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数；按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像；若所有待拼接图像拼接完成，则输出拼接图像；否则，将所述拼接图像作为基准图像，继续进行拼接。
其中，所述从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序，包括：选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以所述基准图像为中心，按照待拼接图像与所述基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
进一步的，计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数，包括：对于灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算所述待拼接图像的初始图像均衡参数；对于彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算所述待拼接图像的初始图像均衡参数。
所述按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息，具体为：按照设定的拼接顺序，分别提取所有相邻的所述待拼接图像的拼接区域的特征，得到所述所有相邻的待拼接图像的候选特征点对信息；所述按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像，进一步包括：按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵拼接所有图像均衡处理后的待拼接图像。
所述按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数，包括：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的初始图像均衡参数和当前待拼接图像的初始图像均衡参数累乘，得到当前待拼接图像相对于基准图像的图像均衡参数。
进一步的，所述图像拼接方法还包括：确定待拼接图像的拼接区域为相邻待拼接图像的重叠区域。
进一步的，所述图像拼接方法还包括：根据所述多通道光学探测系统拼接一帧图像的时间和设置的显示帧率，自动设置降采样比例。
相应的，本申请还公开了一种多通道光学探测系统的图像拼接装置，包括：降采样模块，用于对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；拼接顺序设置模块，用于从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；特征提取模块，用于按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息；特征筛选模块，用于对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的待拼接图像的变换矩阵；初始图像均衡参数计算模块，用于计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数；拼接模块，用于按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像；判断模块，用于若所有待拼接图像拼接完成，则输出拼接图像；否则，将所述拼接图像作为基准图像，继续进行拼接。
其中，所述拼接顺序设置模块具体用于：选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以所述基准图像为中心，按照待拼接图像与所述基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
进一步的，所述初始图像均衡参数计算模块，具体用于：对于灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算所述待拼接图像的初始图像均衡参数；对于彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算所述待拼接图像的初始图像均衡参数。
更进一步的，所述特征提取模块，具体用于：按照设定的拼接顺序，分别提取所有相邻的所述待拼接图像的拼接区域的特征，得到所述所有相邻的待拼接图像的候选特征点对信息；
所述拼接模块，具体用于：按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵拼接所有图像均衡处理后的待拼接图像。
所述按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数，包括：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的初始图像均衡参数和当前待拼接图像的初始图像均衡参数累乘，得到当前待拼接图像相对于基准图像的图像均衡参数。
与现有技术相比，本申请具有以下优点：通过对采集的图像按照设定的降采样比例进行预处理，然后选择基准图像，设置所述降采样图像的拼接顺序；按照设定的拼接顺序，分别提取所述相邻待拼接图像的拼接区域的特征，得到所述待拼接图像的候选特征点对信息；再对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的每组所述待拼接图像的变换矩阵；根据所述优选特征点对信息对所述每组待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵对均衡处理后的待拼接图像进行拼接处理，更好地适应多通道光学探测系统不同图像采集装置的光照以及传感器本身的差异，造成的多个通道获取到的图像亮度不均衡的问题，有效的提高了拼接图像的质量。
附图说明
图1是本申请的多通道光学探测系统的图像拼接方法实施例一的流程示意图；
图2是本申请的多通道光学探测系统的采集的图像位置分布示意图；
图3是本申请的多通道光学探测系统的采集的图像位置分布示意图；
图4本申请的多通道光学探测系统的图像拼接方法实施例四的流程示意图；
图5是本申请的多通道光学探测系统的图像拼接装置一实施例一的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一：
参照图1，图1示出了本申请一种多通道光学探测系统的图像拼接方法实施例一的流程示意图，所述图像拼接方法包括以下步骤：
步骤100，对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；
步骤110，从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；
步骤130，按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息；
步骤140，对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的待拼接图像的变换矩阵；
步骤150，计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数；
步骤160，按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像；
步骤170，若所有待拼接图像拼接完成，则输出拼接图像；否则，将所述拼接图像作为基准图像，继续进行拼接。
在进行图像拼接之前，首先要对该多通道光学探测系统各通道采集的图像帧进行去噪处理，去除干扰噪声。对光学图像进行去噪处理可以采用现有技术，本申请在此不赘述。
然后，为了减少系统进行图像拼接计算量，同时又保证处理的图像不失真，需要对去噪处理后的图像降采样，得到将采样图像。具体实施时，可以根据预设的降采样比例T对多通道光学探测系统采集的图像进行降采样处理。其中，图像降采样比例即降采样倍数T，根据输出的待显示帧频、多通道光学探测系统的计算性能、多通道光学探测系统采集的图像的分辨率计算得到，可以预先设置。例如：若用户所需的显示图像帧频较高、且该多通道光学探测系统的计算性能一般，则需要对采集的图像进行大倍数的降采样，以多通道光学探测系统采用的图像采集装置为7路500万像素的相机为例，若要求输出的显示帧频是每秒5帧、用HPZ820工作站作为计算设备，其采用E5-2690处理器、ECC DDR31600MHz，根据经验验证，需要对采集的图像进行4倍降采样处理，即降采样后的图像边长变为了原始采集图像的1/4，单路图像仅约30多万像素。对采集的图像进行降采样处理，可以有效降低图像拼接、显示的运算量。若原始采集图像长方向、宽方向像素数分别为X、Y，图像降采样后的得到的降采样图像长方向、宽方向像素数变为ceil(X/T)、ceil(Y/T)，其中ceil为向上取整函数。
上述步骤110中，基准图像可以人为设定。待拼接图像的拼接顺序可以人为根据经验设定，例如可以按照多通道光学探测系统的图像采集装置采集的待拼接图像的视场位置，按照从左到右、从上至下的顺序设置各图像采集装置采集的图像的拼接顺序。以多通道光学探测系统包括5路图像采集装置为例，如图2所示，5路图像采集装置采集的待拼接图像分为别：P1、P2、P3、P4、P5，各待拼接图像的拼接顺序可以设置为：P1为基准图像，P2和P1拼接、P3和P2拼接、P4和P3拼接、P5和P4拼接。优选的，根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，按照由中心至周边的位置关系设置每一所述待拼接图像的拼接顺序，具体实施时，可以根据各图像采集装置的安装位置确定视场位置。选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以基准图像为中心，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序，与基准图像距离越小的待拼接图像先拼接。以图2为例，选择位于视场中心的P3作为基准图像，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置的拼接顺序为：P4和P3拼接、P5和P4拼接；P2和P3拼接、P1和P2拼接。待拼接图像的拼接顺序可以通过设置拼接顺序序号来标记，根据该拼接顺序序号索引某一待拼接图像拼接的目标图像，即记录一组待拼接图像的标识，如：P3的拼接顺序序号为0，不需要拼接；P4的拼接顺序序号为1，需要和P3拼接，如下表所示：
| 待拼接图像 | P1 | P2 | P3 | P4 | P5 |
| 拼接顺序序号 | 4 | 2 | 0 | 1 | 3 |
| 相邻待拼接图像 | P2 | P3 | - | P3 | P4 |
具体实施时，为了计算方便，基准图像的拼接顺序序号设置为最小值，在设置其他待拼接图像的拼接顺序序号时，以基准图像为中心，两侧的待拼接图像的拼接顺序序号分别设置为奇数和偶数，按照与基准图像的距离从小到大的距离顺序编号，编号越小越先拼接。此处仅是举例说明拼接顺序的表示方式，本申请对拼接顺序的表示方法不做限定。
基于不变特征的图像拼接方法，需要对待拼接的图像提取不变特征，得到候选特征点的特征描述及其对应的在各自图像上的坐标信息，根据图像特征描述的匹配度，确定图像拼接用的特征点对，来完成两幅图像的拼接。因此，上述步骤130中，按照步骤110中设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息。本实施例以提取P3和P4的候选特征点对信息为例进行说明。
本申请基于不变特征进行图像拼接，提取图像的不变特征的方法有很多，如：尺度不变特征转换(Scale Invariant Feature Transform，SIFT)方法、SURF(Speeded UpRobust Features)特征提取方法等；不同的特征提取方法得到的“特征描述”有一定差异，因此特征点匹配的方法也会稍许差异。本申请对不变特征的提取和匹配的具体方法不做限定。在本申请的实施例中，以使用尺度不变特征转换(SIFT)方法为例，说明对待拼接图像的特征提取过程，以“最近距离比次近距离方法”为例来描述特征匹配的运算的过程。
待拼接图像P3用i表示、待拼接图像P4用j表示，利用SIFT算法分别对图像i与图像j的拼接区域进行特征提取，得到候选特征点的特征描述及其对应的在各自图像上的坐标信息。
假设图像i的拼接区域为i'，图像j的拼接区域为j′。利用SIFT算法对i'、j′进行特征提取，得到候选特征点特征描述集合：
其中Featurei'、Featurej'分别为i'、j'上提取出的候选特征点的特征描述集合；Fp为i'上提取出的第p个候选特征点的特征描述，Fp为一个128维的向量，Fp＝(fp1,fp2,...,fp128)；Mq为j'上提取出的第q个候选特征点的特征描述，Mq为一个128维的向量，Mq＝(mq1,mq2,...,mq128)；P、Q分别为i'、j'上提取出的候选特征点的数目，P、Q为正整数。
然后，对提取的候选特征点进行特征匹配运算，得到候选特征点对。
本发明实施例中采用“最近距离比次近距离”方法，基于求解出的候选特征点的特征描述，进行候选特征点匹配，得到候选特征点对。
计算Featurei'中每一个特征描述与Featurej'中每一个特征描述之间的距离，以特征描述Fp和特征描述Mq为例，其二者之间距离的计算公式如下：
Dis(Fp,Mq)为特征描述Fp和特征描述Mq之间的距离。
对于Featurei'中的一个特征描述Fp，分别计算其与Featurej'中每一个特征描述的距离，计算得到Featurej'中距离Fp最近的特征描述为MH,1≤H≤Q，其中，H为正整数；距离Fp次近的特征描述为MS,1≤S≤Q，其中，S为正整数。如果满足最近距离与次近距离的比小于或等于设定的阈值，如0.7，即Dis(Fp,MH)/Dis(Fp,MS)≤0.7，则认为Fp与MH为一对匹配的特征描述，此时，Fp、MH对应的图像i的拼接区域i'、图像j的拼接区域j'上的像素点即为求解出的一对候选特征点对。上述设定的阈值可以取小于1的任意正数，如果希望置信率高，可以取更小的数。
基于上述方法求出i'、j′上的全部候选特征点对，得到图像i和图像j的全部候选特征点对，即P4和基准图像P3的候选特征点对集合F'1-＞0。
集合中的元素包括：候选特征点的特征描述及其对应的在各自图像上的坐标信息。
本实施例中，待拼接图像的拼接区域可以为待拼接图像的全部区域，也可以是待拼接图像的部分区域。若拼接区域是待拼接图像的部分区域，则需要设定待拼接区域的尺寸。
上述步骤140，为了进一步减小拼接运算量，并提高拼接精度，对所述候选特征点对信息进行进一步筛选，确定优选特征点对信息，并确定所述优选特征点对信息对应的每组所述待拼接图像的变换矩阵。本实施例中，对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的待拼接图像的变换矩阵。
具体实施时，利用随机抽样一致性(Random Sample Consensus，RANSAC)算法，优选特征点对与变换矩阵。以下仍是以图像i、j为例说明确定优选特征点对信息和变换矩阵的具体方法。
某一对候选特征点对在图像i、图像j上的坐标分别为(x,y)、(x',y')，其中，(x,y)与(x',y')之间满足以下变换关系：
Matrix为图像i、图像j之间的变换矩阵，为3×3的矩阵，每一对特征点对都能够列出一个如公式(3)所示的方程。
首先，从图像i、图像j候选特征点对中随机选取4对候选特征点对，利用公式(3)计算图像i与图像j之间的变换矩阵Matrix。
然后，基于计算出的变换矩阵Matrix，求解内点集合。
(Nx',Ny')和(Mx,My)为一个候选特征点对对应在图像j、图像i中的坐标，首先，利用求解出的变换矩阵Matrix，求解(Nx',Ny')在图像i中对应的实算坐标，计算公式如下：
其中(Nx,Ny)为(Nx',Ny')对应在图像i中的实算坐标，计算并记录(Nx,Ny)与(Mx,My)的欧式距离d1。
同理，求解(Mx,My)在图像j中对应的实算坐标，计算公式如下：
其中Matrix-1为变换矩阵Matrix的逆矩阵，(Mx',My')为(Mx,My)对应在图像j中的实算坐标。计算并记录(Mx',My')与(Nx',Ny')的欧式距离d2，将d1与d2之和作为此候选特征点是否为内点的判断依据，当(d1+d2)≤Th时则认为该候选特征点对为内点，Th设定为1，为经验值，可根据需求设定。
基于变换矩阵Matrix、利用上述方法，判断图像i、图像j全部候选特征点对中内点的数目Number，并记录内点构成的集合。
最后，求解优选变换矩阵与优化特征点对。设置循环次数为SN，例如：SN＝1000，循环执行从图像i、图像j候选特征点对中随机选取4对候选特征点对，利用公式(3)计算图像i与图像j之间的变换矩阵Matrix和基于计算出的变换矩阵Matrix，求解内点集合的步骤，则元素数目最多的内点集合对应的变换矩阵，即为优选变换矩阵，此时内点集合内的候选特征点对为优选特征点对。其中，循环次数SN为经验值，根据需求确定。优选的，循环次数SN大于拼接区域的像素点个数/4。
通过上述步骤140，对候选特征点对集合F'1-＞0中的特征点对进行筛选，得到优选特征点对集合F1-＞0和变换矩阵Matrix1-＞0，对应P4和基准图像P3的拼接参数。
上述步骤150，计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数，进一步包括：对于灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算所述待拼接图像的初始图像均衡参数；对于彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算所述待拼接图像的初始图像均衡参数。下面分别针对待拼接图像为灰度图像和彩色图像两种情况为例，对初始图像均衡参数的获取方法进行说明。
针对灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算初始图像均衡参数，即所述每组待拼接图像的初始图像均衡参数为所述待拼接图像的优选特征点对对应的灰度值构成的向量的比值。具体为：图像i对应的灰度值矩阵为I，图像j对应的灰度值矩阵为J，若图像i与图像j上的优选特征点对对应的灰度值构成了向量Vi与Vj， n为特征点对的数量，为图像i上第s个特征点对对应的灰度值、为图像j上第s个特征点对对应的灰度值，根据公式Vi＝KVj计算得到的实数K为图像j相对图像i的初始图像均衡参数。
针对彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算初始图像均衡参数，即所述每组待拼接图像的颜色分量的初始图像均衡参数为所述待拼接图像的优选特征点对对应的各颜色分量构成的向量的比值。具体如下：彩色图像i对应的三维矩阵[IR,IG,IB]，其中IR、IG、IB分别为图像i的红、绿、蓝分量，同理有彩色图像j对应的三维矩阵[JR,JG,JB]，其中JR、JG、JB分别为图像j的红、绿、蓝分量，图像i的优选特征点对对应的图像的颜色信息构成了向量分别为 图像j优选特征点对对应的图像的颜色信息构成了向量分别为n为特征点对数。分别为图像i与图像j的优选特征点对对应的红、绿、蓝分量的信息构成的向量，根据公式计算得到的实数KR为图像j相对图像i的红色分量的初始图像均衡参数；根据公式计算得到的实数KG为图像j相对图像i的绿色分量的初始图像均衡参数；根据公式计算得到的实数KB为图像j相对图像i的蓝色分量的初始图像均衡参数。
利用初始图像均衡参数，可以对所述每组待拼接图像进行图像均衡处理。
由于光照以及传感器本身的差异，多个通道获取到的图像亮度、对比度等有一定差距，若直接拼接，则拼接后的图像不同区域亮度、对比度等差异较大、拼接痕迹明显，影响实际应用，本申请采用基于特征点对信息的图像均衡方法，能够有效地对参与拼接的图像进行图像均衡，进而提高图像拼接质量，改善拼接图像的视觉效果。
上述步骤160，按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接。如对于图2所示的拼接顺序序号为1的待拼接图像P4、拼接顺序序号为0的基准图像P3，采用步骤150计算得到的初始图像均衡参数对待拼接图像P4、P3进行图像均衡处理后，根据步骤140中得到的待拼接图像P4、P3对应的变换矩阵Matrix1-＞0，将图像均衡处理后的P3拼接至基准图像P3，得到拼接图像。
上述步骤170中，判断是否所有待拼接图像都已拼接完成，若是，则获得的拼接图像即为最终图像；若否，则将步骤160中获得的拼接图像作为下一轮拼接的基准图像，根据设定的拼接顺序，选择下一幅待拼接图像，重复执行步骤130至步骤170，继续执行相邻的两幅待拼接图像的拼接操作。
本申请的实施例，通过对采集的图像按照设定的降采样比例进行预处理，然后选择基准图像，设置所述降采样图像的拼接顺序；按照设定的拼接顺序，分别提取所述相邻待拼接图像的拼接区域的特征，得到所述待拼接图像的候选特征点对信息；再对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的每组所述待拼接图像的变换矩阵；根据所述优选特征点对信息对所述每组待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵对均衡处理后的待拼接图像进行拼接处理，更好地适应多通道光学探测系统不同图像采集装置的光照以及传感器本身的差异，造成的多个通道获取到的图像亮度不均衡的问题，有效的提高了拼接图像的质量。
实施例二：
对于多通道光学探测系统的图像采集通道较多的情况，为了提高图像的拼接效率，采用多个计算单元同时进行图像拼接处理，优选的，本实施例采用并行的拼接方式。以下结合实施例一和图2对本实施例的拼接方式进行描述。
在步骤130中，按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所有所述相邻的待拼接图像的候选特征点对信息。若以图2所示的待拼接图像为例，步骤130中将得到4组候选特征点对集合，包括：P4和基准图像P3的候选特征点对集合F′1-＞0、P2和P3的候选特征点对集合F′2-＞0、P5和P4的候选特征点对集合F′3-＞1、P1和P2的候选特征点对集合F′4-＞2。集合中的元素包括：候选特征点的特征描述及其对应的在各自图像上的坐标信息。
为了进一步减小拼接运算量，并提高拼接精度，对获得的各特征点对集合中的候选特征点对信息进行进一步筛选，确定优选特征点对信息，并确定所述优选特征点对信息对应的每组所述待拼接图像的变换矩阵。本实施例中，对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的待拼接图像的变换矩阵。经过执行步骤140，可以得到所有相邻待拼接图像的优选特征点对的集合和每组待拼接图像的变换矩阵，若以图2所示的待拼接图像为例，经过步骤140对候选特征点对集合F′1-＞0、F'2-＞0、F'3-＞1、F'4-＞2进行筛选，将得到4组优选特征点对集合F1-＞0、F2-＞0、F3-＞1、F4-＞2和4个变换矩阵Matrix1-＞0、Matrix2-＞0、Matrix3-＞1、Matrix4-＞2，分别对应：P4和基准图像P3的拼接参数、P2和基准图像P3的拼接参数、P5和P4的拼接参数、P1和P2的拼接参数，其中的2-＞0表示带拼接图像的拼接顺序序号和拼接关系。
步骤150的具体实现参照实施例一中的步骤150。
步骤160，按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像，进一步包括：按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有图像均衡处理后的待拼接图像。
所述按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数具体为：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的初始图像均衡参数和当前待拼接图像的初始图像均衡参数累乘，得到当前待拼接图像相对于基准图像的图像均衡参数。下面以拼接序号为：0、1、2….A的待拼接图像为例，来阐述其他待拼接图像相对于基准图像的图像均衡参数，其中拼接序号为0的待拼接图像为基准图像，序号为其他值的待拼接图像为其他待拼接图像。
对于灰度图像，定义Kseq1→seq2为拼接顺序序号为seq1的图像相对拼接顺序序号为seq2的图像的初始图像均衡参数，图像拼接顺序序号为A的图像相对基准图像的图像均衡参数为：K'＝K1→0...×KA-2→A-1×KA→A-1；其中，K1→0是与基准图像距离最近(即最先拼接)的待拼接图像相对于基准图像的初始图像均衡参数，KA→A-1是拼接序号为A的待拼接图像相对于拼接序号为A-1的待拼接图像的初始图像均衡参数。根据公式J'＝K'J，得到图像均衡后的图像灰度值对应的矩阵J'。
对于彩色图像，定义为拼接顺序序号为seq1的图像相对拼接顺序序号为seq2的图像的红色分量的初始图像均衡参数，图像拼接顺序序号为A的图像相对基准图像的红色分量的图像均衡参数为：其中，是与基准图像距离最近(即最先拼接)的待拼接图像相对于基准图像的红色分量的初始图像均衡参数，是拼接序号为A的待拼接图像相对于拼接序号为A-1的待拼接图像的红色分量的初始图像均衡参数。根据公式J'R＝K'RJR，得到图像均衡后的图像的红色分量的矩阵J'R。
同理可得任意拼接顺序序号的图像相对于基准图像的绿色分量的图像均衡参数K'G、蓝色分量的图像均衡参数K'B，并进一步根据公式J'G＝K'GJG得到图像均衡后的绿色分量J'G，根据公式J'B＝K'BJB得到图像均衡后的图像的蓝色分量J'B。
所述按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵，具体包括：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。例如：MatrixA→A-1对为拼接顺序序号为A的待拼接图像相对于拼接顺序序号为A-1的待拼接图像的变换矩阵，拼接顺序序号为A的待拼接图像相对于基准图像的变换矩阵为：MatrixA→0＝Matrix1→0×...×MatrixA-1→A-2×MatrixA→A-1；其中，Matrix1→0是与基准图像距离最近(即最先拼接)的待拼接图像相对于基准图像的变换矩阵，MatrixA→A-1是拼接顺序序号为A的待拼接图像相对于拼接顺序序号为A-1的待拼接图像的变换矩阵。仍以图2所示的待拼接图像为例进行说明。没有拼接顺序先于图像P4且与P4在基准图像同侧的图像，因此，图像P4相对于基准图像P3的变换矩阵为Matrix1-＞0；拼接顺序先于图像P5且与P5在基准图像同侧的图像有P4，因此，图像P5相对于基准图像P3的变换矩阵Matrix3-＞0为图像P5和图像P4的变换矩阵的累乘，即Matrix3-＞0＝Matrix3-＞1×Matrix1-＞0；没有拼接顺序先于图像P2且与P2在基准图像同侧的图像，因此，图像P2相对于基准图像P3的变换矩阵为Matrix2-＞0；拼接顺序先于图像P1且与P1在基准图像同侧的图像有P2，因此，图像P1相对于基准图像P3的变换矩阵Matrix4-＞0为图像P1和图像P2的变换矩阵的累乘，即Matrix4-＞0＝Matrix4-＞2×Matrix2-＞0。
在步骤170中，输出拼接图像。
本申请的实施例二，通过一次性提取相邻的待拼接图像的特征，并计算每组所述待拼接图像的候选特征点对信息；再对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的每组所述待拼接图像的变换矩阵；再根据优选特征点对信息计算所有相邻的待拼接图像的初始图像均衡参数；然后，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有图像均衡处理后的待拼接图像。通过并行计算待拼接图像相对于基准图像的图像均衡参数和变换矩阵，一次性完成所有图像的拼接处理，提高了图像拼接的效率。
实施例三：
基于实施例二，本申请的一个优选实施例中，所述从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序，进一步包括：根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，并以基准图像为中心，将待拼接图像按行划分；在每行图像中选择距离基准图像最近的待拼接图像作为该行的行基准图像；按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序，与基准图像距离越小的待拼接图像先拼接；按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序，与基准图像距离越小的行基准图像先拼接。图3是一多通道光学探测系统采集的图像的示意图，如图3所示，待拼接图像有8幅，选择对应该多通道光学探测系统的视场中心的待拼接图像P3作为基准图像，以基准图像为中心，将待拼接图像按行划分，分成4行，L1～L4。其中，L1行包括P4，L2行包括P2、P3、P5，L3行包括P1、P6、P7，L4行包括P8。在L1行图像中选择距离标准图像最近的待拼接图像P4作为该行的行基准图像；在L2行图像中选择距离标准图像最近的待拼接图像P3作为该行的行基准图像；在L3行图像中选择距离标准图像最近的待拼接图像P6作为该行的行基准图像；在L4行图像中选择距离标准图像最近的待拼接图像P8作为该行的行基准图像。以L3行待拼接图像为例，按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序，即：P7和P6拼接；P1和P6拼接。待拼接图像的拼接顺序可以通过设置拼接顺序序号来标记，如下表所示：
| 待拼接图像 | P1 | P6 | P7 |
| 拼接顺序序号 | 2 | 0 | 1 |
| 相邻待拼接图像 | P6 | - | P6 |
再按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序：P4和P3拼接；P6和P3拼接；P8和P6拼接，待拼接图像的拼接顺序可以通过设置拼接顺序序号来标记，如下表所示：
| 待拼接图像 | P4 | P3 | P6 | P8 |
| 拼接顺序序号 | 10 | 0 | 11 | 13 |
| 相邻待拼接图像 | P3 | - | P3 | P6 |
行内待拼接图像和行基准图像的特征提取和变换矩阵的生成方法参照实施例二中的步骤130、步骤140和步骤150，此处不再赘述。
步骤160中，按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像，进一步包括：按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有图像均衡处理后的待拼接图像。
所述按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵，进一步包括：根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于该行的行基准图像的变换矩阵；再将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的变换矩阵和当前待拼接图像相对于所述该行的行基准图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。为了便于说明，本实施例中以基准图像的拼接顺序序号为0，行内其他待拼接图像的拼接顺序序号在基准图像两侧分别为奇数(如：1、3、5….)和偶数(如：2、4、6、…A-2、A、…)，行基准图像的拼接顺序序号在基准图像两侧分别为奇数(如：11、13、15….)和偶数(如：12、14、16、…(B-2)、(B)、...)，为例来描述当前待拼接图像相对于基准图像的拼接矩阵的计算方法。若得到各行的待拼接图像的变换矩阵序列为{MatrixA→A-2}，行基准图像的变换矩阵序列{Matrix(B)→(B-2)}，其中，A、A-2、(B)、(B-2)为拼接顺序序号，MatrixA→A-2为将拼接顺序序号为A的图像拼接到拼接顺序序号为A-2的图像上所需的变换矩阵，同理有Matrix(B)→(B-2)为将拼接顺序序号为(B)的行基准图像拼接到拼接顺序序号为(B-2)的行基准图像上所需的变换矩阵。在步骤140中得到各行待拼接图像的变换矩阵序列{MatrixA→A-2}、和行基准图像的变换矩阵序列{Matrix(B)→(B-2)}后，根据拼接顺序，采用变换矩阵累乘的方法，计算某一行内拼接顺序序号为A的待拼接图像相对于基准图像的变换矩阵，公式表示为：
Matrix(BM)→(0)×...×Matrix(BN-2)→(BN-4)×Matrix(BN)→(BN-2)×MatrixAN→0×.
..×MatrixA-2→A-4×MatrixA→A-2，其中，
AN是当前待拼接图像(某一行内拼接顺序序号为A的待拼接图像)所在行内与当前待拼接图像位于行基准图像同侧，且最先拼接(即最临近行基准图像)的待拼接图像的拼接顺序序号，(BN)是当前行基准图像(即当前待拼接图像所在行上的行基准图像)相对于基准图像中的拼接顺序序号，(BM)为行基准图像中与当前行基准图像位于基准图像同侧，且最先拼接(即最临近基准图像)的行基准图像的拼接顺序序号。
若以图3所示的待拼接图像为例，步骤140中会得到L3行的待拼接图像的变化矩阵序列{Matrix1→0、Matrix2→0}，其中，1是L3行内待拼接图像P7的拼接顺序序号，2是L3行内待拼接图像P1的拼接顺序序号，0是L3行内行基准图像P6的拼接顺序序号；Matrix1→0是L3行内待拼接图像P7相对于行基准图像P6的变换矩阵，Matrix2→0是L3行内待拼接图像P1相对于行基准图像P6的变换矩阵。步骤140中还会得到行基准图像变化矩阵序列{Matrix10→0、Matrix11→0、Matrix13→11}，其中，10是行基准图像P4的拼接顺序序号，11是行基准图像P6的拼接顺序序号，13是行基准图像P8的拼接顺序序号，Matrix11→0是行基准图像P6相对于基准图像P3的变换矩阵，则L3行待拼接图像P1相对于基准图像P3的变换矩阵为：Matrix2→0×Matrix11→0。
其中，按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数，包括：根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的初始图像均衡参数和当前待拼接图像的初始图像均衡参数，得到当前待拼接图像相对于该行的行基准图像的初始行图像均衡参数；再将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的初始图像均衡参数和当前待拼接图像相对于所述该行的行基准图像的初始行图像均衡参数累乘，得到当前待拼接图像相对于基准图像的图像均衡参数。图像均衡参数累乘的原理与变换矩阵类似，此处不再赘述。
实施例四：
基于本申请的实施例一至实施例三，在本申请的另一优选实施例中，如图4所示，还包括：
步骤120，确定待拼接图像的拼接区域为相邻待拼接图像的重叠区域。
为了获得全面、准确的图像，多通道光学探测系统的各图像采集装置采集的图像通常是有部分重叠的，本实施例中，待拼接图像的拼接区域为相邻待拼接图像的重叠区域。例如，实施例一中的基准图像P3和待拼接图像P4的重叠区域。
其中，相邻待拼接图像的重叠区域，根据所述多通道光学探测系统中的图像采集设备的拍摄视场的重叠情况确定。具体实施时，所述拼接基准图像和待拼接图像的重叠区域，可根据多路相机拍摄的图像之间实际重叠情况进行设定。若一路相机拍摄的图像一边的边长Z为，沿边长方向对应的相机视场角为P，此方向上与相邻相机的视场重叠角度为P‘，则此方向上拼接区域的图像尺寸参数为ZP‘/P。拼接区域的图像尺寸参数是指特征提取操作中，参与计算的图像尺寸。
本实施例的其他步骤的具体实施方式参见实施例一。本实施例的有益效果：仅需要对相邻的两幅待拼接图像的图像重叠区域进行特征提取，而不需要向传统方法那样对基准图像和待拼接图像的全图进行特征提取，降低计算量，提高了拼接效率。
实施例五：
基于前述实施例一至实施例四，本申请公开的另一优选实施例中，为了适应多通道光学探测系统的计算性能的变化，本申请的另一优选实施例中，还包括：
步骤180，根据所述多通道光学探测系统拼接一帧图像的时间和设置的显示帧率，自动设置降采样比例。当输出的待显示帧频为frame时，首先设置降采样倍数为T，T＝1，此时多通道光学探测系统拼接一帧图像的时间为time，若time＞1/frame，则为了满足显示需求，则需要增加多通道图像降采样倍数，降采样倍数T自动加1，则T＝2，进行执行下一帧图像的拼接处理。此时多通道光学探测系统拼接一帧图像的时间为time，若此时拼接一帧图像的时间满足time≤1/frame，则降采样比例可以满足平滑输出显示图像帧的需求，完成了自适应图像降采样，降采样倍数T＝2；否则将降采样倍数再自动加1，重复上述过程，直至满足time≤1/frame，至此完成了图像降采样倍数的自适应设置。
以多通道光学探测系统采用7路500万像素的相机为例，例如，当输出的待显示帧频为frame(如每秒5帧)，则拼接一帧图像最多只能占用time＝1/frame(即0.2秒)秒时间。系统对图像拼接进行计时，若在time秒时间内，没有输出一帧图像，则自动降采样倍数增加1倍后，继续对图像拼接时间进行计时，直至拼接一帧图像的时间小于时间time。由于多通道光学探测系统的老化、变更、资源被占用等，可能导致计算性能的变化，通过本申请的自适应设置下采样倍数的方法，可以有效地根据系统计算性能的变化，及时的输出拼接图像。
同理，为了适应由于所述多通道光学探测系统在一段时间内资源占用过多，在资源释放后，运算能力增强的情况，具体实施时，还可以设置一个周期，在设定的周期内，多通道光学探测系统拼接一帧图像的时间为time，当判断处理一帧图像的时间满足time≤1/2frame时，降采样的倍数自动减1，通过自适应调整降采样倍数，可以兼顾拼接效果和拼接效率。
图像降采样中的重采样方法可选择线性均值、高斯均值等任意方法，本申请对此不作限定。
实施例六：
相应的，本申请还公开了一种多通道光学探测系统的图像拼接装置，如图5所示，包括：
降采样模块500，用于对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；
拼接顺序设置模块510，用于从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；
特征提取模块530，用于按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息；
特征筛选模块540，用于对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的待拼接图像的变换矩阵；
初始图像均衡参数计算模块550，用于计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数；
拼接模块560，用于按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像；
判断模块570，用于若所有待拼接图像拼接完成，则输出拼接图像；否则，将所述拼接图像作为基准图像，继续进行拼接。
优选的，所述拼接顺序设置模块510具体用于：选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以所述基准图像为中心，按照待拼接图像与所述基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
所述初始图像均衡参数计算模块550，具体用于：对于灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算所述待拼接图像的初始图像均衡参数；对于彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算所述待拼接图像的初始图像均衡参数。
在本申请多通道光学探测系统的图像拼接装置的另一个具体实施例中，
所述特征提取模块530，具体用于：按照设定的拼接顺序，分别提取所有相邻的所述待拼接图像的拼接区域的特征，得到所述所有相邻的待拼接图像的候选特征点对信息。
所述拼接模块560，具体用于：按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵拼接所有图像均衡处理后的待拼接图像。
所述按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数，包括：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的初始图像均衡参数和当前待拼接图像的初始图像均衡参数累乘，得到当前待拼接图像相对于基准图像的图像均衡参数。
在本申请多通道光学探测系统的图像拼接装置的另一个具体实施例中，所述拼接顺序设置模块530还用于：根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，并以基准图像为中心，将待拼接图像按行划分；在每行图像中选择距离基准图像最近的待拼接图像作为该行的行基准图像；按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序，与基准图像距离越小的待拼接图像先拼接；按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序，与基准图像距离越小的行基准图像先拼接。
所述拼接模块560，具体用于：按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵拼接所有图像均衡处理后的待拼接图像。
其中，所述按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵，进一步包括：根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于该行的行基准图像的变换矩阵；再将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的变换矩阵和当前待拼接图像相对于所述该行的行基准图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
所述按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数，包括：根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的初始图像均衡参数和当前待拼接图像的初始图像均衡参数，得到当前待拼接图像相对于该行的行基准图像的初始行图像均衡参数；再将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的初始图像均衡参数和当前待拼接图像相对于所述该行的行基准图像的初始行图像均衡参数累乘，得到当前待拼接图像相对于基准图像的图像均衡参数
在本申请多通道光学探测系统的图像拼接装置的另一个具体实施例中，还包括：拼接区域确定模块520，用于确定待拼接图像的拼接区域为相邻待拼接图像的重叠区域。拼接区域确定模块520的具体实现方式参见方法实施例，此处不再赘述。
在本申请的再一实施例，所述多通道光学探测系统的图像拼接装置还包括：自适应降采样模块，用于根据所述多通道光学探测系统拼接一帧图像的时间和设置的显示帧率，自动设置降采样比例。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献+的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
Claims (12)
1.一种多通道光学探测系统的图像拼接方法，其特征在于，包括：
对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；
从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；
按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息；
对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的待拼接图像的变换矩阵；
计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数；
按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像；
若所有待拼接图像拼接完成，则输出拼接图像；否则，将所述拼接图像作为基准图像，继续进行拼接。
2.如权利要求1所述的图像拼接方法，其特征在于，所述从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序，包括：选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以所述基准图像为中心，按照待拼接图像与所述基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
3.如权利要求2所述的图像拼接方法，其特征在于，计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数，包括：
对于灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算所述待拼接图像的初始图像均衡参数；
对于彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算所述待拼接图像的初始图像均衡参数。
4.如权利要求3所述的图像拼接方法，其特征在于，
所述按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息，具体为：按照设定的拼接顺序，分别提取所有相邻的所述待拼接图像的拼接区域的特征，得到所述所有相邻的待拼接图像的候选特征点对信息；
所述按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像，进一步包括：按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵拼接所有图像均衡处理后的待拼接图像。
5.如权利要求4所述的图像拼接方法，其特征在于，所述按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数，包括：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的初始图像均衡参数和当前待拼接图像的初始图像均衡参数累乘，得到当前待拼接图像相对于基准图像的图像均衡参数。
6.如权利要求1至5任一项所述的图像拼接方法，其特征在于，所述方法还包括：确定待拼接图像的拼接区域为相邻待拼接图像的重叠区域。
7.如权利要求1至5任一项所述的图像拼接方法，其特征在于，还包括：根据所述多通道光学探测系统拼接一帧图像的时间和设置的显示帧率，自动设置降采样比例。
8.一种多通道光学探测系统的图像拼接装置，其特征在于，包括：
降采样模块，用于对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；
拼接顺序设置模块，用于从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；
特征提取模块，用于按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到所述相邻的待拼接图像的候选特征点对信息；
特征筛选模块，用于对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的待拼接图像的变换矩阵；
初始图像均衡参数计算模块，用于计算所述优选特征点对信息对应的所述待拼接图像的初始图像均衡参数；
拼接模块，用于按照设定的拼接顺序，利用所述初始图像均衡参数对相应的待拼接图像进行图像均衡处理，并根据所述变换矩阵对图像均衡处理后的待拼接图像进行拼接，得到拼接图像；
判断模块，用于若所有待拼接图像拼接完成，则输出拼接图像；否则，将所述拼接图像作为基准图像，继续进行拼接。
9.如权利要求8所述的图像拼接装置，其特征在于，所述拼接顺序设置模块具体用于：选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以所述基准图像为中心，按照待拼接图像与所述基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
10.如权利要求9所述的图像拼接装置，其特征在于，所述初始图像均衡参数计算模块，具体用于：
对于灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算所述待拼接图像的初始图像均衡参数；
对于彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算所述待拼接图像的初始图像均衡参数。
11.如权利要求10所述的图像拼接装置，其特征在于，
所述特征提取模块，具体用于：按照设定的拼接顺序，分别提取所有相邻的所述待拼接图像的拼接区域的特征，得到所述所有相邻的待拼接图像的候选特征点对信息；
所述拼接模块，具体用于：按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数；根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；按照设定的拼接顺序，根据所述变换矩阵计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵拼接所有图像均衡处理后的待拼接图像。
12.如权利要求11所述的图像拼接装置，其特征在于，所述按照设定的拼接顺序，利用所述初始图像均衡参数计算每一待拼接图像相对于基准图像的图像均衡参数，包括：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的初始图像均衡参数和当前待拼接图像的初始图像均衡参数累乘，得到当前待拼接图像相对于基准图像的图像均衡参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510763422.9A CN106683044B (zh) | 2015-11-10 | 2015-11-10 | 一种多通道光学探测系统的图像拼接方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510763422.9A CN106683044B (zh) | 2015-11-10 | 2015-11-10 | 一种多通道光学探测系统的图像拼接方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106683044A true CN106683044A (zh) | 2017-05-17 |
| CN106683044B CN106683044B (zh) | 2020-04-28 |
Family
ID=58865279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510763422.9A Active CN106683044B (zh) | 2015-11-10 | 2015-11-10 | 一种多通道光学探测系统的图像拼接方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106683044B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110600106A (zh) * | 2019-08-28 | 2019-12-20 | 上海联影智能医疗科技有限公司 | 病理切片处理方法、计算机设备和存储介质 |
| CN112669278A (zh) * | 2020-12-25 | 2021-04-16 | 中铁大桥局集团有限公司 | 一种基于无人机的梁底巡检及病害可视化方法及系统 |
| CN113506214A (zh) * | 2021-05-24 | 2021-10-15 | 南京莱斯信息技术股份有限公司 | 一种多路视频图像拼接方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045546A (zh) * | 2010-12-15 | 2011-05-04 | 广州致远电子有限公司 | 一种全景泊车辅助系统 |
| CN102355545A (zh) * | 2011-09-20 | 2012-02-15 | 中国科学院宁波材料技术与工程研究所 | 一种360度实时全景摄像机 |
| CN102622739A (zh) * | 2012-03-30 | 2012-08-01 | 中国科学院光电技术研究所 | 一种Bayer滤波阵列彩色相机图像非均匀性校正方法 |
| CN104966270A (zh) * | 2015-06-26 | 2015-10-07 | 浙江大学 | 一种多图像拼接方法 |
-
2015
- 2015-11-10 CN CN201510763422.9A patent/CN106683044B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045546A (zh) * | 2010-12-15 | 2011-05-04 | 广州致远电子有限公司 | 一种全景泊车辅助系统 |
| CN102355545A (zh) * | 2011-09-20 | 2012-02-15 | 中国科学院宁波材料技术与工程研究所 | 一种360度实时全景摄像机 |
| CN102622739A (zh) * | 2012-03-30 | 2012-08-01 | 中国科学院光电技术研究所 | 一种Bayer滤波阵列彩色相机图像非均匀性校正方法 |
| CN104966270A (zh) * | 2015-06-26 | 2015-10-07 | 浙江大学 | 一种多图像拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周宇浩崴: "《基于DSP嵌入式平台多路实时视频拼接技术》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 曹红杏: "《基于特征的图像拼接技术研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110600106A (zh) * | 2019-08-28 | 2019-12-20 | 上海联影智能医疗科技有限公司 | 病理切片处理方法、计算机设备和存储介质 |
| CN110600106B (zh) * | 2019-08-28 | 2022-07-05 | 上海联影智能医疗科技有限公司 | 病理切片处理方法、计算机设备和存储介质 |
| CN112669278A (zh) * | 2020-12-25 | 2021-04-16 | 中铁大桥局集团有限公司 | 一种基于无人机的梁底巡检及病害可视化方法及系统 |
| CN113506214A (zh) * | 2021-05-24 | 2021-10-15 | 南京莱斯信息技术股份有限公司 | 一种多路视频图像拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106683044B (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376611A (zh) | 一种基于3d卷积神经网络的视频显著性检测方法 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN104537634B (zh) | 动态图像中去除雨滴影响的方法和系统 | |
| CN105654436A (zh) | 一种基于前景背景分离的背光图像增强去噪方法 | |
| CN109816612A (zh) | 图像增强方法和装置、计算机可读存储介质 | |
| CN104809716B (zh) | 一种确定图像偏移量的方法及设备 | |
| CN103366390B (zh) | 终端及图像处理方法和装置 | |
| CN110210608A (zh) | 基于注意力机制和多层次特征融合的低照度图像增强方法 | |
| CN108921942B (zh) | 对图像进行2d转制3d的方法及装置 | |
| CN102930296A (zh) | 一种图像识别方法及装置 | |
| CN109523470A (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN104361574B (zh) | 一种基于稀疏表示的无参考彩色图像质量评价方法 | |
| CN110059586A (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
| CN106683043A (zh) | 一种多通道光学探测系统的并行图像拼接方法、装置 | |
| CN108038839A (zh) | 一种流水生产线上双绞线绞距实时检测方法 | |
| CN106683044A (zh) | 一种多通道光学探测系统的图像拼接方法、装置 | |
| CN110111347B (zh) | 图像标志提取方法、装置及存储介质 | |
| CN116757988B (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN110363720A (zh) | 一种图像的色彩增强方法、装置、设备和存储介质 | |
| CN109190617A (zh) | 一种图像的矩形检测方法、装置及存储介质 | |
| CN110910372A (zh) | 基于深度卷积神经网络的匀光板缺陷检测方法 | |
| CN102567969B (zh) | 一种彩色图像边缘检测方法 | |
| CN113706607B (zh) | 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置 | |
| CN113129390A (zh) | 一种基于联合显著性的色盲图像重新着色方法及系统 | |
| CN109643363A (zh) | 特征提取和对象检测的方法、系统和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |