CN106683043B - 一种多通道光学探测系统的并行图像拼接方法、装置 - Google Patents
一种多通道光学探测系统的并行图像拼接方法、装置 Download PDFInfo
- Publication number
- CN106683043B CN106683043B CN201510762866.0A CN201510762866A CN106683043B CN 106683043 B CN106683043 B CN 106683043B CN 201510762866 A CN201510762866 A CN 201510762866A CN 106683043 B CN106683043 B CN 106683043B
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- images
- reference image
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 165
- 230000009466 transformation Effects 0.000 claims abstract description 143
- 238000005070 sampling Methods 0.000 claims abstract description 35
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 abstract description 9
- 239000000306 component Substances 0.000 description 18
- 239000013598 vector Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- HHXYJYBYNZMZKX-UHFFFAOYSA-N 3,4:15,16-diepoxy-7-oxo-13(16),14-clerodadien-20,12-olide-(3alpha,4alpha)-form Natural products C12CCC3C4(C)CCCC(C)(C)C4CCC3(C)C1(C)CCC1C2(C)CCC1C(=C)C HHXYJYBYNZMZKX-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种多通道光学探测系统的并行图像拼接方法，属于图像处理领域，包括：对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，并进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的所述每组待拼接图像的变换矩阵；按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有待拼接图像。通过本申请公开的方法，实现了待拼接图像至基准图像的并行拼接，进一步提高了拼接效率。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种多通道光学探测系统的并行图像拼接方法及装置。
背景技术
在军、民等众多应用领域，都对大视场、高分辨率光学探测系统有着强烈的需求。为了解决传统的可见光侦察探测装置受技术水平的限制以及物理原理的约束，高的角分辨率和大的视场角不能兼顾，无法可靠实现大范围目标探测识别的问题，研究人员开展了基于仿生复眼技术的多通道光学探测系统的研究，并且取得了一定的成绩。
多通道光学探测系统有着大视场角、高分辨率等优势，能够在一定程度上解决典型光学侦察探测系统的问题。其系统主要构成包括多个用于拍摄目标区域图像的图像采集装置(例如：高分辨相机)、图像拼接装置、图像显示装置，其中，图像拼接装置用于对多个通道采集的图像进行拼接处理，是多通道光学探测系统的核心部件。在多通道光学探测系统实际应用中，往往需要图像拼接装置将多通道光学系统获取到的多幅图像合成一幅大图，并以一定帧频显示。
基于不变特征的图像拼接方法是一种公认的较为可靠的图像拼接方法。然而在实际应用，现有方法存在一定问题，其计算效率、拼接精度还有待进一步提高。对于典型的基于不变特征的图像拼接方法，现有技术中进行图像拼接采用的根据拼接顺序依次拼接的串行拼接方式，如先拼接第二幅图像和第一幅图像，再将第三副图像拼接至第一、二幅图像拼接后的图像上，拼接效率低。
因此，需要本领域技术人员迫切解决的一个技术问题就是：如何提高图像的拼接效率。
发明内容
本申请所要解决的技术问题是提供一种多通道光学探测系统的图像拼接方法，能够提高拼接图像的效率。
为了解决上述问题，本申请公开了一种多通道光学探测系统的并行图像拼接方法，包括：对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息；对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的所述每组待拼接图像的变换矩阵；按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有待拼接图像。
其中，所述从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序，包括：选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以基准图像为中心，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
进一步的，所述按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵，包括：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
进一步的，所述按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵，包括：根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，并以基准图像为中心，将待拼接图像按行划分；在每行图像中选择距离基准图像最近的待拼接图像作为该行的行基准图像；按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序；按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序。
所述按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵，包括：根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于该行的行基准图像的变换矩阵；将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的变换矩阵和当前待拼接图像相对于所述该行的行基准图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
在本申请的另一实施例中，所述方法还包括：确定待拼接图像的拼接区域为相邻待拼接图像的重叠区域；所述按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息，进一步包括：按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到每组待拼接图像的候选特征点对信息。
在本申请的又一实施例中，所述方法还包括：根据所述多通道光学探测系统拼接一帧图像的时间和设置的显示帧率，自动设置降采样比例。
相应的，本申请还公开了一种多通道光学探测系统的并行图像拼接装置，包括：降采样模块，用于对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；拼接顺序设置模块，用于从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；特征提取模块，用于按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息；特征筛选模块，用于对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的所述每组待拼接图像的变换矩阵；拼接参数计算模块，用于按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵；根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有待拼接图像。
进一步的，所述拼接顺序设置模块具体用于，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以基准图像为中心，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
进一步的，所述拼接参数计算模块具体用于，根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
在本申请的另一实施例中，所述拼接顺序设置模块具体用于，根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，并以基准图像为中心，将待拼接图像按行划分；在每行图像中选择距离基准图像最近的待拼接图像作为该行的行基准图像；按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序；按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序。
进一步的，所述拼接参数计算模块具体用于，根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于该行的行基准图像的变换矩阵；将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的变换矩阵和当前待拼接图像相对于所述该行的行基准图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
与现有技术相比，本申请具有以下优点：本申请在设置了所述待拼接图像的拼接顺序后，可以分别提取待拼接图像的特征点对和计算变换矩阵，不相邻的待拼接图像之间的特征提取和变换矩阵的计算没有依赖关系，有利于并行计算，提高拼接效率；同时，本申请通过变换矩阵的连续的乘积，实现了图像坐标系的传递，计算出了其他所有图像相对基准图像的变换矩阵，具体拼接时不需要将相邻的待拼接图像依次拼接，可以实现待拼接图像至基准图像的并行拼接，进一步提高了拼接效率。
附图说明
图1是本申请的多通道光学探测系统的并行图像拼接方法实施例一的流程示意图；
图2是本申请的多通道光学探测系统采集的图像位置分布示意图；
图3是本申请的多通道光学探测系统采集的图像位置分布另一示意图；
图4是本申请的多通道光学探测系统的并行图像拼接方法实施例四的流程示意图；
图5是本申请实施例五公开的并行图像拼接装置的结构示意图；
图6是本申请又一实施例公开的并行图像拼接装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一：
参照图1，图1示出了本申请一种多通道光学探测系统的并行图像拼接方法实施例一的流程示意图，所述并行图像拼接方法包括以下步骤：
步骤100，对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；
步骤110，从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；
步骤130，按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息；
步骤140，对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的所述每组待拼接图像的变换矩阵；
步骤150，按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵；
步骤160，根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有待拼接图像。
其中，步骤100具体为：
在进行图像拼接之前，首先要对该多通道光学探测系统各通道采集的图像帧进行去噪处理，去除干扰噪声。对光学图像进行去噪处理可以采用现有技术，本申请在此不赘述。
然后，为了减少系统进行图像拼接计算量，同时又保证处理的图像不失真，需要对去噪处理后的图像降采样，得到将采样图像。具体实施时，可以根据预设的降采样比例T对多通道光学探测系统采集的图像进行降采样处理。其中，图像降采样比例即降采样倍数T，根据输出的待显示帧频、多通道光学探测系统的计算性能、多通道光学探测系统采集的图像的分辨率计算得到，可以预先设置。例如：若用户所需的显示图像帧频较高、且该多通道光学探测系统的计算性能一般，则需要对采集的图像进行大倍数的降采样，以多通道光学探测系统采用的图像采集装置为7路500万像素的相机为例，若要求输出的显示帧频是每秒5帧、用HPZ820工作站作为计算设备，其采用E5-2690处理器、ECC DDR3 1600MHz，根据经验验证，需要对采集的图像进行4倍降采样处理，即降采样后的图像边长变为了原始采集图像的1/4，单路图像仅约30多万像素。对采集的图像进行降采样处理，可以有效降低图像拼接、显示的运算量。若原始采集图像长方向、宽方向像素数分别为X、Y，图像降采样后的得到的降采样图像长方向、宽方向像素数变为ceil(X/T)、ceil(Y/T)，其中ceil为向上取整函数。
上述步骤110中，为了提高图像拼接的效率，本申请需要选择一幅基准图像，然后以所述基准图像为标准，分别计算其他待拼接图像相对于基准图像的拼接信息，便于并行执行图像拼接。基准图像可以人为设定。待拼接图像的拼接顺序可以人为根据经验设定，例如可以按照多通道光学探测系统的图像采集装置采集的待拼接图像的视场位置，按照从左到右、从上至下的顺序设置各图像采集装置采集的图像的拼接顺序。以多通道光学探测系统包括5路图像采集装置为例，如图2所示，5路图像采集装置采集的待拼接图像分为别：P1、P2、P3、P4、P5，各待拼接图像的拼接顺序可以设置为：P1为基准图像，P2和P1拼接、P3和P2拼接、P4和P3拼接、P5和P4拼接。优选的，根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，按照由中心至周边的位置关系设置每一所述待拼接图像的拼接顺序，具体实施时，可以根据各图像采集装置的安装位置确定视场位置。选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以基准图像为中心，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序，与基准图像距离越小的待拼接图像先拼接。以图2为例，选择位于视场中心的P3作为基准图像，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置的拼接顺序为：P4和P3拼接、P5和P4拼接；P2和P3拼接、P1和P2拼接。待拼接图像的拼接顺序可以通过设置拼接顺序序号来标记，根据该拼接顺序序号索引某一待拼接图像拼接的目标图像，即记录一组待拼接图像的标识，如：P3的拼接顺序序号为0，不需要拼接；P4的拼接顺序序号为1，需要和P3拼接，如下表所示：
| 待拼接图像 | P1 | P2 | P3 | P4 | P5 |
| 拼接顺序序号 | 4 | 2 | 0 | 1 | 3 |
| 相邻待拼接图像 | P2 | P3 | - | P3 | P4 |
具体实施时，为了计算方便，基准图像的拼接顺序序号设置为最小值，在设置其他待拼接图像的拼接顺序序号时，以基准图像为中心，两侧的待拼接图像的拼接顺序序号分别设置为奇数和偶数，按照与基准图像的距离从小到大的距离顺序编号，编号越小越先拼接。此处仅是举例说明拼接顺序的表示方式，本申请对拼接顺序的表示方法不做限定。
基于不变特征的图像拼接方法，需要对待拼接的图像提取不变特征，得到候选特征点的特征描述及其对应的在各自图像上的坐标信息，根据图像特征描述的匹配度，确定图像拼接用的特征点对，来完成两幅图像的拼接。因此，上述步骤130中，按照步骤110中设定的拼接顺序，分别提取相邻的待拼接图像的特征，然后对提取的特征进行匹配运算，得到每组所述待拼接图像的候选特征点对信息。本实施例以提取P3和P4的候选特征点对信息为例进行说明。
本申请基于不变特征进行图像拼接，提取图像的不变特征的方法有很多，如：尺度不变特征转换(Scale Invariant Feature Transform，SIFT)方法、SURF(Speeded UpRobust Features)特征提取方法等；不同的特征提取方法得到的“特征描述”有一定差异，因此特征点匹配的方法也会稍许差异。本申请对不变特征的提取和匹配的具体方法不做限定。在本申请的实施例中，以使用尺度不变特征转换(SIFT)方法为例，说明对待拼接图像的特征提取过程，以“最近距离比次近距离方法”为例来描述特征匹配的运算的过程。
待拼接图像P3用i表示、待拼接图像P4用j表示，利用SIFT算法分别对图像i与图像j的拼接区域进行特征提取，得到候选特征点的特征描述及其对应的在各自图像上的坐标信息。
假设图像i的拼接区域为i'，图像j的拼接区域为j′。利用SIFT算法对i'、j′进行特征提取，得到候选特征点特征描述集合：
其中Featurei'、Featurej'分别为i'、j'上提取出的候选特征点的特征描述集合；Fp为i'上提取出的第p个候选特征点的特征描述，Fp为一个128维的向量，Fp＝(fp1,fp2,...,fp128)；Mq为j'上提取出的第q个候选特征点的特征描述，Mq为一个128维的向量，Mq＝(mq1,mq2,...,mq128)；P、Q分别为i'、j'上提取出的候选特征点的数目，P、Q为正整数。
然后，对提取的候选特征点进行特征匹配运算，得到候选特征点对。
本发明实施例中采用“最近距离比次近距离”方法，基于求解出的候选特征点的特征描述，进行候选特征点匹配，得到候选特征点对。
计算Featurei'中每一个特征描述与Featurej'中每一个特征描述之间的距离，以特征描述Fp和特征描述Mq为例，其二者之间距离的计算公式如下：
Dis(Fp,Mq)为特征描述Fp和特征描述Mq之间的距离。
对于Featurei'中的一个特征描述Fp，分别计算其与Featurej'中每一个特征描述的距离，计算得到Featurej'中距离Fp最近的特征描述为MH,1≤H≤Q，其中，H为正整数；距离Fp次近的特征描述为MS,1≤S≤Q，其中，S为正整数。如果满足最近距离与次近距离的比小于或等于设定的阈值，如0.7，即Dis(Fp,MH)/Dis(Fp,MS)≤0.7，则认为Fp与MH为一对匹配的特征描述，此时，Fp、MH对应的图像i的拼接区域i'、图像j的拼接区域j'上的像素点即为求解出的一对候选特征点对。上述设定的阈值可以取小于1的任意正数，如果希望置信率高，可以取更小的数。
基于上述方法求出i'、j′上的全部候选特征点对，得到图像i和图像j的全部候选特征点对。
通过上述方法分别得到待拼图像的候选特征点对集合。若以图2所示的待拼接图像为例，步骤130中将得到4组候选特征点对集合，包括：P4和基准图像P3的候选特征点对集合F'1-＞0、P2和P3的候选特征点对集合F'2-＞0、P5和P4的候选特征点对集合F'3-＞1、P1和P2的候选特征点对集合F'4-＞2。集合中的元素包括：候选特征点的特征描述及其对应的在各自图像上的坐标信息。
本实施例中，待拼接图像的拼接区域可以为待拼接图像的全部区域，也可以是待拼接图像的部分区域。若拼接区域是待拼接图像的部分区域，则需要设定待拼接区域的尺寸。
上述步骤140，为了进一步减小拼接运算量，并提高拼接精度，对所述候选特征点对信息进行进一步筛选，确定优选特征点对信息，并确定所述优选特征点对信息对应的每组所述待拼接图像的变换矩阵。本实施例中，基于优选特征点对与变换矩阵方法对候选特征点对进行筛选，得到优选特征点对与相应的优选变换矩阵。
具体实施时，利用随机抽样一致性(Random Sample Consensus，RANSAC)算法，优选特征点对与变换矩阵。以下仍是以图像i、j为例说明确定优选特征点对信息和变换矩阵的具体方法。
某一对候选特征点对在图像i、图像j上的坐标分别为(x,y)、(x',y')，其中，(x,y)与(x',y')之间满足以下变换关系：
Matrix为图像i、图像j之间的变换矩阵，为3×3的矩阵，每一对特征点对都能够列出一个如公式(3)所示的方程。
首先，从图像i、图像j候选特征点对中随机选取4对候选特征点对，利用公式(3)计算图像i与图像j之间的变换矩阵Matrix。
然后，基于计算出的变换矩阵Matrix，求解内点集合。
(Nx',Ny')和(Mx,My)为一个候选特征点对对应在图像j、图像i中的坐标，首先，利用求解出的变换矩阵Matrix，求解(Nx',Ny')在图像i中对应的实算坐标，计算公式如下：
其中(Nx,Ny)为(Nx',Ny')对应在图像i中的实算坐标，计算并记录(Nx,Ny)与(Mx,My)的欧式距离d1。
同理，求解(Mx,My)在图像j中对应的实算坐标，计算公式如下：
其中Matrix-1为变换矩阵Matrix的逆矩阵，(Mx',My')为(Mx,My)对应在图像j中的实算坐标。计算并记录(Mx',My')与(Nx',Ny')的欧式距离d2，将d1与d2之和作为此候选特征点是否为内点的判断依据，当(d1+d2)≤Th时则认为该候选特征点对为内点，Th设定为1，为经验值，可根据需求设定。
基于变换矩阵Matrix、利用上述方法，判断图像i、图像j全部候选特征点对中内点的数目Number，并记录内点构成的集合。
最后，求解优选变换矩阵与优化特征点对。设置循环次数为SN，例如：SN＝1000，循环执行从图像i、图像j候选特征点对中随机选取4对候选特征点对，利用公式(3)计算图像i与图像j之间的变换矩阵Matrix和基于计算出的变换矩阵Matrix，求解内点集合的步骤，则元素数目最多的内点集合对应的变换矩阵，即为优选变换矩阵，此时内点集合内的候选特征点对为优选特征点对。其中，循环次数SN为经验值，根据需求确定。优选的，循环次数SN大于拼接区域的像素点个数/4。
通过上述步骤140，可以得到所有相邻待拼接图像的优选特征点对的集合和每组待拼接图像的变换矩阵，若以图2所示的待拼接图像为例，经过步骤140对候选特征点对集合F'1-＞0、F'2-＞0、F'3-＞1、F'4-＞2进行筛选，将得到4组优选特征点对集合F1-＞0、F2-＞0、F3-＞1、F4-＞2和4个变换矩阵Matrix1-＞0、Matrix2-＞0、Matrix3-＞1、Matrix4-＞2，分别对应：P4和基准图像P3的拼接参数、P2和基准图像P3的拼接参数、P5和P4的拼接参数、P1和P2的拼接参数，其中的2-＞0表示带拼接图像的拼接顺序序号和拼接关系。
上述步骤150中，根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵，通过本方法计算待拼接图像相对于基准图像的拼接矩阵，充分融合了其他待拼接图像的特征，拼接精度更高。例如：MatrixA→A-1对为拼接顺序序号为A的待拼接图像相对于拼接顺序序号为A-1的待拼接图像的变换矩阵，拼接顺序序号为A的待拼接图像相对于基准图像的变换矩阵为：MatrixA→0＝Matrix1→0×...×MatrixA-1→A-2×MatrixA→A-1；其中，Matrix1→0是与基准图像距离最近(即最先拼接)的待拼接图像相对于基准图像的变换矩阵，MatrixA→A-1是拼接顺序序号为A的待拼接图像相对于拼接顺序序号为A-1的待拼接图像的变换矩阵。仍以图2所示的待拼接图像为例进行说明。没有拼接顺序先于图像P4且与P4在基准图像同侧的图像，因此，图像P4相对于基准图像P3的变换矩阵为Matrix1-＞0；拼接顺序先于图像P5且与P5在基准图像同侧的图像有P4，因此，图像P5相对于基准图像P3的变换矩阵Matrix3-＞0为图像P5和图像P4的变换矩阵的累乘，即Matrix3-＞0＝Matrix3-＞1×Matrix1-＞0；没有拼接顺序先于图像P2且与P2在基准图像同侧的图像，因此，图像P2相对于基准图像P3的变换矩阵为Matrix2-＞0；拼接顺序先于图像P1且与P1在基准图像同侧的图像有P2，因此，图像P1相对于基准图像P3的变换矩阵Matrix4-＞0为图像P1和图像P2的变换矩阵的累乘，即Matrix4-＞0＝Matrix4-＞2×Matrix2-＞0。
上述步骤160中，根据所述每一待拼接图像相对于基准图像的变换矩阵，将所有待拼接图像拼接至基准图像，得到最终的拼接图像。
本申请的实施例通过对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；并从所述待拼接图像中选择基准图像，然后设置所述待拼接图像的拼接顺序；按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息；再对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的所述每组待拼接图像的变换矩阵；然后，按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵；最后，根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有待拼接图像，得到最终的拼接图像。
本申请在设置了所述待拼接图像的拼接顺序后，可以分别提取待拼接图像的特征点对和计算变换矩阵，不相邻的待拼接图像之间的特征提取和变换矩阵的计算没有依赖关系，有利于并行计算，提高拼接效率；同时，本申请通过变换矩阵的连续的乘积，实现了图像坐标系的传递，计算出了其他所有图像相对基准图像的变换矩阵，具体拼接时不需要将相邻的待拼接图像依次拼接，可以实现待拼接图像至基准图像的并行拼接，进一步提高了拼接效率。
实施例二：
本申请的一个优选实施例中，所述从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序，进一步包括：根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，并以基准图像为中心，将待拼接图像按行划分；在每行图像中选择距离基准图像最近的待拼接图像作为该行的行基准图像；按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序，与基准图像距离越小的待拼接图像先拼接；按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序，与基准图像距离越小的行基准图像先拼接。图3是一多通道光学探测系统采集的图像的示意图，如图3所示，待拼接图像有8幅，选择对应该多通道光学探测系统的视场中心的待拼接图像P3作为基准图像，以基准图像为中心，将待拼接图像按行划分，分成4行，L1～L4。其中，L1行包括P4，L2行包括P2、P3、P5，L3行包括P1、P6、P7，L4行包括P8。在L1行图像中选择距离标准图像最近的待拼接图像P4作为该行的行基准图像；在L2行图像中选择距离标准图像最近的待拼接图像P3作为该行的行基准图像；在L3行图像中选择距离标准图像最近的待拼接图像P6作为该行的行基准图像；在L4行图像中选择距离标准图像最近的待拼接图像P8作为该行的行基准图像。以L3行待拼接图像为例，按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序，即：P7和P6拼接；P1和P6拼接。待拼接图像的拼接顺序可以通过设置拼接顺序序号来标记，如下表所示：
| 待拼接图像 | P1 | P6 | P7 |
| 拼接顺序序号 | 2 | 0 | 1 |
| 相邻待拼接图像 | P6 | - | P6 |
再按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序：P4和P3拼接；P6和P3拼接；P8和P6拼接，待拼接图像的拼接顺序可以通过设置拼接顺序序号来标记，如下表所示：
| 待拼接图像 | P4 | P3 | P6 | P8 |
| 拼接顺序序号 | 10 | 0 | 11 | 13 |
| 相邻待拼接图像 | P3 | - | P3 | P6 |
行内待拼接图像和行基准图像的特征提取和变换矩阵的生成方法参照实施例一中的步骤130、步骤140，此处不再赘述。
所述按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵，进一步包括：根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于该行的行基准图像的变换矩阵；再将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的变换矩阵和当前待拼接图像相对于所述该行的行基准图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵，得到当前待拼接图像相对于基准图像的变换矩阵。为了便于说明，本实施例中以基准图像的拼接顺序序号为0，行内其他待拼接图像的拼接顺序序号在基准图像两侧分别为奇数(如：1、3、5….)和偶数(如：2、4、6、…A-2、A、…)，行基准图像的拼接顺序序号在基准图像两侧分别为奇数(如：11、13、15….)和偶数(如：12、14、16、…(B-2)、(B)、...)，为例来描述当前待拼接图像相对于基准图像的拼接矩阵的计算方法。若得到各行的待拼接图像的变换矩阵序列为{MatrixA→A-2}，行基准图像的变换矩阵序列{Matrix(B)→(B-2)}，其中，A、A-2、(B)、(B-2)为拼接顺序序号，MatrixA→A-2为将拼接顺序序号为A的图像拼接到拼接顺序序号为A-2的图像上所需的变换矩阵，同理有Matrix(B)→(B-2)为将拼接顺序序号为(B)的行基准图像拼接到拼接顺序序号为(B-2)的行基准图像上所需的变换矩阵。在步骤140中得到各行待拼接图像的变换矩阵序列{MatrixA→A-2}、和行基准图像的变换矩阵序列{Matrix(B)→(B-2)}后，根据拼接顺序，采用变换矩阵累乘的方法，计算某一行内拼接顺序序号为A的待拼接图像相对于基准图像的变换矩阵，公式表示为：
Matrix(BM)→(0)×...×Matrix(BN-2)→(BN-4)×Matrix(BN)→(BN-2)×MatrixAN→0×.
..×MatrixA-2→A-4×MatrixA→A-2，其中，
AN是当前待拼接图像(某一行内拼接顺序序号为A的待拼接图像)所在行内与当前待拼接图像位于行基准图像同侧，且最先拼接(即最临近行基准图像)的待拼接图像的拼接顺序序号，(BN)是当前行基准图像(即当前待拼接图像所在行上的行基准图像)相对于基准图像中的拼接顺序序号，(BM)为行基准图像中与当前行基准图像位于基准图像同侧，且最先拼接(即最临近基准图像)的行基准图像的拼接顺序序号。
若以图3所示的待拼接图像为例，步骤140中会得到L3行的待拼接图像的变化矩阵序列{Matrix1→0、Matrix2→0}，其中，1是L3行内待拼接图像P7的拼接顺序序号，2是L3行内待拼接图像P1的拼接顺序序号，0是L3行内行基准图像P6的拼接顺序序号；Matrix1→0是L3行内待拼接图像P7相对于行基准图像P6的变换矩阵，Matrix2→0是L3行内待拼接图像P1相对于行基准图像P6的变换矩阵。步骤140中还会得到行基准图像变化矩阵序列{Matrix10→0、Matrix11→0、Matrix13→11}，其中，10是行基准图像P4的拼接顺序序号，11是行基准图像P6的拼接顺序序号，13是行基准图像P8的拼接顺序序号，Matrix11→0是行基准图像P6相对于基准图像P3的变换矩阵，则L3行待拼接图像P1相对于基准图像P3的变换矩阵为：Matrix2→0×Matrix11→0。
实施例三：
本申请的另一具体实施例中，在确定了相邻的所述待拼接图像的优选特征点对信息之后，还包括：对于灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算所述待拼接图像的初始图像均衡参数；对于彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算所述待拼接图像的初始图像均衡参数；利用初始图像均衡参数，结合设定的拼接顺序，计算出每一待拼接图像相对基准图像的图像均衡参数。所述步骤160进一步包括，根据每一待拼接图像相对基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理，根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有图像均衡处理后的待拼接图像。下面分别针对待拼接图像为灰度图像和彩色图像两种情况为例，对初始图像均衡参数的获取方法进行说明。
针对灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算初始图像均衡参数，即所述每组待拼接图像的初始图像均衡参数为所述待拼接图像的优选特征点对对应的灰度值构成的向量的比值。具体为：图像i对应的灰度值矩阵为I，图像j对应的灰度值矩阵为J，若图像i与图像j上的优选特征点对对应的灰度值构成了向量Vi与Vj，
n为特征点对的数量，
为图像i上第s个特征点对对应的灰度值、
为图像j上第s个特征点对对应的灰度值，根据公式Vi＝KVj计算得到的实数K为图像j相对图像i的初始图像均衡参数。
针对彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算初始图像均
衡参数，即所述每组待拼接图像的颜色分量的初始图像均衡参数为所述待拼接图像的优选
特征点对对应的各颜色分量构成的向量的比值。具体如下：彩色图像i对应的三维矩阵[IR,
IG,IB]，其中IR、IG、IB分别为图像i的红、绿、蓝分量，同理有彩色图像j对应的三维矩阵[JR,
JG,JB]，其中JR、JG、JB分别为图像j的红、绿、蓝分量，图像i的优选特征点对对应的图像的颜
色信息构成了向量分别为
图像j优选特征点对对应的图像的颜色信息构成了向量分别为
n为特征点对
数。分别为图像i与图像j的优选特征点对对应的红、绿、
蓝分量的信息构成的向量，根据公式计算得到的实数KR为图像j相对图像i的红
色分量的初始图像均衡参数；根据公式计算得到的实数KG为图像j相对图像i的
绿色分量的初始图像均衡参数；根据公式计算得到的实数KB为图像j相对图像i
的蓝色分量的初始图像均衡参数。
利用初始图像均衡参数，结合拼接顺序，计算出其他所有待拼接图像相对基准图像的图像均衡参数。下面以拼接序号为：0、1、2….A的待拼接图像为例，来阐述拼接序号为A的待拼接图像相对于基准图像的图像均衡参数，其中拼接序号为0的待拼接图像为基准图像。
对于灰度图像，定义Kseq1→seq2为拼接顺序序号为seq1的图像相对拼接顺序序号为seq2的图像的初始图像均衡参数，图像拼接顺序序号为A的图像相对基准图像的图像均衡参数为：K'＝K1→0...×KA-2→A-1×KA→A-1；其中，K1→0是除基准图像外的首个待拼接图像相对于基准图像的初始图像均衡参数，KA→A-1是拼接序号为A的待拼接图像相对于拼接序号为A-1的待拼接图像的初始图像均衡参数。根据公式J'＝K'J，得到图像均衡后的图像灰度值对应的矩阵J'。
对于彩色图像，定义为拼接顺序序号为seq1的图像相对拼接顺序序号为
seq2的图像的红色分量的初始图像均衡参数，图像拼接顺序序号为A的图像相对基准图像
的红色分量的图像均衡参数为：
其中，是首个除
基准图像外的待拼接图像相对于基准图像的红色分量的初始图像均衡参数，是拼接
序号为A的待拼接图像相对于拼接序号为A-1的待拼接图像的红色分量的初始图像均衡参
数。根据公式J'R＝K'RJR，得到图像均衡后的图像的红色分量的矩阵J'R。
同理可得任意拼接顺序序号的图像相对于基准图像的绿色分量的图像均衡参数K'G、蓝色分量的图像均衡参数K'B，并进一步根据公式J'G＝K'GJG得到图像均衡后的绿色分量J'G，根据公式J'B＝K'BJB得到图像均衡后的图像的蓝色分量J'B。
由于光照以及传感器本身的差异，多个通道获取到的图像亮度、对比度等有一定差距，若直接拼接，则拼接后的图像不同区域亮度、对比度等差异较大、拼接痕迹明显，影响实际应用，本申请采用基于特征点对信息的图像均衡方法，能够有效地对参与拼接的图像进行图像均衡，进而提高图像拼接质量，改善拼接图像的视觉效果。
实施例四：
基于本申请的实施例一、二、三，在本申请的另一优选实施例中，如图4所示，还包括：
步骤120，确定待拼接图像的拼接区域为相邻待拼接图像的重叠区域。
所述步骤130进一步包括，按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到每组待拼接图像的候选特征点对信息。
为了获得全面、准确的图像，多通道光学探测系统的各图像采集装置采集的图像通常是有部分重叠的，本实施例中，待拼接图像的拼接区域为相邻待拼接图像的重叠区域。例如图2中，实施例中的基准图像P3和待拼接图像P4的重叠区域。
其中，相邻待拼接图像的重叠区域，根据所述多通道光学探测系统中的图像采集设备的拍摄视场的重叠情况确定。具体实施时，所述拼接基准图像和待拼接图像的重叠区域，可根据多路相机拍摄的图像之间实际重叠情况进行设定。若一路相机拍摄的图像一边的边长Z为，沿边长方向对应的相机视场角为P，此方向上与相邻相机的视场重叠角度为P‘，则此方向上拼接区域的图像尺寸参数为ZP‘/P。拼接区域的图像尺寸参数是指特征提取操作中，参与计算的图像尺寸。
本实施例的其他步骤的具体实施方式参见实施例一。本实施例的有益效果：仅需要对基准图像和其他待拼接图像的图像重叠区域进行特征提取，而不需要向传统方法那样对基准图像和待拼接图像的全图进行特征提取，降低计算量，提高了拼接效率。
实施例五：
基于前述实施例一至实施例四，本申请公开的另一优选实施例中，为了适应多通道光学探测系统的计算性能的变化，本申请的另一优选实施例中，还包括：
步骤170，根据所述多通道光学探测系统拼接一帧图像的时间和设置的显示帧率，自动设置降采样比例。当输出的待显示帧频为frame时，首先设置降采样倍数为T，T＝1，此时多通道光学探测系统拼接一帧图像的时间为time，若time＞1/frame，则为了满足显示需求，则需要增加多通道图像降采样倍数，降采样倍数T自动加1，则T＝2，进行执行下一帧图像的拼接处理。此时多通道光学探测系统拼接一帧图像的时间为time，若此时拼接一帧图像的时间满足time≤1/frame，则降采样比例可以满足平滑输出显示图像帧的需求，完成了自适应图像降采样，降采样倍数T＝2；否则将降采样倍数再自动加1，重复上述过程，直至满足time≤1/frame，至此完成了图像降采样倍数的自适应设置。
以多通道光学探测系统采用7路500万像素的相机为例，例如，当输出的待显示帧频为frame(如每秒5帧)，则拼接一帧图像最多只能占用time＝1/frame(即0.2秒)秒时间。系统对图像拼接进行计时，若在time秒时间内，没有输出一帧图像，则自动降采样倍数增加1倍后，继续对图像拼接时间进行计时，直至拼接一帧图像的时间小于时间time。由于多通道光学探测系统的老化、变更、资源被占用等，可能导致计算性能的变化，通过本申请的自适应设置下采样倍数的方法，可以有效地根据系统计算性能的变化，及时的输出拼接图像。
同理，为了适应由于所述多通道光学探测系统在一段时间内资源占用过多，在资源释放后，运算能力增强的情况，具体实施时，还可以设置一个周期，在设定的周期内，多通道光学探测系统拼接一帧图像的时间为time，当判断处理一帧图像的时间满足time≤1/2frame时，降采样的倍数自动减1，通过自适应调整降采样倍数，可以兼顾拼接效果和拼接效率。
图像降采样中的重采样方法可选择线性均值、高斯均值等任意方法，本申请对此不作限定。
实施例六：
相应的，本申请还公开了一种多通道光学探测系统的图像拼接装置，如图5所示，包括：
降采样模块500，用于对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；
拼接顺序设置模块510，用于从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；
特征提取模块530，用于按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息；
特征筛选模块540，用于对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的所述每组待拼接图像的变换矩阵；
拼接参数计算模块550，用于按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵；
拼接模块560，用于根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有待拼接图像。
在本申请的一个实施例中，所述拼接顺序设置模块510具体用于，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以基准图像为中心，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
所述拼接参数计算模块550具体用于，根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
在本申请的另一具体实施例中，所述拼接顺序设置模块510具体用于，根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，并以基准图像为中心，将待拼接图像按行划分；在每行图像中选择距离基准图像最近的待拼接图像作为该行的行基准图像；按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序；按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序。
所述拼接参数计算模块550具体用于，根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于该行的行基准图像的变换矩阵；将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的变换矩阵和当前待拼接图像相对于所述该行的行基准图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
在本申请的又一实施例中，还包括：图像均衡参数计算模块，用于对于灰度图像，根据所述待拼接图像的优选特征点对的灰度值计算所述待拼接图像的初始图像均衡参数；对于彩色图像，根据所述待拼接图像的优选特征点对的颜色信息计算所述待拼接图像的初始图像均衡参数；利用初始图像均衡参数，结合设定的拼接顺序，计算每一待拼接图像相对基准图像的图像均衡参数。
所述拼接模块560还用于，根据每一待拼接图像相对于基准图像的图像均衡参数对所述待拼接图像进行图像均衡处理；根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有图像均衡处理后的待拼接图像。
在本申请的再一实施例中，如图6所示，所述多通道光学探测系统的并行图像拼接装置还包括：拼接区域确定模块520，用于确定待拼接图像的拼接区域为相邻待拼接图像的重叠区域。所述特征提取模块530进一步用于：按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到每组待拼接图像的候选特征点对信息。拼接区域确定模块520的具体实现方式参见方法实施例，此处不再赘述。
在本申请的再一实施例，所述多通道光学探测系统的并行图像拼接装置还包括：自适应降采样模块，用于根据所述多通道光学探测系统拼接一帧图像的时间和设置的显示帧率，自动设置降采样比例。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献+的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
Claims (10)
1.一种多通道光学探测系统的并行图像拼接方法，其特征在于，包括：
对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；
从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；
按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息；
对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的所述每组待拼接图像的变换矩阵；
按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵；
根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有待拼接图像；
其中，所述按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵，包括：
根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，并以基准图像为中心，将待拼接图像按行划分；
在每行图像中选择距离基准图像最近的待拼接图像作为该行的行基准图像；
按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序；
按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序。
2.如权利要求1所述的并行图像拼接方法，其特征在于，所述从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序，包括：选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以基准图像为中心，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
3.如权利要求2所述的并行图像拼接方法，其特征在于，所述按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵，包括：根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
4.如权利要求1所述的并行图像拼接方法，其特征在于，所述按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵，包括：
根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于该行的行基准图像的变换矩阵；
将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的变换矩阵和当前待拼接图像相对于所述该行的行基准图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
5.如权利要求1所述的并行图像拼接方法，其特征在于，所述方法还包括：确定待拼接图像的拼接区域为相邻待拼接图像的重叠区域；
所述按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息，进一步包括：
按照设定的拼接顺序，分别提取相邻的所述待拼接图像的拼接区域的特征，得到每组待拼接图像的候选特征点对信息。
6.如权利要求1至5任一项所述的并行图像拼接方法，其特征在于，所述方法还包括：根据所述多通道光学探测系统拼接一帧图像的时间和设置的显示帧率，自动设置降采样比例。
7.一种多通道光学探测系统的并行图像拼接装置，其特征在于，包括：
降采样模块，用于对采集的图像按照设定的降采样比例进行预处理，得到降采样的待拼接图像；
拼接顺序设置模块，用于从所述待拼接图像中选择基准图像，并设置所述待拼接图像的拼接顺序；
特征提取模块，用于按照设定的拼接顺序，分别提取相邻的所述待拼接图像的特征，得到每组待拼接图像的候选特征点对信息；
特征筛选模块，用于对所述候选特征点对信息进行筛选，确定优选特征点对信息和所述优选特征点对信息对应的所述每组待拼接图像的变换矩阵；
拼接参数计算模块，用于按照设定的拼接顺序，计算每一待拼接图像相对于基准图像的变换矩阵；
根据所述每一待拼接图像相对于基准图像的变换矩阵，拼接所有待拼接图像；
其中，所述拼接顺序设置模块具体用于：
根据该多通道光学探测系统中的图像采集装置采集的待拼接图像的视场位置，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，并以基准图像为中心，将待拼接图像按行划分；
在每行图像中选择距离基准图像最近的待拼接图像作为该行的行基准图像；
按照待拼接图像与行基准图像的距离由小到大的顺序，两侧分别设置待拼接图像的拼接先后顺序；
按照行基准图像与基准图像的距离由小到大的顺序，两侧分别设置行基准图像的拼接先后顺序。
8.如权利要求7所述的并行图像拼接装置，其特征在于，所述拼接顺序设置模块具体用于，选择对应该多通道光学探测系统的视场中心的待拼接图像作为基准图像，以基准图像为中心，按照待拼接图像与基准图像的距离由小到大的顺序，两侧分别设置拼接的先后顺序。
9.如权利要求8所述的并行图像拼接装置，其特征在于，所述拼接参数计算模块具体用于，根据设定的拼接顺序，将与当前待拼接图像位于所述基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
10.如权利要求9所述的并行图像拼接装置，其特征在于，所述拼接参数计算模块具体用于，
根据设定的拼接顺序，将与当前待拼接图像位于同一行内，且在该行的行基准图像同侧，且拼接顺序先于当前待拼接图像的所有待拼接图像对应的变换矩阵和当前待拼接图像的变换矩阵累乘，得到当前待拼接图像相对于该行的行基准图像的变换矩阵；
将与所述该行的行基准图像位于基准图像同侧，且拼接顺序先于所述该行的行基准图像的所有行基准图像的变换矩阵和当前待拼接图像相对于所述该行的行基准图像的变换矩阵累乘，得到当前待拼接图像相对于基准图像的变换矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510762866.0A CN106683043B (zh) | 2015-11-10 | 2015-11-10 | 一种多通道光学探测系统的并行图像拼接方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510762866.0A CN106683043B (zh) | 2015-11-10 | 2015-11-10 | 一种多通道光学探测系统的并行图像拼接方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106683043A CN106683043A (zh) | 2017-05-17 |
| CN106683043B true CN106683043B (zh) | 2020-03-06 |
Family
ID=58864743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510762866.0A Active CN106683043B (zh) | 2015-11-10 | 2015-11-10 | 一种多通道光学探测系统的并行图像拼接方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106683043B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110068271B (zh) * | 2019-04-19 | 2021-03-30 | 怡得乐电子(杭州)有限公司 | 亚像素精度的大尺寸产品的pin针位置度检测方法 |
| CN111526302A (zh) * | 2020-04-28 | 2020-08-11 | 飞友科技有限公司 | 一种可堆叠的全景视频实时拼接方法 |
| CN111858992B (zh) * | 2020-07-04 | 2023-10-20 | 广东粤源工程咨询有限公司 | 基于gps和标签信息的水利工程照片管理方法及系统 |
| CN112017120A (zh) * | 2020-09-04 | 2020-12-01 | 北京伟杰东博信息科技有限公司 | 一种图像合成方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102801899A (zh) * | 2012-08-29 | 2012-11-28 | 广东威创视讯科技股份有限公司 | 提高拼接屏幕图像显示质量的方法及装置 |
| EP2688286A2 (en) * | 2012-07-18 | 2014-01-22 | Nokia Corporation | Robust two dimensional panorama generation using light field camera capture |
| CN103925912A (zh) * | 2014-04-02 | 2014-07-16 | 中国人民解放军总参谋部测绘研究所 | 内视场光学分割型大面阵ccd影像几何拼接方法 |
| CN104079915A (zh) * | 2014-07-03 | 2014-10-01 | 清华大学深圳研究生院 | 一种并行虚拟视点合成方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3889650B2 (ja) * | 2002-03-28 | 2007-03-07 | 三洋電機株式会社 | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 |
| CN101916452B (zh) * | 2010-07-26 | 2012-04-25 | 中国科学院遥感应用研究所 | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 |
| CN102819835A (zh) * | 2012-07-26 | 2012-12-12 | 中国航天科工集团第三研究院第八三五七研究所 | 一种图像拼接中筛选特征点匹配对的方法 |
| CN104867137B (zh) * | 2015-05-08 | 2017-12-08 | 中国科学院苏州生物医学工程技术研究所 | 一种基于改进ransac算法的图像配准方法 |
| CN104966270B (zh) * | 2015-06-26 | 2018-03-09 | 浙江大学 | 一种多图像拼接方法 |
-
2015
- 2015-11-10 CN CN201510762866.0A patent/CN106683043B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2688286A2 (en) * | 2012-07-18 | 2014-01-22 | Nokia Corporation | Robust two dimensional panorama generation using light field camera capture |
| CN102801899A (zh) * | 2012-08-29 | 2012-11-28 | 广东威创视讯科技股份有限公司 | 提高拼接屏幕图像显示质量的方法及装置 |
| CN103925912A (zh) * | 2014-04-02 | 2014-07-16 | 中国人民解放军总参谋部测绘研究所 | 内视场光学分割型大面阵ccd影像几何拼接方法 |
| CN104079915A (zh) * | 2014-07-03 | 2014-10-01 | 清华大学深圳研究生院 | 一种并行虚拟视点合成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106683043A (zh) | 2017-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11562498B2 (en) | Systems and methods for hybrid depth regularization | |
| Tan et al. | DeepDemosaicking: Adaptive image demosaicking via multiple deep fully convolutional networks | |
| CN106683048B (zh) | 一种图像超分辨率方法及设备 | |
| CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN106683043B (zh) | 一种多通道光学探测系统的并行图像拼接方法、装置 | |
| CN104966285B (zh) | 一种显著性区域的检测方法 | |
| CN109816612A (zh) | 图像增强方法和装置、计算机可读存储介质 | |
| CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
| CN109190617B (zh) | 一种图像的矩形检测方法、装置及存储介质 | |
| CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
| CN110111347B (zh) | 图像标志提取方法、装置及存储介质 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN106683044B (zh) | 一种多通道光学探测系统的图像拼接方法、装置 | |
| CN105976334B (zh) | 一种三维滤波去噪算法的去噪处理系统及方法 | |
| CN111476835A (zh) | 多视角图像一致性的无监督深度预测方法、系统、装置 | |
| CN108257153B (zh) | 一种基于方向梯度统计特征的目标跟踪方法 | |
| CN107945119B (zh) | 基于拜耳模式的图像内相关噪声估计方法 | |
| CN113935917A (zh) | 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 | |
| CN109978928B (zh) | 一种基于加权投票的双目视觉立体匹配方法及其系统 | |
| Zhao et al. | Saliency map-aided generative adversarial network for raw to rgb mapping | |
| WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
| CN116229123A (zh) | 基于多通道分组互相关代价卷的双目立体匹配方法及装置 | |
| CN108268533A (zh) | 一种用于图像检索的图像特征匹配方法 | |
| CN113435270A (zh) | 目标检测方法、装置、设备及存储介质 | |
| CN108268815B (zh) | 图像场景理解的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |