CN104299231B - 多传感器实时图像配准方法和系统 - Google Patents
多传感器实时图像配准方法和系统 Download PDFInfo
- Publication number
- CN104299231B CN104299231B CN201410505388.0A CN201410505388A CN104299231B CN 104299231 B CN104299231 B CN 104299231B CN 201410505388 A CN201410505388 A CN 201410505388A CN 104299231 B CN104299231 B CN 104299231B
- Authority
- CN
- China
- Prior art keywords
- sensor
- image
- information
- sensors
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了多传感器实时图像配准方法和系统。其中的方法包括：设置一个激光测距机和三个传感器并将其中的一个传感器设置为基准传感器；确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素和放大倍数；根据所述水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理。通过使用本发明中的方法和系统，可以简化图像配准处理过程，避免复杂图像配准方法的使用，提高图像配准的处理速度，保证系统实时配准过程的快速实现；还可有效地解决可见光相机连续变焦的问题以及中波热像仪和长波热像仪的双视场切换带来的图像配准问题。
Description
技术领域
本发明涉及光电图像处理技术领域，特别涉及一种多传感器实时图像配准方法和系统。
背景技术
在现有技术中，图像配准方法通常分为两大类：基于图像灰度的方法和基于图像特征的方法。
基于图像灰度的配准方法，通常直接利用整幅图像的灰度信息，建立两幅图像之间的相似性度量，然后采用某种搜索方法，寻找使相似性度量值最大或最小的变换模型的参数值。但由于在基于图像灰度的算法(如互相关算法)中，把匹配点周围区域的点的灰度都考虑进来进行计算，因此其计算量很大，速度较慢。
基于图像特征方法，通过提取各类图像中保持不变的特征，如边缘点、闭区域的中心等，作为两幅图像配准的参考信息。基于图像特征的配准方法包括特征提取、特征匹配、选取变换模型及求取参数、坐标变换与插值四个主要组成部分，其计算量也很大，速度也较慢。
综上可知，现有技术中的各种图像配准方法都比较复杂，计算量都较大，处理速度较慢，因此，当对多路图像信息同时进行实时配准，往往都难以保证系统实时配准过程的快速实现。
发明内容
有鉴于此，本发明提供一种多传感器实时图像配准方法和系统，从而可以简化图像配准处理过程，避免复杂图像配准方法的使用，提高图像配准的处理速度，保证系统实时配准过程的快速实现。
本发明的技术方案具体是这样实现的：
一种多传感器实时图像配准方法，该方法包括：
A、在系统中的预设位置设置一个激光测距机和三个传感器；
B、根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器；
C、确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素；
D、根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；
E、根据计算所得的水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理。
较佳的，所述三个传感器为：中波热像仪、长波热像仪和可见光相机；
所述中波热像仪和长波热像仪具有宽视场和窄视场切换的双视场镜头；
所述可见光相机具有从宽视场到窄视场的连续变焦镜头。
较佳的，所述步骤B包括：
B1、根据可见光相机的当前焦距信息计算得到可见光相机的当前视场信息VIS_F；
B2、根据可见光相机当前视场信息、中波热像仪的当前视场信息MW_F和长波热像仪的当前视场信息LW_F确定当前的基准传感器。
较佳的，所述步骤B2包括：
当三个当前视场信息存在唯一最大值时，将具有最大值的当前视场信息所对应的传感器设置为基准传感器；
当MW_F与LW_F相同并且大于或等于VIS_F时，将MW_F对应的中波热像仪设置为基准传感器；
当VIS_F与MW_F或LW_F相同并且大于另外一个传感器当前视场时，将MW_F对应的中波热像仪或LW_F对应的长波热像仪设置为基准传感器。
较佳的，所述步骤C包括：
根据激光测距机测得的当前目标距离信息、其它两个非基准传感器的传感器相对基准传感器的水平偏移距离与垂直偏移距离和已知的三个传感器的像素间距和当前焦距值，计算得到当前两个非基准传感器的传感器的输出图像相对基准传感器输出图像的水平与垂直偏移像素。
较佳的，所述步骤E包括：
根据所述水平偏移像素、垂直偏移像素和放大倍数，分别计算与三个传感器相对应的处理参数；
根据所述处理参数，对三个传感器实时采集的图像信息进行实时的配准处
较佳的，所述处理参数包括：
缩放参数、裁剪参数和延时参数。
较佳的，所述根据所述处理参数，对三个传感器实时采集的图像信息进行实时的配准处理包括：
读取三个传感器实时采集的图像信息；
根据所述缩放参数对三个传感器实时采集的图像信息进行缩放操作，使得三个传感器所采集的图像信息的视场相同；
根据所述裁剪参数对三个传感器实时采集的图像信息进行裁剪操作，使得三个传感器所采集的图像信息中的同一目标的空间位置相同；
根据所述延时参数对三个传感器实时采集的图像信息进行延时操作，使得三个传感器所采集的图像信息在时间上同步输出。
较佳的，所述步骤E之后，该方法还进一步包括：
缓存经过配准处理后的图像信息。
本发明还提供了一种多传感器实时图像配准装置，该装置包括：通信接口模块、中波红外图像输入接口模块、长波红外图像输入接口模块、可见光图像输入接口模块、参数计算模块、处理控制模块、中波红外图像配准处理模块、长波红外图像配准处理模块和可见光图像配准处理模块；
通信接口模块，用于实时接收中波热像仪的当前视场信息、长波热像仪的当前视场信息、可见光相机的当前焦距信息和激光测距机测得的当前目标距离信息；
中波红外图像输入接口模块，用于实时接收并缓存中波热像仪所采集的图像信息，并将所接收的图像信息发送给中波红外图像配准处理模块；
长波红外图像输入接口模块，用于实时接收并缓存长波热像仪所采集的图像信息，并将所接收的图像信息发送给长波红外图像配准处理模块；
可见光图像输入接口模块，用于实时接收并缓存可见光相机所采集的图像信息，并将所接收的图像信息发送给可见光图像配准处理模块；
参数计算模块，用于根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器；确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素；根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；将计算得到的水平偏移像素、垂直偏移像素和放大倍数发送给所述处理控制模块；
处理控制模块，用于根据所接收的水平偏移像素、垂直偏移像素和放大倍数分别计算与三个传感器相对应的处理参数，并将处理参数分别发送给对应的中波红外图像配准处理模块、长波红外图像配准处理模块和可见光图像配准处理模块；
中波红外图像配准处理模块，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理；
长波红外图像配准处理模块，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理；
可见光图像配准处理模块，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理。
较佳的，该装置还进一步包括：中波红外图像输出接口模块、长波红外图像输出接口模块和可见光图像输出接口模块；
所述中波红外图像配准处理模块，还用于将经过配准处理后的中波红外图像信息发送给中波红外图像输出接口模块；
所述长波红外图像配准处理模块，还用于将经过配准处理后的长波红外图像信息发送给中波红外图像输出接口模块；
所述可见光图像配准处理模块，还用于将经过配准处理后的可见光图像信息发送给中波红外图像输出接口模块；
所述中波红外图像输出接口模块，用于缓存并输出经过配准处理后的中波红外图像信息；
所述长波红外图像输出接口模块，用于缓存并输出经过配准处理后的长波红外图像信息；
所述可见光图像输出接口模块，用于缓存并输出经过配准处理后的可见光图像信息。
本发明还提供了一种多传感器实时图像配准系统，该系统包括：激光测距机、图像配准装置和三个传感器：中波热像仪、长波热像仪和可见光相机；
所述激光测距机，用于获取当前视场中的目标的距离信息；
所述中波热像仪，用于获取中波红外图像信息，并将所获取的图像信息和当前视场信息发送给配准处理装置；
所述长波热像仪，用于获取长波红外图像信息，并将所获取的图像信息和当前视场信息发送给配准处理装置；
所述可见光相机，用于获取可见光图像信息，并将所获取的图像信息发送给配准处理装置；
所述图像配准装置，用于获取三个传感器的当前视场信息，根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器；确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素；根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；根据计算所得的水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理。
较佳的，所述图像配准装置为前述的多传感器实时图像配准装置。
如上可知，在本发明所提出的基于FPGA的车载多传感器实时图像配准方法和系统中，由于在系统中的预设位置设置一个激光测距机和三个传感器，并根据三个传感器的当前视场信息将其中的一个传感器设置为基准传感器，随后确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素，以及两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；然后再根据所述水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理，因而在对图像信息进行配准处理之前，提前计算得到了配准处理中所需使用的处理参数，从而大大简化了图像配准处理过程，避免了复杂图像配准方法的使用，提高了图像配准的处理速度，保证了系统实时配准过程的快速实现。另外，通过使用本发明中的基于FPGA的车载多传感器实时图像配准方法和系统，还可有效地解决可见光相机连续变焦的问题以及中波热像仪和长波热像仪的双视场切换带来的图像配准问题。
附图说明
图1为本发明中的多传感器实时图像配准方法的流程示意图；
图2为本发明实施例中的激光测距机和各个传感器的安装示意图。
图3为本发明实施例中的多传感器实时图像配准系统的结构示意图。
图4为本发明实施例中的图像配准装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
本实施例提供了一种多传感器实时图像配准方法和系统。其中，所述的方法和系统均可应用于车载传感器中。
图1为本发明中的多传感器实时图像配准方法的流程示意图。如图1所示，本发明实施例中的多传感器实时图像配准方法主要包括如下所述步骤：
步骤31，在系统中的预设位置设置一个激光测距机和三个传感器。
图2为本发明实施例中的激光测距机和各个传感器的安装示意图。如图2所示，在本发明的较佳实施例中，可以在系统中的预设位置预先设置一个激光测距机(LASER)11和三个传感器：中波热像仪(MIR)12、长波热像仪(LIR)13和可见光相机(VIS)14。
较佳的，在本发明的具体实施例中，所述中波热像仪和长波热像仪具有宽视场和窄视场切换的双视场镜头；所述可见光相机具有从宽视场到窄视场的连续变焦镜头。
步骤32，根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器。
由于在本发明的技术方案中，在不同的位置安装了不同的三个传感器，因此，三个传感器安装位置的不同将会带来图像偏移问题。不过，由于上述三个传感器的安装位置是固定的，因此三个传感器之间的水平偏移距离和垂直偏移距离为固定的已知值。所以，为了计算各个传感器之间的输出图像的水平偏移像素与垂直偏移像素，在本步骤中，可以根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器。
在本发明的技术方案中，上述步骤32可以通过多种方式来实现。以下将以其中的一个具体实现方式为例，对本发明的技术方案进行介绍。
例如，在本发明的较佳实施例中，所述步骤32可以包括如下所述的步骤：
步骤321，根据可见光相机的当前焦距信息计算得到可见光相机的当前视场信息(VIS_F)。
在本发明的技术方案中，由于设置了可见光相机，而可见光相机的焦距信息是已知的，因此，在本发明的实施例中，可以根据可见光相机的当前焦距信息计算得到可见光相机的当前视场信息(VIS_F)。
步骤322，根据可见光相机当前视场信息、中波热像仪的当前视场信息(MW_F)和长波热像仪的当前视场信息(LW_F)确定当前的基准传感器。
在本发明的技术方案中，由于还设置了中波热像仪和长波热像仪，而中波热像仪和长波热像仪的当前视场信息是可以直接获取的，因此，在本发明的实施例中，可以根据可见光相机当前视场信息(VIS_F)、中波热像仪的当前视场信息(MW_F)和长波热像仪的当前视场信息(LW_F)来确定当前的基准传感器。
在本发明的技术方案中，上述步骤322可以通过多种方式来实现。以下将以其中的一个具体实现方式为例，对本发明的技术方案进行介绍。
例如，在本发明的较佳实施例中，所述步骤322可以包括：
当三个当前视场信息存在唯一最大值时，将具有最大值的当前视场信息所对应的传感器设置为基准传感器；
当MW_F与LW_F相同并且大于或等于VIS_F时，将MW_F对应的传感器(即中波热像仪)设置为基准传感器；
当VIS_F与MW_F或LW_F相同并且大于另外一个传感器当前视场时，将MW_F(即中波热像仪)或LW_F(即长波热像仪)对应的传感器设置为基准传感器。
另外，在本发明的技术方案中，在确定了三个传感器中的一个传感器为基准传感器之后，其它的两个传感器可称为非基准传感器。
步骤33，确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素。
在步骤32中确定了当前的基准传感器之后，在本步骤中，即可根据所确定的当前的基准传感器，确定其它两个非基准传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素。
在本发明的技术方案中，上述步骤33可以通过多种方式来实现。以下将以其中的一个具体实现方式为例，对本发明的技术方案进行介绍。
例如，在本发明的较佳实施例中，所述步骤33可以包括：
根据激光测距机测得的当前目标距离信息、其它两个非基准传感器的传感器相对基准传感器的水平偏移距离与垂直偏移距离和已知的三个传感器的像素间距和当前焦距值，计算得到当前两个非基准传感器的传感器的输出图像相对基准传感器输出图像的水平与垂直偏移像素。
步骤34，根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数。
由于在本发明的技术方案中，在不同的位置安装了不同的三个传感器，因此，三个传感器安装位置的不同还将会带来图像缩放问题。不过，由于上述三个传感器的安装位置是固定的，三个传感器之间的水平偏移距离和垂直偏移距离为固定的已知值，因此，在步骤32中确定了当前的基准传感器之后，在本步骤中，即可根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数。
步骤35，根据计算所得的水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理。
在本发明的技术方案中，上述步骤35可以通过多种方式来实现。以下将以其中的一个具体实现方式为例，对本发明的技术方案进行介绍。
例如，在本发明的较佳实施例中，所述步骤35可以包括：
步骤351，根据所述水平偏移像素、垂直偏移像素和放大倍数，分别计算与三个传感器相对应的处理参数。
较佳的，在本发明的具体实施例中，上述处理参数可以包括：缩放参数、裁剪参数和延时参数。
步骤352，根据所述处理参数，对三个传感器实时采集的图像信息进行实时的配准处理。
较佳的，在本发明的具体实施例中，所述步骤352可以包括：
读取三个传感器实时采集的图像信息；
根据所述缩放参数对三个传感器实时采集的图像信息进行缩放操作，使得三个传感器所采集的图像信息的视场相同；
根据所述裁剪参数对三个传感器实时采集的图像信息进行裁剪操作，使得三个传感器所采集的图像信息中的同一目标的空间位置相同；
根据所述延时参数对三个传感器实时采集的图像信息进行延时操作，使得三个传感器所采集的图像信息在时间上同步输出。
另外，在本发明的较佳实施例中，上述的方法中的计算和处理均可通过使用FPGA芯片来实现。
更进一步的，在本发明的较佳实施例中，在所述步骤35之后，本发明中的基于FPGA的车载多传感器实时图像配准方法还可进一步包括：
缓存经过配准处理后的图像信息，等待其它处理单元读取经过配准处理后的图像信息进行后续处理。
较佳的，在本发明的具体实施例中，可以采用大规模现场可编程门阵列(FPGA)芯片和模块化设计方法，从而可以快速而有效地完成参数计算和配准处理过程的控制，有效地保证三路图像配准的实时实现。
根据本发明提供的上述基于FPGA的车载多传感器实时图像配准方法，本发明还提供了相应的基于FPGA的车载多传感器实时图像配准系统。
图3为本发明实施例中的多传感器实时图像配准系统的结构示意图。如图3所示，本发明实施例中的多传感器实时图像配准方法系统可以包括：激光测距机11、图像配准装置31和三个传感器：中波热像仪12、长波热像仪13和可见光相机14；
其中，激光测距机11，用于获取当前视场中的目标的距离信息；
中波热像仪12，用于获取中波红外图像信息，并将所获取的图像信息和当前视场信息发送给配准处理装置31；
长波热像仪13，用于获取长波红外图像信息，并将所获取的图像信息和当前视场信息发送给配准处理装置31；
可见光相机14，用于获取可见光图像信息，并将所获取的图像信息发送给配准处理装置31；
图像配准装置31，用于获取三个传感器的当前视场信息，根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器；确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素；根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；根据计算所得的水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理。
图4为本发明实施例中的图像配准装置的结构示意图。如图4所示，在本发明的较佳实施例中，所述图像配准装置包括：通信接口模块401、中波红外图像输入接口模块402、长波红外图像输入接口模块403、可见光图像输入接口模块404、参数计算模块405、处理控制模块406、中波红外图像配准处理模块407、长波红外图像配准处理模块408和可见光图像配准处理模块409；
通信接口模块401，用于实时接收中波热像仪的当前视场信息、长波热像仪的当前视场信息、可见光相机的当前焦距信息和激光测距机测得的当前目标距离信息；
中波红外图像输入接口模块402，用于实时接收并缓存中波热像仪所采集的图像信息，并将所接收的图像信息发送给中波红外图像配准处理模块407；
长波红外图像输入接口模块403，用于实时接收并缓存长波热像仪所采集的图像信息，并将所接收的图像信息发送给长波红外图像配准处理模块408；
可见光图像输入接口模块404，用于实时接收并缓存可见光相机所采集的图像信息，并将所接收的图像信息发送给可见光图像配准处理模块409；
参数计算模块405，用于根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器；确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素；根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；将计算得到的水平偏移像素、垂直偏移像素和放大倍数发送给所述处理控制模块406；
处理控制模块406，用于根据所接收的水平偏移像素、垂直偏移像素和放大倍数分别计算与三个传感器相对应的处理参数，并将处理参数分别发送给对应的中波红外图像配准处理模块407、长波红外图像配准处理模块408和可见光图像配准处理模块409；
中波红外图像配准处理模块407，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理；
长波红外图像配准处理模块408，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理；
可见光图像配准处理模块，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理409。
较佳的，在本发明的具体实施例中，所述图像配准装置还可以进一步包括：中波红外图像输出接口模块410、长波红外图像输出接口模块411和可见光图像输出接口模块412；
中波红外图像配准处理模块407，还用于将经过配准处理后的中波红外图像信息发送给中波红外图像输出接口模块410；
长波红外图像配准处理模块408，还用于将经过配准处理后的长波红外图像信息发送给中波红外图像输出接口模块411；
可见光图像配准处理模块409，还用于将经过配准处理后的可见光图像信息发送给中波红外图像输出接口模块412；
中波红外图像输出接口模块410，用于缓存并输出经过配准处理后的中波红外图像信息；
长波红外图像输出接口模块411，用于缓存并输出经过配准处理后的长波红外图像信息；
可见光图像输出接口模块412，用于缓存并输出经过配准处理后的可见光图像信息。
较佳的，在本发明的具体实施例中，可以采用大规模FPGA芯片和模块化设计方法，从而可以快速而有效地完成参数计算和配准处理过程的控制，有效地保证三路图像配准的实时实现。
综上可知，在本发明所提出的基于FPGA的车载多传感器实时图像配准方法和系统中，由于在系统中的预设位置设置一个激光测距机和三个传感器，并根据三个传感器的当前视场信息将其中的一个传感器设置为基准传感器，随后确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素，以及两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；然后再根据所述水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理，因而在对图像信息进行配准处理之前，提前计算得到了配准处理中所需使用的处理参数，从而大大简化了图像配准处理过程，避免了复杂图像配准方法的使用，提高了图像配准的处理速度，保证了系统实时配准过程的快速实现。另外，通过使用本发明中的基于FPGA的车载多传感器实时图像配准方法和系统，还可以有效地解决可见光相机连续变焦的问题以及中波热像仪和长波热像仪的双视场切换带来的图像配准问题。更进一步的，由于在本发明的技术方案中，可以采用大规模FPGA芯片和模块化设计方法，从而可以快速而有效地完成参数计算和配准处理过程的控制，有效地保证三路图像配准的实时实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (12)
1.一种多传感器实时图像配准方法，其特征在于，该方法包括：
A、在系统中的预设位置设置一个激光测距机和三个传感器；
B、根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器；
C、确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素；
D、根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；
E、根据计算所得的水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理；
其中，所述步骤C包括：根据激光测距机测得的当前目标距离信息、其它两个非基准传感器的传感器相对基准传感器的水平偏移距离与垂直偏移距离和已知的三个传感器的像素间距和当前焦距值，计算得到当前两个非基准传感器的传感器的输出图像相对基准传感器输出图像的水平与垂直偏移像素。
2.根据权利要求1所述的方法，其特征在于，
所述三个传感器为：中波热像仪、长波热像仪和可见光相机；
所述中波热像仪和长波热像仪具有宽视场和窄视场切换的双视场镜头；
所述可见光相机具有从宽视场到窄视场的连续变焦镜头。
3.根据权利要求2所述的方法，其特征在于，所述步骤B包括：
B1、根据可见光相机的当前焦距信息计算得到可见光相机的当前视场信息VIS_F；
B2、根据可见光相机当前视场信息、中波热像仪的当前视场信息MW_F和长波热像仪的当前视场信息LW_F确定当前的基准传感器。
4.根据权利要求3所述的方法，其特征在于，所述步骤B2包括：
当三个当前视场信息存在唯一最大值时，将具有最大值的当前视场信息所对应的传感器设置为基准传感器；
当MW_F与LW_F相同并且大于或等于VIS_F时，将MW_F对应的中波热像仪设置为基准传感器；
当VIS_F与MW_F或LW_F相同并且大于另外一个传感器当前视场时，将MW_F对应的中波热像仪或LW_F对应的长波热像仪设置为基准传感器。
5.根据权利要求1所述的方法，其特征在于，所述步骤E包括：
根据所述水平偏移像素、垂直偏移像素和放大倍数，分别计算与三个传感器相对应的处理参数；
根据所述处理参数，对三个传感器实时采集的图像信息进行实时的配准处理。
6.根据权利要求5所述的方法，其特征在于，所述处理参数包括：
缩放参数、裁剪参数和延时参数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述处理参数，对三个传感器实时采集的图像信息进行实时的配准处理包括：
读取三个传感器实时采集的图像信息；
根据所述缩放参数对三个传感器实时采集的图像信息进行缩放操作，使得三个传感器所采集的图像信息的视场相同；
根据所述裁剪参数对三个传感器实时采集的图像信息进行裁剪操作，使得三个传感器所采集的图像信息中的同一目标的空间位置相同；
根据所述延时参数对三个传感器实时采集的图像信息进行延时操作，使得三个传感器所采集的图像信息在时间上同步输出。
8.根据权利要求1所述的方法，其特征在于，所述步骤E之后，该方法还进一步包括：
缓存经过配准处理后的图像信息。
9.一种多传感器实时图像配准装置，其特征在于，该装置包括：通信接口模块、中波红外图像输入接口模块、长波红外图像输入接口模块、可见光图像输入接口模块、参数计算模块、处理控制模块、中波红外图像配准处理模块、长波红外图像配准处理模块和可见光图像配准处理模块；
通信接口模块，用于实时接收中波热像仪的当前视场信息、长波热像仪的当前视场信息、可见光相机的当前焦距信息和激光测距机测得的当前目标距离信息；
中波红外图像输入接口模块，用于实时接收并缓存中波热像仪所采集的图像信息，并将所接收的图像信息发送给中波红外图像配准处理模块；
长波红外图像输入接口模块，用于实时接收并缓存长波热像仪所采集的图像信息，并将所接收的图像信息发送给长波红外图像配准处理模块；
可见光图像输入接口模块，用于实时接收并缓存可见光相机所采集的图像信息，并将所接收的图像信息发送给可见光图像配准处理模块；
参数计算模块，用于根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器；确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素，具体为：根据激光测距机测得的当前目标距离信息、其它两个非基准传感器的传感器相对基准传感器的水平偏移距离与垂直偏移距离和已知的三个传感器的像素间距和当前焦距值，计算得到当前两个非基准传感器的传感器的输出图像相对基准传感器输出图像的水平与垂直偏移像素；根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；将计算得到的水平偏移像素、垂直偏移像素和放大倍数发送给所述处理控制模块；
处理控制模块，用于根据所接收的水平偏移像素、垂直偏移像素和放大倍数分别计算与三个传感器相对应的处理参数，并将处理参数分别发送给对应的中波红外图像配准处理模块、长波红外图像配准处理模块和可见光图像配准处理模块；
中波红外图像配准处理模块，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理；
长波红外图像配准处理模块，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理；
可见光图像配准处理模块，用于根据所接收的处理参数，对所接收的图像信息进行实时的配准处理。
10.根据权利要求9所述的装置，其特征在于，该装置还进一步包括：中波红外图像输出接口模块、长波红外图像输出接口模块和可见光图像输出接口模块；
所述中波红外图像配准处理模块，还用于将经过配准处理后的中波红外图像信息发送给中波红外图像输出接口模块；
所述长波红外图像配准处理模块，还用于将经过配准处理后的长波红外图像信息发送给长波红外图像输出接口模块；
所述可见光图像配准处理模块，还用于将经过配准处理后的可见光图像信息发送给可见光红外图像输出接口模块；
所述中波红外图像输出接口模块，用于缓存并输出经过配准处理后的中波红外图像信息；
所述长波红外图像输出接口模块，用于缓存并输出经过配准处理后的长波红外图像信息；
所述可见光图像输出接口模块，用于缓存并输出经过配准处理后的可见光图像信息。
11.一种多传感器实时图像配准系统，其特征在于，该系统包括：激光测距机、图像配准装置和三个传感器：中波热像仪、长波热像仪和可见光相机；
所述激光测距机，用于获取当前视场中的目标的距离信息；
所述中波热像仪，用于获取中波红外图像信息，并将所获取的图像信息和当前视场信息发送给配准处理装置；
所述长波热像仪，用于获取长波红外图像信息，并将所获取的图像信息和当前视场信息发送给配准处理装置；
所述可见光相机，用于获取可见光图像信息，并将所获取的图像信息发送给配准处理装置；
所述图像配准装置，用于获取三个传感器的当前视场信息，根据三个传感器的当前视场信息，将其中的一个传感器设置为基准传感器；确定两个非基准传感器的传感器的输出图像相对于基准传感器的输出图像的水平偏移像素与垂直偏移像素，具体为：根据激光测距机测得的当前目标距离信息、其它两个非基准传感器的传感器相对基准传感器的水平偏移距离与垂直偏移距离和已知的三个传感器的像素间距和当前焦距值，计算得到当前两个非基准传感器的传感器的输出图像相对基准传感器输出图像的水平与垂直偏移像素；根据三个传感器的当前视场信息分别计算出当前两个非基准传感器的传感器的输出图像相对基准传感器的输出图像的放大倍数；根据计算所得的水平偏移像素、垂直偏移像素和放大倍数，对三个传感器实时采集的图像信息进行实时的配准处理。
12.根据权利要求11所述的系统，其特征在于：
所述图像配准装置为如权利要求10所述的多传感器实时图像配准装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410505388.0A CN104299231B (zh) | 2014-09-26 | 2014-09-26 | 多传感器实时图像配准方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410505388.0A CN104299231B (zh) | 2014-09-26 | 2014-09-26 | 多传感器实时图像配准方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104299231A CN104299231A (zh) | 2015-01-21 |
| CN104299231B true CN104299231B (zh) | 2017-04-19 |
Family
ID=52318953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410505388.0A Active CN104299231B (zh) | 2014-09-26 | 2014-09-26 | 多传感器实时图像配准方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104299231B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104950726B (zh) * | 2015-06-23 | 2017-09-19 | 珠海市磐石电子科技有限公司 | 遥控行驶装置用的延时校正方法及其装置 |
| CN108369274B (zh) * | 2015-11-05 | 2022-09-13 | 路明亮有限责任公司 | 用于高分辨率深度映射的具有经改进扫描速度的激光雷达系统 |
| JP6585006B2 (ja) * | 2016-06-07 | 2019-10-02 | 株式会社東芝 | 撮影装置および車両 |
| CN108510528B (zh) * | 2017-02-28 | 2021-07-30 | 深圳市朗驰欣创科技股份有限公司 | 一种可见光和红外图像配准融合的方法及装置 |
| CN110012197B (zh) * | 2019-03-19 | 2020-08-11 | 昆明物理研究所 | 一种基于调焦位置补偿的空域图像配准融合方法 |
| CN115829887B (zh) * | 2023-02-24 | 2023-07-07 | 执鼎医疗科技（杭州）有限公司 | 血管图像的处理方法、装置和电子设备 |
| CN117129809B (zh) * | 2023-08-30 | 2024-04-19 | 上海紫红光电技术有限公司 | 一种基于无人机载多光成像技术的电力故障诊断方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103390281A (zh) * | 2013-07-29 | 2013-11-13 | 西安科技大学 | 一种双光谱夜视仪车载系统及双光谱融合设计方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7307793B2 (en) * | 2004-07-02 | 2007-12-11 | Insight Technology, Inc. | Fusion night vision system |
-
2014
- 2014-09-26 CN CN201410505388.0A patent/CN104299231B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103390281A (zh) * | 2013-07-29 | 2013-11-13 | 西安科技大学 | 一种双光谱夜视仪车载系统及双光谱融合设计方法 |
Non-Patent Citations (5)
| Title |
|---|
| UTILITY ASSESSMENT OF A MULTISPECTRAL SNAPSHOT LWIR IMAGER;Jeffrey Mercier 等;《2010 2nd Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing》;20100616;1-5 * |
| 军用飞机光电平台的研发趋势与技术剖析;刘洵 等;《中国光学与应用光学》;20090815;第2卷(第4期);269-288 * |
| 四片式非制冷长波红外热像仪双视场光学系统;陈吕吉 等;《红外技术》;20100120;第32卷(第1期);25-28 * |
| 城市3D GIS实景采集中多传感器的时空配准研究;斯海林 等;《公路与汽运》;20130725(第4期);84-88 * |
| 基于图像融合的视频监控系统设计;季玲玲 等;《应用光学》;20121115;第33卷(第6期);1063-1068 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104299231A (zh) | 2015-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104299231B (zh) | 多传感器实时图像配准方法和系统 | |
| CN109166077B (zh) | 图像对齐方法、装置、可读存储介质及计算机设备 | |
| CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
| CN105225482B (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
| US6847392B1 (en) | Three-dimensional structure estimation apparatus | |
| CN109544628B (zh) | 一种指针式仪表的准确读数识别系统及方法 | |
| WO2017156905A1 (zh) | 一种将二维图像转化为多视点图像的显示方法及系统 | |
| CN102997891B (zh) | 场景深度的测量装置和方法 | |
| CN105043350A (zh) | 一种双目视觉测量方法 | |
| CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
| CN107993258A (zh) | 一种图像配准方法及装置 | |
| CN103003665A (zh) | 立体测距装置及立体测距方法 | |
| CN104539934A (zh) | 图像采集装置和图像处理方法、系统 | |
| CN107729893A (zh) | 一种合模机的视觉定位方法、系统和存储介质 | |
| CN113358231B (zh) | 红外测温方法、装置及设备 | |
| CN110969666B (zh) | 双目相机深度标定方法、装置、系统和存储介质 | |
| CN104700385A (zh) | 基于fpga实现的双目视觉定位装置 | |
| CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
| CN103528562A (zh) | 一种基于单摄像头检测人眼与显示终端距离的方法 | |
| CN104123726B (zh) | 基于消隐点的大锻件测量系统标定方法 | |
| CN114919584A (zh) | 机动车定点目标测距方法、装置及计算机可读存储介质 | |
| CN111383255B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108254738A (zh) | 避障告警方法、装置及存储介质 | |
| CN112017259A (zh) | 一种基于深度相机与热像仪的室内定位与建图方法 | |
| CN110570468A (zh) | 一种基于深度学习的双目视觉深度估计方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |