CN108510528B - 一种可见光和红外图像配准融合的方法及装置 - Google Patents
一种可见光和红外图像配准融合的方法及装置 Download PDFInfo
- Publication number
- CN108510528B CN108510528B CN201710110055.1A CN201710110055A CN108510528B CN 108510528 B CN108510528 B CN 108510528B CN 201710110055 A CN201710110055 A CN 201710110055A CN 108510528 B CN108510528 B CN 108510528B
- Authority
- CN
- China
- Prior art keywords
- visible light
- distance
- infrared
- target
- light image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims description 32
- 230000007547 defect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种可见光和红外图像配准融合的方法及装置，本发明实施例通过首先实时获取被测物体的可见光图像和红外图像；然后获取被测物体的物距；最后根据物距获取配准参数，并根据配准参数对可见光图像和红外图像进行配准融合；由于在获取配准参数时，考量了物距，使用几何的方式来计算配准参数，减少了运算量，使该方法可以在普通嵌入式设备中运行，同时克服了图像特征匹配只具有部分成功率的缺陷，故提高了被测物体的可见光图像和红外图像的配准的效率和精度。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种可见光和红外图像配准融合的方法及装置。
背景技术
由于图像传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，比如单一的可见光图像传感器在照度不佳或有少量烟、雾环境中成像效果较差，而单一的红外图像传感器仅对温度敏感，由目标与背景的温差决定，不能反映真实的场景。可见光图像和红外图像的融合就可以适应各种照度环境，增强场景理解，并具备一定的穿透能力。现有技术是基于图像特征匹配的，需要提取红外及可见光图像的特征，会消耗大量的处理资源，一般是在FPGA、DSP或PC上实现.，其对硬件配置的要求高，且图像特征匹配只具有部分成功率，故可见光图像及红外图像的配准精度较低。
由于上述现有技术为基于图像特征匹配的配准方法，从而导致了被测物体的可见光图像和红外图像的配准的效率和精度较低。
发明内容
本发明实施例提供一种可见光和红外图像配准融合的方法，能够提高被测物体的可见光图像和红外图像的配准的效率和精度。
第一方面，本发明实施例提供了一种可见光和红外图像配准融合的方法，包括：
实时获取被测物体的可见光图像和红外图像；
获取所述被测物体的物距；
根据所述物距获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合。
另一方面，本发明实施例提供了一种可见光和红外图像配准融合的装置，包括：
图像获取模块，用于实时获取被测物体的可见光图像和红外图像；
物距获取模块，用于获取所述被测物体的物距；
第一配准融合模块，用于根据所述物距获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合。
本发明实施例通过首先实时获取被测物体的可见光图像和红外图像；然后获取被测物体的物距；最后根据物距获取配准参数，并根据配准参数对可见光图像和红外图像进行配准融合；由于在获取配准参数时，考量了物距，使用几何的方式来计算配准参数，减少了运算量，使该方法可以在普通嵌入式设备中运行，同时克服了图像特征匹配只具有部分成功率的缺陷，故提高了被测物体的可见光图像和红外图像的配准的效率和精度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种可见光和红外图像配准融合的方法的一示意流程图；
图2是本发明实施例提供的一种可见光和红外图像配准融合的方法的另一示意流程图；
图3是本发明实施例提供的一种可见光和红外图像配准融合的方法的一示意图；
图4是本发明实施例提供的一种可见光和红外图像配准融合的装置的一示意性框图；
图5是本发明实施例提供的一种可见光和红外图像配准融合的装置第一配准融合模块的一示意性框图；
图6是本发明实施例提供的一种可见光和红外图像配准融合的装置第一配准融合模块中的第二配准融合模块的一示意性框图；
图7是本发明实施例提供的一种可见光和红外图像配准融合的装置第一配准融合模块中的第二配准融合模块的另一示意性框图；
图8是本发明实施例提供的一种可见光和红外图像配准融合的装置第一配准融合模块中的的远交距离获取模块一示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
参见图1，图1是本发明实施例提供一种可见光和红外图像配准融合的方法的示意流程图。如图所示的可见光和红外图像配准融合的方法可包括以下步骤：
在步骤101中，实时获取被测物体的可见光图像和红外图像。
其中，被测物体的可见光图像可以通过可见光传感器获取，被测物体的红外图像可以通过红外传感器获取。
在步骤102中，获取被测物体的物距。
步骤102可以具体为：通过红外距离传感器获取被测物体的物距。
在步骤103中，根据物距获取配准参数，并根据配准参数对可见光图像和红外图像进行配准融合。
步骤103可以具体为：根据物距获取缩放倍数、目标可见光图像大小、目标红外图像大小和对齐像素位置，并根据缩放倍数、目标可见光图像大小、目标红外图像大小和对齐像素位置对可见光图像和红外图像进行配准融合。
参见图2，图2是本发明实施例提供一种可见光和红外图像配准融合的方法的另一种示意流程图。如图2所示的可见光和红外图像配准融合的方法可包括以下步骤：
在步骤201中，实时获取被测物体的可见光图像和红外图像。
在步骤202中，获取被测物体的物距。
在步骤203中，获取可见光传感器和红外传感器的远交距离，远交距离为可见光传感器可视角下边与红外传感器可视角下边的交点至可见光传感器和红外传感器的所在平面的距离。
步骤203可以具体包括：
获取可见光传感器中心点和红外传感器中心点的中心点距离、可见光水平可视角和红外水平可视角。
根据中心点距离、可见光水平可视角和红外水平可视角计算远交距离，远交距离为可见光传感器视角下边与红外传感器视角下边的交点至可见光传感器和红外传感器的所在平面的距离。
在步骤204中，判断物距是否小于远交距离。
在步骤205中，根据判断结果获取配准参数，并根据配准参数对可见光图像和红外图像进行配准融合。
其中步骤205分为两种情况。
第一种情况下，步骤204的判断结果为是时，步骤205包括：
根据物距获取第一上交点距离、第一可见光对边距离、第一下交点距离和第一红外对边距离；第一上交点距离为物距小于远交距离时在被测物体所在平面上可见光对边与红外对边的上交点距离；第一可见光对边距离为物距小于远交距离时在被测物体所在平面上可见光对边距离；第一下交点距离为物距小于远交距离时在被测物体所在平面上可见光对边与红外对边的下交点距离；第一红外对边距离为物距小于远交距离时在被测物体所在平面上红外对边距离。
根据第一上交点距离和第一可见光对边距离计算第一比率。将第一上交点距离和第一可见光对边距离的商作为第一比率。
根据第一下交点距离和第一红外对边距离计算第二比率。将第一下交点距离和第一红外对边距离的商作为第二比率。
根据第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素。
根据第二比率计算第一目标红外图像行像素和第一目标红外图像列像素。
根据第一目标红外图像行像素和第一目标红外图像列像素获取第一目标红外图像。根据第一目标红外图像行像素和第一目标红外图像列像素裁剪红外图像以生成第一目标红外图像。
根据第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素获取第一目标可见光图像。根据第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素裁剪可见光图像并缩放至第一目标红外图像大小以生成第一目标可见光图像。
对第一目标红外图像和第一目标可见光图像进行融合。
第二种情况下，步骤204的判断结果为否时，步骤205包括：
根据物距获取第二上交点距离、第二可见光对边距离和第二红外对边距离；第二上交点距离为物距不小于远交距离时在被测物体所在平面上可见光对边与红外对边的上交点距离；第二可见光对边距离为物距不小于远交距离时在被测物体所在平面上可见光对边距离；第二红外对边距离为物距不小于远交距离时在被测物体所在平面上红外对边距离。
根据第二上交点距离和第二可见光对边距离计算第三比率。将第二上交点距离和第二可见光对边距离的商作为第三比率。
根据第二红外对边距离和第二可见光对边距离计算第四比率。将第二红外对边距离和第二可见光对边距离的商作为第四比率。
根据第三比率和第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素。
根据第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素获取第二目标可见光图像。根据第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素裁剪可见光图像以生成第二目标可见光图像。
对红外图像和第二目标可见光图像进行融合。
其中，步骤203至步骤205是图1中的步骤103的具体执行过程。
与运用在PC上或DSP上的图特征匹配的方法相比，图特征匹配的方法运算量大，本申请中的红外图像和可见光图像配准融合是基于几何学的简单数学运算，运算量很小，非常适合嵌入式设备使用。并且图特征匹配的方法只具有部分成功率，而本申请中的红外图像和可见光图像配准融合的精度更高。
例如，如图3所示，实时获取被测物体的可见光图像和红外图像；获取被测物体的物距D；获取可见光传感器中心点A和红外传感器中心点B的中心点距离Z、可见光水平可视角和红外水平可视角ω；根据中心点距离Z、可见光水平可视角θ和红外水平可视角ω计算远交距离d’，远交距离d’为可见光传感器视角下边AD与红外传感器视角下边BF的交点H至可见光传感器和红外传感器的所在平面的距离；判断物距D是否小于远交距离d’。
判断结果为是时，则根据物距D获取第一上交点距离ab、第一可见光对边距离ac、第一下交点距离bc和第一红外对边距离bf；根据第一上交点距离ab和第一可见光对边距离ac计算第一比率；根据第一下交点距离bc和第一红外对边距离bf计算第二比率；根据第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素；根据第二比率计算第一目标红外图像行像素和第一目标红外图像列像素；根据第一目标红外图像行像素和第一目标红外图像列像素获取第一目标红外图像；根据第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素获取第一目标可见光图像；对第一目标红外图像和第一目标可见光图像进行融合。
当判断结果为否时，则根据物距D获取第二上交点距离a’b’、第二可见光对边距离a’f’和第二红外对边距离b’c’；根据第二上交点距离a’b’和第二可见光对边距离a’f’计算第三比率；根据第二红外对边距离b’c’和第二可见光对边距离a’f’计算第四比率；根据第三比率和第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素；根据第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素获取第二目标可见光图像；对红外图像和第二目标可见光图像进行融合。
为了实现上述可见光和红外图像配准融合的方法，本发明实施例还提供了一种可见光和红外图像配准融合的装置，参见图4，图4为本发明实施例提供的一种可见光和红外图像配准融合的装置的一示意性框图。本实例中的终端40包括的各单元用于执行图1对应的实施例中的各步骤，具体请参阅图1以及图1对应的实施例，此处不赘述。可见光和红外图像配准融合的装置40包括图像获取模块410、物距获取模块420和第一配准融合模块430。
图像获取模块410，用于实时获取被测物体的可见光图像和红外图像。
物距获取模块420，用于获取被测物体的物距。
第一配准融合模块430，用于根据物距获取配准参数，并根据配准参数对可见光图像和红外图像进行配准融合。
如图5所示，第一配准融合模块430包括远交距离获取模块431、判断模块432和第二配准融合模块433。
远交距离获取模块431，用于获取可见光传感器和红外传感器的远交距离，远交距离为可见光传感器可视角下边与红外传感器可视角下边的交点至可见光传感器和红外传感器的所在平面的距离。
判断模块432，用于判断物距是否小于远交距离。
第二配准融合模块433，用于根据判断结果获取配准参数，并根据配准参数对可见光图像和红外图像进行配准融合。
如图6所示，当判断模块432的判断结果为是时，第二配准融合模块433包括第一红外对边距离获取模块433-1a、第一比率计算模块433-2a、第二比率计算模块433-3a、第一目标可见光图像列像素计算模块433-4a、第一目标红外图像列像素计算模块433-5a、第一目标红外图像获取模块433-6a、第一目标可见光图像获取模块433-7a和第一融合模块433-8a。
第一红外对边距离获取模块433-1a，用于根据物距获取第一上交点距离、第一可见光对边距离、第一下交点距离和第一红外对边距离；第一上交点距离为物距小于远交距离时在被测物体所在平面上可见光对边与红外对边的上交点距离；第一可见光对边距离为物距小于远交距离时在被测物体所在平面上可见光对边距离；第一下交点距离为物距小于远交距离时在被测物体所在平面上可见光对边与红外对边的下交点距离；第一红外对边距离为物距小于远交距离时在被测物体所在平面上红外对边距离。
第一比率计算模块433-2a，用于根据第一上交点距离和第一可见光对边距离计算第一比率。
第二比率计算模块433-3a，用于根据第一下交点距离和第一红外对边距离计算第二比率。
第一目标可见光图像列像素计算模块433-4a，用于根据第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素。
第一目标红外图像列像素计算模块433-5a，用于根据第二比率计算第一目标红外图像行像素和第一目标红外图像列像素。
第一目标红外图像获取模块433-6a，用于根据第一目标红外图像行像素和第一目标红外图像列像素获取第一目标红外图像。
第一目标可见光图像获取模块433-7a，用于根据第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素获取第一目标可见光图像。
第一融合模块433-8a，用于对第一目标红外图像和第一目标可见光图像进行融合。
如图7所示，当判断模块432的判断结果为否时，第二配准融合模块433包括第二红外对边距离获取模块433-1b、第三比率计算模块433-2b、第四比率计算模块433-3b、第二目标可见光图像列像素计算模块433-4b、第二目标可见光图像获取模块433-5b和第二融合模块433-6b。
第二红外对边距离获取模块433-1b，用于根据物距获取第二上交点距离、第二可见光对边距离和第二红外对边距离；第二上交点距离为物距不小于远交距离时在被测物体所在平面上可见光对边与红外对边的上交点距离；第二可见光对边距离为物距不小于远交距离时在被测物体所在平面上可见光对边距离；第二红外对边距离为物距不小于远交距离时在被测物体所在平面上红外对边距离。
第三比率计算模块433-2b，用于根据第二上交点距离和第二可见光对边距离计算第三比率。
第四比率计算模块433-3b，用于根据第二红外对边距离和第二可见光对边距离计算第四比率。
第二目标可见光图像列像素计算模块433-4b，用于根据第三比率和第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素。
第二目标可见光图像获取模块433-5b，用于根据第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素获取第二目标可见光图像。
第二融合模块433-6b，用于对红外图像和第二目标可见光图像进行融合。
如图8所示，远交距离获取模块431包括中心点距离获取模块431-1和远交距离计算模块431-2。
中心点距离获取模块431-1，用于获取可见光传感器中心点和红外传感器中心点的中心点距离、可见光水平可视角和红外水平可视角。
远交距离计算模块431-2，用于根据中心点距离、可见光水平可视角和红外水平可视角计算远交距离，远交距离为可见光传感器视角下边与红外传感器视角下边的交点至可见光传感器和红外传感器的所在平面的距离。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述装置的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或装置的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (4)
1.一种可见光和红外图像配准融合的方法，其特征在于，所述方法包括：
实时获取被测物体的可见光图像和红外图像；
获取所述被测物体的物距；
根据所述物距获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合；
所述根据所述物距获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合包括：
获取可见光传感器和红外传感器的远交距离，所述远交距离为可见光传感器可视角下边与红外传感器可视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离；
判断所述物距是否小于所述远交距离；
根据判断结果获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合；
当判断结果为是时，所述根据判断结果获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合包括：
根据所述物距获取第一上交点距离、第一可见光对边距离、第一下交点距离和第一红外对边距离；所述第一上交点距离为所述物距小于所述远交距离时在所述被测物体所在平面上可见光对边与红外对边的上交点距离；所述第一可见光对边距离为所述物距小于所述远交距离时在所述被测物体所在平面上可见光对边距离；所述第一下交点距离为所述物距小于所述远交距离时在所述被测物体所在平面上所述可见光对边与所述红外对边的下交点距离；所述第一红外对边距离为所述物距小于所述远交距离时在所述被测物体所在平面上红外对边距离；
根据所述第一上交点距离和所述第一可见光对边距离计算第一比率；
根据所述第一下交点距离和所述第一红外对边距离计算第二比率；
根据所述第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素；
根据所述第二比率计算第一目标红外图像行像素和第一目标红外图像列像素；
根据所述第一目标红外图像行像素和所述第一目标红外图像列像素获取第一目标红外图像；
根据所述第一裁剪坐标、所述第一目标可见光图像行像素和所述第一目标可见光图像列像素获取第一目标可见光图像；
对所述第一目标红外图像和所述第一目标可见光图像进行融合；
其中，所述根据所述第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素具体为：
所述第一目标可见光图像行像素为所述第一比率和所述可见光图像行分辨率的乘积；
所述第一目标可见光图像列像素为所述第一比率和所述可见光图像列分辨率的乘积；
所述第一裁剪坐标的横坐标为所述可见光图像行分辨率减去所述第一目标可见光图像行像素的差的二分之一；
所述第一裁剪坐标的纵坐标为所述可见光图像列分辨率减去所述第一目标可见光图像列像素的差的二分之一；
所述根据所述第二比率计算第一目标红外图像行像素和第一目标红外图像列像素具体为：
所述第一目标红外图像行像素为所述第二比率和所述红外图像行分辨率的乘积；
所述第一目标红外图像列像素为所述第二比率和所述红外图像列分辨率的乘积；
当判断结果为否时，所述根据判断结果获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合包括：
根据所述物距获取第二上交点距离、第二可见光对边距离和第二红外对边距离；所述第二上交点距离为所述物距不小于所述远交距离时在所述被测物体所在平面上可见光对边与红外对边的上交点距离；所述第二可见光对边距离为所述物距不小于所述远交距离时在所述被测物体所在平面上可见光对边距离；所述第二红外对边距离为所述物距不小于所述远交距离时在所述被测物体所在平面上红外对边距离；
根据所述第二上交点距离和所述第二可见光对边距离计算第三比率；
根据所述第二红外对边距离和所述第二可见光对边距离计算第四比率；
根据所述第三比率和所述第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素；
根据所述第二裁剪坐标、所述第二目标可见光图像行像素和所述第二目标可见光图像列像素获取第二目标可见光图像；
对所述红外图像和所述第二目标可见光图像进行融合；
所述根据所述第三比率和所述第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素具体为：
所述第二裁剪坐标的纵坐标为所述第三比率和所述可见光图像列分辨率的乘积；
所述第二裁剪坐标的横坐标为所述第三比率和所述可见光图像行分辨率的乘积；
所述第二目标可见光图像行像素为所述第四比率和所述可见光图像行分辨率的乘积；
所述第二目标可见光图像列像素为所述第四比率和所述可见光图像列分辨率的乘积。
2.根据权利要求1所述的方法，其特征在于，所述获取可见光传感器和红外传感器的远交距离，所述远交距离为可见光传感器视角下边与红外传感器视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离包括：
获取可见光传感器中心点和红外传感器中心点的中心点距离、可见光水平可视角和红外水平可视角；
根据所述中心点距离、所述可见光水平可视角和所述红外水平可视角计算远交距离，所述远交距离为可见光传感器视角下边与红外传感器视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离。
3.一种可见光和红外图像配准融合的装置，其特征在于，包括：
图像获取模块，用于实时获取被测物体的可见光图像和红外图像；
物距获取模块，用于获取所述被测物体的物距；
第一配准融合模块，用于根据所述物距获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合；
所述第一配准融合模块包括：
远交距离获取模块，用于获取可见光传感器和红外传感器的远交距离，所述远交距离为可见光传感器可视角下边与红外传感器可视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离；
判断模块，用于判断所述物距是否小于所述远交距离；
第二配准融合模块，用于根据判断结果获取配准参数，并根据所述配准参数对所述可见光图像和所述红外图像进行配准融合；
当所述判断模块的判断结果为是时，所述第二配准融合模块包括：
第一红外对边距离获取模块，用于根据所述物距获取第一上交点距离、第一可见光对边距离、第一下交点距离和第一红外对边距离；所述第一上交点距离为所述物距小于所述远交距离时在所述被测物体所在平面上可见光对边与红外对边的上交点距离；所述第一可见光对边距离为所述物距小于所述远交距离时在所述被测物体所在平面上可见光对边距离；所述第一下交点距离为所述物距小于所述远交距离时在所述被测物体所在平面上所述可见光对边与所述红外对边的下交点距离；所述第一红外对边距离为所述物距小于所述远交距离时在所述被测物体所在平面上红外对边距离；
第一比率计算模块，用于根据所述第一上交点距离和所述第一可见光对边距离计算第一比率；
第二比率计算模块，用于根据所述第一下交点距离和所述第一红外对边距离计算第二比率；
第一目标可见光图像列像素计算模块，用于根据所述第一比率计算第一裁剪坐标、第一目标可见光图像行像素和第一目标可见光图像列像素；
第一目标红外图像列像素计算模块，用于根据所述第二比率计算第一目标红外图像行像素和第一目标红外图像列像素；
第一目标红外图像获取模块，用于根据所述第一目标红外图像行像素和所述第一目标红外图像列像素获取第一目标红外图像；
第一目标可见光图像获取模块，用于根据所述第一裁剪坐标、所述第一目标可见光图像行像素和所述第一目标可见光图像列像素获取第一目标可见光图像；
第一融合模块，用于对所述第一目标红外图像和所述第一目标可见光图像进行融合；
其中，所述第一目标可见光图像列像素计算模块具体用于：
所述第一目标可见光图像行像素为所述第一比率和所述可见光图像行分辨率的乘积；
所述第一目标可见光图像列像素为所述第一比率和所述可见光图像列分辨率的乘积；
所述第一裁剪坐标的横坐标为所述可见光图像行分辨率减去所述第一目标可见光图像行像素的差的二分之一；
所述第一裁剪坐标的纵坐标为所述可见光图像列分辨率减去所述第一目标可见光图像列像素的差的二分之一；
所第一目标红外图像列像素计算模块具体用于：
所述第一目标红外图像行像素为所述第二比率和所述红外图像行分辨率的乘积；
所述第一目标红外图像列像素为所述第二比率和所述红外图像列分辨率的乘积；
当所述判断模块的判断结果为否时，所述第二配准融合模块包括：
第二红外对边距离获取模块，用于根据所述物距获取第二上交点距离、第二可见光对边距离和第二红外对边距离；所述第二上交点距离为所述物距不小于所述远交距离时在所述被测物体所在平面上可见光对边与红外对边的上交点距离；所述第二可见光对边距离为所述物距不小于所述远交距离时在所述被测物体所在平面上可见光对边距离；所述第二红外对边距离为所述物距不小于所述远交距离时在所述被测物体所在平面上红外对边距离；
第三比率计算模块，用于根据所述第二上交点距离和所述第二可见光对边距离计算第三比率；
第四比率计算模块，用于根据所述第二红外对边距离和所述第二可见光对边距离计算第四比率；
第二目标可见光图像列像素计算模块，用于根据所述第三比率和所述第四比率计算第二裁剪坐标、第二目标可见光图像行像素和第二目标可见光图像列像素；
第二目标可见光图像获取模块，用于根据所述第二裁剪坐标、所述第二目标可见光图像行像素和所述第二目标可见光图像列像素获取第二目标可见光图像；
第二融合模块，用于对所述红外图像和所述第二目标可见光图像进行融合；
所述第二目标可见光图像列像素计算模块具体用于：
所述第二裁剪坐标的纵坐标为所述第三比率和所述可见光图像列分辨率的乘积；
所述第二裁剪坐标的横坐标为所述第三比率和所述可见光图像行分辨率的乘积；
所述第二目标可见光图像行像素为所述第四比率和所述可见光图像行分辨率的乘积；
所述第二目标可见光图像列像素为所述第四比率和所述可见光图像列分辨率的乘积。
4.根据权利要求3所述的可见光和红外图像配准融合的装置，其特征在于，所述远交距离获取模块包括：
中心点距离获取模块，用于获取可见光传感器中心点和红外传感器中心点的中心点距离、可见光水平可视角和红外水平可视角；
远交距离计算模块，用于根据所述中心点距离、所述可见光水平可视角和所述红外水平可视角计算远交距离，所述远交距离为可见光传感器视角下边与红外传感器视角下边的交点至所述可见光传感器和所述红外传感器的所在平面的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710110055.1A CN108510528B (zh) | 2017-02-28 | 2017-02-28 | 一种可见光和红外图像配准融合的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710110055.1A CN108510528B (zh) | 2017-02-28 | 2017-02-28 | 一种可见光和红外图像配准融合的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108510528A CN108510528A (zh) | 2018-09-07 |
| CN108510528B true CN108510528B (zh) | 2021-07-30 |
Family
ID=63373267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710110055.1A Active CN108510528B (zh) | 2017-02-28 | 2017-02-28 | 一种可见光和红外图像配准融合的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108510528B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111164962B (zh) * | 2018-09-26 | 2021-11-30 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、设备、无人机、系统及存储介质 |
| CN109544521B (zh) * | 2018-11-12 | 2021-08-17 | 北京航空航天大学 | 一种人体安检中被动毫米波图像与可见光图像的配准方法 |
| CN110838143B (zh) * | 2019-11-28 | 2024-06-18 | 中国电子科技集团公司第十一研究所 | 一种多图像数据交互与信息融合方法、装置及可读存储介质 |
| CN111083381B (zh) * | 2019-12-31 | 2021-10-22 | 深圳市道通智能航空技术股份有限公司 | 一种图像融合的方法、装置及双光相机、无人机 |
| CN112053314B (zh) * | 2020-09-04 | 2024-02-23 | 深圳市迈测科技股份有限公司 | 图像融合方法、装置、计算机设备和介质及红外热像仪 |
| CN112200842B (zh) * | 2020-09-11 | 2023-12-01 | 深圳市优必选科技股份有限公司 | 一种图像配准方法、装置、终端设备及存储介质 |
| CN116758121A (zh) * | 2023-06-25 | 2023-09-15 | 哈尔滨工业大学 | 基于可穿戴头盔的红外图像和可见光图像配准融合方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299231A (zh) * | 2014-09-26 | 2015-01-21 | 北京环境特性研究所 | 多传感器实时图像配准方法和系统 |
| CN106327424A (zh) * | 2016-08-30 | 2017-01-11 | 南京邮电大学 | 红外与可见光图像配准参数校正装置和校正方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7924312B2 (en) * | 2008-08-22 | 2011-04-12 | Fluke Corporation | Infrared and visible-light image registration |
-
2017
- 2017-02-28 CN CN201710110055.1A patent/CN108510528B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299231A (zh) * | 2014-09-26 | 2015-01-21 | 北京环境特性研究所 | 多传感器实时图像配准方法和系统 |
| CN106327424A (zh) * | 2016-08-30 | 2017-01-11 | 南京邮电大学 | 红外与可见光图像配准参数校正装置和校正方法 |
Non-Patent Citations (3)
| Title |
|---|
| 分光轴式多源图像融合系统近距离配准方法研究;王贵圆 等;《红外与激光工程》;20161130;第45卷(第11期);第1-7页摘要 * |
| 基于DSP 的多源图像融合系统;黄克明 等;《兵工自动化》;20120229;第31卷(第2期);第61-63页 * |
| 基于岩心扫描仪的多物距岩心图像的配准;张兴国 等;《计算机与数字工程》;20140320;第42卷(第3期);第503-507页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108510528A (zh) | 2018-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108510528B (zh) | 一种可见光和红外图像配准融合的方法及装置 | |
| US11393173B2 (en) | Mobile augmented reality system | |
| EP2915140B1 (en) | Fast initialization for monocular visual slam | |
| EP2820618B1 (en) | Scene structure-based self-pose estimation | |
| US8823732B2 (en) | Systems and methods for processing images with edge detection and snap-to feature | |
| US10424078B2 (en) | Height measuring system and method | |
| EP2339292A1 (en) | Three-dimensional measurement apparatus and method thereof | |
| US9361731B2 (en) | Method and apparatus for displaying video on 3D map | |
| WO2012040709A2 (en) | Augmenting image data based on related 3d point cloud data | |
| US20150339819A1 (en) | Method for processing local information | |
| CN110555876B (zh) | 用于确定位置的方法和装置 | |
| US20160169662A1 (en) | Location-based facility management system using mobile device | |
| CN113240678B (zh) | 平面信息检测方法及系统 | |
| CN112802208B (zh) | 一种航站楼内三维可视化方法及装置 | |
| CN112422653A (zh) | 基于位置服务的场景信息推送方法、系统、存储介质及设备 | |
| CN113228117B (zh) | 创作装置、创作方法和记录有创作程序的记录介质 | |
| US10339702B2 (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
| Meng et al. | Precise determination of mini railway track with ground based laser scanning | |
| US10878278B1 (en) | Geo-localization based on remotely sensed visual features | |
| JP6546898B2 (ja) | ３次元空間特定装置、方法、及びプログラム | |
| KR101614874B1 (ko) | 지능형 3차원 씨씨티브이 카메라 영상 처리장치 | |
| JP7075090B1 (ja) | 情報処理システム、及び、情報処理方法 | |
| JP2011164701A (ja) | オブジェクト表示制御装置及びオブジェクト表示制御方法 | |
| JP2024130947A (ja) | 物体認識装置および物体認識方法 | |
| WO2022152778A2 (en) | Method for aligning a 3d model of an object with an image comprising at least a portion of said object to obtain an augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: B501, Building F2, TCL Science Park, No. 1001, Zhongshanyuan Road, Shuguang Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 518000 Patentee after: LAUNCH DIGITAL TECHNOLOGY Co.,Ltd. Address before: 518000 Third Floor, Fengyun Building, Galaxy, No. 5 Xinxi Road, North District, Nanshan High-tech Park, Shenzhen City, Guangdong Province Patentee before: LAUNCH DIGITAL TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |