CN117056377A - 一种基于图论的红外图像处理方法、系统及存储介质 - Google Patents

一种基于图论的红外图像处理方法、系统及存储介质 Download PDF

Info

Publication number
CN117056377A
CN117056377A CN202311297491.6A CN202311297491A CN117056377A CN 117056377 A CN117056377 A CN 117056377A CN 202311297491 A CN202311297491 A CN 202311297491A CN 117056377 A CN117056377 A CN 117056377A
Authority
CN
China
Prior art keywords
feature
points
infrared image
pixel
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311297491.6A
Other languages
English (en)
Other versions
CN117056377B (zh
Inventor
陈继辉
郭海波
罗瑛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Junshun Hangbo Technology Co ltd
Original Assignee
Changsha Junshun Hangbo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Junshun Hangbo Technology Co ltd filed Critical Changsha Junshun Hangbo Technology Co ltd
Priority to CN202311297491.6A priority Critical patent/CN117056377B/zh
Publication of CN117056377A publication Critical patent/CN117056377A/zh
Application granted granted Critical
Publication of CN117056377B publication Critical patent/CN117056377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及红外图像配准技术领域，尤其涉及一种基于图论的红外图像处理方法、系统及存储介质，根据像素值的差异选择多个特征点，以特征点中每个像素点为节点，以像素值差异为边的权重，分别为每个特征点建立特征子图模型，再比较特征子图模型对特征点进行匹配，并配准多个红外图像。相比于现有技术，本发明的改进主要体现在图像配准过程中特征点的选取和匹配上，匹配过程更加简便、实现过程通俗易懂，省去了传统图像配准过程中大量的计算过程，最重要的是，本发明是基于红外图像包含的热辐射信息进行图像配准，使得配准过程受环境干扰较小，可以更准确地找到图像中的对应关系，同时提高配准的效率。

Description

一种基于图论的红外图像处理方法、系统及存储介质
技术领域
本发明涉及红外图像配准技术领域，尤其涉及一种基于图论的红外图像处理方法、系统及存储介质。
背景技术
图像的配准是指在不同的图像中找到相同的像素点或特征点之间的对应关系，从而进行图像的对齐、融合和比较等操作。图像配准在计算机视觉、医学影像分析、遥感图像处理等领域具有广泛的应用。通过将不同图像之间的像素点对应起来，可以实现图像的叠加显示、运动目标跟踪、图像变形校正等任务。
目前已存在多种图像配准方法，包括基于特征点的配准、基于区域的配准和基于全局的配准等。基于特征点的配准方法通过提取图像中的显著特征点（如角点、边缘等），并通过特征匹配的方式进行对应关系的建立。而基于区域的配准方法则将图像分割为若干个区域，通过对区域的匹配得到整体图像的对应关系。基于全局的配准方法则通过优化图像间的相似性评价函数，得到最佳的图像对应关系。
然而，在处理红外图像时存在一个问题，即红外图像不仅包含视觉信息，还包含了温度等热辐射信息。而传统的图像配准方法往往只考虑了图像的视觉信息，忽略了温度信息的利用。这导致在应用现有的配准方法至红外图像时，往往需要额外的复杂冗余的处理步骤，使得配准过程变得复杂且耗时，降低了配准的效率和准确性。因此，如何利用红外图像的温度等热辐射信息进行方便快速地配准，成为人们希望解决的一个问题。
发明内容
有鉴于此，有必要提供一种基于图论的红外图像处理方法、系统及存储介质，用以实现如何利用红外图像的温度等热辐射信息对红外图像进行方便快速地配准的目的。
本发明提供了一种基于图论的红外图像处理方法，包括：
获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，所述特征点为相邻的像素点的集合；
以特征点中每个像素点为节点，以特征点中不同像素点的像素值差异为边的权重，分别为每个特征点建立特征子图模型；
比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配；
根据匹配的特征点，配准多个红外图像。
进一步的，所述获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，包括：
获取目标红外图像，并根据所述目标红外图像中的像素值大小统计情况，得到特征选取阈值，其中所述目标红外图像为当前待选择特征点的红外图像；
获取像素值上限阈值，并根据所述特征选取阈值与所述像素值上限阈值的大小关系，得到特征范围阈值；
根据所述目标红外图像中每个像素点的像素值和所述特征选取阈值的差异，基于所述特征范围阈值，从所述目标红外图像中选择多个特征点。
进一步的，所述特征范围阈值通过下式得到：
，其中，/>为所述像素值上限阈值，/>为所述特征范围阈值，/>为所述特征选取阈值。
进一步的，所述根据所述目标红外图像中每个像素点的像素值和所述特征选取阈值的差异，从所述目标红外图像中选择多个特征点，包括：
所述目标红外图像中的特征点通过下式得到：
，
，
，其中，/>为所述目标红外图像中表示一个特征点的多个像素点的集合，/>、/>分别为集合/>中任意像素点的横坐标及纵坐标，为坐标为/>的像素点的像素值，/>、/>分别为集合/>内中心像素点的横坐标及纵坐标，/>为坐标为/>的像素点到中心像素点的距离。
进一步的，特征子图模型中，每个节点对应特征点中的一个像素点，每个边分别连接特征点中相邻的两个像素点，每个边的权重为相邻的两个像素点的像素值的差值。
进一步的，特征子图模型中，每个节点具有权重，每个节点的权重为该节点对应的像素点的像素值。
进一步的，特征子图模型为有向图，特征子图模型中每个有向边的起始节点的权重大于该有向边的目标节点的权重。
进一步的，所述比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配，包括：
获取同一个红外图像中，多个特征点的中心像素点；
连接同一个红外图像中，不同特征点对应的特征子图模型，得到该红外图像对应的特征图模型，其中，连接两个特征子图模型的边的两端分别为中心像素点对应的节点，连接两个特征子图模型的边的权重为两个中心像素点的欧式距离；
比较两个红外图像对应的两个特征图模型的一致性，得到两个红外图像之间的特征点匹配结果。
本发明还提供了一种基于图论的红外图像处理系统，包括：
特征点选取模块，用于获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，所述特征点为相邻的像素点的集合；
特征子图建立模块，用于以特征点中每个像素点为节点，以特征点中不同像素点的像素值差异为边的权重，分别为每个特征点建立特征子图模型；
特征点匹配模块，用于比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配；
图像配准模块，用于根据匹配的特征点，配准多个红外图像。
本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的基于图论的红外图像处理方法中的步骤。
本发明提供一种基于图论的红外图像处理方法、系统及存储介质，其先获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，所述特征点为相邻的像素点的集合，然后以特征点中每个像素点为节点，以特征点中不同像素点的像素值差异为边的权重，分别为每个特征点建立特征子图模型，再比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配，最后根据匹配的特征点，配准多个红外图像。相比于现有技术，本发明的改进主要体现在图像配准过程中特征点的选取和匹配上，选取时通过红外图像像素值的差异选取特征点，并利用像素值的差异建立特征子图模型，基于图论比较特征子图模型实现特征点的匹配，匹配过程更加简便、实现过程通俗易懂，省去了传统图像配准过程中大量的计算过程，最重要的是，本发明是基于像素值的差异，即红外图像包含的热辐射信息进行图像配准，使得配准过程受环境干扰较小，可以更准确地找到图像中的对应关系，同时提高配准的效率。
附图说明
图1为本发明提供的基于图论的红外图像处理方法一实施例的方法流程图；
图2为图1中步骤S101一实施例的方法流程图；
图3为本发明提供的基于图论的红外图像处理方法一实施例中选择的特征点示意图；
图4为本发明提供的基于图论的红外图像处理方法一实施例中建立的特征子图模型示意图；
图5为本发明提供的基于图论的红外图像处理方法一实施例中建立的特征图模型示意图；
图6为本发明提供的基于图论的红外图像处理系统一实施例的系统架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在阐述具体的实施例之前，先对本实施例中的一些技术名词作出解释：
图像配准：图像配准（Image Registration）是一种将多个图像对齐或对准的过程。它是通过将多幅图像中的特征点、区域或整个图像进行空间变换，使得它们在相同的坐标系统下对齐的过程。目标是使得图像之间的对应关系最佳匹配，从而实现图像的对齐、重叠和融合。
红外图像的像素值：在红外图像中，像素值代表的是红外辐射的强度或能量。红外辐射是指在红外光谱范围内的电磁波辐射，它的波长通常在0.7微米到1000微米之间。红外图像通常采用灰度或者彩色编码来表示红外辐射的强度或能量，例如：
灰度图像：每个像素的灰度值代表了红外辐射的强度，通常用0到255之间的整数表示。较亮的像素表示辐射强度较高，而较暗的像素表示辐射强度较低。
彩色图像：通常使用伪彩色或热图的方式来表示红外图像。其中，不同的灰度值通过颜色映射到对应的伪彩色或热图颜色。常见的伪彩色映射有铁红、铁绿、铁白热等，不同的颜色表示不同的红外辐射强度。
图模型：本实施例中，特征子图模型以及特征图模型中的“图”是指图论中的图而非图片，在图论中，图（Graph）是一种抽象的数据结构，用于表示节点之间的关系。一个图由节点和边组成，它们之间形成了一个连通的网络，本实施例中增加“模型”二字，以对数据结构和图片加以区分。
节点（Node）表示图中的一个元素或实体，可以是人、地点、物品等。节点也被称为顶点（Vertex），它们在图中以独立的实体形式存在。
边（Edge）表示节点之间的连接，用于表示节点之间的关联或关系。边可以是有向的或无向的，取决于是否有方向性。
有向图（Directed Graph）中，边具有方向性，从一个节点指向另一个节点。有向图中的边被称为有向边（Directed Edge）。有向图可以表示有向关系，比如某个节点依赖于另一个节点的情况。有向边所连接的两个节点中，按该有向边指向的方向上第一个节点可称为起始节点、尾节点、源节点等，该有向边指向的方向上第二个节点可称为目标节点、头节点、目的节点等。
无向图（Undirected Graph）中，边没有方向性，可以在相邻节点之间双向传递。无向图中的边被称为无向边（Undirected Edge）。无向图可以表示无方向关系，比如两个节点之间的相似性或合作关系。
边和节点可以具有权重（Weight），它表示了边或节点之间的关联强度、距离或其他度量。权重可以是数值，用于在图算法中的计算和优化，比如最短路径算法中的边权重表示边的长度或距离。权重可以用来衡量节点之间的相似性或重要性。
结合图1所示，本发明的一个具体实施例，公开了一种基于图论的红外图像处理方法，包括：
S101、获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，所述特征点为相邻的像素点的集合；
S102、以特征点中每个像素点为节点，以特征点中不同像素点的像素值差异为边的权重，分别为每个特征点建立特征子图模型；
S103、比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配；
S104、根据匹配的特征点，配准多个红外图像。
相比于现有技术，本发明的改进主要体现在图像配准过程中特征点的选取和匹配上，选取时通过红外图像像素值的差异选取特征点，并利用像素值的差异建立特征子图模型，基于图论比较特征子图模型实现特征点的匹配，匹配过程更加简便、实现过程通俗易懂，省去了传统图像配准过程中大量的计算过程，最重要的是，本发明是基于像素值的差异，即红外图像包含的热辐射信息进行图像配准，使得配准过程受环境干扰较小，可以更准确地找到图像中的对应关系，同时提高配准的效率。
特征点的选取可以采用任意现有的选取方法，而结合图2所示，在一个优选的实施例中，上述步骤S101、获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，具体包括：
S201、获取目标红外图像，并根据所述目标红外图像中的像素值大小统计情况，得到特征选取阈值，其中所述目标红外图像为当前待选择特征点的红外图像；
S202、获取像素值上限阈值，并根据所述特征选取阈值与所述像素值上限阈值的大小关系，得到特征范围阈值；
S203、根据所述目标红外图像中每个像素点的像素值和所述特征选取阈值的差异，基于所述特征范围阈值，从所述目标红外图像中选择多个特征点。
在一个优选的实施例中，上述步骤S201中特征范围阈值通过统计目标红外图像中的像素值得到，例如通过统计目标红外图像中每个像素的像素值，得到直方图，根据直方图选择前10%像素值大小的像素值作为特征选取阈值，此时根据该阈值选取出来的特征点可能为红外图像中温度较高的几个区域。而不同红外图像，其拍摄角度可能不同，但是其拍摄的物体的温度值短时间内不会变化，因此不同红外图像中温度较高的几个区域也大概率相同，那么根据本实施例的标准选择出的特征点会具有较高的准确性，同时不同图像中特征点的匹配程度也会很高，这样能极大地加快图像配准效率。
可以理解的是，实际中根据具体情况，也可以通过其他方式去确定特征选取阈值，例如选择图像中像素值的平均数作为特征选取阈值等。
进一步的，上述步骤S202中，特征范围阈值是限制特征点大小的阈值，防止最终选择出来的特征点过大，造成误差，影响特征点匹配精度。而根据特征选取阈值以及每个像素能够达到的像素值上限阈值（例如灰度图中的255）来确定特征范围阈值，能够使特征范围阈值根据目标红外图像的具体情况处于一个较为科学合理的范围内。
进一步的，在一个优选的实施例中，所述特征范围阈值通过下式得到：
，其中，/>为所述像素值上限阈值，/>为所述特征范围阈值，/>为所述特征选取阈值。
上述公式得到的特征范围阈值表示以特征点中的中心像素点为圆心的半径，该公式可以得到一个合适的半径大小，使得半径的长度能够保证每个像素和它周围的八个像素都能够被包含在内，并且使得每个特征点集合中的像素均相邻。
进一步的，在一个优选的实施例中，上述步骤S203、根据所述目标红外图像中每个像素点的像素值和所述特征选取阈值的差异，基于所述特征范围阈值，从所述目标红外图像中选择多个特征点，具体包括：
所述目标红外图像中的特征点通过下式得到：
，
，
，其中，/>为所述目标红外图像中表示一个特征点的多个像素点的集合，/>、/>分别为集合/>中任意像素点的横坐标及纵坐标，为坐标为/>的像素点的像素值，/>、/>分别为集合/>内中心像素点的横坐标及纵坐标，/>为坐标为/>的像素点到中心像素点的距离。
上述公式表示最终选取的特征点的大小不会超过特征范围阈值的限制，同时特征点中每个像素点的像素值均大于特征选取阈值。可以理解的是，以上过程仅为一个优选的实施例，该实施例主要用于简单的、温度值分布不均匀的图像中，实际中也可以根据具体情况，调整特征点的选取策略，例如可以同时设定两个特征选取阈值同时进行特征点的筛选，选择两个特征选取阈值范围之间的像素点作为特征点，或者规定特征点中的像素值包括了位于两个特征选取阈值范围之外，此种情况特别适用于选择角点作为特征点。
在一个优选的实施例中，上述过程最终选择的特征点如图3所示。
进一步的，在一个优选的实施例中，上述步骤S102、所建立的特征子图模型中，每个节点对应特征点中的一个像素点，每个边分别连接特征点中相邻的两个像素点，每个边的权重为相邻的两个像素点的像素值的差值。基于图3，本实施例所建立的特征子图模型如图4所示。
本实施例建立的特征子图模型中，每个节点在位置上也和像素点一一对应，即每个节点仅和其上下左右四个方向的相邻节点连接，更加方便理解和实现。可以理解的是，实际中也可以任意设定相邻的两个节点的位置方向，例如将对角线上相邻的两个像素点对应的节点用边连接。
此时可直接比较不同红外图像中的特征子图模型，便可以完成特征点的匹配。例如，若两个红外图像中存在相同的特征子图模型，那么便可以认为两个特征子图模型对应的特征点相匹配，两个特征点在两个红外图像中表示的是相同的客体。
一方面，因建立的特征子图模型的节点和像素点一一对应，边又为像素值的差值，所以特征子图模型可以反映红外图像中对应的区域内独一无二的温度信息，那么根据特征子图模型进行特征点匹配便可以取得较准确的结果。
另一方面，在图论中，判断两个图是否相同可以通过比较它们的结构和属性来进行。
一种简单的方法是比较两个图的顶点集和边集是否完全相同。如果两个图的顶点集和边集完全相同，那么它们就是相同的图。
另一种常用的方法是通过图的邻接矩阵或邻接表来比较。邻接矩阵是一个二维矩阵，描述了图的顶点之间的连接关系。邻接表是一种数据结构，用于表示图中顶点和它们的邻接顶点之间的关系。
通过比较两个图的邻接矩阵或邻接表，可以判断它们的结构是否相同。如果两个图的邻接矩阵或邻接表相同，那么它们就是相同的图。
显然，相比于现有的特征点匹配技术，比较图的邻接矩阵或邻接表较容易实现，本实施例无须进行计算特征描述子等复杂的计算过程，能够极大地提高特征点匹配效率。
进一步的，在一个优选的实施例中，特征子图模型中，每个节点具有权重，每个节点的权重为该节点对应的像素点的像素值。本实施例在上一个实施例的基础上进一步设定了特征子图模型中节点的权值，使得特征点匹配的准确性进一步提升。
上述过程建立的特征子图模型可以为无向图，而再进一步的，在一个优选的实施例中，特征子图模型可以为有向图，特征子图模型中每个有向边的起始节点的权重大于该有向边的目标节点的权重。本实施例在上一实施例的基础上进一步在特征子图模型中添加了边的方向信息，为特征点匹配增加了又一个约束，进一步提高了特征点匹配的准确性。
进一步的，在一个优选的实施例中，上述步骤S103、比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配，具体包括：
获取同一个红外图像中，多个特征点的中心像素点；
连接同一个红外图像中，不同特征点对应的特征子图模型，得到该红外图像对应的特征图模型，其中，连接两个特征子图模型的边的两端分别为中心像素点对应的节点，连接两个特征子图模型的边的权重为两个中心像素点的欧式距离；
比较两个红外图像对应的两个特征图模型的一致性，得到两个红外图像之间的特征点匹配结果。
本实施例中得到的一个特征图模型如图5所示。
上述过程，通过特征点之间的距离，将多个特征点对应的特征子图模型组合为一个大的特征图模型，该特征图模型不仅包括了红外图像的温度信息，也能够在一定程度上反映图片中特征点的位置信息，基于特征图进行匹配，例如将完全相同的特征图模型中包括的特征点，视为匹配的特征点，能够得到更加精准的匹配结果。
进一步的，在一个优选的实施例中，上述步骤S104、根据匹配的特征点，配准多个红外图像，具体包括：
变换模型估计：使用匹配的特征点对来估计红外图像之间的变换关系。最常用的是仿射变换模型或透视变换模型，可以通过RANSAC等算法估计变换模型的参数。
变换图像：将红外图像根据估计的变换模型进行变换，使其对齐。变换方法可以采用插值方法，如双线性插值。
重叠区域拼接：对变换后的红外图像进行拼接，形成全景图像。这可以通过像素值融合、均值融合等方法实现。
验证配准质量：使用误差评估指标（如均方差、重叠度指标）来评估配准的准确性和稳定性。
上述过程的具体细节为本领域技术人员能够知晓的现有技术，因此本实施例不做过多说明。
结合图6所示，本发明还提供一种基于图论的红外图像处理系统600，包括：
特征点选取模块610，用于获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，所述特征点为相邻的像素点的集合；
特征子图建立模块620，用于以特征点中每个像素点为节点，以特征点中不同像素点的像素值差异为边的权重，分别为每个特征点建立特征子图模型；
特征点匹配模块630，用于比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配；
图像配准模块640，用于根据匹配的特征点，配准多个红外图像。
这里需要说明的是：上述实施例提供的对应的系统600可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
本实施例还提供了一种计算机可读存储介质，其上存储有基于图论的红外图像处理程序，该基于图论的红外图像处理程序被处理器执行时可实现上述实施例中的步骤。
本发明提供一种基于图论的红外图像处理方法、系统及存储介质，其先获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，所述特征点为相邻的像素点的集合，然后以特征点中每个像素点为节点，以特征点中不同像素点的像素值差异为边的权重，分别为每个特征点建立特征子图模型，再比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配，最后根据匹配的特征点，配准多个红外图像。相比于现有技术，本发明的改进主要体现在图像配准过程中特征点的选取和匹配上，选取时通过红外图像像素值的差异选取特征点，并利用像素值的差异建立特征子图模型，基于图论比较特征子图模型实现特征点的匹配，匹配过程更加简便、实现过程通俗易懂，省去了传统图像配准过程中大量的计算过程，最重要的是，本发明是基于像素值的差异，即红外图像包含的热辐射信息进行图像配准，使得配准过程受环境干扰较小，可以更准确地找到图像中的对应关系，同时提高配准的效率。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本实施例中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本实施例所示的这些实施例，而是要符合与本实施例所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于图论的红外图像处理方法，其特征在于，包括：
获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，所述特征点为相邻的像素点的集合；
以特征点中每个像素点为节点，以特征点中不同像素点的像素值差异为边的权重，分别为每个特征点建立特征子图模型；
比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配；
根据匹配的特征点，配准多个红外图像。
2.根据权利要求1所述的基于图论的红外图像处理方法，其特征在于，获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，包括：
获取目标红外图像，并根据所述目标红外图像中的像素值大小统计情况，得到特征选取阈值，其中所述目标红外图像为当前待选择特征点的红外图像；
获取像素值上限阈值，并根据所述特征选取阈值与所述像素值上限阈值的大小关系，得到特征范围阈值；
根据所述目标红外图像中每个像素点的像素值和所述特征选取阈值的差异，基于所述特征范围阈值，从所述目标红外图像中选择多个特征点。
3.根据权利要求2所述的基于图论的红外图像处理方法，其特征在于，所述特征范围阈值通过下式得到：
，其中，/>为所述像素值上限阈值，/>为所述特征范围阈值，/>为所述特征选取阈值。
4.根据权利要求3所述的基于图论的红外图像处理方法，其特征在于，根据所述目标红外图像中每个像素点的像素值和所述特征选取阈值的差异，基于所述特征范围阈值，从所述目标红外图像中选择多个特征点，包括：
所述目标红外图像中的特征点通过下式得到：
，
，
，其中，/>为所述目标红外图像中表示一个特征点的多个像素点的集合，/>、/>分别为集合/>中任意像素点的横坐标及纵坐标，为坐标为/>的像素点的像素值，/>、/>分别为集合/>内中心像素点的横坐标及纵坐标，/>为坐标为/>的像素点到中心像素点的距离。
5.根据权利要求1所述的基于图论的红外图像处理方法，其特征在于，特征子图模型中，每个节点对应特征点中的一个像素点，每个边分别连接特征点中相邻的两个像素点，每个边的权重为相邻的两个像素点的像素值的差值。
6.根据权利要求5所述的基于图论的红外图像处理方法，其特征在于，特征子图模型中，每个节点具有权重，每个节点的权重为该节点对应的像素点的像素值。
7.根据权利要求6所述的基于图论的红外图像处理方法，其特征在于，特征子图模型为有向图，特征子图模型中每个有向边的起始节点的权重大于该有向边的目标节点的权重。
8.根据权利要求1所述的基于图论的红外图像处理方法，其特征在于，比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配，包括：
获取同一个红外图像中，多个特征点的中心像素点；
连接同一个红外图像中，不同特征点对应的特征子图模型，得到该红外图像对应的特征图模型，其中，连接两个特征子图模型的边的两端分别为中心像素点对应的节点，连接两个特征子图模型的边的权重为两个中心像素点的欧式距离；
比较两个红外图像对应的两个特征图模型的一致性，得到两个红外图像之间的特征点匹配结果。
9.一种基于图论的红外图像处理系统，其特征在于，包括：
特征点选取模块，用于获取多个红外图像，并根据每个红外图像中像素值的差异，分别在多个红外图像中选择多个特征点，所述特征点为相邻的像素点的集合；
特征子图建立模块，用于以特征点中每个像素点为节点，以特征点中不同像素点的像素值差异为边的权重，分别为每个特征点建立特征子图模型；
特征点匹配模块，用于比较多个红外图像中的特征子图模型，将多个红外图像中的特征点进行匹配；
图像配准模块，用于根据匹配的特征点，配准多个红外图像。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1-8中任一项所述基于图论的红外图像处理方法中的步骤。
CN202311297491.6A 2023-10-09 2023-10-09 一种基于图论的红外图像处理方法、系统及存储介质 Active CN117056377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311297491.6A CN117056377B (zh) 2023-10-09 2023-10-09 一种基于图论的红外图像处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311297491.6A CN117056377B (zh) 2023-10-09 2023-10-09 一种基于图论的红外图像处理方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN117056377A true CN117056377A (zh) 2023-11-14
CN117056377B CN117056377B (zh) 2023-12-26

Family

ID=88667722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311297491.6A Active CN117056377B (zh) 2023-10-09 2023-10-09 一种基于图论的红外图像处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN117056377B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250123A1 (en) * 2011-11-04 2013-09-26 Qualcomm Incorporated Multispectral imaging system
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
CN111079556A (zh) * 2019-11-25 2020-04-28 航天时代飞鸿技术有限公司 一种多时相无人机视频图像变化区域检测及分类方法
CN111508030A (zh) * 2020-04-10 2020-08-07 湖北工业大学 一种计算机视觉的立体匹配方法
CN112734822A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种基于红外和可见光图像的立体匹配算法
WO2021098083A1 (zh) * 2019-11-22 2021-05-27 大连理工大学 基于显著特征的多光谱相机动态立体标定算法
CN115578428A (zh) * 2022-10-19 2023-01-06 国网山东省电力公司电力科学研究院 一种考虑模态差异的红外与可见光图像配准方法及系统
CN116109540A (zh) * 2023-03-22 2023-05-12 智洋创新科技股份有限公司 基于粒子群优化灰度曲线匹配的图像配准融合方法和系统
CN116485694A (zh) * 2023-04-25 2023-07-25 中国矿业大学 一种基于变分原理的红外与可见光图像融合方法、系统
CN116681742A (zh) * 2023-05-15 2023-09-01 东南大学 基于图神经网络的可见光与红外热成像图像配准方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250123A1 (en) * 2011-11-04 2013-09-26 Qualcomm Incorporated Multispectral imaging system
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
CN112734822A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种基于红外和可见光图像的立体匹配算法
WO2021098083A1 (zh) * 2019-11-22 2021-05-27 大连理工大学 基于显著特征的多光谱相机动态立体标定算法
CN111079556A (zh) * 2019-11-25 2020-04-28 航天时代飞鸿技术有限公司 一种多时相无人机视频图像变化区域检测及分类方法
CN111508030A (zh) * 2020-04-10 2020-08-07 湖北工业大学 一种计算机视觉的立体匹配方法
CN115578428A (zh) * 2022-10-19 2023-01-06 国网山东省电力公司电力科学研究院 一种考虑模态差异的红外与可见光图像配准方法及系统
CN116109540A (zh) * 2023-03-22 2023-05-12 智洋创新科技股份有限公司 基于粒子群优化灰度曲线匹配的图像配准融合方法和系统
CN116485694A (zh) * 2023-04-25 2023-07-25 中国矿业大学 一种基于变分原理的红外与可见光图像融合方法、系统
CN116681742A (zh) * 2023-05-15 2023-09-01 东南大学 基于图神经网络的可见光与红外热成像图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QINGLEI DU等: ""Infrared and Visible Image Registration Based on Scale-Invariant PIIFD Feature and Locality Preserving Matching"", 《IEEE ACCESS》 *
胡永利;王亮;刘蓉;张丽;段福庆;: "一种从粗到精的红外和可见光卫星图像配准方法", 光谱学与光谱分析, no. 11 *

Also Published As

Publication number Publication date
CN117056377B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN104376552B (zh) 一种3d模型与二维图像的虚实配准方法
JP5470607B2 (ja) 計算機システム、及び画像／図表を位置合わせする方法
WO2018128667A1 (en) Systems and methods for lane-marker detection
CN108305277B (zh) 一种基于直线段的异源图像匹配方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN109711321B (zh) 一种结构自适应的宽基线影像视角不变直线特征匹配方法
CN108876723A (zh) 一种灰度目标图像的彩色背景的构建方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN110567441A (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN107945221A (zh) 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法
CN110084743B (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN102156986A (zh) 近红外摄像机的标定方法
Bastanlar et al. Multi-view structure-from-motion for hybrid camera scenarios
Andaló et al. Efficient height measurements in single images based on the detection of vanishing points
CN116778288A (zh) 一种多模态融合目标检测系统及方法
WO2021170051A1 (zh) 一种数字摄影测量方法、电子设备及系统
CN116894907B (zh) 一种rgbd相机纹理贴图优化方法及系统
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN117056377B (zh) 一种基于图论的红外图像处理方法、系统及存储介质
WO2023246091A1 (zh) 图像配准和模板构建方法、装置、电子设备及存储介质
CN106600691B (zh) 多路二维视频图像在三维地理空间中融合校正方法、系统
CN116597082A (zh) 一种基于隐式三维重建的轮毂工件数字化方法
CN111968182A (zh) 一种双目相机非线性模型参数的标定方法
CN116823966A (zh) 相机的内参标定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant