CN117522785A - 可见光与短波红外复合探测图像差异点方法及系统 - Google Patents

可见光与短波红外复合探测图像差异点方法及系统 Download PDF

Info

Publication number
CN117522785A
CN117522785A CN202311384636.6A CN202311384636A CN117522785A CN 117522785 A CN117522785 A CN 117522785A CN 202311384636 A CN202311384636 A CN 202311384636A CN 117522785 A CN117522785 A CN 117522785A
Authority
CN
China
Prior art keywords
image
homologous
sample
difference
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311384636.6A
Other languages
English (en)
Inventor
陈栋
张晓龙
陈凯
田宗浩
凌冲
马丽芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Army Academy of Artillery and Air Defense
Original Assignee
PLA Army Academy of Artillery and Air Defense
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Army Academy of Artillery and Air Defense filed Critical PLA Army Academy of Artillery and Air Defense
Priority to CN202311384636.6A priority Critical patent/CN117522785A/zh
Publication of CN117522785A publication Critical patent/CN117522785A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供可见光与短波红外复合探测图像差异点方法及系统包括：使用无人多模复合探测平台进行探测，得到同源图像、异源图像；提取同源图像特征点，利用Brute‑Force算法，进行图像配准操作，对同源图像样本进行仿射变换与差值处理，生成同源差异点检测结果；对异源图像进行图像邻域信息重建，得到异源目标区域差异点；在相同的目标区域中，采集已有的异源图像样本，将异源图像样本输入预置深度卷积神经网络，以获取适用网络模型；将待检测的异源图像样本，输入适用网络模型，以得到并输出领域重建同源图像，对邻域重建同源图像，执行步骤S2，以得到异源差异点检测结果。本发明解决了图像几何畸变导致的图像差异点检测差误较大的技术问题。

Description

可见光与短波红外复合探测图像差异点方法及系统
技术领域
本发明涉及图像信号探测技术领域，具体涉及可见光与短波红外复合探测图像差异点方法及系统。
背景技术
公布号为CN107167998A的现有发明专利申请文献《空间双波段复合动态场景投影仿真系统》该现有系统，包括可见光仿真单元、短波红外仿真单元和二向色滤光片，其中：可见光仿真单元包括依次设置的可见光光源、可见光DMD器件和可见光投影装置；短波红外仿真单元包括依次设置的短波红外光源、短波红外DMD器件和短波红外投影装置，可见光DMD器件和短波红外DMD器件连接驱动装置；二向色滤光片设置于可见光投影装置和短波红外投影装置之间。前述现有技术由于探测器成像角度、光照差异等因素，易造成的图像几何畸变，导致产生图像差异点检测误差。
公布号为CN115840287A的现有发明专利申请文献《基于双波段的共光路融合成像光学系统和成像方法、及其应用》，该现有技术方案包含有具有前直角棱镜(7)和后直角棱镜(8)的共光路融合成像光学系统本体，在前直角棱镜(7)和后直角棱镜(8)之间设置有分光膜，通过共光路融合成像光学系统本体，对双波段光束进行传输成像，通过分光膜，对双波段光束进行分光路成像处理，以对其中第一个波段光束进行透射成像、其中第二个波段光束进行反射成像。该现有技术采用分光膜对处理双波段光束，对双波段光束进行分光路成像处理，但该现有技术需要预设的光学设备参数复杂，且无法自动提取图像特征，仍无法准确地克服完全可见光与短波红外信号直接的几何畸变，无法保证图像探测的准确性。
综上，现有技术存在图像几何畸变导致的图像差异点检测差误较大的技术问题。
发明内容
本发明所要解决的技术问题在于：如何解决现有技术中图像几何畸变导致的图像差异点检测差误较大的技术问题。
本发明是采用以下技术方案解决上述技术问题的：可见光与短波红外复合探测图像差异点方法包括：
S1、使用无人多模复合探测平台，对目标区域分别进行探测，以得到同源图像样本、异源图像样本；
S2、提取同源图像样本中的同源图像特征点，利用Brute-Force算法，根据同源图像特征点进行图像配准操作，以得到同源图像配准结果，据以利用预置逻辑，处理不少于2幅的同源图像样本，以生成同源差异点检测结果；
S3、对异源图像，进行图像邻域信息重建，以检测得到异源目标区域差异点；
S4、在相同的目标区域中，采集已有的异源图像样本，将异源图像样本输入预置深度卷积神经网络，以训练得到权重文件与配置文件，据以获取适用网络模型；
S5、将待检测的异源图像样本，输入适用网络模型，以得到并输出领域重建同源图像，对邻域重建同源图像，执行步骤S2，以得到异源差异点检测结果。
本发明在不同时间段、相同区域进行图像差异点检测时，针对由于探测器成像角度、光照差异造成的图像几何畸变导致的图像差异点检测差误较大的问题，利用图像特征提取、图像仿射变换、图像二值运算、图像邻域信息重建等方法完成在复杂条件下目标区域差异点检测。
在更具体的技术方案中，步骤S1包括：
S11、利用无人多模复合探测平台，对目标区域进行不少于2次探测；
S12、根据预置光强阈值，判定无人多模复合探测平台的探测方式；
S13、获取图像源信息，据以判定获取同源图像样本以及异源图像样本。
在更具体的技术方案中，步骤S12包括；
S121、采集目标区域的光照强度；
S122、判断光照强度是否大于预置光强阈值；
S121、若是，则采用可见光探测器进行探测；
S122、若否，则采用短波红外探测器进行探测。
在更具体的技术方案中，步骤S13包括：
S131、根据图像源信息，判断样本种类是否相同；
S132、若是，则判定样本为同源图像样本；
S133、若否，则判定样本为异源图像样本。
在更具体的技术方案中，步骤S2中，同源图像特征点的特征包括：旋转特征、缩放特征以及平移不变性特征。
在更具体的技术方案中，步骤S2包括：
S21、使用Brute-Force算法，对同源图像特征点进行图像配准，得到同源图像配准结果；
S22、根据同源图像配准结果，处理得到单应矩阵；
S23、根据单应矩阵，对同源图像样本进行预处理，以得到差异点待检测数据；
S24、根据预设差异点检测阈值，处理差异点待检测数据，以生成同源差异点检测结果。
在更具体的技术方案中，步骤S22中，单应矩阵包括：九自由度单应矩阵。
在更具体的技术方案中，步骤S23中，对同源图像样本进行预处理的操作包括：仿射变换操作以及差值操作。
在更具体的技术方案中，步骤S5中，根据图像源信息，对异源图像样本进行样本划分，以得到输入样本以及标签样本。
在更具体的技术方案中，可见光与短波红外复合探测图像差异点系统包括：
样本探测模块，用以使用无人多模复合探测平台，对目标区域分别进行探测，以得到同源图像样本、异源图像样本；
同源检测模块，用以提取同源图像样本中的同源图像特征点，利用Brute-Force算法，根据同源图像特征点进行图像配准操作，以得到同源图像配准结果，据以利用预置逻辑，处理不少于2幅的同源图像样本，据以生成同源差异点检测结果，同源检测模块与样本探测模块连接；
异源检测模块，用以对异源图像，进行图像邻域信息重建，以检测得到异源目标区域差异点，异源检测模块与样本探测模块连接；
模型训练模块，用以在相同的目标区域中，采集已有的异源图像样本，将异源图像样本输入预置深度卷积神经网络，以训练得到权重文件与配置文件，据以获取适用网络模型，模型训练模块与样本探测模块连接；
异源差异点检测模块，用以将待检测的异源图像样本，输入适用网络模型，以得到并输出领域重建同源图像，对邻域重建同源图像，执行步骤S2，以得到异源差异点检测结果，异源差异点检测模块与模型训练模块及样本探测模块连接。
本发明相比现有技术具有以下优点：本发明在不同时间段、相同区域进行图像差异点检测时，针对由于探测器成像角度、光照差异造成的图像几何畸变导致的图像差异点检测差误较大的问题，利用图像特征提取、图像仿射变换、图像二值运算、图像邻域信息重建等方法完成在复杂条件下目标区域差异点检测，本发明解决了现有技术中存在的图像几何畸变导致的图像差异点检测差误较大的技术问题。
1.图像特征提取：通过对图像进行分析和处理，提取出图像中具有代表性的特征。这些特征用于图像相似度比较。提取出的形状、纹理或颜色特征，可以实现对目标物体的自动识别和分类。
2.图像仿射变换：通过平移、旋转、缩放和剪切等几何变换操作，改变图像的形状、大小和方向。图像仿射变换可以用于纠正图像的倾斜、调整图像的尺寸和方向，以及实现图像的配准等。通过图像仿射变换，可以将不同角度的图像对齐，以便进行后续的图像处理和分析。
3.图像二值运算：将图像中的像素值转化为二值(0或1)，通常通过设定一个阈值来实现。二值图像可以简化图像数据，突出目标物体的轮廓和特征，方便后续的处理和分析。
4.图像邻域信息重建：通过对图像中每个像素周围像素的分析和处理，估计该像素的值。通过利用周围像素的信息，可以恢复受损的图像区域或增强图像的细节，提高图像质量和视觉效果。
与现有技术相比，这些方法的具体技术区别在于其理论基础和具体实现方式，在图像特征提取方面，可以使用传统的特征提取算法，也可以利用深度学习技术。在图像仿射变换方面，传统方法主要依赖于基于矩阵变换的几何关系，而现代技术还可以利用深度学习模型进行非线性的变换和变形。
在图像处理和计算机视觉领域，这些方法与现有技术的具体技术区别还可以从以下几个方面进行补充：
算法复杂度：不同的方法和技术在算法复杂度上有所差异。一些传统的图像处理方法可能采用基于数学公式的运算，其计算复杂度相对较低。而现代的深度学习方法通常具有较高的计算复杂度，但能够从大规模数据中学习更复杂的图像特征和模式。
数据需求：传统方法通常基于手工设计的特征提取算子，需要人工提供先验知识和设置参数。而现代技术如深度学习能够自动从数据中提取特征，不需要人工设计特征。但深度学习方法通常需要大量标注数据用于训练，对数据量和质量有更高的要求。
可解释性：传统方法往往具有更强的可解释性，可以清晰地解释每个步骤对图像处理结果的影响。相比之下，深度学习方法在黑盒模型方面较强，很难准确解释模型的决策过程。
适用场景：不同方法和技术在适用场景上也有所区别。传统方法通常适用于小样本、数据分布较简单的场景，且对噪声和变形较为敏感。而现代技术如深度学习更适用于大规模数据，可以处理更复杂的图像任务，对噪声和变形具有更好的鲁棒性。
附图说明
图1为本发明实施例1的可见光与短波红外复合探测图像差异点方法基本步骤示意图；
图2为本发明实施例1的同源图像差异点检测效果图；
图3为本发明实施例1的异源图像差异点检测效果图；
图4为本发明实施例1的基于特征点的图像配准具体步骤示意图；
图5为本发明实施例1的差异点检测阈值和判据求取步骤示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1至图3所示，在本实施例中，可见光与短波红外复合探测图像差异点方法，包括以下基本步骤：
S1、使用无人多模复合探测平台，对目标区域分别进行探测；
在本实施例中，无人多模复合探测平台对目标区域探测次数，可为例如2次。在光照强度≥150lux时使用可见光探测器；在光照强度＜150lux时使用短波红外探测器；
S2、若获得图像均为可见光图像，或者均为短波红外图像，则将样本视为同源图像，否则视为异源图像；
S3、对于同源图像，使用图像特征提取技术提取图像特征点，该特征点具有旋转、缩放、平移不变性特征；
S4、使用Brute-Force算法进行基于特征点的图像配准，并根据结果得到九自由度单应矩阵；
在本实施例中，九自由度单应矩阵用于描述两幅图像之间的透视变换关系。它可以表示平移、旋转、缩放和投影等九种自由度的变换。由单应矩阵的定义可以得到：
x2＝Hx1
式中，x1,x2为归一化平面上的匹配点对应，H为单应矩阵，H的自由度为8，具有尺度等价性，通常会通过归一化的4点法来计算单应矩阵。
在本实施例中，通过计算两幅图像中的特征点之间的距离或相似度，找到最佳的匹配对应点，从而实现图像的对齐和配准。
如图4所示，在本实施例中，基于特征点的图像配准的步骤S4，还包括以下具体步骤：
S41、提取特征点；
在本实施例中，使用特征点检测算法，在两幅图像中提取出一系列特征点。前述特征点通常对于图像的外观、纹理、角点等具有鲁棒性和唯一性。
S42、特征点匹配；
在本实施例中，对于第一幅图像中的每一个特征点，计算该特征点与第二幅图像中所有特征点的距离或相似度。在本实施例中，度量方法包括但不限于：欧氏距离、汉明距离以及余弦相似度。在本实施例中，选择最近邻或者次近邻的特征点作为匹配对应。
S43、过滤匹配点；
在本实施例中，根据特定准则，筛选出最可靠的匹配对应点，去除错误匹配。在本实施例中，前述特定准则包括但不限于：距离比例测试以及低阈值剪枝。
S44、计算变换矩阵；
在本实施例中，基于匹配点对，使用最小二乘法或其他优化算法，计算出图像的变换矩阵，在本实施例中，变换矩阵包括但不限于：仿射变换矩阵、透视变换矩阵。在本实施例中，变换矩阵可描述两幅图像之间的平移、旋转、缩放和扭曲等变换关系。
S45、图像配准；
在本实施例中，利用变换矩阵，对图像进行变换，使得两幅图像在像素级别上对齐。
在本实施例中，在特征点匹配操作中，使用欧氏距离公式：
其中，(x_p,y_p)和(x_q,y_q)分别表示特征点p和q的坐标。
在本实施例中，通过计算距离、相似度矩阵，选择最近邻的匹配点对应。在本实施例中，定义一个阈值，例如只选择距离最近的k个特征点作为匹配对应。
在本实施例中，计算变换矩阵时，可采用例如：最小二乘法，最小化残差误差，以获得最准确的变换矩阵。具体的计算方法会根据变换模型的不同而有所差异。
S5、根据单应矩阵对两幅图像进行仿射变换与差值处理，通过设定阈值，生成差异点检测结果；
在本实施例中，仿射变换是指对图像进行平移、旋转、缩放和剪切等几何操作的一种线性变换。
在本实施例的平移操作过程中，将图像在水平和垂直方向上进行平移，可以用以下矩阵表示：
其中，dx和dy表示在x和y方向上的平移量。
在本实施例的旋转操作过程中，围绕图像的中心点进行旋转，可以用以下矩阵表示：
其中，theta表示旋转角度。
在本实施例的缩放操作过程中，可按照不同的比例因子在x和y方向上进行缩放，可以用以下矩阵表示：
其中，sx和sy分别表示在x和y方向上的缩放因子。
在本实施例的剪切操作过程中，可以在x和y方向上进行剪切变换，可以用以下矩阵表示：
其中，shx和shy表示在x和y方向上的剪切因子。
在本实施例中，差值操作是指在进行图像变换时，对新图像中像素的值进行估计或插值的操作，以填充变换后像素的位置：
其中，最近邻插值(Nearest Neighbor Interpolation)：将变换前最近的一个像素的值赋给变换后的位置。
双线性插值(Bilinear Interpolation)：根据变换前后的位置，通过对附近的四个像素进行线性插值来估计变换后的像素值。
双三次插值(Bicubic Interpolation)：根据变换前后的位置，通过对附近的16个像素进行三次样条插值来估计变换后的像素值。
S6、对于异源图像，使用基于图像邻域信息重建的异源图像变化检测方法检测目标区域差异点；
S7、基于图像邻域信息重建的方法，采集已有相同区域异源图像样本，将样本输入具有邻域重建特性的深度卷积神经网络进行训练，得到权重文件与配置文件；
在本实施例中，可采用例如短波红外图像作为输入样本，以可见光图像为标签样本，或者以可见光图像为输入样本，以短波红外图像为标签样本。
S8、将需要检测的异源图像输入步骤S7已训练好的网络模型中，输出基于邻域重建的同源图像，再执行前述步骤S3至步骤S5，以对同源图像进行差异点检测。
如图5所示，在本实施例中，差异点检测阈值和判据的求取逻辑，包括以下步骤：
S81、数据准备；
在本实施例中，需要准备两组数据图像进行差异点检测,数据分别为A和B；
S82、差异度计算；
在本实施例中，对于每个数据点Ai和Bi，计算其差异度D(Ai,Bi)。差异度使用欧氏距离方法衡量两个数据点之间的差异程度。
S83、确定阈值；
在本实施例中，根据实际需求和差异度的分布情况、噪声等因素，选择一个用于判断差异度是否达到阈值的数值。在本实施例中，阈值可以是固定的常数，也可以根据统计分析或经验知识来确定。
S84、判据确定；
在本实施例中，根据阈值，定义一个判据函数f(D)。当差异度小于或等于阈值时，判据函数返回判定为相同；在本实施例中，当差异度大于阈值时，判据函数返回判定为不同。
S85、差异点检测：
在本实施例中，对于数据中的每对Ai和Bi，根据判据函数f(D)进行判断。如果判据函数返回判定为不同，则将该对数据点视为差异点；如果判据函数返回判定为相同，则认为该对数据点相似或无差异。
当涉及到差异点检测时，差异点检测中的实际参数、参数确定逻辑和范围，并简述本申请相对于现有的图像检测技术的具体优点。
阈值参数：算法需要设置两个阈值，一个是高阈值，用于确定边缘像素；一个是低阈值，用于连接边缘。
参数确定逻辑：通常采用经验法则，例如选择图像梯度的平均值来确定高阈值，然后取高阈值的一定比例作为低阈值。也可以通过试验不同的阈值组合来调整到最佳结果。
范围：阈值范围通常为0到255，根据图像信噪比和边缘强度来进行适当的调整。
本申请相对于现有的图像检测技术的优点：
高准确性：差异点检测方法在处理图像时，能够提供更准确的结果。可能通过采用更复杂的图像特征提取算法，结合机器学习或深度学习技术进行端到端训练，提高检测算法的准确性和鲁棒性。
高效性：差异点检测方法能够快速处理图像数据，减少运算时间和资源消耗。可能通过算法的优化和并行计算等技术来提高检测速度。
鲁棒性：差异点检测方法对图像的光照变化、噪声干扰、尺度变化等具有更好的适应性和鲁棒性。可能采用更复杂的图像预处理和后处理技术，以提高算法的稳健性和可靠性。
综上，本发明在不同时间段、相同区域进行图像差异点检测时，针对由于探测器成像角度、光照差异造成的图像几何畸变导致的图像差异点检测差误较大的问题，利用图像特征提取、图像仿射变换、图像二值运算、图像邻域信息重建等方法完成在复杂条件下目标区域差异点检测，本发明解决了现有技术中存在的图像几何畸变导致的图像差异点检测差误较大的技术问题。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.可见光与短波红外复合探测图像差异点方法，其特征在于，所述方法包括：
S1、使用无人多模复合探测平台，对目标区域分别进行探测，以得到同源图像样本、异源图像样本；
S2、提取所述同源图像样本中的同源图像特征点，利用Brute-Force算法，根据所述同源图像特征点进行图像配准操作，以得到同源图像配准结果，据以利用预置逻辑，处理不少于2幅的所述同源图像样本，据以生成同源差异点检测结果；
S3、对所述异源图像，进行图像邻域信息重建，以检测得到异源目标区域差异点；
S4、在相同的所述目标区域中，采集已有的异源图像样本，将所述异源图像样本输入预置深度卷积神经网络，以训练得到权重文件与配置文件，据以获取适用网络模型；
S5、将待检测的所述异源图像样本，输入所述适用网络模型，以得到并输出领域重建同源图像，对所述邻域重建同源图像，执行所述步骤S2，以得到异源差异点检测结果。
2.根据权利要求1所述的可见光与短波红外复合探测图像差异点方法，其特征在于，所述步骤S1包括：
S11、利用所述无人多模复合探测平台，对所述目标区域进行不少于2次探测；
S12、根据预置光强阈值，判定所述无人多模复合探测平台的探测方式；
S13、获取图像源信息，据以判定获取所述同源图像样本以及所述异源图像样本。
3.根据权利要求1所述的可见光与短波红外复合探测图像差异点方法，其特征在于，所述步骤S12包括；
S121、采集所述目标区域的光照强度；
S122、判断所述光照强度是否大于所述预置光强阈值；
S121、若是，则采用可见光探测器进行探测；
S122、若否，则采用短波红外探测器进行探测。
4.根据权利要求1所述的可见光与短波红外复合探测图像差异点方法，其特征在于，所述步骤S13包括：
S131、根据所述图像源信息，判断样本种类是否相同；
S132、若是，则判定所述样本为所述同源图像样本；
S133、若否，则判定所述样本为所述异源图像样本。
5.根据权利要求1所述的可见光与短波红外复合探测图像差异点方法，其特征在于，所述步骤S2中，所述同源图像特征点的特征包括：旋转特征、缩放特征以及平移不变性特征。
6.根据权利要求1所述的可见光与短波红外复合探测图像差异点方法，其特征在于，所述步骤S2包括：
S21、使用所述Brute-Force算法，对所述同源图像特征点进行图像配准，得到所述同源图像配准结果；
S22、根据所述同源图像配准结果，处理得到单应矩阵；
S23、根据所述单应矩阵，对所述同源图像样本进行预处理，以得到差异点待检测数据；
S24、根据预设差异点检测阈值，处理所述差异点待检测数据，以生成所述同源差异点检测结果。
7.根据权利要求1所述的可见光与短波红外复合探测图像差异点方法，其特征在于，所述步骤S22中，所述单应矩阵包括：九自由度单应矩阵。
8.根据权利要求1所述的可见光与短波红外复合探测图像差异点方法，其特征在于，所述步骤S23中，所述对同源图像样本进行预处理的操作包括：仿射变换操作以及差值操作。
9.根据权利要求1所述的可见光与短波红外复合探测图像差异点方法，其特征在于，所述步骤S5中，根据图像源信息，对所述所述异源图像样本进行样本划分，以得到输入样本以及标签样本。
10.可见光与短波红外复合探测图像差异点系统，其特征在于，所述系统包括：
样本探测模块，用以使用无人多模复合探测平台，对目标区域分别进行探测，以得到同源图像样本、异源图像样本；
同源检测模块，用以提取所述同源图像样本中的同源图像特征点，利用Brute-Force算法，根据所述同源图像特征点进行图像配准操作，以得到同源图像配准结果，据以利用预置逻辑，处理不少于2幅的所述同源图像样本，据以生成同源差异点检测结果，所述同源检测模块与所述样本探测模块连接；
异源检测模块，用以对所述异源图像，进行图像邻域信息重建，以检测得到异源目标区域差异点，所述异源检测模块与所述样本探测模块连接；
模型训练模块，用以在相同的所述目标区域中，采集已有的异源图像样本，将所述异源图像样本输入预置深度卷积神经网络，以训练得到权重文件与配置文件，据以获取适用网络模型，所述模型训练模块与所述样本探测模块连接；
异源差异点检测模块，用以将待检测的所述异源图像样本，输入所述适用网络模型，以得到并输出领域重建同源图像，对所述邻域重建同源图像，执行所述步骤S2，以得到异源差异点检测结果，所述异源差异点检测模块与所述模型训练模块及所述样本探测模块连接。
CN202311384636.6A 2023-10-23 2023-10-23 可见光与短波红外复合探测图像差异点方法及系统 Pending CN117522785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311384636.6A CN117522785A (zh) 2023-10-23 2023-10-23 可见光与短波红外复合探测图像差异点方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311384636.6A CN117522785A (zh) 2023-10-23 2023-10-23 可见光与短波红外复合探测图像差异点方法及系统

Publications (1)

Publication Number Publication Date
CN117522785A true CN117522785A (zh) 2024-02-06

Family

ID=89761581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311384636.6A Pending CN117522785A (zh) 2023-10-23 2023-10-23 可见光与短波红外复合探测图像差异点方法及系统

Country Status (1)

Country Link
CN (1) CN117522785A (zh)

Similar Documents

Publication Publication Date Title
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
EP3382644A1 (en) Method for 3d modelling based on structure from motion processing of sparse 2d images
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN111784655B (zh) 一种水下机器人回收定位方法
CN104200461A (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN107016353B (zh) 一种变分辨率目标探测与识别一体化的方法与系统
CN110334727B (zh) 一种隧道裂缝智能匹配检测方法
CN111161295B (zh) 一种菜品图像背景剥离方法
CN112017243B (zh) 一种介质能见度识别方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
JP4003465B2 (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
CN115512381A (zh) 文本识别方法、装置、设备、存储介质及作业机械
CN104966283A (zh) 图像分层配准方法
CN116977341B (zh) 一种尺寸测量方法及相关装置
TWI543117B (zh) 物件辨識與定位方法
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN112833821B (zh) 高密度ic焊点的微分几何立体微视觉检测系统及方法
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN110751690B (zh) 铣床刀头视觉定位方法
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN117522785A (zh) 可见光与短波红外复合探测图像差异点方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination