CN116090094A - 一种基于红外热成像的船体热模型建立方法、装置及设备 - Google Patents

一种基于红外热成像的船体热模型建立方法、装置及设备 Download PDF

Info

Publication number
CN116090094A
CN116090094A CN202211679954.0A CN202211679954A CN116090094A CN 116090094 A CN116090094 A CN 116090094A CN 202211679954 A CN202211679954 A CN 202211679954A CN 116090094 A CN116090094 A CN 116090094A
Authority
CN
China
Prior art keywords
model
infrared
point
image
thermal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211679954.0A
Other languages
English (en)
Other versions
CN116090094B (zh
Inventor
陈威
刘俊豪
李晓彬
李俊
乐京霞
李然
李应刚
王尔卓
纪垚
郭佳凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202211679954.0A priority Critical patent/CN116090094B/zh
Publication of CN116090094A publication Critical patent/CN116090094A/zh
Application granted granted Critical
Publication of CN116090094B publication Critical patent/CN116090094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Remote Sensing (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明涉及一种基于红外热成像的船体热模型建立方法、装置及设备，其通过无人机群获取原始数据集，在通过原始数据集建立多个模型点，并利用无人机位置坐标及拍摄方向，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集，最后根据模型点和所述模型点温度数据集，得到船体热模型。相比于现有技术，本发明除了利用实际图像建立模型外，还利用红外图像，结合其拍摄时的位置，为模型中的每个模型点匹配红外像素点，得到模型点温度数据集，这样结合模型点提供的位置信息，以及模型点温度数据集提供的温度信息，就可以建立船体热模型，使得人们能够在一定程度上识别除船体内部的热分布情况，从而更加精确地识别并排除隐患。

Description

一种基于红外热成像的船体热模型建立方法、装置及设备
技术领域
本发明涉及红外勘探技术领域，尤其涉及一种基于红外热成像的船体热模型建立方法。
背景技术
随着科技的发展，无人机已广泛应用于生产生活的各个方面，无人机为人们提供了一种极其方便地获取数据的手段，能够极大地提高数据收集的效率。例如，当船舶在海洋上失事后，其仍会在海洋上漂浮一段时间。岸基控制站在得知船舶失事后，一般会先出动无人机对现场进行勘探，以及时得到失事现场的初步情况。
通过无人机拍摄的图像对事故场景进行三维建模，便是上述无人机勘探过程中的一个重要环节。目前，对于如何基于图像进行三维建模，已有较多的研究，例如：中国发明专利CN108665530B便公开了一种基于单张图片的三维建模实现方法，其对用户输入单张图片通过图像分割获得前景和背景，并进行识别和检测前景中的基、层、帽、边四个结构元素，利用层式建模和曲线Morphing的建模方法进行三维重建达到平滑、过渡和不规则曲面建模的效果，最后网格化、映射纹理和三维模型格式输出，最终实现三维建模。
然而，现有的无人机拍摄的图像仅能够反映出船体外表的信息，导致基于这些图像所建立的三维模型也仅能够表现出船体外在的特征，而对于船体内的一些潜在的隐患，如船内潜在的热源，辐射条件等，则无法有效地识别出来，未排除这些隐患就对失事船舶展开行动，极有可能造成二次事故。因此，人们亟需一种能够建立船体热模型的方法，用于观察出船体内的热分布信息。
发明内容
有鉴于此，有必要提供一种基于红外热成像的船体热模型建立方法，用以解决如何建立船体热模型，以用于观察出船体内的热分布信息的问题。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种基于红外热成像的船体热模型建立方法，包括：
基于无人机群获取原始数据集，所述原始数据集包括和每个所述无人机对应的原始数据，所述原始数据包括实际图像、红外图像、无人机位置坐标和拍摄方向向量；
根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点；
根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集；
根据模型点和所述模型点温度数据集，得到船体热模型。
进一步的，所述模型点的坐标和所述无人机位置坐标所在的坐标系相同；所述根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集，包括：
根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，建立多个匹配路径，每个所述匹配路径对应所述红外图像中的一个红外像素点，所述匹配路径和所述模型点所在的坐标系相同；
将位于所述匹配路径上的所述模型点，和所述匹配路径对应的红外像素点相匹配；
获取所述红外像素点的温度信息，并根据所述模型点、所述模型点匹配的所述红外像素点的所述温度信息、以及所述拍摄方向向量，建立模型点温度数据并得到所述模型点温度数据集。
进一步的，所述根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，建立多个匹配路径，包括：
根据所述红外图像和所述无人机位置坐标，得到所述红外图像中，每个所述红外像素点的像素实际坐标，所述像素实际坐标和所述无人机位置坐标所在的坐标系相同；
根据所述像素实际坐标，基于所述拍摄方向向量，建立和所述红外像素点对应的所述匹配路径。
进一步的，所述根据模型点和所述模型点温度数据集，得到船体热模型，包括：
根据所述模型点温度数据集中的所述拍摄方向向量，建立温度计算模型；
根据所述模型点温度数据集中的所述温度信息，基于所述温度计算模型，计算得到每个所述模型点对应的温度值；
根据所述模型点及所述温度值，得到所述船体热模型。
进一步的，所述根据所述模型点温度数据集中的所述拍摄方向向量，建立温度计算模型，包括：
建立神经网络模型，所述神经网络模型的输入为所述模型点温度数据集中的所述拍摄方向向量，所述神经网络模型的输出为多个运算系数，所述多个所述运算系数和多个所述拍摄方向向量一一对应；
根据多个所述运算系数和对应的多个所述拍摄方向向量，建立所述温度计算模型。
进一步的，所述根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点，包括：
根据两个所述实际图像，分别得到两个船舶点图像坐标；
根据两个所述船舶点图像坐标，及两个所述实际图像对应的所述无人机位置坐标和所述拍摄方向向量，得到模型点坐标并建立所述模型点。
进一步的，所述根据两个所述实际图像，分别得到两个船舶点图像坐标，包括：
根据所述实际图像，基于YOLO算法识别除所述实际图像中的船舶点；
根据所述实际图像，得到所述船舶点在所述实际图像中的所述船舶点图像坐标。
第二方面，本发明还提供一种基于红外热成像的船体热模型建立装置，包括：
数据获取单元，用于基于无人机群获取原始数据集，所述原始数据集包括和每个所述无人机对应的原始数据，所述原始数据包括实际图像、红外图像、无人机位置坐标和拍摄方向向量；
船体模型建立单元，用于根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点；
温度计算单元，用于根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集；
热模型建立单元，根据模型点和所述模型点温度数据集，得到船体热模型。
第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的基于红外热成像的船体热模型建立方法中的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的基于红外热成像的船体热模型建立方法中的步骤。
本发明提供一种基于红外热成像的船体热模型建立方法、装置及设备，其通过无人机群获取原始数据集，在通过原始数据集建立多个模型点，并利用无人机位置坐标及拍摄方向，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集，最后根据模型点和所述模型点温度数据集，得到船体热模型。相比于现有技术，本发明除了利用实际图像建立模型外，还利用红外图像，结合其拍摄时的位置，为模型中的每个模型点匹配红外像素点，得到模型点温度数据集，这样结合模型点提供的位置信息，以及模型点温度数据集提供的温度信息，就可以建立船体热模型，使得人们能够在一定程度上识别除船体内部的热分布情况，从而更加精确地识别并排除隐患。
附图说明
图1为本发明提供的基于红外热成像的船体热模型建立方法一实施例的方法流程图；
图2为图1中步骤S103一实施例的方法流程图；
图3为本发明提供的基于红外热成像的船体热模型建立方法一实施例中模型点与红外像素点的温度信息的匹配示意图；
图4为本图1中步骤S104一实施例的方法流程图；
图5为本发明提供的基于红外热成像的船体热模型建立装置一实施例的结构示意图；
图6为本发明提供的电子设备的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
由于黑体辐射的存在，任何物体都会根据自身实际温度而对外界发射一定的电磁波辐射。热红外线即为其中波长为2.0～1000微米的部分。通过相关设备对物体的热红外线进行检测，便可以得到物体的表面的温度场。目前，红外热成像技术已经相当成熟，在工业、民用、医学等领域均有广泛应用。
在海上对失事船舶进行勘探时，若失事船体内部存在一些危险源，如未熄灭的火情等安全隐患时，其会影响到船体的金属外壳的温度，进而被红外线设备检测出来。诚然，红外热成像多数情况下仅能探测出船体的表面的温度，但是若同时获取多个不同角度拍摄的红外热成像图片，便可以基于船体构造一定程度上推测出船体内部的温度情况。例如，若热源存在于船体内部，那么其对所有船体外壳均有影响，从任何角度拍摄的红外图像均能检测出较高的温度。而若热源存在于船体表面，那么其仅对部分外壳有印象，这样就只有部分角度拍摄的红外图像能够检测出异常。
基于上述原理，本发明通过实际图像建立船体的模型，并且通过红外图像结合其拍摄时的位置，为船体模型中的每个模型点建立一组能够反映温度的模型点温度数据，最后基于模型点温度数据集和模型点，建立船体热模型。
具体地，本发明提供了一种基于红外热成像的船体热模型建立方法、装置、设备及存储介质，以下分别进行说明。
结合图1所示，本发明的一个具体实施例，公开了一种基于红外热成像的船体热模型建立方法，包括：
S101、基于无人机群获取原始数据集，所述原始数据集包括和每个所述无人机对应的原始数据，所述原始数据包括实际图像、红外图像、无人机位置坐标和拍摄方向向量；
S102、根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点；
S103、根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集；
S104、根据模型点和所述模型点温度数据集，得到船体热模型。
本发明提供一种基于红外热成像的船体热模型建立方法、装置及设备，其通过无人机群获取原始数据集，在通过原始数据集建立多个模型点，并利用无人机位置坐标及拍摄方向，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集，最后根据模型点和所述模型点温度数据集，得到船体热模型。相比于现有技术，本发明除了利用实际图像建立模型外，还利用红外图像，结合其拍摄时的位置，为模型中的每个模型点匹配红外像素点，得到模型点温度数据集，这样结合模型点提供的位置信息，以及模型点温度数据集提供的温度信息，就可以建立船体热模型，使得人们能够在一定程度上识别除船体内部的热分布情况，从而更加精确地识别并排除隐患。
在上述过程中的步骤S101中，所述原始数据为无人机群中，同一台无人机在某一时刻下，采集得到的实际图像和红外图像，以及该无人机当前时刻的无人机位置坐标和拍摄方向向量。
在一个优选的实施例重，通过步骤S101所建立的原始数据集O中的原始数据Oi如下：
Oi{P1i,P2i,CiFi},i∈(1,n)
式中，i表示第i个无人机，无人机总数为n个，P1i表示无人机i拍摄得到的实际图像，P2i表示无人机i拍摄得到的红外图像，Ci表示无人机i拍摄时其所在的位置，即无人机位置坐标，该位置可以通过经纬度表示，也可以通过在勘探时设定的一个基准笛卡尔坐标系下的坐标表示，本实施例中其为在大地坐标系下的坐标，Fi表示无人机i拍摄时其方向信息，即拍摄方向向量，其表示方式可以为向量等，根据实际Ci的格式而定。
进一步的，在一个优选的实施例中，步骤S102、根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点，具体包括：
根据两个所述实际图像，分别得到两个船舶点图像坐标；
根据两个所述船舶点图像坐标，及两个所述实际图像对应的所述无人机位置坐标和所述拍摄方向向量，得到模型点坐标并建立所述模型点。
具体地，作为优选的实施例，上述过程中的所述根据两个所述实际图像，分别得到两个船舶点图像坐标，具体包括：
根据所述实际图像，基于YOLO算法识别除所述实际图像中的船舶点；
根据所述实际图像，得到所述船舶点在所述实际图像中的所述船舶点图像坐标。
本发明还提供一更加详细的实施例，用以更加清楚地说明上述步骤S102：
首先，将原始数据集中的原始数据进行两两分组，若有多余的单独存在的数据，允许其和已分组的数据重复分组，得到多组数据对。
然后，对实际图像进行特征识别，识别出待建模的船体在实际图像中的像素位置，即船舶点图像坐标。
识别出船舶点图像坐标可以采用任意现有的图像识别算法，例如CNN，YOLO系列算法等，为了方便说明，本文中采用YOLO系列算法，YOLO即You Only Look Once，是一种目标检测算法，目标检测任务的目标是找到图像中的所有目标区域，并确定这些区域的位置和类别概率。
下文中采用YOLOV1算法为例简述过程：
(1)定义卷积核，对实际图像进行预处理并进行网格划分，对划分网格后的图像通过卷积运算提取出特征向量；
(2)对特征向量进行池化以降低数据量；
(3)对池化后的特征向量进行全连接得到输出结果，即通过训练好的神经网络完成特征提取。
得到船舶点图像位置坐标后，便可以通过预先分组好的数据对，基于双目成像原理，得到模型点的坐标，双目立体视觉(Binocular Stereo Vision)是机器视觉中目前比较成熟的一种重要形式，其是利用不同的成像设备，基于视差原理从不同的位置获取被测物体的两幅图像，然后计算图像对应点间的位置偏差(即视差)，来获取物体三维信息的方法。双目视觉具有高效、高精度、系统结构简单、成本低等优点，非常适合于非接触式的检测，本实施例中具体过程为：
(1)通过数据对中，两个无人机位置坐标，结合无人机上相机本身的参数(焦距f，成像平面大小等)，得到两个相机之间的基线b。
(2)然后获取两个相机的焦距f，根据像素位置得到两个船舶点图像位置坐标xl和xr，通过下式计算目标点云的深度信息Z：
Figure BDA0004018888090000101
(3)获得深度信息Z之后，便可以将船舶点图像位置坐标转换为相机坐标系下的坐标，进而转化为大地坐标系下的坐标，进而得到所需的模型点坐标。
进一步的，结合图2所示，作为优选的实施例，本实施例中的所述模型点的坐标和所述无人机位置坐标所在的坐标系相同，所述步骤S103、根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集，具体包括：
S201、根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，建立多个匹配路径，每个所述匹配路径对应所述红外图像中的一个红外像素点，所述匹配路径和所述模型点所在的坐标系相同；
S202、将位于所述匹配路径上的所述模型点，和所述匹配路径对应的红外像素点相匹配；
S203、获取所述红外像素点的温度信息，并根据所述模型点、所述模型点匹配的所述红外像素点的所述温度信息、以及所述拍摄方向向量，建立模型点温度数据并得到所述模型点温度数据集。
具体地，在一个优选的实施例中，上述过程中的步骤S201、所述根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，建立多个匹配路径，具体包括：
根据所述红外图像和所述无人机位置坐标，得到所述红外图像中，每个所述红外像素点的像素实际坐标，所述像素实际坐标和所述无人机位置坐标所在的坐标系相同；
根据所述像素实际坐标，基于所述拍摄方向向量，建立和所述红外像素点对应的所述匹配路径。
结合图3所示，本发明还提供一优选的实施例，用以更加清楚地说明上述步骤S201～S203：
首先建立匹配路径，建立的过程中需要遍历原始数据集中的每个红外图像中的像素，根据无人机位置坐标Ci及拍摄方向向量Fi确定原始数据Oi中，红外图像P2上每个像素点的映射方向，映射方向可以理解为，成像平面上经过该像素点的法线的方向，即与拍摄方向向量Fi相同的方向。该法线在大地坐标系中延伸，便形成了在大地坐标系下的匹配路径。
将匹配路径上所经过的模型点与该像素点相匹配，最终建立的匹配关系中，一个模型点会匹配多个不同红外图像中的红外像素点。
然后通过红外图像获取红外像素点的温度信息，结合所述模型点以及该红外像素点对应的拍摄方向向量，建立模型点温度数据并得到所述模型点温度数据集。本实施例中所建立的模型点温度数据COj如下：
COj{XC,(P2C1,F1),(P2C2,F2)…(P2Cn,Fn)},i∈(1,n),j∈(1,m)
其中，其中j代表第j个模型点温度数据，总共有m个模型点温度数据，XC代表模型点温度数据对应的模型点的坐标，P2Ci代表与该模型点匹配的第i个原始数据中的红外图像P2中的红外像素点所对应的温度信息。
进一步的，结合图4所示，作为优选的实施例，上述过程中的步骤S104、根据模型点和所述模型点温度数据集，得到船体热模型，具体包括：
S401、根据所述模型点温度数据集中的所述拍摄方向向量，建立温度计算模型；
S402、根据所述模型点温度数据集中的所述温度信息，基于所述温度计算模型，计算得到每个所述模型点对应的温度值；
S403、根据所述模型点及所述温度值，得到所述船体热模型。
具体地，在一个优选的实施例中，上述过程的步骤S401、所述根据所述模型点温度数据集中的所述拍摄方向向量，建立温度计算模型，包括：
建立神经网络模型，所述神经网络模型的输入为所述模型点温度数据集中的所述拍摄方向向量，所述神经网络模型的输出为多个运算系数，所述多个所述运算系数和多个所述拍摄方向向量一一对应；
根据多个所述运算系数和对应的多个所述拍摄方向向量，建立所述温度计算模型。
本发明还提供一更加详细的实施例，用以更加清楚地说明上述步骤S401～S403：
本实施例中，每个模型点的温度通过下式计算：
Figure BDA0004018888090000121
式中，Tj为每个模型点的温度值，αi为每个模型点对应的温度数据集中，第i个拍摄方向向量所对应的运算系数。
因实际中，每个无人机拍摄时其方向Fi需要根据具体情况调整，无法人为设定固定值，所以每个拍摄方向向量的具体的运算系数需要根据实际情况得出灵活计算。本发明中采用神经网络模型计算运算系数。神经网络模型多个拍摄方向向量作为输入，将多个运算系数作为输出。该神经网络可以为BP神经网络等任意现有的神经网络模型，可以利用通过仿真、实验、检测等手段获得的数据集进行训练。
得到每个运算系数αi后，将其带入上式中，便可到了实际的温度计算模型，进而计算出每个模型点对应的温度值。然后根据每个模型点的温度值Tj，为其赋予一个RGB颜色，这样就可以得到最终的三维红外热成像辐射模型。
物体内部和外部的热源，其在不同角度下的红外图像的表面情况不同。例如，位于船舶内部的热源，其无论从和中角度拍摄，均为高辐射状态，位于船舶表面的热源，其只在特定的角度能够拍摄得到高辐射状态。因此，本实施例中结合拍摄方向以形成每个模型点的温度特征，其中方向的特征通过运算系数体现。而运算系数则可以根据提前训练好的神经网络模型得到。建立好的三维船体热模型可以直接反映出船体内部的隐患，极大提高了对失事船舶处理行动的安全性。
为了更好实施本发明实施例中的基于红外热成像的船体热模型建立方法，在基于红外热成像的船体热模型建立方法基础之上，对应的，请参阅图5，图5为本发明提供的基于红外热成像的船体热模型建立装置的一实施例的结构示意图，本发明实施例提供的一种基于红外热成像的船体热模型建立装置500，包括：
数据获取单元510，用于基于无人机群获取原始数据集，所述原始数据集包括和每个所述无人机对应的原始数据，所述原始数据包括实际图像、红外图像、无人机位置坐标和拍摄方向向量；
船体模型建立单元520，用于根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点；
温度计算单元530，用于根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集；
热模型建立单元540，根据模型点和所述模型点温度数据集，得到船体热模型。
这里需要说明的是：上述实施例提供的对应的装置500可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
请参阅图6，图6为本发明实施例提供的电子设备的结构示意图。基于上述基于红外热成像的船体热模型建立方法，本发明还相应提供了一种基于红外热成像的船体热模型建立设备600，即上述电子设备，基于红外热成像的船体热模型建立设备600可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该基于红外热成像的船体热模型建立设备600包括处理器610、存储器620及显示器630。图6仅示出了基于红外热成像的船体热模型建立设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器620在一些实施例中可以是基于红外热成像的船体热模型建立设备600的内部存储单元，例如基于红外热成像的船体热模型建立设备600的硬盘或内存。存储器620在另一些实施例中也可以是基于红外热成像的船体热模型建立设备600的外部存储设备，例如基于红外热成像的船体热模型建立设备600上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器620还可以既包括基于红外热成像的船体热模型建立设备600的内部存储单元也包括外部存储设备。存储器620用于存储安装于基于红外热成像的船体热模型建立设备600的应用软件及各类数据，例如安装基于红外热成像的船体热模型建立设备600的程序代码等。存储器620还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器620上存储有基于红外热成像的船体热模型建立程序640，该基于红外热成像的船体热模型建立程序640可被处理器610所执行，从而实现本申请各实施例的基于红外热成像的船体热模型建立方法。
处理器610在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器620中存储的程序代码或处理数据，例如执行基于红外热成像的船体热模型建立方法等。
显示器630在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器630用于显示在基于红外热成像的船体热模型建立设备600的信息以及用于显示可视化的用户界面。基于红外热成像的船体热模型建立设备600的部件610-630通过系统总线相互通信。
在一实施例中，当处理器610执行存储器620中基于红外热成像的船体热模型建立程序640时实现如上的基于红外热成像的船体热模型建立方法中的步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有基于红外热成像的船体热模型建立程序，该基于红外热成像的船体热模型建立程序被处理器执行时可实现上述实施例中的步骤。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于红外热成像的船体热模型建立方法，其特征在于，包括：
基于无人机群获取原始数据集，所述原始数据集包括和每个所述无人机对应的原始数据，所述原始数据包括实际图像、红外图像、无人机位置坐标和拍摄方向向量；
根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点；
根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集；
根据模型点和所述模型点温度数据集，得到船体热模型。
2.根据权利要求1所述的基于红外热成像的船体热模型建立方法，其特征在于，所述模型点的坐标和所述无人机位置坐标所在的坐标系相同；所述根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集，包括：
根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，建立多个匹配路径，每个所述匹配路径对应所述红外图像中的一个红外像素点，所述匹配路径和所述模型点所在的坐标系相同；
将位于所述匹配路径上的所述模型点，和所述匹配路径对应的红外像素点相匹配；
获取所述红外像素点的温度信息，并根据所述模型点、所述模型点匹配的所述红外像素点的所述温度信息、以及所述拍摄方向向量，建立模型点温度数据并得到所述模型点温度数据集。
3.根据权利要求2所述的基于红外热成像的船体热模型建立方法，其特征在于，所述根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，建立多个匹配路径，包括：
根据所述红外图像和所述无人机位置坐标，得到所述红外图像中，每个所述红外像素点的像素实际坐标，所述像素实际坐标和所述无人机位置坐标所在的坐标系相同；
根据所述像素实际坐标，基于所述拍摄方向向量，建立和所述红外像素点对应的所述匹配路径。
4.根据权利要求2所述的基于红外热成像的船体热模型建立方法，其特征在于，所述根据模型点和所述模型点温度数据集，得到船体热模型，包括：
根据所述模型点温度数据集中的所述拍摄方向向量，建立温度计算模型；
根据所述模型点温度数据集中的所述温度信息，基于所述温度计算模型，计算得到每个所述模型点对应的温度值；
根据所述模型点及所述温度值，得到所述船体热模型。
5.根据权利要求4所述的基于红外热成像的船体热模型建立方法，其特征在于，所述根据所述模型点温度数据集中的所述拍摄方向向量，建立温度计算模型，包括：
建立神经网络模型，所述神经网络模型的输入为所述模型点温度数据集中的所述拍摄方向向量，所述神经网络模型的输出为多个运算系数，所述多个所述运算系数和多个所述拍摄方向向量一一对应；
根据多个所述运算系数和对应的多个所述拍摄方向向量，建立所述温度计算模型。
6.根据权利要求1所述的基于红外热成像的船体热模型建立方法，其特征在于，所述根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点，包括：
根据两个所述实际图像，分别得到两个船舶点图像坐标；
根据两个所述船舶点图像坐标，及两个所述实际图像对应的所述无人机位置坐标和所述拍摄方向向量，得到模型点坐标并建立所述模型点。
7.根据权利要求6所述的基于红外热成像的船体热模型建立方法，其特征在于，所述根据两个所述实际图像，分别得到两个船舶点图像坐标，包括：
根据所述实际图像，基于YOLO算法识别除所述实际图像中的船舶点；
根据所述实际图像，得到所述船舶点在所述实际图像中的所述船舶点图像坐标。
8.一种基于红外热成像的船体热模型建立装置，其特征在于，包括：
数据获取单元，用于基于无人机群获取原始数据集，所述原始数据集包括和每个所述无人机对应的原始数据，所述原始数据包括实际图像、红外图像、无人机位置坐标和拍摄方向向量；
船体模型建立单元，用于根据所述实际图像、所述无人机位置坐标及所述拍摄方向向量，建立多个模型点；
温度计算单元，用于根据所述红外图像、所述无人机位置坐标和所述拍摄方向向量，匹配所述模型点和所述红外图像中的红外像素点，得到模型点温度数据集；
热模型建立单元，根据模型点和所述模型点温度数据集，得到船体热模型。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述基于红外热成像的船体热模型建立方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述基于红外热成像的船体热模型建立方法中的步骤。
CN202211679954.0A 2022-12-27 2022-12-27 一种基于红外热成像的船体热模型建立方法、装置及设备 Active CN116090094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211679954.0A CN116090094B (zh) 2022-12-27 2022-12-27 一种基于红外热成像的船体热模型建立方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211679954.0A CN116090094B (zh) 2022-12-27 2022-12-27 一种基于红外热成像的船体热模型建立方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116090094A true CN116090094A (zh) 2023-05-09
CN116090094B CN116090094B (zh) 2024-06-04

Family

ID=86207439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211679954.0A Active CN116090094B (zh) 2022-12-27 2022-12-27 一种基于红外热成像的船体热模型建立方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116090094B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689917A (zh) * 2024-02-02 2024-03-12 广州中海电信有限公司 基于热成像及激光探测技术的舱内安全状态监测方法

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110109740A1 (en) * 2009-11-11 2011-05-12 International Business Machines Corporation Method and Apparatus for In Situ Solar Flat Panel Diagnostics
WO2014044126A1 (zh) * 2012-09-21 2014-03-27 Wei Yiqun 坐标获取装置、实时三维重建系统和方法、立体交互设备
GB201518903D0 (en) * 2014-10-28 2015-12-09 Mbda Deutschland Gmbh Method for generating a thermal image
WO2017120266A1 (en) * 2016-01-08 2017-07-13 Flir Systems, Inc. Systems and methods for image resolution enhancement
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
WO2017210971A1 (zh) * 2016-06-07 2017-12-14 中兴通讯股份有限公司 一种基于移动终端的热成像方法、装置及移动终端
KR20180040175A (ko) * 2016-10-11 2018-04-20 서울시립대학교 산학협력단 선박 위치 결정 방법 및 시스템
CN108535321A (zh) * 2018-03-30 2018-09-14 吉林建筑大学 一种基于三维红外热成像技术的建筑热工性能检测方法
JP2019146498A (ja) * 2018-02-26 2019-09-05 株式会社晃伸製機 死鶏検出方法、及び死鶏検出システム
CN111462310A (zh) * 2020-03-31 2020-07-28 国网辽宁省电力有限公司朝阳供电公司 一种基于多视几何的螺栓缺陷空间定位方法
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质
CN111798407A (zh) * 2020-05-15 2020-10-20 国网浙江省电力有限公司嘉兴供电公司 一种基于神经网络模型的带电设备故障诊断方法
JP2020183873A (ja) * 2019-04-26 2020-11-12 コムシス情報システム株式会社 空撮画像位置特定システムおよび空撮画像位置特定方法。
CN112184791A (zh) * 2020-09-29 2021-01-05 成都希盟泰克科技发展有限公司 一种基于cnn-lstm神经网络的牦牛体重预测方法
CN112345086A (zh) * 2020-11-19 2021-02-09 深圳市粤通建设工程有限公司 基于无人机的沥青混合料施工温度实时检测方法、系统
WO2021098083A1 (zh) * 2019-11-22 2021-05-27 大连理工大学 基于显著特征的多光谱相机动态立体标定算法
KR102298643B1 (ko) * 2020-07-10 2021-09-03 동명대학교산학협력단 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법
US11151737B1 (en) * 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
WO2021224893A1 (en) * 2020-05-08 2021-11-11 Sun Chi Chun Systems and methods for artificial intelligence powered inspections and predictive analyses
CN114255616A (zh) * 2021-12-20 2022-03-29 武汉理工大学 一种无动力船舶轨迹预测方法、装置、设备及存储介质
CN114265427A (zh) * 2021-12-06 2022-04-01 江苏方天电力技术有限公司 一种基于红外图像匹配的巡检无人机辅助导航系统及方法
CN114659646A (zh) * 2020-12-07 2022-06-24 华为技术有限公司 一种测温方法、装置、设备及系统
WO2022142570A1 (zh) * 2020-12-30 2022-07-07 杭州海康微影传感科技有限公司 一种图像融合方法、装置、图像处理设备及双目系统
CN115147723A (zh) * 2022-07-11 2022-10-04 武汉理工大学 一种内河船舶识别与测距方法、系统、介质、设备及终端
US20220366657A1 (en) * 2021-06-11 2022-11-17 Shanghai Maritime University Remote Monitoring Method based on Information Fusion and Virtual Reality for Marine Engine Room

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110109740A1 (en) * 2009-11-11 2011-05-12 International Business Machines Corporation Method and Apparatus for In Situ Solar Flat Panel Diagnostics
WO2014044126A1 (zh) * 2012-09-21 2014-03-27 Wei Yiqun 坐标获取装置、实时三维重建系统和方法、立体交互设备
GB201518903D0 (en) * 2014-10-28 2015-12-09 Mbda Deutschland Gmbh Method for generating a thermal image
WO2017120266A1 (en) * 2016-01-08 2017-07-13 Flir Systems, Inc. Systems and methods for image resolution enhancement
WO2017210971A1 (zh) * 2016-06-07 2017-12-14 中兴通讯股份有限公司 一种基于移动终端的热成像方法、装置及移动终端
KR20180040175A (ko) * 2016-10-11 2018-04-20 서울시립대학교 산학협력단 선박 위치 결정 방법 및 시스템
CN107067470A (zh) * 2017-04-05 2017-08-18 东北大学 基于红外热像仪与深度相机的便携式三维温度场重建系统
JP2019146498A (ja) * 2018-02-26 2019-09-05 株式会社晃伸製機 死鶏検出方法、及び死鶏検出システム
CN108535321A (zh) * 2018-03-30 2018-09-14 吉林建筑大学 一种基于三维红外热成像技术的建筑热工性能检测方法
US11151737B1 (en) * 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
JP2020183873A (ja) * 2019-04-26 2020-11-12 コムシス情報システム株式会社 空撮画像位置特定システムおよび空撮画像位置特定方法。
WO2021098083A1 (zh) * 2019-11-22 2021-05-27 大连理工大学 基于显著特征的多光谱相机动态立体标定算法
CN111462310A (zh) * 2020-03-31 2020-07-28 国网辽宁省电力有限公司朝阳供电公司 一种基于多视几何的螺栓缺陷空间定位方法
WO2021224893A1 (en) * 2020-05-08 2021-11-11 Sun Chi Chun Systems and methods for artificial intelligence powered inspections and predictive analyses
CN111798407A (zh) * 2020-05-15 2020-10-20 国网浙江省电力有限公司嘉兴供电公司 一种基于神经网络模型的带电设备故障诊断方法
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质
KR102298643B1 (ko) * 2020-07-10 2021-09-03 동명대학교산학협력단 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법
CN112184791A (zh) * 2020-09-29 2021-01-05 成都希盟泰克科技发展有限公司 一种基于cnn-lstm神经网络的牦牛体重预测方法
CN112345086A (zh) * 2020-11-19 2021-02-09 深圳市粤通建设工程有限公司 基于无人机的沥青混合料施工温度实时检测方法、系统
CN114659646A (zh) * 2020-12-07 2022-06-24 华为技术有限公司 一种测温方法、装置、设备及系统
WO2022142570A1 (zh) * 2020-12-30 2022-07-07 杭州海康微影传感科技有限公司 一种图像融合方法、装置、图像处理设备及双目系统
US20220366657A1 (en) * 2021-06-11 2022-11-17 Shanghai Maritime University Remote Monitoring Method based on Information Fusion and Virtual Reality for Marine Engine Room
CN114265427A (zh) * 2021-12-06 2022-04-01 江苏方天电力技术有限公司 一种基于红外图像匹配的巡检无人机辅助导航系统及方法
CN114255616A (zh) * 2021-12-20 2022-03-29 武汉理工大学 一种无动力船舶轨迹预测方法、装置、设备及存储介质
CN115147723A (zh) * 2022-07-11 2022-10-04 武汉理工大学 一种内河船舶识别与测距方法、系统、介质、设备及终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIN WU 等: "A dual non-covalent bonding constructed continuous interfacial structure for reducing interfacial thermal resistance", ROYAL SOCIETY OF CHEMISTRY, 1 June 2022 (2022-06-01) *
张彦;姚建刚;毛田;邹涛;龚磊;: "WebGIS红外热像零值绝缘子在线检测系统", 电力系统及其自动化学报, no. 04, 15 August 2013 (2013-08-15) *
黄文浩: "建筑物外饰层缺陷红外热成像检测方法研究", 中国优秀硕士论文库 工程科技Ⅱ辑, 15 October 2006 (2006-10-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689917A (zh) * 2024-02-02 2024-03-12 广州中海电信有限公司 基于热成像及激光探测技术的舱内安全状态监测方法
CN117689917B (zh) * 2024-02-02 2024-04-30 广州中海电信有限公司 基于热成像及激光探测技术的舱内安全状态监测方法

Also Published As

Publication number Publication date
CN116090094B (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
US10198623B2 (en) Three-dimensional facial recognition method and system
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
CN108764048A (zh) 人脸关键点检测方法及装置
Svarm et al. Accurate localization and pose estimation for large 3d models
CN108549873A (zh) 三维人脸识别方法和三维人脸识别系统
CN110852182B (zh) 一种基于三维空间时序建模的深度视频人体行为识别方法
CN110443898A (zh) 一种基于深度学习的ar智能终端目标识别系统及方法
Liu et al. Target localization in local dense mapping using RGBD SLAM and object detection
CN108734058B (zh) 障碍物类型识别方法、装置、设备及存储介质
JP2016161569A (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN110109535A (zh) 增强现实生成方法及装置
CN111191582B (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
Song et al. 6-DOF image localization from massive geo-tagged reference images
Yang et al. Visual SLAM based on semantic segmentation and geometric constraints for dynamic indoor environments
CN116090094B (zh) 一种基于红外热成像的船体热模型建立方法、装置及设备
CN115880415A (zh) 三维重建方法、装置、电子设备及存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN117422884A (zh) 三维目标检测方法、系统、电子设备及存储介质
CN113537180A (zh) 树障的识别方法、装置、计算机设备和存储介质
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
Sun et al. A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines
CN114494427B (zh) 一种对吊臂下站人的违规行为检测方法、系统及终端
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant