CN116580099A - 一种基于视频与三维模型融合的林地目标定位方法 - Google Patents

一种基于视频与三维模型融合的林地目标定位方法 Download PDF

Info

Publication number
CN116580099A
CN116580099A CN202310860535.5A CN202310860535A CN116580099A CN 116580099 A CN116580099 A CN 116580099A CN 202310860535 A CN202310860535 A CN 202310860535A CN 116580099 A CN116580099 A CN 116580099A
Authority
CN
China
Prior art keywords
target
dimensional
positioning
coordinates
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310860535.5A
Other languages
English (en)
Inventor
王一卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University Of Arts
Original Assignee
Shandong University Of Arts
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University Of Arts filed Critical Shandong University Of Arts
Priority to CN202310860535.5A priority Critical patent/CN116580099A/zh
Publication of CN116580099A publication Critical patent/CN116580099A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及林地定位技术领域，具体公开了一种基于视频与三维模型融合的林地目标定位方法，通过立体摄影测量学的照相装置获取林地中同一地区的视频与照片数据，根据匹配点对和相机标定参数，使用三维重建算法构建三维重建模型，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，再进行图像对比与目标定位，确定目标在照片中的位置，得到目标在林地中的准确定位信息。本发明能够在复杂的林地环境中准确地定位目标，避免了传统的林地目标定位方法中易受光线、角度因素影响而产生的误差。

Description

一种基于视频与三维模型融合的林地目标定位方法
技术领域
本发明涉及林木定位技术领域，更具体地说，本发明涉及一种基于视频与三维模型融合的林地目标定位方法。
背景技术
近些年，人们对生活质量的要求越来越高，由此产生对林业、林产品及林业衍生品的需求也将越来越大，现代林业的地位、作用及内涵也将越来越大，其重要性也与日俱增，数字化林地管理在国家大力推进绿色可持续发展建设的背景下，成为一项重要内容。
利用数字化技术，对传统林地管理进行改造，从而能够让林地从生产、管理等方面提升时效性和计划性，保证了林地的可持续发展，同时，林业管理需要对林地中的目标进行准确定位和识别，能够提高林业管理效率和精度，而传统的林地目标定位方法通常依赖于人工或使用传统摄影测量学的方法，存在目标定位精度不高、误识别率高、效率低下的问题，随着立体摄影测量学的发展以及三维模型的广泛应用，基于视频与三维模型融合的林地目标定位方法逐渐受到关注。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种基于视频与三维模型融合的林地目标定位方法，通过立体摄影测量学的照相装置获取林地中同一地区的视频与照片数据，根据匹配点对和相机标定参数，使用三维重建算法构建三维重建模型，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，再通过图像对比与目标定位，确定目标在照片中的位置，得到目标在林地中的准确定位信息。本发明能够在复杂的林地环境中准确地定位目标，避免了传统的林地目标定位方法中易受光线、角度因素影响而产生的误差，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于视频与三维模型融合的林地目标定位方法，包括如下步骤：
步骤一，获取视频与照片数据：通过立体摄影测量学的照相装置，获取林地中同一地区的视频与照片数据，从视频中提取视频帧并及进行对齐，其中，立体摄影测量学的照相装置包括镜头、双目摄像头、图像传感器、同步控制模块、数据传输模块以及数据存储模块；
步骤二，构建林地三维模型：通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，其中，相机标定采用张正友标定法进行内外参数的求解，其求解公式为：
；
式中：为相机坐标系到图像坐标系的尺度因子，/>为图像中的像素坐标，/>为相机内参矩阵，/>为相机的旋转矩阵，/>为相机的平移向量，/>为三维空间中的点坐标；
步骤三，提取目标特征点：在构建的三维模型中，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域；
步骤四，图像对比与目标定位：将待定位的照片与所构建的三维模型进行对比，通过匹配照片中的目标特征点与三维模型中的相应特征点、照片中的目标区域与三维模型中的相应目标区域，确定目标在照片中的位置，得到目标在林地中的准确定位信息；
步骤五，定位精度优化：通过最小二乘法对目标定位的准确性进行优化。
作为本发明进一步的方案，立体摄影测量学的照相装置中，镜头与双目摄像头相连接，双目摄像头与图像传感器相连接，图像传感器与同步控制模块相连接，同步控制模块与数据传输模块相连接，数据传输模块与数据存储模块相连接。
作为本发明进一步的方案，通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，具体步骤为：
步骤Q1，数据预处理：通过对获取的视频帧与照片数据进行去噪、色彩校正以及图像配准操作；
步骤Q2，特征提取：通过尺度不变特征转换算法检测预处理后的视频帧与照片数据中的关键点，计算关键点中的特征描述子；
步骤Q3，特征匹配：通过特征描述子的相似度进行关键点匹配，找到视频帧与照片数据之间的匹配点对，使用特征描述子的相似度进行匹配的公式为：
；
式中：表示特征点/>和特征点/>之间的距离，/>和/>分别表示特征点/>和特征点/>的特征描述子；
步骤Q4，三维重建：通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，再使用最小二乘法对初始三维点云进行优化；
步骤Q5，三维模型构建：通过对优化后的初始三维点云及逆行滤波，利用表面重建算法生成具有连续表面的三维模型。
作为本发明进一步的方案，通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，其中，每对匹配点对为，利用三角测量计算三维坐标的具体步骤为：
步骤W1，坐标归一化：将每个匹配点的像素坐标归一化为相机坐标系下的坐标，归一化后的坐标为/>；
步骤W2，点的反投影：在相机坐标系下，通过反投影操作，计算归一化后的匹配点对应的射线；
步骤W3，三角测量：通过反投影后的射线和匹配点/>的反投影射线/>，进行三角测量计算，得到三维坐标点/>，三角测量进行三维重建的公式为：
；
式中：为三维点的坐标，/>为相机标定矩阵，/>为匹配点对的齐次坐标。
作为本发明进一步的方案，在构建的三维模型中，提取用于目标定位的目标特征点与目标区域，提取目标特征点与目标区域的具体步骤为：
步骤A1，目标特征点选择：选择具有显著性和区分度的目标特征点，包括林地中的树木、建筑物、道路交叉口以及河流；
步骤A2，目标特征点提取：在三维模型中，根据目标特征点的选择，提取目标特征点；
步骤A3，目标区域提取：通过YOLO目标检测算法提取视频帧以及照片数据中的目标区域，YOLO目标检测算法将林地中的目标特征点识别和框定为矩形边界框，根据特征点聚集程度动态调整矩形边界框的长和宽；
步骤A4，目标特征点与目标区域存储：将提取的目标特征点与目标信息进行存储。
作为本发明进一步的方案，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，基于深度学习的目标检测与定位算法的具体步骤为：
步骤D1，数据收集：通过收集林木的高分辨率航拍图像，获取包含目标特征点的图像数据集；
步骤D2，目标检测与定位模型训练：通过深度学习方法，训练基于卷积神经网络的目标检测与定位模型；
步骤D3，模型训练与优化：通过对图像数据集进行目标检测与定位模型的训练和优化，并调整模型参数迭代训练。
作为本发明进一步的方案，通过图像对比与目标定位确定目标在照片中的位置的具体步骤为：
步骤M1，位姿估计：基于目标特征点与目标区域的匹配结果，通过PnP算法进行相机位姿的估计，PnP算法利用已知的三维坐标与其在图像中对应的投影点之间的对应关系，计算相机的旋转矩阵和平移向量/>；
步骤M2，目标定位：通过位姿估计结果，将待定位照片中的目标特征点的图像坐标转换为三维模型坐标，通过相机投影模型和坐标变换公式计算待定位照片中对应特征点的三维坐标：
；
式中：为待定位照片中对应特征点的三维坐标，/>为三维模型中的特征点坐标；
步骤M3，目标准确定位信息：通过目标在三维模型中的坐标，获得目标在林地中的准确定位信息，包括目标的地理坐标和海拔高度。
本发明一种基于视频与三维模型融合的林地目标定位方法的技术效果和优点：
1.本发明结合立体摄影测量学的照相装置和三维模型，实现了对多个林地中同一地区的照片进行对比，大大提高了定位的准确性；
2.本发明利用三维模型提取的目标特征点，能够在复杂的林地环境中准确地定位目标，避免了传统的林地目标定位方法中易受光线、角度因素影响而产生的误差；
3.本发明能够快速且准确地匹配照片中的目标特征点与三维模型中的相应特征点，提供高效的目标定位结果。
附图说明
图1为本发明一种基于视频与三维模型融合的林地目标定位方法的结构示意图；
图2为本发明一种基于视频与三维模型融合的林地目标定位方法立体摄影测量学照相装置的结构示意图；
图3为本发明一种基于视频与三维模型融合的林地目标定位方法的目标特征点与目标区域提取过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于视频与三维模型融合的林地目标定位方法，包括如下步骤：
步骤一，获取视频与照片数据：通过立体摄影测量学的照相装置，获取林地中同一地区的视频与照片数据，从视频中提取视频帧并及进行对齐，其中，立体摄影测量学的照相装置包括镜头、双目摄像头、图像传感器、同步控制模块、数据传输模块以及数据存储模块；
实施例1
当需要对林地进行目标定位时，选择需要进行目标定位的特定林地区域，并确定该区域内的目标对象，选择的林地区域为，目标对象为/>。将立体摄影测量学的照相装置设置在适当的位置，并确保摄像头的参数和位置满足实际应用的要求，立体摄影装置的位置为/>。使用照相装置进行视频和照片的采集。采集到的视频序列为/>，其中每帧图像为/>，采集到的照片序列为/>，其中每张照片为/>。再从视频序列中提取帧图像，设定提取的视频帧数为/>，提取到的视频帧集合为/>。对提取的视频帧进行对齐操作，以消除由于摄像头移动或振动引起的图像偏移，使用特征点匹配和图像配准技术，将所有视频帧对齐到参考帧/>，对齐后的视频帧集合为/>。
步骤二，构建林地三维模型：通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，其中，相机标定采用张正友标定法进行内外参数的求解，其求解公式为：
；
式中：为相机坐标系到图像坐标系的尺度因子，/>为图像中的像素坐标，/>为相机内参矩阵，/>为相机的旋转矩阵，/>为相机的平移向量，/>为三维空间中的点坐标。
步骤三，提取目标特征点：在构建的三维模型中，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域；
步骤四，图像对比与目标定位：将待定位的照片与所构建的三维模型进行对比，通过匹配照片中的目标特征点与三维模型中的相应特征点、照片中的目标区域与三维模型中的相应目标区域，确定目标在照片中的位置，得到目标在林地中的准确定位信息；
步骤五，定位精度优化：通过最小二乘法对目标定位的准确性进行优化。
本实施例的立体摄影测量学的照相装置中，镜头与双目摄像头相连接，双目摄像头与图像传感器相连接，图像传感器与同步控制模块相连接，同步控制模块与数据传输模块相连接，数据传输模块与数据存储模块相连接。
其中，立体摄影测量学的照相装置中的镜头用于对场景进行成像，镜头的特性能够满足所需的视场角、焦距和畸变要求，以确保获取准确的图像数据；双目摄像头包括两个摄像头，分别用于左眼和右眼的图像采集，双目摄像头的间距和角度根据具体需求和应用场景进行设计；图像传感器用于将光学信号转换为数字图像，图像传感器的性能应能够提供高质量的图像捕获，具备较高的动态范围和低噪声水平；同步控制模块用于触发两个摄像头同时进行图像采集，确保左右摄像头的图像采集同步性，并确保图像间的时间一致性，以便进行后续的立体视觉处理；数据传输模块通过USB接口将数据传输到后续的处理设备或计算机系统；数据存储模块使用固态硬盘来存储大量的图像数据。
本实施例通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，具体步骤为：
步骤Q1，数据预处理：通过对获取的视频帧与照片数据进行去噪、色彩校正以及图像配准操作，以提高数据质量和准确性；
步骤Q2，特征提取：通过尺度不变特征转换算法检测预处理后的视频帧与照片数据中的关键点，计算关键点中的特征描述子；
步骤Q3，特征匹配：通过特征描述子的相似度进行关键点匹配，找到视频帧与照片数据之间的匹配点对，使用特征描述子的相似度进行匹配的公式为：
；
式中：表示特征点/>和特征点/>之间的距离，/>和/>分别表示特征点/>和特征点/>的特征描述子；
步骤Q4，三维重建：通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，再使用最小二乘法对初始三维点云进行优化；
步骤Q5，三维模型构建：通过对优化后的初始三维点云及逆行滤波，利用表面重建算法生成具有连续表面的三维模型。
本实施例通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，其中，每对匹配点对为，利用三角测量计算三维坐标的具体步骤为：
步骤W1，坐标归一化：将每个匹配点的像素坐标归一化为相机坐标系下的坐标，归一化后的坐标为/>；
步骤W2，点的反投影：在相机坐标系下，通过反投影操作，计算归一化后的匹配点对应的射线；
步骤W3，三角测量：通过反投影后的射线和匹配点/>的反投影射线/>，进行三角测量计算，得到三维坐标点/>，三角测量进行三维重建的公式为：
；
式中：为三维点的坐标，/>为相机标定矩阵，/>为匹配点对的齐次坐标。
本实施例在构建的三维模型中，提取用于目标定位的目标特征点与目标区域，提取目标特征点与目标区域的具体步骤为：
步骤A1，目标特征点选择：选择具有显著性和区分度的目标特征点，包括林地中的树木、建筑物、道路交叉口以及河流；
步骤A2，目标特征点提取：在三维模型中，根据目标特征点的选择，提取目标特征点，特征点应在林地中具有独特性，易于识别，并与其他地物有明显的区别；
步骤A3，目标区域提取：通过YOLO目标检测算法提取视频帧以及照片数据中的目标区域，YOLO目标检测算法将林地中的目标特征点识别和框定为矩形边界框，根据特征点聚集程度动态调整矩形边界框的长和宽；
根据特征点聚集程度动态调整矩形边界框，可以更准确地包围目标，确保目标区域被完整地捕捉到，有助于提高目标定位的精度，使得定位结果更加准确和精细化。矩形边界框根据目标特征点聚集程度进行动态调整，避免将背景或其他干扰物体误判为目标，有利于降低误识别率，提高目标识别的准确性。由于林地环境中可能存在光照变化、目标遮挡等因素，能够动态调整的矩形边界框可以在不同条件下适应目标的变化，增强了目标检测算法的鲁棒性，使其能够在各种复杂的林地场景中更可靠地工作，同时有助于提高林业管理的响应速度和操作效率。
步骤A4，目标特征点与目标区域存储：将提取的目标特征点与目标信息进行存储。
实施例2
当在一个包含多种树木品种的大型林地中，以某种特定树木品种为目标特征点时，通过收集森林中的高分辨率航拍图像获取包含目标树木的图像数据集，在收集的图像数据集中，人工标注目标树木的位置和类别。为每个目标树木创建一个包围框标注。使用标注的图像数据集，进行目标检测与定位模型的训练和优化。通过迭代训练和调整模型参数，提高模型在目标树木检测和定位任务上的准确性和鲁棒性。对于新的图像数据，在经过训练和优化的目标检测与定位模型上进行预测，根据模型输出的目标树木包围框位置，得到目标树木的定位结果。
本实施例通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，基于深度学习的目标检测与定位算法的具体步骤为：
步骤D1，数据收集：通过收集林木的高分辨率航拍图像，获取包含目标特征点的图像数据集；
步骤D2，目标检测与定位模型训练：通过深度学习方法，训练基于卷积神经网络的目标检测与定位模型；
步骤D3，模型训练与优化：通过对图像数据集进行目标检测与定位模型的训练和优化，并调整模型参数迭代训练。
本实施例通过图像对比与目标定位确定目标在照片中的位置的具体步骤为：
步骤M1，位姿估计：基于目标特征点与目标区域的匹配结果，通过PnP算法进行相机位姿的估计，PnP算法利用已知的三维坐标与其在图像中对应的投影点之间的对应关系，计算相机的旋转矩阵和平移向量/>；
步骤M2，目标定位：通过位姿估计结果，将待定位照片中的目标特征点的图像坐标转换为三维模型坐标，通过相机投影模型和坐标变换公式计算待定位照片中对应特征点的三维坐标：
；
式中：为待定位照片中对应特征点的三维坐标，/>为三维模型中的特征点坐标；
步骤M3，目标准确定位信息：通过目标在三维模型中的坐标，获得目标在林地中的准确定位信息，包括目标的地理坐标和海拔高度。
本实施例通过立体摄影测量学的照相装置获取林地中同一地区的视频与照片数据，根据匹配点对和相机标定参数，使用三维重建算法构建三维重建模型，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，再通过图像对比与目标定位，确定目标在照片中的位置，得到目标在林地中的准确定位信息。本实施例能够在复杂的林地环境中准确地定位目标，避免了传统的林地目标定位方法中易受光线、角度因素影响而产生的误差，并且能够快速且准确地匹配照片中的目标特征点与三维模型中的相应特征点，提供高效的目标定位结果。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于视频与三维模型融合的林地目标定位方法，其特征在于，包括如下步骤：
步骤一，获取视频与照片数据：通过立体摄影测量学的照相装置，获取林地中同一地区的视频与照片数据，从视频中提取视频帧并及进行对齐，其中，立体摄影测量学的照相装置包括镜头、双目摄像头、图像传感器、同步控制模块、数据传输模块以及数据存储模块；
步骤二，构建林地三维模型：通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，其中，相机标定采用张正友标定法进行内外参数的求解，其求解公式为：
；
式中：为相机坐标系到图像坐标系的尺度因子，/>为图像中的像素坐标，/>为相机内参矩阵，/>为相机的旋转矩阵，/>为相机的平移向量，/>为三维空间中的点坐标；
步骤三，提取目标特征点：在构建的三维模型中，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域；
步骤四，图像对比与目标定位：将待定位的照片与所构建的三维模型进行对比，通过匹配照片中的目标特征点与三维模型中的相应特征点、照片中的目标区域与三维模型中的相应目标区域，确定目标在照片中的位置，得到目标在林地中的准确定位信息；
步骤五，定位精度优化：通过最小二乘法对目标定位的准确性进行优化。
2.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，立体摄影测量学的照相装置中，镜头与双目摄像头相连接，双目摄像头与图像传感器相连接，图像传感器与同步控制模块相连接，同步控制模块与数据传输模块相连接，数据传输模块与数据存储模块相连接。
3.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，具体步骤为：
步骤Q1，数据预处理：通过对获取的视频帧与照片数据进行去噪、色彩校正以及图像配准操作；
步骤Q2，特征提取：通过尺度不变特征转换算法检测预处理后的视频帧与照片数据中的关键点，计算关键点中的特征描述子；
步骤Q3，特征匹配：通过特征描述子的相似度进行关键点匹配，找到视频帧与照片数据之间的匹配点对，使用特征描述子的相似度进行匹配的公式为：
；
式中：表示特征点/>和特征点/>之间的距离，/>和/>分别表示特征点/>和特征点/>的特征描述子；
步骤Q4，三维重建：通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，再使用最小二乘法对初始三维点云进行优化；
步骤Q5，三维模型构建：通过对优化后的初始三维点云及逆行滤波，利用表面重建算法生成具有连续表面的三维模型。
4.根据权利要求3所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，其中，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标的具体步骤为：
步骤W1，坐标归一化：将每个匹配点的像素坐标归一化为相机坐标系下的坐标，归一化后的坐标为/>；
步骤W2，点的反投影：在相机坐标系下，通过反投影操作，计算归一化后的匹配点对应的射线；
步骤W3，三角测量：通过反投影后的射线和匹配点/>的反投影射线/>，进行三角测量计算，得到三维坐标点/>，三角测量进行三维重建的公式为：
；
式中：为三维点的坐标，/>为相机标定矩阵，/>为匹配点对的齐次坐标。
5.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，在构建的三维模型中，提取用于目标定位的目标特征点与目标区域，提取目标特征点与目标区域的具体步骤为：
步骤A1，目标特征点选择：选择具有显著性和区分度的目标特征点，包括林地中的树木、建筑物、道路交叉口以及河流；
步骤A2，目标特征点提取：在三维模型中，根据目标特征点的选择，提取目标特征点；
步骤A3，目标区域提取：通过YOLO目标检测算法提取视频帧以及照片数据中的目标区域，YOLO目标检测算法将林地中的目标特征点识别和框定为矩形边界框，根据特征点聚集程度动态调整矩形边界框的长和宽；
步骤A4，目标特征点与目标区域存储：将提取的目标特征点与目标信息进行存储。
6.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，基于深度学习的目标检测与定位算法的具体步骤为：
步骤D1，数据收集：通过收集林木的高分辨率航拍图像，获取包含目标特征点的图像数据集；
步骤D2，目标检测与定位模型训练：通过深度学习方法，训练基于卷积神经网络的目标检测与定位模型；
步骤D3，模型训练与优化：通过对图像数据集进行目标检测与定位模型的训练和优化，并调整模型参数迭代训练。
7.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，通过图像对比与目标定位确定目标在照片中的位置的具体步骤为：
步骤M1，位姿估计：基于目标特征点与目标区域的匹配结果，通过PnP算法进行相机位姿的估计，PnP算法利用已知的三维坐标与其在图像中对应的投影点之间的对应关系，计算相机的旋转矩阵和平移向量/>；
步骤M2，目标定位：通过位姿估计结果，将待定位照片中的目标特征点的图像坐标转换为三维模型坐标，通过相机投影模型和坐标变换公式计算待定位照片中对应特征点的三维坐标：
；
式中：为待定位照片中对应特征点的三维坐标，/>为三维模型中的特征点坐标；
步骤M3，目标准确定位信息：通过目标在三维模型中的坐标，获得目标在林地中的准确定位信息，包括目标的地理坐标和海拔高度。
CN202310860535.5A 2023-07-14 2023-07-14 一种基于视频与三维模型融合的林地目标定位方法 Pending CN116580099A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310860535.5A CN116580099A (zh) 2023-07-14 2023-07-14 一种基于视频与三维模型融合的林地目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310860535.5A CN116580099A (zh) 2023-07-14 2023-07-14 一种基于视频与三维模型融合的林地目标定位方法

Publications (1)

Publication Number Publication Date
CN116580099A true CN116580099A (zh) 2023-08-11

Family

ID=87543546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310860535.5A Pending CN116580099A (zh) 2023-07-14 2023-07-14 一种基于视频与三维模型融合的林地目标定位方法

Country Status (1)

Country Link
CN (1) CN116580099A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN106204656A (zh) * 2016-07-21 2016-12-07 中国科学院遥感与数字地球研究所 基于视频和三维空间信息的目标定位和跟踪系统及方法
CN107065895A (zh) * 2017-01-05 2017-08-18 南京航空航天大学 一种植保无人机定高技术
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
EP3680809A1 (en) * 2017-09-22 2020-07-15 Huawei Technologies Co., Ltd. Visual slam method and apparatus based on point and line characteristic
CN112288875A (zh) * 2020-10-30 2021-01-29 中国有色金属长沙勘察设计研究院有限公司 一种面向无人机矿山巡检场景的快速三维重建方法
CN112509125A (zh) * 2020-12-14 2021-03-16 广州迦恩科技有限公司 一种基于人工标志物和立体视觉的三维重建方法
WO2021227360A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN113790710A (zh) * 2021-09-10 2021-12-14 同济大学 一种高速视频水下结构三维定位验证方法及装置
CN114332385A (zh) * 2021-11-23 2022-04-12 南京国图信息产业有限公司 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法
WO2022118061A1 (en) * 2020-12-04 2022-06-09 Hinge Health, Inc. Object three-dimensional localizations in images or videos
CN115861540A (zh) * 2022-12-09 2023-03-28 上海积图科技有限公司 二维脸部的三维重建方法、装置、设备及存储介质
CN116228969A (zh) * 2023-01-06 2023-06-06 北京林业大学 一种基于多传感器融合的林区定位与三维重建方法及系统
CN116295406A (zh) * 2023-02-20 2023-06-23 中国矿业大学 一种室内三维定位方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN106204656A (zh) * 2016-07-21 2016-12-07 中国科学院遥感与数字地球研究所 基于视频和三维空间信息的目标定位和跟踪系统及方法
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN107065895A (zh) * 2017-01-05 2017-08-18 南京航空航天大学 一种植保无人机定高技术
EP3680809A1 (en) * 2017-09-22 2020-07-15 Huawei Technologies Co., Ltd. Visual slam method and apparatus based on point and line characteristic
WO2021227360A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN112288875A (zh) * 2020-10-30 2021-01-29 中国有色金属长沙勘察设计研究院有限公司 一种面向无人机矿山巡检场景的快速三维重建方法
WO2022118061A1 (en) * 2020-12-04 2022-06-09 Hinge Health, Inc. Object three-dimensional localizations in images or videos
CN112509125A (zh) * 2020-12-14 2021-03-16 广州迦恩科技有限公司 一种基于人工标志物和立体视觉的三维重建方法
CN113790710A (zh) * 2021-09-10 2021-12-14 同济大学 一种高速视频水下结构三维定位验证方法及装置
CN114332385A (zh) * 2021-11-23 2022-04-12 南京国图信息产业有限公司 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法
CN115861540A (zh) * 2022-12-09 2023-03-28 上海积图科技有限公司 二维脸部的三维重建方法、装置、设备及存储介质
CN116228969A (zh) * 2023-01-06 2023-06-06 北京林业大学 一种基于多传感器融合的林区定位与三维重建方法及系统
CN116295406A (zh) * 2023-02-20 2023-06-23 中国矿业大学 一种室内三维定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAOFEI HUO 等: "Three-dimensional mechanical parts reconstruction technology based on two-dimensional image", 《INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS》 *
伊璐: "基于立体视觉的场景三维重建技术研究", 《CNKI学位》, vol. 2018, no. 2 *

Similar Documents

Publication Publication Date Title
CN112444242B (zh) 一种位姿优化方法及装置
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
CN109685078B (zh) 基于自动标注的红外图像识别方法
CN115439424A (zh) 一种无人机航拍视频图像智能检测方法
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
WO2021136386A1 (zh) 数据处理方法、终端和服务器
KR101759798B1 (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
WO2023046211A1 (zh) 摄影测量方法、装置、设备及存储介质
US11972507B2 (en) Orthophoto map generation method based on panoramic map
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN112132900B (zh) 一种视觉重定位方法及系统
CN113971768A (zh) 一种基于无人机的输电线路违章建筑三维动态检测方法
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN114332689A (zh) 一种柑橘识别定位方法、装置、设备及存储介质
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
CN115330594A (zh) 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
Peppa et al. Handcrafted and learning-based tie point features-comparison using the EuroSDR RPAS benchmark datasets
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN115880643B (zh) 一种基于目标检测算法的社交距离监测方法和装置
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN116580099A (zh) 一种基于视频与三维模型融合的林地目标定位方法
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230811

RJ01 Rejection of invention patent application after publication