CN117291980A - 一种基于深度学习的单张无人机图像像素定位方法 - Google Patents
一种基于深度学习的单张无人机图像像素定位方法 Download PDFInfo
- Publication number
- CN117291980A CN117291980A CN202311300272.9A CN202311300272A CN117291980A CN 117291980 A CN117291980 A CN 117291980A CN 202311300272 A CN202311300272 A CN 202311300272A CN 117291980 A CN117291980 A CN 117291980A
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned aerial
- aerial vehicle
- calculating
- transformation relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 58
- 238000013507 mapping Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000013136 deep learning model Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的单张无人机图像像素定位方法，涉及深度学习领域和无人机图像定位技术领域，包括S100、获取原始图像D；S200、计算原始图像D的位置变换关系T1；S300、计算卫星遥感图像S；S400、计算投影图像D2的位置变换关系T2；S500、计算投影图像D3的位置变换关系T3；S600、计算地理坐标系坐标。本发明通过将深度学习算法应用于无人机图像定位，提高了定位的准确性和稳定性，克服了传统方法在处理多视角、多尺度图像时的限制，并提高了处理效率，为无人机在农业、环境监控、交通管理等领域的应用提供更可靠的基础信息，并推动了无人机技术在各个领域的发展和应用。
Description
技术领域
本发明涉及深度学习领域和无人机图像定位技术领域，尤其涉及一种基于深度学习的单张无人机图像像素定位方法。
背景技术
无人机在农业、环境监控、交通管理等诸多领域广泛应用，其高效、灵活的特性让其具有巨大的潜力。其中，无人机的图像数据采集功能尤其重要，它可以为各类数据分析和决策提供基础信息。然而，无人机拍摄的原始图像通常只包含像素信息，而缺乏与实际世界坐标系统的关联，这大大限制了其在地理信息系统(GIS)等领域的应用。
为了解决这个问题，专家们提出了许多图像定位方法。其中，经纬度定位是最常见的一种，它通过将图像中的像素坐标转换为地理坐标(如经纬度)，使得图像可以在地理信息系统中进行准确的定位和分析。然而，传统的经纬度定位方法通常需要复杂的计算和大量的数据，这不仅增加了计算的复杂性，也限制了其在大规模图像数据处理中的应用。
当前最相关的技术是基于卫星图像于无人机图像的建筑物轮廓匹配方法。这种方法首先从卫星图像和无人机图像中使用算子提取建筑物的轮廓，对相关图像做二值化处理，然后通过计算两幅图相间的轮廓相似度来进行匹配，得到两幅图像的映射关系，然后将待验点坐标转换为经纬度。这种方法存在以下问题：建筑物轮廓提取的精度依赖于提取算子，且受到图像质量和环境变化的影响较大，稳定性和准确性难以保证；特征点匹配方法通常需要大量的数据和时间，对于大规模图像数据处理效率较低；由于无人机拍摄的图像通常具有多视角、多尺度的特性，该方法在处理这类图像时精度不高。可见，现有技术对于现有的建筑物轮廓匹配定位方法难以满足无人机图像的定位要求。
因此，本领域的技术人员致力于开发一种基于深度学习的单张无人机图像像素定位方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提高无人机图像定位的准确性、稳定性和效率。
发明人分析，传统方法依赖于手工设计的特征提取器和匹配算法，对图像质量和环境变化较为敏感，难以保证稳定准确的定位结果。此外，传统方法在处理多视角、多尺度的无人机图像时精度较低，处理效率也较低。
随着深度学习技术的发展，其在图像处理和分析领域的应用也日益广泛。深度学习算法可以自动学习图像的特征，从而实现准确的图像匹配和定位。因此，将深度学习算法应用于图像定位，有望解决传统方法的问题。通过将深度学习算法应用于无人机图像定位，实现自动学习特征、端到端学习和处理复杂关系的优势，进行图像配准，有助于解决传统方法中的问题，提高无人机图像定位的准确性和效率。
发明人分析，深度学习算法具有自动学习特征、端到端学习和处理复杂关系的能力，能够从大量数据中学习到更准确、稳定的图像特征表示，以及更高效的定位方法。深度学习模型可以自动提取图像中的关键点信息信息，通过卫星遥感图像与无人机拍摄图像的投影之间的配准，实现像素级的经纬度定位，而不依赖于人工设计的特征提取器和手动匹配算法。
本发明的一个实施例中，提供了一种基于深度学习的单张无人机图像像素定位方法，包括：
S100、获取原始图像D，获取无人机拍摄的原始图像D，以及对应的无人机姿态参数P和相机参数K；
S200、计算原始图像D的位置变换关系T1，通过无人机姿态参数P和相机参数K，计算原始图像D中四个图像角点与地理坐标系的位置变换关系T1；
S300、计算卫星遥感图像S，通过位置变换关系T1，将原始图像D进行投影，得到投影图像D2，并从网络地图中获取位置变换关系T1对应的卫星遥感图像S；
S400、计算投影图像D2的位置变换关系T2，使用深度学习模型，对卫星遥感图像S和投影图像D2进行关键点匹配，结果为N组从卫星遥感图像S到投影图像D2点一一对应的关键点，N为大于等于0的整数，通过N组关键点，得到投影图像D2到地理坐标系的位置变换关系T2；
S500、计算投影图像D3的位置变换关系T3，通过位置变换关系T1和位置变换关系T2，对原始图像D进行投影，得到投影图像D3，与投影图像D3到地理坐标系的位置变换关系T3；
S600、计算地理坐标系坐标，对原始图像D上的任意像素坐标，通过位置变换关系T3得到对应的地理坐标系坐标。
可选地，在上述实施例中的基于深度学习的单张无人机图像像素定位方法中，步骤S100中的无人机姿态参数P包括无人机云台翻滚角Roll、俯仰角Pitch、无人机的偏航角Yaw、无人机所在位置的经度Lon、纬度Lat和相对地面的高度Alt，以上角度的单位均为弧度，相对地面的高度Alt的单位为米。
可选地，在上述任一实施例中的基于深度学习的单张无人机图像像素定位方法中，相机参数K包括相机成像传感器宽度Cw、高度Ch、相机镜头焦距F，单位均为毫米。
可选地，在上述任一实施例中的基于深度学习的单张无人机图像像素定位方法中，步骤S200包括：
S210、确定像素坐标，原始图像D的分辨率为WxH，则其四个图像角点像素坐标为(0，0)，(W，0)，(0，H)，(W，H)；
S220、计算横向视场角，计算相机的视场角(xView，yView)，单位为弧度，由公式(1)计算得到：
其中，相机的视场角(xView，yView)描述相机能够捕捉到的景物水平角度和垂直角度范围；相机成像传感器宽高(Cw，Ch)为相机成像传感器的宽度和高度；相机镜头焦距F为镜头到成像面的距离，决定图像的视角和放大倍率；
S230、计算图像理论覆盖距离，分别为前向距离topD，后向距离bottomD，左向距离leftD，右向距离rightD，由公式(2)计算得到：
其中，Roll，Pitch为无人机拍摄时的翻滚角和俯仰角；Alt为无人机相对于地面的相对高度；topD、bottomD、leftD，rightD分别为在相对高度为Alt时相机镜头俯瞰视野中向前、向后、向左、向后能看到的最大距离，pi为圆周率常数；
S240、转换UTM坐标系，将无人机所在位置的经纬度转到UTM(通用横墨卡托网格系统)坐标系下，得到对应的坐标(centerx,centery)；
S250、转回到地理坐标系，计算图像覆盖边界的UTM坐标系坐标，并将坐标转回到地理坐标系；
S260、计算位置变换关系，由原始图像D中四个图像角点坐标与地理坐标系的位置变换关系，得到位置变换关系T1。
进一步地，在上述实施例中的基于深度学习的单张无人机图像像素定位方法中，步骤S250包括：
S251、定义一个旋转方法Rotate，接受5个参数(待转点x坐标px，待转点y坐标py，中心点x坐标cx，中心点y坐标cy，旋转角度angle)，其中待转点和中心点坐标的单位为米，旋转角度的单位为毫米，则待转点旋转后的坐标(x，y)，由公式(3)计算得到：
其中，待转点坐标(px，py)为相机视野中的左上、右上、左下、右下四个点的UTM坐标系的横纵坐标；中心点坐标(cx，cy)为无人机拍摄时的UTM坐标系的横纵坐标，单位为米；
S252、图像覆盖边界四个角点的UTM坐标由公式(4)计算得到：
其中，Yaw为无人机拍摄时的偏航角；upperLeftUTM，upperRightUTM，lowerLeftUTM，lowerRightUTM分别为相机视野中的左上、右上、左下、右下四个点的UTM坐标系的坐标，单位为米。
可选地，在上述任一实施例中的基于深度学习的单张无人机图像像素定位方法中，步骤S300中的卫星遥感图像S的范围为一个完整包括投影图像D2区域的矩形。
可选地，在上述任一实施例中的基于深度学习的单张无人机图像像素定位方法中，步骤S400中的关键点匹配的结果为N组投影图像D2到卫星遥感图像S的地理坐标映射关系(D2x,D2y)<->(Sx,Sy)，由上述地理映射关系获得位置变换关系T2。
可选地，在上述任一实施例中的基于深度学习的单张无人机图像像素定位方法中，步骤S500包括通过原始图像D和位置变换关系T1，得到投影图像D2中N组投影点在原始图像D中的像素坐标到卫星遥感图像S的地理坐标映射关系(Dx,Dy)<->(Sx,Sy)，由该地理映射关系得到位置变换关系T3。
可选地，在上述任一实施例中的基于深度学习的单张无人机图像像素定位方法中，步骤S600包括对原始图像D上的任意像素(X,Y)，可以通过位置变换关系T3得到对应的地理坐标系坐标(Gx,Gy)由公式(5)计算得到：
(Gx,Gy)＝T3*(X,Y) (5)。
本发明通过将深度学习算法应用于无人机图像定位，寻找卫星遥感图像与无人机拍摄图像中相似位置的特征点组，来实现图像间的像素配准，提高了定位的准确性和稳定性，克服了传统方法在处理多视角、多尺度图像时的限制，并提高了处理效率，为无人机在农业、环境监控、交通管理等领域的应用提供更可靠的基础信息，并推动了无人机技术在各个领域的发展和应用。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是图示根据示例性实施例的基于深度学习的单张无人机图像像素定位方法的流程图；
图2是图示根据示例性实施例的基于深度学习的单张无人机图像像素定位方法的过程效果图；
图3是图示根据示例性实施例的基于深度学习的单张无人机图像像素定位方法的结果示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方示意性地适当夸大了部件的厚度。
发明人设计了一种基于深度学习的单张无人机图像像素定位方法，如图1所示，包括：
S100、获取原始图像D，获取无人机拍摄的原始图像D，以及对应的无人机姿态参数P和相机参数K；其中，无人机姿态参数P包括无人机云台翻滚角Roll、俯仰角Pitch、无人机的偏航角Yaw、无人机所在位置的经度Lon、纬度Lat和相对地面的高度Alt，以上角度的单位均为弧度，相对地面的高度Alt的单位为米；相机参数K包括相机成像传感器宽度Cw、高度Ch、相机镜头焦距F，单位均为毫米。
S200、计算原始图像D的位置变换关系T1，通过无人机姿态参数P和相机参数K，计算原始图像D中四个图像角点与地理坐标系的位置变换关系T1；具体包括：
S210、确定像素坐标，原始图像D的分辨率为WxH，则其四个图像角点像素坐标为(0，0)，(W，0)，(0，H)，(W，H)；
S220、计算横向视场角，计算相机的视场角(xView，yView)，单位为弧度，由公式(1)计算得到：
其中，相机的视场角(xView，yView)描述相机能够捕捉到的景物水平角度和垂直角度范围；相机成像传感器宽高(Cw，Ch)为相机成像传感器的宽度和高度；相机镜头焦距F为镜头到成像面的距离，决定图像的视角和放大倍率；
S230、计算图像理论覆盖距离，分别为前向距离topD，后向距离bottomD，左向距离leftD，右向距离rightD，由公式(2)计算得到：
其中，Roll，Pitch为无人机拍摄时的翻滚角和俯仰角；Alt为无人机相对于地面的相对高度；topD、bottomD、leftD，rightD分别为在相对高度为Alt时相机镜头俯瞰视野中向前、向后、向左、向后能看到的最大距离；pi为圆周率常数；
S240、转换UTM坐标系，将无人机所在位置的经纬度转到UTM(通用横墨卡托网格系统)坐标系下，得到对应的坐标(centerx,centery)；
S250、转回到地理坐标系，计算图像覆盖边界的UTM坐标系坐标，并将坐标转回到地理坐标系；具体包括：
S251、定义一个旋转方法Rotate，接受5个参数(待转点x坐标px，待转点y坐标py，中心点x坐标cx，中心点y坐标cy，旋转角度angle)，待转点和中心点坐标的单位为米，旋转角度的单位为毫米，则待转点旋转后的坐标(x，y)，由公式(3)计算得到：
其中，待转点坐标(px，py)为相机视野中的左上、右上、左下、右下四个点的UTM坐标系的横纵坐标；中心点坐标(cx，cy)为无人机拍摄时的UTM坐标系的横纵坐标，单位为米；
S252、图像覆盖边界四个角点的UTM坐标由公式(4)计算得到：
其中，Yaw为无人机拍摄时的偏航角；upperLeftUTM，upperRightUTM，lowerLeftUTM，lOwerRightUTM分别为相机视野中的左上、右上、左下、右下四个点的UTM坐标系的坐标，单位为米；
S260、计算位置变换关系，由原始图像D中四个图像角点像素坐标与地理坐标系的位置变换关系，得到位置变换关系T1。
S300、计算卫星遥感图像S，通过位置变换关系T1，将原始图像D进行投影，得到投影图像D2，并从网络地图中获取位置变换关系T1对应的卫星遥感图像S，卫星遥感图像S的范围为一个完整包括投影图像D2区域的矩形。
S400、计算投影图像D2的位置变换关系T2，使用深度学习模型，对卫星遥感图像S和投影图像D2进行关键点匹配，得到投影图像D2到地理坐标系的位置变换关系T2，关键点匹配的结果为N组投影图像D2到卫星遥感图像S的地理坐标映射关系(D2x,D2y)<->(Sx,Sy)，N为大于等于0的整数。
S500、计算投影图像D3的位置变换关系T3，通过位置变换关系T1和位置变换关系T2，对原始图像D进行投影，得到投影图像D3与投影图像D3到地理坐标系的位置变换关系T3，包括通过原始图像D和位置变换关系T1，得到投影图像D2中N组投影点在原始图像D中的像素坐标到卫星遥感图像S的地理坐标映射关系(Dx,Dy)<->(Sx,Sy)，由该地理映射关系得到位置变换关系T3；如图2所示，原始图像D为无人机拍摄的包含无人机飞行姿态的图像，投影图像D2为原始图像D由位置变换关系T1得到的投影图像，深度学习算法关键点匹配图像为卫星遥感图像S和投影图像D2根据深度学习模型匹配关键点得到的关键点对应图像，投影图像D3为原始图像D由位置变换关系T1和T2得到的投影图像。
S600、计算地理坐标系坐标，对原始图像D上的任意像素坐标，通过位置变换关系T3得到对应的地理坐标系坐标；包括对原始图像D上的任意像素(X,Y)，可以通过位置变换关系T3得到对应的地理坐标系坐标(Gx,Gy)由公式(5)计算得到：
(Gx,Gy)＝T3*(X,Y) (5)。
使用本实施例的单张无人机图像像素定位方法的结果如图3所示，原始图像D上的像素点示意图中，对应像素点位置在图像中部光伏板的左下角；网络地图中的地理坐标系坐标示意图为该像素点对应位置经过定位测量后在网络地图中显示的位置，由箭头给出；卫星遥感图像中的地理坐标系坐标示意图为根据上述方法求得该像素点的地理坐标系坐标后在高精度卫星遥感地图上的对应位置，该位置在图像中部光伏板的左下角。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (9)
1.一种基于深度学习的单张无人机图像像素定位方法，其特征在于，包括：
S100、获取原始图像D，获取无人机拍摄的原始图像D，以及对应的无人机姿态参数P和相机参数K；
S200、计算原始图像D的位置变换关系T1，通过所述无人机姿态参数P和所述相机参数K，计算所述原始图像D中四个图像角点与地理坐标系的位置变换关系T1；
S300、计算卫星遥感图像S，通过所述位置变换关系T1，将所述原始图像D进行投影，得到投影图像D2，并从网络地图中获取所述位置变换关系T1对应的卫星遥感图像S；
S400、计算投影图像D2的位置变换关系T2，使用深度学习模型，对所述卫星遥感图像S和所述投影图像D2进行关键点匹配，结果为N组从所述卫星遥感图像S到所述投影图像D2点一一对应的关键点，N为大于等于0的整数，通过N组关键点，得到所述投影图像D2到地理坐标系的位置变换关系T2；
S500、计算投影图像D3的位置变换关系T3，通过所述位置变换关系T1和所述位置变换关系T2，对所述原始图像D进行投影，得到投影图像D3，与所述投影图像D3到地理坐标系的位置变换关系T3；
S600、计算地理坐标系坐标，对所述原始图像D上的任意像素坐标，通过所述位置变换关系T3得到对应的地理坐标系坐标。
2.如权利要求1所述的基于深度学习的单张无人机图像像素定位方法，其特征在于，所述步骤S100中的所述无人机姿态参数P包括无人机云台翻滚角Roll、俯仰角Pitch、无人机的偏航角Yaw、无人机所在位置的经度Lon、纬度Lat和相对地面的高度Alt，以上角度的单位均为弧度，相对地面的高度Alt的单位为米。
3.如权利要求1所述的基于深度学习的单张无人机图像像素定位方法，其特征在于，所述步骤S100中的所述相机参数K包括相机成像传感器宽度Cw、高度Ch、相机镜头焦距F，单位均为毫米。
4.如权利要求1所述的基于深度学习的单张无人机图像像素定位方法，其特征在于，所述步骤S200包括：
S210、确定像素坐标，所述原始图像D的分辨率为WxH，则所述四个图像角点像素坐标为(0，0)，(W，0)，(0，H)，(W，H)；
S220、计算横向视场角，计算相机的视场角(xView，yView)，单位为弧度，由公式(1)计算得到：
S230、计算图像理论覆盖距离，分别为前向距离topD，后向距离bottomD，左向距离leftD，右向距离rightD，由公式(2)计算得到：
S240、转换UTM坐标系，将无人机所在位置的经纬度转到UTM坐标系下，得到对应的坐标(centerx,centery)；
S250、转回到地理坐标系，计算图像覆盖边界的所述UTM坐标系坐标，并将所述坐标转回到地理坐标系；
S260、计算位置变换关系，由所述原始图像D中所述四个图像角点坐标与所述地理坐标系的位置变换关系，得到位置变换关系T1。
5.如权利要求4所述的基于深度学习的单张无人机图像像素定位方法，其特征在于，所述步骤S250包括：
S251、定义一个旋转方法Rotate，接受5个参数(待转点x坐标px，待转点y坐标py，中心点x坐标cx，中心点y坐标cy，旋转角度angle)，其中待转点和中心点坐标的单位为米，旋转角度的单位为毫米，则待转点旋转后的坐标(x，y)，由公式(3)计算得到：
S252、图像覆盖边界四个角点的UTM坐标由公式(4)计算得到：
6.如权利要求1所述的基于深度学习的单张无人机图像像素定位方法，其特征在于，所述步骤S300中的卫星遥感图像S的范围为一个完整包括投影图像D2区域的矩形。
7.如权利要求1所述的基于深度学习的单张无人机图像像素定位方法，其特征在于，所述步骤S400中的关键点匹配的结果为N组所述投影图像D2到所述卫星遥感图像S的地理坐标映射关系(D2x,D2y)<->(Sx,Sy)，由所述地理映射关系获得位置变换关系T2。
8.如权利要求1所述的基于深度学习的单张无人机图像像素定位方法，其特征在于，所述步骤S500包括通过所述原始图像D和所述位置变换关系T1，得到所述投影图像D2中N组投影点在所述原始图像D中的像素坐标到所述卫星遥感图像S的地理坐标映射关系(Dx,Dy)<->(Sx,Sy)，由所述地理映射关系得到位置变换关系T3。
9.如权利要求1所述的基于深度学习的单张无人机图像像素定位方法，其特征在于，所述步骤S600包括对原始图像D上的任意像素(X,Y)，可以通过位置变换关系T3得到对应的地理坐标系坐标(Gx,Gy)由公式(5)计算得到：
(Gx,Gy)＝T3*(X,Y) (5)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311300272.9A CN117291980B (zh) | 2023-10-09 | 2023-10-09 | 一种基于深度学习的单张无人机图像像素定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311300272.9A CN117291980B (zh) | 2023-10-09 | 2023-10-09 | 一种基于深度学习的单张无人机图像像素定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117291980A true CN117291980A (zh) | 2023-12-26 |
| CN117291980B CN117291980B (zh) | 2024-03-15 |
Family
ID=89258378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311300272.9A Active CN117291980B (zh) | 2023-10-09 | 2023-10-09 | 一种基于深度学习的单张无人机图像像素定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117291980B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
| US20190052852A1 (en) * | 2018-09-27 | 2019-02-14 | Intel Corporation | Unmanned aerial vehicle surface projection |
| WO2019093532A1 (ko) * | 2017-11-07 | 2019-05-16 | 공간정보기술 주식회사 | 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 |
| CN113793270A (zh) * | 2021-08-05 | 2021-12-14 | 杭州电子科技大学 | 一种基于无人机姿态信息的航拍图像几何校正方法 |
| CN114936971A (zh) * | 2022-06-08 | 2022-08-23 | 浙江理工大学 | 一种面向水域的无人机遥感多光谱图像拼接方法及系统 |
| CN115187798A (zh) * | 2022-06-15 | 2022-10-14 | 中国人民解放军32146部队 | 一种多无人机高精度匹配定位方法 |
| CN115511956A (zh) * | 2022-11-24 | 2022-12-23 | 南京理工大学 | 一种无人机成像定位方法 |
| CN116012377A (zh) * | 2023-03-24 | 2023-04-25 | 四川腾盾科技有限公司 | 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 |
| CN116309844A (zh) * | 2023-03-24 | 2023-06-23 | 沈阳航空航天大学 | 一种基于无人机单张航空图片的三维测量方法 |
| CN116597013A (zh) * | 2023-07-17 | 2023-08-15 | 山东产研卫星信息技术产业研究院有限公司 | 一种基于不同经纬度区域的卫星图像几何定标方法 |
-
2023
- 2023-10-09 CN CN202311300272.9A patent/CN117291980B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019093532A1 (ko) * | 2017-11-07 | 2019-05-16 | 공간정보기술 주식회사 | 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 |
| CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
| US20190052852A1 (en) * | 2018-09-27 | 2019-02-14 | Intel Corporation | Unmanned aerial vehicle surface projection |
| CN113793270A (zh) * | 2021-08-05 | 2021-12-14 | 杭州电子科技大学 | 一种基于无人机姿态信息的航拍图像几何校正方法 |
| CN114936971A (zh) * | 2022-06-08 | 2022-08-23 | 浙江理工大学 | 一种面向水域的无人机遥感多光谱图像拼接方法及系统 |
| CN115187798A (zh) * | 2022-06-15 | 2022-10-14 | 中国人民解放军32146部队 | 一种多无人机高精度匹配定位方法 |
| CN115511956A (zh) * | 2022-11-24 | 2022-12-23 | 南京理工大学 | 一种无人机成像定位方法 |
| CN116012377A (zh) * | 2023-03-24 | 2023-04-25 | 四川腾盾科技有限公司 | 一种基于卫星地图的无人机虚拟观测图像生成及定位方法 |
| CN116309844A (zh) * | 2023-03-24 | 2023-06-23 | 沈阳航空航天大学 | 一种基于无人机单张航空图片的三维测量方法 |
| CN116597013A (zh) * | 2023-07-17 | 2023-08-15 | 山东产研卫星信息技术产业研究院有限公司 | 一种基于不同经纬度区域的卫星图像几何定标方法 |
Non-Patent Citations (2)
| Title |
|---|
| 乔川;丁亚林;许永森;姚园;王浩;: "基于地理位置信息的图像配准方法及精度分析", 光学学报, no. 08, 10 August 2017 (2017-08-10) * |
| 蓝朝桢;施群山;崔志祥;秦剑琪;徐青;: "无人机影像与卫星影像配准的卷积神经网络方法", 测绘科学技术学报, no. 01, 15 February 2020 (2020-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117291980B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110595476B (zh) | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 | |
| CN112419374B (zh) | 一种基于图像配准的无人机定位方法 | |
| CN111241988B (zh) | 一种结合定位信息的大场景内运动目标检测识别方法 | |
| KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
| CN104123730A (zh) | 基于道路特征的遥感影像与激光点云配准方法及系统 | |
| US11908163B2 (en) | Multi-sensor calibration system | |
| CN105823416A (zh) | 多相机测量物体的方法和装置 | |
| CN104077760A (zh) | 一种航空摄影测量的快速拼接系统及其实现方法 | |
| CN112740225B (zh) | 一种路面要素确定方法及装置 | |
| CN108416798B (zh) | 一种基于光流的车辆距离估计方法 | |
| CN113624231B (zh) | 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器 | |
| CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN110569861A (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
| CN107392951A (zh) | 遥感图像高精度快速配准方法 | |
| CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
| WO2021037086A1 (zh) | 定位方法及装置 | |
| KR101255461B1 (ko) | 도로시설물 자동 위치측정 방법 | |
| US20240095960A1 (en) | Multi-sensor calibration system | |
| CN115690612A (zh) | 一种无人机光电图像目标搜索量化指示方法、设备及介质 | |
| CN115423863A (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
| CN116152342A (zh) | 一种基于梯度的路牌配准定位方法 | |
| CN115239822A (zh) | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 | |
| Chellappa et al. | On the positioning of multisensor imagery for exploitation and target recognition | |
| CN113221883B (zh) | 无人机飞行导航路线实时修正方法 | |
| JP2020015416A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |