CN107527328B - 一种兼顾精度与速度的无人机影像几何处理方法 - Google Patents

一种兼顾精度与速度的无人机影像几何处理方法 Download PDF

Info

Publication number
CN107527328B
CN107527328B CN201710779887.2A CN201710779887A CN107527328B CN 107527328 B CN107527328 B CN 107527328B CN 201710779887 A CN201710779887 A CN 201710779887A CN 107527328 B CN107527328 B CN 107527328B
Authority
CN
China
Prior art keywords
image
feature
matching
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710779887.2A
Other languages
English (en)
Other versions
CN107527328A (zh
Inventor
扆冰礼
车雨琴
扆冰蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia Space Information Technology Co ltd
Original Assignee
Yi Binglei
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yi Binglei filed Critical Yi Binglei
Priority to CN201710779887.2A priority Critical patent/CN107527328B/zh
Publication of CN107527328A publication Critical patent/CN107527328A/zh
Application granted granted Critical
Publication of CN107527328B publication Critical patent/CN107527328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的一种兼顾精度与速度的无人机影像几何处理方法,是一种基于历史基准图匹配的改进方法,充分利用历史基准图的精度,着眼于利用同一地区的历史DOM或历史基准图,通过特征匹配的方式将无人机影像直接配准至历史基准图坐标系下。一方面保持了特征匹配方式的灵活特性,同时通过历史基准图的使用使得产品在精度上有保证。由于只需要进行无人机影像与所对应范围内历史基准图的匹配,此方法也克服了基于影像间特征匹配的方法由于盲目匹配带来的速度慢的问题,是一种兼顾了速度与精度的改进方法。具有快速、带地理坐标、精度高、可实时预览以及畸变可控等诸多优点。

Description

一种兼顾精度与速度的无人机影像几何处理方法
技术领域
本发明涉及一种无人机影像几何处理方法,特别涉及兼顾精度与速度的无人机影像几何处理方法,属于无人机影像处理技术领域。
背景技术
近年来,无人机在应急事件中广泛使用,拥有较大有优势。主要表现在洪涝、地震等灾害发生后,通常灾区的交通、通讯设施都会遭到不同程度的损坏,甚至全部损毁。此时外部人员无法进入灾区进行实际调查,灾区内人员又无法与外界通信,即使交通、通讯等设施能够正常运转,仅依靠人力在短时间内获得灾区的详细全面的灾情也是无法完成的任务。此时,遥感手段是迅速了解灾情的最有效方式。遥感依据所使用平台的不同可以分为地面遥感、航空遥感、航天遥感。灾情发生后,地面遥感手段受到了极大限制,航天遥感受到卫星调度、卫星重访周期、天气、空间分辨率等因素的影响而实际应用效果有限,最为有效的手段就是航空遥感。有人驾驶飞机执行航测任务时,受到机场、天气等条件限制很大,且存在安全风险。而无人机等平台进行应急救灾时,上述限制条件会得到极大的改善。利用无人机灵活、快速、安全的特点获得测区的摄影测量产品或精度稍低的区域镶嵌图,完成对指定区域的快速预览,是无人机应用于应急救灾的最大优势。
无人机在应急应用中使用,最常用也最重要的功能就是为应急决策者提供区域(灾区)的DOM。即使精度达不到测绘级要求的、初步的区域镶嵌图在实际应用中也能为救灾人员初步判断灾区灾情、道路桥梁损毁、受灾人员分布等情况,进而合理部署救灾人力、物力,制定正确的救灾策略提供科学依据。此外,对于无人机影像数据实时回传的情况,快速乃至实时的几何处理,可以尽快了解航拍质量便于尽快采取补拍措施,甚至可以实时了解地面情况进行实时的应急响应。此时几何处理的精度是否能达到测绘级要求并不重要,速度才是最重要的指标。
因此,在应急应用中,无人机影像几何处理优先考虑的是如何提高处理速度。在应急应用中权衡无人机影像几何处理的速度与精度时,在难以兼顾两者的情况下,可以考虑牺牲部分精度换取更快的处理速度,随后在保证速度前提下再尽量提高精度。这一点是无人机影像应急快速几何处理与常规处理的最大区别,也是本发明无人机影像应急快速几何处理最重要的背景与最大的前提。无人机影像几何处理的目的,是将相机获取的原始影像,通过一定途径配准到统一的坐标系下,便于后期的镶嵌处理及应急使用。
现有技术完成这一配准过程常用的方法有三种:第一种是摄影测量领域的直接地理参考方法,即直接使用成像瞬间传感器获取的定位数据和姿态数据完成影像的正射纠正;第二种方法是经典的空中三角测量方法;第三种方法借鉴计算机视觉中的影像匹配技术,通过单应矩阵的传递实现影像的几何处理。
但现有技术的无人机影像几何处理方法在无人机应急应用中依然存在许多问题:
第一种直接地理参考方法是摄影测量中经典的遥感影像正射纠正方法,它直接利用成像瞬间相机的内外方位元素,通过共线条件方程建立相片中像素点与地面点的对应关系。这种方法不需要进行空中三角测量方法中对内外方位元素进行平差的过程,因而速度上具有极大优势。但由于使用的内外方位元素都是由传感器直接获取的,几何处理的精度受传感器的精度限制很大,精度通常比较差,无法满足要求。
第二种基于空中三角测量的方法是另外一种典型,精度最高,产品种类最丰富,但同时速度也最慢。传统空中三角测量需要进行地面控制点的采集、人工转点等大量费时费力的环节。借助影像匹配技术与POS(定位与定向系统)辅助空中三角测量技术,空中三角测量可以在一定程度上实现自动化,但是其速度仍然很慢,因为要进行大量的特征提取与匹配以及密集匹配,效率很低,无法满足无人机在应急应用中的需求。
第三种基于无人机影像间特征匹配的方法则脱离了摄影测量的经典方法范畴,利用计算机视觉中特征提取与匹配、单应矩阵等技术实现无人机影像的几何处理。该方法通过使用影像间重叠区域的同名点解算相邻影像间变换模型,并通过传递的方式完成全局的配准。由于该方法在最差的情况下可以使用盲匹配的结果获得影像的相邻关系,因此可以应对航带不规则或航带信息缺失的影像,理论上对影像的旋偏角没有要求,对旁向倾角、航向倾角要求较小,但匹配速度慢。
上述三种现有技术的无人机影像几何处理方法均存在各自的优缺点,各方法的缺点使得直接使用其中任何一种方法在无人机影像应急处理时都不能完全满足要求。
发明内容
针对现有技术的不足,本发明提供的一种兼顾精度与速度的无人机影像几何处理方法,主要基于以下三种背景:现有方法的不足、周期性应用需求、高分影像的普及。提出一种基于历史基准图匹配的改进方法,充分利用历史基准图的精度,着眼于利用同一地区的历史DOM或历史基准图,通过特征匹配的方式将无人机影像直接配准至历史基准图坐标系下。一方面保持了特征匹配方式的灵活特性,同时通过历史基准图的使用使得产品在精度上有保证。由于只需要进行无人机影像与所对应范围内历史基准图的匹配,此方法也克服了基于影像间特征匹配的方法由于盲目匹配带来的速度慢的问题,是一种兼顾了速度与精度的改进方法。具有快速、带地理坐标、精度高、可实时预览以及畸变可控等诸多优点。
为达到以上技术效果,本发明所采用的技术方案如下:
一种兼顾精度与速度的无人机影像几何处理方法,采用基于历史基准图匹配的方法,整体流程包括:数据预处理、数据准备、特征提取、特征匹配、模型解算、影像变换;
所述数据预处理为可选操作,如果成像时倾角过大,则进行直接地理参考处理;如果影像畸变严重,则进行镜头畸变校正;
所述数据准备为加载历史基准图、原始影像及其对应的POS文件,利用外方位元素及原始影像尺寸估算地面覆盖范围,并从历史基准图中裁剪出历史基准图切片;估算范围时,如果有影像对应的无人机姿态信息,则用直接地理参考的方式,通过计算影像四个角点的地面坐标实现范围的计算;
所述特征提取是对裁剪出的历史基准图切片和原始影像分别进行SIFT特征提取;
所述特征匹配是对提取的特征进行匹配,匹配过程分为两个阶段,其一是利用SIFT特征点本身特性,通过KNN方法计算特征描述符间的欧式距离得到初始匹配结果;在此基础上,需要利用RANSAC方法建立特征点间的几何约束,剔除错误的匹配结果;最终的匹配结果即为原始影像的地面控制点;
所述模型解算是利用地面控制点建立原始影像从原始坐标系到地球坐标系的变换关系;模型的解算过程是通过前一环节匹配得到的地面控制点,求解出多项式变换的各项系数或通过匹配结果建立不规则三角网;
所述影像变换是利用建立的模型完成影像的几何纠正;
无人机影像的预处理包括:镜头畸变和成像倾角的处理:
一是镜头畸变,无人机搭载非量测相机,镜头畸变的存在使得地物变形严重,干扰特征的匹配,对于畸变较严重的无人机影像进行畸变校正操作;
二是成像倾角,对于成像倾角过大的情况,采取直接地理参考技术,先对无人机影像进行一次粗略的正射校正,从而消除因倾角过大产生的形变,在此基础上进行特征匹配;
估算地面覆盖范围根据POS文件中信息量的不同,分别采取两种方式估计无人机影像所对应的地面范围;估算地面覆盖范围的第一种方式:如果POS文件中含有姿态信息,则通过直接地理参考的方式,通过使用内外方位元素和共线方程,计算出四个角点的地理坐标并取四个坐标的外接矩形即可得到影像的地面覆盖范围;历史基准图切片保存为内存文件的形式,避开保存切片与匹配时读取切片的两次IO过程;
估算地面覆盖范围的第二种方式:如果POS文件仅含有成像瞬间的坐标信息,所述坐标信息包括经纬度、航高,则根据相机CCD像元大小、镜头焦距、航高、飞行方向以及影像宽高大致估算影像覆盖的地面范围,其方法是:
第一步,首先将坐标视为影像中心点地面坐标,若该坐标是地理坐标,则转换为投影坐标;其次利用CCD像元大小、镜头焦距和航高估算出影像的实际地面采样间隔GSD,
GSD=p×H÷f
其中GSD为计算所得的地面采样间隔,p为CCD像元大小,H为航高,f为焦距;
第二步,根据飞行方向和影像的宽高,估算出影像在地面东西方向和南北方向的覆盖范围;
第三步,估算出影像实际宽高后,根据中心点地面坐标就能换算得到四个角点的坐标,即得到影像地面覆盖范围;
利用特征点的几何分布对特征点匹配结果进行几何约束,从包含异常的数据集中自动提取有效样本数据,将数据集描述为由符合一定数学模型的局内点和不符合数据模型的局外点,通过反复随机选择数据集中的一组子集作为局内点并建立模型,用模型去检查剩余的所有点,越多的点被归类为模型的局内点,则模型越合理,用所有假设的局内点重新构建模型,并通过局内点与模型的错误的比率对模型进行正确性评价;
在匹配完成后,绕过单应矩阵的具体计算进入后续环节,首先确定采取何种相机模型以及何种坐标系作为统一的坐标系,上述条件确定后,经过两个层次的配准完成全局配准:首先是相邻影像间的配准,即利用相邻影像间的匹配结果计算得到相邻影像间的单应矩阵;其次是在上述基础上,利用单应矩阵变换关系的传递性质,完成所有影像向所选中的基准影像坐标系的配准。
一种兼顾精度与速度的无人机影像几何处理方法,进一步的,通过建立高斯尺度空间和高斯差分尺度空间,在尺度空间中寻找极值点并通过插值获得极值点的精确坐标并记录其尺度;此后则通过计算特征点邻域内的主方向以及领域内各像素的梯度主方向构建特征描述符,特征提取分为四个过程:
第1步,尺度空间极值检测;首先建立尺度空间,模拟影像在不同尺度下的特征,实现尺度变换,唯一的线性核是高斯卷积核,使用高斯差分寻找高斯差分尺度空间内的极值点,每个像素都与它在尺度空间中相邻的像素进行比较,如果该像素为所有值中的极大值或极小值,则此位置为高斯差分尺度空间中的一个极值点;
第2步,关键点定位;检测到的极值点与真实特征点坐标及尺度因子之间存在细微差异通过与周围像素拟合一个三元二次方程的方式解算出真实的特征点和极值坐标,再通过使用海森矩阵方式排除边缘效应、低对比度特征点的干扰;
第3步,方向赋值;为每一个特征点在其邻域内确定一个主方向,以此主方向为坐标轴方向建立特征点的特征描述符;
第4步,特征描述符生成;主方向确定后,将邻域内所有其他像素的梯度方向做相应旋转,亦即将坐标轴旋转至主方向上,以关键点为中心取16*16的窗口,求得该窗口内每个像素的梯度大小与梯度方向,随后对这个16*16的窗口进行高斯卷积,在每4*4个小块上统计一次八个方向的梯度直方图,最终的特征描述符由4*4=16个种子点构成,每个种子点中有8个方向区间,最终特征点描述符有4*4*8=128维,每一维中都包含尺度因子和方向两种信息,对128维的特征描述符进行归一化。
一种兼顾精度与速度的无人机影像几何处理方法,进一步的,SIFT特征匹配通过计算特征点描述符的欧式距离完成,这一过程采用K最近邻(KNN)方法获取较快的匹配速度。
一种兼顾精度与速度的无人机影像几何处理方法,进一步的,采用基于特征索引的无人机影像应急处理加速方法,影像特征提取完成后,将特征写入文件并建立索引,后续匹配工作依据索引从特征文件中读取特征参与匹配;
对于无人机影像,采取事先将历史基准图建立金字塔并在不同层进行特征提取,并将提取的特征据其金字塔级别与地理坐标分块建立索引存放至特征文件中,在每幅影像都提取特征后,写入相应的特征文件,全部特征文件提取完成后再进行后续操作。
一种兼顾精度与速度的无人机影像几何处理方法,进一步的,采用基于影像抽稀的无人机影像应急处理加速方法,在保存航线两端影像的前提下,对于航线内部的影像每相邻两张影像只处理一张;对于旁向重叠度高的情况,直接跳过整条航带处理。
与现有技术相比,本发明的基于历史基准图匹配的方法的优点可以总结为:快速、带地理坐标、精度高、可实时预览以及畸变可控。
1.快速。本发明提供的一种兼顾精度与速度的无人机影像几何处理方法,整个流程中最耗时的部分有两块:特征提取与匹配、硬盘IO(历史基准图切片的裁剪、特征提取时影像的读入、写结果影像),通过特征提取与匹配的加速以及电子硬盘的使用可以大大减少这两部分的耗时,可以满足数据的实时生产要求。
2.具备地理坐标。本发明提供的一种兼顾精度与速度的无人机影像几何处理方法,这一特点显而易见,因其所配准到的历史基准图已经具备严格坐标信息,这一优点在应急响应情景下尤为重要,在没有更理想的数据可以选择的情况下,这种方法生产的产品完全可以充当测绘级DOM产品的替代品用于救灾。
3.精度高。本发明提供的一种兼顾精度与速度的无人机影像几何处理方法,在特征丰富的情况下,原始影像纠正后的精度基本可以接近历史基准图的精度,而所使用的历史基准图一般是测绘部门生产的测绘级产品,其精度可以得到有效保障。
4.可实时预览。本发明提供的一种兼顾精度与速度的无人机影像几何处理方法,因每幅影像均单独进行纠正,相互间没有依存关系,且纠正后每张影像都已带地理坐标,因而可以简单根据地理坐标将各影像进行叠加显示实现实时预览。甚至可以与历史地图进行实时叠加预览,从而实时人工判读受灾情况。这一特性在救灾应用下极具积极意义,因其可以做到近似与成像同步进行数据生产与灾情判读,最大限度缩短了数据处理延时。
5.畸变可以控制在局部范围内。本发明提供的一种兼顾精度与速度的无人机影像几何处理方法,所有影像都是经过单独纠正后才进行拼接,因而由匹配失败导致的畸变(如果存在的话)只会发生在少数原始影像覆盖的范围内。这一特点有效避免了基于相对匹配的配准的方法中误差的累积问题。
附图说明
图1是本发明的基于历史基准图匹配方法的流程示意图。
图2是本发明SIFT特征提取的特征描述符生成示意图。
具体实施方式
下面结合附图,对本发明提供的一种兼顾精度与速度的无人机影像几何处理方法的技术方案进行进一步的描述,使本领域的技术人员可以更好的理解本发明并能予以实施。
参见图1至图2,本发明提供的一种兼顾精度与速度的无人机影像几何处理方法,采用基于历史基准图匹配的方法,方法经过:数据预处理、数据准备(覆盖范围估算及历史基准图切片)、特征提取与匹配、RANSAC粗差剔除、模型解算。其中涉及的关键环节有:无人机影像地面覆盖范围估算、SIFT特征提取与匹配、RANSAC粗差剔除、模型解算与影像重采样。其中模型解算的具体过程是利用匹配结果,建立拟合多项式或三角网;影像重采样采用现有技术。
整体流程包括:数据预处理、数据准备、特征提取、特征匹配、模型解算、影像变换;具体参见图1;
数据预处理为可选操作,如果成像时倾角过大,则进行直接地理参考处理;如果影像畸变严重,则进行镜头畸变校正;
数据准备为加载历史基准图、原始影像及其对应的POS文件,利用外方位元素及原始影像尺寸估算地面覆盖范围,并从历史基准图中裁剪出历史基准图切片;估算范围时,如果有影像对应的无人机姿态信息,则用直接地理参考的方式,通过计算影像四个角点的地面坐标实现范围的计算;
特征提取是对裁剪出的历史基准图切片和原始影像分别进行SIFT特征提取;对于内存文件形式的历史基准图切片,需要提取特征的算法能够支持对内存块的特征提取;
特征匹配是对提取的特征进行匹配,匹配过程分为两个阶段,其一是利用SIFT特征点本身特性,通过KNN方法计算特征描述符间的欧式距离得到初始匹配结果;在此基础上,需要利用RANSAC方法建立特征点间的几何约束,剔除错误的匹配结果;最终的匹配结果即为原始影像的地面控制点;
模型解算是利用地面控制点建立原始影像从原始坐标系到地球坐标系的变换关系;模型的解算过程是通过前一环节匹配得到的地面控制点,求解出多项式变换的各项系数或通过匹配结果建立不规则三角网;
影像变换是利用建立的模型完成影像的几何纠正。
一、数据源的影响
数据源包含两部分内容,其一是历史基准图,其二是新获取的无人机影像。使用历史基准图通过特征匹配实现对无人机影像的应急快速几何处理,最核心的问题在于历史基准图与当前无人机影像特征匹配的可靠性。就目前而言,历史基准图主要可以分为无人机数据产品和高分卫星影像两大类。其中,使用无人机数据作为基准图需要考虑不同时相数据中投影差的影响;而使用卫星影像作为基准图则需要重点讨论分辨率差异过大的影响。此外,新获取的无人机影像如果在成像时倾角过大,或镜头畸变过大,则对匹配成果也可能会造成干扰。
以下分别讨论历史基准图和新获取的无人机影像对本方法的影响。
1、历史基准图
历史基准图的影响分为两部分,即无人机影像产品作为历史基准图的情况和高分卫星影像作为历史基准图的情况。历史基准图在数据类型、成像季节等方面都可能与无人机影像有较大区别,因此,本实施例假定所使用的历史基准图与无人机影像均为可见光影像,且成像季节接近。在此前提下,重点讨论投影差、分辨率差异对本方法的影响。
(一)无人机影像基准图
以无人机影像产品作为历史基准图进行无人机影像特征匹配时,由于通常航高较低,高大建筑物在不同时相的影像中会存在投影差。
这种投影差在不同时相的无人机影像中极为常见。由于投影差的存在,高大建筑物顶部正确的匹配点,与地面上正确的匹配点相比,两者在使用平面几何约束条件进行粗差剔除时应满足不同的几何约束,但两者又都是正确的同名点。因此,投影差的存在会干扰特征匹配后的粗差剔除过程。
对位于存在投影差的建筑物上的匹配结果进行粗差剔除时,由于应急应用中并不使用严格的三维信息,因此对于其中不能通过粗差剔除的匹配结果,可以当成错误匹配剔除;对于能够通过粗差剔除而本身又位于存在投影差的建筑物上的匹配点,能够通过粗差剔除说明其已经能够大致满足几何约束条件,虽然保留这些匹配结果会对最终结果产生一些影响,但可以预测这些影响将会保持在比较小的范围内,可以当成正确的匹配结果使用。
因此,以无人机影像产品作为历史基准图时,其中可能存在的投影差并不会对结果产生过大影响。
(二)高分卫星影像基准图
使用高分可见光卫星影像作为历史基准图时,同样存在投影差问题。然而,由于高分可见光卫星影像与无人机影像在分辨率上通常相差较大,且卫星影像通常较接近于下视,因此两者的投影差问题影响有限,在应急应用中使用时可以忽略此因素的影响。
使用高分分辨率可见光卫星影像作为历史基准图时,最大的问题是卫星影像与无人机影像的分辨率差异。目前国外高分辨率卫星影像的分辨率可以达到0.5米甚至更优;而无人机影像由于其飞行高度较低,通常可以达到0.05米甚至0.01米的地面分辨率。两者的地面分辨率差异可以达到10倍左右。分辨率的差异可以在影像细节上导致极大的差异,卫星影像分辨率为0.2米,无人机影像分辨率为0.1米左右,分辨率相差两倍时,两者的细节已经存在着比较大的差异。对于航高较高的无人机影像,其分辨率也可以达到0.1米,比较接近高分卫星影像的分辨率。
过大的分辨率差异可能在两个方面影响基于历史基准图匹配方法。其一是,过大的分辨率差异可能导致匹配失败;其二是,过大的分辨率差异导致匹配结果精度降低。下面就这两方面影响分别进行分析。
(1)过大的分辨率差异可能导致匹配失败
使用基于灰度的模板匹配等方法完成匹配时,由于这些方法本身要求模板与待匹配影像在分辨率上一致,因此使用这些方法时过大的分辨率差异会导致匹配失败。但是,例如SIFT、ASIFT等方法生成具有完全的尺度不变特性,ASIFT在此基础上更具有完全的仿射不变特性。因此,选择合适的特征算子完成分辨率差异较大的历史基准图与无人机数据的匹配是一种可行的思路。利用高分辨率卫星可见光影像作为历史基准图对无人机影像进行几何处理是具备可行性的。
另外一种思路则是对无人机影像进行降采样操作,此思路不再专门验证。
(2)过大的分辨率差异导致匹配结果精度降低
使用的历史基准图与无人机影像分辨率差异过大时(设前者分辨率为后者的N倍,N>=1),匹配结果的精度只能以分辨率较低的历史基准图为准。此时,匹配结果对分辨率较高的无人机影像而言,其精度相应的下降了N倍,这一点显而易见。
针对这种情况,可能采取的措施主要有,其一,尽量使用分辨率接近的高分卫星影像作为历史基准图使用;其二,选择匹配精度更高的特征算子进行匹配,或在匹配基础上进行平差等后续处理,提高匹配精度。
如果上述措施均无法实施,考虑到应急应用中对精度要求并不苛刻,如果结果并非不可接受,则可以考虑不采取额外措施,直接使用精度较低的匹配结果进行无人机影像的几何处理。对于几何处理结果中可能出现的畸变、错位等现象,可以预见这些现象在选择尽量接近的分辨率时并不会太过严重,可以通过使用时操作人员的目视解译加以弥补。
2、无人机影像
使用无人机获取的影像可能会因为镜头畸变、成像时倾角等因素的存在而与历史基准图存在比较大的差异,两者均可以使得无人机影像中地物的投影产生较大的变化,从而引起匹配的失败。下面针对这两方面因素提出针对性措施,这些措施均可以归纳为无人机影像的预处理。
(1)镜头畸变
受无人机有效载荷的限制,无人机搭载的通常都是非量测相机,甚至畸变很严重的广角相机。镜头畸变的存在可以使得地物变形严重,从而干扰特征的匹配。然而,成熟的商业软件已经具备了镜头畸变校正能力,可以消除大部分镜头畸变。镜头畸变改正的算法也已十分成熟,对于畸变较严重的无人机影像可以进行畸变校正操作。
(2)成像倾角
成像时过大的倾角也会使地物在影像中的投影与真实情况产生较大差异。对于成像倾角过大的情况,采取直接地理参考技术,先对无人机影像进行一次粗略的正射校正,从而消除因倾角过大产生的形变,在此基础上进行特征匹配。
二、估算地面覆盖范围
根据POS文件中信息量的不同,可以分别采取两种方式估计无人机影像所对应的地面范围。
第一种方式,如果POS文件中含有姿态信息,则可以通过直接地理参考的方式,通过使用内外方位元素和共线方程,计算出四个角点的地理坐标并取四个坐标的外接矩形即可得到影像的地面覆盖范围。
第二种方式,如果POS文件仅含有成像瞬间的坐标信息(经纬度、航高),则根据相机CCD像元大小、镜头焦距、航高、飞行方向以及影像宽高可以大致估算影像覆盖的地面范围。其方法是:
(1)首先,将坐标视为影像中心点地面坐标,若该坐标是地理坐标,则转换为投影坐标;其次利用CCD像元大小、镜头焦距和航高估算出影像的实际地面采样间隔(GSD),如公式
GSD=p×H÷f
其中GSD为计算所得的地面采样间隔,p为CCD像元大小,H为航高,f为焦距。
(2)再次,根据飞行方向和影像的宽高,估算出影像在地面东西方向和南北方向的覆盖范围。
(3)估算出影像实际宽高后,根据中心点地面坐标就能换算得到四个角点的坐标,即得到影像地面覆盖范围。
三、SIFT特征提取与匹配
核心思想是通过建立高斯尺度空间和高斯差分尺度空间,在尺度空间中寻找极值点并通过插值获得极值点的精确坐标并记录其尺度;此后则通过计算特征点邻域内的主方向以及领域内各像素的梯度主方向构建特征描述符。
SIFT特征提取分为四个过程:
(1)尺度空间极值检测
首先要建立尺度空间,用于模拟影像在不同尺度下的特征,而实现尺度变换,唯一的线性核就是高斯卷积核。二维图像的尺度空间可以表示如公式:
L(x,y,σ)=G(x,y,σ)
其中,L为影像的尺度空间;(x,y)表示像素在影像中的坐标;σ为尺度因子;I表示原始影像。为在尺度空间中能有效地检测到极值点,这里使用了高斯差分(DoG)金字塔模拟高斯差分尺度空间。高斯差分金字塔实际是在高斯金子塔的基础上,由同一Octave内相邻尺度的影像相减得到。
为了寻找高斯差分尺度空间内的极值点,每个像素都与它在尺度空间中相邻的像素进行比较(同层尺度空间中的8个、上下两层尺度空间中的各9个)。如果该像素为所有值中的极大值或极小值,则此位置为高斯差分尺度空间中的一个极值点。
(2)关键点定位
由于影像空间是离散空间,因而检测到的极值点(候选特征点)与真实特征点坐标及尺度因子之间可能存在细微差异,这种差异可以通过与周围像素拟合一个三元二次方程的方式解算出真实的特征点(极值)坐标。经过拟合后结算得到的特征点坐标,可以精确到子像素级别。具体方法是使用泰勒展开式,将尺度空间函数在候选极值点处展开,然后通过求解使得x和y的偏导数为0的变量值,得到特征点(极值)的真实坐标。
通过上述方法得到的特征点,仍然存在边缘效应、低对比度特征点等的干扰,需要通过使用海森矩阵等方式加以排除。
(3)方向赋值
为使上述步骤中得到的特征点具备旋转不变的特性,SIFT特征算子的提出者采取的方式是为每一个特征点在其邻域内确定一个主方向,以此主方向为坐标轴方向建立特征点的特征描述符。具体做法是,统计特征点周围64个像素在本尺度的梯度方向,以及相同区域在上一级金字塔中梯度方向,将梯度方向所有可能值(0°~360°)划分为8个或36个区间(柱),统计方向分布的直方图,并取直方图中分布最多的方向为该特征点的主方向。
(4)特征描述符生成
参见图2,主方向确定后,需要将邻域内所有其他像素的梯度方向做相应旋转,亦即将坐标轴旋转至主方向上。此后,以关键点为中心取16*16的窗口,求得该窗口内每个像素的梯度大小与梯度方向。随后对这个16*16的窗口进行高斯卷积,在每4*4个小块上统计一次八个方向的梯度直方图。则最终的特征描述符由4*4=16个种子点构成,每个种子点中有8个方向区间,则最终特征点描述符有4*4*8=128维,每一维中都包含尺度因子和方向两种信息。为使得特征描述符对光照不变,还需要对128维的特征描述符进行归一化。
SIFT特征匹配通过计算特征点描述符的欧式距离完成,这一过程采用K最近邻(KNN)方法获取较快的匹配速度。
四、RANSAC粗差剔除
采用KNN等方法获得的SIFT特征点匹配结果仅在特征描述符的欧式距离上对特征匹配结果进行了约束,因而其结果可能存在粗差。为进一步减少匹配结果中的错误匹配,可以利用特征点的几何分布对特征点匹配结果进行几何约束。
RANSAC方法是随机采样一致性算法,是一种从包含异常的数据集中自动提取有效样本数据的方法。其基本思想是,将数据集描述为由符合一定数学模型的“局内点”和不符合数据模型的“局外点”,通过反复随机选择数据集中的一组子集作为“局内点”并建立模型,用这个模型去检查剩余的所有点,越多的点被归类为模型的“局内点”,则模型越合理。对足够合理的模型,用所有假设的“局内点”重新构建模型,并通过局内点与模型的错误的比率对模型进行正确性评价。
在匹配完成后,绕过单应矩阵的具体计算进入后续环节,需要首先确定采取何种相机模型以及何种坐标系作为统一的坐标系。本实施例采取针孔相机模型,并取与周围影像匹配点数最多的影像(在本实施例中称为基准影像)所具有的坐标系为统一坐标系。上述条件确定后,则需要经过两个层次的配准完成全局配准:首先是相邻影像间的配准,即利用相邻影像间的匹配结果计算得到相邻影像间的单应矩阵;其次是在上述基础上,利用单应矩阵变换关系的传递性质,完成所有影像向所选中的基准影像坐标系的配准。
五、基于特征索引的处理加速方法
对影像建立特征索引,具体指影像特征提取完成后,将特征写入文件并建立索引,后续匹配工作不再通过提取影像的特征进行匹配,而是依据索引从特征文件中读取特征参与匹配。这一优化措施可以在基于历史基准图匹配方法中使用。
无人机影像间存在很高的航向重叠与旁向重叠。由于这些重叠度的存在,不同无人机影像与历史基准图进行特征匹配时会产生两部分的重复性工作,其一是,为不同无人机影像准备历史基准图时,同一区域的历史基准图会进行重复多次的切片操作;其二,同一区域的历史基准图与不同无人机影像进行特征提取与匹配时会进行重复的特征提取与匹配。这两部分重复性工作的存在将使得基于历史基准图匹配的方法效率降低。
此外,基于空中三角测量的方法和基于影像间特征匹配的方法中,同一幅无人机影像往往需要多次与周围影像进行特征匹配。此时,如果每次匹配都进行一次特征提取,也会产生大量重复性工作。
为避免上述三种重复性工作,采取事先将历史基准图建立金字塔并在不同层进行特征提取,并将提取的特征据其金字塔级别与地理坐标分块建立索引存放至特征文件中。由于通常利用无人机进行航测时都具有大致的测区规划,因而历史基准图的范围可以事先得知,因此该措施是可行的。对于无人机影像,则在每幅影像都提取特征后,写入相应的特征文件。全部特征文件提取完成后再进行后续操作。
这一措施的采取,首先可以避免上述三种重复性工作。此外,对于无人机影像实时回传的情况,由于影像接收后只需提取无人机影像的特征并与特征文件中的特征进行匹配,不再需要对历史基准图进行切片,同时也避开了对历史基准切片进行特征提取的过程,只需简单地按索引从特征文件中加载特征点。对于空中三角测量,实时回传的影像可以实时完成特征文件的提取,则可以为后续处理节省大量时间。因此,基于历史基准图匹配方法在采取特征索引的措施后,在实时性和速度上都将得到进一步优化。
六、影像抽稀
为进行空中三角测量数据生产,无人机获取的影像之间通常具有很高的重叠度,包括航向重叠与旁向重叠。重叠度的存在,对于需要利用影像重叠进行处理的方法而言是提供了一种必要条件,但是对于不需要重叠度进行处理的方法。因此,对于这类不需要利用重叠度的处理方法,可以对影像进行适当的抽稀。最为直观的策略就是在保存航线两端影像的前提下,对于航线内部的影像可以每相邻两张影像只处理一张。对于旁向重叠度较高的情况,甚至可以直接跳过整条航带处理。这样既保证了处理出来的结果能够完全覆盖测区,又能大量减少计算量,节约时间。
本实施例在实验中利用原型系统分析了各处理方法加速改造前的速度、精度,随后分别验证了所提出的各项加速方法的加速效果,在此基础上统计了各处理方法综合加速后的速度,并最终在前述基础上分析了不同处理方法的优缺点和在典型应急应用中的适用性,证明了采用基于历史基准图匹配的方法,并辅以基于特征索引和影像抽稀的处理加速方法,一种兼顾了速度与精度的改进方法,具有快速、带地理坐标、精度高、可实时预览以及畸变可控等优点。
本发明提出的一种兼顾精度与速度的无人机影像几何处理方法,利用历史基准图匹配的方式进行无人机影像应急几何处理,基于历史基准图匹配的方法着眼于利用同一地区的历史DOM或区域镶嵌图(即本方法中的历史基准图),通过特征匹配的方式将无人机影像直接配准至历史基准图坐标系下。这种思路一方面保持了特征匹配方式的灵活特性,同时通过历史基准图的使用使得产品在精度上与空中三角测量相接近(历史基准图为空中三角测量产品时)。由于只需要进行无人机影像与所对应范围内历史基准图的匹配,此方法也克服了基于影像间特征匹配的方法由于盲目匹配带来的速度慢的问题,是一种兼顾了速度与精度的改进方法。
以上显示和描述了本发明的基本原理、主要特征和优点。尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种兼顾精度与速度的无人机影像几何处理方法,其特征在于,采用基于历史基准图匹配的方法,整体流程包括:数据预处理、数据准备、特征提取、特征匹配、模型解算、影像变换;
所述数据预处理为可选操作,如果成像时倾角过大,则进行直接地理参考处理;如果影像畸变严重,则进行镜头畸变校正;
所述数据准备为加载历史基准图、原始影像及其对应的POS文件,利用外方位元素及原始影像尺寸估算地面覆盖范围,并从历史基准图中裁剪出历史基准图切片;估算范围时,如果有影像对应的无人机姿态信息,则用直接地理参考的方式,通过计算影像四个角点的地面坐标实现范围的计算;
所述特征提取是对裁剪出的历史基准图切片和原始影像分别进行SIFT特征提取;
所述特征匹配是对提取的特征进行匹配,匹配过程分为两个阶段,其一是利用SIFT特征点本身特性,通过KNN方法计算特征描述符间的欧式距离得到初始匹配结果;在此基础上,需要利用RANSAC方法建立特征点间的几何约束,剔除错误的匹配结果;最终的匹配结果即为原始影像的地面控制点;
所述模型解算是利用地面控制点建立原始影像从原始坐标系到地球坐标系的变换关系;模型的解算过程是通过前一环节匹配得到的地面控制点,求解出多项式变换的各项系数或通过匹配结果建立不规则三角网;
所述影像变换是利用建立的模型完成影像的几何纠正;
无人机影像的预处理包括:镜头畸变和成像倾角的处理:
一是镜头畸变,无人机搭载非量测相机,镜头畸变的存在使得地物变形严重,干扰特征的匹配,对于畸变较严重的无人机影像进行畸变校正操作;
二是成像倾角,对于成像倾角过大的情况,采取直接地理参考技术,先对无人机影像进行一次粗略的正射校正,从而消除因倾角过大产生的形变,在此基础上进行特征匹配;
估算地面覆盖范围根据POS文件中信息量的不同,分别采取两种方式估计无人机影像所对应的地面范围;估算地面覆盖范围的第一种方式:如果POS文件中含有姿态信息,则通过直接地理参考的方式,通过使用内外方位元素和共线方程,计算出四个角点的地理坐标并取四个坐标的外接矩形即可得到影像的地面覆盖范围;历史基准图切片保存为内存文件的形式,避开保存切片与匹配时读取切片的两次IO过程;
估算地面覆盖范围的第二种方式:如果POS文件仅含有成像瞬间的坐标信息,所述坐标信息包括经纬度、航高,则根据相机CCD像元大小、镜头焦距、航高、飞行方向以及影像宽高大致估算影像覆盖的地面范围,其方法是:
第一步,首先将坐标视为影像中心点地面坐标,若该坐标是地理坐标,则转换为投影坐标;其次利用CCD像元大小、镜头焦距和航高估算出影像的实际地面采样间隔GSD,
GSD=p×H÷f
其中GSD为计算所得的地面采样间隔,p为CCD像元大小,H为航高,f为焦距;
第二步,根据飞行方向和影像的宽高,估算出影像在地面东西方向和南北方向的覆盖范围;
第三步,估算出影像实际宽高后,根据中心点地面坐标就能换算得到四个角点的坐标,即得到影像地面覆盖范围;
利用特征点的几何分布对特征点匹配结果进行几何约束,从包含异常的数据集中自动提取有效样本数据,将数据集描述为由符合一定数学模型的局内点和不符合数据模型的局外点,通过反复随机选择数据集中的一组子集作为局内点并建立模型,用模型去检查剩余的所有点,越多的点被归类为模型的局内点,则模型越合理,用所有假设的局内点重新构建模型,并通过局内点与模型的错误的比率对模型进行正确性评价;
在匹配完成后,绕过单应矩阵的具体计算进入后续环节,首先确定采取何种相机模型以及何种坐标系作为统一的坐标系,上述条件确定后,经过两个层次的配准完成全局配准:首先是相邻影像间的配准,即利用相邻影像间的匹配结果计算得到相邻影像间的单应矩阵;其次是在上述基础上,利用单应矩阵变换关系的传递性质,完成所有影像向所选中的基准影像坐标系的配准。
2.根据权利要求1所述的一种兼顾精度与速度的无人机影像几何处理方法,其特征在于,通过建立高斯尺度空间和高斯差分尺度空间,在尺度空间中寻找极值点并通过插值获得极值点的精确坐标并记录其尺度;此后则通过计算特征点邻域内的主方向以及领域内各像素的梯度主方向构建特征描述符,特征提取分为四个过程:
第1步,尺度空间极值检测;首先建立尺度空间,模拟影像在不同尺度下的特征,实现尺度变换,唯一的线性核是高斯卷积核,使用高斯差分寻找高斯差分尺度空间内的极值点,每个像素都与它在尺度空间中相邻的像素进行比较,如果该像素为所有值中的极大值或极小值,则此位置为高斯差分尺度空间中的一个极值点;
第2步,关键点定位;检测到的极值点与真实特征点坐标及尺度因子之间存在细微差异通过与周围像素拟合一个三元二次方程的方式解算出真实的特征点和极值坐标,再通过使用海森矩阵方式排除边缘效应、低对比度特征点的干扰;
第3步,方向赋值;为每一个特征点在其邻域内确定一个主方向,以此主方向为坐标轴方向建立特征点的特征描述符;
第4步,特征描述符生成;主方向确定后,将邻域内所有其他像素的梯度方向做相应旋转,亦即将坐标轴旋转至主方向上,以关键点为中心取16*16的窗口,求得该窗口内每个像素的梯度大小与梯度方向,随后对这个16*16的窗口进行高斯卷积,在每4*4个小块上统计一次八个方向的梯度直方图,最终的特征描述符由4*4=16个种子点构成,每个种子点中有8个方向区间,最终特征点描述符有4*4*8=128维,每一维中都包含尺度因子和方向两种信息,对128维的特征描述符进行归一化。
3.根据权利要求1所述的一种兼顾精度与速度的无人机影像几何处理方法,其特征在于,SIFT特征匹配通过计算特征点描述符的欧式距离完成,这一过程采用K最近邻(KNN)方法获取较快的匹配速度。
4.根据权利要求1所述的一种兼顾精度与速度的无人机影像几何处理方法,其特征在于,采用基于特征索引的无人机影像应急处理加速方法,影像特征提取完成后,将特征写入文件并建立索引,后续匹配工作依据索引从特征文件中读取特征参与匹配;
对于无人机影像,采取事先将历史基准图建立金字塔并在不同层进行特征提取,并将提取的特征据其金字塔级别与地理坐标分块建立索引存放至特征文件中,在每幅影像都提取特征后,写入相应的特征文件,全部特征文件提取完成后再进行后续操作。
5.根据权利要求1所述的一种兼顾精度与速度的无人机影像几何处理方法,其特征在于,采用基于影像抽稀的无人机影像应急处理加速方法,在保存航线两端影像的前提下,对于航线内部的影像每相邻两张影像只处理一张;对于旁向重叠度高的情况,直接跳过整条航带处理。
CN201710779887.2A 2017-09-01 2017-09-01 一种兼顾精度与速度的无人机影像几何处理方法 Active CN107527328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710779887.2A CN107527328B (zh) 2017-09-01 2017-09-01 一种兼顾精度与速度的无人机影像几何处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710779887.2A CN107527328B (zh) 2017-09-01 2017-09-01 一种兼顾精度与速度的无人机影像几何处理方法

Publications (2)

Publication Number Publication Date
CN107527328A CN107527328A (zh) 2017-12-29
CN107527328B true CN107527328B (zh) 2020-10-27

Family

ID=60683229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710779887.2A Active CN107527328B (zh) 2017-09-01 2017-09-01 一种兼顾精度与速度的无人机影像几何处理方法

Country Status (1)

Country Link
CN (1) CN107527328B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681337B (zh) * 2018-05-21 2021-04-16 河北嫦娥智能科技有限公司 一种涵洞或桥梁专用巡查无人机及无人机巡查方法
CN108731686B (zh) * 2018-05-30 2019-06-14 淮阴工学院 一种基于大数据分析的无人机导航控制方法及系统
CN108830811A (zh) * 2018-06-12 2018-11-16 西安微电子技术研究所 一种飞行参数与相机内参相结合的航空影像实时校正方法
CN109827548A (zh) * 2019-02-28 2019-05-31 华南机械制造有限公司 无人机航测数据的处理方法
CN111581407B (zh) * 2020-04-20 2023-09-12 国家卫星气象中心(国家空间天气监测预警中心) 一种构建全球地理定位参考影像数据库的方法、装置及介质
CN111707238B (zh) * 2020-05-29 2021-04-09 广东省国土资源测绘院 一种生成航空数字正射影像图的方法及系统
CN112215739B (zh) * 2020-10-12 2024-05-17 中国石油化工股份有限公司 一种用于AutoCAD的正射影图文件处理方法、装置及存储介质
CN113405527B (zh) * 2021-06-11 2022-07-22 湖北知寸航测科技有限公司 一种基于自适应算法的无人机测绘方法及系统
CN113624231B (zh) * 2021-07-12 2023-09-12 北京自动化控制设备研究所 基于异源图像匹配的惯性视觉组合导航定位方法及飞行器
CN114255051B (zh) * 2021-12-21 2023-04-18 中科星通(廊坊)信息技术有限公司 基于立体测绘卫星的正射产品的真实性检验方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1606766B1 (en) * 2003-03-23 2013-05-08 M.A.M.D. Digital Data Processing Systems Ltd. Automatic processing of aerial images
CN103337052A (zh) * 2013-04-17 2013-10-02 国家测绘地理信息局卫星测绘应用中心 面向宽幅遥感影像的自动几何纠正方法
CN103383773A (zh) * 2013-03-26 2013-11-06 中国科学院遥感与数字地球研究所 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1606766B1 (en) * 2003-03-23 2013-05-08 M.A.M.D. Digital Data Processing Systems Ltd. Automatic processing of aerial images
CN103383773A (zh) * 2013-03-26 2013-11-06 中国科学院遥感与数字地球研究所 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法
CN103337052A (zh) * 2013-04-17 2013-10-02 国家测绘地理信息局卫星测绘应用中心 面向宽幅遥感影像的自动几何纠正方法

Also Published As

Publication number Publication date
CN107527328A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN107527328B (zh) 一种兼顾精度与速度的无人机影像几何处理方法
CN107480727B (zh) 一种sift和orb相结合的无人机影像快速匹配方法
CN101604018B (zh) 高分辨率遥感影像数据处理方法及其系统
Piermattei et al. Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes
US7528938B2 (en) Geospatial image change detecting system and associated methods
US20070162193A1 (en) Accuracy enhancing system for geospatial collection value of an image sensor aboard an airborne platform and associated methods
Sauerbier et al. The practical application of UAV-based photogrammetry under economic aspects
Verykokou et al. Oblique aerial images: a review focusing on georeferencing procedures
CN115187798A (zh) 一种多无人机高精度匹配定位方法
CN102243299B (zh) 无人机载sar图像正射纠正装置
Aplin 2 Comparison of simulated IKONOS and SPOT HRV imagery for
Lenz et al. Automatic in-flight boresight calibration considering topography for hyperspectral pushbroom sensors
Kocaman et al. 3D city modeling from high-resolution satellite images
Maurice et al. A photogrammetric approach for map updating using UAV in Rwanda
Yoo et al. True orthoimage generation by mutual recovery of occlusion areas
Karantzalos et al. Model-based building detection from low-cost optical sensors onboard unmanned aerial vehicles
Jin ENVI automated image registration solutions
CN114418858A (zh) 遥感影像的镶嵌方法、装置、设备及存储介质
Zhang et al. Matching of Ikonos stereo and multitemporal GEO images for DSM generation
Wang et al. A method for generating true digital orthophoto map of UAV platform push-broom hyperspectral scanners assisted by lidar
Zhang et al. Tests and performance evaluation of DMC images and new methods for their processing
XUE et al. Global 3d modeling and its evaluation for large-scale highway tunnel using laser range sensor
CN107843240B (zh) 一种海岸带区域无人机影像同名点信息快速提取方法
Oštir et al. Automatic near-real-time image processing chain for very high resolution optical satellite data
Toutin Three-dimensional geometric correction of Earth observation satellite data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No.68, Jindong Road, Hushan street, Wuyi County, Jinhua City, Zhejiang Province

Applicant after: Ice bud

Address before: 201 No. 448000 Jingmen city of Hubei province Duodao District Peigong Road (people's Park Ave) building C2-5

Applicant before: Ice bud

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220425

Address after: 750000 room 403-1, building 6, phase II, IBI Yucheng center, 490 Ning'an street, Jinfeng District, Yinchuan City, Ningxia Hui Autonomous Region

Patentee after: Ningxia Space Information Technology Co.,Ltd.

Address before: 321200 No. 68, Jindong Road, Hushan street, Wuyi County, Jinhua City, Zhejiang Province

Patentee before: Ice bud

TR01 Transfer of patent right