CN112991408B - 大场景高分辨率遥感图像自适应区域多特征配准方法及系统 - Google Patents

大场景高分辨率遥感图像自适应区域多特征配准方法及系统 Download PDF

Info

Publication number
CN112991408B
CN112991408B CN202110415824.5A CN202110415824A CN112991408B CN 112991408 B CN112991408 B CN 112991408B CN 202110415824 A CN202110415824 A CN 202110415824A CN 112991408 B CN112991408 B CN 112991408B
Authority
CN
China
Prior art keywords
image
ref
tar
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110415824.5A
Other languages
English (en)
Other versions
CN112991408A (zh
Inventor
康旭东
李泽洲
李树涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Xinxin Xiangrong Intelligent Technology Co ltd
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110415824.5A priority Critical patent/CN112991408B/zh
Publication of CN112991408A publication Critical patent/CN112991408A/zh
Application granted granted Critical
Publication of CN112991408B publication Critical patent/CN112991408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种大场景高分遥感图像自适应区域多特征配准方法及系统，包括对输入的参考图像和目标图像提取相同大小的分块区域，并提取分块图像区域的多种特征进行特征匹配得到局部区域图像多特征集合，剔除多种特征中不满足特征匹配误差阈值的离群匹配特征，对不满足阈值的局部图像区域逐级进行金字塔形区域扩增，降采样扩增后的局部区域，选择满足阈值的局部区域作为最终多特征提取区域，结束区域扩增，组合满足条件的图像多特征集合后利用高斯权重计算匹配特征在全局图像变换模型中的权重参数，最终将目标图像变换得到配准图像。本发明能够实现多时相大场景高分辨遥感图像高精度配准，在实际多时相高分辨率遥感应用中具有非常重要的价值。

Description

大场景高分辨率遥感图像自适应区域多特征配准方法及系统
技术领域
本发明涉及一种大场景高分辨率遥感图像配准方法，具体涉及一种大场景高分辨率遥感图像自适应区域多特征配准方法及系统。
背景技术
多时相遥感图像配准是对同一区域在不同时间段、不同拍摄条件下的两幅或多幅图像建立对应关系、求解几何变换参数、并校正图像的过程，已成为地理测绘、环境变化监测等遥感重要应用的关键技术。近年来，随着高分辨率遥感卫星技术的发展，所获取图像的分辨率日益提高，幅宽不断增大，给多时相遥感图像配准工作带来巨大挑战。因此，大场景高分辨率遥感图像的高效高精度配准成为了近年遥感图像应用研究的热点与难点问题。
遥感图像配准的方法大致分为三类：基于图像灰度的图像配准方法、特征的图像配准方法、域的图像配准方法。这些方法在小幅的多时相或多模态遥感图像中能获得较高的配准精度。但是，在处理大幅宽高分辨率遥感图像时，使用上述方法将产生很高的计算代价。除此之外，单一的全局图像特征变换模型不能准确描述局部区域图像的变换关系，无法实现图像快速高精度的配准。因此，需要对大场景图像进行分块处理，但由于多时相图像局部区域背景环境变化差异大、存在像素偏移差异，简单固定分块方法导致图像特征提取数量少，特征匹配容易失效，给求解局部图像变换模型的参数造成困难，仅对大场景高分辨率的宽幅遥感图像固定分块处理难以提高图像配准的精度。
发明内容
本发明要解决的技术问题：针对现有技术大场景高分辨率遥感图像配准中计算代价大、单一全局特征变换模型不能准确描述复杂区域的难题，提供一种大场景高分辨率遥感图像自适应区域多特征配准方法及系统，本发明能够实现多时相大场景高分辨率遥感图像高精度配准，大场景高分辨率遥感图像配准中计算代价低、多变换模型能准确描述复杂区域。
为了解决上述技术问题，本发明采用的技术方案为：
一种大场景高分辨率遥感图像自适应区域多特征配准方法，包括：
1）对输入的参考图像I ref 和目标图像I tar 分别进行相同大小的分块区域提取，得到参考图像分块集合B ref 、目标图像分块集合B tar ；
2）分别针对参考图像分块集合B ref 中的每一个参考图像分块区域B ref-i 、目标图像分块集合B tar 中的每一个目标图像分块区域B tar-i 提取多种局部图像特征；
3）针对每一种局部图像特征对参考图像I ref 和目标图像I tar 进行图像特征匹配，得到局部区域图像多特征集合；
4）分别计算各种局部图像特征下的图像特征匹配误差，剔除特征匹配误差大于允许阈值T error 的离群匹配特征，剔除错误关系的匹配特征对，形成新的局部区域图像多特征集合；
5）判断新的局部区域图像多特征集合中的特征数量小于预设阈值num是否成立，若成立，则跳转执行步骤6）；否则，将参考图像I ref 中所有当前的参考图像分块区域B ref-i 、目标图像I tar 中所有当前的目标图像分块区域B tar-i 分别以原图中心向四周进行扩增后再降采样为原图像大小并映射回原图的图像特征坐标，得到新的参考图像分块区域B ref-i 、目标图像分块区域B tar-i ；跳转执行步骤2）；
6）将匹配后的多种局部图像特征组合得到全局图像的多特征集合；
7）基于全局图像的多特征集合，建立全局图像和分块区域的局部图像之间的全局图像变换模型，并利用高斯权重计算匹配特征点在全局图像变换模型中的权重参数；
8）根据所述全局图像变换模型对目标图像I tar 进行变换，得到最终配准图像I' tar 。
可选地，步骤2）中提取的多种局部图像特征包括点特征、线特征和相位特征。
可选地，所述点特征包括点的梯度幅值和角度幅值。
可选地，步骤3）包括：
3.1）针对参考图像I ref 和目标图像I tar 的点特征集{P 1 ref , P 2 ref ,…,P A ref }、{P 1 tar , P 2 tar ,…,P A tar }，其中P 1 ref ～P A ref 分别表示参考图像中提取得到的第1～A个点特征，P 1 tar ～P A tar 分别表示目标图像中提取得到的第1～A个点特征，A为提取得到的点特征数量，将所有点特征的梯度幅值以及角度幅值构建高斯尺度空间生成点特征的多维特征直方图，并确定点特征的主方向；
3.2）确定点特征的主方向后，对参考图像分块区域B ref-i 以及目标图像分块区域B tar-i 中检测到的点特征计算欧氏距离，找到最近距离和次近距离并计算最近距离和次近距离的比值，将最近距离和次近距离的比值大于等于预设阈值T d 的点特征对作为匹配点特征对，并从匹配点特征对中删除离群的匹配点特征对，得到匹配后的参考图像I ref 和目标图像I tar 的点特征匹配特征集{P 1 ref , P 2 ref ,…,P a ref }、{P 1 tar , P 2 tar ,…,P a tar }，其中P 1 ref ～P a ref 分别表示参考图像中匹配得到的第1～a个点特征，P 1 tar ～P a tar 分别表示目标图像中匹配得到的第1～a个点特征，a为点特征匹配后的点特征数量；
3.3）结合参考图像I ref 和目标图像I tar 的线特征集{L 1 ref , L 2 ref ,…,L B ref }、{L 1 tar , L 2 tar ,…,L B tar }，其中L 1 ref ～L B ref 分别表示参考图像中提取得到的第1～B个线特征，L 1 tar ～L B tar 分别表示目标图像中提取得到的第1～B个点特征，B为提取得到的线特征数量，利用点特征和相位特征的匹配实现线特征的匹配过程，得到参考图像和目标图像匹配的线特征集合{L 1 ref , L 2 ref ,…,L b ref }、{L 1 tar , L 2 tar ,…,L b tar }作为局部区域图像多特征集合，其中L 1 ref ～L b ref 分别表示参考图像中匹配得到的第1～b个线特征，L 1 tar ～L b tar 分别表示目标图像中匹配得到的第1～b个线特征，b为线特征匹配后的线特征数量，且线特征匹配后的线特征存在l ref ×x i +l ref ×y i +1=0、l tar ×u i + l tar ×v i +1=0，其中l ref 表示参考图像中线特征的结构参数，l tar 表示目标图像中线特征的结构参数，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，u i 和v i 表示目标图像I tar 中和参考图像I ref 经过变换后对应的特征点的行坐标和列坐标值。
可选地，步骤4）中计算多种局部图像特征下的图像特征匹配误差的函数表达式为：
Figure 977902DEST_PATH_IMAGE001
上式中，RMSE表示多种局部图像特征下的图像特征匹配误差，N af 为匹配后的多种局部图像特征集合中的特征数量，i为特征点的序号，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，u i 和v i 表示目标图像I tar 中和参考图像I ref 经过变换后对应的特征点的行坐标和列坐标值，且变换的函数表达式为：
Figure 646781DEST_PATH_IMAGE002
上式中，H表示参考图像分块集合B ref 、目标图像分块集合B tar 之间的变换矩阵。
可选地，步骤5）中将参考图像I ref 中所有当前的参考图像分块区域B ref-i 、目标图像I tar 中所有当前的目标图像分块区域B tar-i 分别以原图中心向四周进行扩增时，扩增后的参考图像分块区域B ref-i 、目标图像分块区域B tar-i 的区域面积为原区域面积的2倍。
可选地，步骤5）中映射回原图的图像特征坐标的函数表达式为：
Figure 702461DEST_PATH_IMAGE003
上式中，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，
Figure 456791DEST_PATH_IMAGE004
分别表示x i 和y i 降采样后行坐标和列坐标值，μ表示扩增后的区域图像降采样的次数。
可选地，步骤7）中建立的全局图像变换模型的函数表达式为：
Figure 193803DEST_PATH_IMAGE005
上式中，H g 表示全局图像变换模型，N为局部图像变换模型的总数，w i 为局部图像变换模型权重，H i l 为局部图像变换模型，且其中w i 的函数表达式为：
Figure 717188DEST_PATH_IMAGE006
上式中，w i (x i , y i )表示为匹配点特征在全局图像变换模型中的权重参数，W i (x i , y i )为匹配特征的高斯权重，且计算匹配点特征在全局图像变换模型中的权重参数的函数表达式为：
Figure 963011DEST_PATH_IMAGE007
上式中，W i (x i , y i )为匹配点特征的高斯权重，(x i , y i )表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，(x, y)为分块区域中心的像素点坐标，σ i 为尺度因子。
此外，本发明还提供一种大场景高分辨率遥感图像自适应区域多特征配准系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述大场景高分辨率遥感图像自适应区域多特征配准方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述大场景高分辨率遥感图像自适应区域多特征配准方法的计算机程序。
和现有技术相比，本发明具有下述优点：本发明能够根据特征提取数量和特征匹配误差来自适应提取局部区域图像多特征，能有效解决大场景下局部图像场景变化差异大、固定分块造成的图像特征数量少和单一特征提取匹配失效的问题，实现多时相大场景高分辨率遥感图像的高精度配准。因此，本发明所提出的遥感图像配准方法具有很强的鲁棒性，在实际多时相高分辨率遥感应用中具有非常重要的价值。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中的多时相序列大场景高分辨率遥感图像数据（a）-（h）。
图3为本发明实施例中参考图像（a）和目标图像（b）的相同大小分块图。
图4为本发明实施例中得到的提取结果图以及多特征的匹配图，其中（a1）为局部图像多特征（点、线、相位特征）的提取结果图，（a2）为局部图像多特征的匹配图，（a）为参考图像，（b）为目标图像。
图5为本发明实施例中提取匹配失效情况下得到的提取结果图以及多特征的匹配图，其中（a1）为局部图像多特征（点、线、相位特征）的提取结果图，（b1）为局部图像多特征的匹配图，（a）为参考图像，（b）为目标图像。
图6为本发明实施例中自适应扩增后得到的提取结果图以及多特征的匹配图，其中（a2）为局部图像多特征（点、线、相位特征）的提取结果图，（b2）为局部图像多特征的匹配图，（a）为参考图像，（b）为目标图像。
图7为位置(x i , y i )、(x, y)之间匹配点特征的高斯权重示意图。
图8为本发明实施例中的全局图像多特征集合的特征匹配情况图以及仿真实验结果图，其中（a）为全局图像多特征集合的特征匹配情况图，（b）为多时相大场景高分辨率遥感图像配准仿真实验结果图。
具体实施方式
如图1所示，本实施例大场景高分辨率遥感图像自适应区域多特征配准方法包括：
1）对输入的参考图像I ref 和目标图像I tar 分别进行相同大小的分块区域提取，得到参考图像分块集合B ref 、目标图像分块集合B tar ；
2）分别针对参考图像分块集合B ref 中的每一个参考图像分块区域B ref-i 、目标图像分块集合B tar 中的每一个目标图像分块区域B tar-i 提取多种局部图像特征；
3）针对每一种局部图像特征对参考图像I ref 和目标图像I tar 进行图像特征匹配，得到局部区域图像多特征集合，以及每一个目标图像分块区域B tar-i 的局部图像变换模型；
4）分别计算各种局部图像特征下的图像特征匹配误差，剔除特征匹配误差大于允许阈值T error 的离群匹配特征，剔除错误关系的匹配特征对，形成新的局部区域图像多特征集合；
5）判断新的局部区域图像多特征集合中的特征数量小于预设阈值num是否成立，若成立，则跳转执行步骤6）；否则，将参考图像I ref 中所有当前的参考图像分块区域B ref-i 、目标图像I tar 中所有当前的目标图像分块区域B tar-i 分别以原图中心向四周进行扩增后再降采样为原图像大小并映射回原图的图像特征坐标，得到新的参考图像分块区域B ref-i 、目标图像分块区域B tar-i ；跳转执行步骤2）；
6）将匹配后的多种局部图像特征组合得到全局图像的多特征集合；
7）基于全局图像的多特征集合，建立全局图像和分块区域的局部图像之间的全局图像变换模型，并利用高斯权重计算匹配特征点在全局图像变换模型中的权重参数；
8）根据所述全局图像变换模型对目标图像I tar 进行变换，得到最终配准图像I' tar 。
图2所示为本实施例中作为目标图像的多时相序列大场景高分辨率遥感图像数据（a）-（h）的图像示例。步骤1）对输入的参考图像I ref 和目标图像I tar 分别进行相同大小的分块区域提取时，参考图像I ref 和目标图像I tar 两者的分块区域大小相同，如图3所示。
多种局部图像特征可以根据需要选择各类可用的图像特征，例如作为一种可选的实施方式，本实施例步骤2）中提取的多种局部图像特征包括点特征、线特征和相位特征；步骤3）中的进行图像特征匹配包括点特征匹配、线特征匹配以及相位特征匹配。
点特征可以根据需要选择各类可用的图像点特征，例如作为一种可选的实施方式，本实施例中点特征包括点的梯度幅值和角度幅值。
作为一种可选的实施方式，本实施例中提取点特征的步骤包括：
2.1A）分别根据下式对参考图像分块集合B ref 、目标图像分块集合B tar 进行高斯平滑；
Figure 204637DEST_PATH_IMAGE008
（1）
上式中，p ref-i (x ref-i , y ref-i ,σ ref-i )表示参考图像经过高斯滤波后的图像，x ref-i 表示参考图像中像素位置的横坐标，y ref-i 表示参考图像像素位置的纵坐标，σ ref-i 表示参考图像分块集合B ref 的尺度空间因子，m和n表示高斯模板维度。
Figure 479760DEST_PATH_IMAGE009
（2）
上式中，p tar-i (x tar-i , y tar-i ,σ tar-i )表示目标图像经过高斯滤波后的图像，x tar-i 表示目标图像中像素位置的横坐标，y tar-i 表示目标图像像素位置的纵坐标，σ tar-i 表示目标图像分块集合B tar-i 的尺度空间因子，m和n表示高斯模板维度。
2.2A）分别计算对高斯平滑后的参考图像分块集合B ref 、目标图像分块集合B tar 中的所有点特征的梯度幅值：
Figure 185548DEST_PATH_IMAGE010
（3）
上式中，B ref-i (x ref-i , y ref-i )表示参考图像的像素点梯度幅值，G ref-i (x ref-i +1, y ref-i )表示参考图像分块集合B ref-i 中坐标(x ref-i +1, y ref-i )处的像素灰度值，G ref-i (x ref-i -1, y ref-i )表示参考图像分块集合B ref-i 中坐标(x ref-i -1, y ref-i )处的像素灰度值，G ref-i (x ref-i , y ref-i +1)表示参考图像分块集合B ref-i 中坐标(x ref-i , y ref-i +1)处的像素灰度值，G ref-i (x ref-i , y ref-i -1)表示参考图像分块集合B ref-i 中坐标(x ref-i , y ref-i -1)处的像素灰度值，P1和P2为中间变量。
Figure 520714DEST_PATH_IMAGE011
（4）
上式中，B tar-i (x tar-i , y tar-i )表示目标图像的像素点梯度幅值，G tar-i (x tar-i +1, y tar-i )表示目标图像分块集合B tar-i 中坐标(x tar-i +1, y tar-i )处的像素灰度值，G tar-i (x tar-i -1, y tar-i )表示目标图像分块集合B tar-i 中坐标(x tar-i -1, y tar-i )处的像素灰度值，G tar-i (x tar-i , y tar-i +1)表示目标图像分块集合B tar-i 中坐标(x tar-i , y tar-i +1)处的像素灰度值，G tar-i (x tar-i , y tar-i -1)表示目标图像分块集合B tar-i 中坐标(x tar-i , y tar-i -1)处的像素灰度值,P3和P4为中间变量。
2.3A）分别对高斯平滑后的参考图像分块集合B ref 、目标图像分块集合B tar 中的所有点特征的角度幅值：
Figure 249636DEST_PATH_IMAGE012
（5）
上式中，θ ref-i (x ref-i , y ref-i )_表示参考图像的像素点角度幅值，G ref-i (x ref-i +1, y ref-i )表示参考图像分块集合B ref-i 中坐标(x ref-i +1, y ref-i )处的像素灰度值，G ref-i (x ref-i -1, y ref-i )表示参考图像分块集合B ref-i 中坐标(x ref-i -1, y ref-i )处的像素灰度值，G ref-i (x ref-i , y ref-i +1)表示参考图像分块集合B ref-i 中坐标(x ref-i , y ref-i +1)处的像素灰度值，G ref-i (x ref-i , y ref-i -1)表示参考图像分块集合B ref-i 中坐标(x ref-i , y ref-i -1)处的像素灰度值。
Figure 328450DEST_PATH_IMAGE013
（6）
上式中，θ tar-i (x tar-i , y tar-i )表示目标图像的像素点角度幅值，G tar-i (x tar-i +1, y tar-i )表示目标图像分块集合B tar-i 中坐标(x tar-i +1, y tar-i )处的像素灰度值，G tar-i (x tar-i -1, y tar-i )表示目标图像分块集合B tar-i 中坐标(x tar-i -1, y tar-i )处的像素灰度值，G tar-i (x tar-i , y tar-i +1)表示目标图像分块集合B tar-i 中坐标(x tar-i , y tar-i +1)处的像素灰度值，G tar-i (x tar-i , y tar-i -1)表示目标图像分块集合B tar-i 中坐标(x tar-i , y tar-i -1)处的像素灰度值。
本实施例中，提取线特征采用的是LSD算法，分别针对参考图像分块集合B ref 中的每一个参考图像分块区域B ref-i 、目标图像分块集合B tar 中的每一个目标图像分块区域B tar-i 采用LSD算法提取线特征，得到参考图像I ref 和目标图像I tar 的线特征集{L 1 ref , L 2 ref ,…,L B ref }、{L 1 tar , L 2 tar ,…,L B tar }，其中L 1 ref ～L B ref 分别表示参考图像中提取得到的第1～B个线特征，L 1 tar ～L B tar 分别表示目标图像中提取得到的第1～B个线特征，B为提取得到的线特征数量。
本实施例中，提取相位特征的步骤包括：
2.1B）分别选取方向o=6和尺度n=4的log-Gabor小波变换，分别针对参考图像分块集合B ref 中的每一个参考图像分块区域B ref-i 、目标图像分块集合B tar 中的每一个目标图像分块区域B tar-i 计算相位一致性测度PC(θ pc )，其中θ pc 表示位置坐标，计算函数表达式为：
Figure 639477DEST_PATH_IMAGE014
（7）
Figure 411124DEST_PATH_IMAGE015
（8）
上式中，θ pc =(x ref , y ref )为参考图像分块区域B ref-i 中的位置坐标，和θ pc =(x tar , y tar )为目标图像分块区域B tar-i 中的位置坐标，W o (x ref , y ref )为位置坐标(x ref , y ref )的权重，W o (x tar , y tar )为位置坐标(x tar , y tar )的权重，A no (x ref , y ref )为位置坐标(x ref , y ref )处的方向o和尺度n对应的振幅，A no (x tar , y tar )为位置坐标(x tar , y tar )处的方向o和尺度n对应的振幅，Δφ no (x ref , y ref )为位置坐标(x ref , y ref )的相位偏差，Δφ no (x tar , y tar )为位置坐标(x tar , y tar )的相位偏差，T表示噪声阈值，└┘表示如果值为正，等于其本身，否则值为0，ε为常数。
2.2B）求解最大矩M和最小矩m，其函数表达式为：
Figure 361763DEST_PATH_IMAGE016
（9）
Figure 244268DEST_PATH_IMAGE017
（10）
Figure 659069DEST_PATH_IMAGE018
（11）
Figure 601617DEST_PATH_IMAGE019
（12）
其中，θ pc 为位置坐标，PC(θ pc )为位置坐标θ pc 处的相位一致性测度，即相位特征，最终分别得到参考图像I ref 和目标图像I tar 的相位特征集{pf 1 ref , pf 2 ref ,…,pf C ref }、{pf 1 tar , pf 2 tar ,…,pf C tar }，其中pf 1 ref ～pf C ref 分别表示参考图像中提取得到的第1～C个相位特征，pf 1 tar ～pf C tar 分别表示目标图像中提取得到的第1～C个相位特征，C为提取得到的相位特征数量。在此基础上，统计特征点为中心6个梯度方向直方图特征向量生成特征描述符进行特征匹配，采用欧氏距离进行相似性度量，利用RANSAC算法（随机抽样一致性算法）剔除错误匹配关系的特征点对，最终得到参考图像和目标图像的相位特征匹配集合。
本实施例中，步骤3）包括：
3.1）针对参考图像I ref 和目标图像I tar 的点特征集{P 1 ref , P 2 ref ,…,P A ref }、{P 1 tar , P 2 tar ,…,P A tar }，其中P 1 ref ～P A ref 分别表示参考图像中提取得到的第1～A个点特征，P 1 tar ～P A tar 分别表示目标图像中提取得到的第1～A个点特征，A为提取得到的点特征数量，将所有点特征的梯度幅值以及角度幅值构建高斯尺度空间生成点特征的多维特征直方图（本实施例中为128维特征直方图），并确定点特征的主方向；
3.2）确定点特征的主方向后，对参考图像分块区域B ref-i 以及目标图像分块区域B tar-i 中检测到的点特征计算欧氏距离，找到最近距离和次近距离并计算最近距离和次近距离的比值，将最近距离和次近距离的比值大于等于预设阈值T d （通常为0.5）的点特征对作为匹配点特征对，并从匹配点特征对中删除离群的匹配点特征对（例如可根据需要采用随机抽样一致性算法），得到匹配后的参考图像I ref 和目标图像I tar 的点特征匹配特征集{P 1 ref , P 2 ref ,…,P a ref }、{P 1 tar , P 2 tar ,…,P a tar }，其中P 1 ref ～P a ref 分别表示参考图像中匹配得到的第1～a个点特征，P 1 tar ～P a tar 分别表示目标图像中匹配得到的第1～a个点特征，a为点特征匹配后的点特征数量；
3.3）结合参考图像I ref 和目标图像I tar 的线特征集{L 1 ref , L 2 ref ,…,L B ref }、{L 1 tar , L 2 tar ,…,L B tar }，其中L 1 ref ～L B ref 分别表示参考图像中提取得到的第1～B个线特征，L 1 tar ～L B tar 分别表示目标图像中提取得到的第1～B个点特征，B为提取得到的线特征数量，利用点特征和相位特征的匹配实现线特征的匹配过程，得到参考图像和目标图像匹配的线特征集合{L 1 ref , L 2 ref ,…,L b ref }、{L 1 tar , L 2 tar ,…,L b tar }作为局部区域图像多特征集合，其中L 1 ref ～L b ref 分别表示参考图像中匹配得到的第1～b个线特征，L 1 tar ～L b tar 分别表示目标图像中匹配得到的第1～b个线特征，b为线特征匹配后的线特征数量，且线特征匹配后的线特征存在l ref ×x i +l ref ×y i +1=0、l tar ×u i + l tar ×v i +1=0，其中l ref 表示参考图像中线特征的结构参数，l tar 表示目标图像中线特征的结构参数，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，u i 和v i 表示目标图像I tar 中和参考图像I ref 经过变换后对应的特征点的行坐标和列坐标值。
在此基础上，在笛卡尔坐标系下有：
Figure 39552DEST_PATH_IMAGE020
（13）
且则每一个目标图像分块区域B tar-i 的局部图像变换模型为：
Figure 273218DEST_PATH_IMAGE021
（14）
其中，H L 为线特征匹配的变换模型矩阵。
本实施例中，步骤3）得到的结果如图4所示，其中子图（a1）为局部图像多特征（点、线、相位特征）的提取结果图，子图（a2）为局部图像多特征的匹配图。
本实施例中，步骤4）中计算多种局部图像特征下的图像特征匹配误差的函数表达式为：
Figure 745788DEST_PATH_IMAGE001
（15）
上式中，RMSE表示多种局部图像特征下的图像特征匹配误差，N af 为匹配后的多种局部图像特征集合中的特征数量，i为特征点的序号，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，u i 和v i 表示目标图像I tar 中和参考图像I ref 经过变换后对应的特征点的行坐标和列坐标值，且变换的函数表达式为：
Figure 859237DEST_PATH_IMAGE022
（16）
上式中，H表示参考图像分块集合B ref 、目标图像分块集合B tar 之间的变换矩阵。
本实施例中，步骤5）中判断新的局部区域图像多特征集合中的特征数量小于预设阈值num是否成立时，预设阈值num取值为4。
本实施例中，步骤5）中将参考图像I ref 中所有当前的参考图像分块区域B ref-i 、目标图像I tar 中所有当前的目标图像分块区域B tar-i 分别以原图中心向四周进行扩增时，扩增的系数或倍数可以根据需要进行选择，例如作为一种可选的实施方式，本实施例中扩增后的参考图像分块区域B ref-i 、目标图像分块区域B tar-i 的区域面积为原区域面积的2倍，该经验值可实现效率和配准效果之间的均衡。
本实施例中，步骤5）中将参考图像I ref 中所有当前的参考图像分块区域B ref-i 、目标图像I tar 中所有当前的目标图像分块区域B tar-i 分别以原图中心向四周进行扩增时，扩增后的参考图像分块区域B ref-i 、目标图像分块区域B tar-i 的区域面积为原区域面积的2倍。每进行一次区域扩增之后，为了加快扩增后的局部图像多特征提取与匹配速度，把区域扩增之后的图像进行图像降采样到扩增之前的图像大小，之后再进行图像的多特征提取，再计算多特征匹配的特征匹配误差，直到小于允许阈值T error 时结束区域扩增。本实施例中，步骤5）中映射回原图的图像特征坐标的函数表达式为：
Figure 784468DEST_PATH_IMAGE023
（17）
上式中，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，
Figure 71093DEST_PATH_IMAGE004
分别表示x i 和y i 降采样后行坐标和列坐标值，μ表示扩增后的区域图像降采样的次数。将降采样后图像提取匹配得到的特征点映射回原图图像坐标系中，之后保存满足匹配误差条件的多特征集合，见图5和图6中子图（b1）、（b2）的面积等于图5和图6中子图（a1）、（a2）的面积，但特征提取区域面积范围却是扩增前的区域面积的两倍，并且找到了更多更完全的图像特征匹配特征对和正确的匹配关系，更准确的计算局部图像的变换模型关系，参见图5和图6中子图（b1）、（b2）所示。
根据公式（16）计算从参考图像分块集合B ref 、目标图像分块集合B tar 中得到多特征匹配集合的图像全局变换模型H g ，参见图8中子图(a)所示，参考图像和目标图像经过区域自适应特征提取后得到的全局正确特征关系匹配对，得到更全面和正确的匹配特征对关系为后续精确的局部图像特征权重的求解及模型变换提供保障。根据全局变换模型H g 产生一系列局部多变换模型，本实施例中步骤7）中建立的全局图像变换模型的函数表达式为：
Figure 132590DEST_PATH_IMAGE024
上式中，H g 表示全局图像变换模型，N为局部图像变换模型的总数，w i 为局部图像变换模型权重，H i l 为局部图像变换模型，且其中w i 的函数表达式为：
Figure 416940DEST_PATH_IMAGE025
上式中，w i (x i , y i )表示为匹配点特征在全局图像变换模型中的权重参数，W i (x i , y i )为匹配特征的高斯权重，且计算匹配点特征在全局图像变换模型中的权重参数的函数表达式为：
Figure 829467DEST_PATH_IMAGE026
上式中，W i (x i , y i )为匹配点特征的高斯权重，(x i , y i )表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，(x, y)为分块区域中心的像素点坐标，σ i 为尺度因子。图7为位置(x i , y i )、(x, y)之间匹配点特征的高斯权重示意图。最终输出多变换模型后的目标图像配准图像，参见图8中的子图(b)所示的参考图像I ref 和目标图像I tar 的配准棋盘格图，各区域子块之间配准视觉效果好，精度较高。
综上所述，本实施例方法首先将输入的两幅不同时相大场景高分辨率遥感图像划分为相同大小区域；提取两幅图像对应局部区域的多种特征（点、线、相位特征）进行特征匹配，自适应剔除多种特征中不满足特征匹配误差阈值的特征匹配对；对未达到特征提取数量阈值和特征匹配误差阈值的局部图像区域逐次进行金字塔形图像区域扩增；对扩增后的区域图像进行降采样，以减少金字塔形区域扩增产生的计算代价，然后提取降采样后局部区域的多特征，并计算特征提取数量和特征匹配误差；选择满足阈值的局部区域作为最终多特征提取区域，结束金字塔形区域扩增，再进行后续图像变换模型计算和配准。本实施例方法的第一个特点是采用金字塔形图像区域自适应扩增，解决大场景高分辨率遥感图像固定分块后图像场景变化大特征提取数量不足的问题；本实施例方法的第二个特点是采用多特征的图像特征提取，利用点、线、相位特征取代单一特征，有效解决大场景高分辨率遥感图像中场景变化大导致的特征匹配失效问题；本实施例方法的第三个特点是采用多单应性变换模型对局部图像进行模型变换，解决单一全局变换模型无法达到局部图像准确配准的问题，提升全局图像配准的精度。综上所述，本实施例方法能够根据特征提取数量和特征匹配误差来自适应提取局部区域图像多特征，能有效解决大场景下局部图像场景变化差异大、固定分块造成的图像特征数量少和单一特征提取匹配失效的问题，实现多时相大场景高分辨率遥感图像的高精度配准。因此，本实施例所提出的遥感图像配准方法具有很强的鲁棒性，在实际多时相高分辨率遥感应用中具有非常重要的价值。
此外，本实施例还提供一种大场景高分辨率遥感图像自适应区域多特征配准系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述大场景高分辨率遥感图像自适应区域多特征配准方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述大场景高分辨率遥感图像自适应区域多特征配准方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种大场景高分辨率遥感图像自适应区域多特征配准方法，其特征在于，包括：
1）对输入的参考图像I ref 和目标图像I tar 分别进行相同大小的分块区域提取，得到参考图像分块集合B ref 、目标图像分块集合B tar ；
2）分别针对参考图像分块集合B ref 中的每一个参考图像分块区域B ref-i 、目标图像分块集合B tar 中的每一个目标图像分块区域B tar-i 提取多种局部图像特征；
3）针对每一种局部图像特征对参考图像I ref 和目标图像I tar 进行图像特征匹配，得到局部区域图像多特征集合；
4）分别计算各种局部图像特征下的图像特征匹配误差，剔除特征匹配误差大于允许阈值T error 的离群匹配特征，剔除错误关系的匹配特征对，形成新的局部区域图像多特征集合；
5）判断新的局部区域图像多特征集合中的特征数量小于预设阈值num是否成立，若成立，则跳转执行步骤6）；否则，将参考图像I ref 中所有当前的参考图像分块区域B ref-i 、目标图像I tar 中所有当前的目标图像分块区域B tar-i 分别以原图中心向四周进行扩增后再降采样为原图像大小并映射回原图的图像特征坐标，得到新的参考图像分块区域B ref-i 、目标图像分块区域B tar-i ；跳转执行步骤2）；
6）将匹配后的多种局部图像特征组合得到全局图像的多特征集合；
7）基于全局图像的多特征集合，建立全局图像和分块区域的局部图像之间的全局图像变换模型，并利用高斯权重计算匹配特征点在全局图像变换模型中的权重参数；
8）根据所述全局图像变换模型对目标图像I tar 进行变换，得到最终配准图像I' tar 。
2.根据权利要求1所述的大场景高分辨率遥感图像自适应区域多特征配准方法，其特征在于，步骤2）中提取的多种局部图像特征包括点特征、线特征和相位特征。
3.根据权利要求2所述的大场景高分辨率遥感图像自适应区域多特征配准方法，其特征在于，所述点特征包括点的梯度幅值和角度幅值。
4.根据权利要求3所述的大场景高分辨率遥感图像自适应区域多特征配准方法，其特征在于，步骤3）包括：
3.1）针对参考图像I ref 和目标图像I tar 的点特征集{P 1 ref , P 2 ref ,…,P A ref }、{P 1 tar , P 2 tar ,…,P A tar }，其中，P 1 ref ～P A ref 分别表示参考图像中提取得到的第1～A个点特征，P 1 tar ～P A tar 分别表示目标图像中提取得到的第1～A个点特征，A为提取得到的点特征数量，将所有点特征的梯度幅值以及角度幅值构建高斯尺度空间生成点特征的多维特征直方图，并确定点特征的主方向；
3.2）确定点特征的主方向后，对参考图像分块区域B ref-i 以及目标图像分块区域B tar-i 中检测到的点特征计算欧氏距离，找到最近距离和次近距离并计算最近距离和次近距离的比值，将最近距离和次近距离的比值大于等于预设阈值T d 的点特征对作为匹配点特征对，并从匹配点特征对中删除离群的匹配点特征对，得到匹配后的参考图像I ref 和目标图像I tar 的点特征匹配特征集{P 1 ref , P 2 ref ,…,P a ref }、{P 1 tar , P 2 tar ,…,P a tar }，其中P 1 ref ～P a ref 分别表示参考图像中匹配得到的第1～a个点特征，P 1 tar ～P a tar 分别表示目标图像中匹配得到的第1～a个点特征，a为点特征匹配后的点特征数量；
3.3）结合参考图像I ref 和目标图像I tar 的线特征集{L 1 ref , L 2 ref ,…,L B ref }、{L 1 tar , L 2 tar ,…,L B tar }，其中L 1 ref ～L B ref 分别表示参考图像中提取得到的第1～B个线特征，L 1 tar ～L B tar 分别表示目标图像中提取得到的第1～B个点特征，B为提取得到的线特征数量，利用点特征和相位特征的匹配实现线特征的匹配过程，得到参考图像和目标图像匹配的线特征集合{L 1 ref , L 2 ref ,…,L b ref }、{L 1 tar , L 2 tar ,…,L b tar }作为局部区域图像多特征集合，其中L 1 ref ～L b ref 分别表示参考图像中匹配得到的第1～b个线特征，L 1 tar ～L b tar 分别表示目标图像中匹配得到的第1～b个线特征，b为线特征匹配后的线特征数量，且线特征匹配后的线特征存在l ref ×x i +l ref ×y i +1=0、l tar ×u i + l tar ×v i +1=0，其中l ref 表示参考图像中线特征的结构参数，l tar 表示目标图像中线特征的结构参数，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，u i 和v i 表示目标图像I tar 中和参考图像I ref 经过变换后对应的特征点的行坐标和列坐标值。
5.根据权利要求1所述的大场景高分辨率遥感图像自适应区域多特征配准方法，其特征在于，步骤4）中计算多种局部图像特征下的图像特征匹配误差的函数表达式为：
Figure 667950DEST_PATH_IMAGE001
上式中，RMSE表示多种局部图像特征下的图像特征匹配误差，N af 为匹配后的多种局部图像特征集合中的特征数量，i为特征点的序号，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，u i 和v i 表示目标图像I tar 中和参考图像I ref 经过变换后对应的特征点的行坐标和列坐标值，且变换的函数表达式为：
Figure 647407DEST_PATH_IMAGE002
上式中，H表示参考图像分块集合B ref 、目标图像分块集合B tar 之间的变换矩阵。
6.根据权利要求1所述的大场景高分辨率遥感图像自适应区域多特征配准方法，其特征在于，步骤5）中将参考图像I ref 中所有当前的参考图像分块区域B ref-i 、目标图像I tar 中所有当前的目标图像分块区域B tar-i 分别以原图中心向四周进行扩增时，扩增后的参考图像分块区域B ref-i 、目标图像分块区域B tar-i 的区域面积为原区域面积的2倍。
7.根据权利要求2所述的大场景高分辨率遥感图像自适应区域多特征配准方法，其特征在于，步骤5）中映射回原图的图像特征坐标的函数表达式为：
Figure 427144DEST_PATH_IMAGE003
上式中，x i 和y i 表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，
Figure 822354DEST_PATH_IMAGE004
分别表示x i 和y i 降采样后行坐标和列坐标值，μ表示扩增后的区域图像降采样的次数。
8.根据权利要求1所述的大场景高分辨率遥感图像自适应区域多特征配准方法，其特征在于，步骤3）中还包括获取每一个目标图像分块区域B tar-i 的局部图像变换模型；步骤7）中建立的全局图像变换模型的函数表达式为：
Figure 636726DEST_PATH_IMAGE005
上式中，H g 表示全局图像变换模型，N为局部图像变换模型的总数，w i 为局部图像变换模型权重，H i l 为局部图像变换模型，且其中w i 的函数表达式为：
Figure 459188DEST_PATH_IMAGE006
上式中，w i (x i , y i )表示为匹配点特征在全局图像变换模型中的权重参数，W i (x i , y i )为匹配特征的高斯权重，且计算匹配点特征在全局图像变换模型中的权重参数的函数表达式为：
Figure 542201DEST_PATH_IMAGE007
上式中，W i (x i , y i )为匹配点特征的高斯权重，(x i , y i )表示参考图像I ref 的局部区域图像多特征集合中特征点的行坐标和列坐标值，(x, y)为分块区域中心的像素点坐标，σ i 为尺度因子。
9.一种大场景高分辨率遥感图像自适应区域多特征配准系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述大场景高分辨率遥感图像自适应区域多特征配准方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述大场景高分辨率遥感图像自适应区域多特征配准方法的计算机程序。
CN202110415824.5A 2021-04-19 2021-04-19 大场景高分辨率遥感图像自适应区域多特征配准方法及系统 Active CN112991408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110415824.5A CN112991408B (zh) 2021-04-19 2021-04-19 大场景高分辨率遥感图像自适应区域多特征配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110415824.5A CN112991408B (zh) 2021-04-19 2021-04-19 大场景高分辨率遥感图像自适应区域多特征配准方法及系统

Publications (2)

Publication Number Publication Date
CN112991408A CN112991408A (zh) 2021-06-18
CN112991408B true CN112991408B (zh) 2021-07-30

Family

ID=76340948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110415824.5A Active CN112991408B (zh) 2021-04-19 2021-04-19 大场景高分辨率遥感图像自适应区域多特征配准方法及系统

Country Status (1)

Country Link
CN (1) CN112991408B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442543A (zh) * 2021-10-29 2022-05-06 南京河海南自水电自动化有限公司 一种适用于水电站故障预警的计算机监测方法
CN116402693B (zh) * 2023-06-08 2023-08-15 青岛瑞源工程集团有限公司 一种基于遥感技术的市政工程图像处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483816B2 (en) * 2013-09-03 2016-11-01 Litel Instruments Method and system for high accuracy and reliability registration of multi modal imagery
US9406133B2 (en) * 2014-01-21 2016-08-02 University Of Rochester System and method for real-time image registration
CN107067405B (zh) * 2017-03-30 2020-04-03 河海大学 基于尺度优选的遥感影像分割方法
CN108109141B (zh) * 2017-12-18 2021-11-19 辽宁师范大学 基于超像素多特征匹配的同源局部复制检测方法
CN109934298B (zh) * 2019-03-19 2022-10-28 安徽大学 一种基于聚类的形变图的渐进式图匹配方法及装置

Also Published As

Publication number Publication date
CN112991408A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
Novatnack et al. Scale-dependent/invariant local 3D shape descriptors for fully automatic registration of multiple sets of range images
CN106919944B (zh) 一种基于orb算法的大视角图像快速识别方法
Sun et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry
CN108122256B (zh) 一种逼近状态下旋转目标位姿测量的方法
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
CN112991408B (zh) 大场景高分辨率遥感图像自适应区域多特征配准方法及系统
CN109523585B (zh) 一种基于方向相位一致性的多源遥感影像特征匹配方法
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
CN103456022A (zh) 一种高分辨率遥感图像特征匹配方法
CN104134208B (zh) 利用几何结构特征从粗到精的红外与可见光图像配准方法
Fan et al. Satellite image matching method based on deep convolutional neural network
CN104077782A (zh) 一种星载遥感图像匹配方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN108010082B (zh) 一种几何匹配的方法
CN110084743B (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN108960267A (zh) 用于模型调整的系统和方法
Zhou et al. A method of SIFT simplifying and matching algorithm improvement
KR20120094353A (ko) 시각적 형상 디스크립터 생성 방법 및 그 기록매체
CN113643365A (zh) 一种相机位姿估计方法、装置、设备以及可读存储介质
CN116823671A (zh) 一种基于锁眼解密历史影像的自动精准定位以及校正方法
KR101775124B1 (ko) 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법
CN111414864B (zh) 一种人脸活体检测方法和相关装置
Jackson et al. Adaptive registration of very large images
Dou et al. Infrared and visible image registration based on SIFT and sparse representation
CN117994277B (zh) 用于非均匀光照图像的目标分割方法、设备、介质、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230719

Address after: 410001 No. 002, Floor 5, Building B, No. 10, Zone 2, CSCEC Smart Industrial Park, No. 50, Jinjiang Road, Yuelu Street, Yuelu District, Changsha, Hunan Province

Patentee after: Hunan Xinxin Xiangrong Intelligent Technology Co.,Ltd.

Address before: Yuelu District City, Hunan province 410082 Changsha Lushan Road No. 1

Patentee before: HUNAN University