CN114463595A - 生成仿射变换数据集的方法和装置及电子设备 - Google Patents

生成仿射变换数据集的方法和装置及电子设备 Download PDF

Info

Publication number
CN114463595A
CN114463595A CN202111629400.5A CN202111629400A CN114463595A CN 114463595 A CN114463595 A CN 114463595A CN 202111629400 A CN202111629400 A CN 202111629400A CN 114463595 A CN114463595 A CN 114463595A
Authority
CN
China
Prior art keywords
affine transformation
matching
images
image
image pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111629400.5A
Other languages
English (en)
Other versions
CN114463595B (zh
Inventor
叶培楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202111629400.5A priority Critical patent/CN114463595B/zh
Publication of CN114463595A publication Critical patent/CN114463595A/zh
Application granted granted Critical
Publication of CN114463595B publication Critical patent/CN114463595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种生成仿射变换数据集的方法和装置及电子设备。该方法包括：对预设场景区域的多帧第一图像进行特征点匹配，得到特征点匹配结果，多帧第一图像是按照预定飞行轨迹对预设场景区域进行拍摄得到的；若特征点匹配结果不满足预设条件，则根据预设场景区域的多帧第二图像中的手动标识结果确定多帧第二图像相匹配的图像对对应的仿射变换关系，其中多帧第二图像是按照预设飞行轨迹对设置有手动标识结果的预设场景区域进行拍摄得到的；根据第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集。

Description

生成仿射变换数据集的方法和装置及电子设备
技术领域
本申请涉及图像处理技术领域，具体涉及一种生成仿射变换数据集的方法和装置及电子设备。
背景技术
由于农田场景中重复纹理的影响，比如香蕉林、小麦地和玉米地等，通常很难在图像中提取到高质量的传统手工特征点(例如，SIFT特征点或者SURF描述子)，因此，在这类场景下，传统手工特征点可能失效，从而导致农业无人机的测绘和重建无法进行。
深度学习网络的特征提取器和匹配器可以较好地解决传统手工特征点失效的问题，而深度学习网络的训练需要使用大规模的数据集才能得到相对较好的结果。因此，在这种情况下，如何生成大规模的仿射数据集是亟待解决的技术问题。
发明内容
有鉴于此，本申请实施例致力于提供一种生成仿射变换数据集的方法和装置及电子设备，以解决手工特征点失效情况下大规模的仿射数据集的问题。
第一方面，提供了一种生成仿射变换数据集的方法，包括：对预设场景区域的多帧第一图像进行特征点匹配，得到特征点匹配结果，多帧第一图像是按照无人机的预定飞行轨迹对预设场景区域进行拍摄得到的；若特征点匹配结果不满足预设条件，则根据预设场景区域的多帧第二图像中的手动标识结果，确定多帧第二图像中相匹配的图像对对应的仿射变换关系，其中多帧第二图像是按照预设飞行轨迹对设置有手动标识结果的预设场景区域进行拍摄得到的；根据第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集。
在一实施例中，第一方面的方法还包括：计算多帧第一图像中的第一匹配图像对的匹配特征点的数量；若数量大于或等于第一阈值，则特征点匹配结果满足预设条件，否则特征点匹配结果不满足预设条件。
在一实施例中，基于所述第一图像中的多个第一匹配图像对确定第一仿射变换数据集包括：若特征点匹配结果满足构建多帧第一图像中的第一匹配图像对的仿射变换关系的条件，则从多帧第一图像中确定第一匹配图像对的多个匹配关系；根据多个匹配关系确定第一匹配图像对的第一仿射变换关系；根据第一仿射变换关系确定第一仿射变换数据集，仿射变换数据集包括第一匹配图像对和对应的第一仿射变换关系。
在一实施例中，从多帧第一图像中确定第一匹配图像对的多个匹配关系，包括：根据第一匹配图像对中的匹配特征点的响应值和匹配距离进行加权得到多个匹配关系的分数；根据分数从多个匹配关系中确定K个匹配关系，其中，根据多个匹配关系确定第一匹配图像对的第一仿射变换关系，包括：根据K个匹配关系，确定第一匹配图像对的第一仿射变换关系。
在一实施例中，根据场景区域的多帧第二图像中的手动标识结果确定多帧第二图像中相匹配的图像对对应的仿射变换关系，包括：从多帧第二图像中确定第二匹配图像对；基于第二匹配图像对的手动标识结果确定K个匹配关系；根据K个匹配关系构建第二匹配图像对的第二仿射变换关系。
在一实施例中，从多帧第二图像中确定第二匹配图像对，包括：根据RTK数据和预设飞行轨迹从多帧第二图像中确定第二匹配图像对。
在一实施例中，根据K个匹配关系构建第二匹配图像对的第二仿射变换关系，包括求解以下方程计算仿射变换矩阵H：
Pb＝HPa
其中，Pa和Pb分别为第二匹配图像对中K个特征点在各自图像中的空间坐标的集合。
在一实施例中，根据第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集，包括：通过对无人机的多个架次中的每个架次的多帧第二图像中的第二匹配图像对的第二仿射变换关系，确定第二仿射变换数据集，第二仿射变换数据集包括每个架次的第i帧图像和第j帧图像，以及第i帧图像与第j帧图像之间的仿射变换矩阵，i，j为整数。
在一实施例中，对预设场景区域的多帧第一图像进行特征点匹配，包括：根据预设场景区域的实时动态差分数据从多帧第一图像中确定第一匹配图像对；根据第一匹配图像对确定特征点匹配结果。
在一实施例中，条件包括多帧第一图像中的第一匹配图像对的匹配特征点的数量大于或等于预设阈值。
在一实施例中，手动标识结果包括在预设场景区域中间隔设置的多个定位标记。
在一实施例中，多个定位标记沿预设场景区域的至少一个边界设置；多个定位标记沿预设场景区域的至少一条中心线设置；多个定位标记以预设场景区域的中心为中心点成放射状设置；或者多个定位标记沿预定轨迹设置。
在一实施例中，多个定位标记的个数与在预设场景区域中采集的图像的帧数正相关。
在一实施例中，定位标记包括数字、图案、字母、以及文字中的一种或者至少两种的结合。
在一实施例中，定位标记包括区别于背景的立体物。
在一实施例中，预设场景区域为农业场景的田地。
第二方面，提供了一种仿射变换数据集的生成装置，包括：匹配模块，用于对预设场景区域的多帧第一图像进行特征点匹配，得到特征点匹配结果，多帧第一图像是按照无人机的预定飞行轨迹对预设场景区域进行拍摄得到的；确定模块，用于在特征点匹配结果不满足预设条件时，根据预设场景区域的多帧第二图像中的手动标识结果确定多帧第二图像中匹配的图像对对应的仿射变换关系，其中多帧第二图像是按照预设飞行轨迹对设置有手动标识结果的预设场景区域进行拍摄得到的；生成模块，用于根据第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器中并可在处理器中运行的可执行指令，其特征在于，处理器执行可执行指令时实现如第一方面的方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，可执行指令被处理器执行时实现如第一方面的方法。
第五方面，提供了一种无人机，包括如第三方面的电子设备。
根据本申请的实施例，通过在匹配特征点失效无法构建仿射变换数据集的情况下，基于具有手动标识结果的图像生成仿射变换数据集，从而使得构建大规模场景下的仿射变换数据集成为可能。进而，可以利用仿射变换数据集训练深度学习特征提取器和检测器网络，以实现全场景覆盖的三维重建算法。
附图说明
图1为本申请实施例的生成仿射变换数据集的方法的流程示意图。
图2为本申请实施例的定位标记的示意图。
图3为本申请实施例中采用“S“型弯折轨迹的示意图。
图4为本申请实施例的图像匹配的方法的流程示意图。
图5为本申请实施例提供的仿射变换数据集的生成装置的结构示意图。
图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
仿射变换数据集可以基于小场景的数据得到的。例如，可以先采用手动标注的方式进行图像匹配，进而进行图像间仿射变换的计算，以构建图像与图像之间的仿射变换约束关系，然后，基于图像之间的仿射变换约束关系，可以构建自监督的深度学习特征提取器和匹配器训练网络。而在某些大规模场景下，尤其是针对农业场景，如重复纹理场景、弱纹理场景等，可以采用传统手工特征点进行图像匹配，进而进行图像仿射变换的计算，然而这种方法可能会出现手工特征点失效的问题，从而给建立大规模的仿射变换数据集造成了困难。
下面以农业场景为例，对进行图像匹配存在的技术问题进行举例说明。
对于农业场景，较容易受到重复纹理的影响，例如香蕉林、小麦地和玉米地等，通常很难在图像中提取到高质量的手工特征点，导致基于重复纹理图像的测绘和重建无法进行。基于统计和概率学的深度学习特征提取器和匹配器可以较好地解决传统手工特征点无法应对的场景，然而深度学习网络的训练需要使用大规模的数据集才能得到相对较好的结果，而农业场景存在的上述问题，特别是重复纹理场景和/或弱纹理场景，在采用特征点进行图像匹配时失效的情况较多，从而较难建立大规模的仿射变换数据集。
基于上述技术问题，本申请实施例提出了一种图像匹配方法，针对尤其是重复纹理场景或弱纹理场景等场景下图像匹配容易失效的问题，可以提高图像匹配的精度；并且适用于大规模场景下的应用，可以为大规模场景下的仿射变换数据集建立提供数据支持。
需要说明的是，本申请实施例中的方法并不限定于农业场景。除了农业场景，本申请实施例中的方法同样适用于其他场景，例如，草原、沙漠等大规模弱纹理或者重复纹理的场景，本申请实施例中对此并不限定。
下面以农业场景为例，结合附图对本申请实施例进行详细描述。
图1为本申请实施例的生成仿射变换数据集的方法的流程示意图。该方法可以由计算设备，例如，服务器，执行。本申请实施例并不限于此，例如，也可以由无人机上的控制器执行。
110，对预设场景区域的多帧第一图像进行特征点匹配，得到特征点匹配结果，多帧第一图像是按照无人机的预定飞行轨迹对预设场景区域进行拍摄得到的。
预设场景区域例如可以是农业场景的田地，也可以是草原的牧场或者沙漠的沙丘，本申请的实施例并不限此，只要是具有大规模弱纹理或者重复纹理的场景都在本申请的覆盖范围内。
特征点匹配结果例如可以是匹配的特征点的数量。预定飞行轨迹可以是预设场景区域的边界或者预设航线。
具体地，无人机所采集的多帧图像可以由搭载有摄像设备的无人机或者其他能够实现图像采集的设备按照预定轨迹进行采集。例如，在执行本方法之前，可以先控制无人机按预定飞行轨迹飞行，在飞行过程中对预设场景区域进行拍摄得到多帧第一图像，并对相邻图像上的特征点进行匹配，得到特征点匹配结果。
120，若特征点匹配结果不满足预设条件，则根据预设场景区域的多帧第二图像中的手动标识结果确定多帧第二图像中相匹配的图像对对应的仿射变换关系，其中多帧第二图像是按照预设飞行轨迹对设置有手动标识结果的预设场景区域进行拍摄得到的。
手动标识结果可以是利用人工在预设场景区域内制作的定位标记，手动标识结果可以沿飞行轨迹设置，例如，在规划好的无人机航线上每隔预设距离设置一个定位标记，也可以按照其它预设的规则设置，例如，定位标记均匀分布或随机分布。
具体地，可以根据特征点匹配结果判断特征点匹配结果是否能够满足构建匹配图像对的仿射变换关系的条件，例如，当两个相邻图像的匹配特征点的数量大于预设阈值时，这些匹配特征点能够满足构建仿射变换关系的条件，否则就不能满足构建仿射变换关系的条件，则无法利用匹配的特征点建立该仿射变换关系，即特征点处于失效状态。为了能够在特征点失效状态下生成仿射变换关系，可以在预设场景中设置手动标识结果，并按照预设飞行轨迹对预设场景区域进行拍摄，由于拍摄的图像中显示有手动标识结果，因此，可以根据图像手动标识结果建立匹配图像之间的仿射变换关系。
130，根据第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集。
第二仿射变换数据集可以包括第二匹配图像对和对应的第二仿射变换关系。
根据本申请的实施例，通过在匹配特征点失效无法构建仿射变换数据集的情况下，基于具有手动标识结果的图像生成仿射变换数据集，从而使得构建大规模场景下的仿射变换数据集成为可能。进而，可以利用仿射变换数据集训练深度学习特征提取器和检测器网络，以实现全场景覆盖的三维重建算法。
具体地，为了保证仿射变换数据集的数据量和普适性，针对同一预设场景区域可以多次采集图像，例如采用无人机进行图像采集时，每一架无人机按照预定轨迹飞行采集一次预设场景区域称为一个架次，同一架无人机采集同一个地块两次，称为两个架次，即无论何时何地，是否同一架无人机，所采集的图像都视为一个新的架次。上述多帧第一图像或可以是一个架次拍摄的全部图像，或者从一个架次拍摄的图像中选择的部分图像。如果上一架次拍摄的图像不能满足构建仿射变换关系的要求，则下一架次对手工标识后的预设场景区域再次进行拍摄，并根据下一架次得到的图像构建仿射变换关系。
可选地，作为另一实施例，图1的方法还包括：计算多帧第一图像中的第一匹配图像对的匹配特征点的数量；若该数量大于或等于第一阈值，则特征点匹配结果满足预设条件，否则特征点匹配结果不满足预设条件；当所述特征点匹配结果满足预设条件时，基于所述第一图像中的多个第一匹配图像对确定第一仿射变换数据集。
具体地，两个相邻图像的空间坐标的仿射变换关系可以由仿射变换矩阵来表示。由于可以通过求解方程得到仿射变换矩阵，因此，如果匹配特征点的数量大于第一阈值时，将更容易求解方程得到仿射变换矩阵。
根据本申请的实施例，通过判断匹配图像的匹配特征点的数量就可以确定某个图像是否满足建立仿射变换关系的要求，从而可以有效地确定需要通过手动标识构建仿射变换关系的条件。
根据本申请的实施例，基于所述第一图像中的多个第一匹配图像对确定第一仿射变换数据集包括：若所述特征点匹配结果满足构建所述多帧第一图像中的第一匹配图像对的仿射变换关系的条件，则从所述多帧第一图像中确定所述第一匹配图像对的多个匹配关系；根据所述多个匹配关系确定所述第一匹配图像对的第一仿射变换关系；根据所述第一仿射变换关系确定所述第一仿射变换数据集，所述仿射变换数据集包括所述第一匹配图像对和对应的第一仿射变换关系。
根据本申请的实施例，从多帧第一图像中确定第一匹配图像对的多个匹配关系，包括：根据第一匹配图像对中的匹配特征点的响应值和匹配距离进行加权得到多个匹配关系的分数；根据分数从多个匹配关系中确定K个匹配关系，其中，根据多个匹配关系确定第一匹配图像对的第一仿射变换关系，包括：根据K个匹配关系，确定第一匹配图像对的第一仿射变换关系。
具体地，K可以为能够求解仿射变换矩阵的最小值。匹配特征点的匹配关系的分数越高，说明该匹配特征点越有利于构建仿射变换关系。因此，可以从多个匹配关系选择K个分数最高的匹配关系来确定匹配图像对的仿射变换关系，从而得到更加准确的仿射变换关系。
根据本申请的实施例，根据场景区域的多帧第二图像中的手动标识结果，确定多帧第二图像中相匹配的图像对对应的仿射变换关系，包括：从多帧第二图像中确定第二匹配图像对；基于第二匹配图像对的手动标识结果确定K个匹配关系；根据K个匹配关系构建第二匹配图像对的第二仿射变换关系。
具体地，手动标识结果可以包括多个定位标记，可以从第二匹配图像对的多个定位标记确定多个匹配关系，再从多个匹配关系选择分数排名前K个匹配关系来确定第二匹配图像对的仿射变换关系，从而得到更加准确的仿射变换关系。
根据本申请的实施例，从多帧第二图像中确定第二匹配图像对，包括：根据RTK数据和预设飞行轨迹从多帧第二图像中确定第二匹配图像对。
根据本申请的实施例，根据K个匹配关系构建第二匹配图像对的第二仿射变换关系，包括求解以下方程计算仿射变换矩阵H：
Pb＝HPa
其中，Pa和Pb分别为第二匹配图像对中K个特征点在各自图像中的空间坐标的集合。
根据本申请的实施例，根据第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集，包括：通过对无人机的多个架次中的每个架次的多帧第二图像中的第二匹配图像对的第二仿射变换关系，确定第二仿射变换数据集，第二仿射变换数据集包括每个架次的第i帧图像和第j帧图像，以及第i帧图像与第j帧图像之间的仿射变换矩阵，i，j为整数。
根据本申请的实施例，对预设场景区域的多帧第一图像进行特征点匹配，包括：根据预设场景区域的实时动态差分数据从多帧第一图像中确定第一匹配图像对；根据第一匹配图像对确定特征点匹配结果。
根据本申请实施例，上述条件包括多帧第一图像中的第一匹配图像对的匹配特征点的数量大于或等于预设阈值。
本申请的确定图像匹配对的方法可以包括：获取待匹配的图像；对待匹配的多张图像中的每一张图像，在该多张图像的其余图像中选择与其至少包括K个相同的特征点的图像构成匹配图像对。其中，该特征点可以是手工特征点，也可以手动标识结果。
根据本申请的实施例，手动标识结果包括在预设场景区域中间隔设置的多个定位标记。
根据本申请的实施例，多个定位标记沿预设场景区域的至少一个边界设置；多个定位标记沿预设场景区域的至少一条中心线设置；多个定位标记以预设场景区域的中心为中心点成放射状设置；或者多个定位标记沿预定轨迹设置。
根据本申请的实施例，多个定位标记的个数与在预设场景区域中采集的图像的帧数正相关。
其中，待匹配的多张图像包括按照预定轨迹采集的预设场景区域的图像；特征点包括在该预设场景区域中间隔设置的多个定位标记。
对待采集的预设场景区域设置定位标记，定位标记通常为多个，以适应大规模场景下图像的采集；将多个定位标记按顺序设置于预设场景区域的特定位置，从而在采集的图像中以此来作为图像匹配时的特征点，从而对当前采集的图像位置有较为准确的定位。其中预设场景可以包含各种场景，例如正常场景(纹理分布正常)、弱纹理场景和重复纹理场景等情况。
该定位标记的形态可以有多种，例如，设计诸如飞机停车坪类似的定位标记，图2中示出了本申请实施例的定位标记的示意图，如图2所示，该定位标记可以为中间为数字的平面标记。本申请实施例中定位标记的形态不限于图2中所示的标记。
在一些实施例中，定位标记的形态可以为显示有数字、图案、字母、或者文字等明显标志的平面标记，并且可以将上述数字、图案、字母、或者文字相互结合；也可以为明显区别于背景的立体物，例如在比较平坦的场景下，设置类似于山坡的突起的立体物。该定位标记的选择只要使得在被采集场景区域中能够明显识别出该标记即可。例如，预设场景区域为绿色或者黄色的农田背景区域时，应当选择诸如红色或者蓝色等能够使得该定位标记在图像中可以快速被区分出的颜色，并在其中结合比较容易分辨的数字或者字母的符号。再例如，预设场景区域为平坦的草原场景时，应当选择能够明显被识别出的突起的立体物并结合区别于背景的色彩。
在一些实施例中，定位标记设置为多个，定位标记的数量与待采集场景区域的大小，所采集的图像的数量，以及采集图像时所选取的预设轨迹等因素相关。所选取的定位标记的数量应当使得在所采集的图像中，在进行匹配图像对的选取时，作为邻域图像的两张图像中至少包括K个相同的定位标记。
待匹配图像的采集通常由搭载有摄像设备的无人机或者其他能够实现图像采集的设备来实现。图像采集设备的预定轨迹例如为，无人机可以按照“S”型的弯折轨迹逐行或者逐列对预设场景区域进行图像采集，图3示出了采用“S“型弯折轨迹的示意图，也可以按照其他诸如逐行与逐列相结合，或者从内到外，或者从外到内等其他轨迹进行图像采集。该预定轨迹的设计需使得对于预设场景区域的全部区域都能够采集到图像。
定位标记在预设场景区域中设置的位置以及方式也可以包括多种。
在一些实施例中，多个定位标记沿预设场景区域的至少一个边界依次进行设置，例如对于方形的预设场景区域，包括上边界、下边界、左边界和右边界。
在一些实施例中，多个定位标记沿预设场景区域的多条中心线设置，例如对于方形的预设场景区域，包括上下边界间的中心线，左右边界间的中心线，左下角至右上角的中心线，以及左上角至右下角的中心线等。
在一些实施例中，多个定位标记以预设场景区域的中心为中点成放射状设置。
在一些实施例中，多个定位标记沿图像采集时的预定轨迹设置。
该定位标记的设置应当综合考虑预设场景区域的形状、大小等整体情况以及图像采集的预定轨迹，以使得所采集的图像中，能够构成匹配图像对的邻域图像中至少存在K个相同的特征点(即本实施例中所设置的定位标记)。
在对具有相同的特征点的图像进行选择时，可以通过人工方式进行观测，也可以通过自动化检测的方式确定该定位标记的位置。以图2所示的定位标记形态为例，由于每个定位标记的中心都写着数字，从而可以通过例如深度学习神经网络(例如Keras框架等)检测出所设置的定位标记，并确定中间的标记数据，比如数字“3”。在采用字母、文字、其他图案，或者立体物等形态作为定位标记时的检测方式与上述检测方式相类似。通过自动化检测的方式确定定位标记的位置，提高了检测的效率和精度，并且使该方法适用于大规模场景数据集的建立。
图4是本申请一实施例的仿射变换数据集的生成方法400的示意性框图。应理解，图4示出的方法400包括步骤410、步骤420、步骤430以及步骤440，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图4中方法400的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。
如图4所示，该方法包括如下步骤：
步骤410：按照预定轨迹采集预设场景区域的多张图像。
如前文，该步骤中所采集的多张图像可以由搭载有摄像设备的无人机或者其他能够实现图像采集的设备按照预定轨迹进行采集。其中，预定轨迹的设定与前文中所述相同。同时，为了保证数据集中的数据量，针对同一预设场景区域可以多次采集图像，例如采用无人机进行图像采集时，每一架无人机按照预定轨迹飞行采集一次预设场景区域称为一个架次，同一架无人机采集同一个地块两次，称为两个架次，即无论何时何地，是否同一架无人机，所采集的图像都视为一个新的架次。
在一些实施例中，该预设场景区域为农业场景区域，例如香蕉林、小麦地和玉米地等，在对上述农业场景区域进行图像采集时，可以采用搭载有摄像设备的农业无人机设备。
在一些实施例中，该预设场景区域为其他任何需要生成仿射变换数据集的大规模场景区域，包括但不限于正常场景(纹理分布正常场景)、弱纹理场景、以及重复纹理场景等情况，例如可以为沙漠区域、草原区域、山地区域等。
步骤420：采用手工特征点匹配方法对所采集的所有图像进行图像匹配。
步骤430：根据匹配结果是否有效来采用手工标识匹配方法对所采集的所有图像进行图像匹配。
在一些实施例中，手工特征点匹配方法可以包括利用实时动态差分(Real-TimeKinematic，以下简称“RTK”)数据确定的特征点来实现图像匹配的方法，对多张图像中的每一张图像，根据预设场景区域的RTK数据所确定的特征点来构成匹配图像对。利用该实施例的手工特征点匹配方法，可以通过构建特征点匹配约束关系后，进行运动变换的估计，同时恢复出匹配点对应的三维空间点云，最后融合RTK数据集进行联合优化，实现完整的三维重建流程。
对于任意一个架次所采集的图像，根据RTK数据中体现的特征点，对其所有图像提取手工特征点，比如尺度不变特征变换(Scale Invariant Feature Transform，以下简称“SIFT”)特征点或者加速稳健特征(Speeded Up Robust Features，以下简称“SURF”)描述子，并基于最近邻比例法进行特征匹配，若两帧之间的匹配点(即特征点)数量满足阈值条件，则视为手工特征点有效的场景，否则采用手工标识匹配方法对预设场景区域进行标记，重新采集数据。应理解的是，手工特征点有效可以指所有的相邻两帧的匹配点的数量都满足阈值条件，本申请的实施例对此不作限定，也可以指一部分相邻两帧的匹配点数量满足阈值条件，本领域技术人员可以根据实际需要进行设置。
以图像采集时沿如图3所示的预定轨迹为例，对于其中位置6采集的图像，可以通过RTK数据确定其邻域数据，如图3中虚线框所示的其他8个位置采集的图像。对于三维重建的任意一个点云：
Figure BDA0003437273060000141
包含的内容主要是点云在三维场景中的真实坐标(xi，yi，zi)，观测到该点云的采集位置以及特征点，
Figure BDA0003437273060000142
表示第k1个采集位置观测到的第j1个特征。从而可以根据位置6的特征点
Figure BDA0003437273060000143
找出对应的三维点P，并根据三维点记录的共同观测数据，确定位置6与邻域图像之间的特征匹配关系。这里，共同观测数据可以指三维点投影到图像中的特征点的位置，即对应像素的位置。
在一些实施例中，该手工特征点匹配方法也可以替换为其他现有的图像匹配方法实现，本实施例不做具体限定。
根据图像匹配的结果可以为每一对匹配图像对计算仿射变换矩阵。
步骤440：若匹配结果有效，则在手工特征点匹配方法的匹配结果中，取其中前K个特征点的空间坐标来计算仿射变换矩阵。
步骤450：若匹配结果无效，则采用手工标识匹配方法对所采集的所有图像进行图像匹配。
在一些实施例中，可以采用以下步骤判断手工特征点匹配方法匹配结果是否有效：
计算每一对匹配图像对的匹配值s，该匹配值s与特征点在匹配图像对中各自的响应值以及匹配距离相关；
若s≥K，则手工特征点匹配方法的匹配结果有效；
若s<K，则手工特征点匹配方法的匹配结果无效。
此处仍以图3中所示的预定轨迹为例，对于位置6与邻域任意一个位置，比如位置3，根据上述步骤，可以确定多组特征匹配关系分别为：
M＝{m(x,y,d)|x∈I6,y∈I3,d＝||x-y||2}
其中，I6和I3分别为采集位置6和位置3所采集的图像。为了使得计算仿射变换的结果更加可靠，需要进一步对匹配对进行筛选，得到更高质量的匹配图像对。对于任意一个匹配m，特征点x，y的响应值(例如，分数)分别为rx、ry，特征描述子之间的匹配距离为d。通过分别对特征点x，y和匹配距离d进行加权，可以得到每个匹配关系的分数s：
s＝w1*rx+w1*ry+w2*d
其中，w1和w2分别为响应值和匹配距离的权重值，通过对匹配分数s进行排序，取前K个匹配对用于计算仿射变换矩阵。这里，匹配关系的权重值可以根据该匹配关系对应的匹配距离d或响应值的可靠程度来确定。若匹配对不足K个，则舍去这组图像匹配对，即表示该图像匹配结果无效。
在采用手工特征点进行图像匹配无效的情况下，采用自动化三维重建构建约束的方法便无法执行，因此采用设置定位标记的方式确定帧间关系，以进行图像匹配。
在一些实施例中，可以通过求解以下方程计算仿射变换矩阵H：
Pb＝HPa
其中，Pa和Pb分别为该匹配图像对中K个相同特征点在各自图像中的空间坐标的集合，仿射变换矩阵H为n×n的矩阵，K＝n2。
步骤460：基于每组图像对之间的K个匹配关系,可以构建帧间仿射变换关系。假设任意一对匹配特征为：
Figure BDA0003437273060000161
对应的空间点的空间坐标分别为：
Figure BDA0003437273060000162
设仿射变换矩阵为H：
Figure BDA0003437273060000163
表示从空间点Pa转换到空间点Pb，则有：
Figure BDA0003437273060000164
Figure BDA0003437273060000171
令
Figure BDA0003437273060000172
则有：
Figure BDA0003437273060000173
通过对上面方程式进行整理，可以得到：
Figure BDA0003437273060000174
于是，基于K个特征点的空间坐标，即可求解上述方程，从而得到匹配图像对之间的仿射变换矩阵H。应理解，K可以设置为大于H的元素的个数，以通过最小二乘法进行求解。
步骤470：生成仿射变换数据集，仿射变换数据集中的数据包括根据所有图像生成的匹配图像对和其对应的仿射变换矩阵。
通过上述操作后，对于任意一对匹配图像对(Ii,Ij)，都包含一个相对仿射变换矩阵H，则每组图像对的输出为Oij＝{Ii,Ij,Hij}。通过将所有架次号的图像进行处理，构建其中的匹配图像对并计算出相对的仿射变换矩阵，即可得到基于农田场景的大规模仿射变换数据集D：
Figure BDA0003437273060000181
通过本申请任意一个实施例提供的仿射变换数据集的生成方法所生产的数据集可以用于训练深度学习特征提取器和检测器网络，以实现全场景覆盖的三维重建算法。
图5所示为本申请另一实施例提供的一种仿射变换数据集的生成装置的结构示意图。如图5所示，仿射变换数据集的生成装置500包括：匹配模块510、确定模块520和生成模块530。
匹配模块510用于对预设场景区域的多帧第一图像进行特征点匹配，得到特征点匹配结果，多帧第一图像是按照无人机的预定飞行轨迹对预设场景区域进行拍摄得到的。
确定模块520用于在特征点匹配结果不满足预设条件时，根据预设场景区域的多帧第二图像中的手动标识结果确定多帧第二图像中相匹配的图像对对应的仿射变换关系，其中多帧第二图像是按照预设飞行轨迹对设置有手动标识结果的预设场景区域进行拍摄得到的。
生成模块530用于根据第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集。
上述仿射变换数据集的生成装置500中的各个模块的具体功能和操作已经在上面参考图1到图4描述的仿射变换数据集的生成方法中进行了详细介绍，因此，这里将省略其重复描述。
图6所示为本申请一实施例提供的电子设备的结构示意图。如图6所示，该电子设备600包括：一个或多个处理器601和存储器602；以及存储在存储器602中的计算机程序指令，计算机程序指令在被处理器601运行时使得处理器601执行如上述任一实施例的仿射变换数据集的生成方法。处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器602可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行程序指令，以实现上文的本申请的各个实施例的仿射变换数据集的生成方法中的步骤以及/或者其他期望的功能。
在一些实施例中，电子设备600还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(图6中未示出)互连。例如，在该电子设备是单机设备时，该输入装置603可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入设备603还可以包括例如键盘、鼠标、麦克风等。该输出装置604可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。
本申请还提供了一种无人机，包括如上所述的电子设备。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的远程过程调用方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本申请的各个实施例的仿射变换数据集的生成方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
应理解，本申请实施例中的处理器可以为中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种生成仿射变换数据集的方法，其特征在于，包括：
对预设场景区域的多帧第一图像进行特征点匹配，得到特征点匹配结果，所述多帧第一图像是按照无人机的预定飞行轨迹对所述预设场景区域进行拍摄得到的；
若所述特征点匹配结果不满足预设条件，则根据所述预设场景区域的多帧第二图像中的手动标识结果，确定多帧第二图像中相匹配的图像对对应的仿射变换关系，其中所述多帧第二图像是按照所述预设飞行轨迹对设置有所述手动标识结果的所述预设场景区域进行拍摄得到的；
根据所述第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集。
2.根据权利要求1所述的方法，其特征在于，还包括：
计算所述多帧第一图像中的第一匹配图像对的匹配特征点的数量；
若所述数量大于或等于第一阈值，则所述特征点匹配结果满足预设条件，否则所述特征点匹配结果不满足所述预设条件；
当所述特征点匹配结果满足预设条件时，基于所述第一图像中的多个第一匹配图像对确定第一仿射变换数据集。
3.根据权利要求2所述的方法，其特征在于，基于所述第一图像中的多个第一匹配图像对确定第一仿射变换数据集包括：
若所述特征点匹配结果满足构建所述多帧第一图像中的第一匹配图像对的仿射变换关系的条件，则从所述多帧第一图像中确定所述第一匹配图像对的多个匹配关系；
根据所述多个匹配关系确定所述第一匹配图像对的第一仿射变换关系；
根据所述第一仿射变换关系确定所述第一仿射变换数据集，所述仿射变换数据集包括所述第一匹配图像对和对应的第一仿射变换关系。
4.根据权利要求3所述的方法，其特征在于，所述从所述多帧第一图像中确定所述第一匹配图像对的多个匹配关系，包括：
根据所述第一匹配图像对中的匹配特征点的响应值和匹配距离进行加权得到所述多个匹配关系的分数；
根据所述分数从所述多个匹配关系中确定K个匹配关系，
其中，所述根据所述多个匹配关系确定所述第一匹配图像对的第一仿射变换关系，包括：
根据所述K个匹配关系，确定所述第一匹配图像对的第一仿射变换关系。
5.根据权利要求1所述的方法，其特征在于，所述根据所述场景区域的多帧第二图像中的手动标识结果，确定多帧第二图像中相匹配的图像对对应的仿射变换关系，包括：
从所述多帧第二图像中确定第二匹配图像对；
基于所述第二匹配图像对的手动标识结果确定K个匹配关系；
根据所述K个匹配关系构建所述第二匹配图像对的第二仿射变换关系。
6.根据权利要求5所述的方法，其特征在于，所述从所述多帧第二图像中确定第二匹配图像对，包括：
根据RTK数据和所述预设飞行轨迹从所述多帧第二图像中确定所述第二匹配图像对。
7.根据权利要求5所述的方法，其特征在于，所述根据所述K个匹配关系构建所述第二匹配图像对的第二仿射变换关系，包括求解以下方程计算仿射变换矩阵H：
Pb＝HPa
其中，Pa和Pb分别为所述第二匹配图像对中K个特征点在各自图像中的空间坐标的集合。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集，包括：
通过对所述无人机的多个架次中的每个架次的多帧第二图像中的第二匹配图像对的第二仿射变换关系，确定所述第二仿射变换数据集，所述第二仿射变换数据集包括每个架次的第i帧图像和第j帧图像，以及所述第i帧图像与所述第j帧图像之间的仿射变换矩阵，i，j为整数。
9.根据权利要求1所述的方法，其特征在于，所述对预设场景区域的多帧第一图像进行特征点匹配，包括：
根据所述预设场景区域的实时动态差分数据从所述多帧第一图像中确定第一匹配图像对；
根据所述第一匹配图像对确定所述特征点匹配结果。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述手动标识结果包括在所述预设场景区域中间隔设置的多个定位标记。
11.根据权利要求10所述的方法，其特征在于，
所述多个定位标记沿所述预设场景区域的至少一个边界设置；
所述多个定位标记沿所述预设场景区域的至少一条中心线设置；
所述多个定位标记以预设场景区域的中心为中心点成放射状设置；或者
所述多个定位标记沿所述预定轨迹设置。
12.根据权利要求10所述的方法，其特征在于，所述多个定位标记的个数与在所述预设场景区域中采集的图像的帧数正相关。
13.一种仿射变换数据集的生成装置，其特征在于，包括：
匹配模块，用于对预设场景区域的多帧第一图像进行特征点匹配，得到特征点匹配结果，所述多帧第一图像是按照无人机的预定飞行轨迹对所述预设场景区域进行拍摄得到的；
确定模块，用于在所述特征点匹配结果不满足预设条件时，根据所述预设场景区域的多帧第二图像中的手动标识结果，确定多帧第二图像中的相匹配的图像对对应的仿射变换关系，其中所述多帧第二图像是按照所述预设飞行轨迹对设置有所述手动标识结果的所述预设场景区域进行拍摄得到的；
生成模块，用于根据所述第二图像中的图像对和每一图像对对应的仿射变换关系生成第二仿射变换数据集。
14.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-12中任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-12中任一项所述的方法。
CN202111629400.5A 2021-12-27 2021-12-27 生成仿射变换数据集的方法和装置及电子设备 Active CN114463595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111629400.5A CN114463595B (zh) 2021-12-27 2021-12-27 生成仿射变换数据集的方法和装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111629400.5A CN114463595B (zh) 2021-12-27 2021-12-27 生成仿射变换数据集的方法和装置及电子设备

Publications (2)

Publication Number Publication Date
CN114463595A true CN114463595A (zh) 2022-05-10
CN114463595B CN114463595B (zh) 2023-04-07

Family

ID=81408108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111629400.5A Active CN114463595B (zh) 2021-12-27 2021-12-27 生成仿射变换数据集的方法和装置及电子设备

Country Status (1)

Country Link
CN (1) CN114463595B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824294A (zh) * 2014-02-28 2014-05-28 中国科学院计算技术研究所 一种电子断层图像序列对位方法
US20150254872A1 (en) * 2012-10-05 2015-09-10 Universidade De Coimbra Method for Aligning and Tracking Point Regions in Images with Radial Distortion that Outputs Motion Model Parameters, Distortion Calibration, and Variation in Zoom
CN109871859A (zh) * 2018-09-28 2019-06-11 北京矩视智能科技有限公司 一种自动生成图像训练集系统
CN110633711A (zh) * 2019-09-09 2019-12-31 长沙理工大学 训练特征点检测器的计算机装置、方法及特征点检测方法
CN112837291A (zh) * 2021-02-03 2021-05-25 中国空气动力研究与发展中心高速空气动力研究所 一种基于温敏漆技术的层流机翼转捩位置测量图像处理方法
CN113112531A (zh) * 2021-04-02 2021-07-13 广州图匠数据科技有限公司 一种图像匹配方法及装置
CN113592923A (zh) * 2021-06-30 2021-11-02 国网浙江省电力有限公司营销服务中心 一种基于深度局部特征匹配的批图像配准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254872A1 (en) * 2012-10-05 2015-09-10 Universidade De Coimbra Method for Aligning and Tracking Point Regions in Images with Radial Distortion that Outputs Motion Model Parameters, Distortion Calibration, and Variation in Zoom
CN103824294A (zh) * 2014-02-28 2014-05-28 中国科学院计算技术研究所 一种电子断层图像序列对位方法
CN109871859A (zh) * 2018-09-28 2019-06-11 北京矩视智能科技有限公司 一种自动生成图像训练集系统
CN110633711A (zh) * 2019-09-09 2019-12-31 长沙理工大学 训练特征点检测器的计算机装置、方法及特征点检测方法
CN112837291A (zh) * 2021-02-03 2021-05-25 中国空气动力研究与发展中心高速空气动力研究所 一种基于温敏漆技术的层流机翼转捩位置测量图像处理方法
CN113112531A (zh) * 2021-04-02 2021-07-13 广州图匠数据科技有限公司 一种图像匹配方法及装置
CN113592923A (zh) * 2021-06-30 2021-11-02 国网浙江省电力有限公司营销服务中心 一种基于深度局部特征匹配的批图像配准方法

Also Published As

Publication number Publication date
CN114463595B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108681994B (zh) 一种图像处理方法、装置、电子设备及可读存储介质
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
Zhai et al. Detecting vanishing points using global image context in a non-manhattan world
Parham et al. An animal detection pipeline for identification
WO2021017882A1 (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN108875666B (zh) 运动轨迹的获取方法、装置、计算机设备及存储介质
CN110309876A (zh) 目标检测方法、装置、计算机可读存储介质和计算机设备
CN102414718B (zh) 对象位置估计设备和对象位置估计方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
US9922261B2 (en) Robotic surveying of fruit plants
CA2913432A1 (en) System and method for identifying, analyzing, and reporting on players in a game from video
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN104517102A (zh) 学生课堂注意力检测方法及系统
CN104376575B (zh) 一种基于多摄像头监控的行人计数方法和装置
Wang et al. 3D pose estimation for fine-grained object categories
US20210097701A1 (en) Multi-camera homogeneous object trajectory alignment
CN111047626A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
CN112070181B (zh) 一种基于图像流的协同检测方法及装置、存储介质
CN113454684A (zh) 一种关键点标定方法和装置
CN114463595B (zh) 生成仿射变换数据集的方法和装置及电子设备
CN110969657B (zh) 一种枪球坐标关联方法、装置、电子设备及存储介质
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN116523957A (zh) 一种多目标跟踪方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant