CN116152635B - 一种基于区块链的无人飞行器联合航拍信息共享方法 - Google Patents

一种基于区块链的无人飞行器联合航拍信息共享方法 Download PDF

Info

Publication number
CN116152635B
CN116152635B CN202310046017.XA CN202310046017A CN116152635B CN 116152635 B CN116152635 B CN 116152635B CN 202310046017 A CN202310046017 A CN 202310046017A CN 116152635 B CN116152635 B CN 116152635B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
node
information
photography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310046017.XA
Other languages
English (en)
Other versions
CN116152635A (zh
Inventor
武应华
赵国宏
焦巍
刘忠仕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pla 96901
Original Assignee
Pla 96901
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pla 96901 filed Critical Pla 96901
Priority to CN202310046017.XA priority Critical patent/CN116152635B/zh
Publication of CN116152635A publication Critical patent/CN116152635A/zh
Application granted granted Critical
Publication of CN116152635B publication Critical patent/CN116152635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H04L67/1046—Joining mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H04L67/1051—Group master selection mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供一种基于区块链的无人飞行器联合航拍信息共享方法，包括以下步骤：进行无人飞行器双目相机标定和航拍信息特征提取神经网络模型训练；将无人飞行器编组入网；单节点无人飞行器对目标区域进行航拍，根据所述神经网络模型提取的航拍信息特征进行双目图像立体匹配，获得航拍的三维点云信息；各无人飞行器节点基于raft共识选举无人飞行器领导者节点；融合全网无人飞行器节点的航拍信息，进行航拍信息更新。本发明基于区块链的无人飞行器联合航拍信息共享方法，能够实现对大范围全方位的快速航拍，具有航拍范围广、航拍用时短、航拍细节丰富等优点。

Description

一种基于区块链的无人飞行器联合航拍信息共享方法
技术领域
本发明涉及无人飞行器技术领域，特别涉及一种基于区块链的无人飞行器联合航拍信息共享方法、电子设备和存储介质。
背景技术
无人机航拍具有高效清晰、智能轻便、易于操作的突出优势，特别适合获取长条形状地区的影像。然而，针对对于需进行大范围航拍的航拍目标拍摄，往往需要无人机自身进行多视角机动下的图像拼合，或者多无人机航拍数据的拼合。
现有成熟技术体制下，由于需要对图形畸变等误差进行处理，航拍影响拼合主要依靠内场作业进行图像拼接，耗时较长也破坏了数据的完整性，影响使用效，难以快速实现对航拍目标的全方位航拍和三维重建。针对上述问题，需开展在线的航拍信息共享融合方法的创新。
发明内容
为了解决现有技术存在的问题，本发明提供一种基于区块链的无人飞行器联合航拍信息共享方法，能够实现对大范围全方位的快速航拍，具有航拍范围广、航拍用时短、航拍细节丰富等优点。
为实现上述目的，本发明提供的一种基于区块链的无人飞行器联合航拍信息共享方法，包括以下步骤：
进行无人飞行器双目相机标定和航拍信息特征提取神经网络模型训练；
将无人飞行器编组入网；
单节点无人飞行器对目标区域进行航拍，根据所述神经网络模型提取的航拍信息特征进行双目图像立体匹配，获得航拍的三维点云信息；
各无人飞行器节点基于raft共识选举无人飞行器领导者节点；
融合全网无人飞行器节点的航拍信息，进行航拍信息更新。
进一步地，所述进行无人飞行器双目相机标定和航拍信息特征提取神经网络模型训练的步骤，还包括，
在无人飞行器起飞前，对部署在无人飞行器上的双目相机进行标定，进行航拍训练生成特征提取神经网络模型，将训练完成的神经网络模型部署至所述无人飞行器。
进一步地，所述将无人飞行器编组入网的步骤，还包括，
地面站向无人飞行器发送身份标识和身份证书，存储在首个区块；
无人飞行器起飞后，以首飞节点为种子节点，其它节点按约定加入编组。
进一步地，还包括，
入网节点向种子节点发送入网请求，将身份标识和身份证书通过私钥加密后，与公钥一同广播；
种子节点接收到广播信息后，通过公钥解密获取身份证书，并与存储的身份证书进行比对，若比对结果为一致，则授权所述入网节点入网，更新无人飞行器网络的参数信息。
进一步地，所述单节点无人飞行器对目标区域进行航拍，根据所述神经网络模型提取的航拍信息特征进行双目图像立体匹配，获得航拍的三维点云信息的步骤，还包括，
根据视差计算深度，深度计算公式为：
其中，为深度，/>为视差，/>为两个相机光心之间的距离，称作基线距离，/>为焦距，/>为左视图主点的列坐标，/>为右视图主点的列坐标；
根据深度计算相机坐标系下的点云的三维信息，公式为：
其中，和/>为像素的列坐标和行坐标，/>和/>为主点的像素坐标；
将相机坐标系下的点云的三维信息转换为世界坐标系下的三维点云坐标，转换公式为：
其中，、/>、/>为相机坐标系坐标，/>、/>、/>为世界坐标系坐标，其中R为相机坐标系到世界坐标系的转移矩阵、T为相机坐标系原点在世界坐标系的位置，所述参数R和所述参数T依据无人机的姿态和导航位置进行解算，并在起飞前初始标定。
进一步地，所述各无人飞行器节点基于raft共识选举无人飞行器领导者节点的步骤，还包括，
将各无人飞行器节点划分为跟随者节点、候选人节点和领导者节点；
将各节点无人飞行器初始化为跟随者节点，无人飞行器跟随者节点在每个周期内接受无人飞行器领导者节点的心跳信息，若能确认无人飞行器领导者节点的心跳信息，则在当周期内向此无人飞行器领导者节点发送航拍信息；
否则，无人飞行器跟随者节点转化为无人飞行器候选人节点，全网广播竞选无人飞行器领导者节点信息，得到超过半数无人飞行器节点确认后，无人飞行器候选人节点转化为无人飞行器领导者节点。
进一步地，所述融合全网无人飞行器节点的航拍信息，进行航拍信息更新的步骤，还包括，
无人飞行器领导者节点采用公钥对无人飞行器跟随者节点发送的信息进行解密，采用点云库将所有节点发送的三维点云以及上一周期由无人飞行器领导者节点融合后的点云进行融合。
更进一步地，所述采用点云库将所有节点发送的三维点云以及上一周期由无人飞行器领导者节点融合后的点云进行融合的步骤，还包括，
采用四点全等集合算法进行粗配准后，基于迭代最近点算法进行精配准的点云融合。
为实现上述目的，本发明还提供一种电子设备，包括存储器和处理器，所述存储器上储存有在所述处理器上运行的程序，所述处理器运行所述程序时执行上述的基于区块链的无人飞行器联合航拍信息共享方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述的基于区块链的无人飞行器联合航拍信息共享方法的步骤。
本发明的基于区块链的无人飞行器联合航拍信息共享方法，具有以下有益效果：
基于区块链实现了多无人联合航拍信息共享融合，能满足无人飞行器集群航拍对大范围地形的快速航拍和三维重建的需求，具有航拍范围广，航拍用时短，航拍细节丰富等优点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的基于区块链的无人飞行器联合航拍信息共享方法的流程图；
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
图1为根据本发明的基于区块链的无人飞行器联合航拍信息共享方法流程图，下面将参考图1，对本发明的基于区块链的无人飞行器联合航拍信息共享方法进行详细描述。
在步骤101，进行双目相机标定和无人飞行器航拍特征提取神经网络训练。
优选地，执行航拍任务前，首先基于平面模板采用张正友标定法对部署在无人飞行器上的双目相机进行标定。在不同角度下，对平面模板进行拍摄，然后提取出棋盘格的顶点，由此解析出相机的内参矩阵 、外参矩阵 、畸变系数 。
优选地，执行航拍任务前，对无人飞行器进行航拍训练，采用YOLOX-Tiny神经网络训练无人飞行器，生成航拍特征提取神经网络模型，并部署至各个节点的无人飞行器上。
本实施例中，YOLOX-Tiny神经网络算法算法框架主要分为三个部分：骨干网络（Backbone）、颈部（Neck）和检测头（Head）。
优选地，YOLOX-Tiny神经网络算法流程为：首先将拍摄图像进行缩放，经骨干网络（Backbone）提取输入图像的深度语义信息后得到包含不同层次信息的特征图；之后，通过协同注意力模块（Coordinate Attention：CA）抑制背景噪声，增强关键特征，之后由颈部（Neck）采用特征金字塔（FPN）和像素特征聚合（PAN）方法来融合浅层细节和深层语义信息，并输出三个尺度的特征图；最后，在检测头（Head）中采用一个共享卷积和两个分支额外卷积对特征图进行定位和分类任务解耦，其中分支额外卷积由可变形卷积和深度卷积单元CBS 组成，并通过卷积得到拍摄图像的地形特征。
在步骤102，将无人飞行器编组入网。
优选地，在无人飞行器起飞前，地面站为无人飞行器分发身份ID和身份证书，存储在创世区块。编组入网，无人飞行器起飞后，以首飞节点为种子节点，其它节点按约定加入编组。
本实施例中，创世区块其是一个数据存储的概念，本发明中区块存储两部分内容：其一为节点的身份ID和证书，其二为节点拍摄并处理后共享的航拍信息。
优选地，所述“无人飞行器编组入网”的步骤，可具体执行为：
1、节点i向种子节点发送入网请求，将其身份ID和身份证书通过私钥加密后，与公钥一同广播。种子节点收到广播信息后，通过公钥解密获取身份证书，与存储的身份证书进行比对，若比对结果为一致，则授权节点i入网。
2、其它节点依次向已经入网的节点广播发送入网请求，各节点授权后进行广播，若超过2/3的已入网节点授权当前请求节点入网，则请求入网节点成功入网，更新无人飞行器网络的参数信息，并将成功入网节点的信息存入区块数据中。
在步骤103，单节点无人飞行器航拍信息三维重建。
优选地，无人飞行器采用双目相机对目标区域进行航拍，拍摄的图像通过双目视觉可重建拍摄区域的三维信息。
优选地，所述“通过双目视觉获取目标区域三维信息”的步骤，可具体执行为：
1、基于特征的立体匹配：无人飞行器执行航拍任务时，采用训练好的YOLO神经网络实时提取航拍图像几何特征，然后基于提取的几何特征点进行立体匹配，采用SGBM算法获取视差图。
2、获取三维点云信息，由视差计算深度，深度计算如公式1所示：
公式1
其中，为深度；/>为视差；/>为两个相机光心之间的距离，称作基线距离；/>为焦距；/>和/>分别为左右视图主点的列坐标。
之后由深度计算相机坐标系下的点云的三维信息，如公式2所示：
公式2
其中，和/>为像素的列坐标和行坐标，/>和/>为主点的像素坐标。
之后转换为世界坐标系下的三维点云坐标，转换公式为：
公式3
其中，、/>、/>为相机坐标系坐标，/>、/>、/>为世界坐标系坐标，/>和/>为相机的外参，其中R为相机坐标系到世界坐标系的转移矩阵、T为相机坐标系原点在世界坐标系的位置，两项参数依据无人机的姿态和导航位置进行解算，并需进行起飞前初始标定。
优选地，参数R和参数T的具体计算过程为：
公式4
公式5
其中为无人飞行器根据偏航角/>、俯仰角/>、滚转角/>计算得到的转移矩阵，/>则为相机坐标系固连在无人飞行器的初始转移矩阵；/>为无人飞行器导航中心的世界坐标系坐标，/>为相机坐标系固连在无人飞行器的安装坐标。/>与/>需进行起飞前标定。
本实施例中，标定方法包括：在起飞前静止状态下，基于平面模板采用张正友标定法对部署在无人机上的双目相机进行标定。不同角度下，对平面模板进行拍摄，然后提取出棋盘格的顶点，接着解析出相机内参矩阵A、畸变系数[k1,k2,k3,p1,p2,]、外参矩阵[R|T]，其中内参矩阵和畸变系数用于相机拍摄信息的矫正，外参矩阵[R|T]则并根据该静止状态下的飞行器的偏航角、俯仰角、滚转角以及坐标，使用公式4、5结合外参矩阵[R|T]反算得到与/>。
在步骤104，选举无人飞行器领导者节点。
优选地，将各无人飞行器节点划分为三种角色：跟随者（follower），候选人（candidate）和领导者（leader），各无人飞行器节点基于raft共识选举无人飞行器leader节点。优选地，起飞前将各节点无人飞行器初始化为follower，无人飞行器follower节点在每个周期内接受无人飞行器leader节点的心跳信息，若能确认无人飞行器leader节点的心跳信息，则在当周期内向此无人飞行器leader节点发送航拍信息；否则，无人飞行器follower节点转化为candidate节点无人飞行器，全网广播竞选无人飞行器leader节点信息，得到超过半数节点无人飞行器确认后，candidate节点无人飞行器自动转化为无人飞行器leader节点，每个无人飞行器follower节点在收到一次竞选信息一个心跳周期内不响应其它竞选信息。
优选地，竞选成为leader节点的具体过程如下：
a）所有无人飞行器节点均初始化为follower，并在一个选举周期0.5s内，保持接收leader节点的心跳信息；
b）在尚未产生Leader节点时，则无人飞行器节点Follower在下一个选举周期内转为候选者Candidate状态，并向其他无人飞行器节点发送竞选请求，并且重置选举定时器，同时任期数Term随着选举周期自增；
c）节点收到投票请求后会根据以下情况决定是否接受投票请求（每个 follower刚成为 Candidate 的时候会将票投给自己）：
请求节点的 Term 大于自己的 Term，且自己尚未投票给其它节点，则接受请求，把票投给它；
请求节点的 Term 小于自己的 Term，且自己尚未投票，则拒绝请求，将票投给自己。
d）一轮选举过后，正常情况下，会有一个 Candidate 收到超过半数节点（N/2 +1）的投票，它将胜出并升级为 Leader。然后定时发送心跳给其它的节点，其它节点会转为Follower 并与 Leader 保持同步，到此，本轮选举结束。
e）如一轮选举中，没有 Candidate 收到超过半数节点投票，那么将进行下一轮选举。
在步骤105，融合全网无人飞行器节点航拍信息。
优选地，无人飞行器follower节点获取航拍信息后，若能确认无人飞行器leader节点的心跳信息，则在当周期内向此无人飞行器leader节点发送公钥和经私钥加密后的加密信息。加密信息包括无人飞行器follower节点地址、拍摄时间戳、节点无人飞行器拍摄信息、节点无人飞行器导航信息。
优选地，无人飞行器leader节点收到无人飞行器follower节点发送的信息后，通过公钥解密，根据链上最新的航拍融合信息、无人飞行器follower节点的航拍信息、无人飞行器leader节点自身的航拍信息和各节点的导航信息，通过点云融合得到新的航拍融合信息。
优选地，采用PCL（Point Cloud Library，点云库）对当前各节点无人飞行器获取的三维点云与无人飞行器leader节点在上一周期融合的点云进行点云配准，实现点云融合。首先基于4PCS（4-Points Congruent Sets，四点全等集合）算法进行粗配准，然后基于ICP（Iterative Closest Point，迭代最近点）算法进行精配准。
优选地，所述“基于4PCS（4-Points Congruent Sets，四点全等集合）算法进行粗配准”的步骤，可具体执行为：
1、在原点云中，随机选择一个四点集/>，确定线段1和线段2，计算不变量/>和不变比/>。
2、在目标点云中，遍历全部点对，筛选线段长度在/>或/>误差范围内的点对集合/>。
3、遍历点对集合中的全部点对元素/>，计算其线段上满足不变比/>的目标交点/>，然后将所有计算结果/>存入搜索树ANN Tree，并构建相应的映射/>。
4、遍历点对集合中的全部点对元素/>，计算其线段上满足不变比/>的目标交点/>，并构建相应的映射/>。然后遍历所有的/>点，在步骤3中构建的ANNTree中搜索可接受误差范围内的重合点/>，若可找到则说明能在/>中找到一个对应的近似全等四点集/>。最终求得所有的近似全等四点集/>。
5、遍历所有的近似全等四点集，对每一个/>，通过最小二乘法计算其与/>的对应变换矩阵/>。然后使用该变换矩阵对源点云/>进行变换得到/>，统计/>与/>中的最大公共点集LCP（Largest Common Pointset），记/>的变换矩阵为本次迭代的最优变换矩阵T并保存。
在步骤106，进行航拍信息更新。
优选地，在一个心跳周期内，无人飞行器leader节点融合航拍信息之后，将融合后的航拍信息、各节点无人飞行器地址、拍摄时间戳、各节点无人飞行器拍摄信息、各节点无人飞行器导航信息通过私钥加密和公钥一同全网广播。经无人飞行器follower节点对收到广播信息后使用公钥解密进行确认后写入区块链中新的区块数据，更新航拍信息。
本发明提供的一种基于区块链的无人飞行器联合航拍信息共享方法，由多无人飞行器搭载的双目相机航拍目标区域，生成航拍区域的三维点云，基于raft共识实现无人飞行器航拍信息的共享与融合。能够实现对大范围全方位的快速航拍，具有航拍范围广、航拍用时短、航拍细节丰富等优点。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器上储存有在所述处理器上运行的程序，所述处理器运行所述程序时执行上述的基于区块链的无人飞行器联合航拍信息共享方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述的基于区块链的无人飞行器联合航拍信息共享方法的步骤，所述基于区块链的无人飞行器联合航拍信息共享方法参见前述部分的介绍，不再赘述。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于区块链的无人飞行器联合航拍信息共享方法，其特征在于，包括以下步骤：
进行无人飞行器双目相机标定和航拍信息特征提取神经网络模型训练；
将无人飞行器编组入网；
所述将无人飞行器编组入网的步骤，还包括，
地面站向无人飞行器发送身份标识和身份证书，存储在首个区块；
无人飞行器起飞后，以首飞节点为种子节点，其它节点按约定加入编组；
单节点无人飞行器对目标区域进行航拍，根据所述神经网络模型提取的航拍信息特征进行双目图像立体匹配，获得航拍的三维点云信息；
所述单节点无人飞行器对目标区域进行航拍，根据所述神经网络模型提取的航拍信息特征进行双目图像立体匹配，获得航拍的三维点云信息的步骤，还包括，
根据视差计算深度，深度计算公式为：
其中，为深度，/>为视差，/>为两个相机光心之间的距离，称作基线距离，/>为焦距，为左视图主点的列坐标，/>为右视图主点的列坐标；
根据深度计算相机坐标系下的点云的三维信息，公式为：
其中，和/>为像素的列坐标和行坐标，/>和/>为主点的像素坐标；
将相机坐标系下的点云的三维信息转换为世界坐标系下的三维点云坐标，转换公式为：
其中，、/>、/>为相机坐标系坐标，/>、/>、/>为世界坐标系坐标，其中R为相机坐标系到世界坐标系的转移矩阵、T为相机坐标系原点在世界坐标系的位置，所述参数R和所述参数T依据无人机的姿态和导航位置进行解算，并在起飞前初始标定；
各无人飞行器节点基于raft共识选举无人飞行器领导者节点；
所述各无人飞行器节点基于raft共识选举无人飞行器领导者节点的步骤，还包括，
将各无人飞行器节点划分为跟随者节点、候选人节点和领导者节点；
将各节点无人飞行器初始化为跟随者节点，无人飞行器跟随者节点在每个周期内接受无人飞行器领导者节点的心跳信息，若能确认无人飞行器领导者节点的心跳信息，则在当周期内向此无人飞行器领导者节点发送航拍信息；
否则，无人飞行器跟随者节点转化为无人飞行器候选人节点，全网广播竞选无人飞行器领导者节点信息，得到超过半数无人飞行器节点确认后，无人飞行器候选人节点转化为无人飞行器领导者节点；
融合全网无人飞行器节点的航拍信息，进行航拍信息更新。
2.根据权利要求1所述的基于区块链的无人飞行器联合航拍信息共享方法，其特征在于，所述进行无人飞行器双目相机标定和航拍信息特征提取神经网络模型训练的步骤，还包括，
在无人飞行器起飞前，对部署在无人飞行器上的双目相机进行标定，进行航拍训练生成特征提取神经网络模型，将训练完成的神经网络模型部署至所述无人飞行器。
3.根据权利要求1所述的基于区块链的无人飞行器联合航拍信息共享方法，其特征在于，还包括，
入网节点向种子节点发送入网请求，将身份标识和身份证书通过私钥加密后，与公钥一同广播；
种子节点接收到广播信息后，通过公钥解密获取身份证书，并与存储的身份证书进行比对，若比对结果为一致，则授权所述入网节点入网，更新无人飞行器网络的参数信息。
4.根据权利要求1所述的基于区块链的无人飞行器联合航拍信息共享方法，其特征在于，所述融合全网无人飞行器节点的航拍信息，进行航拍信息更新的步骤，还包括，
无人飞行器领导者节点采用公钥对无人飞行器跟随者节点发送的信息进行解密，采用点云库将所有节点发送的三维点云以及上一周期由无人飞行器领导者节点融合后的点云进行融合。
5.根据权利要求4所述的基于区块链的无人飞行器联合航拍信息共享方法，其特征在于，所述采用点云库将所有节点发送的三维点云以及上一周期由无人飞行器领导者节点融合后的点云进行融合的步骤，还包括，
采用四点全等集合算法进行粗配准后，基于迭代最近点算法进行精配准的点云融合。
6.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上储存有在所述处理器上运行的程序，所述处理器运行所述程序时执行权利要求1-5任一项所述的基于区块链的无人飞行器联合航拍信息共享方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1-5任一项所述的基于区块链的无人飞行器联合航拍信息共享方法的步骤。
CN202310046017.XA 2023-01-30 2023-01-30 一种基于区块链的无人飞行器联合航拍信息共享方法 Active CN116152635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310046017.XA CN116152635B (zh) 2023-01-30 2023-01-30 一种基于区块链的无人飞行器联合航拍信息共享方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310046017.XA CN116152635B (zh) 2023-01-30 2023-01-30 一种基于区块链的无人飞行器联合航拍信息共享方法

Publications (2)

Publication Number Publication Date
CN116152635A CN116152635A (zh) 2023-05-23
CN116152635B true CN116152635B (zh) 2023-07-21

Family

ID=86361327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310046017.XA Active CN116152635B (zh) 2023-01-30 2023-01-30 一种基于区块链的无人飞行器联合航拍信息共享方法

Country Status (1)

Country Link
CN (1) CN116152635B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401620B (zh) * 2018-04-24 2021-10-26 广州刀锋智能科技有限公司 一种无人机集群区块链通讯方法
CN109714404B (zh) * 2018-12-12 2021-04-06 中国联合网络通信集团有限公司 基于Raft算法的区块链共识方法及装置
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN114004977A (zh) * 2021-10-25 2022-02-01 成都飞机工业（集团）有限责任公司 一种基于深度学习的航拍数据目标定位方法及系统

Also Published As

Publication number Publication date
CN116152635A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN112085845B (zh) 基于无人机影像的室外场景快速三维重建装置
CN108648270B (zh) 实时同步定位与地图构建的无人机实时三维场景重建方法
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
WO2019161813A1 (zh) 动态场景的三维重建方法以及装置和系统、服务器、介质
Zhang et al. Photogrammetric processing of low‐altitude images acquired by unpiloted aerial vehicles
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
WO2022048541A1 (zh) 基于双目视觉的环境感知方法、装置及无人飞行器
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN109685879B (zh) 多视影像纹理分布的确定方法、装置、设备和存储介质
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN109325913A (zh) 无人机图像拼接方法及装置
Byrne et al. Maximizing feature detection in aerial unmanned aerial vehicle datasets
WO2020114433A1 (zh) 一种深度感知方法，装置和深度感知设备
CN112632415B (zh) 一种Web地图实时生成方法及图像处理服务器
CN113808269A (zh) 地图生成方法、定位方法、系统及计算机可读存储介质
CN107610216B (zh) 基于粒子群优化多视角立体点云生成方法及应用的摄像机
CN116152635B (zh) 一种基于区块链的无人飞行器联合航拍信息共享方法
Karantzalos et al. Model-based building detection from low-cost optical sensors onboard unmanned aerial vehicles
WO2021051220A1 (zh) 一种点云融合方法、设备、系统及存储介质
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
Wang et al. Automated mosaicking of UAV images based on SFM method
CN113706391B (zh) 无人机航拍图像实时拼接方法、系统、设备及存储介质
Wu Photogrammetry for 3D mapping in Urban Areas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant