CN115063073B - 一种高效保密的无人机协同配送方法 - Google Patents

一种高效保密的无人机协同配送方法 Download PDF

Info

Publication number
CN115063073B
CN115063073B CN202210655824.7A CN202210655824A CN115063073B CN 115063073 B CN115063073 B CN 115063073B CN 202210655824 A CN202210655824 A CN 202210655824A CN 115063073 B CN115063073 B CN 115063073B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
face
edge server
delivery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210655824.7A
Other languages
English (en)
Other versions
CN115063073A (zh
Inventor
徐怡
过如意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210655824.7A priority Critical patent/CN115063073B/zh
Publication of CN115063073A publication Critical patent/CN115063073A/zh
Application granted granted Critical
Publication of CN115063073B publication Critical patent/CN115063073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/001—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using chaotic signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于物流配送领域，具体涉及一种高效保密的无人机协同配送方法。该配送方法利用无人机作为输送载具，将货物自动配送给收货人。云服务器自动分配配送任务，部署在收货地址附近的边缘服务器为无人机识别收货人提供辅助计算能力，该配送方法包括如下六个阶段：一、任务分配阶段，二、配送准备阶段，三、货物运输阶段，四、对象匹配阶段，五、坐标生成阶段，六、货物配送阶段。其中，在任务分配阶段，云服务器和边缘服务器通过区块链技术进行保密通信，在对象匹配阶段和货物配送阶段，边缘服务器和无人机采用混沌加密通信技术进行加密通信。本发明提供的配送方法解决了传统无人机配送工作效率低，数据处理量大，安全性不足的问题。

Description

一种高效保密的无人机协同配送方法
技术领域
本发明属于物流配送领域，具体涉及一种高效保密的无人机协同配送方法。
背景技术
随着无人机技术的不断发展，无人机已经越来越多地应用于航拍摄影、地理测绘、农业植保、电力巡线、森林防火等不同领域。此外，利用无人机进行自动化配送成为物流行业的一个新的研究方向；无人机配送相对现有的物流配送方式具有效率高、速度快等优点；应用前景广阔。
现有的无人机配送过程中，如何实现精准的收货人识别是一个亟待解决的技术难点，收货人识别通常需要采用人脸识别技术，无人机配送过程中通常停留在高空中，因此利用俯拍的视频数据进行人脸识别存在识别精度低，数据处理量大，对无人机的数据处理性能要求较高的问题。技术人员为了解决上述问题，提出在收货地址附近设置边缘服务器，并将无人机配送过程与收货人识别有关的数据处理任务卸载到边缘服务器端进行处理的技术方案；利用边缘服务器强大的算力辅助无人机进行对象识别。
但是，将人物识别任务卸载到边缘服务器执行时，需要在不同设备间频繁进行数据传输，这给用户隐私信息的安全性带来造成了隐患，可能存在用户数据泄露的风险。另外，这种管理方式方式也降低了无人机飞控系统的安全性，增加无人机在配送过程被通信干扰和设备侵入的风险。
发明内容
为了解决无人机配送方法和系统的工作效率低，数据处理量大，存在数据泄露和通信干扰风险的问题，本发明提供了一种高效保密的无人机协同配送方法。
本发明采用以下技术方案实现：
一种高效保密的无人机协同配送方法，该配送方法利用无人机作为输送载具，将货物自动配送给收货人。配送过程中，由云服务器自动分配配送任务，由部署在收货地址附近的边缘服务器为无人机识别收货人提供辅助计算能力，该配送方法包括六个阶段的内容，具体如下：
一、任务分配阶段：
云服务器根据运单中的发货地址确定负责对应区域的第一边缘服务器，并将运单派发到与第一边缘服务器保持通信且处于空闲状态的无人机。然后根据收货地址确定负责对应区域的第二边缘服务，并将包含收货人的人物信息以及接单无人机的设备识别码的信息发布到仅允许负责收货地址的第二边缘服务器访问的区块链私链上。再向收货人发送包含预计交货时间的通知。
二、配送准备阶段：
第一边缘服务器向无人机下达包含取货位置坐标的取货指令，引导无人机到达取货位置装载货物；并将收货区域对应的粗坐标发送给无人机。第二边缘服务器访问区块链私链，下载当前待执行的每个运单对应收货人的任务信息和对应无人机的设备识别码。
三、货物运输阶段：
无人机取货完成后根据收货区域的粗坐标自动生成最佳飞行线路，并在飞行过程进行自主避障。到达收货区域后，无人机利用自身的设备识别码作为验证信息与第二边缘服务器握手通信，当无人机与第二边缘服务器握手成功后，进入下一阶段。
四、对象匹配阶段：
4.1：无人机获取利用相机获取当前区域的视频，然后将视频数据分帧，并隔帧抽样得到样本图像，再将各个样本图像与对应帧的飞行参数打包并加密后得到图像密文，图像密文发送给第二边缘服务器。
4.2：第二边缘服务器对接收到的图像密文依次进行解密和解包处理，然后通过人脸提取算法提取每张样本图像中包含一个或多个人脸图像；人脸提取算法可以采用OpenCV跨平台计算机视觉和机器学习软件库中已有的工具。
4.3：第二边缘服务器对提取出的每张人脸图像依次进行人脸转正处理，得到正面人脸图像。
4.4：第二边缘服务器将各张正面人脸图像的人脸特征与该无人机配送的运单对应的收货人的人脸特征进行特征匹配，判断是否匹配成功：
(1)当匹配成功，则确定当前样本中提取的人脸图像对应的目标人物为收货人，并进入下一阶段。
(2)当匹配不成功，则返回步骤4.1继续执行下一人脸图像的特征匹配任务。
五、坐标生成阶段：
5.1：第二边缘服务器获取当前运单匹配成功后的样本图像、目标人物的人脸图像、以及样本图像所在视频帧对应时刻的飞行参数。
5.2：根据飞行参数中无人机的飞行高度和经纬度确定无人机当前位置的三维坐标A：(x1，y1，z1)。
5.3：根据目标人物在原始样本图像中像素区域的大小和PTZ云台的Zoom值，估算目标人物与无人机间的距离d。
5.4：根据PTZ云台的Pan值、Tilt值，以及目标人物在原始样本图像中的位置，估算出目标人物相对无人机的偏转角α。
5.5：结合目标人物相对无人机的偏转角α和距离d，以及无人机的当前三维坐标A(x1，y1，z1)计算出目标人物的三维坐标B：(x2，y2，z2)，即收货人的位置坐标。
六、货物配送阶段：
第二边缘服务器将收货人姓名以及位置坐标打包并加密后得到地址密文，并向无人机发送包含地址密文的交货指令；无人机接收到交货指令后，对地址密文依次进行解密和解包处理，然后播放包含收货人姓名的语音通知，并降落到收货人的位置坐标处卸载货物。
作为本发明进一步的改进，当多个运单的收货人为同一人时，云服务器将各个运单的交货时间分配为同一时段。然后在任务分配阶段为负责不同运单的各个无人机建立第一关联关系，将距离收货地点最近的运单对应的无人机作为主机，其它运单的无人机作为副机。主机在与第二边缘服务器握手通信后，依次执行对象匹配阶段、坐标生成阶段和货物配送阶段的任务并完成货物交付。副机与第二边缘服务器通信后，第二边缘服务器直接将主机的交货指令发送给副机，引导副机完成货物交付。
作为本发明进一步的改进，当多个运单的收货人为同一收货地址的不同收货人时，云服务器将各个运单的交货时间分配为同一时段。然后在任务分配阶段为负责不同运单的各个无人机建立第二关联关系。第二边缘服务器将具有第二关联关系的不同无人机的收货人同时作为目标人物，并在对象匹配阶段利用不同来源的样本图像提取出的人脸图像同步与不同收货人的人脸图像进行特征匹配，当任意一张样本图像中识别出任意一个收货人，则将包含收货人位置坐标的交货指令广播给所有具有第二关联关系的无人机，无人机接收到交货指令后将解析出的交货人姓名与自身订单包含的交货人姓名进行匹配，匹配成功则执行交货指令，否则等待接收新的交货指令。
作为本发明进一步的改进，云服务器上传到区块链私链中的人物信息包含收货人的人脸图像对应的人脸特征值，收货人的收货地址，以及其它与物流配送有关的必要信息。人物信息由用户在用户注册阶段主动上传到云服务器中
其中，云服务器上传到区块链私链中的人物信息仅支持由负责该配送任务的收货地址对应区域的边缘服务器进行下载，云服务器和无人机间采用工作量证明机制作为管理区块链数据读写权限的共识机制。
作为本发明进一步的改进，边缘服务器中通过部署的人脸转正模型完成人脸图像的转正处理，其中，人脸转正模型采用基于生成对抗网络DR-GAN网络模型，生成对抗网络DR-GAN的结构包括生成器和判别器两个部分；其中，生成器为编码器-解码器结构。
人脸转正模型的训练过程包括如下步骤：
(1)采集多张真实的人脸图像，为每张人脸图像添加人脸身份标签和人脸姿态标签，人脸身份标签用于反映人脸对应人物的身份，人脸姿态标签用于反映当前人脸图像对应的面部姿态；进而得到所需的样本数据集。
(2)分别为生成器和判别器设置相应的损失函数；生成器损失函数的优化目标是最大化生成图片被判别器判别为真的概率，并最大化样本图像被分类到相同身份和指定姿态类别中的概率。判别器损失函数的优化目标时最大化样本图像被分类到相同身份和指定姿态类别中的概率，并最大化生成的人脸图像被判别为假的概率。
(3)将样本数据集作为训练集，输入到人脸转正模型中对其进行训练。在训练阶段，编码器的输入为人脸图片，输出为人脸图片的人脸特征；人脸特征与噪声、指定姿态做连接，共同输入到解码器中，解码器对输入进行反卷积处理，输出指定姿态的人脸图片。生成人脸图片和原始人脸图片共同输入到判别器，由判别器判别真伪，并对判别为真的图片按照身份和人脸姿态做分类。
(4)获取训练阶段的生成器损失值g-loss和判别器损失值d-loss，当二者降低并趋于稳定时，保留当前生成对抗网络DR-GAN的网络参数，得到完成训练的人脸转正模型。
作为本发明进一步的改进，生成器损失函数如下：
其中E为期望，D为判别器，G为生成器，x为人脸图片，y为标签，分为身份yd和目标姿态yt两个部分，z为噪声，c为指定姿态，Pd是训练样本的分布，Pz是噪声的分布，Pc是姿势的分布，Nd为训练集中的测试者总数，Np为训练集中的姿势总数，Dd为判别身份的损失函数，Dp为判别姿势的损失函数。
判别器损失函数如下：
其中，x为人脸图片，y为标签，分为身份yd和姿态yp两个部分，z为噪声，c为指定姿态表示图片x在yd下的损失函数，/>表示由生成器G在图片x，噪声z以及姿势c条件下所生成的图片/>在附加维度Nd+1下的损失函数。
作为本发明进一步的改进，边缘服务器和无人机中部署有分数阶时变耦合复杂网络。分数阶时变耦合复杂网络可将无人机的节点状态与边缘服务器的节点状态同步；边缘服务器和无人机间进行数据或指令传输时，采用分数阶时变耦合复杂网络生成同步的加密信号和解密信号，进而实现传输数据的加密和解密。
其中，分数阶时变耦合复杂网络的网络模型如下：
上式中，α表示分数阶，0<α<1；j和k表示复杂网络的节点，xj(t)和xk(t)表示对应节点处的状态变量，节点k的状态变量xk(t)满足：xk(t)＝(xk1(t),xk2(t),...,xkn(t))T∈Cn；Γ表示内部耦合连接矩阵，Γ＝diag(l1,l2,...,ln)>0,f(xk(t))∈Cn表示与xk(t)有关的非线性向量函数；c(t)表示时变耦合强度，其值随着网络状态的变化而变化；ΔA＝diag(Δa1,Δa2,...,Δan)表示一个有界的不确定参数矩阵；gkj表示耦合配置矩阵G中的元素，且G∈RN×N；其中，耦合配置矩阵G中的元素gkj的取值如下：
作为本发明进一步的改进，在对象匹配阶段，无人机加密得到图像密文的过程如下：
(1)获取目标区域的视频流数据，然后对识别流数据进行分帧处理，并按照预设采样比获取样本图像。
(2)获取每张样本图像对应时刻的无人机飞行参数；所述无人机飞行参数包括：飞行高度，经纬度和PTZ参数。
(3)将每张样本图像与对应时刻的飞行参数按照自定义的文件传输格式打包处理，得到原始数据包。
(4)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据加密的混沌信号。
(5)将原始数据进行序列化处理，然后与混沌信号进行信号叠加，得到所需的图像密文。
相应地，边缘服务器对接收到的图像密文进行解密的过程如下：
(ⅰ)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据解密的同步信号，其中，同步信号与混沌信号投影同步。
(ⅱ)利用同步信号对图像密文进行反处理得到原始数据包。
(ⅲ)根据自定义的文件传输格式从对原始数据包进行拆包，得到所需的原始样本图像及其对应时刻的飞行参数。
作为本发明进一步地改进，在货物配送阶段，边缘服务器加密得到地址密文的过程如下：
(1)获取当前运单的收货人姓名以及详细的位置坐标。
(2)按照自定义的数据传输格式将收货人性能和位置坐标的信息打包成原始数据包。
(3)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据加密的混沌信号。
(4)将原始数据进行序列化处理，然后与混沌信号进行信号叠加，得到所需的地址密文。
相应地，无人机对地址密文进行解密的过程如下：
(ⅰ)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据解密的同步信号，同步信号与混沌信号投影同步。
(ⅱ)利用同步信号对地址密文进行反处理得到原始数据包。
(ⅲ)根据自定义的文件传输格式从对原始数据包进行拆包，得到所需的收货人的姓名和位置坐标。
作为本发明进一步地改进，在对象匹配阶段，人脸特征匹配任务采用开源的face_recognition算法完成，人脸特征匹配过程如下；
首先获取从区块链私链中下载并解码出的收货人的人脸特征值，再从实时采集的样本图像中依次提取出各个对象的人脸特征值，然后计算两个不同来源的人脸特征值的欧氏距离，当任意两个人脸特征的欧式距离小于一个预设的可信度阈值时，则判定样本对象中提取的目标人物即为收货人；否则对实时采集的下一人脸图像中人脸特征值进行特征匹配。
本发明提供的技术方案，具有如下有益效果：
1、本发明优化了运单分配过程，使得无人机在配送过程中的飞行里程最小化，节省能源。该系统在无人机飞行过程中可以实现与不同边缘服务器保持无缝地通信切换，提高对无人机在运单派送过程中的跟踪效果。
2、本发明提供的配送方法减少任务时延。以往将人脸照片存储于云服务器或边缘服务器之类的的方法，目标收货人每次有配送任务触发都需要进行数据的传输以及人脸图片的特征值提取，而本发明将人脸图片提前将人脸特征值提取出来上传至区块链私链中，减少执行任务所需要的准备时间，如：人脸特征值提取以及图片传输时延等。
3、本发明通过对区块链技术和混沌加密通信技术的应用，提高了该配送方法的保密特性和安全性，消除了用户隐私信息的泄露风险；提高了无人机配送过程的通信稳定性和抗干扰能力；具有更好的系统安全等级，可以抵御外界的飞控劫持和系统入侵。
4、本发明提供的配送方法还对不同运单中采集到的数据进行合理共享和有效利用，降低了系统的数据处理负荷，节约了设备的计算资源，进而增强了系统对不同任务的并行处理能力，提升了系统的货物配送效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中提供的一种高保密性的无人机协同配送系统。
图2为本发明实施例1中边缘服务器的模块示意图。
图3为本发明实施例2中提供的一种高效保密的无人机协同配送方法的步骤流程图。
图4为本发明实施例2中收货人匹配过程的流程图。
图5为本发明实施例2中人脸转正模型的模型框架图。
图6为本发明实施例2中确认收货人详细坐标过程的步骤流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例提供一种高保密性的无人机协同配送系统，如图1所示，该无人机协同配送系统包括三个部分，分别为：云服务器、边缘服务器端和无人机端。其中，云服务器用于存储所有用户的注册信息，并对系统中产生的所有运单进行管理和分配。无人机端包括多台执行配送任务的无人机。无人机执行任务时根据取货指令达到发货地装载货物；在达到送货地址后，识别出收货人，并在接收到交货指令后将货物卸载到指定位置。边缘服务器端包含均匀分布在配送区域内的多台边缘服务器；边缘服务器的通信覆盖范围包含配送区域内的任意位置。边缘服务器用于和执行配送任务的无人机通信连接，进而为无人机执行配送任务时提供算力辅助，帮助无人机处理复杂且繁琐的数据处理任务。
其中，云服务器包括任务分配模块和信息发布模块。任务分配模块用于根据发货地址和收货地址分配所有待完成的配送任务，以使每个配送任务与至少一个无人机以及负责发货地址和收货地址的至少一个边缘服务器绑定。信息发布模块用于在每个配送任务开始时，根据收货地址将包含配送任务中收货人的人物信息上传到对应区域的区块链私链中。
在针对某个运单进行分配时，云服务器首先查询负责运单的发货地址所属区域的边缘服务器，该边缘服务器定义为第一边缘服务器。第一边缘服务器接下来会对当前通信连接的所有无人机的工作状态进行查询，并选定当前与第一边缘服务器建立通信状态(表征与第一边缘服务器以及发货地点距离较近)且处于空闲状态(表征可以接收任务)的无人机作为执行当前运行配送任务的无人机。另外，云服务器在查询负责运单的发货地址所属区域的边缘服务器，该边缘服务器定义为第二边缘服务器，第二边缘服务器负责在无人机交货时辅助无人机进行对象识别。至此，云服务器将当前运单分配到对应的第一边缘服务、第二边缘服务器和无人机。需要特别说明的是，在某些特殊的短程运单上，第一边缘服务器和第二边缘服务器可能为同一个边缘服务器，即：无人机取货和卸货地点均位于同一个边缘服务器的通信覆盖范围内。
在本实施例中，为了便于第二边缘服务器执行任务，云服务器还需要将包含收货人的人脸图像对应的人脸特征值，收货人的收货地址，以及其它与物流配送有关的必要信息上传到区块链私链中。这些信息主要是用户在账号注册阶段主动上传到云服务器中。云服务器在管理任意运单时，可以从用户信息的数据库中查询到相应信息，并进行数据筛选和上传。
在本实施例中，上传到区块链私链中的数据都是用户的个人隐私信息，为了避免云服务器和边缘服务器间的数据传输过程发生数据泄露，本实施例在二者间采用区块链加密技术对该数据进行数据防护。其中，云服务器上传到区块链私链中的人物信息仅支持由负责该配送任务的收货地址对应区域的边缘服务器进行下载。云服务器和无人机间采用工作量证明机制(PoW：Proof of Work)作为管理区块链数据读写权限的共识机制。也就是说，云服务器上传的信息，仅有负责该运单的第二边缘服务器才具有读写权限，其它设备或其它边缘服务器均无法采集到相应的数据。此外，在本实施例中，云服务器在该订单配送完成后，还将该区块链私链删除，进一步提升对用户个人隐私信息的安全防护性能。
为了完成辅助无人机进行配送的任务，如图2所示，本实施例中的各台边缘服务器内均包含任务发起模块、特征信息解码模块，图像解密模块，人脸提取模块、人脸转正模块、人脸识别模块、位置计算模块、任务交货模块，以及坐标加密模块。
其中，任务发起模块用于接收云服务器根据发货地址分配的配送任务，然后将配送任务分配到当前区域内空闲的无人机，并向无人机转发取货指令。特征信息解码模块用于从该区域对应的区块链私链中下载并解码出包含配送任务的收货对象的人物信息。图像解密模块用于接收并解密由无人机在识别收货人阶段上传的加密后的各张样本图像。人脸提取模块用于采用OpenCV算法提取样本图像中的人脸图像。人脸转正模块用于通过训练完成的生成对抗网络DR-GAN将提取出的人脸图像转正为正面人脸图像。人脸识别模块用于将提取并转换后的各个正面人脸图像的人脸特征值，与特征信息解码模块获取到的收货人的人脸特征值进行特征匹配，并确定最终的收货人。位置计算模块用于根据识别出的包含收货人的原始视频帧图像以及当前视频帧对应的无人机高度信息、经纬度和PTZ参数，计算出收货人的位置坐标。任务交货模块用于向无人机下达交货指令，交货指令中包含由坐标加密模块加密后的当前配送任务对应的收货人的位置坐标。
具体地，无人机接收的取货指令由靠近取货地址的第一边缘服务器的任务发起模块发出，第一边缘服务器发出的取货指令中包括待配送货物的地址，无人机到达相应地址后由相应的物流配送管理人员将货物装载到无人机上。当无人机完成货物装载后，无人机自动将自身的工作状态标志切换为工作状态。
无人机搭载货物达到交货地址附近时，会与第二边缘服务器通信连接。由于云服务器在运单分配阶段已经向无人机的设备识别编码发送到对应收货地址的第二边缘服务器处(通过区块链私链获取)。因此无人机在于第二边缘服务器握手时，第二边缘服务器通过采集无人机的设备识别码就可以实现验证。二者实现握手通信。接下来，二者通过专用信道进行数据传输，以实现将收货人识别任务卸载在边缘服务器中执行，无人机向边缘服务器发送采集到的现场图像，边缘服务器向无人机直接返回经识别的目标人物的详细坐标。在一个完整的配送任务执行过程中，第一边缘服务器中的任务发起模块参与了工作，第二边缘服务器中的特征信息解码模块，图像解密模块，人脸提取模块、人脸转正模块、人脸识别模块、位置计算模块、任务交货模块，以及坐标加密模块也参与了工作。
本实施例中边缘服务器中部署的人脸转正模块采用的生成对抗网络DR-GAN的结构包括生成器和判别器两个部分。其中，生成器为编码器-解码器结构，编码器中包含14个卷积层，每层的卷积核大小均为3x3，步长为1或2。解码器与编码器对称，也拥有14各卷积层，卷积核大小为3x3，步长为1或2。编码器的输入为人脸图片，输出为该图片的人脸特征。生成对抗网络DR-GAN还将人脸特征与噪声、指定姿态做连接，共同输入到解码器中。解码器通过反卷积处理，输出指定姿态的人脸图像。
在生成对抗网络DR-GAN的训练阶段，为生成器和判别器设置相应的损失函数，然后由生成器基于训练集数据生成人脸图像，再将生成器生成的人脸图像和训练集中原始的人脸图像共同输入到判别器，由判别器判别真伪。并对判别为真的图片按照身份和人脸姿态做分类。当生成损失函数以及判别损失函数均低于设定的阈值时，训练阶段结束，保留训练完成后的生成对抗网络DR-GAN作为最终的人脸转正模型。
本实施例中，人脸识别模块采用开源的face_recognition算法进行人脸匹配，人脸识别模块的匹配过程如下；首先获取从区块链私链中下载并解码出的收货人的人脸特征值；再从实时采集的样本图像中依次提取出各个对象的人脸特征值；然后计算两个不同来源的人脸特征值的欧氏距离。当任意两个人脸特征的欧式距离小于一个预设的可信度阈值时，则判定样本对象中提取的目标人物即为收货人。否则更换从样本图像中提取出的人物的人脸特征值，进行下一轮匹配。
本实施例提供的边缘服务器中，位置计算模块采用如下方法计算出收货人的位置坐标：
(1)获取经人脸识别模块匹配成功的目标人物的原始样本图像，并采集原始样本图像对应时刻无人机的飞行参数。
(2)根据飞行参数中飞行高度和经纬度确定无人机当前位置的三维坐标。
(3)根据目标人物在原始样本图像中像素区域的大小以及云台的PTZ参数，估算出目标人物相对无人机的偏转角和距离。
(4)结合目标人物相对无人机的偏转角和距离，以及无人机的当前三维坐标计算出目标人物的三维坐标，即收货人的位置坐标。
为了能够完成货物的配送任务，本实施例提供的无人机中均包含指令接收模块、机载导航模块、图像获取模块、图像加密模块、坐标解密模块，以及电动挂架。指令接收模块用于接收取货指令和交货指令。机载导航模块用于在无人机负载货物从发货地飞行至收货地过程中为无人机规划最佳的飞行线路。在无人机配送过程中，图像获取模块采用带有PTZ云台的摄像机，图像获取模块用于在到达收货地址附近时，获取下方的视流数据，并按照预设的采样率抽取视频流数据中数据帧作为样本图像。此外，图像获取模块还在无人机飞行路径规划过程中，拍摄无人机飞行路径前方的实时图像，进而帮助无人机识别前方可能存在障碍物。当无人机飞行路径存在障碍物时，无人机的飞控系统会对规划的飞行路进行实时调整，躲避障碍物。即图像获取模块还可以为机载导航模块提供实时的路径指引。
图像加密模块用于对样本图像和对应时刻的无人机飞行参数打包处理，然后将打包数据加密后上传到边缘服务器。坐标解密模块用于对接收到的交货指令包含的位置坐标进行解密，进而便于无人机到达相应位置完成卸货。电动挂架用于在取货或交货阶段根据指令装载或卸载待配送的货物。本实施例中的电动挂架实际上就是一个带有电子锁的通用挂架，在无人机配送货物时，货物固定在挂架上，并通电子锁进行锁定，在无人机飞行过程，电子锁时刻保持锁定状态，仅在无人机接收交货指令并到达交货地点后，电子锁自动解锁，释放搭载的货物。在本实施例中，无人机的工作状态标志实际上就是电子锁的状态标志，当电子锁处于锁定状态时，即表示该无人机处于工作状态，当电子锁处于解锁状态时，即表示该无人机处于空闲状态。
本实施例在无人机的完成某单货物的配送任务后，会停留在当前边缘服务器的通信范围内，并将自身的工作状态切换回空闲状态。等到接收由当前边缘服务器分发的下一运单。在下一运单配送时，该边缘服务器为第一边缘服务器。
此外当某个边缘服务器连接的所有无人机均处于工作状态时，该边缘服务器还会与相邻的其它边缘服务器通信，请求“调用”与其它边缘服务器连接的无人机执行当前运单的配送任务。
特别地，结合上文可知，本实施例除了通过区块链技术对边缘服务器和无人机间的用户信息传输过程进行加密之外，还利用混沌同步加密技术对无人机和边缘服务器间的数据传输过程进行进一步的加密处理。无人机和边缘服务器在收货人识别过程中需要进行图像和坐标传输，并且还需要传递某些控制指令。因此采用混沌加密技术对这些信息进行加密处理后，可以提高二者通信过程的稳定性和安全性，避免无人机的货物配送过程收到干扰或入侵。
具体地，本实施例的边缘服务器和无人机中部署有分数阶时变耦合复杂网络；分数阶时变耦合复杂网络可将无人机的节点状态与边缘服务器的节点状态同步。图像加密模块和坐标加密模块利用自身节点的状态变量作为加密信号，对拟传输的图像或坐标信息进行加密。图像加密模块和坐标加密模块用于利用自身节点的状态变量作为同步的解密信号，进而对接收到的加密图像或加密指令进行解密处理。
本实施例采用的分数阶时变耦合复杂网络的网络模型如下：
上式中，α表示分数阶，0<α<1；j和k表示复杂网络的节点，xj(t)和xk(t)表示对应节点处的状态变量，节点k的状态变量xk(t)满足：xk(t)＝(xk1(t),xk2(t),...,xkn(t))T∈Cn；Γ表示内部耦合连接矩阵，Γ＝diag(l1,l2,...,ln)>0,f(xk(t))∈Cn表示与xk(t)有关的非线性向量函数；c(t)表示时变耦合强度，其值随着网络状态的变化而变化；ΔA＝diag(Δa1,Δa2,...,Δan)表示一个有界的不确定参数矩阵；gkj表示耦合配置矩阵G中的元素，且G∈RN×N；其中，耦合配置矩阵G中的元素gkj的取值如下：
本实施例中的图像加密模块中包括数据采集单元、数据封装单元和混沌信号提取单元，以及加密信号生成单元。采用前述分数阶时变耦合复杂网络之后，数据采集单元用于获取待上传的样本图像，以及当前样本图像对应时刻的无人机参数。无人机飞行参数包括：飞行高度，经纬度和PTZ参数。数据封装单元用于将样本图像与各项飞行参数按照预设的文件传输格式打包处理，得到原始数据包，混沌信号提取单元用于获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据加密的混沌信号。加密信号生成单元用于将原始数据进行序列化处理，然后与混沌信号进行信号叠加，得到所需的加密信号，加密信号传输到边缘服务器端。
相应地，本实施例中的图像解密模块中包括同步信号提取单元、信号解密单元和数据解包单元。同步信号提取单元用于获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据解密的同步信号；同步信号与混沌信号投影同步。信号解密单元根据获取的同步信号和加密信号，采用信号加密过程的反处理得到原始数据。数据解包单元用于根据预设的文件传输格式从解密出的原始数据中拆解出所需的样本图像及其对应的飞行参数。
同样的，坐标加密模块和坐标解密模块内部的功能单元与图像加密的相关功能模型相似，区别仅在于二者处理的原始数据包中的数据类型不一致。因此本实施例不再对坐标加密和解密的功能模块的相关信息进行赘述。
本实施例中，云服务器与边缘服务器端的各台边缘服务器间采用基于以太网的有线通讯连接。此外，不同位置的边缘服务器间本身也相当于一个通信基站，并可以进行相互的数据交换，进而构成蜂窝移动网络。通常来说，边缘服务器和无人机间需要进行无线通信，二者的无线通信连接可以通过不同运营商的移动通信公网实现。特别地，为了进一步提高该无人机协同配送系统的保密性和安全性。边缘服务器和无人机间通信连接也可以采用类似警务专网的保密专网通信实现。为了实现相应的通信功能，边缘服务器和无人机中都安装有实现公网或专网通信的相应通信模块。
本实施中边缘服务器中的通信模块可支持同时与多个无人机进行通信。且边缘服务器的数据处理能力非常强大，其中的各个处理模块将来自于不同无人机的任务流中的子任务并行处理，进而在任意时刻实现同步响应由多个无人机发出的数据处理请求；对不同配送任务进行同步处理；以提高任务的处理效率。
在其它更优化的实施例中，云服务器还包括一个通知发送模块；在配送任务分配至无人机后，通知发送模块根据收货人预留的联系方式向收货人发送一个包含提货时间的提货通知，提醒收货人提前至临近的提货点准备提货。
云服务器在分配运单之后，可以根据无人机的飞行速率以及运单的里程大致估算出货物送达时间。因此，为了保证无人机到达预设的交货地点附近时，收货人也到达交货地址，等待无人机识别和交货。云服务器需要将货物理论送达时间以通知的形式发送给收货人，提醒收货人提前达到交货地点。由于云服务器中已经存储有收货人的联系方式，此时，云服务器直接向收货人的手机发送相应的通知短信即可。
另外，当交货地址同时存在多个待交付的运单时，收货可能无法了解到哪一个无人机配送的货物是自己的货物。因此，本实施例更优化的方案中还在无人机上安装了一个语音播报模块。无人机在接收到边缘服务器下达的交货指令，并飞向收货人所在的位置进行卸货时，还通过语音播报模块发出包含收货人姓名的语音通知，提醒收货人提货。
实施例2
本实施例提供一种高效保密的无人机协同配送方法，该配送方法主要应用于如实施例1的高保密性的无人机协同配送系统中。进而利用无人机作为输送载具，将货物自动配送给收货人。配送过程中，由云服务器自动分配配送任务，由部署在收货地址附近的边缘服务器为无人机识别收货人提供辅助计算能力。
如图3所示，本实施例提供的配送方法包括六个阶段的内容，具体如下：
一、任务分配阶段：
云服务器根据运单中的发货地址确定负责对应区域的第一边缘服务器，并将运单派发到与第一边缘服务器保持通信且处于空闲状态的无人机。然后根据收货地址确定负责对应区域的第二边缘服务，并将包含收货人的人物信息以及接单无人机的设备识别码的信息发布到仅允许负责收货地址的第二边缘服务器访问的区块链私链上。再向收货人发送包含预计交货时间的通知。
本实施例中，云服务器上传到区块链私链中的人物信息包含收货人的人脸图像对应的人脸特征值，收货人的收货地址，以及其它与物流配送有关的必要信息(如收货人的联系方式、配送货物的清单明细等等)。人物信息由用户在用户注册阶段主动上传到云服务器中。
其中，云服务器上传到区块链私链中的人物信息仅支持由负责该配送任务的收货地址对应区域的边缘服务器进行下载，云服务器和无人机间采用工作量证明机制作为管理区块链数据读写权限的共识机制。
二、配送准备阶段：
第一边缘服务器向无人机下达包含取货位置坐标的取货指令，引导无人机到达取货位置装载货物；并将收货区域对应的粗坐标发送给无人机。第二边缘服务器访问区块链私链，下载当前待执行的每个运单对应收货人的任务信息和对应无人机的设备识别码。
三、货物运输阶段：
无人机取货完成后切换自身状态为工作状态，然后根据收货区域的粗坐标自动生成最佳飞行线路，并在飞行过程进行自主避障。无人机到达收货区域后，先利用自身的设备识别码作为验证信息与第二边缘服务器握手通信，当无人机与第二边缘服务器握手成功后，再进入下一阶段。
四、对象匹配阶段：该阶段主要实现对位于收货地点的收货人进行准确是被的目标，如图4所示，该过程包括如下步骤：
4.1：无人机获取利用相机获取当前区域的视频，然后将视频数据分帧，并隔帧抽样得到样本图像，再将各个样本图像与对应帧的飞行参数打包并加密后得到图像密文，图像密文发送给第二边缘服务器。
具体地，在本实施例中，对于采集的视频帧图像，采取每20帧抽取1帧的采样率进行采集。得到样本图像还进行初步识别，检测图像时中是否包含人脸：是则保留该视频帧，并在加密后传输到边缘服务器；否则将该视频帧丢弃。进而降低边缘服务器端的数据处理量，节省边缘服务器的计算能力。
4.2：第二边缘服务器对接收到的图像密文依次进行解密和解包处理，然后通过人脸提取算法提取每张样本图像中包含一个或多个人脸图像；人脸提取算法可以采用OpenCV跨平台计算机视觉和机器学习软件库中已有的工具。
4.3：第二边缘服务器对提取出的每张人脸图像依次进行人脸转正处理，得到正面人脸图像。
具体地，本实施例的边缘服务器中通过部署的人脸转正模型完成人脸图像的转正处理，其中，人脸转正模型采用基于生成对抗网络DR-GAN网络模型，生成对抗网络DR-GAN的结构包括生成器和判别器两个部分；其中，生成器为编码器-解码器结构。
如图5所示，人脸转正模型的训练过程包括如下步骤：
(1)采集多张真实的人脸图像，为每张人脸图像添加人脸身份标签和人脸姿态标签，人脸身份标签用于反映人脸对应人物的身份，人脸姿态标签用于反映当前人脸图像对应的面部姿态；进而得到所需的样本数据集。
(2)分别为生成器和判别器设置相应的损失函数；生成器损失函数的优化目标是最大化生成图片被判别器判别为真的概率，并最大化样本图像被分类到相同身份和指定姿态类别中的概率。判别器损失函数的优化目标时最大化样本图像被分类到相同身份和指定姿态类别中的概率，并最大化生成的人脸图像被判别为假的概率。
(3)将样本数据集作为训练集，输入到人脸转正模型中对其进行训练。在训练阶段，编码器的输入为人脸图片，输出为人脸图片的人脸特征；人脸特征与噪声、指定姿态做连接，共同输入到解码器中，解码器对输入进行反卷积处理，输出指定姿态的人脸图片。生成人脸图片和原始人脸图片共同输入到判别器，由判别器判别真伪，并对判别为真的图片按照身份和人脸姿态做分类。
(4)获取训练阶段的生成器损失值g-loss和判别器损失值d-loss，当二者降低并趋于稳定时，保留当前生成对抗网络DR-GAN的网络参数，得到完成训练的人脸转正模型。
其中，生成器损失函数如下：
其中E为期望，D为判别器，G为生成器，x为人脸图片，y为标签，分为身份yd和目标姿态yt两个部分，z为噪声，c为指定姿态，Pd是训练样本的分布，Pz是噪声的分布，Pc是姿势的分布，Nd为训练集中的测试者总数，Np为训练集中的姿势总数，Dd为判别身份的损失函数，Dp为判别姿势的损失函数。
判别器损失函数如下：
其中，x为人脸图片，y为标签，分为身份yd和姿态yp两个部分，z为噪声，c为指定姿态表示图片x在yd下的损失函数，/>表示由生成器G在图片x，噪声z以及姿势c条件下所生成的图片/>在附加维度Nd+1下的损失函数。
在人脸转正模型的训练阶段。Nd是数据集中所有人脸的身份类别数，Nd+1作为额外的类，用来存放被判别器判别为假的图片。判别器的损失函数前半部分的目标是最大化x被分到相应身份类和姿态类中的概率(即被判别为真的概率)；后半部分是最大化生成图片被分到Nd+1类中的概率(即被判别为假的概率)。
通过对采集到的人物的人脸图像进行转正处理，可以大幅提高人脸匹配的正确率和成功率。避免因为采集到的人脸图像角度不佳，影响到货物的正确配送。
4.4：第二边缘服务器将各张正面人脸图像的人脸特征与该无人机配送的运单对应的收货人的人脸特征进行特征匹配，判断是否匹配成功：
(1)当匹配成功，则确定当前样本中提取的人脸图像对应的目标人物为收货人，并进入下一阶段。
(2)当匹配不成功，则返回步骤4.1继续执行下一人脸图像的特征匹配任务。
本实施例中的人脸特征匹配任务采用开源的face_recognition算法完成，人脸特征匹配过程如下；
首先获取从区块链私链中下载并解码出的收货人的人脸特征值，再从实时采集的样本图像中依次提取出各个对象的人脸特征值，然后计算两个不同来源的人脸特征值的欧氏距离，当任意两个人脸特征的欧式距离小于一个预设的可信度阈值时，则判定样本对象中提取的目标人物即为收货人；否则对实时采集的下一人脸图像中人脸特征值进行特征匹配。具体地，本实施例在不影响匹配精度的条件下，将可信度阈值设置为0.3。
五、坐标生成阶段：该阶段的任务是根据识别出的收货人的样本图像，计算出收货人的地理坐标，进而便于无人机准确交货。如图6所示，该过程包括如下步骤：
5.1：第二边缘服务器获取当前运单匹配成功后的样本图像、目标人物的人脸图像、以及样本图像所在视频帧对应时刻的飞行参数。
5.2：根据飞行参数中无人机的飞行高度和经纬度确定无人机当前位置的三维坐标A：(x1，y1，z1)。
5.3：根据目标人物在原始样本图像中像素区域的大小和PTZ云台的Zoom值，估算目标人物与无人机间的距离d。
5.4：根据PTZ云台的Pan值、Tilt值，以及目标人物在原始样本图像中的位置，估算出目标人物相对无人机的偏转角α。
5.5：结合目标人物相对无人机的偏转角α和距离d，以及无人机的当前三维坐标A(x1，y1，z1)计算出目标人物的三维坐标B：(x2，y2，z2)，即收货人的位置坐标。
六、货物配送阶段：
第二边缘服务器将收货人姓名以及位置坐标打包并加密后得到地址密文，并向无人机发送包含地址密文的交货指令；无人机接收到交货指令后，对图像密文依次进行解密和解包处理，然后播放包含收货人姓名的语音通知，并降落到收货人的位置坐标处卸载货物。
本实施例应用的高保密性的无人机协同配送系统中，边缘服务器和无人机中部署有分数阶时变耦合复杂网络。分数阶时变耦合复杂网络可将无人机的节点状态与边缘服务器的节点状态同步；边缘服务器和无人机间进行数据或指令传输时，采用分数阶时变耦合复杂网络生成同步的加密信号和解密信号，进而实现传输数据的加密和解密。
其中，分数阶时变耦合复杂网络的网络模型如下：
上式中，α表示分数阶，0<α<1；j和k表示复杂网络的节点，xj(t)和xk(t)表示对应节点处的状态变量，节点k的状态变量xk(t)满足：xk(t)＝(xk1(t),xk2(t),...,xkn(t))T∈Cn；Γ表示内部耦合连接矩阵，Γ＝diag(l1,l2,...,ln)>0,f(xk(t))∈Cn表示与xk(t)有关的非线性向量函数；c(t)表示时变耦合强度，其值随着网络状态的变化而变化；ΔA＝diag(Δa1,Δa2,...,Δan)表示一个有界的不确定参数矩阵；gkj表示耦合配置矩阵G中的元素，且G∈RN×N；其中，耦合配置矩阵G中的元素gkj的取值如下：
在本实施例的在对象匹配阶段，无人机加密得到图像密文的过程如下：
(1)获取目标区域的视频流数据，然后对识别流数据进行分帧处理，并按照预设采样比获取样本图像。
(2)获取每张样本图像对应时刻的无人机飞行参数；所述无人机飞行参数包括：飞行高度，经纬度和PTZ参数。
(3)将每张样本图像与对应时刻的飞行参数按照自定义的文件传输格式打包处理，得到原始数据包。
(4)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据加密的混沌信号。
(5)将原始数据进行序列化处理，然后与混沌信号进行信号叠加，得到所需的图像密文。
相应地，边缘服务器对接收到的图像密文进行解密的过程如下：
(ⅰ)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据解密的同步信号，其中，同步信号与混沌信号投影同步。
(ⅱ)利用同步信号对图像密文进行反处理得到原始数据包。
(ⅲ)根据自定义的文件传输格式从对原始数据包进行拆包，得到所需的原始样本图像及其对应时刻的飞行参数。
在本实施例的货物配送阶段，边缘服务器加密得到地址密文的过程如下：
(1)获取当前运单的收货人姓名以及详细的位置坐标。
(2)按照自定义的数据传输格式将收货人性能和位置坐标的信息打包成原始数据包。
(3)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据加密的混沌信号。
(4)将原始数据进行序列化处理，然后与混沌信号进行信号叠加，得到所需的地址密文。
相应地，无人机对地址密文进行解密的过程如下：
(ⅰ)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据解密的同步信号，同步信号与混沌信号投影同步。
(ⅱ)利用同步信号对地址密文进行反处理得到原始数据包。
(ⅲ)根据自定义的文件传输格式从对原始数据包进行拆包，得到所需的收货人的姓名和位置坐标。
在本实施例中，为了进一步提高货物的配送效率，还进一步对运单的分配和管理过程作出如下改进：
第一、当多个运单的收货人为同一人时，云服务器将各个运单的交货时间分配为同一时段。然后在任务分配阶段为负责不同运单的各个无人机建立第一关联关系，将距离收货地点最近的运单对应的无人机作为主机，其它运单的无人机作为副机。主机在与第二边缘服务器握手通信后，依次执行对象匹配阶段、坐标生成阶段和货物配送阶段的任务并完成货物交付。副机与第二边缘服务器通信后，第二边缘服务器直接将主机的交货指令发送给副机，引导副机完成货物交付。
第二、当多个运单的收货人为同一收货地址的不同收货人时，云服务器将各个运单的交货时间分配为同一时段。然后在任务分配阶段为负责不同运单的各个无人机建立第二关联关系。第二边缘服务器将具有第二关联关系的不同无人机的收货人同时作为目标人物，并在对象匹配阶段利用不同来源的样本图像提取出的人脸图像同步与不同收货人的人脸图像进行特征匹配，当任意一张样本图像中识别出任意一个收货人，则将包含收货人位置坐标的交货指令广播给所有具有第二关联关系的无人机，无人机接收到交货指令后将解析出的交货人姓名与自身订单包含的交货人姓名进行匹配，匹配成功则执行交货指令，否则等待接收新的交货指令。
经过上述改进后，通过设置关联关系，可以让不同无人机共享采集到的样本图像。在第一种场景下，只需要一次识别就可以同时为多个无人机的不同订单同时确定收货人。进而大幅降低无人机和边缘服务器的工作负荷。在第二种场景下，利用同一无人机采集的样本图像，可以同步识别出多个不同收货人，进而大幅改善数据重复采集的问题，消除人物重复识别带来的算力消耗；进一步提高无人机的物流配送效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高效保密的无人机协同配送方法，其特征在于：所述配送方法利用无人机作为输送载具，将货物自动配送给收货人；配送过程中由云服务器自动分配配送任务，由部署在收货地址附近的边缘服务器为无人机识别收货人提供辅助计算能力，所述配送方法包括如下过程：
一、任务分配阶段：
云服务器根据运单中的发货地址确定负责对应区域的第一边缘服务器，并将运单派发到与第一边缘服务器保持通信且处于空闲状态的无人机；然后根据收货地址确定负责对应区域的第二边缘服务，并将包含收货人的人物信息以及接单无人机的设备识别码的信息发布到仅允许负责收货地址的第二边缘服务器访问的区块链私链上；再向收货人发送包含预计交货时间的通知；
二、配送准备阶段：
第一边缘服务器向无人机下达包含取货位置坐标的取货指令，引导无人机到达取货位置装载货物，并将收货区域对应的粗坐标发送给无人机；第二边缘服务器访问区块链私链，下载当前待执行的每个运单对应收货人的任务信息和对应无人机的设备识别码；
三、货物运输阶段：
无人机取货完成后根据收货区域的粗坐标自动生成最佳飞行线路，并在飞行过程进行自主避障；到达收货区域后，无人机利用自身的设备识别码作为验证信息与第二边缘服务器握手通信，当无人机与第二边缘服务器握手成功后，进入下一阶段；
四、对象匹配阶段：
4.1：无人机获取利用相机获取当前区域的视频，然后将视频数据分帧并隔帧抽样得到样本图像，再将各个样本图像与对应帧的飞行参数打包并加密后得到图像密文，图像密文发送给第二边缘服务器；
4.2：第二边缘服务器对接收到的图像密文依次进行解密和解包处理，然后将通过人脸提取算法提取每张样本图像中包含一个或多个人脸图像；
4.3：第二边缘服务器对提取出的每张人脸图像依次进行人脸转正处理，得到正面人脸图像；
4.4：第二边缘服务器将各张正面人脸图像的人脸特征与该无人机配送的运单对应的收货人的人脸特征进行特征匹配，判断是否匹配成功：
(1)当匹配成功，则确定当前样本中提取的人脸图像对应的目标人物为收货人，并进入下一阶段；
(2)当匹配不成功，则返回步骤4.1继续执行下一人脸图像的特征匹配任务；
五、坐标生成阶段：
5.1：第二边缘服务器获取当前运单匹配成功后的样本图像、目标人物的人脸图像、以及样本图像所在视频帧对应时刻的飞行参数；
5.2：根据飞行参数中无人机的飞行高度和经纬度确定无人机当前位置的三维坐标A：(x1，y1，z1)；
5.3：根据目标人物在原始样本图像中像素区域的大小和PTZ云台的Zoom值，估算目标人物与无人机间的距离d；
5.4：根据PTZ云台的Pan值、Tilt值，以及目标人物在原始样本图像中的位置，估算出目标人物相对无人机的偏转角α；
5.5：结合目标人物相对无人机的偏转角α和距离d，以及无人机的当前三维坐标A(x1，y1，z1)计算出目标人物的三维坐标B：(x2，y2，z2)，即收货人的位置坐标；
六、货物配送阶段：
第二边缘服务器将收货人姓名以及位置坐标打包并加密后得到地址密文，并向无人机发送包含地址密文的交货指令；无人机接收到交货指令后，对地址密文依次进行解密和解包处理，然后播放包含收货人姓名的语音通知，并降落到收货人的位置坐标处卸载货物。
2.如权利要求1所述的高效保密的无人机协同配送方法，其特征在于：当多个运单的收货人为同一人时，云服务器将各个运单的交货时间分配为同一时段；然后在任务分配阶段为负责不同运单的各个无人机建立第一关联关系，将距离收货地点最近的运单对应的无人机作为主机，其它运单的无人机作为副机；主机在与第二边缘服务器握手通信后，依次执行对象匹配阶段、坐标生成阶段和货物配送阶段的任务并完成货物交付；副机与第二边缘服务器通信后，第二边缘服务器直接将主机的交货指令发送给副机，引导副机完成货物交付。
3.如权利要求1所述的高效保密的无人机协同配送方法，其特征在于：当多个运单的收货人为同一收货地址的不同收货人时，云服务器将各个运单的交货时间分配为同一时段；然后在任务分配阶段为负责不同运单的各个无人机建立第二关联关系；第二边缘服务器将具有第二关联关系的不同无人机的收货人同时作为目标人物，并在对象匹配阶段利用不同来源的样本图像提取出的人脸图像同步与不同收货人的人脸图像进行特征匹配，当任意一张样本图像中识别出任意一个收货人，则将包含收货人位置坐标的交货指令广播给所有具有第二关联关系的无人机，无人机接收到交货指令后将解析出的交货人姓名与自身订单包含的交货人姓名进行匹配，匹配成功则执行交货指令，否则等待接收新的交货指令。
4.如权利要求1所述的高效保密的无人机协同配送方法，其特征在于：所述云服务器上传到区块链私链中的人物信息包含收货人的人脸图像对应的人脸特征值，收货人的收货地址，以及其它与物流配送有关的必要信息；所述人物信息由用户在用户注册阶段主动上传到云服务器中；
其中，云服务器上传到区块链私链中的人物信息仅支持由负责该配送任务的收货地址对应区域的边缘服务器进行下载，云服务器和无人机间采用工作量证明机制作为管理区块链数据读写权限的共识机制。
5.如权利要求1所述的高效保密的无人机协同配送方法，其特征在于：边缘服务器中通过部署的人脸转正模型完成人脸图像的转正处理，其中，人脸转正模型采用基于生成对抗网络DR-GAN网络模型，生成对抗网络DR-GAN的结构包括生成器和判别器两个部分；其中，生成器为编码器-解码器结构；
人脸转正模型的训练过程包括如下步骤：
(1)采集多张真实的人脸图像，为每张人脸图像添加人脸身份标签和人脸姿态标签，人脸身份标签用于反映人脸对应人物的身份，人脸姿态标签用于反映当前人脸图像对应的面部姿态；进而得到所需的样本数据集；
(2)分别为生成器和判别器设置相应的损失函数，生成器损失函数的优化目标是最大化生成图片被判别器判别为真的概率，并最大化样本图像被分类到相同身份和指定姿态类别中的概率；判别器损失函数的优化目标时最大化样本图像被分类到相同身份和指定姿态类别中的概率，并最大化生成的人脸图像被判别为假的概率；
(3)将样本数据集作为训练集，输入到人脸转正模型中对其进行训练；在训练阶段，编码器的输入为人脸图片，输出为人脸图片的人脸特征；人脸特征与噪声、指定姿态做连接，共同输入到解码器中，解码器对输入进行反卷积处理，输出指定姿态的人脸图片；生成人脸图片和原始人脸图片共同输入到判别器，由判别器判别真伪，并对判别为真的图片按照身份和人脸姿态做分类；
(4)获取训练阶段的生成器损失值g-loss和判别器损失值d-loss，当二者降低并趋于稳定时，保留当前生成对抗网络DR-GAN的网络参数，得到完成训练的人脸转正模型。
6.如权利要求5所述的高效保密的无人机协同配送方法，其特征在于：所述生成器损失函数如下：
其中E为期望，D为判别器，G为生成器，x为人脸图片，y为标签，分为身份yd和目标姿态yt两个部分，z为噪声，c为指定姿态，Pd是训练样本的分布，Pz是噪声的分布，Pc是姿势的分布，Nd为训练集中的测试者总数，Np为训练集中的姿势总数，Dd为判别身份的损失函数，Dp为判别姿势的损失函数；
所述判别器损失函数如下：
其中，x为人脸图片，y为标签，分为身份yd和姿态yp两个部分，z为噪声，c为指定姿态表示图片x在yd下的损失函数，/>表示由生成器G在图片x，噪声z以及姿势c条件下所生成的图片/>在附加维度Nd+1下的损失函数。
7.如权利要求1所述的高效保密的无人机协同配送方法，其特征在于：所述边缘服务器和无人机中部署有分数阶时变耦合复杂网络；所述分数阶时变耦合复杂网络可将无人机的节点状态与边缘服务器的节点状态同步；所述边缘服务器和无人机间进行数据或指令传输时，采用分数阶时变耦合复杂网络生成同步的加密信号和解密信号，进而实现传输数据的加密和解密；
其中，所述分数阶时变耦合复杂网络的网络模型如下：
上式中，α表示分数阶，0<α<1；j和k表示复杂网络的节点，xj(t)和xk(t)表示对应节点处的状态变量，节点k的状态变量xk(t)满足：xk(t)＝(xk1(t),xk2(t),...,xkn(t))T∈Cn；Γ表示内部耦合连接矩阵，Γ＝diag(l1,l2,...,ln)>0,f(xk(t))∈Cn表示与xk(t)有关的非线性向量函数；c(t)表示时变耦合强度，其值随着网络状态的变化而变化；ΔA＝diag(Δa1,Δa2,...,Δan)表示一个有界的不确定参数矩阵；gkj表示耦合配置矩阵G中的元素，且G∈RN ×N；其中，耦合配置矩阵G中的元素gkj的取值如下：
8.如权利要求7所述的高效保密的无人机协同配送方法，其特征在于：在对象匹配阶段，无人机加密得到图像密文的过程如下：
(1)获取目标区域的视频流数据，然后对识别流数据进行分帧处理，并按照预设采样比获取样本图像；
(2)获取每张样本图像对应时刻的无人机飞行参数；所述无人机飞行参数包括：飞行高度，经纬度和PTZ参数；
(3)将每张样本图像与对应时刻的飞行参数按照自定义的文件传输格式打包处理，得到原始数据包；
(4)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据加密的混沌信号；
(5)将原始数据进行序列化处理，然后与混沌信号进行信号叠加，得到所需的图像密文；
边缘服务器对接收到的图像密文进行解密的过程如下：
(ⅰ)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据解密的同步信号，所述同步信号与混沌信号投影同步；
(ⅱ)利用同步信号对图像密文进行反处理得到原始数据包；
(ⅲ)根据自定义的文件传输格式从对原始数据包进行拆包，得到所需的原始样本图像及其对应时刻的飞行参数。
9.如权利要求7所述的高效保密的无人机协同配送方法，其特征在于：在货物配送阶段，边缘服务器加密得到地址密文的过程如下：
(1)获取当前运单的收货人姓名以及详细的位置坐标，
(2)按照自定义的数据传输格式将收货人性能和位置坐标的信息打包成原始数据包；
(3)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据加密的混沌信号；
(4)将原始数据进行序列化处理，然后与混沌信号进行信号叠加，得到所需的地址密文；
无人机对地址密文进行解密的过程如下：
(ⅰ)获取当前节点中分数阶时变耦合复杂网络的状态变量，进而得到一个用于进行数据解密的同步信号，所述同步信号与混沌信号投影同步；
(ⅱ)利用同步信号对地址密文进行反处理得到原始数据包；
(ⅲ)根据自定义的文件传输格式从对原始数据包进行拆包，得到所需的收货人的姓名和位置坐标。
10.如权利要求1所述的高效保密的无人机协同配送方法，其特征在于：在对象匹配阶段，人脸特征匹配任务采用开源的face_recognition算法完成，人脸特征匹配过程如下；首先获取从区块链私链中下载并解码出的收货人的人脸特征值，再从实时采集的样本图像中依次提取出各个对象的人脸特征值，然后计算两个不同来源的人脸特征值的欧氏距离，当任意两个人脸特征的欧式距离小于一个预设的可信度阈值时，则判定样本对象中提取的目标人物即为收货人；否则对实时采集的下一人脸图像中人脸特征值进行特征匹配。
CN202210655824.7A 2022-06-10 2022-06-10 一种高效保密的无人机协同配送方法 Active CN115063073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210655824.7A CN115063073B (zh) 2022-06-10 2022-06-10 一种高效保密的无人机协同配送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210655824.7A CN115063073B (zh) 2022-06-10 2022-06-10 一种高效保密的无人机协同配送方法

Publications (2)

Publication Number Publication Date
CN115063073A CN115063073A (zh) 2022-09-16
CN115063073B true CN115063073B (zh) 2024-04-16

Family

ID=83199540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210655824.7A Active CN115063073B (zh) 2022-06-10 2022-06-10 一种高效保密的无人机协同配送方法

Country Status (1)

Country Link
CN (1) CN115063073B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660538B (zh) * 2022-11-02 2023-07-21 广州和联慧通互联网科技有限公司 一种货物运输方法及系统
CN116342010A (zh) * 2023-03-29 2023-06-27 南京弘伍软件技术有限公司 一种基于人体姿态识别的人机物流系统
CN116229582B (zh) * 2023-05-06 2023-08-04 桂林电子科技大学 一种基于人体姿态识别的物流无人机及人机物流交互系统
CN116957434A (zh) * 2023-05-31 2023-10-27 武汉鸿源鼎信科技有限公司 一种配送无人机防损控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163455B1 (ko) * 2019-11-19 2020-10-07 (합)동양아이텍 무인 항공기를 이용한 원격 배달 시스템 및 배달 방법
CN114220157A (zh) * 2021-12-30 2022-03-22 安徽大学 无人机配送中基于人脸转正和人脸识别的收货人识别方法
CN114527779A (zh) * 2022-01-25 2022-05-24 华南师范大学 货物配送无人机的控制方法、系统和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163455B1 (ko) * 2019-11-19 2020-10-07 (합)동양아이텍 무인 항공기를 이용한 원격 배달 시스템 및 배달 방법
CN114220157A (zh) * 2021-12-30 2022-03-22 安徽大学 无人机配送中基于人脸转正和人脸识别的收货人识别方法
CN114527779A (zh) * 2022-01-25 2022-05-24 华南师范大学 货物配送无人机的控制方法、系统和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于大数据分析的农村电商物流最后一公里的配送问题研究;陈婉婷;;现代电子技术;20171115(22);全文 *
物流运输快速配送路径规划仿真;王力锋;刘双双;刘抗英;;计算机仿真;20170815(08);全文 *

Also Published As

Publication number Publication date
CN115063073A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN115063073B (zh) 一种高效保密的无人机协同配送方法
US10592843B2 (en) Unmanned aerial delivery to secure location
KR101541359B1 (ko) 무인배달 서비스 방법 및 시스템
US10489982B2 (en) Device, system and method for controlling a display screen using a knowledge graph
US10366586B1 (en) Video analysis-based threat detection methods and systems
WO2017115446A1 (ja) 物流システム、荷物運搬方法、及びプログラム
Pokrić et al. Augmented reality based smart city services using secure iot infrastructure
WO2023151500A1 (zh) 无线通信方法、网关、设备及系统
CN109983487A (zh) 到无人看管车辆的物品递送
Fleck et al. Towards large scale urban traffic reference data: Smart infrastructure in the test area autonomous driving baden-württemberg
JP2006333337A (ja) 画像秘匿化装置及び画像配信システム
US20190228246A1 (en) Pickup Service Based on Recognition Between Vehicle and Passenger
JP7320690B2 (ja) 光通信用のシステム、デバイス及び方法
US20240028028A1 (en) Competitive and collaborative autonomous vehicle task performance
CN110521186A (zh) 用于使用数字、物理、时间或空间发现服务的共享混合现实体验的方法和系统
CN108989752A (zh) 一种海关缉私集群指挥控制方法
US20200334460A1 (en) Methods and systems for operating a moving platform to determine data associated with a target person or object
CN114220157A (zh) 无人机配送中基于人脸转正和人脸识别的收货人识别方法
US20220171386A1 (en) Autonomous vehicle-to-autonomous vehicle coordination of collaborative tasks
CN111163422A (zh) 船舶之间信息的传输方法、设备及系统
US20220394213A1 (en) Crowdsourced surveillance platform
KR102493780B1 (ko) 융복합 블록체인 기반의 하이브리드 무인 비행선을 이용한 지상감시시스템 및 방법
US20230290498A1 (en) Autonomous Drone System and Method
US10257468B2 (en) Systems and methods allowing saving, on a storage device, under control of a personal electronic device of a passenger of a vehicle, of image data of a video stream arising from a camera of the vehicle
CN108898514A (zh) 一种基于云共享的旅游管理平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant