CN116339389B - 基于数字孪生的旋翼无人机盘库方法、装置及存储介质 - Google Patents
基于数字孪生的旋翼无人机盘库方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116339389B CN116339389B CN202310617730.5A CN202310617730A CN116339389B CN 116339389 B CN116339389 B CN 116339389B CN 202310617730 A CN202310617730 A CN 202310617730A CN 116339389 B CN116339389 B CN 116339389B
- Authority
- CN
- China
- Prior art keywords
- virtual
- aerial vehicle
- unmanned aerial
- cargo
- photo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 3
- 238000005265 energy consumption Methods 0.000 abstract description 13
- 230000001360 synchronised effect Effects 0.000 abstract description 6
- 230000007306 turnover Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及基于数字孪生的旋翼无人机盘库方法、装置及存储介质，应用于物流仓储技术领域，包括：通过构建物流仓库的数字孪生模型，在数字孪生模型中同步仓库出入库任务，实现货物虚实同步，同时控制虚实无人机按照规划路线前进，通过相机拍摄货格上货物的照片，进行虚实比较，从而判断该货格货物的准确性，同时在无人机巡航过程中，通过对极几何算法判断虚实无人机的坐标偏移，通过虚拟无人机的位置实时校准实体无人机的位置，可以避免实体无人机由于外界干扰而逐渐偏离原规划路径，提高无人机路径的实时性，本申请无需人工参与，参与的传感器数量少，能耗低，且对每个货格单独拍摄照片，照片的清晰度高。
Description
技术领域
本发明涉及物流仓储技术领域，具体涉及基于数字孪生的旋翼无人机盘库方法、装置及存储介质。
背景技术
自动化立体仓储系统用于货物的存储，货物账目的正确与否对于仓库管理至关重要，由于堆垛机等装备故障、人工出入库等原因，系统记录账目与实际库存情况经常出现偏差，这时候就需要通过盘库来对库存货物进行账目核对，确认实际库存数量并修正误差；
目前自动化立体仓库盘库方法主要有人工盘库、堆垛机视频盘库等方法；
人工盘库方法有两种：一是工人坐在堆垛机载货台上，随着载货台抵近货物查看信息、核对货位信息；二是通过堆垛机到指定货位取货至出库站台，工人在站台旁边进行货物信息核对。
堆垛机视频盘库方法是指，在堆垛机载货台上布置工业相机，遍历整个立体库货位，拍摄货物照片或视频传输至管理系统，由工人核对库存信息与实物照片所呈现的信息或盘点数据库与库存数据库进行比对，完成盘库作业。如专利号202110687757.2的专利一种基于环境感知的无人仓库货品智能盘点方法及系统，采用堆垛机携带多目全景摄像头进行库存盘点，需要堆垛机运行遍历整个立体仓库来采集视频流形成盘点数据库。
无人机盘库方法：申请号202010213428.X公开了一种基于无人机的RFID仓储物流方法和系统，申请号202210344350.4公开了一种无人机盘点系统，申请号202010513538.8公开了一种无人机室内仓储自主盘点系统及方法；
人工盘库方法：第一种人工盘库方法，工人需要坐在载货台上抵近货物，并需要抵近之后进行货物信息核对等工作，在高层货架之间随堆垛机运行存在很大的危险性，且工作量大，效率低，人工成本高；第二种人工盘库方法，在完成每一个货物核对工作中，都需要堆垛机完成出库和入库的作业，作业时间长、工作量大、盘库效率低、能耗高，减少堆垛机使用寿命，提高了全生命周期成本。
堆垛机视频盘库方法：需要堆垛机携带摄像头遍历整个立体仓库采集视频流，形成盘点数据库与库存数据库进行比对，完成库存盘点，该方法需要堆垛机在两个方向运行遍历整个仓库，能耗高、作业时间长、效率低，并且当盘点双伸位立体仓库时候，距堆垛机远端货位货物难以拍摄全面，影响盘点准确性。
无人机盘库方法：申请号202010213428.X公开了一种基于无人机的RFID仓储物流方法和系统，系统需要搭载RFID读卡器、图像处理系统、定位系统、高度传感器等，并且要在货架、货物上布置标签，系统冗杂、成本高、多传感及数据采集设备导致能耗高，RFID阅读器误码率高，并且无人机盘库路径实时更新性差，遇到堆垛机或其他设备障碍时候容易出现碰撞等安全问题；申请号202210344350.4公开了一种无人机盘点系统，系统需要搭载扫描摄像头、视觉摄像头、激光测距仪以及UWB定位标签，货架等环境硬件上需要布置颜色标识等标志物，系统冗杂、成本高、多传感及数据采集设备导致能耗高，UWB定位技术能耗搞高且精度差，并且无人机盘库路径实时更新性差，遇到堆垛机或其他设备障碍时候容易出现碰撞等安全问题；申请号202010513538.8公开了一种无人机室内仓储自主盘点系统及方法，系统需要搭载图像采集器、温湿度采集器、WUB定位器、RFID阅读器等，并且要在货架、货物上布置标签，系统冗杂、成本高、多传感及数据采集设备导致能耗高，RFID阅读器误码率高，并且无人机盘库路径实时更新性差，遇到堆垛机或其他设备障碍时候容易出现碰撞等安全问题。
发明内容
有鉴于此，本发明的目的在于提供基于数字孪生的旋翼无人机盘库方法、装置及存储介质，以解决现有技术中，人工盘库方法工作量大，效率低，人工成本高，而堆垛机视频盘库方法能耗高、作业时间长、效率低，并且当盘点双伸位立体仓库时候，距堆垛机远端货位货物难以拍摄全面，影响盘点准确性的问题，同时解决现有的无人机盘库方法的系统冗杂、成本高、多传感及数据采集设备导致能耗高，UWB定位技术能耗高且精度差的问题。
根据本发明实施例的第一方面，提供基于数字孪生的旋翼无人机盘库方法，包括：
构建物流仓库的数字孪生模型，所述物流仓库的数字孪生模型包括虚拟物流仓库、虚拟无人机、虚拟货架以及虚拟货物；
将出入库任务同步至物流仓库的数字孪生模型中，根据所述出入库任务对所述虚拟货架上的所述虚拟货物进行同步更新；
确定待盘库的区域，在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径；
实体无人机以及虚拟无人机从所述无人机巡航路径的初始位置按照无人机巡航路径开始巡航；
所述实体无人机每飞行一个货格的距离，拍摄实体货物照片；所述虚拟无人机每飞行一个虚拟货格的距离，拍摄虚拟货物照片；
利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移；
如不存在，则将实体货物照片以及虚拟货物照片进行相似度计算，将计算结果与预设的相似度阈值进行比较，根据比较结果生成该货格的盘库记录，并继续续航至下一货格；
如存在，则根据虚拟无人机位置调整实体无人机位置，所述实体无人机调整位置后再次拍摄实体货物照片，并与虚拟货物照片进行相似度计算，生成该货格的盘库记录，再继续巡航至下一货格；
所述实体无人机以及所述虚拟无人机按照所述无人机巡航路径巡航完毕后，得到所述待盘库的区域中所有货格上的货物的盘库记录。
优选地，
所述利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移包括：
通过均值滤波操作分别对所述虚拟货物照片以及实体货物照片进行去噪处理，对去噪处理后的照片再进行灰度化操作；
分别构建所述虚拟货物照片以及实体货物照片的多尺度空间，计算所述虚拟货物照片以及实体货物照片的像素点在每个尺度下的极值，选取所述虚拟货物照片以及实体货物照片在每个尺度空间中的极值最大值作为特征点；
采用连续曲线来拟合多尺度空间极值，确定每个特征点的精确位置及尺度，使用特征点及邻域像素的梯度信息作为特征点的方向参数，分别得到虚特征点集以及实特征点集；
将每个特征点使用128维的特征向量进行描述，选取虚特征点集的一个虚特征点，遍历整个实特征点集，获取实特征点集中与选取的虚特征点的欧式距离最近的两个实特征点，并计算最近实特征点以及次近实特征点与选取的虚特征点的欧式距离的比值，若比值小于预设的欧氏距离阈值，则匹配成功，则将选取的虚特征点与欧式距离最近的实特征点作为一对匹配特征点；
再从虚特征点集中选取另一个虚特征点，重复上述过程，直到完成虚特征点集中的所有虚特征点与实特征点集的匹配，得到多对匹配特征点；
根据相机的映射关系，将得到的图像坐标系中的多对匹配特征点转换到图像像素坐标系中；
根据所述虚拟货物照片以及实体货物照片的多对匹配特征点在图像像素坐标系中的关联关系，得到基础矩阵；
根据基础矩阵与本质矩阵的关联关系，得到本质矩阵，根据本质矩阵获取实体相机相对于虚拟相机的旋转矩阵R与平移矩阵t；
通过所述旋转矩阵R与平移矩阵t计算所述实体无人机相对虚拟无人机是否存在位置偏移。
优选地，
所述将实体货物照片以及虚拟货物照片进行相似度计算包括：
将所述实体货物照片与所述虚拟货物照片进行灰度化处理；
使用预设标准差的高斯加权函数作为加权窗口，对所述灰度化处理后的实体货物照片以及虚拟货物照片中的像素点进行计算，得到由局部SSIM指数构成的SSIM指数映射矩阵，计算SSIM指数映射矩阵的平均SSIM指数，将所述SSIM指数映射矩阵的平均SSIM指数作为相似度。
优选地，
所述在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径包括：
将每个货格四角点连线的交点作为基点，将各个货格的基点按照从低到高、从入库端到出库端进行连线，将所述基点的连线作为所述无人机巡航路径。
优选地，
所述物流仓库的数字孪生模型还包括：
虚拟堆垛机以及虚拟穿梭车；
所述物流仓库的数字孪生模型获取实体堆垛机以及实体穿梭机的PLC运动数据，根据所述PLC运动数据驱动所述虚拟堆垛机以及虚拟穿梭车在所述虚拟物流仓库中运动；
在所述虚拟无人机按照所述无人机巡航路径巡航过程中，当物流仓库的数字孪生模型判断所述虚拟无人机到下一巡航基点的巡航路径与所述虚拟堆垛机或虚拟穿梭车运动路径冲突时，所述物流仓库的数字孪生模型发出碰撞告警。
优选地，还包括：
在所述无人机巡航路径上设置多个安全停靠点，当所述物流仓库的数字孪生模型发出碰撞告警时；
控制所述虚拟无人机飞行至离当前所处位置最近的安全停靠点，同步控制所述实体无人机飞行至相应的安全停靠点；
当所述物流仓库的数字孪生模型判断所述虚拟堆垛机或所述虚拟穿梭车已经过所述虚拟无人机下一巡航基点时，控制所述虚拟无人机回到原巡航位置并按照所述无人机巡航路径继续巡航至下一巡航基点，同步控制所述实体无人机回到原巡航位置并按照所述无人机巡航路径继续巡航至下一巡航基点。
根据本发明实施例的第二方面，提供基于数字孪生的旋翼无人机盘库装置，所述装置包括：
模型搭建模块：构建物流仓库的数字孪生模型，所述物流仓库的数字孪生模型包括虚拟物流仓库、虚拟无人机、虚拟货架以及虚拟货物；
虚实同步模块：用于将出入库任务同步至物流仓库的数字孪生模型中，根据所述出入库任务对所述虚拟货架上的所述虚拟货物进行同步更新；
路径生成模块：用于确定待盘库的区域，在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径；
巡航模块：用于实体无人机以及虚拟无人机从所述无人机巡航路径的初始位置按照无人机巡航路径开始巡航；
位姿校准模块：用于所述实体无人机每飞行一个货格的距离，拍摄实体货物照片；所述虚拟无人机每飞行一个虚拟货格的距离，拍摄虚拟货物照片；
利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移；
如不存在，则将实体货物照片以及虚拟货物照片进行相似度计算，将计算结果与预设的相似度阈值进行比较，根据比较结果生成该货格的盘库记录，并继续续航至下一货格；
如存在，则根据虚拟无人机位置调整实体无人机位置，所述实体无人机调整位置后再次拍摄实体货物照片，并与虚拟货物照片进行相似度计算，生成该货格的盘库记录，再继续巡航至下一货格；
盘库记录生成模块：用于所述实体无人机以及所述虚拟无人机按照所述无人机巡航路径巡航完毕后，得到所述待盘库的区域中所有货格上的货物的盘库记录。
根据本发明实施例的第三方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现所述的基于数字孪生的物流装备再设计方法中的各个步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本申请通过构建物流仓库的数字孪生模型，在数字孪生模型中同步仓库出入库任务，实现货物虚实同步，同时控制虚实无人机按照规划路线前进，在无人机巡航过程中，通过相机拍摄货格上货物的照片，进行虚实比较，从而判断该货格货物的准确性，避免现实仓库中，寻找人工操作失误导致的货物堆放错误的问题，同时在无人机巡航过程中，通过对极几何算法判断虚实无人机的坐标偏移，通过虚拟无人机的位置实时校准实体无人机的位置，可以避免实体无人机由于外界干扰而逐渐偏离原规划路径，提高无人机路径的实时性，本申请无需人工参与，参与的传感器数量少，能耗低，且对每个货格单独拍摄照片，照片的清晰度高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的基于数字孪生的旋翼无人机盘库方法的流程示意图；
图2是根据另一示例性实施例示出的无人机巡航路径规划示意图；
图3是根据另一示例性实施例示出的无人机位置校准原理示意图；
图4是根据另一示例性实施例示出的基于数字孪生的旋翼无人机盘库装置的系统示意图；
附图中：1-模型搭建模块，2-虚实同步模块，3-路径生成模块，4-巡航模块，5-位姿校准模块，6-盘库记录生成模块。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例一
图1是根据一示例性实施例示出的基于数字孪生的旋翼无人机盘库方法的流程示意图，如图1所示，该方法包括：
S1，构建物流仓库的数字孪生模型，所述物流仓库的数字孪生模型包括虚拟物流仓库、虚拟无人机、虚拟货架以及虚拟货物；
S2，将出入库任务同步至物流仓库的数字孪生模型中，根据所述出入库任务对所述虚拟货架上的所述虚拟货物进行同步更新；
S3，确定待盘库的区域，在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径；
S4，实体无人机以及虚拟无人机从所述无人机巡航路径的初始位置按照无人机巡航路径开始巡航；
S5，所述实体无人机每飞行一个货格的距离，拍摄实体货物照片；所述虚拟无人机每飞行一个虚拟货格的距离，拍摄虚拟货物照片；
利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移；
如不存在，则将实体货物照片以及虚拟货物照片进行相似度计算，将计算结果与预设的相似度阈值进行比较，根据比较结果生成该货格的盘库记录，并继续续航至下一货格；
如存在，则根据虚拟无人机位置调整实体无人机位置，所述实体无人机调整位置后再次拍摄实体货物照片，并与虚拟货物照片进行相似度计算，生成该货格的盘库记录，再继续巡航至下一货格；
S6，所述实体无人机以及所述虚拟无人机按照所述无人机巡航路径巡航完毕后，得到所述待盘库的区域中所有货格上的货物的盘库记录；
可以理解的是，通过3D建模软件按照1:1比例搭建物流仓库、无人机、货架、货物等几何模型，并赋予材料、颜色、皮肤、贴图等外观外形，无人机几何模型包含工业相机虚拟模型，虚拟相机焦距、光圈等参数与无人机实体相机参数保持一致，建立虚拟灯光设备虚拟模型，并调整光通量、光强、照度等参数与实际厂房光照参数一致，在货架立柱上按照不同货格布置不同识别标识，并在虚拟货架上与实体货架对应位置布置同样标识，用于货格识别与特征识别，用于后期照片拍摄时，识别不同货格，方便对每个货格上的货物进行盘库，然后同步出入库任务，货物经过入库站台，通过工业相机拍照，更新货物虚拟模型贴图，保证入库货物虚拟模型与实体货物具有相同的外观，确定待盘库区域，数字孪生系统按照货格分布形成巡航路径，确定盘库无人机是否在初始位置，如果不在，则自动巡航至初始位置开始按照无人机巡航路径开始巡航，实体无人机按照巡航路径自动巡航至第一货格（后续循环则为对应下一位置）并拍摄货物照片，虚拟无人机按照巡航路径巡航至第一虚拟货格并拍摄虚拟货物照片，照片通过局域网统一发送至图像处理模块，通过虚、实物体照片，利用对极几何算法计算实体无人机相对虚拟无人机的偏移（由于实体无人机在现实空间中移动时会存在各种干扰，会偏离预设的巡航轨迹，而虚拟无人机由于不存在干扰，所以会严格按照预设的巡航路径飞行，所以每巡航一段距离，需要通过虚拟无人机的位置校准实体无人机的位置），并判断是否存在相对运动（旋转和平移），如不存在，则将实体货物照片以及虚拟货物照片进行相似度计算，将计算结果与预设的相似度阈值进行比较，若小于预设的相似度阈值，则记录“否”，反之，记录“是”并生成盘库记录，继续续航至下一货格，如存在相对运动，则根据虚拟无人机位置更新实体无人机位置，所述实体无人机调整位置后再次拍摄实体货物照片，并与虚拟货物照片进行相似度计算，生成该货格的盘库记录，再继续巡航至下一货格，直到飞行完整个巡航路径；本申请通过构建物流仓库的数字孪生模型，在数字孪生模型中同步仓库出入库任务，实现货物虚实同步，同时控制虚实无人机按照规划路线前进，在无人机巡航过程中，通过相机拍摄货格上货物的照片，进行虚实比较，从而判断该货格货物的准确性，避免现实仓库中，寻找人工操作失误导致的货物堆放错误的问题，同时在无人机巡航过程中，通过对极几何算法判断虚实无人机的坐标偏移，通过虚拟无人机的位置实时校准实体无人机的位置，可以避免实体无人机由于外界干扰而逐渐偏离原规划路径，提高无人机路径的实时性，本申请无需人工参与，参与的传感器数量少，能耗低，且对每个货格单独拍摄照片，照片的清晰度高。
优选地，
所述利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移包括：
通过均值滤波操作分别对所述虚拟货物照片以及实体货物照片进行去噪处理，对去噪处理后的照片再进行灰度化操作；
分别构建所述虚拟货物照片以及实体货物照片的多尺度空间，计算所述虚拟货物照片以及实体货物照片的像素点在每个尺度下的极值，选取所述虚拟货物照片以及实体货物照片在每个尺度空间中的极值最大值作为特征点；
采用连续曲线来拟合多尺度空间极值，确定每个特征点的精确位置及尺度，使用特征点及邻域像素的梯度信息作为特征点的方向参数，分别得到虚特征点集以及实特征点集；
将每个特征点使用128维的特征向量进行描述，选取虚特征点集的一个虚特征点，遍历整个实特征点集，获取实特征点集中与选取的虚特征点的欧式距离最近的两个实特征点，并计算最近实特征点以及次近实特征点与选取的虚特征点的欧式距离的比值，若比值小于预设的欧氏距离阈值，则匹配成功，则将选取的虚特征点与欧式距离最近的实特征点作为一对匹配特征点；
再从虚特征点集中选取另一个虚特征点，重复上述过程，直到完成虚特征点集中的所有虚特征点与实特征点集的匹配，得到多对匹配特征点；
根据相机的映射关系，将得到的图像坐标系中的多对匹配特征点转换到图像像素坐标系中；
根据所述虚拟货物照片以及实体货物照片的多对匹配特征点在图像像素坐标系中的关联关系，得到基础矩阵；
根据基础矩阵与本质矩阵的关联关系，得到本质矩阵，根据本质矩阵获取实体相机相对于虚拟相机的旋转矩阵R与平移矩阵t；
通过所述旋转矩阵R与平移矩阵t计算所述实体无人机相对虚拟无人机是否存在位置偏移；
可以理解的是，建立世界坐标系；相机坐标系/>，相机坐标系原点位于相机光心/>，/>平行于工业相机光轴且与图像平面垂直，交点为物理成像平面坐标原点，/>和/>，平行于图像坐标系/>轴/>轴，/>为等效相机焦距；图像坐标系/>，其中/>为相机光轴与图像交点；图像像素坐标系/>，通过均值滤波对虚、实两张图像进行去噪处理，并进行灰度化；通过Python编写SIFT算法，并内嵌到Unity数字孪生系统中，比对实体相机拍摄的图像及虚拟相机拍摄的图像：分别构建虚、实图像/>的尺度空间（其中/>，/>为尺度空间因子，/>为图像中的像素坐标），计算每个尺度下的极值DoG（/>，K为尺度空间同一阶所相差的因子），通过每个尺度图像中每个像素点的极值对比，得到尺度空间与图像二维空间中的极值最大值（每个尺度空间存在一个极值最大值，而由于是多尺度空间，所以存在多个极值最大值），采用连续曲线来拟合尺度空间DoG值，确定特征点的精确位置及尺度，使用特征点及邻域像素的梯度信息作为特征点的方向参数
梯度为:
，
方向为：），
获得特征点的信息，其中/>表示特征点方向，最终构成虚特征点集、实特征点集；以特征点周围16×16的像素为采样区域，平均分成4×4的采样单元，分别计算采样单元的在8个方向（每45度为一个方向）的梯度和方向信息，则每个特征点可用4×4×8=128维的特征向量描述；取虚图像中的特征点，通过遍历找到实图像中与之欧式距离最近的两个特征点（欧式距离/>（其中l、h为每个特征点特征向量描述子）），计算最近数值与次近数值的比值，如果比值小于阈值0.8，则匹配成功，得到虚、实图像中匹配特征点的图像坐标系中的坐标/>、/>；
匹配特征点像素坐标求解，通过下式求解匹配特征点的在图像像素坐标系中的坐标、/>：/>
其中，和/>是每个像素在x轴和y轴方向的物理长度，/>和/>为图像坐标系原点的像素坐标；
校正原理为：实际实施过程中，因虚拟相机为按照盘库路径巡航，所以根据续航路径可以确定虚拟相机的世界坐标，，其中g表示层高，c表示每排长度，s为相机距离货架距离，在每次校正实体相机位姿时，将世界坐标系建立在虚拟相机坐标系上，设R、t矩阵为实体相机坐标系与虚拟相机坐标系之间的角度转换矩阵与位移变换矩阵；如附图3所示，虚拟模型是按照1:1完全还原现实世界，所以两者完全一样，在校正实体相机（盘库无人机）位姿时，将现实实体与虚拟实体重合，O、O’分别为虚拟相机和实体相机光心，m 和m’在对极平面上，分别为OM 射线和O’M 射线与成像平面的投影点；OM 射线在π平面上，在第二幅成像平面中的投影线l’为极线，所有投影到m 点的三维空间点M 必然存在于OM 这条射线上，即M 点在第一幅视图上的成像点m 对应于第二幅视图上的匹配成像点m’也必然在l’上，同理，m’在第一幅视图中的成像点必在l 上；OO’连线为基线，基线与虚、实图像交点分别为极点e、e’，平面OO’M为极平面π，O’与O在世界坐标系下的存在旋转矩阵R和位移变换t；
在获得最佳特征点对在图像像素坐标系中的坐标后，根据公
其中，和/>是最佳特征点对在图像像素坐标系中的齐次坐标，T为矩阵转置计算，F为基础矩阵，由于F（基础矩阵）为一个秩为2，自由度为7的3×3的齐次矩阵，所以可以随机选取7组匹配特征点，采用7点法求解F，通过基础矩阵可以校验匹配特征点的正确性，对原匹配点进行错误匹配点剔除；
本质矩阵E与基础矩阵F存在关系，其中/>，利用SVD分解，E有一个奇异值为零，另两个奇异值相等，即/>，(k为奇异值)；
进而可求得实体相机相对于虚拟相机的旋转矩阵R与平移矩阵t，然后以虚拟相机位置为基准修正实体相机位姿。
优选地，
所述将实体货物照片以及虚拟货物照片进行相似度计算包括：
将所述实体货物照片与所述虚拟货物照片进行灰度化处理；
使用预设标准差的高斯加权函数作为加权窗口，对所述灰度化处理后的实体货物照片以及虚拟货物照片中的像素点进行计算，得到由局部SSIM指数构成的SSIM指数映射矩阵，计算SSIM指数映射矩阵的平均SSIM指数，将所述SSIM指数映射矩阵的平均SSIM指数作为相似度；
可以理解的是，对调整完实体无人机位置后拍摄的实体图像与虚拟图像进行灰度化处理，用标准差1.5的高斯加权函数作为加权窗口，每一步基于窗口内像素进行计算，得到由局部SSIM指数构成的SSIM指数映射矩阵，计算平均SSIM指数，所述SSIM指数计算公式为：，
式中，a、b分别表示虚拟货物照片以及实体货物照片，是a图像各像素的平均值，是b图像各像素的平均值，/>是a图像像素的方差，/>是b图像像素的方差，/>是a和b的协方差，/>与/>是用来维持稳定的常数，L是像素值的取值范围，/>，，将计算结果作为虚实照片的相似度，将相似度与预设的相似度阈值进行比较，设置阈值为0.9，可根据实际使用效果进行调整，当相似度大于0.9时，记录“是”，当相似度小于或等于0.9时，记录“否”。
优选地，
所述在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径包括：
将每个货格四角点连线的交点作为基点，将各个货格的基点按照从低到高、从入库端到出库端进行连线，将所述基点的连线作为所述无人机巡航路径；
可以理解的是，如附图2所示，货架为长方体的立体货架，每个货架上存在多个货格，如货格1、货格2等等，如附图2中的货格1所示，将四角点连线的交点作为基点，也就是货格的中点，将每个货格的基点按照从低到高、从入库端到出库端进行连线，而无人机在每个货格的基点位置停下并拍摄这个货格的货物照片，通过每个货格上的标识识别货格。
优选地，
所述物流仓库的数字孪生模型还包括：
虚拟堆垛机以及虚拟穿梭车；
所述物流仓库的数字孪生模型获取实体堆垛机以及实体穿梭机的PLC运动数据，根据所述PLC运动数据驱动所述虚拟堆垛机以及虚拟穿梭车在所述虚拟物流仓库中运动；
在所述虚拟无人机按照所述无人机巡航路径巡航过程中，当物流仓库的数字孪生模型判断所述虚拟无人机到下一巡航基点的巡航路径与所述虚拟堆垛机或虚拟穿梭车运动路径冲突时，所述物流仓库的数字孪生模型发出碰撞告警；
可以理解的是，数字孪生系统通过S7.net连接堆垛机、穿梭车等运动设备PLC，读取运动数据，驱动堆垛机、穿梭车等虚拟模型运动，当盘库过程中无人机下一巡航基点的路线与堆垛机等设备的运动路径冲突时，由数字孪生系统发出碰撞危险的告警。
优选地，还包括：
在所述无人机巡航路径上设置多个安全停靠点，当所述物流仓库的数字孪生模型发出碰撞告警时；
控制所述虚拟无人机飞行至离当前所处位置最近的安全停靠点，同步控制所述实体无人机飞行至相应的安全停靠点；
当所述物流仓库的数字孪生模型判断所述虚拟堆垛机或所述虚拟穿梭车已经过所述虚拟无人机下一巡航基点时，控制所述虚拟无人机回到原巡航位置并按照所述无人机巡航路径继续巡航至下一巡航基点，同步控制所述实体无人机回到原巡航位置并按照所述无人机巡航路径继续巡航至下一巡航基点；
可以理解的是，如附图2所示，在每个货架的下方设置有安全停靠点，当所述物流仓库的数字孪生系统发出碰撞告警时，控制所述虚拟无人机飞行至离当前所处位置最近的安全停靠点，同步控制所述实体无人机飞行至相应的安全停靠点，简单来说就是，当无人机在货格1的基点位置或者从货格1到货格2的基点中途，数字孪生系统发出碰撞告警，此时数字孪生系统判断此时无人机距离安全停靠点1还是安全停靠点2更近，选择更近的一个安全停靠点躲避，直到虚拟堆垛机或所述虚拟穿梭车已经过货格2的基点，此时无人机返回到原巡航路径中，继续前往货格2的基点。
实施例二
本实施例还公开了的基于数字孪生的多电机协同控制装置的系统示意图，如附图4所示，包括：
模型搭建模块1：构建物流仓库的数字孪生模型，所述物流仓库的数字孪生模型包括虚拟物流仓库、虚拟无人机、虚拟货架以及虚拟货物；
虚实同步模块2：用于将出入库任务同步至物流仓库的数字孪生模型中，根据所述出入库任务对所述虚拟货架上的所述虚拟货物进行同步更新；
路径生成模块3：用于确定待盘库的区域，在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径；
巡航模块4：用于实体无人机以及虚拟无人机从所述无人机巡航路径的初始位置按照无人机巡航路径开始巡航；
位姿校准模块5：用于所述实体无人机每飞行一个货格的距离，拍摄实体货物照片；所述虚拟无人机每飞行一个虚拟货格的距离，拍摄虚拟货物照片；
利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移；
如不存在，则将实体货物照片以及虚拟货物照片进行相似度计算，将计算结果与预设的相似度阈值进行比较，根据比较结果生成该货格的盘库记录，并继续续航至下一货格；
如存在，则根据虚拟无人机位置调整实体无人机位置，所述实体无人机调整位置后再次拍摄实体货物照片，并与虚拟货物照片进行相似度计算，生成该货格的盘库记录，再继续巡航至下一货格；
盘库记录生成模块6：用于所述实体无人机以及所述虚拟无人机按照所述无人机巡航路径巡航完毕后，得到所述待盘库的区域中所有货格上的货物的盘库记录；
可以理解的是，本申请通过模型搭建模块1构建所述物流仓库的数字孪生模型，所述物流仓库的数字孪生模型包括虚拟物流仓库、虚拟无人机、虚拟货架以及虚拟货物；通过虚实同步模块2用于将出入库任务同步至物流仓库的数字孪生模型中，根据所述出入库任务对所述虚拟货架上的所述虚拟货物进行同步更新；通过路径生成模块3用于确定待盘库的区域，在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径；通过巡航模块4用于实体无人机以及虚拟无人机从所述无人机巡航路径的初始位置按照无人机巡航路径开始巡航；通过位姿校准模块5用于所述实体无人机每飞行一个货格的距离，拍摄实体货物照片；所述虚拟无人机每飞行一个虚拟货格的距离，拍摄虚拟货物照片；利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移；如不存在，则将实体货物照片以及虚拟货物照片进行相似度计算，将计算结果与预设的相似度阈值进行比较，根据比较结果生成该货格的盘库记录，并继续续航至下一货格；如存在，则根据虚拟无人机位置调整实体无人机位置，所述实体无人机调整位置后再次拍摄实体货物照片，并与虚拟货物照片进行相似度计算，生成该货格的盘库记录，再继续巡航至下一货格；通过盘库记录生成模块6用于所述实体无人机以及所述虚拟无人机按照所述无人机巡航路径巡航完毕后，得到所述待盘库的区域中所有货格上的货物的盘库记录；本申请通过构建物流仓库的数字孪生模型，在数字孪生模型中同步仓库出入库任务，实现货物虚实同步，同时控制虚实无人机按照规划路线前进，在无人机巡航过程中，通过相机拍摄货格上货物的照片，进行虚实比较，从而判断该货格货物的准确性，避免现实仓库中，寻找人工操作失误导致的货物堆放错误的问题，同时在无人机巡航过程中，通过对极几何算法判断虚实无人机的坐标偏移，通过虚拟无人机的位置实时校准实体无人机的位置，可以避免实体无人机由于外界干扰而逐渐偏离原规划路径，提高无人机路径的实时性，本申请无需人工参与，参与的传感器数量少，能耗低，且对每个货格单独拍摄照片，照片的清晰度高。
实施例三：
本实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现上述方法中的各个步骤；
可以理解的是，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.基于数字孪生的旋翼无人机盘库方法，其特征在于，包括：
构建物流仓库的数字孪生模型，所述物流仓库的数字孪生模型包括虚拟物流仓库、虚拟无人机、虚拟货架以及虚拟货物；
将出入库任务同步至物流仓库的数字孪生模型中，根据所述出入库任务对所述虚拟货架上的所述虚拟货物进行同步更新；
确定待盘库的区域，在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径；
实体无人机以及虚拟无人机从所述无人机巡航路径的初始位置按照无人机巡航路径开始巡航；
所述实体无人机每飞行一个货格的距离，拍摄实体货物照片；所述虚拟无人机每飞行一个虚拟货格的距离，拍摄虚拟货物照片；
利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移；
如不存在，则将实体货物照片以及虚拟货物照片进行相似度计算，将计算结果与预设的相似度阈值进行比较，根据比较结果生成该货格的盘库记录，并继续巡航至下一货格；
如存在，则根据虚拟无人机位置调整实体无人机位置，所述实体无人机调整位置后再次拍摄实体货物照片，并与虚拟货物照片进行相似度计算，生成该货格的盘库记录，再继续巡航至下一货格；
所述实体无人机以及所述虚拟无人机按照所述无人机巡航路径巡航完毕后，得到所述待盘库的区域中所有货格上的货物的盘库记录。
2.根据权利要求1所述的方法，其特征在于，
所述利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移包括：
通过均值滤波操作分别对所述虚拟货物照片以及实体货物照片进行去噪处理，对去噪处理后的照片再进行灰度化操作；
分别构建所述虚拟货物照片以及实体货物照片的多尺度空间，计算所述虚拟货物照片以及实体货物照片的像素点在每个尺度下的极值，选取所述虚拟货物照片以及实体货物照片在每个尺度空间中的极值最大值作为特征点；
采用连续曲线来拟合多尺度空间极值，确定每个特征点的精确位置及尺度，使用特征点及邻域像素的梯度信息作为特征点的方向参数，分别得到虚特征点集以及实特征点集；
将每个特征点使用128维的特征向量进行描述，选取虚特征点集的一个虚特征点，遍历整个实特征点集，获取实特征点集中与选取的虚特征点的欧式距离最近的两个实特征点，并计算最近实特征点以及次近实特征点与选取的虚特征点的欧式距离的比值，若比值小于预设的欧氏距离阈值，则匹配成功，则将选取的虚特征点与欧式距离最近的实特征点作为一对匹配特征点；
再从虚特征点集中选取另一个虚特征点，重复上述过程，直到完成虚特征点集中的所有虚特征点与实特征点集的匹配，得到多对匹配特征点；
根据相机的映射关系，将得到的图像坐标系中的多对匹配特征点转换到图像像素坐标系中；
根据所述虚拟货物照片以及实体货物照片的多对匹配特征点在图像像素坐标系中的关联关系，得到基础矩阵；
根据基础矩阵与本质矩阵的关联关系，得到本质矩阵，根据本质矩阵获取实体相机相对于虚拟相机的旋转矩阵R与平移矩阵t；
通过所述旋转矩阵R与平移矩阵t计算所述实体无人机相对虚拟无人机是否存在位置偏移。
3.根据权利要求1所述的方法，其特征在于，
所述将实体货物照片以及虚拟货物照片进行相似度计算包括：
将所述实体货物照片与所述虚拟货物照片进行灰度化处理；
使用预设标准差的高斯加权函数作为加权窗口，对所述灰度化处理后的实体货物照片以及虚拟货物照片中的像素点进行计算，得到由局部SSIM指数构成的SSIM指数映射矩阵，计算SSIM指数映射矩阵的平均SSIM指数，将所述SSIM指数映射矩阵的平均SSIM指数作为相似度。
4.根据权利要求1所述的方法，其特征在于，
所述在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径包括：
将每个货格四角点连线的交点作为基点，将各个货格的基点按照从低到高、从入库端到出库端进行连线，将所述基点的连线作为所述无人机巡航路径。
5.根据权利要求4所述的方法，其特征在于，
所述物流仓库的数字孪生模型还包括：
虚拟堆垛机以及虚拟穿梭车；
所述物流仓库的数字孪生模型获取实体堆垛机以及实体穿梭机的PLC运动数据，根据所述PLC运动数据驱动所述虚拟堆垛机以及虚拟穿梭车在所述虚拟物流仓库中运动；
在所述虚拟无人机按照所述无人机巡航路径巡航过程中，当物流仓库的数字孪生模型判断所述虚拟无人机到下一巡航基点的巡航路径与所述虚拟堆垛机或虚拟穿梭车运动路径冲突时，所述物流仓库的数字孪生模型发出碰撞告警。
6.根据权利要求5所述的方法，其特征在于，还包括：
在所述无人机巡航路径上设置多个安全停靠点，当所述物流仓库的数字孪生模型发出碰撞告警时；
控制所述虚拟无人机飞行至离当前所处位置最近的安全停靠点，同步控制所述实体无人机飞行至相应的安全停靠点；
当所述物流仓库的数字孪生模型判断所述虚拟堆垛机或所述虚拟穿梭车已经过所述虚拟无人机下一巡航基点时，控制所述虚拟无人机回到原巡航位置并按照所述无人机巡航路径继续巡航至下一巡航基点，同步控制所述实体无人机回到原巡航位置并按照所述无人机巡航路径继续巡航至下一巡航基点。
7.基于数字孪生的旋翼无人机盘库装置，其特征在于，所述装置包括：
模型搭建模块：构建物流仓库的数字孪生模型，所述物流仓库的数字孪生模型包括虚拟物流仓库、虚拟无人机、虚拟货架以及虚拟货物；
虚实同步模块：用于将出入库任务同步至物流仓库的数字孪生模型中，根据所述出入库任务对所述虚拟货架上的所述虚拟货物进行同步更新；
路径生成模块：用于确定待盘库的区域，在所述待盘库的区域中，按照预设的路线生成规则生成无人机巡航路径；
巡航模块：用于实体无人机以及虚拟无人机从所述无人机巡航路径的初始位置按照无人机巡航路径开始巡航；
位姿校准模块：用于所述实体无人机每飞行一个货格的距离，拍摄实体货物照片；所述虚拟无人机每飞行一个虚拟货格的距离，拍摄虚拟货物照片；
利用对极几何算法对所述实体货物照片以及所述虚拟货物照片进行计算，判断所述实体无人机相对虚拟无人机是否存在位置偏移；
如不存在，则将实体货物照片以及虚拟货物照片进行相似度计算，将计算结果与预设的相似度阈值进行比较，根据比较结果生成该货格的盘库记录，并继续巡航至下一货格；
如存在，则根据虚拟无人机位置调整实体无人机位置，所述实体无人机调整位置后再次拍摄实体货物照片，并与虚拟货物照片进行相似度计算，生成该货格的盘库记录，再继续巡航至下一货格；
盘库记录生成模块：用于所述实体无人机以及所述虚拟无人机按照所述无人机巡航路径巡航完毕后，得到所述待盘库的区域中所有货格上的货物的盘库记录。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现如权利要求1-6任一项所述的基于数字孪生的旋翼无人机盘库方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310617730.5A CN116339389B (zh) | 2023-05-30 | 2023-05-30 | 基于数字孪生的旋翼无人机盘库方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310617730.5A CN116339389B (zh) | 2023-05-30 | 2023-05-30 | 基于数字孪生的旋翼无人机盘库方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116339389A CN116339389A (zh) | 2023-06-27 |
| CN116339389B true CN116339389B (zh) | 2023-07-28 |
Family
ID=86893347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310617730.5A Active CN116339389B (zh) | 2023-05-30 | 2023-05-30 | 基于数字孪生的旋翼无人机盘库方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116339389B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111908007A (zh) * | 2020-08-06 | 2020-11-10 | 南京航空航天大学 | 大型无人机物流配送作业机器人装置、系统及配送方法 |
| CN113985877A (zh) * | 2021-10-27 | 2022-01-28 | 深圳市渐近线科技有限公司 | 一种基于数字孪生的仓储物流路径自动引导系统 |
| CN115511410A (zh) * | 2022-09-22 | 2022-12-23 | 杭州电子科技大学 | 一种基于数字孪生技术的智慧仓储控制系统 |
| CN115933684A (zh) * | 2022-12-27 | 2023-04-07 | 江苏上马信息科技有限公司 | 基于agv的数字孪生车间智能动态调度物流系统 |
| WO2023064041A1 (en) * | 2021-10-11 | 2023-04-20 | Siemens Corporation | Automated aerial data capture for 3d modeling of unknown objects in unknown environments |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102173995B1 (ko) * | 2019-04-18 | 2020-11-04 | 주식회사 포에스텍 | Ｃｐｓ 기반의 스마트 지게차 관리장치 |
| US20220299995A1 (en) * | 2019-09-04 | 2022-09-22 | Vimaan Robotics, Inc. | Autonomous Vehicle Warehouse Inventory Inspection and Management |
-
2023
- 2023-05-30 CN CN202310617730.5A patent/CN116339389B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111908007A (zh) * | 2020-08-06 | 2020-11-10 | 南京航空航天大学 | 大型无人机物流配送作业机器人装置、系统及配送方法 |
| WO2023064041A1 (en) * | 2021-10-11 | 2023-04-20 | Siemens Corporation | Automated aerial data capture for 3d modeling of unknown objects in unknown environments |
| CN113985877A (zh) * | 2021-10-27 | 2022-01-28 | 深圳市渐近线科技有限公司 | 一种基于数字孪生的仓储物流路径自动引导系统 |
| CN115511410A (zh) * | 2022-09-22 | 2022-12-23 | 杭州电子科技大学 | 一种基于数字孪生技术的智慧仓储控制系统 |
| CN115933684A (zh) * | 2022-12-27 | 2023-04-07 | 江苏上马信息科技有限公司 | 基于agv的数字孪生车间智能动态调度物流系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于数字孪生的配送管理系统研究;邓建新 等;《计算机集成制造系统》;第27卷(第02期);第585-604页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116339389A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108012325B (zh) | 一种基于uwb和双目视觉的导航定位方法 | |
| Yang et al. | Multi-camera visual SLAM for autonomous navigation of micro aerial vehicles | |
| RU2713611C2 (ru) | Способ моделирования трехмерного пространства | |
| CN112197770B (zh) | 一种机器人的定位方法及其定位装置 | |
| Chen et al. | Qualitative vision-based path following | |
| CN110275538A (zh) | 智能巡航车导航方法及系统 | |
| CN106600627A (zh) | 一种基于标志点的刚体运动捕捉方法及系统 | |
| CN111664843A (zh) | 一种基于slam的智能仓储盘点方法 | |
| CN108564657B (zh) | 一种基于云端的地图构建方法、电子设备和可读存储介质 | |
| CN112184812B (zh) | 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统 | |
| CN108051007A (zh) | 基于超声波组网和立体视觉的agv导航定位方法 | |
| CN113643380A (zh) | 一种基于单目相机视觉标靶定位的机械臂引导方法 | |
| CN113316503A (zh) | 使用机器人装置的状态来映射环境 | |
| Zhang | LILO: A Novel Lidar–IMU SLAM System With Loop Optimization | |
| CN113869422B (zh) | 多相机目标匹配方法、系统、电子设备及可读存储介质 | |
| Houben et al. | Joint 3D laser and visual fiducial marker based SLAM for a micro aerial vehicle | |
| CN116339389B (zh) | 基于数字孪生的旋翼无人机盘库方法、装置及存储介质 | |
| Duan et al. | Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance | |
| CN111380535A (zh) | 基于视觉标签的导航方法、装置、移动式机器及可读介质 | |
| Ishikawa et al. | A 3d reconstruction with high density and accuracy using laser profiler and camera fusion system on a rover | |
| CN113994382A (zh) | 深度图生成方法、电子设备、计算处理设备及存储介质 | |
| CN112207804A (zh) | 带电作业机器人及多传感器识别定位方法 | |
| Lieret et al. | Automated exploration, capture and photogrammetric reconstruction of interiors using an autonomous unmanned aircraft | |
| Zhao et al. | The construction method of the digital operation environment for bridge cranes | |
| Petrlık | Onboard localization of an unmanned aerial vehicle in an unknown environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |