CN116823123B - 基于ar定位的仓库管理方法、装置、电子设备及介质 - Google Patents
基于ar定位的仓库管理方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN116823123B CN116823123B CN202311100186.3A CN202311100186A CN116823123B CN 116823123 B CN116823123 B CN 116823123B CN 202311100186 A CN202311100186 A CN 202311100186A CN 116823123 B CN116823123 B CN 116823123B
- Authority
- CN
- China
- Prior art keywords
- path
- goods
- video
- goods taking
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000003190 augmentative effect Effects 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请涉及增强现实技术领域，尤其是涉及一种基于AR定位的仓库管理方法、装置、电子设备及介质，方法包括获取仓库的全景图像和目标货物的目标位置，并制定取货路径；从全景图像中识别取货路径中的多个路径标识，和目标货物对应的摆放区域；基于全景图像、多个路径标识和取货路径生成AR路径视频；获取定位设备的实时视频，并识别出现的实时视野标识；基于实时视野标识和路径标识，将AR路径视频与实时视频叠加得到AR引导视频，并实时反馈；基于摆放区域和预设提示信息生成AR提示视频，当实时视野标识为目标货物对应的货物标识时，将AR提示视频与AR引导视频叠加得到AR取货视频，并反馈至定位设备。本申请能够提高取货过程的准确性。
Description
技术领域
本申请涉及增强现实技术领域，尤其是涉及一种基于AR定位的仓库管理方法、装置、电子设备及介质。
背景技术
仓库在供应链中发挥着重要的作用，常用于存储各种类型的货物，货物类型可以为原材料、中间产品以及成品等，电商或制造业的发展常伴随货物的入库或出库，仓库员工可根据客户订单要求，从仓库中取货、包装以及分派物品，但由于仓库内通常存储有大量且类型不同的货物，因此在从仓库中取货时可能需要花费较多的时间和精力来寻找目标货物，从而可能会降低取货时的工作效率。
相关技术中一般通过定位目标货物的位置，并基于目标货物的位置制定取货指引，以使相关人员可以根据规划出的取货指引从仓库内取货，例如，取货指引可以为a区b排c号货架，但是大多仓库为了可以存放更多的货物，内部的布局一般较为复杂，因此相关人员在根据规划出的取货指引寻找目标货物时，仍极易被复杂的布局干扰，从而可能无法精准定位目标货物的摆放区域，并且为了便于拣货和装载，仓库内一般会将同类型货物集中摆放，当取货人员抵达目标货物的摆放区域后，由于目标货物不能直观的展示在取货人员面前，取货人员在取货过程中也可能会因为注意力不集中、时间紧迫或疲劳等因素而拿错货物，从而导致取货过程中的准确性较低。
发明内容
为了提高取货过程的准确性，本申请提供一种基于AR定位的仓库管理方法、装置、电子设备及介质。
第一方面，本申请提供一种基于AR定位的仓库管理方法，采用如下的技术方案：
一种基于AR定位的仓库管理方法，包括：
获取仓库的全景图像和目标货物在所述仓库内的目标位置；
基于所述目标位置和所述全景图像制定取货路径；
从所述全景图像中识别所述取货路径中的多个路径标识，和所述目标货物在所述目标位置处对应的摆放区域；
基于所述全景图像、所述多个路径标识和所述取货路径生成AR路径视频；
获取定位设备的实时视频，并识别所述实时视频中出现的实时视野标识；
基于所述实时视野标识和所述路径标识，将所述AR路径视频与所述实时视频叠加得到AR引导视频，并将所述AR引导视频实时反馈至所述定位设备；
基于所述摆放区域和预设提示信息生成AR提示视频，当所述实时视野标识为所述目标货物对应的货物标识时，基于所述实时视野标识和所述目标货物对应的货物标识，将所述AR提示视频与所述AR引导视频叠加得到AR取货视频，并将所述AR取货视频反馈至所述定位设备。
通过采用上述技术方案，通过为相关取货人员制定取货路径，并将确定出的取货路径转换为AR引导视频，以使相关取货人员能够根据AR引导视频从仓库内寻找目标货物，而不是只通过文字取货引导从仓库中寻找货物，通过AR引导视频可以更直观的将取货路径通过取货人员佩戴的定位设备展示在取货人员面前，以降低取货人员在取货过程中被仓库内复杂的布局所干扰的概率，从而便于提高取货人员在寻找目标位置时的准确性，当取货人员通过AR引导视频抵达目标位置时，通过将目标货物对应的摆放区域进行识别和提示，以使取货人员能够通过佩戴的定位设备精准从目标位置处识别出目标货物，从而可以降低取货人员在取货时出现失误的概率，通过提升寻找目标位置时的准确性和取货时的准确性，以实现提升取货过程中的准确性。
在一种可能实现的方式中，所述基于所述全景图像、所述多个路径标识和所述取货路径生成AR路径视频，包括：
将所述全景图像进行转换，得到虚拟全景图像；
从所述虚拟全景图像中识别出每个路径标识对应的虚拟路径标识；
根据所述取货路径，连接每个模拟路径标识形成初始AR路径；
确定所述初始AR路径中相邻虚拟路径标识之间的行驶方向，并根据行驶方向生成对应的虚拟引导标识；
根据所述初始AR路径，和所述初始AR路径中相邻虚拟路径标识之间的虚拟引导标识，生成AR路径视频。
通过采用上述技术方案，通过将虚拟路径标识与取货路径中的路径标识相对应，便于提升从虚拟全景图像视频中识别取货路径时的准确性，通过在生成AR路径视频的过程中，将相邻虚拟路径标识之间的行驶方向进行标定，便于更直观的向请取货人员展示取货路径，从而便于降低取货人员行驶错误的概率。
在一种可能实现的方式中，所述基于所述实时视野标识和所述路径标识，将所述AR路径视频与所述实时视频叠加得到AR引导视频，包括：
将所述实时视野标识与每个路径标识相匹配，得到对应的匹配值；
将匹配值高于预设阈值的路径标识，确定所述实时视野标识的匹配路径标识，并将所述实时视野标识与对应的匹配路径标识进行绑定；
基于绑定关系，将所述AR路径视频与所述实时视频进行叠加得到AR引导视频。
通过采用上述技术方案，通过标识匹配便于判断出实时视野标识是否为取货路径中的标识，当匹配成功时，将实时视野标识与对应的匹配路径标识相互绑定，便于提升视频叠加时的准确性，通过绑定关系进行视频叠加，而不是直接将生成的AR路径视频反馈给定位设备，便于提升取货人员在使用定位设备时的体验感，由于取货人员的行驶路径可能会与取货路径存在偏差，因此通过实时获取取货人员的视野标识，并以此实时生成AR引导视频，便于降低取货人员在寻找目标位置时发生偏差的概率。
在一种可能实现的方式中，所述将所述AR取货视频反馈至所述定位设备之后，还包括：
获取每个定位设备对应的AR取货视频，并将每个定位设备对应的AR取货视频进行融合，得到区域融合视频；
当检测到所述区域融合视频中存在冲突设备时，识别所述冲突设备对应的取货设备类型，所述冲突设备为存在冲突路径的定位设备；
获取所述冲突路径对应的预设行驶规范，并判断所述冲突设备对应的取货设备类型是否符合对应的预设行驶规范，所述预设行驶规范用于表征行驶所述冲突路径时可以通过的取货设备数量和取货设备类型；
若否，则生成提示信息，并将所述提示信息反馈至所述冲突设备。
通过采用上述技术方案，通过区域融合视频，实时监测每个定位设备在仓库内的行驶情况，即实时监测每个取货人员在仓库内的行驶情况，当不同的取货人员可能需要同时经过同一冲突路径时，可通过取货人员的取货设备类型和数量，判断冲突路径是否可允许多个取货人员同时经过，由于仓库内的行驶路径错综复杂，不同行驶路径的宽度不同，即不同行驶路径的容纳量不同，因此通过提前对冲突路径是否可满足多个取货人员以及对应的取货设备通过进行判断，并在不能满足多个取货人员同时通行时生成提示信息，以避免多个取货人员在冲突路径发生碰撞或道路拥堵的情况。
在一种可能实现的方式中，当目标货物的数量为多个时，所述将所述AR取货视频反馈至所述定位设备之后，还包括：
获取取货信息，并根据所述取货信息确定每个目标货物的取货量，所述取货信息中包含多个目标货物和每个目标货物各自对应的取货量；
根据所述取货信息生成虚拟取货清单，并将所述虚拟取货清单叠加至所述AR取货视频中，所述虚拟取货清单中包含有每个目标货物对应的子取货信息；
实时获取取货图像，并根据所述取货图像更新所述虚拟取货清单。
通过采用上述技术方案，通过将取货信息转换成虚拟取货清单，再将虚拟取货清单叠加进AR取货视频中，便于取货人员在佩戴定位设备后，直接通过观看定位设备中展示的视频进行取货，而不需要再携带纸质版取货清单，或携带其他显示设备展示取货清单上的内容，在取货完成后，还可以通过取货图像更新虚拟取货清单，以使取货人员能够了解到已完成取货的目标货物和待取货的目标货物，避免发生漏取或多取货物的情况，从而便于提升取货过程中的准确性。
在一种可能实现的方式中，所述根据所述取货图像更新所述虚拟取货清单，包括：
从所述取货图像中识别目标货物对应的取货行为信息，所述取货行为信息中包括取货次数和每次取货量；
根据所述取货行为确定所述目标货物对应的拿取数量；
根据所述拿取数量与所述虚拟取货清单中对应的取货量，判断是否完成取货；
若是，则将所述虚拟取货清单中所述目标货物对应的子取货信息进行标记，以更新所述虚拟取货清单。
通过采用上述技术方案，在取货人员对每个目标货物取货结束后，均需根据取货图像判断取货人员是否已经正确取货，以便于提升取货结果的准确性，在识别到已经正确取货后，及时将虚拟清单中对应的子取货信息进行标记，以将取货结束并且已经正确取货的子取货信息与其他子取货信息进行区分，避免取货人员发生取货重复。
在一种可能实现的方式中，所述根据所述取货图像更新所述虚拟取货清单之后，还包括：
当检测到所述虚拟取货清单的更新次数与所述虚拟取货清单中子取货信息的数量一致时，获取所述虚拟取货清单对应的取货设备的设备图像；
根据所述虚拟取货清单中每个目标货物在所述取货设备中的位置，将所述设备图像进行区域划分；
获取装载设备信息，所述装载设备信息中包含有每个目标货物对应的装载设备编号；
将每个目标货物对应的划分区域与对应的装载设备编号进行绑定，得到装载对应关系，并将所述装载对应关系反馈至所述虚拟取货清单对应的定位设备。
通过采用上述技术方案，通过将取货设备中每个目标货物与对应的转载设备进行绑定，并将绑定关系反馈至对应的定位设备，以便于相关装载人员可根据定位设备中显示的装载对应关系将对应的目标货物进行精准装载。
第二方面，本申请提供一种基于AR定位的仓库管理装置，采用如下的技术方案：
一种基于AR定位的仓库管理装置，包括：
获取信息模块，用于获取仓库的全景图像和目标货物在所述仓库内的目标位置；
制定取货路经模块，用于基于所述目标位置和所述全景图像制定取货路径；
第一识别模块，用于从所述全景图像中识别所述取货路径中的多个路径标识，和所述目标货物在所述目标位置处对应的摆放区域；
生成AR路径视频模块，用于基于所述全景图像、所述多个路径标识和所述取货路径生成AR路径视频；
第二识别模块，用于获取定位设备的实时视频，并识别所述实时视频中出现的实时视野标识；
确定引导视频模块，用于基于所述实时视野标识和所述路径标识，将所述AR路径视频与所述实时视频叠加得到AR引导视频，并将所述AR引导视频实时反馈至所述定位设备；
确定取货视频模块，用于基于所述摆放区域和预设提示信息生成AR提示视频，当所述实时视野标识为所述目标货物对应的货物标识时，基于所述实时视野标识和所述目标货物对应的货物标识，将所述AR提示视频与所述AR引导视频叠加得到AR取货视频，并将所述AR取货视频反馈至所述定位设备。
通过采用上述技术方案，通过为相关取货人员制定取货路径，并将确定出的取货路径转换为AR引导视频，以使相关取货人员能够根据AR引导视频从仓库内寻找目标货物，而不是只通过文字取货引导从仓库中寻找货物，通过AR引导视频可以更直观的将取货路径通过取货人员佩戴的定位设备展示在取货人员面前，以降低取货人员在取货过程中被仓库内复杂的布局所干扰的概率，从而便于提高取货人员在寻找目标位置时的准确性，当取货人员通过AR引导视频抵达目标位置时，通过将目标货物对应的摆放区域进行识别和提示，以使取货人员能够通过佩戴的定位设备精准从目标位置处识别出目标货物，从而可以降低取货人员在取货时出现失误的概率，通过提升寻找目标位置时的准确性和取货时的准确性，以实现提升取货过程中的准确性。
在一种可能实现的方式中，生成AR路径视频模块在基于所述全景图像、所述多个路径标识和所述取货路径生成AR路径视频时，具体用于：
将所述全景图像进行转换，得到虚拟全景图像；
从所述虚拟全景图像中识别出每个路径标识对应的虚拟路径标识；
根据所述取货路径，连接每个模拟路径标识形成初始AR路径；
确定所述初始AR路径中相邻虚拟路径标识之间的行驶方向，并根据行驶方向生成对应的虚拟引导标识；
根据所述初始AR路径，和所述初始AR路径中相邻虚拟路径标识之间的虚拟引导标识，生成AR路径视频。
在一种可能实现的方式中，确定引导视频模块在基于所述实时视野标识和所述路径标识，将所述AR路径视频与所述实时视频叠加得到AR引导视频时，具体用于：
将所述实时视野标识与每个路径标识相匹配，得到对应的匹配值；
将匹配值高于预设阈值的路径标识，确定所述实时视野标识的匹配路径标识，并将所述实时视野标识与对应的匹配路径标识进行绑定；
基于绑定关系，将所述AR路径视频与所述实时视频进行叠加得到AR引导视频。
在一种可能实现的方式中，该装置还包括：
确定融合视频模块，用于获取每个定位设备对应的AR取货视频，并将每个定位设备对应的AR取货视频进行融合，得到区域融合视频；
识别设备类型模块，用于当检测到所述区域融合视频中存在冲突设备时，识别所述冲突设备对应的取货设备类型，所述冲突设备为存在冲突路径的定位设备；
规范判断模块，用于获取所述冲突路径对应的预设行驶规范，并判断所述冲突设备对应的取货设备类型是否符合对应的预设行驶规范，所述预设行驶规范用于表征行驶所述冲突路径时可以通过的取货设备数量和取货设备类型；
生成提示信息模块，用于若否，则生成提示信息，并将所述提示信息反馈至所述冲突设备。
在一种可能实现的方式中，该装置还包括：
确定取货量模块，用于获取取货信息，并根据所述取货信息确定每个目标货物的取货量，所述取货信息中包含多个目标货物和每个目标货物各自对应的取货量；
生成虚拟取货清单模块，用于根据所述取货信息生成虚拟取货清单，并将所述虚拟取货清单叠加至所述AR取货视频中，所述虚拟取货清单中包含有每个目标货物对应的子取货信息；
更新清单模块，用于实时获取取货图像，并根据所述取货图像更新所述虚拟取货清单。
在一种可能实现的方式中，更新清单模块在根据所述取货图像更新所述虚拟取货清单时，具体用于：
从所述取货图像中识别目标货物对应的取货行为信息，所述取货行为信息中包括取货次数和每次取货量；
根据所述取货行为确定所述目标货物对应的拿取数量；
根据所述拿取数量与所述虚拟取货清单中对应的取货量，判断是否完成取货；
若是，则将所述虚拟取货清单中所述目标货物对应的子取货信息进行标记，以更新所述虚拟取货清单。
在一种可能实现的方式中，该装置还包括：
获取设备图像模块，用于当检测到所述虚拟取货清单的更新次数与所述虚拟取货清单中子取货信息的数量一致时，获取所述虚拟取货清单对应的取货设备的设备图像；
区域划分模块，用于根据所述虚拟取货清单中每个目标货物在所述取货设备中的位置，将所述设备图像进行区域划分；
获取装载信息模块，用于获取装载设备信息，所述装载设备信息中包含有每个目标货物对应的装载设备编号；
信息反馈模块，用于将每个目标货物对应的划分区域与对应的装载设备编号进行绑定，得到装载对应关系，并将所述装载对应关系反馈至所述虚拟取货清单对应的定位设备。
第三方面，本申请提供一种电子设备，采用如下的技术方案：
一种电子设备，该电子设备包括：
至少一个处理器；
存储器；
至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述基于AR定位的仓库管理的方法。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述基于AR定位的仓库管理方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：
通过为相关取货人员制定取货路径，并将确定出的取货路径转换为AR引导视频，以使相关取货人员能够根据AR引导视频从仓库内寻找目标货物，而不是只通过文字取货引导从仓库中寻找货物，通过AR引导视频可以更直观的将取货路径通过取货人员佩戴的定位设备展示在取货人员面前，以降低取货人员在取货过程中被仓库内复杂的布局所干扰的概率，从而便于提高取货人员在寻找目标位置时的准确性，当取货人员通过AR引导视频抵达目标位置时，通过将目标货物对应的摆放区域进行识别和提示，以使取货人员能够通过佩戴的定位设备精准从目标位置处识别出目标货物，从而可以降低取货人员在取货时出现失误的概率，通过提升寻找目标位置时的准确性和取货时的准确性，以实现提升取货过程中的准确性。
通过将取货信息转换成虚拟取货清单，再将虚拟取货清单叠加进AR取货视频中，便于取货人员在佩戴定位设备后，直接通过观看定位设备中展示的视频进行取货，而不需要再携带纸质版取货清单，或携带其他显示设备展示取货清单上的内容，在取货完成后，还可以通过取货图像更新虚拟取货清单，以使取货人员能够了解到已完成取货的目标货物和待取货的目标货物，避免发生漏取或多取货物的情况，从而便于提升取货过程中的准确性。
附图说明
图1是本申请实施例中一种基于AR定位的仓库管理方法的流程示意图；
图2是本申请实施例中一种虚拟引导标识示例图；
图3是本申请实施例中一种更新后虚拟取货清单的示例图；
图4是本申请实施例中一种确定装载对应关系的示例图；
图5是本申请实施例中一种基于AR定位的仓库管理装置的结构示意图；
图6是本申请实施例中一种电子设备的结构示意图。
具体实施方式
以下结合附图1-6对本申请作进一步详细说明。
本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
具体的，本申请实施例提供了一种基于AR定位的仓库管理方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。
参考图1，图1是本申请实施例中一种基于AR定位的仓库管理方法的流程示意图，该方法包括步骤S110-步骤S170，其中：
步骤S110：获取仓库的全景图像和目标货物在仓库内的目标位置。
具体的，仓库为用于存放货物的地点，仓库的全景图像可由设置于仓库内的图像采集设备进行采集并上传至电子设备，目标货物为需要从仓库内拿取的货物，可由用户递交的取货信息进行确定，用户可通过线上或线下向电子设备递交取货信息，取货信息中可能包含一个目标货物，也可能存在多个目标货物，目标货物的具体数量在本申请实施例中不做具体限定。
为了便于管理，货物在仓库内的摆放位置一般较为固定，即，货物与摆放位置存在对应关系，货物与摆放位置的对应关系在本申请实施例中不做具体限定，可由相关技术人员根据仓库内的实际摆放情况进行设定。通过货物与摆放位置的对应关系，能够确定出目标货物对应的目标位置，目标位置可以用于表征目标货物当前摆放的具体货架。
步骤S120：基于目标位置和全景图像制定取货路径。
具体的，可将全景图像导入训练好的特征识别模型中，以得到全景图像中包含的全部路径，即仓库内的全部路径，特征识别模型的训练过程为获取大量样本图像信息，将大量样本图像信息导入待训练的特征识别模型中进行迭代训练，直至模型输出结果与样本图像对应的路径标签一致，其中，样本图像信息中包含样本图像以及每个样本图像对应的路径标签。获取仓库内全部路径的方式除了对全景图像进行特征识别之外，还可以通过获取相关技术人员提前上传的路径信息，具体的方式在本申请实施例中不做具体限定。
另外，还可以从全景图像中识别出取货人员的具体位置，根据取货人员的具体位置和目标位置从仓库内的全部路径中确定最短路径，并将该最短路径确定为取货路经，其中，从仓库内的全部路径中确定最短路径时，可以根据全景图像构建路径图，路径图中包括至少两个节点和多条边，节点用于表示目标位置和取货人员的具体位置，边用于表示目标位置与取货人员的具体位置之间的可行路径，同时还可以为每条边标记路径长度，以便于提升确定最短路径时的准确性，在确定取货人员与目标位置之间的最短路径时，可将取货人员的具体位置作为起始节点，将目标位置作为目标节点，再使用最短路径算法计算起始节点到目标节点的最短路径，其中，最短路径算法可以为迪杰斯特拉算法，还可以为弗洛伊德算法，具体的最短路径算法在本申请实施例中不做具体限定，只要能够计算出取货人员与目标位置之间的最短路径即可，当最短路径算法为迪杰斯特拉算法时，可通过为取货人员对应的节点设置初始距离值0，即将起始节点对应的初始距离值设置为0，从起始节点开始，逐步遍历路径图中的边并更新距离值，直至遍历到目标节点得到遍历路径，计算每条遍历路径对应的距离值，将距离值最短的遍历路径确定为最短路径。
步骤S130：从全景图像中识别取货路径中的多个路径标识，和目标货物在目标位置处对应的摆放区域。
具体的，路径标识可以为货架、指示牌或者柱子，具体的标识类型和路径标识的数量在本申请实施例中不做具体限定，只要能够根据确定出的路径标识确定出对应的取货路径即可，从全景图像中识别取货路经中的路径标识时，需要先从全景图像中提取出取货路径对应的图像，再从取货路径对应的图像中，识别取货路径中的至少一个路径标识，其中，取货路径中的至少一个路径标识中必须包含取货路径起始位置处对应的路径标识，和取货路径最终位置处对应的路径标识，即必须包含取货人员的具体位置处对应的路径标识，和目标位置处对应的路径标识。
目标货物在目标位置处对应的摆放区域用于表征目标货物的具体摆放位置，若目标位置为某货架，则目标位置对应的摆放位置为目标货物在该货架中的具体位置。
步骤S140：基于全景图像、多个路径标识和取货路径生成AR路径视频。
具体的， AR视频为增强现实（Augmented Reality，AR）技术与视频内容的结合体，AR视频能够将现实世界中的真实视频场景与虚拟增强图像或虚拟信息叠加在一起，通过智能手机、平板电脑、AR眼镜或其他AR设备进行观看和交互。AR路径视频为取货路径和仓库内全景图像的结合体，即，AR路径视频为取货路径的实景视频，除此之外，AR路径视频中还叠加有多个路径标识。
其中，基于全景图像、多个路径标识和取货路径生成AR路径视频，具体包括：
将全景图像进行转换，得到虚拟全景图像；从虚拟全景图像中识别出每个路径标识对应的虚拟路径标识；根据取货路径，连接每个模拟路径标识形成初始AR路径；确定初始AR路径中相邻虚拟路径标识之间的行驶方向，并根据行驶方向生成对应的虚拟引导标识；根据初始AR路径，和初始AR路径中相邻虚拟路径标识之间的虚拟引导标识，生成AR路径视频。
具体的，将全景图像转换成为虚拟全景图像时，可通过使用AR开发工具或AR开发平台，根据仓库的全景图像创建一个与仓库环境相对应的AR场景模型，并将该AR场景模型对应的图像确定为虚拟全景图像，其中，AR开发工具可以为三维建模工具，具体的AR开发技术或AR开发平台在本申请实施例中不做具体限定，只要能够通过全景图像创建出对应的虚拟场景模型即可。从虚拟全景图像中识别每个路径标识对应的虚拟路径标识的方式，可参考从全景图像中识别路径标识的方式，在此不做赘述。
初始AR路径为取货路径在虚拟全景图像中的展示形式，通过初始AR路径能够使取货人员抵达目标位置，初始AR路径中包含有取货路径对应的多个路径标识。虚拟引导标识为虚拟标识或虚拟指示物，通过在初始AR路径中使用虚拟引导标识，可以为初始AR路径提供指引或导航，以帮助取货人员准确定位、识别或遵循取货路径，如图2所示，图2为一种虚拟引导标识示例图，虚拟引导标识通常使用可视化元素，如虚拟箭头、虚拟线条、文字或动画等，虚拟引导标识的具体类型在本申请实施例中不做具体限定，只要能够通过虚拟引导标识为取货人员提供指引即可，虚拟箭头的方向可根据行驶方向进行确定，其中，可根据预设的仓库路径规则确定初始AR路径中相邻虚拟路径标识之间的行驶方向，预设的仓库路径规则在本申请实施例中不做具体限定，可由相关技术人员根据仓库内的实际情况进行设定。
步骤S150：获取定位设备的实时视频，并识别实时视频中出现的实时视野标识。
具体的，定位设备可以为AR眼镜，也可以为其他AR设备，在本申请实施例中不做具体限定，定位设备的实时视频由多个实时图像帧构成，实时视频为取货人员佩戴定位设备后定位设备采集到的视频，定位设备采集到实时视频后，可将采集到的实时视频上传至电子设备，视野标识可以为实时视频中出现的货架、指示牌或者柱子。识别实时视频中出现的实时视野标识的方式，可参考上述识别全景图像中路径标识的方式，在此不做赘述，实时视野标识的数量可以为一个，也可以为多个，具体的数量在本申请实施例中不做具体限定，只要能够根据实时视野标识确定出取货人员的当前位置即可。
步骤S160：基于实时视野标识和路径标识，将AR路径视频与实时视频叠加得到AR引导视频，并将AR引导视频实时反馈至定位设备。
具体的，将实时视野标识和路径标识相互对应，并根据对应结果进行视频叠加，即AR引导视频为AR路径视频和实时视频的结合体，将AR引导视频反馈至定位设备，即AR引导视频通过定位设备展示在取货人员面前，其中，在基于实时视野标识和多个路径标识，将AR路径视频与实时视频叠加得到AR引导视频，具体包括：
将实时视野标识与每个路径标识相匹配，得到对应的匹配值；将匹配值高于预设阈值的路径标识，确定实时视野标识的匹配路径标识，并将实时视野标识与对应的匹配路径标识进行绑定；基于绑定关系，将AR路径视频与实时视频进行叠加得到AR引导视频。
具体的，可以通过在原始视频上创建叠加轨道，再将待叠加素材添加至创建好的叠加轨道上，以实现视频叠加，其中，叠加素材用于表征需要进行叠加的内容，可以为图片、视频、文字等，叠加素材的具体形式在本申请实施例中不做具体限定，原始视频可以为实时视频，也可以为AR路径视频，即，可在实时视频上创建叠加轨道，也可以在AR路径视频上创建叠加轨道，当在实时视频上创建叠加轨道时，可将AR路径视频确定为叠加素材。由于实时视频为取货人员佩戴定位设备后定位设备采集到的视频，而AR路径视频为取货路径对应的视频，实时视频可能与AR路径视频存在偏差，因此通过比对标识后再进行视频叠加便于引导取货人员按照取货路径移动。当根据实时视频检测到取货人员远离取货路径后，可获取取货人员的当前位置，并根据当前位置和取货路径制定返回路线，并将该返回路线反馈至取货人员对应的定位设备中，以便于取货人员能够快速从当前位置返回至取货路线。
绑定关系中包含每个路径标识对应的视野标识，当某实时视野标识与路径标识匹配度高于预设阈值时，将该实时视野与对应的路径标识绑定，并催动路径标识对应的AR路径视频进行叠加，预设阈值在本申请实施例中不做具体限定，可由相关技术人员进行设定。
步骤S170：基于摆放区域和预设提示信息生成AR提示视频，当实时视野标识为目标货物对应的货物标识时，基于实时视野标识和目标货物对应的货物标识，将AR提示视频与AR引导视频叠加得到AR取货视频，并将AR取货视频反馈至定位设备。
具体的，预设提示信息可以为提示颜色，也可以为在提示边框，当预设提示信息为提示颜色时，AR提示视频中的摆放区域用提示颜色进行标识；当预设提示信息为提示边框时，AR提示视频中的摆放区域用提示边框进行标识，具体的预设提示信息在本申请实施例中不做具体限定，只要能够在AR提示视频中将摆放区域与其他区域进行区分即可。
货物标识可以为目标货物对应的编号、也可以为目标货物对应的货物包装，具体的货物标识在本申请实施例中不做具体限定，只要能够通过货物标识唯一识别出目标货物即可。基于实时视野标识和目标货物对应的货物标识，将AR提示视频与AR引导视频叠加得到AR取货视频的方式，可参考上述将实时视频与AR路径视频叠加的过程，在此不做赘述。AR取货视频为AR引导视频和和AR提示视频的结合体，将AR取货视频反馈至定位设备的方式，可参考上述步骤S160中将AR引导视频反馈至定位设备的方式，在此不做赘述。
对于本申请实施例，通过为相关取货人员制定取货路径，并将确定出的取货路径转换为AR引导视频，以使相关取货人员能够根据AR引导视频从仓库内寻找目标货物，而不是只通过文字取货引导从仓库中寻找货物，通过AR引导视频可以更直观的将取货路径通过取货人员佩戴的定位设备展示在取货人员面前，以降低取货人员在取货过程中被仓库内复杂的布局所干扰的概率，从而便于提高取货人员在寻找目标位置时的准确性，当取货人员通过AR引导视频抵达目标位置时，通过将目标货物对应的摆放区域进行识别和提示，以使取货人员能够通过佩戴的定位设备精准从目标位置处识别出目标货物，从而可以降低取货人员在取货时出现失误的概率，通过提升寻找目标位置时的准确性和取货时的准确性，以实现提升取货过程中的准确性。
进一步地，为了避免取货人员在取货路径中发生碰撞或取货路径出现道路拥堵，该方法还包括：
获取每个定位设备对应的AR取货视频，并将每个定位设备对应的AR取货视频进行融合，得到区域融合视频；当检测到区域融合视频中存在冲突设备时，识别冲突设备对应的取货设备类型，冲突设备为存在冲突路径的定位设备；获取冲突路径对应的预设行驶规范，并判断冲突设备对应的取货设备类型是否符合对应的预设行驶规范，预设行驶规范用语表征行驶冲突路径时可以通过的取货设备数量和取货设备类型；若否，则生成提示信息，并将提示信息反馈至冲突设备。
具体的，由于仓库内摆放有大量不同种类的货物，因此仓库内可能会同时存在多个取货人员，并且不同的订单信息中可能存在相同的待取货物，因此当多个取货人员同时取货时可能会发生路径重合，可通过将不同定位设备对应的AR取货视频进行融合，根据融合后的视频判断不同的取货人员在佩戴定位设备取货过程中，是否会发生冲突。
将多个定位设备对应的AR取货视频进行融合时，可先识别每个AR取货视频的变化边界信息，变化边界信息为AR取货视频对应的边界信息，由于AR取货视频会随着取货人员的移动而发生变化，因此AR取货视频对应的边界信息也会随之发生变化，根据多个边界变化信息将多个AR取货视频进行拼接即可，拼接后的多个AR取货视频称为区域融合视频，区域融合视频对应的区域可以为整个仓库，也可以为仓库中的部分区域，在本申请实施例中不做具体限定，可由相关技术人员进行设定。
每个定位设备对应的取货设备类型可能不同，取货设备类型包括人工取货和取货车取货，人工取货为取货人员携带取货装置人工取货，取货装置可以为手推车、取货篮等，取货车取货为取货人员驾驶取货车进行取货，可根据订单信息确定取货设备类型，确定出取货设备类型后，将取货设备类型与定位设备进行绑定，并将该绑定关系存储至电子设备。冲突路径为不同的定位设备存在重合的路径，将拥有重合路径的定位设备确定为冲突设备，同一冲突路径对应的冲突设备数量至少有两个。
由于仓库内不同的路径对应的宽度不同，因此不同的路径能够同时经过的人员数量和取货车数量也不同，预设行驶规范用于表征每条路径能够同时经过的人员数量和取货车数量，具体的预设行驶规范在本申请实施例中不做具体限定，可由相关技术人员根据仓库内的实际情况进行设定。通过提前对冲突路径是否可满足多个取货人员以及对应的取货设备通过进行判断，并在不能满足多个取货人员同时通行时生成提示信息，以避免多个取货人员在冲突路径发生碰撞或道路拥堵的情况，提示信息可以为在AR取货视频中弹出警示符号，也可以弹出警示信息，提示信息的具体方式在本申请实施例中不做具体限定，可由相关技术人员进行设定。例如，定位设备a和定位设备b存在部分重合路径，则将重合路径确定为冲突路径，获取冲突路径对应的行驶规范为可同时经过两辆取货车或者同时经过三个取货人员，当定位设备a和定位设备b的取货类型均为取货车取货时，定位设备a和定位设备b可同时经过冲突路径，此时不会生成提示信息；当重合路径对应的行驶规范为可同时经过两个取货人员或者经过一个取货车时，定位设备a和定位设备b不可同时经过冲突路径，此时会生成提示信息，并将生成的提示信息分别反馈至定位设备a和定位设备b。
进一步地，当目标货物的数量为多个时，为了提升取货过程中的准确性，该方法还包括：
获取取货信息，并根据取货信息确定每个目标货物的取货量，取货信息中包含多个目标货物和每个目标货物各自对应的取货量；根据取货信息生成虚拟取货清单，并将虚拟取货清单叠加至AR取货视频中，虚拟取货清单中包含有每个目标货物对应的子取货信息；实时获取取货图像，并根据取货图像更新虚拟取货清单。
具体的，不同的定位设备对应的取货信息不同，取货信息中可能包含一个目标货物，也可能包含多个目标目标，即取货人员可能只需要对一种货物进行拿取，也可能需要对多种货物进行拿取，当需要拿取的货物数量较多时，取货人员一般可通过自主记忆，也可以通过手持取货清单，但是通过自主记忆取货时极易出现记忆偏差而导致货物拿取失误，手持取货清单取货时可能会导致取货人员的取货行为受限，生成的虚拟取货清单可直接与AR取货视频进行叠加，并直接展示在定位设备展示的画面中，虚拟取货清单在AR视频中的展示位置可以在左上角，也可以在右下角，具体的展示位置在本申请实施例中不做具体限定，可由相关技术人员进行设定。虚拟取货清单中包含有取货信息中的全部内容，取货信息中包含有多个子取货信息，每个子取货信息与一个目标货物相对应。
取货图像为包含有取货人员取货行为的图像，可由取货人员佩戴的定位设备进行图像采集，也可由设置于目标位置处的图像采集设备进行采集，具体的采集方式在本申请实施例中不做具体限定，只要能够将取货人员的取货行为进行记录即可。更新虚拟取货清单即将已经取货完成的内容与其他内容进行标记区分。
其中，根据取货图像更新虚拟取货清单，具体包括：
从取货图像中识别目标货物对应的取货行为信息，取货行为信息中包括取货次数和每次取货量；根据取货行为确定目标货物对应的拿取数量；根据拿取数量与虚拟取货清单中对应的取货量，判断是否完成取货；若是，则将虚拟取货清单中目标货物对应的子取货信息进行标记，以更新虚拟取货清单。
具体的，由于取货行为中包括取货人员在拿取目标货物时的取货次数和每次取货量，因此通过取货次数和取货量便于判断是否已经拿取完毕，例如，目标货物a的取货量为10袋，从取货人员对应的取货行为中可以识别出取货人员在拿取目标货物a时，取货次数为5次，每次取货量为2袋，因此可以确定取货人员已经对目标货物a取货完毕。
将子取货信息进行标记时，可将该子取货信息从虚拟取货清单中剔除，或在该子取货信息上增加标记，标记可以为对勾，也可以为横线，如图3所示，图3为更新后虚拟取货清单的示例图，具体的标识形式在本申请实施例中不做具体限定，只要能够将已经正确取货的子取货信息与其他子取货信息进行区分，避免取货人员发生取货重复即可。
进一步地，为了提升货物装载过程中的准确性，本申请还包括步骤Sa1-步骤Sa4，如图4所示，其中：
步骤Sa1：当检测到虚拟取货清单的更新次数与虚拟取货清单中子取货信息的数量一致时，获取虚拟取货清单对应的取货设备的设备图像。
具体的，当检测到某目标货物已经拿取完毕后，便会对虚拟取货清单进行一次更新，当对虚拟取货清单的更新次数与子取货信息的数量一致时，即表征已完成虚拟取货清单中所有目标货物的拿取。取货设备的设备图像可由设置于装载区域的图像采集设备进行采集后上传至电子设备，还可以由与该取货设备对应的定位设备采集后上传至电子设备，获取设备图像的具体方式在本申请实施例中不做具体限定。
步骤Sa2：根据虚拟取货清单中每个目标货物在取货设备中的位置，将设备图像进行区域划分。
具体的，不同的目标货物对应的货物编号或者货物包装可能不同，因此可根据货物编号或货物包装从设备图像中确定每个目标货物的位置，根据每个目标货物在设备中的位置对设备图像进行区域划分后，每个区域包含一种目标货物，为了便于区分不同的区域，可将不同区域显示为不同颜色，例如，目标货物a在设备图像中的区域显示为红色；目标货物b在设备图像中的区域显示为绿色；目标货物c在设备图像中的区域显示为黄色。
步骤Sa3：获取装载设备信息，装载设备信息中包含有每个目标货物对应的装载设备编号。
步骤Sa4：将每个目标货物对应的划分区域与对应的装载设备编号进行绑定，得到装载对应关系，并将装载对应关系反馈至虚拟取货清单对应的定位设备。
具体的，装载设备信息中包含有每个目标货物与装载设备的对应关系，不同的目标货物可能对应相同的装载设备，也可能对应不同的装载设备，例如，装载设备信息可以为目标货物a对应的装载设备编号为001；装载设备信息可以为目标货物b对应的装载设备编号为001；装载设备信息可以为目标货物c对应的装载设备编号为002。
装载对应关系为划分区域与装载设备的对应关系，而不同的划分区域对应的颜色不同，因此装载对应关系也可以为区域颜色与装载设备的对应关系，例如红色区域对应的装载设备编号为001；绿色区域对应的装载设备编号为001；黄色区域对应的装载设备编号为002。
将装载对应关系反馈至定位设备的方式可参考上述实施例中，将AR取货视频反馈至定位设备的方式，在此不做赘述，通过将绑定关系反馈至对应的定位设备，以便于相关装载人员可根据定位设备中显示的装载对应关系将对应的目标货物进行精准装载。
上述实施例从方法流程的角度介绍一种基于AR定位的仓库管理方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种基于AR定位的仓库管理装置，具体详见下述实施例。
本申请实施例提供一种基于AR定位的仓库管理装置，如图5所示，该装置具体可以包括获取信息模块510、制定取货路经模块520、第一识别模块530、生成AR路径视频模块540、第二识别模块550、确定引导视频模块560以及确定取货视频模块570，其中：
获取信息模块510，用于获取仓库的全景图像和目标货物在仓库内的目标位置；
制定取货路经模块520，用于基于目标位置和全景图像制定取货路径；
第一识别模块530，用于从全景图像中识别取货路径中的多个路径标识，和目标货物在目标位置处对应的摆放区域；
生成AR路径视频模块540，用于基于全景图像、多个路径标识和取货路径生成AR路径视频；
第二识别模块550，用于获取定位设备的实时视频，并识别实时视频中出现的实时视野标识；
确定引导视频模块560，用于基于实时视野标识和路径标识，将AR路径视频与实时视频叠加得到AR引导视频，并将AR引导视频实时反馈至定位设备；
确定取货视频模块570，用于基于摆放区域和预设提示信息生成AR提示视频，当实时视野标识为目标货物对应的货物标识时，基于实时视野标识和目标货物对应的货物标识，将AR提示视频与AR引导视频叠加得到AR取货视频，并将AR取货视频反馈至定位设备。
在一种可能实现的方式中，生成AR路径视频模块540在基于全景图像、多个路径标识和取货路径生成AR路径视频时，具体用于：
将全景图像进行转换，得到虚拟全景图像；
从虚拟全景图像中识别出每个路径标识对应的虚拟路径标识；
根据取货路径，连接每个模拟路径标识形成初始AR路径；
确定初始AR路径中相邻虚拟路径标识之间的行驶方向，并根据行驶方向生成对应的虚拟引导标识；
根据初始AR路径，和初始AR路径中相邻虚拟路径标识之间的虚拟引导标识，生成AR路径视频。
在一种可能实现的方式中，确定引导视频模块560在基于实时视野标识和路径标识，将AR路径视频与实时视频叠加得到AR引导视频时，具体用于：
将实时视野标识与每个路径标识相匹配，得到对应的匹配值；
将匹配值高于预设阈值的路径标识，确定实时视野标识的匹配路径标识，并将实时视野标识与对应的匹配路径标识进行绑定；
基于绑定关系，将AR路径视频与实时视频进行叠加得到AR引导视频。
在一种可能实现的方式中，该装置还包括：
确定融合视频模块，用于获取每个定位设备对应的AR取货视频，并将每个定位设备对应的AR取货视频进行融合，得到区域融合视频；
识别设备类型模块，用于当检测到区域融合视频中存在冲突设备时，识别冲突设备对应的取货设备类型，冲突设备为存在冲突路径的定位设备；
规范判断模块，用于获取冲突路径对应的预设行驶规范，并判断冲突设备对应的取货设备类型是否符合对应的预设行驶规范，预设行驶规范用于表征行驶冲突路径时可以通过的取货设备数量和取货设备类型；
生成提示信息模块，用于若否，则生成提示信息，并将提示信息反馈至冲突设备。
在一种可能实现的方式中，该装置还包括：
确定取货量模块，用于获取取货信息，并根据取货信息确定每个目标货物的取货量，取货信息中包含多个目标货物和每个目标货物各自对应的取货量；
生成虚拟取货清单模块，用于根据取货信息生成虚拟取货清单，并将虚拟取货清单叠加至AR取货视频中，虚拟取货清单中包含有每个目标货物对应的子取货信息；
更新清单模块，用于实时获取取货图像，并根据取货图像更新虚拟取货清单。
在一种可能实现的方式中，更新清单模块在根据取货图像更新虚拟取货清单时，具体用于：
从取货图像中识别目标货物对应的取货行为信息，取货行为信息中包括取货次数和每次取货量；
根据取货行为确定目标货物对应的拿取数量；
根据拿取数量与虚拟取货清单中对应的取货量，判断是否完成取货；
若是，则将虚拟取货清单中目标货物对应的子取货信息进行标记，以更新虚拟取货清单。
在一种可能实现的方式中，该装置还包括：
获取设备图像模块，用于当检测到虚拟取货清单的更新次数与虚拟取货清单中子取货信息的数量一致时，获取虚拟取货清单对应的取货设备的设备图像；
区域划分模块，用于根据虚拟取货清单中每个目标货物在取货设备中的位置，将设备图像进行区域划分；
获取装载信息模块，用于获取装载设备信息，装载设备信息中包含有每个目标货物对应的装载设备编号；
信息反馈模块，用于将每个目标货物对应的划分区域与对应的装载设备编号进行绑定，得到装载对应关系，并将装载对应关系反馈至虚拟取货清单对应的定位设备。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于AR定位的仓库管理装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例中提供了一种电子设备，如图6所示，图6所示的电子设备600包括：处理器601和存储器603。其中，处理器601和存储器603相连，如通过总线602相连。可选地，电子设备600还可以包括收发器604。需要说明的是，实际应用中收发器604不限于一个，该电子设备600的结构并不构成对本申请实施例的限定。
处理器601可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器601也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线602可包括一通路，在上述组件之间传送信息。总线602可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线602可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器603可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器603用于存储执行本申请方案的应用程序代码，并由处理器601来控制执行。处理器601用于执行存储器603中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (9)
1.一种基于AR定位的仓库管理方法，其特征在于，包括：
获取仓库的全景图像和目标货物在所述仓库内的目标位置；
基于所述目标位置和所述全景图像制定取货路径；
从所述全景图像中识别所述取货路径中的多个路径标识，和所述目标货物在所述目标位置处对应的摆放区域；
基于所述全景图像、所述多个路径标识和所述取货路径生成AR路径视频；
获取定位设备的实时视频，并识别所述实时视频中出现的实时视野标识；
基于所述实时视野标识和所述路径标识，将所述AR路径视频与所述实时视频叠加得到AR引导视频，并将所述AR引导视频实时反馈至所述定位设备；
基于所述摆放区域和预设提示信息生成AR提示视频，当所述实时视野标识为所述目标货物对应的货物标识时，基于所述实时视野标识和所述目标货物对应的货物标识，将所述AR提示视频与所述AR引导视频叠加得到AR取货视频，并将所述AR取货视频反馈至所述定位设备；
其中，该方法还包括：当检测到取货人员远离取货路经后，获取取货人员的当前位置，根据当前位置和取货路径制定返回路线，将返回路线反馈至取货人员的定位设备中；
其中，该方法还包括：获取每个定位设备对应的AR取货视频，并将每个定位设备对应的AR取货视频进行融合，得到区域融合视频；当检测到所述区域融合视频中存在冲突设备时，识别所述冲突设备对应的取货设备类型，所述冲突设备为存在冲突路径的定位设备；获取所述冲突路径对应的预设行驶规范，并判断所述冲突设备对应的取货设备类型是否符合对应的预设行驶规范，所述预设行驶规范用于表征行驶所述冲突路径时可以通过的取货设备数量和取货设备类型；若否，则生成提示信息，并将所述提示信息反馈至所述冲突设备。
2.根据权利要求1所述的一种基于AR定位的仓库管理方法，其特征在于，所述基于所述全景图像、所述多个路径标识和所述取货路径生成AR路径视频，包括：
将所述全景图像进行转换，得到虚拟全景图像；
从所述虚拟全景图像中识别出每个路径标识对应的虚拟路径标识；
根据所述取货路径，连接每个模拟路径标识形成初始AR路径；
确定所述初始AR路径中相邻虚拟路径标识之间的行驶方向，并根据行驶方向生成对应的虚拟引导标识；
根据所述初始AR路径，和所述初始AR路径中相邻虚拟路径标识之间的虚拟引导标识，生成AR路径视频。
3.根据权利要求1所述的一种基于AR定位的仓库管理方法，其特征在于，所述基于所述实时视野标识和所述路径标识，将所述AR路径视频与所述实时视频叠加得到AR引导视频，包括：
将所述实时视野标识与每个路径标识相匹配，得到对应的匹配值；
将匹配值高于预设阈值的路径标识，确定所述实时视野标识的匹配路径标识，并将所述实时视野标识与对应的匹配路径标识进行绑定；
基于绑定关系，将所述AR路径视频与所述实时视频进行叠加得到AR引导视频。
4.根据权利要求1所述的一种基于AR定位的仓库管理方法，其特征在于，当目标货物的数量为多个时，所述将所述AR取货视频反馈至所述定位设备之后，还包括：
获取取货信息，并根据所述取货信息确定每个目标货物的取货量，所述取货信息中包含多个目标货物和每个目标货物各自对应的取货量；
根据所述取货信息生成虚拟取货清单，并将所述虚拟取货清单叠加至所述AR取货视频中，所述虚拟取货清单中包含有每个目标货物对应的子取货信息；
实时获取取货图像，并根据所述取货图像更新所述虚拟取货清单。
5.根据权利要求4所述的一种基于AR定位的仓库管理方法，其特征在于，所述根据所述取货图像更新所述虚拟取货清单，包括：
从所述取货图像中识别目标货物对应的取货行为信息，所述取货行为信息中包括取货次数和每次取货量；
根据所述取货行为确定所述目标货物对应的拿取数量；
根据所述拿取数量与所述虚拟取货清单中对应的取货量，判断是否完成取货；
若是，则将所述虚拟取货清单中所述目标货物对应的子取货信息进行标记，以更新所述虚拟取货清单。
6.根据权利要求4所述的一种基于AR定位的仓库管理方法，其特征在于，所述根据所述取货图像更新所述虚拟取货清单之后，还包括：
当检测到所述虚拟取货清单的更新次数与所述虚拟取货清单中子取货信息的数量一致时，获取所述虚拟取货清单对应的取货设备的设备图像；
根据所述虚拟取货清单中每个目标货物在所述取货设备中的位置，将所述设备图像进行区域划分；
获取装载设备信息，所述装载设备信息中包含有每个目标货物对应的装载设备编号；
将每个目标货物对应的划分区域与对应的装载设备编号进行绑定，得到装载对应关系，并将所述装载对应关系反馈至所述虚拟取货清单对应的定位设备。
7.一种基于AR定位的仓库管理装置，其特征在于，包括：
获取信息模块，用于获取仓库的全景图像和目标货物在所述仓库内的目标位置；
制定取货路经模块，用于基于所述目标位置和所述全景图像制定取货路径；
第一识别模块，用于从所述全景图像中识别所述取货路径中的多个路径标识，和所述目标货物在所述目标位置处对应的摆放区域；
生成AR路径视频模块，用于基于所述全景图像、所述多个路径标识和所述取货路径生成AR路径视频；
第二识别模块，用于获取定位设备的实时视频，并识别所述实时视频中出现的实时视野标识；
确定引导视频模块，用于基于所述实时视野标识和所述路径标识，将所述AR路径视频与所述实时视频叠加得到AR引导视频，并将所述AR引导视频实时反馈至所述定位设备；
确定取货视频模块，用于基于所述摆放区域和预设提示信息生成AR提示视频，当所述实时视野标识为所述目标货物对应的货物标识时，基于所述实时视野标识和所述目标货物对应的货物标识，将所述AR提示视频与所述AR引导视频叠加得到AR取货视频，并将所述AR取货视频反馈至所述定位设备；
其中，该装置还包括：当检测到取货人员远离取货路经后，获取取货人员的当前位置，根据当前位置和取货路径制定返回路线，将返回路线反馈至取货人员的定位设备中；
其中，该装置还包括：确定融合视频模块，用于获取每个定位设备对应的AR取货视频，并将每个定位设备对应的AR取货视频进行融合，得到区域融合视频；识别设备类型模块，用于当检测到所述区域融合视频中存在冲突设备时，识别所述冲突设备对应的取货设备类型，所述冲突设备为存在冲突路径的定位设备；规范判断模块，用于获取所述冲突路径对应的预设行驶规范，并判断所述冲突设备对应的取货设备类型是否符合对应的预设行驶规范，所述预设行驶规范用于表征行驶所述冲突路径时可以通过的取货设备数量和取货设备类型；生成提示信息模块，用于若否，则生成提示信息，并将所述提示信息反馈至所述冲突设备。
8.一种电子设备，其特征在于，该电子设备包括：
至少一个处理器；
存储器；
至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行权利要求1-6中任一项所述的一种基于AR定位的仓库管理方法。
9.一种计算机可读存储介质，其特征在于，包括：存储有能够被处理器加载并执行如权利要求1-6中任一种所述的一种基于AR定位的仓库管理方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311100186.3A CN116823123B (zh) | 2023-08-30 | 2023-08-30 | 基于ar定位的仓库管理方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311100186.3A CN116823123B (zh) | 2023-08-30 | 2023-08-30 | 基于ar定位的仓库管理方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823123A CN116823123A (zh) | 2023-09-29 |
| CN116823123B true CN116823123B (zh) | 2023-12-05 |
Family
ID=88114898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311100186.3A Active CN116823123B (zh) | 2023-08-30 | 2023-08-30 | 基于ar定位的仓库管理方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823123B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117146828B (zh) * | 2023-10-30 | 2024-03-19 | 网思科技股份有限公司 | 拣货路径引导方法、装置、存储介质及计算机设备 |
| CN117541739B (zh) * | 2024-01-09 | 2024-04-09 | 金现代信息产业股份有限公司 | 基于OpenCV的仓库地图可视化构建方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944781A (zh) * | 2016-10-12 | 2018-04-20 | 菜鸟智能物流控股有限公司 | 提供存放对象提示信息的方法及装置 |
| CN111949020A (zh) * | 2020-07-21 | 2020-11-17 | 合肥工业大学 | 基于ar路径引导的仓库多人拣货的路径规划方法及系统 |
| CN113408992A (zh) * | 2021-06-30 | 2021-09-17 | 广东利元亨智能装备股份有限公司 | 一种物料信息提示方法、装置、电子设备及存储介质 |
| CN113837676A (zh) * | 2020-06-24 | 2021-12-24 | 阿里巴巴集团控股有限公司 | 取货方法、设备以及计算机可读介质 |
| KR20220053255A (ko) * | 2020-10-22 | 2022-04-29 | 대우조선해양 주식회사 | 증강현실기반 선내 자재창고 관리시스템 |
| CN114663856A (zh) * | 2022-03-18 | 2022-06-24 | 南京邮电大学 | 一种室内agv分拣小车防冲突调度及应急避障方法 |
| GB2609064A (en) * | 2021-07-16 | 2023-01-25 | Sony Interactive Entertainment Inc | Video processing and playback systems and methods |
| CN116070997A (zh) * | 2023-02-13 | 2023-05-05 | 烟台南山学院 | 一种基于虚拟现实的物流仓库管理方法和系统 |
| CN116229469A (zh) * | 2022-11-28 | 2023-06-06 | 北京亮亮视野科技有限公司 | 一种基于ar技术的多目标拣货系统和拣货方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3702985A1 (en) * | 2019-02-28 | 2020-09-02 | Accenture Global Solutions Limited | Augmented reality enabled cargo loading optimization |
-
2023
- 2023-08-30 CN CN202311100186.3A patent/CN116823123B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944781A (zh) * | 2016-10-12 | 2018-04-20 | 菜鸟智能物流控股有限公司 | 提供存放对象提示信息的方法及装置 |
| CN113837676A (zh) * | 2020-06-24 | 2021-12-24 | 阿里巴巴集团控股有限公司 | 取货方法、设备以及计算机可读介质 |
| CN111949020A (zh) * | 2020-07-21 | 2020-11-17 | 合肥工业大学 | 基于ar路径引导的仓库多人拣货的路径规划方法及系统 |
| KR20220053255A (ko) * | 2020-10-22 | 2022-04-29 | 대우조선해양 주식회사 | 증강현실기반 선내 자재창고 관리시스템 |
| CN113408992A (zh) * | 2021-06-30 | 2021-09-17 | 广东利元亨智能装备股份有限公司 | 一种物料信息提示方法、装置、电子设备及存储介质 |
| GB2609064A (en) * | 2021-07-16 | 2023-01-25 | Sony Interactive Entertainment Inc | Video processing and playback systems and methods |
| CN114663856A (zh) * | 2022-03-18 | 2022-06-24 | 南京邮电大学 | 一种室内agv分拣小车防冲突调度及应急避障方法 |
| CN116229469A (zh) * | 2022-11-28 | 2023-06-06 | 北京亮亮视野科技有限公司 | 一种基于ar技术的多目标拣货系统和拣货方法 |
| CN116070997A (zh) * | 2023-02-13 | 2023-05-05 | 烟台南山学院 | 一种基于虚拟现实的物流仓库管理方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| S¨onke Knoch,et al.."WALL-ET: Assistance in Supermarkets and Warehouses through Social Cognitive Robots".《2022 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR)》.2022,第219-220页. * |
| 汽车零部件入厂物流循环取货路径优化的模型及算法;王双金;物流工程与管理;第38卷(第03期);第122-127、107页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823123A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116823123B (zh) | 基于ar定位的仓库管理方法、装置、电子设备及介质 | |
| AU2022271487B2 (en) | Systems and methods for tracking items | |
| US11361270B2 (en) | Method and system for providing information of stored object | |
| CN103782247B (zh) | 用于使用预先安置的物体定位工业车辆的方法和装置 | |
| CN106461400A (zh) | 使用关联特征对的车辆位置确定或导航 | |
| EP3669352A1 (en) | Hands-free augmented reality system for picking and/or sorting assets | |
| CN109579869A (zh) | 用于校正无人驾驶汽车的预先生成导航路径的方法和系统 | |
| CN108475364A (zh) | 利用马达驱动的推车的仓库自动化系统和方法 | |
| US20180068158A1 (en) | Information processing device, information processing system, position reporting method, and program recording medium | |
| US9584983B2 (en) | Tracking a mobile unit in a housing facility for mobile units | |
| US20230092401A1 (en) | Systems and methods for tracking items | |
| JP2012041099A (ja) | ピッキング作業支援システムおよびピッキング作業支援方法 | |
| CA3010594A1 (en) | Systems and methods of consolidating product orders | |
| CN109816298B (zh) | 物流管理方法及系统 | |
| US20210133674A1 (en) | Picking work assistance device and computer-readable recording medium having stored thereon picking work assistance program | |
| Naumann et al. | Literature review: Computer vision applications in transportation logistics and warehousing | |
| JP2013532451A (ja) | 倉庫内の物体の位置を特定するための方法及び装置 | |
| CN114308681B (zh) | 信息处理方法、装置、设备及存储介质 | |
| JP7498201B2 (ja) | ピッキング補助ロボット、及び、ピッキング補助システム | |
| CN114387337B (zh) | 货物出入库的物联网管理方法、装置、电子设备及介质 | |
| US20230297947A1 (en) | Method and system for order picking | |
| US20230011553A1 (en) | Systems and methods for remotely purchasing perishable products | |
| US11810362B1 (en) | Image-based detection of planogram product spaces | |
| US20240220921A1 (en) | Systems and methods for identifying exceptions in feature detection analytics | |
| CN117474433A (zh) | 一种车辆智能管理方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |