CN116167675A - 基于增强现实ar的可视化车辆配载方法、装置和设备 - Google Patents

基于增强现实ar的可视化车辆配载方法、装置和设备 Download PDF

Info

Publication number
CN116167675A
CN116167675A CN202310134358.2A CN202310134358A CN116167675A CN 116167675 A CN116167675 A CN 116167675A CN 202310134358 A CN202310134358 A CN 202310134358A CN 116167675 A CN116167675 A CN 116167675A
Authority
CN
China
Prior art keywords
vehicle
information
cargo
loading
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310134358.2A
Other languages
English (en)
Inventor
段赫奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hetu United Innovation Technology Co ltd
Original Assignee
Beijing Hetu United Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hetu United Innovation Technology Co ltd filed Critical Beijing Hetu United Innovation Technology Co ltd
Priority to CN202310134358.2A priority Critical patent/CN116167675A/zh
Publication of CN116167675A publication Critical patent/CN116167675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种基于增强现实AR的可视化车辆配载方法、装置和设备，该方法包括：获取待配载货物信息以及目标车辆信息；根据待配载货物信息以及目标车辆信息，确定对应的车辆预制模型和货物预制模型；基于车辆预制模型和货物预制模型，生成第一配载方案；按照第一配载方案，将货物预制模型的图像以AR形式显示在目标车辆的车厢中，以供用户按照第一配载方案装载货物；在接收到外部输入的货物移动指令的情况下，根据货物移动指令生成第二配载方案，并计算第二配载方案对应的车厢空间利用率以及车辆配载重心；若车厢空间利用率或者车辆配载重心不符合目标车辆的配载要求，则发出提示。利用本申请的实施例能够提高车辆空间利用率，提升运输安全性。

Description

基于增强现实AR的可视化车辆配载方法、装置和设备
技术领域
本申请涉及增强现实(Augmented Reality，简称AR)技术领域，具体涉及一种增强现实AR的可视化车辆配载方法、装置、服务端设备、计算机可读存储介质及计算机程序产品。
背景技术
车辆配载是指运输车辆在装载货物时通过对货物的合理摆放、堆叠，实现稳定车辆重心，使运输车辆的运输能力被充分利用，减少事故的发生，从而达到资源最优化的目的。但是，长期以来车辆配载大都是由工作人员根据经验进行配载。仅凭经验，是否已经达到车辆利用率最大化、配载效益是否合理，无法客观评估。并且，如果货物摆放位置不合理，会使车辆重心偏移，尤其在长途运输过程中，容易造成翻车等事故，存在安全隐患。
发明内容
有鉴于此，本申请实施例提供一增强现实AR的可视化车辆配载方法、装置、服务端设备、计算机可读存储介质及计算机程序产品，用于解决至少一种技术问题。
第一方面，本申请实施例提供一增强现实AR的可视化车辆配载方法，包括：获取待配载货物信息以及目标车辆信息；根据所述待配载货物信息以及目标车辆信息，确定对应的车辆预制模型和货物预制模型，其中所述车辆预制模型中包括空载车辆重心信息和空载车厢容积信息，所述货物预制模型中包括货物重量信息和货物体积信息；基于所述车辆预制模型和货物预制模型，生成第一配载方案；按照所述第一配载方案，将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第一配载方案装载货物；在接收到外部输入的货物移动指令的情况下，根据所述货物移动指令生成第二配载方案，并计算所述第二配载方案对应的车厢空间利用率以及车辆配载重心；如果所述车厢空间利用率以及所述车辆配载重心符合所述目标车辆的配载要求，则按照所述第二配载方案将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第二配载方案装载货物；如果所述车厢空间利用率或者所述车辆配载重心不符合所述目标车辆的配载要求，则发出提示信息。
优选地，基于所述车辆预制模型和货物预制模型，生成第一配载方案包括：获取所述车辆预制模型中的空载车辆重心信息和空载车厢容积信息；获取所述货物预制模型中的货物重量信息和货物体积信息；根据所述空载车辆重心信息、空载车厢容积信息、货物重量信息和货物体积信息生成第一配载方案，其中所述第一配载方案包括待配载货物在目标车辆的车厢中的装载位置，所述第一配载方案对应的车厢空间利用率和车辆配载重心符合所述目标车辆的配载要求。
优选地，进一步包括：当接收到待配载货物的数量更新信息时，根据更新后的货物数量更新当前配载方案，更新后的配载方案对应的车厢空间利用率和车辆配载重心符合所述目标车辆的配载要求。
优选地，计算所述车辆配载重心包括：获取空载车辆重心信息；根据待配载货物的重量信息和摆放位置信息计算重心偏移量；以及根据所述空载车辆重心信息和所述重心偏移量计算车辆配载重心。
优选地，所述目标车辆信息包括目标车辆的3D模型数据，所述待配载货物信息包括待配载货物的3D模型数据；所述方法还包括：使用AR设备扫描所述目标车辆以及所述待配载货物，获得目标车辆的3D模型数据以及待配载货物的3D模型数据，其中，目标车辆的3D模型数据中包括目标车辆的空间特征信息，待配载货物的3D模型数据中包括待配载货物的空间特征信息。
优选地，所述目标车辆信息包括目标车辆的型号信息，所述待配载货物信息包括待配载货物的种类信息。
优选地，进一步包括：通过AR设备采集目标车辆的空间特征信息和空间位置信息以生成车辆预制模型，并且将车辆预制模型与空载车辆重心信息关联；通过AR设备采集所述待配载货物的空间特征信息和空间位置信息以生成货物预制模型，并且将货物预制模型与货物重量信息关联。
优选地，所述货物移动指令包括以下至少一者：单击、双击、滑动、双指触控、缩放、长按和连击。
第二方面，本申请实施例提供一种基于增强现实AR的可视化车辆配载装置，包括：获取模块，用于获取待配载货物信息以及目标车辆信息；预制模型确定模块，用于根据所述待配载货物信息以及目标车辆信息，确定对应的车辆预制模型和货物预制模型；第一配载方案生成模块，用于基于所述车辆预制模型和货物预制模型，生成第一配载方案；第一显示模块，用于按照所述第一配载方案，将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第一配载方案装载货物；第二配载方案生成模块，用于在接收到外部输入的货物移动指令的情况下，根据所述货物移动指令生成第二配载方案，并计算所述第二配载方案对应的车厢空间利用率以及车辆配载重心；第二显示模块，用于如果所述车厢空间利用率以及所述车辆配载重心符合所述目标车辆的配载要求，则按照所述第二配载方案将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第二配载方案装载货物；提示信息模块，用于如果所述车厢空间利用率或者所述车辆配载重心不符合所述目标车辆的配载要求，则发出提示信息。
第三方面，本申请实施例提供一种服务端设备，包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如上任一项所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上任一项所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如上任一项所述的方法。
利用本申请的实施例能够生成运输车辆的货物配载方案，并将配载方案以AR形式显示在车辆的车厢中，能够直观地指导工作人员快速装载货物，并且，配载方案可将车辆配载重心控制在合理的范围内，能够提高运输安全性，配载方案对车厢的空间利用率高，可在满足运输安全要求的前提下，尽可能地充分利用车厢空间，提升车辆的整体输运效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，以下对本申请实施例中的附图作简单介绍。
图1是本申请实施例的基于服务器和终端设备的AR系统架构示意图；
图2示出了一种利用手机端APP进行AR导航的虚实融合图像；
图3是本申请实施例的基于增强现实AR的可视化车辆配载方法的流程图；
图4是本申请实施例的生成第一配载方案方法的流程图；
图5是本申请实施例的计算车辆配载重心方法的流程图；
图6是根据本申请实施例的将货物预制模型的图像以AR形式显示在车厢中的示意图；
图7示出了基于本申请实施例的AR可视化车辆配载方法的应用程序APP的操作过程示意图；
图8为本申请实施例提供的一种基于AR的可视化车辆配载装置的结构示意图；
图9为本申请实施例提供的一种服务端设备的结构示意图。
具体实施方式
以下将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，提供这些实施方式的目的是为了使本申请的原理和精神更加清楚和透彻，使本领域技术人员能够更好地理解进而实现本申请的原理和精神。本文中提供的示例性实施方式仅是本申请的一部分实施方式，而不是全部的实施方式。基于本文中的实施方式，本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
本领域技术人员知晓，本申请的实施方式可以实现为一种系统、装置、设备、方法、计算机可读存储介质或计算机程序产品。因此，本申请可以具体实现为以下至少一种形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件与软件结合的形式。根据本申请的具体实施方式，本申请请求保护一种基于增强现实AR的车辆配载方法、装置、终端设备、服务端及存储介质。
根据本申请的实施方式，本申请请求保护一种基于增强现实AR的车辆配载方法、装置、服务端设备及计算机可读存储介质。
在本文中，诸如第一、第二、第三之类的用语，仅用来将一个实体(或操作)与另一个实体(或操作)区分开来，而不在于要求或暗示这些实体(或操作)之间存在任何顺序或关联。
本申请的实施例可应用于服务器和终端设备。请参考图1，示意性地示出了一种基于服务器、终端设备的AR系统架构示意图。AR系统架构包括服务器10、若干终端设备20。在一些示例中，终端设备20为AR设备，其可以为专用的AR设备，例如头戴式AR设备(Head-mounted displays，HMD)、智能手套、服饰等智能可穿戴电子设备。在一些示例中，终端设备20可为通用的AR设备，例如手机、便携式计算机、笔记本电脑、平板电脑、虚拟现实(VirtualReality，VR)设备、车载设备、导航设备、游戏设备等等。
以AR头盔或AR眼镜为例，可将头戴式显示器、机器视觉系统、移动计算机等进行集成，设置在可绑定佩戴的设备中，该设备具有外形类似眼镜的显示器，工作时佩戴在使用者头部，该设备能将增强现实类信息传输至显示器上或投射至使用者的眼球中，从而增强用户的视觉沉浸感。在一些示例中，AR设备还具有摄像头，可以为广角摄像头、长焦摄像头，还可以为结构光摄像头(也称为点云深度摄像头、3D结构光摄像头或者深度摄像头)。其中结构光摄像头基于3D视觉技术，可获取物体的平面和深度信息。结构光摄像头可通过近红外激光器将具有一定结构特征的光线投射到被拍摄物体上，再由红外摄像头采集反射光，由处理器芯片处理，其计算原理是根据物体导致的光信号的变化计算物体位置和深度信息，呈现3D图像。通常的终端设备例如手机上呈现二维图像，并不能显示图像上不同位置的深度，利用结构光摄像头可拍摄获取3D图像信息数据，即不仅可获得图像中不同位置的颜色等信息，还可获得不同位置的深度信息，可用于AR测距。当然，普通终端设备也可以基于光学摄像头采集2D图像并结合深度学习算法等方式获取2D图像的深度信息，最终也可呈现3D图像。
在一些示例中，终端设备20中安装有具备AR功能的软件或应用程序APP。服务器10可以是该软件或APP的管理服务器或应用服务器。服务器10可以为一台服务器，也可以为多台服务器组成的服务器集群，也可以为云服务器或称云端服务器等等。终端设备20中集成有具备联网功能的模块，例如无线保真(Wireless-Fidelity，Wifi)模块、蓝牙模块、2G/3G/4G/5G通信模块等，以便通过网络连接到服务器10。
以具备AR导航功能的APP为例，APP可以具备例如高精地图导航能力、环境理解能力和虚实融合渲染能力等，APP可通过终端设备20向服务器10上报当前地理位置信息，服务器10基于实时地理位置信息为用户提供AR导航服务。示例性地，以终端设备20是手机为例，响应于用户启动APP的操作，手机可启动摄像头采集现实环境的图像，然后通过系统对摄像头采集的现实环境图像进行AR增强，在现实环境图像中融入或渲染的AR效果(例如导航路线标识、道路名称、商户信息、广告展示等)，将虚实融合的图像展示在手机屏幕上。
图2示意性地示出了一种利用手机端APP进行AR导航的虚实融合图像，其中AR导航的指示箭头叠加在图中真实的路面上及空间中，商户促销的电子资源以降落伞携带礼盒的形式漂浮在空间中的指定位置。
图3是本申请实施例的基于AR的可视化车辆配载方法的流程图，包括以下步骤：
S101，获取待配载货物信息以及目标车辆信息；
S102，根据该待配载货物信息以及目标车辆信息，确定对应的车辆预制模型和货物预制模型，其中该车辆预制模型中包括空载车辆重心信息和空载车厢容积信息，该货物预制模型中包括货物重量信息和货物体积信息；
S103，基于该车辆预制模型和货物预制模型，生成第一配载方案；
S104，按照该第一配载方案，将该货物预制模型的图像以AR形式显示在该目标车辆的车厢中，以供用户按照该第一配载方案装载货物；
S105，在接收到外部输入的货物移动指令的情况下，根据该货物移动指令生成第二配载方案，并计算该第二配载方案对应的车厢空间利用率以及车辆配载重心；
S106，如果该车厢空间利用率以及该车辆配载重心符合该目标车辆的配载要求，则按照该第二配载方案将该货物预制模型的图像以AR形式显示在该目标车辆的车厢中，以供用户按照该第二配载方案装载货物；
S107，如果该车厢空间利用率或者该车辆配载重心不符合该目标车辆的配载要求，则发出提示信息。
在本申请的实施例中，可预存多种车辆预制模型和多种货物预制模型，通过待配载货物信息和目标车辆信息能够匹配到当前对应的车辆预制模型和货物预制模型，根据货物预制模型中的货物重量信息和货物体积信息，以及车辆预制模型中空载车辆重心信息和空载车厢容积信息，可生成推荐的配载方案(例如，在该配载方案中配载重心的位置符合车辆配载要求，车厢的空间利用率趋于最优)，然后按照推荐的配载方案(包括货物的摆放和堆叠方式)，将货物预制模型的图像以AR形式显示在该目标车辆的车厢图像中；进一步，用户还可以手动修改配载方案，例如在当前配载方案的基础上移动货物的位置(例如将易碎货物的箱体从底层移至顶层)，这时系统会根据移动后货物的位置重新计算车厢空间利用率以及车辆配载重心。在上述过程中，当车辆配载重心偏移过多或者车厢空间利用率过小时，会发出提示信息，提示用户再次修改配载方案，确保装载后车辆重心符合要求，提高车辆运输货物的安全性。之后，工作人员通过AR设备即可直观地看到货物在车厢中的堆叠方式，快速完成装载。
可见，本申请的实施例能够为用户提供优化的配载方案，免去人工进行配载的过程，可大幅压缩装载耗时，减轻人员操作负担，推荐的配载方案符合空间利用率和车辆重心的要求，能够实现在符合车辆运输安全要求的前提下尽可能多的运输货物，实现安全高效的运输，并且，将待配载货物的预制模型以AR形式增强显示在车厢空间中，例如显示货物的堆叠状态，还可以以动画方式显示推荐的货物装载过程，能够直观地指导人员装载货物，提升整体作业效率。
图4是本申请实施例的生成第一配载方案方法的流程图。在本申请实施例中，可选地，基于该车辆预制模型和货物预制模型，生成第一配载方案包括：
S201，获取该车辆预制模型中的空载车辆重心信息和空载车厢容积信息；
S202，获取该货物预制模型中的货物重量信息和货物体积信息；
S203，根据该空载车辆重心信息、空载车厢容积信息、货物重量信息和货物体积信息生成第一配载方案，其中该第一配载方案包括待配载货物.在目标车辆的车厢中的装载位置，该第一配载方案对应的车厢空间利用率和车辆配载重心符合该目标车辆的配载要求。
当待配载货物的体积大于空载车厢容积时，将发出提示信息，无法完全装载货物。当待配载货物的重量放置在车厢中时，车辆的重心位置将发生偏移，控制重心偏移量在合理范围内时，能够提高车辆在运输过程中的安全性。
在本申请实施例中，可选地，当接收到待配载货物的数量更新信息时，根据更新后的货物数量更新当前配载方案，更新后的配载方案对应的车厢空间利用率和车辆配载重心符合该目标车辆的配载要求。待配载货物的数量在配载时有可能会出现调整，服务端会根据调整后的待配载货物的数量更新配载方案，使得更新后的配载方案符合目标车辆的配载要求。
图5是本申请实施例的计算车辆配载重心方法的流程图。在本申请实施例中，可选地，计算该车辆配载重心包括：
S301，获取空载车辆重心信息；
S302，根据待配载货物的重量信息和摆放位置信息计算重心偏移量；以及
S303，根据该空载车辆重心信息和该重心偏移量计算车辆配载重心。
本申请分别获取空载车辆重心信息和通过待配载货物的重量信息和摆放位置信息计算得到的重心偏移量，然后将空载车辆重心信息和重心偏移量叠加计算出车辆配载重心。利用上述计算方案，能够简化计算过程，提高计算效率。
在本申请实施例中，可选地，该目标车辆信息包括目标车辆的3D模型数据，该待配载货物信息包括待配载货物的3D模型数据；可使用AR设备扫描该目标车辆以及该待配载货物，获得目标车辆的3D模型数据以及待配载货物的3D模型数据，其中，目标车辆的3D模型数据中包括目标车辆的空间特征信息，待配载货物的3D模型数据中包括待配载货物的空间特征信息。本申请获取目标车辆信息和待配载货物信息有多种方式，用户能够使用AR设备直接扫描目标车辆得到目标车辆的3D模型数据，并根据目标车辆的3D模型中的空间特征信息获得对应的车辆预制模型。利用AR设备直接扫描实物获得对应的预制模型，具有操作简单、直接等优点。
在本申请实施例中，可选地，该目标车辆信息包括目标车辆的型号信息，该待配载货物信息包括待配载货物的种类信息。本申请还可以直接输入目标车辆的型号信息获得目标车辆信息，直接输入待配载货物的种类信息获得对应的待配载货物信息，上述方式对熟悉车辆和待配载货物的用户比较友好，能够提高工作效率。
在本申请实施例中，可选地，通过AR设备采集目标车辆的空间特征信息和空间位置信息以生成车辆预制模型，并且将车辆预制模型与空载车辆重心信息关联；通过AR设备采集该待配载货物的空间特征信息和空间位置信息以生成货物预制模型，并且将货物预制模型与货物重量信息关联。
例如，可通过AR设备扫描车辆的至少5个面，采集足够多的空间特征信息和空间位置信息以生成车辆预制模型，并将车辆预制模型存储在服务端上，还可手动增加空载车辆重心信息。同理，扫描待配载货物的至少5个面，能够获得货物预制模型，将货物重量信息与货物预制模型关联并上传至服务端。
在本申请实施例中，可选地，该货物移动指令包括以下至少一者：单击、双击、滑动、双指触控、缩放、长按和连击。利用货物移动指令能够操控货物模型移动至期望的位置，还可以对货物模型进行旋转，调整位置。
为了更清楚地说明本申请实施例可取得的优势，以下基于具体的例子对本申请实施例的处理过程进行详细描述。
参考图6，以目标车辆为集装箱运输车、待配载货物为若干方形货箱为例描述本申请实施例的实现过程。
在利用本方法进行车辆配载之前，需要通过AR设备分别扫描待配载货物和目标车辆，通过扫描物件后，将实物三维信息转换为3D数字化信息，得到对应的预制模型。扫描过程其实是对物体表面3D特征点信息与空间位置信息的采集过程，这是一个计算密集型的工作，为确保扫描过程流畅、高效，可使用高性能的AR设备。作为一种示例，以下以利用AR设备中安装的扫描工具“Scanner”为例，简要描述扫描获得3D模型的操作过程。
(1)AR设备提供获取物体空间特征信息的扫描工具Scanner。该工具的主要功能是扫描真实世界中的物体并导出.arobject文件，可作为3D物体检测识别的参考物体。参考物体的空间特征信息对后续3D物体检测识别速度、准确性有直接关系，因此，正确的扫描生成.arobject文件非常重要。
(2)将被扫描物体放置在一个平整面上(地面)，运行AR设备上的扫描应用Scanner，将被扫描物体放置在摄像头正中间位置，如果检测到物体，AR设备上会出现一个空心长方体(包围盒)，移动AR设备，将长方体大致放置在待扫描物体的正中间位置，屏幕上也会提示包围盒的相关信息，但这时包围盒可能与实际物体不匹配，可手动调整包围盒大小。
(3)在正式扫描之前需要调整包围盒的大小，扫描工具只采集包围盒的空间特征信息。因此，包围盒大小对采集信息的完整性非常关键。围绕着被扫描物体移动AR设备，扫描工具会尝试自动调整包围盒的大小，如果自动调整结果不理想，也可以手动进行调整，方法是长按长方体的一个面，当这个面出现延长线时拖动该面可以移动该面。包围盒过小采集不到完整的物体特征点信息，过大可能会采集到周围环境中的物体信息，不利于快速检测识别3D物体。调整好后开始对物体空间特征信息进行采集。
(4)在开始扫描物体后，扫描工具会给出视觉化的信息采集提示，其将成功采集过的区域用淡黄化标识出来。
(5)缓慢移动AR设备(保持被扫描物体不动)，从不同角度遂面扫描物体，确保包围盒的所有面都成功扫描(通常底面不需要扫描，只需要扫描前后左右上5个面即可)。扫描工具会在所有面信息采集完后进入下一步，如果在未完整采集到所需信息时则会提示采集的信息不足。
(6)在采集完物体特征信息后会在物体上显示一个X，Y，Z的三维彩色坐标轴。这个坐标轴的原点表示这个物体的原点(这个原点代表的就是模型的局部坐标系的原点)，可以通过拖动三个坐标轴边上的小圆球调整坐标轴的原点位置。通过预览在三维坐标轴原点显示该预制模型，就像是在真实环境中检测到3D物体并加载数字模型一样。
(7)在调整好坐标轴后可以对采集的空间特征信息进行测试验证。将被扫描物体放置到不同的环境、不同的光照下，使用摄像头从不同的角度查看该物体，看能否正确检测出物体的位置及姿态，如果出现验证时无法检测识别的问题，说明信息采集不太完整，需要重新扫描采集一次，如果验证无问题则可导出使用。
利用AR设备分别扫描集装箱运输车和各个待配载的货箱，能够分别获得车辆预制模型和货物预制模型。将车辆预制模型和货物预制模型存储至服务器端，如此数据不容易丢失，方便用户查询和货物。利用AR设备扫描车辆或待配载物实物，能够从服务器端识别或者说匹配对应的预制模型。
作为一种示例，在识别对应的预制模型过程中，可利用“ARFoundation”技术，在真实环境中扫描3D真实物体对象，并对其姿态进行跟踪。在3D真实物体中获取该物体的空间特征信息，通过该空间特征信息在服务器端的存储库中找到对应的预制模型。物体的空间特征信息有助于快速、准确识别3D物体。
图6是根据本申请实施例的将货物预制模型的图像以AR形式显示在车厢中的示意图。如图6所示，多个货物预制模型的图像以AR形式显示在车厢中。其中，配载方式可包括自动配载、手动配载以及自动配载与手动配载相结合的配载方式，以下分别做详细说明。
方式一：自动配载
系统根据车辆和待配载货物的信息，自动计算生成配载方案，供用户参考，自动生成的配载方案中，车辆配载重心和车厢空间利用率均符合运输要求。
方式二：手动配载
用户手动移动货物预制模型至车厢中生成配载方案，当配载完毕后，系统计算当前货物配载车辆重心是否合理，若不合理(例如重心超出允许范围)，则发出提醒信息，提示用户修改当前配载方案或重新配载。
方式三：自动配载与手动配载结合使用
系统自动生成配载方案后，用户手动移动车厢中的货物预制模型，将模型移动至需要的位置，用户还可手动修改车厢中货物预制模型的数量等，手动操作完毕后系统将更新配载方案，若更新的方案中车辆重心不合理，将发出提示信息例如弹窗提示，促使用户继续修改配载方案，直至符合配载要求。
可以看到，利用本申请的实施例，在系统自动生成的配载方案的基础上，用户可以手动调整货物位置和/或数量等，更新配载方案，计算车辆配载重心和车厢的空间利用率，使配载方案在符合安全要求的前提下，尽可能地满足用户当前的输运需求。
可选地，在本申请的实施例中，无论是自动配载，还是手动配载，均需要符合基本的配载原则。其中，配载原则可包括以下至少一者：
a)待配载货物的总体积不能超过车厢的最大容积；
b)待配载货物的尺寸不能超过车厢的最大尺寸；
c)将重量大的待配载货物放在车厢底部，将重量轻或支撑力差的货物放在车厢上部或车厢边缘处；
d)全部货物装载完成后，车辆的重心偏移不能超过预设值，否则容易造成翻车的事故。
作为一种示例，车厢或待配载货物的体积计算公式为：
V＝L×W×H；
其中，V为车厢或待配载货物的体积，L为车厢或待配载货物的长，W为车厢或待配载货物的宽，H为车厢或待配载货物的高。
待配载货物的空间利用率计算公式为：
V0＝V1/V2；
其中，V0为待配载货物的空间利用率，V1为待配载货物的体积，V2为车厢的体积。
车厢剩余空间体积计算公式为：
Vs＝V2-V1；
其中，Vs为车厢剩余空间体积，V1为待配载货物的体积，V2为车厢的体积。
当Vs小于零时，提醒用户待配载货物的体积超过车厢的最大容积，无法完成配载。
车辆配载重心要在合理范围内，才符合安全要求。车辆的重心取决于整个车辆的重力分配，作为一种示例，可按如下方式计算车辆配载重心：首先，获取空载车辆重心；然后根据货物的重量和摆放位置计算重心偏移量；最后根据空载车辆重心和重心偏移量计算车辆配载重心。当车辆配载重心与空载车辆重心相比偏移量超过了合理范围，在运输过程中，容易造成翻车等事故。利用本申请的实施例将车辆配载重心控制在合理范围内，能够提高运输安全性。
作为一种示例，图7示出了基于本申请实施例的AR可视化车辆配载方法的应用程序APP的操作过程示意图，包括如下步骤：
步骤一：启动APP；
步骤二：用户通过APP对车辆和货物进行3D物体识别；
步骤三：识别成功后，可将识别车辆和货物生成的预制模型进行手动配载或自动配载；
步骤四：用户手动配载完毕后，可以根据数据查看当前货物配载以及车辆重心是否合理，若合理，则可按照此方案进行实际配置，若不合理，则可修改当前配载方案或重新配载；
其中，若用户选择自动配载，步骤三之后用户只需对识别车辆和货物生成的预制模型进行数量设置，点击自动配载，系统可生成一个较优的配载方案(需实时计算车厢空间占用率、剩余空间及车辆重心位置)，并将该配载方案可视化地显示在终端屏幕上，供用户参考。
与上述实施例相对应地，本申请实施例还提供一种基于AR的可视化车辆配载装置，图8为该装置的结构示意图，该装置100包括：
获取模块110，用于获取待配载货物信息以及目标车辆信息；
预制模型确定模块120，用于根据所述待配载货物信息以及目标车辆信息，确定对应的车辆预制模型和货物预制模型；
第一配载方案生成模块130，用于基于所述车辆预制模型和货物预制模型，生成第一配载方案；
第一显示模块140，用于按照所述第一配载方案，将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第一配载方案装载货物；
第二配载方案生成模块150，用于在接收到外部输入的货物移动指令的情况下，根据所述货物移动指令生成第二配载方案，并计算所述第二配载方案对应的车厢空间利用率以及车辆配载重心；
第二显示模块160，用于如果所述车厢空间利用率以及所述车辆配载重心符合所述目标车辆的配载要求，则按照所述第二配载方案将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第二配载方案装载货物；
提示信息模块170，用于如果所述车厢空间利用率或者所述车辆配载重心不符合所述目标车辆的配载要求，则发出提示信息。
图9为本申请实施例提供的一种服务端设备的结构示意图，服务端设备10包括处理器11、存储器12以及用于连接处理器11和存储器12的通信总线，其中在存储器12中存储有可以在处理器11上运行的计算机程序，处理器11运行该计算机程序时可执行或称实现本申请中各个实施例的方法中的步骤。服务端设备10可以是本申请实施例中的服务器，服务端设备10也可以是云端服务器。服务端设备10也可以是本申请实施例中的终端设备或AR设备。在合适的情况下电子设备也可称为计算设备.服务端设备10也可以是云端服务器。服务端设备10还包括通信接口，用于接收和发送数据。
在一些实施例中，处理器11可以是中央处理器(Central Processing Unit，CPU)、图形处理器(graphics processing unit，GPU)、应用处理器(application processor，AP)、调制解调处理器、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)等；处理器11还可以是其他通用处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器，也可以是任何常规的处理器等。其中，神经网络处理器NPU通过借鉴生物神经网络结构，可对输入信息快速处理，还可以不断进行自我学习。通过NPU服务端设备10可以实现智能认知等应用，例如图像识别、人脸识别、语义识别、语音识别、文本理解等。
在一些实施例中，存储器12可以是服务端设备10的内部存储单元，例如服务端设备10的硬盘或内存；存储器12也可以是服务端设备10的外部存储设备，例如服务端设备10上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。存储器12还可以既包括服务端设备10的内部存储单元也包括外部存储设备。存储器12可用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器12包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)或便携式只读存储器(compact disc read-only memory,CD-ROM)。存储器12用于存储服务端设备10所执行的程序代码和所传输的数据。存储器12还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员可以理解，图9仅是服务端设备10的举例，并不构成对服务端设备10的限定，服务端设备10可以包括比图示更多或更少的部件，或者组合某些部件，或者包括不同的部件，例如还可以包括输入输出设备、网络接入设备等。
本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序或指令，该计算机程序或指令被执行时以实现上述实施例中所设计的方法中的步骤。
本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被执行时以实现上述实施例中所设计的方法中的步骤。示例性的，该计算机程序产品可以为一个软件安装包。
本领域技术人员应该知悉，本申请实施例所描述的方法、步骤或者相关模块/单元的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式来实现，也可以是由处理器执行计算机程序指令的方式来实现。其中，该计算机程序产品包括至少一个计算机程序指令，计算机程序指令可以由相应的软件模块组成，软件模块可以被存放于RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。该计算机程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。例如，该计算机程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质、或者半导体介质(如SSD)等。
关于上述实施例中描述的各个装置/产品，其中包含的模块/单元可以是软件模块/单元，也可以是硬件模块/单元，还可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用或集成于芯片的装置/产品，其包含的各个模块/单元可以都用电路等硬件的方式实现，或者，至少部分模块/单元采用软件程序的方式实现，运行于芯片内部集成的处理器，剩余的部分模块/单元采用电路等硬件方式实现。又如，对于应用或集成于终端的装置/产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元采用软件程序的方式实现，运行于终端内部集成的处理器，剩余部分模块/单元可以采用电路等硬件方式实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种基于增强现实AR的可视化车辆配载方法，其特征在于，包括：
获取待配载货物信息以及目标车辆信息；
根据所述待配载货物信息以及目标车辆信息，确定对应的车辆预制模型和货物预制模型，其中所述车辆预制模型中包括空载车辆重心信息和空载车厢容积信息，所述货物预制模型中包括货物重量信息和货物体积信息；
基于所述车辆预制模型和货物预制模型，生成第一配载方案；
按照所述第一配载方案，将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第一配载方案装载货物；
在接收到外部输入的货物移动指令的情况下，根据所述货物移动指令生成第二配载方案，并计算所述第二配载方案对应的车厢空间利用率以及车辆配载重心；
如果所述车厢空间利用率以及所述车辆配载重心符合所述目标车辆的配载要求，则按照所述第二配载方案将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第二配载方案装载货物；
如果所述车厢空间利用率或者所述车辆配载重心不符合所述目标车辆的配载要求，则发出提示信息。
2.根据权利要求1所述的方法，其特征在于，基于所述车辆预制模型和货物预制模型，生成第一配载方案包括：
获取所述车辆预制模型中的空载车辆重心信息和空载车厢容积信息；
获取所述货物预制模型中的货物重量信息和货物体积信息；
根据所述空载车辆重心信息、空载车厢容积信息、货物重量信息和货物体积信息生成第一配载方案，其中所述第一配载方案包括待配载货物在目标车辆的车厢中的装载位置，所述第一配载方案对应的车厢空间利用率和车辆配载重心符合所述目标车辆的配载要求。
3.根据权利要求1所述的方法，其特征在于，进一步包括：当接收到待配载货物的数量更新信息时，根据更新后的货物数量更新当前配载方案，更新后的配载方案对应的车厢空间利用率和车辆配载重心符合所述目标车辆的配载要求。
4.根据权利要求1所述的方法，其特征在于，计算所述车辆配载重心包括：
获取空载车辆重心信息；
根据待配载货物的重量信息和摆放位置信息计算重心偏移量；以及
根据所述空载车辆重心信息和所述重心偏移量计算车辆配载重心。
5.根据权利要求1所述的方法，其特征在于，所述目标车辆信息包括目标车辆的3D模型数据，所述待配载货物信息包括待配载货物的3D模型数据；
所述方法还包括：使用AR设备扫描所述目标车辆以及所述待配载货物，获得目标车辆的3D模型数据以及待配载货物的3D模型数据，其中，目标车辆的3D模型数据中包括目标车辆的空间特征信息，待配载货物的3D模型数据中包括待配载货物的空间特征信息。
6.根据权利要求1所述的方法，其特征在于，所述目标车辆信息包括目标车辆的型号信息，所述待配载货物信息包括待配载货物的种类信息。
7.根据权利要求1所述的方法，其特征在于，进一步包括：
通过AR设备采集目标车辆的空间特征信息和空间位置信息以生成车辆预制模型，并且将车辆预制模型与空载车辆重心信息关联；
通过AR设备采集所述待配载货物的空间特征信息和空间位置信息以生成货物预制模型，并且将货物预制模型与货物重量信息关联。
8.根据权利要求1所述的方法，其中，所述货物移动指令包括以下至少一者：单击、双击、滑动、双指触控、缩放、长按和连击。
9.一种基于增强现实AR的可视化车辆配载装置，其特征在于，包括：
获取模块，用于获取待配载货物信息以及目标车辆信息；
预制模型确定模块，用于根据所述待配载货物信息以及目标车辆信息，确定对应的车辆预制模型和货物预制模型；
第一配载方案生成模块，用于基于所述车辆预制模型和货物预制模型，生成第一配载方案；
第一显示模块，用于按照所述第一配载方案，将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第一配载方案装载货物；
第二配载方案生成模块，用于在接收到外部输入的货物移动指令的情况下，根据所述货物移动指令生成第二配载方案，并计算所述第二配载方案对应的车厢空间利用率以及车辆配载重心；
第二显示模块，用于如果所述车厢空间利用率以及所述车辆配载重心符合所述目标车辆的配载要求，则按照所述第二配载方案将所述货物预制模型的图像以AR形式显示在所述目标车辆的车厢中，以供用户按照所述第二配载方案装载货物；
提示信息模块，用于如果所述车厢空间利用率或者所述车辆配载重心不符合所述目标车辆的配载要求，则发出提示信息。
10.一种服务端设备，其特征在于，包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。
12.一种计算机程序产品，其特征在于，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202310134358.2A 2023-02-09 2023-02-09 基于增强现实ar的可视化车辆配载方法、装置和设备 Pending CN116167675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310134358.2A CN116167675A (zh) 2023-02-09 2023-02-09 基于增强现实ar的可视化车辆配载方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310134358.2A CN116167675A (zh) 2023-02-09 2023-02-09 基于增强现实ar的可视化车辆配载方法、装置和设备

Publications (1)

Publication Number Publication Date
CN116167675A true CN116167675A (zh) 2023-05-26

Family

ID=86416058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310134358.2A Pending CN116167675A (zh) 2023-02-09 2023-02-09 基于增强现实ar的可视化车辆配载方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116167675A (zh)

Similar Documents

Publication Publication Date Title
CN107278262B (zh) 飞行轨迹的生成方法、控制装置及无人飞行器
US11151632B2 (en) Systems and methods for visual search and autonomous delivery
EP3550479A1 (en) Augmented-reality-based offline interaction method and apparatus
US11669972B2 (en) Geometry-aware instance segmentation in stereo image capture processes
CN108198044B (zh) 商品信息的展示方法、装置、介质及电子设备
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN110163904A (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN105241461A (zh) 机器人的地图创建及定位方法和机器人系统
EP3832605B1 (en) Method and device for determining potentially visible set, apparatus, and storage medium
CN110109535A (zh) 增强现实生成方法及装置
EP4050305A1 (en) Visual positioning method and device
CN108846336B (zh) 目标检测方法、装置及计算机可读存储介质
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
CN115659452B (zh) 一种智能巡视方法、智能巡视系统及计算机可读存储介质
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
CN205247208U (zh) 机器人系统
CN111401190A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN105814604B (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
CN112818733B (zh) 信息处理方法、装置、存储介质及终端
US20230169680A1 (en) Beijing baidu netcom science technology co., ltd.
CN116167675A (zh) 基于增强现实ar的可视化车辆配载方法、装置和设备
CN113128801A (zh) 一种车辆资源管理方法、装置、终端设备及存储介质
US10782822B2 (en) Augmented touch-sensitive display system
CN114429631A (zh) 三维对象检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination