CN106897751B - 基于ar技术的人工辅助方法、装置、系统和上位机 - Google Patents

基于ar技术的人工辅助方法、装置、系统和上位机 Download PDF

Info

Publication number
CN106897751B
CN106897751B CN201710033865.1A CN201710033865A CN106897751B CN 106897751 B CN106897751 B CN 106897751B CN 201710033865 A CN201710033865 A CN 201710033865A CN 106897751 B CN106897751 B CN 106897751B
Authority
CN
China
Prior art keywords
pallet
article
imaging device
host computer
stacking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710033865.1A
Other languages
English (en)
Other versions
CN106897751A (zh
Inventor
胡金星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Tianjin Jingdong Shentuo Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jingdong Shentuo Robot Technology Co Ltd filed Critical Tianjin Jingdong Shentuo Robot Technology Co Ltd
Priority to CN201710033865.1A priority Critical patent/CN106897751B/zh
Publication of CN106897751A publication Critical patent/CN106897751A/zh
Application granted granted Critical
Publication of CN106897751B publication Critical patent/CN106897751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于AR技术的人工辅助方法、装置、系统和上位机，涉及自动化仓储领域。其中的方法包括AR成像设备将获取的托盘图像信息发送至上位机；上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面；AR成像设备将上位机发送的物品位于托盘的码放位置的叠加画面呈现给用户，以便用户根据AR成像设备呈现的叠加画面在托盘的码放位置码垛物品。本发明能够解决码垛位置不准确的问题。

Description

基于AR技术的人工辅助方法、装置、系统和上位机
技术领域
本发明涉及自动化仓储领域，尤其涉及一种基于AR技术的人工辅助方法、装置、系统和上位机。
背景技术
随着AS/RS(Automated Storage and Retrieval System，自动存取系统)自动立体库大量应用，商品在入库时都是以托盘为存储单位，通过堆垛机存储到货架上的。那么在入库端对码托盘就有一定的需求。目前比较成熟的码垛方案是通过机器人进行码垛，受限于码垛机器人价格昂贵并没有大量使用，由其对于促销期间的大量入库，机器人可能无法满足需求，会出现人工参与码垛作为补充，但人工码垛的特点就是垛码的垛型不标准也不可控。
发明内容
本发明要解决的一个技术问题是提供一种基于AR技术的人工辅助方法、装置、系统和上位机解决码垛位置不准确的问题。
根据本发明一方面，提出一种基于增强现实AR技术的人工辅助方法，包括：AR成像设备将获取的托盘图像信息发送至上位机；上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面；AR成像设备将上位机发送的物品位于托盘的码放位置的叠加画面呈现给用户，以便用户根据AR成像设备呈现的叠加画面在托盘的码放位置码垛物品。
进一步地，该方法还包括：AR成像设备向上位机发送AR成像设备的位置信息；上位机根据AR成像设备的位置信息以及托盘图像信息对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向。
进一步地，上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面包括：上位机接收条形码扫描设备BCR发送的物品条形码，根据物品条形码识别物品，生成物品的虚拟影像；根据AR成像设备相对于托盘的方位指向以及物品在托盘的码放位置，将物品的虚拟影像渲染到托盘的码放位置上形成叠加画面。
进一步地，该方法还包括：上位机接收BCR发送的物品的计数编号以及体积测量装置发送的物品的尺寸信息；根据托盘的图像信息以及物品的计数编号和尺寸信息确定物品在托盘的码放位置。
进一步地，该方法还包括：AR成像设备接收上位机发送的码垛上限信息，以便提醒用户结束码垛物品。
根据本发明的另一方面，还提出一种基于增强现实AR技术的人工辅助装置，包括：托盘图像发送单元，将获取的托盘图像信息发送至上位机，以便上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面；叠加图面接收单元，用于接收上位机发送的物品位于托盘的码放位置的叠加画面；叠加画面呈现单元，用于向用户呈现叠加画面，以便用户根据AR成像设备呈现的叠加画面在托盘的码放位置码垛物品。
进一步地，该装置还包括位置信息发送单元；位置信息发送单元向上位机发送AR成像设备的位置信息，以便上位机根据AR成像设备的位置信息以及托盘图像信息对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向，根据AR成像设备相对于托盘的方位指向以及物品在托盘的码放位置，将物品的虚拟影像渲染到托盘的码放位置上形成叠加画面。
进一步地，该装置还包括信息提醒单元；信息提醒单元用于接收上位机发送的码垛上限信息，以便提醒用户结束码垛物品。
根据本发明的另一方面，还提出一种上位机，包括：托盘图像接收单元，用于接收AR成像设备获取的托盘图像信息；叠加画面生成单元，用于根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面；叠加画面发送单元，用于向AR成像设备发送物品位于托盘的码放位置的叠加画面，以便用户通过AR成像设备呈现的叠加画面在托盘的码放位置码垛物品。
进一步地，该上位机还包括位置信息接收单元和姿态评估单元；位置信息接收单元用于接收AR成像设备发送的AR成像设备的位置信息；姿态评估单元用于根据AR成像设备的位置信息以及托盘图像信息对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向。
进一步地，该上位机还包括条形码扫描设备BCR信息接收单元和虚拟影像生成单元；BCR信息接收单元用于接收BCR发送的物品条形码；虚拟影像生成单元用于根据物品条形码识别物品，生成物品的虚拟影像；叠加画面生成单元用于根据AR成像设备相对于托盘的方位指向以及物品在托盘的码放位置，将物品的虚拟影像渲染到托盘的码放位置上形成叠加画面。
进一步地，该上位机还包括物品体积接收单元和码放位置确定单元；BCR信息接收单元用于接收BCR发送的物品的计数编号；物品体积接收单元用于接收体积测量装置发送的物品的尺寸信息；码放位置确定单元用于根据托盘的图像信息以及物品的计数编号和尺寸信息确定物品在托盘的码放位置。
进一步地，该上位机还包括上限信息发送单元；上限信息发送单元用于向AR成像设备发送码垛上限信息，以便通过AR成像设备提醒用户结束码垛物品。
根据本发明的另一方面，还提出一种基于增强现实AR技术的人工辅助系统，包括上述的基于AR技术的人工辅助装置和上述的上位机。
根据本发明的另一方面，还提出一种基于增强现实AR技术的人工辅助系统，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的方法。
根据本发明的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明AR成像设备将获取的托盘图像信息发送至上位机，以便上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面；AR成像设备将上位机发送的物品位于托盘的码放位置的叠加画面呈现给用户，以便用户在托盘的码放位置码垛物品，使得物品码垛更整齐，能够解决码垛位置不准确的问题。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明基于AR技术的人工辅助方法的一个实施例的流程示意图。
图2为本发明基于AR技术的人工辅助方法的另一个实施例的流程示意图。
图3为本发明基于AR技术的人工辅助方法的再一个实施例的流程示意图。
图4为本发明应用场景的示意图。
图5A为用户通过AR眼镜看到的在托盘的码放位置上的物品虚拟影像示意图。
图5B为用户通过AR眼镜看到的在托盘的码放位置上的物品虚拟影像另一个示意图。
图6为本发明基于AR技术的人工辅助装置的一个实施例的结构示意图。
图7为本发明基于AR技术的人工辅助装置的另一个实施例的结构示意图。
图8为本发明上位机的一个实施例的结构示意图。
图9为本发明上位机的另一个实施例的结构示意图。
图10为本发明基于AR技术的人工辅助系统的一个实施例的结构示意图。
图11为本发明基于AR技术的人工辅助系统的再一个实施例的结构示意图。
图12为本发明基于AR技术的人工辅助系统的又一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1为本发明基于AR(Augmented Reality，增强现实技术)技术的人工辅助方法的一个实施例的流程示意图。该方法包括以下步骤：
在步骤110，AR成像设备将获取的托盘图像信息发送至上位机。其中，AR成像设备可以为AR眼镜，也可以为其他能够实现AR成像的屏幕设备。AR成像设备上可以设置摄像头，该摄像头可以实时获取托盘的图像信息，AR成像设备将获取的托盘图像信息发送至上位机。
在步骤120，上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面。其中，上位机可以根据物品的尺寸信息和托盘的尺寸信息确定物品在托盘的码放位置，然后利用AR技术生成物品位于托盘的码放位置的叠加画面。其中，AR技术是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
在步骤130，AR成像设备将上位机发送的物品位于托盘的码放位置的叠加画面呈现给用户，以便用户根据AR成像设备呈现的叠加画面在托盘的码放位置码垛物品。其中，用户通过佩戴的AR成像设备在托盘的相对位置看到物品的虚拟影像，进而用户可以根据物品在托盘相对位置的虚拟影像码放物品，使得物品码放整齐。
在该实施例中，AR成像设备将获取的托盘图像信息发送至上位机，以便上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面；AR成像设备将上位机发送的物品位于托盘的码放位置的叠加画面呈现给用户，以便用户在托盘的码放位置码垛物品，使得物品码垛更整齐，能够解决码垛位置不准确的问题。
图2为本发明基于AR技术的人工辅助方法的另一个实施例的流程示意图。该方法包括以下步骤：
在步骤210，AR成像设备将获取的托盘图像信息发送至上位机。其中，可以在托盘上贴上标识，AR成像设备上的摄像头通过托盘上的标识识别出托盘。
在步骤220，AR成像设备向上位机发送AR成像设备的位置信息。由于AR成像设备上有陀螺仪传感器，陀螺仪传感器能够测得AR成像设备的位置、状态信息。
在步骤230，上位机根据AR成像设备的位置信息以及托盘图像信息对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向。其中，上位机可以对托盘的图像信息进行颜色阈值的处理，提取出大致的轮廓线，以及利用多边形近似提取出是四边形的轮廓。
在步骤240，上位机接收BCR(Bar Code Reader，条形码扫描设备)发送的物品条形码，根据物品条形码识别物品，并生成物品的虚拟影像。
在步骤250，上位机根据AR成像设备相对于托盘的方位指向以及物品在托盘的码放位置，将物品的虚拟影像渲染到托盘的码放位置上形成叠加画面。其中，上位机可以根据物品的计数编号、尺寸信息和托盘的尺寸信息确定物品在托盘的码放位置。
在步骤260，上位机将物品位于托盘的码放位置的叠加画面发送至AR成像设备。
在步骤270，AR成像设备向用户呈现叠加画面，以便用户在托盘的码放位置码垛物品。
在该实施例中，上位机接收AR成像设备发送的托盘图像信息和位置信息，并对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向，将生成的物品虚拟影像渲染到托盘的码放位置上形成叠加画面，并发送至AR成像设备以便用户通过AR成像设备呈现的叠加画面在托盘的码放位置码垛物品，因此能够解决人工码垛不标准和不可控的情况。
图3为本发明基于AR技术的人工辅助方法的再一个实施例的流程示意图。该方法包括以下步骤：
在步骤310，可以如图4所示，待码垛商品通过输送线送到码垛位置。
在步骤320，通过输送线上方的BCR扫描系统识别该商品，并对商品进行计数，将商品条形码和计数编码发送至上位机。
在步骤330，体积测量装置扫描出商品的尺寸，即长宽高，并将商品尺寸信息发送至上位机。
在步骤340，用户佩戴上AR眼镜后，通过AR眼镜将托盘的图像信息和AR眼镜的位置信息发送至上位机。
在步骤350，上位机根据托盘的图像信息以及商品的计数编号和尺寸信息确定商品在托盘的码放位置。
在步骤360，上位机根据AR眼镜的位置信息以及托盘图像信息对AR眼镜进行姿态评估，确定AR眼镜相对于托盘的方位指向。
在步骤360，上位机根据商品条形码识别商品，生成商品的虚拟影像；根据AR眼镜相对于托盘的方位指向以及商品在托盘的码放位置，将商品的虚拟影像渲染到托盘的码放位置上形成叠加画面。
在步骤370，上位机将商品位于托盘的码放位置的叠加画面发送至AR眼镜。
在步骤380，用户通过AR眼镜在托盘的码放位置看到生成的商品虚拟影像，并按虚拟影像码放好商品。如图5A和图5B所示，其中，图5B中的箭头指示第i个商品在托盘码放位置的虚拟影像。
在步骤390，码到托盘上限，上位机向AR眼镜发送码垛上限信息，以提醒用户结束码垛商品。
其中，上位机中可以设置每种托盘的码放上限，上限的设置是基于高度和重量两个方面的。例如当前库房中的设备对托盘货物的要求是高度小于等于1.5米，重量小于等于300公斤，那么在开始码放货物时上位机会同时计算两个条件，有任何一个条件先满足即达到码垛上限。然后，通过AR眼镜通知操作员到达码垛上限，停止码垛。
在上述实施例中，用户利用AR眼镜能够在托盘的码放位置看到商品的虚拟影像，进而可以根据虚拟影像码垛商品，因此，可以将商品码放整齐。另外，由于商品码垛整齐，在机器人拆垛或拣货时，机器人可以按码垛标准拆垛，减少了操作成本。
图6为本发明基于AR技术的人工辅助装置的一个实施例的结构示意图。该装置可以为AR眼镜，也可以为其他能够实现AR成像的屏幕设备，其中该装置包括托盘图像发送单元610、叠加图面接收单元620和叠加画面呈现单元630，其中：
托盘图像发送单元610用于将获取的托盘图像信息发送至上位机，以便上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面。其中，上位机可以根据物品的尺寸信息和托盘的尺寸信息确定物品在托盘的码放位置，然后利用AR技术生成物品位于托盘的码放位置的叠加画面。叠加图面接收单元620用于接收上位机发送的物品位于托盘的码放位置的叠加画面。叠加画面呈现单元630用于向用户呈现叠加画面，以便用户在托盘的码放位置码垛物品。其中，用户通过佩戴的AR成像设备在托盘的相对位置看到物品的虚拟影像，进而用户可以根据物品在托盘相对位置的虚拟影像码放物品，使得物品码放整齐。
在该实施例中，该装置将获取的托盘图像信息发送至上位机，以便上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面；并将上位机发送的物品位于托盘的码放位置的叠加画面呈现给用户，以便用户在托盘的码放位置码垛物品，使得物品码垛更整齐，能够解决码垛位置不准确的问题。
图7为本发明基于AR技术的人工辅助装置的另一个实施例的结构示意图。该装置包括托盘图像发送单元710、位置信息发送单元720、叠加图面接收单元730和叠加画面呈现单元740，其中：
托盘图像发送单元710用于将获取的托盘图像信息发送至上位机。位置信息发送单元720用于向上位机发送AR成像设备的位置信息。其中，上位机根据AR成像设备的位置信息以及托盘图像信息对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向。另外，上位机根据物品条形码识别物品，并生成物品的虚拟影像，并根据AR成像设备相对于托盘的方位指向以及物品在托盘的码放位置，将物品的虚拟影像渲染到托盘的码放位置上形成叠加画面。叠加图面接收单元730用于接收上位机发送的物品位于托盘的码放位置的叠加画面。叠加画面呈现单元740用于向用户呈现叠加画面，以便用户在托盘的码放位置码垛物品。
在该实施例中，该装置将获取的托盘图像信息以及自身位置信息发送至上位机，以便上位机根据AR成像设备的位置信息以及托盘图像信息对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向，并根据AR成像设备相对于托盘的方位指向以及物品在托盘的码放位置，将物品的虚拟影像渲染到托盘的码放位置上形成叠加画面。该装置接收上位机发送的叠加画面并向用户进行呈现，以便用户在托盘的码放位置码垛物品，因此能够解决人工码垛不标准和不可控的情况。
在本发明的另一个实施例中，该装置还可以包括信息提醒单元(图中未示出)，其中，信息提醒单元用于接收上位机发送的码垛上限信息，以便提醒用户结束码垛物品。例如，可以通过语音或者图像的方式向用户提醒结束码垛物品。
图8为本发明上位机的一个实施例的结构示意图。该上位机包括托盘图像接收单元810、叠加画面生成单元820和叠加画面发送单元830，其中：
托盘图像接收单元810用于接收AR成像设备获取的托盘图像信息。叠加画面生成单元820用于根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面。其中，上位机可以根据物品的尺寸信息和托盘的尺寸信息确定物品在托盘的码放位置，然后利用AR技术生成物品位于托盘的码放位置的叠加画面。叠加画面发送单元830用于向AR成像设备发送物品位于托盘的码放位置的叠加画面，以便用户通过AR成像设备呈现的叠加画面在托盘的码放位置码垛物品。其中，用户通过佩戴的AR成像设备在托盘的相对位置看到物品的虚拟影像，进而用户可以根据物品在托盘相对位置的虚拟影像码放物品，使得物品码放整齐。
在该实施例中，上位机根据物品在托盘的码放位置生成物品位于托盘的码放位置的叠加画面，并发送至AR成像设备以便用户通过AR成像设备呈现的叠加画面在托盘的码放位置码垛物品，因此能够解决人工码垛不标准和不可控的情况。
图9为本发明上位机的另一个实施例的结构示意图。该上位机包括托盘图像接收单元910、位置信息接收单元920、姿态评估单元930、BCR信息接收单元940、虚拟影像生成单元950、叠加画面生成单元960和叠加画面发送单元970，其中：
托盘图像接收单元910用于接收AR成像设备获取的托盘图像信息。位置信息接收单元920用于接收AR成像设备发送的位置信息。姿态评估单元930用于根据AR成像设备的位置信息以及托盘图像信息对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向。BCR信息接收单元940用于接收BCR发送的物品条形码。虚拟影像生成单元950用于根据物品条形码识别物品，生成物品的虚拟影像。叠加画面生成单元960用于根据AR成像设备相对于托盘的方位指向以及物品在托盘的码放位置，将物品的虚拟影像渲染到托盘的码放位置上形成叠加画面。其中，该上位机还包括物品体积接收单元980和码放位置确定单元990，其中，BCR信息接收单元950还用于接收BCR发送的物品的计数编号。物品体积接收单元980用于接收体积测量装置发送的物品的尺寸信息。码放位置确定单元990用于根据托盘的图像信息以及物品的计数编号和尺寸信息确定物品在托盘的码放位置。叠加画面发送单元970用于将物品位于托盘的码放位置的叠加画面发送至AR成像装置，以便用户通过AR成像设备呈现的叠加画面在托盘的码放位置码垛物品。
此外，该上位机还可以包括上限信息发送单元(图中未示出)，上限信息发送单元用于向AR成像设备发送码垛上限信息，以便通过AR成像设备提醒用户结束码垛物品。其中，上位机中可以设置每种托盘的码放上限，上限的设置是基于高度和重量两个方面的。例如当前库房中的设备对托盘货物的要求是高度小于等于1.5米，重量小于等于300公斤，那么在开始码放货物时上位机会同时计算两个条件，有任何一个条件先满足即达到码垛上限。然后，通过AR成像设备通知操作员到达码垛上限，停止码垛。
在该实施例中，上位机接收AR成像设备发送的托盘图像信息和位置信息，并对AR成像设备进行姿态评估，确定AR成像设备相对于托盘的方位指向，将生成的物品虚拟影像渲染到托盘的码放位置上形成叠加画面，并发送至AR成像设备以便用户通过AR成像设备呈现的叠加画面在托盘的码放位置码垛物品，因此能够解决人工码垛不标准和不可控的情况。
图10为本发明基于AR技术的人工辅助系统的一个实施例的结构示意图。该系统包括基于AR技术的人工辅助装置1010，即AR成像设备，以及上位机1020，其中，基于AR技术的人工辅助装置1010以及上位机1020已在上述实施例中进行了详细介绍，此处不再进一步阐释。本发明用户利用AR技术能够在托盘的码放位置看到商品的虚拟影像，进而可以根据虚拟影像码垛物品，因此，可以将物品码放整齐。
图11为本发明基于AR技术的人工辅助系统的再一个实施例的结构示意图。该系统包括存储器1110和处理器1120，其中：
存储器1110可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1、2、3所对应实施例中的指令。
处理器1120耦接至存储器1110，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器1120用于执行存储器中存储的指令，能够利用AR技术解决码垛位置不准确的问题。
在一个实施例中，还可以如图12所示，该基于AR技术的人工辅助系统1200包括存储器1210和处理器1220。处理器1220通过BUS总线1230耦合至存储器1210。该基于AR技术的人工辅助系统1200还可以通过存储接口1240连接至外部存储装置1250以便调用外部数据，还可以通过网络接口1260连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够利用AR技术解决码垛位置不准确的问题。
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、2、3所对应实施例中的方法的步骤。本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本发明的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (14)

1.一种基于增强现实AR技术的人工辅助方法，其特征在于，包括：
AR成像设备将获取的托盘图像信息发送至上位机；
所述上位机接收条形码扫描设备BCR发送的物品的计数编号以及体积测量装置发送的所述物品的尺寸信息；根据所述托盘的图像信息以及所述物品的计数编号和尺寸信息确定所述物品在所述托盘的码放位置；
所述上位机根据物品在所述托盘的码放位置生成所述物品位于所述托盘的所述码放位置的叠加画面；
所述AR成像设备将所述上位机发送的所述物品位于所述托盘的所述码放位置的叠加画面呈现给用户，以便所述用户根据所述AR成像设备呈现的所述叠加画面在所述托盘的所述码放位置码垛所述物品。
2.根据权利要求1所述的方法，其特征在于，还包括：
所述AR成像设备向所述上位机发送所述AR成像设备的位置信息；
所述上位机根据所述AR成像设备的位置信息以及所述托盘图像信息对所述AR成像设备进行姿态评估，确定所述AR成像设备相对于所述托盘的方位指向。
3.根据权利要求2所述的方法，其特征在于，所述上位机根据物品在所述托盘的码放位置生成所述物品位于所述托盘的所述码放位置的叠加画面包括：
所述上位机接收条形码扫描设备BCR发送的物品条形码，根据所述物品条形码识别所述物品，生成所述物品的虚拟影像；根据所述AR成像设备相对于所述托盘的方位指向以及所述物品在所述托盘的码放位置，将所述物品的虚拟影像渲染到所述托盘的码放位置上形成所述叠加画面。
4.根据权利要求1-3任一所述的方法，其特征在于，还包括：
所述AR成像设备接收所述上位机发送的码垛上限信息，以便提醒所述用户结束码垛所述物品。
5.一种基于增强现实AR技术的人工辅助装置，其特征在于，包括：
托盘图像发送单元，将获取的托盘图像信息发送至上位机，以便所述上位机根据物品在托盘的码放位置生成所述物品位于所述托盘的所述码放位置的叠加画面；
叠加图面接收单元，用于接收所述上位机发送的所述物品位于所述托盘的所述码放位置的叠加画面，其中，所述上位机接收条形码扫描设备BCR发送的所述物品的计数编号以及体积测量装置发送的所述物品的尺寸信息；根据所述托盘的图像信息以及所述物品的计数编号和尺寸信息确定所述物品在所述托盘的码放位置；
叠加画面呈现单元，用于向用户呈现所述叠加画面，以便所述用户根据AR成像设备呈现的所述叠加画面在所述托盘的所述码放位置码垛所述物品。
6.根据权利要求5所述的装置，其特征在于，还包括位置信息发送单元；
所述位置信息发送单元向所述上位机发送所述AR成像设备的位置信息，以便所述上位机根据所述AR成像设备的位置信息以及所述托盘图像信息对所述AR成像设备进行姿态评估，确定所述AR成像设备相对于所述托盘的方位指向，根据所述AR成像设备相对于所述托盘的方位指向以及所述物品在所述托盘的码放位置，将所述物品的虚拟影像渲染到所述托盘的码放位置上形成所述叠加画面。
7.根据权利要求5或6所述的装置，其特征在于，还包括信息提醒单元；
所述信息提醒单元用于接收所述上位机发送的码垛上限信息，以便提醒所述用户结束码垛所述物品。
8.一种上位机，其特征在于，包括：
托盘图像接收单元，用于接收AR成像设备获取的托盘图像信息；
BCR信息接收单元，用于接收条形码扫描设备BCR发送的物品的计数编号；
物品体积接收单元，用于接收体积测量装置发送的所述物品的尺寸信息；
码放位置确定单元，用于根据所述托盘的图像信息以及所述物品的计数编号和尺寸信息确定所述物品在所述托盘的码放位置；
叠加画面生成单元，用于根据物品在所述托盘的码放位置生成所述物品位于所述托盘的所述码放位置的叠加画面；
叠加画面发送单元，用于向所述AR成像设备发送所述物品位于所述托盘的所述码放位置的叠加画面，以便用户根据所述AR成像设备呈现的所述叠加画面在所述托盘的所述码放位置码垛所述物品。
9.根据权利要求8所述的上位机，其特征在于，还包括位置信息接收单元和姿态评估单元；
所述位置信息接收单元用于接收所述AR成像设备发送的所述AR成像设备的位置信息；
所述姿态评估单元用于根据所述AR成像设备的位置信息以及所述托盘图像信息对所述AR成像设备进行姿态评估，确定所述AR成像设备相对于所述托盘的方位指向。
10.根据权利要求9所述的上位机，其特征在于，还包括虚拟影像生成单元；
所述BCR信息接收单元用于接收BCR发送的物品条形码；
所述虚拟影像生成单元用于根据所述物品条形码识别所述物品，生成所述物品的虚拟影像；
所述叠加画面生成单元用于根据所述AR成像设备相对于所述托盘的方位指向以及所述物品在所述托盘的码放位置，将所述物品的虚拟影像渲染到所述托盘的码放位置上形成所述叠加画面。
11.根据权利要求8-10任一所述的上位机，其特征在于，还包括上限信息发送单元；
所述上限信息发送单元用于向所述AR成像设备发送码垛上限信息，以便通过所述AR成像设备提醒所述用户结束码垛所述物品。
12.一种基于增强现实AR技术的人工辅助系统，其特征在于，包括权利要求5-7任一所述的基于AR技术的人工辅助装置和权利要求8-11任一所述的上位机。
13.一种基于增强现实AR技术的人工辅助系统，其特征在于，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至4任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该指令被处理器执行时实现权利要求1至4任一项所述的方法的步骤。
CN201710033865.1A 2017-01-16 2017-01-16 基于ar技术的人工辅助方法、装置、系统和上位机 Active CN106897751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710033865.1A CN106897751B (zh) 2017-01-16 2017-01-16 基于ar技术的人工辅助方法、装置、系统和上位机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710033865.1A CN106897751B (zh) 2017-01-16 2017-01-16 基于ar技术的人工辅助方法、装置、系统和上位机

Publications (2)

Publication Number Publication Date
CN106897751A CN106897751A (zh) 2017-06-27
CN106897751B true CN106897751B (zh) 2019-12-03

Family

ID=59198512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710033865.1A Active CN106897751B (zh) 2017-01-16 2017-01-16 基于ar技术的人工辅助方法、装置、系统和上位机

Country Status (1)

Country Link
CN (1) CN106897751B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805497B (zh) * 2017-12-28 2019-07-26 南京涵曦月自动化科技有限公司 一种用于物流运输的智能扫描装置
CN110136265A (zh) * 2018-02-02 2019-08-16 北京京东尚科信息技术有限公司 商品展示方法、装置、终端设备及零售系统
CN110220549A (zh) * 2018-03-02 2019-09-10 北京京东尚科信息技术有限公司 一种垛型评估的方法和装置
CN110222862A (zh) * 2018-03-02 2019-09-10 北京京东尚科信息技术有限公司 码垛方法和装置
CN109675813A (zh) * 2019-01-14 2019-04-26 中山大学南方学院 智能物流分拣系统
CN111746898B (zh) * 2020-05-14 2022-05-20 四川科华天府科技有限公司 一种ar托盘以及采集仪

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105266897A (zh) * 2015-11-25 2016-01-27 上海交通大学医学院附属第九人民医院 一种基于增强现实的显微外科手术导航系统及导航方法
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习系统及方法
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6153577B2 (ja) * 2014-09-11 2017-06-28 住友ベークライト株式会社 ディスプレイ用素子、光学用素子、照明用素子又はセンサ素子の製造のための芳香族ポリアミド溶液

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105266897A (zh) * 2015-11-25 2016-01-27 上海交通大学医学院附属第九人民医院 一种基于增强现实的显微外科手术导航系统及导航方法
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习系统及方法
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训系统

Also Published As

Publication number Publication date
CN106897751A (zh) 2017-06-27

Similar Documents

Publication Publication Date Title
CN106897751B (zh) 基于ar技术的人工辅助方法、装置、系统和上位机
JP7249390B2 (ja) 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム
US10909667B1 (en) Image rectification using transformation data
CN106379684A (zh) 一种潜入式agv对接方法及系统以及潜入式agv
US9467682B2 (en) Information processing apparatus and method
US20170228885A1 (en) Device and method for determining the volume of an object moved by an industrial truck
CN110246147A (zh) 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
US10204404B2 (en) Image processing device and image processing method
US9576363B2 (en) Object picking system, object detecting device, object detecting method
CN107690650B (zh) 用于将3d场景重构为3d模型的方法
US9424689B2 (en) System,method,apparatus and computer readable non-transitory storage medium storing information processing program for providing an augmented reality technique
CN111803945A (zh) 界面渲染方法、装置、电子设备及存储介质
US20130243306A1 (en) Methods and Apparatus for 3D Camera Positioning Using a 2D Vanishing Point Grid
CN115330819B (zh) 一种软包分割定位方法、工控机和机器人抓取系统
CN110163980A (zh) 一种基于ar的数据处理方法及装置
JP2018091656A (ja) 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
CN110187774A (zh) 光学透视式的ar设备及其实体标注方法
US20190340773A1 (en) Method and apparatus for a synchronous motion of a human body model
Inagaki et al. Detecting layered structures of partially occluded objects for bin picking
WO2020167435A1 (en) Detecting pose of 3d objects
JP6730091B2 (ja) 積載手順決定装置、および積載手順決定プログラム
CN110310336A (zh) 一种触控投影系统及图像处理方法
CN110248093A (zh) 一种数据采集方法、系统和终端设备
CN110009714A (zh) 在智能设备中调整虚拟角色眼神的方法及装置
CN108389112A (zh) 3d房型模型显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1238381

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190729

Address after: 300 457 days First Floor, Phase 2, No. 10 Fourth Avenue, Jinshi Economic and Technological Development Zone

Applicant after: Tianjin Jingdong Shentuo Robot Technology Co., Ltd.

Address before: East Building 11, 100195 Beijing city Haidian District xingshikou Road No. 65 west Shan creative garden district 1-4 four layer of 1-4 layer

Applicant before: Beijing Jingdong Shangke Information Technology Co., Ltd.

Applicant before: Beijing Jingdong Century Commerce Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200521

Address after: Room A1905, 19th floor, No. 2 Building, 18 Kechuang 11th Street, Beijing Daxing District, Beijing

Patentee after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 300 457 days First Floor, Phase 2, No. 10 Fourth Avenue, Jinshi Economic and Technological Development Zone

Patentee before: Tianjin Jingdong Shentuo Robot Technology Co.,Ltd.