CN115321090B - 机场行李自动接取方法、装置、设备、系统及介质 - Google Patents
机场行李自动接取方法、装置、设备、系统及介质 Download PDFInfo
- Publication number
- CN115321090B CN115321090B CN202211264266.8A CN202211264266A CN115321090B CN 115321090 B CN115321090 B CN 115321090B CN 202211264266 A CN202211264266 A CN 202211264266A CN 115321090 B CN115321090 B CN 115321090B
- Authority
- CN
- China
- Prior art keywords
- luggage
- point cloud
- stacking
- picked
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 13
- 239000012636 effector Substances 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 5
- 230000001154 acute effect Effects 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010923 batch production Methods 0.000 claims 1
- 239000002184 metal Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008021 deposition Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
- B65G15/30—Belts or like endless load-carriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/52—Devices for transferring articles or materials between conveyors i.e. discharging or feeding devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G57/00—Stacking of articles
- B65G57/02—Stacking of articles by adding to the top of the stack
- B65G57/03—Stacking of articles by adding to the top of the stack from above
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0264—Luggage
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
- B65G2203/041—Camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机场行李自动接取方法、装置、设备、系统及介质。该方法包括：获取前端传送带当前传送的待接取行李的第一彩色点云信息，获取待接取行李的行李类别；如果行李类别为可码放行李，则获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息；根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域；将目标码放区域和行李位姿信息发送至行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。通过采用上述技术方案，能够实现对机场行李的自动分类、接取以及精准摆放，有效提高机场的经济性和运行效率。
Description
技术领域
本发明涉及智能航空物流技术领域，尤其涉及一种机场行李自动接取方法、装置、设备、系统及介质。
背景技术
随着我国民航领域的发展，我国的民用机场数量以及机场全年的旅客吞吐量增长速度飞快，机场迫切需要通过智能化建设提高整体运行效率，保证旅客的出行体验。目前国内大部分机场仍旧采用人工作业的方式进行航空行李的装载，装载效率低、成本高，造成了资源的浪费，因此进行机场行李自动接取的设计显得更加重要。
由于机场行李形状差异较大，部分行李不适合堆叠摆放，且行李在经传送带传送过程中可能改变原有的规则摆放姿态，因此，准确选择适合堆叠摆放的行李并以适合姿态准确抓取行李为目前需要解决的问题难点。
发明内容
本发明提供了一种机场行李自动接取方法、装置、设备、系统及介质，能够实现对机场行李的自动分类、接取以及精准摆放，有效提高机场的经济性和运行效率。
根据本发明的一方面，提供了一种机场行李自动接取方法，该方法包括：
获取前端传送带当前传送的待接取行李的第一彩色点云信息，并根据第一彩色点云信息，获取所述待接取行李的行李类别；
如果行李类别为可码放行李，则在待接取行李从前端传送带传送至后端传送带后，获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息；
根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域；
将目标码放区域和行李位姿信息发送至靠近后端传送带设置的行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。
根据本发明的另一方面，提供了一种机场行李自动接取装置，包括：
第一彩色点云信息获取模块，用于获取前端传送带当前传送的待接取行李的第一彩色点云信息，并根据第一彩色点云信息，获取所述待接取行李的行李类别；
尺寸位姿信息获取模块，用于如果行李类别为可码放行李，则在待接取行李从前端传送带传送至后端传送带后，获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息；
接取位置姿态获取模块，用于根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域；
信息发送模块，用于将目标码放区域以及行李位姿信息发送至靠近后端传送带设置的行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。
根据本发明的另一方面，提供了一种机场行李自动接取系统，包括：主控系统，行李接放机器人、前端传送带、后端传送带、分类相机、形位测量相机以及垛型测量相机，其中：
所述分类相机，用于获取前端传送带当前传送的待接取行李的第一彩色点云信息；
所述形位测量相机，用于获取后端传送带上待接取行李的第二彩色点云信息；
所述垛型测量相机，用于获取码垛区域的区域图像；
所述主控系统，用于执行本发明任一实施例所述的机场行李自动接取方法；
所述行李接放机器人，用于根据主控系统发送的行李位姿信息，确定接取位置和接取姿态，并按照所述接取位置和接取姿态接取后端传送带上的待接取行李；根据主控系统发送的目标码放区域，确定所述目标码放区域在码垛区域内的子区域类型；根据所述子区域类型确定定点码垛位置，并在移动至所述定点码垛位置后，将所述待接取行李码放至目标码放区域；所述行李接放机器人为托盘式末端执行器；
其中，如果子区域类型为位于码垛区域中心点左侧的第一子区域，则所述定点码垛位置为位于码垛区域中心点右侧的第一定点；
如果子区域类型为位于码垛区域中心点中部的第二子区域，则所述定点码垛位置为位于码垛区域中心点右侧的第二定点；其中，第二定点相对于码垛区域中心点的距离大于第一定点相对于码垛区域中心点的距离；
如果子区域类型为位于码垛区域中心点右侧的第三子区域，则所述定点码垛位置为位于码垛区域中心点左侧的第三定点。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的机场行李自动接取方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的机场行李自动接取方法。
本发明实施例的技术方案，通过判断前端传送带当前传送的待接取行李的行李类别，将可码放行李传送至后端传送带，并提取后端传送带上的行李位姿信息以及尺寸信息，进而确定待接取行李在码垛区域内的目标码放区域，以控制行李接放机器人根据行李位姿信息接取行李并码放至目标码放区域的方式，实现了对机场行李的自动分类、精准接取以及准确快速的自动化在线装载规划，能够有效提高机场的经济性和运行效率，此外，本发明实施例的技术方案能够有效应对机场出港行李信息有限的实际场景，具有更好的可行性和实用性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种机场行李自动接取方法的流程图；
图2是根据本发明实施例二提供的另一种机场行李自动接取方法的流程图；
图3是根据本发明实施例三提供的一种机场行李自动接取装置的结构示意图；
图4是根据本发明实施例四提供的一种机场行李自动接取系统的结构示意图；
图5是实现本发明实施例的机场行李自动接取方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种机场行李自动接取方法的流程图，本实施例可适用于通过对传送带上的待接取行李进行识别与分析，以控制行李接放机器人精准接取行李并码放至目标码放区域的情况，该方法可以由机场行李自动接取装置来执行，该机场行李自动接取装置可以采用硬件和/或软件的形式实现，该机场行李自动接取装置可配置于具备图像处理功能的主控系统中。如图1所示，该方法包括：
S110、获取前端传送带当前传送的待接取行李的第一彩色点云信息，并根据第一彩色点云信息，获取所述待接取行李的行李类别。
在本实施例中，待接取行李的行李类别可以分为可码放行李与不可码放行李。可码放行李一般可以指行李箱、纸壳打包箱等行李，不可码放行李一般可以指婴儿车、手提袋等行李，具体的行李类别可根据实际行李接取情况确定，此处仅作举例说明。
需要说明的是，前端传送带可以用于传送待接取行李，对前端传送带当前传送的待接取行李的信息进行分析，目的在于获取当前传送的待接取行李所属的行李类别。
彩色点云信息是指空间中的一组彩色数据点，可以用这些数据点表示三维形状或对象，且每个数据点的位置都有其相应的笛卡尔坐标集。第一彩色点云信息可以包括第一彩色图像和第一点云数据，在一个可选的实施方式中，可以通过配置于前端传送带上部的分类相机获取待接取行李的第一彩色点云信息，分类相机可以由彩色相机与深度相机组合构成。
可选的，可以通过预先编写的程序提取分类相机拍摄的待接取行李图像的图像特征矩阵，以及待接取行李深度图像的点云特征矩阵，并将上述特征拼接，将所述拼接特征输入到预先训练的卷积神经网络分类模型中，以判断当前行李是否属于可码放行李。
S120、如果行李类别为可码放行李，则在待接取行李从前端传送带传送至后端传送带后，获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息。
可选的，若行李类别为不可码放行李，则可将不可码放行李推出传送带，等待人工搬运。
可以理解的是，后端传送带可以用于传送等待行李接放机器人接取并码放至目标码放区域的待接取行李。
在本实施例中，可以通过形位测量相机获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息。其中，行李位姿信息包括待接取行李相对于后端传送带轴线的偏转角度，行李尺寸信息包括行李的长度信息、宽度信息以及厚度信息。形位测量相机可以由彩色相机与深度相机组合构成。
具体的，可以通过形位测量相机获取后端传送带上待接取行李的第二彩色点云信息，第二彩色点云信息包括第二彩色图像和第二点云数据，通过对第二彩色点云信息进行分析，能够获取待接取行李的长度、宽度、厚度以及待接取行李相对于后端传送带轴线的偏转角度。
S130、根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域。
优选的，根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域，可以具体包括：
通过堆垛区域内设置的垛型测量相机，获取码垛区域的区域图像，并根据所述区域图像，获取码垛区域的垛型信息；
将行李尺寸信息和垛型信息输入至与码垛区域匹配的分层树搜索模型中，获取与码垛区域内各备选行李码放位置分别对应的目标节点特征；
将行李尺寸信息、垛型信息以及与码垛区域内各备选行李码放位置分别对应的目标节点特征输入至深度强化学习模型中，获取与当前待装载行李匹配的目标码放位置。
在本实施例中，在通过堆垛区域内设置的垛型测量相机，获取码垛区域的区域图像之后，可以通过图像识别技术，获取与该码垛区域的垛型信息。具体的，该垛型信息可以包括各码垛完成行李在该码垛区域的码垛位置，以及各码垛完成行李的行李尺寸信息。
可以理解的是，在对当前待接取行李进行实时码放之前，该码垛区域内可能包括0个、1个或者多个码垛完成行李。
在本实施例中，分层树搜索模型与码垛区域相匹配，用于存储各码垛完成行李在该码垛区域内的已码放位置，同时，该分层树搜索模型中还存储有基于码垛完成行李在该码垛区域内的已码放位置，所计算出来的各备选行李码放位置。
其中，该备选行李码放位置可以理解为，码垛区域内的一个当前处于空载状态的码放位置。
在本实施例中，通过使用该实时获取的垛型信息，可以对分层树搜索模型进行进一步校正，保证分层树搜索模型所存储信息的准确性；通过使用前待装载行李的行李尺寸信息，可以进一步在分层树搜索模型中量化确定出每个备选行李码放位置分别对应的目标节点特征，进而，在后续决策过程中，决策出与当前待装载行李最适宜的目标行李码放位置。
在本实施例中，在获取与码垛区域内各备选行李码放位置分别对应的目标节点特征之后，可以基于预先训练得到的深度强化学习模型，结合当前的奖励函数，从全部备选行李码放位置中决策出一个最优的备选行李码放位置，作为与当前待装载行李匹配的目标行李码放位置。
其中，该奖励函数可以结合当前待装载行李的行李尺寸信息和垛型信息实时更新确定得到。
S140、将目标码放区域和行李位姿信息发送至靠近后端传送带设置的行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。
进一步的，在完成对当前待接取行李的码放后，当前待接取行李就变成了一个码垛至目标行李码放位置的已装载行李。进而，需要结合该目标行李码放位置重新更新与码垛区域对应的分层树搜索模型，以供新的当前待接取行李对该分层树搜索模型的继续使用。
本发明实施例的技术方案，通过判断前端传送带当前传送的待接取行李的行李类别，将可码放行李传送至后端传送带，并提取后端传送带上的行李位姿信息以及尺寸信息，进而确定待接取行李在码垛区域内的目标码放区域，以控制行李接放机器人根据行李位姿信息接取行李并码放至目标码放区域的方式，实现了对机场行李的自动分类、精准接取以及准确快速的自动化在线装载规划，能够有效提高机场的经济性和运行效率，此外，本发明实施例的技术方案能够有效应对机场出港行李信息有限的实际场景，具有更好的可行性和实用性。
实施例二
图2为本发明实施例二提供的一种机场行李自动接取方法的流程图，本实施例在上述实施例的基础上，具体说明了待接取行李的位姿信息和尺寸信息的获取方法。如图2所示，该方法包括：
S210、通过行李分类区域内设置的分类相机，获取前端传送带当前传送的待接取行李的第一彩色点云信息，第一彩色点云信息包括第一彩色图像和第一点云数据。
S220、生成与第一彩色图像匹配的图像特征矩阵，并生成与第一点云数据匹配的点云特征矩阵。
其中，生成与第一彩色图像匹配的图像特征矩阵，可以包括：
将所述第一彩色图像进行至少一项图像预处理操作后，将预处理后图像映射得到n×n阶的图像特征矩阵；
其中，所述图像预处理操作可以包括：第一彩色图像中感兴趣区域的识别及裁剪、第一彩色图像的图像尺寸调整以及第一彩色图像的灰度化处理。
其中，生成与第一点云数据匹配的点云特征矩阵，可以包括：
重定义第一点云数据的点云坐标轴方向，其中，点云坐标轴中的z轴正方向重定义为垂直于待接取行李所在平面且远离待接取行李所在平面的方向；
对第一点云数据进行直通滤波，筛选出主体点云数据；
创建所述主体点云数据的最小立方体包围盒，其中，所述最小立方体包围盒的各面均与点云坐标轴中的各坐标平面垂直或平行；
将所述最小立方体包围盒在点云坐标轴中的xoy平面内进行投影，得到目标投影正方形，并将目标投影正方形划分为n×n个局部正方形；
将主体点云数据向xoy平面内进行投影，并根据每个局部正方形中所落入的主体点云数据点的z坐标均值，形成n×n阶的高度特征矩阵；
使用x方向梯度算子对所述高度特征矩阵进行卷积运算，得到x方向卷积结果，并使用y方向梯度算子对所述高度特征矩阵进行卷积运算，得到y方向卷积结果；
将x方向卷积结果和y方向卷积结果进行模相加，得到与三维点云数据匹配的点云特征矩阵。
具体的，在将目标投影正方形划分为n×n个局部正方形后，统计每个局部正方形中所落入的主体点云数据点的z坐标均值，以此均值作为该位置处局部正方形所对应的值，没有点映射的局部正方形，其对应的值为0，将各局部正方形所对应的值按原顺序存入n×n的矩阵中，并根据其最值将矩阵中每个元素映射至0-255的整数范围，得到矩阵A，作为高度特征矩阵。
进一步的，可以使用x、y两方向的梯度算子对高度特征矩阵A进行卷积操作，所述x方向为传送带前进方向，y方向与所述x方向正交，将上述卷积结果的模相加，得到矩阵AG作为高度梯度特征矩阵，即与第一点云数据匹配的点云特征矩阵。x方向梯度算子可以为：
y方向梯度算子可以为：
卷积操作可用公式表示为：
。
S230、对图像特征矩阵和点云特征矩阵进行特征拼接，得到特征拼接矩阵。
具体的，可以建立一空白n×n×3三维矩阵F，表示为：F=[F1, F2, F3]，其中，F1，F2，F3为三个相同的n×n矩阵；
令F1=G，F2=AG，F3=A，其中G为步骤S220中所述n×n阶的图像特征矩阵，则F为所述特征拼接后得到的特征拼接矩阵。
S240、将特征拼接矩阵输入至预先训练的卷积神经网络分类模型中，获取所述待接取行李的行李类别。
S250、如果行李类别为可码放行李，则在待接取行李从前端传送带传送至后端传送带后，获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息。
其中，获取待接取行李相对于后端传送带的行李位姿信息，可以包括：
通过形位采集区域内设置的形位测量相机，获取后端传送带上待接取行李的第二彩色点云信息，第二彩色点云信息包括第二彩色图像和第二点云数据；
重定义第二点云数据的点云坐标轴方向，其中，点云坐标轴中的z轴正方向重定义为垂直于待接取行李所在平面且远离待接取行李所在平面的方向；
舍弃第二点云数据的高度坐标值后，将第二点云数据向xoy平面投影为平面点云数据L；
其中，
，
，i为点云数据点的序号，pi表示L中序号为i
的点云数据点；n为平面点云数据中的点云数据点总数量；
计算L的几何中心，并计算所述几何中心相对于后端传送端轴线的偏移位置；
按照公式：
，
，对L进行去均值化处理，得到第一点云处理数据Ld，Avg(.)为各行元素的均值；
按照公式：
，
，对Ld进行归一化处理，得到第二点云处理数据L’，Max(.)为各行元素的最大值；
按照公式：
计算得到L’的协方差矩阵C，并获取与C中的最大特征值对应的目标特征向量与后端传送带运动方向之间夹角，作为第一旋转角度
；
提取所述第二彩色图像中行李边缘的至少一个直线组，并在所述至少一个直线组中获取包围面积最大目标直线组作为行李边缘所在直线组；
在所述目标直线组中，获取第一长边和第二长边的对称轴与后端传送带轴线所夹的锐角，作为第二旋转角度
；
在
和
中，选取待接取行李相对于后端传送带轴线的偏转角度。
其中，在
和
中，选取待接取行李相对于后端传送带轴线的偏转角度，可以包括：
以L的几何中心作为旋转中心O,将L中的每个点云数据点按照下述公式分别围绕O点旋转-
和-
，得到与
对应的第一旋转点云数据和与
对应的第二旋转点云数据；
其中，m=1,2；(xi,yi)表示L中的第i个点云数据点坐标；x0表示旋转中心O的x轴值、
y0表示旋转中心O的y轴值，(xim,yim)表示第i个点云数据点按照-
旋转后得到的旋转点云
数据点坐标；
获取与第一旋转点云数据对应的第一极值点坐标集合，并获取与第一极值点坐标集合对应的第一包围面积；
获取与第二旋转点云数据对应的第二极值点坐标集合，获取与第二极值点坐标集合对应的第二包围面积；
在第一包围面积和第二包围面积中，获取与最小包围面积对应的旋转角度，作为待接取行李相对于后端传送带轴线的偏转角度；
相应的，获取待接取行李的行李尺寸信息，具体包括：
获取与所述最小包围面积匹配的x轴最大值xmax、x轴最小值xmin、y轴最大值ymax以及y轴最小值ymin；
根据公式：
计算待接取行李的长度测量尺寸lb，以及宽度测量尺寸wb；
在第二点云数据的各高度坐标值中，获取最大高度坐标值，以及最小高度坐标值，并计算最大高度坐标值和最小高度坐标值之间的高度差；
如果所述高度差小于预设的高度阈值，则在第二点云数据中识别点云重心点，并获取与点云重心点对应的高度坐标值作为行李箱厚度测量值；
如果所述高度差大于或者等于所述高度阈值，则将最大高度坐标值作为行李箱厚度测量值。
S260、通过堆垛区域内设置的垛型测量相机，获取码垛区域的区域图像，并根据所述区域图像，获取码垛区域的垛型信息。
S270、将行李尺寸信息和垛型信息输入至与码垛区域匹配的分层树搜索模型中，获取与码垛区域内各备选行李码放位置分别对应的目标节点特征。
S280、将行李尺寸信息、垛型信息以及与码垛区域内各备选行李码放位置分别对应的目标节点特征输入至深度强化学习模型中，获取与当前待装载行李匹配的目标码放位置。
S290、将目标码放区域和行李位姿信息发送至靠近后端传送带设置的行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。
本发明实施例的技术方案，通过利用第二彩色点云信息获取协方差矩阵中的最大特征值对应的目标特征向量与后端传送带运动方向之间夹角，以及获取行李边缘的至少一个直线组的第一长边和第二长边的对称轴与后端传送带轴线所夹的锐角，并在上述两个角度之间选取待接取行李相对于后端传送带轴线的偏转角度的方式，能够精确获取待接取行李相对于后端传送带的行李位姿信息，以便于进一步根据行李位姿信息确定行李接放机器人的接取位置。
实施例三
图3为本发明实施例三提供的一种机场行李自动接取装置的结构示意图。如图3所示，该装置包括：第一彩色点云信息获取模块310、尺寸位姿信息获取模块320、接取位置姿态获取模块330以及信息发送模块340。
第一彩色点云信息获取模块310，用于获取前端传送带当前传送的待接取行李的第一彩色点云信息，并根据第一彩色点云信息，获取所述待接取行李的行李类别。
尺寸位姿信息获取模块320，用于如果行李类别为可码放行李，则在待接取行李从前端传送带传送至后端传送带后，获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息。
接取位置姿态获取模块330，用于根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域。
信息发送模块340，用于将目标码放区域以及行李位姿信息发送至靠近后端传送带设置的行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。
本发明实施例的技术方案，通过判断前端传送带当前传送的待接取行李的行李类别，将可码放行李传送至后端传送带，并提取后端传送带上的行李位姿信息以及尺寸信息，进而确定待接取行李在码垛区域内的目标码放区域，以控制行李接放机器人根据行李位姿信息接取行李并码放至目标码放区域的方式，实现了对机场行李的自动分类、精准接取以及准确快速的自动化在线装载规划，能够有效提高机场的经济性和运行效率，此外，本发明实施例的技术方案能够有效应对机场出港行李信息有限的实际场景，具有更好的可行性和实用性。
在上述各实施例的基础上，第一彩色点云信息获取模块310，可以包括：
第一彩色点云信息获取单元，用于通过行李分类区域内设置的分类相机，获取前端传送带当前传送的待接取行李的第一彩色点云信息，第一彩色点云信息包括第一彩色图像和第一点云数据；
矩阵生成单元，用于生成与第一彩色图像匹配的图像特征矩阵，并生成与第一点云数据匹配的点云特征矩阵；
特征拼接矩阵获取单元，用于对图像特征矩阵和点云特征矩阵进行特征拼接，得到特征拼接矩阵；
行李类别获取单元，用于将特征拼接矩阵输入至预先训练的卷积神经网络分类模型中，获取所述待接取行李的行李类别。
在上述各实施例的基础上，矩阵生成单元，可以具体用于：
将所述第一彩色图像进行至少一项图像预处理操作后，将预处理后图像映射得到n×n阶的图像特征矩阵；
其中，所述图像预处理操作包括：第一彩色图像中感兴趣区域的识别及裁剪、第一彩色图像的图像尺寸调整以及第一彩色图像的灰度化处理。
在上述各实施例的基础上，矩阵生成单元，还可以具体用于：
重定义第一点云数据的点云坐标轴方向，其中，点云坐标轴中的z轴正方向重定义为垂直于待接取行李所在平面且远离待接取行李所在平面的方向；
对第一点云数据进行直通滤波，筛选出主体点云数据；
创建所述主体点云数据的最小立方体包围盒，其中，所述最小立方体包围盒的各面均与点云坐标轴中的各坐标平面垂直或平行；
将所述最小立方体包围盒在点云坐标轴中的xoy平面内进行投影，得到目标投影正方形，并将目标投影正方形划分为n×n个局部正方形；
将主体点云数据向xoy平面内进行投影，并根据每个局部正方形中所落入的主体点云数据点的z坐标均值，形成n×n阶的高度特征矩阵；
使用x方向梯度算子对所述高度特征矩阵进行卷积运算，得到x方向卷积结果，并使用y方向梯度算子对所述高度特征矩阵进行卷积运算，得到y方向卷积结果；
将x方向卷积结果和y方向卷积结果进行模相加，得到与三维点云数据匹配的点云特征矩阵。
在上述各实施例的基础上，尺寸位姿信息获取模块320，可以具体用于：
通过形位采集区域内设置的形位测量相机，获取后端传送带上待接取行李的第二彩色点云信息，第二彩色点云信息包括第二彩色图像和第二点云数据；
重定义第二点云数据的点云坐标轴方向，其中，点云坐标轴中的z轴正方向重定义为垂直于待接取行李所在平面且远离待接取行李所在平面的方向；
舍弃第二点云数据的高度坐标值后，将第二点云数据向xoy平面投影为平面点云数据L；
其中，
，
，i为点云数据点的序号，pi表示L中序号为i
的点云数据点；n为平面点云数据中的点云数据点总数量；
计算L的几何中心，并计算所述几何中心相对于后端传送端轴线的偏移位置；
按照公式：
，
，对L进行去均值化处理，得到第一点云处理数据Ld，Avg(.)为各行元素的均值；
按照公式：
，
，对Ld进行归一化处理，得到第二点云处理数据L’，Max(.)为各行元素的最大值；
按照公式：
计算得到L’的协方差矩阵C，并获取与C中的最大特征值对应的目标特征向量与后端传送带运动方向之间夹角，作为第一旋转角度
；
提取所述第二彩色图像中行李边缘的至少一个直线组，并在所述至少一个直线组中获取包围面积最大目标直线组作为行李边缘所在直线组；
在所述目标直线组中，获取第一长边和第二长边的对称轴与后端传送带轴线所夹的锐角，作为第二旋转角度
；
在
和
中，选取待接取行李相对于后端传送带轴线的偏转角度。
其中，在
和
中，选取待接取行李相对于后端传送带轴线的偏转角度，可以包括：
以L的几何中心作为旋转中心O,将L中的每个点云数据点按照下述公式分别围绕O点旋转-
和-
，得到与
对应的第一旋转点云数据和与
对应的第二旋转点云数据；
其中，m=1,2；(xi,yi)表示L中的第i个点云数据点坐标；x0表示旋转中心O的x轴值、
y0表示旋转中心O的y轴值，(xim,yim)表示第i个点云数据点按照-
旋转后得到的旋转点云
数据点坐标；
获取与第一旋转点云数据对应的第一极值点坐标集合，并获取与第一极值点坐标集合对应的第一包围面积；
获取与第二旋转点云数据对应的第二极值点坐标集合，获取与第二极值点坐标集合对应的第二包围面积；
在第一包围面积和第二包围面积中，获取与最小包围面积对应的旋转角度，作为待接取行李相对于后端传送带轴线的偏转角度；
相应的，获取待接取行李的行李尺寸信息，具体包括：
获取与所述最小包围面积匹配的x轴最大值xmax、x轴最小值xmin、y轴最大值ymax以及y轴最小值ymin；
根据公式：
计算待接取行李的长度测量尺寸lb，以及宽度测量尺寸wb；
在第二点云数据的各高度坐标值中，获取最大高度坐标值，以及最小高度坐标值，并计算最大高度坐标值和最小高度坐标值之间的高度差；
如果所述高度差小于预设的高度阈值，则在第二点云数据中识别点云重心点，并获取与点云重心点对应的高度坐标值作为行李箱厚度测量值；
如果所述高度差大于或者等于所述高度阈值，则将最大高度坐标值作为行李箱厚度测量值。
在上述各实施例的基础上，接取位置姿态获取模块330，可以具体用于：
通过堆垛区域内设置的垛型测量相机，获取码垛区域的区域图像，并根据所述区域图像，获取码垛区域的垛型信息；
将行李尺寸信息和垛型信息输入至与码垛区域匹配的分层树搜索模型中，获取与码垛区域内各备选行李码放位置分别对应的目标节点特征；
将行李尺寸信息、垛型信息以及与码垛区域内各备选行李码放位置分别对应的目标节点特征输入至深度强化学习模型中，获取与当前待装载行李匹配的目标码放位置。
本发明实施例所提供的机场行李自动接取装置可执行本发明任意实施例所提供的机场行李自动接取方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为根据本发明实施例四提供的一种机场行李自动接取系统的结构示意图。如图4所示，机场行李自动接取系统包括主控系统410、行李接放机器人420、前端传送带430、后端传送带440、分类相机450、形位测量相机460以及垛型测量相机470。
主控系统410，可以用于执行本发明任一实施例所述的机场行李自动接取方法。
行李接放机器人420，可以用于根据主控系统410发送的行李位姿信息，确定接取位置和接取姿态，并按照所述接取位置和接取姿态接取后端传送带440上的待接取行李。
行李接放机器人420，还可以用于根据主控系统410发送的目标码放区域，确定所述目标码放区域在码垛区域内的子区域类型。
行李接放机器人420，还可以用于根据所述子区域类型确定定点码垛位置，并在移动至所述定点码垛位置后，将所述待接取行李码放至目标码放区域。
其中，行李接放机器人420为托盘式末端执行器。
其中，如果子区域类型为位于码垛区域中心点左侧的第一子区域，则所述定点码垛位置为位于码垛区域中心点右侧的第一定点；
如果子区域类型为位于码垛区域中心点中部的第二子区域，则所述定点码垛位置为位于码垛区域中心点右侧的第二定点；其中，第二定点相对于码垛区域中心点的距离大于第一定点相对于码垛区域中心点的距离；
如果子区域类型为位于码垛区域中心点右侧的第三子区域，则所述定点码垛位置为位于码垛区域中心点左侧的第三定点。
这样设置的好处在于：通过将码垛区域划分为左、中、右三个子区域，并控制行李接放机器人所处的定点与目标码放区域相交错的方式，可以避免在行李接放机器人执行码放任务时，行李接放机器人进入奇异点。
前端传送带430可以用于传送待分类的行李；后端传送带440可以用于传送待码放的可码放行李。
分类相机450，可以用于获取前端传送带430当前传送的待接取行李的第一彩色点云信息。
形位测量相机460，可以用于获取后端传送带440上待接取行李的第二彩色点云信息。
垛型测量相机470，可以用于获取码垛区域的区域图像。
可选的，行李接放机器人420可以由主控系统410进行控制，行李接放机器人420可以为六轴机器人，其第六轴可以安装有末端执行器，末端执行器可以为托盘式末端执行器，托盘上安装有传送带，行李接放机器人420底部可以连接有滑轨，滑轨可设置为第七轴；行李接放机器人420与后端传送带440之间可通过驱动器电性连接，以实时读取后端传送带440的运动状态，并实时监控当前待接取行李在后端传送带440上的动态位置；行李接放机器人420执行接取任务时，可以根据进入形位测量区域的行李位姿动态调整接取姿态，机器人末端执行器会伸入后端传送带440末端下方接取位置，末端执行器到达所述接取位置后，后端传送带440重新启动并向前传输，进而末端执行器的传送带开启，并同步后端传送带440的传输速度，行李接放机器人420可以实时匹配后端传送带440的速度，实现同步运动，以完成接取任务。
进一步的，当行李接放机器人420完成行李接取任务后，前端传送带430会重新开启，将后续待分类行李传输至待分类区域，以实现连续的行李自动接放。
本发明实施例的技术方案，通过在机场行李自动接取系统中设置主控系统、行李接放机器人、前端传送带、后端传送带、分类相机、形位测量相机以及垛型测量相机的方式，能够实现对机场行李的自动分类、精准接取以及准确快速的自动化在线装载规划，能够有效提高机场的经济性和运行效率。
实施例五
图5示出了可以用来实施本发明的实施例的电子设备50的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备50包括至少一个处理器51，以及与至少一个处理器51通信连接的存储器，如只读存储器（ROM）52、随机访问存储器（RAM）53等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器51可以根据存储在只读存储器（ROM）52中的计算机程序或者从存储单元58加载到随机访问存储器（RAM）53中的计算机程序，来执行各种适当的动作和处理。在RAM 53中，还可存储电子设备50操作所需的各种程序和数据。处理器51、ROM 52以及RAM 53通过总线54彼此相连。输入/输出（I/O）接口55也连接至总线54。
电子设备50中的多个部件连接至I/O接口55，包括：输入单元56，例如键盘、鼠标等；输出单元57，例如各种类型的显示器、扬声器等；存储单元58，例如磁盘、光盘等；以及通信单元59，例如网卡、调制解调器、无线通信收发机等。通信单元59允许电子设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器51执行上文所描述的各个方法和处理，例如如本发明实施例所述的机场行李自动接取方法。也即：
获取前端传送带当前传送的待接取行李的第一彩色点云信息，并根据第一彩色点云信息，获取所述待接取行李的行李类别；
如果行李类别为可码放行李，则在待接取行李从前端传送带传送至后端传送带后，获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息；
根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域；
将目标码放区域和行李位姿信息发送至靠近后端传送带设置的行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。
在一些实施例中，机场行李自动接取方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元58。在一些实施例中，计算机程序的部分或者全部可以经由ROM 52和/或通信单元59而被载入和/或安装到电子设备50上。当计算机程序加载到RAM 53并由处理器51执行时，可以执行上文描述的机场行李自动接取方法的一个或多个步骤。备选地，在其他实施例中，处理器51可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行机场行李自动接取方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种机场行李自动接取方法，其特征在于，包括：
获取前端传送带当前传送的待接取行李的第一彩色点云信息，并根据第一彩色点云信息，获取所述待接取行李的行李类别；其中，所述第一彩色点云信息包括第一彩色图像和第一点云数据；
如果行李类别为可码放行李，则在待接取行李从前端传送带传送至后端传送带后，获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息；
根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域；
其中，根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域，包括：
通过堆垛区域内设置的垛型测量相机，获取码垛区域的区域图像，并根据所述区域图像，获取码垛区域的垛型信息；
将行李尺寸信息和垛型信息输入至与码垛区域匹配的分层树搜索模型中，获取与码垛区域内各备选行李码放位置分别对应的目标节点特征；
将行李尺寸信息、垛型信息以及与码垛区域内各备选行李码放位置分别对应的目标节点特征输入至深度强化学习模型中，获取与当前待装载行李匹配的目标码放位置；
将目标码放区域和行李位姿信息发送至靠近后端传送带设置的行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。
2.根据权利要求1所述的方法，其特征在于，获取前端传送带当前传送的待接取行李的第一彩色点云信息，并根据第一彩色点云信息，获取所述待接取行李的行李类别，包括：
通过行李分类区域内设置的分类相机，获取前端传送带当前传送的待接取行李的第一彩色点云信息；
生成与第一彩色图像匹配的图像特征矩阵，并生成与第一点云数据匹配的点云特征矩阵；
对图像特征矩阵和点云特征矩阵进行特征拼接，得到特征拼接矩阵；
将特征拼接矩阵输入至预先训练的卷积神经网络分类模型中，获取所述待接取行李的行李类别。
3.根据权利要求2所述的方法，其特征在于，生成与第一彩色图像匹配的图像特征矩阵，包括：
将所述第一彩色图像进行至少一项图像预处理操作后，将预处理后图像映射得到n×n阶的图像特征矩阵；
其中，所述图像预处理操作包括：第一彩色图像中感兴趣区域的识别及裁剪、第一彩色图像的图像尺寸调整以及第一彩色图像的灰度化处理；
生成与第一点云数据匹配的点云特征矩阵，包括：
重定义第一点云数据的点云坐标轴方向，其中，点云坐标轴中的z轴正方向重定义为垂直于待接取行李所在平面且远离待接取行李所在平面的方向；
对第一点云数据进行直通滤波，筛选出主体点云数据；
创建所述主体点云数据的最小立方体包围盒，其中，所述最小立方体包围盒的各面均与点云坐标轴中的各坐标平面垂直或平行；
将所述最小立方体包围盒在点云坐标轴中的xoy平面内进行投影，得到目标投影正方形，并将目标投影正方形划分为n×n个局部正方形；
将主体点云数据向xoy平面内进行投影，并根据每个局部正方形中所落入的主体点云数据点的z坐标均值，形成n×n阶的高度特征矩阵；
使用x方向梯度算子对所述高度特征矩阵进行卷积运算，得到x方向卷积结果，并使用y方向梯度算子对所述高度特征矩阵进行卷积运算，得到y方向卷积结果；
将x方向卷积结果和y方向卷积结果进行模相加，得到与三维点云数据匹配的点云特征矩阵。
4.根据权利要求1所述的方法，其特征在于，获取待接取行李相对于后端传送带的行李位姿信息，包括：
通过形位采集区域内设置的形位测量相机，获取后端传送带上待接取行李的第二彩色点云信息，第二彩色点云信息包括第二彩色图像和第二点云数据；
重定义第二点云数据的点云坐标轴方向，其中，点云坐标轴中的z轴正方向重定义为垂直于待接取行李所在平面且远离待接取行李所在平面的方向；
舍弃第二点云数据的高度坐标值后，将第二点云数据向xoy平面投影为平面点云数据L；
其中，
，
，i为点云数据点的序号，pi表示L中序号为i的点
云数据点；n为平面点云数据中的点云数据点总数量；
计算L的几何中心，并计算所述几何中心相对于后端传送端轴线的偏移位置；
按照公式：
，
，对L进行去均值化处理，得到第一点云处理数据Ld，Avg(.)为各行元素的均值；
按照公式：
，
，对Ld进行归一化处理，得到第二点云处理数据L’，Max(.)为各行元素的最大值；
按照公式：
计算得到L’的协方差矩阵C，并获取与C中的最大特征值对应的目标特征向量与后端传送带运动方向之间夹角，作为第一旋转角度
；
提取所述第二彩色图像中行李边缘的至少一个直线组，并在所述至少一个直线组中获取包围面积最大目标直线组作为行李边缘所在直线组；
在所述目标直线组中，获取第一长边和第二长边的对称轴与后端传送带轴线所夹的锐角，作为第二旋转角度
；
在
和
中，选取待接取行李相对于后端传送带轴线的偏转角度。
5.根据权利要求4所述的方法，其特征在于，在
和
中，选取待接取行李相对于后端传送带轴线的偏转角度，包括：
以L的几何中心作为旋转中心O,将L中的每个点云数据点按照下述公式分别围绕O点旋转-
和-
，得到与
对应的第一旋转点云数据和与
对应的第二旋转点云数据；
其中，m=1,2；(xi,yi)表示L中的第i个点云数据点坐标；x0表示旋转中心O的x轴值、y0表
示旋转中心O的y轴值，(xim,yim)表示第i个点云数据点按照-
旋转后得到的旋转点云数据
点坐标；
获取与第一旋转点云数据对应的第一极值点坐标集合，并获取与第一极值点坐标集合对应的第一包围面积；
获取与第二旋转点云数据对应的第二极值点坐标集合，获取与第二极值点坐标集合对应的第二包围面积；
在第一包围面积和第二包围面积中，获取与最小包围面积对应的旋转角度，作为待接取行李相对于后端传送带轴线的偏转角度；
相应的，获取待接取行李的行李尺寸信息，具体包括：
获取与所述最小包围面积匹配的x轴最大值xmax、x轴最小值xmin、y轴最大值ymax以及y轴最小值ymin；
根据公式：
计算待接取行李的长度测量尺寸lb，以及宽度测量尺寸wb；
在第二点云数据的各高度坐标值中，获取最大高度坐标值，以及最小高度坐标值，并计算最大高度坐标值和最小高度坐标值之间的高度差；
如果所述高度差小于预设的高度阈值，则在第二点云数据中识别点云重心点，并获取与点云重心点对应的高度坐标值作为行李箱厚度测量值；
如果所述高度差大于或者等于所述高度阈值，则将最大高度坐标值作为行李箱厚度测量值。
6.一种机场行李自动接取装置，其特征在于，包括：
第一彩色点云信息获取模块，用于获取前端传送带当前传送的待接取行李的第一彩色点云信息，并根据第一彩色点云信息，获取所述待接取行李的行李类别；其中，所述第一彩色点云信息包括第一彩色图像和第一点云数据；
尺寸位姿信息获取模块，用于如果行李类别为可码放行李，则在待接取行李从前端传送带传送至后端传送带后，获取待接取行李相对于后端传送带的行李位姿信息，以及待接取行李的行李尺寸信息；
接取位置姿态获取模块，用于根据行李尺寸信息，确定待接取行李在码垛区域内的目标码放区域；
其中，接取位置姿态获取模块，包括：
通过堆垛区域内设置的垛型测量相机，获取码垛区域的区域图像，并根据所述区域图像，获取码垛区域的垛型信息；
将行李尺寸信息和垛型信息输入至与码垛区域匹配的分层树搜索模型中，获取与码垛区域内各备选行李码放位置分别对应的目标节点特征；
将行李尺寸信息、垛型信息以及与码垛区域内各备选行李码放位置分别对应的目标节点特征输入至深度强化学习模型中，获取与当前待装载行李匹配的目标码放位置；
信息发送模块，用于将目标码放区域以及行李位姿信息发送至靠近后端传送带设置的行李接放机器人，以控制行李接放机器人按照由行李位姿信息确定的接取位置和接取姿态接取后端传送带上的待接取行李后，将待接取行李码放至目标码放区域。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的机场行李自动接取方法。
8.一种机场行李自动接取系统，其特征在于，包括：主控系统、行李接放机器人、前端传送带、后端传送带、分类相机、形位测量相机以及垛型测量相机，其中：
所述分类相机，用于获取前端传送带当前传送的待接取行李的第一彩色点云信息；
所述形位测量相机，用于获取后端传送带上待接取行李的第二彩色点云信息；
所述垛型测量相机，用于获取码垛区域的区域图像；
所述主控系统，用于执行如权利要求1-5任一项所述的方法；
所述行李接放机器人，用于根据主控系统发送的行李位姿信息，确定接取位置和接取姿态，并按照所述接取位置和接取姿态接取后端传送带上的待接取行李；根据主控系统发送的目标码放区域，确定所述目标码放区域在码垛区域内的子区域类型；根据所述子区域类型确定定点码垛位置，并在移动至所述定点码垛位置后，将所述待接取行李码放至目标码放区域；所述行李接放机器人为托盘式末端执行器；
其中，如果子区域类型为位于码垛区域中心点左侧的第一子区域，则所述定点码垛位置为位于码垛区域中心点右侧的第一定点；
如果子区域类型为位于码垛区域中心点中部的第二子区域，则所述定点码垛位置为位于码垛区域中心点右侧的第二定点；其中，第二定点相对于码垛区域中心点的距离大于第一定点相对于码垛区域中心点的距离；
如果子区域类型为位于码垛区域中心点右侧的第三子区域，则所述定点码垛位置为位于码垛区域中心点左侧的第三定点。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的机场行李自动接取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211264266.8A CN115321090B (zh) | 2022-10-17 | 2022-10-17 | 机场行李自动接取方法、装置、设备、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211264266.8A CN115321090B (zh) | 2022-10-17 | 2022-10-17 | 机场行李自动接取方法、装置、设备、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115321090A CN115321090A (zh) | 2022-11-11 |
| CN115321090B true CN115321090B (zh) | 2023-01-13 |
Family
ID=83915267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211264266.8A Active CN115321090B (zh) | 2022-10-17 | 2022-10-17 | 机场行李自动接取方法、装置、设备、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115321090B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115973724B (zh) * | 2023-03-20 | 2023-06-27 | 中国民航大学 | 航空行李自动化调姿方法、装置、设备及介质 |
| CN117416695B (zh) * | 2023-11-29 | 2024-03-22 | 北京中航智信建设工程有限公司 | 一种行李传输轨道机器人系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110370279A (zh) * | 2019-04-03 | 2019-10-25 | 牧今科技 | 具有物体识别和处理机制的机器人系统及其操作方法 |
| CN111453401A (zh) * | 2020-03-25 | 2020-07-28 | 佛山缔乐视觉科技有限公司 | 工件的自动拾取方法和装置 |
| CN114648233A (zh) * | 2022-03-29 | 2022-06-21 | 苏州艾吉威机器人有限公司 | 一种动态工位货物搬运方法和系统 |
| CN114677674A (zh) * | 2022-04-15 | 2022-06-28 | 河北农业大学 | 一种基于双目点云的苹果快速识别定位方法 |
| CN114851192A (zh) * | 2022-04-25 | 2022-08-05 | 达闼机器人股份有限公司 | 机器人控制方法、装置、终端及机器人控制系统 |
| CN115063670A (zh) * | 2022-06-10 | 2022-09-16 | 上海节卡机器人科技有限公司 | 一种自动分拣方法、装置及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259958B (zh) * | 2020-01-15 | 2024-04-16 | 北京市商汤科技开发有限公司 | 物体识别方法及装置、存储介质 |
-
2022
- 2022-10-17 CN CN202211264266.8A patent/CN115321090B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110370279A (zh) * | 2019-04-03 | 2019-10-25 | 牧今科技 | 具有物体识别和处理机制的机器人系统及其操作方法 |
| US10583560B1 (en) * | 2019-04-03 | 2020-03-10 | Mujin, Inc. | Robotic system with object identification and handling mechanism and method of operation thereof |
| CN111453401A (zh) * | 2020-03-25 | 2020-07-28 | 佛山缔乐视觉科技有限公司 | 工件的自动拾取方法和装置 |
| CN114648233A (zh) * | 2022-03-29 | 2022-06-21 | 苏州艾吉威机器人有限公司 | 一种动态工位货物搬运方法和系统 |
| CN114677674A (zh) * | 2022-04-15 | 2022-06-28 | 河北农业大学 | 一种基于双目点云的苹果快速识别定位方法 |
| CN114851192A (zh) * | 2022-04-25 | 2022-08-05 | 达闼机器人股份有限公司 | 机器人控制方法、装置、终端及机器人控制系统 |
| CN115063670A (zh) * | 2022-06-10 | 2022-09-16 | 上海节卡机器人科技有限公司 | 一种自动分拣方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115321090A (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115321090B (zh) | 机场行李自动接取方法、装置、设备、系统及介质 | |
| US11794343B2 (en) | System and method for height-map-based grasp execution | |
| US20220203547A1 (en) | System and method for improving automated robotic picking via pick planning and interventional assistance | |
| CN115330819B (zh) | 一种软包分割定位方法、工控机和机器人抓取系统 | |
| US12036678B2 (en) | Transparent object bin picking | |
| CN115781673A (zh) | 一种零件抓取方法、装置、设备及介质 | |
| CN112936257A (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
| CN115319739A (zh) | 一种基于视觉机械臂抓取工件方法 | |
| CN114913346A (zh) | 一种基于产品颜色及形状识别的智能分拣系统及方法 | |
| CN115973724B (zh) | 航空行李自动化调姿方法、装置、设备及介质 | |
| CN114800533B (zh) | 一种用于工业机器人的分拣控制方法及系统 | |
| Han et al. | Toward fully automated metal recycling using computer vision and non-prehensile manipulation | |
| CN113111899A (zh) | 基于图像分类的物体识别或物体注册的方法及计算系统 | |
| CN106364903A (zh) | 单目立体视觉堆叠工件分拣方法 | |
| CN112288038B (zh) | 基于图像分类的物体识别或物体注册的方法及计算系统 | |
| CN115100416A (zh) | 一种不规则钢板位姿识别方法及相关设备 | |
| CN115258509A (zh) | 物品拣选方法及装置、计算机可读存储介质 | |
| CN115070757A (zh) | 物体抓取方法、装置、机器人及存储介质 | |
| CN114241286A (zh) | 对象的抓取方法、装置、存储介质及电子装置 | |
| Bhuyan et al. | Structure‐aware multiple salient region detection and localization for autonomous robotic manipulation | |
| US20240257505A1 (en) | Method for neural network adaptation | |
| CN118220723B (zh) | 基于机器视觉的精确码垛方法及系统 | |
| CN116309442B (zh) | 挑拣信息的确定方法及目标对象的挑拣方法 | |
| Knak et al. | Towards Food Handling Robots for Automated Meal Preparation in Healthcare Facilities | |
| Player et al. | Real-Time Generative Grasping with Spatio-temporal Sparse Convolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |