CN111783569A - 一种自助托运系统的行李规格检测与人包信息绑定方法 - Google Patents

一种自助托运系统的行李规格检测与人包信息绑定方法 Download PDF

Info

Publication number
CN111783569A
CN111783569A CN202010551016.7A CN202010551016A CN111783569A CN 111783569 A CN111783569 A CN 111783569A CN 202010551016 A CN202010551016 A CN 202010551016A CN 111783569 A CN111783569 A CN 111783569A
Authority
CN
China
Prior art keywords
luggage
point cloud
tray
point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010551016.7A
Other languages
English (en)
Other versions
CN111783569B (zh
Inventor
张琪琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Wanwei Intelligent Manufacturing Technology Co ltd
Original Assignee
Tianjin Wanwei Intelligent Manufacturing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Wanwei Intelligent Manufacturing Technology Co ltd filed Critical Tianjin Wanwei Intelligent Manufacturing Technology Co ltd
Priority to CN202010551016.7A priority Critical patent/CN111783569B/zh
Publication of CN111783569A publication Critical patent/CN111783569A/zh
Application granted granted Critical
Publication of CN111783569B publication Critical patent/CN111783569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自助托运系统的行李规格检测与人包信息绑定方法，属于智慧机场辅助设备技术领域，一种自助托运系统的行李规格检测与人包信息绑定方法，包括深度相机采集三维点云信息、三维点云数据处理、弹力压缩算法测行李尺寸、采用引力分割算法检测行李件数、托盘识别、行李种类检测、人脸检测、行李目标检测、人包信息绑定等步骤，本发明对可以托运的行李进行检测并提取深度特征，同时对该行李旅客进行人脸检测与深度特征提取，然后将人脸信息与箱包信息进行绑定，并赋予其唯一ID，保证行李安全托运同时，为行李丢失提供找回依据，便于丢失行李的找回。

Description

一种自助托运系统的行李规格检测与人包信息绑定方法
技术领域
本发明涉及智慧机场辅助设备技术领域，更具体地说，涉及一种自助托运系统的行李规格检测与人包信息绑定方法。
背景技术
我国机场在经历了“电子机场”、“数字机场”、“智能机场”阶段的同时，随着物联网、大数据、云计算、移动互联网等技术的发展，国内民航专业人员根据已提出的“智慧地球”和“智慧城市”的概念提出了“智慧机场”的发展理念。智慧机场是通过智能平台将航空公司、旅客、航空器、机场等单位有机融合，把所有单元进行联通和互动，使各个运营单位在同一平台上协同作业，打破传统各自为政，各系统独立存在的模式，让旅客出行更高效、安全、便捷，真正实现“智慧”融合。
智慧机场需要为乘客提供快速、高效、无缝链接式的服务，如果要大规模实现这一目标，人工智能自动化是唯一根本有效的途径。随着科学技术的发展OCR识别、人脸识别、自动驾驶、机器人等技术的迭代应用，智能化应用已经在我们生活里屡见不鲜。5G技术、云计算、大数据等“黑科技”将为智慧机场的高效运行、自动化智慧服务、智能安保助力。
目前的现代化机场还不能对旅客的行李进行充分保护，旅客行李出现丢失的现象屡见不鲜，因此如何实现对旅客行李和旅客信息进行有效融合是智慧机场急需解决的问题。
发明内容
1.要解决的技术问题
针对现有技术中存在的问题，本发明的目的在于提供一种自助托运系统的行李规格检测与人包信息绑定方法，本发明对可以托运的行李进行检测并提取深度特征，同时对该行李旅客进行人脸检测与深度特征提取，然后将人脸信息与箱包信息进行绑定，并赋予其唯一ID，保证行李安全托运同时，为行李丢失提供找回依据，便于丢失行李的找回。
2.技术方案
为解决上述问题，本发明采用如下的技术方案。
一种自助托运系统的行李规格检测与人包信息绑定方法，包括以下步骤：
S1、接到主控发送的检测命令，RGB相机和3D相机分别采集办理托运旅客以及行李图像数据，深度相机采集三维点云信息；
S2、对深度相机采集的三维点云数据处理，只保留行李部分的三维点云数据；
S3、采用弹力压缩算法测行李尺寸，采用引力分割算法检测行李件数，若尺寸超规则退出并进行超过的提示，若为多件则退出并进行放置多件提示，若尺寸合规并且行李的件数为一件则进行S4；
S4、对合规的一件行李采用局部特征检测与全局配准结合算法进行托盘识别：
若检测到有托盘，则采用引力迭代势能最小化算法进行托盘定位，定位到托盘后将托盘部分的点云进行去除，然后进行S5；
若没有检测到托盘的存在，则直接进行S5；
S5、采用径向基函数RBF的SVM方法进行行李种类检测：
若行李的类型是拉杆箱，则允许直接托运；
若行李的类型为软包或者纸箱，查看S4中的检测信息是否含有托盘，若有，则允许直接托运，否则退出，提示加托盘托运；
S6、在进行S2-S5的同时将RGB相机采集到的办理行李托运的旅客的图像进行人脸检测，并提取人脸部分深度特征，将RGB相机采集到的行李图像进行行李目标检测，并提取行李部分深度特征，然后将人脸部分深度特征与行李部分深度特征进行绑定，生成唯一的ID信息并转发上传；
S7、循环S1-S6，不断进行行李规格的检测和人包信息绑定。
进一步的，所述S2中，三维点云数据处理包括以下步骤：
S21、点云直通滤波：直通滤波器就在数据的属性上设置范围，对点云数据值得范围进行滤波，保留行李部分的点云信息，将其无用的信息删除；
S21、离群点检测及高斯滤波：经过点云的直通滤波后，在允许的空间范围内还存在用于深度相机漂移而产生的离群点，采用基于一元正态分布的离群点检测方法检测离群点的位置，并使用高斯滤波删除离群点云数据；
S23、行李点云配准：求不同坐标系下的两个点云之间的旋转平移矩阵，将源点云变换到目标点云相同的坐标系下，将安装在托运系统上不同位置和不同角度的多个深度相机进行点云配准，组合拼接成一个完整的行李点云模型。
进一步的，所述采用弹力压缩算法测行李尺寸的具体过程为：
根据实际经验和点云质量确定一个阈值，将点云按照不用的位置设定改点的弹力大小，若累计的弹力值大于设定的阈值则停止压缩，此时的最大值与最小值差值则为行李的实际尺寸规格；
一维弹力压缩法：在一个维度上进行压缩，弹力大于阈值时则此时的点云的最大值即为行李的实际高度；
二维弹力压缩法：从四个方向上分别压缩行李点云数据，当四个方向的弹力值都大于阈值时，此时的最大值与最小值绝对值只差即为行李的长度和宽度。
进一步的，所述S3中，采用引力分割算法检测行李件数的具体过程为：
S31、首先计算行李的规格，若行李的规格没有达到设定的阈值，则判定为一件行李，不需要使用该算法进行行李件数的判别，算法结束；
S32、若行李的规格大于设定的阈值，则首先计算行李距传送带中心线的偏转角度，以该角度计算出深度图像上对应的垂线；
S33、将该垂线的方程中的常数B增加，从而使该垂线向下移动；
S34、判断该直线方程上非背景点的像素个数占整条直线上像素个数的比值是否大于设定的阈值，若大于则执行S35，若不大于，则执行S33；
S35、若S33的执行次数大于设定阈值，则结束，判定为一件行李，否则执行S36；
S36、以该直线上的第一个非背景点到最后一个非背景点为范围找到第一个背景点，该背景点可能为分割裂缝的起点；
S7、计算S36中背景点的引力值是否大于设定引力的阈值，若大于，则判定为两件行李，若不大于设定阈值，则执行S36直线上下一个背景点；
S8、若S36中的背景点寻找完毕，并且没有一个以该背景点计算出的引力值大于设定的阈值，则判定为一件行李。
进一步的，所述S4中，采用局部特征检测与全局配准结合算法进行托盘识别的具体过程为：
S41、首先由行李的尺寸判断是否接近托盘的实际尺寸，若不接近则认为该次检测的行李中不存在托盘，若接近则进行S42；
S42、通过主成分分析方法分析托盘边缘点云，遍历行李点云模型中的每一个点ρ，对于每一个点ρ进行S3-S5；
S43、若ρ的高度小于等于托盘的高度HT，则进行S4步骤，否则该点不是托盘上边缘上的疑似点；
S44、令S为ρ周围半径为r领域范围内所有高度小于等于HT的点组成的点集，Xs和Ys分别为S所有点的X坐标集合和Y坐标集合，计算出Xs和Ys的数据方差Vx和Vy；
S45、设定阈值C(C>1)，当Vx/Vy>C或Vy/Vx>C时，认为该点为托盘边缘的疑似点，否则则不是托盘上疑似点。
进一步的，所述S4中，采用引力迭代势能最小化算法进行托盘定位的具体过程为：
假设托盘模板点云与真实的托盘点云之间存在引力势能，该引力势能驱动真实的模板点云通过旋转和平移变换与模板托盘点云重合，在此旋转和平移的过程中，引力做功使得两者之间的引力势能不断减小，当引力势能最小化时，真实的托盘点云与模板点云之间的重合度达到最高，此时就能准确的定位真是的托盘点云的位置；
建立引力势能目标函数E，通过旋转和平移变换使得该引力势能的目标函数最小化，即真实的托盘点云与模板点云之间的重合度达到最高，引力势能目标函数为
Figure BDA0002542530080000051
托盘配准是寻找最佳的旋转平移参数，从点云集φ变换到ξ的过程S，其中E(RT)是引力势能目标函数，R是旋转矩阵，T是平移矩阵，当真实的托盘点云与模板点云之间的重合度最高时(即该引力势能目标函数最小时)得到的旋转矩阵R和平移矩阵T为模板点云向真实点云变换的参数；
α是一个可变参数，根据实际不同的点云密度改变大小，其中RT可由刚体矩阵X表示为：
Figure BDA0002542530080000052
进一步的，所述S5中，采用径向基函数RBF的SVM方法进行行李种类检测的具体过程为：
采用机器学习算法SVM，将拉杆箱作为正样本，软包类作为负样本；提取两类样本的三维模型的特征值，构成特征向量，对SVM进行有监督的训练学习；
其中SVM的核函数采用径向基核函数RBF提高分类的精度，RBF核函数将每一个样本点映射到一个无穷维的特征空间，将m×n的数据集映射为m×m维的数据集，其中m表示样本的个数，n表示样本的种类，径向基核函数RBF的数学定义为K(x,y)＝exp(-γ||x-y||2)，得到径向基函数RBF的SVM的分类器模型之后调用该分类器进行行李类别的分类。
进一步的，所述S6中，人脸检测的具体过程为：采用人脸检测网络得到人脸的Boundingbox以及五点信息，然后通过特征提取网络提取BoundingBox内人脸的深度高度抽象化特征，得到人脸部分深度特征。
进一步的，所述S6中，行李目标检测的具体过程为：采用目标检测网络得到行李的Boundingbox，然后通过特征提取网络提取BoundingBox内行李的高度抽象化特征，得到行李部分深度特征。
进一步的，所述S6中，人包绑定的具体过程为：在获得人脸部分深度特征与行李部分深度特征后，通过非对称加密机制随机数生成器来生成256位随机数作为私钥，通过SHA256哈希算法和Base58转换，形成50个字符长度易识别和书写私钥上传，将人脸部分深度特征与行李部分深度特征绑定，完成人包绑定。
3.有益效果
相比于现有技术，本发明的优点在于：
(1)本发明对可以托运的行李进行检测并提取深度特征，同时对该行李旅客进行人脸检测与深度特征提取，然后将人脸信息与箱包信息进行绑定，并赋予其唯一ID，保证行李安全托运同时，为行李丢失提供找回依据，便于丢失行李的找回。
(2)本发明可对旅客托运的行李进行3D检测，判断其规格是否满足行李托运的要求，如果满足则进行托运，否则提示相应的处理方法。
(3)本发明采用弹力压缩方法进行行李规格的检测，用弹力压缩方法可以有效的减少行李条以及包带点云对行李尺寸检测的影响，具有实际的应用价值。
(4)本发明可对行李箱包的类别进行检测，对于双肩背包、手提包等软包类的行李在传送带传送的过程中，由于背带的存在容易挂在边角突出的地方，当检测出行李为软包类的行李提示加托盘托运，有效避免双肩背包、手提包类行李托运输送过程中对托运设备造成的损伤。
附图说明
图1为本发明的流程示意图；
图2为本发明中行李尺寸检测的方法流程图；
图3为本发明中托盘检测的方法流程图；
图4为本发明中循环迭代引力最小化势能的计算流程图；
图5为本发明中径向基函数RBF的SVM训练流程图；
图6为本发明中行李目标检测的方法流程图；
图7为本发明中人脸检测的方法流程图；
图8为本发明中人包信息绑定的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图；对本发明实施例中的技术方案进行清楚、完整地描述；显然；所描述的实施例仅仅是本发明一部分实施例；而不是全部的实施例，基于本发明中的实施例；本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例；都属于本发明保护的范围。
实施例1：
请参阅图1，一种自助托运系统的行李规格检测与人包信息绑定方法，包括以下步骤：
S1、接到主控发送的检测命令，RGB相机和3D相机分别采集办理托运旅客以及行李图像数据，深度相机采集三维点云信息；
S2、对深度相机采集的三维点云数据处理，只保留行李部分的三维点云数据；
S3、采用弹力压缩算法测行李尺寸，采用引力分割算法检测行李的件数，若尺寸超规则退出并进行超过的提示，若为多件则退出并进行放置多件提示，若尺寸合规并且行李的件数为一件则进行S4；
S4、对合规的一件行李采用局部特征检测与全局配准结合算法进行托盘识别：
若检测到有托盘，则采用引力迭代势能最小化算法进行托盘定位，定位到托盘后将托盘部分的点云进行去除，然后进行S5；
若没有检测到托盘的存在，则直接进行S5；
S5、采用径向基函数RBF的SVM方法进行行李种类检测：
若行李的类型是拉杆箱，则允许直接托运；
若行李的类型为软包或者纸箱，查看S4中的检测信息是否含有托盘，若有，则允许直接托运，否则退出，提示加托盘托运；
S6、在进行S2-S5的同时将RGB相机采集到的办理行李托运的旅客的图像进行人脸检测，并提取人脸部分的深度特征，将RGB相机采集到的行李图像进行的行李的目标检测，提取其行李部分的深度特征，然后将人脸信息与行李信息进行绑定，生成唯一的ID信息并转发上传；
S7、循环S1-S6，不断进行行李规格的检测和人包信息绑定。
S2中，三维点云数据处理包括以下步骤：
S21、点云直通滤波：直通滤波器就在数据的属性上设置范围，对点云数据值得范围进行滤波，保留行李部分的点云信息，将其无用的信息删除；
S21、离群点检测及高斯滤波：经过点云的直通滤波后，在允许的空间范围内还存在用于深度相机漂移而产生的离群点，本发明采用基于一元正态分布的离群点检测方法检测离群点的位置，并使用高斯滤波删除离群点云数据；
S23、行李点云配准：点云配准过程就是求不同坐标系下的两个点云之间的旋转平移矩阵，将源点云变换到目标点云相同的坐标系下。将安装在托运系统上不同位置和不同角度的多个深度相机进行点云配准，组合拼接成一个完整的行李点云模型，即可满足测量空间范围的要求。
请参阅图2，采用弹力压缩算法测行李尺寸的具体过程为：
由于行李上的点云最大值和最小值得差值并不能完全体现行李尺寸的规格，因此采用弹力压缩方法进行行李规格的检测。弹力压缩方法就是设定一个阈值(根据实际经验和点云质量确定)，将点云按照不用的位置设定改点的弹力大小，若累计的弹力值大于设定的阈值则停止压缩，此时的最大值与最小值差值则为行李的实际尺寸规格。这种方法可以有效的减少行李条以及包带点云对行李尺寸检测的影响，具有实际的应用价值。
一维弹力压缩法：在一个维度上进行压缩，弹力大于阈值时则此时的点云的最大值即为行李的实际高度；
二维弹力压缩法：从四个方向上分别压缩行李点云数据，当四个方向的弹力值都大于阈值时，此时的最大值与最小值绝对值只差即为行李的长度和宽度。
S3中，采用引力分割算法检测行李件数的具体过程为：
S31、首先计算行李的规格，若行李的规格没有达到设定的阈值，则判定为一件行李，不需要使用该算法进行行李件数的判别，算法结束。
S32、若行李的规格大于设定的阈值，则首先计算行李距传送带中心线的偏转角度，以该角度计算出深度图像上对应的垂线；
S33、将该垂线的方程中的常数B增加，从而使该垂线向下移动；
S34、判断该直线方程上非背景点的像素个数占整条直线上像素个数的比值是否大于设定的阈值，若大于则执行S35；若不大于，则执行S33；
S35、若S33的执行次数大于设定阈值，则结束，判定为一件行李，否则执行S36；
S36、以该直线上的第一个非背景点到最后一个非背景点为范围找到第一个背景点，该背景点可能为分割裂缝的起点；
S7、计算S36中背景点的引力值是否大于设定引力的阈值，若大于，则判定为两件行李，若不大于设定阈值，则执行S36直线上下一个背景点；
S8、若S36中的背景点寻找完毕，并且没有一个以该背景点计算出的引力值大于设定的阈值，则判定为一件行李。
请参阅图3，S4中，采用局部特征检测与全局配准结合算法进行托盘识别的具体过程为：
S41、首先由行李的尺寸判断是否接近托盘的实际尺寸，若不接近则认为该次检测的行李中不存在托盘；若接近则进行S42；
S42、通过主成分分析方法分析托盘边缘点云：遍历行李点云模型中的每一个点ρ；对于每一个点ρ进行S3-S5；
S43、若ρ的高度小于等于托盘的高度HT，则进行S4步骤；否则该点不是托盘上边缘上的疑似点；
S44、令S为ρ周围半径为r领域范围内所有高度小于等于HT的点组成的点集，Xs和Ys分别为S所有点的X坐标集合和Y坐标集合，计算出Xs和Ys的数据方差Vx和Vy；
S45、设定阈值C(C>1)，当Vx/Vy>C或Vy/Vx>C时，认为该点为托盘边缘的疑似点，否则则不是托盘上疑似点。
请参阅图4，S4中，采用引力迭代势能最小化算法进行托盘定位的具体过程为：
假设托盘模板点云与真实的托盘点云之间存在引力势能，该引力势能驱动真实的模板点云通过旋转和平移变换与模板托盘点云重合，在此旋转和平移的过程中，引力做功使得两者之间的引力势能不断减小，当引力势能最小化时，真实的托盘点云与模板点云之间的重合度达到最高，此时就能准确的定位真是的托盘点云的位置；
建立引力势能目标函数E，通过旋转和平移变换使得该引力势能的目标函数最小化，即真实的托盘点云与模板点云之间的重合度达到最高，引力势能目标函数定义如下：
Figure BDA0002542530080000111
托盘配准是寻找最佳的旋转平移参数，从点云集φ变换到ξ的过程S，其中E(RT)是引力势能目标函数，R是旋转矩阵，T是平移矩阵，当真实的托盘点云与模板点云之间的重合度最高时(即该引力势能目标函数最小时)得到的旋转矩阵R和平移矩阵T为模板点云向真实点云变换的参数；α是一个可变参数，根据实际不同的点云密度改变大小，其中RT可由刚体矩阵X表示为：
Figure BDA0002542530080000112
请参阅图5，S5中，采用径向基函数RBF的SVM方法进行行李种类检测的具体过程为：
对于拉杆箱等规则物体不需要添加托盘可以进行直接托运，但是对于双肩背包，手提包等软包类的行李在传送带传送的过程中，由于背带的存在容易挂在边角突出的地方，因此需要进行行李类别的检测，若该行李为软包类的行李应当提示加托盘托运。
采用机器学习算法SVM，将拉杆箱作为正样本，软包类作为负样本；提取两类样本的三维模型的特征值，构成特征向量，对SVM进行有监督的训练学习；
其中SVM的核函数采用径向基核函数RBF提高分类的精度，RBF核函数将每一个样本点映射到一个无穷维的特征空间，将m×n的数据集映射为m×m维的数据集，其中m表示样本的个数，n表示样本的种类，径向基核函数RBF的数学定义为K(x,y)＝exp(-γ||x-y||2)，得到径向基函数RBF的SVM的分类器模型之后就可以调用该分类器进行行李类别的分类。
S6中，当旅客确认托运，并且接收到主控的开始检测命令后，安装在托运系统各个角度的RGB相机采集行李的RGB图像，同时安装在值机顶端的RGB相机采集人脸图像。得到行李的RGB数据进行行李目标检测，得到行李的Boundingbox；得到旅客的RGB数据，需要进行旅客的人脸识别，得到旅客人脸的Boundingbox以及人脸的五点信息；通过深度特征提取得到行李和人脸的深度特征信息，并将人脸和行李的深度信息通过非对称加密机制随机数生成器生成秘钥进行绑定。
请参阅图6，行李目标检测的具体过程为：采用目标检测网络(如Fsater-RCNN，Yolov3等目标检测网络)得到行李的Boundingbox，然后通过特征提取网络(ResNet50等)提取BoundingBox内行李的高度抽象化特征，该特征可用于人包信息的绑定，可也用于箱包再识别。
请参阅图7，人脸检测的具体过程为：采用人脸检测网络(如MTCNN，libfacedetection，Retinaface等网络)得到人脸的Boundingbox以及五点信息，然后通过特征提取网络(ResNet50等)提取BoundingBox内人脸的深度高度抽象化特征，该特征可用于人包信息的绑定，可也用于人脸识别。
请参阅图8，在获得人脸深度特征信息与行李深度特征信息后，通过非对称加密机制随机数生成器来生成256位随机数作为私钥，通过SHA256哈希算法和Base58转换，形成50个字符长度易识别和书写私钥上传，也可应用区块链技术通过结点连接的散状网络分层结构，能够在整个网络中实现信息的全面传递，并能够检验信息的准确程度。
当人和包的信息经过绑定之后，便可人的信息得到包的深度特征，使用再识别技术匹配现有的数据库中的包的信息；反之也可通过行李的信息确定旅客的信息，这样大大地降低了行李丢失可能性，减少了不必要的损失。
以上所述；仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此；任何熟悉本技术领域的技术人员在本发明揭露的技术范围内；根据本发明的技术方案及其改进构思加以等同替换或改变；都应涵盖在本发明的保护范围内。

Claims (10)

1.一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：包括以下步骤：
S1、接到主控发送的检测命令，RGB相机和3D相机分别采集办理托运旅客以及行李图像数据，深度相机采集三维点云信息；
S2、对深度相机采集的三维点云数据处理，只保留行李部分的三维点云数据；
S3、采用弹力压缩算法测行李尺寸，采用引力分割算法检测行李件数，若尺寸超规则退出并进行超过的提示，若为多件则退出并进行放置多件提示，若尺寸合规并且行李的件数为一件则进行S4；
S4、对合规的一件行李采用局部特征检测与全局配准结合算法进行托盘识别：
若检测到有托盘，则采用引力迭代势能最小化算法进行托盘定位，定位到托盘后将托盘部分的点云进行去除，然后进行S5；
若没有检测到托盘的存在，则直接进行S5；
S5、采用径向基函数RBF的SVM方法进行行李种类检测：
若行李的类型是拉杆箱，则允许直接托运；
若行李的类型为软包或者纸箱，查看S4中的检测信息是否含有托盘，若有，则允许直接托运，否则退出，提示加托盘托运；
S6、在进行S2-S5的同时将RGB相机采集到的办理行李托运的旅客的图像进行人脸检测，并提取人脸部分深度特征，将RGB相机采集到的行李图像进行行李目标检测，并提取行李部分深度特征，然后将人脸部分深度特征与行李部分深度特征进行绑定，生成唯一的ID信息并转发上传；
S7、循环S1-S6，不断进行行李规格的检测和人包信息绑定。
2.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述S2中，三维点云数据处理包括以下步骤：
S21、点云直通滤波：直通滤波器就在数据的属性上设置范围，对点云数据值得范围进行滤波，保留行李部分的点云信息，将其无用的信息删除；
S21、离群点检测及高斯滤波：经过点云的直通滤波后，在允许的空间范围内还存在用于深度相机漂移而产生的离群点，采用基于一元正态分布的离群点检测方法检测离群点的位置，并使用高斯滤波删除离群点云数据；
S23、行李点云配准：求不同坐标系下的两个点云之间的旋转平移矩阵，将源点云变换到目标点云相同的坐标系下，将安装在托运系统上不同位置和不同角度的多个深度相机进行点云配准，组合拼接成一个完整的行李点云模型。
3.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述采用弹力压缩算法测行李尺寸的具体过程为：
根据实际经验和点云质量确定一个阈值，将点云按照不用的位置设定改点的弹力大小，若累计的弹力值大于设定的阈值则停止压缩，此时的最大值与最小值差值则为行李的实际尺寸规格；
一维弹力压缩法：在一个维度上进行压缩，弹力大于阈值时则此时的点云的最大值即为行李的实际高度；
二维弹力压缩法：从四个方向上分别压缩行李点云数据，当四个方向的弹力值都大于阈值时，此时的最大值与最小值绝对值只差即为行李的长度和宽度。
4.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述S3中，采用引力分割算法检测行李件数的具体过程为：
S31、首先计算行李的规格，若行李的规格没有达到设定的阈值，则判定为一件行李，不需要使用该算法进行行李件数的判别，算法结束；
S32、若行李的规格大于设定的阈值，则首先计算行李距传送带中心线的偏转角度，以该角度计算出深度图像上对应的垂线；
S33、将该垂线的方程中的常数B增加，从而使该垂线向下移动；
S34、判断该直线方程上非背景点的像素个数占整条直线上像素个数的比值是否大于设定的阈值，若大于则执行S35，若不大于，则执行S33；
S35、若S33的执行次数大于设定阈值，则结束，判定为一件行李，否则执行S36；
S36、以该直线上的第一个非背景点到最后一个非背景点为范围找到第一个背景点，该背景点可能为分割裂缝的起点；
S7、计算S36中背景点的引力值是否大于设定引力的阈值，若大于，则判定为两件行李，若不大于设定阈值，则执行S36直线上下一个背景点；
S8、若S36中的背景点寻找完毕，并且没有一个以该背景点计算出的引力值大于设定的阈值，则判定为一件行李。
5.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述S4中，采用局部特征检测与全局配准结合算法进行托盘识别的具体过程为：
S41、首先由行李的尺寸判断是否接近托盘的实际尺寸，若不接近则认为该次检测的行李中不存在托盘，若接近则进行S42；
S42、通过主成分分析方法分析托盘边缘点云，遍历行李点云模型中的每一个点ρ，对于每一个点ρ进行S3-S5；
S43、若ρ的高度小于等于托盘的高度HT，则进行S4步骤，否则该点不是托盘上边缘上的疑似点；
S44、令S为ρ周围半径为r领域范围内所有高度小于等于HT的点组成的点集，Xs和Ys分别为S所有点的X坐标集合和Y坐标集合，计算出Xs和Ys的数据方差Vx和Vy；
S45、设定阈值C(C>1)，当Vx/Vy>C或Vy/Vx>C时，认为该点为托盘边缘的疑似点，否则则不是托盘上疑似点。
6.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述S4中，采用引力迭代势能最小化算法进行托盘定位的具体过程为：
假设托盘模板点云与真实的托盘点云之间存在引力势能，该引力势能驱动真实的模板点云通过旋转和平移变换与模板托盘点云重合，在此旋转和平移的过程中，引力做功使得两者之间的引力势能不断减小，当引力势能最小化时，真实的托盘点云与模板点云之间的重合度达到最高，此时就能准确的定位真是的托盘点云的位置；
建立引力势能目标函数E，通过旋转和平移变换使得该引力势能的目标函数最小化，即真实的托盘点云与模板点云之间的重合度达到最高，引力势能目标函数为
Figure FDA0002542530070000041
托盘配准是寻找最佳的旋转平移参数，从点云集φ变换到ξ的过程S，其中E(RT)是引力势能目标函数，R是旋转矩阵，T是平移矩阵，当真实的托盘点云与模板点云之间的重合度最高时(即该引力势能目标函数最小时)得到的旋转矩阵R和平移矩阵T为模板点云向真实点云变换的参数；
α是一个可变参数，根据实际不同的点云密度改变大小，其中RT可由刚体矩阵X表示为：
Figure FDA0002542530070000051
7.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述S5中，采用径向基函数RBF的SVM方法进行行李种类检测的具体过程为：
采用机器学习算法SVM，将拉杆箱作为正样本，软包类作为负样本；提取两类样本的三维模型的特征值，构成特征向量，对SVM进行有监督的训练学习；
其中SVM的核函数采用径向基核函数RBF提高分类的精度，RBF核函数将每一个样本点映射到一个无穷维的特征空间，将m×n的数据集映射为m×m维的数据集，其中m表示样本的个数，n表示样本的种类，径向基核函数RBF的数学定义为K(x,y)＝exp(-γ||x-y||2)，得到径向基函数RBF的SVM的分类器模型之后调用该分类器进行行李类别的分类。
8.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述S6中，人脸检测的具体过程为：采用人脸检测网络得到人脸的Boundingbox以及五点信息，然后通过特征提取网络提取BoundingBox内人脸的深度高度抽象化特征，得到人脸部分深度特征。
9.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述S6中，行李目标检测的具体过程为：采用目标检测网络得到行李的Boundingbox，然后通过特征提取网络提取BoundingBox内行李的高度抽象化特征，得到行李部分深度特征。
10.根据权利要求1所述的一种自助托运系统的行李规格检测与人包信息绑定方法，其特征在于：所述S6中，人包绑定的具体过程为：在获得人脸部分深度特征与行李部分深度特征后，通过非对称加密机制随机数生成器来生成256位随机数作为私钥，通过SHA256哈希算法和Base58转换，形成50个字符长度易识别和书写私钥上传，将人脸部分深度特征与行李部分深度特征绑定，完成人包绑定。
CN202010551016.7A 2020-06-17 2020-06-17 一种自助托运系统的行李规格检测与人包信息绑定方法 Active CN111783569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010551016.7A CN111783569B (zh) 2020-06-17 2020-06-17 一种自助托运系统的行李规格检测与人包信息绑定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010551016.7A CN111783569B (zh) 2020-06-17 2020-06-17 一种自助托运系统的行李规格检测与人包信息绑定方法

Publications (2)

Publication Number Publication Date
CN111783569A true CN111783569A (zh) 2020-10-16
CN111783569B CN111783569B (zh) 2023-08-01

Family

ID=72756010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010551016.7A Active CN111783569B (zh) 2020-06-17 2020-06-17 一种自助托运系统的行李规格检测与人包信息绑定方法

Country Status (1)

Country Link
CN (1) CN111783569B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113418467A (zh) * 2021-06-16 2021-09-21 厦门硅谷动能信息技术有限公司 基于ToF点云数据检测一般及黑色行李尺寸的方法
CN113487257A (zh) * 2021-06-30 2021-10-08 中国民航信息网络股份有限公司 一种行李管理的方法、相关装置及存储介质
CN114019572A (zh) * 2021-10-11 2022-02-08 安徽太测临峰光电科技股份有限公司 一种基于多摄像机融合的x光安检方法及安检装置
CN114049352A (zh) * 2022-01-11 2022-02-15 中航源创(天津)智能设备有限公司 一种应用于自助行李托运的行李托盘快速检测方法
CN114266992A (zh) * 2021-12-13 2022-04-01 北京超星未来科技有限公司 目标检测方法、装置及电子设备
CN115112508A (zh) * 2022-08-29 2022-09-27 民航成都物流技术有限公司 民航机场托运行李软硬包识别装置和方法
GB2622449A (en) * 2022-04-29 2024-03-20 Sita B V Article processing apparatus, system and method therefor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0354357U (zh) * 1989-09-28 1991-05-27
CN106781065A (zh) * 2016-12-30 2017-05-31 中国民航信息网络股份有限公司 自助行李托运方法和系统
CN108922071A (zh) * 2018-07-06 2018-11-30 青岛永悦光迅技术有限责任公司 一种自助值机及行李托运设备及其系统
US20190079526A1 (en) * 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
US20200097758A1 (en) * 2017-06-09 2020-03-26 Mectho S.R.L. Method and system for object detection and classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0354357U (zh) * 1989-09-28 1991-05-27
CN106781065A (zh) * 2016-12-30 2017-05-31 中国民航信息网络股份有限公司 自助行李托运方法和系统
US20200097758A1 (en) * 2017-06-09 2020-03-26 Mectho S.R.L. Method and system for object detection and classification
US20190079526A1 (en) * 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
CN108922071A (zh) * 2018-07-06 2018-11-30 青岛永悦光迅技术有限责任公司 一种自助值机及行李托运设备及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高庆吉;彭传波;方榕;: "图像纹理高强度分布的约束随机编码方法", 中国民航大学学报, no. 01 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113418467A (zh) * 2021-06-16 2021-09-21 厦门硅谷动能信息技术有限公司 基于ToF点云数据检测一般及黑色行李尺寸的方法
CN113487257A (zh) * 2021-06-30 2021-10-08 中国民航信息网络股份有限公司 一种行李管理的方法、相关装置及存储介质
CN114019572A (zh) * 2021-10-11 2022-02-08 安徽太测临峰光电科技股份有限公司 一种基于多摄像机融合的x光安检方法及安检装置
CN114266992A (zh) * 2021-12-13 2022-04-01 北京超星未来科技有限公司 目标检测方法、装置及电子设备
CN114049352A (zh) * 2022-01-11 2022-02-15 中航源创(天津)智能设备有限公司 一种应用于自助行李托运的行李托盘快速检测方法
GB2622449A (en) * 2022-04-29 2024-03-20 Sita B V Article processing apparatus, system and method therefor
CN115112508A (zh) * 2022-08-29 2022-09-27 民航成都物流技术有限公司 民航机场托运行李软硬包识别装置和方法
CN115112508B (zh) * 2022-08-29 2023-01-24 民航成都物流技术有限公司 民航机场托运行李软硬包识别装置和方法

Also Published As

Publication number Publication date
CN111783569B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111783569B (zh) 一种自助托运系统的行李规格检测与人包信息绑定方法
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
Weng et al. Enhancement of real‐time grasp detection by cascaded deep convolutional neural networks
CN109784203B (zh) 基于分层传播和激活的弱监督x光图像违禁品检查方法
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
KR102373753B1 (ko) 딥러닝 기반의 차량식별추적 방법, 및 시스템
CN105005760B (zh) 一种基于有限混合模型的行人再识别方法
CN102819733B (zh) 一种快速的街景图像中人脸的检测模糊方法
CN103514456A (zh) 基于压缩感知多核学习的图像分类方法及其装置
CN103390164A (zh) 基于深度图像的对象检测方法及其实现装置
CN107784291A (zh) 基于红外视频的目标检测跟踪方法和装置
CN109993061B (zh) 一种人脸检测与识别方法、系统以及终端设备
Alidoost et al. Knowledge based 3D building model recognition using convolutional neural networks from LiDAR and aerial imageries
CN106203539A (zh) 识别集装箱箱号的方法和装置
Zou et al. Dangerous objects detection of X-ray images using convolution neural network
Prakash et al. Accurate hand gesture recognition using CNN and RNN approaches
Wang et al. Real-time damaged building region detection based on improved YOLOv5s and embedded system from UAV images
Dousai et al. Detecting humans in search and rescue operations based on ensemble learning
Jiang et al. Remote sensing object detection based on convolution and Swin transformer
Jangade et al. Study on Deep Learning Models for Human Pose Estimation and its Real Time Application
Vera et al. Counting pedestrians in bidirectional scenarios using zenithal depth images
Hamplová et al. Cuneiform reading using computer vision algorithms
Artan et al. Car damage analysis for insurance market using convolutional neural networks
Kaur et al. Deep transfer learning based multiway feature pyramid network for object detection in images
Vempati et al. Victim detection from a fixed-wing uav: Experimental results

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant