CN111310740A - 一种运动情况下行人行李体积测量装置 - Google Patents

一种运动情况下行人行李体积测量装置 Download PDF

Info

Publication number
CN111310740A
CN111310740A CN202010290954.6A CN202010290954A CN111310740A CN 111310740 A CN111310740 A CN 111310740A CN 202010290954 A CN202010290954 A CN 202010290954A CN 111310740 A CN111310740 A CN 111310740A
Authority
CN
China
Prior art keywords
pedestrian
luggage
measurement
volume
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010290954.6A
Other languages
English (en)
Other versions
CN111310740B (zh
Inventor
张箫
邱鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yifang Technology Co ltd
Original Assignee
Shenzhen Yifang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yifang Technology Co ltd filed Critical Shenzhen Yifang Technology Co ltd
Priority to CN202010290954.6A priority Critical patent/CN111310740B/zh
Publication of CN111310740A publication Critical patent/CN111310740A/zh
Application granted granted Critical
Publication of CN111310740B publication Critical patent/CN111310740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及测量技术领域，一种运动情况下行人行李体积测量装置，包括以下使用步骤，在测量场景中，测量传感器固定对准测量区域一直处于连续拍摄状态，通过多个传感器固定在多个位置且使用多个角度同时对测量区域进行拍照测量，当行人识别成功触发测量命令之后，所有传感器在同一时刻各自获取一帧传感器数据；将传感器数据融合完成之后，在融合后的数据中分别识别和分割行人和行李目标；通过特定方法去除点云的噪声点；使用特定方法将去噪后的点云构建成待测包裹的Delaunay三角网模型；在三角网模型上完成行人体积计算和行李体积计算。本装置可以在行人和行李不分离的情况下完成对行人和行李的准确测量。

Description

一种运动情况下行人行李体积测量装置
技术领域
本发明涉及测量技术领域，特别是一种运动情况下行人行李体积测量装置。
背景技术
旅客在机场登机时，需要对行李进行检查。通常由于旅客在飞机起飞前2小时内集中登机，当旅客的行李多时，往往使登机速度缓慢,甚至会导致出现航班延误情况。并且，体积超标的行李还存另一隐患，当多位旅客随身携带行李体积超标时将导致飞机内放置行李的储物空间不够用，剩余行李的放置就是给空乘人员的出的难题。如果这部分行李随意放置，在飞机飞行过程中可能导致严重的安全隐患。
目前，在国内的很多机场，在旅客登机时安检人员并没有没有使用高效、精确的体积测量装置测量旅客的随身携带的行李体积。针对这种现状，我司研发了一种运动情况下行人行李体积测量装置。此装置可以在行人携带行李且在运动情况下自动同时测量行人和行李的体积数据。此种装置的普及可以在极大的提高旅客登机效率的同时消除超标行李导致的安全隐患。
方案1：静止状态下的行人行李分离式测量方法。在将行人和行李分离后，静止不动的情况下分别测量各自体积的方法。此类方式多使用卡尺、卷尺等接触式测量工具或者非接触式测量装置测量各自体积。
方案2：运动状态下行人行李分离式测量方法。在将行人和行李分离后，使用不同的测量装置各自在运动情况下测量体积的方法。此类方式多使用可以动态测量的非接触式测量装置测量各自体积。
方案1不足：静止状态下的行人行李分离式测量方法。静止状态下的测量方式耗时长、效率相对较低。分离式的测量方式下，需要其他装置或者步骤用于目标分离，存在成本高且效率低的缺点。
方案2不足：运动状态下行人行李分离式测量方法。分离式的测量方式下，需要其他装置或者步骤用于目标分离，存在成本高且效率低的缺点。
发明内容
为解决上述问题，本发明提出的运动情况下行人行李体积测量装置，其可以实现乘客和物品不分离的情况实现对物品的准确测量。
为实现上述目的，本发明采用的技术方案是：
一种运动情况下行人行李体积测量装置，包括以下使用步骤：
步骤1、行人识别：在测量场景中，测量传感器固定对准测量区域一直处于连续拍摄状态。当有行人通过该区域时，行人识别模块通过传感器的数据识别到行人，则启动测量步骤
步骤2、数据融合：通过多个传感器固定在多个位置且使用多个角度同时对测量区域进行拍照测量，当行人识别成功触发测量命令之后，所有传感器在同一时刻各自获取一帧传感器数据；根据各传感器之间的标定好的相对位姿参数将传感器的数据融合到同一坐标系下；
步骤3、目标分割：将传感器数据融合完成之后，在融合后的数据中分别识别和分割行人和行李目标；
步骤4、三维建模：通过使用但不限于高斯滤波、均值滤波，移动最小二乘滤波中的一种方法去除点云的噪声点；
通过使用但不限于递归生长算法、凸闭包收缩算法、逐层三角网构建算法中任一种方法将去噪后的点云构建成待测包裹的Delaunay三角网网格模型；
步骤5、体积测量：行人体积计算：在行人三维模型中通过使用计算头顶点与脚后跟最低点之间的高度差方法来计算行人身高；使用人体关键点识别、标准人体模型模板匹配方法识别出行人的肩部、胸部、臀部这三围区域的尺寸；
行李体积计算：通过使用但不限于基于主成分分析的体积计算方法、基于旋转凸包的体积计算方法中任一种方法在三角网络的基础之上计算行李的装箱体积。
作为优选的，在步骤3中，还包括行人分割：在融合后的三维点云数据中使用但不限于人体骨骼识别分割、基于HOG特征和支持向量机方法、Constrained Planar Cuts、基于深度学习的语意分割，基于标准人体模板的模板匹配分割中的一种分割算法分割出行人的点云数据；
行李分割：在融合后的三维点云数据中使用但不限于平面拟合，模板匹配分割、Locally Convex Connected Patches分割方法中的一种分割出行李的点云数据。
本发明的有益效果是：
多个传感器多角度拍摄，使用多传感器多角度同时拍摄测量区域的数据，然后将多角度数据融合后计算目标体积，使得该装置计算精度高。
基于目标分割的多目标同时测量，在融合后的数据上使用多目标分割方式，保证只使用一次拍摄的数据就能够同时计算出行人体积与行李的体积数据。
自动触发测量，通过行人识别触发测量的方式，确保在行人与行李在运动的情况下完成行人与行李的体积计算。
本装置不需要行人与行李保持静止状态而是在行人与行李运动情况下测得体积数据。此方式相对于静止测量的效率有了较大提升。并且能够在行人不产生测量感知的条件下被观测，从而减少了测量工作人员的工作步骤，降低了工作难度。以往测量方式需要将行人与行李分离后分别测量。而本装置在不分离行人和行李的情况下能够同时测得两者体积。
附图说明
图1为本发明运动情况下行人行李体积测量装置的使用流程图。
具体实施方式
以下结合附图对本发明进行详细的描述。
如图1所示，本实施例提出的运动情况下行人行李体积测量装置，包括如下过程：
行人识别：使用包括但不限于3D镜头等传感器采集到的数据进行行人和行李的体积测量。在测量场景中，测量传感器固定对准测量区域一直处于连续拍摄状态。当有行人通过该区域时，行人识别模块通过传感器的数据识别到行人，则启动测量步骤。行人识别方法基于包括但不限于彩色图像数据、深度图像数据、IR图像数据，并使用包括但不限于人脸识别、人体骨骼识别、人体姿态识别、手势识别等识别方法。
数据融合：此装置使用包括但不限于多个3D镜头等传感器固定在多个位置且使用多个角度同时对测量区域进行拍照测量。该装置的所有传感器之间的相机标定已经通过使用包括但不限于人工标定、对极几何法，Perspective-n-Point(PnP)法、IterativeClosest Point(ICP)法、频率域图像匹配法等自动标定方法完成了镜头标定。当行人识别成功触发测量命令之后，所有传感器在同一时刻各自获取一帧传感器数据。然后根据各传感器之间的标定好的相对位姿参数将传感器的数据融合到同一坐标系下，融合的数据包括但不限于彩色图像、深度图像、IR图像、三维空间点云数据。
目标分割：将传感器数据融合完成之后，在融合后的数据中分别识别和分割行人和行李目标。行人分割：在融合后的三维点云数据中使用包括但不限于人体骨骼识别分割、基于HOG特征+支持向量机(SVM)方法、Constrained Planar Cuts(CPC)、基于深度学习的语意分割，基于标准人体模板的模板匹配分割等分割算法分割出行人的点云数据。行李分割：在融合后的三维点云数据中使用包括但不限于平面拟合，模板匹配分割、Locally ConvexConnected Patches(LCCP)等分割方法分割出行李的点云数据。
三维建模：受制于传感器本身的缺陷，采集到的点云数据存在错误的噪声点。通过使用包括但不限于高斯滤波、均值滤波，移动最小二乘滤波等方法去除点云的噪声点。使用包括但不限于递归生长算法、凸闭包收缩算法、逐层三角网构建算法等方法将去噪后的点云构建成待测包裹的Delaunay三角网网格模型。
体积测量：行人体积：行人身高+行人三围尺寸。装箱体积：能够容纳货物的最小体积的长方体容器的排水体积。行人体积计算：在行人三维模型中通过使用包括但不限于计算头顶点与脚后跟最低点之间的高度差方法来计算行人身高。使用包括但不限于人体关键点识别，标准人体模型模板匹配等方法识别出行人的肩部、胸部、臀部这三围区域的尺寸。行李体积计算：使用包括但不限于基于主成分分析(PCA)的体积计算方法、基于旋转凸包的体积计算方法等方法在三角网络的基础之上计算行李的装箱体积。
以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上可以作出许多变化，只要这些变化未脱离本发明的构思，均属于本发明的保护范围。

Claims (2)

1.一种运动情况下行人行李体积测量装置，其特征在于：包括以下使用步骤：
步骤1、行人识别：在测量场景中，测量传感器固定对准测量区域一直处于连续拍摄状态，当有行人通过该区域时，行人识别模块通过传感器的数据识别到行人，然后启动测量步骤
步骤2、数据融合：通过多个传感器固定在多个位置且使用多个角度同时对测量区域进行拍照测量，当行人识别成功触发测量命令之后，所有传感器在同一时刻各自获取一帧传感器数据；根据各传感器之间的标定好的相对位姿参数将传感器的数据融合到同一坐标系下；
步骤3、目标分割：将传感器数据融合完成之后，在融合后的数据中分别识别和分割行人和行李目标；
步骤4、三维建模：通过使用但不限于高斯滤波、均值滤波，移动最小二乘滤波中的一种或多种方法去除点云的噪声点；
通过使用但不限于递归生长算法、凸闭包收缩算法、逐层三角网构建算法中任一种方法将去噪后的点云构建成待测包裹的Delaunay三角网网格模型；
步骤5、体积测量：行人体积计算：在行人三维模型中通过使用计算头顶点与脚后跟最低点之间的高度差方法来计算行人身高；使用人体关键点识别、标准人体模型模板匹配方法识别出行人的肩部、胸部、臀部这三围区域的尺寸；
行李体积计算：通过使用但不限于基于主成分分析的体积计算方法、基于旋转凸包的体积计算方法中任一种方法在三角网络的基础之上计算行李的装箱体积。
2.根据权利要求1所述的运动情况下行人行李体积测量装置，其特征在于：在步骤3中，还包括行人分割：在融合后的三维点云数据中使用人体骨骼识别分割、基于HOG特征和支持向量机方法、Constrained Planar Cuts、基于深度学习的语意分割，基于标准人体模板的模板匹配分割中的一种分割算法分割出行人的点云数据；
行李分割：在融合后的三维点云数据中使用平面拟合，模板匹配分割、Locally ConvexConnected Patches分割方法中的一种分割出行李的点云数据。
CN202010290954.6A 2020-04-14 2020-04-14 一种运动情况下行人行李体积测量装置 Active CN111310740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010290954.6A CN111310740B (zh) 2020-04-14 2020-04-14 一种运动情况下行人行李体积测量装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010290954.6A CN111310740B (zh) 2020-04-14 2020-04-14 一种运动情况下行人行李体积测量装置

Publications (2)

Publication Number Publication Date
CN111310740A true CN111310740A (zh) 2020-06-19
CN111310740B CN111310740B (zh) 2023-03-28

Family

ID=71162755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010290954.6A Active CN111310740B (zh) 2020-04-14 2020-04-14 一种运动情况下行人行李体积测量装置

Country Status (1)

Country Link
CN (1) CN111310740B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435291A (zh) * 2020-12-15 2021-03-02 武汉万集信息技术有限公司 一种多目标体积测量方法、装置及存储介质
CN113281777A (zh) * 2021-04-07 2021-08-20 深圳市异方科技有限公司 一种货物体积动态测量方法及其测量装置
CN113781315A (zh) * 2021-07-21 2021-12-10 武汉市异方体科技有限公司 一种基于多视角的同源传感器数据融合滤波方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056056A (zh) * 2016-05-23 2016-10-26 浙江大学 一种远距离非接触的行李体积检测系统及其方法
CN108318929A (zh) * 2017-12-28 2018-07-24 河南辉煌信通软件有限公司 一种人物不分离的铁路安检系统
WO2019098782A1 (ko) * 2017-11-20 2019-05-23 (주)토탈소프트뱅크 화물의 중량 및 체적 계측 시스템
CN109858437A (zh) * 2019-01-30 2019-06-07 苏州大学 基于生成查询网络的行李体积自动分类方法
CN110866944A (zh) * 2019-12-06 2020-03-06 民航成都物流技术有限公司 托运行李测量识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056056A (zh) * 2016-05-23 2016-10-26 浙江大学 一种远距离非接触的行李体积检测系统及其方法
WO2019098782A1 (ko) * 2017-11-20 2019-05-23 (주)토탈소프트뱅크 화물의 중량 및 체적 계측 시스템
CN108318929A (zh) * 2017-12-28 2018-07-24 河南辉煌信通软件有限公司 一种人物不分离的铁路安检系统
CN109858437A (zh) * 2019-01-30 2019-06-07 苏州大学 基于生成查询网络的行李体积自动分类方法
CN110866944A (zh) * 2019-12-06 2020-03-06 民航成都物流技术有限公司 托运行李测量识别方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435291A (zh) * 2020-12-15 2021-03-02 武汉万集信息技术有限公司 一种多目标体积测量方法、装置及存储介质
CN113281777A (zh) * 2021-04-07 2021-08-20 深圳市异方科技有限公司 一种货物体积动态测量方法及其测量装置
CN113781315A (zh) * 2021-07-21 2021-12-10 武汉市异方体科技有限公司 一种基于多视角的同源传感器数据融合滤波方法

Also Published As

Publication number Publication date
CN111310740B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
US10417775B2 (en) Method for implementing human skeleton tracking system based on depth data
Yang et al. An onboard monocular vision system for autonomous takeoff, hovering and landing of a micro aerial vehicle
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN110047111B (zh) 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN111310740B (zh) 一种运动情况下行人行李体积测量装置
CN109794948A (zh) 配网带电作业机器人及识别定位方法
CN103735269B (zh) 一种基于视频多目标跟踪的高度测量方法
CN104091369A (zh) 一种无人机遥感影像建筑物三维损毁检测方法
CN106991688A (zh) 人体跟踪方法、人体跟踪装置和电子装置
Fan et al. Vision algorithms for fixed-wing unmanned aerial vehicle landing system
Rosero et al. Calibration and multi-sensor fusion for on-road obstacle detection
CN108225273A (zh) 一种基于传感器先验知识的实时跑道检测方法
Sereewattana et al. Depth estimation of markers for UAV automatic landing control using stereo vision with a single camera
CN111796605A (zh) 无人机降落控制方法、控制器和无人机
CN108876819A (zh) 一种基于泊松多伯努利滤波的三维多目标追踪算法
CN105631431B (zh) 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法
CN106991379A (zh) 结合深度信息的人体皮肤识别方法及装置和电子装置
Yang et al. Method for building recognition from FLIR images
EP3905008A1 (en) Depth information based gesture determination for mobile platforms
CN115690743A (zh) 一种基于深度学习的机场停机位入侵的检测方法
CN114049542A (zh) 一种动态场景下基于多传感器的融合定位方法
KR101558285B1 (ko) 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법
Rahiman et al. Automated object recognition and pattern matching analysis of runways using surface track data
Xia et al. Research on Object Measurement Based on 3D Stereo Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant