CN111429507A - 一种基于多个3d镜头的测量体积装置 - Google Patents

一种基于多个3d镜头的测量体积装置 Download PDF

Info

Publication number
CN111429507A
CN111429507A CN202010290577.6A CN202010290577A CN111429507A CN 111429507 A CN111429507 A CN 111429507A CN 202010290577 A CN202010290577 A CN 202010290577A CN 111429507 A CN111429507 A CN 111429507A
Authority
CN
China
Prior art keywords
camera
lenses
point cloud
volume
package
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010290577.6A
Other languages
English (en)
Inventor
邱鹏
张箫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yifang Technology Co ltd
Original Assignee
Shenzhen Yifang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yifang Technology Co ltd filed Critical Shenzhen Yifang Technology Co ltd
Priority to CN202010290577.6A priority Critical patent/CN111429507A/zh
Publication of CN111429507A publication Critical patent/CN111429507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及测量技术领域，一种基于多个3D镜头的测量体积装置，其使用方法包括如下步骤：步骤1、台面识别提取：通过多个3D镜头对目标物品进行图像获取，通过计算得到台面参数,台面参数为台面所在平面的法向量和台面法线方向上各镜头相对于台面的高度H；步骤2、相机匹配：计算多个3D镜头之间的相对位姿参数，在多个相机中选取一个相机坐标系作为基准坐标系，将除基准相机之外的所有其他相机与基准相机做相对位姿解算；步骤3、点云融合：使用3D镜头的深度图经过相机变换后转化为相机空间的点云坐标数据；步骤4、三维建模；步骤5、体积计算：在包裹的Delaunay三角网的基础之上计算包裹的装箱体积。

Description

一种基于多个3D镜头的测量体积装置
技术领域
本发明涉及测量及测量技术领域，特别是一种基于多个3D镜头的测量体积装置。
背景技术
近年以来,随着各大电商平台的高速发展，物流快递行业也进入了蓬勃发展的时期。自2013年中国物流市场规模首次超过美国以后，中国物流市场规模始终占据全球第一的位置。在物流快递行业，包裹运转时,物流快递公司需要获取包裹体积及三维尺寸信息,用以优化仓储空间、核算运输成本。传统的快递包裹体积测量多为效率低下的接触式测量,随着体积自动测量设备在行业内的普及,测量效率要求更高、测量精度要求更高的设备需求在行业内普遍存在。
方案1：卡尺、卷尺测量，通过人工使用卡尺或者卷尺等传统的测量工具以接触式测量的方式测量货物体积。
方案2：2D彩色相机拍照测量，使用普通的彩色相机拍摄的彩色图像，然后从彩色图像中估算三维坐标信息。最后通过估算的三维信息来计算货物的体积。
方案3：光幕测量，测量光幕是一种特殊的光电传感器，其主要组成部分有发光器和受光器以及控制器。发光器发出红外光线信号，由受光器直接进行接收，形成保护光幕。当扫描包裹时，包裹表面将会阻挡一部分红外光线使其对应接收器不能接收到相对应的红外光线。测量光幕使用同步扫描来识别被挡光线，它以一种扫描的方式，配合控制器和软件，实现检测和测量物体外形尺寸的方法。
方案4：超声波测量，此方式基于高精度的超声波传感器的数据来测量货物体积。超声波在空气中的传播速度已知(340m/s),通过记录超声波在发射后遇到货物后反射回来的时间，根据发射和接收的时间差计算出发射点到包裹的实际距离。根据此方式即可采集到真实的三维空间信息，并计算得到货物的体积。
方案5：单个3D镜头拍照测量，此方式也是基于3D镜头的体积测量方法。不同点在于，此方式只使用1个3D镜头在一个角度对货物进行数据数据采集。通常是将镜头固定在台面顶部，然后以垂直向下拍摄的方式拍摄平放在台面上的包裹，然后根据这一个角度拍摄的三维信息数据来估算货物体积。
方案1不足：卡尺、卷尺测量，此方式通过接触式方式测量，测量效率低下。此方式高度依赖人工经验，测量精度低下。
方案2不足：2D彩色相机拍照测量，彩色相机采集的原始数据只有色彩信息没有深度信息，只能通过相关算法从彩色图中估算三维坐标信息。又由于现有的基于彩色图像的三维坐标信息估算算法精度低下的缺陷，导致此技术方案的计算精度低下。
方案3不足：光幕测量，这种单方向的平行扫描方式难以准确的扫描货物的侧面细节，导致测量精度低。
方案4不足：超声波测量，由于超声波传感器的价格高昂，对物流快递企业的成本控制造成巨大压力。
方案5不足：单个3D镜头拍照测量，此方式只使用1个3D镜头在一个角度对货物进行数据采集。这就导致了它不能够拍摄货物各个方向的凸起细节，也不能构建完整的货物3D模型。因此计算得到的货物体积精度也相对较低。
发明内容
为解决上述问题，本发明提出的基于多个3D镜头的测量体积装置，可对物体体积进行准确测量。
为实现上述目的，本发明采用的技术方案是：
一种基于多个3D镜头的测量体积装置，其使用方法包括如下步骤：
步骤1、台面识别提取：通过多个3D镜头对目标物品进行图像获取，通过计算得到台面参数，台面参数为台面所在平面的法向量和台面法线方向上各镜头相对于台面的高度H；
步骤2、相机匹配：计算多个3D镜头之间的相对位姿参数，在多个相机中选取一个相机坐标系作为基准坐标系，将除基准相机之外的所有其他相机与基准相机做相对位姿解算，然后，根据三维空间变换的特点，通过矩阵计算即可得到每对相机之间的相对位姿；
步骤3、点云融合：使用3D镜头的深度图经过相机变换后转化为相机空间的点云坐标数据，然后使用相机匹配计算得到的相机相对位姿参数通过3维空间坐标变换，将所有3D镜头的稠密点云融合到同一空间坐标系下完成点云融合；
步骤4、三维建模：通过特定方法去除点云的噪声点，将去噪后的点云构建成待测包裹的Delaunay三角网网格模型；
步骤5、体积计算：在包裹的Delaunay三角网的基础之上计算包裹的装箱体积。
本发明的有益效果是：
1、一键测量，效率高：该装置有一套完整的测量系统，一键点击即可快速测量包裹体积。
2、测量准确度高：例如：在测量长宽高尺寸为1m*1m*1m的货物时，该装置的测量精度可以达到单边±5毫米(mm)误差的精度。
3、可以测量异形包裹的各方向的凸起：基于该装置的多镜头多角度拍摄特点，测量包裹体积时，同时使用多角度的图像数据融合后计算体积，从而达到测量异形包裹的各方向的凸起部分的技术特点。
4、测量范围可扩展：基于该装置的多镜头可扩展特性，可以通过增加镜头的安装数量和安装角度以增加拍摄范围，从而增加测量范围。
附图说明
图1为本发明基于多个3D镜头的测量体积装置使用流程图。
具体实施方式
以下结合附图对本发明进行详细的描述。
本装置的使用方法如下。
1、台面识别提：通过使用包括但不限于TOF原理、双目立体视觉原理、结构光匹配原理等方式的3D镜头进行原始数据采集。通过使用包括但不限于3D镜头的深度图像、彩色图像、IR图像等图像数据进行台面识别提取，使用包括但不限于图像前景分割、图像聚类分割、平面拟合分割等分割算法识别提取台面，并计算得到台面的台面参数。
计算得到的台面参数为台面所在平面的法向量
Figure BDA0002450242850000053
和台面法线方向上各镜头相对于台面的高度H。
2.相机匹配：相机匹配的目的是计算多个3D镜头之间的相对位姿参数(通常用如下4×4的变换矩阵T表示)
Figure BDA0002450242850000051
简化表示为：
Figure BDA0002450242850000052
其中，R：三维旋转矩阵；t：平移向量。
使用包括但不限于对极几何法，Perspective-n-Point(PnP)法、IterativeClosest Point(ICP)法、频率域图像匹配法等方法进行相机相对位姿解算得到相机位姿参数T。
相机相对位姿解算策略使用包括但不限于实时解算、一次解算多次测量、异常触发更新解算等策略，使得系统在相机匹配稳定性与计算资源占用上达到一个相对平衡的状态。
相机相对位姿解算时，在多个相机中选取一个相机坐标系作为基准坐标系(以此相机作为基准相机)。然后，将除基准相机之外的所有其他相机与基准相机做相对位姿解算。然后，根据三维空间变换的特点，通过矩阵计算即可得到每对相机之间的相对位姿。
3.点云融合：使用3D镜头的深度图经过相机变换后转化为相机空间的点云坐标数据。然后使用相机匹配计算得到的相机相对位姿参数(变换矩阵T)通过3维空间坐标变换，将所有3D镜头的稠密点云融合到同一空间坐标系(基准坐标系)下完成点云融合。
4.三维建模：受制于“3D镜头”本身的缺陷，采集到的点云数据存在错误的噪声点。通过使用包括但不限于高斯滤波、均值滤波，移动最小二乘滤波等方法去除点云的噪声点。
使用包括但不限于递归生长算法、凸闭包收缩算法、逐层三角网构建算法等方法将去噪后的点云构建成待测包裹的Delaunay三角网网格模型。
5.体积计算
在包裹的Delaunay三角网的基础之上计算包裹的装箱体积。装箱体积：能够容纳货物的最小体积的长方体容器的排水体积。
使用包括但不限于基于主成分分析(PCA)的体积计算方法，基于旋转凸包的体积计算方法等方法在三角网络的基础之上计算包裹的装箱体积。
以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上可以作出许多变化，只要这些变化未脱离本发明的构思，均属于本发明的保护范围。

Claims (1)

1.一种基于多个3D镜头的测量体积装置，其特征在于：其使用方法包括如下步骤：
步骤1、台面识别提取：通过多个3D镜头对目标物品进行图像获取，通过计算得到台面参数，台面参数为台面所在平面的法向量和台面法线方向上各镜头相对于台面的高度H；
步骤2、相机匹配：计算多个3D镜头之间的相对位姿参数，在多个相机中选取一个相机坐标系作为基准坐标系，将除基准相机之外的所有其他相机与基准相机做相对位姿解算，根据三维空间变换的特点，通过矩阵计算即可得到每对相机之间的相对位姿；
步骤3、点云融合：使用3D镜头的深度图经过相机变换后转化为相机空间的点云坐标数据，使用相机匹配计算得到的相机相对位姿参数通过3维空间坐标变换，将所有3D镜头的稠密点云融合到同一空间坐标系下完成点云融合；
步骤4、三维建模：通过特定方法去除点云的噪声点，将去噪后的点云构建成待测包裹的Delaunay三角网网格模型；
步骤5、体积计算：在包裹的Delaunay三角网的基础之上计算包裹的装箱体积。
CN202010290577.6A 2020-04-14 2020-04-14 一种基于多个3d镜头的测量体积装置 Pending CN111429507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010290577.6A CN111429507A (zh) 2020-04-14 2020-04-14 一种基于多个3d镜头的测量体积装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010290577.6A CN111429507A (zh) 2020-04-14 2020-04-14 一种基于多个3d镜头的测量体积装置

Publications (1)

Publication Number Publication Date
CN111429507A true CN111429507A (zh) 2020-07-17

Family

ID=71556251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010290577.6A Pending CN111429507A (zh) 2020-04-14 2020-04-14 一种基于多个3d镜头的测量体积装置

Country Status (1)

Country Link
CN (1) CN111429507A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281777A (zh) * 2021-04-07 2021-08-20 深圳市异方科技有限公司 一种货物体积动态测量方法及其测量装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106152942A (zh) * 2016-08-03 2016-11-23 湖南航天机电设备与特种材料研究所 一种浮空器囊体多相机联合测量方法
CN106225678A (zh) * 2016-09-27 2016-12-14 北京正安维视科技股份有限公司 基于3d相机的动态物体定位与体积测量方法
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
CN108981569A (zh) * 2018-07-09 2018-12-11 南京农业大学 一种基于多光谱点云融合的高通量温室植物表型测量系统
CN109166146A (zh) * 2018-07-19 2019-01-08 上海斐讯数据通信技术有限公司 一种基于imu和视觉的食物体积估计方法及系统
CN109556511A (zh) * 2018-11-14 2019-04-02 南京农业大学 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统
CN109632033A (zh) * 2019-02-22 2019-04-16 浙江大学滨海产业技术研究院 一种体积测量的设备与方法
CN109916302A (zh) * 2019-03-27 2019-06-21 青岛小鸟看看科技有限公司 一种载货箱体的体积测量方法和系统
CN109916301A (zh) * 2019-03-27 2019-06-21 青岛小鸟看看科技有限公司 一种体积测量方法和深度相机模组
CN109993785A (zh) * 2019-03-27 2019-07-09 青岛小鸟看看科技有限公司 一种货箱体积测量方法和深度相机模组
CN110017773A (zh) * 2019-05-09 2019-07-16 福建（泉州）哈工大工程技术研究院 一种基于机器视觉的包裹体积测量方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
CN106152942A (zh) * 2016-08-03 2016-11-23 湖南航天机电设备与特种材料研究所 一种浮空器囊体多相机联合测量方法
CN106225678A (zh) * 2016-09-27 2016-12-14 北京正安维视科技股份有限公司 基于3d相机的动态物体定位与体积测量方法
CN108981569A (zh) * 2018-07-09 2018-12-11 南京农业大学 一种基于多光谱点云融合的高通量温室植物表型测量系统
CN109166146A (zh) * 2018-07-19 2019-01-08 上海斐讯数据通信技术有限公司 一种基于imu和视觉的食物体积估计方法及系统
CN109556511A (zh) * 2018-11-14 2019-04-02 南京农业大学 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统
CN109632033A (zh) * 2019-02-22 2019-04-16 浙江大学滨海产业技术研究院 一种体积测量的设备与方法
CN109916302A (zh) * 2019-03-27 2019-06-21 青岛小鸟看看科技有限公司 一种载货箱体的体积测量方法和系统
CN109916301A (zh) * 2019-03-27 2019-06-21 青岛小鸟看看科技有限公司 一种体积测量方法和深度相机模组
CN109993785A (zh) * 2019-03-27 2019-07-09 青岛小鸟看看科技有限公司 一种货箱体积测量方法和深度相机模组
CN110017773A (zh) * 2019-05-09 2019-07-16 福建（泉州）哈工大工程技术研究院 一种基于机器视觉的包裹体积测量方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281777A (zh) * 2021-04-07 2021-08-20 深圳市异方科技有限公司 一种货物体积动态测量方法及其测量装置

Similar Documents

Publication Publication Date Title
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN106767399B (zh) 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN109272523B (zh) 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN110118526B (zh) 一种支持实时监测的船载砂石体积自动计算方法
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN110503040B (zh) 障碍物检测方法及装置
Fruh et al. Fast 3D model generation in urban environments
CN109961468A (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN111412842B (zh) 墙面的截面尺寸的测量方法及装置、系统
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
JP2011174879A (ja) 位置姿勢推定装置及びその方法
US20190339207A1 (en) System and method for flexibly holding workpiece and reporting workpiece location
CN104794717A (zh) 一种基于双目视觉系统的深度信息对比方法
CN116958146B (zh) 3d点云的采集方法及装置、电子装置
Ahmadabadian et al. Image selection in photogrammetric multi-view stereo methods for metric and complete 3D reconstruction
Fernandez et al. Planar-based camera-projector calibration
Jung et al. A novel 2.5 D pattern for extrinsic calibration of tof and camera fusion system
Sirmacek et al. Accuracy assessment of building point clouds automatically generated from iphone images
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN111429507A (zh) 一种基于多个3d镜头的测量体积装置
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination