CN112184790B - 基于深度相机的物体尺寸高精度测量方法 - Google Patents
基于深度相机的物体尺寸高精度测量方法 Download PDFInfo
- Publication number
- CN112184790B CN112184790B CN202010908854.5A CN202010908854A CN112184790B CN 112184790 B CN112184790 B CN 112184790B CN 202010908854 A CN202010908854 A CN 202010908854A CN 112184790 B CN112184790 B CN 112184790B
- Authority
- CN
- China
- Prior art keywords
- depth
- measured
- image
- data
- measured object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 230000007704 transition Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及自动测量物体体积的方法领域，具体是公开一种基于深度相机的物体尺寸高精度测量方法，方法过程如下，1)预先采集测量背景的深度图像，计算得出得出基准平面；2)采集获得被测物体的深度图像，将被测物体的深度图像定位出图像中被测物体的位置；3)去除边缘多余的过渡数据进一步精确出深度图像中被测物体的位置与大小；4)向基准平面投影得到投影图像；5)对投影图像进行孔洞填充；6)计算得出被测物体的平均高度和最大高度，并进行换算得出被测物体的实际尺寸；采用该方法深度相机在半室外的条件下获得的深度图测量出的物体体积，可以获得较高的稳定性的测量精度，同时还支持不规则、表面有高低起伏的物体测量。
Description
技术领域
本发明涉及自动测量物体体积的方法领域，具体是涉及基于深度相机的物体尺寸高精度测量方法。
背景技术
近些年，立体相机产品层出不穷。这些立体相机可以分为两大类，被动式立体相机和主动式立体相机。被动式需要在明亮环境且被测物体表面纹理清晰的条件下使用，深度测量误差大，不适合物体体积精确测量。主动式深度相机，又分为动态的和静态的。动态的一般需要配合传送带，测量精度高，但是使用成本也高，适合静态测体积的深度相机从原理上又可以分为TOF相机和结构光相机。两者受光照影响大，测量距离大于1m时，测量精度偏低。现有针对这些问题要避开的话有两种方式，一种是采用人为遮光，制造无光照干扰环境，再测量体积，还有一种是使用条形激光，这种一般需要将被测物体置于传送带上移动起来或者移动相机，这种方式也是需要进行适当的遮光处理，而且设备成本高，测量范围偏小，可见这两种方式都存在的麻烦之处。
目前普遍适用的测量方案是，先将深度图二值化，然后检测出热点区上的被测物体，依据被测物体上表面的深度值和背景的深度值之差，计算物体的高度。再依据深度信息以及被测物体在深度图像上的所占的尺寸(比例)换算出被测物体的长度和宽度，但是当被测物体不规则，上表面有起伏时，依赖平均高度换算出来的长宽会有比较大的误差，同时，由于在半室外条件下深度相机测量体积稳定性不高，容易受光照环境影响，存在物体边缘捕获不准确等问题，又会给长宽的计算带来误差。综上所述，目前3D立体相机虽然种类繁多，但是各有优劣，需要根据使用条件选择适当的相机，并配上适当算法避开相机短板，满足不了中小企业，在室内和半室外条件下精确测量包裹体积的要求。
发明内容
本发明的目的在于提供一种基于深度相机的物体尺寸高精度测量方法，采用该方法深度相机在半室外的条件下获得的深度图测量出的物体体积，可以获得较高的稳定性的测量精度，同时还支持不规则、表面有高低起伏的物体测量。
为实现上述目的，本发明的技术方案是：一种基于深度相机的半室外条件下物体尺寸高精度测量方法,方法过程如下，
1)、通过深度相机预先采集测量背景的深度图像，计算得出深度相机距离测量背景的深度相机高度，在深度相机高度的基础上，以深度相机能够测量物体的最大测量高度的5％-10％的高度计算得出基准平面；
2)、测量使用工作时，深度相机采集获得被测物体的深度图像，将被测物体的深度图像中低于基准平面高度的像素去除，去除后再通过轮廓检测方式定位出图像中被测物体的位置；
3)、对步骤2)处理后通过对深度图像中物体边缘过渡数据的筛选，去除边缘多余的过渡数据进一步精确出深度图像中被测物体的位置与大小；
4)、将步骤3)处理后的被测物体的深度图像向基准平面投影，得到投影图像；
5)、对投影图像因投影产生的孔洞进行孔洞填充；
6)、将步骤5)处理后的投影图像结合步骤3)处理后的被测物体深度图像和步骤1)的背景深度图像计算得出被测物体的平均高度和最大高度，并依据基准平面的高度和步骤5)处理后被测物体在投影图像上的尺寸，进行换算得出被测物体的实际尺寸。
步骤3)中去除多余的过渡数据的处理方法是这样的，先遍历深度图像中被测物体轮廓上的所有点，这些点即为边缘数据，然后基于被测物体轮廓上的一点向被测物体内部查找多个深度数据，并比较多个深度数据中外侧数据和内部数据的差值，如果差值大于设定的差值即认为该边缘数据是过渡数据，并将其去除。
步骤4)中深度图像向基准平面投影的投影公式为，
h为步骤3)处理后的被测物体的深度图像上被测物体的像素点x、y的深度值，Hb是基准面的深度值，
Cx、Cy为相机内参，
x、y为相机内参的坐标值，
Xb、Yb是该像素点向基准平面投影后的像素坐标。
步骤5)中的孔洞填充方法为通过统计各孔洞周围设定的区域内有效数据以及无效数据的个数，所述无效数据为成为孔洞的数据，反之则为有效数据，当对应孔洞直径小于设定的直径值时，将对应的孔洞填充。
步骤6)中步骤5)处理后通过投影图像进行换算被测物体的实际实际尺寸中包括被测物体的实际长度和实际宽度，计算公式是，
W、L分别为被测物体的实际宽度和实际长度，
H为基准平面的深度值，
Fx、Fy为相机内参，
w、l分别为投影图像中被测物体的像素宽度和像素长度。
通过采用上述技术方案，本发明的有益效果是：上述方法过程中简单说是将被测物体在深度图像中精确定位出，在将其投影到基准平面上，再进行换算被测物体的实际尺寸。其中从深度图像中精确定位出进行了图像上多余过渡数据的去除从而提高了物体边缘精度，这是针对了在半室外或室外条件下，深度相机拍摄出来的物体边缘处会有明显过渡数据，而且对于现实中一个水平面，深度相机拍摄出来的深度数据也会有一定程度的高低起伏，因此去除多余过渡数据是非常有必要进行的，从而才能够提高边缘精度，提高计算精度。还有，在提高了边缘精度后再经过投影才进行换算被测物体的实际尺寸数据，这样处理得到的投影图像更接近于被测物体的正视图像，因此经该步骤处理后的数据能够更接近被测物体的实际尺寸。
综上所述，本发明一种基于深度相机的物体尺寸高精度测量方法特别适合于半室外条件下的物体尺寸测量，采用该方法深度相机在半室外的条件下获得的深度图测量出的物体体积，可以获得较高稳定性的测量精度，同时还支持不规则、表面有高低起伏的物体测量，实现本发明目的。
附图说明
图1是本发明涉及的一种基于深度相机的物体尺寸高精度测量方法的流程图；
图2a是本发明涉及的被测物体的实际形状示意图；
图2b是图2a的被测物体深度相机视角的形状示意图；
图2c是图2a的被测物体经过本发明方法投影的形状示意图。
具体实施方式
为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
本发明公开的一种基于深度相机的半室外条件下物体尺寸高精度测量方法，如图1、图2a、图2b和图2c所示，方法过程如下，
1)、通过深度相机预先采集测量背景的深度图像，计算得出深度相机距离测量背景的深度相机高度，在深度相机高度的基础上计算得出基准平面，本实施例中基准平面的高度为深度相机能够测量物体的最大测量高度的5％-10％的高度为较佳的基准平面，其应用在本方法中能够使得被测物体的成像更接近于实际物体形状，有利于提高本方法的测量精度。
2)、测量使用工作时，深度相机采集获得被测物体的深度图像，将被测物体的深度图像中低于基准平面高度的像素去除，去除后再通过轮廓检测方式定位出图像中被测物体的位置；这里轮廓检测方式可采用常规的canny边缘轮廓算法，该步骤对深度图像进行初步的像素去除处理，主要是为了消除测量背景的干扰。
3)、对步骤2)处理后通过对深度图像中物体边缘过渡数据的筛选，去除边缘多余的过渡数据进一步精确出深度图像中被测物体的位置与大小。
该步骤的进行主要是由于半室外或室外条件下深度相机拍摄的深度图像上被测物体的边缘处会有明显的过渡数据，而且对于现实中一个水平面，深度相机拍摄出来的深度数据也会有一定程度的高低起伏，对于这些问题就需要先进行这些明显的过渡数据的处理才能得到进一步的精确数据。
4)、将步骤3)处理后的被测物体的深度图像向基准平面投影，得到投影图像。
5)、投影步骤中由于深度值的起伏，会导致投影后出现孔洞，特别是在偏室外的条件下，孔洞会特别多，因此，这里需要对投影图像因投影产生的孔洞进行孔洞填充；本发明中公开的孔洞填充方法为通过统计各孔洞周围设定的区域内(如孔洞周围3x3或者5x5像素区域内)有效数据以及无效数据的个数，所述无效数据为成为孔洞的数据，反之则为有效数据，当对应孔洞直径小于设定的直径值时，将对应的孔洞用临近数据填充。
6)、将步骤5)处理后的投影图像结合步骤3)处理后的被测物体深度图像和步骤1)的背景深度图像计算得出被测物体的平均高度和最大高度，并依据基准平面的高度和步骤5)处理后被测物体在投影图像上的尺寸，进行换算得出被测物体的实际尺寸；该步骤中通过投影图像进行换算被测物体的实际实际尺寸中包括被测物体的实际长度和实际宽度，计算公式是，
W、L分别为被测物体的实际宽度和实际长度，
H为基准平面的深度值，
Fx、Fy为相机内参，
w、l分别为投影图像中被测物体的像素宽度和像素长度。
综上所述，本发明的一种基于深度相机的物体尺寸高精度测量方法的测量方法过程不同于于现有常用的体积测量方法，该方法特别适合于半室外条件下的深度图像的处理计算，可以获得较高的稳定性的测量精度，同时还支持不规则、表面有高低起伏的物体测量，实现本发明目的。
上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。
Claims (6)
1.一种基于深度相机的物体尺寸高精度测量方法,其特征在于，方法过程如下，
1)、通过深度相机预先采集测量背景的深度图像，计算得出深度相机距离测量背景的深度相机高度，在深度相机高度的基础上计算得出基准平面；
2)、测量使用工作时，深度相机采集获得被测物体的深度图像，将被测物体的深度图像中低于基准平面高度的像素去除，去除后再通过轮廓检测方式定位出图像中被测物体的位置；
3)、对步骤2)处理后通过对深度图像中物体边缘过渡数据的筛选，去除边缘多余的过渡数据进一步精确出深度图像中被测物体的位置与大小；
4)、将步骤3)处理后的被测物体的深度图像向基准平面投影，得到投影图像；
5)、对投影图像因投影产生的孔洞进行孔洞填充；
6)、将步骤5)处理后的投影图像结合步骤3)处理后的被测物体深度图像和步骤1)的背景深度图像计算得出被测物体的平均高度和最大高度，并依据基准平面的高度和步骤5)处理后被测物体在投影图像上的尺寸，进行换算得出被测物体的实际尺寸。
2.如权利要求1所述的一种基于深度相机的物体尺寸高精度测量方法,其特征在于，步骤3)中去除多余的过渡数据的处理方法是这样的，先遍历深度图像中被测物体轮廓上的所有点，这些点即为边缘数据，然后基于被测物体轮廓上的一点向被测物体内部查找多个深度数据，并比较多个深度数据中外侧数据和内部数据的差值，如果差值大于设定的差值即认为该边缘数据是过渡数据，并将其去除。
3.如权利要求2所述的一种基于深度相机的物体尺寸高精度测量方法,其特征在于，步骤4)中深度图像向基准平面投影的投影公式为，
h为步骤3)处理后的被测物体的深度图像上被测物体的像素点x、y的深度值，Hb是基准面的深度值，
Cx、Cy为相机内参，
x、y为相机内参的坐标值，
Xb、Yb是该像素点向基准平面投影后的像素坐标。
4.如权利要求3所述的一种基于深度相机的物体尺寸高精度测量方法,其特征在于，步骤5)中的孔洞填充方法为通过统计各孔洞周围设定的区域内有效数据以及无效数据的个数，所述无效数据为成为孔洞的数据，反之则为有效数据，当对应孔洞直径小于设定的直径值时，将对应的孔洞填充。
5.如权利要求4所述的一种基于深度相机的物体尺寸高精度测量方法,其特征在于，步骤6)中将步骤5)处理后通过投影图像进行换算被测物体的实际实际尺寸中包括被测物体的实际长度和实际宽度，计算公式是，
W、L分别为被测物体的实际宽度和实际长度，
H为基准平面的深度值，
Fx、Fy为相机内参，
w、l分别为投影图像中被测物体的像素宽度和像素长度。
6.如权利要求1-5任意一项所述的一种基于深度相机的物体尺寸高精度测量方法,其特征在于，所述基准平面的高度为深度相机能够测量物体的最大测量高度的5％-10％的高度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010908854.5A CN112184790B (zh) | 2020-09-02 | 2020-09-02 | 基于深度相机的物体尺寸高精度测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010908854.5A CN112184790B (zh) | 2020-09-02 | 2020-09-02 | 基于深度相机的物体尺寸高精度测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184790A CN112184790A (zh) | 2021-01-05 |
| CN112184790B true CN112184790B (zh) | 2024-05-17 |
Family
ID=73924563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010908854.5A Active CN112184790B (zh) | 2020-09-02 | 2020-09-02 | 基于深度相机的物体尺寸高精度测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184790B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113513980B (zh) * | 2021-06-07 | 2023-05-02 | 昂视智能(深圳)有限公司 | 基于辅助尺的体积测量装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014147863A1 (ja) * | 2013-03-21 | 2014-09-25 | 日本電気株式会社 | 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN106871815A (zh) * | 2017-01-20 | 2017-06-20 | 南昌航空大学 | 一种Kinect与条纹反射法结合的类镜面三维面形测量方法 |
| CN108413864A (zh) * | 2017-02-10 | 2018-08-17 | 菜鸟智能物流控股有限公司 | 物体尺寸测量方法及相关设备 |
| CN109949397A (zh) * | 2019-03-29 | 2019-06-28 | 哈尔滨理工大学 | 一种结合激光点和均值漂移的深度图重建方法 |
| CN111045029A (zh) * | 2019-12-18 | 2020-04-21 | 深圳奥比中光科技有限公司 | 一种融合的深度测量装置及测量方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11341350B2 (en) * | 2018-01-05 | 2022-05-24 | Packsize Llc | Systems and methods for volumetric sizing |
-
2020
- 2020-09-02 CN CN202010908854.5A patent/CN112184790B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014147863A1 (ja) * | 2013-03-21 | 2014-09-25 | 日本電気株式会社 | 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN106871815A (zh) * | 2017-01-20 | 2017-06-20 | 南昌航空大学 | 一种Kinect与条纹反射法结合的类镜面三维面形测量方法 |
| CN108413864A (zh) * | 2017-02-10 | 2018-08-17 | 菜鸟智能物流控股有限公司 | 物体尺寸测量方法及相关设备 |
| CN109949397A (zh) * | 2019-03-29 | 2019-06-28 | 哈尔滨理工大学 | 一种结合激光点和均值漂移的深度图重建方法 |
| CN111045029A (zh) * | 2019-12-18 | 2020-04-21 | 深圳奥比中光科技有限公司 | 一种融合的深度测量装置及测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于3维点云欧氏聚类和RANSAC边界拟合的目标物体尺寸和方位识别;薛连杰;齐臣坤;张彪;张霄远;吴长征;;机械设计与研究;20181020(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184790A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022143796A1 (zh) | 一种线结构光测量系统的标定方法、标定装置、以及系统 | |
| CN108132017B (zh) | 一种基于激光视觉系统的平面焊缝特征点提取方法 | |
| JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
| CN110230998B (zh) | 基于线激光和双目相机的快速精密三维测量方法和装置 | |
| CN107869954B (zh) | 一种双目视觉体积重量测量系统及其实现方法 | |
| US20140043472A1 (en) | Tire surface shape measuring device and tire surface shape measuring method | |
| CN104751458B (zh) | 一种基于180°旋转算子的标定角点检测方法 | |
| CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
| CN109443214B (zh) | 一种结构光三维视觉的标定方法、装置及测量方法、装置 | |
| CN116342718B (zh) | 一种线激光3d相机的标定方法、装置、存储介质及设备 | |
| CN116188558B (zh) | 基于双目视觉的立体摄影测量方法 | |
| CN113074660B (zh) | 一种大尺寸透明物体的面型测量方法 | |
| CN103913149A (zh) | 一种基于stm32单片机的双目测距系统及其测距方法 | |
| CN114396875B (zh) | 一种基于深度相机垂直拍摄的长方形包裹体积测量方法 | |
| JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
| CN112184790B (zh) | 基于深度相机的物体尺寸高精度测量方法 | |
| CN109506629B (zh) | 一种水下核燃料组件检测装置旋转中心标定的方法 | |
| KR102023087B1 (ko) | 카메라 캘리브레이션 방법 | |
| CN115060162A (zh) | 一种倒角尺寸测量方法、装置、电子设备及存储介质 | |
| CN112985258A (zh) | 一种三维测量系统的标定方法及测量方法 | |
| CN108180825A (zh) | 一种基于线结构光的长方体形物体三维识别与定位方法 | |
| CN105928484A (zh) | 基于双目视觉的电梯导轨自动测量系统 | |
| TW201317587A (zh) | 尺寸檢測裝置及方法 | |
| CN113983951B (zh) | 三维目标的测量方法、装置、影像仪及存储介质 | |
| CN115456945A (zh) | 一种芯片引脚缺陷的检测方法、检测装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |