CN113256738B - 一种基于双目的包裹体积测量方法 - Google Patents

一种基于双目的包裹体积测量方法 Download PDF

Info

Publication number
CN113256738B
CN113256738B CN202110700467.7A CN202110700467A CN113256738B CN 113256738 B CN113256738 B CN 113256738B CN 202110700467 A CN202110700467 A CN 202110700467A CN 113256738 B CN113256738 B CN 113256738B
Authority
CN
China
Prior art keywords
binocular
parallax
calculating
parcel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110700467.7A
Other languages
English (en)
Other versions
CN113256738A (zh
Inventor
陈中悦
邓伟业
张子琪
蒋婧玮
井开
裘红翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202110700467.7A priority Critical patent/CN113256738B/zh
Publication of CN113256738A publication Critical patent/CN113256738A/zh
Application granted granted Critical
Publication of CN113256738B publication Critical patent/CN113256738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明公开了一种基于双目的包裹体积测量方法，包括：标定双目相机；双目相机获取待测包裹原始图像，并进行双目校正；计算图像中心水平条带视差图并填充空洞；计算图像中心垂直条带视差图并填充空洞；根据水平条带视差图和垂直条带视差图检测视差跳变区域，获取4个视差边缘点集合；以4个视差边缘点集合为基础拟合出4条直线方程；绕每条线段的中心旋转调整两对边，使得对边平行；得到待测包裹的高度；得到待测包裹的长和宽，根据待测包裹的长、宽、高计算待测包裹体积。本发明基于双目的包裹体积测量方法不需消耗大量资源计算全图的稠密深度图，只需计算出少量深度信息，即可准确测量包裹体积，具有计算量少、稳定性好、准确率高的优点。

Description

一种基于双目的包裹体积测量方法
技术领域
本发明涉及体积测量技术领域，特别涉及一种基于双目的包裹体积测量方法。
背景技术
近年来随着电子商务的兴起，物流行业获得飞速的发展，物流企业间的竞争也日趋激烈。怎么样实现更精细化的管理、降低人力成本，是每个物流企业都在考虑的重要问题。
随着自动化程度越来越高，大到物流仓储、小到快递员收件计费，都涉及到包裹体积自动测量这一功能。现有的包裹体积测量方法都存在各种各样的缺陷，例如CN108537834B、CN108447088A、CN109961468A三种基于双目相机的包裹体积测量方法，无一例外需要基于全图的稠密深度。而稠密深度图的获取往往需要较高的代价和成本，一般依赖高性能计算平台(SoC、ASIC、GPU、FPGA)，并且深度图中大多数区域信息是冗余的，耗费资源得到大量无用信息，这样的作法是非常不经济的。CN112017234A中的基于surf稀疏匹配的双目方案，虽然不依赖稠密深度图，但静态场景中使用特征点法，非常依赖场景本身的纹理丰富程度，因此静态场景中使用特征点法，稳定性一般难以保证，即有可能出现特征点不足、特征点错误的情况，导致无法测得正确的包裹尺寸。CN109029618A使用单目相机+单点距离传感器测量体积的方法，虽然整体方案复杂度较低，但基于单目二维图像检测、分割包裹轮廓，容易受包裹上表面纹理影响，其准确度、鲁棒性也存在问题。因此，急需一种新的包裹体积测量方法来解决上述问题。
发明内容
本发明要解决的技术问题是提供一种计算量少、稳定性好、准确率高的基于双目的包裹体积测量方法。
为了解决上述问题，本发明提供了一种基于双目的包裹体积测量方法，其包括以下步骤：
A、标定双目相机，得到内参、外参、底板到双目相机的距离；
B、将待测包裹置于底板上双目相机的正下方；
C、通过双目相机获取待测包裹原始图像，并进行双目校正；
D、计算图像中心水平条带视差图并填充空洞；
E、计算图像中心垂直条带视差图并填充空洞；
F、根据水平条带视差图和垂直条带视差图检测视差跳变区域，获取4个视差边缘点集合；
G、以4个视差边缘点集合为基础拟合出4条直线方程，得到4条线段；
H、以对边平行为准则，绕每条线段的中心旋转调整两对边，使得对边平行；
I、以四条边内部存在视差值为基础，计算均值作为待测包裹与双目相机的平均视差，并根据视差-距离计算公式得到待测包裹到双目相机的距离，进而得到待测包裹的高度；
J、计算四条边的3D直线方程；
K、根据3D直线方程计算两对平行边之间的距离，得到待测包裹的长和宽，根据待测包裹的长、宽、高计算待测包裹体积。
作为本发明的进一步改进，步骤D中计算图像中心水平条带视差图并填充空洞，之后还包括：提取前景视差和背景视差，所述前景视差和背景视差用于在步骤E中约束视差搜索范围。
作为本发明的进一步改进，约束视差搜索范围为[d1-ε，d1+ε]∪[d2-ε，d2+ε]；其中，d1和d2分别为提取的前景视差和背景视差；ε为自定义值。
作为本发明的进一步改进，步骤G具体包括：以4个视差边缘点集合为基础，使用最小二乘法拟合出4条直线方程。
作为本发明的进一步改进，步骤I中，视差-距离计算公式为：
Figure BDA0003129583010000021
其中，h2为待测包裹到双目相机的距离，B为双目基线距，f为焦距，d为平均视差；得到待测包裹的高度为h1-h2；h1为底板到双目相机的距离。
作为本发明的进一步改进，步骤J具体包括：
分别针对每一条直线，选出多个点，计算所选点在相机世界坐标系下的3D坐标，计算公式如下：
Figure BDA0003129583010000031
其中，B为双目基线距，f为焦距，d为平均视差，(u,v)为图像坐标值，(X,Y,Z)为相机世界坐标系下的3D坐标；
根据两点确定一条直线，可以获得四条线的3D直线方程，多个点则通过最小二乘法求解直线方程。
作为本发明的进一步改进，所述双目校正包括去畸变和极线对齐。
作为本发明的进一步改进，所述内参包括双目相机中每一目的镜头畸变系数、镜头焦距、以及主点坐标；外参指双目之间的空间几何关系，包括旋转量和平移量。
作为本发明的进一步改进，待测包裹为方形盒子。
本发明的有益效果：
本发明基于双目的包裹体积测量方法不需消耗大量资源计算全图的稠密深度图，只需计算出少量深度信息，即可准确测量包裹体积，具有计算量少、稳定性好、准确率高的优点。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是本发明优选实施例中基于双目的包裹体积测量方法的示意图；
图2是本发明优选实施例中双目相机和底板的装配示意图；
图3是水平条带视差图的示意图；
图4是垂直条带视差图的示意图；
图5(a)和5(b)分别是本发明优选实施例中双目相机左右目获取的待测包裹原始图像；
图6是本发明优选实施例中得到的包含水平条带视差图和垂直条带视差图的条带状灰度变化图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，为本发明优选实施例中的基于双目的包裹体积测量方法，其包括以下步骤：
A、标定双目相机，得到内参、外参、底板到双目相机的距离。参照图2，双面相机光轴垂直于底板。其中，双目相机是由两个同构的单目相机所构成，且特指平行双目。
其中，所述内参包括双目相机中每一目的镜头畸变系数、镜头焦距、以及主点坐标；外参指双目之间的空间几何关系，包括旋转量R和平移量t。
B、将待测包裹置于底板上双目相机的正下方。可选的，待测包裹为方形盒子。
C、通过双目相机获取待测包裹原始图像，并进行双目校正。其中，所述双目校正包括去畸变和极线对齐。
D、计算图像中心水平条带视差图并填充空洞。其中，水平条带视差图参照图3。可选的，之后还包括：提取前景视差d1和背景视差d2，所述前景视差d1和背景视差d2用于在步骤E中约束视差搜索范围。
E、计算图像中心垂直条带视差图并填充空洞。其中，垂直条带视差图参照图4。在这里，可以基于提取前景视差d1和背景视差d2，约束视差搜索范围为[d1-ε，d1+ε]∪[d2-ε，d2+ε]；其中，d1和d2分别为提取的前景视差和背景视差；ε为自定义值，ε优选为小于10，更优选的，ε＝3。
F、根据水平条带视差图和垂直条带视差图检测视差跳变区域，获取4个视差边缘点集合(图3和4圈内)。
G、以4个视差边缘点集合为基础拟合出4条直线方程，得到4条线段。可选的，以4个视差边缘点集合为基础，使用最小二乘法拟合出4条直线方程。
H、以对边平行为准则，绕每条线段的中心旋转调整两对边，使得对边平行。
I、以四条边内部存在视差值为基础，计算均值作为待测包裹与双目相机的平均视差，并根据视差-距离计算公式得到待测包裹到双目相机的距离，进而得到待测包裹的高度。
其中，视差-距离计算公式为：
Figure BDA0003129583010000051
其中，h2为待测包裹到双目相机的距离，B为双目基线距，f为焦距，d为平均视差；得到待测包裹的高度为h1-h2；h1为底板到双目相机的距离。
J、计算四条边的3D直线方程。
可选的，分别针对每一条直线，选出多个点，计算所选点在相机世界坐标系下的3D坐标，计算公式如下：
Figure BDA0003129583010000052
其中，B为双目基线距，f为焦距，d为平均视差，(u,v)为图像坐标值，(X,Y,Z)为相机世界坐标系下的3D坐标；
根据两点确定一条直线，可以获得四条线的3D直线方程，多个点则通过最小二乘法求解直线方程。
K、根据3D直线方程计算两对平行边之间的距离，得到待测包裹的长l和宽w，根据待测包裹的长、宽、高计算待测包裹体积V；其中，V＝l*w*(h1-h2)。
下面通过一具体实施例，来验证本方法的有效性，图5(a)和图5(b)分别为双目相机左右目获取的待测包裹图像，全图分辨率为640×360。图6中条带状灰度变化图包含水平条带视差图和垂直条带视差图，条带宽度为40像素。经过视差边缘点检测和最小二乘法拟合后得到的四条平行线在图6中由四条直线标示。最终计算得到包裹长152.375mm，宽105.797mm，高50.4864mm，体积为813.882cm3。利用本发明中的轻量化算法，一次包裹计算总耗时约0.8s。
本发明中的十字条带视差计算法与全图视差计算方法相比，用时大大减少。在相机分辨率相同，计算平台相同的情况下，十字条带视差计算法耗时约670ms，全图视差计算法耗时约3282ms，十字条带视差计算法节约了近80％的时间。
以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种基于双目的包裹体积测量方法，其特征在于，包括以下步骤：
A、标定双目相机，得到内参、外参、底板到双目相机的距离；
B、将待测包裹置于底板上双目相机的正下方；
C、通过双目相机获取待测包裹原始图像，并进行双目校正；
D、计算图像中心水平条带视差图并填充空洞；
E、计算图像中心垂直条带视差图并填充空洞；
F、根据水平条带视差图和垂直条带视差图检测视差跳变区域，获取4个视差边缘点集合；
G、以4个视差边缘点集合为基础拟合出4条直线方程，得到4条线段；
H、以对边平行为准则，绕每条线段的中心旋转调整两对边，使得对边平行；
I、以四条边内部存在视差值为基础，计算均值作为待测包裹与双目相机的平均视差，并根据视差-距离计算公式得到待测包裹到双目相机的距离，进而得到待测包裹的高度；
J、计算四条边的3D直线方程；
K、根据3D直线方程计算两对平行边之间的距离，得到待测包裹的长和宽，根据待测包裹的长、宽、高计算待测包裹体积；
步骤J具体包括：
分别针对每一条直线，选出多个点，计算所选点在相机世界坐标系下的3D坐标，计算公式如下：
Figure FDA0003897688190000011
其中，B为双目基线距，f为焦距，d为平均视差，(u,v)为图像坐标值，(X,Y,Z)为相机世界坐标系下的3D坐标；
根据两点确定一条直线，可以获得四条线的3D直线方程，多个点则通过最小二乘法求解直线方程。
2.如权利要求1所述的基于双目的包裹体积测量方法，其特征在于，步骤D中计算图像中心水平条带视差图并填充空洞，之后还包括：提取前景视差和背景视差，所述前景视差和背景视差用于在步骤E中约束视差搜索范围。
3.如权利要求2所述的基于双目的包裹体积测量方法，其特征在于，约束视差搜索范围为[d1-ε，d1+ε]∪[d2-ε，d2+ε]；其中，d1和d2分别为提取的前景视差和背景视差；ε为自定义值。
4.如权利要求1所述的基于双目的包裹体积测量方法，其特征在于，步骤G具体包括：以4个视差边缘点集合为基础，使用最小二乘法拟合出4条直线方程。
5.如权利要求1所述的基于双目的包裹体积测量方法，其特征在于，步骤I中，视差-距离计算公式为：
Figure FDA0003897688190000021
其中，h2为待测包裹到双目相机的距离，B为双目基线距，f为焦距，d为平均视差；得到待测包裹的高度为h1-h2；h1为底板到双目相机的距离。
6.如权利要求1所述的基于双目的包裹体积测量方法，其特征在于，所述双目校正包括去畸变和极线对齐。
7.如权利要求1所述的基于双目的包裹体积测量方法，其特征在于，所述内参包括双目相机中每一目的镜头畸变系数、镜头焦距、以及主点坐标；外参指双目之间的空间几何关系，包括旋转量和平移量。
8.如权利要求1所述的基于双目的包裹体积测量方法，其特征在于，待测包裹为方形盒子。
CN202110700467.7A 2021-06-23 2021-06-23 一种基于双目的包裹体积测量方法 Active CN113256738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110700467.7A CN113256738B (zh) 2021-06-23 2021-06-23 一种基于双目的包裹体积测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110700467.7A CN113256738B (zh) 2021-06-23 2021-06-23 一种基于双目的包裹体积测量方法

Publications (2)

Publication Number Publication Date
CN113256738A CN113256738A (zh) 2021-08-13
CN113256738B true CN113256738B (zh) 2023-01-17

Family

ID=77189385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110700467.7A Active CN113256738B (zh) 2021-06-23 2021-06-23 一种基于双目的包裹体积测量方法

Country Status (1)

Country Link
CN (1) CN113256738B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029253A (zh) * 2018-06-29 2018-12-18 南京阿凡达机器人科技有限公司 一种包裹体积测量方法、系统、储存介质及移动终端
CN109961468A (zh) * 2019-03-15 2019-07-02 北京清瞳时代科技有限公司 基于双目视觉的体积测量方法、装置及存储介质
CN110068270A (zh) * 2019-04-18 2019-07-30 上海拓今智能科技有限公司 一种基于多线结构光图像识别的单目视觉箱体体积测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029253A (zh) * 2018-06-29 2018-12-18 南京阿凡达机器人科技有限公司 一种包裹体积测量方法、系统、储存介质及移动终端
CN109961468A (zh) * 2019-03-15 2019-07-02 北京清瞳时代科技有限公司 基于双目视觉的体积测量方法、装置及存储介质
CN110068270A (zh) * 2019-04-18 2019-07-30 上海拓今智能科技有限公司 一种基于多线结构光图像识别的单目视觉箱体体积测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A binocular machine vision system for three-dimensional surface measurement of small objects;Gorpas D等;《Computerized Medical Imaging and Graphics》;20071231;全文 *
A measurement system based on internal cooperation of cameras in binocular vision;Zhou Y等;《Measurement Science and Technology》;20201231;全文 *
基于RCF边缘检测和双目视觉的箱体体积测量算法;王玉伟等;《现代计算机(专业版)》;20171215(第35期);全文 *
基于双目立体视觉的物流包装箱尺寸测量研究;张志刚等;《包装工程》;20201010(第19期);全文 *

Also Published As

Publication number Publication date
CN113256738A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
US9245344B2 (en) Method and apparatus for acquiring geometry of specular object based on depth sensor
CN106595528A (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
CN107543496B (zh) 一种双目立体视觉三维坐标测量方法
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN113223135B (zh) 一种基于特殊复合平面镜虚像成像的三维重建装置和方法
CN112161997B (zh) 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统
CN109029618B (zh) 单目视觉包装箱体积测量方法
CN111563921A (zh) 一种基于双目相机的水下点云获取方法
CN111091076B (zh) 基于立体视觉的隧道限界数据测量方法
CN111260720A (zh) 一种基于深度学习方法的目标高度测定系统
CN110378969A (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN113034568A (zh) 一种机器视觉深度估计方法、装置、系统
CN111649694B (zh) 一种隐式相位-视差映射的双目测量缺失点云插补方法
CN108362205A (zh) 基于条纹投影的空间测距方法
CN114396875B (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN113034571A (zh) 一种基于视觉—惯性的物体三维尺寸测量方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN111105467A (zh) 一种图像标定方法、装置及电子设备
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
CN113256738B (zh) 一种基于双目的包裹体积测量方法
CN108180825B (zh) 一种基于线结构光的长方体形物体三维识别与定位方法
CN113393413B (zh) 基于单目与双目视觉协同的水域面积测量方法和系统
CN103279979B (zh) 基于3d建模的近柱面瓶体标签的检测方法
CN112258635B (zh) 基于改进双目匹配sad算法的三维重建方法及装置
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant