CN109029618A - 单目视觉包装箱体积测量方法 - Google Patents

单目视觉包装箱体积测量方法 Download PDF

Info

Publication number
CN109029618A
CN109029618A CN201810756561.2A CN201810756561A CN109029618A CN 109029618 A CN109029618 A CN 109029618A CN 201810756561 A CN201810756561 A CN 201810756561A CN 109029618 A CN109029618 A CN 109029618A
Authority
CN
China
Prior art keywords
packing case
vertex
image
camera
measuring method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810756561.2A
Other languages
English (en)
Other versions
CN109029618B (zh
Inventor
沈晔湖
李茂贞
王其聪
蒋全胜
汪帮富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University of Science and Technology
Original Assignee
Suzhou University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University of Science and Technology filed Critical Suzhou University of Science and Technology
Priority to CN201810756561.2A priority Critical patent/CN109029618B/zh
Publication of CN109029618A publication Critical patent/CN109029618A/zh
Application granted granted Critical
Publication of CN109029618B publication Critical patent/CN109029618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F17/00—Methods or apparatus for determining the capacity of containers or cavities, or the volume of solid bodies

Landscapes

  • Physics & Mathematics (AREA)
  • Fluid Mechanics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种单目视觉包装箱体积测量方法，包括：利用相机拍摄包装箱的斜侧面图像，图像中包含包装箱的底面顶点和与该底面顶点相邻的三个顶点；同时利用测距传感器测量到包装箱底面顶点的距离；在图像中自动提取包装箱的4个顶点；根据上述4个顶点构建方程组；求解方程组得到包装箱的3条棱的边长，进而求得纸箱体积。本发明只需拍摄一张斜向的包装箱图像，通过对图像进行自动处理，便可以获得包装箱的体积，满足物流领域的计费精度需求，从而避免物流公司和客户的损失，同时本发明仅利用摄像头和测距传感器组成系统，成本低廉且便于实现。

Description

单目视觉包装箱体积测量方法
技术领域
本发明涉及视觉测量领域，特别涉及一种单目视觉包装箱体积测量方法。
背景技术
在快递物流领域遇到邮寄大尺寸小重量物件的情况下，业务员需要根据邮寄包装箱的尺寸来确定费用。现阶段主要依靠业务员的个人经验来大致估算尺寸，这无疑带来了极大的估计误差，从而给物流公司或者客户带来经济损失。对于体积不太大的包装箱，业务员可以通过携带卷尺等方式进行测量计算体积，但对于某些大尺寸的包装箱，直接利用卷尺进行测量非常困难。
现有的自动估计物体尺寸的方法主要通过三维扫描技术来实现，按扫描原理分大致可以分为主动扫描和被动扫描技术。主动扫描技术通过光源直接投射的方式进行扫描，主要有激光扫描仪、结构光扫描仪、ToF摄像头等。激光扫描仪扫描精度高，但是体积庞大，不便于随身携带；结构光扫描仪精度也很高，但是其附带有投影设备，从而导致体积也较庞大，此外该类设备无法用于室外环境，从而限制了其应用范围；ToF摄像头相对来说体积稍小、精度适中，但其同样无法用于室外环境。主动扫描技术一个共同的缺点是设备价格较高，不利于快递物流公司的大规模使用。
被动扫描技术主要利用立体视觉技术。立体视觉技术一般通过2台平行放置的摄像机拍摄同一物体的图像，然后通过寻找物体像素在2幅图像之间的对应关系来计算得到相应的三维坐标信息。这类技术的缺点是为了获得可靠的图象间对应关系需要物体具备一定的纹理，这对于包装箱来说一般不能满足要求。此外，这类方法需要高运算复杂度的立体匹配算法，难以在嵌入式平台上实现实时处理。立体视觉系统需要两个规格型号相同的摄像头并且需要复杂的硬件同步电路实现两个摄像头的同步拍摄，因此其价格仍旧不低，同样也不适用于快递物流公司的大规模使用。
发明内容
本发明提供一种单目视觉包装箱体积测量方法，以解决现有技术中存在的上述技术问题。
为解决上述技术问题，本发明提供一种单目视觉包装箱体积测量方法，包括：利用相机拍摄包装箱的斜侧面图像，图像中包含包装箱的底面顶点和与该底面顶点相邻的三个顶点；同时利用测距传感器测量到包装箱底面顶点的距离；在图像中自动提取包装箱的4个顶点；根据上述4个顶点构建方程组；求解方程组得到包装箱的3条棱的边长，进而求得纸箱体积。
作为优选，沿着包装箱底面对角线方向拍摄包装箱。
作为优选，在拍摄之前对所述相机进行标定，从而获得相机的内参数信息。
作为优选，所述测距传感器为单点激光测距传感器。
作为优选，所述相机与测距传感器平行且紧靠排列。
作为优选，提取包装箱的4个顶点的步骤包括：先利用相机的内参数信息对图像进行矫正，消除图像中的径向畸变；再采用堆叠沙漏状深度神经网络计算得出图像的顶点热图，根据所述顶点热图得出图像的顶点位置。
作为优选，所述沙漏状深度神经网络包括对称的降采样层和升采样层，其中，降采样层包含交替排列的卷积层和最大池化层，当降采样层将图像分辨率降至4×4时转为升采样层，升采样层结合卷积和升采样步骤，将图像恢复到原始分辨率。
作为优选，根据上述4个顶点构建方程组的步骤包括：以相机的光心作为原点，建立世界坐标系，且世界坐标系的x-y-z轴之间符合右手定则；根据测距传感器测量的到包装箱底面顶点的距离，计算得出包装箱的底面顶点在世界坐标系下的三维坐标；通过线性摄像机投影模型表示与底面顶点相邻的三个顶点在世界坐标系下的三维坐标；根据正交原理和与底面顶点相邻的三个顶点的三维坐标，建立方程组。
作为优选，求解方程组得到与底面顶点相邻的三个顶点各自与单目摄像头之间的距离，从而计算得出各顶点在世界坐标系下的三维坐标，得到包装箱的3条棱的边长，计算得出包装箱的体积。
与现有技术相比，本发明的单目视觉包装箱体积测量方法，包括：利用相机拍摄包装箱的斜侧面图像，图像中包含包装箱的底面顶点和与该底面顶点相邻的三个顶点；同时利用测距传感器测量到包装箱底面顶点的距离；在图像中自动提取包装箱的4个顶点；根据上述4个顶点构建方程组；求解方程组得到包装箱的3条棱的边长，进而求得纸箱体积。本发明只需拍摄一张斜向的包装箱图像，通过对图像进行自动处理，便可以获得包装箱的体积，满足物流领域的计费精度需求，从而避免物流公司和客户的损失，同时本发明仅利用摄像头和测距传感器组成系统，成本低廉且便于实现。
附图说明
图1为本发明一具体实施方式中采用的硬件系统的结构框图；
图2为本发明一具体实施方式中的单目视觉包装箱体积测量方法的流程示意图；
图3为本发明一具体实施方式中拍摄的包装箱侧面图像的示意图；
图4为本发明一具体实施方式中世界坐标系的示意图；
图5为本发明一具体实施方式中测距传感器测量顶点O距离的示意图。
图中所示：1-摄像头、2-测距传感器。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。需说明的是，本发明附图均采用简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1和图2所示，本发明提供一种单目视觉包装箱体积测量方法，其采用摄像头1和测距传感器2配合，对包装箱进行拍照和顶点距离测量，再通过对图像进行处理，进而获得包装箱的体积，整个过程操作方便，且硬件系统仅需摄像头1和测距传感器2，成本低廉。进一步的，为确保测量效果，所述摄像头1和测距传感器2如图1所示，两者平行且紧靠排列。其中，所述摄像头1采用单目摄像头，所述测距传感器2采用低成本的激光点测距传感器。
参照图1和图2，所述单目视觉包装箱体积测量方法，具体包括：
首先，对单目摄像头1即相机进行标定，从而获得相应的内参数信息，该相机的内参数信息主要包括：相机焦距f、相机光心(u,v)、相机镜头径向畸变系数kc1和kc2。
利用相机沿着包装箱的底面对角线方向拍摄包装箱，从而获得如图3所示的包装箱的斜侧面图像，该图像中需包含包装箱的底面顶点O和与该底面顶点O相邻的三个顶点A、B、C。
如图5所示，通过将测距传感器2对准包装箱底部顶点O的位置，在拍摄包装箱侧面图像的同时，测量得到测距传感器2到包装箱底部顶点O的距离d0。
在图像中自动提取包装箱的4个顶点，即自动检测出图像中的4个顶点O、A、B、C的图像坐标位置。具体步骤包括：
利用相机标定步骤得到的相机内参数信息结合校正步骤消除图像中的径向畸变，使得图像符合线性摄像机模型的成像结果。换句话说，先利用相机的内参数信息对图像执行校正步骤，消除图像中的径向畸变。
接着采用堆叠沙漏状深度神经网络在校正后的图像上提取4个顶点的位置；具体为，对深度神经网络输入包装箱侧面图像，则所述深度神经网络对应输出为4张热图，所述4张热图分别表示了4个顶点在图像中的坐标位置的概率，分别在4张热图上取概率最大值点，进而得到4个顶点O、A、B、C的图像坐标(uO,vO)、(uA,vA)、(uB,vB)、(uC,vC)。
根据上述4个顶点构建方程组，具体为：
建立如图4所示的世界坐标系。其中，I为相机的图像平面；o为相机的光轴与图像平面I的交点，即相机光心(u,v)；x轴水平向右；y轴竖直向下；x-y-z轴之间符合右手定则。
接着，在图4所建立的世界坐标系下，结合4个顶点O、A、B、C的图像坐标(uO,vO)、(uA,vA)、(uB,vB)、(uC,vC)，并根据线性摄像机投影模型，得出顶点A、B、C在世界坐标系下的三维坐标分别为：
上式中ai,bi,ci(i＝1,2,3)均为常数，di(i＝1,2,3)为未知变量。
对于顶点O，通过测距传感器测得的距离为d0，如图5所示，即OL＝d0,LV为相机与测距传感器2之间的距离，由于OL>>LV，所以顶点O与相机之间的距离OV≈d0。因此顶点O在世界坐标系下的三维坐标为：
上式中x0、y0、z0均为已知值。
由于OA、OB和OC是相互正交的。根据正交的定义，有如下公式成立：
将(1)～(4)式代入(5)式整理后可得：
其中：A＝a1a2+b1b2+c1c2，B＝-(x0a1+y0b1+z0c1)，C＝-(x0a2+y0b2+z0c2)，E＝a2a3+b2b3+c2c3，F＝-(x0a3+y0b3+z0c3)，G＝a1a3+b1b3+c1c3。
由(6)式中的第一和第三式可得：
将(7)式和(8)式代入(6)式中的第二式，整理后可得：
接着，求解方程组得到包装箱的3条棱的边长，进而求得包装箱的体积。
具体地，(9)式是关于未知数d1的一元二次方程，容易求得d1的解。正常情况下d1有两个解，由于d1和d0不会相差太大，因此取两个解中与d0更接近的值作为d1的最终值。少数情况下(9)式无解，这一般是由于提取的顶点坐标误差较大所致，在此情况下，通常需要重新拍摄一张包装箱的侧面图像并再次执行上述流程。当计算得到d1后代入(7)式和(8)式即可计算得到d2和d3。
计算得到的d1、d2和d3代入(1)～(3)式从而得到顶点A、B、C在世界坐标系下的三维坐标PA、PB和PC。由于包装箱近似为长方体，因此可以通过下式计算得到包装箱的体积：
V＝||PA-PO||2·||PB-PO||2·||PC-PO||2 (10)
其中||·||2为L-2范数。
需要说明的是，本实施例中的深度神经网络络堆叠了两组沙漏状神经网络。每组沙漏状神经网络包含了对称的降采样和升采样层，其中降采样层包含了交替排列的卷积层以及最大池化层。当降采样层将图像分辨率降至4×4时转为升采样层，升采样层结合了卷积和升采样步骤将图像恢复到原始分辨率。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种单目视觉包装箱体积测量方法，包括：
利用相机拍摄包装箱的斜侧面图像，图像中包含包装箱的底面顶点和与该底面顶点相邻的三个顶点；
同时利用测距传感器测量到包装箱底面顶点的距离；
在图像中自动提取包装箱的4个顶点；
根据上述4个顶点构建方程组；
求解方程组得到包装箱的3条棱的边长，进而求得纸箱体积。
2.如权利要求1所述的单目视觉包装箱体积测量方法，其特征在于，沿着包装箱底面对角线方向拍摄包装箱。
3.如权利要求1所述的单目视觉包装箱体积测量方法，其特征在于，在拍摄之前对所述相机进行标定，从而获得相机的内参数信息。
4.如权利要求1所述的单目视觉包装箱体积测量方法，其特征在于，所述测距传感器为单点激光测距传感器。
5.如权利要求1所述的单目视觉包装箱体积测量方法，其特征在于，所述相机与测距传感器平行且紧靠排列。
6.如权利要求1所述的单目视觉包装箱体积测量方法，其特征在于，提取包装箱的4个顶点的步骤包括：先利用相机的内参数信息对图像进行矫正，消除图像中的径向畸变；再采用堆叠沙漏状深度神经网络计算得出图像的顶点热图，根据所述顶点热图得出图像的顶点位置。
7.如权利要求6所述的单目视觉包装箱体积测量方法，其特征在于，所述沙漏状深度神经网络包括对称的降采样层和升采样层，其中，降采样层包含交替排列的卷积层和最大池化层，当降采样层将图像分辨率降至4×4时转为升采样层，升采样层结合卷积和升采样步骤，将图像恢复到原始分辨率。
8.如权利要求1所述的单目视觉包装箱体积测量方法，其特征在于，根据上述4个顶点构建方程组的步骤包括：
以相机的光心作为原点，建立世界坐标系，且世界坐标系的x-y-z轴之间符合右手定则；
根据测距传感器测量的到包装箱底面顶点的距离，计算得出包装箱的底面顶点在世界坐标系下的三维坐标；
通过线性摄像机投影模型表示与底面顶点相邻的三个顶点在世界坐标系下的三维坐标；
根据正交原理和与底面顶点相邻的三个顶点的三维坐标，建立方程组。
9.如权利要求8所述的单目视觉包装箱体积测量方法，其特征在于，求解方程组得到与底面顶点相邻的三个顶点各自与单目摄像头之间的距离，从而计算得出各顶点在世界坐标系下的三维坐标，得到包装箱的3条棱的边长，计算得出包装箱的体积。
CN201810756561.2A 2018-07-11 2018-07-11 单目视觉包装箱体积测量方法 Active CN109029618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810756561.2A CN109029618B (zh) 2018-07-11 2018-07-11 单目视觉包装箱体积测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810756561.2A CN109029618B (zh) 2018-07-11 2018-07-11 单目视觉包装箱体积测量方法

Publications (2)

Publication Number Publication Date
CN109029618A true CN109029618A (zh) 2018-12-18
CN109029618B CN109029618B (zh) 2020-02-07

Family

ID=64640974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810756561.2A Active CN109029618B (zh) 2018-07-11 2018-07-11 单目视觉包装箱体积测量方法

Country Status (1)

Country Link
CN (1) CN109029618B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540241A (zh) * 2019-01-22 2019-03-29 艾信智慧医疗科技发展（苏州）有限公司 体积测量系统及方法
CN109813254A (zh) * 2019-01-15 2019-05-28 清华大学深圳研究生院 基于单目摄像头和测距设备的柱体体积测量方法
CN110068270A (zh) * 2019-04-18 2019-07-30 上海拓今智能科技有限公司 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN110136193A (zh) * 2019-05-08 2019-08-16 广东嘉腾机器人自动化有限公司 基于深度图像的矩体箱体三维尺寸测量方法及存储介质
CN111238369A (zh) * 2020-01-19 2020-06-05 广东工业大学 一种双长方物体体积测量方法、系统以及设备
CN113811882A (zh) * 2019-03-19 2021-12-17 波士顿动力公司 检测盒子

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004305653A (ja) * 2003-04-02 2004-11-04 Shigeaki Machino 人体の体積測定方法及び測定装置
CN1809734A (zh) * 2003-04-24 2006-07-26 塔蒂安纳·马休里斯·迪普 仓储控制用指示传感器
CN102171541A (zh) * 2009-01-06 2011-08-31 西门子医疗保健诊断公司 用于使用成像确定容器中的液面的方法和装置
GR20100100165A (el) * 2010-03-18 2011-10-13 Ελενη Δημητριος Ζιαβρα Αυτοματο συστημα ογκομετρησης δεξαμενων
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法
CN105571518A (zh) * 2016-01-19 2016-05-11 大连理工大学 基于折射图像偏差的三维信息视觉测量方法
CN106289099A (zh) * 2016-07-28 2017-01-04 汕头大学 一种单目视觉系统及基于该系统的三维尺寸快速测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004305653A (ja) * 2003-04-02 2004-11-04 Shigeaki Machino 人体の体積測定方法及び測定装置
CN1809734A (zh) * 2003-04-24 2006-07-26 塔蒂安纳·马休里斯·迪普 仓储控制用指示传感器
CN102171541A (zh) * 2009-01-06 2011-08-31 西门子医疗保健诊断公司 用于使用成像确定容器中的液面的方法和装置
GR20100100165A (el) * 2010-03-18 2011-10-13 Ελενη Δημητριος Ζιαβρα Αυτοματο συστημα ογκομετρησης δεξαμενων
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法
CN105571518A (zh) * 2016-01-19 2016-05-11 大连理工大学 基于折射图像偏差的三维信息视觉测量方法
CN106289099A (zh) * 2016-07-28 2017-01-04 汕头大学 一种单目视觉系统及基于该系统的三维尺寸快速测量方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109813254A (zh) * 2019-01-15 2019-05-28 清华大学深圳研究生院 基于单目摄像头和测距设备的柱体体积测量方法
CN109540241A (zh) * 2019-01-22 2019-03-29 艾信智慧医疗科技发展（苏州）有限公司 体积测量系统及方法
WO2020151311A1 (zh) * 2019-01-22 2020-07-30 艾信智慧医疗科技发展（苏州）有限公司 体积测量系统及方法
CN113811882A (zh) * 2019-03-19 2021-12-17 波士顿动力公司 检测盒子
CN110068270A (zh) * 2019-04-18 2019-07-30 上海拓今智能科技有限公司 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN110068270B (zh) * 2019-04-18 2021-04-02 上海拓今智能科技有限公司 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN110136193A (zh) * 2019-05-08 2019-08-16 广东嘉腾机器人自动化有限公司 基于深度图像的矩体箱体三维尺寸测量方法及存储介质
CN110136193B (zh) * 2019-05-08 2021-06-11 广东嘉腾机器人自动化有限公司 基于深度图像的矩体箱体三维尺寸测量方法及存储介质
CN111238369A (zh) * 2020-01-19 2020-06-05 广东工业大学 一种双长方物体体积测量方法、系统以及设备

Also Published As

Publication number Publication date
CN109029618B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN109029618A (zh) 单目视觉包装箱体积测量方法
Eltner et al. Analysis of different methods for 3D reconstruction of natural surfaces from parallel‐axes UAV images
CN105678742B (zh) 一种水下相机标定方法
Verhoeven Taking computer vision aloft–archaeological three‐dimensional reconstructions from aerial photographs with photoscan
Jordt-Sedlazeck et al. Refractive structure-from-motion on underwater images
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
Chang et al. Multi-view 3D reconstruction for scenes under the refractive plane with known vertical direction
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN114485579B (zh) 海面测量系统、海面测量方法以及存储介质
CN102445165B (zh) 基于单幅彩色编码光栅的立体视觉测量方法
US20120134537A1 (en) System and method for extracting three-dimensional coordinates
CN105654547B (zh) 三维重建方法
CN108615244A (zh) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN107543496B (zh) 一种双目立体视觉三维坐标测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
Capra et al. 3D reconstruction of an underwater archaelogical site: Comparison between low cost cameras
CN109059868A (zh) 一种基于自适应匹配窗口的双目测距方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN112816967A (zh) 图像距离测量方法、装置、测距设备和可读存储介质
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения
CN107256563B (zh) 基于差异液位图像序列的水下三维重建系统及其方法
Valkov et al. Calibration of digital non-metric cameras for measuring works
CN117073579A (zh) 基于条纹投影结构光双目三维测量系统与方法
CN113256738B (zh) 一种基于双目的包裹体积测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant