CN109993785B - 一种货箱内装载货物体积的测量方法和深度相机模组 - Google Patents

一种货箱内装载货物体积的测量方法和深度相机模组 Download PDF

Info

Publication number
CN109993785B
CN109993785B CN201910238446.0A CN201910238446A CN109993785B CN 109993785 B CN109993785 B CN 109993785B CN 201910238446 A CN201910238446 A CN 201910238446A CN 109993785 B CN109993785 B CN 109993785B
Authority
CN
China
Prior art keywords
cloud data
point cloud
depth camera
container
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910238446.0A
Other languages
English (en)
Other versions
CN109993785A (zh
Inventor
孙涛
山君良
吴涛
马金波
周宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN201910238446.0A priority Critical patent/CN109993785B/zh
Publication of CN109993785A publication Critical patent/CN109993785A/zh
Application granted granted Critical
Publication of CN109993785B publication Critical patent/CN109993785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种货箱体积测量方法和深度相机模组,货箱体积测量方法包括:获取货箱内部安装的深度相机模组的点云数据,根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据,依据所述第一深度相机的标准姿态,将所述融合后的点云数据转换为与所述融合后的点云数据对应的标准点云数据;基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积。本发明实施例的技术方案减少了测量用的设备,避免了过多占用货箱内有限的空间,而且安装简单,维护方便,成本低廉。

Description

一种货箱内装载货物体积的测量方法和深度相机模组
技术领域
本发明涉及深度相机技术领域,具体涉及一种货箱内装载货物体积的测量方法和深度相机模组。
背景技术
随着物流行业的发展,货运业务受到越来越多的关注,如何对货箱装载率以及货物体积进行数字化管理是物流行业提高效益的必然要求。物流运输行业里的车辆,比如挂车车身比较长,一般都在12-16米,而现在市面上的深度相机的作用最大距离在4-8米左右,所以要完成挂车等车辆货箱的体积测量,往往需要在货箱内安装多个相机,这样的方案不仅安装和布线比较费时,而且相机设备多,占用货箱内有限空间,成本较高,应用推广困难。
发明内容
本发明提供了一种货箱体积测量方法和深度相机模组,只需要货箱内部安装一个深度相机模组即可实现对货箱体积的测量,避免了大量占用货箱内有限空间,安装简单,维护方便,成本低廉。
根据本申请的一个方面,提供了一种货箱体积测量方法,方法包括:
获取货箱内部安装的深度相机模组的点云数据,其中,所述深度相机模组包括第一深度相机和第二深度相机,所述第一深度相机的视场角小于所述第二深度相机的相应视场角,且所述第一深度相机的作用距离大于所述第二深度相机的作用距离;所述点云数据包括依据所述第一深度相机拍摄的深度图像获得的第一点云数据,以及所述点云数据还包括依据所述第二深度相机拍摄的深度图像获得的第二点云数据;
根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据,依据所述第一深度相机的标准姿态,将所述融合后的点云数据转换为与所述融合后的点云数据对应的标准点云数据;
基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积。
根据本申请的另一个方面,提供了一种深度相机模组,安装在货箱内部,包括:第一深度相机、第二深度相机和图像处理芯片,所述第一深度相机的视场角小于所述第二深度相机的相应视场角,且所述第一深度相机的作用距离大于所述第二深度相机的作用距离;
所述第一深度相机,用于拍摄所述货箱内部的货物得到深度图像,依据所述第一深度相机拍摄的深度图像获得第一点云数据,将所述第一点云数据发送至所述图像处理芯片;
所述第二深度相机,用于拍摄所述货箱内部的货物得到深度图像,依据所述第二深度相机拍摄的深度图像获得第二点云数据,将所述第二点云数据发送至所述图像处理芯片;
所述图像处理芯片,用于根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据,依据所述第一深度相机的标准姿态,将所述融合后的点云数据转换为与所述融合后的点云数据对应的标准点云数据;基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积。
有益效果:本发明实施例的货箱体积测量方法,只需要货箱内部安装一个深度相机模组,深度相机模组包括两个深度相机,利用两个深度相机相互配合、无死角拍摄获得货箱内货物表面的点云数据,进而基于点云数据测量得到货箱体积。与现有技术相比,既能够快速、精确地测量货箱内装载货物体积,方便对货箱装载率以及货物体积进行数字化管理;又避免了过多占用货箱内空间,安装简单、成本低廉、适合大规模推广应用。本发明实施例的深度相机模组,可以精确完成货物体积测量,而且成本低,极大提升了深度相机模组的市场竞争力。
附图说明
图1是本发明一个实施例的货箱体积测量方法的流程示意图;
图2是本发明一个实施例的深度相机模组的安装位置示意图;
图3是本发明一个实施例的深度相机模组中两个深度相机的作用域俯视图;
图4是本发明一个实施例的深度相机模组中两个深度相机的作用域侧视图;
图5是本发明一个实施例的投影矩形的示意图;
图6是本发明一个实施例输出的货物装载图像的示意图;
图7是本发明一个实施例的深度相机模组的框图。
具体实施方式
为使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对现有技术中物流行业货物装载体积测量方案中存在的安装设备多,安装和布线复杂,以及测量成本高推广困难等问题,本发明实施例提出一种货箱体积测量方法,该方法只需要货箱内部安装一个深度相机模组,避免安装相机配套的云台,即可准确、快速的完成货箱体积测量,满足了实际需求,方便大规模推广应用。
图1是本发明一个实施例的货箱体积测量方法的流程示意图,参见图1,本实施例的货箱体积测量方法包括下列步骤:
步骤S101,获取货箱内部安装的深度相机模组的点云数据,
其中,所述深度相机模组包括第一深度相机和第二深度相机,所述第一深度相机的视场角小于所述第二深度相机的相应视场角,且所述第一深度相机的作用距离大于所述第二深度相机的作用距离;所述点云数据包括依据所述第一深度相机拍摄的深度图像获得的第一点云数据,以及所述点云数据还包括依据所述第二深度相机拍摄的深度图像获得的第二点云数据;
步骤S102,根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据,依据所述第一深度相机的标准姿态,将所述融合后的点云数据转换为与所述融合后的点云数据对应的标准点云数据;
步骤S103,基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积。
由图1所示可知,本实施例的货箱体积测量方法,利用货箱内部安装的深度相机模组得到点云数据,基于点云数据,测量货箱内货物的体积。与现有技术相比,本实施例的货箱体积测量方法,具有非接触式、功耗低、准确率高并且稳定,受环境和温度影响小等优点,而且成本低,安装简单,对外界依赖少,维护方便,计算速度快,满足了实际应用需求。
注:点云是通过测量仪器(比如相机)得到的物体外观表面的点数据集合;深度相机的作用距离是指深度相机可探测的距离。
如步骤S101中所述,本实施例的深度相机模组包括两个相机,为便于区分,称为第一深度相机和第二深度相机,两个深度相机相互配合完成对货箱内货物无死角、无盲区的拍摄。例如,一个深度相机为远距离深度相机,另一个为近距离广角深度相机,这两个深度相机集成在一个模组上,实际安装时只需要在货箱内部安装一个深度相机模组即可。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本实施例的获取货箱内部安装的深度相机模组的点云数据包括:获取安装于货箱内部一个顶点处的所述深度相机模组的点云数据,顶点为货箱的货门上方的两个顶点中的一个。如图2所示,一个模组上两个相机,分别是深度相机1和深度相机2,模组安装在车尾(即货门所在面)上方一个顶点处,方便对货箱内装载货物进行拍摄。货箱的尺寸信息是长度为L,宽度为W,高度为H。这里对L,W,和H的具体数值没有限制,实际应用中,不同的货箱尺寸不同,深度相机模组中相机的视场角、作用距离也不同,所以应当根据货箱尺寸选择匹配的深度相机模组进行安装和体积测量。由图2所示可知,本实施例的深度相机模组安装和供电简单,维护方便,省略了云台,降低了体积测量成本。
本实施例中深度相机模组中两个深度相机的视场角和作用距离关系是,第一深度相机的视场角小于第二深度相机的相应视场角,且第一深度相机的作用距离大于第二深度相机的作用距离。
本领域技术人员知晓,视场角包括水平视场角和垂直视场角两种,这里的第一深度相机的视场角小于第二深度相机的相应视场角是指,第一深度相机的水平/垂直视场角小于第二深度相机的水平/垂直视场角,符号“/”表示或者。之所以设计两个深度相机的视场角和作用距离不同是因为考虑到货箱尺寸较大,单个深度相机不足以完成对货箱内部无盲区、无死角拍摄任务,通过两个作用域不同的深度相机相互配合进而保证体积测量的精度。
图3和图4示意了不同角度下两个深度相机的作用域,图3是深度相机作用域俯视图,图4是深度相机作用域侧视图,图3中L表示货箱的长度,W表示货箱的宽度,相机1的Fov(Field ofview,视场角)左边界和右边界,左右边界的夹角为相机1的水平视场角θ1,水平视场角θ1以相机1光轴为中心线一分为二,得到两个小的水平视场角θ1/2,图3中的45°为相机2的水平视场角的一半。
根据图3,本实施例的相机1的最大作用距离
Figure GDA0002673591030000051
相机2的最大作用距离
Figure GDA0002673591030000052
相机1的最大作用距离大于相机2的最大作用距离。相机1的水平视场角θ1小于相机2的水平视场角,从而通过远距离的相机1拍摄远处的货物的图像,近处的货物图像由近距离广角的相机2补充。这里,相机2水平视场角θ2>=2*45°=90°就可以了。
图4中的L表示货箱的长度,H表示货箱的高度,从侧视图上看,相机1的Fov(Fieldofview,视场角)上边界和下边界中的夹角为相机1的垂直视场角
Figure GDA0002673591030000061
相机2光轴与相机2Fov上边界的夹角为45°,即,相机2的垂直视场角为90度。图4中,相机1最大作用距离
Figure GDA0002673591030000062
相机2垂直
Figure GDA0002673591030000063
就可以了,相机2最大作用距离
Figure GDA0002673591030000064
综合上述图3和图4,即综合两个深度相机作用域的俯视图和侧视图,可以得知:相机1的最大作用距离Max1=sqrt(L*L+W*W+H*H),相机2的水平和垂直FOV都大于等于90°,相机2的最大作用距离Max2=max(Max2_lookdown,Max2_lookside),即取Max2_lookdown和Max2_lookside两者中的较大的那个。
在确定深度相机模组包含的深度相机的作用域之后,将深度相机模组如图2所示安装在车尾上方,利用深度相机拍摄的深度图像获得第一点云数据和第二点云数据,融合第一点云数据和第二点云数据。
根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据包括:根据所述第一深度相机与所述第二深度相机之间的标定参数,获得将所述第二点云数据转换到所述第一深度相机下的第三点云数据,将所述第一点云数据与所述第三点云数据融合,获得融合后的点云数据;所述将所述融合后的点云数据转换到所述第一深度相机的标准姿态下,得到与所述融合后的点云数据对应的标准点云数据包括:根据所述第一深度相机的垂直视场角确定俯仰角的旋转角度,并依据所述俯仰角的旋转角度得到第一旋转矩阵,根据所述第一深度相机的水平视场角确定航向角的旋转角度,并依据所述航向角的旋转角度得到第二旋转矩阵,基于所述第一旋转矩阵、所述第二旋转矩阵以及所述融合后的点云数据,得到与所述融合后的点云数据对应的标准点云数据。
比如,根据相机2和相机1之间的标定数据(即旋转矩阵M和平移向量T),将相机2下的点云数据转化到相机1下:Points_xyz_CAM1_CAM2=M*Points_xyz_CAM2+T,将相机1自身的点云数据和由相机2的点云数据转化而来的点云数据融合组成Points_xyz_CAM1_All=[Points_xyz_CAM1,Points_xyz_CAM1_CAM2],由相机1俯仰角的旋转角度
Figure GDA0002673591030000071
通过罗德里格斯公式计算俯仰角的旋转矩阵M_pitch,根据相机1的航向角的旋转角度θ1/2,通过罗德里格斯公式计算航向角的旋转矩阵M_yaw,则融合后的点云数据对应的相机1标准姿态的标准点云数据为
Points_x0y0z0_CAM1_All=M_yaw*M_pitch*Points_xyz_CAM1_All,其中,Points_xyz_CAM1_All和Points_x0y0z0_CAM1_All分别代表融合后的点云数据,标准点云数据。基于标准点云数据的空间位置,测量得到货箱内货物的体积。
一个实施例中,基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积包括:以所述货箱的前侧面为投影面,将所述标准点云数据投影到所述投影平面得到投影点,所述前侧面是与所述货箱的货门所在侧面相对的侧面;根据所述货箱的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的空间位置,基于所述边缘投影点的位置测量得到所述货箱内货物的体积。
一般的,货箱为长方体包括六个面,分别是前侧面、左、右侧面,底面和顶面,由于深度相机模组安装在车尾,为便于测量计算,本实施例选择以货箱的前侧面为投影面,将标准点云数据垂直投影到投影面上可得到与标准点云数据对应的投影点,以及得到投影矩形。
如图5所示,以车前面作为投影面时,相机1位置为原点,x轴表示货箱宽度(即图5中示意的车宽)方向,y轴表示货箱高度(即图5中示意的车高)方向,根据货箱的尺寸信息、第一深度相机(图5中的相机1)的安装位置信息确定投影点中的边缘投影点的空间位置,具体包括:根据货箱的高度信息H、宽度信息W,所述第一深度相机与货箱的左侧面的距离信息Dis2Left、与货箱的底面距离信息Dis2Floor、与前侧面的距离信息Dis2Front,确定第一边缘投影点(图5中左上角的投影点)的位置坐标(-Dis2Left,H-Dis2Floor),以及第二边缘投影点(图5中右下角的投影点的位置坐标(W-Dis2Left,-Dis2Floor)。由左上角点的坐标和右下角点的坐标可知投影矩形Rect(LeftUpPoint,RightDownPoint)。
在众多投影点中确定边缘投影点之后,基于边缘投影点的位置测量得到所述货箱内货物的体积,该步骤包括:基于所述边缘点的空间位置,获得投影矩形以及所述投影矩形的面积,将所述投影矩形划分为多个子矩形,获得每个所述子矩形的面积;获取每个所述子矩形中所述投影点的数量以及获取所述投影点到所述投影平面的深度值,由所述深度值的平均值得到每个所述子矩形中所述投影点的平均深度;根据每个所述子矩形的面积和所述投影点的平均深度,获得每个所述子矩形的体积,由每个所述子矩形的体积之和测量得到所述货箱内货物的体积。
本实施例中,将前述投影矩形划分为M*N个小矩形,则每个小矩形的面积S=投影矩形的面积/(M*N),将两个深度相机已转化为相机1下标准姿态的点云向投影面投影,获取每个小矩形里投影的点的个数Num,投影点到投影面的高度Hi,则每个小矩形里的投影点的平均高度
Figure GDA0002673591030000081
i是投影点的序号。根据平均高度H_ave计算得到货物的体积
Figure GDA0002673591030000082
至此,测量得到货箱内货物体积。
在本发明的一个实施例中,在测量得到所述货箱内货物的体积之后,该方法进一步包括:输出所述货箱内货物的体积信息,以及输出装载率信息和/或货物装载图像,其中,所述装载率由所述货物的体积和所述货箱的容积的比值得到,所述货物装载图像内包括多个图像块,所述图像块指示所述货箱内各货物的摆放信息,各所述图像块中包括图像块的长度信息、宽度信息、高度信息、时间戳信息以及顶点位置信息。
如图6所示,本实施例的输出的货物装载图像包括图像块,图像块指示所述货箱内各货物的摆放信息,即图像块是用来仿真货车内的货物摆放。各图像块中包括图像块的长度信息、宽度信息、高度信息、时间戳信息以及顶点位置信息。这里的时间戳信息是指货物装载在货箱内之后采集图像生成图像块的时间,顶点位置信息是指该图像块顶点的在货箱内部三维坐标(x,y,z)值。
由上可知,本实施例的货物体积测量方法,与安装多个相机和配套的云台的方案相比,减少了设备避免过多占用货箱有限的空间,只需要一个深度相机模组即可完成采集和计算降低了测量成本,不影响货车内货物的摆放,安装、布线和维护简单,深度相机模组安装后货门上方的角落里,从而装卸货物时不容易碰到,减小了跌落损坏风险。通过深度相机取代人工测量等进行体积测量,准确率高并且稳定,受环境和温度影响小。
本发明实施例还提供了一种深度相机模组,图7是本发明一个实施例的深度相机模组的框图,参见图7,深度相机模组700安装在货箱内部,包括:第一深度相机701、第二深度相机702和图像处理芯片703,所述第一深度相机701的视场角小于所述第二深度相机702的相应视场角,且所述第一深度相机701的作用距离大于所述第二深度相机702的作用距离;
所述第一深度相机701,用于拍摄所述货箱内部的货物得到深度图像,依据所述第一深度相机701拍摄的深度图像获得第一点云数据,将所述第一点云数据发送至所述图像处理芯片703;所述第二深度相机702,用于拍摄所述货箱内部的货物得到深度图像,依据所述第二深度相机702拍摄的深度图像获得第二点云数据,将所述第二点云数据发送至所述图像处理芯片703;所述图像处理芯片703,用于根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据,依据所述第一深度相机701的标准姿态,将所述融合后的点云数据转换为与所述融合后的点云数据对应的标准点云数据;基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积。
在本发明的一个实施例中,所述图像处理芯片703,具体用于以所述货箱的前侧面为投影面,将所述标准点云数据投影到所述投影平面得到投影点,根据所述货箱的尺寸信息、所述第一深度相机701的安装位置信息确定所述投影点中的边缘投影点的空间位置,基于所述边缘投影点的位置测量得到所述货箱内货物的体积,所述前侧面是与所述货箱的货门所在侧面相对的侧面。
在本发明的一个实施例中,深度相机模组700安装于所述货箱内部一个顶点处,所述顶点为所述货箱的货门上方的两个顶点中的一个。
在本发明的一个实施例中,所述图像处理芯片703,具体用于基于所述边缘点的空间位置,获得投影矩形以及所述投影矩形的面积,将所述投影矩形划分为多个子矩形,获得每个所述子矩形的面积;获取每个所述子矩形中所述投影点的数量以及获取所述投影点到所述投影平面的深度值,由所述深度值的平均值得到每个所述子矩形中所述投影点的平均深度;根据每个所述子矩形的面积和所述投影点的平均深度,获得每个所述子矩形的体积,由每个所述子矩形的体积之和测量得到所述货箱内货物的体积。
在本发明的一个实施例中,所述图像处理芯片703,具体用于根据所述货箱的高度信息H、宽度信息W,所述第一深度相机701与所述货箱左侧面的距离信息Dis2Left、与所述货箱底面距离信息Dis2Floor、与所述货箱前侧面的距离信息Dis2Front,确定第一边缘投影点的位置坐标(-Dis2Left,H-Dis2Floor),以及第二边缘投影点的位置坐标(W-Dis2Left,-Dis2Floor)。
在本发明的一个实施例中,所述图像处理芯片703,具体用于根据所述第一深度相机701与所述第二深度相机之间的标定参数,获得将所述第二点云数据转换到所述第一深度相机701下的第三点云数据,将所述第一点云数据与所述第三点云数据融合,获得融合后的点云数据;根据所述第一深度相机701的垂直视场角确定俯仰角的旋转角度,并依据所述俯仰角的旋转角度得到第一旋转矩阵,根据所述第一深度相机701的水平视场角确定航向角的旋转角度,并依据所述航向角的旋转角度得到第二旋转矩阵,基于所述第一旋转矩阵、所述第二旋转矩阵以及所述融合后的点云数据,得到与所述融合后的点云数据对应的标准点云数据。
在本发明的一个实施例中,图像处理芯片703,还用于输出所述货箱内货物的体积信息,以及输出装载率信息和/或货物装载图像,其中,所述装载率由所述货物的体积和所述货箱的容积的比值得到,所述货物装载图像内包括多个图像块,所述图像块指示所述货箱内各货物的摆放信息,各所述图像块中包括图像块的长度信息、宽度信息、高度信息、时间戳信息以及顶点位置信息。
综上所述,本实施例的的货箱体积测量方法和深度相机模组,只需要货箱内部安装一个深度相机模组,即可实现对货箱体积的测量,与现有技术相比,能够快速、精确地测量货箱内装载货物体积,方便对货箱装载率以及货物体积进行数字化管理,而且成本低廉、安装和布线简单,维护方便,功耗低,准确率高并且稳定,受环境和温度影响小,极大提升了深度相机模组的市场竞争力。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,正如权利要求书所反映的那样,发明方面在于少于前侧面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种货箱内装载货物体积的测量方法,其特征在于,方法包括:
获取货箱内部安装的深度相机模组的点云数据,其中,所述深度相机模组包括第一深度相机和第二深度相机,所述第一深度相机的视场角小于所述第二深度相机的相应视场角,且所述第一深度相机的作用距离大于所述第二深度相机的作用距离;所述点云数据包括依据所述第一深度相机拍摄的深度图像获得的第一点云数据,以及所述点云数据还包括依据所述第二深度相机拍摄的深度图像获得的第二点云数据;
根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据,依据所述第一深度相机的标准姿态,将所述融合后的点云数据转换为与所述融合后的点云数据对应的标准点云数据;
基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积。
2.根据权利要求1所述的方法,其特征在于,所述基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积包括:
以所述货箱的前侧面为投影面,将所述标准点云数据投影到所述投影面得到投影点,所述前侧面是与所述货箱的货门所在侧面相对的侧面;
根据所述货箱的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的空间位置,
基于所述边缘投影点的位置测量得到所述货箱内货物的体积。
3.根据权利要求2所述的方法,其特征在于,所述基于所述边缘投影点的位置测量得到所述货箱内货物的体积包括:
基于所述边缘投影点的空间位置,获得投影矩形以及所述投影矩形的面积,
将所述投影矩形划分为多个子矩形,获得每个所述子矩形的面积;
获取每个所述子矩形中所述投影点的数量以及获取所述投影点到所述投影面的深度值,由所述深度值的平均值得到每个所述子矩形中所述投影点的平均深度;
根据每个所述子矩形的面积和所述投影点的平均深度,获得每个所述子矩形的体积,由每个所述子矩形的体积之和测量得到所述货箱内货物的体积。
4.根据权利要求2所述的方法,其特征在于,所述根据所述货箱的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的空间位置包括:
根据所述货箱的高度信息H、宽度信息W,所述第一深度相机与所述货箱左侧面的距离信息Dis2Left、与所述货箱底面距离信息Dis2Floor、与所述货箱前侧面的距离信息Dis2Front,确定第一边缘投影点的位置坐标(-Dis2Left,H-Dis2Floor),以及第二边缘投影点的位置坐标(W-Dis2Left,-Dis2Floor)。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据包括:
根据所述第一深度相机与所述第二深度相机之间的标定参数,获得将所述第二点云数据转换到所述第一深度相机下的第三点云数据,将所述第一点云数据与所述第三点云数据融合,获得融合后的点云数据;
所述将所述融合后的点云数据转换到所述第一深度相机的标准姿态下,得到与所述融合后的点云数据对应的标准点云数据包括:
根据所述第一深度相机的垂直视场角确定俯仰角的旋转角度,并依据所述俯仰角的旋转角度得到第一旋转矩阵,根据所述第一深度相机的水平视场角确定航向角的旋转角度,并依据所述航向角的旋转角度得到第二旋转矩阵,
基于所述第一旋转矩阵、所述第二旋转矩阵以及所述融合后的点云数据,得到与所述融合后的点云数据对应的标准点云数据。
6.根据权利要求1所述的方法,其特征在于,在测量得到所述货箱内货物的体积之后,该方法进一步包括:
输出所述货箱内货物的体积信息,以及输出装载率信息和/或货物装载图像,
其中,所述装载率由所述货物的体积和所述货箱的容积的比值得到,所述货物装载图像内包括多个图像块,所述图像块指示所述货箱内各货物的摆放信息,各所述图像块中包括图像块的长度信息、宽度信息、高度信息、时间戳信息以及顶点位置信息。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述获取货箱内部安装的深度相机模组的点云数据包括:
获取安装于所述货箱内部一个顶点处的所述深度相机模组的点云数据,所述顶点为所述货箱的货门上方的两个顶点中的一个。
8.一种深度相机模组,其特征在于,安装在货箱内部,包括:第一深度相机、第二深度相机和图像处理芯片,所述第一深度相机的视场角小于所述第二深度相机的相应视场角,且所述第一深度相机的作用距离大于所述第二深度相机的作用距离;
所述第一深度相机,用于拍摄所述货箱内部的货物得到深度图像,依据所述第一深度相机拍摄的深度图像获得第一点云数据,将所述第一点云数据发送至所述图像处理芯片;
所述第二深度相机,用于拍摄所述货箱内部的货物得到深度图像,依据所述第二深度相机拍摄的深度图像获得第二点云数据,将所述第二点云数据发送至所述图像处理芯片;
所述图像处理芯片,用于根据所述第一点云数据和所述第二点云数据,获得融合后的点云数据,依据所述第一深度相机的标准姿态,将所述融合后的点云数据转换为与所述融合后的点云数据对应的标准点云数据;基于所述标准点云数据的空间位置,测量得到所述货箱内货物的体积。
9.根据权利要求8所述的深度相机模组,其特征在于,所述图像处理芯片,具体用于以所述货箱的前侧面为投影面,将所述标准点云数据投影到所述投影面得到投影点,根据所述货箱的尺寸信息、所述第一深度相机的安装位置信息确定所述投影点中的边缘投影点的空间位置,基于所述边缘投影点的位置测量得到所述货箱内货物的体积,所述前侧面是与所述货箱的货门所在侧面相对的侧面。
10.根据权利要求8所述的深度相机模组,其特征在于,所述深度相机模组安装于所述货箱内部一个顶点处,所述顶点为所述货箱的货门上方的两个顶点中的一个。
CN201910238446.0A 2019-03-27 2019-03-27 一种货箱内装载货物体积的测量方法和深度相机模组 Active CN109993785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910238446.0A CN109993785B (zh) 2019-03-27 2019-03-27 一种货箱内装载货物体积的测量方法和深度相机模组

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910238446.0A CN109993785B (zh) 2019-03-27 2019-03-27 一种货箱内装载货物体积的测量方法和深度相机模组

Publications (2)

Publication Number Publication Date
CN109993785A CN109993785A (zh) 2019-07-09
CN109993785B true CN109993785B (zh) 2020-11-17

Family

ID=67131555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910238446.0A Active CN109993785B (zh) 2019-03-27 2019-03-27 一种货箱内装载货物体积的测量方法和深度相机模组

Country Status (1)

Country Link
CN (1) CN109993785B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110425980A (zh) * 2019-08-12 2019-11-08 深圳市知维智能科技有限公司 仓储设施内容物的体积的测量方法和系统
CN112396264A (zh) * 2019-08-14 2021-02-23 顺丰科技有限公司 物流装载率测量建模方法、装置、设备、及存储介质
CN110889473A (zh) * 2019-11-01 2020-03-17 宁波纳智微光电科技有限公司 一种智能测量和运输系统及其测量和规划方法
CN111275753B (zh) * 2020-01-17 2023-03-24 中国建筑第八工程局有限公司 车厢内沙石体积的测量方法
TWI755697B (zh) * 2020-03-19 2022-02-21 澔鴻科技股份有限公司 倉儲與貨運用的飛時測距辨識系統及其辨識方法
CN113466879A (zh) * 2020-03-30 2021-10-01 耀鸿(嘉兴)电子科技有限公司 仓储与货运用的飞时测距辨识系统及其辨识方法
CN111429507A (zh) * 2020-04-14 2020-07-17 深圳市异方科技有限公司 一种基于多个3d镜头的测量体积装置
CN111524180B (zh) * 2020-04-23 2023-06-27 Oppo广东移动通信有限公司 物体体积计算方法、装置、电子设备及存储介质
CN113747028B (zh) * 2021-06-15 2024-03-15 荣耀终端有限公司 一种拍摄方法及电子设备
CN115077385B (zh) * 2022-07-05 2023-09-26 北京斯年智驾科技有限公司 无人集卡集装箱位姿测量方法及其测量系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140550A1 (en) * 2015-11-18 2017-05-18 Symbol Technologies, Llc Methods and systems for automatic fullness estimation of containers
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
CN106898022A (zh) * 2017-01-17 2017-06-27 徐渊 一种手持式快速三维扫描系统及方法
CN207780847U (zh) * 2018-02-23 2018-08-28 京东方科技集团股份有限公司 图像识别单元及触摸面板
CN108537834A (zh) * 2018-03-19 2018-09-14 杭州艾芯智能科技有限公司 一种基于深度图像的体积测量方法、系统及深度相机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546415B2 (en) * 2017-02-07 2020-01-28 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
CN108895961B (zh) * 2018-05-24 2020-08-25 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法、测量设备以及粘贴带
CN208351151U (zh) * 2018-06-13 2019-01-08 深圳奥比中光科技有限公司 投影模组、深度相机及电子设备
CN109035330A (zh) * 2018-08-17 2018-12-18 深圳蓝胖子机器人有限公司 箱体拟合方法、设备和计算机可读存储介质
CN109343079A (zh) * 2018-10-30 2019-02-15 合肥泰禾光电科技股份有限公司 一种测距避障方法及避障装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140550A1 (en) * 2015-11-18 2017-05-18 Symbol Technologies, Llc Methods and systems for automatic fullness estimation of containers
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
CN106898022A (zh) * 2017-01-17 2017-06-27 徐渊 一种手持式快速三维扫描系统及方法
CN207780847U (zh) * 2018-02-23 2018-08-28 京东方科技集团股份有限公司 图像识别单元及触摸面板
CN108537834A (zh) * 2018-03-19 2018-09-14 杭州艾芯智能科技有限公司 一种基于深度图像的体积测量方法、系统及深度相机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An Approach to the Use of Depth Cameras for Weed Volume Estimation;Dionisio Andújar,等;《Sensor》;20160625;第16卷(第7期);第1-11页 *

Also Published As

Publication number Publication date
CN109993785A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109993785B (zh) 一种货箱内装载货物体积的测量方法和深度相机模组
CN109916301B (zh) 一种体积测量方法和深度相机模组
CN110308457B (zh) 一种基于无人机的输电线路巡检系统
CN109443196B (zh) 一种体积测量方法及系统
US20170150129A1 (en) Dimensioning Apparatus and Method
CN110411530A (zh) 一种货箱剩余体积的智能识别方法
CN112417591B (zh) 基于云台与扫描仪的车辆建模方法、系统、介质及设备
CN111505606A (zh) 多相机与激光雷达系统相对位姿检校方法及装置
WO2021197345A1 (zh) 一种基于激光雷达的封闭空间内剩余体积的检测方法和装置
CN203580743U (zh) 一种车载式隧道测量系统
CN112270713A (zh) 标定方法以及装置、存储介质、电子装置
CN112906127B (zh) 基于云台与扫描仪的车辆建模方法、系统、介质及设备
CN111383279A (zh) 外参标定方法、装置及电子设备
CN105306805A (zh) 用于校正车辆用相机的影像失真的装置和方法
JP6231150B2 (ja) 貨物自動車寸法測定装置、及び貨物自動車寸法測定方法
US10302478B1 (en) Method and system for cargo load detection
JP2021056028A (ja) 環境地図調整値算出方法および環境地図調整値算出プログラム
CN115880252B (zh) 一种集装箱吊具检测方法、装置、计算机设备及存储介质
CN113281777A (zh) 一种货物体积动态测量方法及其测量装置
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN114782548B (zh) 基于全局图像的雷视数据标定方法、装置、设备及介质
CN112068567A (zh) 一种基于超宽带和视觉图像的定位方法及定位系统
CN116205986A (zh) 车载环视相机外参的标定方法、装置、计算机设备及介质
CN116563370A (zh) 基于单目计算机视觉的测距方法和测速方法
CN113084815B (zh) 一种带载机器人的物理尺寸计算方法及装置、机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant