CN106839975A - 基于深度相机的体积测量方法及其系统 - Google Patents
基于深度相机的体积测量方法及其系统 Download PDFInfo
- Publication number
- CN106839975A CN106839975A CN201510882226.3A CN201510882226A CN106839975A CN 106839975 A CN106839975 A CN 106839975A CN 201510882226 A CN201510882226 A CN 201510882226A CN 106839975 A CN106839975 A CN 106839975A
- Authority
- CN
- China
- Prior art keywords
- measured
- depth
- camera
- coordinate
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及计算机视觉技术领域,公开了一种基于深度相机的体积测量方法及其系统。方法包括以下步骤:从深度相机获取含有待测对象的深度图,深度图包含有待测对象的深度信息;根据深度信息将待测对象从深度图中提取出来,得到待测对象目标区域;利用预先标定的深度相机的参数,将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标;在三维相机坐标系下,根据待测对象的三维坐标计算待测对象的高度和长宽,从而计算出待测对象的体积。测量精度高,不受拍摄角度和高度影响,无需对相机安装高度和角度进行标定,使用简单方便。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及基于深度相机的体积测量方法及其系统。
背景技术
随着物流业的快速发展,包裹数量日益增长,包裹体积测量的需求也不断增加。传统的测量方法是利用尺度工具或测量设备进行测量。尺度工具测量方法,其测量速度慢、效率低,无法满足实时需求;设备测量方法一般是采用光幕传感器系统进行测量,其外形体积大,还需要配合对应的控制器,整个安装过程比较复杂。因此,基于机器视觉的测量方法被广泛利用,仅需要安装一个相机就能够完成测量目的,其测量速度快、效率高、体积小、安装简单。
传统基于二维图像的机器视觉测量方法,需要预先标定出相机内参以及安装高度和角度,然后通过相似三角形关系以及被测物体在成像面上所占像素值的大小来计算出对应的测量值。该方法要求被测物体与相机之间满足一定的相似三角关系,但实际应用中并不一定完全满足相似条件,因此测量结果并不准确,会存在一定误差。
专利CN104501718A提出了一种基于视觉的包裹体积测量装置,采用光幕传感装置和相机相结合的方式测量被测物体体积。光幕传感装置用于测量被测物体高度,相机用于测量被测物体面积。该专利利用了多个传感设备,安装复杂,使用成本高。
专利CN100570275C提出了一种基于图像的体积测量装置及其测量方法,采用了三个相机对被测物体进行三维重构,得到被测物体的三维形状,然后计算出物体体积,并且要求三个相机的安装俯仰角相同。该专利使用了多个相机对物体进行三维重构,其标定过程较为复杂,并且对相机安装要求较高,在实施过程中,整个操作也较为繁琐。
发明内容
本发明的目的在于提供一种基于深度相机的体积测量方法及其系统,测量精度高,不受拍摄角度和高度影响,无需对相机安装高度和角度进行标定,使用简单方便。
为解决上述技术问题,本发明的实施方式公开了一种基于深度相机的体积测量方法,包括以下步骤:
从深度相机获取含有待测对象的深度图,深度图包含有待测对象的深度信息;
根据深度信息将待测对象从深度图中提取出来,得到待测对象目标区域;
利用预先标定的深度相机的参数,将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标;
在三维相机坐标系下,根据待测对象的三维坐标计算待测对象的高度和长宽,从而计算出待测对象的体积。
本发明的实施方式还公开了一种基于深度相机的体积测量系统,包括以下模块:
深度图获取模块,用于从深度相机获取含有待测对象的深度图,深度图包含有待测对象的深度信息;
对象提取模块,用于根据深度信息将待测对象从深度图中提取出来,得到待测对象目标区域;
坐标转换模块,用于利用预先标定的深度相机的参数,将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标;
体积测量模块,在三维相机坐标系下,根据待测对象的三维坐标计算待测对象的高度和长宽,从而计算出待测对象的体积。
本发明实施方式与现有技术相比,主要区别及其效果在于:
本发明通过深度相机获取的深度信息提取待测对象,并将待测对象的二维图像坐标转换到三维相机坐标,然后对体积进行测量,测量精度高,不受拍摄角度和高度影响,无需对相机安装高度和角度进行标定,使用简单方便。
进一步地,利用深度图中待测对象深度与背景深度的差异性,基于直方图阈值的图像分割算法将待测对象上表面区域从背景中提取出来;通过二次分割可以有效地去除侧面干扰,保留有效的上表面区域作为待测对象目标区域。
进一步地,在三维相机坐标系下,通过测量包裹上表面与传送带表面两个平面的距离来计算包裹高度,使得包裹高度测量值更为精确。
进一步地,利用待测对象目标区域内部的点代替待测对象目标区域最小外接矩形顶点计算待测对象的长和宽,计算结果更精确。
进一步地,根据传送带的速度对深度相机的图像输出帧率进行调节可以满足不同传输速度下不同分辨率的应用需求。
进一步地,通过判断待测对象是否已经传送至深度相机的正下方范围内,决定是否进行体积测量,提高了计算效率。
附图说明
图1是本发明第一实施方式中一种基于深度相机的体积测量方法的流程示意图;
图2是本发明第三实施方式中包裹体积测量过程的切面示意图;
图3是本发明第三实施方式中待测对象在二维成像平面上的坐标示意图;
图4是本发明第四实施方式中基于深度相机的体积测量方法的实施场景示意图;
图5是本发明优选例中基于深度相机的包裹体积测量方法流程图;
图6是本发明第五实施方式中一种基于深度相机的体积测量系统的结构示意图;
图7是本发明优选例中一种基于深度相机的体积测量系统的各模块之间的连接示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种基于深度相机的体积测量方法,图1是该基于深度相机的体积测量方法的流程示意图。如图所示,该基于深度相机的体积测量方法包括以下步骤:
步骤101,从深度相机获取含有待测对象的深度图,深度图包含有待测对象的深度信息。
深度相机可以是但不限于TOF深度相机,双目深度相机和光场相机,任何可以获取包裹深度信息的相机均适用。其中TOF(time of flight)表示飞行时间。
可以理解,深度图包含待测对象的深度信息,也包含除待测对象之外的背景的深度,由于深度图中待测对象的深度与背景深度的差异性较大,可将待测对象从背景中提取出来。
步骤102,根据深度信息将待测对象从深度图中提取出来,得到待测对象目标区域。
步骤103,利用预先标定的深度相机的参数,将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标。
优选地,三维相机坐标系以深度相机的光心为中心。
在本发明的其它实施方式中,除了将待二维图像坐标转换到三维坐标以计算待测对象的体积外,还可以通过比例的方法计算,即已知像素值大小与二维图像面积之间的关系(例如,对于分辩率是196X98DPI的二维图像,在1 m远处,每个像素在水平方向上对应的空间大小是0.130mm,而在垂直方向对应的空间大小是0.259mm,则根据像素多少即可得出图像面积)。,则可根据像素值之间的比例以及深度信息求得待测对象的体积),则可根据像素值之间的比例以及深度信息求得待测对象的体积。
但是通过比例计算的方法要求被测物体表面与相机成像平面完全平行,或者是被测物体表面与相机成像平面的夹角已知,并且夹角固定不变。但在实际应用中,很难保证被测物体表面与相机成像平面完全平行,或者,也很难保证被测物体表面与相机成像平面的夹角不变化。而二维转换到三维坐标计算体积的方法则对角度没有要求,适用性更广。
步骤104,在三维相机坐标系下,根据待测对象的三维坐标计算待测对象的高度和长宽,从而计算出待测对象的体积。
优选地,可对根据多帧深度图测量出的体积结果求平均作为体积测量的最终输出结果。
优选地,在步骤103中,通过以下公式进行坐标转换:
其中,(u,v)为像素的二维图像坐标,(Xc,Yc,Zc)为三维相机坐标系下的三维坐标,fx和fy为焦距,(u0,v0)为像素基准点,Zc为目标点到相机的距离,可由深度相机直接获取。
此外,可以理解,在进行坐标转换之前,还包括标定相机内参的步骤,相机内参包括焦距,像素基准点和畸变系数。上述坐标转换是在不考虑相机畸变情况下的转换方法,在本发明的其它实施方式中,也可以根据需要一并考虑相机畸变的情况。
需要指出的是,本发明可用于包裹体积测量,也可用于其它类似包裹的立方体物体的体积测量。在测量包裹体积的应用场景中,待测对象为包裹,背景为传送包裹的传送带。
本实施方式通过深度相机获取的深度信息提取待测对象,并将待测对象的二维图像坐标转换到三维相机坐标,然后对体积进行测量,不受拍摄角度和高度影响,无需对相机安装高度和角度进行标定,使用简单方便。
本发明第二实施方式涉及一种基于深度相机的体积测量方法,第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:
利用深度图中待测对象深度与背景深度的差异性,基于直方图阈值的图像分割算法将待测对象上表面区域从背景中提取出来;通过二次分割可以有效地去除侧面干扰,保留有效的上表面区域作为待测对象目标区域。具体地说:
“根据深度信息将待测对象从深度图中提取出来,得到待测对象目标区域”的步骤102包括以下子步骤:
对深度图进行直方图统计深度值;
根据第一分割阈值将待测对象与传送带分割开来,将小于第一分割阈值的区域提取作为初步的待测对象目标区域;
对初步的待测对象的目标区域再次进行直方图统计深度值;
根据第二分割阈值将待测对象的上表面区域与待测对象的侧面区域分割开来,保留上表面区域作为待测对象目标区域。
其中,第一分割阈值可选取直方图中的波谷,以包裹体积测量为例,小于第一分割阈值的即为包裹区域。由于深度图中主要场景为包裹和传送带,因此直方图中会形成双峰,双峰之间的波谷对应的阈值可以有效地将包裹与传送带分割开来。同时包裹区域对应的深度值要小于传送带深度;
第二分割阈值的确定可对包裹区域再次进行直方图统计,计算波峰对应的深度值Depth,以(Depth-ΔT,Depth+ΔT)为第二分割阈值有效深度范围再次对包裹进行分割,提取最终的有效包裹上表面区域。由于相机安装时,其光轴并不一定完全垂直包裹,会存在一定倾斜角。因此包裹侧面会出现在深度图中,影响包裹上表面区域的提取。
在本发明的其它实施方式中,也可以仅进行一次分割而不进行上表面区域与侧面区域分割。
在本发明的其它实施方式中,除了基于直方图阈值的图像分割算法,也可以采用其它图像分割算法提取包裹的目标区域,例如,基于背景建模的目标分割方法、聚类分割方法等。
本发明第三实施方式涉及一种基于深度相机的体积测量方法,如图2所示为包裹体积测量过程的切面示意图。
第三实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:在三维相机坐标系下,通过测量包裹上表面与传送带表面两个平面的距离来计算包裹高度,使得包裹高度测量值更为精确;利用待测对象目标区域内部的点代替待测对象目标区域最小外接矩形顶点计算待测对象的长和宽,计算结果更精确。具体地说:
计算高度时,由于实际相机安装过程中,相机光轴并不完全垂直于传送带平面,会存在一定的倾斜角α,如图2所示为包裹体积测量过程的切面示意图。若利用包裹上表面A点与传送带表面B点的深度差AB去计算包裹高度H,并不准确;若利用包裹上表面深度均值与传送带表面均值的深度差计算包裹高度H,也会存在一定的误差。并且倾斜角α越大,其产生的误差也越大。假设包裹为规则立方体,在包裹体积测量过程中,包裹的上表面与传送带表面是相互平行的。因此,为了使得包裹高度测量值更为精确,在三维相机坐标系下,通过测量包裹上表面与传送带表面的两个平面的距离来表示包裹高度H。
考虑到上述实际情况,在步骤104中,根据待测对象的三维坐标计算待测对象的高度的步骤包括以下子步骤:
根据传送带表面多个坐标点的三维坐标对传送带进行平面拟合,获取传送带平面表达式z=ax+by+c1中的参数a、b和c1;
根据传送带平面的参数a、b和c1,待测对象的目标区域的各像素的三维坐标,和待测对象平面表达式z=ax+by+c2,计算出待测对象平面表达式的参数c2;
根据传送带平面和待测对象平面的表达式和上述参数,根据下式计算待测对象的高度
此外,计算长宽时,由于在实际将待测对象与传送带分割开来时,对应的最小外接矩形的四个顶点并不一定都在实际的目标区域内,因此四个顶点的深度信息可能不是将待测对象的深度信息,所以直接通过四个顶点计算的长宽并不准确。例如,如图3所示为待测对象在二维成像平面上的坐标示意图,其中二维平面坐标系中的四个顶点坐标分别为P1(u1,v1)、P2(u2,v2)、P3(u3,v3)、P4(u4,v4)。
考虑到上述实际情况,在步骤104中,根据待测对象的三维坐标计算待测对象的长宽的步骤包括以下子步骤:
求解待测对象目标区域的最小外接矩形及该最小外接矩形的四个顶点P1,P2,P3,和P4;
选取所述最小外接矩形对角线P1P4和P2P3上1/4和3/4处的点Q1,Q2,Q3和Q4;
其中,如图3所示,选取的四个点在二维成像平面上的坐标分别为Q1(u5,v5)和Q4(u8,v8),Q2(u6,v6)和Q3(u7,v7)
根据点Q1,Q2,Q3和Q4在三维相机坐标系中的坐标计算待测对象的长和宽:
其中,点Q1,Q2,Q3和Q4在三维相机坐标系中的坐标分别为
在上述步骤中,选取最小外接矩形对角线P1P4和P2P3上1/4和3/4处的点Q1,Q2,Q3和Q4后,在二维图像上Q1Q2的长度为P1P2的一半,Q3Q4的长度为P3P4的一半,Q1Q3的长度为P1P3的一半,Q2Q4的长度为P2P4的一半,因此根据上述两个公式计算出的即为待测对象的长和宽。
需要指出的是,所选取的点Q1,Q2,Q3和Q4不一定是对角线P1P4和P2P3上1/4和3/4处的点,也可以是其它比例的点,相应的,上述计算长和宽的公式也要相应改变。
此外,除了上述往内收缩取点的方法,也可以选取向外延伸取点的方法,即选取P1P4和P2P3延长线上属于传送带范围内的点。此外,也可以直接利用二维坐标计算长宽。
本发明第四实施方式涉及一种基于深度相机的体积测量方法,图4是该基于深度相机的体积测量方法的实施场景示意图。
第四实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:根据传送带的速度对深度相机的图像输出帧率进行调节可以满足不同传输速度下不同分辨率的应用需求;通过判断待测对象是否已经传送至深度相机的正下方范围内,决定是否进行体积测量,提高了计算效率。具体地说:
在深度相机获取含有待测对象的深度图的步骤之前,还包括步骤:
采用联动控制方式,根据传送带的速度对深度相机获取深度图的图像输出帧率进行调节,其中传送带的速度越快深度相机获取深度图的图像输出帧率越高。
可以理解,当传送带速度较快时,选择较高帧率输出(同时对应较低的图像分辨率),此时包裹的体积测量效率较高(单位时间内测量的包裹数较多),但体积测量的准确性较差,适合对传送及测量速度有要求的场合。当传送带速度较慢时,选择低帧率输出(同时对应较高的图像分辨率),此时包裹的体积测量效率较低,但体积测量的准确性较高,适合对测量准确率较高的场景。
在本发明的其它实施方式中,当深度相机只有一个固定帧率时,也可选择固定帧率输出即可。
此外,在“根据深度信息将待测对象从深度图中提取出来,得到待测对象目标区域”的步骤102之前,还包括以下步骤:
根据待测对象中心的二维图像坐标是否在深度图的中心范围内,判断待测对象是否已经传送至深度相机的正下方;
如果判断结果为是,则执行从深度相机获取含有待测对象的深度图的步骤;如果判断结果为否,则等待。
具体地说,在如图4所示的场景中,深度相机安装在传送带中心上方,包裹被放置传送带上,深度相机实时捕捉场景中的深度图像。当包裹出现在深度相机视场范围内时,对包裹目标进行分割提取;然后可计算出包裹中心的二维图像坐标,若包裹中心坐标出现在图像中心一定范围内,则认为包裹已传送至深度相机正下方,并开始对其进行体积测量,否则处于等待测量状态;最后对多帧图像中已测量出的包裹体积结果求平均,即为最终包裹体积测量的输出结果。
此外,可以理解,在本发明的其它实施方式中,也可以不进行上述判断是否在深度相机正下方的步骤,并不影响本发明的效果。
作为优选实施例,基于深度相机的包裹体积测量方法流程图如图5所示,具体的步骤包括:
1)相机内参标定
相机内参标定主要包括焦距、像素基准点和畸变系数,可采用比较主流的标定方法进行标定,如张正友标定法。相机内参主要用于二维成像平面到三维相机平面的坐标转换。
2)深度相机抓取深度图
通过深度相机抓取含有包裹的深度图,从而获取到包裹到深度相机的距离。深度相机可以是但不限于TOF深度相机、双目深度相机和光场相机,任何可获取包裹深度信息的相机均适用。
3)提取包裹目标
深度图中由于包裹深度与背景深度的差异性较大,可通过基于直方图阈值的图像分割算法将包裹上表面区域从背景中提取出来,其它图像分割算法也适用。基于直方图阈值的图像分割算法具体实施如下:
a)对深度图进行直方图统计;
b)查找直方图中波谷作为分割阈值T,小于阈值T的即为包裹区域。由于深度图中主要场景为包裹和传送带,因此直方图中会形成双峰,双峰之间的波谷对应的阈值T可以有效地将包裹与传送带分割开来。同时包裹区域对应的深度值要小于传送带深度;
c)对包裹区域再次进行直方图统计,计算波峰对应的深度值Depth,以(Depth-ΔT,Depth+ΔT)为有效深度范围再次对包裹进行分割,提取最终的有效包裹上表面区域。由于相机安装时,其光轴并不一定完全垂直包裹,会存在一定倾斜角。因此包裹侧面会出现在深度图中,影响包裹上表面区域的提取。通过二次分割可以有效地去除包裹侧面干扰,仅保留包裹上表面区域,ΔT一般取值为2cm,设置为参数可调;
4)包裹二维坐标到三维坐标转换
在不考虑相机畸变情况下,利用相机内参,可将深度图中包裹目标区域的各像素的二维图像坐标(u,v)转换到以相机光心为中心的三维坐标(Xc,Yc,Zc),计算公式如下:
其中,fx和fy为焦距,(u0,v0)为像素基准点,Zc为目标点到相机的距离,可由深度相机直接获取。
5)计算包裹高度
在实际相机安装过程中,相机光轴并不完全垂直于传送带平面,会存在一定的倾斜角α,如图2所示。若利用包裹上表面A点与传送带表面B点的深度差AB去计算包裹高度H,并不准确;若利用包裹上表面深度均值与传送带表面均值的深度差计算包裹高度H,也会存在一定的误差。并且倾斜角α越大,其产生的误差也越大。假设包裹为规则立方体,在包裹体积测量过程中,包裹的上表面与传送带表面是相互平行的。因此,为了使得包裹高度测量值更为精确,在三维相机坐标系下,通过测量包裹上表面与传送带表面的两个平面的距离来表示包裹高度H。
在本发明中,三维相机坐标系下,传送带平面表示为z=ax+by+c1,由于包裹平面与传送带平面平行,则包裹平面可表示为z=ax+by+c2。包裹高度H,即为两平面的距离,其计算公式如下:
在实际应用中,由于包裹种类较多,差异性较大,包裹上表面并不一定完全平行于传送带平面。因此,先通过最小二乘法拟合传送带平面,获取参数a、b和c1,仅在相机安装后的初始化状态拟合一次即可;然后再通过包裹上表面的三维坐标点计算出c2。具体实施方法如下:
首先通过二维图像坐标到三维相机坐标的换算关系,计算出传送带表面各点的三维坐标(x1,y1,z1)、(x2,y2,z2)、…(xn,yn,zn);然后采用最小二乘法进行平面拟合。其中,n表示拟合所需的坐标点总个数,n≥3。并不一定是所有传送带的坐标点,可通过抽样,获取一定数量的坐标点即可。但n个数越多,拟合的平面越精确。三维相机坐标下的传送带坐标点满足如下关系:
将上述表达式可进行矩阵换算,可得:
假设矩阵矩阵矩阵则AM=B。
因此可推导出:
M=(ATA)-1ATB
根据以上推导即可求解出参数a,b和c1。然后根据步骤4)中已计算出的包裹三维坐标(x′1,y′1,z′1)、(x′2,y′2,z′2)、…(x′n,y′n,z′n)和包裹平面z=ax+by+c2计算出参数c2,公式如下:
6)计算包裹长宽
根据深度图中的包裹目标上表面区域,求其最小外接矩形,如图所示。其中二维平面坐标系中的四个顶点坐标分别为P1(u1,v1))、P2(u2,v2)、P3(u3,v3)、P4(u4,v4),Q1(u5,v5)和Q4(u8,v8)分别为直线P1P4上1/4和3/4点位置,Q2(u6,v6)和Q3(u7,v7)分别为直线P2P3上1/4和3/4点位置。由于在实际包裹分割时,对应的最小外接矩形的四个顶点并不一定都在包裹目标区域,其四个顶点的深度信息可能不是包裹的深度信息,所以通过四个顶点去计算边长并不准确。因此,利用图像包裹区域中的Q1、Q2、Q3、Q4四点去计算边长,其在三维相机坐标系中的坐标分别包裹的长L和宽W计算公式如下:
7)计算包裹体积
根据包裹的长、宽和高,可以计算出体积,如下:
V=L·W·H
由于本优选例利用深度相机获取到包裹的深度信息,并将被测包裹的二维图像坐标转换到三维相机坐标系中,然后再进行体积测量。因此,是一种基于机器视觉的三维空间测量方法,其测量精度高,操作简单、方便,并且不受相机拍摄角度和高度影响,也无需对相机安装高度和角度进行标定。
此外,该优选例还采用联动控制方式,可根据传送带速度对相机输出的图像帧率和分辨率进行调节,以满足不同传输速度下不同分辨率的应用需求。其具体实施的场景示意图如图4所示。
深度相机安装在传送带中心上方,包裹被放置传送带上,深度相机实时捕捉场景中的深度图像。当包裹出现在深度相机视场范围内时,对包裹目标进行分割提取;然后可计算出包裹中心的二维图像坐标,若包裹中心坐标出现在图像中心一定范围内,则认为包裹已传送至深度相机正下方,并开始对其进行体积测量,否则处于等待测量状态;最后对多帧图像中已测量出的包裹体积结果求平均,即为最终包裹体积测量的输出结果。
深度相机一般有多个不同帧率可选择,其分别对应不同分辨率。本优选例可根据传送带速度μ手动或自动调整深度相机帧率F,以满足不同深度分辨率下的应用需求。当传送带速度较快时,选择高帧率输出;当传送带速度较慢时,选择低帧率输出。若深度相机仅有一个固定帧率,则选择固定帧率输出即可。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable Array Logic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第五实施方式涉及一种基于深度相机的体积测量系统,图6是该基于深度相机的体积测量系统的结构示意图。如图所示,该基于深度相机的体积测量系统包括以下模块:
深度图获取模块,用于从深度相机获取含有待测对象的深度图,深度图包含有待测对象的深度信息;
对象提取模块,用于根据深度信息将待测对象从深度图中提取出来,得到待测对象目标区域;
坐标转换模块,用于利用预先标定的深度相机的参数,将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标;
体积测量模块,在三维相机坐标系下,根据待测对象的三维坐标计算待测对象的高度和长宽,从而计算出待测对象的体积。
优选地,在坐标转换模块中,通过以下公式进行坐标转换:
其中,(u,v)为像素的二维图像坐标,(Xc,Yc,Zc)为三维相机坐标系下的三维坐标,fx和fy为焦距,(u0,v0)为像素基准点,Zc为目标点到相机的距离,可由深度相机直接获取。
本实施方式通过深度相机获取的深度信息提取待测对象,并将待测对象的二维图像坐标转换到三维相机坐标,然后对体积进行测量,测量精度高,不受拍摄角度和高度影响,无需对相机安装高度和角度进行标定,使用简单方便。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第六实施方式涉及一种基于深度相机的体积测量系统,第六实施方式在第五实施方式的基础上进行了改进,主要改进之处在于:利用深度图中待测对象深度与背景深度的差异性,基于直方图阈值的图像分割算法将待测对象上表面区域从背景中提取出来;通过二次分割可以有效地去除侧面干扰,保留有效的上表面区域作为待测对象目标区域。具体地说:
对象提取模块包括以下子模块:
第一深度值统计模块,用于对深度图进行直方图统计深度值;
第一提取模块,用于根据第一分割阈值将待测对象与传送带分割开来,将小于第一分割阈值的区域提取作为初步的待测对象目标区域;
第二深度值统计模块,用于对初步的待测对象的目标区域再次进行直方图统计深度值;
第二提取模块,用于根据第二分割阈值将待测对象的上表面区域与待测对象的侧面区域分割开来,保留上表面区域作为待测对象目标区域。
第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本发明第七实施方式涉及一种基于深度相机的体积测量系统,第七实施方式在第五实施方式的基础上进行了改进,主要改进之处在于:在三维相机坐标系下,通过测量包裹上表面与传送带表面两个平面的距离来计算包裹高度,使得包裹高度测量值更为精确;利用待测对象目标区域内部的点代替待测对象目标区域最小外接矩形顶点计算待测对象的长和宽,计算结果更精确。具体地说:
体积测量模块包括以下子模块,用于根据待测对象的三维坐标计算待测对象的高度:
平面拟合子模块,用于根据传送带表面多个坐标点的三维坐标对传送带进行平面拟合,获取传送带平面表达式z=ax+by+c1中的参数a、b和c1;
待测对象平面参数计算子模块,用于根据传送带平面的参数a、b和c1,待测对象的目标区域的各像素的三维坐标,和待测对象平面表达式z=ax+by+c2,计算出待测对象平面表达式的参数c2;
高度计算子模块,用于根据传送带平面和待测对象平面的表达式和上述参数,根据下式计算待测对象的高度
体积测量模块包括以下子模块,用于根据待测对象的三维坐标计算待测对象的长宽:
外接顶点计算子模块,用于求解待测对象目标区域的最小外接矩形及该最小外接矩形的四个顶点P1,P2,P3,和P4;
目标区域内选点子模块,用于选取所述最小外接矩形对角线P1P4和P2P3上1/4和3/4处的点Q1,Q2,Q3和Q4;
长宽计算子模块,用于根据点Q1,Q2,Q3和Q4在三维相机坐标系中的坐标计算待测对象的长和宽:
其中,点Q1,Q2,Q3和Q4在三维相机坐标系中的坐标分别为
第三实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第三实施方式中。
本发明第八实施方式涉及一种基于深度相机的体积测量系统,第八实施方式在第五实施方式的基础上进行了改进,主要改进之处在于:根据传送带的速度对深度相机的图像输出帧率进行调节可以满足不同传输速度下不同分辨率的应用需求;通过判断待测对象是否已经传送至深度相机的正下方范围内,决定是否进行体积测量,提高了计算效率。具体地说:
还包括帧率调节模块:用于采用联动控制方式,根据传送带的速度对深度相机获取深度图的图像输出帧率进行调节,其中传送带的速度越快深度相机获取深度图的图像输出帧率越高。
还包括测量控制模块:用于根据待测对象中心的二维图像坐标是否在深度图的中心范围内,判断待测对象是否已经传送至深度相机的正下方。如果判断结果为是,则控制深度图获取模块执行从深度相机获取含有待测对象的深度图;如果判断结果为否,则等待。
第四实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第四实施方式互相配合实施。第四实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第四实施方式中。
作为优选例,基于深度相机的体积测量系统主要由四个模块组成:图像数据采集模块(即深度图获取模块)、调节控制模块(即帧率调节模块和测量控制模块)、数据处理模块(即对象提取模块和坐标转换模块)和体积测量模块。各模块之间关联如图7所示,其中,
1)图像数据采集模块:针对包裹测量场景进行实时深度图数据采集;
2)调节控制模块:完成深度相机的图像帧率调节和包裹体积测量控制功能。图像帧率调节是根据传送带的传输速度手动或自动调节深度相机的图像输出帧率;包裹体积测量控制是根据包裹中心是否在图像中心来控制是否需要进行体积测量,只有当包裹被传送至深度相机正下方时才进行体积测量;
3)数据处理模块:主要包括包裹目标提取和包裹目标二维图像坐标到三维坐标的转换;
4)体积测量模块:根据包裹三维坐标进行体积测量。
需要说明的是,本发明各设备实施方式中提到的各模块都是逻辑模块,在物理上,一个逻辑模块可以是一个物理模块,也可以是一个物理模块的一部分,还可以以多个物理模块的组合实现,这些逻辑模块本身的物理实现方式并不是最重要的,这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引入,这并不表明上述设备实施方式并不存在其它的模块。
需要说明的是,在本专利的权利要求和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (14)
1.一种基于深度相机的体积测量方法,其特征在于,包括以下步骤:
从所述深度相机获取含有待测对象的深度图,所述深度图包含有所述待测对象的深度信息;
根据所述深度信息将所述待测对象从所述深度图中提取出来,得到待测对象目标区域;
利用预先标定的深度相机的参数,将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标;
在所述三维相机坐标系下,根据待测对象的三维坐标计算待测对象的高度和长宽,从而计算出待测对象的体积。
2.根据权利要求1所述的基于深度相机的体积测量方法,其特征在于,所述“根据所述深度信息将所述待测对象从所述深度图中提取出来,得到待测对象目标区域”的步骤包括以下子步骤:
对深度图进行直方图统计深度值;
根据第一分割阈值将待测对象与传送带分割开来,将小于第一分割阈值的区域提取作为初步的待测对象目标区域;
对所述初步的待测对象的目标区域再次进行直方图统计深度值;
根据第二分割阈值将待测对象的上表面区域与待测对象的侧面区域分割开来,保留上表面区域作为待测对象目标区域。
3.根据权利要求1所述的基于深度相机的体积测量方法,其特征在于,在所述“利用预先标定的深度相机的内参数,将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标”的步骤中,通过以下公式进行坐标转换:
其中,(u,v)为像素的二维图像坐标,(Xc,Yc,Zc)为三维相机坐标系下的三维坐标,fx和fy为焦距,(u0,v0)为像素基准点,Zc为目标点到相机的距离,可由深度相机直接获取。
4.根据权利要求1所述的基于深度相机的体积测量方法,其特征在于,所述根据待测对象的三维坐标计算待测对象的高度的步骤包括以下子步骤:
根据传送带表面多个坐标点的三维坐标对传送带进行平面拟合,获取传送带平面表达式z=ax+by+c1中的参数a、b和c1;
根据传送带平面的参数a、b和c1,待测对象的目标区域的各像素的三维坐标,和待测对象平面表达式z=ax+by+c2,计算出待测对象平面表达式的参数c2;
根据传送带平面和待测对象平面的表达式和上述参数,根据下式计算待测对象的高度
5.根据权利要求1所述的基于深度相机的体积测量方法,其特征在于,所述根据待测对象的三维坐标计算待测对象的长宽的步骤包括以下子步骤:
求解待测对象目标区域的最小外接矩形及该最小外接矩形的四个顶点P1,P2,P3,和P4;
选取所述最小外接矩形对角线P1P4和P2P3上1/4和3/4处的点Q1,Q2,Q3和Q4;
根据点Q1,Q2,Q3和Q4在三维相机坐标系中的坐标计算待测对象的长和宽:
其中,点Q1,Q2,Q3和Q4在三维相机坐标系中的坐标分别为
6.根据权利要求1至5中任一项所述的基于深度相机的体积测量方法,其特征在于,在所述深度相机获取含有待测对象的深度图的步骤之前,还包括步骤:
采用联动控制方式,根据传送带的速度对深度相机获取深度图的图像输出帧率进行调节,其中传送带的速度越快深度相机获取深度图的图像输出帧率越高。
7.根据权利要求1至5中任一项所述的基于深度相机的体积测量方法,其特征在于,在所述“根据所述深度信息将所述待测对象从所述深度图中提取出来,得到待测对象目标区域”的步骤之前,还包括以下步骤:
根据待测对象中心的二维图像坐标是否在深度图的中心范围内,判断待测对象是否已经传送至深度相机的正下方;
如果判断结果为是,则执行所述从所述深度相机获取含有待测对象的深度图的步骤;
如果判断结果为否,则等待。
8.一种基于深度相机的体积测量系统,其特征在于,包括以下模块:
深度图获取模块,用于从所述深度相机获取含有待测对象的深度图,所述深度图包含有所述待测对象的深度信息;
对象提取模块,用于根据所述深度信息将所述待测对象从所述深度图中提取出来,得到待测对象目标区域;
坐标转换模块,用于利用预先标定的深度相机的参数,将待测对象的目标区域中各像素的二维图像坐标转换到三维相机坐标系下的三维坐标;
体积测量模块,在所述三维相机坐标系下,根据待测对象的三维坐标计算待测对象的高度和长宽,从而计算出待测对象的体积。
9.根据权利要求8所述的基于深度相机的体积测量系统,其特征在于,所述对象提取模块包括以下子模块:
第一深度值统计模块,用于对深度图进行直方图统计深度值;
第一提取模块,用于根据第一分割阈值将待测对象与传送带分割开来,将小于第一分割阈值的区域提取作为初步的待测对象目标区域;
第二深度值统计模块,用于对所述初步的待测对象的目标区域再次进行直方图统计深度值;
第二提取模块,用于根据第二分割阈值将待测对象的上表面区域与待测对象的侧面区域分割开来,保留上表面区域作为待测对象目标区域。
10.根据权利要求8所述的基于深度相机的体积测量系统,其特征在于,在所述坐标转换模块中,通过以下公式进行坐标转换:
其中,(u,v)为像素的二维图像坐标,(Xc,Yc,Zc)为三维相机坐标系下的三维坐标,fx和fy为焦距,(u0,v0)为像素基准点,Zc为目标点到相机的距离,可由深度相机直接获取。
11.根据权利要求8所述的基于深度相机的体积测量系统,其特征在于,所述体积测量模块包括以下子模块,用于根据待测对象的三维坐标计算待测对象的高度:
平面拟合子模块,用于根据传送带表面多个坐标点的三维坐标对传送带进行平面拟合,获取传送带平面表达式z=ax+by+c1中的参数a、b和c1;
待测对象平面参数计算子模块,用于根据传送带平面的参数a、b和c1,待测对象的目标区域的各像素的三维坐标,和待测对象平面表达式z=ax+by+c2,计算出待测对象平面表达式的参数c2;
高度计算子模块,用于根据传送带平面和待测对象平面的表达式和上述参数,根据下式计算待测对象的高度
12.根据权利要求8所述的基于深度相机的体积测量系统,其特征在于,所述体积测量模块包括以下子模块,用于根据待测对象的三维坐标计算待测对象的长宽:
外接顶点计算子模块,用于求解待测对象目标区域的最小外接矩形及该最小外接矩形的四个顶点P1,P2,P3,和P4;
目标区域内选点子模块,用于选取所述最小外接矩形对角线P1P4和P2P3上1/4和3/4处的点Q1,Q2,Q3和Q4;
长宽计算子模块,用于根据点Q1,Q2,Q3和Q4在三维相机坐标系中的坐标计算待测对象的长和宽:
其中,点Q1,Q2,Q3和Q4在三维相机坐标系中的坐标分别为
13.根据权利要求8至12中任一项所述的基于深度相机的体积测量系统,其特征在于,还包括帧率调节模块:
用于采用联动控制方式,根据传送带的速度对深度相机获取深度图的图像输出帧率进行调节,其中传送带的速度越快深度相机获取深度图的图像输出帧率越高。
14.根据权利要求8至12中任一项所述的基于深度相机的体积测量系统,其特征在于,还包括测量控制模块:
用于根据待测对象中心的二维图像坐标是否在深度图的中心范围内,判断待测对象是否已经传送至深度相机的正下方;
如果判断结果为是,则控制深度图获取模块执行所述从深度相机获取含有待测对象的深度图;
如果判断结果为否,则等待。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510882226.3A CN106839975B (zh) | 2015-12-03 | 2015-12-03 | 基于深度相机的体积测量方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510882226.3A CN106839975B (zh) | 2015-12-03 | 2015-12-03 | 基于深度相机的体积测量方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106839975A true CN106839975A (zh) | 2017-06-13 |
CN106839975B CN106839975B (zh) | 2019-08-30 |
Family
ID=59149097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510882226.3A Active CN106839975B (zh) | 2015-12-03 | 2015-12-03 | 基于深度相机的体积测量方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106839975B (zh) |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017197988A1 (zh) * | 2016-05-16 | 2017-11-23 | 杭州海康机器人技术有限公司 | 一种确定物体体积的方法及装置 |
CN107869954A (zh) * | 2017-10-23 | 2018-04-03 | 广东工业大学 | 一种双目视觉体积重量测量系统及其实现方法 |
CN108447088A (zh) * | 2018-03-21 | 2018-08-24 | 轻客智能科技(江苏)有限公司 | 一种用于快递寄件的体积测量方法及装置 |
CN108537834A (zh) * | 2018-03-19 | 2018-09-14 | 杭州艾芯智能科技有限公司 | 一种基于深度图像的体积测量方法、系统及深度相机 |
CN108627092A (zh) * | 2018-04-17 | 2018-10-09 | 南京阿凡达机器人科技有限公司 | 一种包裹体积的测量方法、系统、储存介质及移动终端 |
CN108648230A (zh) * | 2018-05-14 | 2018-10-12 | 南京阿凡达机器人科技有限公司 | 一种包裹尺寸测量方法、系统、储存介质及移动终端 |
CN108981570A (zh) * | 2018-07-12 | 2018-12-11 | 浙江大学 | 一种便携式物流包裹体积测量装置 |
CN108981563A (zh) * | 2017-11-30 | 2018-12-11 | 成都通甲优博科技有限责任公司 | 体积测量方法、装置及系统 |
CN109000560A (zh) * | 2018-06-11 | 2018-12-14 | 广东工业大学 | 基于三维相机检测包裹尺寸的方法、装置以及设备 |
CN109000559A (zh) * | 2018-06-11 | 2018-12-14 | 广东工业大学 | 一种物体体积的测量方法、装置、系统和可读存储介质 |
CN109029250A (zh) * | 2018-06-11 | 2018-12-18 | 广东工业大学 | 一种基于三维相机检测包裹尺寸的方法、装置以及设备 |
CN109059770A (zh) * | 2018-09-10 | 2018-12-21 | 青岛大学 | 一种基于tof深度相机的包裹体积测量方法 |
CN109186461A (zh) * | 2018-07-27 | 2019-01-11 | 南京阿凡达机器人科技有限公司 | 一种箱体大小的测量方法及测量设备 |
CN109215030A (zh) * | 2017-06-30 | 2019-01-15 | 深圳市特影信息技术有限责任公司 | 基于拍照工具的2d和3d自由点测绘方法、装置及系统 |
CN109345580A (zh) * | 2018-10-23 | 2019-02-15 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
CN109472822A (zh) * | 2018-12-29 | 2019-03-15 | 上海大学 | 基于深度图像处理的物体尺寸测量方法 |
CN109632033A (zh) * | 2019-02-22 | 2019-04-16 | 浙江大学滨海产业技术研究院 | 一种体积测量的设备与方法 |
CN109886961A (zh) * | 2019-03-27 | 2019-06-14 | 重庆交通大学 | 基于深度图像的中大型货物体积测量方法 |
CN109961468A (zh) * | 2019-03-15 | 2019-07-02 | 北京清瞳时代科技有限公司 | 基于双目视觉的体积测量方法、装置及存储介质 |
CN109993785A (zh) * | 2019-03-27 | 2019-07-09 | 青岛小鸟看看科技有限公司 | 一种货箱体积测量方法和深度相机模组 |
CN110006343A (zh) * | 2019-04-15 | 2019-07-12 | Oppo广东移动通信有限公司 | 物体几何参数的测量方法、装置和终端 |
CN110017773A (zh) * | 2019-05-09 | 2019-07-16 | 福建(泉州)哈工大工程技术研究院 | 一种基于机器视觉的包裹体积测量方法 |
CN110084849A (zh) * | 2019-05-09 | 2019-08-02 | 福建(泉州)哈工大工程技术研究院 | 具自动测量体积和重量的物流系统 |
CN110225400A (zh) * | 2019-07-08 | 2019-09-10 | 北京字节跳动网络技术有限公司 | 一种动作捕捉方法、装置、移动终端及存储介质 |
CN110220478A (zh) * | 2019-06-25 | 2019-09-10 | 杭州晶一智能科技有限公司 | 一种规则物体三维尺寸的快速测量方法 |
CN110659547A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 物体识别方法、装置、车辆和计算机可读存储介质 |
CN110726996A (zh) * | 2019-11-25 | 2020-01-24 | 歌尔股份有限公司 | 深度模组测距方法、深度相机及移动终端 |
CN110853080A (zh) * | 2019-09-30 | 2020-02-28 | 广西慧云信息技术有限公司 | 一种田间果实尺寸的测量方法 |
CN110889845A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市商汤科技有限公司 | 测量方法及装置、电子设备和存储介质 |
CN111145167A (zh) * | 2019-12-30 | 2020-05-12 | 杭州艾芯智能科技有限公司 | 平整度检测方法、装置、计算机设备和存储介质 |
CN111429507A (zh) * | 2020-04-14 | 2020-07-17 | 深圳市异方科技有限公司 | 一种基于多个3d镜头的测量体积装置 |
CN111457982A (zh) * | 2020-05-13 | 2020-07-28 | 武汉市异方体科技有限公司 | 一种一体化的体积测量模块 |
CN111538024A (zh) * | 2020-03-24 | 2020-08-14 | 深圳奥比中光科技有限公司 | 一种滤波ToF深度测量方法及装置 |
CN111638159A (zh) * | 2020-05-29 | 2020-09-08 | 新兴铸管股份有限公司 | 高炉原燃料粒度检测方法 |
CN111712685A (zh) * | 2018-03-19 | 2020-09-25 | 阿自倍尔株式会社 | 检测装置 |
CN112102391A (zh) * | 2020-08-31 | 2020-12-18 | 北京市商汤科技开发有限公司 | 测量方法及装置、电子设备及存储介质 |
CN112197708A (zh) * | 2020-08-31 | 2021-01-08 | 深圳市慧鲤科技有限公司 | 测量方法及装置、电子设备及存储介质 |
CN112254635A (zh) * | 2020-09-23 | 2021-01-22 | 洛伦兹(北京)科技有限公司 | 体积测量方法、装置及系统 |
CN112581454A (zh) * | 2020-12-23 | 2021-03-30 | 中原动力智能机器人有限公司 | 一种基于深度相机的井盖缺失检测方法及系统 |
CN112739975A (zh) * | 2018-09-28 | 2021-04-30 | 松下知识产权经营株式会社 | 尺寸测量装置以及尺寸测量方法 |
CN113188484A (zh) * | 2021-04-16 | 2021-07-30 | 北京科技大学 | 一种热轧卷头部轮廓面积检测方法 |
CN113418467A (zh) * | 2021-06-16 | 2021-09-21 | 厦门硅谷动能信息技术有限公司 | 基于ToF点云数据检测一般及黑色行李尺寸的方法 |
CN113916128A (zh) * | 2021-10-11 | 2022-01-11 | 齐鲁工业大学 | 一种基于光笔式视觉测量系统的提高精度的方法 |
WO2022105936A1 (zh) * | 2021-01-14 | 2022-05-27 | 青岛大学威海创新研究院 | 基于飞行时间深度相机的体积测量方法及装置 |
CN115077379A (zh) * | 2022-06-08 | 2022-09-20 | 安徽工业大学 | 一种基于深度相机垂直拍摄的多个包裹体积测量方法 |
EP4375613A1 (en) * | 2022-11-25 | 2024-05-29 | Fives Intralogistics S.p.A. | System for recognising unstable objects |
US12018969B2 (en) | 2018-11-21 | 2024-06-25 | Nec Communication Systems, Ltd. | Volume measurement apparatus, system, method, and program |
CN118279382A (zh) * | 2024-05-27 | 2024-07-02 | 深圳市伊天行技术有限公司 | 一种基于深度相机的容积率测量方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101846503A (zh) * | 2010-04-21 | 2010-09-29 | 中国科学院自动化研究所 | 一种基于立体视觉的行李信息在线获取系统及其方法 |
CN103559737A (zh) * | 2013-11-12 | 2014-02-05 | 中国科学院自动化研究所 | 一种对象全景建模方法 |
US20140368639A1 (en) * | 2013-06-18 | 2014-12-18 | Xerox Corporation | Handheld cellular apparatus for volume estimation |
CN104330038A (zh) * | 2014-11-26 | 2015-02-04 | 厦门优策信息科技有限公司 | 一种尺寸测量的方法 |
CN104376558A (zh) * | 2014-11-13 | 2015-02-25 | 浙江大学 | 一种基于长方体的Kinect深度相机的内参标定方法 |
US20150302594A1 (en) * | 2013-07-12 | 2015-10-22 | Richard H. Moore | System and Method For Object Detection Using Structured Light |
-
2015
- 2015-12-03 CN CN201510882226.3A patent/CN106839975B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101846503A (zh) * | 2010-04-21 | 2010-09-29 | 中国科学院自动化研究所 | 一种基于立体视觉的行李信息在线获取系统及其方法 |
US20140368639A1 (en) * | 2013-06-18 | 2014-12-18 | Xerox Corporation | Handheld cellular apparatus for volume estimation |
US20150302594A1 (en) * | 2013-07-12 | 2015-10-22 | Richard H. Moore | System and Method For Object Detection Using Structured Light |
CN103559737A (zh) * | 2013-11-12 | 2014-02-05 | 中国科学院自动化研究所 | 一种对象全景建模方法 |
CN104376558A (zh) * | 2014-11-13 | 2015-02-25 | 浙江大学 | 一种基于长方体的Kinect深度相机的内参标定方法 |
CN104330038A (zh) * | 2014-11-26 | 2015-02-04 | 厦门优策信息科技有限公司 | 一种尺寸测量的方法 |
Cited By (70)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107388960A (zh) * | 2016-05-16 | 2017-11-24 | 杭州海康机器人技术有限公司 | 一种确定物体体积的方法及装置 |
CN107388960B (zh) * | 2016-05-16 | 2019-10-22 | 杭州海康机器人技术有限公司 | 一种确定物体体积的方法及装置 |
US10922834B2 (en) | 2016-05-16 | 2021-02-16 | Hangzhou Hikrobot Technology, Co., LTD | Method and apparatus for determining volume of object |
WO2017197988A1 (zh) * | 2016-05-16 | 2017-11-23 | 杭州海康机器人技术有限公司 | 一种确定物体体积的方法及装置 |
CN109215030A (zh) * | 2017-06-30 | 2019-01-15 | 深圳市特影信息技术有限责任公司 | 基于拍照工具的2d和3d自由点测绘方法、装置及系统 |
CN107869954A (zh) * | 2017-10-23 | 2018-04-03 | 广东工业大学 | 一种双目视觉体积重量测量系统及其实现方法 |
CN107869954B (zh) * | 2017-10-23 | 2023-05-16 | 广东工业大学 | 一种双目视觉体积重量测量系统及其实现方法 |
CN108981563B (zh) * | 2017-11-30 | 2021-02-26 | 成都通甲优博科技有限责任公司 | 体积测量方法、装置及系统 |
CN108981563A (zh) * | 2017-11-30 | 2018-12-11 | 成都通甲优博科技有限责任公司 | 体积测量方法、装置及系统 |
CN108537834B (zh) * | 2018-03-19 | 2020-05-01 | 杭州艾芯智能科技有限公司 | 一种基于深度图像的体积测量方法、系统及深度相机 |
CN108537834A (zh) * | 2018-03-19 | 2018-09-14 | 杭州艾芯智能科技有限公司 | 一种基于深度图像的体积测量方法、系统及深度相机 |
CN111712685A (zh) * | 2018-03-19 | 2020-09-25 | 阿自倍尔株式会社 | 检测装置 |
CN108447088A (zh) * | 2018-03-21 | 2018-08-24 | 轻客智能科技(江苏)有限公司 | 一种用于快递寄件的体积测量方法及装置 |
CN108627092A (zh) * | 2018-04-17 | 2018-10-09 | 南京阿凡达机器人科技有限公司 | 一种包裹体积的测量方法、系统、储存介质及移动终端 |
CN108648230A (zh) * | 2018-05-14 | 2018-10-12 | 南京阿凡达机器人科技有限公司 | 一种包裹尺寸测量方法、系统、储存介质及移动终端 |
CN109029250A (zh) * | 2018-06-11 | 2018-12-18 | 广东工业大学 | 一种基于三维相机检测包裹尺寸的方法、装置以及设备 |
CN109000559A (zh) * | 2018-06-11 | 2018-12-14 | 广东工业大学 | 一种物体体积的测量方法、装置、系统和可读存储介质 |
CN109000560A (zh) * | 2018-06-11 | 2018-12-14 | 广东工业大学 | 基于三维相机检测包裹尺寸的方法、装置以及设备 |
CN109000560B (zh) * | 2018-06-11 | 2021-07-06 | 广东工业大学 | 基于三维相机检测包裹尺寸的方法、装置以及设备 |
CN110659547A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 物体识别方法、装置、车辆和计算机可读存储介质 |
CN110659547B (zh) * | 2018-06-29 | 2023-07-14 | 比亚迪股份有限公司 | 物体识别方法、装置、车辆和计算机可读存储介质 |
CN108981570A (zh) * | 2018-07-12 | 2018-12-11 | 浙江大学 | 一种便携式物流包裹体积测量装置 |
CN108981570B (zh) * | 2018-07-12 | 2020-06-09 | 浙江大学 | 一种便携式物流包裹体积测量装置 |
CN109186461A (zh) * | 2018-07-27 | 2019-01-11 | 南京阿凡达机器人科技有限公司 | 一种箱体大小的测量方法及测量设备 |
CN109059770A (zh) * | 2018-09-10 | 2018-12-21 | 青岛大学 | 一种基于tof深度相机的包裹体积测量方法 |
CN109059770B (zh) * | 2018-09-10 | 2020-09-04 | 青岛大学 | 一种基于tof深度相机的包裹体积测量方法 |
CN112739975B (zh) * | 2018-09-28 | 2023-06-13 | 松下知识产权经营株式会社 | 尺寸测量装置以及尺寸测量方法 |
CN112739975A (zh) * | 2018-09-28 | 2021-04-30 | 松下知识产权经营株式会社 | 尺寸测量装置以及尺寸测量方法 |
CN109345580A (zh) * | 2018-10-23 | 2019-02-15 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
CN109345580B (zh) * | 2018-10-23 | 2020-03-24 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
WO2020082830A1 (zh) * | 2018-10-23 | 2020-04-30 | 北京字节跳动网络技术有限公司 | 处理图像的方法和装置 |
US12018969B2 (en) | 2018-11-21 | 2024-06-25 | Nec Communication Systems, Ltd. | Volume measurement apparatus, system, method, and program |
CN109472822A (zh) * | 2018-12-29 | 2019-03-15 | 上海大学 | 基于深度图像处理的物体尺寸测量方法 |
CN109632033A (zh) * | 2019-02-22 | 2019-04-16 | 浙江大学滨海产业技术研究院 | 一种体积测量的设备与方法 |
CN109632033B (zh) * | 2019-02-22 | 2024-04-26 | 浙江大学滨海产业技术研究院 | 一种体积测量的设备与方法 |
CN109961468B (zh) * | 2019-03-15 | 2021-08-13 | 北京清瞳时代科技有限公司 | 基于双目视觉的体积测量方法、装置及存储介质 |
CN109961468A (zh) * | 2019-03-15 | 2019-07-02 | 北京清瞳时代科技有限公司 | 基于双目视觉的体积测量方法、装置及存储介质 |
CN109886961B (zh) * | 2019-03-27 | 2023-04-11 | 重庆交通大学 | 基于深度图像的中大型货物体积测量方法 |
CN109886961A (zh) * | 2019-03-27 | 2019-06-14 | 重庆交通大学 | 基于深度图像的中大型货物体积测量方法 |
CN109993785A (zh) * | 2019-03-27 | 2019-07-09 | 青岛小鸟看看科技有限公司 | 一种货箱体积测量方法和深度相机模组 |
CN109993785B (zh) * | 2019-03-27 | 2020-11-17 | 青岛小鸟看看科技有限公司 | 一种货箱内装载货物体积的测量方法和深度相机模组 |
CN110006343A (zh) * | 2019-04-15 | 2019-07-12 | Oppo广东移动通信有限公司 | 物体几何参数的测量方法、装置和终端 |
CN110084849A (zh) * | 2019-05-09 | 2019-08-02 | 福建(泉州)哈工大工程技术研究院 | 具自动测量体积和重量的物流系统 |
CN110017773A (zh) * | 2019-05-09 | 2019-07-16 | 福建(泉州)哈工大工程技术研究院 | 一种基于机器视觉的包裹体积测量方法 |
CN110220478A (zh) * | 2019-06-25 | 2019-09-10 | 杭州晶一智能科技有限公司 | 一种规则物体三维尺寸的快速测量方法 |
CN110225400B (zh) * | 2019-07-08 | 2022-03-04 | 北京字节跳动网络技术有限公司 | 一种动作捕捉方法、装置、移动终端及存储介质 |
CN110225400A (zh) * | 2019-07-08 | 2019-09-10 | 北京字节跳动网络技术有限公司 | 一种动作捕捉方法、装置、移动终端及存储介质 |
CN110853080A (zh) * | 2019-09-30 | 2020-02-28 | 广西慧云信息技术有限公司 | 一种田间果实尺寸的测量方法 |
CN110726996A (zh) * | 2019-11-25 | 2020-01-24 | 歌尔股份有限公司 | 深度模组测距方法、深度相机及移动终端 |
CN110726996B (zh) * | 2019-11-25 | 2021-11-26 | 歌尔光学科技有限公司 | 深度模组测距方法、深度相机及移动终端 |
CN110889845B (zh) * | 2019-11-29 | 2022-11-11 | 深圳市商汤科技有限公司 | 测量方法及装置、电子设备和存储介质 |
CN110889845A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市商汤科技有限公司 | 测量方法及装置、电子设备和存储介质 |
CN111145167A (zh) * | 2019-12-30 | 2020-05-12 | 杭州艾芯智能科技有限公司 | 平整度检测方法、装置、计算机设备和存储介质 |
CN111538024A (zh) * | 2020-03-24 | 2020-08-14 | 深圳奥比中光科技有限公司 | 一种滤波ToF深度测量方法及装置 |
CN111429507A (zh) * | 2020-04-14 | 2020-07-17 | 深圳市异方科技有限公司 | 一种基于多个3d镜头的测量体积装置 |
CN111457982A (zh) * | 2020-05-13 | 2020-07-28 | 武汉市异方体科技有限公司 | 一种一体化的体积测量模块 |
CN111638159A (zh) * | 2020-05-29 | 2020-09-08 | 新兴铸管股份有限公司 | 高炉原燃料粒度检测方法 |
CN112102391A (zh) * | 2020-08-31 | 2020-12-18 | 北京市商汤科技开发有限公司 | 测量方法及装置、电子设备及存储介质 |
CN112197708A (zh) * | 2020-08-31 | 2021-01-08 | 深圳市慧鲤科技有限公司 | 测量方法及装置、电子设备及存储介质 |
CN112254635B (zh) * | 2020-09-23 | 2022-06-28 | 洛伦兹(北京)科技有限公司 | 体积测量方法、装置及系统 |
CN112254635A (zh) * | 2020-09-23 | 2021-01-22 | 洛伦兹(北京)科技有限公司 | 体积测量方法、装置及系统 |
CN112581454A (zh) * | 2020-12-23 | 2021-03-30 | 中原动力智能机器人有限公司 | 一种基于深度相机的井盖缺失检测方法及系统 |
WO2022105936A1 (zh) * | 2021-01-14 | 2022-05-27 | 青岛大学威海创新研究院 | 基于飞行时间深度相机的体积测量方法及装置 |
CN113188484A (zh) * | 2021-04-16 | 2021-07-30 | 北京科技大学 | 一种热轧卷头部轮廓面积检测方法 |
CN113418467A (zh) * | 2021-06-16 | 2021-09-21 | 厦门硅谷动能信息技术有限公司 | 基于ToF点云数据检测一般及黑色行李尺寸的方法 |
CN113916128A (zh) * | 2021-10-11 | 2022-01-11 | 齐鲁工业大学 | 一种基于光笔式视觉测量系统的提高精度的方法 |
CN115077379A (zh) * | 2022-06-08 | 2022-09-20 | 安徽工业大学 | 一种基于深度相机垂直拍摄的多个包裹体积测量方法 |
EP4375613A1 (en) * | 2022-11-25 | 2024-05-29 | Fives Intralogistics S.p.A. | System for recognising unstable objects |
CN118279382A (zh) * | 2024-05-27 | 2024-07-02 | 深圳市伊天行技术有限公司 | 一种基于深度相机的容积率测量方法 |
CN118279382B (zh) * | 2024-05-27 | 2024-07-30 | 深圳市伊天行技术有限公司 | 一种基于深度相机的容积率测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106839975B (zh) | 2019-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106839975A (zh) | 基于深度相机的体积测量方法及其系统 | |
EP2843590B1 (en) | System and method for package dimensioning | |
CN103218787B (zh) | 多源异构遥感影像控制点自动采集方法 | |
US6995762B1 (en) | Measurement of dimensions of solid objects from two-dimensional image(s) | |
US7376262B2 (en) | Method of three dimensional positioning using feature matching | |
EP3273412B1 (en) | Three-dimensional modelling method and device | |
US10521694B2 (en) | 3D building extraction apparatus, method and system | |
US20110075882A1 (en) | Geospatial information creating system and geospatial information creating method | |
US20160098858A1 (en) | 3-dimensional model generation using edges | |
US9240048B2 (en) | Depth estimation using three-dimensional epipolar data structures | |
JP6111745B2 (ja) | 車輌検知方法及び装置 | |
CN103913149B (zh) | 一种基于stm32单片机的双目测距系统及其测距方法 | |
WO2015116993A1 (en) | Augmented three dimensional point collection of vertical structures | |
US8682037B2 (en) | Method and system for thinning a point cloud | |
CN105426903A (zh) | 一种遥感卫星图像的云判方法及系统 | |
Daghigh et al. | A critical review of discontinuity plane extraction from 3D point cloud data of rock mass surfaces | |
Cheng et al. | Building boundary extraction from high resolution imagery and lidar data | |
CN109002418B (zh) | 基于体素生长和地面激光点云的树木胸径自动计算方法 | |
US20110026773A1 (en) | Image processing apparatus, information processing system, and image processing method | |
CN107134008A (zh) | 一种基于三维重建下的动态物体识别的方法及系统 | |
CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
CN112200163B (zh) | 水下底栖生物检测方法及系统 | |
US9128188B1 (en) | Object instance identification using template textured 3-D model matching | |
CN114396875A (zh) | 一种基于深度相机垂直拍摄的长方形包裹体积测量方法 | |
CN111340869A (zh) | 快递包裹表面平整度识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |