CN112254635B - 体积测量方法、装置及系统 - Google Patents
体积测量方法、装置及系统 Download PDFInfo
- Publication number
- CN112254635B CN112254635B CN202011009631.1A CN202011009631A CN112254635B CN 112254635 B CN112254635 B CN 112254635B CN 202011009631 A CN202011009631 A CN 202011009631A CN 112254635 B CN112254635 B CN 112254635B
- Authority
- CN
- China
- Prior art keywords
- target object
- image
- pixel point
- distance
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0608—Height gauges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Abstract
本发明提供了一种体积测量方法、装置及系统,涉及体积测量技术领域,上述体积测量方法包括:利用图像传感器获取目标对象的深度图像;其中,深度图像中携带有各个像素点对应的深度距离;确定深度图像中目标对象的各个像素点对应的物理尺寸;其中,物理尺寸包括物理长度、物理宽度和物理高度;基于目标对象的各个像素点对应的物理尺寸确定目标对象的体积。本发明可以实现对不规则形状货物及随意摆放货物体积的精确测量,提升了货物体积的测量精度。
Description
技术领域
本发明涉及体积测量技术领域,尤其是涉及一种体积测量方法、装置及系统。
背景技术
随着智能物流技术的发展,智能仓储系统的应用越来越广泛。物流仓库通常需要管理数以万计的货物,快速、准确地采集货物体积信息能够帮助企业实现精细化管理和提高仓储效率。为了测量货物体积,基于深度传感器的货物体积方法逐渐兴起,目前主要以RGB数据和3D点云作为计算数据。针对摆放规范且形状规则的货物体积测量,现有算法已经实现高精度测量水平,但是,实际物流运输线经常存在不规则形状的货物或者货物随意摆放的现象。
针对上述情况,专利号为CN109655019A的发明专利公开了一种基于深度学习和三维重建的货物体积测量方法,通过获取RGBD数据,利用深度学习在RGBD数据上识别出待测目标,利用点云数据三角化实现体积测量,然而,基于深度学习进修体积测量的计算量大,成本较高,且容易受到光照的影响,测量精度较低。专利号为CN110853092A的发明专利公开了一种基于不规则物体的点云量方算法,点云受光线变化影响小,通过获取货物的点云图像,将点云数据分割投影成网格数据计算面积,根据z轴最大最小值等间距分割网格,基于微积分思想计算货物网格单元的体积和,该方案将不规则的货物分割成规则的小目标,但网格分割的大小和规则形状的面积计算会直接影响结果偏大或者偏小,导致货物体积测量精度较低。
因此,目前针对不规则形状的货物或者随意摆放的货物的体积测量技术,还存在测量精度较低的问题。
发明内容
有鉴于此,本发明的目的在于提供一种体积测量方法、装置及系统,能够实现对不规则形状货物及随意摆放货物体积的精确测量,提升了货物体积测量的精度。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种体积测量方法,包括:利用图像传感器获取目标对象的深度图像;其中,所述深度图像中携带有各个像素点对应的深度距离;确定所述深度图像中所述目标对象的各个像素点对应的物理尺寸;其中,所述物理尺寸包括物理长度、物理宽度和物理高度;基于所述目标对象的各个像素点对应的物理尺寸确定所述目标对象的体积。
进一步,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述确定所述深度图像中所述目标对象的各个像素点对应的物理尺寸的步骤,包括:对所述深度图像进行图像去噪及目标分割,得到所述目标对象的掩码图像;对所述掩码图像中所述目标对象的各个像素点进行深度距离校准,得到所述目标对象各个像素点的校准距离;基于所述校准距离确定各个像素点对应的物理长度和物理宽度;基于所述校准距离及参照面距离确定所述目标对象各个像素点对应的物理高度;其中,所述参照面距离为所述目标对象所在平面与所述图像传感器之间的垂直距离。
进一步,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述对所述深度图像进行图像去噪及目标分割,得到所述目标对象的掩码图像的步骤,包括:利用中值滤波对所述深度图像进行数据补洞及噪点去除处理,得到平滑图像;基于所述参照面距离,对所述平滑图像进行直通滤波,得到待分割图像;利用轮廓提取及最小外接矩形框拟合对所述待分割图像进行目标分割,得到所述目标对象的掩码图。
进一步,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述对所述掩码图像中所述目标对象的各个像素点进行深度距离校准,得到所述目标对象各个像素点的校准距离的步骤,包括:基于第一计算算式,对所述深度距离进行距离校准,得到所述目标对象各个像素点的校准距离;其中,所述第一计算算式为:
为第i行第j列像素点的校准距离,disi,j为第i行第j列像素点的深度距离,CX为所述图像传感器的光轴在图像坐标系中的横向偏移量,CY为所述图像传感器的光轴在图像坐标系中的纵向偏移量,FX为所述图像传感器的焦距。
进一步,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述基于所述校准距离确定各个像素点对应的物理长度和物理宽度的步骤,包括:
基于所述校准距离及第二计算算式,确定各个像素点所对应目标对象表面区域的物理长度;其中,所述第二计算算式为:
基于所述校准距离及第三计算算式,确定各个像素点所对应目标对象表面区域的物理宽度;其中,所述第三计算算式为:
Wn为所述目标对象所覆盖的第n个像素点对应的物理长度,α为所述图像传感器的水平视场角,Fw为所述深度图像的行像素分辨率,Ln为所述目标对象所覆盖的第n个像素点对应的物理宽度,β为所述图像传感器的垂直视场角,Fh为所述深度图像的列像素分辨率,为所述目标对象的第n个像素点的校准距离。
进一步,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述基于所述校准距离及参照面距离确定所述目标对象各个像素点对应的物理高度的步骤,包括:计算所述参照面距离与所述目标对象各个像素点的所述校准距离之间的差值,得到所述目标对象各个像素点的物理高度。
进一步,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述基于所述目标对象的各个像素点对应的物理尺寸确定所述目标对象的体积的步骤,包括:基于所述深度图像中所述目标对象所覆盖的各个像素点对应的物理尺寸确定各个所述像素点对应目标单元的体积;基于各个所述目标单元的体积之和确定所述目标对象的体积。
第二方面,本发明实施例还提供了一种体积测量装置,包括:图像获取模块,用于利用图像传感器获取目标对象的深度图像;其中,所述深度图像中携带有各个像素点对应的深度距离;尺寸确定模型,用于确定所述深度图像中所述目标对象的各个像素点对应的物理尺寸;其中,所述物理尺寸包括物理长度、物理宽度和物理高度;体积确定模块,用于基于所述目标对象的各个像素点对应的物理尺寸确定所述目标对象的体积。
第三方面,本发明实施例提供了一种体积测量系统,包括:传送带、图像传感器和控制器;所述图像传感器设置于所述传送带上目标位置的正上方;所述传送带用于传输目标对象;所述图像传感器用于在所述目标对象传输至所述目标位置时,获取所述目标对象的深度图像,并将所述深度图像发送至所述控制器;所述控制器包括处理器和存储装置;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种体积测量方法、装置及系统,通过获取目标对象的深度图像,并确定深度图像中目标对象的各个像素点所对应的物理尺寸,根据深度图像中目标对象所覆盖的所有像素点的物理尺寸可以得到目标对象的体积,通过将目标对象的体积测量细分至目标对象在深度图像中所覆盖的像素点的实际物理尺寸,并基于各个像素点的实际物理尺寸确定目标对象的体积,可以实现对不规则形状货物及随意摆放货物体积的精确测量,提升了货物体积的测量精度。
本发明实施例的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种体积测量方法流程图;
图2示出了本发明实施例所提供的一种目标对象的深度图像;
图3示出了本发明实施例所提供的一种目标对象的平滑图像;
图4示出了本发明实施例所提供的一种目标对象的待分割图像;
图5示出了本发明实施例所提供的一种目标对象的掩码图;
图6示出了本发明实施例所提供的一种货物体积计算流程图;
图7示出了本发明实施例所提供的一种体积测量装置结构示意图;
图8示出了本发明实施例所提供的一种控制器结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
目前,考虑到现有的针对不规则形状的货物或者随意摆放的货物的体积测量技术,还存在测量精度较低的问题,为改善此问题,本发明实施例提供的一种体积测量方法、装置及系统,该技术可应用于对不规则形状货物及随意摆放货物体积的精确测量,提升货物体积的测量精度。以下对本发明实施例进行详细介绍。
本实施例提供了一种体积测量方法,该方法可以应用于连接有图像传感器的电子设备诸如控制器等,参见图1所示的体积测量方法流程图,该方法主要包括以下步骤S102~步骤S106:
步骤S102,利用图像传感器获取目标对象的深度图像。
上述深度图像中携带有各个像素点对应的深度距离,从深度图像中可以获取到目标对象表面各个点与图像传感器视点之间的距离。上述图像传感器可以能够采集到目标对象的深度图像的传感器,诸如可以是固态激光雷达或3D相机(又称为深度相机)。在实际应用中,为了提升体积测量的准确率,可以将图像传感器设置于目标对象的正上方,采集目标对象的深度图像,并将图像传感器采集到的深度图像发送至能够进行体积计算的控制器中,上述目标对象可以是任意需要进行体积测量的对象,诸如可以是快递包裹或安检物品。在应用于货物传输或行李安检时,可以将图像传感器设置于传送带上目标位置的正上方,利用图像传感器实时获取深度图像,或者当货物或行李传送至目标位置时,利用图像传感器获取货物的深度图像。
步骤S104,确定深度图像中目标对象的各个像素点对应的物理尺寸。
上述物理尺寸包括物理长度、物理宽度和物理高度。图像传感器获取图像时,将物理上连续的目标对象采样成离散的像素点,深度图像中目标对象所覆盖的每个像素点都对应一个有具体尺寸的三维正四棱柱,由于深度图像中携带有各个像素点与图像传感器之间的深度距离,根据图像传感器的物理参数及深度图像中携带的深度距离信息,可以确定深度图像中目标对象所覆盖的每个像素点物理长度、物理宽度及该像素点下目标对象(该像素点对应正四棱柱)的物理高度。
步骤S106,基于目标对象的各个像素点对应的物理尺寸确定目标对象的体积。
基于深度图像中目标对象所覆盖的各个像素点对应的物理尺寸,可以确定各个像素点所对应正四棱柱的体积,将目标对象所覆盖的所有像素点对应正四棱柱的体积相加,可以实时计算得到目标对象的体积。深度图像的获取不会受到光照的影响,提升了体积测量的抗光干扰能力;上述体积测量方式的计算量小,可以实现目标对象体积的实时测量,通过像素级的高精度体积计算,提升了体积测量的鲁棒性。
本实施例提供的上述体积测量方法,通过获取目标对象的深度图像,并确定深度图像中目标对象的各个像素点所对应的物理尺寸,根据深度图像中目标对象所覆盖的所有像素点的物理尺寸可以得到目标对象的体积,通过将目标对象的体积测量细分至目标对象在深度图像中所覆盖的像素点的实际物理尺寸,并基于各个像素点的实际物理尺寸确定目标对象的体积,可以实现对不规则形状货物及随意摆放货物体积的精确测量,提升了货物体积的测量精度。
为了提升体积测量的准确性,本实施例提供了确定深度图像中目标对象的各个像素点对应的物理尺寸的实施方式,具体可参照如下步骤(1)~步骤(4)执行:
步骤(1):对深度图像进行图像去噪及目标分割,得到目标对象的掩码图像。
基于图像传感器采集到的深度图像数据通常存在空洞和噪点,当目标对象为矩形物品时,参见如图2所示的目标对象的深度图像,图2中的深度图像中存在空洞和噪点,利用中值滤波对图2中的深度图像进行数据补洞及噪点去除处理,得到平滑图像,参见如图3所示的目标对象的平滑图像,深度图像经过中值滤波去噪后,图中的空洞被补充完整,噪点被去除。
为了降低杂物及目标对象所在平台(诸如传送带或货物托盘)对目标分割提取的影响,可以根据图像传感器与目标对象所在平面之间的距离,对上述得到的平滑图像进行直通滤波处理,保留选择范围内的像素点。诸如,当图像传感器与目标对象所在平面之间的距离为x时,为了过滤到其他杂物或地面对目标提取的干扰,可以将深度图像中距离图像传感器(0,x)距离范围内的像素点保留(将保留的像素点的值设置为白色像素点255),将深度图像中距离图像传感器的距离值大于等于x的像素点去除(将去除的像素点的值设置为黑色像素点0)。参见如图4所示的目标对象的待分割图像,根据图像传感器的安装高度和目标对象所在传送带或托盘的高度,对平滑图像进行直通滤波,可以剔除图像中的地面杂物,将深度图像中深度距离小于等于参照面距离(目标对象所在传送带或托盘与图像传感器之间的距离)的像素点对应的物体图像设置为白色像素点保留,将深度图像中深度距离大于参照面距离的像素点对应的物体图像设置为黑色像素点,图4中的白色像素点为表面与图像传感器之间的距离小于等于参照面距离的物体的图像,图4中的黑色像素点为过滤掉的非感兴趣区域。
在进行体积测量时,图像传感器通常设置在目标对象的正上方,待测量的目标对象通常在图像传感器的感知范围中心且面积最大,对上述得到的待分割图像进行轮廓提取及最小外接矩形框(给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标定下边界的最小矩形)拟合,分割得到目标对象的掩码图。参见如图5所示的目标对象的掩码图,图5中的白色像素点部分为目标对象的图像,黑色像素点为背景。
步骤(2):对掩码图像中目标对象的各个像素点进行深度距离校准,得到目标对象各个像素点的校准距离。
获取上述分割出目标对象的掩码图像,由于深度图像中目标对象表面与图像传感器之间的深度距离线段,与图像传感器的光轴可能存在一定的夹角,得到的深度距离还存在一定的误差,为了提升各个像素点对应的物理尺寸的计算精度,根据图像传感器的相机内参,对上述掩码图像中目标对象的各个像素点对应的深度距离(即各个像素点对应目标对象表面的区域到图像传感器的距离)进行校准,消除各个像素点的深度距离的误差。
在一种具体的实施方式中,获取深度图像中分割出的目标对象各个像素点的像素坐标,可以基于第一计算算式,对目标对象的各个像素点(即图5中的各个白色像素点)的深度距离进行距离校准,得到目标对象各个像素点的校准距离;其中,第一计算算式为:
为第i行第j列像素点(即目标对象所覆盖的像素点)的校准距离,disi,j为第i行第j列像素点的深度距离(深度图像中携带的目标对象表面各个像素点与图像传感器之间的距离信息),CX为图像传感器的光轴在图像坐标系中的横向偏移量,CY为图像传感器的光轴在图像坐标系(图像坐标系的原点为图像的中心点)中的纵向偏移量(该偏移量的单位可以是像素),FX为图像传感器的焦距。
步骤(3):基于校准距离确定各个像素点对应的物理长度和物理宽度。
上述目标对象的掩码图像中每个白色像素点都可以被视为是一个货物单元,货物单元的集合形成目标对象的图像,每个像素点可以代表一个具有具体尺寸的正四棱柱,根据三角形原理,可以计算出每个白色像素点在目标对象表面区域所占长度和宽度的实际物理尺寸,为了方便计算,可以对目标对象所覆盖的像素点进行编号,以便区分深度图像中目标对象的各个像素点。
在一种具体的实施方式中,可以基于校准距离及第二计算算式,确定各个像素点所对应目标对象表面区域的物理长度;其中,第二计算算式为:
基于校准距离及第三计算算式,确定各个像素点所对应目标对象表面区域的物理宽度;其中,第三计算算式为:
Wn为深度图像中目标对象所覆盖的第n个像素点对应的物理长度,α为图像传感器的水平视场角,Fw为深度图像的行像素分辨率(每行的像素数量),Ln为深度图像中目标对象所覆盖的第n个像素点对应的物理宽度,β为图像传感器的垂直视场角,Fh为深度图像的列像素分辨率(每列的像素数量),为目标对象的第n个像素点的校准距离,即目标对象的第n个像素点与深度图像第i行第j列像素点为同一个像素点。
步骤(4):基于校准距离及参照面距离确定目标对象各个像素点对应的物理高度。
上述参照面距离为目标对象所在平面与图像传感器之间的垂直距离。上述校准距离为目标对象表面的各个像素点到图像传感器之间的距离,上述参照面距离为目标对象所在平面(诸如传送带或货物托盘)到图像传感器之间的距离。由于目标对象是具有一定高度的物体(即参照面距离大于校准距离),为了计算目标对象的实际高度尺寸,通过计算参照面距离与目标对象各个像素点的校准距离之间的差值,得到目标对象各个像素点的物理高度(即各货物单元对应正四棱柱的实际高度尺寸),各个像素点对应的物理高度的计算算式为:
其中,Hn为深度图像中目标对象所覆盖的第n个像素点对应的物理高度,dis为参照面距离,为目标对象的第n个像素点的校准距离,目标对象的第n个像素点与深度图像第i行第j列像素点为同一个像素点。当目标对象为形状不规则的物体,或目标对象的表面为凹凸不平的平面时,计算得到的目标对象表面的各个像素点的校准距离值大小相同,相应的,计算得到的目标对象表面各个像素点对应的物理高度也不相同。
为了精确计算得到目标对象的体积,本实施例提供了基于目标对象的各个像素点对应的物理尺寸确定目标对象的体积实施方式,具体可参照如下步骤1)~步骤2)执行:
步骤1):基于深度图像中目标对象所覆盖的各个像素点对应的物理尺寸确定各个像素点对应目标单元的体积。
根据各个像素点对应的物理尺寸将目标对象切分为若干个目标单元,根据每个像素点在目标对象表面区域所占长度和宽度的实际物理尺寸,将掩码图像中目标对象所覆盖的各个像素点映射至目标对象的表面,从而将目标对象切分为多个目标单元,每个目标单元为一个正四棱柱体,目标单元的截面尺寸为各个像素点对应的物理长度和物理宽度。
根据各个像素点对应目标单元的物理长度、物理宽度和物理高度,可以计算出深度图像中目标对象所覆盖的各个像素点对应目标单元(即正四棱柱)的体积。目标单元的体积计算算式为:
Vn=Wn×Ln×Hn
其中,Vn为第n个目标单元正四棱柱的体积,Wn为第n个目标单元正四棱柱的实际长度,Ln为第n个目标单元正四棱柱的实际宽度,Hn为第n个目标单元正四棱柱的实际高度。
步骤2):基于各个目标单元的体积之和确定目标对象的体积。
获取目标对象中所有目标单元的体积,计算所有目标单元体积之和,得到目标对象的实际物理体积。目标对象的体积计算算式为:
其中,V为目标对象的体积,m为目标单元的数量(即深度图像中目标对象所覆盖的像素点的数量)。
本实施例提供的上述体积测量方法,通过对目标对象进行像素级体积切分,并基于微积分思想计算目标对象的体积,可以提升体积计算的准确率和计算效率,对目标对象定位精准,且适用于随意摆放和任意形状的货物的体积测量。
在前述实施例的基础上,本实施例提供了一种应用前述体积测量方法对货物进行体积计算的示例,参见如图6所示的货物体积计算流程图,具体可参照如下步骤S602~步骤S608执行:
步骤S602:获取待测量货物的深度数据,并对深度数据进行预处理。
上述深度数据包括深度图像,对深度图像的预处理包括:利用中值滤波对深度图像进行数据补洞及噪点去除处理,然后基于图像传感器与目标对象所在平面之间的参照面距离进行直通滤波,再利用轮廓提取及最小外接矩形框拟合进行目标分割,得到预处理后的深度图像(即货物的掩码图)。
步骤S604:对预处理后的深度数据进行数据校准。
获取分割出的待测量货物的像素坐标,根据图像传感器的内参对目标对象各个像素点的深度距离进行校准。
步骤S606:基于校准后的深度数据计算货物单元尺寸。
图像传感器获取图像时,将物理上连续的事物采样成离散的像素点。因此,货物掩码图内的每个深度数据都被视为货物单元,形成货物单元集合,每个货物单元代表一个有具体尺寸的三维立方体。根据三角形原理及校准后的深度数据,可以计算出每个深度像素点(即每个货物单元)所占长、宽、高的实际物理尺寸。
步骤S608:基于货物单元尺寸计算货物单元体积,根据货物单元体积之和确定货物体积。
计算出货物单元的三维尺寸,根据立方体体积计算公式,可以计算出每个货物单元的实际物理体积,统计所有货物单元体积和,可以计算出货物的实际物理体积。在实际应用中上述方法还包括:通过文字或声音的方式将计算得到的货物体积输出,以实时向用户播报当前测量的货物的体积。
对于上述实施例所提供的体积测量方法,本发明实施例提供了一种体积测量装置,参见图7所示的一种体积测量装置结构示意图,该装置包括以下模块:
图像获取模块71,用于利用图像传感器获取目标对象的深度图像;其中,深度图像中携带有各个像素点对应的深度距离。
尺寸确定模型72,用于确定深度图像中目标对象的各个像素点对应的物理尺寸;其中,物理尺寸包括物理长度、物理宽度和物理高度。
体积确定模块73,用于基于目标对象的各个像素点对应的物理尺寸确定目标对象的体积。
本实施例提供的上述体积测量装置,通过获取目标对象的深度图像,并确定深度图像中目标对象的各个像素点所对应的物理尺寸,根据深度图像中目标对象所覆盖的所有像素点的物理尺寸可以得到目标对象的体积,通过将目标对象的体积测量细分至目标对象在深度图像中所覆盖的像素点的实际物理尺寸,并基于各个像素点的实际物理尺寸确定目标对象的体积,可以实现对不规则形状货物及随意摆放货物体积的精确测量,提升了货物体积的测量精度。
在一种实施方式中,上述尺寸确定模型72,进一步用于对深度图像进行图像去噪及目标分割,得到目标对象的掩码图像;对掩码图像中目标对象的各个像素点进行深度距离校准,得到目标对象各个像素点的校准距离;基于校准距离确定各个像素点对应的物理长度和物理宽度;基于校准距离及参照面距离确定目标对象各个像素点对应的物理高度;其中,参照面距离为目标对象所在平面与图像传感器之间的垂直距离。
在一种实施方式中,上述尺寸确定模型72,进一步用于利用中值滤波对深度图像进行数据补洞及噪点去除处理,得到平滑图像;基于参照面距离,对平滑图像进行直通滤波,得到待分割图像;利用轮廓提取及最小外接矩形框拟合对待分割图像进行目标分割,得到目标对象的掩码图。
在一种实施方式中,上述尺寸确定模型72,进一步用于基于第一计算算式,对深度距离进行距离校准,得到目标对象各个像素点的校准距离;其中,第一计算算式为:
为第i行第j列像素点的校准距离,disi,j为第i行第j列像素点的深度距离,CX为图像传感器的光轴在图像坐标系中的横向偏移量,CY为图像传感器的光轴在图像坐标系中的纵向偏移量,FX为图像传感器的焦距。
在一种实施方式中,上述尺寸确定模型72,进一步用于基于校准距离及第二计算算式,确定各个像素点所对应目标对象表面区域的物理长度;其中,第二计算算式为:
基于校准距离及第三计算算式,确定各个像素点所对应目标对象表面区域的物理宽度;其中,第三计算算式为:
Wn为目标对象所覆盖的第n个像素点对应的物理长度,α为图像传感器的水平视场角,Fw为深度图像的行像素分辨率,Ln为目标对象所覆盖的第n个像素点对应的物理宽度,β为图像传感器的垂直视场角,Fh为深度图像的列像素分辨率,为目标对象的第n个像素点的校准距离。
在一种实施方式中,上述尺寸确定模型72,进一步用于计算参照面距离与目标对象各个像素点的校准距离之间的差值,得到目标对象各个像素点的物理高度。
在一种实施方式中,上述体积确定模块73,进一步用于基于深度图像中目标对象所覆盖的各个像素点对应的物理尺寸确定各个像素点对应目标单元的体积;基于各个目标单元的体积之和确定目标对象的体积。
本实施例提供的上述体积测量装置,通过对目标对象进行像素级体积切分,并基于微积分思想计算目标对象的体积,可以提升体积计算的准确率和计算效率,对目标对象定位精准,且适用于随意摆放和任意形状的货物的体积测量。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
对应于前述实施例所提供的方法和装置,本发明实施例还提供了一种体积测量系统,该系统包括:传送带、图像传感器和控制器。
上述图像传感器设置于传送带上目标位置的正上方;上述传送带用于传输目标对象。
上述图像传感器用于在目标对象传输至目标位置时,获取目标对象的深度图像,并将深度图像发送至控制器;该控制器包括处理器和存储装置。
本发明实施例提供了一种控制器,如图8所示的控制器结构示意图,控制器包括处理器81、存储器82,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图8,控制器还包括:总线84和通信接口83,处理器81、通信接口83和存储器82通过总线84连接。处理器81用于执行存储器82中存储的可执行模块,例如计算机程序。
其中,存储器82可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线84可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器82用于存储程序,所述处理器81在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器81中,或者由处理器81实现。
处理器81可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等。还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器82,处理器81读取存储器82中的信息,结合其硬件完成上述方法的步骤。
本发明实施例提供了一种计算机可读介质,其中,所述计算机可读介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的体积测量方法、装置及系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种体积测量方法,其特征在于,包括:
利用图像传感器获取目标对象的深度图像;其中,所述深度图像中携带有各个像素点对应的深度距离;
确定所述深度图像中所述目标对象的各个像素点对应的物理尺寸;其中,所述物理尺寸包括物理长度、物理宽度和物理高度;
基于所述目标对象的各个像素点对应的物理尺寸确定所述目标对象的体积;
所述确定所述深度图像中所述目标对象的各个像素点对应的物理尺寸的步骤,包括:
对所述深度图像进行图像去噪及目标分割,得到所述目标对象的掩码图像;
对所述掩码图像中所述目标对象的各个像素点进行深度距离校准,得到所述目标对象各个像素点的校准距离;基于第一计算算式,对所述深度距离进行距离校准,得到所述目标对象各个像素点的校准距离;其中,所述第一计算算式为:
为第i行第j列像素点的校准距离,disi,j为第i行第j列像素点的深度距离,CX为所述图像传感器的光轴在图像坐标系中的横向偏移量,CY为所述图像传感器的光轴在图像坐标系中的纵向偏移量,FX为所述图像传感器的焦距;
基于所述校准距离确定各个像素点对应的物理长度和物理宽度;
基于所述校准距离及参照面距离确定所述目标对象各个像素点对应的物理高度;其中,所述参照面距离为所述目标对象所在平面与所述图像传感器之间的垂直距离。
2.根据权利要求1所述的方法,其特征在于,所述对所述深度图像进行图像去噪及目标分割,得到所述目标对象的掩码图像的步骤,包括:
利用中值滤波对所述深度图像进行数据补洞及噪点去除处理,得到平滑图像;
基于所述参照面距离,对所述平滑图像进行直通滤波,得到待分割图像;
利用轮廓提取及最小外接矩形框拟合对所述待分割图像进行目标分割,得到所述目标对象的掩码图。
3.根据权利要求1所述的方法,其特征在于,所述基于所述校准距离确定各个像素点对应的物理长度和物理宽度的步骤,包括:
基于所述校准距离及第二计算算式,确定各个像素点所对应目标对象表面区域的物理长度;其中,所述第二计算算式为:
基于所述校准距离及第三计算算式,确定各个像素点所对应目标对象表面区域的物理宽度;其中,所述第三计算算式为:
4.根据权利要求1所述的方法,其特征在于,所述基于所述校准距离及参照面距离确定所述目标对象各个像素点对应的物理高度的步骤,包括:
计算所述参照面距离与所述目标对象各个像素点的所述校准距离之间的差值,得到所述目标对象各个像素点的物理高度。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标对象的各个像素点对应的物理尺寸确定所述目标对象的体积的步骤,包括:
基于所述深度图像中所述目标对象所覆盖的各个像素点对应的物理尺寸确定各个所述像素点对应目标单元的体积;
基于各个所述目标单元的体积之和确定所述目标对象的体积。
6.一种体积测量装置,其特征在于,包括:
图像获取模块,用于利用图像传感器获取目标对象的深度图像;其中,所述深度图像中携带有各个像素点对应的深度距离;
尺寸确定模型,用于确定所述深度图像中所述目标对象的各个像素点对应的物理尺寸;其中,所述物理尺寸包括物理长度、物理宽度和物理高度;
体积确定模块,用于基于所述目标对象的各个像素点对应的物理尺寸确定所述目标对象的体积;
所述尺寸确定模型,用于对所述深度图像进行图像去噪及目标分割,得到所述目标对象的掩码图像;对所述掩码图像中所述目标对象的各个像素点进行深度距离校准,得到所述目标对象各个像素点的校准距离;基于第一计算算式,对所述深度距离进行距离校准,得到所述目标对象各个像素点的校准距离;其中,所述第一计算算式为:
7.一种体积测量系统,其特征在于,包括:传送带、图像传感器和控制器;所述图像传感器设置于所述传送带上目标位置的正上方;
所述传送带用于传输目标对象;
所述图像传感器用于在所述目标对象传输至所述目标位置时,获取所述目标对象的深度图像,并将所述深度图像发送至所述控制器;
所述控制器包括处理器和存储装置;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至5任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011009631.1A CN112254635B (zh) | 2020-09-23 | 2020-09-23 | 体积测量方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011009631.1A CN112254635B (zh) | 2020-09-23 | 2020-09-23 | 体积测量方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112254635A CN112254635A (zh) | 2021-01-22 |
CN112254635B true CN112254635B (zh) | 2022-06-28 |
Family
ID=74231891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011009631.1A Active CN112254635B (zh) | 2020-09-23 | 2020-09-23 | 体积测量方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112254635B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362385A (zh) * | 2021-06-21 | 2021-09-07 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于深度图像的货物体积测量方法及设备 |
CN113960075A (zh) * | 2021-10-14 | 2022-01-21 | 科大讯飞(苏州)科技有限公司 | 一种安检设备及物品尺寸确定方法、存储介质、设备 |
TWI795980B (zh) * | 2021-11-03 | 2023-03-11 | 財團法人工業技術研究院 | 材積量測方法及材積量測設備 |
CN115496914B (zh) * | 2022-08-18 | 2023-05-02 | 成都智元汇信息技术股份有限公司 | 一种基于列数据的最大轮廓的包裹提取方法及装置 |
CN116187908B (zh) * | 2023-03-21 | 2023-12-22 | 岳阳礼一科技股份有限公司 | 一种基于图像识别的仓储物流智能管理方法及系统 |
CN116758136B (zh) * | 2023-08-21 | 2023-11-10 | 杭州蓝芯科技有限公司 | 一种货物体积实时在线识别方法、系统、设备以及介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184274A (zh) * | 2015-09-21 | 2015-12-23 | 魏运 | 一种基于深度图像获取客流速度和密度参数的方法 |
CN106839975A (zh) * | 2015-12-03 | 2017-06-13 | 杭州海康威视数字技术股份有限公司 | 基于深度相机的体积测量方法及其系统 |
CN108416804A (zh) * | 2018-02-11 | 2018-08-17 | 深圳市优博讯科技股份有限公司 | 获取目标物体体积的方法、装置、终端设备及存储介质 |
CN108537834A (zh) * | 2018-03-19 | 2018-09-14 | 杭州艾芯智能科技有限公司 | 一种基于深度图像的体积测量方法、系统及深度相机 |
CN109472822A (zh) * | 2018-12-29 | 2019-03-15 | 上海大学 | 基于深度图像处理的物体尺寸测量方法 |
CN109672878A (zh) * | 2017-10-13 | 2019-04-23 | 康耐视公司 | 对校准物体两相对侧成像的视觉系统的场校准系统和方法 |
CN109801333A (zh) * | 2019-03-19 | 2019-05-24 | 北京华捷艾米科技有限公司 | 体积测量方法、装置、系统及计算设备 |
CN110246124A (zh) * | 2019-05-24 | 2019-09-17 | 西安交通大学 | 基于深度学习的目标尺寸测量方法及系统 |
CN110349195A (zh) * | 2019-06-25 | 2019-10-18 | 杭州汇萃智能科技有限公司 | 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质 |
WO2019200837A1 (zh) * | 2018-04-17 | 2019-10-24 | 南京阿凡达机器人科技有限公司 | 一种包裹体积的测量方法、系统、储存介质及移动终端 |
CN110490833A (zh) * | 2018-05-09 | 2019-11-22 | 北京中航安通科技有限公司 | 一种目标物体的体积测量方法及装置 |
CN110689568A (zh) * | 2019-10-17 | 2020-01-14 | 南京鑫和汇通电子科技有限公司 | 一种基于深度图像的立方物体体积的精确计算方法 |
CN111445513A (zh) * | 2020-02-24 | 2020-07-24 | 浙江科技学院 | 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质 |
CN111508011A (zh) * | 2020-04-16 | 2020-08-07 | 北京深测科技有限公司 | 一种飞行时间相机的深度数据校准方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107388960B (zh) * | 2016-05-16 | 2019-10-22 | 杭州海康机器人技术有限公司 | 一种确定物体体积的方法及装置 |
-
2020
- 2020-09-23 CN CN202011009631.1A patent/CN112254635B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184274A (zh) * | 2015-09-21 | 2015-12-23 | 魏运 | 一种基于深度图像获取客流速度和密度参数的方法 |
CN106839975A (zh) * | 2015-12-03 | 2017-06-13 | 杭州海康威视数字技术股份有限公司 | 基于深度相机的体积测量方法及其系统 |
CN109672878A (zh) * | 2017-10-13 | 2019-04-23 | 康耐视公司 | 对校准物体两相对侧成像的视觉系统的场校准系统和方法 |
CN108416804A (zh) * | 2018-02-11 | 2018-08-17 | 深圳市优博讯科技股份有限公司 | 获取目标物体体积的方法、装置、终端设备及存储介质 |
CN108537834A (zh) * | 2018-03-19 | 2018-09-14 | 杭州艾芯智能科技有限公司 | 一种基于深度图像的体积测量方法、系统及深度相机 |
WO2019200837A1 (zh) * | 2018-04-17 | 2019-10-24 | 南京阿凡达机器人科技有限公司 | 一种包裹体积的测量方法、系统、储存介质及移动终端 |
CN110490833A (zh) * | 2018-05-09 | 2019-11-22 | 北京中航安通科技有限公司 | 一种目标物体的体积测量方法及装置 |
CN109472822A (zh) * | 2018-12-29 | 2019-03-15 | 上海大学 | 基于深度图像处理的物体尺寸测量方法 |
CN109801333A (zh) * | 2019-03-19 | 2019-05-24 | 北京华捷艾米科技有限公司 | 体积测量方法、装置、系统及计算设备 |
CN110246124A (zh) * | 2019-05-24 | 2019-09-17 | 西安交通大学 | 基于深度学习的目标尺寸测量方法及系统 |
CN110349195A (zh) * | 2019-06-25 | 2019-10-18 | 杭州汇萃智能科技有限公司 | 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质 |
CN110689568A (zh) * | 2019-10-17 | 2020-01-14 | 南京鑫和汇通电子科技有限公司 | 一种基于深度图像的立方物体体积的精确计算方法 |
CN111445513A (zh) * | 2020-02-24 | 2020-07-24 | 浙江科技学院 | 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质 |
CN111508011A (zh) * | 2020-04-16 | 2020-08-07 | 北京深测科技有限公司 | 一种飞行时间相机的深度数据校准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112254635A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112254635B (zh) | 体积测量方法、装置及系统 | |
CN108537834B (zh) | 一种基于深度图像的体积测量方法、系统及深度相机 | |
CN110980197B (zh) | 物料检测方法、装置及电子设备 | |
CN107798672B (zh) | 烟丝或梗丝的宽度测定方法、系统及具有该系统的服务器 | |
CN110390306B (zh) | 直角车位的检测方法、车辆和计算机可读存储介质 | |
CN109801333B (zh) | 体积测量方法、装置、系统及计算设备 | |
CN113874927A (zh) | 停车检测方法、系统、处理设备和存储介质 | |
CN114693696A (zh) | 一种点云数据处理方法及装置 | |
CN108895961B (zh) | 一种箱体大小的测量方法、测量设备以及粘贴带 | |
CN111161339B (zh) | 一种间距测量方法、装置、设备以及计算机可读介质 | |
CN106980851B (zh) | 一种数据矩阵dm码的定位方法及装置 | |
CN112862890B (zh) | 道路坡度预测方法、装置和存储介质 | |
CN112258452A (zh) | 堆叠物体的物体数量检测方法、装置及系统 | |
CN115060162A (zh) | 一种倒角尺寸测量方法、装置、电子设备及存储介质 | |
CN113570665A (zh) | 路沿提取的方法、装置及电子设备 | |
CN111009011A (zh) | 车辆方向角的预测方法、装置、系统以及存储介质 | |
CN113610933A (zh) | 一种基于双目区域视差的原木堆垛动态检尺系统和方法 | |
CN114396875B (zh) | 一种基于深度相机垂直拍摄的长方形包裹体积测量方法 | |
CN113362385A (zh) | 一种基于深度图像的货物体积测量方法及设备 | |
CN114862929A (zh) | 三维目标检测方法、装置、计算机可读存储介质及机器人 | |
CN108332662B (zh) | 一种物体测量方法和装置 | |
CN116503400B (zh) | 芯片溢胶厚度的计算方法及电子设备 | |
CN111611906A (zh) | 一种用于自动泊车的障碍物检测方法、系统及介质 | |
CN110838142A (zh) | 一种基于深度图像的行李尺寸识别方法及装置 | |
JP4618506B2 (ja) | 物体認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |