CN109785379B - 一种对称物体尺寸及重量的测量方法及测量系统 - Google Patents
一种对称物体尺寸及重量的测量方法及测量系统 Download PDFInfo
- Publication number
- CN109785379B CN109785379B CN201811543688.2A CN201811543688A CN109785379B CN 109785379 B CN109785379 B CN 109785379B CN 201811543688 A CN201811543688 A CN 201811543688A CN 109785379 B CN109785379 B CN 109785379B
- Authority
- CN
- China
- Prior art keywords
- camera
- rgb
- point cloud
- area
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000037396 body weight Effects 0.000 abstract 1
- 238000012805 post-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及计算机视觉与图像识别技术领域,尤其涉及一种对称物体尺寸及重量的测量方法及测量系统。本发明针对现有技术图像获取及后期处理过程复杂的问题,提出一种只需一次拍摄就能实现的物体尺寸及重量的测量方法。本发明的测量方法具体步骤包括:对RGB‑D相机进行标定;获取待测物体和地面的彩色图像和深度图像;对RGB‑D相机进行配准;从彩色图像中分离待测物体区域和地面区域;提取地面区域点云并计算其在RGB‑D相机空间中的法向量;从深度图像中提取待测物体区域点云;提取待测物体区域点云的对称面;计算待测物体的长度、高度和宽度;计算待测物体的体积和重量。本发明适用于动物的体尺和体重的测量。
Description
技术领域
本发明涉及计算机视觉与图像识别技术领域,尤其涉及一种对称物体尺寸及重量的测量方法及测量系统。
背景技术
近年来,随着计算机视觉的发展与进步,基于计算机视觉的待测物体体尺重量测量技术,逐步取代了传统的皮尺测量估计方法,具有操作简单、节省人力等优点,在大型牧场中得到普及。
基于计算机视觉的待测物体体尺重量测量技术通常由图像采集设备和图像处理算法两部分构成。图像采集设备一般采用能够采集彩色图像和深度图像的RGB-D相机,图像处理算法因从采集设备接收到的数据不同而有所差别,但其评价指标多为测量准确率和测量速度。
国内外现有的基于计算机视觉的物体尺寸和重量测量方法通常应用于静止物体或活动范围一定的物体,需将相机需安放在固定位置,不定时抓拍和收集图像数据,进行尺寸和重量的估计。收集图像数据时,需要多角度进行拍摄,采集物体各个角度的照片,构建三维立体图像,图像采集过程耗时较长,需拍摄全方位多角度的物体图像,再通过后期的图像处理得出被测物体的尺寸及质量,对采集到的图像要求高,计算过程复杂,因此测量效率低,准确率不高,测量速度较慢且存在一定的误差。
发明内容
本发明针对现有技术中的上述问题,提出一种新的技术方案,只需一次拍摄且仅拍摄物体的对称面的一侧就能实现的物体尺寸及重量的测量。
本发明通过以下的技术方案实现:
本发明提供一种对称物体尺寸及重量的测量方法,测量步骤包括:
S1、对RGB-D相机进行标定;
S2、对待测物体和地面进行拍摄,获取包含待测物体区域和地面区域的色彩信息的彩色图像和包含待测物体区域和地面区域的深度信息的深度图像;
S3、对所述RGB-D相机进行配准,获得彩色图像与深度图像像素位置间的映射关系和深度图像上每个像素对应彩色图像的像素点的位置和R、G和B三个通道的值;
S4、从所述彩色图像中分离出地面区域彩色图像和待测物体区域彩色图像;
S5、根据所述深度图像和所述地面区域彩色图像提取地面区域点云,并计算所述地面区域点云所在平面在所述RGB-D相机空间中的法向量n0;
S6、根据所述深度图像和所述待测物体区域彩色图像提取待测物体区域点云;
S7、提取所述待测物体的对称面;
S8、根据待测物体区域点云计算待测物体的长度、高度和宽度;
S9、计算待测物体的体积和重量。
进一步地,所述步骤S1中,所述RGB-D相机包括彩色相机和深度相机;对所述RGB-D相机进行标定的方法包括:利用所述RGB-D相机拍摄RGB棋盘图像和红外棋盘图像,分别在所述RGB棋盘图像和红外棋盘图像上提取角点;利用世界坐标系中已知角点位置计算单应矩阵;利用单应矩阵约束彩色相机参数和深度相机参数,并利用线性方程求解,获取所述彩色相机的内参数矩阵Krgb、深度相机的内参数矩阵Kir及深度相机相对于彩色相机的外参数矩阵[R T],其中R是旋转量,T是平移量。
进一步地,所述步骤S3中,对所述RGB-D相机进行配准的方法包括:根据从步骤S2的所述彩色图像中获得的色彩信息和所述深度图像中获得的深度信息,利用彩色相机和深度相机之间的投影关系构建彩色图像与深度图像像素位置间的映射关系,并通过深度图像获取每个像素点pir上的深度信息Zir,计算深度图像上每个像素对应彩色图像的像素点的位置和R、G和B三个通道的值。
进一步地,所述步骤S4中,从所述彩色图像中分离出待测物体区域彩色图像和地面区域彩色图像的方法包括:
根据地面位于图像下方,待测物体位于图像中间区域,制作一张二值掩图,所述二值掩图的尺寸与所述彩色图像的尺寸相同,所述二值掩图中设置若干条分割线,所述分割线之间的区域设置为感兴趣区域;
对所述感兴趣区域采用分水岭分割算法分割待测物体区域彩色图像和地面区域彩色图像。
进一步地,所述步骤S5中提取地面区域点云、确定所述地面区域点云所在平面及计算所述平面在所述RGB-D相机空间中的法向量n0的方法包括:
利用步骤S4中获取的地面区域彩色图像,根据步骤S3中获得的深度图像与彩色图像的映射关系确定地面区域彩色图像在深度图像上对应的位置,并将深度图像上地面区域彩色图像对应的位置转化成点云数据,获得地面区域点云;
采用随机采样一致性模型方法确定地面区域点云所在平面;
计算地面区域点云所在平面在RGB-D相机空间的法向量n0。
进一步地,所述步骤S6提取待测物体区域点云的方法包括:
将获取到的深度图像转化为深度图像点云;
对所述点云进行正态分布滤波处理,去除离散的点群;
根据步骤S5中确定的地面区域点云所在平面在RGB-D相机空间中的法向量,在所述点云中去除与地平面垂直距离小于定值的点,获得剩余点;
对剩余点进行欧氏距离聚类,从聚类结果中提取属于待测物体区域的一类点,获得待测物体区域点云。
进一步地,所述步骤S6和所述步骤S7之间还包括:步骤S10、校正所述待测物体区域点云在所述RGB-D相机空间中的姿态;所述步骤S10中校正所述待测物体区域点云在所述RGB-D相机空间中的姿态的方法包括:建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),根据所述地面区域点云所在平面的法向量n0、向量n1、向量n2、向量n3及向量、n4的参数计算α和β,其中,向量n1为法向量n0在ZOX平面的投影,向量n2由向量n1在ZOX平面顺时针绕Y轴旋转α角后得到,向量n3由法向量n0在ZOX平面顺时针绕Y轴旋转α角后旋转至XOY平面上得到,向量n4由向量n3绕Y轴顺时针旋转β角后得到,进而计算旋转矩阵MR,根据旋转矩阵将待测物体点云中的各点的坐标转换为RGB-D相机空间坐标系中的坐标,实现待测物体姿态的校正。
进一步地,所述步骤S7中提取所述待测物体的对称面的方法包括:建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),在待测物体区域点云中提取同一x值对应的一列点中y值最大的点,将所述y值最大的点连成一条曲线,所述曲线所在的平面与ZOX平面垂直,所述曲线所在的平面为待测物体区域点云的对称面。
进一步地,所述步骤S8中计算待测物体的长度、高度和宽度的方法包括:建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),计算待测物体区域点云在RGB-D相机空间坐标系XYZ中的最大x值、最小x值、最大y值及最小y值,最大x值对应的点与最小x值对应的点之间的三维距离为待测物体的长度;最大y值和最小y值的差为待测物体高度;计算待测物体区域点云中每个点与对称面的z值差,与对称面的z值差的最大值的2倍为待测物体的宽度。
进一步地,所述步骤S9中计算待测物体的体积和重量的方法包括:建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),沿X轴方向将待测物体区域点云划分为n个长为dx的区间,再将每个区间分割成矩形栅格j;每个矩形栅格j的面积为S;计算每个以矩形栅格j为底面的长方体在Z轴方向上的高度hij;计算以矩形栅格为底,hij为高的每个长方体的体积,并对所有长方体的体积求和,得到待测物体体积的1/2;将上述体积乘以2,获得待测物体的整体体积;通过统计方法获得待测物体的平均密度,根据整体体积和平均密度,计算待测物体重量。
本发明还提供一种对称物体的尺寸及重量的测量系统,其特征在于,包括RGB-D相机和计算机图像处理模块,所述计算机图像处理模块与RGB-D相机连接,用于接收RGB-D相机采集的图像;
所述RGB-D相机包括彩色相机、深度相机、所述可见光用于获取待测物体的彩色图像及地面的彩色图像,所述深度相机用于获取待测物体的深度图像和地面的深度图像,
所述计算机图像处理模块包括标定单元、配准单元、图像分割单元、点云提取单元、向量计算单元、姿态校正单元、对称面提取单元、尺寸测量单元和体积及重量计算单元;
所述标定单元与所述RGB-D相机连接,用于对所述RGB-D相机进行标定;
所述配准单元与所述RGB-D相机连接,用于对所述RGB-D相机进行配准;
所述图像分割单元连接所述RGB-D相机,用于接收并分割所述RGB-D相机获取的图像待测物体区域和地面区域;所述点云提取单元用于分别提取待测物体区域点云和地面区域点云;所述向量计算单元用于计算地面区域点云的法向量;所述姿态校正单元用于校正待测物体区域点云在所述RGB-D相机空间中的姿态;所述对称面提取单元用于提取待测物体的对称面;所述尺寸测量单元用于根据待测物体区域点云计算待测物体的尺寸;所述体积及重量计算单元根据积分方法计算待测物体的整体体积,进而根据体积和统计方法获得的待测物体的平均密度,计算待测物体的重量。
本发明的有益效果:
1、同现有技术相比,本发明利用了物体的对称性特点,从对称面的一侧对物体进行拍照,计算得出对称轴一侧的1/2体积,从而计算得出被测物体的尺寸及重量,无需对物体进行全方位多角度的拍照,节约了获取图像的时间,提高了图像的获取效率,测量速度得到了提高;
2、同现有技术相比,本发明采用彩色图像和深度图像结合的方法进行计算,不需构建被测物体的三维模型,图像处理计算步骤较现有技术相比相对简单,步骤少,误差率小,提高了测量的准确率。
附图说明
图1为本发明的物体尺寸及重量的测量方法流程图;
图2为本发明的物体尺寸及重量的测量方法中获取的彩色图像;
图3为本发明的物体尺寸及重量的测量方法中获取的深度图像;
图4为本发明的物体尺寸及重量的测量方法中感兴趣区域划分示意图;
图5为本发明的物体尺寸及重量的测量方法中分割出的待测物体区域彩色图像;
图6为本发明的物体尺寸及重量的测量方法中分割出的地面区域彩色图像;
图7为本发明的物体尺寸及重量的测量方法中待测物体区域点云;
图8为本发明的物体尺寸及重量的测量方法中待测物体区域点云划分及体积计算示意图;
图9为本发明的物体尺寸及重量的测量方法中姿态校正过程中地面向量在RGB-D相机空间坐标系中的旋转示意图;
图10为本发明的物体尺寸及重量的测量系统示意图;
其中,图10:1-RGB-D相机,2-待测物体,3-地面,4-计算机图像处理模块。
具体实施方式
下面结合附图和具体实施例,对本发明的技术方案进行清楚,完整地描述。
实施例1:结合图1~图8说明本实施例,本实施例的一种物体尺寸及重量的测量方法流程图如图1所示,具体步骤包括:
S1:对RGB-D相机进行标定:
所述RGB-D相机包括彩色相机和深度相机;对所述RGB-D相机进行标定的方法包括:利用所述RGB-D相机拍摄RGB棋盘图像和红外棋盘图像,分别在所述RGB棋盘图像和红外棋盘图像上提取角点;利用世界坐标系中已知角点位置计算单应矩阵;利用单应矩阵约束彩色相机参数和深度相机参数,并利用线性方程求解,获取所述彩色相机的内参数矩阵Krgb、深度相机的内参数矩阵Kir及深度相机相对于彩色相机的外参数矩阵[R T],其中R是旋转量,T是平移量。
S2:对待测物体和地面进行拍摄,获取包含待测物体区域和地面区域的色彩信息的彩色图像和包含待测物体区域和地面区域的深度信息的深度图像,所述彩色图像如图2所示,所述深度图像如图3所示;
S3:对所述RGB-D相机进行配准:根据从所述彩色图像中获得的色彩信息和所述深度图像中获得的深度信息,利用彩色相机和深度相机之间的投影关系构建彩色图像与深度图像像素位置间的映射关系:
Zrgb*prgb=Krgb*Rir2rgb*Kir -1*Zir*pir+Krgb*Tir2rgb
其中,Zrgb表示彩色相机空间中一点P的z坐标,prgb表示点P在彩色图像平面上的投影的坐标,Krgb表示彩色相机的内参数矩阵,Rir2rgb表示深度相机坐标系旋转到彩色相机坐标系的旋转矩阵,Kir表示深度相机的内参数矩阵,Zir表示深度相机空间中的一点P的z坐标,pir表示点P在深度图像平面上的投影的坐标,Tir2rgb表示深度相机坐标系原点平移到彩色相机坐标系原点的平移矩阵,
且有:
Rir2rgb=Rrgb*Rir -1
Tir2rgb=Trgb-Rir2rgb*Tir
其中,Rrgb表示彩色相机坐标系相对世界坐标系的旋转矩阵,Rir表示深度相机坐标系相对世界坐标系的旋转矩阵,Trgb表示彩色相机坐标系原点平移到世界坐标系原点的平移矩阵,Tir表示红外坐标系原点平移到世界坐标系原点的平移矩阵。
通过深度图像获取每个像素点pir上的深度信息Zir,计算深度图像上每个像素对应彩色图像的像素点的位置和R、G和B三个通道的值;
S4:从彩色图像中分离出待测物体区域彩色图像和地面区域彩色图像,首先,设置感兴趣区域,根据地面位于图像下方,待测物体位于图像中间区域这一先验知识,制作一张二值掩图,所述二值掩图尺寸与彩色图像尺寸相同,在所述二值掩图中设置若干条分割线,所述分割线之间的区域为感兴趣区域,如图4所示;然后,对所述感兴趣区域采用分水岭分割算法分割待测物体区域彩色图像和地面区域彩色图像,所述待测物体区域彩色图像如图5所示,所述地面区域彩色图像如图6所示;
S5:利用步骤S4中获取的地面区域彩色图像,根据步骤S3中获得的深度图像与彩色图像的映射关系确定地面区域彩色图像在深度图像上对应的位置,并将深度图像上地面区域彩色图像对应的位置转化成点云数据,获得地面区域点云;
假设所述地面区域点云所在平面方程为Ax+By+Cz+D=0,采用随机采样一致性模型方法分别计算参数A、B、C和D的值,确定地面区域点云所在平面;
计算地面区域点云所在平面在所述RGB-D相机空间的法向量n0;
S6:从深度图中提取待测物体区域点云:
将获取到的深度图像转化为深度图像点云;
对所述点云进行正态分布滤波处理,去除离散的点群;
根据步骤S5中获取到的地面区域点云所在平面,计算每个点到所述地面区域点云所在平面的垂直距离,去除垂直距离小于定值的点,获得剩余点;
对剩余点进行欧氏距离聚类,从聚类结果中提取属于待测物体区域的一类点,获得待测物体区域点云,如图7所示;
S7:建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),在待测物体区域点云中提取x值相同的一列点中y值最大的点,将所述y值最大的点连成一条曲线,所述曲线所在的与ZOX平面垂直的平面为待测物体的对称面;
S8:计算待测物体区域点云在RGB-D相机空间坐标系XYZ中的最大x值、最小x值、最大y值及最小y值,拥有最大x值的点与最小x值的点之间的三维距离为待测物体的长度;最大y值和最小y值的差为待测物体高度;计算点云中每个点与对称面的z值差,与对称面的z值差的最大值则为待测物体的宽度;
S9:如图8所示,沿X轴方向将待测物体区域点云划分为n个长为dx的区间,再将每个区间分割成矩形栅格j;每个矩形栅格j的面积为S;计算每个以矩形栅格j为底面的长方体在Z轴方向上的高度hij:
hij=zi-zavrj
其中,zavrj为所有落在矩形栅格j内的点的z坐标平均值,zi为栅格j处的对称面的坐标值。
将长方体的体积进行累加,就获得了待测物体体积V的二分之一,待测物体整体体积计算公式为:
设待测物体的密度为ρ,ρ通过统计方法获得,首先,测量多个同种待测物体的真实体重,然后利用上述测量方法计算每个待测物体的体积,然后用最小二乘法计算待测物体的密度,待测物体重量W的计算公式:
W=ρ·V
根据整体体积和待测物体密度,计算待测物体重量。
需要说明的是,本实施例中虽然先执行了步骤S8,后执行步骤S9,但是所述步骤S8和步骤S9的执行顺序并无限定,本领域技术人员可以根据需要选择适当的执行顺序。
实施例2:结合图9说明本实施例,本实施例的物体尺寸及重量的测量方法,在具体实施例1的基础上进一步改进,在所述步骤S6和所述步骤S7之间还包括步骤S10、如图9所示,建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),根据所述地面区域点云所在平面的法向量n0、向量n1、向量n2、向量n3及向量、n4的参数计算α和β,其中,向量n1为法向量n0在ZOX平面的投影,向量n2由向量n1在ZOX平面顺时针绕Y轴旋转α角后得到,向量n3由法向量n0在ZOX平面顺时针绕Y轴旋转α角后旋转至XOY平面上得到,向量n4由向量n3绕Y轴顺时针旋转β角后得到,进而计算旋转矩阵MR,根据旋转矩阵将待测物体区域点云中的各点的坐标转换为RGB-D相机空间坐标系中的坐标,实现待测物体姿态的校正,校正姿态旋转矩阵的推导过程:
首先,计算角度α和β:
n3=MRY·n0
其中,MRYMRY为图像绕Y轴顺时针旋转α的旋转矩阵,X代表x轴方向向量(1,0,0),Y代表y轴方向向量(0,1,0)。
最后计算旋转矩阵MR:
实施例3:本是实施例的物体尺寸及重量的测量方法的测量系统,如图10所示,
包括RGB-D相机和计算机图像处理模块,所述计算机图像处理模块与RGB-D相机连接,用于接收RGB-D相机采集的图像;
所述RGB-D相机包括彩色相机、深度相机、所述可见光用于获取待测物体的彩色图像及地面的彩色图像,所述深度相机用于获取待测物体的深度图像和地面的深度图像,
所述计算机图像处理模块包括标定单元、配准单元、图像分割单元、点云提取单元、向量计算单元、姿态校正单元、对称面提取单元、尺寸测量单元和体积及重量计算单元;
所述标定单元与所述RGB-D相机连接,用于对所述RGB-D相机进行标定;
所述配准单元与所述RGB-D相机连接,用于对所述RGB-D相机进行配准;
所述图像分割单元连接所述RGB-D相机,用于接收并分割所述RGB-D相机获取的图像待测物体区域和地面区域;所述点云提取单元用于分别提取待测物体区域点云和地面区域点云;所述向量计算单元用于计算地面区域点云的法向量;所述姿态校正单元用于校正待测物体区域点云在所述RGB-D相机空间中的姿态;所述对称面提取单元用于提取待测物体的对称面;所述尺寸测量单元用于根据待测物体区域点云计算待测物体的尺寸;所述体积及重量计算单元根据积分方法计算待测物体的整体体积,进而根据体积和统计方法获得的待测物体的平均密度,计算待测物体的重量。
在本发明的描述中,除非另有规定或限定,术语“连接”应做广义理解,例如可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接连接,也可以通过中间媒介间接连接,对于本领域技术人员而言,可以根据具体情况理解上述术语的具体含义。
需要说明的是,以上实施例仅用于解释说明本发明的技术方案,并不用于限定本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。
Claims (9)
1.一种对称物体尺寸及重量的测量方法,其特征在于,所述测量方法的步骤包括:
S1、对RGB-D相机进行标定;
S2、对待测物体和地面进行拍摄,获取包含待测物体区域和地面区域的色彩信息的彩色图像和包含待测物体区域和地面区域的深度信息的深度图像;
S3、对所述RGB-D相机进行配准,获得彩色图像与深度图像像素位置间的映射关系和深度图像上每个像素对应彩色图像的像素点的位置和R、G和B三个通道的值;
S4、从所述彩色图像中分离出地面区域彩色图像和待测物体区域彩色图像;
S5、根据所述深度图像和所述地面区域彩色图像提取地面区域点云、确定所述地面区域点云所在平面并计算所述平面在所述RGB-D相机空间中的法向量n0;
S6、根据所述深度图像和所述待测物体区域彩色图像提取待测物体区域点云;
S7、提取所述待测物体的对称面;
S8、根据待测物体区域点云计算待测物体的长度、高度和宽度:
建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),计算待测物体区域点云在RGB-D相机空间坐标系XYZ中的最大x值、最小x值、最大y值及最小y值,最大x值对应的点与最小x值对应的点之间的三维距离为待测物体的长度;最大y值和最小y值的差为待测物体高度;计算待测物体区域点云中每个点与对称面的z值差,与对称面的z值差的最大值的2倍为待测物体的宽度;
S9、计算待测物体的体积和重量:
建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),沿X轴方向将待测物体区域点云划分为n个长为dx的区间,再将每个区间分割成矩形栅格j;每个矩形栅格j的面积为S;计算每个以矩形栅格j为底面的长方体在Z轴方向上的高度hij;计算以矩形栅格为底,hij为高的每个长方体的体积,并对所有长方体的体积求和,得到待测物体体积的1/2;将上述体积乘以2,获得待测物体的整体体积;通过统计方法获得待测物体的平均密度,根据整体体积和平均密度,计算待测物体重量。
2.根据权利要求1所述的一种对称物体尺寸及重量的测量方法,其特征在于,步骤S1中,所述RGB-D相机包括彩色相机和深度相机;对所述RGB-D相机进行标定的方法包括:利用所述RGB-D相机拍摄RGB棋盘图像和红外棋盘图像,分别在所述RGB棋盘图像和红外棋盘图像上提取角点;利用世界坐标系中已知角点位置计算单应矩阵;利用单应矩阵约束彩色相机参数和深度相机参数,并利用线性方程求解,获取所述彩色相机的内参数矩阵Krgb、深度相机的内参数矩阵Kir及深度相机相对于彩色相机的外参数矩阵[R T],其中R是旋转量,T是平移量。
3.根据权利要求2所述的一种对称物体尺寸及重量的测量方法,其特征在于,步骤S3中,对所述RGB-D相机进行配准的方法包括:利用彩色相机和深度相机之间的投影关系构建彩色图像与深度图像像素位置间的映射关系,并通过深度图像获取每个像素点pir上的深度信息Zir,计算深度图像上每个像素对应彩色图像的像素点的位置和R、G和B三个通道的值。
4.根据权利要求1所述的一种对称物体尺寸及重量的测量方法,其特征在于,步骤S4中,从所述彩色图像中分离出待测物体区域彩色图像和地面区域彩色图像的方法包括:
根据地面位于图像下方,待测物体位于图像中间区域,制作一张二值掩图,所述二值掩图的尺寸与所述彩色图像的尺寸相同,所述二值掩图中设置若干条分割线,所述分割线之间的区域设置为感兴趣区域;
对所述感兴趣区域采用分水岭分割算法分割待测物体区域彩色图像和地面区域彩色图像。
5.根据权利要求1所述的一种对称物体尺寸及重量的测量方法,其特征在于,步骤S5中提取地面区域点云、确定所述地面区域点云所在平面及计算所述平面在所述RGB-D相机空间中的法向量n0的方法包括:
利用步骤S4中获取的地面区域彩色图像,根据步骤S3中获得的深度图像与彩色图像的映射关系确定地面区域彩色图像在深度图像上对应的位置,并将深度图像上地面区域彩色图像对应的位置转化成点云数据,获得地面区域点云;
采用随机采样一致性模型方法确定地面区域点云所在平面;
计算地面区域点云所在平面在RGB-D相机空间的法向量n0。
6.根据权利要求1所述的一种对称物体尺寸及重量的测量方法,其特征在于,步骤S6提取待测物体区域点云的方法包括:
将获取到的深度图像转化为深度图像点云;
对所述点云进行正态分布滤波处理,去除离散的点群;
根据步骤S5中确定的地面区域点云所在平面,计算每个点到所述地面区域点云所在平面的垂直距离,去除垂直距离小于定值的点,获得剩余点;
对剩余点进行欧氏距离聚类,从聚类结果中提取属于待测物体区域的一类点,获得待测物体区域点云。
7.根据权利要求1所述的一种对称物体尺寸及重量的测量方法,其特征在于,步骤S6和步骤S7之间还包括:步骤S10、校正所述待测物体区域点云在所述RGB-D相机空间中的姿态;所述步骤S10中校正所述待测物体区域点云在所述RGB-D相机空间中的姿态的方法包括:建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),根据所述地面区域点云所在平面的法向量n0、向量n1、向量n2、向量n3及向量n4的参数计算α和β,其中,向量n1为法向量n0在ZOX平面的投影,向量n2由向量n1在ZOX平面顺时针绕Y轴旋转α角后得到,向量n3由法向量n0在ZOX平面顺时针绕Y轴旋转α角后旋转至XOY平面上得到,向量n4由向量n3绕Y轴顺时针旋转β角后得到,进而计算旋转矩阵MR,根据旋转矩阵将待测物体点云中的各点的坐标转换为RGB-D相机空间坐标系中的坐标,实现待测物体姿态的校正。
8.根据权利要求1所述的一种对称物体尺寸及重量的测量方法,其特征在于,步骤S7中提取所述待测物体的对称面的方法包括:建立RGB-D相机空间坐标系XYZ,原点为O,RGB-D相机空间中任意点的坐标为(x,y,z),在待测物体区域点云中提取同一x值对应的一列点中y值最大的点,将所述y值最大的点连成一条曲线,所述曲线所在的平面与ZOX平面垂直,所述曲线所在的平面为待测物体区域点云的对称面。
9.根据权利要求1所述的方法制作的一种对称物体尺寸及重量的测量系统,其特征在于,包括RGB-D相机和计算机图像处理模块,所述计算机图像处理模块与RGB-D相机连接,用于接收RGB-D相机采集的图像;
所述RGB-D相机包括彩色相机、深度相机、所述彩色相机用于获取待测物体的彩色图像及地面的彩色图像,所述深度相机用于获取待测物体的深度图像和地面的深度图像,
所述计算机图像处理模块包括标定单元、配准单元、图像分割单元、点云提取单元、向量计算单元、姿态校正单元、对称面提取单元、尺寸测量单元和体积及重量计算单元;
所述标定单元与所述RGB-D相机连接,用于对所述RGB-D相机进行标定;
所述配准单元与所述RGB-D相机连接,用于对所述RGB-D相机进行配准;
所述图像分割单元连接所述RGB-D相机,用于接收并分割所述RGB-D相机获取的图像待测物体区域和地面区域;所述点云提取单元用于分别提取待测物体区域点云和地面区域点云;所述向量计算单元用于计算地面区域点云的法向量;所述姿态校正单元用于校正待测物体区域点云在所述RGB-D相机空间中的姿态;所述对称面提取单元用于提取待测物体的对称面;所述尺寸测量单元用于根据待测物体区域点云计算待测物体的尺寸;所述体积及重量计算单元根据积分方法计算待测物体的整体体积,进而根据体积和统计方法获得的待测物体的平均密度,计算待测物体的重量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811543688.2A CN109785379B (zh) | 2018-12-17 | 2018-12-17 | 一种对称物体尺寸及重量的测量方法及测量系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811543688.2A CN109785379B (zh) | 2018-12-17 | 2018-12-17 | 一种对称物体尺寸及重量的测量方法及测量系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109785379A CN109785379A (zh) | 2019-05-21 |
CN109785379B true CN109785379B (zh) | 2021-06-15 |
Family
ID=66497423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811543688.2A Active CN109785379B (zh) | 2018-12-17 | 2018-12-17 | 一种对称物体尺寸及重量的测量方法及测量系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109785379B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276801B (zh) * | 2019-06-24 | 2021-09-28 | 达闼机器人有限公司 | 一种物体定位方法、装置及存储介质 |
CN110853080A (zh) * | 2019-09-30 | 2020-02-28 | 广西慧云信息技术有限公司 | 一种田间果实尺寸的测量方法 |
CN110942092B (zh) * | 2019-11-21 | 2023-08-08 | 大庆思特传媒科技有限公司 | 一种图形图像识别方法及识别系统 |
WO2021127947A1 (zh) * | 2019-12-23 | 2021-07-01 | 华为技术有限公司 | 一种图像中物体的空间维度测量方法及装置 |
CN113065810B (zh) * | 2019-12-31 | 2024-01-26 | 杭州海康机器人股份有限公司 | 检测包裹的方法、装置、计算设备、物流系统及存储介质 |
CN111340873B (zh) * | 2020-02-28 | 2023-05-23 | 广东工业大学 | 一种多视角图像的物体最小外包络尺寸测算方法 |
CN113496142A (zh) * | 2020-03-19 | 2021-10-12 | 顺丰科技有限公司 | 物流件的体积测量方法以及装置 |
CN113538477B (zh) * | 2020-04-14 | 2023-08-29 | 北京达佳互联信息技术有限公司 | 平面位姿的获取方法、装置、电子设备及存储介质 |
CN111524193B (zh) * | 2020-04-17 | 2022-05-03 | 西安交通大学 | 一种物体二维尺寸的测量方法及测量装置 |
CN111888775A (zh) * | 2020-06-05 | 2020-11-06 | 祝爱莲 | 稳定气流风速调控系统 |
CN111860652B (zh) * | 2020-07-22 | 2022-03-29 | 中国平安财产保险股份有限公司 | 基于图像检测的动物体重测量方法、装置、设备及介质 |
CN111932605B (zh) * | 2020-09-11 | 2023-12-01 | 广东韶钢松山股份有限公司 | 尺寸检测方法、装置、电子设备及可读存储介质 |
CN112233144B (zh) * | 2020-09-24 | 2024-05-28 | 中国农业大学 | 水下鱼体重量测量方法及装置 |
CN112419393B (zh) * | 2020-11-15 | 2022-06-14 | 浙江大学 | 一种垃圾焚烧炉料斗内垃圾体积实时测算装置及方法 |
CN113513980B (zh) * | 2021-06-07 | 2023-05-02 | 昂视智能(深圳)有限公司 | 基于辅助尺的体积测量装置 |
CN113639643B (zh) * | 2021-06-24 | 2023-12-22 | 河南农业大学 | 基于rgb-d深度相机的作物苗期高度检测方法 |
CN113379825B (zh) * | 2021-07-01 | 2022-04-22 | 北京亮亮视野科技有限公司 | 物体尺寸检测方法、装置、电子设备和可读介质 |
CN113776431A (zh) * | 2021-08-09 | 2021-12-10 | 宁波银河自控设备有限公司 | 一种在线液压同步升降称重方法、系统及其存储介质 |
CN113932712B (zh) * | 2021-10-13 | 2024-07-26 | 南开大学 | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 |
CN114001810A (zh) * | 2021-11-08 | 2022-02-01 | 厦门熵基科技有限公司 | 一种体重计算方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005124276A2 (de) * | 2004-06-15 | 2005-12-29 | Heins Burkhard | Verfahren zur vermessung von gegenständen mit einer kamera und kalibriermitteln |
CN104655011A (zh) * | 2015-01-28 | 2015-05-27 | 佛山科学技术学院 | 一种不规则凸面物体体积的非接触光学测量方法 |
CN104776815A (zh) * | 2015-03-23 | 2015-07-15 | 中国科学院上海光学精密机械研究所 | 一种基于达曼光栅的彩色三维轮廓测量装置与方法 |
CN106441104A (zh) * | 2016-12-26 | 2017-02-22 | 中国科学院长春光学精密机械与物理研究所 | 一种尺寸测量系统 |
CN106767562A (zh) * | 2016-12-30 | 2017-05-31 | 苏州西博三维科技有限公司 | 一种基于机器视觉和散斑的测量方法及人体测量方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463880B (zh) * | 2014-12-12 | 2017-06-30 | 中国科学院自动化研究所 | 一种rgb‑d图像获取方法 |
CN106289099B (zh) * | 2016-07-28 | 2018-11-20 | 汕头大学 | 一种单目视觉系统及基于该系统的三维尺寸快速测量方法 |
US10591277B2 (en) * | 2016-07-28 | 2020-03-17 | Liberty Reach Inc. | Method and system for measuring outermost dimension of a vehicle positioned at an inspection station |
CN108550143A (zh) * | 2018-04-03 | 2018-09-18 | 长安大学 | 一种基于rgb-d相机的车辆长宽高尺寸的测量方法 |
-
2018
- 2018-12-17 CN CN201811543688.2A patent/CN109785379B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005124276A2 (de) * | 2004-06-15 | 2005-12-29 | Heins Burkhard | Verfahren zur vermessung von gegenständen mit einer kamera und kalibriermitteln |
CN104655011A (zh) * | 2015-01-28 | 2015-05-27 | 佛山科学技术学院 | 一种不规则凸面物体体积的非接触光学测量方法 |
CN104776815A (zh) * | 2015-03-23 | 2015-07-15 | 中国科学院上海光学精密机械研究所 | 一种基于达曼光栅的彩色三维轮廓测量装置与方法 |
CN106441104A (zh) * | 2016-12-26 | 2017-02-22 | 中国科学院长春光学精密机械与物理研究所 | 一种尺寸测量系统 |
CN106767562A (zh) * | 2016-12-30 | 2017-05-31 | 苏州西博三维科技有限公司 | 一种基于机器视觉和散斑的测量方法及人体测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109785379A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109785379B (zh) | 一种对称物体尺寸及重量的测量方法及测量系统 | |
CN110443836B (zh) | 一种基于平面特征的点云数据自动配准方法及装置 | |
CN107341814B (zh) | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 | |
CN106683137B (zh) | 基于人工标志的单目多目标识别与定位方法 | |
CN108665499B (zh) | 一种基于视差法的近距飞机位姿测量方法 | |
CN111369495B (zh) | 一种基于视频的全景图像的变化检测方法 | |
CN101639947A (zh) | 基于图像的植物三维形态测量与重建方法及系统 | |
CN107101648A (zh) | 基于区域网内恒星影像的星相机定标定姿方法及系统 | |
CN111383333A (zh) | 一种分段式sfm三维重建方法 | |
CN109523528B (zh) | 一种基于无人机双目视觉sgc算法的输电线路提取方法 | |
CN111127613B (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
CN112200854B (zh) | 一种基于视频图像的叶类蔬菜三维表型测量方法 | |
CN107220996A (zh) | 一种基于三角结构一致的无人机线阵与面阵影像匹配方法 | |
CN105606123A (zh) | 一种低空航空摄影测量自动纠正数字地面高程模型的方法 | |
CN111814792A (zh) | 一种基于rgb-d图像的特征点提取与匹配方法 | |
CN115082777A (zh) | 基于双目视觉的水下动态鱼类形态测量方法及装置 | |
CN113947724A (zh) | 一种基于双目视觉的线路覆冰厚度自动测量方法 | |
CN114812558B (zh) | 一种结合激光测距的单目视觉无人机自主定位方法 | |
CN112597857A (zh) | 一种基于kinect的室内机器人楼梯攀爬位姿快速估计方法 | |
CN106709432B (zh) | 基于双目立体视觉的人头检测计数方法 | |
JP2017130067A (ja) | 衛星映像の位置正確度改善のための自動映像処理システム及びその方法 | |
CN111105467A (zh) | 一种图像标定方法、装置及电子设备 | |
CN110223356A (zh) | 一种基于能量生长的单目相机全自动标定方法 | |
CN112446926B (zh) | 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置 | |
CN115880643B (zh) | 一种基于目标检测算法的社交距离监测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |