CN110189347A - 一种测量物体体积的方法及终端 - Google Patents

一种测量物体体积的方法及终端 Download PDF

Info

Publication number
CN110189347A
CN110189347A CN201910403425.XA CN201910403425A CN110189347A CN 110189347 A CN110189347 A CN 110189347A CN 201910403425 A CN201910403425 A CN 201910403425A CN 110189347 A CN110189347 A CN 110189347A
Authority
CN
China
Prior art keywords
data
depth
edge
rgb
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910403425.XA
Other languages
English (en)
Other versions
CN110189347B (zh
Inventor
罗林
张波
郭颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN UROVO TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN UROVO TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN UROVO TECHNOLOGY Co Ltd filed Critical SHENZHEN UROVO TECHNOLOGY Co Ltd
Priority to CN201910403425.XA priority Critical patent/CN110189347B/zh
Publication of CN110189347A publication Critical patent/CN110189347A/zh
Application granted granted Critical
Publication of CN110189347B publication Critical patent/CN110189347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种测量物体体积的方法及终端，针对RGB摄像头和深度摄像头，按以下步骤实现物体的体积测量：S1：对齐RGB摄像头拍摄的RGB数据和深度摄像头拍摄的深度数据至同一坐标下；S2：对齐后同时获取RGB摄像头拍摄的物体的RGB数据和深度摄像头拍摄的物体的深度数据；S3：根据获取到的RGB数据提取物体边缘信息；S4：根据物体边缘信息获取对应的物体边缘像素坐标；S5：根据物体边缘像素坐标在深度数据中提取对应的边缘深度数据；S6：通过提取的边缘深度数据计算出3D点云数据；S7：根据3D点云数据计算物体的体积。本发明通过RGB摄像头与深度摄像头物理对齐，融合RGB摄像头和深度摄像头的拍照方式，能够更精准的找到物体的边缘，更加准确计算出物体的体积。

Description

一种测量物体体积的方法及终端
技术领域
本发明涉及体积测量技术领域，尤其涉及一种测量物体体积的方法及终端。
背景技术
随着社会的进步与科技的发展，快递物流行业日益繁忙，快递员需要便捷地对货物的体积进行计量，因此体积检测技术应运而生。而现有是通过深度摄像头拍摄物体得到的深度数据可以计算出物体体积，但在实际的使用场景中，会有各种干扰，当物体周围有其他物体干扰时，基于深度数据不能准确的找出物体的边界，从而计算物体体积。
发明内容
本发明要解决的技术问题在于，针对现有技术中当物体周围有其他物体干扰时，无法准确的在深度数据中找到物体的缺陷，提供一种测量物体体积的方法及终端。
本发明解决其技术问题所采用的技术方案是：构造了一种测量物体体积的方法，针对RGB摄像头和深度摄像头，按以下步骤实现物体的体积测量：
S1：对齐所述RGB摄像头拍摄的RGB数据和所述深度摄像头拍摄的深度数据至同一坐标下；
S2：对齐后同时获取所述RGB摄像头拍摄的物体的RGB数据和所述深度摄像头拍摄的物体的深度数据；
S3：根据获取到的所述RGB数据提取物体边缘信息；
S4：根据所述物体边缘信息获取对应的物体边缘像素坐标；
S5：根据所述物体边缘像素坐标在所述深度数据中提取对应的边缘深度数据；
S6：通过提取的所述边缘深度数据计算出3D点云数据；
S7：根据所述3D点云数据计算出物体的体积。
优选地，在本发明所述的测量物体体积的方法中，所述步骤S1包括：
S1-1：接收所述RGB摄像头拍摄多幅不同视角下的棋盘图片，采用OpenCV或Matlab软件处理所述图片，计算出所述RGB摄像头对应于每一幅图片的外参；其中，所述外参包括：第一旋转矩阵R1和第一平移矩阵t1；
S1-2：使用外置红外光源照射同一棋盘，遮住所述深度摄像头的红外发射器，通过所述深度摄像头获取多幅红外光图片后，采用OpenCV或Matlab软件处理所述图片，计算出所述深度摄像头对应于每一幅图片的外参；其中，所述外参包括：第二旋转矩阵R2和第二平移矩阵t2；
S1-3：根据所述RGB摄像头的外参和所述深度摄像头的外参计算出所述RGB摄像头与所述深度摄像头的转换矩阵；其中，所述转换矩阵的旋转矩阵R3＝R1*R2 -1，所述转换矩阵的平移矩阵t3＝t1-R3*t2；
S1-4：根据所述转换矩阵将所述RGB摄像头拍摄的RGB数据转换至与所述深度摄像头拍摄的深度数据的同一坐标下。
优选地，在本发明所述的测量物体体积的方法中，所述步骤S2包括：
对齐后同时获取所述RGB摄像头和所述深度摄像头拍摄多帧物体的RGB数据和深度数据。
优选地，在本发明所述的测量物体体积的方法中，所述步骤S3包括：
合并所述多帧物体的RGB数据，锐化物体图像边缘，对锐化后的物体图像进行边缘检测，提取物体边缘信息。
优选地，在本发明所述的测量物体体积的方法中，所述步骤S5包括：
合并所述多帧物体的深度数据，根据所述物体边缘像素坐标在合并后的所述深度数据中提取对应的边缘深度数据。
本发明还构造了一种测量物体体积的终端，包括：RGB摄像头和深度摄像头，还包括：
对齐模块，用于对齐所述RGB摄像头拍摄的RGB数据和所述深度摄像头拍摄的深度数据至同一坐标下；
数据获取模块，用于对齐后同时获取所述RGB摄像头拍摄的物体的RGB数据和所述深度摄像头拍摄的物体的深度数据；
边缘检测模板，用于根据所述数据获取模块获取到的RGB数据提取物体边缘信息；
边缘像素坐标获取模块，用于根据所述边缘检测模板提取到的物体边缘信息获取对应的物体边缘像素坐标；
边缘深度数据提取模块，用于根据所述边缘像素坐标获取模块获取到的物体边缘像素坐标在所述数据获取模块获取到的深度数据中提取对应的边缘深度数据；
3D点云数据计算模块，用于根据所述边缘深度数据提取模块提取到的边缘深度数据计算出3D点云数据；
体积计算模块，用于根据所述3D点云数据计算模块计算得到的3D点云数据计算出物体的体积。
优选地在本发明所述的测量物体体积的终端中，所述对齐模块包括：
RGB摄像头外参计算模块，用于接收所述RGB摄像头拍摄多幅不同视角下的棋盘图片，采用OpenCV或Matlab软件处理所述图片，计算出所述RGB摄像头对应于每一幅图片的外参；其中，所述外参包括：第一旋转矩阵R1和第一平移矩阵t1；
深度摄像头外参计算模块，用于在使用外置红外光源照射同一棋盘，遮住所述深度摄像头的红外发射器，通过所述深度摄像头获取多幅红外光图片后，采用OpenCV或Matlab软件处理所述图片，计算出所述深度摄像头对应于每一幅图片的外参；其中，所述外参包括：第二旋转矩阵R2和第二平移矩阵t2；
转换矩阵计算模块，用于所述RGB摄像头外参计算模块得到的外参和所述深度摄像头外参计算模块得到的外参计算出所述RGB摄像头与所述深度摄像头的转换矩阵；其中，所述转换矩阵的旋转矩阵R3＝R1*R2 -1，所述转换矩阵的平移矩阵t3＝t1-R3*t2；
转换模块，用于根据所述转换矩阵计算模块得到的转换矩阵将所述RGB摄像头拍摄的RGB数据转换至与所述深度摄像头拍摄的深度数据的同一坐标下。
优选地在本发明所述的测量物体体积的终端中，所述数据获取模块，还用于对齐后同时获取所述RGB摄像头和所述深度摄像头拍摄多帧物体的RGB数据和深度数据。
优选地在本发明所述的测量物体体积的终端中，所述终端还包括：
合并模块，用于合并所述数据获取模块获取到的多帧物体的RGB数据，锐化物体图像边缘，以及合并所述数据获取模块获取到的多帧物体的深度数据；
其中，边缘检测模板，用于根据所述合并模块得到的锐化后的物体图像进行边缘检测，提取物体边缘信息。
优选地在本发明所述的测量物体体积的终端中，所述边缘深度数据提取模块，用于根据所述边缘像素坐标获取模块获取到的物体边缘像素坐标在所述合并模块合并后的深度数据中提取对应的边缘深度数据。
通过实施本发明具有以下有益效果：
本发明通过RGB摄像头与深度摄像头物理对齐，融合RGB摄像头和深度摄像头的拍照方式，相比现有技术通过深度摄像头拍摄物体得到的深度数据计算出物体体积，能够更精准的找到物体的边缘，得到的物体深度数据更精准，从而计算出物体的体积更加准确。
并且通过同时获取多帧物体的深度数据和RGB数据，可优化数据；合并多张RGB数据，加强物体边缘锐化；对所述RGB图像进行边缘检测，提取出物体边缘信息；合并多张深度数据确保物体的边缘深度数据是连续的，并以RGB数据提取的边缘信息提取物深度数据；通过深度数据得到3D点云数据；根据3D点云数据计算得到物体体积，可进一步精准的找到物体的边缘，计算出物体的体积。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明第一实施例中测量物体体积的方法流程图；
图2是本发明第二实施例中测量物体体积的方法流程图；
图3是本发明第一实施例测量物体体积的终端框图；
图4是本发明第二实施例中对齐模块的框图；
图5是本发明第二实施例测量物体体积的终端框图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
通过深度摄像头拍摄物体得到的深度数据可以计算出物体体积，但当物体周围有其他物体干扰时，基于深度数据不能准确的找出物体，为了解决复杂环境下找出物体并计算物体的体积，本发明构造了一种测量物体体积的方法。参见图1，图1是本发明第一实施例中测量物体体积的方法流程图，在第一实施例中，针对RGB摄像头和深度摄像头，按以下步骤实现物体的体积测量：
S1：对齐RGB摄像头拍摄的RGB数据和深度摄像头拍摄的深度数据至同一坐标下；
S2：对齐后同时获取RGB摄像头拍摄的物体的RGB数据和深度摄像头拍摄的物体的深度数据；
S3：根据获取到的RGB数据提取物体边缘信息；
S4：根据物体边缘信息获取对应的物体边缘像素坐标；
S5：根据物体边缘像素坐标在深度数据中提取对应的边缘深度数据；
S6：通过提取的边缘深度数据计算出3D点云数据；具体地，将深度数据转换为世界坐标；
S7：根据3D点云数据计算出物体的体积。
第二实施例，在第一实施例的基础上，参见图2，图2是本发明第二实施例中测量物体体积的方法流程图，具体地，在步骤S1：对齐RGB摄像头拍摄的RGB数据和深度摄像头拍摄的深度数据至同一坐标下中，其包括：
S1-1：接收RGB摄像头拍摄多幅不同视角下的棋盘图片，采用OpenCV或Matlab软件处理图片，计算出RGB摄像头对应于每一幅图片的外参；其中，外参包括：第一旋转矩阵R1和第一平移矩阵t1。外参是是世界坐标系相对于摄像机坐标系的旋转平移关系，表示为：其中，第一旋转矩阵R1为3*3正交单位矩阵，R1的第i行表示摄像机坐标系中的第i个坐标轴方向的单位向量在世界坐标系里的坐标；第一平移矩阵t1为三维平移向量，表示世界坐标系的原点在摄像机坐标系的坐标；T表示转置；例如，
S1-2：使用外置红外光源照射同一棋盘，遮住深度摄像头的红外发射器，通过深度摄像头获取多幅红外光图片后，采用OpenCV或Matlab软件处理图片，计算出深度摄像头对应于每一幅图片的外参；其中，外参包括：第二旋转矩阵R2和第二平移矩阵t2；外参是是世界坐标系相对于摄像机坐标系的旋转平移关系，表示为：其中，第一旋转矩阵R2为3*3正交单位矩阵，R2的第i行表示摄像机坐标系中的第i个坐标轴方向的单位向量在世界坐标系里的坐标；第一平移矩阵t2为三维平移向量，表示世界坐标系的原点在摄像机坐标系的坐标；T表示转置；例如，
S1-3：根据RGB摄像头的外参和深度摄像头的外参计算出RGB摄像头与深度摄像头的转换矩阵；其中，转换矩阵的旋转矩阵R3＝R1*R2 -1，转换矩阵的平移矩阵t3＝t1-R3*t2；
S1-4：根据转换矩阵将RGB摄像头拍摄的RGB数据转换至与深度摄像头拍摄的深度数据的同一坐标下。其中，RGB摄像头输出图像的时候经过上述的转换矩阵进行转换，令RGB数据中的物体像素坐标和深度数据中物体的像素坐标一样。
为了优化数据，在步骤S2：对齐后同时获取RGB摄像头拍摄的物体的RGB数据和深度摄像头拍摄的物体的深度数据中，其包括：
对齐后同时获取RGB摄像头和深度摄像头拍摄多帧物体的RGB数据和深度数据。
在步骤S3：根据获取到的RGB数据提取物体边缘信息中，其包括：
合并多帧物体的RGB数据，锐化物体图像边缘，要提高照片的清晰度就要对照片进行降噪处理，降噪的话可能把原本的细节丢失，这样多帧数据合并就能补齐细节，然后对锐化后的物体图像进行边缘检测，提取物体边缘信息。
其中，所谓边缘是指其周围像素灰度急剧变化的那些象素的集合，它是图像最基本的特征。边缘存在于目标、背景和区域之间，所以，它是图像分割所依赖的最重要的依据。由于边缘是位置的标志，对灰度的变化不敏感，,因此，边缘也是图像匹配的重要的特征。而边缘检测和区域划分是图像分割的两种不同的方法，二者具有相互补充的特点。在边缘检测中，是提取图像中不连续部分的特征，根据闭合的边缘确定区域。而在区域划分中，是把图像分割成特征相同的区域，区域之间的边界就是边缘。由于边缘检测方法不需要将图像逐个像素地分割，因此更适合大图像的分割。
边缘大致可以分为两种，一种是阶跃状边缘，边缘两边像素的灰度值明显不同；另一种为屋顶状边缘，边缘处于灰度值由小到大再到小的变化转折点处。并且边缘检测的主要工具是边缘检测模板。模板的作用是将右邻点的灰度值减去左邻点的灰度值作为该点的灰度值。在灰度相近的区域内，这么做的结果使得该点的灰度值接近于0；而在边缘附近，灰度值有明显的跳变，这么做的结果使得该点的灰度值很大，这样就出现了上面的结果。这种模板就是一种边缘检测器，它在数学上的涵义是一种基于梯度的滤波器，习惯上又称边缘算子。我们知道，梯度是有方向的，和边缘的方向总是垂直的。模板是水平方向的，而上面那幅图像的边缘恰好是垂直方向的，使用模板就可以将它检测出来。如果图像的边缘是水平方向的，我们可以用梯度是垂直方向的模板检测它的边缘。如果图像的边缘是45度方向的，我们可以用模板检测它的边缘。
在步骤S5：根据物体边缘像素坐标在深度数据中提取对应的边缘深度数据中，其包括：
合并多帧物体的深度数据，确保物体的边缘深度数据是连续的，根据物体边缘像素坐标在合并后的深度数据中提取对应的边缘深度数据，也就是物体的边缘深度数据，这个边缘深度数据是深度摄像头到物体边缘的距离。
本发明还构造了一种测量物体体积的终端，参见图3，图3是本发明第一实施例测量物体体积的终端框图，在第一实施例中，其包括：RGB摄像头和深度摄像头，还包括：
对齐模块，用于对齐RGB摄像头拍摄的RGB数据和深度摄像头拍摄的深度数据至同一坐标下；
数据获取模块，用于对齐后同时获取RGB摄像头拍摄的物体的RGB数据和深度摄像头拍摄的物体的深度数据；
边缘检测模板，用于根据数据获取模块获取到的RGB数据提取物体边缘信息；
边缘像素坐标获取模块，用于根据边缘检测模板提取到的物体边缘信息获取对应的物体边缘像素坐标；
边缘深度数据提取模块，用于根据边缘像素坐标获取模块获取到的物体边缘像素坐标在数据获取模块获取到的深度数据中提取对应的边缘深度数据；
3D点云数据计算模块，用于根据边缘深度数据提取模块提取到的边缘深度数据计算出3D点云数据；具体地，是深度数据转换为世界坐标；
体积计算模块，用于根据3D点云数据计算模块计算得到的3D点云数据计算出物体的体积。其中，在本实施例中，RGB摄像头设置在深度摄像头的发射器和点阵投影器位置之间，并靠近发射器。
参见图4，图4是本发明第二实施例中对齐模块的框图，在上述测量物体体积的终端的第一实施例的基础上，在第二实施例中，对齐模块包括：
RGB摄像头外参计算模块，用于接收RGB摄像头拍摄多幅不同视角下的棋盘图片，采用OpenCV或Matlab软件处理图片，计算出RGB摄像头对应于每一幅图片的外参；其中，外参包括：第一旋转矩阵R1和第一平移矩阵t1；外参是是世界坐标系相对于摄像机坐标系的旋转平移关系，表示为：其中，第一旋转矩阵R1为3*3正交单位矩阵，R1的第i行表示摄像机坐标系中的第i个坐标轴方向的单位向量在世界坐标系里的坐标；第一平移矩阵t1为三维平移向量，表示世界坐标系的原点在摄像机坐标系的坐标；T表示转置；例如，
深度摄像头外参计算模块，用于在使用外置红外光源照射同一棋盘，遮住深度摄像头的红外发射器，通过深度摄像头获取多幅红外光图片后，采用OpenCV或Matlab软件处理图片，计算出深度摄像头对应于每一幅图片的外参；其中，外参包括：第二旋转矩阵R2和第二平移矩阵t2；外参是是世界坐标系相对于摄像机坐标系的旋转平移关系，表示为：其中，第一旋转矩阵R2为3*3正交单位矩阵，R2的第i行表示摄像机坐标系中的第i个坐标轴方向的单位向量在世界坐标系里的坐标；第一平移矩阵t2为三维平移向量，表示世界坐标系的原点在摄像机坐标系的坐标；T表示转置；例如，
转换矩阵计算模块，用于RGB摄像头外参计算模块得到的外参和深度摄像头外参计算模块得到的外参计算出RGB摄像头与深度摄像头的转换矩阵；其中，转换矩阵的旋转矩阵R3＝R1*R2 -1，转换矩阵的平移矩阵13＝t1-R3*t2；
转换模块，用于根据转换矩阵计算模块得到的转换矩阵将RGB摄像头拍摄的RGB数据转换至与深度摄像头拍摄的深度数据的同一坐标下。中，RGB摄像头输出图像的时候经过上述的转换矩阵进行转换，令RGB数据中的物体像素坐标和深度数据中物体的像素坐标一样。
参见图5，图5是本发明第二实施例测量物体体积的终端框图，为了优化数据，数据获取模块还用于对齐后同时获取RGB摄像头和深度摄像头拍摄多帧物体的RGB数据和深度数据。
并且，该终端还包括：合并模块，用于合并数据获取模块获取到的多帧物体的RGB数据，锐化物体图像边缘，以及合并数据获取模块获取到的多帧物体的深度数据；要提高照片的清晰度就要对照片进行降噪处理，降噪的话可能把原本的细节丢失，这样多帧数据合并就能补齐细节，锐化物体图像边缘。
相应地，边缘检测模板，用于根据合并模块得到的锐化后的物体图像进行边缘检测，提取物体边缘信息。
其中，所谓边缘是指其周围像素灰度急剧变化的那些象素的集合，它是图像最基本的特征。边缘存在于目标、背景和区域之间，所以，它是图像分割所依赖的最重要的依据。由于边缘是位置的标志，对灰度的变化不敏感，,因此，边缘也是图像匹配的重要的特征。而边缘检测和区域划分是图像分割的两种不同的方法，二者具有相互补充的特点。在边缘检测中，是提取图像中不连续部分的特征，根据闭合的边缘确定区域。而在区域划分中，是把图像分割成特征相同的区域，区域之间的边界就是边缘。由于边缘检测方法不需要将图像逐个像素地分割，因此更适合大图像的分割。
边缘大致可以分为两种，一种是阶跃状边缘，边缘两边像素的灰度值明显不同；另一种为屋顶状边缘，边缘处于灰度值由小到大再到小的变化转折点处。并且边缘检测的主要工具是边缘检测模板。模板的作用是将右邻点的灰度值减去左邻点的灰度值作为该点的灰度值。在灰度相近的区域内，这么做的结果使得该点的灰度值接近于0；而在边缘附近，灰度值有明显的跳变，这么做的结果使得该点的灰度值很大，这样就出现了上面的结果。这种模板就是一种边缘检测器，它在数学上的涵义是一种基于梯度的滤波器，习惯上又称边缘算子。我们知道，梯度是有方向的，和边缘的方向总是垂直的。模板是水平方向的，而上面那幅图像的边缘恰好是垂直方向的，使用模板就可以将它检测出来。如果图像的边缘是水平方向的，我们可以用梯度是垂直方向的模板检测它的边缘。如果图像的边缘是45度方向的，我们可以用模板检测它的边缘。
相应地，边缘深度数据提取模块，用于根据边缘像素坐标获取模块获取到的物体边缘像素坐标在合并模块合并后的深度数据中提取对应的边缘深度数据，也就是物体的边缘深度数据，这个边缘深度数据是深度摄像头到物体边缘的距离。
通过实施本发明具有以下有益效果：
本发明通过RGB摄像头与深度摄像头物理对齐，融合RGB摄像头和深度摄像头的拍照方式，相比现有技术通过深度摄像头拍摄物体得到的深度数据计算出物体体积，能够更精准的找到物体的边缘，得到的物体深度数据更精准，从而计算出物体的体积更加准确。
并且通过同时获取多帧物体的深度数据和RGB数据，可优化数据；合并多张RGB数据，加强物体边缘锐化；对所述RGB图像进行边缘检测，提取出物体边缘信息；合并多张深度数据确保物体的边缘深度数据是连续的，并以RGB数据提取的边缘信息提取物深度数据；通过深度数据得到3D点云数据；根据3D点云数据计算得到物体体积，可进一步精准的找到物体的边缘，计算出物体的体积。
本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换和等同替代。另外，针对特定情形或具体情况，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

Claims (10)

1.一种测量物体体积的方法，其特征在于，针对RGB摄像头和深度摄像头，按以下步骤实现物体的体积测量：
S1：对齐所述RGB摄像头拍摄的RGB数据和所述深度摄像头拍摄的深度数据至同一坐标下；
S2：对齐后同时获取所述RGB摄像头拍摄的物体的RGB数据和所述深度摄像头拍摄的物体的深度数据；
S3：根据获取到的所述RGB数据提取物体边缘信息；
S4：根据所述物体边缘信息获取对应的物体边缘像素坐标；
S5：根据所述物体边缘像素坐标在所述深度数据中提取对应的边缘深度数据；
S6：通过提取的所述边缘深度数据计算出3D点云数据；
S7：根据所述3D点云数据计算出物体的体积。
2.根据权利要求1所述的测量物体体积的方法，其特征在于，所述步骤S1包括：
S1-1：接收所述RGB摄像头拍摄多幅不同视角下的棋盘图片，采用OpenCV或Matlab软件处理所述图片，计算出所述RGB摄像头对应于每一幅图片的外参；其中，所述外参包括：第一旋转矩阵R1和第一平移矩阵t1；
S1-2：使用外置红外光源照射同一棋盘，遮住所述深度摄像头的红外发射器，通过所述深度摄像头获取多幅红外光图片后，采用OpenCV或Matlab软件处理所述图片，计算出所述深度摄像头对应于每一幅图片的外参；其中，所述外参包括：第二旋转矩阵R2和第二平移矩阵t2；
S1-3：根据所述RGB摄像头的外参和所述深度摄像头的外参计算出所述RGB摄像头与所述深度摄像头的转换矩阵；其中，所述转换矩阵的旋转矩阵R3＝R1*R2 -1，所述转换矩阵的平移矩阵t3＝t1-R3*t2；
S1-4：根据所述转换矩阵将所述RGB摄像头拍摄的RGB数据转换至与所述深度摄像头拍摄的深度数据的同一坐标下。
3.根据权利要求1所述的测量物体体积的方法，其特征在于，所述步骤S2包括：
对齐后同时获取所述RGB摄像头和所述深度摄像头拍摄多帧物体的RGB数据和深度数据。
4.根据权利要求3所述的测量物体体积的方法，其特征在于，所述步骤S3包括：
合并所述多帧物体的RGB数据，锐化物体图像边缘，对锐化后的物体图像进行边缘检测，提取物体边缘信息。
5.根据权利要求3所述的测量物体体积的方法，其特征在于，所述步骤S5包括：
合并所述多帧物体的深度数据，根据所述物体边缘像素坐标在合并后的所述深度数据中提取对应的边缘深度数据。
6.一种测量物体体积的终端，包括：RGB摄像头和深度摄像头，其特征在于，还包括：
对齐模块，用于对齐所述RGB摄像头拍摄的RGB数据和所述深度摄像头拍摄的深度数据至同一坐标下；
数据获取模块，用于对齐后同时获取所述RGB摄像头拍摄的物体的RGB数据和所述深度摄像头拍摄的物体的深度数据；
边缘检测模板，用于根据所述数据获取模块获取到的RGB数据提取物体边缘信息；
边缘像素坐标获取模块，用于根据所述边缘检测模板提取到的物体边缘信息获取对应的物体边缘像素坐标；
边缘深度数据提取模块，用于根据所述边缘像素坐标获取模块获取到的物体边缘像素坐标在所述数据获取模块获取到的深度数据中提取对应的边缘深度数据；
3D点云数据计算模块，用于根据所述边缘深度数据提取模块提取到的边缘深度数据计算出3D点云数据；
体积计算模块，用于根据所述3D点云数据计算模块计算得到的3D点云数据计算出物体的体积。
7.根据权利要求6所述的测量物体体积的终端，其特征在于，所述对齐模块包括：
RGB摄像头外参计算模块，用于接收所述RGB摄像头拍摄多幅不同视角下的棋盘图片，采用OpenCV或Matlab软件处理所述图片，计算出所述RGB摄像头对应于每一幅图片的外参；其中，所述外参包括：第一旋转矩阵R1和第一平移矩阵t1；
深度摄像头外参计算模块，用于在使用外置红外光源照射同一棋盘，遮住所述深度摄像头的红外发射器，通过所述深度摄像头获取多幅红外光图片后，采用OpenCV或Matlab软件处理所述图片，计算出所述深度摄像头对应于每一幅图片的外参；其中，所述外参包括：第二旋转矩阵R2和第二平移矩阵t2；
转换矩阵计算模块，用于所述RGB摄像头外参计算模块得到的外参和所述深度摄像头外参计算模块得到的外参计算出所述RGB摄像头与所述深度摄像头的转换矩阵；其中，所述转换矩阵的旋转矩阵R3＝R1*R2 -1，所述转换矩阵的平移矩阵t3＝t1-R3*t2；
转换模块，用于根据所述转换矩阵计算模块得到的转换矩阵将所述RGB摄像头拍摄的RGB数据转换至与所述深度摄像头拍摄的深度数据的同一坐标下。
8.根据权利要求6所述的测量物体体积的终端，其特征在于，所述数据获取模块，还用于对齐后同时获取所述RGB摄像头和所述深度摄像头拍摄多帧物体的RGB数据和深度数据。
9.根据权利要求8所述的测量物体体积的终端，其特征在于，所述终端还包括：
合并模块，用于合并所述数据获取模块获取到的多帧物体的RGB数据，锐化物体图像边缘，以及合并所述数据获取模块获取到的多帧物体的深度数据；
其中，边缘检测模板，用于根据所述合并模块得到的锐化后的物体图像进行边缘检测，提取物体边缘信息。
10.根据权利要求9所述的测量物体体积的终端，其特征在于，所述边缘深度数据提取模块，用于根据所述边缘像素坐标获取模块获取到的物体边缘像素坐标在所述合并模块合并后的深度数据中提取对应的边缘深度数据。
CN201910403425.XA 2019-05-15 2019-05-15 一种测量物体体积的方法及终端 Active CN110189347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910403425.XA CN110189347B (zh) 2019-05-15 2019-05-15 一种测量物体体积的方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910403425.XA CN110189347B (zh) 2019-05-15 2019-05-15 一种测量物体体积的方法及终端

Publications (2)

Publication Number Publication Date
CN110189347A true CN110189347A (zh) 2019-08-30
CN110189347B CN110189347B (zh) 2021-09-24

Family

ID=67716398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910403425.XA Active CN110189347B (zh) 2019-05-15 2019-05-15 一种测量物体体积的方法及终端

Country Status (1)

Country Link
CN (1) CN110189347B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028227A (zh) * 2019-12-17 2020-04-17 江西洪都航空工业集团有限责任公司 一种数控机床快速找正方法
CN112419393A (zh) * 2020-11-15 2021-02-26 浙江大学 一种垃圾焚烧炉料斗内垃圾体积实时测算装置及方法
CN113052884A (zh) * 2021-03-17 2021-06-29 Oppo广东移动通信有限公司 信息处理方法、信息处理装置、存储介质与电子设备
CN113538557A (zh) * 2020-04-15 2021-10-22 深圳市光鉴科技有限公司 基于三维视觉的箱体积测量装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2905538A1 (en) * 2013-03-15 2014-09-18 Csb-System Ag Device for volumetrically measuring a slaughter animal body object
US20150009214A1 (en) * 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CN105488816A (zh) * 2015-11-27 2016-04-13 中南大学 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法
CN109269405A (zh) * 2018-09-05 2019-01-25 天目爱视（北京）科技有限公司 一种快速3d测量和比对方法
CN109636779A (zh) * 2018-11-22 2019-04-16 华南农业大学 识别家禽体积体尺的方法、装置及存储介质
CN109632033A (zh) * 2019-02-22 2019-04-16 浙江大学滨海产业技术研究院 一种体积测量的设备与方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2905538A1 (en) * 2013-03-15 2014-09-18 Csb-System Ag Device for volumetrically measuring a slaughter animal body object
US20150009214A1 (en) * 2013-07-08 2015-01-08 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CN105488816A (zh) * 2015-11-27 2016-04-13 中南大学 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法
CN109269405A (zh) * 2018-09-05 2019-01-25 天目爱视（北京）科技有限公司 一种快速3d测量和比对方法
CN109636779A (zh) * 2018-11-22 2019-04-16 华南农业大学 识别家禽体积体尺的方法、装置及存储介质
CN109632033A (zh) * 2019-02-22 2019-04-16 浙江大学滨海产业技术研究院 一种体积测量的设备与方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AIPIANO: "Kinect深度图与RGB摄像头的标定与配准", 《HTTPS://BLOG.CSDN.NET/AICHIPMUNK/ARTICLE/DETAILS/9264703》 *
VAN-LUAN TRAN等: "A Structured Light RGB-D Camera System for Accurate Depth Measurement", 《2017 INTERNATIONAL CONFERENCE ON SYSTEM SCIENCE AND ENGINEERING (ICSSE)》 *
于莉洁 等: "基于深度信息局部二值模式特征的室内场景边缘检测", 《计算机辅助设计与图形学学报》 *
谢洪起: "基于RGB-D相机的猕猴桃外形和体积检测方法研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028227A (zh) * 2019-12-17 2020-04-17 江西洪都航空工业集团有限责任公司 一种数控机床快速找正方法
CN111028227B (zh) * 2019-12-17 2023-07-21 江西洪都航空工业集团有限责任公司 一种数控机床快速找正方法
CN113538557A (zh) * 2020-04-15 2021-10-22 深圳市光鉴科技有限公司 基于三维视觉的箱体积测量装置
CN113538557B (zh) * 2020-04-15 2024-05-03 深圳市光鉴科技有限公司 基于三维视觉的箱体积测量装置
CN112419393A (zh) * 2020-11-15 2021-02-26 浙江大学 一种垃圾焚烧炉料斗内垃圾体积实时测算装置及方法
CN112419393B (zh) * 2020-11-15 2022-06-14 浙江大学 一种垃圾焚烧炉料斗内垃圾体积实时测算装置及方法
CN113052884A (zh) * 2021-03-17 2021-06-29 Oppo广东移动通信有限公司 信息处理方法、信息处理装置、存储介质与电子设备

Also Published As

Publication number Publication date
CN110189347B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN110189347A (zh) 一种测量物体体积的方法及终端
CN105205858B (zh) 一种基于单个深度视觉传感器的室内场景三维重建方法
Lati et al. Estimating plant growth parameters using an energy minimization-based stereovision model
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN111414798A (zh) 基于rgb-d图像的头部姿态检测方法及系统
CN102589530B (zh) 基于二维相机和三维相机融合的非合作目标位姿测量方法
CN106361345A (zh) 基于摄像头标定的视频图像中人体身高测量的系统及方法
CN106097348A (zh) 一种三维激光点云与二维图像的融合方法
CN108629835A (zh) 基于高光谱、真彩图与点云互补的室内重建方法及系统
CN109146948A (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN105869160A (zh) 利用Kinect实现三维建模和全息显示的方法及系统
CN109272537A (zh) 一种基于结构光的全景点云配准方法
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
CN103559711A (zh) 基于三维视觉系统图像特征和三维信息的运动估计方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
US20170287162A1 (en) Method and system for scanning an object using an rgb-d sensor
CN108564620A (zh) 一种针对光场阵列相机的场景深度估计方法
CN104574312A (zh) 标靶图像求圆心的方法和装置
CN111179335A (zh) 一种基于双目视觉的立木测定方法
Babaee et al. 3-D object modeling from 2-D occluding contour correspondences by opti-acoustic stereo imaging
CN106886754B (zh) 一种基于三角面片的三维场景下的物体识别方法及系统
CN109345570B (zh) 一种基于几何形状的多通道三维彩色点云配准方法
CN109443319A (zh) 基于单目视觉的障碍物测距系统及其测距方法
Mo et al. Soft-aligned gradient-chaining network for height estimation from single aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant