CN112070736B - 一种结合目标检测和深度计算的物体体积视觉测量方法 - Google Patents

一种结合目标检测和深度计算的物体体积视觉测量方法 Download PDF

Info

Publication number
CN112070736B
CN112070736B CN202010903116.1A CN202010903116A CN112070736B CN 112070736 B CN112070736 B CN 112070736B CN 202010903116 A CN202010903116 A CN 202010903116A CN 112070736 B CN112070736 B CN 112070736B
Authority
CN
China
Prior art keywords
image
calculation
depth
information
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010903116.1A
Other languages
English (en)
Other versions
CN112070736A (zh
Inventor
孙毅
黎明
宗兆翔
计春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN202010903116.1A priority Critical patent/CN112070736B/zh
Publication of CN112070736A publication Critical patent/CN112070736A/zh
Application granted granted Critical
Publication of CN112070736B publication Critical patent/CN112070736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合目标检测和深度计算的物体体积视觉测量方法，包括：数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测；图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小。通过深度相机拍摄图像和AI模型的识别分拣，获取指定像素点的深度信息(距离信息)，通过图像的处理和计算，实现物体的体积信息的测量。

Description

一种结合目标检测和深度计算的物体体积视觉测量方法
技术领域
本发明涉及机器视觉技术领域，具体来说，是一种物体体积视觉测量方法。
背景技术
专利公开号CN111307037A通过装置上的3D摄像头采集点云数据，并且通过在物体两侧分别进行拍照的方式得到物体的大小尺寸信息。但是发明本身仍然是以人为操作为主的装置，不符合现代快递物流行业对于自动化的新要求。专利公开号CN110782473A通过给定固定检测区域，比较相邻两帧的深度图像，进而判断是否存在待检物体。并以此判断为依据，进一步提取图像中的深度信息，从而计算物体体积。本发明解决了传送带检测通过物体的问题，但是应用场景太过单一，且需要给定检测区域，不适合背景复杂或者干扰过大的场景。同样地，专利公开号CN110570471A仅仅通过边缘信息检测从而获取物体的长宽，对于环境的要求较高，对于物体所处背景要求也较高。专利公开号CN111229635A通过嵌入式的系统实现了AI与算法计算。但是该发明侧重于硬件设计，并没有讲述算法的具体实现方法和AI的使用。
发明内容
本发明的目的是提供一种结合目标检测和深度计算的物体体积视觉测量方法，通过深度相机拍摄图像和AI模型的识别分拣，获取指定像素点的深度信息(距离信息)，通过图像的处理和计算，实现物体的体积信息的测量。
本发明的目的是这样实现的：一种结合目标检测和深度计算的物体体积视觉测量方法，包括：
数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；
目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测；
图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；
体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小。
进一步地，所述图像处理步骤包括如下子步骤：A1、对AI检测过的区域进行范围的扩大，通过AI模型确定相机拍摄画面中的待检物体的大致范围，并用矩形边框来表征上述范围。
进一步地，所述图像处理步骤还包括如下子步骤：A2、以矩形框的中心为处理点，扩大标定区域长方形的边长为原来的两倍，并进行图像的截取；A2子步骤在A1子步骤之后。
进一步地，所述图像处理步骤还包括如下子步骤：A3、对截取的RGB图像进行灰度化，并采用双边滤波算法对灰度图进行滤波处理；A3子步骤在A2子步骤之后。
进一步地，所述图像处理步骤还包括如下子步骤：A4、计算图片的梯度幅值并进行非极大值抑制；A4子步骤在A3子步骤之后。
进一步地，所述图像处理步骤还包括如下子步骤：A5、进行双阈值算法检测，提取出边缘信息最多的物体，并将其边缘信息的像素点坐标作为一个数列集合；A5子步骤在A4子步骤之后。
进一步地，所述体积计算步骤进行时，从图像处理步骤得到的数列集合中找到在像素坐标系中最大和最小的坐标值，并以此为点构造矩形边框，同时找出顶点的中点。
本发明的有益效果在于：通过AI检测的方法，使得体积测量方法的应用场景大大增多，且通过AI范围的提取和部分增大，实现了数据处理量的降低，也大大减少了传统测量算法易受环境噪声干扰的缺点。最后，通过本发明提出的计算方法，实现体积计算，计算量较少，可以应用于各种硬件环境。
附图说明
图1是本发明的方法构成示意图。
图2是图像处理示意图。
图3是计算模型示意图。
具体实施方式
下面结合附图1-3和具体实施例对本发明进一步说明。
如图1-3所示，一种结合目标检测和深度计算的物体体积视觉测量方法，包括：
数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；
目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测，既实现物体所在的图像像素区域的初步确定，同时也是避免其他类似形状的物体的存在干扰测量结果；
图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；
体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小。
所述图像处理步骤包括如下子步骤：
A1、对AI检测过的区域进行范围的扩大，通过AI模型确定相机拍摄画面中的待检物体的大致范围，并用矩形边框来表征上述范围；
A2、以矩形框的中心为处理点，扩大标定区域长方形的边长为原来的两倍，并进行图像的截取；
A3、对截取的RGB图像进行灰度化，并采用双边滤波算法对灰度图进行滤波处理；
A4、计算图片的梯度幅值并进行非极大值抑制；
A5、进行双阈值算法检测，提取出边缘信息最多的物体，并将其边缘信息的像素点坐标作为一个数列集合。
在体积计算步骤进行时，从图像处理步骤得到的数列集合中找到在像素坐标系中最大和最小的坐标值，并以此为点构造矩形边框，同时找出顶点的中点。
在实际操作过程中，首先对待检测物体拍摄大量照片作为训练用的数据集，然后将这些照片给YOLO进行训练，得到不同迭代训练次数的模型，并从中挑选效果最好的一个。
其二，找到一个位置固定深度相机，并记录下深度相机的所处高度，记为h。，并且先将相机进行标定，使得RGB图像的像素点与深度信息一一对应。
其三，进行图像拍摄，每一张图像都记为M*N的矩阵。对每一张拍摄的图像利用训练好的AI模型进行检测。若是检测到需要测量的物体，就得到相应的物体所在的像素坐标区域。以标定区域为中心，扩大标定区域长方形的边长为原来的两倍，并进行图像的截取。之后以双边滤波代替传统高斯滤波，进行Canny算子处理，提取边缘点最多的区域，并且将该区域所有点的像素坐标记录为一个集合，记为{[a1,b1],[a2,b2],…[an,bn]}。对该集合中所有像素点进行深度信息提取，并且也记录于集合中，即{[a1,b1,d1],[a2,b2,d2],…[an,bn,dn]}。比较深度信息d，找到最小的深度值dmin。
其四，对像素坐标集合里的u、v分别进行大小比较，找到最大最小值，记为amin，bmin，amax，bmax。再将这四个值进行组合，得到两个像素坐标点(amin，bmin)，(amax，bmax)，以此构造矩形方框，并求出两者的中点(amid，bmid)。
其五，以amid为u值，找到amid在边框上的点，记为(amidl，bmid)，(amidr，bmid)。为了避免噪声干扰和形状的影响，再对(amidl，bmid)，(amidr，bmid)和(amid，bmid)分别求中点，记为(amid1，bmid)，(amid2，bmid)并根据像素坐标获取相应的距离信息，记为d1，d2，d3。它们之间的距离实际距离记为x。
其六，根据余弦定理可得：
Figure BDA0002660442290000051
Figure BDA0002660442290000052
联立方程组可得：
Figure BDA0002660442290000053
因为x代表的是(amid1，bmid)，(amid2，bmid)与(amid，bmid)之间的距离，所以可以通过式子X＝x/(amid–amid1)得到一个像素点代表的实际距离大小。并且将求得的x值代入原始中，可以确定出θ的值。
其七，再根据图像的边框信息集合找到四个顶点，对四个顶点进行像素点距离的计算，再分别乘以X值，即可得到物体的长宽。通过sinθ*d1可以求得相机距离物体表面的距离c，物体的高则为h–c。
主要采用YOLO v3进行物体的识别，并获得物体所在的大致区域，通过AI可以使物体所处环境更为复杂多变。通过以区域中心为处理点，对AI确定范围边长进行双倍扩大，获得涵盖整个物体的新区域。包含物体的图像的范围缩小，极大程度上降低了对于边缘信息的干扰，同时也减少了数据处理的量。最后通过本发明提出的计算方法计算物体体积，本方法的计算量较少，可以应用于各种硬件环境。
以上是本发明的优选实施例，本领域普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本发明总的构思的前提下，这些变换或改进都应当属于本发明要求保护范围之内。

Claims (1)

1.一种结合目标检测和深度计算的物体体积视觉测量方法，其特征在于，包括：
数据采集步骤，通过深度相机进行图像的拍摄和距离信息的采集；
目标检测步骤，利用YOLO模型对于测量物体进行训练，并实现被测物体的检测；
图像处理步骤，对检测过的图像进行处理加工，获取计算需要的像素坐标信息；
体积计算步骤，依据图像处理步骤获得的像素坐标信息获取对应的深度值，以测得物体大小；
其中，所述图像处理步骤包括如下子步骤：
A1、对AI检测过的区域进行范围的扩大，通过AI模型确定相机拍摄画面中的待检物体的大致范围，并用矩形边框来表征上述范围；
A2、以矩形框的中心为处理点，扩大标定区域长方形的边长为原来的两倍，并进行图像的截取；
A3、对截取的RGB图像进行灰度化，并采用双边滤波算法对灰度图进行滤波处理；
A4、计算图片的梯度幅值并进行非极大值抑制；
A5、进行双阈值算法检测，提取出边缘信息最多的物体，并将其边缘信息的像素点坐标作为一个数列集合；
所述体积计算步骤进行时，从图像处理步骤得到的数列集合中找到在像素坐标系中最大和最小的坐标值，并以此为点构造矩形边框，同时找出最大坐标点和最小坐标点之间的中点。
CN202010903116.1A 2020-09-01 2020-09-01 一种结合目标检测和深度计算的物体体积视觉测量方法 Active CN112070736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010903116.1A CN112070736B (zh) 2020-09-01 2020-09-01 一种结合目标检测和深度计算的物体体积视觉测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010903116.1A CN112070736B (zh) 2020-09-01 2020-09-01 一种结合目标检测和深度计算的物体体积视觉测量方法

Publications (2)

Publication Number Publication Date
CN112070736A CN112070736A (zh) 2020-12-11
CN112070736B true CN112070736B (zh) 2023-02-24

Family

ID=73665471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010903116.1A Active CN112070736B (zh) 2020-09-01 2020-09-01 一种结合目标检测和深度计算的物体体积视觉测量方法

Country Status (1)

Country Link
CN (1) CN112070736B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111743A (zh) * 2021-03-29 2021-07-13 北京工业大学 人员距离探测方法及装置
CN113766058A (zh) * 2021-08-30 2021-12-07 深圳市乐福衡器有限公司 一种获取营养信息的方法、系统、拍摄终端及存储介质
CN116681778B (zh) * 2023-06-06 2024-01-09 固安信通信号技术股份有限公司 一种基于单目相机的距离测量方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067431A (zh) * 2017-01-16 2017-08-18 河海大学常州校区 一种基于Kinect的物体体积计算方法
CN107392958A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置
CN107844750A (zh) * 2017-10-19 2018-03-27 华中科技大学 一种水面全景图像目标检测识别方法
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109655019A (zh) * 2018-10-29 2019-04-19 北方工业大学 一种基于深度学习和三维重建的货物体积测量方法
CN110017773A (zh) * 2019-05-09 2019-07-16 福建（泉州）哈工大工程技术研究院 一种基于机器视觉的包裹体积测量方法
CN110174056A (zh) * 2019-06-18 2019-08-27 上海商米科技集团股份有限公司 一种物体体积测量方法、装置及移动终端
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111191546A (zh) * 2019-12-20 2020-05-22 广西柳州联耕科技有限公司 基于机器视觉识别的产品智能装配方法
CN111445386A (zh) * 2020-04-15 2020-07-24 深源恒际科技有限公司 基于文本内容四点检测的图像校正方法
CN111476160A (zh) * 2020-04-07 2020-07-31 杭州视在科技有限公司 损失函数优化方法、模型训练方法、目标检测方法及介质
CN111581679A (zh) * 2020-05-06 2020-08-25 台州智必安科技有限责任公司 一种基于深度网络的防范屏幕拍照方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392958A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置
CN107067431A (zh) * 2017-01-16 2017-08-18 河海大学常州校区 一种基于Kinect的物体体积计算方法
CN107844750A (zh) * 2017-10-19 2018-03-27 华中科技大学 一种水面全景图像目标检测识别方法
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109655019A (zh) * 2018-10-29 2019-04-19 北方工业大学 一种基于深度学习和三维重建的货物体积测量方法
CN110017773A (zh) * 2019-05-09 2019-07-16 福建（泉州）哈工大工程技术研究院 一种基于机器视觉的包裹体积测量方法
CN110174056A (zh) * 2019-06-18 2019-08-27 上海商米科技集团股份有限公司 一种物体体积测量方法、装置及移动终端
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111191546A (zh) * 2019-12-20 2020-05-22 广西柳州联耕科技有限公司 基于机器视觉识别的产品智能装配方法
CN111476160A (zh) * 2020-04-07 2020-07-31 杭州视在科技有限公司 损失函数优化方法、模型训练方法、目标检测方法及介质
CN111445386A (zh) * 2020-04-15 2020-07-24 深源恒际科技有限公司 基于文本内容四点检测的图像校正方法
CN111581679A (zh) * 2020-05-06 2020-08-25 台州智必安科技有限责任公司 一种基于深度网络的防范屏幕拍照方法

Also Published As

Publication number Publication date
CN112070736A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112070736B (zh) 一种结合目标检测和深度计算的物体体积视觉测量方法
CN109410207B (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN106023257B (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN109448045B (zh) 基于slam的平面多边形物体测量方法及机器可读存储介质
Rodehorst et al. Comparison and evaluation of feature point detectors
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
CN111507390A (zh) 一种基于轮廓特征的仓储箱体识别与定位方法
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
CN104966285B (zh) 一种显著性区域的检测方法
CN108171715B (zh) 一种图像分割方法及装置
CN105335725A (zh) 一种基于特征融合的步态识别身份认证方法
CN110189347B (zh) 一种测量物体体积的方法及终端
CN105894521A (zh) 基于高斯拟合的亚像素边缘检测方法
CN107085848A (zh) 一种rgb‑d图显著性的检测方法
CN113822942A (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
CN104200434B (zh) 一种基于噪声方差估计的非局部均值图像去噪方法
Apdilah et al. A study of Frei-Chen approach for edge detection
CN111739003A (zh) 一种用于外观检测的机器视觉算法
Wu et al. A self-adaptive correction method for perspective distortions of image
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN112365516B (zh) 一种增强现实中虚实遮挡处理方法
CN114638891A (zh) 基于图像和点云融合的目标检测定位方法与系统
Lakemond et al. Affine adaptation of local image features using the hessian matrix
KR20180014149A (ko) 깊이 정보 생성 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant