CN109584281B - 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 - Google Patents
一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 Download PDFInfo
- Publication number
- CN109584281B CN109584281B CN201811282397.2A CN201811282397A CN109584281B CN 109584281 B CN109584281 B CN 109584281B CN 201811282397 A CN201811282397 A CN 201811282397A CN 109584281 B CN109584281 B CN 109584281B
- Authority
- CN
- China
- Prior art keywords
- depth
- counting
- target
- image
- walnut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 239000002245 particle Substances 0.000 title claims abstract description 64
- 235000020234 walnut Nutrition 0.000 claims abstract description 84
- 241000758791 Juglandaceae Species 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 241000758789 Juglans Species 0.000 claims description 62
- 235000009496 Juglans regia Nutrition 0.000 claims description 62
- 239000010410 layer Substances 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 239000002356 single layer Substances 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000007796 conventional method Methods 0.000 claims description 2
- 239000013618 particulate matter Substances 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本文提出一种基于彩色图像和深度图像的重叠颗粒物分层计数方法。由Kinect相机获取彩色和深度图像并进行配准，采用改进K‑means算法提取彩色图像目标区域，由其轮廓特征将其分为单目标颗粒，粘连类型和重叠类型，利用插值算法对可提取轮廓进行重建以获取对应区域目标数量；对于上述方法无法提取的重叠目标轮廓，可估算单个颗粒物平均面积，根据目标区域总面积除以平均面积得到相应数量；对于无法利用彩色图像提取到的上层目标，对其深度图像进行阈值分割从而完成上层目标的提取和分类计数。本文采用大小均匀、类圆形的纸皮核桃为研究对象，对任意摆放的核桃进行计数，平均正确率达99.38％，表明本文提出的方法是有效的，同时也为重叠颗粒物的计数提供新的思路。
Description
技术领域
本发明属于数字图像处理技术领域，涉及深度图像的采集及处理，具体涉及一种基于彩色图像和深度图像的重叠颗粒物的分类识别及分层计数。
背景技术
近年来，利用图像处理技术的自动计数方法被应用于许多领域，特别是在农业自动化领域，基于机器视觉的计数方法有效的克服了人工计数的诸多缺点。在颗粒物计数过程中，会出现多层重叠遮挡的情况，严重影响了计数的准确率，因此重叠颗粒物的计数已成为自动计数系统中的难题，也引起了许多学者的关注。针对于目前重叠颗粒物的自动计数方法中计数准确率不高且无法在颗粒物完全重叠的情况下计数的研究现状，本文提出了一种重叠颗粒物分层计数方法。根据彩色图像边缘轮廓清晰但无法提取重叠区域上层颗粒物完整轮廓，而深度图像可以根据深度值的不同提取到重叠区域上层颗粒物目标区域，故结合彩色图像和深度图像的各自优点设计出了基于彩色图像和深度图像的重叠颗粒物分层计数方法。实验表明，基于彩色图像和深度图像的颗粒物计数方法是有效可行的，同时为重叠颗粒物的计数提供了新的思路和方法。
发明内容
本发明的目的设计出一种基于彩色图像和深度图像的重叠颗粒物分层计数方法。利用彩色图像和深度图像的各自优点将较为复杂的重叠颗粒物的计数转化为单层颗粒物的计数，降低了重叠颗粒物计数的复杂性，完成了颗粒物摆放类型的分类识别及计数。
本发明所采用的技术方案是：一种基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于包括以下步骤：
(1)采集同一场景下核桃目标的彩色图像和深度图像；
(2)目标图像预处理操作；
(3)彩色图像和深度图像的配准；
(4)彩色图像的处理包括基于改进的K-means聚类算法获取核桃目标区域，颗粒物的摆放类型的分类，利用圆形度和基于格雷厄姆凸壳算法的颗粒物摆放类型的识别及通过插值算法对边缘颗粒物轮廓进行重建和平均面积法完成底层颗粒物的计数；
(5)深度图像的处理即对其进行阈值分割完成上层目标的提取和分类计数。
(6)数目汇总完成核桃的计数。
步骤(2)所述内容，具体描述如下：由于深度摄像头分辨率较低，且在图像采集过程中极易噪声干扰，为了提高图像清晰度，同时也能够提取到有效的目标信息，故对深度图像进行灰度变换增强和图像去噪。针对于深度图像的去噪，本文提出了一种基于多帧改进的中值滤波方法，不仅能够去除深度图像中的孤立噪声点而且对深度值为0的黑洞区域也有很好的修复效果。具体步骤：1.在拍摄图片时连续保存多帧图像2.将第一帧图像视为目标图像，并以孤立噪声点和黑洞位置为中心点确定M*N的邻域；3.求取多帧图像的相同位置的深度值D的平均值Dave，当深度值D＝0时表明该点为黑洞点，视该点为无效点；4.对邻域内的Dave取中值Dm，并利用Dm填充黑洞点；5.重复执行步骤(2)(3)(4)直至目标图像中的全部噪声点及黑洞均被填充。本文提出的基于多帧改进的中值滤波方法，在利用多张相同场景的深度图像的目标信息来填充黑洞点过程中，排除了深度值D＝0的黑洞点，保证了黑洞区域填充的准确性。
步骤(3)所述内容，具体描述如下：针对Kinect的结构可知深度图像精度较低，且深度图像与彩色图像之间存在位置误差会，对后续的计数处理造成影响，故需要对摄像头进行标定和图像的配准，以提高深度图像边缘精度和消除位置偏差从而提高重叠颗粒物计数的正确率。本文提出的图像标定和配准的具体方法如下：利用经典的棋盘标定法和Matlab标定包计算出摄像头的内参从而完成RGB摄像头和红外摄像头的标定。根据摄像头标定结果，可按照如下方法对深度图像和彩色图像进行配准：设p_d(xd，yd，zd)为深度摄像头坐标系下某点的空间坐标，其中xd，yd单位为像素，单位为毫米，将该点转化为真实世界坐标系中对应坐标p_w(xd1，yd1，zd1)，转化关系如下：
xd1＝(xd-cxd)·zd1/fxd (3)
yd1＝(yd-cyd)·zd1/fyd (4)其中c0，c1为深度摄像头内部参数，c为代价函数，δc 2为彩色相机测量误差的方差，δd 2为深度相机测量误差的方差，zd，分别为原始的视差值和视差的重投影值，pc，/>分别为所取点和重投影位置的距离，fxd，fyd为深度摄像头的焦距，cxd，cyd为深度摄像头偏移量；通过式(5)可以消除深度图像与彩色图像之间旋转和偏移的误差值，将p_w(xd1，yd1，zd1)转换到RGB摄像头坐标即p_r(xc，yc，zc)，最后利用(6)(7)将p_r转化到彩色图像上对应的平面点p_l(x，y)，以此来完成图像的配准。
p_r＝Rp_w+T (5)
x＝xc·fxc/zc+xc (6)
y＝yc·fyc/zc+yc (7)
其中R为旋转矩阵，Rp_w为消除深度图像中的点的旋转量，T为偏移矩阵，fxc，fyc为彩色摄像头的焦距。
步骤(4)所述内容，彩色图像的处理中提取目标区域的部分，具体描述如下：本文提出基于改进的K-means聚类算法能够提高目标区域的分割精度，使得核桃轮廓提取更为准确，从而提高目标计数的正确率。具体步骤如下：
①随机选取N值，作为初始聚类中心μ(k)，这里的N是聚类数，k是聚簇索引，k＝1，...，N.
②运用公式(1)(2)分别计算所有数据点的初始协方差矩阵和到聚类中心的距离：
D(x(p)，μ(k))＝((x(p)-μ(k))T∑-1(x(p)-μ(k)))1/2 (2)其中，∑ij是数据点(i，j)的协方差矩阵，和/>是第p个数据点的第i个和第j个分量，μi是全局平均值的第i个分量，μ(k)是k次簇的聚类中心；
③计算每个聚类中心的协方差矩阵∑(k)，统计簇中的点到其他点的协方差距离之和，将最小值作为新的聚类中心μ(k)。
④重复执行步骤③，直至μ(k)不再发生变化。
⑤对获取的核桃目标图像进行核桃轮廓提取。
根据核桃的形状特征和轮廓特点包括凸点和像素零值等，对其进行摆放类型的分类及识别，首先将目标颗粒物摆放分为单目标颗粒，粘连类型(A和B)和重叠类型C三种类型。其次依据目标区域的像素零值将重叠类型C分为底层无完全遮挡的重叠类型C1和底层完全遮挡的重叠类型C2。最后设定临界阈值T，对配准后的深度图像进行阈值分割并将提取出的目标区域对应至彩色图像以确定重叠类型C，根据目标区域有无像素零值来区分串粘连类型A和并粘连类型B。
接下来对分类后的颗粒物分别计数，以往连通区域标记的方法只能统计目标个数而无法区分是否为单个颗粒物，本文首次提出利用圆形度来区分和统计单个颗粒物数量。本文采用双线性插值算法对串粘连类型A，并粘连类型B和重叠类型C进行颗粒物轮廓重建完成计数，在插值效果和算法运算时间上均优于以往的Hough圆拟合算法。具体步骤如下：
①利用格雷厄姆凸壳算法对目标颗粒区域进行外部轮廓凹陷处凸点检测。规定目标的外部轮廓与相邻顶点间连线围成的区域即为外部轮廓凹陷处，并且以两顶点之间连线为一条边在外部凹陷处轮廓上寻找一点使其内接三角形面积最大，则该点即为凹区域上凸点。
②将上述核桃轮廓凸点处像素值赋零值进行断开得到分离后的轮廓。
③由于分离后的核桃轮廓并不是完整的，考虑到处理速度和插值效果，对其进行双线性插值运算，完成核桃轮廓重建，再对其进行填充完成重叠核桃目标的重建，由此可直接得到串粘连类型A，并粘连类型B和底层无完全遮挡的重叠类型C1核桃目标数量。
④对于底层有被完全遮挡的情况即提取不到轮廓的核桃无法进行重建，故本文提出利用重建的边缘核桃估算单个核桃平均像素点数Ai，根据重叠核桃区域总像素点数Am且规定当Am＞0.5Ai时，核桃数量加1，从而得出底层有完全遮挡的重叠类型C1核桃目标数量。
步骤(5)所述内容，具体描述如下：由于深度图像只含有深度信息，将经过预处理和配准后的深度图像进行阀值分割可以提取出重叠区域的上层核桃目标，将重叠区域目标计数转化为单层颗粒物的计数。对提取到的核桃目标区域进行轮廓提取及上述介绍的分类计数，即可得到上层核桃目标的数量。
8.步骤(6)所述内容，具体描述如下：将由彩色图像处理后得到的底层核桃目标的数量与由深度图像处理后得到的上层核桃目标的数量进行汇总，从而完成整个目标区域核桃的计数。
本发明的有益效果是：
(1)本文首次提出结合彩色图像边缘清晰和深度图像能够提取不同的深度信息的各自优点来解决重叠颗粒物计数问题，相较于以往单纯的基于彩色图像或深度图像的颗粒物计数方法，本文提出的方法不仅解决了彩色图像不能提取完整的上层目标区域的问题，而且降低了由深度图像精度较低引起的重叠区域目标数量的误差率。
(2)本文提出一种基于多帧改进的中值滤波方法来修复深度图像，不仅能够去除深度图像中的孤立噪声点而且对深度值为0的黑洞区域也有很好的修复效果。
(3)本文采用的彩色图像和深度图像配准方法不仅完成了重叠目标区域的识别，消除两幅图片间的位置偏差，而且配准后的深度图像因其图像边缘精度的提高，从而提高了颗粒物计数的正确率。
(4)本文提出的改进的k-means聚类算法与传统的k-means的优点在于，能够使得分离的目标区域更加准确，提高了目标区域的分割精度从而获取到更加精确的目标边缘轮廓，适用于本文Kinect相机采集的像素精度偏低的图像。
(5)本文采用的双线性插值算法对提取到的部分目标的边缘轮廓进行重建，在边缘重建的效果和运算时间上都优于传统的Hough圆拟合算法。
(6)本文提出的计数方法能对完全重叠被遮挡的类圆颗粒物进行较为准确的计数；
附图说明
图1是本发明中图像配准的过程流程图；
图2是本发明彩色图像的目标计数算法流程图；
图3是本发明深度图像的目标计数过程流程图；
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明，但本发明的保护范围并不限于此。
(1)采集目标图像。
具体方法如下：利用微软的Kinect相机，可同时获得同一场景下彩色图像和深度图像，深度图像的像素强度对应于距离相机的远近，通过调整恰当的拍摄距离，获取效果最佳的目标图像。
(2)图像预处理操作。
具体方法如下：为了完成原始深度图像的增强，对其进行灰度变换增强并提出一种基于多帧改进的中值滤波方法来完成深度图像的去噪，算法步骤：1.在拍摄图片时连续保存多帧图像2.将第一帧图像视为目标图像，并以孤立噪声点和黑洞位置为中心点确定M*N的邻域；3.求取多帧图像的相同位置的深度值D的平均值Dave，当深度值D＝0时表明该点为黑洞点，视该点为无效点；4.对邻域内的Dave取中值Dm，并利用Dm填充黑洞点；5.重复执行步骤(2)(3)(4)直至目标图像中的全部噪声点及黑洞均被填充。本文提出的基于多帧改进的中值滤波方法，在利用多张相同场景的深度图像的目标信息来填充黑洞点过程中，排除了深度值D＝0的黑洞点，保证了黑洞区域填充的准确性。便于后续步骤聚类算法的实施。
(3)彩色图像和深度图像的配准。
具体方法如下：过程流程图如图1所示，由Kinect的结构和参数，引起的彩色图像和深度图像的位置误差及深度图像边缘精度过低，都会对后续的计数处理造成影响，故需要对摄像头进行标定从而完成图像的配准以消除位置误差和提高深度图像边缘精度。本文提出的方法是利用经典的棋盘标定法和Matlab标定包计算出摄像头的内参从而完成RGB摄像头和红外摄像头的标定。根据摄像头标定结果，可按照如下方法对深度图像和彩色图像进行配准：设p_d(xd，yd，zd)为深度摄像头坐标系下某点的空间坐标，其中xd，yd单位为像素，单位为毫米，将该点转化为真实世界坐标系中对应坐标p_w(xd1，yd1，zd1)，转化关系如下：
xd1＝(xd-cxd)·zd1/fxd (3)
yd1＝(yd-cyd)·zd1/fyd (4)
其中c0，c1为深度摄像头内部参数，c为代价函数，δc 2为彩色相机测量误差的方差，δd 2为深度相机测量误差的方差，zd，分别为原始的视差值和视差的重投影值，pc，/>分别为所取点和重投影位置的距离，fxd，fyd为深度摄像头的焦距，cxd，cyd为深度摄像头偏移量；通过式(5)可以消除深度图像与彩色图像之间旋转和偏移的误差值，将p_w(xd1，yd1，zd1)转换到RGB摄像头坐标即p_r(xc，yc，zc)，最后利用(6)(7)将p_r转化到彩色图像上对应的平面点p_l(x，y)，以此来完成图像的配准。
p_r＝Rp_w+T (5)
x＝xc·fxc/zc+xc (6)
y＝yc·fyc/zc+yc (7)
其中R为旋转矩阵，Rp_w为消除深度图像中的点的旋转量，T为偏移矩阵，fxc，fyc为彩色摄像头的焦距。
(4)彩色图像处理及目标计数方法。
具体方法如下：算法流程图如图2，首先利用改进的K-means聚类算法先分离彩色图像的核桃目标区域和背景区域，然后用形态学算法对核桃目标的边缘轮廓进行提取，这样能够提高目标区域的分割精度，使得核桃目标轮廓相对完整的提取出来，提取核桃轮廓，具体步骤如下：
①随机选取N值，作为初始聚类中心μ(k)，这里的N是聚类数，k是聚簇索引，k＝1，...，N.
②运用公式(1)(2)分别计算所有数据点的初始协方差矩阵和到聚类中心的距离：
D(x(p)，μ(k))＝((x(p)-μ(k))T∑-1(x(p)-μ(k)))1/2 (2)
其中，∑ij是数据点(i，j)的协方差矩阵，和/>是第p个数据点的第i个和第j个分量，μi是全局平均值的第i个分量，μ(k)是k次簇的聚类中心；
③计算每个聚类中心的协方差矩阵∑(k)，统计簇中的点到其他点的协方差距离之和，将最小值作为新的聚类中心μ(k)。
④重复执行步骤③，直至μ(k)不再发生变化。
⑤对获取的核桃目标图像进行核桃轮廓提取。
其次是核桃的分类，根据核桃的形状特征和轮廓特点包括凸点和圆形度等，对其摆放类型进行分类及识别具体描述如下：将目标颗粒物摆放分为单目标颗粒，粘连类型(A和B)和重叠类型C三种类型。依据目标区域的像素零值将重叠类型C分为底层无完全遮挡的重叠类型C1和底层完全遮挡的重叠类型C2。设定临界阈值T，对配准后的深度图像进行阈值分割并将提取出的目标区域对应至彩色图像以确定重叠类型C，根据目标区域有无像素零值来区分串粘连类型A和并粘连类型B。
最后是对分类后的颗粒物分别计数，具体描述如下：首先利用圆形度来区分和统计单个颗粒物数量。本文采用双线性插值算法对串粘连类型A，并粘连类型B和重叠类型C进行颗粒物轮廓重建完成计数。具体步骤如下：
①利用格雷厄姆凸壳算法对目标颗粒区域进行外部轮廓凹陷处凸点检测。规定目标的外部轮廓与相邻顶点间连线围成的区域即为外部轮廓凹陷处，并且以两顶点之间连线为一条边在外部凹陷处轮廓上寻找一点使其内接三角形面积最大，则该点即为凹区域上凸点。
②将上述核桃轮廓凸点处像素值赋零值进行断开得到分离后的轮廓。
③由于分离后的核桃轮廓并不是完整的，考虑到处理速度和插值效果，对其进行双线性插值运算，完成核桃轮廓重建，再对其进行填充完成重叠核桃目标的重建，由此可直接得到串粘连类型A，并粘连类型B和底层无完全遮挡的重叠类型C1核桃目标数量。
④对于底层有被完全遮挡的情况即提取不到轮廓的核桃无法进行重建，故本文提出利用重建的边缘核桃估算单个核桃平均像素点数Ai，根据重叠核桃区域总像素点数Am且规定当Am＞0.5Ai时，核桃数量加1，从而得出底层有完全遮挡的重叠类型C1核桃目标数量。
⑤将各个类型的核桃数量进行汇总，得到目标区域底部单层核桃的全部数量。
(5)深度图像处理及目标计数方法。
具体方法如下：算法流程图如图3，由于深度图像只含有深度信息，将配准后的深度图像进行阀值分割可以提取出重叠区域的上层核桃目标，将重叠区域目标计数转化为单层颗粒物的计数。对提取到的核桃目标区域进行轮廓提取及上述介绍的分类计数，即可得到上层核桃目标的数量。
(6)确定最终核桃的数目。
具体方法如下：将由彩色图像处理后得到的底层核桃目标的数量与由深度图像处理后得到的上层核桃目标的数量进行汇总，从而完成整个目标区域核桃的计数。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (9)
1.一种基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于,包括以下步骤：1)采集同一场景下颗粒物目标的彩色图像和深度图像；2)目标图像预处理操作；3)彩色图像和深度图像的配准；4)彩色图像的处理：包括基于改进的K-means聚类算法获取颗粒物目标区域，颗粒物的摆放类型的分类和识别，利用圆形度和基于格雷厄姆凸壳算法的颗粒物摆放类型的识别，以及通过插值算法对边缘颗粒物轮廓进行重建和平均面积法完成底层颗粒物的计数；5)深度图像的处理即对其进行阈值分割完成上层目标的提取和分类计数；6)数目汇总完成颗粒物的计数；
步骤4)中，彩色图像的处理中提取目标区域的部分，通过利用基于改进的K-means聚类算法获取颗粒物目标区域的具体步骤如下：
5.1，随机选取N值，作为初始聚类中心μ(k)，这里的N是聚类数，k是聚簇索引，k＝1,...,N；
5.2，运用下面两个公式分别计算所有数据点的初始协方差矩阵和到聚类中心的距离：
D(x(p),μ(k))＝((x(p)-μ(k))T∑-1(x(p)-μ(k)))1/2
其中，∑ij是数据点(i,j)的协方差矩阵，和/>是第p个数据点的第i个和第j个分量，μi是全局平均值的第i个分量,μ(k)是k次簇的聚类中心；
5.3，计算每个聚类中心的协方差矩阵∑(k)，统计簇中的点到其他点的协方差距离之和，将最小值作为新的聚类中心μ(k)；
5.4，重复执行步骤5.3，直至μ(k)不再发生变化；
5.5，对获取的颗粒物目标图像进行颗粒物轮廓提取。
2.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于,采集同一场景下核桃目标的彩色图像和深度图像具体方法是：利用Kinect相机，同时获得同一场景下彩色图像和深度图像，深度图像的像素强度对应于距离相机的远近，通过调整拍摄距离获取效果最佳的目标图像。
3.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于,目标图像预处理操作的具体过程为：将原始深度图像进行灰度变换增强，然后提出一种基于多帧改进的中值滤波方法来修复深度图像，算法步骤：
3.1，在拍摄图片时连续保存多帧图像；3.2，将第一帧图像视为目标图像，并以孤立噪声点和黑洞位置为中心点确定M*N的邻域；3.3，求取多帧图像的相同位置的深度值D的平均值Dave，当深度值D＝0时表明该点为黑洞点，视该点为无效点；3.4，对邻域内的Dave取中值Dm，并利用Dm填充黑洞点；3.5，重复执行步骤3.2-3.4直至目标图像中的全部噪声点及黑洞均被填充。
4.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于,彩色图像和深度图像的配准操作的具体过程为：针对Kinect的结构造成的彩色图像与深度图像之间的位置误差，会对后续的计数处理造成影响，利用经典的棋盘标定法和Matlab标定包计算出摄像头的内参从而完成RGB摄像头和红外摄像头的标定，根据摄像头标定结果，按照如下方法对深度图像和彩色图像进行配准：设p_d(xd,yd,zd)为深度摄像头坐标系下某点的空间坐标,其中xd，yd单位为像素，将该点转化为真实世界坐标系中对应坐标p_w(xd1,yd1,zd1)，转化关系如下：
xd1＝(xd-cxd)·zd1/fxd (3)
yd1＝(yd-cyd)·zd1/fyd (4)
其中c0，c1为深度摄像头内部参数，c为代价函数，δc 2为彩色相机测量误差的方差，δd 2为深度相机测量误差的方差，zd，分别为原始的视差值和视差的重投影值，pc，/>分别为所取点和重投影位置的距离,fxd，fyd为深度摄像头的焦距，cxd，cyd为深度摄像头偏移量；通过式(5)消除深度图像与彩色图像之间的的偏移和旋转的误差值，将p_w(xd1,yd1,zd1)转换到RGB摄像头坐标即p_r(xc,yc,zc),最后利用式(6)、(7)将p_r转化到彩色图像上对应的平面点p_l(x,y),完成图像的配准：
p_r＝Rp_w+T (5)
x＝xc.fxc/zc+xc (6)
y＝yc.fyc/zc+yc (7)
其中R为旋转矩阵，T为偏移矩阵，fxc、fyc为彩色摄像头的焦距。
5.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于,步骤4)中，颗粒物的摆放类型的分类和识别部分，根据颗粒物的形状特征和轮廓特点包括凸点和像素零值，对其进行摆放类型的分类识别，具体描述如下：将目标颗粒物摆放分为单目标颗粒，串粘连类型A，并粘连类型B和重叠类型C几个类型；据目标区域的像素零值将重叠类型C分为底层无完全遮挡的重叠类型C1和底层完全遮挡的重叠类型C2，设定临界阈值T，对配准后的深度图像进行阈值分割并将提取出的目标区域对应至彩色图像以确定重叠类型C，根据目标区域有无像素零值来区分串粘连类型A和并粘连类型B。
6.根据权利要求5所述基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于，所述颗粒物为核桃，考虑到核桃形状为类圆形，且以往常用的连通区域标记的方法只能统计目标个数而无法区分是否为单个颗粒物，利用圆形度来识别和统计单个颗粒物数量，采用双线性轮廓插值算法完成对部分遮挡的串粘连类型A，并粘连类型B和重叠类型C颗粒物轮廓进行重建。
7.根据权利要求6所述基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于,利用圆形度和基于格雷厄姆凸壳算法的颗粒物摆放类型的识别，以及通过插值算法对边缘颗粒物轮廓进行重建和平均面积法完成底层颗粒物的计数的具体描述如下：
8.1，利用格雷厄姆凸壳算法对目标颗粒区域进行外部轮廓凹陷处凸点检测，规定目标的外部轮廓与相邻顶点间连线围成的区域即为外部轮廓凹陷处,并且以两顶点之间连线为一条边在外部凹陷处轮廓上寻找一点使其内接三角形面积最大，则该点即为凹区域上凸点；
8.2，将上述核桃轮廓凸点处像素值赋零值进行断开得到分离后的轮廓；
8.3，由于分离后的核桃轮廓并不是完整的，考虑到处理速度和插值效果，对其进行双线性插值运算，完成核桃轮廓重建，再对其进行填充完成重叠核桃目标的重建，由此可直接得到串粘连类型A，并粘连类型B和底层无完全遮挡的重叠类型C1核桃目标数量；
8.4，对于底层有被完全遮挡的情况即提取不到轮廓的核桃无法进行重建，利用重建的边缘核桃估算单个核桃平均像素点数Ai，根据重叠核桃区域总像素点数Am且规定当Am>0.5Ai时,核桃数量加1，从而得出底层有完全遮挡的重叠类型C1核桃目标数量；
8.5，将各个类型的核桃数量进行汇总，得到目标区域底部单层核桃的全部数量。
8.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于,深度图像处理操作，其特征在于：步骤5)具体过程如下：由于深度图像只含有深度信息，将配准后的深度图像进行阈值分割可以提取出重叠区域的上层核桃目标，将重叠区域目标计数转化为单层颗粒物的计数，对提取到的核桃目标区域进行轮廓提取及上述介绍的分类计数，得到上层核桃目标的数量。
9.根据权利要求1所述基于彩色图像和深度图像的重叠颗粒物分层计数方法，其特征在于,数目汇总完成核桃的计数,其特征在于：步骤6)具体过程如下：将由彩色图像处理后得到的底部单层核桃目标的数量与由深度图像处理后得到的上层核桃目标的数量进行汇总，从而完成整个目标区域核桃的计数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811282397.2A CN109584281B (zh) | 2018-10-30 | 2018-10-30 | 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811282397.2A CN109584281B (zh) | 2018-10-30 | 2018-10-30 | 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109584281A CN109584281A (zh) | 2019-04-05 |
| CN109584281B true CN109584281B (zh) | 2023-07-21 |
Family
ID=65921390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811282397.2A Active CN109584281B (zh) | 2018-10-30 | 2018-10-30 | 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109584281B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110455825A (zh) * | 2019-08-27 | 2019-11-15 | 无锡领先针测电子有限公司 | 一种对玻璃上的微粒进行统计的方法 |
| CN111178190B (zh) * | 2019-12-17 | 2023-10-27 | 中国科学院深圳先进技术研究院 | 基于深度图像的目标检测方法、装置及存储介质 |
| CN111178354B (zh) * | 2019-12-23 | 2024-02-27 | 中节能铁汉生态环境股份有限公司 | 一种红树林害虫监测方法以及系统 |
| CN111667463B (zh) * | 2020-05-15 | 2023-12-15 | 上海非夕机器人科技有限公司 | 线缆检测方法、机器人和存储装置 |
| CN112070700B (zh) * | 2020-09-07 | 2024-03-29 | 深圳市凌云视迅科技有限责任公司 | 一种去除深度图像中突起干扰噪声的方法与装置 |
| CN113936056A (zh) * | 2021-10-20 | 2022-01-14 | 广东皓行科技有限公司 | 图像识别方法、产量估算方法以及电子设备 |
| WO2023080041A1 (ja) * | 2021-11-02 | 2023-05-11 | Ｊｆｅスチール株式会社 | 情報処理方法、情報処理装置、情報処理システム、情報処理プログラム、及び高炉操業方法 |
| CN114838665B (zh) * | 2022-07-04 | 2022-09-02 | 江西农业大学 | 一种基于黑皮鸡枞菌的尺寸原位测量方法 |
| CN116881485A (zh) * | 2023-06-19 | 2023-10-13 | 北京百度网讯科技有限公司 | 生成图像检索索引的方法及装置、电子设备和介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104700404B (zh) * | 2015-03-02 | 2018-03-02 | 中国农业大学 | 一种果实定位识别方法 |
| CN104778701B (zh) * | 2015-04-15 | 2018-08-24 | 浙江大学 | 一种基于rgb-d传感器的局部图像描述方法 |
| CN107917701A (zh) * | 2017-12-28 | 2018-04-17 | 人加智能机器人技术（北京）有限公司 | 基于主动式双目立体视觉的测量方法及rgbd相机系统 |
-
2018
- 2018-10-30 CN CN201811282397.2A patent/CN109584281B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109584281A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584281B (zh) | 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 | |
| CN107578418B (zh) | 一种融合色彩和深度信息的室内场景轮廓检测方法 | |
| CN104778721B (zh) | 一种双目图像中显著性目标的距离测量方法 | |
| CN107463918B (zh) | 基于激光点云与影像数据融合的车道线提取方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| Zhang et al. | Object-oriented shadow detection and removal from urban high-resolution remote sensing images | |
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN108416791A (zh) | 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法 | |
| CN102567979B (zh) | 车载红外夜视系统及其多源图像融合方法 | |
| CN110610505A (zh) | 一种融合深度和色彩信息的图像分割方法 | |
| CN107330875B (zh) | 基于遥感图像正反向异质性的水体周边环境变化检测方法 | |
| CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN106709500B (zh) | 一种图像特征匹配的方法 | |
| CN109559324A (zh) | 一种线阵图像中的目标轮廓检测方法 | |
| CN109635733B (zh) | 基于视觉显著性和队列修正的停车场和车辆目标检测方法 | |
| CN116109637B (zh) | 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 | |
| CN108109144A (zh) | 一种钼靶图像中乳头位置自动检测方法 | |
| CN112085675A (zh) | 深度图像去噪方法、前景分割方法及人体运动监测方法 | |
| CN114820474A (zh) | 一种基于三维信息的列车车轮缺陷检测方法 | |
| CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
| CN110070545B (zh) | 一种城镇纹理特征密度自动提取城镇建成区的方法 | |
| CN110653166B (zh) | 一种水果检测分级方法与装置 | |
| CN108269264B (zh) | 豆籽粒图像的去噪及分形方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |