CN114898100A - 点云数据提取方法、装置、系统、设备及存储介质 - Google Patents
点云数据提取方法、装置、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114898100A CN114898100A CN202210399022.4A CN202210399022A CN114898100A CN 114898100 A CN114898100 A CN 114898100A CN 202210399022 A CN202210399022 A CN 202210399022A CN 114898100 A CN114898100 A CN 114898100A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- point
- target
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000013075 data extraction Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 241001465754 Metazoa Species 0.000 claims abstract description 95
- 238000001914 filtration Methods 0.000 claims abstract description 54
- 238000012216 screening Methods 0.000 claims abstract description 24
- 230000008447 perception Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 15
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 3
- 235000015278 beef Nutrition 0.000 abstract description 114
- 241000283690 Bos taurus Species 0.000 abstract description 96
- 238000009395 breeding Methods 0.000 abstract description 24
- 230000001488 breeding effect Effects 0.000 abstract description 24
- 238000005259 measurement Methods 0.000 abstract description 19
- 230000003187 abdominal effect Effects 0.000 abstract description 6
- 230000003044 adaptive effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000000428 dust Substances 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000037396 body weight Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000021050 feed intake Nutrition 0.000 description 1
- 238000012214 genetic breeding Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种点云数据提取方法、装置、系统、设备及存储介质,包括:基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;提取所述第二点云数据,以获取目标动物的点云数据。本发明可以结合真实养殖环境确定与实际养殖应用环境相适应的滤波判断参数,进而实现更为精准的点云数据提取,本发明采用特征感知区来排除干扰物对点云数据提取的干扰,从而使得提取的数据精度高、还原性强,可适用于各种复杂的养殖环境,为非接触式肉牛体高、体宽、体斜长、胸围、腹围、体重等核心表型参数的测量提供重要的方法支撑。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种点云数据提取方法、装置、系统、设备及存储介质。
背景技术
肉牛的体尺、体重等表型参数的采集是肉牛养殖与育种的重要环节,由于人工采集会引起肉牛严重应激影响生产,导致表型参数无法被大规模有效采集,影响肉牛育种与生产管理水平。目前,通过中手工测量肉牛的体型表型数据(包括体长、体宽、胸围、腹围、体重等)是主流检测方法,手工的体尺测量会引起严重的应激反应,导致动物采食量下降、育肥效率降低、养殖成本上升。
为解决肉牛表型数据人工采集困难的问题,非接触式体尺测量方法已经被提出。通过图像或点云数据可以对肉牛的体重、体尺等数据进行采集。现有技术中,人们通过采集单视角肉牛图像并将其用于体尺参数测量,但相机存在畸变,需要对相机进行复杂的标定运算;或通过双视角的深度相机实现牛体点云的采集,将深度学习模型用于奶牛图像处理,从中提取奶牛的身体部位与特征,但限于方法和方法原理,点云的精度有待提高;或提出基于单视角3D相机通过镜像重建的方式构建了猪只点云采集与体尺测量算法,但该方法对猪的姿态有一定要求;或通过3D相机从侧面和背面获取了母牛的3D数据并将其用于预测其体重,但容易被实际养殖中的杂乱环境干扰,上述研究中仍存在栏杆干扰的噪点滤除困难、在真实养殖环境中适用性差、三维重建精度不高的问题。
而目前,并没有一种用于肉牛体尺计算、体重估测,且精度高、还原度强的点云数据提取的技术方案,具体地,并没有一种点云数据提取方法、装置、系统、设备及存储介质。
发明内容
本发明提供了一种点云数据提取方法,包括:
基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;
基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;
提取所述第二点云数据,以获取目标动物的点云数据;
所述有效像素点判别区间是基于目标判断倍率确定的,所述目标判断倍率是基于目标残缺点云占比以及目标错误点云占比确定的;所述目标残缺点云占比以及所述目标错误点云占比是基于对多组滤波后样本点云筛选而确定的。
根据本发明提供的点云数据提取方法,在基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据之前,还包括:
基于不同的滤波强度处理多组滤波前样本点云,以获取每一组滤波后样本点云;
基于每一组滤波后样本点云,获取与每一组滤波后样本点云相对应的残缺点云占比以及错误点云占比;
筛选每一组残缺点云占比以及错误点云占比的加权平均值,以确定目标残缺点云占比以及目标错误点云占比;
基于目标残缺点云占比以及目标错误点云占比所对应的目标样本点云数量确定目标判断倍率;
所述目标样本点云数量包括滤波前点云总像素点数以及滤波后点云总像素点数;
在滤波处理过程中,所述残缺点云为错误滤除而形成的像素点集合,所述错误点云为错误保留而形成的像素点集合。
根据本发明提供的点云数据提取方法,所述基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据,包括:
遍历所有原始点云数据中的每一像素点,获取每个像素点到邻域内所有点平均距离,以计算所有点的邻域距离的平均值;
确定所有邻域距离的标准差;
基于所述平均值、所述标准差以及判断倍率,确定有效像素点判别区间,所述有效像素点判别区间包括判断阈值上限以及判断阈值下限;
在任一像素点到邻域内所有点平均距离大于所述判断阈值上限或小于所述判断阈值下限的情况下,剔除所述任一像素点,以获取第一点云数据。
根据本发明提供的点云数据提取方法,所述基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据,包括:
确定所有特征感知区,每个所述特征感知区是以所述第一点云数据中的每个像素点为质心所确定的固设区域;
获取每个特征感知区中所有像素点的数量,以利用区分阈值确定所有待剔除像素点;
从所述第一点云中剔除所有待剔除像素点,获取所述第二点云数据;
所述待剔除像素点,是所有像素点的数量小于区分阈值的特征感知区所对应的像素点。
根据本发明提供的点云数据提取方法,所述获取每个特征感知区中所有像素点的数量,以利用区分阈值确定所有待剔除像素点,包括:
获取目标动物的样本点云,以确定所有干扰物像素点以及所有目标动物像素点;
确定所有干扰物感知区,以获取每个干扰物感知区内的干扰物像素点数量,每个所述干扰物感知区是以所述干扰物像素点为质心所确定的固设区域;
确定所有目标动物感知区,以获取每个目标动物感知区内的目标动物像素点数量,每个所述目标动物感知区是以所述目标动物像素点为质心所确定的固设区域;
基于所述干扰物像素点数量以及所述目标动物像素点数量确定区分阈值。
根据本发明提供的点云数据提取方法,在基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据之前,还包括:
采集目标动物的俯视三维点云数据;
采集目标动物的左视三维点云数据;
采集目标动物的右视三维点云数据;
基于所述俯视三维点云数据、左视三维点云数据以及右视三维点云数据确定原始点云数据。
根据本发明提供的点云数据提取方法,在基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据之前,还包括:
基于直通滤波原理和/或八叉树原理处理所述原始点云数据,以获取第一点云数据。
根据本发明提供的点云数据提取方法,在基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据之前,还包括:
基于随机抽样一致性算法处理所述第一点云数据,以获取地平面点云的像素点;
剔除所述地平面点云的像素点,以获取第二点云数据。
本发明还提供一种点云数据提取装置,其采用所述的点云数据提取方法,包括:
获取装置:基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;
处理装置:基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;
提取装置:提取所述第二点云数据,以获取目标动物的点云数据。
本发明还提供了一种点云数据提取系统,其采用所述的点云数据提取方法,包括:
分设在目标动物通道两侧设置的第一支架以及第二支架;
固设于所述第一支架以及第二支架顶部的第三支架;
固设于第一支架侧的第一深度相机,用于获取目标动物的左视三维点云数据;
固设于第二支架侧的第二深度相机,用于获取目标动物的右视三维点云数据;
固设于第三支架侧的第三深度相机,用于获取目标动物的俯视三维点云数据;
固设于第三支架侧的射频识别触发器,用于识别目标动物的射频标签;
固设于第一支架侧和/或第二支架侧的对射光栅传感器,用于识别并触发对目标动物的采集操作;
固设于第一支架侧和/或第二支架侧和/或第三支架侧的工控机,用于在所述射频识别触发器以及对射光栅传感器被触发的情况下,控制第一深度相机、第二深度相机以及第三深度相机对目标动物进行同时采集;
设置在第一支架靠近目标动物通道侧的第一栏杆;
设置在第二支架靠近目标动物通道侧的第二栏杆;
所述第一栏杆以及所述第二栏杆所形成的引导通道迫使目标动物通过所述射频识别触发器以及所述对射光栅传感器。
本发明还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的点云数据提取方法。
本发明还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的点云数据提取方法。
本发明公开了一种点云数据提取方法,基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;提取所述第二点云数据,以获取目标动物的点云数据。本发明可以结合真实养殖环境确定与当前环境相适应的判断倍率,进而实现更为精准的点云数据提取,本发明采用特征感知区来排除干扰物对点云数据提取的干扰,从而使得提取的数据精度高、还原性强,可适用于各种复杂的养殖环境,为非接触式肉牛体高、体宽、体斜长、胸围、腹围、体重等核心表型参数的测量提供重要的方法支撑。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种点云数据提取方法的流程示意图之一;
图2是本发明提供的一种点云数据提取方法的流程示意图之二;
图3是本发明提供的筛选出第一点云数据的流程示意图;
图4是本发明提供的获取第二点云数据的流程示意图;
图5是本发明提供的确定区分阈值的流程示意图;
图6是本发明提供的一种点云数据提取方法的流程示意图之三;
图7是本发明提供的一种点云数据提取方法的流程示意图之四;
图8是本发明提供的判断倍率对滤波结果影响的曲线示意图;
图9是本发明提供的噪点与非噪点识别率统计的曲线示意图;
图10是本发明提供的一种点云数据提取装置的结构示意图;
图11是本发明提供的一种点云数据提取系统的结构示意图;
图12是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
牛肉消费需求量逐年增加,市场潜力巨大。为克服牛肉供给关系与饲料与管理成本提升带来的压力,肉牛规模化养殖是肉牛产业的发展趋势。在规模化肉牛养殖与育种中,肉牛关键表型数据测定是养殖决策的基础性关键内容,是遗传育种中性能测定的重要数据,对遗传力与遗传价值评估有重要意义。
本发明可以为肉牛育种、育肥提供大量标准化三维量化表型数据,本发明可以在肉牛自由通过步行道的瞬间实现肉牛点云的多角度瞬时采集,通过点云预处理与目标提取实现肉牛点云的三维重建与分析。本发明可以在无人干预的情况下,实现多角度肉牛点云数据的自动采集与三维重建,并从中自动提取到目标肉牛的点云。本发明采集的肉牛点云可以还原肉牛的体尺体型状态,并在三维点云中实现肉牛各体尺参数的测量,为非接触式肉牛体高、体宽、体斜长、胸围、腹围、体重等核心表型参数的测量提供重要的方法支撑,对我国肉牛育种、育肥的标准化管理有重要意义。
图1是本发明提供的一种点云数据提取方法的流程示意图之一,本发明所针对的目标动物为肉牛,然而本发明并不仅仅局限于针对肉牛这一种动物进行体尺参数的测量,在此不予赘述。
本发明提供了一种点云数据提取方法,包括:
基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;
基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;
提取所述第二点云数据,以获取目标动物的点云数据;
所述有效像素点判别区间是基于目标判断倍率确定的,所述目标判断倍率是基于目标残缺点云占比以及目标错误点云占比确定的;所述目标残缺点云占比以及所述目标错误点云占比是基于对多组滤波后样本点云筛选而确定的。
在步骤S101中,所述原始点云数据为对目标动物进行多视角采集,并进行多视角融合后的三维点云数据,所述目标判定倍率是根据不同的养殖环境以及不同的采集环境下所定出的一个最优参数,其可以通过样本采集试验获取大量的多轮的样本点云数据,以确定在不同的滤波强度下不同的滤波后数据的清晰程度,进而基于最精确的最清晰的数据所对应的滤波强度确定最优判断倍率,本发明基于统计学离群点滤波实现对原始点云数据中的大部分噪点进行剔除。
所述有效像素点判别区间是基于目标判断倍率以及统计学离群点参数而确定的,故本发明的步骤S101的关键在于确定目标判断倍率,而目标判断倍率的确定则是基于目标残缺点云占比以及目标错误点云占比确定的,而目标残缺点云占比以及目标错误点云占比则是经过多组样本采集后,所确定的最优的、残缺点云占比最少且错误点云占比最少的一组样本,即需要对多组滤波后样本点云筛选而确定。
在步骤S102中,所述特征感知区是为了消除干扰物点云的干扰,本领域技术人员理解,为了确保目标动物能够依次进入到采集点,而不走回头路,需要在采集点上设置通道以及确保目标动物前进方向的栏杆,而在实际拍摄过程中,需要从目标动物的左侧、右侧以及顶部进行点云数据采集,进而融合出三维点云数据,故不可避免的会在通过两侧方向采集时的三维点云数据中留下干扰物的噪点,所述干扰物优选地为干扰栏杆,而本发明旨在消除这样的噪点干扰,进而使得提取数据更为精准,还原度更高。
在一个优选地实施例中,设肉牛体宽方向为X轴,体长方向为Y轴,体高方向为Z轴,而本发明主要的干扰来自养殖场的栏杆,栏杆呈现特定的分布特征,即与所述Y轴近似平行,针对这种情况,选择特定比例的特征感知区用于点云干扰滤除,优选地,所述特征感知区优选地为三维矩形固设区域,所述的特征感知区尺寸为200mm*30mm*400mm。
可选地,在基于特征感知区处理第一点云数据,以获取第二点云数据之前,还包括:
基于直通滤波原理和/或八叉树原理处理所述原始点云数据,以获取第一点云数据。
本申请除了可以采用判断倍率处理原始点云数据,以获取第一点云数据以外,还可以对原始点云数据进行空间滤波处理,由于采集环境复杂、遮挡物较多,采集的原始点云数据中有大量无关数据点,为了使原始点云数据有效、准确,首先对原始点云数据进行空间滤波处理,基于原始点云数据的环境噪点的空间分布特征,首先在X,Y,Z的三个坐标维度定义原始点云数据的直通滤波器,以获取肉牛点云通道内的感兴趣区域,经过直通滤波后,大量无关噪点被有效滤除。但是由于通道栏杆、环境粉尘、地面等因素的影响,直通滤波后的点云数据中仍然存在噪点,影响肉牛点云的质量。
然后,基于步骤S101中的基于目标判断倍率处理原始点云数据,以获取第一点云数据,以进一步地滤除噪点。
最后,将步骤S101中所确定的第一点云数据进行均匀抽稀处理,在这样的实施例中,所述第一点云数据由不同视角深度相机采集的数据合成得到,点云密度较大,导致数据存在冗余,影响后续计算,本发明通过八叉树对第一点云数据进行均匀抽稀,通过第一点云数据,根据八叉树原理建立三维体素栅格,在每个小的三维立方体内,通过体素中所有点的重心点来代表该体素,同时删除其他点,实现点云的均匀抽稀,而经过均匀抽稀处理后的第一点云数据将被用于后续的特征感知区的噪点滤除,在此不予赘述。
本发明采集的点云坐标与真实距离相对应,为了测试肉牛重建点云的数值精度,本发明选取体高值为代表定量,研究点云对真实肉牛的还原程度。在采集的多头肉牛点云中选择了合适的测量点测量肉牛的体高值参数,并通过卷尺量直接测量牛体的体高结果进行对比研究,结果如下表所示,表中点云测量结果为测量的平均值,单位为cm。
上表表明本发明所采集的肉牛点云与真实距离误差为0.6%,具有非常高的还原度与精度,为肉牛非接触式体尺测量提供了可靠的高维度数据。采用本发明时,仅通过对采集的点云进行人工选点、标记,即可实现肉牛各类体尺参数的测量,如体长值、体高值等,可以显著降低人工劳动成本。
本发明公开了一种点云数据提取方法,基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;提取所述第二点云数据,以获取目标动物的点云数据;本发明可以结合真实养殖环境确定与当前环境相适应的判断倍率,进而实现更为精准的点云数据提取,本发明采用特征感知区来排除干扰物对点云数据提取的干扰,从而使得提取的数据精度高、还原性强,可适用于各种复杂的养殖环境,为非接触式肉牛体高、体宽、体斜长、胸围、腹围、体重等核心表型参数的测量提供重要的方法支撑。
图2是本发明提供的一种点云数据提取方法的流程示意图之二,在基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据之前,还包括:
基于不同的滤波强度处理多组滤波前样本点云,以获取每一组滤波后样本点云;
基于每一组滤波后样本点云,获取与每一组滤波后样本点云相对应的残缺点云占比以及错误点云占比;
筛选每一组残缺点云占比以及错误点云占比的加权平均值,以确定目标残缺点云占比以及目标错误点云占比;
基于目标残缺点云占比以及目标错误点云占比所对应的目标样本点云数量确定目标判断倍率;
所述目标样本点云数量包括滤波前点云总像素点数以及滤波后点云总像素点数;
在滤波处理过程中,所述残缺点云为错误滤除而形成的像素点集合,所述错误点云为错误保留而形成的像素点集合。
在步骤S201中,结合图8,图8是本发明提供的判断倍率对滤波结果影响的曲线示意图,在不同的滤波强度下,目标动物的多个样本点云数据也存在很大的不同,所述样本点云数据包括滤波前点云总点数以及滤波后点云总点数,即随着滤波强度的变大,判断倍率也将逐渐变大,进而滤波结果也会变大,而滤波结果即为滤波前点云总点数以及滤波后点云总点数的比值。
即本发明基于不同的滤波强度,对每一组滤波前样本点云进行处理,进而确定不同滤波强度下的滤波后样本点云。
在步骤S202中,不同的滤波后样本点云会因为滤波处理而导致一些缺陷,例如在滤波处理过程中,所述残缺点云为错误滤除而形成的像素点集合,在这样的实施例中,确定滤波后样本点云中残缺点云像素点数量所占整个滤波后样本点云像素点数量的比例,确定滤波后样本点云中错误点云像素点数量所占整个滤波后样本点云像素点数量的比例,进而确定每一组滤波后样本点云相对应的残缺点云占比以及错误点云占比。
在步骤S203以及步骤S204中,本领域技术人员理解,本发明将对不同滤波强度下的点云数据进行取样,经过取样结果表明,当判断倍率值越小时,将有更多的点被滤除,使非肉牛的点云与肉牛点云更好的分离,解决点云数据冗余问题。
如图8所示,随着判断倍率的升高,滤波的强度逐渐增大,当判断倍率为1.2或更高时,肉牛与栏杆点云之间仍存在大量粘连与噪点,不满足后续处理的需求。当判断倍率为0.2或0.4或0.8时,环境干扰被明显滤除且肉牛和栏杆的点云出现了有效分离,但是当判断倍率为0.2或0.4时,样本点云数据出现了较大的残缺,这对样本点云数据的提取构成了明显干扰。
为了进一步量化讨论判断倍率对滤波效果的影响,本发明针对多组不同的样本点云数据,通过实验获取了在不同判断倍率下的滤波效果。滤波效果通过剩余点云比例K进行评价,定义:
式(1)中,Nr为滤波前点云总点数,Na为滤波后点云总点数。随着判断倍率的变化,剩余点云比例K的分布情况如图8所示。判断倍率在降低至1.2时,K值的斜率开始显著下降。为了研究判断倍率对最终提取结果的影响,我们选取判断倍率为0.2,0.4,0.6,0.8,1.0,1.2,重复全部肉牛点云提取过程,结果如下表所示:
判断倍率 | 残缺点云数目 | 残缺点云所占比例 | 错误点云数目 | 错误点云所占比例 |
1.2 | 2 | 1.80% | 9 | 8.10% |
1 | 3 | 2.70% | 7 | 6.31% |
0.8 | 3 | 2.70% | 6 | 5.41% |
0.6 | 7 | 6.31% | 5 | 4.50% |
0.4 | 16 | 14.41% | 2 | 1.80% |
0.2 | 39 | 35.14% | 0 | 0 |
如上表所示,随着判断倍率的降低,错误提取的数量得到了明显下降,但是因为滤波的强度被过分的增强,导致最终处理得到残缺点云的数量出现了大幅上升,所以在本发明所示出的一个优选地实施例中,可以基于每一组残缺点云占比以及错误点云占比的加权平均值来确定目标判断倍率,即加权平均值最小的值所对应的判断倍率作为目标判断倍率,优选地结合上表所示,所述判断倍率的选择仍应保持在0.8左右。
在一个优选地变化例中,当对目标点云提取的完整性要求不高时,如仅关注肉牛身体部位而忽略头部等,可适当降低判断倍率,从而减少肉牛点云提取错误的情况。
图3是本发明提供的筛选出第一点云数据的流程示意图,所述基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据,包括:
遍历所有原始点云数据中的每一像素点,获取每个像素点到邻域内所有点平均距离,以计算所有点的邻域距离的平均值;
确定所有邻域距离的标准差;
基于所述平均值、所述标准差以及判断倍率,确定有效像素点判别区间,所述有效像素点判别区间包括判断阈值上限以及判断阈值下限;
在任一像素点到邻域内所有点平均距离大于所述判断阈值上限或小于所述判断阈值下限的情况下,剔除所述任一像素点,以获取第一点云数据。
在步骤S1011中,为了消除噪点所带来的影响,基于高斯分布特征通过统计学分布方式进行滤波。在一个优选地实施例中,设原始点云数据中目标动物的像素点坐标为:Gi(xi,yi,zi),而其邻域内任意一点的坐标为:Fn(xn,yn,zn),则,所述任一像素点到邻域内所有点平均距离为:
所述邻域优选地为像素点周围最近的50个点,则该点到邻域内所有点的平均距离为:
基于式(3),遍历所有原始点云数据中的每一像素点,获取每个像素点到邻域内所有点平均距离,以计算所有点的邻域距离的平均值:
其中,M为所有邻域距离的平均值,di为任一像素点所对应的邻域的距离。
在步骤S1012中,基于式(5),基于所述平均值确定所有邻域距离的标准差可以通过如下公式确定:
其中,Q为所有邻域距离的标准差,M为所有邻域距离的平均值,di为任一像素点所对应的邻域的距离。
在步骤S1013中,所述有效像素点判别区间包括判断阈值上限以及判断阈值下限,基于如下公式确定判断阈值上限:
H=M+Q·R (6)
基于如下公式确定判断阈值下限:
L=M-Q·R (7)
式(6)以及式(7)中,M为所有邻域距离的平均值,Q为所有邻域距离的标准差,R为判断倍率。
在步骤S1014中,在任一像素点到邻域内所有点平均距离大于所述判断阈值上限或小于所述判断阈值下限的情况下,剔除所述任一像素点,以获取第一点云数据,则当任一像素点的距离均值介于判断阈值上限与判断阈值下限之间时,则所述任一像素点保留,否则被视为离群点进行滤除,在一个优选地实施例中,本发明的式(6)与式(7)中的判断倍率可以设定为0.8。
图4是本发明提供的获取第二点云数据的流程示意图,所述基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据,包括:
确定所有特征感知区,每个所述特征感知区是以所述第一点云数据中的每个像素点为质心所确定的固设区域;
获取每个特征感知区中所有像素点的数量,以利用区分阈值确定所有待剔除像素点;
从所述第一点云中剔除所有待剔除像素点,获取所述第二点云数据;
所述待剔除像素点,是所有像素点的数量小于区分阈值的特征感知区所对应的像素点。
通过目标判断倍率的适应性取值选择,可以将大部分干扰与目标动物的点云分离,使欧式距离聚类可以提取到远离肉牛的干扰点云,将其标记并删除。但步骤S101中的方法不能有效的将紧贴肉牛的干扰物进行滤除,在采集的肉牛点云中,与肉牛身体紧贴导致无法滤除的点云干扰来源主要是部分通道栏杆所导致的。
在步骤S1021中,所述特征感知区的长度方向具有垂直于干扰物的长度方向的属性,由于本发明所处理的图像为三维图像,故所述特征感知区需要排出干扰物的干扰时,需要对所述特征感知区的方位进行设置,且所述像素点具有所述特征感知区的质心的属性,即在判断某一像素点是不是待剔除像素点时,需要结合该像素点为质心所对应的特征感知区中噪点的数量来综合判断,故在本步骤S1021中,除了需要判断与每个像素点相对应的所有特征感知区,还需要确定这些特征感知区的分布方位。
在步骤S1022中,遍历第一点云数据内所有的像素点,当某一像素点的特征感知区内存在的像素点的数量不高于区分阈值时,将其作为噪点滤除,否则保留所述像素点。
进而在步骤S1023中,从所述第一点云中剔除所有待剔除像素点,获取所述第二点云数据,基于上述步骤S1021至步骤S1023,肉牛点云中的噪点干扰被有效滤除,而不含噪点的肉牛点云将不受到滤波的影响,本发明在有效滤除干扰的同时,对肉牛点云本身的影响较小,以将肉牛身体紧贴的部分通道栏杆所导致的噪点滤除,以使得本发明所提取的点云数据精度提高、还原度提高。
图5是本发明提供的确定区分阈值的流程示意图,所述获取每个特征感知区中所有像素点的数量,以利用区分阈值确定所有待剔除像素点,包括:
获取目标动物的样本点云,以确定所有干扰物像素点以及所有目标动物像素点;
确定所有干扰物感知区,以获取每个干扰物感知区内的干扰物像素点数量,每个所述干扰物感知区是以所述干扰物像素点为质心所确定的固设区域;
确定所有目标动物感知区,以获取每个目标动物感知区内的目标动物像素点数量,每个所述目标动物感知区是以所述目标动物像素点为质心所确定的固设区域;
基于所述干扰物像素点数量以及所述目标动物像素点数量确定区分阈值。
在本发明中的包含干扰物像素点的肉牛点云中,依次以每个点为质心构建特征感知区,本领域技术人员理解,干扰物像素点所对应的特征感知区的有效像素点数目少于目标动物像素点所对应的特征感知区的有效像素点数目。
在步骤S10221中,为了确定干扰物像素点以及目标动物像素点之间的关系规律,在一个优选地实施例中,本发明基于包含干扰物像素点的点云数据,提取属于肉牛点云的像素点14688个,提取属于干扰物噪点的像素点1955个。
在步骤S10222中,基于干扰物像素点确定干扰物感知区的第一像素点数量,在这样的实施例中,遍历所有干扰物像素点,并确定每一干扰物像素点所对应的干扰物感知区内的第一像素点数量。
在步骤S10223中,基于目标动物像素点确定目标动物感知区的第二像素点数量,在这样的实施例中,遍历所有目标动物像素点,并确定每一目标动物像素点所对应的目标动物感知区内的第二像素点数量。
在步骤S10224中,图9是本发明提供的噪点与非噪点识别率统计的曲线示意图,噪点即为干扰物,非噪点即为目标动物,其示出了识别准确率变化情况,噪点像素点的噪点感知区的第一像素点数量分布集中于1-20个之间,而非噪点(牛体点)感知区内的第二像素点数量主要分布于30-110个之间,基于此规律,将区分阈值选定为21时,可以将噪点与非噪点进行有效区分,此时非噪点与噪点的分布情况可以结合下表所示:
图6是本发明提供的一种点云数据提取方法的流程示意图之三,在基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据之前,还包括:
采集目标动物的俯视三维点云数据;
采集目标动物的左视三维点云数据;
采集目标动物的右视三维点云数据;
基于所述俯视三维点云数据、左视三维点云数据以及右视三维点云数据确定原始点云数据。
在步骤S301、步骤S302以及步骤S303中,本发明基于设备采集的初始数据为深度图像,格式为RGBD,为了将深度图像转换为三维点云数据,首先读取深度相机内部焦距参数f1与f2,并读取深度图像中的所有像素点P,记为
P(a,b,D) (8)
式(8)中,a为像素点P的横坐标;b为像素点P的纵坐标;D为像素点P的深度值。将三维点云的三个坐标轴命名为X,Y与Z,通过式(9)对深度图像中所有点进行运算:
式(9)中,a为像素点P的横坐标;b为像素点P的纵坐标;D为像素点P的深度值,f1、f2为深度相机内部焦距参数。得到该点在三维点云坐标中的具体坐标,点云坐标与真实距离对应,单位为mm。经过式(9)处理得到的点集合[x,y,z]构成所采集的点云数据,采集设备将从俯视、左视以及右视的三个视角采集点云数据。
在步骤S304中,为将俯视三维点云数据、左视三维点云数据、右视三维点云数据进行点云融合,可以通过对点云进行旋转与平移操作,具体地,以俯视点云的坐标系为标准,将左侧、右侧点云通过矩阵进行坐标变换,点云需要旋转的角度与平移距离由左右两侧的采集设备的位置关系确定,通过旋转矩阵T对左视三维点云数据、右视三维点云数据进行转换后,与俯视三维点云数据合并。
具体地,采集设备从三个视角采集的点云数据具备不同的三维坐标系,为将其进行点云融合,通过对点云进行旋转与平移操作。以俯视点云的坐标系为标准,将左侧、右侧点云通过矩阵进行坐标变换。
通过旋转矩阵对左视三维点云数据、右视三维点云数据进行转换后,与俯视三维点云数据合并,构成原始点云数据。
本发明可以瞬间实现肉牛点云的采集,并对肉牛进行有效的三维重建,对肉牛表型数据的测量有重要意义,本发明有效采集了肉牛的三维数据,从根本上解决了图像中出现畸变的问题,同时简化了距离标定的操作,为肉牛非接触式体尺测量提供了更高维度的数据,还原性更高。
图7是本发明提供的一种点云数据提取方法的流程示意图之四,在基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据之前,还包括:
基于随机抽样一致性算法处理所述第一点云数据,以获取地平面点云的像素点;
剔除所述地平面点云的像素点,以获取第二点云数据。
在步骤S401中,经过滤波与降采样后的点云中,既包括了肉牛的点云,还包括了地面点云、栏杆点云等物体,本实施例旨在排除地平面的干扰,随机抽样一致性算法(Randomsample consensus,RANSAC)可以针对不同的几何形状进行有效的拟合与识别,本算法将其用于地平面点云的识别。检查所有点之间的几何关系后,得到若干符合形态要求的平面,从而获取所有属于地平面的点,从肉牛点云中随机选取三个点作为一个元组G,由元组G确定一个平面P,点云内到平面P的距离小于20的所有点加入平面P,若该平面点云的Z坐标跨度超过600,则重新随机选取三个点作为一个元组G,迭代次数达到N或点数达到2000时,地面点云提取结束,否则重复执行上述步骤。
算法流程迭代次数N的判断方式如式(10)所示:
P=1-(1-Lk)N (11)
式(10)中,L为牛舍地面的点在全部点中的平均占比,其优选地取值为0.25;k为点云中需要被识别为平面的点的个数。
在步骤S402中,基于步骤S401确定了最大平面Pmax作为地面点云,将所述地面点云识别并滤除,以获取第二点云数据。
本领域技术人员理解,在地平面的干扰滤除后,仍存在其他环境点云干扰,例如侧面栏杆等。因干扰部分与点云存在一定密度差异与距离差异,本发明还可以采用基于密度的聚类算法(DBSCAN,Density-Based Spatial Clustering of Applications withNoise)用于噪点滤除,具体地,针对点云内所有点构建三维高维索引树形数据结构(k-dimensional)将点云分为若干个点云簇进行聚类,点云聚类过程中,聚类领域距离系数设置为67,聚类下限点数设置为40。提取完成后,将点数最大的点云簇保留,即为最终目标点云。
而针对阳光与粉尘堆点云数据提取所产生的影响问题,养殖场在实际原始点云采集时,出现了较大的采集缺失(缺失率超过70%)无法进行处理,被标记为无效点云进行舍弃处理,这些无效点云产生的原因为强阳光照射与高浓度粉尘导致的。由于设备硬件条件限制,阳光过强与粉尘浓密的场景中,可以降低肉牛通道的栏杆的直径,而为了保证通道适用性,可以增加栏杆条数,减少肉牛通道内的积土厚度,在尘土密集处定期洒水等措施可以明显减少采集失败问题的出现并提高采集精度。此外,在阳光直射时加装遮光棚也可以保证肉牛点云采集的完整性。
图10是本发明提供的一种点云数据提取装置的结构示意图,本发明的点云数据提取装置采用所述的点云数据提取方法,包括:
获取装置1:基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;
处理装置2:基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;
提取装置3:提取所述第二点云数据,以获取目标动物的点云数据。
所述获取装置1的工作原理可以参考前述步骤S101,所述处理装置2的工作原理可以参考前述步骤S102,所述提取装置3的工作原理可以参考前述步骤S103,在此不予赘述。
本发明公开了一种点云数据提取方法,基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;提取所述第二点云数据,以获取目标动物的点云数据。本发明可以结合真实养殖环境确定与当前环境相适应的判断倍率,进而实现更为精准的点云数据提取,本发明采用特征感知区来排除干扰物对点云数据提取的干扰,从而使得提取的数据精度高、还原性强,可适用于各种复杂的养殖环境,为非接触式肉牛体高、体宽、体斜长、胸围、腹围、体重等核心表型参数的测量提供重要的方法支撑。
图11是本发明提供的一种点云数据提取系统的结构示意图,包括:
分设在目标动物通道5两侧设置的第一支架以及第二支架;
固设于所述第一支架以及第二支架顶部的第三支架;
固设于第一支架侧的第一深度相机21,用于获取目标动物的左视三维点云数据;
固设于第二支架侧的第二深度相机22,用于获取目标动物的右视三维点云数据;
固设于第三支架侧的第三深度相机23,用于获取目标动物的俯视三维点云数据;
固设于第三支架侧的射频识别触发器1,用于识别目标动物的射频标签;
固设于第一支架侧和/或第二支架侧的对射光栅传感器6,用于识别并触发对目标动物的采集操作;
固设于第一支架侧和/或第二支架侧和/或第三支架侧的工控机3,用于在所述射频识别触发器以及对射光栅传感器被触发的情况下,控制第一深度相机、第二深度相机以及第三深度相机对目标动物进行同时采集;
设置在第一支架靠近目标动物通道侧的第一栏杆;
设置在第二支架靠近目标动物通道侧的第二栏杆;
所述第一栏杆以及所述第二栏杆所形成的引导通道迫使目标动物通过所述射频识别触发器以及所述对射光栅传感器。
本发明还公开了一种点云数据提取系统,所述系统由深度相机、对射光栅触发器、射频识别触发器组成,本系统的采集成功率为91.89%,所采集的点云坐标系与真实距离对应,与真实值相比体尺重建误差为0.6%。进一步地,为实现肉牛点云的非接触时瞬时自动化采集,本发明提供了一套肉牛点云采集系统,所述系统在使用时可以架设于肉牛的常规通道上,在肉牛通过时自动实现触发与多角度三维数据采集。
所述点云数据提取系统主要由深度相机、射频识别触发器、对射光栅传感器器、工控机、肉牛通道、支撑底座4等组成,呈龙门架样设计。其中深度相机共部署三台,分别在龙门支架的顶部横梁、左侧支架、右侧支架中点上。顶部的深度相机部署于顶部横梁中心的位置,其中,深度相机用于原始深度图像数据的采集,阅读器与对射光栅传感器用于识别肉牛的通过并触发同步采集信号,工控机负责所有设备之间的通讯、控制及数据的处理。
为了实现肉牛在自然通行状态下完成多角度三维数据采集,降低采集过程中肉牛出现应激反应的可能性,经过在肉牛养殖厂内进行测试与实验,确定设备关键参数如下表所示:
参数类别 | 参数内容 | 参数类别 | 参数内容 |
两侧支架高度 | 2300mm | 射频识别触发器感应距离 | 1900mm |
衡量支架跨度 | 2290mm | 对射光栅光点数目 | 4 |
深度相机视角广度 | 120°×120° | 对射光栅点间距 | 10cm |
深度相机测距精度 | 1.7mm | 工控机内存容量 | 8GB |
工控机处理器版本 | I5-7500 | 栏杆宽度 | 750cm |
以上参数可保证肉牛顺利的通过本设备,不会出现转身后退等异常情况。同时可以保证在肉牛每次到达设备的正下方的瞬间,设备可被有效触发并采集到点云数据。
由于肉牛通过速度快、姿态变化大,需要对设备的触发逻辑与三个深度相机采集算法的实时性进行规划设计。
本发明采用双逻辑序列触发结构,通过同步信号驱动三台深度相机,保证肉牛通过时可以有效触发采集且不会在同一时刻对同一只肉牛进行多次非必要采集。当肉牛到达设备正下方的瞬间,光栅传感器被触发,触发信号到达工控机的瞬间,驱动射频识别读写器阅读肉牛耳标编号,当有效耳标被读取时,设备同时向三台深度相机发送采集命令,实现深度图像的瞬间采集。
可选地,若同一头肉牛停留在采集区内会引起非必要的多次采集,对此添加判断逻辑,仅在相邻两次触发肉牛编号不同时触发深度相机采集操作。
本发明将肉牛点云自动触发与采集设备架设于养殖场的肉牛转场通道上,在肉牛通过的瞬间进行自动采集,在采集之前,在肉牛的右耳处为其需佩戴定制的超高频射频识别标签。在工作状态下,驱赶肉牛进入转场通道,转场通道保证肉牛可以不受约束的以自然状态向前通行,同时肉牛无法在通道内转身或掉头返回。
深度图像采集设备架设于转场通道的中间部分,不会与肉牛接触,也对肉牛的通行不构成干扰。工作人员从远端将肉牛驱赶进入转场通道,转场通道入口距离深度图像采集设备约60米,在此阶段内,工作人员不再对肉牛进行任何干扰,使肉牛以自然状态向前行走。当肉牛到达深度图像采集设备的正下方时,根据触发算法逻辑进行多视角深度图像自动采集。
与之前的研究相比,本发明的方法不要求动物在测量过程中保持静止,点云触发与采集不需要手动控制,设备采集视角得到了固定,在肉牛点云提取中提出了一种新的轻量级处理算法,使肉牛三维点云采集在实际生产中的应用成为了可能。
本发明公开了点云数据提取系统,通过红外光栅与射频识别双重触发结构实现肉牛点云瞬时非接触式采集,可以实现在肉牛自然状态下的点云自动采集,为肉牛三维重建提供可靠的基础数据。
本发明开发了肉牛点云处理算法,实现从复杂环境中提取分离得到肉牛目标点云,实现肉牛体型的三维重建与还原;其中滤波过程中根据肉牛养殖场环境特征引入了200mm*30mm*400mm的特征感知区用于栏杆等干扰的滤除,滤波有效率93.3%,实现噪点滤除的同时,不影响肉牛点云的完整性。
经过测试,本系统成功采集肉牛完整的成功率为91.89%,以体高值为例的体尺精度误差为0.6%,可以初步替代人工现场量测工作,实现肉牛表型数据的非接触测量,为肉牛育种评估、养殖场精细化管理提供重要的数据支持。
图12是本发明提供的电子设备的结构示意图,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行点云数据提取方法,该方法包括:基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;提取所述第二点云数据,以获取目标动物的点云数据。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的一种执行点云数据提取方法,该方法包括:基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;提取所述第二点云数据,以获取目标动物的点云数据。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的点云数据提取方法,该方法包括:基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;提取所述第二点云数据,以获取目标动物的点云数据。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种点云数据提取方法,其特征在于,包括:
基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;
基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;
提取所述第二点云数据,以获取目标动物的点云数据;
所述有效像素点判别区间是基于目标判断倍率确定的,所述目标判断倍率是基于目标残缺点云占比以及目标错误点云占比确定的;所述目标残缺点云占比以及所述目标错误点云占比是基于对多组滤波后样本点云筛选而确定的。
2.根据权利要求1所述的点云数据提取方法,其特征在于,在基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据之前,还包括:
基于不同的滤波强度处理多组滤波前样本点云,以获取每一组滤波后样本点云;
基于每一组滤波后样本点云,获取与每一组滤波后样本点云相对应的残缺点云占比以及错误点云占比;
筛选每一组残缺点云占比以及错误点云占比的加权平均值,以确定目标残缺点云占比以及目标错误点云占比;
基于目标残缺点云占比以及目标错误点云占比所对应的目标样本点云数量确定目标判断倍率;
所述目标样本点云数量包括滤波前点云总像素点数以及滤波后点云总像素点数;
在滤波处理过程中,所述残缺点云为错误滤除而形成的像素点集合,所述错误点云为错误保留而形成的像素点集合。
3.根据权利要求1所述的点云数据提取方法,其特征在于,所述基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据,包括:
遍历所有原始点云数据中的每一像素点,获取每个像素点到邻域内所有点平均距离,以计算所有点的邻域距离的平均值;
确定所有邻域距离的标准差;
基于所述平均值、所述标准差以及判断倍率,确定有效像素点判别区间,所述有效像素点判别区间包括判断阈值上限以及判断阈值下限;
在任一像素点到邻域内所有点平均距离大于所述判断阈值上限或小于所述判断阈值下限的情况下,剔除所述任一像素点,以获取第一点云数据。
4.根据权利要求1所述的点云数据提取方法,其特征在于,所述基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据,包括:
确定所有特征感知区,每个所述特征感知区是以所述第一点云数据中的每个像素点为质心所确定的固设区域;
获取每个特征感知区中所有像素点的数量,以利用区分阈值确定所有待剔除像素点;
从所述第一点云中剔除所有待剔除像素点,获取所述第二点云数据;
所述待剔除像素点,是所有像素点的数量小于区分阈值的特征感知区所对应的像素点。
5.根据权利要求4所述的点云数据提取方法,其特征在于,所述获取每个特征感知区中所有像素点的数量,以利用区分阈值确定所有待剔除像素点,包括:
获取目标动物的样本点云,以确定所有干扰物像素点以及所有目标动物像素点;
确定所有干扰物感知区,以获取每个干扰物感知区内的干扰物像素点数量,每个所述干扰物感知区是以所述干扰物像素点为质心所确定的固设区域;
确定所有目标动物感知区,以获取每个目标动物感知区内的目标动物像素点数量,每个所述目标动物感知区是以所述目标动物像素点为质心所确定的固设区域;
基于所述干扰物像素点数量以及所述目标动物像素点数量确定区分阈值。
6.根据权利要求1所述的点云数据提取方法,其特征在于,在基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据之前,还包括:
采集目标动物的俯视三维点云数据;
采集目标动物的左视三维点云数据;
采集目标动物的右视三维点云数据;
基于所述俯视三维点云数据、左视三维点云数据以及右视三维点云数据确定原始点云数据。
7.根据权利要求1所述的点云数据提取方法,其特征在于,在基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据之前,还包括:
基于直通滤波原理和/或八叉树原理处理所述原始点云数据,以获取第一点云数据。
8.根据权利要求1所述的点云数据提取方法,其特征在于,在基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据之前,还包括:
基于随机抽样一致性算法处理所述第一点云数据,以获取地平面点云的像素点;
剔除所述地平面点云的像素点,以获取第二点云数据。
9.一种点云数据提取装置,其采用权利要求1-8中任一项所述的点云数据提取方法,其特征在于,包括:
获取装置:基于有效像素点判别区间,从原始点云数据中,筛选出第一点云数据;
处理装置:基于特征感知区,从所述第一点云数据中剔除干扰物点云,以获取第二点云数据;
提取装置:提取所述第二点云数据,以获取目标动物的点云数据。
10.一种点云数据提取系统,其采用权利要求1-8中任一项所述的点云数据提取方法,其特征在于,包括:
分设在目标动物通道两侧设置的第一支架以及第二支架;
固设于所述第一支架以及第二支架顶部的第三支架;
固设于第一支架侧的第一深度相机,用于获取目标动物的左视三维点云数据;
固设于第二支架侧的第二深度相机,用于获取目标动物的右视三维点云数据;
固设于第三支架侧的第三深度相机,用于获取目标动物的俯视三维点云数据;
固设于第三支架侧的射频识别触发器,用于识别目标动物的射频标签;
固设于第一支架侧和/或第二支架侧的对射光栅传感器,用于识别并触发对目标动物的采集操作;
固设于第一支架侧和/或第二支架侧和/或第三支架侧的工控机,用于在所述射频识别触发器以及对射光栅传感器被触发的情况下,控制第一深度相机、第二深度相机以及第三深度相机对目标动物进行同时采集;
设置在第一支架靠近目标动物通道侧的第一栏杆;
设置在第二支架靠近目标动物通道侧的第二栏杆;
所述第一栏杆以及所述第二栏杆所形成的引导通道迫使目标动物通过所述射频识别触发器以及所述对射光栅传感器。
11.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8任一项所述的点云数据提取方法。
12.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的点云数据提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210399022.4A CN114898100A (zh) | 2022-04-15 | 2022-04-15 | 点云数据提取方法、装置、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210399022.4A CN114898100A (zh) | 2022-04-15 | 2022-04-15 | 点云数据提取方法、装置、系统、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114898100A true CN114898100A (zh) | 2022-08-12 |
Family
ID=82717911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210399022.4A Pending CN114898100A (zh) | 2022-04-15 | 2022-04-15 | 点云数据提取方法、装置、系统、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114898100A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116740168A (zh) * | 2023-08-11 | 2023-09-12 | 北京市农林科学院智能装备技术研究中心 | 畜禽采食量检测及投料方法、装置、机器人、介质 |
-
2022
- 2022-04-15 CN CN202210399022.4A patent/CN114898100A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116740168A (zh) * | 2023-08-11 | 2023-09-12 | 北京市农林科学院智能装备技术研究中心 | 畜禽采食量检测及投料方法、装置、机器人、介质 |
CN116740168B (zh) * | 2023-08-11 | 2023-12-05 | 北京市农林科学院智能装备技术研究中心 | 畜禽采食量检测及投料方法、装置、机器人、介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
CN109785337B (zh) | 一种基于实例分割算法的栏内哺乳动物清点方法 | |
CN108898085B (zh) | 一种基于手机视频的道路病害智能检测方法 | |
Wu et al. | Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms | |
CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
CN105389586B (zh) | 一种基于计算机视觉自动检测虾体完整性的方法 | |
CN108288271A (zh) | 基于三维残差网络的图像检测系统及方法 | |
CN109141248A (zh) | 基于图像的猪体重测算方法及系统 | |
CN107437068B (zh) | 基于Gabor方向直方图和猪体毛发模式的猪个体识别方法 | |
Zhou et al. | An integrated skeleton extraction and pruning method for spatial recognition of maize seedlings in MGV and UAV remote images | |
CN108648169A (zh) | 高压输电塔绝缘子缺陷自动识别的方法及装置 | |
CN105719283A (zh) | 一种基于Hessian矩阵多尺度滤波的路面裂缝图像检测方法 | |
CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
CN113920138A (zh) | 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法 | |
CN115187879A (zh) | 一种基于YOLOv5的楼栋检测与楼层定位方法及装置 | |
CN114898100A (zh) | 点云数据提取方法、装置、系统、设备及存储介质 | |
CN113706512B (zh) | 一种基于深度学习和深度相机的生猪体重测量方法 | |
CN114937293A (zh) | 基于gis的农业服务管理方法及系统 | |
CN102496032A (zh) | 一种电气设备x射线数字图片处理算法支持系统 | |
CN107507192B (zh) | 一种水稻剑叶夹角在体测量便携装置及在体测量方法 | |
CN111369497B (zh) | 一种行走式树上果实连续计数方法及装置 | |
CN116740337A (zh) | 一种红花采摘点识别定位方法及采摘系统 | |
CN111723737B (zh) | 一种基于多尺度匹配策略深度特征学习的目标检测方法 | |
Sun et al. | Three-dimensional cotton plant shoot architecture segmentation and phenotypic trait characterization using terrestrial LiDAR point cloud data | |
JIA et al. | Crack damage detection of bridge based on convolutional neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |