CN113888612A - 动物点云多视角实时采集与3d重建方法、装置及系统 - Google Patents
动物点云多视角实时采集与3d重建方法、装置及系统 Download PDFInfo
- Publication number
- CN113888612A CN113888612A CN202111112118.XA CN202111112118A CN113888612A CN 113888612 A CN113888612 A CN 113888612A CN 202111112118 A CN202111112118 A CN 202111112118A CN 113888612 A CN113888612 A CN 113888612A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- animal
- cloud data
- reconstruction
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 abstract description 5
- 230000006698 induction Effects 0.000 abstract 1
- 241000283690 Bos taurus Species 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000009395 breeding Methods 0.000 description 3
- 230000001488 breeding effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 241000282887 Suidae Species 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013310 pig model Methods 0.000 description 2
- 241001494479 Pecora Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 235000015278 beef Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004584 weight gain Effects 0.000 description 1
- 235000019786 weight gain Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种动物点云多视角实时采集与3D重建方法、装置及系统，该方法包括：通过设置在通道两侧以及顶侧的深度相机，在动物通过时触发红外光栅感应，自动驱动深度相机同步采集动物的原始点云数据，并识别动物的唯一RFID标签；对多个初始点云数据进行配准，生成待测动物的整体点云数据。该方法通过多视角深度相机同时采集动物点云数据，由于每个点云数据为同步采集，避免动物活动带来的干扰导致的误差，点云数据由通道两侧以及顶部采集的多视角深度图像计算得到，可有效避免局部遮挡与其他干扰导致还原动物3D模型不准确的问题，通过对多个初始点云数据进行配准后，能够精确还原动物的形状特征，有利于实现动物的精确3D重建。
Description
技术领域
本发明涉及图像识别领域，尤其涉及一种动物点云多视角实时采集与3D重建方法、装置及系统。
背景技术
作为人类的主要蛋白质来源之一，在社会经济发展的过程中，牛肉等肉类的需求量变大，从而刺激了对精确育种的需求。事实上，精确育种依赖于对牲畜身体参数的成功估计，包括牛的体型、体重和身体状况评分。收集身体信息最常用的方法是手动测量，然而，如果牛被驱赶并限制在封闭的空间内，则会给牛带来巨大的压力，并严重阻碍增重过程。最近的研究表明，动物点云数据和深度图像可用于身体部位的分割和提取，目前有一种自动算法来提取动物的背部和臀部等测量点。猪的表面点云可用于自动计算心脏周长，通过采集的3D图像计算奶牛的体高和胸围等身体参数，而3D图像采集和测量点标记需要手动完成。
局部点云无法还原动物的精确形状特征，因此动物3D重建显示出明显的优势。例如，目前的一种扫描系统，利用激光束扫描动物的身体，实现高精度3D重建。虽然该系统精度高，但要求动物在点云数据的采集过程中完全静止5秒。这样的过程对于动物而言显然难以实现，从而导致该系统实际应用中检测精度并不高。
发明内容
针对现有技术存在的问题，本发明提供一种动物点云多视角实时采集与3D重建方法、装置及系统。
本发明提供一种动物点云多视角实时采集与3D重建方法，包括：通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据；对所述多个初始点云数据进行配准，生成待测动物的整体点云数据。
根据本发明一个实施例的动物点云多视角实时采集与3D重建方法，所述通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据，包括：通过设置在通道两侧的对射光栅，采集待测动物的通过信号；若检测到所述通过信号，则获取待测动物通过时的多个不同角度的初始点云数据，并通过射频识别RFID阅读器获取通过动物的唯一性标识；其中，获取待测动物通过时的多个不同角度的初始点云数据，包括通过同步触发线驱动深度相机进行同步采集。
根据本发明一个实施例的动物点云多视角实时采集与3D重建方法，所述对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之前，还包括：对于每个初始点云数据，基于初始点云的三维向量，根据三维高斯分布计算每个点的邻域，根据所述邻域大小剔除异常点。
根据本发明一个实施例的动物点云多视角实时采集与3D重建方法，所述对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之前，还包括：对于每个初始点云数据，基于随机样本共识RANSAC算法进行平面点云数据提取，以过滤掉地面的点云数据。
根据本发明一个实施例的动物点云多视角实时采集与3D重建方法，所述对所述多个初始点云数据进行配准，生成待测动物的整体点云数据，包括：对于每侧的多个点云数据，以其中任一相机点云数据为源点云，其他相机点云数据依次为目标点云，采用Super-4PCS算法，基于点对的仿射不变性，对所述源点云和所述目标点云进行配准，分别得到左右顶三侧的初步配准点云数据；将所述初步配准点云数据，以离地预设高度的平行平面进行分割，根据分割后平面以上部分的点云数据，采用Super-4PCS算法，基于点对的仿射不变性对三个方向的初步配准点云数据进行二次配准，得到最终配准点云数据。
根据本发明一个实施例的动物点云多视角实时采集与3D重建方法，所述对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之后，还包括：对所述整体点云数据，使用八叉树点云处理进行点云下采样后，通过主成分分析PCA算法提取动物点云主方向，并进行坐标校准。
本发明还提供一种动物点云多视角实时采集与3D重建装置，包括：采集模块，用于通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据；处理模块，用于对所述多个初始点云数据进行配准，生成待测动物的整体点云数据。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述动物点云多视角实时采集与3D重建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述动物点云多视角实时采集与3D重建方法的步骤。
本发明还提供一种动物点云多视角实时采集与3D重建系统，包括：龙门架、多个深度相机、光栅触发传感器、RFID阅读器以及上述电子设备；所述光栅触发传感器设置在龙门架两侧，用于获取动物通过信号；所述RFID阅读器用于读取动物唯一性标识；在所述龙门架两侧分别至少设置两个深度相机，顶部至少设置一个深度相机；所述深度相机用于在动物通过时，获取待测动物多个不同角度的深度图像，并将所述不同角度的深度图像转换为与各深度相机对应的初始点云数据。
本发明提供的动物点云多视角实时采集与3D重建方法、装置及系统，通过多视角深度相机同时采集动物点云数据，由于每个点云数据均为瞬间同步采集，避免动物活动带来的干扰导致的误差，点云数据为通道两侧以及顶部的多视角深度图像计算得到，可有效避免局部遮挡与其他干扰导致还原动物3D模型不准确的问题，通过对多个初始点云数据进行配准后，能够精确还原动物的形状特征，有利于实现动物的精确3D重建。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的动物点云多视角实时采集与3D重建方法的流程示意图；
图2是本发明提供的动物点云多视角实时采集与3D重建方法的应用场景图；
图3是本发明提供的点云滤波前后图像点处理结果对比图；
图4是本发明提供的环境点云滤除示意图；
图5是本发明提供的地面点云拟合与提取示意图；
图6是本发明提供的配准点关系图；
图7是本发明提供的横向点云配准结果示意图；
图8是本发明提供的点云配准结果示意图；
图9是本发明提供的点云下采样结果示意图；
图10是本发明提供的不同光照强度点云采集结果示意图；
图11是本发明提供的系统执行流程框图；
图12是本发明提供的动物点云多视角实时采集与3D重建装置的结构示意图；
图13是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图13描述本发明的动物点云多视角实时采集与3D重建方法、装置及系统，本发明可应用于动物的点云数据采集与3D重建，如猪、牛和羊等。图1是本发明提供的动物点云多视角实时采集与3D重建方法的流程示意图，如图1所示，本发明提供动物点云多视角实时采集与3D重建方法，包括：
101、通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据。
图2是本发明提供的动物点云多视角实时采集与3D重建方法的应用场景图，结合图2，本发明提供一种龙门式点动物云数据采集系统，可与农场的转运走廊相结合。该系统中的龙门架高2.30m，宽2.32m，由一台计算机、一个RFID阅读器、一组对射光栅传感器和若干Kinect DK摄像头组成。优选为五个，四个深度摄像头均匀部署在走廊两侧，最后一个放置在顶梁中间。RFID阅读器设置在龙门梁的中点。门架两侧设置光栅触发传感器，所有设备通过USB 3.0线和485数据传输线与工业集成计算机相连。
深度相机可采用Kinect DK传感器，该传感器配备了宽度为120°*120°的摄像头，成像深度范围为0.25-2.88m，使用激光飞行时间(TOF)技术采集深度图像。测距的不确定度为17mm，单幅曝光时间为12.8ms。
五台Kinect DK摄像头系统开始采集动物深度图像数据，然后通过基于摄像头内部参数的计算转换为初始的点云数据，如式1所示。
其中，x和y是点云坐标，x'和y'是深度图像坐标，D是深度值，fx和fy是DK相机的内部参数。
在一个实施例中，通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据，包括：通过设置在通道两侧的对射光栅，采集待测动物的通过信号；若检测到所述通过信号，则获取待测动物通过时的多个不同角度的初始点云数据，以及通过射频识别RFID阅读器获取动物标识并与点云数据进行实时关联。
其中，获取待测动物通过时的多个不同角度的初始点云数据，包括通过同步触发线驱动深度相机进行同步采集。
通过设置对射光栅传感器，可获取牛等动物通过的信息，及时采集点云数据。通过动物途径龙门架的中点设置RFID阅读器，可用于采集待测动物的标识ID，如牛耳标编号。
102、对所述多个初始点云数据进行配准，生成待测动物的整体点云数据。
如通过Super-4PCS等算法进行配准，将多个点云数据通过配准，生成待测动物的整体点云数据。相应地，配准之前还可包括预处理步骤。
本发明的动物点云多视角实时采集与3D重建方法，通过多视角深度相机同时采集动物点云数据，由于每个点云数据均为瞬间同步采集，避免动物活动干扰导致的误差，点云数据为通道两侧以及顶部的多视角深度图像计算得到，可有效避免局部点云缺失导致还原动物3D模型不准确的问题，通过对多个初始点云数据进行配准后，能够精确还原动物的形状特征，有利于实现动物的精确3D重建。
在一个实施例中，所述对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之前，还包括：对于每个初始点云数据，基于初始点云的三维向量，根据三维高斯分布计算每个点的邻域，根据所述邻域大小剔除异常点。
由于点云的采集精度会受到灰尘和碎屑的影响，因此本发明实施例使用基于高斯局部距离分布的半径过滤来过滤这些干扰因素。3D高斯分布公式如公式(2)。
其中，
是点云3D向量，
是向量的均值，A是所有向量的协方差矩阵。
动物点云中的每个点都被记录为一个3D矢量。分析每个点的邻域，并计算到所有邻域点的平均距离。通过计算高斯分布，敏感邻域之外的点被视为异常值，被过滤掉。过滤过程如图3所示，左为剔除异常点之前的点云。
在一个实施例中，对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之前，还包括：对于每个初始点云数据，基于RANSAC算法进行平面点云数据提取，以过滤掉地面的点云数据。
首先，可以基于区域生长Kdtree邻域聚类方法构建环境过滤算法，以减少动物通道环境中的其他干扰，如通道栏杆、地粪和传感器支架。如图4所示，图中横杠形部分代表干扰。
由于地面与动物的密切接触，在不丢失感兴趣数据点的情况下，邻域聚类方法无法去除地面。在本发明实施例中，选择随机样本共识(RANSAC)算法进行平面提取和过滤。提取结果如图5所示，其中拟合平面的法向量定义为向量M。
在一个实施例中，对所述多个初始点云数据进行配准，生成待测动物的整体点云数据，包括：对于左右顶三侧的每侧点云数据，以其中任一相机点云数据为源点云，其他相机点云数据依次为目标点云，采用Super-4PCS算法，基于点对的仿射不变性，对所述源点云和所述目标点云进行配准，得到左右顶三侧的初步配准点云数据；将所述初步配准点云数据，以离地预设高度的平行平面进行分割，根据分割后平面以上部分的点云数据，采用Super-4PCS算法，基于点对的仿射不变性对三个方向的初步配准点云数据进行二次配准，得到最终配准点云数据。
在一个实施例中，所述预设高度小于两侧的初步配准点云数据的最高点云。
以左右两侧分别设置两个Kinect DK相机，顶侧设置一个Kinect DK相机为例进行说明，五个相机分别为A、B、C、D和E。
Kinect DK相机从不同角度采集到的点云数据，相互之间有很小的重叠部分，这是迭代最近点(ICP)等传统配准方法无法直接完成的。为了实现基于五种不同视角点云(A、B、C、D和E)的动物的3D重建，本发明实施例基于super4PCS实现了一种分步点云配准算法，以牛为例，牛点云配准分为两步。
动物同侧深度相机采集到的点云通常呈现较大的重叠，配准采用Super-4PCS算法，点对的仿射不变性用于实现配准。相机B采集的点云为源点云(记为S)，相机A采集的目标点云记为W。每次根据最大化原则从S中随机选取4个点以保证点之间的距离较大但不超过阈值，这四点表示为：
B＝Sa,Sb,Sc,Sd (3)
假设线Sa,Sb与e点相交，则两个独立的比值和两点间的距离定义为：
d1＝||sa-sb||d2＝||sc-sd|| (5)
然后在目标点云W中选择点集P和Q
P＝{(ti,tj)∣ti,tj∈W,||si-sj||∈[(d1-μ,d1+μ)} (6)
Q＝{(ti,tj)∣ti,tj∈W,||si-sj||∈[(d2-μ,d2+μ)} (7)
以W内每一点ti为球心，分别以d2和d1为半径绘球，ti与落在(d1-μ,d1+μ)范围内的点满足P集合条件，ti与落在(d2-μ,d2+μ)范围内的点满足Q集合条件。
对P中每一对点(ti,tj)而言，由r1计算交点e，即
e1＝ti+r1(tj-ti) (8)
对Q中每一对点(ti,tj)，由r2计算交点e，即
e2＝ti+r2(tj-ti) (9)
当e1和e2近似等于点对并且角度近似相等时，在Sa,Sb,Sc,Sd和ta,tb,tc,td之间计算变换矩阵T。T用于将点云S变换为R，计算配准评价系数Pr(变换后的点云R与目标点云W的距离小于阈值的点所占的比例)。配准点关系如图6所示。
上述过程重复多次，直到配准系数大于预设阈值，如阈值为0.7，然后停止配准，保存矩阵T。
由于垂直点云(即顶侧电源)和两个侧面点云之间的重叠很小，因此super 4-PCS直接测量的配准不确定性相对较大，所以点云重叠区域应在配准前进行定位。
本发明实施例中，地平面点云被视为z轴原点，法向量M位于z轴正方向。在z＝0.6n处垂直于法向量的切割平面(即预设高度为0.6n)表示为U，n是点云z轴上的最大坐标值。点云切割面与地面之间的所有点云都被过滤掉，剩下的点云部分作为配准的基础。最后利用剩余区域的super 4-PCS实现配准。
本发明实施例的动物点云多视角实时采集与3D重建方法，通过Super-4PCS算法实现了多个点云的精确配准，同时根据分割后平面以上部分的点云数据，采用Super-4PCS算法，基于点对的仿射不变性进行配准，得到最终配准点云数据，避免了两侧点云数据和顶侧点云数据直接配准导致的不确定性问题。
在一个实施例中，对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之后，还包括：对所述整体点云数据，使用八叉树(Octree)点云处理进行点云下采样后，通过PCA算法提取动物点云主方向，并进行坐标校准。
为保证点云密度均匀，便于后续处理，本发明实施例使用八叉树实现点云下采样。Octree对点云进行体素化后，每个体素中仅保留体素的中心点，删除体素中的其他点，使采样的点云达到均匀状态。然后，主成分分析方法提取点云的协方差矩阵、特征值和特征向量。确定动物的主要方向后，生成旋转矩阵重建点云的坐标系。
基于上述各实施例的方法，分别对实际养殖环境中的牛、猪和模型牛进行了6轮点云重建实验，以测试3D重建的准确性和速度。
点云重建结果：
选择一个结果作为例子来展示点云的重建过程。龙门架同侧两台相机采集的点云进行的配准，如图7所示。每张图中，左边两张是摄像机从不同角度采集到的点云，中间和右边是配准后的点云。
同侧点云配准完成后，我们将门架顶部摄像头采集到的点云与两侧配准后的点云进行配准。最终配准结果如图8所示。
为保证点云密度均匀，便于后续处理，使用八叉树实现点云下采样。Octree对点云进行体素化后，每个体素中仅保留体素的中心点，删除体素中的其他点，使采样的点云达到均匀状态。
如图9所示，左边是牛的3D扫描结果，右边是下采样后的点云。
方向校准：
为了减少动物姿态差异对点云分析的影响，将点云的坐标转换为重构坐标系中的标准方向，其中x轴指向前向左侧，平行于体宽方向，y轴指向动物头方向，平行于体长方向，z轴指向天空，平行于体高方向。完成重建需要两个步骤：
1)地面法向量(M)定义为z轴。
2)通过主成分分析(PCA)方法提取点云的协方差矩阵、特征值和特征向量。确定动物的主要方向后，生成旋转矩阵重建点云的坐标系。
采集速度测试：
该系统在实验室和牧场进行了多次点云采集和重建实验，以测试系统的运行速度。
表1
其中，T1：深度图像采集时间；T2：点云生成和存储时间；T3：点云预处理时间；T4：点云配准时间；T5：3D重建时间；T6：总时间；T7：除配准外的总时间；时间单位为秒(s)。
表1中描述的采集时间代表采集运动中的牛点云时的系统效率。在数据处理过程中，最耗时的部分是点云配准过程，平均约占总时间的87％。为了提高点云采集的效率，配准算法只在设备第一次安装成功时执行，然后直接使用得到的配准矩阵进行后续计算。在这种情况下，点云重建时间每次大约需要11-16s。并且T3-T5被放到后台通过多线程运行，点云采集线程只保留T1/T2部分，大约需要2-4s。
点云精度测试：
人工选取重建的牛点云，标记测量点后得到牛的体高、体宽，并将计算数据与对应的真实值进行比较。但是用卷尺或量尺测量活牛时，结果也不可避免地存在误差，为有效评估理论误差，本文仅选取实验室中的牛和猪模型为对象，长度计量单位为毫米(mm)。
表2
| 体高 | 体高误差 | 体宽 | 体宽误差 | 平均误差 | |
| True | 912 | 0 | 469 | 0 | 0 |
| 1 | 898 | 0.015 | 476 | 0.015 | 0.015 |
| 2 | 915 | 0.003 | 472 | 0.006 | 0.0045 |
| 3 | 928 | 0.018 | 481 | 0.026 | 0.022 |
| 4 | 916 | 0.004 | 470 | 0.002 | 0.003 |
| 5 | 902 | 0.01 | 454 | 0.032 | 0.021 |
| 6 | 906 | 0.007 | 467 | 0.004 | 0.0055 |
如表2所示，目前测量点云数据的误差不超过3.2％，与用卷尺手动测量相比，绝对误差在20mm以内，可以满足实际应用要求。
由阳光引起的干扰：
采集速度测试结果(表1)表明，阳光对采集效果产生了干扰。因此，将同一牛和猪模型放置在同一位置但在不同光照条件下进行点云采集在这个实验中一个Kinect DK传感器用于点云收集，DK相机被放置在面对牛40厘米的高度。
在阳光下收集了357个牛点云数据点，光强度范围从3251勒克斯到85,743勒克斯。图10的a-f分别显示了不同收集结果的示例。
通过计算点的数量，可以评估光对点云收集的影响。如果将在3251Lux处采集的点云中的点数表示为完整点数C。将点云质量Qc定义为
Qc＝Nu/C (10)
其中，Nu是被评估点云中数据点的数量，C是完整点的数量。
点云质量指数(Qc)和光照强度(Ia)之间的拟合方程可以用四次多项式描述为
Qc＝-6.96*10-20Ia4+1.42*10-14Ia3-8.74*10-10Ia2+4.94*10-6Ia+0.9871 (11)
为了研究光强的可接受限度，在不同光照强度下收集到的点数分布进行统计分析。选择500个数据点作为阈值来分割点的数量并定义有效收集间隔。某坐标下点数达到500标记为有效位置，否则标记为无效位置。
当光照强度增加时，平行于相机的位置(40cm附近)点云的完整性没有显着衰减，而与相机和动物之间的垂直距离呈负相关。动物点云以1cm为单位垂直分成若干个区间，点数超过500的区域记录为有效，所有有效区域的集合定义为有效垂直高度范围。
随着光照强度的增加，在有效垂直高度范围内出现衰减，可以认为相当于深度相机与被摄体的最大采集角度和距离的衰减。增加摄像头数量是减少光照强度影响的有效方法。衰减系数(An)定义为An＝1.098*10-10Ia2-2.11*10-5Ia+1.112 (12)
其中，Ia表示光照强度。
An系数的范围在0到1之间。通过估计衰减系数，可以直接计算出摄像机视场和距离的衰减。
从上面的结果可知，当暴露在强光下时，由于动物皮毛反光特性以及TOF深度相机工作原理的限制，点云质量会衰减。光强引起的衰减可以通过增加少量摄像头来克服，但会增加视觉系统的成本和维护负担。否则，在室外强烈阳光下使用时，需要加设有效的遮光棚来保证动物点云的采集质量。
下面对本发明提供的动物点云多视角实时采集与3D重建装置进行描述，下文描述的动物点云多视角实时采集与3D重建装置与上文描述的动物点云多视角实时采集与3D重建方法可相互对应参照。
图12是本发明提供的动物点云多视角实时采集与3D重建装置的结构示意图，如图12所示，该动物点云多视角实时采集与3D重建装置包括：采集模块1201和处理模块1203。其中，采集模块1201用于通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据；处理模块1202用于对所述多个初始点云数据进行预处理与配准，生成待测动物的整体点云数据。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的动物点云多视角实时采集与3D重建装置，通过多视角深度相机同时采集动物点云数据，由于每个点云数据为同步采集，避免动物活动带来的干扰导致的误差，点云数据由通道两侧以及顶部采集的多视角深度图像计算得到，可有效避免局部遮挡与其他干扰导致还原动物3D模型不准确的问题，通过对多个初始点云数据进行配准后，能够精确还原动物的形状特征，有利于实现动物的精确3D重建。
图13是本发明提供的电子设备的结构示意图，如图13所示，该电子设备可以包括：处理器(processor)1301、通信接口(Communications Interface)1302、存储器(memory)1303和通信总线1304，其中，处理器1301，通信接口1302，存储器1303通过通信总线1304完成相互间的通信。处理器1301可以调用存储器1303中的逻辑指令，以执行动物点云多视角实时采集与3D重建方法，该方法包括：通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据；对所述多个初始点云数据进行配准，生成待测动物的整体点云数据。
此外，上述的存储器1303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的动物点云多视角实时采集与3D重建方法，该方法包括：通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据；对所述多个初始点云数据进行配准，生成待测动物的整体点云数据。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的动物点云多视角实时采集与3D重建方法，该方法包括：通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据；对所述多个初始点云数据进行配准，生成待测动物的整体点云数据。
再一方面，本发明还提供一种动物点云多视角实时采集与3D重建系统，可结合图2参照，其包括：龙门架、多个深度相机、光栅触发传感器、RFID阅读器以及上述实施例所述的电子设备；所述光栅触发传感器设置在龙门架两侧，用于获取动物通过信号；所述RFID阅读器用于读取动物唯一性标识；在所述龙门架两侧分别至少设置两个深度相机，顶部至少设置一个深度相机；所述深度相机用于在动物通过时，获取待测动物多个不同角度的深度图像，并将所述不同角度的深度图像转换为与各深度相机对应的初始点云数据。
电子设备的具体作用上述实施例已说明，其可用来实施上述各方法实施例中的步骤，具体可参照上述各方法实施例，整个系统的系统执行流程可参照图11，此处不再赘述。
本发明的动物点云多视角实时采集与3D重建系统，可以对牧场中活跃的牛等进行牲畜身体测量。该系统可实现牛进入感知、牛号读取、多视角点云即时采集，对牛无压力和干扰。
以上所描述的装置或系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种动物点云多视角实时采集与3D重建方法，其特征在于，包括：
通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据；
对所述多个初始点云数据进行配准，生成待测动物的整体点云数据。
2.根据权利要求1所述的动物点云多视角实时采集与3D重建方法，其特征在于，所述通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据，包括：
通过设置在通道两侧的对射光栅，采集待测动物的通过信号；
若检测到所述通过信号，则获取待测动物通过时的多个不同角度的初始点云数据，并通过射频识别RFID阅读器获取通过动物的唯一性标识并与点云数据进行实时关联；
其中，获取待测动物通过时的多个不同角度的初始点云数据，包括通过同步触发线驱动深度相机进行同步采集。
3.根据权利要求1所述的动物点云多视角实时采集与3D重建方法，其特征在于，对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之前，还包括：
对于每个初始点云数据，基于初始点云的三维向量，根据三维高斯分布计算每个点的邻域，根据所述邻域大小剔除异常点。
4.根据权利要求1所述的动物点云多视角实时采集与3D重建方法，其特征在于，所述对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之前，还包括：
对于每个初始点云数据，基于随机样本共识RANSAC算法进行平面点云数据提取，以过滤掉地面的点云数据。
5.根据权利要求1所述的动物点云多视角实时采集与3D重建方法，其特征在于，所述对所述多个初始点云数据进行配准，生成待测动物的整体点云数据，包括：
对于每侧的多个点云数据，以其中任一相机点云数据为源点云，其他相机点云数据依次为目标点云，采用Super-4PCS算法，基于点对的仿射不变性，对所述源点云和所述目标点云进行配准，分别得到左右顶三侧的初步配准点云数据；
将所述初步配准点云数据，以离地预设高度的平行平面进行分割，根据分割后平面以上部分的点云数据，采用Super-4PCS算法，基于点对的仿射不变性对三个方向的初步配准点云数据进行二次配准，得到最终配准点云数据。
6.根据权利要求1-5任一项所述的动物点云多视角实时采集与3D重建方法，其特征在于，所述对所述多个初始点云数据进行配准，生成待测动物的整体点云数据之后，还包括：
对所述整体点云数据，使用八叉树点云处理进行点云下采样后，通过主成分分析PCA算法提取动物点云主方向，并进行坐标校准。
7.一种动物点云多视角实时采集与3D重建装置，其特征在于，包括：
采集模块，用于通过设置在通道两侧以及顶侧的深度相机，同时获取待测动物通过时多个不同角度的初始点云数据；
处理模块，用于对所述多个初始点云数据进行预处理与配准，生成待测动物的整体点云数据。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述动物点云多视角实时采集与3D重建方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述动物点云多视角实时采集与3D重建方法的步骤。
10.一种动物点云多视角实时采集与3D重建系统，其特征在于，包括：
龙门架、多个深度相机、光栅触发传感器、RFID阅读器以及权力要求8所述的电子设备；
所述光栅触发传感器设置在龙门架两侧，用于获取动物通过信号；
所述RFID阅读器用于读取动物唯一性标识；
在所述龙门架两侧分别至少设置两个深度相机，顶部至少设置一个深度相机；
所述深度相机用于在动物通过时，获取待测动物多个不同角度的深度图像，并将所述不同角度的深度图像转换为与各深度相机对应的初始点云数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111112118.XA CN113888612A (zh) | 2021-09-18 | 2021-09-18 | 动物点云多视角实时采集与3d重建方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111112118.XA CN113888612A (zh) | 2021-09-18 | 2021-09-18 | 动物点云多视角实时采集与3d重建方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888612A true CN113888612A (zh) | 2022-01-04 |
Family
ID=79010163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111112118.XA Pending CN113888612A (zh) | 2021-09-18 | 2021-09-18 | 动物点云多视角实时采集与3d重建方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888612A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI801199B (zh) * | 2022-04-08 | 2023-05-01 | 行政院農業委員會畜產試驗所 | 動物體型感測方法與系統 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200388044A1 (en) * | 2019-06-06 | 2020-12-10 | Zhejiang University | Plant point cloud acquisition, registration and optimization method based on tof camera |
| CN112907735A (zh) * | 2021-03-10 | 2021-06-04 | 南京理工大学 | 一种基于点云的柔性电缆识别与三维重建方法 |
| CN113362463A (zh) * | 2021-05-17 | 2021-09-07 | 浙江工业大学 | 一种基于高斯混合模型的工件三维重建方法 |
| CN113362441A (zh) * | 2020-03-06 | 2021-09-07 | 顺丰科技有限公司 | 三维重建方法、装置、计算机设备和存储介质 |
-
2021
- 2021-09-18 CN CN202111112118.XA patent/CN113888612A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200388044A1 (en) * | 2019-06-06 | 2020-12-10 | Zhejiang University | Plant point cloud acquisition, registration and optimization method based on tof camera |
| CN113362441A (zh) * | 2020-03-06 | 2021-09-07 | 顺丰科技有限公司 | 三维重建方法、装置、计算机设备和存储介质 |
| CN112907735A (zh) * | 2021-03-10 | 2021-06-04 | 南京理工大学 | 一种基于点云的柔性电缆识别与三维重建方法 |
| CN113362463A (zh) * | 2021-05-17 | 2021-09-07 | 浙江工业大学 | 一种基于高斯混合模型的工件三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 芦忠忠: "基于三维模型的奶牛体型线性评定体尺参数测量方法研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2021, 15 February 2021 (2021-02-15), pages 1 - 3 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI801199B (zh) * | 2022-04-08 | 2023-05-01 | 行政院農業委員會畜產試驗所 | 動物體型感測方法與系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Le Cozler et al. | High-precision scanning system for complete 3D cow body shape imaging and analysis of morphological traits | |
| Le Cozler et al. | Volume and surface area of Holstein dairy cows calculated from complete 3D shapes acquired using a high-precision scanning system: Interest for body weight estimation | |
| CN109459119B (zh) | 一种体重测量方法、设备和计算机可读存储介质 | |
| WO2018028103A1 (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN109636779B (zh) | 识别家禽体积体尺的方法、装置及存储介质 | |
| EP2370952B1 (en) | Arrangement and method for determining a body condition score of an animal | |
| Liu et al. | Automatic estimation of dairy cattle body condition score from depth image using ensemble model | |
| CN111666855B (zh) | 基于无人机的动物三维参数提取方法、系统及电子设备 | |
| EP3353744B1 (en) | Image analysis for making animal measurements including 3-d image analysis | |
| CN112288793B (zh) | 畜类个体背膘检测方法、装置、电子设备及存储介质 | |
| CN110569735A (zh) | 一种基于奶牛背部体况的分析方法及装置 | |
| CN102657531A (zh) | 基于计算机视觉的人体躯干围度测量方法和装置 | |
| CN113706512B (zh) | 一种基于深度学习和深度相机的生猪体重测量方法 | |
| CN116152697A (zh) | 一种混凝土结构裂缝的三维模型测量方法及相关装置 | |
| CN113888612A (zh) | 动物点云多视角实时采集与3d重建方法、装置及系统 | |
| Li et al. | A posture-based measurement adjustment method for improving the accuracy of beef cattle body size measurement based on point cloud data | |
| CN112712590B (zh) | 一种动物点云生成方法及系统 | |
| Wirthgen et al. | Level-set based infrared image segmentation for automatic veterinary health monitoring | |
| CN114898100A (zh) | 点云数据提取方法、装置、系统、设备及存储介质 | |
| CN113762745A (zh) | 基于机器视觉的生猪体型外貌评定方法及装置 | |
| Yanli et al. | RESEARCH ON PIG BODY SIZE MEASUREMENT SYSTEM BASED ON STEREO VISION. | |
| Lia et al. | Development of a Point Cloud Acquisition System and 3D Point Cloud Reconstruction Method for Beef Cattle | |
| Song et al. | Methods of three-dimensional reconstruction and body size measurement of cattle based on multi-view binocular camera | |
| CN116912706B (zh) | 采样点确定、植被遥感产品真实性校验方法、装置及设备 | |
| CN114266727A (zh) | 牲畜背膘测定方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |