CN116524002A - 一种基于深度学习和双目相机的原木直径测量方法 - Google Patents
一种基于深度学习和双目相机的原木直径测量方法 Download PDFInfo
- Publication number
- CN116524002A CN116524002A CN202310497823.9A CN202310497823A CN116524002A CN 116524002 A CN116524002 A CN 116524002A CN 202310497823 A CN202310497823 A CN 202310497823A CN 116524002 A CN116524002 A CN 116524002A
- Authority
- CN
- China
- Prior art keywords
- diameter
- log
- face
- log end
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000000691 measurement method Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 15
- 239000002023 wood Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30161—Wood; Lumber
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习和双目相机的原木直径测量方法，包括以下步骤：（1）数据集制作：收集海量原木端面的图片数据，并按一定比例划分训练集、验证集与测试集；（2）构建网络模型：构建原木端面实例分割模型；（3）模型训练；（4）模型推理；（5）直径计算：将步骤(4)的推理结果转化为多边形，并使用最小二乘法椭圆拟合算法将多边形拟合为椭圆，取椭圆中的短径作为原木端面的像素直径大小；（6）计算原木端面直径实际大小：获取双目相机的深度信息，将步骤(5)中得到的原木端面的像素直径大小换算为实际大小。本发明有效防止了有人利用手动测量作弊，测量不准确等造成行业损失严重的问题。
Description
技术领域
本发明涉及原木直径测量技术领域，更具体地，涉及一种基于深度学习和双目相机的原木直径测量方法。
背景技术
树木直径测量是林业生产中单株木调查和林分调查最基本的工作。树木直径测量包括立木胸径测量、原木直径测量和伐倒木直径测量。由于林间原木数量大，使用人工测量原木直径方法，通过测量工具效率低，成本高，同时存在利益诱惑的情况下还可能发生作弊的情况。
近年来，随着计算机视觉技术的发展，基于轮廓、纹理、颜色等原木轮廓识别的方法被广泛提出用来测量原木直径，但是由于原木端面的多样性和实际情况的复杂性，实际应用效果并不理想，而且在原木识别的问题上，还未充分利用原木端面图像本身的信息，针对原木端面存在污渍、裂痕和伐痕等问题。因此，亟需一种准确并且公平的自动化测量原木直径的方法，快速准确的识别原木端面并计算出其实际直径大小，解决林木生产、木材行业的难点。
发明内容
本发明的目的在于提供一种基于深度学习和双目相机的原木直径测量方法，通过从计算机视觉角度分析，设计了深度学习和双目相机的原木直径检测和测量的网络模型，从而实现原木的精准识别和测量，有效防止了有人利用手动测量作弊，测量不准确等造成行业损失严重的问题，完善高效的测量模型，以及对原木直径的精准高效快速识别，有助于促进木材行业的发展。
为达到上述目的，提供了一种基于深度学习和双目相机的原木直径测量方法，包括以下步骤：
(1)数据集制作：收集海量原木端面的图片数据，并按一定比例划分训练集、验证集与测试集；
(2)构建网络模型：根据传统神经网络模型构建原木端面实例分割模型；
(3)模型训练：将步骤(1)的训练集输入至步骤(2)中的原木端面实例分割模型中进行参数训练，训练过程中，将步骤(1)的验证集输入至训练好的原木端面实例分割模型进行验证；
(4)模型推理：将使用双目相机拍摄的原木端面图片数据输入至经过步骤(3)训练好的原木端面实例分割模型进行推理，获得识别出原木端面轮廓的多边形坐标；
(5)直径计算：将步骤(4)的推理的多边形坐标转化为多边形，并使用最小二乘法椭圆拟合算法将多边形拟合为椭圆，取椭圆中的短径作为原木端面的像素直径大小；
(6)计算原木端面直径实际大小：获取双目相机的深度信息，将步骤(5)中得到的原木端面的像素直径大小换算为实际大小，并在图片上显示实际大小，所述实际大小即为原木端面直径的实际大小。
特别的，所述步骤(1)中，按0.8:0.1:0.1的比例划分训练集、验证集与测试集。
特别的，所述步骤(2)中，构建原木端面实例分割模型的过程中，对原木端面图片数据进行[-1,1]归一化操作。
特别的，所述步骤(3)中，训练过程中，训练参数的优化器为AdamW，学习率设置为0.01。
特别的，所述步骤(5)中，所述最小二乘法椭圆拟合算法包括以下步骤：通过约束条件公式4ac-b2＝1获取最小化距离误差，其中a,b,c是椭圆方程的系数；利用最小二乘法进行求解，引入拉格朗日算子乘法获得等式组，然后求解等式组获得最优的拟合椭圆。
特别的，将步骤(5)中得到的原木端面的像素直径大小换算为实际大小的具体方法为，根据双目相机内置参数及拍摄深度值，通过像素坐标换算出原木直径的实际大小，公式为：
其中，X表示双目相机的深度信息；(xi,yi)表示预测图片的原木端面直径两端的像素坐标；cx,fx分别表示相机内参；
通过获得预测多边形的像素直径大小，再根据距离公式结合其内置参数计算出实际大小。
特别的，所述距离公式为：
其中D为两点间的像素距离，x1,y1,x2,y2是直径两端的像素坐标；
本发明的技术原理和有益效果如下所示：
本发明根据原木端面多样性和复杂性的特点，为原木端面自动化识别测量引入先验知识，改进算法模型的网络结构，结合深度相机和最小二乘法椭圆拟合算法，大大提高原木端面直径自动测量效果，提高原木测量的速度和准确度，提升模型泛化性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该实用新型产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
如图1所示，一种基于深度学习和双目相机的原木直径测量方法，包括以下步骤：
(1)数据集制作：收集海量原木端面的图片数据，并按按0.8:0.1:0.1的比例划分训练集、验证集与测试集；
(2)构建网络模型：构建原木端面实例分割模型；构建原木端面实例分割模型的过程中，对原木端面图片数据进行[-1,1]归一化操作，加快原木端面实例分割模型的收敛速度；
(3)模型训练：将步骤(1)的训练集输入至步骤(2)中的原木端面实例分割模型中进行参数训练，训练过程中，训练参数的优化器为AdamW，学习率设置为0.01；将步骤(1)的验证集输入至训练好的原木端面实例分割模型进行验证；
(4)模型推理：将使用双目相机拍摄的原木端面图片数据输入至经过步骤(3)训练好的原木端面实例分割模型进行推理，获得识别出原木端面的多边形坐标及在原图片上标识了多边形的图片；
(5)直径计算：将步骤(4)的推理结果转化为多边形，并使用最小二乘法椭圆拟合算法将多边形拟合为椭圆，取椭圆中的短径作为原木端面的像素直径大小；
通过最小约束条件公式4ac-b2＝1获取最小化距离误差，其中a,b,c是椭圆方程的系数；利用最小二乘法进行求解，引入拉格朗日算子乘法获得等式组，然后求解等式组获得最优的拟合椭圆。
(6)计算原木端面直径实际大小：获取双目相机的深度信息，将步骤(5)中得到的原木端面的像素直径大小换算为实际大小，并在图片上显示实际大小，所述实际大小即为原木端面直径的实际大小。
将步骤(5)中得到的原木端面的像素直径大小换算为实际大小的具体方法为，根据双目相机内置参数及拍摄深度值，通过素坐标换算出原木直径的实际大小公式：
其中，X表示双目相机的深度信息；(xi,yi)表示预测图片的原木端面直径两端的像素坐标；cx,fx表示相机内参；
通过获得预测多边形的像素直径大小，再根据距离公式结合其内置参数计算出实际大小；
特别的，所述距离公式为：
其中D为两点间的像素距离，x1,y1,x2,y2是直径两端的像素坐标。
本发明实施例的一种基于深度学习和双目相机的原木直径测量方法，包括虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习和双目相机的原木直径测量方法，其特征在于，包括以下步骤：
(1)数据集制作：收集海量原木端面的图片数据，并按一定比例划分训练集、验证集与测试集；
(2)构建网络模型：根据传统神经网络模型构建原木端面实例分割模型；
(3)模型训练：将步骤(1)的训练集输入至步骤(2)中的原木端面实例分割模型中进行参数训练，训练过程中，将步骤(1)的验证集输入至训练好的原木端面实例分割模型进行验证；
(4)模型推理：将使用双目相机拍摄的原木端面图片数据输入至经过步骤(3)训练好的原木端面实例分割模型进行推理，获得识别出原木端面轮廓的多边形坐标；
(5)直径计算：将步骤(4)的推理的多边形坐标转化为多边形，并使用最小二乘法椭圆拟合算法将多边形拟合为椭圆，取椭圆中的短径作为原木端面的像素直径大小；
(6)计算原木端面直径实际大小：获取双目相机的深度信息，将步骤(5)中得到的原木端面的像素直径大小换算为实际大小，并在图片上显示实际大小，所述实际大小即为原木端面直径的实际大小。
2.根据权利要求1所述的一种基于深度学习和双目相机的原木直径测量方法，其特征在于：所述步骤(1)中，按0.8:0.1:0.1的比例划分训练集、验证集与测试集。
3.根据权利要求1所述的一种基于深度学习和双目相机的原木直径测量方法，其特征在于：所述步骤(2)中，构建原木端面实例分割模型的过程中，对原木端面图片数据进行[-1,1]归一化操作。
4.根据权利要求1所述的一种基于深度学习和双目相机的原木直径测量方法，其特征在于：所述步骤(3)中，训练过程中，训练参数的优化器为AdamW，学习率设置为0.01。
5.根据权利要求1所述的一种基于深度学习和双目相机的原木直径测量方法，其特征在于：所述步骤(5)中，所述最小二乘法椭圆拟合算法包括以下步骤：通过约束条件公式4ac-b2＝1获取最小化距离误差，其中a,b,c是椭圆方程的系数；利用最小二乘法椭圆拟合算法进行求解，引入拉格朗日算子乘法获得等式组，然后求解等式组获得最优的拟合椭圆。
6.根据权利要求1所述的一种基于深度学习和双目相机的原木直径测量方法，其特征在于：将步骤(5)中得到的原木端面的像素直径大小换算为实际大小的具体方法为，根据双目相机内置参数及拍摄深度值，通过像素坐标换算出原木直径的实际大小,公式为：
其中，X表示双目相机的深度信息；(xi,yi)表示预测图片的原木端面直径两端的像素坐标；cx,fx分别表示相机内参；
通过获得预测多边形的像素直径大小，再根据距离公式结合其内置参数计算出实际大小。
7.根据权利要求6所述的一种基于深度学习和双目相机的原木直径测量方法，其特征在于：所述距离公式为：
其中D为两点间的像素距离，x1,y1,x2,y2是直径两端的像素坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310497823.9A CN116524002A (zh) | 2023-05-06 | 2023-05-06 | 一种基于深度学习和双目相机的原木直径测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310497823.9A CN116524002A (zh) | 2023-05-06 | 2023-05-06 | 一种基于深度学习和双目相机的原木直径测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116524002A true CN116524002A (zh) | 2023-08-01 |
Family
ID=87404323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310497823.9A Pending CN116524002A (zh) | 2023-05-06 | 2023-05-06 | 一种基于深度学习和双目相机的原木直径测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524002A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635619A (zh) * | 2024-01-26 | 2024-03-01 | 南京海关工业产品检测中心 | 一种基于机器视觉的原木材积检测方法及系统 |
-
2023
- 2023-05-06 CN CN202310497823.9A patent/CN116524002A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635619A (zh) * | 2024-01-26 | 2024-03-01 | 南京海关工业产品检测中心 | 一种基于机器视觉的原木材积检测方法及系统 |
| CN117635619B (zh) * | 2024-01-26 | 2024-04-05 | 南京海关工业产品检测中心 | 一种基于机器视觉的原木材积检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109520706B (zh) | 一种汽车保险丝盒的螺孔坐标提取方法 | |
| CN111899296B (zh) | 一种基于计算机视觉的原木材积检测方法与装置 | |
| CN104400265B (zh) | 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法 | |
| CN107492098A (zh) | 一种基于pca和cnn的高温锻件表面缺陷在位检测方法 | |
| CN116524002A (zh) | 一种基于深度学习和双目相机的原木直径测量方法 | |
| CN113012098B (zh) | 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法 | |
| CN105571511B (zh) | 一种船舶外板成型精度在线检测方法 | |
| CN109978938A (zh) | 一种基于机器视觉的枕簧检测方法 | |
| CN112344869A (zh) | 基于侧面拟合的铁塔变形监测方法及系统 | |
| CN115597494B (zh) | 一种基于点云的预制构件预留孔的精度检测方法、系统 | |
| CN109359537A (zh) | 基于神经网络的人脸姿态角度检测方法及系统 | |
| CN113435442B (zh) | 水位测量方法、装置、水尺及电子设备 | |
| CN116993804B (zh) | 一种基于lsm算法的箍筋尺寸检测方法及系统 | |
| CN108180825B (zh) | 一种基于线结构光的长方体形物体三维识别与定位方法 | |
| CN115937217B (zh) | 一种利用3d卷积和相关性算子来自动检测腐蚀坑的方法 | |
| CN110060339B (zh) | 一种基于云计算图形图像的三维建模方法 | |
| CN112053333A (zh) | 一种基于机器视觉的方坯检测方法、系统、设备及介质 | |
| CN116385440A (zh) | 一种弧形刀片视觉检测方法 | |
| CN107869971B (zh) | 一种基于三维激光扫描数据计算树冠表面积的方法 | |
| CN107643048B (zh) | 基于点云数据的测树因子自动提取方法 | |
| CN110986891B (zh) | 一种利用无人机准确快速测量树木冠幅的系统 | |
| CN116452501A (zh) | 一种基于yolov7和彩色相机的刨花板表面缺陷检测方法 | |
| CN114494431A (zh) | 一种梁体外形外观照相检测系统及方法 | |
| CN110991387A (zh) | 一种机器人集群图像识别的分布式处理方法及系统 | |
| CN114964152B (zh) | 一种基于多维特征的实时水准测量点号匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |