CN117292213A - 多类型相机下样本不均衡的松林变色异木识别方法 - Google Patents
多类型相机下样本不均衡的松林变色异木识别方法 Download PDFInfo
- Publication number
- CN117292213A CN117292213A CN202311593053.4A CN202311593053A CN117292213A CN 117292213 A CN117292213 A CN 117292213A CN 202311593053 A CN202311593053 A CN 202311593053A CN 117292213 A CN117292213 A CN 117292213A
- Authority
- CN
- China
- Prior art keywords
- pine
- training
- color
- target
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000008331 Pinus X rigitaeda Nutrition 0.000 title claims abstract description 51
- 235000011613 Pinus brutia Nutrition 0.000 title claims abstract description 51
- 241000018646 Pinus brutia Species 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000002023 wood Substances 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 67
- 239000013598 vector Substances 0.000 claims description 27
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 4
- 241000243771 Bursaphelenchus xylophilus Species 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多类型相机下样本不均衡的松林变色异木识别方法，包括选取K类相机拍摄得到K个子数据集，计算每个子数据集的占比，按占比从高到低标记为D1~DK，构成数据集D；在Faster R‑CNN网络中设计数据相关性损失、RPN网络中设计数据相似性损失来优化目标函数，训练网络得到目标识别模型。本发明以占比最大的D1中变色异木区域特征为中心，使其他占比小的子数据集的变色异木区域特征与其相似，从而在确保D1识别准确性的基础上，提高对D2~DK的识别能力，也就提升了对不同相机采集的松林影像中变色异木区域的识别能力，且无需增加检测模型增参数。
Description
技术领域
本发明涉及一种图像识别方法，尤其涉及一种多类型相机下样本不均衡的松林变色异木识别方法。
背景技术
松木线虫病会导致大量松树枯死，所以需要对松木线虫病害进行识别。目前采用的方法为：首先通过无人机采集松林视频影像，再对影像进行分析来识别变色异木，是监测松木线虫病害的重要手段。近年来深度学习等人工智能技术被用于变色异木的识别。
然而不同厂家、型号的相机，采集到的无人机影像特征差异大，并且所有识别的变色异木呈现的特征差异也大；另一方面在不同条件下，采集到的影像数据也不平衡，如：相机A采集的变色异木占比85%，相机B采集的变色异木占比10%，相机C采集的变色异木占比5%。这些不同类型相机造成的影像特征差异大、变色异木特征差异大，以及不同相机采集的变色异木数据量不均衡等问题为基于深度学习的变色异木识别模型带来了极大的挑战。
目前常用的识别模型为Faster R-CNN网络模型。该模型包括四个部分：特征提取网络、RPN网络、兴趣区域池化层、分类和回归网络；图像输入网络之后，（1）先经卷积操作进行特征提取得到特征图，（2）将特征图输入RPN网络，生成目标区域的候选框，（3）由兴趣区域池化单元结合候选框和特征图，从特征图中抠出对应的区域特征，也被称为兴趣区域特征，并转换为某一特定尺寸的特征图，（4）最后由分类和回归网络进行类别计算和候选框微调，输出微调后得到的检测框，和检测框内的目标类别。训练Faster R-CNN网络模型时，通常将分类和回归网络的分类损失和边框回归损失之和作为目标函数，以追求分类损失和边框回归损失最小化。
由于不同相机差异大、影像数据不平衡，若用不同相机的影像构成单一相机的数据集训练Faster R-CNN网络，得到的模型差异大，无法对其他相机的影像进行精确识别。
发明内容
本发明的目的就在于提供一种解决上述问题，克服不同类型相机采集的影像的特征差异大、导致模型训练不准确等缺陷的，多类型相机下样本不均衡的松林变色异木识别方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种多类型相机下样本不均衡的松林变色异木识别方法，包括以下步骤；
S1，构建数据集D，包括S11~S14；
S11，选取K个不同类型的相机对松林进行拍摄，每个相机每次拍摄得到一松林影像，同一相机的松林影像构成一子数据集；
S12，将变色异木作为目标，在松林影像中人工标记目标区域，统计每个子数据集中目标区域面积、所有目标区域面积总和S，并将标记了目标区域的松林影像作为训练样本；
S13，计算每个子数据集的占比，对其中一子数据集，其占比=Sz÷S×100%，其中，Sz为该子数据集的目标区域面积；
S14，将子数据集按占比从高到低排序，并依次标记为D1~DK，数据集D={D1,D2 ,…,Di,…,DK}，Di是第i个子数据集，i=1~K；
S2，选取Faster R-CNN网络，包括特征提取网络、RPN网络、兴趣区域池化层、分类和回归网络；
S3，预设迭代次数t、构建训练集X，用训练集训练Faster R-CNN网络至收敛，得到目标识别模型；其中第W次训练包括步骤S31~S38，W=1~t；
S31，构建训练集X={X1,X2 ,…, Xi,…,XK}，其中，Xi为从Di中选取多张训练样本构成的集合，X1~XK中训练样本的占比为D1~DK的占比；
S32，将训练集X输入Faster R-CNN网络，对训练集X的每个训练样本，由特征提取网络提取特征图，再扁平化处理为D维的向量标记为深度向量；
S33，计算训练集X的数据相关性损失LCorr；
，
式中，j=1~K，且i≠j，xm为Xi中的训练样本，xn为Xj中的训练样本，ym、yn分别为xm、xn对应的深度向量，D为深度向量的维度，T为转置操作；
S34，对每张特征图，经RPN网络对目标区域生成候选框、并由兴趣区域池化层输出兴趣区域特征；
S35，把兴趣区域特征扁平化处理为特征向量，将Xi对应的所有特征向量构成特征向量集合Qi，得到X1~XK对应的特征向量集合Q1~QK；
计算Q2~QK与Q1的相似性，其中Qi与Q1的相似性H（Qi|Q1）通过下式得到；
，
，
式中，e为自然常数，q为Qi中的特征向量，p为Q1中的特征向量，V(•|•)为两个特征向量条件协方差计算，K(•,•)为两个特征向量的协方差计算；
S36，根据下式计算训练集X的数据相似性损失L mutual ；
，
S37，将兴趣区域特征送入分类和回归网络，输出候选框及候选框内的目标类别，并计算分类损失L cls 和边框回归损失L res ；
S38，设计目标函数L，并用目标函数L训练Faster R-CNN网络；
，
其中，a 1 、a 2 、a 3分别为L cls+ L res 、L Corr 、L mutual 的权重；
S4，用目标识别模型进行目标识别；
用K类相机中任一相机对松林进行拍摄，得到待识别松林影像，送入目标识别模型，输出其中的变色异木区域。
作为优选：每次训练时构建的训练集X都不同，由随机抽取的训练样本构成。
作为优选：S38中，a 1=1、a 3=0.5，，a为a 2的权函数变量，a=0.5。
作为优选：所述分类损失L cls 根据下式得到；
，
式中，N为候选框总数，f为第f个候选框，f=1~N，c f 为第f个候选框的类别标签，取值为0或1，其中0为目标，1为背景，p f 为第f个候选框为目标的预测概率，log（·）为log函数。
作为优选：所述边框回归损失L res 通过下式得到；
，
式中，N为候选框总数，f为第f个候选框，f=1~N；
d xf 、d yf 、d wf 、d hf 分别表示对第f个候选框预测的x坐标、y坐标、宽度和高度，t xf 、t yf 、t wf 、t hf 分别表示第f个候选框真实的x坐标、y坐标、宽度和高度，Smooth L1(·)为平滑L1函数，根据下式得到，，uv为Smooth L1(·)中的变量。
本发明的思路为：
首先，将不同相机对应的子数据集，按变色异木区域面积多少计算占比并排序，变色异木区域面积最大的子数据集为D1，其余按降序依次为D2~ DK，从而得到各子数据集的占比和顺序。
第二：每次训练时，随机按占比从D1~DK中抽取训练数据构成X1~ XK，再针对不同类型相机采集的松林影像的特征差异大的特点，提出一种特征相关性的计算方法，通过步骤S33提高不同类型相机采集的松林影像之间的特征相关性，使得后续的变色异木的检测能够在高度相关的特征下进行。
第三针对不同相机采集的变色木区域数量不均衡的问题，本发明以占比最多的子数据集D1对应的相机采集的变色异木为中心，使占比小的相机采集到的变色异木的特征尽量与其相似。
本发明设计数据相关性损失LCorr的目的是提升最终训练出来的模型检测来自不同类型的相机拍摄的图像的检测性能。
本发明设计数据相似性损失Lmutual的目的是提升最终训练出来的模型检测不同相机采集的数量不均衡的图像的检测性能。
与现有技术相比，本发明的优点在于：
（1）在处理不同相机产生的影像特征差异、松林变色异木特征和不同相机采集样本量不同问题上，未增加检测模型中的参数。
（2）以大比例变色异木区域特征为中心，使小比例变色异木区域与其相似，在解决不平衡问题和变色异木区域特征差异大的问题时，首先确保了大比例变色异木区域的识别准确性。
（3）在学习过程的不同阶段解决问题的侧重不同，早期注重解决特征差异大，后期注重检测问题，使得学习更加有效。
（4）对分类损失L cls 进行了改进，分类损失采用交叉熵损失函，它是连续可导的凸函数，这使得训练过程变得更加高效和稳定，提高了松林变色异木识别模型的训练效率。并且交叉熵损失函数可以方便地与其他损失函数进行组合使用，在松林变色异木识别中，需要同时考虑目标的位置和类别信息，因此通过将交叉熵损失函数与回归损失函数结合起来，构建一个综合的损失函数来同时优化目标的位置和类别预测，提高了松林变色异木模型的优化效率。
（5）对边框回归损失L res 进行了改进，在边框回归损失L res 中使用了平滑L1损失，这是因为，在松林变色异木识别任务中，由于目标位置可能存在噪声或者不准确的标注，使用常用的均方误差损失会对异常值非常敏感。而平滑L1损失通过引入了一个平滑因子，可以减少异常值的影响，提高了松林变色异木识别模型的鲁棒性。缺省框处理：在目标检测任务中，通常需要预测目标的位置，包括边界框的坐标。平滑L1损失能够有效地应对预定义边界框的处理，使得模型对变色异木位置的预测更加准确。
附图说明
图1为Faster R-CNN网络；
图2为本发明流程图；
图3为一相机拍摄的松林影像中人工标记目标区域的示意图；
图4为迭代次数变化图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1-图4，一种多类型相机下样本不均衡的松林变色异木识别方法，包括以下步骤；
S1，构建数据集D，包括S11~S14；
S11，选取K个不同类型的相机对松林进行拍摄，每个相机每次拍摄得到一松林影像，同一相机的松林影像构成一子数据集；
S12，将变色异木作为目标，在松林影像中人工标记目标区域，统计每个子数据集中目标区域面积、所有目标区域面积总和S，并将标记了目标区域的松林影像作为训练样本；
S13，计算每个子数据集的占比，对其中一子数据集，其占比=Sz÷S×100%，其中，Sz为该子数据集的目标区域面积；
S14，将子数据集按占比从高到低排序，并依次标记为D1~DK，数据集D={D1,D2 ,…,Di,…,DK}，Di是第i个子数据集，i=1~K；
S2，选取Faster R-CNN网络，包括特征提取网络、RPN网络、兴趣区域池化层、分类和回归网络；
S3，预设迭代次数t、构建训练集X，用训练集训练Faster R-CNN网络至收敛，得到目标识别模型；其中第W次训练包括步骤S31~S38，W=1~t；
S31，构建训练集X={X1,X2 ,…, Xi,…,XK}，其中，Xi为从Di中选取多张训练样本构成的集合，X1~XK中训练样本的占比为D1~DK的占比；
S32，将训练集X输入Faster R-CNN网络，对训练集X的每个训练样本，由特征提取网络提取特征图，再扁平化处理为D维的向量标记为深度向量；
S33，计算训练集X的数据相关性损失LCorr；
，
式中，j=1~K，且i≠j，xm为Xi中的训练样本，xn为Xj中的训练样本，ym、yn分别为xm、xn对应的深度向量，D为深度向量的维度，T为转置操作；
S34，对每张特征图，经RPN网络对目标区域生成候选框、并由兴趣区域池化层输出兴趣区域特征；
S35，把兴趣区域特征扁平化处理为特征向量，将Xi对应的所有特征向量构成特征向量集合Qi，得到X1~XK对应的特征向量集合Q1~QK；
计算Q2~QK与Q1的相似性，其中Qi与Q1的相似性H（Qi|Q1）通过下式得到；
，
，
式中，e为自然常数，q为Qi中的特征向量，p为Q1中的特征向量，V(•|•)为两个特征向量条件协方差计算，K(•,•)为两个特征向量的协方差计算；
S36，根据下式计算训练集X的数据相似性损失L mutual ；
，
S37，将兴趣区域特征送入分类和回归网络，输出候选框及候选框内的目标类别，并计算分类损失L cls 和边框回归损失L res ；
S38，设计目标函数L，并用目标函数L训练Faster R-CNN网络；
，
其中，a 1 、a 2 、a 3分别为L cls+ L res 、L Corr 、L mutual 的权重；
S4，用目标识别模型进行目标识别；
用K类相机中任一相机对松林进行拍摄，得到待识别松林影像，送入目标识别模型，输出其中的变色异木区域。
本实施例中，每次训练时构建的训练集X都不同，由随机抽取的训练样本构成。
步骤S38中，a 1=1、a 3=0.5，，a为a 2的权函数变量，a=0.5。
所述分类损失L cls 根据下式得到；
，
式中，N为候选框总数，f为第f个候选框，f=1~N，c f 为第f个候选框的类别标签，取值为0或1，其中0为目标，1为背景，p f 为第f个候选框为目标的预测概率，log（·）为log函数。
所述边框回归损失L res 通过下式得到；
，
式中，N为候选框总数，f为第f个候选框，f=1~N；
d xf 、d yf 、d wf 、d hf 分别表示对第f个候选框预测的x坐标、y坐标、宽度和高度，t xf 、t yf 、t wf 、t hf 分别表示第f个候选框真实的x坐标、y坐标、宽度和高度，Smooth L1(·)为平滑L1函数，根据下式得到，，uv为Smooth L1(·)中的变量。
关于图3，将变色异木作为目标，标记目标区域，如图3中方框所示。
实施例2：参见图1-图4，本实施例中，我们在多个林区共计14600亩松林由直升机挂载三款不同厂家相机，按本发明方法进行数据采集、数据标注、模型训练和变色异木智能识别工作。
首先，三款相机按本发明步骤S11先拍摄松林影像构成子数据集，再按步骤S12进行人工标记，标记标目标区域的示意图如图3所示。再按S13计算每个子数据集的占比；三个子数据集的占比为78%：12%：10%。再按步骤S14将子数据集按占比从高到低排序，得到子数据集D1、D2、D3。我们将D1、D2、D3对应的相机分别标记为相机A、相机B和相机C，并从D1、D2、D3中各取70%作为训练集，30%作为测试集。
然后，按本发明步骤S2、S3训练得到目标识别模型，也称为本发明模型。
为了说明本发明效果，本实施例用同样的数据集，采用Faster R-CNN方法和本发明方法进行对比实验，输入待识别松林影像，输出其中的变色异木区域。且本实施例使用目标检测中的mAP（mean Average Precision）作为识别的评估标准，得到表1。
表1. 对比实验表
，
从表1可以看出，相对Faster R-CNN，本发明方法在相机A采集的数据上的异木检测性能稍有下降，下降约0.08%，但在相机B采集的数据上，性能获得了极大的提高，提高约6.31%；在相机C采集的数据上，性能也获得了极大的提高，提高约6.71%。从中可以看出本方法在保证大比例相机影像数据中变色异木检测的性能基础上，极大提高了小比例相机影像数据中变色异木检测的性能。
另外，本实施例还在Faster R-CNN基础上，在主特征提取网络中构建数据相关性损失LCorr和在RPN网络中构建数据相似性损失Lmutual，因此开展消融实验，对所提出方法进行剥离。在Faster R-CNN上分别加入LCorr和L mutual ，并进行评估。实验结果在表2中。
表2.消融实验结果表
，
表2中，Faster R-CNN+Lcorr+Lmutual即为本发明方法，从表2中可以看出，本方法构建的数据相关性损失LCorr、数据相似性损失Lmutual，均对多相机下的变色异木检测起到了提升作用，且基于本发明的方法，整体应用Lcorr和Lmutual，效果更显著。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种多类型相机下样本不均衡的松林变色异木识别方法，其特征在于：包括以下步骤；
S1，构建数据集D，包括S11~S14；
S11，选取K个不同类型的相机对松林进行拍摄，每个相机每次拍摄得到一松林影像，同一相机的松林影像构成一子数据集；
S12，将变色异木作为目标，在松林影像中人工标记目标区域，统计每个子数据集中目标区域面积、所有目标区域面积总和S，并将标记了目标区域的松林影像作为训练样本；
S13，计算每个子数据集的占比，对其中一子数据集，其占比=Sz÷S×100%，其中，Sz为该子数据集的目标区域面积；
S14，将子数据集按占比从高到低排序，并依次标记为D1~DK，数据集D={D1,D2 ,…,Di,…,DK}，Di是第i个子数据集，i=1~K；
S2，选取Faster R-CNN网络，包括特征提取网络、RPN网络、兴趣区域池化层、分类和回归网络；
S3，预设迭代次数t、构建训练集X，用训练集训练Faster R-CNN网络至收敛，得到目标识别模型；其中第W次训练包括步骤S31~S38，W=1~t；
S31，构建训练集X={X1,X2 ,…, Xi,…,XK}，其中，Xi为从Di中选取多张训练样本构成的集合，X1~XK中训练样本的占比为D1~DK的占比；
S32，将训练集X输入Faster R-CNN网络，对训练集X的每个训练样本，由特征提取网络提取特征图，再扁平化处理为D维的向量标记为深度向量；
S33，计算训练集X的数据相关性损失LCorr；
，
式中，j=1~K，且i≠j，xm为Xi中的训练样本，xn为Xj中的训练样本，ym、yn分别为xm、xn对应的深度向量，D为深度向量的维度，T为转置操作；
S34，对每张特征图，经RPN网络对目标区域生成候选框、并由兴趣区域池化层输出兴趣区域特征；
S35，把兴趣区域特征扁平化处理为特征向量，将Xi对应的所有特征向量构成特征向量集合Qi，得到X1~XK对应的特征向量集合Q1~QK；
计算Q2~QK与Q1的相似性，其中Qi与Q1的相似性H（Qi|Q1）通过下式得到；
，
，
式中，e为自然常数，q为Qi中的特征向量，p为Q1中的特征向量，V(•|•)为两个特征向量条件协方差计算，K(•,•)为两个特征向量的协方差计算；
S36，根据下式计算训练集X的数据相似性损失L mutual ；
，
S37，将兴趣区域特征送入分类和回归网络，输出候选框及候选框内的目标类别，并计算分类损失L cls 和边框回归损失L res ；
S38，设计目标函数L，并用目标函数L训练Faster R-CNN网络；
，
其中，a 1 、a 2 、a 3分别为L cls+ L res 、L Corr 、L mutual 的权重；
S4，用目标识别模型进行目标识别；
用K类相机中任一相机对松林进行拍摄，得到待识别松林影像，送入目标识别模型，输出其中的变色异木区域。
2.根据权利要求1所述的多类型相机下样本不均衡的松林变色异木识别方法，其特征在于：每次训练时构建的训练集X都不同，由随机抽取的训练样本构成。
3.根据权利要求1所述的多类型相机下样本不均衡的松林变色异木识别方法，其特征在于：S38中，a 1=1、a 3=0.5，，a为a 2的权函数变量，a=0.5。
4.根据权利要求1所述的多类型相机下样本不均衡的松林变色异木识别方法，其特征在于：所述分类损失L cls 根据下式得到；
，
式中，N为候选框总数，f为第f个候选框，f=1~N，c f 为第f个候选框的类别标签，取值为0或1，其中0为目标，1为背景，p f 为第f个候选框为目标的预测概率，log（·）为log函数。
5.根据权利要求1所述的多类型相机下样本不均衡的松林变色异木识别方法，其特征在于：所述边框回归损失L res 通过下式得到；
，
式中，N为候选框总数，f为第f个候选框，f=1~N；
d xf 、d yf 、d wf 、d hf 分别表示对第f个候选框预测的x坐标、y坐标、宽度和高度，t xf 、t yf 、t wf 、t hf 分别表示第f个候选框真实的x坐标、y坐标、宽度和高度，Smooth L1(·)为平滑L1函数，根据下式得到，，uv为Smooth L1(·)中的变量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311593053.4A CN117292213B (zh) | 2023-11-27 | 2023-11-27 | 多类型相机下样本不均衡的松林变色异木识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311593053.4A CN117292213B (zh) | 2023-11-27 | 2023-11-27 | 多类型相机下样本不均衡的松林变色异木识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117292213A true CN117292213A (zh) | 2023-12-26 |
| CN117292213B CN117292213B (zh) | 2024-01-30 |
Family
ID=89248493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311593053.4A Active CN117292213B (zh) | 2023-11-27 | 2023-11-27 | 多类型相机下样本不均衡的松林变色异木识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117292213B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170098153A1 (en) * | 2015-10-02 | 2017-04-06 | Baidu Usa Llc | Intelligent image captioning |
| CN107920236A (zh) * | 2017-12-18 | 2018-04-17 | 广东欧珀移动通信有限公司 | 图像白平衡处理方法和装置、存储介质和电子设备 |
| WO2020248471A1 (zh) * | 2019-06-14 | 2020-12-17 | 华南理工大学 | 一种基于集聚交叉熵损失函数的序列识别方法 |
| CN112990318A (zh) * | 2021-03-18 | 2021-06-18 | 中国科学院深圳先进技术研究院 | 持续学习方法、装置、终端及存储介质 |
| CN113469272A (zh) * | 2021-07-20 | 2021-10-01 | 东北财经大学 | 基于Faster R-CNN-FFS模型的酒店场景图片的目标检测方法 |
| US20220122360A1 (en) * | 2020-10-21 | 2022-04-21 | Amarjot Singh | Identification of suspicious individuals during night in public areas using a video brightening network system |
| CN114841257A (zh) * | 2022-04-21 | 2022-08-02 | 北京交通大学 | 一种基于自监督对比约束下的小样本目标检测方法 |
| US20230048386A1 (en) * | 2021-01-28 | 2023-02-16 | Beijing zhongxiangying Technology Co.,Ltd. | Method for detecting defect and method for training model |
| US20230087494A1 (en) * | 2020-03-26 | 2023-03-23 | Brainlab Ag | Determining image similarity by analysing registrations |
| WO2023044663A1 (en) * | 2021-09-23 | 2023-03-30 | Intel Corporation | Methods and apparatus for team classification in sports analysis |
| US20230118864A1 (en) * | 2021-10-15 | 2023-04-20 | Kabushiki Kaisha Toshiba | Lifted semantic graph embedding for omnidirectional place recognition |
| CN116883916A (zh) * | 2023-09-08 | 2023-10-13 | 深圳市国硕宏电子有限公司 | 一种基于深度学习的会议异常行为检测方法及系统 |
| CN116935421A (zh) * | 2022-03-30 | 2023-10-24 | 米思米(上海)投资有限公司 | 图片表格识别方法及图片表格识别装置 |
-
2023
- 2023-11-27 CN CN202311593053.4A patent/CN117292213B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170098153A1 (en) * | 2015-10-02 | 2017-04-06 | Baidu Usa Llc | Intelligent image captioning |
| CN107920236A (zh) * | 2017-12-18 | 2018-04-17 | 广东欧珀移动通信有限公司 | 图像白平衡处理方法和装置、存储介质和电子设备 |
| WO2020248471A1 (zh) * | 2019-06-14 | 2020-12-17 | 华南理工大学 | 一种基于集聚交叉熵损失函数的序列识别方法 |
| US20230087494A1 (en) * | 2020-03-26 | 2023-03-23 | Brainlab Ag | Determining image similarity by analysing registrations |
| US20220122360A1 (en) * | 2020-10-21 | 2022-04-21 | Amarjot Singh | Identification of suspicious individuals during night in public areas using a video brightening network system |
| US20230048386A1 (en) * | 2021-01-28 | 2023-02-16 | Beijing zhongxiangying Technology Co.,Ltd. | Method for detecting defect and method for training model |
| CN112990318A (zh) * | 2021-03-18 | 2021-06-18 | 中国科学院深圳先进技术研究院 | 持续学习方法、装置、终端及存储介质 |
| CN113469272A (zh) * | 2021-07-20 | 2021-10-01 | 东北财经大学 | 基于Faster R-CNN-FFS模型的酒店场景图片的目标检测方法 |
| WO2023044663A1 (en) * | 2021-09-23 | 2023-03-30 | Intel Corporation | Methods and apparatus for team classification in sports analysis |
| US20230118864A1 (en) * | 2021-10-15 | 2023-04-20 | Kabushiki Kaisha Toshiba | Lifted semantic graph embedding for omnidirectional place recognition |
| CN116935421A (zh) * | 2022-03-30 | 2023-10-24 | 米思米(上海)投资有限公司 | 图片表格识别方法及图片表格识别装置 |
| CN114841257A (zh) * | 2022-04-21 | 2022-08-02 | 北京交通大学 | 一种基于自监督对比约束下的小样本目标检测方法 |
| CN116883916A (zh) * | 2023-09-08 | 2023-10-13 | 深圳市国硕宏电子有限公司 | 一种基于深度学习的会议异常行为检测方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| MOHAMMAD WAHYUDI NAFI’I: "Vehicle Brands and Types Detection Using Mask R-CNN", 《2019 INTERNATIONAL SEMINAR ON INTELLIGENT TECHNOLOGY AND ITS APPLICATIONS (ISITIA)》 * |
| 严星;尤洪峰;: "Faster-RCNN电力输送塔检测算法", 计算机仿真, no. 02 * |
| 张琦;胡广地;李雨生;赵鑫;: "改进Fast-RCNN的双目视觉车辆检测方法", 应用光学, no. 06 * |
| 李春明;逯杉婷;远松灵;王震洲;: "基于Faster R-CNN的除草机器人杂草识别算法", 中国农机化学报, no. 12 * |
| 陈朋;汤一平;何霞;王辉;袁公萍;: "基于多任务Faster R-CNN车辆假牌套牌的检测方法", 仪器仪表学报, no. 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117292213B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321830B (zh) | 一种基于神经网络的中文字符串图片ocr识别方法 | |
| CN110033473B (zh) | 基于模板匹配和深度分类网络的运动目标跟踪方法 | |
| CN108268838B (zh) | 人脸表情识别方法及人脸表情识别系统 | |
| CN110770752A (zh) | 多尺度特征融合网络结合定位模型的害虫自动计数方法 | |
| CN107194418B (zh) | 一种基于对抗特征学习的水稻蚜虫检测方法 | |
| CN107679078A (zh) | 一种基于深度学习的卡口图像车辆快速检索方法及系统 | |
| CN112149758B (zh) | 一种基于欧式距离和深度学习的高光谱开放集分类方法 | |
| CN112200121A (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
| WO2015146113A1 (ja) | 識別辞書学習システム、識別辞書学習方法および記録媒体 | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN109145770B (zh) | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 | |
| WO2007026951A1 (ja) | 画像検索方法及び装置 | |
| CN117292213B (zh) | 多类型相机下样本不均衡的松林变色异木识别方法 | |
| CN109615007B (zh) | 基于粒子滤波的深度学习网络目标检测方法 | |
| CN107729945A (zh) | 基于类间稀疏表示的鉴别回归、分类方法及系统 | |
| JP6220737B2 (ja) | 被写体領域抽出装置、方法、及びプログラム | |
| CN110992301A (zh) | 一种气体轮廓识别方法 | |
| CN110533636B (zh) | 一种图像分析装置 | |
| CN108664919A (zh) | 一种基于单样本的行为识别与检测方法 | |
| CN113316080A (zh) | 基于Wi-Fi与图像融合指纹的室内定位方法 | |
| Lin et al. | Wood color classification based on color spatial features and k-means algorithm | |
| CN111046861A (zh) | 识别红外影像是否存在样本设备的方法、构建电力设备识别模型的方法及应用 | |
| Rasmussen et al. | R-FCN object detection ensemble based on object resolution and image quality | |
| CN109299731A (zh) | 一种基于三维模拟的昆虫识别方法 | |
| Singh et al. | Deep Learning-based Rice Leaf Disease Diagnosis using Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |