CN114067105A - 谷物密度估计方法、存储介质及谷物密度估计设备 - Google Patents
谷物密度估计方法、存储介质及谷物密度估计设备 Download PDFInfo
- Publication number
- CN114067105A CN114067105A CN202210029477.7A CN202210029477A CN114067105A CN 114067105 A CN114067105 A CN 114067105A CN 202210029477 A CN202210029477 A CN 202210029477A CN 114067105 A CN114067105 A CN 114067105A
- Authority
- CN
- China
- Prior art keywords
- grain
- feature
- estimated
- image
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000002372 labelling Methods 0.000 claims abstract description 65
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 235000013339 cereals Nutrition 0.000 claims description 154
- 238000012545 processing Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 239000004464 cereal grain Substances 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000004044 response Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种谷物密度估计方法、存储介质及谷物密度估计设备，方法包括：获取待估计谷物图像，并对其中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框；利用预先训练好的特征提取模块对待估计谷物图像进行特征提取，得到多个特征图；利用预先训练好的多尺度特征相关性计算模块通过ROI Align操作将N个标注框分别映射到各特征图上，得到各特征图的M组估计样本特征，并对各特征图与相应的估计样本特征进行特征相关性计算，得到多组密度图；利用预先训练好的特征融合模块对多组密度图进行融合处理，得到待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数。由此，可以实现任意谷物的密度估计，提高准确性，提升效率。
Description
技术领域
本发明涉及谷物密度估计技术领域，尤其涉及一种谷物密度估计方法、一种计算机可读存储介质和一种谷物密度估计设备。
背景技术
谷物作为国家重要的粮食贮备资源，广泛用于粮食生产、饲料制作领域，有着极其重要的地位。提高谷物产量与质量的前提是培育出优质的谷物品种，这一过程对谷物密度估计必不可少。人工估计费时费力，并且谷物种类繁多，大籽粒谷物人工估计相对简单，而小籽粒谷物人眼受视觉疲劳限制等因素，人工估计困难。
人工智能与图像处理技术的加入解决了人工效率不足的问题，基于这些技术的目标估计方法可分为以下两种：基于目标检测的密度估计方法和基于回归的密度估计方法。其中，基于目标检测的密度估计方法将估计任务转化为目标检测任务，针对需要估计的类别构建数据集，最后在数据上建立检测模型，测试阶段输出的检测框数量等于最终的估计结果；基于回归的密度估计方法将输入图片映射为密度分布特征图，相对基于目标检测的密度估计方法而言能够得到细粒度的估计结果。然而，这两种方法都存在着需要大量人力与时间收集、标注数据，训练好的模型也只能针对固定类别，无法从一个谷物迁移到另一个谷物的估计任务中的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种谷物密度估计方法，可以实现任意谷物的密度估计，能够提高估计准确性，提升效率。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种谷物密度估计设备。
为达到上述目的，本发明第一方面实施例提出了一种谷物密度估计方法，包括以下步骤：获取待估计谷物图像，并对所述待估计谷物图像中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框，其中，N=（k+1）*M，M为大于等于3的整数，k为大于等于2的整数；利用预先训练好的特征提取模块对所述待估计谷物图像进行特征提取，得到多个特征图；利用预先训练好的多尺度特征相关性计算模块通过ROI Align操作将N个标注框分别映射到各所述特征图上，得到各所述特征图的M组估计样本特征，并对各所述特征图与相应的估计样本特征进行特征相关性计算，得到多组密度图，其中，每组密度图的数量为M；利用预先训练好的特征融合模块对所述多组密度图进行融合处理，得到所述待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数。
进一步地，k=2时，所述对所述待估计谷物图像中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框，包括：在所述待估计谷物图像中针对第一类别谷物籽粒绘制当前标注框，得到所述当前标注框的当前尺度信息；判断所述当前尺度信息是否大于上一个标注框的尺度信息与第一缩放系数的乘积，或者，小于所述上一个标注框的尺度信息与第二缩放系数的乘积，其中，所述第一缩放系数大于所述第二缩放系数；若否则返回所述在所述待估计谷物图像中绘制当前标注框的步骤，若是则判断所述当前标注框对应的序号是否为M；若不为M则在所述待估计谷物图像中针对所述第一类别谷物籽粒或其他类别谷物籽粒绘制下一个标注框，并进行下一个标注框的尺度判断，若为M则根据所述第一缩放系数、所述第二缩放系数分别对M个标注框进行缩放处理，得到M组N个不同尺度的标注框，其中，N=3*M。
根据本发明的一个实施例，所述特征提取模块采用ResNet50网络，所述ResNet50网络包括：依次连接的7×7步长为2的卷积层、3×3步长为2的池化层、四个阶段的bottleneck层。
进一步地，每个bottleneck层对输入图的处理流程包括：对所述输入图依次进行1×1卷积、批归一化、激活函数ReLu处理，得到第一输出图；对所述第一输出图依次进行3×3卷积、批归一化、激活函数ReLu处理，得到第二输出图；对所述第二输出图依次进行1×1卷积、批归一化处理，得到第三输出图；在所述输入图的维度与所述第三输出图的维度一致时，对所述输入图与所述第三输出图进行特征融合，之后进行激活函数ReLu处理；在所述输入图的维度与所述第三输出图的维度不一致时，对所述输入图依次进行1×1卷积、批归一化处理，得到第四输出图，并对所述第四输出图与所述第三输出图进行特征融合，之后进行激活函数ReLu处理。
进一步地，所述特征图的数量为3，所述四个阶段分别记为stage1、stage2、stage3、stage4，通过下式进行特征相关性计算：
Rh，j similraity=Conv(Rh query,Rh,j key)
其中，h=2,3,4，j=1,2,…,M，Rh query表示stage h输出的特征图，Rh，j key表示所述待估计谷物图像中第j组标注框经过3×3ROI Align映射到stage h输出的特征图上的估计样本特征，Conv（）表示卷积函数，Rh，j similraity表示stage h输出的特征图对应的第j个密度图。
进一步地，M=3，利用预先训练好的特征融合模块通过下式对所述多组密度图进行融合处理，得到所述待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数：
scale_scorei,j= Softmax(Sum( Conv(Ri,j similraity_trans)))，
output =
scale_scorei,j * Ri,j similraity_trans，
其中，i=1,2,3，j=1,2,3，Ri,j similraity_trans表示stage（i+1）输出的特征图对应的第j个密度图经反卷积后的图，scale_scorei, j表示stage（i+1）输出的特征图对应的第j个密度图的权重，output表示所述待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数。
根据本发明的一个实施例，所述第一缩放系数的取值为1～1.2，所述第二缩放系数的取值为0.8～1。
根据本发明的一个实施例，所述特征提取模块、所述多尺度特征相关性计算模块与所述特征融合模块的训练过程，包括：获取训练样本图像，并获取所述训练样本图像中谷物的标注框信息；根据所述标注框信息得到每个标注框的中心点，统计中心点的数量，并将该数量作为所述训练样本图像的谷物籽粒数；利用所述训练样本图像及其标注框、谷物籽粒数，不断更新所述特征提取模块、所述多尺度特征相关性计算模块与所述特征融合模块的参数。
根据本发明实施例的谷物密度估计方法，可以实现任意谷物的密度估计，能够提高估计准确性，提升效率。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述的谷物密度估计方法。
为达到上述目的，本发明第三方面实施例提出了一种谷物密度估计设备，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现所述的谷物密度估计方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的谷物密度估计方法的流程图；
图2是本发明一个具体实施例的谷物密度估计方法的示意图；
图3是本发明一个实施例的对待估计谷物图像进行标注的示意图；
图4是本发明一个实施例的ResNet50的示意图；
图5是本发明一个实施例的bottleneck层的示意图；
图6是本发明一个实施例的进行特征相关性计算的示意图；
图7是本发明一个具体实施例的密度图的示意图；
图8是本发明一个实施例的对多组密度图进行融合处理的示意图；
图9是本发明一个实施例的特征提取模块、多尺度特征相关性计算模块与特征融合模块的训练过程的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面首先对相关技术中基于目标检测的密度估计方法和基于回归的密度估计方法的缺点进行细述。
基于目标检测的密度估计方法的缺点为：基于目标检测的密度估计方法依赖于数据量与数据的标注信息，一方面检测模型结果与数据量正相关，数据的收集与标注都需要花费大量的时间与人力；另一方面需要对数据标注标注框信息，而对于一些密集场景下很难为每个目标提供合理的标注，导致检测模型训练困难且性能较差，直接影响密度估计的结果。并且，对于训练好的检测模型，在测试阶段中只能输入训练集中包含的类别，而对于一些未曾出现在训练集中的新类别则会失效。因此，更无法进行新类别的密度估计。
基于回归的密度估计方法的缺点为：基于回归的密度估计方法中使用的密度图是通过高斯核获得，同样只针对固定的单个类别，而对于新的类别需要重新收集数据建立新的模型。并且，虽然基于回归的密度估计方法的数据标注相比检测而言只需标注点，但针对大规模数据时仍然需要花费大量时间与人力。
针对上述问题，本发明提出一种谷物密度估计方法、一种计算机可读存储介质和一种谷物密度估计设备。
下面参考附图1-9描述本发明实施例的谷物密度估计方法、存储介质及谷物密度估计设备。
图1是本发明一个实施例的谷物密度估计方法的流程图。如图1-2所示，谷物密度估计方法，包括以下步骤：
S101、获取待估计谷物图像，并对待估计谷物图像中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框，其中，N=（k+1）*M，M为大于等于3的整数，k为大于等于2的整数。
具体地，现有密度估计方法不需要手动给定标注框信息，但需要估计的目标必须与训练集中的一致。需要说明的是，为了对任意样本进行估计，在获取到图2中输入的待估计谷物图像后，需要手动绘制待待估计谷物图像的标注框。
作为一个示例，当k=2时，对待估计谷物图像中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框，可包括：在待估计谷物图像中针对第一类别谷物籽粒绘制当前标注框，得到当前标注框的当前尺度信息；判断当前尺度信息是否大于上一个标注框的尺度信息与第一缩放系数的乘积，或者，小于上一个标注框的尺度信息与第二缩放系数的乘积，其中，第一缩放系数大于第二缩放系数；若否则返回在待估计谷物图像中绘制当前标注框的步骤，若是则判断当前标注框对应的序号是否为M；若不为M则在待估计谷物图像中针对第一类别谷物籽粒或其他类别谷物籽粒绘制下一个标注框，并进行下一个标注框的尺度判断，若为M则根据第一缩放系数、第二缩放系数分别对M个标注框进行缩放处理，得到M组N个不同尺度的标注框，其中，N=3*M。上述第一缩放系数的取值为1～1.2，第二缩放系数的取值为0.8～1。
具体地，当k=2时，在待估计谷物图像中针对第一类别谷物籽粒绘制当前标注框，并将当前标注框的宽高信息保存。进一步地，判断当前标注框宽或高是否大于上一次绘制的标注框宽或高乘上第一缩放系数（如1.1）时的宽或高，或者小于上一次绘制的标注框宽或高乘上第二缩放系数（如0.9）时的宽或高。如果不满足以上两个条件，则返回在待估计谷物图像中绘制当前标注框的步骤。如果满足以上两个条件之一，则判断当前标注框对应的序号是否为M。若不为M，则在待估计谷物图像中针对第一类别谷物籽粒或其他类别谷物籽粒绘制下一个标注框，并进行下一个标注框的尺度判断，若为M，则根据第一缩放系数、第二缩放系数分别对M个标注框进行缩放处理，得到M组N个不同尺度的标注框，其中，N=3*M。需要说明的是，绘制的标注框需要贴合谷物籽粒。也就是说，可以直接根据图像籽粒大小进行绘制标注框，但是这样会有损密度估计的准确性。由此，本发明考虑了谷物籽粒存在大小不一，若只给定大尺度的谷物籽粒，在后续计算中会遗漏小尺度的谷物籽粒的问题，通过判断每一次绘制的当前标注框是否与之前给定标注框尺度重复，保证了尺度能够涵盖图像中所有谷物的尺度。
举例而言，如果k=2，M=3，第一缩放系数为1.1，第二缩放系数为0.9时，则每次绘制的标注框为一个尺度，对该尺度进行缩放处理，得到三个尺度，即对于每次绘制的标注框都有原尺度、尺度*0.9、尺度*1.1。如图3所示，将第一次绘制的标注框作为A框，保存A框的标注框信息（Ha，Wa）、（1.1*Ha，1.1*Wa）、（0.9*Ha，0.9*Wa），第二次绘制的标注框作为B框，B框的长宽需满足（Hb，Wb）>（1.1*Ha，1.1*Wa）或（Hb，Wb）<（0.9*Ha，0.9*Wa），满足则保存B框标注框信息（Hb，Wb），（1.1*Hb，1.1*Wb）、（0.9*Hb，0.9*Wb），第三次绘制的标注框作为C框，C框的长宽需满足（Hc，Wc）>（1.1*Hb，1.1*Wb）或（Hc，Wc）<（0.9*Hb，0.9*Wb），满足则保存C框标注框信息（Hc，Wc），（1.1*Hc，1.1*Wc）、（0.9*Hc，0.9*Wc）。得到三个尺度的标注框分别为，A：（Ha，Wa）、（1.1*Ha，1.1*Wa）、（0.9*Ha，0.9*Wa），B：（Hb，Wb），（1.1*Hb，1.1*Wb）、（0.9*Hb，0.9*Wb），C：（Hc，Wc），（1.1*Hc，1.1*Wc）、（0.9*Hc，0.9*Wc）。由此，通过对三次绘制中，每一次绘制的标注框进行缩放，判断每一次绘制的标注框是否与上一次标注框尺度重复，以及将三个尺度不一致的标注框进行缩放处理，最终得到9个不同尺度大小的估计样本。
S102、利用预先训练好的特征提取模块对待估计谷物图像进行特征提取，得到多个特征图。
具体地，特征提取模块采用ResNet（Residual Network，残差网络）50网络，如图4所示，ResNet50网络包括：依次连接的7×7步长为2的卷积层、3×3步长为2的池化层、4个阶段的bottleneck（瓶颈层），其中，每个bottleneck由多个shortcut connection（跳跃连接）组成，bottleneck×3说明有3个shortcut connection这种结构。
图5是本发明一个实施例的bottleneck层的示意图。如图5所示，每个bottleneck层对输入图的处理流程包括：对输入图依次进行1×1卷积、BN（Batch Normalization，批归一化）、ReLu（Rectified Linear Unit，激活函数）处理，得到第一输出图；对第一输出图依次进行3×3卷积、批归一化BN、激活函数ReLu处理，得到第二输出图；对第二输出图依次进行1×1卷积、批归一化BN处理，得到第三输出图；在输入图的维度与第三输出图的维度一致时，对输入图与第三输出图进行特征融合，之后进行激活函数ReLu处理；在输入图的维度与第三输出图的维度不一致（即×1-d不等于×4-d）时，对输入图依次进行1×1卷积、批归一化BN处理，得到第四输出图，并对第四输出图与第三输出图进行特征融合，之后进行激活函数ReLu处理。需要说明的是，当维度不一致时使用1×1卷积保证维度一致，该操作称为“shortrcut connection”，该操作可以在网络提取更深层次特征的基础上防止梯度消失。
由此，如图2、图4-5所示，通过预先训练好的特征提取模块对待估计谷物图像进行特征提取，得到多个特征图。
S103、利用预先训练好的多尺度特征相关性计算模块通过ROI Align操作将N个标注框分别映射到各特征图上，得到各特征图的M组估计样本特征，并对各特征图与相应的估计样本特征进行特征相关性计算，得到多组密度图，其中，每组密度图的数量为M。
具体地，如图2、图4、图6所示，四个阶段分别记为stage1、stage2、stage3、stage4，经过特征提取模块后，stage2-stage4得到3个不同尺度大小特征图，最小尺寸为原来的1/32，为了保证对齐的准确性，使用3×3 ROI Align将绘制的N个标注框映射到各特征图上，得到各特征图的M组估计样本特征。不同尺度的特征图蕴含的特征信息不一样，且相似性计算结果也不相同，为了利用不同尺度特征图上的信息，在stage2、stage3、stage4分别进行操作。进一步地，通过下式进行特征相关性计算：
Rh，j similraity=Conv(Rh query,Rh，j key)，
其中，h=2,3,4，j=1,2,…,M，Rh query表示stage h输出的特征图，Rh，j key表示待估计谷物图像中第j组标注框经过3×3ROI Align映射到stage h输出的特征图上的估计样本特征，Conv（）表示卷积函数，Rh，j similraity表示stage h输出的特征图对应的第j个密度图。具体而言，将估计样本特征Rh，j key看作卷积核，卷积可以看作两特征间的内积计算，反映了两个特征间的相似性。相似度计算转变为固定卷积核Rh，j key与特征图Rh query的计算。
举例而言，如图7所示，背景的特征值接近0，当Rh，j key与背景卷积Conv计算后的值接近于0，则响应较低，估计样本特征图则远大于0，与Rh，j key卷积Conv计算后得到较大值，则响应较大。即待估计谷物图像中与估计样本相同区域的地方有较高响应，背景处响应较低，根据响应高低得到了Rh，j key与Rh query的密度图。
需要说明的是，现有估计方法中不会计算特征相似性，将图像映射到高维特征后，基于目标检测估计方法直接回归出物体位置，边界框数量等于最终的估计结果，本质上也是单个尺度上的预测，而基于回归的密度估计方法较少使用多尺度信息，多使用密度图作为中间表示来连接高维特征图与估计结果。但是，本发明将估计问题转化为特征相似性问题，不仅可以针对各种谷物，而且引入多尺度特征图计算。由此，相比以往只用最后一层特征，没有考虑综合的特征信息，多尺度特征相似性计算能够提供更多的特征信息，便于作出更准确的预测。
S104、利用预先训练好的特征融合模块对多组密度图进行融合处理，得到待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数。
具体地，为了进一步利用多尺度特征相关性计算模块带来的多尺度信息，以此来优化最终估计结果。现有特征融合算法，多是将特征图缩放到统一尺寸，然后进行逐元素相加或者按通道堆叠，这种算法没有考虑到各个尺度对最终结果的贡献是不一样的。因此，本发明提出了一种新的特征融合模块，考虑了不同尺度的权重，能够更加合理的融合特征，对于得分较低的响应结果赋予较小的权重，得分高的响应结果赋予较大权重。
具体而言，由于Rh query的尺度各不相同，如图2、图6所示，三个特征层上得到的密度图尺度也不相同，针对多尺度特征融合，本发明提出了特征融合模块。当M=3时，利用预先训练好的特征融合模块通过下式，对多组密度图进行融合处理，得到待估计谷物图像的谷物籽粒数。
scale_scorei,j= Softmax(Sum( Conv(Ri,j similraity_trans)))，
output = 
scale_scorei,j * Ri,j similraity_trans，
其中，i=1,2,3，j=1,2,3，Ri,j similraity_trans表示stage（i+1）输出的特征图对应的第j个密度图经反卷积后的图，scale_scorei, j表示stage（i+1）输出的特征图对应的第j个密度图的权重，output表示待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数。
也就是说，如图8所示，首先将得到的密度图反卷积到与待估计谷物图像相同尺寸，得到Ri,j similraity_trans后使用1×1卷积将通道减小为1，对所有特征图像素进行Sum求和，其中，深度学习中特征融合方式分为add方式与concat方式，Sum求和即采用add方式，特征图对应位置特征值相加。最后，经过Softmax后得到scale_scorei, j（即不同尺度特征图的贡献大小），将scale_scorei, j与Ri,j similraity_trans相乘（即依据不同权重融合不同层间的特征），得到的结果进行element-wise融合，输出最终结果，即待估计谷物图像的谷物的籽粒数。由此，通过对不同尺度上的密度图分配不同权重，更加合理的融合特征。
综上所述，该谷物密度估计方法，通过特征提取模块、多尺度特征相关性计算模块与特征融合模块，得到待估计谷物图像的谷物籽粒数，可以实现任意谷物的密度估计，能够提高估计准确性，提升效率。
图9是本发明一个实施例的特征提取模块、多尺度特征相关性计算模块与特征融合模块的训练过程的流程图。如图9所示，特征提取模块、多尺度特征相关性计算模块与特征融合模块的训练过程，包括：
S201、获取训练样本图像，并获取训练样本图像中谷物的标注框信息。
S202、根据标注框信息得到每个标注框的中心点，统计中心点的数量，并将该数量作为训练样本图像的谷物籽粒数。
S203、利用训练样本图像及其标注框、谷物籽粒数，不断更新特征提取模块、多尺度特征相关性计算模块与特征融合模块的参数。
需要说明的是，在训练阶段中，无需手动给定标注框信息，从标注数据获取标注框信息即可，根据标注框信息计算得到每个标注框的中心点，统计中心点的数量，并将该数量作为密度估计的标签信息，其余过程与图1-2一致。整个训练阶段不断更新特征提取模块、多尺度特征相关性计算模块与特征融合模块参数。
由此，基于少样本的密度估计，能以更少的数据完成密度估计任务；不局限于固定各类谷物，通过在测试阶段给定少部分新类别谷物样本后，便能够在训练阶段分类出新类别图像，从而，对于新类别的密度任务不需要重新收集、标注数据，只需要少量的样本就能快速学习，并且，少样本密度估计能够以较少的数据从一个谷物类别迁移到另一个新的谷物类别密度估计任务中。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述实施例的谷物密度估计方法。
本发明实施例的计算机可读存储介质，在其上存储的与上述谷物密度估计方法对应的计算机程序被处理器执行时，可以实现任意谷物的密度估计，能够提高估计准确性，提升效率。
本发明还提供了一种谷物密度估计设备，包括存储器、处理器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现上述实施例的谷物检测方法。
本发明实施例的谷物密度估计设备，在其存储器上存储的与上述谷物检测方法对应的计算机程序被处理，可以实现任意谷物的密度估计，能够提高估计准确性，提升效率。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种谷物密度估计方法，其特征在于，包括以下步骤：
获取待估计谷物图像，并对所述待估计谷物图像中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框，其中，N=（k+1）*M，M为大于等于3的整数，k为大于等于2的整数；
利用预先训练好的特征提取模块对所述待估计谷物图像进行特征提取，得到多个特征图；
利用预先训练好的多尺度特征相关性计算模块通过ROI Align操作将N个标注框分别映射到各所述特征图上，得到各所述特征图的M组估计样本特征，并对各所述特征图与相应的估计样本特征进行特征相关性计算，得到多组密度图，其中，每组密度图的数量为M；
利用预先训练好的特征融合模块对所述多组密度图进行融合处理，得到所述待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数。
2.如权利要求1所述的谷物密度估计方法，其特征在于，k=2时，所述对所述待估计谷物图像中的一种或多种谷物籽粒进行标注，得到M组N个不同尺度的标注框，包括：
在所述待估计谷物图像中针对第一类别谷物籽粒绘制当前标注框，得到所述当前标注框的当前尺度信息；
判断所述当前尺度信息是否大于上一个标注框的尺度信息与第一缩放系数的乘积，或者，小于所述上一个标注框的尺度信息与第二缩放系数的乘积，其中，所述第一缩放系数大于所述第二缩放系数；
若否则返回所述在所述待估计谷物图像中绘制当前标注框的步骤，若是则判断所述当前标注框对应的序号是否为M；
若不为M则在所述待估计谷物图像中针对所述第一类别谷物籽粒或其他类别谷物籽粒绘制下一个标注框，并进行下一个标注框的尺度判断，若为M则根据所述第一缩放系数、所述第二缩放系数分别对M个标注框进行缩放处理，得到M组N个不同尺度的标注框，其中，N=3*M。
3.如权利要求1所述的谷物密度估计方法，其特征在于，所述特征提取模块采用ResNet50网络，所述ResNet50网络包括：依次连接的7×7步长为2的卷积层、3×3步长为2的池化层、四个阶段的bottleneck层。
4.如权利要求3所述的谷物密度估计方法，其特征在于，每个bottleneck层对输入图的处理流程包括：
对所述输入图依次进行1×1卷积、批归一化、激活函数ReLu处理，得到第一输出图；
对所述第一输出图依次进行3×3卷积、批归一化、激活函数ReLu处理，得到第二输出图；
对所述第二输出图依次进行1×1卷积、批归一化处理，得到第三输出图；
在所述输入图的维度与所述第三输出图的维度一致时，对所述输入图与所述第三输出图进行特征融合，之后进行激活函数ReLu处理；
在所述输入图的维度与所述第三输出图的维度不一致时，对所述输入图依次进行1×1卷积、批归一化处理，得到第四输出图，并对所述第四输出图与所述第三输出图进行特征融合，之后进行激活函数ReLu处理。
5.如权利要求3所述的谷物密度估计方法，其特征在于，所述特征图的数量为3，所述四个阶段分别记为stage1、stage2、stage3、stage4，通过下式进行特征相关性计算：
Rh，j similraity=Conv(Rh query,Rh，j key)，
其中，h=2,3,4，j=1,2,…,M，Rh query表示stage h输出的特征图，Rh，j key表示所述待估计谷物图像中第j组标注框经过3×3ROI Align映射到stage h输出的特征图上的估计样本特征，Conv（）表示卷积函数，Rh，j similraity表示stage h输出的特征图对应的第j个密度图。
6.如权利要求5所述的谷物密度估计方法，其特征在于，M=3，利用预先训练好的特征融合模块通过下式对所述多组密度图进行融合处理，得到所述待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数：
scale_scorei,j= Softmax(Sum( Conv(Ri,j similraity_trans)))，
output =
scale_scorei,j * Ri,j similraity_trans，
其中，i=1,2,3，j=1,2,3，Ri,j similraity_trans表示stage（i+1）输出的特征图对应的第j个密度图经反卷积后的图，scale_scorei, j表示stage（i+1）输出的特征图对应的第j个密度图的权重，output表示所述待估计谷物图像中与所标注谷物籽粒同类别的谷物籽粒数。
7.如权利要求2所述的谷物密度估计方法，其特征在于，所述第一缩放系数的取值为1～1.2，所述第二缩放系数的取值为0.8～1。
8.如权利要求1所述的谷物密度估计方法，其特征在于，所述特征提取模块、所述多尺度特征相关性计算模块与所述特征融合模块的训练过程，包括：
获取训练样本图像，并获取所述训练样本图像中谷物的标注框信息；
根据所述标注框信息得到每个标注框的中心点，统计中心点的数量，并将该数量作为所述训练样本图像的谷物籽粒数；
利用所述训练样本图像及其标注框、谷物籽粒数，不断更新所述特征提取模块、所述多尺度特征相关性计算模块与所述特征融合模块的参数。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的谷物密度估计方法。
10.一种谷物密度估计设备，包括存储器、处理器和存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如权利要求1-8中任一项所述的谷物密度估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210029477.7A CN114067105B (zh) | 2022-01-12 | 2022-01-12 | 谷物密度估计方法、存储介质及谷物密度估计设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210029477.7A CN114067105B (zh) | 2022-01-12 | 2022-01-12 | 谷物密度估计方法、存储介质及谷物密度估计设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067105A true CN114067105A (zh) | 2022-02-18 |
| CN114067105B CN114067105B (zh) | 2022-04-22 |
Family
ID=80230820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210029477.7A Active CN114067105B (zh) | 2022-01-12 | 2022-01-12 | 谷物密度估计方法、存储介质及谷物密度估计设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067105B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120288161A1 (en) * | 2007-06-27 | 2012-11-15 | Pioneer Hi Bred International Inc | Method of high-throughput pollen extraction, counting, and use of counted pollen for characterizing a plant |
| CN106874930A (zh) * | 2016-12-29 | 2017-06-20 | 中国农业大学 | 一种籽粒分类方法及装置 |
| CN110967339A (zh) * | 2018-09-29 | 2020-04-07 | 北京瑞智稷数科技有限公司 | 一种玉米果穗性状分析的方法及装置、玉米性状分析设备 |
| AU2020100915A4 (en) * | 2020-06-02 | 2020-07-09 | Yangzhou University | A Method For Quickly Counting Rice And Wheat Grains |
| US20200387718A1 (en) * | 2019-06-10 | 2020-12-10 | City University Of Hong Kong | System and method for counting objects |
| CN112288022A (zh) * | 2020-11-02 | 2021-01-29 | 河南工业大学 | 一种基于ssd算法的特征融合的粮虫识别方法和识别系统 |
| CN112560749A (zh) * | 2020-12-23 | 2021-03-26 | 安徽高哲信息技术有限公司 | 一种农作物分析系统和分析方法 |
| CN112580671A (zh) * | 2020-12-31 | 2021-03-30 | 华南农业大学 | 一种基于深度学习的稻穗多发育期自动检测方法及系统 |
| CN112966659A (zh) * | 2021-03-31 | 2021-06-15 | 北湾科技(武汉)有限公司 | 一种基于深度学习的视频图像小目标检测方法 |
| CN113012150A (zh) * | 2021-04-14 | 2021-06-22 | 南京农业大学 | 一种特征融合的高密度稻田无人机图像稻穗计数方法 |
-
2022
- 2022-01-12 CN CN202210029477.7A patent/CN114067105B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120288161A1 (en) * | 2007-06-27 | 2012-11-15 | Pioneer Hi Bred International Inc | Method of high-throughput pollen extraction, counting, and use of counted pollen for characterizing a plant |
| CN106874930A (zh) * | 2016-12-29 | 2017-06-20 | 中国农业大学 | 一种籽粒分类方法及装置 |
| CN110967339A (zh) * | 2018-09-29 | 2020-04-07 | 北京瑞智稷数科技有限公司 | 一种玉米果穗性状分析的方法及装置、玉米性状分析设备 |
| US20200387718A1 (en) * | 2019-06-10 | 2020-12-10 | City University Of Hong Kong | System and method for counting objects |
| AU2020100915A4 (en) * | 2020-06-02 | 2020-07-09 | Yangzhou University | A Method For Quickly Counting Rice And Wheat Grains |
| CN112288022A (zh) * | 2020-11-02 | 2021-01-29 | 河南工业大学 | 一种基于ssd算法的特征融合的粮虫识别方法和识别系统 |
| CN112560749A (zh) * | 2020-12-23 | 2021-03-26 | 安徽高哲信息技术有限公司 | 一种农作物分析系统和分析方法 |
| CN112580671A (zh) * | 2020-12-31 | 2021-03-30 | 华南农业大学 | 一种基于深度学习的稻穗多发育期自动检测方法及系统 |
| CN112966659A (zh) * | 2021-03-31 | 2021-06-15 | 北湾科技(武汉)有限公司 | 一种基于深度学习的视频图像小目标检测方法 |
| CN113012150A (zh) * | 2021-04-14 | 2021-06-22 | 南京农业大学 | 一种特征融合的高密度稻田无人机图像稻穗计数方法 |
Non-Patent Citations (3)
| Title |
|---|
| ALEX-LEUNG: "BottleneckBlock的相关计算", 《博客：HTTPS://BLOG.CSDN.NET/A2824256/ARTICLE/DETAILS/107843488》 * |
| S. KHAKI 等: "DeepCorn: A Semi-Supervised Deep Learning Method for High-Throughput Image-Based Corn Kernel Counting and Yield Estimation", 《ARXIV》 * |
| 王莹 等: "基于密度估计和VGG-Two的大豆籽粒快速计数方法", 《智慧农业》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114067105B (zh) | 2022-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230186476A1 (en) | Object detection and instance segmentation of 3d point clouds based on deep learning | |
| CN108597582B (zh) | 一种用于执行Faster R-CNN神经网络运算的方法和装置 | |
| CN112232407B (zh) | 病理图像样本的神经网络模型训练方法、装置 | |
| CN111310756B (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN108664986B (zh) | 基于lp范数正则化的多任务学习图像分类方法及系统 | |
| CN110543916B (zh) | 一种缺失多视图数据的分类方法及系统 | |
| CN109102512B (zh) | 一种基于dbn神经网络的mri脑肿瘤图像分割方法 | |
| CN112614133A (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| CN112288022B (zh) | 一种基于ssd算法的特征融合的粮虫识别方法和识别系统 | |
| CN111862189B (zh) | 体尺信息确定方法、装置、电子设备和计算机可读介质 | |
| CN107766695B (zh) | 一种获取外周血基因模型训练数据的方法及装置 | |
| CN115294086A (zh) | 医学影像分割方法、分割模型训练方法、介质及电子设备 | |
| CN117115640A (zh) | 一种基于改进YOLOv8的病虫害目标检测方法、装置及设备 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN117576195A (zh) | 一种植物叶片形态识别方法 | |
| CN114067105B (zh) | 谷物密度估计方法、存储介质及谷物密度估计设备 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN112132137A (zh) | 一种基于FCN-SPP-Focal Net的抽象画图像正确方向的识别方法 | |
| CN111414930B (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
| CN115953371A (zh) | 一种绝缘子缺陷检测方法、装置、设备和存储介质 | |
| CN113408546B (zh) | 基于相互全局上下文注意力机制的单样本目标检测方法 | |
| CN112598663B (zh) | 基于视觉显著性的粮食害虫检测方法和装置 | |
| CN115439440A (zh) | 一种基于深度学习的雏鸡快慢羽检测识别方法 | |
| CN115762796A (zh) | 目标模型的获取方法、预后评估值确定方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |