CN116721412B - 一种自下而上的基于结构性先验的豆荚关键点检测方法和系统 - Google Patents

一种自下而上的基于结构性先验的豆荚关键点检测方法和系统 Download PDF

Info

Publication number
CN116721412B
CN116721412B CN202310406872.7A CN202310406872A CN116721412B CN 116721412 B CN116721412 B CN 116721412B CN 202310406872 A CN202310406872 A CN 202310406872A CN 116721412 B CN116721412 B CN 116721412B
Authority
CN
China
Prior art keywords
pod
bean
beans
key point
pods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310406872.7A
Other languages
English (en)
Other versions
CN116721412A (zh
Inventor
贺菁菁
王军
徐晓刚
李萧缘
何鹏飞
陈若晨
杨素欣
高金珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Institute of Geography and Agroecology of CAS
Zhejiang Lab
Original Assignee
Northeast Institute of Geography and Agroecology of CAS
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Institute of Geography and Agroecology of CAS, Zhejiang Lab filed Critical Northeast Institute of Geography and Agroecology of CAS
Priority to CN202310406872.7A priority Critical patent/CN116721412B/zh
Publication of CN116721412A publication Critical patent/CN116721412A/zh
Application granted granted Critical
Publication of CN116721412B publication Critical patent/CN116721412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种自下而上的基于结构性先验的豆荚关键点检测方法，自定义不同类型豆荚中豆粒的关键点含义，构建了包含主干网络、豆粒位置置信度热力图子网络、部位亲和域子网络、结构先验子网络四部分的自下而上的豆粒关键点检测网络，可实现先利用位置置信度检测得到所有的豆粒位置，然后结合部位亲和域积分计算，利用匈牙利算法得到豆粒之间的最优匹配连接关系，从而提取到豆荚的数量和豆荚的类型。特别的，在训练阶段通过添加结构先验子网络，提升模型的准确率。还包括一种自下而上的基于结构性先验的豆荚关键点检测系统。本发明从豆荚形态上确定豆荚类型，可快速同时检测多个豆荚，并定位得到豆荚中每个豆粒的位置。

Description

一种自下而上的基于结构性先验的豆荚关键点检测方法和 系统
技术领域
本发明涉及机器学习领域，尤其是涉及一种自下而上的基于结构性先验的豆荚关键点检测方法和系统。
背景技术
发现优良品种，提高大豆产量，一直是育种家们研究的关键问题。我国国家标准规定了44个表型性状的定义，其中主要决定产量的因素包含了三个：单个植株的豆荚数、豆粒数、以及粒重。传统表型分析通常由人工完成，成本高、时间长、误差大，亟需自动化的表型提取技术。深度学习由于其自动化的特征提取能力，在计算机视觉任务中取得了巨大的成功，包含图像分类、图像分割、目标检测等。
目前，深度学习的豆荚检测与识别技术包含了基于分割的方法和基于检测的方法。基于分割的方法，是将豆粒从植株上摘取下来，放在简单、干净的背景下，将豆荚作为前景进行分割。这种方法不仅破坏了植株的空间完整性，还只能定位出豆荚区域，后面需再训练一个豆荚的分类模型，来判定豆荚的类型。基于检测的方法，是将豆荚作为一个目标整体进行检测，有基于anchor的方法和anchor-free的两种方式。基于anchor的方法，由于正框的限制和anchor比例的人工设定，导致容易检测出较多的背景区域，且密集区域容易漏检；基于anchor-free的检测方法，由于其较高的精度，已逐渐成为主流的检测方法。但是基于检测的方法需要大量的数据标注，对于豆荚来说，其整体结构为刚体，不会存在较大的变形，有多较多的相似性。
发明内容
为解决现有技术的不足，本发明提供了一种自下而上的基于结构性先验的豆荚关键点检测方法和系统，基于自下而上的OpenPose模型自定义豆荚关键点，利用结合豆荚与豆粒的结构先验训练豆粒置信度热力图和部位亲和域两个子网络，应用阶段利用匈牙利算法进行聚类得到每个豆荚的类型以及豆粒位置。本发明采用如下的技术方案：
一种自下而上的基于结构性先验的豆荚关键点检测方法，包括如下步骤：
S1，采集大豆图像数据集，构造用于大豆关键点检测训练、测试的数据集，并对大豆关键点数据集中豆荚以及豆粒的位置进行标注；
S2，构造自下而上的关键点检测模型，利用所述S1中构建的大豆关键点数据集进行模型的训练。具体包括如下步骤：
S21，自定义不同豆荚类型的关键点含义，生成用于监督训练的真值信息；
S22，构建基于OpenPose的关键点检测网络模型，包含主干子网络、豆粒置信度热力图生成子网络、部位亲和域生成子网络、结构先验指导子网络四个部分；
S23，将大豆训练数据集输入和所述S21得到的监督信息，输入到所述S22的关键点检测网络中，进行模型的迭代训练，输出最终的豆粒关键点检测网络模型。
S3，将待测试图片输入到所述S2中所述最终豆粒关键点检测网络模型，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置。
进一步的，所述S1采集大豆图像数据集，通过针对成熟期大豆整株，在室内环境中固定在简单白色背景中，特定光照的环境下拍照获得。利用标注工具对图像进行豆粒位置及所属豆荚编号的信息标注，随后按照特定的比例对原始图片进行裁剪，获得用于关键点模型训练的数据集；
进一步的，所述按照特定的比例对原始图片进行裁剪，是按照固定的图像长宽大小和以及步长获取得到，包含了裁剪后的图像和图像中包含的豆粒及所述豆荚编号信息。
进一步的，所述S21自定义不同豆荚类型的关键点含义，将所有豆荚看做是五粒，其中一粒荚中第一颗豆粒可见，剩余豆粒不可见；二粒荚中第一颗、第二颗豆粒可见，其余豆粒不可见；依次类推到五粒荚。
进一步的，所述S21生成用于监督训练的真值信息，包含了豆粒位置的置信度热力图C、部位亲和域图L以及结构先验矩阵M；
进一步的，所述豆粒位置的置信度热力图，是利用高斯函数生成高斯模板，在初始热力图中相应豆粒位置进行叠加获得，每个豆粒生成一份，总共有五份豆粒位置热力图，分别是第一粒豆的位置置信图、第二粒豆的位置置信图、第三粒豆的位置置信图、第四粒豆的位置置信图、第五粒豆的位置置信图；
进一步的，所述部位亲和域图，依据豆荚中豆粒是否有连接生成，五粒豆荚有四条连接线，每条包含横向x和纵向y两个方向，所以总共有8份部位亲和域图，分别是：第一粒豆粒与第二粒豆粒连接的两个方向的亲和域，第二粒豆粒与第三粒豆粒连接的两个方向的亲和域，第三粒豆粒与第四粒豆粒连接的两个方向的亲和域，第四粒豆粒与第五粒豆粒连接的两个方向的亲和域。若豆粒不可见，则不生成对应的部位亲和域。
进一步的，所述结构先验矩阵，依据豆粒位置从上到下、从左到右的顺序进行编号，两两判断豆粒是否属于同一个豆荚，若属于同一个豆荚，则值为1，不属于同一个豆荚，则值为0，从而获得N×N的结构先验矩阵M＝{mij},其中：
进一步的，所述S22主干子网络是基于CNN的图像特征提取模块，包含了卷积层、激活层等。
进一步的，所述S22豆粒置信度热力图生成子网络，级联与主干子网络之后，生成预测的豆粒位置置信度热力图
进一步的，所述S22部位亲和域图子网络，级联与主干子网络之后，与置信度热力图并联，生成预测的豆荚关键点的亲和域
进一步的，所述S22结构先验指导子网络，级联与主干子网络之后，与置信度热力图、亲和域图并联，生成预测的结构先验矩阵其中，/>中豆粒的编号与所述S21中真值结构先验矩阵M中的豆粒编号一致。
进一步的，所述S2中，构建基于OpenPose的关键点检测模型，其位置置信度子网络与部位亲和域子网络可通过这两个模块之间的级联、并联或者重合后级联或者并联堆叠1个或者多个得到。
进一步的，所述S23将大豆训练数据集输入和所述S21得到的监督信息，输入到所述S22的关键点检测网络中，模型的损失包含了三部分：
f＝ fhmap+ fpaf+ ρfprior (2)
其中，fhmap为豆粒位置置信度热力图的损失，fpaf为部位亲和域的损失，fprior为结构先验矩阵的损失，ρ为超参数，取值为大于等于0的浮点数。fhmap为Tc＝5个位置热力图的损失之和，fpaf为Tl＝8个部位亲和域的损失之和：
其中，为位置置信度热力图损失，fl t为部位亲和域损失，均采用L2损失：
进一步的，fprior采用L2损失：
进一步的，所述S3将待测试图片输入到所述S2中所述最终的网络检测模型中，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置，具体包含如下步骤：
S31，将待测试图片输入到所述S2训练得到的豆荚关键点检测模型中，预测得到豆粒置信度热力图和部位亲和域；
S32，分别从5个豆粒置信度热力图中筛选出局部区域最大点，作为预测到的所有豆粒所在的位置；
S33，根据所述S32预测得到的豆粒位置，从8个部位亲和域中通过采样积分得到所述豆粒之间的亲和力值，其中在亲和域图上的采样区间对应豆粒位置区间。
S34，利用匈牙利算法，对豆粒亲和域按照所述S33得到的亲和力值进行最大值匹配，从而输出图片中的所有豆粒，以及豆粒相互连接后所属的豆荚。
本发明还包括一种自下而上的基于结构性先验的豆荚关键点检测系统，包括：
大豆图像数据集采集模块，用于构造用于大豆关键点检测训练、测试的数据集，并对大豆关键点数据集中的豆荚、豆粒进行标注；
自下而上的关键点检测模型构造模块，利用大豆图像数据集采集模块构建的大豆关键点数据集进行模型的训练；具体包括：
自定义不同豆荚类型的关键点含义，生成用于监督训练的真值信息；
构建基于OpenPose的关键点检测网络模型，包含主干子网络、豆粒置信度热力图生成子网络、部位亲和域生成子网络、结构先验指导子网络四个部分；
将大豆训练数据集输入和监督信息，输入到关键点检测网络中，进行模型的迭代训练，输出最终的豆粒关键点检测网络模型；
豆荚类型以及豆粒位置获取模块，将待测试图片输入到最终的豆粒关键点检测网络模型，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置。
本发明还包括一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的一种自下而上的基于结构性先验的豆荚关键点检测方法。
本发明还涉及一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本发明的一种自下而上的基于结构性先验的豆荚关键点检测方法。
本发明的优势和有益效果在于：
本发明的技术方案，针对基于分割与基于检测的豆荚类型识别方法效果不佳、计算复杂度高、速度慢的问题，提出了一种自下而上的豆粒关键点检测方法。利用豆粒位置置信度热力图估算豆粒的位置，相比于检测算法准确度高、速度快，利用豆荚中豆粒之间的连接关系，构建部位亲和域，可实现豆粒之间连接关系的查找。由于豆荚是刚性物体，更容易从少量的样本中获取得到连接关系的模式，减少数据的标注量。将豆荚的结构性先验知识加入到模型的训练过程中，提高了模型对于连接关系学习的能力，且不影响推理速度。本发明从豆粒连接形态上确定豆荚类型，可实现准确的检测豆粒的位置以及属于豆荚的信息。
附图说明
图1是本发明方法实现的步骤流程图。
图2是本发明在本实例中图片裁剪的示意图。
图3是本发明方法中豆荚关键点检测模型的训练步骤流程图。
图4是本发明方法中豆荚关键点检测模型的网络结构图。
图5是本发明方法在本实例中实现效果图，图中亮点为依据豆粒位置置信度热力图中检测到的豆粒。
图6是本发明的系统结构图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
实施例1
OpenPose用于解决计算机视觉领域中，关于人体姿态识别的问题，属于人体关键点检测中的自下而上的算法。首先检测出人体各个部位的关键点，然后通过计算部位亲和力域，采用匈牙利算法进行人体部位关键点之间的最优匹配，从而同时实现图像中人体的检测以及人体关键点的定位。自上而下的人体关键点检测算法，是先检测出人体，再从检测出的人体中定位关键点位置，这种方法严重依赖于人体检测器的效果，且需要分别对图像中的人体关键点进行定位，导致处理速度较慢。
如图1所示，本发明首先采集大豆图像，完成数据集的构建和标注，然后利用构建好的模型进行豆荚关键点检测模型的训练，最后输入待测试图片，结合预测得到的豆粒位置置信度热力图和部位亲和域，提取得到豆粒位置以及豆粒匹配关系。下面结合图1所示的流程图，详细介绍对本发明的一种自下而上的基于结构性先验的豆荚关键点检测方法的实现过程：
步骤S1，采集大豆图像数据集，构造用于大豆关键点检测训练、测试的数据集，并对大豆关键点数据集中的豆荚、豆粒进行标注：
首先，将成熟期的大豆单株固定在室内，背景为白色，利用补光灯等进行拍照，保证拍摄到的图像中豆荚和豆粒清晰。
然后，利用LabelMe工具对拍摄得到的豆荚图像进行标注，标注的信息包含豆粒的位置、豆粒所属豆荚的顺序、豆粒所属豆荚的编号。
例如，在标注一颗三粒豆时，则结果为“3-1(9)，3-2(9)，3-3(9)”，其中前缀“3”表示该豆粒属于三粒荚，后缀分别是每颗豆粒的编号，括号中的9表示该三粒豆所属的豆荚编号为9。
最后，将标注得到的大豆整株图像进行裁剪，如图2所示。采集到的大图像素为4000×3000，裁剪图像的大小386×386，步长为193。将裁剪得到的小图随机划分为训练集和测试集，训练和测试集的划分比例为7:3。
步骤S2，构造自下而上的关键点检测模型，利用所述步骤S1中构建的大豆关键点数据集进行模型的训练，如图3所示，具体包含了如下步骤：
S21，自定义不同豆荚类型的关键点含义，生成用于监督训练的真值信息。
首先，将豆荚定义为五粒荚，已标注的豆粒为可见豆粒。若豆荚为1粒，则第一个豆粒关键点可见，其他4个不可见；若豆粒为2粒，则前两个可见，其他3个不可见；以此类推。
将豆荚的连接关系定义为：第一个豆粒和第二个连接，第二个和第三个连接，第三个和第四个连接，第四个和第五个连接，所以总共有4种连接。若豆粒不可见，则相应位置不连接，即豆粒若为1粒荚，则无连接，若为2粒荚，则有1个连接，若为3粒荚，则有2个连接，以此类推。
然后，依据五粒荚的定义，生成相应的豆粒位置置信度热力图C＝{c1,c2,c3,c4,c5}和部位亲和域L＝{lix,liy},i∈{1,2,3,4}。
具体的，所有豆荚的第一颗豆粒在同一个位置置信度热力图中c1，第二颗豆粒在同一个位置置信度热力图c2中，相应的得到c3、c4、c5。豆粒之间的连接有4种，每个包含了横向x、纵向y两个方向，所以总共得到8个部位亲和域图，分别是第一颗豆粒与第二颗豆粒的2个亲和域图(l1x,l1y)、第二颗豆粒与第三颗豆粒的2个亲和域图(l2x,l2y)、第三颗豆粒与第四颗豆粒的2个亲和域图(l3x,l3y)、第四颗豆粒与第五颗豆粒的2个亲和域图(l4x,l4y)。
最后，依据豆粒所属豆荚信息，生成结构先验矩阵。具体的，先从上到下、从左到右对所有的豆粒P＝{p1,p2,…,pN}进行编号排序，得到{0,1,…,N},依据编号顺序将豆粒两两进行判定是否属于同一个豆荚，从而得到N×N大小的结构先验矩阵M＝{mij},其中：
S22，构建基于OpenPose的关键点检测网络模型，如图4所示为网络的模型结构图，包含主干子网络、豆粒置信度热力图生成子网络、部位亲和域生成子网络、结构先验指导子网络四个部分。
首先，选取网络的主干网络，所述主干子网络是基于CNN的神经网络，进行图像特征图的提取，如ResNet、Transformer等。本发明中采用VGG19作为主干网络。
然后，构建豆粒置信度热力图生成子网络，级联在主干网络之后，包含了用于该部分特征提取的卷积模块，和通过1×1卷积之后得到的位置置信度热力图热力图的通道数为5，分别表示预测得到的第一颗豆粒、第二颗豆粒、第三颗豆粒、第四颗豆粒、第五颗豆粒的可能位置区域。
进一步的，构建豆荚部位亲和域子网络，级联在主干网络之后，包含了用于该部分特征提取的卷积模块，以及通过1×1卷积得到的部位亲和域图部位亲和域图有8个通道，与步骤SS21中的部位亲和域L意思一致，分别表示预测得到的五粒荚中相邻豆粒连接的横向、纵向连接力情况。
进一步的，构建结构先验指导子网络，包含了用于该部分特征提取的卷积模块，以及通过矩阵运算得到的结构矩阵。
具体的，在结构先验指导子网络中，卷积模块之后得到，得到的特征图大小为W′×H′×C,依据所述SS21中豆粒编号P＝{p1,p2,…,pN}，取出豆粒在特征图中相应位置的所有通道数值作为特征向量vi，大小为1×C,则N个豆粒组成的特征矢量为VN×C,通过两两计算相似度得到预测结构约束矩阵
其中，中元素取值范围为[0,1]，且对角元素值为1。相似度计算方式为余弦相似度。
S23，将大豆训练数据集输入和所述步骤S21得到的监督信息，输入到所述步骤S22的关键点检测网络中，进行模型的迭代训练，输出最终的豆粒关键点检测网络模型。
具体的，模型的损失包含了三部分：
f＝fhmap+fpaf+ρfprior (2)
其中，fhmap为豆粒位置置信度热力图的损失，fpaf为部位亲和域的损失，fprior为结构先验矩阵的损失，ρ为超参数，取值为0.1。fhmap为Tc＝5个位置热力图的损失之和，fpaf为Tl＝8个部位亲和域的损失之和：
其中，为位置置信度热力图损失，fl t为部位亲和域损失，均采用L2损失：
进一步的，fprior采用L2损失：
进一步的，通过计算损失，利用梯度下降法进行模型的训练，输出最终训练好的模型。模型采用的优化方法为Adam，迭代测试为200。
步骤S3，将待测试图片输入到所述步骤S2中最终的豆粒关键点检测网络模型，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置，具体包含如下步骤：
首先，将待测试图片输入到所述步骤SS2训练得到的豆荚关键点检测模型中，预测得到豆粒置信度热力图和部位亲和域/>其中/>为5个，/>为8个。
然后，将5个豆粒置信度热力图中，分别筛选出每个图中的局部区域最大点，作为预测到的所有豆粒所在的位置。
具体的，局部区域的最大点，为像素点大于上、下、左、右四个方向的点的点的集合Pall，将Pall按照横坐标从小到大的顺序进行排序，从第一个开始分别计算与其他点之间的欧式距离，若距离小于已经设定的阈值32，则认为是重合点，将此点从集合Pall中删除，直到处理完所有的集合中的点。则得到的第一个豆粒置信度热力图中的所有点/>均为豆荚中的第一个点的集合，第二个豆粒置信度热力图/>中的所有点/>均为豆荚中的第二个点的集合，第三个豆粒置信度热力图/>中的所有点/>均为豆荚中的第三个点的集合，第四个豆粒置信度热力图/>中的所有点/>均为豆荚中的第四个点的集合，第五个豆粒置信度热力图/>中的所有点/>均为豆荚中的第五个点的集合。
进一步的，根据Pall的豆粒位置，从8个部位亲和域中通过采样积分得到所述豆粒之间的亲和力值L＝{lix,liy},i∈{1,2,3,4}，依据豆粒的位置得到亲和域图中的相应区域，对区域内的值进行积分，得到豆粒之间的亲和力值。
例如：第一颗豆粒的位置为o1(27,36)、o2(37,49)，第二颗豆粒的位置为o3(47,89)、o4(38,28)，通过计算第一颗豆粒o1、o2与第二颗豆粒o3、o4在对应亲和域图l1x,l1y中相应坐标位置之间的积分，从而得到，o1与o3、o4之间的亲和力值，o2与o3、o4之间的亲和力值。
进一步的，将和/>的豆粒点利用{l1x,l1y}的亲和力值利用匈牙利算法进行最优匹配，将第一颗豆粒/>与最优的/>豆粒进行连接；同理，/>和/>利用{l2x,l2y}、/>和利用{l3x,l3y}、/>和/>利用{l4x,l4y}分别进行最优匹配，从而实现豆粒之间的连接。豆粒之间有连接，则表示属于同一个豆荚，从而实现豆荚以及豆荚中每个豆粒位置的检测。
实施例2
参照图6，本实施例涉及实现实施例1的方法的一种自下而上的基于结构性先验的豆荚关键点检测系统，包括：
大豆图像数据集采集模块，用于构造用于大豆关键点检测训练、测试的数据集，并对大豆关键点数据集中的豆荚、豆粒进行标注；
自下而上的关键点检测模型构造模块，利用大豆图像数据集采集模块构建的大豆关键点数据集进行模型的训练；具体包括：
自定义不同豆荚类型的关键点含义，生成用于监督训练的真值信息；
构建基于OpenPose的关键点检测网络模型，包含主干子网络、豆粒置信度热力图生成子网络、部位亲和域生成子网络、结构先验指导子网络四个部分；
将大豆训练数据集输入和监督信息，输入到关键点检测网络中，进行模型的迭代训练，输出最终的豆粒关键点检测网络模型；
豆荚类型以及豆粒位置获取模块，将待测试图片输入到最终的豆粒关键点检测网络模型，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置。
实施例3
本发明还包括一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的一种自下而上的基于结构性先验的豆荚关键点检测方法。
实施例4
本发明还涉及一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本发明的一种自下而上的基于结构性先验的豆荚关键点检测方法。
在硬件层面，该计算设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescriptionLanguage，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced BooleanExpression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java HardwareDescription Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware DescriptionLanguage)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated CircuitHardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (12)

1.一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，包括如下步骤：
S1，采集大豆图像数据集，构造用于大豆关键点检测训练、测试的数据集，并对大豆关键点数据集中的豆荚、豆粒进行标注；
S2，构造自下而上的关键点检测模型，利用步骤S1中构建的大豆关键点数据集进行模型的训练；具体包括如下步骤：
S21，自定义不同豆荚类型的关键点含义，生成用于监督训练的真值信息；自定义不同豆荚类型的关键点定义，将豆荚看做是五粒荚，不足五粒的豆粒认为不可见，则一粒荚第一颗豆粒可见，剩余第二颗到第五颗不可见；二粒荚第一颗和第二颗豆粒可见，第三颗到第五颗不可见；三粒荚第一颗到第三颗可见，第四颗和第五颗不可见；四粒荚第一颗到第四颗可见，第五颗不可见；五粒荚第一颗到第五颗都可见；
生成用于监督训练的真值信息，利用豆荚的豆粒位置生成第一颗豆粒到第五颗豆粒共5个豆粒位置置信度热力图；利用相邻豆粒之间是否连接，生成4种连接的横向、纵向共8个部位亲和域图；通过对豆粒进行编号，利用豆粒是否属于同一个豆荚生成结构先验矩阵；
所述4种连接分别是指第一颗豆粒与第二颗豆粒、第二颗豆粒与第三颗豆粒、第三颗豆粒与第四颗豆粒、第四颗豆粒与第五颗豆粒；
所述对豆粒进行编号，依据豆粒在图像中的坐标位置，按照从上到下、从左到右的顺序进行编号，两两判断豆粒是否属于同一个豆荚，若属于，则为1，若不属于同一个豆荚，则为0；
所述5个豆粒位置置信度热力图，利用高斯函数生成高斯模板，在初始热力图中相应豆粒位置进行叠加获得；
S22，构建基于OpenPose的关键点检测网络模型，包含主干子网络、豆粒置信度热力图生成子网络、部位亲和域生成子网络、结构先验指导子网络四个部分；
S23，将大豆训练数据集和步骤S21得到的真值信息，输入到步骤S22的关键点检测网络模型中，进行模型的迭代训练，输出最终的豆粒关键点检测网络模型；
S3，将待测试图片输入到步骤S2中所述最终的豆粒关键点检测网络模型，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置。
2.根据权利要求1所述的一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，步骤S1采集大豆图像数据集，针对成熟期大豆整株，在室内环境中固定在简单白色背景的光照环境下拍照获得；
步骤S1对大豆关键点数据集中的豆荚、豆粒进行标注，使用标注工具记录图像中所有豆粒的位置以及所属豆荚的编号；
步骤S1构建用于大豆关键点检测、测试的数据集，通过将获得的大豆整株图像，按照固定比例和步长对图像进行裁剪获得。
3.根据权利要求1所述的一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，步骤S22主干子网络是基于CNN的图像特征提取模型，包含了卷积层、池化层；
步骤S22豆粒置信度热力图生成子网络、部位亲和域生成子网络、结构先验指导子网络互相并联，并级联于主干子网络之后，分别用于生成预测豆粒置信度热力图、部位亲和域图和结构先验矩阵；
基于豆粒编号，从结构先验指导子网络得到的特征图中，抽取得到所有豆粒的通道特征向量，通过按照编号顺序两两计算豆粒特征向量之间的相似度，得到预测的豆粒结构先验矩阵
4.根据权利要求3所述的一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，所述的相似度采用余弦相似度计算方式。
5.根据权利要求1所述的一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，步骤S23的监督信息，包含所述的豆粒位置置信度热力图C、部位亲和域图L以及结构先验矩阵M，通过与构建的关键点检测网络预测得到的置信度热力图部位亲和域图和结构先验矩阵/>计算损失，进行模型的迭代训练；
所述的损失，其特征在于包含了位置置信度热力图损失fhmap、部位亲和域损失fpaf、结构先验损失fproir三部分，总的损失为：
f＝fhmap+fpaf+ρfprior
其中，ρ为不小于0的浮点型超参数，表示结构先验损失的参与度；
所述的热力图损失fhmap，其特征在于通过计算Tc＝5个豆粒位置置信度热力图之间的损失之和获得，损失计算方式为L2损失：
其中：
所述的部位亲和域损失fpaf，其特征在于通过计算Tl＝8个部位亲和域之间的损失之和获得，损失计算方式为L2损失：
其中：
所述的结构先验损失fproir，其特征在于通过计算真值先验矩阵M与预测先验矩阵之间的L2损失获得：
6.根据权利要求1所述的一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，步骤S3将待测试图片输入到步骤S2中所述最终的豆粒关键点检测网络模型中，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置，具体包含如下步骤：
S31，将待测试图片输入到豆粒关键点检测网路模型中，预测得到豆粒置信度热力图和部位亲和域；
S32，分别从5个豆粒置信度热力图中筛选出局部区域最大点，作为预测到的所有豆粒所在的位置；
S33，根据所述S32预测得到的豆粒位置，从8个部位亲和域中通过采样积分得到所述豆粒之间的亲和力值；
S34，利用匈牙利算法，对豆粒亲和域按照所述S33得到的亲和力值进行最大值匹配，从而输出图片中的所有豆粒，以及豆粒相互连接后所属的豆荚。
7.根据权利要求6所述的一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，步骤S32分别从五个豆粒置信度热力图中筛选出局部区域最大点，其特征在于第一颗豆粒从第一张热力图中提取得到，第二颗豆粒从第二张热力图中提取得到，第三颗豆粒从第三张热力图中提取得到，第四颗豆粒从第四张热力图中提取得到，第五颗豆粒从第五张热力图中提取得到。
8.根据权利要求6所述的一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，步骤S33从8个部位亲和域中通过采样积分得到所述豆粒之间的亲和力值，其特征在于采样区间为检测到的豆粒位置区间。
9.根据权利要求6所述的一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，步骤S34利用匈牙利算法，对豆粒亲和域按照步骤S33得到的亲和力值进行最大值匹配，其特征在于匹配关系为：第一颗豆粒与第二颗豆粒之间的横向、纵向连接关系从前2张部位亲和域中获取，第二颗豆粒与第三颗豆粒之间的横向、纵向连接关系从接下来的2张部位亲和域中获取，以此类推，获得第三颗豆粒与第四颗豆粒、第四颗豆粒与第五颗豆粒之间的连接关系。
10.一种自下而上的基于结构性先验的豆荚关键点检测系统，其特征在于，包括：
大豆图像数据集采集模块，用于构造用于大豆关键点检测训练、测试的数据集，并对大豆关键点数据集中的豆荚、豆粒进行标注；
自下而上的关键点检测模型构造模块，利用大豆图像数据集采集模块构建的大豆关键点数据集进行模型的训练；具体包括：
自定义不同豆荚类型的关键点含义，生成用于监督训练的真值信息；自定义不同豆荚类型的关键点定义，将豆荚看做是五粒荚，不足五粒的豆粒认为不可见，则一粒荚第一颗豆粒可见，剩余第二颗到第五颗不可见；二粒荚第一颗和第二颗豆粒可见，第三颗到第五颗不可见；三粒荚第一颗到第三颗可见，第四颗和第五颗不可见；四粒荚第一颗到第四颗可见，第五颗不可见；五粒荚第一颗到第五颗都可见；
生成用于监督训练的真值信息，利用豆荚的豆粒位置生成第一颗豆粒到第五颗豆粒共5个豆粒位置置信度热力图；利用相邻豆粒之间是否连接，生成4种连接的横向、纵向共8个部位亲和域图；通过对豆粒进行编号，利用豆粒是否属于同一个豆荚生成结构先验矩阵；
所述4种连接分别是指第一颗豆粒与第二颗豆粒、第二颗豆粒与第三颗豆粒、第三颗豆粒与第四颗豆粒、第四颗豆粒与第五颗豆粒；
所述对豆粒进行编号，依据豆粒在图像中的坐标位置，按照从上到下、从左到右的顺序进行编号，两两判断豆粒是否属于同一个豆荚，若属于，则为1，若不属于同一个豆荚，则为0；
所述5个豆粒位置置信度热力图，利用高斯函数生成高斯模板，在初始热力图中相应豆粒位置进行叠加获得；
构建基于OpenPose的关键点检测网络模型，包含主干子网络、豆粒置信度热力图生成子网络、部位亲和域生成子网络、结构先验指导子网络四个部分；
将大豆训练数据集和真值信息，输入到关键点检测网络中，进行模型的迭代训练，输出最终的豆粒关键点检测网络模型；
豆荚类型以及豆粒位置获取模块，将待测试图片输入到最终的豆粒关键点检测网络模型，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置。
11.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-9中任一项所述的一种自下而上的基于结构性先验的豆荚关键点检测方法。
12.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的一种自下而上的基于结构性先验的豆荚关键点检测方法。
CN202310406872.7A 2023-04-17 2023-04-17 一种自下而上的基于结构性先验的豆荚关键点检测方法和系统 Active CN116721412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310406872.7A CN116721412B (zh) 2023-04-17 2023-04-17 一种自下而上的基于结构性先验的豆荚关键点检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310406872.7A CN116721412B (zh) 2023-04-17 2023-04-17 一种自下而上的基于结构性先验的豆荚关键点检测方法和系统

Publications (2)

Publication Number Publication Date
CN116721412A CN116721412A (zh) 2023-09-08
CN116721412B true CN116721412B (zh) 2024-05-03

Family

ID=87866702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310406872.7A Active CN116721412B (zh) 2023-04-17 2023-04-17 一种自下而上的基于结构性先验的豆荚关键点检测方法和系统

Country Status (1)

Country Link
CN (1) CN116721412B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229489A (zh) * 2016-12-30 2018-06-29 北京市商汤科技开发有限公司 关键点预测、网络训练、图像处理方法、装置及电子设备
CN110580446A (zh) * 2019-07-16 2019-12-17 上海交通大学 行为语义细分化理解方法、系统、计算机装置以及介质
CN111368673A (zh) * 2020-02-26 2020-07-03 华南理工大学 一种基于神经网络的人体关键点快速提取方法
CN115457594A (zh) * 2022-08-15 2022-12-09 北京体育大学 一种三维人体姿态估计方法、系统、存储介质和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965612B2 (en) * 2016-04-19 2018-05-08 Lighthouse Ai, Inc. Method and system for visual authentication
US10713484B2 (en) * 2018-05-24 2020-07-14 Blue River Technology Inc. Semantic segmentation to identify and treat plants in a field and verify the plant treatments
US11398028B2 (en) * 2020-06-08 2022-07-26 X Development Llc Generating and using synthetic training data for plant disease detection
US11769386B2 (en) * 2020-08-17 2023-09-26 Plantronics, Inc. Preventing the number of meeting attendees at a videoconferencing endpoint from becoming unsafe

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229489A (zh) * 2016-12-30 2018-06-29 北京市商汤科技开发有限公司 关键点预测、网络训练、图像处理方法、装置及电子设备
CN110580446A (zh) * 2019-07-16 2019-12-17 上海交通大学 行为语义细分化理解方法、系统、计算机装置以及介质
CN111368673A (zh) * 2020-02-26 2020-07-03 华南理工大学 一种基于神经网络的人体关键点快速提取方法
CN115457594A (zh) * 2022-08-15 2022-12-09 北京体育大学 一种三维人体姿态估计方法、系统、存储介质和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Efficient Online Multi-Person 2D Pose Tracking with Recurrent Spatio-Temporal Affinity Fields;Yaadhav Raaj;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;第4615-4623页 *
GmCCD4 controls carotenoid content in soybeans;Jinshan Gao;《Plant Biotechnology Journal》;20201101;第801-813页 *
基于数字孪生的稻田环境监测系统研究及实现;梁晨光;《中国优秀硕士学位论文全文数据库农业科技辑》;20220715;第1-40页 *

Also Published As

Publication number Publication date
CN116721412A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN113095124B (zh) 一种人脸活体检测方法、装置以及电子设备
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
US20150054824A1 (en) Object detection method, object detection device, and image pickup device
Sung et al. Scene text detection with robust character candidate extraction method
CN111415373A (zh) 基于孪生卷积网络的目标跟踪与分割方法、系统及介质
JP5707570B2 (ja) 物体識別装置、物体識別方法、及び、物体識別装置の学習方法
CN107644425A (zh) 目标图像选取方法、装置、计算机设备及存储介质
CN107578424A (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
CN105989043A (zh) 自动获取商品图像中商标和检索商标的方法及其装置
CN110348366B (zh) 一种自动化最优人脸搜索方法及装置
CN110866931A (zh) 图像分割模型训练方法及基于分类的强化图像分割方法
CN109614512B (zh) 一种基于深度学习的电力设备检索方法
Mu et al. Salient object detection in low contrast images via global convolution and boundary refinement
CN116721412B (zh) 一种自下而上的基于结构性先验的豆荚关键点检测方法和系统
CN115830633B (zh) 基于多任务学习残差神经网络的行人重识别方法和系统
CN115512353A (zh) 一种遥感图像标注方法、装置及设备
CN112906698B (zh) 一种苜蓿植株识别的方法及装置
CN114998611A (zh) 一种基于结构融合的目标轮廓检测方法
CN114998962A (zh) 一种活体检测以及模型训练方法及装置
CN106488118A (zh) 图像调整方法及照相系统
CN116188919B (zh) 一种测试方法、装置、可读存储介质及电子设备
CN112991280B (zh) 视觉检测方法、系统及电子设备
CN117011718B (zh) 一种基于多元损失融合的植物叶片细粒度识别方法和系统
CN117079060B (zh) 一种基于光合信号的叶片智能分类方法和系统
CN116703820B (zh) 一种基于热力图的高密度豆粒计数及中心点定位方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant