CN111444833B - 果实测产方法、装置、计算机设备及存储介质 - Google Patents

果实测产方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111444833B
CN111444833B CN202010221035.3A CN202010221035A CN111444833B CN 111444833 B CN111444833 B CN 111444833B CN 202010221035 A CN202010221035 A CN 202010221035A CN 111444833 B CN111444833 B CN 111444833B
Authority
CN
China
Prior art keywords
fruit
image
fruits
image frames
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010221035.3A
Other languages
English (en)
Other versions
CN111444833A (zh
Inventor
柴秀娟
张钊
张文蓉
孙坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Original Assignee
Agricultural Information Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS filed Critical Agricultural Information Institute of CAAS
Priority to CN202010221035.3A priority Critical patent/CN111444833B/zh
Publication of CN111444833A publication Critical patent/CN111444833A/zh
Application granted granted Critical
Publication of CN111444833B publication Critical patent/CN111444833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种果实测产方法、装置、计算机设备及存储介质，涉及测产技术领域，用于提高果实测产的准确度。本发明的主要技术方案为：按照预置时间间隔从待测产果实的视频中提取图像帧；将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；根据图像帧中包含的果实区域的数量，以及相邻图像帧中属于同一果实的数量确定待测产果实的数量。

Description

果实测产方法、装置、计算机设备及存储介质
技术领域
本发明涉及测产技术领域，尤其涉及一种果实测产方法、装置、计算机设备及存储介质。
背景技术
果实测产是农业生产中一个比较现实的问题，测产是指对果园中符合标准的果实进行数量统计，可以为果园的农业生产以及市场销售等提供依据。传统的测产依赖人力进行，需要消耗大量的人力与时间，且计数不准确。自动化测产可以解决传统测产依赖人力的弊端，有效的节省人力与时间。
现有的自动测产大多通过对图像的处理来实现，自动测产包含了目标检测和目标去重两个主要工作。现有的自动测产多利用可见光、热力图分析等手段来进行目标检测，利用统计法或者定位法等技术来解决目标去重问题。利用统计法解决目标去重问题精度偏低，而利用定位法来解决目标去重问题需要额外的定位设备。
发明内容
本发明提供一种果实测产方法、装置、计算机设备及存储介质，用于提高果实测产的准确度。
本发明实施例提供一种果实测产方法，所述方法包括：
按照预置时间间隔从待测产果实的视频中提取图像帧；
将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；
将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；
根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。
本发明实施例提供一种果实测产装置，所述装置包括：
提取模块，用于按照预置时间间隔从待测产果实的视频中提取图像帧；
获取模块，用于将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；
所述获取模块，还用于将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；
确定模块，用于根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述果实测产方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述果实测产方法。
本发明提供的一种果实测产方法、装置、计算机设备及存储介质，首先按照预置时间间隔从待测产果实的视频中提取图像帧；然后将图像帧输入到目标检测模型得到每个图像帧中分别包含的果实区域；接着将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；最后根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。与目前通过统计法或定位法对待测果实进行目标去重相比，本发明将图像帧输入到目标检测模型得到每个图像帧中分别包含的果实区域，然后根据相邻图像帧中的果实区域输入到图像比对模型的计算结果，得到属于同一果实的数量，由于图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的，通过该图像比对模型可以准确的识别相邻图像帧中的重复果实，从而通过本发明可提高测产的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中果实测产方法的一应用环境示意图；
图2是本发明一实施例中果实测产方法的一流程图；
图3是本发明一实施例中目标检测模型的训练流程图；
图4是本发明一实施例中图像比对模型的训练流程图；
图5是本发明一实施例中两组果实区域图像样例；
图6是本发明一实施例中确定待测产果实的数量的流程图；
图7是本发明一实施例中果实测产装置的一原理框图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的果实测产方法，可应用在如图1的应用环境中，其中，摄像设备通过网络与计算机设备进行通信。计算机设备获取摄像设备拍摄的待测产果实的视频；并按照预置时间间隔从待测产果实的视频中提取图像帧；将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑等。
如图2所示，本发明实施例提供一种果实测产方法，以该方法应用在图1中的计算机设备为例进行说明，包括如下步骤：
S10，按照预置时间间隔从待测产果实的视频中提取图像帧。
在本发明实施例中，可以利用摄像设备拍摄待测产果实的视频，在拍摄视频过程中，保证摄像头可以同时拍摄到待测产果实的树冠和地面。具体的，摄像头可以安置在无人车上，也可以采用手持方式，使得摄像头拍摄时保持匀速直线运动，在拍摄前调整好摄像头角度后，拍摄过程摄像头与果树面呈固定角度。
需要说明的是，从待测产果实的视频中提取图像帧，是为了实现根据提取的图像帧把待测产果树完整显示出来，但是很难控制相机速度和角度在连续拍摄时既不遗漏内容，又不重复拍摄内容，为了避免上述问题，本发明实施例提取的图像帧需要满足相邻的图像帧之间包含重复的图像区域，即通过相邻的图像帧的重复图像区域确保提取的视频帧不存在遗漏的内容。
S20，将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域。
其中，所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；该目标检测算法具体可以为Faster R-CNN，YOLO等，本发明实施例不做具体限定。目标检测图像训练集合中包含样本图像帧和样本图像帧中标注的果实区域，通过对目标检测图像训练集合对模型进行训练得到目标检测模型，以便于根据训练得到的目标检测模型得到图像帧中包含的果实区域。
在本发明提供的一个实施例中，如图3所示，所述将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域之前，所述方法还包括：
S201，对样本图像帧中包含的果实区域进行标注，并将标注结果存储到与所述样本图像帧同名的标签文件中。
对于本发明实施例，在对样本图像帧进行标注之前，需要通过摄像设备拍摄样本果树的视频，并且在拍摄的过程中应该保证摄像头可以同时拍摄到果树的树冠和地面。摄像头可以安置在无人车上，也可以采用手持方式。摄像头拍摄时保持匀速直线运动，在拍摄前调整好摄像头角度后，拍摄过程摄像头与果树面呈固定角度。
在通过摄像设备拍摄到样本果实的视频之后，需要按照一定的时间间隔对样本果树的视频进行采样，提取样本图像帧，用于目标检测模型的训练。其中，采样的时间间隔可以根据拍摄时摄像头的移动速度决定，采样出的样本图像帧必须保证一定的重复图像区域。采集出的样本图像帧集合表示为S,第i帧图像表示为Si。
对样本图像帧的包含的果实区域进行标注，即对需要标注果实在图像帧上的矩形区域，具体可以通过标注软件进行。对每个果实的标注结果为矩形区域的左上角和右下角坐标(x0，y0，x1，y1)，每个样本图像帧所有果实的标注结果存放在一个与样本图像帧对应的同名label文件中，文件组织格式取决于目标检测算法的要求。
S202，将样本图像帧的目录路径和与样本图像帧同名的标签文件的目录路径输入到所述目标检测算法进行模型训练得到所述目标检测模型。
在本发明实施例中，选定好目标检测算法，将获得的用于目标检测算法的训练数据按照目标检测算法要求的数据组织形式输入目标检测算法进行训练。通常是将样本图像帧放入一个目录下，样本图像帧对应的同名label文件放入另一目录下。目标检测算法只需要输入两个目录路径，就可以自动检索训练数据进行训练。
训练过程会不断对比目标检测模型预测的目标矩形框与人工标注的矩形框的差异，通过反向传播机制调整模型参数。训练完成后目标检测算法将会输出部分网络参数，这部分网络参数会以文件的形式保存。目标检测模型的精度与训练数据集大小有关，输入更多的样本数据集越多，训练的得到的目标检测模型也就越准确。
在本发明实施例中，使用目标检测模型对提取的图像帧进行目标检测，目标检测模型和训练出的模型参数共同构建出一个对输入图像进行果实检测的函数，函数输入为一张包含果实的图像帧，输出为图像帧同名的label文件，文件存储果实区域。将待检测的图像帧作为输入，得到图像帧检测出的果实坐标列表，该果实坐标列表中包含果实的标注结果(x0，y0，x1，y1)，即每个所述图像帧中分别包含的果实区域。
S30，将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量。
在本发明实施例中，将相邻图像帧中的果实区域输入到图像比对模型，对分属两相邻图像帧的果实区域利用图像比对模型进行比对，判断分属于两个图像帧的果实区域内的果实是否是同一个果实。图像比对模型训练得出的网络参数文件与网络结构共同构建一个对两幅果实区域做判断的函数，函数输入为分别属于相邻图像帧内的两张果实区域图像，输出为一个布尔值和一个0到1的浮点值，布尔值代表是否是同一张图像，浮点值代表这个判断的可信度。
其中，所述图像比对模型是根据不同图像训练帧中属于同一果实区域集合进行训练得到的；图像比对模型的样本数据是在果实区域基础上，形成不同帧的成对果实，对每一对果实样本标注0或1，分别对应不是同一个果实，以及是同一个果实的两种不同情况。
在本发明提供的一个实施例中，如图4所示，在将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果之前，所述方法还包括：
S301，对不同样本图像帧中一对果实是否为同一果实进行标注，并将标注结果存储到与所述样本图像帧同名的成对文件中。
对于本发明实施例，对图像比对模型进行训练，需要标注不同图像帧中一对果实是否是属于同一果实，此工作可以通过标注软件进行。每对图像帧两幅图像表示为si，sj，对于si的第m个果实如果与sj的第n个果实/>是同一个果实，则产生一个配对果实对(m，n)。
其中，所述标注结果中包括两幅样本图像帧各自的果实区域坐标、果实的对应关系；每对样本图像帧将产生一个对应的同名pair文件来存放果实比对结果。具体的，pair文件包含两部分内容，第一部分列出pair文件对应的两幅图像帧各自的文件名、包含的果实个数、以及果实区域；第二部分为pair文件对应的两幅样本图像帧包含果实的对应关系，这个对应关系以序号表示，例如存在对应关系，则在文件中存放一个“m，n”字符串。
S302，根据所述标注结果中两幅样本图像帧各自的果实区域坐标从所述样本图像帧中截取果实区域。
对于本发明实施例，将标注结果存储到与所述样本图像帧同名的成对文件中，通过该文件的文件名及文件中的一行内容(m，n)可以找出一对图像中的同一个果实，若一对索引(u，v)不在pair文件中，代表一对图像中的不同果实。通过(m，n)或者(u，v)可以找出一个果实在label文件中对应的果实区域坐标，进而裁剪出图像比对网络需要的果实区域。需要说明的是，果实周边的枝叶等背景信息可以提高果实比对的精度，因此在裁剪时，可以对裁剪区域进行适度的扩展，如实验中对裁剪区域进行了30个像素的扩展。
S303，根据截取的果实区域以及所述果实的对应关系进行模型训练得到所述图像比对模型。
本发明实施例提供了一个图像比对网络，该网络用于判断两幅图像是否对应于同一个果实看作二分类问题。通过同一个卷积网络对两幅图像分别进行特征提取，然后对两个图像特征进行融合，融合后的特征通过一个全连接层压缩为1维向量，即一个为1或者0的值，此值为1的时候，说明网络预测结果为两幅图像对应同一个果实，值为0时，说明网络预测结果为两幅图像对应不同果实。网络训练过程通过损失函数(Loss Function)对预测结果和人工标注的实际结果进行对比，训练出合适的网络参数。此处损失函数使用交叉熵损失，该损失函数为分类问题常用的损失函数。之后通过这个参数文件和网络结构，可以对两张图像帧是否属于同一个果实进行判断。图像比对模型的精确度同样与训练集大小有关，应输入尽量多的数据集进行训练。
在本发明实施例中，通过提出的图像比对网络对图像比对模型进行训练，将获得的用于训练图像比对网络的数据输入到网络中进行训练，该网络的实际输入为两张果实区域图像，输出则为两张果实区域图像是否为同一果实的概率值。图5给出了两组果实区域图像样例。
S40，根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。
在本发明实施例中，目标检测模型给出了一个果实坐标列表，此列表的长度为输入图像帧的果实数量，即图像帧中分别包含的果实区域的数量，可以记为ci，i代表该图像帧在图像帧序列中的索引。然后将相邻图像帧中的果实区域输入到图像比对模型，该图像比对模型可以给出两张图像帧不同果实的比对结果，此处两张图像帧为采样后图像帧序列中的相邻帧，可以表示为si，si+1。依次比对所有属于si，si+1的果实，就可以得出si，si+1中重复果实的数量，表示为ci∩i+1。
然而，图像比对模型给出的判断会存在误差，为了减少该误差对果实数量ci∩i+1计算产生的影响，本发明实施例在在判断完相邻帧果实之间是否重复之后，引入了Kuhn－Munkras算法(KM算法)，以KM算法减小图像比对模型的判断误差。具体的，将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果之后，所述方法还包括：根据相邻图像帧si，si+1中分别存在m,n个果实以及通过所述图像比对模型得到的相邻图像帧中果实的图像比对结果，构造一个m×n的矩阵A；将所述矩阵A输入到KM算法，输出经过所述KM算法计算产生的相邻图像帧si，si+1的果实配对列表。
其中，KM算法是一种用来解决二分图匹配问题的算法，该算法可以将两张图像帧si，si+1看作两个独立的图结构，图像帧中的果实看作图结构中的顶点，通过该算法将果实配对问题转换为二分图的匹配问题。假设si，si+1分别存在m,n个果实，则构造一个m×n的矩阵A。si，si+1分别代表两张图像帧的第u和第v个果实，如果图像比对模型判断为同一个水果，Au，v的值为图像比对模型判断/>为相同水果的可信度，如果不是相同水果，Au，v的值为0。将A输入KM算法，输出经过KM算法计算产生的两张图像帧果实配对列表，列表长度即为两张图像帧属于同一个水果的果实数量ci∩i+1。
相应的，如图6所示，步骤S40：所述根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量，包括：
S401，对所述果实配对列表中重复果实数量进行累加得到总的重复果实数量。
在本发明实施例中，在得到所有相邻图像帧si，si+1的果实配对列表之后，需要对所有果实配对列表中的重复果实数量进行累加计算，然后得到总的重复果实数量。
S402，计算所有图像帧中包含的果实区域的数量与所述总的重复果实数量的差值得到所述待测产果实的数量。
例如，对于一段待测产果实的视频，若根据步骤S20得到包含n张图像帧的图像帧序列，则可以根据公式计算出这n张图像帧的实际果实数量，即得到待测产果实的数量。
本发明提供的一种果实测产方法、装置、计算机设备及存储介质，首先按照预置时间间隔从待测产果实的视频中提取图像帧；然后将图像帧输入到目标检测模型得到每个图像帧中分别包含的果实区域；接着将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；最后根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。与目前通过统计法或定位法对待测果实进行目标去重相比，本发明将图像帧输入到目标检测模型得到每个图像帧中分别包含的果实区域，然后根据相邻图像帧中的果实区域输入到图像比对模型的计算结果，得到属于同一果实的数量，由于图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的，通过该图像比对模型可以准确的识别相邻图像帧中的重复果实，从而通过本发明可提高测产的准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种果实测产装置，该果实测产装置与上述实施例中果实测产方法一一对应。如图7所示，该果实测产装置包括：提取模块10获取模块20、确定模块30。各功能模块详细说明如下：
提取模块10，用于按照预置时间间隔从待测产果实的视频中提取图像帧；
获取模块20，用于将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；
所述获取模块20，还用于将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；
确定模块30，用于根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。
进一步的，所述装置还包括：
标注存储模块40，用于对样本图像帧中包含的果实区域进行标注，并将标注结果存储到与所述样本图像帧同名的标签文件中；
训练模块50，用于将所述样本图像帧的目录路径和与所述样本图像帧同名的标签文件的目录路径输入到所述目标检测算法进行模型训练得到所述目标检测模型。
进一步的，所述装置还包括：
所述标注存储模块40，还用于对不同样本图像帧中一对果实是否为同一果实进行标注，并将标注结果存储到与所述样本图像帧同名的成对文件中；所述标注结果中包括两幅样本图像帧各自的果实区域坐标、果实的对应关系；
截取模块60，用于根据所述标注结果中两幅样本图像帧各自的果实区域坐标从所述样本图像帧中截取果实区域；
所述训练模块50，还用于根据截取的果实区域以及所述果实的对应关系进行模型训练得到所述图像比对模型。
进一步的，所述装置还包括：
构建模块70，用于根据相邻图像帧si，si+1中分别存在的m,n个果实以及通过所述图像比对模型得到的相邻图像帧中果实的图像比对结果，构造一个m×n的矩阵A；
输出模块80，用于将所述矩阵A输入到KM算法，输出经过所述KM算法计算产生的相邻图像帧si，si+1的果实配对列表。
在本发明提供的一个实施例中，所述确定模块30包括：
对所有的所述果实配对列表中重复果实数量进行累加得到总的重复果实数量；
计算所有图像帧中包含的果实区域的数量与所述总的重复果实数量的差值得到所述待测产果实的数量。
具体的，相邻的图像帧之间包含重复的图像区域。
关于果实测产装置的具体限定可以参见上文中对于果实测产方法的限定，在此不再赘述。上述果实测产装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种果实测产方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
按照预置时间间隔从待测产果实的视频中提取图像帧；
将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；
将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；
根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
按照预置时间间隔从待测产果实的视频中提取图像帧；
将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；
将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；
根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种果实测产方法，其特征在于，所述方法包括：
按照预置时间间隔从待测产果实的视频中提取图像帧；
将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；
将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；
其中，图像比对模型的样本数据是在果实区域基础上形成不同帧的成对果实，对每一对果实样本标注0或1，分别对应不是同一个果实，以及是同一个果实的两种不同情况；图像比对模型训练得出的网络参数文件与网络结构共同构建一个对两幅果实区域做判断的函数，函数输入为分别属于相邻图像帧内的两张果实区域图像，输出为一个布尔值和一个0到1的浮点值，布尔值代表是否是同一张图像，浮点值代表这个判断的可信度；
根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。
2.根据权利要求1所述的果实测产方法，其特征在于，所述将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域之前，所述方法还包括：
对样本图像帧中包含的果实区域进行标注，并将标注结果存储到与所述样本图像帧同名的标签文件中；
将所述样本图像帧的目录路径和与所述样本图像帧同名的标签文件的目录路径输入到所述目标检测算法进行模型训练得到所述目标检测模型。
3.根据权利要求1所述的果实测产方法，其特征在于，所述将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果之前，所述方法还包括：
对不同样本图像帧中一对果实是否为同一果实进行标注，并将标注结果存储到与所述样本图像帧同名的成对文件中；所述标注结果中包括两幅样本图像帧各自的果实区域坐标、果实的对应关系；
根据所述标注结果中两幅样本图像帧各自的果实区域坐标从所述样本图像帧中截取果实区域；
根据截取的果实区域以及所述果实的对应关系进行模型训练得到所述图像比对模型。
4.根据权利要求1所述的果实测产方法，其特征在于，将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果之后，所述方法还包括：
根据相邻图像帧si,si+1中分别存在的m,n个果实以及通过所述图像比对模型得到的相邻图像帧中果实的图像比对结果，构造一个m×n的矩阵A；
将所述矩阵A输入到KM算法，输出经过所述KM算法计算产生的相邻图像帧si,si+1的果实配对列表。
5.根据权利要求4所述的果实测产方法，其特征在于，所述根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量，包括：
对所有的所述果实配对列表中重复果实数量进行累加得到总的重复果实数量；
计算所有图像帧中包含的果实区域的数量与所述总的重复果实数量的差值得到所述待测产果实的数量。
6.根据权利要求1-5任一所述的果实测产方法，其特征在于，相邻的图像帧之间包含重复的图像区域。
7.一种果实测产装置，其特征在于，所述装置包括：
提取模块，用于按照预置时间间隔从待测产果实的视频中提取图像帧；
获取模块，用于将所述图像帧输入到目标检测模型得到每个所述图像帧中分别包含的果实区域；所述目标检测模型是根据目标检测算法对目标检测图像训练集合进行训练得到的；
所述获取模块，还用于将相邻图像帧中的果实区域输入到图像比对模型得到图像比对结果，并根据所述图像比对结果计算相邻图像帧中属于同一果实的数量；所述图像比对模型是根据不同图像训练帧中果实区域训练集合进行训练得到的；
其中，图像比对模型的样本数据是在果实区域基础上形成不同帧的成对果实，对每一对果实样本标注0或1，分别对应不是同一个果实，以及是同一个果实的两种不同情况；图像比对模型训练得出的网络参数文件与网络结构共同构建一个对两幅果实区域做判断的函数，函数输入为分别属于相邻图像帧内的两张果实区域图像，输出为一个布尔值和一个0到1的浮点值，布尔值代表是否是同一张图像，浮点值代表这个判断的可信度；
确定模块，用于根据所述图像帧中包含的果实区域的数量，以及所述相邻图像帧中属于同一果实的数量确定所述待测产果实的数量。
8.根据权利要求7所述的果实测产装置，其特征在于，所述装置还包括：
标注存储模块，用于对样本图像帧中包含的果实区域进行标注，并将标注结果存储到与所述样本图像帧同名的标签文件中；
训练模块，用于将所述样本图像帧的目录路径和与所述样本图像帧同名的标签文件的目录路径输入到所述目标检测算法进行模型训练得到所述目标检测模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述果实测产方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述果实测产方法。
CN202010221035.3A 2020-03-25 2020-03-25 果实测产方法、装置、计算机设备及存储介质 Active CN111444833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010221035.3A CN111444833B (zh) 2020-03-25 2020-03-25 果实测产方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010221035.3A CN111444833B (zh) 2020-03-25 2020-03-25 果实测产方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111444833A CN111444833A (zh) 2020-07-24
CN111444833B true CN111444833B (zh) 2023-09-15

Family

ID=71652540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010221035.3A Active CN111444833B (zh) 2020-03-25 2020-03-25 果实测产方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111444833B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085036A (zh) * 2020-09-17 2020-12-15 广东电网有限责任公司 一种区域识别方法、装置、设备及介质
CN116543330A (zh) * 2023-04-13 2023-08-04 北京京东乾石科技有限公司 农作物信息存储方法、装置、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113434A (zh) * 2011-01-14 2011-07-06 江苏大学 一种果实振荡状况下采摘机器人的采摘方法
CN110060294A (zh) * 2019-04-30 2019-07-26 中国农业科学院农业环境与可持续发展研究所 一种果树作物的产量评估方法
CN110176024A (zh) * 2019-05-21 2019-08-27 腾讯科技（深圳）有限公司 在视频中对目标进行检测的方法、装置、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960046A (zh) * 2018-05-23 2018-12-07 北京图森未来科技有限公司 一种训练数据采样方法及其装置、计算机服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113434A (zh) * 2011-01-14 2011-07-06 江苏大学 一种果实振荡状况下采摘机器人的采摘方法
CN110060294A (zh) * 2019-04-30 2019-07-26 中国农业科学院农业环境与可持续发展研究所 一种果树作物的产量评估方法
CN110176024A (zh) * 2019-05-21 2019-08-27 腾讯科技（深圳）有限公司 在视频中对目标进行检测的方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于可见光与热红外技术的苹果树测产方法;宗泽;郭彩玲;刘刚;;农业工程(06);第77-81页 *

Also Published As

Publication number Publication date
CN111444833A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111667011B (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
Deng et al. Deep learning-based automatic detection of productive tillers in rice
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
JP7000627B2 (ja) 標的細胞標識方法、装置、記憶媒体及び端末デバイス
CN109472213A (zh) 掌纹识别方法、装置、计算机设备和存储介质
CN111444833B (zh) 果实测产方法、装置、计算机设备及存储介质
CN111340126A (zh) 物品识别方法、装置、计算机设备和存储介质
CN111398176A (zh) 基于像元尺度特征的水体水色异常遥感识别方法和装置
CN112613569A (zh) 图像识别方法、图像分类模型的训练方法及装置
CN111832561B (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN112683169A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN110717449A (zh) 车辆年检人员的行为检测方法、装置和计算机设备
CN113344862A (zh) 缺陷检测方法、装置、电子设备及存储介质
WO2023093087A1 (zh) 基于图像识别的输煤量监测方法、装置、设备及存储介质
CN111553184A (zh) 一种基于电子围网的小目标检测方法、装置及电子设备
CN112529836A (zh) 高压线路缺陷检测方法、装置、存储介质及电子设备
CN111259903A (zh) 识别表计示数方法、装置、可读存储介质和计算机设备
CN116740586A (zh) 冰雹识别方法、装置、电子设备及计算机可读存储介质
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN111551499B (zh) 果实糖分含量的测量方法、装置、计算机设备及存储介质
CN112668637B (zh) 网络模型的训练方法、识别方法、装置及电子设备
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN115035481A (zh) 一种图像物距融合方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant