CN114862810B - 果实计数方法、装置和存储介质 - Google Patents

果实计数方法、装置和存储介质 Download PDF

Info

Publication number
CN114862810B
CN114862810B CN202210544690.1A CN202210544690A CN114862810B CN 114862810 B CN114862810 B CN 114862810B CN 202210544690 A CN202210544690 A CN 202210544690A CN 114862810 B CN114862810 B CN 114862810B
Authority
CN
China
Prior art keywords
fruit
frame
crop
position information
fruits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210544690.1A
Other languages
English (en)
Other versions
CN114862810A (zh
Inventor
王蓬勃
戴广林
王天健
胡玲
荣佳诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210544690.1A priority Critical patent/CN114862810B/zh
Publication of CN114862810A publication Critical patent/CN114862810A/zh
Application granted granted Critical
Publication of CN114862810B publication Critical patent/CN114862810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25—Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Sorting Of Articles (AREA)

Abstract

本申请公开了一种果实计数方法、装置和存储介质，涉及计算机视觉技术领域，所述方法包括：通过巡检机器人定时获取农作物图像；对于每帧农作物图像，通过串果检测模型检测所述农作物图像中所包含的串果的串果位置信息；通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的目标数量；将所述串果位置信息以及所述目标数量关联存储为所述农作物图像的果实检测信息；根据每帧农作物图像的果实检测信息确定果实的总数量。解决了现有技术中果实数量统计不准确的问题，达到了可以提高果实计数的准确率的效果。

Description

果实计数方法、装置和存储介质
技术领域
本发明涉及一种果实计数方法、装置和存储介质，属于计算机视觉技术领域。
背景技术
随着现代科技的快速发展以及图像和视频获取技术的逐步完善与发展，机器人巡检已经逐渐应用于设施农业场景中。在番茄温室中，通过机器人代替人工巡检可以极大提高巡检效率、降低人工成本、提高经济效益，番茄的计数作为巡检的重要环节，如何提高计数准确率成为了一个有待研究的问题。
现有的果实计数方法大多基于单张图片的目标检测结果，通过密度回归等方法计算果实数量，由于温室内番茄种植环境复杂，通过密度回归不能准确获取果实数量。
发明内容
本发明的目的在于提供一种果实计数方法、装置和存储介质，用于解决现有技术中存在的问题。
为达到上述目的，本发明提供如下技术方案：
根据第一方面，本发明实施例提供了一种果实计数方法，所述方法包括：
通过巡检机器人定时获取农作物图像；
对于每帧农作物图像，通过串果检测模型检测所述农作物图像中所包含的串果的串果位置信息；
通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的目标数量；
将所述串果位置信息以及所述目标数量关联存储为所述农作物图像的果实检测信息；
根据每帧农作物图像的果实检测信息确定果实的总数量。
可选的，所述通过串果检测模型检测所述农作物图像中所包含的串果的串果位置信息，包括：
通过串果检测模型检测所述农作物图像中所包含的串果的中心坐标；
检测所述中心坐标是否处于无效区域内；
若所述中心坐标不属于所述无效区域，则获取所述串果的串果位置信息。
可选的，所述无效区域为所述农作物图像中左右两侧预设距离处的区域。
可选的，所述通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的目标数量，包括：
通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的初始数量；
通过深度相机获取每个单果的深度值；
对于每个单果，检测所述单果的深度值是否大于第一阈值；
若所述深度值大于所述第一阈值，则过滤所述单果，并更新所述初始数量得到所述目标数量。
可选的，所述根据每帧农作物图像的果实检测信息确定果实的数量，包括：
对于相邻的n帧农作物图像，根据任意两帧农作物图像的果实检测信息计算交并比，n为大于1的整数；
若计算得到的所述交并比大于第二阈值，则过滤其中一帧农作物图像的果实检测信息；
统计剩余果实检测信息中的单果的数量总和，得到所述果实的数量。
可选的，所述根据任意两帧农作物图像的果实检测信息计算交并比，包括：
获取所述巡检机器人在获取所述任意两帧农作物图像时移动的距离；
根据所述距离以及第二帧农作物图像的果实检测信息中的串果位置信息，预测第二帧农作物图像中的串果在第一帧农作物图像中的预测串果位置信息；
计算所述预测串果位置信息与所述第一帧农作物图像的果实检测信息中的串果位置信息的交并比。
可选的，所述方法还包括：
若所述任意两帧农作物图像中存在包括至少两串果实的农作物图像，则对于每串果实的串果位置信息，分别执行所述根据所述距离以及第二帧农作物图像的果实检测信息中的串果位置信息，预测第二帧农作物图像中的串果在第一帧农作物图像中的预测串果位置信息的步骤。
可选的，所述过滤其中一帧农作物图像的果实检测信息，包括：
根据相邻两帧农作物图像的果实检测信息中的单果数量选择数量较少的果实检测信息；
过滤选择得到的果实检测信息。
第二方面，提供了一种果实计数装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如第一方面所述的方法。
第三方面，提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如第一方面所述的方法。
通过巡检机器人定时获取农作物图像；对于每帧农作物图像，通过串果检测模型检测所述农作物图像中所包含的串果的串果位置信息；通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的目标数量；将所述串果位置信息以及所述目标数量关联存储为所述农作物图像的果实检测信息；根据每帧农作物图像的果实检测信息确定果实的总数量。解决了现有技术中果实数量统计不准确的问题，达到了可以提高果实计数的准确率的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明一个实施例提供的果实计数方法的方法流程图；
图2是本发明公开的一种基于巡检机器人的番茄计数方法中图像获取的示意图；
图3是本发明公开的一种基于巡检机器人的番茄计数方法中目标识别时对边缘番茄过滤示意图；
图4是本发明公开的一种串果的深度值的一种可能的示意图；
图5是本发明公开的一种基于巡检机器人的番茄计数方法中目标识别和目标判断的示意图；
图6是本发明公开的一种基于巡检机器人的番茄计数方法中目标判断过程时计算iou示意图；
图7是本发明公开的一种基于巡检机器人的番茄计数方法面对多串番茄时处理流程示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
请参考图1，其示出了本申请一个实施例提供的果实计数方法的方法流程图，如图1所示，所述方法包括：
步骤101，通过巡检机器人定时获取农作物图像；
本申请所述的农作物可以为番茄、葡萄、提子等串状农作物，本申请对此并不做限定，并且除特殊说明外，以农作物为番茄来举例说明。通常情况下，农作物成垅种植，农作物的两垅之间设置有平行与垅的轨道，巡检机器人在轨道中行驶。实际实现时，番茄与所选用的深度相机的距离和高度应该保证番茄打叶区正好落在相机视野范围内。比如，请参考图2，由深度相机获取番茄的RGB-D图像，所述的RGB-D图像由番茄的RGB图像和对齐的深度图组成。
此外，本申请的农作物可以种植在温室中，也可以种植在露天，本实施例对此并不做限定。
请参考图3，其示出了巡检机器人获取到的一种可能的农作物图像。
实际实现时，巡检机器人可以定时获取农作物图像，比如，每隔t秒移动预设距离，并获取一次农作物图像，本实施例对此并不做限定。当然，巡检机器人还可以以预设速度行驶，每隔t秒获取一次农作物图像。实际实现时，可以根据果实的多少来设置巡检机器人的行驶速度和图像采集的间隔时间。
步骤102，对于每帧农作物图像，通过串果检测模型检测所述农作物图像中所包含的串果的串果位置信息；
其中，串果检测模型为根据样本图像预先训练得到的模型。样本图像可以为巡检机器人历史采集到的大量的农作物图像，并且在获取到样本图像之后，标注人员可以对样本图像进行标注，也即标注样本图像中的串果和单果，并形成串果样本图像和单果样本图像，根据串果样本图像训练得到串果检测模型，根据单果样本图像训练得到单果检测模型。
实际实现时，本步骤包括：
第一，通过串果检测模型检测所述农作物图像中所包含的串果的中心坐标；
实际实现时，可以通过串果检测模型检测农作物图像中包含串果的矩形框，矩形框的中心坐标即为该串果的中心坐标。
第二，检测所述中心坐标是否处于无效区域内；
实际实现时，为防止检测到的串番茄处在图像边缘而未能被完全识别，农作物图像中可以设置有无效区域，无效区域为所述农作物图像中左右两侧预设距离处的区域。比如，请参考图3，本实施例设置农作物图像两侧的无效宽度为b，则在横坐标在(0,b)或(Xmax-b,Xmax)区间内的区域即为无效区域。本步骤即可检测识别得到的串果的中心坐标是否在无效区域。
第三，若所述中心坐标不属于所述无效区域，则获取所述串果的串果位置信息。
若中心坐标不属于无效区域，则可以记录串果的串果位置信息。实际实现时，可以记录得到串果的中心坐标和矩形框的宽高，比如，中心坐标为(x1,y1)，宽高为(w1,h1)。
而若检测结果为中心坐标属于无效区域，则说明该串果可能处于图像的边缘，也即图像中的串果可能不完整，此时即可过滤该串果，也即不记录该串果的串果位置信息。
可选地，将识别到的串果目标检测矩形框截取出来，再使用边缘灰度填充的方法将截取出来的矩形框填充至原始图像像素。
步骤103，通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的目标数量；
在识别得到串果之后，可以通过单果检测模型检测对应位置处包含的单果的目标数量。实际实现时，可以识别得到串果中包含的单果的数量a1以及每个单果的中心坐标。
实际实现时，本步骤包括：
第一，通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的初始数量；
第二，通过深度相机获取每个单果的深度值；
实际实现时，可以结合深度相机获取的深度信息和每个单果矩形框的中心点坐标，可以得到每个单果的深度值di。
第三，对于每个单果，检测所述单果的深度值是否大于第一阈值；
第四，若所述深度值大于所述第一阈值，则过滤所述单果，并更新所述初始数量得到所述目标数量。
在一种可能的实施例中，若深度值di大于第一阈值T，则说明当前的单果可能是背景单果，此时过滤该单果。类似的，可以一次对每个单果执行上述检测，并根据检测结果更新步骤一中识别得到的初始数量。比如，初始数量为15，深度值大于第一阈值的单果的数量为3，则确定得到的目标数量为15-3＝12。
可选的，在一种可能的实施例中，在过滤串果中深度值大于第一阈值的单果之后，计算剩余单果的深度值的平均值，将计算的平均值作为串果的深度值，比如，作为番茄深度值。请参考图4，其示出了计算得到的串果的深度值D的示意图。其中，串果的深度值即为串果距离相机平面的垂直距离。
步骤104，将所述串果位置信息以及所述目标数量关联存储为所述农作物图像的果实检测信息；
在一种可能的实施例中，记录的果实检测信息为[1,ID1,x1,y1,w1,h1,a1,D1,0]。其中，列表中的第一个元素代表第一帧，列表中第二个元素ID1代表当前串果的标签，串果的标签用于表示一个串果，也即在检测识别得到一个串果时，则为该串果设置一个标签，并且对着采集到的农作物图像的帧数的增加，识别得到的串果的标签也在增加，然而，由于不同图像帧中的串果可能是同一串，因此在本申请中不同的标签可能表征同一个串果；x1、y1代表串果的检测矩形框的中心点坐标；w1、h1分别代表串果检测矩形框的长和高；a1代表该串果所包含单果的数量；D1代表该串果和相机的距离，也即串果的深度值，最后一个元素设置为0默认巡检机器人1号位置为初始位置。
类似的，在巡检机器人移动一定距离后定时获取到下一帧农作物图像时，可以类似的记录得到果实检测信息，比如，对于第二帧而言，记录得到的果实检测信息为：[2,ID2,x2,y2,w2,h2,a2,D2,s1]，以此类推。请参考图5，其示出了依次获取三帧农作物图像的一种可能的示意图。
步骤105，根据每帧农作物图像的果实检测信息确定果实的总数量。
实际实现时，本步骤包括：
第一，对于相邻的n帧农作物图像，根据任意两帧农作物图像的果实检测信息计算交并比，n为大于1的整数；
(1)、获取所述巡检机器人在获取所述任意两帧农作物图像时移动的距离；
比如，巡检机器人每次获取农作物图像时移动s1距离，则本步骤即可获取到距离s1。
(2)、根据所述距离以及第二帧农作物图像的果实检测信息中的串果位置信息，预测第二帧农作物图像中的串果在第一帧农作物图像中的预测串果位置信息；
已知第二帧识别到的番茄列表信息，首先根据相机内参、串果的深度值、巡检机器人位移信息计算上一帧番茄检测矩形框中心点的坐标。
第二帧番茄检测矩形框box2中的(x2,y2)为中心点在图像坐标系中的位置，现在将这个点的坐标转换到相机坐标系下的坐标值：
巡检机器人从1号位置到2号位置移动了s1，相机坐标系在x轴方向移动了s1距离:
则可以计算出第二帧检测出的目标检测框中心点在第一帧的位置：
y2′＝y2
也即预测得到的预测串果位置信息为(x2′，y2′)高度和宽度保持w2和h2不变。
(3)、计算所述预测串果位置信息与所述第一帧农作物图像的果实检测信息中的串果位置信息的交并比。
串果的检测框box2’在第一帧农作物图像中的信息为(x2’,y2’,w2,h2)。
第一帧已有的目标检测矩形框box1为(x1,y1,w1,h1)，则对这两个矩形框的交并比iou。
iou＝(box1∩box2’)/(box1∪box2’)，两个矩形框的交并比计算的示意图如图6所示。
第二，若计算得到的所述交并比大于第二阈值，则过滤其中一帧农作物图像的果实检测信息；
(1)、根据相邻两帧农作物图像的果实检测信息中的单果数量选择数量较少的果实检测信息；
(2)、过滤选择得到的果实检测信息。
若计算得到的交并比大于第二阈值，则说明两帧农作物图像中的番茄可能是同一串，此时需要对比两个果实检测中的单果数量信息，保留单果数量较多的数据，可以减少因为不同视角拍摄导致番茄遮挡的现象。
实际实现时，为了防止漏识别，需要对每一帧的果实检测信息和前n帧的果实检测信息作目标判断处理。
需要补充说明的是，上述仅以每帧只有单串番茄，若每帧图片出现多串番茄则如图7所示，此处主要区别在于计算iou时需要对两帧图片的矩形框两两计算。也即上述方法还包括：
若所述任意两帧农作物图像中存在包括至少两串果实的农作物图像，则对于每串果实的串果位置信息，分别执行所述根据所述距离以及第二帧农作物图像的果实检测信息中的串果位置信息，预测第二帧农作物图像中的串果在第一帧农作物图像中的预测串果位置信息的步骤。
此外，上述数据n的取值是由机器人的移动速度和机器人的处理速度决定的。
第三，统计剩余果实检测信息中的单果的数量总和，得到所述果实的数量。
最后的单果数量即为每个果实检测出信息中的单果数量之和，即B＝a1+a2+a3+…+ai。
综上所述，通过巡检机器人定时获取农作物图像；对于每帧农作物图像，通过串果检测模型检测所述农作物图像中所包含的串果的串果位置信息；通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的目标数量；将所述串果位置信息以及所述目标数量关联存储为所述农作物图像的果实检测信息；根据每帧农作物图像的果实检测信息确定果实的总数量。解决了现有技术中果实数量统计不准确的问题，达到了可以提高果实计数的准确率的效果。
本申请还提供了一种果实计数装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如上所述的方法。
本申请还提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如上所述的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种果实计数方法，其特征在于，所述方法包括：
通过巡检机器人定时获取农作物图像；
对于每帧农作物图像，通过串果检测模型检测所述农作物图像中所包含的串果的串果位置信息；
通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的目标数量；
将所述串果位置信息以及所述目标数量关联存储为所述农作物图像的果实检测信息；
根据每帧农作物图像的果实检测信息确定果实的总数量；
所述根据每帧农作物图像的果实检测信息确定果实的总数量，包括对于相邻的n帧农作物图像，根据任意两帧农作物图像的果实检测信息计算交并比，n为大于1的整数，其包括：
获取所述巡检机器人在获取所述任意两帧农作物图像时移动的距离，巡检机器人每次获取农作物图像时移动s1距离，则本步骤即可获取到距离s1；
根据所述距离以及第二帧农作物图像的果实检测信息中的串果位置信息，预测第二帧农作物图像中的串果在第一帧农作物图像中的预测串果位置信息，已知第二帧识别到的番茄列表信息，首先根据相机内参、串果的深度值、巡检机器人位移信息计算上一帧番茄检测矩形框中心点的坐标，第二帧番茄检测矩形框box2中的(x2,y2)为中心点在图像坐标系中的位置，现在将这个点的坐标转换到相机坐标系下的坐标值：
巡检机器人从1号位置到2号位置移动了s1，相机坐标系在x轴方向移动了s1距离:
则可以计算出第二帧检测出的目标检测框中心点在第一帧的位置：
y2′＝y2
也即预测得到的预测串果位置信息为(x2'，y2')高度和宽度保持w2和h2不变。
2.根据权利要求1所述的方法，其特征在于，所述通过串果检测模型检测所述农作物图像中所包含的串果的串果位置信息，包括：
通过串果检测模型检测所述农作物图像中所包含的串果的中心坐标；
检测所述中心坐标是否处于无效区域内；
若所述中心坐标不属于所述无效区域，则获取所述串果的串果位置信息。
3.根据权利要求2所述的方法，其特征在于，所述无效区域为所述农作物图像中左右两侧预设距离处的区域。
4.根据权利要求1所述的方法，其特征在于，所述通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的目标数量，包括：
通过单果检测模型检测所述串果位置信息所对应的位置处包含的单果的初始数量；
通过深度相机获取每个单果的深度值；
对于每个单果，检测所述单果的深度值是否大于第一阈值；
若所述深度值大于所述第一阈值，则过滤所述单果，并更新所述初始数量得到所述目标数量。
5.根据权利要求1所述的方法，其特征在于，所述根据每帧农作物图像的果实检测信息确定果实的数量，包括：
对于相邻的n帧农作物图像，根据任意两帧农作物图像的果实检测信息计算交并比，n为大于1的整数；
若计算得到的所述交并比大于第二阈值，则过滤其中一帧农作物图像的果实检测信息；
统计剩余果实检测信息中的单果的数量总和，得到所述果实的数量。
6.根据权利要求5所述的方法，其特征在于，所述根据任意两帧农作物图像的果实检测信息计算交并比，包括：
获取所述巡检机器人在获取所述任意两帧农作物图像时移动的距离；
根据所述距离以及第二帧农作物图像的果实检测信息中的串果位置信息，预测第二帧农作物图像中的串果在第一帧农作物图像中的预测串果位置信息；
计算所述预测串果位置信息与所述第一帧农作物图像的果实检测信息中的串果位置信息的交并比。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述任意两帧农作物图像中存在包括至少两串果实的农作物图像，则对于每串果实的串果位置信息，分别执行所述根据所述距离以及第二帧农作物图像的果实检测信息中的串果位置信息，预测第二帧农作物图像中的串果在第一帧农作物图像中的预测串果位置信息的步骤。
8.根据权利要求5所述的方法，其特征在于，所述过滤其中一帧农作物图像的果实检测信息，包括：
根据相邻两帧农作物图像的果实检测信息中的单果数量选择数量较少的果实检测信息；
过滤选择得到的果实检测信息。
9.一种果实计数装置，其特征在于，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如权利要求1至8任一所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求1至8任一所述的方法。
CN202210544690.1A 2022-05-19 2022-05-19 果实计数方法、装置和存储介质 Active CN114862810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210544690.1A CN114862810B (zh) 2022-05-19 2022-05-19 果实计数方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210544690.1A CN114862810B (zh) 2022-05-19 2022-05-19 果实计数方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN114862810A CN114862810A (zh) 2022-08-05
CN114862810B true CN114862810B (zh) 2024-07-02

Family

ID=82638678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210544690.1A Active CN114862810B (zh) 2022-05-19 2022-05-19 果实计数方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN114862810B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241947A (zh) * 2019-12-31 2020-06-05 深圳奇迹智慧网络有限公司 目标检测模型的训练方法、装置、存储介质和计算机设备
CN111563935A (zh) * 2019-12-24 2020-08-21 中国航空工业集团公司北京航空精密机械研究所 一种蜂窝型材蜂窝孔视觉定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935412B (zh) * 2020-10-19 2021-04-13 广东科凯达智能机器人有限公司 一种巡检目标自动识别跟踪的方法、系统及机器人
CN113674343B (zh) * 2021-08-30 2024-06-25 复亚智能技术发展(江苏)有限公司 一种无人机巡检方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563935A (zh) * 2019-12-24 2020-08-21 中国航空工业集团公司北京航空精密机械研究所 一种蜂窝型材蜂窝孔视觉定位方法
CN111241947A (zh) * 2019-12-31 2020-06-05 深圳奇迹智慧网络有限公司 目标检测模型的训练方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
CN114862810A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN109903312B (zh) 一种基于视频多目标跟踪的足球球员跑动距离统计方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN109658412B (zh) 一种面向拆垛分拣的包装箱快速识别分割方法
CN110807496B (zh) 一种密集目标检测方法
CN109829445B (zh) 一种视频流中的车辆检测方法
US20060221181A1 (en) Video ghost detection by outline
CN109934170B (zh) 一种基于计算机视觉的矿山资源统计方法
CN112069985A (zh) 基于深度学习的高分辨率大田图像稻穗检测与计数方法
CN113569830B (zh) 陈列物品行列位置的确定方法、装置、设备及存储介质
CN113706584A (zh) 基于计算机视觉的街景流量信息采集方法
CN114972490B (zh) 一种数据自动标注方法、装置、设备及存储介质
CN110807430B (zh) 一种实况全景交通标志图片预处理方法
CN110766715B (zh) 一种结合单目标轨迹的多目标跟踪方法
CN115761674A (zh) 一种道路边缘定位检测方法、设备及介质
CN114863311A (zh) 一种变电站机器人巡检目标自动跟踪方法及系统
CN114862810B (zh) 果实计数方法、装置和存储介质
CN109657540A (zh) 枯死树定位方法及系统
CN117671529A (zh) 一种基于无人机扫描测量的农田水位观测装置及观测方法
CN111738085A (zh) 实现自动驾驶同时定位与建图的系统构建方法及装置
CN111428626A (zh) 一种移动物体的识别方法、装置、及存储介质
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
CN115620196A (zh) 一种关键帧提取方法、物品识别方法及装置
CN115294472A (zh) 果实产量估计方法、模型训练方法、设备及存储介质
CN113989253A (zh) 农田目标对象信息的获取方法及装置
US20100202688A1 (en) Device for segmenting an object in an image, video surveillance system, method and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant