CN113223026A - 基于轮廓的目标果实图像实例分割方法及系统 - Google Patents
基于轮廓的目标果实图像实例分割方法及系统 Download PDFInfo
- Publication number
- CN113223026A CN113223026A CN202110402062.5A CN202110402062A CN113223026A CN 113223026 A CN113223026 A CN 113223026A CN 202110402062 A CN202110402062 A CN 202110402062A CN 113223026 A CN113223026 A CN 113223026A
- Authority
- CN
- China
- Prior art keywords
- contour
- target
- target fruit
- fruit image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 229910003460 diamond Inorganic materials 0.000 claims description 3
- 239000010432 diamond Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 125000004122 cyclic group Chemical group 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理领域,提供了一种基于轮廓的目标果实图像实例分割方法及系统。其中,该方法包括获取目标果实图像;提取目标果实图像的特征,并进行特征融合;将融合特征输入至第一目标检测网络,得到第一对角关键点坐标及一个候选框;将候选框中的图像输入至第二目标检测网络中,得到至少两个第二对角关键点坐标及相应候选框;基于第二对角关键点坐标及相应候选框构建出初始轮廓,将初始轮廓变形至目标边界,确定目标果实的最终轮廓,分割出目标果实图像中的所有目标果实的位置。
Description
技术领域
本发明属于图像处理领域,尤其涉及一种基于轮廓的目标果实图像实例分 割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在 先技术。
随着现代人工智能的兴起,现代农业技术水平有了很大的提升,特别是图 像识别技术的兴起,给农业生产带来了巨大的利益。传统的手工劳作逐渐被取 消了,取而代之的是机器人作业。如机器人采摘,机器人药物喷洒,机器人产 量预估等方面。图像识别技术的进步为机器人采摘提供了强有力的技术支持, 但是在现实的采摘环境下,仍然存在这识别不精准,速度慢,树叶遮挡等问题。 尤其是果树上果实众多的时候,机器人的采摘效率会大大下降。
为了提升机器人采摘的速度和精确度,研究人员已经提出了很多的解决办 法,逐渐的提高了果实识别的速度和精确度。但是发明人发现,这些果实识别 的方法往往是基于像素点进行分割,基于像素的分割方法计算量大,而且速度 不够快,导致要占取许多的资源和内存,果实采摘的速度达不到现实目的的要 求。
发明内容
为了解决上述背景技术中存在的技术问题,本发明提供一种基于轮廓的目 标果实图像实例分割方法及系统,其基于轮廓进行分割,计算量小,分割速度 快而准确。
为了实现上述目的,本发明采用如下技术方案:
本发明的第一个方面提供一种基于轮廓的目标果实图像实例分割方法。
一种基于轮廓的目标果实图像分割方法,其包括:
获取目标果实图像;
提取目标果实图像的特征,并进行特征融合;
将融合特征输入至第一目标检测网络,得到第一对角关键点坐标及一个候 选框;
将候选框中的图像输入至第二目标检测网络中,得到至少两个第二对角关 键点坐标及相应候选框;
基于第二对角关键点坐标及相应候选框构建出初始轮廓,将初始轮廓变形 至目标边界,确定目标果实的最终轮廓,分割出目标果实图像中的所有目标果 实的位置。
本发明的第二个方面提供一种基于轮廓的目标果实图像实例分割系统。
一种基于轮廓的目标果实图像实例分割系统,其包括:
图像获取模块,其用于获取目标果实图像;
特征融合模块,其用于提取目标果实图像的特征,并进行特征融合;
第一对角关键点检测模块,其用于将融合特征输入至第一目标检测网络, 得到第一对角关键点坐标及一个候选框;
第二对角关键点检测模块,其用于将候选框中的图像输入至第二目标检测 网络中,得到至少两个第二对角关键点坐标及相应候选框;
轮廓定位模块,其用于基于第二对角关键点坐标及相应候选框构建出初始 轮廓,将初始轮廓变形至目标边界,确定目标果实的最终轮廓,分割出目标果 实图像中的所有目标果实的位置。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行 时实现如上述所述的基于轮廓的目标果实图像实例分割方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上 运行的计算机程序,所述处理器执行所述程序时实现如上述所述的基于轮廓的 目标果实图像实例分割方法中的步骤。
与现有技术相比,本发明的有益效果是:
本发明提供了一种基于轮廓的目标果实图像实例分割方法,其不同于传统 的基于轮廓的snake算法,本发明引入循环卷积对轮廓进行特征学习;提出了一 个两阶段的实例分割方法:第一步初始化轮廓,第二步轮廓变形,直至变形到 目标的边界;
本发明平衡了速度和精度的关系,摒弃了计算量复杂的像素分割方法,使 用了基于轮廓的分割方法,提出了一个速度快、识别精准、鲁棒性强的实例分 割模型,计算量小,分割速度快而准确。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述 中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发 明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明实施例的基于轮廓的目标果实图像实例分割方法流程图;
图2是本发明实施例的在Deep Snake中应用循环卷积的迭代图;
图3是本发明实施例的循环卷积网络的结构图;
图4是本发明实施例的多组件检测的过程图;
图5(a)是本发明实施例的夜间果实图像;
图5(b)是本发明实施例的顺光果实图像;
图5(c)是本发明实施例的远景果实图像;
图5(d)是本发明实施例的夜阴天实图像;
图5(e)是本发明实施例的夜遮挡重叠实图像;
图5(f)是本发明实施例的雨天果实图像;
图6(a)是本发明实施例的目标果实分割效果图一;
图6(b)是本发明实施例的目标果实分割效果图二;
图6(c)是本发明实施例的目标果实分割效果图三;
图6(d)是本发明实施例的目标果实分割效果图四;
图6(e)是本发明实施例的目标果实分割效果图五;
图6(f)是本发明实施例的目标果实分割效果图六;
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。 除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的 普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图 限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确 指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说 明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、 组件和/或它们的组合。
实施例一
如图1所示,本实施例提供了一种基于轮廓的目标果实图像实例分割方法, 其具体包括如下步骤:
步骤S101:获取目标果实图像。
在具体实施中,获取的目标果实图像可以为任意角度、时间段和天气的图 像。而且在实际训练第一目标检测网络以及第二目标检测网络时,也是用设备 采集目标果实(比如:苹果)的图像,在不同的角度、时间段和天气进行拍摄, 丰富数据集,如图5(a)-图5(f)所示。并且用labelme软件进行标注,将标 注完的果实制作成数据集。
步骤S102:提取目标果实图像的特征,并进行特征融合。
在提取目标果实图像的特征之前,将采集到的图像进行平滑、降噪等预处 理,采用中值滤波消除孤立的噪声点,增强图像的有用信息,提高图像的清晰 度,将图像处理成模型输入的格式。
在本实施例中,网络的主干部分采用ResNet残差网络来提取图像的特征, 能够有效避免因网络深度过深带来的梯度消失或梯度爆炸问题。为了解决目标 的多尺度变化问题,在ResNet后接了FPN(Feature Pyramid Network,特征金字 塔网络)来解决这个问题,能够大幅度的提升物体的检测性能。FPN,特征金字 塔网络的每层都是独立预测的,顶层特征通过上采样和底层特征做融合。
步骤S103:将融合特征输入至第一目标检测网络,得到第一对角关键点坐 标及一个候选框。
在本实施例中,第一目标检测网络使用CornerNet,CenterNet是一种 anchor-free的目标检测网络,它不是去直接检测物体,而是将检测任务定义为关 键点检测问题,通过目标的左上角和右下角来两个关键点来得到预测框。该检 测器的检测速度和检测精度相比于其他的网络结构有很大的提升。
步骤S104:将候选框中的图像输入至第二目标检测网络中,得到至少两个 第二对角关键点坐标及相应候选框。
其中,第二目标检测网络也使用CornerNet。在现实环境中,我们采集到的 果实图像往往一张图像上包含了多个目标果实目标,导致一张图片上出现多个 目标,但是轮廓一次只能勾出一个目标,为了解决这个问题,使用另一个检测 器来检测目标,如图4所示本实施例利用RoIAlign来获取feature map,并且在 feature map上增加一个检测器分支来产生组件框,也就是第二目标检测网络, 被检测到的每一个组件使用deep snake去分别分割,最后将分割出来的结果进行 合并。
其中,目标检测使用CornerNet作为检测器,检测目标中左上角和右下角的 关键点位置。CornerNet会有三个输出,第一个输出是预测对角点的位置,第二 个输出是offset,第三个输出是embedding,就是基于基于不同角点的embedding vector之间的距离找到每个目标的一对角点。
步骤S105:基于第二对角关键点坐标及相应候选框构建出初始轮廓,将初 始轮廓变形至目标边界,确定目标果实的最终轮廓,分割出目标果实图像中的 所有目标果实的位置。
本实施例基于轮廓进行实例分割,所以进行精确分割的基础是有一个精确 的初始轮廓能够将目标包裹起来。本实施例选择以八边形作为初始轮廓的形状, 因为八边形可以将目标很好的包裹起来。输入的图像经过目标检测器之后得到 一个候选框,我们分别在框的四条边上选取四个中点,用符号表示, 依次连接这四个点得到一个菱形框。该算法将此轮廓作为输入,并且输出每个 顶点到目标极值点的偏移量。其中目标极值点是指目标最上方,最左侧,最 下方,最右侧的特征点,用符号表示。通过四个极值点我们可以重 新定义一个八边形轮廓。具体过程如下:从每个极值点开始,直线沿相应的框 边方向延伸的边长,并在边角处相交,最后将这四个线段连接,形成一个初始 的八边形轮廓。
此处需要说明的是,也可采用六边形轮廓作为初始轮廓,本领域技术人员 可根据实际情况来具体选择。
本实施例的Deep Snake算法不同于传统的基于轮廓的算法,而是为初始轮 廓的每一个顶点xi,i=1...N,构造一个特征向量。顶点xi的输入特征fi是基于学习 的特征和顶点坐标的连接:[F(xi);xi],其中F代表特征块,F(xi)是通过顶点坐标 xi处的双线性插值来计算的。
Deep Snake算法为特征学习引入了循环卷积,循环卷积是一类以序列数据 为输入,在序列的演进方向进行递归且所有节点按链式链接的递归神经网络。 如图2所示,展示了循环卷积,其中下面圈中的结点代表轮廓上的输入特征, 下面圈内的结点表示核函数,上面圈结点是核函数和绿色结点的中间产物,且 循环卷积的输入特征和输出特征具有相同的序列长度。一个简单的循环卷积结 构如图3所示,它由输入层、隐藏层以及输出层组成,Xt代表输入特征,ht代 表输出特征。把轮廓上的顶点视为一个周期信号f:并且使用循 环卷积编码周期性特征,定义为:其中k:[-r,r]→RD是一个 可学习的核函数,*表示标准卷积操作。在所有的实验中,循环卷积的核大小被 固定为9。
在具体实施中,对于生成的特征图,先预测目标的极值点,即目标上、下、 左、右的极值点,将极值点延长形成一个八边形的目标初始轮廓。形成初始轮 廓之后,使用循环卷积神经网络,充分利用轮廓的拓扑结构进行迭代,预测轮 廓变形的坐标值。
通过将初始轮廓变形至目标边界,Deep Snake可以在一定的程度上解决目 标检测器的定位误差。首先沿着八边形轮廓的顶点均匀的采样N个点。 Ground-truth轮廓是通过沿着目标边界均匀采样N个顶点,并且把第一个顶点定 义为最接近的点。DeepSnake将八边形轮廓作为初始轮廓,并且作为输入, 输出每一个顶点到目标边界点的N个偏移量。在本实施例中,偏移量的回归以 迭代优化的方式进行。具体过程如下:
(1)首先基于当前的八边形轮廓进行预变形。
(2)通过向轮廓顶点坐标添加偏移量来变形轮廓。变形的轮廓可用于下一 次的变形。
(3)以此变形迭代3次。
图像经过轮廓变形至目标边界,确定最终的轮廓,目标果实的实例分割效 果图如图6(a)-图6(f)所示。
其中,使用均方误差损失函数(MSE,mean squared error)计算模型预测值 与训练目标之间的损失,迭代训练并评估,从而得到最优的模型。
具体地,在Deep Snake模型中,极值点的预测和初始轮廓的迭代变形都使 用均方误差损失函数来计算。对于极值点预测的损失函数定义为:
实施例二
本实施例提供了一种基于轮廓的目标果实图像实例分割系统,其具体包括 如下模块:
图像获取模块,其用于获取目标果实图像;
特征融合模块,其用于提取目标果实图像的特征,并进行特征融合;
第一对角关键点检测模块,其用于将融合特征输入至第一目标检测网络, 得到第一对角关键点坐标及一个候选框;
第二对角关键点检测模块,其用于将候选框中的图像输入至第二目标检测 网络中,得到至少两个第二对角关键点坐标及相应候选框;
轮廓定位模块,其用于基于第二对角关键点坐标及相应候选框构建出初始 轮廓,将初始轮廓变形至目标边界,确定目标果实的最终轮廓,分割出目标果 实图像中的所有目标果实的位置。
果实的最终轮廓,分割出目标果实图像中的所有目标果实的位置。
此处需要说明的是,本实施例的基于轮廓的目标果实图像实例分割系统中 的各个模块,与实施例一中的基于轮廓的目标果实图像实例分割方法中的各个 步骤一一对应,其具体实施过程相同,此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程 序被处理器执行时实现如上述所述的基于轮廓的目标果实图像实例分割方法中 的步骤。
实施例四
本实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上 并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所 述的基于轮廓的目标果实图像实例分割方法中的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计 算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和 硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算 机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器 等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的 流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框 图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。 可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他 可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程 数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程 和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程, 是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算 机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。 其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领 域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则 之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之 内。
Claims (10)
1.一种基于轮廓的目标果实图像实例分割方法,其特征在于,包括:
获取目标果实图像;
提取目标果实图像的特征,并进行特征融合;
将融合特征输入至第一目标检测网络,得到第一对角关键点坐标及一个候选框;
将候选框中的图像输入至第二目标检测网络中,得到至少两个第二对角关键点坐标及相应候选框;
基于第二对角关键点坐标及相应候选框构建出初始轮廓,将初始轮廓变形至目标边界,确定目标果实的最终轮廓,分割出目标果实图像中的所有目标果实的位置。
2.如权利要求1所述的基于轮廓的目标果实图像实例分割方法,其特征在于,提取获取图像的特征之前还包括,对获取的目标果实图像进行去噪及增强预处理。
3.如权利要求1所述的基于轮廓的目标果实图像实例分割方法,其特征在于,采用ResNet残差网络来提取获取图像的特征。
4.如权利要求1所述的基于轮廓的目标果实图像实例分割方法,其特征在于,采用特征金字塔网络进行特征融合。
5.如权利要求1所述的基于轮廓的目标果实图像实例分割方法,其特征在于,所述目标检测网络为CornerNet。
6.如权利要求1所述的基于轮廓的目标果实图像实例分割方法,其特征在于,所述初始轮廓为八边形轮廓,其构建过程为:
基于目标果实的第二对角关键点及其对应的候选框,分别在候选框的四条边上选取四个中点,依次连接这四个点得到一个菱形框;
基于Deep Snake算法及菱形框,得到每个顶点到目标极值点的偏移量;
从每个极值点开始,直线沿相应的框边方向延伸1/4的边长,并在边角处相交,最后将这四个线段连接,形成一个初始的八边形轮廓。
7.如权利要求6所述的基于轮廓的目标果实图像实例分割方法,其特征在于,基于DeepSnake算法及初始的八边形轮廓,偏移量的回归以迭代优化的方式确定出目标果实的最终轮廓。
8.一种基于轮廓的目标果实图像实例分割系统,其特征在于,包括:
图像获取模块,其用于获取目标果实图像;
特征融合模块,其用于提取目标果实图像的特征,并进行特征融合;
第一对角关键点检测模块,其用于将融合特征输入至第一目标检测网络,得到第一对角关键点坐标及一个候选框;
第二对角关键点检测模块,其用于将候选框中的图像输入至第二目标检测网络中,得到至少两个第二对角关键点坐标及相应候选框;
轮廓定位模块,其用于基于第二对角关键点坐标及相应候选框构建出初始轮廓,将初始轮廓变形至目标边界,确定目标果实的最终轮廓,分割出目标果实图像中的所有目标果实的位置。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的基于轮廓的目标果实图像检测方法中的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于轮廓的目标果实图像实例分割方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110402062.5A CN113223026A (zh) | 2021-04-14 | 2021-04-14 | 基于轮廓的目标果实图像实例分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110402062.5A CN113223026A (zh) | 2021-04-14 | 2021-04-14 | 基于轮廓的目标果实图像实例分割方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113223026A true CN113223026A (zh) | 2021-08-06 |
Family
ID=77087212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110402062.5A Pending CN113223026A (zh) | 2021-04-14 | 2021-04-14 | 基于轮廓的目标果实图像实例分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113223026A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111259758A (zh) * | 2020-01-13 | 2020-06-09 | 中国矿业大学 | 一种针对密集区域的两阶段遥感图像目标检测方法 |
CN111626208A (zh) * | 2020-05-27 | 2020-09-04 | 北京百度网讯科技有限公司 | 用于检测小目标的方法和装置 |
CN112651404A (zh) * | 2020-12-22 | 2021-04-13 | 山东师范大学 | 一种基于无锚框检测器的绿色果实高效分割方法及系统 |
-
2021
- 2021-04-14 CN CN202110402062.5A patent/CN113223026A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111259758A (zh) * | 2020-01-13 | 2020-06-09 | 中国矿业大学 | 一种针对密集区域的两阶段遥感图像目标检测方法 |
CN111626208A (zh) * | 2020-05-27 | 2020-09-04 | 北京百度网讯科技有限公司 | 用于检测小目标的方法和装置 |
CN112651404A (zh) * | 2020-12-22 | 2021-04-13 | 山东师范大学 | 一种基于无锚框检测器的绿色果实高效分割方法及系统 |
Non-Patent Citations (2)
Title |
---|
SIDA PENG,等: ""Deep Snake for Real-Time Instance Segmentation"", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
董洪义: "《深度学习之PyTorch物体检测实战》", 31 January 2020 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106846359B (zh) | 基于视频序列的运动目标快速检测方法 | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN111553949B (zh) | 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法 | |
CN104268519B (zh) | 基于模式匹配的图像识别终端及其识别方法 | |
CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
CN115375737B (zh) | 基于自适应时间与序列化时空特征的目标跟踪方法与系统 | |
CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
Zhao et al. | An end-to-end lightweight model for grape and picking point simultaneous detection | |
CN115393734A (zh) | 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 | |
CN113936034B (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
CN113421210B (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
CN109241981B (zh) | 一种基于稀疏编码的特征检测方法 | |
CN110826575A (zh) | 一种基于机器学习的水下目标识别方法 | |
CN112509014B (zh) | 金字塔遮挡检测块匹配的鲁棒插值光流计算方法 | |
CN117570968A (zh) | 基于视觉路标的地图构建与维护方法、装置及存储介质 | |
CN111724428A (zh) | 基于图上信号模型的深度图采样与重构方法 | |
CN111899278A (zh) | 基于移动端的无人机图像快速目标跟踪方法 | |
CN108492308B (zh) | 一种基于相互结构引导滤波的变分光流的确定方法及系统 | |
CN113223026A (zh) | 基于轮廓的目标果实图像实例分割方法及系统 | |
CN107424172B (zh) | 基于前景判别和圆形搜索方法的运动目标跟踪方法 | |
CN113837243B (zh) | 基于边缘信息的rgb-d相机动态视觉里程计方法 | |
CN112116561B (zh) | 基于图像处理融合网络权值的电网传输线检测方法及装置 | |
Carvalho et al. | Technical Report: Co-learning of geometry and semantics for online 3D mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |