CN113361533A - 重叠遮挡的目标物的分割识别方法及系统 - Google Patents
重叠遮挡的目标物的分割识别方法及系统 Download PDFInfo
- Publication number
- CN113361533A CN113361533A CN202110545328.1A CN202110545328A CN113361533A CN 113361533 A CN113361533 A CN 113361533A CN 202110545328 A CN202110545328 A CN 202110545328A CN 113361533 A CN113361533 A CN 113361533A
- Authority
- CN
- China
- Prior art keywords
- shielded
- shielding
- target object
- occlusion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000008447 perception Effects 0.000 claims abstract description 33
- 235000013399 edible fruits Nutrition 0.000 claims description 118
- 238000001514 detection method Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 53
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000010187 selection method Methods 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000011514 reflex Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 68
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 11
- 239000002420 orchard Substances 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001094 effect on targets Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种重叠遮挡的目标物的分割识别方法及系统，属于机器视觉技术领域，获取待识别的图像，待识别的图像包括含有被遮挡物遮挡的目标物；遮挡目标物的遮挡物与目标物为同一种物体；采用被遮挡目标物识别模型识别待识别图像中的被遮挡物遮挡的目标物是否为与遮挡物相同的物体，使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与遮挡物为同一种物体的标签。本发明使用遮挡感知的双层GCN网络，对遮挡区域进行建模，对遮挡和被遮挡物同时进行分割掩模预测，提高了分割精度和效率，鲁棒性强，能够精准高效地对目标物进行检测分割。
Description
技术领域
本发明涉及机器视觉技术领域，具体涉及一种重叠遮挡的目标物的分割识别方法及系统。
背景技术
人工智能技术的迅速发展，给人们的日常生产生活带来诸多方面的便利，如，智能巡检机器人、业务自主服务机器人以及应用于农场果实采摘的果实采摘机器人等。而图像中物体的精确识别在上述智能机器人中也发挥着重要作用。例如：通过图像识别可以规划路径，自主巡检；通过图像识别可以跟踪目标物体；通过图像中目标物的识别，可以对目标物进行相应的处理，如果实抓取等。但是在图像识别的过程中，往往存在一些遮挡因素的影响物体图像的识别结果，因此，在识别物体图像的过程中需要考虑一些遮挡因素对识别结果的影响程度。
目前现有技术中主要利用YOLO模型或HOG与SVM模型等人工智能算法对目标物体进行智能识别，但在目标候选框中如果出现遮挡物体遮挡目标物体时，导致目标候选框中的视频图像发生丢帧现象，按照上述方式很容易将同一目标物体识别成两不同物体，其显然会存在一定的误差，导致识别结果不够精确。例如：在农场果实采摘中，由于果园环境非常复杂，果实的生长无任何规律可言，并且采集的目标果实图像角度并不单一，机器人在采摘果实的过程中会遇到许多的干扰和影响，其中，高度遮挡果实的识别检测是最为主要的。
当目标果实被其它果实遮挡，导致同一目标果实在遮挡前和遮挡后被识别认定为两个不同的物体，最终导致错误识别目标果实的现象，导致对于可采摘的果实出现遗漏。因此，现有技术中基于上述识别方式识别果实不够准确，识别精度较低，容易发生误判现象。
发明内容
本发明的目的在于提供一种能够精准高效地识别检测出被遮挡目标物，对被遮挡目标物进行分割掩模预测，提高了分割精度和效率，鲁棒性强的重叠遮挡的目标物的分割识别方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种重叠遮挡的目标物的分割识别方法，包括：
获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物是否为与所述遮挡物相同的物体，其中，训练所述被遮挡目标物识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
优选的，所述被遮挡目标物识别模型由训练样本训练获得，包括：
获取多个被遮挡物遮挡后的目标物图像；
提取目标物图像特征，并进行语义信息和位置信息的多尺度特征融合；
对融合后的特征使用自适应样本选择法ATSS来区分遮挡物样本和被遮挡物遮挡的目标物样本，得到遮挡物样本区域，并根据遮挡物样本的类别和位置预测获取检测框；
将提取到的特征图与检测框相结合，检测框所对应的特征即为感兴趣区域ROI特征；
根据ROI特征，获得遮挡物特征，将遮挡物特征ROI特征进行融合，得到融合后的遮挡感知特征，根据融合后的遮挡感知特征，获取被遮挡物遮挡的目标物特征；
根据遮挡物特征和被遮挡物遮挡的目标物特征，分别计算边界检测损失函数和掩模预测分割损失函数，来训练遮挡模型检测边界与掩模，梯度反向传播，使用Swish激活函数，更新参数，对遮挡模型进行迭代，得到最终的被遮挡目标物识别模型。
优选的，使用无锚框目标检测模型FoveaBox的ResNet-50网络，对目标物图像进行特征提取；
利用特征金字塔网络，将提取的特征进行语义信息和位置信息的多尺度特征融合；
利用FoveaBox的头部网络，对融合后的特征使用自适应样本选择法ATSS来区分遮挡物样本和被遮挡物遮挡的目标物样本，得到遮挡物样本区域，并根据遮挡物样本的类别和位置预测获取检测框。
优选的，使用单反相机，采集实际环境下不同角度和光照条件下的存在多种被遮挡物重叠遮挡情况的目标物图像；
对采集的图像数据进行筛选和预处理，使用Mosaic方法，以任意四张图像组合成一张的形式对数据进行扩充；
制作数据集。
优选的，获取被遮挡物遮挡的目标物特征包括：
通过点积运算提出每两个图结点之间的成对相似性，使用softmax函数来构建邻接矩阵；
每个图结点代表特征图中的单个像素，针对表示结点相邻关系的邻接图，进行图卷积神经网络GCN的图卷积操作；
将ROI特征输入到第一个GCN中，获得遮挡物的特征，将其与ROI特征进行融合，得到融合后的遮挡感知特征并作为第二个GCN的输入，获取被遮挡的目标物的特征。
优选的，通过使用第一个GCN层检测遮挡果实的轮廓和掩模来建模遮挡区域；
分别计算边界检测损失函数和掩模预测分割损失函数，来训练遮挡模型检测边界与掩模；
通过梯度反向传播，使用Swish激活函数，更新参数，对模型进行迭代；
第一个GCN层进行遮挡物边界和掩模分割的预测；
利用第一层GCN提供的遮挡物的边界和掩模信息信息，进行被遮挡目标物的边界和掩模分割的预测；
分别将两层遮挡物和被遮挡物的预测边界与预测掩模相结合，获得目标物分割结果。
优选的，边界检测损失函数如下式所示：
L'B＝LBCE(WBFOCC(Xroi),GTB)；
其中，LBCE代表交叉熵损失，FOCC表示遮挡建模模块的非线性转换函数，WB是边界预测的权重，Xroi是经过ROI对齐处理的FPN特征图，GTB是现成的遮挡边界。
优选的，掩模预测分割损失函数如下式所示：
L'S＝LBCE(WSFOCC(Xroi),GTS)；
其中，WS表示分割掩模预测器的可训练的权重，GTS是遮挡果实的掩模标注。
第二方面，本发明提供一种重叠遮挡的目标物的分割识别系统，包括：
获取模块，用于获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
识别模块，用于采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物是否为与所述遮挡物相同的物体，其中，所述被遮挡目标物识别模型由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行如上所述的重叠遮挡的目标物的分割识别方法的指令。
第四方面，本发明提供一种电子设备，包括如上所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器；
本发明有益效果：使用遮挡感知的双层GCN网络，对遮挡区域进行简单有效的建模，能够对遮挡和被遮挡物同时进行分割掩模预测，提高了分割精度和效率，鲁棒性强，能够精准高效地对目标物进行检测分割。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的采集的包含被遮挡的目标果实的图像示意图。
图2为本发明实施例所述的被遮挡果实识别模型训练流程示意图。
图3为本发明实施例所述的输入图像的正样本区域示意图。
图4为本发明实施例所述的双层图卷积掩模分割网络结构示意图。
图5为本发明实施例所述的被遮挡果实的分割识别效果示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种重叠遮挡的目标物的分割识别系统，该系统包括获取模块和识别模块；其中，
获取模块，用于获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
识别模块，用于采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物是否为与所述遮挡物相同的物体，其中，训练所述被遮挡目标物识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
在本实施例1中，利用上述的重叠遮挡的目标物的分割识别系统，实现了重叠遮挡的目标物的分割识别方法，该方法包括：
获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物为与所述遮挡物相同的物体，其中，训练所述被遮挡目标物识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
在本实施例1中，所述被遮挡目标物识别模型由训练样本训练获得，包括：
获取多个被遮挡物遮挡后的目标物图像；
提取目标物图像特征，并进行语义信息和位置信息的多尺度特征融合；
对融合后的特征使用自适应样本选择法ATSS来区分遮挡物样本和被遮挡物遮挡的目标物样本，得到遮挡物样本区域，并根据遮挡物样本的类别和位置预测获取检测框；
将提取到的特征图与检测框相结合，检测框所对应的特征即为感兴趣区域ROI特征；
根据ROI特征，获得遮挡物特征，将遮挡物特征ROI特征进行融合，得到融合后的遮挡感知特征，根据融合后的遮挡感知特征，获取被遮挡物遮挡的目标物特征；
根据遮挡物特征和被遮挡物遮挡的目标物特征，分别计算边界检测损失函数和掩模预测分割损失函数，来训练遮挡模型检测边界与掩模，梯度反向传播，使用Swish激活函数，更新参数，对遮挡模型进行迭代，得到最终的被遮挡目标物识别模型。
在本实施例1中，使用无锚框目标检测模型FoveaBox的ResNet-50网络，对目标物图像进行特征提取；
利用特征金字塔网络，将提取的特征进行语义信息和位置信息的多尺度特征融合；
利用FoveaBox的头部网络，对融合后的特征使用自适应样本选择法ATSS来区分遮挡物样本和被遮挡物遮挡的目标物样本，得到遮挡物样本区域，并根据遮挡物样本的类别和位置预测获取检测框。
在本实施例1中，使用单反相机，采集实际环境下不同角度和光照条件下的存在多种被遮挡物重叠遮挡情况的目标物图像；
对采集的图像数据进行筛选和预处理，使用Mosaic方法，以任意四张图像组合成一张的形式对数据进行扩充；
制作数据集。
在本实施例1中，获取被遮挡物遮挡的目标物特征包括：
通过点积运算提出每两个图结点之间的成对相似性，使用softmax函数来构建邻接矩阵；
每个图结点代表特征图中的单个像素，针对表示结点相邻关系的邻接图，进行图卷积神经网络GCN的图卷积操作；
将ROI特征输入到第一个GCN中，获得遮挡物的特征，将其与ROI特征进行融合，得到融合后的遮挡感知特征并作为第二个GCN的输入，获取被遮挡的目标物的特征。
在本实施例1中，通过使用第一个GCN层检测遮挡果实的轮廓和掩模来建模遮挡区域；
分别计算边界检测损失函数和掩模预测分割损失函数，来训练遮挡模型检测边界与掩模；
通过梯度反向传播，使用Swish激活函数，更新参数，对模型进行迭代；
第一个GCN层进行遮挡物边界和掩模分割的预测；
利用第一层GCN提供的遮挡物的边界和掩模信息信息，进行被遮挡目标物的边界和掩模分割的预测；
分别将两层遮挡物和被遮挡物的预测边界与预测掩模相结合，获得目标物分割结果。
在本实施例1中，边界检测损失函数如下式所示：
L'B＝LBCE(WBFOCC(Xroi),GTB)；
其中，LBCE代表交叉熵损失，FOCC表示遮挡建模模块的非线性转换函数，WB是边界预测的权重，Xroi是经过ROI对齐处理的FPN特征图，GTB是现成的遮挡边界。
在本实施例1中，掩模预测分割损失函数如下式所示：
L'S＝LBCE(WSFOCC(Xroi),GTS)；
其中，WS表示分割掩模预测器的可训练的权重，GTS是遮挡果实的掩模标注。
在本实施例1中，使用遮挡感知的双层GCN网络，对遮挡区域进行简单有效的建模，能够对遮挡和被遮挡物同时进行分割掩模预测，提高了分割精度和效率，鲁棒性强，能够精准高效地对目标物进行检测分割。
实施例2
本实施例2中，提供了一种复杂果园环境下针对高度遮挡果实的实例分割系统，使得果实采摘机器人可以更精准地识别到果实并实施摘取。
在本实施例2中，重叠遮挡的目标物的分割识别系统包括：获取模块和识别模块；其中，
获取模块，用于获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
识别模块，用于采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物是否为与所述遮挡物相同的物体，其中，训练所述被遮挡目标物识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
在本实施例2中，对于如何训练被遮挡目标物识别模型，首先获取了处于真实复杂果园中的若干目标果实图像，包括不同角度、不同时间(白天和夜晚)、不同光照(顺光、逆光)、不同天气等各种情况的图像，并进行数据预处理和数据扩充，制作数据集。使用双层GCN(Graph Convolutional Network)结构解耦遮挡重叠关系，构建遮挡感知掩模头部网络来检测分割遮挡果实和被遮挡果实。首先使用一个无锚框目标检测模型FoveaBox的骨干网络和特征金字塔网络FPN(Feature Pyramid Network)进行特征提取与多尺度融合，然后将特征送入该模型的fovea头部网络中进行预测，得到检测框，将其与特征图相结合，检测框中的特征区域即为感兴趣区域ROI(Region of Interest)特征，一方面直接输入到第一个GCN层中进行遮挡果实边界和掩模的预测，另一方面将遮挡果实的输出特征与之融合，得到融合后的遮挡感知特征，输入到第二个GCN层中；第一个GCN检测分割遮挡果实并提供例如形状和位置等丰富的遮挡线索，来指导被遮挡果实的分割，而第二个GCN能够直接获得被遮挡果实的掩模预测，对被遮挡果实进行检测分割。
在本实施例2中，训练目标物识别模型具体包括以下步骤：
步骤1：目标图像获取。获取复杂果园环境下的多角度多光照多种类的目标果实图像，然后对图像进行筛选，扩充数据并制作好数据集。
步骤2：提取特征并融合。将ResNet-50作为骨干网络，提取中间部分的卷积特征，结合FPN特征金字塔网络，融合不同尺度的特征，获得特征图，便于后续处理；
步骤3：fovea头部网络产生检测框。将提取到的特征输入到fovea头部网络，使用自适应样本选择法ATSS(Adaptive training sample section)来区分正负样本，得到正样本区域，并根据正样本的类别和位置预测边界框；
步骤4：获取ROI特征。将提取到的特征图与获得的检测框相结合，检测框所对应的特征即为感兴趣区域ROI特征；
步骤5：双层分割预测网络。为了更好地建模遮挡区域，我们将单层GCN块扩展成双层GCN结构，以此来形成双层掩模分割预测网络。第一层GCN是对遮挡果实部分进行轮廓和掩模预测，第二层GCN的分割预测是通过获得遮挡感知特征，得到被遮挡果实的轮廓和掩模预测，实现对被遮挡果实的分割。
步骤6：遮挡区域建模。通过使用第一个GCN层检测遮挡果实的轮廓和掩模来建模遮挡区域。在双层分割网络中分别对遮挡与被遮挡果实的轮廓和掩模预测计算损失函数，并以反向传播的方式不断迭代更新参数，优化模型，以获得最好的分割结果。
所述步骤1的具体过程为：
步骤1.1，使用分辨率大小为6000×4000的单反相机，在真实复杂的果园环境下采集多角度、多光照、存在各种重叠遮挡情况的目标果实图像，然后调整大小为600×400。
步骤1.2，对数据进行筛选和预处理，并使用Mosaic方法，以任意四张图像组合成一张的形式对数据进行扩充。
步骤1.3，制作数据集。
所述步骤3的具体过程为：
步骤3.1：将骨干网络结合FPN提取到的特征输入到fovea头部网络中。
步骤3.2：根据自适应训练样本选择方法ATSS，根据统计学特征自动地区分正负样本，划分正负样本区域。
步骤3.3：得到最终正样本区域，头部预测网络对每一个正样本进行目标果实类别和位置的预测，获取检测框。
所述步骤5的具体过程为：
步骤5.1：生成邻接矩阵。通过点积运算提出了每两个图结点之间的成对相似性，使用softmax函数来构建邻接矩阵。
步骤5.2：图卷积操作。作为分割网络的基础块，GCN具有全局性质，其中每个图结点代表特征图中的单个像素，针对表示结点相邻关系的邻接图，提出了图卷积操作。
步骤5.3：获得输出特征及遮挡感知特征。将ROI特征输入到第一个GCN中，获得遮挡果实的输出特征，将其与ROI特征进行融合，得到融合后的遮挡感知特征并作为第二个GCN的输入，获取被遮挡果实的输出特征。此操作连接了两个GCN块。
通过使用第一个GCN层检测遮挡果实的轮廓和掩模来建模遮挡区域，所述步骤6的具体过程为：
步骤6.1：模块设计。在一个3×3卷积层后面跟一个GCN层和一个FCN全连接层。FCN层是为了将GCN输出的矩阵转变成向量，便于处理。
步骤6.2：获得通道特征图。将输出送往上采样层和一个1×1卷积层得到通道特征图，来预测边界和掩模。
步骤6.3：模型训练与优化。分别计算边界检测损失函数和掩模预测分割损失函数，来训练遮挡模型检测边界与掩模。梯度反向传播，使用Swish激活函数，更新参数，对模型进行迭代。
步骤6.4：输出分割结果。第一个GCN层进行遮挡果实边界和掩模分割的预测。利用第一层GCN提供的遮挡果实的指导信息，来进行被遮挡果实边界和掩模分割的预测。分别将两层果实的预测边界与预测掩模相结合，获得果实分割结果。
在本实施例2中，针对高度遮挡果实难以识别检测的问题，为了能够精准高效地识别检测出果实，我们使用遮挡感知的双层GCN网络，对遮挡区域进行简单有效的建模，提出了一种用于高度遮挡果实的实例分割方法。该方法能够对遮挡和被遮挡果实同时进行分割掩模预测，提高了分割精度和效率，鲁棒性强，能够精准高效地对目标果实进行检测分割，可应用于非结构化的自然果园环境，满足采摘机器人精准采摘及其他作业的实时性需求。
实施例3
本实施例3中，提供了针对高度遮挡果实的实例分割方法，鲁棒性强，泛化性好，提高了分割精度和效率，缓解果实采摘机器人的检测遮挡果实的瓶颈，可实现对目标果实更加精准高效的检测分割。
本实施例3中，针对高度遮挡果实的实例分割方法，包括以下步骤：
步骤1：目标图像获取。获取复杂果园环境下的多角度多光照多种类的目标果实图像，然后对图像进行筛选，扩充数据并制作好数据集。
步骤2：提取特征并融合。将ResNet-50作为骨干网络，对目标图像进行特征提取，将提取到的特征输入到FPN特征网络当中，进行高层语义信息和低层位置信息的多尺度特征融合，提升对不同尺度目标果实的掩模预测效果。特征融合后获得特征图。
步骤3：fovea头部网络产生检测框。将提取到的特征输入到fovea头部网络，使用自适应样本选择法ATSS来区分正负样本，得到正样本区域，并根据正样本的类别和位置预测边界框，主要过程如下：
步骤3.1：将骨干网络结合FPN提取到的特征输入到fovea头部网络中。
步骤3.2：根据统计学特征，使用自适应训练样本选择方法ATSS自动地区分正负样本，划分正负样本区域。
步骤3.3：得到最终正样本区域，头部预测网络对每一个正样本进行目标果实类别和位置的预测，获取检测框。
步骤4：获取ROI特征
将提取到的特征图与头部网络获得的检测框相结合，检测框所对应的特征即为感兴趣区域ROI特征。
步骤5：双层掩模分割网络
步骤5.1：生成邻接矩阵。通过点积运算提出了每两个图结点之间的成对相似性，使用softmax函数来构建邻接矩阵。
步骤5.2：图卷积操作。作为分割网络的基础块，GCN具有全局性质，其中每个图结点代表特征图中的单个像素，针对表示结点相邻关系的邻接图，提出了图卷积操作。
步骤5.3：获得输出特征及遮挡感知特征。由于GCN的全局性质，作为分割网络的基础块，其中每个图结点代表特征图中的单个像素，根据邻接图的边和结点关系，提出图卷积操作公式。将ROI特征输入到第一个GCN中，获得遮挡果实的输出特征，将其与ROI特征进行融合，得到融合后的遮挡感知特征并作为第二个GCN的输入，获取被遮挡果实的输出特征。此操作连接了两个GCN块。
步骤6：遮挡区域建模
通过使用第一个GCN层检测遮挡果实的轮廓和掩模来建模遮挡区域。
(1)模块设计。在一个3×3卷积层后面跟一个GCN层和一个FCN层。FCN层是为了将GCN输出的矩阵转变成向量，便于处理。
(2)获得通道特征图。将输出送往上采样层和一个1×1卷积层得到通道特征图，来预测边界和掩模。
(3)模型训练与优化。分别计算边界检测损失函数和掩模预测分割损失函数，来训练遮挡模型检测边界与掩模。梯度反向传播，使用Swish激活函数，更新参数，对模型进行迭代。
(4)输出分割结果。第一个GCN层进行遮挡果实边界和掩模分割的预测。利用第一层GCN提供的遮挡果实的指导信息，来进行被遮挡果实边界和掩模分割的预测。分别将两层果实的预测边界与预测掩模相结合，获得果实分割结果。
在本实施例3中，通过上述方案，提出了一种针对高度遮挡果实的两阶段实例分割方法，选择了无锚框目标检测模型Foveabox产生果实的检测框，利用遮挡感知特征分割果实，有效缓解遮挡果实识别瓶颈，进而精准高效地对遮挡果实进行检测分割，提高机器人实时工作效率。有效的掩模预测网络，使用双层GCN结构，两个GCN层分别回归遮挡与被遮挡果实的掩模和边界，更好地建模遮挡区域，提升模型掩模预测性能，保证果实采摘机器人能够更快更准地采摘。
实施例4
由于果园环境非常复杂，果实的生长无任何规律可言，并且采集的目标果实图像角度并不单一，机器人在采摘果实的过程中会遇到许多的干扰和影响，其中，高度遮挡果实的识别检测是最为主要的。
本实施例4中，针对高度遮挡果实难以识别检测的问题，为了能够精准高效地识别检测出果实，使用遮挡感知的双层GCN网络，对遮挡区域进行简单有效的建模，提出了一种用于高度遮挡果实的实例分割方法。该方法能够对遮挡和被遮挡果实同时进行分割掩模预测，提高了分割精度和效率，鲁棒性强，能够精准高效地对目标果实进行检测分割，可应用于非结构化的自然果园环境，满足采摘机器人精准采摘及其他作业的实时性需求。
本实施例4中，高度遮挡果实的实例分割方法，包括：
获取待识别的图像，所述待识别的图像包括含有被遮挡果实遮挡的目标果实；
采用被遮挡果实识别模型(被遮挡目标物识别模型)识别所述待识别图像中的被遮挡果实遮挡的目标物是否为果实，其中，训练所述被遮挡果实识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡果实遮挡后的目标果实图像，以及标注该图像中被遮挡果实遮挡后的目标果实为果实的标签。
在本实施例4中，如图2所示，训练所述被遮挡果实识别模型包括如下步骤：
步骤1.目标图像获取。如图1所示，获取复杂果园环境下的多角度多光照多种类的目标果实图像，然后对图像进行筛选，扩充数据并制作好数据集。
步骤2.提取特征并融合。将ResNet-50作为骨干网络，对目标图像进行特征提取，将提取到的特征输入到FPN特征网络当中，进行高层语义信息和低层位置信息的多尺度特征融合，提升对不同尺度目标果实的掩模预测效果。特征融合后获得特征图。
步骤3.fovea头部网络产生检测框
将提取到的特征输入到fovea头部网络，使用自适应样本选择法ATSS来区分正负样本，得到正样本区域，并根据正样本的类别和位置预测边界框，该阶段主要分为三个步骤：
(1)将骨干网络结合FPN提取到的特征输入到fovea头部网络中。
(2)根据统计学特征，使用自适应训练样本选择方法ATSS自动地区分正负样本，划分正负样本区域。
(3)得到最终正样本区域，头部预测网络对每一个正样本进行目标果实类别和位置的预测，如图3所示，获取检测框。
在本实施例4中，ATSS自适应选择训练样本算法流程如下所示：
步骤4.获取ROI特征
将提取到的特征图与头部网络获得的检测框相结合，检测框所对应的特征即为感兴趣区域ROI特征。
步骤5.双层掩模分割网络
(1)生成邻接矩阵A。通过点积运算提出了每两个图结点xi，xj之间的成对相似性F，并使用softmax函数来构建邻接矩阵。如公式(1)(2)所示：
Aij＝soft max(F(xi,xj)) (1)
F(xi,xj)＝θ(xi)TΦ(xj) (2)
其中，θ和Φ是通过1×1卷积实现的两个可训练的转换函数，为了使得特征相似性更大的两个结点之间的边拥有高置信度。
(2)图卷积操作。作为分割网络的基础块，GCN具有全局性质，其中每个图结点代表特征图中的单个像素，给定邻接图G＝<V,E＞包含V个结点和E条边，提出图卷积操作公式如公式(3)所示：
Z＝σ(AXWg)+X (3)
其中，X∈RN×K是输入特征，N＝H×W是ROI区域内像素网格的数量，K是每个结点的特征维度，A∈RN×N是定义图结点邻接关系的邻接矩阵，Wg∈RK×K'是可学习的权重矩阵，输出特征Z∈RN×K'包含整个图层内通过全局信息传播更新的结点特征。σ(·)是非线性函数。在GCN层之后添加一个残差连接。
获得输出特征Z及遮挡感知特征Xf。定义Gi为第i个图，Xroi为输入ROI特征，Wf作为FCN层的权重，完整的公式如(4)(5)(6)所示：
Z1＝σ(A1XfWg 1)+Xf (4)
Xf＝Z0Wf 0+Xroi (5)
Z0＝σ(A0XroiWg 0)+Xroi (6)
如图4所示，为了连接两个GCN块，将ROI特征Xroi输入到第一个GCN中，获得第一个GCN层遮挡果实的输出特征Z0，将其加到Xroi中得到融合后的遮挡感知特征Xf并作为第二个GCN层的输入，获得被遮挡果实的输出特征Z1，用来对被遮挡果实进行掩模预测。此操作连接了两个GCN块。
步骤6.遮挡区域建模
通过使用第一个GCN层检测遮挡果实的轮廓和掩模来建模遮挡区域。
模块设计。在一个3×3卷积层后面跟一个GCN层和一个FCN层。FCN层是为了将GCN输出的矩阵转变成向量，便于处理。
获得通道特征图。将输出送往上采样层和一个1×1卷积层得到通道特征图，来预测边界和掩模。
模型训练与优化。计算边界检测损失函数和掩模预测分割损失函数，来分别训练遮挡果实边界与掩模预测。梯度反向传播，使用Swish激活函数，更新参数，对模型进行迭代。边界检测损失函数如式(7)所示：
L'B＝LBCE(WBFOCC(Xroi),GTB) (7)
其中，LBCE代表交叉熵损失，FOCC表示遮挡建模模块的非线性转换函数，WB是边界预测的权重，Xroi是经过ROI对齐处理的FPN特征图，GTB是现成的遮挡边界。
掩模预测分割损失函数如式(8)所示：
L'S＝LBCE(WSFOCC(Xroi),GTS) (8)
其中，WS表示分割掩模预测器的可训练的权重，GTS是遮挡果实的掩模标注。
输出分割结果。第一个GCN层进行遮挡果实边界和掩模分割的预测。利用第一层GCN提供的遮挡果实的指导信息，来进行被遮挡果实边界和掩模分割的预测。分别将两层果实的预测边界与预测掩模相结合，获得果实分割结果。
最后，以绿色目标果实为例，得到遮挡果实分割效果如图5所示。
实施例5
本发明实施例5提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行重叠遮挡的目标物的分割识别方法的指令，所述方法包括：
获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物是否为与所述遮挡物相同的物体，其中，训练所述被遮挡目标物识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
实施例6
本发明实施例6提供一种电子设备，该电子设备包括一种非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行重叠遮挡的目标物的分割识别方法的指令，所述方法包括：
获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物是否为与所述遮挡物相同的物体，其中，训练所述被遮挡目标物识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种重叠遮挡的目标物的分割识别方法，其特征在于，包括：
获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物是否为与所述遮挡物相同的物体，其中，训练所述被遮挡目标物识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
2.根据权利要求1所述的重叠遮挡的目标物的分割识别方法，其特征在于，所述被遮挡目标物识别模型由训练样本训练获得，包括：
获取多个被遮挡物遮挡后的目标物图像；
提取目标物图像特征，并进行语义信息和位置信息的多尺度特征融合；
对融合后的特征使用自适应样本选择法ATSS来区分遮挡物样本和被遮挡物遮挡的目标物样本，得到遮挡物样本区域，并根据遮挡物样本的类别和位置预测获取检测框；
将提取到的特征图与检测框相结合，检测框所对应的特征即为感兴趣区域ROI特征；
根据ROI特征，获得遮挡物特征，将遮挡物特征ROI特征进行融合，得到融合后的遮挡感知特征，根据融合后的遮挡感知特征，获取被遮挡物遮挡的目标物特征；
根据遮挡物特征和被遮挡物遮挡的目标物特征，分别计算边界检测损失函数和掩模预测分割损失函数，来训练遮挡模型检测边界与掩模，梯度反向传播，使用Swish激活函数，更新参数，对遮挡模型进行迭代，得到最终的被遮挡目标物识别模型。
3.根据权利要求2所述的重叠遮挡的目标物的分割识别方法，其特征在于：
使用无锚框目标检测模型FoveaBox的ResNet-50网络，对目标物图像进行特征提取；
利用特征金字塔网络，将提取的特征进行语义信息和位置信息的多尺度特征融合；
利用FoveaBox的头部网络，对融合后的特征使用自适应样本选择法ATSS来区分遮挡物样本和被遮挡物遮挡的目标物样本，得到遮挡物样本区域，并根据遮挡物样本的类别和位置预测获取检测框。
4.根据权利要求2所述的重叠遮的挡目标物的分割识别方法，其特征在于，
使用单反相机，采集实际环境下不同角度和光照条件下的存在多种被遮挡物重叠遮挡情况的目标物图像；
对采集的图像数据进行筛选和预处理，使用Mosaic方法，以任意四张图像组合成一张的形式对数据进行扩充；
制作数据集。
5.根据权利要求2所述的重叠遮挡的目标物的分割识别方法，其特征在于，获取被遮挡物遮挡的目标物特征包括：
通过点积运算提出每两个图结点之间的成对相似性，使用softmax函数来构建邻接矩阵；
每个图结点代表特征图中的单个像素，针对表示结点相邻关系的邻接图，进行图卷积神经网络GCN的图卷积操作；
将ROI特征输入到第一个GCN中，获得遮挡物的特征，将其与ROI特征进行融合，得到融合后的遮挡感知特征并作为第二个GCN的输入，获取被遮挡的目标物的特征。
6.根据权利要求5所述的重叠遮挡的目标物的分割识别方法，其特征在于，通过使用第一个GCN层检测遮挡果实的轮廓和掩模来建模遮挡区域；
分别计算边界检测损失函数和掩模预测分割损失函数，来训练遮挡模型检测边界与掩模；
通过梯度反向传播，使用Swish激活函数，更新参数，对模型进行迭代；
第一个GCN层进行遮挡物边界和掩模分割的预测；
利用第一层GCN提供的遮挡物的边界和掩模信息信息，进行被遮挡目标物的边界和掩模分割的预测；
分别将两层遮挡物和被遮挡物的预测边界与预测掩模相结合，获得目标物分割结果。
7.根据权利要求6所述的重叠遮挡的目标物的分割识别方法，其特征在于，边界检测损失函数如下式所示：
L'B＝LBCE(WBFOCC(Xroi),GTB)；
其中，LBCE代表交叉熵损失，FOCC表示遮挡建模模块的非线性转换函数，WB是边界预测的权重，Xroi是经过ROI对齐处理的FPN特征图，GTB是现成的遮挡边界。
8.根据权利要求7所述的重叠遮挡的目标物的分割识别方法，其特征在于，掩模预测分割损失函数如下式所示：
L'S＝LBCE(WSFOCC(Xroi),GTS)；
其中，WS表示分割掩模预测器的可训练的权重，GTS是遮挡果实的掩模标注。
9.一种重叠遮挡的目标物的分割识别系统，其特征在于，包括：
获取模块，用于获取待识别的图像，所述待识别的图像包括含有被遮挡物遮挡的目标物；其中，遮挡目标物的所述遮挡物与目标物为同一种物体；
识别模块，用于采用被遮挡目标物识别模型识别所述待识别图像中的被遮挡物遮挡的目标物是否为与所述遮挡物相同的物体，其中，训练所述被遮挡目标物识别模型时使用遮挡感知的双层GCN网络，对遮挡区域进行建模，由训练样本训练获得；所述训练样本包括：多个被遮挡物遮挡后的目标物图像，以及标注该图像中被遮挡物遮挡后的目标物为与所述遮挡物为同一种物体的标签。
10.一种电子设备，其特征在于：包括非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器；其中，所述非暂态计算机可读存储介质包括用于执行如权利要求1-8任一项所述的重叠遮挡的目标物的分割识别方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110545328.1A CN113361533A (zh) | 2021-05-19 | 2021-05-19 | 重叠遮挡的目标物的分割识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110545328.1A CN113361533A (zh) | 2021-05-19 | 2021-05-19 | 重叠遮挡的目标物的分割识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113361533A true CN113361533A (zh) | 2021-09-07 |
Family
ID=77526567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110545328.1A Pending CN113361533A (zh) | 2021-05-19 | 2021-05-19 | 重叠遮挡的目标物的分割识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113361533A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187491A (zh) * | 2022-02-17 | 2022-03-15 | 中国科学院微电子研究所 | 一种遮挡物体检测方法和装置 |
| CN114863189A (zh) * | 2022-07-06 | 2022-08-05 | 青岛场外市场清算中心有限公司 | 一种基于大数据的图像智能识别方法 |
| CN115578563A (zh) * | 2022-10-19 | 2023-01-06 | 中国科学院空间应用工程与技术中心 | 一种图像分割方法、系统、存储介质和电子设备 |
| CN116310826A (zh) * | 2023-03-20 | 2023-06-23 | 中国科学技术大学 | 一种基于图神经网络的高分遥感影像林地二级分类方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159426A (zh) * | 2019-12-30 | 2020-05-15 | 武汉理工大学 | 一种基于图卷积神经网络的产业图谱融合方法 |
| CN112200045A (zh) * | 2020-09-30 | 2021-01-08 | 华中科技大学 | 基于上下文增强的遥感图像目标检测模型建立方法及应用 |
| CN112634313A (zh) * | 2021-01-08 | 2021-04-09 | 云从科技集团股份有限公司 | 目标遮挡评估方法、系统、介质及装置 |
| CN112651404A (zh) * | 2020-12-22 | 2021-04-13 | 山东师范大学 | 一种基于无锚框检测器的绿色果实高效分割方法及系统 |
-
2021
- 2021-05-19 CN CN202110545328.1A patent/CN113361533A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159426A (zh) * | 2019-12-30 | 2020-05-15 | 武汉理工大学 | 一种基于图卷积神经网络的产业图谱融合方法 |
| CN112200045A (zh) * | 2020-09-30 | 2021-01-08 | 华中科技大学 | 基于上下文增强的遥感图像目标检测模型建立方法及应用 |
| CN112651404A (zh) * | 2020-12-22 | 2021-04-13 | 山东师范大学 | 一种基于无锚框检测器的绿色果实高效分割方法及系统 |
| CN112634313A (zh) * | 2021-01-08 | 2021-04-09 | 云从科技集团股份有限公司 | 目标遮挡评估方法、系统、介质及装置 |
Non-Patent Citations (2)
| Title |
|---|
| LEI KE ET AL.: "Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers", 《ARXIV》 * |
| 刘新宇: "基于无锚点框的目标检测及实例分割方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187491A (zh) * | 2022-02-17 | 2022-03-15 | 中国科学院微电子研究所 | 一种遮挡物体检测方法和装置 |
| CN114863189A (zh) * | 2022-07-06 | 2022-08-05 | 青岛场外市场清算中心有限公司 | 一种基于大数据的图像智能识别方法 |
| CN114863189B (zh) * | 2022-07-06 | 2022-09-02 | 青岛场外市场清算中心有限公司 | 一种基于大数据的图像智能识别方法 |
| CN115578563A (zh) * | 2022-10-19 | 2023-01-06 | 中国科学院空间应用工程与技术中心 | 一种图像分割方法、系统、存储介质和电子设备 |
| CN116310826A (zh) * | 2023-03-20 | 2023-06-23 | 中国科学技术大学 | 一种基于图神经网络的高分遥感影像林地二级分类方法 |
| CN116310826B (zh) * | 2023-03-20 | 2023-09-22 | 中国科学技术大学 | 一种基于图神经网络的高分遥感影像林地二级分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10282589B2 (en) | Method and system for detection and classification of cells using convolutional neural networks | |
| CN108304873B (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
| CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
| Tsintotas et al. | Assigning visual words to places for loop closure detection | |
| CN113361533A (zh) | 重叠遮挡的目标物的分割识别方法及系统 | |
| CN107145862B (zh) | 一种基于霍夫森林的多特征匹配多目标跟踪方法 | |
| Foedisch et al. | Adaptive real-time road detection using neural networks | |
| CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
| Jia et al. | RS-Net: Robust segmentation of green overlapped apples | |
| CN113408584A (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| US20230095533A1 (en) | Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling | |
| Xiao et al. | Fruit ripeness identification using YOLOv8 model | |
| CN105809718A (zh) | 一种轨迹熵最小化的对象跟踪方法 | |
| Udawant et al. | Cotton leaf disease detection using instance segmentation | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
| Sriram et al. | Analytical review and study on object detection techniques in the image | |
| Jia et al. | YOLOF-Snake: An efficient segmentation model for green object fruit | |
| CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
| Athira et al. | Underwater object detection model based on YOLOv3 architecture using deep neural networks | |
| CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
| CN116152696A (zh) | 一种工控系统智慧安防图像识别方法及系统 | |
| Nategh et al. | Automatic counting of mounds on UAV images: combining instance segmentation and patch-level correction | |
| CN115410141A (zh) | 人流量统计方法、系统、电子设备和存储介质 | |
| Kamaleswari et al. | An Assessment of Object Detection in Thermal (Infrared) Image Processing | |
| CN111986233A (zh) | 基于特征自学习的大场景极小目标遥感视频跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |
|
| RJ01 | Rejection of invention patent application after publication |