CN109242869A - 一种图像实例分割方法、装置、设备及存储介质 - Google Patents
一种图像实例分割方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109242869A CN109242869A CN201811106187.8A CN201811106187A CN109242869A CN 109242869 A CN109242869 A CN 109242869A CN 201811106187 A CN201811106187 A CN 201811106187A CN 109242869 A CN109242869 A CN 109242869A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- split
- probability
- classification prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000011218 segmentation Effects 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims description 85
- 230000004927 fusion Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013527 convolutional neural network Methods 0.000 description 12
- 239000002245 particle Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像实例分割方法、装置、设备及存储介质，方法包括：获取待分割图像；将待分割图像输入预先建立的分类预测模型，获得分类预测结果，分类预测结果至少包括边缘概率图；将边缘概率图与待分割图像进行融合，融合后的图像作为第一目标图像；将第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为待分割图像的实例分割结果。本申请可对待分割图像中的目标进行准确地检测与分割，分割效果较好。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像实例分割方法、装置、设备及存储介质。
背景技术
近年来，随着互联网和人工智能技术的发展，作为图像处理技术一新兴分支的实例分割技术受到广泛关注。实例分割指的是从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记，即实例分割是物体检测与语义分割的综合体。实例分割既需要对图像的所有对象进行正确的识别与检测，又需要对每个实例进行精确地分割。目前，存在一些实例分割的方案，但这些实例分割方案分割效果不佳，存在检测与分割准确度不高的问题。
发明内容
有鉴于此，本申请提供了一种图像实例分割方法、装置、设备及存储介质，用以提供一种分割效果较好的图像实例分割方案，其技术方案如下：
一种图像实例分割方法，包括：
获取待分割图像；
将所述待分割图像输入预先建立的分类预测模型，获得分类预测结果，所述分类预测结果至少包括边缘概率图；
将所述边缘概率图与所述待分割图像进行融合，融合后的图像作为第一目标图像；
将所述第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为所述待分割图像的实例分割结果。
优选地，所述分类预测结果还包括前景概率图；
所述图像实例分割方法还包括：
将所述实例分割图与所述前景概率图进行融合，融合后的图像作为第二目标图像；
基于所述第二目标图像确定像素类别判别阈值；
基于所述像素类别判别阈值和所述前景概率图，调整所述第二目标图像，调整后的图像作为第三目标图像，所述第三目标图像作为所述待分割图像的实例分割结果。
优选地，所述图像实例分割方法还包括：
基于所述边缘概率图调整所述第三目标图像中目标的边缘，调整后的图像作为所述待分割图像的实例分割结果。
优选地，所述基于所述第二目标图像确定判别阈值，包括：
基于所述待分割图像中、与所述第二目标图像中的前景范围所对应的目标区域中像素点的像素值，确定所述像素类别判别阈值，其中，像素类别包括前景和背景。
优选地，所述基于所述像素类别判别阈值和所述前景概率图，调整所述第二目标图像，包括：
基于所述像素类别判别阈值和所述前景概率图，判别所述第二目标图像中的前景范围内各像素点的类别；
基于所述前景范围内各像素点的类别，调整所述前景范围内的像素点。
优选地，所述分类预测模型的训练过程包括：
获取带掩膜标注的图像作为训练图像；
将所述训练图像输入所述分类预测模型，至少获得边缘概率图；
基于所述边缘概率图调整所述训练图像中标注的边缘；
若当前不满足训练结束条件，则将进行边缘调整后的图像作为训练图像，执行所述将所述训练图像输入所述分类预测模型。
优选地，所述基于所述边缘概率图调整所述训练图像中标注的边缘，包括：
对于所述训练图像中标注的边缘上的每个边缘像素点，确定该边缘像素点周边预设范围内的多个像素点；
基于所述边缘概率图像从所述多个像素点中确定候选边缘像素点；
基于所述候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点；
若需要调整所述当前的边缘位置点，则用所述候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
优选地，所述基于所述候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点，包括：
若所述候选边缘像素点为多个，则对于每个候选边缘像素点，确定该候选边缘像素点两侧像素点的差值，以得到多个候选边缘像素点分别对应的差值；从所述多个候选边缘像素点分别对应的差值中确定最大差值，若所述最大差值大于设定阈值，且大于当前边缘位置点两侧像素点的差值，则确定需要调整当前的边缘位置点；
若所述候选边缘像素点为一个，则确定该候选边缘像素点两侧像素点的差值，若该候选边缘像素点两侧像素点的差值大于所述设定阈值，且大于当前边缘位置点两侧像素点的差值，则确定需要调整当前的边缘位置点；
所述用所述候选边缘像素点替代该边缘像素点作为当前的边缘位置点，包括：
若所述候选边缘像素点为多个，则用所述最大差值对应的候选边缘像素点替代该边缘像素点作为当前的边缘位置点；
若所述候选边缘像素点为一个，则用该候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
优选地，所述实例分割模型的训练过程包括：
将所述带掩膜标注的图像输入训练好的所述分类预测模型，至少获得边缘概率图；
将所述带掩膜标注的图像与所述边缘概率图进行融合，获得融合后的图像；
将所述融合后的图像输入所述实例分割模型进行训练。
优选地，所述分类预测模型为U-net模型，所述实例分割模型为MaskR-CNN模型。
一种图像实例分割装置，包括：图像获取模块、分类预测模块、第一图像融合模块和实例分割模块；
所述图像获取模块，用于获取待分割图像；
所述分类预测模块，用于将所述待分割图像输入预先建立的分类预测模型，获得分类预测结果，所述分类预测结果至少包括边缘概率图；
所述第一图像融合模块，用于将所述边缘概率图与所述待分割图像进行融合，融合后的图像作为第一目标图像；
所述实例分割模块，用于将所述第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为所述待分割图像的实例分割结果。
优选地，所述分类预测结果还包括前景概率图；
所述图像实例分割装置还包括：第二图像融合模块、阈值确定模块和图像调整模块；
所述第二图像融合模块，用于将所述实例分割图与所述前景概率图进行融合，融合后的图像作为第二目标图像；
所述阈值确定模块，用于基于所述第二目标图像确定像素类别判别阈值；
所述图像调整模块，用于基于所述像素类别判别阈值和所述前景概率图，调整所述第二目标图像，调整后的图像作为第三目标图像，所述第三目标图像作为所述待分割图像的实例分割结果。
优选地，所述图像实例分割装置还包括：边缘调整模块；
所述边缘调整模块，用于基于所述边缘概率图调整所述第三目标图像中目标的边缘，调整后的图像作为所述待分割图像的实例分割结果。
所述图像实例分割装置还包括：分类预测模型训练模块；
所述分类预测模型训练模块，用于获取带掩膜标注的图像作为训练图像；将所述训练图像输入所述分类预测模型，至少获得边缘概率图；基于所述边缘概率图调整所述训练图像中标注的边缘；若当前不满足训练结束条件，则将进行边缘调整后的图像作为训练图像，将所述训练图像输入所述分类预测模型进行训练。
所述图像实例分割装置还包括：实例分割模型训练模块；
所述实例分割模型训练模块，用于将所述带掩膜标注的图像输入训练好的所述分类预测模型，至少获得边缘概率图；将所述带掩膜标注的图像与所述边缘概率图进行融合，获得融合后的图像；将所述融合后的图像输入所述实例分割模型进行训练。
一种图像实例分割设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，所述程序具体用于：
获取待分割图像；
将所述待分割图像输入预先建立的分类预测模型，获得分类预测结果，所述分类预测结果至少包括边缘概率图；
将所述边缘概率图与所述待分割图像进行融合，融合后的图像作为第一目标图像；
将所述第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为所述待分割图像的实例分割结果。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述图像实例分割方法的各个步骤。
经由上述的技术方案可知，本申请提供的图像实例分割方法、装置、设备及存储介质，首先通过分类预测模型获得待分割图像对应的边缘概率图，然后将边缘概率图与待分割图像进行融合后，最后将融合后的图像输入实例分割模型进行实例分割，从而获得实例分割结果，由此可见，本申请实施例在实例分割模型的输入图像中融入了待分割图像中目标的边缘信息，这使得实例分割模型能够更准确地进行目标的检测与分割，即本申请提供的图像实例分割方法的分割效果较好。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的图像实例分割方法的流程示意图；
图2为本申请实施例提供的分类预测模型的训练过程的示意图；
图3为本申请实施例提供的实例分割模型的训练过程的示意图；
图4为本申请实施例提供的图像实例分割装置的结构示意图；
图5为本申请实施例提供的图像实例分割方法设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
发明人在实现本发明创造的过程中发现：现有的图像实例分割方案，特别是针对小颗粒图像的实例分割方案，主要包括两类，一类为传统分割方法如阈值法、分水岭、凹点匹配、凹性分析、边缘检测和数学形态学等方法，另一类为基于深度学习的实例分割方法，基于深度学习的实例分割方案多为基于MaskR-CNN的实例分割方法和基于U-Net的实例分割方法。
由于传统的分割方法往往存在较多的硬阈值，因此，难以保证算法的鲁棒性。而基于深度学习的实例分割方案的分割效果远远超过传统分割方法，因此，目前的实例分割方案大多为基于深度学习的实例分割方法，也有基于深度学习，同时辅以部分传统分割技术的实例分割方法。
基于深度学习的实例分割方法，首先获取人工标注边缘或掩膜的训练数据，然后用训练数据训练神经网络模型，神经网络模型训练完成后，将待分割图像输入训练好的模型，训练好的模型输出其预测的实例分割结果。需要说明的是，实例分割对训练数据的标注有着较高的要求，但是，人工在标注训练数据时通常都会存在一定的主观性偏差，标注时可能会存在部分目标漏标，或者边缘标注不够贴合真实目标边界等情况。通常而言，边缘标注信息的偏差对于面积较大的目标影响较小，但对于面积较小的目标，即小颗粒目标的影响较大，也就是说，小颗粒目标对边缘标注信息偏差十分敏感。若训练数据中的边界标注准确性存在一定偏差，或者，部分目标存在漏标，那么，训练数据将对神经网络模型的训练造成较大影响，即影响模型的鲁棒性。
有鉴于此，本申请实施例提供了一种图像实例分割方法，请参阅图1，示出了该图像实例分割方法的流程示意图，可以包括：
步骤S101：获取待分割图像。
其中，待分割图像可以为彩色图像，也可以为黑白图像，待分割图像可以为包括多个小颗粒目标的图像，当然也可以为包括多个大颗粒目标的图像，目标可以为任何类别、任何形状的对象。需要说明的是，小颗粒目标指的是面积较小的目标，反之，大颗粒目标指的是面积较大的目标。
步骤S102：将待分割图像输入预先建立的分类预测模型，获得分类预测结果，分类预测结果至少包括边缘概率图。
其中，分类预测模型采用人工标注的训练图像训练得到，分类预测模型的具体训练过程可参见后续实施例的说明。
发明人在实现本发明创造的过程中发现，U-Net模型对于小颗粒目标的检测的效果较好，漏检率相对较低，基于此，本实施例中的分类预测模型优选为U-net模型。
U-Net模型是卷积神经网络的一种变形，因其结构形似字母U而得名U-Net。整个神经网络主要有两部分组成：收缩路径和扩展路径。收缩路径主要是用来捕捉图像中的上下文信息，而与之相对称的扩展路径则是为了对图像中所需要分割出来的部分进行精准定位。
需要说明的是，现有技术中的U-net模型为二分类模型，即前景、背景二分类模型，本申请改变U-net模型的结构，将边缘这一类引入模型中，使模型成为一个边缘、前景、背景的三分类模型。
需要说明的是，本实施例并不限定分类预测模型为U-net模型，只要能对待分割图像进行分类预测，能获得待分割图像对应的边缘概率图的模型均可。
在本实施例中，分类预测模型输出的分类预测结果除了包括边缘概率图外，还可以包括前景概率图和背景概率图，形成三分类概率图。
需要说明的是，边缘概率图、前景概率图和背景概率图均为与待分割图像尺寸相同的图像。其中，边缘概率图为以待分割图像中各个像素点为边缘位置点的概率为像素值的图像，即边缘概率图中每个像素点的像素值为待分割图像中对应像素点为边缘位置点的概率，概率越大，待分割图像中对应像素点为边缘位置点的可能性越大；前景概率图为以待分割图像中各个像素点为前景点的概率为像素值的图像，即前景概率图中每个像素点的像素值为待分割图像中对应像素点为前景点的概率，概率越大，待分割图像中对应像素点为前景点的可能性越大；背景概率图为以待分割图像中各个像素点为背景点的概率为像素值的图像，即边缘概率图中每个像素点的像素值为待分割图像中对应像素点为背景点的概率，概率越大，待分割图像中对应像素点为背景点的可能性越大。
步骤S103：将边缘概率图与待分割图像进行融合，融合后的图像作为第一目标图像。
其中，将边缘概率图与待分割图像进行融合的过程可以包括：将待分割图像进行颜色分离，将进行颜色分离后的图像与边缘概率图进行融合。需要说明的是，颜色分离指的是将3通道的彩色待分割图像分离为3个单通道图像。
其中，将进行颜色分离后的图像与边缘概率图进行融合的方式有多种，比如，可直接将进行颜色分离后的图像与边缘概率图叠加，再比如，可将进行颜色分离后的图像与边缘概率图进行加权相加再求均值。
步骤S104：将第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为待分割图像的实例分割结果。
其中，实例分割模型采用人工标注的训练图像与训练好的分类预测模型输出的边缘概率图进行融合后的图像训练得到。
考虑到MaskR-CNN模型能对每个目标单独计数归类，在一定程度上能有效减少粘连造成的漏分割，基于此，本实施例中的实例分割模型优选为MaskR-CNN模型。
MaskR-CNN模型是一个简单灵活的用于实例分割的模型，其不仅可对图像中的目标进行有效的检测，还能对每个目标给出一个高精度的分割掩膜结果。该模型新增一个用来独立地预测二值掩膜的分支，每个目标二值掩模的类别省去了类间竞争，根据兴趣区域分类分支进行分类预测，该分支与现有的边界框识别分支并行，只增加一个小的开销，从而扩展了速度。MaskR-CNN模型能广泛适用于多种类型的任务，包括实例分割、候选框目标检测和人关键点检测等。
需要说明的是，本实施例并不限定分类预测模型为MaskR-CNN模型，能够对图像中的目标进行准确检测和高精度分割的模型均可。
本申请实施例提供的图像实例分割方法，首先通过分类预测模型获得待分割图像对应的边缘概率图，然后将边缘概率图与待分割图像进行融合后，最后将融合后的图像输入实例分割模型进行实例分割，从而获得实例分割结果，由此可见，本申请实施例在实例分割模型的输入图像中融入了待分割图像中目标的边缘信息，这使得实例分割模型能够更准确地进行目标的检测与分割，即本申请实施例提供的图像实例分割方法的实例分割效果较好。
以下对上述实施例中提及的分类预测模型和实例分割模型的训练过程进行介绍。
请参阅图2，示出了分类预测模型的训练过程的流程示意图，可以包括：
步骤S201：获取带掩膜标注的图像作为训练图像。
预先获取多幅图像，由专家对这些图像进行标注，标注完成的图像作为训练图像，用于训练分类预测模型。
步骤S202：将训练图像输入分类预测模型，获得边缘概率图、前景概率图和背景概率图。
在本实施例中，分类预测模型如U-Net模型的训练目标为一个三分类过程，以训练图像为输入，将前向传播得到初步输出，用以计算梯度，进行反馈训练，经过迭代，模型最终输出边缘概率图、前景概率图和背景概率图。
步骤S203：基于边缘概率图调整训练图像中标注的边缘。
具体地，基于边缘概率图调整训练图像中标注的边缘的过程可以包括：对于训练图像中标注的边缘上的每个边缘像素点，确定该边缘像素点周边预设范围内的多个像素点；基于边缘概率图像从多个像素点中确定候选边缘像素点；基于候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点；若需要调整当前的边缘位置点，则用候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
需要说明的是，确定出的候选边缘像素点可能为一个，也可能为多个。
对于候选边缘像素点为多个的情况，基于候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点的过程可以包括：对于每个候选边缘像素点，确定该候选边缘像素点两侧像素点的差值，以得到多个候选边缘像素点分别对应的差值；从多个候选边缘像素点分别对应的差值中确定最大差值，判断最大差值是否大于设定阈值，若最大差值大于设定阈值，且大于当前的边缘位置点两侧像素点的差值，则确定需要调整当前的边缘位置点，否则确定不需要调整当前的边缘位置点。当需要调整当前的边缘位置点时，用最大差值对应的候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
对于候选边缘像素点为一个的情况，基于候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点的过程可以包括：确定该候选边缘像素点两侧像素点的差值，判断该差值是否大于设定阈值，若该差值大于设定阈值，且大于当前的边缘位置点两侧像素点的差值，则确定需要调整当前的边缘位置点，否则确定不需要调整当前的边缘位置点。当需要调整当前的边缘位置点时，用该候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
步骤S204：判断当前是否满足训练结束条件，若否，则执行步骤S205，若是，则结束训练过程。
其中，训练结束条件可以为达到预设迭代次数，还可以为分类预测模型输出的边缘概率图满足预设要求等。
步骤S205：将进行边缘调整后的图像作为训练图像，转入执行步骤S202。
请参阅图3，示出了实例分割模型的训练过程的示意图，可以包括：
步骤S301：将带掩膜标注的图像输入训练好的分类预测模型，获得边缘概率图、前景概率图和背景概率图。
带掩膜标注的图像即原始标注图像输入训练好的分类预测模型(如U-net模型)，获得分类预测模型(如U-net模型)输出的边缘概率图、前景概率图和背景概率图。
步骤S302：将带掩膜标注的图像与边缘概率图进行融合，获得融合后的图像。
具体地，将带掩膜标注的图像进行颜色分离，将进行颜色分离后的图像与边缘概率图进行融合。两个图像进行融合的方式有多种，比如，可直接将进行颜色分离后的图像与边缘概率图叠加，再比如，可将进行颜色分离后的图像与边缘概率图进行加权相加再求均值。
步骤S303：将融合后的图像输入实例分割模型(如MaskR-CNN模型)进行训练。
为了提高实例分割的准确度，提升分割效果，上述实施例提供的图像实例分割方法还可以包括：将实例分割图与前景概率图进行融合，融合后的图像作为第二目标图像；基于第二目标图像确定像素类别判别阈值；基于像素类别判别阈值和前景概率图，调整第二目标图像，调整后的图像作为第三目标图像，第三目标图像作为待分割图像的实例分割结果。需要说明的是，在训练上述模型时，也同样需要对实例分割模型输出的实例分割图进行同样的融合、调整的过程。
其中，基于第二目标图像确定判别阈值的过程可以包括：基于待分割图像中、与第二目标图像中的前景范围所对应的目标区域中像素点的像素值，确定像素类别判别阈值。需要说明的是，像素类别判别阈值用于判别像素点的类别，像素点类别包括前景和背景。
具体地，可计算待分割图像中、与第二目标图像中的前景范围所对应的目标区域中像素点的像素值的均值，并对均值进归一化，归一化后得到的值作为像素类别判别阈值。
需要说明的是，待分割图像中的目标可能为多个，因此，第二目标图像中的前景范围为多个，每个前景范围对应一目标，在一种可能的实现方式，可对待分割图像中、与第二目标图像中的所有前景范围对应的所有目标区域中的所有像素点的像素值求均值并进行归一化，归一化后得到的值作为像素类别判别阈值，即第二目标图像中的各个前景范围对应同一像素类别判别阈值。考虑到目标的差异性，为了能准确地实现像素点的类别判别，在另一种可能的实现方式中，可针对第二目标图像中的每一前景范围，计算待分割图像中、与该前景范围对应的目标区域中像素点的均值，并对该均值进行归一化，获得该前景范围对应的像素类别判别阈值，即对于第二目标图像中的每一前景范围均获得一像素类别判别阈值。
在确定出像素类别判别阈值后，便可基于像素类别判别阈值和前景概率图，调整第二目标图像，具体过程可以包括：基于像素类别判别阈值和前景概率图，判别第二目标图像中的前景范围内各像素点的类别，基于前景范围内各像素点的类别，调整前景范围内的像素点。
若第二目标图像中的所有前景范围对应同一像素类别判别阈值，对于每一前景范围中的每一像素点，基于该像素点的位置从前景概率图中获得该像素点对应的前景概率值，若该前景概率值大于像素类别判别阈值，则确定该像素点为前景，否则确定该像素点为背景。若第二目标图像中的每一前景范围对应一像素类别判别阈值，则对于每一前景范围中的每一像素点，基于该像素点的位置从前景概率图中获得该像素点对应的前景概率值，若该前景概率大于该前景范围对应的像素类别判别阈值，则确定该像素点为前景，否则确定该像素点为背景。
为了进一步提高实例分割的准确度，提升分割效果，上述实施例提供的图像分割方法还可以包括：基于边缘概率图调整第三目标图像中目标的边缘，调整后的图像作为待分割图像的实例分割结果。需要说明的是，在训练上述模型时，也同样需要进行该边缘调整过程。
具体地，基于边缘概率图调整第三目标图像中目标的边缘的过程可以包括：对于第三目标图像中每个目标的边缘上的每个边缘像素点，确定该边缘像素点周边预设范围内的多个像素点；基于边缘概率图像从多个像素点中确定候选边缘像素点；基于候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点；若需要调整当前的边缘位置点，则用候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
本申请实施例提供的图像实例分割方法，通过类别预测模型(如U-Net模型)对提取的边界信息进行反复迭代调整训练以加强边界信息的学习，将训练好的类别预测模型输出的边缘概率图与原始图像融合输入实例分割模型(如MaskR-CNN模型)进行训练，得到的实例分割结果与U-Net模型进一步融合调整，这使得基于训练好的类别检测模型(如U-Net模型)和实例分割模型(如MaskR-CNN模型)能够在图像中准确检测出多个小颗粒目标的同时给出每个小颗粒目标的边界信息，即给定一张输入小颗粒多目标图像，通过训练后的类别检测模型(如U-Net模型)和实例分割模型(如MaskR-CNN模型)可自动检测定位出多个小颗粒目标及其边界信息，从而能够辅助相关工作者进行分析，并且，可以很大程度上减少小颗粒的漏检与粘连，减少人工标注时的漏标与错标。
与上述图像实例分割方法相对应，本申请实施例还提供了一种图像实例分割装置，请参阅图4，示出了该装置的结构示意图，可以包括：图像获取模块401、分类预测模块402、第一图像融合模块403和实例分割模块404。
图像获取模块401，用于获取待分割图像。
分类预测模块402，用于将所述待分割图像输入预先建立的分类预测模型，获得分类预测结果，所述分类预测结果至少包括边缘概率图。
第一图像融合模块403，用于将所述边缘概率图与所述待分割图像进行融合，融合后的图像作为第一目标图像。
实例分割模块404，用于将所述第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为所述待分割图像的实例分割结果。
本申请实施例提供的图像实例分割装置，首先通过分类预测模型获得待分割图像对应的边缘概率图，然后将边缘概率图与待分割图像进行融合后，最后将融合后的图像输入实例分割模型进行实例分割，从而获得实例分割结果，由此可见，本申请实施例在实例分割模型的输入图像中融入了待分割图像中目标的边缘信息，这使得实例分割模型能够更准确地进行目标的检测与分割，即本申请实施例提供的图像实例分割装置的实例分割效果较好。
优选地，上述实施例中，分类预测模块输出的所述分类预测结果还包括前景概率图。所述图像实例分割装置还包括：第二图像融合模块、阈值确定模块和图像调整模块。
所述第二图像融合模块，用于将所述实例分割图与所述前景概率图进行融合，融合后的图像作为第二目标图像。
所述阈值确定模块，用于基于所述第二目标图像确定像素类别判别阈值；
所述图像调整模块，用于基于所述像素类别判别阈值和所述前景概率图，调整所述第二目标图像，调整后的图像作为第三目标图像，所述第三目标图像作为所述待分割图像的实例分割结果。
优选地，上述实施例提供的图像实例分割装置还可以包括：边缘调整模块。
所述边缘调整模块，用于边缘调整模块，基于所述边缘概率图调整所述第三目标图像中目标的边缘，调整后的图像作为所述待分割图像的实例分割结果。
在一种可能的实现方式中，所述阈值确定模块，具体用于基于所述待分割图像中、与所述第二目标图像中的前景范围所对应的目标区域中像素点的像素值，确定所述像素类别判别阈值，其中，像素类别包括前景和背景。
在一种可能的实现方式中，所述图像调整模块，具体用于基于所述像素类别判别阈值和所述前景概率图，判别所述第二目标图像中的前景范围内各像素点的类别；基于所述前景范围内各像素点的类别，调整所述前景范围内的像素点。
上述实施例提供的图像实例分割装置还可以包括：分类预测模型训练模块。所述分类预测模型训练模块，用于获取带掩膜标注的图像作为训练图像；将所述训练图像输入所述分类预测模型，至少获得边缘概率图；基于所述边缘概率图调整所述训练图像中标注的边缘；若当前不满足训练结束条件，则将进行边缘调整后的图像作为训练图像，将所述训练图像输入所述分类预测模型。
在一种可能的实现方式中，分类预测模型训练模块在基于所述边缘概率图调整所述训练图像中标注的边缘时，具体用于对于所述训练图像中标注的边缘上的每个边缘像素点，确定该边缘像素点周边预设范围内的多个像素点；基于所述边缘概率图像从所述多个像素点中确定候选边缘像素点；基于所述候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点；若需要调整所述当前的边缘位置点，则用所述候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
在一种可能的实现方式中，分类预测模型训练模块基于所述候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点时具体用于，当所述候选边缘像素点为多个时，对于每个候选边缘像素点，确定该候选边缘像素点两侧像素点的差值，以得到多个候选边缘像素点分别对应的差值；从所述多个候选边缘像素点分别对应的差值中确定最大差值，若所述最大差值大于设定阈值，且大于当前的边缘位置点两侧像素点的差值，则确定需要调整当前的边缘位置点；当所述候选边缘像素点为一个时，确定该候选边缘像素点两侧像素点的差值，若该候选边缘像素点两侧像素点的差值大于所述设定阈值，且大于当前的边缘位置点两侧像素点的差值，则确定需要调整当前的边缘位置点。
在一种可能的实现方式中，分类预测模型训练模块用所述候选边缘像素点替代该边缘像素点作为当前的边缘位置点时，具体用于当所述候选边缘像素点为多个时，用所述最大差值对应的候选边缘像素点替代该边缘像素点作为当前的边缘位置点；当所述候选边缘像素点为一个时，用该候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
上述实施例提供的图像实例分割装置还可以包括：实例分割模型训练模块。所述实例分割模型训练模块，用于将所述带掩膜标注的图像输入训练好的所述分类预测模型，至少获得边缘概率图；将所述带掩膜标注的图像与所述边缘概率图进行融合，获得融合后的图像；将所述融合后的图像输入所述实例分割模型进行训练。
本申请实施例还提供了一种图像实例分割设备，请参阅图5，示出了该图像实例分割设备的结构示意图，该图像实例分割设备可以包括：存储器501和处理器502。
存储器501，用于存储程序；
处理器502，用于执行所述程序，所述程序具体用于：
获取待分割图像；
将所述待分割图像输入预先建立的分类预测模型，获得分类预测结果，所述分类预测结果至少包括边缘概率图；
将所述边缘概率图与所述待分割图像进行融合，融合后的图像作为第一目标图像；
将所述第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为所述待分割图像的实例分割结果。
图像实例分割设备还可以包括：总线和通信接口。
处理器502、存储器501、通信接口503通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器502可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器502可包括主处理器，还可包括基带芯片、调制解调器等。
存储器501中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器501可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
通信接口503可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
处理器502执行存储器501中所存放的程序，以及调用其他设备，可用于实现本申请实施例所提供的图像实例分割方法的各个步骤。
本申请还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例提供的应用于图像实例分割方法的各个步骤。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (16)
1.一种图像实例分割方法，其特征在于，包括：
获取待分割图像；
将所述待分割图像输入预先建立的分类预测模型，获得分类预测结果，所述分类预测结果至少包括边缘概率图；
将所述边缘概率图与所述待分割图像进行融合，融合后的图像作为第一目标图像；
将所述第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为所述待分割图像的实例分割结果。
2.根据权利要求1所述的图像实例分割方法，其特征在于，所述分类预测结果还包括前景概率图；
所述图像实例分割方法还包括：
将所述实例分割图与所述前景概率图进行融合，融合后的图像作为第二目标图像；
基于所述第二目标图像确定像素类别判别阈值；
基于所述像素类别判别阈值和所述前景概率图，调整所述第二目标图像，调整后的图像作为第三目标图像，所述第三目标图像作为所述待分割图像的实例分割结果。
3.根据权利要求2所述的图像实例分割方法，其特征在于，还包括：
基于所述边缘概率图调整所述第三目标图像中目标的边缘，调整后的图像作为所述待分割图像的实例分割结果。
4.根据权利要求2所述的图像实例分割方法，其特征在于，所述基于所述第二目标图像确定判别阈值，包括：
基于所述待分割图像中、与所述第二目标图像中的前景范围所对应的目标区域中像素点的像素值，确定所述像素类别判别阈值，其中，像素类别包括前景和背景。
5.根据权利要求4所述的图像实例分割方法，其特征在于，所述基于所述像素类别判别阈值和所述前景概率图，调整所述第二目标图像，包括：
基于所述像素类别判别阈值和所述前景概率图，判别所述第二目标图像中的前景范围内各像素点的类别；
基于所述前景范围内各像素点的类别，调整所述前景范围内的像素点。
6.根据权利要求1所述的图像实例分割方法，其特征在于，所述分类预测模型的训练过程包括：
获取带掩膜标注的图像作为训练图像；
将所述训练图像输入所述分类预测模型，至少获得边缘概率图；
基于所述边缘概率图调整所述训练图像中标注的边缘；
若当前不满足训练结束条件，则将进行边缘调整后的图像作为训练图像，执行所述将所述训练图像输入所述分类预测模型。
7.根据权利要求6所述的图像实例分割方法，其特征在于，所述基于所述边缘概率图调整所述训练图像中标注的边缘，包括：
对于所述训练图像中标注的边缘上的每个边缘像素点，确定该边缘像素点周边预设范围内的多个像素点；
基于所述边缘概率图像从所述多个像素点中确定候选边缘像素点；
基于所述候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点；
若需要调整所述当前的边缘位置点，则用所述候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
8.根据权利要求7所述的图像实例分割方法，其特征在于，所述基于所述候选边缘像素点两侧像素点的像素值差值和设定阈值，确定是否需要调整当前的边缘位置点，包括：
若所述候选边缘像素点为多个，则对于每个候选边缘像素点，确定该候选边缘像素点两侧像素点的差值，以得到多个候选边缘像素点分别对应的差值；从所述多个候选边缘像素点分别对应的差值中确定最大差值，若所述最大差值大于设定阈值，且大于当前的边缘位置点两侧像素点的差值，则确定需要调整当前的边缘位置点；
若所述候选边缘像素点为一个，则确定该候选边缘像素点两侧像素点的差值，若该候选边缘像素点两侧像素点的差值大于所述设定阈值，且大于当前的边缘位置点两侧像素点的差值，则确定需要调整当前的边缘位置点；
所述用所述候选边缘像素点替代该边缘像素点作为当前的边缘位置点，包括：
若所述候选边缘像素点为多个，则用所述最大差值对应的候选边缘像素点替代该边缘像素点作为当前的边缘位置点；
若所述候选边缘像素点为一个，则用该候选边缘像素点替代该边缘像素点作为当前的边缘位置点。
9.根据权利要求6所述图像实例分割方法，其特征在于，所述实例分割模型的训练过程包括：
将所述带掩膜标注的图像输入训练好的所述分类预测模型，至少获得边缘概率图；
将所述带掩膜标注的图像与所述边缘概率图进行融合，获得融合后的图像；
将所述融合后的图像输入所述实例分割模型进行训练。
10.根据权利要求1～9中任意一项所述的图像实例分割方法，其特征在于，所述分类预测模型为U-net模型，所述实例分割模型为MaskR-CNN模型。
11.一种图像实例分割装置，其特征在于，包括：图像获取模块、分类预测模块、第一图像融合模块和实例分割模块；
所述图像获取模块，用于获取待分割图像；
所述分类预测模块，用于将所述待分割图像输入预先建立的分类预测模型，获得分类预测结果，所述分类预测结果至少包括边缘概率图；
所述第一图像融合模块，用于将所述边缘概率图与所述待分割图像进行融合，融合后的图像作为第一目标图像；
所述实例分割模块，用于将所述第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为所述待分割图像的实例分割结果。
12.根据权利要求11所述的图像实例分割装置，其特征在于，所述分类预测结果还包括前景概率图；
所述图像实例分割装置还包括：第二图像融合模块、阈值确定模块和图像调整模块；
所述第二图像融合模块，用于将所述实例分割图与所述前景概率图进行融合，融合后的图像作为第二目标图像；
所述阈值确定模块，用于基于所述第二目标图像确定像素类别判别阈值；
所述图像调整模块，用于基于所述像素类别判别阈值和所述前景概率图，调整所述第二目标图像，调整后的图像作为第三目标图像，所述第三目标图像作为所述待分割图像的实例分割结果。
13.根据权利要求12所述的图像实例分割装置，其特征在于，还包括：边缘调整模块；
所述边缘调整模块，用于基于所述边缘概率图调整所述第三目标图像中目标的边缘，调整后的图像作为所述待分割图像的实例分割结果。
14.根据权利要求11所述的图像实例分割装置，其特征在于，还包括：分类预测模型训练模块；
所述分类预测模型训练模块，用于获取带掩膜标注的图像作为训练图像；将所述训练图像输入所述分类预测模型，至少获得边缘概率图；基于所述边缘概率图调整所述训练图像中标注的边缘；若当前不满足训练结束条件，则将进行边缘调整后的图像作为训练图像，将所述训练图像输入所述分类预测模型进行训练。
15.根据权利要求14所述的图像实例分割装置，其特征在于，还包括：实例分割模型训练模块；
所述实例分割模型训练模块，用于将所述带掩膜标注的图像输入训练好的所述分类预测模型，至少获得边缘概率图；将所述带掩膜标注的图像与所述边缘概率图进行融合，获得融合后的图像；将所述融合后的图像输入所述实例分割模型进行训练。
16.一种图像实例分割设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，所述程序具体用于：
获取待分割图像；
将所述待分割图像输入预先建立的分类预测模型，获得分类预测结果，所述分类预测结果至少包括边缘概率图；
将所述边缘概率图与所述待分割图像进行融合，融合后的图像作为第一目标图像；
将所述第一目标图像输入预先建立的实例分割模型，获得实例分割图，作为所述待分割图像的实例分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811106187.8A CN109242869B (zh) | 2018-09-21 | 2018-09-21 | 一种图像实例分割方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811106187.8A CN109242869B (zh) | 2018-09-21 | 2018-09-21 | 一种图像实例分割方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109242869A true CN109242869A (zh) | 2019-01-18 |
| CN109242869B CN109242869B (zh) | 2021-02-02 |
Family
ID=65056101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811106187.8A Active CN109242869B (zh) | 2018-09-21 | 2018-09-21 | 一种图像实例分割方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242869B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902643A (zh) * | 2019-03-07 | 2019-06-18 | 浙江啄云智能科技有限公司 | 基于深度学习的智能安检方法、装置、系统及其电子设备 |
| CN109934223A (zh) * | 2019-03-01 | 2019-06-25 | 北京地平线机器人技术研发有限公司 | 一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置 |
| CN110032985A (zh) * | 2019-04-22 | 2019-07-19 | 清华大学深圳研究生院 | 一种血细胞自动检测识别方法 |
| CN110070056A (zh) * | 2019-04-25 | 2019-07-30 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及设备 |
| CN110097564A (zh) * | 2019-04-04 | 2019-08-06 | 平安科技（深圳）有限公司 | 基于多模型融合的图像标注方法、装置、计算机设备及存储介质 |
| CN110163829A (zh) * | 2019-04-19 | 2019-08-23 | 北京沃东天骏信息技术有限公司 | 图像生成方法、装置和计算机可读存储介质 |
| CN110189341A (zh) * | 2019-06-05 | 2019-08-30 | 北京青燕祥云科技有限公司 | 一种图像分割模型训练的方法、图像分割的方法及装置 |
| CN110348403A (zh) * | 2019-07-15 | 2019-10-18 | 华瑞新智科技（北京）有限公司 | 一种树木数量实时测量统计方法、系统及无人机 |
| CN110619639A (zh) * | 2019-08-26 | 2019-12-27 | 苏州同调医学科技有限公司 | 一种结合深度神经网络和概率图模型分割放疗影像的方法 |
| CN110689026A (zh) * | 2019-09-27 | 2020-01-14 | 联想(北京)有限公司 | 一种图像中对象的标注方法、装置及电子设备 |
| CN110827243A (zh) * | 2019-10-25 | 2020-02-21 | 深圳中科保泰科技有限公司 | 网格梁覆盖区域异常检测方法和装置 |
| CN111178211A (zh) * | 2019-12-20 | 2020-05-19 | 北京迈格威科技有限公司 | 图像分割方法、装置、电子设备及可读存储介质 |
| CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
| CN111192279A (zh) * | 2020-01-02 | 2020-05-22 | 上海交通大学 | 基于边缘检测的物体分割方法、电子终端及存储介质 |
| CN111507334A (zh) * | 2019-01-30 | 2020-08-07 | 中国科学院宁波材料技术与工程研究所 | 一种基于关键点的实例分割方法 |
| CN111627029A (zh) * | 2020-05-28 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 图像实例分割结果的获取方法及装置 |
| CN111833369A (zh) * | 2020-07-21 | 2020-10-27 | 中冶赛迪重庆信息技术有限公司 | 一种矾花图像处理方法、系统、介质及电子设备 |
| CN112016559A (zh) * | 2020-08-26 | 2020-12-01 | 北京推想科技有限公司 | 实例分割模型的训练方法及装置，图像处理的方法及装置 |
| CN112508128A (zh) * | 2020-12-22 | 2021-03-16 | 北京百度网讯科技有限公司 | 训练样本的构建方法、计数方法、装置、电子设备及介质 |
| CN112926551A (zh) * | 2021-04-21 | 2021-06-08 | 北京京东乾石科技有限公司 | 目标检测方法、装置、电子设备和存储介质 |
| CN113077419A (zh) * | 2021-03-19 | 2021-07-06 | 零氪智慧医疗科技(天津)有限公司 | 用于髋关节ct影像识别的信息处理方法及装置 |
| CN113724269A (zh) * | 2021-08-12 | 2021-11-30 | 浙江大华技术股份有限公司 | 实例分割方法、实例分割网络的训练方法及相关设备 |
| CN113792738A (zh) * | 2021-08-05 | 2021-12-14 | 北京旷视科技有限公司 | 实例分割方法、装置、电子设备和计算机可读存储介质 |
| EP3945495A1 (en) * | 2020-07-30 | 2022-02-02 | Dassault Systèmes | Method for segmenting an object in an image |
| CN115131333A (zh) * | 2022-07-20 | 2022-09-30 | 珠海横琴圣澳云智科技有限公司 | 基于实例不确定性的图像检测及分割的方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030224773A1 (en) * | 2002-05-31 | 2003-12-04 | Douglas Deeds | Fragmented delivery of multimedia |
| CN101216895A (zh) * | 2007-12-26 | 2008-07-09 | 北京航空航天大学 | 一种复杂背景图像中椭圆图像特征的自动提取方法 |
| CN101533512A (zh) * | 2009-04-24 | 2009-09-16 | 西安电子科技大学 | 基于人类视觉注意系统的图像感兴趣区域自动提取方法 |
-
2018
- 2018-09-21 CN CN201811106187.8A patent/CN109242869B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030224773A1 (en) * | 2002-05-31 | 2003-12-04 | Douglas Deeds | Fragmented delivery of multimedia |
| CN101216895A (zh) * | 2007-12-26 | 2008-07-09 | 北京航空航天大学 | 一种复杂背景图像中椭圆图像特征的自动提取方法 |
| CN101533512A (zh) * | 2009-04-24 | 2009-09-16 | 西安电子科技大学 | 基于人类视觉注意系统的图像感兴趣区域自动提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| YAN XU ET AL.: "Gland Instance Segmentation Using Deep Multichannel Neural Networks", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507334B (zh) * | 2019-01-30 | 2024-03-12 | 中国科学院宁波材料技术与工程研究所 | 一种基于关键点的实例分割方法 |
| CN111507334A (zh) * | 2019-01-30 | 2020-08-07 | 中国科学院宁波材料技术与工程研究所 | 一种基于关键点的实例分割方法 |
| CN109934223A (zh) * | 2019-03-01 | 2019-06-25 | 北京地平线机器人技术研发有限公司 | 一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置 |
| CN109902643A (zh) * | 2019-03-07 | 2019-06-18 | 浙江啄云智能科技有限公司 | 基于深度学习的智能安检方法、装置、系统及其电子设备 |
| CN110097564A (zh) * | 2019-04-04 | 2019-08-06 | 平安科技（深圳）有限公司 | 基于多模型融合的图像标注方法、装置、计算机设备及存储介质 |
| CN110097564B (zh) * | 2019-04-04 | 2023-06-16 | 平安科技（深圳）有限公司 | 基于多模型融合的图像标注方法、装置、计算机设备及存储介质 |
| CN110163829A (zh) * | 2019-04-19 | 2019-08-23 | 北京沃东天骏信息技术有限公司 | 图像生成方法、装置和计算机可读存储介质 |
| CN110163829B (zh) * | 2019-04-19 | 2021-07-13 | 北京沃东天骏信息技术有限公司 | 图像生成方法、装置和计算机可读存储介质 |
| CN110032985A (zh) * | 2019-04-22 | 2019-07-19 | 清华大学深圳研究生院 | 一种血细胞自动检测识别方法 |
| CN110070056B (zh) * | 2019-04-25 | 2023-01-10 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及设备 |
| CN110070056A (zh) * | 2019-04-25 | 2019-07-30 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及设备 |
| CN110189341A (zh) * | 2019-06-05 | 2019-08-30 | 北京青燕祥云科技有限公司 | 一种图像分割模型训练的方法、图像分割的方法及装置 |
| CN110189341B (zh) * | 2019-06-05 | 2021-08-10 | 北京青燕祥云科技有限公司 | 一种图像分割模型训练的方法、图像分割的方法及装置 |
| CN110348403A (zh) * | 2019-07-15 | 2019-10-18 | 华瑞新智科技（北京）有限公司 | 一种树木数量实时测量统计方法、系统及无人机 |
| CN110619639A (zh) * | 2019-08-26 | 2019-12-27 | 苏州同调医学科技有限公司 | 一种结合深度神经网络和概率图模型分割放疗影像的方法 |
| CN110689026A (zh) * | 2019-09-27 | 2020-01-14 | 联想(北京)有限公司 | 一种图像中对象的标注方法、装置及电子设备 |
| CN110689026B (zh) * | 2019-09-27 | 2022-06-28 | 联想(北京)有限公司 | 一种图像中对象的标注方法、装置及电子设备 |
| CN110827243B (zh) * | 2019-10-25 | 2022-07-05 | 深圳中科保泰空天技术有限公司 | 网格梁覆盖区域异常检测方法和装置 |
| CN110827243A (zh) * | 2019-10-25 | 2020-02-21 | 深圳中科保泰科技有限公司 | 网格梁覆盖区域异常检测方法和装置 |
| CN111179300A (zh) * | 2019-12-16 | 2020-05-19 | 新奇点企业管理集团有限公司 | 障碍物检测的方法、装置、系统、设备以及存储介质 |
| CN111178211B (zh) * | 2019-12-20 | 2024-01-12 | 天津极豪科技有限公司 | 图像分割方法、装置、电子设备及可读存储介质 |
| CN111178211A (zh) * | 2019-12-20 | 2020-05-19 | 北京迈格威科技有限公司 | 图像分割方法、装置、电子设备及可读存储介质 |
| CN111192279A (zh) * | 2020-01-02 | 2020-05-22 | 上海交通大学 | 基于边缘检测的物体分割方法、电子终端及存储介质 |
| CN111192279B (zh) * | 2020-01-02 | 2022-09-02 | 上海交通大学 | 基于边缘检测的物体分割方法、电子终端及存储介质 |
| CN111627029A (zh) * | 2020-05-28 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 图像实例分割结果的获取方法及装置 |
| CN111833369A (zh) * | 2020-07-21 | 2020-10-27 | 中冶赛迪重庆信息技术有限公司 | 一种矾花图像处理方法、系统、介质及电子设备 |
| EP3945495A1 (en) * | 2020-07-30 | 2022-02-02 | Dassault Systèmes | Method for segmenting an object in an image |
| CN112016559A (zh) * | 2020-08-26 | 2020-12-01 | 北京推想科技有限公司 | 实例分割模型的训练方法及装置，图像处理的方法及装置 |
| CN112508128A (zh) * | 2020-12-22 | 2021-03-16 | 北京百度网讯科技有限公司 | 训练样本的构建方法、计数方法、装置、电子设备及介质 |
| CN112508128B (zh) * | 2020-12-22 | 2023-07-25 | 北京百度网讯科技有限公司 | 训练样本的构建方法、计数方法、装置、电子设备及介质 |
| CN113077419A (zh) * | 2021-03-19 | 2021-07-06 | 零氪智慧医疗科技(天津)有限公司 | 用于髋关节ct影像识别的信息处理方法及装置 |
| CN112926551A (zh) * | 2021-04-21 | 2021-06-08 | 北京京东乾石科技有限公司 | 目标检测方法、装置、电子设备和存储介质 |
| CN113792738A (zh) * | 2021-08-05 | 2021-12-14 | 北京旷视科技有限公司 | 实例分割方法、装置、电子设备和计算机可读存储介质 |
| CN113724269A (zh) * | 2021-08-12 | 2021-11-30 | 浙江大华技术股份有限公司 | 实例分割方法、实例分割网络的训练方法及相关设备 |
| CN115131333A (zh) * | 2022-07-20 | 2022-09-30 | 珠海横琴圣澳云智科技有限公司 | 基于实例不确定性的图像检测及分割的方法和装置 |
| CN115131333B (zh) * | 2022-07-20 | 2023-03-28 | 珠海横琴圣澳云智科技有限公司 | 基于实例不确定性的图像检测及分割的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109242869B (zh) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242869A (zh) | 一种图像实例分割方法、装置、设备及存储介质 | |
| CN109145713B (zh) | 一种结合目标检测的小目标语义分割方法 | |
| US11455496B2 (en) | System and method for domain adaptation using synthetic data | |
| KR101640998B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| CN111428604B (zh) | 面部佩戴口罩识别方法、装置、设备及存储介质 | |
| CN110874841A (zh) | 参照边缘图像的客体检测方法及装置 | |
| US20150326845A1 (en) | Depth value restoration method and system | |
| Benard et al. | Interactive video object segmentation in the wild | |
| EP2733666B1 (en) | Method for superpixel life cycle management | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| CN101493933B (zh) | 一种局部结构自适应的图像扩散去噪方法 | |
| CN104915926A (zh) | 图像处理设备和图像处理方法 | |
| CN110415212A (zh) | 异常细胞检测方法、装置及计算机可读存储介质 | |
| CN110706234A (zh) | 一种图像的自动精细分割方法 | |
| Galsgaard et al. | Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement | |
| CN112613579A (zh) | 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法 | |
| CN109255792B (zh) | 一种视频图像的分割方法、装置、终端设备及存储介质 | |
| CN108416304B (zh) | 一种利用上下文信息的三分类人脸检测方法 | |
| WO2022034522A1 (en) | Heatmap visualization of object detections | |
| CN111582004A (zh) | 一种地面图像中的目标区域分割方法及装置 | |
| Farid et al. | DOST: A distributed object segmentation tool | |
| CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
| CN107862696A (zh) | 基于时尚图迁移的特定行人衣物解析方法及系统 | |
| CN109117837B (zh) | 感兴趣区域确定方法和设备 | |
| CN113537017A (zh) | 基于级联型回归修正的光学遥感图像飞机检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190829 Address after: 230088 18 Floor, A5 Building, 666 Wangjiangxi Road, Hefei High-tech Zone, Anhui Province Applicant after: IFLYTEK Anhui Medical Information Technology Co. Ltd. Applicant after: Science and Technology University Information Flying South China Institute of Artificial Intelligence (Guangzhou) Co., Ltd. Address before: 230088 No. 666 Wangjiangxi Road, Hefei High-tech Zone, Anhui Province Applicant before: Iflytek Co., Ltd. Applicant before: Science and Technology University Information Flying South China Institute of Artificial Intelligence (Guangzhou) Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220610 Address after: NO.666, Wangjiang West Road, hi tech Zone, Hefei City, Anhui Province Patentee after: IFLYTEK Co.,Ltd. Address before: 230088 18th floor, building A5, NO.666, Wangjiang West Road, high tech Zone, Hefei City, Anhui Province Patentee before: ANHUI IFLYTEK MEDICAL INFORMATION TECHNOLOGY CO.,LTD. Patentee before: IFLYTEK South China Artificial Intelligence Research Institute (Guangzhou) Co., Ltd |
|
| TR01 | Transfer of patent right |