CN109934223A - 一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置 - Google Patents

一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置 Download PDF

Info

Publication number
CN109934223A
CN109934223A CN201910157545.6A CN201910157545A CN109934223A CN 109934223 A CN109934223 A CN 109934223A CN 201910157545 A CN201910157545 A CN 201910157545A CN 109934223 A CN109934223 A CN 109934223A
Authority
CN
China
Prior art keywords
example segmentation
segmentation result
input picture
evaluation parameter
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910157545.6A
Other languages
English (en)
Other versions
CN109934223B (zh
Inventor
黄钊金
黄李超
王兴刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201910157545.6A priority Critical patent/CN109934223B/zh
Publication of CN109934223A publication Critical patent/CN109934223A/zh
Application granted granted Critical
Publication of CN109934223B publication Critical patent/CN109934223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置,本发明通过根据输入图像获得第一实例分割结果,根据输入图像和第一实例分割结果输入神经网络模型后确定第一实例分割结果的第一评价参数,进而实现了对于实例分割打分准确的技术效果。

Description

一种基于神经网络的实例分割确定方法、神经网络模型训练 方法及装置
技术领域
本发明涉及计算机视觉处理技术领域,尤其涉及一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置。
背景技术
计算机视觉处理技术是一门研究如何使机器“看”的计算机处理技术,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
在计算机视觉处理技术的图形处理技术,现有技术采用分类器打分的方式对于候选框的类别进行打分。
但是,发明人在日常实践工作中发现,现有技术中存在如下不足:
通过分类器打分只是对候选框的类别进行打分,并不对实例分割的结果进行打分,进而可能造成了用一个比较高的分类的得分去描述一个比较差的实例结果,进而造成实例分割打分结果的不准确的问题。
发明内容
本说明书实施例提供了一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置,解决了现有技术中实例分割结果分数评价不准确的技术问题,达到实例分割结果的分数评价准确的技术效果。
第一方面,本说明书实施例提供了一种实例分割结果评价参数确定方法,所述方法包括:获取输入图像;对输入图像进行第一实例分割,确定第一实例分割结果;根据所述输入图像和所述第一实例分割结果,使用神经网络模型确定所述第一实例分割结果的第一评价参数。
第二方面,本说明书实施例提供了一种用于实例分割结果评价参数确定的神经网络模型训练方法,所述方法包括:获取输入图像;基于输入图像确定第二实例分割结果;获取所述输入图像的第三实例分割结果,所述第三实例分割结果是预先人工标定的;基于所述第二实例分割结果及所述第三实例分割结果确定第三评价参数;将所述输入图像以及所述第二实例分割结果作为输入数据,将所述第三评价参数作为监督数据,训练所述神经网络模型。
第三方面,本说明书实施例一种实例分割结果评价参数确定装置,所述装置包括:第一获取单元,所述第一获取单元用于获取输入图像;第一确定单元,所述第一确定单元用于对输入图像进行第一实例分割,确定第一实例分割结果;第二确定单元,所述第二确定单元用于根据所述输入图像和所述第一实例分割结果,使用神经网络模型确定所述第一实例分割结果的第一评价参数。
第四方面,本说明书实施例一种用于实例分割结果评价参数确定的神经网络模型训练装置,所述装置包括:第二获取单元,所述第二获取单元用于获取输入图像;第三确定单元,所述第三确定单元用于基于输入图像确定第二实例分割结果;第三获取单元,所第三获取单元用于获取所述输入图像的第三实例分割结果,所述第三实例分割结果是预先人工标定的;第四确定单元,所述第四确定单元用于基于所述第二实例分割结果及所述第三实例分割结果确定第三评价参数;第一训练单元,所述第一训练单元用于将所述输入图像以及所述第二实例分割结果作为输入数据,将所述第三评价参数作为监督数据,训练所述神经网络模型。
第五方面,本说明书实施例提供一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-8任一项所述方法的步骤。
第六方面,本说明书实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。
本说明书实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本说明书实施例通过根据输入图像获得第一实例分割结果,根据输入图像和第一实例分割结果输入神经网络模型后确定第一实例分割结果的第一评价参数,进而实现了对于实例分割打分评价准确的技术效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
图1为本申请一示例性实例提供的一种实例分割结果评价参数确定方法的流程示意图;
图2为本申请一示例性实例提供的对输入图像进行第一实例分割,确定第一实例分割结果方法的流程示意图;
图3为本申请一示例性实例提供的确定所述第一实例分割结果的第一评价参数方法的流程示意图;
图4为本申请一示例性实例提供的另一种实例分割结果评价参数确定方法的流程示意图;
图5为本申请一示例性实例提供的一种用于实例分割结果评价参数确定的神经网络模型训练方法的流程示意图;
图6为本申请一示例性实例提供的基于输入图像确定第二实例分割结果方法的流程示意图;
图7为本申请一示例性实例提供的确定第三评价参数方法的流程示意图;
图8为本申请一示例性实例提供的训练所述神经网络模型方法的流程示意图;
图9为本发明申请一示例性实例提供的一种实例分割结果评价参数确定装置的结构示意图;
图10是为本发明申请一示例性实例提供的一种用于实例分割结果评价参数确定的神经网络模型训练装置的结构示意图;
图11是为本申请一示例性实例提供的一种实例分割结果评级参数确定和神经网络模型训练的装置的结构示意图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明,应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明,而不是对本说明书技术方案的限定,在不冲突的情况下,本说明书实施例以及实施例中的技术特征可以相互组合。
本发明实施例提供了一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置,通过根据输入图像获得第一实例分割结果,根据输入图像和第一实例分割结果输入神经网络模型后确定第一实例分割结果的第一评价参数,进而实现了对于实例分割打分评价准确的技术效果。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
示例性方法1
图1为本发明实施例中一种实例分割结果评价参数确定方法的流程示意图。如图1所示,一种实例分割结果评价参数确定方法包括:
步骤110:获取输入图像;
具体来说,步骤110中的输入图像是计算机视觉处理技术的图像处理技术所针对的图像信息。一般而言,输入图像中可以至少包括两个部分,第一部分是包括分析对象所在的目标区域,第二部分是目标分析区域之外的区域,比如背景区域。在现有技术中,采用的是分类器打分的方式对所述输入图像中的目标分析对象的区域进行处理,进而获得输入图像中的候选框中的类别的分数。比如,当候选框中的类别是人或者汽车时,采用分类器打分的方式获得的分数是不同的,比如人的分数可能会比汽车的分数高。但是,从所述输入图像的实例分割结果的打分角度来看,可能存在人的实例分割结果的处理效果会比汽车的实例分割效果的处理效果差的情况,但是,按照分类器打分的计算方式,就得出实例分割效果差的人的分数比实例分割结果效果较好的车的分数高的问题。该问题也是本申请实施例所要解决的技术问题。
步骤120:对输入图像进行第一实例分割,确定第一实例分割结果;
具体来说,在步骤120中,对输入图像进行第一实例分割,确定第一实例分割结果。其中,第一实例分割结果为对输入图像进行候选框提取后通过分割网络得到的分割结果。比如将输入图像中的人或车所在的区域进行实例分割获得人或车的实例分割结果。
步骤130:根据所述输入图像和所述第一实例分割结果,使用神经网络模型确定所述第一实例分割结果的第一评价参数。
具体来说,在步骤130中,将输入图像和第一实例分割结果输入给神经网络模型,并根据神经网络模型的运算后获得该第一实例分割结果的评价结果,即第一评价参数。比如,该第一评价参数可以是输入图像中的人或车的实例分割结果的评价结果。该第一评价参数所表征的评价结果相比较于现有技术中的分类器的评价结果更为准确,也解决了现有技术中只针对类别打分,不针对具体分割结果打分所带来的不准确的技术问题,具有对于实例分割结果打分准确的技术效果。
如图2所示,在上述图1所示实施例的基础上,步骤120可包括如下步骤:
步骤121:基于所述输入图像,确定第一感兴趣区域;
具体来说,所述第一感兴趣区域为输入图像中分析对象所在的目标区域,也就是本申请实施例所针对的实例分割的目标区域。比如可以是输入图像中的人或者车所在的区域。首先,将图像特征输入卷积层模块中的若干个卷积层,输出后获得第一感兴趣区域,换言之,所述第一感兴趣区域可以为图像特征经过若干个卷积层后得到的感兴趣区域,其中,若干个卷积层的数量可以根据实际情况来确定,本申请对卷积层的数量不作任何限制;第一感兴趣区域还可以经过若干个全连接层模块处理后的第一精细化感兴趣区域,本申请对全连接层的数量不做任何限制。
步骤122:基于所述输入图像及第一感兴趣区域,确定第一感兴趣区域信息;
具体来说,在步骤122中,第一感兴趣区域在所述图像特征的基础上提取获得第一感兴趣区域信息,即每个感兴趣区域在图像特征上提取与其相对应位置的特征,所述第一感兴趣区域信息可以为感兴趣区域信息提取模块得到的感兴趣区域的特征。
步骤123:根据所述第一感兴趣区域信息获得第一实例分割结果。
具体来说,第一感兴趣区域信息的具体呈现方式的分割效果好,则可以获得第一实例分割结果的分数比较高,或者第一感兴趣区域信息的具体呈现方式的分割效果差,则可以获得第一实例分割结果的分数比较低。其中,第一实例分割结果的获得步骤包括:针对第一感兴趣区域信息通过若干个卷积层后得到第一实例分割结果。
综上所述,通过上述步骤121-123实现了对于基于输入图像确定第一实例分割结果的具体实施方式。
如图3所示,在上述图1所示实施例的基础上,步骤130可包括如下步骤:
步骤131:根据所述输入图像和所述第一实例分割结果获得第一特征融合信息;
具体而言,在步骤131中,在输入神经网络模型之前,还需要进行第一特征融合信息的获取,该获取是将输入图像和第一实例分割结果进行融合后获得,具体的融合方式可以为将上述输入图像和第一实例分割结果作为两个输入进行叠加处理,也就是说,叠加后的数据作为第一特征融合信息。
步骤132:使用所述神经网络模型对所述第一特征融合信息的处理获得第一评价参数。
具体来说,在步骤132中,将第一特征融合信息输入所述神经网络模型中,经神经网络模型的处理获得第一评价参数,上述第一评价参数就是对于第一实例分割结果的评价结果。
此外,也可以将输入图像和第一实例分割结果单独输入至神经网络模型。
采用本方案所得出的评价结果相比较于现有技术中的分类器的评价结果更为准确,也解决了现有技术中只针对类别打分,不针对具体分割结果打分所带来的不准确的技术问题,具有对于实例分割结果打分准确的技术效果。
如图4所示,在上述图1所示实施例的基础上,还可包括如下步骤:
步骤141:确定所述第一感兴趣区域的分类得分;
具体来说,步骤141中确定第一感兴趣区域的分类得分是采用现有技术中的分类器打分的方式获得的基于类别的评价结果。
步骤142:基于所述第一评价参数以及分类器得分,确定第二评价参数。
具体来说,步骤142中,第二评价参数基于两类输入获得,即上述的步骤130中获得第一评价参数和上述的步骤141中获得的分类得分。比如,可以采用第一评价参数和分类器得分相乘的方式获得第二评价参数。对于步骤142而言,第二评价参数融合了本申请实施例所提供的第一实例分割结果的第一评价参数,和现有技术中的分类器得分的结果,兼顾了两种评价方式,具有兼顾类别和实际分割效果两种功效的评价参数,进一步提升了本申请实施例中对于输入图像的实例分割打分更加准确的技术效果。
示例性方法2
如图5所示,本申请实施例还提供了一种用于实例分割结果评价参数确定的神经网络模型训练方法,所述方法包括:
步骤210:获取输入图像;
具体而言,从神经网络模型的训练过程来说,首先获得的是输入样本图像。为了满足神经网络模型的训练需求,所述的输入样本图像是海量级的,越多的输入图像进入神经网络模型训练中,该模型的训练效果越好,得到的实例分割结果的评价效果越好。
步骤220:基于输入图像确定第二实例分割结果;
具体而言,从神经网络模型的训练过程来说,仍需要从输入图像中获得实例分割结果,即第二实例分割结果。
步骤230:获取所述输入图像的第三实例分割结果,所述第三实例分割结果是预先人工标定的;
具体而言,所述第三实例分割结果是来自预先人工标定的,之所以提供第三实例分割结果,其目的在于提供一个“靶子”,并通过这个“靶子”来评判第二实例分割结果的质量,或者通过提供一个较好的“靶子”来修正第二实例分割结果的处理,进而实现对于神经网络模型的训练。
步骤240:基于所述第二实例分割结果及所述第三实例分割结果确定第三评价参数;
具体来说,第三评价参数用来表征计算获得的第二实例分割结果和人工标定的第三实例分割结果之间的相似程度。当相似程度高时,可用来表征计算获得第二实例分割结果的质量较好,当相似程度低时,可用来表征计算获得的第二实例分割质量较差。
步骤250:将所述输入图像以及所述第二实例分割结果作为输入数据,将所述第三评价参数作为监督数据,训练所述神经网络模型。
具体来说,神经网络模型的训练需要依靠大量的,有效的数据输入,进而实现神经网络模型的计算结果逐步满足预定的需求。在本实施例中,将输入图像和第二实例分割结果作为输入数据进行训练,并通过上述第三评价参数进行监督或者检查,进而优化了神经网络模型的训练过程,进而保证了神经网络模型计算结果的可靠性,加快了神经网络模型的训练过程。具体来说,将第三评价参数作为监督数据训练所述神经网络模型,可以采用调整神经网络模型训练过程中所使用的卷积层模块和全连接层模块的网络权重的方式来实现。
如图6所示,在上述图5所示实施例的基础上,步骤220可包括如下步骤:
步骤221:基于所述输入图像,获得第二感兴趣区域;
具体来说,所述第二感兴趣区域为目标区域,也就是输入图像中的实例分割所针对的目标区域。比如可以是输入图像中的人或者车所在的区域。首先,将图像特征输入卷积层模块中的若干个卷积层,输出后获得第二感兴趣区域,换言之,所述第二感兴趣区域可以为图像特征经过若干个卷积层后得到的感兴趣区域,其中,若干个卷积层的数量可以根据实际情况来确定,本申请对卷积层的数量不作任何限制;第二感兴趣区域还可以经过若干个全连接层模块处理后的第二精细化感兴趣区域;本申请对全连接层的数量不做任何限制。
步骤222:基于所述输入图像及第二感兴趣区域,确定第二感兴趣区域信息;
具体来说,步骤222中,第二感兴趣区域在所述图像特征的基础上提取获得第二感兴趣区域信息,即每个感兴趣区域在图像特征上提取与其相对应位置的特征,所述第二感兴趣区域信息可以为感兴趣区域信息提取模块得到的感兴趣区域的特征。
步骤223:根据所述第二感兴趣区域信息获得第二实例分割结果。
具体来说,第二感兴趣区域信息的具体呈现方式的分割效果好,则可以获得第二实例分割结果的分数比较高,或者第二感兴趣区域信息的具体呈现方式的分割效果差,则可以获得第二实例分割结果的分数比较低。其中,第二实例分割结果的获得步骤包括:针对第二感兴趣区域通过若干个卷积层后得到第二实例分割结果。
综上所述,通过上述步骤221-223实现了对于基于输入图像确定第二实例分割结果的具体实施方式。
如图7所示,在上述图5所示实施例的基础上,步骤240可包括如下步骤:
步骤241:确定所述第二实例分割结果和所述第三实例分割结果之间的交并比;
具体而言,交并比(Intersection-over-Union,IoU),指目标检测中使用的一个概念,是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率,即它们的交集与并集的比值。最理想情况是完全重叠,即比值为1。对于本实施例而言,取第二实例分割结果和第三实例分割结果的交集;然后取第二实例分割结果和第三实例分割结果的并集,然后取上述交集和并集的比值后获得第二实例分割结果和第三实例分割结果的交并比。
步骤242:根据所述交并比确定所述第三评价参数。
具体而言,将第三评价参数确定为第二实例分割结果和第三实例分割结果的交并比,进而通过交并比确定第二实例分割结果和第三实例分割结果之间的相似程度,当交并比的数值越接近1时,所述第二实例分割结果的质量越好;当交并比的数值越接近0时,所述第二实例分割结果的质量越差。
此外,也可以通过主观评价的方法,人工根据第三实例分割结果对第二实例分割结果给出评价参数。
如图8所示,在上述图5所示实施例的基础上,步骤250可包括如下步骤:
步骤251:基于所述输入图像和所述第二实例分割结果获得第二特征融合信息;
具体而言,在步骤251中,在输入神经网络模型之前,还需要进行第二特征融合信息的获取,该获取是将输入图像和第二实例分割结果进行融合后获得,具体的融合方式可以为将上述输入图像和第二实例分割结果作为两个输入进行叠加处理,也就是说,叠加后的数据作为第二特征融合信息。
步骤252:将所述第二特征融合信息确定为输入数据。
具体来说,在步骤252中,将第二特征融合信息输入所述神经网络模型中,经神经网络模型的处理获得第三评价参数,上述第三评价参数就是对于第一实例分割结果的评价结果或者说是打分结果。
此外,也可以将输入图像和第二实例分割结果单独输出至神经网络模型。
采用本方案所得出的评价结果相比较于现有技术中的分类器的评价结果更为准确,也解决了现有技术中只针对类别打分,不针对具体分割结果打分所带来的不准确的技术问题,具有对于实例分割结果打分准确的技术效果。
示例性装置1
如图9所示,本申请实施例提供了一种实例分割结果评价参数确定装置,其中,所述装置包括:
第一获取单元310,所述第一获取单元310用于获取输入图像;
第一确定单元320,所述第一确定单元320用于对输入图像进行第一实例分割,确定第一实例分割结果;
第二确定单元330,所述第二确定单元330用于根据所述输入图像和所述第一实例分割结果,使用神经网络模型确定所述第一实例分割结果的第一评价参数。
进一步的,所述装置还包括:
第五确定单元,所述第五确定单元用于基于所述输入图像,确定第一感兴趣区域;
第六确定单元,第六确定单元用于基于所述输入图像及第一感兴趣区域,确定第一感兴趣区域信息;
第四获得单元,第四获得单元用于根据所述第一感兴趣区域信息获得第一实例分割结果。
进一步的,所述装置还包括:
第五获得单元,所述第五获得单元用于根据所述输入图像和所述第一实例分割结果获得第一特征融合信息;
第六获得单元,所述第六获得单元用于使用所述神经网络模型对所述第一特征融合信息的处理获得第一评价参数。
进一步的,所述装置还包括:
第七确定单元,所述第七确定单元用于确定所述第一感兴趣区域的分类得分,
第八确定单元,所述第八确定单元用于基于所述第一评价参数以及分类器得分,确定第二评价参数。
示例性装置2:
如图10所示,本申请实施例提供一种用于实例分割结果评价参数确定的神经网络模型训练装置,所述装置包括:
第二获取单元410,所述第二获取单元410用于获取输入图像;
第三确定单元420,所述第三确定单元420用于基于输入图像确定第二实例分割结果;
第三获取单元430,所第三获取单元430用于获取所述输入图像的第三实例分割结果,所述第三实例分割结果是预先人工标定的;
第四确定单元440,所述第四确定单元440用于基于所述第二实例分割结果及所述第三实例分割结果确定第三评价参数;
第一训练单元450,所述第一训练单元450用于将所述输入图像以及所述第二实例分割结果作为输入数据,将所述第三评价参数作为监督数据,训练所述神经网络模型。
进一步的,所述装置包括:
第九确定单元,所述九确定单元用于确定所述第二实例分割结果和所述第三实例分割结果之间的交并比;
第十确定单元,所述第十确定单元用于根据所述交并比确定所述第三评价参数。
进一步的,所述装置包括:
第七获得单元,所述第七获得单元用于基于所述输入图像,获得第二感兴趣区域;
第十一确定单元,所述第十一确定单元用于基于所述输入图像及第二感兴趣区域,确定第二感兴趣区域信息;
第八获得单元,所述第八获得单元用于根据所述第二感兴趣区域信息获得第二实例分割结果。
进一步的,所述装置包括:
第九获得单元,所述第九获得单元用于基于所述输入图像和所述第二实例分割结果获得第二特征融合信息;
第十二确定单元,所述第十二确定单元用于将所述第二特征融合信息确定为输入数据。
示例性电子设备
如图11所示,基于与前述实施例中一种实例分割结果评价参数确定方法以及一种用于实例分割结果评价参数确定的神经网络模型训练方法同样的发明构思,本发明还提供一种服务器,如图所示,包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序,所述处理器502执行所述程序时实现前文所述一种实例分割结果评价参数确定方法以及一种用于实例分割结果评价参数确定的神经网络模型训练方法的任一方法的步骤。
其中,在图5中,总线架构(用总线500来代表),总线500可以包括任意数量的互联的总线和桥,总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口506在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。
处理器502负责管理总线500和通常的处理,而存储器504可以被用于存储处理器502在执行操作时所使用的数据。
示例性计算机可读存储介质:
基于与前述实施例中一种实例分割结果评价参数确定方法以及一种用于实例分割结果评价参数确定的神经网络模型训练方法的发明构思,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前文所述一种实例分割结果评价参数确定方法以及一种用于实例分割结果评价参数确定的神经网络模型训练方法的任一方法的步骤。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然,本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样,倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内,则本说明书也意图包含这些改动和变型在内。

Claims (12)

1.一种实例分割结果评价参数确定方法,其中,所述方法包括:
获取输入图像;
对输入图像进行第一实例分割,确定第一实例分割结果;
根据所述输入图像和所述第一实例分割结果,使用神经网络模型确定所述第一实例分割结果的第一评价参数。
2.如权利要求1所述的方法,其中,所述基于输入图像确定第一实例分割结果,包括:
基于所述输入图像,确定第一感兴趣区域;
基于所述输入图像及第一感兴趣区域,确定第一感兴趣区域信息;
根据所述第一感兴趣区域信息获得第一实例分割结果。
3.如权利要求1所述的方法,其中,所述根据输入图像及所述第一实例分割结果,使用神经网络模型确定所述第一实例分割结果的第一评价参数,包括:
根据所述输入图像和所述第一实例分割结果获得第一特征融合信息;
使用所述神经网络模型对所述第一特征融合信息的处理获得第一评价参数。
4.如权利要求2所述的方法,其中,所述方法还包括:
确定所述第一感兴趣区域的分类得分,
基于所述第一评价参数以及分类器得分,确定第二评价参数。
5.一种用于实例分割结果评价参数确定的神经网络模型训练方法,其中,所述方法包括:
获取输入图像;
基于输入图像确定第二实例分割结果;
获取所述输入图像的第三实例分割结果,所述第三实例分割结果是预先人工标定的;
基于所述第二实例分割结果及所述第三实例分割结果确定第三评价参数;
将所述输入图像以及所述第二实例分割结果作为输入数据,将所述第三评价参数作为监督数据,训练所述神经网络模型。
6.如权利要求5所述的训练方法,其中,所述根据所述第二实例分割结果和所述第三实例分割结果确定所述第三评价参数,包括:
确定所述第二实例分割结果和所述第三实例分割结果之间的交并比;
根据所述交并比确定所述第三评价参数。
7.如权利要求5所述的方法,其中所述基于输入图像确定第二实例分割结果包括:
基于所述输入图像,获得第二感兴趣区域;
基于所述输入图像及第二感兴趣区域,确定第二感兴趣区域信息;
根据所述第二感兴趣区域信息获得第二实例分割结果。
8.如权利要求5所述的方法,所述将所述输入图像以及所述第二实例分割结果作为输入数据包括:
基于所述输入图像和所述第二实例分割结果获得第二特征融合信息;
将所述第二特征融合信息确定为输入数据。
9.一种实例分割结果评价参数确定装置,其中,所述装置包括:
第一获取单元,所述第一获取单元用于获取输入图像;
第一确定单元,所述第一确定单元用于对输入图像进行第一实例分割,确定第一实例分割结果;
第二确定单元,所述第二确定单元用于根据所述输入图像和所述第一实例分割结果,使用神经网络模型确定所述第一实例分割结果的第一评价参数。
10.一种用于实例分割结果评价参数确定的神经网络模型训练装置,其中,所述装置包括:
第二获取单元,所述第二获取单元用于获取输入图像;
第三确定单元,所述第三确定单元用于基于输入图像确定第二实例分割结果;
第三获取单元,所第三获取单元用于获取所述输入图像的第三实例分割结果,所述第三实例分割结果是预先人工标定的;
第四确定单元,所述第四确定单元用于基于所述第二实例分割结果及所述第三实例分割结果确定第三评价参数;
第一训练单元,所述第一训练单元用于将所述输入图像以及所述第二实例分割结果作为输入数据,将所述第三评价参数作为监督数据,训练所述神经网络模型。
11.一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-8任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。
CN201910157545.6A 2019-03-01 2019-03-01 实例分割结果评价参数确定方法及装置 Active CN109934223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910157545.6A CN109934223B (zh) 2019-03-01 2019-03-01 实例分割结果评价参数确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910157545.6A CN109934223B (zh) 2019-03-01 2019-03-01 实例分割结果评价参数确定方法及装置

Publications (2)

Publication Number Publication Date
CN109934223A true CN109934223A (zh) 2019-06-25
CN109934223B CN109934223B (zh) 2022-04-26

Family

ID=66986180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910157545.6A Active CN109934223B (zh) 2019-03-01 2019-03-01 实例分割结果评价参数确定方法及装置

Country Status (1)

Country Link
CN (1) CN109934223B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533046A (zh) * 2019-08-30 2019-12-03 北京地平线机器人技术研发有限公司 一种图像实例分割方法和装置
CN112950637A (zh) * 2021-05-12 2021-06-11 北京世纪好未来教育科技有限公司 人体部位分割网络训练方法、人体部位分割方法及装置
CN112967292A (zh) * 2021-03-01 2021-06-15 焦点科技股份有限公司 一种针对电商产品的自动抠图与评分方法及系统
CN113408499A (zh) * 2021-08-19 2021-09-17 天津所托瑞安汽车科技有限公司 双网络模型的联合评估方法、设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316294A1 (en) * 2007-02-22 2010-12-16 Petra Perner Method and Data Processing System for Creating Image Segmentation Models
CN104463825A (zh) * 2013-09-16 2015-03-25 北京三星通信技术研究有限公司 用于在三维体积图像中检测对象的设备和方法
CN104732509A (zh) * 2013-12-18 2015-06-24 北京三星通信技术研究有限公司 自适应图像分割方法和设备
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN107977969A (zh) * 2017-12-11 2018-05-01 北京数字精准医疗科技有限公司 一种内窥镜荧光图像的分割方法、装置及存储介质
CN108009554A (zh) * 2017-12-01 2018-05-08 国信优易数据有限公司 一种图像处理方法以及装置
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN109146897A (zh) * 2018-08-22 2019-01-04 北京羽医甘蓝信息技术有限公司 口腔放射图像质量控制方法及装置
CN109242869A (zh) * 2018-09-21 2019-01-18 科大讯飞股份有限公司 一种图像实例分割方法、装置、设备及存储介质
CN109242864A (zh) * 2018-09-18 2019-01-18 电子科技大学 基于多分支网络的图像分割结果质量评价方法
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316294A1 (en) * 2007-02-22 2010-12-16 Petra Perner Method and Data Processing System for Creating Image Segmentation Models
CN104463825A (zh) * 2013-09-16 2015-03-25 北京三星通信技术研究有限公司 用于在三维体积图像中检测对象的设备和方法
CN104732509A (zh) * 2013-12-18 2015-06-24 北京三星通信技术研究有限公司 自适应图像分割方法和设备
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN108009554A (zh) * 2017-12-01 2018-05-08 国信优易数据有限公司 一种图像处理方法以及装置
CN107977969A (zh) * 2017-12-11 2018-05-01 北京数字精准医疗科技有限公司 一种内窥镜荧光图像的分割方法、装置及存储介质
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法
CN109146897A (zh) * 2018-08-22 2019-01-04 北京羽医甘蓝信息技术有限公司 口腔放射图像质量控制方法及装置
CN109242864A (zh) * 2018-09-18 2019-01-18 电子科技大学 基于多分支网络的图像分割结果质量评价方法
CN109242869A (zh) * 2018-09-21 2019-01-18 科大讯飞股份有限公司 一种图像实例分割方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533046A (zh) * 2019-08-30 2019-12-03 北京地平线机器人技术研发有限公司 一种图像实例分割方法和装置
CN110533046B (zh) * 2019-08-30 2022-03-29 北京地平线机器人技术研发有限公司 一种图像实例分割方法、装置、计算机可读存储介质及电子设备
CN112967292A (zh) * 2021-03-01 2021-06-15 焦点科技股份有限公司 一种针对电商产品的自动抠图与评分方法及系统
CN112950637A (zh) * 2021-05-12 2021-06-11 北京世纪好未来教育科技有限公司 人体部位分割网络训练方法、人体部位分割方法及装置
CN113408499A (zh) * 2021-08-19 2021-09-17 天津所托瑞安汽车科技有限公司 双网络模型的联合评估方法、设备和存储介质

Also Published As

Publication number Publication date
CN109934223B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN109934223A (zh) 一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置
US11551433B2 (en) Apparatus, method and computer program for analyzing image
CN107862270A (zh) 人脸分类器训练方法、人脸检测方法及装置、电子设备
CN106407237B (zh) 在线学习试题推荐方法及系统
CN108021938A (zh) 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108171256A (zh) 人脸图像质评模型构建、筛选、识别方法及设备和介质
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN109359502A (zh) 防伪检测方法和装置、电子设备、存储介质
CN110222573A (zh) 人脸识别方法、装置、计算机设备及存储介质
Brata et al. An effective approach to develop location-based augmented reality information support
CN105930771A (zh) 一种驾驶行为评分方法及装置
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
CN111346842A (zh) 煤矸石分拣方法、装置、设备及存储介质
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
EP2624171A2 (en) Method and node for analysing periodic movements
CN113762107B (zh) 对象状态评估方法、装置、电子设备及可读存储介质
CN108877771B (zh) 数据处理方法、存储介质和电子设备
WO2013152929A1 (de) Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem
CN108399366A (zh) 一种基于逐像素分类的遥感图像场景分类提取方法
JP7177294B2 (ja) 個人差向け飛行訓練スキーム生成システム、方法および機器
CN108229289A (zh) 目标检索方法、装置和电子设备
US10489427B2 (en) Document classification system, document classification method, and document classification program
CN110457895A (zh) 一种pc应用程序违规内容监测方法及装置
CN113642466A (zh) 活体检测和模型训练方法、设备及介质
Ghylin Two-component model of security inspection: application and findings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant