CN111814832A - 一种目标检测方法、装置及存储介质 - Google Patents
一种目标检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111814832A CN111814832A CN202010529233.6A CN202010529233A CN111814832A CN 111814832 A CN111814832 A CN 111814832A CN 202010529233 A CN202010529233 A CN 202010529233A CN 111814832 A CN111814832 A CN 111814832A
- Authority
- CN
- China
- Prior art keywords
- target detection
- false
- model
- detection
- screening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本申请公开了一种目标检测方法、装置及存储介质,所述方法包括:获取待检测图像;基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型包括一个或多个级联的误检筛查子模型。利用本申请提供的技术方案可以能够弥补目标检测模型的不足,过滤第一目标检测结果中的假阳性结果,提升目标检测结果的准确性,使得目标检测更加可靠。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种目标检测方法、装置及存储介质。
背景技术
目标检测,也叫目标提取,是一种基于目标几何和统计特征的图像分割,它将目标的分割和识别合二为一,其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中,需要对多个目标进行实时处理时,目标自动提取和识别就显得特别重要。
随着计算机技术的发展和计算机视觉原理的广泛应用,利用计算机图像处理技术进行目标检测的研究越来越热门,目标检测在智能化交通系统、智能监控系统、军事目标检测及医学图像中病灶的检测定位等方面都具有广泛的应用价值。目标检测任务中训练集的正负样本筛选对于训练出来的深度学习模型性能的影响非常大,样本不平衡、困难样本的挖掘都是影响模型性能好坏的重要因素。传统的目标检测任务中训练集和验证集的正负样本,都是基于与金标准重合度大于或小于一定阈值的检测框而筛选出来的,但是通过这样筛选出来的正负样本训练出来的模型还是会经常出现一些问题,如出现假阳性的情况。
现有技术中筛选训练样本的方法有Online Hard Example Mining(在线难例挖掘算法)的方法,核心思想是筛选出一些困难样本作为训练样本从而改善检测模型的效果,其中困难样本指的是有多样性和高损失的样本。困难样本是根据每个ROI(感兴趣区域)的损失来选择的,选择损失最大的一些感兴趣区域作为候选区域。这个方法能在一定程度上提升模型的性能,但是并不是对所有种类的假阳性结果都有效,针对性不够强,使得到的目标检测的结果不够准确,因此需要提供更加可靠的方案。
发明内容
为了解决现有技术的问题,本发明提供了一种目标检测方法、装置、计算机设备及存储介质。所述技术方案如下:
本申请一方面提供了一种目标检测方法,所述方法包括:
获取待检测图像;
基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果;
其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型包括一个或多个级联的误检筛查子模型。
本申请另一方面提供了另一种目标检测方法,所述方法包括:
获取待检测图像;
基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果;
确定所述第一目标检测结果与所述第三目标检测结果的交集;
将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果;
其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的。
本申请另一方面提供了一种目标检测装置,所述装置包括:
第一图像获取模块,用于获取待检测图像;
第一目标检测模块,用于基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
第一误检筛查模块,用于基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型包括一个或多个级联的误检筛查子模型。
本申请另一方面提供了另一种目标检测装置,所述装置包括:
第二图像获取模块,用于获取待检测图像;
第二目标检测模块,用于基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
第二误检筛查模块,用于基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的;
交集确定模块,用于确定所述第一目标检测结果与所述第三目标检测结果的交集;
检测结果确定模块,用于将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果。
本申请另一方面提供了一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现上述的一种目标检测方法。
本申请另一方面提供了另一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现上述的另一种目标检测方法。
本申请另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现上述的目标检测方法。
本申请实施例提供的目标检测方法、装置、设备及存储介质,具有如下技术效果:
本申请实施例通过获取待检测图像;基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,灵活方便且速度较快,通过基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,能够筛选出具有独特的特征的负样本,得到对模型帮助最大的负样本从而训练出更有针对性的误检筛查模型,提升误检筛查模型的性能,解决较为典型的假阳性问题;且所述误检筛查模型包括一个或多个级联的误检筛查子模型,能够在进行目标检测时一层一层地滤除假阳性结果,有利于提升误检筛查的准确性,使得目标检测的结果更加可靠。另一种目标检测方法,通过获取待检测图像,基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,速度较快且灵活;基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果,确定所述第一目标检测结果与所述第三目标检测结果的交集,将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,能够筛选出具有独特的特征的负样本,解决较为典型的假阳性问题,且有利于后续提升目标检测的检出率。
本申请实施例的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种目标检测方法的流程图;
图2是本申请实施例提供的一种目标检测模型的训练方法的流程图;
图3是本申请实施例提供的当所述误检筛查模型包括两个级联的误检筛查子模型时,所述基于误检筛查模型对所述待检测图像进行目标检测的应用示意图;
图4是本申请实施例提供的一种误检筛查模型的训练方法的流程图;
图5是本申请实施例提供的另一种误检筛查模型的训练方法的流程图;
图6是本申请实施例提供的另一种误检筛查模型的训练方法的流程图;
图7是本申请实施例提供的另一种误检筛查模型的训练方法的流程图;
图8是本申请实施例提供的另一种误检筛查模型的训练方法的流程图;
图9是本申请实施例提供的另一种目标检测方法的示意图;
图10是本申请实施例提供的另一种目标检测方法的示意图;
图11是本申请实施例提供的一种目标检测装置示意图;
图12是本申请实施例提供的另一种目标检测装置示意图;
图13是本申请实施例提供的目标检测方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
近年来,随着人工智能技术研究和进步,人工智能技术在多个领域得到广泛应用,本申请实施例提供的方案涉及人工智能的机器学习/深度学习等技术,具体通过如下实施例进行说明:
图1是本申请实施例提供的一种目标检测方法的流程图,请参照图1,本实施例提供的目标检测方法包括如下步骤:
S101,获取待检测图像。
在实际应用中,所述待检测图像可以包括但不限于实景照片(例如手机等移动终端拍摄的照片、车辆监控设备或固定监控设备获取的监控图像及卫星遥感图像等)、动画图像(例如利用计算机制作的动画图像、人工合成的图像等)及医学图像,在本说明书实施例中,以所述医学图像为例,所述医学图像可以包括但不限于计算机断层图像(CT图像),其中,计算机断层图像具有扫描时间快,图像清晰等特点,可用于多种疾病的检查;所述待识别图像还可以包括但不限于磁共振图像、X光图像、CT血管造影图像(CTA,CT angiography,将CT增强技术与薄层、大范围、快速扫描技术相结合,通过处理能够清晰显示全身各部位血管细节)、B超图像及MRI图像。
在本说明书实施例中,所述获取待检测图像可以包括:
对所述待检测图像进行预处理。
在一个具体的实施例中,当所述待检测图像包括医学图像,例如计算机断层图像(CT图像)时,所述对所述待检测图像进行预处理可以包括:
(1)确定所述待检测图像中的目标图像。
具体地,所述确定所述待检测图像中的目标图像可以包括对所述待检测图像进行目标图像提取;或;对所述待检测图像进行非目标图像剔除。
在实际应用中,例如,在进行肺结节检测时确定待检测图像中的肺实质区域,去除噪音,仅保留对肺结节检测有益的区域(肺区域),有利于提升肺结节检测的效率及可靠性;在进行脑部肿瘤检测时去除非脑组织,例如,颅骨、眼睛及肌肉组织等。
(2)对所述待检测图像进行数据增强。
具体地,所述对所述待检测图像进行数据增强可以包括但不限于对所述待检测图像进行添加噪声、平移及缩放等。
(3)对所述待检测图像进行归一化处理。
具体地,所述对所述待检测图像进行归一化处理可以包括对所述待检测图像做最大最小归一化,将所述待检测图像的像素值归一化到预设像素范围之间,其中,所述预设像素范围可以根据实际应用需求进行设定。
在实际应用中,所述对所述待检测图像进行预处理还可以包括但不限于:对所述待检测图像进行数据格式转换、去噪、图像裁剪,和/或;重采样;且本发明实施例不以医学图像为限,对于其他类型的待检测图像,获取待检测图像也可以包括对所述待检测图像进行预处理,通过对所述待检测图像进行图像预处理,能够消除一些不利因素,提升目标检测的效率及准确性,使得目标检测的结果更加可靠。
S102:基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果。
具体地,所述目标检测模型是基于样本待检测图像及对应的目标标注结果进行训练得到的。
在本说明书实施例中,所述第一目标检测结果可以指示包含被检测目标的检测框,且根据实际应用需求的不同所述检测框可以是规则形状或不规则形状,例如从实景照片中检测出“小狗”,“行人”,从医学图像(例如计算机断层图像)中检测肺结节等。
在一个具体的实施例中,所述目标检测模型可以包括肺结节检测模型,所述肺结节检测模型是基于样本待检测图像及对应的肺结节标注结果进行肺结节检测训练得到的。
具体地,所述目标检测模型的训练方法可以包括:
S201:获取第一样本训练集;
在本说明书实施例中,所述获取第一样本训练集可以包括:
(1)获取第一样本图像集,
具体地,所述第一样本图像集包括多个样本待检测图像及对应的目标标注结果;
(2)利用第二神经网络模型对所述样本图像集进行初步检测生成大量候选区域;
(3)确定所述候选区域与对应的目标标注结果(预设的金标准检测框)的重合度;
(4)将与预设金标准检测框的重合度大于或等于预设阈值的候选区域标记为目标检测模型训练的正样本,将与预设金标准检测框的重合度小于预设阈值的候选区域标记为目标检测模型训练的负样本,将所述目标检测模型训练的正样本及目标检测模型训练的负样本作为所述第一样本训练集。
在本说明书实施例中,所述获取第一样本训练集之后还包括:
S202:基于所述第一样本训练集对第二神经网络模型进行目标检测的训练;
S203:基于第一损失函数计算所述第二神经网络模型输出的第一目标检测结果与所述样本训练图像对应的目标标注结果之间的误差值;
S204:判断所述误差值是否满足第一预设条件;
S205:当判断的结果为否时,基于网络优化函数调整所述第二神经网络模型中的模型参数,重复上述目标检测至判断的步骤;
S206:当判断的结果为是时,将当前的第二神经网络模型作为所述目标检测模型。
具体地,所述第一损失函数可以包括但不限于Dice损失函数、Focal损失函数或联合损失函数;使用的网络优化函数可以采用Adam自适应优化器,可随训练状态自动调整参数更新幅度。
在实际应用中,所述目标检测模型使用的神经网络可以包括但不限于Faster R-CNN(Faster Region-CNN)网络、FPN(Feature Pyramid Networks)网络、YOLO(You OnlyLook Once)网络、SSD(Single Shot MultiBox Detector)网络等。
通过基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,相当于得到了初步的目标检测结果,灵活方便且速度较快,但由于目标检测网络在训练的过程中无法充分地学习到相关特征,导致模型有可能错误的判断原本不是目标的地方为检测目标,即所述第一目标检测结果中可能包含部分假阳性结果,所述假阳性结果可以包括模型错误判断出来的把原本不是目标的地方确定为检测目标的结果,即预测为目标但实际并非目标的误检结果,为了提升目标检测的可靠性及检测准确度,有必要利用误检筛查模型进行误检筛查。
S103:基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果。
其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型包括一个或多个级联的误检筛查子模型。
具体地,所述第一目标检测结果可以包括标注有一个或多个检测框的待检测图像,在基于误检筛查模型对所述第一目标检测结果进行误检筛查时所述误检筛查模型仅针对所述待检测图像中标注了检测框的区域进行误检筛查,在一个实施例中,所述基于误检筛查模型对所述第一目标检测结果进行误检筛查可以包括对所述第一目标检测结果进行重采样,在实际应用中,重采样可以根据所述待检测图像中标注的检测框对所述待检测图像进行区域选取,具体地,区域选取可以根据标注的检测框的位置对检测框进行预设尺寸的放大(为了将感兴趣区域被完全包含,提升误检筛查的准确性),将放大后的区域作为选取区域,基于误检筛查模型对选取区域进行误检筛查,得到第二目标检测结果(即最终输出结果),所述误检筛查模型包括多个误检筛查子模型时步骤类似,后一级误检筛查子模型仅针对与其级联的前一级误检筛查子模型输出的结果进行误检筛除,具体过程不再赘述。
在一个具体的实施例中,在基于误检筛查模型对所述第一目标检测结果进行误检筛查之后,得到的第二目标检测结果可以包括,对所述第一目标检测结果中的一个或多个检测框进行假阳性结果筛除后的待检测图像,即针对所述标注有一个或多个检测框的待检测图像进行误检筛查,并确定出假阳性结果进行筛除,(在一个实施例中,确定出假阳性结果进行筛除可以通过确定出置信度低于预设值的结果并进行筛除,即仅保留所述第一目标检测结果中置信度高于预设值的结果)。在实际应用中,当所述误检筛查模型包括多个级联的误检筛查子模型时,请参照图3,图3是当所述误检筛查模型包括两个级联的误检筛查子模型时,所述基于误检筛查模型对所述待检测图像进行目标检测的应用示意图。此时所述目标检测可以包括肺结节检测,在基于目标检测模型对所述待检测图像进行目标检测(肺结节检测)后,得到的第一目标检测结果包括标注有6个肺结节检测框的待检测图像,通过第一误检筛查子模型进行误检筛查后确定所述6个肺结节检测框中的2个为假阳性结果并将其筛除,即输出了标注有4个肺结节检测框的待检测图像,再通过与所述第一误检筛查子模型级联的第二误检筛查子模型进行误检筛查后确定所述4个肺结节检测框中的1个为假阳性结果(第一误检筛查子模型无法滤除的假阳性结果)并将其筛除,即最终输出了标注有3个肺结节检测框的待检测图像,层层过滤,得到最终结果。
通过基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果,能够有效抑制所述目标检测模型产生的假阳性结果,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,有利于筛选出具有独特的特征的负样本,得到对模型帮助最大的负样本从而训练出更有针对性的误检筛查模型,提升误检筛查模型的性能,解决较为典型的假阳性问题,提升目标检测的精度和可靠性;且所述误检筛查模型包括一个或多个级联的误检筛查子模型,能够在进行目标检测时一层一层的滤除假阳性结果,相当于能够利用后一级误检筛查子模型对前一级误检筛查子模型的检测结果进行假阳性目标剔除,使得误检筛查的准确性更好;此时由于输入误检筛查模型的是所述第一目标检测结果,所以所述误检筛查模型仅针对目标检测模型检测出来的第一目标检测结果进行误检筛查,不关注待检测图像的其他部分,能够充分过滤假阳性结果且误检筛除效率高。
如图4所示,在本说明书实施例中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型可以包括一个或多个级联的误检筛查子模型,具体地,所述误检筛查模型的训练方法可以包括:
S401:获取第二样本训练集;
如图5所示,在本说明书实施例中,所述获取第二样本训练集可以包括:
S501:获取第一样本验证集;
具体地,所述第一样本验证集包括多个样本待检测图像及对应的目标标注结果(预设的金标准检测框);
S502:基于所述目标检测模型对所述第一样本验证集进行目标检测,确定第一误检结果;
具体地,所述基于所述目标检测模型对所述第一样本验证集进行目标检测,确定第一误检结果可以包括:
基于所述目标检测模型对所述第一样本验证集进行目标检测,得到目标检测测试结果,将所述目标检测测试结果与所述对应的目标标注结果(预设的金标准检测框)进行结果对比,得到第一误检结果。
S503:对所述第一误检结果进行聚类处理,得到第一误检筛查负样本。
具体地,所述对所述第一误检结果进行聚类处理可以包括确定所述第一误检结果中特征类似的误检结果,并将所述特征类似的误检结果标记为同一类别,在实际应用中,为了区分不同的类别,可以为每一类别生成一个唯一标识信息,使得类别之间能够相互区分。在实际应用中,例如,所述类别可以利用数字、英文字母、特殊符号或它们的组合进行编码,具体地,例如,可以依次以数字1,2,3……进行编码,但本发明实施例并不以此为限。
在实际应用中,所述对所述第一误检结果进行聚类处理时使用的聚类方法可以包括但不限于K-Means(k均值聚类算法)和GMM(高斯混合模型)。
通过对所述第一误检结果进行聚类处理,将所述特征类似的误检结果归至同一类别,有利于筛选出具有独特的特征的负样本,得到对模型帮助最大的负样本从而训练出更有针对性的误检筛查模型,提升误检筛查模型的性能,后续使用中能够更加有针对性的过滤模型在前一阶段检测(目标检测模型检测)的过程中无法筛除的假阳性结果,提升目标检测的精度和可靠性。
在本说明书实施例中,在对所述第一误检结果进行聚类处理之前,所述方法还可以包括:
S601:对所述第一误检结果进行降维处理。
具体地,所述对所述第一误检结果进行降维处理能够去除图像中的冗余部分,利用更少的维数来表示特征,加快计算速度,提升模型训练的效率。
在一些实施例中,在所述对所述第一误检结果进行降维处理之前还包括对所述第一误检结果进行图像裁剪,去除噪声,提升模型训练效率。
在实际应用中,所述对所述第一误检结果进行聚类处理时使用的聚类方法可以包括但不限于PCA(Principal Components Analysis主成分分析)和KPCA(Kernel Principalcomponent analysis核主成分分析)。
如图7所示,在本说明书实施例中,为了获取更多的误检筛查负样本,提升所述误检筛查模型的性能,使得误检筛查的准确性更好,在对所述第一误检结果进行聚类处理之后,可以将聚类后的第一误检结果作为第一聚类误检结果,所述方法还可以包括:
S701:获取第三样本训练集;
具体地,所述第三样本训练集可以包括新获取的样本训练集,具体地,所述第三样本训练集包括多个样本待检测图像及对应的目标标注结果,在一些实施例中,所述第三样本训练集也可以直接使用在进行目标检测模型训练时获取的第一样本训练集,本说明书实施例并不以此为限。
S702:基于所述目标检测模型对所述第三样本训练集进行目标检测,确定补充样本误检结果;
基于所述目标检测模型对所述第三样本训练集进行目标检测,得到目标检测测试结果,将所述目标检测测试结果与所述对应的目标标注结果(预设的金标准检测框)进行结果对比,得到补充样本误检结果。
S703:对所述第一聚类误检结果及所述补充样本误检结果进行聚类处理,得到补充聚类样本;
S704:将所述补充聚类样本作为所述第一误检筛查负样本。
通过获取第三样本训练集,基于所述目标检测模型对所述第三样本训练集进行目标检测,确定补充样本误检结果,对所述第一聚类误检结果及所述补充样本误检结果再进行聚类处理,得到补充聚类样本,将所述补充聚类样本作为所述第一误检筛查负样本,能够获取更多的误检筛查负样本(相当于为每个误检类别补充了更多的样本),有利于提升所述误检筛查模型的性能,得到更优的误检筛查模型,从而使得误检筛查的准确性更好。
在本说明书实施例中,在对所述第一聚类误检结果及所述补充样本误检结果进行聚类处理之前,所述方法还包括:
对所述补充样本误检结果进行降维处理。
具体地,所述对所述补充样本误检结果进行降维处理能够去除图像中的冗余部分,利用更少的维数来表示特征,加快计算速度,提升模型训练的效率。
在一些实施例中,在所述对所述补充样本误检结果进行降维处理之前还可以包括对所述补充样本误检结果进行图像裁剪,去除噪声,提升模型训练的效率。
在实际应用中,所述对所述补充样本误检结果进行降维处理时使用的聚类方法可以包括但不限于PCA(Principal Components Analysis主成分分析)和KPCA(KernelPrincipal component analysis核主成分分析)。
如图8所示,在本说明书实施例中,在对所述第一误检结果进行聚类处理之后,所述方法还可以包括:
S801:基于预设配置信息和/或所述第一误检结果中各类别的平均置信度进行权重配置,将权重配置后的所述第一误检结果作为所述第一误检筛查负样本。
具体地,所述预设配置信息可以根据实际应用需求进行设置,在一个具体的实施例中,例如在肺结节的检测中,有絮状物及条状物等较为典型的假阳性结果,可以根据实际应用需求进行权重配置,例如对较为典型的假阳性类别(絮状物及条状物)设置较高的权重;在另一些实施例中,可以根据第一误检结果中各类别的平均置信度进行权重配置,或结合预设配置信息与所述第一误检结果中各类别的平均置信度进行权重配置,在实际应用中,在基于预设配置信息和/或所述第一误检结果中各类别的平均置信度进行权重配置之后,还可以对所述各类别的权重大小进行排名,确定出排名前预设个数的类别的样本作为所述第一误检筛查负样本。
通过基于预设配置信息和/或所述第一误检结果中各类别的平均置信度进行权重配置,将权重配置后的所述第一误检结果作为所述第一误检筛查负样本,能够筛选出更符合误检筛查模型要求的负样本,从而可以做到确定已经训练好的当前模型在什么类型的数据上出现检测性能不好,且能根据实际应用需求对假阳性结果进行筛选,做到有针对性的训练下一级模型,让下一级模型能够有针对性的过滤假阳性检测结果,更加灵活,且能够提升总的级联目标检测模型检测准确性和可靠性。
S504:获取第一误检筛查正样本,将所述第一误检筛查负样本作为第一误检筛查子模型训练的负样本,将所述第一误检筛查正样本及所述第一误检筛查负样本作为所述第二样本训练集。
在本说明书实施例中,所述获取第一误检筛查正样本可以包括:
1)利用第一神经网络模型对所述第一样本验证集进行初步检测生成大量候选区域;
2)确定所述候选区域与对应的目标标注结果(预设的金标准检测框)的重合度;
3)将与预设金标准检测框的重合度大于或等于预设阈值的候选区域标记为所述第一误检筛查正样本。
在本发明实施例中,所述获取第二样本训练集之后还包括:
S402:基于所述第二样本训练集对第一神经网络模型进行目标检测的训练;
S403:基于第二损失函数计算所述第一神经网络模型输出的第二目标检测结果与所述样本训练图像对应的目标标注结果之间的误差值;
S404:判断所述误差值是否满足第二预设条件;
S405:当判断的结果为否时,基于网络优化函数调整所述第一神经网络模型中的模型参数,重复上述目标检测至判断的步骤;
S406:当判断的结果为是时,将当前的第一神经网络模型作为所述第一误检筛查子模型。
具体地,所述第二损失函数可以包括但不限于Dice损失函数、Focal损失函数或联合损失函数;使用的网络优化函数可以采用Adam自适应优化器,可随训练状态自动调整参数更新幅度。
在实际应用中,所述误检筛查模型使用的神经网络可以包括但不限于Faster R-CNN(Faster Region-CNN)网络、FPN(Feature Pyramid Networks)网络、YOLO(You OnlyLook Once)网络、SSD(Single Shot MultiBox Detector)网络等。
在一个实施例中,当所述误检筛查模型仅包括一个误检筛查子模型时,此时即将所述第一误检筛查子模型作为所述误检筛查模型。
通过对所述目标检测模型测试得到的误检结果进行聚类处理后作为误检筛查模型训练的负样本,有利于筛选出具有独特的特征的负样本,得到对模型帮助最大的负样本从而训练出更有针对性的误检筛查模型,提升误检筛查模型的性能,后续使用中能够有效抑制所述目标检测模型产生的假阳性结果,提升目标检测的精度和可靠性。
在另一个实施例中,当所述误检筛查模型包括多个级联的误检筛查子模型时,以所述误检筛查模型包括两个误检筛查子模型为例,当所述误检筛查模型包括两个误检筛查子模型时,所述误检筛查模型的训练方法还可以包括:
(1)获取第四样本训练集;
在本说明书实施例中,所述获取第四样本训练集可以包括:
1)获取第二样本验证集;
具体地,所述第二样本验证集包括多个样本待检测图像及对应的目标标注结果(预设的金标准检测框);
2)基于所述第一误检筛查子模型对所述第二样本验证集进行目标检测,确定第二误检结果;
具体地,所述基于所述第一误检筛查子模型对所述第二样本验证集进行目标检测,确定第二误检结果的具体过程与S502类似,可以参见S502的相关描述,在此不再赘述。
3)对所述第二误检结果进行聚类处理,得到第二误检筛查负样本。
具体地,所述对所述第二误检结果进行聚类处理,得到第二误检筛查负样本的具体过程与S503类似,可以参见S503的相关描述,且在对所述第二误检结果进行聚类处理之后,所述方法还可以包括:获取第五样本训练集;基于所述第一误检筛查子模型对所述第五样本训练集进行目标检测,确定补充样本误检结果,对聚类后的第二误检结果及所述补充样本误检结果再进行聚类处理,得到补充聚类样本,将所述补充聚类样本作为第二误检筛查负样本,具体步骤与S701~S704类似,可以参见S701~S704的相关描述,在此不再赘述。
4)获取第二误检筛查正样本,将所述第二误检筛查负样本作为第二误检筛查子模型训练的负样本,将所述第二误检筛查正样本及所述第二误检筛查负样本作为所述第四样本训练集。
具体地,所述获取第二误检筛查正样本可以包括:利用第三神经网络模型对所述第二样本验证集进行初步检测生成大量候选区域;确定所述候选区域与对应的目标标注结果(预设的金标准检测框)的重合度;将与预设金标准检测框的重合度大于或等于预设阈值的候选区域标记为所述第二误检筛查正样本。
(2)基于所述第四样本训练集对第三神经网络模型进行目标检测的训练;
(3)基于第三损失函数计算所述第三神经网络模型输出的第三目标检测结果与所述样本训练图像对应的目标标注结果之间的误差值;
(4)判断所述误差值是否满足第三预设条件;
(5)当判断的结果为否时,基于网络优化函数调整所述第三神经网络模型中的模型参数,重复上述目标检测至判断的步骤;
(6)当判断的结果为是时,将当前的第三神经网络模型作为所述第二误检筛查子模型。
具体地,所述第三损失函数可以包括但不限于Dice损失函数、Focal损失函数或联合损失函数;使用的网络优化函数可以采用Adam自适应优化器,可随训练状态自动调整参数更新幅度。
在实际应用中,每个误检筛查子模型使用的神经网络可以包括但不限于FasterR-CNN(Faster Region-CNN)网络、FPN(Feature Pyramid Networks)网络、YOLO(You OnlyLook Once)网络、SSD(Single Shot MultiBox Detector)网络等。
以此类推,在本说明书实施例中,当所述误检筛查模型包括多个级联的误检筛查子模型时,可以通过获取新的验证集,并基于第N误检筛查子模型对这个新的验证集进行目标检测(N是大于或等于1的整数),确定出第(N+1)误检结果,对所述第(N+1)误检结果进行聚类处理,得到第(N+1)误检筛查负样本,将第(N+1)误检筛查负样本(即聚类后的第N误检筛查子模型的假阳性结果)作为第(N+1)误检筛查子模型训练的负样本,并获取第(N+1)误检筛查正样本,(获取第(N+1)误检筛查正样本可以包括:利用神经网络模型对获取到的新的验证集进行初步检测生成大量候选区域;确定所述候选区域与对应的目标标注结果(即预设的金标准检测框)的重合度;将与预设金标准检测框的重合度大于或等于预设阈值的候选区域标记为所述第(N+1)误检筛查正样本。)将第(N+1)误检筛查正样本及所述第(N+1)误检筛查负样本作为用于训练所述第(N+1)误检筛查子模型的样本训练集。这样能够使得第(N+1)误检筛查子模型针对前一个误检筛查子模型(第N误检筛查子模型)的缺陷进行筛查,即后续使用时第(N+1)误检筛查子模型进行目标检测的结果中不包含第N误检筛查子模型可能检出的部分假阳性结果。
通过训练误检筛查模型,且所述误检筛查模型可以包括一个或多个级联的误检筛查子模型,能够在进行目标检测时一层一层的滤除假阳性结果,且通过对前一级模型测试得到的误检结果进行聚类处理,有利于筛选出具有独特的特征的负样本,得到对模型帮助最大的负样本从而训练出更有针对性的误检筛查模型,提升误检筛查模型的性能,后续使用中能够更加有针对性的过滤模型在前一阶段检测(目标检测模型检测)的过程中无法筛除的假阳性结果,解决较为典型的假阳性问题,提升目标检测的精度和可靠性;通过确定补充聚类样本,能够得到更多的误检筛查负样本(相当于为每个误检类别补充了更多的样本),有利于提升所述误检筛查模型的性能,得到更优的误检筛查模型,从而使得误检筛查的准确性更好;且此时由于输入误检筛查模型的是所述第一目标检测结果,所以所述误检筛查模型仅针对目标检测模型检测出来的第一目标检测结果进行误检筛查,不关注待检测图像的其他部分,能够充分过滤假阳性结果且误检筛除效率高。
本发明实施例通过基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,相当于得到了初步的目标检测结果,灵活方便且速度较快。通过基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果,能够有效抑制所述目标检测模型产生的假阳性结果,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,有利于筛选出具有独特的特征的负样本,得到对模型帮助最大的负样本从而训练出更有针对性的误检筛查模型,提升误检筛查模型的性能,解决较为典型的假阳性问题,提升目标检测的精度和可靠性。
所述误检筛查模型包括一个或多个级联的误检筛查子模型,能够在进行目标检测时一层一层的滤除假阳性结果,相当于能够利用后一级误检筛查子模型对前一级误检筛查子模型的检测结果进行假阳性目标剔除,使得误检筛查的准确性更好。通过对误检结果进行降维处理能够去除图像中的冗余部分,利用更少的维数来表示特征,加快计算速度,提升模型训练的效率。通过获取第三样本训练集,基于所述目标检测模型对所述第三样本训练集进行目标检测,确定补充样本误检结果,对所述第一聚类误检结果及所述补充样本误检结果进行聚类处理,得到补充聚类样本,将所述补充聚类样本作为所述误检筛查负样本,能够获取更多的误检筛查负样本,有利于提升所述误检筛查模型的性能,得到更优的误检筛查模型,从而使得误检筛查的准确性更好。通过基于预设配置信息和/或所述第一误检结果中各类别的平均置信度进行权重配置,能够筛选出更符合误检筛查模型要求的负样本,从而可以做到确定已经训练好的当前模型在什么类型的数据上出现检测性能不好,且能根据实际应用需求对假阳性结果进行筛选,做到有针对性的训练下一级模型。
如图9所示,在另一些实施例中,所述目标检测方法可以包括:
S901:获取待检测图像。
具体地,所述获取待检测图像的具体过程与S101类似,可以参见S101的相关描述,在此不再赘述。
S902:基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果。
具体地,所述基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果的具体过程与S102类似,可以参见S102的相关描述,在此不再赘述。
具体地,所述目标检测模型是基于样本待检测图像及对应的目标标注结果进行训练得到的,且所述目标检测模型的训练方法可以参见S201~S206的相关描述,通过基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,相当于得到了初步的目标检测结果,灵活方便且速度较快,但由于目标检测网络在训练的过程中无法充分地学习到相关特征,导致模型有可能错误的判断原本不是目标的地方为检测目标,即所述第一目标检测结果中可能包含部分假阳性结果,为了提升目标检测的可靠性及检测准确度,有必要利用误检筛查模型进行误检筛查。
S903:基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果。
具体地,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型可以包括一个或多个误检筛查子模型。
在本说明书实施例中,所述误检筛查模型的训练方法可以参见S401~S406的相关描述,在此不再赘述。
S904:确定所述第一目标检测结果与所述第三目标检测结果的交集。
S905:将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果。
在本说明书实施例中,可以利用聚类处理后的所述目标检测模型测试得到的误检结果作为所述误检筛查模型的负样本,且获取第一误检筛查正样本进行误检筛查的训练,得到所述误检筛查模型,即所述误检筛查模型是针对所述目标检测模型的缺陷进行训练的,因此所述第三目标检测结果不包含基于目标检测模型对所述待检测图像进行目标检测后得到的第一目标检测结果中的一些假阳性结果,但所述第三目标检测结果可以包括第一目标检测结果中的正确结果及部分第一目标检测结果不包含的错误结果,因此通过确定所述第一目标检测结果与所述第三目标检测结果的交集,将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果,能够同时排除所述第一目标检测结果中的一些假阳性结果及第三目标检测结果中额外产生的一些错误结果。
在一个具体的实施例中,例如,当所述目标检测包括肺结节检测时,所述基于目标检测模型对所述待检测图像进行目标检测得到的第一目标检测结果中包括A、B、C、D四个肺结节检测框,基于误检筛查模型对所述待检测图像进行目标检测后得到的第三目标检测结果中包括B、C、D、E、F五个肺结节检测框,则确定的所述第一目标检测结果与所述第三目标检测结果的交集包括B、C、D三个肺结节检测框,这三个肺结节检测框即误检筛查后的目标检测结果(即最终输出的目标检测结果),此时肺结节检测框A即为被筛除的假阳性结果。
通过获取待检测图像,基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,速度较快且灵活;基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果,确定所述第一目标检测结果与所述第三目标检测结果的交集,将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,能够筛选出具有独特的特征的负样本,解决较为典型的假阳性问题,且有利于后续提升目标检出率。
在本说明书实施例中,当所述误检筛查模型包括多个级联的误检筛查子模型时,可以通过获取新的验证集,并基于第N误检筛查子模型对这个新的验证集进行目标检测(N是大于或等于1的整数),确定出第(N+1)误检结果,对所述第(N+1)误检结果进行聚类处理,得到第(N+1)误检筛查负样本,将第(N+1)误检筛查负样本(即聚类后的第N误检筛查子模型的假阳性结果)作为第(N+1)误检筛查子模型训练的负样本,并获取第(N+1)误检筛查正样本,(获取第(N+1)误检筛查正样本可以包括:利用神经网络模型对获取到的新的验证集进行初步检测生成大量候选区域;确定所述候选区域与对应的目标标注结果(即预设的金标准检测框)的重合度;将与预设金标准检测框的重合度大于或等于预设阈值的候选区域标记为所述第(N+1)误检筛查正样本。)将第(N+1)误检筛查正样本及所述第N误检筛查负样本作为用于训练所述第(N+1)误检筛查子模型的样本训练集。这样能够使得第(N+1)误检筛查子模型针对前一个误检筛查子模型(第N误检筛查子模型)的缺陷进行筛查,即后续使用时第(N+1)误检筛查子模型进行目标检测的结果中不包含第N误检筛查子模型可能检出的一些假阳性结果,但因为仅选择前一个误检筛查子模型的误检结果作为级联的后一个误检筛查子模型的训练负样本,所以第(N+1)误检筛查子模型在针对待检测图像进行目标检测时结果中虽然不包括第N误检筛查子模型对待检测图像进行目标检测可能得到的假阳性结果,但还可能包括第N误检筛查子模型对待检测图像进行目标检测的检测结果中的正确结果及部分第N误检筛查子模型检测结果中不包含的错误结果,因此有必要确定第N误检筛查子模型输出的目标检测结果和第(N+1)误检筛查子模型输出的目标检测结果的交集,相当于利用后一级误检筛查子模型的目标检测结果对前一级误检筛查子模型的目标检测结果进行假阳性目标剔除。
如图10所示,在本说明书实施例中,在确定所述第一目标检测结果与所述第三目标检测结果的交集之后,所述方法还可以包括:
S1001:确定所述第三目标检测结果中置信度大于预设阈值的对象。
具体地,所述预设阈值可以根据应用测试或实际应用需求进行设定。
S1002:将所述第三目标检测结果中置信度大于预设阈值的对象和所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果。
由于基于误检筛查模型对所述待检测图像进行目标检测后得到的第三目标检测结果中包含一些第一目标检测结果中没有的结果,这些所述第一目标检测结果中没有的结果中除了第一目标检测结果中不包含的错误结果之外还可能包括一些额外的正确检测结果(目标检测模型未能检出的正确结果),因此通过确定所述第三目标检测结果中置信度大于预设阈值的对象(置信度越高是需要检测出来的目标对象的可能性越大),将所述第三目标检测结果中置信度大于预设阈值的对象和所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果,相当于对最终输出结果进行了补充,提升目标的检出率,有利于提升最终的目标检测结果的可靠性。当所述误检筛查模型包括多个级联的误检筛查子模型时,可以确定每个误检筛查子模型中置信度大于预设阈值的对象,并将每个误检筛查子模型中置信度大于预设阈值的对象加入最终输出结果,提升目标检测的检出率,具体过程与前述过程类似,在此不再赘述。
以上述肺结节检测为例,在一个实施例中,所述预设阈值可以包括0.95,且确定第二目标检测结果中包括的肺结节检测框E的置信度为0.98,此时可以将所述肺结节检测框E和所述第一目标检测结果与所述第二目标检测结果的交集(B、C、D三个肺结节检测框)作为误检筛查后的目标检测结果(即最终输出的目标检测结果为B、C、D、E四个肺结节检测框),相当于将肺结节检测框E这个额外检出的结果作为补充结果加入最终输出结果中,提升了肺结节检出率。
本申请实施例还提供了一种目标检测装置,如图11所示,所述装置包括:
第一图像获取模块1110:用于获取待检测图像;
第一目标检测模块1120:用于基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
第一误检筛查模块1130:用于基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型包括一个或多个级联的误检筛查子模型。
需要说明的是,上述本发明实施例提供的装置模块先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在一个实施例中,所述目标检测装置还包括:
验证集获取模块:用于获取样本验证集;
目标检测测试模块:用于基于所述目标检测模型对所述样本验证集进行目标检测,确定第一误检结果;
第一聚类模块:用于对所述第一误检结果进行聚类处理,得到第一误检筛查负样本;
第一模型训练模块:用于基于所述第一误检筛查负样本对第一神经网络模型进行误检筛查训练,在误检筛查的训练中调整所述第一神经网络模型的模型参数至所述第一神经网络模型的第一损失函数满足第一收敛条件;
第一模型确定模块:用于当所述第一神经网络模型的第一损失函数满足第一收敛条件时,将当前的第一神经网络模型作为所述误检筛查模型。
在另一个实施例中,所述目标检测装置还包括:
权重配置模块:用于在对所述第一误检结果进行聚类处理之后,基于预设配置信息和/或所述第一误检结果中各类别的平均置信度进行权重配置,将权重配置后的所述第一误检结果作为所述第一误检筛查负样本。
在另一个实施例中,所述目标检测装置还包括:
第一降维模块:用于在对所述第一误检结果进行聚类处理之前,对所述第一误检结果进行降维处理。
在另一个实施例中,所述目标检测装置还包括:
结果确定模块:用于在对所述第一误检结果进行聚类处理之后,确定第一聚类误检结果;
训练集获取模块:用于获取样本训练集;
补充误检样本确定模块:用于基于所述目标检测模型对所述样本训练集进行目标检测,确定补充样本误检结果;
第二聚类模块:用于对所述第一聚类误检结果及所述补充样本误检结果进行聚类处理,得到补充聚类样本;
补充负样本确定模块,用于将所述补充聚类样本作为所述第一误检筛查负样本。
在另一个实施例中,所述目标检测装置还包括:
训练样本获取模块:用于获取样本待检测图像及对应的目标标注结果;
第二模型训练模块:用于基于所述样本待检测图像及对应的目标标注结果对第二神经网络模型进行目标检测的训练,在目标检测的训练中调整所述第二神经网络模型的模型参数至所述第二神经网络模型的第二损失函数满足第二收敛条件;
第二模型确定模块:用于当所述第二神经网络模型的第二损失函数满足第二收敛条件时,将当前的第二神经网络模型作为所述目标检测模型。
在另一个实施例中,所述目标检测装置还包括:
第二降维模块:用于在基于所述目标检测模型对所述样本训练集进行目标检测,确定补充样本误检结果之后,对所述补充样本误检结果进行降维处理。
本申请实施例还提供了另一种目标检测装置,如图12所示,所述装置包括:
第二图像获取模块1210,用于获取待检测图像;
第二目标检测模块1220,用于基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
第二误检筛查模块1230,用于基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的;
交集确定模块1240,用于确定所述第一目标检测结果与所述第三目标检测结果的交集;
第一检测结果确定模块1250,用于将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果。
在一个实施例中,所述另一种目标检测装置还可以包括:
阈值对象确定模块,用于在确定所述第一目标检测结果与所述第三目标检测结果的交集之后,确定所述第三目标检测结果中置信度大于预设阈值的对象。
第二检测结果确定模块,用于将所述第三目标检测结果中置信度大于预设阈值的对象和所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果。
具体地,目标检测装置的上述各模块可通过总线进行耦合及通信。
所述的装置实施例中的装置与方法实施例基于同样的申请构思。
本申请实施例提供了一种目标检测设备,该目标检测设备包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种目标检测方法。
本申请实施例提供了另一种目标检测设备,该目标检测设备包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的另一种目标检测方法。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图13是本申请实施例提供的一种目标检测方法的服务器的硬件结构框图。如图13所示,该服务器1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)1310(处理器1310可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1330,一个或一个以上存储应用程序1323或数据1322的存储介质1320(例如一个或一个以上海量存储设备)。其中,存储器1330和存储介质1320可以是短暂存储或持久存储。存储在存储介质1320的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1310可以设置为与存储介质1320通信,在服务器1300上执行存储介质1320中的一系列指令操作。服务器1300还可以包括一个或一个以上电源1360,一个或一个以上有线或无线网络接口1350,一个或一个以上输入输出接口1340,和/或,一个或一个以上操作系统1321,例如Windows ServerTM,Mac OSXTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口1340可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1300的通信供应商提供的无线网络。在一个实例中,输入输出接口1340包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1340可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图13所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1300还可包括比图13中所示更多或者更少的组件,或者具有与图13所示不同的配置。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种目标检测方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的目标检测方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的目标检测方法、装置、服务器或存储介质的实施例可见,本申请中的一种目标检测方法可以通过基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,相当于得到了初步的目标检测结果,灵活方便且速度较快。通过基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果,能够有效抑制所述目标检测模型产生的假阳性结果,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,有利于筛选出具有独特的特征的负样本,得到对模型帮助最大的负样本从而训练出更有针对性的误检筛查模型,提升误检筛查模型的性能,解决较为典型的假阳性问题,提升目标检测的精度和可靠性。且所述误检筛查模型包括一个或多个级联的误检筛查子模型,能够在进行目标检测时一层一层的滤除假阳性结果,相当于能够利用后一级误检筛查子模型对前一级误检筛查子模型的检测结果进行假阳性目标剔除,使得误检筛查的准确性更好。通过对误检结果进行降维处理能够去除图像中的冗余部分,利用更少的维数来表示特征,加快计算速度,提升模型训练的效率。通过获取第三样本训练集,基于所述目标检测模型对所述第三样本训练集进行目标检测,确定补充样本误检结果,对所述第一聚类误检结果及所述补充样本误检结果进行聚类处理,得到补充聚类样本,将所述补充聚类样本作为所述误检筛查负样本,能够获取更多的误检筛查负样本,有利于提升所述误检筛查模型的性能,得到更优的误检筛查模型,从而使得误检筛查的准确性更好。通过基于预设配置信息和/或所述第一误检结果中各类别的平均置信度进行权重配置,能够筛选出更符合误检筛查模型要求的负样本,从而可以做到确定已经训练好的当前模型在什么类型的数据上出现检测性能不好,且能根据实际应用需求对假阳性结果进行筛选,做到有针对性的训练下一级模型。
本申请中的另一种目标检测装置通过获取待检测图像,基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果,速度较快且灵活;基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果,确定所述第一目标检测结果与所述第三目标检测结果的交集,将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,能够筛选出具有独特的特征的负样本,解决较为典型的假阳性问题,且有利于后续提升目标检出率。在确定所述第一目标检测结果与所述第三目标检测结果的交集之后,确定所述第三目标检测结果中置信度大于预设阈值的对象。将所述第三目标检测结果中置信度大于预设阈值的对象和所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果,相当于对最终输出结果进行了补充,提升目标的检出率,有利于提升最终的目标检测结果的可靠性。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种目标检测方法,其特征在于,所述方法包括:
获取待检测图像;
基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果;
其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型包括一个或多个级联的误检筛查子模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本验证集;
基于所述目标检测模型对所述样本验证集进行目标检测,确定第一误检结果;
对所述第一误检结果进行聚类处理,得到误检筛查负样本;
基于所述误检筛查负样本对第一神经网络模型进行误检筛查训练,在误检筛查的训练中调整所述第一神经网络模型的模型参数至所述第一神经网络模型的第一损失函数满足第一收敛条件;
将当前的第一神经网络模型作为所述误检筛查模型。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在对所述第一误检结果进行聚类处理之后,基于预设配置信息和/或所述第一误检结果中各类别的平均置信度进行权重配置,将权重配置后的所述第一误检结果作为所述误检筛查负样本。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在对所述第一误检结果进行聚类处理之后,确定第一聚类误检结果;
获取样本训练集;
基于所述目标检测模型对所述样本训练集进行目标检测,确定补充样本误检结果;
对所述第一聚类误检结果及所述补充样本误检结果进行聚类处理,得到补充聚类样本;
将所述补充聚类样本作为所述误检筛查负样本。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本待检测图像及对应的目标标注结果;
基于所述样本待检测图像及对应的目标标注结果对第二神经网络模型进行目标检测的训练,在目标检测的训练中调整所述第二神经网络模型的模型参数至所述第二神经网络模型的第二损失函数满足第二收敛条件;
将当前的第二神经网络模型作为所述目标检测模型。
6.一种目标检测方法,其特征在于,所述方法包括:
获取待检测图像;
基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果;
确定所述第一目标检测结果与所述第三目标检测结果的交集;
将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果;
其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在确定所述第一目标检测结果与所述第三目标检测结果的交集之后,确定所述第三目标检测结果中置信度大于预设阈值的对象;
将所述第三目标检测结果中置信度大于预设阈值的对象和所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果。
8.一种目标检测装置,其特征在于,所述装置包括:
第一图像获取模块,用于获取待检测图像;
第一目标检测模块,用于基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
第一误检筛查模块,用于基于误检筛查模型对所述第一目标检测结果进行误检筛查,得到第二目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的,且所述误检筛查模型包括一个或多个级联的误检筛查子模型。
9.一种目标检测装置,其特征在于,所述装置包括:
第二图像获取模块,用于获取待检测图像;
第二目标检测模块,用于基于目标检测模型对所述待检测图像进行目标检测,得到第一目标检测结果;
第二误检筛查模块,用于基于误检筛查模型对所述待检测图像进行目标检测,得到第三目标检测结果,其中,所述误检筛查模型是对所述目标检测模型测试得到的误检结果进行聚类处理后训练得到的;
交集确定模块,用于确定所述第一目标检测结果与所述第三目标检测结果的交集;
检测结果确定模块,用于将所述第一目标检测结果与所述第三目标检测结果的交集作为误检筛查后的目标检测结果。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至5和6至7任一所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010529233.6A CN111814832A (zh) | 2020-06-11 | 2020-06-11 | 一种目标检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010529233.6A CN111814832A (zh) | 2020-06-11 | 2020-06-11 | 一种目标检测方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111814832A true CN111814832A (zh) | 2020-10-23 |
Family
ID=72845831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010529233.6A Pending CN111814832A (zh) | 2020-06-11 | 2020-06-11 | 一种目标检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814832A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379674A (zh) * | 2021-04-28 | 2021-09-10 | 北京医准智能科技有限公司 | 一种医学图像的检测方法及装置 |
CN114037868A (zh) * | 2021-11-04 | 2022-02-11 | 杭州医策科技有限公司 | 图像识别模型的生成方法及装置 |
-
2020
- 2020-06-11 CN CN202010529233.6A patent/CN111814832A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379674A (zh) * | 2021-04-28 | 2021-09-10 | 北京医准智能科技有限公司 | 一种医学图像的检测方法及装置 |
CN113379674B (zh) * | 2021-04-28 | 2022-05-13 | 北京医准智能科技有限公司 | 一种医学图像的检测方法及装置 |
CN114037868A (zh) * | 2021-11-04 | 2022-02-11 | 杭州医策科技有限公司 | 图像识别模型的生成方法及装置 |
CN114037868B (zh) * | 2021-11-04 | 2022-07-01 | 杭州医策科技有限公司 | 图像识别模型的生成方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109685060B (zh) | 图像处理方法和装置 | |
CN111598881A (zh) | 基于变分自编码器的图像异常检测方法 | |
CN112070781B (zh) | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 | |
CN109584209B (zh) | 血管壁斑块识别设备、系统、方法及存储介质 | |
US20210224598A1 (en) | Method for training deep learning model, electronic equipment, and storage medium | |
CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
CN110059656B (zh) | 基于卷积对抗生成神经网络的白细胞分类方法及系统 | |
CN111524144B (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
CN112241948A (zh) | 一种自适应层厚的肺结节检测分析方法及系统 | |
CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
CN113379739B (zh) | 超声图像的识别方法、装置、设备及存储介质 | |
CN111814832A (zh) | 一种目标检测方法、装置及存储介质 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112819821A (zh) | 一种细胞核图像检测方法 | |
CN112233102A (zh) | 图像样本集中噪声的识别方法、装置、设备及存储介质 | |
CN111126162A (zh) | 一种识别图像中炎症细胞的方法、装置及存储介质 | |
CN113658199B (zh) | 基于回归修正的染色体实例分割网络 | |
KR20100116404A (ko) | 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치 | |
CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
CN113763331A (zh) | 冠状动脉优势型判定方法、装置、存储介质及电子设备 | |
CN111210398A (zh) | 基于多尺度池化的白细胞识别系统 | |
CN115424093A (zh) | 一种识别眼底图像中细胞的方法及装置 | |
CN111462067B (zh) | 图像分割方法及装置 | |
CN111612021B (zh) | 一种错误样本识别方法、装置及终端 | |
CN113627295A (zh) | 一种图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |