CN110517262B - 目标检测方法、装置、设备及存储介质 - Google Patents

目标检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110517262B
CN110517262B CN201910824220.9A CN201910824220A CN110517262B CN 110517262 B CN110517262 B CN 110517262B CN 201910824220 A CN201910824220 A CN 201910824220A CN 110517262 B CN110517262 B CN 110517262B
Authority
CN
China
Prior art keywords
target
candidate
region
candidate region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910824220.9A
Other languages
English (en)
Other versions
CN110517262A (zh
Inventor
翁馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201910824220.9A priority Critical patent/CN110517262B/zh
Publication of CN110517262A publication Critical patent/CN110517262A/zh
Application granted granted Critical
Publication of CN110517262B publication Critical patent/CN110517262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种目标检测方法、装置、设备及存储介质。该方法包括：获取目标图像，其中，目标图像中的待检测的目标对象包括至少两个待检测的目标子对象；将目标图像输入至已训练的目标检测模型中；输出检测结果，检测结果包括目标对象和各个目标子对象；其中，目标检测模型的训练样本中的分类结果根据历史图像的交并比和特征信息得到，特征信息包括距离关系、包含关系和位置掩膜中的至少一个。本发明实施例的技术方案，可以解决当目标对象由多个目标子对象构成时容易出现的候选区域的分类精度较低的问题，实现了候选区域的正确分类，进而提高了目标检测模型的检测精度。

Description

目标检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及医学图像处理技术，尤其涉及一种目标检测方法、装置、设备及存储介质。
背景技术
基于深度学习的目标检测模型可以检测出图像中的多个目标对象，而且可以定位出各个目标对象的具体位置。例如，如图1a所示，实线框为用户勾画出的待检测的目标对象的金标准区域(Ground-truth bounding box)；虚线框为目标检测模型输出的目标对象的检测区域(Predicted bounding box)。
在上述目标检测模型的迭代训练过程中，需要将生成的候选区域(Anchor)进行正样本候选区域和负样本候选区域的分类，即确认各个候选区域内的对象是否为待检测目标。现有技术主要是通过计算金标准区域和候选区域的交并比(Intersection overUnion，IOU)的方式来进行候选区域的分类。
然而，上述技术方案无法适应于有些情况的候选区域分类，例如，如图1b所示，如果待检测的目标对象由多个待检测的目标子对象如圆形构成，则有些候选区域(虚线框)和金标准区域(实线框)的IOU可能会较低，这些候选区域可能会从训练样本中剔除，甚至有可能会作为负样本候选区域。但是，这些IOU较低的候选区域可能是正样本候选区域，那么候选区域的错误分类将直接影响训练后的目标检测模型的检测精度，进而影响目标对象的检测准确率。
发明内容
本发明实施例提供了一种目标检测方法、装置、设备及存储介质，以正确分类候选区域，进而实现目标图像中的目标对象和各目标子对象的准确检测。
第一方面，本发明实施例提供了一种目标检测方法，可以包括：
获取目标图像，其中，目标图像中的待检测的目标对象包括至少两个待检测的目标子对象；
将目标图像输入至已训练的目标检测模型中；
输出检测结果，检测结果包括目标对象和各个目标子对象；
其中，目标检测模型的训练样本中的分类结果根据历史图像的交并比和特征信息得到，特征信息包括距离关系、包含关系和位置掩膜中的至少一个。
可选的，该目标检测方法，还可以包括：
获取历史图像，以及，与历史图像对应的金标准区域、候选区域和特征信息，金标准区域为历史图像中的历史对象的外接多边形；
计算金标准区域和候选区域的交并比，根据交并比和特征信息分类候选区域，并将历史图像和候选区域的分类结果作为一组训练样本；
基于多个训练样本对原始神经网络模型进行训练，得到目标检测模型。
可选的，分类结果包括正样本候选区域或者负样本候选区域；
相应的，根据交并比和特征信息分类候选区域，可以包括：
如果金标准区域的面积和历史对象的凸包的面积满足预设的第一阈值条件，根据交并比以及距离关系分类候选区域；
其中，距离关系包括候选区域的中心点和金标准区域的中心点的距离，与金标准区域的长度的比值。
可选的，根据交并比和特征信息分类候选区域，可以包括：
如果金标准区域的面积和历史对象的凸包的面积满足预设的第一阈值条件，根据交并比以及包含关系分类候选区域；
其中，包含关系包括候选区域和金标准区域的交集的面积，与候选区域的面积的比值。
可选的，根据交并比和特征信息分类候选区域，可以包括：
如果金标准区域的面积和历史对象的凸包的面积满足预设的第二阈值条件，得到与历史对象对应的位置掩膜，并根据交并比和位置掩膜，分类候选区域。
可选的，根据交并比以及距离关系分类候选区域，可以包括：
将交并比大于第一预设阈值的候选区域分类为正样本候选区域；
根据交并比和距离关系，从未分类的候选区域中筛选出正样本候选区域，并根据筛选结果更新未分类的候选区域；
从未分类的候选区域中筛选出交并比小于第二预设阈值的候选区域，作为负样本候选区域。
可选的，在上述方法的基础上，在根据交并比和特征信息分类候选区域之前，该方法还可包括：将交并比小于第三预设阈值的候选区域分类为负样本候选区域，更新候选区域。
第二方面，本发明实施例还提供了一种目标检测装置，该装置可以包括：
图像获取模块，用于获取目标图像，其中，目标图像中的待检测的目标对象包括至少两个待检测的目标子对象；
图像输入模块，用于将目标图像输入至已训练的目标检测模型中；
对象检测模块，用于输出检测结果，该检测结果可以包括目标对象和各个目标子对象；
其中，目标检测模型的训练样本中的分类结果根据历史图像的交并比和特征信息得到，特征信息包括距离关系、包含关系和位置掩膜中的至少一个。
第三方面，本发明实施例还提供了一种设备，该设备可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的目标检测方法；
其中，该设备包括分类结果显示装置，该分类结果显示装置用于显示根据本发明任意实施例所提供的目标检测方法得到的分类结果。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的目标检测方法。
本发明实施例的技术方案，通过将获取到的目标图像输入已训练的目标检测模型中，其中，该目标图像中的待检测的目标对象包括至少两个待检测的目标子对象，而且该目标检测模型的训练样本中的分类结果可以根据历史图像的交并比和特征信息得到，使得检测结果可以包括目标图像中的每个目标对象和各个目标子对象。上述技术方案解决了当目标对象由多个目标子对象构成时容易出现的候选区域的分类精度较低的问题，实现了候选区域的正确分类，进而提高了目标检测模型的检测精度。
附图说明
图1a是现有技术中的目标检测方法的应用示意图；
图1b是本发明实施例中的目标检测方法的应用示意图；
图2是本发明实施例中的候选区域的生成示意图；
图3是本发明实施例一中的一种目标检测方法的流程图；
图4是本发明实施例一中的一种目标检测方法中的乳腺X射线影像中的肿块的示意图；
图5是本发明实施例一中的一种目标检测方法中的乳腺X射线影像中的微钙化簇的示意图；
图6a是本发明实施例一中的一种目标检测方法中的交并比的计算示意图；
图6b是本发明实施例一中的一种目标检测方法中的不同数值的交并比的效果示意图；
图7是本发明实施例二中的一种目标检测方法的流程图；
图8是本发明实施例二中的一种目标检测方法中的根据交并比和距离关系分类各个候选区域的具体实现步骤的流程图；
图9是本发明实施例二中的一种目标检测方法中的肺炎影像中的炎症区域的示意图；
图10是本发明实施例三中的一种目标检测装置的结构框图；
图11是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本发明实施例之前，先对本发明实施例的应用场景进行说明：本发明实施例中涉及到的目标图像为已训练的目标检测模型的输入图像，历史图像为正在训练的目标检测模型的输入图像。与目标图像对应的待检测目标为目标图像和目标子图像，与历史图像对应的待检测目标为历史对象和历史子对象。实际上，“历史”和“目标”只是用于区分正在阐述的技术方案是处于目标检测模型的训练阶段还是使用阶段，其代表的实质内容是相同的。
比如，在该目标检测模型的使用阶段，需要将目标图像输入至已训练的目标检测模型中，以检测出目标图像中的目标对象，以及，构成该目标对象的各个目标子对象。再比如，在该目标检测模型的训练阶段，需要获取历史图像中的金标准区域，并生成多个候选区域；根据该金标准区域将已生成的候选区域分类为正样本候选区域、负样本候选区域或是可忽略候选区域；将正样本候选区域和该历史图像，或是，负样本候选区域和该历史图像，作为一组训练样本，以实现目标检测模型的训练。
其中，示例性的，如图2所示，候选区域的生成方式可以是根据历史图像的网格设置大小不同的候选区域，也可以是基于选择性搜索(selective search)等其它的现有技术生成候选区域，在此不再赘述。金标准区域可以是用户在历史图像上的勾画结果，比如该历史图像中的历史对象的外接多边形对应的区域，还可以是在目标检测模型的训练阶段，设备根据用户的勾画结果自动生成的金标准区域，比如包围该历史对象的方框对应的区域。将该历史图像中的每个候选区域与金标准区域进行对比，确定每个候选区域的分类结果，该分类结果中的正样本候选区域为待检测目标，负样本候选区域为非待检测目标，可忽略候选区域的应用意义较低，可以排除在训练样本之外。
实施例一
图3是本发明实施例一中提供的一种目标检测方法的流程图。本实施例可适用于检测目标图像中的目标对象的情况，尤其适用于检测目标图像中的目标对象以及构成该目标对象的各个目标子对象的情况。该方法可以由本发明实施例提供的目标检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种用户设备上。
参见图3，本发明实施例的方法具体包括如下步骤：
S110、获取目标图像，其中，目标图像中的待检测的目标对象包括至少两个待检测的目标子对象。
其中，该目标图像可以是医学影像比如X射线影像、电子计算机断层扫描(Computed Tomography，CT)影像、磁共振(Magnetic Resonance Imaging，MR)影像、正电子发射型计算机断层(Positron Emission Computed Tomography，PET)影像等，还可以是自然图像比如灰度图像、彩色图像、黑白图像等。目标图像包括待检测的目标对象，该目标对象可以包括至少两个待检测的目标子对象，即该目标对象由至少两个目标子对象构成。
示例性的，如图4所示，如果该目标图像是乳腺的X射线影像，则该目标对象可以为乳腺影像中的肿块40-42，上述各肿块可以认为是分叶状目标；而该目标子对象可以为乳腺影像中的子肿块421和子肿块422，上述各子肿块为肿块42的组成部分。需要说明的是，以肿块42为例，图4中的各个肿块42实质相同，只是通过不同的勾画手段进行勾画，比如，图4中的最左侧的肿块42是用户在目标图像上的勾画结果，在此以曲线表示该肿块的金标准区域；最中间的肿块42是在目标检测模型的使用阶段，设备根据用户的勾画结果自动生成的金标准区域，在此以实线框表示该肿块的金标准区域。
再示例性的，如图5所示，如果该目标图像是乳腺的X射线影像，则该目标对象可以为乳腺影像中的微钙化簇50，该微钙化簇可以认为是簇状目标；而该目标子对象可以为乳腺影像中的子微钙化簇501-503，上述各子微钙化簇是微钙化簇50的组成部分。同理，图5中的各个微钙化簇50实质相同，只是通过不同的勾画手段进行勾画，比如，图5中的最左侧的微钙化簇50是用户在目标图像上的勾画结果，在此以曲线表示该微钙化簇的金标准区域；最右侧的微钙化簇50是在目标检测模型的使用阶段，设备根据用户的勾画结果自动生成的金标准区域，在此以实线框表示该微钙化簇的金标准区域。
S120、将目标图像输入至已训练的目标检测模型中，其中，目标检测模型的训练样本中的分类结果根据历史图像的交并比和特征信息得到，特征信息包括距离关系、包含关系和位置掩膜中的至少一个。
其中，目标检测模型可以用于检测目标图像中的目标对象和各个目标子对象，该目标检测模型是由多个训练样本训练得到，该训练样本可以由历史图像和候选区域的分类结果构成。具体地，历史图像中每个候选区域的分类结果可以基于该候选区域和金标准区域的相似程度确定，该相似程度可以基于候选区域和金标准区域的交并比和特征信息得到，比如，可以根据该候选区域和金标准区域的交并比、距离关系、包含关系、位置掩膜等确定相似程度。
这样确定分类结果的原因在于，虽然交并比(IOU)可以用于计算候选区域与金标准区域的交集(Area of Overlap)和并集(Area of Union)的比值，示例性的，如图6a和6b所示，IOU＝(Area of Overlap)/(Area of Union)，当候选区域(虚线框的勾画结果)和金标准区域(实线框的勾画结果)完全重叠即IOU＝1.0时，该候选区域必然为正样本候选区域。实际上，IOU的数值越大，该候选区域是正样本候选区域的可能性越大。
然而，如果目标检测模型的使用场景是由多个目标子对象构成的目标对象，与此使用场景相对应的，在目标检测模型的训练阶段，用户在历史图像上通常只能勾画出每个历史对象的金标准区域，很难勾画出每个目标子对象的金标准区域，这是因为每个历史子对象之间可能十分密集，难以一一勾画。进而，这将使得有些数值较低的IOU对应的候选区域也可能是正样本候选区域，比如，如果将图4所示的图像作为历史图像，图4中的子肿块421和子肿块422作为候选区域，即此处以虚线框勾画出的区域为例作为候选区域，这些候选区域的IOU较低，但是它们均是正样本候选区域。
因此，如果直接根据IOU将这些候选区域分类为可忽略候选区域或是负样本候选区域，这将直接影响候选区域的分类精度。则，在基于候选区域和金标准区域的交并比的基础上，还应当考虑其余的特征信息，比如距离关系、包含关系、位置掩膜等，以确保候选区域的分类精度。因为，只有正确分类各个候选区域，才能实现已训练的目标检测模型对待检测目标的准确检测。
S130、输出检测结果，检测结果包括目标对象和各个目标子对象。其中，由于目标对象和各个目标子对象分别对应的候选区域的正确分类，将目标图像输入至由本发明实施例训练得到的目标检测模型后，可以准确检测出目标图像中的目标对象和各个目标子对象。
本发明实施例的技术方案，通过将获取到的目标图像输入已训练的目标检测模型中，其中，该目标图像中的待检测的目标对象包括至少两个待检测的目标子对象，而且该目标检测模型的训练样本中的分类结果可以根据历史图像的交并比和特征信息得到，使得检测结果可以包括目标图像中的每个目标对象和各个目标子对象。上述技术方案解决了当目标对象由多个目标子对象构成时容易出现的候选区域的分类精度较低的问题，实现了候选区域的正确分类，进而提高了目标检测模型的检测精度。
实施例二
图7是本发明实施例二中提供的一种目标检测方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，在上述方案的基础上，该方法还可以包括：获取历史图像，以及，与历史图像对应的金标准区域、候选区域和特征信息，金标准区域为历史图像中的历史对象的外接多边形；计算金标准区域和候选区域的交并比，根据交并比和特征信息分类候选区域，并将历史图像和分类结果作为一组训练样本；基于多个训练样本对原始神经网络模型进行训练，得到目标检测模型。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图7所示，本实施例的方法具体可以包括如下步骤：
S210、获取历史图像，以及，与历史图像对应的金标准区域、候选区域和特征信息，金标准区域为历史图像中的历史对象的外接多边形。
其中，历史图像是正在训练的目标检测模型的输入图像，与历史图像对应的金标准区域可以是用户在历史图像上的勾画结果，比如该历史图像中的历史对象的外接多边形对应的区域；还可以是在目标检测模型的训练阶段，设备根据用户的勾画结果自动生成的金标准区域，比如包围该历史对象的方框对应的区域。特别地，与历史图像对应的候选区域和特征信息可以是自动生成的，也可以是用户预先设定的。
S220、计算金标准区域和候选区域的交并比，根据交并比和特征信息分类候选区域，并将历史图像和候选区域的分类结果作为一组训练样本。
其中，计算金标准区域和每个候选区域的交并比，并根据交并比和特征信息对每个候选区域进行分类，得到候选区域的分类结果。例如，可以将满足预设阈值条件的交并比对应的候选区域分类为正样本候选区域，然后结合交并比和特征信息从未分类的候选区域中筛选出正样本候选区域，最后根据交并比从未分类的候选区域中筛选出负样本候选区域以及可忽略候选区域。进一步地，可以将正样本候选区域和该历史图像作为一组正训练样本，将负样本候选区域和该历史图像作为一组负样本候选区域。
S230、基于多个训练样本对原始神经网络模型进行训练，得到目标检测模型。该原始神经网络模型可以以卷积神经网络模型为基础，例如，该原始神经网络模型可以包括RPN，Faster RCNN，FCN，Mask RCNN，SSD，RetinaNet等，当基于多个训练样本对原始神经网络模型进行训练后，得到的已训练的目标检测模型可以用于检测目标图像中的目标对象和各个目标子对象。
S240、获取目标图像，其中，目标图像中的待检测的目标对象包括至少两个待检测的目标子对象。
S250、将目标图像输入至已训练的目标检测模型中，输出检测结果，该检测结果包括目标对象和各个目标子对象。
本发明实施例的技术方案，通过计算金标准区域和候选区域的交并比，并在此基础上结合特征信息以分类候选区域，可以有效避免因交并比较小而将本应当是正样本候选区域的候选区域，错误分类为负样本候选区域或是可忽略候选区域的情况，实现各候选区域的准确分类；由此得到的训练样本对原始神经网络模型进行训练，可以提高目标检测模型的检测精度。
一种可选的技术方案，分类结果可以包括正样本候选区域或者负样本候选区域，相应的，根据交并比和特征信息分类候选区域，可以包括：如果金标准区域的面积和历史对象的凸包的面积满足预设的第一阈值条件，根据交并比以及距离关系分类候选区域；其中，距离关系包括候选区域的中心点和金标准区域的中心点的距离，与金标准区域的长度的比值。
其中，如果历史图像中的各个待检测的历史子对象是比较集中的情况，比如圆形状目标、方框状目标、分叶状目标、簇状目标等，示例性的，如图4所示的子肿块式的分叶状目标、如图5所示的子微钙化簇式的簇状目标。此时，金标准区域的面积和历史对象的凸包的面积应当满足预设的第一阈值条件，即金标准区域的面积和历史对象的凸包的面积可能比较接近。
在此情况下，可以根据交并比和距离关系分类各个候选区域，该距离关系可以包括候选区域的中心点和金标准区域的中心点的距离，与金标准区域的长度的比值。如果距离关系的数值比较小，说明候选区域的中心点和金标准区域的中心点比较近。那么，可选的，可以基于如下步骤实现根据交并比和距离关系分类各个候选区域：将交并比大于第一预设阈值的候选区域分类为正样本候选区域；根据交并比和距离关系，从未分类的候选区域中筛选出正样本候选区域，并根据筛选结果更新未分类的候选区域；从未分类的候选区域中筛选出交并比小于第二预设阈值的候选区域，作为负样本候选区域。上述步骤设置的好处在于，对于那些处于比较集中状态的各个历史子对象的应用场景，可以对那些交并比并非很大的候选区域再次进行判断，以避免将应当分类为正样本候选区域的候选区域错误划分。
示例性的，以如图4所示的乳腺影像中的肿块的候选区域分类为例，根据交并比和距离关系分类各个候选区域的具体实现步骤可以如图8所示：首先，可以将交并比大于第一预设阈值比如0.7的候选区域直接分类为正样本候选区域；其次，可以从未分类的候选区域中筛选出交并比大于等于0.25且距离关系小于等于0.25的候选区域，并将这些候选区域分类为正样本候选区域，这些判断内容可以作为特殊条件；再次，从未分类的候选区域中筛选出交并比小于第二预设阈值比如0.3的候选区域分类为负样本候选区域；最后，将剩余的未分类的候选区域分类为可忽略候选区域。
一种可选的技术方案，根据交并比和特征信息分类候选区域，可以包括：如果金标准区域的面积和历史对象的凸包的面积满足预设的第一阈值条件，根据交并比以及包含关系分类候选区域；其中，包含关系包括候选区域和金标准区域的交集的面积，与候选区域的面积的比值。
其中，如果历史图像中的各个待检测的历史子对象是比较集中的情况，可以根据交并比和包含关系分类各个候选区域，该包含关系可以包括候选区域和金标准区域的交集的面积，与候选区域的面积的比值。如果包含关系的数值比较大，说明候选区域的绝大部分被包含在金标准区域之内。根据交并比以及包含关系分类候选区域的具体实现方式，可以根据实际需求进行确定，也可以参见上述“根据交并比以及距离关系分类候选区域”的技术方案，在此并不做具体限定。上述步骤设置的好处在于，对于那些处于比较集中状态的各个历史子对象的应用场景，可以对那些交并比并非很大的候选区域再次进行判断，以避免将应当分类为正样本候选区域的候选区域错误划分。
示例性的，以乳腺影像中的肿块的候选区域分类为例，根据交并比和包含关系分类各个候选区域的方法可以是：首先，可以将交并比大于0.7的候选区域直接分类为正样本候选区域；其次，可以从未分类的候选区域中筛选出交并比大于等于0.15且包含关系大于等于0.9的候选区域，并将这些候选区域作为正样本候选区域；再次，从未分类的候选区域中筛选出交并比小于0.3的候选区域分类为负样本候选区域；最后，将剩余的未分类的候选区域分类为可忽略候选区域。需要说明的是，上述各具体数值只是示例性数值，并非是具体限定。
一种可选的技术方案，根据交并比和特征信息分类候选区域，可以包括：如果金标准区域的面积和历史对象的凸包的面积满足预设的第二阈值条件，得到与历史对象对应的位置掩膜，并根据交并比和位置掩膜，分类候选区域。
其中，如果历史图像中的各个待检测的历史子对象是比较分散的情况，特别是各个待检测的历史子对象是比较分散且以倾斜的方式排布的情况，由于金标准区域需要包围住整个历史对象，则在金标准区域中可能存在很多的非待检测目标。示例性的，如图9所示，肺炎影像中的炎症区域多是以一连串的扣子状的历史子对象构成的历史对象，各历史子对象处于比较分散且呈斜线排布的状态。由于各个扣子状的子对象都应为待检测目标，但是，如果单纯地基于交并比，和/或，距离关系、包含关系等分类各个候选区域，很可能将那些非待检测目标对应的候选区域分类为正样本候选区域。
在上述情况下，金标准区域的面积和历史对象的凸包的面积应当满足预设的第二阈值条件，即金标准区域的面积和历史对象的凸包的面积可能差异较大。在此基础上，首先，可以考虑获取与该历史对象对应的位置掩膜，和/或，与各个历史子对象分别对应的位置掩膜。其次，在对每个候选区域进行分类时，可以计算该候选区域与金标准区域的交并比，以及，该候选区域可能对应的待检测目标的位置掩膜和该候选区域的交集等；与此同时，还可以计算该候选区域和金标准区域的距离关系、包含关系等，以综合判断并分类该候选区域。
另外，还可以进一步结合待检测目标的自身特性，比如，临床医学上对微钙化簇的定义是在1cm2区域内存在5个以上的微钙化点则形成微钙化簇，则可以计算候选区域内的微钙化点的个数是否满足临床医学的具体定义；或者，还可以计算历史图像上每个像素点是微钙化点的概率，进而计算候选区域内的各个像素点的数值特性比如总值、均值等。上述步骤设置的好处在于，对于那些处于比较分散状态的各个历史子对象的应用场景，可以从多个角度对候选区域进行分类，以避免将应当分类为负样本候选区域的候选区域错误划分。
在上述各技术方案的基础上，可选的，在根据交并比和特征信息分类候选区域之前，该目标检测方法还可以包括：将交并比小于第三预设阈值的候选区域作为负样本区域，更新候选区域。其中，可以将那些交并比很小的候选区域直接作为负样本候选区域，对于那些交并比很小的候选区域，具体的，比如候选区域完全在金标准区域的左下角的情况，或与金标准区域完全不相交的情况，这些位置并非很合理的候选区域可以直接作为负样本候选区域，这样可以在很大程度上降低后续的候选区域分类的计算量，加快分类速度。即，这些交并比很小的候选区域无需参与到后续的候选区域分类的过程，但是，它们仍然需要参与到对原始神经网络模型进行训练的过程。
为了理解本发明实施例所述的目标检测方法的实际应用过程，以如图4所示的乳腺影像中的肿块的候选区域分类为例：首先，可以简单地根据交并比对已生成的各个候选区域进行分类，得到第一分类结果，该第一分类结果中已经将那些位置并非很合理的候选区域分类为负样本候选区域；其次，根据由该第一分类结果构成的第一训练样本对原始神经网络模型进行训练，当训练过程接近收敛比如损失函数曲线由初始的0.355下降到0.001时，得到中间神经网络模型；再次，根据交并比和特征信息对未分类的各个候选区域重新进行分类，得到第二分类结果；并根据由该第二分类结果构成的第二训练样本对该中间神经网络模型继续训练，直至训练过程达到收敛，得到已训练的目标检测模型。上述实际应用过程中，先根据交并比对各个候选区域进行分类，再根据交并比和特征信息对各个候选区域再次进行分类，这样设置的好处在于，在提高候选区域分类的准确率的同时，还可以加快收敛速度，使得同样数量的训练样本的训练时间更短。
需要说明的是，本发明各实施例中的“第一预设阈值”、“第二预设阈值”以及“第三预设阈值”中的“第一”、“第二”以及“第三”仅仅是用于区分各个预设阈值，并非是对各预设阈值的内容的限定。
实施例三
图10为本发明实施例三提供的目标检测装置的结构框图，该装置用于执行上述任意实施例所提供的目标检测方法。该装置与上述各实施例的目标检测方法属于同一个发明构思，在目标检测装置的实施例中未详尽描述的细节内容，可以参考上述目标检测方法的实施例。参见图10，该装置具体可包括：图像获取模块310、图像输入模块320和对象检测模块330。
其中，图像获取模块310，用于获取目标图像，其中，目标图像中的待检测的目标对象包括至少两个待检测的目标子对象；
图像输入模块320，用于将目标图像输入至已训练的目标检测模型中；
对象检测模块330，用于输出检测结果，检测结果包括目标对象和各个目标子对象；
其中，目标检测模型的训练样本中的分类结果根据历史图像的交并比和特征信息得到，特征信息包括距离关系、包含关系和位置掩膜中的至少一个。
可选的，该目标检测装置，还可以包括：
数据获取模块，用于获取历史图像，以及，与历史图像对应的金标准区域、候选区域和特征信息，金标准区域为历史图像中的历史对象的外接多边形；
训练样本得到模块，用于计算金标准区域和候选区域的交并比，根据交并比和特征信息分类候选区域，并将历史图像和候选区域的分类结果作为一组训练样本；
模型训练模块，用于基于多个训练样本对原始神经网络模型进行训练，得到目标检测模型。
可选的，分类结果可以包括正样本候选区域或者负样本候选区域，训练样本得到模块，具体可以包括：
距离关系分类单元，用于如果金标准区域的面积和历史对象的凸包的面积满足预设的第一阈值条件，根据交并比以及距离关系分类候选区域；
其中，距离关系包括候选区域的中心点和金标准区域的中心点的距离，与金标准区域的长度的比值。
可选的，训练样本得到模块，具体可以包括：
包含关系分类单元，用于如果金标准区域的面积和历史对象的凸包的面积满足预设的第一阈值条件，根据交并比以及包含关系分类候选区域；
其中，该包含关系可以包括候选区域和金标准区域的交集的面积，与候选区域的面积的比值。
可选的，训练样本得到模块，具体可以包括：
位置掩模分类单元，用于如果金标准区域的面积和历史对象的凸包的面积满足预设的第二阈值条件，得到与历史对象对应的位置掩膜，并根据交并比和位置掩膜，分类候选区域。
可选的，距离关系分类单元，具体可以包括：
正样本候选区域的初步分类子单元，用于将交并比大于第一预设阈值的候选区域分类为正样本候选区域；
正样本候选区域的再次分类子单元，用于根据交并比和距离关系，从未分类的候选区域中筛选出正样本候选区域，根据筛选结果更新未分类的候选区域；
负样本候选区域的分类子单元，用于从未分类的候选区域中筛选出交并比小于第二预设阈值的候选区域，作为负样本候选区域。
可选的，在上述各装置的基础上，该装置还可包括：
数据预先分类模块，用于将交并比小于第三预设阈值的候选区域作为负样本候选区域，更新候选区域。
本发明实施例三提供的目标检测装置，通过图像获取模块和图像输入模块的互相配合，将获取到的目标图像输入已训练的目标检测模型中，其中，该目标图像中的待检测的目标对象包括至少两个待检测的目标子对象，而且该目标检测模型的训练样本中的分类结果可以根据历史图像的交并比和特征信息得到；进而，使得经由对象检测模块输出的检测结果可以包括目标图像中的每个目标对象和各个目标子对象。上述装置解决了当目标对象由多个目标子对象构成时容易出现的候选区域的分类精度较低的问题，实现了候选区域的正确分类，进而提高了目标检测模型的检测精度。
本发明实施例所提供的目标检测装置可执行本发明任意实施例所提供的目标检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述目标检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例四
图11为本发明实施例四提供的一种设备的结构示意图，如图11所示，该设备包括存储器410、处理器420、输入装置430和输出装置440。设备中的处理器420的数量可以是一个或多个，图11中以一个处理器420为例；设备中的存储器410、处理器420、输入装置430和输出装置440可以通过总线或其它方式连接，图11中以通过总线450连接为例。
存储器410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的目标检测方法对应的程序指令/模块(例如，目标检测装置中的图像获取模块310、图像输入模块320和对象检测模块330)。处理器420通过运行存储在存储器410中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的目标检测方法。
存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种目标检测方法，该方法包括：
获取目标图像，其中，目标图像中的待检测的目标对象包括至少两个待检测的目标子对象；
将目标图像输入至已训练的目标检测模型中；
输出检测结果，检测结果包括目标对象和各个目标子对象；
其中，目标检测模型的训练样本中的分类结果根据历史图像的交并比和特征信息得到，特征信息包括距离关系、包含关系和位置掩膜中的至少一个。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的目标检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种目标检测方法，其特征在于，包括：
获取目标图像，其中，所述目标图像中的待检测的目标对象包括至少两个待检测的目标子对象；
将所述目标图像输入至已训练的目标检测模型中；
输出检测结果，所述检测结果包括所述目标对象和各个所述目标子对象；
其中，所述目标检测模型的训练样本中的分类结果根据历史图像的交并比和特征信息得到，所述特征信息包括距离关系、包含关系和位置掩膜中的至少一个；
所述目标检测方法，还包括：
获取所述历史图像，以及，与所述历史图像对应的金标准区域、候选区域和所述特征信息，所述金标准区域为所述历史图像中的历史对象的外接多边形；
计算所述金标准区域和所述候选区域的交并比，根据所述交并比和所述特征信息分类所述候选区域，并将所述历史图像和所述候选区域的分类结果作为一组训练样本；
基于多个所述训练样本对原始神经网络模型进行训练，得到所述目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述分类结果包括正样本候选区域或者负样本候选区域；
所述根据所述交并比和所述特征信息分类所述候选区域，包括：
如果所述金标准区域的面积和所述历史对象的凸包的面积满足预设的第一阈值条件，根据所述交并比以及所述距离关系分类所述候选区域；
其中，所述距离关系包括所述候选区域的中心点和所述金标准区域的中心点的距离，与所述金标准区域的长度的比值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述交并比和所述特征信息分类所述候选区域，包括：
如果所述金标准区域的面积和所述历史对象的凸包的面积满足预设的第一阈值条件，根据所述交并比以及所述包含关系分类所述候选区域；
其中，所述包含关系包括所述候选区域和所述金标准区域的交集的面积，与所述候选区域的面积的比值。
4.根据权利要求1所述的方法，其特征在于，所述根据所述交并比和所述特征信息分类所述候选区域，包括：
如果所述金标准区域的面积和所述历史对象的凸包的面积满足预设的第二阈值条件，得到与所述历史对象对应的位置掩膜，并根据所述交并比和所述位置掩膜，分类所述候选区域。
5.根据权利要求2所述的方法，其特征在于，所述根据所述交并比以及所述距离关系分类所述候选区域，包括：
将所述交并比大于第一预设阈值的候选区域分类为正样本候选区域；
根据所述交并比和所述距离关系，从未分类的候选区域中筛选出正样本候选区域，并根据筛选结果更新所述未分类的候选区域；
从所述未分类的候选区域中筛选出所述交并比小于第二预设阈值的候选区域，作为负样本候选区域。
6.根据权利要求2-5任一所述的方法，其特征在于，在所述根据所述交并比和所述特征信息分类所述候选区域之前，还包括：
将所述交并比小于第三预设阈值的候选区域作为负样本候选区域，更新所述候选区域。
7.一种目标检测装置，其特征在于，包括：
图像获取模块，用于获取目标图像，其中，所述目标图像中的待检测的目标对象包括至少两个待检测的目标子对象；
图像输入模块，用于将所述目标图像输入至已训练的目标检测模型中；
对象检测模块，用于输出检测结果，所述检测结果包括所述目标对象和各个所述目标子对象；
其中，所述目标检测模型的训练样本中的分类结果根据历史图像的交并比和特征信息得到，所述特征信息包括距离关系、包含关系和位置掩膜中的至少一个；
所述目标检测装置，还可以包括：
数据获取模块，用于获取历史图像，以及，与历史图像对应的金标准区域、候选区域和特征信息，金标准区域为历史图像中的历史对象的外接多边形；
训练样本得到模块，用于计算金标准区域和候选区域的交并比，根据交并比和特征信息分类候选区域，并将历史图像和候选区域的分类结果作为一组训练样本；+
模型训练模块，用于基于多个训练样本对原始神经网络模型进行训练，得到目标检测模型。
8.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的目标检测方法；
其中，所述设备包括分类结果显示装置，所述分类结果显示装置用于显示由权利要求1-7中任一所述的目标检测方法得到的分类结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的目标检测方法。
CN201910824220.9A 2019-09-02 2019-09-02 目标检测方法、装置、设备及存储介质 Active CN110517262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910824220.9A CN110517262B (zh) 2019-09-02 2019-09-02 目标检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910824220.9A CN110517262B (zh) 2019-09-02 2019-09-02 目标检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110517262A CN110517262A (zh) 2019-11-29
CN110517262B true CN110517262B (zh) 2022-08-16

Family

ID=68629271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910824220.9A Active CN110517262B (zh) 2019-09-02 2019-09-02 目标检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110517262B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209917A (zh) * 2020-01-03 2020-05-29 天津大学 一种肺炎检测装置
CN111626379B (zh) * 2020-07-07 2024-01-05 中国计量大学 肺炎x光图像检测方法
CN111861733B (zh) * 2020-07-31 2023-09-15 重庆富民银行股份有限公司 基于地址模糊匹配的欺诈防控系统及方法
CN111986217B (zh) * 2020-09-03 2024-01-16 北京大学口腔医学院 一种图像处理方法、装置及设备
CN112256906A (zh) * 2020-10-23 2021-01-22 安徽启新明智科技有限公司 在显示屏上标记批注的方法、装置和存储介质
EP4364092A1 (en) * 2021-06-30 2024-05-08 Microsoft Technology Licensing, LLC Adaptive object detection
CN113920068B (zh) * 2021-09-23 2022-12-30 北京医准智能科技有限公司 一种基于人工智能的身体部位检测方法、装置及电子设备
CN114037865B (zh) * 2021-11-02 2023-08-22 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质和程序产品
CN114118408A (zh) * 2021-11-11 2022-03-01 北京达佳互联信息技术有限公司 图像处理模型的训练方法、图像处理方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800735A (zh) * 2019-01-31 2019-05-24 中国人民解放军国防科技大学 一种船目标精确检测与分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800735A (zh) * 2019-01-31 2019-05-24 中国人民解放军国防科技大学 一种船目标精确检测与分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李晓光.面向多尺度目标检测的改进 Faster R-CNN 算法.《计算机辅助设计与图形学学报》.2019, *
面向多尺度目标检测的改进 Faster R-CNN 算法;李晓光;《计算机辅助设计与图形学学报》;20190731;第1095页右栏第1段-第1100页左栏第2段，图1-2 *

Also Published As

Publication number Publication date
CN110517262A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110517262B (zh) 目标检测方法、装置、设备及存储介质
Meyer An alternative probabilistic interpretation of the huber loss
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
US10552705B2 (en) Character segmentation method, apparatus and electronic device
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
KR101640998B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6188400B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP6050223B2 (ja) 画像認識装置、画像認識方法、及び集積回路
CN109740668B (zh) 深度模型训练方法及装置、电子设备及存储介质
CN109740752B (zh) 深度模型训练方法及装置、电子设备及存储介质
WO2019171628A1 (en) Image processing system and image processing method
US10438083B1 (en) Method and system for processing candidate strings generated by an optical character recognition process
CN109902619B (zh) 图像闭环检测方法及系统
JP2017538196A (ja) 商品画像のセグメンテーション方法および装置
CN110889437B (zh) 一种图像处理方法、装置、电子设备及存储介质
US20210279618A1 (en) System and method for building and using learning machines to understand and explain learning machines
CN108520263B (zh) 一种全景图像的识别方法、系统及计算机存储介质
CN109934072B (zh) 人员统计方法及装置
Juang et al. Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations
CN112287993B (zh) 模型生成方法、图像分类方法、装置、电子设备及介质
US11494586B2 (en) Tomographic image machine learning device and method
Stegmaier et al. Fuzzy-based propagation of prior knowledge to improve large-scale image analysis pipelines
Elhadi et al. Arabic-numbers recognition system for car plates
Santamaria-Pang et al. Cell segmentation and classification via unsupervised shape ranking
Ghiasi et al. Fast semantic segmentation of aerial images based on color and texture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant