CN109697460B - 对象检测模型训练方法、目标对象检测方法 - Google Patents
对象检测模型训练方法、目标对象检测方法 Download PDFInfo
- Publication number
- CN109697460B CN109697460B CN201811479732.8A CN201811479732A CN109697460B CN 109697460 B CN109697460 B CN 109697460B CN 201811479732 A CN201811479732 A CN 201811479732A CN 109697460 B CN109697460 B CN 109697460B
- Authority
- CN
- China
- Prior art keywords
- target
- region
- prediction
- area
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标对象检测方法、装置、计算机可读存储介质和计算机设备,该方法包括:获取待检测图像;将待检测图像输入至目标对象检测模型,目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,训练损失值是根据第一区域和第二区域确定的目标像素点计算得到的,第一区域和所述第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的;目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度;对预测图进行区域分割得到目标检测对象区域。此外,还提供了一种对象检测模型训练方法、装置、计算机可读存储介质和计算机设备。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种对象检测模型训练方法、装置、计算机可读存储介质和计算机设备,以及一种目标对象检测方法、装置、计算机可读存储介质和计算机设备。
背景技术
传统技术中,对象检测模型的训练样本都需要标注者将训练样本中的训练目标对象区域精准地标注出来,才能作为对象检测模型的训练样本进行训练,这样最后训练出来的目标对象检测模型方能达到最高的效果。然而,这种需要在训练样本中精准地标注训练目标对象区域的方式,需要耗费大量的人力成本,也会耗费标注者大量的时间,标注的结果也容易受标注者影响,因此导致最后训练出来的目标对象检测模型的预测结果准确性低。
发明内容
基于此,有必要针对上述技术问题,提供一种无需将训练样本图像中的训练目标区域精准标注出来从而减少人工成本的对象检测模型训练方法、装置、计算机可读存储介质和计算机设备,以及一种能够提高目标对象的检测效率和准确性的目标对象检测方法、装置、计算机可读存储介质和计算机设备。
一种对象检测模型训练方法,包括:
获取训练样本图像集,训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象;
根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心;
通过对象检测模型计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度;
通过对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度;
根据第一关系度和第二关系度计算得到训练损失值;
根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
一种对象检测模型训练装置,该装置包括:
训练样本图像集获取模块,用于获取训练样本图像集,训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象;
目标区域确定模块,用于根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心;
对象检测模型检测模块,用于通过对象检测模型计算各个所述目标类型对象的第一区域的像素点属于目标区域的第一关系度;
关系度计算模块,用于通过所述对象检测模型计算各个所述目标类型对象的第二区域之外的像素点属于背景区域的第二关系度;
训练损失值计算模块,用于根据第一关系度和第二关系度计算得到训练损失值;
目标对象检测模型生成模块,用于根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行所述程序时实现以下步骤:
获取训练样本图像集,训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象;
根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心;
通过对象检测模型计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度;
通过对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度;
根据第一关系度和第二关系度计算得到训练损失值;
根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
获取训练样本图像集,训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象;
根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心;
通过对象检测模型计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度;
通过对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度;
根据第一关系度和第二关系度计算得到训练损失值;
根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
上述对象检测模型训练方法、装置、计算机可读存储介质和计算机设备,通过简单地、粗略地只标注训练样本图像中的目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,将训练样本图像输入至对象检测模型中,对象检测模型计算训练样本图像的第一区域的像素点属于目标区域的第一概率和属于第二区域之外的像素点属于背景区域的第二概率。其中,第一区域是第二区域的子区域,进一步根据第一概率和第二概率计算得到训练损失值,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。对于标注简单粗略的训练样本图像仍然能够训练对象检测模型,无需标注人员花费大量时间和金钱标注精细的数据,大大地减少标注人员的工作量,减少人工成本。
一种目标对象检测方法,该方法包括:
获取待检测图像;
将待检测图像输入至目标对象检测模型,目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,训练损失值是根据第一区域和第二区域确定的目标像素点计算得到的,第一区域和第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的;
目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度;
对预测图进行区域分割得到目标检测对象区域。
一种目标对象检测装置,该装置包括:
待检测图像获取模块,用于获取待检测图像;
目标对象检测模型检测模块,用于将待检测图像输入至目标对象检测模型,目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,训练损失值是根据第一区域和第二区域确定的目标像素点计算得到的,第一区域和第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的;
预测图生成模块,用于目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度;
预测图分割模块,用于对预测图进行区域分割得到目标检测对象区域。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行所述程序时实现以下步骤:
获取待检测图像;
将待检测图像输入至目标对象检测模型,目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,训练损失值是根据第一区域和第二区域确定的目标像素点计算得到的,第一区域和第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的;
目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度;
对预测图进行区域分割得到目标检测对象区域。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
获取待检测图像;
将待检测图像输入至目标对象检测模型,目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,训练损失值是根据第一区域和第二区域确定的目标像素点计算得到的,第一区域和第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的;
目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度;
对预测图进行区域分割得到目标检测对象区域。
上述目标对象检测方法、装置、计算机可读存储介质和计算机设备,通过已训练好的目标对象检测模型对待检测图像进行计算,生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的概率,最后根据预测图进行区域分割得到目标检测对象区域。已训练好的目标对象检测模型不仅能够自动检测待检测图像的各个像素点属于目标检测对象的概率,而且通过各个像素点属于目标检测对象的概率确定目标检测对象区域,因此通过训练好的目标对象检测模型可以在一定程度上减轻目标对象检测人员的工作量,提高目标对象的检测效率,提高目标对象的检测准确性,进而还能够降低目标对象的检测成本。
附图说明
图1为一个实施例中对象检测模型训练方法的应用环境图;
图2为一个实施例中对象检测模型训练方法的流程示意图;
图2A为一个实施例中对象检测模型的结构示意图;
图2B为一个实施例中训练样本图像的界面示意图;
图2C为一个实施例中细胞切片图像的第一区域和第二区域的界面示意图;
图3为一个实施例中根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域的流程示意图;
图3A为一个实施例中根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域的界面示意图;
图4为一个实施例中对象检测模型计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度的流程示意图;
图5为一个实施例中对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度的流程示意图;
图6A为一个实施例中染色后的细胞切片图像的获取步骤的示意图;
图6B为一个实施例中含有分裂细胞的细胞切片图像的界面示意图;
图6C为一个实施例中只有非分裂细胞的细胞切片图像的界面示意图;
图7为一个实施例中目标对象检测方法的流程示意图;
图7A为一个实施例中目标对象检测模型生成的预测图的界面示意图;
图7B为一个实施例中二值化预测图的界面示意图;
图8为一个实施例中目标对象检测模型生成待检测图像对应的预测图的流程示意图;
图8A为一个实施例中目标对象检测模型生成待检测图像对应的预测图的结构示意图;
图9为一个实施例中对预测图进行区域分割得到目标检测对象区域的流程示意图;
图10为一个实施例中根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域的流程示意图;
图10A为一个实施例中目标检测对象区域生成步骤的界面示意图;
图11为一个实施例中对象检测模型训练方法和目标对象检测方法的原理示意图;
图12为一个实施例中对象检测模型训练装置的结构框图;
图13为一个实施例中目标区域确定模块的结构框图;
图14为一个实施例中目标对象检测装置的结构框图;
图15为一个实施例中预测图生成模块的结构框图;
图16为一个实施例中预测图分割模块的结构框图;
图17为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中对象检测模型训练方法的应用环境图。参照图1,该对象检测模型训练方法应用于对象检测模型训练系统。该对象检测模型训练系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
具体地,终端110可将训练样本图像集发送至服务器120,训练样本图像集中的训练样本图像中包括包含存在已标注的样本质心的多个目标类型对象。服务器120根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心,将训练样本图像集中的训练样本图像输入对象检测模型中,对象检测模型计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度,对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度,根据第一关系度和第二关系度计算得到训练损失值,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。应当说明的是,服务器120可将目标对象检测模型发送至终端110。
其中,图1还可以为一个实施例中目标对象检测方法的应用环境图。参照图1,该目标对象检测方法应用于目标对象检测系统。该目标对象检测系统包括终端110和服务器120。
具体地,终端110可将待检测图像发送至服务器120,服务器120将待检测图像输入至目标对象检测模型,目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,训练损失值是根据第一区域和第二区域确定的目标像素点计算得到的,第一区域和第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的,目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度,对预测图进行区域分割得到目标检测对象区域,服务器120最后将目标检测对象区域发送至终端110。
如图2所示,在一个实施例中,提供了一种对象检测模型训练方法。本实施例主要以该方法应用于上述图1中的终端110或服务器120来举例说明。参照图2,该对象检测模型训练方法具体包括如下步骤:
步骤202,获取训练样本图像集,训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象。
其中,训练样本图像是用来训练对象检测模型的样本图像,训练样本图像中包括不同类型的对象,对于目标类型对象可通过标注人员标注其样本质心,标注人员具体可以将目标类型对象的中心像素作为样本质心,样本质心可以作为后续第一区域和第二区域确定的参考。其中,训练样本图像中包括不同类型的对象可以是包括相同类型的目标类型对象,或者可以包括目标类型对象和非目标类型对象,或者还可以包括相同类型的非目标类型对象等。其中,非目标类型对象无需标注样本质心,而训练图像中包括非目标类型对象可以提高目标类型对象的检测准确度。由于训练图像中非目标类型对象是属于第二区域之外的背景区域,因此对象检测模型会计算非目标类型对象的像素点属于背景区域的关系度。
其中,目标类型对象可以是根据预设规则从训练样本图像中不同类型的对象中选取符合预设规则的对象作为目标类型对象,预设规则自定义,自定义可以根据不同应用场景进行确定,例如在医学场景中,训练样本图像可以是细胞切片图像,细胞切片图像中包括非分裂细胞和分裂细胞,由于分裂细胞在医学中容易导致疾病,因此将细胞切片图像中的分裂细胞作为目标类型对象。
在一个实施例中,训练样本图像集为细胞切片图像,由于细胞切片图像包括非分裂细胞和分裂细胞,非分裂细胞和分裂细胞都属于训练样本图像中两种不同类型的对象,而目标类型对象可以为分裂细胞,标注人员可对分裂细胞进行标注样本质心的操作。因此,在本实施例中,训练样本图像可以是只包括非分裂细胞的细胞切片图像,也可以是只包括分裂细胞的细胞切片图像,或者还可以是既包括非分裂细胞又包括分裂细胞的细胞切片图像等。
步骤204,根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心。
其中,在对训练样本图像中的目标类型对象进行样本质心的标注后,以各个目标类型对象的样本质心的位置为中心,构建两个同心的包围区域作为各个目标类型对象对应的第一区域和第二区域,在构建的过程中保证第一区域为第二区域的区域,且第一区域和第二区域之间存在非重叠区域。
具体地,构建的方式和包围区域的形状不受限制,例如可以以样本质心的位置为圆心,构建两个不同半径的同心圆作为第一区域和第二区域。或者,以样本质心的位置为中心,构建两个同心、非重合的闭合区域作为第一区域和第二区域等。其中,不管是构建同心圆还是同心的闭合区域都需要保证第一区域为第二区域的子区域,第一区域和第二区域能够形成一个过渡地带而且第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心。这里的过渡地带就是说第一区域和第二区域之间需要存在非重叠区域。其中,第一区域属于目标区域,说明落入第一区域是目标类型对象的概率很大,第二区域之外的区域属于背景区域,说明落入第二区域之外的区域不属于目标类型对象的概率很大。
步骤206,通过对象检测模型计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度。
其中,对象检测模型是用来计算训练样本图像中各个像素点属于对应区域关系度的模型,对象检测模型可以采用全卷积网络结构FCN、语义分割网络结构DeepLab、卷积神经网络结构U-net等。具体地,将训练样本图像集中的所有训练样本图像输入至对象检测模型中,对象检测模型会计算出各个目标类型对象的第一区域的像素点属于目标区域的第一关系度和各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度。这里的第一关系度是指目标类型对象的第一区域的像素点属于目标区域的可能性,第一关系度可以用概率、百分制分数或者比例来表示。
在一个实施例中,对象检测模型为全卷积网络结构FCN,如图2A所示,图2A示出一个实施例中对象检测模型的结构示意图,FCN将经典分类卷积神经网络CNN中的全连接层替换为卷积层,因此FCN网络模型的所有操作(卷积以及池化等)都没有破坏图像的空间结构。如图2A所示,对象检测模型包括但不限于卷积层、池化层、反卷积层、输出层等。具体地,将训练样本图像集中的训练样本图像输入至图2A示出的对象检测模型后,各个目标类型对象的第一区域的像素点属于目标区域的第一概率是由卷积层第7层(conv7层)产生的,经历了5次池化操作,每一次池化操作都会将卷积层输出的特征图的尺寸大小缩减一半,因此最后得到的第一概率图的尺寸大小为训练样本图像的1/32,最后经过一个上采样32倍的反卷积层操作,就可以得到与训练样本图像尺寸大小一致的第一概率,将各个目标类型对象的第一区域的像素点属于目标区域的第一概率作为输出结果。
步骤208,通过对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度。
其中,对象检测模型在计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度的同时,还会计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度。其中,落入背景区域的像素点说明不属于目标区域的可能性很大,其中背景区域是指第二区域之外的所有区域。这里的第二关系度同样也可以用概率、百分制分数或者比例来表示。其中,应当说明的是,如图2B所示,图2B示出一个实施例中训练样本图像的界面示意图,若训练样本图像包括两个样本质心A和B,根据样本质心A的位置确定对应的第一区域为Aa和第二区域为Ab,第一区域Aa为第二区域Ab的子区域,第二区域之外的背景区域为Ac,第一区域Aa和第二区域Ab之间的非重叠区域为Ad,样本质心A对应的小圆为第一区域Aa,大圆为第二区域Ab,阴影区域为非重叠区域Ad。而根据样本质心B的位置确定对应的第一区域Ba和第二区域Bb,第一区域Ba为第二区域Bb的子区域,第二区域之外的背景区域为Bc,第一区域Ba和第二区域Bb之间的非重叠区域为Bd,样本质心B对应的小圆为第一区域Ba,大圆为第二区域Bb,阴影区域为非重叠区域Bd。为了保证最后训练好的对象检测模型的检测的准确性,则对象检测模型在计算第一关系度或第二关系度时,将各个样本质心对应的非重叠区域Ad和Bd不纳入计算范围。
在一个实施例中,训练样本图像为细胞切片图像,如图2C所示,图2C示出一个实施例中细胞切片图像的第一区域和第二区域的界面示意图,图2C将某一细胞的质心为圆心,选取两个不同选取两个不同大小的半径,形成两个圆。图2C中的小圆为第一区域,图2C中的大圆为第二区域,第一区域为第二区域的子区域。
在一个实施例中,如图2A所示,将训练样本图像集中的训练样本图像输入至图2A示出的对象检测模型后,各个目标类型对象的第二区域之外的像素点属于背景区域的第二概率是由卷积层第7层(conv7层)产生的,经历了5次池化操作,每一次池化操作都会将卷积层输出的特征图的尺寸大小缩减一半,因此最后得到的第二概率图的尺寸大小为训练样本图像的1/32,最后经过一个上采样32倍的反卷积层操作,就可以得到与训练样本图像尺寸大小一致的第二概率,将各个目标类型对象的第二区域之外的像素点属于背景区域的第二概率作为输出结果。
步骤210,根据第一关系度和第二关系度计算得到训练损失值。
其中,在对象检测模型计算得到各个目标类型对象的第一区域的像素点属于目标区域的第一关系度和各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度后,可通过预设计算方式根据第一关系度和第二关系度计算得到训练损失值。其中,预设计算方式可自定义,其中,自定义可以是获取对象检测模型的模型参数,根据对象检测模型的模型参数计算各个目标类型对象的第一区域中各个像素点属于目标区域的第一子概率和各个目标类型对象的第二区域之外各个像素点属于背景区域的第二子概率,最后根据第一子概率和第二子概率计算得到训练损失值。其中自定义还可以是先将各个目标类型对象的第一区域的像素点属于目标区域的第一关系度和各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度分别取对数,然后再可将取完对数后的第一关系度和第二关系度求和后再加负号,最后加上正则项计算得到训练损失值。其中,正则项可自定义,可以是根据预设权重因子计算得到的等。或者,训练损失值还可以是将各个目标类型对象的第一区域的像素点属于目标区域的第一关系度和各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度加权求和计算得到训练损失值等。
步骤212,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
其中,在计算得到训练损失值后,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。其中,收敛条件可自定义,自定义可以是当训练损失值达到最小值,则可认为对象检测模型满足收敛条件,从而得到目标对象检测模型。由于目标对象检测模型的检测准确度越高,则训练样本图像中的各个像素属于正确的区域的关系度就越大,其所对应的训练损失值就越小,因此根据第一关系度和第二关系度计算得到训练损失值后,通过调整对象检测模型的模型参数来使得训练损失值满足收敛条件。具体可通过BP(Back Propagation,后向传播)算法,对对象检测模型的每一层的模型参数进行优化,利用随机梯度下降法(SGD),经过多次迭代之后得到最终的模型参数,进而得到目标对象检测模型。
上述对象检测模型训练方法,通过简单地、粗略地只标注训练样本图像中的目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,将训练样本图像输入至对象检测模型中,对象检测模型计算目标类型对象的第一区域的像素点属于目标区域的第一概率和目标类型对象的第二区域之外的像素点属于背景区域的第二概率。其中,第一区域是第二区域的子区域,进一步根据第一概率和第二概率计算得到训练损失值,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。对于标注简单粗略的训练样本图像仍然能够训练对象检测模型,无需标注人员花费大量时间和金钱标注精细的数据,大大地减少标注人员的工作量,减少人工成本。
在一个实施例中,如图3所示,根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,包括:
步骤302,获取第一预设半径和第二预设半径,第一预设半径小于第二预设半径。
其中,预设半径是用来确定第一区域和第二区域对应范围的,预设半径可提前根据训练样本图像中的对象确定得到,或者预设半径可提前通过实验数据确定得到的等。在确定各个目标类型对象对应的第一区域和第二区域之前,需要获取第一预设半径和第二预设半径,为了保证第一区域为第二区域的子区域,第一预设半径需要小于第二预设半径。其中,第一预设半径和第二预设半径可根据实际需求进行设置,第一预设半径为10-17像素的随机值,第二预设半径为第一预设半径的1.5到2.5倍的随机值,对象检测模型检测可达到最佳效果。
步骤304,以当前目标类型对象的样本质心为圆心,以第一预设半径为半径确定当前目标类型对象对应的第一区域。
步骤306,以当前目标类型对象的样本质心为圆心,以第二预设半径为半径确定当前目标类型对象对应的第二区域。
具体地,以当前目标类型对象为例,在获取第一预设半径和第二预设半径后,以当前目标类型对象的样本质心为圆心,以第一预设半径为半径,构建当前目标类型对象对应的第一区域。再以当前目标类型对象的样本质心为圆心,以第二预设半径为半径,构建当前目标类型对应的第二区域。在一个实施例中,如图3A所示,图3A示出一个实施例中根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域的界面示意图,图3A示出当前目标类型对象所在的训练样本图像,当前目标类型对象的样本质心为a,以样本质心a为圆心,以第一预设半径R1为半径画圆得到当前目标类型对象对应的第一区域,同样地,以样本质心a为圆心,以第二预设半径R2为半径画圆得到当前目标类型对象对应的第二区域。
在一个实施例中,如图4所示,通过对象检测模型计算各个所述目标类型对象的第一区域的像素点属于目标区域的第一关系度,包括:
步骤402,获取各个目标类型对象的第一区域的像素点对应的第一像素值。
步骤404,计算各个目标类型对象的第一区域的第一像素值属于目标区域的第一子概率。
其中,由于训练个样本图像的各个像素点都有对应的像素值,可获取各个目标类型对象的第一区域的所有像素点对应的第一像素值,可根据预设计算函数计算得到各个目标类型对象的第一区域的第一像素值属于目标区域的第一子概率。其中,预设计算函数可自定义,自定义可以是利用softmax函数将各个目标类型对象的第一区域中的所有像素点对应的第一像素值转换成对应属于目标区域的第一子概率。其中,第一子概率是相对概率。
步骤406,统计各个目标类型对象对应的第一子概率得到第一关系度。
具体地,在计算得到各个目标类型对象的第一区域的第一像素值属于目标区域的第一子概率后,统计各个目标类型对象对应的第一子概率得到第一关系度。其中,第一关系度的统计方式可自定义,自定义可以是将各个目标类型对象对应的第一子概率求和计算得到第一关系度,或者将各个目标类型对象对应的第一子概率加权求和计算得到第一关系度,或者将各个目标类型对象对应的第一子概率求平均值或者求方差计算得到第一关系度等。
在一个实施例中,如图5所示,通过对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度,包括:
步骤502,获取各个目标类型对象的第二区域之外的像素点对应的第二像素值。
步骤504,计算各个目标类型对象的第二区域之外的第二像素值属于背景区域对应的第二子概率。
其中,由于训练个样本图像的各个像素点都有对应的像素值,可获取各个目标类型对象的第二区域之外的像素点对应的第二像素值,可根据预设计算函数计算得到各个目标类型对象的第二区域之外的第二像素值属于背景区域对应的第二子概率。其中,预设计算函数可自定义,自定义可以是利用softmax函数将各个目标类型对象的第二区域之外的所有像素点对应的第二像素值转换成对应属于背景区域对应的第二子概率。同样地,第二子概率也是相对概率。
步骤506,统计各个目标类型对象对应的第二子概率得到第二关系度。
具体地,在计算得到各个目标类型对象的第二区域之外的第二像素值属于背景区域对应的第二子概率后,统计各个目标类型对象对应的第二子概率得到第二关系度。其中,第二关系度的统计方式可自定义,自定义可以是将各个目标类型对象对应的第二子概率求和计算得到第二关系度,或者将各个目标类型对象对应的第二子概率加权求和计算得到第二关系度,或者将各个目标类型对象对应的第二子概率求平均值或者求方差计算得到第二关系度等。
在一个实施例中,根据第一关系度和第二关系度计算得到训练损失值,包括:根据对象检测模型的模型参数,计算得到各个目标类型对象的第一区域中各个像素点属于目标区域的第一子概率;根据对象检测模型的模型参数,计算得到各个目标类型对象的第二区域之外各个像素点属于背景区域的第二子概率;根据第一子概率和第二子概率计算得到训练损失值。
在一个实施例中,根据第一关系度和第二关系度计算得到训练损失值,计算公式如下所示:
其中,X是某一像素值,W是对象检测模型的模型参数,N是训练样本图像的数目,C1是第一区域,P(1|x;W)是像素值X属于目标区域的子概率,表示对某一像素值x,其在模型参数为W的情况下,属于目标区域的概率;B是第二区域之外的背景区域,P(0|x;W)是像素值X属于背景区域的子概率,表示某一像素值在模型参数W下,属于背景区域的概率;L是训练损失值,训练损失值L的最后一项为正则项,正则项用于对模型参数W进行约束,λ是权重因子。
具体地,由于训练样本图像中存在各个目标类型对象对应的第一区域和第二区域,因此在计算训练损失值时,先获取各个目标类型对象的第一区域的像素点对应的第一像素值,计算各个目标类型对象的第一区域的所有第一像素值在对象检测模型的模型参数W下,属于目标区域的第一子概率P(1|x;W),同时也获取各个目标类型对象的第二区域之外的所有像素点对应的第二像素值,计算各个目标类型对象的第二区域之外的所有第二像素值在模型参数W下,属于背景区域的第二子概率P(0|x;W)。其中,1代表目标区域,0代表背景区域。
进一步地,在计算完各个目标类型对象的第一区域的所有第一像素值对应的第一子概率P(1|x;W)后,统计各个目标类型对象对应的第一子概率得到第一关系度,具体可先将所有第一子概率取对数,再求和得到第一关系度,即各个目标类型对象对应的第一关系度为同样地,计算完各个目标类型对象的第二区域之外的所有第二像素值对应的第二子概率P(0|x;W)后,统计各个目标类型对象的第二区域之外的像素值对应的第二子概率得到第二关系度,具体可将所有第二子概率取对数,再求和得到第二关系度,即各个目标类型对象的第二区域之外的像素点对应的第二关系度为
最后,在计算完第一关系度和第二关系度后,根据第一关系度和第二关系度计算得到训练损失值L,具体可将第一关系度和第二关系度求和、加负号,再获取正则项进而得到训练损失值L,其中正则项是用于对模型参数W进行约束,正则项可根据权重因子λ和对象检测模型W计算得到的,如
在一个实施例中,训练样本图像包括细胞切片图像,目标类型对象为分裂细胞,获取训练样本图像集,包括:获取多个染色后的细胞切片图像,多个染色后的细胞切片图像组成训练样本图像集;多个染色后的细胞切片图像包括不同类型的细胞,细胞切片图像中的细胞包括分裂细胞、非分裂细胞中的至少一种。
其中,训练样本图像中包括细胞切片图像,而细胞切片图像中的目标类型对象为分裂细胞,所谓分裂细胞是指真核细胞将其细胞核中染色体分配到两个子核之中的过程产生的细胞。而细胞核分裂后通常伴随着细胞质分裂,将细胞质、细胞器与细胞膜等细胞结构均等分配至子细胞中,分裂细胞就是这些分裂过程中产生的细胞。因此,在某些疾病的治疗检测的场景下,通过检测分裂细胞的数目得知疾病的侵袭情况,如乳腺癌,乳腺癌的组织学分级评估涉及到三个形态学特征:腺管形成,核多形性,核分裂计数。其中分裂细胞计数即统计高倍视野下,分裂细胞的数目,该指标表明了乳腺癌肿瘤的侵袭性,可见分裂细胞的数目对癌症的诊断和分级有着重要的意义。
具体地,如图6A所示,图6A示出一个实施例中染色后的细胞切片图像的获取步骤的示意图,通过相关人员制作细胞切片,通过显微镜切片机切成薄片,然后将切片放在玻片上进行H&E染色,这些染色的切片在电子显微扫描仪器下扫描,就可以产生染色后的细胞切片图像。其中,多个染色后的细胞切片图像包括不同类型的细胞,不同类型的细胞包括分裂细胞、非分裂细胞。而细胞切片图像中的细胞包括分裂细胞、非分裂细胞中的至少一种。也就是细胞切片图像中的细胞可能只有分裂细胞、或者只有非分裂细胞、或者既有分裂细胞又有非分裂细胞。其中,含有分裂细胞的细胞切片图像可以如图6B所示,图6B示出一个实施例中含有分裂细胞的细胞切片图像的界面示意图。而只有非分裂细胞的细胞切片图像可以如图6C所示,图6C示出一个实施例中只有非分裂细胞的细胞切片图像的界面示意图。
如图7所示,在一个实施例中,提供了一种目标对象检测方法。本实施例主要以该方法应用于上述图1中的终端110或服务器120来举例说明。参照图7,该目标对象检测方法具体包括如下步骤:
步骤702,获取待检测图像。
其中,待检测图像包括但不限于图片、照片、影片等。可以是通过相机拍摄的照片、通过截屏获取的图片或者是通过可上传图像的应用程序上传的图像等等,其中待检测图像中包括目标检测对象。在一个实施例中,在疾病诊断治疗的应用场景中,待检测图像可以为细胞切片图像,细胞切片图像中的目标检测对象为分裂细胞。
步骤704,将待检测图像输入至目标对象检测模型,目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,训练损失值是根据第一区域和第二区域确定的目标像素点计算得到的,第一区域和第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的。
其中,目标对象检测模型是指通过图2所示的对象检测模型训练方法训练出来的目标对象检测模型,图2示出的对象检测模型训练方法已描述了对象检测模型的具体训练的过程,在此不做赘述。其中,目标训练像素点是指各个目标类型对象的第一区域的像素点和各个目标类型对象的第二区域之外的像素点。
步骤706,目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度。
具体地,在将待检测图像输入至目标对象检测模型后,目标对象检测模型会生成与待检测图像对应的预测图,其中预测图描述了待检测图像中的各个像素点属于目标检测对象的关系度。这里的关系度可用概率、百分制分数或者百分率来表示。例如,预测图中描述待检测图像中的各个像素点属于第一区域的概率和属于第二区域的概率。
步骤708,对预测图进行区域分割得到目标检测对象区域。
具体地,目标对象检测模型输出的预测图是描述待检测图像的各个像素点属于目标检测对象的关系度,可根据预测图像描述的各个像素点对应的关系度进行区域分割得到目标检测对象区域,具体可以是先对预测图进行平滑处理,去掉一些尖锐的噪声点。然后选取一个二值化的阈值,进行二值化处理,得到分割的二值化预测图,根据二值化预测图进行区域分割,得到目标检测对象区域。如图7A所示,图7A示出一个实施例中目标对象检测模型生成的预测图的界面示意图,图7A示出的是进行平滑处理后的预测图,图7A示出的各个像素点属于目标检测对象的关系度,然后选取一个二值化的阈值,进行二值化处理,得到分割的二值化预测图,如图7B所示。最后,根据图7B示出的二值化预测图进行区域分割,得到目标检测对象区域,如图7B中的虚线框,图7B中的一个虚线框表示一个目标检测对象区域。
上述目标对象检测方法、装置、计算机可读存储介质和计算机设备,通过已训练好的目标对象检测模型对待检测图像进行计算,生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的概率,最后根据预测图进行区域分割得到目标检测对象区域。已训练好的目标对象检测模型不仅能够自动检测待检测图像的各个像素点属于目标检测对象的概率,而且通过各个像素点属于目标检测对象的概率确定目标检测对象区域,因此通过训练好的目标对象检测模型可以在一定程度上减轻目标对象检测人员的工作量,提高目标对象的检测效率,提高目标对象的检测准确性,进而还能够降低目标对象的检测成本。
在一个实施例中,如图8所示,目标对象检测模型包括第一预测子网络和第二预测子网络,第二预测子网络是第一预测子网络的后向池化层,目标对象检测模型生成待检测图像对应的预测图,包括:
步骤802,获取第一预测子网络输出的第一预测子图。
步骤804,获取第二预测子网络输出的第二预测子图。
其中,目标对象检测模型包括第一预测子网络和第二预测子网络,第二预测子网络是第一预测子网络的后向池化层,目标对象检测模型的网络结构可以图2A所示的网络结构,图2A示出的目标对象检测模型包括但不限于卷积层、池化层、反卷积层、输出层等。其中,第一预测子网络可以是图2A示出的池化层第3层pool3,而第二预测子网络可以是图2A示出的池化层第4层pool4。具体地,获取第一预测子网络输出的第一预测子图和获取第二预测子网络输出的第二预测子图,即获取图2A中的pool3示出的第一预测子图和pool4示出的第二预测子图,由于每一次池化操作都会将卷积层输出的特征图的尺寸大小缩减一半,因此pool3、pool4分别产生的第一预测子图和第二预测子图,相比待检测图像分别缩小了8倍和16倍。
步骤806,获取目标对象检测模型的输出层生成的第三预测子图。
步骤808,根据第二预测子图和第三预测子图生成中间预测子图。
其中,由于目标对象检测模型包括卷积层、池化层、反卷积层、输出层等,因此可获取目标对象检测模型的输出层输出的第三预测子图,如图8A所示,图8A示出一个实施例中目标对象检测模型生成待检测图像对应的预测图的结构示意图,在获取第一预测子网络输出的第一预测子图、获取第二预测子网络输出的第二预测子图和获取目标对象检测模型的输出层生成的第三预测子图后,为了能够使得目标对象检测模型生成的预测图的准确性达到最佳,因此可根据第二预测子图和第三预测子图生成中间预测子图,具体可将第二预测子图和第三预测子图进行叠加生成中间预测子图,叠加处理可以是将第二预测子图和第三预测子图求和处理等。
步骤810,根据第一预测子图和中间预测子图生成待检测图像对应的预测图。
具体地,如图8A所示,在根据第二预测子图和第三预测子图生成中间预测子图后,根据第一预测子图和中间预测子图生成待检测图像对应的预测图,此时生成预测图具有最佳的准确性。其中,根据第一预测子图和中间预测子图生成待检测图像对应的预测图具体可以是将第一预测子图和中间预测子图进行叠加生成对应的预测子图,叠加处理包括但不限于将第一预测子图和中间预测子图求和处理等。
在一个实施例中,如图9所示,对预测图进行区域分割得到目标检测对象区域,包括:
步骤902,对预测图进行二值化得到对应的二值化预测图。
步骤904,根据二值化预测图得到多个候选分割区域。
步骤906,根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域。
其中,二值化是指就是将预测图上的像素点的灰度值设置为0或255,也就是将整个预测图呈现出明显的只有黑和白的视觉效果。具体地,在目标对象检测模型生成待检测图像对应的预测图后,为了最后的目标检测对象区域的分割准确性,需对预测图进行二值化处理,得到对应的二值化预测图。进而根据二值化预测图得到多个候选分割区域,可以将二值化后的相同灰度值的像素点划分为一个候选分割区域。可如图7A示出的是进行平滑处理后的预测图,图7A示出的各个像素点属于目标检测对象的关系度,然后选取一个二值化的阈值,进行二值化处理,得到分割的二值化预测图,如图7B所示。再根据图7B示出的二值化预测图进行区域分割,得到候选分割区域,如图7B中的虚线框,图7B中的一个虚线框表示一个候选分割区域。
进一步地,根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域。具体可以是根据预测图获取各个候选分割区域中的像素点对应的关系度,根据各个候选分割区域中的像素点对应的关系度筛选得到目标检测对象区域。如,根据预测图获取各个候选分割区域中的像素点对应的概率,将各个候选分割区域中的像素点进行均值计算得到各个候选分割区域对应的像素点均值,根据各个候选分割区域对应的像素点均值筛选得到目标检测对象区域。其中,根据各个候选分割区域对应的像素点均值筛选得到目标检测对象区域可以是,将各个候选分割区域对应的像素点均值小于预设均值的候选分割区域进行过滤,得到目标检测对象区域。
在一个实施例中,如图10所示,根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域,包括:
步骤1002,根据各个候选分割区域中的像素点属于目标检测对象的关系度计算得到各个候选分割区域属于目标检测对象区域的可能度。
步骤1004,根据各个候选分割区域的面积和对应的可能度从候选分割区域中过滤非目标检测对象区域,得到目标检测对象区域。
具体地,在根据二值化预测图得到多个候选分割区域后,根据各个候选分割区域中的像素点属于目标检测对象的概率计算得到各个候选分割区域属于目标检测对象区域的可能度。这里的可能度可以用平均值等来表示。其中可能度的计算方式可自定义,自定义可以是各个候选分割区域中的像素点属于目标检测对象的概率进行均值计算得到,或者是各个候选分割区域中的像素点属于目标检测对象的概率进行加权求和计算得到等。进一步地,在得到各个候选分割区域属于目标检测对象区域的可能度后,根据各个候选分割区域的面积和对应的可能度从候选分割区域中过滤非目标检测对象区域,得到目标检测对象区域。其中,非目标检测对象区域具体可以是先根据各个候选分割区域的面积对候选分割区域进行筛选,例如将候选分割区域的面积小于预设面积的候选分割区域进行过滤非目标检测对象区域。进而再根据各个候选分割区域属于目标检测对象区域的可能度对候选分割区域进行筛选,例如将候选分割区域对应的均值小于预设阈值的候选分割区域进行过滤非目标检测对象区域,最后得到目标检测对象区域。
在一个实施例中,如图10A所示,图10A示出一个实施例中目标检测对象区域生成步骤的界面示意图,图10A中的10a为目标对象检测模型生成待检测图像对应的预测图,预测图中有待检测图像中的各个像素点对应的概率。对10a所示的预测图进行二值化处理得到对应的二值化预测图10b,具体可选取一个二值化的阈值,进行二值化处理,从而得到二值化预测图10b,然后可对二值化预测图10b进行区域分割,得到候选分割区域,如10b中的虚线框标注,一个虚线框代表一个候选分割区域。
进一步地,在得到多个候选分割区域后,为了提高目标检测对象区域的检测准确性,可根据预设条件对候选分割区域进行筛选,例如可根据候选分割区域的面积进行筛选,可将候选分割区域的面积小于预设面积的候选分割区域进行过滤。最后根据筛选后的各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域。图10A中的10b中的虚线框标注代表候选分割区域,候选分割区域包括多个像素点,获取候选分割区域中的各个像素点在二值化处理之前对应的概率,进而根据候选分割区域中的各个像素点对应的概率得到目标检测对象区域。其中,根据候选分割区域中的各个像素点对应的概率得到目标检测对象区域可以是,先计算候选分割区域中的各个像素点对应的概率的均值,再根据各个候选分割区域对应的均值筛选候选分割区域,可将均值小于预设均值的候选分割区域进行过滤,最后得到目标检测对象区域,如图10A中的10c所示,10c示出的为目标检测对象区域。
在一个实施例中,待检测图像为细胞切片图像,目标检测对象为分裂细胞,将待检测图像输入至目标对象检测模型,包括:将细胞切片图像输入至目标对象检测模型;目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度,包括:目标对象检测模型生成细胞切片图像对应的分裂细胞预测图,分裂细胞预测图描述细胞切片图像的各个像素点属于分裂细胞的概率;对预测图进行区域分割得到目标检测对象区域,包括:对分裂细胞预测图进行区域分割得到细胞切片图像中的分裂细胞区域。
其中,在疾病诊断治疗应用场景中,待检测图像为细胞切片图像,而细胞切片图像中的目标检测对象为分裂细胞,将细胞切片图像输入至目标对象检测模型,目标对象检测模型生成细胞切片图像对应的分裂细胞预测图,分裂细胞预测图描述细胞切片图像的各个像素点属于分裂细胞的概率,对分裂细胞预测图进行区域分割得到细胞切片图像中的分裂细胞区域。
其中,细胞切片图像可以为图6A所示的染色后的细胞切片图像,染色后的细胞图像可以是通过相关人员制作细胞切片,通过显微镜切片机切成薄片,然后将切片放在玻片上进行H&E染色,这些染色的切片在电子显微扫描仪器下扫描,就可以产生染色后的细胞切片图像。而细胞切片图像的细胞包括分裂细胞、非分裂细胞中的至少一种,可将图6B或者图6C所示出的细胞切片图像作为待检测图像。
在一个实施例中,目标对象检测模型的训练步骤包括:获取训练样本图像集,训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象;根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第二区域为第一区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心;通过对象检测模型计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度;通过对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度;根据第一关系度和第二关系度计算得到训练损失值;根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
具体地,在图2示出的对象检测模型训练方法的流程示意图中作了具体的说明,在此不再作任何赘述。
在一个具体的实施例中,提供了一种对象检测模型训练方法和目标对象检测方法,具体包括以下步骤:
S1、获取训练样本图像集,训练样本图像集中的训练样本图像中包括不同类型的对象,目标类型对象存在已标注的样本质心。其中,训练样本图像包括细胞切片图像,目标类型对象为分裂细胞,获取多个染色后的细胞切片图像,多个染色后的细胞切片图像组成训练样本图像集,多个染色后的细胞切片图像包括不同类型的细胞,细胞切片图像中的细胞包括分裂细胞、非分裂细胞中的至少一种。
S2、根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心。S2又可包含如下子步骤S2-1~S2-3:
S2-1、获取第一预设半径和第二预设半径,第一预设半径小于第二预设半径。
S2-2、以当前目标类型对象的样本质心为圆心,以第一预设半径为半径确定当前目标类型对象对应的第一区域。
S2-3、以当前目标类型对象的样本质心为圆心,以第二预设半径为半径确定当前目标类型对象对应的第二区域。
S3、将训练样本图像集中的训练样本图像输入对象检测模型中,对象检测模型计算各个训练样本图像的第一区域的像素点属于目标区域的第一关系度。S3又可包含如下子步骤S3-1~S3-3:
S3-1、获取各个训练样本图像的第一区域的像素点对应的第一像素值。
S3-2、计算各个训练样本图像的第一区域的第一像素值属于目标区域的第一子概率。
S3-3、统计各个训练样本图像对应的第一子概率得到第一关系度。
S4、对象检测模型计算各个训练样本图像的第二区域之外的像素点属于背景区域的第二关系度。S4又可包含如下子步骤S4-1~S4-3:
S4-1、获取各个训练样本图像的第二区域之外的像素点对应的第二像素值。
S4-2、计算各个训练样本图像的第二区域之外的第二像素值属于背景区域对应的第二子概率。
S4-3、统计各个训练样本图像对应的第二子概率得到第二关系度。
S5、根据第一关系度和第二关系度计算得到训练损失值。S5又可包含如下子步骤S5-1~S5-3:
S5-1、根据对象检测模型的模型参数,计算得到各个目标类型对象的第一区域中各个像素点属于目标区域的第一子概率。
S5-2、根据对象检测模型的模型参数,计算得到各个目标类型对象的第二区域之外各个像素点属于背景区域的第二子概率。
S5-3、根据第一子概率和第二子概率计算得到训练损失值。
具体可通过以下公式计算训练损失值L,公式如下:
X是某一像素值,W是对象检测模型的模型参数,N是训练样本图像的数目,C1是第一区域,P(1|x;W)是像素值X属于目标区域的子概率,表示对某一像素值x,其在模型参数为W的情况下,属于目标区域的概率;B是第二区域之外的背景区域,P(0|x;W)是像素值X属于背景区域的子概率,表示某一像素值在模型参数W下,属于背景区域的概率;L是训练损失值,训练损失值L的最后一项为正则项,正则项用于对模型参数W进行约束,λ是权重因子。
S6、根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
S7、获取待检测图像。
S8、将待检测图像输入至目标对象检测模型。
S9、目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度。
S9-1、目标对象检测模型包括第一预测子网络和第二预测子网络,第二预测子网络是第一预测子网络的后向池化层,获取第一预测子网络输出的第一预测子图。S9又可包含如下子步骤S9-1~S9-5:
S9-2、获取第二预测子网络输出的第二预测子图。
S9-3、获取目标对象检测模型的输出层生成的第三预测子图。
S9-4、根据第二预测子图和第三预测子图生成中间预测子图。
S9-5、根据第一预测子图和中间预测子图生成待检测图像对应的预测图。
S10、对预测图进行区域分割得到目标检测对象区域。S10又可包含如下子步骤S10-1~S10-3:
S10-1、对预测图进行二值化得到对应的二值化预测图。
S10-2、根据二值化预测图得到多个候选分割区域。
S10-3、根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域。S10-3还可包含如下子步骤S10-3-1~S10-3-2:
S10-3-1、根据各个候选分割区域中的像素点属于目标检测对象的关系度计算得到各个候选分割区域属于目标检测对象区域的可能度。
S10-3-2、根据各个候选分割区域的面积和对应的可能度从候选分割区域中过滤非目标检测对象区域,得到目标检测对象区域。
在一个乳腺癌诊断治疗的应用场景中,如图11所示,图11示出一个实施例中对象检测模型训练方法和目标对象检测方法的原理示意图,在乳腺癌诊断治疗的应用场景中,已训练好的目标对象检测模型用于在胸部组织病理图片中检测出分裂细胞,最后能够得到分裂细胞的数目,有助于乳腺癌的诊断和分级。
首先,需要对对象检测模型进行训练,只有训练好的目标对象检测模型才能检测出从胸部组织病理图片中检测出分裂细胞。训练对象检测模型之前,需要获取训练样本图像集,图11中的训练样本图像集具体的来源为:胸部肿瘤组织切除后会送到病理学实验室,进行处理。处理包括将切除的肿瘤组织切制更小的切片,用显微镜切片机切成薄片,然后切片放在玻片上进行H&E染色,这些染色的切片在电子显微扫描仪器下扫描,可以产生细胞切片图像,将多个染色后的细胞切片图像组成训练样本图像集。
然后,各个细胞切片图像包括多个细胞,细胞包括分裂细胞和非分裂细胞,对每个细胞进行标注质心,可将细胞的中心像素标注为样本质心或者将细胞的质心标注为样本质心,这种标注方法只是简单的进行了标注,标注较为粗略。当所有的细胞切片图像中的各个细胞都存在已标注的样本质心后,获取第一预设半径和第二预设半径,其中第一预设半径需小于第二预设半径,以当前样本质心为圆心,以第一预设半径为半径确定当前样本质心对应的第一区域,以当前样本质心为圆心,以第二预设半径为半径确定当前样本质心对应的第二区域。最后各个样本质心都有对应的第一区域和第二区域,如图11右上角所示的训练样本图像,图11的训练样本图像的小圆为第一区域,大圆为第二区域。其中,应当注意的是,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的样本质心。
接着,将确定好各个样本质心对应的第一区域和第二区域的细胞切片图像作为训练样本图像,输入至对象检测模型,对象检测模型计算各个训练样本图像的第一区域的像素点属于分裂细胞区域的第一概率和计算各个训练样本图像的第二区域之外的像素点属于背景区域的第二概率,根据第一概率和第二概率计算得到训练损失值。其中,训练损失值可根据以下公式计算:
X是某一像素值,W是对象检测模型的模型参数,N是训练样本图像的数目,C1是第一区域,P(1|x;W)是像素值X属于目标区域的子概率,表示对某一像素值x,其在模型参数为W的情况下,属于目标区域的概率;B是第二区域之外的背景区域,P(0|x;W)是像素值X属于背景区域的子概率,表示某一像素值在模型参数W下,属于背景区域的概率;L是训练损失值,训练损失值L的最后一项为正则项,正则项用于对模型参数W进行约束,λ是权重因子。
紧接着,在得到对象检测模型的训练损失值后,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。具体根据训练损失值L调整W来使得满足收敛条件,再通过BP(Back Propagation,后向传播)算法,对对象检测模型的每一层的模型参数进行优化,利用随机梯度下降法(SGD),经过多次迭代之后得到最终的参模型数W,进而得到目标对象检测模型。
然而,已训练好的目标对象检测模型可以用于对胸部组织病理图片中的分裂细胞进行检测,如乳腺癌,乳腺癌是女性中最常见的癌症之一,对患者的健康和生命造成了巨大的威胁。乳腺癌的尽早发现、尽早治疗,对降低疾病的致死率来说至关重要。根据世界健康组织推荐的Nottingham分级系统,乳腺癌的组织学分级评估涉及到三个形态学特征:腺管形成,核多形性,核分裂计数。其中分裂细胞的数目表明了肿瘤的侵袭性,对癌症的诊断和分级有着重要的意义。具体地,将胸部组织活检病理组织图像经过切片处理、染色之后,在高倍显微镜下的病理组织图像作为待检测图像,输入至已训练好的目标对象检测模型中。
进一步地,如图11所示,目标对象检测模型对待检测图像进行检测,生成与待检测图像对应的预测概率图,预测概率图描述了待检测图像的各个像素点属于目标检测对象的概率。紧接着,对目标对象检测模型输出的预测概率图进行二值化得到对应的二值化预测图,然后根据二值化预测图将相同灰度值的像素点归为一个候选分割区域,因此得到多个候选分割区域。最后,利用候选分割区域的面积和候选分割区域中各个像素点对应的概率来对候选分割区域进行筛选,得到分裂细胞区域,如图11中的最后一幅图,图11的最后一幅图用圆圈标出的就是正确检测出两个分裂细胞。其中,利用候选分割区域的面积和候选分割区域中各个像素点对应的概率来对候选分割区域进行筛选,得到分裂细胞区域具体可以是通过对这些候选分割区域进行过滤,去掉面积过小的候选分割区域,去掉候选分割区域各个像素点的平均概率值过低的候选分割区域,剩下的就是最终的分裂细胞区域。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图12所示,在一个实施例中,提供了一种对象检测模型训练装置1200,该装置包括:
训练样本图像集获取模块1202,用于获取训练样本图像集,获取训练样本图像集,训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象。
目标区域确定模块1204,用于根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第一区域为第二区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心。
对象检测模型检测模块1206,用于通过对象检测模型计算各个目标类型对象的第一区域的像素点属于目标区域的第一关系度。
关系度计算模块1208,用于通过对象检测模型计算各个目标类型对象的第二区域之外的像素点属于背景区域的第二关系度。
训练损失值计算模块1210,用于根据第一关系度和第二关系度计算得到训练损失值。
目标对象检测模型生成模块1212,用于根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
在一个实施例中,如图13所示,目标区域确定模块1204包括:
预设半径获取单元1204a,用于获取第一预设半径和第二预设半径,第一预设半径小于第二预设半径。
第一区域确定单元1204b,用于以当前目标类型对象的样本质心为圆心,以第一预设半径为半径确定当前目标类型对象对应的第一区域。
第二区域确定单元1204c,用于以当前目标类型对象的样本质心为圆心,以第二预设半径为半径确定当前目标类型对象对应的第二区域。
在一个实施例中,对象检测模型检测模块1206还用于获取各个目标类型对象的第一区域的像素点对应的第一像素值,计算各个目标类型对象的第一区域的第一像素值属于目标区域的第一子概率,统计各个目标类型对象对应的第一子概率得到第一关系度。
在一个实施例中,关系度计算模块1208还用于获取各个目标类型对象的第二区域之外的像素点对应的第二像素值,计算各个目标类型对象的第二区域之外的第二像素值属于背景区域对应的第二子概率,统计各个目标类型对象对应的第二子概率得到第二关系度。
在一个实施例中,训练损失值计算模块1210还用于根据对象检测模型的模型参数,计算得到各个目标类型对象的第一区域中各个像素点属于目标区域的第一子概率;根据对象检测模型的模型参数,计算得到各个目标类型对象的第二区域之外各个像素点属于背景区域的第二子概率;根据第一子概率和第二子概率计算得到训练损失值。
在一个实施例中,训练损失值计算模块1210还用于根据以下公式计算训练损失值,计算公式如下所示:
X是某一像素值,W是对象检测模型的模型参数,N是训练样本图像的数目,C1是第一区域,P(1|x;W)是像素值X属于目标区域的子概率,表示对某一像素值x,其在模型参数为W的情况下,属于目标区域的概率;B是第二区域之外的背景区域,P(0|x;W)是像素值X属于背景区域的子概率,表示某一像素值在模型参数W下,属于背景区域的概率;L是训练损失值,训练损失值L的最后一项为正则项,正则项用于对模型参数W进行约束,λ是权重因子。
在一个实施例中,训练样本图像包括细胞切片图像,目标类型对象为分裂细胞,训练样本图像集获取模块1202还用于获取多个染色后的细胞切片图像,多个染色后的细胞切片图像组成训练样本图像集,多个染色后的细胞切片图像包括不同类型的细胞,细胞切片图像中的细胞包括分裂细胞、非分裂细胞中的至少一种。
如图14所示,在一个实施例中,提供了一种目标对象检测装置1400,该装置包括:
待检测图像获取模块1402,用于获取待检测图像。
目标对象检测模型检测模块1404,用于将待检测图像输入至目标对象检测模型,目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,训练损失值是根据第一区域和第二区域确定的目标像素点计算得到的,第一区域和所述第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的。
预测图生成模块1406,用于目标对象检测模型生成待检测图像对应的预测图,预测图描述待检测图像的各个像素点属于目标检测对象的关系度。
预测图分割模块1408,用于对预测图进行区域分割得到目标检测对象区域。
在一个实施例中,如图15所示,目标对象检测模型包括第一预测子网络和第二预测子网络,第二预测子网络是第一预测子网络的后向池化层,预测图生成模块1406包括:
第一预测子图获取单元1406a,用于获取第一预测子网络输出的第一预测子图。
第二预测子图获取单元1406b,用于获取第二预测子网络输出的第二预测子图。
第三预测子图获取单元1406c,用于获取目标对象检测模型的输出层生成的第三预测子图。
中间预测子图生成单元1406d,用于根据第二预测子图和第三预测子图生成中间预测子图。
预测图生成单元1406e,用于根据第一预测子图和中间预测子图生成待检测图像对应的预测图。
在一个实施例中,如图16所示,预测图分割模块1408包括:
二值化处理单元1408a,用于对预测图进行二值化得到对应的二值化预测图。
候选分割区域确定单元1408b,用于根据二值化预测图得到多个候选分割区域。
目标检测对象区域生成单元1408c,用于根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域。
在一个实施例中,目标检测对象区域生成单元1408c还用于根据各个候选分割区域中的像素点属于目标检测对象的关系度计算得到各个候选分割区域属于目标检测对象区域的可能度,根据各个候选分割区域的面积和对应的可能度从候选分割区域中过滤非目标检测对象区域,得到目标检测对象区域。
在一个实施例中,待检测图像为细胞切片图像,目标检测对象为分裂细胞,目标对象检测装置1400还用于将细胞切片图像输入至目标对象检测模型,目标对象检测模型生成细胞切片图像对应的分裂细胞预测图,分裂细胞预测图描述细胞切片图像的各个像素点属于分裂细胞的概率,对分裂细胞预测图进行区域分割得到细胞切片图像中的分裂细胞区域。
在一个实施例中,目标对象检测装置1400还用于获取训练样本图像集,训练样本图像集中的训练样本图像中包括不同类型的对象,目标类型对象存在已标注的样本质心,根据各个目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,第二区域为第一区域的子区域,第一区域和第二区域存在相同的中心,中心为对应的目标类型对象的样本质心,将训练样本图像集中的训练样本图像输入对象检测模型中,对象检测模型计算各个训练样本图像的第一区域的像素点属于目标区域的第一关系度,对象检测模型计算各个训练样本图像的第二区域之外的像素点属于背景区域的第二关系度,根据第一关系度和第二关系度计算得到训练损失值,根据训练损失值对对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型。
图17示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或服务器120。如图17所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现对象检测模型训练方法和目标对象检测方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行对象检测模型训练方法和目标对象检测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。应当说明的是,若计算机设备为服务器120时,则计算机设备不包括显示屏。只有计算机设备为终端110时,计算机设备才包括显示屏。
本领域技术人员可以理解,图17中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的对象检测模型训练装置和目标对象检测装置可以实现为一种计算机程序的形式,计算机程序可在如图17所示的计算机设备上运行。计算机设备的存储器中可存储组成该对象检测模型训练装置和目标对象检测装置的各个程序模块。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述对象检测模型训练方法和目标对象检测方法的步骤。此处对象检测模型训练方法和目标对象检测方法的步骤可以是上述各个实施例的对象检测模型训练方法和目标对象检测方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述对象检测模型训练方法和目标对象检测方法的步骤。此处对象检测模型训练方法和目标对象检测方法的步骤可以是上述各个实施例的对象检测模型训练方法和目标对象检测方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (24)
1.一种对象检测模型训练方法,包括:
获取训练样本图像集,所述训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象,所述样本质心为目标类型对象的中心像素;
根据各个所述目标类型对象的样本质心的位置,确定各个所述目标类型对象对应的第一区域和第二区域,所述第一区域为所述第二区域的子区域,所述第一区域和第二区域存在相同的中心,所述中心为对应的目标类型对象的样本质心,各个所述目标类型对象对应的第一区域和第二区域的大小是根据对应的目标类型对象确定的,所述第一区域小于所述第二区域;
通过对象检测模型计算各个所述目标类型对象的第一区域的像素点属于目标区域的第一关系度;
通过所述对象检测模型,基于各个所述目标类型对象的第二区域之外的像素点对应的第二像素值计算各个所述目标类型对象的第二区域之外的像素点属于背景区域的第二关系度;
根据所述第一关系度和所述第二关系度计算得到训练损失值,所述训练损失值与所述第一关系度和所述第二关系度呈负相关关系;
根据所述训练损失值对所述对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型;所述目标对象检测模型用于预测待检测图像的各个像素点属于目标检测对象的关系度。
2.根据权利要求1所述的方法,其特征在于,所述根据各个所述目标类型对象的样本质心的位置,确定各个目标类型对象对应的第一区域和第二区域,包括:
获取当前目标类型对象对应的第一预设半径和第二预设半径,所述第一预设半径小于所述第二预设半径;
以当前目标类型对象的样本质心为圆心,以所述第一预设半径为半径确定所述当前目标类型对象对应的第一区域;
以所述当前目标类型对象的样本质心为圆心,以所述第二预设半径为半径确定所述当前目标类型对象对应的第二区域。
3.根据权利要求1所述的方法,其特征在于,所述通过对象检测模型计算各个所述目标类型对象的第一区域的像素点属于目标区域的第一关系度,包括:
获取各个所述目标类型对象的第一区域的像素点对应的第一像素值;
计算各个所述目标类型对象的第一区域的第一像素值属于所述目标区域的第一子概率;
统计各个所述目标类型对象对应的第一子概率得到所述第一关系度;
所述通过所述对象检测模型计算各个所述目标类型对象的第二区域之外的像素点属于背景区域的第二关系度,包括:
获取各个目标类型对象的第二区域之外的像素点对应的第二像素值;
计算各个所述训练样本图像的第二区域之外的第二像素值属于背景区域对应的第二子概率;
统计各个所述目标类型对象对应的第二子概率得到所述第二关系度。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一关系度和所述第二关系度计算得到训练损失值,包括:
根据所述对象检测模型的模型参数,计算得到各个所述目标类型对象的第一区域中各个像素点属于所述目标区域的第一子概率;
根据所述对象检测模型的模型参数,计算得到各个所述目标类型对象的第二区域之外各个像素点属于所述背景区域的第二子概率;
根据所述第一子概率和第二子概率计算得到所述训练损失值。
6.根据权利要求1所述的方法,其特征在于,所述训练样本图像包括细胞切片图像,所述目标类型对象为分裂细胞,所述获取训练样本图像集包括:
获取多个染色后的细胞切片图像,多个所述染色后的细胞切片图像组成所述训练样本图像集;
所述多个染色后的细胞切片图像包括不同类型的细胞,所述细胞切片图像中的细胞包括分裂细胞、非分裂细胞中的至少一种。
7.一种目标对象检测方法,包括:
获取待检测图像;
将所述待检测图像输入至目标对象检测模型,所述目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,所述训练损失值是根据第一关系度和第二关系度计算得到的,所述第一关系度是基于第一区域的像素点计算得到的,所述第二关系度是基于第二区域之外的像素点对应的第二像素值计算得到的,所述第一区域小于所述第二区域,所述第一区域和所述第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的,所述样本质心为目标类型对象的中心像素,各个所述目标类型对象对应的第一区域和第二区域的大小是根据对应的目标类型对象确定的,所述第一区域小于所述第二区域,所述训练损失值与所述第一关系度和所述第二关系度呈负相关关系;
所述目标对象检测模型生成所述待检测图像对应的预测图,所述预测图描述待检测图像的各个像素点属于目标检测对象的关系度;
对所述预测图进行区域分割得到目标检测对象区域。
8.根据权利要求7所述的方法,其特征在于,所述目标对象检测模型包括第一预测子网络和第二预测子网络,所述第二预测子网络是所述第一预测子网络的后向池化层,所述目标对象检测模型生成所述待检测图像对应的预测图,包括:
获取所述第一预测子网络输出的第一预测子图;
获取所述第二预测子网络输出的第二预测子图;
获取所述目标对象检测模型的输出层生成的第三预测子图;
根据所述第二预测子图和所述第三预测子图生成中间预测子图;
根据所述第一预测子图和所述中间预测子图生成所述待检测图像对应的预测图。
9.根据权利要求7所述的方法,其特征在于,所述对所述预测图进行区域分割得到目标检测对象区域,包括:
对所述预测图进行二值化得到对应的二值化预测图;
根据所述二值化预测图得到多个候选分割区域;
根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域。
10.根据权利要求9所述的方法,其特征在于,所述根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域,包括:
根据各个候选分割区域中的像素点属于目标检测对象的关系度,计算得到各个候选分割区域属于目标检测对象区域的可能度;
根据各个候选分割区域的面积和对应的所述可能度从候选分割区域中过滤非目标检测对象区域,得到所述目标检测对象区域。
11.根据权利要求7所述的方法,其特征在于,所述待检测图像为细胞切片图像,所述目标检测对象为分裂细胞,所述将所述待检测图像输入至目标对象检测模型,包括:
将所述细胞切片图像输入至目标对象检测模型;
所述目标对象检测模型生成所述待检测图像对应的预测图,所述预测图描述待检测图像的各个像素点属于目标检测对象的关系度,包括:
所述目标对象检测模型生成所述细胞切片图像对应的分裂细胞预测图,所述分裂细胞预测图描述细胞切片图像的各个像素点属于分裂细胞的概率;
所述对所述预测图进行区域分割得到目标检测对象区域,包括:
对所述分裂细胞预测图进行区域分割得到细胞切片图像中的分裂细胞区域。
12.一种对象检测模型训练装置,其特征在于,所述装置包括:
训练样本图像集获取模块,用于获取训练样本图像集,所述训练样本图像集中的训练样本图像包含存在已标注的样本质心的多个目标类型对象,所述样本质心为目标类型对象的中心像素;
目标区域确定模块,用于根据各个所述目标类型对象的样本质心的位置,确定各个所述目标类型对象对应的第一区域和第二区域,所述第一区域为所述第二区域的子区域,所述第一区域和第二区域存在相同的中心,所述中心为对应的目标类型对象的样本质心,各个所述目标类型对象对应的第一区域和第二区域的大小是根据对应的目标类型对象确定的,所述第一区域小于所述第二区域;
对象检测模型检测模块,用于通过对象检测模型计算各个所述目标类型对象的第一区域的像素点属于目标区域的第一关系度;
关系度计算模块,用于通过所述对象检测模型,基于各个所述目标类型对象的第二区域之外的像素点对应的第二像素值计算各个所述目标类型对象的第二区域之外的像素点属于背景区域的第二关系度;
训练损失值计算模块,用于根据所述第一关系度和所述第二关系度计算得到训练损失值;
目标对象检测模型生成模块,用于根据所述训练损失值对所述对象检测模型的模型参数进行调整,直至满足收敛条件,得到目标对象检测模型,所述训练损失值与所述第一关系度和所述第二关系度呈负相关关系;所述目标对象检测模型用于预测待检测图像的各个像素点属于目标检测对象的关系度。
13.根据权利要求12所述的装置,其特征在于,所述目标区域确定模块包括:
预设半径获取单元,用于获取当前目标类型对象对应的第一预设半径和第二预设半径,所述第一预设半径小于所述第二预设半径;
第一区域确定单元,用于以当前目标类型对象的样本质心为圆心,以所述第一预设半径为半径确定所述当前目标类型对象对应的第一区域;
第二区域确定单元,用于以所述当前目标类型对象的样本质心为圆心,以所述第二预设半径为半径确定所述当前目标类型对象对应的第二区域。
14.根据权利要求12所述的装置,其特征在于,所述对象检测模型检测模块还用于获取各个所述目标类型对象的第一区域的像素点对应的第一像素值,计算各个所述目标类型对象的第一区域的第一像素值属于所述目标区域的第一子概率,统计各个所述目标类型对象对应的第一子概率得到所述第一关系度;所述关系度计算模块还用于获取各个目标类型对象的第二区域之外的像素点对应的第二像素值,计算各个所述训练样本图像的第二区域之外的第二像素值属于背景区域对应的第二子概率,统计各个所述目标类型对象对应的第二子概率得到所述第二关系度。
15.根据权利要求12所述的装置,其特征在于,所述训练损失值计算模块还用于根据所述对象检测模型的模型参数,计算得到各个所述目标类型对象的第一区域中各个像素点属于所述目标区域的第一子概率,根据所述对象检测模型的模型参数,计算得到各个所述目标类型对象的第二区域之外各个像素点属于所述背景区域的第二子概率,根据所述第一子概率和第二子概率计算得到所述训练损失值。
17.根据权利要求12所述的装置,其特征在于,所述训练样本图像包括细胞切片图像,所述目标类型对象为分裂细胞,所述训练样本图像集获取模块还用于获取多个染色后的细胞切片图像,多个所述染色后的细胞切片图像组成所述训练样本图像集,所述多个染色后的细胞切片图像包括不同类型的细胞,所述细胞切片图像中的细胞包括分裂细胞、非分裂细胞中的至少一种。
18.一种目标对象检测装置,其特征在于,所述装置包括:
待检测图像获取模块,用于获取待检测图像;
目标对象检测模型检测模块,用于将所述待检测图像输入至目标对象检测模型,所述目标对象检测模型是通过训练损失值对初始对象检测模型进行参数调整得到的,其中,所述训练损失值是第一关系度和第二关系度计算得到的,所述第一关系度是基于第一区域的像素点计算得到的,所述第二关系度是基于第二区域之外的像素点对应的第二像素值计算得到的,所述第一区域和所述第二区域是根据训练样本图像中目标类型对象的样本质心的位置确定得到的,所述样本质心为目标类型对象的中心像素,各个所述目标类型对象对应的第一区域和第二区域的大小是根据对应的目标类型对象确定的,所述第一区域小于所述第二区域,所述训练损失值与所述第一关系度和所述第二关系度呈负相关关系;
预测图生成模块,用于所述目标对象检测模型生成所述待检测图像对应的预测图,所述预测图描述待检测图像的各个像素点属于目标检测对象的关系度;
预测图分割模块,用于对所述预测图进行区域分割得到目标检测对象区域。
19.根据权利要求18所述的装置,其特征在于,所述目标对象检测模型包括第一预测子网络和第二预测子网络,所述第二预测子网络是所述第一预测子网络的后向池化层,所述预测图生成模块包括:
第一预测子图获取单元,用于获取所述第一预测子网络输出的第一预测子图;
第二预测子图获取单元,用于获取所述第二预测子网络输出的第二预测子图;
第三预测子图获取单元,用于获取所述目标对象检测模型的输出层生成的第三预测子图;
中间预测子图生成单元,用于根据所述第二预测子图和所述第三预测子图生成中间预测子图;
预测图生成单元,用于根据所述第一预测子图和所述中间预测子图生成所述待检测图像对应的预测图。
20.根据权利要求18所述的装置,其特征在于,所述预测图分割模块包括:
二值化处理单元,用于对所述预测图进行二值化得到对应的二值化预测图;
候选分割区域确定单元,用于根据所述二值化预测图得到多个候选分割区域;
目标检测对象区域生成单元,用于根据各个候选分割区域中的像素点属于目标检测对象的关系度得到目标检测对象区域。
21.根据权利要求20所述的装置,其特征在于,所述目标检测对象区域生成单元还用于根据各个候选分割区域中的像素点属于目标检测对象的关系度,计算得到各个候选分割区域属于目标检测对象区域的可能度,根据各个候选分割区域的面积和对应的所述可能度从候选分割区域中过滤非目标检测对象区域,得到所述目标检测对象区域。
22.根据权利要求18所述的装置,其特征在于,所述待检测图像为细胞切片图像,所述目标检测对象为分裂细胞,所述目标对象检测模型检测模块还用于将所述细胞切片图像输入至目标对象检测模型,所述预测图生成模块还用于所述目标对象检测模型生成所述细胞切片图像对应的分裂细胞预测图,所述分裂细胞预测图描述细胞切片图像的各个像素点属于分裂细胞的概率,所述预测图分割模块还用于对所述分裂细胞预测图进行区域分割得到细胞切片图像中的分裂细胞区域。
23.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
24.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811479732.8A CN109697460B (zh) | 2018-12-05 | 2018-12-05 | 对象检测模型训练方法、目标对象检测方法 |
PCT/CN2019/122959 WO2020114421A1 (zh) | 2018-12-05 | 2019-12-04 | 对象检测模型训练方法、目标对象检测方法 |
US17/194,186 US11640678B2 (en) | 2018-12-05 | 2021-03-05 | Method for training object detection model and target object detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811479732.8A CN109697460B (zh) | 2018-12-05 | 2018-12-05 | 对象检测模型训练方法、目标对象检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109697460A CN109697460A (zh) | 2019-04-30 |
CN109697460B true CN109697460B (zh) | 2021-06-29 |
Family
ID=66230424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811479732.8A Active CN109697460B (zh) | 2018-12-05 | 2018-12-05 | 对象检测模型训练方法、目标对象检测方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11640678B2 (zh) |
CN (1) | CN109697460B (zh) |
WO (1) | WO2020114421A1 (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109697460B (zh) | 2018-12-05 | 2021-06-29 | 华中科技大学 | 对象检测模型训练方法、目标对象检测方法 |
WO2020123303A2 (en) * | 2018-12-10 | 2020-06-18 | Voxeleron, LLC | System and method for obtaining measurements from imaging data |
CN110084218A (zh) * | 2019-05-06 | 2019-08-02 | 广州小鹏汽车科技有限公司 | 车辆的雨水分布数据处理方法和装置 |
CN110390261B (zh) * | 2019-06-13 | 2022-06-17 | 北京汽车集团有限公司 | 目标检测方法、装置、计算机可读存储介质及电子设备 |
CN110490202B (zh) * | 2019-06-18 | 2021-05-25 | 腾讯科技(深圳)有限公司 | 检测模型训练方法、装置、计算机设备和存储介质 |
CN110610483B (zh) * | 2019-08-12 | 2022-02-22 | 全球能源互联网研究院有限公司 | 裂纹图像获取、检测方法、计算机设备及可读存储介质 |
CN112446374B (zh) * | 2019-08-28 | 2023-08-29 | 北京地平线机器人技术研发有限公司 | 一种目标检测模型的确定方法及装置 |
CN110705633B (zh) * | 2019-09-27 | 2022-06-07 | 北京猎户星空科技有限公司 | 目标物检测、目标物检测模型的建立方法及装置 |
CN111080697B (zh) * | 2019-10-29 | 2024-04-09 | 京东科技信息技术有限公司 | 检测目标对象方向的方法、装置、计算机设备和存储介质 |
CN111311672A (zh) * | 2020-02-12 | 2020-06-19 | 深圳市商汤科技有限公司 | 检测物体重心的方法及装置、电子设备和存储介质 |
CN111311578B (zh) * | 2020-02-17 | 2024-05-03 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象分类方法以及装置、医学影像设备 |
CN111508019A (zh) * | 2020-03-11 | 2020-08-07 | 上海商汤智能科技有限公司 | 目标检测方法及其模型的训练方法及相关装置、设备 |
CN111553894A (zh) * | 2020-04-24 | 2020-08-18 | 上海杏脉信息科技有限公司 | 一种医学图像分割模型训练方法、介质及电子设备 |
CN111598902B (zh) * | 2020-05-20 | 2023-05-30 | 抖音视界有限公司 | 图像分割方法、装置、电子设备及计算机可读介质 |
CN111709471B (zh) * | 2020-06-12 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 对象检测模型的训练方法以及对象检测方法、装置 |
CN111815504A (zh) * | 2020-06-30 | 2020-10-23 | 北京金山云网络技术有限公司 | 一种图像的生成方法和装置 |
CN111783642B (zh) * | 2020-06-30 | 2023-10-13 | 北京百度网讯科技有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
CN111986262B (zh) * | 2020-09-07 | 2024-04-26 | 凌云光技术股份有限公司 | 一种图像区域定位方法及装置 |
CN112884782B (zh) * | 2021-03-02 | 2024-01-05 | 深圳市瑞图生物技术有限公司 | 生物对象分割方法、装置、计算机设备和存储介质 |
CN113420675A (zh) * | 2021-06-25 | 2021-09-21 | 浙江大华技术股份有限公司 | 一种口罩佩戴规范度的检测方法及装置 |
CN113469176B (zh) * | 2021-06-28 | 2023-06-02 | 北京有竹居网络技术有限公司 | 一种目标检测模型训练方法、目标检测方法及其相关设备 |
CN113191339B (zh) * | 2021-06-30 | 2021-10-12 | 南京派光智慧感知信息技术有限公司 | 一种基于视频分析的轨道异物侵限监测方法及系统 |
CN113284142B (zh) * | 2021-07-16 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置、计算机可读存储介质及计算机设备 |
CN113469878B (zh) * | 2021-09-02 | 2021-11-12 | 北京世纪好未来教育科技有限公司 | 一种文本擦除方法及其模型的训练方法、装置、存储介质 |
CN113947613B (zh) * | 2021-12-21 | 2022-03-29 | 腾讯科技(深圳)有限公司 | 目标区域检测方法、装置、设备及存储介质 |
CN114926398B (zh) * | 2022-04-18 | 2024-03-29 | 太原理工大学 | 基于深度学习图像处理的粘连外周血细胞分割方法 |
CN115170536B (zh) * | 2022-07-22 | 2023-05-05 | 北京百度网讯科技有限公司 | 图像检测方法、模型的训练方法和装置 |
CN115165886B (zh) * | 2022-09-05 | 2022-11-18 | 淄博齐华制衣有限公司 | 基于视觉的织物阻燃整理质量检测方法 |
CN117689660B (zh) * | 2024-02-02 | 2024-05-14 | 杭州百子尖科技股份有限公司 | 基于机器视觉的保温杯温度质检方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102842131A (zh) * | 2012-07-10 | 2012-12-26 | 中联重科股份有限公司 | 一种监测目标物体缺陷的方法及设备 |
CN106447658A (zh) * | 2016-09-26 | 2017-02-22 | 西北工业大学 | 基于全局和局部卷积网络的显著性目标检测方法 |
CN108764325A (zh) * | 2018-05-23 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060193520A1 (en) * | 2005-02-28 | 2006-08-31 | Takeshi Mita | Object detection apparatus, learning apparatus, object detection system, object detection method and object detection program |
JP4540661B2 (ja) * | 2006-02-28 | 2010-09-08 | 三洋電機株式会社 | 物体検出装置 |
US8660303B2 (en) * | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
CN103577795A (zh) * | 2012-07-30 | 2014-02-12 | 索尼公司 | 检测设备和方法、检测器生成设备和方法及监控系统 |
EP2790152B1 (en) * | 2013-04-12 | 2015-12-02 | Alcatel Lucent | Method and device for automatic detection and tracking of one or multiple objects of interest in a video |
CN109697460B (zh) * | 2018-12-05 | 2021-06-29 | 华中科技大学 | 对象检测模型训练方法、目标对象检测方法 |
US11468266B2 (en) * | 2019-09-27 | 2022-10-11 | Raytheon Company | Target identification in large image data |
US11068747B2 (en) * | 2019-09-27 | 2021-07-20 | Raytheon Company | Computer architecture for object detection using point-wise labels |
-
2018
- 2018-12-05 CN CN201811479732.8A patent/CN109697460B/zh active Active
-
2019
- 2019-12-04 WO PCT/CN2019/122959 patent/WO2020114421A1/zh active Application Filing
-
2021
- 2021-03-05 US US17/194,186 patent/US11640678B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102842131A (zh) * | 2012-07-10 | 2012-12-26 | 中联重科股份有限公司 | 一种监测目标物体缺陷的方法及设备 |
CN106447658A (zh) * | 2016-09-26 | 2017-02-22 | 西北工业大学 | 基于全局和局部卷积网络的显著性目标检测方法 |
CN108764325A (zh) * | 2018-05-23 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20210192180A1 (en) | 2021-06-24 |
US11640678B2 (en) | 2023-05-02 |
WO2020114421A1 (zh) | 2020-06-11 |
CN109697460A (zh) | 2019-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109697460B (zh) | 对象检测模型训练方法、目标对象检测方法 | |
US10991097B2 (en) | Artificial intelligence segmentation of tissue images | |
WO2020253629A1 (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
Fonseca et al. | Automatic breast density classification using a convolutional neural network architecture search procedure | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN109447998B (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
US20150071541A1 (en) | Automated method for measuring, classifying, and matching the dynamics and information passing of single objects within one or more images | |
Nateghi et al. | Automatic detection of mitosis cell in breast cancer histopathology images using genetic algorithm | |
US20130226548A1 (en) | Systems and methods for analysis to build predictive models from microscopic cancer images | |
CN111402267A (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
CN114549462A (zh) | 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质 | |
CN109074645B (zh) | 用于ihc图像分析的空间索引创建 | |
CN116012332A (zh) | 一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质 | |
Wu et al. | Statistical analysis of helium bubbles in transmission electron microscopy images based on machine learning method | |
Banumathy et al. | Breast Calcifications and Histopathological Analysis on Tumour Detection by CNN. | |
Xu et al. | Dual resolution deep learning network with self-attention mechanism for classification and localisation of colorectal cancer in histopathological images | |
Oliveira et al. | A multi-objective approach for calibration and detection of cervical cells nuclei | |
CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
Martin et al. | A graph based neural network approach to immune profiling of multiplexed tissue samples | |
Rubio et al. | Microcalcification detection in mammograms based on fuzzy logic and cellular automata | |
Lassouaoui et al. | Morphological Description of Cervical Cell Images for the Pathological Recognition. | |
Bai et al. | A convolutional neural network combined with color deconvolution for mitosis detection | |
CN113592876A (zh) | 分割网络的训练方法、装置、计算机设备和存储介质 | |
De et al. | Brain Tumor Classification from Radiology and Histopathology using Deep Features and Graph Convolutional Network | |
Cheikh et al. | Spatial interaction analysis with graph based mathematical morphology for histopathology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |