CN110599503B - 检测模型训练方法、装置、计算机设备和存储介质 - Google Patents
检测模型训练方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110599503B CN110599503B CN201910865059.XA CN201910865059A CN110599503B CN 110599503 B CN110599503 B CN 110599503B CN 201910865059 A CN201910865059 A CN 201910865059A CN 110599503 B CN110599503 B CN 110599503B
- Authority
- CN
- China
- Prior art keywords
- image
- sample image
- target
- model
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 297
- 238000012549 training Methods 0.000 title claims abstract description 253
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012216 screening Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims description 88
- 238000013145 classification model Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 18
- 238000010801 machine learning Methods 0.000 description 8
- 206010006187 Breast cancer Diseases 0.000 description 6
- 208000026310 Breast neoplasm Diseases 0.000 description 6
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 229910052750 molybdenum Inorganic materials 0.000 description 6
- 239000011733 molybdenum Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及涉及基于人工智能的图像识别技术，特别涉及一种检测模型训练方法、装置、计算机设备和存储介质，所述方法包括：获取对第一样本图像进行分割得到的候选图像区域集合，所述候选图像区域集合包括多个候选图像区域；从所述候选图像区域集合中筛选出包括目标对象的目标图像区域；获取所述目标图像区域与所述候选图像区域的图像重合度；获取所述图像重合度大于第一预设重合度的候选图像区域，作为第三图像区域；将所述第三图像区域以及所述目标图像区域作为正样本图像区域，根据所述正样本图像区域进行模型训练，得到目标检测模型。上述方法得到的目标检测模型对象检测准确度高。
Description
本申请是于2019年06月18日提交中国专利局，申请号为201910528002.0，发明名称为“检测模型训练方法、装置、计算机设备和存储介质”的分案申请，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像识别领域，特别是涉及检测模型训练方法、装置、计算机设备和存储介质。
背景技术
图像识别技术是指识别出图像所包括的物体的技术，是一种常见的图像处理的方式。相关技术中，可以通过机器学习模型对图像是否包括所识别的物体进行检测。在对机器学习模型进行模型训练时，可以获取包括目标物体的图像进行模型训练，使得机器学习模型学习到识别包括目标物体的图像的模型参数。然而，包括目标物体的图像一般比较大，而目标物体比较小，导致学习得到的模型对象检测准确度低。
发明内容
基于此，有必要针对上述学习得到的模型对象检测准确度低的问题，提供一种检测模型训练方法、装置、计算机设备和存储介质。
一种检测模型训练方法，所述方法包括：获取对第一样本图像进行分割得到的候选图像区域集合，所述候选图像区域集合包括多个候选图像区域；获取所述候选图像区域分别对应的第一关系度，所述第一关系度是将所述候选图像区域分别输入到第一检测模型，输出的所述候选图像区域包括目标对象的关系度，所述第一检测模型是基于所述第一样本图像进行模型训练得到的；获取所述候选图像区域分别对应的第二关系度，所述第二关系度是将所述候选图像区域分别输入到第二检测模型，输出的所述候选图像区域包括目标对象的关系度，所述第二检测模型是利用所述第二样本图像对所述第一检测模型进行模型训练得到的；根据所述第一关系度以及所述第二关系度得到关系度变化值，根据所述关系度变化值从所述候选图像区域集合中筛选出包括目标对象的目标图像区域；根据所述目标图像区域进行模型训练，得到目标检测模型，所述目标检测模型用于对待测图像进行对象检测。
一种检测模型训练装置，所述装置包括：候选图像区域集合获取模块，用于获取对第一样本图像进行分割得到的候选图像区域集合，所述候选图像区域集合包括多个候选图像区域；第一关系度获取模块，用于获取所述候选图像区域分别对应的第一关系度，所述第一关系度是将所述候选图像区域分别输入到第一检测模型，输出的所述候选图像区域包括目标对象的关系度，所述第一检测模型是基于所述第一样本图像进行模型训练得到的；第二关系度获取模块，用于获取所述候选图像区域分别对应的第二关系度，所述第二关系度是将所述候选图像区域分别输入到第二检测模型，输出的所述候选图像区域包括目标对象的关系度，所述第二检测模型是利用所述第二样本图像对所述第一检测模型进行模型训练得到的；目标图像区域筛选模块，用于根据所述第一关系度以及所述第二关系度得到关系度变化值，根据所述关系度变化值从所述候选图像区域集合中筛选出包括目标对象的目标图像区域；第一模型训练模块，用于根据所述目标图像区域进行模型训练，得到目标检测模型，所述目标检测模型用于对待测图像进行对象检测。
在其中一些实施例中，所述装置还包括：样本图像集合获取模块，用于获取样本图像集合，根据所述样本图像集合进行划分得到更新的第一样本图像和更新的第二样本图像，所述样本图像集合包括多个样本图像；所述第一模型训练模块包括：更新模块，用于根据所述目标图像区域对所述第二检测模型进行模型训练，得到第一样本图像对应的更新后的第一检测模型；返回模块，用于返回所述根据所述样本图像集合进行划分得到更新的第一样本图像和更新的第二样本图像的步骤，直至更新后的第一检测模型收敛，得到目标检测模型。
在其中一些实施例中，所述样本图像集合获取模块包括：将所述样本图像集合划分为多个样本图像组；以样本图像组为模型参数调整单位，从所述样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像；所述返回模块用于：返回所述以样本图像组为模型参数调整单位，从所述样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像的步骤。
在其中一些实施例中，所述第一关系度获取模块用于：将上一轮模型训练时，利用同一样本图像组进行模型训练得到的模型作为更新的第一检测模型，根据更新的第一检测模型获取所述候选图像区域分别对应的第一关系度；所述第二关系度获取模块用于：将当轮模型训练时，利用当前样本图像组的前向样本图像组进行模型训练得到的模型作为更新的第二检测模型，根据更新的第二检测模型获取所述候选图像区域分别对应的第二关系度。
在其中一些实施例中，所述装置还包括：分类模型获取模块，用于获取目标图像分类模型；第三关系度获取模块，用于将所述样本集中的各个样本图像对应的候选图像区域分别输入到所述目标图像分类模型中，输出各个样本图像的候选图像区域为目标对象所在的区域的第三关系度；第二图像区域筛选模块，用于基于所述第三关系度从所述候选图像区域集合中筛选出包括目标对象的第二图像区域；第二模型训练模块，用于基于所述第二图像区域进行模型训练，得到第一轮模型训练得到的检测模型。
在其中一些实施例中，所述目标图像区域筛选模块用于：从所述候选图像区域集合中筛选出所述关系度变化值满足预设变化条件的候选图像区域，作为包括目标对象的目标图像区域，所述预设变化条件包括关系度排序在预设排序之前或者所述关系度变化值大于预设变化值中的至少一个，所述关系度变化值排序按照从大到小的顺序进行排序。
在其中一些实施例中，所述目标图像区域筛选模块包括：将所述第二关系度减去或者除以所述第一关系度，得到关系度变化值。
在其中一些实施例中，所述装置还包括：图像重合度获取模块，用于获取所述目标图像区域与所述候选图像区域的图像重合度；第三图像区域获取模块，用于获取所述图像重合度大于第一预设重合度的候选图像区域，作为第三图像区域；所述第一模型训练模块用于：将所述第三图像区域以及所述目标图像区域作为正样本图像区域，根据所述正样本图像区域进行模型训练，得到目标检测模型。
在其中一些实施例中，所述装置还包括：图像重合度获取模块，用于获取所述目标图像区域与所述候选图像区域的图像重合度；第四图像区域获取模块，用于获取所述图像重合度小于第二预设重合度的候选图像区域，作为第四图像区域，所述第二预设重合度小于等于所述第一预设重合度；所述第一模型训练模块用于：将所述第四图像区域作为负样本图像区域，将所述目标图像区域组作为正样本图像区域；根据所述正样本图像区域以及所述负样本图像区域进行模型训练，得到目标检测模型。
在其中一些实施例中，所述装置还包括：待检测的图像获取模块，用于获取待检测的图像，将所述待检测的图像分割为多个第一图像区域；目标关系度得到模块，用于将各个所述第一图像区域分别输入到所述目标检测模型中，得到各个所述第一图像区域中包括目标对象的目标关系度；位置检测模块，用于基于所述目标关系度从所述第一图像区域中筛选得到包括目标对象的图像区域，得到目标对象在所述待检测的图像中的位置。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述检测模型训练方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述检测模型训练方法的步骤。
上述检测模型训练方法、装置、计算机设备和存储介质，第一检测模型是基于第一样本图像进行模型训练得到的，对第一样本图像的识别能力高，而基于第二样本图像继续训练得到的第二检测模型增强了模型的泛化性能即增强了模型对样本的适应能力。因此候选图像区域前后关系度的变化，能体现图像区域是否包括目标对象，故基于关系度变化值得到包括目标对象的区域的准确度高，因此能够从第一样本图像中找到包括目标对象的图像区域作为样本进行模型训练，训练得到的目标检测模型对象检测准确度高。
附图说明
图1为一些实施例中提供的检测模型训练方法的应用环境图；
图2为一些实施例中检测模型训练方法的流程图；
图3为一些实施例中为对样本图像进行分割得到候选图像区域的示意图；
图4为一些实施例中检测模型训练方法的流程图；
图5A为一些实施例中检测模型训练方法的流程图；
图5B为一些实施例中对对象检测模型进行模型训练的示意图；
图6为一些实施例中检测模型训练方法的流程图；
图7为一些实施例中检测模型训练方法的流程图；
图8为一些实施例中目标图像区域以及候选图像区域在样本图像的位置的示意图；
图9为一些实施例中检测模型训练方法的流程图；
图10为一些实施例中将待检测图像输入到目标检测模型中，输出的对象检测结果的示意图；
图11为一些实施例中检测模型训练装置的结构框图；
图12为一些实施例中计算机设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括计算机视觉技术以及机器学习/深度学习等方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请的方案涉及基于人工智能的图像识别技术。具体通过如下实施例进行说明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像区域称为第二图像区域，且类似地，可将第二图像区域称为第一图像区域。
图1为一些实施例中提供的检测模型训练方法的应用环境图。如图1所示，在该应用环境中，包括终端110以及服务器120。终端110可以通过摄像头拍摄图像，发送到服务器120中，服务器120中存储了根据本申请实施例提供的方法进行模型训练得到的目标检测模型，服务器120可以利用目标检测模型对拍摄的图像进行对象检测，得到图像中包括目标对象的具体位置，例如肿块在图像的位置。服务器120将标注出目标对象的位置的图像返回给终端110，终端110可以显示标注出目标对象的位置的图像。
在一些实施例中，也可以在终端110存储目标检测模型，由终端110执行利用目标检测模型检测目标对象在图像的位置的步骤。
服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、医学设备例如X射线设备等，但并不局限于此。终端110以及服务器120可以通过网络等通讯连接方式进行连接，本申请在此不做限制。
如图2所示，在一些实施例中，提出了一种检测模型训练方法，本实施例主要以该方法应用于上述图1中的服务器120来举例说明。具体可以包括以下步骤：
步骤S202，获取对第一样本图像进行分割得到的候选图像区域集合，候选图像区域集合包括多个候选图像区域。
具体地，样本图像是用于模型训练的图像。样本图像中含有目标对象，目标对象是指需要检测的物体，目标对象根据具体应用场景可以不同，例如可以是肿块、汽车或者行人等。“多个”是指至少两个。候选图像区域是对样本图像进行分割得到的图像区域，候选图像区域集合中的个数可以根据需要进行设置，例如可以是3000个，即可以将一张图像分割得到3000个图像区域。候选图像区域是小于第一样本图像的尺寸的，候选图像区域集合中的候选图像区域可以存在重叠的区域，也可以不存在重叠的区域。候选图像区域的大小可以相同也可以不同。例如，如图3所示，为对样本图像进行分割，得到候选图像区域的示意图，样本图像可以包括3个候选区域：A、B以及C。其中A与B存在重叠的区域，A与B的大小相同，C的图像尺寸小于A与B的图像尺寸。
在一些实施例中，候选图像区域的分割方法可以根据需要进行设置，例如，可以基于无监督算法，基于区域相似性将样本图像分割为多个图像区域。无监督得到候选区域的方法不需要标注，可以根据图像的底层视觉特征为依据提取高概率包含目标的区域，例如提取包括异常组织的结节或者肿块等病灶的区域。无监督候选区域生成方法可得到上千个可能含有目标的候选区域。无监督分割算法可以包括碎片聚合方法(grouping method)以及窗口打分方法(window scoring method)。其中，碎片聚合方法可以将图像划分为超像素块，通过聚合方法产生有可能包含目标的多个候选区域，例如可以采用MCG(multiscalecombinatorial grouping，多尺度组合分组)或者选择性搜索算法得到多个候选图像区域。窗口打分方例如可以是EdgeBox算法，EdgeBox是通过边缘特征提取,来进行目标检测的一种方法，该算法的可以通过包围框中包含完整轮廓的数量表示包括目标对象的概率，据此对该包围框进行评分，保留得分大于一定阈值的包围框对应的区域作为候选区域。
在一些实施例中，样本图像为钼靶图像，钼靶图像是指通过医学设备(如X线设备)拍摄得到的黑白影像。目标对象可以为肿块，例如乳腺癌肿块。模型训练的目的为可以通过最终得到的目标检测模型准确检测钼靶图像中肿块的位置。
步骤S204，获取候选图像区域分别对应的第一关系度，第一关系度是将候选图像区域分别输入到第一检测模型，输出的候选图像区域包括目标对象的关系度，第一检测模型是基于第一样本图像进行模型训练得到的。
具体地，关系度表示候选图像区域为目标对象所在的图像区域的可能性，即候选图像区域包括目标对象的可能性。关系度可以用概率来表示。一个图像区域对应的关系度越大，则表明该图像区域为目标对象所在的图像区域的可能性越大。检测模型是用来计算候选图像区域为目标对象所在的图像区域的关系度的网络模型，可以输出图像中目标对象所在的位置。目标对象所在的位置可以用目标对象的中心坐标、高度以及宽度表示，通过中心坐标、高度以及宽度可以确定一个位置区域，该位置区域为目标对象所在的位置。第一检测模型是基于第一样本图像进行模型训练得到的，第一样本图像可以包括一个或多个。例如假设第一样本图像为a，则第一检测模型是基于a进行模型训练得到的。在基于第一样本图像进行模型训练时，可以是将整个样本图像作为含有目标对象的图像，也可以是将样本图像进行分割，分割为多个候选图像区域，从中选取为目标对象所在的图像区域可能性大的区域，例如关系度大于预设关系度的区域进行模型训练，得到第一检测模型。
在进行模型训练时，可以采用有监督的训练方法，将图像输入到模型中，模型预测得到图像中目标对象所在的位置。根据目标对象在图像中的实际位置与预测得到的位置的差异得到损失值，差异越大，则损失值越大，可以采用梯度下降的方法朝着损失值变小的方向调整模型参数。在计算损失值时，可以根据预测得到的目标对象的位置的中心坐标与实际的目标对象的中心坐标的差异得到第一损失值，根据预测得到的关系度与实际的关系度得到第二损失值，根据第一损失值以及第二损失值得到总的损失值。也可以结合根据预测得到的宽度与实际的宽度的差异计算得到的损失值，以及根据预测得到的高度与实际的高度的差异计算得到的损失值得到总的损失值。
步骤S206，获取候选图像区域分别对应的第二关系度，第二关系度是将候选图像区域分别输入到第二检测模型，输出的候选图像区域包括目标对象的关系度，第二检测模型是利用第二样本图像对第一检测模型进行模型训练得到的。
具体地，第一样本图像和第二样本图像是不同的样本图像。第二检测模型是基于第一检测模型进行模型训练得到的，即是在进行模型训练得到第一检测模型后，利用第二样本图像继续进行模型训练得到的。第二样本图像可以包括多个。在基于第二样本图像进行模型训练时，可以是将整个第二样本图像作为含有目标对象的图像，也可以是将样本图像进行分割，分割为多个候选图像区域，从中选取为目标对象所在的图像区域可能性大的区域，例如关系度大于预设关系度的区域对第一检测模型继续进行模型训练，得到第二检测模型。
步骤S208，根据第一关系度以及第二关系度得到关系度变化值，根据关系度变化值从候选图像区域集合中筛选出包括目标对象的目标图像区域。
具体地，关系度变化值表示第一关系度到第二关系度的变化大小，关系度变化值可以用比值表示，也可以用差值表示。可以根据关系度变化值从候选图像区域集合中筛选出满足预设的关系度变化条件的候选图像区域，作为包括目标对象的目标图像区域，例如，将样本图像中，关系度变化值最大的候选图像区域作为目标图像区域。
在一些实施例中，可以将第二关系度减去或者除以第一关系度，得到关系度变化值。例如，假设第一关系度为0.6，第二关系度为0.92，则关系度变化值为0.92-0.6＝0.32。
在一些实施例中，可以从候选图像区域集合中筛选出关系度变化值满足预设变化条件的候选图像区域，作为包括目标对象的目标图像区域，预设变化条件包括关系度排序在预设排序之前或者关系度变化值大于预设变化值中的至少一个，关系度变化值排序按照从大到小的顺序进行排序。
具体地，预设排序可以根据需要设置，例如为2。预设变化值也可以根据需要设置为任意的正数，例如可以为0.4。关系度变化值排序是按照从大到小的顺序进行排序的，变化值越大，则排序越前。例如，假设候选图像区域有4个，对应的关系度变化值分别为0.43,0.32,0.41以及0.02，则0.43对应的候选图像区域排序为第1，0.41对应的候选图像区域排序为第2，0.32对应的候选图像区域排序为第3，0.02对应的候选图像区域排序为第4。
在一些实施例中，还可以根据关系度变化值从候选图像区域集合中筛选出不包括目标对象的图像区域，例如，可以将关系度变化值排序在第二预设排序之后，或者关系度变化值小于第二预设变化值的候选图像区域作为不包括目标对象的图像区域，第二预设变化值可以为负数，将这一类图像区域作为负样本对应的图像区域，进行模型训练。
步骤S210，根据目标图像区域进行模型训练，得到目标检测模型，目标检测模型用于对待测图像进行对象检测。
具体地，得到目标图像区域后，将目标图像区域作为包括目标对象的区域，即作为正样本，利用目标图像区域进行模型训练，得到目标检测模型。可以将根据目标图像区域进行训练得到的检测模型作为目标模型，也可以在利用目标图像区域进行模型训练之后，再采用其他样本图像继续进行训练，得到目标检测模型。目标检测模型是已经训练好的模型，可以用于对待检测的图像即待测图像进行对象检测。例如可以用于检测对象在图像中的位置，也可以用于检测图像中是否包括目标对象。
在一些实施例中，可以根据目标图像区域对第二检测模型进行训练，得到目标检测模型，即是在第二检测模型的模型参数的基础上，继续调整模型参数，得到目标检测模型。
在一些实施例中，还可以获取与目标图像区域重合度高的图像区域，例如大于预设重合度的图像区域，作为包括目标对象的图像区域。由于目标对象的位置可能涉及多个候选图像区域，但由于第一检测模型以及第二检测模型的误差，可能存在漏检测的情况，因此，通过重合度，可以将目标图像区域周围的图像区域也作为包括目标对象的图像区域。
上述检测模型训练方法，第一检测模型是基于第一样本图像进行模型训练得到的，对第一样本图像的识别能力高，而基于第二样本图像继续训练得到的第二检测模型增强了模型的泛化性能即增强了模型对样本的适应能力。因此候选图像区域前后关系度的变化，能体现图像区域是否包括目标对象，故基于关系度变化值得到包括目标对象的区域的准确度高，因此能够从第一样本图像中找到包括目标对象的图像区域作为样本进行模型训练，训练得到的目标检测模型准确度高。
在利用检测模型确定候选图像区域是否为包括目标对象的区域时，模型输出的候选图像区域的关系度的决定因素主要来自两方面，第一方面为该样本图像是否被当作正例样本训练了检测模型，如果被当作正例训练了检测模型，由于过拟合，利用模型训练后得到的第一检测模型对该候选图像区域进行评价，输出的关系度会比较高。第二方面为检测模型在其他样本图像进行训练后检测模型的分类能力得到增强，故利用其他样本图像对第一检测模型继续进行训练得到的第二检测模型分类能力增强，对包括目标对象的候选图像区域的打分值(即输出的关系度)也会提升。因此，如果利用其他样本图像(第二样本图像)进行训练得到的第二检测模型输出的候选图像区域的第二关系度大，则对应的关系度变化值会相对于同一样本图像的其他候选图像区域大，说明候选图像区域为包括目标对象的区域的可能性是比较高的。因为一个样本在上一次训练之后的分数到本次训练之前的时间内，由于没有被当作包括目标对象的样本再次训练对象检测模型，因而可以说明关系度变化值高是来自于第二方面的原因，即对象检测模型在训练其他样本过程中分类能力得到增强，且样本是包括目标对象的。所以两次训练之间的关系度变化值能合理体现一个候选图像区域是否包括目标对象。故可以将第一样本图像中，关系度变化大的候选图像区域作为包括目标对象的图像区域。
而如果候选图像区域是不包括目标对象的，即使将该候选图像区域作为包括目标对象的区域进行模型训练，在继续采用其他样本图像进行训练之后，利用第二检测模型进行关系度的预测，由于检测模型分类能力的增强，那么这个候选图像区域的关系度还是会很低，则说明不是包括目标对象的图像区域，故采用本申请实施例的方法，可以提高获取包括目标对象的图像区域的准确度。
在一些实施例中，如图4所示，在获取对第一样本图像进行分割得到的候选图像区域集合之前，还包括步骤S402：获取样本图像集合，根据样本图像集合进行划分得到更新的第一样本图像和更新的第二样本图像，样本图像集合包括多个样本图像。
具体地，样本图像集合中的图像的个数可以根据需要设置，例如是1000个。在进行模型训练时，可以利用样本图像集合进行模型训练，得到目标检测模型。样本图像集合中，第一样本图像和第二样本图像随着模型训练的进行，是不断进行更新的。例如，一个样本图像在某一时刻，是作为第一样本图像，而在另一时刻，则是作为第二样本图像的。例如，依次将样本图像集中的一个或多个图像作为第一样本图像，第一样本图像之外的样本图像作为第二样本图像。举个实际的例子，假设样本集合中有1000个样本图像，则第1次进行模型训练时，将第1个样本图像作为第一样本图像，当利用第1个样本图像进行模型训练后，再将第2个样本图像作为第一样本图像……以此类推，当利用第999个样本图像进行模型训练后，再将第1000个样本图像作为第一样本图像。
再如图4所示，步骤S210根据目标图像区域进行模型训练，得到目标检测模型可以包括以下步骤：
步骤S404，根据目标图像区域对第二检测模型进行模型训练，得到第一样本图像对应的更新后的第一检测模型。
具体地，根据目标图像区域对第二检测模型进行模型训练，将训练得到的模型作为基于该第一样本图像进行训练得到的模型，即将训练得到的模型更新该第一样本图像对应的第一检测模型。
步骤S406，判断更新后的第一检测模型是否收敛。
具体地，模型收敛可以是指模型的损失值小于预设阈值。收敛条件也可根据实际需求进行设置或者调整，例如也可以是当模型参数的变化小于预设值时，则可以认为满足收敛条件。如果第一检测模型收敛，则进入步骤S408，将更新后的第一检测模型作为目标检测模型。如果第一检测模型还没有收敛，则返回步骤S402,即返回根据样本图像集合进行划分得到更新的第一样本图像和更新的第二样本图像的步骤，将样本集合中的下一个或者下一组样本图像作为第一样本图像。直至更新后的第一检测模型收敛，得到目标检测模型。
可以理解，步骤S404中第一样本图像对应的更新后的第一检测模型是指对同样的第一样本图像训练得到的第一检测模型进行更新。当返回步骤S402后，由于第一样本图像变化了，因此，基于第一样本图像进行训练得到的第一检测模型也会变化。例如，假设第一样本图像为a，则被更新的第一检测模型是基于a进行训练得到的检测模型，假设在返回步骤S402后，更新的第一样本图像为b，则获取得到的第一检测模型是基于b进行训练得到的检测模型。当在下一次将a作为第一样本图像时，获取的才是a对应的更新后的第一检测模型。
步骤S408，将更新后的第一检测模型作为目标检测模型。
本申请实施例中，基于样本集合中的多个样本进行模型训练，样本集合中的第一样本图像是更新的，因此可以对模型进行多次训练，提高模型的准确度。
在一些实施例中，如图5A所示，步骤S402即根据样本图像集合进行划分得到更新的第一样本图像和更新的第二样本图像包括：
步骤S502,将样本图像集合划分为多个样本图像组。
具体地，一个样本图像组可以包括多个样本图像。样本图像组的个数可以根据需要设置，例如可以是100个。例如，假设样本图像集合有1000个样本图像，即可以每10个为一组，分成100组。
步骤S504,以样本图像组为模型参数调整单位，从样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像；
具体地，以样本图像组为模型参数调整单位是指以一组为训练单位，进行一次模型参数的调整。即以组为单位，每一组进行一次参数的梯度更新。在计算模型的损失值时，可以计算当前样本图像组中，第一样本图像的损失值的均值。非当前样本图像组是指不是当前样本图像组。从样本图像集合中依次获取当前样本图像组是指：按照顺序从样本图像集合中获取当前样本图像组。例如，假设有10个样本图像组，则在第1次模型训练时，将第1个样本图像组作为当前样本图像组，在第2次模型训练时，将第2个样本图像组作为当前样本图像组。因此在获取第一样本图像时，是以组为单位进行获取的，每一组调整一次模型参数，因此可以使得模型参数的调整更为准确。
在一些实施例中，如图5A所示，当第一模型没有收敛时，返回的是以样本图像组为模型参数调整单位，从样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像的步骤。
在一些实施例中，可以进行多轮的模型训练，获取候选图像区域分别对应的第一关系度包括：将上一轮模型训练时，利用同一样本图像组进行模型训练得到的模型作为更新的第一检测模型，根据更新的第一检测模型获取候选图像区域分别对应的第一关系度；获取候选图像区域分别对应的第二关系度包括：将当轮模型训练时，利用当前样本图像组的前向样本图像组进行模型训练得到的模型作为更新的第二检测模型，根据更新的第二检测模型获取候选图像区域分别对应的第二关系度。
具体地，一轮训练是指样本集合中的样本图像组均作为样本对检测模型进行了训练。例如，假设样本集合有1000个样本图像，分成100组，则这100组的样本图像组均依次作为当前样本图像组，进行了模型训练，则为一轮模型训练。本轮是指当前进行模型训练的一轮，上一轮是指本轮的前一轮。当在本轮利用当前样本图像组进行模型训练时，获取在上一轮模型训练时，利用同一样本图像组进行训练后，更新得到的模型作为该当前样本图像组对应的第一检测模型，即作为当前样本图像组中，各个第一样本图像对应的第一检测模型。对于当前样本图像组中的每一个第一样本图像，获取对应的候选图像区域，输入到第一检测模型中，第一检测模型输出候选图像区域包括目标对象的第一关系度。
前向样本图像组是指在本轮模型训练时，在该当前样本图像组之前已经作为第一样本图像对检测模型进行训练的样本图像组。对于当前样本图像组而言，第二检测模型是利用前向样本图像组进行模型训练得到的模型。对于当前样本图像组中的每一个第一样本图像，获取对应的候选图像区域，输入到第二检测模型中，第二检测模型输出候选图像区域包括目标对象的第二关系度。因此，对于同一候选图像区域，可以根据第一关系度以及第二关系度得到关系度变换值，对于每一个第一样本图像，可以根据关系度变化值从候选图像区域集合中筛选出包括目标对象的目标图像区域。
在一些实施例中，如果当前样本图像组是本轮训练的第一组样本图像组，则可以将上一轮最后训练得到的检测模型作为更新的第二检测模型。
获取目标图像区域的公式可以用公式(1)表示，对任意一张样本图像，它在第t+1轮的正例样本，即包括目标图像的图像区域包括：第二关系度减去第一关系度得到的关系度变化值最大的候选图像区域，第一关系度是利用该样本图像所在的样本图像组进行第t轮训练后得到的第一检测模型，对候选图像区域进行处理输出的。第二关系度是利用该样本图像的前一样本图像组进行第t+1轮训练后得到的第二检测模型，对候选图像区域进行处理输出的。其中Bi t+1为第t+1轮时，第二检测模型输出的第i个候选图像区域对应的第二关系度。Ai t为第t轮时，第一检测模型输出的第i个候选图像区域对应的第一关系度，
为第t+1轮中，该样本图像中筛选出的目标图像区域，argmax表示求最大值。
本申请实施例提供的对象检测模型训练方法，通过获取上一轮模型训练时，利用同一样本图像组进行训练后更新得到的模型作为第一检测模型，将当轮模型训练时，利用当前样本图像组的前向样本图像组进行模型训练得到的模型作为更新的第二检测模型。基于这两个模型输出的关系度的变化筛选出候选图像区域作为目标图像区域。因此，在不同轮的模型训练中，对于同一样本图像，其包括目标对象的图像区域是动态更新的，即正例样本是随着模型的训练，进行动态更新的，由于随着模型的训练，模型的准确度在不断的提高，因此，得到正例样本的准确度也在不断的提高，故可以达到样本质量和和模型检测能力的共同提高。
例如，以获取得到的样本图像为包括乳腺癌的图像为例，如图5B所示，得到乳腺钼靶扫描片后，可以基于无监督的候选框生成技术生成多个候选框，候选框框住的区域为候选图像区域，在每一轮的训练中，一个样本图像的目标图像区域可以是不断的进行更新的，获取更新后的目标图像区域对病灶检测器(即对象检测模型)进行训练，可以得到目标检测模型。例如，对于样本图像a，第1轮可以是第2个图像区域为目标图像区域，第2轮可以是第3个图像区域为目标图像区域
在一些实施例中，如图6所示，对象检测方法还可以包括以下步骤：
步骤S602，获取目标图像分类模型。
具体地，图像分类模型是用于区分图像中是否包括目标对象的模型，将图像输入到目标分类模型时，目标分类模型输出的是该图像是否包括目标对象的结果，例如，包括目标对象的关系度，目标图像分类模型可以是二分类网络模型。对象检测模型可以用于对目标对象在图像中的位置进行检测，也可以用于检测图像中是否包括目标对象，即也可以对图像进行分类。目标分类图像可以是基于样本集中的完整样本图像进行训练得到的模型，可以利用带有图像级别标注(即标注样本图像是否含有目标对象)的图像作为训练样本，训练识别图像是否包括目标对象的深度卷积神经网络。由于训练得到的是分类模型，因此可以不对样本集中的样本图像进行分割，也可以基于完整的样本图像训练得到分类模型。
目标分类模型的网络结构可为任意的图像分类网络结构，例如可以是ResNet(Residual Neural Network，残差网络)、AlexNet、或者GoogleNet等。GoogLeNet是谷歌公司推出的深度学习网络模型。目标检测模型可以任意的目标检测网络，例如可以是FasterRCNN(Regions with Convolutional Neural Network，区域卷积神经网络)、YOLO(YouOnly Look Once)或者RFCN(Region-based Fully Convolutional Networks，基于区域的全卷积网络)等。YOLO是一种目标检测算法，可以把目标检测(object detection)问题处理成回归问题，通过卷积神经网络结构对输入图像进行预测，预测到有目标对象的图像区域和类别概率。
步骤S604，将样本集中的各个样本图像对应的候选图像区域分别输入到目标图像分类模型中，输出各个样本图像的候选图像区域为目标对象所在的区域的第三关系度。
具体地，通过目标分类模型的模型参数，对候选图像区域进行处理，输出各个候选图像区域包括目标对象的关系度，作为第三关系度。
步骤S606，基于第三关系度从候选图像区域集合中筛选出包括目标对象的第二图像区域。
具体地，可以根据第三关系度，从候选图像区域中获取第三关系度大于关系度阈值或者关系度排名在预设排名之前的图像区域，作为包括目标对象的第二图像区域。关系度阈值根据需要设置，预设排名例如可以是2。关系度排名是按照从大到小的顺序进行排名的。例如，对于每一张样本图像，可以将第三关系度最大的候选图像区域作为第二图像区域。
步骤S608，基于第二图像区域进行模型训练，得到第一轮模型训练得到的检测模型。
具体地，在进行第一轮模型训练时，也是以样本图像组为模型参数调整单位，从样本图像集合中依次获取当前样本图像组进行模型训练的，因此可以得到第一轮训练时，各个样本图像组对应的第一检测模型，在进行第二轮的模型训练时，则可以获取第一轮训练时，利用同一样本图像组进行训练后得到的模型作为第一检测模型。由于在进行第一轮的模型训练时，并不存在上一轮训练得到的模型，因此无法基于关系度变化值获取目标图像区域，故可以利用已经预先训练得到的目标分类模型对候选图像区域进行打分(即输出关系度)，基于输出的关系度筛选出关系度高的图像区域作为包括目标对象的图像区域，得到第二图像区域后，将第二图像区域作为包括目标对象的区域，利用第二图像区域进行模型训练，得到第一轮模型训练得到的检测模型。因此，本申请实施例提供的对象检测模型训练方法，可以在样本图像只标注了是否包括目标对象，但并未标注目标对象的具体位置的情况下，进行模型的训练，得到第一轮模型训练得到的检测模型，使得后续轮次的模型训练，可以在第一轮训练得到的模型下进行。即本申请实施例提供的对象检测模型训练方法，可以是一种弱监督的模型训练方法。在模型训练时，即使在样本图像仅含图像级别标注(样本图像是否有目标对象)，不含精细的位置标注(即未标注目标对象在样本图像的具体位置)的情况下，也可以进行模型的训练，得到可以检测图像中目标对象的具体位置的模型。
在一些实施例中，如图7所示，对象检测模型训练方法还可包括以下步骤：
步骤S702，获取目标图像区域与候选图像区域的图像重合度。
具体地，图像重合度用于表示图像位置重合的程度，图像重合度越高，则表示位置重合的程度越高。可以计算目标图像区域与候选图像区域集合中，各个候选图像区域的图像重合度。
在一些实施例中，位置重合度可以根据第一面积以及第二面积的比值得到。第一面积为目标图像区域与候选图像区域在图像中的重合面积，即位置的交集对应的面积。第二面积为目标图像区域与候选图像区域在图像中的位置的并集所占的面积。图像重合度的计算方法可以用公式(2)表示，“I”表示位置重合度，area表示求面积，A指目标图像区域在图像的当前位置，B指候选图像区域在图像的参考位置。“∩”指求交集，“∪”指求并集。如图8所示，为一些实施例中目标图像区域以及候选图像区域在样本图像的位置的示意图。框A表示目标图像区域在图像中的位置。框B表示候选图像区域在图像中的位置。图8中一个格子表示一个像素点，根据图8可以得到，A与B重合的部分即交集共占6个像素点(第5行第4列至第6行第6列之间的像素点)。A和B的并集共占18个像素点，则位置重合度为6/18＝0.33。
I＝area(A∩B)/area(A∪B) (2)
步骤S704，获取图像重合度大于第一预设重合度的候选图像区域，作为第三图像区域。
具体地，第一预设重合度可以根据需要设置，例如可以为0.5。第三图像区域是指包括目标对象的图像区域。
步骤S210即根据目标图像区域进行模型训练，得到目标检测模型包括：将第三图像区域以及目标图像区域作为正样本图像区域，根据正样本图像区域进行模型训练，得到目标检测模型。
具体地，正样本图像区域是指包括目标对象的图像区域，对于正样本图像区域，其对应的为包括目标对象的关系度例如概率可以为1，即样本标签值可以为1。由于在基于关系度变化筛选包括目标对象的图像区域时，由于模型可能存在误差，而目标对象所占的位置可以是包括多个候选图像区域的，因此基于重合度获取与目标图像区域重合度高的候选图像区域，作为包括目标对象的图像区域，能够获取更多准确的正样本进行模型训练，提高了训练得到的模型的准确度。
在一些实施例中，还可以获取图像重合度小于第二预设重合度的候选图像区域，作为第四图像区域，第二预设重合度小于等于第一预设重合度。步骤S210即根据目标图像区域进行模型训练，得到目标检测模型包括：将第四图像区域作为负样本图像区域，将目标图像区域组作为正样本图像区域。根据正样本图像区域以及负样本图像区域进行模型训练，得到目标检测模型。
具体地，第二预设重合度可以小于也可以等于第一预设重合度，例如第二预设重合度可以为0.5。负样本图像区域是指不包括目标对象的图像区域，对于负样本图像区域，其对应的为包括目标对象的关系度可以为0，即样本标签值可以为0。
在一些实施例中，可以同时获取第三图像区域以及第四图像区域，将第三图像区域以及目标图像区域作为正样本图像区域，将第四图像区域作为负样本图像区域。根据正样本图像区域以及负样本图像区域进行模型训练，得到目标检测模型。
在一些实施例中，得到目标检测模型后，还可以使用目标检测模型进行对象检测，因此，如图9所示，对象检测模型训练方法还可以包括以下步骤：
步骤S902，获取待检测的图像，将待检测的图像分割为多个第一图像区域。
具体地，待检测的图像是需要检测目标对象的位置的图像。将目标图像分割为多个第一图像区域的方法也可以参照将样本图像分割为多个候选图像区域的方法，在此不再赘述。可以是由目标检测模型进行图像分割。
步骤S904，将各个第一图像区域分别输入到目标检测模型中，得到各个第一图像区域中包括目标对象的目标关系度。
具体地，目标检测模型可以根据训练得到的模型参数，对各个第一图像区域分别进行处理，预测得到各个第一图像区域中包括目标对象的目标关系度。
步骤S906，基于目标关系度从第一图像区域中筛选得到包括目标对象的图像区域，得到目标对象在待检测的图像中的位置。
具体地，目标检测模型在得到各个第一图像区域分别对应的目标关系度后，可以基于目标关系度从第一图像区域中筛选得到目标关系度大于预设关系度或者关系度排序大于预设排序的图像区域，作为包括目标对象的图像区域，得到包括目标对象的图像区域在待检测的图像中的位置，例如可以在待检测的图像中用标注框标出包括目标对象的图像区域，关系度排序是按照从大到小的顺序排序的。
例如，如图10所示，当得到待检测图像后，可以将待检测的图像输入到目标检测模型中，目标检测模型输出目标对象在待检测的图像中的位置，如图10中方框包围的区域所示，表示目标对象在待检测的图像中的位置。
以下为训练对图像中乳腺癌位置进行检测的模型为例，对本申请实施例提供的方法进行说明，可以包括以下步骤：
1、获取样本图像集合。
具体地，例如可以获取利用X射线医疗设备对人的乳腺进行拍摄得到的钼靶图像，样本图像集合中的样本图像可以为1万张。
2、将样本图像集合划分为多个样本图像组。
例如，可以是10张作为一个样本图像组，将样本图像集合划分为1000个样本图像组。
3、对样本图像集合中各个样本图像进行分割，得到各个样本图像对应的候选区域集合。
例如，可以利用MCG方法，对每一张钼靶图像分割，得到每一张图像对应的3000个候选图像区域，即一张钼靶图像可以有3000个候选框，一个候选框包围的位置为一个候选图像区域。
4、以样本图像组为模型参数调整单位，从样本图像集合中依次获取当前样本图像组。
具体地，当前样本图像组是不断的更新的，例如，首先可以将第1个样本图像组作为当前样本图像组，完成一次模型训练，对模型的参数进行更新。然后再获取第2个样本图像组，再完成一次模型训练，对模型的参数进行更新。直至第1000个样本图像组作为当前样本图像组，完成一轮的模型训练。
5、获取对第一样本图像进行分割得到的候选图像区域集合。
具体地，第一样本图像是当前样本图像组中的样本图像，由于在步骤3已经完成了对样本图像的分割，因此，可以直接从步骤3中得到的候选图像区域中，获取对第一样本图像进行分割得到的候选图像区域集合。
7、将上一轮模型训练时，利用同一样本图像组进行训练后更新得到的模型作为第一检测模型，根据第一检测模型获取候选图像区域分别对应的第一关系度。
具体地，可以进行多轮的模型训练。例如，在进行第二轮模型训练时，如果当前样本图像组为第8个样本图像组，则获取第一轮模型训练时，利用第8个样本图像组进行模型训练得到的模型作为第一检测模型。在进行第三轮模型训练时，如果当前样本图像组为第9个样本图像组，则获取第二轮模型训练时，利用第9个样本图像组进行模型训练得到的模型作为第一检测模型。将当前样本图像组中，各个样本图像对应的候选图像区域输入到第一检测模型中，得到候选图像区域对应的第一关系度。
在进行第一轮的模型训练时，由于不存在上一轮的模型训练，因此可以基于完整的样本图像训练得到目标分类模型，利用目标分类模型对样本图像的各个候选图像区域进行打分(即输出第三关系度)。对于每一个样本图像，将第三关系度最高的候选图像区域作为第二图像区域，基于第二图像区域进行第一轮的模型训练。
8、将当轮模型训练时，利用当前样本图像组的前向样本图像组进行模型训练得到的模型作为更新的第二检测模型，根据更新的第二检测模型获取候选图像区域分别对应的第二关系度。
例如，在进行第二轮模型训练时，如果当前样本图像组为第8个样本图像组，则获取第二轮模型训练时，利用第7个样本图像组进行模型训练得到的模型作为第二检测模型。在进行第三轮模型训练时，如果当前样本图像组为第9个样本图像组，则获取第三轮模型训练时，利用第8个样本图像组进行模型训练得到的模型作为第二检测模型。将当前样本图像组中，各个样本图像对应的候选图像区域输入到第二检测模型中，得到候选图像区域对应的第二关系度。
9、根据第一关系度以及第二关系度得到关系度变化值，根据关系度变化值从候选图像区域集合中筛选出包括目标对象的目标图像区域。
可以将第二关系度减去第一关系度，得到关系度变化值，对于每一个第一样本图像，将关系度变化值最大的候选图像区域作为该第一样本图像中包括乳腺癌的区域。
10、根据目标图像区域对第二检测模型进行模型训练，得到第一样本图像对应的更新后的第一检测模型。
11、判断第一检测模型是否收敛。
如果收敛，则将更新后的第一检测模型作为目标检测模型，即进入步骤12。如果不收敛，则返回步骤4。
12、将更新后的第一检测模型作为目标检测模型。
在进行对象检测模型训练时，通常是不对样本进行动态更新的，从而导致初始得到的样本在训练对象检测模型时一直作为训练样本使用。又因为对样本图像进行人工标注目标对象的位置的成本高，例如在样本图像中标注乳腺癌的具体位置需要专业的影像医生花费好几分钟才可能准确标注，且目标对象的位置标注缺少客观真值，受医生水平状态等主观因素影响大，因而标注大规模的目标对象位置在现实中非常困难。因此在模型训练时往往不对样本图像进行目标对象的位置标注，而将整张样本图像作为包括目标对象的图像，导致模型的精度上难以保证。
而采用本申请实施例提供的模型训练方法。可以在仅给定图像级别标注的情况下，先通过无监督的目标候选框技术得到可能含有目标对象如乳腺癌位置的候选图像区域，在进行第一轮的训练时，依靠利用完整的样本图像进行训练得到的目标分类模型输出候选图像区域为包括目标对象的第三关系度，并基于第三关系度筛选可能包括目标对象的图像区域，作为初始的训练样本，进行模型训练，得到第一轮模型训练得到的检测模型。
在后续的模型训练中，选取连续两轮训练之间关系度变化较高的候选图像区域，作为该训练迭代步下新的正例样本，因而可以动态更新对象检测模型的训练样本。连续两轮训练之间关系度的变化能体现候选图像区域在对象检测模型的泛化性能增强后对该候选图像区域的质量的评估，关系度正向提高越多的候选图像区域代表在最近两轮训练迭代之间被对象检测模型认为质量最高，即包括目标对象的可能性高，因而将有更高的置信度的图像区域作为包括目标对象的图像区域，进行模型的训练。因此，可以在一轮轮的模型训练中，通过不断选取更高质量的正例样本，达到样本质量和和检测器能力的共同提高，使对象检测模型的精度接近全监督的情况下，即由人工进行目标对象的位置标注的情况下训练得到的检测模型精度，并大量减轻模型训练对样本图像的目标对象的位置进行标注的需求。
如图11所示，在一些实施例中，提供了一种检测模型训练装置，该检测模型训练装置可以集成于上述的服务器120中，具体可以包括候选图像区域集合获取模块1102、第一关系度获取模块1104、第二关系度获取模块1106、目标图像区域筛选模块1108以及第一模型训练模块1110。
候选图像区域集合获取模块1102，用于获取对第一样本图像进行分割得到的候选图像区域集合，候选图像区域集合包括多个候选图像区域；
第一关系度获取模块1104，用于获取候选图像区域分别对应的第一关系度，
第一关系度是将候选图像区域分别输入到第一检测模型，输出的候选图像区域包括目标对象的关系度，第一检测模型是基于第一样本图像进行模型训练得到的；
第二关系度获取模块1106，用于获取候选图像区域分别对应的第二关系度，第二关系度是将候选图像区域分别输入到第二检测模型，输出的候选图像区域包括目标对象的关系度，第二检测模型是利用第二样本图像对第一检测模型进行模型训练得到的；
目标图像区域筛选模块1108，用于根据第一关系度以及第二关系度得到关系度变化值，根据关系度变化值从候选图像区域集合中筛选出包括目标对象的目标图像区域；
第一模型训练模块1110，用于根据目标图像区域进行模型训练，得到目标检测模型。
在其中一些实施例中，对象检测模型训练装置还包括：样本图像集合获取模块，用于获取样本图像集合，根据样本图像集合进行划分得到更新的第一样本图像和更新的第二样本图像，样本图像集合包括多个样本图像；第一模型训练模块1110包括：更新模块，用于根据目标图像区域对第二检测模型进行模型训练，得到第一样本图像对应的更新后的第一检测模型；返回模块，用于返回根据样本图像集合进行划分得到更新的第一样本图像和更新的第二样本图像的步骤，直至更新后的第一检测模型收敛，得到目标检测模型。
在其中一些实施例中，样本图像集合获取模块包括：将样本图像集合划分为多个样本图像组；以样本图像组为模型参数调整单位，从样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像；返回模块用于：返回以样本图像组为模型参数调整单位，从样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像的步骤。
在其中一些实施例中，第一关系度获取模块1104用于：将上一轮模型训练时，利用同一样本图像组进行模型训练得到的模型作为更新的第一检测模型，根据更新的第一检测模型获取候选图像区域分别对应的第一关系度；
第二关系度获取模块1106用于：将当轮模型训练时，利用当前样本图像组的前向样本图像组进行模型训练得到的模型作为更新的第二检测模型，根据更新的第二检测模型获取候选图像区域分别对应的第二关系度。
在其中一些实施例中，对象检测模型训练装置还包括：
分类模型获取模块，用于获取目标图像分类模型。
第三关系度获取模块，用于将样本集中的各个样本图像对应的候选图像区域分别输入到目标图像分类模型中，输出各个样本图像的候选图像区域为目标对象所在的区域的第三关系度。
第二图像区域筛选模块，用于基于第三关系度从候选图像区域集合中筛选出包括目标对象的第二图像区域。
第二模型训练模块，用于基于第二图像区域进行模型训练，得到第一轮模型训练得到的检测模型。
在其中一些实施例中，目标图像区域筛选模块1108用于：从候选图像区域集合中筛选出关系度变化值满足预设变化条件的候选图像区域，作为包括目标对象的目标图像区域，预设变化条件包括关系度排序在预设排序之前或者关系度变化值大于预设变化值中的至少一个，关系度变化值排序按照从大到小的顺序进行排序。
在其中一些实施例中，目标图像区域筛选模块1108用于：将第二关系度减去或者除以第一关系度，得到关系度变化值。
在其中一些实施例中，对象检测模型训练装置还包括：
图像重合度获取模块，用于获取目标图像区域与候选图像区域的图像重合度。
第三图像区域获取模块，用于获取图像重合度大于第一预设重合度的候选图像区域，作为第三图像区域。
第一模型训练模块1110用于：
将第三图像区域以及目标图像区域作为正样本图像区域，根据正样本图像区域进行模型训练，得到目标检测模型。
在其中一些实施例中，对象检测模型训练装置还包括：
图像重合度获取模块，用于获取目标图像区域与候选图像区域的图像重合度。
第四图像区域获取模块，用于获取图像重合度小于第二预设重合度的候选图像区域，作为第四图像区域，第二预设重合度小于等于第一预设重合度。
第一模型训练模块1110用于：将第四图像区域作为负样本图像区域，将目标图像区域组作为正样本图像区域；根据正样本图像区域以及负样本图像区域进行模型训练，得到目标检测模型。
在其中一些实施例中，对象检测模型训练装置还包括：
待检测的图像获取模块，用于获取待检测的图像，将待检测的图像分割为多个第一图像区域。
目标关系度得到模块，用于将各个第一图像区域分别输入到目标检测模型中，得到各个第一图像区域中包括目标对象的目标关系度。
位置检测模块，用于基于目标关系度从第一图像区域中筛选得到包括目标对象的图像区域，得到目标对象在待检测的图像中的位置。
图12示出了一些实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图12所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现检测模型训练方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行检测模型训练方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，本申请提供的检测模型训练装置可以实现为一种计算机程序的形式，计算机程序可在如图12所示的计算机设备上运行。计算机设备的存储器中可存储组成该检测模型训练装置的各个程序模块，比如，图11所示的候选图像区域集合获取模块1102、第一关系度获取模块1104、第二关系度获取模块1106、目标图像区域筛选模块1108以及第一模型训练模块1110。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的检测模型训练方法中的步骤。
例如，图12所示的计算机设备可以通过如图11所示的检测模型训练装置中的候选图像区域集合获取模块1102获取对第一样本图像进行分割得到的候选图像区域集合，候选图像区域集合包括多个候选图像区域；通过第一关系度获取模块1104获取候选图像区域分别对应的第一关系度，第一关系度是将候选图像区域分别输入到第一检测模型，输出的候选图像区域包括目标对象的关系度，第一检测模型是基于第一样本图像进行模型训练得到的；通过第二关系度获取模块1106获取候选图像区域分别对应的第二关系度，第二关系度是将候选图像区域分别输入到第二检测模型，输出的候选图像区域包括目标对象的关系度，第二检测模型是利用第二样本图像对第一检测模型进行模型训练得到的；通过目标图像区域筛选模块1108根据第一关系度以及第二关系度得到关系度变化值，根据关系度变化值从候选图像区域集合中筛选出包括目标对象的目标图像区域；通过第一模型训练模块1110根据目标图像区域进行模型训练，得到目标检测模型。
在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述检测模型训练方法的步骤。此处检测模型训练方法的步骤可以是上述各个实施例的检测模型训练方法中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述检测模型训练方法的步骤。此处检测模型训练方法的步骤可以是上述各个实施例的检测模型训练方法中的步骤。
应该理解的是，虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (18)
1.一种检测模型训练方法，所述方法包括：
获取样本图像集合，将所述样本图像集合划分为多个样本图像组，所述样本图像组包括多个样本图像；
从所述样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像；
获取对所述第一样本图像进行分割得到的候选图像区域集合，所述候选图像区域集合包括多个候选图像区域；
获取所述候选图像区域分别对应的第一关系度，所述第一关系度是将所述候选图像区域分别输入到第一检测模型，输出的所述候选图像区域包括目标对象的关系度，所述第一检测模型是基于所述当前样本图像组中的各个第一样本图像进行模型训练得到的；
获取所述候选图像区域分别对应的第二关系度，所述第二关系度是将所述候选图像区域分别输入到第二检测模型，输出的所述候选图像区域包括目标对象的关系度，所述第二检测模型是利用所述非当前样本图像组中的各个第二样本图像对所述第一检测模型进行模型训练得到的，其中，在训练第二检测模型时，以样本图像组为模型参数调整单位，每一组进行一次模型参数的梯度更新；
根据所述第一关系度以及所述第二关系度得到关系度变化值，根据所述关系度变化值从所述候选图像区域集合中筛选出包括目标对象的目标图像区域；将所述目标图像区域作为正样本图像区域；
将关系度变化值小于第二预设变化值的候选图像区域作为负样本图像区域；所述第二预设变化值为负数；
根据所述正样本图像区域以及所述负样本图像区域得到目标损失值，根据所述目标损失值调整模型参数，得到目标检测模型，所述目标损失值根据第一损失值以及第二损失值得到，根据所述正样本图像区域中目标对象的实际中心坐标与模型预测得到的目标对象的预测中心坐标的差异得到所述第一损失值，根据模型预测得到的关系度与样本图像区域对应的实际的关系度得到所述第二损失值。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标图像区域与所述候选图像区域的图像重合度；
获取所述图像重合度大于第一预设重合度的候选图像区域，作为第三图像区域，将所述第三图像区域作为正样本图像区域；
获取所述图像重合度小于第二预设重合度的候选图像区域，作为第四图像区域，将所述第四图像区域作为负样本图像区域。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将关系度变化值排序在第二预设排序之后的候选图像区域作为负样本图像区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述正样本图像区域以及所述负样本图像区域得到目标损失值，根据所述目标损失值调整模型参数，得到目标检测模型括：
根据所述正样本图像区域以及所述负样本图像区域得到目标损失值，根据所述目标损失值调整模型参数，得到第一样本图像对应的更新后的第一检测模型；
返回所述从所述样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像的步骤，直至更新后的第一检测模型收敛，得到目标检测模型。
5.根据权利要求4所述的方法，其特征在于，当确定更新后的第一检测模型对应的损失值小于预设阈值时，确定更新后的第一检测模型收敛。
6.根据权利要求1所述的方法，其特征在于，所述获取所述候选图像区域分别对应的第一关系度包括：
将上一轮模型训练时，利用同一样本图像组进行模型训练得到的模型作为更新的第一检测模型，根据更新的第一检测模型获取所述候选图像区域分别对应的第一关系度；
所述获取所述候选图像区域分别对应的第二关系度包括：
将当轮模型训练时，利用当前样本图像组的前向样本图像组进行模型训练得到的模型作为更新的第二检测模型，根据更新的第二检测模型获取所述候选图像区域分别对应的第二关系度。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取目标图像分类模型；
将所述样本集中的各个样本图像对应的候选图像区域分别输入到所述目标图像分类模型中，输出各个样本图像的候选图像区域为目标对象所在的区域的第三关系度；
基于所述第三关系度从所述候选图像区域集合中筛选出包括目标对象的第二图像区域；
基于所述第二图像区域进行模型训练，得到第一轮模型训练得到的检测模型。
8.根据权利要求1所述的方法，其特征在于，所述根据所述关系度变化值从所述候选图像区域集合中筛选出包括目标对象的目标图像区域；将所述目标图像区域作为正样本图像区域包括：
从所述候选图像区域集合中筛选出所述关系度变化值满足预设变化条件的候选图像区域，作为包括目标对象的目标图像区域，所述预设变化条件包括关系度排序在预设排序之前或者所述关系度变化值大于预设变化值中的至少一个，所述关系度变化值排序按照从大到小的顺序进行排序。
9.一种检测模型训练装置，所述装置包括：
样本图像集合获取模块，用于获取样本图像集合，将所述样本图像集合划分为多个样本图像组，所述样本图像组包括多个样本图像；从所述样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像；
候选图像区域集合获取模块，用于获取对所述第一样本图像进行分割得到的候选图像区域集合，所述候选图像区域集合包括多个候选图像区域；
目标图像区域筛选模块，用于获取所述候选图像区域分别对应的第一关系度，所述第一关系度是将所述候选图像区域分别输入到第一检测模型，输出的所述候选图像区域包括目标对象的关系度，所述第一检测模型是基于所述第一样本图像进行模型训练得到的；获取所述候选图像区域分别对应的第二关系度，所述第二关系度是将所述候选图像区域分别输入到第二检测模型，输出的所述候选图像区域包括目标对象的关系度，所述第二检测模型是利用所述第二样本图像对所述第一检测模型进行模型训练得到的；根据所述第一关系度以及所述第二关系度得到关系度变化值，根据所述关系度变化值从所述候选图像区域集合中筛选出包括目标对象的目标图像区域，将所述目标图像区域作为正样本图像区域；在训练第一检测模型时，以样本图像组为模型参数调整单位，每一组进行一次模型参数的梯度更新；
第一模型训练模块，用于根据所述正样本图像区域以及所述负样本图像区域得到目标损失值，根据所述目标损失值调整模型参数，得到目标检测模型，所述目标损失值根据第一损失值以及第二损失值得到，根据所述正样本图像区域中目标对象的实际中心坐标与模型预测得到的目标对象的预测中心坐标的差异得到所述第一损失值，根据模型预测得到的关系度与样本图像区域对应的实际的关系度得到所述第二损失值。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
图像重合度获取模块，用于获取所述目标图像区域与所述候选图像区域的图像重合度；
第三图像区域获取模块，用于获取所述图像重合度大于第一预设重合度的候选图像区域，作为第三图像区域；
第四图像区域获取模块，用于获取所述图像重合度小于第二预设重合度的候选图像区域，作为第四图像区域。
11.根据权利要求9所述的装置，其特征在于，所述装置还用于：
将关系度变化值排序在第二预设排序之后，或者关系度变化值小于第二预设变化值的候选图像区域作为负样本图像区域。
12.根据权利要求9所述的装置，其特征在于，所述第一模型训练模块用于：
根据所述正样本图像区域以及所述负样本图像区域得到目标损失值，根据所述目标损失值调整模型参数，得到第一样本图像对应的更新后的第一检测模型；
返回从所述样本图像集合中依次获取当前样本图像组，当前样本图像组的样本图像为第一样本图像，非当前样本图像组的样本图像为第二样本图像的步骤，直至更新后的第一检测模型收敛，得到目标检测模型。
13.根据权利要求12所述的装置，其特征在于，当确定更新后的第一模型检测模型对应的损失值小于预设阈值时，确定更新后的第一检测模型收敛。
14.根据权利要求9所述的装置，其特征在于，所述获取所述候选图像区域分别对应的第一关系度包括：
将上一轮模型训练时，利用同一样本图像组进行模型训练得到的模型作为更新的第一检测模型，根据更新的第一检测模型获取所述候选图像区域分别对应的第一关系度；
所述获取所述候选图像区域分别对应的第二关系度包括：
将当轮模型训练时，利用当前样本图像组的前向样本图像组进行模型训练得到的模型作为更新的第二检测模型，根据更新的第二检测模型获取所述候选图像区域分别对应的第二关系度。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
分类模型获取模块，用于获取目标图像分类模型；
第三关系度获取模块，用于将所述样本集中的各个样本图像对应的候选图像区域分别输入到所述目标图像分类模型中，输出各个样本图像的候选图像区域为目标对象所在的区域的第三关系度；
第二图像区域筛选模块，用于基于所述第三关系度从所述候选图像区域集合中筛选出包括目标对象的第二图像区域；
第二模型训练模块，用于基于所述第二图像区域进行模型训练，得到第一轮模型训练得到的检测模型。
16.根据权利要求9所述的装置，其特征在于，所述目标图像区域筛选模块用于：
从所述候选图像区域集合中筛选出所述关系度变化值满足预设变化条件的候选图像区域，作为包括目标对象的目标图像区域，所述预设变化条件包括关系度排序在预设排序之前或者所述关系度变化值大于预设变化值中的至少一个，所述关系度变化值排序按照从大到小的顺序进行排序。
17.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至8中任一项权利要求所述检测模型训练方法的步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至8中任一项权利要求所述检测模型训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910865059.XA CN110599503B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910528002.0A CN110245662B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
| CN201910865059.XA CN110599503B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910528002.0A Division CN110245662B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599503A CN110599503A (zh) | 2019-12-20 |
| CN110599503B true CN110599503B (zh) | 2021-05-28 |
Family
ID=67887879
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910849298.6A Active CN110490202B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
| CN201910865059.XA Active CN110599503B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
| CN201910528002.0A Active CN110245662B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910849298.6A Active CN110490202B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910528002.0A Active CN110245662B (zh) | 2019-06-18 | 2019-06-18 | 检测模型训练方法、装置、计算机设备和存储介质 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11842487B2 (zh) |
| EP (1) | EP3989119A4 (zh) |
| JP (1) | JP7208408B2 (zh) |
| KR (1) | KR20210122855A (zh) |
| CN (3) | CN110490202B (zh) |
| WO (1) | WO2020253629A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4174726A1 (en) * | 2021-11-02 | 2023-05-03 | Sony Group Corporation | Adapting a detection model |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490202B (zh) * | 2019-06-18 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 检测模型训练方法、装置、计算机设备和存储介质 |
| CN110852285B (zh) * | 2019-11-14 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 对象检测方法、装置、计算机设备和存储介质 |
| CN111179227B (zh) * | 2019-12-16 | 2022-04-05 | 西北工业大学 | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 |
| JP7490359B2 (ja) * | 2019-12-24 | 2024-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CN111508019A (zh) * | 2020-03-11 | 2020-08-07 | 上海商汤智能科技有限公司 | 目标检测方法及其模型的训练方法及相关装置、设备 |
| CN111462069B (zh) * | 2020-03-30 | 2023-09-01 | 北京金山云网络技术有限公司 | 目标对象检测模型训练方法、装置、电子设备及存储介质 |
| CN113515980B (zh) * | 2020-05-20 | 2022-07-05 | 阿里巴巴集团控股有限公司 | 模型训练方法、装置、设备和存储介质 |
| CN111696012A (zh) * | 2020-06-15 | 2020-09-22 | 中国医学科学院医学信息研究所 | 医疗影像远程教学方法、装置、设备及存储介质 |
| CN113822302A (zh) * | 2020-06-18 | 2021-12-21 | 北京金山数字娱乐科技有限公司 | 一种目标检测模型的训练方法及装置 |
| WO2022021029A1 (zh) * | 2020-07-27 | 2022-02-03 | 深圳市大疆创新科技有限公司 | 检测模型训练方法、装置、检测模型使用方法及存储介质 |
| CN114067350A (zh) * | 2020-07-31 | 2022-02-18 | 伊姆西Ip控股有限责任公司 | 模型更新方法、设备和计算机程序产品 |
| CN112148895B (zh) * | 2020-09-25 | 2024-01-23 | 北京百度网讯科技有限公司 | 检索模型的训练方法、装置、设备和计算机存储介质 |
| CN112489020B (zh) * | 2020-12-01 | 2023-05-23 | 济南博观智能科技有限公司 | 一种图像筛选方法、装置、电子设备及存储介质 |
| CN112508974A (zh) * | 2020-12-14 | 2021-03-16 | 北京达佳互联信息技术有限公司 | 图像分割模型的训练方法、装置、电子设备和存储介质 |
| CN112884782B (zh) * | 2021-03-02 | 2024-01-05 | 深圳市瑞图生物技术有限公司 | 生物对象分割方法、装置、计算机设备和存储介质 |
| CN112949767B (zh) * | 2021-04-07 | 2023-08-11 | 北京百度网讯科技有限公司 | 样本图像增量、图像检测模型训练及图像检测方法 |
| CN113255820B (zh) * | 2021-06-11 | 2023-05-02 | 成都通甲优博科技有限责任公司 | 落石检测模型训练方法、落石检测方法及相关装置 |
| CN113408496B (zh) * | 2021-07-30 | 2023-06-16 | 浙江大华技术股份有限公司 | 图像确定方法和装置、存储介质及电子设备 |
| CN113989558B (zh) * | 2021-10-28 | 2024-04-30 | 哈尔滨工业大学 | 基于迁移学习与边界框调节的弱监督目标检测方法 |
| CN115147348B (zh) * | 2022-05-05 | 2023-06-06 | 合肥工业大学 | 基于改进的YOLOv3的轮胎缺陷检测方法及系统 |
| CN117058498B (zh) * | 2023-10-12 | 2024-02-06 | 腾讯科技（深圳）有限公司 | 分割图评估模型的训练方法、分割图的评估方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898218A (zh) * | 2018-05-24 | 2018-11-27 | 阿里巴巴集团控股有限公司 | 一种神经网络模型的训练方法、装置、及计算机设备 |
| CN109460820A (zh) * | 2018-09-28 | 2019-03-12 | 深圳百诺国际生命科技有限公司 | 一种神经网络训练方法、装置、计算机设备和存储介质 |
| WO2019089192A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Aktiengesellschaft | Weakly-supervised semantic segmentation with self-guidance |
| CN109840588A (zh) * | 2019-01-04 | 2019-06-04 | 平安科技（深圳）有限公司 | 神经网络模型训练方法、装置、计算机设备及存储介质 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8160296B2 (en) * | 2005-04-15 | 2012-04-17 | Mississippi State University Research And Technology Corporation | Change analyst |
| JP4540661B2 (ja) * | 2006-02-28 | 2010-09-08 | 三洋電機株式会社 | 物体検出装置 |
| US8488863B2 (en) * | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
| JP5919665B2 (ja) * | 2011-07-19 | 2016-05-18 | 日本電気株式会社 | 情報処理装置、物体追跡方法および情報処理プログラム |
| JP6148265B2 (ja) | 2015-02-04 | 2017-06-14 | エヌ・ティ・ティ・コムウェア株式会社 | 学習装置、学習方法、およびプログラム |
| CN104881639B (zh) * | 2015-05-14 | 2018-06-26 | 江苏大学 | 一种基于层次tdp模型的人脸检测、分割和表情识别方法 |
| JP6639123B2 (ja) * | 2015-07-06 | 2020-02-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP6707920B2 (ja) * | 2016-03-14 | 2020-06-10 | 株式会社リコー | 画像処理装置、画像処理方法、およびプログラム |
| US10319094B1 (en) * | 2016-05-20 | 2019-06-11 | Ccc Information Services Inc. | Technology for capturing, transmitting, and analyzing images of objects |
| CN106529565B (zh) * | 2016-09-23 | 2019-09-13 | 北京市商汤科技开发有限公司 | 目标识别模型训练和目标识别方法及装置、计算设备 |
| US10424064B2 (en) * | 2016-10-18 | 2019-09-24 | Adobe Inc. | Instance-level semantic segmentation system |
| JP7054787B2 (ja) * | 2016-12-22 | 2022-04-15 | パナソニックＩｐマネジメント株式会社 | 制御方法、情報端末、及びプログラム |
| CN108229488B (zh) * | 2016-12-27 | 2021-01-01 | 北京市商汤科技开发有限公司 | 用于检测物体关键点的方法、装置及电子设备 |
| CN106919951B (zh) * | 2017-01-24 | 2020-04-21 | 杭州电子科技大学 | 一种基于点击与视觉融合的弱监督双线性深度学习方法 |
| US10489656B2 (en) * | 2017-09-21 | 2019-11-26 | NEX Team Inc. | Methods and systems for ball game analytics with a mobile device |
| US10504007B2 (en) * | 2017-10-27 | 2019-12-10 | Facebook, Inc. | Determination of population density using convoluted neural networks |
| CN107977707B (zh) * | 2017-11-23 | 2020-11-06 | 厦门美图之家科技有限公司 | 一种对抗蒸馏神经网络模型的方法及计算设备 |
| CN108470138A (zh) * | 2018-01-24 | 2018-08-31 | 博云视觉（北京）科技有限公司 | 用于目标检测的方法和装置 |
| CN108764292B (zh) * | 2018-04-27 | 2022-03-18 | 北京大学 | 基于弱监督信息的深度学习图像目标映射及定位方法 |
| CN110335269A (zh) * | 2018-05-16 | 2019-10-15 | 腾讯医疗健康(深圳)有限公司 | 眼底图像的类别识别方法和装置 |
| CN108985208A (zh) * | 2018-07-06 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 生成图像检测模型的方法和装置 |
| CN109034397B (zh) * | 2018-08-10 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、计算机设备及存储介质 |
| CN110956060A (zh) * | 2018-09-27 | 2020-04-03 | 北京市商汤科技开发有限公司 | 动作识别、驾驶动作分析方法和装置及电子设备 |
| CN109447149B (zh) * | 2018-10-25 | 2021-11-02 | 腾讯医疗健康(深圳)有限公司 | 一种检测模型的训练方法、装置及终端设备 |
| CN109697460B (zh) * | 2018-12-05 | 2021-06-29 | 华中科技大学 | 对象检测模型训练方法、目标对象检测方法 |
| CN109886402B (zh) * | 2019-01-10 | 2024-05-14 | 平安科技（深圳）有限公司 | 深度学习模型训练方法、装置、计算机设备及存储介质 |
| CN110490202B (zh) * | 2019-06-18 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 检测模型训练方法、装置、计算机设备和存储介质 |
| US11538262B2 (en) * | 2020-03-23 | 2022-12-27 | Zebra Technologies Corporation | Multiple field of view (FOV) vision system |
-
2019
- 2019-06-18 CN CN201910849298.6A patent/CN110490202B/zh active Active
- 2019-06-18 CN CN201910865059.XA patent/CN110599503B/zh active Active
- 2019-06-18 CN CN201910528002.0A patent/CN110245662B/zh active Active
-
2020
- 2020-06-12 WO PCT/CN2020/095854 patent/WO2020253629A1/zh unknown
- 2020-06-12 KR KR1020217029167A patent/KR20210122855A/ko not_active Application Discontinuation
- 2020-06-12 JP JP2021544225A patent/JP7208408B2/ja active Active
- 2020-06-12 EP EP20827868.9A patent/EP3989119A4/en active Pending
-
2021
- 2021-08-26 US US17/458,110 patent/US11842487B2/en active Active
-
2023
- 2023-11-01 US US18/386,229 patent/US20240062369A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019089192A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Aktiengesellschaft | Weakly-supervised semantic segmentation with self-guidance |
| CN108898218A (zh) * | 2018-05-24 | 2018-11-27 | 阿里巴巴集团控股有限公司 | 一种神经网络模型的训练方法、装置、及计算机设备 |
| CN109460820A (zh) * | 2018-09-28 | 2019-03-12 | 深圳百诺国际生命科技有限公司 | 一种神经网络训练方法、装置、计算机设备和存储介质 |
| CN109840588A (zh) * | 2019-01-04 | 2019-06-04 | 平安科技（深圳）有限公司 | 神经网络模型训练方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Deep Self-Taught Learning for Weakly Supervised Object Localization;Zequn Jie et al.;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171109;第4294-4301页 * |
| HCP: A Flexible CNN Framework for Multi-Label Image Classification;Yunchao Wei et al.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20160930;第38卷(第9期);第1901-1907页 * |
| 弱监督场景语义理解;赖百胜;《中国博士学位论文全文数据库 信息科技辑》;20190115;第2019年卷(第1期);第I138-93页 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4174726A1 (en) * | 2021-11-02 | 2023-05-03 | Sony Group Corporation | Adapting a detection model |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022518939A (ja) | 2022-03-17 |
| US20210390706A1 (en) | 2021-12-16 |
| CN110490202B (zh) | 2021-05-25 |
| CN110599503A (zh) | 2019-12-20 |
| EP3989119A1 (en) | 2022-04-27 |
| US11842487B2 (en) | 2023-12-12 |
| WO2020253629A1 (zh) | 2020-12-24 |
| KR20210122855A (ko) | 2021-10-12 |
| CN110490202A (zh) | 2019-11-22 |
| CN110245662B (zh) | 2021-08-10 |
| EP3989119A4 (en) | 2022-08-17 |
| CN110245662A (zh) | 2019-09-17 |
| US20240062369A1 (en) | 2024-02-22 |
| JP7208408B2 (ja) | 2023-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599503B (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
| US10282589B2 (en) | Method and system for detection and classification of cells using convolutional neural networks | |
| CN109117876B (zh) | 一种稠密小目标检测模型构建方法、模型及检测方法 | |
| CN109241903B (zh) | 样本数据清洗方法、装置、计算机设备及存储介质 | |
| CN110852285B (zh) | 对象检测方法、装置、计算机设备和存储介质 | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN111797683A (zh) | 一种基于深度残差注意力网络的视频表情识别方法 | |
| CN110826379B (zh) | 一种基于特征复用与YOLOv3的目标检测方法 | |
| CN111027493A (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
| CN111524137A (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN112070781A (zh) | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 | |
| CN109390053B (zh) | 眼底图像处理方法、装置、计算机设备和存储介质 | |
| CN112241952B (zh) | 大脑中线识别方法、装置、计算机设备及存储介质 | |
| CN113706481A (zh) | 精子质量检测方法、装置、计算机设备和存储介质 | |
| CN111539320B (zh) | 基于互相学习网络策略的多视角步态识别方法及系统 | |
| CN114549462A (zh) | 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN113435432B (zh) | 视频异常检测模型训练方法、视频异常检测方法和装置 | |
| CN117095180B (zh) | 基于分期识别的胚胎发育阶段预测与质量评估方法 | |
| CN114332457A (zh) | 图像实例分割模型训练、图像实例分割方法和装置 | |
| CN116486071A (zh) | 图像分块特征提取方法、装置及存储介质 | |
| CN115409938A (zh) | 三维模型构建方法、装置、设备及存储介质 | |
| Kamaruzaman et al. | Application of Deep Learning for Fig Fruit Detection in The Wild |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |