CN117095252A - 目标检测方法 - Google Patents
目标检测方法 Download PDFInfo
- Publication number
- CN117095252A CN117095252A CN202310879587.7A CN202310879587A CN117095252A CN 117095252 A CN117095252 A CN 117095252A CN 202310879587 A CN202310879587 A CN 202310879587A CN 117095252 A CN117095252 A CN 117095252A
- Authority
- CN
- China
- Prior art keywords
- sample
- target domain
- target
- domain
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 246
- 238000012549 training Methods 0.000 claims abstract description 270
- 238000000034 method Methods 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000012216 screening Methods 0.000 claims abstract description 59
- 238000013508 migration Methods 0.000 claims abstract description 20
- 230000005012 migration Effects 0.000 claims abstract description 20
- 238000009826 distribution Methods 0.000 claims description 123
- 239000003550 marker Substances 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 21
- 230000003902 lesion Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 30
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 210000001165 lymph node Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 210000005015 mediastinal lymph node Anatomy 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供目标检测方法,包括:确定目标域的待检测图像;将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到。在训练过程中考虑源域的训练样本和目标域的训练样本,从而实现模型从源域到目标域的迁移,使得训练后的目标检测模型在目标域也具有适用性,进一步保证目标检测模型在各领域的泛化性能和任务处理性能。
Description
技术领域
本说明书实施例涉及互联网技术领域,特别涉及目标检测方法。
背景技术
深度学习模型,特别是深度神经网络可以应用于多个领域进行图像分类、图像分割、目标检测等任务处理。比如在医学领域,通常可以利用深度学习模型实现病灶检测。实际应用中,经过训练的深度学习模型会被迁移到不同的医疗中心进行应用,也即是说,在源域经过训练的深度学习模型会被迁移到目标域,由于不同的医疗中心的图像数据往往呈现出不同的特点和分布,可能导致在源域经过训练的深度学习模型,难以适用于目标域,从而导致模型的泛化性能以及任务处理性能下降。因此,亟需一种有效的技术方案解决上述问题。
发明内容
有鉴于此,本说明书实施例提供了两种目标检测方法。本说明书一个或者多个实施例同时涉及两种目标检测装置,一种病灶检测方法,一种病灶检测装置,一种目标检测模型训练方法,一种目标检测模型训练装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种目标检测方法,包括:
确定目标域的待检测图像;
将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到。
根据本说明书实施例的第二方面,提供了一种目标检测装置,包括:
确定模块,被配置为确定目标域的待检测图像;
输入模块,被配置为将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到。
根据本说明书实施例的第三方面,提供了一种目标检测方法,应用于云侧设备,包括:
接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的待检测图像;
将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
将所述目标对象图像发送至所述端侧设备。
根据本说明书实施例的第四方面,提供了一种目标检测装置,应用于云侧设备,包括:
接收模块,被配置为接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的待检测图像;
输入模块,被配置为将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
发送模块,被配置为将所述目标对象图像发送至所述端侧设备。
根据本说明书实施例的第五方面,提供了一种病灶检测方法,应用于云侧设备,包括:
接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的医学影像扫描图像;
将所述医学影像扫描图像输入所述目标域对应的目标检测模型,获得所述医学影像扫描图像对应的病灶图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
将所述病灶图像发送至所述端侧设备。
根据本说明书实施例的第六方面,提供了一种病灶检测装置,应用于云侧设备,包括:
接收模块,被配置为接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的医学影像扫描图像;
输入模块,被配置为将所述医学影像扫描图像输入所述目标域对应的目标检测模型,获得所述医学影像扫描图像对应的病灶图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
发送模块,被配置为将所述病灶图像发送至所述端侧设备。
根据本说明书实施例的第七方面,提供了一种目标检测模型训练方法,应用于云侧设备,包括:
根据源域训练数据集中的源域标记样本、以及所述源域标记样本对应的第一标签,确定第一模型损失值;
根据目标域训练数据集,确定目标域初始样本;
根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本;
根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值;
根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,对目标检测模型进行调整,直至获得满足训练停止条件的目标检测模型。
根据本说明书实施例的第八方面,提供了一种目标检测模型训练装置,应用于云侧设备,包括:
第一确定模块,被配置为根据源域训练数据集中的源域标记样本、以及所述源域标记样本对应的第一标签,确定第一模型损失值;
第二确定模块,被配置为根据目标域训练数据集,确定目标域初始样本;
筛选模块,被配置为根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本;
第三确定模块,被配置为根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值;
训练模块,被配置为根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,对目标检测模型进行调整,直至获得满足训练停止条件的目标检测模型。
根据本说明书实施例的第九方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第十方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第十一方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述方法的步骤。
本说明书一个实施例提供了一种目标检测方法,确定目标域的待检测图像;将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到。
上述方法中,在对目标域的待检测图像进行处理时,可以利用训练的、目标域对应的目标检测模型进行处理。并且,在对目标检测模型进行训练过程中,可以根据源域标记样本、目标域初始样本和目标域标记样本对该目标检测模型进行训练,目标域标记样本可以根据预设样本选择策略和源域标记样本,在目标域初始样本中筛选得到,也即是说,在对目标检测模型进行训练的过程中,结合了源域中有标签的训练样本(即源域标记样本)和目标域中无标签的训练样本(即目标域初始样本),并且还结合了从目标域初始样本中筛选得到的目标域标记样本,在训练过程中考虑源域的训练样本和目标域的训练样本,从而实现模型从源域到目标域的迁移,使得训练后的目标检测模型在目标域也具有适用性,进一步保证目标检测模型在各领域的泛化性能和任务处理性能。
附图说明
图1示出了根据本说明书一个实施例提供的一种目标检测系统的结构示意图;
图2是本说明书一个实施例提供的一种目标检测方法的流程图;
图3示出了根据本说明书实施例提供的一种目标检测方法中、目标检测模型的训练过程示意图;
图4是本说明书一个实施例提供的一种目标检测方法的处理过程流程图;
图5是本说明书一个实施例提供的一种目标检测装置的结构示意图;
图6是本说明书一个实施例提供的另一种目标检测方法的流程图;
图7是本说明书一个实施例提供的另一种目标检测装置的结构示意图;
图8是本说明书一个实施例提供的一种病灶检测方法的流程图;
图9是本说明书一个实施例提供的一种病灶检测装置的结构示意图;
图10是本说明书一个实施例提供的一种目标检测模型训练方法的流程图;
图11是本说明书一个实施例提供的一种目标检测模型训练装置的结构示意图;
图12是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外,需要说明的是,本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
在本说明书中,提供了两种目标检测方法,本说明书同时涉及两种目标检测装置,一种病灶检测方法,一种病灶检测装置,一种目标检测模型训练方法,一种目标检测模型训练装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明书一个实施例提供的一种目标检测系统的结构示意图,目标检测系统100可以包括客户端102和服务端104;
客户端102,用于向服务端104发送待检测图像;
服务端104,将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到。向客户端102发送目标对象图像;
客户端102,还用于接收服务端104发送的目标对象图像。
上述系统中,在对目标域的待检测图像进行处理时,可以利用训练的、目标域对应的目标检测模型进行处理。并且,在对目标检测模型进行训练过程中,可以根据源域标记样本、目标域初始样本和目标域标记样本对该目标检测模型进行训练,目标域标记样本可以根据预设样本选择策略和源域标记样本,在目标域初始样本中筛选得到,也即是说,在对目标检测模型进行训练的过程中,结合了源域中有标签的训练样本(即源域标记样本)和目标域中无标签的训练样本(即目标域初始样本),并且还结合了从目标域初始样本中筛选得到的目标域标记样本,在训练过程中考虑源域的训练样本和目标域的训练样本,从而实现模型从源域到目标域的迁移,使得训练后的目标检测模型在目标域也具有适用性,进一步保证目标检测模型在各领域的泛化性能和任务处理性能。
实际应用中,目标检测系统可以包括多个客户端102以及服务端104。多个客户端102之间通过服务端104可以建立通信连接,在目标检测场景中,服务端104即用来在多个客户端102之间提供目标检测服务,多个客户端102可以分别作为发送端或接收端,通过服务端104实现通信。
用户通过客户端102可与服务端104进行交互以接收其它客户端102发送的数据,或将数据发送至其它客户端102等。在目标检测场景中,可以是用户通过客户端102向服务端104发布数据流,服务端104根据该数据流生成目标对象图像,并将目标对象图像推送至其他建立通信的客户端中。
其中,客户端102与服务端104之间通过网络建立连接。网络为客户端102与服务端104之间提供了通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。客户端102所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端104。
客户端102可以为浏览器、APP(Application,应用程序)、或网页应用如H5(HyperText Markup Language5,超文本标记语言第5版)应用、或轻应用(也被称为小程序,一种轻量级应用程序)或云应用等,客户端102可以基于服务端104提供的相应服务的软件开发工具包(SDK,Software Development Kit),如基于实时通信(RTC,Real TimeCommunication)SDK开发获得等。客户端102可以部署在电子设备中,需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等,如可以是个人移动终端如手机、平板电脑、个人计算机等端侧设备。在电子设备中通常还可以配置各种其它类应用,例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
服务端104可以包括提供各种服务的服务器,例如为多个客户端提供通信服务的服务器,又如为客户端上使用的模型提供支持的用于后台训练的服务器,又如对客户端发送的数据进行处理的服务器等。需要说明的是,服务端104可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content DeliveryNetwork)以及大数据和人工智能平台等基础云计算服务的云服务器(云侧设备),或者是带人工智能技术的智能云计算服务器或智能云主机。
值得说明的是,本说明书实施例中提供的目标检测方法一般由服务端执行,但是,在本说明书的其它实施例中,客户端也可以与服务端具有相似的功能,从而执行本说明书实施例所提供的目标检测方法。在其它实施例中,本说明书实施例所提供的目标检测方法还可以是由客户端与服务端共同执行。
参见图2,图2示出了根据本说明书一个实施例提供的一种目标检测方法的流程图,具体包括以下步骤。
步骤202:确定目标域的待检测图像。
具体的,本说明书实施例提供的目标检测方法可以应用于任意一个领域的目标检测任务。比如在医疗领域,可以利用该目标检测方法对医学影像扫描图像进行处理,从而实现对医学影像扫描图像中病灶的检测。或者,在电商领域,可以利用该目标检测方法对商品图像进行处理,从而确定图像中的商品信息。或者,在遥感领域,可以利用该目标检测方法对遥感图像进行处理,以获得兴趣点信息等。本说明书实施例在此不作限定。
为了便于理解,本说明书实施例中均以该目标检测方法应用于医疗场景为例进行详细介绍,但是不影响该目标检测方法应用于其他可实施场景的实现。
其中,目标域可以理解为目标检测模型需要迁移至的领域,该目标域中的训练样本为无标签样本。目标域与源域相对,源域中的训练样本为有标签样本。具体的,在对目标检测模型的迁移学习过程中,可以利用源域中的有标签样本对目标检测模型进行有监督训练,并将目标检测模型在源域学到的知识迁移到目标域,使得目标检测模型在目标域也能够试用。比如,源域为医疗中心A,该医疗中心A的训练样本丰富且为有标签样本,利用医疗中心A的训练样本对目标检测模型进行训练之后,需要将该目标检测模型迁移至医疗中心B,该医疗中心B的训练样本匮乏且为无标签样本,本说明书实施例提供的目标检测方法中,则需要根据医疗中心A的训练样本和医疗中心B的训练样本,实现对目标检测模型从医疗中心A到医疗中心B的迁移,进一步保证目标检测模型在医疗中心B的适用性。
步骤204:将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到。
具体的,在确定目标域的待检测图像之后,可以将该待检测图像输入至该目标域对应的目标检测模型中,以获得该待检测图像对应的目标对象图像。
其中,目标域对应的目标检测模型可以理解为从源域迁移至目标域的目标检测模型。待检测图像中可以包括目标对象,目标检测模型可以用于预测待检测图像中目标对象的位置,那么获得的待检测图像对应的目标对象图像可以理解为在待检测图像中标记了目标对象的位置的图像。标记可以以框选的形式体现。
比如待检测图像为医学影像扫描图像的情况下,目标对象可以为病灶,那么目标检测模型可以用于预测该医学影像扫描图像中病灶的位置,从而获得标记有该位置的病灶图像。
具体实施时,在将待检测图像输入目标域对应的目标检测模型之前,该目标域对应的目标检测模型需要进行训练,才能够实现从源域向目标域的迁移。参见图3,图3示出了根据本说明书实施例提供的一种目标检测方法中、目标检测模型的训练过程示意图,具体训练步骤如下述步骤302到步骤310所述。
步骤302:根据源域训练数据集中的源域标记样本、以及所述源域标记样本对应的第一标签,确定第一模型损失值。
其中,源域标记样本可以理解为源域中的有标签样本,源域标记样本对应的第一标签可以理解为该有标签样本的标签。第一标签比如可以是源域标记样本的类别,也可以是源域标记样本中目标对象的位置。可以理解的,源域标记样本为图像。
具体的,目标检测模型可以包括特征提取网络、区域提取网络、池化网络和分类网络。可以将源域标记样本输入目标检测模型,在目标检测模型中,依次经过特征提取网络、区域提取网络、池化网络和分类网络,从而获得目标检测模型输出的预测结果,根据该预测结果和第一标签,计算第一模型损失值。
其中,特征提取网络可以用于提取图像特征,区域提取网络可以用于在图像特征中确定多个候选预测区域,候选预测区域可以理解为目标对象可能存在的区域。池化网络能够对每个候选预测区域池化得到相同大小的特征向量,分类网络可以对每个特征向量进行类别和边框的预测。
实际应用中,区域提取网络(RPN网络)比如可以是是FCOS网络。
步骤304:根据目标域训练数据集,确定目标域初始样本。
其中,目标域初始样本可以理解为目标域中的无标签样本。可以理解的,目标域初始样本为图像。
步骤306:根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本。
其中,预设样本选择策略可以理解为在目标域初始样本中筛选代表性样本、不确定性样本和多样性样本的策略。目标域标记样本可以理解为从目标域中的无标签样本中筛选得到的有价值样本,对于筛选得到的目标域标记样本,后续可以进行人工打标,以进一步实现对目标检测模型的训练。
具体实施时,可以通过主动学习,在目标域初始样本中筛选得到目标域标记样本,具体实现方式如下:
所述根据预设样本选择策略和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本,包括:
将所述目标域训练数据集中各个目标域初始样本依次确定为第一目标域初始样本;
根据预设样本选择策略,计算所述第一目标域初始样本的分布概率密度和分类概率;
在根据所述分布概率密度确定所述第一目标域初始样本满足第一预设条件、或根据所述分类概率确定所述第一目标域初始样本满足第二预设条件的情况下,将所述第一目标域初始样本确定为目标域标记样本。
其中,第一目标域初始样本的分布概率密度可以用于表示第一目标域初始样本的代表性,即,可以用于表示第一目标域初始样本是否常见。第一目标域初始样本的分类概率可以用于表示第一目标域初始样本的不确定性。第一目标域初始样本满足第一预设条件,可以理解为第一目标域初始样本为代表性样本。第一目标域初始样本满足第二预设条件,可以理解为第二目标域初始样本为不确定性样本。
基于此,对于目标域训练数据集中的每个目标域初始样本,可以计算每个目标域初始样本的分布概率密度和分类概率,并根据分布概率密度确定该目标域初始样本是否为代表性样本,根据分类概率确定该目标域初始样本是否为不确定性样本。
综上,通过在目标域训练数据集中筛选满足代表性和不确定性的目标域标记样本,能够实现目标域和源域之间的对齐,从而进一步实现模型精化,保证目标检测模型从源域到目标域的迁移。
具体实施时,在计算第一目标域初始样本的分布概率密度时,可以分别计算其在目标域和源域的分布概率密度,以便于建立目标域和源域之间的关联关系,具体实现方式如下:
所述根据预设样本选择策略,计算所述第一目标域初始样本的分布概率密度和分类概率,包括:
根据预设样本选择策略,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度;
根据所述第一分布概率密度,计算所述第一目标域初始样本对应的样本特征的第一分类概率;
根据目标检测模型,预测所述第一目标域初始样本对应的样本特征的第二分类概率。
其中,目标域分布可以理解为目标域训练数据集在高斯下的分布,源域分布可以理解为源域训练数据集在高斯下的分布。第一目标域初始样本对应的样本特征可以理解为第一目标域初始样本的图像特征。第一目标域初始样本在目标域分布的第一分布概率密度,可以理解为第一目标域初始样本对应的样本特征在目标域分布的分布概率密度。第一目标域初始样本在源域分布的第二分布概率密度,可以理解为第一目标域初始样本对应的样本特征在源域分布的分布概率密度。第一目标域初始样本对应的样本特征的第一分类概率,可以理解为第一目标域初始样本对应的样本特征在特征空间的分类概率。
基于此,可以计算第一目标域初始样本在目标域分布的第一分布概率密度,并计算第一目标域初始样本在源域分布的第二分布概率密度,计算第一目标域初始样本对应的样本特征在特征空间的第一分类概率,并利用目标检测模型,预测第一目标域初始样本对应的样本特征的第二分类概率。
综上,通过计算第一目标域初始样本在目标域和源域的分布概率密度和分类概率,为后续筛选代表性样本和不确定性样本提供数据基础,进一步实现目标检测模型的迁移训练。
实际应用中,可以根据高斯模型计算分布概率密度和分类概率,具体实现方式如下:
所述根据预设样本选择策略,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度之前,还包括:
确定所述目标域初始样本对应的预测结果;
根据所述源域标记样本、所述源域标记样本对应的第一标签、所述目标域初始样本和所述目标域初始样本对应的预测结果,构建高斯模型;
相应地,所述根据预设样本选择策略,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度,包括:
根据所述高斯模型,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度;
所述根据所述第一分布概率密度,计算所述第一目标域初始样本对应的样本特征的第一分类概率,包括:
根据所述第一分布概率密度,利用所述高斯模型,计算所述第一目标域初始样本对应的样本特征在目标域的第一分类概率。
其中,目标域初始样本对应的预测结果可以理解为目标域初始样本中、目标对象的预测位置,或者还可以是目标域初始样本中、目标对象的类别信息。可以理解的,目标域初始样本对应的预测结果可以根据目标检测模型的处理任务确定。
具体的,可以利用目标检测模型,确定目标域初始样本对应的预测结果。
基于此,可以将目标域初始样本输入目标检测模型,获得目标检测模型输出的、目标域初始样本对应的预测结果,并根据源域标记样本、源域标记样本对应的第一标签、目标域初始样本、以及目标域初始样本对应的预测结果(可以理解为目标域初始样本的伪标签),构建高斯模型。相应地,在计算第一目标域初始样本的第一分布概率密度、第二分布概率密度和第一分类概率时,可以利用高斯模型进行计算。
实际应用中,可以根据源域标记样本和目标域初始样本的类型信息,构建每种类型对应的高斯模型。
具体的,第一分布概率密度的计算公式如下所示:
dT=pT(z|c).
其中,dT用于表示第一分布概率密度,T用于表示目标域,z用于表示第一目标域初始样本对应的样本特征,c表示类别。P用于表示概率密度函数。
第二分布概率密度的计算公式如下所示:
dS=pS(z|c).
其中,S用于表示源域,dS用于表示第二分布概率密度。
计算第一分类概率pf(c/z)的公式如下所示:
pf(c|z)=softmax(pT(z|c)).
综上,通过构建高斯模型,实现分布概率密度和分类概率的计算。
进一步地,所述目标域标记样本包括代表性目标域标记样本和不确定性目标域标记样本;
相应地,所述在根据所述分布概率密度确定所述第一目标域初始样本满足第一预设条件、或根据所述分类概率确定所述第一目标域初始样本满足第二预设条件的情况下,将所述第一目标域初始样本确定为目标域标记样本,包括:
根据所述第一分布概率密度和所述第二分布概率密度,计算分布概率密度差值;
在确定所述分布概率密度差值满足预设差值阈值的情况下,将所述第一目标域初始样本确定为代表性目标域标记样本;或者
根据所述第一分类概率和所述第二分类概率,计算分类概率熵值;
在确定所述分类概率熵值满足预设熵值阈值的情况下,将所述第一目标域初始样本确定为不确定性目标域标记样本。
其中,代表性目标域标记样本可以理解为在目标域训练数据集中常见、且在源域训练数据集中不常见的目标域标记样本。不确定性目标域标记样本可以理解为预测结果不确定的目标域标记样本。分布概率密度差值满足预设差值阈值,可以理解为分布概率密度差值大于预设差值阈值,可以理解的,分布概率密度差值越大,说明目标域初始样本在目标域训练数据集中的代表性越强。分类概率熵值满足预设熵值阈值,可以理解为分类概率熵值大于预设熵值阈值,可以理解的,分类概率熵值越大,说明目标域初始样本的不确定性越大。
关于目标域初始样本的不确定性,举例而言,目标域初始样本的类别可以是0,也可以是1,对该目标域初始样本的预测类别结果为0.9,此时根据该预测类别结果,可以确定该目标域初始样本的类别为1,由于0.9和1相互接近,此时该目标域初始样本的不确定性较小。若对该目标域初始样本的预测类别结果为0.5,此时根据该预测类别结果无法确定该目标域初始样本的类别,那么该目标域初始样本的不确定性较大。
基于此,本说明书一个实施例中,在确定代表性目标域标记样本时,可以根据预设差值阈值确定,将分布概率密度差值大于预设差值阈值的第一目标域初始样本确定为代表性目标域标记样本。
本说明书另一个实施例中,在确定代表性目标域标记样本时,还可以根据多个目标域初始样本的分布概率密度差值之间的排序结果确定代表性目标域标记样本。比如,可以将多个目标域初始样本的分布概率密度差值按照从大到小的顺序进行排序,根据排序结果将前K个目标域初始样本确定为代表性目标域标记样本。
实际应用中,计算分布概率密度差值的公式如下所示:
Q1=αlog(dT)-log(dS),
其中,Q1为分布概率密度差值的度量,α为超参数,可以用于表示向目标域和源域分布概率密度分配权重的域因子,通常取值为1。
而在确定不确定性目标域标记样本时,可以根据计算得到的第一分类概率、和目标检测模型预测得到的第二分类概率,计算分类概率熵值,并将分类概率熵值大于预设熵值阈值的第一目标域初始样本确定为不确定性目标域标记样本。
相应地,本说明书另一个实施例中,还可以根据多个目标域初始样本的分类概率熵值之间的排序结果确定不确定性目标域标记样本。
具体实施时,在根据第一分类概率和第二分类概率,计算分类概率熵值时,可以根据第一分类概率,计算第一熵值,根据第二分类概率,计算第二熵值,根据第一熵值和第二熵值,计算得到分类概率熵值。本说明书一个实施例中,可以对第一熵值和第二熵值进行相加,得到分类概率熵值。
计算第一熵值Hf(z)的公式如下所示:
计算第二熵值Hm(z)的公式如下所示:
其中,pm(c|z)为目标检测模型预测的第二分类概率。
计算分类概率熵值H(z)的公式如下所示:
H(z)=Hf+Hm.
综上,通过计算分布概率密度差值和分类概率熵值,能够实现代表性目标域标记样本和不确定性目标域标记样本的确定,从而实现对目标域初始样本中有价值样本的筛选,进一步实现目标检测模型的迁移学习。
实际应用中,可以确定多个代表性目标域标记样本和多个不确定性目标域标记样本,并对这些目标域标记样本进行多样性选择,从而去除冗余样本。并且,为了减少后续的人工打标预算,可以计算代表性目标域标记样本和不确定性目标域标记样本之间的样本分配比例,从而确定筛选出的代表性目标域标记样本和不确定性目标域标记样本的数量,具体实现方式如下:
所述目标域标记样本包括多个代表性目标域标记样本、以及多个不确定性目标域标记样本;
相应地,所述将所述第一目标域初始样本确定为代表性目标域标记样本之后,还包括:
根据各个代表性目标域标记样本之间的相似度,对所述多个代表性目标域标记样本进行筛选,获得第一预设数量个代表性目标域标记样本,其中,所述第一预设数量根据样本分配比例计算得到,所述样本分配比例为所述代表性目标域标记样本和所述不确定性目标域标记样本之间的分配比例;
所述将所述第一目标域初始样本确定为不确定性目标域标记样本之后,还包括:
根据各个不确定性目标域标记样本之间的相似度,对所述多个不确定性目标域标记样本进行筛选,获得第二预设数量个不确定性目标域标记样本,其中,所述第二预设数量根据所述样本分配比例计算得到。
其中,相似度可以理解为特征相似度。在计算样本分配比例时,可以根据源域分布和目标域分布之间的差异程度,计算代表性目标域标记样本和不确定性目标域标记样本之间的样本分配比例。在计算第一预设数量和第二预设数量时,可以根据样本标注预算和样本分配比例,计算第一预设数量和第二预设数量。
实际应用中,源域分布和目标域分布之间的差异程度,可以是源域分布和目标域分布之间的JS散度。
具体的,计算源域分布和目标域分布之间的JS散度的公式如下所示:
其中,JSD(pS|pT)为源域和目标域之间的JS散度。ES为源域分布的期望,ET为目标域分布的期望。pS(z)为源域的样本的样本特征在源域的分布概率密度,pT(z)为目标域的样本的样本特征在目标域的概率密度。
计算样本分配比例的公式如下所示:
其中,λ为样本分配比例,取值范围为0到1,当源域和目标域完全重叠时,取值为0,当源域和目标域完全分离时,取值为1。β为超参数,可以用于控制JS散度对样本标注预算的影响。
计算样本标注预算的公式如下所示:
其中,U可以理解为不确定性,为不确定性目标域标记样本的标注预算,r可以理解为代表性,/>为代表性目标域标记样本的标注预算,m为正整数,可以用于表示计算标注预算循环的个数。B为样本标注预算,其包括不确定性目标域标记样本的标注预算和代表性目标域标记样本的标注预算。
具体的,可以根据每个代表性目标域标记样本之间的特征相似度,确定特征相似度较小的代表性目标域标记样本,获得第一预设数量个代表性目标域标记样本。相应地,可以根据每个不确定性目标域标记样本之间的特征相似度,确定特征相似度较小的代表性目标域标记样本,获得第二预设数量个不确定性目标域标记样本。
实际应用中,在对多个代表性目标域标记样本和多个不确定性目标域标记样本进行筛选时,可以采用K-means++算法的初始化方法或者采用聚类算法实现。具体的,以对多个代表性目标域标记样本进行筛选为例进行说明,在采用K-means++算法的初始化方法时,可以计算新增的目标域标记样本和其他目标域标记样本的相似度平均值,将相似度平均值最小的新增的目标域标记样本筛选出来,从而获得第一预设数量个代表性目标域标记样本。在采用聚类算法时,可以在多个代表性目标域标记样本中,确定K个聚类中心,将距离每个聚类中心最近(即与聚类中心相似度最小)的代表性目标域标记样本筛选出来,从而获得第一预设数量个代表性目标域标记样本。
以代表性目标域标记样本的第一预设数量为2个进行举例说明,获取了4个代表性目标域标记样本之后,需要对这4个代表性目标域标记样本进行筛选,具体的,可以根据这4个代表性目标域标记样本中、每个代表性目标域标记样本的样本特征之间的相似度,确定这4个代表性目标域标记样本之间的样本特征分布,并在该样本特征分布中,确定距离最远(即代表相似度最小)的2个代表性目标域标记样本。
综上,通过对代表性目标域标记样本和不确定性目标域标记样本进行多样性选择,实现冗余样本的去除,并且,根据样本分配比例确定第一预设数量和第二预设数量,考虑到了样本的人工打标预算,同时节省了标注成本。
步骤308:根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值。
具体的,在目标域初始样本中筛选得到目标域标记样本之后,可以根据源域标记样本、目标域初始样本和目标域标记样本,计算第二模型损失值和第三模型损失值。
具体实施时,所述根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值,包括:
将所述源域标记样本、所述目标域初始样本和所述目标域标记样本中各个样本,依次确定为迁移训练样本;
对所述迁移训练样本进行分割处理,获得至少两个分割图像,其中,所述至少两个分割图像之间具有重叠区域;
将所述至少两个分割图像输入目标检测模型,在所述目标检测模型中,利用特征提取网络和映射网络对所述至少两个分割图像进行处理,获得至少两个特征图像;
在所述目标检测模型中,利用特征提取网络和区域提取网络对所述至少两个分割图像进行处理,获得所述重叠区域对应的至少两个预测前景特征;
根据所述至少两个特征图像,计算第二模型损失值,根据所述至少两个预测前景特征,计算第三模型损失值。
具体的,可以对源域标记样本、目标域初始样本和目标域标记样本中的每个样本进行类似的处理。具体的,在对每个样本进行处理时,即对迁移训练样本进行处理时,为了实现对比学习,可以将该迁移训练样本分割为至少两个分割图像,并将该至少两个分割图像输入目标检测模型。在目标检测模型中,为了学习特征的可判别性,可以利用特征提取网络和映射网络对至少两个分割图像进行处理,获得至少两个特征图像。并且,为了学习特征的不变性,可以利用特征提取网络和区域提取网络对至少两个分割网络进行处理,获得重叠区域对应的至少两个预测前景特征。
其中,区域提取网络可以对分割图像中的前景和背景进行像素级预测,为了使至少两个预测前景特征具有稳定的不变性特征,对于两个具有重叠区域的分割图像的输入,针对该重叠区域的预测是相同的,基于此,可以使获得的重叠区域对应的至少两个预测前景特征具有一致性,从而学习特征的不变性。特征提取网络可以对输入的至少两个分割图像提取图像特征,映射网络可以将针对至少两个分割图像提取的至少两个图像特征映射到一个低维空间,获得的至少两个特征图像为低维特征,即不损害原始特征的学习,又能提高对比学习的效率。
实际应用中,为了实现样本自身的监督,约束特征学习,同时节省算力资源消耗,可以将迁移训练样本分割成两个分割图像。
计算第三模型损失值的公式如下所示:
其中,LCR为第三模型损失值,为重叠区域对应的一个预测前景特征,/>为重叠区域对应的另一个预测前景特征。
综上,通过对至少两个分割图像进行处理,获得至少两个特征图像和至少两个预测前景特征,能够学习特征之间的可判别性和不变性,进一步提升目标检测模型的任务处理性能。
本说明书一个实施例中,为了进一步提升训练效果,在获得至少两个分割图像之后,还可以对该至少两个分割图像进行增强处理,获得至少两个增强图像,相应地,将至少两个增强图像输入目标检测模型,在目标检测模型中对该至少两个增强图像进行处理。
具体实施时,为了构成对比范式,可以在至少两个特征图像中确定对应的位置,具体实现方式如下:
所述根据所述至少两个特征图像,计算第二模型损失值,包括:
在第一特征图像中确定第一位置,其中,所述第一特征图像为所述至少两个特征图像中任意一个特征图像;
根据所述重叠区域,在第二特征图像中确定所述第一位置对应的第二位置,其中,所述第二特征图像为所述至少两个特征图像中、除所述第一特征图像之外的其他特征图像;
根据所述第一位置和所述第二位置,计算第二模型损失值。
以获得两个特征图像为例进行说明,具体的,可以根据重叠区域,在第一特征图像中确定第一位置,并根据该重叠区域,在第一特征图像中确定该第一位置对应的第二位置,根据该第一位置对应的特征图像和第二位置对应的特征图像,计算第二模型损失值。
相应地,在获得3个特征图像的情况下,可以根据重叠区域,在第1个特征图像中确定该第一位置,以及在第2个特征图像中确定该第一位置对应的第二位置2、以及在第3个特征图像中确定该第一位置对应的第二位置3,并根据第一位置、第二位置2和第二位置3计算第二模型损失值。
其中,第二位置可以理解为正样本。
相应地,还可以在第二特征图像中确定负样本,具体实现方式如下:
所述根据所述至少两个特征图像,计算第二模型损失值,还包括:
根据所述重叠区域,在所述第二特征图像中确定第三位置,其中,所述第三位置为所述第二特征图像中、除所述重叠区域之外的其他位置;
根据所述第一位置和所述第三位置,计算第二模型损失值。
其中,第一位置、第二位置和第三位置可以理解为特征图像中的像素点。
具体的,可以在第二特征图像中,随机采样该重叠区域之外的第三位置作为负样本,根据第一位置对应的特征图像和第三位置对应的特征图像,计算第二模型损失值。
实际应用中,计算第二模型损失值的公式如下所示:
其中,LCL为第二模型损失值,i、j和n为特征图像中、像素点的个数,i、j和n为正整数。zi为第i个像素点的像素点特征。可以用于表示正样本的像素点特征,τ为温度超参数,通常取值为0.5,/>可以用于表示负样本的像素点的特征。
综上,通过根据重叠区域,确定正样本和负样本,构成对比学习范式,使得目标点的特征与对应点相似而与其他点分离,从而使目标检测模型学习特征的可判别性。
步骤310:根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,对目标检测模型进行调整,直至获得满足训练停止条件的目标检测模型。
其中,训练停止条件比如可以是训练次数达到预设次数阈值和/或模型损失值达到预设损失值阈值。
具体的,可以根据第一模型损失值、第二模型损失值和第三模型损失值,计算目标模型损失值,并根据目标模型损失值,对目标检测模型的参数进行调整。
本说明书一个实施例中,目标模型损失值可以是第一模型损失值、第二模型损失值和第三模型损失值的和。本说明书另一个实施例中,目标模型损失值还可以是第一模型损失值、第二模型损失值和第三模型损失值的加权求和结果。本说明书实施例对目标模型损失值的计算方式不做限定。
此外,所述将所述第一目标域初始样本确定为目标域标记样本之后,还包括:
确定所述目标域标记样本对应的第二标签;
根据所述目标域标记样本和所述第二标签,对目标检测模型进行训练,直至获得满足训练停止条件的目标检测模型。
具体的,可以对目标域标记样本进行人工打标,获得目标域标记样本对应的第二标签。并将该目标域标记样本输入目标检测模型,获得目标检测模型输出的预测结果,并根据该预测结果和第二标签计算第四模型损失值,根据第四模型损失值对目标检测模型进行训练。
本说明书一个实施例中,可以在根据第一模型损失值、第二模型损失值和第三模型损失值,对目标检测模型进行训练,获得满足训练停止条件的目标检测模型之后,可以根据上述第四模型损失值,对该满足训练停止条件的目标检测模型继续进行训练。
本说明书另一个实施例中,可以根据第一模型损失值、第二模型损失值、第三模型损失值和第四模型损失值,对目标检测模型进行训练,直至获得满足训练停止条件的目标检测模型。
综上,通过对目标域标记样本进行人工打标,从而获得第二标签,并根据目标域标记样本和第二标签对目标检测模型进行训练,能够提升目标检测模型在目标域的适用性,从而进一步提升目标检测模型的泛化性能和任务处理性能。
参见下述表1,表1示出了针对淋巴结数据集的统计比较结果。
表1
其中,第一数据集和第二数据集中包括从某医院收集的食道癌患者的CT扫描数据,CT扫描区域包括纵膈和腹部,第一数据集中包括来自90名患者的857个3D淋巴结注释。第二数据集中包括来自85名患者的857个3D淋巴结注释。第三数据集中包括107肺癌患者的对比增强CT扫描数据,具有668个3D淋巴结注释。第四数据集中包括89名患者的三维纵膈淋巴结扫描数据。对每位患者进行CT扫描之后,可以根据CT图像生成具有病灶注释的边界框图像。第一数据集中,CT图像中的淋巴结的短轴直径范围为2.2到32.4,均值为6.6。
如下述表2所示,下表示出了本说明书一个实施例中提供的根据预设样本选择策略进行样本采样的方法与其他样本采样方法对于模型处理性能的比较。表2中,源域为前述第一数据集。目标域为前述第二数据集。在目标域中采样并标记的样本为0时,利用第一采样方法、第二采样方法、第三采样方法和第四采样方法获得的样本训练的模型在源域的处理性能为74.51,在目标域的处理性能为57.24,平均处理性能为65.88。根据表2可知,本方案提供的根据预设样本选择策略进行样本采样的方法获得的样本训练的模型在第一数据集和第二数据集的处理性能较好。
表2
相应地,如下述表3所示,源域为第四数据集,目标域为第一数据集。由表3可知,本方案提供的根据预设样本选择策略进行样本采样的方法获得的样本训练的模型在第一数据集和第四数据集的处理性能较好。
表3
以及,参见下述表4,源域1为第四数据集,源域2为第三数据集,目标域为第一数据集。由表4可知,本方案提供的根据预设样本选择策略进行样本采样的方法获得的样本训练的模型在第一数据集、第三数据集和第四数据集的处理性能较好。
表4
如下述表5所示,表5示出了针对本说明书实施例提供的目标检测模型训练方法不同版本的比较。比如,对于第一版本,不进行上述对比学习过程和一致性学习过程(即不计算第二模型损失值和第三模型损失值),指根据预设样本选择策略进行不确定性、代表性和多样性的样本选择,根据该第一版本的训练方法训练得到的目标检测模型,在选择的标记样本为0的情况下,在源域的性能为74.51、在目标域的性能为57.24、平均性能为35.88,在根据预设样本选择策略进行第一个循环的样本筛选获得目标域标记样本之后,训练得到的目标检测模型在源域的性能为77.13、在目标域的性能为67.08、平均性能为72.10。由表5可知,在经过对比学习和一致性学习、以及不确定性、代表性和多样性的样本选择之后训练得到的目标检测模型,即根据第八版本的训练方法训练得到的目标检测模型,在0标记样本的情况下、和在进行第一个循环的样本筛选获得的目标域标记样本的情况下,训练得到的目标检测模型的处理性能更好。
表5
如下表6所示,对于不同的训练方式,模型的任务处理效果不同。可见本说明书实施例中的目标检测模型的任务处理性能较好。
表6
可以理解的,上述表2至表6中,记载的均为模型的处理性能。
综上所述,上述方法中,在对目标域的待检测图像进行处理时,可以利用训练的、目标域对应的目标检测模型进行处理。并且,在对目标检测模型进行训练过程中,可以根据源域标记样本、目标域初始样本和目标域标记样本对该目标检测模型进行训练,目标域标记样本可以根据预设样本选择策略和源域标记样本,在目标域初始样本中筛选得到,也即是说,在对目标检测模型进行训练的过程中,结合了源域中有标签的训练样本(即源域标记样本)和目标域中无标签的训练样本(即目标域初始样本),并且还结合了从目标域初始样本中筛选得到的目标域标记样本,在训练过程中考虑源域的训练样本和目标域的训练样本,从而实现模型从源域到目标域的迁移,使得训练后的目标检测模型在目标域也具有适用性,进一步保证目标检测模型在各领域的泛化性能和任务处理性能。
下述结合附图4,以本说明书提供的目标检测方法在病灶检测的应用为例,对所述目标检测方法进行进一步说明。其中,图4示出了本说明书一个实施例提供的一种目标检测方法的处理过程流程图,具体包括以下步骤。
步骤402:端侧设备接收医学影像扫描图像,并将该医学影像扫描图像发送至云侧设备。
具体的,在某医疗中心,可以利用医学影像扫描设备为患者的患处进行扫描,获得医学影像扫描图像,医学影像扫描设备可以将扫描得到的医学影像扫描图像发送至端侧设备,端侧设备将该医学影像扫描图像发送至云侧设备。
或者,医学影像扫描设备也可以直接将医学影像扫描图像发送至云侧设备。
步骤404:云侧设备将该医学影像扫描图像输入目标检测模型,获得目标检测模型输出的病灶图像。
其中,云侧设备可以部署有该医疗中心对应的目标检测模型。
具体的,云侧设备可以将该医学影像扫描图像输入至目标检测模型,利用目标检测模型对医学影像扫描图像中的病灶位置进行检测,获得目标检测模型输出的标记有病灶位置的病灶图像。
步骤406:云侧设备将病灶图像发送至端侧设备。
步骤408:端侧设备通过展示界面展示该病灶图像。
具体的,端侧设备可以通过展示界面将该病灶图像展示给医疗中心的医疗人员。
综上所述,上述方法中,在对目标域的待检测图像进行处理时,可以利用训练的、目标域对应的目标检测模型进行处理。并且,在对目标检测模型进行训练过程中,可以根据源域标记样本、目标域初始样本和目标域标记样本对该目标检测模型进行训练,目标域标记样本可以根据预设样本选择策略和源域标记样本,在目标域初始样本中筛选得到,也即是说,在对目标检测模型进行训练的过程中,结合了源域中有标签的训练样本(即源域标记样本)和目标域中无标签的训练样本(即目标域初始样本),并且还结合了从目标域初始样本中筛选得到的目标域标记样本,在训练过程中考虑源域的训练样本和目标域的训练样本,从而实现模型从源域到目标域的迁移,使得训练后的目标检测模型在目标域也具有适用性,进一步保证目标检测模型在各领域的泛化性能和任务处理性能。
与上述方法实施例相对应,本说明书还提供了目标检测装置实施例,图5示出了本说明书一个实施例提供的一种目标检测装置的结构示意图。如图5所示,该装置包括:
确定模块502,被配置为确定目标域的待检测图像;
输入模块504,被配置为将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到。
一个可选的实施例中,所述装置还包括训练模块,被配置为:
根据源域训练数据集中的源域标记样本、以及所述源域标记样本对应的第一标签,确定第一模型损失值;
根据目标域训练数据集,确定目标域初始样本;
根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本;
根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值;
根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,对目标检测模型进行调整,直至获得满足训练停止条件的目标检测模型。
一个可选的实施例中,所述训练模块,进一步被配置为:
将所述目标域训练数据集中各个目标域初始样本依次确定为第一目标域初始样本;
根据预设样本选择策略,计算所述第一目标域初始样本的分布概率密度和分类概率;
在根据所述分布概率密度确定所述第一目标域初始样本满足第一预设条件、或根据所述分类概率确定所述第一目标域初始样本满足第二预设条件的情况下,将所述第一目标域初始样本确定为目标域标记样本。
一个可选的实施例中,所述训练模块,进一步被配置为:
根据预设样本选择策略,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度;
根据所述预设样本选择策略,计算所述第一目标域初始样本对应的样本特征在目标域的第一分类概率、以及所述第一目标域初始样本对应的样本特征在源域的第二分类概率。
一个可选的实施例中,所述训练模块,进一步被配置为:
确定所述目标域初始样本对应的预测结果;
根据所述源域标记样本、所述源域标记样本对应的第一标签、所述目标域初始样本和所述目标域初始样本对应的预测结果,构建高斯模型;
根据所述高斯模型,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度;
根据所述高斯模型,计算所述第一目标域初始样本对应的样本特征在目标域的第一分类概率、以及所述第一目标域初始样本对应的样本特征在源域的第二分类概率。
一个可选的实施例中,所述目标域标记样本包括代表性目标域标记样本和不确定性目标域标记样本;所述训练模块,进一步被配置为:
根据所述第一分布概率密度和所述第二分布概率密度,计算分布概率密度差值;
在确定所述分布概率密度差值满足预设差值阈值的情况下,将所述第一目标域初始样本确定为代表性目标域标记样本;或者
根据所述第一分类概率和所述第二分类概率,计算分类概率熵值;
在确定所述分类概率熵值满足预设熵值阈值的情况下,将所述第一目标域初始样本确定为不确定性目标域标记样本。
一个可选的实施例中,所述目标域标记样本包括多个代表性目标域标记样本、以及多个不确定性目标域标记样本;所述训练模块,进一步被配置为:
根据各个代表性目标域标记样本之间的相似度,对所述多个代表性目标域标记样本进行筛选,获得第一预设数量个代表性目标域标记样本,其中,所述第一预设数量根据样本分配比例计算得到,所述样本分配比例为所述代表性目标域标记样本和所述不确定性目标域标记样本之间的分配比例;
根据各个不确定性目标域标记样本之间的相似度,对所述多个不确定性目标域标记样本进行筛选,获得第二预设数量个不确定性目标域标记样本,其中,所述第二预设数量根据所述样本分配比例计算得到。
一个可选的实施例中,所述训练模块,进一步被配置为:
确定所述目标域标记样本对应的第二标签;
根据所述目标域标记样本和所述第二标签,对目标检测模型进行训练,直至获得满足训练停止条件的目标检测模型。
一个可选的实施例中,所述训练模块,进一步被配置为:
将所述源域标记样本、所述目标域初始样本和所述目标域标记样本中各个样本,依次确定为迁移训练样本;
对所述迁移训练样本进行分割处理,获得至少两个分割图像,其中,所述至少两个分割图像之间具有重叠区域;
将所述至少两个分割图像输入目标检测模型,在所述目标检测模型中,利用特征提取网络和映射网络对所述至少两个分割图像进行处理,获得至少两个特征图像;
在所述目标检测模型中,利用特征提取网络和区域提取网络对所述至少两个分割图像进行处理,获得所述重叠区域对应的至少两个预测前景特征;
根据所述至少两个特征图像,计算第二模型损失值,根据所述至少两个预测前景特征,计算第三模型损失值。
一个可选的实施例中,所述训练模块,进一步被配置为:
在第一特征图像中确定第一位置,其中,所述第一特征图像为所述至少两个特征图像中任意一个特征图像;
根据所述重叠区域,在第二特征图像中确定所述第一位置对应的第二位置,其中,所述第二特征图像为所述至少两个特征图像中、除所述第一特征图像之外的其他特征图像;
根据所述第一位置和所述第二位置,计算第二模型损失值。
一个可选的实施例中,所述训练模块,进一步被配置为:
根据所述重叠区域,在所述第二特征图像中确定第三位置,其中,所述第三位置为所述第二特征图像中、除所述重叠区域之外的其他位置;
根据所述第一位置和所述第三位置,计算第二模型损失值。
综上所述,上述装置中,在对目标域的待检测图像进行处理时,可以利用训练的、目标域对应的目标检测模型进行处理。并且,在对目标检测模型进行训练过程中,可以根据源域标记样本、目标域初始样本和目标域标记样本对该目标检测模型进行训练,目标域标记样本可以根据预设样本选择策略和源域标记样本,在目标域初始样本中筛选得到,也即是说,在对目标检测模型进行训练的过程中,结合了源域中有标签的训练样本(即源域标记样本)和目标域中无标签的训练样本(即目标域初始样本),并且还结合了从目标域初始样本中筛选得到的目标域标记样本,在训练过程中考虑源域的训练样本和目标域的训练样本,从而实现模型从源域到目标域的迁移,使得训练后的目标检测模型在目标域也具有适用性,进一步保证目标检测模型在各领域的泛化性能和任务处理性能。
上述为本实施例的一种目标检测装置的示意性方案。需要说明的是,该目标检测装置的技术方案与上述的目标检测方法的技术方案属于同一构思,目标检测装置的技术方案未详细描述的细节内容,均可以参见上述目标检测方法的技术方案的描述。
参见图6,图6示出了根据本说明书一个实施例提供的另一种目标检测方法的流程图,应用于云侧设备,具体包括以下步骤。
步骤602:接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的待检测图像;
步骤604:将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
步骤606:将所述目标对象图像发送至所述端侧设备。
与上述方法实施例相对应,本说明书还提供了目标检测装置实施例,图7示出了本说明书一个实施例提供的另一种目标检测装置的结构示意图,应用于云侧设备。如图7所示,该装置包括:
接收模块702,被配置为接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的待检测图像;
输入模块704,被配置为将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
发送模块706,被配置为将所述目标对象图像发送至所述端侧设备。
参见图8,图8示出了根据本说明书一个实施例提供的一种病灶检测方法的流程图,应用于云侧设备,具体包括以下步骤。
步骤802:接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的医学影像扫描图像;
步骤804:将所述医学影像扫描图像输入所述目标域对应的目标检测模型,获得所述医学影像扫描图像对应的病灶图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
步骤806:将所述病灶图像发送至所述端侧设备。
与上述方法实施例相对应,本说明书还提供了病灶检测装置实施例,图9示出了本说明书一个实施例提供的一种病灶检测装置的结构示意图,应用于云侧设备。如图9所示,该装置包括:
接收模块902,被配置为接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的医学影像扫描图像;
输入模块904,被配置为将所述医学影像扫描图像输入所述目标域对应的目标检测模型,获得所述医学影像扫描图像对应的病灶图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
发送模块906,被配置为将所述病灶图像发送至所述端侧设备。
参见图10,图10示出了根据本说明书一个实施例提供的一种目标检测模型训练方法的流程图,应用于云侧设备,具体包括以下步骤。
步骤1002:根据源域训练数据集中的源域标记样本、以及所述源域标记样本对应的第一标签,确定第一模型损失值;
步骤1004:根据目标域训练数据集,确定目标域初始样本;
步骤1006:根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本;
步骤1008:根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值;
步骤1010:根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,对目标检测模型进行调整,直至获得满足训练停止条件的目标检测模型。
与上述方法实施例相对应,本说明书还提供了目标检测模型训练装置实施例,图11示出了本说明书一个实施例提供的一种目标检测模型训练装置的结构示意图,应用于云侧设备。
如图11所示,该装置包括:
第一确定模块1102,被配置为根据源域训练数据集中的源域标记样本、以及所述源域标记样本对应的第一标签,确定第一模型损失值;
第二确定模块1104,被配置为根据目标域训练数据集,确定目标域初始样本;
筛选模块1106,被配置为根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本;
第三确定模块1108,被配置为根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值;
训练模块1110,被配置为根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,对目标检测模型进行调整,直至获得满足训练停止条件的目标检测模型。
综上所述,上述装置中,在对目标域的待检测图像进行处理时,可以利用训练的、目标域对应的目标检测模型进行处理。并且,在对目标检测模型进行训练过程中,可以根据源域标记样本、目标域初始样本和目标域标记样本对该目标检测模型进行训练,目标域标记样本可以根据预设样本选择策略和源域标记样本,在目标域初始样本中筛选得到,也即是说,在对目标检测模型进行训练的过程中,结合了源域中有标签的训练样本(即源域标记样本)和目标域中无标签的训练样本(即目标域初始样本),并且还结合了从目标域初始样本中筛选得到的目标域标记样本,在训练过程中考虑源域的训练样本和目标域的训练样本,从而实现模型从源域到目标域的迁移,使得训练后的目标检测模型在目标域也具有适用性,进一步保证目标检测模型在各领域的泛化性能和任务处理性能。
图12示出了根据本说明书一个实施例提供的一种计算设备1200的结构框图。该计算设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接,数据库1250用于保存数据。
计算设备1200还包括接入设备1240,接入设备1240使得计算设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1240可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)接口,等等。
在本申请的一个实施例中,计算设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图12所示的计算设备结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1200可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备1200还可以是移动式或静止式的服务器。
其中,处理器1220用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-On ly Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地区,根据专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种目标检测方法,包括:
确定目标域的待检测图像;
将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到。
2.根据权利要求1所述的方法,所述将所述待检测图像输入所述目标域对应的目标检测模型之前,还包括:
根据源域训练数据集中的源域标记样本、以及所述源域标记样本对应的第一标签,确定第一模型损失值;
根据目标域训练数据集,确定目标域初始样本;
根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本;
根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值;
根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,对目标检测模型进行调整,直至获得满足训练停止条件的目标检测模型。
3.根据权利要求2所述的方法,所述根据预设样本选择策略和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本,包括:
将所述目标域训练数据集中各个目标域初始样本依次确定为第一目标域初始样本;
根据预设样本选择策略,计算所述第一目标域初始样本的分布概率密度和分类概率;
在根据所述分布概率密度确定所述第一目标域初始样本满足第一预设条件、或根据所述分类概率确定所述第一目标域初始样本满足第二预设条件的情况下,将所述第一目标域初始样本确定为目标域标记样本。
4.根据权利要求3所述的方法,所述根据预设样本选择策略,计算所述第一目标域初始样本的分布概率密度和分类概率,包括:
根据预设样本选择策略,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度;
根据所述第一分布概率密度,计算所述第一目标域初始样本对应的样本特征的第一分类概率;
根据目标检测模型,预测所述第一目标域初始样本对应的样本特征的第二分类概率。
5.根据权利要求4所述的方法,所述根据预设样本选择策略,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度之前,还包括:
确定所述目标域初始样本对应的预测结果;
根据所述源域标记样本、所述源域标记样本对应的第一标签、所述目标域初始样本和所述目标域初始样本对应的预测结果,构建高斯模型;
相应地,所述根据预设样本选择策略,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度,包括:
根据所述高斯模型,计算所述第一目标域初始样本在目标域分布的第一分布概率密度、以及所述第一目标域初始样本在源域分布的第二分布概率密度;
所述根据所述第一分布概率密度,计算所述第一目标域初始样本对应的样本特征的第一分类概率,包括:
根据所述第一分布概率密度,利用所述高斯模型,计算所述第一目标域初始样本对应的样本特征在目标域的第一分类概率。
6.根据权利要求4所述的方法,所述目标域标记样本包括代表性目标域标记样本和不确定性目标域标记样本;
相应地,所述在根据所述分布概率密度确定所述第一目标域初始样本满足第一预设条件、或根据所述分类概率确定所述第一目标域初始样本满足第二预设条件的情况下,将所述第一目标域初始样本确定为目标域标记样本,包括:
根据所述第一分布概率密度和所述第二分布概率密度,计算分布概率密度差值;
在确定所述分布概率密度差值满足预设差值阈值的情况下,将所述第一目标域初始样本确定为代表性目标域标记样本;或者
根据所述第一分类概率和所述第二分类概率,计算分类概率熵值;
在确定所述分类概率熵值满足预设熵值阈值的情况下,将所述第一目标域初始样本确定为不确定性目标域标记样本。
7.根据权利要求6所述的方法,所述目标域标记样本包括多个代表性目标域标记样本、以及多个不确定性目标域标记样本;
相应地,所述将所述第一目标域初始样本确定为代表性目标域标记样本之后,还包括:
根据各个代表性目标域标记样本之间的相似度,对所述多个代表性目标域标记样本进行筛选,获得第一预设数量个代表性目标域标记样本,其中,所述第一预设数量根据样本分配比例计算得到,所述样本分配比例为所述代表性目标域标记样本和所述不确定性目标域标记样本之间的分配比例;
所述将所述第一目标域初始样本确定为不确定性目标域标记样本之后,还包括:
根据各个不确定性目标域标记样本之间的相似度,对所述多个不确定性目标域标记样本进行筛选,获得第二预设数量个不确定性目标域标记样本,其中,所述第二预设数量根据所述样本分配比例计算得到。
8.根据权利要求3所述的方法,所述将所述第一目标域初始样本确定为目标域标记样本之后,还包括:
确定所述目标域标记样本对应的第二标签;
根据所述目标域标记样本和所述第二标签,对目标检测模型进行训练,直至获得满足训练停止条件的目标检测模型。
9.根据权利要求2所述的方法,所述根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值,包括:
将所述源域标记样本、所述目标域初始样本和所述目标域标记样本中各个样本,依次确定为迁移训练样本;
对所述迁移训练样本进行分割处理,获得至少两个分割图像,其中,所述至少两个分割图像之间具有重叠区域;
将所述至少两个分割图像输入目标检测模型,在所述目标检测模型中,利用特征提取网络和映射网络对所述至少两个分割图像进行处理,获得至少两个特征图像;
在所述目标检测模型中,利用特征提取网络和区域提取网络对所述至少两个分割图像进行处理,获得所述重叠区域对应的至少两个预测前景特征;
根据所述至少两个特征图像,计算第二模型损失值,根据所述至少两个预测前景特征,计算第三模型损失值。
10.根据权利要求9所述的方法,所述根据所述至少两个特征图像,计算第二模型损失值,包括:
在第一特征图像中确定第一位置,其中,所述第一特征图像为所述至少两个特征图像中任意一个特征图像;
根据所述重叠区域,在第二特征图像中确定所述第一位置对应的第二位置,其中,所述第二特征图像为所述至少两个特征图像中、除所述第一特征图像之外的其他特征图像;
根据所述第一位置和所述第二位置,计算第二模型损失值。
11.根据权利要求10所述的方法,所述根据所述至少两个特征图像,计算第二模型损失值,还包括:
根据所述重叠区域,在所述第二特征图像中确定第三位置,其中,所述第三位置为所述第二特征图像中、除所述重叠区域之外的其他位置;
根据所述第一位置和所述第三位置,计算第二模型损失值。
12.一种目标检测方法,应用于云侧设备,包括:
接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的待检测图像;
将所述待检测图像输入所述目标域对应的目标检测模型,获得所述待检测图像对应的目标对象图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
将所述目标对象图像发送至所述端侧设备。
13.一种病灶检测方法,应用于云侧设备,包括:
接收端侧设备发送的图像处理请求,其中,所述图像处理请求携带有目标域的医学影像扫描图像;
将所述医学影像扫描图像输入所述目标域对应的目标检测模型,获得所述医学影像扫描图像对应的病灶图像,其中,所述目标检测模型基于源域训练数据集中的源域标记样本、目标域训练数据集中的目标域初始样本和目标域标记样本训练得到,所述目标域标记样本根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到;
将所述病灶图像发送至所述端侧设备。
14.一种目标检测模型训练方法,应用于云侧设备,包括:
根据源域训练数据集中的源域标记样本、以及所述源域标记样本对应的第一标签,确定第一模型损失值;
根据目标域训练数据集,确定目标域初始样本;
根据预设样本选择策略、所述目标域训练数据集和所述源域训练数据集,在所述目标域初始样本中筛选得到目标域标记样本;
根据所述源域标记样本、所述目标域初始样本和所述目标域标记样本,确定第二模型损失值和第三模型损失值;
根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,对目标检测模型进行调整,直至获得满足训练停止条件的目标检测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310879587.7A CN117095252A (zh) | 2023-07-17 | 2023-07-17 | 目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310879587.7A CN117095252A (zh) | 2023-07-17 | 2023-07-17 | 目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117095252A true CN117095252A (zh) | 2023-11-21 |
Family
ID=88777756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310879587.7A Pending CN117095252A (zh) | 2023-07-17 | 2023-07-17 | 目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117095252A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117681892A (zh) * | 2024-02-02 | 2024-03-12 | 中国科学院自动化研究所 | 面向矿区场景的自动驾驶数据选择方法和装置 |
-
2023
- 2023-07-17 CN CN202310879587.7A patent/CN117095252A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117681892A (zh) * | 2024-02-02 | 2024-03-12 | 中国科学院自动化研究所 | 面向矿区场景的自动驾驶数据选择方法和装置 |
CN117681892B (zh) * | 2024-02-02 | 2024-05-14 | 中国科学院自动化研究所 | 面向矿区场景的自动驾驶数据选择方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Khan et al. | Deep unified model for face recognition based on convolution neural network and edge computing | |
CN109344884B (zh) | 媒体信息分类方法、训练图片分类模型的方法及装置 | |
WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
Pastore et al. | Annotation-free learning of plankton for classification and anomaly detection | |
CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
CN113868497A (zh) | 一种数据分类方法、装置和存储介质 | |
CN112231570A (zh) | 推荐系统托攻击检测方法、装置、设备及存储介质 | |
CN114612743A (zh) | 深度学习模型的训练方法、目标对象识别方法和装置 | |
CN116168274A (zh) | 对象检测方法以及对象检测模型训练方法 | |
CN117095252A (zh) | 目标检测方法 | |
CN114898266B (zh) | 训练方法、图像处理方法、装置、电子设备以及存储介质 | |
CN114360038B (zh) | 基于深度学习的弱监督rpa元素识别方法及系统 | |
Kavitha et al. | Convolutional Neural Networks Based Video Reconstruction and Computation in Digital Twins. | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
Palle et al. | Automated image and video object detection based on hybrid heuristic-based U-net segmentation and faster region-convolutional neural network-enabled learning | |
Liu et al. | Salient object detection fusing global and local information based on nonsubsampled contourlet transform | |
CN115115910A (zh) | 图像处理模型的训练方法、使用方法、装置、设备及介质 | |
Qin et al. | Hybrid NSS features for no‐reference image quality assessment | |
Khodadadi et al. | Variable bit allocation method based on meta-heuristic algorithms for facial image compression | |
CN117058498B (zh) | 分割图评估模型的训练方法、分割图的评估方法及装置 | |
CN116778534B (zh) | 图像处理方法、装置、设备和介质 | |
CN117113096A (zh) | 数据处理方法 | |
CN117094959A (zh) | 图像处理方法、图像处理模型的训练方法 | |
Liang et al. | Ground‐based cloud recognition method based on an improved DeepLabV3+ model | |
CN114529937A (zh) | 社交关系识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |