CN112329844A - 图像目标分类方法及相关装置、设备、存储介质 - Google Patents
图像目标分类方法及相关装置、设备、存储介质 Download PDFInfo
- Publication number
- CN112329844A CN112329844A CN202011212261.1A CN202011212261A CN112329844A CN 112329844 A CN112329844 A CN 112329844A CN 202011212261 A CN202011212261 A CN 202011212261A CN 112329844 A CN112329844 A CN 112329844A
- Authority
- CN
- China
- Prior art keywords
- image
- classified
- target object
- initial
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013145 classification model Methods 0.000 claims abstract description 88
- 238000000605 extraction Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 abstract description 7
- 206010019695 Hepatic neoplasm Diseases 0.000 description 17
- 208000014018 liver neoplasm Diseases 0.000 description 17
- 238000002595 magnetic resonance imaging Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 210000004185 liver Anatomy 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 208000019425 cirrhosis of liver Diseases 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 208000019423 liver disease Diseases 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000003240 portal vein Anatomy 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000007882 cirrhosis Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000002597 diffusion-weighted imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 206010016654 Fibrosis Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Abstract
本申请公开了一种图像目标分类方法及相关装置、设备、存储介质，其中，图像目标分类方法包括：获取包含目标对象的至少一张待分类图像后，利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型。上述方案可以应用于包含肿瘤的至少一种期像医学图像中，以确定医学图像中的肿瘤的类型，即能够实现智能化目标分类，提高目标分类效率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像目标分类方法及相关装置、设备、存储介质。
背景技术
CT(Computed Tomography，计算机断层扫描)和MRI(Magnetic ResonanceImaging，核磁共振扫描)等医学图像在临床具有重要意义。以与肝脏相关的临床为例，扫描图像类别往往包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期等等，此外，扫描图像类别还可以包含与扫描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像等等。通过对医学图像的判别，有助于临床医生对疾病的了解。
目前，在疾病诊疗过程中，通常需要医生反复查看肿瘤等目标对象在医学图像上的征象，进而得出肿瘤所属类型，因此对医生依赖性很大，而且效率低下。
发明内容
本申请至少提供一种图像目标分类方法及相关装置、设备、存储介质。
本申请第一方面提供了一种图像目标分类方法，该图像目标分类方法包括获取包含目标对象的至少一张待分类图像，其中，所述至少一张待分类图像为属于至少一种扫描图像类别的医学图像；利用分类模型对所述至少一张待分类图像进行目标分类，得到所述目标对象的类型。
因此，获取包含目标对象的至少一张待分类图像后，利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型，由于利用分类模型对待分类图像进行目标分类，实现了智能化目标分类，且无需人工进行目标分类，可减小对人工依赖，提高目标分类效率。
其中，所述对所述至少一张待分类图像进行目标分类，得到所述目标对象的类型，包括：对所述至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息；其中，每组所述初始特征信息的尺寸不同；基于所述若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息；对所述最终特征信息进行分类，得到所述目标对象的类型。
因此，通过特征提取得到初始特征信息，从而基于初始特征信息得到最终特征信息后，则可对最终特征信息进行分类，得到目标对象的类型，故实现了利用目标对象的特征信息进行目标分类。
其中，在所述利用分类模型对所述至少一张待分类图像进行目标分类，得到所述目标对象的类型之前，所述方法还包括：基于所述待分类图像中所述目标对象对应的初始区域，得到所述目标对象的最终区域；所述对所述至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息，包括：利用所述最终区域对所述至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息；其中，在特征提取过程中，所述待分类图像中对应所述最终区域的权重高于所述待分类图像中其他区域的权重；和/或，所述初始特征信息中对应所述最终区域的特征比其他区域的特征更丰富。
因此，利用最终区域对待分类图像进行特征提取时，待分类图像中对应最终区域的权重高于待分类图像中其他区域的权重，故使得分类模型趋向于对最终区域提取细节更丰富的特征；和/或，初始特征信息中对应最终区域的特征比其他区域的特征更丰富；由此使得分类模型利用待分类图像的初始特征信息，能够更能学习到目标对象本身的特征信息，在一定程度上减小目标对象周围噪声干扰对目标分类的影响。
其中，所述基于所述待分类图像中所述目标对象对应的初始区域，得到所述目标对象的最终区域，包括：获取所述至少一张待分类图像中所述目标对象对应的初始区域的并集，以作为所述目标对象的最终区域。
因此，在目标对象的最终区域是待分类图像中目标对象的初始区域的并集的情况下，最终区域大于或等于任意一个初始区域，保证目标对象的最终区域能够包含不同待分类图像中的目标对象对应区域，从而在对待分类图像进行特征提取时，能够尽可能关注目标对象的特征信息。
其中，所述至少一张待分类图像包括未标注所述目标对象的初始区域的第一待分类图像和标注所述目标对象的初始区域的第二待分类图像；在所述基于所述待分类图像中所述目标对象对应的初始区域，得到所述目标对象的最终区域之前，所述方法还包括：利用所述分类模型检测到所述第一待分类图像未标注有所述目标对象的初始区域，并基于第二待分类图像上标注的所述目标对象的初始区域以及所述第二待分类图像与第一待分类图像的配准关系，确定所述第一待分类图像上所述目标对象的初始区域。
因此，可以利用分类模型为未标注目标对象初始区域的第一待分类图像确定目标对象的初始区域，从而补齐标注，使得待分类图像中均包括初始区域。
其中，在所述基于所述若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息之前，所述方法还包括：将每组所述初始特征信息转换为预设维度；和/或，所述基于所述若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息，包括：利用所述至少一组初始特征信息的权重，将所述至少一组初始特征信息进行融合，得到所述最终特征信息。
因此，将每组初始特征信息统一转换为预设维度，方便后续最终特征信息的获取。另外，由于每组初始特征信息均反映了目标对象的特征，可以利用至少一组初始特征信息的权重，将至少一层特征提取的不同尺寸的初始特征信息进行融合，得到最终特征信息，考虑较小尺寸的初始特征信息可能被压缩掉重要特征，通过综合不同尺寸的特征信息，能够得到较为综合和有用的最终特征信息，进而提高后续分类性能。
其中，每组所述初始特征信息的权重是在所述分类模型训练过程确定的。
因此，通过分类模型的迭代训练，来确定用于融合的初始特征信息的权重，以使得利用该权重融合得到的最终特征信息更能反映目标对象特征，进一步提高分类性能。
其中，所述预设维度为一维。
因此，可将每组初始特征信息转换为一维，实现数据统一化，而且便于后续融合。
其中，所述分类模型在训练过程中采用ArcFace损失函数确定所述分类模型的损失值；和/或，所述分类模型每次训练选择的批样本数据是利用数据生成器从样本数据集中选择的不同目标类型的数量为预设比例的样本数据。
因此，采用ArcFace损失函数确定分类模型的损失值，可使得同类目标对象的特征信息聚合、不同类目标对象的特征信息远离，进而提高目标对象的分类性能。另外，利用数据生成器从样本数据集中选择样本数据，将不同目标类型的数量为预设比例的样本数据作为批样本数据，使得训练分类模型的批样本数据的目标类型更均衡。
其中，所述获取包含目标对象的至少一张待分类图像，包括：分别从多张原始医学图像提取得到包含所述目标对象的待分类图像。
因此，实现待分类图像的获取，而且待分类图像可从原始医学图像中提取得到，相比直接采用原始医学图像，减少后续分类的图像尺寸，而且可一定程度上避免原始医学图像中的一些背景噪声，故可减少后续分类的处理资源损耗，且提高分类性能。
其中，所述分别从多张原始医学图像提取得到包含所述目标对象的待分类图像，包括：确定所述原始医学图像中所述目标对象的初始区域，按照所述预设比例扩大所述初始区域，得到待提取区域；从所述原始医学图像中提取所述待提取区域中的图像数据，得到所述待分类图像。
因此，初始区域是包含目标对象的区域，而按照预设比例扩大目标对象的初始区域，使得得到的待提取区域既包含目标对象，又包含目标对象周围的部分背景信息，以便将待提取区域中的图像数据提取作为待分类图像后，待分类图像能够囊括目标对象和部分背景信息。
其中，在所述分别从多张原始医学图像提取得到包含所述目标对象的待分类图像之前，所述方法还包括以下至少一个步骤：将所述原始医学图像重采样至预设分辨率；调整所述原始医学图像中的像素值范围；将所述原始医学图像进行归一化处理；检测到第一原始医学图像未标注有所述目标对象的初始区域，利用第二原始医学图像上标注的所述目标对象的初始区域以及所述第二原始医学图像与第一原始医学图像的配准关系，确定所述第一原始医学图像上所述目标对象的初始区域。
因此，通过统一分辨率、调整像素值范围、归一化处理、以及确定目标对象的初始区域等操作，可在从原始医学图像提取待分类图像之前，对原始医学图像进行预处理，统一待分类图像的图像参数，提高待分类图像的质量。
其中，所述原始医学图像和所述待分类图像为二维图像；或者，所述原始医学图像为三维图像，所述待分类图像为二维图像或三维图像。
因此，待分类图像是从原始医学图像中提取得到的，在原始医学图像为二维图像的情况下，待分类图像为二维图像；而在原始医学图像为三维图像的情况下，待分类图像的维度可以为二维或三维。
其中，所述原始医学图像为三维图像，所述待分类图像为对所述原始医学图像中所述目标对象最大面积所在层提取得到的二维图像。
因此，在原始医学图像为三维图像、待分类图形为二维图像的情况下，可以提取原始医学图像中目标对象最大面积所在层作为待分类图像，使得待分类图像中目标对象的提取范围较大，包含目标对象的信息更多，提高目标对象的分类精度。
本申请第二方面提供了一种图像目标分类装置，该图像目标分类装置包括：图像获取模块，用于获取包含目标对象的至少一张待分类图像，其中，所述至少一张待分类图像为属于至少一种扫描图像类别的医学图像；目标分类模块，用于利用分类模型对所述至少一张待分类图像进行目标分类，得到所述目标对象的类型。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像目标分类方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像目标分类方法。
上述方案，获取包含目标对象的至少一张待分类图像后，利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型，因此提出基于人工智能技术的图像目标分类方法，实现智能化目标分类。由于利用分类模型对待分类图像进行目标分类，不仅使得目标分类过程更加简单，减小对医生的依赖，提高目标分类速度和准确性，而且结合人工智能技术实现目标分类，以便辅助医生进行智能化疾病诊疗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请图像目标分类方法一实施例的流程示意图；
图2是本申请图像目标分类方法一实施例步骤S11的流程示意图；
图3是本申请图像目标分类方法一实施例步骤S12的流程示意图；
图4是本申请图像目标分类装置一实施例的框架示意图；
图5是本申请电子设备一实施例的框架示意图；
图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多张元素。
请参阅图1，图1是本申请图像目标分类方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取包含目标对象的至少一张待分类图像。
本公开实施例中，待分类图像可以为医学图像，包括但不限于CT(ComputedTomography，电子计算机断层扫描)图像、MR(Magnetic Resonance Imaging，磁共振成像图像)图像，在此不做限定。待分类图像可以均为CT图像，可以均为MR图像，还可以一部分为CT图像、一部分为MR图像，在此不作具体限定。在医学影像学诊断中，CT图像、MR图像是多期像或多序列成像，每个期像或序列显示出目标对象所在区域或其他区域的不同影像信息，多个期像或序列的特征进行有效地结合，能够更精准地明确病变性质。
待分类图像可以是对腹部、胸部等区域进行扫描得到的。例如，对腹部进行扫描得到的待分类图像可以包括肝脏、脾脏、肾脏等组织器官，对胸部进行扫描得到的待分类图像可以包括心脏、肺等组织器官，具体可以根据实际应用情况扫描得到待分类图像，在此不做限定。目标对象可以但不限于是肝脏肿瘤等需要利用本公开实施例的图像目标分类方法进行分类的对象。
至少一张待分类图像可以为属于至少一种扫描图像类别的医学图像。不同扫描图像类别的医学图像可用于显示目标对象不同的特征信息，因此可提高图像目标分类的精准度。在一些公开实施例中，扫描图像类别也可以称为上述期像和/或序列。不同扫描图像类别的图像可以是与时序有关和/或与扫描参数有关的图像。例如，扫描图像类别可以包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期；或者，扫描图像类别还可以包括与扫描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像。
以肝脏为例，动脉早期可以表示门静脉尚未增强，动脉晚期可以表示门静脉已被增强，门脉期可以表示门静脉已充分增强且肝脏血管已被前向性血流增强、肝脏软细胞组织在标记物下已达到峰值，延迟期可以表示门脉和动脉处于增强状态并弱于门脉期、且肝脏软细胞组织处于增强状态并弱于门脉期，其他扫描图像类别在此不再一一举例。当待分类图像为对其他脏器扫描得到的医学图像时，可以以此类推，在此不再一一举例。
步骤S12：利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型。
获取到包含目标对象的至少一张待分类图像后，利用分类模型对至少一张待分类图像进行目标分类，即可得到目标对象的类型。
在一公开实施例中，分类模型对至少一张待分类图像进行目标分类，得到目标对象属于不同类型的概率，将满足预设概率条件的类型作为目标对象的类型。预设概率条件包括但不限于概率值最大等。目标对象属于不同类型的概率可以是分类模型训练得到的。所述分类模型每次训练选择的批样本数据是利用数据生成器从样本数据集中选择的不同目标类型的数量为预设比例的样本数据。由于数据生成器随机选择包含等比例的不同目标类型的样本数据作为批样本数据，以免因某目标类型的样本数据出现太少而导致分类性能不均衡，因此，分类模型对至少一张待分类图像进行目标分类是通过大量批样本数据训练得到的，可以提高分类模型的分类性能。利用分类模型得到目标对象的类型，可辅助医生对目标对象的类型的确定，节省医生审阅待分类图像的时间。
在一公开实施例中，对至少一张待分类图像进行目标分类，得到目标对象的类型时，对至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息；基于若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息；对最终特征信息进行分类，得到目标对象的类型。
对至少一张待分类图像进行特征提取时，特征提取的层数可以为一层、两层甚至更多层。对至少一张待分类图像进行特征提取时，具体对哪些层进行特征提取可以通过人为设置获取得到、也可以是在训练分类模型时通过大量实验确定的，不作具体限定。对至少一张待分类图像进行一层特征提取，则对应得到一组初始特征信息。对至少一张待分类图像进行多层特征提取，则对应得到多组初始特征信息，其中，多层特征提取可以是连续的，也可以是间断的。初始特征信息可以为目标对象的特征图，反映目标对象在待分类图像中的特征信息。在一公开实施例中，分类模型为深度学习网络，该深度学习网络可包括编码器(encoder)或其变种、Resnet或者其变种，可以是VGG16或者其变种，也可以是其他的用于分类的网络模型结构。分类模型通过卷积层对至少一张待分类图像进行特征提取，不同卷积层对应不同层特征提取，得到不同组初始特征信息。
上述方案，获取包含目标对象的至少一张待分类图像后，利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型，因此提出基于人工智能技术的图像目标分类方法，实现了智能化目标分类，且无需人工进行目标分类，可减小对人工依赖，提高目标分类效率。
在一应用实施例中，为实现肝脏肿瘤的分类，获取包括肝脏肿瘤的至少一张待分类图像，利用分类模型对至少一张待分类图像进行目标分类，得到肝脏肿瘤的类型，无需人工对待分类图像进行分类，利用分类模型即可实现肝脏肿瘤的分类，以便医生获取到肝脏肿瘤的类型。
为了使至少一张待分类图像更加统一，在从原始医学图像中提取得到待分类图像之前，可以对原始医学图像进行图像预处理，进而分别从多张原始医学图像提取得到包含目标对象的待分类图像，以获取包含目标对象的至少一张待分类图像。请参阅图2，图2是本申请图像目标分类方法一实施例步骤S11的流程示意图。具体而言，可以包括如下步骤：
步骤S111：将原始医学图像重采样至预设分辨率。
预设分辨率的大小可自定义设置，可根据不同目标对象设置与目标对象对应的预设分辨率，从而将原始医学图像的分辨率统一至图像效果最佳的分辨率。
步骤S112：调整原始医学图像中的像素值范围。
通过调整原始医学图像的像素值范围，使原始医学图像的亮度和颜色更容易显示目标对象。原始医学图像的类别包括但不限于包括但不限于CT(Computed Tomography，电子计算机断层扫描)图像、MR(Magnetic Resonance Imaging，磁共振成像图像)等能够反映目标对象特征信息的图像，在此不做限定。若原始医学图像为CT图像，则可统一原始医学图像至预设窗宽窗位；若原始医学图像为MR图像，由于MR图像像素分布的动态范围变化较大，在一个具体的实施场景中，可以采用灰度累积分布函数下预设比例(例如，99.9％)对应的灰度值作为归一化的钳位值，从而能够加强MR图像数据的对比度，有利于提升后续图像目标分类的准确性。
步骤S113：将原始医学图像进行归一化处理。
在一公开实施例中，可以对原始医学图像进行归一化处理。归一化处理包括但不限于将原始医学图像的强度或者像素值归一化到预设范围(例如，0至1的范围)。
步骤S114：检测到第一原始医学图像未标注有目标对象的初始区域，利用第二原始医学图像上标注的目标对象的初始区域以及第二原始医学图像与第一原始医学图像的配准关系，确定第一原始医学图像上目标对象的初始区域。
在一个具体的实施场景中，可能并非所有原始医学图像均标注有目标对象的初始区域，因此，为了利用更多包含目标对象的待分类图像进行图像目标分类，提高图像目标分类的准确性，可补齐原始医学图像的初始区域。在检测到第一原始医学图像未标注有目标对象的初始区域，利用第二原始医学图像上标注的目标对象的初始区域以及第二原始医学图像与第一原始医学图像的配准关系，确定第一原始医学图像上目标对象的初始区域。在一公开实施例中，为了提升确定目标对象的初始区域的便利性，可以利用配准网络进行上述确定第一原始医学图像上目标对象的初始区域的步骤。
在分别从多张原始医学图像提取得到包含目标对象的待分类图像之前，图像目标分类方法可包括上述步骤S111-步骤S114的若干个步骤，上述步骤S111-步骤S114仅是示例性说明，在一公开实施例中可根据需要选取若干个步骤对原始医学图像进行预处理，也即上述步骤S111-步骤S114的个数可任意选择，在此不作具体限定。通过统一分辨率、调整像素值范围、归一化处理、以及确定目标对象的初始区域等操作，可在从原始医学图像提取待分类图像之前，对原始医学图像进行预处理，统一待分类图像的图像参数，提高待分类图像的质量。
在对原始医学图像进行预处理后，即可分别从多张原始医学图像提取得到包含目标对象的待分类图像，具体描述参阅后文步骤S115和步骤S116。
步骤S115：确定原始医学图像中目标对象的初始区域，按照预设比例扩大初始区域，得到待提取区域。
目标对象本身特征是判断其类型的主要依据，而目标对象周边可能存在多种噪声干扰，该噪声干扰会误导目标对象的分类。以目标对象为肝脏肿瘤为例，慢性肝病或者肝硬化背景、其他类型肿瘤、与肝脏肿瘤位置相近的血管等噪声干扰均会影响目标对象的分类精度，因此，确定原始医学图像中目标对象的初始区域，以作为待提取区域，使得待提取区域包含目标对象。在一公开实施例中，为将目标对象周围的背景信息作为目标分类的辅助信息，或者避免初始区域的确定误差，以提高待分类图像的获取精度，在确定原始医学图像中目标对象的初始区域后，可按照预设比例扩大初始区域，得到待提取区域。初始区域用于圈定目标对象在原始医学图像的位置。在一公开实施例中，可利用图像分割技术确定原始医学图像中目标对象的边界轮廓，标记边界轮廓形成初始区域。
步骤S116：从原始医学图像中提取待提取区域中的图像数据，得到待分类图像。
利用待提取区域从原始医学图像中提取图像数据，得到的待分类图像则包括目标对象。
原始医学图像可以为二维图像或者三维图像。在原始医学图像为二维图像的情况下，待分类图像为二维图像。在原始医学图像为三维图像的情况下，待分类图像可以为三维图像，又或者待分类图像可以为二维图像。具体地，由于三维图像由若干层二维图像组成，如在确定二维的待分类图像时，可以但不限于将目标对象面积最大所在层的二维图像作为待分类图像；将目标对象直径最大所在层的二维图像作为待分类图像；或者将所有二维图像中的中间层作为待分类图像；或者将所有二维图像中的任意一层作为待分类图像，在此不作具体限定。在一应用实施例中，原始医学图像为三维图像，而所述待分类图像为对所述原始医学图像中所述目标对象最大面积所在层提取得到的二维图像，从而可以提取原始医学图像中目标对象最大面积所在层作为待分类图像，使得待分类图像中目标对象的提取范围较大，包含目标对象的信息更多，进而可以提高目标对象的分类精度。通过上述方式，在对原始医学图像进行预处理后，确定原始医学图像中目标对象的初始区域，按照预设比例扩大初始区域，得到待提取区域；然后从原始医学图像中提取待提取区域中的图像数据，得到待分类图像。初始区域是包含目标对象的区域，而按照预设比例扩大目标对象的初始区域，使得得到的待提取区域既包含目标对象，又包含目标对象周围的部分背景信息，以便将待提取区域中的图像数据提取作为待分类图像后，待分类图像能够囊括目标对象和部分背景信息。
另外，分别从多张原始医学图像提取得到包含所述目标对象的待分类图像，实现待分类图像的获取，而且待分类图像可从原始医学图像中提取得到，相比直接采用原始医学图像，减少后续分类的图像尺寸，而且可一定程度上避免原始医学图像中的一些背景噪声，故可减少后续分类的处理资源损耗，且提高分类性能。
本公开实施例中，提出利用人工智能技术的分类模型对至少一张待分类图像进行目标分类，可以大大提高确定目标对象的类型的效率。请参阅图3，图3是本申请图像目标分类方法一实施例步骤S12的流程示意图。具体而言，可以包括如下步骤：
步骤S121：对至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息。
对至少一张待分类图像进行特征提取时，特征提取的层数可以为一层、两层甚至更多层。特征提取可以由卷积层实现，每个卷积层分别对至少一张待分类图像进行特征提取，得初始特征信息。对至少一张待分类图像进行特征提取时，具体对哪些层进行特征提取可以通过人为设置获取得到、也可以为训练分类模型时通过大量实验确定的，在此不作具体限定。对至少一张待分类图像进行一层特征提取，则对应得到一组初始特征信息，其中，该一层特征提取可以是任意一层，例如但不限于将最后一层特征提取得到的初始特征信息作为后续目标分类的依据。对至少一张待分类图像进行多层特征提取，则对应得到多组初始特征信息，其中，多层特征提取可以是连续的，也可以是间断的。初始特征信息可以为目标对象的特征图，反映目标对象在待分类图像中的特征信息。每组初始特征信息的尺寸不同，其中，尺寸包括维度和/或分辨率，从而多组初始特征信息分别反映目标对象不同的特征信息。
在一公开实施例中，分类模型为深度学习网络，包括的网络模型结构可以是encoder或其变种、Resnet或者其变种，可以是VGG16或者其变种，也可以是其他的用于分类的网络模型结构。分类模型通过卷积层对至少一张待分类图像进行特征提取，不同卷积层对应不同层特征提取，得到不同组初始特征信息。
待分类图像中，目标对象周围可能存在噪声干扰，以目标对象为肝脏肿瘤为例，慢性肝病或者肝硬化背景、其他类型肿瘤、与肝脏肿瘤位置相近的血管等噪声均会影响目标对象的分类精度，因此，在利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型之前，可基于待分类图像中目标对象对应的初始区域，得到目标对象的最终区域。确定目标对象的最终区域时，可将某一初始区域作为目标对象的最终区域，或者综合至少一张待分类图像中目标对象对应的初始区域得到目标对象的最终区域，具体如，将至少一张待分类图像中目标对象对应的初始区域的并集，作为目标对象的最终区域，在此不作限定。为了使得分类模型能够学习到目标对象本身的一些重要特征，且在一定程度上减少周边噪声对目标对象的分类影响，可在提取待分类图像的初始特征信息(例如该待分类图像的全局特征等)时，加上目标对象的最终区域的监督，例如：在特征提取过程中，待分类图像中对应最终区域的权重高于待分类图像中其他区域的权重，由此使得让分类模型趋向于对最终区域提取细节更丰富的特征，进而使得分类模型输出的初始特征信息中对应最终区域能够尽量的特征更丰富；和/或，初始特征信息中对应最终区域的特征比其他区域的特征更丰富。在对待分类图像进行特征提取得到初始特征信息时，不仅提取待分类图像的全局特征，而且由于加入最终区域的监督机制，引导分类模型更关注最终区域中的目标对象，以便分类模型学习到目标对象本身的特征信息，减小目标对象周围噪声干扰对目标分类的影响。
在一公开实施例中，在基于待分类图像中目标对象对应的初始区域，得到所述目标对象的最终区域时，获取至少一张待分类图像中目标对象对应的初始区域的并集，以作为目标对象的最终区域，从而可利用最终区域对至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息。由于目标对象的最终区域是待分类图像中目标对象的初始区域的并集，使得最终区域大于或等于任意一个初始区域，保证目标对象的最终区域能够包含不同待分类图像中的目标对象对应区域，从而在对待分类图像进行特征提取时，能够尽可能关注目标对象特征信息。在一公开实施例中，至少一张待分类图像包括未标注所述目标对象的初始区域的第一待分类图像和标注所述目标对象的初始区域的第二待分类图像；在所述基于所述待分类图像中所述目标对象对应的初始区域，得到所述目标对象的最终区域之前，还可以利用所述分类模型检测到所述第一待分类图像未标注有所述目标对象的初始区域，并基于第二待分类图像上标注的所述目标对象的初始区域以及所述第二待分类图像与第一待分类图像的配准关系，确定所述第一待分类图像上所述目标对象的初始区域。因此，可以利用分类模型为未标注目标对象初始区域的第一待分类图像确定目标对象的初始区域，从而补齐标注，使得待分类图像中均包括初始区域。
在一公开实施例中，可生成包括目标对象的最终区域的最终区域图，并将最终区域图与待分类图像一起输入分类模型，从而在利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型时，利用最终区域图中包括的目标对象的最终区域对至少一张待分类图像进行若干层特征提取，能引导网络更关注最终区域的特征的学习，从一定程度上避免网络学习到很多错误的特征信息，减小目标对象周围噪声对特征提取的干扰。可以理解的是，在将最终区域图与待分类图像输入至分类模型之前，可将最终区域图像与待分类图像的尺寸调整为统一尺寸。
步骤S122：基于若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息。
对至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息后，可以选择基于若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息，且所选择的初始特征信息不同，得到的最终特征信息不同。初始特征信息的组数及其对应于分类模型的卷积层等参数信息可以是人工设置的，也可以是分类模型在训练过程中确定的，在此不作限定。融合多组初始特征信息可以提高分类模型的性能和目标分类的精度，但融合过多初始特征信息会引起过拟合问题，因此，合理调整进行融合的初始特征信息的组数，既能提高分类性能又能降低过拟合。由于每组初始特征信息在维度和分辨率等尺寸信息不同，分别反映目标对象的不同特征信息，可以将至少一组初始特征信息进行融合，得到最终特征信息，相较于现有的将最后一层高维特征图作为最终特征信息时，经过多个卷积后，一些重要的特征信息可能被压缩，尤其遗漏面积较小、图像特征模糊的目标对象，本公开实施例通过融合至少一组初始特征信息，可将不同特征提取阶段得到的初始特征信息拼接在一起，提高图像目标分类的精准度。
在一公开实施例中，利用至少一组初始特征信息的权重，将至少一组初始特征信息进行融合，得到最终特征信息。每组初始特征信息的权重可以是人工设置的，也可以是在分类模型训练过程确定的，在此不作限定。例如，先初始化每组初始特征信息的权重，并在分类模型训练过程中不断更新该权重，具体如根据训练分类模型的训练结果与真实结果的比较结果，更新每组初始特征信息的权重，并利用训练分类模型不断重复上述更新权重的步骤，使得训练分类模型不断学习和更新每组初始特征信息的权重，得到训练好的分类模型及每组初始特征信息的权重。可以理解的，初始化的每组初始特征信息的权重可以相同或不同，且每组初始特征信息的权重之和为1。通过分类模型的迭代训练，来确定用于融合的初始特征信息的权重，以使得利用该权重融合得到的最终特征信息更能反映目标对象特征，进一步提高分类性能。不同组初始特征信息的权重可以是相同或不同的，且每组初始特征信息的权重之和为1。由于利用多组初始特征信息得到最终特征信息时，可以利用初始特征信息的权重，将至少一层特征提取的不同尺寸的初始特征信息进行融合，得到最终特征信息，考虑较小尺寸的初始特征信息可能被压缩掉重要特征，通过综合不同尺寸的特征信息，能够得到较为综合和有用的最终特征信息，进而提高后续分类性能。在一公开实施例中，可以利用特征融合网络基于若干组初始特征信息中的至少一组初始特征信息，融合得到最终特征信息，可以把多个尺寸的初始特征信息拼接在一起作为分类任务的最终特征信息，同时给予每个初始特征信息一个权重，该权重经初始化后在模型训练过程中不断更新得到的，从而综合多个初始特征信息，得到更好的目标对象特征表示，进而提高目标分类的性能。
在一公开实施例中，在基于若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息之前，可将每组初始特征信息转换为预设维度，方便后续最终特征信息的获取。例如一应用场景中，利用特征提取网络将每组初始特征信息转换为预设维度。预设维度可以根据需要设置，例如但不限于预设维度为一维。
步骤S123：对最终特征信息进行分类，得到目标对象的类型。
最终特征信息携带目标对象的特征，从而对最终特征信息进行分类，即可得到目标对象的类型。在确定目标对象的类型时，包括但不限于分类模型对至少一张待分类图像进行目标分类，得到目标对象属于不同类型的概率，将满足预设概率条件的类型作为目标对象的类型。预设概率条件包括但不限于概率值最大等。
在一公开实施例中，分类模型在训练过程中采用ArcFace损失函数确定分类模型的损失值，通过ArcFace损失函数拉近同类目标对象的距离，拉远异类目标对象的距离，从而提高易混淆目标对象的分类能力。ArcFace损失函数简单易用，能很好地应用在分类模型的网络结构上，而不需要和其他损失函数相组合，同时在一定程度上减小过拟合问题，进而提高目标对象的分类性能。相较于softmax等损失函数，采用ArcFace损失函数确定分类模型的损失值时，分类模型的训练结果可以是第一个全连接层的权重与进入第一个全连接层的特征的夹角的余弦值。具体地，可将进入分类模型第一个全连接层的特征与第一个全连接层的权重之间的点积等于特征和权重归一化后的余弦距离，从而使用角余弦函数来计算归一化的特征和归一化的权重之间的目标角度，然后在目标角度上加上一个附加的角边距，再通过余弦函数得到目标的logit，再用一个固定的特征范数重新缩放所有logits，其后的相关步骤同softmax损失函数类似。以目标对象是肝脏肿瘤为例，考虑到肝脏肿瘤本身的特征信息是判断其类型的主要依据，但肝脏肿瘤大小不一，小则0.5cm以下，大则20cm以上，再加上目标对象之外的影响因素，例如待分类图像低分辨率，肝脏肿瘤周围其余类型肿瘤、与目标对象特征相似的血管、慢性肝病或者肝硬化背景等，本公开实施例中，ArcFace损失函数能学习到更好的肝脏肿瘤的特征表示，可实现同类肿瘤的聚合与异类肿瘤的远离，能有效地提高肿瘤的分类性能。其余目标对象的分类中，分类模型在训练过程中采用ArcFace损失函数确定分类模型的损失值的效果与之类似，在此不再一一举例。有关于ArcFace损失函数的描述可参考现有ArcFace损失函数，在此不作具体限定。
通过上述方式，利用分类模型对至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息；基于若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息；对最终特征信息进行分类，得到目标对象的类型，实现了利用目标对象的特征信息进行目标分类。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图4，图4是本申请图像目标分类装置40一实施例的框架示意图。图像目标分类装置40包括图像获取模块41和目标分类模块42。图像获取模块41，用于获取包含目标对象的至少一张待分类图像，其中，至少一张待分类图像为属于至少一种扫描图像类别的医学图像；目标分类模块42，用于利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型。
在一公开实施例中，目标分类模块42用于对至少一张待分类图像进行目标分类，得到目标对象的类型时，还用于对至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息；其中，每组初始特征信息的尺寸不同；基于若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息；对最终特征信息进行分类，得到目标对象的类型。
在一公开实施例中，目标分类模块42用于在利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型之前，还用于基于待分类图像中目标对象对应的初始区域，得到目标对象的最终区域；对至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息，包括：利用最终区域对至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息；其中，在特征提取过程中，待分类图像中对应最终区域的权重高于待分类图像中其他区域的权重；和/或，初始特征信息中对应最终区域的特征比其他区域的特征更丰富。
在一公开实施例中，目标分类模块42用于基于待分类图像中目标对象对应的初始区域，得到目标对象的最终区域时，还用于获取至少一张待分类图像中目标对象对应的初始区域的并集，以作为目标对象的最终区域。
在一公开实施例中，目标分类模块42用于在基于若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息之前，还用于将每组初始特征信息转换为预设维度；和/或，目标分类模块42用于基于若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息时，还用于利用至少一组初始特征信息的权重，将至少一组初始特征信息进行融合，得到最终特征信息。
在一公开实施例中，每组初始特征信息的权重是分类模型训练得到的；预设维度为一维。
在一公开实施例中，分类模型在训练过程中采用ArcFace损失函数确定分类模型的损失值。
在一公开实施例中，图像获取模块41用于获取包含目标对象的至少一张待分类图像时，还用于分别从多张原始医学图像提取得到包含目标对象的待分类图像。
在一公开实施例中，图像获取模块41用于分别从多张原始医学图像提取得到包含目标对象的待分类图像时，还用于确定原始医学图像中目标对象的初始区域，按照预设比例扩大初始区域，得到待提取区域；从原始医学图像中提取待提取区域中的图像数据，得到待分类图像。
在一公开实施例中，图像获取模块41用于在分别从多张原始医学图像提取得到包含目标对象的待分类图像之前，还用于实现以下功能：将原始医学图像重采样至预设分辨率；调整原始医学图像中的像素值范围；将原始医学图像进行归一化处理；检测到第一原始医学图像未标注有目标对象的初始区域，利用第二原始医学图像上标注的目标对象的初始区域以及第二原始医学图像与第一原始医学图像的配准关系，确定第一原始医学图像上目标对象的初始区域。
在一公开实施例中，原始医学图像和待分类图像为二维图像；或者，原始医学图像为三维图像，待分类图像为二维图像或三维图像。
上述方案，图像获取模块41获取包含目标对象的至少一张待分类图像后，目标分类模块42利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型，因此提出基于人工智能技术的图像目标分类方法，实现智能化目标分类。由于利用分类模型对待分类图像进行目标分类，不仅使得目标分类过程更加简单，减小对医生的依赖，提高目标分类速度，而且结合人工智能技术实现目标分类，以便辅助医生进行智能化疾病诊疗。
请参阅图5，图5是本申请电子设备50一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一图像目标分类方法实施例的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一图像目标分类方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，获取包含目标对象的至少一张待分类图像后，利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型，因此提出基于人工智能技术的图像目标分类方法，实现智能化目标分类。由于利用分类模型对待分类图像进行目标分类，不仅使得目标分类过程更加简单，减小对医生的依赖，提高目标分类速度，而且结合人工智能技术实现目标分类，以便辅助医生进行智能化疾病诊疗。
请参阅图6，图6是本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一图像目标分类方法实施例的步骤。
上述方案，获取包含目标对象的至少一张待分类图像后，利用分类模型对至少一张待分类图像进行目标分类，得到目标对象的类型，因此提出基于人工智能技术的图像目标分类方法，实现智能化目标分类。由于利用分类模型对待分类图像进行目标分类，不仅使得目标分类过程更加简单，减小对医生的依赖，提高目标分类速度，而且结合人工智能技术实现目标分类，以便辅助医生进行智能化疾病诊疗。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (17)
1.一种图像目标分类方法，其特征在于，包括：
获取包含目标对象的至少一张待分类图像，其中，所述至少一张待分类图像为属于至少一种扫描图像类别的医学图像；
利用分类模型对所述至少一张待分类图像进行目标分类，得到所述目标对象的类型。
2.根据权利要求1所述的方法，其特征在于，所述对所述至少一张待分类图像进行目标分类，得到所述目标对象的类型，包括：
对所述至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息；其中，每组所述初始特征信息的尺寸不同；
基于所述若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息；
对所述最终特征信息进行分类，得到所述目标对象的类型。
3.根据权利要求2所述的方法，其特征在于，在所述利用分类模型对所述至少一张待分类图像进行目标分类，得到所述目标对象的类型之前，所述方法还包括：
基于所述待分类图像中所述目标对象对应的初始区域，得到所述目标对象的最终区域；
所述对所述至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息，包括：
利用所述最终区域对所述至少一张待分类图像进行若干层特征提取，对应得到若干组初始特征信息；其中，在特征提取过程中，所述待分类图像中对应所述最终区域的权重高于所述待分类图像中其他区域的权重；和/或，所述初始特征信息中对应所述最终区域的特征比其他区域的特征更丰富。
4.根据权利要求3所述的方法，其特征在于，所述基于所述待分类图像中所述目标对象对应的初始区域，得到所述目标对象的最终区域，包括：
获取所述至少一张待分类图像中所述目标对象对应的初始区域的并集，以作为所述目标对象的最终区域。
5.根据权利要求3至4任一项所述的方法，其特征在于，所述至少一张待分类图像包括未标注所述目标对象的初始区域的第一待分类图像和标注所述目标对象的初始区域的第二待分类图像；在所述基于所述待分类图像中所述目标对象对应的初始区域，得到所述目标对象的最终区域之前，所述方法还包括：
利用所述分类模型检测到所述第一待分类图像未标注有所述目标对象的初始区域，并基于第二待分类图像上标注的所述目标对象的初始区域以及所述第二待分类图像与第一待分类图像的配准关系，确定所述第一待分类图像上所述目标对象的初始区域。
6.根据权利要求2至5任一项所述的方法，其特征在于，在所述基于所述若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息之前，所述方法还包括：
将每组所述初始特征信息转换为预设维度；
和/或，所述基于所述若干组初始特征信息中的至少一组初始特征信息，得到最终特征信息，包括：
利用所述至少一组初始特征信息的权重，将所述至少一组初始特征信息进行融合，得到所述最终特征信息。
7.根据权利要求6所述的方法，其特征在于，每组所述初始特征信息的权重是在所述分类模型训练过程确定的。
8.根据权利要求6或7所述的方法，其特征在于，所述预设维度为一维。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述分类模型在训练过程中采用ArcFace损失函数确定所述分类模型的损失值；和/或，所述分类模型每次训练选择的批样本数据是利用数据生成器从样本数据集中选择的不同目标类型的数量为预设比例的样本数据。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述获取包含目标对象的至少一张待分类图像，包括：
分别从多张原始医学图像提取得到包含所述目标对象的待分类图像。
11.根据权利要求10所述的方法，其特征在于，所述分别从多张原始医学图像提取得到包含所述目标对象的待分类图像，包括：
确定所述原始医学图像中所述目标对象的初始区域，按照所述预设比例扩大所述初始区域，得到待提取区域；
从所述原始医学图像中提取所述待提取区域中的图像数据，得到所述待分类图像。
12.根据权利要求10或11所述的方法，其特征在于，在所述分别从多张原始医学图像提取得到包含所述目标对象的待分类图像之前，所述方法还包括以下至少一个步骤：
将所述原始医学图像重采样至预设分辨率；
调整所述原始医学图像中的像素值范围；
将所述原始医学图像进行归一化处理；
检测到第一原始医学图像未标注有所述目标对象的初始区域，利用第二原始医学图像上标注的所述目标对象的初始区域以及所述第二原始医学图像与第一原始医学图像的配准关系，确定所述第一原始医学图像上所述目标对象的初始区域。
13.根据权利要求10至12任一项所述的方法，其特征在于，所述原始医学图像和所述待分类图像为二维图像；或者，所述原始医学图像为三维图像，所述待分类图像为二维图像或三维图像。
14.根据权利要求13所述的方法，其特征在于，所述原始医学图像为三维图像，所述待分类图像为对所述原始医学图像中所述目标对象最大面积所在层提取得到的二维图像。
15.一种图像目标分类装置，其特征在于，包括：
图像获取模块，用于获取包含目标对象的至少一张待分类图像，其中，所述至少一张待分类图像为属于至少一种扫描图像类别的医学图像；
目标分类模块，用于利用分类模型对所述至少一张待分类图像进行目标分类，得到所述目标对象的类型。
16.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至14任一项所述的图像目标分类方法。
17.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至14任一项所述的图像目标分类方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011212261.1A CN112329844A (zh) | 2020-11-03 | 2020-11-03 | 图像目标分类方法及相关装置、设备、存储介质 |
| PCT/CN2020/139913 WO2022095258A1 (zh) | 2020-11-03 | 2020-12-28 | 图像目标分类方法、装置、设备、存储介质及程序 |
| TW110131347A TW202219832A (zh) | 2020-11-03 | 2021-08-24 | 圖像目標分類方法、電子設備及電腦可讀儲存介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011212261.1A CN112329844A (zh) | 2020-11-03 | 2020-11-03 | 图像目标分类方法及相关装置、设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112329844A true CN112329844A (zh) | 2021-02-05 |
Family
ID=74324556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011212261.1A Withdrawn CN112329844A (zh) | 2020-11-03 | 2020-11-03 | 图像目标分类方法及相关装置、设备、存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN112329844A (zh) |
| TW (1) | TW202219832A (zh) |
| WO (1) | WO2022095258A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663715A (zh) * | 2022-05-26 | 2022-06-24 | 浙江太美医疗科技股份有限公司 | 医学图像质控、分类模型训练方法、装置及计算机设备 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452957B (zh) * | 2023-06-20 | 2023-09-26 | 小米汽车科技有限公司 | 图像标注数据的质量检测方法、装置及电子设备 |
| CN116524135B (zh) * | 2023-07-05 | 2023-09-15 | 方心科技股份有限公司 | 一种基于图像的三维模型生成方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN110993094A (zh) * | 2019-11-19 | 2020-04-10 | 中国科学院深圳先进技术研究院 | 一种基于医学图像的智能辅助诊断方法及终端 |
| CN111507381A (zh) * | 2020-03-31 | 2020-08-07 | 上海商汤智能科技有限公司 | 图像识别方法及相关装置、设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111755118B (zh) * | 2020-03-16 | 2024-03-08 | 腾讯科技（深圳）有限公司 | 医疗信息处理方法、装置、电子设备及存储介质 |
| CN111476802B (zh) * | 2020-04-09 | 2022-10-11 | 山东财经大学 | 一种医学图像分割与肿瘤检测方法，设备及可读存储介质 |
-
2020
- 2020-11-03 CN CN202011212261.1A patent/CN112329844A/zh not_active Withdrawn
- 2020-12-28 WO PCT/CN2020/139913 patent/WO2022095258A1/zh unknown
-
2021
- 2021-08-24 TW TW110131347A patent/TW202219832A/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872306A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学图像分割方法、装置和存储介质 |
| CN110993094A (zh) * | 2019-11-19 | 2020-04-10 | 中国科学院深圳先进技术研究院 | 一种基于医学图像的智能辅助诊断方法及终端 |
| CN111507381A (zh) * | 2020-03-31 | 2020-08-07 | 上海商汤智能科技有限公司 | 图像识别方法及相关装置、设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663715A (zh) * | 2022-05-26 | 2022-06-24 | 浙江太美医疗科技股份有限公司 | 医学图像质控、分类模型训练方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022095258A1 (zh) | 2022-05-12 |
| TW202219832A (zh) | 2022-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10489908B2 (en) | Deep convolutional encoder-decoder for prostate cancer detection and classification | |
| US8335359B2 (en) | Systems, apparatus and processes for automated medical image segmentation | |
| CN110188792B (zh) | 前列腺mri三维图像的图像特征获取方法 | |
| CN111507381B (zh) | 图像识别方法及相关装置、设备 | |
| CN112329844A (zh) | 图像目标分类方法及相关装置、设备、存储介质 | |
| CN111476793B (zh) | 动态增强磁共振成像处理方法、系统、存储介质、终端 | |
| WO2022062590A1 (zh) | 图像识别方法及装置、设备、存储介质和程序 | |
| Parekh et al. | Multiparametric deep learning tissue signatures for a radiological biomarker of breast cancer: Preliminary results | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| EP3828829B1 (en) | Method and apparatus for determining mid-sagittal plane in magnetic resonance images | |
| Singh et al. | Medical image generation using generative adversarial networks | |
| Yao et al. | Advances on pancreas segmentation: a review | |
| KR20200120311A (ko) | 의료 영상을 이용한 암의 병기 결정 방법 및 의료 영상 분석 장치 | |
| JP2003515828A (ja) | セグメント化されたデータセットの動的な閾値化および類似画像内の類似値の表示 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN114757894A (zh) | 一种骨肿瘤病灶分析系统 | |
| Sreelekshmi et al. | A Review on Multimodal Medical Image Fusion | |
| CN117649400B (zh) | 一种异常检测框架下的影像组学分析方法及系统 | |
| Pan et al. | Accurate segmentation of bladder wall and tumor regions in MRI using stacked dilated U-Net with focal loss | |
| WO2023017438A1 (en) | System and method for medical image translation | |
| EP4339883A1 (en) | Technique for interactive medical image segmentation | |
| US20210407674A1 (en) | Method and arrangement for identifying similar pre-stored medical datasets | |
| CN112884759A (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40037269 Country of ref document: HK |
|
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210205 |