CN110363138A - 模型训练方法、图像处理方法、装置、终端及存储介质 - Google Patents

模型训练方法、图像处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110363138A
CN110363138A CN201910634411.9A CN201910634411A CN110363138A CN 110363138 A CN110363138 A CN 110363138A CN 201910634411 A CN201910634411 A CN 201910634411A CN 110363138 A CN110363138 A CN 110363138A
Authority
CN
China
Prior art keywords
class label
image
subregion
label
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910634411.9A
Other languages
English (en)
Inventor
陈思宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910634411.9A priority Critical patent/CN110363138A/zh
Publication of CN110363138A publication Critical patent/CN110363138A/zh
Priority to PCT/CN2020/098454 priority patent/WO2021008328A1/zh
Priority to US17/459,301 priority patent/US11914677B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种模型训练方法、图像处理方法、装置、终端及介质，其中模型训练方法包括：获取样本图像、样本图像的类别标签及类别标签的标签值；调用预设图像处理模型根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域；调用预设图像处理模型根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值；根据各个子区域的中心坐标、类别标签的标签值及类别标签的预测值，更新预设图像处理模型的网络参数；根据更新后的网络参数对预设图像处理模型进行迭代训练，得到目标图像处理模型。本发明实施例可更好地进行模型训练，提高目标图像处理模型的准确性。

Description

模型训练方法、图像处理方法、装置、终端及存储介质
技术领域
本发明涉及互联网技术领域，具体涉及图像处理技术领域，尤其涉及一种模型训练方法、图像处理方法、装置、终端及计算机存储介质。
背景技术
图像处理是一种采用计算机对图像进行分析，以达到所需结果的技术；在图像处理技术领域中，图像的类别预测是一个尤其重要的研究课题。随着神经网络模型的研究推进，通过模型对图像进行类别预测从而得到图像的预测类别的方法逐渐受到了广泛认可。由此可见，如何通过模型训练得到性能完善的模型对后续图像类别预测的准确性尤其重要。
发明内容
本发明实施例提供了一种模型训练方法、图像处理方法、装置、终端及计算机存储介质，可以更好地进行模型训练，提高目标图像处理模型的准确性。
一方面，本发明实施例提供了一种模型训练方法，所述模型训练方法包括：
获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；
调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；
根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；
根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型。
另一方面，本发明实施例提供了一种图像处理方法，该图像处理方法包括：
获取待处理的目标图像；
调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用上述模型训练方法对预设图像处理模型进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；
输出所述预测类别标签及所述预测类别标签的预测值。
再一方面，本发明实施例提供了一种模型训练装置，该模型训练装置包括：
获取单元，用于获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；
处理单元，用于调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
所述处理单元，用于调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；
更新单元，用于根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；
训练单元，用于根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型。
再一方面，本发明实施例提供了一种图像处理装置，该图像处理装置包括：
获取单元，用于获取待处理的目标图像；
处理单元，用于调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用上述模型训练方法对预设图像处理模型进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；
输出单元，用于输出所述预测类别标签及所述预测类别标签的预测值。
再一方面，本发明实施例提供了一种终端，所述终端包括输入设备和输出设备，所述终端还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由所述处理器加载并执行如下步骤：
获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；
调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；
根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；
根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型。
或者，所述计算机存储介质存储有一条或多条第二指令，所述一条或多条第二指令适于由所述处理器加载并执行如下步骤：
获取待处理的目标图像；
调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用上述模型训练方法对预设图像处理模型进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；
输出所述预测类别标签及所述预测类别标签的预测值。
再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由处理器加载并执行如下步骤：
获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；
调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；
根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；
根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型。
或者，所述计算机存储介质存储有一条或多条第二指令，所述一条或多条第二指令适于由所述处理器加载并执行如下步骤：
获取待处理的目标图像；
调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用上述模型训练方法对预设图像处理模型进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；
输出所述预测类别标签及所述预测类别标签的预测值。
本发明实施例在对预设图像处理模型进行模型训练的过程中，可先调用预设图像处理模型根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域；无需提前对样本图像中的各个区域进行分割标注，可节省标注资源并提高分割效率。其次，可调用预设图像处理模型根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值；通过分析各子区域与类别标签之间的相关度来实现类别预测，可在分割子区域的前提下进一步提升分类性能，从而提高类别预测的准确性，使得类别标签的预测值较为准确。然后，可根据各个子区域的中心坐标、标签值及较为准确的预测值更新预设图像处理模型的网络参数，并根据更新后的网络参数对预设图像处理模型进行迭代训练，得到目标图像处理模型，从而提高目标图像处理模型的准确性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种图像处理模型的结构示意图；
图1b是本发明实施例提供的另一种图像处理模型的结构示意图；
图1c是本发明实施例提供的另一种图像处理模型的结构示意图；
图2是本发明实施例提供的一种模型训练方法的流程示意图；
图3是本发明实施例提供的一种模型训练方法的流程示意图；
图4是本发明实施例提供的一种二值化处理的示意图；
图5是本发明实施例提供的一种畸变处理的示意图；
图6是本发明实施例提供的一种图像处理方法的流程示意图；
图7a是本发明实施例提供的一种目标图像处理模型的应用场景图；
图7b是本发明实施例提供的一种目标图像处理模型的另一应用场景图；
图8是本发明实施例提供的一种模型训练装置的结构示意图；
图9是本发明实施例提供的一种图像处理装置的结构示意图；
图10是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
随着神经网络模型的研究推进，调用模型对图像进行类别预测的图像处理方法逐渐受到了广泛认可。研究表明，模型的类别预测性能(如准确性)通常与模型结构相关；基于此，本发明实施例提出了一种端到端的图像处理模型。该图像处理模型可通过自监督学习(Self-supervised learning)的方式对图像的子区域进行分割，无需提前分割标注，可节省标注资源；所谓自监督学习的方式是一种将输入和输出作为一个完整的整体，通过挖掘输入数据本身提供的弱标注信息，从而基于输入数据的某些部分来预测其他其余部分的学习方式。并且，该图像处理模型还可通过对各个子区域和类别特征进行关联分析，在分割子区域的前提下进一步提升分类性能，从而提高类别预测的准确性。
上述所提出的图像处理模型可由一个网络或者多个网络构成；为便于阐述，后续以图像处理模型包括3个网络为例，对该图像处理模型的具体结构进行阐述。参见图1a所示：图像处理模型可包括第一网络、第二网络以及第三网络；其中，第一网络可包括用于对图像进行分割的子区域分割模块(Sub-region Segmentation Module，SSM)，第二网络可包括用于对子区域与类别特征进行关联分析的关系分析模块(Relationship AnalysisModule，RAM)，第三网络可包括用于进行类别预测的类别分类模块(CategoryClassification Module，CCM)。其中，第一网络可包括骨干模块(Backbone)和损失函数；该损失函数用于对图像中的像素信息进行分析，使得同分布区域的像素特征尽可能相似，以对像素进行聚类，从而达到子区域分割的目的；该损失函数可包括：区域集中损失函数(Region Concentration Loss)，或者区域集中损失函数和畸变纠正损失函数(DistortionCorrection Loss)组成；Backbone可包括用于特征提取的神经网络，如3D-ResNet18网络、VGG网络等神经网络。第二网络可包括用于进行池化处理的积压激励模块(Squeeze-and-Excitation Module，SE block)以及卷积层(Conv)；第三网络可包括全连接层(FC)。需要说明的是，图1a只是示意性地表征图像处理模型的模型结构，并不对本发明实施例所提出的图像处理模型的模型结构进行限定。例如，图像处理模型所包括的网络的数量并不局限于图1a所示的3个；也可以只包括2个网络(如图1b所示)，或者只包括1个网络(如图1c所示)；还可以包括更多的网络，如4个网络、10个网络等等。
基于上述的图像处理模型的模型结构，本发明实施例可预先构建一个预设图像处理模型；并且，针对该预设图像处理模型，本发明实施例提出了一种如图2所示的模型训练方法以更好地对该预设图像处理模型进行训练更新，从而使得训练得到的目标图像处理模型的准确性较高。该模型训练方法可以由终端执行，此处的终端可以包括但不限于：平板电脑、膝上计算机、笔记本电脑以及台式电脑，等等。请参见图2所示，该模型训练方法可包括以下步骤S201-S205：
S201，获取样本图像、样本图像的类别标签及类别标签的标签值，标签值用于表示样本图像是否包含类别标签所指示的异常特征。
样本图像是指用于对预设图像处理模型进行模型训练的图像；该样本图像可包括以下任一种图像：包含人体部位的医疗图像、包含故障车辆的车辆图像、包含机器零部件的机器设备图像，等等；其中，人体部位可包括以下任一项：膝盖、脚部、手部、颈部、头部以及腰部，等等。在实际的模型训练过程中，可以根据待训练的预设图像处理模型的类别预测性能来选择相应的样本图像；例如，待训练的预设图像处理模型的类别预测性能为对医疗图像进行疾病分类的性能，则样本图像为包含人体部位的医疗图像；又如，待训练的预设图像处理模型的类别预测性能为对车辆图像进行故障分类的性能，则样本图像为包含故障车辆的车辆图像；再如，待训练的预设图像处理模型的类别预测性能为对机器设备图像进行故障分类的性能，则样本图像为包含机器零部件的机器设备图像，等等。需要说明的是，上述所提及的样本图像可以为3D图像或者2D图像；所谓3D图像是指由具有三个空间轴向(即X轴、Y轴以及Z轴)的像素所构成的图像，即3D图像中的像素的坐标为3维坐标；所谓2D图像是指由具有两个空间轴向(即X轴和Y轴)的像素所构成的图像，即2D图像中的像素的坐标为2维坐标。为便于阐述，后续均以样本图像为3D图像为例进行说明。
样本图像的类别标签可根据样本图像所包含的图像内容以及实际业务需求(或业务经验)设置，且类别标签的数量可以为1个或者多个。例如，样本图像为包含膝盖的医疗图像，则膝盖的常见疾病包括：发育不良、前十字交叉韧带撕裂以及半月板撕裂；那么可以设置样本图像的类别标签包括以下至少一个标签：发育不良标签、前十字交叉韧带撕裂标签以及半月板撕裂标签。类别标签的标签值可根据样本图像是否包含类别标签所指示的异常特征来设置；若样本图像包含类别标签所指示的异常特征，则可以将类别标签的标签值设置为1；若样本图像不包含类别标签所指示的异常特征，则可以将类别标签的标签值设置为0。其中，若样本图像为任一包含人体部位的医疗图像，预设图像处理模型为对人体部位的医疗图像进行疾病类别预测的模型，则异常特征可以包括人体部位的疾病特征(例如半月板疾病特征、发育不良疾病特征)；若样本图像为车辆图像，则异常特征可以包括故障车辆的故障特征；若样本图像为机器设备图像，则异常特征可以包括机器零部件的故障特征。
S202，调用预设图像处理模型根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域。
由前述可知，样本图像(如医疗图像、车辆图像等)是一种与位置或结构相关的图像，其包含的图像内容通常较为复杂。而经研究表明：针对整个样本图像，类别标签所指示的异常特征(如疾病特征、故障特征)通常是较为密集地集中在一个或多个区域中，且类别标签对相应区域的敏感度较高。以样本图像为包含膝盖的医疗图像为例，膝盖通常是由多种软组织以及骨性组织构成，其结构复杂；在包含膝盖的医疗图像(如膝盖MRI(核磁共振成像)图像)中，前十字交叉韧带以及半月板互为相邻；并且，膝盖的三种疾病标签(发育不良标签、前十字交叉韧带撕裂标签及半月板撕裂标签)所指示的疾病特征大部分集中在软骨交界处，且类别标签对损失位置的敏感度较高，如半月板撕裂标签只与半月板所在的位置相关。在整个膝盖MRI图像中，疾病特征密集且存在互相交叠的情况，通常需要仔细观察患处(相应区域)才可以判断类别。
因此，考虑到异常特征的密集性以及类别标签对区域的敏感性，本发明实施例采取对样本图像进行子区域分割的方式，将样本图像所包含的图像内容(如膝盖)的结构进行细化，以使得后续可以更好地根据每个结构(即子区域)对样本图像进行类别预测。经实践证明，在对样本图像进行子区域分割的过程中，可以将同分布的像素聚类至同一个子区域中；所谓的同分布是指各个像素的位置相近以及特征值相近，即各个像素之间的位置差异以及特征值差异均小于阈值。因此，可以调用预设图像处理模型根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域。
S203，调用预设图像处理模型根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值。
由前述可知，类别标签通常与相应子区域的关系较为密切；例如，类别标签为半月板撕裂标签，则该类别标签通常与样本图像中包含半月板的子区域的关系较为密切。因此，在分割得到多个子区域后，可以调用预设图像处理模型分析各个子区域与类别标签之间的相关度；若某子区域与类别标签之间的相关度越大，则表明该子区域与类别标签之间的关系越密切。然后可调用预设图像处理模型根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值；其中，预测值用于表示样本图像包含类别标签所指示的异常特征的概率，预测值的取值属于[0，1]的区间范围内。
需要说明的是，在步骤S202-S203中，若预设图像处理模型包括多个网络，则可以分别调用各个网络执行步骤S202和S203。以预设图像处理模型包括3个网络为例，即预设图像处理模型可依次包括第一网络、第二网络以及第三网络。其中，第一网络可用于根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域，即可调用第一网络执行步骤S202；第二网络和第三网络可用于根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值，即可调用第二网络和第三网络执行步骤S203。
S204，根据各个子区域的中心坐标、类别标签的标签值及类别标签的预测值，更新预设图像处理模型的网络参数。
在具体实施过程中，可以获取预设图像处理模型的损失函数；并根据各个子区域的中心坐标、类别标签的标签值及类别标签的预测值计算该预设图像处理模型的损失函数的值；然后，按照减小该损失函数的值的方向，更新预设图像处理模型的网络参数。其中，预设图像处理模型的网络参数可以包括但不限于：梯度参数、权重参数等等。
S205，根据更新后的网络参数对预设图像处理模型进行迭代训练，得到目标图像处理模型。
在具体实施过程中，在对预设图像处理模型进行网络参数的更新后，可以将更新后的网络参数作为预设图像处理模型的当前网络参数；然后，再次执行步骤S201-S204以更新预设图像处理模型的当前网络参数(即前一次模型训练所得到的更新后的网络参数)；以此类推，重复迭代上述步骤S201-S205以使得预设图像处理模型达到收敛，从而得到目标图像处理模型。其中，预设图像处理模型达到收敛是指预设图像处理模型的网络参数不再发生变化或变化幅度小于阈值，或者是指预设图像处理模型的损失函数的值不再减小。
举例来说，预设图像处理模型的初始网络参数为A1，第一次执行上述步骤S201-S204可以将预设图像处理模型的初始网络参数A1更新为A2；然后，可通过步骤S205将A2作为预设图像处理模型的当前网络参数，并对预设图像处理模型进行第二次模型训练，即再次执行上述步骤S201-S204将预设图像处理模型的当前网络参数A2更新为A3；然后，可通过步骤S205将A3作为预设图像处理模型的当前网络参数，并对预设图像处理模型进行第三次模型训练，即再次执行上述步骤S201-S204将预设图像处理模型的当前网络参数A3更新为A4…以此类推，不断对预设图像处理模型进行模型训练，使得预设图像处理模型达到收敛，将收敛的预设图像处理模型作为目标图像处理模型。
本发明实施例在对预设图像处理模型进行模型训练的过程中，可先调用预设图像处理模型根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域；无需提前对样本图像中的各个区域进行分割标注，可节省标注资源并提高分割效率。其次，可调用预设图像处理模型根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值；通过分析各子区域与类别标签之间的相关度来实现类别预测，可在分割子区域的前提下进一步提升分类性能，从而提高类别预测的准确性，使得类别标签的预测值较为准确。然后，可根据各个子区域的中心坐标、标签值及较为准确的预测值更新预设图像处理模型的网络参数，并根据更新后的网络参数对预设图像处理模型进行迭代训练，得到目标图像处理模型，从而提高目标图像处理模型的准确性。
基于上述描述，本发明实施例还提出了另一种模型训练方法；该模型训练方法可以上述所提及的终端执行。在本发明实施例中，以预设图像处理模型包括第一网络、第二网络以及第三网络为例进行阐述；请参见图3所示，该模型训练方法可包括以下步骤S301-S308：
S301，获取样本图像、样本图像的类别标签及类别标签的标签值，标签值用于表示样本图像是否包含类别标签所指示的异常特征。
S302，调用第一网络根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域。
在具体实施过程中，可以先调用第一网络对样本图像进行特征提取，得到样本图像中各个像素的初始特征值。在一种实施方式中，可以直接调用第一网络中的Backbone对样本图像进行特征提取，得到样本图像中各个像素的初始特征值；再一种实施方式中，本发明实施例只是示例性地阐述采用一个样本图像对预设图像处理模型进行训练更新，而在实际训练过程中会采用多个样本图像迭代对预设图像处理模型进行训练更新；考虑到每个样本图像在x、y以及z方向上的尺寸可能不同，因此为了后续更好地进行模型的训练更新，可以将样本图像的尺寸调整至统一的预设尺寸(如256*256*64)，再调用第一网络中的Backbone对调整尺寸后的样本图像进行特征提取，得到样本图像中各个像素的初始特征值。
然后可以调用第一网络根据样本图像中各个像素的初始特征值之间的特征相似性，对样本图像中各个像素进行聚类以对样本图像进行分割，得到至少两个子区域；同一个子区域中的各个像素属于同一特征分布。每个子区域均对应一个初始特征图，初始特征图是指将样本图像和滤波器进行卷积后所得到的特征图；每个初始特征图包括对应的子区域中各个像素的初始特征值。
S303，调用第二网络根据类别标签的标签值对各个子区域的初始特征图进行池化处理，得到各个子区域的权值。
此处的池化处理可包括全局平均池化处理、最大值池化处理、全局均方根池化处理，等等。其中，全局平均池化处理是指：对子区域中的所有像素的特征值进行求和平均的处理；最大值池化处理是指在子区域中的所有像素的特征中选取最大特征值的处理；全局均方根池化处理是指：对子区域中的所有像素的特征值进行均方根计算的处理。为便于阐述，后续均以全局平均池化处理为例进行说明。
由前述可知，第二网络可包括SE block，因此可调用第二网络中的SE bolck根据类别标签的标签值对各个子区域的初始特征图进行全局平均池化处理，得到维度为K的向量。其中，K为预先设置的子区域的数量，K的取值可根据经验值设置，例如设置K＝9；K维向量中的第k个元素即为第k个子区域的权值。子区域的权值用于反映子区域与类别标签之间的相关度，且权值与相关度成正比；即权值越大，则相关度越大。由此可见，本发明实施例分析了类别标签和子区域之间的关联，将类别标签和各个子区域之间的相关度进行数值化；并且，类别标签总与异常特征聚集的子区域息息相关，各个子区域的权值受类别监督信息(即类别标签以及类别标签的标签值)的引导，可进一步加强类别标签和相应子区域之间的关系，从而可在后续进一步提高分类性能以及类别预测的准确性。
S304，调用第二网络获取各个子区域的卷积特征图。
由前述可知，第二网络包括卷积层；因此，在具体实施过程中，可以调用第二网络的卷积层分别对各个子区域的像素特征进行卷积处理，从而得到各个子区域的卷积特征图，每个子区域的卷积特征图中包括该子区域中各个像素的卷积特征值。
S305，调用第二网络根据各个子区域的权值对各个子区域的卷积特征图进行加权处理，得到各个子区域的加权特征图。
由于调用第二网络得到各个子区域的加权特征图的原理是相同的，因此本发明实施例以至少两个子区域中的参考子区域为例进行阐述；即设至少两个子区域中包括参考子区域，该参考子区域为至少两个子区域中的任一子区域。在一种实施方式中，可以直接调用第二网络根据参考子区域的权值对参考子区域的卷积特征图进行加权处理，得到参考子区域的加权特征图。具体的，针对参考子区域的任一像素，调用第二网络计算该像素在卷积特征图中的卷积特征值和参考子区域的权值的乘积，得到该像素的加权特征值；迭代该步骤，则可计算得到参考子区域中的所有像素的加权特征值，从而得到参考子区域的加权特征图，该加权特征图中包括参考子区域中各个像素的加权特征值。
由于在通过步骤S302对样本图像进行分割处理时，可能会存在分割误差，即可能存在将不属于参考子区域中的像素分割至参考子区域中的情况；而又由前述可知，对参考子区域的卷积特征图进行加权处理，其实质是采用参考子区域的权值对参考子区域中的各个像素的卷积特征值进行放大处理，从而使得各个像素的特征更为明显。由此可见，此情况下若直接根据参考子区域的权值对参考子区域的卷积特征图进行加权处理，则会导致这些不属于参考子区域中的像素的卷积特征值也会被放大处理，从而会导致第三网络在后续对参考子区域进行特征学习时，会错误地拟合到这些不属于参考子区域中的像素的特征(即非关键特征)，进而会导致后续的类别预测的准确性较低。因此，为了避免第三网络后续错误地拟合到参考子区域中的非关键特征，本发明实施例针对步骤S305，还提出了另一种实施方式，该实施方式具体可以包括以下步骤s11-s12：
s11，根据参考子区域的权值以及参考子区域中各个像素的初始特征值，确定参考子区域的权重分布图。
在具体实施过程中，可以先对参考子区域中的各个像素进行归一化处理，得到参考子区域中各个像素属于参考子区域的概率值。其次，根据参考子区域中各个像素的概率值以及概率阈值对参考子区域中的各个像素的初始特征值进行二值化处理，得到参考子区域的掩膜(mask)；所谓的掩膜是指由0和1组成的二进制图像，掩膜包括参考子区域中各个像素的二值化处理后的特征值。然后，计算参考子区域的权值和掩膜之间的乘积，得到参考子区域的权重分布图；权重分布图包括参考子区域中各个像素的权重值，每个像素的权重值等于参考子区域的权值和掩膜中该像素的二值化处理后的特征值的乘积；例如，参考子区域的权值为7，若参考子区域中的像素a的二值化处理后的特征值为1，则像素a的权重值为7×1＝7；若参考子区域中的像素b的二值化处理后的特征值为0，则像素b的权重值为7×0＝0。
其中，在根据参考子区域中各个像素的概率值以及概率阈值对参考子区域中的各个像素的初始特征值进行二值化处理时，可以将判断参考子区域中的各个像素的概率值是否大于概率阈值；若像素的概率值大于概率阈值，则表明该像素属于参考子区域，那么可以将该像素的初始特征值置为1；若像素的概率值大于概率阈值，则表明该像素不属于参考子区域，那么为避免后续第三网络对参考子区域进行特征学习时，错误地拟合到该像素的特征，可以将该像素的初始特征值置为0。也就是说，二值化处理是指：将参考子区域中概率值大于概率阈值的像素的初始特征值置为1，将参考子区域中概率值小于概率阈值的像素的初始特征值置为0的处理；相应的，二值化处理的示意图可以参见图4所示。其中，概率阈值可根据实际业务需求或者经验值设置，例如可以将概率阈值设置为0.5。
s12，采用参考子区域的权重分布图对参考子区域的卷积特征图进行加权处理，得到参考子区域的加权特征图。
由前述可知，参考子区域的权重分布图包括参考子区域中各个像素的权重值，而参考子区域的卷积特征图包括参考子区域中各个像素的卷积特征值；那么在采用参考子区域的权重分布图对参考子区域的卷积特征图进行加权处理时，可以针对参考子区域的任一像素，计算该像素的权重值和该像素的卷积特征值的乘积，得到该像素的加权特征值；迭代该步骤，则可计算得到参考子区域中的所有像素的加权特征值，从而得到参考子区域的加权特征图，该加权特征图中包括参考子区域中各个像素的加权特征值。
S306，调用第三网络根据各个子区域的加权特征图对样本图像进行类别预测，得到类别标签的预测值。
具体的，可以调用第三网络对各个子区域的加权特征图进行特征学习；然后根据学习到的各个子区域的特征对样本图像进行类别预测，得到类别标签的预测值。
S307，根据各个子区域的中心坐标、类别标签的标签值及类别标签的预测值，更新预设图像处理模型的网络参数。
由前述可知，本发明实施例中的预设图像处理模型包括第一网络、第二网络以及第三网络等3个网络；因此，可以根据各个子区域的中心坐标、类别标签的标签值及类别标签的预测值，更新预设图像处理模型中的各个网络的网络参数。相应的，步骤S307的具体实施方式可以包括以下步骤s21-s22：
s21，根据各个子区域的中心坐标和样本图像中各个像素的坐标更新第一网络的网络参数。
在执行步骤s21之前，可以计算各个子区域的中心坐标；由于样本图像为3D图像，则每个子区域的中心坐标可包括：x方向上的中心坐标、y方向上的中心坐标以及z方向上的中心坐标等3个方向上的中心坐标。那么在计算任一个子区域的中心坐标时，可以分别计算该子区域在各个方向上的中心坐标。由于每个子区域在每个方向上的中心坐标的计算方式相同，因此本发明以计算第k个子区域在x方向上的中心坐标为例进行说明，其具体计算公式可以参见式1.1所示：
在式1.1中，表示第k个子区域在x方向上的中心坐标；F(k，x，y，z)表示第一网络提取出的第k个子区域的初始特征图在<x，y，z>的特征值，<x，y，z>为像素的坐标，即F(k，x，y，z)表示第一网络提取出的第k个子区域中各像素的初始特征值；lk为归一化项，用于将第k个子区域的初始特征图在<x，y，z>的特征值转化为权重，其具体计算公式如式1.2所示：
lk＝∑x，y，zF(k，x，y，z) 式1.2
在采用上述方法计算得到各个子区域的中心坐标之后，可以根据各个子区域的中心坐标和样本图像中各个像素的坐标更新第一网络的网络参数。在具体实施过程中，可以先获取第一网络的损失函数；其次，根据各个子区域的中心坐标和样本图像中各个像素的坐标，计算损失函数的值；然后，按照减小损失函数的值的方向，对第一网络的网络参数进行更新。
在一种实施方式中，第一网络的损失函数可包括区域集中损失函数，该区域集中损失函数用于在对图像进行分割处理的过程中，使得周围像素的特征与最接近的区域中心的特征更加相似，以实现将同分布的像素聚类至同一个子区域，从而实现区域分割效果；该区域集中损失函数的具体公式可以参见下述式1.3所示；其中，λRC为损失权重，其具体取值可根据经验值设置：
在此实施方式下，在根据各个子区域的中心坐标和样本图像中各个像素的坐标，计算损失函数的值的过程中，可以将样本图像中各个像素的初始特征值、样本图像中各个像素的坐标、以及各个子区域的中心坐标，计算区域集中损失函数的损失值；然后将该区域集中损失函数的损失值作为第一网络的损失函数的值。
再一种实施方式中，由于在深度学习中，Backbone(CNN网络)对图像的旋转、平移以及扭曲等畸变没有过多的容忍度；当图像发生旋转、平移或者扭曲等畸变时，Backbone提取的特征也会随着发生变化；但是，实践表明图像的像素特征是不应该随着图像发生畸变而产生变化的。例如，针对一张包含狗的图像，当该图像旋转90°之后，图像所包含的图像内容依然是狗，狗的特征并不会发生变化。因此，为了加强第一网络对上述图像畸变的容忍度，避免由于图像畸变所引起的图像分割和类别预测的偏差，本发明实施例针对第一网络的损失函数，还引入了畸变纠正损失函数。该畸变纠正损失函数可加强第一网络对畸变图像的容忍度，从而保证对于同一个图像内容而言，存在畸变的图像(简称畸变图像)和原始图像所提取出的特征是一致的。具体的，该畸变纠正损失函数的具体公式可以参见下述式1.4所示：其中，LDC公式的第一项用于保证畸变图像和原始图像的特征分布是一致的；LDC公式的第二项用于保证畸变图像和原始图像的子区域中心特征是相似的；这两项一致即可加强第一网络对图像畸变的容忍度。
其中，F为原始图像(如样本图像)经过Backbone输出的初始特征图，即F包括K个子区域的初始特征图；TDC为畸变处理的参数，该畸变处理包括以下至少一项处理：角度旋转(例如将样本图像进行-10°至10°的随机角度旋转)、像素平移(例如将样本图像中的一个或多个像素沿着任意方向平移20个像素单位)、图像缩放(例如将样本图像进行1.2倍至0.9倍的随机缩放)、以及斜切变化；斜切变化是指将样本图像的形状进行变化(例如将矩形的样本图像变化为平行四边形的样本图像)。F′为经过畸变处理的F(即畸变处理后的图像经过Backbone输出的初始特征图)，(TDC(F)|F′)为条件概率；EKL是KL散度(Kullback-Leiblerdivergence)计算公式，EKL表示两个初始特征图(即F和F′)分布的相似程度，表示F′中的第k个子区域的中心坐标；和均为根据经验值预先设置的权重。
当第一网络的损失函数包括区域集中损失函数和畸变纠正损失函数时，在根据各个子区域的中心坐标和样本图像中各个像素的坐标，计算损失函数的值的过程中，可以先根据样本图像中各个像素的初始特征值、样本图像中各个像素的坐标、以及各个子区域的中心坐标，计算区域集中损失函数的损失值。对样本图像进行畸变处理，并根据畸变处理后的图像及样本图像计算畸变纠正函数的损失值；具体的，可以将畸变处理后的图像分割成至少两个子区域(即K个子区域)，根据畸变处理后的图像中各个像素的坐标计算第k个子区域的中心坐标将和代入上述式1.4，以得到畸变纠正函数的损失值；其中，畸变处理的示意图可以参见图5所示。然后求取区域集中损失函数的损失值和畸变纠正损失函数的损失值的和，得到损失函数的值。
s22，根据类别标签的标签值及类别标签的预测值之间的差异，更新第二网络的网络参数及第三网络的网络参数。
在具体实施过程中，可以先确定类别标签的标签值及类别标签的预测值之间的差异；然后按照减小该差异的方向，更新第二网络的网络参数和第三网络的网络参数。其中，类别标签的标签值及类别标签的预测值之间的差异可以采用交叉熵损失函数的损失值进行表示；交叉熵损失函数的损失值的越小，则表明类别标签的标签值及类别标签的预测值之间的差异越小。相应的，在确定类别标签的标签值及类别标签的预测值之间的差异的过程中，可以先获取关于第二网络和第三网络的交叉熵损失函数；然后根据类别标签的标签值及类别标签的预测值计算交叉熵损失函数的损失值。
需要说明的是，若样本图像所包含的图像内容存在多方位的成像图，则可以将每个方位的成像图均作为样本图像并执行上述步骤S301-S306，得到每个方位的成像图像的类别标签的预测值；然后针对每一个类别标签，可以采用多方位图像融合策略对该类别标签的多个预测值进行融合处理，得到该类别标签的最终预测值。那么在此情况下，步骤S307中所使用的类别标签的预测值是指进行融合处理后的类别标签的最终预测值。其中，多方位图像融合策略包括：针对每一个类别标签，从多方位的成像图所对应的预测值中选取最大预测值作为该类别标签的最终预测值；或者，基于投票原则从多方位的成像图所对应的预测值中确定该类别标签的最终预测值，等等。
S308，根据更新后的网络参数对预设图像处理模型进行迭代训练，得到目标图像处理模型。
通过上述步骤S302-S308可知，本发明实施例可以控制预设图像处理模型中的各个网络向指定目标进行学习；例如：控制第一网络向着能够准确地对图像进行分割处理的目标进行学习，控制第二网络向着能够准确地得到各个子区域的加权特征图的目标进行学习，控制第三网络向着能够准确地进行类别预测的目标进行学习。相较于传统的黑盒子式的模型训练方法，无法获知模型内部的处理流程；本发明实施例通过控制预设图像处理模型中的各个网络向指定目标进行学习，实现将模型训练方式白盒化，加强了预设图像处理模型的鲁棒性。
本发明实施例在对预设图像处理模型进行模型训练的过程中，可先调用预设图像处理模型根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域；无需提前对样本图像中的各个区域进行分割标注，可节省标注资源并提高分割效率。其次，可调用预设图像处理模型根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值；通过分析各子区域与类别标签之间的相关度来实现类别预测，可在分割子区域的前提下进一步提升分类性能，从而提高类别预测的准确性，使得类别标签的预测值较为准确。然后，可根据各个子区域的中心坐标、标签值及较为准确的预测值更新预设图像处理模型的网络参数，并根据更新后的网络参数对预设图像处理模型进行迭代训练，得到目标图像处理模型，从而提高目标图像处理模型的准确性。
基于上述的描述，本发明实施例针对采用上述模型训练方法对预设图像处理模型进行训练所得到的目标图像处理模型，还提出了如图6所示的图像处理方法；该图像处理方法可由上述所提及的终端执行。如图6所示，该图像处理方法可包括以下步骤S601-S603：
S601，获取待处理的目标图像。
终端可以实时或周期检测是否存在图像处理的触发事件；在检测到图像处理的触发事件后，可响应于该触发事件，获取待处理的目标图像。其中，图像处理的触发事件可以包括以下任一种：用户上传目标图像的事件、用户上传目标图像并执行确认操作的事件(如上传目标图像并点击终端界面中的确认按钮的事件)，等等。
此处的目标图像可以是3D图像或者2D图像；该目标图像可以包括以下任一种图像：包含人体部位的医疗图像、包含故障车辆的车辆图像、包含机器零部件的机器设备图像，等等；其中，人体部位可包括以下任一项：膝盖、脚部、手部、颈部、头部以及腰部，等等。
S602，调用目标图像处理模型对目标图像进行类别预测，得到目标图像的预测类别标签及预测类别标签的预测值。
其中，目标图像处理模型采用如图2或图3所示的模型训练方法对预设图像处理模型进行训练得到；预测值用于表示目标图像包含预测类别标签所指示的异常特征的概率。需要说明的是，目标图像的预测类别标签的数量可以为一个或者多个，该预测类别标签的数量和目标图像所包含的异常特征的种类数相同。例如，若目标图像包含两种异常特征时，则目标图像的预测类别标签为2个；又如，若目标图像包含一种异常特征时，则目标图像的预测类别标签为1个，等等。
在具体实施过程中，可以先调用目标图像处理模型根据目标图像中各个像素之间的特征相似性对目标图像进行分割处理，得到至少两个子区域以及各个子区域的初始特征图。其次，调用目标图像处理模型对各个子区域的初始特征图进行池化处理，得到各个子区域的权值；以及获取各个子区域的卷积特征图，并根据各个子区域的权值对各个子区域的卷积特征图进行加权处理，得到各个子区域的加权特征图。然后，调用目标图像处理模型根据各个子区域的加权特征图对目标图像进行类别预测，得到目标图像的预测类别标签及预测类别标签的预测值。
S603，输出预测类别标签及预测类别标签的预测值。
在得到目标图像的预测类别标签及预测类别标签的预测值之后，可以输出该预测类别标签及预测类别标签的预测值。在一种实施方式中，若检测到针对类别预测的图像查看指令，则可以输出中间图像，以使得用户可以根据该中间图像确定目标图像处理模型的大致处理流程；其中，中间图像包括以下至少一种图像：各个子区域的初始特征图、各个子区域的卷积特征图，各个子区域的加强特征图，等等。
本发明实施例在进行图像处理的过程中，可先获取待处理的目标图像；其次，调用目标图像处理模型对目标图像进行类别预测，得到目标图像的预测类别标签及预测类别标签的预测值；然后输出该预测类别标签及预测类别标签的预测值。由于目标图像处理模型是采用如图2或图3所示的模型训练方法进行训练得到的，因此调用目标图像处理模型对目标图像进行类别预测，可以提高预测类别标签以及预测类别标签的准确性。
由前述可知，本发明实施例所提出的目标图像处理模型可适用于对任何与位置或结构相关的目标图像进行类别预测；以目标图像为包含膝盖的医疗图像(膝盖MRI图像)，上述所提出的目标图像处理模型可用于对膝盖MRI图像的常见疾病进行自动辅助诊断，具体可将该目标图像处理模型运用于以下应用场景：(1)可以将该目标图像处理模型嵌入至终端设备中以对任何膝盖MRI图像进行类别预测处理，可落地于任何医院内的关节骨科或者影像科中，帮助医师诊断膝盖常见疾病。(2)该目标图像处理模型还可作为膝盖MRI图像的疾病检索系统中的检索引擎，实现疾病检索系统的以病搜图功能或者以图搜病功能；其中，以病搜图功能是指：用于输入疾病标签，疾病检索系统根据该疾病标签调用目标图像处理模型检索并输出与该疾病标签相对应的膝盖MRI图像的功能；以图搜病功能是指：用户输入膝盖MRI图像，疾病检索系统调用目标图像处理模型对该膝盖MRI图像进行类别预测，并输出预测类别标签(预测疾病标签)以及预测类别标签的预测值的功能。(3)采用该目标图像处理模型构建医疗知识普及系统或者医师训练系统。
下面以将该目标图像处理模型运用在疾病检索系统中以实现疾病检索系统的以图搜病功能为例，对包含膝盖的医疗图像(膝盖MRI图像)进行类别预测且预测类别标签的数量为3个为例，对该目标图像处理模型的应用场景进行详细阐述：用户想要知道某膝盖A是否存在发育不良、前十字交叉韧带撕裂以及半月板撕裂等常见膝盖疾病时，可以打开该疾病检索系统，并点击上传按钮以上传包含该膝盖A的至少一个膝盖切面(如矢状面、冠状面或者横断面)的膝盖MRI图像输入至疾病检索系统中，如图7a所示；其中，矢状面是指：将膝盖纵切为左右两部分所作的切面，冠状面是指将膝盖纵切为前后两部分所作的切面，横断面是指将膝盖横切为上下两部分所作的切面。
在上传完成MRI图像之后，可以点击确认按钮，如图7b所示；相应的，疾病检索系统可获取该至少一个膝盖切面的膝盖MRI图像。针对任一个膝盖切面的膝盖MRI图像，疾病检索系统可以调用目标图像处理模型对该膝盖MRI图像进行类别预测，得到该膝盖MRI图像的3个预测类别标签的预测值；迭代上述步骤，可得到各个膝盖切面的膝盖MRI图像的3个预测类别标签的预测值。由此可见，在对各个膝盖切面的膝盖MRI图像进行类别预测后，每个预测类别标签具有多个预测值，每个预测类别标签的预测值的数量和膝盖MRI图像的数量相同。针对任一个预测类别标签而言，目标图像处理模型还可采用多方位图像融合策略对该预测类别标签的多个预测值进行融合处理，从而得到该预测类别标签的最终预测值。疾病检索系统可以输出各个预测类别标签以及各个预测类别标签的最终预测值(如图7b所示)，以使得用户可以根据各个预测类别标签判断膝盖A是否存在发育不良、前十字交叉韧带撕裂以及半月板撕裂等常见膝盖疾病。
基于上述模型训练方法实施例的描述，本发明实施例还公开了一种模型训练装置，所述模型训练装置可以是运行于终端中的一个计算机程序(包括程序代码)。该模型训练装置可以执行图2至图3所示的方法。请参见图8，所述模型训练装置可以运行如下单元：
获取单元101，用于获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；
处理单元102，用于调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
处理单元102，用于调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；
更新单元103，用于根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；
训练单元104，用于根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型。
在一种实施方式中，所述预设图像处理模型依次包括第一网络、第二网络以及第三网络；其中，所述第一网络用于根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；所述第二网络和所述第三网络用于根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值。
再一种实施方式中，处理单元102在用于调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域时，具体用于：调用所述第一网络对所述样本图像进行特征提取，得到所述样本图像中各个像素的初始特征值；调用所述第一网络根据所述样本图像中各个像素的初始特征值之间的特征相似性，对所述样本图像中各个像素进行聚类以对所述样本图像进行分割，得到至少两个子区域；同一个子区域中的各个像素属于同一特征分布。
再一种实施方式中，处理单元102在用于调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值时，具体用于：调用所述第二网络根据所述类别标签的标签值对各个子区域的初始特征图进行池化处理，得到所述各个子区域的权值；其中，每个初始特征图包括对应的子区域中各个像素的初始特征值，所述权值用于反映子区域与所述类别标签之间的相关度，且权值与所述相关度成正比；以及，获取所述各个子区域的卷积特征图，并根据所述各个子区域的权值对所述各个子区域的卷积特征图进行加权处理，得到所述各个子区域的加权特征图；调用所述第三网络根据所述各个子区域的加权特征图对所述样本图像进行类别预测，得到所述类别标签的预测值。
再一种实施方式中，所述至少两个子区域中包括参考子区域，所述参考子区域为所述至少两个子区域中的任一子区域；相应的，处理单元102在用于根据所述各个子区域的权值对所述各个子区域的卷积特征图进行加权处理，得到所述各个子区域的加权特征图时，具体用于：根据所述参考子区域的权值以及所述参考子区域中各个像素的初始特征值，确定所述参考子区域的权重分布图，所述权重分布图包括所述参考子区域中各个像素的权重值；采用所述参考子区域的权重分布图对所述参考子区域的卷积特征图进行加权处理，得到所述参考子区域的加权特征图。
再一种实施方式中，处理单元102在用于根据所述参考子区域的权值以及所述参考子区域中各个像素的初始特征值，确定所述参考子区域的权重分布图时，具体用于：对所述参考子区域中的各个像素进行归一化处理，得到所述参考子区域中各个像素属于所述参考子区域的概率值；根据所述参考子区域中各个像素的概率值以及概率阈值对所述参考子区域中的各个像素的初始特征值进行二值化处理，得到所述参考子区域的掩膜，所述掩膜包括所述参考子区域中各个像素的二值化处理后的特征值；计算所述参考子区域的权值和所述掩膜之间的乘积，得到所述参考子区域的权重分布图。
再一种实施方式中，更新单元103在用于根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数时，具体用于：根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标更新所述第一网络的网络参数；根据所述类别标签的标签值及所述类别标签的预测值之间的差异，更新所述第二网络的网络参数及所述第三网络的网络参数。
再一种实施方式中，更新单元103在用于根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标更新所述第一网络的网络参数时，具体用于：获取所述第一网络的损失函数；根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标，计算所述损失函数的值；按照减小所述损失函数的值的方向，对所述第一网络的网络参数进行更新。
再一种实施方式中，所述第一网络的损失函数包括区域集中损失函数和畸变纠正损失函数；相应的，更新单元103在用于根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标，计算所述损失函数的值时，具体用于：根据所述样本图像中各个像素的初始特征值、所述样本图像中各个像素的坐标、以及所述各个子区域的中心坐标，计算所述区域集中损失函数的损失值；对所述样本图像进行畸变处理，并根据畸变处理后的图像及所述样本图像计算所述畸变纠正函数的损失值；所述畸变处理包括以下至少一项处理：角度旋转、像素平移、图像缩放以及斜切变化；求取所述区域集中损失函数的损失值和所述畸变纠正损失函数的损失值的和，得到所述损失函数的值。
再一种实施方式中，所述样本图像为任一包含人体部位的医疗图像；所述预设图像处理模型为对所述人体部位的医疗图像进行疾病类别预测的模型；所述异常特征包括所述人体部位的疾病特征；其中，所述人体部位可包括以下任一项：膝盖、脚部、手部、颈部、头部以及腰部。
根据本发明的一个实施例，图2至图3所示的方法所涉及的各个步骤均可以是由图8所示的模型训练装置中的各个单元来执行的。例如，图2中所示的步骤S201可由图8中所示的获取单元101来执行，步骤S202和S203可由图8中所示的处理单元102来执行，步骤S204可由图8中所示的更新单元103来执行，步骤S205可由图8中所示的训练单元104来执行；又如，图3中所示的步骤S301可由图8中所示的获取单元101来执行，步骤S302-S306可由图8中所示的处理单元102来执行，步骤S307可由图8中所示的更新单元103来执行，步骤S308可由图8中所示的训练单元104来执行。
根据本发明的另一个实施例，图8所示的模型训练装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于模型训练装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2至图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8中所示的模型训练装置设备，以及来实现本发明实施例的模型训练方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本发明实施例在对预设图像处理模型进行模型训练的过程中，可先调用预设图像处理模型根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域；无需提前对样本图像中的各个区域进行分割标注，可节省标注资源并提高分割效率。其次，可调用预设图像处理模型根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值；通过分析各子区域与类别标签之间的相关度来实现类别预测，可在分割子区域的前提下进一步提升分类性能，从而提高类别预测的准确性，使得类别标签的预测值较为准确。然后，可根据各个子区域的中心坐标、标签值及较为准确的预测值更新预设图像处理模型的网络参数，并根据更新后的网络参数对预设图像处理模型进行迭代训练，得到目标图像处理模型，从而提高目标图像处理模型的准确性。
基于上述图像处理方法实施例的描述，本发明实施例还公开了一种图像处理装置，所述图像处理装置可以是运行于终端中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图6所示的方法。请参见图9，所述图像处理装置可以运行如下单元：
获取单元201，用于获取待处理的目标图像；
处理单元202，用于调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用如图2或图3所示的模型训练方法对预设图像处理模型进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；
输出单元203，用于输出所述预测类别标签及所述预测类别标签的预测值。
根据本发明的一个实施例，图6所示的方法所涉及的各个步骤均可以是由图9所示的图像处理装置中的各个单元来执行的。具体的，图6中所示的步骤S601-S603可分别由图9中所示的获取单元201、处理单元202以及输出单元203来执行。根据本发明的另一个实施例，图9所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图9中所示的图像处理装置设备，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本发明实施例在进行图像处理的过程中，可先获取待处理的目标图像；其次，调用目标图像处理模型对目标图像进行类别预测，得到目标图像的预测类别标签及预测类别标签的预测值；然后输出该预测类别标签及预测类别标签的预测值。由于目标图像处理模型是采用如图2或图3所示的模型训练方法进行训练得到的，因此调用目标图像处理模型对目标图像进行类别预测，可以提高预测类别标签以及预测类别标签的准确性。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种终端。请参见图10，该终端至少包括处理器301、输入设备302、输出设备303以及计算机存储介质304。其中，终端内的处理器301、输入设备302、输出设备303以及计算机存储介质304可通过总线或其他方式连接。
计算机存储介质304可以存储在终端的存储器中，所述计算机存储介质304用于存储计算机程序，所述计算机程序包括程序指令，所述处理器301用于执行所述计算机存储介质304存储的程序指令。处理器301(或称CPU(Central Processing Unit，中央处理器))是终端的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例所述的处理器301可用于对预设图像处理模型进行一系列的模型训练处理，包括：获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型，等等。再一个实施例中，本发明实施例所述的处理器301还可用于对目标图像进行一系列的图像处理，包括：获取待处理的目标图像；调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用图2或图3所示的模型训练方法对预设图像处理模型进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；输出所述预测类别标签及所述预测类别标签的预测值，等等。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器301加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，可由处理器301加载并执行计算机存储介质中存放的一条或多条第一指令，以实现上述有关模型训练实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或多条第一指令由处理器301加载并执行如下步骤：
获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；
调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；
根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；
根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型。
在一种实施方式中，所述预设图像处理模型依次包括第一网络、第二网络以及第三网络；其中，所述第一网络用于根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；所述第二网络和所述第三网络用于根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值。
再一种实施方式中，在调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域时，所述一条或多条第一指令由处理器301加载并具体执行：调用所述第一网络对所述样本图像进行特征提取，得到所述样本图像中各个像素的初始特征值；调用所述第一网络根据所述样本图像中各个像素的初始特征值之间的特征相似性，对所述样本图像中各个像素进行聚类以对所述样本图像进行分割，得到至少两个子区域；同一个子区域中的各个像素属于同一特征分布。
再一种实施方式中，在调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值时，所述一条或多条第一指令由处理器301加载并具体执行：调用所述第二网络根据所述类别标签的标签值对各个子区域的初始特征图进行池化处理，得到所述各个子区域的权值；其中，每个初始特征图包括对应的子区域中各个像素的初始特征值，所述权值用于反映子区域与所述类别标签之间的相关度，且权值与所述相关度成正比；以及，获取所述各个子区域的卷积特征图，并根据所述各个子区域的权值对所述各个子区域的卷积特征图进行加权处理，得到所述各个子区域的加权特征图；调用所述第三网络根据所述各个子区域的加权特征图对所述样本图像进行类别预测，得到所述类别标签的预测值。
再一种实施方式中，所述至少两个子区域中包括参考子区域，所述参考子区域为所述至少两个子区域中的任一子区域；相应的，在根据所述各个子区域的权值对所述各个子区域的卷积特征图进行加权处理，得到所述各个子区域的加权特征图时，所述一条或多条第一指令由处理器301加载并具体执行：根据所述参考子区域的权值以及所述参考子区域中各个像素的初始特征值，确定所述参考子区域的权重分布图，所述权重分布图包括所述参考子区域中各个像素的权重值；采用所述参考子区域的权重分布图对所述参考子区域的卷积特征图进行加权处理，得到所述参考子区域的加权特征图。
再一种实施方式中，在根据所述参考子区域的权值以及所述参考子区域中各个像素的初始特征值，确定所述参考子区域的权重分布图时，所述一条或多条第一指令由处理器301加载并具体执行：对所述参考子区域中的各个像素进行归一化处理，得到所述参考子区域中各个像素属于所述参考子区域的概率值；根据所述参考子区域中各个像素的概率值以及概率阈值对所述参考子区域中的各个像素的初始特征值进行二值化处理，得到所述参考子区域的掩膜，所述掩膜包括所述参考子区域中各个像素的二值化处理后的特征值；计算所述参考子区域的权值和所述掩膜之间的乘积，得到所述参考子区域的权重分布图。
再一种实施方式中，在根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数时，所述一条或多条第一指令由处理器301加载并具体执行：根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标更新所述第一网络的网络参数；根据所述类别标签的标签值及所述类别标签的预测值之间的差异，更新所述第二网络的网络参数及所述第三网络的网络参数。
再一种实施方式中，在根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标更新所述第一网络的网络参数时，所述一条或多条第一指令由处理器301加载并具体执行：获取所述第一网络的损失函数；根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标，计算所述损失函数的值；按照减小所述损失函数的值的方向，对所述第一网络的网络参数进行更新。
再一种实施方式中，所述第一网络的损失函数包括区域集中损失函数和畸变纠正损失函数；相应的，在根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标，计算所述损失函数的值时，所述一条或多条第一指令由处理器301加载并具体执行：根据所述样本图像中各个像素的初始特征值、所述样本图像中各个像素的坐标、以及所述各个子区域的中心坐标，计算所述区域集中损失函数的损失值；对所述样本图像进行畸变处理，并根据畸变处理后的图像及所述样本图像计算所述畸变纠正函数的损失值；所述畸变处理包括以下至少一项处理：角度旋转、像素平移、图像缩放以及斜切变化；求取所述区域集中损失函数的损失值和所述畸变纠正损失函数的损失值的和，得到所述损失函数的值。
再一种实施方式中，所述样本图像为任一包含人体部位的医疗图像；所述预设图像处理模型为对所述人体部位的医疗图像进行疾病类别预测的模型；所述异常特征包括所述人体部位的疾病特征；其中，所述人体部位可包括以下任一项：膝盖、脚部、手部、颈部、头部以及腰部。
再一个实施例中，可由处理器301加载并执行计算机存储介质中存放的一条或多条第二指令，以实现上述有关图像处理实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或多条第二指令由处理器301加载并执行如下步骤：
获取待处理的目标图像；
调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用图2或图3所示的模型训练方法对预设图像处理进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；
输出所述预测类别标签及所述预测类别标签的预测值。
本发明实施例在对预设图像处理模型进行模型训练的过程中，可先调用预设图像处理模型根据样本图像中各个像素之间的特征相似性对样本图像进行分割处理，得到至少两个子区域；无需提前对样本图像中的各个区域进行分割标注，可节省标注资源并提高分割效率。其次，可调用预设图像处理模型根据各个子区域和类别标签之间的相关度对样本图像进行类别预测，得到类别标签的预测值；通过分析各子区域与类别标签之间的相关度来实现类别预测，可在分割子区域的前提下进一步提升分类性能，从而提高类别预测的准确性，使得类别标签的预测值较为准确。然后，可根据各个子区域的中心坐标、标签值及较为准确的预测值更新预设图像处理模型的网络参数，并根据更新后的网络参数对预设图像处理模型进行迭代训练，得到目标图像处理模型，从而提高目标图像处理模型的准确性。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种模型训练方法，其特征在于，包括：
获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；
调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；
根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；
根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型。
2.如权利要求1所述的方法，其特征在于，所述预设图像处理模型依次包括第一网络、第二网络以及第三网络；其中，
所述第一网络用于根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
所述第二网络和所述第三网络用于根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值。
3.如权利要求2所述的方法，其特征在于，所述调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域，包括：
调用所述第一网络对所述样本图像进行特征提取，得到所述样本图像中各个像素的初始特征值；
调用所述第一网络根据所述样本图像中各个像素的初始特征值之间的特征相似性，对所述样本图像中各个像素进行聚类以对所述样本图像进行分割，得到至少两个子区域；同一个子区域中的各个像素属于同一特征分布。
4.如权利要求2所述的方法，其特征在于，所述调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，包括：
调用所述第二网络根据所述类别标签的标签值对各个子区域的初始特征图进行池化处理，得到所述各个子区域的权值；其中，每个初始特征图包括对应的子区域中各个像素的初始特征值，所述权值用于反映子区域与所述类别标签之间的相关度，且权值与所述相关度成正比；以及，
获取所述各个子区域的卷积特征图，并根据所述各个子区域的权值对所述各个子区域的卷积特征图进行加权处理，得到所述各个子区域的加权特征图；
调用所述第三网络根据所述各个子区域的加权特征图对所述样本图像进行类别预测，得到所述类别标签的预测值。
5.如权利要求4所述的方法，其特征在于，所述至少两个子区域中包括参考子区域，所述参考子区域为所述至少两个子区域中的任一子区域；
所述根据所述各个子区域的权值对所述各个子区域的卷积特征图进行加权处理，得到所述各个子区域的加权特征图，包括：
根据所述参考子区域的权值以及所述参考子区域中各个像素的初始特征值，确定所述参考子区域的权重分布图，所述权重分布图包括所述参考子区域中各个像素的权重值；
采用所述参考子区域的权重分布图对所述参考子区域的卷积特征图进行加权处理，得到所述参考子区域的加权特征图。
6.如权利要求5所述的方法，其特征在于，所述根据所述参考子区域的权值以及所述参考子区域中各个像素的初始特征值，确定所述参考子区域的权重分布图，包括：
对所述参考子区域中的各个像素进行归一化处理，得到所述参考子区域中各个像素属于所述参考子区域的概率值；
根据所述参考子区域中各个像素的概率值以及概率阈值对所述参考子区域中的各个像素的初始特征值进行二值化处理，得到所述参考子区域的掩膜，所述掩膜包括所述参考子区域中各个像素的二值化处理后的特征值；
计算所述参考子区域的权值和所述掩膜之间的乘积，得到所述参考子区域的权重分布图。
7.如权利要求2所述的方法，其特征在于，所述根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数，包括：
根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标更新所述第一网络的网络参数；
根据所述类别标签的标签值及所述类别标签的预测值之间的差异，更新所述第二网络的网络参数及所述第三网络的网络参数。
8.如权利要求7所述的方法，其特征在于，所述根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标更新所述第一网络的网络参数，包括：
获取所述第一网络的损失函数；
根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标，计算所述损失函数的值；
按照减小所述损失函数的值的方向，对所述第一网络的网络参数进行更新。
9.如权利要求8所述的方法，其特征在于，所述第一网络的损失函数包括区域集中损失函数和畸变纠正损失函数；所述根据所述各个子区域的中心坐标和所述样本图像中各个像素的坐标，计算所述损失函数的值，包括：
根据所述样本图像中各个像素的初始特征值、所述样本图像中各个像素的坐标、以及所述各个子区域的中心坐标，计算所述区域集中损失函数的损失值；
对所述样本图像进行畸变处理，并根据畸变处理后的图像及所述样本图像计算所述畸变纠正函数的损失值；所述畸变处理包括以下至少一项处理：角度旋转、像素平移、图像缩放以及斜切变化；
求取所述区域集中损失函数的损失值和所述畸变纠正损失函数的损失值的和，得到所述损失函数的值。
10.如权利要求1-9任一项所述的方法，其特征在于，所述样本图像为任一包含人体部位的医疗图像；所述预设图像处理模型为对所述人体部位的医疗图像进行疾病类别预测的模型；所述异常特征包括所述人体部位的疾病特征；
其中，所述人体部位可包括以下任一项：膝盖、脚部、手部、颈部、头部以及腰部。
11.一种图像处理方法，其特征在于，包括：
获取待处理的目标图像；
调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用如权利要求1-10任一项所述的模型训练方法对预设图像处理模型进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；
输出所述预测类别标签及所述预测类别标签的预测值。
12.一种模型训练装置，其特征在于，包括：
获取单元，用于获取样本图像、所述样本图像的类别标签及所述类别标签的标签值，所述标签值用于表示所述样本图像是否包含所述类别标签所指示的异常特征；
处理单元，用于调用预设图像处理模型根据所述样本图像中各个像素之间的特征相似性对所述样本图像进行分割处理，得到至少两个子区域；
所述处理单元，用于调用所述预设图像处理模型根据各个子区域和所述类别标签之间的相关度对所述样本图像进行类别预测，得到所述类别标签的预测值，所述预测值用于表示所述样本图像包含所述类别标签所指示的异常特征的概率；
更新单元，用于根据所述各个子区域的中心坐标、所述类别标签的标签值及所述类别标签的预测值，更新所述预设图像处理模型的网络参数；
训练单元，用于根据更新后的网络参数对所述预设图像处理模型进行迭代训练，得到目标图像处理模型。
13.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理的目标图像；
处理单元，用于调用目标图像处理模型对所述目标图像进行类别预测，得到所述目标图像的预测类别标签及所述预测类别标签的预测值；所述目标图像处理模型采用如权利要求1-10任一项所述的模型训练方法对预设图像处理模型进行训练得到，所述预测值用于表示所述目标图像包含所述预测类别标签所指示的异常特征的概率；
输出单元，用于输出所述预测类别标签及所述预测类别标签的预测值。
14.一种终端，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由所述处理器加载并执行如权利要求1-10任一项所述的模型训练方法；或者，所述计算机存储介质存储有一条或多条第二指令，所述一条或多条第二指令适于由所述处理器加载并执行如权利要求11所述的图像处理方法。
15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由处理器加载并执行如权利要求1-10任一项所述的模型训练方法；或者，所述计算机存储介质存储有一条或多条第二指令，所述一条或多条第二指令适于由所述处理器加载并执行如权利要求11所述的图像处理方法。
CN201910634411.9A 2019-07-12 2019-07-12 模型训练方法、图像处理方法、装置、终端及存储介质 Pending CN110363138A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910634411.9A CN110363138A (zh) 2019-07-12 2019-07-12 模型训练方法、图像处理方法、装置、终端及存储介质
PCT/CN2020/098454 WO2021008328A1 (zh) 2019-07-12 2020-06-28 图像处理方法、装置、终端及存储介质
US17/459,301 US11914677B2 (en) 2019-07-12 2021-08-27 Image processing method and apparatus, terminal, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910634411.9A CN110363138A (zh) 2019-07-12 2019-07-12 模型训练方法、图像处理方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN110363138A true CN110363138A (zh) 2019-10-22

Family

ID=68219269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910634411.9A Pending CN110363138A (zh) 2019-07-12 2019-07-12 模型训练方法、图像处理方法、装置、终端及存储介质

Country Status (3)

Country Link
US (1) US11914677B2 (zh)
CN (1) CN110363138A (zh)
WO (1) WO2021008328A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866908A (zh) * 2019-11-12 2020-03-06 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN110889437A (zh) * 2019-11-06 2020-03-17 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111369576A (zh) * 2020-05-28 2020-07-03 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置及设备
CN111428757A (zh) * 2020-03-05 2020-07-17 支付宝(杭州)信息技术有限公司 模型训练方法、异常数据检测方法、装置和电子设备
CN111476806A (zh) * 2020-06-23 2020-07-31 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111582366A (zh) * 2020-05-07 2020-08-25 清华大学 图像处理方法、装置及设备
CN111626098A (zh) * 2020-04-09 2020-09-04 北京迈格威科技有限公司 模型的参数值更新方法、装置、设备及介质
CN111739027A (zh) * 2020-07-24 2020-10-02 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质
WO2021008328A1 (zh) * 2019-07-12 2021-01-21 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN112734641A (zh) * 2020-12-31 2021-04-30 百果园技术(新加坡)有限公司 目标检测模型的训练方法、装置、计算机设备及介质
CN113313697A (zh) * 2021-06-08 2021-08-27 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
CN113505256A (zh) * 2021-07-02 2021-10-15 北京达佳互联信息技术有限公司 特征提取网络训练方法、图像处理方法及装置
CN113592819A (zh) * 2021-07-30 2021-11-02 上海皓桦科技股份有限公司 图像处理系统及方法
CN113838218A (zh) * 2021-09-24 2021-12-24 厦门大学 一种感知环境的语音驱动虚拟人姿态合成方法
CN114297454A (zh) * 2021-12-30 2022-04-08 医渡云（北京）技术有限公司 特征的离散化方法、装置、电子设备及计算机可读介质
CN114419321A (zh) * 2022-03-30 2022-04-29 珠海市人民医院 一种基于人工智能的ct图像心脏分割方法及系统
WO2023035586A1 (zh) * 2021-09-10 2023-03-16 上海商汤智能科技有限公司 图像检测方法、模型训练方法、装置、设备、介质及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581709A (zh) * 2022-03-02 2022-06-03 深圳硅基智能科技有限公司 识别医学图像中的目标的模型训练、方法、设备及介质
CN114693624A (zh) * 2022-03-23 2022-07-01 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及可读存储介质
CN115091725B (zh) * 2022-07-04 2023-05-05 浙江同发塑机有限公司 用于生产农药包装桶的智能吹塑机及其控制方法
CN116030358B (zh) * 2022-12-20 2023-06-23 中国科学院空天信息创新研究院 面向星群分布式的参数特征融合的遥感细粒度分类方法
CN116188879B (zh) * 2023-04-27 2023-11-28 广州医思信息科技有限公司 图像分类、图像分类模型训练方法、装置、设备及介质
CN117152459B (zh) * 2023-10-30 2024-06-11 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机可读介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203399A (zh) * 2016-07-27 2016-12-07 厦门美图之家科技有限公司 一种图像处理方法、装置和计算设备
CN106529565A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN108053401A (zh) * 2017-12-27 2018-05-18 广州市申迪计算机系统有限公司 一种b超图像处理方法及装置
CN108629319A (zh) * 2018-05-09 2018-10-09 北京嘀嘀无限科技发展有限公司 图像检测方法及系统
CN108647732A (zh) * 2018-05-14 2018-10-12 北京邮电大学 一种基于深度神经网络的病理图像分类方法及装置
CN109948707A (zh) * 2019-03-20 2019-06-28 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2855440A1 (en) * 2013-06-28 2014-12-28 Kelly J. Stegman Tissue displacement estimation by ultrasound speckle tracking
CN108475331B (zh) * 2016-02-17 2022-04-05 英特尔公司 用于对象检测的方法、装置、系统和计算机可读介质
CN109564651A (zh) * 2016-05-19 2019-04-02 思比机器人公司 用于自动生成将产品分配到商店内的货架结构的货架图的方法
JP6728404B2 (ja) * 2016-05-19 2020-07-22 シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. 店舗の棚への製品の配置を追跡する方法
US10692243B2 (en) * 2017-12-03 2020-06-23 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
WO2019172245A1 (ja) * 2018-03-09 2019-09-12 株式会社国際電気通信基礎技術研究所 脳活動訓練装置、脳活動訓練方法および脳活動訓練プログラム
CN110363138A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、终端及存储介质
EP4304705A1 (en) * 2021-03-12 2024-01-17 Alphatec Spine, Inc. Stimulation system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203399A (zh) * 2016-07-27 2016-12-07 厦门美图之家科技有限公司 一种图像处理方法、装置和计算设备
CN106529565A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 目标识别模型训练和目标识别方法及装置、计算设备
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN108053401A (zh) * 2017-12-27 2018-05-18 广州市申迪计算机系统有限公司 一种b超图像处理方法及装置
CN108629319A (zh) * 2018-05-09 2018-10-09 北京嘀嘀无限科技发展有限公司 图像检测方法及系统
CN108647732A (zh) * 2018-05-14 2018-10-12 北京邮电大学 一种基于深度神经网络的病理图像分类方法及装置
CN109948707A (zh) * 2019-03-20 2019-06-28 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008328A1 (zh) * 2019-07-12 2021-01-21 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
US11914677B2 (en) * 2019-07-12 2024-02-27 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, terminal, and storage medium
US20220058446A1 (en) * 2019-07-12 2022-02-24 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, terminal, and storage medium
CN110889437A (zh) * 2019-11-06 2020-03-17 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110889437B (zh) * 2019-11-06 2022-11-11 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110866908A (zh) * 2019-11-12 2020-03-06 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN111428757A (zh) * 2020-03-05 2020-07-17 支付宝(杭州)信息技术有限公司 模型训练方法、异常数据检测方法、装置和电子设备
CN111626098A (zh) * 2020-04-09 2020-09-04 北京迈格威科技有限公司 模型的参数值更新方法、装置、设备及介质
CN111626098B (zh) * 2020-04-09 2023-04-18 北京迈格威科技有限公司 模型的参数值更新方法、装置、设备及介质
CN111582366A (zh) * 2020-05-07 2020-08-25 清华大学 图像处理方法、装置及设备
CN111582366B (zh) * 2020-05-07 2023-10-31 清华大学 图像处理方法、装置及设备
CN111369576A (zh) * 2020-05-28 2020-07-03 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置及设备
CN111476806A (zh) * 2020-06-23 2020-07-31 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111739027A (zh) * 2020-07-24 2020-10-02 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质
CN111739027B (zh) * 2020-07-24 2024-04-26 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质
CN112734641A (zh) * 2020-12-31 2021-04-30 百果园技术(新加坡)有限公司 目标检测模型的训练方法、装置、计算机设备及介质
CN112734641B (zh) * 2020-12-31 2024-05-31 百果园技术(新加坡)有限公司 目标检测模型的训练方法、装置、计算机设备及介质
CN113313697A (zh) * 2021-06-08 2021-08-27 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
CN113505256A (zh) * 2021-07-02 2021-10-15 北京达佳互联信息技术有限公司 特征提取网络训练方法、图像处理方法及装置
CN113505256B (zh) * 2021-07-02 2022-09-02 北京达佳互联信息技术有限公司 特征提取网络训练方法、图像处理方法及装置
CN113592819A (zh) * 2021-07-30 2021-11-02 上海皓桦科技股份有限公司 图像处理系统及方法
WO2023035586A1 (zh) * 2021-09-10 2023-03-16 上海商汤智能科技有限公司 图像检测方法、模型训练方法、装置、设备、介质及程序
CN113838218B (zh) * 2021-09-24 2023-10-13 厦门大学 一种感知环境的语音驱动虚拟人姿态合成方法
CN113838218A (zh) * 2021-09-24 2021-12-24 厦门大学 一种感知环境的语音驱动虚拟人姿态合成方法
CN114297454A (zh) * 2021-12-30 2022-04-08 医渡云（北京）技术有限公司 特征的离散化方法、装置、电子设备及计算机可读介质
CN114419321A (zh) * 2022-03-30 2022-04-29 珠海市人民医院 一种基于人工智能的ct图像心脏分割方法及系统

Also Published As

Publication number Publication date
WO2021008328A1 (zh) 2021-01-21
US20220058446A1 (en) 2022-02-24
US11914677B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
CN110363138A (zh) 模型训练方法、图像处理方法、装置、终端及存储介质
Giovannucci et al. CaImAn an open source tool for scalable calcium imaging data analysis
Sullivan et al. Deep learning is combined with massive-scale citizen science to improve large-scale image classification
Wang et al. Zoom-in-net: Deep mining lesions for diabetic retinopathy detection
JP2022529557A (ja) 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム
Yoon et al. Tumor identification in colorectal histology images using a convolutional neural network
CN109766840A (zh) 人脸表情识别方法、装置、终端及存储介质
CN110210625A (zh) 基于迁移学习的建模方法、装置、计算机设备和存储介质
CN109409398A (zh) 图像处理装置、图像处理方法以及存储介质
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
Nguyen et al. Structured cerebellar connectivity supports resilient pattern separation
Selvan et al. Uncertainty quantification in medical image segmentation with normalizing flows
Chu et al. Pay more attention to discontinuity for medical image segmentation
Wang et al. Medical matting: a new perspective on medical segmentation with uncertainty
CN109034218A (zh) 模型训练方法、装置、设备及存储介质
Sun et al. Unsupervised representation learning meets pseudo-label supervised self-distillation: A new approach to rare disease classification
Tang et al. Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection
Hagos et al. Impact of feedback type on explanatory interactive learning
Yang Student Classroom Behavior Detection based on Improved YOLOv7
CN113537407B (zh) 基于机器学习的图像数据评价处理方法及装置
Gouse et al. Automation of Rice Leaf Diseases Prediction Using Deep Learning Hybrid Model VVIR
Yang et al. 3W-AlignNet: a feature alignment framework for person search with three-way decision theory
Kang et al. Visual-attribute prompt learning for progressive mild cognitive impairment prediction
Roth et al. Mask mining for improved liver lesion segmentation
Kato et al. One-shot and Partially-Supervised Cell Image Segmentation Using Small Visual Prompt

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination