CN115115567A - 一种图像处理方法、装置、计算机设备及介质 - Google Patents

一种图像处理方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN115115567A
CN115115567A CN202110302731.1A CN202110302731A CN115115567A CN 115115567 A CN115115567 A CN 115115567A CN 202110302731 A CN202110302731 A CN 202110302731A CN 115115567 A CN115115567 A CN 115115567A
Authority
CN
China
Prior art keywords
image
network
sample
target
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110302731.1A
Other languages
English (en)
Inventor
林一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Cloud Computing Beijing Co Ltd
Priority to CN202110302731.1A priority Critical patent/CN115115567A/zh
Priority to PCT/CN2021/108929 priority patent/WO2022198866A1/zh
Publication of CN115115567A publication Critical patent/CN115115567A/zh
Priority to US18/123,554 priority patent/US20230230237A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及人工智能技术领域，公开了一种图像处理方法、装置、计算机设备及介质，其中方法包括：获取包括目标对象的待处理图像，对待处理图像进行图像分割，确定与目标对象关联的掩膜图像。进一步地，对待处理图像进行特征提取，并依照待处理图像的特征提取结果确定与目标对象关联的第一预测值，对掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值，进而根据第一预测值和所述第二预测值，确定与目标对象关联的目标预测值。可以结合图像分割技术，增加目标预测值的准确度。

Description

一种图像处理方法、装置、计算机设备及介质
技术领域
本申请涉及互联网技术领域，具体涉及人工智能技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种计算机设备及一种计算机存储介质。
背景技术
当今时代，随着人工智能技术的澎湃发展，其不仅从各个应用领域影响着人们的生产和生活，同时也推动着世界的发展和进步。以医学领域为例，近年来，脊柱侧弯情况逐年增多，对青少年不仅造成外观畸形和心理问题，还可导致心肺功能低下及顽固性疼痛，为我国青少年成长的重大健康问题之一。其中，脊柱为人体的中轴骨骼，是身体的支柱，有负重、减震、保护和运动等功能，脊柱侧弯角的准确测量，对于辅助医生对病人的诊断，具有重要意义。
目前，检测脊柱的侧弯情况主要依赖于X线片(即待处理图像)进行检测，传统的脊柱侧弯角测量的方法是：检查人员在脊柱全长X线片上利用铅笔和量角器，或使用PACS(Picture Archiving andCommunication Systems)系统中计算机辅助的侧弯角测量工具对脊柱全长X线片进行手动测量。检查人员利用量角器或使用计算机辅助工具进行侧弯角测量时，通常是凭借临床经验找出倾斜度最大的上下端椎，绘制椎体终板的延长线再作垂线并用量角器测量，弯曲程度的即为侧弯角。可见，传统的脊柱全长X光线检查方法受限于当地X线设备条件和医务人员的经验水平，在测量侧弯角的过程中还是没有消除手动测量存在的差异性，准确度较差。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及介质，可以结合图像分割技术，增加目标预测值的准确度。
一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取包括目标对象的待处理图像；
对所述待处理图像进行图像分割，确定与所述目标对象关联的掩膜图像；
对所述待处理图像进行特征提取，并依照所述待处理图像的特征提取结果确定与所述目标对象关联的第一预测值；
对所述掩膜图像进行特征提取，并依照所述掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值；
根据所述第一预测值和所述第二预测值，确定与所述目标对象关联的目标预测值。
一方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：
获取模块，用于获取包括目标对象的待处理图像；
分割模块，用于对所述待处理图像进行图像分割，确定与所述目标对象关联的掩膜图像；
预测模块，用于对所述待处理图像进行特征提取，并依照所述待处理图像的特征提取结果确定与所述目标对象关联的第一预测值；
所述预测模块，还用于对所述掩膜图像进行特征提取，并依照所述掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值；
所述预测模块，还用于根据所述第一预测值和所述第二预测值，确定与所述目标对象关联的目标预测值。
一方面，本申请实施例提供了又一种图像处理方法，该方法包括：
获取图像处理模型，所述图像处理模型包括分割网络和回归网络，所述回归网络包括第一分支网络和第二分支网络；
获取包括目标对象的第一样本图像以及所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；
通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；
依照所述第一样本掩膜图像更新所述分割网络的网络参数，并根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络；
调用所述第一分支网络对所述第一样本图像进行特征提取，以确定与所述目标对象关联的第一样本预测值；
调用所述第二分支网络对所述第一样本掩膜图像进行特征提取，以确定与所述目标对象关联的第二样本预测值；
依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；
根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络；
通过所述目标分割网络和所述目标回归网络，得到目标图像处理模型，其中，所述目标图像处理模型，用于对包括目标对象的待处理图像进行数据分析，得到与所述目标对象关联的目标预测值。
一方面，本申请实施例提供了另一种图像处理装置，该图像处理装置包括：
获取模块，用于获取图像处理模型，所述图像处理模型包括分割网络和回归网络，所述回归网络包括第一分支网络和第二分支网络；
所述获取模块，还用于获取包括目标对象的第一样本图像以及所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；
训练模块，用于通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；
所述训练模块，还用于依照所述第一样本掩膜图像更新所述分割网络的网络参数，并根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络；
所述训练模块，还用于调用所述第一分支网络对所述第一样本图像进行特征提取，以确定与所述目标对象关联的第一样本预测值；
所述训练模块，还用于调用所述第二分支网络对所述第一样本掩膜图像进行特征提取，以确定与所述目标对象关联的第二样本预测值；
所述训练模块，还用于依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；
所述训练模块，还用于根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络；
所述训练模块，还用于通过所述目标分割网络和所述目标回归网络，得到目标图像处理模型，其中，所述目标图像处理模型，用于对包括目标对象的待处理图像进行数据分析，得到与所述目标对象关联的目标预测值。
相应地，本申请实施例还提供了一种计算机设备，该计算机设备包括输出设备、处理器和存储装置；存储装置，用于存储程序指令；处理器，用于调用程序指令并执行上述的图像处理方法。
相应地，本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，该程序指令被执行时，用于实现上述的图像处理方法。
相应地，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述提供的图像处理方法。
本申请实施例中，计算机设备可获取包括目标对象的待处理图像，对待处理图像进行图像分割，确定与目标对象关联的掩膜图像。进一步地，对待处理图像进行特征提取，并依照待处理图像的特征提取结果确定与目标对象关联的第一预测值，对掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值，进而根据第一预测值和所述第二预测值，确定与目标对象关联的目标预测值。可以结合图像分割技术，增加目标预测值的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理模型的结构示意图；
图2是本申请实施例提供的一种图像处理的场景示意图；
图3是本申请实施例提供的一种图像处理方法的流程示意图；
图4是本申请实施例提供的一种掩膜图像的示意图；
图5a是本申请实施例提供的一种分割网络的结构示意图；
图5b是本申请实施例提供的一种回归网络的结构示意图；
图5c是本申请实施例提供的一种金字塔采样模块的结构示意图；
图5d是本申请实施例提供的另一种金字塔采样模块的结构示意图；
图6是本申请实施例提供的一种对分割网络和回归网络进行联合训练的流程示意图；
图7是本申请实施例提供的另一种图像处理方法的流程示意图；
图8是本申请实施例提供的一种实验结果对比图；
图9是本申请实施例提供的一种分割结果对比图；
图10是本申请实施例提供的一种图像处理装置的结构示意图；
图11是本申请实施例提供的另一种图像处理装置的结构示意图；
图12是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
AI(Artificial Intelligence，人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
ML(Machine Learning，机器学习)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的机器学习技术。具体通过如下实施例进行说明：
本申请实施例构建了一种图像处理模型，如图1所示，该图像处理模型包含分割网络和回归网络。其中，分割网络，用于对包括目标对象的输入图像进行图像分割，确定与目标对象关联的掩膜(Mask)图像；回归网络可以为孪生神经网络，孪生神经网络有两个输入(上述输入图像和该输入图像对应的掩膜图像)，两个输入分别进入两个神经网络(第一分支网络和第二分支网络)，通过第一分支网络对输入图像进行特征提取，并依照输入图像的特征提取结果确定与目标对象关联的第一预测值；通过第二分支网络对上述掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定与目标对象关联的第二预测值；进一步地，根据该第一预测值和第二预测值确定与目标对象关联的目标预测值。
在图像处理模型构建完成后，可以基于与目标对象关联的目标任务对上述图像处理模型进行训练，后续可以直接通过训练完成的图像处理模型(以下称为目标图像处理模型)对包括目标对象的待处理图像进行分析，确定与目标对象关联的目标预测值。在本申请实施例中，目标图像处理模型中的分割网络可以统称为目标分割网络，目标图像处理模型中的回归网络可以统称为目标回归网络。
其中，图像处理模型进行训练的具体方式为：获取大量包括目标对象的样本图像，以及每个样本图像的目标标签，将这些样本图像以及对应的目标标签作为训练集，并通过该训练集对图像处理模型进行训练，从而得到目标图像处理模型。
可以理解的是，上述目标图像处理模型可应用于任何需要进行与目标对象关联的预测场景，例如医疗领域、生物领域等等。以医疗领域为例，假设预测场景为脊柱侧弯角预测场景，对上述图像处理模型进行训练的目标任务为：预测脊柱扫描图像中脊柱的侧弯角(以下统称为预测脊柱侧弯角)，那么，这种情况下，上述目标对象为脊柱，脊柱扫描图像为样本图像，针对样本图像添加的目标标签包括两部分信息：第一、标记脊柱侧弯角；第二、掩膜标记信息，该掩膜标记信息指示了样本图像对应标记掩膜图像(或者可以理解为实际掩膜图像)中每个像素点的标记类别，标记掩膜图像中每个像素点的标记类别可包括背景、脊椎骨和椎间盘，具体地，每种标记类别可以通过不同的标记值表示，示例性地，类别为背景、脊椎骨和椎间盘的像素点对应的标记值可分别为0、1和2，该标记值可用于区分不同像素点所属的类别。
仍以医疗领域为例，上述预测场景还可以为病灶分类预测场景(如甲状腺病灶分类、乳腺病灶分类)，以甲状腺病灶分类预测场景为例，对上述图像处理模型进行训练的目标任务为：准确地预测甲状腺图像(如甲状腺彩超图像)中甲状腺病灶分类，那么，这种情况下，上述目标对象为甲状腺，甲状腺彩超图像为样本图像，针对样本图像添加的目标标签包括两部分信息：第一、病灶区域；第二、针对病灶区域对应的标记病灶分类(如甲状腺结节，甲状腺瘤，甲状腺癌等等)。
从上述内容可知，本申请实施例中可通过不同类型的样本图像训练得到应用于不同预测场景的目标图像处理模型。在一个实施例中，计算机设备可以调用应用于不同预测场景的目标图像处理模型，也即目标图像处理模型可以包括多个。这种情况下，当计算机设备获取到待处理图像之后，可以首先识别待处理图像的图像类型，并从多个目标图像处理模型中选取与该图像类型匹配的目标图像处理模型，进而通过与该图像类型匹配的目标图像处理模型对上述待处理图像进行数据分析，以确定与目标对象关联的目标预测值(例如脊柱侧弯角、病灶分类结果等等)。
示例性地，以目标图像处理模型包括第一图像处理模型和第二图像处理模型为例，第一图像处理模型用于确定脊柱扫描图像中脊柱的侧弯角；第二图像处理模型用于确定甲状腺超声波图像中的甲状腺病灶区，以及该甲状腺病灶区对应的病灶分类，各个图像处理模型对应待处理图像的图像类型和输出结果如表1所示。这种情况下，当计算机设备获取到一张待处理图像P1之后，若识别到待处理图像P1的图像类型为脊柱扫描图像，则可调用第一图像处理模型，以确定脊柱扫描图像中脊柱的侧弯角；若识别到待处理图像P1的图像类型为甲状腺超声波图像，则可将调用第二图像处理模型，以从脑部扫描图像中分割出甲状腺病灶区，并确定该甲状腺病灶区对应的病灶分类。
表1
Figure BDA0002986900150000071
Figure BDA0002986900150000081
或者，在另一个实施例中，计算机设备运行有一个图像处理平台，例如一个应用程序或者网页，用户可以通过登录该图像处理平台，上传包括目标对象的待处理图像，并输入对待处理图像的处理需求信息，该处理需求信息用于指示针对该待处理图像的目标预测项，该预测项可以包括脊柱侧弯角、病灶分类等等，其中病症分类还可以细分多个子分类，例如甲状腺病灶分类、乳腺病灶分类等等。进一步地，计算机设备可以获取用户上传的待处理图像和处理需求信息，从多个目标图像处理模型中选取与处理需求信息匹配的目标图像处理模型，并通过与处理需求信息匹配的目标图像处理模型对上述待处理图像进行数据分析，以确定与目标对象关联的目标预测值。
示例性地，假设图像处理模型包括第一图像处理模型和第二图像处理模型，第一图像处理模型用于确定脊柱扫描图像中脊柱的侧弯角；第二图像处理模型用于确定甲状腺超声波图像中的甲状腺病灶区，以及该甲状腺病灶区对应的病灶分类。计算机设备可以显示如图2中左图所示的待处理图像处理页面，该页面包括多个预测项供用户选取。从图2可以看出，用户上传了脊柱扫描图像，并选取了脊柱侧弯角这一选项(可以理解为用户输入了处理需求信息，该处理需求信息指示了针对图像1的目标预测项为：脊柱侧弯角)，这种情况下，当计算机设备检测到用户针对脊柱扫描图像的处理开启操作(例如点击图2中的“确认按钮”)时，那么计算机设备可以将脊柱扫描图像确定为待处理图像，并从多个目标图像处理模型中选取第一图像处理模型为与处理需求信息匹配的目标图像处理模型，调用第一图像处理模型以确定脊柱扫描图像中脊柱的侧弯角，该侧弯角可以包括上胸侧弯角、主胸侧弯和胸腰侧弯角。
基于上述目标图像处理模型的模型结构，本申请实施例提出了一种如图3所示的一种图像处理方法，该图像处理方法可以由计算机设备执行，该计算机设备可以调用上述图1所示的目标图像处理模型，此处的计算机设备可以包括但不限于：平板电脑、膝上计算机、笔记本电脑以及台式电脑，等等。请参见图3所示，该图像处理方法可包括以下步骤S301-S304：
S301：获取包括目标对象的待处理图像。
S302：对待处理图像进行图像分割，确定与目标对象关联的掩膜图像。在一个实施例中，计算机设备将上述待处理图像输入上述目标图像处理模型，调用目标图像处理模型中的目标分割网络对待处理图像进行图像分割，得到与目标对象关联的掩膜图像。其中，掩膜图像为与输入的待处理图像尺寸保持一致，仅保留感兴趣区域的图像，示例性地，假设目标对象为脊柱，那么，此处的感兴趣区域则为脊柱区域。
具体实现中，目标分割网络在对待处理图像进行图像分割时，可以将待处理图像中具有不同语义特征的部分分割开来，并基于分割结果生成与目标对象关联的掩膜图像。以待处理图像为脊柱扫描图像、目标对象为脊柱为例，待处理图像可以将背景、脊椎骨和椎间盘分割开来，并生成区别显示背景区域、脊椎骨区域和椎间盘区域的掩膜图像中。具体地，掩膜图像中每个像素点的类别可包括背景、脊椎骨或者椎间盘，类别为背景、脊椎骨和椎间盘的像素点对应的像素值可分别为0、1和2，该像素值可用于区分不同像素点所属的类别。
示例性地，脊柱扫描图像对应的掩膜图像可以如图4所示，该掩膜图像中背景区域为黑色、脊柱骨区域为白色、椎间盘区域为灰色。通过图4可以看出，脊柱扫描图像对应的掩膜图像仅关注脊柱区域(包括：脊柱骨区域和椎间盘区域)。
S303：对待处理图像进行特征提取，并依照待处理图像的特征提取结果确定与目标对象关联的第一预测值。
S304：对掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定与目标对象关联的第二预测值。
在一个实施例中，上述S303和S304可以通过调用目标图像处理模型中的目标回归网络实现，具体地，目标回归网络可以为孪生神经网络，该孪生神经网络包括第一分支网络和第二分支网络，计算机设备可调用目标回归网络中的第一分支网络对上述待处理图像进行特征提取，并依照待处理图像的特征提取结果确定与目标对象关联的第一预测值。除此以外，计算机设备可调用目标回归网络中的第二分支网络对步骤S302得到的掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定与目标对象关联的第二预测值。
S305：根据第一预测值和第二预测值，确定与目标对象关联的目标预测值。
在一个实施例中，可以对第一预测值和第二预测值求平均，将第一预测值和第二预测值的平均值确定为与目标对象关联的目标预测值。
通过上述内容可知，掩膜图像关注于与目标对象关联的感兴趣区域，本申请实施例中可以依照掩膜图像确定第一预测值，依照待处理图像确定第二预测值，并结合第一预测值和第二预测值确定与目标对象关联的目标预测值。采用这样的方式，一方面，相比于与直接通过待处理图像得到目标预测值的方式，可以更加关注与目标对象关联的感兴趣区域，提高预测的准确度；另一方面，相对于直接通过掩膜图像确定目标预测值的方式，可以结合依照待处理图像确定的预测结果(即上述第一预测值)，对掩膜图像的预测结果(即上述第二预测值)进行优化，降低由于掩膜图像的较大误差(例如掩膜图像中的感兴趣区域与实际感兴趣区域存在较大偏差)，对最终预测结果准确度的影响。
具体实现中，上述目标图像处理模型是基于与目标对象关联的目标任务对上述图像处理模型(如图1所示)进行训练得到的，该图像处理模型包括分割网络和回归网络，在对图像处理模型进行训练时，可以对分割网络和回归网络进行独立训练，也可以对分割网络和回归网络进行联合训练。
对图1所示的图像处理模型进行进一步细化，上述图像处理模型中的分割网络可包括特征提取模块、金字塔采样模块和上采样模块，该分割网络的模型结构可如图5a所示，特征提取模块例如可以为卷积神经网络(Convolutional Neural Networks，CNN)，用于提取输入图像的图像特征，得到特征图；金字塔采样模块，用于对特征图进行特征提取，得到特征图集合；上采样模块，用于对特征图集合进行上采样，将特征图集合中的每个特征图还原为与输入图像同样的大小，并依照上采样结果确定该输入图像对应的掩膜图像。上述图像处理模型中回归网络包括的第一分支网络和第二分支网络均包括特征提取模块、分类激活映射(Classificationactivation mapping，CAM)模块和全连接层。示例性地，该回归网络的模型结构可如图5b所示，第一分支网络和第二分支网络中的特征提取模块均可以为res18。
其中，上述金字塔采样模块的结构可以如图5c所示，通过N(N为大于1的整数)层池化层将输入的特征图分别池化到各层对应的目标尺寸，得到特征图集合，该特征图集合包括多个特征图，例如，N为4，第一池化层、第二池化层、第三池化层和第四池化层各自对应的目标尺寸分别可以为：1×1、2×2、3×3和6×6。
由于在于语义分割任务中，想要对图片提取的特征具有较大的感受野，并且又想让特征图的分辨率不下降太多(分辨率损失太多会丢失许多关于图像边界的细节信息)，但这两个是矛盾的，想要获取较大感受野需要用较大的卷积核或池化时采用较大的步长(strid)，对于前者计算量太大，后者会损失分辨率。因此，当金字塔采样模块采用如图5c所示的结构时，为了使得特征提取过程中获得较大的感受野，通常会在池化时采用较大的步长，从而导致池化得到的特征图分辨率较低，影响后续的输出结果。
基于此，可以对图5c所示的金字塔采样模块进行优化，得到图5d所示的金字塔采样模块，包括N层并联的空洞卷积层，每一层空洞卷积层对应不同的空洞卷积率，例如，N为3，第一空洞卷积层、第二空洞卷积层和第三空洞卷积层各自对应的空洞卷积率分别可以为：6、12和18。具体实现中，金字塔采用模块，可以通过每层空洞卷积层依照各自对应的空洞卷积率，对输入的特征图进行卷积处理，得到特征图集合。采用这样的方式，通过并联的采用不同空洞卷积率的空洞卷积层，捕获输入特征图更多的特征信息，不仅可以获得较大感受野，还可以使得最后得到的特征图分辨率不损失太多。
在一个实施例中，假设分割网络和回归网络分别如图5a和图5b所示，目标对象为脊柱，与目标对象关联的目标任务为：预测脊柱扫描图像中脊柱的侧弯角，这种情况下，对分割网络和回归网络进行独立训练的训练过程，包括如下流程：
S10、获取训练集。具体地，一方面，可以采集脊柱扫描图像，将脊柱扫描图像的大小统一调整为指定尺寸(如[512，256])，将调整为指定尺寸的脊柱扫描图像确定为训练集中的样本图像；除此以外，还可以通过随机翻转、旋转(-45°，45°)和介于(0.85，1.25)之间的因子，重新缩放样本图像，来扩大训练集。另一方面，可以确定训练集中每个样本图像的目标标签，该目标标签可以为确定样本图像后，另外添加的，也可以是获取脊柱扫描图像时，一起获取得到的。该目标标签携带两部分信息：第一、标记脊柱侧弯角；第二、掩膜标记信息，该掩膜标记信息指示了样本图像对应标记掩膜图像(或者可以理解为实际掩膜图像)中每个像素点的标记类别，标记掩膜图像中每个像素点的标记类别可包括背景、脊椎骨和椎间盘，具体地，每种标记类别可以通过不同的标记值表示，示例性地，类别为背景、脊椎骨和椎间盘的像素点对应的标记值可分别为0、1和2，该标记值可用于区分不同像素点所属的类别。
S11、通过训练集对分割网络进行训练，得到训练完成的目标分割网络。
S12、将训练集中的各样本图像重新输入训练完成的目标分割网络，确定各样本图像对应的掩膜图像。
S13、依照各样本图像和各样本图像对应的掩膜图像对回归网络进行训练，得到训练完成的目标回归网络，从而完成对分割网络和回归网络的独立训练，得到训练完成的目标图像处理模型。
在另一个实施例中，假设分割网络和回归网络仍如图5a和图5b所示，目标对象为脊柱，与目标对象关联的目标任务为：预测脊柱扫描图像中脊柱的侧弯角，这种情况下，对分割网络和回归网络进行联合训练的训练过程(可参见图6所示)，包括如下流程：
S20、获取训练集。此处获取训练集的具体方式可以参见上述步骤S10的相关描述，此处不再赘述。
S21、从训练集中获取包括目标对象的第一样本图像，并获取第一样本图像的目标标签，该目标标签指示了与目标对象关联的目标标记值。此处，第一样本图像可以为指定尺寸的脊柱扫描图像，与目标对象关联的目标标记值可以为标记脊柱侧弯角。
S22、通过分割网络对第一样本图像进行图像分割，确定与目标对象关联的第一样本掩膜图像。
通过图6可以看出，分割网络包括特征提取模块、金字塔采样模块和上采样模块，步骤S22的具体实施方式为：通过分割网络中的特征提取模块提取第一样本图像的特征图，通过金字塔采样模块对特征图进行特征提取，得到特征图集合，调用上采样模块对特征图集合进行上采样，并依照上采样结果确定与目标对象关联的第一样本掩膜图像。
其中，在一个实施例中，当上述金字塔采样模块如图5c所示时，可以通过金字塔采用模块中的各层池化层将输入的特征图分别池化到各层对应的目标尺寸，从而得到特征图集合。
或者，在另一个实施例中，当上述金字塔采样模块如图5d所示时，可以通过金字塔采样模块中的每层空洞卷积层，依照各自对应的空洞卷积率对特征图进行卷积处理，得到特征图集合。
S23、通过回归网络中的第一分支网络对第一样本图像进行特征提取，依照第一样本图像的特征提取结果确定与目标对象关联的第一样本预测值。
具体实现中，可以对第一样本图像的特征提取结果进行分类激活映射处理，得到第一分类激活映射图，并依照第一分类激活映射图，确定与目标对象关联的第一样本预测值。其中，第一分类激活映射图中突出显示了与目标对象关联的图像区域，此处的第一分类激活映射图可以理解为第一样本图像对应的热力图，该热力图的尺寸和第一样本图像保持一致，第一样本图像中对第一样本预测值影响比较大的区域(可以理解为重要区域)，在热力图中显示的热度就比较高。在本申请实施例中，当输出结果为脊柱侧弯角时，那么脊柱弯曲程度越大或者椎体越倾斜的图像区域即为重要区域，该重要区域在热力图中对应的热度则越高。其中，在目标对象为脊柱时，第一分类激活映射图中突出显示的与目标对象关联的图像区域即为上述重要区域。
参见图6所示，第一分支网络包括第一特征提取模块、第一分类激活映射模块和第一全连接层，在执行上述步骤S23时，可以通过第一特征提取模块提取第一样本图像的图像特征，并将特征提取结果输入第一分类激活映射模块，通过第一分类激活映射模块对特征提取结果进行分类激活映射，得到第一分类激活映射图。进一步地，可通过第一全连接层对第一分类激活映射图进行数据分析，确定与目标对象关联的第一样本预测值。当目标对象为脊柱时，此处的第一样本预测值为第一样本图像中脊柱的预测脊柱侧弯角。
S24、通过回归网络中的第二分支网络对第一样本掩膜图像进行特征提取，依照样本掩膜图像的特征提取结果确定与目标对象关联的第二样本预测值。
具体实现中，可以对第一样本掩膜图像的特征提取结果进行分类激活映射处理，得到第二分类激活映射图，并依照第二分类激活映射图，确定与目标对象关联的第二样本预测值。其中，第二分类激活映射图中突出显示了与目标对象关联的图像区域，此处的第二分类激活映射图可以理解为第二样本图像对应的热力图，该热力图的尺寸和第一样本掩膜图像保持一致，第一样本掩膜图像中对第二样本预测值影响比较大的区域(即重要区域)，在热力图中显示的热度就比较高。
参见图6所示，第二分支网络包括第二特征提取模块、第二分类激活映射模块和第二全连接层，在执行上述步骤S24时，可以通过第二特征提取模块提取第一样本掩膜图像的图像特征，并将特征提取结果输入第二分类激活映射模块，通过第二分类激活映射模块对特征提取结果进行分类激活映射，得到第二分类激活映射图。进一步地，可通过第二全连接层对第二分类激活映射图进行数据分析，确定与目标对象关联的第二样本预测值。当目标对象为脊柱时，此处的第二样本预测值为第一样本掩膜图像中脊柱的预测脊柱侧弯角。
从上述内容可知，第一分类激活映射图和第二分类激活映射图均来源于同一张第一样本图像，唯一的区别在于，第一分类激活映射图是直接基于第一样本图像得到的，第二分类激活映射是基于对第一样本图像进行图像分割确定的第一样本掩膜图像得到，但理论上来说，第一分类激活映射图和第二分类激活映射图所表征的热度分布应该是一致的，也即，第一分类激活映射图和第二分类激活映射图所反应的重要区域(例如脊柱弯曲程度越大或者椎体越倾斜的图像区域)应该是一致的。
基于此，为了保证第一分支网络和第二分支网络所得到的分类激活映射图的一致性，本申请实施例可以在得到上述第一分类激活映射图和第二分类激活映射图之后，获取平均绝对值损失函数，根据第一分类激活映射图和第二分类激活映射图，计算平均绝对值损失函数的值，并按照减小平均绝对值损失函数的值的方向，对第一分支网络和第二分支网络中特征提取模块(即上述第一特征提取模块和第二特征提取模块)的网络参数进行更新。以此类推，当每一次有新的样本图像和新的样本掩膜图像分别输入第一分支网络和第二分支网络时，均可以依照上述相同的方式计算平均绝对值损失函数的值，并按照减小平均绝对值损失函数的值的方向，对第一分支网络和第二分支网络中特征提取模块(即上述第一特征提取模块和第二特征提取模块)的网络参数进行更新，以此类推，直至平均绝对值损失函数的值达到收敛，则停止依照平均绝对值损失函数对第一分支网络和第二分支网络中特征提取模块进行更新。
其中，平均绝对值损失函数
Figure BDA0002986900150000141
可以为:
Figure BDA0002986900150000142
式1.1中，C(x)为第一分支网络得到的分类激活映射图，如上述第一分类激活映射图，C(f(x))为第二分支网络得到的分类激活映射图，如上述第二分类激活映射图。
可以理解的是，当平均绝对值损失函数的值达到收敛，可以表征第一分支网络和第二分支网络所得到的分类激活映射图具有一致性，也即此种情况下，得到的分类激活映射图，可以比较准确的反映输入图像实际的重要区域(例如脊柱弯曲程度越大或者椎体越倾斜的图像区域)。
基于此，本申请实施例在对分割网络和回归网络进行联合训练的训练过程中，作为一种可行的方式，可以在平均绝对值损失函数的值达到收敛后，将通过第一分支网络中分类激活映射模块得到的当前分类激活映射图输入分割网络，根据当前分类激活映射图对分割网络进行迭代优化，其迭代优化过程如下：
步骤1、获取金字塔采样模块对输入的新样本图像的特征图进行特征提取，得到的特征提取结果，此处的新样本图像为在上述当前分类激活映射图对应的样本图像之后输入分割网络的图像。
步骤2、获取分割网络优化函数，根据当前分类激活映射图和特征提取结果对分割网络优化函数进行计算。
步骤3、通过上采样模块对计算结果进行上采样，并依照上采样结果确定与目标对象关联的新样本掩膜图像。进一步地，在分割网络确定与目标对象关联的新样本掩膜图像之后，又可以将新样本图像输入回归网络中的第一分支网络，将新样本掩膜图像输入回归网络中的第二分支网络，由新样本图像和新样本掩膜图像对回归网络进行再一次的训练，在此过程中，第一分支网络得到新样本图像对应的分类激活映射图之后，又可将新样本图像对应的分类激活映射图输入分割网络，由分割网络根据新样本图像对应的分类激活映射图执行与步骤S30～步骤34相似的步骤，对分割网络继续迭代优化，如此循环往复。
通过上述内容可知，分类激活映射图反映了输入图像的重要区域(例如脊柱弯曲程度越大或者椎体越倾斜的图像区域)，结合分类激活映射对分割网络进行训练，可以使得分割网络更加关注重要区域，增强分割网络对感兴趣区域的分割，相应地，分割网络输出的掩膜图像也更加准确，后续依照该掩膜图像得到的目标预测值也更加准确。
步骤4、获取上述新样本图像的掩膜标记信息，并依照新样本掩膜图像和新样本图像的掩膜标记信息，更新分割网络的网络参数和分割网络优化函数。
其中，分割网络优化函数为：当前分类激活映射图和特征提取结果的乘积与学习参数α相乘，并对相乘结果与特征提取结果进行求和运算，学习参数α的初始值为指定值(例如为0)，上述更新分割网络优化函数，包括：按照增大学习参数α的方向，更新分割网络优化函数。
示例性地，上述分割网络优化函数f′m(x)可以为：
f′m(x)＝α(C(x)*fm(x))+fm(x)式1.2
式1.2中，C(x)表征当前分类激活映射图，fm(x)表征金字塔采样模块输出的特征提取结果。上述学习参数α的初始值为0，通过在训练中逐步增大，从式1.2可以看出，分割网络优化函数结合了输入图像的全局视图，并根据回归网络返回的分类激活映射图有选择地聚合上下文，从而提高了类内紧凑性和语义一致性。
步骤5、根据更新后的网络参数对分割网络进行迭代训练，得到目标分割网络。
具体实现中，分割网络的目标损失函数
Figure BDA0002986900150000161
可以为：
Figure BDA0002986900150000162
其中，m代表待分割目标的类别数，f(xj)和sj分别代表预测像素值和真实像素值的第i类的像素数，λ为权值参数，可以依照实验测算数据预先设置。在本申请实施例中，当目标对象为脊柱时，为了使分割网络关注脊柱的外形/边缘，分割网络输出的掩膜图像中每个像素可分为三类(即上述m为3)：背景、脊椎骨和椎间盘，类别为背景、脊椎骨和椎间盘的像素点对应的像素值可分别为0、1和2，可用于区分不同像素点所属的类别。
具体实现中，在分割网络得到新样本掩膜图像后，可以确定新样本掩膜图像中每个像素的像素预测值，确定新样本图像对应掩膜标记信息指示的该新样本图像对应实际掩膜图像中每个像素点的标记值(即上述真实像素值)，根据各像素预测值和标记值计算目标损失函数的值。进一步地，依照目标损失函数的值下降的方向，更新分割网络的网络参数和分割网络优化函数。
或者，本申请实施例在对分割网络和回归网络进行联合训练的训练过程中，作为一种另可行的方式，可以在每一次通过回归网络中的第一分支网络得到分类激活映射图之后，将第一分支网络得到的分类激活映射图输入分割网络，以对分割网络进行迭代优化。具体地，以第一分支网络得到第一样本图像对应的第一分类激活映射图之后，对分割网络进行迭代优化的过程进行说明，其过程如下：
a.将第一分类激活映射图输入分割网络，并获取金字塔采样模块对第二样本图像的特征图进行特征提取，得到的特征提取结果，该第二样本图像为在第一样本图像之后输入分割网络的图像。
b.获取分割网络优化函数，根据第一分类激活映射图和特征提取结果对分割网络优化函数进行计算。
c.通过上采样模块对计算结果进行上采样，并依照上采样结果确定与目标对象关联的第二样本掩膜图像。
d.获取第二样本图像的掩膜标记信息，并依照第二样本掩膜图像和第二样本图像的掩膜标记信息，更新分割网络的网络参数和分割网络优化函数。
在一个实施例中，假设目标对象为脊柱，第二样本掩膜图像中每个像素点的类别包括背景、脊椎骨或者椎间盘，第二样本掩膜图像区别显示了背景区域、脊椎骨区域和椎间盘区域，第二样本图像的掩膜标记信息指示了第二样本图像对应标记掩膜图像中每个像素点的标记类别，标记类别包括背景、脊椎骨或者椎间盘；上述依照第二样本掩膜图像和第二样本图像的掩膜标记信息，更新分割网络的网络参数的具体实施方式可以为：依照第二样本掩膜图像和第二样本图像的掩膜标记信息，计算分割网络的目标损失函数的值，进而根据目标损失函数的值下降的方向，更新分割网络的网络参数。其中，目标损失函数可以如上式1.3所示，所有掩膜图像(包括上述第一掩膜图像、第二掩膜图像、第二样本图像对应的标记掩膜图像等等)中每个像素可分为三类(即上述m为3)：背景、脊椎骨和椎间盘，类别为背景、脊椎骨和椎间盘的像素点对应的像素值可分别为0、1和2，可用于区分不同像素点所属的类别。
e.根据更新后的网络参数对分割网络进行迭代训练，得到目标分割网络。
其中，针对上述a～b的具体实施方式，可以参见上述针对步骤1～步骤5的相关描述，此处不再赘述。
S25、依照第一样本预测值和第二样本预测值，确定与目标对象关联的目标样本预测值；
S26、根据目标样本预测值和目标标记值，更新回归网络的网络参数，并根据更新后的网络参数对回归网络进行迭代训练，得到目标回归网络。
在一个实施例中，步骤S26中更新网络参数的具体实施方式可以为：获取回归网络损失函数，根据目标样本预测值和目标标记值，计算回归网络损失函数的值，并按照减小回归网络损失函数的值的方向，对回归网络的网络参数进行更新。进一步地，可以根据更新后的网络参数对回归网络进行迭代训练，直到回归网络损失函数的值达到收敛，回归网络的训练完成，得到训练完成的目标回归网络。
其中，在目标对象为脊柱时，目标样本预测值可包括以下任一种或者多种预测脊柱侧弯角：预测上胸侧弯角、预测主胸侧弯和预测胸腰侧弯角；目标标记值包括以下任一种或者多种标记脊柱侧弯角：标记上胸侧弯角、标记主胸侧弯和标记胸腰侧弯角，上述回归网络损失函数为：
Figure BDA0002986900150000181
其中，i表征i类别的侧弯角，i类别的脊柱侧弯角包括：上胸侧弯角、主胸侧弯或者胸腰侧弯角；i＝1表征的类别为：上胸侧弯角、i＝2表征的类别为：主胸侧弯、i＝3表征的类别为：胸腰侧弯角，这种情况下，上述n＝3；∈为平滑因子，yi表征i类别的标记脊柱侧弯角，g(xi)表征i类别的预测脊柱侧弯角。∈为一个大于0的较小值，例如可以为10-10，是为了防止上述式1.4出现分母为零的情况。
基于上述图像处理模型的模型结构，本申请实施例提出了一种如图7所示的一种图像处理方法，该图像处理方法可以由计算机设备执行，请参见图7所示，该图像处理方法可包括以下步骤S701-S708：
S701：获取图像处理模型，图像处理模型包括分割网络和回归网络，回归网络包括第一分支网络和第二分支网络。示例性地，该图像处理模型的模型结构可以如图1所示。
S702：获取包括目标对象的第一样本图像以及第一样本图像的目标标签，目标标签指示了与目标对象关联的目标标记值。
S703：通过分割网络对第一样本图像进行图像分割，确定与目标对象关联的第一样本掩膜图像。其中，步骤S702～步骤S703的具体实施方式，可以参见上述实施例中针对步骤S21～步骤S22的相关描述，此处不再赘述。
S704：依照第一样本掩膜图像更新分割网络的网络参数，并根据更新后的网络参数对分割网络进行迭代训练，得到目标分割网络。
由上述内容可知，在对图像处理模型进行训练时，可以对分割网络和回归网络进行独立训练，也可以对分割网络和回归网络进行联合训练。在一个实施例中，在对分割网络和回归网络进行独立训练时，上述依照第一样本掩膜图像更新分割网络的网络参数的具体方式包括：获取针对第一样本图像的掩膜标记信息，依照第一样本掩膜图像和第一样本图像的掩膜标记信息，计算分割网络的目标损失函数的值，进一步地，根据目标损失函数的值下降的方向，更新分割网络的网络参数。
在另一个实施例中，在对分割网络和回归网络进行联合训练时，上述依照第一样本掩膜图像更新分割网络的网络参数的具体方式包括：将第一分类激活映射图输入分割网络，并获取金字塔采样模块对第二样本图像的特征图进行特征提取，得到的特征提取结果，第二样本图像为在第一样本图像之后输入分割网络的图像。进一步地，获取分割网络优化函数，根据第一分类激活映射图和特征提取结果对分割网络优化函数进行计算，通过上采样模块对计算结果进行上采样，并依照上采样结果确定与目标对象关联的第二样本掩膜图像。进一步地，获取第二样本图像的掩膜标记信息，并依照第二样本掩膜图像和第二样本图像的掩膜标记信息，更新分割网络的网络参数。
S705：调用第一分支网络对第一样本图像进行特征提取，以确定与目标对象关联的第一样本预测值。
S706：调用第二分支网络对第一样本掩膜图像进行特征提取，以确定与目标对象关联的第二样本预测值。
S707：依照第一样本预测值和第二样本预测值，确定与目标对象关联的目标样本预测值。
S708：根据目标样本预测值和目标标记值，更新回归网络的网络参数，并根据更新后的网络参数对回归网络进行迭代训练，得到目标回归网络。其中，步骤S705～步骤S708的具体实施方式，可以参见上述实施例中针对步骤S23～步骤S26的相关描述，此处不再赘述。
S709：通过目标分割网络和目标回归网络，得到目标图像处理模型，其中，目标图像处理模型，用于对包括目标对象的待处理图像进行数据分析，得到与目标对象关联的目标预测值。
具体实现中，可以通过目标分割网络和目标回归网络构建目标图像处理模型，后续，当需要预测与目标对象关联的目标预测值时，可获取包括目标对象的待处理图像，调用目标图像处理模型中的目标分割网络对待处理图像进行图像分割，确定与目标对象关联的掩膜图像。进一步地，一方面可调用目标回归网络中的第一分支网络对待处理图像进行特征提取，并依照待处理图像的特征提取结果确定与所述目标对象关联的第一预测值；另一方面，可调用第二分支网络对掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定与目标对象关联的第二预测值，进而根据第一预测值和第二预测值，确定与目标对象关联的目标预测值。联合训练的具体过程可以参见上述对联合训练的具体描述，此处不再赘述。
通过上述内容，本申请实施例提出的目标图像处理模型，相比于普通的图像处理模型而言，增加了分割网络、平均绝对值损失函数以及增强感兴趣区域的方法，并在普通图像处理模型的基础上，依次叠加这些方法，进行大量的脊柱侧弯角预测实验，可以得到如图8所示的实验结果图以及图9所示的分割结果对比图。图8中“直接回归”表征目标图像处理模型中仅包括回归网络；“分割”表征在目标图像处理模型中加入了分割网络；“平均绝对值损失函数”表征在对图像处理模型进行训练，得到目标图像处理模型的训练过程中引入上述平均绝对值损失函数；“感兴趣区域增强”表征在训练过程中，将回归网络中第一分支网络得到的分类激活映射图返回关注重要区域(脊柱弯曲程度越大或者椎体越倾斜的图像区域)的分割网络，增加分割网络对脊柱区域的学习，增强分割网络从脊柱扫描图像中分割出感兴趣区域(即脊柱区域)的准确度。
从图8所示的实验结果图中，可以看出，本申请实施例提出的目标图像处理模型，通过引入分割网络、平均绝对值损失函数以及增强感兴趣区域的方法，大大提高了预测脊柱侧弯角的准确度。从图9所示的分割结果可以看出，增加刚兴趣区域的方法后，大大增加了分割网络所输出分割结果(即脊柱扫描图像对应的掩膜图像)的准确度。
下面以将上述所提及图像处理方法运用于预测脊柱X射线扫描图像中脊柱侧弯角的目标应用场景为例，对图像处理方法的具体应用进行阐述。
在目标应用场景中，目标对象为脊柱，与目标对象关联的目标预测值为预测的脊柱侧弯角。具体地，目标图像处理模型为对图1所示的图像处理模型训练得到，目标图像处理模型包括目标分割网络和目标回归网络，计算机设备可以调用目标图像处理模型中的目标分割网络对脊柱X射线扫描图像进行图像分割，确定关注脊柱区域的掩膜图像，该掩膜图像中每个像素点的类别分为背景、脊椎骨和椎间盘。进一步地，计算机设备可以将上述脊柱X射线扫描图像和掩膜图像分别作为目标回归网络中第一分支网络和第二分支网络的输入，通过第一分支网络对脊柱X射线扫描图像进行特征提取，并依照脊柱X射线扫描图像的特征提取结果确定第一预测脊柱侧弯角(即上述第一预测值)；通过第二分支网络对上述掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定第二预测脊柱侧弯角(即上述第二预测值)，进一步地，根据第一预测脊柱侧弯角和第二预测脊柱侧弯角确定最终的预测脊柱侧弯角(即上述目标预测值)。后续医生可以通过预测脊柱侧弯角对病人病情进行诊断，辅助医生更加快速的诊断疾病。
通过上述内容可知，掩膜图像关注于脊柱区域，本申请实施例中可以依照关注脊柱区域的掩膜图像确定第一预测脊柱侧弯角，依照脊柱X射线扫描图像确定第二预测脊柱侧弯角，并结合第一预测脊柱侧弯角和第二预测脊柱侧弯角确定最终的预测脊柱侧弯角。采用这样的方式，一方面，相比于与直接通过脊柱X射线扫描图像得到最终预测脊柱侧弯角的方式，可以在预测脊柱侧弯角的过程中，更加关注脊柱区域，提高预测的准确度；另一方面，相对于直接通过掩膜图像确定最终预测脊柱侧弯角的方式，可以结合依照原图像(即上述脊柱X射线扫描图像)确定的第一预测脊柱侧弯角，对掩膜图像的预测结果(即上述第二预测脊柱侧弯角)进行优化，降低由于掩膜图像的较大误差(例如掩膜图像中的脊柱区域与实际脊柱区域存在较大偏差)，对最终预测结果准确度的影响。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，该程序指令被执行时，用于实现上述实施例中描述的相应方法。
再请参见图10，是本申请实施例的一种图像处理装置的结构示意图，本申请实施例的图像处理装置可以设置在上述计算机设备中，也可以为运行于计算机设备中的一个计算机程序(包括程序代码)。
本申请实施例的装置的一个实现方式中，装置包括如下结构。
获取模块10，用于获取包括目标对象的待处理图像；
分割模块11，用于对所述待处理图像进行图像分割，确定与所述目标对象关联的掩膜图像；
预测模块12，用于对所述待处理图像进行特征提取，并依照所述待处理图像的特征提取结果确定与所述目标对象关联的第一预测值；
所述预测模块12，还用于对所述掩膜图像进行特征提取，并依照所述掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值；
所述预测模块12，还用于根据所述第一预测值和所述第二预测值，确定与所述目标对象关联的目标预测值。
在一个实施例中，分割模块11，具体用于：
调用目标分割网络对所述待处理图像进行图像分割，得到与所述目标对象关联的掩膜图像。
在一个实施例中，预测模块12，具体用于：
调用目标回归网络中的第一分支网络对所述待处理图像进行特征提取；
依照所述待处理图像的特征提取结果确定所述与所述目标对象关联的第一预测值。
在一个实施例中，预测模块12，还具体用于：
调用目标回归网络中的第二分支网络，对所述掩膜图像进行特征提取；
依照所述掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值。
在一个实施例中，所述装置还包括训练模块13，训练模块13，用于：
获取包括目标对象的第一样本图像，并获取所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；
通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；
通过回归网络中的第一分支网络对所述第一样本图像进行特征提取，依照所述第一样本图像的特征提取结果确定与所述目标对象关联的第一样本预测值；
通过回归网络中的第二分支网络对所述第一样本掩膜图像进行特征提取，依照所述样本掩膜图像的特征提取结果确定与所述目标对象关联的第二样本预测值；
依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；
根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络。
在一个实施例中，训练模块13，具体用于：
对所述第一样本图像的特征提取结果进行分类激活映射处理，得到第一分类激活映射图，所述第一分类激活映射图中突出显示了与所述目标对象关联的图像区域；
依照所述第一分类激活映射图，确定与所述目标对象关联的第一样本预测值。
在一个实施例中，所述分割网络包括特征提取模块、金字塔采样模块和上采样模块，所述训练模块13，还具体用于：
通过所述分割网络中的特征提取模块提取第一样本图像的特征图；
通过所述金字塔采样模块对所述特征图进行特征提取，得到特征图集合；
调用所述上采样模块对所述特征图集合进行上采样，并依照上采样结果确定与所述目标对象关联的第一样本掩膜图像。
在一个实施例中，所述金字塔采样模块包括多层并联的空洞卷积层，每一层空洞卷积层对应不同的空洞卷积率，所述训练模块13，还具体用于：通过所述金字塔采样模块中的每层空洞卷积层，依照各自对应的空洞卷积率对所述特征图进行卷积处理，得到特征图集合。
在一个实施例中，所述训练模块13，还具体用于：
将所述第一分类激活映射图输入所述分割网络，并获取所述金字塔采样模块对第二样本图像的特征图进行特征提取，得到的特征提取结果，所述第二样本图像为在所述第一样本图像之后输入所述分割网络的图像；
获取分割网络优化函数，根据所述第一分类激活映射图和所述特征提取结果对所述分割网络优化函数进行计算；
通过所述上采样模块对计算结果进行上采样，并依照上采样结果确定与所述目标对象关联的第二样本掩膜图像；
获取所述第二样本图像的掩膜标记信息，并依照所述第二样本掩膜图像和所述第二样本图像的掩膜标记信息，更新所述分割网络的网络参数和所述分割网络优化函数；
根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络。
在一个实施例中，所述第一分支网络和所述第二分支网络中均包括特征提取模块；所述第一分支网络中的特征提取模块，用于对所述第一样本图像进行特征提取；所述第二分支网络中的特征提取模块，用于对所述样本掩膜图像进行特征提取；所述第二样本预测值是基于对所述样本掩膜图像的特征提取结果进行分类激活映射处理，得到的第二分类激活映射图确定的，所述训练模块13，还具体用于：
获取平均绝对值损失函数；
根据所述第一分类激活映射图和所述第二分类激活映射图，计算所述平均绝对值损失函数的值；
按照减小所述平均绝对值损失函数的值的方向，对所述第一分支网络和所述第二分支网络中特征提取模块的网络参数进行更新。
在一个实施例中，所述分割网络优化函数为：所述第一分类激活映射图和所述特征提取结果的乘积与学习参数α相乘，并对相乘结果与所述特征提取结果进行求和运算，所述学习参数α的初始值为指定值，所述训练模块13，还具体用于：
按照增大所述学习参数α的方向，更新所述分割网络优化函数。
在一个实施例中，所述训练模块13，还具体用于：
获取回归网络损失函数；
根据所述目标样本预测值和所述目标标记值，计算所述回归网络损失函数的值；
按照减小所述回归网络损失函数的值的方向，对所述回归网络的网络参数进行更新。
在一个实施例中，所述目标对象为脊柱，所述目标样本预测值包括以下任一种或者多种预测脊柱侧弯角：预测上胸侧弯角、预测主胸侧弯和预测胸腰侧弯角；所述目标标记值包括以下任一种或者多种标记脊柱侧弯角：标记上胸侧弯角、标记主胸侧弯和标记胸腰侧弯角；
所述回归网络损失函数为：
Figure BDA0002986900150000241
其中，i表征i类别的侧弯角，所述i类别的脊柱侧弯角包括：上胸侧弯角、主胸侧弯或者胸腰侧弯角；∈为平滑因子，yi表征i类别的标记脊柱侧弯角，g(xi)表征i类别的预测脊柱侧弯角。
在一个实施例中，所述目标对象为脊柱，所述掩膜图像中每个像素点的类别包括背景、脊椎骨或者椎间盘，所述掩膜图像区别显示了背景区域、脊椎骨区域和椎间盘区域，所述掩膜标记信息指示了所述第二样本图像对应标记掩膜图像中每个像素点的标记类别，所述标记类别包括背景、脊椎骨或者椎间盘；所述训练模块13，还具体用于：
依照所述第二样本掩膜图像和所述第二样本图像的掩膜标记信息，计算所述分割网络的目标损失函数的值；
根据所述目标损失函数的值下降的方向，更新所述分割网络的网络参数。
在本申请实施例中，上述各个模块的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
本申请实施例中的图像处理装置可获取包括目标对象的待处理图像，对待处理图像进行图像分割，确定与目标对象关联的掩膜图像。进一步地，对待处理图像进行特征提取，并依照待处理图像的特征提取结果确定与目标对象关联的第一预测值，对掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值，进而根据第一预测值和所述第二预测值，确定与目标对象关联的目标预测值。可以结合图像分割技术，增加目标预测值的准确度。
再请参见图11，是本申请实施例的一种图像处理装置的结构示意图，本申请实施例的图像处理装置可以设置在上述计算机设备中，也可以为运行于计算机设备中的一个计算机程序(包括程序代码)。
本申请实施例的装置的一个实现方式中，装置包括如下结构。
获取模块20，用于获取图像处理模型，所述图像处理模型包括分割网络和回归网络，所述回归网络包括第一分支网络和第二分支网络；
所述获取模块20，还用于获取包括目标对象的第一样本图像以及所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；
训练模块21，用于通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；
所述训练模块21，还用于依照所述第一样本掩膜图像更新所述分割网络的网络参数，并根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络；
所述训练模块21，还用于调用所述第一分支网络对所述第一样本图像进行特征提取，以确定与所述目标对象关联的第一样本预测值；
所述训练模块21，还用于调用所述第二分支网络对所述第一样本掩膜图像进行特征提取，以确定与所述目标对象关联的第二样本预测值；
所述训练模块21，还用于依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；
所述训练模块21，还用于根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络；
所述训练模块21，还用于通过所述目标分割网络和所述目标回归网络，得到目标图像处理模型，其中，所述目标图像处理模型，用于对包括目标对象的待处理图像进行数据分析，得到与所述目标对象关联的目标预测值。
再请参见图12，是本申请实施例的一种计算机设备的结构示意图，本申请实施例的计算机设备包括供电模块等结构，并包括处理器70、存储装置71以及输出设备72。处理器70、存储装置71以及输出设备72之间可以交互数据，由处理器70实现相应的图像处理功能。
存储装置71可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置71也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置71还可以包括上述种类的存储器的组合。
处理器70可以是中央处理器70(central processing unit，CPU)。在一个实施例中，处理器70还可以是图形处理器70(Graphics Processing Unit，GPU)。处理器70也可以是由CPU和GPU的组合。在计算机设备中，可以根据需要包括多个CPU和GPU进行相应的图像处理。
输出设备72可以包括显示器(LCD等)、扬声器等，可以用于输出与目标对象关联的目标预测值。
在一个实施例中，存储装置71用于存储程序指令。处理器70可以调用程序指令，实现如本申请实施例中上述涉及的各种方法。
在第一个可能的实施方式中，计算机设备的处理器70，调用存储装置71中存储的程序指令，用于获取包括目标对象的待处理图像；
对所述待处理图像进行图像分割，确定与所述目标对象关联的掩膜图像；
对所述待处理图像进行特征提取，并依照所述待处理图像的特征提取结果确定与所述目标对象关联的第一预测值；
对所述掩膜图像进行特征提取，并依照所述掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值；
根据所述第一预测值和所述第二预测值，确定与所述目标对象关联的目标预测值。
在一个实施例中，处理器70，具体用于：
调用目标分割网络对所述待处理图像进行图像分割，得到与所述目标对象关联的掩膜图像。
在一个实施例中，处理器70，具体用于：
调用目标回归网络中的第一分支网络对所述待处理图像进行特征提取；
依照所述待处理图像的特征提取结果确定所述与所述目标对象关联的第一预测值。
在一个实施例中，处理器70，还具体用于：
调用目标回归网络中的第二分支网络，对所述掩膜图像进行特征提取；
依照所述掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值。
在一个实施例中，处理器70，还用于：
获取包括目标对象的第一样本图像，并获取所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；
通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；
通过回归网络中的第一分支网络对所述第一样本图像进行特征提取，依照所述第一样本图像的特征提取结果确定与所述目标对象关联的第一样本预测值；
通过回归网络中的第二分支网络对所述第一样本掩膜图像进行特征提取，依照所述样本掩膜图像的特征提取结果确定与所述目标对象关联的第二样本预测值；
依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；
根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络。
在一个实施例中，处理器70，具体用于：
对所述第一样本图像的特征提取结果进行分类激活映射处理，得到第一分类激活映射图，所述第一分类激活映射图中突出显示了与所述目标对象关联的图像区域；
依照所述第一分类激活映射图，确定与所述目标对象关联的第一样本预测值。
在一个实施例中，所述分割网络包括特征提取模块、金字塔采样模块和上采样模块，所述处理器70，还具体用于：
通过所述分割网络中的特征提取模块提取第一样本图像的特征图；
通过所述金字塔采样模块对所述特征图进行特征提取，得到特征图集合；
调用所述上采样模块对所述特征图集合进行上采样，并依照上采样结果确定与所述目标对象关联的第一样本掩膜图像。
在一个实施例中，所述金字塔采样模块包括多层并联的空洞卷积层，每一层空洞卷积层对应不同的空洞卷积率，所述处理器70，还具体用于：通过所述金字塔采样模块中的每层空洞卷积层，依照各自对应的空洞卷积率对所述特征图进行卷积处理，得到特征图集合。
在一个实施例中，所述处理器70，还具体用于：
将所述第一分类激活映射图输入所述分割网络，并获取所述金字塔采样模块对第二样本图像的特征图进行特征提取，得到的特征提取结果，所述第二样本图像为在所述第一样本图像之后输入所述分割网络的图像；
获取分割网络优化函数，根据所述第一分类激活映射图和所述特征提取结果对所述分割网络优化函数进行计算；
通过所述上采样模块对计算结果进行上采样，并依照上采样结果确定与所述目标对象关联的第二样本掩膜图像；
获取所述第二样本图像的掩膜标记信息，并依照所述第二样本掩膜图像和所述第二样本图像的掩膜标记信息，更新所述分割网络的网络参数和所述分割网络优化函数；
根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络。
在一个实施例中，所述第一分支网络和所述第二分支网络中均包括特征提取模块；所述第一分支网络中的特征提取模块，用于对所述第一样本图像进行特征提取；所述第二分支网络中的特征提取模块，用于对所述样本掩膜图像进行特征提取；所述第二样本预测值是基于对所述样本掩膜图像的特征提取结果进行分类激活映射处理，得到的第二分类激活映射图确定的，所述处理器70，还具体用于：
获取平均绝对值损失函数；
根据所述第一分类激活映射图和所述第二分类激活映射图，计算所述平均绝对值损失函数的值；
按照减小所述平均绝对值损失函数的值的方向，对所述第一分支网络和所述第二分支网络中特征提取模块的网络参数进行更新。
在一个实施例中，所述分割网络优化函数为：所述第一分类激活映射图和所述特征提取结果的乘积与学习参数α相乘，并对相乘结果与所述特征提取结果进行求和运算，所述学习参数α的初始值为指定值，所述处理器70，还具体用于：
按照增大所述学习参数α的方向，更新所述分割网络优化函数。
在一个实施例中，所述处理器70，还具体用于：
获取回归网络损失函数；
根据所述目标样本预测值和所述目标标记值，计算所述回归网络损失函数的值；
按照减小所述回归网络损失函数的值的方向，对所述回归网络的网络参数进行更新。
在一个实施例中，所述目标对象为脊柱，所述目标样本预测值包括以下任一种或者多种预测脊柱侧弯角：预测上胸侧弯角、预测主胸侧弯和预测胸腰侧弯角；所述目标标记值包括以下任一种或者多种标记脊柱侧弯角：标记上胸侧弯角、标记主胸侧弯和标记胸腰侧弯角；
所述回归网络损失函数为：
Figure BDA0002986900150000291
其中，i表征i类别的侧弯角，所述i类别的脊柱侧弯角包括：上胸侧弯角、主胸侧弯或者胸腰侧弯角；∈为平滑因子，yi表征i类别的标记脊柱侧弯角，g(xi)表征i类别的预测脊柱侧弯角。
在一个实施例中，所述目标对象为脊柱，所述掩膜图像中每个像素点的类别包括背景、脊椎骨或者椎间盘，所述掩膜图像区别显示了背景区域、脊椎骨区域和椎间盘区域，所述掩膜标记信息指示了所述第二样本图像对应标记掩膜图像中每个像素点的标记类别，所述标记类别包括背景、脊椎骨或者椎间盘；所述处理器70，还具体用于：
依照所述第二样本掩膜图像和所述第二样本图像的掩膜标记信息，计算所述分割网络的目标损失函数的值；
根据所述目标损失函数的值下降的方向，更新所述分割网络的网络参数。
在另一个可能的实施方式中，计算机设备的处理器70，调用存储装置71中存储的程序指令，用于获取图像处理模型，所述图像处理模型包括分割网络和回归网络，所述回归网络包括第一分支网络和第二分支网络；获取包括目标对象的第一样本图像以及所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；依照所述第一样本掩膜图像更新所述分割网络的网络参数，并根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络；调用所述第一分支网络对所述第一样本图像进行特征提取，以确定与所述目标对象关联的第一样本预测值；调用所述第二分支网络对所述第一样本掩膜图像进行特征提取，以确定与所述目标对象关联的第二样本预测值；依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络；通过所述目标分割网络和所述目标回归网络，得到目标图像处理模型，其中，所述目标图像处理模型，用于对包括目标对象的待处理图像进行数据分析，得到与所述目标对象关联的目标预测值。
在本申请实施例中，上述处理器70的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
本申请实施例中的计算机设备可获取包括目标对象的待处理图像，对待处理图像进行图像分割，确定与目标对象关联的掩膜图像。进一步地，对待处理图像进行特征提取，并依照待处理图像的特征提取结果确定与目标对象关联的第一预测值，对掩膜图像进行特征提取，并依照掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值，进而根据第一预测值和所述第二预测值，确定与目标对象关联的目标预测值。可以结合图像分割技术，增加目标预测值的准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所描述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取包括目标对象的待处理图像；
对所述待处理图像进行图像分割，确定与所述目标对象关联的掩膜图像；
对所述待处理图像进行特征提取，并依照所述待处理图像的特征提取结果确定与所述目标对象关联的第一预测值；
对所述掩膜图像进行特征提取，并依照所述掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值；
根据所述第一预测值和所述第二预测值，确定与所述目标对象关联的目标预测值。
2.如权利要求1所述的方法，其特征在于，所述掩膜图像是通过目标图像处理模型中的目标分割网络对所述待处理图像进行图像分割确定的，所述目标图像处理模型还包括目标回归网络，所述第一预测值是通过目标回归网络中的第一分支网络，对所述待处理图像进行特征提取，并依照所述待处理图像的特征提取结果确定的；所述第二预测值是通过目标回归网络中的第二分支网络，对所述掩膜图像进行特征提取，并依照所述掩膜图像的特征提取结果确定的，所述方法还包括：
获取包括目标对象的第一样本图像，并获取所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；
通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；
通过回归网络中的第一分支网络对所述第一样本图像进行特征提取，依照所述第一样本图像的特征提取结果确定与所述目标对象关联的第一样本预测值；
通过回归网络中的第二分支网络对所述第一样本掩膜图像进行特征提取，依照所述样本掩膜图像的特征提取结果确定与所述目标对象关联的第二样本预测值；
依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；
根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络。
3.如权利要求2所述的方法，其特征在于，所述依照所述第一样本图像的特征提取结果确定与所述目标对象关联的第一样本预测值，包括：
对所述第一样本图像的特征提取结果进行分类激活映射处理，得到第一分类激活映射图，所述第一分类激活映射图中突出显示了与所述目标对象关联的图像区域；
依照所述第一分类激活映射图，确定与所述目标对象关联的第一样本预测值。
4.如权利要求3所述的方法，其特征在于，所述分割网络包括特征提取模块、金字塔采样模块和上采样模块，所述通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像，包括：
通过所述分割网络中的特征提取模块提取第一样本图像的特征图；
通过所述金字塔采样模块对所述特征图进行特征提取，得到特征图集合；
调用所述上采样模块对所述特征图集合进行上采样，并依照上采样结果确定与所述目标对象关联的第一样本掩膜图像。
5.如权利要求4所述的方法，其特征在于，所述金字塔采样模块包括多层并联的空洞卷积层，每一层空洞卷积层对应不同的空洞卷积率，所述通过所述金字塔采样模块对所述特征图进行特征提取，得到特征图集合，包括：
通过所述金字塔采样模块中的每层空洞卷积层，依照各自对应的空洞卷积率对所述特征图进行卷积处理，得到特征图集合。
6.如权利要求4所述的方法，其特征在于，所述对所述第一样本图像的特征提取结果进行分类激活映射处理，得到第一分类激活映射图之后，所述方法还包括：
将所述第一分类激活映射图输入所述分割网络，并获取所述金字塔采样模块对第二样本图像的特征图进行特征提取，得到的特征提取结果，所述第二样本图像为在所述第一样本图像之后输入所述分割网络的图像；
获取分割网络优化函数，根据所述第一分类激活映射图和所述特征提取结果对所述分割网络优化函数进行计算；
通过所述上采样模块对计算结果进行上采样，并依照上采样结果确定与所述目标对象关联的第二样本掩膜图像；
获取所述第二样本图像的掩膜标记信息，并依照所述第二样本掩膜图像和所述第二样本图像的掩膜标记信息，更新所述分割网络的网络参数和所述分割网络优化函数；
根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络。
7.如权利要求2所述的方法，其特征在于，所述第一分支网络和所述第二分支网络中均包括特征提取模块；所述第一分支网络中的特征提取模块，用于对所述第一样本图像进行特征提取；所述第二分支网络中的特征提取模块，用于对所述样本掩膜图像进行特征提取；所述第二样本预测值是基于对所述样本掩膜图像的特征提取结果进行分类激活映射处理，得到的第二分类激活映射图确定的，
所述方法还包括：
获取平均绝对值损失函数；
根据所述第一分类激活映射图和所述第二分类激活映射图，计算所述平均绝对值损失函数的值；
按照减小所述平均绝对值损失函数的值的方向，对所述第一分支网络和所述第二分支网络中特征提取模块的网络参数进行更新。
8.如权利要求6所述的方法，其特征在于，所述分割网络优化函数为：所述第一分类激活映射图和所述特征提取结果的乘积与学习参数α相乘，并对相乘结果与所述特征提取结果进行求和运算，所述学习参数α的初始值为指定值，所述更新所述分割网络优化函数，包括：
按照增大所述学习参数α的方向，更新所述分割网络优化函数。
9.如权利要求2所述的方法，其特征在于，所述根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，包括：
获取回归网络损失函数；
根据所述目标样本预测值和所述目标标记值，计算所述回归网络损失函数的值；
按照减小所述回归网络损失函数的值的方向，对所述回归网络的网络参数进行更新。
10.如权利要求6所述的方法，其特征在于，所述目标对象为脊柱，所述第二样本掩膜图像中每个像素点的类别包括背景、脊椎骨或者椎间盘，所述第二样本掩膜图像区别显示了背景区域、脊椎骨区域和椎间盘区域，所述掩膜标记信息指示了所述第二样本图像对应标记掩膜图像中每个像素点的标记类别，所述标记类别包括背景、脊椎骨或者椎间盘；
所述依照所述第二样本掩膜图像和所述第二样本图像的掩膜标记信息，更新所述分割网络的网络参数，包括：
依照所述第二样本掩膜图像和所述第二样本图像的掩膜标记信息，计算所述分割网络的目标损失函数的值；
根据所述目标损失函数的值下降的方向，更新所述分割网络的网络参数。
11.一种图像处理方法，其特征在于，包括：
获取图像处理模型，所述图像处理模型包括分割网络和回归网络，所述回归网络包括第一分支网络和第二分支网络；
获取包括目标对象的第一样本图像以及所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；
通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；
依照所述第一样本掩膜图像更新所述分割网络的网络参数，并根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络；
调用所述第一分支网络对所述第一样本图像进行特征提取，以确定与所述目标对象关联的第一样本预测值；
调用所述第二分支网络对所述第一样本掩膜图像进行特征提取，以确定与所述目标对象关联的第二样本预测值；
依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；
根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络；
通过所述目标分割网络和所述目标回归网络，得到目标图像处理模型，其中，所述目标图像处理模型，用于对包括目标对象的待处理图像进行数据分析，得到与所述目标对象关联的目标预测值。
12.一种图像处理装置，其特征在于，包括：
获取模块，用于获取包括目标对象的待处理图像；
分割模块，用于对所述待处理图像进行图像分割，确定与所述目标对象关联的掩膜图像；
预测模块，用于对所述待处理图像进行特征提取，并依照所述待处理图像的特征提取结果确定与所述目标对象关联的第一预测值；
所述预测模块，还用于对所述掩膜图像进行特征提取，并依照所述掩膜图像的特征提取结果确定与所述目标对象关联的第二预测值；
所述预测模块，还用于根据所述第一预测值和所述第二预测值，确定与所述目标对象关联的目标预测值。
13.一种图像处理装置，其特征在于，包括：
获取模块，用于获取图像处理模型，所述图像处理模型包括分割网络和回归网络，所述回归网络包括第一分支网络和第二分支网络；
所述获取模块，还用于获取包括目标对象的第一样本图像以及所述第一样本图像的目标标签，所述目标标签指示了与所述目标对象关联的目标标记值；
训练模块，用于通过分割网络对所述第一样本图像进行图像分割，确定与所述目标对象关联的第一样本掩膜图像；
所述训练模块，还用于依照所述第一样本掩膜图像更新所述分割网络的网络参数，并根据更新后的网络参数对所述分割网络进行迭代训练，得到目标分割网络；
所述训练模块，还用于调用所述第一分支网络对所述第一样本图像进行特征提取，以确定与所述目标对象关联的第一样本预测值；
所述训练模块，还用于调用所述第二分支网络对所述第一样本掩膜图像进行特征提取，以确定与所述目标对象关联的第二样本预测值；
所述训练模块，还用于依照所述第一样本预测值和所述第二样本预测值，确定与所述目标对象关联的目标样本预测值；
所述训练模块，还用于根据所述目标样本预测值和所述目标标记值，更新所述回归网络的网络参数，并根据更新后的网络参数对所述回归网络进行迭代训练，得到目标回归网络；
所述训练模块，还用于通过所述目标分割网络和所述目标回归网络，得到目标图像处理模型，其中，所述目标图像处理模型，用于对包括目标对象的待处理图像进行数据分析，得到与所述目标对象关联的目标预测值。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储装置，所述处理器和存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-11任一项所述的方法。
15.一种计算机存储介质，其特征在于，该计算机存储介质中存储有程序指令，该程序指令被执行时，用于实现如权利要求1-11任一项所述的方法。
CN202110302731.1A 2021-03-22 2021-03-22 一种图像处理方法、装置、计算机设备及介质 Pending CN115115567A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110302731.1A CN115115567A (zh) 2021-03-22 2021-03-22 一种图像处理方法、装置、计算机设备及介质
PCT/CN2021/108929 WO2022198866A1 (zh) 2021-03-22 2021-07-28 图像处理方法、装置、计算机设备及介质
US18/123,554 US20230230237A1 (en) 2021-03-22 2023-03-20 Image processing method and apparatus, computer device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110302731.1A CN115115567A (zh) 2021-03-22 2021-03-22 一种图像处理方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN115115567A true CN115115567A (zh) 2022-09-27

Family

ID=83322769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110302731.1A Pending CN115115567A (zh) 2021-03-22 2021-03-22 一种图像处理方法、装置、计算机设备及介质

Country Status (3)

Country Link
US (1) US20230230237A1 (zh)
CN (1) CN115115567A (zh)
WO (1) WO2022198866A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427963B (zh) * 2018-03-02 2020-10-30 浙江工业大学 一种基于深度学习的黑色素瘤皮肤病的分类识别方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109493350B (zh) * 2018-11-09 2020-09-22 重庆中科云从科技有限公司 人像分割方法及装置
CN111415358B (zh) * 2020-03-20 2024-03-12 Oppo广东移动通信有限公司 图像分割方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022198866A1 (zh) 2022-09-29
US20230230237A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
US11288808B2 (en) System and method for n-dimensional image segmentation using convolutional neural networks
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
JP2021530061A (ja) 画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体
US9561004B2 (en) Automated 3-D orthopedic assessments
US10997466B2 (en) Method and system for image segmentation and identification
KR20210048523A (ko) 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체
CN108596904B (zh) 生成定位模型的方法及对脊柱矢状位图像进行处理的方法
CN111369576A (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
Kim et al. Automation of spine curve assessment in frontal radiographs using deep learning of vertebral-tilt vector
WO2024001140A1 (zh) 一种椎体亚区域分割方法、装置及存储介质
CN113112559A (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN115830016B (zh) 医学图像配准模型训练方法及设备
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
AU2020223750B2 (en) Method and System for Image Annotation
KR102389067B1 (ko) 척추 측만증 평가 방법 및 이를 이용한 척추 측만증 평가용 디바이스
CN111798452A (zh) 颈动脉手持超声图像分割方法、系统及装置
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品
CN116485853A (zh) 一种基于深度学习神经网络的医学图像配准方法和装置
CN115115567A (zh) 一种图像处理方法、装置、计算机设备及介质
CN114881930A (zh) 基于降维定位的3d目标检测方法、装置、设备和存储介质
CN112766332A (zh) 医学影像检测模型训练方法、医学影像检测方法及装置
CN115546089A (zh) 医学图像分割方法、病理图像处理方法、装置、设备
CN112862786A (zh) Cta影像数据处理方法、装置及存储介质
CN112862785A (zh) Cta影像数据识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination