CN113822846A - 医学图像中确定感兴趣区域的方法、装置、设备及介质 - Google Patents

医学图像中确定感兴趣区域的方法、装置、设备及介质 Download PDF

Info

Publication number
CN113822846A
CN113822846A CN202110599122.7A CN202110599122A CN113822846A CN 113822846 A CN113822846 A CN 113822846A CN 202110599122 A CN202110599122 A CN 202110599122A CN 113822846 A CN113822846 A CN 113822846A
Authority
CN
China
Prior art keywords
region
interest
medical image
key points
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110599122.7A
Other languages
English (en)
Inventor
魏东
卢东焕
周联昱
谢苁
马锴
王连生
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110599122.7A priority Critical patent/CN113822846A/zh
Publication of CN113822846A publication Critical patent/CN113822846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种医学图像中确定感兴趣区域的方法、装置、设备及介质，该方法运用于智慧医疗技术领域。该方法包括：确定所述医学图像的n个边缘关键点，所述n个边缘关键点用于定位所述感兴趣区域的区域边缘，所述n为大于1的整数；基于所述n个边缘关键点确定出所述感兴趣区域的定位框；获取所述医学图像在所述定位框中的语义特征和细节特征；基于所述语义特征和所述细节特征，识别出所述感兴趣区域的不规则轮廓。该方法通过边缘关键点来确定感兴趣区域，得到的结果较为准确。

Description

医学图像中确定感兴趣区域的方法、装置、设备及介质
技术领域
本申请涉及智慧医疗技术领域，特别涉及一种医学图像中确定感兴趣区域的方法、装置、设备及介质。
背景技术
在实体瘤疗效评价标准(Response Evaluation Criteria in Solid Tumours，RECIST)中，提出了肿瘤评价的标准，并将这套标准应用到肿瘤研究、疾病评估、肿瘤治疗效果评估、肿瘤进展等领域中。
相关技术是利用注意力机制，通过Co-seg(Co-segmentation，协同分割)模型来比较医学图像中待测区域和正常区域之间的相似程度，当相似程度大于预设值时，认为待测区域属于病变区域。其中，Co-seg模型的分割监督信息是来源于已有数据集中的二值掩码。
但是相关技术得到的病变区域的边缘准确度不够高。
发明内容
本申请提供了一种医学图像中确定感兴趣区域的方法、装置、设备及介质，能够通过医学图像中的边缘关键点得到动态的定位框，再在定位框中确定出准确的感兴趣区域的不规则边缘。所述技术方案如下：
根据本申请的一方面，提供了一种医学图像中确定感兴趣区域的方法，所述方法包括：
确定所述医学图像的n个边缘关键点，所述n个边缘关键点用于定位所述感兴趣区域的区域边缘，所述n为大于1的整数；
基于所述n个边缘关键点确定出所述感兴趣区域的定位框；
获取所述医学图像在所述定位框中的语义特征和细节特征；
基于所述语义特征和所述细节特征，识别出所述感兴趣区域的不规则轮廓。
根据本申请的另一方面，提供了一种医学图像中确定感兴趣区域的装置，所述装置包括：
确定模块，用于确定所述医学图像的n个边缘关键点，所述n个边缘关键点用于定位所述感兴趣区域的区域边缘，所述n为大于1的整数；
所述确定模块，还用于基于所述n个边缘关键点确定出所述感兴趣区域的定位框；
提取模块，用于获取所述医学图像在所述定位框中的语义特征和细节特征；
识别模块，用于基于所述语义特征和所述细节特征，识别出所述感兴趣区域的不规则轮廓。
在本申请的一个可选的设计中，所述识别模块，还用于融合所述语义特征和所述细节特征，得到融合特征；调用分割网络，从所述融合特征中识别出所述感兴趣区域的所述不规则轮廓。
在本申请的一个可选的设计中，所述识别模块，还用于调用所述分割网络，对所述融合特征进行卷积以及归一化，得到分割概率图，所述分割概率图的像素值用于表示对应的像素点属于所述感兴趣区域的概率；对所述分割概率图进行二值化，得到二值掩膜；根据所述二值掩膜中的第一数值和第二数值的交界处确定所述感兴趣区域的所述不规则轮廓。
在本申请的一个可选的设计中，所述提取模块，还用于通过所述定位框从所述医学图像的语义特征图中框选出第一包围区域，得到所述定位框中的所述语义特征；通过所述定位框从所述医学图像中框选出第二包围区域，得到区域图像；将所述区域图像输入到残差网络中，得到所述定位框中的所述细节特征。
在本申请的一个可选的设计中，所述分割网络和/或所述残差网络是对所述感兴趣区域的前景和背景进行弱监督训练得到的；所述前景是两个长径关键点和两个短径关键点组成的四边形区域；所述背景是所述前景的最小外接圆的外部区域，所述两个长径关键点是所述感兴趣区域中长度最长的第一线段的两个端点，所述两个短径关键点是所述感兴趣区域内与所述第一线段垂直且长度最长的第二线段的两个端点。
在本申请的一个可选的设计中，所述确定模块，还用于调用沙漏骨干网络，对所述医学图像进行下采样以及上采样还原，输出所述医学图像的语义特征图；调用预测网络，从所述医学图像的语义特征图中识别出所述n个边缘关键点。
在本申请的一个可选的设计中，所述提取模块，还用于通过所述沙漏骨干网络中的下采样层对所述医学图像进行所述下采样，得到下采样后的医学图像，所述下采样层包括级联的a层网络层，a为大于1的整数；通过所述沙漏骨干网络中的上采样层对所述下采样后的医学图像进行所述上采样还原，得到所述医学图像的所述语义特征图，所述上采样层包括与所述下采样层对应的级联的a层网络层；其中，所述上采样层中第i层网络层的输入是所述上采样层的第i-1层网络层的上采样还原结果和所述下采样层中对应的第i层网络层的下采样结果，所述i是大于1且小于a+1的整数。
在本申请的一个可选的设计中，所述确定模块，还用于将所述n个边缘关键点的外接矩形确定为所述感兴趣区域的所述定位框。
在本申请的一个可选的设计中，所述确定模块，还用于根据所述n个边缘关键点中位于最上方的边缘关键点确定所述外接矩形的上边界；根据所述n个边缘关键点中位于最下方的边缘关键点确定所述外接矩形的下边界；根据所述n个边缘关键点中位于最左方的边缘关键点确定所述外接矩形的左边界；根据所述n个边缘关键点中位于最右方的边缘关键点确定所述外接矩形的右边界；将所述上边界、所述下边界、所述左边界和所述右边界构成的矩形确定为所述感兴趣区域的所述定位框。
根据本申请的另一方面，提供了一种图像处理模型的训练方法，所述方法包括：
获取样本训练集，所述样本训练集包括样本医学图像和真实标注，所述真实标注指所述样本医学图像的n个真实边缘关键点，所述n为大于1的整数；
调用所述沙漏骨干网络和所述预测网络提取确定所述样本医学图像的n个预测边缘关键点，所述n个预测边缘关键点用于定位预测感兴趣区域的区域边缘，所述n为大于1的整数；
基于所述n个预测边缘关键点确定出所述感预测兴趣区域的预测定位框；
获取所述样本医学图像在所述预测定位框中的预测语义特征和预测细节特征；
调用所述分割网络，基于所述预测语义特征和所述预测细节特征，识别出所述预测感兴趣区域的预测不规则轮廓。
根据所述n个预测关键点与所述真实标注的损失差值，对所述沙漏骨干网络和所述分割网络进行弱监督训练。
根据本申请的另一方面，提供了一种图像处理模型的训练装置，所述装置包括：
获取模块，用于获取样本训练集，所述样本训练集包括样本医学图像和真实标注，所述真实标注指所述样本医学图像的n个真实边缘关键点，所述n为大于1的整数；
确定模块，用于调用所述沙漏骨干网络和所述预测网络提取确定所述样本医学图像的n个预测边缘关键点，所述n个预测边缘关键点用于定位预测感兴趣区域的区域边缘，所述n为大于1的整数；
确定模块，还用于基于所述n个预测边缘关键点确定出所述感预测兴趣区域的预测定位框；
提取模块，用于获取所述样本医学图像在所述预测定位框中的预测语义特征和预测细节特征；
识别模块，还用于调用所述分割网络，基于所述预测语义特征和所述预测细节特征，识别出所述预测感兴趣区域的预测不规则轮廓。
训练模块，用于根据所述n个预测边缘关键点与所述真实标注的损失差值，对所述沙漏骨干网络和所述分割网络进行弱监督训练。
在本申请的一个可选的设计中，所述识别模块，还用于融合所述预测语义特征和所述预测细节特征，得到预测融合特征；调用所述分割网络，从所述预测融合特征中识别出所述预测感兴趣区域的所述预测不规则轮廓。
在本申请的一个可选的设计中，所述识别模块，还用于调用所述分割网络，对所述预测融合特征进行卷积以及归一化，得到预测分割概率图，所述预测分割概率图的像素值用于表示对应的像素点属于所述预测感兴趣区域的概率；对所述预测分割概率图进行二值化，得到预测二值掩膜；根据所述预测二值掩膜中的第一数值和第二数值的交界处确定所述预测感兴趣区域的所述预测不规则轮廓。
在本申请的一个可选的设计中，所述训练模块，还用于基于所述n个预测边缘关键点确定两个预测长径关键点和两个预测短径关键点，所述两个预测长径关键点是所述预测感兴趣区域中长度最长的第一线段的两个端点，所述两个预测短径关键点是所述预测感兴趣区域内与所述第一线段垂直且长度最长的第二线段的两个端点；将所述两个预测长径关键点和所述两个预测短径关键点组成的四边形区域确定为前景；将所述前景的最小外接圆的外部区域确定为背景；计算所述前景和所述背景的交叉熵损失，得到所述部分交叉熵损失；根据所述部分交叉熵损失对所述沙漏骨干网络和所述分割网络进行弱监督训练。
在本申请的一个可选的设计中，所述训练模块，还用于根据所述预测语义特征图生成预测分割概率图，所述预测分割概率图中的像素值用于表示对应的像素点属于预测感兴趣区域的概率；对预测分割概率图和所述样本医学图像进行梯度加强，分别得到所述预测分割概率图的第一梯度强度图和所述样本医学图像的第二梯度强度图；基于所述第一梯度强度图和所述第二梯度强度图中各个元素的乘积之和，计算得到所述边缘损失；根据所述边缘损失对所述沙漏骨干网络和所述分割网络进行弱监督训练。
根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面所述的医学图像中确定感兴趣区域的方法或图像处理模型的训练方法。
根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面所述的医学图像中确定感兴趣区域的方法或图像处理模型的训练方法。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面所述的医学图像中确定感兴趣区域的方法或图像处理模型的训练方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
在第一阶段中，根据医学图像的边缘关键点动态确定出包围感兴趣区域的定位框；在第二阶段中，根据语义特征和细节特征得到较为准确的感兴趣区域的不规则轮廓。一方面通过定位框确定出感兴趣区域的大致范围，只对定位框中的图像区域进行第二阶段的计算，从而简化后续计算的计算量；另一方面，将细节特征纳入考虑范围，使用语义特征和细节特征的融合特征可以得到较为准确的感兴趣区域的不规则轮廓。而且，在训练图像处理模型时，只需要边缘关键点的标注作为监督信息就可以训练图像处理模型，不需要具体的不规则轮廓标注，且相较于具体的不规则轮廓标注，边缘关键点的标注较为容易获得，可以降低人工标注的成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的图像处理模型的结构示意图；
图2是本申请一个示例性实施例提供的计算机系统的结构示意图；
图3是本申请一个示例性实施例提供的医学图像中确定感兴趣区域方法的流程示意图；
图4是本申请一个示例性实施例提供的图像处理模型的结构示意图；
图5是本申请一个示例性实施例提供的医学图像中确定感兴趣区域方法的流程示意图；
图6是本申请一个示例性实施例提供的医学图像中确定感兴趣区域方法的流程示意图；
图7是本申请一个示例性实施例提供的图像处理模型的训练方法的流程示意图；
图8是本申请一个示例性实施例提供的图像示意图的流程示意图；
图9是本申请一个示例性实施例提供的梯度强化的示意图；
图10是本申请一个示例性实施例提供的图像处理模型的训练方法的流程示意图；
图11是本申请一个示例性实施例提供的医学图像中确定感兴趣区域装置的结构示意图；
图12是本申请一个示例性实施例提供的图像处理模型的训练装置的结构示意图；
图13是本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行介绍：
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
实体瘤疗效评价标准(Response Evaluation Criteria in Solid Tumours，RECIST)：一套肿瘤病灶的测量规范和肿瘤治疗疗效评价标准，于1999年发表。RECIST提出了以肿瘤最长径的长度代替面积来代表肿瘤大小的一维测量方法。RECIST端点指的是肿瘤病变区域内最长线段的两个端点以及在肿瘤病变区域内垂直于长径的最长线段的两个端点。
影像归档和通信系统(Picture Archiving and Communication Systems，PACS)：应用在医院影像科室的系统，主要的任务就是把日常产生的各种医学图像(包括核磁共振，计算机断层扫描(Computed Tomography，CT)，超声波检查，X光机，各种红外仪，显微仪等设备产生的图像)通过各种接口以数字化的方式海量保存起来。当需要的时候能够很快的调回使用，同时增加一些辅助诊断管理功能。PACS在各种影像设备间传输数据和组织存储数据具有重要作用。
热图(heatmaps)：以特殊高亮的形式显示数据集中的数据，热图包括：点击热图、注意力热图、分析热图、对比热图、分享热图、浮层热图和历史热图中的至少一种。例如，在注意力热图中，根据用户在网站上不同位置的总停留时间进行展示，若用户在某个页面区域停留查看的时间越久，则该页面区域的颜色越靠近红外光谱。
掩码(mask)：指用于进行与运算的位图，该位图中像素点的像素值只有0和1，掩码可以从原始图像中截取出用户感兴趣的部分图像。
Prewitt(普雷维特)算子：是一种一阶微分算子的边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的，这两个方向模板一个检测水平边缘，一个检测垂直边缘。
ROI(region of interest，感兴趣区域)：在机器视觉、图像处理等领域中，从待处理图像中选出需要处理的区域，将选出的区域称之为感兴趣区域。
图1示出了本申请一个示例性实施例提供的图像处理模型的模型示意图。该图像处理模型包括沙漏骨干网络102、预测网络104、分割网络110和残差网络107。
沙漏骨干网络102用于从医学图像中提取语义特征，生成语义特征图。沙漏骨干网络102的输入是医学图像101，输出是语义特征图103。沙漏骨干网络102是对称结构。示例性的，沙漏骨干网络102会对医学图像101进行下采样再上采样还原，得到语义特征图。
预测网络104用于从语义特征图中提取出边缘关键点，并根据边缘关键点生成定位框，定位框是语义特征图中包围边缘关键点的外接矩形。预测网络104的输入是语义特征图103，输出是边缘关键点105。进而，根据边缘关键点生成定位框，定位框的作用是限定分割网络110的运算范围，以减小分割网络110的运算量。如图1所示，语义特征图103与定位框结合后，得到语义特征图103内的定位框中的语义特征106。
残差网络107用于从输入的图像中提取出细节特征。残差网络107的输入是医学图像101中与定位框内的区域对应的区域图像112，输出是细节特征108。示例性的，细节特征包括但不限于边缘、角、纹理中的至少一种。
在得到语义特征106和细节特征108后，对语义特征106和细节特征108进行特征融合，得到融合特征109，由于语义特征106是高级别的抽象特征，而细节特征108是在原本的医学图像的分辨率上进行处理的，具有更丰富的细节。
分割网络110用于从输入的特征中识别出感兴趣区域。分割网络110的输入是融合特征109，输出是感兴趣区域111，进一步的，感兴趣区域111是医学图像113中的白色方框内的部分。可选地，分割网络110会对融合特征109进行卷积以及归一化，得到分割概率图；对分割概率图进行二值化，得到二值掩膜；根据二值掩膜中第一数值和第二数值的交界确定感兴趣区域111的区域轮廓。
图2示出了本申请一个示例性实施例提供的计算机系统的结构框图。该计算机系统200包括：第一终端220、服务器240和第二终端260。
第一终端220上安装有与确定感兴趣区域相关的应用程序。该应用程序可以是app(application，应用程序)中的小程序，也可以是专门的应用程序，也可以是网页客户端。第一终端是智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机中的至少一种。示例性的，用户通过第一终端向服务器240发送医学图像。
第一终端通过无线网络或有线网络与服务器240相连。
服务器240可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，服务器240承担主要计算工作，第一终端承担次要计算工作；或者，服务器240承担次要计算工作，第一终端承担主要计算工作；或者，服务器240和第一终端两者采用分布式计算架构进行协同计算。在本申请实施例中，各步骤由第一终端单独执行，或者，各步骤由服务器240单独执行，或者，各步骤由第一终端和服务器240联合执行。示例性的，服务器240接收由第一终端发送的医学图像，服务器240确定该医学图像中的感兴趣区域。
第二终端260上同样安装有与肿瘤评价相关的应用程序。该应用程序可以是app(application，应用程序)中的小程序，也可以是专门的应用程序，也可以是网页客户端。第一终端是智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机中的至少一种。可选地，第一终端220和第二终端260可以同一终端，也可以是不同终端。示例性的，第一终端220是病人使用的终端，第二终端260是医生使用的终端，病人使用第一终端220上传医学图像，服务器240接收到第一终端220发送的医学图像后，确定医学图像中的感兴趣区域，之后，服务器240向第二终端260发送感兴趣区域的图像，医生就可以在第二终端260上查看病人的病情。
可选地，第一终端220和第二终端260上安装的客户端是相同的，或不同平台的同一类型应用程序。第一终端220可以泛指多个终端中的一个，第二终端260可以泛指多个终端中的一个，本实施例仅以第一终端220和第二终端260来举例说明。第一终端220和第二终端260的设备类型相同或不同，该设备类型包括：智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机中的至少一种。
图3示出了本申请一个示例性实施例提供的医学图像中确定感兴趣区域的方法的路程示意图，该方法由图2所示的计算机系统200执行，该方法包括以下步骤：
步骤302：确定医学图像的n个边缘关键点，n个边缘关键点用于定位感兴趣区域的区域边缘，n为大于1的整数。
边缘关键点是感兴趣区域边缘上的点。
医学图像包括核磁共振，计算机断层扫描(Computed Tomography，CT)，超声波检查，X光机，各种红外仪，显微仪中的至少一种医学设备产生的图像。示例性的，医学图像是用户淋巴结的CT图像。
可选地，边缘关键点也用于评价感兴趣区域。示例性的，当感兴趣区域是医学图像中的肿瘤病变区域，边缘关键点是RECIST标准中的两个长径端点和两个短径端点时，两个长径端点和两个短径端点可以用于评价肿瘤病变区域的治疗情况。
可选地，n个边缘关键点是RECIST标准中的两个长径端点和两个短径端点。
可选地，感兴趣区域是肿瘤的病变区域，边缘关键点是RECIST端点。
步骤304：基于n个边缘关键点确定出感兴趣区域的定位框。
定位框可以从图像中框选出候选区域。由于只需要在定位框中识别出感兴趣区域的不规则轮廓，可以减小计算机设备的计算量。
可选地，定位框包括但不限于矩形、三角形、圆形、五边形中的至少一种。
可选地，定位框是n个边缘关键点的最小外接矩形。
可选地，当n个边缘关键点是两个长径关键点和两个短径关键点时，确定两个长径关键点和两个短径关键点的外接矩形；将外接矩形确定为感兴趣区域的定位框。可选地，外接矩形的位置是根据两个长径关键点和两个短径关键点的坐标确定的。示例性的，两个长径关键点的坐标为(1，1)和(10，15)，两个短径关键点的坐标为(4，7)和(5，4)，且要求外接矩形可以包含两个长径关键点和两个短径关键点，则外接矩形是由直线x＝1，直线y＝1，直线x＝10，直线y＝15构成的矩形。
步骤306：获取医学图像在定位框中的语义特征和细节特征。
语义特征用于表示医学图像中的语义。示例性的，语义特征指医学图像中的区域A是病变区域。
细节特征包括但不限于医学图像中的边缘、角、纹理中的至少一种。
可选地，调用语义识别模型来提取医学图像的语义特征。可选地，当医学图像是CT图像时，将CT图像的多组连续轴向切片作为一组多通道图像，将该组多通道图像作为医学图像输入。
步骤308：基于语义特征和细节特征，识别出感兴趣区域的不规则轮廓。
可选地，调用分割网络识别出感兴趣区域的不规则轮廓。具体地，该方法包括以下子步骤：
1、融合语义特征和细节特征，得到医学图像的融合特征。
可选地，将语义特征和细节特征通过加法器，得到医学图像的融合特征。
其中，融合特征用于确定感兴趣区域的大致轮廓，细节特征用于确定感兴趣区域的具体不规则轮廓的边缘。
2、调用分割网络，从融合特征中识别出感兴趣区域的不规则轮廓。
分割网络用于从融合特征中提取出感兴趣区域。
在医学图像中，感兴趣区域是呈现不规则形状的。例如，当感兴趣区域是肿瘤的病变区域时，该病变区域会呈现出不规则的形状。
综上所述，本实施例在第一阶段中，根据医学图像的边缘关键点动态确定出包围感兴趣区域的定位框；在第二阶段中，根据语义特征和细节特征得到较为准确的感兴趣区域的不规则轮廓。一方面通过定位框确定出感兴趣区域的大致范围，只对定位框中的图像区域进行第二阶段的计算，从而简化后续计算的计算量；另一方面，将细节特征纳入考虑范围，使用语义特征和细节特征的融合特征可以得到较为准确的感兴趣区域的不规则轮廓。而且，在训练图像处理模型时，只需要边缘关键点的标注作为监督信息就可以训练图像处理模型，不需要具体的不规则轮廓标注，且相较于具体的不规则轮廓标注，边缘关键点的标注较为容易获得，可以降低人工标注的成本。
在接下来的实施例中，一方面，引入残差网络，通过定位框内的语义特征识别出感兴趣区域的不规则轮廓，并引入了医学图像中的细节特征，提高了感兴趣区域的分割精度，图像处理模型的具体结构请参考图1所示的模型结构；另一方面，使用沙漏骨干网络提取医学图像中的语义特征，提取效果较好，语义特征的准确度较高。
图4示出了本申请一个示例性实施例提供的医学图像中确定感兴趣区域的方法的路程示意图，该方法由图2所示的计算机系统200执行，该方法包括以下步骤：
步骤401：调用沙漏骨干网络，对医学图像进行下采样以及上采样还原，输出医学图像的语义特征图。
沙漏骨干网络包至少包括下采样层和上采样还原层中的至少一种。
可选地，通过沙漏骨干网络中的下采样层对医学图像进行所述下采样，得到下采样后的医学图像。
下采样层用于降低医学图像的分辨率，从医学图像中提取出语义特征。下采样层包括级联的a层网络层，a为大于1的整数。每一层网络层都被用作进行下采样，下采样层包括级联的a层网络层，a为大于1的整数。
语义特征图是医学图像的语义特征所组成的图像，语义特征图中的各个像素点的像素值均表示医学图像的语义特征。
可选地，通过沙漏骨干网络中的上采样层对下采样后的医学图像进行上采样还原，得到医学图像的语义特征图。
上采样还原用于将下采样后的医学图像还原成原先的大小，上采样层包括与下采样层对应的级联的a层网络层，且上采样层中第i层网络层的输入是上采样层的第i-1层网络层的上采样还原结果和下采样层中对应的第i层网络层的下采样结果，i是大于1且小于a+1的整数。
可选地，上采样还原的方法包括最邻近元法、双线性内插法、三次内插法中的至少一种。
步骤402：确定医学图像的n个边缘关键点。
可选地，调用预测网络，从医学图像的语义特征图中识别出n个边缘关键点。预测网络用于从语义特征图中提取出边缘关键点。
可选地，当n个边缘关键点是两个长径关键点和两个短径关键点时，调用预测网络，从医学图像的语义特征图中识别出两个长径关键点和两个短径关键点。
可选地，获取预测偏移量图；在预测偏移量图中确定两个长径关键点和两个短径关键点对应的预测偏移量；通过预测偏移量对两个长径关键点和两个短径关键点进行修正。
可选地，感兴趣区域是肿瘤的病变区域，边缘关键点是RECIST端点时，该步骤包括以下子步骤：
1、调用预测网络，根据语义特征图生成两个长径关键点、两个短径关键点和中心点的热图。
预测网络包括热图生成网络层，热图生成网络层用于根据语义特征图生成边缘关键点和中心点的热图。可选地，调用预测网络中的热图生成网络层，根据语义特征图生成两个长径关键点、两个短径关键点和中心点的热图。
中心点指长径和短径的交点，且中心点既是长径的中点，也是短径的中点。
2、将两个长径关键点和两个短径关键点的热图中的前k个峰值位置处的像素点进行关键点分组，得到关键点组合。
由于两个长径关键点和两个短径关键点的热图中，像素点对应的像素值代表该像素点是边缘关键点的概率，所以，像素值越大，对应的像素点越有可能是边缘关键点。
k为正整数，k的取值由技术人员自行设置。示例性的，k为40。
可选地，从两个长径关键点和两个短径关键点的热图中的前k个峰值位置处的像素点中随机取出一个像素点，将取出的四个像素点进行组合达到关键点组合。
示例性的，共有4幅关键点热图，从4幅关键点热图中各自提取到40个候选关键点，从关键点热图1对应的候选关键点中随机取出一个候选关键点，从关键点热图2对应的候选关键点中随机取出一个候选关键点，从关键点热图3对应的候选关键点中随机取出一个候选关键点，从关键点热图4对应的候选关键点中随机取出一个候选关键点，组合上述随机取出的候选关键点，得到关键点组合。
3、基于关键点组合，确定关键点组合在中心点热图中对应的中心点。
示例性的，将中心点记为c，将长径的两个端点分别记为l和r，将短径的两个端点分别记为t和b，则中心点的坐标为
Figure BDA0003092274610000141
其中
Figure BDA0003092274610000142
和
Figure BDA0003092274610000143
代表端点l、r的横坐标，
Figure BDA0003092274610000144
和
Figure BDA0003092274610000145
代表端点t和b的纵坐标。
4、计算关键点组合和对应的中心点的组合得分。
示例性的，给出一种计算组合得分的方法，计算候选关键点对应的概率与中心点概率两倍的和，得到组合得分。
5、响应于关键点组合的组合得分达到预设阈值，将关键点组合中的像素点确定为两个长径关键点和两个短径关键点。
响应于关键点组合的组合得分未达到预设阈值，舍弃该组关键点组合。
可选地，在本子步骤中获得多组关键点组合，取前述的多组关键点组合中组合得分最高的关键点组合中的像素点确定为两个长径关键点和两个短径关键点。
步骤403：将n个边缘关键点的外接矩形确定为感兴趣区域的定位框。
示例性的，当n个边缘关键点是两个长径关键点和两个短径关键点时，将两个长径关键点和两个短径关键点组成的四边形的外接矩形确定为感兴趣区域的定位框。
可选的，根据n个边缘关键点中位于最上方的边缘关键点确定外接矩形的上边界；根据n个边缘关键点中位于最下方的边缘关键点确定外接矩形的下边界；根据n个边缘关键点中位于最左方的边缘关键点确定外接矩形的左边界；根据n个边缘关键点中位于最右方的边缘关键点确定外接矩形的右边界；将上边界、下边界、左边界和右边界构成的矩形确定为感兴趣区域的定位框。示例性的，位于最上方的边缘关键点的坐标为(3，8)，位于最下方的边缘关键点的坐标为(2，1)，位于最左方的边缘关键点的坐标为(1，4)，位于最右方的边缘关键点的坐标为(5，4)，且要求外接矩形可以包含两个长径关键点和两个短径关键点，则定位框是由直线x＝1，直线y＝1，直线x＝5，直线y＝8构成的矩形。
步骤404：通过定位框从语义特征图中框选出第一包围区域，得到定位框中的语义特征。
第一包围区域指语义特征图中定位框内的区域。
步骤405：通过定位框从医学图像中框选出第二包围区域，得到区域图像。
区域图像是医学图像中与定位框对应的图像。
第二包围区域指医学图像中定位框内的区域。
步骤406：将区域图像输入到残差网络中，得到定位框中的细节特征。
残差网络用于从区域图像中提取出细节特征。细节特征包括但不限于边缘、角、纹理中的至少一种。
其中卷积的作用是对定位框内的区域中的各个像素点进行分类，得到分类得分。归一化的作用是将分类后的像素点的分类得分映射到(0，1)区间上，映射的结果就是像素点属于感兴趣区域的概率。
分割网络层和/或残差网络层是对感兴趣区域的前景和背景进行弱监督训练得到的。前景是两个长径关键点和两个短径关键点组成的四边形区域；背景是前景的最小外接圆的外部区域，两个长径关键点是感兴趣区域中长度最长的第一线段的两个端点，两个短径关键点是感兴趣区域内与第一线段垂直且长度最长的第二线段的两个端点。
步骤407：融合语义特征和细节特征，得到医学图像的融合特征。
融合特征包括语义特征和细节特征。
可选地，将语义特征和细节特征通过加法器，得到医学图像的融合特征。
步骤408：调用分割网络层对融合特征进行卷积以及归一化，得到分割概率图。
分割概率图的像素值用于表示对应的像素点属于感兴趣区域的概率。示例性的，分割概率图中像素点1的像素值是80％，则说明像素点1属于感兴趣区域的概率是80％。
由于融合特征对应的区域内表示的是医学图像的特征，故需要将特征转换为概率。其中卷积的作用是对定位框内的区域中的各个像素点进行分类，得到分类得分。归一化的作用是将分类后的像素点的分类得分映射到(0，1)区间上，映射的结果就是像素点属于感兴趣区域的概率。
可选地，使用softmax函数(归一化指数函数)或sigmoid函数(常被用作神经网络的激活函数，将变量映射到(0，1)区间)来进行归一化。
步骤409：对分割概率图进行二值化，得到二值掩膜。
二值掩膜指图像中像素点的取值有且只有两种情况，故在本实施例中也可以被称为二值图像。示例性的，二值掩膜中的像素点的取值只有0和1。
可选地，获取分割阈值；根据分割阈值对分割概率图进行二值化，得到二值掩膜。示例性的，将分割阈值设置为80％，则当像素点的概率小于80％时，将对应像素点的值设置为0；当像素点的概率不小于80％时，将对应像素点的值设置为1。
步骤410：根据二值掩膜中的第一数值和第二数值的交界处确定感兴趣区域的不规则轮廓。
二值掩膜只有两种取值，分别是第一数值和第二数值，由于感兴趣区域的不规则轮廓是有连续性的，所以感兴趣区域的不规则轮廓的第一侧的像素点的取值为第一数值，第二侧的像素点的取值为第二数值。类似的，第一数值和第二数值的交界处的第一侧的像素点的取值为第一数值，第二侧的像素点的取值为第二数值。
可选地，将二值掩膜中的第一数值组成的区域确定为感兴趣区域，或者，将二值掩膜中的第二数值组成的区域确定为感兴趣区域。
综上所述，本实施例在第一阶段中，根据医学图像的边缘关键点动态确定出包围感兴趣区域的定位框；在第二阶段中，根据语义特征和细节特征得到较为准确的感兴趣区域的不规则轮廓。一方面通过定位框确定出感兴趣区域的大致范围，只对定位框中的图像区域进行第二阶段的计算，从而简化后续计算的计算量；另一方面，将细节特征纳入考虑范围，使用语义特征和细节特征的融合特征可以得到较为准确的感兴趣区域的不规则轮廓。而且，在训练图像处理模型时，只需要边缘关键点的标注作为监督信息就可以训练图像处理模型，不需要具体的不规则轮廓标注，且相较于具体的不规则轮廓标注，边缘关键点的标注较为容易获得，可以降低人工标注的成本。
另一方面，由于融合特征中包含了原先的医学图像中的细节特征，而细节特征是是在原图分辨率上处理的，细节更丰富，可以得到较为准确的分割结果，效果较好。
在接下来的实施例中，一方面，整个图像处理模型可以去掉残差网络的分支，直接通过定位框中的语义特征识别出感兴趣区域的不规则轮廓，识别速度较快；另一方面，使用沙漏骨干网络提取医学图像中的语义特征，提取效果较好，特征的准确度较高。当分割网络仅包括分割网络层时，图像处理模型的结构图请参考图5。
在图5中，图像处理模型包括沙漏骨干网络102、预测网络104和分割网络110。
沙漏骨干网络102用于从医学图像中提取语义特征，生成语义特征图。沙漏骨干网络102的输入是医学图像101，输出是语义特征图103。
预测网络104用于从语义特征图中提取出边缘关键点，并根据关键点生成定位框，定位框内的区域是语义特征图中包围边缘关键点的外接矩形的区域。预测网络104的输入是语义特征图103，输出是边缘关键点105。进而，根据边缘关键点生成定位框，将定位框和语义特征图103结合，达到语义特征图中的第一包围区域114，定位框的作用是限定分割网络110的运算范围，以减小分割网络110的运算量。
分割网络110用于从输入的语义特征中识别出感兴趣区域。分割网络110的输入是语义特征106，输出是感兴趣区域111，进一步的，感兴趣区域111是医学图像113中的白色方框内的部分。
图6示出了本申请一个示例性实施例提供的医学图像中确定感兴趣区域的方法的流程示意图，该方法由图2所示的计算机系统200执行，该方法包括以下步骤：
步骤601：调用沙漏骨干网络，对医学图像进行下采样以及上采样还原，输出医学图像的语义特征图。
沙漏骨干网络包至少包括下采样层和上采样还原层中的至少一种。
可选地，通过沙漏骨干网络中的下采样层对医学图像进行所述下采样，得到下采样后的医学图像。
可选地，通过沙漏骨干网络中的上采样层对下采样后的医学图像进行上采样还原，得到医学图像的语义特征图。
示例性的，对于一幅尺寸为M*N的医学图像，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的分辨率的医学图像，原始的医学图像s*s窗口内的图像变成一个像素，这个像素点的值就是s*s窗口内所有像素的均值或最大值。
可选地，上采样还原的方法包括最邻近元法、双线性内插法、三次内插法中的至少一种。
步骤602：调用预测网络，从医学图像的语义特征图中识别出n个边缘关键点。
预测网络用于从语义特征图中提取出边缘关键点。
可选地，获取预测偏移量图；在预测偏移量图中确定两个长径关键点和两个短径关键点对应的预测偏移量；通过预测偏移量对两个长径关键点和两个短径关键点进行修正。
可选地，感兴趣区域是肿瘤的病变区域，边缘关键点是RECIST端点。
步骤603：将n个边缘关键点的外接矩形确定为感兴趣区域的定位框。
示例性的，当n个边缘关键点是两个长径关键点和两个短径关键点时，将两个长径关键点和两个短径关键点组成的四边形的外接矩形确定为感兴趣区域的定位框。
可选的，根据n个边缘关键点中位于最上方的边缘关键点确定外接矩形的上边界；根据n个边缘关键点中位于最下方的边缘关键点确定外接矩形的下边界；根据n个边缘关键点中位于最左方的边缘关键点确定外接矩形的左边界；根据n个边缘关键点中位于最右方的边缘关键点确定外接矩形的右边界；将上边界、下边界、左边界和右边界构成的矩形确定为感兴趣区域的定位框。
步骤604：通过定位框从语义特征图中框选出第一包围区域，得到定位框中的语义特征。
示例性的，如图5所示，在语义特征图106中确定出定位框得到第一包围区域114。
步骤605：调用分割网络层对定位框内的区域中的语义特征进行卷积以及归一化，得到分割概率图。
其中卷积的作用是对定位框内的区域中的各个像素点进行分类，得到分类得分。归一化的作用是将分类后的像素点的分类得分映射到(0，1)区间上，映射的结果就是像素点属于感兴趣区域的概率。
可选地，使用softmax函数(归一化指数函数)或sigmoid函数(常被用作神经网络的激活函数，将变量映射到(0，1)区间)来进行归一化。
步骤606：对分割概率图进行二值化，得到二值掩膜。
二值掩膜指图像中像素点的取值有且只有两种情况，故在本实施例中也可以被称为二值图像。示例性的，二值掩膜中的像素点的取值只有0和1。
可选地，获取分割阈值；根据分割阈值对分割概率图进行二值化，得到二值掩膜。示例性的，将分割阈值设置为80％，则当像素点的概率小于80％时，将对应像素点的值设置为0；当像素点的概率不小于80％时，将对应像素点的值设置为1。
步骤607：根据二值掩膜中的第一数值和第二数值的交界处确定感兴趣区域的不规则轮廓。
二值掩膜只有两种取值，分别是第一数值和第二数值，由于感兴趣区域的不规则轮廓是有连续性的，所以感兴趣区域的不规则轮廓的第一侧的像素点的取值为第一数值，第二侧的像素点的取值为第二数值。类似的，第一数值和第二数值的交界处的第一侧的像素点的取值为第一数值，第二侧的像素点的取值为第二数值。
可选地，将二值掩膜中的第一数值组成的区域确定为感兴趣区域，或者，将二值掩膜中的第二数值组成的区域确定为感兴趣区域。
综上所述，本实施例在第一阶段中，根据医学图像的边缘关键点动态确定出包围感兴趣区域的定位框；在第二阶段中，根据语义特征和细节特征得到较为准确的感兴趣区域的不规则轮廓。一方面通过定位框确定出感兴趣区域的大致范围，只对定位框中的图像区域进行第二阶段的计算，从而简化后续计算的计算量；另一方面，将细节特征纳入考虑范围，使用语义特征和细节特征的融合特征可以得到较为准确的感兴趣区域的不规则轮廓。而且，在训练图像处理模型时，只需要边缘关键点的标注作为监督信息就可以训练图像处理模型，不需要具体的不规则轮廓标注，且相较于具体的不规则轮廓标注，边缘关键点的标注较为容易获得，可以降低人工标注的成本。
另一方面，本实施例是在检测网络的基础上，增加分割网络的形式，还可根据实际需求灵活地改变分割网络的结构，以获得不同的感兴趣区域，可以根据实际需求获取需要的感兴趣区域。且获得的感兴趣区域较为准确，效果较好。
图7示出了本申请一个示例性实施例提供的图像处理模型的训练方法的路程示意图，该方法由图2所示的计算机系统200执行，该方法包括以下步骤：
步骤702:获取样本训练集。
样本训练集包括样本医学图像和真实标注，真实标注指样本医学图像的n个真实边缘关键点，n为大于1的整数。
可选地，调用影像归档和通信系统获取样本训练集。
可选地，当医学图像是CT图像时，将CT图像的多组连续轴向切片作为一组多通道图像，将该组多通道图像作为医学图像输入。
可选地，感兴趣区域是肿瘤的病变区域，边缘关键点是RECIST端点。
步骤704：调用沙漏骨干网络和预测网络提取确定样本医学图像的n个预测边缘关键点。
可选地，通过沙漏骨干网络中的下采样层对样本医学图像进行下采样，得到下采样后的样本医学图像；通过沙漏骨干网络中的上采样层对下采样后的样本医学图像进行上采样还原，得到样本医学图像的预测语义特征图。
可选地，n个预测关键点包括两个预测长径关键点和两个预测短径关键点。可选地，获取预测偏移量图；在预测偏移量图中确定两个长径关键点和两个短径关键点对应的预测偏移量；通过预测偏移量对两个长径关键点和两个短径关键点进行修正。
步骤706：基于n个预测边缘关键点确定出感预测兴趣区域的预测定位框。
n个预测边缘关键点用于定位预测感兴趣区域。
可选地，预测定位框包括但不限于矩形、三角形、圆形、五边形中的至少一种。
可选地，预测定位框是n个边缘关键点的最小外接矩形。
步骤708：获取样本医学图像在预测定位框中的预测语义特征和预测细节特征。
预测语义特征用于表示样本医学图像中的语义。示例性的，预测语义特征指样本医学图像中的区域A是病变区域。
预测细节特征包括但不限于样本医学图像中的边缘、角、纹理中的至少一种。
步骤710：调用分割网络，基于预测语义特征和预测细节特征，识别出预测感兴趣区域的预测不规则轮廓。
可选地，调用分割网络识别出预测感兴趣区域的预测不规则轮廓。具体地，该方法包括以下子步骤：
1、融合预测语义特征和预测细节特征，得到样本医学图像的预测融合特征。
可选地，将语义特征和细节特征通过加法器，得到医学图像的融合特征。
其中，融合特征用于确定感兴趣区域的大致不规则轮廓，细节特征用于确定感兴趣区域的不规则轮廓边缘。
2、调用分割网络，从预测融合特征中识别出预测感兴趣区域的预测不规则轮廓。
分割网络用于从融合特征中提取出感兴趣区域。
在医学图像中，感兴趣区域是呈现不规则形状的。例如，当感兴趣区域是肿瘤的病变区域时，该病变区域会呈现出不规则的形状。
步骤712：根据n个预测边缘关键点与真实标注的损失差值，对沙漏骨干网络和分割网络进行弱监督训练。
可选地，该步骤包括以下子步骤：
1、基于n个预测边缘关键点确定两个预测长径关键点和两个预测短径关键点。
两个预测长径关键点是预测感兴趣区域中长度最长的第一线段的两个端点，两个预测短径关键点是预测感兴趣区域内与第一线段垂直且长度最长的第二线段的两个端点。
示例性的，如图8所示，以肿瘤的CT图进行说明，医学图像81中基于两个预测长径关键点和两个预测短径关键点确定长径801和短径802。
2、将两个预测长径关键点和两个预测短径关键点组成的四边形区域确定为前景。
示例性的，如图8所示，在示意图82中，将长径801的两个端点和短径802的两个端点首尾相连得到一块四边形区域，为清楚地表示这块四边形区域，请参考示意图83，示意图83清楚地显示出前景803代表的区域。
3、将前景的最小外接圆的外部区域确定为背景。
示例性的，如图8所示，在示意图84中，做前景的最小外接圆，将外接圆的外部区域确定为背景804。
4、计算前景和背景的交叉熵损失，得到部分交叉熵损失。
将输出概率图记为
Figure BDA0003092274610000221
前景与背景分别纪为
Figure BDA0003092274610000222
和
Figure BDA0003092274610000223
将部分交叉熵损失记为
Figure BDA0003092274610000227
则有：
Figure BDA0003092274610000224
其中，
Figure BDA0003092274610000225
表示前景中的像素点的个数，
Figure BDA0003092274610000226
表示背景中的像素点的个数，N是
Figure BDA0003092274610000231
和
Figure BDA0003092274610000232
的和，i是小于
Figure BDA0003092274610000233
的整整数，或者，i是小于
Figure BDA0003092274610000234
的正整数。
5、根据部分交叉熵损失对沙漏骨干网络和分割网络进行弱监督训练。
根据部分交叉熵损失，通过误差反向传播算法，对沙漏骨干网络和分割网络进行弱监督训练。
可选地，提供另一种弱监督训练方法，具体步骤如下：
1、根据预测语义特征图生成预测分割概率图。
预测分割概率图中的像素值用于表示对应的像素点属于预测感兴趣区域的概率。可选地，调用预测分割概率图根据预测语义特征图生成预测分割概率图。
2、对预测分割概率图和样本医学图像进行梯度加强，分别得到预测分割概率图的第一梯度强度图和样本医学图像的第二梯度强度图。
可选地，使用普雷维特算子对预测分割概率图进行梯度加强，得到预测分割概率图的第一梯度强度图；使用普雷维特算子对样本医学图像进行梯度加强，得到样本医学图像的第二梯度强度图。
示例性的，如图9所示，样本医学图像901和预测分割概率图902是梯度强化后的图像，对样本医学图像901和预测分割概率图902进行梯度强化，得到第一梯度强度图904和第二梯度强度图903，从可视化的第一梯度强度图904和第二梯度强度图903中可以得到预测分割结果的边缘处与图像边缘一致。
3、基于第一梯度强度图和第二梯度强度图中各个元素的乘积之和，计算得到边缘损失。
可选地，将边缘损失记为
Figure BDA0003092274610000235
则有：
Figure BDA0003092274610000236
其中，N表示预测分割概率图元素个数，
Figure BDA0003092274610000237
表示对应元素相乘，G(I)表示第二梯度强度图，G(S)表示第一梯度强度图。
4、根据边缘损失对沙漏骨干网络和分割网络进行弱监督训练。
根据边缘损失，通过误差反向传播算法，对沙漏骨干网络和分割网络进行弱监督训练。
综上所述，本实施例提供了一种图像处理模型的训练方法，在训练图像处理模型的过程中只需要边缘关键点的标注作为监督信息就可以训练图像处理模型，不需要具体的不规则轮廓标注，且相较于具体的不规则轮廓标注，边缘关键点的标注较为容易获得，可以降低人工标注的成本。
图10出了本申请一个示例性实施例提供的图像处理模型的训练方法的路程示意图，该方法由图2所示的计算机系统200执行，该方法包括以下步骤：
步骤1001：获取样本训练集。
样本训练集包括样本医学图像和真实标注，真实标注指样本医学图像的n个真实边缘关键点，n为大于1的整数。
可选地，调用影像归档和通信系统获取样本训练集。
可选地，当医学图像是CT图像时，将CT图像的多组连续轴向切片作为一组多通道图像，将该组多通道图像作为医学图像输入。
可选地，感兴趣区域是肿瘤的病变区域，边缘关键点是RECIST端点。
步骤1002：调用沙漏骨干网络和预测网络提取确定样本医学图像的n个预测边缘关键点。
可选地，通过沙漏骨干网络中的下采样层对样本医学图像进行下采样，得到下采样后的样本医学图像；通过沙漏骨干网络中的上采样层对下采样后的样本医学图像进行上采样还原，得到样本医学图像的预测语义特征图。
可选地，n个预测关键点包括两个预测长径关键点和两个预测短径关键点。可选地，获取预测偏移量图；在预测偏移量图中确定两个长径关键点和两个短径关键点对应的预测偏移量；通过预测偏移量对两个长径关键点和两个短径关键点进行修正。
步骤1003：基于n个预测边缘关键点确定出感预测兴趣区域的预测定位框。
n个预测边缘关键点用于定位预测感兴趣区域。
可选地，预测定位框包括但不限于矩形、三角形、圆形、五边形中的至少一种。
可选地，预测定位框是n个边缘关键点的最小外接矩形。
可选的，根据n个预测边缘关键点中位于最上方的预测边缘关键点确定预测外接矩形的上边界；根据n个预测边缘关键点中位于最下方的预测边缘关键点确定预测外接矩形的下边界；根据n个预测边缘关键点中位于最左方的预测边缘关键点确定预测外接矩形的左边界；根据n个预测边缘关键点中位于最右方的预测边缘关键点确定预测外接矩形的右边界；将上边界、下边界、左边界和右边界构成的矩形确定为预测感兴趣区域的预测定位框。
步骤1004：获取样本医学图像在预测定位框中的预测语义特征和预测细节特征。
预测语义特征用于表示样本医学图像中的语义。示例性的，预测语义特征指样本医学图像中的区域A是病变区域。
预测细节特征包括但不限于样本医学图像中的边缘、角、纹理中的至少一种。
步骤1005：调用分割网络，对预测融合特征进行卷积以及归一化，得到预测分割概率图。
预测区域图像是样本医学图像中与预测定位框内的区域对应的图像。
步骤1006：对预测分割概率图进行二值化，得到预测二值掩膜。
预测细节特征用于表示预测定位框区域中的图像细节。
残差网络层用于从区域图像中提取出细节特征。训练过程中提取的细节特征包括但不限于边缘、角、纹理中的至少一种。
步骤1007：根据预测二值掩膜中的第一数值和第二数值的交界处确定预测感兴趣区域的预测不规则轮廓。
预测二值掩膜只有两种取值，分别是第一数值和第二数值，由于预测感兴趣区域的不规则轮廓是有连续性的，所以预测感兴趣区域的不规则轮廓的第一侧的像素点的取值为第一数值，第二侧的像素点的取值为第二数值。类似的，第一数值和第二数值的交界处的第一侧的像素点的取值为第一数值，第二侧的像素点的取值为第二数值。
可选地，将预测二值掩膜中的第一数值组成的区域确定为预测感兴趣区域，或者，将预测二值掩膜中的第二数值组成的区域确定为预测感兴趣区域。
步骤1008：根据n个预测边缘关键点与真实标注的损失差值，对沙漏骨干网络和分割网络进行弱监督训练。
可选地根据n个预测边缘关键点与真实标注的损失差值，通过误差反向传播算法，对沙漏骨干网络和分割网络进行弱监督训练。
综上所述，本实施例提供了一种图像处理模型的训练方法，在训练图像处理模型的过程中只需要边缘关键点的标注作为监督信息就可以训练图像处理模型，不需要具体的不规则轮廓标注，且相较于具体的不规则轮廓标注，边缘关键点的标注较为容易获得，可以降低人工标注的成本。
且，由于融合特征中包含了原先的医学图像中的细节特征，而细节特征是是在原图分辨率上处理的，细节更丰富，可以得到较为准确的分割结果，效果较好。
在检测肿瘤区域时，本申请实施例提供的方法可以获得较好的分割效果和较为准确的边缘关键点。表1示出了现有技术方案与本申请方法的对比表，其中，MR-CNN指MultiRegion-Convolutional Neural Network(多区域卷积神经网络)。MR-CNN*表示MR-CNN使用部分交叉熵损失和边缘损失共同进行训练得到的模型。ARUNet是U-Net(U形网络)的一种，用于进行图像分割。HN表示使用沙漏网络来检测网络。GrabCut是一种图像分割算法。GrabCut-k是GrabCut的一种改进形式。Co-Seg(Co-Segmentation，联合分割)是一种图像分割算法。
表1现有技术方案与本申请方法的对比表
Figure BDA0003092274610000261
从表1可以得到本申请的方法在分割评价指标上具有良好的表现，优于表1中的其它技术方案。且本技术方案不同于采用GrabCut产生的伪标注转化的标签损失，而采用部分标签与边缘信息构造的弱监督分割损失。
另一方面，在KITS19数据集(肾肿瘤分割标注的数据集)上，使用医学图片的感兴趣区域作为输入，固定分割网络为U-Net情况下，比较不同的分割损失的分割效果，如表2所示：
表2不同技术方案下分割结果的比较
Figure BDA0003092274610000262
Figure BDA0003092274610000271
如表2所示，本申请的方案在Dice系数(用于计算两个样本之间的相似度)和豪斯多夫距离(度量空间中真子集之间的距离，可以应用在边缘匹配算法的距离)两种评价指标上均优于表2中的方法，这验证了本申请使用的损失函数的有效性。
可选地，本申请的实施例与区块链技术进行结合。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
图11示出了本申请的一个示例性实施例提供的医学图像中确定感兴趣区域的装置的结构示意图。该系统可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置1100包括：
确定模块1101，用于确定所述医学图像的n个边缘关键点，所述n个边缘关键点用于定位所述感兴趣区域的区域边缘，所述n为大于1的整数；
所述确定模块1101，还用于基于所述n个边缘关键点确定出所述感兴趣区域的定位框；
提取模块1102，用于获取所述医学图像在所述定位框中的语义特征和细节特征；
识别模块1103，用于基于所述语义特征和所述细节特征，识别出所述感兴趣区域的不规则轮廓。
在本申请的一个可选的设计中，所述识别模块1103，还用于融合所述语义特征和所述细节特征，得到融合特征；调用分割网络，从所述融合特征中识别出所述感兴趣区域的所述不规则轮廓。
在本申请的一个可选的设计中，所述识别模块1103，还用于调用所述分割网络，对所述融合特征进行卷积以及归一化，得到分割概率图，所述分割概率图的像素值用于表示对应的像素点属于所述感兴趣区域的概率；对所述分割概率图进行二值化，得到二值掩膜；根据所述二值掩膜中的第一数值和第二数值的交界处确定所述感兴趣区域的所述不规则轮廓。
在本申请的一个可选的设计中，所述提取模块1102，还用于通过所述定位框从所述医学图像的语义特征图中框选出第一包围区域，得到所述定位框中的所述语义特征；通过所述定位框从所述医学图像中框选出第二包围区域，得到区域图像；将所述区域图像输入到残差网络中，得到所述定位框中的所述细节特征。
在本申请的一个可选的设计中，所述分割网络和/或所述残差网络是对所述感兴趣区域的前景和背景进行弱监督训练得到的；所述前景是两个长径关键点和两个短径关键点组成的四边形区域；所述背景是所述前景的最小外接圆的外部区域，所述两个长径关键点是所述感兴趣区域中长度最长的第一线段的两个端点，所述两个短径关键点是所述感兴趣区域内与所述第一线段垂直且长度最长的第二线段的两个端点。
在本申请的一个可选的设计中，所述确定模块1101，还用于调用沙漏骨干网络，对所述医学图像进行下采样以及上采样还原，输出所述医学图像的语义特征图；调用预测网络，从所述医学图像的语义特征图中识别出所述n个边缘关键点.
在本申请的一个可选的设计中，所述提取模块1102，还用于通过所述沙漏骨干网络中的下采样层对所述医学图像进行所述下采样，得到下采样后的医学图像，所述下采样层包括级联的a层网络层，a为大于1的整数；通过所述沙漏骨干网络中的上采样层对所述下采样后的医学图像进行所述上采样还原，得到所述医学图像的所述语义特征图，所述上采样层包括与所述下采样层对应的级联的a层网络层；其中，所述上采样层中第i层网络层的输入是所述上采样层的第i-1层网络层的上采样还原结果和所述下采样层中对应的第i层网络层的下采样结果，所述i是大于1且小于a+1的整数。
在本申请的一个可选的设计中，所述确定模块1101，还用于将所述n个边缘关键点的外接矩形确定为所述感兴趣区域的所述定位框。
在本申请的一个可选的设计中，所述确定模块1101，还用于根据所述n个边缘关键点中位于最上方的边缘关键点确定所述外接矩形的上边界；根据所述n个边缘关键点中位于最下方的边缘关键点确定所述外接矩形的下边界；根据所述n个边缘关键点中位于最左方的边缘关键点确定所述外接矩形的左边界；根据所述n个边缘关键点中位于最右方的边缘关键点确定所述外接矩形的右边界；将所述上边界、所述下边界、所述左边界和所述右边界构成的矩形确定为所述感兴趣区域的所述定位框。
综上所述，本实施例在第一阶段中，根据医学图像的边缘关键点动态确定出包围感兴趣区域的定位框；在第二阶段中，根据语义特征和细节特征得到较为准确的感兴趣区域的不规则轮廓。一方面通过定位框确定出感兴趣区域的大致范围，只对定位框中的图像区域进行第二阶段的计算，从而简化后续计算的计算量；另一方面，将细节特征纳入考虑范围，使用语义特征和细节特征的融合特征可以得到较为准确的感兴趣区域的不规则轮廓。而且，在训练图像处理模型时，只需要边缘关键点的标注作为监督信息就可以训练图像处理模型，不需要具体的不规则轮廓标注，且相较于具体的不规则轮廓标注，边缘关键点的标注较为容易获得，可以降低人工标注的成本。
图12示出了本申请的一个示例性实施例提供的图像处理模型的训练装置的结构示意图。该系统可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置1200包括：
获取模块1201，用于获取样本训练集，所述样本训练集包括样本医学图像和真实标注，所述真实标注指所述样本医学图像的n个真实边缘关键点，所述n为大于1的整数；
确定模块1202，用于调用所述沙漏骨干网络和所述预测网络提取确定所述样本医学图像的n个预测边缘关键点，所述n个预测边缘关键点用于定位预测感兴趣区域的区域边缘，所述n为大于1的整数；
所述确定模块1202，还用于基于所述n个预测边缘关键点确定出所述感预测兴趣区域的预测定位框；
提取模块1203，用于获取所述样本医学图像在所述预测定位框中的预测语义特征和预测细节特征；
识别模块1204，还用于调用所述分割网络，基于所述预测语义特征和所述预测细节特征，识别出所述预测感兴趣区域的预测不规则轮廓。
训练模块1205，用于根据所述n个预测关键点与所述真实标注的损失差值，对所述沙漏骨干网络和所述分割网络进行弱监督训练。
在本申请的一个可选的设计中，所述识别模块1204，还用于融合所述预测语义特征和所述预测细节特征，得到预测融合特征；调用所述分割网络，从所述预测融合特征中识别出所述预测感兴趣区域的所述预测不规则轮廓。
在本申请的一个可选的设计中，所述识别模块1204，还用于调用所述分割网络，对所述预测融合特征进行卷积以及归一化，得到预测分割概率图，所述预测分割概率图的像素值用于表示对应的像素点属于所述预测感兴趣区域的概率；对所述预测分割概率图进行二值化，得到预测二值掩膜；根据所述预测二值掩膜中的第一数值和第二数值的交界处确定所述预测感兴趣区域的所述预测不规则轮廓。
在本申请的一个可选的设计中，所述训练模块1205，还用于基于所述n个预测边缘关键点确定两个预测长径关键点和两个预测短径关键点，所述两个预测长径关键点是所述预测感兴趣区域中长度最长的第一线段的两个端点，所述两个预测短径关键点是所述预测感兴趣区域内与所述第一线段垂直且长度最长的第二线段的两个端点；将所述两个预测长径关键点和所述两个预测短径关键点组成的四边形区域确定为前景；将所述前景的最小外接圆的外部区域确定为背景；计算所述前景和所述背景的交叉熵损失，得到所述部分交叉熵损失；根据所述部分交叉熵损失对所述沙漏骨干网络和所述分割网络进行弱监督训练。
在本申请的一个可选的设计中，所述训练模块1205，还用于根据所述预测语义特征图生成预测分割概率图，所述预测分割概率图中的像素值用于表示对应的像素点属于预测感兴趣区域的概率；对预测分割概率图和所述样本医学图像进行梯度加强，分别得到所述预测分割概率图的第一梯度强度图和所述样本医学图像的第二梯度强度图；基于所述第一梯度强度图和所述第二梯度强度图中各个元素的乘积之和，计算得到所述边缘损失；根据所述边缘损失对所述沙漏骨干网络和所述分割网络进行弱监督训练。
综上所述，本实施例提供了一种图像处理模型的训练方法，在训练图像处理模型的过程中，只需要边缘关键点的真实标注作为监督信息，不需要分割标注就可以完成图像处理模型的训练，获取边缘关键点的真实标注较为简单，成本较低。
图13是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备1300包括中央处理单元(Central Processing Unit，CPU)1301、包括随机存取存储器(Random Access Memory，RAM)1302和只读存储器(Read-Only Memory，ROM)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
所述基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中所述显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。所述基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机设备可读介质为计算机设备1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机设备可读介质(未示出)。
不失一般性，所述计算机设备可读介质可以包括计算机设备存储介质和通信介质。计算机设备存储介质包括以用于存储诸如计算机设备可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机设备存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable ReadOnly Memory，EPROM)、带电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)，CD-ROM、数字视频光盘(Digital Video Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机设备存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
根据本公开的各种实施例，所述计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1312连接到网络1311，或者说，也可以使用网络接口单元1312来连接到其他类型的网络或远程计算机设备系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1301通过执行该一个或一个以上程序来实现上述人脸活体检测方法的全部或者部分步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述各个方法实施例提供的在医学图像中确定感兴趣区域的方法，或，图像处理模型的训练方法。
本申请还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的在医学图像中确定感兴趣区域的方法，或，图像处理模型的训练方法。
可选地，本申请还提供了一种包含指令的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行上述各方面所述的在医学图像中确定感兴趣区域的方法，或，图像处理模型的训练方法。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种医学图像中确定感兴趣区域的方法，其特征在于，所述方法包括：
确定所述医学图像的n个边缘关键点，所述n个边缘关键点用于定位所述感兴趣区域的区域边缘，所述n为大于1的整数；
基于所述n个边缘关键点确定出所述感兴趣区域的定位框；
获取所述医学图像在所述定位框中的语义特征和细节特征；
基于所述语义特征和所述细节特征，识别出所述感兴趣区域的不规则轮廓。
2.根据权利要求1所述的方法，其特征在于，所述基于所述语义特征和所述细节特征，识别出所述感兴趣区域的不规则轮廓，包括：
融合所述语义特征和所述细节特征，得到所述医学图像的融合特征；
调用分割网络，从所述融合特征中识别出所述感兴趣区域的所述不规则轮廓。
3.根据权利要求2所述的方法，其特征在于，所述调用分割网络，从所述融合特征中识别出所述感兴趣区域的所述不规则轮廓，包括：
调用所述分割网络，对所述融合特征进行卷积以及归一化，得到分割概率图，所述分割概率图的像素值用于表示对应的像素点属于所述感兴趣区域的概率；
对所述分割概率图进行二值化，得到二值掩膜；
根据所述二值掩膜中的第一数值和第二数值的交界处确定所述感兴趣区域的所述不规则轮廓。
4.根据权利要求2所述的方法，其特征在于，所述获取所述医学图像在所述定位框中的语义特征和细节特征，包括：
通过所述定位框从所述医学图像的语义特征图中框选出第一包围区域，得到所述定位框中的所述语义特征；
通过所述定位框从所述医学图像中框选出第二包围区域，得到区域图像；将所述区域图像输入到残差网络中，得到所述定位框中的所述细节特征。
5.根据权利要求4所述的方法，其特征在于，所述分割网络和/或所述残差网络是对所述感兴趣区域的前景和背景进行弱监督训练得到的；
所述前景是两个长径关键点和两个短径关键点组成的四边形区域；
所述背景是所述前景的最小外接圆的外部区域，所述两个长径关键点是所述感兴趣区域中长度最长的第一线段的两个端点，所述两个短径关键点是所述感兴趣区域内与所述第一线段垂直且长度最长的第二线段的两个端点。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述确定所述医学图像的n个边缘关键点，包括：
调用沙漏骨干网络，对所述医学图像进行下采样以及上采样还原，输出所述医学图像的语义特征图；
调用预测网络，从所述医学图像的语义特征图中识别出所述n个边缘关键点。
7.根据权利要求6所述的方法，其特征在于，所述调用沙漏骨干网络，对所述医学图像进行下采样以及上采样还原，输出所述医学图像的语义特征图，包括：
通过所述沙漏骨干网络中的下采样层对所述医学图像进行所述下采样，得到下采样后的医学图像，所述下采样层包括级联的a层网络层，a为大于1的整数；
通过所述沙漏骨干网络中的上采样层对所述下采样后的医学图像进行所述上采样还原，得到所述医学图像的所述语义特征图，所述上采样层包括与所述下采样层对应的级联的a层网络层；
其中，所述上采样层中第i层网络层的输入是所述上采样层的第i-1层网络层的上采样还原结果和所述下采样层中对应的第i层网络层的下采样结果，所述i是大于1且小于a+1的整数。
8.根据权利要求1至5任一项所述的方法，其特征在于，所述感兴趣区域的所述定位框是所述n个边缘关键点的外接矩形；
所述基于所述n个边缘关键点确定出所述感兴趣区域的定位框，包括：
根据所述n个边缘关键点中位于最上方的边缘关键点确定所述外接矩形的上边界；
根据所述n个边缘关键点中位于最下方的边缘关键点确定所述外接矩形的下边界；
根据所述n个边缘关键点中位于最左方的边缘关键点确定所述外接矩形的左边界；
根据所述n个边缘关键点中位于最右方的边缘关键点确定所述外接矩形的右边界；
将所述上边界、所述下边界、所述左边界和所述右边界构成的矩形确定为所述感兴趣区域的所述定位框。
9.一种图像处理模型的训练方法，其特征在于，所述图形处理模型包括沙漏骨干网络、预测网络和分割网络，所述方法包括：
获取样本训练集，所述样本训练集包括样本医学图像和真实标注，所述真实标注指所述样本医学图像的n个真实边缘关键点，所述n为大于1的整数；
调用所述沙漏骨干网络和所述预测网络提取确定所述样本医学图像的n个预测边缘关键点，所述n个预测边缘关键点用于定位预测感兴趣区域的区域边缘，所述n为大于1的整数；
基于所述n个预测边缘关键点确定出所述预测感兴趣区域的预测定位框；
获取所述样本医学图像在所述预测定位框中的预测语义特征和预测细节特征；
调用所述分割网络，基于所述预测语义特征和所述预测细节特征，识别出所述预测感兴趣区域的预测不规则轮廓。
根据所述n个预测关键点与所述真实标注的损失差值，对所述沙漏骨干网络和所述分割网络进行弱监督训练。
10.根据权利要求9所述的方法，其特征在于，所述损失差值包括部分交叉熵损失；
所述根据所述n个预测关键点与所述真实标注的损失差值，对所述沙漏骨干网络和所述分割网络进行弱监督训练，包括：
基于所述n个预测边缘关键点确定两个预测长径关键点和两个预测短径关键点，所述两个预测长径关键点是所述预测感兴趣区域中长度最长的第一线段的两个端点，所述两个预测短径关键点是所述预测感兴趣区域内与所述第一线段垂直且长度最长的第二线段的两个端点；
将所述两个预测长径关键点和所述两个预测短径关键点组成的四边形区域确定为前景；
将所述前景的最小外接圆的外部区域确定为背景；
计算所述前景和所述背景的交叉熵损失，得到所述部分交叉熵损失；
根据所述部分交叉熵损失对所述沙漏骨干网络和所述分割网络进行弱监督训练。
11.根据权利要求9所述的方法，其特征在于，所述损失差值还包括边缘损失；
所述方法还包括：
根据所述预测语义特征图生成预测分割概率图，所述预测分割概率图中的像素值用于表示对应的像素点属于预测感兴趣区域的概率；
对预测分割概率图和所述样本医学图像进行梯度加强，分别得到所述预测分割概率图的第一梯度强度图和所述样本医学图像的第二梯度强度图；
基于所述第一梯度强度图和所述第二梯度强度图中各个元素的乘积之和，计算得到所述边缘损失；
根据所述边缘损失对所述沙漏骨干网络和所述分割网络进行弱监督训练。
12.一种医学图像中确定感兴趣区域的装置，其特征在于，所述装置包括：
确定模块，用于确定所述医学图像的n个边缘关键点，所述n个边缘关键点用于定位所述感兴趣区域的区域边缘，所述n为大于1的整数；
所述确定模块，还用于基于所述n个边缘关键点确定出所述感兴趣区域的定位框；
提取模块，用于获取所述医学图像在所述定位框中的语义特征和细节特征；
识别模块，用于基于所述语义特征和所述细节特征，识别出所述感兴趣区域的不规则轮廓。
13.一种图像处理模型的训练装置，其特征在于，所述图形处理模型包括沙漏骨干网络、预测网络和分割网络，所述装置包括：
获取模块，用于获取样本训练集，所述样本训练集包括样本医学图像和真实标注，所述真实标注指所述样本医学图像的n个真实边缘关键点，所述n为大于1的整数；
确定模块，用于调用所述沙漏骨干网络和所述预测网络提取确定所述样本医学图像的n个预测边缘关键点，所述n个预测边缘关键点用于定位预测感兴趣区域的区域边缘，所述n为大于1的整数；
确定模块，还用于基于所述n个预测边缘关键点确定出所述感预测兴趣区域的预测定位框；
提取模块，用于获取所述样本医学图像在所述预测定位框中的预测语义特征和预测细节特征；
识别模块，还用于调用所述分割网络，基于所述预测语义特征和所述预测细节特征，识别出所述预测感兴趣区域的预测不规则轮廓；
训练模块，用于根据所述n个预测边缘关键点与所述真实标注的损失差值，对所述沙漏骨干网络和所述分割网络进行弱监督训练。
14.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8中任一项所述的医学图像中确定感兴趣区域的方法，或，权利要求9至11中任一项所述的图像处理模型的训练方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至8中任一项所述的医学图像中确定感兴趣区域的方法，或，权利要求9至11中任一项所述的图像处理模型的训练方法。
CN202110599122.7A 2021-05-31 2021-05-31 医学图像中确定感兴趣区域的方法、装置、设备及介质 Pending CN113822846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110599122.7A CN113822846A (zh) 2021-05-31 2021-05-31 医学图像中确定感兴趣区域的方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110599122.7A CN113822846A (zh) 2021-05-31 2021-05-31 医学图像中确定感兴趣区域的方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113822846A true CN113822846A (zh) 2021-12-21

Family

ID=78923840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110599122.7A Pending CN113822846A (zh) 2021-05-31 2021-05-31 医学图像中确定感兴趣区域的方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113822846A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611926A (zh) * 2024-01-22 2024-02-27 重庆医科大学绍兴柯桥医学检验技术研究中心 一种基于ai模型的医学影像识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611926A (zh) * 2024-01-22 2024-02-27 重庆医科大学绍兴柯桥医学检验技术研究中心 一种基于ai模型的医学影像识别方法及系统
CN117611926B (zh) * 2024-01-22 2024-04-23 重庆医科大学绍兴柯桥医学检验技术研究中心 一种基于ai模型的医学影像识别方法及系统

Similar Documents

Publication Publication Date Title
US11887311B2 (en) Method and apparatus for segmenting a medical image, and storage medium
Agarwal et al. Automatic mass detection in mammograms using deep convolutional neural networks
US11935644B2 (en) Deep learning automated dermatopathology
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
US10853409B2 (en) Systems and methods for image search
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
EP4181059A1 (en) Medical image processing method, apparatus, device, storage medium, and product
CN113822851A (zh) 图像分割方法、装置、设备及存储介质
Gao et al. Joint disc and cup segmentation based on recurrent fully convolutional network
CN114330499A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
Pawar et al. Two‐Stage Hybrid Approach of Deep Learning Networks for Interstitial Lung Disease Classification
Xu et al. Identification of benign and malignant lung nodules in CT images based on ensemble learning method
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN113822283A (zh) 文本内容处理方法、装置、计算机设备及存储介质
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
Xiao et al. A feature extraction method for lung nodules based on a multichannel principal component analysis network (PCANet)
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
CN115564756A (zh) 医学图像病灶定位显示方法与系统
CN113379691B (zh) 一种基于先验引导的乳腺病灶深度学习分割方法
CN111598904B (zh) 图像分割方法、装置、设备及存储介质
Nida et al. A Novel Region‐Extreme Convolutional Neural Network for Melanoma Malignancy Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination