CN112116004B - 病灶分类方法及装置、病灶分类模型的训练方法 - Google Patents

病灶分类方法及装置、病灶分类模型的训练方法 Download PDF

Info

Publication number
CN112116004B
CN112116004B CN202010987094.1A CN202010987094A CN112116004B CN 112116004 B CN112116004 B CN 112116004B CN 202010987094 A CN202010987094 A CN 202010987094A CN 112116004 B CN112116004 B CN 112116004B
Authority
CN
China
Prior art keywords
lesion
focus
medical image
area
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010987094.1A
Other languages
English (en)
Other versions
CN112116004A (zh
Inventor
陈伟导
董梦醒
武江芬
张荣国
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202010987094.1A priority Critical patent/CN112116004B/zh
Publication of CN112116004A publication Critical patent/CN112116004A/zh
Application granted granted Critical
Publication of CN112116004B publication Critical patent/CN112116004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种病灶分类方法及装置、病灶分类模型的训练方法。该病灶分类方法包括：获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，其中，第一医学图像和第二医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域；分别对第一病灶区域和第二病灶区域进行特征提取；将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征；根据第一融合特征，对病灶进行分类，能够提高对病灶类型的分辨能力，提高病灶分类的准确性。

Description

病灶分类方法及装置、病灶分类模型的训练方法
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种病灶分类方法及装置、病灶分类模型的训练方法。
背景技术
近年来，随着计算机科学技术和医疗影像工程学的快速发展，世界上出现了许多先进的医疗成像设备，为临床医学诊断提供了多种模态的医学图像，这些医学图像能够反映人体结构、脏器和病变组织的相关信息。
然而，在现有技术中，通常是通过医生观察医学图像中病灶的特征对病灶类型进行鉴别，鉴别结果与医生的临床经验有着密切关系，特别是对于病灶类型难以鉴别的情况，鉴别难度较大，例如，在数字化放射摄影(DR)图像中难以分辨胸腰椎压缩性骨折属于陈旧骨折还是新鲜骨折。
发明内容
有鉴于此，本发明实施例提供了一种病灶分类方法及装置、病灶分类模型的训练方法，能够提高对病灶类型的分辨能力，提高病灶分类的准确性。
根据本发明实施例的第一方面，提供一种病灶分类方法，包括：获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，其中，第一医学图像和第二医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域；分别对第一病灶区域和第二病灶区域进行特征提取；将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征；根据第一融合特征，对病灶进行分类。
在本发明的一个实施例中，上述分别对第一病灶区域和第二病灶区域进行特征提取，包括：分别对第一病灶区域和第二病灶区域进行小波分解，获取第一病灶区域对应的N个第一小波图像和第二病灶区域对应的N个第二小波图像，其中，N为大于1的整数；分别对N个第一小波图像和N个第二小波图像进行特征提取，其中，上述将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征，包括：将N个第一小波图像的特征与N个第二小波图像的特征进行一一对应的通道拼接操作，获得拼接后的N个第一特征；根据拼接后的N个第一特征，获得病灶的第一融合特征。
在本发明的一个实施例中，上述根据拼接后的N个第一特征，获得病灶的第一融合特征，包括：分别对N个第一特征进行卷积操作，获得N个第二特征；基于对N个第二特征进行通道拼接操作和卷积操作，获得第一融合特征。
在本发明的一个实施例中，上述病灶分类方法还包括：分别对第一病灶区域和第二病灶区域进行边缘提取，获得第一边缘图像和第二边缘图像；根据第一病灶区域与第一边缘图像，获得第二融合特征；根据第二病灶区域与第二边缘图像，获得第三融合特征，其中，上述根据第一融合特征，对病灶进行分类，包括：根据第一融合特征、第二融合特征和第三融合特征，对病灶进行分类。
在本发明的一个实施例中，上述获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，包括：分别对第一医学图像和第二医学图像进行病灶检测，获取第一病灶区域对应的第一标注框和第二病灶区域对应的第二标注框；根据第一标注框和第二标注框，分别从第一医学图像和第二医学图像中获取第一病灶区域和第二病灶区域。
在本发明的一个实施例中，上述病灶分类方法还包括：分别根据第一标注框和第二标注框的位置信息，将病灶的分类结果映射到第一医学图像和第二医学图像中。
在本发明的一个实施例中，第一医学图像和第二医学图像分别为胸腰椎正位DR图像和胸腰椎侧位DR图像，病灶为胸腰椎压缩性骨折病灶，其中，上述对病灶进行分类，包括：将胸腰椎压缩性骨折病灶分类为陈旧骨折或新鲜骨折。
根据本发明实施例的第二方面，提供一种病灶分类模型的训练方法，包括：获取第一样本医学图像中的第一病灶区域和第二样本医学图像中的第二病灶区域，其中，第一样本医学图像和第二样本医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域；分别对第一病灶区域和第二病灶区域进行特征提取；将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征；根据第一融合特征，对病灶进行分类，获得预测分类结果；根据预测分类结果和目标分类结果的差异，对病灶分类模型进行训练，其中，目标分类结果是基于对第一病灶区域和第二病灶区域的标注得到的。
根据本发明实施例的第三方面，提供一种病灶分类装置，包括：获取模块，用于获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，其中，第一医学图像和第二医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域；特征提取模块，用于分别对第一病灶区域和第二病灶区域进行特征提取；融合模块，用于将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征；分类模块，用于根据第一融合特征，对病灶进行分类。
根据本发明实施例的第四方面，提供一种病灶分类模型的训练装置，包括：获取模块，用于获取第一样本医学图像中的第一病灶区域和第二样本医学图像中的第二病灶区域，其中，第一样本医学图像和第二样本医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域；特征提取模块，用于分别对第一病灶区域和第二病灶区域进行特征提取；融合模块，用于将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征；分类模块，用于根据第一融合特征，对病灶进行分类，获得预测分类结果；训练模块，用于根据预测分类结果和目标分类结果的差异，对病灶分类模型进行训练，其中，目标分类结果是基于对第一病灶区域和第二病灶区域的标注得到的。
根据本发明实施例的第五方面，提供一种计算机可读存储介质，其特征在于，存储介质存储有计算机程序，计算机程序用于执行上述任一项的方法。
根据本发明实施例的第五方面，提供一种电子设备，其特征在于，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于执行上述任一项的方法。
根据本发明实施例提供的技术方案，通过将第一医学图像中的第一病灶区域的特征和第二医学图像中的第二病灶区域的特征进行融合，可以获得同一病灶不同角度的特征信息，从而可以提高对病灶类型的分辨能力，提高病灶分类的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为图像二维离散小波分解的示意图。
图2所示为本发明一实施例提供的病灶分类方法的流程示意图。
图3所示为本发明另一实施例提供的病灶分类方法的流程示意图。
图4所示为图3实施例的处理方式示意图。
图5所示为本发明另一实施例提供的病灶分类方法的流程示意图。
图6所示为图5实施例的处理方式示意图。
图7所示为本发明另一实施例提供的病灶分类方法的流程示意图。
图8所示为本发明另一实施例提供的病灶分类方法的流程示意图。
图9所示为本发明另一实施例提供的病灶分类方法的流程示意图。
图10所示为图9实施例的处理方式示意图。
图11所示为本发明一实施例提供的病灶分类模型的结构示意图。
图12所示为本发明一实施例提供的病灶分类模型的训练方法的流程示意图。
图13所示为本发明一实施例提供的病灶分类装置的框图。
图14所示为本发明一实施例提供的病灶分类模型的训练装置的框图。
图15所示为本发明一实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于理解，下面先对本申请实施例可能涉及的相关术语及相关概念进行简单介绍。
(1)小波分解
图像二维离散小波分解过程如图1所示。首先对原始图像的每一行进行一维离散小波变换(DWT)，获得原始图像在水平方向上的低频分量L和高频分量H，然后对变换所得数据的每一列进行一维DWT，获得原始图像在水平和垂直方向上的低频分量LL、水平方向上的低频和垂直方向上的高频LH、水平方向上的高频和垂直方向上的低频HL以及水平和垂直方向上的高频分量HH。其中，LL分量表示原始图像经过下2采样后的图像，LH分量表示竖直方向的细节，HL分量表示水平方向的细节，HH分量表示对角线方向的细节。
图像的小波分解是一个将信号按照低频和有向高频进行分离的过程，分解过程中还可以根据需要对得到的LL分量进行进一步的小波分解，直至达到要求。
(2)胸腰椎压缩性骨折
胸腰椎压缩性骨折一般是指前屈伤力造成椎体前半部(前柱)压缩，脊椎后部的椎弓(后柱)正常，少数有牵拉伤力损伤。椎体通常楔形变，是脊柱骨折中较多见的损伤类型。
(3)数字化放射摄影
数字化放射摄影(Digital Radiography，DR)，是上世纪九十年代发展起来的X线摄影新技术，具有更快的成像速度、更便捷的操作、更高的成像分辨率等显著优点。其工作过程是：X线穿过人体(备查部位)投射到探测器上，然后探测器将X线影像信息直接转化为数字影像信息并同步传输到采集工作站上，最后利用工作站的医用专业软件进行图像的后处理。
图2所示为本发明一实施例提供的病灶分类方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图2所示，该方法包括如下内容。
S110：获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，其中，第一医学图像和第二医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域。
例如，第一医学图像和第二医学图像分别为胸腰椎正位DR图像和胸腰椎侧位DR图像，也就是同一检查对象的胸腰椎在不同角度得到的DR图像。病灶为压缩性骨折病灶。第一病灶区域即为该压缩性骨折病灶在胸腰椎正位DR图像中的对应区域，第二病灶区域即为该压缩性骨折病灶在胸腰椎侧位DR图像中的对应区域。应当理解，上述描述仅为示例性描述，本发明对第一医学图像和第二医学图像的类型以及病灶类型不作具体限定。
需要说明的是，第一病灶区域可以是第一医学图像中多个病灶区域中的一个病灶区域，第二病灶区域可以是第二医学图像中多个病灶区域中的一个病灶区域，本发明对第一医学图像或第二医学图像中的病灶区域的个数不作限定。
S120：分别对第一病灶区域和第二病灶区域进行特征提取。
具体地，可以分别采用卷积神经网络对第一病灶区域和第二病灶区域进行特征提取，其中，提取的特征为轮廓，形态等与病灶相关的特征，本发明对提取的特征种类不作具体限定。
S130：将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征。
具体地，可以将第一病灶区域的特征和第二病灶区域的特征进行拼接操作，然后将拼接后的特征进行卷积操作等，从而获得病灶的第一融合特征。应当理解，上述描述仅为示例性描述，本发明对融合方式不作具体限定。
S140：根据第一融合特征，对病灶进行分类。
例如，对胸腰椎压缩性骨折病灶进行分类，可以将其分类为陈旧骨折或新鲜骨折。
需要说明的是，上述步骤S120至S140可以由病灶分类模型执行。
根据本发明实施例提供的技术方案，通过将第一医学图像中的第一病灶区域的特征和第二医学图像中的第二病灶区域的特征进行融合，可以获得同一病灶不同角度的特征信息，从而可以提高对病灶类型的分辨能力，提高病灶分类的准确性。
图3所示为本发明另一实施例提供的病灶分类方法的流程示意图。在本发明图2所示实施例的基础上延伸出本发明图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图3所示，在本发明实施例提供的病灶分类方法中，上述步骤S120可以包括如下步骤S1210和S1220。
S1210：分别对第一病灶区域和第二病灶区域进行小波分解，获取第一病灶区域对应的N个第一小波图像和第二病灶区域对应的N个第二小波图像，其中，N为大于1的整数。
应当理解，N的取值与小波变换的级数相关联，小波变换的级数越高，N的取值越大，本发明对N的取值不作具体限定，例如N的取值为2，4或8等。
例如，如图4所示，可以对第一病灶区域进行一级离散小波变换(例如，哈尔小波变换)，获得第一病灶区域对应的4个第一小波图像(分别记为b，h，c，v)，其中，b表示第一病灶区域经过下2采样后的图像，h表示第一病灶区域水平方向的细节，v表示第一病灶区域竖直方向的细节，c表示第一病灶区域对角线方向的细节。
同样地，可以对第二病灶区域进行一级离散小波变换(例如，哈尔小波变换)，获得第二病灶区域对应的4个第二小波图像(分别记为b’，h’，c’，v’)，其中，b’表示第二病灶区域经过下2采样后的图像，h’表示第二病灶区域水平方向的细节，v’表示第二病灶区域竖直方向的细节，c’表示第二病灶区域对角线方向的细节。
应当理解，对第一病灶区域、第二病灶区域进行一级小波变换仅为示例性描述，还可以对第一病灶区域、第二病灶区域进行二级、三级等多级小波变换，本发明对此不作具体限定。
S1220：分别对N个第一小波图像和N个第二小波图像进行特征提取。
例如，如图4所示，可以分别将b，h，c，v和b’，h’，c’，v’输入卷积神经网络进行卷积操作，获得对应的特征层，分别记为f_b，f_h，f_c，f_v和f_b’，f_h’，f_c’，f_v’。
另外，上述步骤S130可以包括如下步骤S1310和S1320。
S1310：将N个第一小波图像的特征与N个第二小波图像的特征进行一一对应的通道拼接操作，获得拼接后的N个第一特征。
具体地，可以分别将f_b和f_b’、f_h和f_h’、f_c和f_c’、f_v和f_v’在图像通道维度进行拼接，得到拼接后的特征，分别记为m1，m2，m3，m4。
S1320：根据拼接后的N个第一特征，获得病灶的第一融合特征。
例如，可以将拼接后的特征m1，m2，m3，m4进行特征融合，获得病灶的第一融合特征。
根据本发明实施例提供的技术方案，通过对第一病灶区域和第二病灶区域进行小波分解，将不同层次的小波图像分别利用卷积神经网络进行特征提取，可以有效去除噪声的影响，提高特征提取的有效性；另外，将第一病灶区域和第二病灶区域的小波分解后得到的特征进行一一对应融合拼接，可以获得同一病灶不同角度的特征信息，从而提高对病灶类型的分辨能力，提高病灶分类的准确性。
图5所示为本发明另一实施例提供的病灶分类方法的流程示意图。在本发明图3所示实施例的基础上延伸出本发明图5所示实施例，下面着重叙述图5所示实施例与图3所示实施例的不同之处，相同之处不再赘述。
如图5所示，在本发明实施例提供的病灶分类方法中，上述步骤S1320可以包括如下步骤S1321和S1322。
S1321：分别对N个第一特征进行卷积操作，获得N个第二特征。
S1322：基于对N个第二特征进行通道拼接操作和卷积操作，获得第一融合特征。
例如，如图6所示，可以将4个第一特征(例如m1，m2，m3，m4)分别输入卷积神经网络进行卷积操作，获得4个第二特征(例如n1，n2，n3，n4)；将n1，n2，n3，n4在通道维度进行拼接后，输入卷积神经网络进行卷积操作，从而获得第一融合特征。
图7所示为本发明另一实施例提供的病灶分类方法的流程示意图。在本发明图2所示实施例的基础上延伸出本发明图7所示实施例，下面着重叙述图7所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图7所示，在本发明实施例提供的病灶分类方法中，可以进一步包括步骤S150、S160和S170。
S150：分别对第一病灶区域和第二病灶区域进行边缘提取，获得第一边缘图像和第二边缘图像。
例如，第一病灶区域记为ROI，第二病灶区域记为ROI’。分别对ROI和ROI’进行边缘提取，得到第一边缘图像(edge)和第二边缘图像(edge’)。
应当理解，可以分别利用边缘提取模型对第一病灶区域和第二病灶区域进行边缘提取，本发明对边缘提取的具体方式不作限定。
S160：根据第一病灶区域与第一边缘图像，获得第二融合特征。
例如，可以将ROI和edge在图像通道维度进行拼接，然后将拼接后的图像输入卷积神经网络进行卷积操作，获得第二融合特征f_1。
S170：根据第二病灶区域与第二边缘图像，获得第三融合特征。
例如，可以将ROI’和edge’在图像通道维度进行拼接，然后将拼接后的图像输入卷积神经网络进行卷积操作，获得第二融合特征f_1’。
其中，上述步骤S140包括：根据第一融合特征、第二融合特征和第三融合特征，对病灶进行分类。
具体地，可以将第一融合特征、第二融合特征和第三融合特征进行拼接融合，然后根据融合后的特征对病灶进行分类。
根据本发明实施例提供的技术方案，通过对第一病灶区域和第二病灶区域进行边缘提取操作，增加边缘信息，可以降低噪声的影响，提高信噪比；将包含有边缘信息的第二融合特征和第三融合特征与第一融合特征进行融合，能够进一步提升病灶的有效特征信息，进一步提高对病灶类型的分辨能力，提高病灶分类的准确性。
图8所示为本发明另一实施例提供的病灶分类方法的流程示意图。在本发明图2所示实施例的基础上延伸出本发明图8所示实施例，下面着重叙述图8所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图8所示，在本发明实施例提供的病灶分类方法中，上述步骤S110可以包括如下步骤S1110和S1120。
S1110：分别对第一医学图像和第二医学图像进行病灶检测，获取第一病灶区域对应的第一标注框和第二病灶区域对应的第二标注框。
具体地，可以利用目标检测模型检测出第一病灶区域的矩形框和第二病灶区域的矩形框。应当理解，也可以利用人工标注的方式获得上述第一标注框和第二标注框，本发明对此不作具体限定。
S1120：根据第一标注框和第二标注框，分别从第一医学图像和第二医学图像中获取第一病灶区域和第二病灶区域。
具体地，可以通过第一标注框将第一病灶区域从第一医学图像中截取出来，通过第二标注框将第二病灶区域从第二医学图像中截取出来。
根据本发明实施例提供的技术方案，通过进行病灶检测获取标注框，以及根据标注框将病灶区域从医学图像中截取出来，可以排除医学图像中其他信息的干扰，只针对病灶区域进行特征提取。
在本发明的另一个实施例中，上述病灶分类方法还包括：分别根据第一标注框和第二标注框的位置信息，将病灶的分类结果映射到第一医学图像和第二医学图像中。通过将病灶的分类结果映射到第一医学图像和第二医学图像上，可以帮助用户直观地获得病灶类型。
下面，结合图9、图10和图11给出一个更具体的例子。应理解，图9的处理流程与图10、图11的示意图相互对应。下面结合图10、图11对图9中的各个步骤进行详细描述。
S210：获取DR胸腰椎图像的正位片和侧位片。
正位片和侧位片是同一检查对象的胸腰椎在不同角度得到的DR图像。
DR成像快捷、使用方便，是胸腰椎压缩性骨折检测的最常用手段，但是对医生来说，在DR图像中分辨压缩性骨折属于陈旧骨折还是新鲜骨折深度依赖其临床经验，且难度大；虽然通过核磁共振图像(MRI)阅片，医生能够准确分辨压缩骨折类型，但是MRI有扫描约束且耗时，在很多场景不适用。
S220：分别对正位片和侧位片进行病灶检测，获取压缩性骨折病灶区域在正位片和侧位片中的标注框。
例如，如图10所示，在正位片和侧位片中分别检测出m个压缩性骨折病灶，正位片中的标注框分别记为ROI0,…,ROIk,…,ROIm，k∈[0,m]；侧位片中的标注框分别记为ROI’0,…,ROI’k,…,ROI’m，k∈[0,m]。同一压缩性骨折病灶可记为(ROIk，ROI’k)，k∈[0,m]。
具体地，可以利用目标检测模型检测出压缩性骨折区域的矩形框。应当理解，也可以利用人工标注的方式获取标注框，本发明对此不作具体限定。
S230：根据标注框，分别获取正位片和侧位片中的压缩性骨折病灶区域。
具体地，分别通过标注框把压缩性骨折病灶区域ROI0,…,ROIk,…,ROIm和ROI’0,…,ROI’k,…,ROI’m从正位片和侧位片中截取出来。
S240：将正位片和侧位片中的压缩性骨折病灶区域作为病灶分类模型的输入，利用病灶分类模型对压缩性骨折病灶进行分类。
具体地，可以分别将ROI0和ROI’0，ROI1和ROI’1，…，ROIk和ROI’k，…，ROIm和ROI’m作为病灶分类模型的输入。
病灶分类模型的结构可以如图11所示，下面以病灶分类模型的输入为(ROIk，ROI’k)为例，对步骤S240进行详细描述。步骤S240可以包括如下步骤S241-S245。
S241：分别对输入的压缩性骨折病灶区域ROIk和ROI’k进行二维图像的一级离散小波变换，得到ROIk的小波图像信号(bk，hk，ck，vk)和ROI’k的小波图像信号(b’k，h’k，c’k，v’k)。
bk或b’k表示经过下2采样后的图像，hk或h’k表示水平方向的细节，vk或v’k表示竖直方向的细节，ck或c’k表示对角线方向的细节。
应当理解，一级小波变换仅为示例性描述，还可以对压缩性骨折病灶区域ROIk和ROI’ k进行二级、三级等多级小波变换，本发明对此不作具体限定。
S242：分别利用卷积神经网络1对小波图像信号bk，hk，ck，vk，b’k，h’k，c’k，v’k进行卷积操作，得到对应的特征层(记为：f_bk，f_hk，f_ck，f_vk，f_b’k，f_h’k，f_c’k，f_v’k)；然后，将f_bk和f_b’k、f_hk和f_h’k、f_ck和f_c’k、f_vk和f_v’k分别在通道维度拼接后作为卷积神经网络3的输入，进过卷积操作后得到对应的特征层(记为：f_b_pk，f_h_pk，f_c_pk，f_v_pk)；然后，将f_b_pk，f_h_pk，f_c_pk，f_v_pk在通道维度进行拼接得到的f_b_p_ck作为卷积神经网络4的输入，进行卷积操作后得到特征层f_b_p_c_pk。
需要说明的是，图11中的多个卷积神经网络1可以作为共享神经网络使用，也可以作为不同的网络实体使用。也即是说，多个卷积神经网络1可以参数共享，也可以参数不共享，本发明对此不作具体限定。同样地，图11中的多个卷积神经网络3可以作为共享神经网络使用，也可以作为不同的网络实体使用，本发明对此不作具体限定。
S243：分别对ROIk和ROI’k进行边缘提取，得到对应的边缘图像，分别记为edgek和edge’k。
S244：分别将ROIk和edgek、ROI’k和edge’k在图像通道维度进行拼接，拼接后的图像分别作为卷积神经网络2的输入，通过卷积操作得到特征层，分别记为：f_1k、f_1’k。
需要说明的是，图11中的多个卷积神经网络2可以作为共享神经网络使用，也可以作为不同的网络实体使用，本发明对此不作具体限定。
应当理解，卷积神经网络1或2或3可以是2D、3D等类型的神经网络，也可以是resnest、vgg等架构的神经网络，本发明对卷积神经网络的具体结构和类型不作限定。
S245：将特征层f_1k、f_1’k、f_b_p_c_pk在通道维度进行拼接得到特征层f_finalk；特征层f_finalk经过全局池化层、全连接层即可得到陈旧、新鲜二分类概率输出。
S250：根据压缩性骨折病灶的标注框的坐标信息，将压缩性骨折病灶的分类结果映射回正位片和侧位片。
具体地，如图10所示，根据每个压缩性骨折病灶的标注框的坐标信息，将每个压缩性骨折病灶的分类结果映射回正位片和侧位片。
根据本发明实施例提供的技术方案，通过小波分解，将不同层次的图像信号分别利用卷积神经网络进行特征提取，可以有效去除噪声的影响，提高特征提取的有效性，使病灶分类模型能够学习到和骨折相关的特征信息；将正位片和侧位片的小波分解后得到的特征进行融合拼接，可以让病灶分类模型关联学习到病灶不同角度的特征信息，提高病灶分类模型对压缩性骨折病灶的分辨能力；由于压缩性骨折新鲜还是陈旧在DR图像中的特征不明显，通过边缘提取操作增加边缘信息可以提高病灶分类模型输入信息的信噪比，使病灶分类模型更能关注骨头变化特征；将边缘提取通路最后得到的特征层和小波分解通路最后得到的特征层进行融合拼接，可以进一步提升病灶的有效特征信息，提高病灶分类模型对压缩骨折病灶的分辨能力。综上所述，本发明实施例提供的病灶分类模型通过逐层分解和融合的方法，可以有效降低噪声影响，提高输入信息的信噪比，并且可以有效关联融合病灶正位片和侧位片的多角度信息，使病灶分类模型能够准确提取特征，进而使病灶分类模型能够有很强的分类效能和鲁棒性。
图12所示为本发明一实施例提供的病灶分类模型的训练方法的流程示意图。该方法可用于训练图2实施例中的病灶分类模型。该方法可以由计算机设备(例如，服务器)执行。如图12所示，该方法包括如下内容。
S310：获取第一样本医学图像中的第一病灶区域和第二样本医学图像中的第二病灶区域，其中，第一样本医学图像和第二样本医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域。
S320：分别对第一病灶区域和第二病灶区域进行特征提取。
S330：将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征。
S340：根据第一融合特征，对病灶进行分类，获得预测分类结果。
S350：根据预测分类结果和目标分类结果的差异，对病灶分类模型进行训练，其中，目标分类结果是基于对第一病灶区域和第二病灶区域的标注得到的。
根据本发明实施例提供的技术方案，通过将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征；根据第一融合特征，对病灶进行分类，获得预测分类结果；以及根据预测分类结果和目标分类结果的差异，对病灶分类模型进行训练，能够提高病灶分类模型对病灶类型的分辨能力，提高模型的分类准确性。
在本发明的另一个实施例中，训练上述病灶分类模型的损失函数可以选用交叉熵损失函数等，本发明对损失函数的具体类型不作限定。
在本发明的另一个实施例中，上述分别对第一病灶区域和第二病灶区域进行特征提取，包括：分别对第一病灶区域和第二病灶区域进行小波分解，获取第一病灶区域对应的N个第一小波图像和第二病灶区域对应的N个第二小波图像，其中，N为大于1的整数；分别对N个第一小波图像和N个第二小波图像进行特征提取，其中，上述将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征，包括：将N个第一小波图像的特征与N个第二小波图像的特征进行一一对应的通道拼接操作，获得拼接后的N个第一特征；根据拼接后的N个第一特征，获得病灶的第一融合特征。
在本发明的另一个实施例中，上述根据拼接后的N个第一特征，获得病灶的第一融合特征，包括：分别对N个第一特征进行卷积操作，获得N个第二特征；基于对N个第二特征进行通道拼接操作和卷积操作，获得第一融合特征。
在本发明的另一个实施例中，上述病灶分类模型的训练方法还包括：分别对第一病灶区域和第二病灶区域进行边缘提取，获得第一边缘图像和第二边缘图像；根据第一病灶区域与第一边缘图像，获得第二融合特征；根据第二病灶区域与第二边缘图像，获得第三融合特征，其中，上述根据第一融合特征，对病灶进行分类，包括：根据第一融合特征、第二融合特征和第三融合特征，对病灶进行分类。
在本发明的另一个实施例中，第一医学图像和第二医学图像分别为胸腰椎正位DR图像和胸腰椎侧位DR图像，病灶为胸腰椎压缩性骨折病灶，其中，上述对病灶进行分类，包括：将胸腰椎压缩性骨折病灶分类为陈旧骨折或新鲜骨折。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图13所示为本发明一实施例提供的病灶分类装置的框图。如图13所示，该病灶分类装置1300包括：
获取模块1310，用于获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，其中，第一医学图像和第二医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域。
特征提取模块1320，用于分别对第一病灶区域和第二病灶区域进行特征提取。
融合模块1330，用于将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征。
分类模块1340，用于根据第一融合特征，对病灶进行分类。
根据本发明实施例提供的技术方案，通过将第一医学图像中的第一病灶区域的特征和第二医学图像中的第二病灶区域的特征进行融合，可以获得同一病灶不同角度的特征信息，从而可以提高对病灶类型的分辨能力，提高病灶分类的准确性。
在本发明的另一个实施例中，上述特征提取模块1320还用于分别对第一病灶区域和第二病灶区域进行小波分解，获取第一病灶区域对应的N个第一小波图像和第二病灶区域对应的N个第二小波图像，其中，N为大于1的整数；分别对N个第一小波图像和N个第二小波图像进行特征提取，其中，融合模块1330还用于将N个第一小波图像的特征与N个第二小波图像的特征进行一一对应的通道拼接操作，获得拼接后的N个第一特征；根据拼接后的N个第一特征，获得病灶的第一融合特征。
在本发明的一个实施例中，上述融合模块1330还用于分别对N个第一特征进行卷积操作，获得N个第二特征；基于对N个第二特征进行通道拼接操作和卷积操作，获得第一融合特征。
在本发明的一个实施例中，上述病灶分类装置1300还包括边缘提取模块1350，用于分别对第一病灶区域和第二病灶区域进行边缘提取，获得第一边缘图像和第二边缘图像；根据第一病灶区域与第一边缘图像，获得第二融合特征；根据第二病灶区域与第二边缘图像，获得第三融合特征，其中，上述分类模块1340还用于根据第一融合特征、第二融合特征和第三融合特征，对病灶进行分类。
在本发明的一个实施例中，上述获取模块1310还用于分别对第一医学图像和第二医学图像进行病灶检测，获取第一病灶区域对应的第一标注框和第二病灶区域对应的第二标注框；根据第一标注框和第二标注框，分别从第一医学图像和第二医学图像中获取第一病灶区域和第二病灶区域。
在本发明的一个实施例中，上述病灶分类装置还包括映射模块1360，用于分别根据第一标注框和第二标注框的位置信息，将病灶的分类结果映射到第一医学图像和第二医学图像中。
在本发明的一个实施例中，第一医学图像和第二医学图像分别为胸腰椎正位DR图像和胸腰椎侧位DR图像，病灶为胸腰椎压缩性骨折病灶，其中，上述分类模块1340还用于将胸腰椎压缩性骨折病灶分类为陈旧骨折或新鲜骨折。
上述装置1300中各个模块的功能和作用的实现过程具体详见上述图2实施例的方法中对应步骤的实现过程，在此不再赘述。
图14所示为本发明一实施例提供的病灶分类模型的训练装置的框图。如图14所示，该病灶分类模型的训练装置1400包括：
获取模块1410，用于获取第一样本医学图像中的第一病灶区域和第二样本医学图像中的第二病灶区域，其中，第一样本医学图像和第二样本医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，第一病灶区域和第二病灶区域分别为同一病灶在第一医学图像和第二医学图像中对应的图像区域。
特征提取模块1420，用于分别对第一病灶区域和第二病灶区域进行特征提取。
融合模块1430，用于将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征。
分类模块1440，用于根据第一融合特征，对病灶进行分类，获得预测分类结果。
训练模块1450，用于根据预测分类结果和目标分类结果的差异，对病灶分类模型进行训练，其中，目标分类结果是基于对第一病灶区域和第二病灶区域的标注得到的。
根据本发明实施例提供的技术方案，通过将第一病灶区域的特征和第二病灶区域的特征进行融合，获得病灶的第一融合特征；根据第一融合特征，对病灶进行分类，获得预测分类结果；以及根据预测分类结果和目标分类结果的差异，对病灶分类模型进行训练，能够提高病灶分类模型对病灶类型的分辨能力，提高模型的分类准确性。
在本发明的另一个实施例中，训练上述病灶分类模型的损失函数可以选用交叉熵损失函数等，本发明对损失函数的具体类型不作限定。
在本发明的另一个实施例中，特征提取模块1420还用于分别对第一病灶区域和第二病灶区域进行小波分解，获取第一病灶区域对应的N个第一小波图像和第二病灶区域对应的N个第二小波图像，其中，N为大于1的整数；分别对N个第一小波图像和N个第二小波图像进行特征提取，其中，融合模块1430还用于将N个第一小波图像的特征与N个第二小波图像的特征进行一一对应的通道拼接操作，获得拼接后的N个第一特征；根据拼接后的N个第一特征，获得病灶的第一融合特征。
在本发明的另一个实施例中，融合模块1430还用于分别对N个第一特征进行卷积操作，获得N个第二特征；基于对N个第二特征进行通道拼接操作和卷积操作，获得第一融合特征。
在本发明的另一个实施例中，上述病灶分类模型的训练装置还包括边缘提取模块1460，用于分别对第一病灶区域和第二病灶区域进行边缘提取，获得第一边缘图像和第二边缘图像；根据第一病灶区域与第一边缘图像，获得第二融合特征；根据第二病灶区域与第二边缘图像，获得第三融合特征，其中，分类模块1440还用于根据第一融合特征、第二融合特征和第三融合特征，对病灶进行分类。
在本发明的另一个实施例中，第一医学图像和第二医学图像分别为胸腰椎正位DR图像和胸腰椎侧位DR图像，病灶为胸腰椎压缩性骨折病灶，其中，上述对病灶进行分类，包括：将胸腰椎压缩性骨折病灶分类为陈旧骨折或新鲜骨折。
上述装置1400中各个模块的功能和作用的实现过程具体详见上述图12实施例的方法中对应步骤的实现过程，在此不再赘述。
图15所示为本发明一实施例提供的电子设备1500的框图。
参照图15，电子设备1500包括处理组件1510，其进一步包括一个或多个处理器，以及由存储器1520所代表的存储器资源，用于存储可由处理组件1510的执行的指令，例如应用程序。存储器1520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1510被配置为执行指令，以执行上述病灶分类方法和病灶分类模型的训练方法。
电子设备1500还可以包括一个电源组件被配置为执行电子设备1500的电源管理，一个有线或无线网络接口被配置为将电子设备1500连接到网络，和一个输入输出(I/O)接口。电子设备1500可以操作基于存储在存储器1520的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备1500的处理器执行时，使得上述电子设备1500能够执行一种病灶分类方法和病灶分类模型的训练方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种病灶分类方法，其特征在于，包括：
获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，其中，所述第一医学图像和所述第二医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，所述第一病灶区域和所述第二病灶区域分别为同一病灶在所述第一医学图像和所述第二医学图像中对应的图像区域；
分别对所述第一病灶区域和所述第二病灶区域进行特征提取；
将所述第一病灶区域的特征和所述第二病灶区域的特征进行融合，获得所述病灶的第一融合特征；
根据所述第一融合特征，对所述病灶进行分类，
其中，所述分别对所述第一病灶区域和所述第二病灶区域进行特征提取，包括：
分别对所述第一病灶区域和所述第二病灶区域进行小波分解，获取所述第一病灶区域对应的N个第一小波图像和所述第二病灶区域对应的N个第二小波图像，其中，N为大于1的整数；
分别对所述N个第一小波图像和所述N个第二小波图像进行特征提取，
其中，所述将所述第一病灶区域的特征和所述第二病灶区域的特征进行融合，获得所述病灶的第一融合特征，包括：
将所述N个第一小波图像的特征与所述N个第二小波图像的特征进行一一对应的通道拼接操作，获得拼接后的N个第一特征；
根据所述拼接后的N个第一特征，获得所述病灶的第一融合特征，
其中，所述方法还包括：
分别对所述第一病灶区域和所述第二病灶区域进行边缘提取，获得第一边缘图像和第二边缘图像；
根据所述第一病灶区域与所述第一边缘图像，获得第二融合特征；
根据所述第二病灶区域与所述第二边缘图像，获得第三融合特征，
其中，所述根据所述第一融合特征，对所述病灶进行分类，包括：
根据所述第一融合特征、所述第二融合特征和所述第三融合特征，利用病灶分类模型对所述病灶进行分类。
2.根据权利要求1所述的方法，其特征在于，所述根据所述拼接后的N个第一特征，获得所述病灶的第一融合特征，包括：
分别对所述N个第一特征进行卷积操作，获得N个第二特征；
基于对所述N个第二特征进行通道拼接操作和卷积操作，获得所述第一融合特征。
3.根据权利要求1所述的方法，其特征在于，所述获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，包括：
分别对所述第一医学图像和所述第二医学图像进行病灶检测，获取所述第一病灶区域对应的第一标注框和所述第二病灶区域对应的第二标注框；
根据所述第一标注框和所述第二标注框，分别从所述第一医学图像和所述第二医学图像中获取所述第一病灶区域和所述第二病灶区域。
4.根据权利要求3所述的方法，其特征在于，还包括：
分别根据所述第一标注框和所述第二标注框的位置信息，将所述病灶的分类结果映射到所述第一医学图像和第二医学图像中。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一医学图像和所述第二医学图像分别为胸腰椎正位DR图像和胸腰椎侧位DR图像，所述病灶为胸腰椎压缩性骨折病灶，
其中，所述对所述病灶进行分类，包括：
将所述胸腰椎压缩性骨折病灶分类为陈旧骨折或新鲜骨折。
6.一种病灶分类模型的训练方法，其特征在于，包括：
获取第一样本医学图像中的第一病灶区域和第二样本医学图像中的第二病灶区域，其中，所述第一样本医学图像和所述第二样本医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，所述第一病灶区域和所述第二病灶区域分别为同一病灶在所述第一样本 医学图像和所述第二样本 医学图像中对应的图像区域；
分别对所述第一病灶区域和所述第二病灶区域进行特征提取；
将所述第一病灶区域的特征和所述第二病灶区域的特征进行融合，获得所述病灶的第一融合特征；
根据所述第一融合特征，对所述病灶进行分类，获得预测分类结果；
根据所述预测分类结果和目标分类结果的差异，对所述病灶分类模型进行训练，其中，所述目标分类结果是基于对所述第一病灶区域和所述第二病灶区域的标注得到的，
其中，所述分别对所述第一病灶区域和所述第二病灶区域进行特征提取，包括：
分别对所述第一病灶区域和所述第二病灶区域进行小波分解，获取所述第一病灶区域对应的N个第一小波图像和所述第二病灶区域对应的N个第二小波图像，其中，N为大于1的整数；
分别对所述N个第一小波图像和所述N个第二小波图像进行特征提取，
其中，所述将所述第一病灶区域的特征和所述第二病灶区域的特征进行融合，获得所述病灶的第一融合特征，包括：
将所述N个第一小波图像的特征与所述N个第二小波图像的特征进行一一对应的通道拼接操作，获得拼接后的N个第一特征；
根据所述拼接后的N个第一特征，获得所述病灶的第一融合特征，
其中，所述方法还包括：
分别对所述第一病灶区域和所述第二病灶区域进行边缘提取，获得第一边缘图像和第二边缘图像；
根据所述第一病灶区域与所述第一边缘图像，获得第二融合特征；
根据所述第二病灶区域与所述第二边缘图像，获得第三融合特征，
其中，所述根据所述第一融合特征，对所述病灶进行分类，包括：
根据所述第一融合特征、所述第二融合特征和所述第三融合特征，利用病灶分类模型对所述病灶进行分类。
7.一种病灶分类装置，其特征在于，包括：
获取模块，用于获取第一医学图像中的第一病灶区域和第二医学图像中的第二病灶区域，其中，所述第一医学图像和所述第二医学图像为同一检查对象的检查部位在不同角度下拍摄得到的图像，所述第一病灶区域和所述第二病灶区域分别为同一病灶在所述第一医学图像和所述第二医学图像中对应的图像区域；
特征提取模块，用于分别对所述第一病灶区域和所述第二病灶区域进行特征提取；
融合模块，用于将所述第一病灶区域的特征和所述第二病灶区域的特征进行融合，获得所述病灶的第一融合特征；
分类模块，用于根据所述第一融合特征，对所述病灶进行分类，
其中，所述特征提取模块用于分别对所述第一病灶区域和所述第二病灶区域进行小波分解，获取所述第一病灶区域对应的N个第一小波图像和所述第二病灶区域对应的N个第二小波图像，其中，N为大于1的整数；分别对所述N个第一小波图像和所述N个第二小波图像进行特征提取；
所述融合模块用于将所述N个第一小波图像的特征与所述N个第二小波图像的特征进行一一对应的通道拼接操作，获得拼接后的N个第一特征；根据所述拼接后的N个第一特征，获得所述病灶的第一融合特征，
其中，所述特征提取模块还用于分别对所述第一病灶区域和所述第二病灶区域进行边缘提取，获得第一边缘图像和第二边缘图像；
所述融合模块还用于根据所述第一病灶区域与所述第一边缘图像，获得第二融合特征；根据所述第二病灶区域与所述第二边缘图像，获得第三融合特征，
所述分类模块还用于根据所述第一融合特征、所述第二融合特征和所述第三融合特征，利用病灶分类模型对所述病灶进行分类。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至5中任一项所述的方法。
CN202010987094.1A 2020-09-18 2020-09-18 病灶分类方法及装置、病灶分类模型的训练方法 Active CN112116004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010987094.1A CN112116004B (zh) 2020-09-18 2020-09-18 病灶分类方法及装置、病灶分类模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010987094.1A CN112116004B (zh) 2020-09-18 2020-09-18 病灶分类方法及装置、病灶分类模型的训练方法

Publications (2)

Publication Number Publication Date
CN112116004A CN112116004A (zh) 2020-12-22
CN112116004B true CN112116004B (zh) 2021-11-02

Family

ID=73799795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010987094.1A Active CN112116004B (zh) 2020-09-18 2020-09-18 病灶分类方法及装置、病灶分类模型的训练方法

Country Status (1)

Country Link
CN (1) CN112116004B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819811A (zh) * 2021-02-24 2021-05-18 上海商汤智能科技有限公司 图像分析方法及相关装置、电子设备、存储介质
CN112949654A (zh) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 图像检测方法及相关装置、设备
CN114305690B (zh) * 2021-12-31 2023-12-26 杭州三坛医疗科技有限公司 一种手术导航定位方法及装置
CN114820592B (zh) * 2022-06-06 2023-04-07 北京医准智能科技有限公司 图像处理装置、电子设备及介质
CN115018795B (zh) * 2022-06-09 2023-04-07 北京医准智能科技有限公司 医学影像中的病灶的匹配方法、装置、设备及存储介质
CN117679160A (zh) * 2023-12-26 2024-03-12 北京长木谷医疗科技股份有限公司 创伤骨折复位方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
CN110110675A (zh) * 2019-05-13 2019-08-09 电子科技大学 一种融合边缘信息的小波域分形红外卷云检测方法
CN110717423A (zh) * 2019-09-26 2020-01-21 安徽建筑大学 一种老人面部表情的情感识别模型的训练方法及装置
CN110751629A (zh) * 2019-09-29 2020-02-04 中国科学院深圳先进技术研究院 一种心肌影像分析装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599451B (zh) * 2019-08-05 2023-01-20 平安科技（深圳）有限公司 医学图像病灶检测定位方法、装置、设备及存储介质
CN111462065B (zh) * 2020-03-27 2023-06-27 浙江杜比医疗科技有限公司 超声、红外序列图像融合的乳腺癌检测方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
CN110110675A (zh) * 2019-05-13 2019-08-09 电子科技大学 一种融合边缘信息的小波域分形红外卷云检测方法
CN110717423A (zh) * 2019-09-26 2020-01-21 安徽建筑大学 一种老人面部表情的情感识别模型的训练方法及装置
CN110751629A (zh) * 2019-09-29 2020-02-04 中国科学院深圳先进技术研究院 一种心肌影像分析装置及设备

Also Published As

Publication number Publication date
CN112116004A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112116004B (zh) 病灶分类方法及装置、病灶分类模型的训练方法
US10363010B2 (en) Method for breast screening in fused mammography
CN105559813B (zh) 医用图像诊断装置以及医用图像处理装置
EP2443587B1 (en) Systems for computer aided lung nodule detection in chest tomosynthesis imaging
KR20200095504A (ko) 추골 골절을 식별하기 위한 3차원 의료 이미지 분석 방법 및 시스템
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
JP6184926B2 (ja) 椎骨セグメンテーション装置、方法およびプログラム
JP6837376B2 (ja) 画像処理装置および方法並びにプログラム
JP2005296605A (ja) 放射線写真画像を診断関連領域と診断非関連領域とにセグメント化する方法
JP2009254600A (ja) 画像表示装置並びに画像表示制御方法およびプログラム
JP2017067489A (ja) 診断支援装置、方法及びコンピュータプログラム
CN105513036A (zh) 三维ct图像的分割方法及装置
Garlapati et al. Detection of COVID-19 using X-ray image classification
US7539332B1 (en) Method and system for automatically identifying regions of trabecular bone tissue and cortical bone tissue of a target bone from a digital radiograph image
US8644608B2 (en) Bone imagery segmentation method and apparatus
WO2020172558A1 (en) System and method for automatic detection of vertebral fractures on imaging scans using deep networks
Lu et al. Texture analysis based on Gabor filters improves the estimate of bone fracture risk from DXA images
JP2007029514A (ja) 画像解析装置、画像解析方法およびそのプログラム
Ramana Alzheimer disease detection and classification on magnetic resonance imaging (MRI) brain images using improved expectation maximization (IEM) and convolutional neural network (CNN)
Lin et al. Application of two-dimensional fractional-order convolution and bounding box pixel analysis for rapid screening of pleural effusion
JP5106047B2 (ja) 画像処理方法及び装置
Sha et al. The improved faster-RCNN for spinal fracture lesions detection
CN113240681B (zh) 图像处理的方法及装置
Chen et al. Femoral head segmentation based on improved fully convolutional neural network for ultrasound images
US20170079604A1 (en) System and method for digital breast tomosynthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant