CN116862825A - 医学影像分析方法 - Google Patents

医学影像分析方法 Download PDF

Info

Publication number
CN116862825A
CN116862825A CN202210300177.8A CN202210300177A CN116862825A CN 116862825 A CN116862825 A CN 116862825A CN 202210300177 A CN202210300177 A CN 202210300177A CN 116862825 A CN116862825 A CN 116862825A
Authority
CN
China
Prior art keywords
image
medical image
analyzed
model
analysis method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210300177.8A
Other languages
English (en)
Inventor
张汉威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kangrui Intelligent Co ltd
Original Assignee
Shenzhen Kangrui Intelligent Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kangrui Intelligent Co ltd filed Critical Shenzhen Kangrui Intelligent Co ltd
Priority to CN202210300177.8A priority Critical patent/CN116862825A/zh
Publication of CN116862825A publication Critical patent/CN116862825A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种医学影像分析方法，经由计算机执行，包括：接收医学影像；选取医学影像中的至少一个检测区域；对检测区域中的目标影像执行影像标准化处理以获得待分析影像；及输入待分析影像至影像分类模型，以获得疾病分析结果。

Description

医学影像分析方法
技术领域
本发明是有关于一种影像分析方法，特别是指一种利用神经网路模型进行医学影像分析的方法。
背景技术
双能量X光吸光式测定仪(dual energy x-ray absorptiometry，DXA)，俗称骨密度仪，可产生两种能量的X光。由于不同能量的X光被不同介质衰减的程度不同。介质的密度越高，对X光造成的衰减越大。从而，可检测出身体各部位的骨质密度。然而，一般使用DXA所需量测时间需要15至20分钟，其仪器成本也较一般X光机昂贵，并不利于推广民众检测。
此外，医学疾病检测常需要分析组织切片影像，通过抹片检查所获取的细胞样本来分析罹患疾病类型与严重程度。然而，通过人工来检视需要耗费大量时间与精力，也容易造成误判。
发明内容
本发明一实施例提出一种医学影像分析方法。医学影像分析方法，经由计算机执行，包括：接收医学影像；选取医学影像中的至少一个检测区域；对检测区域中的目标影像执行影像标准化处理以获得待分析影像；及输入待分析影像至影像分类模型，以获得疾病分析结果。
依据本发明实施例的医学影像分析方法，可根据医学影像自动分析出可能罹患的疾病。依据一些实施例，还可进一步地分析出风险值。
附图说明
图1为本发明一实施例的医学影像分析方法流程图。
图2为本发明一实施例的影像标准化处理的细部流程图。
图3为本发明另一实施例的影像标准化处理的细部流程图。
图4为本发明一实施例的影像分类处理的细部流程图。
图5为本发明另一实施例的影像分类处理的细部流程图。
图6为本发明一实施例的风险值预测的细部流程图。
图7为本发明另一实施例的风险值预测的细部流程图。
图8为本发明再一实施例的风险值预测的细部流程图。
图9为本发明又一实施例的风险值预测的细部流程图。
其中，附图标记：
100 接收医学影像
200 选取检测区域
300 影像标准化处理
301，311 影像清晰处理
302，312 最小边裁切
303，315 缩放
313 计算高纹理特征区
314 范围取样
400 输入至影像分类模型
401 输入至三元组损失模型
402 主成分分析
403 根据座标落点获得分析类型
404，413 统合所有分析类型
411 输入至卷积神经网路
412 获得分析类型
500 获得疾病分析结果
600 特征正规化
700 输入特征至风险值预测模型
800 获得风险值
具体实施方式
参照图1，为本发明一实施例的医学影像分析方法流程图。首先，接收医学影像(步骤100)。视欲识别的疾病种类，可使用相应的医学影像。例如，识别骨质疏松使用X光影像；识别子宫颈癌使用子宫颈抹片细胞影像；识别血癌使用骨髓抹片细胞影像。
在一些实施例中，用于识别骨质疏松的X光影像是脊椎X光影像、股骨X光影像、锁骨X光影像或掌骨X光影像。通过分析所述脊椎X光影像、股骨X光影像、锁骨X光影像或掌骨X光影像的特征，来判断对应部位是否发生骨质流失所造成细微纹理结构变化，据以推估是否发生骨质疏松的情形。所述X光影像是通过诊断型X光机、移动型X光机或X光机巡回车来取得，其设备成本与量测时间均较传统使用双能量X光吸光式测定仪低。
在步骤200中，选取医学影像中的至少一个检测区域。举例来说，对于股骨X光影像，是以股骨颈部位作为检测区域。
在一些实施例中，步骤200还提供使用者接口来供使用者圈选出所述检测区域。
在一些实施例中，步骤200是通过物件侦测模型来实现。所述物件侦测模型可例如为Mask R-CNN、YOLO等模型。所述物件侦测模型是需要预先训练的，通过输入多重样本影像及相应的含有侦测目标(如股骨颈部位、细胞)的标注区域至物件侦测模型，来训练物件侦测模型侦测出股骨X光影像中的股骨颈部位或抹片影像中的细胞个体。
在步骤300中，对于检测区域中的目标影像，执行影像标准化处理，以获得待分析影像。为了说明的流畅，影像标准化处理的细部流程将留待后述。通过影像标准化处理，可获得合适尺寸且所需细节清晰的影像，适宜输入至影像分类模型中。
在步骤400中，将经过处理的待分析影像输入至影像分类模型中；接着，于步骤500中，根据影像分类模型的输出，获得疾病分析结果。影像分类模型为神经网路模型，于后将再具体说明实现方式。所述疾病分析结果可例如是，有无罹患特定疾病(如骨质疏松症、子宫颈癌、血癌等)或更进一步的推估罹患此特定疾病的期程。
在一些实施例中，检测区域的尺寸是依据神经网路模型的输入规格来决定。例如，若适合输入至神经网路模型的影像尺寸为224像素见方，则检测区域的尺寸则同样为224像素见方。
参照图2，为本发明一实施例的影像标准化处理的细部流程图。影像标准化处理步骤300包括影像清晰处理(步骤301)、最小边裁切(步骤302)及缩放(步骤303)。
在步骤301中，可利用锐利化(Sharpen)处理或均衡化处理(如直方图均衡化)来使影像细节更加清楚。在执行锐利化处理或均衡化处理之前，还包括灰阶化处理，以将为彩色的目标影像转换为灰阶影像。若目标影像已为灰阶影像，则无需执行灰阶化处理。
在步骤302中，是对目标影像进行裁切处理。若目标影像尺寸不符合前述神经网路模型的需求尺寸，则将目标影像裁切至相应的尺寸。例如，目标影像为长方形，则以短边为基准对长边进行裁切，以获得正方形影像。
在步骤303中，若经过步骤302处理后的影像尺寸不符合前述神经网路模型的尺寸，则对其进行缩放处理(等比例缩小或放大)，以获得前述神经网路模型的需求尺寸。经由前述步骤301至303，对目标影像进行预处理之后，可获得待分析影像。
参照图3，为本发明另一实施例的影像标准化处理的细部流程图。相较于图2，本实施例的影像标准化处理还包括计算高纹理特征区的步骤(步骤313)及范围取样的步骤(步骤314)。步骤311、312及315分别与步骤301、302及303相同，于此不再重复说明。
在步骤313中，采用边缘检测演算法来检测影像中的纹理。边缘检测演算法可例如为Canny演算法、Sobel演算法等。特别是对于骨质疏松的识别，通过步骤313可以找出具有最多骨质纹理的区域。
在步骤314中，依据步骤313所找出的最多骨质纹理区域的中心，扩大特定范围，在该特定范围中随机取样出复数个与检测区域相同大小的区域影像，以供后续于步骤400将此些区域影像输入至影像分类模型。在此，由于取样出的区域影像是符合神经网路模型的需求尺寸，因此步骤315可省略。
参照图4，为本发明一实施例的影像分类处理的细部流程图。在步骤401中，将前述待分析影像或区域影像输入至影像分类模型。在此，影像分类模型为三元组损失(TripletLoss)模型。三元组损失模型用于训练差异性较小的资料集。输入资料包括锚(Anchor)示例、正(Positive)示例和负(Negative)示例。通过优化模型，使得锚示例与正示例的距离小于锚示例与负示例的距离，实现样本的相似性计算。其中锚示例是样本集中随机选取的一个样本，正示例与锚示例属于同一类的样本，而负示例与锚示例属于不同类的样本。如此，可通过三元组损失模型对影像特征进行分群。例如，区分为罹患骨质疏松症的群集与没有罹患骨质疏松症的群集。对于如前述子宫颈癌与血癌的识别，则是对待分析影像或区域影像中的细胞个体予以分群，识别出不同种类的细胞。在此，每一待分析影像或每一区域影像中仅具有一个细胞个体影像。
在步骤402中，将三元组损失模型的输出结果，通过主成分分析(PrincipalComponent Analysis，PCA)降维。主成分分析可对于资料在特征空间找到一个投影轴，投影后可以得到这组资料的最大变异量。借此，可以有效的减少维度数，但整体变异量并没有减少太多。如此，可利用主成分分析对分群结果进行降维，以取得各群的分布座标信息。经过步骤401、402，可将输入三元组损失模型的待分析影像或区域影像转换成座标落点。
在步骤403中，根据训练过程所获得的各个群的分布座标信息，判断此座标落点位于其中的哪一个群集范围，来获得此影像应属于哪一群(或称为分析类型)。
步骤404是统合所有分析类型。在此，是指对于对应于同一张医学影像所撷取的每一待分析影像或每一区域影像所获得的分析类型进行统合。举例来说，若对于同一医学影像撷取了三个区域影像，此三个区域影像在经过前述步骤401至403之后会分别得到一个分析类型；在步骤404则统合此三个分析类型，使得于步骤500中可根据统合结果来获得疾病分析结果。具体来说，是依据分析类型中的多数者来做为疾病分析结果。例如，三个分析类型为两个罹患骨质疏松症类型及一个没有罹患骨质疏松症类型，则依据多数决来认定属于罹患骨质疏松症的疾病分析结果。又例如，在同一张医学影像中撷取了共有N个细胞个体的待分析影像(或区域影像)，经过前述步骤401至403之后，将N个细胞个体分群至K种细胞类型，在步骤404中即可统计各种细胞类型的细胞个体数量，以于步骤500中根据该些细胞类型对应的数量来识别疾病类型。
参照图5，为本发明另一实施例的影像分类处理的细部流程图。于图4的差异在于，本实施例是使用卷积神经网路(Convolutional Neural Networks，CNN)作为影像分类模型，例如深度残差网路(Deep residual network，ResNet)、GoogleLeNet、DenseNet等。在训练模型时，将作为训练样本的医学影像依据前述方式取得待分析影像或区域影像并标注该医学影像的分析类型，输入至模型中。卷积神经网路的最末层为权重分类器(如XGBoost)，以根据提取特征预测可能的类别机率。因此，在进行预测判断时，将待识别的医学影像依据前述方式取得待分析影像或区域影像输入至模型中(步骤411)，而可获得预测的分析类型(步骤412)。步骤413与前述步骤404相同，于此不重复说明。
参照图6，为本发明一实施例的风险值预测的细部流程图。承接前述图5之例，在一些实施例中，还可重复利用卷积神经网路提取的特征。将该等提取特征输入至另一神经网路模型(于此称风险值预测模型)中(步骤700)。在此，风险值预测模型可以为多层感知器(Multilayer perceptron，MLP)。于训练时，将训练样本对应的提取特征和对应的风险值输入至风险值预测模型中，使得在进行预测判断时，可以根据待识别样本的提取特征进行风险值的预测，而获得预测的风险值(步骤800)。在骨质疏松识别应用中，风险值可以例如是T评分(T-scores)参数或骨折风险评估(Fracture Risk Assessment，FRAX)参数。在子宫颈癌识别应用中，风险值是细胞检查分级数值或疾病期程(如子宫颈癌轻度癌前病变(Low-Grade Squamous Intraepithelial Lesion，LSIL)；重度癌前病变(High-Grade SquamousIntraepithelial Lesion，HSIL))，可表示出严重程度，如表1所示。
表1
在一些实施例中，除了来自卷积神经网路所提取的特征之外，还可一并输入其他特征至风险值预测模型中，例如个人资料(如性别、年龄)、身体数据(如身体质量指数(BMI)、身高、体重)、医学信息(疾病史(如有无罹患糖尿病、高血压))等的特征。该等特征可经由使用者接口供使用者输入，也可以是通过读取病历资料库来取得。
参照图7，为本发明另一实施例的风险值预测的细部流程图。与图6的差异在于，在步骤700之前，还执行步骤600，将提取特征正规化为0到1之间的数值范围。
参照图8，为本发明再一实施例的风险值预测的细部流程图。与前述图6类似，还可重复利用三元组损失模型提取的特征，将该等提取特征输入至前述风险值预测模型中(步骤700)。步骤800如前所述，于此不重复赘述。
在一些实施例中，除了来自三元组损失模型所提取的特征之外，还可一并输入其他特征至风险值预测模型中，例如个人资料(如性别、年龄)、身体数据(如身体质量指数(BMI)、身高、体重)、医学信息(如疾病史(如有无罹患糖尿病、高血压))等的特征。该等特征可经由使用者接口供使用者输入，也可以是通过读取病历资料库来取得。
参照图9，为本发明又一实施例的风险值预测的细部流程图。与前述图7类似，在步骤700之前，还执行步骤600，将提取特征正规化为0到1之间的数值范围。
前述医学影像分析方法是经由计算机载入并执行计算机程序产品而实现。计算机程序产品由多条程序指令组成，储存于非暂态计算机可读取媒体中。所述计算机可例如为个人计算机、伺服器等具有运算能力的计算装置。计算机一般具有处理单元(如中央处理器、图形处理器)、记忆体、储存媒体(如硬碟)、输入输出接口、网路接口等硬体资源。
在一些实施例中，所述计算机可与医疗影像储存系统(如Picture archiving andcommunication system，PACS)或医用检测仪器连结，以取得医学影像。
综上所述，依据本发明实施例的医学影像分析方法，可根据医学影像自动分析出可能罹患的疾病。依据一些实施例，还可进一步地分析出风险值。

Claims (10)

1.一种医学影像分析方法，经由计算机执行，其特征在于，该医学影像分析方法包括：
接收医学影像；
选取该医学影像中的至少一个检测区域；
对该检测区域中的目标影像执行影像标准化处理以获得待分析影像；及
输入该待分析影像至影像分类模型，以获得疾病分析结果。
2.根据权利要求1所述的医学影像分析方法，其特征在于，该影像分类模型为三元组损失模型。
3.根据权利要求2所述的医学影像分析方法，其特征在于，进一步包括：
将该三元组损失模型的输出结果，通过主成分分析降维，以转换得座标落点；及
根据该座标落点所在的群集范围得到该待分析影像所属的分析类型。
4.根据权利要求3所述的医学影像分析方法，其特征在于，进一步包括：
统合所有的该些待分析影像的该分析类型，以获得该疾病分析结果。
5.根据权利要求1所述的医学影像分析方法，其中该影像分类模型为卷积神经网路或三元组损失模型。
6.根据权利要求5所述的医学影像分析方法，其特征在于，进一步包括：
输入经由该卷积神经网路或该三元组损失模型提取的复数特征至风险值预测模型，以获得风险值。
7.根据权利要求6所述的医学影像分析方法，其特征在于，在输入该些特征至该风险值预测模型之前，进一步包括：对该些特征正规化。
8.根据权利要求6所述的医学影像分析方法，其特征在于，该风险值预测模型为多层感知器。
9.根据权利要求1所述的医学影像分析方法，其特征在于，选取该检测区域的步骤是通过物件侦测模型来实现。
10.根据权利要求1所述的医学影像分析方法，其特征在于，输入该待分析影像至该影像分类模型的步骤，包括：
分别输入各该待分析影像至该影像分类模型，以分别分类该待分析影像至分析类型；及
以对应于该些待分析影像的该分析类型中的多数者，作为该疾病分析结果。
CN202210300177.8A 2022-03-25 2022-03-25 医学影像分析方法 Pending CN116862825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210300177.8A CN116862825A (zh) 2022-03-25 2022-03-25 医学影像分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210300177.8A CN116862825A (zh) 2022-03-25 2022-03-25 医学影像分析方法

Publications (1)

Publication Number Publication Date
CN116862825A true CN116862825A (zh) 2023-10-10

Family

ID=88232732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210300177.8A Pending CN116862825A (zh) 2022-03-25 2022-03-25 医学影像分析方法

Country Status (1)

Country Link
CN (1) CN116862825A (zh)

Similar Documents

Publication Publication Date Title
US10839510B2 (en) Methods and systems for human tissue analysis using shearlet transforms
US9076197B2 (en) Probability density function estimation
KR20200095504A (ko) 추골 골절을 식별하기 위한 3차원 의료 이미지 분석 방법 및 시스템
Mohanty et al. Retracted article: An improved data mining technique for classification and detection of breast cancer from mammograms
Eddaoudi et al. Microcalcifications detection in mammographic images using texture coding
AU2021349226B2 (en) Critical component detection using deep learning and attention
Khazendar et al. Automated classification of static ultrasound images of ovarian tumours based on decision level fusion
WO2022109295A1 (en) System and method for detecting and classifying abnormal cells
Sasikala et al. Fusion of MLO and CC view binary patterns to improve the performance of breast cancer diagnosis
KR20230155416A (ko) 분류 및 분할을 이용한 종양 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
US20230306591A1 (en) Medical image analysis method
CN117315379A (zh) 面向深度学习的医学影像分类模型公平性评估方法及装置
Shankara et al. Detection of lung cancer using convolution neural network
Arzhaeva et al. Global and local multi-valued dissimilarity-based classification: application to computer-aided detection of tuberculosis
Milosevic et al. A comparison of methods for three-class mammograms classification
CN116862825A (zh) 医学影像分析方法
TWI814307B (zh) 醫學影像分析方法
TWI828096B (zh) X光影像分析方法
CN116862824A (zh) X光影像分析方法
CN113870194A (zh) 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置
Saleh et al. Classification the Mammograms Based on Hybrid Features Extraction Techniques Using Multilayer Perceptron Classifier
Christoyianni et al. Automatic detection of abnormal tissue in mammography
Kostopoulos et al. Assessing estrogen receptors’ status by texture analysis of breast tissue specimens and pattern recognition methods
Cardona et al. Automatic recognition of microcalcifications in mammography images through fractal texture analysis
Dodamani et al. Diagnosis of Osteoporosis from X-ray Images using Automated Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination