CN113496478A - 医学影像辨识方法及医学影像辨识装置 - Google Patents
医学影像辨识方法及医学影像辨识装置 Download PDFInfo
- Publication number
- CN113496478A CN113496478A CN202010375917.5A CN202010375917A CN113496478A CN 113496478 A CN113496478 A CN 113496478A CN 202010375917 A CN202010375917 A CN 202010375917A CN 113496478 A CN113496478 A CN 113496478A
- Authority
- CN
- China
- Prior art keywords
- medical image
- image
- initial
- slices
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008859 change Effects 0.000 claims abstract description 146
- 238000012549 training Methods 0.000 claims abstract description 64
- 230000003247 decreasing effect Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 abstract description 9
- 238000002595 magnetic resonance imaging Methods 0.000 description 41
- 210000004556 brain Anatomy 0.000 description 17
- 230000001605 fetal effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 10
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 210000003754 fetus Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000001513 elbow Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Probability & Statistics with Applications (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提出一种医学影像辨识方法及医学影像辨识装置,医学影像辨识方法可以依据影像辨识模型计算复数个初始医学影像片或由此些初始医学影像片形成的复数个初始医学影像堆的各自对应的复数个影像变化率,依据此些影像变化率,挑选此些初始医学影像堆或此些初始医学影像片的其中至少一个作为至少一训练医学影像片,取得此至少一训练医学影像片中各自对应的一目标范围,以重新建立影像辨识模型。藉此,在有限的时间与医疗人力上,提供包含更多讯息的样本供模型训练,取得较好的影像辨识模型表现,以精准的自动化产生特定器官或特定部位的标记。
Description
技术领域
本发明是关于一种影像辨识方法及影像辨识装置,特别是关于一种医学影像辨识方法及医学影像辨识装置。
背景技术
核磁共振成像(Magnetic Resonance Imaging,MRI)检查是一种不具有放射线的影像检查工具,能提供软组织清晰的影像。目前广泛应用在诊断伤害与疾病病变等,如大脑、膝盖、手肘等。由于清晰的三维成像,目前也应用在监测母体与胎儿的健康状况,为了正确地监测这些变化,准确的胎儿脑部MRI图像分割(image segment)是必须的。一般在孕妇进行一系列MRI检查后,会由放射科医师对MRI成像的胎儿大脑分割。由于MRI成像为多个二维图像的建构,故要完成胎儿脑部时间序列的三维图像(3D image)建立除了极耗时外也须多个专业医疗人员的投入。
因此,如何基于样本挑选策略的流程,协助医师进行时间序列的MRI图像分割,在有限的时间与医疗人力上,提供包含更多讯息的样本供模型训练,取得较好的模型表现,以精准的自动化产生特定器官或特定部位的标记,为本领域所需改进的问题之一。
发明内容
为了解决上述的问题,本揭露内容的一态样提供了一种医学影像辨识方法,包含:建立一影像辨识模型;其中影像辨识模型是将复数个初始医学影像堆中的复数个标注医学影像片输入一神经网络后产生;以及响应于判断此影像辨识模型的一准确率未高于一准确率门槛值时,依据影像辨识模型计算复数初始医学影像片或由此些初始医学影像片形成的复数个初始医学影像堆的各自对应的复数个影像变化率,依据此些影像变化率,挑选此些初始医学影像堆或此些初始医学影像片的其中至少一个作为至少一训练医学影像片,获取至少一训练医学影像片中各自对应的一目标范围,以重新建立此影像辨识模型目标范围。
本揭露内容的一态样提供了一种医学影像辨识装置。医学影像辨识装置包含:一处理器。处理器用以建立一影像辨识模型;其中影像辨识模型是将复数个初始医学影像堆中的复数个标注医学影像片输入一神经网络后产生;以及响应于判断此影像辨识模型的一准确率未高于一准确率门槛值时,依据此影像辨识模型计算复数个初始医学影像片或此些初始医学影像片形成的此些初始医学影像堆的各自对应的复数个影像变化率,依据此些影像变化率,挑选此些初始医学影像堆或此些初始医学影像片的其中至少一个作为至少一训练医学影像片,获取此至少一训练医学影像片中各自对应的一目标范围,以重新建立此影像辨识模型。
本发明实施例所示的医学影像辨识方法及医学影像辨识装置,可以加速影像辨识模型的建立,首先会先针对MRI资料随机挑选多个时间点的初始医学影像片(即MRI样本)由医师进行三维目标范围(如胎儿脑部)标示,根据这多个时间点样本建立影像辨识模型,通过目标范围的体积变化率或是面积变化率,以挑选下一轮需进行训练影像辨识模型的训练医学影像片,使得影像辨识模型可藉由有限的标注医学影像片学习到更多讯息,进而提升影像辨识模型预测的准确率,此外,本发明实施例所示的医学影像辨识方法及医学影像辨识装置,可以针对一位病患的历史资料建立精确度高的影像辨识模型,减少医师手动标注的人力成本。
附图说明
图1A~图1B为依照本发明一实施例绘示一种医学影像辨识方法的示意图。
图2为根据本发明的一实施例绘示一种初始医学影像片的示意图。
图3为根据本发明的一实施例绘示一种面积变化率的示意图。
图4为依照本发明一实施例绘示一种初始医学影像堆的示意图。
图5为根据本发明的一实施例绘示一种体积变化率的示意图。
100:医学影像辨识方法;
DB:核磁共振成像数据库;
S110~S170:步骤;
SK1~SKn、F1~FK1、FK2、FKn:初始医学影像堆;
DS:储存装置;
SL1~SL35:初始医学影像片;
LB1~LB7:标注范围;
PA:影像变化率为正值;
PB:影像变化率为负值;
PA’:体积变化率中最大者;
PB’:体积变化率中次大者。
具体实施方式
以下说明为完成发明的较佳实现方式,其目的在于描述本发明的基本精神,但并不用以限定本发明。实际的发明内容必须参考之后的申请专利范围。
必须了解的是,使用于本说明书中的“包含”、“包括”等词,系用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件,但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件,或以上的任意组合。
于申请专利中使用如“第一”、“第二”、“第三”等词用来修饰申请专利中的元件,并非用来表示之间具有优先权顺序,先行关系,或者是一个元件先于另一个元件,或者是执行方法步骤时的时间先后顺序,仅用来区别具有相同名字的元件。
请一并参照图1A、图1B、图2~图3,图1A~图1B为依照本发明一实施例绘示一种医学影像辨识方法100的示意图。图2为根据本发明的一实施例绘示一种初始医学影像片的示意图。图3为根据本发明的一实施例绘示一种面积变化率的示意图。
于一实施例中,医学影像辨识方法100可以由医学影像辨识装置实现,医学影像辨识装置中包含一处理器。于一实施例中,医学影像辨识装置更包含一储存装置DS(如图1B所示),储存装置DS用以储存一数据库DB,数据库DB中可储存核磁共振成像(MagneticResonance Imaging,MRI)。于一实施例中,储存装置DS亦可储存X射线电脑断层扫描(X-rayComputed Tomography)档案,此为一种三维放射线医学影像,故也可以应用于计算器官的三维体积。处理器用以执行医学影像辨识方法100的各个步骤。
于一实施例中,储存装置DS可由只读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库或熟悉此技艺者可轻易思及具有相同功能的储存媒体以实现之。
于一实施例中,处理器亦可以由微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、专用集成电路(application specific integrated circuit,ASIC)或一逻辑电路实现之,但并不限于此。
于一实施例中,医学影像辨识装置可连接用以获取影像的仪器或装置。
于步骤S110中,处理器取得复数个初始医学影像堆SK1~SKn。其中,此些初始医学影像堆SK1~SKn中各自包含复数个初始医学影像片(slice)SL1~SL35。
于一实施例中,处理器读取数据库DB中的初始医学影像堆SK1~SKn。换言之,初始医学影像堆SK1~SKn代表一共有n堆在不同时点拍摄的初始医学影像堆。于另一实施例中,数据库DB可存于一伺服器,处理器可通过通讯模组存取伺服器中的数据库DB。
于一实施例中,此些初始医学影像堆SK1~SKn中各自包含多张初始医学影像片SL1~SL35。
于一实施例中,初始医学影像堆SK1~SKn为多个核磁共振成像,每个核磁共振成像即是一个三维体积(three-dimensional volume),通常定义为帧(frame),每个核磁共振成像是由多张二维影像(例如多张初始医学影像片SL1~SL35)所组成。如图2所示,初始医学影像堆SK1中包含此35张初始医学影像片SL1~SL35。于一实施例中,医生可以在初始医学影像片SL1~SL35中以色块或框线方式标注目标范围(例如为胎儿的脑部),例如标注范围LB1~LB7。于一实施例中,医生可以通过输入界面或是通过显示器的操作界面以标注目标范围,输入界面例如为触控屏、鼠标、触控笔、键盘…等等。然而,图2仅为本案的一例,本领域技术人员应可理解初始医学影像堆SK1可包含大于或小于35张的初始医学影像片。例如,初始医学影像堆SK1原始包含105张初始医学影像片,此处为方便说明,以每间隔三张选择一张,选出此35张初始医学影像片SL1~SL35作为代表。
于步骤S120中,处理器随机由此些初始医学影像堆SK1~SKn中(例如n为10,有10堆初始医学影像堆),挑选一部分的初始医学影像堆(例如选出3个初始医学影像堆SK2、SK5、SK10),将被挑选的初始医学影像堆SK2、SK5及SK10视为复数个候选影像堆,由此些候选影像堆中各自随机挑选复数张候选医学影像片,通过输入界面显示复数张候选医学影像片,并获得此些候选影像片中各自对应的一目标范围,以获取复数张标注医学影像片。
于一实施例中,显示器可以显示多张候选医学影像片,并通过输入界面获得目标范围。例如,触控屏显示多张候选医学影像片,医生用手指或触控笔框选出多张候选医学影像片中的目标范围(例如医生用手指框选出多张候选医学影像片中的婴儿脑部范围),藉此,处理器可获取多张标注医学影像片。
于一实施例中,处理器挑选初始医学影像堆SK1~SKn或初始医学影像片(例如初始医学影像片SL1~SL35)的其中至少一者作为至少一训练医学影像片。
以下例子以10堆初始医学影像堆SK1~SK10,挑选出其中的初始医学影像堆SK2、SK5及SK10为例。然而,此为本案的一例,本领域技术人员应可理解初始医学影像堆SK1~SKn的数量不限于此,候选影像堆的数量亦不限于此。
于一实施例中,假设对10位病患进行拍摄,以取得对应此10位病患的初始医学影像堆SK1~SK10,初始医学影像堆SK1拍摄病患1以取得,初始医学影像堆SK2拍摄病患2以取得…依此类推。
于一实施例中,初始医学影像堆SK1~SK10各自分别有15、23、18、20、17、15、15、25、30、19张初始医学影像片。举例而言,初始医学影像堆SK1有15张初始医学影像片,初始医学影像堆SK2有23张初始医学影像片…,依此类推。初始医学影像堆SK1~SK10各自的三维体积为(N×N×15)、(N×N×23)…,依此类推,其中,符号N为初始医学影像片的长、宽(在此例中,长跟宽相同)。
接着,由于目标为建立出影像辨识模型,将影像辨识模型的准确率门槛值设为一定值,例如为95%,即影像辨识模型的辨识率高于95%才可以视为完成影像辨识模型的建立,并假设除了第一次标注候选影像片之外(可以是医生手动标注,或是依据处理器接收到的一标注讯号以进行标注),后续每一轮的标注只能标注最多5张训练医学影像片,以节省标注人力及资料运算量。以下举例详述此些步骤的细部技术特征。
于一实施例中,处理器随机由初始医学影像堆SK1~SK10中,挑选出3个初始医学影像堆SK2、SK5及SK10,将被挑选的初始医学影像堆SK2、SK5及SK10视为多个候选影像堆,由此些候选影像堆SK2、SK5及SK10中各自随机挑选3张候选医学影像片,此些候选医学影像片的表示方法例如其中,符号代表候选影像堆SK2中的第5张候选医学影像片,符号代表候选影像堆SK2中的第11张候选医学影像片…,依此类推。于一实施例中,将此选出来的9张候选医学影像片提供给医生进行标注,或是依据处理器接收到的一标注讯号以进行标注,藉此标注此些候选影像片中各自对应的一目标范围(例如胎儿的脑部),以获取复数张标注医学影像片由于标注医学影像片仅是在候选医学影像片上标注目标范围,因此符号的表达方式不变。然而,本案所述的目标范围并不限于胎儿的脑部,亦可以为膝盖、手肘、组织、尿液、羊水或其他身体部位。
于一实施例中,神经网络和影像辨识模型分别以程序、软件及/或固件的方式储存于储存装置DS中。于另一实施例中神经网络可存于伺服器中,处理器可通过通讯模组传输标注医学影像片至伺服器,将标注医学影像片作为神经网络的输入资料。
于一实施例中,处理器将属于训练集的标注医学影像片输入神经网络,以建立影像辨识模型。
于一实施例中,处理器将属于测试集的标注医学影像片输入神经网络,以验证影像辨识模型的准确率。
于一实施例中,神经网络可以应用卷积神经网络(Convolutional NeuralNetworks,CNN)、递归神经网络(Recurrent Neural Networks,RNN)或其他可应用于影像处理的已知神经网络。
于步骤S140中,处理器判断影像辨识模型的一准确率是否高于一准确率门槛值(例如为95%)。若处理器判断影像辨识模型的准确率高于准确率门槛值,则进入步骤S150。若处理器判断影像辨识模型的准确率不高于准确率门槛值,则进入步骤S160。
于一实施例中,处理器将此些标注医学影像片所对应的此些初始医学影像片输入影像辨识模型,以藉由影像辨识模型标注此些初始医学影像片中各自对应的一预测范围(例如藉由影像辨识模型标注每个初始医学影像片中的预测胎儿脑部范围),并计算此些标注医学影像片各自对应的目标范围(例如已经被医生手动标注的胎儿脑部范围)与此些初始医学影像片中各自对应的预测范围(即影像辨识模型所标注的预测胎儿脑部范围)的一重叠面积,将此些重叠面积除以此些标注医学影像片各自对应的目标范围面积,以得到复数个相似度(dice)系数。当此些相似度系数都在一预设数值范围(例如此些相似度系数的最大值与最小值的差值落在预设数值范围10%以内),及/或高于准确率门槛值(例如95%)的相似度系数的数量超过一预设比例时(例如有98%的相似度系数都大于准确率门槛值),视为影像辨识模型的准确率高于准确率门槛值。反之,则视为影像辨识模型的准确率不高于准确率门槛值。
于步骤S150中,响应于判断影像辨识模型的准确率高于准确率门槛值(例如95%)时,代表影像辨识模型建立完成。
于步骤S160中,处理器依据复数个预测医学影像堆计算各自对应的复数个影像变化率。于一实施例中,处理器将所有的初始医学影像堆输入影像辨识模型后获得预测医学影像堆,依据所有的预测医学影像堆计算多个影像变化率。
于一实施例中,影像变化率例如是指按时间序列排序的医学影像片中的目标范围的变化关系,例如按时间序列排序的第一张医学影像片中的目标范围与第二张医学影像片中的目标范围的变化关系。于一实施例中,影像变化率可以是指面积变化率(如图3所示),面积变化率的算法如后续的算式(1)所示。
于一实施例中,影像变化率例如是指一第一预测医学影像堆中的第5张预测医学影像的目标范围与一第二预测医学影像堆中的第5张预测医学影像的目标范围的变化关系。其中第一预测医学影像堆与第二预测医学影像堆是按时间序列排序。
于一实施例中,影像变化率可以是指面积变化率或体积变化率。
于步骤S170中,处理器依据此些影像变化率,挑选此些预测医学影像堆的其中至少一个作为至少一训练医学影像片,通过输入界面获得至少一训练医学影像片中各自对应的目标范围。于一实施例中,医生可以通过输入界面或是通过显示器的操作界面以标注至少一训练医学影像片中各自对应的目标范围,输入界面例如为触控屏、鼠标、触控笔、键盘…等等。
于一实施例中,影像变化率可以是指面积变化率。以下叙述影像变化率为面积变化率的细部技术特征。
于一实施例中,处理器依据此些影像变化率,挑选此些候选影像堆SK2、SK5及SK10以外的此些初始医学影像堆对应的预测医学影像堆,并挑选此些预测医学影像堆的其中至少一个作为至少一训练医学影像片。
于一实施例中,处理器依据此些影像变化率,挑选此些预测医学影像堆的其中至少一者作为至少一训练医学影像片时,可以选择前述的9张候选医学影像片以外的一些初始医学影像片,在后续步骤中用以训练影像辨识模型。换言之,在一些实施例中,此些候选影像堆SK2、SK5及SK10也可以是预测医学影像堆,只是处理器不会选择已经被标注过的标注医学影像片作为训练医学影像片。
于一实施例中,处理器依据此些影像变化率,挑选此些预测医学影像堆的其中至少一者作为至少一训练医学影像片时,从此些候选影像堆SK2、SK5及SK10以外的此些初始医学影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9对应的预测医学影像堆中挑选一部分或全部作为至少一训练医学影像片。
藉由挑选出候选影像堆以外的此些初始医学影像堆对应的预测医学影像堆,可以在后续步骤中,用以训练影像辨识模型的训练医学影像片的来源更具多样性,避免影像辨识模型的训练资料只限于候选影像堆SK2、SK5及SK10的情况。
于一实施例中,处理器响应于判断影像辨识模型的准确率未高于准确率门槛值时,将所有初始医学影像堆输入影像辨识模型,而获得复数个预测医学影像堆,依据复数个预测医学影像堆计算各自对应的复数个影像变化率,以病患2为例,初始医学影像堆SK2中有初始医学影像片SL1~SL23,输入影像辨识模型后获得对应预测医学影像堆SK2,面积变化率的算法如算式(1):
即,将此预测医学影像堆SK2中的第i-1个预测医学影像所对应的目标范围的面积(例如是器官面积)减去此预测医学影像堆SK2中的第i个预测医学影像所对应的目标范围(例如是器官面积)后得到一面积差值,将面积差值除以第i-1个预测医学影像所对应的目标范围,以取得第i个预测医学影像所对应的影像变化率。于此例中,一共会算出23个值,因为此预测医学影像堆SK2中有23张影像。
此外,其他预测医学影像堆(例如处理器挑选初始医学影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9作为预测医学影像堆)的面积变化率的算法,亦可以此算式(1)的方式计算。后续将以病患3的数据及图3再次举例说明。
由于此预测医学影像堆SK2中包含已经被标注过的候选医学影像片因此,于此实施例中,使用候选医学影像片前后面积变化绝对值为最大者作为变化率门槛值。例如,病患2以候选医学影像片前后面积的变化率分别为(3%,5%,4%,4.5%,-1.5%,-6%),则以正负6%作为病患2的变化率门槛值,超过此变化率门槛值且为预测医学影像堆SK2中候选医学影像片以外的预测医学影像,可作为训练医学影像片,交给医生进行下次手动标注。
于一实施例中,处理器在每个预测医学影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自对应的此些目标范围的面积依时序为渐增趋势时,挑选影像变化率为正值的预测医学影像作为训练医学影像片。其中,由算式(1)可知,当预测医学影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自对应的中的目标范围的面积渐增时,影像变化率应为负值,所以影像变化率为正值的预测医学影像可能有异常,因此挑选出影像变化率为正值的预测医学影像作为训练医学影像片;相反地,当预测医学影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自对应的目标范围的面积渐减时,影像变化率应为正值,所以影像变化率为负值的预测医学影像可能有异常,因此挑选出影像变化率为负值的预测医学影像作为训练医学影像片。于一实施例中,处理器在每个预测医学影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自对应的此些目标范围的面积依时序为渐减趋势时,挑选影像变化率为负值的预测医学影像作为训练医学影像片。
于一实施例中,处理器挑选每个预测医学影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9各自对应的影像变化率大于变化率门槛值的预测医学影像作为训练医学影像片。
于一实施例中,即使候选影像堆SK2、SK5及SK10中包含目标范围的面积依时序为渐增趋势时,影像变化率为正值候选影像片、目标范围的面积依时序为渐减趋势时,影像变化率为负值的候选影像片、或影像变化率大于变化率门槛值的候选影像片,当预测医学影像堆SK1、SK3、SK4、SK6、SK7、SK8及SK9中选出的训练医学影像片的数量已大于医生每轮可标注的影像张数(例如医生每轮只能标注5张)时,处理器不会选择候选影像堆SK2、SK5及SK10中的候选影像片作为训练医学影像片。
例如,病患1、3、4、6、7、8、9所对应的预测医学影像堆SK1、SK3、SK4、SK6、SK7、SK8、SK9皆没有包含标注医学影像片,故处理器依据一预设的变化率门槛值10%,搭配医学影像的目标范围的面积会先渐增再渐减的特性(请参考图2),找出目标范围的面积依时序为渐增趋势时,影像变化率为正值的预测医学影像、目标范围的面积依时序为渐减趋势时,影像变化率为负值的预测医学影像、或影像变化率大于变化率门槛值10%的预测医学影像。藉此,依据目标范围的面积的渐增及渐减趋势找出不符合趋势的预测医学影像,或是找出影像变化率过高的预测医学影像,将此些具有特殊性的预测医学影像作为训练医学影像片,达到增加样本多样性的效果。
在一实施例中,影像变化率可以是指某器官的面积变化率,假设病患3所对应的预测医学影像堆SK3的面积变化率如图3所示,图3的X轴的第一列为张数(即,按时间序列排序的医学影像片),病患3所对应的预测医学影像堆SK3中假设有18张预测医学影像,第二列为经由上述算式(1)的方式算出每张预测医学影像的预测医学影像面积变化率。
预测医学影像堆SK3中皆没有包含标注医学影像片,处理器依据一预设的变化率门槛值10%,搭配医学影像的目标范围的面积会先渐增再渐减的特性(请参考图2),找出目标范围的面积依时序为渐增趋势时,影像变化率为正值的预测医学影像、目标范围的面积依时序为渐减趋势时,影像变化率为负值的预测医学影像、或影像变化率大于变化率门槛值10%的预测医学影像。
由图3可看出,每相邻两张预测医学影像的影像变化率皆不超过10%。另一方面,依据医学影像的器官面积会先渐增再渐减的特性,处理器判断第1~11张的预测医学影像的目标范围的面积是渐增趋势,变化率为负值,此时可发现第6张的影像变化率为正值(以符号PA标示),则处理器将第6张挑选出来,作为训练医学影像片;此外,处理器判断第12~18张的预测医学影像的目标范围的面积是渐减趋势,变化率为正值,此时可发现第16张的影像变化率为负值(以符号PB标示),则处理器将第16张挑选出来,作为训练医学影像片。
因此,依据图3的影像变化率的折线图,处理器会将预测医学影像堆SK3中的第6张及第16张预测医学影像,作为训练医学影像片。
于一实施例中,假设病患3、6、8、9、10所对应的预测医学影像堆SK3、SK6、SK8、SK9、SK10的面积变化率有包含以下条件的预测医学影像:目标范围的面积依时序为渐增趋势时,影像变化率为正值的预测医学影像、目标范围的面积依时序为渐减趋势时,影像变化率为负值的预测医学影像、或影像变化率大于变化率门槛值10%的预测医学影像。其中,符合此些条件之一的预测医学影像分别为因为医师每轮只能手动标注5个MRI影像,因此在5个病患中,为了增加样本多样性,先从未有标注医学影像片的病患3、6、8、9所对应的预测医学影像堆SK3、SK6、SK8、SK9中,挑选任意5张预测医学影像,在期望每个病患至少有一张的标注医学影像片情况下,假设挑选预测医学影像作为训练医学影像片。当医师通过输入界面将此些训练医学影像片进行手动标注后,将此些训练医学影像片视为标注医学影像片。
若影像辨识模型尚未达到标准,则再次将所有初始医学影像堆输入影像辨识模型,依据影像变化率挑选除了和以外的影像作为训练医学影像,例如,在产生第二轮的影像辨识模型后,依序重复上述步骤S140,若步骤S140中判断为否,则步骤进行S160~S170、S120~S130,直到S140中的判断为是,则进行步骤S150,完成影像辨识模型的建置。
于一实施例中,影像变化率可以是指体积变化率。以下叙述影像变化率为体积变化率的细部技术特征。
请一并参照图4~图5,图4为依照本发明一实施例绘示一种初始医学影像堆的示意图。图5为根据本发明的一实施例绘示一种体积变化率的示意图。
于一实施例中,如图4所示,假设有n位孕妇分别进行K1、K2、Kn次的MRI检查(K1、K2、Kn可以分别为相同或不同的整数值),则会产生如图4所示的多个初始医学影像堆,每个初始医学影像堆即为一MRI影像,又称帧(frame)。其中,孕妇1对应的第1堆的初始医学影像堆以符号F1表示(代表孕妇1第1次的MRI检查时所拍摄的初始医学影像堆)、第2堆的初始医学影像堆以符号F2表示(代表孕妇1第2次的MRI检查时所拍摄的初始医学影像堆)…第FK1堆的初始医学影像堆以符号FK1表示(代表孕妇1第K1次的MRI检查时所拍摄的初始医学影像堆);孕妇2对应的第1堆的初始医学影像堆以符号F1表示、第2堆的初始医学影像堆以符号F2表示…第FK2堆的初始医学影像堆以符号FK2表示;孕妇n对应的第1堆的初始医学影像堆以符号F1表示、第2堆的初始医学影像堆以符号F2表示…第FKn堆的初始医学影像堆以符号FKn表示。每个初始医学影像堆代表进行一次MRI检查所拍摄而得,且每个初始医学影像堆即为一个三维的影像。
于一实施例中,处理器可藉由累加每一张初始医学影像片中被标记出来的器官面积,以取得器官体积。
当影像变化率是指体积变化率时,仍可采用医学影像辨识方法200,故不赘述步骤S110~S170。以下针对影像变化率是指体积变化率,与影像变化率是指面积变化率时,在细部技术特征不同之处进行描述。
于一实施例中,在处理器判断影像辨识模型的准确率是否高于准确率门槛值的步骤S140中,处理器选择属于此些候选影像堆中之一者的此些标注医学影像片,将此些标注医学影像片所对应的此些初始医学影像片输入影像辨识模型,标注此些初始医学影像片中各自对应的一预测范围,计算此些标注医学影像片所对应的此些目标范围各自对应的此目标范围与此些初始医学影像片中各自对应的预测范围的一重叠体积,将此些重叠体积除以各自对应的此些标注医学影像片所对应的此些目标范围,以得到复数个相似度(dice)系数,当此些相似度系数都在一预设数值范围,或高于准确率门槛值的该些相似度系数的数量超过一预设比例时,视为影像辨识模型的准确率高于准确率门槛值。
于一实施例中,通过将多张初始医学影像片中的预测范围(面积)进行累加,例如,将第2堆的初始医学影像堆中每张初始医学影像片中的预测范围(面积)进行累加,累加后所得到的值视为体积。
于一实施例中,处理器将此些预测医学影像中的一第一预测医学影像所对应的一第一目标范围减去此些预测医学影像中的一第二预测医学影像所对应的一第二目标范围后得到一体积差值,将体积差值除以第一预测医学影像所对应的第二目标范围,以取得此些体积变化率的其中一个。其中,目标范围可以是指目标体积或目标面积。
于一实施例中,处理器挑选所有的此些初始医学影像堆(孕妇1对应的第1堆到第255堆的初始医学影像堆),将此些初始医学影像堆输入影像辨识模型,获得对应的预测医学影像堆,并依据此些预测医学影像堆计算各自对应的此些个体积变化率(如图5所示,第1堆到第255堆的预测医学影像堆各自对应的体积变化率)。
于一实施例中,图5所示的预测医学影像堆有时间次序性,X轴的值越大代表取得初始医学影像堆的时间点越晚,例如,i值为200代表第200堆预测医学影像,i值为150代表第150堆预测医学影像,依时间次序来看,i值为200的预测医学影像堆拍摄时间点比i值为150的预测医学影像堆的拍摄时间点晚。
如果有已标注的影像的话,处理器可以计算标注资料的体积(ground truthvolume),将此体积视为第一目标范围,计算每个时间点的预测目标范围(例如第二目标范围)跟第一目标范围的体积变化率,当体积变化率大的话,可以知道某个时间的影像(例如i值为52的预测医学影像堆对应的初始影像堆)应该有某些目前影像辨识模型还没办法抓到的特征,因此针对此种影像进行标注,再放入训练集内重新训练。如果某个孕妇完全没有任何的手动标注样本,可以任一选择一时间点对应的目标范围当基准体积(baselinevolume),将其他时间点的体积与选择的时间点的体积计算体积变化率,当某一时间点的体积变化率(符号PA’所示)与基准体积差异大,则代表影像辨识模型对这个时间上的预测医学影像堆与其他时间点的预测结果有较不一样的变化,则值得进行观察、标注。
于一实施例中,处理器挑选每个预测医学影像各自对应的体积变化率中的大于一变化率门槛值的预测医学影像堆作为至少一训练医学影像堆,并获得此至少一训练医学影像堆中各自对应该目标范围。于一实施例中,医生可以通过输入界面或是通过显示器的操作界面以标注至少一训练医学影像片中各自对应的目标范围,输入界面例如为触控屏、鼠标、触控笔、键盘…等等。
于一实施例中,处理器挑选此些体积变化率中的最大者所对应的预测医学影像堆作为至少一训练医学影像堆,并通过输入界面或是通过显示器的操作界面获得此至少一训练医学影像堆中各自对应的目标范围。如图5所示,假设医生可以标注两堆的预测医学影像堆,则处理器选择体积变化率中的最大者(第98堆,以符号PA’标示)及次大者(第52堆,以符号PB’标示)所对应的预测医学影像堆,作为训练医学影像堆。
举例而言,假设有10个孕妇,其各自拥有(15,23,18,20,17,15,15,25,30,19)个初始医学影像堆,括号中的每个值代表此10个孕妇各自对应的初始医学影像堆的数量(即MRI影像的数量),例如,孕妇1有15堆MRI影像,孕妇2有23堆MRI影像,MRI影像依拍摄的时点以序列表示之,各自按照时间排序为
假设目标为建立影像辨识模型,其准确率门槛值须达95%以上,设定变化率门槛值为10%。并假设除了第一次手动标注外,医师每轮只能手动标注2个MRI影像。
处理器将标注完后的MRI影像进行模型训练,得到影像辨识模型(此可称为初始的影像辨识模型)。若此影像辨识模型表现能力尚未达到准确率门槛值,则将此影像辨识模型预测及其他的MRI影像。由于孕妇2、3、5、8、10孕妇因为有手动标注的标注医学影像片故可以计算其他MRI影像预测的目标体积与手动标注的目标体积的体积变化率。以孕妇2为例,即计算
假设孕妇2、4、6、8、9、10皆有对应到体积变化率大于变化率门槛值10%的MRI影像,其体积变化率按照大小排列各自分别为 因为医师每轮只能手动标注2个MRI影像,因此在6个孕妇中,为了增加样本多样性,故处理器先从孕妇4、6、9中挑选任意两个孕妇,假设挑选孕妇4、9,则选取和进行手动标注。
目前孕妇2、3、4、5、8、9、10已有手动标注影像,故可以计算其他MRI影像与手动标注的胎儿大脑体积的体积变化率;孕妇1、6、7因为没有手动标注的影像,故仍暂时以第一个帧的MRI影像的目标体积当基准点,计算其他MRI影像的目标体积与第一个帧的MRI影像目标体积的体积变化率。接着,再次挑选2个孕妇中其体积变化率大于阀值10%的MRI影像,进行手动标注,重复上述步骤,直到影像辨识模型的准确率大于等于准确率门槛值。
本发明实施例所示的医学影像辨识方法及医学影像辨识装置,可以加速影像辨识模型的建立,首先会先针对MRI资料随机挑选多个时间点的初始医学影像片(即MRI样本)由医师进行三维目标范围(如胎儿脑部)标示,根据这多个时间点样本建立影像辨识模型,通过目标范围的体积变化率或是面积变化率,以挑选下一轮需进行训练影像辨识模型的训练医学影像片,使得影像辨识模型可藉由有限的标注医学影像片学习到更多讯息,进而提升影像辨识模型预测的准确率,此外,本发明实施例所示的医学影像辨识方法及医学影像辨识装置,可以针对一位病患的历史资料建立精确度高的影像辨识模型,减少医师手动标注的人力成本。
Claims (20)
1.一种医学影像辨识方法,其特征在于,包含:
建立一影像辨识模型;其中该影像辨识模型是将复数个初始医学影像堆中的复数个标注医学影像片输入一神经网络后产生;以及
响应于判断该影像辨识模型的一准确率未高于一准确率门槛值时,依据该影像辨识模型计算复数个初始医学影像片或该些初始医学影像片形成的该些初始医学影像堆的各自对应的复数个影像变化率,依据该些影像变化率,挑选该些初始医学影像堆或该些初始医学影像片的其中至少一个作为至少一训练医学影像片,获取该至少一训练医学影像片中各自对应的一目标范围,以重新建立该影像辨识模型。
2.如权利要求1所述的医学影像辨识方法,其特征在于,响应于判断该影像辨识模型的该准确率高于该准确率门槛值时,代表该影像辨识模型建立完成。
3.如权利要求1所述的医学影像辨识方法,其特征在于,更包含:
将该些标注医学影像片所对应的该些初始医学影像片输入该影像辨识模型,以标注该些初始医学影像片中各自对应的一预测范围;
计算该些标注医学影像片各自对应的该目标范围与该些初始医学影像片中各自对应的该预测范围的一重叠面积;以及
将该些重叠面积除以该些标注医学影像片各自对应的该目标范围,以得到复数个相似度系数;
其中,当该些相似度系数都在一预设数值范围,或高于该准确率门槛值的该些相似度系数的数量超过一预设比例时,视为该影像辨识模型的该准确率高于该准确率门槛值。
4.如权利要求1所述的医学影像辨识方法,其特征在于,依据该影像辨识模型计算该些初始医学影像片或由该些初始医学影像片形成的该些初始医学影像堆的各自对应的该些影像变化率的步骤中,该些影像变化率是指复数个面积变化率或复数个体积变化率,其中该影像辨识模型依据该些初始医学影像片形成的该些初始医学影像堆,以获得复数个预测医学影像堆。
5.如权利要求4所述的医学影像辨识方法,其特征在于,依据该影像辨识模型计算该些初始医学影像片或由该些初始医学影像片形成的该些初始医学影像堆的各自对应的该些影像变化率的步骤中,该医学影像辨识方法更包含:
将该些预测医学影像堆中的一第一预测医学影像片所对应的一第一目标范围减去该些预测医学影像堆中的一第二预测医学影像片所对应的一第二目标范围后得到一面积差值;以及
将该面积差值除以该第一预测医学影像片所对应的该第一目标范围,以取得该些影像变化率的其中一个。
6.如权利要求4所述的医学影像辨识方法,其特征在于,依据该些影像变化率,挑选该些初始医学影像堆或该些初始医学影像片的其中至少一个作为该至少一训练医学影像片的步骤中,更包含:
在每个预测医学影像堆中的复数个预测医学影像片各自对应的该目标范围的面积依时序为渐增趋势时,挑选该些影像变化率为正值的预测医学影像片作为该至少一训练医学影像片;以及
在每个预测医学影像堆中的该些预测医学影像片各自对应的该目标范围的面积依时序为渐减趋势时,挑选该些影像变化率为负值的预测医学影像片作为该至少一训练医学影像片。
7.如权利要求4所述的医学影像辨识方法,其特征在于,于依据该些影像变化率,挑选该些初始医学影像堆或该些初始医学影像片的其中至少一个作为该至少一训练医学影像片的步骤中,更包含:
挑选每个预测医学影像堆或每个预测医学影像堆中的复数个预测医学影像片中各自对应的该些影像变化率大于一变化率门槛值的预测医学影像堆或预测医学影像片对应的该初始医学影像堆或该初始医学影像片作为该至少一训练医学影像片。
8.如权利要求1所述的医学影像辨识方法,其特征在于,更包含:
将该些初始医学影像堆其中之一个的该些标注医学影像片所对应的该些初始医学影像片输入该影像辨识模型,以标注该些初始医学影像片中各自对应的一预测范围;
计算该些标注医学影像片各自对应的该目标范围与该些初始医学影像片各自对应的该预测范围的一重叠体积;以及
将该些重叠体积除以该初始医学影像堆的该些标注医学影像片对应的该些目标范围,以得到复数个相似度系数;
其中,当该些相似度系数都在一预设数值范围,或高于该准确率门槛值的该些相似度系数的数量超过一预设比例时,视为该影像辨识模型的该准确率高于该准确率门槛值。
9.如权利要求4所述的医学影像辨识方法,其特征在于,依据该影像辨识模型计算该些初始医学影像片或由该些初始医学影像片形成的该些初始医学影像堆的各自对应的该些影像变化率的步骤中,该医学影像辨识方法更包含:
将该些预测医学影像堆中的一第一预测医学影像堆所对应的一第一目标体积减去该些预测医学影像堆中的一第二预测医学影像堆所对应的一第二目标体积后得到一体积差值;以及
将该体积差值除以该第二目标体积,以取得该些体积变化率的其中一个。
10.如权利要求4所述的医学影像辨识方法,其特征在于,更包含:
挑选每个预测医学影像各自对应的该些体积变化率中的大于一变化率门槛值的预测医学影像堆作为至少一训练医学影像堆;以及
获取该至少一训练医学影像堆中各自对应的该目标范围。
11.如权利要求10所述的医学影像辨识方法,其特征在于,更包含:
挑选该些体积变化率中最大者所对应的预测医学影像堆作为至少一训练医学影像堆;以及
取得该至少一训练医学影像堆中各自对应的该目标范围。
12.一种医学影像辨识装置,其特征在于,包含:
一处理器,用以建立一影像辨识模型;其中该影像辨识模型是将复数个初始医学影像堆中的复数个标注医学影像片输入一神经网络后产生;以及判断该影像辨识模型的一准确率是否高于一准确率门槛值;
其中,该处理器响应于判断该影像辨识模型的该准确率未高于该准确率门槛值时,依据该影像辨识模型计算复数个初始医学影像片或该些初始医学影像片形成的该些个初始医学影像堆的各自对应的复数个影像变化率,依据该些影像变化率,挑选该些初始医学影像堆或该些初始医学影像片的其中至少一个作为至少一训练医学影像片,获取该至少一训练医学影像片中各自对应的一目标范围,以重新建立该影像辨识模型。
13.如权利要求12所述的医学影像辨识装置,其特征在于,该处理器响应于判断该影像辨识模型的该准确率高于该准确率门槛值时,代表该影像辨识模型建立完成。
14.如权利要求12所述的医学影像辨识装置,其特征在于,该处理器更用于将该些标注医学影像片所对应的该些初始医学影像片输入该影像辨识模型,以标注该些初始医学影像片中各自对应的一预测范围;以及计算该些标注医学影像片各自对应的该目标范围与该些初始医学影像片中各自对应的该预测范围的一重叠面积,将该些重叠面积除以该些标注医学影像片各自对应的该目标范围,以得到复数个相似度系数;当该些相似度系数都在一预设数值范围,或高于该准确率门槛值的该些相似度系数的数量超过一预设比例时,视为该影像辨识模型的该准确率高于该准确率门槛值。
15.如权利要求12所述的医学影像辨识装置,其特征在于,该些影像变化率是指复数个面积变化率或复数个体积变化率,其中该影像辨识模型依据该些初始医学影像片形成的该些初始医学影像堆,以获得复数个预测医学影像堆。
16.如权利要求15所述的医学影像辨识装置,其特征在于,该处理器更用以处理以下运算:
将该些预测医学影像堆中的一第一预测医学影像片所对应的一第一目标范围减去该些预测医学影像堆中的一第二预测医学影像片所对应的一第二目标范围后得到一面积差值;以及
将该面积差值除以该第一预测医学影像片所对应的该第一目标范围,以取得该些影像变化率的其中一个。
17.如权利要求15所述的医学影像辨识装置,其特征在于,该处理器更用以处理以下运算:
在每个预测医学影像堆中的复数个预测医学影像片各自对应的该目标范围的面积依时序为渐增趋势时,挑选该些影像变化率为正值的预测医学影像片作为该至少一训练医学影像片;以及
在每个预测医学影像堆中的该些预测医学影像片各自对应的该目标范围的面积依时序为渐减趋势时,挑选该些影像变化率为负值的预测医学影像片作为该至少一训练医学影像片。
18.如权利要求15所述的医学影像辨识装置,其特征在于,该处理器更用以处理以下运算:
挑选每个预测医学影像堆或每个预测医学影像堆中的复数个预测医学影像片中各自对应的该些影像变化率大于一变化率门槛值的预测医学影像堆或预测医学影像片对应的该初始医学影像堆或该初始医学影像片作为该至少一训练医学影像片。
19.如权利要求12所述的医学影像辨识装置,其特征在于,该处理器更用以处理以下运算:
将该些初始医学影像堆其中之一个的该些标注医学影像片所对应的该些初始医学影像片输入该影像辨识模型,以标注该些初始医学影像片中各自对应的一预测范围;
计算该些标注医学影像片各自对应的该目标范围与该些初始医学影像片各自对应的该预测范围的一重叠体积;以及
将该些重叠体积除以该初始医学影像堆的该些标注医学影像片对应的该些目标范围,以得到复数个相似度系数;
其中,当该些相似度系数都在一预设数值范围,或高于该准确率门槛值的该些相似度系数的数量超过一预设比例时,视为该影像辨识模型的该准确率高于该准确率门槛值。
20.如权利要求15所述的医学影像辨识装置,其特征在于,该处理器更用以处理以下运算:
将该些预测医学影像堆中的一第一预测医学影像堆所对应的一第一目标体积减去该些预测医学影像堆中的一第二预测医学影像堆所对应的一第二目标体积后得到一体积差值;以及
将该体积差值除以该第二目标体积,以取得该些体积变化率的其中一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109111143A TWI783219B (zh) | 2020-04-01 | 2020-04-01 | 醫學影像辨識方法及醫學影像辨識裝置 |
TW109111143 | 2020-04-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113496478A true CN113496478A (zh) | 2021-10-12 |
CN113496478B CN113496478B (zh) | 2024-02-02 |
Family
ID=77922624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010375917.5A Active CN113496478B (zh) | 2020-04-01 | 2020-05-07 | 医学影像辨识方法及医学影像辨识装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11494905B2 (zh) |
CN (1) | CN113496478B (zh) |
TW (1) | TWI783219B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI809737B (zh) * | 2022-02-25 | 2023-07-21 | 長庚醫療財團法人林口長庚紀念醫院 | 髖關節影像篩選方法及電子系統 |
CN115995289B (zh) * | 2023-03-20 | 2023-06-30 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 基于神经网络模型对医学图像的勾画方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040220466A1 (en) * | 2003-04-02 | 2004-11-04 | Kazuhiko Matsumoto | Medical image processing apparatus, and medical image processing method |
US20130051646A1 (en) * | 2011-07-29 | 2013-02-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
CN107886503A (zh) * | 2017-10-27 | 2018-04-06 | 重庆金山医疗器械有限公司 | 一种消化道解剖位置识别方法及装置 |
KR20180040287A (ko) * | 2016-10-12 | 2018-04-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
CN109829892A (zh) * | 2019-01-03 | 2019-05-31 | 众安信息技术服务有限公司 | 一种预测模型的训练方法、使用该模型的预测方法及装置 |
US20190251694A1 (en) * | 2018-02-14 | 2019-08-15 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
US10496884B1 (en) * | 2017-09-19 | 2019-12-03 | Deepradiology Inc. | Transformation of textbook information |
CN110930414A (zh) * | 2019-10-17 | 2020-03-27 | 平安科技(深圳)有限公司 | 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6882743B2 (en) * | 2001-11-29 | 2005-04-19 | Siemens Corporate Research, Inc. | Automated lung nodule segmentation using dynamic programming and EM based classification |
US9675317B2 (en) * | 2014-12-22 | 2017-06-13 | Toshiba Medical Systems Corporation | Interface identification apparatus and method |
US9947102B2 (en) * | 2016-08-26 | 2018-04-17 | Elekta, Inc. | Image segmentation using neural network method |
CN109583440B (zh) * | 2017-09-28 | 2021-12-17 | 北京西格码列顿信息技术有限公司 | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 |
KR20190046471A (ko) * | 2017-10-26 | 2019-05-07 | 삼성전자주식회사 | 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치 |
CN209770401U (zh) * | 2019-03-11 | 2019-12-13 | 四川大学华西医院 | 医学图像快速分析处理系统 |
CN110599451B (zh) * | 2019-08-05 | 2023-01-20 | 平安科技(深圳)有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
US11462315B2 (en) * | 2019-11-26 | 2022-10-04 | Enlitic, Inc. | Medical scan co-registration and methods for use therewith |
-
2020
- 2020-04-01 TW TW109111143A patent/TWI783219B/zh active
- 2020-05-07 CN CN202010375917.5A patent/CN113496478B/zh active Active
- 2020-07-01 US US16/918,245 patent/US11494905B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040220466A1 (en) * | 2003-04-02 | 2004-11-04 | Kazuhiko Matsumoto | Medical image processing apparatus, and medical image processing method |
US20130051646A1 (en) * | 2011-07-29 | 2013-02-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
KR20180040287A (ko) * | 2016-10-12 | 2018-04-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
US10496884B1 (en) * | 2017-09-19 | 2019-12-03 | Deepradiology Inc. | Transformation of textbook information |
CN107886503A (zh) * | 2017-10-27 | 2018-04-06 | 重庆金山医疗器械有限公司 | 一种消化道解剖位置识别方法及装置 |
US20190251694A1 (en) * | 2018-02-14 | 2019-08-15 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
CN109829892A (zh) * | 2019-01-03 | 2019-05-31 | 众安信息技术服务有限公司 | 一种预测模型的训练方法、使用该模型的预测方法及装置 |
CN110930414A (zh) * | 2019-10-17 | 2020-03-27 | 平安科技(深圳)有限公司 | 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202139209A (zh) | 2021-10-16 |
US20210312614A1 (en) | 2021-10-07 |
TWI783219B (zh) | 2022-11-11 |
CN113496478B (zh) | 2024-02-02 |
US11494905B2 (en) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
JP5868231B2 (ja) | 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム | |
Lo et al. | A multiple circular path convolution neural network system for detection of mammographic masses | |
CA2610345C (en) | System and method of computer-aided detection | |
Roslan et al. | Skull stripping of MRI brain images using mathematical morphology | |
JP2018061771A (ja) | 画像処理装置、及び画像処理方法 | |
US8285013B2 (en) | Method and apparatus for detecting abnormal patterns within diagnosis target image utilizing the past positions of abnormal patterns | |
CN102831614B (zh) | 基于交互式字典迁移的序列医学图像快速分割方法 | |
CN113496478B (zh) | 医学影像辨识方法及医学影像辨识装置 | |
Maitra et al. | Automated digital mammogram segmentation for detection of abnormal masses using binary homogeneity enhancement algorithm | |
Dai et al. | Locating anatomical landmarks on 2D lateral cephalograms through adversarial encoder-decoder networks | |
WO2021183765A1 (en) | Automated detection of tumors based on image processing | |
CN113743463A (zh) | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统 | |
Kwon et al. | Multistage probabilistic approach for the localization of cephalometric landmarks | |
Pham et al. | Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks | |
WO2020007026A1 (zh) | 分割模型训练方法、装置及计算机可读存储介质 | |
US20210125334A1 (en) | System and Method for Analyzing Three-Dimensional Image Data | |
Azli et al. | Ultrasound image segmentation using a combination of edge enhancement and kirsch’s template method for detecting follicles in ovaries | |
CN112950552B (zh) | 一种基于卷积神经网络的肋骨分割标记方法及系统 | |
Chen et al. | Detection of Various Dental Conditions on Dental Panoramic Radiography Using Faster R-CNN | |
Lee et al. | Learning radiologist’s step-by-step skill for cervical spinal injury examination: Line drawing, prevertebral soft tissue thickness measurement, and swelling detection | |
Nandi et al. | Genetic programming and feature selection for classification of breast masses in mammograms | |
CN115132357B (zh) | 基于医学影像图预测目标疾病指标状态的装置 | |
Tsai et al. | Calcification Clusters And Lesions Analysis In Mammogram Using Multi-Architecture Deep Learning Algorithms | |
CN117058467B (zh) | 一种胃肠道病变类型识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |