CN117153341A - 扫描协议推荐装置、模型训练装置以及模型训练方法 - Google Patents
扫描协议推荐装置、模型训练装置以及模型训练方法 Download PDFInfo
- Publication number
- CN117153341A CN117153341A CN202210554470.7A CN202210554470A CN117153341A CN 117153341 A CN117153341 A CN 117153341A CN 202210554470 A CN202210554470 A CN 202210554470A CN 117153341 A CN117153341 A CN 117153341A
- Authority
- CN
- China
- Prior art keywords
- scan protocol
- protocol
- model
- information
- scan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 242
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000007689 inspection Methods 0.000 claims abstract description 176
- 239000013598 vector Substances 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 44
- 238000002372 labelling Methods 0.000 claims description 33
- 230000005855 radiation Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 238000013507 mapping Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000003759 clinical diagnosis Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000002417 xiphoid bone Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供能够更精准地支援扫描协议的推荐的模型训练装置、模型训练方法以及扫描协议推荐装置。实施方式的模型训练装置用于训练对医用图像的扫描协议进行推荐的扫描协议推荐模型,具备:取得部,取得包括对被检体进行扫描的检查的信息和扫描协议的信息的训练数据;匹配度真值确定部,根据所述训练数据,确定与所述训练数据对应的、表示所述检查与所述扫描协议之间的匹配程度的匹配度的真值;以及学习部,使用所述训练数据和所述匹配度的真值进行学习,生成以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型。
Description
技术领域
实施方式涉及推荐扫描协议的扫描协议推荐装置、对扫描协议推荐模型进行训练的模型训练装置以及模型训练方法。
背景技术
在利用X射线摄影装置、CT(Computed Tomography:计算机断层摄影)装置、MRI(Magnetic Resonance Imaging:磁共振成像)、超声波检测装置等医用图像采集装置对被检体进行扫描时,由于即使是类似的病症,对于不同的病人也可能需要个性化的扫描方案,因此一般来说会针对扫描检查预先确定适合被检体的扫描协议,从而按照扫描协议进行扫描,以便取得希望的医用图像。
扫描协议是对扫描的过程和扫描涉及的参数进行规定的协议,一般包括定位扫描参数、重建扫描参数、剂量控制相关参数以及其他扫描参数例如轴向扫描参数、螺旋扫描参数、容积扫描参数等。
以往的扫描协议确定方法包括人工设定扫描协议或者选择既有扫描协议的方法、以及利用分类器自动选择既有扫描协议的方法。
在人工设定扫描协议或者选择既有扫描协议的方法中,通常由临床医生或者放射科医生设定相关参数或者从既有扫描协议中选择进行检查所使用的扫描协议。但是,对于缺乏影像知识的临床医生来说,设定或选择的扫描协议可能并不准确。而且,通过人工来确定扫描协议,可能由于经验缺乏、工作繁忙、注意力分散等原因,或者由于未能及时得到被检体和检查的信息,而导致扫描协议不准确。
在利用分类器自动选择既有扫描协议的方法中,预先定义一系列扫描协议的类别,将每个类别关联至少一个协议,再利用以往执行过的检查的信息与扫描协议的对应数据作为训练数据训练分类器,从而利用训练完毕的分类器,根据检查信息推断检查所属的类别,来选择与该类别相关的扫描协议。
但是,现有的分类器的训练中并不会充分学习检查报告、临床诊断结果、后续检查等检查前后的完备信息,即使这些信息也有助于评价检查和协议之间的匹配。
因此,现有分类器的训练数据并不完善。而且,分类器的模型的推荐结果受限于训练数据,而无法直接匹配医院可供使用的候选扫描协议。进而,分类结果仅限于训练数据中使用的协议,而且只能从候选扫描协议中推荐与分类结果近似的协议,不能生成新的协议。此外,现有分类器的模型结构也受限于训练数据,再追加新的训练数据时需要改变模型结构,不同医院之间的也无法共用分类器模型。
发明内容
本发明就是鉴于以上问题而完成的,其目的在于提供一种能够更精准地支援扫描协议的推荐的模型训练装置、模型训练方法以及扫描协议推荐装置。
实施方式的模型训练装置用于训练对医用图像的扫描协议进行推荐的扫描协议推荐模型,具备:取得部,取得包括对被检体进行扫描的检查的信息和扫描协议的信息的训练数据;匹配度真值确定部,根据所述训练数据,确定与所述训练数据对应的、表示所述检查与所述扫描协议之间的匹配程度的匹配度的真值;以及学习部,使用所述训练数据和所述匹配度的真值进行学习,生成以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型。
此外,实施方式的模型训练方法用于训练对医用图像的扫描协议进行推荐的扫描协议推荐模型,包括:取得步骤,取得包括对被检体进行扫描的检查的信息和扫描协议的信息的训练数据;匹配度真值确定步骤,根据所述训练数据,确定与所述训练数据对应的、表示所述检查与所述扫描协议之间的匹配程度的匹配度的真值;以及学习步骤,使用所述训练数据和所述匹配度的真值进行学习,生成以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型。
根据本发明的模型训练装置和模型训练方法,通过评估检查与协议的匹配度,能够训练出输出检查与协议的匹配度从而更加精准地支援扫描协议的推荐的模型。
此外,实施方式的扫描协议推荐装置具备:信息取得部,取得对被检体进行扫描的检查的信息和候选扫描协议的信息;评分部,按照每个候选扫描协议,将所述检查的信息与候选扫描协议的信息分别输入由模型训练装置生成的扫描协议推荐模型,从而输出候选扫描协议与检查的匹配度;以及扫描协议选择部,根据所述候选扫描协议与检查的匹配度,从候选扫描协议中选择推荐用于所述检查的推荐扫描协议。
根据本发明的扫描协议推荐装置,通过利用输出检查与扫描协议的匹配度的扫描协议推荐模型而能够更加精准地推荐扫描协议。
附图说明
图1是表示第一实施方式的包括模型训练装置和扫描协议推荐装置在内的扫描协议推荐系统的功能构成的一例的框图。
图2是表示能够采集出检查信息和扫描信息的病例的一例的示意图。
图3是表示将检查信息、协议信息以及匹配度相对应地存储的数据库的一例的示意图。
图4是表示对训练数据标注匹配度的标注处理的一例的流程图。
图5是表示对训练数据标注匹配度的标注处理的另一例的流程图。
图6的(a)是表示第一实施方式涉及的检查特征向量的计算的示意图;图6的(b)是表示第一实施方式涉及的扫描特征向量的计算的示意图。
图7是表示第一实施方式涉及的空间映射处理的一例的示意图。
图8是用于说明第一实施方式涉及的扫描协议推荐模型的构成的一例的说明图。
图9是用于说明第一实施方式涉及的模型训练装置的模型训练过程的流程图。
图10是用于说明第一实施方式涉及的学习单元中的模型训练处理的流程图。
图11是表示第一实施方式涉及的扫描协议推荐装置进行扫描协议推荐的一例的示意图。
图12是用于说明第一实施方式涉及的扫描协议推荐装置的扫描协议推荐处理的流程图。
图13是用于说明扫描协议推荐模型的构成的另一例的说明图。
图14是用于说明扫描协议推荐模型的构成的另一例的说明图。
图15是表示第二实施方式的包括模型训练装置和扫描协议推荐装置在内的扫描协议推荐系统的功能构成的一例的框图。
图16的(a)和(b)是表示第二实施方式涉及的扫描协议推荐装置的显示单元的显示例的示意图。
图17是用于说明第二实施方式涉及的扫描协议推荐装置的扫描协议推荐处理的流程图。
图18是用于说明第二实施方式涉及的反馈处理的流程图。
图19是表示第三实施方式的包括模型训练装置和扫描协议推荐装置在内的扫描协议推荐系统的功能构成的一例的框图。
图20是用于说明第三实施方式涉及的扫描协议推荐模型和扫描协议生成模型的构成的一例的说明图。
图21是用于说明第三实施方式涉及的模型训练装置的模型训练过程的流程图。
图22的(a)和(b)是表示第三实施方式涉及的扫描协议推荐装置的显示单元的显示例的示意图。
图23是用于说明第三实施方式涉及的扫描协议推荐装置的扫描协议推荐处理的流程图。
附图标记说明:
100、100a、100b模型训练装置;200、200a、200b扫描协议推荐装置;10取得单元;20匹配度真值确定单元;30、30a学习单元;31检查特征计算模块;32扫描协议特征计算模块;33训练模块;34评分模块;40反馈信息取得单元;50扫描协议生成模型制作单元;51编码器;52解码器;60信息取得单元;70评分单元;80扫描协议选择单元;90扫描协议生成单元;110显示单元;120反馈单元。
具体实施方式
以下,参照附图,详细地说明本发明的扫描协议推荐装置、模型训练装置以及模型训练方法的优选实施方式。
为了说明的方便,本发明中将输出模型的模型训练装置与使用该模型的扫描协议推荐装置统合构成了扫描协议推荐系统来进行说明。但是,模型训练装置和扫描协议推荐装置也可以是相互独立的装置,模型训练装置所生成的模型作为商品组入扫描协议推荐装置以便用来进行扫描协议的推荐。
此外,本发明涉及的模型训练装置和扫描协议推荐装置分别由多个功能模块构成,能够作为软件而安装在独立的计算机等具有CPU(central process unit:中央处理器)和存储器的设备中,或者分散安装于多个设备中,通过某个处理器执行保存在存储器中的模型训练装置的各个功能模块来实现。也可以作为能够执行模型训练装置或者扫描协议推荐装置的各个功能的电路而以硬件的方式实现。实现模型训练装置或者扫描协议推荐装置的电路能够经由互联网等网络进行数据的收发以及数据的采集。此外,本发明涉及的模型训练装置或者扫描协议推荐装置也可以作为CT装置或磁共振成像装置等医用图像采集装置中的一部分而直接安装在医用图像采集装置中。此外,模型训练装置和扫描协议推荐装置可以安装在同一个设备中,也可以以不同的形式安装在不同设备中。
(第一实施方式)
首先,参照图1至图13对第一实施方式进行说明。
图1是表示第一实施方式的包括模型训练装置和扫描协议推荐装置在内的扫描协议推荐系统的功能构成的一例的框图。如图1所示,扫描协议推荐系统包括对扫描协议推荐模型进行训练的模型训练装置100和使用扫描协议推荐模型的扫描协议推荐装置200。
其中,模型训练装置100具有取得单元10、匹配度真值确定单元20、以及学习单元30。取得单元10从医院等医疗设施的数据库或者图像采集装置等外部装置取得检查的信息和扫描协议的信息作为训练数据。
具体来说,检查的信息是与被检体的扫描检查有关的信息,包括被检体的性别、年龄、就诊时间、科别、主诉、病史、临床印象或诊断过程等信息,也可以包括医学影像、检查报告、临床诊断结果、后续检查等信息。检查的信息可以涵盖被检体的扫描检查前后的各种信息,所谓检查之前的信息是在执行扫描之前就能够取得信息,例如被检体的性别、年龄、就诊时间、科别、主诉、病史、临床印象等,所谓检查之后的信息,是指执行扫描之后才能取得的信息,例如医学影像、检查报告、临床诊断结果、后续检查等信息。可以根据需要或者能够采集的信息范围来选择其中的某几种信息作为训练数据。
协议信息是与被检体的扫描检查中使用的扫描协议有关的信息,包括协议的名称、描述、扫描参数(定位扫描参数、重建扫描参数例如预定义的SureIQ、剂量控制相关参数例如预定义的SureExposure以及其他扫描参数等)等信息。可以根据需要或者能够采集的信息范围来选择其中的某几种信息作为训练数据。
例如,图2是表示能够采集出检查信息和扫描信息的病例的一例的示意图。利用现有的信息检索和提取技术,能够从图2所示的病例中提取到“上腹部CT平扫,剑突基线,仰卧位横断面扫,层厚层距均5.0mm”这样的协议信息以及在“放射学表现”和“放射学诊断”中记载的检查后的检查信息。此外,也可以从病例中取得扫描协议的名称等基本识别信息后以该基本识别信息为关键字而从医疗指南或者行业现有数据库中检索并取得扫描协议的详细参数。
此外,匹配度真值确定单元20根据取得单元10取得的训练数据,确定分别与每组训练数据对应的、表示训练数据中的检查信息示出的扫描检查与检查中所采用的扫描协议之间的匹配程度的匹配度,作为匹配度的真值。
所谓匹配度是能够用来评价扫描检查与扫描协议之间的匹配程度的度量。例如,在以评分的高低体现匹配程度时,在扫描协议适合检查的情况下,较高地设定匹配度,反之,在扫描协议不适合检查而难以获得有效的扫描结果的情况下,较低地设定匹配度。
此外,匹配度既可以是单个的评分,例如综合性的评分或者针对某个方面的评分,也可以是针对相关性、图像质量、辐射剂量等多个方面分别评分而成的多个分值的组合。例如本实施方式中以匹配度包括相关性评分、图像质量评分以及辐射剂量评分的情况为例进行说明。但是本发明不限于此,还可以包括其他方面的评分例如扫描设备占用时间,也可以包括相关性评分、图像质量评分以及辐射剂量评分中的至少一个评分。
匹配度真值确定单元20通过后述的标注方法,对训练数据标注匹配度作为真值,能够获得例如图3所示那样的训练数据。图3是表示将检查信息、协议信息以及匹配度相对应地存储的数据库的一例的示意图,模型训练装置100能够在数据库中如图3所示那样存储训练数据。图3中的示例中示出该患者的检查前的各种检查信息与胸部高分辨CT的协议信息之间的匹配度为:相关性评分0.9、图像质量评分1.0、辐射剂量评分0.8。评分的标准是预先设定的。但是,在本发明中,还可以存储扫描检查之后的信息,而将扫描检查之后的信息用于对匹配度的标注。
对训练数据标注匹配度的方法主要有以下几种方法。
例如,可以通过人工标注的方法对训练数据标注匹配度。具体来说,匹配度真值确定单元20具有人机交互接口,来受理医生等具有标注知识的人员根据所显示检查信息(包括检查之前的信息和检查之后的信息)以及扫描协议信息而输入的表示匹配程度的分值,将该分值作为匹配度。
此外,也可以使用启发式规则的方法对训练数据标注匹配度。启发式规则是预先基于经验制定一系列评分规则(即启发式规则),匹配度真值确定单元20按照该启发式规则对训练数据进行标注。作为启发式规则的例子,例如有如下规则,匹配度真值确定单元20按照如下规则的顺序依次执行来进行评分:
·设定匹配度的平均初始值;
·在阅片报告中未记载质量时,认为是质量可以接受的图像,图像质量评分加1.0;
·在阅片报告中有“运动伪影”等的记载时,图像质量评分减0.2;
·对同一部位、同一目的,有重复扫描的情况时,图像质量评分减0.4;
·在辐射剂量报告中辐射剂量值超过专家共识的标准时,辐射剂量评分减0.2;
·采纳医生对图像的手动打分或质量报告;
·对于某个历史检查,随机地抽取不相关的协议时,图像质量评分设定为0.01;
·……其他规则等等。
此外,也可以是,匹配度真值确定单元20使用少量人工标注的数据训练出能够进行匹配度标注的机器学习标注模型,并用该机器学习模型标注其余的未用于训练机器学习标注模型的其他训练数据。在标注模型的训练中,也可以将扫描检查之后的信息作为训练数据而能够全面考虑扫描检查前后的信息对标注模型进行学习。在训练数据中包括检查之后的信息的情况下,能够训练出更加准确的标注模型。
此外,匹配度真值确定单元20也可以受理对已经标注的匹配度进行的人工确认或修改。
本发明的标注方法不限于以上的方法,也可以使用其他方法来进行匹配度的标注,只要能够表现出检查与扫描协议之间的匹配度的方法即可。此外,也可以组合两种以上的标注方法来进行标注。
图4是表示对训练数据标注匹配度的标注处理的一例的流程图。在图4的例子中使用了启发式规则与人工确认相结合的方法。在标注训练数据时,首先匹配度真值确定单元20读取启发式规则(步骤S401),用启发式规则对训练数据标注匹配度(步骤S402)。接着,在步骤S403,匹配度真值确定单元20通过向医生等专业人员显示标注的匹配度,从而接受人工的确认以及对标注的修正。对一组训练数据标注完毕之后,存储已标注的数据作为匹配度的真值(步骤S504)。
图5是表示对训练数据标注匹配度的标注处理的另一例的流程图。在图5的例子中使用了标注模型与人工确认相结合的方法。在标注训练数据时,首先匹配度真值确定单元20受理对少量训练数据的人工标注(步骤S501)。接着,在步骤S502,匹配度真值确定单元20通过自然语言处理、关键字匹配等方法提取被人工标注的训练数据的特征,使用深度神经网络或随机森林等方法而利用已标注数据的特征来训练标注模型。此外,这里的模型训练方法也可以使用后述的学习单元30所采用的训练方法(步骤S503)。接着,在步骤S504,匹配度真值确定单元20使用所生成标注模型来标注未用于标注模型的训练的其他训练数据。接着,在步骤S505,匹配度真值确定单元20通过向医生等专业人员显示通过标注模型标注的匹配度,从而接受人工的确认以及对标注的修正。对一组训练数据标注完毕之后,存储已标注的数据作为匹配度的真值(步骤S506)。
学习单元30使用取得单元10取得的训练数据以及对该训练数据进行标注得到的匹配度的真值进行模型的学习,生成以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型。
学习单元30可以利用神经元网络或者机器学习的算法建立将检查的信息和扫描协议的信息与匹配度建立关联的初始模型,并利用训练数据(匹配度的真值也包括在训练数据中)对该初始模型进行学习优化,从而得到已学习的扫描协议推荐模型。由于在获得匹配度的真值的过程中已经使用了执行扫描检查之后才能获得的检查之后的信息,而且所训练的模型在使用中往往用户只能获得检查之前的信息,因此,在学习单元30的训练中使用的检查的信息仅为检查之前的信息,即可以不使用检查之后的信息进行扫描协议推荐模型的训练。
此外,模型的构成并不特别限定,能够利用已有或者未来可能出现的各种算法和方法建立模型。作为一个例子,在第一实施方式中,学习单元30通过将检查信息的特征与扫描协议信息的特征应用于空间映射网络和相似度计算网络来建立扫描协议推荐模型。
具体来说,如图1所示,学习单元30具有检查特征计算模块31、扫描协议特征计算模块32以及训练模块33。
其中,检查特征计算模块31从训练数据的检查信息中计算检查特征。检查特征是检查信息中存在的、能够体现出检查的特点的特征。能够利用自然语言处理、关键字匹配方法从检查信息中提取,例如可以是患者姓名、年龄、就诊时间、科别、主诉、病史、诊断结果等特征。检查特征计算模块31利用TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文件频率)、Word2vec等词向量生成工具对检查特征进行加工,使特征向量化而生成检查特征向量。
例如图6的(a)示出检查特征向量的一例。如图6的(a)所示,根据左侧的检查信息计算出右侧所示的检查特征向量。所生成特征向量中的数值可以是可解释的,例如使用TF-IDF向量化后的数值,也可以是不可解释的,例如使用Word2vec向量化后的数值,其规则根据向量化的工具的不同而不同。可以使用现有的任意的向量化工具计算检查特征向量。
此外,扫描协议特征计算模块32利用与检查特征计算模块31所使用的词向量生成工具相同的词向量生成工具对扫描协议特征进行加工,而生成扫描协议特征向量。
例如图6的(b)示出扫描协议特征向量的一例。如图6的(b)所示,根据左侧的扫描协议信息计算出右侧所示的扫描协议特征向量。
此外,训练模块33建立计算检查特征计算模块31生成的检查特征向量与扫描协议特征计算模块32生成的扫描协议特征向量的相似度的模型作为初始模型,以使模型输出的相似度接近匹配度的真值的方式对初始模型进行训练,获得已训练模型,将该已训练模型合并检查特征计算模块31以及扫描协议特征计算模块32,作为训练完毕的扫描协议推荐模型。
如果将检查特征向量与扫描协议特征向量空间映射到同一个空间,则认为检查和协议的匹配度越高,检查特征向量与扫描协议特征向量越相似。例如图7中示出了将检查特征向量与扫描协议特征向量映射到同一空间中的一例。其中,将检查a1、检查a2、检查a3各自的检查特征向量映射到检查特征空间,将协议b1、协议b2、协议b3各自的扫描协议特征向量映射到扫描协议特征空间,再将两个空间统合为统一的空间的情况下,得到图7中的最右侧所示的空间,其中的检查a2与协议b2的几乎落在同一点,因为认为检查a2与协议b2之间的匹配度最高。基于这样的认识,训练模块33将检查特征向量与扫描协议特征向量映射到同一个空间中进行检查特征与协议特征的相似度判断。
空间映射的方法可以采用现有的或者未来可能出现的任意方法,例如,以一层全连接和Sigmoid激活函数构成的Two-tower Model类型的模型为例,可以通过如下式(1)进行空间的映射。
其中,x为输入特征向量,y为输出向量,W和b都是待训练的参数。
在检查特征向量与扫描协议特征向量的维度不相同的情况下,可以通过升维处理或降维处理来进行统一的空间映射。
训练模块33在统一空间下,利用相似度计算网络计算检查特征和协议特征的相似度。相似度计算网络可以采用现有的或者未来可能出现的任意方法来建立,以余弦相似度为例,可以通过如下式(2)来建立。
其中,y1、y2分别为空间映射之后的检查特征向量与扫描协议特征向量。训练模块33利用训练数据构成的训练集进行迭代训练,来调整式(1)与式(2)中的各个参数,直到验证集中式(2)得到的相似度无法再接近匹配度的真值或者达到规定的目标为止。由此,将式(1)和式(2)训练完毕,再合并检查特征计算模块31以及扫描协议特征计算模块32的特征提取算法,作为已训练的以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型加以输出。
由此,模型训练装置100生成扫描协议推荐模型而作为产品加以输出。图8是用于说明第一实施方式涉及的扫描协议推荐模型的构成的一例的说明图。如图8所示,模型训练装置100生成主体由特征提取、空间映射网络和相似度计算网络构成的扫描协议推荐模型。这样,在对该扫描协议推荐模型输入检查信息和候选的扫描协议的信息时,通过该扫描协议推荐模型就能够输出表示所输入的检查信息对应的扫描检查与候选的扫描协议之间的匹配程度的匹配度。
下面对第一实施方式的模型训练装置100的整体处理进行说明。图9是用于说明第一实施方式涉及的模型训练装置的模型训练过程的流程图。
首先,模型训练处理开始之后,取得单元10从外部接收已经执行过的扫描检查的信息和在该扫描检查中使用的扫描协议的信息作为训练数据(步骤S901),接着,在步骤S902中,匹配度真值确定单元20对取得单元10取得的训练数据标注匹配度作为训练数据的匹配度的真值。
接下来,进入步骤S903,检查特征计算模块31从训练数据的检查信息中计算检查特征,扫描协议特征计算模块32从训练数据的扫描协议信息中计算扫描协议特征(步骤S904),从而训练模块33利用检查特征和扫描协议特征建立相似度网络,并利用训练数据进行学习,生成已训练的扫描协议推荐模型(步骤S905),并存储已训练的扫描协议推荐模型(步骤S906)。
此外,训练模块33也可以逐条利用训练数据训练扫描协议推荐模型。图10是用于说明第一实施方式涉及的训练模块33中的模型训练处理的一例的流程图。
如图10所示,在训练模块33进行训练时,先利用任意初始系数来初始化模型(步骤S1001),接着读取至少一组(一条)训练数据,该训练数据包检查信息、扫描协议信息、检查与扫描协议的匹配度真值(步骤S1002),根据该条训练数据中的检查信息和协议信息,用模型来预测检查和扫描协议的匹配度(步骤S1003)。
接着,在步骤S1004,将模型预测的匹配度与训练数据的匹配度真值进行比较,计算模型预测的匹配度与训练数据的匹配度真值之间的差异,例如计算预测的匹配度与匹配度真值的均方差等,根据该差异来更新模型,例如可以利用随机梯度下降法来更新模型系数(步骤S1005)。
接着,在步骤S1006中利用验证集检验更新后的模型是否合格,例如在迭代次数足够多时,或者验证集上的效果超过预先设定的阈值时,认为更新后的模型合格而结束训练处理(步骤S1006:是)。在更新后的模型不合格时(步骤S1006:否),返回到步骤S1002,读取下一条的训练数据。通过对训练数据进行这样的迭代处理,来更新模型,直到在步骤S1006中判断为模型合格为止。
另一方面,扫描协议推荐装置200能够通过购买产品等途径取得已训练的扫描协议推荐模型,利用该扫描协议推荐模型进行扫描协议的推荐。
返回图1的说明,扫描协议推荐装置200具有信息取得单元60、评分单元70以及扫描协议选择单元80。
信息取得单元60取得对被检体进行扫描的检查的信息和候选扫描协议的信息。信息取得单元60所取得的检查信息是需要进行扫描检查的患者等被检体的与检查有关的信息,一般为进行检查之前的信息。另外,候选扫描协议的信息是作为可选择的扫描协议的候选的扫描协议的信息。例如候选扫描协议的信息可以是医院等进行扫描检查的场所能够提供的所有扫描协议的信息。另外,候选扫描协议的信息并不限于训练数据中的出现的扫描协议的信息,也可以是在模型训练中未出现过的扫描协议的信息。
评分单元70按照每个候选扫描协议,将检查的信息与各个候选扫描协议的信息分别输入扫描协议推荐模型,从而输出候选扫描协议与检查的匹配度。
另外,由于该扫描协议推荐模型多用于对还未进行检查的患者判断适合的扫描协议,因此,一般来说输入扫描协议推荐模型的检查信息中不存在检查之后的信息。对此,可以在扫描协议推荐模型用的训练数据中仅使用检查之前的信息,而不使用检查之后的信息。但是,也有时无法获得训练数据中使用过的某些检查之前的信息,在这种情况下,特征向量中对应于未被获得的信息的特征会被作为未确定的部分进行处理,例如使用TF-IDF进行向量化的情况下,未知的检查特征的数值被设为零。也就是说,使用扫描协议推荐模型时的检查信息中的特征个数也可以与训练扫描协议推荐模型时的作为训练数据的检查信息中的特征个数不相同。这样,本发明的扫描协议推荐模型例如也可以适用于患者信息(如年龄、性别、病史等)不详的情况。当然,扫描协议推荐模型也可以被用对已完成检查的患者的扫描协议进行的评价工作,在这种情况下,会获得更多的检查信息。
图11是表示第一实施方式涉及的扫描协议推荐装置进行扫描协议推荐的一例的示意图。如图所示,在该例子中,评分单元70将同一个检查信息分别与多个候选扫描协议A~F组成对输入到扫描协议推荐模型,从而得到分别对应于候选扫描协议A~F的匹配度。例如,将该检查信息与候选扫描协议A输入扫描协议推荐模型而得到综合匹配度0.6。
扫描协议选择单元80根据评分单元70得到的多个候选扫描协议与检查的匹配度,从对应的候选扫描协议中选择推荐用于检查的推荐扫描协议。推荐的标准可以预先设定。例如,推荐匹配度最高的候选扫描协议作为推荐扫描协议,或者,也可以将匹配度超过规定的阈值的候选扫描协议作为推荐扫描协议。例如设综合匹配度的阈值T为0.8,来对图11中示出的候选扫描协议A~F进行选择,则如图11所示,只有候选扫描协议E与检查信息之间的匹配度0.85超过阈值T,则扫描协议选择单元80将该候选扫描协议E作为推荐候选扫描协议加以输出。
此外,推荐扫描协议既可以是一个,也可以是多个。在设定有规定的阈值的情况下,如果所有匹配度都低于该规定的阈值,也可以输出没有推荐扫描协议的结果。
图12是用于说明第一实施方式涉及的扫描协议推荐装置的扫描协议推荐处理的流程图。
如图12所示,信息取得单元60接收检查信息和候选扫描协议信息(步骤S1201),接着,评分单元70读取已训练的扫描协议推荐模型(步骤S1202),利用该模型计算所接收的检查信息对应的检查与候选扫描协议之间的匹配度(步骤S1203)。扫描协议选择单元80根据候选扫描协议与检查的匹配度选择推荐扫描协议(步骤S1204),在候选扫描协议的匹配度高于规定的阈值的情况下,将该候选扫描协议作为推荐扫描协议而输出推荐扫描协议的信息(步骤S1205)。
此外,第一实施方式中,取得单元10对应于“取得部”,匹配度真值确定单元20对应于“匹配度真值确定部”,学习单元30对应于“学习部”,检查特征计算模块31对应于“检查特征计算部”,扫描协议特征计算模块32对应于“扫描协议特征计算部”,训练模块33对应于“训练部”,信息取得单元60对应于“信息取得部”,评分单元70对应于“评分部”,扫描协议选择单元80对应于“扫描协议选择部”。
根据第一实施方式,在推荐阶段,能够推荐不在训练数据中的扫描协议。例如在训练模型的训练数据只包括普通CT的协议,而医院可供选择的协议有普通CT的协议和低剂量CT的协议时,现有的分组推荐模型只能推荐训练数据中使用的普通CT的协议,而本发明的扫描协议推荐模型具有学习和分析协议参数、历史影像和诊断报告等数据的能力,能够将低剂量CT的协议也作为候选扫描协议进行推荐。因此,本发明能够更精准地匹配医院实际可用的候选协议,而不限于训练数据中的协议。
此外,根据第一实施方式,在训练阶段,在获得匹配度真值时还考虑扫描检查之后的信息,因此,能够获得而更加准确的匹配度真值,从而能够训练出更加准确的标注模型。通过充分利用历史检查报告、临床诊断结果、后续检查等信息,能够训练出更加合理地评估检查与协议的匹配度的扫描协议推荐模型。而且,不同医院之间还可以共用扫描协议推荐模型。因此,本发明能够更精准地支援扫描协议的推荐。
(第一实施方式的变形例)
在第一实施方式中,通过分别从检查信息中计算检查特征向量,从扫描协议信息中计算扫描协议特征向量,从而通过同一个空间映射网络和相似度计算网络来得到检查特征向量与扫描协议特征向量的相似度作为匹配度。但是,扫描协议推荐模型的算法并不限于此,也可以是其他任何能够将检查信息、扫描协议信息与匹配度建立关联的算法。
例如,也可以不单独提取检查信息的特征和协议信息的特征,而是先将检查信息和协议信息组合起来,再提取该组合信息的特征。图13是用于说明扫描协议推荐模型的构成的另一例的说明图。如图13所示,将检查信息和协议信息组合起来输入特征提取器提取该组合信息的特征,再利用根据信息的特征计算匹配度的匹配度计算网络来获得匹配度。
此外,例如,也可以叠加多个评分网络,分别利用评分网络从不同的角度(相关性、图像质量、辐射剂量等)计算多个评分,输出这些评分的组合作为匹配度。图14是用于说明扫描协议推荐模型的构成的另一例的说明图。如图14所示,也可以分别从检查信息中提取检查特征,从扫描协议信息中提取扫描协议特征,将检查特征和扫描协议特征输入评分网络1、评分网络2以及评分网络3,从而评分网络1根据检查特征和扫描协议特征对检查和协议的相关性进行评分,评分网络2根据检查特征和扫描协议特征对使用该扫描协议进行扫描检查得到的图像质量进行评分,评分网络3根据检查特征和扫描协议特征对使用该扫描协议进行扫描检查时的辐射剂量进行评分,从而分别得到相关性评分、图像质量评分以及辐射剂量评分,将这三个评分组合作为检查与扫描协议的匹配度。
(第二实施方式)
参照图15至图18对第二实施方式进行说明。第二实施方式的扫描协议推荐系统与第一实施方式相比较,不同点主要在于具有对扫描协议推荐模型的输出结果进行反馈而用于对模型的优化的反馈机制。以下主要针对不同点来进行说明,并适当省略重复的说明。
图15是表示第二实施方式的包括模型训练装置和扫描协议推荐装置在内的扫描协议推荐系统的功能构成的一例的框图。如图15所示,扫描协议推荐系统包括对扫描协议推荐模型进行训练的模型训练装置100a和使用扫描协议推荐模型的扫描协议推荐装置200a。
扫描协议推荐装置200a能够利用已训练的扫描协议推荐模型进行扫描协议的推荐。扫描协议推荐装置200b具有信息取得单元60、评分单元70、扫描协议选择单元80、显示单元110以及反馈单元120。
信息取得单元60取得对被检体进行扫描的检查的信息和候选扫描协议的信息。评分单元70按照每个候选扫描协议,将检查的信息与候选扫描协议的信息分别输入扫描协议推荐模型,从而输出候选扫描协议与检查的匹配度。扫描协议选择单元80根据候选扫描协议与检查的匹配度,从候选扫描协议中选择推荐用于检查的推荐扫描协议。
第二实施方式的信息取得单元60、评分单元70以及扫描协议选择单元80的构成和动作与第一实施方式相同,因此,这里省略详细的说明。
显示单元110用于使显示器显示相关的信息。例如,将推荐扫描协议与该扫描协议与检查的匹配度一起加以显示。
图16的(a)和(b)是表示第二实施方式涉及的扫描协议推荐装置的显示单元的显示例的示意图。在图16的(a)中,可以将候选扫描协议和被选择作为扫描检查中使用的协议的已选扫描协议的标识符或者名称分别显示在候选栏和已选栏中,并在相关的协议旁边显示该协议与检查的匹配度。
例如,在图16的(a)中,候选栏中按照匹配度从高到低的顺序排列记载了多个候选扫描协议,但其中不包括已选扫描协议,即,当选择了某个扫描协议进行扫描检查时,将其从候选扫描协议中删除。在已选栏中,按照执行的顺序排列被选择为在扫描检查中执行的扫描协议,例如在已选栏中按照协议E至协议C的顺序排列。通过扫描协议推荐模型的计算而被选择的扫描协议首先被放入已选栏,用户可以通过不同方向的移动键对已选栏中的扫描协议进行增加或者删除,例如将候选栏中的协议追加到已选栏,或者改变已选栏中的扫描协议的顺序。此外,也可以按照候选扫描协议的使用频率的高低或者首字母顺序等方式对候选扫描协议进行排序。
另外,在图16的(b)中示出了另一个显示例,如图16的(b)所示,在候选栏和已选栏中不显示匹配度而将不同等级的匹配度的扫描协议通过文字、符号、图标、粗细、前景色背景色、字体、字号等不同形式相区分地显示。例如在图16的(b)中将匹配度的分级范围显示于画面下方,而在候选栏和已选栏中按照对应的分级范围对相应的扫描协议标识符进行不同的显示。
反馈单元120受理对显示部110显示的推荐扫描协议以及匹配度的选择或修改,或者取得执行扫描协议的检查结果,作为反馈信息加以输出。
由于推荐扫描协议的选择是基于预先设定的规则,所以有时无法选择出符合规则的候选协议而无法进行推荐。并且,即使有推荐的扫描协议,推荐的扫描协议也可能无法获得放射科医生等操作者的认可。通过显示单元110显示推荐扫描协议以及匹配度的情况,能够直观地向放射科医生等操作者提示推荐扫描协议以及相应的匹配度,从而放射科医生等操作者能够对推荐的扫描协议进行选择来作为真正实施的扫描协议,或者直接对推荐的扫描协议进行部分修改,作为最终的扫描协议。反馈单元120受理这些修改或者选择,得到与最终的扫描协议有关的信息,这些信息包括经过医生或技师从推荐的扫描协议中选择或者修改的检查中使用的扫描协议的信息。
并且,反馈单元120还能够取得执行扫描协议之后得到的与检查有关的信息,例如经过扫描之后得到的医学影像、检查报告、临床诊断结果、后续检查等经过医院等医疗机构验证、修改、评价的信息,这些信息都能帮助验证扫描协议的推荐效果。反馈单元120将这些反馈信息发送给制作扫描协议推荐模型的模型训练装置100a,用于对扫描协议推荐模型进行优化。
图17是用于说明第二实施方式涉及的扫描协议推荐装置的扫描协议推荐处理的流程图。如图17所示,首先,信息取得单元60接收检查信息和候选扫描协议信息(步骤S1701),接着,评分单元70读取已训练的扫描协议推荐模型(步骤S1702),利用该模型计算所接收的检查信息对应的检查与候选扫描协议之间的匹配度(步骤S1703)。扫描协议选择单元80根据候选扫描协议与检查的匹配度选择推荐扫描协议,并且显示单元110显示推荐扫描协议和推荐扫描协议与检查之间的匹配度(步骤S1704)。接着,反馈单元120受理对推荐扫描协议的选择或者修改,作为反馈信息加以输出(步骤S1705)。
另外,返回图15的说明,模型训练装置100a具有取得单元10、匹配度真值确定单元20、学习单元30以及反馈信息取得单元40。
取得单元10取得包括对被检体进行扫描的检查的信息和扫描协议的信息的训练数据。匹配度真值确定单元20根据取得单元10取得的训练数据,确定分别与每组训练数据对应的、表示扫描检查与检查中所采用的扫描协议之间的匹配程度的匹配度,作为匹配度的真值。学习单元30具有检查特征计算模块31、扫描协议特征计算模块32以及训练模块33,使用训练数据和匹配度的真值进行学习,生成以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型。
第二实施方式的取得单元10、匹配度真值确定单元20以及学习单元30的构成和动作与第一实施方式相同,因此,这里省略详细的说明。
此外,模型训练装置100a还具有反馈信息取得单元40,该反馈信息取得单元40从扫描协议推荐装置200a的反馈单元120取得反馈信息,作为对模型训练装置100a生成的扫描协议推荐模型的使用结果进行验证后的验证数据,将所述验证数据反馈给取得单元10作为新的训练数据。从而学习单元30能够利用反馈信息中包含的训练数据进一步对扫描协议推荐模型进行训练,来优化扫描协议推荐模型。
如上所述,反馈信息包括使用扫描协议推荐模型的扫描协议推荐装置200a对检查推荐扫描协议时使用的检查信息、最终在检查中使用的扫描协议或者检查后得到的信息。
反馈信息取得单元40将上述的反馈信息发送给取得单元10,从而取得单元10使用将其中包括的检查信息和扫描协议信息作为新的训练数据加以存储。
以下说明模型训练装置100a在反馈阶段的动作。
图18是用于说明第二实施方式涉及的反馈处理的流程图。首先,反馈信息取得单元40接收反馈信息,将该反馈信息发送给取得单元10作为训练数据(步骤S1801),从而检查特征计算模块根据该训练数据中的检查信息计算检查特征(步骤S1802),扫描协议特征计算模块32根据该训练数据中的扫描协议信息计算扫描协议特征(步骤S1803)。
接着,在步骤S1804中,匹配度真值确定单元20根据反馈信息评估检查与协议的匹配度,来获得新的匹配度真值(步骤S1804)。接着,训练模块33针对原有的扫描协议推荐模型,利用原有的训练数据和新的训练数据对扫描协议推荐模型进行训练,更新模型参数(步骤S1805)。由此,生成优化后的新的扫描协议推荐模型,并存储该扫描协议推荐模型(步骤S1806)。
此外,第二实施方式中,反馈信息取得单元40对应于“反馈信息取得部”,显示单元110对应于“显示部”,反馈单元120对应于“反馈部”。
根据第二实施方式,能够在每次使用扫描协议推荐模型后,通过医疗机构等验证、修改或评价检查信息和扫描协议信息,而将其作为反馈信息反馈给模型训练装置,增加了训练数据的数量和准确度,从而能够训练出更加准确的标注模型。能够更精准地支援扫描协议的推荐。
(第三实施方式)
参照图19至图23对第三实施方式进行说明。第三实施方式的扫描协议推荐系统与第一实施方式相比较,不同点主要在于模型训练装置100b还具有扫描协议生成模块制作单元50,扫描协议推荐装置200b还具有扫描协议生成单元90和显示单元10。以下主要针对不同点来进行说明,并适当省略重复的说明。
图19是表示第三实施方式的包括模型训练装置和扫描协议推荐装置在内的扫描协议推荐系统的功能构成的一例的框图。如图19所示,扫描协议推荐系统包括对扫描协议推荐模型进行训练的模型训练装置100b和使用扫描协议推荐模型的扫描协议推荐装置200b。
模型训练装置100b具有取得单元10、匹配度真值确定单元20、学习单元30以及扫描协议生成模型制作单元50。
取得单元10取得包括对被检体进行扫描的检查的信息和扫描协议的信息的训练数据。匹配度真值确定单元20根据取得单元10取得的训练数据,确定分别与每组训练数据对应的、表示扫描检查与检查中所采用的扫描协议之间的匹配程度的匹配度,作为匹配度的真值。学习单元30具有检查特征计算模块31、扫描协议特征计算模块32以及训练模块33,使用训练数据和匹配度的真值进行学习,生成以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型。
第三实施方式的取得单元10、匹配度真值确定单元20以及学习单元30的构成和动作与第一实施方式相同,因此,这里省略详细的说明。
此外,模型训练装置100a还具有扫描协议生成模型制作单元50,该扫描协议生成模型制作部使用取得单元10所取得的训练数据中的、匹配度的真值超过规定阈值的训练数据进行学习,生成以检查的信息作为输入而输出扫描协议的扫描协议生成模型。
扫描协议生成模型制作单元50通过初始化根据扫描协议的特征生成扫描协议的模型,将检查信息的特征与扫描协议的特征建立关联,从而建立利用检查信息生成对应的扫描协议的扫描协议生成模型。因此,扫描协议生成模型制作单元50的动作既可以与学习单元30的训练动作相关,使用扫描协议推荐模型中应用的算法的解码器来反向生成扫描协议,也可以与学习单元30的训练动作相独立地建模,使用与扫描协议推荐模型的算法无关的算法来独立训练扫描协议生成模型。
在本实施方式中,设为扫描协议生成模型制作单元50利用扫描协议推荐模型中应用的算法的解码器来反向生成扫描协议,以便节约计算资源。
具体来说,扫描协议生成模型制作单元50包括:编码器51,将从训练数据的检查信息计算得到的检查特征向量映射到扫描协议推荐模型中使用的同一映射网络空间中,得到该映射网络空间中对应的空间向量;以及解码器52,将空间向量转化为扫描协议特征向量而根据该扫描协议特征向量生成扫描协议。
解码器52也可以先将扫描特征提取模块32中使用的从扫描协议的信息计算扫描协议特征向量的算法的反向算法作为初始模型,利用取得单元10取得的训练数据中的、匹配度的真值较高的训练数据进行训练,迭代调整解码器52中初始模型的系数,以使生成的扫描协议尽可能接近训练数据中的扫描协议真值。
图20是用于说明第三实施方式涉及的扫描协议推荐模型和扫描协议生成模型的构成的一例的说明图。如图20所示,扫描协议生成模型制作单元50能够应用学习单元30中的资源。其中,扫描协议推荐模型对应于图20中的与图8重叠的部分,从检查特征和扫描协议特征生成匹配度。而图20中的黑框部分对应扫描协议生成模型,利用同一个空间映射网络(编码器)映射检查特征的向量,并且,还具有协议生成网络(解码器),将空间映射网络中的空间向量转化为扫描协议。协议生成网络可以是LSTM(Long Short Term Memorynetwork:长短时记忆网络)、GRU(Gated recurrent unit:循环门单元)等神经网络。其输入是编码器的输出向量,输出是描述扫描协议参数的文本序列。
此外,扫描协议推荐模型和扫描协议生成模型既可以作为一个整体同时进行训练,也可以先训练扫描协议推荐模型,然后固定扫描协议推荐模型的系数,再训练扫描协议生成模型。
此外,扫描协议生成模型制作单元50可以利用不同的算法制作多个扫描协议生成模型,从而能够针对同一个检查制作出多个新的扫描协议。
此外,本发明也不限于使用同一个映射网络空间的情况,也可以是扫描协议推荐模型和扫描协议生成模型分别使用不同的网络映射空间。
下面对第三实施方式的模型训练装置100b的整体处理进行说明。图21是用于说明第三实施方式涉及的模型训练装置的模型训练过程的流程图。
首先,模型训练处理开始之后,取得单元10从外部接收已经执行过的扫描检查的信息和在该扫描检查中使用的扫描协议的信息作为训练数据(步骤S2101),接着,在步骤S2102中,匹配度真值确定单元20对取得单元10取得的训练数据标注匹配度作为训练数据的匹配度的真值。
接下来,进入步骤S2103,检查特征计算模块31从训练数据的检查信息中计算检查特征,扫描协议特征计算模块32训练数据的扫描协议信息中计算扫描协议特征(步骤S2104),从而训练模块33训练扫描协议推荐模型,生成已训练的扫描协议推荐模型(步骤S2105),扫描协议生成模型制作单元50训练扫描协议生成模型,生成已训练的扫描协议生成模型(步骤S2106)。接下来存储已训练的扫描协议推荐模型和扫描协议生成模型(步骤S2107)而结束处理。
返回图19的说明,扫描协议推荐装置200b能够利用已训练的扫描协议推荐模型和扫描协议生成模型进行扫描协议的推荐。扫描协议推荐装置200b具有信息取得单元60、评分单元70、扫描协议选择单元80、扫描协议生成单元90以及显示单元110。
其中,信息取得单元60取得对被检体进行扫描的检查的信息和候选扫描协议的信息。评分单元70按照每个候选扫描协议,将检查的信息与候选扫描协议的信息分别输入扫描协议推荐模型,从而输出候选扫描协议与检查的匹配度。扫描协议选择单元80根据候选扫描协议与检查的匹配度,从候选扫描协议中选择推荐用于检查的推荐扫描协议。
第三实施方式的信息取得单元60、评分单元70以及扫描协议选择单元80的构成和动作与第一实施方式相同,因此,这里省略详细的说明。
扫描协议生成单元90使用模型训练装置100b训练完成的扫描协议生成模型,从检查的信息生成新的扫描协议,将该新的扫描协议作为候选扫描协议。评分单元70也可以对该新的候选扫描协议也进行相同的匹配度评分。此外,也可以直接将该新的扫描协议作为推荐的扫描协议加以输出。
显示单元110用于使显示器显示相关的信息。例如,将推荐扫描协议与该扫描协议与检查的匹配度一起加以显示。这里推荐的扫描协议中也可以包括由扫描协议生成单元90生成的新的扫描协议,显示单元110也可以将该新的扫描协议与其他推荐扫描协议相区分地显示。
图22的(a)和(b)是表示第三实施方式涉及的扫描协议推荐装置的显示单元的显示例的示意图。
如图22的(a)所示,在显示画面上可以显示候选栏、已选栏、制作栏,将候选扫描协议的标识符或者名称显示在候选栏,将扫描检查中使用的扫描协议的标识符或者名称显示在已选栏,将由扫描协议生成单元90制作的新的扫描协议的标识符或者名称显示在制作栏,并在相关的协议旁边显示该协议与检查的匹配度。这样,用户可以根据需要将候选栏和制作栏中的候选协议追加到已选栏,或者从已选栏中删除扫描协议。
并且,在图22的(a)的例子,在能够由用户进行修改的扫描协议旁边显示表示可修改的图标,当点击该图标或者扫描协议的条目时,能够进一步显示协议的编辑画面。例如当点击图22的(a)中显示的制作栏中的新的协议2的条目中的笔的图形时,显示如图22的(b)所示那样的画面。该图22的(b)的画面上显示新的协议2的信息,以列表的形式示出了协议中的各个信息的名称和参数,操作者可以通过移动滑动条来滚动显示其他参数,并可以对参数进行修改。
图23是用于说明第三实施方式涉及的扫描协议推荐装置的扫描协议推荐处理的流程图。
如图23所示,信息取得单元60接收检查信息和候选扫描协议信息(步骤S2301),接着,扫描协议生成单元90读取已训练的扫描协议生成模型,评分单元70读取已训练的扫描协议推荐模型(步骤S2302),扫描协议生成单元90利用扫描协议生成模型生成新的扫描协议作为新的候选扫描协议(步骤S2303),从而评分单元70利用扫描协议推荐模型计算所接收的检查信息对应的检查与候选扫描协议之间的匹配度(步骤S2304)。
接着,扫描协议选择单元80根据候选扫描协议与检查的匹配度选择推荐扫描协议(步骤S2305),显示单元110显示这些推荐的扫描协议的信息(步骤S2306)。
此外,第三实施方式中,扫描协议生成模型制作单元50对应于“扫描协议生成模型制作部”,扫描协议生成单元90对应于“扫描协议生成部”。
根据第三实施方式,能够根据生成更适合的新的扫描协议用于扫描检查,因此不必局限于已有的扫描协议,而能够更适合检查信息地制作扫描协议,从而能够更精准地支援扫描协议的推荐。
上述的实施方式的各装置的各构成要素是功能概念性的,不需要一定在物理上如图示那样来构成。即,各装置的分散·综合的具体形态不限于图示的内容,能够将其全部或一部分对应于各种负荷及使用状况等而以任意单位在功能上或物理上分散·综合地构成。进而,在各装置中进行的各处理功能的全部或任意一部分可以通过CPU及由该CPU解析执行的程序来实现,或者,可以作为基于布线逻辑的硬件而实现。
此外,上述的实施方式中说明的模型训练装置和扫描协议推荐装置能够分别通过由个人计算机及工作站等计算机执行预先准备的程序来实现。该程序能够经由因特网等网络被分发。此外,该程序还能够记录在硬盘、软盘(FD)、CD-ROM、MO、DVD等计算机可读取的非暂时性记录介质中而由计算机从记录介质读出从而被执行。
其中,模型训练装置和扫描协议推荐装置之间可以通过有线或者无线的方式连接进行通信,从而进行模型和数据的传输。也可以是,将模型训练装置训练完毕的模型作为产品记录在存储介质等中进行传输,而将该产品装载到扫描协议推荐装置中进行使用。
对本发明的几个实施方式进行了说明,但这些实施方式是作为例子而提示的,并不意欲限定发明的范围。这些实施方式能够以其他各种各样的形态实施,在不脱离发明的主旨的范围内,能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中,同样也包含在权利要求所记载的发明及其等同范围中。
Claims (16)
1.一种模型训练装置,用于训练对医用图像的扫描协议进行推荐的扫描协议推荐模型,其特征在于,具备:
取得部,取得包括对被检体进行扫描的检查的信息和扫描协议的信息的训练数据;
匹配度真值确定部,根据所述训练数据,确定与所述训练数据对应的、表示所述检查与所述扫描协议之间的匹配程度的匹配度的真值;以及
学习部,使用所述训练数据和所述匹配度的真值进行学习,生成以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型。
2.如权利要求1所述的模型训练装置,其特征在于,
所述检查的信息包括检查之前的信息和检查之后的信息,
所述匹配度真值确定部根据包括所述检查之前的信息和所述检查之后的信息在内的训练数据,确定所述匹配度的真值,
所述学习部使用包括所述检查之前的信息的训练数据进行扫描协议推荐模型的学习。
3.如权利要求1所述的模型训练装置,其特征在于,
所述学习部包括:
检查特征计算部,从所述检查的信息中计算检查特征;
扫描协议特征计算部,从所述扫描协议的信息中计算扫描协议特征;以及
训练部,建立计算所述检查特征与所述扫描协议特征的相似度的模型作为初始模型,以使所述相似度接近所述匹配度的真值的方式对所述初始模型进行训练,获得已训练模型,将该已训练模型合并所述检查特征计算部以及所述扫描协议特征计算部,作为训练完毕的所述扫描协议推荐模型。
4.如权利要求3所述的模型训练装置,其特征在于,
所述检查特征计算部提取表示所述检查特征的检查特征向量,
所述扫描协议特征计算部提取表示所述扫描协议特征的扫描协议特征向量,
所述训练部将所述检查特征向量与所述扫描协议特征向量映射到同一映射网络空间,在该映射网络空间中形成相似度计算网络,来计算所述相似度。
5.如权利要求1所述的模型训练装置,其特征在于,
所述匹配度包括相关性评分、图像质量评分以及辐射剂量评分中的至少一个。
6.如权利要求1所述的模型训练装置,其特征在于,
所述匹配度真值确定部通过受理对训练数据进行的人工标注,来确定所述匹配度的真值。
7.如权利要求1所述的模型训练装置,其特征在于,
所述匹配度真值确定部按照预先设定的启发式标注规则,对所述训练数据进行标注,来确定所述匹配度的真值。
8.如权利要求1所述的模型训练装置,其特征在于,
所述匹配度真值确定部使用以所述训练数据作为输入而输出所述匹配度的真值的标注模型,来确定所述匹配度的真值。
9.如权利要求1所述的模型训练装置,其特征在于,
还具有反馈信息取得部,取得对所述扫描协议推荐模型的使用结果进行验证后的验证数据,将所述验证数据反馈给所述取得部作为新的训练数据。
10.如权利要求3所述的模型训练装置,其特征在于,
还具有扫描协议生成模型制作部,所述扫描协议生成模型制作部使用所述匹配度的真值超过规定阈值的所述训练数据进行学习,生成以检查的信息作为输入而输出扫描协议的扫描协议生成模型。
11.如权利要求4所述的模型训练装置,其特征在于,
还具有制作扫描协议生成模型的扫描协议生成模型制作部,所述扫描协议生成模型包括将检查特征向量映射到所述同一映射网络空间的编码器以及将映射后的空间向量转化为扫描协议特征向量而根据该扫描协议特征向量生成扫描协议的解码器。
12.一种扫描协议推荐装置,其特征在于,具备:
信息取得部,取得对被检体进行扫描的检查的信息和候选扫描协议的信息;
评分部,按照每个候选扫描协议,将所述检查的信息与候选扫描协议的信息分别输入由权利要求1所述的模型训练装置生成的扫描协议推荐模型,从而输出候选扫描协议与检查的匹配度;以及
扫描协议选择部,根据所述候选扫描协议与检查的匹配度,从候选扫描协议中选择推荐用于所述检查的推荐扫描协议。
13.如权利要求12所述的扫描协议推荐装置,其特征在于,
还具有扫描协议生成部,所述扫描协议生成部利用权利要求10或11所述的模型训练装置生成的扫描协议生成模型,生成新的扫描协议,将该新的扫描协议作为所述候选扫描协议或者推荐扫描协议。
14.如权利要求12所述的扫描协议推荐装置,其特征在于,
还具有显示部,所述显示部将所述推荐扫描协议与该推荐扫描协议与检查的匹配度一起加以显示。
15.如权利要求12所述的扫描协议推荐装置,其特征在于,
还具有反馈部,所述反馈部受理对检查中使用的扫描协议的选择或者修改,或者取得执行扫描协议的检查结果,作为反馈信息加以输出。
16.一种模型训练方法,用于训练对医用图像的扫描协议进行推荐的扫描协议推荐模型,其特征在于,包括:
取得步骤,取得包括对被检体进行扫描的检查的信息和扫描协议的信息的训练数据;
匹配度真值确定步骤,根据所述训练数据,确定与所述训练数据对应的、表示所述检查与所述扫描协议之间的匹配程度的匹配度的真值;以及
学习步骤,使用所述训练数据和所述匹配度的真值进行学习,生成以检查的信息和扫描协议的信息作为输入而输出检查与扫描协议的匹配度的扫描协议推荐模型。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210554470.7A CN117153341A (zh) | 2022-05-19 | 2022-05-19 | 扫描协议推荐装置、模型训练装置以及模型训练方法 |
JP2023080728A JP2023171312A (ja) | 2022-05-19 | 2023-05-16 | モデル訓練装置、走査プロトコル推奨装置及びモデル訓練方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210554470.7A CN117153341A (zh) | 2022-05-19 | 2022-05-19 | 扫描协议推荐装置、模型训练装置以及模型训练方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117153341A true CN117153341A (zh) | 2023-12-01 |
Family
ID=88882966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210554470.7A Pending CN117153341A (zh) | 2022-05-19 | 2022-05-19 | 扫描协议推荐装置、模型训练装置以及模型训练方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023171312A (zh) |
CN (1) | CN117153341A (zh) |
-
2022
- 2022-05-19 CN CN202210554470.7A patent/CN117153341A/zh active Pending
-
2023
- 2023-05-16 JP JP2023080728A patent/JP2023171312A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023171312A (ja) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Klemm et al. | Interactive visual analysis of image-centric cohort study data | |
JP5952835B2 (ja) | 撮像プロトコルの更新及び/又はリコメンダ | |
RU2616985C2 (ru) | Система и способ для поддержки принятия клинических решений для планирования терапии с помощью логического рассуждения на основе прецедентов | |
RU2543563C2 (ru) | Системы и способы поддержки клинических решений | |
EP2812828B1 (en) | Interactive optimization of scan databases for statistical testing | |
CN111225614A (zh) | 诊断辅助装置、信息处理方法、诊断辅助系统以及程序 | |
US20220059200A1 (en) | Deep-learning systems and methods for medical report generation and anomaly detection | |
CN106233322A (zh) | 基于个性化内容的患者检索系统 | |
JP2023503610A (ja) | 医療スキャン映像の相互位置合わせおよびそれとともに使用する方法 | |
US20230057933A1 (en) | Storage medium, diagnosis support apparatus and diagnosis support method | |
CN102483761B (zh) | 对基于内容的图像检索的相关性的可视化 | |
JP2015203920A (ja) | 類似症例検索システム、類似症例検索方法及びプログラム | |
JP6986014B2 (ja) | 診断情報項目のソート方法、システム及び記憶媒体 | |
US20230048252A1 (en) | Methods and systems for treatment guideline display | |
CN109791804A (zh) | 对cad系统个性化以提供cad系统推荐的置信水平指示的方法和部件 | |
CN107209810A (zh) | 用于支持放射学报告的动态核查表的通信系统 | |
CN109419525A (zh) | 用于控制医学成像系统的方法和控制设备 | |
US20240161035A1 (en) | Multi-model medical scan analysis system and methods for use therewith | |
US20220374768A1 (en) | Apparatus of machine learning, machine learning method, and inference apparatus | |
EP4327333A1 (en) | Methods and systems for automated follow-up reading of medical image data | |
CN111226287B (zh) | 用于分析医学成像数据集的方法、系统、程序产品和介质 | |
Sui et al. | Deep Learning-Based Channel Squeeze U-Structure for Lung Nodule Detection and Segmentation | |
CN116779092A (zh) | 一种医学报告生成方法与系统 | |
CN109906487A (zh) | 用于针对临床护理连续性进行工作流程敏感的结构化发现对象(sfo)推荐的系统和方法 | |
CN108352187A (zh) | 用于生成正确放射推荐的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |