CN116209396A - 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序 - Google Patents

图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序 Download PDF

Info

Publication number
CN116209396A
CN116209396A CN202180064618.2A CN202180064618A CN116209396A CN 116209396 A CN116209396 A CN 116209396A CN 202180064618 A CN202180064618 A CN 202180064618A CN 116209396 A CN116209396 A CN 116209396A
Authority
CN
China
Prior art keywords
image
medical image
new
medical
examination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064618.2A
Other languages
English (en)
Inventor
王彩华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116209396A publication Critical patent/CN116209396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

一种图像处理装置，其具备：处理器；及存储器，连接或内置于处理器，处理器进行如下处理：作为在以医用图像及医疗检查的检查结果作为对象的机器学习模型的学习中使用的学习数据，按照生成条件从多个医用图像中的第1医用图像和第2医用图像生成新医用图像，且对与第1医用图像对应的医疗检查的第1检查结果及与第2医用图像对应的医疗检查的第2检查结果进行基于生成条件的运算，生成新检查结果。

Description

图像处理装置、图像处理装置的工作方法、图像处理装置的工 作程序
技术领域
本发明的技术涉及一种图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序。
背景技术
在医疗领域中，随着人工智能技术的最新进展，提出有各种将医用图像输入至机器学习模型并从机器学习模型输出疾病诊断意见的技术。
如上所述的将图像作为对象的机器学习模型中依次输入多个学习用图像并进行学习。若学习用图像的数量少，则学习次数也相应减少，因此难以提高输出数据的预测精度。因此，一直以来利用被称作数据增强(data augmentation)的数据膨胀方法，增加学习用图像的数量。
作为数据膨胀方法，例如如<C.Shorten，T.M.Khoshgofttar：A survey on ImageData Augmentation，Journal of Big Data，2019>所记载，对1个图像实施平移、旋转、放大缩小、反转、剪切、噪声赋予等各种处理，从而生成新图像的方法较为有名。但是，在该<C.Shorten，T.M.Khoshgofttar：A survey on Image Data Augmentation，Journal of BigData，2019>所记载的方法中，无论如何都只能生成与对象的1个图像相似的图像，学习用图像的变化并没有增加。因此，如<Y.Tokozume，Y.Ushiku，T.Harada：Between-classLearning for Image Classification，CVPR，2018>所记载，还提出有混合2个不同的图像来生成新图像的方法。此时的新图像例如为对2个不同图像的各像素的像素值进行平均而得的图像。
在医疗设施中，对患者实施血液检查、尿液检查及询问形式的诊断测试等各种医疗检查。因此，在以医用图像作为对象的机器学习模型中，为了提高疾病的诊断意见的预测精度，除了医用图像之外，还输入血液检查、尿液检查及诊断测试等医疗检查的检查结果(例如，参考日本特开平07-284090号公报)。这样的方法被称作多模态学习。
发明内容
发明要解决的技术课题
将如<Y.Tokozume，Y.Ushiku，T.Harada：Between-class Learning for ImageClassification，CVPR，2018>所记载的使用2个不同图像的数据膨胀方法和如日本特开平07-284090号公报所记载的多模态学习进行组合时，还需要新生成与从2个不同图像生成的新图像对应的医疗检查的检查结果。此时，必须在新的检查结果和与原始的2个不同图像对应的2个医疗检查的检查结果之间保持匹配度。
本发明的技术所涉及的一实施方式提供一种能够生成保持匹配度的新的医疗检查的检查结果的图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序。
用于解决技术课题的手段
本发明的图像处理装置，其具备：处理器；及存储器，连接或内置于处理器，处理器进行如下处理：作为在以医用图像及医疗检查的检查结果作为对象的机器学习模型的学习中使用的学习数据，按照生成条件从多个医用图像中的第1医用图像和第2医用图像生成新医用图像，且对与第1医用图像对应的医疗检查的第1检查结果及与第2医用图像对应的医疗检查的第2检查结果进行基于生成条件的运算，生成新检查结果。
优选如下，即，处理器进行如下处理：对第1医用图像和第2医用图像进行非线性对位处理，以与非线性对位处理的结果相应的生成条件对第1医用图像和第2医用图像进行变形，由此生成第1新医用图像和第2新医用图像，利用基于生成条件的运算式，从第1检查结果和第2检查结果生成与第1新医用图像对应的第1新检查结果和与第2新医用图像对应的第2新检查结果。
优选如下，即，处理器进行如下处理：通过将校正变形量αT_12应用于第1医用图像，将第1医用图像作为第1新医用图像，所述校正变形量αT_12通过对非线性对位处理中的从第1医用图像向第2医用图像的变形量T_12乘以变形系数α而得，且通过对包括变形系数α或与变形系数α相似的值的第1运算式进行运算，将第1检查结果及第2检查结果换算为第1新检查结果，通过将校正变形量βT_21应用于第2医用图像，将第2医用图像作为第2新医用图像，所述校正变形量βT_21通过对非线性对位处理中的从第2医用图像向第1医用图像的变形量T_21乘以变形系数β而得，且通过对包括变形系数β或与变形系数β相似的值的第2运算式进行运算，将第1检查结果及第2检查结果换算为第2新检查结果。
优选如下，即，对医用图像进行分类，处理器在第1医用图像和第2医用图像的类别相同的情况和不同的情况下，变更变形系数α及β的值和与变形系数α相似的值及与变形系数β相似的值中的至少任一个。
优选如下，即，处理器将第1新医用图像设为与第1医用图像相同的类别，将第2新医用图像设为与第2医用图像相同的类别。
优选如下，即，变形系数α及β为按照正态分布的随机数。
优选如下，即，第1医用图像和第2医用图像的类别不同的情况下的正态分布的平均值小于第1医用图像和第2医用图像的类别相同的情况下的正态分布的平均值。
优选如下，即，处理器根据在机器学习模型中处理的患者总体的检查结果的趋势，生成新医用图像及新检查结果。
优选如下，即，处理器在新医用图像的生成之前，进行使第1医用图像和第2医用图像与标准医用图像匹配的标准化处理。
优选如下，即，医用图像为拍摄患者的头部而得的图像，机器学习模型为输出对患者的痴呆症的诊断意见的模型。
本发明的图像处理装置的工作方法，其包括如下步骤：作为在以医用图像及医疗检查的检查结果作为对象的机器学习模型的学习中使用的学习数据，按照生成条件从多个医用图像中的第1医用图像和第2医用图像生成新医用图像；及对与第1医用图像对应的医疗检查的第1检查结果及与第2医用图像对应的医疗检查的第2检查结果进行基于生成条件的运算，生成新检查结果。
本发明的图像处理装置的工作程序，其使计算机执行如下处理，所述处理包括：作为在以医用图像及医疗检查的检查结果作为对象的机器学习模型的学习中使用的学习数据，按照生成条件从多个医用图像中的第1医用图像和第2医用图像生成新医用图像；及对与第1医用图像对应的医疗检查的第1检查结果及与第2医用图像对应的医疗检查的第2检查结果进行基于生成条件的运算，生成新检查结果。
发明效果
根据本发明的技术，能够提供一种能够生成保持匹配度的新的医疗检查的检查结果的图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序。
附图说明
图1是表示图像处理装置等的图。
图2是表示头部MRI图像和检查结果的关系及检查结果的内容的图。
图3是表示构成图像处理装置的计算机的框图。
图4是表示图像处理装置的CPU的处理部的框图。
图5是表示标准化部的处理的图。
图6是表示非线性对位部的处理的图。
图7是表示非线性对位部的处理的图。
图8是表示生成部的详细情况的图。
图9是表示新图像生成部的处理的图，(A)表示第1标准化图像的类别为“A”的情况，(B)表示第1标准化图像的类别为“B”的情况。
图10是表示生成部的处理的图，(A)表示第2标准化图像的类别为“A”的情况，(B)表示第2标准化图像的类别为“B”的情况。
图11是表示痴呆症诊断意见导出模型的学习阶段及运用阶段中的处理的概要的图。
图12是表示图像处理装置的处理步骤的流程图。
图13是表示图像处理装置的处理步骤的流程图。
图14是示意地表示各类别中的图像的数据分布的图。
图15是表示痴呆症诊断意见信息的另一例的图。
图16是表示痴呆症诊断意见信息的又一例的图。
图17是表示根据在痴呆症诊断意见导出模型中处理的患者总体的检查结果的趋势，生成新医用图像及新检查结果的第2实施方式的一例的图。
具体实施方式
[第1实施方式]
作为一例，如图1所示，图像处理装置10经由网络12与医疗信息数据库服务器11连接。医疗信息数据库服务器11存储并管理从多个医疗设施经由网络12上传的各种医疗信息。医疗信息包括头部MRI(磁共振成像，Magnetic Resonance Imaging)图像13及医疗检查的检查结果14。网络12例如为互联网或公用通信网等WAN(广域网，Wide Area Network)。另外，利用WAN时，考虑到信息安全，优选构筑VPN(虚拟专用网，Virtual Private Network)，或使用HTTPS(超文本传输安全协议，Hypertext Transfer Protocol Secure)等高安全级别的通信协议。
图像处理装置10接收从医疗信息数据库服务器11传送的头部MRI图像组15及检查结果组16。头部MRI图像组15包括医疗设施允许提供的头部MRI图像13，例如包括从10年前至2年前为止在多个医疗设施拍摄的多个头部MRI图像13。检查结果组16包括医疗设施允许提供的检查结果14且与头部MRI图像组15的头部MRI图像13相同的患者P的多个检查结果14。
头部MRI图像13通过利用MRI装置17拍摄患者P的头部来获得。头部MRI图像13为表示患者P的头部的三维形状的体素数据。在图1中，示出了弧矢剖面的头部MRI图像13S。另外，头部MRI图像13为本发明的技术所涉及的“医用图像”及“拍摄患者的头部而得的图像”的一例。
类别18与头部MRI图像13建立有关联，由此对头部MRI图像13进行分类。类别18中，在该头部MRI图像13的患者P在2年之后出现了痴呆症时，登录“A”，在2年之后未出现痴呆症时，登录“B”。类别18的登录由患者P的主治医师进行。
图像处理装置10例如为台式个人电脑，具备显示器19及输入设备20。输入设备20为键盘、鼠标、触摸面板、麦克风等。图像处理装置10的操作者对输入设备20进行操作，对医疗信息数据库服务器11发送头部MRI图像组15及检查结果组16的传送请求。医疗信息数据库服务器11搜索被请求传送的头部MRI图像组15及检查结果组16并传送至图像处理装置10。
作为一例，如图2所示，头部MRI图像13和检查结果14例如通过用于唯一地识别患者P的患者ID(识别数据，Identification Data)22彼此建立有关联。检查结果14由血液检查的检查结果、髓液检查的检查结果及痴呆症测试的分数等构成。血液检查的检查结果例如包括载脂蛋白测定值、补体蛋白测定值及甲状腺素运载蛋白测定值等。髓液检查的检查结果例如包括淀粉样β测定值及tau蛋白测定值等。痴呆症测试的分数例如包括长谷川式痴呆症量表(HDS-R；Revised Hasegawa’s Dementia Scale)的分数、简易精神状况检查(MMSE；Mini-Mental State Examination)的分数、Rivermead行为记忆检查(RBMT；Rivermead Behavioural Memory Test)的分数、临床痴呆症评定量表(CDR；CliniealDementia Rating)、日常生活活动能力(ADL；Activities of Daily Living)及阿尔茨海默病的评价量表(ADAS-Cog；Alzheimer’s Disease Assessment Scale-cognitivesubscale)等。
作为一例，如图3所示，构成图像处理装置10的计算机除了前述显示器19及输入设备20以外，还具备存储装置(storage)25、存储器(memory)26、CPU(中央处理器，CentralProcessing Unit)27及通信部28。它们经由总线29彼此连接。另外，CPU27为本发明的技术所涉及的“处理器”的一例。
存储装置25为内置于构成图像处理装置10的计算机或通过电缆、网络与构成图像处理装置10的计算机连接的硬盘驱动器。或者，存储装置25为联装多台硬盘驱动器而成的硬盘阵列。在存储装置25存储有操作系统等控制程序、各种应用程序及这些程序附带的各种数据等。另外，也可以代替硬盘驱动器使用固态驱动器。
存储器26是用于CPU27执行处理的工作存储器。CPU27将存储于存储装置25的程序加载至存储器26，并执行按照程序的处理。由此，CPU27集中控制计算机的各部。通信部28进行与医疗信息数据库服务器11等外部装置的各种信息的传输控制。另外，存储器26可以内置于CPU27。
作为一例，如图4所示，在图像处理装置10的存储装置25存储有工作程序30。工作程序30为用于使计算机作为图像处理装置10发挥作用的应用程序。即，工作程序30为本发明的技术所涉及的“图像处理装置的工作程序”的一例。
在存储装置25还存储有标准头部MRI图像(以下，简称为标准图像)35及学习用数据组36。学习用数据组36是在痴呆症诊断意见导出模型80(参考图11)的学习中使用的多个学习用头部MRI图像(以下，简称为学习用图像)81(参考图11)和多个学习用检查结果82(参考图11)的集合。学习用数据组36包括标准化头部MRI图像组(以下，简称为标准化图像组)37、新头部MRI图像组(以下，简称为新图像组)38、检查结果组16及新检查结果组39。标准化图像组37由多个标准化头部MRI图像(以下，简称为标准化图像)40构成。新图像组38由多个第1新头部MRI图像(以下，简称为第1新图像)41_1及多个第2新头部MRI图像(以下，简称为第2新图像)41_2构成(参考图11)。并且，新检查结果组39由多个第1新检查结果42_1及多个第2新检查结果42_2构成(参考图11)。第1新图像41_1及第2新图像41_2为本发明的技术所涉及的“新医用图像”的一例。并且，第1新检查结果42_1及第2新检查结果42_2为本发明的技术所涉及的“新检查结果”的一例。
若工作程序30被启动，则构成图像处理装置10的计算机的CPU27与存储器26等协同而作为读写(以下，简称为RW(Read Write))控制部45、标准化部46、非线性对位部47及生成部48发挥作用。
RW控制部45控制各种数据向存储装置25的存储及存储装置25内的各种数据的读出。例如，RW控制部45从存储装置25读出标准图像35，并将所读出的标准图像35输出至标准化部46。并且，RW控制部45接受来自医疗信息数据库服务器11的检查结果组16，并将所接受的检查结果组16作为学习用数据组36的一部分来存储于存储装置25。并且，RW控制部45接受来自标准化部46的标准化图像组37，将所接受的标准化图像组37作为学习用数据组36的一部分而存储于存储装置25。
RW控制部45从存储装置25读出检查结果组16的多个检查结果14中的2个检查结果14即第1检查结果14_1及第2检查结果14_2，并将所读出的第1检查结果14_1及第2检查结果14_2输出至生成部48。并且，RW控制部45从存储装置25读出标准化图像组37的多个标准化图像40中的2个标准化图像40且与第1检查结果14_1及第2检查结果14_2对应的第1标准化图像40_1及第2标准化图像40_2，并将所读出的第1标准化图像40_1及第2标准化图像40_2输出至非线性对位部47和生成部48。第1检查结果14_1及第2检查结果14_2和第1标准化图像40_1及第2标准化图像40_2是性别、年龄等属性相同的2名患者P的检查结果14及标准化图像40。另外，沿袭原始的头部MRI图像13的类别18与标准化图像40建立有关联(参考图9及图10)。
标准化部46进行使头部MRI图像13与标准图像35匹配的标准化处理，将头部MRI图像13作为标准化图像40。标准化部46对构成头部MRI图像组15的多个头部MRI图像13的全部进行标准化处理。由此，生成与构成头部MRI图像组15的多个头部MRI图像13对应的多个标准化图像40。标准化部46将由多个标准化图像40构成的标准化图像组37输出至RW控制部45。
标准图像35是拍摄了标准的形状、大小及浓度(像素值)的脑的头部MRI图像。标准图像35例如为通过对多个健康者的头部MRI图像13进行平均来生成的图像或者通过计算机绘图来生成的图像。标准图像35为本发明的技术所涉及的“标准医用图像”的一例。
非线性对位部47对第1标准化图像40_1和第2标准化图像40_2进行非线性对位处理。非线性对位部47将非线性对位处理的结果即处理结果50输出至生成部48。
生成部48以与处理结果50相应的生成条件对第1标准化图像40_1和第2标准化图像40_2进行变形，由此从第1标准化图像40_1生成第1新图像41_1，从第2标准化图像40_2生成第2新图像41_2。并且，生成部48从第1检查结果14_1生成与第1新图像41_1对应的第1新检查结果42_1，从第2检查结果14_2生成与第2新图像41_2对应的第2新检查结果42_2。生成部48将第1新图像41_1、第1新检查结果42_1、第2新图像41_2及第2新检查结果42_2输出至RW控制部45。RW控制部45将第1新图像41_1及第2新图像41_2作为新图像组38进而作为学习用数据组36的一部分来存储于存储装置25。并且，RW控制部45将第1新检查结果42_1及第2新检查结果42_2作为新检查结果组39进而作为学习用数据组36的一部分来存储于存储装置25。另外，第1新图像41_1为本发明的技术所涉及的“第1新医用图像”的一例。并且，第2新图像41_2为本发明的技术所涉及的“第2新医用图像”的一例。
作为一例，如图5所示，标准化部46对头部MRI图像13进行形状标准化处理55及浓度标准化处理56作为标准化处理。形状标准化处理55例如为如下处理，即，从头部MRI图像13及标准图像35提取成为对位基准的标志，以使头部MRI图像13的标志与标准图像35的标志的相关成为最大的方式，按照标准图像35对头部MRI图像13进行平移、旋转和/或放大缩小。浓度标准化处理56例如为按照标准图像35的浓度直方图对头部MRI图像13的浓度直方图进行校正的处理。
作为一例，如图6所示，非线性对位部47在使第1标准化图像40_1(表述为I_1(X，Y，Z))与第2标准化图像40_2(表述为I_2(X，Y，Z))非线性对位时，在第1标准化图像40_1设定以格子状且以等间隔排列的多个控制点60。然后，使各控制点60移动至提高第1标准化图像40_1和第2标准化图像40_2的局部相似度的位置。非线性对位部47使用B-Spline曲线等插值用近似曲线，从各控制点60的移动量，导出使第1标准化图像40_1对位于第2标准化图像40_2时的各像素的变形量T_12(X，Y，Z)。非线性对位部47输出所导出的变形量T_12(X，Y，Z)作为处理结果50。
并且，作为一例，如图7所示，非线性对位部47在使第2标准化图像40_2与第1标准化图像40_1非线性对位时，在第2标准化图像40_2设定与控制点60相同的控制点63。然后，与图6的情况同样地使各控制点63移动。非线性对位部47与图6的情况同样地从各控制点63的移动量，导出使第2标准化图像40_2对位于第1标准化图像40_1时的各像素的变形量T_21(X，Y，Z)。非线性对位部47输出所导出的变形量T_21(X，Y，Z)作为处理结果50。另外，以下，有时省略(X，Y，Z)。
在图6及图7中，示出了在轴向截面的第1标准化图像40_1及第2标准化图像40_2以二维状设定了控制点60及63的状态，但控制点60及63实际上设定为三维状。另外，变形量T_12(X，Y，Z)和变形量T_21(X，Y，Z)呈逆函数关系，因此可以通过以使用上述控制点60或63的方法导出变形量T_12(X，Y，Z)及变形量T_21(X，Y，Z)中的任一个之后，求出其中一个的逆函数来导出另一个。
作为一例，如图8所示，生成部48具有变形系数生成部70及运算部71。变形系数生成部70根据正态分布组72生成变形系数α(X，Y，Z)及β(X，Y，Z)。变形系数生成部70将所生成的变形系数α(X，Y，Z)及β(X，Y，Z)输出至运算部71。另外，变形系数α(X，Y，Z)及β(X，Y，Z)为大于0且小于1的值(0<α、β＜1)。
正态分布组72包括第1α用正态分布73、第1β用正态分布74、第2α用正态分布75及第2β用正态分布76。变形系数生成部70输出按照这些第1α用正态分布73、第1β用正态分布74、第2α用正态分布75及第2β用正态分布76中的任一个正态分布的随机数作为变形系数α(X，Y，Z)及β(X，Y，Z)。随机数的生成频度例如为每个像素。
第1α用正态分布73和第1β用正态分布74在第1标准化图像40_1和第2标准化图像40_2的类别18相同的情况下使用。另一方面，第2α用正态分布75和第2β用正态分布76在第1标准化图像40_1和第2标准化图像40_2的类别18不同的情况下使用。第1α用正态分布73和第1β用正态分布74中，平均μ＝0.5，标准偏差σ＝0.2。另一方面，第2α用正态分布75和第2β用正态分布76中，平均μ＝0.2，标准偏差σ＝0.2。即，第2α用正态分布75和第2β用正态分布76的平均μ小于第1α用正态分布73和第1β用正态分布74的平均μ。因此，在第1标准化图像40_1和第2标准化图像40_2的类别18相同的情况和不同的情况下，变更变形系数α(X，Y，Z)及β(X，Y，Z)的值。另外，第1α用正态分布73和第1β用正态分布74为本发明的技术所涉及的“第1医用图像和第2医用图像的类别相同的情况下的正态分布”的一例。并且，第2α用正态分布75和第2β用正态分布76为本发明的技术所涉及的“第1医用图像和第2医用图像的类别不同的情况下的正态分布”的一例。
运算部71对从第1标准化图像40_1向第2标准化图像40_2的变形量T_12(X，Y，Z)乘以变形系数α(X，Y，Z)来作为校正变形量αT_12(X，Y，Z)。并且，运算部71对从第2标准化图像40_2向第1标准化图像40_1的变形量T_21(X，Y，Z)乘以变形系数β(X，Y，Z)来作为校正变形量βT_21(X，Y，Z)。运算部71通过将校正变形量αT_12(X，Y，Z)应用于第1标准化图像40_1，将第1标准化图像401作为第1新图像41_1(表述为I_1N(X，Y，Z))。并且，运算部71通过将校正变形量βT_21(X，Y，Z)应用于第2标准化图像40_2，将第2标准化图像40_2作为第2新图像41_2(表述为I_2N(X，Y，Z))。另外，校正变形量αT_12(X，Y，Z)及校正变形量βT_21(X，Y，Z)为本发明的技术所涉及的“生成条件”的一例。
运算部71对第1检查结果14_1(表述为MTR_1)和第2检查结果142(表述为MTR_2)的加权平均且基于系数αF的加权平均即下述式(1)进行运算，由此将第1检查结果14_1及第2检查结果14_2换算为第1新检查结果42_1(表述为MTR_1N)。系数αF为固定值，是本发明的技术所涉及的“与变形系数α相似的值”的一例。更详细地说，在第1标准化图像40_1和第2标准化图像40_2的类别18相同且使用第1α用正态分布73的情况下，系数αF例如为与第1α用正态分布73的平均μ相同的0.5。另一方面，在第1标准化图像40_1和第2标准化图像40_2的类别18不同且使用第2α用正态分布75的情况下，系数αF例如为与第2α用正态分布75的平均μ相同的0.2。另外，式(1)为本发明的技术所涉及的“运算式”及“第1运算式”的一例。
(1-αF)×MTR_1+αF×MTR_2＝MTR_1N……(1)
例如，在αF＝0.5且第1检查结果14_1及第2检查结果14_2以HDS-R的分数计为MTR_1＝28分、MTR_2＝22分的情况下，第1新检查结果42_1(MTR_1N)通过式(1)成为0.5×28+0.5×22＝25。
并且，运算部71对第1检查结果14_1和第2检查结果14_2的加权平均且基于系数βF的加权平均即下述式(2)进行运算，由此将第1检查结果14_1及第2检查结果14_2换算为第2新检查结果42_2(表述为MTR_2N)。与系数αF同样地系数βF也是固定值，是本发明的技术所涉及的“与变形系数β相似的值”的一例。更详细地说，在第1标准化图像40_1和第2标准化图像40_2的类别18相同且使用第1β用正态分布74的情况下，系数βF例如为与第1β用正态分布74的平均μ相同的0.5。另一方面，在第1标准化图像40_1和第2标准化图像40_2的类别18不同且使用第2β用正态分布76的情况下，系数βF例如为与第2β用正态分布76的平均μ相同的0.2。另外，式(2)为本发明的技术所涉及的“运算式”及“第2运算式”的一例。
βF×MTR_1+(1-βF)×MTR_2＝MTR_2N……(2)
例如，在βF＝0.2且第1检查结果14_1及第2检查结果14_2以甲状腺素运载蛋白测定值计为MTR_1＝40mg/dL、MTR_2＝32mg/dL的情况下，第2新检查结果42_2(MTR_2N)通过式(2)成为0.2×40+0.8×32＝33.6。
作为一例，如图9所示，生成部48将第1新图像41_1设为与第1标准化图像40_1相同的类别18。更详细地说，如(A)所示，在第1标准化图像40_1的类别18为“A”的情况下，将第1新图像41_1的类别18也设为“A”。并且，如(B)所示，在第1标准化图像40_1的类别18为“B”的情况下，将第1新图像41_1的类别18也设为“B”。
同样地，作为一例，如图10所示，生成部48将第2新图像41_2设为与第2标准化图像40_2相同的类别18。更详细地说，如(A)所示，在第2标准化图像40_2的类别18为“A”的情况下，将第2新图像41_2的类别18也设为“A”。并且，如(B)所示，在第2标准化图像40_2的类别18为“B”的情况下，将第2新图像41_2的类别18也设为“B”。
作为一例，如图11所示，在学习用数据组36中，提供构成标准化图像组37的多个标准化图像40及构成新图像组38的多个第1新图像41_1和多个第2新图像41_2中的1个图像作为痴呆症诊断意见导出模型80的学习用图像81。并且，提供构成检查结果组16的多个检查结果14及构成新检查结果组39的多个第1新检查结果42_1和多个第2新检查结果42_2中的1个检查结果作为痴呆症诊断意见导出模型80的学习用检查结果82。痴呆症诊断意见导出模型80是将标准化图像40及检查结果14作为输入数据，将表示标准化图像40的患者P的痴呆症诊断意见的信息即痴呆症诊断意见信息83作为输出数据的机器学习模型。痴呆症诊断意见信息83是正常(NC；Normal Control)、轻度认知障碍(MCI；Mild Cognitive Impairment)及阿尔茨海默病(AD；Alzheimer’s Disease)中的任一个。
痴呆症诊断意见导出模型80例如通过神经网络、支持向量机、提升方法(Boosting)中的任一方法构筑。痴呆症诊断意见导出模型80在学习阶段中，被提供学习用图像81及学习用检查结果82和正确痴呆症诊断意见信息83CA的组即学习数据84并进行学习。在学习用图像81及学习用检查结果82为标准化图像40及检查结果14的情况下，正确痴呆症诊断意见信息83CA是主治医师对标准化图像40及检查结果14的患者P实际给出的痴呆症诊断意见。在学习用图像81及学习用检查结果82为新图像41及新检查结果42的情况下，正确痴呆症诊断意见信息83CA是受到委托的医师参考新图像41及新检查结果42实际给出的痴呆症诊断意见。
在学习阶段中，对痴呆症诊断意见导出模型80输入学习用图像81及学习用检查结果82。痴呆症诊断意见导出模型80对学习用图像81及学习用检查结果82输出学习用痴呆症诊断意见信息83L。根据该学习用痴呆症诊断意见信息83L及正确痴呆症诊断意见信息83CA，进行痴呆症诊断意见导出模型80的损失运算。然后，根据损失运算的结果进行痴呆症诊断意见导出模型80的各种系数的更新设定，按照更新设定更新痴呆症诊断意见导出模型80。
在学习阶段中，在更换学习数据84的同时反复进行学习用图像81及学习用检查结果82对痴呆症诊断意见导出模型80的输入、从痴呆症诊断意见导出模型80的学习用痴呆症诊断意见信息83L的输出、损失运算、更新设定及痴呆症诊断意见导出模型80的更新的上述一连串处理。学习用痴呆症诊断意见信息83L相对于正确痴呆症诊断意见信息83CA的预测精度达到预先设定的设定水平时，结束上述一连串处理的反复。这样预测精度达到设定水平的痴呆症诊断意见导出模型80在运用阶段中用作学习完毕模型。
接着，参考图12及图13的流程图对基于上述结构的作用进行说明。首先，若在图像处理装置10中工作程序30被启动，则如图4所示，图像处理装置10的CPU27作为RW控制部45、标准化部46、非线性对位部47及生成部48发挥作用。如图8所示，生成部48包括变形系数生成部70及运算部71。
作为一例，如图12所示，首先，在标准化部46中，接受来自医疗信息数据库服务器11的头部MRI图像组15。并且，在RW控制部45中，接受来自医疗信息数据库服务器11的检查结果组16(步骤ST100)。检查结果组16通过RW控制部45存储于存储装置25(步骤ST110)。
如图5所示，在标准化部46中，进行使头部MRI图像13与标准图像35匹配的标准化处理(形状标准化处理55及浓度标准化处理56)(步骤ST120)。由此，头部MR[图像13成为标准化图像40。标准化图像40从标准化部46输出至RW控制部45，通过RW控制部45存储于存储装置25(步骤ST130)。
作为一例，如图13所示，由RW控制部45从存储装置25读出彼此以患者ID22建立有关联的第1标准化图像40_1和第1检查结果14_1及彼此以患者ID22建立有关联的第2标准化图像40_2和第2检查结果14_2(步骤ST200)。第1标准化图像40_1及第2标准化图像40_2从RW控制部45输出至非线性对位部47及生成部48。并且，第1检查结果14_1及第2检查结果14_2从RW控制部45输出至生成部48。
如图6所示，在非线性对位部47中，进行使第1标准化图像40_1与第2标准化图像40_2匹配的非线性对位处理。并且，如图7所示，在非线性对位部47中，进行使第2标准化图像40_2与第1标准化图像40_1匹配的非线性对位处理(步骤ST210)。通过这些非线性对位处理来导出的变形量T_12及T_21作为处理结果50从非线性对位部47输出至生成部48。
如图8所示，在生成部48中，对变形量T_12乘以变形系数α而得的校正变形量αT_12应用于第1标准化图像40_1，从第1标准化图像40_1生成第1新图像41_1。并且，在生成部48中，对变形量T_21乘以变形系数β而得的校正变形量βT_21应用于第2标准化图像40_2，从第2标准化图像40_2生成第2新图像41_2。而且，在生成部48中，使用上述式(1)即第1运算式，生成与第1新图像41_1对应的第1新检查结果42_1。而且，在生成部48中，使用上述式(2)即第2运算式，生成与第2新图像41_2对应的第2新检查结果42_2(步骤ST220)。第1新图像41_1和第1新检查结果42_1及第2新图像41_2和第2新检查结果42_2从生成部48输出至RW控制部45，通过RW控制部45存储于存储装置25(步骤ST230)。只要学习用数据组36内的图像和检查结果的总数即学习用图像81和学习用检查结果82的数量没有达到目标数量(步骤ST240中，否)，则在变更第1标准化图像40_1及第1检查结果14_1和第2标准化图像40_2及第2检查结果142的组合的同时持续反复进行这些一连串步骤ST200～ST230的处理。
如以上说明，图像处理装置10的CPU27的生成部48从多个标准化图像40中的第1标准化图像40_1和第2标准化图像40_2按照生成条件生成第1新图像41_1和第2新图像41_2，作为在以标准化图像40及检查结果14作为对象的痴呆症诊断意见导出模型80的学习中使用的学习数据84。且，生成部48对与第1标准化图像40_1对应的医疗检查的第1检查结果14_1及与第2标准化图像40_2对应的医疗检查的第2检查结果142进行基于生成条件的运算，生成第1新检查结果42_1及第2新检查结果42_2作为学习数据84。因此，能够生成保持匹配度的新的医疗检查的检查结果。
非线性对位部47对第1标准化图像40_1和第2标准化图像40_2进行非线性对位处理。生成部48以与非线性对位处理的处理结果50相应的生成条件对第1标准化图像40_1和第2标准化图像40_2进行变形，由此生成第1新图像41_1和第2新图像41_2。并且，生成部48使用基于生成条件的式(1)及式(2)，从第1检查结果14_1生成与第1新图像41_1对应的第1新检查结果42_1，从第2检查结果142生成与第2新图像41_2对应的第2新检查结果42_2。
第1新图像41_1及第2新图像41_2基于第1标准化图像40_1及第2标准化图像40_2。因此，与从1个图像生成学习用图像81的<C.Shorten，T.M.Khoshgofttar：A survey onImage Data Augmentation，Journal of Big Data，2019>所记载的方法相比，能够增加学习用图像81的变化。并且，第1新图像41_1及第2新图像41_2并不是混合了第1标准化图像40_1及第2标准化图像40_2的像素值的图像，因此不会如<Y.Tokozume，Y.Ushiku，T.Harada：Between-class Learning for Image Classification，CVPR，2018>所记载的方法那样出现解剖结构的形态的模糊。因此，能够生成保持解剖结构的形态的综合性学习用图像81。并且，能够生成更加保持匹配度的第1新检查结果42_1及第2新检查结果42_2。
生成部48通过将校正变形量αT_12应用于第1标准化图像40_1，将第1标准化图像40_1作为第1新图像41_1，所述校正变形量αT_12通过对非线性对位处理中的从第1标准化图像40_1向第2标准化图像40_2的变形量T_12乘以变形系数α而得。并且，新图像生成部48通过将校正变形量βT_21应用于第2标准化图像40_2，将第2标准化图像40_2作为第2新图像41_2，所述校正变形量βT_21通过对非线性对位处理中的从第2标准化图像40_2向第1标准化图像40_1的变形量T_21乘以变形系数β而得。因此，通过将变形系数α及β设定为适当值，能够获得所希望的第1新图像41_1及第2新图像41_2。例如，若将变形系数α设为接近0的值，则可获得与第1标准化图像40_1相对相似的第1新图像41_1。相反地，若将变形系数α设定为接近1的值，则可获得与第2标准化图像40_2相对相似的第1新图像41_1。
生成部48通过对包含系数αF的式(1)进行运算，将第1检查结果14_1及第2检查结果142换算为第1新检查结果42_1。并且，生成部48通过对包含系数βF的式(2)进行运算，将第1检查结果14_1及第2检查结果142换算为第2新检查结果42_2。因此，通过将系数αF及βF设定为适当的值，能够获得所希望的第1新检查结果42_1及第2新检查结果42_2。例如，若将系数αF设定为接近0的值，则可获得与第1检查结果14_1相对相似的第1新检查结果42_1。相反地，若将变形系数α设定为接近1的值，则可获得与第2检查结果142相对相似的第1新检查结果42_1。
对头部MRI图像13进而对标准化图像40进行分类，生成部48在第1标准化图像40_1和第2标准化图像40_2的类别18相同的情况和不同的情况下，变更变形系数α及β的值和系数αF及βF的值。因此，能够生成分别适于第1标准化图像40_1和第2标准化图像40_2的类别18相同的情况和不同的情况的第1新图像41_1及第1新检查结果42_1和第2新图像41_2及第2新检查结果42_2。
如图9及图10所示，生成部48将第1新图像41_1设为与第1标准化图像40_1相同的类别18，将第2新图像41_2设为与第2标准化图像40_2相同的类别18。因此，能够与对应于第1新图像41_1及第2新图像41_2各自的来源的类别18建立关联。并且，如图14中示意地示出，能够利用新图像41填补仅通过标准化图像40未能填补的“A”及“B”的各类别18的数据空白。且，还能够利用新图像41填补“A”及“B”的各类别18的边界90附近的数据空白。
如图8所示，变形系数α及β是按照各正态分布73～76中的任一个正态分布的随机数。因此，能够生成无法从第1标准化图像40_1及第2标准化图像40_2预测的第1新图像41_1及第2新图像41_2，其结果，能够增加学习用图像81的变化。
如图8所示，第1标准化图像40_1和第2标准化图像40_2的类别不同的情况下的第2α用正态分布75及第2β用正态分布76的平均μ小于第1标准化图像40_1和第2标准化图像40_2的类别相同的情况下的第1α用正态分布73及第1β用正态分布74的平均μ。因此，第1标准化图像40_1和第2标准化图像40_2的类别不同的情况与第1标准化图像40_1和第2标准化图像40_2的类别相同的情况相比，能够生成与第1标准化图像40_1相对相似的第1新图像41_1及与第2标准化图像40_2相对相似的第2新图像41_2。因此，即使将第1新图像41_1设为与第1标准化图像40_1相同的类别18，将第2新图像41_2设为与第2标准化图像40_2相同的类别18，也没有违和感。
如图5所示，标准化部46在新图像41的生成之前，进行使头部MRI图像13与标准图像35匹配的标准化处理。因此，能够在大致消除患者P的个人差及MRI装置17的装置差的基础上进行之后的处理，其结果，能够提高痴呆症诊断意见信息83的可靠性。
近年来随着老龄化社会的到来，痴呆症已成为社会问题。因此，将医用图像设为头部MRI图像13，并将以医用图像为对象的机器学习模型作为输出痴呆症诊断意见信息83的痴呆症诊断意见导出模型80的本实施方式可以说是与当前的社会问题匹配的形态。并且，痴呆症诊断意见中，海马、海马旁回、扁桃体等的萎缩程度等解剖结构的形态至关重要，因此更加能够发挥能够生成保持解剖结构的形态的学习用图像81这样的效果。
另外，痴呆症诊断意见信息83并不限于图11中例示的内容(正常/轻度认知障碍/阿尔茨海默病)。例如，如图15所示的痴呆症诊断意见信息95，可以是患者P在1年后的痴呆症进展程度是快还是慢。或者，如图16所示的痴呆症诊断意见信息98，也可以是阿尔茨海默病、路易体型痴呆症及血管性痴呆症中的任一个的痴呆症的种类。
例示了生成第1新图像41_1和第1新检查结果42_1及第2新图像41_2和第2新检查结果42_2这两者的方式，但并不限于此。也可以仅生成第1新图像41_1和第1新检查结果42_1等仅生成第1新图像41_1和第1新检查结果42_1及第2新图像41_2和第2新检查结果42_2中的任一组。
[第2实施方式]
在图17所示的第2实施方式中，根据在痴呆症诊断意见导出模型80中处理的患者P总体的检查结果14的趋势，生成新图像41及新检查结果42。
作为一例，如图17所示，考虑如下情况，即，在患者P的MMSE的分数的全日本的统计100中，24分以上为400,000人，10分以上且低于20分为200,000人，低于10分为100,000人，在检查结果组16的统计101中，24分以上为10,000人，10分以上且低于20分为20,000人，低于10分为30,000。此时，生成部48为了使新检查结果组39的统计102和全国的统计100匹配，将MMSE的分数为24分以上的新检查结果42生成110,000人份(并且，新图像41也生成110,000人份)，且将MMSE的分数为10分以上且低于20分的新检查结果42生成40,000人份(并且，新图像41也生成40,000人份)。由此，全国的统计100的患者数量的比和新检查结果组39的统计102的患者数量的比一致，为24分以上∶10分以上且低于20分∶低于10分＝4∶2∶1。另外，全国的统计100为本发明的技术所涉及的“总体的检查结果的趋势”的一例。
头部MRI图像组15的头部MRI图像13及检查结果组16的检查结果14例如为美国的患者P的图像及结果，在痴呆症诊断意见导出模型80中处理的患者P为日本人的情况等，有时头部MRI图像13及检查结果14的患者P的属性和在痴呆症诊断意见导出模型80中处理的患者P的属性不同。并且，即使头部MRI图像13及检查结果14的患者P的属性和在痴呆症诊断意见导出模型80中处理的患者P的属性相同，有时检查结果组16的检查结果14的趋势和在痴呆症诊断意见导出模型80中处理的患者P总体的检查结果14的趋势也会不同。在这样的情况下，若不纠正检查结果组16的检查结果14的趋势而生成新图像41及新检查结果42，并根据基于该结果准备的学习用数据组36进行痴呆症诊断意见导出模型80的学习，则痴呆症诊断意见导出模型80有可能与患者P总体的趋势相背离。
因此，在第2实施方式中，根据在痴呆症诊断意见导出模型80中处理的患者P总体的检查结果14的趋势，生成新图像41及新检查结果42。因此，能够生成与患者P总体的趋势一致的痴呆症诊断意见导出模型80。
可以对2个新图像41进行非线性对位处理，并根据其处理结果50生成第1新图像41_1及第2新图像41_2。同样地，也可以从标准化图像40和新图像41生成第1新图像41_1及第2新图像41_2。
类别18并不限于例示的2年后是否出现痴呆症。例如，可以与痴呆症诊断意见信息83相同，将正常/轻度认知障碍/阿尔茨海默病中的任一个登录为类别18。
变形系数α及β可以不是按照正态分布的随机数，而是固定值。并且，第1标准化图像40_1和第2标准化图像40_2的类别相同的情况下的第1α用正态分布73及第1β用正态分布74的平均μ并不限于例示的0.5。例如，可以是0.4，也可以是0.6。系数αF及βF例如可以是0.4也可以是0.6。第1标准化图像40_1和第2标准化图像40_2的类别不同的情况下的第2α用正态分布75及第2β用正态分布76的平均μ也同样不限于例示的0.2，例如可以是0.1，也可以是0.3。系数αF及βF例如可以是0.1也可以是0.3。标准偏差σ也不限于例示的0.2。
也可以使用<Y.Tokozume，Y.Ushiku，T.Harada：Between-classLearning forImage Classification，CVPR，2018>所记载的数据膨胀方法来生成新图像41。例如，在生成对2个不同的标准化图像40的各像素的像素值进行平均而得的图像作为新图像41时，新检查结果42(表述为MTR_N)的运算式成为如下述式(3)。
0.5×MTR_1+0.5×MTR_2＝MTR_N……(3)
图11所示的痴呆症诊断意见导出模型80的学习可以在图像处理装置10中进行，也可以在图像处理装置10以外的装置中进行。同样地，实际上对痴呆症诊断意见导出模型80输入标准化图像40及检查结果14并从痴呆症诊断意见导出模型80输出痴呆症诊断意见信息83的运用可以在图像处理装置10中进行，也可以在图像处理装置10以外的装置中进行。并且，在运用之后也可以继续进行痴呆症诊断意见导出模型80的学习。
可以由医疗信息数据库服务器11担负各处理部45～48的一部分或全部功能。例如，也可以在医疗信息数据库服务器11的CPU构筑标准化部46，在图像处理装置10的CPU构筑非线性对位部47及生成部48。
医用图像并不限于例示的头部MRI图像13。也可以是PET(正电子发射断层扫描，Positron Emission Tomography)图像、SPECT(单光子发射计算机断层扫描，SinglePhoton Emission Computed Tomography)图像、CT(计算机断层扫描，ComputedTomography)图像、内窥镜图像、超声波图像等。
被摄体并不限于例示的头部，也可以是胸部、腹部等。并且，疾病也不限于例示的痴呆症，也可以是心脏病、肺炎、肝功能障碍等。
在上述各实施方式中，例如，作为RW控制部45、标准化部46、非线性对位部47、生成部48、变形系数生成部70及运算部71等执行各种处理的处理部(Processing Unit)的硬件结构，能够使用以下示出的各种处理器(Processor)。如上所述，各种处理器除了包含执行软件(工作程序30)来作为各种处理部发挥功能的通用的处理器即CPU27以外，还包含FPGA(现场可编程门阵列，Field Programmable Gate Array)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有ASIC(专用集成电路，Application Specific Integrated Circuit)等为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合和/或CPU和FPGA的组合)构成。并且，也可以由一个处理器构成多个处理部。
作为由1个处理器构成多个处理部的例子，第1，有如客户机及服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用的方式。第2，有如系统芯片(System On Chip：SoC)等为代表，使用通过1个IC(集成电路，Integrated Circuit)芯片实现包含多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。
而且，作为这些各种处理器的硬件结构，更具体而言，能够利用组合了半导体元件等电路元件的电路(circuitry)。
本发明的技术还能够适当地组合上述各种实施方式和/或各种变形例。并且，不限于上述各实施方式，只要不脱离主旨，则可采用各种结构是理所当然的。而且，本公开的技术除了程序以外，还涉及非暂时性地存储程序的存储介质。
以上示出的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明，仅仅是本发明的技术的一例。例如，与上述的结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，可以在不脱离本发明的技术的宗旨的范围内，对以上示出的记载内容及图示内容，删除不需要的部分或追加新的要素或替换是毋庸置疑的。并且，为了避免复杂化并且便于理解本发明的技术所涉及的部分，在以上示出的记载内容及图示内容中，省略了与在本发明的技术的实施中无需特别说明的技术常识等相关的说明。
在本说明书中，“A和/或B”的含义与“A及B中的至少1个”相同。即，“A和/或B”意味着可以只是A，也可以只是B，还可以是A及B的组合。并且，在本说明书中，利用“和/或”结合三个以上的事项来表述时，也适用与“A和/或B”相同的概念。
就本说明书中记载的全部的文献、专利申请以及技术规格而言，与具体且分别记载通过参考而引入的各个文献、专利申请以及技术规格的情况相同地，通过参考而编入本说明书。

Claims (12)

1.一种图像处理装置，其具备：
处理器；及
存储器，连接或内置于所述处理器，
所述处理器进行如下处理：
作为在以医用图像及医疗检查的检查结果作为对象的机器学习模型的学习中使用的学习数据，
按照生成条件从多个所述医用图像中的第1医用图像和第2医用图像生成新医用图像，
且对与所述第1医用图像对应的所述医疗检查的第1检查结果及与所述第2医用图像对应的所述医疗检查的第2检查结果进行基于所述生成条件的运算，生成新检查结果。
2.根据权利要求1所述的图像处理装置，其中，
所述处理器进行如下处理：
对所述第1医用图像和所述第2医用图像进行非线性对位处理，
以与所述非线性对位处理的结果相应的所述生成条件对所述第1医用图像和所述第2医用图像进行变形，由此生成第1新医用图像和第2新医用图像，
利用基于所述生成条件的运算式，从所述第1检查结果和所述第2检查结果生成与所述第1新医用图像对应的第1新检查结果和与所述第2新医用图像对应的第2新检查结果。
3.根据权利要求2所述的图像处理装置，其中，
所述处理器进行如下处理：
通过将校正变形量αT_12应用于所述第1医用图像，将所述第1医用图像作为所述第1新医用图像，所述校正变形量αT_12通过对所述非线性对位处理中的从所述第1医用图像向所述第2医用图像的变形量T_12乘以变形系数α而得，且通过对包括所述变形系数α或与所述变形系数α相似的值的第1运算式进行运算，将所述第1检查结果及所述第2检查结果换算为所述第1新检查结果，
通过将校正变形量βT_21应用于所述第2医用图像，将所述第2医用图像作为所述第2新医用图像，所述校正变形量βT_21通过对所述非线性对位处理中的从所述第2医用图像向所述第1医用图像的变形量T_21乘以变形系数β而得，且通过对包括所述变形系数β或与所述变形系数β相似的值的第2运算式进行运算，将所述第1检查结果及所述第2检查结果换算为所述第2新检查结果。
4.根据权利要求3所述的图像处理装置，其中，
对所述医用图像进行分类，
所述处理器在所述第1医用图像和所述第2医用图像的类别相同的情况和不同的情况下，变更所述变形系数α及所述变形系数β的值和与所述变形系数α相似的值及与所述变形系数β相似的值中的至少任一个。
5.根据权利要求4所述的图像处理装置，其中，
所述处理器将所述第1新医用图像设为与所述第1医用图像相同的类别，将所述第2新医用图像设为与所述第2医用图像相同的类别。
6.根据权利要求3至5中任一项所述的图像处理装置，其中，
所述变形系数α及所述变形系数β为按照正态分布的随机数。
7.根据引用权利要求4或5的权利要求6所述的图像处理装置，其中，
所述第1医用图像和所述第2医用图像的类别不同的情况下的正态分布的平均值小于所述第1医用图像和所述第2医用图像的类别相同的情况下的正态分布的平均值。
8.根据权利要求1至7中任一项所述的图像处理装置，其中，
所述处理器根据在所述机器学习模型中处理的患者总体的所述检查结果的趋势，生成所述新医用图像及所述新检查结果。
9.根据权利要求1至8中任一项所述的图像处理装置，其中，
所述处理器在所述新医用图像的生成之前，进行使所述第1医用图像和所述第2医用图像与标准医用图像匹配的标准化处理。
10.根据权利要求1至9中任一项所述的图像处理装置，其中，
所述医用图像为拍摄患者的头部而得的图像，
所述机器学习模型为输出对所述患者的痴呆症的诊断意见的模型。
11.一种图像处理装置的工作方法，其包括如下步骤：
作为在以医用图像及医疗检查的检查结果作为对象的机器学习模型的学习中使用的学习数据，
按照生成条件从多个所述医用图像中的第1医用图像和第2医用图像生成新医用图像；及
对与所述第1医用图像对应的所述医疗检查的第1检查结果及与所述第2医用图像对应的所述医疗检查的第2检查结果进行基于所述生成条件的运算，生成新检查结果。
12.一种图像处理装置的工作程序，其使计算机执行如下处理，所述处理包括：
作为在以医用图像及医疗检查的检查结果作为对象的机器学习模型的学习中使用的学习数据，
按照生成条件从多个所述医用图像中的第1医用图像和第2医用图像生成新医用图像；及
对与所述第1医用图像对应的所述医疗检查的第1检查结果及与所述第2医用图像对应的所述医疗检查的第2检查结果进行基于所述生成条件的运算，生成新检查结果。
CN202180064618.2A 2020-09-28 2021-09-09 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序 Pending CN116209396A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020162679 2020-09-28
JP2020-162679 2020-09-28
PCT/JP2021/033190 WO2022065061A1 (ja) 2020-09-28 2021-09-09 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Publications (1)

Publication Number Publication Date
CN116209396A true CN116209396A (zh) 2023-06-02

Family

ID=80846522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180064618.2A Pending CN116209396A (zh) 2020-09-28 2021-09-09 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序

Country Status (5)

Country Link
US (1) US20230222656A1 (zh)
EP (1) EP4218604A4 (zh)
JP (1) JP7440655B2 (zh)
CN (1) CN116209396A (zh)
WO (1) WO2022065061A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974946B2 (ja) 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
JP2008048880A (ja) 2006-08-24 2008-03-06 Ge Medical Systems Global Technology Co Llc 画像作成方法
JP6461743B2 (ja) 2015-08-03 2019-01-30 株式会社日立製作所 医用画像処理装置および医用画像処理方法
WO2019172181A1 (ja) 2018-03-09 2019-09-12 日本メジフィジックス株式会社 診断支援装置、プログラム、学習済みモデル、および学習装置
JP2019198376A (ja) 2018-05-14 2019-11-21 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理システム
US11978557B2 (en) 2018-09-12 2024-05-07 Splink, Inc. Diagnosis support system and method
KR20200089146A (ko) 2019-01-16 2020-07-24 삼성전자주식회사 의료 영상 처리 장치 및 방법
JP7218215B2 (ja) 2019-03-07 2023-02-06 株式会社日立製作所 画像診断装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
EP4218604A1 (en) 2023-08-02
JP7440655B2 (ja) 2024-02-28
WO2022065061A1 (ja) 2022-03-31
US20230222656A1 (en) 2023-07-13
JPWO2022065061A1 (zh) 2022-03-31
EP4218604A4 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
JP7051849B2 (ja) ディープラーニング医療システムおよび医療処置のための方法
US20200035349A1 (en) Diagnosis support system, information processing method, and program
JP2020500377A (ja) ディープラーニング医療システムおよび画像収集のための方法
Mazzanti et al. Imaging, health record, and artificial intelligence: hype or hope?
US11978208B2 (en) Trained model, learning method, learning program, medical information acquisition device, medical information acquisition method, and medical information acquisition program
Bindushree et al. Artificial intelligence: In modern dentistry
Tmenova et al. CycleGAN for style transfer in X-ray angiography
Sorkhabi et al. Classification of alveolar bone density using 3-D deep convolutional neural network in the cone-beam CT images: A 6-month clinical study
Amirrajab et al. Label-informed cardiac magnetic resonance image synthesis through conditional generative adversarial networks
JP4335736B2 (ja) 脳画像データ処理システム、方法、プログラムおよび記録媒体
US20220399107A1 (en) Automated protocoling in medical imaging systems
Zhao et al. Residual-atrous attention network for lumbosacral plexus segmentation with MR image
US9224229B2 (en) Process and apparatus for data registration
Nechyporenko et al. Deep learning based image segmentation for detection of odontogenic maxillary sinusitis
WO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
CN116209396A (zh) 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序
CN116250005A (zh) 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序以及学习完毕模型
CN113538395A (zh) 图像处理方法、装置、设备、可读存储介质
CN113164141A (zh) 相似度确定装置、方法及程序
Ratnaparkhi et al. Ensembling mitigates scanner effects in deep learning medical image segmentation with deep-U-Nets
WO2022065062A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
US11369268B2 (en) Brain-function image data augmentation method
Fontanella et al. Challenges of building medical image datasets for development of deep learning software in stroke

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination