CN115802947A - 图像生成装置、方法及程序、学习装置、方法及程序 - Google Patents

图像生成装置、方法及程序、学习装置、方法及程序 Download PDF

Info

Publication number
CN115802947A
CN115802947A CN202180039095.6A CN202180039095A CN115802947A CN 115802947 A CN115802947 A CN 115802947A CN 202180039095 A CN202180039095 A CN 202180039095A CN 115802947 A CN115802947 A CN 115802947A
Authority
CN
China
Prior art keywords
administration
drug
image
lesion
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180039095.6A
Other languages
English (en)
Inventor
桥本刚幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN115802947A publication Critical patent/CN115802947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

在图像生成装置、方法及程序、以及学习装置、方法及程序中，能够确认由投药产生的效果。处理器获取包含病变的医用图像、对获取了医用图像的患者投与的药的种类及药的投与期间的信息。处理器从医用图像生成表示在投药期间对患者投与药之后的病变的投药后图像。

Description

图像生成装置、方法及程序、学习装置、方法及程序
技术领域
本发明涉及一种图像生成装置、方法及程序、以及学习装置、方法及程序。
背景技术
近年来，对于恶化的癌症，进行以作为抗癌剂投与分子靶向药等为中心的治疗。分子靶向药是指通过将成为肿瘤恶化的原因的细胞分子以精确定位作为靶点进行抑制而抑制恶化的药。分子靶向药具有治疗效果高且副作用小等优点。分子靶向药根据作为治疗计划书的方案进行投与。方案中也包含根据药的特性溶解或者稀释药的溶液的组成及量、投与速度、投与顺序、使用于副作用对策的药剂以及投与后的休药期间等。通过根据方案投与分子靶向药，能够将医疗事故防范于未然，并且能够进行有效的治疗。另一方面，分子靶向药是将特定的分子设为靶点，因此根据癌的种类划分效能的药。并且，若继续投药则治疗效果变弱，因此产生最好替换成其他分子靶向药的情况。而且，在包含有多个恶化因子的情况下，需要有计划且有效地适用投药。
另一方面，提出用于使用图像对药的效果进行评价的各种方案。例如，专利文献1中提出使用患者血管的解剖学模型来计算递送药物时的数据的方案。
以往技术文献
专利文献
专利文献1：日本特表2018-525748号公报
发明内容
发明要解决的技术课题
然而，记载在专利文献1的方案中，无法确认通过投药发挥多大程度的治疗效果。并且，尤其在使用了分子靶向药的情况下，无法确认药在多长时间内难以奏效。
本发明是鉴于上述情况而完成的，其目的在于能够确认由投药产生的效果。
用于解决技术课题的手段
基于本发明的图像生成装置具备至少1个处理器，
处理器构成为如下：获取包含病变的医用图像、对获取了医用图像的患者投与的药的种类及药的投药期间的信息；
从医用图像生成表示在投药期间对患者投与药之后的病变的投药后图像。
另外，基于本发明的图像生成装置中，处理器可以构成为使用至少1个学习模型来生成投药后图像，所述至少1个学习模型针对至少1种药，通过将对患者的药的投药期间、投药前的第1图像及经过投药期间后的第2图像的组合作为教师数据使用并进行机器学习而构建。
并且，基于本发明的图像生成装置中，处理器可以构成为如下：获取多个不同的投药期间的信息；
生成与多个不同的投药期间分别对应的多个投药后图像。
并且，基于本发明的图像生成装置中，处理器可以进一步构成为根据多个投药后图像之间的病变的变化，导出表示与药的投药期间相对应的药的疗效的信息。
并且，基于本发明的图像生成装置中，处理器可以构成为根据药的疗效，导出药的投药停止的时间点。
并且，基于本发明的图像生成装置中，处理器可以进一步构成为在显示器上显示投药后图像、表示药的疗效的信息及投药停止的时间点中的至少1个。
并且，基于本发明的图像生成装置中，处理器可以构成为针对多种药中的每一种生成多个投药后图像。
并且，基于本发明的图像生成装置中，处理器可以进一步构成为针对多种药中的每一种，根据多个投药后图像之间的病变的变化，导出表示与药的投药期间相对应的药的疗效的信息。
并且，基于本发明的图像生成装置中，处理器可以构成为根据药的疗效，导出投与的药的种类及药的投药停止的时间点。
并且，基于本发明的图像生成装置中，处理器可以进一步构成为在显示器上显示多个投药后图像、表示药的疗效的信息、投与的药的种类及投药停止的时间点中的至少1个。
基于本发明的学习装置具备至少1个处理器，
处理器构成为如下：
针对至少1种药，获取由对患者投与药的投药期间、投药前的第1图像及经过投药期间后的第2图像的组合构成的教师数据；
通过使用教师数据进行学习，从而构建学习模型，所述学习模型中，若输入包含病变的患者的医用图像、药的种类及投药期间，则输出表示在投药期间对患者投与药之后的病变的投药后图像。
基于本发明的图像生成方法中，获取包含病变的医用图像、对获取了医用图像的患者投与的药的种类及药的投药期间的信息，
从医用图像生成表示在投药期间对患者投与药之后的病变的投药后图像。
基于本发明的学习方法中，针对至少1种药，获取由对患者投与药的投药期间、投药前的第1图像及经过投药期间后的第2图像的组合构成的教师数据，
通过使用教师数据进行学习，从而构建学习模型，所述学习模型中，若输入包含病变的患者的医用图像、药的种类及投药期间，则输出表示在投药期间对患者投与药之后的病变的投药后图像。
另外，可以提供用于使计算机执行基于本发明的图像生成方法及学习方法的程序。
发明效果
根据本发明，能够确认由投药产生的效果。
附图说明
图1是表示适用了基于本发明的实施方式的图像生成装置及学习装置的医疗信息系统的概略结构的图。
图2是表示基于第1实施方式的图像生成装置及学习装置的概略结构的图。
图3是基于第1实施方式的图像生成装置及学习装置的功能结构图。
图4是表示第1实施方式中的学习模型的结构的概略框图。
图5是表示学习中使用的教师数据的例子的图。
图6是表示医用图像及投药后图像的图。
图7是表示第1实施方式中的表示药的疗效的信息的图。
图8是表示第1实施方式中的显示画面的图。
图9是表示第1实施方式中进行的学习处理的流程图。
图10是表示第1实施方式中进行的图像生成处理的流程图。
图11是表示第2实施方式中的表示药的疗效的信息的图。
图12是表示第2实施方式中的显示画面的图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。首先，对适用了基于本实施方式的图像生成装置及学习装置的医疗信息系统的结构进行说明。图1是表示医疗信息系统的概略结构的图。图1所示的医疗信息系统中，内含基于本实施方式的图像生成装置及学习装置的计算机1、摄影装置2及图像保管服务器3经由网络4以能够通信的状态连接。
计算机1内含基于本实施方式的图像生成装置及学习装置，且安装有本实施方式的图像生成程序及学习程序。计算机1可以是进行诊断的医生直接操作的工作站或个人计算机，也可以是经由网络与这些连接的服务器计算机。图像生成程序及学习程序以能够从外部访问的状态存储在连接于网络的服务器计算机的存储装置或网络储存器(networkstorage)，根据要求下载并安装在医生所使用的计算机1中。或者，记录并分配于DVD(Digital Versatile Disc：数字多功能光盘)或CD-ROM(Compact Disc Read OnlyMemory：只读光盘)等记录介质中，并从该记录介质安装在计算机1中。
摄影装置2是通过对受检体的成为诊断对象的部位进行摄影而生成表示该部位的3维图像的装置，具体而言是CT(Computed Tomography：电子计算机断层扫描)装置、MRI(Magnetic Resonance Imaging：核磁共振成像)装置及PET(Positron EmissionTomography：正电子发射计算机断层扫描)装置等。通过该摄影装置2生成的由多个切片图像构成的3维图像被发送到图像保管服务器3并进行保存。另外，本实施方式中，作为受检体的患者的诊断对象部位为肺，摄影装置2为CT装置，将受检体的包含肺的胸部的CT图像生成为3维图像。
图像保管服务器3是保存并管理各种数据的计算机，具备大容量外部存储装置及数据库管理用软件。图像保管服务器3经由有线或无线的网络4与其他装置进行通信，并收发图像数据等。具体而言，经由网络获取包含由摄影装置2生成的3维图像的图像数据的各种数据，并保存在大容量外部存储装置等记录介质而进行管理。另外，图像数据的存储形式及经由网络4的各装置之间的通信基于DICOM(Digital Imaging and Communication inMedicine：医学数字成像和通信)等协议。并且，在图像保管服务器3中还存储有后述的教师数据。
接着，对基于第1实施方式的图像生成装置及学习装置进行说明。图2对基于第1实施方式的图像生成装置及学习装置的硬件结构进行说明。如图2所示，图像生成装置及学习装置(以下，有时以图像生成装置为代表)20包括CPU(Central Processing Unit：中央处理器)11、非易失性储存器(storage)13及作为临时存储区域的存储器(memory)16。并且，图像生成装置20包括液晶显示器等显示器14、键盘和鼠标等输入设备15及与网络4连接的网络I/F(InterFace：界面)17。CPU11、储存器(storage)13、显示器14、输入设备15、存储器(memory)16及网络I/F17连接于总线18。另外，CPU11为本发明中的处理器的一例。
储存器(storage)13通过HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid StateDrive：固态硬盘)及闪存等来实现。作为存储介质的储存器(storage)13中存储有图像生成程序及学习程序。CPU11从储存器(storage)13读取图像生成程序12A及学习程序12B之后在存储器(memory)16中展开，并执行所展开的图像生成程序12A及学习程序12B。
接着，对基于第1实施方式的图像生成装置及学习装置的功能性结构进行说明。图3是表示基于第1实施方式的图像生成装置及学习装置的功能性结构的图。如图3所示，图像生成装置20具备信息获取部21、图像生成部22、导出部23、学习部24及显示控制部25。并且，通过CPU11执行图像生成程序12A及学习程序12B，CPU11作为信息获取部21、图像生成部22、导出部23、学习部24及显示控制部25而发挥作用。
信息获取部21通过基于操作者的来自输入设备15的指示，从图像保管服务器3获取成为生成后述的投药后图像的对象的包含病变的医用图像G0。并且，信息获取部21获取从输入设备15输入的对获取了医用图像G0的患者投与的药的种类及药的投与期间的信息。另外，本实施方式中，获取多个不同的投药期间的信息。并且，信息获取部21为了后述的学习模型22A的学习，从图像保管服务器3获取教师数据。
图像生成部22从医用图像G0生成表示在某一投药期间对患者投与药之后的病变的投药后图像。因此，图像生成部22具有学习模型22A，所述学习模型22A以输入医用图像G0、药的种类及投药期间则输出投药后图像的方式完成机器学习。
学习模型22A针对至少1种药，通过将对患者的药的投与期间、投药前的第1医用图像及经过投药期间后的第2医用图像的组合作为教师数据使用并进行机器学习而构建。学习模型22A例如能够使用GAN(Generative Adversarial Networks：对抗性生成网络)。图4是表示本实施方式中的学习模型的结构的概略框图。另外，图4中，学习阶段中使用的要件也包含在学习模型22A中。如图4所示，学习模型22A具有发生器31及鉴别器32。发生器31具有编码器33及解码器34。
图5是表示学习中使用的教师数据的例子的图。如图5所示，教师数据40由所投与的药的标签41、对患者的药的投与期间的标签42、投药前的第1医用图像GR1及经过投药期间后的第2医用图像GR2构成。如图5所示，药的标签41例如为“药A”。投药期间的标签42例如为3个月。第1医用图像GR1是肺的断层图像，显现病变43。第2医用图像GR2是对与第1医用图像GR1相同的患者投与3个月的药A之后的与第1医用图像GR1相同截面的肺的断层图像。根据投药的效果，第2医用图像GR2中包含的病变44小于第1医用图像GR1中包含的病变43。另外，根据投药期间，或者根据药的疗效，也有第2医用图像GR2中包含的病变44大于第1医用图像GR1中包含的病变43的情况。并且，根据投药的效果，也有病变44的浓度和/或形状与第1医用图像GR1的病变43不同的情况。另外，投药时，也有组合多种药的情况。因此，药的种类并不限定于1种。
编码器33由作为多个处理层分层连接而成的多层神经网络之一的卷积神经网络(CNN(Convolutional Neural Network))构成，导出表示所输入的第1医用图像GR1的特征量的特征图F1。
卷积神经网络由多个卷积层构成。卷积层对输入的图像进行使用了各种内核的卷积处理，并输出由通过卷积处理获得的特征量数据构成的特征图。内核具有n×n像素尺寸(例如n＝3)，在各要件中设定有权重。具体而言，设定有如强调所输入的图像的边缘的微分滤波器的权重。卷积层错开内核的关注像素，并且将内核适用于从所输入的图像或前段处理层输出的整个特征图。而且，卷积层对卷积的值适用Sigmoid函数等激活函数，并输出特征图F1。
解码器34根据特征图F1，针对所输入的第1医用图像GR1，导出表示在基于标签42的投药期间投与基于标签41的药之后的病变的投药后的虚拟医用图像GV2。即，如图4所示，解码器34若输入第1医用图像GR1的特征图F1、基于标签41的药的信息及基于标签42的投药期间的信息，则导出表示对获取了第1医用图像GR1的患者在基于标签42的投药期间投与基于标签41的药之后的病变的投药后的医用图像GV2。另外，第1医用图像GR1是通过摄影装置2对患者进行摄影而获取的实际图像即真实的图像。另一方面，医用图像GV2是从第1医用图像GR1虚拟生成的虚拟图像。
解码器34具有多个反卷积层。反卷积层进行与编码器33的卷积层相同的处理，但对所输入的特征图F1进行上采样，并且将用于反卷积的运算的内核适用于特征图。具体而言，如图4所示，解码器34对编码器33所输出的特征图F1进行高分辨率化，以成为第1医用图像GR1的分辨率，并且对第1医用图像GR1中包含的病变进行转换为在基于标签42的投药期间投与基于标签41的药之后的病变的处理，导出作为投药后的虚拟图像的医用图像GV2。
鉴别器32例如由卷积神经网络构成，判别所输入的图像的表现形式及所输入的图像是实际图像还是通过解码器34生成的虚拟图像，并输出判别结果RF1。判别结果表示所输入的图像是实际图像还是虚拟图像。
在此，鉴别器32在将所输入的实际图像判别为实际图像的情况下，判别结果RF1为正确答案，在判别为虚拟图像的情况下，判别结果RF1为非正确答案。并且，鉴别器32在将所输入的虚拟图像判别为实际图像的情况下，判别结果RF1为非正确答案，在判别为虚拟图像的情况下，判别结果RF1为正确答案。本实施方式中，学习时在鉴别器32中输入医用图像GV2的情况下，若判别结果RF1为虚拟图像，则判别结果RF1为正确答案，若判别结果为实际图像，则为非正确答案。并且，学习时在鉴别器32中输入作为实际图像的第2医用图像GR2的情况下，若判别结果RF1为实际图像，则判别结果RF1为正确答案，若判别结果为虚拟图像，则为非正确答案。
学习部24根据鉴别器32所输出的判别结果RF1来导出损失。本实施方式中，将鉴别器32中的损失设为第1损失L1。
另一方面，本实施方式中，优选解码器34所导出的虚拟医用图像GV2与第2医用图像GR2完全一致，但由于医用图像GV2经过由编码器33及解码器34进行的处理，因此在医用图像GV2与第2医用图像GR2之间产生不同。本实施方式中，学习部24将医用图像GV2与第2医用图像GR2的不同作为第2损失L2而导出。
本实施方式中，学习部24学习鉴别器32，以正确解答所输入的图像为实际图像还是通过解码器34生成的虚拟图像的判别结果RF1。即，学习鉴别器32，以使第1损失L1成为预先设定的阈值以下。
并且，学习部24学习解码器34，以使医用图像GV2与第2医用图像GR2一致。并且，学习部24学习编码器33，以导出能够由解码器34导出与第2医用图像GR2一致的医用图像GV2的特征图F1。具体而言，学习部24学习编码器33及解码器34，以使第2损失L2成为预先设定的阈值以下。
随着学习的进行，编码器33及解码器34和鉴别器32互相提高精确度，鉴别器32无论输入哪种表现形式的图像，都能够更加高精确度地判别是实际图像还是虚拟图像。另一方面，编码器33及解码器34能够生成不被鉴别器32判别的更接近真实的表现形式的图像的虚拟图像。由完成学习的编码器33及解码器34构成的发生器31构成本实施方式的学习模型22A。
另外，学习部24针对设想使用的药的种类中的每一种，可以通过进行使用了关于各种投药期间的教师数据的机器学习来构建与药的种类相对应的多个学习模型22A。并且，可以针对多种药构建1个学习模型22A，并能够仅使用1个学习模型22A来生成关于多种药的投药后图像。另外，一次使用的药不仅有1种，还有组合多种药的情况。例如，有同时投与药C和药D的情况。在该情况下，准备投与了药C+D时的教师数据，学习模型22A构建为生成投与了药C+D时的投药后图像。
图像生成部22使用如上所述构建的学习模型22A，从医用图像G0生成表示在某一投药期间对患者投与某一种药之后的病变的投药后图像。关于药的种类及投药期间，通过操作者从输入设备15输入，并通过信息获取部21获取。本实施方式中，针对某一种药，生成在不同的多个投药期间进行投药的情况下的多个投药后图像G1～Gn。例如，如图6所示，对于所获取的医用图像G0，获取了10天、20天、30天、40天及50天的5个投药期间的信息的情况下，生成投药期间为10天、20天、30天、40天及50天的5个投药后图像G1～G5。如图6所示，投药后图像G1～G5中，医用图像G0中所包含的病变47的尺寸不同。即，投药后图像G1～G4中，与医用图像G0相比，通过投药期间的经过，病变47的尺寸变小。另一方面，投药后图像G5中所包含的病变47尽管进行了投药，但尺寸大于投药后图像G4中所包含的病变47。这表示关于某一种药，若投药期间超过40天，则药的疗效变差且病变恶化。
导出部23根据多个投药后图像G1～Gn之间的病变的尺寸的变化，导出表示与药的投与期间相对应的药的疗效的信息。因此，导出部23从医用图像G0及多个投药后图像G1～G5检测病变47，并测量其尺寸。并且，导出部23将投药期间与病变的尺寸的关系作为表示与药的投与期间相对应的药的疗效的信息而导出。图7是表示第1实施方式中的表示药的疗效的信息的例子的图。
如图7所示，表示药的疗效的信息49是横轴表示投药期间且纵轴表示病变尺寸的图表。另外，图7所示的表示药的疗效的信息49中，关于10天、20天、30天、40天及50天的投药期间之间的投药期间中的病变尺寸，只要通过对10天、20天、30天、40天及50天的投药期间中的病变尺寸进行插补来导出即可。如图7所示，信息49中，投药期间到40天为止，病变的尺寸变小，若超过40天，则病变的尺寸变大。因此，导出部23导出信息49中的最小值，将所导出的最小值作为药的投与停止的时间点而导出。本实施方式中，40天作为投药停止的时间点而导出。
显示控制部25在显示器14上显示投药后图像、表示药的疗效的信息及投药停止的时间点。图8是表示第1实施方式中的投药后图像、表示药的疗效的信息及投药停止的时间点的显示画面的图。如图8所示，显示画面50具有第1显示区域51、第2显示区域52、第3显示区域53及第4显示区域54。
在第1显示区域51中，显示有图像生成部22所生成的投药后图像G1～G5的缩略图像的一览。在第2显示区域52中，显示有医用图像G0及选自显示在第1显示区域51的投药后图像G1～G5的缩略图像的投药后图像(在此为投药后图像G3)。在第3显示区域53中，显示有导出部23所导出的表示药的疗效的信息49。在第4显示区域54中，显示有导出部23所导出的投药停止的时间点。
接着，对第1实施方式中进行的处理进行说明。图9是表示第1实施方式中进行的学习处理的流程图。另外，学习中使用的教师数据设为通过信息获取部21从图像保管服务器3获取，并保存在储存器(storage)13中的数据。首先，学习部24获取保存在储存器(storage)13的教师数据(步骤ST1)。学习部24向发生器31的编码器33输入第1医用图像GR1并导出特征图F1(步骤ST2)。并且，学习部24向解码器34输入特征图F1、基于标签41的药的信息及基于标签42的投药期间的信息，并导出经过投药期间后的医用图像GV2(步骤ST3)。并且，学习部24向鉴别器32输入经过投药期间后的医用图像GV2，并输出判别结果RF1(步骤ST4)。
接着，学习部24根据判别结果RF1导出第1损失L1，将医用图像GV2与第2医用图像GR2的不同作为第2损失L2而导出(导出损失；步骤ST5)。而且，学习部24根据第1损失L1及第2损失L2来学习编码器33、解码器34及鉴别器32(步骤ST6)。并且，返回到步骤ST1，从储存器(storage)13获取下一教师数据，并重复步骤ST1～步骤ST6的处理。由此，构建学习模型22A。
另外，学习部24设为重复学习，直到第1损失L1及第2损失L2分别成为预先设定的阈值以下，但也可以重复预先设定的次数的学习。
接着，对第1实施方式中进行的图像生成处理进行说明。图10是表示第1实施方式中进行的图像生成处理的流程图。信息获取部21获取成为对象的医用图像G0、投与的药的种类及投药期间的信息(获取信息；步骤ST11)。接着，图像生成部22生成与投与的药的种类及投药期间相对应的投药后图像(步骤ST12)。而且，导出部23导出表示药的疗效的信息及投药停止的时间点(步骤ST13)。并且，显示控制部25在显示器14上显示投药后图像、表示药的疗效的信息及投药停止的时间点(步骤ST14)，并结束处理。
如此，第1实施方式中，从医用图像G0生成表示在投药期间对患者投与药之后的病变的投药后图像G1～G5。因此，能够确认投药对患者的效果。
并且，由于根据投药后图像G1～G5来导出表示药的疗效的信息，因此通过参考所导出的信息，能够容易确认药的疗效。
并且，由于根据表示药的疗效的信息来导出投药停止的时间点，因此能够容易判断在哪个时间点停止药的投与并替换成不同的药为较好。
接着，对本发明的第2实施方式进行说明。另外，基于第2实施方式的图像生成装置的结构与图3所示的基于第1实施方式的图像生成装置的结构相同，且只有进行的处理不同，因此在此省略对装置的详细说明。第2实施方式中，导出关于多种药的投药后图像，这一点与第1实施方式不同。第2实施方式中，导出部23针对每一种药导出表示药的疗效的信息及投药停止的时间点。
图11是表示第2实施方式中的表示药的疗效的信息的例子的图。如图11所示，第2实施方式中的表示药的疗效的信息60表示关于3种药A、药B及药C+D的有关药的疗效的投药期间与病变尺寸的关系。另外，药C+D表示组合药C和药D而进行投与。图11中，实线表示关于药A的疗效，虚线表示关于药B的疗效，单点划线表示关于药C+D的疗效。如图11所示，关于药A，投药期间到40天为止，病变的尺寸变小，若超过40天，则病变的尺寸变大。关于药B，投药期间到20天左右为止，病变的尺寸变小，若超过20天，则病变的尺寸变大。关于药C+D，投药期间到50天左右为止，病变的尺寸变小，若超过50天，则病变的尺寸变大。
导出部23针对药A、药B及药C+D中的每一种，导出表示药的疗效的信息60中的最小值，并将所导出的最小值作为药的投与停止的时间点而导出。具体而言，关于药A是40天，关于药B是20天，关于药C+D是50天作为投药停止的时间点而导出。
图12是表示第2实施方式中的、投药后图像、表示药的疗效的信息及投药停止的时间点的显示画面的图。另外，图12中对与图8相同的结构标注相同的参考编号，在此省略详细说明。如图12所示，第2实施方式中的显示画面50A中，在第1显示区域51内显示有3个显示区域51A～51C。在显示区域51A中显示有针对药A生成的投药后图像G1～G5的缩略图像。在显示区域51B中显示有针对药B生成的投药后图像G11～G15的缩略图像。在显示区域51C中显示有针对药C+D生成的投药后图像G21～G25的缩略图像。另外，图12中，省略投药后图像G11～G15、G21～G25的内容的图示。
在第2显示区域52中，显示有医用图像G0及在显示区域51A～51C中选择的投药后图像。
并且，在第3显示区域53中，显示有图11所示的表示药的疗效的信息60。在第4显示区域54中，显示有表示关于生成了投药后图像的药A、B、C+D各自的投药停止的时间点的信息。具体而言，关于药A显示为40天，关于药B显示为20天，关于药C+D显示为50天。
如此，第2实施方式中，由于生成关于多种药的投药后图像，因此能够确认与药的种类相对应的药的疗效。
并且，由于导出表示与药的种类相对应的药的疗效的信息，因此通过参考所导出的信息，能够容易确认哪一种药的疗效优异。
并且，由于根据表示药的疗效的信息来导出投药停止的时间点，因此针对每一种药能够容易判断在哪个时间点停止药的投与并替换成不同的药为较好。
另外，在上述各实施方式中的显示画面50、50A中，显示投药后图像、表示药的疗效的信息及投药停止的时间点，但并不限定于此。也可以显示投药后图像、表示药的疗效的信息及投药停止的时间点中的至少1个。
并且，上述各实施方式中，将包含肺整体的图像用作教师数据并对学习模型22A进行学习，但并不限定于此。也可以将从包含肺的图像仅提取病变的区域的局部图像用作教师数据，并对学习模型22A进行学习。
并且，上述各实施方式中，以将诊断对象设为肺的医用图像作为对象图像制作读影报告的情况下，适用本发明的技术，但诊断对象并不限定于肺。除了肺以外，能够将心脏、肝脏、脑及四肢等人体的任意部位作为诊断对象。
并且，上述各实施方式中，例如，作为信息获取部21、图像生成部22、导出部23、学习部24及显示控制部25等执行各种处理的处理部(Processing Unit)的硬件结构，能够使用以下所示的各种处理器(Processor)。上述各种处理器中，除了如上所述执行软件(程序)而作为各种处理部发挥作用的通用处理器即CPU以外，还包括FPGA(Field ProgrammableGate Array：现场可编程逻辑门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific IntegratedCircuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。
作为由1个处理器构成多个处理部的例子，第一，有如下方式：如以客户端及服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用。第二，有如下方式：如以片上系统(System On Chip：SoC)等为代表，使用由1个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部作为硬件结构，使用1个以上的上述各种处理器而构成。
另外，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等电路元件而成的电路(Circuitry)。
符号说明
1-计算机，2-摄影装置，3-图像保管服务器，4-网络，11-CPU，12A-图像生成程序，12B-学习程序，13-储存器(storage)，14-显示器，15-输入设备，16-存储器(memory)，17-网络I/F，18-总线，20-图像生成装置，21-信息获取部，22-图像生成部，22A-学习模型，23-导出部，24-学习部，25-显示控制部，31-发生器，32-鉴别器，33-编码器，34-解码器，40-教师数据，41-药的标签，42-投药期间的标签，43、44、47-病变，49、60-表示药的疗效的信息，50、50A-显示画面，51-第1显示区域，51A～51C-显示区域，52-第2显示区域，53-第3显示区域，54-第4显示区域，F1-特征图，G0-医用图像，G1～G5、G11～G15、G21～G25-投药后图像，GR1-第1医用图像，GR2-第2医用图像，GV2-虚拟医用图像，RF1-判别结果。

Claims (15)

1.一种图像生成装置，其具备至少1个处理器，
所述处理器构成为如下：
获取包含病变的医用图像、对获取了所述医用图像的患者投与的药的种类及所述药的投药期间的信息；
从所述医用图像生成表示在所述投药期间对所述患者投与所述药之后的所述病变的投药后图像。
2.根据权利要求1所述的图像生成装置，其中，
所述处理器构成为使用至少1个学习模型来生成所述投药后图像，所述至少1个学习模型针对至少1种药，通过将对患者的该药的投药期间、投药前的第1图像及经过所述投药期间后的第2图像的组合作为教师数据使用并进行机器学习而构建。
3.根据权利要求1或2所述的图像生成装置，其中，
所述处理器构成为如下：
获取多个不同的投药期间的信息；
生成与多个不同的投药期间分别对应的多个投药后图像。
4.根据权利要求3所述的图像生成装置，其中，
所述处理器进一步构成为根据所述多个投药后图像之间的所述病变的变化，导出表示与所述药的投药期间相对应的药的疗效的信息。
5.根据权利要求4所述的图像生成装置，其中，
所述处理器构成为根据所述药的疗效，导出所述药的投药停止的时间点。
6.根据权利要求5所述的图像生成装置，其中，
所述处理器进一步构成为在显示器上显示所述投药后图像、表示所述药的疗效的信息及所述投药停止的时间点中的至少1个。
7.根据权利要求3所述的图像生成装置，其中，
所述处理器构成为针对多种药中的每一种生成所述多个投药后图像。
8.根据权利要求7所述的图像生成装置，其中，
所述处理器进一步构成为针对所述多种药中的每一种，根据所述多个投药后图像之间的所述病变的变化，导出表示与所述药的投药期间相对应的药的疗效的信息。
9.根据权利要求8所述的图像生成装置，其中，
所述处理器构成为根据所述药的疗效，导出与投与的药的种类相对应的所述药的投药停止的时间点。
10.根据权利要求9所述的图像生成装置，其中，
所述处理器进一步构成为在显示器上显示所述多个投药后图像、表示所述药的疗效的信息、所述投与的药的种类及所述投药停止的时间点中的至少1个。
11.一种学习装置，其具备至少1个处理器，
所述处理器构成为如下：
针对至少1种药，获取由对患者投与该药的投药期间、投药前的第1图像及经过所述投药期间后的第2图像的组合构成的教师数据；
通过使用所述教师数据进行学习，从而构建学习模型，所述学习模型中，若输入包含病变的患者的医用图像、药的种类及投药期间，则输出表示在所述投药期间对患者投与所述药之后的所述病变的投药后图像。
12.一种图像生成方法，其中，
获取包含病变的医用图像、对获取了所述医用图像的患者投与的药的种类及所述药的投药期间的信息，
从所述医用图像生成表示在所述投药期间对所述患者投与所述药之后的所述病变的投药后图像。
13.一种学习方法，其中，
针对至少1种药，获取由对患者投与该药的投药期间、投药前的第1图像及经过所述投药期间后的第2图像的组合构成的教师数据，
通过使用所述教师数据进行学习，从而构建学习模型，所述学习模型中，若输入包含病变的患者的医用图像、药的种类及投药期间，则输出表示在所述投药期间对患者投与所述药之后的所述病变的投药后图像。
14.一种图像生成程序，其使计算机执行如下步骤：
获取包含病变的医用图像、对获取了所述医用图像的患者投与的药的种类及所述药的投药期间的信息的步骤；及
从所述医用图像生成表示在所述投药期间对所述患者投与所述药之后的所述病变的投药后图像的步骤。
15.一种学习程序，其使计算机执行如下步骤：
针对至少1种药，获取由对患者投与该药的投药期间、投药前的第1图像及经过所述投药期间后的第2图像的组合构成的教师数据的步骤；及
通过使用所述教师数据进行学习，从而构建学习模型，所述学习模型中，若输入包含病变的患者的医用图像、药的种类及投药期间，则输出表示在所述投药期间对患者投与所述药之后的所述病变的投药后图像的步骤。
CN202180039095.6A 2020-06-04 2021-04-08 图像生成装置、方法及程序、学习装置、方法及程序 Pending CN115802947A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-097900 2020-06-04
JP2020097900 2020-06-04
PCT/JP2021/014897 WO2021246052A1 (ja) 2020-06-04 2021-04-08 画像生成装置、方法およびプログラム、学習装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
CN115802947A true CN115802947A (zh) 2023-03-14

Family

ID=78830828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180039095.6A Pending CN115802947A (zh) 2020-06-04 2021-04-08 图像生成装置、方法及程序、学习装置、方法及程序

Country Status (5)

Country Link
US (1) US20230089212A1 (zh)
JP (1) JP7446423B2 (zh)
CN (1) CN115802947A (zh)
DE (1) DE112021003110T5 (zh)
WO (1) WO2021246052A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104303184B (zh) 2012-03-21 2018-05-15 皇家飞利浦有限公司 整合医疗成像和活检数据的临床工作站以及使用其的方法
JP2014071592A (ja) 2012-09-28 2014-04-21 Fujifilm Corp 投薬効果予測システム及びその制御方法、並びに制御プログラム
CA2996200A1 (en) 2015-09-16 2017-03-23 Heartflow, Inc. Systems and methods for patient-specific imaging and modeling of drug delivery
JP7114323B2 (ja) 2017-05-09 2022-08-08 キヤノンメディカルシステムズ株式会社 医用情報処理システム及び医用情報処理装置
KR101929953B1 (ko) 2017-06-27 2018-12-19 고려대학교 산학협력단 환자 맞춤형 진단 보조 정보 제공 시스템, 장치 및 방법
JP6853144B2 (ja) 2017-08-24 2021-03-31 キヤノンメディカルシステムズ株式会社 医用情報処理システム
JP7412069B2 (ja) 2017-10-18 2024-01-12 キヤノンメディカルシステムズ株式会社 病院情報システム、及び画像データ生成プログラム

Also Published As

Publication number Publication date
US20230089212A1 (en) 2023-03-23
WO2021246052A1 (ja) 2021-12-09
DE112021003110T5 (de) 2023-03-23
JPWO2021246052A1 (zh) 2021-12-09
JP7446423B2 (ja) 2024-03-08

Similar Documents

Publication Publication Date Title
Minnema et al. Segmentation of dental cone‐beam CT scans affected by metal artifacts using a mixed‐scale dense convolutional neural network
Kılıc et al. Artificial intelligence system for automatic deciduous tooth detection and numbering in panoramic radiographs
US20200294288A1 (en) Systems and methods of computed tomography image reconstruction
Shaheen et al. A novel deep learning system for multi-class tooth segmentation and classification on cone beam computed tomography. A validation study
Revilla-León et al. Artificial intelligence applications in restorative dentistry: A systematic review
US20200134876A1 (en) Generating simulated body parts for images
US11823376B2 (en) Systems and methods for review of computer-aided detection of pathology in images
US20170337713A1 (en) Method and data processing unit for optimizing an image reconstruction algorithm
US20100142774A1 (en) method, a system, and an apparatus for using and processing multidimensional data
US20070014454A1 (en) Dynamic tumor diagnostic and treatment system
JP6727176B2 (ja) 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
KR101957811B1 (ko) 의료 영상에 기반하여 피검체의 치매에 대한 중증도를 산출하는 방법 및 이를 이용한 장치
Preda et al. Deep convolutional neural network-based automated segmentation of the maxillofacial complex from cone-beam computed tomography: A validation study
EP3338636B1 (en) An apparatus and associated method for imaging
US20190267132A1 (en) Medical image display device, method, and program
JP7129869B2 (ja) 疾患領域抽出装置、方法及びプログラム
US20230083261A1 (en) Labeling, visualization, and volumetric quantification of high-grade brain glioma from mri images
US20210353393A1 (en) Artificial Intelligence Platform for Determining Dental Readiness
US20200094074A1 (en) System and Method for Reconstructing Image Volumes from Sparse Two-Dimensional Projection Data
KR101919908B1 (ko) 의료 영상의 레이블링을 지원하는 방법 및 이를 이용한 장치
Potočnik et al. Current and potential applications of artificial intelligence in medical imaging practice: A narrative review
WO2006119340A2 (en) Dynamic tumor diagnostic and treatment system
JP6843785B2 (ja) 診断支援システム、診断支援方法、及びプログラム
CN115802947A (zh) 图像生成装置、方法及程序、学习装置、方法及程序
Kot et al. U-Net and active contour methods for brain tumour segmentation and visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination