JP2022070037A - 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム - Google Patents
情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP2022070037A JP2022070037A JP2020179043A JP2020179043A JP2022070037A JP 2022070037 A JP2022070037 A JP 2022070037A JP 2020179043 A JP2020179043 A JP 2020179043A JP 2020179043 A JP2020179043 A JP 2020179043A JP 2022070037 A JP2022070037 A JP 2022070037A
- Authority
- JP
- Japan
- Prior art keywords
- treatment method
- medical image
- information processing
- candidate
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims abstract description 119
- 238000011156 evaluation Methods 0.000 claims abstract description 34
- 201000010099 disease Diseases 0.000 claims abstract description 26
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 26
- 238000003745 diagnosis Methods 0.000 claims description 54
- 206010028980 Neoplasm Diseases 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 206010027476 Metastases Diseases 0.000 claims description 9
- 230000009401 metastasis Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 210000000038 chest Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000035558 fertility Effects 0.000 claims description 2
- 230000004083 survival effect Effects 0.000 claims description 2
- 210000000481 breast Anatomy 0.000 claims 2
- 238000002620 method output Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 238000002059 diagnostic imaging Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002651 drug therapy Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000016169 Fish-eye disease Diseases 0.000 description 1
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 1
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 108091008039 hormone receptors Proteins 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000001926 lymphatic effect Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011272 standard treatment Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Urology & Nephrology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Heart & Thoracic Surgery (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】疾患の処置方法についてユーザが妥当性を判断可能な情報を提示する。【解決手段】本明細書に開示の情報処理装置は、医用画像と前記医用画像における診断結果を組にして学習した学習モデルを用いて、被検者を撮影した医用画像に対する診断結果を推定する推定手段と、前記推定された診断結果に対して施される処置方法の候補及び前記処置方法の候補に対する評価値を出力する出力手段と、を備えることを特徴とする。【選択図】図1
Description
本明細書の開示は、情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラムに関する。
近年、撮影装置の高性能化と撮影回数の増加により、読影すべき医用画像データの数が増加する一方で、医師の数が不足している。
上記の課題を解決するシステムとして、計算機で医用画像を解析し、医師の読影の助けとなる情報を提示するコンピュータ支援診断(Computer Aided Diagnosis:CAD)システムが知られている。
しかしながら、依然として医師のリソースはひっ迫しており、被検者ひとりにかけられる診断時間が限られている。さらに、医師から提示された処置方法について、他の情報にも鑑みて妥当性を判断したいという被検者の欲求を解決する手段がなかった。
そのため、被検者にとって、画像診断の結果として医師から提示される疾患の処置方法が、選びうる処置方法の中で被検者自身に合った選択肢であるかを判断することが困難な場合があった。
本明細書の開示は、上記課題に鑑み、疾患の処置方法についてユーザが妥当性を判断可能な情報を提示することを目的の一つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
本明細書に開示の情報処理装置は、医用画像と前記医用画像における診断結果を組にして学習した学習モデルを用いて、被検者を撮影した医用画像に対する診断結果を推定する推定手段と、前記推定された診断結果に対して施される処置方法の候補及び前記処置方法の候補に対する評価値を出力する出力手段と、を備えることを特徴とする。
本明細書の開示によれば、疾患の処置方法についてユーザが妥当性を判断可能な情報を提示することができる。
以下、添付図面に従って本明細書に開示の情報処理装置の好ましい実施形態について詳説する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本明細書に開示の情報処理装置の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、本明細書の開示は下記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、後述する各実施例及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。
<第1の実施形態>
本実施形態に係る情報処理装置は、コンピュータ断層撮影装置(以下、CT装置)などの種々の医用画像撮影装置(モダリティ)によって取得された医用画像の診断結果から導かれる処置方法について、ユーザが妥当性を判断可能な情報を提示することを特徴とする。
本実施形態に係る情報処理装置は、コンピュータ断層撮影装置(以下、CT装置)などの種々の医用画像撮影装置(モダリティ)によって取得された医用画像の診断結果から導かれる処置方法について、ユーザが妥当性を判断可能な情報を提示することを特徴とする。
具体的には、まず、例えば、CT装置により被検者の病変を含む胸部の撮影を行い、該撮影により得られたCT画像を入力データとして学習モデルを用いて診断結果を推定する。そして、推定された診断結果から過去に行われた類似度の高い診断結果を抽出し、抽出された診断において行われた処置方法を特定する。そして、特定された処置方法に関する情報をユーザに提示する。
なお、医用画像撮影装置は上記に限定されず、MRI装置、3次元超音波撮影装置、光音響トモグラフィ装置、PET/SPECT、OCT装置、デジタルラジオグラフィ装置などであってもよい。また、撮影を行う部位は上記に限定されず、脳、心臓、肺野、肝臓、胃、大腸などであってもよい。
以下の説明では、医用画像として胸部を撮影したCT画像を用いて診断を行う場合の例を示す。
図1は、本実施形態に係る情報処理装置を含む情報処理システムの全体構成を示す図である。
情報処理システムは、医用画像撮影装置101、データサーバ102、情報処理装置103、情報表示装置104を含み構成される。
医用画像撮影装置101は、例えば病院等の医療機関に設置されてあり、被検者を撮影し医用画像を生成する。なお、本実施形態における画像は、表示部に表示されている状態だけでなく画像データとしてデータベースや記憶部に記憶されている状態も含む。
データサーバ102は、ネットワークを介して医用画像撮影装置101で撮影された被検者の医用画像や該医用画像に関連付けられた情報を保持し、管理する。例えば、医用画像と該医用画像に関連付けられた情報は、医用画像のフォーマット及び通信手順を規定した国際標準規格であるDICOM(Digital Imaging and Communication in Medicine)規格に準拠したフォーマットで保存することができる。ただし、医用画像と医用画像に関する情報を対応付けて保存できるなら、DICOM規格に準拠していなくてもよい。また、関連する情報を医用画像とは別のファイルやデータベースに記憶しておく形態であってもよい。この場合、情報処理装置103が必要に応じて該ファイルやデータベースにアクセスして、関連する情報を参照すればよい。さらに、データサーバ102は、病院内のシステムであってもよいし、病院外のシステムであってもよい。
情報処理装置103は、図2に示すようにネットワークを介してデータサーバ102で保持されている医用画像を取得することが可能である。情報処理装置103は、通信IF(Interface)111、ROM(Read Only Memory)112、RAM(Random Access Memory)113、記憶部114、操作部115、表示部116、及び制御部117を備える。
通信IF111は、LANカード等で実現され、外部装置(例えば、データサーバ102)と情報処理装置104との間の通信を司る。ROM112は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。RAM113は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部114は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ(HDD)やソリッドステイトドライブ(SSD)に代表される大容量情報記憶装置等で実現され、各種情報を記憶する。操作部115は、キーボードやマウス等で実現され、ユーザからの指示を装置に入力する。表示部116は制御部117が生成した各種情報を表示する装置であり、典型的には液晶ディスプレイなどが利用されるが、プラズマディスプレイ、有機ELディスプレイ、FEDなど、他の方式のディスプレイであってもよい。すなわち、制御部117の機能的構成のうち、表示制御手段121が各種情報を表示部116に表示させている。制御部117は、CPU(Central Processing Unit)やGPU(Graphical Processing Unit)等で実現され、情報処理装置104における各処理を統括制御する。
制御部117は、その機能的な構成として、取得手段118、推定手段119、特定手段120、表示制御手段121及び送信手段122を備える。
取得手段118は、医用画像撮影装置101で撮影した被検者の医用画像と該医用画像に関連付けられた情報をデータサーバ102から読み取り取得する。医用画像に関連付けられた情報とは、例えば、被検者ID、被検者の身長、体重、年齢、性別、体脂肪、血圧、妊娠状態、心拍数あるいは体温等の被検者情報や、撮影条件、撮像部位、撮影日時あるいは撮影場所等の検査情報であってよい。なお、取得手段118は、データサーバ102に記憶された医用画像に関連付けられた情報を全て取得してもよいし、一部の項目のみを取得してもよい。さらに、一部の項目を取得する場合、取得手段118は、予め定められた所定の情報を自動で取得してもよいし、ユーザが操作部115を介して選択した項目の情報を取得してもよい。また、データは必ずしもデータサーバ102から取得しなくてもよく、例えば、医用画像撮影装置101から直接送信されてきたデータを取得してもよい。また、取得する情報に応じて取得先のデータサーバが異なっていてもよい。例えば、医用画像と該医用画像に関連付けられた情報を異なるデータサーバからそれぞれ取得してもよい。
推定手段119は、取得手段118が取得した被検者の医用画像から診断結果を推定する。本実施形態では、予め深層学習を行った学習モデルを用いて、被検者の医用画像から診断結果を推定する。学習モデルは、詳しくは後述するが、例えば、入力データとラベルとの組を教師データとしたニューラルネットワークを用いた教師あり学習を行うことにより構築される。なお、本実施形態では、診断結果は、例えば、疾患の有無、疾患の重病度(病期)、疾患の種類、転移の有無、転移の位置、腫瘍の位置、腫瘍の大きさ、あるいは腫瘍の数などの項目に対する識別結果を示す。本実施形態では、一例として疾患の重病度(病期)を推定する学習モデルを用いる構成を説明するが、全ての情報を推定する構成でもよいし、いずれかを推定する構成でもよい。また、学習モデルは、入力データとラベルを含む教師データに基づく学習を反復実行することができる。また、学習モデルは、転移学習やファインチューニングによる他のモデルの学習に用いられてもよいし、学習モデルに対してさらに学習処理(追加学習)が実行されてもよい。本実施形態において、診断結果の推定を行う学習モデルは、情報処理装置103の備える学習手段(不図示)により生成されてもよいし、情報処理装置103とは異なる情報処理装置により生成されたモデルであってもよい。さらに、学習モデルを生成する際の具体的なアルゴリズムは上記に限定されず、ニューラルネットワークを用いた深層学習の他に、例えば、サポートベクターマシン、ベイジアンネットワーク、又はランダムフォレスト等を用いてよい。
特定手段120は、推定手段119により推定された診断結果に基づいて該疾患の処置方法を特定する。
送信手段121は、特定手段120により特定された処置方法を、情報表示装置104に送信する。
情報表示装置104は、例えば、情報処理装置103から送信された各種情報を表示する装置であり、典型的には液晶ディスプレイを備えたスマートフォンやタブレット端末などのデバイスが利用される。なお、プラズマディスプレイ、有機ELディスプレイ、FEDなど、他の方式のディスプレイであってもよい。また、情報を表示可能であれば必ずしもディスプレイを備えていなくてもよく、例えば、空間に情報を描写するAR(Argumented Reality)などの技術を用いたデバイスでもよい。
次に、本実施形態に係る情報処理システム100の処理手順について、図3のフローチャートを用いて説明する。
(S301:医用画像の撮影・保存)
S301において、医用画像撮影装置101は、被検者の医用画像を撮影し、被検者情報あるいは検査情報と共にネットワークを介してデータサーバ102に保存する。
S301において、医用画像撮影装置101は、被検者の医用画像を撮影し、被検者情報あるいは検査情報と共にネットワークを介してデータサーバ102に保存する。
(S302:医用画像の取得)
S302において、情報処理装置103が備える取得手段118は、S301で撮影された医用画像と該医用画像に関連付けられた情報をデータサーバ102から取得する。
S302において、情報処理装置103が備える取得手段118は、S301で撮影された医用画像と該医用画像に関連付けられた情報をデータサーバ102から取得する。
(S303:診断結果の推定)
S303において、情報処理装置103が備える推定手段119は、S302で取得した被検者の医用画像を学習モデルに入力することにより、診断結果を推定する。
S303において、情報処理装置103が備える推定手段119は、S302で取得した被検者の医用画像を学習モデルに入力することにより、診断結果を推定する。
ここで、診断結果の推定に用いる学習モデルの生成方法について図4A及び図4Bを用いて説明する。
本実施形態において、学習モデルは、入力データである医用画像と出力結果となる診断結果であるラベルとの組を教師データとしたニューラルネットワークを用いた教師あり学習を行うことにより構築する。なお、以下では制御部117が備える学習手段(不図示)により学習モデルが生成される例を示すが、情報処理装置103とは異なる情報処理装置により生成されてもよい。
S401において、制御部117が備える学習手段は、教師データとなる医用画像とラベルをデータサーバ102から取得する。なお、医用画像とラベルは必ずしもデータサーバ102から取得しなくてもよく他のデータサーバから取得してもよい。ここで、本実施形態におけるラベルは、例えば、疾患の有無、疾患の重病度(病期)、疾患の種類、転移の有無、転移の位置、腫瘍の位置、腫瘍の大きさ、あるいは腫瘍の数などの識別情報である。
S402において、学習手段は、S401で取得した医用画像とラベルの組を教師データ401として受け付ける。
S403において、学習手段は、医用画像とラベルの組を教師データ401として教師あり学習を行うことにより学習モデルを生成する。
学習手段は、教師データに含まれる入力データとラベルの組を、パーセプトロンを組み合わせて構成したニューラルネットワーク402に与え、ニューラルネットワーク402の出力がラベルと同じとなるように、ニューラルネットに含まれる各パーセプトロンについての重み付けを変更する、というフォワードプロパゲーションを行う。例えば、本実施形態では、ニューラルネットワークが出力する識別情報が、ラベルの識別情報と同じになるように、フォワードプロパゲーションを行う。
そして、学習手段は、このようにフォワードプロパゲーションを行った後に、バックプロパゲーションという手法により各パーセプトロンの出力の誤差を小さくするように重み付け値を調整する。より詳細には、学習手段は、ニューラルネットワーク402の出力とラベルとの誤差を算出し、算出した誤差を小さくするように重み付け値を修正する。
ここで、ニューラルネットワーク402は、多数の処理ユニット403が任意に接続された構造を取る。処理ユニット403の例としては、コンボリューション演算や、BatchNormalization等の正規化処理、あるいは、ReLU、Sigmoid、Softmax等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み層、プーリング層、全結合層、及び出力層、のように順番に処理を行う組が3~数百程度の層状に接続され、畳み込みニューラルネットワークと呼ばれる構造を取ることができる。
例えば、畳み込み層では、エッジ抽出等の特徴抽出を行うために、入力された画像データに対して所定のパラメータのフィルタをかける。このフィルタにおける所定のパラメータは、ニューラルネットワークの重みに相当しており、上述のフォワードプロパゲーションやバックプロパゲーションを繰り返すことにより学習されていく。
プーリング層では、物体の位置ズレを許容するために、畳み込み層から出力された画像をぼかす。これにより、物体の位置が変動しても同一の物体であるとみなすことができる。これら畳み込み層及びプーリング層を組み合わせることによって、画像から特徴量を抽出することができる。
全結合層では、畳み込み層及びプーリング層を通して特徴部分が取り出された画像データを一つのノードに結合し、活性化関数によって変換した値を出力する。ここで、活性化関数は、0未満の出力値を全て0にする関数で、ある閾値以上の部分だけを意味の有る情報として出力層に送るために用いる。
出力層では、全結合層からの出力を、例えば、多クラス分類を行うための関数であるソフトマックス関数を用いて確率に変換し、この確率に基づいて識別情報を出力する。なお、出力とラベルとの誤差を小さくするようにフォワードプロパゲーションやバックプロパゲーションを繰り返す点は、畳み込みニューラルネットワークでも同様である。
なお、学習手段はS401で取得した医用画像を全て学習してもよいし、取得した医用画像のうち一部の医用画像のみを学習してもよい。また、学習手段は、取得した医用画像を複数の領域に分割した分割画像を入力データとしてもよく、あるいは、取得した医用画像のうち一部の関心領域のみを抽出して入力データとしてもよい。
さらに、学習手段は1つの入力データに対して複数のラベルを組にして教師データを構成してもよい。例えば、1つの医用画像に対して、疾患の種類、転移の有無をラベルとして関連付けて教師データを構成し、疾患の種類及び転移の有無を出力する学習モデルを生成する。
あるいは、入力データに対して関連付けるラベルごとに異なる学習モデルを生成してもよい。例えば、医用画像に対して疾患の種類をラベルとして構成した教師データから第1の学習モデルを生成し、医用画像に対して転移の有無をラベルとして構成した教師データから第2の学習モデルを生成する。
または、異なる入力データに対して同一のラベルを関連付けて複数の学習モデルを生成してもよい。例えば、S401においてCT画像とMRI画像を取得する。そして、取得したCT画像に対して疾患の重病度(病期)をラベルとして構成した教師データから第1の学習モデルを生成し、さらに、MRI画像に対して疾患の重病度(病期)をラベルとして構成した教師データから第2の学習モデルを生成してもよい。
(S304:処置方法の特定)
S304において、情報処理装置103が備える特定手段120は、S303で推定された診断結果に基づいて処置方法を特定する。
S304において、情報処理装置103が備える特定手段120は、S303で推定された診断結果に基づいて処置方法を特定する。
まず、特定手段120は、上記の推定結果と類似度の高い過去に行われた診断結果を抽出する。なお、推定結果に加え、被検者情報および撮影情報のうち少なくともいずれか一方の情報との類似度を算出し、診断結果を抽出してもよい。例えば、被検者情報のうち、性別、妊娠状態に関する情報を類似度算出の項目に追加する。
ここで、推定結果と過去の診断結果の類似度は、推定結果と過去の診断結果の内容が類似する度合いが高いほど値が高くなるよう類似度を算出する。例えば、特定手段120は、推定結果と過去の診断結果とに共通して出現する単語の数に基づいて類似度を算出する。あるいは、特定手段120は、推定結果と過去の診断結果に出現する文言などから推定結果と過去の診断結果のそれぞれの特徴ベクトルを求め、特徴ベクトル間の距離を類似度として算出する。なお、特定手段120による推定結果と過去の診断結果の類似度の算出方法はいかなる方法であってもよく、例えば、S303において推定を行う被検者の医用画像と、データサーバ102に記憶された過去に撮影された医用画像の画像間の類似度を算出してもよい。また、例えば、過去の診断結果を複数のクラスに分類しておき、S303において、被検者の医用画像が予め分類したクラスのどのクラスに分類されるかを推定し、推定されたクラスの中の過去の診断結果を抽出してもよい。
また、類似度算出に用いる項目のそれぞれに重みづけをしてもよく、例えば、被検者が同姓(女性)で検査時に妊娠している過去の患者の情報を知りたい場合には、当該項目の重みづけを大きくするなどする。
そして、抽出された過去の診断結果において施された処置方法を特定する。
ここで、特定手段120は、例えば、同様の診断結果(乳がん)であった場合でも、個人の健康状態や、疾患の進行度合いなどによって選ぶべき処置方法が異なるため、複数の処置方法を特定することが望ましい。
より具体的には、本実施形態では、乳がんに関する処置方法として、乳房全摘術、乳房温存術あるいは術前薬物療法などを特定する。なお、上記の処置方法は一例であってこれに限定されず、推定する疾患などに応じて種々の処置方法が特定されてよい。
また、必ずしも複数の処置方法が特定されなくてもよく、例えば、疾患の重病度によって蓋然性の高い処置方法が一意に定まる場合などは1つの処置方法が特定されればよい。なお、この場合は、比較対象となる処置方法がない旨を表示する。
(S305:処置方法の送信)
S305において、情報処理装置103が備える送信手段122は、ネットワークを介してS304で特定された処置方法と該処置方法に関する情報を情報表示装置104からの要求に応じて送信する。処置方法に関する情報は、詳しくは後述するが、例えば、処置方法に関する複数の指標についての評価値などである。
S305において、情報処理装置103が備える送信手段122は、ネットワークを介してS304で特定された処置方法と該処置方法に関する情報を情報表示装置104からの要求に応じて送信する。処置方法に関する情報は、詳しくは後述するが、例えば、処置方法に関する複数の指標についての評価値などである。
送信手段122は、処置方法の候補となる項目のみをはじめに送信し、情報表示装置104において表示された処置方法の候補のうち、ユーザにより選択された処置方法の情報のみを送信する構成でもよい。あるいは、送信手段122は、ユーザからの要求に応じて特定された処置方法に関する情報を全て送信する構成でもよい。
(S306:処置方法の表示)
S306において、情報表示装置104は、情報処理装置103から送信されてきた処置方法に関する情報を表示する。
S306において、情報表示装置104は、情報処理装置103から送信されてきた処置方法に関する情報を表示する。
具体的には、情報表示装置104は、図2に示すように、例えば、ユーザからの指示を受け付けるためのユーザインタフェースを表示する液晶ディスプレイなどの表示部140と表示部140に情報を表示する制御を行う表示制御手段143を備える。そして、表示制御手段143が、受信手段142が受信した情報を表示部140に表示することにより、ユーザは表示部140に表示された処置方法に関する情報を確認できる。
図5を用いて、処置方法に関する情報の具体的な表示方法の一例について説明する。
表示画面501には、被検者の医用画像から推定された診断結果から特定された過去の症例において施された処置方法に関する情報が一覧で表示されている。表示画面501は、一例として、被検者の重病度についての診断結果が「初期」であり、過去に同様に「初期」と診断された、乳房全摘術の処置を受けた症例(95例)、乳房温存術の処置を受けた症例(15例)、及び、術前薬物療法の処置を受けた症例(10例)に関する情報が送信されてきたものとする。
なお、表示画面501に示す表示方法は一例であってこれに限定されず、表示制御手段143は、例えば、一覧表示ではなく、ユーザの選択肢となる可能性が高い処置方法の候補を順番に表示してもよい。また、表示制御手段143は、処置方法の候補を表示画面501のように採用例の多い順に降順で並べて表示してもよいし、昇順で並べて表示してもよい。あるいは、表示制御手段143は、処置方法の候補を標準治療から順に表示してもよい。さらに、表示制御手段143は、処置方法として採用例の多い処置方法を強調して表示するなどしてもよい。また、制御部141は、抽出された過去の症例について、被検者情報などに基づいてスクリーニングする検索機能をさらに備えていてもよい。
そして、情報表示装置104が備える受付手段144は、表示画面501に表示された処置方法に対するユーザからの任意の選択を受け付け、選択に応じて表示画面を遷移させる。
表示画面502は、表示画面501において、乳房温存術が選択された場合の表示の一例を示している。具体的には、表示画面502では、乳房温存術を選んだ場合の、生存率の高さ、費用、妊孕性への影響、アピアランスへの影響及び再発率の低さなどの指標の評価値をレーダチャートで表示している。なお、表示画面501に表示されている他の処置方法を選んだ場合も同様のレーダチャートが表示され、ユーザはこれらのレーダチャートで示された評価値を処置方法ごとに比較できる。なお、評価値の表示形態はレーダチャートでなくてもよく、種々のグラフや表で表してもよい。
指標の評価値は、過去の症例において評価された結果に基づいた種々の統計値(平均値、中央値、最大値など)を用いることが出来る。なお、指標の評価値は、指標ごとに異なる統計値を用いてもよいし、全ての指標で同一の統計値を用いてもよい。
また、過去の症例において、必ずしも全ての指標の情報が関連付けて記憶されていない場合がある。そのため、例えば、指標の評価値と共に、評価値の算出に用いた症例数を並べて表示してもよい。あるいは、評価値の算出にあたってサンプル数が少ない場合には相対的に信頼性が低い旨を強調表示するなどしてもよい。
そして、表示された項目のいずれかが選択されると、表示画面503に示すように選択された項目についての補足説明の情報が表示される。表示画面503では、表示されている項目のうち「アピアランス」が選択された場合に、術後のアピアランスに対する満足度についてその他の処置方法と比べた情報を補足して表示している例を示している。なお、補足説明の情報は、各指標におけるその他の処置方法と比べた場合の情報でなくてもよく、例えば、表示されている処置方法を過去に選択した人の体験談や、満足度合いに関するアンケート結果などを表示してもよい。
このように、チャートを構成するそれぞれの指標の評価値と補足情報を処置方法ごとに見比べることにより、ユーザは自身に合った処置方法を客観的な情報に基づいて検討することができる。
なお、表示画面502において表示する指標は、必ずしも上記の5つでなくてもよく、例えば、副作用・合併症リスクの大きさなどの他の指標を含むものでもよいし、5つより少なくてもよい。また、ユーザからの指標の選択を受け付け、選択された指標についての評価値を示してもよいし、ユーザの選択に依らず所定の指標についての評価値を示してもよい。
以上により情報処理システム100の処理が実施される。
上記によれば、ユーザは、複数の処置方法と処置方法の評価値の比較検討、あるいは、処置方法が1つしかない場合においても、過去の症例に基づいた情報から処置方法を検討できる。これにより、医師との診断において提示された処置方法の妥当性を判断でき、自身に合った処置方法を把握できる。
(変形例1)
本実施形態では、S302において、情報処理装置103が備える取得手段118は、被検者の医用画像と該医用画像に関連付けられた情報をデータサーバ102から取得した。
本実施形態では、S302において、情報処理装置103が備える取得手段118は、被検者の医用画像と該医用画像に関連付けられた情報をデータサーバ102から取得した。
しかしながら、図6に示すように、被検者の医用画像あるいは被検者情報が記憶・管理されているデータサーバ102に対して情報表示装置104がアクセス可能な場合には、情報処理装置103が取得手段118は情報表示装置104から送信される各情報を取得する構成でもよい。
これにより、情報表示装置104のユーザは医療機関へ出向かずに処置方法に関する情報を取得することができるため、場所や時間の制約を低減できる。
(変形例2)
本実施形態では、S303において、情報処理装置103が備える推定手段119は、被検者の胸部を撮影したCT画像から診断結果(具体的には、疾患の重病度)を推定する例を示した。
本実施形態では、S303において、情報処理装置103が備える推定手段119は、被検者の胸部を撮影したCT画像から診断結果(具体的には、疾患の重病度)を推定する例を示した。
しかしながら、S303において、推定手段119は、推定された被検者の診断結果を、被検者の被検者情報、あるいは、顕微鏡を用いた精密検査の結果などを用いて補正してもよい。例えば、顕微鏡を用いて被検者の細胞を検査することにより、腫瘍の大きさ、リンパ節転移の有無、リンパ管侵襲の有無、静脈侵襲の有無、腫瘍の種類、細胞の増殖能、悪性度、ホルモン受容体の有無、あるいはHER2タンパクの発現の度合いなどの詳細な情報を得られる。そのため、推定手段119は、被検者の医用画像から推定された結果を精密検査の結果に基づいて補正してもよい。これにより、被検者の診断結果の推定をより正確に行うことができる。
なお、精密検査においては、例えば、顕微鏡で撮影された被検者の画像をS303にて説明した方法と同様に学習モデルに入力することにより診断結果を推定する。
すなわち、第2の画像撮影装置で撮影された医用画像を第2の学習モデルに入力することにより得られる出力結果を用いて、第1の画像撮影装置で撮影された医用画像を第1の学習モデルに入力することにより推定される診断結果を補正してもよい。
(変形例3)
本実施形態では、S306において、情報表示装置104が備える表示制御手段143は各処置方法の指標の評価値をレーダチャートで表示し、ユーザは選択する処置方法に応じて該評価値を見比べることができた。
本実施形態では、S306において、情報表示装置104が備える表示制御手段143は各処置方法の指標の評価値をレーダチャートで表示し、ユーザは選択する処置方法に応じて該評価値を見比べることができた。
しかしながら、表示制御手段143は、各処置方法の指標の評価値を切替表示するのではなく、重畳表示あるいは並列表示してもよい。例えば、表示画面501において、受付手段144はユーザからの複数の処置方法の選択を受け付け、表示制御手段143は、選択を受け付けた複数の処置方法の指標の評価値を重畳してレーザチャートとして表示する。
これにより、画面遷移を伴わずにユーザは異なる処置方法を比較できるため視認性を向上させることができる。
<その他の実施形態>
本明細書の開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路によっても実現可能である。
本明細書の開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路によっても実現可能である。
プロセッサまたは回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサまたは回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、またはニューラルプロセッシングユニット(NPU)を含みうる。
上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本明細書に開示の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
Claims (17)
- 医用画像と前記医用画像における診断結果を組にして学習した学習モデルを用いて、被検者を撮影した医用画像に対する診断結果を推定する推定手段と、
前記推定された診断結果に対して施される処置方法の候補及び前記処置方法の候補に対する評価値を出力する出力手段と、
を備えることを特徴とする情報処理装置。 - 前記推定された診断結果との類似度に基づいて抽出される過去の症例において施された処置方法を特定する特定手段をさらに備え、
前記出力手段は、前記特定手段により特定された処置方法を前記診断結果に対して施される処置方法の候補として出力することを特徴とする請求項1に記載の情報処理装置。 - 前記出力手段は、前記処置方法の候補が2つ以上ある場合には少なくとも2つの処置方法の候補を出力し、前記処置方法の候補が1つの場合には前記1つの処置方法の候補とともにその他の処置方法の候補がないことを示す情報を出力することを特徴とする請求項1または2に記載の情報処理装置。
- 前記診断結果は、疾患の有無、疾患の重病度、疾患の種類、転移の有無、転移の位置、腫瘍の位置、腫瘍の大きさ、及び腫瘍の数のうち少なくとも1つの項目に対する識別結果であることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記学習モデルは、前記医用画像と前記医用画像における診断結果を組にした教師データを深層学習したニューラルネットワークを含み構築されることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 第1の画像撮影装置で撮影された前記被検者の医用画像を第1の学習モデルに入力することにより前記推定手段が推定した前記診断結果を、第2の画像撮影装置で撮影された医用画像を第2の学習モデルに入力することにより得られる出力結果を用いて補正する補正手段をさらに備えることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記推定手段が推定した前記診断結果を、前記医用画像が撮影された画像撮影装置とは異なる画像撮影装置により撮影された医用画像の診断結果、前記被検者の被検者情報及び被検者を撮影した撮影条件のうち少なくともいずれか1つの情報に基づいて補正する補正手段をさらに備えることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 被検者の医用画像から推定される診断結果に対して施される処置方法の候補及び前記処置方法の候補に対する評価値を取得する取得手段と、
前記取得手段により取得された前記処置方法の候補及び前記処置方法の候補に対する前記評価値を表示部に表示する表示制御手段と、
を備えることを特徴とする情報表示装置。 - 前記取得手段は、前記診断結果に対して施される処置方法の候補として、第1の処置方法及び前記第1の処置方法に対する評価値と第2の処置方法及び前記第2の処置方法に対する評価値を取得し、
前記表示制御手段は、前記第1の処置方法に対する評価値と、前記第2の処置方法に対する評価値とを表示部に並列表示、重畳表示あるいは切替表示することを特徴とする請求項8に記載の情報表示装置。 - 前記取得手段は、第1の処置方法及び前記第1の処置方法に対する評価値とその他の処置方法の候補がないことを示す情報を取得し、
前記表示制御手段は、前記第1の処置方法に対する評価値と、その他の処置方法の候補がないことを示す情報を表示部に表示することを特徴とする請求項8に記載の情報表示装置。 - 前記表示制御手段は、前記評価値に関する補足情報をさらに表示することを特徴とする請求項8乃至10のいずれか1項に記載の情報表示装置。
- 医用画像と前記医用画像における診断結果を組にして学習した学習モデルを用いて、被検者を撮影した医用画像に対する診断結果を推定する推定手段と、
前記推定された診断結果に対して施される処置方法の候補及び前記処置方法の候補に対する評価値を出力する出力手段と、
を備える情報処理装置と、
前記情報処理装置から出力された、被検者の医用画像から推定される診断結果に対して施される処置方法の候補及び前記処置方法の候補に対する評価値を取得する取得手段と、
前記取得手段により取得された前記処置方法の候補及び前記処置方法の候補に対する前記評価値を表示部に表示する表示制御手段と、
を備える情報表示装置と、
を含む情報処理システム。 - 前記情報表示装置は、前記被検者を撮影した医用画像を、前記情報処理装置に送信する送信手段をさらに備え、
前記情報処理装置が備える推定手段は、前記情報表示装置から送信された前記被検者を撮影した医用画像に対する診断結果を推定することを特徴とする請求項12に記載の情報処理システム。 - 医用画像と前記医用画像における診断結果を組にして学習した学習モデルを用いて、被検者の胸部を撮影した医用画像から、乳房における疾患に関する診断結果を推定する推定手段と、
前記推定された診断結果との類似度に基づいて抽出される過去の症例において施された、乳房における疾患に関する処置方法を特定する特定手段と、
前記特定手段により特定された前記処置方法の候補及び前記処置方法の候補に対する前記評価値を表示部に表示する表示制御手段と、
を備える情報処理システム。 - 前記表示制御手段は、生存率、費用、副作用、アピアランスへの影響、妊孕性への影響及び再発率の低さのうち少なくとも1つの指標に対する評価値を表示部に表示することを特徴とする請求項14に記載の情報処理システム。
- 医用画像と前記医用画像における診断結果を組にして学習した学習モデルを用いて、被検者を撮影した医用画像から診断結果を推定する推定工程と、
前記推定された診断結果との類似度に基づいて抽出される過去の症例において施された処置方法を特定する特定工程と、
前記特定手段により特定された前記処置方法の候補及び前記処置方法の候補に対する前記評価値を表示部に表示する表示制御工程と、
を備える情報処理方法。 - 請求項1乃至7のいずれか1項に記載の情報処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020179043A JP2022070037A (ja) | 2020-10-26 | 2020-10-26 | 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム |
PCT/JP2021/038598 WO2022091868A1 (ja) | 2020-10-26 | 2021-10-19 | 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム |
US18/191,643 US20230230248A1 (en) | 2020-10-26 | 2023-03-28 | Information processing apparatus, information display apparatus, information processing method, information processing system, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020179043A JP2022070037A (ja) | 2020-10-26 | 2020-10-26 | 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022070037A true JP2022070037A (ja) | 2022-05-12 |
Family
ID=81383760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020179043A Pending JP2022070037A (ja) | 2020-10-26 | 2020-10-26 | 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230230248A1 (ja) |
JP (1) | JP2022070037A (ja) |
WO (1) | WO2022091868A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015203920A (ja) * | 2014-04-11 | 2015-11-16 | キヤノン株式会社 | 類似症例検索システム、類似症例検索方法及びプログラム |
WO2016145251A1 (en) * | 2015-03-10 | 2016-09-15 | Impac Medical Systems, Inc. | Adaptive treatment management system with a workflow management engine |
US10531807B2 (en) * | 2017-12-20 | 2020-01-14 | International Business Machines Corporation | Automated extraction of echocardiograph measurements from medical images |
JP7223539B2 (ja) * | 2018-09-25 | 2023-02-16 | キヤノンメディカルシステムズ株式会社 | 乳がん診断支援装置、乳がん診断支援システム、および乳がん診断支援方法 |
JP7299047B2 (ja) * | 2019-03-25 | 2023-06-27 | 合同会社H.U.グループ中央研究所 | 学習モデル生成方法、コンピュータプログラム及び情報処理装置 |
-
2020
- 2020-10-26 JP JP2020179043A patent/JP2022070037A/ja active Pending
-
2021
- 2021-10-19 WO PCT/JP2021/038598 patent/WO2022091868A1/ja active Application Filing
-
2023
- 2023-03-28 US US18/191,643 patent/US20230230248A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230230248A1 (en) | 2023-07-20 |
WO2022091868A1 (ja) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fujita | AI-based computer-aided diagnosis (AI-CAD): the latest review to read first | |
US10984905B2 (en) | Artificial intelligence for physiological quantification in medical imaging | |
KR101857624B1 (ko) | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 | |
US9922268B2 (en) | Image interpretation report creating apparatus and image interpretation report creating system | |
CN109074869B (zh) | 医疗诊断支持装置、信息处理方法以及医疗诊断支持系统 | |
JP6014059B2 (ja) | 医療データの知的リンキング方法及びシステム | |
US20220254023A1 (en) | System and Method for Interpretation of Multiple Medical Images Using Deep Learning | |
JP2019195627A (ja) | 解剖学的画像の解析のためのシステム及び装置 | |
US12027267B2 (en) | Information processing apparatus, information processing system, information processing method, and non-transitory computer-readable storage medium for computer-aided diagnosis | |
US10219767B2 (en) | Classification of a health state of tissue of interest based on longitudinal features | |
US10521908B2 (en) | User interface for displaying simulated anatomical photographs | |
US20220246301A1 (en) | Medical machine learning system | |
Sadad et al. | Internet of medical things embedding deep learning with data augmentation for mammogram density classification | |
US11200671B2 (en) | Reference image guided object detection in medical image processing | |
WO2019193983A1 (ja) | 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム | |
US10438351B2 (en) | Generating simulated photographic anatomical slices | |
US10614570B2 (en) | Medical image exam navigation using simulated anatomical photographs | |
Cheng et al. | Dr. Pecker: A Deep Learning-Based Computer-Aided Diagnosis System in Medical Imaging | |
WO2022091868A1 (ja) | 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム | |
Singh et al. | Semantic segmentation of bone structures in chest X-rays including unhealthy radiographs: A robust and accurate approach | |
WO2021193548A1 (ja) | 文書作成支援装置、方法およびプログラム | |
Hachaj et al. | Nowadays and future computer application in medicine | |
Yao | Machine Learning and Image Processing for Clinical Outcome Prediction: Applications in Medical Data from Patients with Traumatic Brain Injury, Ulcerative Colitis, and Heart Failure | |
US20230274424A1 (en) | Appartus and method for quantifying lesion in biometric image | |
EP4356837A1 (en) | Medical image diagnosis system, medical image diagnosis system evaluation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20201105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230908 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |