JP2022013077A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2022013077A
JP2022013077A JP2020115381A JP2020115381A JP2022013077A JP 2022013077 A JP2022013077 A JP 2022013077A JP 2020115381 A JP2020115381 A JP 2020115381A JP 2020115381 A JP2020115381 A JP 2020115381A JP 2022013077 A JP2022013077 A JP 2022013077A
Authority
JP
Japan
Prior art keywords
information
inference
inference device
incidental
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020115381A
Other languages
English (en)
Inventor
修平 鳥羽
Shuhei Toba
好教 平野
Yoshinori Hirano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020115381A priority Critical patent/JP2022013077A/ja
Priority to US17/365,829 priority patent/US20220005589A1/en
Publication of JP2022013077A publication Critical patent/JP2022013077A/ja
Priority to JP2023208258A priority patent/JP2024026331A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数の推論器のうち、推論対象の医用画像データに適した推論器をユーザの手間を削減しながら選択することを目的とする。【解決手段】本発明の一態様に係る情報処理装置は、複数の推論器を構成するそれぞれの推論器に関する情報を取得する推論器情報取得部と、被検体を撮像して得られた推論対象の医用画像データに付帯する付帯情報を取得する付帯情報取得部と、推論器に関する情報と付帯情報とに基づいて、複数の推論器のうち推論対象の医用画像データに適用する推論器を選択する推論器選択部と、を備える。【選択図】図1

Description

本発明は、推論対象の医用画像データに付帯する付帯情報に基づいて、複数の推論器の中から適切な推論器を選択する情報処理装置、情報処理方法およびプログラムに関する。
機械学習を始めとする人工知能技術の発展に伴って、例えば疾患に関する推論を行う推論器を医療クラウドサービスや医用画像データ処理用のワークステーションといったプラットフォーム上に複数設け、ユーザが所望の推論器に対して、推論対象の医用画像データを入力することで推論結果を受けとることが可能となっている。推論器を学習する際の医用画像データは、推論の対象とする疾患(例えば気胸、肺結節、脳梗塞)や、医用画像データの種類(撮像装置の種別、撮影部位)などに応じて、推論器ごとに異なる場合が多い。
多くの場合、推論対象である医用画像データに対して適用する推論器をユーザが選択し、選択された推論器に対して医用画像データを入力することによって推論処理が実行される。もちろん推論器の選択をせずに複数の推論器を適用することもできるが、複数の推論器がそれぞれ異なる条件で学習をされた推論器であるため、推論器に応じて入力する医用画像データを確認する必要があったり、複数の推論器による複数の推論結果からユーザが適切な結果を確認する必要があったりと効率が悪い。そのため、推論対象となる医用画像データに適した推論器をユーザの手間を削減しながら選択できることが求められている。
ここで、画像データ処理装置に入力される医用画像データが処理対象(処理に適しているか)か否かを判別する技術が知られている。例えば特許文献1には、医用画像データの付帯情報を取得して、該医用画像データが経時差分処理の処理対象(処理に適している)か否かを判別する技術が開示されている。
特開2019-0129989
しかしながら、特許文献1に開示されている技術では、複数の推論器の中から、推論対象の医用画像データに適した推論器を選択することはできない。
そこで、本発明は、複数の推論器のうち、推論対象の医用画像データに適した推論器をユーザの手間を削減しながら選択することを目的とする。
本発明に記載の情報処理装置は、複数の推論器を構成するそれぞれの推論器に関する情報を取得する推論器情報取得部と、被検体を撮像して得られた推論対象の医用画像データに付帯する付帯情報を取得する付帯情報取得部と、推論器に関する情報と付帯情報とに基づいて、複数の推論器のうち推論対象の医用画像データに適用する推論器を選択する推論器選択部と、を有することを特徴とする。
本発明によれば、複数の推論器のうち、推論対象の医用画像データに適した推論器をユーザの手間を削減しながら選択することができる。
実施形態1における情報処理装置の構成 情報処理装置のハードウェア構成図 実施形態1の動作を示すフロー図 実施形態1において取得される情報の一例 実施形態1における推論器の選択結果の一例 付帯情報が一致しているか否かを表現するマップの一例 実施形態2の動作を示すフロー図 実施形態2における推論器の一致度の算出結果の一例 実施形態3における推論器の一致度の算出結果の一例 実施形態4における情報処理装置の構成 実施形態4の動作を示すフロー図 図10のS1002の結果取得される情報の一例
以下、図面を参照しながら本発明を実施するための好適な実施形態について説明する。なお、本発明は、図示例に限定されるものではない。
<実施形態1>
本実施形態では、推論対象の医用画像データに付帯する付帯情報を構成する項目を複数の推論器を構成するそれぞれの推論器に関する情報を構成する項目と照らし合わせて、それぞれの項目が一致するかどうかを判定し、判定結果を受けて、複数の推論器の中から推論対象の医用画像データに適用する推論器を選択する。以下図面を用いて詳述する。
まず、図1を用いて本発明における情報処理装置の構成を示す。
図1に示すように情報処理装置100は、推論対象の医用画像データに付帯した付帯情報を取得する付帯情報取得部101と、所定の疾患に関する推論を行う複数の推論器を構成するそれぞれの推論器に関する情報を取得する推論器情報取得部102と、付帯情報と推論器に関する情報に基づいて、複数の推論器のうち、推論対象の医用画像データに適用する推論器を選択する推論器選択部103と、推論器選択部103はさらに付帯情報と、推論器に関する情報とが一致しているかを判定する推論器判定部106をさらに有する。また情報処理装置100は、通信ネットワーク104を介してデータベース105と接続されている。以下、各部のそれぞれについて詳細に説明を行う。
付帯情報取得部101は、被検体を撮像した推論対象の医用画像データに付帯している各種情報(以下、付帯情報)を取得する。ここで付帯情報は、例えば撮像装置の種別、撮像部位、撮像条件といった情報である。以下、各種付帯情報に関して説明する。
付帯情報取得部101が取得をする付帯情報のうち、撮像装置種別の項目は、推論対象の医用画像データを生成した医用画像データ撮像装置の種別を示す情報であり、医用画像データ撮像装置の種類としては例えば下記が挙げられる。
・CR(Computed Radiography)装置、
・CT(Computed Tomography)装置、
・MRI(Magnetic Resonance Imaging)装置、
・PET(Positron Emission Tomography)装置、
・SPECT画像データ(Single Photon Emission Computed Tomography)、
・超音波装置(US;Ultrasound System)
また付帯情報取得部101が取得をする付帯情報のうち、撮像部位の項目は、撮像装置により被検体を撮影した部位を示す情報である。具体的には、頭部、頚部、胸部、腹部、骨盤部、四肢といった特定の部位を示す情報、あるいは全身、胸腹部といった範囲を示す情報である。
さらに付帯情報取得部101が取得をする付帯情報のうち、撮像条件は、撮像時の条件に関する複数の項目を含む情報であり、例えば、造影剤使用の有無、スライス厚といった情報である。なお、撮像条件は、撮像装置特有の条件に関する情報を含んでいてもよい。例えば、医用画像データを撮像した撮像装置がCT装置であれば、縦郭条件、肺野条件といった医用画像データ表示時のウィンドウレベル、ウィンドウ幅を示す情報、撮像装置がMRI装置であれば、T1、T2、FLAIRといった撮像シーケンスを示す情報を含んでいてもよい。
推論器情報取得部102は、通信ネットワーク104を介して接続されたデータベース105から推論器に関する情報を取得する。ここで、推論器に関する情報とは、推論器を学習する際の教師データに関連する情報であって、該教師データを構成する正解ラベルに関連する疾患名および/または推論器の学習に用いられた正解画像データに関する情報である。データベース105には、複数の推論器のそれぞれの推論器に関してモデル情報と上述の推論器に関する情報が対応付けて記憶され、それらの情報を所望のタイミングで取得することができる。ここで、推論器のモデル情報は、推論器が推論を実行するのに必要な情報を指す。例えば、ニューラルネットワークを推論手法とする推論器であれば、ネットワークの構造と重みの情報である。なお、図1においてデータベース105は通信ネットワークを介して接続されているが、これに限らず、情報処理装置100が推論器に関する情報を取得できる媒体であればよい。例えば、情報処理装置100に物理的に紐づけられたハードディスクのストレージ領域などであってもよい。
推論器選択部103は、推論器情報取得部102で取得した複数の推論器の中から推論器判定部106による判定結果を受けて一つの推論器を選択する。
推論器判定部106は、医用画像データの付帯情報取得部101で取得した付帯情報と推論器選択部103で取得した推論器に関する情報に基づいて、推論対象の医用画像データに対して推論器のそれぞれが推論を行う推論器に適しているか否かを判定し、推論器選択部103に対して判定結果を送信する。
図2は情報処理装置100におけるハードウェア構成の一例を示す図である。CPU(Central Processing Unit)201は、主として各構成要素の動作を制御する。主メモリ202は、CPU201が実行する制御プログラムを格納したり、CPU201によるプログラム実行時の作業領域を提供したりする。磁気ディスク203は、OS(Operating System)、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。CPU201が主メモリ202、磁気ディスク203等に格納されているプログラムを実行することにより、図1に示した情報処理装置100の機能(ソフトウェア)及び後述するフローチャートにおける処理が実現される。
表示メモリ204は、表示用データを一時記憶する。モニタ205は、例えばCRTモニタや液晶モニタ等であり、表示メモリ204からのデータに基づいて画像データやテキスト等の表示を行う。マウス206及びキーボード207は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス208により互いに通信可能に接続されている。
CPU201はプロセッサの一例に相当する。画像データ処理装置100は、CPU201に加えて、GPU(Graphics Processing Unit)やFPGA(Field-Programmable Gate Array)の少なくともいずれかを有していてもよい。また、CPU201に代えて、GPUやFPGAの少なくともいずれかを有していてもよい。主メモリ202、磁気ディスク203はメモリの一例に相当する。
次に図3を用いて、本実施形態における情報処理装置100の処理フローを説明する。
ステップS301において、付帯情報取得部101は、推論対象の医用画像データにおける付帯情報を取得する。付帯情報取得101による推論対象の医用画像データに対応する付帯情報は、例えばDICOMヘッダを用いて取得される。DICOMヘッダには、4桁の数字のペアをタグとして各項目に対応する情報を記載することが定められている。そのため、付帯情報取得部101は所定のタグの情報を参照することで、前述した付帯情報を取得することができる。具体的には、(0008、0060)タグには撮像装置の種別、(0018、0015)には検査部位の情報が記録されている。また、(0018、1046)タグには造影流量、(0018、1047)には造影剤流れ期間の情報が記載されており、造影剤の投与のありなしを判定することができる。
図4(A)を用いて、付帯情報取得部101が取得した推論対象の医用画像データに付帯する付帯情報の例として、CT装置を用いて、造影剤の投与を行わずに被検体の胸部を撮影した医用画像データに対応する付帯情報の例を示す。尚、付帯情報取得部101が取得をする付帯情報はDICOMヘッダ情報から取得する場合に限らず、医用画像データに対応付けられたテキストファイルから取得してもよい。
ステップS302において、推論器情報取得部102は、データベース105から推論器に関する情報を取得する。推論器情報取得部102が取得した推論器に関する情報の例を図4(B)に示す。図4(B)の複数の推論器に関するそれぞれの情報は、複数の推論器のそれぞれを学習する際の教師データに関する情報を示している。それぞれの情報の対象疾患名は例えば教師データを構成する情報のうち、正解ラベルに関連する情報であり、撮像装置の種別や、撮像部位、撮像条件、造影剤の有無、スライス厚等は、正解画像データに関連する情報である。推論器を学習する際には、例えば、該正解ラベルに関連する情報と、正解画像データとを対にした教師データを用いる。
ステップS303において、推論器選択部103は、S302で取得した図4(B)推論器に関する情報の中から一つを選択し、推論器判定部106に送信する。
ステップS304からS306において、推論器判定部106は、S301で取得された推論対象の医用画像データにおける付帯情報とS303で推論器選択部103によって送信された推論器情報に基づいて、推論器に関する情報が示す推論器が推論対象の医用画像データの推論に適しているかを判定する。
まず、ステップS304において、推論器判定部106は推論器に関する情報および付帯情報を構成する項目のうち撮像装置が一致するか否かを判定する。
次に、ステップS305において、推論器判定部106は推論器に関する情報および付帯情報を構成する項目のうち撮像部位が一致するか否かを判定する。
次に、ステップS306において、推論器判定部106は推論器に関する情報および付帯情報を構成する項目のうち造影剤使用の有無が一致するかを判定する。
以上のように、推論器判定部106は、推論対象の医用画像データの付帯情報と推論器に関する情報の個々の項目に入力された情報が同じであるか否かを順に判定し、全て一致する場合、ステップS307に進む。いずれかの項目が一致しない場合、ステップS308に進む。尚、推論器判定部106によって判定する項目は、撮像装置、撮像部位、造影剤有無等の内、いずれか一つを用いて判定がされてもよいし、判定する項目をユーザが選択し、選択された項目に対して判定が行われてもよい。
ステップS307において、推論器判定部106は、S303で推論器選択部103によって送信された推論器に関する情報を推論器選択部103への出力候補として記憶する。
ステップS308において、推論器選択部103は、ステップS304からS306の判定を実施していない推論器に関する情報が存在するかを判定する。存在する場合、ステップS303に戻る。存在しない場合、ステップS309に進む。
ステップS309において、推論器選択部103は、ステップS307で推論器判定部106によって項目間が一致すると判定された推論器に関する情報を取得し、複数の推論器から推論対象の医用画像データを推論するための推論器を選択する。
図5に、図4(A)に示す推論対象の医用画像データの付帯情報および図4(B)に示す推論器に関する付帯情報に基づいて、推論器選択部103によって選択された付帯情報が完全に一致する推論器の情報の例を示す。
以上、本実施形態によれば、複数の推論器が選択可能な場合に、推論対象の医用画像データに適した推論器をユーザの負担を軽減しながら選択することができる。
(実施形態1の変形例1)
本実施形態において、推論器判定部106は、医用画像データの付帯情報のうち、撮像装置、撮像部位および造影剤使用の有無の項目が一致するか否かを判定しているが、判定のために照らし合わせる情報は、それらに限定しない。例えば、推論器判定部106が判定するための項目としてスライス厚や、ウィンドウレベル、ウィンドウ幅など他の付帯情報を加えてもよいし、取得した付帯情報を構成する項目のうち、どの情報を照らし合わせるかをあらかじめ設定できてもよい。
(実施形態1の変形例2)
本実施形態において、推論器判定部106は、ステップS304からS306において、付帯情報を構成する各項目が一致するか否かを判定しているが、一致するかの判定において、項目間の情報が完全に一致する方法に限定されるものではない。
例えば、撮像部位のように項目に対して入力される情報が文字列情報である場合に、推論器判定部106は特定の文字列に対して一致するとみなすマップをあらかじめ用意しておき、マップを参照することで一致するか否かを判定してもよい。
具体的には、推論器判定部106によって比較をする項目が撮像部位の情報の場合に参照するマップの一例を図6に示す。図6におけるマップは、推論対象の医用画像データの付帯情報のひとつである撮像部位の項目における情報と推論器に関する情報のひとつである撮像部位の項目における情報を照らし合わせた際に、一致すると判定するための情報の対応を丸印で示している。
例えば、推論器判定部106によって図6のマップを参照すると、推論対象の医用画像データに関する撮像部位の項目における情報が胸腹部であって、推論器に関する情報を構成する項目のひとつである撮像部位の項目における情報が胸部や腹部であった場合にも、付帯情報が一致すると判定される。これにより、胸腹部を撮像した医用画像データを推論したい場合に、推論器判定部106は胸部あるいは腹部を対象とした推論器を一致すると判定でき、推論器判定部106による判定結果を受けて、推論器選択部103は複数の推論器から適切な推論器をユーザの手間を削減しながら選択することができる。文字列間の関係を示すマップを用いる方法は、撮像部位の胸部、腹部といった情報のように限られた単語を照らし合わせる場合に特に有効である。
推論器判定部106によって判定を行う項目が例えばスライス厚やウィンドウレベルであって、項目に対して入力される情報が数値情報の場合には、推論器判定部106によって一致すると判定する数値の範囲を予め定めておいてもよい。例えば、推論器判定部106は推論対象の医用画像データの付帯情報のひとつであるスライス厚の項目に対して入力された情報が3mmであった場合に、推論器に関する情報のひとつであるスライス厚の項目に入力された情報が2mmから4mmの前後1mmの範囲であれば、スライス厚の項目間に入力されている情報が一致すると判定する。
また、推論器判定部106によって付帯情報が一致するかを判定する方法は、項目ごとに異なっていても、項目に入力される情報の形態によって設定されていてもよい。さらに、項目間の情報が一致するかを判定するためにあらかじめ設定されるマップや、閾値、数値の範囲といった条件等は、推論器ごとに設定されてもよい。
<実施形態2>
実施形態1では、推論器選択部103における推論器判定部106が付帯情報取得部101によって取得された推論対象の医用画像データの付帯情報と、推論器情報取得部102によって取得された推論器に関する情報とのそれぞれの項目に入力された情報を照らし合わせて、それぞれの項目が一致する場合に、推論器選択部103が一致した推論器を複数の推論器から選択をすることで当該医用画像データを推論する推論器として選択する方法について説明をした。
本実施形態では、推論器判定部106によって推論対象の医用画像データの付帯情報を構成する項目と、推論器に関する情報を構成する項目との一致度を算出し、一致度に基づいて推論器選択部103は推論対象の医用画像データを推論する推論器を選択する。推論器判定部106は、算出された一致度に対して閾値を適用し、推論器が推論対象の医用画像に対して適切か否かを判定する。
図7を用いて、情報処理装置100において推論器が適しているかを判定し、判定結果を受けて推論対象の医用画像に対して適用する推論器を複数の推論器から選択するまでの処理フローについて説明する。
ステップS701、S702およびS703は、実施形態1における図3のフローチャートにおけるステップS301、S302およびS303と同様であるため、説明を省略する。
ステップS704において、推論器判定部106は、撮像装置や撮像部位など、付帯情報および推論器に関する情報を構成する各項目に対する一致度rij(j=1、...、n)を算出する。jは各項目に対して割り当てられたインデックス番号、nは項目の数である。推論器判定部106によって算出される各項目の一致度rijは、例えば、項目間の情報が完全に一致する場合はrij=1、一致しない場合はrij=0とする。ここで、項目jに入力されている情報が文字列情報の場合、推論器判定部106は実施形態1において説明した類似度を一致度としてもよい。また、項目jに入力されている情報が数値情報の場合は、推論器判定部106は項目間の数値の差の絶対値を算出し一致度としてもよい。項目間の数値情報の差の絶対値から一致度を算出する場合には、推論器判定部106によって算出される項目間の一致度rijは、推論対象の医用画像データの付帯情報の項目jの数値をxj、推論器iの推論器に関する情報の項目jの数値をyijとして式1により算出される。
Figure 2022013077000002
ここで、maxは、xjおよびyij(i=1、...、N)における最大値、minは最小値を示す。
例として、スライス厚の項目に関して、推論対象の医用画像データの付帯情報におけるスライス厚の項目に入力された数値情報が1.5mmであった場合の推論器判定部106によるスライス厚の項目に対する一致度の算出方法を示す。
例えば、複数の推論器が3つ推論器(i=1、2、3)から構成され、それぞれの推論器に関する情報を構成するスライス厚の項目に入力された情報が1.0mm、1.5mm、3.0mmであった場合に、推論器判定部106によって当該項目における一致度はそれぞれr1j=0.75、r2j=0.00、r3j=0.25と算出される。
ステップS705において、推論器判定部106は、推論対象の医用画像の付帯情報と推論器に関する情報の情報間の一致度Ri(i=1、...、N)を算出する。ここで、iは推論器に対して割り当てられたインデックス番号、Nは入力推論器の数である。Riは、式2に示すように、ステップS704で算出された推論器判定部106による各項目jの一致度rij(j=1、...、n)の和を取ることによって算出する。
Figure 2022013077000003
図8に、図4(A)に示す推論対象の医用画像データの付帯情報および図4(B)に示す推論器に関する情報を用いて、推論器判定部106が式(2)に基づいて各推論器の付帯情報の一致度を算出した例を図8に示す。図8(C)は、推論器判定部106によって各項目の一致度を算出した結果である。なお、推論器判定部106におけるスライス厚の項目に関する一致度は、式(1)に基づいて算出している。また図8(C)の結果を用いて推論器判定部106が式(2)に基づいて、推論対象の医用画像に付帯する付帯情報と、推論器に関する情報との情報間の一致度を算出した結果が図8(D)である。
ステップS706において、推論器判定部106は、図8(D)に示したように算出された一致度に対して閾値を設け、算出された一致度が該設定された閾値以上か否かを判定することによって、推論器が入力の医用画像データに適しているか否かを判定する。そして推論器判定部106によって判定された結果を受けて、推論器選択部103によって複数の推論器のうち、推論対象の医用画像を推論する推論器を選択する。
なお、推論器判定部106で用いる閾値は、ユーザにより任意に設定できるものとする。例えば、図8(D)の算出結果において閾値を0.7とした場合、推論器判定部106によって推論器2、4が推論対象の医用画像データに適していると判定される。
ステップS707、S708およびS709は、実施形態1におけるステップS307、S308およびS309と同様であるため、説明を省略する。
以上、本実施形態によれば、推論器判定部106によって推論対象の医用画像の付帯情報と推論器に関する情報との一致度を算出し、算出された一致度に対して閾値を適用して推論器に関する情報が示す推論器が推論対象の医用画像データに適しているか否かを判定することで、推論器選択部103が疾患を推論する複数の推論器のうち、柔軟に推論器を選択することが可能となる。
<実施形態3>
実施形態2では、推論器判定部106によって付帯情報の一致度を算出し、算出された一致度に対して閾値を適用することで推論器に関する情報が示す推論器が推論対象の医用画像データに適しているか否かを判定する方法を説明した。
本実施形態では、推論器判定部106は付帯情報の項目ごとの優先度を考慮して一致度を算出し、算出された一致度に基づいて推論器選択部103が複数の推論器から推論対象の医用画像を推論する推論器を選択する方法を説明する。本実施形態において、推論器選択部103は、項目に関して重みを設定し、各項目の一致度と項目に対する重みに基づいて推論器を選択する。
本実施形態における処理フローは、実施形態2と同様である。ただし、ステップS705における推論対象の医用画像の付帯情報と、推論器に関する情報との情報間の一致度Riの算出方法が異なる。
本実施形態では、推論器判定部106による情報間の一致度Riの算出において、両情報を構成する各項目jに対して重みを設定し、加重和を算出する。推論器判定部106により算出される情報間の一致度Riは、項目jに対する重みをwj(j=1、...、n)とし、式(3)により算出される。なお、重みwjは和が1になるように設定されているものとする。
Figure 2022013077000004
推論器判定部106において算出する項目ごとに対する重みとして、例えば、両情報を構成する項目である装置種別、撮像部位、造影剤の有無、スライス厚に対して、重みをw=[0.5、0.2、0.2、0.1]のように設定する。推論器判定部106において設定された項目ごとの重み、および図8(C)に示す各項目の一致度に基づいて、推論器の一致度を算出した例を図9に示す。
実施形態2のステップS706と同様に、推論器判定部106によって図9(E)のように算出された情報の一致度に対して閾値を設け、算出された一致度が閾値以上か否かを判定することによって、推論器に関する情報が示す推論器が推論対象の医用画像データの推論に適しているか否かを判定する。図9(E)の算出結果において、推論器判定部106によって適用する閾値を0.7とした場合、推論器2、4および5が推論対象の医用画像データに対して推論を行う推論器に適していると判定される。
以上、本実施形態によれば、推論器判定部106によって各項目の優先度を考慮して一致度を算出することにより、推論器選択部103は、項目ごとの重要度に応じて、疾患を推論する複数の推論器のうち推論致傷の医用画像データに適用する推論器を選択することができる。
<実施形態4>
実施形態1、2、3では、推論対象の医用画像データの付帯情報と、推論器に関する情報とを利用して、適切な推論器を選択する方法を説明した。
本実施形態では、付帯情報取得部1001はさらに被検体に関する情報を取得し、取得した被検体に関する情報を疾患予測部に送信する。そして疾患予測部は取得した被検体に関する情報に基づいて疾患候補を予測し、推論器選択部1003はさらに疾患予測部による予測結果を踏まえて、複数の推論器から適切な推論器を選択する。
まず、本実施形態における本発明の構成について図10を用いて説明する。情報処理装置1000は、実施形態1で説明した構成に加えて被検体に関する情報から疾患の候補を予測する疾患予測部1005を有する。また、情報処理装置1000は、通信ネットワーク1006を介してデータベース1007、医用情報システム1008と接続されている。なお、病院情報システム(HIS:Hospital Information System)、電子カルテシステムなど、病院で使用されるシステムを総称して医用情報システム1008と称している。
推論器情報取得部1002に関しては、実施形態1と同様であるため説明を省略する。
推論対象の医用画像データの付帯情報取得部1001では、通信ネットワーク1006を介して接続された医用情報システム1008よりさらに被検体情報を取得する。ここで、付帯情報取得部1001が取得する被検体情報とは例えば問診情報あるいは電子カルテに記載された情報を指す。なお、付帯情報取得部1001における被検体情報の取得先のシステムとして、病院情報システムおよび電子カルテシステムを例示しているが、被検体情報が取得可能であれば、情報の取得先はそれらのシステムに限らない。
疾患予測部1005は、付帯情報取得部1001がさらに取得した被検体情報に基づいて、疾患候補を予測する。
推論器判定部1004は、医用画像データの付帯情報取得部1001で取得した付帯情報と推論器選択情報取得部1002が取得した推論器に関する情報および疾患予測部1005で予測結果である疾患候補に基づいて、推論器に関する情報が示す推論器が推論対象の医用画像データの推論を行う推論器として適しているか否かを判定する。
以上、実施形態4における本発明の情報処理装置1000の構成である。
次に、図11を用いて、本実施形態における情報処理装置1000の処理フローを説明する。
ステップS1101において、付帯情報取得部1001は、推論対象の医用画像に付帯する付帯情報を取得する。
ステップS1102で推論器情報取得部1002によって、推論器に関する情報を取得するまでは、実施形態1、2、3と同様である。
ステップS1103において、付帯情報取得部1001は、さらに医用情報システム1008からさらに被検体情報を取得する。付帯情報取得部1001が取得する被検体情報として、被検体の問診情報または電子カルテあるいはそれらの両方を医用情報システム1008より取得する。具体的には、DICOMヘッダには被検体名、被検体IDといった項目が記載されており、それらを用いて医用情報システム1008を構成する例えば電子カルテシステムといった各システムのデータベースに問い合わせることで、該当する被検体の情報を取得することができる。
ステップS1104において、疾患予測部1105は、ステップS1103で付帯情報取得部1001が取得した被検体情報である問診情報または電子カルテの情報もしくはそれら両方の情報に基づいて疾患候補を予測する。ここで、ステップS1104では、疾患予測部1105による予測結果における疾患候補として、可能性のある疾患名がリストアップされればよく、リストアップする手段は上記で説明した手段に問わない。例えば、付帯情報取得部1001が取得した被検体情報が問診情報の場合、問診の回答内容に対してあらかじめ登録した規則に照らし合わせて疾患候補を決定してもよいし、問診の回答内容に基づいて機械学習等の公知技術によって推定してもよい。規則に基づいて疾患候補をリストアップする場合、例えば、症状に胸痛が含まれた場合は気胸と大動脈解離を疾患候補として追加するといったように設定する。また、電子カルテの場合、既往歴の情報を抽出し、疾患候補に加える。さらに、既往歴から他の合併症の可能性のある疾患を辞書のようなルールベースあるいは機械学習によって予測して、疾患候補として加えてもよい。以上により、図12(A)に示すように推論対象の医用画像データの付帯情報に対して、対象疾患名にステップS1104で予測した疾患候補の情報が追加される。
ステップS1105において、推論器選択部1003は、S1102で取得した推論器に関する情報の中から一つを選択する。
ステップS1106において、推論器判定部1004はS1105で選択した推論器情報の対象疾患名が、S1104で予測した疾患候補に含まれるかを判定する。推論器判定部1004によって含まれると判定された場合、ステップS1107に進む。推論器判定部1004により含まれないと判定された場合、ステップS1111に進む。
ステップS1107からS1112は、実施形態1におけるステップS304からS309と同様であるため説明を省略する。なお、ステップS1107からステップS1112の処理フローは、実施形態2のステップS705からステップS709で置き換えられてもよい。
以上、本実施形態によれば、付帯情報取得部1001がさらに被検体に関する情報を取得し、取得した被検体に関する情報に基づいて疾患予測部1005が疾患候補を予測することで、推論器判定部1004は、推論対象の医用画像を推論する推論器が適切かどうかを判定でき、さらに推論器判定部1004による判定結果を受けて、推論器選択部1003複数推論器のうち、推論対象の医用画像を推論するのに適切な推論器を選択することができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (12)

  1. 複数の推論器を構成するそれぞれの推論器に関する情報を取得する推論器情報取得部と、
    被検体を撮像して得られた推論対象の医用画像データに付帯する付帯情報を取得する付帯情報取得部と、
    前記推論器に関する情報と前記付帯情報とに基づいて、前記複数の推論器のうち前記推論対象の医用画像データに適用する推論器を選択する推論器選択部と、
    を有することを特徴とする情報処理装置。
  2. 前記推論器情報取得部によって取得される前記推論器に関する情報は、前記それぞれの推論器の学習に用いられた教師データに関する情報であることを特徴とする請求項1に記載の情報処理装置。
  3. 前記推論器情報取得部は前記教師データに関する情報として、正解画像データに関する情報を取得することを特徴する請求項2に記載の情報処理装置。
  4. 前記付帯情報および前記推論器に関する情報は、撮像装置の種別、撮像部位、撮像条件の少なくとも一つを含む情報であることを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。
  5. 前記推論器選択部は、前記推論器に関する情報を構成する項目と、前記推論対象の医用画像データに付帯する付帯情報を構成する項目との一致度を算出し、算出した一致度に基づいて前記推論対象の医用画像データに適用する推論器を選択することを特徴とする請求項1乃至4のいずれか一項に記載の情報処理装置。
  6. 前記推論器選択部は、前記項目に対して重みを設定し、前記項目間の一致度と前記項目に対する重みとに基づいて前記推論器を選択することを特徴とする請求項5に記載の情報処理装置。
  7. 前記推論器情報取得部は、さらに前記教師データに関する情報として正解ラベルに関連する疾患名を取得することを特徴とする請求項2または3のいずれか一項に記載の情報処理装置。
  8. 前記付帯情報取得部は、前記被検体に関する情報をさらに取得し、
    前記被検体に関する情報から前記被検体の疾患名を予測する疾患予測部をさらに有し、
    前記推論器選択部は、前記疾患予測部による予測結果として前記被検体の疾患候補を取得することを特徴とする請求項7に記載の情報処理装置。
  9. 前記推論器選択部は、前記推論器情報取得部によって取得された前記正解ラベルに関連する疾患名と、前記付帯情報取得部によって取得された被検体の疾患候補とに基づいて一致度を算出し、算出した一致度に基づいて前記複数の推論器のうち前記推論対象の医用画像データに適用する推論器を選択することを特徴とする請求項8に記載の情報処理装置。
  10. 前記付帯情報取得部がさらに取得する前記被検体に関する情報は、前記被検体の問診情報および電子カルテの情報のいずれかの情報を含む情報であることを特徴とする請求項8に記載の情報処理装置。
  11. 複数の推論器を構成するそれぞれの推論器に関する情報を取得する推論器情報取得ステップと、
    被検体を撮像して得られた推論対象の医用画像データに付帯する付帯情報を取得する付帯情報取得ステップと、
    前記推論器に関する情報と前記付帯情報とに基づいて、前記複数の推論器のうち前記推論対象の医用画像データに適用する推論器を選択する推論器選択ステップと、
    を有することを特徴とする情報処理方法。
  12. 請求項11に記載の情報処理方法をコンピュータで実行するためのプログラム。

JP2020115381A 2020-07-03 2020-07-03 情報処理装置、情報処理方法およびプログラム Pending JP2022013077A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020115381A JP2022013077A (ja) 2020-07-03 2020-07-03 情報処理装置、情報処理方法およびプログラム
US17/365,829 US20220005589A1 (en) 2020-07-03 2021-07-01 Information processing apparatus, information processing method, and non-transitory storage medium
JP2023208258A JP2024026331A (ja) 2020-07-03 2023-12-11 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020115381A JP2022013077A (ja) 2020-07-03 2020-07-03 情報処理装置、情報処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023208258A Division JP2024026331A (ja) 2020-07-03 2023-12-11 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2022013077A true JP2022013077A (ja) 2022-01-18

Family

ID=79167812

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020115381A Pending JP2022013077A (ja) 2020-07-03 2020-07-03 情報処理装置、情報処理方法およびプログラム
JP2023208258A Pending JP2024026331A (ja) 2020-07-03 2023-12-11 情報処理装置、情報処理方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023208258A Pending JP2024026331A (ja) 2020-07-03 2023-12-11 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20220005589A1 (ja)
JP (2) JP2022013077A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512352A (ja) * 1990-11-22 1993-01-22 Toshiba Corp 医用診断支援システム
JP2005537101A (ja) * 2002-09-04 2005-12-08 イーストマン コダック カンパニー X線フィルムユーザインタフェース用患者識別方法
JP2014023640A (ja) * 2012-07-25 2014-02-06 Konica Minolta Inc 画像処理装置及びプログラム
JP2015167725A (ja) * 2014-03-07 2015-09-28 コニカミノルタ株式会社 画像処理装置、画像撮影システム及び画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017074966A1 (en) * 2015-10-26 2017-05-04 Netradyne Inc. Joint processing for embedded data inference
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
US10431328B1 (en) * 2018-06-03 2019-10-01 Beijing Curacloud Technology Co., Ltd. Method and system for anatomical tree structure analysis
US10740866B2 (en) * 2018-06-26 2020-08-11 International Business Machines Corporation Determining appropriate medical image processing pipeline based on machine learning
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
US10918309B2 (en) * 2019-04-11 2021-02-16 Siemens Healthcare Gmbh Artificial intelligence-based COPD assessment
US11562482B2 (en) * 2020-03-30 2023-01-24 Varian Medical Systems International Ag Systems and methods for pseudo image data augmentation for training machine learning models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512352A (ja) * 1990-11-22 1993-01-22 Toshiba Corp 医用診断支援システム
JP2005537101A (ja) * 2002-09-04 2005-12-08 イーストマン コダック カンパニー X線フィルムユーザインタフェース用患者識別方法
JP2014023640A (ja) * 2012-07-25 2014-02-06 Konica Minolta Inc 画像処理装置及びプログラム
JP2015167725A (ja) * 2014-03-07 2015-09-28 コニカミノルタ株式会社 画像処理装置、画像撮影システム及び画像処理プログラム

Also Published As

Publication number Publication date
JP2024026331A (ja) 2024-02-28
US20220005589A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US10198816B2 (en) Medical evaluation machine learning workflows and processes
JP5899236B2 (ja) 事例ベース推論を用いた治療プランニングに対する医療判断支援のためのシステム及び方法
JP7406758B2 (ja) 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
JP6818424B2 (ja) 診断支援装置、情報処理方法、診断支援システム及びプログラム
CN106462661B (zh) 用于自动选择针对医学研究的悬挂协议的系统和相关方法
JP2017534117A (ja) 最適化された解剖学的関心構造ラベリング
JP2018206082A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2019193982A1 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
US11710572B2 (en) Experience engine-method and apparatus of learning from similar patients
CN114078593A (zh) 临床决策支持
JP7192372B2 (ja) 情報処理装置、医用画像表示装置及びプログラム
Wang et al. Automatic creation of annotations for chest radiographs based on the positional information extracted from radiographic image reports
JP7013145B2 (ja) 情報処理装置、情報処理システム、情報処理装置の作動方法及びプログラム
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
JP2022013077A (ja) 情報処理装置、情報処理方法およびプログラム
JP2021509491A (ja) 医用画像評価のためのディープラーニングの応用
JP6862286B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP6193964B2 (ja) 情報処理装置、情報処理装置の作動方法および情報処理システム
CN111209945A (zh) 基于ai的影像科医疗影像辅助识别方法及系统
US11205520B1 (en) Physician-guided machine learning system for assessing medical images to facilitate locating of a historical twin
US20240021320A1 (en) Worklist prioritization using non-patient data for urgency estimation
JP2018014113A (ja) 医療意志決定支援装置及びその制御方法
US20220392048A1 (en) Model training apparatus and method
Pershin¹ et al. Check for updates AI-Based Extraction of Radiologists Gaze Patterns Corresponding to Lung Regions
US20210065899A1 (en) Methods and systems for computer-aided diagnosis with deep learning models

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20200731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230323

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230718

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230912