JP2023027550A - 制御プログラム及び症例検索装置 - Google Patents
制御プログラム及び症例検索装置 Download PDFInfo
- Publication number
- JP2023027550A JP2023027550A JP2021132708A JP2021132708A JP2023027550A JP 2023027550 A JP2023027550 A JP 2023027550A JP 2021132708 A JP2021132708 A JP 2021132708A JP 2021132708 A JP2021132708 A JP 2021132708A JP 2023027550 A JP2023027550 A JP 2023027550A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dynamic
- case
- search
- dynamic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 claims description 131
- 201000010099 disease Diseases 0.000 claims description 34
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 34
- 230000017531 blood circulation Effects 0.000 claims description 32
- 238000009423 ventilation Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 18
- 238000005206 flow analysis Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 42
- 238000003384 imaging method Methods 0.000 description 65
- 238000003745 diagnosis Methods 0.000 description 53
- 230000005855 radiation Effects 0.000 description 46
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 38
- 230000008859 change Effects 0.000 description 24
- 230000002685 pulmonary effect Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 11
- 210000004072 lung Anatomy 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 206010073306 Exposure to radiation Diseases 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003434 inspiratory effect Effects 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 230000000241 respiratory effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002438 flame photometric detection Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】より精度の高い検索をすることができる制御プログラム及び症例検索装置を提供する。【解決手段】症例検索装置(診断用コンソール3)に症例検索(症例検索処理)を実行させる制御プログラムにおいて、制御プログラムは、症例検索装置のコンピューター(制御部31)に、動態画像を用いて検索させ、動態画像に類似する類似症例画像または動態画像に関連する症例候補を出力させる検索ステップ(ステップS36、S37)を実行させる。【選択図】図5
Description
本発明は、制御プログラム及び症例検索装置に関する。
従来、症例を検索する検索装置を用いて類似症例を検索する場合、まず、医師は、該当する患者の主訴及び患者付帯情報等の患者情報や撮影した検査画像に基づく客観的情報を確認する。そして、医師が、患者の症状、考えられる疾患名をキーワードとして検索装置に入力すると、当該検索装置は、入力されたキーワードに基づいて検索を行う。このようなキーワード検索では、医師の考えるキーワードの種類や症状を読み解く技量の差によって検索される症例にばらつきが生じる可能性がある。
これに関連して、特許文献1には、症例画像から得られた特徴量と該症例画像の診断結果とを機械学習させ、診断対象画像から得られた特徴量に基づいて、該診断対象画像に類似する症例画像を検索する類似症例検索装置が記載されている。
しかしながら、特許文献1に記載の発明における症例画像及び診断対象画像である医用画像は静止画である。静止画に含まれる情報量は、動画である動態画像に含まれる情報量より少ないため、検索装置における静止画を用いた検索は動画を用いた検索と比較して精度が低い場合がある。
本発明の課題は、より精度の高い検索をすることができる制御プログラム及び症例検索装置を提供することである。
上記課題を解決するため、請求項1に記載の発明の制御プログラムは、
症例検索装置に症例検索を実行させる制御プログラムにおいて、
前記制御プログラムは、症例検索装置のコンピューターに、
動態画像を用いて検索させ、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力させる検索ステップを実行させる。
症例検索装置に症例検索を実行させる制御プログラムにおいて、
前記制御プログラムは、症例検索装置のコンピューターに、
動態画像を用いて検索させ、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力させる検索ステップを実行させる。
請求項2に記載の発明は、請求項1に記載の制御プログラムにおいて、
動態画像を取得させる取得ステップと、
前記取得ステップにより取得された動態画像から第1の画像の特徴量を算出させる特徴量算出ステップと、を有し、
前記検索ステップは、前記特徴量算出ステップにより算出された第1の画像の特徴量と、予め任意の動態画像の複数のフレーム画像を学習して算出された第2の画像の特徴量とを元に、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力させる。
動態画像を取得させる取得ステップと、
前記取得ステップにより取得された動態画像から第1の画像の特徴量を算出させる特徴量算出ステップと、を有し、
前記検索ステップは、前記特徴量算出ステップにより算出された第1の画像の特徴量と、予め任意の動態画像の複数のフレーム画像を学習して算出された第2の画像の特徴量とを元に、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力させる。
請求項3に記載の発明は、請求項1または2に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像である。
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像である。
請求項4に記載の発明は、請求項3に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像内の着目領域の画像である。
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像内の着目領域の画像である。
請求項5に記載の発明は、請求項4に記載の制御プログラムにおいて、
前記着目領域は、ユーザーによって指定された領域である。
前記着目領域は、ユーザーによって指定された領域である。
請求項6に記載の発明は、請求項3から5のいずれか一項に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像である。
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像である。
請求項7に記載の発明は、請求項3から5のいずれか一項に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を構成する一つのフレーム画像である。
前記検索に用いられる動態画像は、動態画像を構成する一つのフレーム画像である。
請求項8に記載の発明は、請求項3から5のいずれか一項に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を構成する一つのフレーム画像内の着目領域の画像である。
前記検索に用いられる動態画像は、動態画像を構成する一つのフレーム画像内の着目領域の画像である。
請求項9に記載の発明は、請求項3から5のいずれか一項に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち一部のフレーム画像のみである。
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち一部のフレーム画像のみである。
請求項10に記載の発明は、請求項3から9のいずれか一項に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうちユーザーにより選択された画像である。
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうちユーザーにより選択された画像である。
請求項11に記載の発明は、請求項3から5のいずれか一項に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち連続するフレーム画像である。
前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち連続するフレーム画像である。
請求項12に記載の発明は、請求項2から11のいずれか一項に記載の制御プログラムにおいて、
前記動態画像は、対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
前記動態画像は、対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
請求項13に記載の発明は、請求項2から12のいずれか一項に記載の制御プログラムにおいて、
前記動態画像は、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
前記動態画像は、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
請求項14に記載の発明は、請求項2から13のいずれか一項に記載の制御プログラムにおいて、
前記検索に用いられる動態画像は、動態画像を解析した動態解析画像である。
前記検索に用いられる動態画像は、動態画像を解析した動態解析画像である。
請求項15に記載の発明は、請求項14に記載の制御プログラムにおいて、
前記動態解析画像は、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、及び癒着を動態解析した癒着解析画像のうち、いずれかである。
前記動態解析画像は、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、及び癒着を動態解析した癒着解析画像のうち、いずれかである。
請求項16に記載の発明は、請求項1から15のいずれか一項に記載の制御プログラムにおいて、
前記類似症例画像は、動態画像である。
前記類似症例画像は、動態画像である。
請求項17に記載の発明は、請求項16に記載の制御プログラムにおいて、
前記類似症例画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像である。
前記類似症例画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像である。
請求項18に記載の発明は、請求項16または17に記載の制御プログラムにおいて、
前記類似症例画像は、対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
前記類似症例画像は、対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
請求項19に記載の発明は、請求項16から18のいずれか一項に記載の制御プログラムにおいて、
前記類似症例画像は、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
前記類似症例画像は、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
請求項20に記載の発明は、請求項16から19のいずれか一項に記載の制御プログラムにおいて、
前記類似症例画像は、動態画像を解析した動態解析画像である。
前記類似症例画像は、動態画像を解析した動態解析画像である。
請求項21に記載の発明は、請求項20に記載の制御プログラムにおいて、
前記動態解析画像は、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、及び癒着を動態解析した癒着解析画像のうちのいずれかである。
前記動態解析画像は、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、及び癒着を動態解析した癒着解析画像のうちのいずれかである。
請求項22に記載の発明は、請求項1から21のいずれか一項に記載の制御プログラムにおいて、
前記検索ステップは、
前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を複数出力させる。
前記検索ステップは、
前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を複数出力させる。
請求項23に記載の発明は、請求項1から22のいずれか一項に記載の制御プログラムにおいて、
前記検索ステップは、
前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を類似度順に出力させる。
前記検索ステップは、
前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を類似度順に出力させる。
請求項24に記載の発明は、請求項22に記載の制御プログラムにおいて、
前記検索ステップは、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を、疾患名ごとに出力させる。
前記検索ステップは、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を、疾患名ごとに出力させる。
請求項25に記載の発明は、請求項24に記載の制御プログラムにおいて、
前記検索ステップは、
前記動態画像に類似する類似症例画像、または前記動態画像に関連する症例候補を、疾患名ごと、かつ類似度順に出力させる。
前記検索ステップは、
前記動態画像に類似する類似症例画像、または前記動態画像に関連する症例候補を、疾患名ごと、かつ類似度順に出力させる。
請求項26に記載の発明の症例検索装置は、
動態画像を用いて検索し、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力する制御部を備える。
動態画像を用いて検索し、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力する制御部を備える。
本発明によれば、より精度の高い検索をすることができる。
以下、図面を参照して本発明の実施形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
〔症例検索システム100の構成〕
図1に、本実施形態における症例検索システム100の全体構成を示す。
図1に示すように、症例検索システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、症例検索装置としての診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。症例検索システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
図1に、本実施形態における症例検索システム100の全体構成を示す。
図1に示すように、症例検索システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、症例検索装置としての診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。症例検索システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
〔撮影装置1の構成〕
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、周期性を持つ被写体の動態を撮影する撮影手段である。動態撮影とは、被写体に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、複数の画像を取得することをいう。つまり、動態撮影とは、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影することである。なお、動態撮影は、X線等の放射線だけでなく、超音波または磁気を用いて撮影してもよい。動態撮影には動画撮影が含まれるが、動画を表示しながら静止画を撮影するものは含まれない。
また、動態撮影により得られた一連の画像を動態画像と呼ぶ。
また、動態画像は、例えば、FPD(Flat Panel Detector)等の半導体イメージセンサーを用いた撮影によって、取得することができる。
また、動態画像には、動画が含まれるが、動画を表示しながら静止画を撮影して得られた画像は含まれない。
また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、パルス照射により動態撮影を行う場合を例にとり説明する。また、以下の実施形態では、被写体Mを被検者の胸部とした場合を例にとり説明するが、これに限定されるものではない。
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、周期性を持つ被写体の動態を撮影する撮影手段である。動態撮影とは、被写体に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、複数の画像を取得することをいう。つまり、動態撮影とは、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影することである。なお、動態撮影は、X線等の放射線だけでなく、超音波または磁気を用いて撮影してもよい。動態撮影には動画撮影が含まれるが、動画を表示しながら静止画を撮影するものは含まれない。
また、動態撮影により得られた一連の画像を動態画像と呼ぶ。
また、動態画像は、例えば、FPD(Flat Panel Detector)等の半導体イメージセンサーを用いた撮影によって、取得することができる。
また、動態画像には、動画が含まれるが、動画を表示しながら静止画を撮影して得られた画像は含まれない。
また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、パルス照射により動態撮影を行う場合を例にとり説明する。また、以下の実施形態では、被写体Mを被検者の胸部とした場合を例にとり説明するが、これに限定されるものではない。
放射線源11は、被写体Mを挟んで放射線検出部13と対向する位置に配置され、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。
放射線照射制御装置12は、撮影用コンソール2に接続されており、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。撮影用コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、1撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線照射制御装置12は、撮影用コンソール2に接続されており、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。撮影用コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、1撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線検出部13は、FPD等の半導体イメージセンサーにより構成される。FPDは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、何れを用いてもよい。本実施形態において、放射線検出部13において生成される画像データの画素値(信号値)は濃度値であり、放射線の透過量が多いほど高いものとする。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
読取制御装置14は、撮影用コンソール2に接続されている。読取制御装置14は、撮影用コンソール2から入力された画像読取条件に基づいて放射線検出部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部13に蓄積された電気信号を読み取ることにより、画像データを取得する。この画像データがフレーム画像である。そして、読取制御装置14は、取得したフレーム画像を撮影用コンソール2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14は互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
〔撮影用コンソール2の構成〕
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師等の撮影実施者によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、図1に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師等の撮影実施者によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、図1に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影用コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部22は、図2に示す撮影制御処理を実行するためのプログラムを記憶している。また、記憶部22は、撮影部位に対応付けて放射線照射条件及び画像読取条件を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔診断用コンソール3の構成〕
診断用コンソール3は、撮影用コンソール2から動態画像を取得する。診断用コンソール3は、取得した動態画像を表示したり、取得した動態画像を解析して動態解析画像を生成したり、取得した動態画像に基づいて当該動態画像に類似する類似症例画像または当該動態画像に関連する症例候補を検索して出力する。よって、診断用コンソール3は、医師の診断を支援する症例検索装置である。
診断用コンソール3は、図1に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35を備えて構成され、各部はバス36により接続されている。
診断用コンソール3は、撮影用コンソール2から動態画像を取得する。診断用コンソール3は、取得した動態画像を表示したり、取得した動態画像を解析して動態解析画像を生成したり、取得した動態画像に基づいて当該動態画像に類似する類似症例画像または当該動態画像に関連する症例候補を検索して出力する。よって、診断用コンソール3は、医師の診断を支援する症例検索装置である。
診断用コンソール3は、図1に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35を備えて構成され、各部はバス36により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って各種処理を実行する。また、制御部31のCPUは、記憶部32に記憶されているプログラム32aを読み出してRAM内に展開し、展開されたプログラム32aに従って後述する症例学習処理や症例検索処理を実行する。
また、制御部31は、動態画像を用いて検索し、動態画像に類似する類似症例画像または動態画像に関連する症例候補を出力する。ここで、制御部31は制御部として機能する。
また、制御部31は、動態画像を用いて検索し、動態画像に類似する類似症例画像または動態画像に関連する症例候補を出力する。ここで、制御部31は制御部として機能する。
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32は、制御部31で症例学習処理や症例検索処理を実行するためのプログラム32a、各種プログラム、プログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部32には、過去に動態撮影により取得された動態画像や動態画像を解析した動態解析画像に、その動態画像や動態解析画像を識別するための識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名を含む診断結果、カルテ情報(主訴、客観的情報等)、病歴、及びブックマーク・カンファレンス用等のラベル情報等が関連付けられて記憶される。ここで、診断結果とは、動態画像や動態解析画像を診断した結果であり、例えば、医師が画像を診断して入力した情報や、病理検査によって得られた確定診断の情報や、医用画像をCADなどを用いて自動的に解析した結果情報などである。
また、記憶部32には、複数の患者を撮影して得られた動態画像や動態解析画像が記憶される。
また、記憶部32には、過去に取得された動態画像や動態解析画像に、医師が診断において着目した着目領域の情報が関連付けられて記憶されてもよい。
また、記憶部32には、動態画像や動態解析画像に含まれる動態1周期分のフレーム画像群に、当該フレーム画像群から診断において着目した画像特徴の情報に基づいて算出された特徴量、及び当該特徴量に基づいて機械学習により決定されたグループの情報が関連付けられて記憶される。ここで、グループとは、動態画像や動態解析画像に含まれるフレーム画像群を所定の基準(例えば、フレーム画像内の特徴量)に基づいていくつかの集団に分けたものである。
また、記憶部32には、複数の患者を撮影して得られた動態画像や動態解析画像が記憶される。
また、記憶部32には、過去に取得された動態画像や動態解析画像に、医師が診断において着目した着目領域の情報が関連付けられて記憶されてもよい。
また、記憶部32には、動態画像や動態解析画像に含まれる動態1周期分のフレーム画像群に、当該フレーム画像群から診断において着目した画像特徴の情報に基づいて算出された特徴量、及び当該特徴量に基づいて機械学習により決定されたグループの情報が関連付けられて記憶される。ここで、グループとは、動態画像や動態解析画像に含まれるフレーム画像群を所定の基準(例えば、フレーム画像内の特徴量)に基づいていくつかの集団に分けたものである。
ここで、診断において着目した画像特徴の情報について説明する。医師は、動態画像や動態画像に基づいて生成された動態解析画像に基づいて診断を行う際に、例えば、吸気時間に比べて呼気時間が長い、呼吸時間が長い、濃度変化が少ない、横隔膜の動きが悪い等の画像特徴があれば、その画像特徴に着目して診断を行う。そこで、診断用コンソール3の制御部31は、動態画像やその動態解析画像を表示部34に表示した際、併せて医師が着目した画像特徴の情報を入力又は指定するためのユーザーインターフェースを表示する。記憶部32には、このユーザーインターフェースから操作部33により入力又は指定された画像特徴の情報が動態画像に関連付けられて記憶される。
本実施形態においては、診断対象が換気の場合、着目した画像特徴として、呼気時間と吸気時間の比(又は差)、呼吸時間、濃度変化量、横隔膜の動き量、呼気と吸気における濃度又は横隔膜の動き量の平均変化量の何れかが入力又は指定可能である。診断対象が肺血流の場合、着目した画像特徴として、1周期の時間、濃度変化量、1周期内の濃度変化の最大値→最小値(又は最小値→最大値)の平均変化量等が入力又は指定可能である。
なお、過去の動態画像としては、診断に用いられた動態1周期分のフレーム画像群からなる動態画像が記憶されているものとする。
本実施形態においては、診断対象が換気の場合、着目した画像特徴として、呼気時間と吸気時間の比(又は差)、呼吸時間、濃度変化量、横隔膜の動き量、呼気と吸気における濃度又は横隔膜の動き量の平均変化量の何れかが入力又は指定可能である。診断対象が肺血流の場合、着目した画像特徴として、1周期の時間、濃度変化量、1周期内の濃度変化の最大値→最小値(又は最小値→最大値)の平均変化量等が入力又は指定可能である。
なお、過去の動態画像としては、診断に用いられた動態1周期分のフレーム画像群からなる動態画像が記憶されているものとする。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、LCDやCRT等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、各種表示を行う。
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
ここで、動態画像を解析して生成される動態解析画像について説明する。
動態解析画像は動態画像に解析処理を実施して生成された画像であり、例えば、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、あるいは癒着を動態解析した癒着解析画像等である。
動態解析画像における解析処理としては、例えば、時間方向の周波数フィルター処理が挙げられる。例えば、診断対象が換気である場合、フレーム画像群の濃度変化に対し、時間方向のローパスフィルター処理(例えば、カットオフ周波数0.85Hz)が施され、換気による濃度変化を抽出した動態解析画像が生成される。また、例えば、診断対象が肺血流である場合、フレーム画像群に対し、時間方向のハイパスフィルター処理(例えば、カットオフ周波数0.85Hz)が施され、肺血流による濃度変化を抽出した動態解析画像が生成される。なお、フレーム画像群の濃度変化に対し、バンドパスフィルター(例えば、低域のカットオフ周波数0.8Hz、高域のカットオフ周波数2.4Hz)を用いてフィルター処理を施し、肺血流による濃度変化を抽出することとしてもよい。
動態解析画像は動態画像に解析処理を実施して生成された画像であり、例えば、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、あるいは癒着を動態解析した癒着解析画像等である。
動態解析画像における解析処理としては、例えば、時間方向の周波数フィルター処理が挙げられる。例えば、診断対象が換気である場合、フレーム画像群の濃度変化に対し、時間方向のローパスフィルター処理(例えば、カットオフ周波数0.85Hz)が施され、換気による濃度変化を抽出した動態解析画像が生成される。また、例えば、診断対象が肺血流である場合、フレーム画像群に対し、時間方向のハイパスフィルター処理(例えば、カットオフ周波数0.85Hz)が施され、肺血流による濃度変化を抽出した動態解析画像が生成される。なお、フレーム画像群の濃度変化に対し、バンドパスフィルター(例えば、低域のカットオフ周波数0.8Hz、高域のカットオフ周波数2.4Hz)を用いてフィルター処理を施し、肺血流による濃度変化を抽出することとしてもよい。
なお、解析処理は、フレーム画像群の各フレーム画像の同じ位置の画素を互いに対応付け、画素単位で時間方向の周波数フィルター処理を施すこととしてもよいし、フレーム画像群の各フレーム画像を複数画素からなる小領域に分割し、分割した小領域のそれぞれの濃度値の代表値(例えば、平均値、中央値等)を算出し、分割した小領域をフレーム画像間で対応付け(例えば、同じ画素位置の小領域を対応付け)、小領域単位で時間方向の周波数フィルター処理を施すこととしてもよい。
また、解析処理を行ったフレーム画像群の各画素(又は各小領域)について、時間方向における代表値(例えば、分散値)を求め、求めた値を画素値とした1枚の画像を動態解析画像として生成してもよい。
〔症例検索システム100の動作〕
次に、上記症例検索システム100における動作について説明する。
次に、上記症例検索システム100における動作について説明する。
(撮影装置1、撮影用コンソール2の動作)
まず、撮影装置1、撮影用コンソール2による撮影動作について説明する。
図2に、撮影用コンソール2の制御部21において実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
まず、撮影装置1、撮影用コンソール2による撮影動作について説明する。
図2に、撮影用コンソール2の制御部21において実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
まず、制御部21は、撮影用コンソール2の操作部23を介して、撮影実施者による被検者の患者基本情報(患者の氏名、身長、体重、年齢、性別等)や検査情報(撮影部位(ここでは、胸部)、診断対象の種類(換気、肺血流等))の入力を受け付ける(ステップS1)。
次いで、制御部21は、放射線照射条件を記憶部22から読み出して、放射線照射制御装置12に設定し、画像読取条件を記憶部22から読み出して、読取制御装置14に設定する(ステップS2)。
次いで、制御部21は、操作部23を介して撮影実施者による放射線照射の指示はあったか否かを判断する(ステップS3)。ここで、撮影実施者は、被写体Mを放射線源11と放射線検出部13の間に配置してポジショニングを行う。また、撮影実施者は、被検者に楽にするように指示し、安静呼吸を促す。或いは、「吸って、吐いて」等の深呼吸の誘導を行うこととしてもよい。また、例えば診断対象が肺血流の場合には、息止め状態で撮影したほうが画像特徴が取り出しやすいため、撮影実施者は、被検者に息を止めるように指示してもよい。撮影準備が整った時点で、撮影実施者は、操作部23を操作して放射線照射指示を入力する。
操作部23を介して撮影実施者によって放射線照射指示が入力されると(ステップS3;YES)、制御部21は、放射線照射制御装置12及び読取制御装置14に撮影開始指示を出力して、動態撮影を開始する(ステップS4)。即ち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像が取得される。
予め定められたフレーム数の撮影が終了すると、制御部21は、放射線照射制御装置12及び読取制御装置14に撮影終了の指示を出力して、撮影動作を停止する。撮影されるフレーム数は、少なくとも1呼吸サイクルが撮影できる枚数である。m回の呼吸サイクルが撮影できる枚数である(m>1、mは整数)。
次いで、制御部21は、撮影により取得されたフレーム画像を、撮影順を示す番号(フレーム番号)と対応付けて記憶部22に記憶する(ステップS5)。
次いで、制御部21は、撮影により取得されたフレーム画像を、表示部24に表示する(ステップS6)。撮影実施者は、表示された動態画像によりポジショニング等を確認し、撮影により診断に適した画像が取得された(撮影OK)か、再撮影が必要(撮影NG)か、を判断する。
次いで、制御部21は、撮影により取得されたフレーム画像を、表示部24に表示する(ステップS6)。撮影実施者は、表示された動態画像によりポジショニング等を確認し、撮影により診断に適した画像が取得された(撮影OK)か、再撮影が必要(撮影NG)か、を判断する。
次いで、制御部21は、操作部23を介して、撮影実施者による撮影OKまたは撮影NGの入力を受け付け、撮影OKを示す判断結果が入力されたか否かを判断する(ステップS7)。
撮影OKを示す判断結果が入力されたと判断した場合(ステップS7;YES)、制御部21は、ステップS4における動態撮影で取得された一連のフレーム画像のそれぞれに、動態画像を識別するための識別IDや、患者基本情報、検査情報、放射線照射条件、画像読取条件、撮影順を示す番号(フレーム番号)等の情報を付帯して(例えば、DICOM形式で画像データのヘッダ領域に書き込まれ)、通信部25を介して診断用コンソール3に送信する(ステップS8)。そして、制御部31は、本処理を終了する。診断用コンソール3の制御部31は、通信部35を介して、動態撮影で取得された一連のフレーム画像を受信し、記憶部32に記憶する。
一方、撮影NGを示す判断結果が入力されたと判断した場合(ステップS7;NO)、制御部21は、記憶部22に記憶した一連のフレーム画像を削除し(ステップS9)、本処理を終了する。この場合、再撮影が必要となる。
撮影OKを示す判断結果が入力されたと判断した場合(ステップS7;YES)、制御部21は、ステップS4における動態撮影で取得された一連のフレーム画像のそれぞれに、動態画像を識別するための識別IDや、患者基本情報、検査情報、放射線照射条件、画像読取条件、撮影順を示す番号(フレーム番号)等の情報を付帯して(例えば、DICOM形式で画像データのヘッダ領域に書き込まれ)、通信部25を介して診断用コンソール3に送信する(ステップS8)。そして、制御部31は、本処理を終了する。診断用コンソール3の制御部31は、通信部35を介して、動態撮影で取得された一連のフレーム画像を受信し、記憶部32に記憶する。
一方、撮影NGを示す判断結果が入力されたと判断した場合(ステップS7;NO)、制御部21は、記憶部22に記憶した一連のフレーム画像を削除し(ステップS9)、本処理を終了する。この場合、再撮影が必要となる。
(診断用コンソール3の動作)
診断用コンソール3における動作について説明する。
まず、図3に示す症例学習処理について説明する。
制御部31は、例えば、記憶部32に記憶されているプログラム32aと協働して、症例学習処理を実行することにより、記憶部32に記憶された動態画像や動態解析画像について、疾患名を正解としたグループ分類を学習する。
なお、動態画像や動態解析画像についての疾患名を正解としたグループ分類の学習は、図3に示す例に限らず、他の方法で実施してもよい。
診断用コンソール3における動作について説明する。
まず、図3に示す症例学習処理について説明する。
制御部31は、例えば、記憶部32に記憶されているプログラム32aと協働して、症例学習処理を実行することにより、記憶部32に記憶された動態画像や動態解析画像について、疾患名を正解としたグループ分類を学習する。
なお、動態画像や動態解析画像についての疾患名を正解としたグループ分類の学習は、図3に示す例に限らず、他の方法で実施してもよい。
以下、図3を参照して症例学習処理の流れについて説明する。
まず、制御部31は、記憶部32から学習に用いる動態画像あるいは動態解析画像を取得する(ステップS11)。
次いで、制御部31は、取得した動態画像あるいは動態解析画像を動態1周期毎のフレーム画像群に分割する(ステップS12)。
ステップS12の分割においては、例えば、画像全体の濃度変化が用いられる。例えば、動態画像の各フレーム画像において濃度値の代表値(例えば、平均値、中央値等)を算出し、図4に示すように、算出した濃度値の代表値を時系列(フレーム画像順に)プロットすることにより濃度変化の波形を求め、極値(極大値又は極小値)となるフレーム画像のところで分割することで、動態画像を被写体Mの動態1周期毎のフレーム画像群に分割する。或いは、動態画像から対象部位(例えば、肺野領域)を抽出し、抽出領域内における濃度変化を用いて動態画像を動態1周期毎のフレーム画像群に分割することとしてもよい。
なお、例えば、診断対象が換気である場合、濃度変化に対して時間方向のローパスフィルター処理(例えば、カットオフ周波数0.85Hz)を施してから分割を行うことが好ましい。これにより、肺血流等の高周波の信号変化を除去し、換気による濃度変化を精度良く抽出することができる。
また、例えば、診断対象が肺血流である場合、濃度変化に対して時間方向のハイパスフィルター処理(例えば、カットオフ周波数0.85Hz)を施してから分割を行うことが好ましい。これにより、換気等による低周波の信号変化を除去し、肺血流による濃度変化を精度良く抽出することができる。なお、バンドパスフィルター(例えば、低域のカットオフ周波数0.8Hz、高域のカットオフ周波数2.4Hz)を用いて肺血流による濃度変化を抽出することとしてもよい。
まず、制御部31は、記憶部32から学習に用いる動態画像あるいは動態解析画像を取得する(ステップS11)。
次いで、制御部31は、取得した動態画像あるいは動態解析画像を動態1周期毎のフレーム画像群に分割する(ステップS12)。
ステップS12の分割においては、例えば、画像全体の濃度変化が用いられる。例えば、動態画像の各フレーム画像において濃度値の代表値(例えば、平均値、中央値等)を算出し、図4に示すように、算出した濃度値の代表値を時系列(フレーム画像順に)プロットすることにより濃度変化の波形を求め、極値(極大値又は極小値)となるフレーム画像のところで分割することで、動態画像を被写体Mの動態1周期毎のフレーム画像群に分割する。或いは、動態画像から対象部位(例えば、肺野領域)を抽出し、抽出領域内における濃度変化を用いて動態画像を動態1周期毎のフレーム画像群に分割することとしてもよい。
なお、例えば、診断対象が換気である場合、濃度変化に対して時間方向のローパスフィルター処理(例えば、カットオフ周波数0.85Hz)を施してから分割を行うことが好ましい。これにより、肺血流等の高周波の信号変化を除去し、換気による濃度変化を精度良く抽出することができる。
また、例えば、診断対象が肺血流である場合、濃度変化に対して時間方向のハイパスフィルター処理(例えば、カットオフ周波数0.85Hz)を施してから分割を行うことが好ましい。これにより、換気等による低周波の信号変化を除去し、肺血流による濃度変化を精度良く抽出することができる。なお、バンドパスフィルター(例えば、低域のカットオフ周波数0.8Hz、高域のカットオフ周波数2.4Hz)を用いて肺血流による濃度変化を抽出することとしてもよい。
また、診断対象が換気である場合、横隔膜の動き量の変化を用いて複数のフレーム画像群への分割を行うこととしてもよい。例えば、動態画像の各フレーム画像において、横隔膜を認識し、認識した横隔膜上の或るx座標の位置のy座標を求め、求めたy座標と基準となるy座標との距離(例えば、安静呼気位のy座標との距離(又は、求めたy座標と肺尖との距離)を時系列にプロットすることにより横隔膜の動き量の時間変化の波形を求めて極値(極大値又は極小値)となるフレーム画像のところで分割することで、動態画像を被写体の動態1周期毎のフレーム画像群(フレーム画像群1~フレーム画像群n(n>1、nは整数))に分割する。ここで、各フレーム画像の左右方向をx方向、上下方向をy方向とする。
横隔膜の認識は、例えば、フレーム画像から肺野領域を認識し、認識した肺野領域下部の輪郭を横隔膜と認識することができる。肺野領域の抽出は何れの方法であってもよい。例えば、肺野領域を認識するフレーム画像の各画素の信号値のヒストグラムから判別分析によって閾値を求め、この閾値より高信号の領域を肺野領域候補として1次抽出する。次いで、1次抽出された肺野領域候補の境界付近でエッジ検出を行い、境界付近の小領域でエッジが最大となる点を境界に沿って抽出すれば肺野領域の境界を抽出することができる。
横隔膜の認識は、例えば、フレーム画像から肺野領域を認識し、認識した肺野領域下部の輪郭を横隔膜と認識することができる。肺野領域の抽出は何れの方法であってもよい。例えば、肺野領域を認識するフレーム画像の各画素の信号値のヒストグラムから判別分析によって閾値を求め、この閾値より高信号の領域を肺野領域候補として1次抽出する。次いで、1次抽出された肺野領域候補の境界付近でエッジ検出を行い、境界付近の小領域でエッジが最大となる点を境界に沿って抽出すれば肺野領域の境界を抽出することができる。
次いで、制御部31は、記憶部32から、ステップS11において取得した動態画像あるいは動態解析画像に関連付けて記憶されている画像特徴の情報を取得する。そして、制御部31は、ステップS12において分割したフレーム画像群1~nのそれぞれにおいて、取得した画像特徴の情報に基づいて画像特徴の特徴量R1~Rnを算出する(ステップS13)。画像特徴の特徴量R1~Rnの算出において、フレーム画像群1~nにおけるヒストグラム、グレイ値、画素平均、重心、エントロピー、エッジ、コントラスト等の種々を用いてもよい。また、動態解析画像から得られる複数の生物学的部位の変化量(経時変化グラフ)を使用してもよい。
上述のように、診断対象が換気の場合、画像特徴としては、呼気時間と吸気時間の比(又は差)、呼吸時間、濃度変化量、横隔膜の動き量、呼気と吸気における濃度又は横隔膜の動き量の平均変化量の何れかが挙げられる。診断対象が肺血流の場合、画像特徴としては、1周期の時間、濃度変化量、1周期内の濃度変化の最大値→最小値(又は最小値→最大値)の平均変化量の何れかが挙げられる。
上記の画像特徴の特徴量R1~Rnは、フレーム画像群における濃度変化又は横隔膜の動き量に基づいて算出することができる。
呼気時間と吸気時間の比は、フレーム画像群において濃度又は横隔膜の動き量が極大から極小となるまでにかかる時間を算出することで呼気時間を求め、フレーム画像群において濃度又は横隔膜の動き量が極小から極大となるまでにかかる時間を算出することで吸気時間を求め、両者の比の値を算出することで求めることができる。呼吸時間は、呼気時間と吸気時間を加算することで求めることができる。
濃度変化量は、フレーム画像群における濃度変化の振幅値を算出することで求めることができる。
横隔膜の動き量は、フレーム画像群における横隔膜の動き量の振幅値を算出することで求めることができる。
肺血流の1周期の時間は、フレーム画像群の濃度が極大(極小)から次の極大(極小)となるまでの時間を算出することで求めることができる。
呼気時間と吸気時間の比は、フレーム画像群において濃度又は横隔膜の動き量が極大から極小となるまでにかかる時間を算出することで呼気時間を求め、フレーム画像群において濃度又は横隔膜の動き量が極小から極大となるまでにかかる時間を算出することで吸気時間を求め、両者の比の値を算出することで求めることができる。呼吸時間は、呼気時間と吸気時間を加算することで求めることができる。
濃度変化量は、フレーム画像群における濃度変化の振幅値を算出することで求めることができる。
横隔膜の動き量は、フレーム画像群における横隔膜の動き量の振幅値を算出することで求めることができる。
肺血流の1周期の時間は、フレーム画像群の濃度が極大(極小)から次の極大(極小)となるまでの時間を算出することで求めることができる。
診断対象が換気である場合、各フレーム画像群の濃度変化に対して時間方向のローパスフィルター処理(例えば、カットオフ周波数0.85Hz)を施してから特徴量R1~Rnを算出することが好ましい。これにより、肺血流等の高周波の信号変化を除去し、換気による濃度変化を精度良く抽出することができる。
また、診断対象が肺血流である場合、各フレーム画像群の濃度変化に対して時間方向のハイパスフィルター処理(例えば、カットオフ周波数0.85Hz)を施してから特徴量R1~Rnを算出することが好ましい。これにより、換気等による低周波の信号変化を除去し、肺血流による濃度変化を精度良く抽出することができる。なお、バンドパスフィルター(例えば、低域のカットオフ周波数0.8Hz、高域のカットオフ周波数2.4Hz)を用いて肺血流による濃度変化を抽出することとしてもよい。
また、各フレーム画像から肺野領域を抽出した後、その領域内の画素を用いて濃度変化を算出することで、より精度良く換気や肺血流に係る特徴量R1~Rnを算出することが可能となる。
また、診断対象が肺血流である場合、各フレーム画像群の濃度変化に対して時間方向のハイパスフィルター処理(例えば、カットオフ周波数0.85Hz)を施してから特徴量R1~Rnを算出することが好ましい。これにより、換気等による低周波の信号変化を除去し、肺血流による濃度変化を精度良く抽出することができる。なお、バンドパスフィルター(例えば、低域のカットオフ周波数0.8Hz、高域のカットオフ周波数2.4Hz)を用いて肺血流による濃度変化を抽出することとしてもよい。
また、各フレーム画像から肺野領域を抽出した後、その領域内の画素を用いて濃度変化を算出することで、より精度良く換気や肺血流に係る特徴量R1~Rnを算出することが可能となる。
次いで、制御部31は、動態画像あるいは動態解析画像における着目領域は、予め設定されているか否かを判断する(ステップS14)。
着目領域が設定されていない場合(ステップS14;NO)、制御部31は、ステップS13において算出した特徴量R1~Rnに基づいて機械学習を行うことにより、グループ分類を学習する(ステップS15)。ステップS15における機械学習は、公知の機械学習モデルを使用すればよい。
次いで、制御部31は、ステップS15において学習したグループ分類に基づいて、ステップS11において取得した動態画像あるいは動態解析画像をグループごとに分類する(ステップS16)。
次いで、制御部31は、ステップS16において分類された動態画像あるいは動態解析画像にグループ分類の情報、特徴量R1~Rn、その他情報を関連付けて、記憶部32に記憶し(ステップS17)、処理を終了する。当該その他情報とは、動態画像あるいは動態解析画像に関連付けて記憶される識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名、カルテ情報(主訴、客観的情報等)、病歴、ブックマーク・カンファレンス用等のラベル情報等である。
着目領域が設定されていない場合(ステップS14;NO)、制御部31は、ステップS13において算出した特徴量R1~Rnに基づいて機械学習を行うことにより、グループ分類を学習する(ステップS15)。ステップS15における機械学習は、公知の機械学習モデルを使用すればよい。
次いで、制御部31は、ステップS15において学習したグループ分類に基づいて、ステップS11において取得した動態画像あるいは動態解析画像をグループごとに分類する(ステップS16)。
次いで、制御部31は、ステップS16において分類された動態画像あるいは動態解析画像にグループ分類の情報、特徴量R1~Rn、その他情報を関連付けて、記憶部32に記憶し(ステップS17)、処理を終了する。当該その他情報とは、動態画像あるいは動態解析画像に関連付けて記憶される識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名、カルテ情報(主訴、客観的情報等)、病歴、ブックマーク・カンファレンス用等のラベル情報等である。
また、着目領域が設定されている場合(ステップS14;YES)、制御部31は、フレーム画像群1~nの着目領域rにおいて、それぞれ画像特徴の特徴量R1r~Rnrを算出する(ステップS18)。
次いで、制御部31は、ステップS18において算出した特徴量R1r~Rnrに基づいて機械学習を行うことにより、グループ分類を学習する(ステップS19)。ステップS19における機械学習は、ステップS15と同様に公知の機械学習モデルを使用すればよい。
次いで、制御部31は、ステップS19において学習したグループ分類に基づいて、ステップS11において取得した動態画像あるいは動態解析画像をグループごとに分類する(ステップS20)。
次いで、制御部31は、ステップS20において分類された動態画像あるいは動態解析画像にグループ分類の情報、特徴量R1r~Rnr、その他情報を関連付けて、記憶部32に記憶し(ステップS21)、処理を終了する。
次いで、制御部31は、ステップS18において算出した特徴量R1r~Rnrに基づいて機械学習を行うことにより、グループ分類を学習する(ステップS19)。ステップS19における機械学習は、ステップS15と同様に公知の機械学習モデルを使用すればよい。
次いで、制御部31は、ステップS19において学習したグループ分類に基づいて、ステップS11において取得した動態画像あるいは動態解析画像をグループごとに分類する(ステップS20)。
次いで、制御部31は、ステップS20において分類された動態画像あるいは動態解析画像にグループ分類の情報、特徴量R1r~Rnr、その他情報を関連付けて、記憶部32に記憶し(ステップS21)、処理を終了する。
また、制御部31は、上記症例学習処理を複数の患者を撮影して得られた動態画像や動態解析画像を用いて実行する。また、上記症例学習処理以外の方法で、動態画像や動態解析画像についてのグループ分類を学習する場合においても、複数の患者を撮影して得られた動態画像や動態解析画像を用いられる。
また、上記症例学習処理において、機械学習のモデルに動態画像あるいは動態解析画像を学習させるとしたがこれに限らない。動態画像あるいは動態解析画像に加えて静止画を学習させてもよい。
また、上記症例学習処理のステップS15、S19において学習されるグループ分類におけるグループは、特徴量ごとに別のグルーピングを持ってもよい。具体的には、疾患名によるグルーピングや疾患をさらにI型、II型、III型、IV型等に分類したグルーピングである。
また、疾患名を正解としたグループ分類の学習において、理想的には一つのグループに単一の疾患名の情報が関連付けられた動態画像あるいは動態解析画像が属するように分類することが望ましい。しかし、一つの疾患名の情報が関連付けられた動態画像あるいは動態解析画像が分かれて複数のグループに属してもよい。
また、上記症例学習処理において、機械学習のモデルに動態画像あるいは動態解析画像を学習させるとしたがこれに限らない。動態画像あるいは動態解析画像に加えて静止画を学習させてもよい。
また、上記症例学習処理のステップS15、S19において学習されるグループ分類におけるグループは、特徴量ごとに別のグルーピングを持ってもよい。具体的には、疾患名によるグルーピングや疾患をさらにI型、II型、III型、IV型等に分類したグルーピングである。
また、疾患名を正解としたグループ分類の学習において、理想的には一つのグループに単一の疾患名の情報が関連付けられた動態画像あるいは動態解析画像が属するように分類することが望ましい。しかし、一つの疾患名の情報が関連付けられた動態画像あるいは動態解析画像が分かれて複数のグループに属してもよい。
次に、図5に示す症例検索処理について説明する。
診断用コンソール3の操作部33を介して、後述する図6に示す検索画面341において、ユーザーによる検索対象画像の選択がなされ、検索実行の指示が出されると、制御部31と記憶部32に記憶されているプログラム32aとの協働により症例検索処理が実行される。ここで、検索対象画像とは、検索に用いられる動態画像であり、具体的には、記憶部32に記憶された動態画像あるいは動態解析画像のうち、未診断であり、ユーザーが診断を行おうとする画像である。
また、ユーザーが検索対象画像を選択する際に、検索画面341においてユーザーが診断において着目する領域である着目領域を指定してもよい。
診断用コンソール3の操作部33を介して、後述する図6に示す検索画面341において、ユーザーによる検索対象画像の選択がなされ、検索実行の指示が出されると、制御部31と記憶部32に記憶されているプログラム32aとの協働により症例検索処理が実行される。ここで、検索対象画像とは、検索に用いられる動態画像であり、具体的には、記憶部32に記憶された動態画像あるいは動態解析画像のうち、未診断であり、ユーザーが診断を行おうとする画像である。
また、ユーザーが検索対象画像を選択する際に、検索画面341においてユーザーが診断において着目する領域である着目領域を指定してもよい。
以下、図5を参照して症例検索処理の流れについて説明する。
まず、制御部31は、ユーザーによって選択された検索対象画像である動態画像あるいは動態解析画像を記憶部32から取得する(ステップS31)。ステップS31が取得ステップである。
次いで、制御部31は、ステップS31において取得した検索対象画像を動態1周期毎のフレーム画像群に分割する(ステップS32)。ステップS32における分割は、上記症例学習処理のステップS12と同様に実施すればよい。
次いで、制御部31は、ステップS32において分割したフレーム画像群1~nのそれぞれにおいて、画像特徴の特徴量R1~Rnを算出する(ステップS33)。ステップS33における特徴量R1~Rnの算出は、上記症例学習処理のステップS13と同様に画像特徴の特徴量R1~Rnの算出において、フレーム画像群1~nにおけるヒストグラム、グレイ値、画素平均、重心、エントロピー、エッジ、コントラスト等の種々を用いてもよい。また、動態解析画像から得られる複数の生物学的部位の変化量(経時変化グラフ)を使用してもよい。
まず、制御部31は、ユーザーによって選択された検索対象画像である動態画像あるいは動態解析画像を記憶部32から取得する(ステップS31)。ステップS31が取得ステップである。
次いで、制御部31は、ステップS31において取得した検索対象画像を動態1周期毎のフレーム画像群に分割する(ステップS32)。ステップS32における分割は、上記症例学習処理のステップS12と同様に実施すればよい。
次いで、制御部31は、ステップS32において分割したフレーム画像群1~nのそれぞれにおいて、画像特徴の特徴量R1~Rnを算出する(ステップS33)。ステップS33における特徴量R1~Rnの算出は、上記症例学習処理のステップS13と同様に画像特徴の特徴量R1~Rnの算出において、フレーム画像群1~nにおけるヒストグラム、グレイ値、画素平均、重心、エントロピー、エッジ、コントラスト等の種々を用いてもよい。また、動態解析画像から得られる複数の生物学的部位の変化量(経時変化グラフ)を使用してもよい。
次いで、制御部31は、検索対象画像における着目領域は設定されているか否かを判断する(ステップS34)。
着目領域が設定されていない場合(ステップS34;NO)、制御部31は、ステップS33において算出した特徴量R1~Rnに基づいて、例えば、上記症例学習処理において学習済みの機械学習モデルを用いて、検索対象画像が所属するグループを決定する(ステップS35)。
次いで、制御部31は、ステップS35において決定したグループに属する、例えば、上記症例学習処理において学習済みである動態画像あるいは動態解析画像を構成するフレーム画像群yの特徴量Ryと、ステップS33において算出した特徴量Rnを比較する。そして、制御部31は、特徴量空間において、特徴量Rnに距離が近い特徴量Ryに対応するフレーム画像群yにより構成される動態画像あるいは動態解析画像を距離が近い順、つまり類似度順に表示候補とする(ステップS36)。ここで、ステップS35において決定したグループに属する動態画像あるいは動態解析画像を、検索対象画像に類似する類似症例画像とする。
次いで、制御部31は、類似症例画像に関連付けて記憶された診断結果を症例候補として記憶部32から取得し、当該診断結果から疾患名を参照する。そして、制御部31は、表示部34に、検索対象画像と、類似症例画像と、検索対象画像に関連する症例候補として類似症例画像の診断結果を、参照した疾患名ごとに類似度順に表示し(ステップS37)、処理を終了する。つまり、制御部31は、検索対象画像(動態画像)に類似し症例候補と対応付けられた類似症例画像と、検索対象画像(動態画像)に関連する症例候補を出力する。
ここで、類似症例画像とは、検索対象画像(動態画像)に対して症例が類似するものとして出力される画像のことである。類似判断は画像自体の類似性から判断してもよく、画像以外の症例情報から類似性を判断してもよい。
ここで、ステップS36、S37が検索ステップである。
着目領域が設定されていない場合(ステップS34;NO)、制御部31は、ステップS33において算出した特徴量R1~Rnに基づいて、例えば、上記症例学習処理において学習済みの機械学習モデルを用いて、検索対象画像が所属するグループを決定する(ステップS35)。
次いで、制御部31は、ステップS35において決定したグループに属する、例えば、上記症例学習処理において学習済みである動態画像あるいは動態解析画像を構成するフレーム画像群yの特徴量Ryと、ステップS33において算出した特徴量Rnを比較する。そして、制御部31は、特徴量空間において、特徴量Rnに距離が近い特徴量Ryに対応するフレーム画像群yにより構成される動態画像あるいは動態解析画像を距離が近い順、つまり類似度順に表示候補とする(ステップS36)。ここで、ステップS35において決定したグループに属する動態画像あるいは動態解析画像を、検索対象画像に類似する類似症例画像とする。
次いで、制御部31は、類似症例画像に関連付けて記憶された診断結果を症例候補として記憶部32から取得し、当該診断結果から疾患名を参照する。そして、制御部31は、表示部34に、検索対象画像と、類似症例画像と、検索対象画像に関連する症例候補として類似症例画像の診断結果を、参照した疾患名ごとに類似度順に表示し(ステップS37)、処理を終了する。つまり、制御部31は、検索対象画像(動態画像)に類似し症例候補と対応付けられた類似症例画像と、検索対象画像(動態画像)に関連する症例候補を出力する。
ここで、類似症例画像とは、検索対象画像(動態画像)に対して症例が類似するものとして出力される画像のことである。類似判断は画像自体の類似性から判断してもよく、画像以外の症例情報から類似性を判断してもよい。
ここで、ステップS36、S37が検索ステップである。
また、着目領域が設定されている場合(ステップS34;YES)、制御部31は、フレーム画像群1~nの着目領域rにおいて、それぞれ画像特徴の特徴量R1r~Rnrを算出する(ステップS38)。ステップS33、S38が特徴量算出ステップである。
次いで、制御部31は、ステップS38において算出した特徴量R1r~Rnrに基づいて、例えば、上記症例学習処理において学習済みの機械学習モデルを用いて、検索対象画像が所属するグループを決定する(ステップS39)。
次いで、制御部31は、本処理をステップS36に移行する。制御部31は、ステップS36において、ステップS39において決定したグループに属する、例えば、上記症例学習処理において学習済みである動態画像あるいは動態解析画像を構成するフレーム画像群yの着目領域rの特徴量Ryrと、ステップS38において算出した特徴量Rnrを比較する。そして、制御部31は、特徴量空間において、特徴量Rnrに距離が近い特徴量Ryrに対応するフレーム画像群yにより構成される動態画像あるいは動態解析画像を距離が近い順、つまり類似度順に表示候補とする。ここで、ステップS39において決定したグループに属する動態画像あるいは動態解析画像を、検索対象画像に類似する類似症例画像とする。
次いで、制御部31は、ステップS38において算出した特徴量R1r~Rnrに基づいて、例えば、上記症例学習処理において学習済みの機械学習モデルを用いて、検索対象画像が所属するグループを決定する(ステップS39)。
次いで、制御部31は、本処理をステップS36に移行する。制御部31は、ステップS36において、ステップS39において決定したグループに属する、例えば、上記症例学習処理において学習済みである動態画像あるいは動態解析画像を構成するフレーム画像群yの着目領域rの特徴量Ryrと、ステップS38において算出した特徴量Rnrを比較する。そして、制御部31は、特徴量空間において、特徴量Rnrに距離が近い特徴量Ryrに対応するフレーム画像群yにより構成される動態画像あるいは動態解析画像を距離が近い順、つまり類似度順に表示候補とする。ここで、ステップS39において決定したグループに属する動態画像あるいは動態解析画像を、検索対象画像に類似する類似症例画像とする。
図6に、制御部31が診断用コンソール3の表示部34に表示する検索画面341の例を示す。
図6に示す例において、欄Aには、ユーザーが選択した検索対象画像が表示される。
また、検索対象画像における着目領域が予め設定されている場合は、領域Bによって画像上にマーキングされる。または、検索画面341においてユーザーが着目領域を指定することができる構成である場合、指定した領域を領域Bとして表示してもよい。
また、ボタンCは、検索ボタンであり、ユーザーはボタンCを押下することにより検索実行を指示することができる。
また、欄Dには、上記症例検索処理のステップS36において表示候補とされた類似症例画像342とその診断結果343が疾患名ごとに類似度順に表示される。また、ユーザーは操作部33を介して疾患名を選択することで、参考としたい疾患名の情報が関連付けられた類似症例画像を参照することができ、当該類似症例画像と検索対象画像とを比較することができる。
また、欄Eにユーザーが操作部33を介して欄Dから選択した類似症例画像が表示される。
また、欄Fに欄Eに表示されている類似症例画像の診断結果が表示される。
また、図6に示す例において、欄Dには類似症例画像の診断結果を表示せずに、類似症例画像のみを表示してもよい。
また、欄Dや欄Fには、類似症例画像の診断結果だけでなく、当該類似症例画像に関連付けられた識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名、カルテ情報(主訴、客観的情報等)、病歴、ブックマーク・カンファレンス用等のラベル情報等を表示してもよい。
また、欄Gには、検索対象画像に関連付けられた識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名、カルテ情報(主訴、客観的情報等)、病歴、ブックマーク・カンファレンス用等のラベル情報等を表示してもよい。
図6に示す例において、欄Aには、ユーザーが選択した検索対象画像が表示される。
また、検索対象画像における着目領域が予め設定されている場合は、領域Bによって画像上にマーキングされる。または、検索画面341においてユーザーが着目領域を指定することができる構成である場合、指定した領域を領域Bとして表示してもよい。
また、ボタンCは、検索ボタンであり、ユーザーはボタンCを押下することにより検索実行を指示することができる。
また、欄Dには、上記症例検索処理のステップS36において表示候補とされた類似症例画像342とその診断結果343が疾患名ごとに類似度順に表示される。また、ユーザーは操作部33を介して疾患名を選択することで、参考としたい疾患名の情報が関連付けられた類似症例画像を参照することができ、当該類似症例画像と検索対象画像とを比較することができる。
また、欄Eにユーザーが操作部33を介して欄Dから選択した類似症例画像が表示される。
また、欄Fに欄Eに表示されている類似症例画像の診断結果が表示される。
また、図6に示す例において、欄Dには類似症例画像の診断結果を表示せずに、類似症例画像のみを表示してもよい。
また、欄Dや欄Fには、類似症例画像の診断結果だけでなく、当該類似症例画像に関連付けられた識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名、カルテ情報(主訴、客観的情報等)、病歴、ブックマーク・カンファレンス用等のラベル情報等を表示してもよい。
また、欄Gには、検索対象画像に関連付けられた識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名、カルテ情報(主訴、客観的情報等)、病歴、ブックマーク・カンファレンス用等のラベル情報等を表示してもよい。
<変形例>
以下、本変形例について説明する。
本変形例における構成及び撮影装置1、撮影用コンソール2の動作は、上記実施形態で説明したものと同様であるので説明を援用し、診断用コンソール3の動作について説明する。
以下、本変形例について説明する。
本変形例における構成及び撮影装置1、撮影用コンソール2の動作は、上記実施形態で説明したものと同様であるので説明を援用し、診断用コンソール3の動作について説明する。
以下、図7を参照して本変形例の症例検索処理の流れについて説明する。
まず、制御部31は、上記実施形態の症例検索処理のステップS31~S35と同様のステップS41~S45を実施する。
次いで、制御部31は、ステップS45において決定したグループに属する、例えば、上記症例学習処理において学習済みである動態画像あるいは動態解析画像から、検索対象画像に関連付けられた情報、または学習済みである動態画像あるいは動態解析画像に関連付けられた情報に基づいて、動態画像あるいは動態解析画像を抽出する(ステップS46)。具体的には、制御部31は、検索対象画像に関連付けられた患者基本情報と同じ患者基本情報が関連付けられた動態画像あるいは動態解析画像を抽出する。また、制御部31は、ユーザーが検索したい条件に合わせた情報が関連付けられた動態画像あるいは動態解析画像を抽出する。当該ユーザーが検索したい条件に合わせた情報とは、例えば、識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名を含む診断結果、カルテ情報(主訴、客観的情報等)、病歴、及びブックマーク・カンファレンス用等のラベル情報等である。当該抽出した動態画像あるいは動態解析画像を類似症例画像とする。
次いで、制御部31は、ステップS46において抽出した動態画像あるいは動態解析画像を構成するフレーム画像群zの特徴量Rzと、ステップS43において算出した特徴量Rnを比較する。そして、制御部31は、特徴量空間において、特徴量Rnに距離が近い特徴量Rzに対応するフレーム画像群zにより構成される動態画像あるいは動態解析画像を距離が近い順、つまり類似度順に表示候補とする(ステップS47)。
次いで、制御部31は、類似症例画像に関連付けて記憶された診断結果を症例候補として記憶部32から取得し、当該診断結果から疾患名を参照する。そして、制御部31は、表示部34に、検索対象画像と、類似症例画像と、検索対象画像に関連する症例候補として類似症例画像の診断結果を、参照した疾患名ごとに類似度順に表示し(ステップS48)、処理を終了する。つまり、制御部31は、検索対象画像(動態画像)に類似し症例候補と対応付けられた類似症例画像と、検索対象画像(動態画像)に関連する症例候補を出力する。
ここで、類似症例画像とは、検索対象画像(動態画像)に対して症例が類似するものとして出力される画像のことである。類似判断は画像自体の類似性から判断してもよく、画像以外の症例情報から類似性を判断してもよい。
ここで、ステップS46~S48が検索ステップである。
まず、制御部31は、上記実施形態の症例検索処理のステップS31~S35と同様のステップS41~S45を実施する。
次いで、制御部31は、ステップS45において決定したグループに属する、例えば、上記症例学習処理において学習済みである動態画像あるいは動態解析画像から、検索対象画像に関連付けられた情報、または学習済みである動態画像あるいは動態解析画像に関連付けられた情報に基づいて、動態画像あるいは動態解析画像を抽出する(ステップS46)。具体的には、制御部31は、検索対象画像に関連付けられた患者基本情報と同じ患者基本情報が関連付けられた動態画像あるいは動態解析画像を抽出する。また、制御部31は、ユーザーが検索したい条件に合わせた情報が関連付けられた動態画像あるいは動態解析画像を抽出する。当該ユーザーが検索したい条件に合わせた情報とは、例えば、識別IDや、患者基本情報、患者付帯情報、検査情報、診断において着目した画像特徴の情報、疾患名を含む診断結果、カルテ情報(主訴、客観的情報等)、病歴、及びブックマーク・カンファレンス用等のラベル情報等である。当該抽出した動態画像あるいは動態解析画像を類似症例画像とする。
次いで、制御部31は、ステップS46において抽出した動態画像あるいは動態解析画像を構成するフレーム画像群zの特徴量Rzと、ステップS43において算出した特徴量Rnを比較する。そして、制御部31は、特徴量空間において、特徴量Rnに距離が近い特徴量Rzに対応するフレーム画像群zにより構成される動態画像あるいは動態解析画像を距離が近い順、つまり類似度順に表示候補とする(ステップS47)。
次いで、制御部31は、類似症例画像に関連付けて記憶された診断結果を症例候補として記憶部32から取得し、当該診断結果から疾患名を参照する。そして、制御部31は、表示部34に、検索対象画像と、類似症例画像と、検索対象画像に関連する症例候補として類似症例画像の診断結果を、参照した疾患名ごとに類似度順に表示し(ステップS48)、処理を終了する。つまり、制御部31は、検索対象画像(動態画像)に類似し症例候補と対応付けられた類似症例画像と、検索対象画像(動態画像)に関連する症例候補を出力する。
ここで、類似症例画像とは、検索対象画像(動態画像)に対して症例が類似するものとして出力される画像のことである。類似判断は画像自体の類似性から判断してもよく、画像以外の症例情報から類似性を判断してもよい。
ここで、ステップS46~S48が検索ステップである。
また、着目領域が設定されている場合(ステップS44;YES)、制御部31は、上記実施形態の症例検索処理におけるステップS38、S39と同様のステップS49、S50を実施する。
上記変形例の症例検索処理のステップS46を実施することにより、表示候補となる類似症例画像を絞ることができるので、ステップS47、S48における処理時間を短縮することができる。
なお、検索対象画像及び類似症例画像は、動態画像を構成するフレーム画像群(複数のフレーム画像)により構成されてもよいし、一つのフレーム画像から構成されてもよい。つまり、検索対象画像及び類似症例画像は、動態画像を構成する少なくとも一つのフレーム画像により構成されていればよい。検索対象画像及び類似症例画像が一つのフレーム画像により構成される場合、静止画より情報量が多い動態画像を構成する複数のフレーム画像のうちの一つのフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。検索対象画像及び類似症例画像が複数のフレーム画像により構成される場合、静止画より情報量が多い動態画像を構成する複数のフレーム画像のうちの複数のフレーム画像を用いて症例検索を実行することができるため、さらに、より精度の高い症例検索をすることができる。
また、検索対象画像及び類似症例画像が、動態画像を構成するフレーム画像群(複数のフレーム画像)により構成されている場合、当該フレーム画像群は連続するフレーム画像である。
また、検索対象画像及び類似症例画像は、動態画像を構成する一つのフレーム画像内の着目領域の画像であってもよい。この場合、フレーム画像に設定された着目領域について、症例検索を実行することで、より精度の高い症例検索をすることができる。
また、検索対象画像及び類似症例画像は、動態画像を構成する複数のフレーム画像のうち一部のフレーム画像のみであってよい。この場合、静止画より情報量が多い動態画像を構成する複数のフレーム画像のうちの一部のフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、検索対象画像及び類似症例画像が、動態画像を構成する一つのフレーム画像から構成されている場合、当該一つのフレーム画像は、ユーザーにより選択されたものであってもよい。これにより、ユーザーが最適であると判断したフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、検索対象画像及び類似症例画像が、動態画像を構成するフレーム画像群(複数のフレーム画像)により構成されている場合、当該フレーム画像群は連続するフレーム画像である。
また、検索対象画像及び類似症例画像は、動態画像を構成する一つのフレーム画像内の着目領域の画像であってもよい。この場合、フレーム画像に設定された着目領域について、症例検索を実行することで、より精度の高い症例検索をすることができる。
また、検索対象画像及び類似症例画像は、動態画像を構成する複数のフレーム画像のうち一部のフレーム画像のみであってよい。この場合、静止画より情報量が多い動態画像を構成する複数のフレーム画像のうちの一部のフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、検索対象画像及び類似症例画像が、動態画像を構成する一つのフレーム画像から構成されている場合、当該一つのフレーム画像は、ユーザーにより選択されたものであってもよい。これにより、ユーザーが最適であると判断したフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、上記症例検索処理のステップS37、S48において、検索対象画像と類似症例画像と類似症例画像の診断結果を疾患名ごとに類似度順に表示するとしたがこれに限らない。検索対象画像と類似症例画像の疾患名だけを表示しても良いし、検索対象画像と類似症例画像だけを表示してもよい。
つまり、制御部31は、検索対象画像に類似し症例候補と対応付けられた類似症例画像または検索対象画像に関連する症例候補である類似症例画像の疾患名を表示(出力)させる。出力させるのは、類似症例画像と検索対象画像に関連する症例候補のうち少なくとも一方であればよい。すなわち、いずれか一方でもよいし、両方であってもよい。
また、制御部31は、類似症例画像または検索対象画像に関連する症例候補を複数出力してもよいし、一つだけ出力してもよい。類似症例画像または検索対象画像に関連する症例候補を複数出力することで、医師はより多くの情報を参照して診断に役立てることができる。
また、制御部31は、検索対象画像と類似症例画像と類似症例画像の診断結果を疾患名ごとに分けずに、類似度順に表示してもよい。
つまり、制御部31は、検索対象画像に類似し症例候補と対応付けられた類似症例画像または検索対象画像に関連する症例候補である類似症例画像の疾患名を表示(出力)させる。出力させるのは、類似症例画像と検索対象画像に関連する症例候補のうち少なくとも一方であればよい。すなわち、いずれか一方でもよいし、両方であってもよい。
また、制御部31は、類似症例画像または検索対象画像に関連する症例候補を複数出力してもよいし、一つだけ出力してもよい。類似症例画像または検索対象画像に関連する症例候補を複数出力することで、医師はより多くの情報を参照して診断に役立てることができる。
また、制御部31は、検索対象画像と類似症例画像と類似症例画像の診断結果を疾患名ごとに分けずに、類似度順に表示してもよい。
また、上記症例検索処理に用いる機械学習済みのモデルは、上記症例学習処理によって学習されるとしたがこれに限らない。外部の機械学習済みのモデルを用いて症例検索処理を実施してもよい。
また、機械学習済みのモデルに上記撮影制御処理によって撮影された動態画像あるいは当該動態画像に基づいて生成された動態解析画像を追加学習させたモデルを症例検索処理に用いてもよい。また、追加学習に使用する動態画像あるいは動態解析画像には、他の動態画像あるいは動態解析画像よりも重みをつけて学習させてもよい。重みが付けられた動態画像あるいは動態解析画像は、症例検索処理時に検索される頻度が高くなるように機械学習モデルに学習される。重みをつける例として、上記症例検索処理の出力結果を参考にして診断した結果と確定診断(カルテや病理診断)とが異なり、確定診断を用いて追加学習を実施する場合や、名医といわれるような特定医師の診断結果を用いて追加学習を実施する場合や、複数医師が詳細表示を要求した回数が多い動態画像あるいは動態解析画像とその診断結果を間違えやすい症例として、当該症例を用いて追加学習を実施する場合等がある。
また、機械学習済みのモデルに上記撮影制御処理によって撮影された動態画像あるいは当該動態画像に基づいて生成された動態解析画像を追加学習させたモデルを症例検索処理に用いてもよい。また、追加学習に使用する動態画像あるいは動態解析画像には、他の動態画像あるいは動態解析画像よりも重みをつけて学習させてもよい。重みが付けられた動態画像あるいは動態解析画像は、症例検索処理時に検索される頻度が高くなるように機械学習モデルに学習される。重みをつける例として、上記症例検索処理の出力結果を参考にして診断した結果と確定診断(カルテや病理診断)とが異なり、確定診断を用いて追加学習を実施する場合や、名医といわれるような特定医師の診断結果を用いて追加学習を実施する場合や、複数医師が詳細表示を要求した回数が多い動態画像あるいは動態解析画像とその診断結果を間違えやすい症例として、当該症例を用いて追加学習を実施する場合等がある。
また、上記実施形態及び変形例における動態画像あるいは動態解析画像に予め設定される着目領域は、フレーム画像内において一つでもよいし、複数でもよい。
また、上記症例検索処理のステップS36において、ステップS35において決定したグループに属する動態画像あるいは動態解析画像を、検索対象画像に類似する類似症例画像とした。また、上記症例検索処理の変形例のステップS46において、ステップS45において決定したグループに属する学習済みである動態画像あるいは動態解析画像から、所定の情報に基づいて、動態画像あるいは動態解析画像を抽出して、当該抽出した動態画像あるいは動態解析画像を類似症例画像としたがこれに限らない。検索対象画像と同じグループに属するものだけでなく、隣接するグループに属している特徴量の距離が近い動態画像あるいは動態解析画像を類似症例画像としてもよい。これにより、画像の特徴は類似するが異なる疾患名の情報が関連付けられた動態画像あるいは動態解析画像を多く検索することが出来る。
また、上記症例検索処理において、検索対象画像としてユーザーによって選択される動態画像あるいは動態解析画像は、画像内の病変領域が明確であることが好ましい。病変領域が明確である動態画像あるいは動態解析画像を症例検索処理に用いることで精度の高い検索を実施することができる。
また、上記実施形態及び変形例において、動態画像は放射線、超音波、磁気等を用いる撮影により撮影された画像であるとしたが、上記症例学習処理や症例検索処理に用いられる動態画像は、放射線を用いて撮影された画像であることが好ましい。動態撮影を実施しているクリニック等の一次検査のスクリーニングとして一番多く利用されているのが放射線であるため、過去に撮影された放射線による動態画像の量が一番多い。当該過去に撮影された放射線による動態画像を機械学習させたモデルを用いた症例検索処理により、より精度が高い症例検索を実施することができる。
また、上記実施形態及び変形例において用いられる動態解析画像には、上記のような解析処理の結果が含まれるため、動態画像と比較してより情報量が多い。そのため、動態解析画像を用いて上記症例検索処理を実行することによってより精度の高い検索を実施することができる。
また、上記症例検索処理のステップS35、S45において用いられる、グループ分類が学習済みである機械学習モデルの学習には、複数の患者を撮影して得られた動態画像や動態解析画像を用いられている。そのため、上記症例検索処理のステップS37、S48において、検索対象画像で撮影されている患者とは別の患者を撮影した類似症例画像、あるいは検索対象画像に関連する症例候補として別の患者の診断結果を表示することが可能である。つまり、検索結果として別の患者の画像や診断結果を出力することができるため、医師はより多くの情報を参照することができる。
また、上記症例検索処理において類似症例画像は、動態画像あるいは動態解析画像であるとしたが、類似症例画像として静止画像(静止画)を表示してもよい。
また、診断用コンソール3は、上記症例検索処理において出力する類似症例画像が、動態画像あるいは動態解析画像である場合、静止画像である場合、または動態画像あるいは動態解析画像及び静止画像である場合を、ユーザーが選択できる機能を有してもよい。
また、診断用コンソール3は、上記症例検索処理において出力する類似症例画像が、動態画像あるいは動態解析画像である場合、静止画像である場合、または動態画像あるいは動態解析画像及び静止画像である場合を、ユーザーが選択できる機能を有してもよい。
以上説明したように、制御プログラムは、症例検索装置に症例検索を実行させる制御プログラムにおいて、制御プログラムは、診断用コンソール3(症例検索装置)の制御部31(コンピューター)に、動態画像を用いて検索させ、動態画像に類似する類似症例画像または動態画像に関連する症例候補を出力させる検索ステップ(ステップS36、S37、S46~S48)を実行させる。
従って、静止画より情報量が多い動態画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、静止画より情報量が多い動態画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31は、動態画像を取得する取得ステップ(ステップS31、S41)と、取得ステップにより取得された動態画像から第1の画像の特徴量を算出させる特徴量算出ステップ(ステップS33、S38、S43、S49)と、を有し、検索ステップは、特徴量算出ステップにより算出された第1の画像の特徴量(特徴量Rn、Rnr)、と予め任意の動態画像の複数のフレーム画像を学習して算出された第2の画像の特徴量(特徴量Ry、Ryr)とを元に、動態画像に類似する類似症例画像または動態画像に関連する症例候補を出力させる。
従って、過去に撮影された動態画像に基づいて、より精度の高い症例検索をすることができる。
従って、過去に撮影された動態画像に基づいて、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像である。
従って、静止画より情報量が多い動態画像を構成するフレーム画像を症例検索に用いることによって、より精度の高い症例検索をすることができる。
従って、静止画より情報量が多い動態画像を構成するフレーム画像を症例検索に用いることによって、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像内の着目領域の画像である。
従って、フレーム画像に設定された着目領域について、より精度の高い症例検索をすることができる。
従って、フレーム画像に設定された着目領域について、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、着目領域は、ユーザーによって指定された領域である。
従って、ユーザーが最適であると判断した着目領域について症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、ユーザーが最適であると判断した着目領域について症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像である。
従って、検索対象画像が複数のフレーム画像であることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、検索対象画像が複数のフレーム画像であることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を構成する一つのフレーム画像である。
従って、静止画より情報量が多い動態画像を構成する複数のフレーム画像のうちの一つのフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、静止画より情報量が多い動態画像を構成する複数のフレーム画像のうちの一つのフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を構成する一つのフレーム画像内の着目領域の画像である。
従って、フレーム画像に設定された着目領域について、より精度の高い症例検索をすることができる。
従って、フレーム画像に設定された着目領域について、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち一部のフレーム画像のみである。
従って、静止画より情報量が多い動態画像を構成する複数のフレーム画像のうちの一部のフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、静止画より情報量が多い動態画像を構成する複数のフレーム画像のうちの一部のフレーム画像を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうちユーザーにより選択された画像である。
従って、ユーザーが検索に用いるのに最適であると判断した画像について症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、ユーザーが検索に用いるのに最適であると判断した画像について症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち連続するフレーム画像である。
従って、検索対象画像が連続するフレーム画像であることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、検索対象画像が連続するフレーム画像であることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、動態画像は、対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
従って、静止画より情報量が多い動態画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、静止画より情報量が多い動態画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、動態画像は、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
従って、静止画より情報量が多い動態画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、静止画より情報量が多い動態画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索に用いられる動態画像は、動態画像を解析した動態解析画像である。
従って、より情報量が多い動態解析画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、より情報量が多い動態解析画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、動態解析画像は、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、及び癒着を動態解析した癒着解析画像のうちのいずれかである。
従って、より情報量が多い血流解析画像、換気解析画像、あるいは癒着解析画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
従って、より情報量が多い血流解析画像、換気解析画像、あるいは癒着解析画像を用いることにより、より多くの情報を用いて症例検索を実行することができるため、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、類似症例画像は、動態画像である。
従って、静止画より情報量が多い動態画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
従って、静止画より情報量が多い動態画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、類似症例画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像である。
従って、静止画より情報量が多い動態画像を構成するフレーム画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
従って、静止画より情報量が多い動態画像を構成するフレーム画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、類似症例画像は、対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
従って、静止画より情報量が多い動態画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
従って、静止画より情報量が多い動態画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、類似症例画像は、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である。
従って、静止画より情報量が多い動態画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
従って、静止画より情報量が多い動態画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、類似症例画像は、動態画像を解析した動態解析画像である。
従って、より情報量が多い動態解析画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
従って、より情報量が多い動態解析画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、動態解析画像は、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、及び癒着を動態解析した癒着解析画像のうちのいずれかである。
従って、より情報量が多い血流解析画像、換気解析画像、あるいは癒着解析画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
従って、より情報量が多い血流解析画像、換気解析画像、あるいは癒着解析画像が類似症例画像として出力されることにより、症例検索結果としてより多くの情報を得ることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索ステップは、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を複数出力させる。
従って、医師はより多くの情報を参照して診断に役立てることができる。
従って、医師はより多くの情報を参照して診断に役立てることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索ステップは、動態画像に類似する類似症例画像または動態画像に関連する症例候補を類似度順に出力させる。
従って、検索対象画像により類似する類似症例画像を参照することができる。
従って、検索対象画像により類似する類似症例画像を参照することができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索ステップは、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を、疾患名ごとに出力させる。
従って、疾患名を基準として、より精度の高い症例検索をすることができる。
従って、疾患名を基準として、より精度の高い症例検索をすることができる。
また、診断用コンソール3の制御部31が実行する症例検索において、検索ステップは、動態画像に類似する類似症例画像または動態画像に関連する症例候補を疾患名ごと、かつ類似度順に出力させる。
従って、疾患名を基準として、より精度の高い症例検索をすることができ、検索対象画像により類似する類似症例画像を参照することができる。
従って、疾患名を基準として、より精度の高い症例検索をすることができ、検索対象画像により類似する類似症例画像を参照することができる。
なお、本実施形態における記述は、本発明に係る好適な症例検索システムの一例であり、これに限定されるものではない。
例えば、上記実施形態においては、本発明を胸部の動態画像に適用した場合を例にとり説明したが、これに限定されず、他の部位を撮影した動態画像に適用してもよい。
また、上記実施形態及び変形例の診断用コンソール3の記憶部32は、画像診断医や臨床医が、すべての疾患において診断した画像や診断レポートを記憶してもよい。これにより、当該画像や診断レポートを研修医、学生などに対して教育を行う際に使用できる。
また、上記実施形態及び変形例の診断用コンソール3の記憶部32は、画像診断医の実用参考書籍を電子化した電子医学書を記憶してもよい。そして、ユーザーが診断レポートを記入する際に、当該電子医学書を表示部34に表示させることで閲覧できるように構成してもよい。また、当該電子医学書において、ユーザーがキーワード検索できるように構成することが望ましい。
また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、症例検索システム100を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
100 症例検索システム
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 撮影用コンソール
21 制御部
22 記憶部
23 操作部
24 表示部
25 通信部
26 バス
3 診断用コンソール(症例検索装置)
31 制御部(制御部)
32 記憶部
33 操作部
34 表示部
35 通信部
36 バス
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 撮影用コンソール
21 制御部
22 記憶部
23 操作部
24 表示部
25 通信部
26 バス
3 診断用コンソール(症例検索装置)
31 制御部(制御部)
32 記憶部
33 操作部
34 表示部
35 通信部
36 バス
Claims (26)
- 症例検索装置に症例検索を実行させる制御プログラムにおいて、
前記制御プログラムは、症例検索装置のコンピューターに、
動態画像を用いて検索させ、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力させる検索ステップを実行させる制御プログラム。 - 動態画像を取得させる取得ステップと、
前記取得ステップにより取得された動態画像から第1の画像の特徴量を算出させる特徴量算出ステップと、を有し、
前記検索ステップは、前記特徴量算出ステップにより算出された第1の画像の特徴量と、予め任意の動態画像の複数のフレーム画像を学習して算出された第2の画像の特徴量とを元に、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力させる請求項1に記載の制御プログラム。 - 前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像である請求項1または2に記載の制御プログラム。
- 前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像内の着目領域の画像である請求項3に記載の制御プログラム。
- 前記着目領域はユーザーによって指定された領域である請求項4に記載の制御プログラム。
- 前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像である請求項3から5のいずれか一項に記載の制御プログラム。
- 前記検索に用いられる動態画像は、動態画像を構成する一つのフレーム画像である請求項3から5のいずれか一項に記載の制御プログラム。
- 前記検索に用いられる動態画像は、動態画像を構成する一つのフレーム画像内の着目領域の画像である請求項3から5のいずれか一項に記載の制御プログラム。
- 前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち一部のフレーム画像のみである請求項3から5のいずれか一項に記載の制御プログラム。
- 前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうちユーザーにより選択された画像である請求項3から9のいずれか一項に記載の制御プログラム。
- 前記検索に用いられる動態画像は、動態画像を構成する複数のフレーム画像のうち連続するフレーム画像である請求項3から5のいずれか一項に記載の制御プログラム。
- 前記動態画像は、対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である請求項2から11のいずれか一項に記載の制御プログラム。
- 前記動態画像は、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である請求項2から12のいずれか一項に記載の制御プログラム。
- 前記検索に用いられる動態画像は、動態画像を解析した動態解析画像である請求項2から13のいずれか一項に記載の制御プログラム。
- 前記動態解析画像は、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、及び癒着を動態解析した癒着解析画像のうちのいずれかである請求項14に記載の制御プログラム。
- 前記類似症例画像は、動態画像である請求項1から15のいずれか一項に記載の制御プログラム。
- 前記類似症例画像は、動態画像を構成する複数のフレーム画像のうち少なくとも一つのフレーム画像である請求項16に記載の制御プログラム。
- 前記類似症例画像は、対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である請求項16または17に記載の制御プログラム。
- 前記類似症例画像は、周期性を持つ対象部位の動態を時間軸に沿って連続的に放射線撮影して得られた画像である請求項16から18のいずれか一項に記載の制御プログラム。
- 前記類似症例画像は、動態画像を解析した動態解析画像である請求項16から19のいずれか一項に記載の制御プログラム。
- 前記動態解析画像は、血流機能を動態解析した血流解析画像、換気機能を動態解析した換気解析画像、及び癒着を動態解析した癒着解析画像のうちのいずれかである請求項20に記載の制御プログラム。
- 前記検索ステップは、
前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を複数出力させる請求項1から21のいずれか一項に記載の制御プログラム。 - 前記検索ステップは、
前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を類似度順に出力させる請求項1から22のいずれか一項に記載の制御プログラム。 - 前記検索ステップは、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を、疾患名ごとに出力させる請求項22に記載の制御プログラム。
- 前記検索ステップは、
前記動態画像に類似する類似症例画像、または前記動態画像に関連する症例候補を、疾患名ごと、かつ類似度順に出力させる請求項24に記載の制御プログラム。 - 動態画像を用いて検索し、前記動態画像に類似する類似症例画像または前記動態画像に関連する症例候補を出力する制御部を備える症例検索装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021132708A JP2023027550A (ja) | 2021-08-17 | 2021-08-17 | 制御プログラム及び症例検索装置 |
US17/884,211 US20230059667A1 (en) | 2021-08-17 | 2022-08-09 | Storage medium and case search apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021132708A JP2023027550A (ja) | 2021-08-17 | 2021-08-17 | 制御プログラム及び症例検索装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023027550A true JP2023027550A (ja) | 2023-03-02 |
Family
ID=85228108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021132708A Pending JP2023027550A (ja) | 2021-08-17 | 2021-08-17 | 制御プログラム及び症例検索装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230059667A1 (ja) |
JP (1) | JP2023027550A (ja) |
-
2021
- 2021-08-17 JP JP2021132708A patent/JP2023027550A/ja active Pending
-
2022
- 2022-08-09 US US17/884,211 patent/US20230059667A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230059667A1 (en) | 2023-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6436182B2 (ja) | 動態画像解析装置 | |
JP6772873B2 (ja) | 動態解析装置及び動態解析システム | |
JP6743662B2 (ja) | 動態画像処理システム | |
US20200193598A1 (en) | Dynamic analysis system | |
JP7073661B2 (ja) | 動態解析装置及び動態解析システム | |
JP6217241B2 (ja) | 胸部診断支援システム | |
JP6701880B2 (ja) | 動態解析装置、動態解析システム、動態解析方法及びプログラム | |
JP2008259661A (ja) | 検査情報処理システム及び検査情報処理装置 | |
JP6740910B2 (ja) | 動態画像処理システム | |
JP6258084B2 (ja) | 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム | |
JP2017169830A (ja) | 動態解析装置 | |
JP2019122449A (ja) | 動態画像解析装置 | |
JP2018148965A (ja) | 動態解析システム | |
JP2021194140A (ja) | 画像処理装置及び画像処理方法 | |
JP2018083010A (ja) | 動態画像処理装置 | |
JP7092218B1 (ja) | 医療情報管理装置及び医療情報管理プログラム | |
JP2016209267A (ja) | 医用画像処理装置及びプログラム | |
JP2023027550A (ja) | 制御プログラム及び症例検索装置 | |
JP2019170755A (ja) | 撮影支援装置及び放射線撮影システム | |
JP6962030B2 (ja) | 動態解析装置、動態解析システム、動態解析プログラム及び動態解析方法 | |
JP6888721B2 (ja) | 動態画像処理装置、動態画像処理プログラム及び動態画像処理方法 | |
JP2020168173A (ja) | 動態解析装置、動態解析システム及びプログラム | |
JP7435242B2 (ja) | 動態画像解析装置、動態画像解析方法及びプログラム | |
JP2019054991A (ja) | 解析装置及び解析システム | |
US11806181B2 (en) | Display system, display control device, and display control method |