JP2015191286A - 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム - Google Patents

類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム Download PDF

Info

Publication number
JP2015191286A
JP2015191286A JP2014066286A JP2014066286A JP2015191286A JP 2015191286 A JP2015191286 A JP 2015191286A JP 2014066286 A JP2014066286 A JP 2014066286A JP 2014066286 A JP2014066286 A JP 2014066286A JP 2015191286 A JP2015191286 A JP 2015191286A
Authority
JP
Japan
Prior art keywords
case
similarity
similar
interest
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014066286A
Other languages
English (en)
Other versions
JP6099593B2 (ja
Inventor
大沢 哲
Satoru Osawa
哲 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014066286A priority Critical patent/JP6099593B2/ja
Priority to CN201580016673.9A priority patent/CN106164903B/zh
Priority to PCT/JP2015/056370 priority patent/WO2015146520A1/ja
Publication of JP2015191286A publication Critical patent/JP2015191286A/ja
Priority to US15/275,851 priority patent/US10839511B2/en
Application granted granted Critical
Publication of JP6099593B2 publication Critical patent/JP6099593B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数の関心領域を基に適切な類似症例を迅速に検索する検索装置を提供する。
【解決手段】類似症例検索サーバ17は、個別類似度算出部65、総合類似度算出部66、類似症例検索部67を備える。個別類似度算出部65は、関心領域と症例画像内に存在する複数件の症例病変とを1対1で対応させて、対応させた関心領域の特徴量と症例病変の特徴量とを比較して、関心領域毎の個別類似度をそれぞれ算出する。総合類似度算出部66は、複数の関心領域に対してそれぞれ算出した複数の個別類似度に基づいて、総合類似度を算出するものであり、同一症例内の種類が異なる複数の症例病変と複数の関心領域をそれぞれ組み合わせて構成される完全異種の組み合わせに対してのみ、個別類似度を用いて総合類似度を算出する。類似症例検索部67は、完全異種の組み合わせに対応する総合類似度に基づいて類似症例を検索する。
【選択図】図12

Description

本発明は、類似症例検索装置、類似症例検索方法、及び類似症例検索プログラムに関する。
医療分野において、検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている(例えば特許文献1、2参照)。検査画像は、例えば、断層撮影を行うCT(Computed Tomography)装置や単純透視画像を撮影する一般X線撮影装置などのモダリティで撮影された画像であり、患者の疾患の特定など患者の診断を行うために用いられる。一般X線撮影装置による1回の検査では、検査画像が1枚だけ撮影される場合もあれば、複数枚撮影される場合もある。また、CT装置による1回の検査では、複数枚の断層画像(スライス画像)が取得される。そのため、1件の検査データには、1枚以上の検査画像が含まれる。症例は、過去の検査データの集積によって作成される場合が多いため、1件の症例のデータにも、1枚以上の症例画像が含まれる。
類似症例検索を行う場合には、まず、医師などのユーザによって、検査画像内に関心領域が指定される。関心領域は、検査画像内において医師が特に関心を示す領域であり、診断対象となる病変を含む領域である。類似症例検索装置は、検査画像内に指定された1つの関心領域の特徴を数値化した特徴量と、症例画像内に存在する1つの病変の特徴を数値化した特徴量とを比較して両者の類似度を判定する。ここで、便宜上、検査画像の関心領域内に含まれる病変を対象病変といい、症例画像に含まれる病変を症例病変という。そして、類似症例検索装置は、複数の症例を記憶した症例データベースの中から、関心領域に類似する症例病変を含む症例を検索する。
特許文献1には、対象病変を含む関心領域の指定の仕方にはユーザ毎に個人差があり、個人差に起因して検索結果にばらつきが生じるという検索ばらつきを抑制することを目的する発明が開示されている。具体的には、同じ1つの対象病変を含む領域を関心領域として指定する場合でも、指定するユーザの個人差などが原因で、関心領域の指定の仕方によっては指定した領域の形状や大きさが変化するため、特徴量が変化してしまう場合がある。特徴量が変化すると、類似度も変化するため、ユーザ毎に検索結果が変わるという検索ばらつきが生じてしまう。特許文献1は、こうした検索ばらつきを抑制するために、1例として、1つの対象病変について指定の仕方が異なる複数の関心領域について、関心領域毎に特徴量を算出し、算出した複数の関心領域の特徴量の平均値に基づいて類似度を算出して、類似画像検索を行っている。これによれば、ユーザ毎の個人差に起因する検索ばらつきを抑制することができる。
特許文献2は、ユーザが類似していると感じる主観に対して、より適合的な検索結果を出力する技術に関するものである。具体的には、同種の対象病変が複数の検査画像に対して存在する場合に、関心領域の指定に際して、ユーザが類似していると感じる同種の複数の対象病変を含む関心領域を、同種グループとして1つのグループにまとめる。そして、1件の検査データにおいて、同種グループに属する複数の対象病変の特徴量をすべて包含する特徴量の範囲を求め、この特徴量の範囲を検索条件として、類似症例検索を行う。同種グループの特徴量の範囲は、ユーザが主観的に類似すると感じる範囲と一致すると考えられるため、検索結果もユーザの主観に対して、より適合的なものとすることができる。
特開2010−237930号公報 特開2012−118583号公報
ところで、疾患によっては、検査画像において複数の対象病変が現れていることが、疾患特定の根拠となる場合がある。例えば、結核の場合には、検査画像において、空洞影、点状影、すりガラス影という3種の対象病変が現れていることを以て疾患が特定される場合があり、びまん性汎細気支炎では、気管支異常影と点状影の2種の対象病変が現れていることを以て疾患が特定される場合がある。がんの場合には、単一の対象病変での類似検索でよかったが、がん以外の非がん疾患である場合には、これら複数の対象病変での類似症例検索が必要である。
特許文献1及び特許文献2に記載の従来の類似症例検索装置は、いずれも、検査画像に含まれている1つの対象病変に着目して、着目した1つの対象病変を含む関心領域の特徴量に基づいて類似症例を検索するものであり、検査画像に含まれている複数の対象病変のそれぞれに着目することは考慮されていなかった。
上述したように、特許文献1は、関心領域毎に特徴量を算出しているが、複数の関心領域は、指定の仕方が異なるだけで、同じ1つの対象病変の関心領域であり、異なる対象病変のそれぞれの関心領域の特徴量に着目して類似症例を検索することについては開示が無い。また、特許文献2は、複数の検査画像に含まれる複数の対象病変に対して、同種の対象病変がグループ化された1つの同種グループについて1つの検索条件を作成し、作成した検索条件で類似症例を検索している。特許文献2は、いわば、同種の複数の対象病変を含むそれぞれの関心領域に共通する特徴量をユーザの嗜好に合うように算出しているのみで、複数の対象病変のそれぞれの関心領域の特徴量に着目して類似症例を検索することについては開示が無い。
特許文献1及び特許文献2のように、1つの関心領域の特徴量に着目する技術では、関心領域が複数有る場合には、適切な類似症例を検索することができない。そこで、発明者は、関心領域が複数有る場合においては複数の関心領域に着目して、複数の症例病変が登録されている症例の中から類似する症例を検索する技術を検討している。しかし、複数の関心領域に着目するためには、複数の関心領域と複数の症例病変のそれぞれを対応させて両者の特徴量を比較しなければならない。その場合には、対応させる組み合わせパターンが多くなるため、検索処理に時間が掛かるという新たな課題が生じることが分かってきた。関心領域の数が増えるほど、こうした問題は顕著となる。
本発明は、関心領域が複数有る場合でも、適切な類似症例検索を短時間で検索することが可能な類似症例検索装置、類似症例検索方法、及び類似症例検索プログラムを提供することを目的とする。
本発明の類似症例検索装置は、症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する装置であって、特徴量取得部、個別類似度算出部、総合類似度算出部、類似症例検索部を備える。特徴量取得部は、検査画像を1枚以上含む検査データにおいて指定され、検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、関心領域毎の特徴量を取得する。個別類似度算出部は、関心領域と、症例画像内に存在する複数件の症例病変とを1対1で対応させて、対応させた関心領域の特徴量と症例病変の特徴量とを比較して、関心領域毎の個別類似度をそれぞれ算出する。総合類似度算出部は、複数の関心領域に対してそれぞれ算出した複数の個別類似度に基づいて、総合類似度を算出する総合類似度算出部であり、同一症例内の種類が異なる複数の症例病変と複数の関心領域をそれぞれ組み合わせて構成される完全異種の組み合わせに対してのみ、個別類似度を用いて総合類似度を算出する。類似症例検索部は、完全異種の組み合わせに対応する総合類似度に基づいて、類似症例を検索する。
ここで、症例画像内に存在する複数件の症例病変は、1枚の症例画像内に複数存在する場合と、例えば2枚の症例画像のそれぞれに、症例病変が1つずつ存在する場合のように、複数枚の症例画像内に存在する症例病変の合計が複数件になる場合を含む。
総合類似度算出部は、完全異種の組み合わせに関して、関心領域の個数と、症例病変の種類数及び個数とに応じた数の組み合わせを作り、完全異種の組み合わせ毎に総合類似度を算出することが好ましい。具体的には、総合類似度算出部は、1件の症例毎に、その症例に含まれる症例病変についての個別類似度を求め、求めた個別類似度についての完全異種の組み合わせを作って総合類似度を求めてもよい。また、最初に、症例全件の症例病変についての個別類似度をそれぞれ求め、その後に、症例毎に、個別類似度についての完全異種の組み合わせを作ってもよい。いずれにしても、個別類似度ISMを算出後に、個別類似度ISMについての完全異種の組み合わせを作る。
同一症例内に含まれる複数の異種の症例病変のうち少なくとも1種に関して、同種の症例病変が複数個存在する場合には、総合類似度算出部は、同種の複数個の症例病変を区別して、区別した同種の症例病変毎に完全異種の組み合わせを作ることが好ましい。
類似症例検索部は、総合類似度に基づいて、複数件の類似症例に関する情報をリスト化した類似症例リストを作成することが好ましい。類似症例リストにおいて、類似症例は、総合類似度順にソートされることが好ましい。
類似症例リストの表示項目には、総合類似度の値と総合類似度に関する内訳情報とを含み、内訳情報は、個別類似度を算出するための関心領域と症例病変との対応関係を含むことが好ましい。類似症例リストには、総合類似度の値に加えて、総合類似度の算出要素となる複数の個別類似度の値が表示されることが好ましい。類似症例リストには、関心領域と症例病変のそれぞれの画像が表示されることが好ましい。
症例データベースには、症例病変の種類の情報が格納されていることが好ましい。総合類似度は、完全異種の組み合わせに含まれる複数の個別類似度の総和であることが好ましい。
個別類似度算出部は、関心領域毎に、複数の症例病変を対応させて算出した複数の個別類似度を記録した個別類似度テーブルを作成してもよい。総合類似度算出部は、関心領域毎の複数の個別類似度テーブルのそれぞれから、1つずつ個別類似度を読み出して、読み出した複数の個別類似度を要素として、完全異種の組み合わせを作ってもよい。
個別類似度算出部は、症例のうち、少なくとも症例病変の種類が複数の症例については個別類似度の算出対象とし、症例病変の種類が1種類の症例については個別類似度の算出対象外とすることが好ましい。
総合類似度算出部は、総合類似度を算出する要素となる個別類似度の値に応じて、総合類似度に対して重み付け処理を行ってもよい。重み付け処理は、個別類似度が閾値以上の場合に、総合類似度を高くする処理であることが好ましい。
類似症例検索部は、症例病変の種類数が、関心領域の数未満の症例については、検索の対象外としてもよい。また、類似症例検索部は、症例病変の種類数が、関心領域の数未満の症例についても、症例病変の種類数が複数有る場合には、検索の対象としてもよい。
1つの関心領域と、1件の症例に含まれる複数の症例病変とを対応させることにより、複数の総合類似度が算出された場合に、複数の総合類似度の中から、1つの代表値を判定する代表値判定部を有しており、類似症例検索部は、代表値に基づいて、類似症例を検索することが好ましい。
本発明の類似症例検索方法は、症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する方法において、特徴量取得ステップ、個別類似度算出ステップ、総合類似度算出ステップ、類似症例検索ステップを含む。特徴量取得ステップは、検査画像を1枚以上含む検査データにおいて指定され、検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、関心領域毎の特徴量を取得する。個別類似度算出ステップは、関心領域と、症例画像内に存在する複数件の症例病変とを1対1で対応させて、対応させた関心領域の特徴量と症例病変の特徴量とを比較して、関心領域毎の個別類似度をそれぞれ算出する。総合類似度算出ステップは、複数の関心領域に対してそれぞれ算出した複数の個別類似度に基づいて、総合類似度を算出する総合類似度算出部であり、同一症例内の種類が異なる複数の症例病変と複数の関心領域をそれぞれ組み合わせて構成される完全異種の組み合わせに対してのみ、個別類似度を用いて総合類似度を算出する。類似症例検索ステップは、完全異種の組み合わせに対応する総合類似度に基づいて、類似症例を検索する。
総合類似度算出ステップは、症例毎に症例病変についての完全異種の組み合わせを作り、作った組み合わせに対応する個別類似度を求めてもよいし、最初に症例全件の個別類似度を求め、その後に症例毎に個別類似度の完全異種の組み合わせを作ってもよい。いずれにしても、個別類似度ISMを算出後に、個別類似度ISMについての完全異種の組み合わせを作る。
本発明の類似症例検索プログラムは、症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させるプログラムにおいて、特徴量取得ステップ、個別類似度算出ステップ、総合類似度算出ステップ、類似症例検索ステップを含む。特徴量取得ステップは、検査画像を1枚以上含む検査データにおいて指定され、検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、関心領域毎の特徴量を取得する。個別類似度算出ステップは、関心領域と、症例画像内に存在する複数件の症例病変とを1対1で対応させて、対応させた関心領域の特徴量と症例病変の特徴量とを比較して、関心領域毎の個別類似度をそれぞれ算出する。総合類似度算出ステップは、複数の関心領域に対してそれぞれ算出した複数の個別類似度に基づいて、総合類似度を算出する総合類似度算出部であり、同一症例内の種類が異なる複数の症例病変と複数の関心領域をそれぞれ組み合わせて構成される完全異種の組み合わせに対してのみ、個別類似度を用いて総合類似度を算出する。類似症例検索ステップは、完全異種の組み合わせに対応する総合類似度に基づいて、類似症例を検索する。
本発明は、関心領域毎の特徴量と症例病変の特徴量とを比較して、関心領域毎の個別類似度を算出し、同一症例内の種類が異なる複数の症例病変と複数の関心領域をそれぞれ組み合わせて構成される完全異種の組み合わせに対してのみ、個別類似度を用いて総合類似度を算出し、算出した総合類似度に基づいて類似症例を検索するため、関心領域が複数有る場合でも、適切な類似症例検索を短時間で検索することが可能な類似症例検索装置、類似症例検索方法、及び類似症例検索プログラムを提供することができる。
類似症例検索サーバを含む医療情報システムを示す構成図である。 複数枚の検査画像で構成される検査データの概略を示す説明図である。 1枚の検査画像で構成される検査データの概略を示す説明図である。 診療科、検査科、検査画像DBサーバ、及び症例DBサーバの機能を説明する説明図である。 症例DBの説明図である。 病変の種類の画像パターンを示す説明図である。 類似症例検索サーバの機能概要の説明図である。 各DBサーバや各端末を構成するコンピュータを示す構成図である。 診療科端末の概略を示す構成図である。 関心領域を指定する検査画像表示画面の説明図である。 関心領域の指定方法について、図9とは別の例を説明図である。 類似症例検索サーバの概略を示す構成図である。 関心領域の特徴量の説明図である。 特徴量算出部の構成図である。 症例病変の特徴量の説明図である。 個別類似度算出部の説明図である。 個別類似度算出方法の説明図である。 症例病変が3種3個の場合の個別類似度の説明図である。 症例病変が3種5個の場合の個別類似度の説明図である。 症例病変が2種4個の場合の個別類似度の説明図である。 症例病変が1種4個の場合の個別類似度の説明図である。 症例病変が3種5個の場合の個別類似度の説明図である。 個別類似度テーブルの概略を示す説明図である。 関心領域毎に作られる個別類似度テーブルの説明図である。 総合類似度テーブルの説明図である。 総合類似度の算出方法を示す説明図である。 図19の例の完全異種の組み合わせを示す説明図である。 図27の完全異種の組み合わせに対応する総合類似度の説明図である。 3種5個の症例病変の場合の完全異種の組み合わせを示す説明図である。 図29の例において算出対象外となる組み合わせの説明図である。 図22の例の完全異種の組み合わせを示す説明図である。 図31の例において算出対象外となる組み合わせの説明図である。 検索対象外となる症例の説明図である。 検索対象外となる別の症例の説明図である。 検索対象と対象外となる症例を説明する表である。 総合類似度を算出した総合類似度テーブルを示す説明図である。 症例毎に総合類似度の代表値を判定する方法を示す説明図である。 症例毎の代表値をテーブルに並べた説明図である。 症例毎の代表値をソートしたテーブルを示す説明図である。 類似症例リストを表示した画面を示す説明図である。 類似症例画像検索装置の手順を示すフローチャートである。 類似症例検索の手順を示すフローチャートである。 総合類似度と個別類似度との両方を表示する例を示す説明図である。 第2実施形態の説明図である。 第2実施形態における2種2個の症例の完全異種の組み合わせの説明図である。 第2実施形態の検索結果表示画面の説明図である。 第3実施形態の説明図である。 病変種類判定部の説明図である。 第3実施形態の個別類似度算出部の説明図である。 第3実施形態の完全異種の組み合わせテーブルの説明図である。 特徴量算出部を診療科端末に備えた別の例を示す説明図である。 図51で説明した診療科端末と類似症例検索サーバとの説明図である。
[第1実施形態]
図1に示す医療情報システム9は、病院などの医療施設に構築される。医療情報システム9は、診療科10に配置される診療科端末11、検査科12に設置されるモダリティ(医用画像撮影装置)13、及びオーダ管理端末14、検査画像データベース(以下「DB」と称す)サーバ15、症例DBサーバ16、及び類似症例検索サーバ17を有する。これらは、ネットワーク18を通じて通信可能に接続される。ネットワーク18は、例えば、院内に敷設されたLAN(Local Area Network)である。モダリティ13は、例えば、断層画像を撮影するCT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、及び単純透視画像を撮影する一般X線撮影装置(DR:Digital Radiographyや、CR:Computed Radiographyなど)等を含む。
診療科端末11は、診療科10の医師(図においてDrの符号を付す)によって操作され、電子カルテの入力や閲覧の他、検査科12に対して検査を依頼するための検査オーダの発行に利用される。また、診療科端末11は、検査科12で撮影され検査画像DBサーバ15に保存された検査画像19を表示して、医師が検査画像19を閲覧するための画像表示端末としても利用される。
検査科12において、オーダ管理端末14は、診療科10からの検査オーダを受け付けて、受け付けた検査オーダを管理する。検査科12の技師は、検査オーダの内容に従って、モダリティ13により患者の撮影を行う。検査画像19は、1件の検査オーダに対して1枚あるいは複数枚撮影される。モダリティ13は、撮影が終了すると、撮影した検査画像19を検査画像DBサーバ15に送信する。検査が終了すると、検査科12から診療科10の医師に検査終了が通知され、合わせて、検査画像DBサーバ15内の検査画像19の保存先が通知される。診療科10の医師は、診療科端末11を通じて、検査画像DBサーバ15にアクセスして、診療科端末11で検査画像19を閲覧する。
検査画像DBサーバ15は、複数枚の検査画像19が格納される検査画像DB20を有しており、いわゆるPACS(Picture Archiving and Communication System)サーバである。検査画像DB20は、キーワードによる検索が可能なデータベースであり、診療科端末11などの検索要求や配信要求に応じて、検索条件に合致する検査画像19や指定された検査画像19を配信する。
図2及び図3に示すように、検査画像DB20においては、1件の検査オーダに対して、1枚以上の検査画像19を含む1件の検査データ21が対応付けて格納される。図2に示すように、CT装置やMRI装置で撮影された検査画像19は、断層画像(スライス画像とも呼ばれる)であり、1件の検査データ21には、複数枚の検査画像19が含まれる。図3に示すように、一般X線撮影装置で撮影された検査画像19の場合には、単純透視画像であり、1件の検査データ21は、検査画像19が1枚だけの場合もあれば、複数枚の場合もある。
検査オーダには、診療科10の医師のIDや所属などの依頼元情報、患者情報、検査種別などが含まれる。検査画像19の画像ファイルは、画像データとDICOM(Digital Imaging and COmmunication in Medicine)ヘッダなどの付帯情報とを有する。検査オーダの情報は、検査画像19の付帯情報として格納される。また、付帯情報には、検査IDや、1枚の検査画像19にそれぞれ付与される画像IDが含まれる。図2、図3の例では、検査IDは「O901」や「O902」で、画像IDは「O901−03」、「O901−01」というように、検査IDに、1枚の検査画像19を識別するためのシリアルナンバーを加えた形態で付与されている。検査画像DBサーバ15は、こうしたDICOMタグに含まれる項目を検索キーとして、検索が可能になっている。
類似症例検索サーバ17は、検索条件として検査画像19を受け付けて、受け付けた検査画像19に類似する症例画像22を含む症例を検索する。症例画像22は、過去に診断に利用された検査画像である。症例DBサーバ16は、複数件の症例を検索可能に格納した症例DB23を有している。類似症例検索サーバ17は、症例DBサーバ16にアクセスして、症例を1件ずつ読み出して、検索条件として受け付けた検査画像19と症例内の症例画像22の比較照合を行って、検査画像19に類似する症例を検索する。
図4に示すように、診療科10の医師は、診療科端末11を操作して、検査画像DBサーバ15にアクセスして検査画像19を含む検査データ21をダウンロードする。診療科端末11で検査画像19は表示され、医師によって閲覧される。患者が罹患している場合には、患者の検査画像19には、疾患の症状を現す病変(対象病変OLという)が含まれている。診療科10の医師は、検査データ21に含まれる検査画像19の中から、対象病変OLを含む検査画像19を選択する。検査画像19は、診療科端末11が類似症例検索サーバ17に対して発行する類似症例検索要求に添付されて、類似症例検索サーバ17に送信される。類似症例検索サーバ17は、類似症例検索要求を受け付けると、症例DBサーバ16から検査画像19に類似する症例を検索して、検索結果を依頼元の診療科端末11に配信する。
診療科10の医師は、検査結果に含まれる症例を確認する。症例には、症例画像22に付随して読影レポートが含まれている。医師は、読影レポートに記載された、症例画像22に対する所見などを参照して、検査画像19の疾患の特定など確定診断を下す。
図5に示すように、症例DB23には、症例画像DB23Aと、特徴量DB23Bが設けられている。症例画像DB23Aは、症例画像22を検索可能に格納するデータベースである。症例には、1件毎に症例IDが付与される。症例IDは、検査画像19における検査IDに相当するものである。1件の症例には、1枚以上の症例画像22が含まれる。また、検査画像19と同様に、各症例画像22には、症例IDにシリアルナンバーを加えた画像IDが付与される。図5において、症例IDが「C101」の症例データ24には、例えば、60枚の断層画像が含まれている。
症例画像22には、疾患の症状を表す病変(症例病変CL)が含まれている。1件の症例には、1つ以上の症例病変CLが登録されている。本例では、症例ID「C101」には、No1〜No3の3個、「C102」には2個、「C103」には1個、それぞれ症例病変CLが登録されている。症例病変CLは、過去に症例画像22が検査画像として診断に利用された際に、医師によって病変として指定された領域であり、医師による確定診断を経て、症例病変CLとして登録されたものである。症例病変CLの指定方法については、例えば、後述する関心領域ROIと同様である。
特徴量DB23Bは、症例病変CLの画像の特徴量CACを格納するデータベースである。特徴量CACは、症例IDと病変Noからなる識別IDが付与されている。例えば、症例ID「C101」には、3個の症例病変CLがあり、各症例病変CLには、1件の症例内のシリアルナンバーであるNo1〜No3がそれぞれ付与される。特徴量CACの後の数字は、症例内のシリアルナンバーに対応している。
また、特徴量DB23Bには、各症例病変CLの病変の種類に関する情報(種類情報)が格納されている。図6に示すように、典型的な病変の画像パターンである病変パターンは、例えば、A〜Hの8種類に分類される。すなわち、A:低呼吸域の異常影(気腫、気胸、ブラなど)、B:空洞、C:気管支の異常影(気管支壁肥厚、気管支拡張、牽引性気管支拡張、気管支透亮像など)、D:蜂窩、E:すりガラス状陰影、F:点状影(粒状影、TIBなど)、G:高吸収域の異常影(コンソリデーション、ノジュール、気管支粘液腺など)、H:線状・網状影である。
症例病変CLの病変の種類は、症例病変CLの画像パターンが、これら8種類の病変パターンのどれに最も近いかによって判定される。症例病変CLの種類は、特徴量CACに基づいて判定される。特徴量CACは、後述する関心領域ROIと同様に、8種類の病変パターンに対応する8種類の判別器の出力値で構成される8次元の特徴ベクトルである。症例病変CLの種類情報は、特徴量CACとともに、特徴量DB23Bに格納される。なお、本例では、典型的な病変パターンを8種類に分類し、それに対応して病変の種類も8種類に分類する例で説明しているが、8種類未満でもよいし、8種類以上でもよい。
図7に示すように、診療科端末11を通じて、類似症例検索要求を発行する際には、医師によって、検査画像19内の対象病変OLを含む領域が関心領域ROIとして指定される。類似症例検索要求には、対象病変OLを含む検査画像19と、指定された関心領域ROIに対応する検査画像19内の領域情報(例えば、検査画像19内の座標情報)が添付される。類似症例検索サーバ17は、類似症例検索要求を受け付けると、検査画像19の画像データと、領域情報に基づいて、関心領域ROIを特定する。そして、関心領域ROIの特徴量を算出する。特徴量を算出後、類似症例検索サーバ17は、症例DBサーバ16から、症例を1件ずつ読み出して、関心領域ROIと症例病変CLとの特徴量を比較して、類似症例を検索する。そして、類似する複数件の症例に関する情報がリスト化された類似症例リストを作成し、これを検索結果として診療科端末11に配信する。
診療科端末11、オーダ管理端末14、検査画像DBサーバ15、症例DBサーバ16、類似症例検索サーバ17は、パーソナルコンピュータ、サーバ用コンピュータ、ワークステーションといったコンピュータをベースに、オペレーティングシステム等の制御プログラムや、クライアントプログラム又はサーバプログラム等のアプリケーションプログラムをインストールして構成される。
図8に示すように、各DBサーバ15〜17や各端末11、14を構成するコンピュータは、基本的な構成は同じであり、それぞれ、CPU(Central Processing Unit)41、メモリ42、ストレージデバイス43、通信I/F44、及び入出力部46を備えている。これらはデータバス47を介して接続されている。入出力部46は、表示部48と、キーボードやマウスなどの入力デバイス49とからなる。
ストレージデバイス43は、例えば、HDD(Hard Disk Drive)であり、制御プログラムやアプリケーションプログラム(以下、APという)50が格納される。また、DBが構築されるサーバには、プログラムを格納するHDDとは別に、DB用のストレージデバイス43として、例えば、HDDを複数台連装したディスクアレイが設けられる。ディスクアレイは、サーバ本体に内蔵されるものでもよいし、サーバ本体とは別に設けられ、サーバ本体にケーブルやネットワークを通じて接続されるものでもよい。
メモリ42は、CPU41が処理を実行するためのワークメモリである。CPU41は、ストレージデバイス43に格納された制御プログラムをメモリ42へロードして、プログラムに従った処理を実行することにより、コンピュータの各部を統括的に制御する。通信I/F44は、ネットワーク18との間の伝送制御を行うネットワークインタフェースである。
診療科端末11には、AP50として、電子カルテの閲覧や編集を行う電子カルテソフトウエアや、検査画像や類似症例リストの閲覧を行うためのビューアソフトウエアなどのクライアントプログラムがインストールされている。ビューアソフトウエアは、例えば、専用ソフトウエアでもよいし、汎用的なWEBブラウザなどでもよい。
図9に示すように、診療科端末11において、検査画像19を表示するビューアソフトウエアが起動されると、診療科端末11の表示部48Aには、GUI(Graphical User Interface)による操作機能を備えた検査画像表示画面52が表示される。診療科端末11のCPU41Aは、GUI制御部53及び検索要求発行部54として機能する。検査画像表示画面52では、検査画像19に対する関心領域ROIの指定と、類似症例検索要求の発行指示が可能になっている。GUI制御部53は、検査画像表示画面52を通じた入力デバイス49Aからの操作指示を受け付けて、受け付けた操作指示に従った画面制御を行う。また、類似症例検索要求の発行指示が入力されると、入力された発行指示がGUI制御部53から検索要求発行部54に入力される。検索要求発行部54は、類似症例検索要求に、指定された検査画像19や関心領域ROIの領域情報を添付して、類似症例検索要求を発行する。
図10に示すように、検査画像表示画面52は、検査画像19を表示する画像表示領域52Aと、各種操作部とを有している。画像表示領域52Aには、例えば、3枚の検査画像19が並べて表示される。スクロール操作やコマ送り操作により、表示する検査画像19を切り替えることが可能である。画像表示領域52Aの上方には、検査IDを入力する入力ボックス52Bが設けられている。入力ボックス52Bに検査IDを入力すると、入力した検査IDの検査データ21が検査画像DBサーバ15からダウンロードされて、画像表示領域52Aに検査画像19が表示される。画像表示領域52Aの下方には、領域指定ボタン52C、クリアボタン52D、類似症例検索ボタン52Eが設けられている。
領域指定ボタン52Cは、検査画像19内において関心領域ROIを指定するための操作ボタンである。領域指定ボタン52Cが、マウスのポインタ56でクリック操作されると、検査画像19内の任意の領域を指定する領域指定操作が可能になる。この状態で、ポインタ56を操作して、例えば、スプラインによって、対象病変OLを含む領域の外周を指定する。スプラインは、指定された複数の制御点を通る滑らかな曲線であり、ポインタ56で制御点を指定することによって入力される。こうした操作により対象病変OLを含む領域が、関心領域ROIとして指定される。クリアボタン52Dは、指定した関心領域ROIを取り消すためのボタンである。
関心領域ROIは、複数個指定することが可能である。図10の例では、画像IDが「O901−01」から「O901−03」の3枚の検査画像19にそれぞれ1つずつ、No1〜No3の関心領域ROIが指定されている。検査ID「901」の検査データ21において、他に関心領域ROIの指定が無ければ、1件の検査データ21に合計で3つの関心領域ROIが指定されたことになる。また、図11の例では、画像IDが「O906−01」の検査画像19内に2つの関心領域ROI(No1、No2)が指定され、画像IDが「O906−02」、「O906−03」の検査画像19内には、1つずつ関心領域ROI(No3、No4)が指定されている。No3の関心領域ROIには、2つの対象病変OL(No3、No4)が含まれている。このように、複数個の対象病変OLを含む領域を、1つの関心領域ROIとして指定してもよい。検査ID「906」の検査データ21において、他に関心領域ROIの指定が無ければ、1件の検査データ21に合計で4つの関心領域ROIが指定されたことになる。このように指定された各関心領域ROIには、異なる対象病変OLがそれぞれ1つ以上含まれる。
図12に示すように、類似症例検索サーバ17には、AP50として類似症例検索サーバプログラムがインストールされており、プログラムを実行すると、類似症例検索サーバ17のCPU41Bは、要求受付部61、特徴量算出部62、個別類似度算出部65、総合類似度算出部66、類似症例検索部67、出力制御部69として機能する。
要求受付部61は、診療科端末11から送信された類似症例検索要求を受け付けて、受け付けた検査画像19及び関心領域ROIの領域情報を、類似症例検索サーバ17のストレージデバイス43などに記憶する。特徴量算出部62は、受け付けた検査画像19及び領域情報に基づいて、関心領域ROIの特徴量を算出する。ここで、特徴量算出部62は、特徴量取得部として機能する。
図13に示すように、関心領域ROIが複数有る場合には、No1の関心領域ROIの特徴量は、「RAC1」、No2の関心領域ROIの特徴量は、「RAC2」、No3の関心領域ROIは、「RAC3」というように、関心領域ROIの特徴量RACは、関心領域ROI毎に算出される。特徴量RACは、典型的な病変の画像パターンとして予め設定されている複数種類の病変パターンに対応する複数次元の数値(後述する判別器出力値)で構成される、特徴ベクトルである。典型的な病変パターンは、図6で説明したとおり、例えば、A〜Hの8種類に分類される。
図14に示すように、特徴量算出部62は、典型的な8種類の病変パターンに対応する判別器62A〜62Hを有している。各判別器62A〜62Hは、関心領域ROIの画像パターンに基づいて、典型的な各病変パターンに対応する数値を出力する。各判別器62A〜62Hが出力する各数値は、特徴ベクトルを構成する複数次元の数値であり、ここで、各数値を判別器出力値と呼ぶ。本例では、各判別器62A〜62Hに対応して判別器出力値は8種類有り、特徴ベクトルは8次元で構成される。なお、上述のとおり、典型的な病変パターンの種類は、8種類に限定されず、病変パターンの種類数に応じて、判別器の種類、特徴ベクトルの次元数も適宜決定される。
判別器出力値は、典型的な病変パターンらしさを表すもので、関心領域ROI内に典型的な病変パターンが存在する度合いを表す値である。そのため、判別器出力値が大きいほど、関心領域ROIに典型的な病変パターンが存在する度合いが高いことを示し、判別器出力値が小さいほど、存在する度合いが低いことを示す。より詳細には、「+」の判別器出力値は、典型的な病変パターンが関心領域ROI内に存在することを示し、「−」の判別器出力値は、関心領域ROI内に存在しないことを示す。そして、「+」の出力値を示し、かつ、判別器出力値が大きいほど存在する度合いが高いことを示す。
図14の例では、「B:空洞」の病変パターンの判別器62Bと「G:高吸収域」の判別器62Gが「+」の出力値を示し、「B:空洞」の出力値が最も大きいため、関心領域ROIは、「B:空洞」と「G:高吸収域」の病変パターンを含み、8種類の病変パターンの中では、「B:空洞」が支配的な画像パターンを持つものであることが分かる。
なお、典型的な病変パターンに対する各判別器は、例えば、「資料名:Computer Vision and Image Understanding 88巻119頁〜151頁,発行年2002年12月 Using Human Perceptual Categories for Content-Based Retrieval from a Medical Image Database 著者 Chi-Ren Shyu, Christina Pavlopoulou Avinash C.kak,and Cala E.Brodley」などに記載されているような周知の特徴量を用いて、「Ada−boost」などの機械学習アルゴリズムにより作成することができる。
特徴量算出部62は、類似症例検索要求に添付された検査データ21において指定された複数の関心領域ROIのすべてについて、関心領域ROI毎に特徴量RACを算出する。
図15に示すように、症例DB23内の特徴量DB23Bに格納される、各症例病変CLの特徴量CACについても、上記8種類の病変パターンに対応する特徴ベクトルで構成される。こうした特徴量CACについても、図14で説明した特徴量算出部62と同様の構成により算出され、各判定器62A〜62Hの8種類の出力値から構成される8次元の特徴ベクトルで構成される。なお、各症例病変CLには、病変の種類が関連付けされて格納されている。
図16に示すように、個別類似度算出部65は、関心領域ROIの特徴量RACと、症例病変CLの特徴量CACとの比較を行い、個別類似度ISMを算出する。具体的には、特徴量RACと特徴量CACに含まれる8次元の特徴ベクトルを比較して、個別類似度ISMを算出する。個別類似度ISMの値は、例えば、最小二乗距離または相関で算出する。前者の場合には、値が小さいほど、関心領域ROIと症例病変CLとの類似度が高く、後者の場合には、値が大きいほど、関心領域ROIと症例病変CLとの類似度が高い。
図17に示すように、個別類似度算出部65は、1件の検査データ21に含まれる複数の関心領域ROIと、1件の症例データ24に含まれる症例病変CLとを1対1で対応させて、それぞれの特徴量RACと、特徴量CACの比較を行い、個別類似度ISMを算出する。個別類似度ISMは、関心領域ROI毎の類似度であるため、関心領域別個別類似度であり、症例病変CLと1対1で対応させて算出されるため、症例病変CL別の個別類似度でもある。個別類似度算出部65は、1つの関心領域ROIに対して、症例病変CLの個数だけ個別類似度ISMを算出する。個別類似度ISMは、すべての関心領域ROIについて算出されるので、個別類似度算出部65は、関心領域ROIの個数と、症例病変CLの個数を乗じた数だけ個別類似度ISMを算出する。
検査IDが「O901」の検査データ21においては、No1〜No3の3個の関心領域ROIが指定されており、症例IDが「C101」の症例データ24には、No1〜No3の3個の症例病変CLが登録されている。「C101」の症例においては、No1〜No3の3個の症例病変CLの種類は、それぞれ「B:空洞」、「F:点状影」、「E:すりガラス状陰影」で、すべて病変の種類が異なるので、3種3個の症例病変CLが登録されている。
本例の個別類似度算出部65は、後述する総合類似度算出部66と異なり、症例病変CLの種類に着目せず、症例病変CLの個数にのみ着目して個別類似度ISMを算出する。このため、図18に示すように、「O901」の検査データ21と、「C101」の症例データ24との間では、3×3で合計9個の個別類似度ISMが算出される。
各個別類似度ISMに付された括弧内の識別符号は、症例IDに、関心領域ROIと症例病変CLのそれぞれのシリアルナンバーを加えたものである。「C101−11」の場合には、No1の関心領域ROIと、症例IDが「C101」の症例データ24に登録された、No1の症例病変CLとの個別類似度ISMであることを示す。同様に、「C101−12」の場合には、No1の関心領域ROIと、症例IDが「C101」のNo2の症例病変CLの個別類似度ISMであることを示す。
図19に示す、症例IDが「C102」の症例には、No1〜No5の5個の症例病変CLが登録されている。「C102」の症例において、No1〜No5の5個の症例病変CLの種類は、「B:空洞」、「F:点状影」、「E:すりガラス状陰影」の3種である。「B:空洞」については、同種の症例病変CL(No1〜No3)が3個登録されており、No4、No5の症例病変CLについては、「F:点状影」と「E:すりガラス状陰影」がそれぞれ1個ずつ登録されているため、結局、「C102」の症例には、3種5個の症例病変CLが登録されている。
個別類似度算出部65は、3個の関心領域ROIのそれぞれに対して、「C102」の5個の症例病変CLを、種類に拘わらず対応させるので、3×5で合計15個の個別類似度ISMを算出する。
図20に示す症例IDが「C103」の症例は、2種4個の症例病変CLが登録されている例である。「C103」のNo1〜No4の4個の症例病変CLは、種類が、「B:空洞」、「F:点状」の2種有り、「B:空洞」については、同種の症例病変CL(No1〜No3)が3個で、「F:点状影」については、症例病変CL(No4)が1個である。個別類似度算出部65は、3個の関心領域ROIのそれぞれに対して、「C103」の4個の症例病変CLを、種類に拘わらず対応させて、3×4で合計12個の個別類似度ISMを算出する。
図21の症例IDが「C104」の症例は、1種4個の症例病変CLが登録されている例である。「C104」のNo1〜No4の4個の症例病変CLは、種類がすべて「B:空洞」で同種である。個別類似度算出部65は、3個の関心領域ROIのそれぞれに対して、「C103」の4個の症例病変CLを、種類に拘わらず対応させて、3×4で合計12個の個別類似度ISMを算出する。
図22に示す症例IDが「C106」の症例は、図19に示す「C101」と同じ3種5個の症例病変CLが登録されている例であるが、内訳が異なる。すなわち、「C106」のNo1〜No5の5個の症例病変CLの種類は、「B:空洞」、「F:点状影」、「E:すりガラス状陰影」の3種であり、この点については「C101」と同様である。しかし、「C106」において、「B:空洞」については、同種の症例病変CL(No1、No2)が2個登録されており、「F:点状影」についても、同種の症例病変CL(No3、No4)が2個登録されている。「E:すりガラス状陰影」については1個(No5)登録されている。個別類似度算出部65は、3個の関心領域ROIのそれぞれに対して、「C106」の5個の症例病変CLを、種類に拘わらず対応させて、3×5で合計15個の個別類似度ISMを算出する。
図23に示すように、個別類似度算出部65は、例えば、類似症例検索サーバ17のメモリ42Bやストレージデバイス43B内に、個別類似度テーブル(以下、ISMテーブルという)71を作成して、ISMテーブル71に算出した個別類似度ISMを記録する。ISMテーブル71は、関心領域ROI毎に作成される。図23の例は、No1の関心領域ROIに対するISMテーブル71を示す。ISMテーブル71は、個別類似度ISM毎に、症例ID、病変No、病変の種類、病変画像を関連付けて記憶したテーブルである。病変画像は、症例病変CLの画像データである。すなわち、ISMテーブル71において、1件のレコードは、症例ID、病変No、病変の種類、病変画像、個別類似度ISMの5項目のデータで構成される。
個別類似度算出部65は、最初に、ISMテーブル71に対して、各個別類似度ISMを算出した順番で記録する。各個別類似度ISMは、例えば「C101」、「C102」、「C103」というように、症例IDの番号が若い順から記録される。個別類似度ISMの値は、関心領域ROIの特徴量RACと症例病変CLの特徴量CACの相関で算出されるため、数値が大きいほど、類似度が高いことを示す。
図24に示すように、個別類似度算出部65は、関心領域ROI毎にISMテーブル71を作成する。No1〜No3の3個の関心領域ROIがある場合には、3つのISMテーブル71が作成される。この段階では、図23に示すとおり、ISMテーブル71は、症例IDの順番で各レコードが配列されている。個別類似度算出部65は、ISMテーブル71の作成が終了した場合には、ISMテーブル71を、総合類似度算出部66に引き渡す。
図25に示すように、総合類似度算出部66は、関心領域ROI毎に作成された複数のISMテーブル71に基づいて、総合類似度TSMテーブル72(以下、TSMテーブル72という)を作成する。具体的には、図26に示すように、複数のISMテーブル71から、同一症例内の症例病変CLとの対応により算出された個別類似度ISMを1つずつ読み出し、各ISMテーブル71から読み出した複数の個別類似度ISMに基づいて、総合類似度TSMを算出する。より具体的には、総合類似度算出部66は、各ISMテーブル71から、1件ずつ読み出した個別類似度ISMを総合類似度TSMの要素として、関心領域ROIの数と症例病変CLの数に応じた数の個別類似度ISMの組み合わせを作り、組み合わせ毎に総合類似度TSMを算出する。
個別類似度ISMは、複数の関心領域ROIと複数の症例病変CLとを1対1で対応させて算出したものであり、各関心領域ROIと各症例病変CLのどれとどれを対応させるかによって、個別類似度ISMの値は変化するので、個別類似度ISMの組み合わせパターンによって総合類似度TSMが変化する。
個別類似度ISMの組み合わせパターンの作り方については、後述するが、本例のNo1〜No3の3個の関心領域ROIと、症例IDが「C101」の3種3個の症例病変CLとを対応させる場合には、3×3=9つの個別類似度ISMが算出される。9つの個別類似度ISMは、関心領域ROI毎のISMテーブル71に3つずつ記録される。そして、総合類似度算出部66は、「C101」の9つの個別類似度ISMに関して、各ISMテーブル71が1つずつ個別類似度ISMを読み出して、個別類似度ISMの組み合わせのパターンを6通り作り、「C101−1」〜「C101−6」の6通りの組み合わせに対応する6つの総合類似度TSMを算出する。各総合類似度TSMの識別符号は、症例IDに、総合類似度TSMの1〜6までのシリアルナンバーを付したものである。各総合類似度TSMは、本例では3つの個別類似度ISMを足し合わせた総和である。
各個別類似度ISMは、関心領域ROIと症例病変CLを1対1で対応させた場合の類似度であるので、総合類似度TSMが高いほど、3つの関心領域ROIと、3つの症例病変CLのそれぞれの個別類似度ISMの平均値が高いことを意味する。本例では、個別類似度ISMは、相関値で表しているため、数値が大きいほど類似度が高い。そのため、総合類似度TSMも、数値が大きいほど類似度が高いことを示す。
本例では、6つの総合類似度TSMの中では、「C101−2」の総合類似度TSMが「2.04」で最も高い。一方、本例では「C101−3」の総合類似度TSMが「1.32」で最も低い。また、「C101−5」の総合類似度TSMには、個別類似度ISMの中に、「0.91」という最高値を示す個別類似度ISM(C101−13)を含んでいるが、最高値を含まない、「C101−2」の総合類似度TSMの方が、平均的に個別類似度ISMが高いため、数値が高くなっている。
6つの総合類似度TSMの中で類似度が最高の総合類似度TSM(C101−2)は、No1の関心領域ROIとNo1の症例病変CLとの個別類似度ISM(C101−11)と、No2の関心領域ROIとNo3の症例病変CLとの個別類似度ISM(C101−23)と、No3の関心領域ROIとNo2の症例病変CLとの個別類似度ISM(C101−32)の総和である。そのため、「C101」の症例については、No1〜No3の症例病変CLを、それぞれ、No1、No3、No2の関心領域ROIに対応させた場合が、「O901」の検査データ21に対して最も類似度が高いと評価できる。
また、総合類似度算出部66は、総合類似度TSMを算出する個別類似度ISMの組み合わせについて、完全異種の組み合わせを作る。ここで、完全異種の組み合わせとは、同一症例内の複数の症例病変CLの中から、種類が異なる症例病変CLを種類毎に一つずつ抽出して、それらを組み合わせて構成される組み合わせを、更に関心領域ROIの一つ一つに対応させていった場合の全ての組み合わせをいう。そして、総合類似度算出部66は、完全異種の組み合わせを総合類似度TSMの算出対象と判定し、完全異種の組み合わせ以外の組み合わせについては、算出対象外と判定する。すなわち、総合類似度算出部66は、完全異種の組み合わせに対してのみ、個別類似度ISMを用いて総合類似度TSMを算出する。
完全異種の組み合わせ以外の組み合わせには、完全同種の組み合わせと一部同種の組み合わせが含まれる。完全同種の組み合わせは、同一症例内の複数の症例病変CLの中から、種類が同じ複数の症例病変CLを一つずつ抽出して、抽出した複数の同種の症例病変CLの組み合わせを、更に関心領域ROIの一つ一つに対応させていった場合の全ての組み合わせをいう。一部同種の組み合わせは、種類が同じ2つ以上の症例病変CLと種類が異なる1つ以上の症例病変CLを少なくとも含む症例の中から、種類が同じ複数の症例病変CLと、種類が異なる1以上の症例病変CLとを一つずつ抽出して、抽出した、同種と異種が混在した複数の症例病変CLの組み合わせを、更に関心領域ROIの一つ一つに対応させていった場合の全ての組み合わせをいう。総合類似度算出部66は、各ISMテーブル71から1件ずつ読み出した個別類似度ISMに基づいて、関心領域ROIの個数と、1件の症例内の症例病変CLの個数及び種類数とに応じた数の完全異種の組み合わせを作る。
図27〜図34を用いて、個別類似度ISMの完全異種の組み合わせについて具体的に説明する。図27において、各個別類似度ISMに対して付された、「B」、「E」、「F」という符号は、各個別類似度ISMに対応する症例病変CLの種類を表す符号であり、各個別類似度ISMが、どの種類の症例病変CLを関心領域ROIに対応させて算出したものかを表すものである。
「C101」の症例は、No1〜No3の3個の症例病変CLの種類が、「B(空洞)」、「F(点状影)」、「E(すりガラス影)」ですべて異なっている。そのため、「B、E、F」の3種3個の症例病変CLを、3個の関心領域ROIに対して、「B、F、E」、「B、E、F」、「F、B、E」、「F、E、B」・・・・というように対応させて算出される個別類似度ISMの完全異種の組み合わせのパターンの数は、3個の関心領域ROIと3個の症例病変CLの順列の数と同じになる。すなわち、=3×2×1=6通りとなる。
図19で示した「C102」の症例のように、「B」が3個で、「E」、「F」がそれぞれ1個の3種5個の症例病変CLを有している場合には、No1〜No3の関心領域ROIに対応する各ISMテーブル71には、図28に示すように、5個ずつ合計15個の個別類似度ISMが記録される。「C102」の症例のように、同種の症例病変CLが複数個存在する場合には、総合類似度算出部66は、B1〜B3の同種の3個の症例病変CLを区別して、区別した同種の症例病変CL毎に完全異種の組み合わせを作る。
「C102」の症例のように、B1〜B3の同種の症例病変CLを複数個有している場合には、「C102」の症例における完全異種の組み合わせの数は、症例病変CLの種類が異なる「C101」の症例のように順列の数とはならず、図29に示すように18通りとなる。総合類似度TSMはTSM(C102−1)〜(C102−18)の18個算出される。
「C102」において、「C101」のように順列の数を求めると、「C102」の5個の症例病変CLから、関心領域ROIの数である3個を取り出したときの並べ方となるから、=5×4×3=60通りとなる。完全異種の組み合わせの数は、この順列の数から、図30に示す「B1、B2、B3」、「B1、B3、B2」という完全同種の組み合わせや、「B1、B2、F」、「B1、B2、F」という一部同種の組み合わせを除外した数である。総合類似度算出部66は、図29に示す完全異種の組み合わせに対しては、総合類似度TSMの算出対象外と判定し、図30に示す完全異種の組み合わせ以外の組み合わせに対しては、算出対象外と判定する。
また、図31に示す「C106」の症例のように、「C102」と同じ3種5個の症例病変CLを含む場合でも、3種5個の症例病変CLの内訳が異なると、完全異種の組み合わせの数も変化する。「C106」において、3種5個の症例病変CLの内訳は、「B」が2個(B1、B2)、「F」が2個(F1、F2)、「E」が1個である。そのため、「B1、F1、E」、「B1、F2、E」といった完全異種の組み合わせの数は24通りとなり、総合類似度算出部66は、図31に示す完全異種の24通りの組み合わせに対しては総合類似度TSMの算出対象と判定して、C106−1〜C106−24の24個の総合類似度TSMを算出する。一方、図32に示すように、「B1、B2、F1」、「B1、F1、F2」という一部同種の組み合わせのように、完全異種の組み合わせ以外の組み合わせに対しては算出対象としない。
このように、完全異種の組み合わせのみを総合類似度TSMの算出対象とすることにより、総合類似度TSMの算出対象となる組み合わせが絞り込まれるため、総合類似度算出部66の処理時間や処理負荷が軽減されて、類似症例の検索時間を短縮することができる。また、上述のとおり、本発明において、複数の関心領域ROIに着目して類似症例を検索しなければならない主要な理由は、空洞、点状影、すりガラス状陰影という3種の対象病変の存在が疾患特定の根拠となる結核などの非がん疾患の診断に利用するためである。そのため、異種の対象病変OLを含む複数の関心領域ROIに類似する症例として、異種の症例病変CLを含む症例を類似症例として検索することが必要になる。
非がん疾患の診断に利用するという目的から考えれば、複数の関心領域ROIは、それぞれ異種の対象病変OLを含むように指定される場合が多く、そうだとすると、そもそも同種の症例病変CLを含む症例を抽出する必要性は低いので、総合類似度TSMの算出対象を完全異種の組み合わせに限定しても、実際の診断において影響は少ない。
このような理由から、さらに、総合類似度算出部66は、図33に示す、2種4個の症例病変CLを含む「C103」の症例や、図34に示す、1種4個の症例病変CLを含む「C104」の症例については、症例病変CLの種類数が、関心領域ROIの数に満たないため、総合類似度TSMの算出対象としない。「C104」のように症例病変CLが1種の場合には、異種の症例病変CLを検索するという、検索目的から考えれば、検索対象にする必要は低い。
また、「C103」のように症例病変CLの種類数が、関心領域ROIの数に満たない症例を対象外とする理由も、検索対象とする必要性は低い。つまり、非がん疾患の診断において、医師が関心領域ROIを3個指定するのは、3種の症例病変CLを含む症例の検索を望むからであり、関心領域ROIの数未満の種類数の症例病変CLが抽出されても、診断との関係では必要性は低いと考えられるからである。なお、本例において、2種の症例病変CLを含む「C103」の症例が算出対象外となるのは、本例が、3個の関心領域ROIを前提としているためであり、関心領域ROIが2個の場合には、当然ながら、「C103」についても総合類似度TSMの算出対象となる。
図35に示すように、以上の内容をまとめると、総合類似度算出部66は、症例IDが「C101」、「C102」、「C105」、「C106」の症例のように、症例病変CLの種類数が、関心領域ROIの数以上ある症例についてのみ、総合類似度TSMを算出し、類似症例の検索対象とする。総合類似度TSMは、完全異種の組み合わせに対してのみ算出される。反対に、「C103」、「C104」のように、症例病変CLの登録数が関心領域ROIの数に満たない症例(本例では症例病変CLが3個未満)については、総合類似度TSMを算出せず、検索の対象外とする。
図36に示すように、総合類似度算出部66は、検索対象となる複数の症例について算出した総合類似度TSMを、TSMテーブル72に記録する。TSMテーブル72において、1件のレコードは、症例ID、総合類似度TSM、個別類似度ISMの組み合わせパターンの3項目のデータで構成される。組み合わせパターンは、各総合類似度TSMの算出元となった個別類似度ISMの組み合わせである。総合類似度算出部66は、作成したTSMテーブル72を、類似症例検索部67に引き渡す。図12において、類似症例検索部67には、代表値判定部67Bが設けられている。
図37に示すように、代表値判定部67Bは、TSMテーブル72において、複数の総合類似度TSMの中から、症例毎に代表値を判定する。「C101」の症例の場合には、6個の総合類似度TSMの中から、類似度が最も高い(相関値が最大)、総合類似度TSM(C101−2)が代表値と判定される。同様に、「C102」の症例の場合には、18個の総合類似度TSMの中から、類似度が最も高い(相関値が最大)、総合類似度TSM(C102−3)が代表値と判定される。
図38に示すように、代表値判定部67Bは、代表値判定を、TSMテーブル72内の全症例について実施する。これにより、TSMテーブル72には、症例毎に1つずつ判定された代表の総合類似度TSMのみが抽出される。
図39に示すように、類似症例検索部67は、代表の抽出が行われたTSMテーブル72において、総合類似度TSMが高い順に各レコードをソートする。TSMテーブル72において、総合類似度TSMは、1件の症例から1つだけ抽出されているので、各レコードをソートすることは、症例を総合類似度TSMが高い順にソートすることを意味する。これにより、各症例に対して順位付けが行われて、TSMテーブル72の上位に、類似度が高い類似症例が抽出される。
類似症例検索部67には、リスト作成部67A(図12参照)が設けられている。リスト作成部67Aは、TSMテーブル72に基づいて、図40に示す類似症例リスト74を作成する。類似症例リスト74は、検索結果表示画面76内に表示される。類似症例リスト74は、複数件の類似症例に関する情報をリスト化したものである。検索結果表示画面76は、類似症例検索サーバ17が、類似症例検索要求の要求元である診療科端末11に対して検索結果を配信する画面の例である。
リスト作成部67Aは、TSMテーブル72から、総合類似度TSMを抽出して、総合類似度TSMが高い順に、類似症例を配列した類似症例リスト74を作成する。類似症例リスト74の表示項目には、各総合類似度TSMに関して、総合類似度TSMの値、総合類似度TSMに基づく順位、症例ID、及び総合類似度TSMに関する内訳情報を含む。本例では、内訳情報は、総合類似度TSMの算出要素となる各個別類似度ISMを算出するための関心領域ROIと症例病変CLとの対応関係である。内訳情報には、症例病変CLの種類(病変種類)も含まれている。
類似症例リスト74において、症例IDが「C106」の総合類似度TSMは、図39に示す「C106−1」の総合類似度TSMに対応する。「C106−1」の総合類似度TSMの算出要素となる個別類似度ISMの組み合わせパターンは、個別類似度ISM(C106−11)、(C106−22)、(C106−33)である。類似症例リスト74に表示される内訳情報は、これらの各個別類似度ISMを算出するための関心領域ROIと症例病変CLの対応関係である。個別類似度ISM(C106−11)は、No1の関心領域ROIと、「C106」のNo1の症例病変CLであり、個別類似度ISM(C106−22)は、No2の関心領域ROIと、「C106」のNo2の症例病変CLであり、個別類似度ISM(C106−33)は、No3の関心領域ROIと、「C106」のNo3の症例病変CLである。対応関係には、種類も表示されるため、個別類似度ISMの組み合わせパターンが、どのような種類の組み合わせかを確認することができる。
さらに、類似症例リスト74の表示項目には、No1、No2、No3の症例病変CLの病変画像が含まれる。病変画像は、例えば、ISMテーブル71から読み出される。さらに、類似症例リスト74の上方には、No1〜No3の関心領域ROIを含む検査画像19が表示される。
類似症例リスト74は、例えば、上位6位までの症例が表示される。もちろん、画面スクロールなどの操作により6位以下の順位を表示できるようにしてもよい。また、上位10位まで表示するというように、同時に表示できる表示件数を変更できるようにしてもよい。
出力制御部69(図12参照)は、このように作成される検索結果表示画面76に関して、例えば、XML(Extensible Markup Language)などのマークアップ言語によってWEB配信用のXMLデータを作成して、これを検索結果として、要求元の診療科端末11に配信する制御を行う。XMLデータを受信した診療科端末11は、WEBブラウザがXMLデータに基づいて検索結果表示画面76を再現して、表示部48Aに表示する。これにより、類似症例リスト74を含む検索結果表示画面76が医師の閲覧に供される。
以下、上記構成の作用について、図41及び図42を参照しながら説明する。図41に示すように、診療科10の医師は、診療科端末11で検査画像DBサーバ15にアクセスして、検査科12に依頼した検査の検査データ21を取得する(S1100)。診療科端末11は、検査データ21を表示部48Aに表示する(S1200)。取得した検査データ21に含まれる検査画像19は、図10に示す検査画像表示画面52に表示される。検査画像表示画面52を通じて、医師により検査画像19内に関心領域ROIの指定が行われる。診療科端末11は、医師の指定操作により、複数の関心領域ROIの指定を受け付ける(S1300)。
関心領域ROIの指定において、結核やびまん性汎細気支炎などの非がん疾患の診断の際には、病変の種類が異なる異種の対象病変OLをそれぞれに含むように複数の関心領域ROIが指定される。関心領域ROIの指定が終了すると、類似症例検索ボタン52Eが操作される。これにより、診療科端末11は、検索指示を受け付ける(S1400)。検索指示を受け付けると、検索要求発行部54が、検査画像19と領域情報とが添付された類似症例検索要求を発行して、これが類似症例検索サーバ17に送信される(S1500)。
類似症例検索サーバ17は、類似症例検索要求を受信すると、要求受付部61がこれを受け付ける(S2100)。そして、特徴量算出部62は、検査画像19と関心領域ROIの領域情報とに基づいて、関心領域ROI毎の特徴量を算出する(S2200)。この後、類似症例検索が実行される(S2300)。
図42に示すように、類似症例検索では、まず、個別類似度算出部65が、症例DBサーバ16から、1件の症例データ24を読み出す(S2310)。そして、個別類似度算出部65は、検査データ21内の複数の関心領域ROIと、1件の症例データ24に含まれる症例病変CLとを1対1で対応させて、個別類似度ISMを算出する(S2320)。症例病変CLが複数有る場合には、症例病変CL毎に個別類似度ISMを算出する。個別類似度算出部65は、算出した個別類似度ISMをISMテーブル71に記録して、関心領域ROI毎にISMテーブル71を作成する(S2330)。こうした処理を、1件の症例データ24について行った後、次の症例データ24に対しても同様に行う。そして、複数件の症例データ24、例えば、症例DB23内のすべての症例データ24について個別類似度ISMの算出及びISMテーブル71の作成が終了するまで(S2340でN)、同様の処理を繰り返す。
総合類似度算出部66は、関心領域ROI毎に作成した複数のISMテーブル71に基づいて、TSMテーブル72を作成する(S2350)。TSMテーブル72の作成においては、総合類似度算出部66は、まず、症例毎の症例病変CLの種類数に基づいて検索対象とする症例を判定する(S2350)。この判定により、図34に示す症例IDが「C104」のように、症例病変CLが1種類しか無い症例や、図33に示す「C105」のように、症例病変CLの種類数が関心領域ROIの数未満の症例が検索対象外と判定される。
次に、総合類似度算出部66は、検索対象の症例について、症例毎に個別類似度ISMの完全異種の組み合わせを作成して(S2352)、作成した完全異種の組み合わせに対してのみ総合類似度TSMを算出する(S2353)。総合類似度算出部66は、「C102」の症例については、図29に示す、18通りの完全異種の組み合わせを作り、18通りの組み合わせを算出対象と判定する。そして、判定した算出対象の組み合わせ毎に18個の総合類似度TSM(C102−1〜C102−18)を算出する。一方、総合類似度算出部66は、図30に示す、完全同種の組み合わせや一部同種の組み合わせについては算出対象外と判定して、総合類似度TSMを算出しない。
同様に、総合類似度算出部66は、「C106」の症例については、図31に示すように24通りの完全異種の組み合わせを作り、24通りの組み合わせに対応する24個の総合類似度TSM(C106−1〜C106−24)を算出する。一方、総合類似度算出部66は、図32に示す、完全同種の組み合わせや一部同種の組み合わせについては算出対象外と判定して、総合類似度TSMを算出しない。そして、総合類似度算出部66は、算出した総合類似度TSMを症例毎にTSMテーブル72に記録する(S2354)。
類似症例検索部67は、作成されたTSMテーブル72に基づいて、類似症例リスト74を作成する(S2360)。リスト作成においては、まず、代表値判定部67Bは、図38に示すように、TSMテーブル72内の症例毎の複数の総合類似度TSMの中から、代表値を判定して(S2361)、各症例の代表の総合類似度TSMのみを抽出したTSMテーブル72を作成する。この後、類似症例検索部67は、TSMテーブル72において、総合類似度TSMが高い順に症例をソートする(S2362)。これにより、TSMテーブル72の上位に、類似度が高い類似症例が抽出される。
リスト作成部67Aは、TSMテーブル72に基づいて、所定順位までの症例を抽出して、総合類似度TSMが高い順に、類似症例を配列した類似症例リスト74を作成する(S2363)。
図41において、出力制御部69は、リスト作成部67Aが検索結果として作成した類似症例リスト74を含む検索結果表示画面76を、配信用のXMLデータに変換して、診療科端末11に配信する(S2400)。診療科端末11は、類似症例リスト74を含むXMLデータを受信して(S1600)、XMLデータに基づいて検索結果表示画面76(図30)を再現して、表示部48Aに表示する(S1700)。
検査データ21に複数の対象病変OLが含まれる場合において、検査データ21に類似する類似症例を検索する場合には、各対象病変OLを含む複数の関心領域ROIと複数の症例病変CLのそれぞれの特徴量に着目することに加えて、個々の特徴量を総合的に考慮した検索を行うことが望まれる。例えば、ある症例において、1つの症例病変CLが1つの関心領域ROIに対して高い類似度を示していたとしても、他の症例病変CLが他の関心領域ROIの類似度が非常に低い場合には、その症例は、少なくとも複数の関心領域ROIに着目すべき場合には、類似症例として適切ではない。
本発明は、関心領域ROI毎に症例病変CLとの個別類似度ISMを算出し、算出した個別類似度ISMに基づいて総合類似度TSMを算出して類似症例検索を行っている。総合類似度TSMは、複数の個別類似度ISMが平均的に高い症例を、類似度が高い症例と評価する指標である。総合類似度TSMに基づいて類似症例を検索することにより、複数の対象病変OLを含む検査データ21に対して、類似度の高い適切な類似症例を検索することができる。
従来技術は、1つの関心領域ROIの特徴量にのみ着目した類似症例検索しか行われていないため、複数の関心領域ROIがある場合の類似症例検索においては適切な類似症例を検索することができない。対して、本発明は、総合類似度TSMに基づいて類似症例を検索するから、複数の関心領域ROIがある場合の類似症例検索において、従来技術と比較して有用性の高い技術を提供することができる。
空洞影、点状影、すりガラス影という3種の対象病変OLに着目する必要がある結核や、気管支異常影と点状影の2種の対象病変OLに着目する必要があるびまん性汎細気支炎など、非がん疾患では、複数の対象病変OLが現れていることが疾患の特定の根拠となる場合がある。このように複数の関心領域ROIの特徴量に注意を払わなければならない非がん疾患の診断において、本発明は有用である。
また、本発明は、総合類似度TSMについて、完全異種の組み合わせのみを総合類似度TSMの算出対象とすることにより、総合類似度TSMの算出対象となる組み合わせを絞り込んでいる。そのため、総合類似度算出部66の処理時間や処理負荷が軽減されて、類似症例の検索時間を短縮することができる。図29及び図30に示した、「C102」の3種5個の症例病変CLと、3個の関心領域ROIとを対応させる例で説明すると、完全異種の組み合わせ以外の組み合わせを含めた順列の数は、=5×4×3=60通りとなるところ、完全異種の組み合わせは18通りとなる。そのため、「C102」に関する組み合わせの数だけで単純に計算すると、総合類似度TSMの算出処理時間を約1/3にすることができる。
また、このように、総合類似度TSMの完全異種の組み合わせに限定しても、類似症例検索を非がん疾患の診断に利用する場合には、実際の診断における影響は少ない。というのも、類似症例検索を非がん疾患の診断に利用する場合には、複数の関心領域ROIは、それぞれ異種の対象病変OLを含むように指定されるため、同種の症例病変CLを含む症例を抽出する必要性は低い。そのため、総合類似度TSMの算出対象を完全異種の組み合わせに限定しても、必要な類似症例については抽出することができるからである。
なお、本例では、総合類似度算出部66が総合類似度TSMの算出対象外と判定する症例についても、個別類似度ISMの算出対象としているが、総合類似度算出部66が算出対象外と判定する症例については、個別類似度ISMの算出対象外としてもよい。例えば、本例においては、図31に示す2種4個の症例病変CLを有する「C103」の症例や、1種4個の症例病変CLを有する「C104」の症例のように、症例病変CLの種類数が、関心領域ROIの数未満の症例については、図35に示すように、検索対象外と判定される。このような症例については、個別類似度算出部65が、個別類似度ISMの算出の際に検索対象外と判定して、個別類似度ISMも算出しない。個別類似度算出部65は、症例病変CLの種類数と関心領域ROIの数とに基づいて、検索対象とするか否かを判定する。こうすれば、無駄な処理時間が減るため、検索時間をさらに短縮できる。
また、本例では、総合類似度TSMを、複数の個別類似度ISMを足し合わせた総和としたが、掛け合わせた値でもよい。
なお、本例では、代表値判定部67Bにより、症例毎に算出される複数の総合類似度TSMの中から、症例毎に代表値を判定して、代表値のみに基づいて、類似症例検索を行っている。代表値を判定することにより、TSMテーブル72に記録される総合類似度TSMの件数が減るなど、検索処理において取り扱うデータが減るため、処理時間を短縮できるという効果がある。読影レポートに記載された、症例病変CLに関する医師の所見などの診断結果は症例ごとに存在するため、代表値判定により、検索結果を症例単位で提示することで、類似症例に基づく診断を適切にかつ効率よく行うこともできる。しかし、代表値を判定せずに、類似症例検索を行ってもよい。代表値を判定しない場合には、類似症例リスト74において、同じ症例の複数の総合類似度TSMが表示されることがあり得る。これら複数の総合類似度TSMは、算出要素となる個別類似度ISMの組み合わせパターンが異なるものであるため、1つの症例について視点を変えて参照することができる。
また、類似症例リスト74の表示項目には、類似症例の症例IDと総合類似度TSMに加えて、総合類似度TSMに関する内訳情報が表示される。内訳情報によって、総合類似度TSMの算出要素となる各個別類似度ISMを算出するための関心領域ROIと症例病変CLの対応関係を確認することができる。この対応関係を表示することにより、総合類似度TSMの算出要素となる各個別類似度ISMは、複数の関心領域ROIと複数の症例病変CLのどれとどれを対応させて算出したものかを把握することができる。また、類似症例リスト74には、検査画像19や症例病変CLの病変画像も表示されるので、画像パターンについても比較参照しやすく、画像パターン同士の類似度を直感的に判断しやすい。
総合類似度TSMに関する内訳情報としては、図43に示す類似症例リスト75のように、総合類似度TSMの算出要素となる個別類似度ISMの値を表示してもよい。総合類似度TSMの値に加えて、その内訳となる個別類似度ISMの値を表示すれば、各関心領域ROIと各症例病変CLの対応の中で、個別類似度ISMが高いものや低いものがどれかを確認できるため、便利である。例えば、医師が、複数の関心領域ROIのうちの1つを重視したい場合には、重視する関心領域ROIの個別類似度ISMの値を見て、適切な類似症例を探し出すといったことができる。
また、総合類似度TSMは、複数の個別類似度ISMが平均的に高い症例を、類似度が高い症例と評価する指標である。そのため、類似症例リストでは、複数の個別類似度ISMの平均値が高い症例の順位が高く、平均値が低い症例については、仮に1つの個別類似度ISMが突出して高くても、順位は低くなる。これに対して、類似度に関する医師の主観的な評価は、平均値よりも、特定の症例病変CLと特定の関心領域ROIとに関して医師が抱いた印象に大きく影響される場合があるため、医師の主観的な評価と総合類似度TSMに基づく客観的な評価(順位付け)が乖離することもある。
このような乖離が生じた場合でも、類似症例リスト75のように、総合類似度TSMに加えて、個別類似度ISMの値が表示されれば、個別類似度ISMを確認することにより、医師が自らの主観的な評価を検証することができる。また、個別類似度ISMの値が表示されれば、医師が個別類似度ISMの値を勘案することにより、類似症例リスト75による、総合類似度TSMに基づく客観的な評価に対して、医師が主観的な評価に基づいて修正を加えながら、個々の診断に適した適切な類似症例を探し出すといったこともできる。
また、本発明では、異種の対象病変OLをそれぞれ含む複数の関心領域ROIが指定されることを想定して、総合類似度TSMの算出対象を、複数の個別類似度ISMの組み合わせに関して完全異種の組み合わせに限定している。そのため、仮に、同種の対象病変OLをそれぞれ含む複数の関心領域ROIが指定された場合(例えば「B:空洞」が2個)でも、同種の複数の関心領域ROIに対して、同種の症例病変CLを対応させて算出した個別類似度ISMの組み合わせは総合類似度TSMの算出対象外となるため、類似症例リストにおいて類似症例として抽出されることはない。
類似症例として抽出される可能性があるのは、同種(例えば「B:空洞」が2個)の複数の関心領域ROIに対して、少なくとも1つが同種の症例病変CL(例えば「B:空洞」と「F:点状影」や、「B:空洞」と「E:すりガラス状陰影」)を対応させて算出した個別類似度ISMの組み合わせである。このような場合において、「B」と「F」というように、異種の関心領域ROIと症例病変CLを対応させた場合の個別類似度ISMの値は無視できる程度に低くなると考えるため、総合類似度TSMに影響するのは、結局、同種の関心領域ROIと症例病変CLを対応させた場合の個別類似度ISMの値である。類似症例リスト75のように、総合類似度TSMの値に加えて、個別類似度ISMの値を表示すれば、特定の関心領域ROIに対する個別類似度ISMが高い症例病変CLを探し出しやすい。
総合類似度算出手順に関して、上記実施形態では、症例全件分の症例病変CLについての個別類似度ISMをすべて求めた後、症例毎に、個別類似度ISMの完全異種の組み合わせを作成して、総合類似度TSMを算出している。総合類似度算出手順としては、この他に次の方法がある。まず、症例全件分ではなく、1件の症例について、その症例に含まれる症例病変CLについての個別類似度ISMを算出する。次に、個別類似度ISMを算出した1件の症例に関して、算出した個別類似度ISMの完全異種の組み合わせを作成して、総合類似度TSMを算出する。そして、1件の症例について総合類似度TSMの算出が終了した後、次の症例について、個別類似度ISMの算出、完全異種の組み合わせの作成、総合類似度算出の各手順を実行する。これを症例全件分について繰り返す。
どちらの方法にしても、1件の症例に関する総合類似度算出手順を考えれば、個別類似度ISMを算出した後に、個別類似度ISMについての完全異種の組み合わせを作成し、完全異種の組み合わせについてのみ総合類似度TSMを算出するという手順については共通である。本発明は、どちらの方法でもよく、当然ながら、本発明の類似症例検索装置、方法及びプログラムには、どちらの方法も包含される。
[第2実施形態]
第1実施形態においては、症例病変CLの種類数が、関心領域ROIの数未満の症例については、検索の対象外としたが、図44〜図46に示す第2実施形態のように、症例病変CLの種類数が、関心領域ROIの数未満であっても、種類数が複数の症例については、検索対象に含めてもよい。例えば、図44に示すように、第2実施形態においては、3個の関心領域ROIが指定されている場合において、第1実施形態(図35参照)では対象外とされた症例IDが「C103」の症例のように、種類数が2個の症例が検索対象に含まれる。
なお、症例IDが「C104」の症例は、種類が1つであるので、第2実施形態においても検索対象外となる。なぜならば、総合類似度TSMは、複数の関心領域ROIに対応する複数種類の個別類似度ISMの和であるため、種類数が「1」のものは、総合類似度TSMを算出できないからである。
類似症例として抽出される症例については、症例病変CLの種類数が関心領域ROIの数以上あることが好ましい。類似症例検索を非がん疾患の診断に利用する場合には、関心領域ROIの数は、対象病変OLの種類数に対応するものだからである。しかしながら、症例DB23において、症例病変CLの種類数が多い症例の蓄積数が少ない場合がある。この場合に、関心領域ROIの数に満たない種類数の症例を、すべて検索対象外とすると、検索対象が少な過ぎて、適切な類似症例が検索できないおそれもある。症例病変CLの種類数が関心領域ROIの数に満たない症例であっても、個々の症例病変CLについて見ると、診断に際して有用な価値を持つ場合もある。第2実施形態は、症例病変CLの種類数が複数有ることを前提に、種類数が関心領域ROIの数よりも少ない症例については検索対象に含めて、類似症例として抽出することを可能にする形態である。なお、特徴量の算出方法や個別類似度ISMの算出方法は、上記実施形態と同様であるので、説明を省略し、相違点を中心に説明する。
図45に示すように、個別類似度算出部65は、No1〜No3の関心領域ROIに2種の症例病変CLを対応させて、個別類似度ISMを算出する。図35に示すハッチングの欄は、対応する症例病変CLが無いため、個別類似度ISMが算出されない箇所を示す。総合類似度算出部66は、3個の関心領域ROIに対して、2種4個の症例病変CLを対応させて算出した個別類似度ISMの完全異種の組み合わせを作り、その組み合わせを総合類似度TSMの算出対象と判定する。「C103」の症例では、完全異種の組み合わせは、「B1、F」、「B2、F」などである。これらは、種類数と関心領域ROIの数とが異なるが、同種の症例病変CLとの対応により算出した同種の個別類似度ISMを含んでいないため、完全異種の組み合わせである。一方、「B1、B2」などの完全同種の組み合わせは対象外と判定される。図45に示すとおり、「C103」において、完全異種の組み合わせは、18通りとなり、総合類似度TSMは、「C103−1」〜「C103−18」の18個となる。
類似症例検索部67は、図46に示す類似症例リスト81を作成する。ここで、類似症例リスト81において、「C103」の症例の総合類似度TSM(1.67」)は、2種類の個別類似度ISMの合計であり、3種類の個別類似度ISMの合計である他の症例の総合類似度TSMの値と同列に比較できない。そのため、類似症例検索部67は、算出要素となる個別類似度ISMの数が異なる総合類似度TSMを比較できるように、正規化を行う。正規化された類似度である正規化値に基づいて、各症例の順位付けが行われる。正規化は、例えば、総合類似度TSMを、それぞれ個別類似度ISMの数で割る処理である。
まず、症例IDが「C103」については、個別類似度ISMの数が2個であるため、総合類似度TSM(「1.67」)を2で割った値(「0.835」)が正規化値となる。一方、個別類似度ISMが3個である他の症例は、総合類似度TSMを3で割った値が正規化値となる。例えば、症例IDが「C106」の場合には、総合類似度TSMの値が「2.34」であるので、これを3で割った値「0.78」が正規化値となる。
本例によれば、症例DB23内において、症例病変CLの種類数が関心領域ROIの数未満であっても、症例病変CLの種類数が複数有る症例については、検索対象に含めることができるため、症例DBへの症例の登録件数が少ない場合でも、それらを有効利用して類似症例検索を行うことができる。
また、第2実施形態の変形例として、関心領域ROIの指定数の変更に応じて、類似症例検索サーバ17が再検索を行うようにしてもよい。例えば、1回目の類似症例検索要求は、関心領域ROIの指定数を2で発行する。類似症例検索サーバ17は、その指定に基づいて類似症例検索を行って、類似症例リスト74を検索結果として配信する。医師は、その検索結果を見て、新たに関心領域ROIを追加指定して、2回目の類似症例検索要求を発行する。類似症例検索サーバ17は、追加された指定を含む要求に基づいて、類似症例検索を行って、類似症例リスト74を検索結果として配信する。こうすれば、医師は、検索結果を見ながら、必要に応じて検索条件を変更できるので、適切な類似症例を探しやすい。関心領域ROIの指定数は、増やすだけでなく、減らすことが可能であってもよい。
また、類似症例検索サーバ17は、再検索に備えて、ISMテーブル71やTSMテーブル72など、類似症例検索の中間処理や処理結果として作成されたデータを保存しておくとよい。再検索の際にこうしたデータを利用すれば、検索時間を短縮できる。
上記第1実施形態及び第2実施形態において、総合類似度TSMを複数の個別類似度ISMの単なる合計値とした例で説明したが、算出要素となる個別類似度ISMの値に基づいて、重み付け処理を行ってもよい。重み付け処理の例としては、例えば、個別類似度ISMが閾値以上である場合に、正の重み付け係数を掛けて、総合類似度TSMを高くしたり、反対に、個別類似度ISMが閾値未満である場合に、負の重み付け係数を掛けて、総合類似度TSMを低くする例が考えられる。関心領域ROIに酷似した症例病変CLが1つでもある場合には、その症例が診断において価値を持つ場合もある。正の重み付けを行うことで、そうした症例を類似症例として探しやすくなる。
また、上記各実施形態では、症例病変CLの種類について、予め種類判定を行い、判定した種類情報を症例DB23に格納した例で説明したが、関心領域ROIと同様に、検索の時点で特徴量CACに基づく種類判定を行ってもよい。もちろん、こうすると検索処理に時間が掛かるため、予め種類情報を格納しておくことが好ましい。
[第3実施形態]
上記各実施形態では、関心領域ROIに含まれる対象病変OLの種類を判定することなく症例病変CLと対応させて個別類似度ISMを算出して、類似症例検索を行っている。しかし、図47〜図51に示す第3実施形態のように、関心領域ROIに含まれる対象病変OLと症例病変CLについて、病変の種類の判定を行って、同種の病変同士のみを対応させて個別類似度ISMを算出して、類似症例検索を行ってもよい。図6に示したように、病変パターンは典型的には病変の種類によって区別される。そのため、特徴量を算出した段階で、特徴量に基づいて病変の種類を判定することができる。第3実施形態は、このような病変の種類判定を利用する形態である。
図47に示すように、第3実施形態では、類似症例検索サーバ17には、病変種類判定部86が設けられる。図48に示すように、病変種類判定部86は、特徴量算出部62が算出した関心領域ROIの特徴量RACに基づいて、関心領域ROIに含まれる対象病変OLの種類を判定する。病変種類判定部86は、例えば、各判別器62A〜62Hが出力する判別器出力値のうち、最大の判別器出力値を示す判別器に対応する病変の種類を、関心領域ROIに含まれる対象病変OLの種類と判定する。本例の場合には、「B:空洞」の判別器62Bの判別器出力値が最大であるため、対象病変OLの種類は「B:空洞」と判定される。
図49に示すように、個別類似度算出部65は、関心領域ROIと、各症例病変CLとの個別類似度ISMを算出する際に、病変の種類が同種のもの同士についてのみ個別類似度ISMを算出し、病変の種類が異なるものについては、個別類似度ISMを算出しない。本例においては、No1の関心領域ROIの種類は「B:空洞」であるので、「C101」の症例の中から、種類が「B:空洞」である、No3の症例病変CLとの個別類似度ISMのみ算出する。1件の症例の中に、関心領域ROIと同種の症例病変CLが複数個登録されている場合には、複数個の個別類似度ISMが算出される。また、関心領域ROIと同種の症例病変CLが1個も登録されていない場合には、その症例については、個別類似度ISMは算出されない。
これにより、個別類似度算出部65の算出処理時間を減らすことができる。また、個別類似度ISMの数が減るため、図50に示すように、総合類似度TSMの算出対象となる完全異種の組み合わせの数も減る。3種5個の「C102」の症例の場合には、第1実施形態で説明したように種類を判定しないと、完全異種の組み合わせが18通り有るのに対して、本例のように種類判定をすると、完全異種の組み合わせは3通りとなる。総合類似度算出部66は、この組み合わせに対応して、C102−1〜C102−3の3つの総合類似度TSMを算出する。
このように、第3実施形態は、病変の種類を区別せずに個別類似度ISMを算出する第1実施形態と比較して、個別類似度ISM及び総合類似度TSMの算出時間が短くなる。また、ISMテーブル71やTSMテーブル72のサイズも小さくなるため、メモリの作業領域も少なくて済む。そのため、類似症例検索サーバ17のCPU41Bに掛かる負荷が軽減されるため、検索時間の短縮化を図ることができる。
ただし、予め病変の種類を判定して同種のものについてのみ個別類似度ISMをする態様は、病変の種類の判定精度が低い場合には、類似症例として検索すべき症例病変CLが抜け落ちる、いわゆる検索漏れの懸念もある。特に、図11で示すように、複数の対象病変OLを1つの関心領域ROIとして指定する場合には、種類判定によって、複数の対象病変OLのいずれかに偏った判定が下されることになる。そのため、第5実施形態については、病変の種類の判定精度を見極めた上で実施することが好ましい。
[第4実施形態]
図51及び図52に示す第4実施形態は、類似症例検索サーバ17ではなく、診療科端末11において関心領域ROIの特徴量を算出する形態である。第3実施形態のように診療科端末11で関心領域ROIの特徴量を算出してもよく、この場合には、類似症例検索サーバ17には特徴量算出部62を設けずに、図12に示す、個別類似度算出部65、総合類似度算出部66、類似症例検索部67など、特徴量算出部62以外の構成が設けられる。
図51に示すように、診療科端末11には、特徴量算出部62と同様の特徴量算出部88が設けられる。特徴量算出部88は、例えば、診療科端末11にインストールされるソフトウエアをCPU41Aが実行することによって実現される。特徴量算出部88は、検査画像19を含む検査データ21及びGUI制御部53を通じて入力される関心領域ROIの領域情報に基づいて、特徴量RACを算出する。検索要求発行部54は、関心領域ROIに対応する画像と、算出した特徴量RACとを添付して、類似症例検索要求を発行する。
図52に示すように、類似症例検索要求は、診療科端末11から類似症例検索サーバ17に送信される。類似症例検索サーバ17は、受信した類似症例検索要求に基づいて、類似検索を行い、検索結果を診療科端末11に配信する。第7実施形態においては、類似症例検索サーバ17の要求受付部61が特徴量取得部として機能する。
上記各実施形態では、本発明の類似症例検索装置を、診療科端末11からの要求に基づいて類似症例検索を行う類似症例検索サーバ17の形態で説明したが、もちろん、類似症例検索サーバ17を使わずに、診療科端末11が症例DBサーバ16にアクセスして類似症例を検索するというように、診療科端末11に類似症例検索機能を設けてもよい。この場合には、診療科端末11が類似症例検索装置となる。
また、上記各実施形態では、類似症例検索サーバ17と症例DBサーバ16を、別々のサーバで構成しているが、これらを統合して1つのサーバで構成してもよい。このように、1つのサーバに複数の機能を統合したり、機能毎にサーバを分離してもよい。
なお、コンピュータシステムのハードウェア構成は種々の変形が可能である。例えば、類似症例検索サーバ17に関して、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のサーバコンピュータで構成することも可能である。このように、コンピュータシステムのハードウェア構成は、処理能力、安全性、信頼性など要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、症例DB23やAP50などのプログラムについて、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
また、上記各実施形態では、類似症例検索サーバ17について、1つの医療施設内で利用される形態で説明したが、複数の医療施設が利用できる形態としてもよい。
具体的には、上記各実施形態では、類似症例検索サーバ17は、診療科端末11など1つの医療施設内に設置されるクライアント端末がLANを介して通信可能に接続され、クライアント端末からの要求に基づいて、類似症例検索に関するアプリケーションサービスを提供する形態である。複数の医療施設で利用可能にするには、類似症例検索サーバ17は、例えば、インターネットや公衆通信網などのWAN(Wide Area Network)を介して、複数の医療施設に設置されるクライアント端末と通信可能に接続される。そして、類似症例検索サーバ17は、複数の医療施設のクライアント端末からの要求を受け付けて、各クライアント端末に対して類似症例検索に関するアプリケーションサービスを提供する。
この場合の類似症例検索サーバ17の設置場所や運営主体は、例えば医療施設とは別のデータセンタでもよいし、複数の医療施設のうちの1つでもよい。また、WANを利用する場合には、情報セキュリティを考慮して、VPN(Virtual Private Network)を構築したり、HTTPS(Hypertext Transfer Protocol Secure)などのセキュリティレベルの高い通信プロトコルを使用することが好ましい。
本発明は、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採り得ることはもちろんである。例えば、本例では、検査画像の例として、CT、MRI、単純X線画像を例としたが、マンモグラフィーや内視鏡など他のモダリティで撮影した検査画像に対しても適用することができる。また、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、本発明を実現するプログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。
11 診療科端末
16 症例DBサーバ
17 類似症例検索サーバ
19 検査画像
21 検査データ
62 特徴量算出部
65 個別類似度算出部
66 総合類似度算出部
67 類似症例検索部
67A リスト作成部
67B 代表値判定部
69 出力制御部
CL 症例病変
OL 対象病変
ROI 関心領域

Claims (20)

  1. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する類似症例検索装置において、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得部と、
    前記関心領域と、前記症例画像内に存在する複数件の症例病変とを1対1で対応させて、対応させた前記関心領域の特徴量と前記症例病変の特徴量とを比較して、前記関心領域毎の個別類似度をそれぞれ算出する個別類似度算出部と、
    複数の前記関心領域に対してそれぞれ算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部であり、同一症例内の種類が異なる複数の前記症例病変と前記複数の関心領域をそれぞれ組み合わせて構成される完全異種の組み合わせに対してのみ、前記個別類似度を用いて総合類似度を算出する総合類似度算出部と、
    前記完全異種の組み合わせに対応する前記総合類似度に基づいて、前記類似症例を検索する類似症例検索部と、を備えている類似症例検索装置。
  2. 前記総合類似度算出部は、前記完全異種の組み合わせに関して、前記関心領域の個数と、前記症例病変の種類数及び個数とに応じた数の組み合わせを作り、前記完全異種の組み合わせ毎に前記総合類似度を算出することを特徴とする請求項1に記載の類似症例検索装置。
  3. 同一症例内に含まれる複数の異種の前記症例病変のうち少なくとも1種に関して、同種の前記症例病変が複数個存在する場合には、前記総合類似度算出部は、同種の複数個の前記症例病変を区別して、区別した同種の前記症例病変毎に前記完全異種の組み合わせを作ることを特徴とする請求項1又は2に記載の類似症例検索装置。
  4. 前記類似症例検索部は、前記総合類似度に基づいて、複数件の前記類似症例に関する情報をリスト化した類似症例リストを作成することを特徴とする請求項1〜3のいずれか1項に記載の類似症例検索装置。
  5. 前記類似症例リストにおいて、前記類似症例は、前記総合類似度順にソートされることを特徴とする請求項4に記載の類似症例検索装置。
  6. 前記類似症例リストの表示項目には、前記総合類似度の値と前記総合類似度に関する内訳情報とを含み、前記内訳情報は、前記個別類似度を算出するための前記関心領域と前記症例病変との対応関係を含むことを特徴とする請求項4又は5に記載の類似症例検索装置。
  7. 前記類似症例リストには、前記総合類似度の値に加えて、前記総合類似度の算出要素となる複数の前記個別類似度の値が表示されることを特徴とする請求項6に記載の類似症例検索装置。
  8. 前記類似症例リストには、前記関心領域と前記症例病変のそれぞれの画像が表示されることを特徴とする請求項4〜7のいずれか1項に記載の類似症例検索装置。
  9. 前記症例データベースには、前記症例病変の前記病変の種類の情報が格納されていることを特徴とする請求項1〜8のいずれか1項に記載の類似症例検索装置。
  10. 前記総合類似度は、前記完全異種の組み合わせに含まれる複数の前記個別類似度の総和であることを特徴とする請求項1〜9のいずれか1項に記載の類似症例検索装置。
  11. 前記個別類似度算出部は、前記関心領域毎に、複数の前記症例病変を対応させて算出した複数の前記個別類似度を記録した個別類似度テーブルを作成することを特徴とする請求項1〜10のいずれか1項に記載の類似症例検索装置。
  12. 前記総合類似度算出部は、前記関心領域毎の複数の前記個別類似度テーブルのそれぞれから、1つずつ前記個別類似度を読み出して、読み出した複数の前記個別類似度を要素として、前記完全異種の組み合わせを作ることを特徴とする請求項11に記載の類似症例検索装置。
  13. 前記個別類似度算出部は、前記症例のうち、少なくとも前記症例病変の種類が複数の症例については前記個別類似度の算出対象とし、前記症例病変の種類が1種類の症例については前記個別類似度の算出対象外とすることを特徴とする請求項1〜12のいずれか1項に記載の類似症例検索装置。
  14. 前記総合類似度算出部は、前記総合類似度を算出する要素となる前記個別類似度の値に応じて、前記総合類似度に対して重み付け処理を行うことを特徴とする請求項1〜13のいずれか1項に記載の類似症例検索装置。
  15. 前記重み付け処理は、前記個別類似度が閾値以上の場合に、前記総合類似度を高くする処理であることを特徴とする請求項14に記載の類似症例検索装置。
  16. 前記類似症例検索部は、前記症例病変の種類数が、前記関心領域の数未満の前記症例については、検索の対象外とすることを特徴とする請求項1〜15のいずれか1項に記載の類似症例検索装置。
  17. 前記類似症例検索部は、前記症例病変の種類数が、前記関心領域の数未満の前記症例についても、前記症例病変の種類数が複数有る場合には、検索の対象とすることを特徴とする請求項1〜15のいずれか1項に記載の類似症例検索装置。
  18. 1つの前記関心領域と、1件の症例に含まれる複数の前記症例病変とを対応させることにより、複数の前記総合類似度が算出された場合に、複数の前記総合類似度の中から、1つの代表値を判定する代表値判定部を有しており、
    前記類似症例検索部は、前記代表値に基づいて、類似症例を検索することを特徴とする請求項1〜17のいずれか1項に記載の類似症例検索装置。
  19. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する類似症例検索方法において、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得ステップと、
    前記関心領域と、前記症例画像内に存在する複数件の症例病変とを1対1で対応させて、対応させた前記関心領域の特徴量と前記症例病変の特徴量とを比較して、前記関心領域毎の個別類似度をそれぞれ算出する個別類似度算出ステップと、
    複数の前記関心領域に対してそれぞれ算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部であり、同一症例内の種類が異なる複数の前記症例病変と前記複数の関心領域をそれぞれ組み合わせて構成される完全異種の組み合わせに対してのみ、前記個別類似度を用いて総合類似度を算出する総合類似度算出ステップと、
    前記完全異種の組み合わせに対応する前記総合類似度に基づいて、前記類似症例を検索する類似症例検索ステップと、
    を備えている類似症例検索方法。
  20. 症例画像を1枚以上含む症例が複数件登録された症例データベースの中から、患者の診断に用いる検査画像に類似する類似症例を検索する処理をコンピュータに実行させる類似症例検索プログラムにおいて、
    前記検査画像を1枚以上含む検査データにおいて、前記検査画像内に存在する病変である対象病変を含むように指定される関心領域であり、異なる対象病変をそれぞれ1つ以上含む複数の関心領域に関して、前記関心領域毎の特徴量を取得する特徴量取得ステップと、
    前記関心領域と、前記症例画像内に存在する複数件の症例病変とを1対1で対応させて、対応させた前記関心領域の特徴量と前記症例病変の特徴量とを比較して、前記関心領域毎の個別類似度をそれぞれ算出する個別類似度算出ステップと、
    複数の前記関心領域に対してそれぞれ算出した複数の前記個別類似度に基づいて、総合類似度を算出する総合類似度算出部であり、同一症例内の種類が異なる複数の前記症例病変と前記複数の関心領域をそれぞれ組み合わせて構成される完全異種の組み合わせに対してのみ、前記個別類似度を用いて総合類似度を算出する総合類似度算出ステップと、
    前記完全異種の組み合わせに対応する前記類似症例を検索する類似症例検索ステップと、
    を前記コンピュータに実行させることを特徴とする類似症例検索プログラム。
JP2014066286A 2014-03-27 2014-03-27 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム Active JP6099593B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014066286A JP6099593B2 (ja) 2014-03-27 2014-03-27 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
CN201580016673.9A CN106164903B (zh) 2014-03-27 2015-03-04 类似病例检索装置、以及类似病例检索方法
PCT/JP2015/056370 WO2015146520A1 (ja) 2014-03-27 2015-03-04 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
US15/275,851 US10839511B2 (en) 2014-03-27 2016-09-26 Similar case search device, similar case search method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014066286A JP6099593B2 (ja) 2014-03-27 2014-03-27 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム

Publications (2)

Publication Number Publication Date
JP2015191286A true JP2015191286A (ja) 2015-11-02
JP6099593B2 JP6099593B2 (ja) 2017-03-22

Family

ID=54195050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014066286A Active JP6099593B2 (ja) 2014-03-27 2014-03-27 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム

Country Status (4)

Country Link
US (1) US10839511B2 (ja)
JP (1) JP6099593B2 (ja)
CN (1) CN106164903B (ja)
WO (1) WO2015146520A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018041434A (ja) * 2016-09-01 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2019046152A (ja) * 2017-09-01 2019-03-22 富士通株式会社 診断支援用コンピュータプログラム、診断支援装置及び診断支援方法
US10586331B2 (en) 2016-09-01 2020-03-10 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and non-transitory storage medium having stored therein program
CN113257431A (zh) * 2021-06-18 2021-08-13 武汉泰乐奇信息科技有限公司 一种基于虚拟人虚拟病例的自然人病例生成方法和系统
JP2021177407A (ja) * 2016-06-24 2021-11-11 ベックマン コールター, インコーポレイテッド 画像アトラスシステム及び方法
WO2024194921A1 (ja) * 2023-03-17 2024-09-26 日本電気株式会社 病理診断支援装置、病理診断支援方法、及び、記録媒体

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656542B1 (ko) * 2015-12-22 2024-04-12 삼성메디슨 주식회사 초음파 영상들을 디스플레이하는 방법 및 장치.
JP6855850B2 (ja) * 2017-03-10 2021-04-07 富士通株式会社 類似症例画像検索プログラム、類似症例画像検索装置及び類似症例画像検索方法
US11139080B2 (en) 2017-12-20 2021-10-05 OrthoScience, Inc. System for decision management
JPWO2020044736A1 (ja) * 2018-08-31 2021-08-10 富士フイルム株式会社 類似度決定装置、方法およびプログラム
CN112638262B (zh) * 2018-08-31 2024-05-14 富士胶片株式会社 相似度确定装置、方法及程序
JP7091475B2 (ja) 2018-11-27 2022-06-27 富士フイルム株式会社 類似度決定装置、方法およびプログラム
JP7170747B2 (ja) * 2018-11-27 2022-11-14 富士フイルム株式会社 類似度決定装置、方法およびプログラム
CN110597946B (zh) * 2019-08-05 2024-04-23 腾讯科技(深圳)有限公司 一种案例存储方法、装置、设备及存储介质
KR102516154B1 (ko) * 2019-12-31 2023-03-30 주식회사 코어라인소프트 정량화 파라미터를 이용하는 의료 영상 분석 시스템 및 유사 증례 검색 시스템, 및 그 시스템에서 실행되는 방법
CN117009829A (zh) * 2023-10-07 2023-11-07 成都华栖云科技有限公司 一种录播课程的相似度识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285141A (ja) * 1999-01-27 2000-10-13 Ricoh Co Ltd 画像検索装置,画像分類装置およびそれらの装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2013065090A1 (ja) * 2011-11-04 2013-05-10 パナソニック株式会社 類似症例検索装置および類似症例検索方法
WO2015015699A1 (ja) * 2013-08-01 2015-02-05 パナソニック株式会社 類似症例検索装置、症例データベース、類似症例検索方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544352A (en) * 1993-06-14 1996-08-06 Libertech, Inc. Method and apparatus for indexing, searching and displaying data
JP4767759B2 (ja) * 2006-06-02 2011-09-07 富士フイルム株式会社 読影レポート作成装置
JP5153281B2 (ja) * 2007-09-28 2013-02-27 キヤノン株式会社 診断支援装置及びその制御方法
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及系统
JP5094775B2 (ja) 2009-03-31 2012-12-12 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
CA2774957C (en) * 2009-10-09 2018-06-05 Edgenet, Inc. Automatic method to generate product attributes based solely on product images
JP5618787B2 (ja) * 2010-11-29 2014-11-05 キヤノン株式会社 レポート作成支援装置及びその作成支援方法、並びにプログラム
WO2012104949A1 (ja) * 2011-01-31 2012-08-09 パナソニック株式会社 症例検索装置および症例検索方法
JP4979842B1 (ja) * 2011-06-30 2012-07-18 パナソニック株式会社 類似症例検索装置および類似症例検索方法
CN102958425B (zh) * 2011-06-30 2015-09-23 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
WO2013018363A1 (ja) * 2011-08-04 2013-02-07 パナソニック株式会社 類似症例検索装置および類似症例検索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285141A (ja) * 1999-01-27 2000-10-13 Ricoh Co Ltd 画像検索装置,画像分類装置およびそれらの装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2013065090A1 (ja) * 2011-11-04 2013-05-10 パナソニック株式会社 類似症例検索装置および類似症例検索方法
WO2015015699A1 (ja) * 2013-08-01 2015-02-05 パナソニック株式会社 類似症例検索装置、症例データベース、類似症例検索方法、およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021177407A (ja) * 2016-06-24 2021-11-11 ベックマン コールター, インコーポレイテッド 画像アトラスシステム及び方法
JP7275202B2 (ja) 2016-06-24 2023-05-17 ベックマン コールター, インコーポレイテッド 画像アトラスシステム及び方法
JP2018041434A (ja) * 2016-09-01 2018-03-15 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
US10586331B2 (en) 2016-09-01 2020-03-10 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and non-transitory storage medium having stored therein program
JP2019046152A (ja) * 2017-09-01 2019-03-22 富士通株式会社 診断支援用コンピュータプログラム、診断支援装置及び診断支援方法
CN113257431A (zh) * 2021-06-18 2021-08-13 武汉泰乐奇信息科技有限公司 一种基于虚拟人虚拟病例的自然人病例生成方法和系统
CN113257431B (zh) * 2021-06-18 2021-09-28 武汉泰乐奇信息科技有限公司 一种基于虚拟人虚拟病例的自然人病例生成方法和系统
WO2024194921A1 (ja) * 2023-03-17 2024-09-26 日本電気株式会社 病理診断支援装置、病理診断支援方法、及び、記録媒体

Also Published As

Publication number Publication date
WO2015146520A1 (ja) 2015-10-01
US20170011187A1 (en) 2017-01-12
JP6099593B2 (ja) 2017-03-22
US10839511B2 (en) 2020-11-17
CN106164903B (zh) 2019-06-18
CN106164903A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
JP6099593B2 (ja) 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6109778B2 (ja) 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6099592B2 (ja) 類似症例検索装置及び類似症例検索プログラム
JP5383431B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9626758B2 (en) Integration of medical software and advanced image processing
US7933437B2 (en) Information processing apparatus and its control method and data processing system
JP5670079B2 (ja) 医用画像表示装置および方法、並びにプログラム
JP4905967B2 (ja) 類似症例検索装置、方法、およびプログラム
JP5426105B2 (ja) 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポートシステムの作動方法
JP6027065B2 (ja) 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
JP4976164B2 (ja) 類似症例検索装置、方法、およびプログラム
JP5661890B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2004005364A (ja) 類似画像検索システム
JPWO2012104949A1 (ja) 症例検索装置および症例検索方法
KR20140024788A (ko) 고급 멀티미디어 구조화 리포트
JP2008200373A (ja) 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
US20130159022A1 (en) Clinical state timeline
JP5739700B2 (ja) 類似症例閲覧システム、類似症例閲覧方法
US20110145274A1 (en) Exemplary Data Guidance in a Multi-Modality Data Viewer
JP5631914B2 (ja) データベース検索装置、方法、及び、プログラム
JP2008217426A (ja) 症例登録システム
EP3471106A1 (en) Method and system for supporting clinical decisions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170221

R150 Certificate of patent or registration of utility model

Ref document number: 6099593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250