JP5810251B1 - 情報端末の制御方法及びプログラム - Google Patents

情報端末の制御方法及びプログラム Download PDF

Info

Publication number
JP5810251B1
JP5810251B1 JP2015533775A JP2015533775A JP5810251B1 JP 5810251 B1 JP5810251 B1 JP 5810251B1 JP 2015533775 A JP2015533775 A JP 2015533775A JP 2015533775 A JP2015533775 A JP 2015533775A JP 5810251 B1 JP5810251 B1 JP 5810251B1
Authority
JP
Japan
Prior art keywords
display
similar
displayed
medical image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015533775A
Other languages
English (en)
Other versions
JPWO2015155807A1 (ja
Inventor
近藤 堅司
堅司 近藤
和豊 高田
和豊 高田
和紀 小塚
和紀 小塚
浩彦 木村
浩彦 木村
豊彦 坂井
豊彦 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP5810251B1 publication Critical patent/JP5810251B1/ja
Publication of JPWO2015155807A1 publication Critical patent/JPWO2015155807A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/465Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Library & Information Science (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Child & Adolescent Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

情報端末(10)のディスプレイ(101a)に表示されるレイアウト領域(720)に医用情報管理システム(200)で管理されている医用画像を表示させ、症例表示領域(710)に症例検索システム(300)から受信した類似症例のサムネイル画像を表示させる。レイアウト領域(720)には、診断対象症例のサムネイル画像を表示する表示ボックス(721)と、症例表示領域(710)に表示されたサムネイル画像の中から選択されたサムネイル画像を表示する表示ボックス(722〜724)とが隣接して配置されている。

Description

本発明は、読影対象の医用画像と類似する類似医用画像を検索するための情報端末の制御方法及びプログラムに関する。
近年、例えば、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等の医用画像装置が発達及び普及している。これらCT又はMRI等は、デジタル化された高精細な医用画像を大容量で取得することを可能にした。また、医師が読影した医用画像は読影レポートと共にPACS(Picture Archiving and Communication Systems)に順次蓄積されつつある。ここで、例えば特許文献1に開示されるように、新たな読影の参考とするため、読影対象の医用画像と類似した過去の医用画像を、PACSに蓄積済の過去症例から検索する技術が開発され始めている。
しかしながら、更なる改善が必要とされていた。
特開2008−257292号公報 特開2012−35124号公報
大沢 哲、他4名、"画像診断を支援する類似症例検索システム「SYNAPSE Case Match」の開発"、富士フイルム研究報告、富士フイルム株式会社、平成25年3月27日、第58号、p. 11−14
本開示の一態様は、
読影対象候補の医用画像を管理する医用情報管理システムと接続し、医用画像を登録する医用画像データベースを参照して医用画像を検索する症例検索システムと接続し、ディスプレイを有する情報端末の制御方法であって、
前記ディスプレイには、前記医用情報管理システムで管理されている読影対象候補の中から選択された一の読影対象の医用画像が表示され、
前記情報端末のコンピュータに対して、
前記医用画像の中の関心領域を示す指定情報を検知させ、
前記指定情報によって示された関心領域に応じて、前記関心領域の特徴量と所定の類似度を有する類似医用画像を前記症例検索システムから受信させ、
前記ディスプレイに表示される第1表示画面の第1表示領域に前記医用情報管理システムで管理されている前記医用画像を表示させ、前記第1表示画面の前記第1表示領域とは異なる第2表示領域に前記症例検索システムから受信した複数の類似医用画像をサムネイル表示させ、前記第1表示領域は、前記医用画像を表示する第1表示ボックスと前記第2表示領域にサムネイル表示された前記類似医用画像の中から選択された第1類似医用画像を表示する第2表示ボックスとを隣接させて有し、
前記第2表示領域にサムネイル表示された前記類似医用画像の中から前記第1類似医用画像を前記第2表示ボックスに移動させる操作を検知すると、前記第1類似医用画像を前記第2表示ボックスに表示させて前記第1類似医用画像を前記医用画像に隣接させて表示させ
前記第2表示領域に含まれる前記複数の類似医用画像の中から選択された第1類似医用画像が、前記第1表示領域に含まれる第2表示ボックスに移動されたことを検知すると、前記医用画像と前記第1類似医用画像とを対比して配置した第2表示画面を前記第1表示画面とは別に表示させる
上記態様により、更なる改善が実現できる。
本実施の形態における情報端末が適用された病院情報システムの全体構成図である。 情報端末、医用情報管理システム、及び症例検索システムの構成を示すブロック図である。 2台のディスプレイの外観図である。 情報端末の実装形態の構成例を示す図である。 情報端末にて類似症例検索アプリケーションを起動した直後にディスプレイに表示される基本画面の一例を示す図である。 情報端末にて類似症例検索アプリケーションを起動した直後にディスプレイに表示される基本画面の一例を示す図である。 症例表示領域に表示されるある1つの類似症例の表示領域を取り出して示した図である。 病名リスト表示領域の拡大図である。 「真菌症」で類似症例が絞り込まれたときの基本画面を示す図である。 「転移性肺癌」で類似症例が絞り込まれたときの基本画面を示す図である。 分布リスト表示領域の拡大図である。 チェックマークが入力された分布リスト表示領域を示す図である。 気道性の病変分布で絞り込みがかけられた基本画面を示した図である。 複数のチェックマークが入力された分布リスト表示領域を示す図である。 複数の病変分布で絞り込みがかけられた基本画面を示した図である。 履歴情報への登録処理を示すフローチャートである。 履歴情報管理部に格納される履歴情報の一例を示す図である。 履歴管理領域が表示された基本画面を示した図である。 表示スペースが2行に拡大された履歴管理領域が表示された基本画面を示す図である。 スクロールバーが表示された履歴管理領域を示す図である。 初期状態から履歴管理領域が表示される態様を採用した場合の基本画面を示す図である。 患者情報のデータ構成を示す図である。 図22に示す患者情報に登録された検査情報のデータ構成を示す図である。 医用画像データベースのデータ構成を示す図である。 診断レポートのデータ構成を示す図である。 類似症例データのデータ構成を示す図である。 スライス画像に設定された関心領域を模式的に示した図である。 情報端末が、医用情報管理システムから診断対象症例を取得した後、症例検索システムに対して類似症例検索の要求を行い、症例検索システムが類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。 検査リストの画面図である。 検査が選択された後の検査リストの画面図である。 病変に対して関心領域を設定した後の画面の一例である。 症例検索システムが類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末に返すまでの処理を示すシーケンス図である。 図32のS670に示す初期の基本画面を生成する処理の詳細を示すフローチャートである。 図33に示すS1500の処理を示すフローチャートである。 図33のS1300で生成される病名リストのデータ構成を示す図である。 病名リスト表示領域の第1表示例を示した図である。 病名リスト表示領域の第2表示例を示した図である。 病名リスト表示領域の第3表示例を示した図である。 図37に示す病名リスト表示領域の画面遷移を示す図である。 図33のS1400で生成される分布リストのデータ構成を示す図である。 表示ボックスが3行2列で設定されたレイアウト領域を持つ基本画面を示す図である。 レイアウト管理情報の一例を示す図である。 レイアウト管理情報の一例を示す図である。 表示ボックス管理情報のデータ構成を示す図である。 医用画像ビューワの起動処理を示すフローチャートである。 症例検索システムが画像特徴を抽出する態様を採用した場合の情報端末、医用情報管理システム、及び症例検索システムのブロック図である。 情報端末が、医用情報管理システムから診断対象症例を取得した後、症例検索システムが類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。 症例検索システムが類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末に返すまでの処理を示すシーケンス図である。 情報端末において類似症例のサムネイル画像がドラッグアンドドロップ操作される際の処理を示すシーケンス図である。 図49に示すS800の処理の詳細を示すフローチャートである。 症例表示領域に表示されたサムネイル画像のうち1のサムネイル画像が選択されたときの基本画面を示す図である。 図51で選択された1のサムネイル画像がドラッグされている様子を示す図である。 表示ボックスの色が変化された基本画面を示す図である。 レイアウト領域にサムネイル画像が表示されたときの基本画面を示す図である。 類似症例のスライスIDが登録された表示ボックス管理情報を示した図である。 医用画像ビューワにスライス画像が表示されたときのディスプレイの基本画面を示した図である。 2台のディスプレイの表示関係を示す図である。 2台のディスプレイの表示関係を示す図である。 2台のディスプレイの表示関係を示す図である。 2台のディスプレイの表示関係を示す図である。 全ての表示ボックスがサムネイル画像で埋まっている状態で別のサムネイル画像がドラッグされている状態の基本画面を示す図である。 表示ボックスにマークが表示された基本画面を示す図である。 図50の変形例を示すフローチャートである。 図28及び図32のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。 図49のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。 情報端末において類似症例のサムネイル画像がドラッグアンドドロップされる際の処理をアプリケーションのレベルで着目したときのシーケンス図である。 分布リスト表示領域に表示された病変分布が選択されたときの処理を示すフローチャートである。 第1分布情報が選択されたときの基本画面を示した図である。 第2分布情報が選択されたときの基本画面を示した図である。 第2分布情報が選択されたときの基本画面を示した図である。 胸膜領域を説明する図である。 胸膜領域情報が追加された類似症例データのデータ構成を示す図である。 第2表示画面の表示例を示す図である。 第2表示画面の表示例を示す図である。 ユーザによりシリーズが選択された際にディスプレイに表示されるスライス画像を示した図である。
(本開示に係る一態様を発明するに至った経緯)
まず、本開示に係る一態様の着眼点について説明する。
特許文献1は、診断対象画像に基づく画像診断時に疾患の判断に有用な症例画像又はその疾患に関する統計情報等を提示する画像診断支援装置を開示する。当該画像診断支援装置による検索結果の画面は、診断対象画像及び疾患別の代表症例の情報を表示する。具体的には、前記検索結果の画面は、i)上位3つの疾患A、D、Gの代表症例の画像、ii)疾患別に診断対象画像との類似度、登録症例数及び代表症例数、iii)検索件数(検索された疾患の総数)、及び、iv)一画面に表示できない他の疾患の情報を参照するための「ページ送り」のソフトボタン等を表示する(段落[0062]から[0063]及び図6(E))。
特許文献1では、前記検索結果の画面において、疾患別毎の代表症例の画像は、診断対象画像から近い位置から離れた位置へと順に表示される。そのため、診断対象画像と疾患別毎の代表症例の画像とを比較する際、医師が比較したい代表症例の画像の表示位置によっては(例えば、特許文献1図6(E)の疾患G)、他の代表症例の画像を間に挟んで、医師の視線移動は大きくなる。この場合、視線移動に伴う身体的負担の増加に加え、診断精度の低下も招くことになる。なぜならば、医師が診断対象画像と代表症例の画像とを比較する際、医師は、画像中の病変部に相当する陰影の位置、サイズ、形状及び分布等多くの項目について詳細に比較を行なっている。そのため、診断対象画像と代表症例の画像とが隣接せずに離れた位置に表示されている場合、上記詳細な比較を行なうことが難しく、その結果診断精度が低下すると考えられる。
特許文献2は、同一患者の複数シリーズの断層画像データについて比較読影を容易に行なうための医用画像表示装置を開示する。具体的には、基準/比較対象画像データ表示画面は、基準断層画像データ表示領域、サムネイル画像データ表示領域、及び、比較対象画像データ表示領域を有する。基準断層画像データは前記基準断層画像データ表示領域に表示される。また、比較サムネイル画像データは前記サムネイル画像データ表示領域に表示される。この状態において、前記サムネイル画像データ表示領域に表示される比較サムネイル画像データが前記比較対象断層画像データ表示領域にドラッグ&ドロップされることにより、前記比較サムネイル画像データに対応する比較断層画像データが前記比較対象診断画像データ表示領域に表示される(段落[0046]から[0049]及び図7)。ここで、比較読影とは、同一の患者に対し異なる画像診断装置あるいは撮影条件によって得られた画像データを用いた比較読影又は同一の患者に対し同一画像診断装置によって得られた過去及び最新の画像データを用いた比較読影をいう。
このように、特許文献2では、同一患者の画像を比較することを前提とするため、他の患者の画像と比較することについての記載は一切ない。同一患者の画像であれば、画像中の病変部に相当する陰影の位置等はある程度同じである。そのため、断層画像データを縮小したサムネイル画像を用いて比較するより、拡大された断層画像データを用いて詳細に比較する方が効率的に比較読影を行なうことができる。このようなことから、医用画像同士を比較する際、サムネイル画像の段階で、比較サムネイル画像データを基準断層画像データと隣接させて表示させ、前記比較サムネイル画像データの絞り込みを行なう思想が開示されていない。
非特許文献1は、病変画像を用いて過去の類似症例を検索する機能により、上述のPACS等に蓄積された臨床知識から、瞬時に的確な情報を抽出して提示し、医師の画像診断をサポートする類似症例検索システムを開示する。具体的には、本システムは、検査画像の病変の特徴が類似した症例画像を検索し、類似順に複数表示する。そして、表示された複数の症例画像より1つの参考症例画像を選択し、検査画像と並列に表示する(p. 12「2.2 本システムの特徴」及びFig. 3)。
非特許文献1に開示されたシステムは、前記選択された参照症例画像を検査画像と並列表示する。そのため、医用画像同士を比較する際、サムネイル画像の段階で検査画像と検索結果の症例画像とを隣接して表示させ、絞り込みを行なう思想が開示されていない。
以上の考察により、本願発明者らは、以下の発明の各態様を想到するに至った。
本開示の一態様は、
読影対象候補の医用画像を管理する医用情報管理システムと接続し、医用画像を登録する医用画像データベースを参照して医用画像を検索する症例検索システムと接続し、ディスプレイを有する情報端末の制御方法であって、
前記ディスプレイには、前記医用情報管理システムで管理されている読影対象候補の中から選択された一の読影対象の医用画像が表示され、
前記情報端末のコンピュータに対して、
前記医用画像の中の関心領域を示す指定情報を検知させ、
前記指定情報によって示された関心領域に応じて、前記関心領域の特徴量と所定の類似度を有する類似医用画像を前記症例検索システムから受信させ、
前記ディスプレイに表示される第1表示画面の第1表示領域に前記医用情報管理システムで管理されている前記医用画像を表示させ、前記第1表示画面の前記第1表示領域とは異なる第2表示領域に前記症例検索システムから受信した複数の類似医用画像をサムネイル表示させ、前記第1表示領域は、前記医用画像を表示する第1表示ボックスと前記第2表示領域にサムネイル表示された前記類似医用画像の中から選択された第1類似医用画像を表示させる第2表示ボックスとを隣接させて有し、
前記第2表示領域にサムネイル表示された前記類似医用画像の中から前記第1類似医用画像を前記第2表示ボックスに移動させる操作を検知すると、前記第1類似医用画像を前記第2表示ボックスに表示させて前記第1類似医用画像を前記医用画像に隣接させて表示させ
前記第2表示領域に含まれる前記複数の類似医用画像の中から選択された第1類似医用画像が、前記第1表示領域に含まれる第2表示ボックスに移動されたことを検知すると、前記医用画像と前記第1類似医用画像とを対比して配置した第2表示画面を前記第1表示画面とは別に表示させるものである。
本態様によると、前記医用情報管理システムで管理されている前記医用画像と、前記症例検索システムから受信した複数の類似医用画像とを、前記第1表示画面に含めて表示する。即ち、提供源の異なる画像を一つの表示画像に統合して表示する。これにより、提供源の異なる画像であっても、同一の表示画面上での操作により処理を進めることが可能となる。
そのため、別々のシステムが管理する別種の医用画像を、あたかも、同一システムの内の医用画像のように、医師においてはその後の処理を進めさせることができる。
その結果、例えば、前記医用情報管理システムという一のシステムと、この一のシステムとは異なる、例えば、前記症例検索システムという他のシステムとをそれぞれ起動させながらも、これらの別種のシステムが各々に提供する異なる表示画面を医師に見比べさせて、医師に対して専門的判断をさせる煩わしさを解消でき、ひいては、診断精度の向上を図ることができる。
また、本態様を用いると、例えば、医師は前記第2表示領域にサムネイル表示された複数の類似医用画面の中から参照すべき類似医用画像を絞る。そして、最終的に参照画像として選択した類似医用画像を、前記読影対象の医用画像が表示されている前記第1表示領域に移動させることができる。
この際、本態様によると、例えば、前記第1表示領域には、前記医用画像を表示する第1表示ボックスと、前記第2表示領域に表示された前記類似医用画像の中から選択された第1類似医用画像を表示する第2表示ボックスとが隣接して配置されている。即ち、本態様では、前記第1表示領域に含まれる前記第2表示ボックスに前記第1類似医用画像を移動させるという方法で、医師に対して最終候補を絞らせることを促す。
これにより、最終候補として選択された類似医用画像と、最終候補としては選択されなかった他の類似医用画像とが区分けして表示される。その上、前記最終候補として選択された第1類似医用画像は、前記読影対象の医用画像が含まれる前記第1表示領域に含まれる。即ち、前記第1類似医用画像は、前記読影対象と隣接した領域に、前記最終候補として選択されなかった他の類似医用画像から区分けされて表示されることになる。
そのため、前記第1表示領域は、前記読影対象の医用画像を表示するだけではなく、前記最終候補として選択された前記第1類似医用画像を前記医用画像と隣接させて、一つのグループとして表示する。
その結果、詳細な判断をする前の段階において、即ち、サムネイル画像の段階において、例えば、前記第1類似医用画像の陰影が、前記読影対象の医用画像の陰影と類似しているか否か等の簡易な判断を、医師に対して行わせることができる。この場合、例えば、前記第1表示領域に前記読影対象の医用画像が表示され、前記第2表示領域に前記第1類似医用画像が表示されているときには、前記第1類似医用画像の陰影が、前記読影対象の医用画像の陰影と類似していると医師が判断する場合であっても、前記第1表示領域に前記読影対象の医用画像と前記第1類似医用画像とを表示した場合には、前記第1類似医用画像の陰影が、前記読影対象の医用画像の陰影とは類似していないと医師が判断する場合もあり得る。
つまり、本態様では、第1表示領域において、前記読影対象の医用画像と第1類似医用画像とが隣接表示されるため、第2表示領域に一覧表示された類似医用画像の中から、前記読影対象の医用画像との比較を詳細に行う必要がある最終候補の類似医用画像を医師が選択する際の選択精度を上げることができる。
例えば、前記読影対象の対象画像の陰影とより近い類似医用画像が前記第1類似医用画像の他にある場合には、詳細な判断をする前の段階において、前記他の類似医用画像を前記第1類似医用画像に置き換える判断も可能となり得る。
その結果、詳細な判断を行う前の段階(サムネイル画像の段階)における最終候補の選択精度を上げることができるので、その後に行う詳細な判断をする際の診断精度の向上を図ることができる。また、原画像に比べて情報量が少ないサムネイル画像の段階で医師は最終候補となる類似医用画像を選択できるので、読影対象の医用画像と類似医用画像との類似性を詳細に診断する手間が省け、最終候補となる類似医用画像を効率よく抽出できる。
また、本態様によると、前記第1類似医用画像を前記第2表示ボックスに移動させるという動作で、前記医用画像と前記第1類似医用画像とを対比して配置した第2表示画面が立ち上がる。即ち、前記第1類似医用画像を前記第2表示ボックスに移動させる指示が、前記第2表示画面を立ち上げる指示を兼ねる。
これにより、前記第2表示画面を表示させるための機器操作を省き、操作数を軽減できる。このような操作数の軽減によって、医師が操作に捕われる手間若しくは時間を省くので、その分、医師を、専門的判断に集中させることができる。即ち、医師において、判断の流れ、思考の連続性が、機器操作の介在により中断されるのを防止できる。その結果、診断精度の向上を促進できる。
また、本態様によると、操作用の前記第1表示画面とは別に、診断用の第2表示画面を立ち上げることになる。そのため、例えば、前記第2表示画面において、類似医用画像を原画像の解像度で表示させることで、医師は前記第2表示画面を用いて詳細な検討を効果的に行うことが可能となる。
また、上記態様において、例えば、
前記第1表示領域に前記第1類似医用画像が含まれている状態で、前記第2表示領域に含まれる前記複数の類似医用画像の中の第2類似医用画像が、前記第1表示領域に移動されたことを検知すると、前記第2表示画面に表示されている前記第1類似医用画像を、前記第2類似医用画像に切り替えるようにしてもよい。
本態様によると、第2表示画面に表示されている第1類似医用画像を第2類似医用画像に切り替える際、第1表示領域に含まれる第1類似医用画像を消去するという工程を省略することができる。その結果、医師が専門的な診断を行っている際に、機械的な操作を1工程省略できるため、診断の思考の流れを途切れさせることがなく、診断精度の向上につながる。
また、上記態様において、例えば、
前記第2表示ボックスは複数あり、
前記第1類似医用画像が表示されている第2表示ボックスに前記第2類似医用画像がオーバラップして移動されたことを検知すると、当該第2表示ボックスに表示されている前記第1類似医用画像を、前記第2類似医用画像に切り替え、前記第1類似医用画像が表示されていない第2表示ボックスに前記第2類似医用画像が移動されたことを検知すると、当該第2表示ボックスに前記第2類似医用画像を表示してもよい。
この場合、第2表示ボックスに第1類似医用画像を表示させたものの、その第1類似医用画像は読影対象の医用画像とは非類似だと判断した場合、第2表示領域から所望する第2類似医用画像を移動させ第1類似医用画像にオーバラップさせるという簡便な操作を行うだけで、第1類似医用画像を第2類似医用画像に切り替えることができる。そのため、第1類似医用画像を消去する操作を行わなくても、第1類似医用画像を第2類似医用画像に切り替えることができ、作業効率を向上させることができる。
また、第1表示領域に第1類似医用画像が表示されていない第2表示ボックスがあれば、第2類似医用画像を第2表示ボックスに移動させると、その第2表示ボックスに第2類似医用画像が表示される。そのため、第2表示ボックスに表示されている第1類似医用画像を残しつつ、第2類似医用画像を第1表示領域に表示させることができる。その結果、第1表示領域において、読影対象の医用画像に類似する複数の類似医用画像を隣接して表示させ、第1、第2類似医用画像のどちらが読影対象の医用画像により類似しているかを簡便に診断できる。
また、上記態様において、例えば、
前記第1表示画面は、前記第1表示領域に過去に含まれていた類似医用画像を表示する第3表示領域を含み、
前記第1表示領域は、前記第1表示ボックス及び前記第2表示ボックスを含む所定数の 表示ボックスを有し、
前記第2表示領域から前記第1表示領域に移動した類似医用画像の数が、前記所定数を超えた場合、前記第1表示領域に含まれる前記類似医用画像を前記第3表示領域に移動させるようにしてもよい。
本態様によると、前記第2表示領域から前記第1表示領域に移動した類似医用画像の数が、前記所定数を超えた場合であっても、既に前記第2表示領域から前記第1表示領域に移動されていた類似医用画像は、前記第3表示領域に移動する。即ち、既に前記第2表示領域から前記第1表示領域に移動されていた類似医用画像は、前記第1表示画面から消えることなく、前記第1表示画面に含まれる前記第3表示領域という別に表示領域に表示されて前記第1表示画面内に残る。
そのため、前記読影対象の医用画像の陰影との類似度合いが、前記第1表示領域に含まれている類似医用画像よりは遠い類似医用画像であっても、一旦選択した類似医用画像を、前記第2表示領域に含まれ且つ選択していない類似医用画像と区別して表示させることになる。
その結果、一旦は選択されたものの最終候補としては残らなかった類似医用画像と、まだ選択されていない類似医用画像とを区別して表示することにより、既に選択された類似医用画像を再度選択して前記第1表示領域に移動させる無駄を省くことができる。
また、上記態様において、例えば、
前記第1表示画面は、前記第1表示領域に過去に含まれていた類似医用画像又は現在含まれている類似医用画像を表示する第3表示領域を含み、
前記第1表示領域は、前記第1表示ボックス及び前記第2表示ボックスを含む所定数の表示ボックスを有し、
前記第2表示領域から前記第1表示領域に移動した類似医用画像の数が、前記所定数以下の場合、前記移動された類似医用画像を前記第1表示領域及び前記第3表示領域に表示させ、
前記第2表示領域から前記第1表示領域に移動した類似医用画像の数が、前記所定数を超えた場合、前記第1表示領域に含まれる前記類似医用画像を前記第3表示領域に移動させてもよい。
本態様によると、前記第2表示領域から前記第1表示領域に移動した類似医用画像は、少なくとも前記第3表示領域に表示される。その結果、選択された全ての類似医用画像を、まだ選択されていない類似医用画像から区別して表示できる。よって、医師は前記第3表示領域を確認すればよいので、既に選択された類似医用画像を再度選択して前記第1表示領域に移動させる無駄を省くことができる。
また、上記態様において、例えば、
前記第3表示領域での類似医用画像の表示サイズは、前記第1表示領域及び前記第2表示領域での類似医用画像の表示サイズより小さいようにしてもよい。
前記第3表示領域に含まれる類似医用画像は、一旦は選択されたものの最終候補としては残らなかった類似医用画像若しくは選択された全ての類似医用画像であるので、一旦は医師の目を通り若しくは医師の判断を通過したものである。そのため、前記第3表示領域に含まれる類似医用画像については医師の記憶にある程度残り、大きな画像として詳細を表示しなくても、どのような画像であったか、ある程度判断がつく。
一方、まだ選択されていない類似医用画像については、比較的大きな画像として表示しなければ、前記読影対象の医用画像と対比して適切に類似医用画像を選択できない。
本態様によると、前記第3表示領域での類似医用画像の表示サイズを、前記第1表示領域及び前記第2表示領域での類似医用画像の表示サイズより小さくする。これにより、表示領域に制約がある第1表示画面に前記第3表示領域を含める場合であっても、前記第1表示画像を有効活用する。そのため、一旦は選択されたものの最終候補としては残らなかった類似医用画像と、まだ選択されていない類似医用画像とを区別して表示させて、前記読影対象の医用画像と対比して類似した類似医用画像を適切に選択させつつ、前記第1表示画像を有効活用することができる。
また、上記態様において、例えば、
前記第2表示画面の表示配列は、第1表示画面に含まれる第1表示領域の表示配列と同じであるとしてもよい。
本態様によると、前記第1表示画面という操作用の表示画面と、前記第2表示画面という診断用の表示画面とを別個に備えた場合であっても、前記第1表示画面における操作により前記第1表示画面に含まれる前記第1表示領域に配置した医用画像のレイアウトを念頭に置いて、そのままの配列で前記第2表示画面を用いて診断できる。
また、類似医用画像に含まれる病変部に相当する陰影の位置が様々である。そのため、類似医用画像に含まれる陰影の位置によっては、読影対象の医用画像に含まれる陰影と比較する際に、視線移動が大きくなる場合がある。具体的には、図73Aに示すように、読影対象の医用画像に含まれる陰影が右肺の画面上での左側に存在し、類似医用画像に含まれる陰影が左肺の画面上での右側の位置に存在する場合に、第2表示画面において読影対象の医用画像を類似医用画像に対して左側に配置すると医師の視線移動は大きくなる。かかる場合、図73Bに示すように、第2表示画面において読影対象の医用画像を類似医用画像に対して右側に配置することで、医師の視線移動を大幅に減らすことができる。その結果、視線移動に伴う医師の身体的負担の軽減に加え診断精度の向上にもつながる。以上のように、読影対象の医用画像と類似医用画像との表示位置を、医師が任意に設定したいというニーズがある。本態様によると、医師は第1表示画面に含まれる第1表示領域の表示配列を任意に設定することができるため、詳細に比較表示する第2表示画面において医師のニーズに沿った表示配列が実現できる。
また、上記態様において、例えば、
前記ディスブレイは、第1ディスプレイと第2ディスプレイとを含み、
前記第1表示画面は前記第1ディスプレイに表示され、前記第2表示画面は前記第2ディスプレイに表示されるとしてもよい。
前記第1表示画面及び前記第2表示画面には、多くの画像がそれぞれ表示される。また、それら表示される画像は、いずれも類似した病変部に相当する陰影が含まれる。そのため、長時間に亘り、医師が読影作業を続けると、それぞれの表示画面を見る際に、類似医用画像を選択すべき第1表示画面なのか、読影対象の医用画像と選択された類似医用画像とを詳細に比較すべき第2表示画面なのかの混乱が生じる恐れがある。
本態様によると、前記第1ディスプレイは読影対象の医用画像と比較表示したい類似医用画像を選択するためのディスプレイとして使用され、前記第2ディスプレイは読影対象の医用画像と選択された類似医用画像とを詳細に比較するためのディスプレイとして使用される。その結果、医師がそれぞれのディスプレイを見る際に、類似医用画像を選択すべきか、又は医用画像と選択された類似医用画像とを詳細に比較すべきかを医師に意識付けすることができ、上記混乱を未然に防ぐことができる。
また、上記態様において、例えば、
前記読影対象の医用画像の付加情報には、前記医用画像に表れる病変の病名情報が設定されておらず、また、前記受信した複数の類似医用画像の各々の付加情報には、前記受信した複数の類似医用画像の各々に表れる病変の病名情報が設定されているとしてもよい。
本態様によると、前記読影対象の医用画像を観察して、前記読影対象の医用画像に表れた病変の病名を特定するにあたって、既に病名が特定された病変を表す類似医用画像を参照することで、診断精度の向上に寄与できる。
また、上記態様において、例えば、
前記第2表示領域は所定数の表示枠を有し、
前記受信した複数の類似医用画像の中の所定数以下の画像を、前記読影対象の医用画像との類似度が高い順序で前記各表示枠に表示させるとしてもよい。
本態様によると、前記読影対象の医用画像と前記類似医用画像とを比較対比するにあたって、前記受信した複数の類似医用画像を、前記読影対象の医用画像との類似度が高い順序で表示させることにより、類度度が高い順番に前記類似医用画像を前記読影対象の医用画像に対して比較させるので、例えば、前記読影対象の医用画像に表れた病変の病名を効率的に特定させ、診断精度の向上に寄与できる。
また、上記態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記関心領域の特徴量を示す情報を前記症例検索システムに送信させ、
前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させるとしてもよい。
また、上記態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記一の読影対象の医用画像及び前記関心領域を示す指定情報を前記症例検索システムに送信させ、
前記医用画像及び前記指定情報から得られる前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させるとしてもよい。
また、上記態様において、例えば、
前記一の読影対象の医用画像は肺の医用画像であり、
前記類似医用画像は肺の医用画像であり、
前記第1表示画は、
前記関心領域に相当する領域の大きさが、肺の領域に対して広範囲であることを示す所定の第1範囲に属する類似医用画像を選択させる第1分布情報、前記関心領域に相当する領域の大きさが、肺の領域の一部であることを示す前記第1範囲より低い所定の第2範囲に属する類似医用画像を選択させる第2分布情報、及び、前記関心領域に相当する領域が胸膜を含む類似医用画像を選択させる第3分布情報を含み、
前記第1分布情報から前記第3分布情報の中のいずれか一が選択された場合、前記選択された一の分布情報に対応する類似医用画像を選択して前記第2表示領域に表示させてもよい。
本態様によると、前記第2表示領域に表示された複数の類似医用画像を、さらに、前記関心領域以外に存在する病変領域の分布類型に基づいて仕分けできる。これにより、例えば、多数表示された類似医用画像の中から、前記読影対象の医用画像に含まれる前記関心領域以外に存在する病変領域の分布類型に病変領域の分布が類似した類似医用画像を、効率的に選択できる。
また、上記態様において、例えば、
前記第1分布情報の選択が検知された場合、前記第1分布情報に対応する類似医用画像を、対応する表示領域に初期表示サイズにて表示させ、
前記第2分布情報の選択が検知された場合、前記第2分布情報に対応する類似医用画像の中の前記関心領域に対応する領域を中心として、前記第2分布情報に対応する類似医用画像を、対応する表示領域内に拡大表示させ、
前記第3分布情報の選択が検知された場合、前記第3分布情報に対応する類似医用画像の中の前記関心領域に対応する領域を中心として、前記胸膜を含んだ状態で、前記第3分布情報に対応する類似医用画像を、対応する表示領域内に拡大表示させるとしてもよい。
本態様によると、前記関心領域に相当する領域の分布類型に基づいて類似医用画像を仕分けした際、単に仕分けするのみならず、前記分布類型に応じた表示をする。これにより、操作者は、前記関心領域に相当する領域の分布類型に基づいて類似医用画像を仕分けし、その後、前記分布類型に応じて類似医用画像を拡大し若しくは前記関心領域に相当する領域を中心にする処理等を別途行う必要がない。そのため、前記関心領域に相当する領域の分布類型に基づいて仕分けされたとは言え、その次に、前記仕分けされた多数の類似医用画像の一つ一つに対して同様の操作を繰り返し行う煩雑さを大幅に軽減できる。その結果、診療判断に向けられるべき医師の思考若しくは医師の集中力が操作の煩雑さにより中断されるのを大幅に軽減し、医師の思考若しくは医師の集中力を本来の診療判断に向けることができるので、診療判断の精度の向上を図ることができる。
また、上記態様において、例えば、
前記第1分布情報は、両側性、多発性、びまん性又は血行性のカテゴリーに属する分布を示す情報であり、
前記第2分布情報は、区域性又は気道性のカテゴリーに属する分布を示す情報であり、
前記第3分布情報は、胸膜下のカテゴリーに属する分布を示す情報であるとしてもよい。
本態様によると、両側性、多発性、びまん性又は血行性のカテゴリーに属する分布の場合は類似医用画像が初期表示サイズで表示され、区域性又は気道性のカテゴリーに属する分布の場合は類似医用画像が拡大表示され、胸膜下のカテゴリーに属する分布の場合は胸膜を含んだ状態で類似医用画像が拡大表示される。
両側性、多発性、びまん性又は血行性のカテゴリーに属する分布の場合は、肺全体に病変部が広がっている可能性又は肺の広範囲に病変部が生じている可能性が高いため、類似医用画像を初期表示サイズ、即ち、拡大させることなく表示させたいという医学的見地に基づくニーズが存在する。一方、区域性又は気道性のカテゴリーに属する分布の場合は、上述のような可能性が低い。そのため、区域性又は気道性のカテゴリーに属する分布を選択することにより類似医用を拡大表示させることで、拡大表示させるという1工程を省略させ、医師の集中力が中断されることを防止できる。また、胸膜下のカテゴリーに属する分布の場合は、胸膜と病変部との位置関係が診断においては重要な指標となるため、胸膜を含んだ状態で類似医用画像を拡大表示させたいという医学的見地に基づくニーズが存在する。
(実施の形態)
以下本開示の一実施の形態について、図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。
図1は、本実施の形態における情報端末が適用された病院情報システムの全体構成図である。図1に示すように、病院情報システムは、情報端末100、医用情報管理システム200、及び症例検索システム300を備えている。
情報端末100、医用情報管理システム200、及び症例検索システム300はネットワーク400を介して相互に通信可能に接続されている。
なお、医用情報管理システム200及び症例検索システム300は必ずしも病院の中に配置される必要はなく、病院外のデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバ等の上で動作するソフトウェアであってもよい。医用情報管理システム200及び症例検索システム300が病院内に設置されている場合、ネットワーク400としては、ローカルエリアネットワークが採用できる。ローカルネットワークとしては、IEEE802.3シリーズの有線LAN、IEEE802.11シリーズの無線LAN、或いは両者が混在するネットワークが採用できる。医用情報管理システム200及び症例検索システム300が病院外のサーバを用いて実現される場合、ネットワーク400としては、インターネットが採用できる。
情報端末100としては、パーソナルコンピュータやタブレット端末等の情報端末が採用される。医用情報管理システム200としては、PACS(Picture Archiving and Communication Systems)や電子カルテシステム等が採用される。
図2は、情報端末100、医用情報管理システム200、及び症例検索システム300の構成を示すブロック図である。図2に示すように、情報端末100は、ディスプレイ101、操作部102、入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、履歴情報管理部107、病名リスト管理部108、分布リスト管理部109、通信制御部110、及びボックスレイアウト管理部111を備える。
ディスプレイ101は、例えば、液晶モニタにより構成され、診断対象となる医用画像及びカルテ画像を表示すると共に、診断結果を記入するためのレポート入力画像等を表示する。なお、ディスプレイ101は最低1台必要だが、通常、画像診断においては2〜3台のディスプレイ101が用いられる。本実施の形態では2台のディスプレイ101が用いられ、一方のディスプレイ101をディスプレイ101a(第2ディスプレイの一例)とし、他方のディスプレイ101をディスプレイ101b(第1ディスプレイの一例)とする(図3参照)。
また、ディスプレイ101aの表示画面は第2表示画面の一例であり、ディスプレイ101bの表示画面は第1表示画面の一例である。図3は、2台のディスプレイ101a、101bの外観図である。図3では、ディスプレイ101aには、4つの医用画像ビューワが2行2列の配置で表示されており、ディスプレイ101bには症例検索システム300の画面が表示されている。なお、ディスプレイ101を1台とした場合、第1表示画面及び第2表示画面は1台のディスプレイ101の表示画面上に領域を分けて表示される。
操作部102は、例えば、キーボード及びマウスを含み、情報端末100に対してユーザにより入力される種々の操作を受け付ける。例えば、操作部102は、ディスプレイ101に表示される医用画像及びカルテ画像に対するユーザからの操作、並びにレポート入力画面に対して診断結果を入力する操作等を受け付ける。
入力制御部103は、操作部102へのユーザの操作を検知すると、その操作の内容を解釈し、他の構成要素に操作内容を通知する。例えば、入力制御部103は、操作部102としてのマウスから出力される座標データからディスプレイ101上におけるマウスポインタの位置を検知し、ディスプレイ101上にマウスポインタを表示させる。そして、入力制御部103は、マウスがクリックされたことを検知したときにマウスポインタの表示位置に表示制御部104で生成されたGUI部品(例えば、GUIボタン)が表示されていれば、そのGUIをユーザが選択したと判定し、他の構成要素にそのGUI部品がユーザにより選択されたことを通知する。
表示制御部104は、情報端末100のGUI(Graphical User Interface)を生成し、ディスプレイ101に表示させる。
ROI管理部105は、類似症例検索を行う際に、後述する検索クエリ画像に対して設定される関心領域(Region Of Interest)を示す関心領域情報を生成してメモリに格納し、関心領域情報を管理する。
表示ボックス管理部106は、後述する表示ボックス管理情報4410(図44)をメモリに格納し、表示ボックス管理情報4410を管理する。
履歴情報管理部107は、後述する履歴管理領域760(図18)に表示される類似症例の類似症例IDが登録された履歴情報1701を生成してメモリに格納し、履歴情報1701(図17)を管理する。
病名リスト管理部108は、症例表示領域710(図6)に表示された類似症例の病名リスト(図35)を生成してメモリに格納し、病名リストを管理する。
分布リスト管理部109は、症例表示領域710に表示された類似症例の病変分布を示す分布リスト(図40)を生成してメモリに格納し、分布リストを管理する。
通信制御部110は、例えば、情報端末100をネットワーク400に接続するための通信装置を含み、情報端末100及び医用情報管理システム200間の通信や、情報端末100及び症例検索システム300間の通信を制御する。また、通信制御部110は、他のブロックから種々のデータの送信依頼を受け付けて、医用情報管理システム200又は症例検索システム300に送信すると共に、医用情報管理システム200又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
ボックスレイアウト管理部111は、後述するレイアウト管理情報4200(図42)を生成してメモリに格納し、レイアウト管理情報4200を管理する。
図2に示すように、医用情報管理システム200は、患者情報蓄積部201、患者情報管理部202、医用画像データ蓄積部203、医用画像データ管理部204、診断レポート管理部205、及び通信制御部206を備える。
患者情報蓄積部201は、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録された患者情報1000(図22)を蓄積する。
患者情報管理部202は、患者情報蓄積部201に蓄積された患者情報1000(図22)に対して、ユーザから入力されたデータを登録して患者情報1000を更新する処理、及び患者情報1000を表示制御部104に出力する処理等を実行し、患者情報1000を管理する。医用画像データ蓄積部203は、患者の検査画像である医用画像データを蓄積する。
医用画像データ管理部204は、医用画像データを医用画像データ蓄積部203に蓄積し、医用画像データを管理する。
診断レポート管理部205は、患者に対して行われた各検査に対する医師による診断結果を示す診断レポート3000(図25)を管理する。
通信制御部206は、例えば、医用情報管理システム200をネットワーク400に接続するための通信装置を含み、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は症例検索システム300に送信すると共に、情報端末100又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
図2に示すように、症例検索システム300は、類似症例データ蓄積部301、画像特徴抽出部302、及び類似症例検索部303を備える。
類似症例データ蓄積部301は、予め、医用情報管理システム200に管理されている類似症例のうち、類似症例検索の対象データとして選定された多数の類似症例から抽出された画像特徴や、生成されたサムネイル画像等が登録された類似症例データ4000(図26)を蓄積する。
画像特徴抽出部302は、情報端末100の通信制御部110から送信された検索クエリ画像の関心領域情報の画像特徴を抽出する。なお、関心領域情報は、関心領域を示す指定情報の一例である。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された1以上の類似症例の画像特徴とをそれぞれ比較することで類似症例検索結果を生成する。
通信制御部304は、例えば、症例検索システム300をネットワーク400に接続させる通信装置で構成され、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は医用情報管理システム200に送信すると共に、情報端末100又は医用情報管理システム200から送信されたデータを受信し、該当するブロックに渡す。
図4は、情報端末100の実装形態の構成例を示す図である。図4に示すように、情報端末100は、アプリケーション501、OS(Operating System)502、メモリ503、及び図示しないその他のハードウェアを備えている。
アプリケーション501は、パーソナルコンピュータやタブレット端末を情報端末100として機能させるためのアプリケーションソフトウェアであり、情報端末100のプロセッサにより実行される。情報端末100は、コンピュータ読み取り可能な記録媒体からアプリケーション501を読み出してアプリケーション501を実装してもよいし、ネットワークからダウンロードすることでアプリケーション501を実装してもよい。
ここで、アプリケーション501は、医用情報管理アプリケーション及び類似症例検索アプリケーションを含む。医用情報管理アプリケーションは、情報端末100を医用情報管理システム200と連携させるためのアプリケーションであり、類似症例検索アプリケーションは、情報端末100を症例検索システム300と連携させるためのアプリケーションである。そして、両アプリケーションは、相互にデータを送受し、情報端末100において、医用情報管理システム200及び症例検索システム300が提供するサービスを統合させる。
OS502は、情報端末100の基本ソフトウェアであり、情報端末100のプロセッサにより実行される。メモリ503は、情報端末100が備えるRAM、ROM等の記憶装置により構成され、アプリケーション501に含まれるデータ群を記憶する。
情報端末100のプロセッサがアプリケーション501を実行することで、図2に示す入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、履歴情報管理部107、病名リスト管理部108、分布リスト管理部109、通信制御部110、及びボックスレイアウト管理部111の機能が実現される。
但し、本実施の形態では、情報端末100は、アプリケーション501のみ単独で実装されてもよいし、アプリケーション501及びOS502で実装されてもよいし、アプリケーション501、OS502、及びメモリ503で実装されてもよいし、アプリケーション501、OS502、メモリ503、及びその他の図示しないハードウェアで実装されてもよい。いずれの実装形態においても本実施の形態の情報端末100を実現することは可能である。
図5は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101aに表示される基本画面K1の一例を示す図である。図5に示す基本画面K1は、4つの医用画像ビューワ610〜640で構成されている。医用画像は、通常、DICOM(Digital Imaging and Communication in Medicine)フォーマットで記録されており、医用画像ビューワ610〜640はDICOMを扱えるビューワである。本実施の形態で扱う医用画像は、DICOMフォーマットの多数の断層画像(以下、スライス画像と呼ぶ。)で構成される胸部CT画像とする。但し、これは一例に過ぎず、他の部位(例えば、頭部、腹部、脚、或いは腕)のCT画像が採用されてもよい。
医用画像ビューワ610〜640に表示された胸部CT画像は、マウスやキーボードの操作により、スライス画像が切り替えられる。ここで、胸部CT画像を構成するスライス画像は、例えば、首側から腹側に向かう順番に配置されている。
例えば、医用画像ビューワ610上にマウスポインタが位置決めされ、マウスホイールの回転が入力制御部103で検知されると、表示制御部104は、検知された回転量に応じて医用画像ビューワ610に表示されているスライス画像を切り替える。ここで、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの後方側に1クリック分回転されると、表示中のスライス画像を次のスライス位置のスライス画像に切り替える。一方、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの前方側に1クリック分回転されると、表示中のスライス画像をスライス位置が1つ前のスライス画像に切り替える。よって、医師等のユーザはマウスホイールを前方側又は後方側に回転させながら、医用画像ビューワ610に表示されるスライス画像を適宜切り替え、所望のスライス画像を探索する。
なお、医用画像としては、胸部CT画像に代えて、MRI(Magnetic Resonance Imaging)画像や単純X線画像が採用されてもよい。また、図5の例では、医用画像ビューワの個数は4個とされているが、これは一例にすぎず、6個や8個等別の個数が採用されてもよい。医用画像ビューワの個数が多くなると同時に比較できる画像が増えるが、1画像当たりの表示面積が狭くなる。そのため、この個数はディスプレイ101aの表示サイズに応じて適宜変更可能な構成を採用すればよい。ここでは、医用画像ビューワの個数は、ユーザ又は管理者が自由に変更できるものとする。
類似症例検索アプリケーションが起動される前には、ディスプレイ101aの全域には、ある患者の胸部CT画像のスライス画像が表示されている。そして、この状態で、読影者等のユーザにより類似症例検索アプリケーションが起動されると医用画像ビューワ610には、ディスプレイ101aの全域に表示されていたスライス画像が表示される。
つまり、医用画像ビューワ610には、ユーザが類似症例検索アプリケーションを起動させたときに、ディスプレイ101aの全域に表示されていた検索クエリ画像が初期表示される。なお、表示制御部104は、検索クエリ画像上に類似症例検索を行う対象の関心領域(ROI:Region Of Interest)を重畳表示してもよい。検索クエリ画像は読影対象の医用画像の一例である。
図5では、他の医用画像ビューワ620〜640には何の画像も表示されていないが、診断対象となる患者の検査画像が複数あり、類似症例検索アプリケーションが起動される前に、ディスプレイ101aに複数の検査画像が表示されていた場合、表示制御部104は、医用画像ビューワ620〜640にこれら複数の検査画像をそのまま表示すればよい。
図6は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101bに表示される基本画面K2の一例を示す図である。図6に示す基本画面K2は、症例表示領域710、レイアウト領域720、病名リスト表示領域730、及び分布リスト表示領域750を備える。なお、レイアウト領域720は第1表示領域の一例であり、症例表示領域710は第2表示領域の一例である。
症例表示領域710は、検索クエリ画像に類似した類似症例のサムネイル画像を類似度順に表示する領域である。ここで、類似症例のサムネイル画像は、類似医用画像の一例である。
症例表示領域710には多数の類似症例が表示されるため、解像度や画素値の変換をその場で行うと処理に時間がかかってしまう。よって、サムネイル画像は、オリジナルのスライス画像から予め作成され、症例検索システム300に保存されている。
以下、解像度や画素値の変換について少し補足する。オリジナルのスライス画像の解像度は512×512画素であるが、サムネイル画像はより低解像であるため、解像度変換を行う必要がある。そこで、サムネイル画像は、元となるスライス画像に対して低解像度処理及び階調変換処理が行われて生成される。
階調変換処理は例えば、下記のように行われる。CTで取得したスライス画像は各画素値(CT値)が−1000〜+1000(単位HU:Hounsfield Unit)の2000階調の値をとり、そのままでは通常の8ビット階調のディスプレイに表示できない。また、表示できたとしても、2000階調の中で、肺気腫領域(CT値:−1000HU)、肺野の正常組織(CT値:約−900HU)、すりガラス領域(CT値:−800HU)、軟部組織(CT値:−100〜−50HU)、水(CT値:0HU)、及び骨(CT値:1000HU)を人間が肉眼で区別することは難しい。
よって、通常、スライス画像は、各画素値に対してウィンドウレベル及びウィンドウ幅が設定され、8ビットの画素値に再構成されて、ディスプレイに表示される。ここで、ウインドウレベルは、ウインドウの中心となるCT値を示し、ウインドウ幅は、ウインドウ中心の上下の幅を示す。
例えば、肺野条件でDICOM画像が再構成される場合、ウインドウレベルが−550〜−800に設定され、ウインドウ幅が1000〜1600に設定される。したがって、サムネイル画像も、元となるスライス画像から上記の処理によって画素値が8ビットに落とされることで生成される。
なお、症例表示領域710に表示されるサムネイル画像は、診断対象症例の特徴ベクトルに対する距離が所定の閾値以下の類似症例を示すサムネイル画像である。ここでは距離としては、例えば、ユークリッド距離が用いられる。なお、距離としては、市街地距離等の別の距離尺度が採用されてもよい。比較対象となる2つの画像は、距離が近いほど類似している。また、特徴ベクトルは、サムネイル画像から得られたものではなく、元画像であるスライス画像から得られたものが採用される。
図7は、症例表示領域710に表示されるある1つの類似症例の表示領域を取り出して示した図である。類似症例の表示領域には、サムネイル画像が表示されており、このサムネイル画像の下部には、確定診断病名表示領域711及び距離表示領域712が配置されている。確定診断病名表示領域711には、対象となる類似症例の確定診断病名が表示される。確定診断病名とは、対象となる類似症例に対して診断が確定された病名を指す。距離表示領域712には、対象となる類似症例のスライス画像の特徴ベクトルと、検索クエリ画像の特徴ベクトルとの距離が表示される。図7の例では、確定診断病名表示領域711には、「非結核性抗酸菌症」と表示されているため、このサムネイル画像は「非結核性抗酸菌症」と確定診断がされた類似症例のサムネイル画像を示す。また、距離表示領域712には、「0.05」と表示されているため、この類似症例のスライス画像と探索クエリ画像との距離が「0.05」であることが示されている。
図6に戻り、基本画面K2の例えば左上には、検索結果件数表示領域713が配置されている。検索結果件数表示領域713には、検索処理の結果、症例検索システム300から取得された、診断対象症例に類似する類似症例の数が表示される。
なお、類似症例の数が膨大である場合、症例表示領域710は全ての類似症例を一度に表示することができない。そこで、症例表示領域710の例えば右側には、上下方向に長尺のスクロールバー715が設けられている。表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を上下方向にスクロール表示させる。これにより、ユーザは、非表示状態にあった類似症例を症例表示領域710に表示させ、その類似症例を観察できる。
なお、スクロールバー715は左右方向に長尺であってもよい。この場合、表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を左右方向にスクロール表示させればよい。或いは、症例表示領域710にマウスポインタが位置決めされた状態で、キーボードの方向キーが押されると、表示制御部104は、キーが押されている間、押されているキーの方向に症例表示領域710内に表示されているサムネイル画像をスクロール表示させてもよい。
なお、情報端末100は、探索クエリ画像との距離が所定の閾値以下のサムネイル画像を症例検索システム300から取得するとしたが、これは一例に過ぎない。例えば、情報端末100は、類似度が高い順に、常に一定数のサムネイル画像を症例検索システム300から取得してもよい。或いは、情報端末100は、常にある確定診断病名のサムネイル画像が一定数含まれるようにサムネイル画像を症例検索システム300から取得してもよい。
なお、症例表示領域710におけるサムネイル画像の表示手法としては、例えば、最上段の行の左端に検索クエリ画像との距離が最短のサムネイル画像を表示し、右側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一行の右端に達すると上から2行目の左端に次に距離が大きいサムネイル画像を表示するという表示手法が採用できる。つまり、症例表示領域710において、左上から右下に向けて蛇行するように距離が小さい順にサムネイル画像を表示するという表示手法が採用できる。
もちろん、本実施の形態は別の表示手法が採用されてもよい。例えば、左から1列目の上端に距離が最短のサムネイル画像を表示し、下側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一列の下端に達すると、左から2列目の上端に次に距離が大きいサムネイル画像を表示するという表示手法が採用されてもよい。また、これら複数の表示手法をユーザが切り替え可能な構成が採用されてもよい。
また、上記の例では、類似度として距離が採用されたが、コサイン類似度のような画像同士の類似性を示す指標であればどのような指標が採用されてもよい。コサイン類似度が採用された場合、値が1に近づくにつれて比較対象となる2つの画像の類似性が高くなる。
なお、詳細は後述するが、症例表示領域710に表示する類似症例は、病名リスト表示領域730に表示された病名や、分布リスト表示領域750に表示された病変分布で絞り込むことができる。現在設定されている類似症例の絞込条件は、表示条件表示領域714に表示される。図6の例では、類似症例検索直後の状態であり、何も絞り込みがなされていないため、表示条件表示領域714には「全疾患」と表示されている。
レイアウト領域720は、例えば、図6に示す基本画面K2の左下に配置されている。そして、レイアウト領域720は、症例表示領域710に表示された類似症例サムネイル画像のうちユーザが詳細に観察したい画像を、ディスプレイ101aの医用画像ビューワに表示させるために用いられる。図5に示す通り、ディスプレイ101aには4つの医用画像ビューワ610〜640が2行2列で表示されている。また、レイアウト領域720には、2行2列で4つの表示ボックス721〜724が存在する。このように、ディスプレイ101aに表示される医用画像ビューワ610〜640の数及び配置と、レイアウト領域720における表示ボックス721〜724の数及び配置とは揃えられている。図5の通り、医用画像ビューワ610に、検索クエリ画像が表示されているのに合わせ、表示ボックス721には、検索クエリ画像のサムネイル画像が初期表示される。なお、検索クエリ画像のサムネイル画像を表示する表示ボックス721は、第1表示ボックスの一例である。
他の表示ボックス722〜724には、医用画像ビューワ620〜640と連動させて類似症例のサムネイル画像が表示される。つまり、入力制御部103が表示ボックス722〜724のいずれか1の表示ボックスに症例表示領域710に表示された1のサムネイル画像のドラッグアンドドロップを検知すると、表示制御部104はその表示ボックスに1のサムネイル画像を表示させると共に、その表示ボックスに対応する医用画像ビューワにそのサムネイル画像に対応するスライス画像を表示する。このように、医用画像ビューワ610〜640は、表示ボックス721〜724と1対1で対応付けられている。
図6の例では、表示ボックス722〜724は空白であるため、図5に示す医用画像ビューワ620〜640も空白になっている。なお、類似症例を表示する表示ボックス722〜724は、第2表示ボックスの一例である。
ユーザは、マウスをドラッグアンドドロップすることで、詳細に観察したいサムネイル画像を、症例表示領域710からレイアウト領域720に移動させる。例えば、ユーザが表示ボックス722にサムネイル画像を移動させたとすると、表示ボックス722に対応する医用画像ビューワ620には、このサムネイル画像に対応するスライス画像が表示される。同様に、ユーザが表示ボックス723にサムネイル画像を移動させたとすると、表示ボックス723に対応する医用画像ビューワ630には、このサムネイル画像に対応するスライス画像が表示される。すなわち、表示ボックス721〜724のうち任意の表示ボックスにサムネイル画像を移動させると、検索クエリ画像のサムネイル画像に隣接して類似症例のサムネイル画像が表示される。そのため、ユーザはサムネイル画像のレベルで診断対象症例と類似症例との対比ができ、両症例の類似性を速やかに判断できる。つまり、サムネイル画像は、スライス画像に比べて情報量が少ないため、ユーザは、レイアウト領域720において隣接配置された診断対象症例と類似症例とがどの程度類しているかのおよその検討をつけることができる。そのため、ユーザは、症例表示領域710に表示された多数の類似症例の中から、対象診断症例との比較をスライス画像のレベルで詳細に行う必要がある類似症例の最終候補の絞り込みを効率良く行うことができる。
同様に、ディスプレイ101aにも、レイアウト領域720と同じ配置関係で検索クエリ画像及び類似症例のスライス画像が表示される。そのため、レイアウト領域720において最終候補となる類似症例を絞り込む作業が終了すると、何らの操作を入力しなくても、ディスプレイ101aには、診断対象症例と最終候補として絞り込んだ類似症例とがスライス画像のレベルで表示されている。そのため、ユーザは対象診断と最終候補の類似症例とを詳細に読影するという次の作業ステップに円滑に移行できる。
図6に示す基本画面K2の左側の上段には、「病名リスト」との見出しが付けられた病名リスト表示領域730が配置されている。病名リスト表示領域730には、類似症例の検索結果として取得された全ての類似症例の確定診断病名が表示される。診断対象症例は、診断が終了して確定診断病名が付与された後、類似症例として、症例検索システム300に蓄積される。したがって、各類似症例には、それぞれ、診断によって付与された確定診断病名が予め付与されている。
図8は、病名リスト表示領域730の拡大図である。図8では、確定診断病名は、大分類の病名(731、734、737、741、744)と詳細分類の病名(732、733、735、736、738、739、740、742、743、745)とに分けて表示されている。図8の例では、大分類の病名として、真菌症731(mycosis)、腫瘍性734(neoplastic)、非腫瘍性737(nonneoplastic)、ミコバクテリア症741(mycobacteriosis)、及びその他744が表示されている。
また、図8の例では、真菌症731の詳細分類の病名として、アスペルギルス症732(aspergillosis)、クリプトコッカス症733(cryptococcosis)が表示されている。また、腫瘍性734の詳細分類の病名として、原発性肺癌735(lung cancer)、転移性肺癌736(metastatic lung cancer)が表示されている。また、非腫瘍性737の詳細分類の病名として、肺膿瘍738(lung abscess)、サルコイドーシス739(sarcoidosis)、敗血性塞栓740(septic emboli)が表示されている。また、ミコバクテリア症741の詳細分類の病名として、非結核性抗酸菌症742(NTM:nontuberculous mycobacteria)、肺結核743(tuberculosis)が表示されている。また、その他744の詳細分類の病名として気管支拡張症745(bronchiectasis)が表示されている。
また、大分類の病名及び詳細分類の病名の横には、その病名の症例数が表示されている。ユーザは、この病名リスト表示領域730における大分類の病名または詳細分類の病名の任意の行を選択することで、症例表示領域710に表示される類似症例を絞り込むことができる。図6に示すように類似症例の検索直後の状態では、多様な疾患を含む62個の類似症例が表示対象になっているが、図8の真菌症731の行がマウスでクリックされた場合、表示制御部104は、図9に示すように真菌症の類似症例のみを症例表示領域710に表示する。また、図8の転移性肺癌736の行がマウスでクリックされた場合は、表示制御部104は、図10に示すように、転移性肺癌の類似症例のみを症例表示領域710に表示する。
この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例がどのような絞り込み条件であるが分かるように、表示条件表示領域714に、絞り込んだ病名を表示する。図9は、「真菌症」で類似症例が絞り込まれたときの基本画面K2を示す図である。図10は、「転移性肺癌」で類似症例が絞り込まれたときの基本画面K2を示す図である。
図9の例では、「真菌症」で絞り込みがかけられたため、表示条件表示領域714には「真菌症」と表示され、図10の例では「転移性肺癌」で絞り込みがかけられたため、表示条件表示領域714には「転移性肺癌」と表示されている。
また、この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例の件数が分かるように、検索結果件数表示領域713にその件数を表示する。図9の例では、「真菌症」に該当する類似症例は14件であったため、検索結果件数表示領域713には14件と表示され、図10の例では、「転移性肺癌」に該当する類似症例は3件であったため、検索結果件数表示領域713には3件と表示されている。
この機能により、画像診断の対象として医師が想定する病名のみの類似症例が症例表示領域710に表示され、医師は、診断対象症例が想定した病名と矛盾しないかどうかを容易に確認できる。
図6に示す基本画面K2の左側の中段には、「病変分布」との見出しが付けられた分布リスト表示領域750が配置されている。分布リスト表示領域750には、類似症例を検索した結果、症例検索システム300から取得された全ての類似症例の病変分布の種類が表示される。
図11は分布リスト表示領域750の拡大図である。図11の例では、7つの病変分布の名称が表示されており、各病変分布の名称の左側にはチェックボックスが配置されている。図11の例では病変分布として、びまん性751(diffuse)、区域性752(segmental)、気道性753(bronchial)、両側性754(bilateral)、多発性755(multiple)、胸膜下756(subpleural)、及び血行性757(hematogenous)が表示されている。
これらの病変分布は予め定義されており、各類似症例には、予め、びまん性751〜血行性757のいずれに該当するか否かを示す分布フラグ値(該当:1、非該当:0)が付与されている。類似症例によっては、全ての分布フラグ値が非該当(:0)に設定されている場合もあれば、複数の分布フラグ値が該当(:1)に設定されている場合もある。
本実施の形態の症例検索システム300は、ユーザが診断対象症例のスライス画像に設定した関心領域に対し、類似する関心領域を持つ類似症例を検索する。ユーザが関心領域を設定したスライス画像以外にも、病変は存在することもある。そして、ユーザは関心領域を設定したスライス画像で類似症例を検索した後、そのスライス画像以外のスライス画像と、検索された類似症例とを比較したい場合もある。この場合、ユーザは、医用画像ビューワ610において、スライス送りの操作を入力して他のスライス画像を表示させ、検索された類似症例と比較する作業を行う。この場合、検索された全ての類似症例のうち注目する病変に関連する類似症例のみが症例表示領域710に表示されていれば、関心領域が設定されたスライス画像以外のスライス画像の中から所望の病変を持つスライス画像を抽出する作業をスムーズに行うことができる。そこで、本実施の形態では、この作業をよりスムーズに行うために、検索された類似症例を所望の病変分布で絞りこむ機能が設けられている。
本実施の形態では、肺野領域内での病変分布として、図11のびまん性751〜血行性757で示す病変分布が採用されている。また、図11のように、チェックボックス及び病名分布の名称について、表示制御部104は、絞り込みが可能な病変分布をアクティブ状態で表示し、絞り不可能な病変分布を非アクティブ状態で表示する。ここでは、アクティブ状態としては、輝度が非アクティブ状態に比べて高い状態が採用され、非アクティブ状態としては、輝度がアクティブ状態に比べて低い状態が採用されている。
図11の例では、びまん性751、気道性753〜多発性755、及び血行性757がアクティブ状態で表示され、区域性752及び胸膜下756は、非アクティブ状態で表示されている。これは、現在、類似症例検索によって取得された全ての類似症例のうち、少なくともいずれか1つの類似症例において、びまん性751、気道性753〜多発性755、及び血行性757の分布フラグ値が1(該当)に設定され、取得された全ての類似症例のうち、いずれの類似症例においても、区域性752及び胸膜下756の分布フラグ値が0(非該当)に設定されていたからである。
アクティブ状態のチェックボックスのうち、1以上のチェックボックスにチェックマークが入力されたことを入力制御部103が検知すると、表示制御部104は、チェックマークが入力された病変条件に該当する類似症例のみを症例表示領域710に表示させる。
なお、区域性752や胸膜下756については、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)に設定されている。そのため、区域性752や胸膜下756にチェックマークが入力可能な構成を採用すると、これらの病変分布にチェックマークを入力した場合、症例表示領域710には類似症例が何も表示されず、チェックマークを入力する意味が無くなってしまう。そこで、本実施の形態では、このような事態を避けるために、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)である病変分布は非アクティブ状態で表示する。
図12は、チェックマークが入力された分布リスト表示領域750を示す図である。図13は、気道性の病変分布で絞り込みがかけられた基本画面K2を示した図である。図12に示すように、気道性753のチェックボックスにチェックマークが入力された場合、表示制御部104は、図13に示すように、症例表示領域710に、気道性の病変分布を持つ類似症例のみを表示する。この例では、気道性の病変分布を持つ類似症例は17件であった。そのため、表示制御部104は、検索結果件数表示領域713に「17件」と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名と、病変分布の名称である「気道性」とを表示する。図13の例では、病名リスト表示領域730に挙げられた病名による絞り込みがかけられていないため、表示条件表示領域714には「全疾患」と表示されている。
図14は、複数のチェックマークが入力された分布リスト表示領域750を示す図である。図15は、複数の病変分布で絞り込みがかけられた基本画面K2を示した図である。図14の例では、びまん性751と血行性757とにチェックマークが入力されている。そのため、表示制御部104は、図15に示すように、びまん性及び血行性の病変分布を持つ類似症例を症例表示領域710に表示する。この例では、びまん性及び血行性の病変分布を持つ類似症例は11件であった。そのため、表示制御部104は検索結果件数表示領域713に11件と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名(ここでは、病名による絞り込みがかけられていないため「全疾患」)と、病変分布の名称である「びまん性&血行性」とを表示している。
次に、図6に示す基本画面K2では表示されていない履歴管理領域760について説明する。図18は、履歴管理領域760が表示された基本画面K2を示した図である。履歴管理領域760は、第3表示領域の一例である。マウスカーソルを症例表示領域710の最下段近くに位置決めする、或いは、予め割り当てたキーを押下する操作を入力制御部103が検知すると、表示制御部104は、図18に示すように左端に「履歴」と明示された履歴管理領域760を基本画面K2にオーバラップして表示させる。履歴管理領域760は、基本画面K2の下部に表示される短冊状の表示領域であり、横幅は症例表示領域710の横幅とほぼ同じである。そして、履歴管理領域760は、症例表示領域710に表示された類似症例のサムネイル画像のうち、レイアウト領域720に移動されたサムネイル画像及び履歴管理領域760に直接移動されたサムネイル画像が、履歴として左から順に配置される。
なお、履歴管理領域760を基本画面K2の下側に表示させているのは、症例表示領域710には上側ほど診断対象症例に類似する類似症例が表示されており、上側ほど重要の類似症例が表示されているからである。そのため、履歴管理領域760を表示させても、重要な類似症例が隠れる事態を回避できる。なお、履歴管理領域760においてサムネイル画像が表示される領域以外は半透明表示されている。そのため、履歴管理領域760の背後に隠れている症例表示領域710のサムネイル画像が完全に非表示になることが防止されている。
ここで、表示制御部104は、履歴管理領域760に表示するサムネイル画像を、症例表示領域710に表示するサムネイル画像よりも小さいサイズで表示する。履歴管理領域760に表示されたサムネイル画像は、レイアウト領域720、症例表示領域710、及び医用画像ビューワ610〜640において、一度表示された画像であり、ユーザにより一度確認されている画像である。そのため、症例表示領域710で表示されるサムネイル画像よりも小さいサイズで表示しても問題はない。そこで、本実施の形態では、履歴管理領域760に表示されるサムネイル画像は、症例表示領域710及びレイアウト領域720で表示されるサムネイル画像よりも小さく設定されている。これにより、表示スペースが限られた履歴管理領域760の中に可能な限り多くのサムネイル画像を表示することができる。
なお、履歴管理領域760は、横方向に長尺の表示領域であるため、レイアウト領域720及び履歴管理領域760に移動されたサムネイル画像が多数になると、移動されたサムネイル画像を全て表示できなくなる。
そこで、本実施の形態では、履歴管理領域760においてサムネイル画像が満杯になれば、図19に示すように、表示制御部104は、履歴管理領域760の表示スペースを2行に拡大し、移動された全てのサムネイル画像を表示できるようにしている。図19は、表示スペースが2行に拡大された履歴管理領域760が表示された基本画面K2を示す図である。図19の例では、レイアウト領域720及び履歴管理領域760に移動された順番が1個目から7個目のサムネイル画像は上から1行目に表示され、8個目以降に移動された3個のサムネイル画像が2行目に表示されている。
なお、表示スペースが2行に拡大された履歴管理領域760において、サムネイル画像が満杯になれば、表示制御部104は、履歴管理領域760の行数を3行に拡大し、拡大後、サムネイル画像が満杯になれば、履歴管理領域760の行数を4行に拡大するというように、履歴管理領域760の行数を順次に拡大すればよい。
また、表示制御部104は、図20に示すように、履歴管理領域760の行数を増加させることに代えて、履歴管理領域760の下部に横方向に長尺のスクロールバー761を表示してもよい。図20はスクロールバー761が表示された履歴管理領域760を示す図である。この場合、表示制御部104は、スクロールバー761が左右に移動されると、その移動量に応じて履歴管理領域760内に表示されたサムネイル画像を左右方向にスクロールさせればよい。これにより、1行分の表示スペースでは表示できないサムネイル画像を、1行分の表示スペースしか持っていない履歴管理領域760に表示させることができる。
なお、本実施の形態では、履歴管理領域760は、初期状態では非表示とされ、必要に応じて出現される態様が採用されているが、図21に示すように、初期状態から表示されてもよい。図21は、初期状態から履歴管理領域760が表示される態様を採用した場合の基本画面を示す図である。
図21の例では、履歴管理領域760にできるだけ多くのサムネイル画像を表示させるために、図18に示す態様を採用した場合に比べて、履歴管理領域760に表示されるサムネイル画像のサイズが更に小さく設定されている。ここで、図21の態様を採用した場合、常時表示されている履歴管理領域760にマウスカーソルを近づけると、表示制御部104は、図16に示す履歴管理領域760と同じサイズになるように、図21に示す履歴管理領域760を拡大させてもよい。
なお、履歴管理領域760に表示されるサムネイル画像は、履歴情報管理部107が管理する履歴情報1701(図17参照)に登録されている。したがって、表示制御部104は、履歴情報を参照することで、履歴管理領域760に表示されるサムネイル画像を特定する。以下、履歴情報1701への登録処理について説明する。図16は、履歴情報1701への登録処理を示すフローチャートである。まず、入力制御部103は、症例表示領域710に表示されたサムネイル画像がドラッグアンドドロップされる操作を検知すると(S300でYES)、サムネイル画像がドロップされた位置がレイアウト領域720であるか否かを判定する(S310)。一方、ドラッグアンドドロップされる操作が検知されなければ(S300でNO)、S300の処理が繰り返される。
サムネイル画像がドロップされた位置がレイアウト領域720内であれば(S310でYES)、処理がS330に進む。一方、サムネイル画像がドロップされた位置がレイアウト領域720外であれば(S310でNO)、処理がS320に進む。
S320において、入力制御部103は、ドロップされた位置が履歴管理領域760内であるか否かを判定する。履歴管理領域760内であれば(S320でYES)、処理がS330に進む。一方、ドロップされた位置が履歴管理領域760外であれば(S320でNO)、処理がS300に戻る。
S330において、履歴情報管理部107は、ドロップされたサムネイル画像の類似症例IDが、既に履歴情報1701に含まれているかを判定する。図17は、履歴情報1701のデータ構成を示す図である。履歴情報1701は、履歴管理領域760に表示するサムネイル画像を管理するための情報である。履歴情報1701は、「履歴ID」及び「類似症例ID」の欄を備える。「履歴ID」は履歴情報1701に登録された類似症例が何番目に登録された類似症例であるかを示す情報である。ここでは、「履歴ID」は、履歴情報1701に新たに類似症例が登録される度に、1ずつ増加する自然数が採用される。「類似症例ID」は、類似症例を一意的に識別するための識別子であり、図17の例では、「SIM」の後に数値が続く記号列が採用されている。なお、「類似症例ID」は、図26に示す類似症例データ4000において、サムネイル画像データ4500と対応付けられている。したがって、類似症例IDが分かれば、対応するサムネイル画像が特定できる。
ドロップされたサムネイル画像の類似症例が履歴情報1701に含まれていれば(S330でYES)、履歴情報1701に該当する類似症例を登録する必要がないため、処理がS300に戻される。一方、ドロップされたサムネイル画像の類似症例が履歴情報1701に含まれていなければ(S330でNO)、履歴情報管理部107は、ドロップされたサムネイル画像の類似症例IDを履歴情報1701に追加する(S340)。この場合、履歴情報管理部107は、履歴情報1701に登録済みの最新の「履歴ID」が示す値に1加算した値を新たな「履歴ID」として発行し、その「履歴ID」に追加対象の「類似症例ID」を対応づけて履歴情報1701に登録する。
よって、表示制御部104は、履歴管理領域760にサムネイル画像を表示する際、履歴情報1701の「履歴ID」が若い順に、履歴管理領域760の左端から右端に向けて順番にサムネイル画像を配置していく。この時、表示制御部104は、履歴情報1701に登録された「類似症例ID」に対応する類似症例データ4000からサムネイル画像データ4500を特定すればよい。
次に、履歴情報1701に類似症例を蓄積させる意義について説明する。症例表示領域710には多数の類似症例のサムネイル画像が表示されるが、ユーザはその中から診断対象症例に類似する類似症例を選定する。選定した類似症例はレイアウト領域720に移動されるが、レイアウト領域720に同時に表示できる類似症例の数は限られているため、上書きされて、レイアウト領域720から消去された類似症例を保存しておく必要がある。
これは、レイアウト領域720から消去された類似症例を、再度、診断対象症例と対比したいといった状況が発生する場合もあり、この場合、再度、該当する類似症例を症例表示領域710から探し出すことはユーザにとって手間がかかるからである。
また、本実施の形態では、レイアウト領域720にドラッグアンドドロップされた類似症例が履歴情報1701に登録される他、履歴管理領域760に、直接、ドラッグアンドドロップされた類似症例も履歴情報1701に登録される。
症例表示領域710に多数表示された類似症例の中から、ユーザが気になったものを先にいくつかピックアップしおいて、後でじっくりと閲覧したい場合が存在する。このような場合において、類似症例のサムネイル画像を、直接、履歴管理領域760にドラッグアンドドロップさせ、履歴管理領域760にそのサムネイル画像を表示させる機能は役に立つ。そこで、本実施の形態では、この機能が実装されている。
なお、上記説明では、履歴管理領域760には、レイアウト領域720にドラッグアンドドロップされたサムネイル画像を表示するとして説明した。但し、これは一例に過ぎない。例えば、レイアウト領域720に一旦ドラッグアンドドロップされたものの、その後、別のサムネイル画像によって上書きされ、レイアウト領域720から消去されたサムネイル画像と、履歴管理領域760に直接ドラッグアンドドロップされたサムネイル画像とを履歴管理領域760に表示する態様が採用されてもよい。この場合、履歴管理領域760にはレイアウト領域720に表示中のサムネイル画像は表示されなくなる。
この態様を採用する場合、履歴情報管理部107は、レイアウト領域720から消去されたサムネイル画像と、履歴管理領域760に直接ドラッグアンドドロップされたサムネイル画像との類似症例IDを履歴情報1701に登録すればよい。
図22は、患者情報1000のデータ構成を示す図である。患者情報1000は、医用情報管理システム200における患者情報管理部202により、患者別に患者情報蓄積部201に蓄積されて管理される。患者情報1000には、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録されている。図22に示すように、患者情報1000は、患者ID1100、氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、主訴1700、検査情報1800、及び確定診断1900を備える。
患者ID1100は、患者に固有の識別子である。氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、及び主訴1700は、それぞれ、患者ID1100の患者の氏名、年齢、性別、既往歴、家族歴、及び主訴である。検査情報1800は、図23に示すように、当該患者が過去に受けた1以上の検査に関する情報を表す。
図23は、図22に示す患者情報1000に登録された検査情報1800のデータ構成を示す図である。検査情報1800は、患者に対して行われた検査に関する情報であり、1つの検査に対応して1つずつ作成される。検査情報1800は、検査ID1810、検査日時1820、検査種1830、及び検査結果1840を備える。検査ID1810は、検査に固有の識別子である。検査日時1820は、検査が行われた日時である。検査種1830は、検査の種類である。検査の種類としては、例えば、血液検査、呼吸機能検査、内視鏡検査、単純X線撮影、CT撮影等がある。
検査結果1840は、血液検査であれば、白血球数、LDH、及びGPT等各種指標の値が該当する。また、検査結果1840は、各種指標を基に医師が下した判断等も該当する。また、単純X線撮影やCT撮影等の画像検査であれば、撮影された画像へのポインタ情報や画像診断結果のレポートへのポインタ情報が含まれる。なお、検査で撮影された画像は、DICOMのフォーマットで医用情報管理システム200の医用画像データ蓄積部203に蓄積される。
また、検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、これらの医用画像データは医用情報管理システム200の医用画像データ蓄積部203が記憶する医用画像データベース2000に蓄積される。
図24は、医用画像データベース2000のデータ構成を示す図である。医用画像データベース2000は、検査ID1810及びシリーズID2100を持つ。1回の検査で、複数の種類の撮影(例えば、単純CTと造影CT等)が行われる場合があるので、1つの検査ID1810に対し、複数のシリーズID2100が対応付けられている場合もある。つまり、撮影の種類に応じた個数のシリーズが得られるのである。
また、シリーズは、撮影の種類以外にも、撮影された画像の再構成の条件毎に得られる。例えば、撮影された画像が肺野条件及び縦隔条件で再構成された場合、これらの条件毎に1つのシリーズが得られる。なお、肺野条件で再構成された画像は肺の中の血管、気管支、及び肺胞等が強調表示される。また、縦隔条件で再構成された画像は、血管やリンパ節等の縦隔が強調表示される。肺野条件及び縦隔条件は1度の撮影で得られた画像を再構成することで得られるため、単純CTと造影CTとで2度の撮影が行われ、これら2度の撮影のそれぞれにつき肺野条件及び縦隔条件で画像が再構成された場合、2つの肺野条件のシリーズが得られ、2つの縦隔条件のシリーズが得られる。
CT及びMRIの画像検査の場合、1回の撮影で複数のスライス画像が取得されるので、1つのシリーズID2100には、複数のスライスID2200が対応付けられている。図24の検査ID「13227989」には2つのシリーズID「CT149123」、「CT149124」が対応付けられているため、この検査から2つのシリーズのCT画像が得られたことが分かる。また、シリーズID「CT149123」、「CT149124」のそれぞれに対して、スライスID2200が複数対応付けられていることが分かる。
検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、医用情報管理システム200における診断レポート管理部205には、図25に示すような診断レポート3000が蓄積される。診断レポート3000には、各検査に対する医師による診断結果が登録されている。図25は、診断レポート3000のデータ構成を示す図である。
診断レポート3000は、検査ID1810、所見3100、及び診断3200を備える。検査ID1810は、図23で示した検査ID1810と同じである。これにより、診断レポート3000と検査情報1800とが対応付けられる。所見3100は、検査に対する医師の所見を示す文言が登録されている。診断3200は、検査に対する医師の診断を示す文言が登録されている。
図26は、類似症例データ4000のデータ構成を示す図である。類似症例データ4000は、診断対象症例に対して類似する類似症例を検索する際に参照されるデータであり、1つの類似症例に対応して1つずつ作成されている。なお、類似症例データ4000は、類似症例データの付加情報の一例である。類似症例データ4000は、症例検索システム300の類似症例データ蓄積部301において、類似症例毎に蓄積されている。図26に示すように、類似症例データ4000は、類似症例ID4100、スライスID4200、関心領域情報4300、画像特徴データ4400、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、及び確定診断(詳細分類病名)4800を備える。
類似症例ID4100は、類似症例データ4000の識別子である。ここでは、類似症例のスライス画像に設定された関心領域毎に1つの類似症例データが生成されるため、類似症例ID4100は、関心領域の識別子とも言える。図26の例では、類似症例ID4100は、「SIM」とそれに続く番号とで構成される記号列で構成されている。
スライスID4200は、関心領域が設定されたスライス画像の識別子であり、図24に示すスライスID2200と同一である。関心領域情報4300は、スライス画像に設定された関心領域の位置を示す情報である。図27は、スライス画像に設定された関心領域を模式的に示した図である。図27の例では、関心領域は矩形状に設定されている。したがって、関心領域情報4300は、関心領域の左上の頂点の座標(xl、yt)と、右下の頂点の座標(xr、yb)との4値で構成される。もちろん、関心領域は矩形以外の形状でもよく、その場合は、領域を一意に特定可能なパラメータが関心領域情報4300として採用される。例えば、関心領域が円形であれば、円の中心座標と半径とが関心領域情報4300として採用される。
画像特徴データ4400は、関心領域情報4300で定義される関心領域から抽出された所定次元(ここではN次元)の特徴値である。サムネイル画像データ4500は、スライスIDで特定されるDICOMフォーマットのスライス画像を基に、症例表示領域710に表示するために生成されたサムネイル画像の画像データである。ここで、サムネイル画像データ4500は、例えば、サムネイル画像の左上の頂点から右下の頂点に向かうラスタ走査順にサムネイル画像の画素値が配置されている。先に説明を行ったが、CT検査で得られたDICOM画像は、512×512画素の11ビット(画素値:−1000〜+1000)画像である。そこで、本実施の形態では、サムネイル画像の表示を高速化するために、サムネイル画像の元となるDICOM画像に対して低解像度処理及び階調変換処理が行われて8ビットの画素値を持つサムネイル画像が予め作成され、類似症例データ4000に登録されている。なお、サムネイル画像の作成は、例えば、医用情報管理システム200が作成し、症例検索システム300に送信するようにしてもよいし、症例検索システム300が医用情報管理システム200からDICOM画像を取得して作成してもよい。
病変分布情報4600は、対象となる類似症例が予め定められたびまん性4610〜血行性4670で表される病変分布のいずれに該当するか否かを表す分布フラグ値(1:該当、0:非該当)である。
確定診断(大分類病名)4700は、対象となる類似症例に対して確定された大分類の病名である。確定診断(大分類名)4700は、類似症例を大分類の病名で絞り込む際に使用される。
確定診断(詳細分類病名)4800は、対象となる類似症例に対して確定された詳細分類の病名である。確定診断(詳細分類病名)4800は、類似症例を小分類の病名で絞り込む際に使用される。
予め、確定診断(大分類病名)4700は、確定診断(詳細分類病名)4800に対して一意に対応する大分類病名が定義されており、その対応関係を用いて類似症例データ4000に格納されている。
確定診断(詳細分類病名)4800は、医用画像データ蓄積部203において、図24に示すスライスID2200からシリーズID2100が特定される。そして、特定されたシリーズIDから患者情報蓄積部201において、検査ID1810が特定され、検査ID1810から対応する患者情報1000(図22)が特定され、特定された患者情報1000から該当する患者の確定診断1900が特定される。
次に、情報端末100が医用情報管理システム200と症例検索システム300と連携して読影作業開始から類似症例検索を開始するまでの流れを説明する。
図28は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300に対して類似症例検索の要求を行い、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。なお、図28において、シーケンス図の左側に示す2列の矩形は、該当するステップの処理によりディスプレイ101a、101bに表示される画面を示す。また、図28において、情報端末の「A」は、医用情報管理アプリケーションを示し、「B」は、類似症例検索アプリケーションを示す。このシーケンスが開始される前に医用情報管理アプリケーションは予め起動されているものとする。
まず、情報端末100は、操作部102を通してユーザ(読影を行う医師)の読影対象となる検査リストの表示要求を受け付け、入力制御部103及び通信制御部110を通して、医用情報管理システム200の通信制御部206へ検査リストの表示要求を送信する(S510)。
医用情報管理システム200の患者情報管理部202は、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成する。そして、患者情報管理部202は、通信制御部206を通して、生成した検査リストを情報端末100の通信制御部110に送信する(S520)。ここで、検査リストには、該当する患者の患者情報1000及び検査情報1800が含まれる。
情報端末100の表示制御部104は、通信制御部110で受信された検査リストをディスプレイ101に表示する(S530)。
この場合、ディスプレイ101aに検査リストが表示され、ディスプレイ101bには何も表示されない。
図29は、検査リストの画面図である。検査リストは、読影が未終了の検査を表示する領域800と、検査に含まれるシリーズに関する情報を表示する領域810とを備える。領域800には、「患者ID」、「患者氏名」、「検査日時」、「検査ID」、及び「検査種」の欄が設けられている。「患者ID」、「患者氏名」の欄には、患者情報1000に登録された患者ID1100及び氏名1200が表示され、「検査日時」、「検査ID」、及び「検査種」の欄には、検査情報1800に登録された検査日時1820、検査ID1810、及び検査種1830が表示される。領域810は、領域800でユーザにより選択された検査の詳細を表示するための領域であり、「シリーズID」、「定義」、及び「画像」の欄が設けられている。ここでは、領域800においてユーザにより検査(行に対応)が選択されていないために、領域810には何も表示されていない。
ユーザは、領域800に表示された検査の中から、これから読影を行う検査を選択する。この選択が入力制御部103で検知されると、図28に示すように、通信制御部110は、選択された検査の検査IDに含まれる全シリーズの表示要求を、医用情報管理システム200へ送信する(S540)。
医用情報管理システム200の通信制御部206がこの表示要求を受信すると、患者情報管理部202は、図24に示す医用画像データベース2000を参照し、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像を取得し、通信制御部206を通して、情報端末100に送信する(S550)。例えば、図24の例において、検査ID「13227989」の検査がユーザにより選択されると、シリーズID「CT149123」、「CT149124」のシリーズに含まれる全てのスライス画像がS550で送信される。
情報端末100の通信制御部110が全シリーズの画像を取得すると、表示制御部104は、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを領域810に表示する(S560)。
この場合、ディスプレイ101aに表示された検査リストの領域810には、領域800で選択された検査に対応するシリーズのシリーズリストが表示され、ディスプレイ101bには何も表示されない。
図30は、検査が選択された後の検査リストの画面図である。図30の領域800では選択された行の背後にハイライトが付されている。図30の例では、領域800において、2行目の「パナ太郎」の検査が選択されている。そのため、領域810では、選択された検査についての「シリーズID」、「定義」、及び「画像」が表示されている。ここで、「シリーズID」の欄には、医用画像データベース2000において、選択された検査の検査IDに対応付けられたシリーズIDが表示され、「画像」の欄には、表示されたシリーズIDを代表する1枚のスライス画像のサムネイル画像が表示される。ここで、シリーズIDを代表する1枚のスライス画像としては、所定のスライス位置の画像が採用される。所定のスライス位置としては先頭のスライス位置であってもよいし、中央のスライス位置であってもよい。「定義」は、該当するシリーズに対する撮影条件や再構成の条件を示す。この「定義」は、図示は省略されているが、例えば、図24の医用画像データベース2000において、シリーズIDと対応付けて登録されている。
領域810において、ユーザにより読影対象のシリーズが選択され、その選択を入力制御部103が検知すると、表示制御部104は、図73Cに示すように、選択されたシリーズの先頭のスライス画像をディスプレイ101aに表示する(S570)。図73Cは、ユーザによりシリーズが選択された際にディスプレイ101aに表示されるスライス画像を示した図である。図73Cは、胸部CT撮影での先頭スライスを示す図であり、肺尖部よりももう少し頭方向の肩位置でのスライス画像である。ここで、表示制御部104は、選択されたシリーズの全てのスライス画像をシリーズ送りできる状態でディスプレイ101aに表示する。なお、ディスプレイ101bには何も表示されない。例えば、ユーザにより、ディスプレイ101a上にマウスポインタが位置決めされマウスホイールを回転するスライス送りの操作が入力され、その操作を入力制御部103が検知する。すると、表示制御部104は、マウスホイールの回転量に応じて、ディスプレイ101aに表示されたスライス画像を別のスライス位置のスライス画像に切り替える。ユーザは、スライス送りの操作を入力しながら画像診断を行う。そして、ユーザは画像診断に迷った場合、類似症例検索アプリケーションを起動する。
ここで、類似症例検索アプリケーションは、操作部102のキーボードにおいて、予め定められたショートカットキーが入力されて起動されてもよいし、マウスの右クリックで医用画像ビューワのメニューを表示させ、そのメニューの中から類似症例検索メニューが指定されて起動されてもよい。類似症例検索アプリケーションの起動が指示されると、情報端末100の管理はROI管理部105に渡され、情報端末100は、関心領域(ROI)の受け付け待ち状態になる。
ユーザは、操作部102を通して、ディスプレイ101aに表示されたスライス画像上の病変に関心領域(ROI)を設定する(S580)。ここで、ユーザは、図27に示すように、例えば、マウスを左クリックして、関心領域の左上の頂点の座標を入力する。そして、ユーザは、左クリックした状態でマウスを右斜め下方向にドラッグし、左クリックを解除することで、関心領域の右下の頂点を入力すればよい。図31は、病変に対して関心領域を設定した後の画面の一例である。
関心領域を設定する操作を入力制御部103が検知すると、ROI管理部105は、入力制御部103から関心領域の左上及び右下の頂点の座標データを受け取り、受け取った座標データを関心領域情報として生成する。そして、ROI管理部105は、生成した関心領域情報を通信制御部110に送信する(S590)。
同時に、ROI管理部105は、診断対象症例のスライス画像を通信制御部110に送信する(S600)。この場合、S550において、情報端末100が医用情報管理システム200から受け取った全シリーズのスライス画像のうち、ユーザが選択したシリーズにおいてユーザにより関心領域が設定された1枚のスライス画像(検索クエリ画像)が送信される。
次に、通信制御部110は、ROI管理部105から送信された関心領域情報を受け取り、症例検索システム300の通信制御部304に送信する(S601)。
同時に、通信制御部110は、ROI管理部105から送信されたスライス画像を受け取り、症例検索システム300の通信制御部304に送信する(S602)。
ここで、S600、S601において、スライス画像そのものを送信するとしたが、スライス画像のスライスIDのみが送信されても構わない。この場合は、スライスIDを受信した症例検索システム300は、そのスライスIDを指定して、医用情報管理システム200からスライス画像を取得すればよい。
次に、症例検索システム300が類似症例検索を行い、情報端末100が類似症例検索結果を初期表示するまでの処理を説明する。
図32は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。
症例検索システム300の画像特徴抽出部302は、検索クエリ画像に設定された関心領域から予め定められた複数次元の画像特徴を抽出する(S610)。
「画像特徴」としては、医用画像における臓器若しくは病変部分の形状に関する画像特徴、又は輝度分布に関する画像特徴等が採用できる。例えば、非特許文献:「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”,電子情報通信学会論文誌D−II,Vol.J88−D−II,No.2,pp.416−426,2005年2月」には、490次元の画像特徴を用いることが記載されている。本実施の形態においては、例えば、この非特許文献に記載された画像特徴が採用される。但し、これは一例にすぎず、他の画像特徴が採用されてもよい。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された各類似症例の画像特徴とを比較する(S620)。ここで、類似症例検索部303は、検索クエリ画像から抽出された画像特徴データと、類似症例データ蓄積部301に類似症例毎に蓄積された類似症例データ4000(図26)に登録された画像特徴データ4400との距離を算出することで、両画像特徴を比較する。
次に、類似症例検索部303は、距離が所定の閾値以下の類似症例を、距離が小さい順にソートし、送信対象の類似症例として決定する(S630)。次に、通信制御部304は、類似症例データ蓄積部301に蓄積された類似症例データ4000のうち、送信対象として決定された類似症例の類似症例ID4100、スライスID4200、関心領域情報4300、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、確定診断(詳細分類病名)4800、及び類似症例検索部303で算出された距離を情報端末100に送信する(S640)。
以下、類似症例検索結果が表示された初期の基本画面K2(図6)を生成する処理が実行される。まず、初期の基本画面K2において、レイアウト領域720を生成する際に使用される管理情報について説明する。
まず、症例検索システム300の通信制御部304は、レイアウト情報を情報端末100に送信する(S650)。ここで、レイアウト情報は、レイアウト領域720を構成する表示ボックスの行数、列数を指定する情報である。
次に、情報端末100の通信制御部110がレイアウト情報を受信すると、表示ボックス管理部106は、送信されたレイアウト情報が指定する表示ボックスの行数及び列数を表示ボックス管理情報4410(図44)に登録すると共に、検索クエリ画像のスライスIDを表示ボックス管理情報(図44)に登録する(S660)。
図44は、表示ボックス管理情報4410のデータ構成を示す図である。表示ボックス管理情報4410には、行数及び列数が登録されるテーブル4411と、各表示ボックスに表示されるスライス画像のスライスIDが登録されるテーブル4412とが含まれる。したがって、表示ボックス管理部106は、症例検索システム300から送信されたレイアウト情報が指定する行数及び列数をテーブル4411の行数及び列数の欄に登録する。また、本実施の形態では、4つの表示ボックス721〜724のうち、左上の表示ボックス721に検索クエリ画像のサムネイル画像が表示される。そこで、表示ボックス管理部106は、医用情報管理システム200から送信された検索クエリ画像のスライスIDをテーブル4412の1行1列目の項目に登録する。
ここで、レイアウト領域720を構成する表示ボックスの行数及び列数のデフォルト値は症例検索システム300により予め設定されている。ここで、行数及び列数のデフォルト値は例えば2行及び2列である。そのため、図44に示す表示ボックス管理情報4410には、「2行2列」が登録されている。
図6の例では、レイアウト領域720において、表示ボックス721〜724は2行2列で表示されている。このレイアウト領域720における行数及び列数はユーザが自由に設定できる。
図41は、表示ボックスが3行2列で設定されたレイアウト領域720を持つ基本画面K2を示す図である。レイアウト領域720を構成する表示ボックスをM行N列で一般化すると、M≠Nの場合、ディスプレイ101が縦型のディスプレイであれば、M>Nであることが望ましく、ディスプレイ101が横型のディスプレであれば、M<Nであることが望ましい。
ここで、レイアウト領域720を構成する表示ボックスのうち、1つの表示ボックスに対象診断症例のサムネイル画像を表示することが、本実施の形態の重要な特徴の一つである。つまり、類似症例と診断対象症例とを隣接して表示すれば、ユーザは、両症例の類似性の判断がし易くなる。よって、レイアウト領域720における表示ボックスの配列は3行3列までにすることが望ましい。
また、表示ボックスの配列が3行2列の場合、2行1列目の表示ボックス或いは2行2列目の表示ボックスに検索クエリ画像のサムネイル画像を表示することが好ましい。また、表示ボックスの配列が2行3列の場合は、1行2列目或いは2行2列目の表示ボックスに検索クエリ画像のサムネイル画像を表示することが好ましい。また、表示ボックスの配列が3行3列の場合は、2行2列目の表示ボックスに検索クエリ画像のサムネイル画像を表示することが好ましい。こうすることで、常に、レイアウト領域720には、対象診断症例に対して類似症例が隣接して表示されることになる。
ユーザが設定したレイアウト領域720のレイアウト情報は、図42又は図43に示すレイアウト管理情報4200に登録される。
なお、レイアウト管理情報4200を保存するボックスレイアウト管理部111は、症例検索システム300が備えてもよい。
同じユーザであっても情報端末100のディスプレイ101のサイズや画面のタイプ(縦型又は横型)に適合するようにレイアウト領域720のレイアウトが変更されることもある。そのため、図43に示すように、ユーザが設定したレイアウト情報は、ユーザIDと端末IDと関連付けてレイアウト管理情報4200に登録されてもよい。図43は、レイアウト管理情報4200の一例を示す図である。このレイアウト管理情報4200では、「ユーザID」、「端末ID」、「列数」、「行数」、及び「診断対象症例の位置」とが対応付けられている。ここで、「ユーザID」は情報端末100を使用するユーザに対して予め付与されたユーザの識別子である。「端末ID」は、該当するユーザの使用が想定される情報端末100の識別子である。
図43の例では、ユーザID「U01」のユーザは、端末ID「T02」及び「T04」の使用が想定されているため、ユーザID「U01」が端末ID「T02」、「T04」と対応付けられている。「行数」及び「列数」は該当するユーザが設定したレイアウト領域720の行数及び列数が登録されている。「診断対象症例の位置」は、診断対象症例を表示する表示ボックスの位置である。例えば、端末ID「T04」の情報端末100では、レイアウト領域720が2行3列に設定されており、診断対象症例を全ての類似症例と隣接表示させるために、「診断対象症例の位置」として2行1列を示す(2、1)が登録されている。
なお、図43では、レイアウト情報をユーザIDと端末IDと対応付けて管理する態様を示したが、レイアウト情報はユーザIDのみと対応付けて管理されてもよい。図42は、レイアウト管理情報4200の一例を示す図である。図42に示すレイアウト管理情報4200では、図43に示すレイアウト管理情報4200において、「端末ID」の欄が省かれている。それ以外、図42のレイアウト管理情報4200は図43のレイアウト管理情報4200と同じである。なお、図42の態様では、1のユーザは1の情報端末100の使用が想定されていため、「端末ID」の欄が省かれている。
なお、レイアウト情報が症例検索システム300で管理される場合、図32のS650において、該当するユーザのレイアウト情報が情報端末100に送信される。
次に、S640で送信された類似症例データ及びS660で保存した表示ボックス管理情報4410を用いて、表示制御部104は、類似症例検索結果が表示された初期の基本画面K2を生成する(S670)。
この場合、ディスプレイ101bには図6に示す基本画面K2が表示される。また、ディスプレイ101aには、検索クエリ画像が表示されている。
図33は、図32のS670に示す初期の基本画面K2を生成する処理の詳細を示すフローチャートである。
まず、S1000にて、表示制御部104は、図32のS640で受信された類似症例の数をカウントし、カウント値を検索結果件数表示領域713に表示する。
次に、S1100にて、表示制御部104は、表示条件表示領域714に、「全疾患」と表示する。ここで、「全疾患」と表示されるのは、初期の基本画面K2では、ユーザにより病名や病変分布での絞り込みがかけられていないからである。
次に、S1200にて、表示制御部104は、図32のS640で受信された類似症例のうち、症例表示領域710にサムネイル画像が表示可能な類似症例の件数分だけ、症例表示領域710に類似症例のサムネイル画像を表示すると共に、各サムネイル画像に対応付けて確定診断及び類似度を表示する。
症例表示領域710に表示可能な類似症例の件数の最大値は、図6の例では20である。この最大値は予め定められている。また、この最大値はユーザが自由に変更できる構成にしてもよい。図32のS640で受信された類似症例の数が、最大値よりも多い場合、表示制御部104は、症例表示領域710の右端に縦方向に長尺のスクロールバー715を表示する。これにより、ユーザは、スクロールバー715を移動させ、初期の基本画面K2で非表示であった類似症例のサムネイル画像を閲覧できる。
次に、S1300にて、病名リストが生成されて表示される。まず、図32のS640で受信された類似症例から、病名リストが生成される。病名リストは、S640で受信された類似症例が、確定診断病名毎に分類されたリストである。
ここで、S640で受信された類似症例の件数をNC件とする。病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を用いて、病名リストを生成する。生成された病名リストは、図35に示すようにテーブル形式のデータとして、病名リスト管理部108で管理される。
図35は、図33のS1300で生成される病名リストのデータ構成を示す図である。病名リストには、「病名ID」、「大分類病名」、「詳細分類病名」、「件数」、及び「類似症例ID」の欄が含まれる。「病名ID」は、確定診断病名毎に付与される識別子である。ここでは、大分類病名と詳細分類病名との1つの組み合わせに対して1つの病名IDが付与されている。
「大分類病名」は、類似症例データ4000に登録された確定診断(大分類病名)4700が示す確定診断病名である。「詳細分類病名」は、類似症例データ4000に登録された確定診断(詳細分類病名)4800が示す確定診断病名である。「件数」は、「病名ID」が示す確定診断病名に該当する類似症例の件数である。「類似症例ID」は、「病名ID」が示す病名に該当する類似症例を示す類似症例IDである。
病名リスト管理部108は、S640で受信した全ての類似症例データ4000について、確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を抽出し、両者が同じ類似症例データ4000を同じ確定診断病名の類似症例として分類する。そして、病名リスト管理部108は、確定診断病名が同じ類似症例の件数をカウントし、該当する確定診断病名のレコードの「件数」の欄に登録する。また、病名リスト管理部108は、同じ確定診断病名に分類した類似症例の類似症例IDを該当する確定診断病名のレコードの「類似症例ID」の欄に登録する。
図35の例では、大分類病名が「腫瘍性」、詳細分類病名が「原発性肺癌」の確定診断病名に対して病名ID「DIS528」が付与されている。そして、この確定診断病名に該当する類似症例の件数が10件であったため、該当するレコードの「件数」の欄に10が登録され、この確定診断病名に該当する類似症例の類似症例ID「SIM258」、「SIM551」、「SIM1209」、及び「SIM2341」等が、該当するレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された病名リストを用いて病名リスト表示領域730を生成し、ディスプレイ101に表示する。
図36、図37、図38は、それぞれ、病名リスト表示領域730の第1表示例、第2表示例、第3表示例を示した図である。図36に示すように第1表示例では、類似症例検索の結果得られた類似症例が、詳細分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図37に示すように第2表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図38に示すように第3表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示され、且つ、大分類病名毎にその中に含まれる詳細分類病名が件数の多い順に件数と対応付けて一覧表示されている。この場合、患確定診断病名が、大分類病名と詳細分類病名との階層構造で表現される。
図39は、図37に示す病名リスト表示領域730の画面遷移を示す図である。図39の上段に示すように、一覧表示された大分類病名のうち、1の大分類病名がユーザにより選択される操作を入力制御部103が検知すると、表示制御部104は、図39の下段に示すように、選択された大分類病名に属する詳細分類病名を件数が多い順に件数と対応付けて表示する。ここで、ユーザは、例えば、病名リスト表示領域730において一覧表示された大分類病名のうち、所望する1の大分類病名を例えばダブルクリック或いはシングルクリックすることで1の大分類病名を選択すればよい。図39の例では非腫瘍性がダブルクリックされているため、非腫瘍性に属する詳細分類病名が一覧表示されている。
図39の下段において、詳細分類病名が一覧表示されている領域がユーザによりダブルクリック或いはシングルクリックされると、表示制御部104は、該当する領域に表示されていた詳細分類病名を非表示にすればよい。
なお、表示制御部104は、病名リスト(図35)を参照することで、大分類病名に属する詳細分類病名を判定すればよい。例えば、図35の例では、真菌症に対して、アスペルギルス症及びクリプトコッカス症が対応付けられているため、表示制御部104は、真菌症にはアスペルギルス症及びクリプトコッカス症が属すると判断すればよい。
図33に戻り、S1400にて、分布リストが生成されて表示される。まず、S640で受信された類似症例から、分布リストが生成される。分布リストは、S640で受信された類似症例が、病変分布毎に分類されたリストである。
病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている病変分布情報4600を用いて、分布リストを生成する。生成された分布リストは、図40に示すようにテーブル形式のデータとして、分布リスト管理部109で管理される。
図40は、図33のS1400で生成される分布リストのデータ構成を示す図である。分布リストには、「分布名」、「症例数」、及び「類似症例ID」の欄が含まれる。「分布名」は、びまん性、区域性といった予め定められた複数の病変分布の名称である。「症例数」は、病変分布に該当する類似症例の件数である。「類似症例ID」は、病変分布に該当する類似症例を示す類似症例IDである。
分布リスト管理部109は、S640で受信した全ての類似症例データ4000について、病変分布情報4600を抽出し、抽出した病変分布情報4600において、分布フラグ値に1(該当)が設定されている病変分布の数をカウントし、カウント値を該当する病変分布のレコードの「症例数」の欄に登録する。また、分布リスト管理部109は、分布フラグ値に1が設定されている類似症例の類似症例IDを該当する病変分布のレコードの「類似症例ID」の欄に登録する。
図40の例では、びまん性に該当する類似症例の件数が3件であったため、びまん性のレコードの「症例数」の欄に3が登録されている。また、びまん性に該当する類似症例の類似症例ID「SIM2521」、「SIM4123」、及び「SIM5225」がびまん性のレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された分布リストを用いて分布リスト表示領域750を生成し、ディスプレイ101に表示する。
図40に示す分布リストを用いて生成された分布リスト表示領域750は、図11である。図40において、区域性及び胸膜下の症例数は0であるため、図11では、区域性752及び胸膜下756が非アクティブ状態で表示され、これら以外の病変分布は、症例数が1以上であるため、アクティブ状態で表示されている。
図33に戻り、S1500にて、レイアウト領域720が表示される。この処理は、表示制御部104によって行われる。
図34は、図33に示すS1500の処理を示すフローチャートである。S1510にて、表示制御部104は、レイアウト領域720を構成する表示ボックスの行数及び列数を、S660で設定された表示ボックス管理情報4410から取得する。図44の表示ボックス管理情報4410の例では、行数及び列数として2行2列が設定されているため、「2行2列」という情報が取得される。なお、ユーザが表示ボックスの行数及び列数を変更した場合、レイアウト領域720を構成する表示ボックスの行数及び列数は、図42又は図43に示すレイアウト管理情報4200から取得される。
次に、S1520にて、表示制御部104は、S1510で取得した表示ボックスの行数及び列数に合わせて、表示ボックスを描画する。
最後に、S1530にて、表示制御部104は、表示ボックス管理情報4410から各表示ボックスのスライスIDを特定し、特定したスライスIDに対応するサムネイル画像を、対応する各表示ボックス内に描画する。
図44の例では、1行1列目の表示ボックスに診断対象症例のスライスIDが格納されている。そのため、表示制御部104は、図28のS600で送信された診断対象症例のスライス画像からサムネイル画像を生成し、生成したサムネイル画像を表示ボックス721に描画する。
この段階では、残りの表示ボックス(1行2列目、2行1列目、2行2列目の表示ボックス722、723、724)にはスライスIDが格納されていないため、表示制御部104は、これらの表示ボックスに何も表示しない。これらの表示ボックスには、後述する処理により、類似症例のサムネイル画像が表示されることになる。
図32に戻り、通信制御部110は、表示ボックス管理部106に格納された表示ボックス管理情報4410を表示制御部104に送信する(S680)。
次に、表示制御部104は、レイアウト領域720の表示状態及びレイアウトと同じ表示状態及びレイアウトで医用画像ビューワを起動させる(S690)。
図45は、医用画像ビューワの起動処理を示すフローチャートである。
S2000にて、表示制御部104は、図28のS570で起動させた医用画像ビューワを閉じる。
S2100にて、表示制御部104は、表示ボックス管理情報4410に登録された表示ボックス分の医用画像ビューワを、表示ボックス管理情報4410に登録された行数及び列数のレイアウトで起動する。図44の表示ボックス管理情報4410では、2行×2列で4つの表示ボックスが登録されている。よって、表示制御部104は、図5に示すように、4個の医用画像ビューワ610〜640を2行×2列で起動する。なお、レイアウト領域720の行数及び列数がユーザにより変更された場合、図42又は図43に示すレイアウト管理情報4200に登録された表示ボックス分の医用画像ビューワが、レイアウト管理情報4200に登録された行数及び列数のレイアウトで起動される。
S2200にて、表示制御部104は、処理対象となる医用画像ビューワを特定するための変数を初期化する。ここでは、1行1列目の医用画像ビューワが処理対象とされるため、この変数は1行1列にセットされる。
S2300にて、表示制御部104は、全て(ここでは4個)の医用画像ビューワに対する処理が終了したか否かをチェックする。処理済であれば(S2300でYES)、処理が終了され、未処理の医用画像ビューワがあれば(S2300でNO)、処理がS2400に進められる。
S2400にて、表示制御部104は、変数としてセットされた行数及び列数に対応づけられたスライスIDを持つスライス画像を処理対象の医用画像ビューワに表示すると共に、そのスライスIDを含むシリーズを医用画像ビューワに対応付ける。
例えば、図44に示す表示ボックス管理情報4410の例では、1行1列目にはスライスID「CT12353515」が登録されている。よって、スライスID「CT12353515」が医用画像ビューワ610に表示される。また、表示制御部104は、初期表示されるスライス画像に設定された関心領域を表す矩形をこのスライス画像にオーバラップして描画する。なお、1行1列目に登録されたスライスIDを含むシリーズは、図28のS550で取得済みである。また、関心領域は、図28のS580で設定済みである。
図45に戻り、S2500にて、次の医用画像ビューワを処理対象の医用画像ビューワに設定する。1行1列目の次は、例えば、1行2列目、その次は、2行1列目、その次に2行2列目というように処理対象が設定される。
2ループ目のS2400では、1行2列目の医用画像ビューワ620が処理対象にされるが、図44の表示ボックス管理情報4410では、1行1列目以外にはスライスIDが対応づけられていない。そのため、表示制御部104は、1行2列目の医用画像ビューワに対して何も処理を実行せず、空の状態のにしておく。このことは、2行1列目、2行2列目の医用画像ビューワ630、640に対しても同じである。
このフローチャートが終了した状態で、ディスプレイ101aには、図5に示す初期状態の基本画面K1が表示されている。1行1列目(左上)の医用画像ビューワ610には、検索クエリ画像が表示され、その上に関心領域がオーバラップして描画されている。
ここでは、症例検索システム300が画像特徴を抽出する例を示したが、情報端末100が画像特徴を抽出してもよい。図46は、症例検索システム300が画像特徴を抽出する態様を採用した場合の情報端末100、医用情報管理システム200、及び症例検索システム300のブロック図である。
図2との違いは、情報端末100に画像特徴抽出部112が追加された点、及び症例検索システム300から画像特徴抽出部302が省かれた点にある。
図47は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。
図28との違いは、ROI管理部105が、診断対象症例のスライス画像を通信制御部110に送信する処理(S600)の後、画像特徴の抽出が情報端末100で行われ(S603)、抽出された画像特徴が症例検索システム300に送信(S604)されている点にある。画像特徴の抽出(S604)の処理内容は、画像特徴の抽出が症例検索システム300で行われる場合と同様である。
図48は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。図32との違いは、画像特徴の抽出が情報端末100側で行われるため、図48では、図32にはあった画像特徴の抽出(S610)が省かれている点にある。
次に、情報端末100において類似症例のサムネイル画像がドラッグアンドドロップされた際の処理について説明する。
図49は、情報端末100において類似症例のサムネイル画像がドラッグアンドドロップされる際の処理を示すシーケンス図である。
S800にて、入力制御部103は、類似症例のサムネイル画像の表示ボックスへの移動を検知する。図50は、図49に示すS800の処理の詳細を示すフローチャートである。
情報端末100の入力制御部103は、マウス等の操作部102を通しての入力を常時モニタリングしている。そして、入力制御部103は、マウスをクリックする操作がユーザにより入力され、その操作により、症例表示領域710に表示された類似症例のサムネイル画像の1つが選択されたことを検知すると(S3000でYES)、表示制御部104は、選択されたサムネイル画像の背景の色を変更する(S3100)。一方、入力制御部103がサムネイル画像が選択されたことを検知しなければ(S3000でNO)、処理がS3000に戻される。図51は、症例表示領域710に表示されたサムネイル画像のうち1のサムネイル画像が選択されたときの基本画面K2を示す図である。
図51の例では、症例表示領域710において、1行4列目に表示された類似症例のサムネイル画像が選択されている。そのため、そのサムネイル画像の背景の色が変更されている。具体的には選択されたサムネイル画像を外周を取り囲む枠状の領域の色が変更されている。これにより、ユーザに対して当該サムネイル画像が選択状態になったことを知らせることができる。
ここで、背景の色としては、例えば、症例表示領域710の背景の色との差が明確に現れる色が採用される。図51の例では例えば黄色が採用されている。なお、図51の例ではサムネイル画像の枠状の領域の色を変更する態様を示したが、枠状の領域を点滅させる態様や枠状の領域の輝度を明るくする態様が採用されてもよい。
次に、入力制御部103が当該サムネイル画像をドラッグする操作を検知すると(S3200でYES)、表示制御部104は、図52に示すように当該サムネイル画像及びそのサムネイル画像を取り囲む枠状の領域を含む半透明の複製物710Xを生成し、ドラッグの操作に追従させて複製物710Xを移動表示する(S3300)。一方、入力制御部が当該サムネイル画像をドラッグする操作を検知しなければ(S3200でNO)、処理がS3000に戻される。
図52は、図51で選択された1のサムネイル画像がドラッグされている様子を示す図である。また、S3300において、表示制御部104は、症例表示領域710とレイアウト領域720とを結ぶ矢印マーク770及びレイアウト領域720を囲むフレーム領域780の色を変化させる。これにより、レイアウト領域720に向けてサムネイル画像をドラッグする操作を継続して実行することがユーザに促される。
なお、図52では、矢印マーク770及びフレーム領域780の色を変更する態様を示したが、矢印マーク770及びフレーム領域780の輝度を明るくする態様や、点滅させる態様が採用されてもよい。
ユーザがさらにドラッグする操作を継続し、マウスカーソルの位置がレイアウト領域720内のいずれかの表示ボックス721〜724に侵入したことを、入力制御部103が検知すると(S3400でYES)、表示制御部104は、図53に示すように、表示ボックス722〜724のうち、いずれか1の色を変化させる(S3500)。一方、入力制御部103がマウスカーソルの位置がレイアウト領域720内に侵入したことを検知しなければ(S3400でNO)、処理がS3600に進められる。
図53は、表示ボックス722の色が変化された基本画面を示す図である。図53の例では、右上(1行2列目)の表示ボックス722にマウスカーソルが侵入したため、この表示ボックス722の色が変更されている。ここで、表示ボックス722の変更後の色としては、例えば、表示ボックス722の背景の色に対する差が明確になる色が採用される。図53の例では、表示ボックス722は、例えば、青色に変更されている。
これにより、この段階でドラッグを終了すると、表示ボックス722にサムネイル画像が表示されることをユーザに報知できる。ここでは、表示ボックス722の色を変化させる態様を示したが、表示ボックス722の輝度を明るくする態様や、点滅させる態様が採用されてもよい。
そして、入力制御部103は、ドラッグを終了する操作を検知すると(S3600でYES)、ドラッグが終了されたときのマウスカーソルの位置がレイアウト領域720内であるか否かを判定する(S3700)。一方、入力制御部103は、ドラッグを終了する操作を検知しなければ(S3600でNO)、処理をS3300に戻す。また、入力制御部103は、ドラッグが終了されたときのマウスカーソルの位置がレイアウト領域720内でなければ(S3700でNO)、処理をS3700に戻す。ここで、ドラッグを終了する操作としては、例えば、ドラッグ開始時にマウスの左ボタンがクリックされたのであれば、その左ボタンを開放する操作が該当する。
入力制御部103が、ドラッグが終了されたときのマウスカーソルの位置がレイアウト領域720内であると判定すると(S3700でYES)、表示制御部104は、図54に示すように、表示ボックス722〜724のいずれかに、選択されたサムネイル画像を表示する(S3800)。このとき、複製物710Xは消去される。図54は、レイアウト領域720にサムネイル画像が表示されたときの基本画面K2を示す図である。
これにより、診断対象症例のサムネイル画像とユーザが選択した類似症例のサムネイル画像とが、画像サイズは小さいが隣接して表示される。よって、ユーザは2つのサムネイル画像を比較することが容易になる。ここで、表示ボックス722〜724のいずれかにサムネイル画像を表示させるとしたのは、表示ボックス721には、既に診断対象症例のサムネイル画像が表示されているからである。なお、ドラッグが終了されたときのマウスカーソルの位置が表示ボックス721内であれば、表示制御部104は、サムネイル画像が未表示であるいずれか1の表示ボックスに、選択されたサムネイル画像を表示すればよい。以上でS800が終了される。
図49に戻り、類似症例のサムネイル画像が表示ボックス722に表示されると、表示ボックス管理部106は、表示されたサムネイル画像の類似症例データ4000(図26)を参照し、当該サムネイル画像に対応するスライスIDを表示ボックス管理情報4410(図44)に登録し、表示ボックス管理情報4410を更新する(S810)。図54の例では、サムネイル画像は、1行2列目の表示ボックス722にドロップされている。したがって、選択されたサムネイル画像の類似症例データ4000(図26)に登録されたスライスID4200が図44のテーブル4412の1行2列目の欄に登録される。
図55は、類似症例のスライスIDが登録された表示ボックス管理情報4410を示した図である。図44と比較すれば分かるように、図55の表示ボックス管理情報4410のテーブル4412の1行2列の欄にスライスID「CT34298362」が新たに登録され、レイアウト領域720に表示された類似症例のスライスIDが登録されていることが分かる。
図49に戻り、表示ボックス管理部106は、表示ボックス管理情報4410を更新するとすると、更新に係るスライスIDを通信制御部110に通知する(S820)。この処理をアプリケーション層で見ると、類似症例検索アプリケーション「B」から医用情報管理アプリケーション「A」にスライスIDが通知される(S820)。
スライスIDが渡された通信制御部110は、そのスライスIDを医用情報管理システム200の通信制御部206に送信する(S821)。
通信制御部206は、スライスIDを受信すると、そのスライスIDを医用画像データ管理部204に通知し、医用画像データ管理部204は、医用画像データベース2000(図24)を参照し、そのスライスIDを含むシリーズIDを特定し、特定したシリーズIDが示すシリーズの全スライス画像を取得し(S830)、通信制御部206に渡す。そして、通信制御部206は、取得したシリーズの全スライス画像を情報端末100の通信制御部110に送信する(S840)。通信制御部110が全スライス画像を受信すると、表示制御部104は、S810でスライスIDを登録した表示ボックスに対応する医用画像ビューワに、そのスライスIDのスライス画像を表示すると共に(S850)、そのスライスIDを含む全スライス画像をその医用画像ビューワに対応する表示メモリに展開する。図56は、医用画像ビューワにスライス画像が表示されたときのディスプレイ101aの基本画面K1を示した図である。図56の例では、医用画像ビューワ620にスライス画像が表示されている。これは、ユーザが類似症例のサムネイル画像を表示ボックス722に表示させたからである。
このように、症例表示領域710に多数表示された類似症例のサムネイル画像がレイアウト領域720にドラッグされると、類似症例検索アプリケーションの起動後に初期表示された診断対象症例のサムネイル画像と類似症例のサムネイル画像とが、レイアウト領域720において、隣接して表示される。そのため、ユーザはサムネイル画像同士を比較して、両症例の類似性の簡易判断が可能となる。
加えて、ディスプレイ101aには、レイアウト領域720の画像配置と同じ画像配置で、医用画像ビューワに診断対象症例及び類似症例が表示される。
ユーザが診断対象症例と類似症例とを、スライス送りをしながら比較することができ、類似性の詳細判断が可能となる。図57〜図60は、2台のディスプレイ101a、101bの表示関係を示す図である。なお、図57〜図60において、上段はディスプレイ101aに表示された基本画面K1を示し、下段はディスプレイ101bに表示された基本画面K2を示す。
図57では、類似症例検索アプリケーションが起動された直後の状態でのディスプレイ101a、101bに表示された基本画面K1、K2が示されている。類似症例検索アプリケーションが起動された直後において、基本画面K2のレイアウト領域720の表示ボックス721には、診断対象症例のサムネイル画像が表示されている。その他の表示ボックス722〜724にはサムネイル画像は表示されていない。
これに連動して、基本画面K1では、表示ボックス721に対応する医用画像ビューワ610に診断対象症例のスライス画像が表示されている。
図58では、基本画面K2の症例表示領域710において、1行4列目の類似症例のサムネイル画像5801が選択され、そのサムネイル画像5801が表示ボックス724にドラッグされている。そのため、基本画面K1において、表示ボックス724に対応する医用画像ビューワ640に、ドラッグされたサムネイル画像5801に対応するスライス画像が表示されている。
図59では、基本画面K2の症例表示領域710において、3行3列目の類似症例のサムネイル画像5901が選択され、そのサムネイル画像5901が表示ボックス722にドラッグされている。そのため、基本画面K1において、表示ボックス722に対応する医用画像ビューワ620に、ドラッグされたサムネイル画像5901に対応するスライス画像が表示されている。
図60では、基本画面K2の症例表示領域710において、1行5列目の類似症例のサムネイル画像6001が選択され、そのサムネイル画像6001が表示ボックス723にドラッグされている。そのため、基本画面K1において、表示ボックス723に対応する医用画像ビューワ630に、ドラッグされたサムネイル画像6001に対応するスライス画像が表示されている。
図60では、レイアウト領域720の全ての表示ボックスにサムネイル画像が埋まっている。この状態で、ユーザが更に新たな類似症例のサムネイル画像を表示させたい場合、全ての表示ボックスにサムネイル画像が埋まっていない時と同じように、表示ボックスにそのサムネイル画像をレイアウト領域720にドラッグすればよい(図61)。
図61は、全ての表示ボックスがサムネイル画像で埋まっている状態で別のサムネイル画像がドラッグされている状態の基本画面K2を示す図である。図61の例では、症例表示領域710において、2行2列目のサムネイル画像6101が選択されて、そのサムネイル画像6101がドラッグされたため、そのサムネイル画像6101の複製物6101Xが表示されている。そして、ユーザは、この複製物6101Xをレイアウト領域720に向けてドラッグしている。
ここで、ユーザが例えば、複製物6101Xを表示ボックス722でドロップしたとする。この場合、複製物6101Xが非表示になり、サムネイル画像6101が表示ボックス722に上書きされる。これにより、表示ボックス722には、今まで表示されていたサムネイル画像に代えてサムネイル画像6101が表示される。
この上書きに連動して、表示ボックス722に対応する医用画像ビューワ620もサムネイル画像6101に対応するスライス画像で更新される。
なお、1行1列目の表示ボックス721に表示される検索クエリ画像のサムネイル画像は、類似症例のそれぞれと比較されるべきであるため、類似症例のサムネイル画像によって更新されないことが望ましい。
そこで、レイアウト領域720の検索クエリ画像のサムネイル画像が表示されている表示ボックス721内にマウスカーソルが侵入した場合、図53に示すように表示ボックスの色を変える態様に代えて、図62に示すようにドロップができないことを示すマークM1を表示させてもよい。図62は、表示ボックスにマークM1が表示された基本画面K2を示す図である。図62の例では、症例表示領域710の2行2列目のサムネイル画像6201が選択され、マウスカーソルが表示ボックス721内に侵入されて、そのサムネイル画像6201の複製物6201Xが表示ボックス721までドラッグされている。
この場合、表示制御部104は、表示ボックス721にマークM1をオーバラップ表示させる。そして、表示制御部104は、複製物6201Xの枠状の領域の色をサムネイル画像のドロップの禁止を示す色に変更すると共に、表示ボックス721の色もサムネイル画像のドロップの禁止を示す色に変更する。ここで、ドロップの禁止を示す色としては、例えば赤色が採用されるが、これは一例である。これにより、ユーザは、表示ボックス721には、検索クエリ画像のサムネイル画像が表示されているため、サムネイル画像を表示することができないことを認識できる。
図63は、図50の変形例を示すフローチャートである。図50との差異は、新たに、S3410、S3420、S3710、S3720が設けられた点にある。
S3410にて、入力制御部103は、マウスカーソルの位置が診断対象症例に対応する表示ボックス721の内部であるか否かを判定する。そして、入力制御部103がマウスカーソルの位置が表示ボックス721の内部にあると判定すると(S3410でYES)、表示制御部104は、図62に示すように、表示ボックス721にドロップの禁止を示すマークM1を表示すると共に、表示ボックス721の色をドロップの禁止を示す色で表示する(S3420)。S3420が終了すると、処理がS3400に戻される。また、S3410において、マウスカーソルの位置が表示ボックス721の内部になければ(S3410でNO)、処理がS3500に進められる。
S3700において、ドラッグが終了された位置がレイアウト領域720の内部であり(S3700でYES)、且つ、ドラッグが終了された位置の表示ボックスに既に類似症例のサムネイル画像が表示されていれば(S3700でYES)、表示ボックス管理部106は、このサムネイル画像と表示ボックスとの対応付けを消去する(S3720)。例えば、ドラッグが終了された位置が表示ボックス722であり、この表示ボックス722に既にサムネイル画像が表示されていたとする。この場合、表示ボックス管理部106は、表示ボックス管理情報4410から表示ボックス722に対応する1行2列の欄に登録されているスライスIDを消去する。
一方、ドラッグが終了された位置の表示ボックスにサムネイル画像が表示されていなければ(S3710でNO)、処理がS3800に進められる。S3800では、表示制御部104は、該当する表示ボックスにドラッグされたサムネイル画像を表示する。この場合、表示ボックス管理部106は、表示ボックス管理情報4410において、該当する表示ボックスの欄に、ドラッグされたサムネイル画像に対応するスライスIDを登録する。
次に、図28、図32、図49のシーケンス図をアプリケーションのレベルで着目したときの情報端末100、医用情報管理システム200、及び症例検索システム300の処理について説明する。図64は、図28及び図32のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。図64において、図28と同じ処理には同じ符号を付している。
図64〜図66において、「A」は情報端末100が実行する医用情報管理アプリケーションの処理を示し、「B」は情報端末100が実行する類似症例検索アプリケーションの処理を示す。以下、医用情報管理アプリケーションを「アプリA」と記述し、類似症例検索アプリケーションを「アプリB」と記述する。
まず、アプリAは、ユーザから読影対象となる検査リストの表示要求を受け付け、医用情報管理システム200に送信する(S510)。医用情報管理システム200は検査リストを受信すると、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成し、アプリAに送信する。
検査リストを受信したアプリAは、図29に示すように、検査リストをディスプレイ101に表示し、検査リストの中から1の検査がユーザにより選択されると(S530)、選択された検査の表示要求を医用情報管理システム200に送信する(S540)。
検査要求を受信した医用情報管理システム200は、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像をアプリAに送信する(S550)。
次に、アプリAは、図30に示すように、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを表示する(S560)。
次に、アプリAは、シリーズリストの中から読影対象のシリーズがユーザにより選択されると、選択されたシリーズの最初のスライス位置のスライス画像を医用画像ビューワ610に表示する(S570)。このとき、ユーザは、スライス送りする操作を入力し、医用画像ビューワ610に所望のスライス画像を表示させる。
次に、アプリAは、医用画像ビューワ610に表示されたスライス画像において、関心領域を設定する操作をユーザから受け付ける(S580)。
次に、アプリAは、ユーザにより設定された関心領域を示す関心領域情報を生成し、関心領域が設定されたスライス画像(診断対象症例のスライス画像)と共に、アプリBに送信する(S590、S600)。
次に、アプリBは、診断対象症例のスライス画像及び関心領域情報を受信すると、そのスライス画像及び関心領域情報を症例検索システムに送信する(S601、S602)。
スライス画像及び関心領域情報を受信すると、症例検索システム300は、図32と同様、S610〜S640の処理を実行する。
次に、アプリBは、S640で送信された類似症例データ及び表示ボックス管理情報4410を用いて初期の基本画面を生成する(S670)。そして、アプリBは、図33に詳細が示されるS670の処理を実行する。
図65は、図49のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。図64において、図49と同じ処理には同じ符号を付している。
図65に示すS800では、アプリBは、類似症例のサムネイル画像の表示ボックスへの移動を検知する。S800の処理の詳細は、図50で説明した。
次に、アプリBは、表示ボックスに表示されたサムネイル画像の類似症例データ4000(図26)を参照し、当該サムネイル画像に対応するスライスIDを表示ボックス管理情報4410(図44)に登録し、表示ボックス管理情報4410を更新する(S810)。
次に、アプリBは、表示ボックスに移動されたサムネイル画像のスライスIDをアプリAに送信する(S820)。
アプリAは、スライスIDを受信すると(S820)、そのスライスIDを医用情報管理システム200に送信する(S821)。
以降、医用情報管理システム200は、図49と同様、S830、S840の処理を実行する。
S850にて、アプリAは、該当するシリーズの全スライス画像を受信すると、該当する医用画像ビューワにスライス画像を表示する。
図66は、情報端末100において類似症例のサムネイル画像がドラッグアンドドロップされる際の処理をアプリケーションのレベルで着目したときのシーケンス図である。
図64との相違点は、S603、S604にある。図66では、画像特徴は情報端末100で抽出されている。よって、アプリBが診断対象症例のスライス画像に設定された関心領域から画像特徴を抽出し(S603)、抽出した画像特徴を症例検索システム300に送信している(S604)。
次に、図11に示す分布リスト表示領域750に表示された病変分布が選択されたときの処理について説明する。図67は、分布リスト表示領域750に表示された病変分布が選択されたときの処理を示すフローチャートである。
S2000では、分布リスト表示領域750に表示された病変分布(分布チェック項目)のうち、いずれか1の分布チェック項目を選択する操作を入力制御部103が検知すると、表示制御部104は、検知された分布チェック項目が第1〜第3分布情報のいずれに該当するかを判定する。第1分布情報の場合、処理がS1301に進められ、第2分布情報の場合、処理がS1302に進められ、第3分布情報の場合、処理がS1303に進められる。
第1分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域の大きさが、肺の領域に対して広範囲であることを示す所定の第1範囲に属するサムネイル画像を選択させるための情報である。ここでは、第1分布情報としては、「両側性」、「多発性」、「びまん性」、及び「血行性」が該当する。よって、第1範囲としては、これらの病変分布を診断する際に設定される関心領域の大きさが属するような値域が採用される。
第2分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域に相当する領域の大きさが、肺の領域の一部であることを示す所定の第2範囲(第1範囲より低い:第2範囲の上限値が第1範囲の下限値以下)に属するサムネイル画像を選択させるための情報である。ここでは、第2分布情報としては、「気道性」及び「区域性」が該当する。よって、第2範囲としては、これらの病変分布を診断する際に設定される関心領域のサイズが属するような値域が採用される。
第3分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域が、胸膜を含むサムネイル画像を選択させるための情報である。ここでは、第3分布情報としては、「胸膜下」が該当する。
S1301では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第1分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数(この実施の形態では20件)以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ1として決定する。そして、表示制御部104は、抽出した類似症例i(iは抽出された類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ1に到達するまで、S2100、S1501の処理を繰り返す。表示制御部104は、S2100、S1501の処理を実行する度に、iを1ずつインクリメントする。iがNZ1を超えると(S1301でNO)、処理は終了する。
S2100では、表示制御部104は、類似症例iについての第1分布情報に対応する第1拡大率を算出する。ここでは、第1拡大率としては、例えば、1.0が採用される。但し、これは一例であり第1分布情報が示す病変分布を診断する際に設定される関心領域の全域が表示領域に収まるような値であれば、1.0以外の拡大率が第1拡大率として採用されてもよい。
S1501では、表示制御部104は、類似症例iのサムネイル画像を類似症例iの第1拡大率で拡大する。
図68は、第1分布情報が選択されたときの基本画面K2を示した図である。図68では、両側性が選択されている。この場合、類似症例のうち病変分布が両側性に該当する類似症例のサムネイル画像のみが症例表示領域710に表示される。また、この場合、拡大率は1.0であるため、症例表示領域710において、類似検索結果が得られた直後に表示されたサムネイル画像と同じ表示態様でサムネイル画像が表示されている。すなわち、関心領域ROIの中心が表示領域6801の中心に位置するようにサムネイル画像の表示位置が調整されず、且つ、拡大されずに、サムネイル画像が表示される。
S1302では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第1分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ2として決定する。そして、表示制御部104は、抽出した類似症例iのサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ2に到達するまで、S2200、S1502の処理を繰り返す。表示制御部104は、S2200、S1502の処理を実行する度に、iを1ずつインクリメントする。iがNZ2を超えると(S1302でNO)、処理は終了する。
S2200では、表示制御部104は、症例表示領域710において、1つのサムネイル画像に対して予め定められた表示領域のサイズと、類似症例iの関心領域情報とを用いて、類似症例iについての第2分布情報に対応する第2拡大率を算出する。
第2分布情報が選択された場合、類似症例iは、関心領域のサイズが表示領域のサイズの1/2程度になるように拡大される。そのため、表示制御部104は、例えば、下記の数式で類似症例iに対する第2拡大率kiを計算する。表示領域の面積をSd、拡大対象の類似症例iのサムネイル画像の関心領域の面積をSiとすると、第2拡大率kiは以下の式で算出できる。
ki=1/2(Sd/Si)
S1502では、表示制御部104は、類似症例iのサムネイル画像を第2拡大率kiで拡大し、サムネイル画像の関心領域の中心が表示領域の中心に位置するように症例表示領域710にサムネイル画像を表示する。
図69は、第2分布情報が選択されたときの基本画面K2を示した図である。図69では、気道性が選択されている。この場合、類似症例のうち病変分布が気道性に該当する類似症例のサムネイル画像のみが症例表示領域710に表示される。また、症例表示領域710において、全てのサムネイル画像は関心領域ROIの中心が表示領域6901の中心に位置するように第2拡大率で拡大されている。
S1303では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第3分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ3として決定する。そして、表示制御部104は、抽出した類似症例iのサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ3に到達するまで、S2300、S1503の処理を繰り返す。表示制御部104は、S2300、S1503の処理を実行する度に、iを1ずつインクリメントする。iがNZ3を超えると(S1303でNO)、処理は終了する。
S2300では、表示制御部104は、症例表示領域710において、1つのサムネイル画像に対して予め定められた表示領域のサイズと、類似症例iの関心領域情報と、胸膜領域情報4900とを用いて、類似症例iについての第3分布情報に対応する第3拡大率を算出する。
図72は、胸膜領域情報4900が追加された類似症例データ4000のデータ構成を示す図である。なお、類似症例データ4000に胸膜領域情報4900が登録されていない場合、胸膜領域情報4900が得られない。この場合、表示制御部104は、第3拡大率を、第1拡大率と同じ値である1.0に設定すればよい。ここで、胸膜領域情報4900は、類似症例において、胸膜領域を示す情報である。
S1503では、表示制御部104は、類似症例iのサムネイル画像でを第3拡大率kiで拡大し、サムネイル画像の関心領域の中心が表示領域の中心に位置するように症例表示領域710にサムネイル画像を表示する。
図71は、胸膜領域7101を説明する図である。図71に示すように、胸膜領域7101は、胸膜を含む領域であって、中心が関心領域ROIの中心に位置し且つ関心領域ROIよりも少しサイズの大きな矩形状の領域である。ここで、胸膜領域情報4900には、胸膜領域7101の左上の頂点の座標(xpl、ypt)と右下の頂点の座標(xrp、ypb)との4値が含まれる。第3分布情報が選択された場合には、胸膜領域を拡大表示するため、表示制御部104は、以下の式で第3拡大率kiを計算する。表示領域7102の面積をSd、胸膜領域7101の面積をSpとすると第3拡大率kiは、以下の式で算出できる。
ki=Sd/Sp
なお、胸膜領域情報4900は、類似症例データ4000の作成時に関心領域情報と共にユーザにより入力されてもよい。或いは、胸膜領域情報4900は、画像処理装置により、スライス画像から肺の領域を自動的に抽出させ、胸膜位置を判定させることで自動的に作成されてもよい。
図70は、第3分布情報が選択されたときの基本画面K2を示した図である。図70では、胸膜下が選択されている。この場合、類似症例のうち病変分布が胸膜下に該当する類似症例のサムネイル画像のみが症例表示領域710に表示される。また、症例表示領域710において、全てのサムネイル画像は関心領域ROIの中心が表示領域7001の中心に位置するように第3拡大率で拡大されている。
以上の処理により、症例表示領域710には、病変分布に関する診断内容が反映された拡大率でサムネイル画像が表示される。そして、症例表示領域710において、関心領域のサイズが揃えてサムネイル画像が表示される。そのため、関心領域が一部の類似医用画像において小さい状態で拡大されたために見落とされる事態が発生することを防止し、診断精度の向上を図ることができる。さらに、類似症例検索で得られた全ての類似症例ではなく、症例表示領域710で表示される類似症例に対してのみ、拡大処理が行われるため、システムへの負荷が大幅に軽減される。
本開示は、読影対象である医用画像を診断するにあたって参考となる類似症例を提示する類似症例検索装置、及び研修読影医のための読影教育装置等に利用可能である。

Claims (16)

  1. 読影対象候補の医用画像を管理する医用情報管理システムと接続し、医用画像を登録する医用画像データベースを参照して医用画像を検索する症例検索システムと接続し、ディスプレイを有する情報端末の制御方法であって、
    前記ディスプレイには、前記医用情報管理システムで管理されている読影対象候補の中から選択された一の読影対象の医用画像が表示され、
    前記情報端末のコンピュータに対して、
    前記医用画像の中の関心領域を示す指定情報を検知させ、
    前記指定情報によって示された関心領域に応じて、前記関心領域の特徴量と所定の類似度を有する類似医用画像を前記症例検索システムから受信させ、
    前記ディスプレイに表示される第1表示画面の第1表示領域に前記医用情報管理システムで管理されている前記医用画像を表示させ、前記第1表示画面の前記第1表示領域とは異なる第2表示領域に前記症例検索システムから受信した複数の類似医用画像をサムネイル表示させ、前記第1表示領域は、前記医用画像を表示する第1表示ボックスと前記第2表示領域にサムネイル表示された前記類似医用画像の中から選択された第1類似医用画像を表示する第2表示ボックスとを隣接させて有し、
    前記第2表示領域にサムネイル表示された前記類似医用画像の中から前記第1類似医用画像を前記第2表示ボックスに移動させる操作を検知すると、前記第1類似医用画像を前記第2表示ボックスに表示させて前記第1類似医用画像を前記医用画像に隣接させて表示させ
    前記第2表示領域に含まれる前記複数の類似医用画像の中から選択された第1類似医用画像が、前記第1表示領域に含まれる第2表示ボックスに移動されたことを検知すると、前記医用画像と前記第1類似医用画像とを対比して配置した第2表示画面を前記第1表示画面とは別に表示させる、
    制御方法。
  2. 前記第1表示領域に前記第1類似医用画像が含まれている状態で、前記第2表示領域に含まれる前記複数の類似医用画像の中の第2類似医用画像が、前記第1表示領域に移動されたことを検知すると、前記第2表示画面に表示されている前記第1類似医用画像を、前記第2類似医用画像に切り替える、
    請求項記載の制御方法。
  3. 前記第2表示ボックスは複数あり、
    前記第1類似医用画像が表示されている第2表示ボックスに前記第2類似医用画像がオーバラップして移動されたことを検知すると、当該第2表示ボックスに表示されている前記第1類似医用画像を、前記第2類似医用画像に切り替え、前記第1類似医用画像が表示されていない第2表示ボックスに前記第2類似医用画像が移動されたことを検知すると、当該第2表示ボックスに前記第2類似医用画像を表示する
    請求項記載の制御方法。
  4. 前記第1表示画面は、前記第1表示領域に過去に含まれていた類似医用画像を表示する第3表示領域を含み、
    前記第1表示領域は、前記第1表示ボックス及び前記第2表示ボックスを含む所定数の表示ボックスを有し、
    前記第2表示領域から前記第1表示領域に移動した類似医用画像の数が、前記所定数を超えた場合、前記第1表示領域に含まれる前記類似医用画像を前記第3表示領域に移動させる、
    請求項から請求項のいずれか一に記載の制御方法。
  5. 前記第1表示画面は、前記第1表示領域に過去に含まれていた類似医用画像又は現在含まれている類似医用画像を表示する第3表示領域を含み、
    前記第1表示領域は、前記第1表示ボックス及び前記第2表示ボックスを含む所定数の表示ボックスを有し、
    前記第2表示領域から前記第1表示領域に移動した類似医用画像の数が、前記所定数以下の場合、前記移動された類似医用画像を前記第1表示領域及び前記第3表示領域に表示させ、
    前記第2表示領域から前記第1表示領域に移動した類似医用画像の数が、前記所定数を超えた場合、前記第1表示領域に含まれる前記類似医用画像を前記第3表示領域に移動させる、
    請求項から請求項のいずれか一に記載の制御方法。
  6. 前記第3表示領域での類似医用画像の表示サイズは、前記第1表示領域及び前記第2表示領域での類似医用画像の表示サイズより小さい、
    請求項からのいずれか一に記載の制御方法。
  7. 前記第2表示画面の表示配列は、前記第1表示画面に含まれる前記第1表示領域の表示配列と同じである、
    請求項から請求項のいずれか一に記載の制御方法。
  8. 前記ディスプレイは、第1ディスプレイと第2ディスプレイとを含み、
    前記第1表示画面は前記第1ディスプレイに表示され、前記第2表示画面は前記第2ディスプレイに表示される、
    請求項から請求項のいずれか一に記載の制御方法。
  9. 前記読影対象の医用画像の付加情報には、前記医用画像に表れる病変の病名情報が設定されておらず、また、前記受信した複数の類似医用画像の各々の付加情報には、前記受信した複数の類似医用画像の各々に表れる病変の病名情報が設定されている、
    請求項1から請求項のいずれか一に記載の制御方法。
  10. 前記第2表示領域は所定数の表示枠を有し、
    前記受信した複数の類似医用画像の中の所定数以下の画像を、前記読影対象の医用画像との類似度が高い順序で前記各表示枠に表示させる、
    請求項1から請求項のいずれか一に記載の制御方法。
  11. 前記制御方法は、
    前記情報端末のコンピュータに対して、
    前記関心領域の特徴量を示す情報を前記症例検索システムに送信させ、
    前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させる、
    請求項1から請求項10のいずれか一に記載の制御方法。
  12. 前記制御方法は、
    前記情報端末のコンピュータに対して、
    前記一の読影対象の医用画像及び前記関心領域を示す指定情報を前記症例検索システムに送信させ、
    前記医用画像及び前記指定情報から得られる前記関心領域の特徴量と前記所定の類似度を有する類似医用画像を前記症例検索システムから受信させる、
    請求項1から請求項10のいずれか一に記載の制御方法。
  13. 前記一の読影対象の医用画像は肺の医用画像であり、
    前記類似医用画像は肺の医用画像であり、
    前記第1表示画は、
    前記関心領域に相当する領域の大きさが、肺の領域に対して広範囲であることを示す所定の第1範囲に属する類似医用画像を選択させる第1分布情報、前記関心領域に相当する領域の大きさが、肺の領域の一部であることを示す前記第1範囲より低い所定の第2範囲に属する類似医用画像を選択させる第2分布情報、及び、前記関心領域に相当する領域が胸膜を含む類似医用画像を選択させる第3分布情報を含み、
    前記第1分布情報から前記第3分布情報の中のいずれか一が選択された場合、前記選択された一の分布情報に対応する類似医用画像を選択して前記第2表示領域に表示させる、
    請求項1から請求項12のいずれか一に記載の制御方法。
  14. 前記第1分布情報の選択が検知された場合、前記第1分布情報に対応する類似医用画像を、対応する表示領域に初期表示サイズにて表示させ、
    前記第2分布情報の選択が検知された場合、前記第2分布情報に対応する類似医用画像の中の前記関心領域に対応する領域を中心として、前記第2分布情報に対応する類似医用画像を、対応する表示領域内に拡大表示させ、
    前記第3分布情報の選択が検知された場合、前記第3分布情報に対応する類似医用画像の中の前記関心領域に対応する領域を中心として、前記胸膜を含んだ状態で、前記第3分布情報に対応する類似医用画像を、対応する表示領域内に拡大表示させる、
    請求項13記載の制御方法。
  15. 前記第1分布情報は、両側性、多発性、びまん性又は血行性のカテゴリーに属する分布を示す情報であり、
    前記第2分布情報は、区域性又は気道性のカテゴリーに属する分布を示す情報であり、
    前記第3分布情報は、胸膜下のカテゴリーに属する分布を示す情報である、
    請求項13から請求項14のいずれか一に記載の制御方法。
  16. 読影対象候補の医用画像を管理する医用情報管理システムと接続し、医用画像を登録する医用画像データベースを参照して医用画像を検索する症例検索システムと接続し、ディスプレイを有する情報端末において実行されるプログラムであって、
    前記ディスプレイには、前記医用情報管理システムで管理されている読影対象候補の中から選択された一の読影対象の医用画像が表示され、
    前記情報端末のコンピュータに対して、
    前記医用画像の中の関心領域を示す指定情報を検知させ、
    前記指定情報によって示された関心領域に応じて、前記関心領域の特徴量と所定の類似度を有する類似医用画像を前記症例検索システムから受信させ、
    前記ディスプレイに表示される第1表示画面の第1表示領域に前記医用情報管理システムで管理されている前記医用画像を表示させ、前記第1表示画面の前記第1表示領域とは異なる第2表示領域に前記症例検索システムから受信した複数の類似医用画像をサムネイル表示させ、前記第1表示領域は、前記医用画像を表示する第1表示ボックスと前記第2表示領域にサムネイル表示された前記類似医用画像の中から選択された第1類似医用画像を表示する第2表示ボックスとを隣接させて有し、
    前記第2表示領域にサムネイル表示された前記類似医用画像の中から前記第1類似医用画像を前記第2表示ボックスに移動させる操作を検知すると、前記第1類似医用画像を前記第2表示ボックスに表示させて前記第1類似医用画像を前記医用画像に隣接させて表示させ
    前記第2表示領域に含まれる前記複数の類似医用画像の中から選択された第1類似医用画像が、前記第1表示領域に含まれる第2表示ボックスに移動されたことを検知すると、前記医用画像と前記第1類似医用画像とを対比して配置した第2表示画面を前記第1表示画面とは別に表示させる、
    プログラム。
JP2015533775A 2014-04-09 2014-04-09 情報端末の制御方法及びプログラム Active JP5810251B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/002054 WO2015155807A1 (ja) 2014-04-09 2014-04-09 情報端末の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP5810251B1 true JP5810251B1 (ja) 2015-11-11
JPWO2015155807A1 JPWO2015155807A1 (ja) 2017-04-13

Family

ID=54287413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015533775A Active JP5810251B1 (ja) 2014-04-09 2014-04-09 情報端末の制御方法及びプログラム

Country Status (3)

Country Link
US (2) US10349833B2 (ja)
JP (1) JP5810251B1 (ja)
WO (1) WO2015155807A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450885A (zh) * 2020-03-26 2021-09-28 佳能医疗系统株式会社 医用信息处理系统及医用信息处理装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748661B2 (en) * 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
JP6548383B2 (ja) * 2014-11-28 2019-07-24 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6711676B2 (ja) * 2016-04-13 2020-06-17 キヤノン株式会社 医用レポート作成装置及びその制御方法、医用レポート作成システム、並びに、プログラム
CN109416313A (zh) * 2016-06-24 2019-03-01 拜克门寇尔特公司 图像地图集系统和方法
US20180137119A1 (en) * 2016-11-16 2018-05-17 Samsung Electronics Co., Ltd. Image management method and apparatus thereof
JP6247412B1 (ja) * 2017-03-16 2017-12-13 株式会社発明通信社 意匠情報管理サーバー装置
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP6845071B2 (ja) * 2017-04-12 2021-03-17 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP6797088B2 (ja) * 2017-08-17 2020-12-09 富士フイルム株式会社 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
JP6275916B1 (ja) * 2017-11-15 2018-02-07 株式会社発明通信社 意匠情報管理サーバー装置
US20210012892A1 (en) * 2017-12-28 2021-01-14 Panasonic Intellectual Property Management Co., Ltd. System and method for sharing medical information, and system and method for displaying medical information
JP7139605B2 (ja) * 2018-01-05 2022-09-21 カシオ計算機株式会社 表示制御装置、表示制御方法、および表示制御プログラム
WO2020067100A1 (ja) * 2018-09-26 2020-04-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
CN111128066B (zh) * 2018-10-31 2024-01-30 北京小米移动软件有限公司 终端屏幕、屏幕结构及其控制方法、装置和终端
JP7430720B2 (ja) * 2018-11-25 2024-02-13 ホロジック, インコーポレイテッド マルチモダリティハンギングプロトコル
JP7163240B2 (ja) * 2019-04-11 2022-10-31 富士フイルム株式会社 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム
US11848100B2 (en) * 2019-10-18 2023-12-19 Merative Us L.P. Automatic clinical report generation
JP2021078824A (ja) * 2019-11-20 2021-05-27 キヤノンメディカルシステムズ株式会社 X線診断装置
JP7428055B2 (ja) * 2020-04-07 2024-02-06 コニカミノルタ株式会社 診断支援システム、診断支援装置及びプログラム
JP2022142812A (ja) * 2021-03-17 2022-10-03 コニカミノルタ株式会社 放射線画像表示装置、放射線画像表示プログラム及び放射線画像表示方法
JP2022165665A (ja) * 2021-04-20 2022-11-01 株式会社島津製作所 測定画像管理システム、測定画像管理用サーバ、および、測定画像管理方法
WO2024047943A1 (ja) * 2022-08-30 2024-03-07 株式会社島津製作所 X線透視撮影装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100237646B1 (ko) * 1997-04-14 2000-01-15 구자홍 인터넷 기능 티브이의 두화면 동시 표시 방법
JP4820680B2 (ja) * 2006-04-12 2011-11-24 株式会社東芝 医用画像表示装置
JP5128161B2 (ja) 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
JP5562525B2 (ja) * 2008-03-04 2014-07-30 株式会社東芝 医用情報表示装置および医用情報表示プログラム
JP5572440B2 (ja) * 2009-09-15 2014-08-13 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
JP4997341B2 (ja) 2011-11-21 2012-08-08 株式会社東芝 医用画像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450885A (zh) * 2020-03-26 2021-09-28 佳能医疗系统株式会社 医用信息处理系统及医用信息处理装置

Also Published As

Publication number Publication date
JPWO2015155807A1 (ja) 2017-04-13
US20190307327A1 (en) 2019-10-10
US10349833B2 (en) 2019-07-16
WO2015155807A1 (ja) 2015-10-15
US11179036B2 (en) 2021-11-23
US20150317434A1 (en) 2015-11-05

Similar Documents

Publication Publication Date Title
JP5810251B1 (ja) 情報端末の制御方法及びプログラム
JP6907381B2 (ja) 制御方法及びプログラム
JP6960612B2 (ja) 制御方法及びプログラム
JP6874193B2 (ja) 情報端末、制御方法及びプログラム
JP6799115B2 (ja) 情報端末の制御方法及びプログラム
JP5815167B1 (ja) 情報端末の制御方法及びプログラム
JP6578135B2 (ja) 制御方法及びプログラム
JP6675099B2 (ja) 制御方法及びプログラム
JP6664113B2 (ja) 情報端末の制御方法及びプログラム
JP2017064387A (ja) 制御方法及びプログラム
JP2017068838A (ja) 情報端末の制御方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150914

R151 Written notification of patent or utility model registration

Ref document number: 5810251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151