JP2015198928A - 医用画像処理装置、および医用画像処理システム - Google Patents

医用画像処理装置、および医用画像処理システム Download PDF

Info

Publication number
JP2015198928A
JP2015198928A JP2015070961A JP2015070961A JP2015198928A JP 2015198928 A JP2015198928 A JP 2015198928A JP 2015070961 A JP2015070961 A JP 2015070961A JP 2015070961 A JP2015070961 A JP 2015070961A JP 2015198928 A JP2015198928 A JP 2015198928A
Authority
JP
Japan
Prior art keywords
medical image
interpretation
local structure
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015070961A
Other languages
English (en)
Other versions
JP6542004B2 (ja
Inventor
康成 沓名
Yasunari Kutsuna
康成 沓名
弘祐 坂上
Hirosuke Sakagami
弘祐 坂上
吉田 昌史
Masashi Yoshida
昌史 吉田
茂如 石井
Shigeyuki Ishii
茂如 石井
池田 智
Satoshi Ikeda
智 池田
山形 仁
Hitoshi Yamagata
仁 山形
高 増沢
Takashi Masuzawa
高 増沢
杉山 直樹
Naoki Sugiyama
直樹 杉山
宗泰 数野
Muneyasu Kazuno
宗泰 数野
智 杉澤
Satoshi Sugisawa
智 杉澤
順一 田代
Junichi Tashiro
順一 田代
麻衣子 手塚
Maiko Tezuka
麻衣子 手塚
麻希 水口
Maki Mizuguchi
麻希 水口
陽介 柳田
Yosuke Yanagida
陽介 柳田
吉田 淳一
Junichi Yoshida
淳一 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2015070961A priority Critical patent/JP6542004B2/ja
Publication of JP2015198928A publication Critical patent/JP2015198928A/ja
Application granted granted Critical
Publication of JP6542004B2 publication Critical patent/JP6542004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/424Iterative
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】解剖学的位置に基づき、検査や診断において確認が必要な部位や局所構造について読影が行われたか否かを確認することが可能な医用画像処理装置を提供する。【解決手段】実施形態に係る医用画像処理装置は、被検体を撮影した少なくとも1つの医用画像を表示する医用画像処理装置であって、人体の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、確認すべき局所構造を示した確認情報を決定する確認情報決定部と、前記医用画像から検出された前記局所構造の位置に基づいて、前記確認情報に示された前記確認すべき局所構造が読影されたか否かを判定する読影判定部と、前記読影判定部における判定結果を表示する表示部と、を備える。【選択図】 図2

Description

本発明の一態様としての実施形態は、医用画像処理装置、および医用画像処理システムに関する。
画像診断において使用される各種検査装置(以下、モダリティ装置と呼ぶ)は、低侵襲に体内の検査を行うことができるため、現在の医療において不可欠である。モダリティ装置の高性能化により解像度の高い良質な画像を取得できるようになり、正確かつ精密な検査が画像診断において可能となった。たとえば、X線CT(Computed Tomography)装置は、被検体の内部組織の3次元情報を高解像度で取得することができ、MRI(Magnetic Resonance Imaging)装置は、造影剤が入っていない新鮮な血液をMRIで画像化する非造影血管撮像法(MRA:MR Angiography)など、モダリティ装置ごとに様々な撮像方法がある。また、医用画像のデジタル化が進み、電子ネットワークを介して医師からの検査依頼を処理するオーダリングシステムである病院システム(HIS:Hospital Information System)、または放射線科情報システム(RIS:Radiology Information System)や、モダリティ装置で取得された画像を電子データとして蓄積する医用画像一元管理システム(PACS:Picture Archiving and Communication Systems)などが発展してきている。
このように、モダリティ装置の発展により生体内を容易にかつ詳細に観察することが可能となった。一方、取得可能なデータ量は膨大になり、多くのモダリティ装置では、複数の画像から構成されるボリュームデータの形式でデータが取得される。ボリュームデータのデータ量は、全身を撮像した場合数千枚にもおよび、これらのデータを用いて読影を行い、診断を下す読影医等の負担が大きくなっている。読影は病気の診断や、治療方針を決定するために重要な作業であり、早期発見が望まれるなか、大量の医用画像を分析し、早期に判断を下すことは容易ではない。そこで、画像診断を支援する発明として、セグメンテーション技術などを用いて解剖学的な部位を特定し、異常のある領域とその悪性度を判定する医用画像処理装置(たとえば、特許文献1等)や、脊椎など周期性を持った構造物により、異なる2つの検査において取得された画像の位置対応関係を決定する画像解析装置(たとえば、特許文献2等)が提供されている。
また、読影および診断には正確性が求められ、質の高い診断を下すためには、取得した医用画像について、異常部位や治療部位を的確に把握する必要がある。しかしながら、解剖学的な部位を医用画像から読み取ることは熟練の技術や知識が必要である。そこで、人体の解剖学的位置を、数学的手法を用いて表現、構築する技術の提供や研究が行われている。
解剖学的位置とは、医用画像を理解するうえで重要な役割を担う人体の特徴的な局所構造(以下、単に局所構造とよぶ)の位置のことであり、人体を解剖学的にマッピングする際の目印となる。たとえば、頭部においては、第1頚椎(頚椎I)の前弓(結節)が、胸部においては気管分岐部が、腹部においては右腎上極等が局所構造に該当する。この局所構造の位置(解剖学的位置)は、一般的な画像解析、パターン認識技術などにより、X線CT装置やMRI装置などのモダリティ装置で取得した医用画像から自動検出される。
特許第5197029号公報 特許第5138431号公報
読影レポートの作成の際に行われる医用画像の読影は、所見の見逃しがないように網羅的に行う必要がある。すなわち、1回の撮像で1人当たり数百枚、数千枚も取得されるスライス画像をすべて確認する必要がある。しかしながら、検査で取得されたスライス画像の中には、検査目的などに関係のない部位や局所構造も含まれる。読影医等はこのような大量の医用画像データを解析しなければならないため、読影において本当に確認すべき部位や局所構造を確認したかどうかを把握することは難しい。また、がんや免疫疾患など、複数の臓器に異常が現れる疾患においては、単なる知識不足や、忘却などのミスにより、関連する部位や局所構造の見落としが発生する場合がある。
そこで、上述の局所構造の位置(解剖学的位置)に基づき、検査や診断において確認が必要な部位や局所構造について読影が行われたか否かを確認することが可能な医用画像処理装置が要望されている。
実施形態に係る医用画像処理装置は、上記課題を解決するために、被検体を撮影した少なくとも1つの医用画像を表示する医用画像処理装置であって、人体の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、確認すべき局所構造を示した確認情報を決定する確認情報決定部と、前記医用画像から検出された前記局所構造の位置に基づいて、前記確認情報に示された前記確認すべき局所構造が読影されたか否かを判定する読影判定部と、前記読影判定部における判定結果を表示する表示部と、を備える。
実施形態に係る医用画像処理装置の一例を示す概念的な構成図。 実施形態に係る医用画像処理装置の機能構成例を示す機能ブロック図。 実施形態に係る医用画像処理装置の動作の一例を示すフローチャート。 解剖学的位置の検出方法を説明する図。 局所構造の種類を説明する図。 解剖学的位置情報を説明する図。 実施形態に係る医用画像処理装置のチェック項目テーブルの一例を説明する図。 実施形態に係る医用画像処理装置の読影チェック情報の生成方法を説明する図。 実施形態に係る医用画像処理装置の解剖学的位置に対応するスライス画像を説明する図。 実施形態に係る医用画像処理装置の画像の表示に基づく読影判定方法を説明する図。 実施形態に係る医用画像処理装置の座標の選択に基づく読影判定方法を説明する図。 実施形態に係る医用画像処理装置の視線情報に基づく読影判定方法を説明する図。 実施形態に係る医用画像処理装置のキー画像に基づく読影判定方法を説明する図。 実施形態に係る医用画像処理装置の所見に基づく読影判定方法を説明する図。 実施形態に係る医用画像処理装置の読影チェック状況の表示例を説明する図。 実施形態に係る医用画像処理装置の読影チェック状況のその他の表示例を説明する図。 実施形態に係る医用画像処理装置の読影判定時刻を説明する図。 実施形態に係る医用画像処理装置のレポート評価結果の表示例を説明する図。
本実施形態に係る医用画像処理装置は、読影レポート作成装置、医用画像観察装置(画像ビューア)などの医用画像を表示する機能を備えた装置である。以下、医用画像処理装置の実施の形態について添付図面を参照して説明する。
(第1の実施形態)
(1)構成
図1は、実施形態に係る医用画像処理装置100の一例を示す概念的な構成図である。図1に示すように、医用画像処理装置100は、通信制御装置10、記憶部20、主制御部30、表示部40、入力部50、視線情報取得部60を備えた構成である。通信制御装置10を介して電子ネットワーク経由で医用画像一元管理サーバ200、モダリティ装置300、および、HIS/RIS400と接続している。通信制御装置10は、ネットワーク形態に応じた種々の通信プロトコルを実装する。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹LAN、無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバー通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。医用画像処理装置100は、医用画像一元管理サーバ200またはモダリティ装置300から、検査データを電子ネットワーク経由で取得する。
なお、医用画像一元管理サーバ200、HIS/RIS400、医用画像処理装置100は、クラウド上の医用画像処理システムとして構成されていてもよい。この場合、医用画像処理システムの医用画像処理装置100は、例えば、医用画像一元管理サーバ200やモダリティ300からネットワークを介して、医用画像を取得することができる。これにより、医用画像処理システムの医用画像処理装置100は、読影レポートを作成することができる。
モダリティ装置300には、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置あるいは、超音波診断装置などの各種医用画像撮像装置が含まれる。医用画像処理装置100は、複数のスライス画像から構成されたボリュームデータを、電子ネットワークを経由して受信する。
また、医用画像処理装置100は、HIS/RIS400と接続している。HIS/RIS400は、検査オーダと呼ばれる医師等が作成した検査依頼等を処理するシステムである。HIS/RIS400からは患者を一意に特定するための患者ID、または、患者名、患者の性別や体格、年齢などの患者情報や、検査種類、検査目的、モダリティ装置種別などの検査情報を電子ネットワーク経由で取得できる。
記憶部20に格納されたプログラムが主制御部30によって実行されることで、医用画像処理装置100は、ボリュームデータについて局所構造の位置(解剖学的位置)の検出や読影チェック情報の生成、または、読影チェック情報に基づく読影実施状況の判定などを行う。なお、以下の説明では、医用画像から検出した局所構造の患者座標系での位置を、適宜解剖学的位置という。
記憶部20は、RAMとROMをはじめとする記憶媒体などにより構成され、磁気的もしくは光学的記憶媒体または半導体メモリなどの主制御部30により読み取り可能な記憶媒体を含んだ構成を有し、これらの記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。また、医用画像処理装置100で行われる解剖学的位置(局所構造の位置)の検出は、予め記憶部20に格納されたプログラムやデータを用いて行われてもよく、通信制御装置10を介して外部の記憶装置に格納されたデータ等を用いて実行されてもよいし、外部の記憶装置等に格納されたプログラムで実行されてもよい。
表示部40は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示装置により構成されるほか、主制御部30の制御に従って画像をディスプレイ表示する。
入力部50は、たとえばキーボード、タッチパネル、テンキー、マウスなどの一般的な入力装置により構成される。また、入力部50は、マイクなど音声による入力に対応した入力装置を備えてもよい。入力部50は、ユーザの医用画像の選択や読影チェック情報の入力といった操作などに対応した入力信号を主制御部30に出力する。
視線情報取得部60は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの半導体撮像素子を備えた一般的なビデオカメラにより構成されるほか、パーソナルコンピュータまたはモバイル機器に内蔵されたWebカメラやネットワークカメラなどから構成される。また、視線情報取得部60は、前述したビデオカメラとしての構成に加えて、取得した視線情報をデジタル変換し、変換したデジタルデータを格納する医用画像処理装置100の主制御部30により読み取り可能な記憶媒体等の構成を含む。
図2は、実施形態に係る医用画像処理装置100の機能構成例を示す機能ブロック図である。図2が示すように、医用画像処理装置100は、判定時刻記録部21、チェック項目テーブル記憶部23、医用画像入力部31、解剖学的位置検出部(位置検出部)32、読影チェック情報生成部(確認情報決定部)33、読影判定部34、キー画像解剖学的位置特定部35、所見解剖学的位置特定部36、レポート評価部37、表示部40、入力部50、視線情報取得部60を有する。上記構成のうち、医用画像入力部31、解剖学的位置検出部32、読影チェック情報生成部33、読影判定部34、キー画像解剖学的位置特定部35、所見解剖学的位置特定部36、レポート評価部37の各機能は、たとえば記憶部20に格納されたプログラムを主制御部30のプロセッサが実行することによって実現される機能である。なお、これらの機能は、複数のプロセッサが協働することによって実現されてもよいし、CPUを用いることなく回路などのハードウエアロジックによって実現されてもよい。また、表示部40は、記憶部20に格納されたプログラムを主制御部30が実行することによって実現される機能と、表示機能とを有する。また、視線情報取得部60は、カメラ等により視線情報を収集する機能と、記憶部20に格納されたプログラムを主制御部30が実行することによって実現される、スライス番号や座標などに応じた視線情報の集計機能とを有する。
医用画像入力部31は、たとえば医用画像一元管理サーバ200やモダリティ装置300から医用画像データを受信する。医用画像入力部31は複数の医用画像データを受信する。また、医用画像データは、可搬型の記憶媒体を介して、またはネットワークを介して、あらかじめ記憶部20に記憶されていてもよい。医用画像入力部31には、複数の画像により構成される医用画像が、複数入力される。
なお、複数の医用画像のそれぞれは、医用画像を構成する複数の画像(たとえばスライス画像)の束であってもよいし、たとえば医用画像を構成する複数の画像(たとえばスライス画像)に基づいて生成されたボリュームデータとして医用画像入力部31に入力されてもよい。また、ボリュームデータと、ボリュームデータの元データである複数の画像と、が関連付けられて1つの医用画像データとして医用画像入力部31に入力されてもよい。医用画像入力部31にボリュームデータが入力される場合、以下の説明において医用画像データまたは医用画像はボリュームデータと読み替えることができる。また、医用画像を構成する複数の画像から1つまたは複数の画像が選択、抽出される場合、この1つまたは複数の画像はボリュームデータに基づいて生成されるMPR画像(Multi Planar Reconstruction画像)であってもよい。
解剖学的位置検出部32は、人体の特徴的な局所構造の位置を、医用画像から検出する機能を有している。例えば、解剖学的位置検出部32は、医用画像データの解剖学的位置を検出し、検出した解剖学的位置に関する情報(以下、解剖学的位置情報とよぶ)を、医用画像データに付与する。なお、医用画像データには、予め解剖学的位置情報が付与されている場合もある。たとえば、医用画像データへの解剖学的位置情報の付与は、モダリティ装置300で画像が取得されたタイミングで実行されてもよいし、医用画像一元管理サーバ200に格納するタイミングで実行されてもよい。その場合、解剖学的位置検出部32での解剖学的位置の検出処理や解剖学的位置情報の医用画像データへの付与処理は、省略できる。解剖学的位置検出部32における解剖学的位置の検出方法については、後述する。
医用画像データに付与される解剖学的位置情報は、たとえば、XMLデータやバイナリデータなどのデータ形式で、対応する医用画像データなどと関連付けされた状態で保持されていてもよい。また、医用画像データは、DICOM(Digital Imaging and Communication in Medicine)形式に準拠したデータであり、解剖学的位置情報は、DICOM規格における付帯情報として保持されていてもよい。さらに、医用画像データは、付帯情報として、患者名、患者の性別や体格、年齢などの患者情報や、検査種類、検査目的、モダリティ装置種別などの検査情報を保持することもできる。
チェック項目テーブル記憶部23は、検査の種類、検査目的、既往歴、想定病名、原発箇所、被検体の性別、被検体の年齢ごとに、チェック項目となる解剖学的位置を一覧化したチェック項目テーブルを格納している。チェック項目テーブルは、たとえば、外部の記憶装置に格納された医学情報、症例情報、読影レポートの蓄積情報などに基づき生成される。読影レポートの蓄積情報とは、過去の検査において作成された読影レポートを蓄積したデータベースのことである。医学情報や症例情報は、文献やネットワーク経由で収集されてもよいし、予め記憶部20等に格納された情報であってもよい。チェック項目テーブル記憶部23に格納されたチェック項目テーブルについては後述する。
読影チェック情報生成部33は、確認すべき局所構造を示した確認情報を決定する機能を有している。例えば、読影チェック情報生成部33は、医用画像から検出された解剖学的位置の中から読影対象となる解剖学的位置をチェック対象解剖学的位置として一覧化した読影チェック情報(確認情報)を生成する。読影チェック情報は、記憶部20または外部の記憶装置に予め格納されていてもよく、読影医等は、検査の種類、検査目的、既往歴、想定病名、原発箇所、被検体の性別または年齢などに応じて読影チェック情報を選択してもよい。また、医用画像の付帯情報または、HIS/RIS400などに格納された検査情報や患者情報などから、患者の検査の種類、検査目的、既往歴、想定病名、原発箇所、被検体の性別または年齢などを取得し、取得した情報から読影チェック情報が自動で選択されてもよい。さらに、画像の付帯情報や、HIS/RIS400などから取得した検査の種類、検査目的、既往歴、原発箇所または想定病名、被検体の性別または年齢などをキーとして、チェック項目テーブルからチェック対象解剖学的位置を抽出し、読影チェック情報を生成してもよい。読影チェック情報の生成方法は後述する。
読影判定部34は、医用画像から検出された局所構造の位置に基づいて、確認情報に示された確認すべき局所構造が読影されたか否かを判定する機能を有している。例えば、読影判定部34は、医用画像から検出された解剖学的位置に基づいて、読影チェック情報に一覧化されたチェック対象解剖学的位置が読影されたか否かを判定する。また、読影判定部34は、判定結果を読影チェック情報に反映する。さらに、読影判定部34は、判定結果として、読影チェック状況を生成し、表示部40に表示する。読影判定部34は、読影チェック情報に基づき、読影判定テーブルを生成する。読影判定テーブルは、読影チェック情報に一覧化されたチェック対象解剖学的位置が読影されたかを判定するための判定基準を一覧化したものである。読影判定部34での判定方法は後述する。
判定時刻記録部21は、読影判定部34の判定における時刻を記録する。たとえば、判定時刻記録部21は、読影判定部34で判定が完了した時刻を記録する。また、判定時刻記録部21は、判定が開始された時刻や判定に要した時間などを記録してもよい。
キー画像解剖学的位置特定部35は、医用画像の中から選択されたキー画像に関連する解剖学的位置であるキー画像解剖学的位置を特定する。キー画像とは、1つの医用画像データに含まれる複数の画像の中から、読影の鍵になると読影医によって判断された画像のことであり、1つの医用画像データについて1つまたは複数の画像がキー画像として指定される。キー画像解剖学的位置特定部35でのキー画像解剖学的位置の特定方法は、後述する。
所見解剖学的位置特定部36は、読影対象の医用画像について観察された異常などを記載した所見に関連する解剖学的位置である所見解剖学的位置を特定する。所見解剖学的位置特定部36は、所見に記載された部位や局所構造を示す文言を解析し、関連する解剖学的位置を特定する。所見解剖学的位置特定部36での所見解剖学的位置の特定方法は、後述する。
レポート評価部37は、読影中に読影判定部34で更新された読影チェック情報から、読影レポート作成状態を判定し、レポート評価結果を生成する。レポート評価部37は、レポート評価結果として、読影チェック情報のうち読影完了になっていないチェック対象解剖学的位置を一覧化し、ユーザに通知する。また、レポート評価部37は、読影判定部34で判定された結果をもとに、読影の実施状況をレポート評価結果として表示する。
(2)動作
図3は、実施形態に係る医用画像処理装置100の動作の一例を示すフローチャートである。
ST101では、医用画像入力部31が、医用画像一元管理サーバ200またはモダリティ装置300から複数の画像により構成された医用画像データを受信する。この医用画像データは、たとえば医用画像データに対応する医用画像を構成する複数の画像(たとえばスライス画像)に基づいて生成されたボリュームデータである。また、ボリュームデータと、ボリュームデータの元データである複数の画像と、が関連付けられて1つの医用画像データとして医用画像入力部31に入力されてもよい。
ST103では、受信した医用画像データについて、解剖学的位置検出部32により、解剖学的位置が検出される。
図4は、解剖学的位置の検出方法を説明する図である。図4(a)は、解剖学的位置の検出に使用するモデルa5の生成方法の例を示している。図4(a)に示されるモデルa5は、予め医用画像処理装置100の記憶部20に格納されていてもよいし、外部の記憶装置に格納されていてもよい。
図4(a)に示すように、解剖学的位置の検出に使用するモデルa5は、一般的な機械学習やパターン認識により生成される。図4(a)には、画像データベースa1と、解剖学的位置正解データa2とを用いてモデルa5が生成される例が示されている。画像データベースa1とは、異なる体形の被検体について、X線CT装置やMRI装置によって取得されたボリュームデータの集合である。図4(a)に例示されるように、画像データベースa1には、全身のボリュームデータ(画像A)に限らず、体の一部分を撮像したボリュームデータ(画像BおよびC)が含まれる。解剖学的位置正解データa2は、画像データベースa1のそれぞれの画像について、医師等の専門家により予め正しい解剖学的位置が判定されたデータである。図4(a)で示すように、特徴抽出部a3が、画像データベースa1のそれぞれのボリュームデータから特徴を抽出し、解剖学的位置正解データa2を用いて、学習アルゴリズムa4によりモデルa5を生成する。モデルa5は、画像データベースa1から抽出された特徴と、解剖学的位置とを対応付けるために用いられる。このモデルa5には、たとえば、機械学習など用いたモデルがある。また、このようなモデルは、性別、年齢、人種や体格などに応じて異なるモデルが生成されていてもよいし、これらの違いを吸収できるようなモデルであってもよい。
図4(b)は解剖学的位置検出部32で実行される処理の例を示している。解剖学的位置検出部32は、解剖学的位置が未知の解析対象画像データb1について、図4(a)の特徴抽出部a3と同様に、特徴を抽出し、すでに生成済みのモデルa5を用いて解剖学的位置を検出する。より具体的には、解剖学的位置検出部32は、医用画像から局所構造を検出するとともに、検出した局所構造の医用画像中における位置を解剖学的位置として算出する。このようにして算出された解剖学的位置情報b2は、解析対象画像データb1に付与される。
なお、上記解剖学的位置は、上述した方法に限られず、計算解剖学と呼ばれる数理統計的枠組み(計算解剖モデル)により検出することもできる。
図5は、局所構造の種類を説明する図である。局所構造は、医用画像を理解するうえで重要な役割を担う人体の特徴的な構造のことであり、解剖学的ランドマーク(AL:Anatomical Landmark)と呼ばれることもある。たとえば、図5(a)は、頭部および頸部の局所構造の例を示している。図5(a)には、上から順に第1頚椎(頚椎I)の前弓(結節)、歯突起の上端(頚椎II)、右眼球上面、左眼球上面、右眼球中心、左眼球中心、が例示されている。同様に、図5(b)には、胸部の局所構造について、気管分岐部、右肺尖部、左肺尖部、右肩甲骨下角、左肩甲骨下角、左鎖骨下動脈始点、が例示されている。図5(c)には、腹部の局所構造について、右腎上極、左腎上極、右腎下極、左腎下極、膵頭、膵尾先端、が例示されている。図5(d)には、下肢の局所構造として、右大腿骨の外側上顆、右大腿骨の内側上顆、左大腿骨の外側上顆、左大腿骨の内側上顆、右脛骨の外側顆、右脛骨の内側顆、が例示されている。局所構造は、たとえば、図5に示したような粒度で全身に定義されており、人体を構成する種々の骨や筋肉、臓器等について複数の局所構造が定められている。解剖学的位置は、これらの局所構造のそれぞれについて検出される。
このような解剖学的位置は、解剖学的位置情報として医用画像データと関連付けた状態で保持される。解剖学的位置情報は、たとえば、医用画像を一意に特定するためのIDなどと関連付けされてXMLやテキスト形式等で記憶部20等にデータベースとして保持されてもよいし、DICOMの付帯情報として医用画像データと一体となって保持されていてもよい。
解剖学的位置情報は、解剖学的位置の情報に加えて、その解剖学的位置に対応する局所構造が属する胸部や腹部といった部位情報や、骨系や呼吸器系など、その解剖学的位置に対応する局所構造の人体における機能系統に応じた体組織情報などを含むことができる。
図6は、解剖学的位置情報を説明する図である。図6(a)の表は、解剖学的位置情報の例を示している。図6(a)の解剖学的位置情報を示す表には、左から、解剖学的位置の、識別子、名称、信頼度、部位、体組織、患者座標系(X軸、Y軸、Z軸)での位置が示されている。図6(a)には腹部の解剖学的位置情報の一部が例示されている。図6(a)の表は左から、識別子(ABDO25.C))、名称(L5の身体の中心)、信頼度(0.87)、部位(腹部)、体組織(骨系)、患者座標系(X軸(−3.1)、Y軸(23.4)、Z軸(90.0))が示されている。同様に、2段目は、識別子(ABDO32.C))、名称(右腸骨棘上面)、信頼度(0.82)、部位(腹部)、体組織(骨系)、患者座標系(X軸(−11.1)、Y軸(−54.4)、Z軸(84.1))、3段目は、識別子(ABDO39.C))、名称(左腸骨棘上面)、信頼度(0.83)部位、(腹部)、体組織(骨系)、患者座標系(X軸(−3.0)、Y軸(30.0)、Z軸(104.0))が示されている。
識別子は解剖学的位置を一意に特定するためのIDである。名称は、局所構造の名称を示しており、解剖学的、医学的に専門的な用語で示されている。信頼度は、解剖学的位置の正確性を示す数値である。解剖学的位置は機械学習アルゴリズムやパターン認識などによって、計算により推定されたデータであることから、解剖学的位置それぞれについて、それらの位置がどれくらいの正確性を持って算出されたかを示す数値が与えられる。図6(a)に示した例では、0から1の間の数値で表現しており、1に近い数値であるほど信頼性が高いことを示している。部位は、局所構造が属する人体の部位を示しており、たとえば、胸部や腹部のように分類される。体組織は、局所構造の機能に応じて分類されており、たとえば、神経系、骨系、呼吸器系などである。このような、部位や体組織以外にも、心臓、肺、大腿骨など、臓器名や解剖学的な構造体の単位に関する情報を、解剖学的位置情報として有することもできる。患者座標系は、X軸、Y軸、Z軸の座標により、解剖学的位置を示している。
図6(b)は、患者座標系について説明する図である。図6(b)に示すように、患者座標系は、患者の左右方向をX軸、患者の背腹側方向をY軸、患者の頭足方向をZ軸とする座標系である。X軸は患者の中心から右方向を、Y軸は患者の中心から背側方向を正として増加し、Z軸は患者の足部から頭部の方向に増加する。このような患者座標系は、ボリュームデータが有する基準位置など、任意の位置により相対的に表されている。
なお、図6の例は、解剖学的位置情報に含まれる情報やデータ形式の一例を示すものである。
図3のフローチャートに戻って説明する。
ST105では、読影チェック情報生成部33が医用画像に関する読影チェック情報を生成する。読影チェック情報は、読影すべき部位や局所構造を、解剖学的位置に基づきチェック対象解剖学的位置として一覧化した情報である。読影チェック情報は、読影医等が手動で設定してもよいし、予め設定された読影チェック情報を選択してもよい。また、チェック項目テーブルから自動で生成されてもよい。
以下、図7および図8で、チェック項目テーブル記憶部23に格納されたチェック項目テーブルから、読影チェック情報を生成する方法を例として説明する。チェック項目テーブルは、読影チェック情報のもととなるチェック対象解剖学的位置を、検査の種類、検査目的、既往歴、原発箇所、被検体の性別や年齢などに応じて一覧化した情報である。チェック項目テーブルは、たとえば、健康診断や、脳、胸部など部位ごとの精密検査などの検査の種類に応じて、読影が必要な部位や局所構造に対応する解剖学的位置を一覧化したテーブルのことである。以下、読影が必要な部位や局所構造に対応する解剖学的位置(チェック対象解剖学的位置)を、「チェック対象位置」と呼ぶこととする。
図7は、実施形態に係る医用画像処理装置100のチェック項目テーブルの一例を説明する図である。
図7(a)に例示した表は、検査目的ごとに確認すべき部位や局所構造に対応する解剖学的位置を、チェック対象位置として示したチェック項目テーブルを示している。なお、チェック項目テーブにおいて、チェック対象位置は解剖学的位置を一意に特定できる識別子や局所構造により一覧化される。以下、図7(a)に例示したチェック項目テーブルを、検査目的テーブルと呼ぶ。図7(a)の検査目的テーブルの1段目は「検査目的A」について、4つのチェック対象位置「AL1、AL3、AL5、AL7」が示されている。図7(a)の検査目的テーブルの2段目は「検査目的B」について、3つのチェック対象位置「AL2、AL4、AL6」が、同様に、3段目は「検査目的C」について、5つのチェック対象位置「AL1、AL2、AL3、AL4、AL5」が示されている。たとえば、検査目的として「肺がん」のような特定の病気が指定された場合、読影チェック情報生成部33は、図7(a)に例示した表から、「肺がん」をキーとして検査目的テーブルの該当する行を検索し、チェック対象となる解剖学的位置を特定し、読影チェック情報とする。
図7(b)に例示した表は、既往歴ごとに確認すべき部位や局所構造を、チェック対象位置として示したチェック項目テーブルを示している。以下、図7(b)に例示したチェック項目テーブルを、既往歴テーブルと呼ぶ。図7(b)の例では、既往歴テーブルの1段目は「既往歴A」について、5つのチェック対象位置「AL3、AL4、AL5、AL8、AL9」が示されている。既往歴テーブルの2段目は「既往歴B」について、3つのチェック対象位置「AL2、AL3、AL8」が示され、3段目には「既往歴C」について、4つのチェック対象位置「AL1、AL2、AL3、AL6」が示されている。たとえば、肺結核に罹患した患者は、統計的に肺がんや肺炎などになりやすいといわれている。したがって、既往歴に肺結核を含む患者の場合は、肺がんや肺炎に関連する解剖学的位置をチェック対象とすべきである。読影チェック情報生成部33は、このような既往歴テーブルを、検査目的テーブルと組み合わせて検索することで、より精度の高い読影チェック情報を生成することができる。
図7(c)に例示した表は、想定病名ごとに確認すべき部位や局所構造を、チェック対象位置として示したチェック項目テーブルを示している。以下、図7(c)に例示したチェック項目テーブルを、想定病名テーブルと呼ぶ。図7(c)の例では、想定病名テーブルの1段目は「病名A」について、3つのチェック対象位置「AL5、AL6、AL7」が示されている。想定病名テーブルの2段目は「病名B」について、4つのチェック対象位置「AL2、AL3、AL5、AL6」が示され、3段目には「病名C」について、2つのチェック対象位置「AL1、AL5」が示されている。たとえば、医師等の問診などにより患者の病名が予め予測され、その予測を確かめるための検査が行われる場合がある。このように、病名が予測される場合は、読影チェック情報生成部33は、想定病名テーブルを検索し、読影すべき部位や局所構造を絞り込んで読影チェック情報としてもよい。
図7(d)に例示した表は、原発箇所となる解剖学的位置と病名ごとに、確認すべき転移先または併発箇所となる部位や局所構造を、チェック対象位置として示している。以下、図7(d)に例示したチェック項目テーブルを、原発箇所テーブルと呼ぶ。図7(d)の原発箇所テーブルの例では、原発箇所「AL1」の場合の病名と転移先または併発箇所に対応する解剖学的位置が示されている。原発箇所テーブルの1段目は、「病名A」について、1つのチェック対象位置「AL9」が示されている。原発箇所テーブルの2段目は「病名B」について、3つのチェック対象位置「AL5、AL6、AL7」が示され、3段目は「病名C」について、2つのチェック対象位置「AL7、AL8」が示されている。検査目的、既往歴、想定病名などに対応する病気に関連して、転移または併発が統計的に高いと考えられる部位や局所構造がある。たとえば、病名が「肺がん」の場合、原発箇所は肺であるが、脳や様々な骨などの部位や局所構造に転移する可能性がある。既往歴に「肺がん」がある患者の場合は、検査目的が「肺がん」の検査でない場合であっても、転移の可能性を考慮し、このような原発箇所テーブルから検索された結果を読影チェック情報に含めてもよい。
図7で示したチェック項目テーブルの例以外にも、被検体の性別や年齢、喫煙や飲酒などの生活習慣、患者が訴える症状などに応じて、チェック対象位置を一覧化したテーブルがあってもよい。また、図7に例示したチェック項目テーブルに被検体の性別や年齢、喫煙や飲酒などの生活習慣、患者が訴える症状などの行が追加されたチェック項目テーブルであってもよい。また、図7に例示したチェック項目テーブルは、被検体の性別や年齢、喫煙や飲酒などの生活習慣、患者が訴える症状などに関連付けされてそれぞれ存在してもよい。
図7で例示したそれぞれのチェック項目テーブルは、統計情報を含む医学情報や症例情報、過去の読影レポートの記載を解析することで得られてもよい。これらのチェック項目テーブルを検索するためのキーは、読影医等が入力部50を介して入力してもよいし、入力された医用画像の付帯情報などから自動で判定されてもよい。たとえば、読影チェック情報生成部33は、入力された医用画像の付帯情報の患者IDや患者名から、HIS/RIS400に格納された検査目的や想定病名、既往歴などの情報を取得し、それをキーとしてチェック項目テーブルを検索してもよい。また、読影チェック情報生成部33は、検査目的や想定病名、既往歴など取得した複数のキーを組み合わせてチェック項目テーブルを検索してもよい。
図8は、実施形態に係る医用画像処理装置100の読影チェック情報の生成方法を説明する図である。図8上部に示したテーブルT1は、入力部50から直接入力または、HIS/RIS400に格納された検査情報や患者情報から自動で抽出された、被検体の患者情報または検査情報を示している。たとえば、テーブルT1は医用画像データの付帯情報から取得した患者名や検査IDなどを用いて、HIS/RIS400を検索した情報から生成されてもよい。テーブルT1には、患者Aについて、たとえば、検査目的A、既往歴B、病名Cという情報が示されている。この情報を用いて、読影チェック情報生成部33は、読影チェック情報を生成する。テーブルT1に示された情報は、いずれか1つであってもよいし、組み合わせであってもよい。
図8中段に記載したテーブルT2は、テーブルT1の情報をキーとして、チェック項目テーブルを検索した結果を示している。テーブルT2の1段目は、「検査目的A」をキーとして検査目的テーブルを検索した結果を示している。したがって、テーブルT2の1段目には、図7(a)の検査目的テーブルの1段目に示された、4つのチェック対象位置「AL1、AL3、AL5、AL7」が示されている。同様に、テーブルT2の2段目は、「既往歴B」をキーとして既往歴テーブルを検索した結果を示している。テーブルT2の2段目には、図7(b)の既往歴テーブルの2段目に示された、3つのチェック対象位置「AL2、AL3、AL8」が示されている。テーブルT2の3段目は、想定病名である「病名C」をキーとして想定病名テーブルを検索した結果を示している。テーブルT2の3段目には、図7(c)に例示された想定病名テーブルの3段目に示された、2つのチェック対象位置が示されている。テーブルT2の4段目は、想定病名である「病名C」の解剖学的位置「AL1」を原発箇所として、原発箇所テーブルを検索した結果を示している。テーブルT2の4段目には、図7(d)に例示された原発箇所テーブルの3段目に示された、原発箇所が「AL1」「病名C」に対応するチェック対象位置「AL7、AL8」が示されている。
図8の下段に示したテーブルT3は、読影チェック情報の例を示している。テーブルT3の左欄には、図8のテーブルT2に抽出されたチェック対象位置の重複を排除して整理した、「AL1、AL2、AL3、AL5、AL7、AL8」が示されている。テーブルT3の右欄には、チェック結果の欄が例示されている。チェック結果には、抽出されたチェック対象位置について読影されたかどうか判断した結果が表示される。テーブルT3の例では、読影チェック情報生成部33で生成された読影チェック情報のチェック結果には、「未」が表示されている。チェック結果は、初期状態が空であってもよいし、テーブルT3のように、初期入力値が決まっていてもよい。また、テーブルT3の例では、「未」という文字列で、チェックが完了していない状態(未チェック状態)を示したが、数字や記号で表してもよい。
このように生成された読影チェック情報を用いた読影判定部34における判定処理について、図3のフローチャートに戻って説明する。
ST107では、医用画像について読影が実施される。読影では、読影医等が選択したスライス画像が表示部40に表示される。また、読影では、表示されたスライス画像に対して拡大、縮小、回転、平行移動、移動、階調処理等の画像処理が実行される、または、キーボード等を備えた入力部50から所見が入力される、あるいは、表示したスライス画像の中から所見に対応するキー画像を選択するなどの操作が行われる。
ST109では、読影判定部34が、読影チェック情報から読影判定テーブルを生成し、生成した読影判定テーブルに基づいて、読影において実施された操作などから、読影が完了したかどうかを判定する。
ST111では、読影判定部34が、読影が完了したと判断されたチェック対象位置のチェック結果を完了に更新する。
ST113では、表示部40に読影チェック状況が表示される。
以下、図9乃至図14で、読影判定部34における様々な読影判定方法について説明する。
図9および図10の例は、チェック対象位置に関連するスライス画像が、表示部に表示されたか否かで読影判定を行う方法を説明する。
図9は、実施形態に係る医用画像処理装置100のチェック対象位置に関連するスライス画像を説明する図である。図9は、心臓を含む医用画像データの例を示している。図6で説明したとおり、解剖学的位置は、人体の特徴的な局所構造の位置を示している。しかしながら、図9に示すように、解剖学的位置に対応する局所構造は、解剖学的位置を中心とした一定の範囲に存在する。たとえば、「AL1」を左冠動脈入口部を示す解剖学的位置とした場合、実際の左冠動脈入口部は、「AL1」の位置が示す点のみではなく、破線で示した範囲の立体的な局所構造であり、空間的な広がりを持つ。したがって、AL1に対応する局所構造について読影が必要なスライス画像は、AL1を囲む破線で示した範囲を含むスライス画像となる。
図10は、実施形態に係る医用画像処理装置100の画像の表示に基づく読影判定方法を説明する図である。読影判定部34は、読影が必要な部位や局所構造に対応するスライス画像を一覧化した読影判定テーブルを生成する。読影判定部34は、読影判定テーブルに一覧化されたスライス画像が表示部40に表示されたか否かに基づいて、読影が必要な部位や局所構造が読影されたかどうか判定する。
図10(a)は、図9と同様の医用画像が例示している。網掛けで示されたスライス画像は、表示部40に表示されたスライス画像を示している。一方、網掛けが施されていないスライス画像は、表示部40に表示されていないスライス画像を示している。図10(a)は、「AL1」に対応するスライス画像の一部に網掛けが示され、「AL1」に対応するすべてのスライス画像が表示部40に表示されていない例を示している。
図10(b)に示した表は、読影判定部34で生成される読影判定テーブルの例である。読影判定部34は、読影チェック情報に一覧化されたチェック対象位置それぞれについて、読影が完了したかどうかを判断する判断基準を一覧化したテーブルを、読影判定テーブルとして作成する。読影判定テーブルは、読影チェック情報のチェック対象位置のそれぞれに、読影判定基準を追加したものである。図10(b)に例示した表は、読影チェック情報に加えて、読影判定基準として、チェック対象位置に対応する医用画像中のスライス番号と、そのスライス番号に対応する画像が表示部40に表示されたか否かを示す表示有無とが示されている。図10(a)の一番上のスライス画像をスライス番号1番としたとき、AL1に対応するスライス画像のスライス番号は2番乃至5番となる。図10(b)の読影判定テーブルの例には、チェック対象位置「AL1」に対応するスライス番号として、「2、3、4、5」が示されている。同様に、図10(b)の読影判定テーブルの例には、チェック対象位置「AL2」に対応するスライス番号として、「4、5、6、7」が示されている。
図10(a)に網掛けで示したスライス画像は、読影判定部34が表示部40に表示されたと判定可能なスライス画像である。したがって、図10(a)で網掛けで示されたスライス番号4番および5番について、読影判定部34は、図10(b)の表示有無の欄を「あり」に更新する。同様に、「AL2」のスライス番号4番および5番のスライス画像についても、表示有無の欄は「あり」となる。一方、それ以外のスライス画像は表示部40に表示されていないため、読影判定部34は表示有無を「なし」とする。このように、読影判定部34は読影判定テーブルの項目を更新し、最終的にチェック対象位置の読影が完了したかどうか判定する。図10(b)の例では、「AL1」に対応するスライス画像は網羅的に確認されていないこととなる。したがって、読影判定部34は、「AL1」について読影が完了していないと判断し、チェック結果として「未」を表示する。たとえば、スライス番号2番および3番が表示部40に表示された場合、読影判定部34は、「AL1」に対応するスライス画像は網羅的に確認されたと判断することができるため、「AL1」のチェック結果を「完了」に変更できる。一方、「AL2」に対応するスライス番号は4番乃至7番であるため、「AL2」のチェック結果は「未」のままとなる。
図9および図10の例では、チェック対象位置に対応するスライス画像の範囲を、部位や局所構造の大きさまたは範囲に基づいて特定したが、解剖学的位置情報の信頼度に応じて、スライス画像の範囲が判断されてもよい。たとえば、信頼度の低い解剖学的位置の場合は、解剖学的位置の範囲の外側に、さらに数スライス分余裕を持った領域が設定されてもよい。
また、図10では、チェック対象位置に対応するすべてのスライス画像が表示部40に表示されたか否かに基づいて、読影が完了したかどうかの判定が行われる例を示した。たとえば、チェック対象位置に重み付けを行い、読影判定テーブルに抽出されたスライス番号の一部のみ表示部40に表示されれば読影完了と判定できるチェック対象位置があってもよい。
このように、図10の例では、スライス画像の表示の有無を判断基準とした読影判定部34での判定方法を示したが、読影判定部34は、スライス画像の表示に加えて、拡大/縮小、階調変更、回転、平行移動、画像処理または、スライス画像内のある範囲が選択された、または、スライス画像内のある範囲にカーソルやポインタが位置したなどを判断基準として、チェック対象位置の読影が完了したかどうか判定することもできる。
図11は、実施形態に係る医用画像処理装置100の座標の選択に基づく読影判定方法を説明する図である。図11(a)は表示部40に表示されたスライス画像を示している。図11(a)の例では、スライス画像の左側に破線で囲まれた領域は、チェック対象位置「AL1」に対応する領域を示している。同様に、図11(a)のスライス画像の右側に破線で囲まれた領域は、チェック対象位置「AL2」に対応する領域を示している。
図11(a)の例では、AL1の範囲に矢印Aが示されている。矢印Aは入力部50を介して入力されるカーソルやポインタを示している。図11(a)の例では、読影判定部34が、ユーザがこのようなカーソルやポインタをスライス画像上を移動させる操作を取得し、判定を行う。
図11(b)の例は、読影判定部34で生成される読影判定テーブルを示している。図11(b)の例では、チェック対象位置に対応するスライス画像上の領域についてサンプリングされた座標が示されている。座標は、チェック対象位置に対応するスライス画像上の領域の代表的ないくつかの座標であってもよいし、中心の座標または、輪郭の座標であってもよい。図11(b)の例では、チェック対象位置「AL1」に対応する座標として、(X1、Y1)、(X2、Y2)、(X3、Y3)の3つが、読影判定テーブルに示されている。同様に、「AL2」に対応する座標として、(X4、Y4)、(X5、Y5)の2つが示されている。読影判定部34は、入力部50からの入力により、カーソルやポインタが、図11(b)に示された座標を通過した、または、その座標を押下したなどの操作を取得し、選択有無を判定する。図11(b)の例では、「AL1」に対応する座標である(X1、Y1)、(X2、Y2)、(X3、Y3)の座標について入力部50からの操作が確認されたため、読影判定部34は「AL1」のチェック結果を「完了」とする読影判定を行う。
図11の例では、サンプリングされたすべての座標の選択有無が「あり」となった状態で、読影判定部34は「AL1」のチェック結果を「完了」としたが、1つ以上の座標の選択有無が「あり」となればチェック結果を「完了」としてもよい。また、カーソルやポインタが移動したかの判断は、座標単位でなく、画面をいくつかに分割したセル単位であってもよい。たとえば、画面を16のセルに分割し、チェック対象位置が含まれるセルをカーソルやポインタが通過したかどうかを判定基準としてもよい。
図11では、画面上の特定の座標にカーソルやポインタが移動したなどを基準として読影が完了したかどうか判定を行う例を示した。読影判定部34は、このようなカーソルやポインタの移動だけではなく、拡大や縮小、階調処理、回転、平行移動、画像処理などの操作の有無を判断基準としてもよい。たとえば、読影の際、得られた画像データはその診断目的とする部位や局所構造が容易に観察できるように、表示設定により画素の階調値(コントラスト)が調整される。X線CT装置で取得した画像データは、それぞれの画素ごとにCT値を有している。このCT値は、組織のX線減弱係数と対応付けられており、水を0、空気のCT値を−1000、骨を+1000として−1000から+1000までのCT値範囲で階調性を持つ。たとえば、肺野を観察する場合、肺野は空気を含む領域が多いため、低いCT値に階調を併せて観察する。その際、心臓、胸壁の軟部組織または骨などは高いCT値を有するため信号は飽和してしまい、観察することができない。このように、階調値を調整して正しいコントラストで観察しなければ、目的の部位や局所構造を観察することができない場合がある。したがって、チェック対象位置に応じて、階調処理が適切に変更され、対象の部位や局所構造が正しく観察されたかどうかを判定基準とすることもできる。
読影判定部34は、上述のような入力部50からの操作以外にも、読影を行うユーザの視線情報に基づいて判定を行ってもよい。
図12は、実施形態に係る医用画像処理装置100の視線情報に基づく読影判定方法を説明する図である。視線情報は、カメラなどを備えた視線情報取得部60で取得される。視線情報取得部60では、読影医等の視線情報を、所定のサンプリング間隔で解析し、スライス画像、座標単位で集計することができる。
図12の例では、斜線付き円は視線情報取得部60で取得された読影医等の視線情報を示している。円の中心位置は、視線が位置した座標を示している。円の大きさは、視線が維持された時間を示している。また、円と円とを結ぶ線は、視線の動きをそれぞれ示している。破線で囲まれた領域は、それぞれ、チェック対象位置であるAL1およびAL2の範囲を示している。
図12の例では、AL1の範囲には視線情報を示す円が集中し、かつ、AL1の範囲に直径の大きな円が2つ示されている。一方、図12の例では、AL2の領域には円が示されていない。読影判定部34は、このような視線情報から、チェック対象位置が読影されたかどうかを判断してもよい。たとえば、図11の例で示したカーソルやポインタの操作の代わりに、視線情報を用いてもよい。また、チェック対象位置に対応するスライス画像上の領域の視線の被覆率(カバレッジ)に応じて、判断してもよい。
また、読影判定部34は、読影レポートをまとめる際のキー画像や、所見の入力内容に基づいて、判定を行ってもよい。
図13は、実施形態に係る医用画像処理装置100のキー画像に基づく読影判定方法を説明する図である。図13では、キー画像として選択されたスライス画像に対応する解剖学的位置を用いて、読影が実施されたかどうか判定する方法を例示している。
図13(a)の左は、複数のスライス画像を含む医用画像を示しており、図13(a)は網掛けで示されたスライス位置のスライス画像が、キー画像として選択されたスライス画像である例を示している。キー画像として選択されたスライス画像の近傍には、図13(a)で示すように、複数の解剖学的位置が存在する。
図13(b)はキー画像の近傍に存在する解剖学的位置の一覧を示している。キー画像解剖学的位置特定部35は、キー画像の近傍に位置する解剖学的位置を特定し、図13(b)に示すようなキー画像解剖学的位置一覧を生成する。キー画像解剖学的位置は、たとえば、キー画像の中心から所定の距離内にある解剖学的位置であってもよいし、キー画像の最近傍の解剖学的位置が属する部位や臓器に応じて特定されてもよい。
このように、読影判定部34は、図13(b)に例示されたキー画像解剖学的位置の中に、読影チェック情報のチェック対象位置に対応する解剖学的位置が存在する場合、その該当するチェック対象位置についてチェック結果を「完了」と判断してもよい。
また、読影レポートの作成において画像上に注意して観察すべき部分を示すために表示されるアノテーションが付与された画像の解剖学的位置に基づいて、読影判定部34は読影対象ALについて読影されたかどうかをチェックしてもよい。
図14は、実施形態に係る医用画像処理装置100の所見に基づく読影判定方法を説明する図である。所見は、入力部50から入力される。図14(a)の例では、所見に「右肺上部から足方向3cm」という文言が記入されている。所見解剖学的位置特定部36は、この文言から、図14(b)に例示された所見解剖学的位置を特定する。
所見解剖学的位置特定部36は、たとえば、所見に記載された文言から部位や局所構造に対応する文言を抽出し、前方一致検索や辞書検索などの一般的な検索方法により、対応する解剖学的位置を特定する。
また、所見解剖学的位置特定部36は、マイクなどを備えた入力部50から、読影医等が発話した内容を解析して、所見解剖学的位置を特定してもよい。
このように、読影判定部34は、図14(b)に例示された所見解剖学的位置の中に、読影チェック情報のチェック対象位置に対応する解剖学的位置が存在する場合、その該当するチェック対象位置についてチェック結果を「完了」と判断してもよい。
また、読影判定部34は、判定時刻記録部21に格納された情報を用いて、読影判定を行ってもよい。
図15は、実施形態に係る医用画像処理装置100の読影判定時刻を説明する図である。判定時刻記録部21は、チェック対象位置について、読影が開始された時刻と、読影が完了した時刻とを記憶する。また、読影完了までに要した時間を算出し記憶してもよい。
図15の例では、読影判定部34が、チェック対象位置に対応するスライス画像の表示有無により判定する例を示している。図15の例では、AL1に対応するスライス画像ごとに、そのスライス画像が表示された表示開始時刻と、その表示が変更された表示変更時刻とが示されている。図15の例では、1段目は、AL1に対応するスライス番号2番の読影判定時刻(時:分:秒)を示しており、表示開始時刻が「15:16:20」、表示変更時刻が「15:17:40」が示されている。同様に、2段目は、AL1に対応するスライス番号3番の読影判定時刻が示されており、表示開始時刻が「15:17:40」、表示変更時刻が「15:18:00」が示されている。3段目は、AL1に対応するスライス番号4番の読影判定時刻が示されており、表示開始時刻が「15:18:00」、表示変更時刻が「15:19:10」が示されている。4段目は、AL1に対応するスライス番号5番の読影判定時刻が示されており、表示開始時刻が「15:19:10」、表示変更時刻が「15:19:55」が示されている。
判定時刻記録部21は、この表示開始時刻と表示変更時刻の記録を取得し、AL1について読影が完了した時刻を判定し、記憶する。図15の例では、AL1に対応するスライス画像のすべての読影が完了した時刻は、スライス番号5番の表示変更時刻「15:19:55」である。したがって、図15の例では、AL1のチェック完了時刻として「15:19:55」が記憶される。
また、判定時刻記録部21は、読影開始時刻(図15の例では、表示開始時刻)を記録している。したがって、読影判定部34は、読影に要した時間に応じて、読影が実施されたかどうかを判断してもよい。たとえば、図15の例では、AL1に対応するスライス画像のそれぞれについて、何分間読影が行われたかを算出することができる。ある閾値以上(例えば、1分以上)の時間読影が実施された場合、該当するスライス画像について読影が完了したと判断してもよい。また、AL1に対応するスライス画像として複数枚のスライス画像が特定されているため、複数のスライス画像それぞれについて算出された読影時間を積算した時間を用いて読影が完了したか判断してもよい。また、読影が完了したと判断する読影時間の閾値は、チェック対象ALごとにそれぞれ定められていてもよい。
上述のように、読影判定部34において判定された結果は、読影チェック状況として、表示部40に表示される(ST113)。
以下、図16および図17で読影チェック状況の表示を説明する。
図16は、実施形態に係る医用画像処理装置100の読影チェック状況の表示例を説明する図である。図16は、読影時にスライス画像を表示する画像表示画面W1の例を示している。画像表示画面W1には、読影対象の医用画像データに関する患者情報や検査情報などを示す検査情報表示領域40aや、医用画像入力部31に医用画像データに含まれる複数のスライス画像が表示される画像サムネイル40bが表示されている。図16において、検査情報表示領域40aの下部には、読影中のスライス画像を表示するスライス画像表示部40cが示されている。スライス画像表示部40cの右側には、医用画像の全スライス枚数に対応したバーG1、医用画像中のチェック対象位置を示すマークG2、医用画像の現在位置を示し、かつ、上下に動かすことで、前後のスライス番号に対応するスライス画像をスライス画像表示部40cに表示することができるスライダーG3、現在読影中のチェック対象位置を示す吹き出しG4、などのユーザインタフェースが示されている。また、スライス画像表示部40cの下部には、「拡大/縮小」ボタンB1、「階調変更」ボタンB2、「画像処理」ボタンB3がそれぞれ示されている。
また、画像サムネイル40bの下部には、読影チェック状況40dが示されている。図16に例示した読影チェック状況40dは、図8のT3に例示した読影チェック情報のチェック対象位置と、チェック結果とを示した表である。図16の例では、「AL1」および「AL3」のチェック結果に「完了」が示されている。これは、「AL1」および「AL3」の読影について、読影判定部34で完了と判定されたことを示している。なお、チェック結果は記号やチェックボックスであってもよい。
なお、読影が完了したかどうかを示すチェック結果は、ユーザである読影医等により上書きされてもよい。たとえば、読影判定部34で自動的に判定された場合であっても、読影医等が読影が不十分であると考える場合は、たとえば、チェックボックスのチェックを外すなど、変更することができてもよい。その場合は、読影判定部34が読影チェック情報のチェック結果の変更に応じて「完了」から「未」にチェック結果を更新する。
図17は、実施形態に係る医用画像処理装置100の読影チェック状況のその他の表示例を説明する図である。図17は、図16に例示した読影チェック状況40dの変形例を示している。
図17(a)は、チェック結果を割合で示した例である。たとえば、スライス画像の表示有無によって読影されたか否かを判定する読影判定方法によれば、チェック対象位置に対応するとして抽出されたスライス画像のうち、何枚のスライス画像がチェックされたかを、全体の割合などで算出することができる。図17(a)に例示した網掛けは、このような割合を示しており、読影が完了すると、チェック結果の枠がすべて網掛けされる。このような表示により、算出された割合に応じて、チェック対象位置それぞれの読影の進捗状況を示すことができる。
また、図17(a)で示した網掛け部分は、読影を行った時間の長さを示してもよい。それぞれのチェック対象位置について読影を行った時間を表示することで、読影が十分実施されたかどうかの指標とすることができる。
図17(b)は、チェック結果をチェックの進捗状況に応じて3段階で評価した結果を、チェック対象位置それぞれについて示したものである。たとえば、進捗状況が90%以上を良好として「良好」を、50%以上90%未満のものを注意が必要な項目として「要注意」を、50%未満のものを読影が十分ではないとして「不十分」と判定し、表示してもよい。
このように、読影判定部34は、チェック対象位置のそれぞれについて、読影が完了したか判断し、その判定結果である読影チェック状況を生成し、表示部40に表示する。
本実施形態に係る医用画像処理装置100では、このような読影チェック状況を読影中に表示することで、読影すべき部位や局所構造の見逃しを防止することができる。また、読影の進捗状況を容易に把握することもできる。さらに、解剖学的位置により、慎重に読影すべき部位や局所構造が明示されるため、読影に緩急をつけることができ、効率のよい読影が可能となる。さらに、読影判定方法の設定により、読影すべき部位や局所構造を慎重に読影したかどうか、網羅的に読影できているかどうか、といった読影の評価を行うことができる。感覚的に行われる読影という作業における手順などを、読影判定方法などにより数値化することで、ユーザである読影医等に読影のやり方を意識させることができる。
以上により、読影中の読影チェック状況の表示について説明した。以降は、読影を完了する場合の動作について、図3のフローチャートに戻って説明する。
ST115では、読影を終了するか否かが選択される。読影の終了は、たとえば、表示部40に表示された読影レポートを閉じたり、読影レポートを印刷または保存したりするなどの操作が行われたかどうかによって判断する。
ST117では、レポート評価部37が、読影レポートの作成状況を評価する。読影レポートの作成状況は、読影チェック情報のチェック対象位置のチェック結果に基づいて、判断される。レポート評価部37は、レポート作成状況に応じたレポート評価結果を生成する。レポート評価結果には、たとえば、読影チェック情報の完了していないチェック対象位置や、読影レポートを確定保存できないといった内容が記載される。また、レポート評価結果には、読影がどのように実施されたかなどのレポート作成順序などが記載されてもよい。
ST119では、表示部40にレポート評価結果が表示される。
図18は、実施形態に係る医用画像処理装置100のレポート評価結果の表示例を説明する図である。レポート評価結果は、読影レポートの作成を終了する際にレポート評価部37で生成され、表示部40に表示される。
図18(a)は、読影を終了する際に、読影判定部34で読影が完了していないと判断された解剖学的位置がある場合の警告メッセージが記載されたレポート評価結果の表示例を示している。図18(a)の例では、メッセージウィンドウW2に読影を行った確認する旨のメッセージとともに、読影が完了していない解剖学的位置が一覧で表示されるレポート評価結果を示している。たとえば、図16に例示した画像表示画面W1に表示された読影チェック状況40dの状態で読影を終了しようとすると、読影が完了している(「完了」が表示されている)解剖学的位置は、AL1とAL3のみである。したがって、レポート評価部37は、読影チェック情報から、すべてのチェック対象位置について読影が完了していないと判定し、その旨を記載したレポート評価結果を作成する。図18(a)の例では、メッセージウィンドウW2に、読影が完了していない解剖学的位置としてAL2、AL5、AL7、AL8が一覧で表示されたレポート評価結果が表示される。
図18(b)は、読影を終了する際に、読影作業がどのように実施されたかを報告するレポート評価結果を表示する例を示している。図18(b)に例示したメッセージウィンドウW2には、図17(b)の例で示した読影チェック状況の表示例に、読影チャートが追加された例が示されている。読影チャートは、チェック対象位置がチェックされた順序や時間を棒グラフで示したものである。図18(b)に示した読影チャートの例では、横軸は読影時間を示し、網掛けはチェック対象位置について読影が実施されたタイミングとその時間の長さを示している。読影チャートから、どのような順序で読影が行われたか、また、読影作業が並行して行われているものや、それぞれの解剖学的位置の読影時間の全体に対する比率や、読影が開始または完了したタイミング等、読影における作業状況を把握することができる。また、網掛け部分は、たとえば、チェック結果が要注意から良好になった部分を境に異なる色で表示し、作業が滞った箇所を視覚的に表示できてもよい。
図18(c)は、図18(b)の変形例である。図18(b)に示した表の代わりに、図18(c)で示した図がレポート評価結果として、メッセージウィンドウW2に表示される。図18(c)の例では、それぞれの解剖学的位置の読影時間を、解剖学的位置を表示する枠の大きさで表している。また、読影が完了した順序で解剖学的位置を並べ、キー画像や所見に入力された解剖学的位置にラベルを表示している。このような表示により、読影レポートを終了する際に、読影に要した時間や読影順序、または、レポートにまとめた内容を確認することができる。
このように、読影レポート作成作業を終了する際に、図18に例示したようなレポート評価結果を表示することで、実際に印刷や確定保存する前に、読影レポート作成の最終チェックをユーザに促すことができる。また、読影の手順や読影時間等を表示することで、読影を評価することができ、今後の作業にフィードバックすることができる。また、このような読影作業の手順をデータベースとして蓄積しておくことで、熟練者の読影ノウハウを他者と共有することも可能となる。加えて、このような読影手順を記録しておくことで、読影に抜けがあった箇所を容易に発見することも可能であり、また、読影を再開する際も、重複した作業を避けることが可能となり、読影作業の効率化、省力化を図ることができる。
(第2の実施形態)
第1の実施形態のST105では、読影チェック情報生成部33が、医用画像に関する読影チェック情報を生成するようになっていた。
第2の実施形態では、読影チェック情報生成部(確認情報決定部)33は、検出された局所構造の位置の表示順序を決定するようになっている。この場合、表示部40は、決定した表示順序に基づいて、局所構造の位置に対応した医用画像を構成する複数の画像(たとえば、スライス画像)を切り替えて表示するようになっている。
例えば、読影チェック情報生成部33は、チェック項目テーブル記憶部23に格納されたテーブルから局所構造の位置の表示順序を決定する読影ガイドを生成する。この場合、チェック項目テーブル記憶部23は、読影ガイド抽出テーブルを有しているものとする。
具体的には、チェック項目テーブル記憶部23に格納された読影ガイド抽出テーブルは、「検査目的」に対応する「読影ガイド」を一意に特定するようになっており、例えば、「部位名」および「疾患名」から「検査目的」が決定され、その「検査目的」に対応する「読影ガイド」を生成する。
なお、読影ガイド抽出テーブルは、「部位名」と「疾患名」とに関連する「検査目的」に限定されるものではなく、例えば、「臓器名」と「疾患名」とに関連する「検査目的」が決定されてもよいし、「部位名」と「臓器名」と「疾患名」とに関連する「検査目的」が決定されてもよい。
このように、読影チェック情報生成部33は、「部位名」、「疾患名」、「検査目的」などの入力に基づき、チェック項目テーブル記憶部23に格納された読影ガイド抽出テーブルを検索して、読影ガイドを生成する。
読影チェック情報生成部33は、検査目的に対応する読影ガイドを生成すると、局所構造の位置の表示順序を決定する。
読影ガイドは、検査の種類、既往歴、想定病名、原発箇所、被検体の年齢および被検体の性別のうち少なくとも1つに基づいて、局所構造の位置の表示順序を決定する。例えば、検査目的に対応する読影ガイドごとに、局所構造の位置に該当する読影対象について、予め読影順序や優先度を割り当てる。
そして、表示部40は、決定した表示順序に基づいて、局所構造の位置に対応した複数の画像(たとえば、スライス画像)を切り替えて表示する。
このように、表示部40は、その読影ガイドに示されている読影順序や優先度に従って、局所構造の位置に対応した読影対象の画像を表示する。また、表示部40は、読影順序や優先度に基づいて、表示の順番を変更したり、読影チェックが終了しているものをスキップし、読影対象の画像を表示する。
これにより、ユーザは、表示部40に表示された医用画像について、表示順序に沿って読影を行うことにより、読影すべき順序に従った局所構造の位置の読影を行うことができる。
なお、読影チェック情報生成部33は、検査目的、過去の検査情報、病名の少なくとも1つと、局所構造の位置の表示順序を決定するための情報とを対応づけて、チェック項目テーブル記憶部23に読影ガイド抽出テーブルを記憶させるようにしてもよい。
(第3の実施形態)
第1の実施形態では、医用画像処理装置100は、ステップST113において、読影チェック状況を表示部40に表示するようになっていた。
第3の実施形態では、複数の医用画像のそれぞれから人体の特徴的な局所構造の位置を検出し、それぞれの医用画像を対応づけて表示するようになっている。この場合、例えば、医用画像処理装置100は、複数の画像から構成される第1医用画像と複数の画像から構成される第2医用画像とを対応づけて表示する。
これにより、第3の実施形態では、ユーザは、第1医用画像を見ながら、第2医用画像の読影を実施することができる。また、医用画像処理装置100は、第1医用画像を構成する複数の画像と、第2医用画像を構成する複数の画像とを対応づけて表示するようにしてもよい。
例えば、医用画像処理装置100の解剖学的位置検出部(位置検出部)32は、第1医用画像と第2医用画像のそれぞれから、人体の特徴的な局所構造の位置を検出する。
医用画像処理装置100の表示部40は、第1医用画像と第2医用画像とのそれぞれの局所構造の位置に基づいて、第1医用画像のスライス画像と第2医用画像のスライス画像とを対応づけて、第1医用画像と第2医用画像とを表示する。
表示部40は、複数の異なる局所構造の位置に基づいて、第1医用画像のスライス画像と第2医用画像のスライス画像とを対応づけて、第1医用画像と第2医用画像とを同時に表示することができる。
また、表示部40は、第1医用画像のスライス画像のスライス位置の変更に連動して、第2医用画像のスライス画像を変更して表示するようにしてもよい。この場合、医用画像処理装置100の表示部40は、第1医用画像のスライス画像と第2医用画像のスライス画像とを同時に表示することができる。
このように、第3の実施形態の表示部40は、局所構造の位置に基づいて、第1医用画像のスライス画像と第2医用画像のスライス画像とを連動させて表示することができる。すなわち、表示部40は、第1医用画像のスライス画像と第2医用画像のスライス画像との表示変更速度やスライス画像の表示変更タイミングなどのページめくり動作を、相互に同期を取りながら表示することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 通信制御装置
20 記憶部
30 主制御部
40 表示部
50 入力部
60 視線情報取得部
21 判定時刻記録部
23 チェック項目テーブル記憶部
31 医用画像入力部
32 解剖学的位置検出部(位置検出部)
33 読影チェック情報生成部(確認情報決定部)
34 読影判定部
35 キー画像解剖学的位置特定部
36 所見解剖学的位置特定部
37 レポート評価部
100 医用画像処理装置
200 医用画像一元管理サーバ
300 モダリティ装置
400 HIS/RIS

Claims (18)

  1. 被検体を撮影した少なくとも1つの医用画像を表示する医用画像処理装置であって、
    人体の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、
    確認すべき局所構造を示した確認情報を決定する確認情報決定部と、
    前記医用画像から検出された前記局所構造の位置に基づいて、前記確認情報に示された前記確認すべき局所構造が読影されたか否かを判定する読影判定部と、
    前記読影判定部における判定結果を表示する表示部と、
    を備えた医用画像処理装置。
  2. 前記確認情報決定部は、
    検査の種類、既往歴、想定病名、原発箇所、前記被検体の年齢、および、前記被検体の性別の少なくとも1つに関連付けされた前記局所構造の位置に基づいて、前記確認情報を決定する
    請求項1に記載の医用画像処理装置。
  3. 前記読影判定部は、
    前記医用画像を構成する複数の画像のうち、前記確認情報に示された前記確認すべき局所構造の位置に関連するそれぞれの画像の前記確認すべき局所構造の位置が読影されたか否かを判定する
    請求項1または2に記載の医用画像処理装置。
  4. 入力部をさらに備え、
    前記読影判定部は、
    前記医用画像を構成する複数の画像のうち、前記確認情報に示された前記確認すべき局所構造の位置に関連するそれぞれの画像に対して、少なくとも、拡大、縮小、回転、平行移動、選択、および、階調処理の少なくとも1つの画像処理が実行されたか否かにより前記確認すべき局所構造の位置が読影されたか否かを判定する
    請求項1乃至3のいずれか1項に記載の医用画像処理装置。
  5. 前記医用画像について、読影レポートを作成するユーザの視線情報を取得する視線情報取得部をさらに備え、
    前記読影判定部は、
    前記視線情報に基づいて、前記確認情報に示された前記確認すべき局所構造の位置が読影されたか否かを判定する
    請求項1乃至4のいずれか1項に記載の医用画像処理装置。
  6. 前記医用画像を構成する複数の画像の中からキー画像が選択され、その選択されたキー画像から前記キー画像に関連する解剖学的位置であるキー画像解剖学的位置を特定するキー画像解剖学的位置特定部をさらに備え、
    前記読影判定部は、
    前記キー画像解剖学的位置が、前記確認情報に示された前記確認すべき局所構造の位置に含まれるか否かに基づいて、前記確認情報に示された前記確認すべき局所構造の位置が読影されたか否かを判定する
    請求項1乃至5のいずれか1項に記載の医用画像処理装置。
  7. 前記キー画像解剖学的位置特定部は、
    アノテーションが付与された画像に関連する解剖学的位置を特定し、
    前記読影判定部は、
    前記アノテーションが付与された画像に関連する解剖学的位置が、前記確認情報に示された前記確認すべき局所構造の位置に含まれるか否かに基づいて、前記確認情報に示された前記確認すべき局所構造の位置が読影されたか否かを判定する
    請求項6に記載の医用画像処理装置。
  8. 前記キー画像について確認された所見に関連する解剖学的位置である所見解剖学的位置を特定する所見解剖学的位置特定部をさらに備え、
    前記読影判定部は、
    前記所見解剖学的位置が、前記確認情報に示された前記確認すべき局所構造の位置に含まれるか否かに基づいて、前記確認情報に示された前記確認すべき局所構造の位置が読影されたか否かを判定する
    請求項6または7に記載の医用画像処理装置。
  9. 前記読影判定部の判定における時刻を記録する判定時刻記録部をさらに備え、
    前記読影判定部は、
    前記判定に要した時間が所定の閾値を超えたか否かに基づいて、前記確認情報に示された前記確認すべき局所構造の位置が読影されたか否かを判定する
    請求項1乃至8のいずれか1項に記載の医用画像処理装置。
  10. 前記所定の閾値は、前記確認すべき局所構造の位置ごとにそれぞれ定められている
    請求項9に記載の医用画像処理装置。
  11. 前記読影判定部で判定された前記確認すべき局所構造の判定結果から読影レポート作成状態を判定し、レポート評価結果を生成するレポート評価部をさらに備え、
    前記表示部は、
    レポート評価結果を表示する
    請求項1乃至10のいずれか1項に記載の医用画像処理装置。
  12. 前記確認情報決定部は、
    検出された前記局所構造の位置の表示順序を決定し、
    前記表示部は、
    決定した前記表示順序に基づいて、前記局所構造の位置に対応した前記医用画像を構成する複数の画像を切り替えて表示する
    請求項1乃至11のいずれか1項に記載の医用画像表示装置。
  13. 前記確認情報決定部は、
    検査の種類、既往歴、想定病名、原発箇所、被検体の年齢、および前記被検体の性別のうち、少なくとも1つに基づいて、前記局所構造の位置の表示順序を決定する
    請求項12に記載の医用画像表示装置。
  14. 検査目的、過去の検査情報、病名の少なくとも1つと、前記局所構造の位置の表示順序を決定するための情報とを対応づけて記憶する記憶部を備える
    請求項12または13に記載の医用画像表示装置。
  15. 前記医用画像は、
    複数の画像から構成される第1医用画像と複数の画像から構成される第2医用画像から構成され、
    前記位置検出部は、
    前記第1医用画像と前記第2医用画像のそれぞれから、前記人体の特徴的な局所構造の位置を検出し、
    前記表示部は、
    前記第1医用画像と前記第2医用画像とのそれぞれの前記局所構造の位置に基づいて、前記第1医用画像を構成する画像と前記第2医用画像を構成する画像とを対応づけて表示する
    請求項1乃至14のいずれか1項に記載の医用画像処理装置。
  16. 前記表示部は、
    複数の異なる前記局所構造の位置に基づいて、前記第1医用画像を構成する画像と前記第2医用画像を構成する画像とを対応づけて表示する
    請求項15に記載の医用画像処理装置。
  17. 前記表示部は、
    前記第1医用画像を構成する画像の位置の変更に連動して、前記第2医用画像を構成する画像の位置を変更して表示する
    請求項15または16に記載に医用画像処理装置。
  18. 被検体を撮影した少なくとも1つの医用画像を、ネットワークを介して取得する医用画像処理システムであって、
    人体の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、
    確認すべき局所構造を示した確認情報を決定する確認情報決定部と、
    前記医用画像から検出された前記局所構造の位置に基づいて、前記確認情報に示された前記確認すべき局所構造が読影されたか否かを判定する読影判定部と
    前記読影判定部における判定結果を表示する表示部と、
    を備えた医用画像処理システム。
JP2015070961A 2014-03-31 2015-03-31 医用画像処理装置、および医用画像処理システム Active JP6542004B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015070961A JP6542004B2 (ja) 2014-03-31 2015-03-31 医用画像処理装置、および医用画像処理システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014073440 2014-03-31
JP2014073440 2014-03-31
JP2015070961A JP6542004B2 (ja) 2014-03-31 2015-03-31 医用画像処理装置、および医用画像処理システム

Publications (2)

Publication Number Publication Date
JP2015198928A true JP2015198928A (ja) 2015-11-12
JP6542004B2 JP6542004B2 (ja) 2019-07-10

Family

ID=54191125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015070961A Active JP6542004B2 (ja) 2014-03-31 2015-03-31 医用画像処理装置、および医用画像処理システム

Country Status (2)

Country Link
US (1) US9396534B2 (ja)
JP (1) JP6542004B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020068881A (ja) * 2018-10-29 2020-05-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020524540A (ja) * 2017-06-23 2020-08-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用画像を画像解析する方法及びシステム
JP2021029387A (ja) * 2019-08-20 2021-03-01 コニカミノルタ株式会社 医用情報処理装置及びプログラム
US11030482B2 (en) 2018-08-28 2021-06-08 Om Digital Solutions Annotation device and annotation method
DE112019004790T5 (de) 2018-09-25 2021-09-09 Fujifilm Corporation 27vorrichtung, verfahren und programm zum anzeigen medizinischer bilder
JPWO2021181731A1 (ja) * 2020-03-09 2021-09-16
WO2022220158A1 (ja) * 2021-04-14 2022-10-20 富士フイルム株式会社 作業支援装置、作業支援方法、及び作業支援プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5893804B2 (ja) * 2014-02-10 2016-03-23 オリンパス株式会社 無線画像伝送システム及び無線画像伝送方法
US20170169609A1 (en) * 2014-02-19 2017-06-15 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
JP6595193B2 (ja) * 2014-03-11 2019-10-23 キヤノンメディカルシステムズ株式会社 読影レポート作成装置および読影レポート作成システム
JP6397277B2 (ja) * 2014-09-05 2018-09-26 キヤノン株式会社 読影レポート作成のための支援装置およびその制御方法
WO2016147499A1 (ja) * 2015-03-17 2016-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6834001B2 (ja) * 2017-07-03 2021-02-24 富士フイルム株式会社 医療画像処理装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
JP7098393B2 (ja) * 2018-04-12 2022-07-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
US10891731B2 (en) * 2018-05-07 2021-01-12 Zebra Medical Vision Ltd. Systems and methods for pre-processing anatomical images for feeding into a classification neural network
US10949968B2 (en) 2018-05-07 2021-03-16 Zebra Medical Vision Ltd. Systems and methods for detecting an indication of a visual finding type in an anatomical image
US11344371B2 (en) * 2018-10-19 2022-05-31 Canon U.S.A., Inc. Visualization of three-dimensional image data on a two-dimensional image
EP4051079A1 (en) * 2019-11-01 2022-09-07 Stryker Corporation Systems and methods for image reorientation for endoscopic imaging
CN113674838B (zh) * 2020-05-15 2024-08-13 佳能医疗系统株式会社 医学图像处理装置、医学图像处理方法和记录介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097582A (ja) * 1996-06-06 1998-04-14 Toshiba Corp 医療情報システム
JP2002143141A (ja) * 2000-11-14 2002-05-21 Konica Corp 画像診断支援装置
JP2004261300A (ja) * 2003-02-28 2004-09-24 Konica Minolta Holdings Inc 医用画像処理装置及び異常陰影候補の検出結果の表示方法
US20040254763A1 (en) * 2003-03-05 2004-12-16 Shuji Sakai Medical system
JP2006095054A (ja) * 2004-09-29 2006-04-13 Konica Minolta Medical & Graphic Inc 医用画像確認装置及び医用画像確認方法
JP2006130049A (ja) * 2004-11-05 2006-05-25 Fuji Photo Film Co Ltd 画像読影支援方法、およびシステム、ならびにプログラム
JP2007319327A (ja) * 2006-05-31 2007-12-13 Hitachi Medical Corp 読影支援システム
JP2009018048A (ja) * 2007-07-12 2009-01-29 Fujifilm Corp 医用画像表示装置、方法及びプログラム
JP2009082182A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 検査作業支援装置及び方法、並びに検査作業支援システム
US20090232378A1 (en) * 2008-03-17 2009-09-17 Keigo Nakamura Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program
JP2010057726A (ja) * 2008-09-04 2010-03-18 Konica Minolta Medical & Graphic Inc 画像診断支援システム
JP2011010889A (ja) * 2009-07-02 2011-01-20 Toshiba Corp 医用画像読影システム
JP2013178796A (ja) * 2013-04-15 2013-09-09 Toshiba Corp 医用情報システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050611B2 (en) * 2001-05-29 2006-05-23 Mevis Breastcare Gmbh Co. Kg Method and computer system for screening of medical cases
US7406187B2 (en) * 2004-02-23 2008-07-29 Canon Kabushiki Kaisha Method and system for processing an image
US20070129609A1 (en) * 2004-11-26 2007-06-07 Kazuhiro Kawasaki Support network system of medical institution
EP1947606A1 (en) 2007-01-16 2008-07-23 National University Corporation Kobe University Medical image processing apparatus and medical image processing method
EP2192510A1 (de) * 2008-11-19 2010-06-02 CompuGroup Holding AG Verfahren zur medizinischen Diagnoseunterstützung
US9183355B2 (en) * 2009-11-24 2015-11-10 Penrad Technologies, Inc. Mammography information system
WO2012157201A1 (ja) * 2011-05-18 2012-11-22 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JP6116899B2 (ja) * 2012-01-16 2017-04-19 東芝メディカルシステムズ株式会社 医用画像診断装置及び制御プログラム
JP6011378B2 (ja) * 2013-02-05 2016-10-19 コニカミノルタ株式会社 超音波画像診断装置
JP2015192788A (ja) * 2014-03-31 2015-11-05 富士フイルム株式会社 検査レポート作成支援システム、医用画像診断装置、検査レポート作成支援方法、及びプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097582A (ja) * 1996-06-06 1998-04-14 Toshiba Corp 医療情報システム
JP2002143141A (ja) * 2000-11-14 2002-05-21 Konica Corp 画像診断支援装置
JP2004261300A (ja) * 2003-02-28 2004-09-24 Konica Minolta Holdings Inc 医用画像処理装置及び異常陰影候補の検出結果の表示方法
US20040254763A1 (en) * 2003-03-05 2004-12-16 Shuji Sakai Medical system
JP2006095054A (ja) * 2004-09-29 2006-04-13 Konica Minolta Medical & Graphic Inc 医用画像確認装置及び医用画像確認方法
JP2006130049A (ja) * 2004-11-05 2006-05-25 Fuji Photo Film Co Ltd 画像読影支援方法、およびシステム、ならびにプログラム
JP2007319327A (ja) * 2006-05-31 2007-12-13 Hitachi Medical Corp 読影支援システム
JP2009018048A (ja) * 2007-07-12 2009-01-29 Fujifilm Corp 医用画像表示装置、方法及びプログラム
JP2009082182A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 検査作業支援装置及び方法、並びに検査作業支援システム
US20090232378A1 (en) * 2008-03-17 2009-09-17 Keigo Nakamura Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program
JP5138431B2 (ja) * 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
JP2010057726A (ja) * 2008-09-04 2010-03-18 Konica Minolta Medical & Graphic Inc 画像診断支援システム
JP2011010889A (ja) * 2009-07-02 2011-01-20 Toshiba Corp 医用画像読影システム
JP2013178796A (ja) * 2013-04-15 2013-09-09 Toshiba Corp 医用情報システム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020524540A (ja) * 2017-06-23 2020-08-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用画像を画像解析する方法及びシステム
US11030482B2 (en) 2018-08-28 2021-06-08 Om Digital Solutions Annotation device and annotation method
US11631490B2 (en) 2018-09-25 2023-04-18 Fujifilm Corporation Medical image display device, method, and program for managing the display of abnormality detection results
DE112019004790T5 (de) 2018-09-25 2021-09-09 Fujifilm Corporation 27vorrichtung, verfahren und programm zum anzeigen medizinischer bilder
JP2020068881A (ja) * 2018-10-29 2020-05-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US11334990B2 (en) 2018-10-29 2022-05-17 Fujifilm Corporation Information processing apparatus, information processing method, and program
JP7086818B2 (ja) 2018-10-29 2022-06-20 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021029387A (ja) * 2019-08-20 2021-03-01 コニカミノルタ株式会社 医用情報処理装置及びプログラム
JP7302368B2 (ja) 2019-08-20 2023-07-04 コニカミノルタ株式会社 医用情報処理装置及びプログラム
WO2021181731A1 (ja) * 2020-03-09 2021-09-16 富士フイルム株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
JPWO2021181731A1 (ja) * 2020-03-09 2021-09-16
US11983801B2 (en) 2020-03-09 2024-05-14 Fujifilm Corporation Display control apparatus, display control method, and display control program
JP7510495B2 (ja) 2020-03-09 2024-07-03 富士フイルム株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
WO2022220158A1 (ja) * 2021-04-14 2022-10-20 富士フイルム株式会社 作業支援装置、作業支援方法、及び作業支援プログラム

Also Published As

Publication number Publication date
US9396534B2 (en) 2016-07-19
JP6542004B2 (ja) 2019-07-10
US20150279061A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6542004B2 (ja) 医用画像処理装置、および医用画像処理システム
JP6595193B2 (ja) 読影レポート作成装置および読影レポート作成システム
JP6490985B2 (ja) 医用画像処理装置および医用画像処理システム
JP6548393B2 (ja) 医用画像表示装置および医用画像表示システム
JP6460636B2 (ja) 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
CN105163684B (zh) 手术数据的联运同步
JP6419441B2 (ja) 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム
JP5478328B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP5383431B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021106887A (ja) 医用画像表示装置、方法およびプログラム
JP5263997B2 (ja) 医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラム
JP2008043524A (ja) 医用画像処理装置及び医用画像処理プログラム
JP5661890B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5487157B2 (ja) 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム
JP2010075403A (ja) 情報処理装置およびその制御方法、データ処理システム
JP2009070201A (ja) 読影レポート作成システム及び読影レポート作成装置並びに読影レポート作成方法
JP2009072412A (ja) 画像表示システム及び画像表示装置並びに画像表示方法
JP6738305B2 (ja) 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
JP2016202721A (ja) 医用画像表示装置及びプログラム
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
JP2013052245A (ja) 情報処理装置および情報処理方法
CN104217423A (zh) 选出图像数据组的自动产生
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190612

R150 Certificate of patent or registration of utility model

Ref document number: 6542004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150