JP2015186567A - 医用画像処理装置および医用画像処理システム - Google Patents

医用画像処理装置および医用画像処理システム Download PDF

Info

Publication number
JP2015186567A
JP2015186567A JP2015035621A JP2015035621A JP2015186567A JP 2015186567 A JP2015186567 A JP 2015186567A JP 2015035621 A JP2015035621 A JP 2015035621A JP 2015035621 A JP2015035621 A JP 2015035621A JP 2015186567 A JP2015186567 A JP 2015186567A
Authority
JP
Japan
Prior art keywords
medical image
anatomical
diagram
annotation
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015035621A
Other languages
English (en)
Other versions
JP6490985B2 (ja
Inventor
陽介 柳田
Yosuke Yanagida
陽介 柳田
順一 田代
Junichi Tashiro
順一 田代
吉田 淳一
Junichi Yoshida
淳一 吉田
弘祐 坂上
Hirosuke Sakagami
弘祐 坂上
吉田 昌史
Masashi Yoshida
昌史 吉田
茂如 石井
Shigeyuki Ishii
茂如 石井
池田 智
Satoshi Ikeda
智 池田
山形 仁
Hitoshi Yamagata
仁 山形
高 増沢
Takashi Masuzawa
高 増沢
杉山 直樹
Naoki Sugiyama
直樹 杉山
宗泰 数野
Muneyasu Kazuno
宗泰 数野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2015035621A priority Critical patent/JP6490985B2/ja
Publication of JP2015186567A publication Critical patent/JP2015186567A/ja
Application granted granted Critical
Publication of JP6490985B2 publication Critical patent/JP6490985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

【課題】解剖学的位置を用いて医用画像の内容確認を支援する医用画像処理装置を提供する。【解決手段】本実施形態に係る医用画像処理装置は、被検体を撮影した医用画像を表示する医用画像処理装置であって、人体内の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、人体を模した人体図を記憶する人体図記憶部と、前記人体図上に前記局所構造の位置を表すマークを付したマッピング図を生成するマッピング図生成部と、前記マッピング図を表示する表示部と、を備えたものである。【選択図】 図2

Description

本発明の一態様としての実施形態は、医用画像処理装置および医用画像処理システムに関する。
画像診断において使用される各種検査装置(以下、モダリティ装置と呼ぶ)は、低侵襲に体内の検査を行うことができるため、現在の医療において不可欠である。モダリティ装置の高性能化により解像度の高い良質な画像を取得できるようになり、正確かつ精密な検査が画像診断において可能となった。たとえば、X線CT(Computed Tomography)装置は、被検体の内部組織の3次元情報を高解像度で取得することができ、MRI(Magnetic Resonance Imaging)装置は、造影剤が入っていない新鮮な血液をMRIで画像化する非造影血管撮像法(MRA:MR Angiography)など、モダリティ装置ごとに様々な撮像方法がある。また、医用画像のデジタル化が進み、電子ネットワークを介して医師からの検査依頼を処理するオーダリングシステムである病院システム(HIS:Hospital Information System)、または放射線科情報システム(RIS:Radiology Information System)や、モダリティ装置で取得された画像を電子データとして蓄積する医用画像一元管理システム(PACS:Picture Archiving and Communication Systems)などが発展してきている。
このように、モダリティ装置の発展により生体内を容易にかつ詳細に観察することが可能となった。一方、取得可能なデータ量は膨大になり、多くのモダリティ装置では、複数の画像から構成されるボリュームデータの形式でデータが取得される。ボリュームデータのデータ量は、全身を撮像した場合数千枚にもおよび、これらのデータを用いて読影を行い、診断を下す読影医等の負担が大きくなっている。読影は病気の診断や、治療方針を決定するために重要な作業であり、早期発見が望まれるなか、大量の医用画像を分析し、早期に判断を下すことは容易ではない。そこで、画像診断を支援する発明として、セグメンテーション技術などを用いて解剖学的な部位を特定し、異常のある領域とその悪性度を判定する読影レポート作成装置(たとえば、特許文献1等)や、脊椎など周期性を持った構造物により、異なる2つの検査において取得された画像の位置対応関係を決定する画像解析装置(たとえば、特許文献2等)が提供されている。
また、読影および診断には正確性が求められ、質の高い診断を下すためには、取得した医用画像について、異常部位や治療部位を的確に把握する必要がある。しかしながら、解剖学的な部位を医用画像から読み取ることは熟練の技術や知識が必要である。そこで、人体の解剖学的位置を、数学的手法を用いて表現、構築する技術の提供や研究が行われている。
解剖学的位置とは、医用画像を理解するうえで重要な役割を担う人体の特徴的な局所構造(以下、局所構造とよぶ)の位置のことであり、人体を解剖学的にマッピングする際の目印となる。たとえば、頭部においては、第1頚椎(頚椎I)の前弓(結節)が、胸部においては気管分岐部が、腹部においては右腎上極等が局所構造に該当する。この局所構造の位置(解剖学的位置)は、一般的な画像解析、パターン認識技術などにより、X線CT装置やMRI装置などのモダリティ装置で取得した医用画像から自動検出される。
特許第5197029号公報 特許第5138431号公報
医用画像を読影する際は、医用画像に表示された解剖学的部位の位置を正しく認識することが必要である。しかしながら、取得した画像の解剖学的部位やその位置の特定には知識や経験など、熟練した技術が必要である。X線CTやMRIなどで取得される医用画像のなかには、1回の撮像で1人当たり数百枚、数千枚もの画像が取得されるボリュームデータのような大量のデータを含むものもあり、読影レポート作成は画像診断における負荷の大きな要因となっている。取得された画像が数百枚、数千枚にも及ぶと、所望の解剖学的部位がどの画像に存在するか、または、所見がみられる代表的な画像(以下、キー画像という)として選択した画像や、特定の注目箇所に目印(以下、アノテーションという)を付与した画像はどれかなど、必要な画像を探す手間が発生する。
また、取得された医用画像は電子データとしてPACS等に記憶されている。このように、記憶装置に格納された医用画像データは検査や患者に関する様々な情報と関連付けされて保存されている。保存された医用画像データに含まれる解剖学的な部位情報を、検査や患者に関する情報のいずれかに記録する場合もある。しかしながら、そのような作業は検査技師や読影医等による手作業で行われ、記入されない場合もあり、また、詳細な内容を残すことはできない。したがって、保存された医用画像データにどのような解剖学的部位が含まれるかは、その医用画像データを医用画像表示装置等に表示し、目視で確認しなければならない。
そこで、上述の局所構造の位置(解剖学的位置)を用いて医用画像の内容確認を支援する医用画像処理装置が要望されている。
本実施形態に係る医用画像処理装置は、被検体を撮影した医用画像を表示する医用画像処理装置であって、人体内の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、人体を模した人体図を記憶する人体図記憶部と、前記人体図上に前記局所構造の位置を表すマークを付したマッピング図を生成するマッピング図生成部と、前記マッピング図を表示する表示部と、を備えたものである。
実施形態に係る医用画像処理装置の一例を示す概念的な構成図。 実施形態に係る医用画像処理装置の機能構成例を示す機能ブロック図。 実施形態に係る医用画像処理装置の第1の実施形態の動作一例を示すフローチャート。 解剖学的位置の検出方法を説明する図。 局所構造の種類を説明する図。 解剖学的位置情報を説明する図。 実施形態に係る医用画像処理装置の第1の実施形態の医用画像に含まれる解剖学的位置を説明する図。 実施形態に係る医用画像処理装置の第1の実施形態の医用画像に含まれる解剖学的位置と対応する解剖図の座標を説明する図。 実施形態に係る医用画像処理装置の第1の実施形態の撮像範囲画像を説明する図。 実施形態に係る医用画像処理装置の第1の実施形態の医用画像の選択時における撮像範囲画像の表示例を説明する図。 実施形態に係る医用画像処理装置の第1の実施形態の医用画像の表示における撮像範囲画像の第1の表示例を説明する図。 実施形態に係る医用画像処理装置の第1の実施形態の医用画像の表示における撮像範囲画像の第2の表示例を説明する図。 実施形態に係る医用画像処理装置の第1の実施形態の撮像範囲画像付き解剖図からスライス画像を表示する方法を説明する図。 実施形態に係る医用画像処理装置の第2の実施形態の動作一例を示すフローチャート。 実施形態に係る医用画像処理装置の第2の実施形態の医用画像に含まれるアノテーションを説明する図。 実施形態に係る医用画像処理装置の第2の実施形態の医用画像に含まれるアノテーションの解剖図上の座標を算出する方法を説明する図。 実施形態に係る医用画像処理装置の第2の実施形態の医用画像の選択時におけるアノテーションの表示例を説明する図。 実施形態に係る医用画像処理装置の第2の実施形態の医用画像の表示におけるアノテーションの表示例を説明する図。 実施形態に係る医用画像処理装置の第2の実施形態における図18の表示例でアノテーションを選択した後の表示例を説明する図。 実施形態に係る医用画像処理装置の第3の実施形態の動作一例を示すフローチャート。 実施形態に係る医用画像処理装置の第3の実施形態における解剖学的位置から選択箇所までの距離を算出する方法を説明する図。 実施形態に係る医用画像処理装置の第3の実施形態における解剖学的位置から選択箇所までの距離の第1の表示例を説明する図。 実施形態に係る医用画像処理装置の第3の実施形態における解剖学的位置から選択箇所までの距離の第2の表示例を説明する図。
本実施形態に係る医用画像処理装置は、読影レポート作成装置、医用画像観察装置(画像ビューア)などの医用画像を表示する機能を備えた装置である。以下、医用画像処理装置の実施の形態について添付図面を参照して説明する。
(1)構成
図1は、実施形態に係る医用画像処理装置100の一例を示す概念的な構成図である。図1に示すように、医用画像処理装置100は、通信制御装置10、記憶部20、主制御部30、表示部40、入力部50を備えた構成である。通信制御装置10を介して電子ネットワーク経由で医用画像一元管理サーバ200、モダリティ装置300、および、HIS/RIS400と接続している。通信制御装置10は、ネットワーク形態に応じた種々の通信プロトコルを実装する。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹LAN、無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバー通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。医用画像処理装置100は医用画像一元管理サーバ200または、モダリティ装置300から検査データを電子ネットワーク経由で取得する。
なお、医用画像一元管理サーバ200、HIS/RIS400、医用画像処理装置100は、クラウド上の医用画像処理システムとして構成されていてもよい。この場合、医用画像処理システムの医用画像処理装置100は、たとえば医用画像一元管理サーバ200やモダリティ装置300からネットワークを介して医用画像を取得することができる。
モダリティ装置300には、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置あるいは、超音波診断装置などの各種医用画像撮像装置が含まれる。医用画像処理装置100に入力されるデータは複数のスライス画像から構成されたボリュームデータである。
また、医用画像処理装置100は、HIS/RIS400と接続している。HIS/RIS400は、検査オーダと呼ばれる医師等が作成した検査依頼等を処理するシステムである。HIS/RIS400からは患者を一意に特定するための患者ID、または、患者名、患者の性別や体格などの患者情報や、検査種類、検査目的、モダリティ装置種別などの検査情報を電子ネットワーク経由で取得できる。
記憶部20に格納されたプログラムが、主制御部30によって実行されることで、医用画像の局所構造の位置(解剖学的位置)の検出や、撮像範囲画像の生成、解剖図などの人体図の局所構造の位置と、医用画像から検出された解剖学的位置とを対応付けた、マッピング図等の生成を行う。なお、以下の説明では、医用画像から検出した局所構造の患者座標系での位置を、適宜解剖学的位置という。
記憶部20は、RAMとROMをはじめとする記憶媒体などにより構成され、磁気的もしくは光学的記憶媒体または半導体メモリなどの、主制御部30により読み取り可能な記憶媒体を含んだ構成を有し、これらの記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。また、医用画像処理装置100で行われる解剖学的位置の特定は、予め記憶部20に格納されたプログラムやデータを用いて行われてもよく、通信制御装置10を介して外部の記憶装置に格納されたデータ等を用いて実行されてもよいし、外部の記憶装置等に格納されたプログラムで実行されてもよい。
表示部40は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示装置により構成されるほか、主制御部30の制御に従って画像をディスプレイ表示する。
入力部50は、たとえばキーボード、タッチパネル、テンキー、マウスなどの一般的な入力装置により構成される。入力部50はユーザの医用画像の選択やアノテーションの選択といった操作などに対応した入力信号を主制御部30に出力する。
図2は、実施形態に係る医用画像処理装置100の機能構成例を示す機能ブロック図である。図2が示すように、医用画像処理装置100は、人体図記憶部21、医用画像入力部31、位置検出部32、位置情報特定部35、対応画像特定部36、マッピング図生成部37、表示部40、入力部50を有する。上記構成のうち、医用画像入力部31、位置検出部32、位置情報特定部35、対応画像特定部36、マッピング図生成部37の各機能は、たとえば記憶部20に格納されたプログラムを主制御部30のプロセッサが実行することによって実現される機能である。なお、これらの機能は、複数のプロセッサが協働することによって実現されてもよいし、CPUを用いることなく回路などのハードウエアロジックによって実現されてもよい。また、表示部40は、記憶部20、に格納されたプログラムを主制御部30が実行することによって実現される機能と、表示機能とを有する。
人体図記憶部21は、人体を模した図(人体図)を格納している。人体図としては、たとえば一般的な人体の解剖図を用いることができる。以下、人体図として人体の解剖図を用いる場合の例について説明する。人体の解剖図とは、人体内の構造物の位置、外観、形状を理解するためのものであって、臓器、部位、器官ごとにイラストまたは写真等で表したものである。解剖図は、2次元であってもよいし、3次元であってもよい。また、頭部や胸部などの部位ごとや、心臓や肝臓、呼吸器系や消化器系などの分類で作成されてもよい。また、解剖図は、冠状面、矢状面、横断面のいずれについて作成されていてもよく、たとえば、人体の冠状面について、背側から腹側にかけて2次元で表現した解剖図を連続的につなげたものであってもよいし、3次元的な解剖図を所定の断面で切断して表示できるものであってもよい。この解剖図は、外部記憶装置からダウンロードされてもよいし、外部記憶装置を直接参照してもよい。人体図記憶部21に格納されている解剖図は、解剖図に示された臓器、部位、器官等の局所構造に対応する座標が予め定義されている。
医用画像入力部31は、たとえば医用画像一元管理サーバ200やモダリティ装置300から医用画像データが入力される。また、医用画像データは、可搬型の記憶媒体を介して、またはネットワークを介して、あらかじめ記憶部20に記憶されていてもよい。医用画像入力部31には、複数の画像により構成された医用画像が、複数入力される。
なお、複数の医用画像のそれぞれは、医用画像を構成する複数の画像(たとえばスライス画像)の束であってもよいし、たとえば医用画像を構成する複数の画像(たとえばスライス画像)にもとづいて生成されたボリュームデータとして医用画像入力部31に入力されてもよい。また、ボリュームデータと、ボリュームデータの元データである複数の画像と、が関連付けられて1つの医用画像データとして医用画像入力部31に入力されてもよい。医用画像入力部31にボリュームデータが入力される場合、以下の説明において医用画像データまたは医用画像はボリュームデータと読みかえることができる。また、医用画像を構成する複数の画像から1つまたは複数の画像が選択、抽出される場合、この1または複数の画像はボリュームデータにもとづいて生成されるMPR画像(Multi Planar Reconstruction 画像)であってもよい。
位置検出部32は、取得した医用画像データの解剖学的位置(局所構造の位置)を検出し、検出した解剖学的位置に関する情報(以下、解剖学的位置情報とよぶ)を、取得した医用画像データに付与する。なお、取得した医用画像データには、予め解剖学的位置情報が付与されている場合もある。たとえば、医用画像データへの解剖学的位置情報の付与は、モダリティ装置300で画像が取得されたタイミングで実行されてもよいし、医用画像一元管理サーバ200に格納するタイミングで実行されてもよい。その場合、位置検出部32での解剖学的位置の検出処理や、解剖学的位置情報の医用画像データへの付与処理は省略できる。位置検出部32における解剖学的位置の検出方法については、後述する。
医用画像データに付与される解剖学的位置情報は、たとえば、XMLデータやバイナリデータなどのデータ形式で、対応する医用画像データなどと関連付けされた状態で保持されていてもよい。また、入力された医用画像データは、DICOM(Digital Imaging and Communication in Medicine)形式に準拠したデータであり、解剖学的位置情報はDICOM規格における付帯情報として保持されていてもよい。
マッピング図生成部37は、マッピング図を生成する。具体的には、マッピング図生成部37は、医用画像から検出された局所構造の位置を表すマークおよび医用画像上の注目箇所の位置を表すマークの少なくとも一方を人体図上に付すことによりマッピング図を生成する。医用画像上の注目箇所としては、医用画像に付けられたアノテーションや、医用画像に対する解析結果に応じた箇所などが挙げられる。医用画像に対する解析結果に応じた箇所としては、たとえば特定の臓器や病変部をセグメンテーションするなどしてラベリングされた領域や、距離計測の対象となった箇所、角度計測の対象となった箇所などが挙げられる。
また、マッピング図生成部37は、医用画像データから検出された解剖学的位置に基づいて、医用画像の撮像範囲を特定する。撮像範囲とは、医用画像データに含まれるデータ量を、スライス枚数などの物理的なデータ量で示したものと、医用画像データに含まれる解剖学的位置の分布に基づき相対的に示したものとを含む。マッピング図生成部37は、医用画像データの解剖学的位置の分布に基づいて、医用画像データの撮像範囲を特定する。
さらに、マッピング図生成部37は、特定した撮像範囲から、この撮像範囲を示す矩形枠などの撮像範囲画像を生成してもよい。この場合、マッピング図生成部37は、マッピング図として人体図上に撮像範囲画像を重畳した図を生成してもよい。この場合、マッピング図生成部37は、医用画像から検出された局所構造の位置を表すマークおよび医用画像に付けられたアノテーションの位置を表すマークの少なくとも一方を人体図上に付すとともに、さらに人体図上に撮像範囲を重畳することにより、マッピング図を生成してもよい。また、マッピング図生成部37は、人体図にかえて医用画像(実像)を用いてマッピング図を生成してもよい。マッピング図生成部37のマッピング図の生成方法については、後述する。
マッピング図生成部37は、生成したマッピング図を表示部40に表示させる。
位置情報特定部35は、医用画像から検出された解剖学的位置に基づきアノテーションの位置情報を算出する。位置情報特定部35は、医用画像の注目箇所であるアノテーションについて、人体図上の座標を特定する。また、位置情報特定部35は、解剖学的位置に基づきアノテーションの位置情報を算出する。位置情報とは、解剖学的位置からアノテーションまでの距離や方向のことである。なお、位置情報は、アノテーションに関するものだけではなく、医用画像上をマウスなどを備えた入力部50からの入力により選択した座標についても、同様に算出することができる。位置情報特定部35の処理については、後述する。
マッピング図生成部37は、この位置情報特定部35により特定された人体図上のアノテーションの座標にもとづいて、人体図上にアノテーションの位置を表すマークを付したマッピング図を生成することができる。
すなわち、マッピング図生成部37は、医用画像から検出された局所構造の位置を表すマークおよび医用画像に付けられたアノテーションの位置を表すマークの少なくとも一方を人体図上に付すことによりマッピング図を生成する。また、マッピング図生成部37は、マッピング図として人体図上に撮像範囲画像を重畳した図を生成してもよい。さらに、マッピング図生成部37は、医用画像から検出された局所構造の位置を表すマークおよび医用画像に付けられたアノテーションの位置を表すマークの少なくとも一方を人体図上に付すとともに、さらに人体図上に撮像範囲を重畳することにより、マッピング図を生成してもよい。
また、位置情報特定部35は、たとえば医用画像処理装置100の解析機能を利用して、または医用画像一元管理サーバ200やモダリティ装置300からネットワークを介して、医用画像に対する解析結果の情報を取得してもよい。この場合、位置情報特定部35は、この解析結果に応じた箇所について、医用画像上の座標および人体図上の座標を特定する。
このとき、マッピング図生成部37は、医用画像に対する解析結果に応じた箇所の位置を示すマークをマッピング図に重畳することができる。また、マッピング図生成部37はさらに、マッピング図に対して解析内容を示す画像(解析内容に関するコメントを含む)を重畳してもよい。この場合、ユーザは、マッピング図を見ることで容易に医用画像に対する解析結果を把握することができる。
位置情報特定部35が取得する解析結果の情報としては、たとえば特定の臓器や病変部をセグメンテーションするなどしてラベリングされた領域の情報が挙げられる。領域は点の集合であるため、位置情報特定部35は、アノテーションと同様の座標変換方法により、人体図上の解析結果に応じた領域を特定することができる。このとき、マッピング図生成部37は、医用画像に対する解析結果に応じた箇所の位置を示すマークとして、この解析結果に応じた領域を強調する画像(領域の輪郭のみを強調する画像を含む)を重畳したマッピング図を生成することができる。
また、位置情報特定部35が取得する解析結果の情報は、医用画像にもとづいて算出された計測結果の情報であってもよい。この種の計測結果としては、2点間の直線距離の計測結果、血管などの特定構造物に沿った曲線距離の計測結果、2直線間の角度の計測結果などが挙げられる。
たとえば直線距離の計測結果の場合、直線の両端点を座標変換することで、医用画像に対する解析結果に応じた箇所の位置を示すマークとして、計測された直線距離に対応する直線の画像および両端点の位置を示す画像を、マッピング図に対して重畳することができる。曲線距離の計測結果の場合、曲線を構成する点を座標変換することで、医用画像に対する解析結果に応じた箇所の位置を示すマークとして、計測された曲線距離に対応する曲線の画像をマッピング図に対して重畳することができる。また、角度の計測結果の場合、計測対象角度を与える3つの点を座標変換することで、医用画像に対する解析結果に応じた箇所の位置を示すマークとして、計測された角度に対応する3つの点および2直線の画像をマッピング図に対して重畳することができる。
なお、以下の説明では、人体図上に局所構造の位置を表すマークを付したマッピング図を、適宜マッピング解剖図という。また、マッピング解剖図のうち撮像範囲画像を含むものを、適宜撮像範囲画像付き解剖図と呼ぶ。また、撮像範囲画像付き解剖図のうちアノテーションの位置を表すマークを付したものを、適宜アノテーション付き解剖図という。また、上述の通り、マッピング図には、医用画像に対する解析結果に応じた箇所の位置を示すマークおよび解析内容を示す画像が重畳されてもよい。
表示部40は、マッピング図(たとえばマッピング解剖図、撮像範囲画像付き解剖図、アノテーション付き解剖図など)を表示する。また、マッピング図生成部37は、位置情報特定部35により算出されたアノテーションの位置情報にもとづいて、位置情報を示す文字列などの画像を生成し、表示部40に表示させる。
対応画像特定部36は、マッピング図、撮像範囲画像付き解剖図、およびアノテーション付き解剖図などのマッピング図上で選択された、アノテーションや解剖学的位置に対応するスライス画像を、医用画像のなかから特定する。対応画像特定部36は、この特定したスライス画像を表示部40に表示させる。対応画像特定部36でのスライス画像の特定方法は、後述する。
(2)動作(第1の実施形態)
図3は、実施形態に係る医用画像処理装置100の第1の実施形態の動作一例を示すフローチャートである。図3には、撮像範囲画像付き解剖図を生成する際の手順の一例を示した。
ST101では、医用画像入力部31に、医用画像一元管理サーバ200またはモダリティ装置300から複数の画像により構成された医用画像データが入力される。この医用画像データは、たとえば医用画像データに対応する医用画像を構成する複数の画像(たとえばスライス画像)にもとづいて生成されたボリュームデータである。また、ボリュームデータと、ボリュームデータの元データである複数の画像と、が関連付けられて1つの医用画像データとして医用画像入力部31に入力されてもよい。
ST103では、入力された医用画像データについて、位置検出部32により、解剖学的位置が検出される。
図4は、解剖学的位置の検出方法を説明する図である。図4(a)は解剖学的位置の検出に使用するモデルa5の生成方法の例を示している。図4(a)に示されるモデルa5は、予め医用画像処理装置100の記憶部20に格納されていてもよいし、外部の記憶装置に格納されていてもよい。
図4(a)に示すように、解剖学的位置の検出に使用するモデルa5は、一般的な機械学習やパターン認識により生成される。図4(a)には、画像データベースa1と、解剖学的位置正解データa2とを用いてモデルa5が生成される例が示されている。画像データベースa1とは、異なる体形の被検体について、X線CT装置やMRI装置によって取得されたボリュームデータの集合である。図4(a)に例示されるように、画像データベースa1には、全身のボリュームデータ(画像A)に限らず、体の一部分を撮像したボリュームデータ(画像BおよびC)が含まれる。解剖学的位置正解データa2は、画像データベースa1のそれぞれの画像について、医師等の専門家により予め正しい解剖学的位置が判定されたデータである。図4(a)で示すように、特徴抽出部a3が、画像データベースa1のそれぞれのボリュームデータから特徴を抽出し、解剖学的位置正解データa2を用いて、学習アルゴリズムa4によりモデルa5を生成する。モデルa5は、画像データベースa1から抽出された特徴と、解剖学的位置とを対応付けるために用いられる。このモデルa5には、たとえば、機械学習など用いたモデルがある。また、このようなモデルは、性別、年齢、人種や体格などに応じて異なるモデルが生成されていてもよいし、これらの違いを吸収できるようなモデルであってもよい。
図4(b)は位置検出部32で実行される処理の例を示している。位置検出部32は、解剖学的位置が未知の解析対象画像データb1について、図4(a)の特徴抽出部a3と同様に、特徴を抽出し、すでに生成済みのモデルa5を用いて解剖学的位置を検出する。より具体的には、位置検出部32は、医用画像から局所構造を検出するとともに、検出した局所構造の医用画像中における位置を解剖学的位置として算出する。このようにして算出された解剖学的位置情報b2は、解析対象画像データb1に付与される。
なお、上記解剖学的位置は、上述した方法に限られず、計算解剖学と呼ばれる数理統計的枠組み(計算解剖モデル)により検出することもできる。
図5は、局所構造の種類を説明する図である。局所構造は、医用画像を理解するうえで重要な役割を担う人体の特徴的な構造のことであり、解剖学的ランドマーク(AL:Anatomical Landmark)と呼ばれることもある。たとえば、図5(a)は頭部および頸部の局所構造の例を示している。図5(a)には、上から順に第1頚椎(頚椎I)の前弓(結節)、歯突起の上端(頚椎II)、右眼球上面、左眼球上面、右眼球中心、左眼球中心、が例示されている。同様に、図5(b)には、胸部の局所構造について、気管分岐部、右肺尖部、左肺尖部、右肩甲骨下角、左肩甲骨下角、左鎖骨下動脈始点、が例示されている。図5(c)には、腹部の局所構造について、右腎上極、左腎上極、右腎下極、左腎下極、膵頭、膵尾先端、が例示されている。図5(d)には、下肢の局所構造として、右大腿骨の外側上顆、右大腿骨の内側上顆、左大腿骨の外側上顆、左大腿骨の内側上顆、右脛骨の外側顆、右脛骨の内側顆、が例示されている。局所構造は、たとえば、図5に示したような粒度で全身に定義されており、人体を構成する種々の骨や筋肉、臓器等について複数の局所構造が定められている。解剖学的位置は、これらの局所構造のそれぞれについて検出される。
このような解剖学的位置は、解剖学的位置情報として医用画像データと関連付けた状態で保持される。解剖学的位置情報は、たとえば、医用画像を一意に特定するためのIDなどと関連付けされてXMLやテキスト形式等で記憶部20等にデータベースとして保持されてもよいし、DICOMの付帯情報として医用画像データと一体となって保持されていてもよい。
解剖学的位置情報は、解剖学的位置の情報に加えて、その解剖学的位置に対応する局所構造が属する胸部や腹部といった部位情報や、骨系や呼吸器系など、その解剖学的位置に対応する局所構造の人体における機能系統に応じた体組織情報などを含むことができる。
図6は、解剖学的位置情報を説明する図である。図6(a)の表は、解剖学的位置情報の例を示している。図6(a)の解剖学的位置情報を示す表には、左から、解剖学的位置の、識別子、名称、信頼度、部位、体組織、患者座標系(X軸、Y軸、Z軸)での位置が示されている。図6(a)には腹部の解剖学的位置情報の一部が例示されている。図6(a)の表の1段目は左から、識別子(ABDO25.C))、名称(L5の身体の中心)、信頼度(0.87)、部位(腹部)、体組織(骨系)、患者座標系(X軸(−3.1)、Y軸(23.4)、Z軸(90.0))が示されている。同様に、2段目は、識別子(ABDO32.C))、名称(右腸骨棘上面)、信頼度(0.82)、部位(腹部)、体組織(骨系)、患者座標系(X軸(−11.1)、Y軸(−54.4)、Z軸(84.1))、3段目は、識別子(ABDO39.C))、名称(左腸骨棘上面)、信頼度(0.83)部位、(腹部)、体組織(骨系)、患者座標系(X軸(−3.0)、Y軸(30.0)、Z軸(104.0))が示されている。
識別子は解剖学的位置を一意に特定するためのIDである。名称は、局所構造の名称を示しており、解剖学的、医学的に専門的な用語で示されている。信頼度は、解剖学的位置の正確性を示す数値である。解剖学的位置は機械学習アルゴリズムやパターン認識などによって、計算により推定されたデータであることから、解剖学的位置それぞれについて、それらの位置がどれくらいの正確性を持って算出されたかを示す数値が与えられる。図6(a)に示した例では、0から1の間の数値で表現しており、1に近い数値であるほど信頼性が高いことを示している。部位は、局所構造が属する人体の部位を示しており、たとえば、胸部や腹部のように分類される。体組織は、局所構造の機能に応じて分類されており、たとえば、神経系、骨系、呼吸器系などである。このような、部位や体組織以外にも、心臓、肺、大腿骨など、臓器名や解剖学的な構造体の単位に関する情報を、解剖学的位置情報として有することもできる。患者座標系は、X軸、Y軸、Z軸の座標により、解剖学的位置を示している。
図6(b)は、患者座標系について説明する図である。図6(b)に示すように、患者座標系は、患者の左右方向をX軸、患者の背腹側方向をY軸、患者の頭足方向をZ軸とする座標系である。X軸は患者の中心から右方向を、Y軸は患者の中心から背側方向を正として増加し、Z軸は患者の足部から頭部の方向に増加する。このような患者座標系は、ボリュームデータが有する基準位置など、任意の位置により相対的に表されている。
なお、図6の例は、解剖学的位置情報に含まれる情報やデータ形式の一例を示すものである。
図3のフローチャートに戻って説明する。
ST105では、マッピング図生成部37が、人体図記憶部21から、解剖図を取得する。
ST107では、マッピング図生成部37が、入力された医用画像について検出された解剖学的位置を取得する。
ST109では、マッピング図生成部37が、医用画像について検出された解剖学的位置に対応する、解剖図上の座標を取得する。
ST111では、マッピング図生成部37が、入力された医用画像について検出された解剖学的位置(局所構造の位置)と、解剖図上の局所構造に対応する座標との関連付けを行い、解剖図の局所構造の座標に医用画像データの解剖学的位置(局所構造の位置)を表すマークを付すことにより、マッピング図(マッピング解剖図)を生成する。
ST113では、マッピング図生成部37が、医用画像データに含まれるすべての解剖学的位置について、解剖図上の座標にマークが付されたか否かを判断する。すべての解剖学的位置について、関連付けがされた場合は、ST115が実行され、関連付けが終わってない場合は、ST111の処理が繰り返し実行される。
ST115では、マッピング図生成部37がマッピング図上の解剖学的位置の分布に基づき、医用画像の撮像範囲を検出し、撮像範囲を示す撮像範囲画像を生成する。
ST117では、マッピング図生成部37が、撮像範囲画像とマッピング図(マッピング解剖図)とを重ね合わせた撮像範囲画像付き解剖図を生成し、表示部40に表示させる。
図7は、実施形態に係る医用画像処理装置100の第1の実施形態の医用画像に含まれる解剖学的位置の座標を説明する図である。図7(a)には医用画像処理装置100に入力された医用画像データが例示されている。図7(a)に示した医用画像データに含まれるそれぞれの丸は解剖学的位置を示しおり、二重丸の解剖学的位置を「AL1」、黒丸の解剖学的位置を「AL2」、網掛け丸の解剖学的位置を「AL3」、網掛け二重丸の解剖学的位置を「AL4」、白丸の解剖学的位置を「AL5」で示している図7(a)に例示した、医用画像について検出された5つの解剖学的位置は、解剖学的位置情報として、医用画像と関連付けられて保持されている。この解剖学的位置情報は患者座標系と呼ばれる、解剖学的位置を表す座標情報を有する。医用画像データについて解剖学的位置情報を生成する際に、この患者座標系ではなく、医用画像データのボクセル座標系で保持することもできる。ボクセル座標系とは、ボリュームデータのボクセル位置を3次元直交座標系で表したものである。医用画像データについて特定された解剖学的位置の近傍にあるボクセルの座標を、解剖学的位置を表す座標情報としてもよい。図7(a)の例で示したボクセル座標はボリュームデータの左上を原点としたXYZ座標で表される。
図7(b)は、解剖学的位置を医用画像データのボクセル座標で表したものである。図7(b)の例では、図7(a)に示された解剖学的位置ごとのボクセル座標が示されている。図7(b)の例では、解剖学的位置「AL1」のボクセル座標は(Xa1、Ya1、Za1)で示されている。同様に、解剖学的位置「AL2」のボクセル座標は(Xa2、Ya2、Za2)、解剖学的位置「AL3」のボクセル座標は(Xa3、Ya3、Za3)、解剖学的位置「AL4」のボクセル座標は(Xa4、Ya4、Za4)、解剖学的位置「AL5」のボクセル座標は(Xa5、Ya5、Za5)で示されている。
図7の例で示すように、マッピング図生成部37は、入力された医用画像の解剖学的位置の座標をボクセル座標などの座標で取得することができる(ST107)。また、医用画像データは付帯情報として撮像条件に関する情報を含む。撮像条件には、たとえば、ピクセルサイズ、スライス厚やスライス間隔、撮像開始位置や基準位置などの情報が含まれる。図7(a)に示すように、医用画像データのスライス方向をZ軸とすると、ピクセルサイズ、スライス厚やスライス間隔などの情報により、患者座標系で表された解剖学的位置を、医用画像データのスライス画像のXY座標とスライス番号に変換することもできる。
マッピング図生成部37は、入力された医用画像の解剖学的位置に対応する解剖図上の座標をさらに取得する(ST109)。
図8は、実施形態に係る医用画像処理装置100の第1の実施形態の医用画像に含まれる解剖学的位置と対応する解剖図の座標を説明する図である。図8(a)は2次元の解剖図の例を示している。図8(a)は、人体の輪郭のみを示した解剖図を例示しているが、解剖図は、このような人体の輪郭の内部に、臓器や骨などの構造や、それらの内部構造を示してあってもよい。解剖図は、位置検出部32で検出されるすべての解剖学的位置について、その解剖学的位置に対応する解剖図上の局所構造の位置が定められている。
図8(a)の例では、図7に示した、入力された医用画像データに含まれる5つの解剖学的位置に対応する解剖図上の局所構造の位置を示している。たとえば、図7(a)の医用画像データで「AL1」で示された解剖学的位置は、図8(a)に示した解剖図上のAL1の位置に対応する。図8(a)に示した解剖図上のAL1の位置は、解剖学的位置「AL1」に対応する局所構造の解剖図上の座標に対応する。
図8(b)は、入力された医用画像データに含まれる5つの解剖学的位置に対応する解剖図上の座標を示した表を例示したものである。図7(b)の表に例示されたAL1、AL2、AL3、AL4、AL5の5つの解剖学的位置に対応する解剖図上の位置を、XY座標で示している。なお、医用画像データにおいて頭足方向を示すZ軸は、解剖図ではY軸に対応する。図8(b)の例では、解剖学的位置「AL1」の解剖図座標は(Xb1、Yb1)で示されている。同様に、解剖学的位置「AL2」の解剖図座標は(Xb2、Yb2)、解剖学的位置「AL3」の解剖図座標は(Xb3、Yb3)、解剖学的位置「AL4」の解剖図座標は(Xb4、Yb4)、解剖学的位置「AL5」の解剖図座標は(Xb5、Yb5)で示されている。
マッピング図生成部37は、図7で説明した入力された医用画像の解剖学的位置の座標と、図8で説明した医用画像の解剖学的位置の座標に対応する解剖図上の座標との関連付けを行う(ST111)。たとえば、図7(b)の解剖学的位置「AL1」(X1a、Y1a、Z1a)に対応する解剖図上の座標は、図8(b)の1段目の解剖学的位置「AL1」(Xb1、Yb1)となる。
マッピング図生成部37は、このような対応付けを医用画像データについて検出された解剖学的位置の全てについて行い、マッピング図を生成する(ST113)。
図9は、実施形態に係る医用画像処理装置100の第1の実施形態の撮像範囲画像を説明する図である。撮像範囲画像は、入力された医用画像データの撮像範囲を、医用画像データに含まれる解剖学的位置によりマッピング図に表したものである。
図9はマッピング図に撮像範囲画像を重ねて表示した、撮像範囲画像付き解剖図の例を示している。図9に示した、AL1、AL2、AL3、AL4、AL5の5つの解剖学的位置が医用画像から特定された解剖学的位置であった場合、マッピング図生成部37は、これらの解剖学的位置を包含するように撮像範囲画像を生成する(ST115)。
図9には、5つの解剖学的位置を包含する矩形状の枠を撮像範囲画像として生成する場合の例を示している。撮像範囲画像は、このように矩形状の枠でもよいし、マッピング図の所定方向の座標(たとえば体軸方向であればY座標)が一番小さい解剖学的位置と、一番大きい解剖学的位置とを、それぞれ所定方向の両端として有する撮像範囲画像を生成してもよい。この場合、撮像範囲画像は、たとえばY座標が一番小さい解剖学的位置と、一番大きい解剖学的位置に、それぞれ上端および下端を示す境界線であってもよい。また、撮像範囲画像は、解剖学的位置を囲むよう、一定の余白を設けてもよい。さらに、撮像範囲画像の上端および下端を示す解剖学的位置を示す点や、矩形枠や境界線などで形成された撮像範囲画像そのものを他と異なる色などで強調表示してもよい。また、撮像範囲に含まれる局所構造を示す情報を、さらに解剖図上に表示してもよい。この局所構造を示す情報としては、たとえば局所構造に対応する臓器などの解剖学的部位についての、輪郭線やシェーマ図などの記号などであってもよい。
医用画像データは、付帯情報として撮像枚数や撮像開始位置、撮像終了位置などの情報を有する。マッピング図生成部37は、解剖学的位置の分布に加えて、撮像枚数や撮像開始位置、撮像終了位置を加味した撮像範囲画像を生成してもよい。たとえば、解剖学的位置に対応する局所構造を含むスライス位置と全体の撮像枚数から撮像範囲を算出してもよいし、撮像開始位置および撮像終了位置に対応する解剖学的位置を特定し、撮像範囲を求めてもよい。また、医用画像の付帯情報に含まれる検査や患者に関する様々な情報に基づいて撮像範囲を表示してもよい。また、HIS/RIS400から取得され検査情報などから検査目的となる臓器や部位を取得し、それらの部位に対応する撮像範囲を表示してもよい。
なお、図9では、撮像範囲画像付き解剖図上に、解剖学的位置を示す点と解剖学的位置に対応する局所構造を表示する例を示したが、これらの表示は省略されてもよいし、マウスオーバー、あるいはポインタやカーソルを合わせることで表示させてもよい。
上述のように生成された撮像範囲画像付き解剖図は、表示部40に表示される(ST117)。以下、図10乃至図13で、撮像範囲画像付き解剖図の各種表示例について説明する。本実施形態に係る医用画像処理装置100は、撮像範囲画像付き解剖図を表示することで、読影を行う医用画像の選択、読影中の医用画像の表示位置の案内や、医用画像中の選択した解剖学的位置に対応するスライス画像への移動制御などを行うことができる。
図10は、実施形態に係る医用画像処理装置100の第1の実施形態の医用画像の選択時における撮像範囲画像の表示例を説明する図である。図10(a)、図10(b)および図10(c)は、入力された複数の医用画像データのなかから、読影レポートの作成対象となる1つの医用画像データを選択する際の表示例を示している。
図10(a)は、入力された医用画像の一覧が表形式で表示された医用画像一覧D1が例示されている。図10(a)は、医用画像一覧D1の一段目の検査ID「XX−XXX1」で示した医用画像データに、マウスなどを備えた入力部50からの入力により、ポインタやカーソルを合わせたときの例を示している。図10(a)は、このように、ポインタやカーソルを合わせた行に対応する撮像範囲画像付き解剖図D2が、ポインタやカーソルの近傍にポップアップ表示される例を示している。
このように、撮像範囲画像付き解剖図D2を、医用画像を選択する際に同時に表示することで、実際に医用画像データを開く前に、医用画像一覧D1に表示されたそれぞれの医用画像データの撮像範囲を視覚的に確認することができる。図10(a)では、ポインタやカーソルの近傍に表示される例を示したが、撮像範囲画像付き解剖図D2を表示する領域が画面上に予め用意されていてもよい。
図10(b)は、図10(a)の変形例である。図10(a)では入力された医用画像データを表形式で示す例を示したが、図10(b)では、それぞれの医用画像データを示すアイコンとして撮像範囲画像付き解剖図D2を表示する例を示している。それぞれの医用画像データを示すアイコンのなかから、所望のアイコンをマウスなどを備えた入力部50から選択することで、選択した医用画像データを開くことができる。
図10(c)も、図10(a)および図10(b)の変形例である。図10(c)は医用画像一覧D1に、医用画像データに対応する撮像範囲画像付き解剖図D2として、部分的な解剖図を表示した例である。部分的な解剖図として、たとえば、人体図記憶部21には、格納された様々な種類の解剖図を使用することもできる。解剖学的位置情報が有する部位や、臓器などの情報を用いて解剖図を選択し、選択した解剖図に撮像範囲画像を重ねて表示した撮像範囲画像付き解剖図D2を表示してもよい。また、図10(c)の撮像範囲の列に示すように、撮像対象の部位や臓器に対応したシェーマ図を撮像範囲画像付き解剖図D2として表示してもよい。さらに、マッピング図生成部37は、解剖図を撮像範囲に応じてトリミングして、撮像範囲画像を生成してもよい。
図10(c)の例では、部分的な解剖図からなる撮像範囲画像付き解剖図D2を、医用画像一覧D1の列として表示している。撮像範囲画像付き解剖図D2を医用画像一覧D1と一体となった表として表示することで、医用画像データの把握および読影対象となる医用画像の選択を支援できる。なお、これらの部分的な解剖図を選択するための情報は、医用画像の付帯情報やHIS/RIS400から取得した検査情報等から取得してもよい。
図11は、実施形態に係る医用画像処理装置100の第1の実施形態の医用画像の表示における撮像範囲画像の第1の表示例を説明する図である。図11は、読影対象の医用画像データに含まれるスライス画像40aが表示部40に表示された例を示している。図11の表示部40の上段には表示された医用画像データの検査情報などが表示された検査情報表示欄40bが例示されている。検査情報表示欄40bの下部には、医用画像データに含まれるスライス画像40aの例が示されている。医用画像データは複数のスライス画像から構成されたボリュームデータである。読影は、医用画像データに含まれる複数のスライス画像を1枚ずつ表示し、マウスなどを備えた入力部50からの入力により、スライス画像を順次変更して行われる。図11の例は、スライス画像40aの横に、撮像範囲画像付き解剖図D2が表示されている。撮像範囲画像付き解剖図D2にはスライス画像の表示位置を示すインジケータD3が設けられ、現在表示中のスライス画像40aが、撮像範囲のどの位置にあるかを表示している。また、図11に表示したインジケータD3を上限に移動させることで、スライス画像40aの表示が、インジケータD3の表示位置に対応する解剖学的部位を有するスライス画像に変更されてもよい。撮像範囲画像付き解剖図D2の座標は、読影中の医用画像データについて検出された解剖学的位置と関連付けされている。したがって、撮像範囲画像付き解剖図D2の所望の場所を押下することによって、撮像範囲画像付き解剖図D2の座標に対応する解剖学的位置を有するスライス画像が表示されてもよい。このような撮像範囲画像付き解剖図D2の座標に対応する解剖学的位置を有するスライス画像の特定は、対応画像特定部36により行われる。対応画像特定部36の処理については後述する。
図11では撮像範囲画像付き解剖図D2を、スライス画像40aの右側に示した例を示したが、スライス画像40aの表示領域内に表示してもよい。たとえば、スライス画像40aの右上に小さく表示してもよい。
図12は、実施形態に係る医用画像処理装置100の第1の実施形態の医用画像の表示における撮像範囲画像の第2の表示例を説明する図であるである。図11では、全身の解剖図に撮像範囲画像が重ね合わせて表示された例を示したが、図12の例は、解剖図を撮像範囲画像でトリミングした、撮像範囲画像付き解剖図D2を示している。図12は、肺野の解剖図がトリミングされて表示された例を示している。図12に示した撮像範囲画像付き解剖図D2も、図11の例と同様に、スライス画像の隣や、スライス画像の表示領域に表示される。
図12(a)の例では、医用画像データの解剖学的位置と関連付けされた撮像範囲画像付き解剖図D2の座標に、ポインタまたはカーソルを合わせた例を示している。図12(a)は、ポインタまたはカーソルを合わせると、その近傍に、その座標に対応する解剖学的位置に対応する局所構造D4がポップアップ表示される例を示している。図12(a)の例では、矢印で示した箇所に対応する局所構造として、「左肺尖部」が表示されている。また、ポインタまたはカーソルを他の解剖学的位置と関連付けされた座標に移動させると、ポップアップ表示される局所構造は、ポインタまたはカーソルが位置する座標に対応する解剖学的位置に対応する局所構造に変化する。
このような局所構造を表示させる撮像範囲画像付き解剖図D2の座標は、ある一定の領域を持って規定されていてもよい。たとえば、撮像範囲画像付き解剖図D2の解剖学的位置と対応付けされた座標を中心に一定の範囲を定めてもよい。また、他の解剖学的位置と関連付けされた座標と範囲が重複する場合は、それぞれの範囲に対応するそれぞれの局所構造を表示してもよいし、重複しないように範囲を定めてもよい。
図12(b)は、図12(a)の変形例である。図12(a)では、対応する局所構造を文言で表示する例を示したが、図12(b)は、対応するスライス画像のサムネイルD5をポップアップ表示させる例を示している。なお、解剖学的位置に対応するスライス画像は、対応画像特定部36により特定される。
図12(b)の例では、撮像範囲画像付き解剖図D2の座標で、表示中の医用画像データの解剖学的位置と関連付けされた座標に、ポインタまたはカーソルを合わせると、その解剖学的位置を含むスライス画像がサムネイル表示される。図12(b)では、図12(a)と同様に、左肺尖部の位置に矢印で示したカーソルを合わせた例を示している。矢印の横に、左肺尖部を含むスライス画像を縮小した画像(サムネイル画像)D5が表示される例を示している。このような表示により、実際に高解像度のスライス画像を表示する前に所望のスライス画像であるかを確認することができる。また、所望のスライス画像を容易に探すことができる。
図13は、実施形態に係る医用画像処理装置100の第1の実施形態の撮像範囲画像付き解剖図からスライス画像を表示する方法を説明する図である。図13(a)はマッピング図生成部37で生成された、撮像範囲画像付き解剖図D2の例を示している。撮像範囲画像付き解剖図D2は、マッピング図(マッピング解剖図)上に撮像範囲画像を重ね合わせたものである。図13(a)に示すように、撮像範囲画像付き解剖図D2には、医用画像データの解剖学的位置と関連付けされた解剖図上の局所構造の座標を、点などの図形や局所構造、解剖学的位置の識別子などで表示することができる。
対応画像特定部36は、撮像範囲画像付き解剖図D2に示された、点や局所構造などの選択に応じて、選択された解剖学的位置に対応する医用画像データのボクセル座標を逆引きすることにより、対応するスライス画像を特定することができる。
たとえば、図13(a)の例では、「AL2」の解剖学的位置が、撮像範囲画像付き解剖図D2上で選択されている。図13(b)は、撮像範囲画像付き解剖図D2のもととなる医用画像データを例示している。図13(a)の例で選択された「AL2」に対応する解剖学的位置は、図13(b)の医用画像で太枠が示されたスライス画像に含まれる。このように、対応画像特定部36は、撮像範囲画像付き解剖図D2上で選択された解剖学的位置に応じて、医用画像データのなかから対応するスライス画像を表示することができる。
図10乃至図13で説明した表示例により、医用画像データに含まれる解剖学的部位を、その医用画像を実際に表示しなくても把握することができる。また、表示中のスライス画像がどのような解剖学的位置にあるかを容易に確認することができる。さらに、撮像範囲画像付き解剖図上に表示された解剖学的位置を選択することで、該当する解剖学的位置に関連する参考図書や解剖学辞典などの内容を表示することもできる。解剖学的位置に関連する参考図書や解剖学辞典などは、医用画像処理装置100の記憶部20に格納されていてもよいし、外部記憶装置に蓄積されていてもよい。また、その解剖学的位置に関する記載をインターネット検索した結果を表示してもよい。
このように、本実施形態に係る医用画像処理装置は、解剖学的位置により、検査情報などの情報がなくとも、医用画像に撮像された解剖学的部位を把握することができる。また、解剖学的位置により、医用画像に撮像された部位や臓器を容易に把握し、または、調べることを可能とする。加えて、撮像範囲画像付き解剖図の解剖学的位置を選択することで、選択した解剖学的位置に対応するスライス画像に瞬時に移動することができ、目的とする画像をすばやく見つけることができる。
(第2の実施形態)
第2の実施形態は、第1の実施形態に加えて、アノテーションが付与された医用画像データの選択および、表示に関する。
アノテーションとは、読影レポートの作成において、1つの医用画像データに含まれる複数の画像のなかから、読影の鍵になると読影医によって判断されたキー画像上に、注意して観察すべき部分を示すために表示される。アノテーションはキー画像上に矢印等の記号や領域を囲む線として表示される。第2の実施形態は、位置情報特定部35が、医用画像に注目箇所であるアノテーションについて、マッピング図上の位置を特定する。
図14は、実施形態に係る医用画像処理装置100の第2の実施形態の動作一例を示すフローチャートである。図3に示した第1の実施形態と共通する処理には同一の符号を付し、説明を省略する。なお、第2の実施形態の構成自体は、図2に示した第1の実施形態と同じである。
ST201では、位置情報特定部35が、医用画像データに付与されたアノテーションのボクセル座標を取得する。
ST203では、位置情報特定部35が、医用画像データに付与されたアノテーションに対応する解剖学的位置を、医用画像データについて検出された局所構造の位置(解剖学的位置)のなかから少なくとも1つ特定し、そのボクセル座標を取得する。
ST205では、位置情報特定部35が、アノテーションについて特定された解剖学的位置に対応する解剖図上の座標を取得する。
ST207では、位置情報特定部35が、アノテーションに対応する解剖学的位置のボクセル座標と、解剖図上の座標とから、アノテーションのボクセル座標に対応する解剖図上の座標を算出する。
ST209では、マッピング図生成部37が、アノテーションのボクセル座標に対応する解剖図上の座標にアノテーションの位置を表すマークを付したマッピング図を生成し、表示部40に表示させる。
図15は、実施形態に係る医用画像処理装置100の第2の実施形態の医用画像に含まれるアノテーションを説明する図である。図15(a)は、図7(a)と同様に、医用画像処理装置100に入力された医用画像データを示している。図15(a)の例では、図7同様に、医用画像データについてAL1、AL2、AL3、AL4、AL5の5つの解剖学的位置が検出されている。位置情報特定部35は、医用画像データ中に三角形で示したアノテーションのボクセル座標を(X1、Y1、Z1)を特定する(ST201)。
図15(b)は、座標が特定されたアノテーションの近傍に位置する解剖学的位置の一覧を示した例である。図15(a)で例示したとおり、医用画像データには5つの解剖学的位置が検出されている。図15(b)の例では、そのうち、アノテーションに対応する解剖学的位置として、AL1、AL2、AL3、AL4の4つが示されている。図15(b)には、それぞれ、AL1のボクセル座標として(Xa1、Ya1、Za1)、AL2のボクセル座標として(Xa2、Ya2、Za2)、AL3のボクセル座標として(Xa3、Ya3、Za3)、同様に、AL4のボクセル座標として(Xa4、Ya4、Za4)が例示されている。
位置情報特定部35は、アノテーションに対して特定されたそれぞれの医用画像上の解剖学的位置に対応する、解剖図上の座標を取得することができる。たとえば、図8(b)に示すように、AL1、AL2、AL3、AL4に対応する解剖図上の座標は、それぞれ、AL1は(Xb1、Yb1)、AL2は(Xb2、Yb2)、AL3は(Xb3、Yb3)、AL4は(Xb4、Yb4)である。このように、位置情報特定部35は、医用画像データと解剖図とにおいて対応する解剖学的位置の座標をそれぞれ取得することができる(ST203、ST205)。
図16は、実施形態に係る医用画像処理装置100の第2の実施形態の医用画像に含まれるアノテーションの解剖図上の座標を算出する方法を説明する図である。図16では、医用画像データに含まれる解剖学的位置を、解剖図の対応する座標に射影した例が示されている。このように、アノテーションに関連する解剖学的位置の医用画像データにおける座標と、解剖図上の座標とを対応させて、それぞれの座標についての関係を求めることで、医用画像データに付与されたアノテーションの座標を算出することができる。具体的には、以下の射影行列Pを計算することで、医用画像データに付与されたアノテーションのボクセル座標(X1、Y1、Z1)から、解剖図上のアノテーションの座標(Xi、Yi)を算出することができる。
Figure 2015186567
上記式(1)より求めた射影行列Pにより、アノテーションの解剖図上の座標(Xi、Yi)は、(X1、Y1、Z1、1)×P=(Xi、Yi)で求めることができる(ST207)。
このように特定された解剖図上のアノテーションの座標に基づき、マッピング図生成部37は、アノテーションのボクセル座標に対応する解剖図上の座標にアノテーションの位置を表すマークを付したマッピング図を生成し、表示部40に表示させる。(ST209)。このマッピング図は、たとえば撮像範囲画像付き解剖図にアノテーションを付与したアノテーション付き解剖図であってもよい。
なお、上述では、アノテーションの近傍に位置する解剖学的位置を用いて、アノテーションの解剖図上の座標を射影行列Pから算出する例を示したが、解剖学的位置の信頼度に応じて、射影行列Pの算出に使用する解剖学的位置を選択してもよい。また、アノテーションの最近傍の解剖学的位置が属する臓器や部位から、使用する解剖学的位置を選択してもよいし、検査情報から検査目的となる臓器や部位を取得し、使用する解剖学的位置を選択してもよい。
また、上述では、座標変換に関して選択した4点を利用して射影行列Pを算出する例を示したが、5点以上の解剖学的位置を利用し、非剛体レジストレーションによる座標変換を行ってもよい。非剛体レジストレーションによる座標変換は、変形を伴う位置合わせ方法で、複数の座標から成る2つの集合を関係づけることができる。非剛体レジストレーションによる座標変換を用いれば、選択した解剖学的位置が全て解剖図上の対応する座標と一致するように医用画像を滑らかに変形させることで、より正確に座標同士の位置合わせをすることができる。このような非剛体レジストレーションによる座標変換を用いてアノテーションの座標を変換してもよい。たとえば、解剖図が2次元である場合は、まず3次元の解剖図を用意し、非剛体レジストレーションをもちいて、3次元の解剖図上の局所構造の座標に対応する医用画像の解剖学的位置が一致するように医用画像を変形させることで、解剖図の座標と医用画像の解剖学的位置の正確な位置合わせを行う。次に、医用画像に指定されたアノテーション座標に対応する座標を、3次元の解剖図上で特定し、特定したアノテーションの座標を2次元の解剖図上に射影するような手法でも良い。なお、非剛体レジストレーションでは全ての解剖学的位置を利用しても良いし、アノテーションに関係のある解剖学的位置に限定して利用しても良い。
以下、図17乃至図19で、アノテーション付き解剖図の表示例を説明する。医用画像処理装置100は、第1の実施形態と同様に、読影を行う医用画像の選択や、医用画像中の選択したアノテーションに対応するスライス画像への移動制御などを行う。なお、アノテーション付き解剖図は、第1の実施形態で説明した撮像範囲画像付き解剖図の有する機能を含んでいてもよい。
図17は、実施形態に係る医用画像処理装置100の第2の実施形態の医用画像の選択時におけるアノテーションの表示例を説明する図である。図17は、図10と同様に、入力された医用画像データのなかから、読影レポートの作成対象となる医用画像データを選択する際の表示例を示している。
読影レポートの作成は、医用画像表示装置等でキー画像の特定やアノテーションの付与などを実施した後に、それらの画像と、所見とを記入する手順で行われる場合がある。また、読影と、所見の入力とが完了した状態で、所見と、キー画像やアノテーションとを読影レポートにまとめるという手順で作業を行う場合もある。このような場合、キー画像やアノテーションが付与された医用画像が医用画像処理装置100に入力される。
図17の例では、図10と同様に、入力された医用画像を、アノテーション付き解剖図D2のアイコンで示している。図17に示したアノテーション付き解剖図D2は、撮像範囲画像と、アノテーションとが表示されている。図17の例で示すように、アノテーションは、1つの医用画像に対して複数設定されていてもよい。なお、図17の検査IDが「XX−XXX1」の例では、アノテーションは丸で示されているが、四角や星、矢印など異なる図形であってもよいし、解剖図上に特定されたアノテーションの座標を中心とした一定の領域を線で囲ったものや、色を付したものであってもよい。また、アノテーションを示す図形などが点滅したりするアニメーションで表示してもよい。さらに、アノテーションの近傍の解剖学的位置を、同時に表示してもよい。
図18は、実施形態に係る医用画像処理装置100の第2の実施形態の医用画像の表示におけるアノテーションの表示例を説明する図である。図18は、図11と同様に、読影対象の医用画像データに含まれるスライス画像40aが表示部40に表示された例を示している。
図18に例示されたスライス画像40aには、1点鎖線で囲まれたアノテーション1が示されている。アノテーション1は、アノテーション付き解剖図D2上にも表示され、現在表示中のスライス画像の位置を示すインジケータD3の位置に表示されている。図18のアノテーション付き解剖図D2上には、アノテーション2も表示されている。たとえば、図18のアノテーション付き解剖図D2に示したアノテーション2の座標を押下すると、図19に示した、アノテーション2が付与されたスライス画像に瞬時に移動することができてもよい。
図19は、実施形態に係る医用画像処理装置100の第2の実施形態における図18の表示例でアノテーション2を選択した後の表示例を説明する図である。図19は、図11および図18と同様に、読影対象の医用画像データに含まれるスライス画像40aが表示部40に表示された例を示している。
図19に例示されたスライス画像40aには、図18とは異なるスライス画像が表示されている。また、図19に例示されたスライス画像40aには、1点鎖線で囲まれたアノテーション2が示されている。アノテーション付き解剖図D2上のインジケータD3の位置は、アノテーション2と重なる位置に表示されている。
このように、図17に示した例では、アノテーションの位置を医用画像を表示しなくても把握することができるため、読影レポートを作成する対象を容易に選択することができる。また、図18および図19に示した例では、所見等を入力しながら、アノテーションを付与した医用画像を容易に検索することができ、かつ、撮像範囲画像付き解剖図には、解剖学的位置が関連付けされていることから、アノテーションを付与した位置とアノテーションを付与した位置の周囲にある解剖学的位置との関係を容易に把握できる。
(第3の実施形態)
第3の実施形態は、第1の実施形態および第2の実施形態に加えて、医用画像または、アノテーション付き解剖図上で指定された座標の位置情報の生成および、表示に関する。具体的には、位置情報特定部35が解剖学的位置に基づき、解剖学的位置からアノテーションまで、または、医用画像上の選択された座標までの距離や方向などを示す位置情報を算出する。
図20は、実施形態に係る医用画像処理装置100の第3の実施形態の動作一例を示すフローチャートである。なお、第3の実施形態の構成自体は、図2に示した第1の実施形態と同じである。第3の実施形態は、第1の実施形態で説明した解剖学的位置付き解剖図の生成後、あるいは、第2の実施形態で説明したアノテーション付き解剖図の生成後の動作に関する。
ST301では、位置情報特定部35が、マウスなどを備えた入力部50から入力された、スライス画像または、アノテーション付き解剖図上の選択箇所の座標を取得する。スライス画像における選択箇所とは、マウスなどを備えた入力部50から入力されたポインタやカーソルが位置したスライス画像の座標のことである。同様に、アノテーション付き解剖図の選択箇所とは、入力部50から入力されたポインタやカーソルが位置した座標のことである。たとえば、アノテーション付き解剖図に示されたアノテーションの座標、または、解剖学的位置のアノテーション付き解剖図上の座標であってもよい。なお、位置情報特定部35は、アノテーション付き解剖図上のアノテーションまたは解剖学的位置の座標から、対応する医用画像におけるボクセル座標を取得することができる。アノテーションおよび解剖学的位置は、それぞれ医用画像におけるボクセル座標と、アノテーション付き解剖図上の座標とを関連付けされた状態で保持している。
ST303では、位置情報特定部35が、取得したボクセル座標から、選択箇所の近傍の解剖学的位置を特定する。
ST305では、位置情報特定部35が、特定された近傍の解剖学的位置から、選択箇所の座標までの距離および方向を算出する。
ST307では、表示部40が、算出された距離および方向を表示する。
図21は、実施形態に係る医用画像処理装置100の第3の実施形態における解剖学的位置から選択箇所までの距離を算出する方法を説明する図である。図21では、選択箇所の座標の近傍の解剖学的位置として、AL1が特定された例を示している。
図21に例示するように、AL1の座標として(X1a、Y1a、Z1a)が、選択箇所の座標として(X1b、Y1b、Z1b)が示されている。
図21に示したL1は、AL1の座標と選択箇所の座標とのZ方向の距離を示している。AL1から選択箇所の座標までの距離は、ボクセルサイズなどから算出することができる(ST305)。同様に、L2は、AL1の座標と選択箇所の座標とのX軸方向の距離を示している。L3で示したY軸方向の距離についても同様である。
このように算出した距離や方向を複数組み合わせて、たとえば、選択箇所は「AL1から足方向に△mm、右方向に○mm、腹側方向に□mm」の距離にある、というように示すこともできる。
図22は、実施形態に係る医用画像処理装置100の第3の実施形態における解剖学的位置から選択箇所までの距離の第1の表示例を説明する図である。図22は、表示部40に表示されたスライス画像40aに選択箇所が定められた例を示している。スライス画像40aに選択箇所が定められると、位置情報特定部35が、医用画像データからその箇所の座標を取得する。位置情報特定部35は、取得した座標から、図21で示したように、近傍の解剖学的位置からの距離および方向を算出する(ST305)。
図22(a)は、算出された選択箇所の位置情報をスライス画像40aの下部の位置情報表示領域D4に表示する例を示している。図22(a)の例では、スライス画像40aの矢印Aの箇所が選択箇所として選択され、位置情報表示領域D4には、「AL1から右方向に△mm、腹方向に○mm、足方向に□mm」が表示されている。このように、位置情報特定部35は、スライス画像上で選択した座標について、近傍の解剖学的位置からの位置を算出し、表示する。
なお、図22(a)では位置情報表示領域D4に1つの解剖学的位置からの位置情報を表示する例を示したが、複数の解剖学的位置からの位置情報を表示してもよい。また、位置情報を算出する解剖学的位置は解剖学的位置情報の信頼度に応じて選択されてもよい。また、解剖学的位置情報の信頼度の順で図22(a)の位置情報表示領域D4に表示されてもよい。さらに、最近傍の解剖学的位置または、検査情報などから選択箇所に対応する臓器などを特定し、その臓器等に関連する解剖学的位置からの位置情報を算出してもよい。
図22(b)は図22(a)の変形例である。図22(a)の位置情報表示領域D4はスライス画像40aの下部に固定されている例を示しているが、図22(b)は、選択箇所として選択した矢印Aと関連付けて表示する例を示している。図22(b)の例では、位置情報表示領域D4は、吹き出し状の形状で示されており、吹き出しは、矢印Aで指定した選択箇所の座標から表示されている。
このように、スライス画像上の座標を指定するだけで、近傍の解剖学的位置からの距離や方向がわかれば、その箇所にアノテーションを付与し、読影レポートに所見を入力する際に、そのアノテーションの位置を正確に表現することができる。また、複数の解剖学的位置からの位置情報を表示することで、2次元のスライス画像であっても、立体的に選択箇所の位置を把握することが可能となる。
図23は、実施形態に係る医用画像処理装置100の第3の実施形態における解剖学的位置から選択箇所までの距離の第2の表示例を説明する図である。図21はスライス画像上の座標が選択箇所として選択される例を示したが、図23は、アノテーション付き解剖図上のアノテーションに対応する座標が選択箇所として選択される例を示している。なお、選択箇所として、解剖学的位置に対応する座標や局所構造が選択されてもよい。
図23(a)の例では、位置情報特定部35が、矢印Aで示した、選択箇所に指定されたアノテーションのボクセル座標を選択箇所の座標として特定し、近傍の解剖学的位置までの距離および方向を算出する。図23(a)は、算出された解剖学的位置までの距離および方向を矢印Aの近傍に表示する例を示している。
図23(b)は、図23(a)の変形例であり、アノテーション付き解剖図上に表示されたアノテーションのラベルを矢印Aで選択し、アノテーションのラベルの近傍に算出された解剖学的位置までの距離および方向を矢印Aの近傍に表示する例を示している。
このように、解剖図上のアノテーションの位置情報または、解剖図上の局所構造の位置を表示することにより、所見に記載するアノテーションの位置を簡単に説明することができる。また、アノテーションの位置情報としてより適切な情報を、アノテーション付き解剖図上の解剖学的位置を選択するだけで簡単に探すことができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 通信制御装置
20 記憶部
30 主制御部
40 表示部
50 入力部
21 人体図記憶部
31 医用画像入力部
32 位置検出部
35 位置情報特定部
36 対応画像特定部
37 マッピング図生成部
100 医用画像処理装置
200 医用画像一元管理サーバ
300 モダリティ装置
400 HIS/RIS

Claims (17)

  1. 被検体を撮影した医用画像を表示する医用画像処理装置であって、
    人体内の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、
    人体を模した人体図を記憶する人体図記憶部と、
    前記人体図上に前記局所構造の位置を表すマークを付したマッピング図を生成するマッピング図生成部と、
    前記マッピング図を表示する表示部と、
    を備えた医用画像処理装置。
  2. 前記表示部は、
    複数の前記医用画像に対応する複数の前記マッピング図を一覧表示する、
    請求項1に記載の医用画像処理装置。
  3. 前記マッピング図生成部は、
    前記人体図上に前記医用画像に付けられたアノテーションの位置を表すマークを付したマッピング図を生成する、
    請求項1または2に記載の医用画像処理装置。
  4. 前記マッピング図生成部は、
    前記人体図上に、前記局所構造の位置を表すマークおよび前記医用画像に付けられたアノテーションの位置を表すマークを付すことにより前記マッピング図を生成する、
    請求項3記載の医用画像処理装置。
  5. 前記マッピング図生成部は、
    前記医用画像から検出された前記局所構造の位置に基づいて前記医用画像の撮像範囲を示す撮像範囲画像を生成し、前記人体図上に前記撮像範囲画像を重畳したマッピング図を生成する、
    請求項1または2に記載の医用画像処理装置。
  6. 前記マッピング図生成部は、
    前記人体図上に、前記局所構造の位置を表すマークおよび前記医用画像に付けられたアノテーションの位置を表すマークの少なくとも一方のマークを付すとともに前記人体図上に前記撮像範囲画像を重畳することにより前記マッピング図を生成する、
    請求項5記載の医用画像処理装置。
  7. 前記マッピング図生成部は、
    複数の前記医用画像のそれぞれについて、複数の前記医用画像のそれぞれの撮像範囲を示す前記撮像範囲画像を生成する、
    請求項5または6に記載の医用画像処理装置。
  8. 前記マッピング図生成部は、
    前記医用画像から検出された前記局所構造の位置に対応する前記人体図上の座標をすべて含むように前記撮像範囲画像を生成する、
    請求項5ないし7のいずれか1項に記載の医用画像処理装置。
  9. 前記マッピング図生成部は、前記医用画像から検出された前記局所構造の位置に対応する前記人体図上の所定方向の座標の最大値および最小値を前記所定方向の両端として有する前記撮像範囲画像を生成する、
    請求項5ないし8のいずれか1項に記載の医用画像処理装置。
  10. 前記医用画像に付けられたアノテーションの座標と、前記位置検出部により検出された前記局所構造の位置と、に基づき、前記人体図上の前記アノテーションの位置を特定する位置情報特定部、
    をさらに備え、
    前記マッピング図生成部は、
    前記位置情報特定部により特定された前記人体図上の前記アノテーションの位置にもとづいて、前記マッピング図に対して前記アノテーションの位置を表すマークを付す、
    請求項1ないし9のいずれか1項に記載の医用画像処理装置。
  11. 前記位置情報特定部は、
    前記医用画像について検出された前記局所構造の位置に基づき前記アノテーションの位置情報を求め、
    前記マッピング図生成部は、
    さらに前記アノテーションの位置情報を示す画像を生成して前記表示部に表示させる、
    請求項10に記載の医用画像処理装置。
  12. 前記アノテーションの位置情報は、
    前記アノテーションの近傍にある局所構造と、この局所構造の位置からの距離および方向に関する情報を含む、
    請求項11に記載の医用画像処理装置。
  13. 前記位置情報特定部は、
    前記医用画像に付けられた前記アノテーションの座標と、前記マッピング図上の座標と、の関係を示す射影行列に基づき、前記アノテーションの位置情報を求める、
    請求項11または12に記載の医用画像処理装置。
  14. 前記マッピング図に含まれる前記局所構造の位置のなかから選択された局所構造の位置に対応する画像を、前記医用画像を構成する複数の画像のなかから特定し、この特定した画像を前記表示部に表示させる対応画像特定部、
    をさらに備えた請求項1ないし13のいずれか1項に記載の医用画像処理装置。
  15. 前記マッピング図に前記アノテーションの位置を表すマークが付されていると、前記医用画像を構成する複数の画像のなかから前記アノテーションの位置に対応する画像を特定し、この特定した画像を前記表示部に表示させる対応画像特定部、
    をさらに備えた請求項3ないし13のいずれか1項に記載の医用画像処理装置。
  16. 被検体を撮影した医用画像を表示する医用画像処理装置であって、
    人体内の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、
    前記医用画像上に前記局所構造の位置を表すマークを付したマッピング図を生成するマッピング図生成部と、
    前記マッピング図を表示する表示部と、
    を備えた医用画像処理装置。
  17. 被検体を撮影した医用画像を、ネットワークを介して取得して表示する医用画像処理システムであって、
    人体内の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、
    人体を模した人体図を記憶する人体図記憶部と、
    前記人体図上に前記局所構造の位置を表すマークを付したマッピング図を生成するマッピング図生成部と、
    前記マッピング図を表示する表示部と、
    を備えた医用画像処理システム。
JP2015035621A 2014-03-11 2015-02-25 医用画像処理装置および医用画像処理システム Active JP6490985B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015035621A JP6490985B2 (ja) 2014-03-11 2015-02-25 医用画像処理装置および医用画像処理システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014048083 2014-03-11
JP2014048083 2014-03-11
JP2015035621A JP6490985B2 (ja) 2014-03-11 2015-02-25 医用画像処理装置および医用画像処理システム

Publications (2)

Publication Number Publication Date
JP2015186567A true JP2015186567A (ja) 2015-10-29
JP6490985B2 JP6490985B2 (ja) 2019-03-27

Family

ID=54069160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015035621A Active JP6490985B2 (ja) 2014-03-11 2015-02-25 医用画像処理装置および医用画像処理システム

Country Status (2)

Country Link
US (1) US10268802B2 (ja)
JP (1) JP6490985B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204041A (ja) * 2016-05-09 2017-11-16 東芝メディカルシステムズ株式会社 所見情報作成装置及びシステム
CN109273073A (zh) * 2018-08-28 2019-01-25 上海联影医疗科技有限公司 医学图像的存储方法及装置、计算机可读存储介质
JP2020135310A (ja) * 2019-02-18 2020-08-31 富士フイルム株式会社 健康管理装置、健康管理装置の作動方法、健康管理装置の作動プログラム
US11900513B2 (en) 2021-08-26 2024-02-13 Canon Medical Systems Corporation Medical image display apparatus

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470411B1 (ko) * 2012-10-12 2014-12-08 주식회사 인피니트헬스케어 가상 환자 모델을 이용한 의료 영상 디스플레이 방법 및 그 장치
JP6595193B2 (ja) * 2014-03-11 2019-10-23 キヤノンメディカルシステムズ株式会社 読影レポート作成装置および読影レポート作成システム
US10729396B2 (en) * 2016-08-31 2020-08-04 International Business Machines Corporation Tracking anatomical findings within medical images
US10276265B2 (en) * 2016-08-31 2019-04-30 International Business Machines Corporation Automated anatomically-based reporting of medical images via image annotation
JP7426826B2 (ja) * 2017-04-20 2024-02-02 コーニンクレッカ フィリップス エヌ ヴェ 所見の兆候を探る画像スライスのコンピュータ支援検索のためのシステム及び方法
USD855651S1 (en) 2017-05-12 2019-08-06 International Business Machines Corporation Display screen with a graphical user interface for image-annotation classification
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术(北京)有限公司 用于标注医学图像的方法和装置
WO2019085985A1 (en) 2017-11-02 2019-05-09 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for generating semantic information for scanning image
US11327773B2 (en) * 2017-12-05 2022-05-10 Siemens Healthcare Gmbh Anatomy-aware adaptation of graphical user interface
JP6945474B2 (ja) * 2018-02-28 2021-10-06 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム
US10949968B2 (en) 2018-05-07 2021-03-16 Zebra Medical Vision Ltd. Systems and methods for detecting an indication of a visual finding type in an anatomical image
US10891731B2 (en) * 2018-05-07 2021-01-12 Zebra Medical Vision Ltd. Systems and methods for pre-processing anatomical images for feeding into a classification neural network
WO2019215109A1 (en) * 2018-05-08 2019-11-14 Koninklijke Philips N.V. Convolutional localization networks for intelligent captioning of medical images
JP2022030104A (ja) * 2020-08-06 2022-02-18 キヤノンメディカルシステムズ株式会社 医用情報処理装置
DE102020212159A1 (de) 2020-09-28 2022-01-20 Siemens Healthcare Gmbh Mechanismen eines Dosis-Management-Begleiters zur Beschleunigung der Dosisanalyse, der Dosis- und Bildqualität und des Managements von Dosisausreißern
DE102022207382A1 (de) 2022-07-19 2024-01-25 Siemens Healthcare Gmbh Verfahren und Vorrichtung zum Verarbeiten von medizinischen Daten

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006181146A (ja) * 2004-12-28 2006-07-13 Fuji Photo Film Co Ltd 診断支援装置、診断支援方法およびそのプログラム
JP2009000342A (ja) * 2007-06-22 2009-01-08 Toshiba Corp 医用画像表示装置
WO2009104510A1 (ja) * 2008-02-19 2009-08-27 株式会社東芝 医用画像表示装置および画像表示方法
JP2012071122A (ja) * 2010-08-31 2012-04-12 Canon Inc 表示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60041893D1 (de) * 2000-11-24 2009-05-07 Kent Ridge Digital Labs Verfahren und vorrichtungen zur verarbeitung medizinischer bilder
US20050283053A1 (en) * 2002-01-30 2005-12-22 Decharms Richard C Methods for physiological monitoring, training, exercise and regulation
JP2003144454A (ja) * 2001-11-16 2003-05-20 Yoshio Koga 関節手術支援情報算出方法、関節手術支援情報算出プログラム、及び関節手術支援情報算出システム
JP4253497B2 (ja) * 2002-12-03 2009-04-15 株式会社東芝 コンピュータ支援診断装置
US20040151358A1 (en) * 2003-01-31 2004-08-05 Akiko Yanagita Medical image processing system and method for processing medical image
JP2005080969A (ja) 2003-09-10 2005-03-31 Konica Minolta Medical & Graphic Inc 選択支援システム、選択支援方法
JP4818846B2 (ja) 2006-08-16 2011-11-16 富士フイルム株式会社 医用画像処理装置及び医用画像処理プログラム
JP2008073397A (ja) 2006-09-25 2008-04-03 Fujifilm Corp 解剖図選択方法及び解剖図選択装置並びに医用ネットワークシステム
EP1947606A1 (en) 2007-01-16 2008-07-23 National University Corporation Kobe University Medical image processing apparatus and medical image processing method
US9946846B2 (en) * 2007-08-03 2018-04-17 A-Life Medical, Llc Visualizing the documentation and coding of surgical procedures
JP5138431B2 (ja) 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
US10282840B2 (en) * 2010-07-21 2019-05-07 Armin Moehrle Image reporting method
JP5701685B2 (ja) * 2011-05-26 2015-04-15 富士フイルム株式会社 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
DE102011080260B4 (de) * 2011-08-02 2021-07-15 Siemens Healthcare Gmbh Verfahren und Anordnung zur rechnergestützten Darstellung bzw. Auswertung von medizinischen Untersuchungsdaten
US9710146B2 (en) * 2011-09-29 2017-07-18 Hitachi, Ltd. System and method for image display control
JP5972570B2 (ja) * 2011-12-27 2016-08-17 東芝メディカルシステムズ株式会社 医用画像表示装置及び医用画像保管システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006181146A (ja) * 2004-12-28 2006-07-13 Fuji Photo Film Co Ltd 診断支援装置、診断支援方法およびそのプログラム
JP2009000342A (ja) * 2007-06-22 2009-01-08 Toshiba Corp 医用画像表示装置
WO2009104510A1 (ja) * 2008-02-19 2009-08-27 株式会社東芝 医用画像表示装置および画像表示方法
JP2012071122A (ja) * 2010-08-31 2012-04-12 Canon Inc 表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204041A (ja) * 2016-05-09 2017-11-16 東芝メディカルシステムズ株式会社 所見情報作成装置及びシステム
CN109273073A (zh) * 2018-08-28 2019-01-25 上海联影医疗科技有限公司 医学图像的存储方法及装置、计算机可读存储介质
JP2020135310A (ja) * 2019-02-18 2020-08-31 富士フイルム株式会社 健康管理装置、健康管理装置の作動方法、健康管理装置の作動プログラム
US11900513B2 (en) 2021-08-26 2024-02-13 Canon Medical Systems Corporation Medical image display apparatus

Also Published As

Publication number Publication date
US20150261915A1 (en) 2015-09-17
US10268802B2 (en) 2019-04-23
JP6490985B2 (ja) 2019-03-27

Similar Documents

Publication Publication Date Title
JP6490985B2 (ja) 医用画像処理装置および医用画像処理システム
JP6595193B2 (ja) 読影レポート作成装置および読影レポート作成システム
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
JP6542004B2 (ja) 医用画像処理装置、および医用画像処理システム
JP6548393B2 (ja) 医用画像表示装置および医用画像表示システム
JP6460636B2 (ja) 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
JP6419441B2 (ja) 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム
JP5222082B2 (ja) 情報処理装置およびその制御方法、データ処理システム
US20080058611A1 (en) Medical image processing apparatus
JP4800129B2 (ja) 医用画像表示処理装置、及び、医用画像表示処理プログラム
US8934687B2 (en) Image processing device, method and program including processing of tomographic images
JP2012208726A (ja) 医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラム
JP6510196B2 (ja) 読影レポート作成支援装置
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
JP2019008349A (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
JP2016202721A (ja) 医用画像表示装置及びプログラム
JP5539478B2 (ja) 情報処理装置および情報処理方法
WO2021157705A1 (ja) 文書作成支援装置、方法およびプログラム
JP6734111B2 (ja) 所見情報作成装置及びシステム
JP2019126654A (ja) 画像処理装置、画像処理方法、及びプログラム
US20110242096A1 (en) Anatomy diagram generation method and apparatus, and medium storing program
EP3499514A1 (en) Image-based and demographic prediction-based implant size determination
US11816821B2 (en) Method and system for generating an enriched image of a target object and corresponding computer program and computer-readable storage medium
JP2022148868A (ja) 画像位置合わせ装置、方法およびプログラム、並びに位置特定装置、方法およびプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190228

R150 Certificate of patent or registration of utility model

Ref document number: 6490985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150