JP2018175227A - 医用画像表示装置、方法およびプログラム - Google Patents

医用画像表示装置、方法およびプログラム Download PDF

Info

Publication number
JP2018175227A
JP2018175227A JP2017077361A JP2017077361A JP2018175227A JP 2018175227 A JP2018175227 A JP 2018175227A JP 2017077361 A JP2017077361 A JP 2017077361A JP 2017077361 A JP2017077361 A JP 2017077361A JP 2018175227 A JP2018175227 A JP 2018175227A
Authority
JP
Japan
Prior art keywords
case
images
change
mapping
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017077361A
Other languages
English (en)
Other versions
JP2018175227A5 (ja
Inventor
大沢　哲
Satoru Osawa
哲 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017077361A priority Critical patent/JP2018175227A/ja
Priority to US15/943,002 priority patent/US10980493B2/en
Priority to DE102018108153.7A priority patent/DE102018108153A1/de
Publication of JP2018175227A publication Critical patent/JP2018175227A/ja
Publication of JP2018175227A5 publication Critical patent/JP2018175227A5/ja
Priority to JP2021051497A priority patent/JP7225295B2/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Abstract

【課題】医用画像表示装置、方法およびプログラムにおいて、間質性肺疾患等の疾患についての画像を用いて、経時比較観察を精度よく行うことができるようにする。
【解決手段】分類部２２が、同一被写体についての撮影時期が異なる２つの３次元画像Ｖ０，Ｖ１のそれぞれに含まれる肺領域を複数種類の症例領域に分類し、マッピング画像生成部２３が、分類された各症例領域をラベリングすることにより、３次元画像Ｖ０，Ｖ１のそれぞれに対応する複数のマッピング画像Ｍ０，Ｍ１を生成する。変化算出部２５が、マッピング画像Ｍ０，Ｍ１における対応する位置の症例領域について、この症例領域の重心位置を算出し、マッピング画像Ｍ０，Ｍ１間における重心位置の移動量および移動方向を各症例領域の変化として算出する。表示制御部２６が、変化に関する情報をディスプレイ１４に表示する。
【選択図】図２

Description

本発明は、医用画像に含まれる複数種類の症例領域を識別して表示する医用画像表示装置、方法およびプログラムに関するものである。
被写体である患者の放射線画像および超音波画像を撮影することにより取得した医用画像を用いての画像診断が行われている。また、近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の症状を呈する病変を分類して定量化する手法が提案されている（非特許文献１，２参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てることにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
一方、病気の治癒状況あるいは進行状況の診断を行うために、同一患者についての過去の医用画像を用いて経時比較観察を行う場合がある。例えば、撮影時期が異なる胸部の放射線画像の差分画像を求め、差分画像において、経時変化部分に対応する部分をラベリング処理し、所定以上の大きさの経時変化領域を塗りつぶしパターン等で表現することにより、経時変化部分の強調度を高めて表示する手法が提案されている（特許文献１参照）。また、撮影時期が異なるＣＴ画像について、対応する部位を位置合わせした上で、動画表示する手法も提案されている（特許文献２参照）。
また、３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。
ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、複数種類の構造物のいずれに分類することが可能となる。
特許３５７７６８０号公報 特許５６６１４５３号公報 Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7 コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌 第４１巻第２号、２０１４年８月
上述した間質性肺疾患についても、過去画像と最新の画像とにおけるマッピングの結果を用いて、経時比較観察を精度よく行うことが望まれている。しかしながら、間質性肺疾患は、複数の症状を呈する領域が肺の中に含まれるため、症状毎の領域の変化を精度よく表示して、経時比較観察を精度よく行うことは困難である。
本発明は、上記事情に鑑みなされたものであり、間質性肺疾患等の疾患についての画像を用いて、経時比較観察を精度よく行うことができるようにすることを目的とする。
本発明による第１の医用画像表示装置は、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類する分類手段と、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像を生成するマッピング画像生成手段と、
複数のマッピング画像における対応する位置の症例領域について、対応する位置の症例領域の重心位置を算出し、複数のマッピング画像間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像間における、分類された各症例領域の変化として算出する変化算出手段と、
変化に関する情報を表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
なお、本発明による第１の医用画像表示装置においては、変化算出手段は、複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、さらに変化として算出するものであってもよい。
本発明による第２の医用画像表示装置は、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類する分類手段と、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する複数のマッピング画像を生成するマッピング画像生成手段と、
複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、複数のマッピング画像間における、分類された各症例領域の変化として算出する変化算出手段と、
変化に関する情報を表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
「症例領域」とは、対象領域内における特定の症状または特定の形態を呈する領域を意味する。このため、本実施形態においては、心臓および横隔膜等の特定の形態を呈する構造物そのものの領域も症例領域に含まれるものとする。
なお、本発明による第１および第２の医用画像表示装置においては、複数の医用画像の位置合わせを行い、位置合わせ結果に基づいて複数のマッピング画像の位置合わせを行う位置合わせ手段をさらに備えるものとしてもよい。
この場合、位置合わせ手段は、複数の医用画像のうち、撮影時期が最も古い医用画像に最も古い医用画像以外の医用画像の位置を合わせる第１の位置合わせ、撮影時期が最も新しい医用画像に最も新しい医用画像以外の医用画像の位置を合わせる第２の位置合わせ、および指定された医用画像に指定された医用画像以外の医用画像の位置を合わせる第３の位置合わせのうちの、指定された位置合わせを行うものであってもよい。
また、本発明による第１および第２の医用画像表示装置においては、分類手段は、複数種類の症例を分類するようにディープラーニングがなされた判別器を有し、判別器により対象領域を複数種類の症例領域に分類するものであってもよい。
本発明による第１および第２の医用画像表示装置においては、複数の被写体についての、各症例領域の変化に関する情報を保存する保存手段をさらに備えるものとし、
表示制御手段は、表示の対象となる被写体と異なる被写体についての、各症例領域の変化に関する情報を保存手段から取得し、取得した変化に関する情報をさらに表示するものであってもよい。
「各症例領域の変化に関する情報」とは、各症例領域がその後にどのように変化したかを表す情報を意味する。例えば、ある症例領域が広がって悪化したり、薬の投与によりある症例領域が狭くなって治癒したりしたことを、各症例領域の変化に関する情報として用いることができる。
本発明による第１の医用画像表示方法は、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類し、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像を生成し、
複数のマッピング画像における対応する位置の症例領域について、対応する位置の症例領域の重心位置を算出し、複数のマッピング画像間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像間における、分類された各症例領域の変化として算出し、
変化に関する情報を表示手段に表示することを特徴とするものである。
本発明による第２の医用画像表示方法は、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類し、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する複数のマッピング画像を生成し、
複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、複数のマッピング画像間における、分類された各症例領域の変化として算出し、
変化に関する情報を表示手段に表示することを特徴とするものである。
なお、本発明による第１および第２の医用画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明による他の第１の医用画像表示装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサであって、
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類し、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像を生成し、
複数のマッピング画像における対応する位置の症例領域について、対応する位置の症例領域の重心位置を算出し、複数のマッピング画像間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像間における、分類された各症例領域の変化として算出し、
変化に関する情報を表示手段に表示する処理を実行するプロセッサを備えたことを特徴とするものである。
本発明による他の第２の医用画像表示装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサであって、
同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類し、
各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する複数のマッピング画像を生成し、
複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、複数のマッピング画像間における、分類された各症例領域の変化として算出し、
変化に関する情報を表示手段に表示する処理を実行するプロセッサを備えたことを特徴とするものである。
本発明による第１の医用画像表示装置および方法によれば、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域が複数種類の症例領域に分類され、各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像が生成される。そして、複数のマッピング画像における対応する位置の症例領域について、症例領域の重心位置が算出され、重心位置の複数のマッピング画像間における移動量および移動方向の少なくとも一方が、複数のマッピング画像間における分類された各症例領域の変化として算出され、変化に関する情報が表示手段に表示される。このように、本発明においては、対応する位置の症例領域の重心位置の複数のマッピング画像間における移動量および移動方向の少なくとも一方を各症例領域の変化として算出しているため、症例領域の変化を精度よく算出することができる。したがって、撮影時期が異なる複数の医用画像を用いた経時比較観察を精度よく行うことができる。
本発明による第２の医用画像表示装置および方法によれば、同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域が複数種類の症例領域に分類され、各症例領域をラベリングすることにより、複数の医用画像のそれぞれに対応する、各症例領域に関するマッピング画像が生成される。そして、複数のマッピング画像における対応する位置の症例領域の大きさの変化量が、複数のマッピング画像間における分類された各症例領域の変化として算出され、変化に関する情報が表示手段に表示される。このように、本発明においては、対応する位置の症例領域の大きさの変化量を各症例領域の変化として算出しているため、症例領域の変化を精度よく算出することができる。したがって、撮影時期が異なる複数の医用画像を用いた経時比較観察を精度よく行うことができる。
本発明の実施形態による医用画像表示装置を適用した、診断支援システムの概要を示すハードウェア構成図 本実施形態による医用画像表示装置の構成を示す概略ブロック図 多層ニューラルネットワークの一例を示す図 分類に応じた色が割り当てられた３次元画像を示す図 マッピング画像を示す図 重心位置の算出を説明するための図 重心位置の移動量および移動方向を示す図 表示された変化に関する情報を示す図 本実施形態において行われる処理を示すフローチャート 面積の変化量のみを算出した場合における表示された変化に関する情報を示す図
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による医用画像表示装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による医用画像表示装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２は、被写体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被写体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被写体の肺を含む胸部のＣＴ画像を３次元画像Ｖ０として生成する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、同一被写体の撮影時期が異なる複数の３次元画像が保存されているものとする。
医用画像表示装置１は、１台のコンピュータに、本発明の医用画像表示プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。医用画像表示プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに医用画像表示プログラムをインストールすることにより実現される医用画像表示装置の概略構成を示す図である。図２に示すように、医用画像表示装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、医用画像表示装置１には、ディスプレイ１４および、マウス等の入力部１５が接続されている。
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被写体の３次元画像、並びに処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、医用画像表示プログラムが記憶されている。医用画像表示プログラムは、ＣＰＵ１１に実行させる処理として、同一被写体についての撮影時期が異なる複数の３次元画像を取得する画像取得処理、複数の３次元画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類する分類処理、各症例領域をラベリングすることにより、複数の３次元画像のそれぞれに対応する、各症例領域に関するマッピング画像を生成するマッピング画像生成処理、複数の３次元画像の位置合わせを行い、位置合わせ結果に基づいて複数のマッピング画像の位置合わせを行う位置合わせ処理、複数のマッピング画像における対応する位置の症例領域について、症例領域の重心位置を算出し、複数のマッピング画像間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像間における、分類された各症例領域の変化として算出する変化算出処理、並びに変化に関する情報をディスプレイ１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、分類部２２、マッピング画像生成部２３、位置合わせ部２４、変化算出部２５、および表示制御部２６として機能する。なお、医用画像表示装置１は、画像取得処理、分類処理、マッピング画像生成処理、位置合わせ処理、変化算出処理および表示制御処理をそれぞれ行う複数のプロセッサまたは処理回路を備えるものであってもよい。また、本実施形態の医用画像表示装置１は、分類部２２、マッピング画像生成部２３、位置合わせ部２４、変化算出部２５、および表示制御部２６のみから構成されるものであってもよい。また、本実施形態においては、対象領域は３次元画像に含まれる肺領域である。また、ストレージ１３および画像保管サーバ３が保存手段に対応する。
画像取得部２１は、同一被写体についての撮影時期が異なる複数の３次元画像を画像保管サーバ３から取得する。なお、３次元画像が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像を取得するようにしてもよい。本実施形態においては、経時比較観察のために、最新の３次元画像Ｖ０および最新の３次元画像Ｖ０よりも撮影時期が前の３次元画像Ｖ１を取得するものとする。
分類部２２は、３次元画像Ｖ０，Ｖ１のそれぞれに含まれる肺領域を複数種類の症例領域に分類する。なお、３次元画像Ｖ０，Ｖ１のそれぞれに対する分類処理は同一であるため、ここでは３次元画像Ｖ０に対する分類処理についてのみ説明し、３次元画像Ｖ１に対する分類処理については説明を省略する。
本実施形態においては、分類部２２は、肺領域についての複数種類の症例領域を分類できるようにディープラーニング（深層学習）がなされた多層ニューラルネットワークからなる判別器を有する。多層ニューラルネットワークでは、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して、各層において各種カーネルを用いて演算処理を行い、これにより得られる特徴量のデータを取得し、特徴量のデータに対して次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
なお、本実施形態においては、多層ニューラルネットワーク４０を３次元画像Ｖ０を入力として、肺領域の複数種類の症例領域への分類結果を出力するものとして説明するが、３次元画像Ｖ０を構成する被写体の各断層面を表す２次元の断層画像を入力とし、肺領域の複数種類の症例領域への分類結果を出力するように構成することも可能である。
図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、３次元画像Ｖ０に含まれる肺領域を、正常肺、ＧＧＯ（ground glass opacity）腫瘤結節影、Ｍｉｘｅｄ腫瘤結節影、Ｓｏｌｉｄ腫瘤結節影、すりガラス影、淡いすりガラス影、小葉中心性すりガラス影、コンソリデーション、低吸収、小葉中心性気腫、汎小葉性気腫、正常肺気腫傾向、嚢胞、ＴＩＢ（tree-in-bud appearance）、小結節（非小葉中心性）、小葉中心性小結節影、小葉間隔壁肥厚、気管支壁肥厚、気管支拡張、細気管支拡張、気管支透亮像、牽引性気管支拡張、空洞浸潤影、空洞腫瘤、網状影、微細網状影、蜂窩肺、胸水、胸膜肥厚、胸壁、心臓、横隔膜、および血管の３３種類の症例領域に分類するように学習がなされている。なお、本実施形態においては、症例領域には、肺領域内における特定の症状または特定の形態を呈する領域を含む。このため、本実施形態においては、心臓および横隔膜等の特定の形態を呈する構造物そのものの領域も症例領域に含まれるものとする。
本実施形態においては、これら３３種類の症例について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には症例が既知の３次元画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ×１．５ｃｍ）に正規化されたボクセル領域を切り出し、切り出したボクセル領域の画像を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、症例領域の分類結果を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
分類部２２は、分類のために、３次元画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、３次元画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。
分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一の領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、３３種類の症例領域に対する分類結果を表す値が出力される。多層ニューラルネットワーク４０は、入力された領域の中心画素を、多層ニューラルネットワーク４０の３３の出力のうち最も値が大きい症例領域に分類する。これにより、３次元画像Ｖ０に含まれる肺領域の全画素が３３種類の症例領域のいずれに分類される。
マッピング画像生成部２３は、分類部２２により分類された各症例領域をラベリングすることにより、３次元画像Ｖ０，Ｖ１のそれぞれに対応する、各症例領域に関する複数のマッピング画像Ｍ０，Ｍ１を生成する。なお、ここでもマッピング画像の生成は、３次元画像Ｖ０についてのみ説明し、３次元画像Ｖ１のマッピング画像の生成については説明を省略する。
マッピング画像生成部２３は、表示されたマッピング画像Ｍ０を見やすくするために、分類部２２が分類した３３種類の症例領域を８種類の症例領域に纏める。そして、マッピング画像生成部２３は、３次元画像Ｖ０に含まれる肺領域の各画素に対して、同一の分類とされた画素を抽出する。さらに、マッピング画像生成部２３は、８種類の症例領域の分類のそれぞれにおいて抽出された画素に対して同一の色を割り当てる。図４は症例領域に応じた色が割り当てられた３次元画像を示す図である。なお、図４においては、３次元画像Ｖ０におけるある断層面の断層画像を示しているが参照符号としてＶ０を示している。図４に示すように、３３種類の症例領域は、すりガラス影、正常影、気管支、蜂窩肺、網状影、コンソリデーション、低吸収域および嚢胞の８種類の症例領域に纏められ、そのそれぞれに異なる色が割り当てられている。図４においては色が異なることを模様が異なることにより示している。また、図４には、各色がいずれの症例であるかを示すレファレンス５０を示している。
マッピング画像生成部２３は、８種類に分類された症例領域について、一定以上の体積となる症例領域をラベリングして、３次元画像Ｖ０に対応する３次元のマッピング画像Ｍ０を生成する。なお、マッピング画像Ｍ０が断層画像であれば、ラベリングは一定以上の面積となる症例領域に対して行われる。
図５はマッピング画像を示す図である。なお、図５は図４に示す断層画像についてのマッピング画像を示している。なお、図５においては、説明を簡単なものとするために、すりガラス影および蜂窩肺に分類された症例領域に対してのみ、ラベリングを行っている。図５に示すように、マッピング画像Ｍ０においては、すりガラス影に分類された３つの領域にラベル１〜３のラベリングを行い、蜂窩肺に分類された１つの領域にラベル４のラベリングが行われている。
位置合わせ部２４は、３次元画像Ｖ０，Ｖ１の位置合わせを行い、この位置合わせ結果に基づいて複数のマッピング画像Ｍ０，Ｍ１の位置合わせを行う。ここで、３次元画像Ｖ０，Ｖ１は同一被写体の胸部を撮影することにより取得されたものであるが、呼吸、姿勢変化および撮影範囲等の撮影条件の変化により、含まれる構造物の位置、形状および大きさ等が異なるものとなっている。このため、位置合わせ部２４は、３次元画像Ｖ０と３次元画像Ｖ１との位置合わせを行う。なお、本実施形態では、撮影時期が古い３次元画像Ｖ１を基準として、３次元画像Ｖ１に最新の３次元画像Ｖ０の位置を合わせるものとするが、最新の３次元画像Ｖ０を基準として、３次元画像Ｖ０に撮影時期が古い３次元画像Ｖ１の位置を合わせるようにしてもよい。位置合わせの基準となる画像は、予め定められていてもよく、入力部１５からの操作者の指示により決定してもよい。また、３次元画像Ｖ０，Ｖ１とは異なる３次元画像を基準として、３次元画像Ｖ０，Ｖ１を位置合わせしてもよい。この場合、基準となる３次元画像は、操作者による入力部１５からの入力により決定すればよい。
位置合わせ部２４は、３次元画像Ｖ０と３次元画像Ｖ１との対応する画素について、３次元画像Ｖ０の各画素の３次元画像Ｖ１の対応する画素に対するシフト量および方向を算出する。そして、算出したシフト量および方向に基づいて３次元画像Ｖ０を非線形変換して、３次元画像Ｖ０を３次元画像Ｖ１に位置合わせする。なお、位置合わせの手法としてはこれに限定されるものではなく、他の任意の手法を用いることができる。例えば、特開２００２−０３２７３５号公報に記載された、２つの画像の大まかな位置合わせを行った後に、局所的な領域において位置合わせを行う手法等を用いることができる。
位置合わせ部２４は、３次元画像Ｖ０と３次元画像Ｖ１との位置合わせ結果に基づいて、マッピング画像Ｍ０，Ｍ１の位置合わせを行う。具体的には、算出したシフト量および方向に基づいてマッピング画像Ｍ０を非線形変換して、マッピング画像Ｍ０をマッピング画像Ｍ１に位置合わせする。
なお、本実施形態においては、先に３次元画像Ｖ０，Ｖ１の位置合わせを行った後に、分類処理およびマッピング画像生成処理を行うようにしてもよい。
変化算出部２５は、複数のマッピング画像Ｍ０，Ｍ１における対応する位置の症例領域について、症例領域の重心位置を算出し、複数のマッピング画像Ｍ０，Ｍ１間における重心位置の移動量および移動方向の少なくとも一方を、複数のマッピング画像Ｍ０，Ｍ１間における、分類された各症例領域の変化として算出する。本実施形態においては、重心位置の移動量および移動方向の双方を算出するものとする。このために、変化算出部２５は、マッピング画像Ｍ０，Ｍ１のそれぞれにおいて、ラベリングされた症例領域の重心位置を算出する。
図６は重心位置の算出を説明するための図である。なお、図６においては、３次元画像Ｖ０，Ｖ１に含まれる１つの断層面のマッピング画像Ｍ０，Ｍ１を示している。また、図６において、マッピング画像Ｍ１には、図５に示すラベル１〜４に対応する４つの症例領域Ａ１１〜Ａ１４が示されている。また、マッピング画像Ｍ０においては、マッピング画像Ｍ１における症例領域Ａ１３が蜂窩肺に悪化することにより、症例領域Ａ１４と一体化されて分類されている。このため、マッピング画像Ｍ０には、３つの症例領域Ａ０１，Ａ０２，Ａ０４が示されている。図６に示すように、マッピング画像Ｍ１においては、症例領域Ａ１１〜Ａ１４のそれぞれにおいて重心位置Ｇ１１〜Ｇ１４が、マッピング画像Ｍ０においては、症例領域Ａ０１，Ａ０２，Ａ０４のそれぞれにおいて重心位置Ｇ０１，Ｇ０２，Ｇ０４が算出されている。
変化算出部２５は、マッピング画像Ｍ１とマッピング画像Ｍ０とにおける対応する症例領域について、重心位置の移動量および移動方向を算出する。図７は重心位置の移動量および移動方向を示す図である。マッピング画像Ｍ１とマッピング画像Ｍ０とにおいて、ラベル１の症例領域Ａ１１と症例領域Ａ０１とが対応し、ラベル２の症例領域Ａ１２と症例領域Ａ０２とが対応し、ラベル４の症例領域Ａ１４と症例領域Ａ０４とが対応する。ラベル１の症例領域Ａ１１および症例領域Ａ０１に関しては、重心位置Ｇ１１の重心位置Ｇ０１への移動量および移動方向を算出する。ラベル２の症例領域Ａ１１および症例領域Ａ０１に関しては、重心位置Ｇ１２の重心位置Ｇ０２への移動量および移動方向を算出する。ラベル４の症例領域Ａ１４および症例領域Ａ０４に関しては、重心位置Ｇ１１の重心位置Ｇ０１への移動量および移動方向を算出する。変化算出部２５は、算出した重心位置の移動方向および移動量をベクトルとして、マッピング画像Ｍ０に付与する。図７においては、マッピング画像Ｍ０に対して、マッピング画像Ｍ１から見た症例領域Ａ０１，Ａ０２，Ａ０４の重心位置の移動量および移動方向を表すベクトルが示されている。なお、ラベル２の症例領域Ａ１２，Ａ０２については、重心位置は移動していないため、ベクトルは示されていない。
このようにベクトルが付与されたマッピング画像Ｍ０を見れば、症例領域Ａ０１に関しては、症例領域Ａ１１と比較して面積（３次元画像であれば体積）が小さくなり、重心位置が移動していることが分かる。症例領域Ａ０２に関しては症例領域Ａ１２と比較して変化がないことが分かる。症例領域Ａ０４に関しては、症例領域Ａ１４と比較して面積が大きくなり、重心位置が移動していることが分かる。
なお、本実施形態においては、変化算出部２５は、各症例領域の大きさの変化量についても変化として算出する。大きさの変化量は症例領域Ａ０１の面積（３次元画像であれば体積）と症例領域Ａ１１の面積との差分値、症例領域Ａ０２の面積と症例領域Ａ１２の面積との差分値、および症例領域Ａ０４の面積と症例領域Ａ１４の面積との差分値を算出すればよい。また、症例領域Ａ０１の面積の症例領域Ａ１１の面積からの変化率、症例領域Ａ０２の面積の症例領域Ａ１２の面積からの変化率、および症例領域Ａ０４の面積の症例領域Ａ１４の面積からの変化率を算出してもよい。
表示制御部２６は、変化算出部２５が算出した変化に関する情報をディスプレイ１４に表示する。図８は表示された変化に関する情報を示す図である。図８に示すように、ディスプレイ１４には、図７と同一のマッピング画像Ｍ０および変化に関する情報が示された表５１が表示される。また、マッピング画像Ｍ０の横には、図４に示すレファレンスが示されている。なお、図８においては、マッピング画像Ｍ０には、説明を容易とするためにすりガラス影および蜂窩肺のみについて示しているが、実際には８つの分類についてのラベリング結果が示される。マッピング画像Ｍ０には図７と同様に、マッピング画像Ｍ１から見た症例領域Ａ０１，Ａ０２，Ａ０４の重心位置の移動量および移動方向を表すベクトルが示されている。表５１には、ラベル１〜４について、症例の種類、過去画像（すなわち３次元画像Ｖ１）における面積、現在画像（すなわち３次元画像Ｖ０）における面積、面積の変化量、および症例進行状況が示されている。なお、マッピング画像Ｍ０が３次元画像であれば、表５１には面積に代えて、過去画像における体積、現在画像における体積および体積の変化量が示される。
次いで、本実施形態において行われる処理について説明する。図９は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、同一被写体についての撮影時期が異なる２つの３次元画像Ｖ０，Ｖ１を取得する（ステップＳＴ１）。次いで、分類部２２が、３次元画像Ｖ０，Ｖ１のそれぞれに含まれる肺領域を複数種類の症例領域に分類し（ステップＳＴ２）、マッピング画像生成部２３が、分類された各症例領域をラベリングすることにより、３次元画像Ｖ０，Ｖ１のそれぞれに対応する、各症例領域に関する複数のマッピング画像Ｍ０，Ｍ１を生成する（ステップＳＴ３）。
そして、位置合わせ部２４が、３次元画像Ｖ０，Ｖ１の位置合わせを行い、この位置合わせ結果に基づいてマッピング画像Ｍ０，Ｍ１の位置合わせを行う（ステップＳＴ４）。さらに、変化算出部２５が、マッピング画像Ｍ０，Ｍ１における対応する位置の症例領域について、症例領域の重心位置を算出し、マッピング画像Ｍ０，Ｍ１間における重心位置の移動量および移動方向を、並びに大きさの変化量を分類された各症例領域の変化として算出する（ステップＳＴ５）。そして、表示制御部２６が、変化に関する情報をディスプレイ１４に表示し（ステップＳＴ６）、処理を終了する。
このように、本実施形態においては、対応する位置の症例領域の重心位置の複数のマッピング画像Ｍ０，Ｍ１間における移動量および移動方向を各症例領域の変化として算出しているため、症例領域の変化を精度よく算出することができる。したがって、撮影時期が異なる複数の３次元画像Ｖ０，Ｖ１を用いた経時比較観察を精度よく行うことができる。
また、３次元画像Ｖ０，Ｖ１の位置合わせを行い、位置合わせ結果に基づいて複数のマッピング画像Ｍ０，Ｍ１の位置合わせを行うことにより、各症例領域の変化をより精度よく算出することができるため、撮影時期が異なる複数の３次元画像Ｖ０，Ｖ１を用いた経時比較観察をより精度よく行うことができる。
なお、上記実施形態においては、対応する症例領域の重心位置の移動量および移動方向、並びに大きさの変化量を変化として算出しているが、対応する症例領域の重心位置の移動量および移動方向のみを変化として算出してもよい。また、対応する症例領域の大きさの変化量のみを変化として算出してもよい。図１０は大きさの変化量として面積の変化量のみを算出した場合における表示された変化に関する情報を示す図である。図１０に示すように、ディスプレイ１４には、図４と同一のマッピング画像Ｍ０および面積の変化量を表す表５２が表示される。なお、表５２において面積の変化量として変化率が示されている。また、表５２においては、８種類の症例領域のそれぞれについて変化量が算出されている。
また、上記実施形態においては、画像保管サーバから３次元画像Ｖ０，Ｖ１を読み出し、３次元画像Ｖ０，Ｖ１の双方に対して分類、マッピング画像の生成を行っているが、過去の３次元画像については、分類結果およびマッピング画像を併せて画像保管サーバ３に保存しておき、過去の３次元画像を読み出す際に、分類結果およびマッピング画像を合わせて読み出すようにしてもよい。これにより、過去の３次元画像について分類処理およびマッピング画像生成処理を行う必要が無くなるため、処理を迅速に行うことができる。
また、上記実施形態においてはストレージ１３または画像保管サーバ３に、複数の被写体についての、各症例領域の変化に関する情報を保存しておくようにしてもよい。この場合、表示制御部２６が、表示の対象となる被写体と異なる被写体についての、各症例領域の変化に関する情報を取得し、取得した変化に関する情報をさらに表示してもよい。これにより、取得した変化に関する情報に基づいて、被写体に含まれる各症例領域が、今後どのように変化するかを予測することができる。
以下、本実施形態の作用効果について説明する。
複数の医用画像の位置合わせを行い、位置合わせ結果に基づいて複数のマッピング画像の位置合わせを行うことにより、各症例領域の変化をより精度よく算出することができるため、撮影時期が異なる複数の医用画像を用いた経時比較観察をより精度よく行うことができる。
複数の被写体についての、各症例領域の変化に関する情報を保存しておき、表示の対象となる被写体と異なる被写体についての、各症例領域の変化に関する情報を取得し、取得した変化に関する情報をさらに表示することにより、取得した変化に関する情報に基づいて、被写体の症例領域が、今後どのように変化するかを予測することができる。
１ 医用画像表示装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２１ 画像取得部
２２ 分類部
２３ マッピング画像生成部
２４ 位置合わせ部
２５ 変化算出部
２６ 表示制御部
２７ 学習部
４０ 多層ニューラルネットワーク
４１ 入力層
４２ 出力層
５０ レファレンス
５１，５２ 表
Ａ０１，Ａ０２，Ａ０４，Ａ１１〜Ａ１４ 症例領域
Ｇ０１，Ｇ０２，Ｇ０４，Ｇ１１〜Ｇ１４ 重心位置
Ｍ０，Ｍ１ マッピング画像
Ｖ０，Ｖ１ ３次元画像

Claims (11)

  1. 同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類する分類手段と、
    前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する、前記各症例領域に関するマッピング画像を生成するマッピング画像生成手段と、
    前記複数のマッピング画像における対応する位置の症例領域について、該対応する位置の症例領域の重心位置を算出し、前記複数のマッピング画像間における前記重心位置の移動量および移動方向の少なくとも一方を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出する変化算出手段と、
    前記変化に関する情報を表示手段に表示する表示制御手段とを備えたことを特徴とする医用画像表示装置。
  2. 前記変化算出手段は、前記複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、さらに前記変化として算出する請求項１記載の医用画像表示装置。
  3. 同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類する分類手段と、
    前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する複数のマッピング画像を生成するマッピング画像生成手段と、
    前記複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出する変化算出手段と、
    前記変化に関する情報を表示手段に表示する表示制御手段とを備えたことを特徴とする医用画像表示装置。
  4. 前記複数の医用画像の位置合わせを行い、該位置合わせ結果に基づいて前記複数のマッピング画像の位置合わせを行う位置合わせ手段をさらに備えた請求項１から３のいずれか１項記載の医用画像表示装置。
  5. 前記位置合わせ手段は、前記複数の医用画像のうち、撮影時期が最も古い医用画像に該最も古い医用画像以外の医用画像の位置を合わせる第１の位置合わせ、前記撮影時期が最も新しい医用画像に該最も新しい医用画像以外の医用画像の位置を合わせる第２の位置合わせ、および指定された医用画像に該指定された医用画像以外の医用画像の位置を合わせる第３の位置合わせのうちの、指定された位置合わせを行う請求項４記載の医用画像表示装置。
  6. 前記分類手段は、前記複数種類の症例を分類するようにディープラーニングがなされた判別器を有し、該判別器により前記対象領域を複数種類の症例領域に分類する請求項１から５のいずれか１項記載の医用画像表示装置。
  7. 複数の被写体についての、前記各症例領域の変化に関する情報を保存する保存手段をさらに備え、
    前記表示制御手段は、表示の対象となる被写体と異なる被写体についての、前記各症例領域の変化に関する情報を前記保存手段から取得し、該取得した変化に関する情報をさらに表示する請求項１から６のいずれか１項記載の医用画像表示装置。
  8. 同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類し、
    前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する、前記各症例領域に関するマッピング画像を生成し、
    前記複数のマッピング画像における対応する位置の症例領域について、該対応する位置の症例領域の重心位置を算出し、前記複数のマッピング画像間における前記重心位置の移動量および移動方向の少なくとも一方を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出し、
    前記変化に関する情報を表示手段に表示することを特徴とする医用画像表示方法。
  9. 同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類し、
    前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する複数のマッピング画像を生成し、
    前記複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出し、
    前記変化に関する情報を表示手段に表示することを特徴とする医用画像表示方法。
  10. 同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を、複数種類の症例領域に分類する手順と、
    前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する、前記各症例領域に関するマッピング画像を生成する手順と、
    前記複数のマッピング画像における対応する位置の症例領域について、該対応する位置の症例領域の重心位置を算出し、前記複数のマッピング画像間における前記重心位置の移動量および移動方向の少なくとも一方を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出する手順と、
    前記変化に関する情報を表示手段に表示する手順とをコンピュータに実行させることを特徴とする医用画像表示プログラム。
  11. 同一被写体についての撮影時期が異なる複数の医用画像のそれぞれに含まれる対象領域を複数種類の症例領域に分類する手順と、
    前記各症例領域をラベリングすることにより、前記複数の医用画像のそれぞれに対応する複数のマッピング画像を生成する手順と、
    前記複数のマッピング画像における対応する位置の症例領域の大きさの変化量を、前記複数のマッピング画像間における、前記分類された各症例領域の変化として算出する手順と、
    前記変化に関する情報を表示手段に表示する手順とをコンピュータに実行させることを特徴とする医用画像表示プログラム。
JP2017077361A 2017-04-10 2017-04-10 医用画像表示装置、方法およびプログラム Pending JP2018175227A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017077361A JP2018175227A (ja) 2017-04-10 2017-04-10 医用画像表示装置、方法およびプログラム
US15/943,002 US10980493B2 (en) 2017-04-10 2018-04-02 Medical image display device, method, and program
DE102018108153.7A DE102018108153A1 (de) 2017-04-10 2018-04-06 Medizinische Bilddisplayvorrichtung, medizinisches Bilddisplayverfahren und -programm
JP2021051497A JP7225295B2 (ja) 2017-04-10 2021-03-25 医用画像表示装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017077361A JP2018175227A (ja) 2017-04-10 2017-04-10 医用画像表示装置、方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021051497A Division JP7225295B2 (ja) 2017-04-10 2021-03-25 医用画像表示装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018175227A true JP2018175227A (ja) 2018-11-15
JP2018175227A5 JP2018175227A5 (ja) 2019-09-19

Family

ID=63588157

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017077361A Pending JP2018175227A (ja) 2017-04-10 2017-04-10 医用画像表示装置、方法およびプログラム
JP2021051497A Active JP7225295B2 (ja) 2017-04-10 2021-03-25 医用画像表示装置、方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021051497A Active JP7225295B2 (ja) 2017-04-10 2021-03-25 医用画像表示装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US10980493B2 (ja)
JP (2) JP2018175227A (ja)
DE (1) DE102018108153A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020167042A1 (ko) * 2019-02-15 2020-08-20 주식회사 메디트 스캔 과정 재생 방법
JP2020126598A (ja) * 2018-12-27 2020-08-20 ゼネラル・エレクトリック・カンパニイ 人工知能の検出出力から疾患の進行を決定するシステムおよび方法
WO2020170533A1 (ja) * 2019-02-21 2020-08-27 畑中廣美 医用画像にａｉの判断で進行度合いを表示する計測方法
JP2020174861A (ja) * 2019-04-17 2020-10-29 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2021060461A1 (ja) * 2019-09-25 2021-04-01 富士フイルム株式会社 画像処理装置、方法およびプログラム
WO2021070527A1 (ja) * 2019-10-07 2021-04-15 富士フイルム株式会社 画像処理装置、方法およびプログラム
WO2021080024A3 (ja) * 2019-10-25 2021-06-17 直己 岡田 重症度評価装置及びモデル生成装置
JP2021106887A (ja) * 2017-04-10 2021-07-29 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
WO2021167080A1 (ja) * 2020-02-20 2021-08-26 富士フイルム株式会社 情報処理装置、方法およびプログラム
JP2021176424A (ja) * 2020-05-08 2021-11-11 コニカミノルタ株式会社 医療診断支援装置、医療診断支援プログラム、および医療診断支援方法
WO2021246013A1 (ja) * 2020-06-03 2021-12-09 株式会社日立ハイテク 画像診断方法、画像診断支援装置、及び計算機システム
JP7387340B2 (ja) 2019-08-30 2023-11-28 株式会社 資生堂 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム
JP7413147B2 (ja) 2020-05-21 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7426712B2 (ja) 2020-06-16 2024-02-02 国立大学法人旭川医科大学 画像処理装置、画像処理方法、およびプログラム
US11941802B2 (en) 2020-03-31 2024-03-26 Alibaba Group Holding Limited Data processing method, means and system
JP7463538B2 (ja) 2020-09-28 2024-04-08 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、並びに学習済みモデル
JP7472621B2 (ja) 2020-04-21 2024-04-23 富士通株式会社 医用画像経時比較プログラム、医用画像経時比較方法及び医用画像経時比較システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201716890D0 (en) * 2017-10-13 2017-11-29 Optellum Ltd System, method and apparatus for assisting a determination of medical images
WO2020095909A1 (ja) * 2018-11-07 2020-05-14 株式会社 東芝 画像処理装置、画像処理方法及びプログラム
JP7098835B2 (ja) * 2019-05-28 2022-07-11 富士フイルム株式会社 マッチング装置、方法およびプログラム
JP7410619B2 (ja) * 2019-10-31 2024-01-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN113034434B (zh) * 2021-02-03 2022-09-02 深圳市第三人民医院(深圳市肝病研究所) 一种预测covid-19严重程度的多因素人工智能分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046594A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像診断支援装置
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
JP2009045121A (ja) * 2007-08-14 2009-03-05 Fujifilm Corp 医用画像処理システム、医用画像処理方法、及びプログラム
US20100091035A1 (en) * 2008-10-15 2010-04-15 Siemens Corporation Combined Segmentation And Registration Framework For Parametric Shapes
WO2010082246A1 (ja) * 2009-01-14 2010-07-22 キヤノン株式会社 情報処理装置および情報処理方法
JP2013198817A (ja) * 2013-07-10 2013-10-03 Canon Inc 情報処理装置、情報処理方法、プログラムおよび記憶媒体
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5148100A (ja) 1974-10-22 1976-04-24 Tokyo Shibaura Electric Co Kitaihaikibutsushorikeino dorenhaishutsusochi
JP3577680B2 (ja) 1995-04-27 2004-10-13 コニカミノルタホールディングス株式会社 画像処理装置
JP4294881B2 (ja) 2000-05-12 2009-07-15 富士フイルム株式会社 画像の位置合わせ方法および装置
WO2005117712A1 (ja) * 2004-06-03 2005-12-15 Hitachi Medical Corporation 画像診断支援方法及び画像診断支援装置
US20070127793A1 (en) * 2005-11-23 2007-06-07 Beckett Bob L Real-time interactive data analysis management tool
JP5566567B2 (ja) * 2007-03-14 2014-08-06 株式会社東芝 医用画像表示装置、医用画像表示方法及び医用画像診断装置
JP5661453B2 (ja) * 2010-02-04 2015-01-28 株式会社東芝 画像処理装置、超音波診断装置、及び画像処理方法
US9949701B2 (en) * 2013-02-14 2018-04-24 Siemens Aktiengesellschaft Registration for tracked medical tools and X-ray systems
US20160007972A1 (en) * 2013-03-25 2016-01-14 Hitachi Aloka Medical, Ltd. Ultrasonic imaging apparatus and ultrasound image display method
KR20160020917A (ko) * 2014-08-14 2016-02-24 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
US10748661B2 (en) * 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
KR102314650B1 (ko) * 2014-11-28 2021-10-19 삼성전자주식회사 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법
JP2017077361A (ja) * 2015-10-20 2017-04-27 雪印メグミルク株式会社 容器
US20180344161A1 (en) * 2015-11-12 2018-12-06 Koninklijke Philips N.V. Medical instrument for analysis of white matter brain lesions
CN108289651B (zh) * 2015-11-25 2019-07-12 皇家飞利浦有限公司 用于跟踪身体部位中的超声探头的系统
US20170215967A1 (en) * 2016-02-03 2017-08-03 William B. Spath Implant recommendation system and method
EP3549100B1 (en) * 2016-11-29 2021-03-03 Koninklijke Philips N.V. Heart segmentation methodology for cardiac motion correction
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
EP3622526A1 (en) * 2017-05-09 2020-03-18 Baxter International Inc. Parenteral nutrition diagnostic system, apparatus, and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046594A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像診断支援装置
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
JP2009045121A (ja) * 2007-08-14 2009-03-05 Fujifilm Corp 医用画像処理システム、医用画像処理方法、及びプログラム
US20100091035A1 (en) * 2008-10-15 2010-04-15 Siemens Corporation Combined Segmentation And Registration Framework For Parametric Shapes
WO2010082246A1 (ja) * 2009-01-14 2010-07-22 キヤノン株式会社 情報処理装置および情報処理方法
JP2013198817A (ja) * 2013-07-10 2013-10-03 Canon Inc 情報処理装置、情報処理方法、プログラムおよび記憶媒体
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
大沢 哲 他４名: ""医師の思考を効果的にサポートする類似症例検索システム「SYNAPSE Case Match」の開発と商用化"", MEDICAL IMAGING TECHNOLOGY, vol. 32, no. 1, JPN6021001195, 2014, pages 26 - 31, ISSN: 0004427965 *
放射線科ポータル RAD FAN ONLINE: ""富士フイルム、類似症例検索システム「SYNAPSE Case Match]に、「びまん性肺疾患」の症例検索機能を新た", ［オンライン］, vol. [令和３年１月６日検索], JPN6021001196, 27 February 2017 (2017-02-27), ISSN: 0004427966 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7225295B2 (ja) 2017-04-10 2023-02-20 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP2021106887A (ja) * 2017-04-10 2021-07-29 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP7187430B2 (ja) 2018-12-27 2022-12-12 ゼネラル・エレクトリック・カンパニイ 人工知能の検出出力から疾患の進行を決定するシステムおよび方法
JP2020126598A (ja) * 2018-12-27 2020-08-20 ゼネラル・エレクトリック・カンパニイ 人工知能の検出出力から疾患の進行を決定するシステムおよび方法
WO2020167042A1 (ko) * 2019-02-15 2020-08-20 주식회사 메디트 스캔 과정 재생 방법
WO2020170533A1 (ja) * 2019-02-21 2020-08-27 畑中廣美 医用画像にａｉの判断で進行度合いを表示する計測方法
JP2020135515A (ja) * 2019-02-21 2020-08-31 廣美 畑中 医用画像にａｉの判断で進行度合いを表示する測計方法。
JP2020174861A (ja) * 2019-04-17 2020-10-29 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7387340B2 (ja) 2019-08-30 2023-11-28 株式会社 資生堂 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム
WO2021060461A1 (ja) * 2019-09-25 2021-04-01 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP7288070B2 (ja) 2019-10-07 2023-06-06 富士フイルム株式会社 画像処理装置、方法およびプログラム
WO2021070527A1 (ja) * 2019-10-07 2021-04-15 富士フイルム株式会社 画像処理装置、方法およびプログラム
WO2021080024A3 (ja) * 2019-10-25 2021-06-17 直己 岡田 重症度評価装置及びモデル生成装置
WO2021167080A1 (ja) * 2020-02-20 2021-08-26 富士フイルム株式会社 情報処理装置、方法およびプログラム
JP7420913B2 (ja) 2020-02-20 2024-01-23 富士フイルム株式会社 情報処理装置、方法およびプログラム
US11941802B2 (en) 2020-03-31 2024-03-26 Alibaba Group Holding Limited Data processing method, means and system
JP7472621B2 (ja) 2020-04-21 2024-04-23 富士通株式会社 医用画像経時比較プログラム、医用画像経時比較方法及び医用画像経時比較システム
JP2021176424A (ja) * 2020-05-08 2021-11-11 コニカミノルタ株式会社 医療診断支援装置、医療診断支援プログラム、および医療診断支援方法
JP7413147B2 (ja) 2020-05-21 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2021246013A1 (ja) * 2020-06-03 2021-12-09 株式会社日立ハイテク 画像診断方法、画像診断支援装置、及び計算機システム
JP7426712B2 (ja) 2020-06-16 2024-02-02 国立大学法人旭川医科大学 画像処理装置、画像処理方法、およびプログラム
JP7463538B2 (ja) 2020-09-28 2024-04-08 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、並びに学習済みモデル

Also Published As

Publication number Publication date
JP2021106887A (ja) 2021-07-29
JP7225295B2 (ja) 2023-02-20
US10980493B2 (en) 2021-04-20
US20180289336A1 (en) 2018-10-11
DE102018108153A1 (de) 2018-10-11

Similar Documents

Publication Publication Date Title
JP7225295B2 (ja) 医用画像表示装置、方法およびプログラム
JP6525912B2 (ja) 画像分類装置、方法およびプログラム
JP6906347B2 (ja) 医用画像分類装置、方法およびプログラム
JP6807820B2 (ja) 画像検索装置、方法およびプログラム
US11364002B2 (en) Medical-image processing apparatus and medical-image diagnostic apparatus
US11941812B2 (en) Diagnosis support apparatus and X-ray CT apparatus
JP2009502230A (ja) 医用画像における傷病部位の検知
US10219767B2 (en) Classification of a health state of tissue of interest based on longitudinal features
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
JP7004829B2 (ja) 類似度決定装置、方法およびプログラム
US11756673B2 (en) Medical information processing apparatus and medical information processing method
JP7034306B2 (ja) 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
JP2023114463A (ja) 表示装置、方法およびプログラム
US20230169647A1 (en) Information processing apparatus, information processing method, and information processing system
WO2022187768A1 (en) System and methods for inferring thickness of object classes of interest in two-dimensional medical images using deep neural networks
JP6653765B2 (ja) 画像解析装置、方法およびプログラム
WO2020044736A1 (ja) 類似度決定装置、方法およびプログラム
JPWO2019150717A1 (ja) 葉間膜表示装置、方法およびプログラム
WO2022054541A1 (ja) 画像処理装置、方法およびプログラム
JP7170868B2 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
JP6765396B2 (ja) 医用画像処理装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
WO2020241857A1 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US20220044052A1 (en) Matching apparatus, matching method, and matching program
JP2023092327A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200929

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210119