JP2017023551A - 画像処理プログラム、画像処理装置及び画像処理方法 - Google Patents

画像処理プログラム、画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2017023551A
JP2017023551A JP2015147040A JP2015147040A JP2017023551A JP 2017023551 A JP2017023551 A JP 2017023551A JP 2015147040 A JP2015147040 A JP 2015147040A JP 2015147040 A JP2015147040 A JP 2015147040A JP 2017023551 A JP2017023551 A JP 2017023551A
Authority
JP
Japan
Prior art keywords
image
region
image processing
change
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015147040A
Other languages
English (en)
Other versions
JP6565422B2 (ja
Inventor
正樹 石原
Masaki Ishihara
正樹 石原
馬場 孝之
Takayuki Baba
孝之 馬場
上原 祐介
Yusuke Uehara
祐介 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015147040A priority Critical patent/JP6565422B2/ja
Priority to US15/215,049 priority patent/US10039514B2/en
Priority to CN201610580655.XA priority patent/CN106384342B/zh
Publication of JP2017023551A publication Critical patent/JP2017023551A/ja
Application granted granted Critical
Publication of JP6565422B2 publication Critical patent/JP6565422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/100764D tomography; Time-sequential 3D tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)

Abstract

【課題】 呼吸や心拍の影響で変形している肺の画像において、腫瘍で潰れた肺胞の影響により集束している箇所を医師が判断する際の負荷を軽減することを目的とする。【解決手段】 画像処理プログラムは、異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを比べて、複数の箇所における位置の変化が、所定の位置に向かっていると見做せる変化であれば、当該変化があったことを通知する、処理をコンピュータに実行させることを特徴とする。【選択図】図16

Description

本発明は、画像処理プログラム、画像処理装置及び画像処理方法に関する。
医療の現場では、医師が、異なる時期に撮影されたCT(Computed Tomography)画像を用いて、病気の箇所あるいは病気の疑いがある箇所を比較し、患者の病気の判断を行っている。
特開2013−141603号公報
ところで、肺に腫瘍(例えば腺癌)がある患者の場合、腫瘍により肺胞が潰され、その潰れた箇所に集束するように、血管などの周りの部位が移動する。CT画像においては、腫瘍の部分や血管の部分は白く表示されるが、肺は患者の呼吸や心拍の影響で変形することから、肺を撮影したCT画像に基づいて腫瘍の有無や血管の移動の有無等を見つけることは、経験の高い医師でなければ難しい。
一つの側面では、呼吸や心拍の影響で変形している肺の画像において、腫瘍で潰れた肺胞の影響により集束している箇所を医師が判断する際の負荷を軽減することを目的とする。
一態様によれば、画像処理プログラムは、
異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを比べて、複数の箇所における位置の変化が、所定の位置に向かっていると見做せる変化であれば、当該変化があったことを通知する、処理をコンピュータに実行させることを特徴とする。
呼吸や心拍の影響で変形している肺の画像において、腫瘍で潰れた肺胞の影響により集束している箇所を医師が判断する際の負荷を軽減することができる。
CT画像撮影システムの一例を示す図である。 画像処理装置のハードウェア構成を示す図である。 画像処理装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す図である。 画像処理装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す図である。 画像DBに格納される情報の一例を示す図である。 比較元CT画像に対する比較先CT画像の局所的な位置の変動の要因を示した図である。 腫瘍の変化に基づく位置の変動を更に詳細に説明するための図である。 代表ベクトルの算出処理及び対応領域の算出処理を説明するための図である。 非剛体変形の影響を含む代表ベクトルを用いて局所的位置合わせが行われた画像を示す図である。 第2のレジストレーション部の機能構成を示す図である。 集束領域判定部の処理内容を示す図である。 集束領域があると判定された場合の代表ベクトルの算出方法を示す図である。 集束領域がないと判定された場合の代表ベクトルの算出方法を示す図である。 非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得た画像を示す図である。 画像加工部により実行される画像加工処理の具体例を説明するための図である。 第2のレジストレーション部により実行される処理の第1のフローチャートである。 集束領域判定処理のフローチャートである。 局所的位置合わせ処理のフローチャートである。 経時変化に基づく画像加工処理のフローチャートである。 画像処理装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す第2の図である。 第2のレジストレーション部により実行される処理の第2のフローチャートである。 ROI候補を用いて比較元CT画像を走査し、ROIを決定する処理を説明するための図である。 第2のレジストレーション部により実行される処理の第3のフローチャートである。 第2のレジストレーション部により実行される処理の第3のフローチャートである。 画像処理装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す第3の図である。 表示制御部により拡大表示画面の画像の表示態様が変更される様子を示した図である。 表示制御部により実行される処理のフローチャートである。
以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
はじめに、第1の実施形態に係る画像処理装置を含むCT(Computed Tomography)画像撮影システムについて説明する。図1は、CT画像撮影システムの一例を示す図である。
CT画像撮影システム100は、CT装置110と画像処理装置120と画像データベース(以下、データベースをDBと略す)130とを有する。CT装置110と画像処理装置120とは電気的に接続されており、両装置の間ではデータの送受信が行われる。また、画像処理装置120と画像DB130も電気的に接続されており、両装置の間においてもデータの送受信が行われる。
CT装置110は、放射線等を利用して患者の体内を走査し、コンピュータを用いて処理することで、患者のスライス画像であるCT画像を生成する(以下、このような処理を"CT画像を撮影する"と称する)。CT装置110は、撮影したCT画像を画像処理装置120に送信する。
画像処理装置120は、CT装置110において撮影されたCT画像を、接続された画像DB130に格納する。また、画像処理装置120は、CT装置110において撮影されたCT画像を処理し、医師等の医療従事者に対して表示する。なお、画像処理装置120は、インストールされた画像処理プログラムの一例である診断支援プログラムがコンピュータにより実行されることで診断支援部140として機能することで、これらの処理を行う。
画像DB130は、CT装置110において撮影されたCT画像を、画像処理装置120を介して受信し、同じ時期に撮影された複数のCT画像(撮像群)ごとにわけて格納する。
診断支援部140は、CT装置110において撮影され、画像DB130に格納されたCT画像に基づいて、医療従事者が患者の診断を行う際に利用する機能である。診断支援部140は、例えば異なる時期に撮影されたCT画像を、医療従事者が比べながら診断できるように並列に表示する。なお、以下では、並列に表示されたCT画像のうち、一方(例えば所定期間経過前に撮影されたCT画像)を"比較元CT画像"と称し、他方(例えば所定期間経過後に撮影されたCT画像)を"比較先CT画像"と称する。
診断支援部140は、比較元CT画像内において医療従事者により指定された位置を含む所定領域(ROI:Region of interest)の画像を拡大表示画面に拡大表示する。また、診断支援部140は、指定された位置を含む所定領域に対応する対応領域の画像を比較先CT画像より抽出し、拡大表示画面に拡大表示する。このように、診断支援部140によれば、指定された位置を含む所定領域の画像と、対応領域の画像とが自動的に拡大表示されるため、医療従事者にとっては、診断の負荷を軽減できるとともに、拡大表示する操作の手間を省くことができる。
なお、診断支援部140は、これらの処理を実行するために、第1のレジストレーション部141と、第2のレジストレーション部142と、表示制御部143とを有する。
第1のレジストレーション部141は、例えば、第1のレジストレーションプログラムがコンピュータにより実行されることで実現される。第1のレジストレーション部141は、異なる時期に撮影されたCT画像を並列に表示する際に、各CT画像間の位置ずれをアフィン変換により補正することで、各CT画像間の大域的位置合わせを行う。
第2のレジストレーション部142は、例えば、第2のレジストレーションプログラムがコンピュータにより実行されることで実現される。第2のレジストレーション部142は、医療従事者により指定された位置を含む所定領域の画像が拡大表示された場合に、比較先CT画像において変換処理を行うことで局所的位置合わせを行い、比較先CT画像より、対応領域の画像を抽出する。
これにより、第2のレジストレーション部142では、対応領域の画像を表示制御部143に通知することができる。なお、変換処理には種々の処理が含まれるが、本実施形態において変換処理とは、平行移動を指すものとし、変換処理を行うことで比較先CT画像より抽出された対応領域の画像を、"局所的位置合わせが行われた画像"と称する。
更に、第2のレジストレーション部142は、医療従事者から画像加工の指示があった場合には、対応領域の画像について、腫瘍に関する医療従事者による適切な診断を促進するための画像加工処理を行う。
これにより、第2のレジストレーション部142では、画像加工処理が行われた対応領域の画像を表示制御部143に通知することができる。
表示制御部143は、例えば、表示プログラムがコンピュータにより実行されることで実現される。表示制御部143は、医療従事者により選択された比較元CT画像を表示するとともに、医療従事者により指定された位置を含む所定領域を拡大表示画面に拡大表示する。また、表示制御部143は、第2のレジストレーション部142により通知された、局所的位置合わせが行われた画像(画像加工処理が行われた場合にあっては、画像加工処理済みの画像)を拡大表示画面に拡大表示する。
次に、画像処理装置120のハードウェア構成について説明する。図2は、画像処理装置のハードウェア構成を示す図である。図2に示すように、画像処理装置120は、CPU201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を備える。また、画像処理装置120は、補助記憶部204、接続部205、表示部206、操作部207、ドライブ部208を備える。なお、画像処理装置120の各部は、バス209を介して相互に接続されている。
CPU201は、補助記憶部204に格納された各種プログラム(例えば、第1のレジストレーションプログラム、第2のレジストレーションプログラム、表示プログラム等)を実行するコンピュータである。
ROM202は不揮発性メモリである。ROM202は、補助記憶部204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。
RAM203は揮発性メモリであり、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等を含む。RAM203は、補助記憶部204に格納された各種プログラムがCPU201によって実行される際に展開される、作業領域を提供する主記憶部である。
補助記憶部204は、画像処理装置120にインストールされた各種プログラムや、各種プログラムが実行されることで生成されるデータ等を記録するコンピュータ読み取り可能な記憶装置である。
接続部205は、CT装置110及び画像DB130と接続され、CT装置110及び画像DB130との間で、データの送受信を行う。表示部206は、CT装置110において撮影され画像DB130に格納されたCT画像を並列表示画面により表示する。操作部207は、医療従事者が画像処理装置120に対して行う各種操作を受け付ける。
ドライブ部208は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。
なお、本実施形態において、補助記憶部204に格納される各種プログラムは、例えば、配布された記録媒体210がドライブ部208にセットされ、該記録媒体210に記録された各種プログラムがドライブ部208により読み出されることでインストールされる。あるいは、接続部205を介してネットワークからダウンロードされることでインストールされる。
次に、画像処理装置120の診断支援部140の処理内容と、診断支援部140により処理が実行される際の医療従事者の操作内容ならびに画像処理装置120の表示部206に表示される並列表示画面との関係について説明する。
図3及び図4は、画像処理装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す図である。
画像処理装置120において診断支援部140が起動すると、表示制御部143による処理が開始され、表示部206には、図3に示すように異なる時期に撮影されたCT画像を並列して表示させるための並列表示画面300が表示される。並列表示画面300が表示された状態で、医療従事者は、所定の患者について所定の時期に撮影された所定の部位(ここでは肺)の撮像群を比較元CT画像群として選択する。これにより、表示制御部143では、画像DB130より、選択された比較元CT画像群を読み出す。更に、選択された比較元CT画像群の中から、医療従事者により所定の比較元CT画像(ここではファイル名="ImageA015")が指定されると、表示制御部143は、指定された比較元CT画像を並列表示画面300に表示する。
医療従事者は、指定した比較元CT画像と比較すべく、異なる時期に撮影された同一患者の同一部位の撮像群を比較先CT画像群として選択する。具体的には、患者IDや撮影日時、撮影部位(ここでは肺)等を入力して選択する。これにより、表示制御部143は、入力された患者名、撮影日時、撮影部位等により特定される撮像群を比較先CT画像群として、画像DB130より読み出す。更に、表示制御部143は、読み出した比較先CT画像群の中から、並列表示画面300に表示されている比較元CT画像に対応する比較先CT画像(ここではファイル名="ImageB018")を読み出し、並列表示画面300に表示する。
このとき、診断支援部140では第1のレジストレーション部141が機能し、読み出したCT画像に対して、回転や平行移動等のアフィン変換を用いて補正を行うことで大域的位置合わせを行う。CT画像全体に対して大域的位置合わせが行われることで、比較元CT画像と比較先CT画像との間の大域的な位置ずれが解消される。
大域的位置合わせが完了すると、図4に示すように、医療従事者は、表示された比較元CT画像において腫瘍部分Fの位置を指定する。これにより、表示制御部143は、指定された腫瘍部分Fの位置を含む所定領域(ROI:Region of interest)401の画像を、比較元CT画像上の拡大表示画面に拡大表示する。また、このとき、医療従事者は、あわせて、画像加工を行うか否かを指示する。
所定領域(ROI)401の画像が拡大表示されると、第2のレジストレーション部142では、比較先CT画像の一部の領域に対して局所的位置合わせを行う。これにより、第2のレジストレーション部142では、腫瘍部分Fに対応する腫瘍部分F'の位置を含む対応領域402の画像(局所的位置合わせが行われた画像)を抽出する。なお、第2のレジストレーション部142は、局所的位置合わせを行うにあたり集束判定(詳細は後述)を行う。
また、第2のレジストレーション部142は、局所的位置合わせが行われることで得た対応領域402の画像について、医療従事者により画像加工の指示があった場合に画像加工処理(詳細は後述)を行う。
また、第2のレジストレーション部142は、局所的位置合わせが行われることで得た対応領域402の画像(画像加工処理が実行されている場合にあっては、画像加工処理後の画像)を、表示制御部143に通知する。
表示制御部143は、第2のレジストレーション部142より通知された対応領域402の画像(画像加工処理が実行されている場合にあっては画像加工処理後の画像)を、比較先CT画像上の拡大表示画面に拡大表示する。これにより、局所的位置合わせが行われ、かつ、画像加工が行われた画像を表示することができる。
このように、画像処理装置120によれば、比較元CT画像において医療従事者により腫瘍部分Fの位置が指定された場合に、所定領域401の画像を拡大表示することができる。また、所定領域401の画像に基づいて、局所的位置合わせを行うことで比較先CT画像より対応領域402の画像を抽出し、腫瘍に関する医療従事者による適切な診断を促進するための画像加工を施したうえで、拡大表示画面に拡大表示することができる。
これにより、医療従事者は、異なる時期に撮影された撮像群に含まれる各CT画像間の対応領域を容易に把握することができるようになるとともに、腫瘍に関する適切な診断を行うことができるようになる。
次に、画像DB130について説明する。図5は、画像DBに格納される情報の一例を示す図である。図5に示すように、画像DB130に格納される情報は患者ごとに分類されて管理されており、図5は患者ID="xxx"の患者についての情報の一例を示している。
図5に示すように、患者の情報の項目には、"撮影日時"、"撮影部位"、"シリーズ名"、"撮像群"が含まれる。"撮影日時"には、CT画像を撮影した日時についての情報が格納される。"撮影部位"には、撮影対象の部位についての情報が格納される。"シリーズ名"には、撮影により得られた複数のCT画像からなるシリーズを特定するためのシリーズ名が格納される。"撮像群"には、撮影により得られた複数のCT画像(ファイル名)が格納される。
図5の例は、撮影日時="H26.2.5"に撮影部位="肺"について撮影が行われることで得られた、ImageA001〜ImageA030のCT画像を含むシリーズ名="シリーズA"のシリーズが画像DB130に格納されていることを示している。また、撮影日時="H26.8.3"に撮影部位="肺"について撮影が行われることで得られた、ImageB001〜ImageB030のCT画像を含むシリーズ名="シリーズB"のシリーズが画像DB130に格納されていることを示している。
なお、図5中の点線は、"ImageA015"のCT画像が比較元CT画像として医療従事者により選択されたことを示している。また、"ImageB018"のCT画像が比較先CT画像として医療従事者により選択されたことを示している。
次に、診断支援部140の各部について説明する。なお、以下では、主に第2のレジストレーション部142について説明する。
上述したとおり、大域的位置合わせが完了した時点では、比較元CT画像と比較先CT画像との間では全体的な位置の変動が補正されている一方で、局所的な位置の変動は残されている。このため、医療従事者により指定された腫瘍部分Fの位置を含む所定領域401に対応する対応領域402の画像を拡大表示するにあたり、第2のレジストレーション部142では、まず、比較元CT画像に対する比較先CT画像の局所的な位置の変動を求める。そして、求めた変動に応じて、比較先CT画像において平行移動による変換処理を行うことで、局所的位置合わせを行う。これにより、第2のレジストレーション部142は、対応領域402の画像を抽出することができる。
ここで、撮影部位="肺"の場合、局所的な位置の変動が生じる主な要因として、2つの要因(呼吸・心拍に基づくものと、腫瘍の変化(経時変化)に基づくもの)が挙げられる。図6は、比較元CT画像に対する比較先CT画像の局所的な位置の変動の要因を示した図である。
図6に示すように局所的な位置の変動が生じると、比較元CT画像における所定領域401と同じ座標を有する比較先CT画像上の領域には、例えば、画像610が表示されることになる。
図6において、比較元CT画像における所定領域401の画像600と、所定領域401と同じ座標を有する比較先CT画像上の領域の画像610とを対比すると、局所的な位置の変動により、血管の位置や腫瘍の位置が大きくずれていることがわかる。図6において、太線は血管601〜603、611〜613を示しており、網掛け領域は腫瘍部分F、F'を示している。
なお、呼吸・心拍に基づく位置の変動とは、例えば、呼吸時の横隔膜の動きに伴う位置の変動をいう。患者が息を吐く場合と息を吸う場合とでは横隔膜の位置が変動するため、これに伴って肺の各部の位置が変動する。つまり、比較元CT画像と比較先CT画像との間には、撮影時の患者の呼吸の状態が完全に一致している場合を除き、呼吸・心拍に基づく局所的な位置の変動が含まれうる。
なお、呼吸・心拍に基づく位置の変動は、例えば身体全体に対して非剛体変形であるが、所定領域401が肺内の一部であることから、所定領域401全体が所定方向に平行移動するものである。したがって、剛体運動と見做すことができる。
一方、腫瘍の変化に基づく位置の変動とは、腺癌等のような悪性腫瘍が、肺胞を破壊しながら増殖し、肺胞が保っていた空気の分だけ肺胞の容積が減少することで生じる(つまり、腫瘍で生じた集束に伴う)位置の変動をいう。
第2のレジストレーション部142では、これら2つの要因に基づく位置の変動のうち、腫瘍の変化(経時変化)に基づく位置の変動分を差し引くことで、呼吸・心拍に基づく位置の変動分を抽出する。そして、第2のレジストレーション部142では、呼吸・心拍に基づく位置の変動分に基づいて局所的位置合わせを行う。
ここで、腫瘍の変化(経時変化)について図7を用いて更に詳説する。図7は、腫瘍の変化に基づく位置の変動を更に詳細に説明するための図である。
図7(a)は、腺癌等の悪性腫瘍が腫瘍中心点Oに示す位置に発生した直後の周辺組織の様子を示している。図7(a)に示すように、悪性腫瘍が発生した直後の状態では腫瘍中心点Oから気管支711の点D1までの距離及び血管712の点C1までの距離は、それぞれr1である。
図7(b)は、悪性腫瘍が腫瘍周辺の肺胞を破壊しつつ増殖したことで、気管支711や血管712を含む周辺組織が腫瘍中心点Oに向かって移動した様子を示している。図7(b)に示すように、周辺組織が腫瘍中心点Oに向かって移動したことで、腫瘍中心点Oから気管支711の点D2までの距離及び血管712の点C2までの距離は、それぞれr2(<r1)となる。
図7(c)は、悪性腫瘍が腫瘍周辺の肺胞を更に破壊して増殖したことで、気管支711や血管712を含む周辺組織が更に腫瘍中心点Oに向かって移動した様子を示している。図7(c)に示すように、周辺組織が腫瘍中心点Oに向かって移動したことで、腫瘍中心点Oから気管支711の点D3までの距離及び血管712の点C3までの距離は、それぞれr3(<r2)となる。
このように、腫瘍の変化に基づく(腫瘍で生じた集束に伴う)位置の変動は、周辺組織が腫瘍中心点Oに向かうという特性があり、非剛体変形と見做すことができる。
なお、図7に示すように、腫瘍周辺の組織は、腫瘍領域703の組織と、集束領域702の組織と、正常領域701の組織とに大別することができる。腫瘍領域703では、新たに出現した悪性腫瘍により破壊されるため、図7(a)において存在していた組織の一部が消失し、図7(c)においては存在しない。一方、集束領域702では、図7(a)において存在していた組織が図7(c)においても存在するが、対応する組織の位置は中心方向に変動していると見做すことができる(B1→B2→B3)。また、正常領域701では、図7(a)において存在していた組織が図7(c)においても存在しており、対応する組織の位置(A1→A2→A3)もほとんど変動していない。
以上、図6及び図7の説明から明らかなように、比較元CT画像と比較先CT画像との間の局所的な位置の変動の要因には、剛体運動と見做せる"呼吸・心拍に基づくもの"と非剛体変形となる"腫瘍の変化に基づくもの"とがある。また、"腫瘍の変化に基づくもの"の場合、腫瘍中心点Oに向かうという特性があり、その度合いに応じて、腫瘍周辺の組織を正常領域701、集束領域702、腫瘍領域703に大別することができる。
次に、比較先CT画像において、図6に示したような剛体運動と非剛体変形とが混在している領域について、第2のレジストレーション部142が局所的位置合わせを行う場合の問題点について図8及び図9を用いて説明する。
上述したとおり、比較先CT画像において局所的位置合わせを行うにあたり、第2のレジストレーション部142では、平行移動による変換処理を行う。つまり、非剛体を想定した変換処理ではなく剛体を想定した変換処理を行う。
ここで、平行移動による変換処理を行うにあたり、第2のレジストレーション部142は、所定領域401が比較先CT画像のどの位置に移動したか(所定領域401と対応領域402との位置関係)を示す代表ベクトルの算出を行う。
図8は、代表ベクトルの算出処理及び対応領域の算出処理を説明するための図である。このうち、図8(a)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置との差である対応ベクトル(黒矢印)を示したものである。なお、領域800は、比較元CT画像の所定領域401に含まれる特徴点に対応する比較先CT画像中の特徴点が含まれる領域であって、代表ベクトルの算出に用いられる領域である。以下、比較先CT画像中の当該領域を代表ベクトル算出対象領域800と称する。
ここで、第2のレジストレーション部142が、代表ベクトル算出対象領域800に含まれるすべての対応ベクトルを用いて、代表ベクトル810を算出したとする。この場合、局所的位置合わせが行われた画像は、図8(b)に示す処理を実行することにより抽出することができる。
図8(b)は、代表ベクトル810を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図8(b)に示すように、第2のレジストレーション部142では、比較元CT画像の所定領域401と同じ座標を有する比較先CT画像中の領域801を、代表ベクトル810に基づいて平行移動させることで領域802を求める。そして、比較先CT画像より領域802の画像を抽出することで、局所的位置合わせが行われた画像を抽出する。
しかしながら、このようにして抽出した画像は、剛体運動と非剛体変形とが混在している領域において、剛体運動のみが生じていると仮定して代表ベクトルを求め、仮定した剛体運動を相殺するように平行移動させることで得た画像に他ならない。つまり、非剛体変形分の影響も相殺するように平行移動させていることになる。
図8(c)、図8(d)を用いて更に詳説する。図8(c)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置とを結ぶ対応ベクトルのうち、呼吸・心拍に基づく位置の変動分(剛体運動分)の対応ベクトルを示したものである。図8(c)に示すように、剛体運動分の対応ベクトルは、いずれも同じ方向を向いており、また、いずれも同じ長さとなっている。なお、剛体運動分の対応ベクトルは、正常領域701及び集束領域702に存在する。ただし、腫瘍領域703には比較元CT画像の特徴点に対応する比較先CT画像の特徴点が存在しないため、対応ベクトルも存在しない。
一方、図8(d)は、比較元CT画像の所定領域401に含まれる特徴点の位置と、該特徴点に対応する比較先CT画像中の特徴点の位置とを結ぶ対応ベクトルのうち、腫瘍の変化に基づく位置の変動分(非剛体変形分)の対応ベクトルを示したものである。図8(d)に示すように、非剛体変形分の対応ベクトルは、集束領域702(ただし、腫瘍領域703は除く)内にのみ存在し、中心方向を向いていると見做すことができる。
このように剛体運動分の対応ベクトルと非剛体変形分の対応ベクトルとでは、ベクトルの長さ及び向きに違いがあり、存在する位置にも違いがある。
一方で、図8(a)に示した対応ベクトルは図8(c)に示す対応ベクトルと図8(d)に示す対応ベクトルとを足し合わせたものである。
つまり、図8(a)に示した対応ベクトルのうち集束領域702に相当する位置に存在する対応ベクトルには、剛体運動分の対応ベクトルと非剛体変形分の対応ベクトルとが混在していることになる。このため、集束領域702に相当する位置に存在する対応ベクトルを含めて代表ベクトル810を算出した場合、代表ベクトル810には、非剛体変形の影響が含まれることとなる。そして、このような代表ベクトル810により局所的位置合わせを行っても、精度の高い位置合わせを行うことはできない。
具体的な画像を用いて説明する。図9は、非剛体変形の影響を含む代表ベクトルを用いて局所的位置合わせが行われた画像を示す図である。なお、図9の例では、局所的位置合わせを行われた画像900(比較先CT画像の領域802の画像)と、比較元CT画像における所定領域401の画像600とを重ねて示している。
図9に示すように、画像900に含まれる血管901〜903及び腫瘍部分F'の位置は、局所的位置合わせを行ったにも関わらず画像600に含まれる血管601〜603及び腫瘍部分Fの位置に対してずれてしまっている。
以上のような剛体運動と非剛体変形とが混在している領域での代表ベクトル算出の際の問題点に鑑みて、本実施形態の第2のレジストレーション部142では、非剛体変形の影響を排除して代表ベクトルを求め、局所的位置合わせを行う。更に、本実施形態の第2のレジストレーション部142では、局所的位置合わせを行うことで得た対応領域402の画像に対して、画像加工処理を施すことで非剛体変形の影響(つまり、腫瘍の変化(経時変化)に基づく位置の変動分)を可視化して表示する。
以下、図10を用いて、本実施形態の第2のレジストレーション部142の機能構成を説明し、図11〜図15を用いて、第2のレジストレーション部142を構成する各部の機能について説明する。更に、図16〜図19のフローチャートを用いて、第2のレジストレーション部142により実行される処理の詳細について説明する。
図10は、第2のレジストレーション部の機能構成を示す図である。図10に示すように、第2のレジストレーション部142は、領域識別部1001と、対応ベクトル算出部1002と、集束領域判定部1003と、代表ベクトル算出部1004と、位置合わせ部1005と、画像加工部1006とを有する。
領域識別部1001は、医療従事者により指定された位置を含む所定領域401を識別する。具体的には、所定領域401の位置を特定する比較元CT画像上の座標を取得する。
対応ベクトル算出部1002は、領域識別部1001により識別された比較元CT画像の所定領域401より、特徴点を抽出する。また、対応ベクトル算出部1002は、抽出した各特徴点に対応する比較先CT画像中の各特徴点を検索する。更に、対応ベクトル算出部1002は、比較元CT画像より抽出した各特徴点の位置と、該各特徴点に対応する比較先CT画像中の各特徴点の位置との差に基づいて、対応ベクトルを算出する。
集束領域判定部1003は、対応ベクトル算出部1002において算出した対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する。また、集束領域702が含まれていると判定した場合、集束領域判定部1003は、正常領域701と集束領域702との境界位置を算出する。更に、集束領域判定部1003は、集束領域702が含まれているか否かの判定結果と、正常領域701と集束領域702との境界位置の算出結果とを、代表ベクトル算出部1004に通知する。
代表ベクトル算出部1004は、対応ベクトル算出部1002において算出された対応ベクトルに基づいて、代表ベクトル算出対象領域800における代表ベクトルを算出する。代表ベクトル算出部1004は、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定された場合には、代表ベクトル算出対象領域800内の全ての対応ベクトル(ただし腫瘍領域は除く)を用いて代表ベクトルを算出する。一方、代表ベクトル算出対象領域800に集束領域702が含まれていると判定された場合には、代表ベクトル算出対象領域800内の対応ベクトルのうち、集束領域(及び腫瘍領域)に含まれる対応ベクトルを除く対応ベクトルを用いて代表ベクトルを算出する。
なお、本実施形態において、代表ベクトル算出部1004は、対応ベクトルを用いて代表ベクトルを算出するにあたり、平均処理を行う。
位置合わせ部1005は、代表ベクトル算出部1004において算出された代表ベクトルに基づいて、所定領域401に対応する対応領域402の画像を比較先CT画像より抽出する。具体的には、位置合わせ部1005は、所定領域401の位置を特定する座標を、比較先CT画像上において代表ベクトルを用いて移動させることで移動後の座標を算出する。更に、位置合わせ部1005は、算出した移動後の座標により特定される領域(対応領域402)の画像を比較先CT画像より抽出することで、局所的位置合わせが行われた画像を取得する。
画像加工部1006は、局所的位置合わせが行われることで得られた対応領域402の画像について、腫瘍の変化(経時変化)に基づく位置の変動分を可視化するための画像加工を行う。画像加工部1006は、医療従事者による画像加工の指示があった場合に、対応領域402の画像に対して画像加工を行う。
具体的には、画像加工部1006は、所定領域401の画像と対応領域402の画像との間で、各画素値の差分を算出することで、腫瘍の変化に基づく組織の変化を可視化する。また、画像加工部1006は、所定領域401の画像と対応領域402の画像との間で、腫瘍の変化に基づく位置の変動を示すベクトルを算出することで、腫瘍の変化に基づく組織の移動方向及び移動量を可視化する。更に、画像加工部1006は、算出したベクトルの対応領域402内の分布に基づいて、腫瘍の変化に基づく組織の変化の傾向を可視化する。
なお、画像加工部1006は、画像加工を行った対応領域402の画像について、表示制御部143に通知する。これにより、表示制御部143では、局所的位置合わせにより得られた対応領域の画像に対して画像加工を施した画像を拡大表示画面に拡大表示することができる。
次に、図10に示した第2のレジストレーション部142に含まれる各部のうち、集束領域判定部1003、代表ベクトル算出部1004、位置合わせ部1005、画像加工部1006の機能の具体例について説明する。
はじめに、集束領域判定部1003の機能の具体例について説明する。図11は、集束領域判定部の処理内容を示す図である。
図11は、代表ベクトル算出対象領域800の中心から辺縁までを、矩形枠状に所定の刻み幅の区画で区分けし、各区画の対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する様子を示している。
なお、代表ベクトル算出対象領域800の中心から辺縁までの距離をR、刻み幅をΔRとする。また、ここでは矩形枠状に区分けする場合について説明するが、矩形枠状に区分けする代わりに円環状に区分けしてもよい。
集束領域判定部1003は、R〜(R−ΔR)の範囲内の区画群1101(図11の左端に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。更に、集束領域判定部1003では、(R−ΔR)〜(R−ΔR×2)の範囲内の区画群1102(図11の中央に示す代表ベクトル算出対象領域800内のハッチング領域)に含まれる対応ベクトルを抽出する。
そして、集束領域判定部1003では、抽出した対応ベクトルのうち、区画群1101の対応ベクトルと区画群1102の対応ベクトルとの間で隣接する対応ベクトル同士の差を算出し、差分ベクトルを求める。つまり、ここでいう差分ベクトルは、比較元CT画像と比較先CT画像との間での特徴点の位置の変化の差を示すものということができる。図11の右端に示す代表ベクトル算出対象領域800内の各ベクトルは、区画群1101の対応ベクトルと区画群1102の対応ベクトルとに基づいて算出した差分ベクトルの一例を示している。
集束領域判定部1003は、このようにして求めた差分ベクトルが所定の閾値より大きい場合、当該差分ベクトルの方向を判定する。また、集束領域判定部1003は、当該差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向に向かっていると見做せる(潰れこむ変化である)場合には、集束領域が含まれていると判定する。また、集束領域判定部1003は、集束領域が含まれているとの判定に用いられた差分ベクトルを算出するための対応ベクトルが存在する2つの区画群の境界位置を、正常領域と集束領域との境界位置と判定する。
なお、図11の説明から明らかなように、集束領域判定部1003は、はじめに、代表ベクトル算出対象領域800の最も外側に位置する区画群1101より抽出した対応ベクトルを用いて差分ベクトルを求める。これは、当該対応ベクトルが、腫瘍の変化に基づく位置の変動の影響を受けていない、呼吸・心拍に基づく位置の変動に伴う対応ベクトルと推定できるからである。
また、集束領域判定部1003では隣接する対応ベクトル間の差を算出する。これは、隣接する対応ベクトル間では、呼吸・心拍に基づく位置の変動に大きな差異はなく、差を算出することで、呼吸・心拍に基づく位置の変動の影響を差し引くことができるからである。つまり、隣接する対応ベクトル間の差を算出することで求められる差分ベクトル(ただし、所定の閾値以上の大きさを有する差分ベクトル)は、腫瘍の変化に基づく位置の変動分の対応ベクトルを表しているということができる。
なお、集束領域判定部1003が差分ベクトルの方向を判定するのは、集束領域における対応ベクトルは、腫瘍中心点Oの方向を向くという特性があるため、腫瘍の変化に基づく位置の変動であることを識別するのに有効だからである。
次に、代表ベクトル算出部1004の機能の具体例について説明する。図12は、集束領域があると判定された場合の代表ベクトルの算出方法を示す図である。
代表ベクトル算出部1004は、代表ベクトル算出対象領域800に集束領域702が含まれている場合、代表ベクトル算出対象領域800において算出された各対応ベクトルのうち、集束領域702内に存在する対応ベクトルを除いて、代表ベクトルを求める。図12(a)の例では、代表ベクトル算出対象領域800において15個の対応ベクトル(黒矢印)が算出されており、このうち、集束領域702内に存在する4個の対応ベクトルを除く、11個の対応ベクトルを用いて代表ベクトルを算出する。
代表ベクトル1200は、11個の対応ベクトルを用いて算出した代表ベクトルを示している。このように、集束領域702内に存在する4個の対応ベクトルを除くことで、非剛体変形の影響(つまり、腫瘍の変化(経時変化)に基づく位置の変動分)を排除して代表ベクトルを求めることができる。
図12(b)は、代表ベクトル1200を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図12(b)に示すように、第2のレジストレーション部142では、比較元CT画像の所定領域401に対応する比較先CT画像中の領域801を、代表ベクトル1200に応じて平行移動させることで対応領域402を求めることができる。更に、比較先CT画像より対応領域402の画像を抽出することで、第2のレジストレーション部142では、局所的位置合わせが行われた画像を抽出することができる。
一方、図13は、集束領域がないと判定された場合の代表ベクトルの算出方法を示す図である。代表ベクトル算出部1004では、代表ベクトル算出対象領域800に集束領域702が含まれていない場合、代表ベクトル算出対象領域800において算出された各対応ベクトルを用いて代表ベクトルを求める。ただし、腫瘍領域703内に含まれる対応ベクトルは除くものとする。なお、腫瘍領域703内においては、特徴点の対応点が存在しないため、対応ベクトルは存在しないことから、腫瘍領域703内に存在する対応ベクトルを除くか否かに関わらず、算出される代表ベクトルは同じとなる。
図13(a)の例では、代表ベクトル算出対象領域800において15個の対応ベクトル(黒矢印)が算出されており、代表ベクトル算出部1004は、これらを用いて代表ベクトルを算出する。代表ベクトル1300は、15個の対応ベクトルを用いて算出した代表ベクトルを示している。このように、代表ベクトル算出対象領域800内に集束領域702が含まれていない場合、非剛体変形の影響を受けることはないため、全ての対応ベクトルを用いて代表ベクトルを算出することができる。
図13(b)は、代表ベクトル1300を用いて平行移動による変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する様子を示したものである。図13(b)に示すように、第2のレジストレーション部142は、比較元CT画像の所定領域401に対応する比較先CT画像中の領域801を、代表ベクトル1300に応じて平行移動させることで対応領域402を求めることができる。更に、比較先CT画像より対応領域402の画像を抽出することで、第2のレジストレーション部142は、局所的位置合わせが行われた画像を抽出することができる。
ここで、非剛体変形の影響を排除した代表ベクトル1200を用いて、位置合わせ部1005が局所的位置合わせを行うことで得た画像について説明する。図14は、非剛体変形の影響を排除した代表ベクトルを用いて局所的位置合わせを行うことで得た画像を示す図である。
なお、図14の例は、非剛体変形の影響を排除した代表ベクトル1200を用いて、位置合わせ部1005が局所的位置合わせを行うことで得た対応領域402の画像1400と、比較元CT画像の所定領域401の画像600とを重ねて示している。
図14に示すように、画像1400に含まれる血管1401〜1403及び腫瘍部分F'の位置は、画像600に含まれる血管601〜603及び腫瘍部分Fの位置と概ね同じである。つまり、画像1400の場合、心拍・呼吸に基づく位置の変動が打ち消されている。一方で、血管1402、1403のうち、腫瘍部分F'の周辺に位置する血管は、画像600に含まれる血管601〜603のうち、腫瘍部分Fの周辺に位置する血管に対して、位置がずれている。つまり、画像1400の場合、腫瘍の変化に基づく位置の変動の影響は残されている。
続いて、位置合わせ部1005が局所的位置合わせを行うことで得た対応領域402の画像に対して画像加工処理を行う画像加工部1006の機能の具体例について説明する。図15は、画像加工部により実行される画像加工処理の具体例を説明するための図である。図15(a)は、画像加工部1006が、所定領域401の画像600と、対応領域402の画像1400との間で、各画素値の差分を算出することで、腫瘍の変化に基づく組織の変化を可視化する様子を示したものである。
図15(a)に示すように、対応領域402の画像1400に含まれる腫瘍は、所定領域401の画像600に含まれる腫瘍よりも増大しており、組織が消失することで腫瘍の内部には空洞が生じている。
画像加工部1006は、所定領域401の画像600の各画素の画素値と、対応領域402の画像1400の各画素の画素値との差分を算出し、差分画像1510を生成することで、これらの変化を可視化する。
具体的には、画像加工部1006は、差分画像1510の各画素のうち、差分値がプラスであって所定の閾値より大きい画素を、新たに出現した腫瘍を示す画素と判定し、例えば、赤色に着色する。また、差分画像1510の各画素のうち、差分値がマイナスであって所定の閾値未満の画素を、消失した組織を示す画素と判定し、例えば、青色に着色する。なお、差分画像1510の各画素のうち、差分値の絶対値が所定の閾値以下の画素は、変化のない画素と判定し、色の変更は行わない。
これにより、医療従事者が差分画像1510を見れば、腫瘍の変化に基づく組織の変化(出現、消失、変化なし)を容易に把握することができる。
図15(b−1)、(b−2)は、画像加工部1006が、腫瘍の変化に基づく位置の変動を示すベクトルを表示することで、腫瘍の変化に基づく組織の移動方向及び移動量を可視化した様子を示したものである。
このうち、図15(b−1)は、画像加工部1006が、集束領域判定部1003により算出された差分ベクトル(例えば、図11で示した差分ベクトル)を取得し、画像1400に重畳させた半透明のレイヤ上に表示した様子を示している。このように、差分ベクトルを、半透明のレイヤを介して画像1400に重畳して表示することで、医療従事者は、腫瘍の変化に基づく組織の移動方向及び移動量を容易に把握することができる。
一方、図15(b−2)は、画像加工部1006が、集束領域判定部1003により算出された差分ベクトルを取得し、対応する区画群1102の位置を着色した半透明のレイヤを、画像1400に重畳させた様子を示している。なお、画像加工部1006は、半透明のレイヤ上において、差分ベクトルに対応する区画群1102の位置を、差分ベクトルの大きさに応じた濃淡度により着色するものとする。例えば、差分ベクトルの大きさが大きいほど、対応する区画の位置を濃い色で着色し、差分ベクトルの大きさが小さいほど、対応する区画の位置を淡い色で着色する。
これにより、医療従事者は、着色された区画の位置において、腫瘍の変化に基づく組織の移動が発生していることを把握することができる。また、医療従事者は、着色された色の濃淡に基づいて、腫瘍の変化に基づく組織の移動量の大小を把握することができる。
図15(c−1)、(c−2)は、画像加工部1006が、集束領域判定部1003より取得した差分ベクトルの分布に基づいて、腫瘍の変化に基づく組織の変化の傾向を可視化した様子を示したものである。画像加工部1006は、集束領域判定部1003より取得した差分ベクトルについて、単位面積当たりの数を算出し、算出した数に応じた濃淡度で集束領域に対応する領域を着色した半透明のレイヤを、画像1400に重畳させた様子を示している。
これにより、医療従事者は、着色された色の濃淡に基づいて、腫瘍の変化に基づく組織の変化の傾向(位置が大きく変化した組織が多いまたは少ない)を把握することができる。図15(c−1)は、図15(c−2)と比較して、単位面積当たりの差分ベクトルの数が多いため、集束領域702に対応する領域が、濃い色で着色された様子を示している。
図15(c−1)、(c−2)に示す表示によれば、腺癌の可能性がある箇所が近傍に複数ある場合など、単に差分ベクトルを表示しただけでは、どこに集中しているのかが分かりにくくなっていたところ、どこに集中しているのかを容易に把握することができる。
次に、第2のレジストレーション部142により実行される処理の流れについて説明する。図16は、第2のレジストレーション部により実行される処理の第1のフローチャートである。
ステップS1601において、領域識別部1001は、比較元CT画像において医療従事者により指定された腫瘍部分Fの位置を中心とする所定領域(ROI)401を識別する。
ステップS1602において、対応ベクトル算出部1002は、領域識別部1001により識別された比較元CT画像の所定領域401より、特徴点を抽出する。また、抽出した各特徴点に対応する比較先CT画像中の各特徴点を検索する。
ステップS1603において、集束領域判定部1003は、比較先CT画像より検索された各特徴点を含む領域を代表ベクトル算出対象領域800として抽出する。
ステップS1604において、対応ベクトル算出部1002は、比較元CT画像より抽出した各特徴点の位置と、該特徴点に対応する比較先CT画像中の各特徴点の位置との差に基づいて、対応ベクトルを算出する。
ステップS1605において、集束領域判定部1003は、算出された対応ベクトルに基づいて、代表ベクトル算出対象領域800に集束領域702が含まれているか否かを判定する。また、集束領域702が含まれると判定した場合、集束領域判定部1003は、正常領域701と集束領域702との境界位置を算出する。なお、ステップS1605の集束領域判定処理の詳細なフローチャートは後述する。
ステップS1606において、代表ベクトル算出部1004は、集束領域判定処理(ステップS1605)の結果に基づいて、集束領域702の有無を判断する。ステップS1606において集束領域702が含まれていないと判断した場合には、ステップS1607に進む。ステップS1607において、代表ベクトル算出部1004及び位置合わせ部1005は、腺癌以外の腫瘍に応じた局所的位置合わせ処理を行う。
一方、ステップS1606において、集束領域702が含まれていると判断した場合には、ステップS1608に進む。ステップS1608において、代表ベクトル算出部1004及び位置合わせ部1005は、腺癌に応じた局所的位置合わせ処理を行う。
なお、ステップS1607及びステップS1608の局所的位置合わせ処理の詳細なフローチャートは後述する。
ステップS1609において、画像加工部1006は、医療従事者より画像加工を行う旨の指示を受け付けていたか否かを判定する。画像加工を行う旨の指示を受け付けていない場合には、ステップS1611に進む。この場合、ステップS1611では、ステップS1607またはステップS1608において局所的位置合わせ処理が行われることで得られた対応領域402の画像が、表示制御部143に対して出力される。この結果、表示制御部143は、ステップS1607またはステップS1608において局所的位置合わせ処理が行われることで得られた(画像加工が行われていない)対応領域402の画像を拡大表示画面に拡大表示する。
一方、ステップS1609において、画像加工を行う旨の指示を受け付けていた場合には、ステップS1610に進む。ステップS1610において、画像加工部1006は、経時変化に基づく画像加工処理を行う。その後、ステップS1611に進む。
この場合、ステップS1611では、局所的位置合わせ処理(ステップS1608)が行われることで得られた対応領域402の画像に対して、画像加工処理(ステップS1610)が施された画像(半透明のレイヤを含む)が、表示制御部143に出力される。この結果、表示制御部143は、ステップS1608において局所的位置合わせ処理が行われることで得られた画像に対して、画像加工処理が施された画像(半透明のレイヤを含む)を拡大表示画面に拡大表示する。なお、ステップS1610の経時変化に基づく画像加工処理の詳細なフローチャートは後述する。
次に、集束領域判定処理(ステップS1605)の詳細について説明する。図17は、集束領域判定処理のフローチャートである。
ステップS1701において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心(腫瘍中心点O)から辺縁までを、円環状または矩形枠状に刻み幅ΔRで区分けする。ステップS1702において、集束領域判定部1003は、カウンタiに1を代入する。
ステップS1703において、集束領域判定部1003は、(R−ΔR×(i−1))〜(R−ΔR×i)の範囲の区画群と、当該区画群の内側(腫瘍に近い側)に位置する(R−ΔR×i)〜(R−ΔR×(i+1))の範囲の区画群とを抽出する。
ステップS1704において、集束領域判定部1003は、抽出した各区画群に存在する対応ベクトルのうち、隣接する対応ベクトルの差を算出し、差分ベクトルを求める。
ステップS1705において、集束領域判定部1003は、差分ベクトルの大きさが閾値以内であるか否かを判定する。ステップS1705において閾値以内であると判定した場合には、ステップS1706に進み、カウンタiをインクリメントする。
ステップS1707において、集束領域判定部1003は、i≧R/ΔRが成立するか否かを判定する。成立しないと判定した場合、集束領域判定部1003では、更に内側(腫瘍に近い側)に区画群があると判定し、ステップS1703に戻る。
一方、ステップS1707において、i≧R/ΔRが成立すると判定した場合、集束領域判定部1003では、全ての区画群について差分ベクトルを算出したと判定し、ステップS1708に進む。
ステップS1708において、集束領域判定部1003は、代表ベクトル算出対象領域800に集束領域702が含まれていないと判定し、集束領域判定処理を終了する。
一方、ステップS1705において差分ベクトルの大きさが閾値より大きいと判定した場合には、ステップS1709に進む。ステップS1709において、集束領域判定部1003は、差分ベクトルの方向が代表ベクトル算出対象領域800の中心方向を向かっていると見做せるか否かを判定する。
ステップS1709において、中心方向を向かっていると見做せないと判定した場合には、ステップS1706に進む。一方、ステップS1709において、中心方向を向かっていると見做せると判定した場合には、ステップS1710に進む。
ステップS1710において、集束領域判定部1003は、代表ベクトル算出対象領域800に集束領域702が含まれていると判定し、ステップS1711に進む。ステップS1711において、集束領域判定部1003は、代表ベクトル算出対象領域800の中心からの距離が(R−ΔR×i)の位置を正常領域701と集束領域702との境界位置と判定し、集束領域判定処理を終了する。
次に、局所的位置合わせ処理(ステップS1607、S1608)の詳細について説明する。図18は、局所的位置合わせ処理のフローチャートである。
このうち、図18(a)は、局所的位置合わせ処理(腺癌以外)のフローチャートである。ステップS1801において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800のうち、腫瘍領域703に対してマスクする。
ステップS1802において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に含まれる対応ベクトルのうち、ステップS1801においてマスクした腫瘍領域703以外の領域の対応ベクトルを用いて、代表ベクトルを算出する。
ステップS1803において、位置合わせ部1005は、算出された代表ベクトルを用いて、比較先CT画像より、所定領域401に対応する対応領域402の画像を抽出する。これにより、局所的位置合わせが行われた画像を抽出することができる。
一方、図18(b)は、局所的位置合わせ(腺癌)のフローチャートである。ステップS1811において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800のうち、腫瘍領域703を含む集束領域702に対してマスクする。
ステップS1812において、代表ベクトル算出部1004は、代表ベクトル算出対象領域800に含まれる対応ベクトルのうち、ステップS1811においてマスクした集束領域702以外の領域の対応ベクトルを用いて、代表ベクトルを算出する。
ステップS1813において、位置合わせ部1005は、算出された代表ベクトルを用いて、比較先CT画像より、所定領域401に対応する対応領域402の画像1400を抽出する。これにより、局所的位置合わせが行われた画像を抽出することができる。
このように、本実施形態における第2のレジストレーション部142は、差分ベクトルの大きさが閾値以内であり、正常領域701であると判定した場合には、それぞれの区画の対応ベクトルを用いて代表ベクトルを算出する。また、差分ベクトルの大きさが閾値より大きく、かつ中心方向を向いていることで集束領域702が含まれていると判定した場合には、集束領域702の区画と比べて腫瘍より遠い区画の対応ベクトルを用いて代表ベクトルを算出する。つまり、腫瘍部分から閾値以上離れた箇所の特徴点の対応ベクトルを用いて代表ベクトルを算出する。これにより、非剛体変形の影響を排除して代表ベクトルを算出することができるため、局所的位置合わせの精度を上げることができる。
次に、局所的位置合わせが行われることで得られた対応領域402の画像1400について、経時変化に基づく画像加工処理(ステップS1610)を行う場合の処理の流れについて詳説する。
図19は、経時変化に基づく画像加工処理のフローチャートである。ステップS1901において、画像加工部1006は、組織の変化を可視化するための画像加工を行うか否かを決定する。並列表示画面300において、医療従事者は、操作部207を介して、組織の変化を可視化するための画像加工を指示する操作(第1操作)が可能である。このため、画像加工部1006では、医療従事者により第1操作が行われていたか否かを判定することで、組織の変化を可視化するための画像加工を行うか否かを決定する。
医療従事者により、第1操作が行われていなかったと判定した場合、画像加工部1006はステップS1905に進む。一方、医療従事者により、第1操作が行われていたと判定した場合、画像加工部1006はステップS1902に進む。
ステップS1902において、画像加工部1006は、比較元CT画像の所定領域401の画像600の各画素値と、比較先CT画像の対応領域402の画像1400の各画素値との差分値を算出し、差分画像1510を生成する。
ステップS1903において、画像加工部1006は、生成した差分画像1510に含まれる各画素の差分値に基づいて、差分画像1510を出現領域、消失領域、変化なし領域に分類する。
ステップS1904において、画像加工部1006は、ステップS1903における分類結果に基づいて、比較先CT画像の対応領域402の画像1400について色変換を行う。具体的には、画像加工部1006は、比較先CT画像の対応領域402の画像1400において、出現領域に対応する画素を所定の色(例えば、赤色)に変換する。また、画像加工部1006は、比較先CT画像の対応領域402の画像1400において、消失領域に対応する画素を所定の色(例えば、青色)に変換する。
ステップS1905において、画像加工部1006は、組織の移動方向及び移動量を可視化するための画像加工を行うか否かを決定する。並列表示画面300において、医療従事者は、操作部207を介して、組織の移動方向及び移動量を可視化するための画像加工を指示する操作(第2操作)が可能である。このため、画像加工部1006では、医療従事者により第2操作が行われていたか否かを判定することで、組織の移動方向及び移動量を可視化するための画像加工を行うか否かを決定する。
医療従事者により、第2操作が行われていなかったと判定した場合、画像加工部1006はステップS1907に進む。一方、医療従事者により、第2操作が行われていたと判定した場合、画像加工部1006はステップS1906に進む。
ステップS1906において、画像加工部1006は、集束領域判定部1003により算出された差分ベクトルを取得する。また、画像加工部1006は、対応領域402の画像1400に重畳させる半透明のレイヤ上に、取得した差分ベクトルの画像を表示する。更に、画像加工部1006は、差分ベクトルの画像を表示した半透明のレイヤを、対応領域402の画像1400に重畳させる。
ステップS1907において、画像加工部1006は、組織の変化の傾向を可視化するための画像加工を行うか否かを決定する。並列表示画面300において、医療従事者は、操作部207を介して、組織の変化の傾向を可視化するための画像加工を指示する操作(第3操作)が可能である。このため、画像加工部1006では、医療従事者により第3操作が行われていたか否かを判定することで、組織の変化の傾向を可視化するための画像加工を行うか否かを決定する。
医療従事者により、第3操作が行われていなかったと判定した場合、画像加工部1006は経時変化に基づく画像加工処理を終了する。一方、医療従事者により、第3操作が行われていたと判定した場合、画像加工部1006はステップS1908に進む。
ステップS1908において、画像加工部1006は、集束領域判定部1003により算出された差分ベクトルを取得する。また、画像加工部1006は、取得した差分ベクトルについて、単位面積あたりの数を算出し、算出した数に応じた濃淡度を決定する。
ステップS1909において、画像加工部1006は、対応領域402の画像1400に重畳させる半透明のレイヤ上において、集束領域に対応する領域を、決定した濃淡度に基づく所定の色で着色する。更に、画像加工部1006は、集束領域に対応する領域が着色された半透明のレイヤを、対応領域402の画像1400に重畳させる。
以上の説明から明らかなように、本実施形態では、比較元CT画像において腫瘍部分を含む所定領域の画像が指定されると、比較先CT画像において、集束領域より離れた対応ベクトルを用いて平行移動による変換処理を行うことで、対応領域の画像を抽出する。これにより、非剛体変形の影響(腫瘍の変化(経時変化)に基づく位置の変動分)を排除した精度の高い局所的位置合わせを行うことが可能となる。
また、本実施形態では、局所的位置合わせが行われることで得られた対応領域の画像について、腫瘍の経時変化に基づく位置の変動分を可視化する画像加工を行う。
これにより、呼吸や心拍の影響で変形している場合であっても、腫瘍で潰れた肺胞の影響により集束している箇所を、医療従事者は容易に判断することができる。この結果、医療従事者が、比較先CT画像から判断する際の負荷を軽減することができる。
[第2の実施形態]
上記第1の実施形態における第2のレジストレーション部は、医療従事者が、比較元CT画像において腫瘍部分Fの位置を指定したことに応じて所定領域401を決定した。これに対して、第2の実施形態における第2のレジストレーション部は、比較元CT画像に対して、所定の大きさの領域をROI候補として所定の走査幅で走査していき、それぞれの位置において、集束領域判定処理を実行する。また、第2の実施形態における第2のレジストレーション部は、集束領域があると判定した位置におけるROI候補を、所定領域(ROI)401に決定する。このように、第2の実施形態では、所定領域(ROI)401を、集束領域の有無の判定結果に基づいて決定することで、医療従事者が比較元CT画像において腫瘍部分Fを指定する作業を行う必要がなくなる。この結果、医療従事者の診断時の負荷を軽減することができる。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
図20は、画像処理装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す図であり、上記第1の実施形態において示した図4(大域的位置合わせ以降の処理内容等を示す図)に対応する。
図20に示すように、大域的位置合わせが完了すると、第2のレジストレーション部142は、画像加工を行うか否かの指示を医療従事者より受け付ける。また、第2のレジストレーション部142は、比較元CT画像に対して、所定の大きさのROI候補2001を所定の走査幅で走査していき、それぞれの位置で集束領域判定処理(ステップS1605)を実行する。そして、第2のレジストレーション部142は、集束領域があると判定した位置におけるROI候補2001により特定される領域を、所定領域(ROI)401に決定する。
所定領域(ROI)401を決定すると、第2のレジストレーション部142は、決定した所定領域401の画像に基づいて、比較先CT画像に対して局所的位置合わせ処理(ステップS1608)を行う。これにより、第2のレジストレーション部142では、腫瘍部分Fに対応する腫瘍部分F'の位置を含む対応領域402の画像(局所的位置合わせが行われた画像)を抽出する。
また、第2のレジストレーション部142は、局所的位置合わせを行うことで得られた対応領域402の画像について、経時変化に基づく画像加工処理(ステップS1610)を行う。更に、第2のレジストレーション部142は、比較元CT画像において決定した所定領域(ROI)401の画像と、比較先CT画像より抽出した対応領域402の画像(画像が加工されている場合にあっては、加工後の画像)を表示制御部143に通知する。
表示制御部143は、第2のレジストレーション部142より通知された所定領域(ROI)401の画像を、比較元CT画像上の拡大表示画面に拡大表示する。また、第2のレジストレーション部142より通知された対応領域402の画像を、比較先CT画像上の拡大表示画面に拡大表示する。これにより、局所的位置合わせが行われることで得られた対応領域402の画像に対して、画像加工を施した画像を表示することができる。
次に、第2の実施形態における第2のレジストレーション部142による処理の流れについて説明する。図21は、第2のレジストレーション部により実行される処理の第2のフローチャートである。なお、図21に示すフローチャートに含まれる各工程のうち、上記第1の実施形態において図16を用いて説明したフローチャートに含まれる工程と同じ工程については、同じ符号を付すこととし、ここでは説明を省略する。
ステップS2101において、領域識別部1001は、予め定められた大きさのROI候補2001を読み出し、比較元CT画像の所定位置に設定する。ここでは、比較元CT画像の走査開始位置(比較元CT画像の左上端位置)に設定する。
ステップS1602〜ステップS1605では、ステップS2101において設定した位置のROI候補2001により特定される領域の画像に基づいて、集束領域の有無を判定する。
ステップS2102において、代表ベクトル算出部1004は、ステップS1602〜ステップS1605における処理の結果、集束領域がないと判定した場合にはステップS2105に進む。
ステップS2105において、領域識別部1001は、ROI候補2001が比較元CT画像の終端位置(比較元CT画像の右下端位置)にあるか否かを判定する。ステップS2104において終端位置にないと判定した場合には、ステップS2101に戻る。
この場合、領域識別部1001では、ROI候補2001を比較元CT画像上において所定の走査幅だけ移動させた位置に設定し、ステップS1601〜ステップS1605の処理を実行する。
このように、本実施形態における第2のレジストレーション部142は、比較元CT画像上において、所定の大きさのROI候補を所定の走査幅で走査しながら、集束領域の有無を判定することで、所定領域(ROI)401を検索する。
ステップS1602〜ステップS1605における処理の結果、集束領域があると判定した場合、代表ベクトル算出部1004は、ステップS2102からステップS2103へと進む。
ステップS2103において、領域識別部1001は、集束領域があると判定された位置におけるROI候補2001を、所定領域(ROI)401として決定する。
ステップS1608では、ステップS2104において決定した所定領域(ROI)401の画像に基づいて、局所的位置合わせ処理を行う。また、ステップS1609において、画像加工処理を行うと判定された場合には、ステップS1610において画像加工処理を行う。その後、所定領域(ROI)401の画像と、対応領域の画像に対して画像加工処理が施された画像(半透明のレイヤを含む)とが、表示制御部143に対して出力され、ステップS2104に進む。
ステップS2104において、領域識別部1001は、表示制御部143より次のROIの表示指示を受信したか否かを判定する。なお、並列表示画面300において、医療従事者は、操作部207を介して、次のROIに進むことを指示する操作が可能であるとする。そして、医療従事者により次のROIに進むことを指示する操作が行われた場合、表示制御部143では、当該指示を領域識別部1001に通知する。
ステップS2104において、次のROIの表示指示を受信したと判定した場合には、ステップS2105に進む。一方、次のROIの表示指示を受信しなかったと判定した場合には、第2のレジストレーション部142による処理を終了する。
このように、本実施形態における第2のレジストレーション部142では、所定の大きさのROI候補を用いて、比較元CT画像に対して所定の走査幅で走査していく。そして、集束領域があると判定した位置において特定される領域を所定領域(ROI)として、当該所定領域の画像に基づいて局所的位置合わせ処理を行い、対応領域の画像を抽出し画像加工処理を施す。
これにより、医療従事者が比較元CT画像において腫瘍部分Fを指定する作業が不要となり、医療従事者の診断時の負荷を軽減することができる。
[第3の実施形態]
上記第2の実施形態において第2のレジストレーション部は、比較元CT画像に対して、所定の大きさのROI候補を、所定の走査幅で走査していくことで、所定領域(ROI)401を決定した。
これに対して、第3の実施形態における第2のレジストレーション部は、比較元CT画像に対して走査するROI候補の大きさ及び走査幅を変更しながら、所定領域(401)を決定する。なお、第3の実施形態における第2のレジストレーション部は、各ROI候補を各走査幅で走査した際に、集束領域があると判定された位置により特定される領域のうち、例えば、差分ベクトルの数が所定の閾値以上となる領域を所定領域(401)として決定する。このように、第3の実施形態によれば、ROI候補の大きさ及び走査幅を変更しながら走査することで、最適な所定領域(ROI)を決定することができる。以下、第3の実施形態について、上記第2の実施形態との相違点を中心に説明する。
図22は、ROI候補を用いて比較元CT画像を走査し、ROIを決定する処理を説明するための図である。図22(a−1)は、第2のレジストレーション部142が、比較元CT画像に対して、ROI候補2001_1を走査していく様子を示している。なお、本実施形態において、画像処理装置120は、複数のROI候補を補助記憶部204に格納しており、第2のレジストレーション部142は、順次、ROI候補を読み出して、比較元CT画像に対して走査を行う。図22(a−1)は、はじめに、ROI候補2001_1が読み出されたことを示している。
図22(a−2)は、ROI候補2001_1による走査の結果、所定の位置において集束領域があると判定されることで、当該位置により特定される領域が所定領域(ROI)401_1と判定されたことを示している。また、図22(a−3)は、ROI候補2001_1による走査の結果、所定領域401_1とは異なる位置において集束領域があると判定されることで、当該位置により特定される領域が所定領域(ROI)401_2と判定されたことを示している。
一方、図22(a−4)は、ROI候補2001_1による走査が完了した後、第2のレジストレーション部142が、ROI候補2001_1とは異なる大きさのROI候補2001_2を読み出したことを示している。第2のレジストレーション部142は、新たに読み出したROI候補2001_2を用いて、比較元CT画像に対して走査を行う。
図22(a−5)は、ROI候補2001_2による走査の結果、所定の位置において集束領域があると判定されることで、当該位置により特定される領域が所定領域2201_1と判定されたことを示している。また、図22(a−6)は、ROI候補2001_2による走査の結果、所定領域2201_1とは異なる位置において集束領域があると判定されることで、当該位置により特定される領域が所定領域2201_2と判定されたことを示している。
このように、それぞれのROI候補(2001_1、2001_2、・・・)で走査を行うことで、複数の領域(401_1、401_2、2201_1、2201_2、・・・)が所定領域(ROI)と判定されることになる。なお、図22の例では、走査幅の変更については言及していないが、それぞれのROI候補(2001_1、2001_2、・・・)で走査を行うにあたっては、走査幅を変えて走査を行うものとする。
第2のレジストレーション部142では、ROIと判定された複数の領域(401_1、401_2、2201_1、2201_2、・・・)のうち、所定の条件を満たす領域を、ROIとして決定する。
図22(b)の例は、複数の領域(401_1、401_2、2201_1、2201_2、・・・)のうち、所定領域401_1、2201_2を、ROIとして決定した様子を示している。これにより、本実施形態における第2のレジストレーション部142では、最適な位置における最適な大きさの領域を、ROIとして決定することが可能になる。
次に、第2の実施形態における第2のレジストレーション部142による処理の流れについて説明する。図23及び図24は、第2のレジストレーション部により実行される処理の第3のフローチャートである。
ステップS2301において、領域識別部1001は、ROI候補の大きさ及び走査幅として初期値を設定し、設定した大きさ及び走査幅のROI候補を補助記憶部204より読み出す。
ステップS2101において、領域識別部1001は、ステップS2301において読み出したROI候補を、比較元CT画像の走査開始位置に設定する。
ステップS1602〜ステップS1605では、ステップS2101において設定された位置のROI候補により特定される領域の画像に基づいて、集束領域の有無を判定する。
ステップS2102において、代表ベクトル算出部1004は、ステップS1602〜ステップS1605における処理の結果、集束領域がないと判定した場合にはステップS2104に進む。
ステップS2104において、領域識別部1001は、ROI候補が比較元CT画像の終端位置(比較元CT画像の右下端位置)にあるか否かを判定する。ステップS2104において終端位置にないと判定した場合には、ステップS2101に戻る。
この場合、領域識別部1001では、ROI候補2001を、比較元CT画像上において所定の走査幅(ここでは初期値分の走査幅)だけ移動させた位置に設定し、ステップS1601〜ステップS1605を再度実行する。
一方、ステップS1602〜ステップS1605における処理の結果、集束領域があると判定した場合には、代表ベクトル算出部1004は、ステップS2102からステップS2302へと進む。
ステップS2302において、領域識別部1001は、集束領域があると判定された位置により特定される領域の差分ベクトルの数をカウントし、差分ベクトルの数が所定の閾値以上あるか否かを判定する。
ステップS2302において、差分ベクトルの数が所定の閾値以上あると判定した場合、領域識別部1001は、現在の位置のROI候補により特定される領域を、所定領域(ROI)と判定し、ステップS2303に進む。
ステップS2303において、領域識別部1001は、現在の位置のROI候補により特定される領域を、所定領域(ROI)として保持する。
一方、ステップS2302において、差分ベクトルの数が所定の閾値未満であると判定した場合、領域識別部1001は、現在の位置のROI候補により特定される領域を、所定領域(ROI)とは判定せず、直接、ステップS2104に進む。
なお、ステップS2104において、ROI候補が比較元CT画像の終端位置にないと判定した場合の処理は、上述したとおりであるため、ここでは、ROI候補が比較元CT画像の終端位置にあると判定した場合について説明する。
ステップS2104において、ROI候補が比較元CT画像の終端位置にあると判定すると、ステップS2304に進む。ステップS2304において、領域識別部1001は、補助記憶部204に格納されている複数のROI候補すべてについて、すべての走査幅にて、ステップS2101〜ステップS2104までの処理を実行したか否かを判定する。
ステップS2304において、ステップS2101〜ステップS2104までの処理を実行していないROI候補があると判定した場合には、ステップS2305に進む。あるいは、実行していない走査幅があると判定した場合には、ステップS2305に進む。
ステップS2305において、領域識別部1001は、補助記憶部204に格納されている複数のROI候補のうち、ステップS2101〜ステップS2104までの処理を実行していないROI候補を読み出して、ステップ2101に戻る。あるいは、領域識別部1001は、実行していない走査幅を設定して、ステップS2101に戻る。
この場合、領域識別部1001は、ステップS2305において新たに読み出したROI候補を、比較元CT画像の走査開始位置に設定する。あるいは、領域識別部1001は、ステップS2305において設定された走査幅のもと、現在読み出されているROI候補を、比較元CT画像の走査開始位置に設定する。
一方、ステップS2304において、領域識別部1001が、補助記憶部204に格納されている複数のROI候補すべてについて、すべての走査幅にて、ステップS2101〜ステップS2104の処理を実行したと判定した場合、ステップS2401に進む。
図24のステップS2401において、領域識別部1001は、ROIカウンタNに1を代入する。なお、ROIカウンタとは、ステップS2303において保持されたROI(所定領域(ROI)と判定された領域)をカウントするカウンタである。
ステップS2402において、領域識別部1001は、ステップS2303において保持されたROIのうち、N番目の所定領域(ROI)の画像を読み出す。ここでは、1番目の所定領域(ROI)の画像を読み出す。
ステップS1608において、代表ベクトル算出部1004及び位置合わせ部1005は、腺癌の局所的位置合わせ処理を行う。また、ステップS1609において、画像加工処理を行うと判定した場合には、ステップS1610において画像加工処理を行う。その後、N番目の所定領域(ROI)401の画像と、対応領域402の画像に対して画像加工処理が施された画像(半透明のレイヤを含む)とが、表示制御部143に対して出力され、ステップS2403に進む。
これにより、表示制御部143では、並列表示画面300の比較元CT画像に、N番目の所定領域(ROI)401の画像を拡大表示し、比較先CT画像に、対応領域402の画像に対して画像加工処理が施された画像(半透明のレイヤを含む)を拡大表示する。
ステップS2403において、領域識別部1001は、表示制御部143より次のROIの表示指示を受信したか否かを判定する。なお、並列表示画面300において、医療従事者は、操作部207を介して、次のROIに進むことを指示する操作が可能であるとする。そして、医療従事者により、次のROIに進むことを指示する操作が行われた場合、表示制御部143は、当該指示を領域識別部1001に通知する。
ステップS2403において、次のROIの表示指示を受信したと判定した場合には、ステップS2404に進む。
領域識別部1001は、ステップS2404においてROIカウンタN=N+1を算出した後、ステップS2402に戻り、N番目の所定領域(ROI)の画像を読み出す。ここでは、2番目の所定領域(ROI)の画像を読み出す。
このように、ステップS2402〜ステップS2404では、ステップS2303において保持されたROIの画像に基づいて、医療従事者による指示のもと、順次、局所的位置合わせ処理及び画像加工処理を行う。これにより、並列表示画面300には、順次、所定領域401の画像と、対応領域402の画像に対して画像加工処理が施された画像(半透明のレイヤを含む)とが、拡大表示される。
一方、ステップS2403において、次のROIの表示指示を受信しなかったと判定した場合には、第2のレジストレーション部142による処理を終了する。
以上の通り、本実施形態における第2のレジストレーション部142は、比較元CT画像に対してROI候補の大きさ及び走査幅を変更しながら走査を行う。また、本実施形態における第2のレジストレーション部142は、集束領域があると判定した位置のうち、所定の条件を満たすと判定した位置において特定される領域を、所定領域(ROI)と決定する。
これにより、医療従事者が比較元CT画像において腫瘍部分Fを指定する作業が不要となり、医療従事者の診断の負荷を軽減することができるとともに、診断に際して、最適なROIを決定することが可能となる。
[第4の実施形態]
上記第1乃至第3の実施形態における画像処理装置は、第2のレジストレーション部により画像加工処理が施された対応領域の画像(半透明のレイヤを含む)を、並列表示画面に拡大表示するものとして説明した。
これに対して、第4の実施形態における画像処理装置は、第2のレジストレーション部により画像加工処理が施された対応領域の画像(半透明のレイヤを含む)を、並列表示画面に拡大表示するにあたり、医療従事者の操作に応じて、表示態様を変更する。
第2のレジストレーション部による画像加工処理により、対応領域の画像には複数のレイヤが重畳されることになり、医療従事者にとって、対応領域の画像が見にくくなる可能性があるからである。以下、第4の実施形態について、上記第1の実施形態との相違点を中心に説明する。
図25は、画像処理装置における診断支援部の処理内容と、医療従事者の操作内容と、並列表示画面の表示内容との関係を示す図であり、上記第1の実施形態において示した図4(大域的位置合わせ以降の処理内容等を示す図)に対応する。
図25に示すように、医療従事者が表示された比較元CT画像において腫瘍部分Fの位置を指定することで、所定領域(ROI)401の画像が比較元CT画像上の拡大表示画面に拡大表示される。更に、比較先CT画像上には、局所的位置合わせ処理が行われることで得られた対応領域402の画像に対して、画像加工処理が施された画像(半透明のレイヤを含む)が拡大表示画面に拡大表示される。
比較先CT画像上の拡大表示画面に拡大表示された画像に対して、医療従事者がポインタ2501を用いて各種操作を行うと、表示制御部143は、医療従事者による各種操作に応じて、比較先CT画像上の拡大表示画面に拡大表示された画像の表示態様を変更する。
図26は、表示制御部により拡大表示画面の画像の表示態様が変更される様子を示した図である。図26(a)は、差分ベクトルが表示された半透明のレイヤを、対応領域402の画像1400に重畳させるとともに、差分ベクトルの位置に対応する位置の区画群1102を着色した半透明のレイヤを、更に重畳させた様子を示している。
図26(b)は、複数の半透明のレイヤが重畳された対応領域402の画像1400に対して、医療従事者がポインタ2501を近づけた様子を示している。
図26(c)は、医療従事者がポインタ2501を画像1400の中心に近づけたことに伴って、差分ベクトルが表示された半透明のレイヤにおいて、差分ベクトルの表示を、集束領域外に退避させた様子を示している。また、差分ベクトルの位置に対応する位置の区画群1102が着色された半透明のレイヤにおいて、着色された区画群1102を、集束領域外に退避させた様子を示している。
図26(c)に示すように、表示制御部143は、半透明のレイヤ上において、差分ベクトルの位置が、図26(b)に示した位置から、ベクトルの先が集中する位置から見て外側に移動するように、差分ベクトルの表示を移動させる。また、表示制御部143は、同様の位置に、着色された区画群1102を移動させる。
この結果、対応領域402の画像1400のうち、集束領域上には差分ベクトルの表示及び着色された区画群1102が重畳されておらず、医療従事者にとっては、集束領域が見やすくなる。なお、医療従事者がポインタ2501を画像1400から遠ざけると、図26(a)に示すように、集束領域外に退避された差分ベクトルの表示は、元の位置に戻る。また、集束領域外に退避された区画群1102は、元の位置に戻る。
なお、表示制御部143は、半透明のレイヤ上において、差分ベクトルの表示を、集束領域外に移動させるにあたり、移動前の差分ベクトルの表示色とは異なる表示色に変更するようにしてもよい。同様に、表示制御部143は、半透明のレイヤ上において、差分ベクトルの位置に対応する位置の区画群1102を、集束領域外に移動させるにあたり、移動の前後で着色を変更するようにしてもよい。
なお、図26の例では、ポインタ2501の位置に応じて差分ベクトル(または着色された区画群1102)の表示を移動させる場合について説明した。しかしながら、これに限定されず、例えば、ポインタ2501を用いて更なる拡大表示を指示した場合にあっては、拡大表示の中心が集束領域内であることを条件に、差分ベクトル(または着色された区画群1102)の表示を移動させるようにしてもよい。
次に、本実施形態における表示制御部143により実行される処理の流れについて説明する。図27は、表示制御部により実行される処理のフローチャートである。
ステップS2701において、表示制御部143は、対応領域402の画像1400上に差分ベクトル(または着色された区画群1102)が表示されたレイヤが重畳されたか否かを判定する。ステップS2701において、差分ベクトル(または着色された区画群1102)が表示されたレイヤが重畳されていないと判定した場合には、ステップS2708に進む。
一方、ステップS2701において、差分ベクトル(または着色された区画群1102)が表示されたレイヤが重畳されたと判定した場合には、ステップS2702に進む。ステップS2702において、表示制御部143は、対応領域402の画像1400において、集束領域内の差分ベクトルの密度を算出する。具体的には、表示制御部143は、集束領域判定部1003において算出された集束領域の範囲と、当該集束領域に含まれる差分ベクトルの数とを取得する。また、表示制御部143は、取得した集束領域の範囲と、取得した差分ベクトルの数とに基づいて、集束領域内の差分ベクトルの密度(集束領域に重なっている差分ベクトルの数から導出される"重なっている割合")を算出する。
ステップS2703において、表示制御部143は、ステップS2702において算出した密度が、所定の閾値(所定の割合)より大きいか否かを判定する。ステップS2702において、所定の閾値以下であると判定した場合には、ステップS2708に進む。
一方、ステップS2703において、所定の閾値より大きいと判定した場合(つまり、所定の広さよりも狭い領域に、所定の割合よりも多くの差分ベクトルが入る場合)には、ステップS2704に進む。ステップS2704において、表示制御部143は、ポインタ2501が、対応領域402の画像1400内に移動したか否かを判定する。
ステップS2704において、ポインタ2501が対応領域402の画像1400内に移動したと判定した場合には、ステップS2706に進む。ステップS2706において、表示制御部143は、画像1400に重畳しているレイヤ上の表示(差分ベクトル、着色された区画群1102)を、集束領域外に一旦退避する。
一方、ステップS2704において、ポインタ2501が集束領域内に移動していないと判定した場合には、ステップS2705に進む。ステップS2705において、表示制御部143は、医療従事者がポインタ2501を用いて画像1400の更なる拡大表示を指示した場合において、当該拡大表示の中心が、集束領域内にあるか否かを判定する。
ステップS2705において、拡大表示の中心が集束領域内にあると判定した場合には、ステップS2706に進む。一方、ステップS2705において、拡大表示の中心が集束領域内にないと判定した場合には、ステップS2707に進む。
ステップS2707において、表示制御部143は、対応領域402の画像1400に重畳しているレイヤ上の表示が、集束領域外に退避されている場合にあっては、元の表示位置に戻す。なお、表示制御部143は、画像1400に重畳しているレイヤ上の表示が、集束領域外に退避されていない場合にあっては(元の表示位置にある場合には)、現在の表示位置を維持する。
ステップS2708において、表示制御部143は、実行中の処理を終了するか否かを判定する。なお、実行中の処理を終了する場合とは、現在表示されている対応領域402の画像1400の表示が終了する場合をいう。現在表示されている対応領域402の画像1400の表示が終了する場合とは、例えば、現在表示されている所定領域とは異なる所定領域が指定された場合、あるいは現在表示されている比較元CT画像とは異なる比較元CT画像が表示された場合等をいう。
ステップS2708において、終了しないと判定した場合には、ステップS2701に戻る。一方、ステップS2708において、実行中の処理を終了すると判定した場合には、処理を終了する。
以上の通り、本実施形態における表示制御部143では、医療従事者によるポインタ操作に応じて、対応領域の画像に重畳されているレイヤ上の表示を、集束領域外に移動させる。これにより、医療従事者は、対応領域の画像において集束領域(診断すべき箇所)が見づらくなることを防ぐことができる。
[第5の実施形態]
上記第1の実施形態において、画像加工部1006は、算出した差分ベクトルの分布に(単位面積あたりの差分ベクトルの数)基づいて、腫瘍の変化に基づく組織の変化の傾向を可視化したが、組織の変化の傾向を可視化する方法はこれに限定されない。例えば、算出した差分ベクトルの大きさと経過時間とに基づいて、組織の変化の速度を算出して可視化するようにしてもよい。
また、上記第3の実施形態において、第2のレジストレーション部142は、集束領域があると判定された領域のうち、差分ベクトルの数が所定の閾値以上の領域をROIとして決定したが、ROIの決定方法は、これに限定されない。組織の集束の程度が大きい領域をROIとして決定可能な方法であれば、他の決定方法であってもよい。
また、上記第3の実施形態では、比較元CT画像において、すべてのROIを決定してから、画像加工処理を実行する流れとしたが、ROIを決定するごとに画像加工処理を実行する流れとしてもよい。
また、上記第1乃至第4の実施形態では、所定領域(ROI)の画像を、拡大表示画面に拡大表示するものとして説明したが、所定領域(ROI)の画像は、ルーペ表示等のように、比較元CT画像上で拡大表示するようにしてもよい。
また、上記第1乃至第4の実施形態では、画像加工の指示を、大域的位置合わせが完了した後に受け付けるものとして説明したが、画像加工の指示は、対応領域の画像を表示した後に受け付けるようにしてもよい。
また、上記第1乃至第4の実施形態では、CT画像を表示する場合について説明したが、CT画像以外の医療画像(例えば、MRI(Magnetic resonance imaging)画像)を表示する場合に適用してもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを比べて、複数の箇所における位置の変化が、所定の位置に向かっていると見做せる変化であれば、当該変化があったことを通知する、処理をコンピュータに実行させることを特徴とする画像処理プログラム。
(付記2)
前記所定の位置に向かっていると見做せる変化であれば、当該所定の位置を他の位置とは異なる態様で示す、処理をコンピュータに実行させることを特徴とする付記1に記載の画像処理プログラム。
(付記3)
前記所定の位置に向かっていると見做せる変化であれば、当該変化を示すベクトルを、画像に重畳して表示する、処理をコンピュータに実行させることを特徴とする付記2に記載の画像処理プログラム。
(付記4)
予め定められた広さよりよりも狭い領域に、予め定められた各ベクトルの割合よりも多くの前記ベクトルが入る場合は、前記ベクトルを表示する位置を、前記箇所に対応する位置から、前記ベクトルの先が集中する位置から見て外側に移動させて表示する、処理をコンピュータに実行させることを特徴とする付記2に記載の画像処理プログラム。
(付記5)
前記ベクトルを表示する位置を、前記箇所に対応する位置から、前記ベクトルの先が集中する位置から見て外側に移動させて表示する場合には、外側に移動させずに表示する場合とは異なる表示態様で前記ベクトルを表示する、処理をコンピュータに実行させることを特徴とする付記4に記載の画像処理プログラム。
(付記6)
前記所定の位置に向かっていると見做せる変化を示すベクトルの数に応じて、表示態様を変える、処理をコンピュータに実行させることを特徴とする付記2に記載の画像処理プログラム。
(付記7)
前記所定の位置に向かっていると見做せる変化を示すベクトルの数が、画像を複数の区画に区切った場合の区画ごとに異なる場合に、ベクトルの数が多い区画を、ベクトルの数が少ない区画よりも濃い色で表示する、処理をコンピュータに実行させることを特徴とする付記6に記載の画像処理プログラム。
(付記8)
前記所定の位置に向かっていると見做せる変化であれば、当該所定の位置を拡大表示する、処理をコンピュータに実行させることを特徴とする付記2に記載の画像処理プログラム。
(付記9)
前記拡大表示には、前記所定の位置の画像を拡大表示する態様と、前記所定の位置の画像を他のウィンドウにて拡大表示する態様と、が含まれることを特徴とする付記8に記載の画像処理プログラム。
(付記10)
前記変化を示すベクトルは、呼吸と心拍による変動と見做すベクトルを除くベクトルであることを特徴とする付記3に記載の画像処理プログラム。
(付記11)
異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを比べて、複数の箇所における位置の変化が、所定の位置に向かって潰れこむ変化であれば、当該変化があったことを通知する、処理をコンピュータに実行させることを特徴とする画像処理プログラム。
(付記12)
異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所の位置の変化を示すベクトルから、呼吸と心拍による変動と見做すベクトルを除くことで、複数の箇所における位置の変化が、所定の位置に向かっている変化であると見做すことができる場合、当該変化があったことを通知する、処理をコンピュータに実行させることを特徴とする画像処理プログラム。
(付記13)
異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを示すベクトルを算出する手段と、
複数の箇所における位置の変化を示す前記ベクトルが、所定の位置に向かっていると見做せるか否かを判定する手段と、
前記ベクトルが、前記所定の位置に向かっていると見做せると判定した場合に、前記所定の位置に向かっていると見做せる変化があったことを通知する手段と
を有することを特徴とする画像処理装置。
(付記14)
コンピュータが、
異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを比べて、複数の箇所における位置の変化が、所定の位置に向かっていると見做せる変化であれば、当該変化があったことを通知する、処理を実行することを特徴とする画像処理方法。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100 :CT画像撮影システム
110 :CT装置
120 :画像処理装置
130 :画像DB
140 :診断支援部
141 :第1のレジストレーション部
142 :第2のレジストレーション部
143 :表示制御部
300 :並列表示画面
401 :所定領域
402 :対応領域
701 :正常領域
702 :集束領域
703 :腫瘍領域
810 :代表ベクトル
1001 :領域識別部
1002 :対応ベクトル算出部
1003 :集束領域判定部
1004 :代表ベクトル算出部
1005 :位置合わせ部
1006 :画像加工部
1200 :代表ベクトル
1300 :代表ベクトル

Claims (9)

  1. 異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを比べて、複数の箇所における位置の変化が、所定の位置に向かっていると見做せる変化であれば、当該変化があったことを通知する、処理をコンピュータに実行させることを特徴とする画像処理プログラム。
  2. 前記所定の位置に向かっていると見做せる変化であれば、当該所定の位置を他の位置とは異なる態様で示す、処理をコンピュータに実行させることを特徴とする請求項1に記載の画像処理プログラム。
  3. 前記所定の位置に向かっていると見做せる変化であれば、当該変化を示すベクトルを、画像に重畳して表示する、処理をコンピュータに実行させることを特徴とする請求項2に記載の画像処理プログラム。
  4. 予め定められた広さよりよりも狭い領域に、予め定められた各ベクトルの割合よりも多くの前記ベクトルが入る場合は、前記ベクトルを表示する位置を、前記箇所に対応する位置から、前記ベクトルの先が集中する位置から見て外側に移動させて表示する、処理をコンピュータに実行させることを特徴とする請求項2に記載の画像処理プログラム。
  5. 前記所定の位置に向かっていると見做せる変化を示すベクトルの数に応じて、表示態様を変える、処理をコンピュータに実行させることを特徴とする請求項2に記載の画像処理プログラム。
  6. 前記所定の位置に向かっていると見做せる変化であれば、当該所定の位置を拡大表示する、処理をコンピュータに実行させることを特徴とする請求項2に記載の画像処理プログラム。
  7. 前記変化を示すベクトルは、呼吸と心拍による変動と見做すベクトルを除くベクトルであることを特徴とする請求項3に記載の画像処理プログラム。
  8. 異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを示すベクトルを算出する手段と、
    複数の箇所における位置の変化を示す前記ベクトルが、所定の位置に向かっていると見做せるか否かを判定する手段と、
    前記ベクトルが、前記所定の位置に向かっていると見做せると判定した場合に、前記所定の位置に向かっていると見做せる変化があったことを通知する手段と
    を有することを特徴とする画像処理装置。
  9. コンピュータが、
    異なる時期に撮影された肺の画像の各画像間で同じ位置を示しているとする箇所が、時間の経過によって位置がどのように変化したかを比べて、複数の箇所における位置の変化が、所定の位置に向かっていると見做せる変化であれば、当該変化があったことを通知する、処理を実行することを特徴とする画像処理方法。
JP2015147040A 2015-07-24 2015-07-24 画像処理プログラム、画像処理装置及び画像処理方法 Active JP6565422B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015147040A JP6565422B2 (ja) 2015-07-24 2015-07-24 画像処理プログラム、画像処理装置及び画像処理方法
US15/215,049 US10039514B2 (en) 2015-07-24 2016-07-20 Computer readable storage medium, apparatus, and method for image processing
CN201610580655.XA CN106384342B (zh) 2015-07-24 2016-07-21 用于图像处理的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015147040A JP6565422B2 (ja) 2015-07-24 2015-07-24 画像処理プログラム、画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2017023551A true JP2017023551A (ja) 2017-02-02
JP6565422B2 JP6565422B2 (ja) 2019-08-28

Family

ID=57837203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015147040A Active JP6565422B2 (ja) 2015-07-24 2015-07-24 画像処理プログラム、画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US10039514B2 (ja)
JP (1) JP6565422B2 (ja)
CN (1) CN106384342B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021536330A (ja) * 2018-09-04 2021-12-27 アイデンス・アイピー・ベー・フェー 深層学習を使用する3dデータセット内のオブジェクトの成長率の決定

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195272B2 (en) * 2018-08-21 2021-12-07 Canon Medical Systems Corporation Medical image processing apparatus, medical image processing system, and medical image processing method
US11861856B2 (en) 2020-06-27 2024-01-02 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN114813798B (zh) * 2022-05-18 2023-07-07 中国工程物理研究院化工材料研究所 用于表征材料内部结构及成分的ct检测装置和成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006325937A (ja) * 2005-05-26 2006-12-07 Fujifilm Holdings Corp 画像判定装置、画像判定方法およびそのプログラム
JP2007330419A (ja) * 2006-06-14 2007-12-27 Fujifilm Corp 画像表示装置および方法並びにプログラム
JP2011161220A (ja) * 2010-01-14 2011-08-25 Toshiba Corp 画像処理装置、x線コンピュータ断層撮像装置及び画像処理プログラム
US20150150482A1 (en) * 2012-04-17 2015-06-04 Monash University Method and system for imaging

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08103439A (ja) 1994-10-04 1996-04-23 Konica Corp 画像の位置合わせ処理装置及び画像間処理装置
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
JP4421203B2 (ja) 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置
JP4493408B2 (ja) * 2003-06-06 2010-06-30 富士フイルム株式会社 画像読影支援方法及び装置並びにプログラム
EP2006803A1 (en) * 2007-06-19 2008-12-24 Agfa HealthCare NV Method of segmenting anatomic entities in 3D digital medical images
US8538111B2 (en) * 2008-04-21 2013-09-17 University Of South Florida Method and apparatus for pulmonary ventilation imaging using local volume changes
US8798343B2 (en) * 2009-01-30 2014-08-05 Koninklijke Philips N.V. System for providing lung ventilation information
CA2790588C (en) * 2009-09-16 2022-10-04 Monash University Particle image velocimetry suitable for x-ray projection imaging
US9025849B2 (en) * 2009-09-16 2015-05-05 Monash University Partical image velocimetry suitable for X-ray projection imaging
WO2011103138A2 (en) * 2010-02-16 2011-08-25 Duke University Systems, methods, compositions and devices for in vivo magnetic resonance imaging of lungs using perfluorinated gas mixtures
WO2012048295A2 (en) * 2010-10-07 2012-04-12 H. Lee Moffitt Cancer Center & Research Institute Method and apparatus for use of function-function surfaces and higher-order structures as a tool
JP5872323B2 (ja) * 2011-03-29 2016-03-01 株式会社東芝 X線ct装置及び画像処理方法
US9020229B2 (en) * 2011-05-13 2015-04-28 Broncus Medical, Inc. Surgical assistance planning method using lung motion analysis
CN102429679A (zh) * 2011-09-09 2012-05-02 华南理工大学 基于胸部ct图像的肺气肿计算机辅助诊断系统
US8675944B2 (en) 2012-01-12 2014-03-18 Kabushiki Kaisha Toshiba Method of registering image data
WO2013130086A1 (en) * 2012-03-01 2013-09-06 Empire Technology Development Llc Integrated image registration and motion estimation for medical imaging applications
JP5962237B2 (ja) * 2012-06-11 2016-08-03 コニカミノルタ株式会社 胸部診断支援情報生成方法
JP6532206B2 (ja) * 2014-10-01 2019-06-19 キヤノン株式会社 医用画像処理装置、医用画像処理方法
US10517509B2 (en) * 2016-08-30 2019-12-31 Universitatsspital Basel Assessment of the lung parenchyma by means of magnetic resonance images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006325937A (ja) * 2005-05-26 2006-12-07 Fujifilm Holdings Corp 画像判定装置、画像判定方法およびそのプログラム
JP2007330419A (ja) * 2006-06-14 2007-12-27 Fujifilm Corp 画像表示装置および方法並びにプログラム
JP2011161220A (ja) * 2010-01-14 2011-08-25 Toshiba Corp 画像処理装置、x線コンピュータ断層撮像装置及び画像処理プログラム
US20150150482A1 (en) * 2012-04-17 2015-06-04 Monash University Method and system for imaging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021536330A (ja) * 2018-09-04 2021-12-27 アイデンス・アイピー・ベー・フェー 深層学習を使用する3dデータセット内のオブジェクトの成長率の決定
JP7346553B2 (ja) 2018-09-04 2023-09-19 アイデンス・アイピー・ベー・フェー 深層学習を使用する3dデータセット内のオブジェクトの成長率の決定
US11996198B2 (en) 2018-09-04 2024-05-28 Aidence Ip B.V. Determination of a growth rate of an object in 3D data sets using deep learning

Also Published As

Publication number Publication date
CN106384342A (zh) 2017-02-08
US10039514B2 (en) 2018-08-07
JP6565422B2 (ja) 2019-08-28
CN106384342B (zh) 2019-10-25
US20170024884A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
KR102507711B1 (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 컴퓨터 판독가능 매체
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
US8605978B2 (en) Medical image processing apparatus and method, and computer readable recording medium on which is recorded program for the same
US11676277B2 (en) Medical image processing apparatus and method
US20110243408A1 (en) Fundus image display apparatus, control method thereof and computer program
JP6565422B2 (ja) 画像処理プログラム、画像処理装置及び画像処理方法
US10178941B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
JP6958202B2 (ja) 動態画像処理装置及びプログラム
JP5566299B2 (ja) 医用画像処理装置、及び医用画像処理方法
US9198603B2 (en) Device, method and program for searching for the shortest path in a tubular structure
JP6445784B2 (ja) 画像診断支援装置、その処理方法及びプログラム
US10588581B2 (en) Cross-sectional image generating apparatus, cross-sectional image generating method, and recording medium
US9846939B2 (en) Image display apparatus and image display method
CN111062997A (zh) 一种血管造影成像方法、系统、设备和存储介质
US11278257B2 (en) Diagnostic auxiliary image generation apparatus, diagnostic auxiliary image generation method, and diagnostic auxiliary image generation program
US20160000299A1 (en) Medical image display control apparatus, method, and program
US11257219B2 (en) Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
JP6927020B2 (ja) 動態画像処理方法、動態画像処理装置及びプログラム
JP5923067B2 (ja) 診断支援装置および診断支援方法並びに診断支援プログラム
JP6642048B2 (ja) 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法
US10417765B2 (en) Adaptive segmentation for rotational C-arm computed tomography with a reduced angular range
JP5491237B2 (ja) 医用画像表示装置及び医用画像表示方法
US9727965B2 (en) Medical image processing apparatus and medical image processing method
US10307209B1 (en) Boundary localization of an internal organ of a subject for providing assistance during surgery
JP2012040196A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R150 Certificate of patent or registration of utility model

Ref document number: 6565422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150