JP2019063328A - 動態画像処理装置 - Google Patents

動態画像処理装置 Download PDF

Info

Publication number
JP2019063328A
JP2019063328A JP2017193141A JP2017193141A JP2019063328A JP 2019063328 A JP2019063328 A JP 2019063328A JP 2017193141 A JP2017193141 A JP 2017193141A JP 2017193141 A JP2017193141 A JP 2017193141A JP 2019063328 A JP2019063328 A JP 2019063328A
Authority
JP
Japan
Prior art keywords
lung field
feature point
image
lung
dynamic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017193141A
Other languages
English (en)
Other versions
JP6958202B2 (ja
Inventor
翔 野地
Sho Noji
翔 野地
謙太 嶋村
Kenta Shimamura
謙太 嶋村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2017193141A priority Critical patent/JP6958202B2/ja
Priority to US16/137,486 priority patent/US10825190B2/en
Publication of JP2019063328A publication Critical patent/JP2019063328A/ja
Application granted granted Critical
Publication of JP6958202B2 publication Critical patent/JP6958202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】胸部動態画像において、呼吸に伴う肺野の濃度変化情報の抽出精度を向上させる。【解決手段】、診断用コンソール3の制御部31は、胸部動態画像の複数のフレーム画像の少なくとも一つから肺野領域を抽出し、抽出された肺野領域における呼吸に伴う肺野の動きによって動く位置に特徴点を設定し、設定された特徴点に対応する対応点を前記特徴点が設定されたフレーム画像以外の他のフレーム画像から探索する。そして、設定された特徴点と探索された対応点の位置関係に基づいて、胸部動態画像の複数のフレーム画像間における肺野領域の各画素の対応関係を推定する。【選択図】図3

Description

本発明は、動態画像処理装置に関する。
従来、被写体の状態変化を示す複数の画像に含まれる被写体の位置合わせを行う技術が知られている。例えば、特許文献1には、胸部の動態を放射線撮影した胸部動態画像において、最大呼気画像と最大吸気画像の間に基準画像を設け、最大呼気画像〜基準画像〜最大吸気画像の間の中間画像について隣接する画像に順次位置合わせを行っていく技術が記載されている。位置合わせにおける二つの画像の対応位置を求める処理としては、特許文献1ではグローバルマッチング処理及びローカルマッチング処理が用いられている。ローカルマッチング処理では、位置合わせする一方の画像全体を多数のテンプレートROIに区切り、各テンプレートROIの各中心画素の他方の画像における対応位置を求め、求めた対応位置に基づいて、他の画素の対応位置を求めることが記載されている。
特許第4493408号公報
しかしながら、胸部動態画像には、呼吸により肺野の動きと異なる方向へ動く構造物(例えば、肋骨)が含まれる。そのため、例えば、肺野と肋骨の双方に位置合わせの特徴点(テンプレートROIの中心画素)を設定してしまうと、動きの方向に矛盾が生じ、肺野内の生体的に同じ位置を表す画素同士を精度よく対応させて位置合わせを行うことができない。その結果、胸部動態画像から肺野内の生体的に同じ位置の呼吸に伴う濃度変化情報を抽出しようとしても、精度良く抽出を行うことができない。
本発明の課題は、胸部動態画像において、呼吸に伴う肺野の濃度変化情報の抽出精度を向上させることである。
上記課題を解決するため、請求項1に記載の発明の動態画像処理装置は、
被検者の胸部の動態を放射線撮影することにより得られた胸部動態画像の複数のフレーム画像の少なくとも一つから肺野領域を抽出する抽出手段と、
前記抽出手段により抽出された肺野領域における呼吸に伴う肺野の動きによって動く位置に特徴点を設定する特徴点設定手段と、
前記特徴点設定手段により設定された特徴点に対応する対応点を前記特徴点が設定されたフレーム画像以外の他のフレーム画像から探索する対応点探索手段と、
前記特徴点設定手段により設定された特徴点と前記対応点探索手段により探索された対応点の位置関係に基づいて、前記複数のフレーム画像間における肺野領域の各画素の対応関係を推定する推定手段と、
を備える。
請求項2に記載の発明は、請求項1に記載の発明において、
前記特徴点設定手段は、前記抽出手段により抽出された肺野領域における肺野輪郭の位置に特徴点を設定する。
請求項3に記載の発明は、請求項2に記載の発明において、
前記特徴点設定手段は、前記肺野輪郭における心臓領域と重ならない位置に特徴点を設定する。
請求項4に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、
前記特徴点設定手段は、前記抽出手段により抽出された肺野領域における肺血管の位置に特徴点を設定する。
請求項5に記載の発明は、請求項4に記載の発明において、
前記特徴点設定手段は、前記肺血管のうち、大動脈、動脈、大静脈又は静脈に特徴点を設定する。
請求項6に記載の発明は、請求項1〜5のいずれか一項に記載の発明において、
前記対応点探索手段は、テンプレートマッチング処理又はオプティカルフロー処理を用いて前記特徴点に対応する対応点を探索する。
請求項7に記載の発明は、請求項1〜6のいずれか一項に記載の発明において、
過去の胸部動態画像における対応点探索結果を示す対応点探索モデルを被検者情報及び/又は検査情報に対応付けて記憶する記憶する記憶手段を備え、
前記対応点探索手段は、前記記憶手段に記憶されている前記被検者又は前記被検者と予め定められた項目の被検者情報及び/又は検査情報が類似している被検者の対応点探索モデルに基づいて、前記特徴点に対応する対応点を探索する。
請求項8に記載の発明は、請求項1〜7のいずれか一項に記載の発明において、
前記推定手段は、前記フレーム画像毎に、前記特徴点とその対応点の位置関係を示す移動ベクトルをマッピングした位置関係マップを作成し、前記特徴点が設定されたフレーム画像における前記特徴点以外の各画素に対する対応点の位置を前記作成した位置関係マップを補間することにより推定することで、前記複数のフレーム画像間における肺野領域の各画素の対応関係を推定する。
請求項9に記載の発明は、請求項1〜8のいずれか一項に記載の発明において、
前記胸部動態画像の複数のフレーム画像に骨部減弱処理を施す減弱手段を備え、
前記骨部減弱処理が施されたフレーム画像を用いて、少なくとも前記特徴点設定手段による前記特徴点の設定及び前記対応点探索手段による前記対応点の探索を行う。
請求項10に記載の発明は、請求項1〜9のいずれか一項に記載の発明において、
前記複数のフレーム画像の中から一の基準フレーム画像を選択する選択手段を備え、
前記抽出手段は、前記基準フレーム画像から肺野領域を抽出し、
前記特徴点設定手段は、前記基準フレーム画像の肺野領域における、呼吸に伴う肺野の動きによって動く位置に特徴点を設定する。
請求項11に記載の発明は、請求項1〜9のいずれか一項に記載の発明において、
前記複数のフレーム画像の中から一の基準フレーム画像を選択する選択手段と、
前記抽出手段により前記複数の各フレーム画像から肺野領域を抽出し、前記各フレーム画像の肺野領域の垂直方向を前記基準フレーム画像の肺野領域の垂直方向に位置合わせする垂直方向位置合わせ手段と、
を備え、
前記垂直方向位置合わせ手段により肺野領域の垂直方向が位置合わせされた複数のフレーム画像を用いて、少なくとも前記特徴点設定手段による特徴点の設定及び前記対応点探索手段による対応点の探索を行う。
請求項12に記載の発明は、請求項11に記載の発明において、
前記垂直方向位置合わせ手段は、前記各フレーム画像から抽出した肺野領域に基づいて、横隔膜と肺尖部における基準点の位置を取得し、取得した基準点の位置に基づいて前記各フレーム画像の肺野領域の垂直方向を前記基準フレーム画像の肺野領域の垂直方向に合わせるための変換行列を推定し、推定した変換行列を用いて前記各フレーム画像の肺野領域の垂直方向を前記基準フレーム画像の肺野領域の垂直方向に位置合わせする。
請求項13に記載の発明は、請求項10〜12のいずれか一項に記載の発明において、
前記推定手段により推定された前記複数のフレーム画像間における肺野領域の各画素の対応関係に基づいて、前記各フレーム画像の肺野領域を前記基準フレーム画像の肺野領域に位置合わせした位置合わせ画像を生成する位置合わせ手段を備える。
請求項14に記載の発明は、請求項1〜9のいずれか一項に記載の発明において、
前記複数のフレーム画像の中から一の基準フレーム画像を選択する選択手段と、
前記推定手段により推定された前記複数のフレーム画像間における肺野領域の各画素の対応位置に基づいて、前記各フレーム画像の肺野領域を前記基準フレーム画像の肺野領域に位置合わせした位置合わせ画像を生成する位置合わせ手段と、を備える。
請求項15に記載の発明は、請求項1〜14のいずれか一項に記載の発明において、
前記特徴点設定手段により設定された特徴点をユーザーが修正するための修正手段を備える。
請求項16に記載の発明は、請求項1〜15のいずれか一項に記載の発明において、
前記設定された特徴点と前記探索された対応点との位置関係を前記胸部動態画像に付加して表示する表示手段を備える。
本発明によれば、胸部動態画像において、呼吸に伴う肺野の濃度変化情報の抽出精度を向上させることが可能となる。
本発明の実施形態における動態画像処理システムの全体構成を示す図である。 図1の撮影用コンソールの制御部により実行される撮影制御処理を示すフローチャートである。 図1の診断用コンソールの制御部により実行される濃度変化情報抽出処理を示すフローチャートである。 (a)は、肺野輪郭に特徴点を設定した例を示す図、(b)は、肺血管上に特徴点を設定した例を示す図、(c)は肺野輪郭及び肺血管に特徴点を設定した例を示す図である。 修正画面の一例を示す図である。 (a)は、特徴点とその対応点との位置関係を示す位置関係マップを模式的に示す図、(b)は、補間後の全画素とその対応点の位置関係を示す位置関係マップを模式的に示す図である。 (a)は、換気が正常である被検者の動態画像における位置合わせ前の濃度波形の一例を示す図、(b)は、(a)の動態画像における本実施形態による位置合わせ後の濃度波形を示す図、(c)は、換気が異常である被検者の動態画像における本実施形態による位置合わせ後の濃度波形を示す図である。 特徴点と対応点の位置関係を示す移動ベクトルを基準フレーム画像上に表示した例を示す図である。 移動ベクトル静止画像の肺尖、横隔膜、外胸郭、内胸郭等の各部位における移動量(ベクトルの大きさ)をレーダーチャートで表示した例を示す図である。 或るフレーム画像の肺野領域の垂直方向のみを基準フレーム画像に位置合わせした例を示す図である。
以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
〔動態画像処理システム100の構成〕
まず、本実施形態の構成を説明する。
図1に、本実施形態における動態画像処理システム100の全体構成を示す。
図1に示すように、動態画像処理システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。動態画像処理システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
〔撮影装置1の構成〕
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、生体の動態を撮影する撮影手段である。動態撮影とは、被写体に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、被写体の動態を示す複数の画像を取得することをいう。動態撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、パルス照射により胸部の動態撮影を行う場合を例にとり説明する。
放射線源11は、被写体M(被検者)を挟んで放射線検出部13と対向する位置に配置され、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。
放射線照射制御装置12は、撮影用コンソール2に接続されており、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。撮影用コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、1撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線検出部13は、FPD(Flat Panel Detector)等の半導体イメージセンサーにより構成される。FPDは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、何れを用いてもよい。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
読取制御装置14は、撮影用コンソール2に接続されている。読取制御装置14は、撮影用コンソール2から入力された画像読取条件に基づいて放射線検出部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部13に蓄積された電気信号を読み取ることにより、画像データを取得する。この画像データがフレーム画像である。フレーム画像の画素信号値は濃度値を表す。そして、読取制御装置14は、取得したフレーム画像を撮影用コンソール2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14は互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
〔撮影用コンソール2の構成〕
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師等の撮影実施者によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、図1に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory
)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影用コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部22は、図2に示す撮影制御処理を実行するためのプログラムを記憶している。また、記憶部22は、検査対象部位(ここでは、胸部とする)に対応付けて放射線照射条件及び画像読取条件を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔診断用コンソール3の構成〕
診断用コンソール3は、撮影用コンソール2から動態画像を取得し、取得した動態画像に画像処理を施して表示する動態画像処理装置である。
診断用コンソール3は、図1に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35を備えて構成され、各部はバス36により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、後述する濃度変化情報抽出処理を始めとする各種処理を実行し、診断用コンソール3の各部の動作を集中制御する。制御部31は、抽出手段、特徴点設定手段、対応点探索手段、推定手段、選択手段、位置合わせ手段、として機能する。
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32は、制御部31で診断支援処理を実行するためのプログラムを始めとする各種プログラムやプログラムによる処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部32には、過去に撮影された動態画像が識別ID、患者情報(被検者情報。例えば、患者ID、患者(被検者)の氏名、身長、体重、年齢、性別等)、検査情報(例えば、検査ID、検査日、検査対象部位(ここでは、胸部)、呼吸状態等)等に対応付けて記憶されている。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、ユーザーによるキーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、LCDやCRT等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、各種表示を行う。
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔動態画像処理システム100の動作〕
次に、本実施形態における上記動態画像処理システム100の動作について説明する。
(撮影装置1、撮影用コンソール2の動作)
まず、撮影装置1、撮影用コンソール2による撮影動作について説明する。
図2に、撮影用コンソール2の制御部21において実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
まず、撮影実施者により撮影用コンソール2の操作部23が操作され、被検者(被写体M)の患者情報、検査情報の入力が行われる(ステップS1)。
次いで、放射線照射条件が記憶部22から読み出されて放射線照射制御装置12に設定されるとともに、画像読取条件が記憶部22から読み出されて読取制御装置14に設定される(ステップS2)。
次いで、操作部23の操作による放射線照射の指示が待機される(ステップS3)。ここで、撮影実施者は、被写体Mを放射線源11と放射線検出部13の間に配置してポジショニングを行う。また、被検者(被写体M)に対し、呼吸状態(例えば、安静呼吸)を指示する。撮影準備が整った時点で、操作部23を操作して放射線照射指示を入力する。
操作部23により放射線照射指示が入力されると(ステップS3;YES)、放射線照射制御装置12及び読取制御装置14に撮影開始指示が出力され、動態撮影が開始される(ステップS4)。即ち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像が取得される。
予め定められたフレーム数の撮影が終了すると、制御部21により放射線照射制御装置12及び読取制御装置14に撮影終了の指示が出力され、撮影動作が停止される。撮影されるフレーム数は、少なくとも1呼吸サイクルが撮影できる枚数である。
撮影により取得されたフレーム画像は順次撮影用コンソール2に入力され、撮影順を示す番号(フレーム番号)と対応付けて記憶部22に記憶されるとともに(ステップS5)、表示部24に表示される(ステップS6)。撮影実施者は、表示された動態画像によりポジショニング等を確認し、撮影により診断に適した画像が取得された(撮影OK)か、再撮影が必要(撮影NG)か、を判断する。そして、操作部23を操作して、判断結果を入力する。
操作部23の所定の操作により撮影OKを示す判断結果が入力されると(ステップS7;YES)、動態撮影で取得された一連のフレーム画像のそれぞれに、動態画像を識別するための識別IDや、患者情報、検査情報、放射線照射条件、画像読取条件、撮影順を示す番号(フレーム番号)等の情報が付帯され(例えば、DICOM形式で画像データのヘッダ領域に書き込まれ)、通信部25を介して診断用コンソール3に送信される(ステップS8)。そして、本処理は終了する。一方、操作部23の所定の操作により撮影NGを示す判断結果が入力されると(ステップS7;NO)、記憶部22に記憶された一連のフレーム画像が削除され(ステップS9)、本処理は終了する。この場合、再撮影が必要となる。
(診断用コンソール3の動作)
次に、診断用コンソール3における動作について説明する。
診断用コンソール3においては、通信部35を介して撮影用コンソール2から動態画像の一連のフレーム画像が受信されると、受信された動態画像の一連のフレーム画像が識別ID、患者情報及び検査情報等に対応付けて記憶部32に記憶される。また、記憶部32に記憶されている動態画像の中から操作部33により一の動態画像が選択され、濃度変化情報の抽出の実行が指示されると、制御部31と記憶部32に記憶されているプログラムとの協働により図3に示す濃度変化情報抽出処理が実行される。以下、図3を参照して濃度変化情報抽出処理について説明する。
まず、動態画像を構成する複数のフレーム画像の中から一のフレーム画像が基準フレーム画像として選択される(ステップS11)。基準フレーム画像は、複数のフレーム画像間の位置合わせの基準となるフレーム画像であるが、いずれのフレーム画像を基準フレーム画像としてもよい。例えば、予め設定された呼吸位相(例えば、最大呼気位や最大吸気位)のフレーム画像を自動的に選択してもよいし、操作部33の操作によりユーザーが選択してもよい。
次いで、基準フレーム画像から肺野領域が抽出される(ステップS12)。
肺野領域の抽出は、公知のいずれの手法を用いてもよい。例えば、フレーム画像の各画素の信号値(濃度値)のヒストグラムから判別分析によって閾値を求め、この閾値より高信号の領域を肺野領域候補として1次抽出する。次いで、1次抽出された肺野領域候補の境界付近でエッジ検出を行い、境界付近の小ブロックでエッジが最大となる点を境界に沿って抽出すれば肺野領域の境界を抽出することができる。
次いで、抽出された肺野領域内に特徴点が設定される(ステップS13)。
ステップS13においては、基準フレーム画像から抽出された肺野領域内の、呼吸に伴う肺野の動きによって動く位置(肺野の動きを反映している位置)に特徴点を設定する。本処理では、各フレーム画像間で肺野内の各点の対応点(生体的に同じ点)を求めて濃度変化情報を抽出するが、肺野と異なる方向に動く構造物上に特徴点が設定されると、対応点を探索したり推定したりする際の処理精度が低下する。そこで、ステップS13では、呼吸に伴う肺野の動きによって動く位置(肺野の動きを反映している位置)に特徴点を設定し、呼吸に伴う肺野の動きと異なる動きをする位置、例えば、肋骨が存在する位置には特徴点は設定しない。
例えば、図4(a)に示すように、肺野輪郭に特徴点を設定する。肺野輪郭は、呼吸に伴う肺野の動きを最もよく反映していると想定されるためである。なお、心臓付近の肺野輪郭は呼吸に伴う動きよりも心拍の動きを強く反映しているため、肺野輪郭のうち心臓領域に重なる部分を除いた位置に特徴点を設定することが好ましい。心臓領域の抽出は、例えば、心臓のテンプレート画像を用いたテンプレートマッチング処理を用いて行うことができる。
また、例えば、図4(b)に示すように、肺血管に特徴点を設定することとしてもよい。肺血管は、肺野領域内に存在し呼吸に伴う肺野の動きに伴って動くため、肺野の動きを反映していると想定されるためである。肺血管の抽出処理としては、例えば、ヘッセ行列を用いて線状構造物を抽出する方法等を用いることができる(例えば、Qiang Li, “Selective enhancement filters for nodules, vessels, and airway salls in two- and three- dimensional CT scans”, MEDICAL PHYSICS. SEPTEMBER 2003参照)。なお、太さが0.3mm以下の細動脈は認識/追跡が困難であり、また、太い血管に比べて肺野の動きを反映していない。そこで、抽出された肺血管から細動脈を除いて、大動脈、動脈、大静脈、及び/又は静脈上に特徴点を設定することが好ましい。
また、例えば、図4(c)に示すように、肺野輪郭(心臓領域に重なる部分を除いた肺野輪郭が好ましい)及び肺血管(大動脈、動脈、大静脈、及び/又は静脈上が好ましい)に特徴点を設定することとしてもよい。
また、過去の動態画像における特徴点の設定情報(例えば、肺野輪郭のみ、肺血管のみ、肺野輪郭+肺血管等)を患者情報に対応付けて記憶部32に記憶しておき、被検者の過去の特徴点の設定情報に基づいて、過去と同じ個所に特徴点を設定することとしてもよい。
また、過去の動態画像において設定された特徴点位置情報(座標)を患者情報に対応付けて記憶部32に記憶しておき、被検者の過去の動態画像において特徴点が設定された位置と同じ位置(座標)に特徴点を設定することとしてもよい。
また、特徴点を設定する構造物を操作部33によりユーザーが指定できるようにしてもよい。例えば、肺野輪郭のみ、肺血管のみ、肺野輪郭+肺血管等をユーザーが指定できるようにしてもよい。また、ユーザーが特徴点を設定する構造物に重みづけ(ステップS15の処理で使用する際の重みづけ)を設定できるようにしてもよい。
なお、特徴点設定の自由度及び精度向上のため、制御部31は、自動的に設定した特徴点の位置をユーザーが修正するための修正画面341を表示部34に表示し、操作部33によるユーザー操作に応じて特徴点の位置を修正することが好ましい(修正手段)。
図5は、修正画面341の一例を示す図である。図5に示すように、修正画面341には、特徴点の位置にマークが付与された基準フレーム画像341aが表示されており、例えば、ユーザーが操作部33のマウス等により位置を修正したい特徴点を指定して修正後の位置にドラッグ(移動)することで、特徴点の位置を修正することができる。
修正画面341は、肺野領域を拡大表示する機能を備えることが好ましい。これにより、修正の精度向上及び修正作業の行いやすさの向上を図ることができる。
また、複数の特徴点をグループ化してまとめて移動(修正)できるようにしてもよい。これにより、修正作業の効率化を図ることができる。
また、本処理を行う前に、少ない特徴点数又は縮小した画像で後述するステップS14〜ステップS16の処理を行って位置合わせ画像のプレビュー画像を生成して表示部34に表示することとしてもよい。これにより、処理のやり直し時の時間を短縮することができる。
次いで、基準フレーム画像以外の各フレーム画像から、特徴点に対応する対応点が探索される(ステップS14)。
基準フレーム画像以外の各フレーム画像上の対応点の探索方法としては、基準フレーム画像と各フレーム画像間で対応点の探索を直接行っても良いし、基準フレーム画像から開始して各隣接フレーム画像間で順次対応点の探索を行ってもよい。
基準フレーム画像から開始して各隣接フレーム間で順次対応点の探索を行う場合について説明する。例えば、全フレーム画像数がN枚、基準フレーム画像がiフレーム目であるとする。初めにiフレーム目の特徴点に対応する対応点をi+1フレーム目から探索する。次にi+1フレーム目から探索された対応点を基準としてi+2フレーム目の対応点の探索を行い、同様にNフレーム目までの対応点を探索する。同様にiフレーム目の特徴点に対応する対応点をi-1フレーム目から探索する。次にi-1フレーム目から探索された対応点を基準としてi-2フレーム目の対応点の探索を行い、同様に1フレーム目までの対応点を探索する。本処理で基準フレーム画像の特徴点から各フレーム画像の対応点への移動ベクトルを求める際には、基準フレーム画像から該当フレーム画像までのすべての移動ベクトルを加算することで算出が可能である。例えば、基準フレーム画像がiフレーム目で、基準フレーム画像の特徴点からi+3フレーム目の対応点への移動ベクトルを算出したい場合には、iフレーム目の特徴点からi+1フレーム目の対応点への移動ベクトルと、 i+1フレーム目の対応点からi+2フレーム目の対応点への移動ベクトルと、 i+2フレーム目の対応点からi+3フレーム目の対応点への移動ベクトルとを加算すればよい。
各フレーム画像における対応点の探索方法としては、例えば、基準フレーム画像の各特徴点(隣接するフレーム画像間での探索の場合は、基準とするフレーム画像から探索された特徴点の対応点)を中心とする所定サイズのROIをテンプレート画像としたテンプレートマッチング処理を用いることができる。テンプレートマッチングの類似度としては、例えば、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、相互相関係数等を用いて算出することができる。
また、例えば、オプティカルフロー処理を用いて各フレーム画像から基準フレーム画像の各特徴点に対応する対応点を探索することとしてもよい。オプティカルフロー処理としては、Sparse型のLucas-Kanade法や、Dense型のHorn-Schunck法、Gunnar-Farneback法等があるが、いずれを用いてもよい。
また、過去の対応点探索モデルを用いて各フレーム画像から基準フレーム画像の各特徴点に対応する対応点の位置を探索することとしてもよい。例えば、過去の動態画像における対応点探索結果を対応点探索モデルとして患者情報及び/又は検査情報に対応付けて記憶部32に記憶しておき、被検者の過去の対応点探索モデル又は被検者と被検者情報及び/又は検査情報の所定の項目の情報(例えば、年齢、性別、身長、体重、国籍、撮影時の呼吸状態等)が類似する(一致又は差が所定の範囲内の)被検者の過去の対応点探索モデルを用いて特徴点に対応する対応点の位置を求めてもよい。例えば、対応点探索モデルにおける、ステップS13で設定した特徴点位置に最も近い対応点を対応点として適用してもよいし、対応点探索モデルの特徴点に対応する対応点をそのまま対応点として適用してもよい。
次いで、各フレーム画像毎に、基準フレーム画像において設定された特徴点とその対応点の位置関係を示す移動ベクトルをマッピングした位置関係マップを作成し、作成した位置関係マップを補間することで、各フレーム画像における各画素(特徴点以外の点)の対応点が推定される(ステップS15)。
図6(a)に、特徴点とその対応点との位置関係を示す位置関係マップを模式的に示す。図6(b)に、補間後の各画素とその対応点との位置関係を示す位置関係マップを模式的に示す。補間方法としては、スプライン補間や多項式近似等を挙げることができる。
なお、特徴点に重みづけが設定されている場合、ステップS15においては、重みづけが高い特徴点と対応点との位置関係に基づいて各画素の対応点を推定する。これにより、対応点の推定精度を向上させることができる。
次いで、各フレーム画像において、生成した全画素の位置関係マップに基づいて、基準フレーム画像以外の他のフレーム画像の肺野領域を基準フレーム画像の肺野領域に位置合わせした位置合わせ画像(位置合わせ動態画像と呼ぶ)を生成する(ステップS16)。
ここで、本実施形態では、呼吸に伴う肺野の動きによって動く点のみに特徴点を設定しているため、本実施形態で作成される位置合わせ動態画像では、肋骨等の肺野と異なる動きをする構造物が位置ずれにより歪む(不鮮明となる)が、肺野輪郭や肺血管の位置がフレーム画像間で固定された鮮明な画像が得られる。
次いで、位置合わせした各フレーム画像に基づいて、濃度変化情報が抽出される(ステップS17)。
例えば、各フレーム画像のそれぞれを複数の小領域(例えば、0.4〜4cm角の小領域)に分割し、小領域毎に、小領域に含まれる複数画素の濃度値の代表値(平均値、中央値、最大値、最小値等)を算出し、算出した濃度値の時間変化を示す濃度波形を濃度変化情報として抽出する。
なお、本実施形態では、フレーム画像間の対応点に基づいて位置合わせ動態画像を生成し、生成した位置合わせ動態画像から濃度波形を抽出することとしたが、必ずしも位置合わせ画像を生成しなくても、各フレーム画像の対応点の濃度変化をたどることで、濃度波形を抽出することは可能である。
次いで、抽出された濃度波形が表示部34に表示され(ステップS18)、濃度変化情報抽出処理は終了する。
ここで、図7(a)は、換気が正常である被検者の位置合わせ前の動態画像の位置A、B(位置Aは肋骨が重畳していない位置、位置Bは肋骨が重畳している位置)から抽出した濃度波形を模式的に示す図である。図7(b)は、図7(a)と同じ被検者の本実施形態による位置合わせ後の動態画像の位置A、Bから抽出した濃度波形を模式的に示す図である。図7(c)は、換気が異常である被検者の本実施形態による位置合わせ後の動態画像の位置A、Bから抽出した濃度波形を模式的に示す図である。
換気が正常である被検者の場合、呼吸に伴う肺野の時間方向の濃度変化を示す濃度波形と、横隔膜位置(例えば、安静吸気位(横隔膜位置が最も下がったとき)の横隔膜位置を原点とした場合の座標)の時間変化を示す波形を反転した波形(横隔膜位置波形と呼ぶ)とは位相がほぼ一致するはずである。しかし、従来のように、呼吸に伴う肺野の動きと異なる動きをする構造物に対しても特徴点を設定して位置合わせを行い、得られた画像から濃度波形を抽出すると、図7(a)の位置Bのように、肋骨等の、呼吸に伴う肺野の動きと異なる動きをする構造物が重なっている付近の領域では、それらの動きの影響により横隔膜位置波形と位相のずれ(極端な例では、逆位相)が発生する。一方、本実施形態の手法により生成した換気が正常である被検者の位置合わせ画像から濃度波形を抽出すると、図7(b)に示すように、横隔膜位置波形との位相のずれが減少した濃度波形を得ることができる。また、本実施形態で生成した位置合わせ画像から濃度波形を抽出した場合において、図7(c)に示すように、横隔膜位置波形と位相がずれた濃度波形が抽出された領域には、異常がある可能性が高いと判断することができる。
なお、医師の診断を支援するための情報として、制御部31は、以下の情報についても表示部34に表示することとしてもよい。
(1)例えば、上記の特徴点と対応点の位置関係を示す移動ベクトルを動態画像のフレーム画像上に付加して表示部34に表示する。これにより、肺野の動きが正常であるか異常であるかを医師が容易に把握することが可能となる。
(1−1)例えば、図8に示すように、ステップS13において設定された特徴点とその対応点との位置関係を示す移動ベクトルとを基準フレーム画像上に表示する。移動ベクトルとしては、例えば、特徴点から最も遠い対応点との位置関係を示す移動ベクトルを表示する。
(1−2)例えば、各フレーム画像に、基準フレーム画像における特徴点とその対応点との移動ベクトルを付加して表示部34に動画表示する。
上記(1−1)で表示される画像を移動ベクトル静止画像、(1−2)で表示される画像を移動ベクトル動画像と呼ぶ。
(2)被検者と正常者の移動ベクトル静止画像又は移動ベクトル動画像を並べて表示部34に表示する。これにより、肺野の動きが正常であるか異常であるかを医師が容易に把握することが可能となる。
(3)ユーザーが指定した向きを示す移動ベクトルのみを表示した移動ベクトル静止画像又は移動ベクトル動画像を表示部34に表示する。
(4)左右の肺野で差が大きい領域の移動ベクトルのみを表示した移動ベクトル静止画像又は移動ベクトル動画像を表示部34に表示する。
(5)ユーザーが指定した位置の移動ベクトル情報を時系列にグラフ(例えば、折れ線グラフ等)で表示部34に表示する。
(6)過去の移動ベクトル静止画像又は移動ベクトル動画像を患者情報と対応付けて記憶部32に記憶しておき、被検者の所定の期間の移動ベクトル静止画像又は移動ベクトル動画像を記憶部32から読み出して並べて表示部34に表示する。これにより経過観察が可能となる。
(7)過去の移動ベクトル静止画像又は移動ベクトル動画像を疾患名(例えば、COPD、間質性肺炎等)と対応付けて記憶部32に記憶しておき、今回生成した移動ベクトル静止画像又は移動ベクトル動画像と移動ベクトルが近い画像を記憶部32において検索し、検索された画像のうち、移動ベクトルが近い画像から順に疾患名とともに表示部34に表示する。これにより、被検者の肺野の動きに近い疾患名の把握が容易となる。
(8)位置合わせ画像を表示部34に表示する。
(9)位置合わせ画像、移動ベクトル静止画像又は移動ベクトル動画像における左右肺野の一方を左右反転し、左右の肺野の向きを揃えて表示する。
(10)横隔膜の移動ベクトル(例えば、移動ベクトルの大きさ)の時間変化を示す波形を生成し、表示する。
上記(1)〜(9)において移動ベクトルを表示する際には、移動ベクトルの大きさに応じて移動ベクトルの色を変更することとしてもよい。例えば、移動ベクトルの大きさと色を対応付けたLUT(Look Up Table)を記憶部32に記憶しておき、LUTに基づいて移動ベクトルの大きさに応じた色で移動ベクトルを表示することとしてもよい。
また、移動ベクトルの大きさに応じて移動ベクトルの太さを変更することとしてもよい。
これにより、移動の大きい箇所、小さい箇所を医師がより容易に把握することが可能となる。
また、移動ベクトルの方向に合わせて移動ベクトルの色を変更することとしてもよい。例えば、移動ベクトルの方向と色を対応付けたLUT(Look Up Table)を記憶部32に記憶しておき、LUTに基づいて移動ベクトルの方向に応じた色で移動ベクトルを表示することとしてもよい。これにより、移動の方向を医師がより容易に把握することが可能となる。
なお、医師の患者への説明を補助するための情報として、制御部31は、以下の(11)〜(17)の情報を表示部34に表示することとしてもよい。
(11)正常者と疾患患者の移動ベクトル静止画像又は移動ベクトル動画像を同時に(並べて又は重ねて)表示する。
(12)被検者の過去の移動ベクトル静止画像又は移動ベクトル動画像を記憶部32に記憶しておき、被検者の過去の移動ベクトル静止画像又は移動ベクトル動画像と今回の検査で生成された移動ベクトル静止画像又は移動ベクトル動画像を経過観察の容易化のために並べて又は重ねて表示する。
(13)被検者の過去の移動ベクトル静止画像又は移動ベクトル動画像と今回の検査で生成された移動ベクトル静止画像又は移動ベクトル動画像の変化部分(移動ベクトルの大きさ、向き)を強調して(例えば色を変える等して)を経過観察の容易化のために並べて又は重ねて表示する。
(14)被検者の移動ベクトル静止画像又は移動ベクトル動画像を表示する際に、移動ベクトルの数値(変化量の数値)及び説明文(例えば、○○方向へ△△mm移動)を併せて表示する。これにより、肺野移動量の定量表示が可能となる。
(15)被検者の移動ベクトルと類似の移動ベクトルをもつ疾患を検索し、疾患名及び被検者の移動ベクトルとその疾患の移動ベクトルの差異量を表示部34に表示する。これにより、被検者と肺野の動きが近い疾患とを容易に比較することが可能となる。
(16)被検者の現在の移動ベクトル静止画像又は動画像と、今後疾患が改善した場合の移動ベクトル静止画像又は動画像(予後予測の移動ベクトル静止画像又は動画像)を同時に(並べて又は重ねて)表示する。
(17)図9に示すように、被検者の移動ベクトル静止画像の肺尖、横隔膜、外胸郭、内胸郭等の各部位における移動量(ベクトルの大きさ)をレーダーチャートで表示する。
以上説明したように、診断用コンソール3の制御部31は、胸部動態画像の複数のフレーム画像の少なくとも一つから肺野領域を抽出し、抽出された肺野領域における呼吸に伴う肺野の動きによって動く位置に特徴点を設定し、設定された特徴点に対応する対応点を前記特徴点が設定されたフレーム画像以外の他のフレーム画像から探索する。そして、設定された特徴点と探索された対応点の位置関係に基づいて、胸部動態画像の複数のフレーム画像間における肺野領域の各画素の対応関係を推定する。
したがって、肺野領域における呼吸に伴う肺野の動きによって動く位置に特徴点を設定するので、呼吸により肺野の動きと異なる方向へ動く構造物(例えば、肋骨)に特徴点が設定されて対応点を探索したり推定したりする際の動きの方向に矛盾が生じることがなくなるため、肺野内の生体的に同じ位置を表す画素同士を精度よく対応させることが可能となる。その結果、呼吸に伴う肺野の濃度変化情報の抽出精度を向上させることが可能となる。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、基準フレーム画像が一つである場合を例にとり説明したが、複数であってもよい。例えば、複数の呼吸周期を撮影した動態画像においては、各安静呼気位のフレーム画像を基準フレーム画像としてもよい。また、ユーザーが操作部33の操作により各基準フレーム画像と各基準フレーム画像に位置合わせするフレーム画像の範囲を指定できるようなユーザーインターフェース(例えば、操作画面等)を備える構成としてもよい。
また、上記実施形態においては、基準フレーム画像において、肺野領域を抽出し、抽出した肺野領域内において呼吸に伴う肺野の動きに応じて動く点を特徴点として設定し、設定した特徴点に対応する点を他のフレーム画像から探索することとして説明したが、各フレーム画像から肺野領域を抽出し、各フレーム画像の肺野領域内において特徴点を設定し、設定した各フレーム画像の特徴点に対応する点を他のフレーム画像から探索することとしてもよい。
また、制御部31は、減弱手段として、胸部動態画像の複数のフレーム画像のそれぞれに対して骨部に起因する信号成分を減弱する骨部減弱処理(例えば、WO2015/157067参照)を行い、骨部に起因する信号成分が減弱されたフレーム画像を用いて、上記濃度変化情報抽出処理におけるステップS13以降の処理行うこととしてもよい。これにより、肺血管の認識/追跡精度が向上する。また、肺野領域における骨による濃度変化の発生を抑制できるため、濃度解析精度が向上する。
なお、肺野領域の抽出は、骨減弱処理の前に行っても後に行っても構わない。また骨部減弱処理後のフレーム画像を用いて、少なくとも特徴点の設定及び特徴点に対応する対応点の探索を行えば、精度良く位置合わせを行うことが可能となる。
また、肺野の垂直方向の動き(主に横隔膜の動き)は他の方向の動きに対して非常に大きく、他の方向と共に上記実施形態における対応点の探索を行った場合に探索の精度が低下する場合がある。そこで、制御部31により、事前に各フレーム画像から肺野領域を抽出し、フレーム画像間で肺野領域の垂直方向の位置合わせを行い(垂直方向位置合わせ手段)、垂直方向の位置合わせが行われた動態画像に対して、図3のステップS13以降の処理を行うこととしてもよい。
例えば、動態画像の複数のフレーム画像の中から一の基準フレーム画像を選択し、他のフレーム画像の肺野領域の垂直方向のみを基準フレーム画像に位置合わせする。すなわち、基準フレーム画像に合わせて他のフレーム画像の肺野形状を垂直方向に拡大/縮小する(図10参照)。そして、肺野領域の垂直方向の位置合わせが行われた各フレーム画像を用いて、図3のステップS13以降の処理を行う。
他のフレーム画像の肺野領域の垂直方向のみを基準フレーム画像に位置合わせする手法としては、例えば、以下の(a)〜(c)により位置合わせを行うフレーム画像間で3点法を用いて変換行列を推定し、推定した行列を用いて肺野領域の垂直方向の位置合わせを行う手法を用いることができる。
(a)各フレーム画像で基準点(例えば、左右の肺尖の中点、右横隔膜の頂点、左横隔膜の頂点の3点)を抽出する。
(b)各フレーム画像において抽出した3点の基準点の位置が基準フレーム画像において抽出した3点の基準点の位置に合うようにするための変換行列をそれぞれ推定する。
(c)推定された変換行列を用いて、各フレーム画像の肺野領域の垂直方向を基準フレーム画像の肺野領域に合わせる。
なお、基準点として、左右の肺尖のそれぞれと、右横隔膜の頂点、左横隔膜の頂点の4点を抽出し、抽出した4点を基準点として用いて変換行列を推定してもよい。
このように、事前に各フレーム画像から肺野領域を抽出し、フレーム画像間で肺野領域の垂直方向の位置合わせを行い、垂直方向の位置合わせが行われた動態画像に対して、特徴点の設定〜対応点の探索を行って位置合わせを行うことで、全方向への精度良い対応点の抽出(位置合わせ)が可能となる。
また、例えば、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD−ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、動態画像処理システムを構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
100 動態画像処理システム
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 撮影用コンソール
21 制御部
22 記憶部
23 操作部
24 表示部
25 通信部
26 バス
3 診断用コンソール
31 制御部
32 記憶部
33 操作部
34 表示部
35 通信部
36 バス

Claims (16)

  1. 被検者の胸部の動態を放射線撮影することにより得られた胸部動態画像の複数のフレーム画像の少なくとも一つから肺野領域を抽出する抽出手段と、
    前記抽出手段により抽出された肺野領域における呼吸に伴う肺野の動きによって動く位置に特徴点を設定する特徴点設定手段と、
    前記特徴点設定手段により設定された特徴点に対応する対応点を前記特徴点が設定されたフレーム画像以外の他のフレーム画像から探索する対応点探索手段と、
    前記特徴点設定手段により設定された特徴点と前記対応点探索手段により探索された対応点の位置関係に基づいて、前記複数のフレーム画像間における肺野領域の各画素の対応関係を推定する推定手段と、
    を備える動態画像処理装置。
  2. 前記特徴点設定手段は、前記抽出手段により抽出された肺野領域における肺野輪郭の位置に特徴点を設定する請求項1に記載の動態画像処理装置。
  3. 前記特徴点設定手段は、前記肺野輪郭における心臓領域と重ならない位置に特徴点を設定する請求項2に記載の動態画像処理装置。
  4. 前記特徴点設定手段は、前記抽出手段により抽出された肺野領域における肺血管の位置に特徴点を設定する請求項1〜3のいずれか一項に記載の動態画像処理装置。
  5. 前記特徴点設定手段は、前記肺血管のうち、大動脈、動脈、大静脈又は静脈に特徴点を設定する請求項4に記載の動態画像処理装置。
  6. 前記対応点探索手段は、テンプレートマッチング処理又はオプティカルフロー処理を用いて前記特徴点に対応する対応点を探索する請求項1〜5のいずれか一項に記載の動態画像処理装置。
  7. 過去の胸部動態画像における対応点探索結果を示す対応点探索モデルを被検者情報及び/又は検査情報に対応付けて記憶する記憶する記憶手段を備え、
    前記対応点探索手段は、前記記憶手段に記憶されている前記被検者又は前記被検者と予め定められた項目の被検者情報及び/又は検査情報が類似している被検者の対応点探索モデルに基づいて、前記特徴点に対応する対応点を探索する請求項1〜6のいずれか一項に記載の動態画像処理装置。
  8. 前記推定手段は、前記フレーム画像毎に、前記特徴点とその対応点の位置関係を示す移動ベクトルをマッピングした位置関係マップを作成し、前記特徴点が設定されたフレーム画像における前記特徴点以外の各画素に対する対応点の位置を前記作成した位置関係マップを補間することにより推定することで、前記複数のフレーム画像間における肺野領域の各画素の対応関係を推定する請求項1〜7のいずれか一項に記載の動態画像処理装置。
  9. 前記胸部動態画像の複数のフレーム画像に骨部減弱処理を施す減弱手段を備え、
    前記骨部減弱処理が施されたフレーム画像を用いて、少なくとも前記特徴点設定手段による前記特徴点の設定及び前記対応点探索手段による前記対応点の探索を行う請求項1〜8のいずれか一項に記載の動態画像処理装置。
  10. 前記複数のフレーム画像の中から一の基準フレーム画像を選択する選択手段を備え、
    前記抽出手段は、前記基準フレーム画像から肺野領域を抽出し、
    前記特徴点設定手段は、前記基準フレーム画像の肺野領域における、呼吸に伴う肺野の動きによって動く位置に特徴点を設定する請求項1〜9のいずれか一項に記載の動態画像処理装置。
  11. 前記複数のフレーム画像の中から一の基準フレーム画像を選択する選択手段と、
    前記抽出手段により前記複数の各フレーム画像から肺野領域を抽出し、前記各フレーム画像の肺野領域の垂直方向を前記基準フレーム画像の肺野領域の垂直方向に位置合わせする垂直方向位置合わせ手段と、
    を備え、
    前記垂直方向位置合わせ手段により肺野領域の垂直方向が位置合わせされた複数のフレーム画像を用いて、少なくとも前記特徴点設定手段による特徴点の設定及び前記対応点探索手段による対応点の探索を行う請求項1〜9のいずれか一項に記載の動態画像処理装置。
  12. 前記垂直方向位置合わせ手段は、前記各フレーム画像から抽出した肺野領域に基づいて、横隔膜と肺尖部における基準点の位置を取得し、取得した基準点の位置に基づいて前記各フレーム画像の肺野領域の垂直方向を前記基準フレーム画像の肺野領域の垂直方向に合わせるための変換行列を推定し、推定した変換行列を用いて前記各フレーム画像の肺野領域の垂直方向を前記基準フレーム画像の肺野領域の垂直方向に位置合わせする請求項11に記載の動態画像処理装置。
  13. 前記推定手段により推定された前記複数のフレーム画像間における肺野領域の各画素の対応関係に基づいて、前記各フレーム画像の肺野領域を前記基準フレーム画像の肺野領域に位置合わせした位置合わせ画像を生成する位置合わせ手段を備える請求項10〜12のいずれか一項に記載の動態画像処理装置。
  14. 前記複数のフレーム画像の中から一の基準フレーム画像を選択する選択手段と、
    前記推定手段により推定された前記複数のフレーム画像間における肺野領域の各画素の対応位置に基づいて、前記各フレーム画像の肺野領域を前記基準フレーム画像の肺野領域に位置合わせした位置合わせ画像を生成する位置合わせ手段と、を備える請求項1〜9のいずれか一項に記載の動態画像処理装置。
  15. 前記特徴点設定手段により設定された特徴点をユーザーが修正するための修正手段を備える請求項1〜14のいずれか一項に記載の動態画像処理装置。
  16. 前記設定された特徴点と前記探索された対応点との位置関係を前記胸部動態画像に付加して表示する表示手段を備える請求項1〜15のいずれか一項に記載の動態画像処理装置。
JP2017193141A 2017-10-03 2017-10-03 動態画像処理装置及びプログラム Active JP6958202B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017193141A JP6958202B2 (ja) 2017-10-03 2017-10-03 動態画像処理装置及びプログラム
US16/137,486 US10825190B2 (en) 2017-10-03 2018-09-20 Dynamic image processing apparatus for aligning frame images obtained by photographing dynamic state of chest based on movement of lung-field region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017193141A JP6958202B2 (ja) 2017-10-03 2017-10-03 動態画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2019063328A true JP2019063328A (ja) 2019-04-25
JP6958202B2 JP6958202B2 (ja) 2021-11-02

Family

ID=65898136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017193141A Active JP6958202B2 (ja) 2017-10-03 2017-10-03 動態画像処理装置及びプログラム

Country Status (2)

Country Link
US (1) US10825190B2 (ja)
JP (1) JP6958202B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089612A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2022001991A (ja) * 2020-06-19 2022-01-06 沖電気工業株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP7500360B2 (ja) 2020-09-11 2024-06-17 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499867B2 (en) * 2018-01-08 2019-12-10 Shenzhen Keya Medical Technology Corporation Method, storage medium, and system for analyzing image sequences of periodic physiological activities
KR20190103085A (ko) * 2019-08-15 2019-09-04 엘지전자 주식회사 지능형 진단 디바이스
CN110930414A (zh) * 2019-10-17 2020-03-27 平安科技(深圳)有限公司 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质
CN111738998B (zh) * 2020-06-12 2023-06-23 深圳技术大学 病灶位置动态检测方法及装置、电子设备和存储介质
JP2023026878A (ja) * 2021-08-16 2023-03-01 コニカミノルタ株式会社 画像処理装置、表示制御方法及びプログラム
TWI773491B (zh) * 2021-08-19 2022-08-01 佛教慈濟醫療財團法人 肺功能鑑別方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009172190A (ja) * 2008-01-25 2009-08-06 Konica Minolta Holdings Inc 画像生成装置、プログラム、画像生成方法
JP2010268979A (ja) * 2009-05-22 2010-12-02 Konica Minolta Medical & Graphic Inc 動画像処理装置及びプログラム
JP2014121541A (ja) * 2012-11-21 2014-07-03 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理方法
WO2014185197A1 (ja) * 2013-05-16 2014-11-20 コニカミノルタ株式会社 画像処理装置及びプログラム
JP2015043894A (ja) * 2013-08-28 2015-03-12 国立大学法人金沢大学 X線動画像解析装置、x線動画像解析プログラム及びx線動画像撮像装置
JP2015167725A (ja) * 2014-03-07 2015-09-28 コニカミノルタ株式会社 画像処理装置、画像撮影システム及び画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3433928B2 (ja) * 2000-12-13 2003-08-04 三菱スペース・ソフトウエア株式会社 ディジタル胸部画像のリブケイジ境界検出方法及びディジタル胸部画像診断装置
JP4493408B2 (ja) 2003-06-06 2010-06-30 富士フイルム株式会社 画像読影支援方法及び装置並びにプログラム
WO2006116700A2 (en) * 2005-04-28 2006-11-02 Bruce Reiner Method and apparatus for automated quality assurance in medical imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009172190A (ja) * 2008-01-25 2009-08-06 Konica Minolta Holdings Inc 画像生成装置、プログラム、画像生成方法
JP2010268979A (ja) * 2009-05-22 2010-12-02 Konica Minolta Medical & Graphic Inc 動画像処理装置及びプログラム
JP2014121541A (ja) * 2012-11-21 2014-07-03 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理方法
WO2014185197A1 (ja) * 2013-05-16 2014-11-20 コニカミノルタ株式会社 画像処理装置及びプログラム
JP2015043894A (ja) * 2013-08-28 2015-03-12 国立大学法人金沢大学 X線動画像解析装置、x線動画像解析プログラム及びx線動画像撮像装置
JP2015167725A (ja) * 2014-03-07 2015-09-28 コニカミノルタ株式会社 画像処理装置、画像撮影システム及び画像処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089612A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP7143747B2 (ja) 2018-12-07 2022-09-29 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2022001991A (ja) * 2020-06-19 2022-01-06 沖電気工業株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP7500360B2 (ja) 2020-09-11 2024-06-17 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP6958202B2 (ja) 2021-11-02
US10825190B2 (en) 2020-11-03
US20190102893A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP6958202B2 (ja) 動態画像処理装置及びプログラム
JP6436182B2 (ja) 動態画像解析装置
JP6772873B2 (ja) 動態解析装置及び動態解析システム
JP6772908B2 (ja) 動態解析システム及びプログラム
JP6217241B2 (ja) 胸部診断支援システム
JP2018078974A (ja) 動態画像処理システム
JP2019058368A (ja) 動態解析装置及び動態解析システム
JP2017169830A (ja) 動態解析装置
US11080866B2 (en) Dynamic image processing method and dynamic image processing device
JP2018187310A (ja) 動態画像処理システム
JP6950507B2 (ja) 動態画像処理装置
JP5315686B2 (ja) 動態画像診断支援システム
JP2016209267A (ja) 医用画像処理装置及びプログラム
JP7047806B2 (ja) 動態解析装置、動態解析システム、動態解析プログラム及び動態解析方法
JP6962030B2 (ja) 動態解析装置、動態解析システム、動態解析プログラム及び動態解析方法
JP2020000475A (ja) 動態画像処理装置及びプログラム
JP6888721B2 (ja) 動態画像処理装置、動態画像処理プログラム及び動態画像処理方法
JP6874484B2 (ja) 動態画像処理システム
US11049253B2 (en) Dynamic analysis device and recording medium
JP2020203191A (ja) 動態解析システム及びプログラム
JP2020168172A (ja) 動態解析装置、動態解析システム及びプログラム
JP2020110364A (ja) 画像処理システム及びプログラム
JP2018175344A (ja) 診断支援システム
JP2020142018A (ja) 動態画像解析システム及び動態画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R150 Certificate of patent or registration of utility model

Ref document number: 6958202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150