JP2018068400A - 動態画像処理装置 - Google Patents

動態画像処理装置 Download PDF

Info

Publication number
JP2018068400A
JP2018068400A JP2016208447A JP2016208447A JP2018068400A JP 2018068400 A JP2018068400 A JP 2018068400A JP 2016208447 A JP2016208447 A JP 2016208447A JP 2016208447 A JP2016208447 A JP 2016208447A JP 2018068400 A JP2018068400 A JP 2018068400A
Authority
JP
Japan
Prior art keywords
route
diaphragm
candidates
candidate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2016208447A
Other languages
English (en)
Inventor
秀太 石田
Shuta Ishida
秀太 石田
謙太 嶋村
Kenta Shimamura
謙太 嶋村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2016208447A priority Critical patent/JP2018068400A/ja
Priority to US15/784,677 priority patent/US20180110491A1/en
Publication of JP2018068400A publication Critical patent/JP2018068400A/ja
Ceased legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • A61B6/4233Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using matrix detectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】マーカを用いずに被写体を放射線撮影した動態画像において、対象構造物の境界が不鮮明な場合であっても、各フレーム画像における対象構造物の位置を精度良く計測できるようにする。
【解決手段】診断用コンソール3によれば、制御部31は、動態画像の複数のフレーム画像のそれぞれにおける所定範囲内の各位置について、横隔膜との類似度を示す評価値を算出し、算出された評価値に基づいて、複数のフレーム画像のそれぞれから横隔膜位置候補を一つ以上抽出し、複数のフレーム画像のそれぞれから抽出された横隔膜位置候補を一つずつ時系列に繋いで横隔膜が移動したルート候補としてルート保持部321に記憶させる。そして、ルート保持部321に記憶されているルート候補の中から一つのルート候補を横隔膜の移動ルートとして決定し、決定したルートに含まれる横隔膜位置候補を複数のフレーム画像のそれぞれにおける横隔膜の位置として決定する。
【選択図】図3

Description

本発明は、動態画像処理装置に関する。
近年、X線動画FPD(Flat Panel Detector)の開発により、X線動態画像を撮影することが可能となった。CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)は高価で設置できる医療機関も限られるが、X線動態撮影システムは比較的安価で多くの医療機関に導入できるものであり、医師は容易に体内の構造物の動きを観察し、診断することができるようになってきている。
ところで、医用画像から体内の所定の構造物の位置を抽出する手法として、テンプレートマッチングを用いた抽出処理が知られている。テンプレートマッチングは、抽出したい対象構造物の基準画像をテンプレート画像として用意しておき、テンプレート画像を抽出対象の画像の中で移動させながら、テンプレート画像と重なる部分との相関値を算出していく処理である。一般的に、算出された相関値が最大の箇所が対象構造物の位置として抽出される。
例えば、特許文献1には、3次元超音波動画像において、被写体の心壁の動きをテンプレートマッチングを用いて計測することが記載されている。
また、特許文献2には、2次元のX線透視画像において、体内の腫瘍付近に埋め込んだマーカの位置をテンプレートマッチングを用いて探索し、腫瘍とマーカの位置関係から腫瘍の位置を特定することが記載されている。
特開2014−76331号公報 特許第5667489号公報
特許文献1では、上述のように、3次元画像にテンプレートマッチングを適用している。しかしながら、2次元のX線動態画像では、構造物同士の重なりが生じるため、対象の構造物の境界が曖昧になり、テンプレートマッチングを適用した場合、対象構造物の位置の相関値が低くなり精度よく位置を検出できない場合がある。図11に、X線動態画像の例を示す。図11の左図は横隔膜の境界が明瞭だが、右図では心臓と肋骨が横隔膜に重なり、境界が曖昧になっている。
また、特許文献2では、X線透視画像内の体内に埋め込んだ球形のマーカの位置・動きをテンプレートマッチングを用いて計測しているが、マーカを利用するとコスト・医療技術ともに大がかりなものとなり、利用現場が限定される。マーカを用いずに横隔膜等の臓器を対象構造物としてテンプレートマッチングを行うと、横隔膜等の臓器はマーカと比べて画像上に映りにくく、また時間とともに変形するため、相関値が最大の位置を抽出してしまうと高い精度で位置を検出することは困難である。
本発明の課題は、マーカを用いずに被写体を放射線撮影した動態画像において、対象構造物の境界が不鮮明な場合であっても、各フレーム画像における対象構造物の位置を精度良く計測できるようにすることである。
上記課題を解決するため、請求項1に記載の発明は、
被写体に放射線を照射して動態撮影することにより得られた複数のフレーム画像における所定の構造物の位置を計測する動態画像処理装置であって、
前記複数のフレーム画像のそれぞれにおける所定範囲内の各位置について、前記構造物との類似度を示す評価値を算出する評価値算出部と、
前記評価値算出部により算出された評価値に基づいて、前記複数のフレーム画像のそれぞれから前記構造物の位置候補を一つ以上抽出し、少なくとも一つの前記フレーム画像からは前記構造物の位置候補を複数抽出する位置候補抽出部と、
前記複数のフレーム画像のそれぞれから抽出された前記構造物の位置候補を時系列に繋いで前記構造物が移動したルート候補として複数のルート候補を記憶する記憶部と、
前記記憶部に記憶されている複数のルート候補の中から一つのルート候補を前記構造物の移動ルートとして決定し、決定したルートに含まれる前記構造物の位置候補を前記複数のフレーム画像のそれぞれにおける前記構造物の位置として決定するルート決定部と、
を備える。
請求項2に記載の発明は、請求項1に記載の発明において、
前記位置候補抽出部は、前記複数のフレーム画像のそれぞれにおいて、前記評価値算出部により算出された評価値が極大となる位置を前記構造物の位置候補として抽出する。
請求項3に記載の発明は、請求項2に記載の発明において、
前記位置候補抽出部は、前記構造物の位置候補の抽出範囲を前記構造物の移動速度及び/又は加速度に基づいて制限する。
請求項4に記載の発明は、請求項2又は3に記載の発明において、
前記位置候補抽出部は、前記構造物の移動方向が前記複数のフレーム画像のそれぞれを撮影したときの呼吸状態に合致するか否かに基づいて、抽出する前記構造物の位置候補を制限する。
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の発明において、
前記ルート決定部は、前記記憶部に記憶されている各ルート候補に含まれる前記構造物の位置候補のそれぞれについて算出された評価値に基づいて、前記構造物の移動ルートを決定する。
請求項6に記載の発明は、請求項5に記載の発明において、
前記ルート決定部は、前記ルート候補のそれぞれにおける、前記構造物の位置候補の評価値の合計値又は平均値、前記構造物の位置候補の評価値が所定の閾値以上又は所定の閾値未満のフレーム画像数又はフレーム画像数の割合、前記複数のルート候補間で同一のフレーム画像から算出された前記構造物の位置候補の評価値を比較したときの高さ順位の合計値又は平均値、又は、前記複数のルート候補間で同一のフレーム画像から算出された前記構造物の位置候補の評価値を比較したときの高さ順位が所定の閾値以上又は所定の閾値未満のフレーム画像数又はフレーム画像の割合に基づいて、前記構造物の移動ルートを決定する。
請求項7に記載の発明は、請求項1〜6の何れか一項に記載の発明において、
前記ルート決定部は、前記記憶部に記憶されている各ルート候補における前記構造物の移動量及び/又は移動方向に基づいて、前記構造物の移動ルートを決定する。
請求項8に記載の発明は、請求項1〜7の何れか一項に記載の発明において、

前記構造物の位置を計測するための初期設定をユーザーが入力するための初期設定入力部を備える。
請求項9に記載の発明は、請求項1〜8の何れか一項に記載の発明において、
前記構造物の位置の計測結果を出力する出力部を備える。
請求項10に記載の発明は、請求項1〜9の何れか一項に記載の発明において、
前記記憶部に記憶されている複数のルート候補をより少ない複数のルート候補に限定するルート限定部を備える。
請求項11に記載の発明は、請求項10に記載の発明において、
前記ルート限定部は、前記記憶部に記憶されている各ルート候補に含まれる前記構造物の位置候補のそれぞれについて算出された評価値に基づいて、前記ルート候補を限定する。
請求項12に記載の発明は、請求項11に記載の発明において、
前記ルート限定部は、前記評価値が所定の閾値以上の前記構造物の位置候補が存在した場合に、その位置候補を含むルート候補に限定する。
請求項13に記載の発明は、請求項10〜12の何れか一項に記載の発明において、
前記ルート限定部は、前記記憶部に記憶されている各ルート候補における前記構造物の移動量及び/又は移動方向に基づいて、前記ルート候補を限定する。
請求項14に記載の発明は、請求項10〜13の何れか一項に記載の発明において、
前記ルート限定部は、前記ルート候補のそれぞれにおける前記構造物の動きが前記動態撮影時の呼吸運動に対応しているか否かに基づいて、前記ルート候補を限定する。
請求項15に記載の発明は、請求項1〜14の何れか一項に記載の発明において、
前記所定の構造物は、横隔膜、心壁、肋骨、又は血管である。
請求項16に記載の発明は、請求項1〜15の何れか一項に記載の発明において、
前記評価値算出部は、テンプレートマッチングを用いて前記評価値を算出する。
本発明によれば、マーカを用いずに被写体を放射線撮影した動態画像において、対象構造物の境界が不鮮明な場合であっても、各フレーム画像における対象構造物の位置を精度良く計測することが可能となる。
本発明の実施形態における位置計測システムの全体構成を示す図である。 図1の撮影用コンソールの制御部により実行される撮影制御処理を示すフローチャートである。 図1の診断用コンソールの制御部により実行される位置計測処理を示すフローチャートである。 初期設定入力画面の一例を示す図である。 横隔膜位置候補の抽出手法を説明するための図である。 ルート保持部のデータ格納例を示す図である。 ルート候補の限定手法を説明するための図である。 計測結果画面の一例を示す図である。 結果修正画面の一例を示す図である。 結果修正画面の他の例を示す図である。 胸部の動態画像における横隔膜の境界を示す図である。
以下、図面を参照して本発明の実施形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
〔位置計測システム100の構成〕
まず、構成を説明する。
図1に、本実施形態における位置計測システム100の全体構成を示す。
図1に示すように、位置計測システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。位置計測システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
〔撮影装置1の構成〕
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、生体の動態を撮影する撮影手段である。動態撮影とは、被写体に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、複数の画像を取得することをいう。動態撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、パルス照射により動態撮影を行う場合を例にとり説明する。また、以下の実施形態では、被写体部位を胸部とした場合を例にとり説明するが、これに限定されるものではない。
放射線源11は、被写体Mを挟んで放射線検出部13と対向する位置に配置され、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。
放射線照射制御装置12は、撮影用コンソール2に接続されており、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。撮影用コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、1撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線検出部13は、FPD等の半導体イメージセンサーにより構成される。FPDは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、何れを用いてもよい。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
読取制御装置14は、撮影用コンソール2に接続されている。読取制御装置14は、撮影用コンソール2から入力された画像読取条件に基づいて放射線検出部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部13に蓄積された電気信号を読み取ることにより、画像データを取得する。この画像データがフレーム画像である。そして、読取制御装置14は、取得したフレーム画像を撮影用コンソール2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14は互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
〔撮影用コンソール2の構成〕
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師等の撮影実施者によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、図1に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory
)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影用コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部22は、図2に示す撮影制御処理を実行するためのプログラムを記憶している。また、記憶部22は、撮影部位に対応付けて放射線照射条件及び画像読取条件を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔診断用コンソール3の構成〕
診断用コンソール3は、撮影用コンソール2から送信された動態画像を解析することにより医師の診断を支援するための動態画像処理装置である。
診断用コンソール3は、図1に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35を備えて構成され、各部はバス36により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、後述する位置計測処理を始めとする各種処理を実行し、診断用コンソール3各部の動作を集中制御する。
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32は、制御部31で位置計測処理を実行するためのプログラムを始めとする各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部32は、撮影用コンソール2から受信された動態画像及び当該動態画像における位置計測結果を対応付けて記憶する。
また、記憶部32には、位置計測処理におけるルート候補を記憶するためのルート保持部321が設けられている(図6参照)。ルート保持部321については詳細を後述する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、ユーザーによるキーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良く、この場合、手指やタッチペン等によりタッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、LCDやCRT等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、各種表示を行う。
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔位置計測システム100の動作〕
次に、上記位置計測システム100における動作について説明する。
(撮影装置1、撮影用コンソール2の動作)
まず、撮影装置1、撮影用コンソール2による撮影動作について説明する。
図2に、撮影用コンソール2の制御部21において実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
まず、撮影実施者により撮影用コンソール2の操作部23が操作され、被検者(被写体M)の患者情報(患者の氏名、身長、体重、年齢、性別等)や検査情報(被写体部位(ここでは、胸部))の入力が行われる(ステップS1)。
次いで、放射線照射条件が記憶部22から読み出されて放射線照射制御装置12に設定されるとともに、画像読取条件が記憶部22から読み出されて読取制御装置14に設定される(ステップS2)。
次いで、操作部23の操作による放射線照射の指示が待機される(ステップS3)。ここで、撮影実施者は、被写体Mを放射線源11と放射線検出部13の間に配置してポジショニングを行う。また、本実施形態においては、呼吸状態下で撮影を行うため、被検者(被写体M)に楽にするように指示し、安静呼吸を促す。或いは、「吸って、吐いて」等の深呼吸の誘導を行うこととしてもよい。撮影準備が整った時点で、操作部23を操作して放射線照射指示を入力する。
操作部23により放射線照射指示が入力されると(ステップS3;YES)、放射線照射制御装置12及び読取制御装置14に撮影開始指示が出力され、動態撮影が開始される(ステップS4)。即ち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像が取得される。
予め定められたフレーム数の撮影が終了すると、制御部21により放射線照射制御装置12及び読取制御装置14に撮影終了の指示が出力され、撮影動作が停止される。撮影されるフレーム数は、少なくとも1呼吸サイクルが撮影できる枚数である。
撮影により取得されたフレーム画像は順次撮影用コンソール2に入力され、撮影順を示す番号(フレーム番号)と対応付けて記憶部22に記憶されるとともに(ステップS5)、表示部24に表示される(ステップS6)。撮影実施者は、表示された動態画像によりポジショニング等を確認し、撮影により診断に適した画像が取得された(撮影OK)か、再撮影が必要(撮影NG)か、を判断する。そして、操作部23を操作して、判断結果を入力する。
操作部23の所定の操作により撮影OKを示す判断結果が入力されると(ステップS7;YES)、動態撮影で取得された一連のフレーム画像のそれぞれに、動態画像を識別するための識別IDや、患者情報、検査情報、放射線照射条件、画像読取条件、撮影順を示す番号(フレーム番号)等の情報が付帯され(例えば、DICOM形式で画像データのヘッダ領域に書き込まれ)、通信部25を介して診断用コンソール3に送信される(ステップS8)。そして、本処理は終了する。一方、操作部23の所定の操作により撮影NGを示す判断結果が入力されると(ステップS7;NO)、記憶部22に記憶された一連のフレーム画像が削除され(ステップS9)、本処理は終了する。この場合、再撮影が必要となる。
なお、被検者に呼吸センサー等を装着し、撮影用コンソール2において、動態画像を撮影する際に動態撮影と同期した状態で呼吸センサーから被検者の呼吸運動の情報(例えば、呼吸運動を示す波形等)を取得し、制御部21により、取得した情報に基づいて、動態撮影時の呼吸運動を示す情報(例えば、呼吸回数、各呼吸における呼気区間と吸気区間の時間、各フレーム画像が撮影されたタイミングの呼吸状態(例えば、呼気区間、安静(最大)呼気位、吸気区間、安静(最大)吸気位等)等))を判別して判別結果を各フレーム画像に付帯させることが好ましい。
(診断用コンソール3の動作)
次に、診断用コンソール3における動作について説明する。
診断用コンソール3においては、通信部35を介して撮影用コンソール2から動態画像の一連のフレーム画像が受信されると、受信された動態画像の一連のフレーム画像が記憶部32に記憶される。記憶部32に記憶されている動態画像の中から操作部33により動態画像が選択され、構造物の位置計測の実行が指示されると、制御部31と記憶部32に記憶されているプログラムとの協働により、選択された動態画像に対して図3に示す位置計測処理が実行される。位置計測処理の各ステップにおけるバリエーションの処理や表示される各画面が備える機能についても、制御部31と記憶部32に記憶されているプログラムとの協働により実現される。
ここで、本実施形態における位置計測処理は、あるフレーム画像(ここでは、1番目のフレーム画像)における位置計測対象の構造物の位置(計測対象点という)をユーザーが指定し、指定された位置の画像をテンプレート画像としてテンプレートマッチングを行って構造物の位置を計測する処理である。本実施形態では、横隔膜の位置計測を行う場合を例にとり説明する。
以下、図3を参照して位置計測処理の流れについて説明する。
まず、選択された動態画像が記憶部32から取得される(ステップS11)。
次いで、表示部34に初期設定入力画面341が表示され、ユーザーによる操作部33の操作に応じて計測対象点の位置を含む初期設定が入力される(ステップS12:初期設定入力部)。
図4は、初期設定入力画面341の一例を示す図である。初期設定入力画面341は、ユーザーが位置計測のためのテンプレート画像の作成と横隔膜位置候補の抽出範囲の設定に必要な情報を入力するための画面である。図4に示すように、初期設定入力画面341には、画像表示領域341aと、横隔膜位置候補の抽出範囲の設定に必要なパラメーターを入力するための初期設定入力領域341bと、階調補正ボタン341cと、決定ボタン341dと、が設けられている。
画像表示領域341aには、動態画像の1番目フレーム画像が表示されている。ユーザーは、画像表示領域341aに表示されたフレーム画像上から操作部33のタッチペンやマウスなどのポインティングデバイスにより計測対象点を指定することができる。例えば、画像表示領域341aに表示されているフレーム画像における横隔膜の境界が操作部33のポインティングデバイスにより指定(例えば、クリック)されると、指定された点の位置が計測対象点として、制御部31のRAMに保持される。
画像表示領域341aに表示されている画像の階調は、ユーザー操作に応じて調整することができる。例えば、操作部33により階調補正ボタン341cが押下されると、押下された回数に応じて画像表示領域341aに表示されている画像の階調が調整される。これにより、ユーザーが最も横隔膜が見えやすい状態で計測対象点を指定することができる。あるいは、制御部31により画像表示領域341aに表示するフレーム画像に対して自動で階調補正処理を行い、階調補正処理されたフレーム画像を画像表示領域341aに表示して計測対象点の指定を受け付けてもよい。
なお、ステップS12において、横隔膜の計測対象点の指定入力はユーザーが手動で行うこととして説明したが、表示されているフレーム画像から制御部31が画像処理により自動で横隔膜の位置を認識して指定してもよい。
また、計測対象点を指定するためのフレーム画像は1番目のフレーム画像に限らず、ユーザーが所望するフレーム画像を用いることとしてもよい。例えば、ユーザーが所望するフレーム画像を選択する方法として、1枚ずつフレーム画像を見てユーザーが手動で選択するものが考えられる。あるいは、ユーザーが所望のフレーム番号を入力するためのユーザインターフェイスを備えてもよい。これにより、ユーザーの裁量で自由に計測対象点を決定することができる。また、例えば、初期設定入力画面341に、画像表示領域341aに表示するフレーム画像を選択するためのプルダウンメニュー(例えば、安静呼気位、安静吸気位、安静呼気位→安静吸気位の中間、安静吸気位→安静呼気位の中間等)を設けてユーザーが所望のフレーム画像を選択できるようにしてもよい。また、横隔膜の動きや形状は安静呼気位がもっとも自然状態に近いため、安静呼気位のフレーム画像を画像表示領域341aに自動で表示してユーザーが計測対象点を指定できるようにしてもよい。
また、初期設定入力画面341には、ユーザーによる計測対象点の指定を補助するための補助機能を設けることが好ましい。
例えば、画像表示領域341aに表示されているフレーム画像上に、横隔膜の形態の基準になるような画像を半透明などにして重ねて表示する。例えば、安静呼気位のフレーム画像の横隔膜の領域を認識し、認識した横隔膜の形態の画像を画像表示領域341aに表示されているフレーム画像に重ねることで、横隔膜の形態の特徴的な部分を表す適切な計測対象点をユーザーが把握した状態で指定することが可能となる。
別の方法としては、予め手動または自動で計測対象点のX座標を決定しておき、そのX座標をライン等で画像表示領域341aに表示されている1番目のフレーム画像上に表示しておく。これにより、ユーザーが指定すべき計測対象点を把握しやすくなる。また、計測対象点のX座標が予め決定されている場合は、ユーザーの入力はY座標のみを受け付けるようにし、どのX座標が入力されても無視するようにしてもよい。これにより、ユーザーはY座標の調整のみに集中することができる。 ここで、フレーム画像の水平方向(左右方向)をX座標、垂直方向(上下方向)をY座標とする。
また、画像表示領域341aに表示されているフレーム画像の横隔膜と肺野の境界が不明瞭な場合、ユーザーは小さな輝度勾配を目視で探して計測対象点を指定する必要がある。その補助機能として、ユーザー操作に応じて適宜画像を所望の大きさに拡大する機能を備えることとしてもよい。例えば、画像表示領域341aに表示されているフレーム画像において操作部33のマウス等の操作により指定された位置の周辺を拡大表示することとしてもよい。或いは、同じ目的で、ユーザー操作に応じて、フレーム画像にエッジ強調処理を施したエッジ強調画像を画像表示領域341aに表示することとしてもよい。エッジ強調処理は、例えば、一次微分フィルター、ソーベルフィルター、プレヴィットフィルター等による処理が挙げられる。これにより、ユーザーが指定すべき計測対象点を把握しやすくなる。
また、操作部33により計測対象点の位置を指定する際、カーソル自体が目視の妨げとなって、指定しようとする計測対象点と実際の画像上での横隔膜の位置が僅かにずれることがある。それを防ぐために、カーソルを半透明で表示する。或いは十字型などのカーソルの位置を指す点を見えやすい形で表示する。画像上の輝度情報をもとにカーソルの色を変えてもよい。例えば、輝度が低い領域では明るい色のカーソルを表示する。これにより、横隔膜位置とカーソルの目視を補助することができる。また、ここまではユーザーが操作部33のマウス等によりクリックした瞬間に計測対象点の位置を決定するGUIを前提に説明してきたが、クリックした際には、その位置を計測対象点の位置を仮置きで表示するようにし、ドラッグ中は、計測対象点の仮置き位置をマウス位置に応じて移動して表示させるようにし、マウスを離した際に、そのマウスを離した位置を計測対象点として決定するようにしてもよい。
また、ユーザーが手動で計測対象点を指定すると、指定ミスを起こす場合がある。その場合の修正手段として、自動で計測対象点の位置を調整する機能又は手動で計測対象点を修正・削除する機能を備えることが好ましい。
自動で計測対象点の位置を調整する機能としては、例えば、計測対象点付近で輝度勾配の大きい箇所に計測対象点を移動させる。輝度勾配の大きい箇所とは、エッジ強調画像上での画素値が高い箇所と読み替えてもよい。輝度勾配の大きい箇所が指定した計測対象点付近に見つからない場合は、入力ミスとして捉え、エラーを返して、再度計測対象点を入力するように促してもう1度計測対象点の指定を受け付ける。エラーの返し方として、例えば、エラーとなった計測対象点の色を変えること、エラー内容を文字で表現すること、エラーとなった計測対象点を別の形・記号に変えること、点滅させること、あるいは音を鳴らすことなどが挙げられる。横隔膜が動き得るエリアを予め決めて、そのエリア外に計測対象点を指定した場合に上記のエラーを返すことも考えられる。
手動で計測対象点を調整する機能として、大まかな位置を操作部33のマウスで指定した後の次のステップとして、指定された計測対象点の位置を、例えばマウスホイール等の操作に応じて少しずつ移動させて微調整可能とすることが望ましい。もちろん、大きく調整するために、マウスのドラッグ操作等に応じて計測対象点の位置を大きく移動させてもかまわない。調整中の計測対象点は、点のサイズや色を変えたり、点滅させたりして表示することが好ましい。また、一度指定された計測対象点を、例えばDeleteキー等により削除して指定し直せる機能を備えることが好ましい。
また、ユーザーの所望の計測対象点で計測を行うために、上記の修正なども含めて最終的に指定された点をユーザーが承諾する機能を備えることが好ましい。例えば、画像表示領域341aの近傍に承諾ボタンを設け、操作部33により承諾ボタンが押下されたり、指定された点をダブルクリックしたりする等、規定された承諾のためのアクションが行われた場合に、制御部31は、指定された点を計測対象点として決定する。
計測対象点は、複数の構造物について指定してもかまわない。例えば、横隔膜と肺尖の点を指定することで、肺のサイズの時間変化を計測することができる。
一方、1つの構造物(ここでは、横隔膜)について複数の計測対象点を指定してもかまわない。もしくは計測対象点を線で指定してもよい。これにより、後述するルート候補の限定において、複数点の空間的な関係に基づいてルート候補を限定することができ、位置測定の安定性が増す。また、計測対象点を複数又は線で指定してその複数点や線の位置を追跡的に測定することで、横隔膜についての形状変化を把握できるため、COPDなどの病態に特有の横隔膜の特徴的な変形の動きなどを捉えることができ、COPDの兆候のある患者を早期に検出できる。
計測対象点を複数点や線で指定する場合においても、上記の1点で指定する場合の機能は含んでいるものとする。
複数の計測対象点を指定する場合、指定する点の個数は特に限定されない。また、複数のフレーム画像に計測対象点を打ってもよい。これにより、横隔膜の形状の移り変わりを捉えることが可能となる。例えば、肋横角を二次元的に追跡し、横隔膜の指定された各点をY方向に追跡し、それを複合して、横隔膜の境界全体の位置の追跡結果を作成してもよい。これにより、横隔膜の境界について、二次元的な位置移動を抽出することができる。
計測対象点を線で指定する(横隔膜の位置を線で指定する)ことができるようにするために、初期設定入力画面341には以下の機能を備えることが好ましい。例えば、基本機能としては、ユーザーが操作部33のポインティングデバイスにより、画像表示領域341aの所望の位置に線を引く機能を備える。ただし、この機能のみでは、線を正確に引くのは難しく、ユーザーの負担が大きい。そこで、ユーザーが容易に横隔膜の線を指定するために、操作部33により横隔膜上に2点以上が指定された場合、指定された点の間の横隔膜位置を自動で埋める(補間する)機能を備える。指定された点の間を自動で埋める方法として、例えば、動的計画法やテンプレートマッチング、あるいは輝度勾配が強い箇所をなぞる等の方法が考えられる。また、指定された点の間に自動で線分を引いて、その線分付近の輝度勾配の大きい箇所に各点を調整して正しい横隔膜の線を形成してもよい。
他にも、横隔膜が含まれる領域をユーザーが操作部33により図形で囲んで、その中で輝度勾配の大きい箇所を横隔膜として検知する機能を備えてもよい。ここでいう図形とはたとえば矩形、円形、もしくはペンツールなどで囲んだ任意の図形を指す。これらの機能により、ユーザーが容易に横隔膜の線を指定することが可能となる。
横隔膜の線を間違えて指定した場合、その修正をする必要がある。例えば、複数の点をユーザーが指定した場合については、ユーザーが操作部33により、既に指定された点と点の間に新たに点を指定すると、制御部31は、点間の距離を縮めて線分を再検知する。これにより横隔膜の線の指定の正確さが向上する。 或いは、誤検知した点を操作部33により矩形などで囲んで削除できるようにし、操作部33によりその区間に新たな点が指定されると、新たに指定された点の間を上述の方法で自動で埋めることとしてもよい。これにより、点群として誤検知した場合にまとめて削除して修正を行うことが可能となる。
また、計測対象点を同じX座標に複数のフレーム画像に対して指定してもよい。これにより、指定点の位置情報を、ルート候補を限定する際や計測結果を修正する際の制限条件として用いることができる。例えば、ルート候補が指定点付近を通過するか否かをルート候補の限定条件として用いることができる。
初期設定入力領域341bには、図4に示すように、横隔膜位置候補の抽出範囲の設定に必要な情報、例えば、横隔膜の速度(移動速度)や加速度の閾値、テンプレートマッチングにおける探索方向等のパラメーターを入力するための入力欄が設けられている。ここで、横隔膜は基本的には上下方向に移動するが、想定される移動速度や加速度には限りがある。そこで、本実施形態では、横隔膜位置候補を抽出する際の抽出範囲を横隔膜の想定される移動速度及び加速度により制限することができ、初期設定入力領域341bでは、この横隔膜の速度及び加速度の閾値を入力することができる。また、横隔膜の移動は基本的には上下方向であるため、デフォルトの探索方向は上下方向であるが、初期設定入力領域341bでは、ユーザーが所望する探索方向を指定することができる。なお、本実施形態では、探索方向が上下方向である場合を例にとり説明する。
初期設定入力画面341において、操作部33により決定ボタン341dが押下されると、初期設定入力画面341から入力された内容がRAMに設定され、処理はステップS13に移行する。
なお、初期設定入力画面341の表示をせずに、位置計測処理に必要なパラメーターのデフォルト値を予め設定しても構わない。これにより、必要な操作が減り、ユーザーの負担を軽減することができる。
ステップS13においては、変数nに1が設定され(ステップS13)、n番目のフレーム画像に前処理が実行される(ステップS14)。
ステップS14においては、まず、n番目のフレーム画像に対してノイズ除去処理及び階調補正処理が行われる。ノイズ除去処理としては、例えば、メディアンフィルター、移動平均フィルター、ガウシアン平滑フィルター等によるフィルター処理が挙げられる。次いで、エッジ強調処理が行われる。エッジ強調処理としては、例えば、一次微分フィルター、ソーベルフィルター、プレヴィットフィルター等によるフィルター処理が挙げられる。 これらの前処理をフレーム画像に施すことにより、そのフレーム画像に含まれるノイズ情報を除去して横隔膜を際立たせることができ、横隔膜位置の計測の精度を向上させることができる。
次いで、n=1であるか否かが判断される(ステップS15)。
n=1であると判断された場合(ステップS15;YES)、1番目のフレーム画像の計測対象点の周囲の領域からテンプレート画像が作成される(ステップS16)。例えば、1番目のフレーム画像における計測対象点を中心とするw画素×h画素(w、hは正の整数)の領域がテンプレート画像として取得される。次いで、計測対象点のY座標がフレーム1の横隔膜位置としてルート保持部321に記憶され(ステップS17)、ステップS22の処理に移行する。
一方、n=1ではないと判断された場合(ステップS15;NO)、n番目のフレーム画像に対し、ステップS16で作成されたテンプレート画像を用いたテンプレートマッチングが実行され、計測対象点と同じX座標上の予め定められたY座標の範囲内の各位置を中心とするw画素×h画素の領域とテンプレート画像との相関値(例えば、相互相関係数)がそれぞれ算出される(ステップS18:評価値算出部)。ステップS18で算出される相関値は、横隔膜と各位置との類似度を表す評価値である。
なお、評価値の算出方法は相互相関(NCC; Normalized Cross-Correlation)が望ましいが、相互相関以外にも、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference) 、ZNCC(Zero-means Normalized Cross-Correlation) を用いてもよい。
次いで、初期設定入力画面341で設定された速度及び加速度で制限した抽出範囲内で相関値が極大となる位置が横隔膜位置候補として抽出される(ステップS19:位置候補抽出部)。
ここで、相関値が最大となる位置を横隔膜位置として決定するのではなく、相関値が極大となる位置を横隔膜位置候補として抽出しておくことで、絶対的に相関値が高くなくても空間的に見て相対的に相関値が高い位置を候補として残すことができ、大きな別構造物などと重なったケースなど絶対的な相関値が低くなってしまう条件下においても、横隔膜の位置を漏らさず位置候補として抽出することができる。なお、ここでは抽出範囲は一次元であるが、二次元での探索処理の場合、極大点は二次元にて抽出すればよい。また、ステップS19においては、少なくとも一つのフレーム画像から複数の横隔膜位置候補が抽出されることを想定している。
また、抽出する横隔膜位置候補を予め設定した横隔膜の速度及び加速度の範囲内の相関値が極大の位置に限定して抽出することで、横隔膜としてありえない位置候補を大幅に削減することができ、計算量を削減できる。ここで、横隔膜の速度は、フレーム画像間の横隔膜の移動量であり、例えば、1フレーム前の画像と当該フレーム画像との間の横隔膜位置のY座標の差分により算出できる。また、横隔膜の加速度は、フレーム画像間の横隔膜の移動量の変化であり、時間領域が重複しない隣接する2つの速度(前述)の差分により算出できる。例えば、2フレーム前の画像と1フレーム前の画像との間の横隔膜位置のY座標の差分と、1フレーム前の画像と当該フレーム画像との間の横隔膜位置のY座標の差分との差分により算出することができる。
図5に、ステップS19における横隔膜位置候補の抽出を模式的に示す図である。図5に示すグラフの縦軸は、右のエッジ強調画像のY座標と対応している。時間T−2、時間T−1のフレーム画像において○で示した極大点が横隔膜位置候補として抽出されていた場合、時間Tのフレーム画像については、相関値が極大となる点のうち、設定した速度及び加速度の範囲内の点(○で囲んだ点)が横隔膜位置候補として抽出される。
なお、ステップS18におけるテンプレートマッチングの探索範囲を初期設定入力画面341で設定された速度及び加速度に基づいて予め絞り込んでおくと、無駄な範囲の相関値算出を行わずに済み、計算量を削減することができるので好ましい。
ここで、1番目のフレーム画像の横隔膜位置は、指定された計測対象点の位置であるが、2番目以降のフレーム画像は、複数の横隔膜位置候補が抽出される可能性がある。例えば、2番目のフレーム画像からP個の横隔膜位置候補が抽出された場合、横隔膜が1番目のフレーム画像から2番目のフレーム画像までに移動したルートとしては、1フレーム目の計測対象点から2フレーム目のP個の横隔膜位置候補のそれぞれまでのP通りの候補が考えられる。3番目のフレーム画像から横隔膜位置候補を抽出する際には、テンプレートマッチングで得られた極大点のそれぞれをP通りのルート候補のそれぞれに追加した場合に速度及び加速度が予め定められた範囲内となるか否かを判断し、速度及び加速度が予め定められた範囲内となる極大点をそのルート候補の横隔膜位置候補とする。それ以降のフレーム画像についても同様に、ルート候補毎に横隔膜位置候補の抽出を行う。なお、ルート候補間で速度・加速度により制限する範囲が重複する場合は、まとめて1回だけ位置候補抽出を行ってもよい。これにより、計算の重複を避けることができる。
なお、ここでは、横隔膜位置候補の抽出範囲を横隔膜の速度及び加速度により制限することとして説明しているが、速度又は加速度の何れか一方により制限することとしてもよい。また、n番目のフレーム画像に付帯されている呼吸状態を示す情報に基づいて、そのフレーム画像撮影時の呼吸状態(例えば、呼気区間、安静(最大)呼気位、吸気区間、安静(最大)吸気位)を判定し、横隔膜の移動方向がフレーム画像の撮影時の呼吸状態に合致しているか否かに基づいて、抽出する横隔膜位置候補を制限することとしてもよい。これらの制限は組み合わせて用いてもよい。
次いで、n番目のフレーム画像の横隔膜位置候補を追加したルート候補が作成され、ルート保持部321に保存される(ステップS20)。
図6に、ルート保持部321の一例を示す。ルート保持部321は、1〜N番目のフレーム画像のそれぞれから抽出された横隔膜位置候補を一つずつ時系列に繋いで横隔膜が移動したルート候補の情報として記憶するものである。図6に示すように、ルート保持部321は、ルート候補を識別する情報(例えば、ルート1、ルート2、ルート3、・・・)と、そのルート候補における各フレーム画像の横隔膜位置候補のY座標とを対応付けて記憶する。ここで、図6におけるY21とは、2番目のフレーム画像の1番目の横隔膜位置候補であることを示している。(未計算)とは、まだ横隔膜位置候補が抽出されていないことを示す。なお、未計算であるか否かを示す情報は、フレーム画像毎に別途保持してもよい。また、ルート保持部321は、図6に示したものに限定されず、例えば、ルート3とルート4はフレーム1〜3の範囲で同一であるため、これを圧縮して(例えば、ルート3の欄にY座標の値を格納し、ルート4にはルート3と同じであることを示すフラグ等をたてて)保持させてもよい。また、横隔膜位置候補の”Y座標”だけでなく”相関値”を併せて記憶することとしてもよい。
ステップS20においては、抽出された横隔膜位置候補が1つだったルート候補については、ルート保持部321のn番目のフレーム画像の欄にその横隔膜位置候補のY座標を追加して保存する。抽出された横隔膜位置候補が2以上だったルート候補については、ルート保持部321に新たなルート候補を格納する行を追加して記憶する。ここで、追加するルート候補の内容は、n番目のフレーム画像の横隔膜位置候補のみが異なり他のフレーム画像は同じ横隔膜位置候補の情報をコピーして記憶する。
次いで、ルート保持部321に記憶されたルート候補をより少ない複数のルート候補に限定する(ステップS21:ルート限定部)。
横隔膜位置のテンプレート画像との相関値は、他の臓器との重なり等により局所的な時間で見ると最大にならない場合がある。しかし、時間方向に大域的に見ると横隔膜位置のテンプレート画像との相関値は最大になることが多い。そこで、ルート保持部321に記憶されているルート候補を大域的な時間範囲の中で相関値が高いルート候補に限定する。ルート候補を限定するタイミングとしては、全フレーム画像までのルート候補が出揃った時点が考えられるが、本実施形態のように逐次処理中にルート候補の限定を行うことも可能である。逐次処理中にルート候補の数を限定していくことで、計算量が減り、処理速度が向上する。ルート候補を保持するために使用される記憶容量も大幅に低減することができる。
ステップS21における具体的な方法としては、例えば、或るフレーム画像までの横隔膜位置候補を抽出した時点でのルート候補数が、予め設定された値よりも大きくなった時に、その時点でルート候補を限定する。ルート候補を限定する方法としては、例えば、図7に示すように、それまでに算出された横隔膜位置候補のテンプレート画像との相関値(以下、横隔膜位置候補の相関値と呼ぶ)の合計値または平均値が所定の閾値以上のルート候補に限定する。或いは、横隔膜位置候補の相関値の合計値または平均値が高いものを上位から任意の個数だけに限定するという方法でもよい。また、或るフレーム画像時点での横隔膜位置候補の相関値に予め設定された閾値以上のものが存在する時に、その横隔膜位置候補を含むルート候補に限定してもよい。また、横隔膜位置候補の相関値が最大のフレーム画像数が多いルート候補を上位から任意の個数に限定することとしてもよい。
その他、それまでに算出された横隔膜位置候補のうち、上述の相関値が所定の閾値以上又は所定の閾値未満の横隔膜位置候補をもつフレーム画像の数又はその割合、複数のルート候補間で同一のフレーム画像から算出された横隔膜位置候補の相関値を比較したときの高さ順位の合計値や平均値、複数のルート候補間で同一のフレーム画像から算出された横隔膜位置候補の相関値を比較したときの高さ順位が所定の閾値以上又は所定の閾値未満のフレーム画像の数又はその割合等に基づいて、ルート候補の限定を行うこととしてもよい。
また、複数のフレーム画像の同じX座標に対して計測対象点が指定されている場合、指定された各計測対象点付近を通過していることをルート候補の限定条件として用いることとしてもよい。
また、ルート候補を限定するための評価指標として、相関値ではなく、横隔膜位置候補の移動量及び/又は移動方向を用いることもできる。横隔膜は、呼吸運動に伴い、ある決まった範囲内で上下の周期運動を行うので、移動量は限定されており、また移動方向も断続的に変化しないからである。例えば、横隔膜位置候補の移動量が小さいルート候補を上位から任意の個数に限定することとしてもよい。或いは、横隔膜の動きが呼吸運動に合致しているか否かに基づいてルート候補の限定を行ってもよい。例えば、フレーム画像間の横隔膜の速度の正負が予め設定した個数以上連続して同じルート候補に限定してもよい。
また、上記のルート候補の限定の方法はすべて、横隔膜位置候補の抽出が終わった全フレーム画像の情報を用いるものだが、他にも分岐したフレーム画像以降のフレーム画像の情報を用いる方法も考えられる。例えば、図7では、分岐した6フレーム目以降のフレーム画像の情報を用いる。これによって、ルート候補限定の判断材料となる時間領域のみを見ることができるので、情報の分散が大きくなり、ルート候補の限定精度が向上する。また、計算量を低減させることができ、処理速度も向上する。具体的な方法としては、分岐した時点のフレーム画像から最終フレーム画像までの情報を用いる。或いは、分岐した時点のフレーム画像から、横隔膜位置候補が1つに収束されるフレーム画像までの情報のみを用いてもよい。更に、分岐したフレーム画像の前後のフレーム画像の情報を加えてもよい。これにより、分岐前後での時間的な一貫性をもとに、ルート候補の妥当性を判断できる。例えば、1秒程度の範囲のフレーム画像の情報を加えることで、各ルート候補が横隔膜らしい緩慢な動きを示しているか否か、移動方向の変化が呼吸運動に即したものであるか等を判断することが可能となる。
また、ステップS12において、複数の計測対象点(複数点)が指定された場合は、更に、各フレーム画像における複数点の空間的な関係に基づいて、ルート候補を限定することができる。例えば、複数点の位置候補から想定される横隔膜の境界線が断線したり、滑らかでなくなったり、想定される形状ではなくなる場合に、その原因となる横隔膜位置候補を含むルート候補を削除する。複数点の位置候補から想定される横隔膜の境界線が想定される形状であるか否かは、例えば、2次関数や3次関数で曲線近似したときのズレの合計値で判断することができる。或いは、複数のフレーム画像において複数点の空間的な関係に基づいて、ルート候補を限定してもよい。横隔膜においては、どの箇所でも呼気と吸気で動く方向が一方向となるため、複数のフレーム画像における複数点の動く方向が一致していない場合、他と違う動きをしている横隔膜位置候補を含むルート候補を削除してもよい。複数点のY座標の動き幅が肋横角(体側)に近いほど大きく脊椎側に近いほど小さくなっているか否かに基づいてルート候補を限定することもできる。
なお、ルート候補の限定に用いる評価指標は単独だけでなく、複数の評価指標を組み合わせて用いてもよい。
例えば、相関値の合計と横隔膜位置候補の移動量を評価指標として用いる場合、それぞれを独立に用いてルート候補を限定し、両評価指標において所定の条件を満たしたものをルート候補として残すことができる。これにより、より一層ルート候補の数を少なくすることができる。或いは、2つの評価指標に係数により重みをつけて合算することで1つの評価指標として用いることもできる。これにより、複数の評価指標であっても1次元的にルート候補を限定することができる。
ステップS21におけるルート候補の限定は、複数のルート候補がある場合にのみ実行される。また、ルート保持部321に記憶されているルート候補が所定の条件に合致した場合(例えば、ルート候補数が予め設定された値よりも大きくなった場合)に実行される。
次いで、全フレーム画像についてステップS14〜S21の処理が終了したか否かが判断される(ステップS22)。
全フレーム画像についてステップS14〜S21の処理が終了していないと判断した場合(ステップS22;NO)、変数nが1インクリメントされ(ステップS23)、ステップS14に戻る。
全フレーム画像についてステップS14〜S21の処理が終了したと判断された場合(ステップS22;YES)、一つのルート候補が横隔膜の移動を示す横隔膜の移動ルートとして決定され、決定されたルートに含まれる各フレーム画像の横隔膜位置候補が各フレーム画像の横隔膜位置として決定される(ステップS24:ルート決定部)。
ステップS24におけるルートの決定方法としては、ステップS21でルート候補を限定したときに説明した方法を適用することができ、ルート候補の限定数を任意の個数ではなく1つに決定する。また、動態画像の付帯情報として、動態撮影時の呼吸運動を示す情報が付帯されている場合、ルート候補のそれぞれにおける横隔膜の移動が動態撮影時の呼吸運動に対応しているか否かに基づいて、ルート候補を限定することが好ましい。例えば、動態画像の付帯情報として呼吸回数が設定されていた場合に、撮影全体の横隔膜候補位置により想定される呼吸回数が付帯情報の呼吸回数と一致するものにルート候補を限定してからルート決定を行うことが望ましい。
次いで、横隔膜位置の計測結果が表示部34に表示される(ステップS25:結果出力部)。
図8に、ステップS25において表示部34に表示される計測結果画面342の一例を示す。図8に示すように、計測結果画面342には、各フレーム画像の横隔膜位置に点が付与された動態画像を表示するための画像表示領域342aと、横隔膜位置のY座標を時間軸にプロットした横隔膜波形を示すグラフ342bと、計測結果の妥当性の判断結果342cと、承諾ボタン342dと、修正ボタン342eと、やり直しボタン342fと、が設けられている。なお、グラフ342bの縦軸は、放射線検出部13上の実際の画素の位置で表現しても構わない。
画像表示領域342aに表示される動態画像上の横隔膜位置に表示する点のサイズや線の太さは問わない。点の形状は、例えば、円や正方形などが想定される。また、点のサイズや点の形状は、操作部33によりユーザーが指定してもデフォルトで設定されていても構わない。また、ユーザーが目視レベルで計測対象点の位置変化の特性を分析することを想定して、例えば、横隔膜位置の速度や加速度によって点の色を変化させる機能を備えることが好ましい。
グラフ342bにおいては、フレーム画像毎の横隔膜位置を点で表現してもよいし、点を結んだ線で表現してもよい。フレーム画像毎の横隔膜位置を点で表現する場合は、点のサイズは問わない。点の形状についても円や正方形等が想定されるが、特に限定されない。点のサイズや点の形状は、操作部33によりユーザーが指定してもデフォルトで設定されていても構わない。
一方、フレーム画像毎の横隔膜位置を線として表現する場合は、線の種類として望ましくは折れ線や近似曲線が考えられる。また点の場合と同様に、線の太さについては特に限定されない。
複数の計測対象点を同時に指定した場合、計測結果は1枚のグラフにまとめて表示される。この場合、計測対象点ごとにグラフの色分けをする機能を備えることが好ましい。横隔膜位置を点で表現する場合は、計測対象点によって色ではなく形状を変えることで区別してもよい。
また、ユーザーが参照したいフレーム画像を効率よく表示できるようにするために、操作部33によりグラフ342b上の1点が指定されると、画像表示領域342aにおいて、対応するフレーム画像を瞬時に表示する機能を備えることが好ましい。
ユーザーが横隔膜の位置変化を詳細に分析する場合、グラフではなく、横隔膜の位置座標を数値として表示することも必要となる。そこで、計測結果画面342には、図8の表示に加え、フレーム画像毎の横隔膜位置の座標を表として表示することが好ましい。この時、望ましくは、フレーム画像毎の横隔膜位置座標を表示するだけでなく、表のセルを速度や加速度によって異なる色で塗りつぶし、カラーマップとして表示する機能も備えることが好ましい。これにより、複数の計測対象点を指定して計測した際、計測対象点毎の横隔膜の移動特性をユーザーが判断しやすくなる。
また、操作部33により表の値が指定されると、画像表示領域342aに、対応するフレーム画像を瞬時に表示する機能を備えることが好ましい。これにより、ユーザーが参照したいフレーム画像を効率よく表示することが可能となる。
また、フレーム画像毎の横隔膜位置座標の数値データをCSVファイルなどの編集可能な形式で通信部35により外部のコンピュータ装置等に出力することが望ましい。これにより、ユーザーが横隔膜位置座標の数値データを用いて、横隔膜の位置変化を定量的に分析することができる。
また、ユーザーが計測結果を容易に診断に役立てることができるようにするために、計測された横隔膜位置に基づいて、制御部31により各種特徴量を算出して表示部34の画面上に画面出力、ならびにファイル出力をする機能を備えることが好ましい。算出する特徴量としては、例えば以下の1〜6が挙げられる。
1.横隔膜移動量の最大値
横隔膜移動量の最大値は、計測された横隔膜位置のY座標の最大値と最小値の差の絶対値である。
2.横隔膜速度の最大値
横隔膜速度の最大値は、単位時間あたり、または単位フレームあたりの横隔膜位置の移動量の最大値である。基本的には動態画像の全フレーム画像の計測結果から算出するが、呼気時の計測結果から呼気時の横隔膜速度の最大値を、吸気時の計測結果から吸気時の横隔膜速度の最大値をそれぞれ算出することとしてもよい。
3.呼吸時間
呼吸時間とは、呼気にかかる時間、吸気にかかる時間、又は1回の呼吸(呼気+吸気)にかかる時間のことである。呼気にかかる時間は、横隔膜のY座標が上方向に移動している時間を算出することにより求めることができる。吸気にかかる時間は、横隔膜のY座標が下方向に移動している時間を算出することにより求めることができる。1回の呼吸に係る時間は、呼気時間と吸気時間を加算することで求めることができる。呼気にかかる時間と吸気にかかる時間とを比較する場合は、例えば、呼気にかかる時間と吸気にかかる時間との比や差を求める。
4.呼吸のばらつき
複数回の呼吸中の動態画像を撮影する場合、横隔膜の移動量や速度、呼吸時間は、呼吸間でばらつきがある。そのばらつき度合いを定量化する方法として、たとえば、複数回の呼吸において上述の横隔膜移動量の最大値、横隔膜速度の最大値、呼吸時間等の特徴量をそれぞれ算出し、それぞれの分散や標準偏差、特徴量の(最大値−最小値)等を求めることが考えられる。呼吸毎の横隔膜移動量でなく、呼吸毎の最大の吸気位、最大の呼気位の横隔膜位置座標でそれぞれ同様の計算をしてもよい。呼吸時間に関しても、呼気にかかる時間、吸気にかかる時間でそれぞれ同様の計算をしてもよい。
5.横隔膜と任意の基準点との距離の最大値
横隔膜と任意の基準点との距離の最大値とは、横隔膜位置が或る基準点から最も離れたときの横隔膜位置と基準点の距離である。ある基準点とは、望ましくは肺尖部を想定する。他にも基準点として、鎖骨、胸郭と鎖骨の交差する箇所、肺門、気管分岐部などが考えられるが、これに限ったものではない。
6.横隔膜移動量の最大値、横隔膜速度の最大値を正規化したもの
横隔膜移動量の最大値、横隔膜速度の最大値の特徴量を他人の胸部の動態画像と比較して用いる場合、被写体間で特徴量を正規化する必要がある。そのために、横隔膜移動量の最大値、横隔膜速度の最大値の特徴量を被写体固有の大きさを表す値で除算する。被写体固有の大きさを表す値とは、例えば、横隔膜と任意の基準点との距離の最大値の特徴量や身長、肺野の面積、胸郭の幅などが考えられるが、これに限ったものではない。また横隔膜速度の最大値の特徴量に関しては、その被写体の横隔膜の可動域で正規化する方法も考えられる。即ち、横隔膜速度の最大値を横隔膜移動量の最大値で除算する。
上記の横隔膜位置計測結果から得られる特徴量を数値データとして出力してもかまわないが、グラフや動態画像とあわせて表示をさせてもよい。数値データを表示させる際の表示方法は以下のとおりである。
例えば、1つの特徴量のみを表示する場合、計測結果画面342に、動態画像やグラフ342bに加えて、算出した特徴量を記載した特徴量表示用のテーブルを表示することが好ましい。このとき、特徴量から病気を示唆できる場合は、その特徴量から分かる病気の重度によって区別できるような表示にする。特に、病気の重度が高いものほど目立つように表示する。例えば、正常、注意、異常の3段階で、正常な場合は青や緑のような寒色に近い色で、注意や異常な場合は黄色や赤のような暖色に近い色で文字や表のセルを表示することが考えられる。同様に、異常に近づくほど文字サイズを大きくしたり、あるいは文字サイズを太くしたりしてもよい。この表示形式は後述のグラフや動態画像に表示する場合も同様である。
また、特徴量は、グラフ342bに書き込んで表示してもよい。1つの特徴量のみをグラフに書き込む際の表示方法について記す。
グラフ342bに特徴量を書き込む場合は、グラフ342bにおいてその特徴量の算出に用いた値の位置付近に表示することが望ましい。例えば、横隔膜速度の最大値の特徴量をグラフ342bに書き込む場合は、横隔膜の速度が最大となった時刻、位置の付近に書き込む。ただし、表示位置はこの限りではない。
画像表示領域342aに表示された動態画像に書き込む場合は、例えば、動態画像の右上等の横隔膜の目視の妨げにならない場所に表示することが望ましいが、この限りではない。また、その特徴量が算出されたフレーム画像における特徴量表示は他と区別できるようにすることが望ましい。例えば、横隔膜速度の最大値の特徴量の場合、横隔膜の速度が最大となったフレーム画像で特徴量表示のサイズを大きくすることが考えられる。特徴量表示の色を変えることとしてもよい。
また、複数の特徴量を表示する場合、個々の特徴量の表示方法は1つの特徴量表示の際と同様だが、複数個表示するとなると画面が見にくくなるという問題が発生する。そこで、表示する特徴量を限定することを考える。例えば、病気を示唆する値を示した特徴量のみを表示することが考えられる。また、ユーザーの見たい特徴量のみを表示するという方法も考えられる。その場合、ユーザーの所望の特徴量をユーザー自身が操作部33により選択できるユーザインターフェイスを備える。あるいは、診断に用いられる頻度の高い特徴量をデフォルトとして表示し、ユーザーがそれに特徴量を増減できるようなユーザインターフェイスを備えてもよい。これらの方法は、特徴量を数値データとして表示する際も、グラフ342bや画像表示領域342aに表示された動態画像に表示する際にも共通する。
計測結果の妥当性の判断結果342cには、妥当性が高いことを示すGood又は妥当性が低いことを示すPoorが表示される。計測結果の妥当性が低いとは、例えば、膨大(予め定められた所定数以上)の数のルート候補が作成され、その中から一つのルートに決定された場合や、決定されたルート上に相関値の高い(所定の閾値以上の)横隔膜位置候補が少なかった(予め定められた所定数を下回った)場合、あるいは相関値の低い(所定の閾値を下回った)横隔膜位置候補が多い(予め定められた所定数以上である)ことなどが挙げられる。膨大な数のルート候補が作成されたということは、1フレーム内で横隔膜位置を判断できないフレーム画像が多いということなので、ステップS24で誤ったルートを採用する可能性がある。また、相関値は計測対象点を含む横隔膜領域との類似度を示す値なので、それが低いフレーム画像数の多いルートは横隔膜を計測できたという確からしさが低いと言える。そのため、ユーザーに計測結果を注意深く見るように促すために警告として、計測結果の妥当性の低さを通知する必要がある。計測結果の妥当性が低い場合、その旨を示す「Poor」が表示されるが、例えば、ルート候補の数が膨大である等、妥当性の低い具体的な理由を表示してもよい。
また、計測結果画面342には、最終的にユーザーが計測結果を承諾するのか、修正するのか、あるいは計測をやり直すのかを判断した判断結果を入力するためのユーザインターフェイスとして、承諾ボタン342d、修正ボタン342e、やり直しボタン342fが設けられている。修正ボタン342eを押下すると、計測結果を修正するための結果修正画面343に移行する。やり直しボタン342fを押下すると、初期設定入力画面341に移行して、計測をやり直すことができる。
次いで、操作部33により計測結果画面342の承諾ボタン342d(又は、後述する承諾ボタン343d、344d)が押下されたか否かが判断される(ステップS26)。
操作部33により承諾ボタン342d(又は、後述する承諾ボタン343d、344d)が押下されていないと判断された場合(ステップS26;NO)、操作部33により修正ボタン342e(又は、後述する修正ボタン343e、344e)が押下されたか否かが判断される(ステップS27)。
修正ボタン342e(又は、後述する修正ボタン343e、344e)が押下されたと判断された場合(ステップS27;YES)、表示部34に結果修正画面が表示され(ステップS28)、操作部33の操作に応じて計測結果が修正され(ステップS29)、処理はステップS26に戻る。
計測結果の修正方法として、動態画像の全フレーム画像において、計測ミスをした点を正しい位置にユーザーが操作部33により手動で修正(例えば、ドラッグする)というものが考えられる。ただし、計測ミスしたフレーム画像数が多い場合、計測ミスをした全てのフレーム画像をユーザーが手動で修正するのは困難である。そのため、結果修正画面においては、望ましくは、ユーザー操作に応じて動態画像の各フレーム画像(決定された横隔膜位置に点等のマークを付したもの)を切り替え可能に表示し、操作部33によりユーザーが横隔膜位置を修正した(ドラッグした)フレーム画像の横隔膜位置情報をもとにその周囲のフレーム画像についても自動で修正する機能を備えることが望ましい。このときの自動修正方法としては、例えば、手動で修正されたフレーム画像の横隔膜位置と周囲のフレーム画像において計測された横隔膜位置とのフレーム間平均による補間処理を用いることができるが、この限りではない。
また、上述のように、複数のルート候補から一つのルートが決定されるが、その結果が残念ながらユーザーの所望の結果と異なる場合も存在する。その場合、ユーザーが適切なルートを容易に選択できるようにするために、一つのルートが決定される前の複数のルート候補を表示し、表示した複数のルート候補の中から最も適するものをユーザーが選択するためのユーザインターフェイス(例えば、結果修正画面343)を表示部34に表示することとしてもよい。
図9に、上述の結果修正画面343の一例を示す。図9に示すように、結果修正画面343には、画像表示領域343aと、グラフ343bと、計測結果の妥当性の判断結果343cと、承諾ボタン343dと、修正ボタン343eと、やり直しボタン343fと、が表示されている。画像表示領域343aには、図9に示すように、一つのルートが決定される前の複数のルート候補の横隔膜位置候補P(図9ではP1〜P3の3つ)が表示される。また、グラフ343bには、複数のルート候補の横隔膜位置候補のY座標の時間変化R(図9ではR1〜R3)が表示される。操作部33により複数の横隔膜位置候補Pの中から何れかが選択された場合、又は、操作部33により複数のルート候補Rの中から何れかが選択された場合、選択された点Pに対応するルート候補、又は選択されたルート候補Rが横隔膜位置のルートとして決定される。
また、新たに計測対象点を入力可能なユーザインターフェイス(例えば、結果修正画面344)を表示することとしてもよい。
図10に、結果修正画面344の一例を示す。図10に示すように、結果修正画面344には、画像表示領域344aと、グラフ344bと、計測結果の妥当性の判断結果344cと、承諾ボタン344dと、修正ボタン344eと、やり直しボタン344fと、が表示されている。
例えば、図10に示すように、画像表示領域344aには、始めに計測対象点(計測対象点P0とする)を指定したフレーム画像が表示される。操作部33により、計測対象点P0付近に新たに計測対象点P1が指定されると、制御部31により、新たに指定された計測対象点P1に基づいて横隔膜の移動ルートが計測される。そして、各フレーム画像について、始めに指定した計測対象点P0に基づいて計測した複数のルート候補と新たに指定した計測対象点P1に基づく横隔膜の移動ルートとの位置関係から始めに計測した複数のルート候補から妥当性の高いルートを選択する。或いは、始めに計測対象点P0を指定したフレーム画像と異なるフレーム画像を画像表示領域344aに表示することにより、始めに指定された計測対象点P0と同じX座標の計測対象点の指定を異なるフレーム画像上で受け付け、すでに作成されている複数のルート候補のうち、新たに指定された計測対象点を通るルート候補に絞ることとしてもよい。これにより、精度よくルートを決定することが可能となる。
ステップS27において、修正ボタン342e(又は、後述する修正ボタン343e、344e)が押下されず(ステップS27;NO)、やり直しボタン342f(又は、後述するやり直しボタン343f、344f)が押下されたと判断した場合(ステップS28;YES)、処理はステップS12に戻り、表示部34に初期設定入力画面341が表示され、位置計測のやり直しが実行される。
一方、操作部33により承諾ボタン342d(又は、343d、344d)が押下されたと判断された場合(ステップS26;YES)、記憶部32に記憶されている動態画像に位置計測結果が対応付けて記憶され(ステップS31)、位置計測処理は終了する。
以上説明したように、診断用コンソール3によれば、制御部31は、胸部の動態画像の複数のフレーム画像のそれぞれにおける所定範囲内の各位置について、横隔膜との類似度を示す評価値を算出し、算出された評価値に基づいて、複数のフレーム画像のそれぞれから横隔膜位置候補を一つ以上抽出し、複数のフレーム画像のそれぞれから抽出された横隔膜位置候補を一つずつ時系列に繋いで横隔膜が移動したルート候補として複数のルート候補をルート保持部321に記憶させる。そして、ルート保持部321に記憶されている複数のルート候補の中から一つのルート候補を横隔膜の移動ルートとして決定し、決定したルートに含まれる横隔膜位置候補を複数のフレーム画像のそれぞれにおける横隔膜の位置として決定する。
従って、例えば、他の構造物との重なりが生じ、局所的な時間で見ると実際の横隔膜位置の評価値が最大とならないケースであっても、横隔膜位置候補として抽出し、横隔膜位置候補を時系列に繋いで大域的な時間範囲の中で横隔膜位置を決定することができるので、マーカを用いずに撮影した胸部の動態画像において、横隔膜の境界(輪郭)が不鮮明であっても、各フレーム画像における横隔膜位置を精度良く計測することが可能となる。
例えば、制御部31は、複数のフレーム画像のそれぞれにおいて、算出された評価値が極大となる位置を横隔膜位置候補として抽出する。従って、絶対的に評価値が高くなくても、空間的に見て相対的に評価値が高い位置を横隔膜位置候補として残すことができ、他の構造物と重なったケース等、ある空間範囲において絶対的な評価値が低くなってしまう条件下においても、漏らさず横隔膜位置候補として抽出することができる。
また、例えば、制御部31は、横隔膜位置候補の抽出範囲を横隔膜の移動速度及び/又は加速度に基づいて制限するので、横隔膜としてあり得ない横隔膜位置候補が抽出されることを低減することができる。また、計算量を削減することもできる。
また、例えば、制御部31は、横隔膜の移動方向が複数のフレーム画像のそれぞれを撮影したときの呼吸状態に合致するか否かに基づいて、各フレーム画像から抽出する横隔膜位置候補を制限するので、横隔膜としてあり得ない横隔膜位置候補が抽出されることを低減することができる。計算量を削減することもできる。
また、例えば、制御部31は、ルート保持部321に記憶されている各ルート候補に含まれる横隔膜位置候補のそれぞれについて算出された評価値に基づいて、横隔膜の移動ルートを決定することができる。例えば、ルート候補のそれぞれにおける、横隔膜位置候補の評価値の合計値又は平均値、横隔膜位置候補の評価値が所定の閾値以上又は所定の閾値未満のフレーム画像数又はフレーム画像数の割合、複数のルート候補間で同一のフレーム画像から算出された横隔膜位置候補の評価値を比較したときの高さ順位の合計値又は平均値、又は、複数のルート候補間で同一のフレーム画像から算出された横隔膜位置候補の評価値を比較したときの高さ順位が所定の閾値以上又は所定の閾値未満のフレーム画像数又はフレーム画像の割合に基づいて、横隔膜の移動ルートを決定することで、精度良く横隔膜の移動ルートを決定できる。
また、例えば、制御部31は、ルート保持部321に記憶されている各ルート候補における横隔膜の移動量及び/又は移動方向に基づいて、横隔膜の移動ルートを決定することで、横隔膜の想定される周期運動に基づいて、精度良く横隔膜の移動ルートを決定することができる。
また、制御部31は、横隔膜位置を計測するための初期設定をユーザーが入力するための初期設定入力画面を表示部34に表示することで、横隔膜位置の計測に係る設定情報をユーザーが入力することが可能となる。
また、制御部31は、横隔膜位置の計測結果を出力することで、ユーザーに横隔膜位置の計測結果を提供することができる。
また、制御部31は、ルート保持部321に記憶されている複数のルート候補をより少ない複数のルート候補に限定することで、ルート保持部321で必要とする記憶容量を低減することができる。
例えば、制御部31は、ルート保持部321に記憶されている各ルート候補に含まれる横隔膜位置候補のそれぞれについて算出された評価値に基づいて、ルート候補を限定する。例えば、他の構造物との重なりのないフレーム画像においては、横隔膜位置と合致した横隔膜位置候補の評価値が明らかに高くなるため、制御部31は、評価値が所定の閾値以上の横隔膜位置候補が存在した場合に、その位置候補を含むルート候補に限定する。これにより、あり得ないルート候補(明らかに横隔膜位置に合致している横隔膜位置候補を通らないルート候補)を除外することができる。
また、例えば、制御部31は、ルート保持部321に記憶されている各ルート候補における横隔膜の移動量及び/又は移動方向に基づいて、ルート候補を限定することで、横隔膜としてあり得ない動きとなるルート候補を除外することができる。
また、例えば、制御部31は、ルート候補のそれぞれにおける横隔膜の動きが動態撮影時の呼吸運動に対応しているか否かに基づいて、ルート候補を限定することで、動態撮影時の呼吸運動に対応していない横隔膜の動きを示すルート候補を除外することができる。
なお、本実施形態における記述は、本発明に係る好適な位置計測システムの一例であり、これに限定されるものではない。
例えば、上記実施形態においては、被写体部位が胸部である場合を例にとり説明したが、これに限定されず、他の部位を撮影した動態画像としてもよい。
また、本実施形態においては、横隔膜位置を計測する場合を例にとり説明したが、本発明は、例えば、心壁、肋骨、血管等の他の構造物に対しても適用可能である。ただし、構造物によっては、位置の探索方向を調整する必要がある。例えば、計測対象の構造物が心壁である場合、探索方向を左右方向(X方向)とすることが好ましい。肋骨、血管の場合は、横隔膜と同様に、Y方向とすることが好ましい。また、構造物によって、Y方向やX方向ではなく、斜め一方向を探索方向としてもよい。また、2次元の位置変化を探索して計測することとしてもよい。
また、上記実施形態においては、1番目のフレーム画像から順次時間後方に向かって横隔膜位置候補を抽出していく場合を例にとり説明したが、これに限定されず、例えば、或る基準となるフレーム画像から時間前方と時間後方のそれぞれに向かって順次横隔膜位置候補を抽出してもよい。例えば、1〜15番目のフレーム画像が存在する場合、7番目のフレーム画像が基準フレーム画像として指定された場合、7番目のフレーム画像から1番目のフレーム画像まで、順次さかのぼって横隔膜位置候補を抽出し、7番目のフレーム画像から15番目のフレーム画像まで、順次横隔膜位置候補を抽出することとしてもよい。
また、上記実施形態においては、動態画像の全フレーム画像の横隔膜位置を計測する場合を例にとり説明したが、動態画像のフレーム画像のうち、位置計測を行うフレーム画像の範囲が指定された場合は、その範囲で位置計測を行うこととしてもよい。
また、上記実施形態においては、ユーザーが横隔膜の速度、加速度の閾値を設定することとしたが、制御部31により自動的に設定してもよい。また、本実施形態では、速度、加速度の上限を設定する場合を示しているが、上限だけでなく下限も設定することとしてもよい。
自動的に横隔膜の速度、加速度の閾値を設定する場合、例えば、以下の方法により設定を行うことができる。
例えば、さまざまな胸部の動態画像の横隔膜の動きから算出した速度及び加速度の範囲の最大値を上限の閾値、最小値を下限の閾値に設定する。或いは、さまざまな胸部の動態画像の横隔膜の動きから算出した速度及び加速度が取った値の範囲にマージンを与えた範囲を横隔膜が取り得る速度及び加速度の範囲とし、その最大値を上限の閾値、最小値を下限の閾値に設定することとしてもよい。この閾値は、動態画像を収集する過程で速度及び加速度が取った範囲をアップデートし、その結果を閾値に反映することで、より精度のよい横隔膜の計測結果を得ることが可能となる。
また、上記実施形態においては、動態画像においてユーザーが指定した計測対象点を中心とするw画素×h画素の領域をテンプレート画像としたが、横隔膜を模した幾何学図形や、横隔膜の画像を別のサンプルデータから抽出した画像や、多数のX線画像から作成した一般的な横隔膜の画像等をテンプレート画像としてもよい。
また、上記実施形態においては、動態画像の複数のフレーム画像のそれぞれにおける所定範囲内の各位置と横隔膜(所定の構造物)との類似度を示す評価値をテンプレートマッチングにより求める場合を例にとり説明したが、評価値の算出手法はこれに限定されない。例えば、計測対象点を中心とするw画素×h画素の領域を二値化したときの白の画素と黒の画素の比の値を横隔膜の特徴を表す基準値とし、横隔膜を探索する所定範囲内の各位置(各画素を中心とするw画素×h画素の領域)について算出した比の値と基準値との差分値等を各位置と横隔膜との類似度を表す評価値として用いることとしてもよい。
また、上記実施形態においては、ルート候補を逐次限定していくこととしたが、例えば、ルート保持部321として大容量の記憶容量が確保できるような場合等においては、ルート候補の限定を省略しても構わない。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROM等の可
搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、位置計測システム100を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
100 位置計測システム
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 撮影用コンソール
21 制御部
22 記憶部
23 操作部
24 表示部
25 通信部
26 バス
3 診断用コンソール
31 制御部
32 記憶部
321 ルート保持部
33 操作部
34 表示部
35 通信部
36 バス

Claims (16)

  1. 被写体に放射線を照射して動態撮影することにより得られた複数のフレーム画像における所定の構造物の位置を計測する動態画像処理装置であって、
    前記複数のフレーム画像のそれぞれにおける所定範囲内の各位置について、前記構造物との類似度を示す評価値を算出する評価値算出部と、
    前記評価値算出部により算出された評価値に基づいて、前記複数のフレーム画像のそれぞれから前記構造物の位置候補を一つ以上抽出し、少なくとも一つの前記フレーム画像からは前記構造物の位置候補を複数抽出する位置候補抽出部と、
    前記複数のフレーム画像のそれぞれから抽出された前記構造物の位置候補を時系列に繋いで前記構造物が移動したルート候補として複数のルート候補を記憶する記憶部と、
    前記記憶部に記憶されている複数のルート候補の中から一つのルート候補を前記構造物の移動ルートとして決定し、決定したルートに含まれる前記構造物の位置候補を前記複数のフレーム画像のそれぞれにおける前記構造物の位置として決定するルート決定部と、
    を備える動態画像処理装置。
  2. 前記位置候補抽出部は、前記複数のフレーム画像のそれぞれにおいて、前記評価値算出部により算出された評価値が極大となる位置を前記構造物の位置候補として抽出する請求項1に記載の動態画像処理装置。
  3. 前記位置候補抽出部は、前記構造物の位置候補の抽出範囲を前記構造物の移動速度及び/又は加速度に基づいて制限する請求項2に記載の動態画像処理装置。
  4. 前記位置候補抽出部は、前記構造物の移動方向が前記複数のフレーム画像のそれぞれを撮影したときの呼吸状態に合致するか否かに基づいて、抽出する前記構造物の位置候補を制限する請求項2又は3に記載の動態画像処理装置。
  5. 前記ルート決定部は、前記記憶部に記憶されている各ルート候補に含まれる前記構造物の位置候補のそれぞれについて算出された評価値に基づいて、前記構造物の移動ルートを決定する請求項1〜4の何れか一項に記載の動態画像処理装置。
  6. 前記ルート決定部は、前記ルート候補のそれぞれにおける、前記構造物の位置候補の評価値の合計値又は平均値、前記構造物の位置候補の評価値が所定の閾値以上又は所定の閾値未満のフレーム画像数又はフレーム画像数の割合、前記複数のルート候補間で同一のフレーム画像から算出された前記構造物の位置候補の評価値を比較したときの高さ順位の合計値又は平均値、又は、前記複数のルート候補間で同一のフレーム画像から算出された前記構造物の位置候補の評価値を比較したときの高さ順位が所定の閾値以上又は所定の閾値未満のフレーム画像数又はフレーム画像の割合に基づいて、前記構造物の移動ルートを決定する請求項5に記載の動態画像処理装置。
  7. 前記ルート決定部は、前記記憶部に記憶されている各ルート候補における前記構造物の移動量及び/又は移動方向に基づいて、前記構造物の移動ルートを決定する請求項1〜6の何れか一項に記載の動態画像処理装置。
  8. 前記構造物の位置を計測するための初期設定をユーザーが入力するための初期設定入力部を備える請求項1〜7の何れか一項に記載の動態画像処理装置。
  9. 前記構造物の位置の計測結果を出力する出力部を備える請求項1〜8の何れか一項に記載の動態画像処理装置。
  10. 前記記憶部に記憶されている複数のルート候補をより少ない複数のルート候補に限定するルート限定部を備える請求項1〜9の何れか一項に記載の動態画像処理装置。
  11. 前記ルート限定部は、前記記憶部に記憶されている各ルート候補に含まれる前記構造物の位置候補のそれぞれについて算出された評価値に基づいて、前記ルート候補を限定する請求項10に記載の動態画像処理装置。
  12. 前記ルート限定部は、前記評価値が所定の閾値以上の前記構造物の位置候補が存在した場合に、その位置候補を含むルート候補に限定する請求項11に記載の動態画像処理装置。
  13. 前記ルート限定部は、前記記憶部に記憶されている各ルート候補における前記構造物の移動量及び/又は移動方向に基づいて、前記ルート候補を限定する請求項10〜12の何れか一項に記載の動態画像処理装置。
  14. 前記ルート限定部は、前記ルート候補のそれぞれにおける前記構造物の動きが前記動態撮影時の呼吸運動に対応しているか否かに基づいて、前記ルート候補を限定する請求項10〜13の何れか一項に記載の動態画像処理装置。
  15. 前記所定の構造物は、横隔膜、心壁、肋骨、又は血管である請求項1〜14の何れか一項に記載の動態画像処理装置。
  16. 前記評価値算出部は、テンプレートマッチングを用いて前記評価値を算出する請求項1〜15の何れか一項に記載の動態画像処理装置。
JP2016208447A 2016-10-25 2016-10-25 動態画像処理装置 Ceased JP2018068400A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016208447A JP2018068400A (ja) 2016-10-25 2016-10-25 動態画像処理装置
US15/784,677 US20180110491A1 (en) 2016-10-25 2017-10-16 Dynamic image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016208447A JP2018068400A (ja) 2016-10-25 2016-10-25 動態画像処理装置

Publications (1)

Publication Number Publication Date
JP2018068400A true JP2018068400A (ja) 2018-05-10

Family

ID=61971155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016208447A Ceased JP2018068400A (ja) 2016-10-25 2016-10-25 動態画像処理装置

Country Status (2)

Country Link
US (1) US20180110491A1 (ja)
JP (1) JP2018068400A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020171425A (ja) * 2019-04-09 2020-10-22 コニカミノルタ株式会社 画像処理装置、放射線撮影システム及びプログラム
JP2021045367A (ja) * 2019-09-19 2021-03-25 コニカミノルタ株式会社 画像処理装置及びプログラム
US11406341B2 (en) 2018-09-27 2022-08-09 Konica Minolta, Inc. Radiography control apparatus, radiographic imaging apparatus, and radiographic imaging system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
US10970840B2 (en) * 2018-02-06 2021-04-06 The Cleveland Clinic Foundation Evaluation of lungs via ultrasound
US11194461B2 (en) * 2019-01-15 2021-12-07 Fujifilm Medical Systems U.S.A., Inc. Smooth image scrolling with dynamic scroll extension
DE102020200959A1 (de) * 2019-02-25 2020-08-27 Siemens Healthcare Gmbh Aufnahme eines Panoramadatensatzes eines Untersuchungsobjektes mittels eines beweglichen medizinischen Röntgengerätes
CN111091532B (zh) * 2019-10-30 2023-07-18 中国四维测绘技术有限公司 一种基于多层感知机的遥感影像色彩评价方法和系统
CN113592804B (zh) * 2021-07-27 2024-05-07 东软医疗系统股份有限公司 图像处理方法、装置及设备
CN116616804B (zh) * 2023-07-25 2023-10-13 杭州脉流科技有限公司 颅内动脉狭窄评估参数获取方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016002251A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム
WO2016157780A1 (ja) * 2015-03-30 2016-10-06 富士フイルム株式会社 光音響計測装置及びシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0731956A4 (en) * 1993-11-30 1997-04-23 Arch Dev Corp AUTOMATIC METHOD AND SYSTEM FOR ALIGNING AND CORRELATING TWO DIFFERENT MODALITIES
US5577502A (en) * 1995-04-03 1996-11-26 General Electric Company Imaging of interventional devices during medical procedures
JP3433928B2 (ja) * 2000-12-13 2003-08-04 三菱スペース・ソフトウエア株式会社 ディジタル胸部画像のリブケイジ境界検出方法及びディジタル胸部画像診断装置
WO2009078297A1 (ja) * 2007-12-19 2009-06-25 Konica Minolta Medical & Graphic, Inc. 動態画像処理システム
US9064302B2 (en) * 2010-08-27 2015-06-23 Konica Minolta, Inc. Diagnosis assistance system and computer readable storage medium
EP2727533A1 (en) * 2010-09-08 2014-05-07 Fujifilm Corporation Body motion detection device, as well as radiographic imaging apparatus
JP5958321B2 (ja) * 2012-12-14 2016-07-27 コニカミノルタ株式会社 医用情報処理装置及びプログラム
JP6495003B2 (ja) * 2014-02-04 2019-04-03 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及び医用画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016002251A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 画像処理装置、画像処理方法、およびプログラム
WO2016157780A1 (ja) * 2015-03-30 2016-10-06 富士フイルム株式会社 光音響計測装置及びシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11406341B2 (en) 2018-09-27 2022-08-09 Konica Minolta, Inc. Radiography control apparatus, radiographic imaging apparatus, and radiographic imaging system
JP2020171425A (ja) * 2019-04-09 2020-10-22 コニカミノルタ株式会社 画像処理装置、放射線撮影システム及びプログラム
JP7310239B2 (ja) 2019-04-09 2023-07-19 コニカミノルタ株式会社 画像処理装置、放射線撮影システム及びプログラム
JP2021045367A (ja) * 2019-09-19 2021-03-25 コニカミノルタ株式会社 画像処理装置及びプログラム
JP7287210B2 (ja) 2019-09-19 2023-06-06 コニカミノルタ株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
US20180110491A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
JP2018068400A (ja) 動態画像処理装置
RU2549141C2 (ru) Формирование данных объекта
JP6436182B2 (ja) 動態画像解析装置
US10881353B2 (en) Machine-guided imaging techniques
JP6958202B2 (ja) 動態画像処理装置及びプログラム
US20150073267A1 (en) System and method for lung visualization using ultasound
JPWO2006137294A1 (ja) X線診断支援装置、プログラム及び記録媒体
US10827999B2 (en) Dynamic analysis apparatus and system for measuring temporal changes in blood vessels
JP2017176202A (ja) 動態解析システム
JP2018078974A (ja) 動態画像処理システム
JP2014064824A (ja) 管状構造の最短経路探索装置および方法並びにプログラム
JP6258084B2 (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
US20170278239A1 (en) Dynamic analysis apparatus and dynamic analysis system
US11151715B2 (en) Dynamic analysis system
US11080866B2 (en) Dynamic image processing method and dynamic image processing device
JP6962030B2 (ja) 動態解析装置、動態解析システム、動態解析プログラム及び動態解析方法
JP5159195B2 (ja) 医用画像処理装置
JP2020168173A (ja) 動態解析装置、動態解析システム及びプログラム
US20220301170A1 (en) Dynamic image analysis apparatus and storage medium
JP2010075327A (ja) 画像診断支援装置、画像診断支援方法及びプログラム
CN117153348A (zh) 动态图像分析装置以及计算机能够读取的记录介质
JP2022116402A (ja) 動態画像解析装置及びプログラム
JP2020142018A (ja) 動態画像解析システム及び動態画像処理装置
JP2020110364A (ja) 画像処理システム及びプログラム
JP2018089379A (ja) 膀胱機能評価プログラム及び膀胱機能評価方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20201124