JP2018148965A - 動態解析システム - Google Patents

動態解析システム Download PDF

Info

Publication number
JP2018148965A
JP2018148965A JP2017045535A JP2017045535A JP2018148965A JP 2018148965 A JP2018148965 A JP 2018148965A JP 2017045535 A JP2017045535 A JP 2017045535A JP 2017045535 A JP2017045535 A JP 2017045535A JP 2018148965 A JP2018148965 A JP 2018148965A
Authority
JP
Japan
Prior art keywords
image
boundary
pixel
pixels
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017045535A
Other languages
English (en)
Other versions
JP6743730B2 (ja
Inventor
哲嗣 松谷
Tetsuji Matsutani
哲嗣 松谷
慎介 勝原
Shinsuke Katsuhara
慎介 勝原
仁 二村
Hitoshi Futamura
仁 二村
翔 野地
Sho Noji
翔 野地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2017045535A priority Critical patent/JP6743730B2/ja
Priority to US15/916,920 priority patent/US10586328B2/en
Publication of JP2018148965A publication Critical patent/JP2018148965A/ja
Application granted granted Critical
Publication of JP6743730B2 publication Critical patent/JP6743730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】動態画像における解剖学的情報と解析結果情報を同時に視認できるようにすることで、読影効率を向上させる。
【解決手段】診断用コンソール3によれば、制御部31は、動態画像の画素毎又は複数画素のブロック毎に動態に係る解析を行い、その解析結果を示す解析結果画像を生成する。次いで、動態画像又は解析結果画像の画素毎に、画素値が予め定められた値の範囲に含まれるか否かを判定し、その判定結果に応じて各画素を複数のグループに分類する。そして、異なるグループに分類された画素に隣接する画素を境界画素として抽出し、抽出した境界画素に基づいてグループ間の境界を生成し、動態画像又は解析結果画像のうち、分類が行われていない方の画像上に境界を合成して表示部34に表示させる。
【選択図】図3

Description

本発明は、動態解析システムに関する。
従来のフィルム/スクリーンや輝尽性蛍光体プレートを用いた被写体の放射線による静止画撮影及び診断に対し、FPD(flat panel detector)等の半導体イメージセンサーを利用して被写体の動態画像を撮影し、診断に応用する試みがなされるようになってきている。具体的には、半導体イメージセンサーの画像データの読取・消去の応答性の速さを利用し、半導体イメージセンサーの読取・消去のタイミングと合わせて放射源からパルス状の放射線を連続照射し、1秒間に複数回の撮影を行って、被写体の動態を撮影する。撮影により取得された一連の複数枚のフレーム画像を順次表示することにより、医師は被写体の一連の動きを観察することが可能となる。
また、動態画像を解析する各種技術も提案されている。例えば、特許文献1には、生体の血流の動きを捉えた動画像データを取得し、時系列の動画像データ同士における輝度差分値を計算して差分画像を作成し、差分画像における第一の閾値以上の輝度差分値を有する画素を波面画素として抽出し、抽出した波面画素を接続して血流波面として表示する技術が記載されている。
国際公開WO2010/079689号
しかしながら、従来の動態解析の結果を示す解析結果画像では、動態画像に描画されている被写体の解剖学的情報(構造物の形態情報)を同時に視認することができない。例えば、特許文献1においては、輝度値差分画像上に血流波面を表示したものを解析結果画像として表示するため、もとの動態画像に描画されている血管陰影等を視認することはできない。そのため、別の画像で解剖学的情報を確認しなければならず、読影効率が悪い。
本発明の課題は、動態画像における解剖学的情報と解析結果情報を同時に視認できるようにすることで、読影効率を向上させることである。
上記課題を解決するため、請求項1に記載の発明の動態解析システムは、
生体の動態を放射線撮影することにより得られた動態画像の画素毎又は複数画素のブロック毎に前記動態に係る解析を行い、その解析結果を示す解析結果画像を生成する解析手段と、
前記動態画像又は前記解析結果画像の画素毎に、画素値が予め定められた値の範囲に含まれるか否かを判定し、その判定結果に応じて各画素を複数のグループに分類する分類手段と、
前記分類手段により異なるグループに分類された画素に隣接する画素を境界画素として抽出し、抽出した境界画素に基づいて前記グループ間の境界を生成する境界生成手段と、
前記動態画像又は前記解析結果画像のうち、前記分類手段による分類が行われていない方の画像上に前記境界を合成して出力する出力手段と、
を備える。
請求項2に記載の発明は、請求項1に記載の発明において、
前記複数のグループのそれぞれには、そのグループに属する画素の上限値と下限値が設定されており、
前記分類手段は、前記動態画像又は前記解析結果画像の画素毎に、画素値が前記複数のグループの何れの上限値と下限値の範囲に含まれるか否かを判定し、その判定結果に応じて各画素を複数のグループに分類する。
請求項3に記載の発明は、請求項2に記載の発明において、
前記動態画像又は前記解析結果画像のうち前記分類手段が分類を行う画像の画素値に基づいて、前記複数のグループのそれぞれの上限値及び下限値を設定する設定手段を備える。
請求項4に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、
前記境界生成手段は、前記抽出された境界画素に色を付けることにより前記グループ間の境界を生成する。
請求項5に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、
前記境界生成手段は、前記抽出された境界画素の中から任意の画素を複数選択し、選択した境界画素を直線又は曲線で結んで色を付けることで前記グループ間の境界を生成する。
請求項6に記載の発明は、請求項4又は5に記載の発明において、
前記境界生成手段は、前記境界画素が属するグループに応じた色を前記境界画素に基づいて生成される境界に割り当てる。
請求項7に記載の発明は、請求項1〜6のいずれか一項に記載の発明において、
前記出力手段は、前記分類手段による分類が行われていない方の画像上の前記境界画素に基づいて生成された境界上に前記境界画素が属するグループに応じた数値を合成して出力する。
請求項8に記載の発明は、請求項1〜7のいずれか一項に記載の発明において、
前記出力手段は、表示装置であり、
ユーザー操作を入力するための操作手段を備え、
前記表示装置は、前記操作手段により当該表示装置に表示されたいずれかの前記境界が指定された場合、指定された境界と同じグループの境界を強調表示する。
請求項9に記載の発明は、請求項1〜8のいずれか一項に記載の発明において、
前記動態画像及び前記解析結果画像は複数のフレーム画像により構成され、
前記分類手段は、前記動態画像又は前記解析結果画像の各フレーム画像の画素毎に、画素値が予め定められた値の範囲に含まれるか否かを判定し、その判定結果に応じて前記各フレーム画像の各画素を複数のグループに分類し、
前記境界生成手段は、前記各フレーム画像において、前記分類手段により異なるグループに分類された画素に隣接する画素を境界画素として抽出し、抽出した境界画素に基づいて前記グループ間の境界を生成し、
前記出力手段は、前記動態画像又は前記解析結果画像のうち、前記分類手段による分類が行われていない方の画像の前記各フレーム画像上に前記境界を合成して出力する。
請求項10に記載の発明は、請求項1〜9のいずれか一項に記載の発明において、

前記出力手段は、更に、前記各フレーム画像において生成された前記複数のグループのうち任意のグループの境界を1枚の画像にまとめて前記分類手段による分類が行われていない方の画像上に合成して出力する。
本発明によれば、動態画像における解剖学的情報と解析結果情報を同時に視認できるようにすることで、読影効率を向上させることが可能となる。
本発明の実施形態における動態解析システムの全体構成を示す図である。 図1の撮影用コンソールの制御部により実行される撮影制御処理を示すフローチャートである。 第1の実施形態において図1の診断用コンソールの制御部により実行される動態解析処理Aを示すフローチャートである。 解析結果画像の一例を示す図である。 動態解析処理Aにおいて、図4に示す解析結果画像とその動態画像に基づいて生成される画像の一例を示す図である。 第2の実施形態において図1の診断用コンソールの制御部により実行される動態解析処理Bを示すフローチャートである。
以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
<第1の実施形態>
〔動態解析システム100の構成〕
まず、第1の実施形態の構成を説明する。
図1に、第1の実施形態における動態解析システム100の全体構成を示す。
図1に示すように、動態解析システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。動態解析システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
〔撮影装置1の構成〕
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、周期性(サイクル)を持つ動態を撮影する撮影手段である。動態撮影とは、被写体である生体に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、動態を示す複数の画像を取得することをいう。動態撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、パルス照射により胸部の動態撮影を行う場合を例にとり説明する。
放射線源11は、被写体M(被検者)を挟んで放射線検出部13と対向する位置に配置され、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。
放射線照射制御装置12は、撮影用コンソール2に接続されており、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。撮影用コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、1撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線検出部13は、FPD等の半導体イメージセンサーにより構成される。FPDは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、何れを用いてもよい。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
読取制御装置14は、撮影用コンソール2に接続されている。読取制御装置14は、撮影用コンソール2から入力された画像読取条件に基づいて放射線検出部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部13に蓄積された電気信号を読み取ることにより、画像データを取得する。この画像データがフレーム画像である。そして、読取制御装置14は、取得したフレーム画像を撮影用コンソール2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14は互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
〔撮影用コンソール2の構成〕
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師等の撮影実施者によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、図1に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory
)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影用コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部22は、図2に示す撮影制御処理を実行するためのプログラムを記憶している。また、記憶部22は、検査対象部位(ここでは、胸部とする)に対応付けて放射線照射条件及び画像読取条件を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
通信部25は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔診断用コンソール3の構成〕
診断用コンソール3は、撮影用コンソール2から動態画像を取得し、取得した動態画像や動態画像の解析結果を表示して医師の診断を支援するための装置である。
診断用コンソール3は、図1に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35を備えて構成され、各部はバス36により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、後述する動態解析処理Aを始めとする各種処理を実行し、診断用コンソール3の各部の動作を集中制御する。制御部31は、解析手段、分類手段、境界生成手段、設定手段として機能する。
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32は、制御部31で動態解析処理Aを実行するためのプログラムを始めとする各種プログラムやプログラムによる処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部32には、撮影により得られた動態画像及びその解析結果画像が患者情報(例えば、患者ID、患者の氏名、身長、体重、年齢、性別等)、検査情報(例えば、検査ID、検査日、検査対象部位(ここでは、胸部)、診断対象の機能の種類(例えば、換気、血流)等)に対応付けて記憶されている。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、ユーザーによるキーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、LCDやCRT等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、各種表示を行う。表示部34は、出力手段として機能する。
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
〔動態解析システム100の動作〕
次に、本実施形態における上記動態解析システム100の動作について説明する。
(撮影装置1、撮影用コンソール2の動作)
まず、撮影装置1、撮影用コンソール2による撮影動作について説明する。
図2に、撮影用コンソール2の制御部21において実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
まず、撮影実施者により撮影用コンソール2の操作部23が操作され、被検者(被写体M)の患者情報、検査情報の入力が行われる(ステップS1)。
次いで、放射線照射条件が記憶部22から読み出されて放射線照射制御装置12に設定されるとともに、画像読取条件が記憶部22から読み出されて読取制御装置14に設定される(ステップS2)。
次いで、操作部23の操作による放射線照射の指示が待機される(ステップS3)。ここで、撮影実施者は、被写体Mを放射線源11と放射線検出部13の間に配置してポジショニングを行う。また、被検者(被写体M)に対し、呼吸状態を指示する。例えば、被検者(被写体M)に楽にするように指示し、安静呼吸を促す。診断対象の種類が換気の場合には安静呼吸を促し、診断対象の種類が血流の場合には被検者に息を止めるように指示することとしてもよい。撮影準備が整った時点で、操作部23を操作して放射線照射指示を入力する。
操作部23により放射線照射指示が入力されると(ステップS3;YES)、放射線照射制御装置12及び読取制御装置14に撮影開始指示が出力され、動態撮影が開始される(ステップS4)。即ち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像が取得される。
予め定められたフレーム数の撮影が終了すると、制御部21により放射線照射制御装置12及び読取制御装置14に撮影終了の指示が出力され、撮影動作が停止される。撮影されるフレーム数は、少なくとも1呼吸サイクルが撮影できる枚数である。
撮影により取得されたフレーム画像は順次撮影用コンソール2に入力され、撮影順を示す番号(フレーム番号)と対応付けて記憶部22に記憶されるとともに(ステップS5)、表示部24に表示される(ステップS6)。撮影実施者は、表示された動態画像によりポジショニング等を確認し、撮影により診断に適した画像が取得された(撮影OK)か、再撮影が必要(撮影NG)か、を判断する。そして、操作部23を操作して、判断結果を入力する。
操作部23の所定の操作により撮影OKを示す判断結果が入力されると(ステップS7;YES)、動態撮影で取得された一連のフレーム画像のそれぞれに、動態画像を識別するための識別IDや、患者情報、検査情報、放射線照射条件、画像読取条件、撮影順を示す番号(フレーム番号)等の情報が付帯され(例えば、DICOM形式で画像データのヘッダ領域に書き込まれ)、通信部25を介して診断用コンソール3に送信される(ステップS8)。そして、本処理は終了する。一方、操作部23の所定の操作により撮影NGを示す判断結果が入力されると(ステップS7;NO)、記憶部22に記憶された一連のフレーム画像が削除され(ステップS9)、本処理は終了する。この場合、再撮影が必要となる。
(診断用コンソール3の動作)
次に、診断用コンソール3における動作について説明する。
診断用コンソール3においては、通信部35を介して撮影用コンソール2から動態画像の一連のフレーム画像が受信されると、制御部31と記憶部32に記憶されているプログラムとの協働により図3に示す動態解析処理Aが実行される。
以下、図3を参照して動態解析処理Aの流れについて説明する。
まず、一連のフレーム画像に基づいて肺野領域内の動態解析が行われ、動態の解析結果を示す複数のフレーム画像からなる解析結果画像が生成される(ステップS10)。
解析結果画像は、動態画像の画素毎又は複数画素のブロック毎に診断対象の機能(換気や血流)解析したものであり、各画素の信号値は、動態解析の結果を示す。解析結果画像を得るための解析の具体的な手法は問わないが、例えば、下記の(1)〜(3)等を用いることができる。なお、下記の(1)〜(3)においては、動態画像の肺野領域内のフレーム画像間において対応する(同じ画素位置の)複数画素のブロック(小領域という)毎に解析を行うこととしているが、画素毎であってもよい。
(1)診断対象の機能が血流である場合、例えば、特開2012−239796号公報の記載の手法を用いることができる。即ち、撮影開始からの拍動信号波形に対して、小領域毎に、血流信号波形を1フレーム間隔ずつずらしながら(時間方向にシフトさせながら)、拍動信号波形と各小領域の血流信号波形との相互相関係数を算出し、1フレームずらす毎に算出された相互相関係数を各小領域に示した画像を1フレームとして並べた動画像を血流解析結果画像として生成してもよい。
血流信号波形は、一連のフレーム画像の各小領域毎に、時間方向のハイパスフィルター処理(例えば、低域カットオフ周波数0.8Hz)を施してから小領域内の各画素の信号値の代表値(平均値、最大値等)を算出し、算出した代表値の時間変化を示す波形を取得することにより求めることができる。
拍動信号波形としては、以下のいずれかを用いることができる。
(a)心臓領域(又は大動脈領域)にROI(関心領域)を定め、そのROIにおける信号値の時間変化を示す波形
(b)(a)の波形を反転させた信号波形
(c)心電検知センサーより得られた心電信号波形
(d)心壁の動き(位置の変化)を示す信号波形
また、相互相関係数は、以下の[数1]により求めることができる。
(2)診断対象の機能が血流である場合、特開2013−81579号公報に記載のように、小領域毎に、時間方向のハイパスフィルター処理(例えば、低域カットオフ周波数0.8Hz)を施してから隣接するフレーム画像間で小領域内の各画素の信号値の代表値(平均値、最大値等)の差分値を算出し、各隣接するフレーム画像間で算出された差分値を各小領域に示した画像を1フレームとして時系列順に並べた動画像を血流解析結果画像として生成してもよい。上記手法により生成されたフレーム間差分画像は、各小領域における換気による信号変化が除去されており、各小領域における血流による信号変化を示す画像となる。
(3)診断対象の機能が換気である場合、特開2013−81579号公報に記載のように、小領域毎に、時間方向のローパスフィルター処理(例えば、高域カットオフ周波数0.8Hz)を施してから隣接するフレーム画像間で小領域内の各画素の信号値の代表値(平均値、最大値等)の差分値を算出し、各隣接するフレーム画像間で算出された差分値を各小領域に示した画像を1フレームとして時系列順に並べた動画像を換気解析結果画像として生成してもよい。上記手法により生成されたフレーム間差分画像は、各小領域における血流による信号変化が除去されており、各小領域における換気による信号変化を示す画像となる。
次いで、解析結果画像の画素値に基づいて、解析結果画像の画素をグループ分けする際の各グループの画素値の上限値及び下限値が設定される(ステップS11)。
例えば、解析結果画像の全フレーム画像における画素値の最大値と最小値を求め、最大値と最小値の間の範囲をn分割(nはグループの数)して、各グループに属する画素値の上限値及び下限値を設定する。例えば、予め各グループの画素値の上限値及び下限値が設定されている場合、解析結果画像の画素値の範囲をはずれたグループが設定されてしまい、グループ分けがうまくいかない場合があるが、解析結果画像の画素値に基づいて各グループの画素値の上限値及び下限値を設定することで、解析結果画像の画素をnグループに分類することが可能となる。
次いで、変数Mに1、変数Nに1が設定され(ステップS12)、解析結果画像のM番目のフレーム画像において注目画素が選択される(ステップS13)。例えば、左上の画素から順に注目画素が選択される。
次いで、注目画素の画素値がグループNの範囲内に含まれるか否かが判断される(ステップS14)。
注目画素の画素値がグループNの範囲内に含まれないと判断された場合(ステップS14;NO)、Nが1インクリメントされ(ステップS15)、ステップS14に戻る。
注目画素の画素値がグループNの範囲内に含まれると判断された場合(ステップS14;YES)、注目画素がグループNに分類され(ステップS16)、ステップS17に移行する。
ステップS17においては、M番目のフレーム画像の全画素についてグループ分けが終了したか否かが判断される(ステップS17)。
M番目のフレーム画像の全画素(解析対象である肺野領域内の全画素)についてのグループ分けが終了していないと判断された場合(ステップS17;NO)、注目画素が変更され(ステップS18)、ステップS14に戻る。
M番目のフレーム画像の全画素についてのグループ分けが終了したと判断された場合(ステップS17;YES)、注目画素が選択される(ステップS19)。例えば、左上の画素から順に注目画素が選択される。
次いで、注目画素が異なるグループの画素に隣接しているか否かが判断される(ステップS20)。注目画素が異なるグループの画素に隣接していないと判断された場合(ステップS20;NO)、処理はステップS23に移行する。
注目画素が異なるグループの画素に隣接していると判断された場合(ステップS20;YES)、注目画素が境界画素として抽出され(ステップS21)、境界画素に、その境界画素の画素値が属するグループに応じた色が割り当てられて境界が生成され(ステップS22)、ステップS23に移行する。例えば、画素値が高いグループほど濃く、低いグループほど薄い色が割り当てられる。
ステップS23においては、全画素についての判定(隣接画素とグループが異なるかの判定)が終了したか否かが判断される(ステップS23)。
全画素についての判定が終了していないと判断された場合(ステップS23;NO)、注目画素が変更され(ステップS24)、ステップS20に戻る。
全画素についての判定が終了したと判断された場合(ステップS24;YES)、変数Mが解析結果画像のフレーム画像数以上であるか否かが判断される(ステップS25)。
変数Mが解析結果画像のフレーム画像数以上ではないと判断した場合(ステップS25;NO)、変数Mが1インクリメントされ(ステップS26)、ステップS13に戻る。
変数Mが解析結果画像のフレーム画像数以上であると判断した場合(ステップS25;YES)、動態画像の各フレーム画像に、解析結果画像の対応するフレーム画像の境界画素が合成されて表示部34に表示され(ステップS27)、動態解析処理は終了する。なお、境界画素同士は隣接するため、いずれか一方、例えば、画素値が大きいほうの境界画素のみに色付けして表示することが好ましい。
図4に、解析結果画像の一例を示す。図5に、ステップS27において表示された画像(図4に示す解析結果画像とその動態画像に基づいて生成した画像)の一例を示す。
図4に示す解析結果画像では、動態画像に描画されている解剖学的情報を視認することはできない。一方、図5に示すように、ステップS27において表示される画像では、動態画像上に、解析結果画像の画素値を大きさによりグループ分けしたときの境界画素が、その境界画素が属するグループによって色分けして表示される。したがって、ユーザーは、動態画像における解剖学的情報と解析結果情報を同時に視認することができ、読影効率を向上させることができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第2の実施形態における構成は、診断用コンソール3の記憶部32に動態解析処理Bのプログラムが記憶されている他は、第1の実施形態で説明したものと同様であるので説明を省略し、以下、第2の実施形態の動作について説明する。
まず、撮影装置1と撮影用コンソール2において動態撮影が行われて動態画像が生成され、撮影用コンソール2から診断用コンソール3に動態画像の一連のフレーム画像が送信される。
診断用コンソール3においては、通信部35を介して撮影用コンソール2から動態画像の一連のフレーム画像が受信されると、制御部31と記憶部32に記憶されているプログラムとの協働により図6に示す動態解析処理Bが実行される。
以下、図6を参照して差分表示処理Bの流れについて説明する。
まず、ステップS30〜ステップS41の処理が実行され、解析結果画像のM番目のフレーム画像において境界画素が抽出される。ステップS30〜ステップS41の処理は、図3のステップS10〜S21と同様であるので説明を援用する。
ステップS42においては、全画素についての判定(隣接画素とグループが異なるかの判定)が終了したか否かが判断される(ステップS42)。
全画素についての判定が終了していないと判断された場合(ステップS42;NO)、注目画素が変更され(ステップS43)、ステップS40に戻る。
全画素についての判定が終了したと判断された場合(ステップ42;YES)、M番目のフレーム画像に設定された境界画素から任意の画素が複数選択される(ステップS44)。例えば、連続する境界画素の中から所定画素間隔で境界画素が選択される。
そして、選択された境界画素のうち同一グループに属する境界画素の近似曲線がそれぞれ算出され(ステップS45)、算出された近似曲線を境界線として、境界線に境界画素が属するグループに応じた色が割り当てられる(ステップS46)。ステップS45においては、例えば、同一グループに属する境界画素を複数点ずつ選んで近似曲線を生成する作業を点をずらしながら繰り返すことで、同じグループの画素領域を囲む閉空間を生成することができる。近似曲線は、例えば、最小二乗法により求めることができる。なお、同じグループの境界画素を近似曲線で結ぶことが好ましいが、直線で結ぶこととしてもよい。
次いで、変数Mが解析結果画像のフレーム画像数以上であるか否かが判断される(ステップS47)。
変数Mが解析結果画像のフレーム画像数以上ではないと判断した場合(ステップS47;NO)、変数Mが1インクリメントされ(ステップS48)、ステップS33に戻る。
変数Mが解析結果画像のフレーム画像数以上であると判断した場合(ステップS47;YES)、動態画像の各フレーム画像に対応する解析結果画像のフレーム画像の境界線が合成されて表示部34に表示され(ステップS49)、動態解析処理Bは終了する。なお、境界線は隣接するため、いずれか一方、例えば、画素値が大きいほうの境界線のみに色付けして表示することが好ましい。
第2の実施形態においては、境界画素にそのまま色を付して境界を表示するのではなく、境界画素を近似曲線によりスムージングした境界線に色を付して表示する。したがって、第1の実施形態と同様の効果を奏するとともに、画素値の異なるグループの境界をより滑らかに見やすく表示することが可能となる。
なお、図3のステップS27及び図6のステップS49においては、境界上に、その境界上の境界画素が属するグループに応じた数値(例えば、境界画素の画素値)を併せて表示することが好ましい。これにより、ユーザーが解析結果をより容易に把握することが可能となる。
また、図3のステップS27及び図6のステップS49において表示部34に表示された画像において、操作部33により任意の境界上にカーソルを当てて境界を指定した場合、制御部31は、同じグループの境界を強調表示(例えば、光らせる、境界の表示に使用されている色とは異なる色相で表示する等)することが好ましい。これにより、指定した境界を含むグループと同じグループに属する領域をユーザーが容易に認識することができる。例えば、ユーザーが右肺野の或るグループの境界を指定すると、左肺野の同じ画素値のグループの境界が光るので、ユーザーが左肺野における同じグループの領域を容易に認識することが可能となる。
また、図3のステップS27及び図6のステップS49において表示部34に表示された画像において、操作部33により任意の境界上にカーソルを当てて境界を指定した場合、制御部31は、指定された境界と同じグループの境界を解析結果画像の各フレーム画像から抽出して動態画像の1枚のフレーム画像上にまとめて合成して表示してもよい。これにより、解析された機能の時間変化を1枚にまとめて表示することができるので、効率的な読影診断が可能となる。
また、上記第1及び第2の実施形態においては、解析結果画像の画素値を複数のグループに分類し、グループの境界(境界画素、境界線)に色を割り当てて動態画像上に合成する場合を例にとり説明したが、動態画像の画素値を複数のグループに分類し、各グループの境界に色を割り当てて解析結果画像上に合成することとしてもよい。
例えば、胸部の動態画像において上述の画素のグループ分けを行うと、解剖学的構造物(例えば、骨や血管陰影)の輪郭がグループ間の境界となって表れる。そこで、動態画像における境界に色を割り当てて解析結果画像上に合成して表示することで、ユーザーは、動態画像における解剖学的情報と解析結果情報を同時に視認することができ、読影効率を向上させることができる。
以上、本発明の第1及び第2の実施形態について説明したが、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、動態画像又はその解析結果画像のうち、画素値をグループに分類して境界を生成する方の画像の画素値に基づいて、各グループに属する画素値の範囲を設定することとしたが、これに限定されず、例えば、各グループに属する画素値の範囲を予め設定して記憶部32に記憶しておくこととしてもよい。
また、上記実施形態においては、出力手段が表示部34である場合を例にとり説明したが、例えば、プリンタ等、他の出力装置としてもよい。
また、上記実施形態においては、解析手段、分類手段、境界生成手段、出力手段が単体の装置に備えられている場合を例にとり説明したが、これらの機能は別々の装置に備えられていることとしてもよい。
また、例えば、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD−ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、動態解析システムを構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
100 動態解析システム
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 撮影用コンソール
21 制御部
22 記憶部
23 操作部
24 表示部
25 通信部
26 バス
3 診断用コンソール
31 制御部
32 記憶部
33 操作部
34 表示部
35 通信部
36 バス

Claims (10)

  1. 生体の動態を放射線撮影することにより得られた動態画像の画素毎又は複数画素のブロック毎に前記動態に係る解析を行い、その解析結果を示す解析結果画像を生成する解析手段と、
    前記動態画像又は前記解析結果画像の画素毎に、画素値が予め定められた値の範囲に含まれるか否かを判定し、その判定結果に応じて各画素を複数のグループに分類する分類手段と、
    前記分類手段により異なるグループに分類された画素に隣接する画素を境界画素として抽出し、抽出した境界画素に基づいて前記グループ間の境界を生成する境界生成手段と、
    前記動態画像又は前記解析結果画像のうち、前記分類手段による分類が行われていない方の画像上に前記境界を合成して出力する出力手段と、
    を備える動態解析システム。
  2. 前記複数のグループのそれぞれには、そのグループに属する画素の上限値と下限値が設定されており、
    前記分類手段は、前記動態画像又は前記解析結果画像の画素毎に、画素値が前記複数のグループの何れの上限値と下限値の範囲に含まれるか否かを判定し、その判定結果に応じて各画素を複数のグループに分類する請求項1に記載の動態解析システム。
  3. 前記動態画像又は前記解析結果画像のうち前記分類手段が分類を行う画像の画素値に基づいて、前記複数のグループのそれぞれの上限値及び下限値を設定する設定手段を備える請求項2に記載の動態解析システム。
  4. 前記境界生成手段は、前記抽出された境界画素に色を付けることにより前記グループ間の境界を生成する請求項1〜3のいずれか一項に記載の動態解析システム。
  5. 前記境界生成手段は、前記抽出された境界画素の中から任意の画素を複数選択し、選択した境界画素を直線又は曲線で結んで色を付けることで前記グループ間の境界を生成する請求項1〜3のいずれか一項に記載の動態解析システム。
  6. 前記境界生成手段は、前記境界画素が属するグループに応じた色を前記境界画素に基づいて生成される境界に割り当てる請求項4又は5に記載の動態解析システム。
  7. 前記出力手段は、前記分類手段による分類が行われていない方の画像上の前記境界画素に基づいて生成された境界上に前記境界画素が属するグループに応じた数値を合成して出力する請求項1〜6のいずれか一項に記載の動態解析システム。
  8. 前記出力手段は、表示装置であり、
    ユーザー操作を入力するための操作手段を備え、
    前記表示装置は、前記操作手段により当該表示装置に表示されたいずれかの前記境界が指定された場合、指定された境界と同じグループの境界を強調表示する請求項1〜7のいずれか一項に記載の動態解析システム。
  9. 前記動態画像及び前記解析結果画像は複数のフレーム画像により構成され、
    前記分類手段は、前記動態画像又は前記解析結果画像の各フレーム画像の画素毎に、画素値が予め定められた値の範囲に含まれるか否かを判定し、その判定結果に応じて前記各フレーム画像の各画素を複数のグループに分類し、
    前記境界生成手段は、前記各フレーム画像において、前記分類手段により異なるグループに分類された画素に隣接する画素を境界画素として抽出し、抽出した境界画素に基づいて前記グループ間の境界を生成し、
    前記出力手段は、前記動態画像又は前記解析結果画像のうち、前記分類手段による分類が行われていない方の画像の前記各フレーム画像上に前記境界を合成して出力する請求項1〜8のいずれか一項に記載の動態解析システム。
  10. 前記出力手段は、更に、前記各フレーム画像において生成された前記複数のグループのうち任意のグループの境界を1枚の画像にまとめて前記分類手段による分類が行われていない方の画像上に合成して出力する請求項1〜9のいずれか一項に記載の動態解析システム。
JP2017045535A 2017-03-10 2017-03-10 動態解析システム Active JP6743730B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017045535A JP6743730B2 (ja) 2017-03-10 2017-03-10 動態解析システム
US15/916,920 US10586328B2 (en) 2017-03-10 2018-03-09 Dynamic analysis system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017045535A JP6743730B2 (ja) 2017-03-10 2017-03-10 動態解析システム

Publications (2)

Publication Number Publication Date
JP2018148965A true JP2018148965A (ja) 2018-09-27
JP6743730B2 JP6743730B2 (ja) 2020-08-19

Family

ID=63446604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017045535A Active JP6743730B2 (ja) 2017-03-10 2017-03-10 動態解析システム

Country Status (2)

Country Link
US (1) US10586328B2 (ja)
JP (1) JP6743730B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089612A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP7487566B2 (ja) 2020-06-03 2024-05-21 コニカミノルタ株式会社 プログラム、画像処理装置及び画像処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6950483B2 (ja) * 2017-11-20 2021-10-13 コニカミノルタ株式会社 動態撮影システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181609A (ja) * 1993-12-24 1995-07-21 Konica Corp 放射線画像の照射野領域抽出装置
JP2005020719A (ja) * 2003-06-06 2005-01-20 Fuji Photo Film Co Ltd 画像読影支援方法及び装置並びにプログラム
WO2012026146A1 (ja) * 2010-08-27 2012-03-01 コニカミノルタエムジー株式会社 胸部診断支援システム及びプログラム
US20150379706A1 (en) * 2014-06-25 2015-12-31 Dräger Medical GmbH Device and method for processing tomographic data
JP2016007502A (ja) * 2014-06-26 2016-01-18 株式会社東芝 医用画像処理装置及び医用画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5195924B2 (ja) 2009-01-06 2013-05-15 コニカミノルタホールディングス株式会社 画像表示装置およびプログラムおよび画像表示方法
US10052495B2 (en) * 2013-09-08 2018-08-21 Tylerton International Inc. Detection of reduced-control cardiac zones

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181609A (ja) * 1993-12-24 1995-07-21 Konica Corp 放射線画像の照射野領域抽出装置
JP2005020719A (ja) * 2003-06-06 2005-01-20 Fuji Photo Film Co Ltd 画像読影支援方法及び装置並びにプログラム
WO2012026146A1 (ja) * 2010-08-27 2012-03-01 コニカミノルタエムジー株式会社 胸部診断支援システム及びプログラム
US20150379706A1 (en) * 2014-06-25 2015-12-31 Dräger Medical GmbH Device and method for processing tomographic data
JP2016007502A (ja) * 2014-06-26 2016-01-18 株式会社東芝 医用画像処理装置及び医用画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089612A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP7143747B2 (ja) 2018-12-07 2022-09-29 コニカミノルタ株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP7487566B2 (ja) 2020-06-03 2024-05-21 コニカミノルタ株式会社 プログラム、画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP6743730B2 (ja) 2020-08-19
US20180260953A1 (en) 2018-09-13
US10586328B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
JP6772908B2 (ja) 動態解析システム及びプログラム
JP6772873B2 (ja) 動態解析装置及び動態解析システム
JP5200656B2 (ja) 動態撮影システム
JP6743662B2 (ja) 動態画像処理システム
JP6217241B2 (ja) 胸部診断支援システム
JP6812685B2 (ja) 動態解析装置
JP2009153677A (ja) 動態画像処理システム
JP2019058368A (ja) 動態解析装置及び動態解析システム
JP6740910B2 (ja) 動態画像処理システム
JP6743730B2 (ja) 動態解析システム
JP6848393B2 (ja) 動態画像処理装置
JP2017169830A (ja) 動態解析装置
JP6740699B2 (ja) 画像解析システム
JP2018187310A (ja) 動態画像処理システム
JP5315686B2 (ja) 動態画像診断支援システム
JP2020044445A (ja) 動態解析システム、プログラム及び動態解析装置
JP6950507B2 (ja) 動態画像処理装置
JP2018175320A (ja) 放射線撮影システム
JP7099086B2 (ja) 動態画像処理装置及びプログラム
JP2012245395A (ja) 動態撮影システム及び診断支援情報生成方法
JP6962030B2 (ja) 動態解析装置、動態解析システム、動態解析プログラム及び動態解析方法
JP6950483B2 (ja) 動態撮影システム
JP6885260B2 (ja) 動態画像解析装置
JP6888721B2 (ja) 動態画像処理装置、動態画像処理プログラム及び動態画像処理方法
JP6874484B2 (ja) 動態画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R150 Certificate of patent or registration of utility model

Ref document number: 6743730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150