JP2020080949A - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP2020080949A
JP2020080949A JP2018215181A JP2018215181A JP2020080949A JP 2020080949 A JP2020080949 A JP 2020080949A JP 2018215181 A JP2018215181 A JP 2018215181A JP 2018215181 A JP2018215181 A JP 2018215181A JP 2020080949 A JP2020080949 A JP 2020080949A
Authority
JP
Japan
Prior art keywords
image
image processing
frame
feature amount
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018215181A
Other languages
English (en)
Other versions
JP7135759B2 (ja
Inventor
慎介 勝原
Shinsuke Katsuhara
慎介 勝原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018215181A priority Critical patent/JP7135759B2/ja
Priority to US16/657,692 priority patent/US11232559B2/en
Priority to CN201911112257.5A priority patent/CN111199789A/zh
Publication of JP2020080949A publication Critical patent/JP2020080949A/ja
Application granted granted Critical
Publication of JP7135759B2 publication Critical patent/JP7135759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像処理された動画像が診断に適しているか否かを効率よく確認できるようにする。【解決手段】画像処理装置1によれば、制御部11は、被写体の動態を放射線撮影することにより取得された動画像の複数のフレーム画像のそれぞれから被写体の変化を表す特徴量を算出し、算出された特徴量が予め定められた条件を満たすフレーム画像を確認表示用のフレーム画像として抽出する。また、抽出された確認表示用のフレーム画像に対し、他のフレーム画像に先行して画像処理パラメーターを適用して画像処理を施し、画像処理されたフレーム画像を表示部14に表示させる。【選択図】図2

Description

本発明は、画像処理装置及びプログラムに関する。
従来、医療の分野では、被写体を放射線撮影することにより得られた画像に階調処理等の画像処理を施して、診断に適した画像を取得することが行われている。
例えば、特許文献1には、撮影手技及び撮影部位のうち少なくとも何れか一方を含むプロトコル及び放射線条件に基づいて階調処理パラメーターを決定し、決定された階調処理パラメーターに基づいて画像データの階調処理を行う技術が記載されている。
特開2014−64608号公報
ところで、階調処理等の画像処理が施された画像が臨床上適しているか否かをユーザーは確認する必要があるが、動画像の場合、どのフレーム画像を使用して臨床上許容できるか否かを確認したらよいかをユーザーが判断するのに時間がかかるという問題があった。また、確認すべきフレーム画像が特定されていないため、全てのフレーム画像に画像処理パラメーターを適用して画像処理を行う必要があり、処理時間がかかってしまい、画像確認の初期表示までに時間がかかってしまうという問題があった。
本発明の課題は、画像処理された動画像が診断に適しているか否かを効率よく確認できるようにすることである。
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
被写体の動態を放射線撮影することにより取得された動画像の複数のフレーム画像のそれぞれから前記被写体の変化を表す特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量が予め定められた条件を満たすフレーム画像を抽出する抽出手段と、
前記抽出手段により抽出されたフレーム画像に対し、他のフレーム画像に先行して画像処理パラメーターを適用して画像処理を施し、前記画像処理されたフレーム画像を表示手段に表示させる制御手段と、
を備える。
請求項2に記載の発明は、請求項1に記載の発明において、
前記抽出手段は、少なくとも前記特徴量が最大のフレーム画像及び最小のフレーム画像を抽出する。
請求項3に記載の発明は、請求項1又は2に記載の発明において、
前記特徴量は、前記被写体の所定領域における信号値、信号値変化量、テクスチャー特徴量、大きさ、所定の構造物の動き量又は位置のいずれかである。
請求項4に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、

前記動画像は、胸部画像又は関節画像である。
請求項5に記載の発明は、請求項1に記載の発明において、
前記抽出手段は、少なくとも前記特徴量が所定の閾値を超えたときのフレーム画像を抽出する。
請求項6に記載の発明は、請求項1又は5に記載の発明において、
前記特徴量は、前記被写体の所定領域における信号値変化量である。
請求項7に記載の発明は、請求項1、5、6のいずれか一項に記載の発明において、
前記動画像は、嚥下画像である。
請求項8に記載の発明は、請求項1〜7のいずれか一項に記載の発明において、
前記制御手段は、前記特徴量算出手段により算出されたフレーム画像ごとの特徴量の変化を示す情報及び抽出されたフレーム画像から算出された特徴量の情報を前記表示手段に表示させる。
請求項9に記載の発明は、請求項1〜8のいずれか一項に記載の発明において、
前記表示手段に表示されたフレーム画像に対して、ユーザーが画像処理パラメーターを調整するためのユーザーインターフェースを備える。
請求項10に記載の発明は、請求項1〜9のいずれか一項に記載の発明において、
前記特徴量算出手段により複数のフレーム画像から算出される特徴量の種類及び前記抽出手段により抽出されるフレーム画像の前記特徴量の条件をユーザーが変更するためのユーザーインターフェースを備える。
請求項11に記載の発明のプログラムは、
コンピューターを、
被写体の動態を放射線撮影することにより取得された動画像の複数のフレーム画像のそれぞれから前記被写体の変化を表す特徴量を算出する特徴量算出手段、
前記特徴量算出手段により算出された特徴量が予め定められた条件を満たすフレーム画像を抽出する抽出手段、
前記抽出手段により抽出されたフレーム画像に対し、他のフレーム画像に先行して画像処理パラメーターを適用して画像処理を施し、前記画像処理されたフレーム画像を表示手段に表示させる制御手段、
として機能させる。
本発明によれば、画像処理された動画像が診断に適しているか否かを効率よく確認することが可能となる。
本発明の実施形態における画像処理装置の機能的構成を示すブロック図である。 図1の制御部により実行される画像調整処理を示すフローチャートである。 吸気位→呼気位における肺血管の変化を模式的に示す図である。 吸気位と呼気位における胸部画像における肺野領域内の空間周波数の変化を示すグラフである。 関節画像の特徴量を説明するための図である。 (a)は、正しい飲み込み動作を模式的に示す図、(b)は誤った飲み込み動作を模式的に示す図である。 嚥下画像の例を示す図である。 嚥下画像における関心領域のテンプレート画像を示す図である。 確認画面の一例を示す図である。
以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
〔画像処理装置1の構成〕
まず、本発明に係る画像処理装置1の構成について説明する。
画像処理装置1は、被写体に放射線を連続的に照射して動画撮影することにより得られた動画像に画像処理を施して診断に提供する装置である。動画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
図1は、画像処理装置1の機能的構成を示すブロック図である。図1に示すように、画像処理装置1は、制御部11、記憶部12、操作部13、表示部14、通信部15等を備えて構成され、各部はバス16により接続されている。
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)等により構成される。制御部11のCPUは、操作部13の操作に応じて、記憶部12に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、画像処理装置1各部の動作を集中制御する。例えば、制御部11は、後述する画像調整処理を実行し、特徴量算出手段、抽出手段、制御手段として機能する。
記憶部12は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部12は、システムプログラムや制御部11で実行される各種プログラム、プログラムにより処理の実行に必要なパラメーター等のデータを記憶する。例えば、記憶部12は、後述する画像調整処理を実行するためのプログラム等を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部11は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部12は、画像DB(Data Base)121を有している。画像DB121は、例えば、図示しない撮影装置から送信された動画像の各フレーム画像に患者情報(例えば、患者ID、患者の氏名、身長、体重、年齢、性別等)、検査情報(例えば、検査ID、検査日、撮影部位、撮影方向(正面、側面)、手技等)、画像情報(画像ID、放射線照射条件、画像読取条件、撮影順を示す番号(フレーム番号)等)を対応付けて記憶する。
操作部13は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、ユーザーによるキーボードに対するキー操作やマウス操作により入力された指示信号を制御部11に出力する。また、操作部13は、表示部14の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部11に出力する。
表示部14は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部11から入力される表示信号の指示に従って、操作部13からの入力指示やデータ等を表示する。
通信部15は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークに接続された図示しない撮影装置等の外部装置との間のデータ送受信を制御する。
〔画像処理装置1の動作〕
次に、本実施形態における画像処理装置1の動作について説明する。
操作部13により画像DB121に記憶されている動画像の中から処理対象の動画像が選択されると、制御部11と記憶部12に記憶されているプログラムとの協働により画像調整処理が実行される。
以下、図2を参照して、画像調整処理について説明する。
まず、制御部11は、動画像の各フレーム画像から被写体の変化を表す特徴量を算出し、算出した特徴量が予め定められた条件を満たすフレーム画像を確認表示用のフレーム画像として抽出する(ステップS1)。
(胸部の動画像の場合1)
例えば、処理対象の動画像が胸部の動画像である場合、制御部11は、まず、各フレーム画像から肺野領域を抽出し、抽出した肺野領域内の平均信号値を特徴量として算出する。そして、算出した肺野領域内の平均信号値に基づいて、確認表示用のフレーム画像を抽出する。
肺野領域は、公知のいずれの手法を用いて抽出してもよい。例えば、特許第2987633号に開示されているように、X線画像では肺野領域は左右の肺部分の画像濃度が周辺より高濃度となる。よって、任意のフレーム画像の濃度ヒストグラムを作成し、その濃度ヒストグラムの形状や面積から肺野領域に該当する高濃度領域の画像部分を判断し、当該画像部分を肺野として特定すればよい。または、特表2017−510427号公報に記載の手法を用いて肺野領域を抽出してもよい。また、胸部画像は、一般的に画像中央に肺野が写るように撮影されるため、肺野中央部に既定サイズの矩形のROI(画像の縦横1/2の大きさのROI(関心領域))を設定し、ROI内の平均信号値を求めることとしてもよい。
肺野領域内の信号値は呼吸に伴い変化し、吸気位は信号値が大きくなり、呼気位は信号値が小さくなる。医師は、静止画像の読影では最大吸気位の画像、最大呼気位の画像に重きを置いて診断するため、また、最大吸気位の画像、最大呼気位の画像は、診断する上で特徴的な症状が現れる画像(特徴的な画像)であるため、例えば、各フレーム画像の肺野領域内の平均信号値を算出し、算出した平均信号値が最大となるフレーム画像(最大吸気位のフレーム画像)、最小となるフレーム画像(最大呼気位のフレーム画像)を抽出することで、診断上重要な(特徴的な)フレーム画像を抽出することができる。また、肺野領域内の平均信号値が全フレーム画像の平均値や中央値となるフレーム画像を抽出することで、呼吸中の代表的なフレーム画像を抽出することもできる。また、全フレーム画像の肺野領域内の信号値の上位・下位数%の値は体動などによる外れ値が含まれている可能性があるため、外れ値を除いた上で、肺野領域内の平均信号値が最大値、最小値、平均値、中央値となるフレーム画像を抽出することで、より精度高く目的のフレーム画像を抽出することもできる。
(胸部の動画像の場合2)
また、処理対象の動画像が胸部の動画像である場合、制御部11は、各フレーム画像から肺野領域を抽出し、抽出した肺野領域内のテクスチャー特徴量、例えば、肺野領域内の特定の周波数帯域(例えば、予め定められた閾値より高い周波数帯域)のパワースペクトルの積算値を特徴量として算出し、算出した特徴量に基づいて、確認表示用のフレーム画像を抽出することとしてもよい。
例えば、制御部11は、抽出された肺野領域内において、FFT(Fast Fourier transform:高速フーリエ変換)を実施し、肺野領域内に含まれる空間的な周波数成分を算出し、肺野領域内の血管を構成する特定の周波数帯域のパワースペクトルを積算する。ここで、吸気位→呼気位においては、図3に模式的に示すように、肺野全体に広がっている肺血管が肺門付近へ集まる特性があるため、空間周波数は、図4に示すように、低周波から高周波側にパワースペクトルのピークが移動する。この特性を利用し、例えば、前述の特定の周波数帯域のパワースペクトルの積算値が最小値のフレーム画像(最大吸気位のフレーム画像)、最大値のフレーム画像(最大呼気位のフレーム画像)を抽出することで、診断上重要な(特徴的な)フレーム画像を確認表示用のフレーム画像として抽出することができる。
上述のように肺野領域内の平均信号値(濃度)を特徴量として用いた場合、乳房などの肺野領域外の構造物の動きに伴う濃度変化の影響を受ける場合があるが、肺野領域内の特定周波数(特に高周波成分)の変化を捉えることで、肺野領域外の構造物の影響を受けずに呼吸に伴う変化を捉えることができる。
(胸部の動画像の場合3)
また、処理対象の動画像が胸部の動画像である場合、制御部11は、各フレーム画像から横隔膜辺縁を抽出し、抽出した横隔膜辺縁の位置を特徴量として算出し、算出した特徴量に基づいて、確認表示用のフレーム画像を抽出することとしてもよい。横隔膜辺縁の位置は、呼吸に伴い変化し、吸気位では横隔膜の位置が低くなり、呼気位では横隔膜の位置が高くなる。
例えば、制御部11は、まず、一のフレーム画像から横隔膜辺縁を抽出する。肺野下部の輪郭は横隔膜との境界となるため、横隔膜辺縁は、肺野下部の輪郭を抽出することにより抽出することができる。次いで、抽出された横隔膜辺縁に基準点を設定し、設定した基準点を中心とする所定サイズの領域をテンプレート画像としてテンプレートマッチングにより他のフレーム画像における基準点を抽出する。そして、基準点の位置が体軸方向に最も上の座標であるフレーム画像(最大呼気位のフレーム画像)、最も下の座標であるフレーム画像(最大吸気位のフレーム画像)を確認表示用のフレーム画像として抽出する。これにより、先のテクスチャー特徴量と同様、肺野領域外の構造物の濃度変化などの影響を受けることなく、呼吸に伴う変化を捉えることができる。
また、例えば、隣接するフレーム画像間の横隔膜の移動量(速度)を特徴量として使用してもよい。例えば、横隔膜が最も動いている(隣接するフレーム画像からの移動量が大きい)フレーム画像を抽出し、そのフレーム画像を最大吸気・最大呼気のフレーム画像と併せて確認表示用のフレーム画像として表示することで、移動による動きも加味して画質を確認することが可能になる。
その他、肺野領域内の平均信号値の変化量(各フレーム画像と基準のフレーム画像(例えば、最大呼気位のフレーム画像)との平均信号値との差分値)、肺尖と横隔膜の距離(横隔膜の位置を表す)、肺野領域の面積(大きさ)等を特徴量として用いることとしてもよい。
(関節の動画像の場合)
関節画像では、例えば、関節の可動域、関節の間隙などを表す特徴量を用いることで、胸部画像と同様に診断上重要な(特徴的な)フレーム画像を抽出することができる。例えば、制御部11は、各骨の領域を事前に学習したCNN(Convolutional Neural Network)等の識別器により骨領域を抽出し、図5に示すように、その領域の主軸(図5の51、52)を求め、各骨の主軸の交差角度θ(関節の可動量)を特徴量として算出する。そして、交差角度θの値が最も小さい(屈伸)フレーム画像63、最も大きい(伸長)フレーム画像61を確認表示用のフレーム画像として抽出する。これにより、関節への負荷がかかった状態とかかっていない状態を表すフレーム画像、すなわち診断上重要な(特徴的な)フレーム画像を抽出することができる。
(嚥下検査の動画像の場合)
嚥下検査(造影剤入りの検査食を飲み込む検査)において、正しく検査食70が飲み込まれた場合、図6(a)に示すように、食道81に検査食70が送り込まれるが、飲み込む力が弱かったり、誤った飲み込みが行われたりすると、図6(b)に示すように、検査食70が気管82に入ってしまう。
図7に、嚥下検査の画像(嚥下画像と呼ぶ)の例を示す。図7の左側は検査食70が食道81に入るときの画像であり、図7の右側は検査食70が食道81に送り込まれたときの画像である。図7に示すように、嚥下画像では、検査食70は黒く(高濃度で)描画される。そこで、例えば、制御部11は、まず、各フレーム画像において、図8に示すような気管82と食道81が撮影されたテンプレート画像(例えば、図7の枠で囲んだ画像等)を予め記憶部12に記憶しておき、各フレーム画像においてテンプレート画像を走査してテンプレート画像との相関値を算出し、最も相関値が高い領域を気管領域82と食道領域81が映っている関心領域として認識する。次いで、各フレーム画像の関心領域における気管領域82の平均信号値と、食道領域81を含む領域83の平均信号値をそれぞれ算出し、隣接するフレーム画像との気管領域82の信号変化量(平均信号値の差分値。検査食70の移動速度を表す。)及び食道領域81を含む領域83の信号変化量(平均信号値の差分値。検査食70の移動速度を表す。)を特徴量として算出する。そして、食道領域81を含む領域83の信号変化量が基準値以上となるフレーム画像(検査食70が食道に流れ込むタイミングのフレーム画像)、気管領域82の信号変化量が基準値以上となるフレーム画像(検査食70が気管に流れ込むタイミングのフレーム画像)を確認表示用のフレーム画像として抽出する。これにより、検査食70が食道又は気管に流れ込む、診断上重要な(特徴的な)タイミングのフレーム画像を抽出することができる。
次いで、制御部11は、確認表示用のフレーム画像に対し、画像処理パラメーターを適用して画像処理を行う(ステップS2)。
ステップS2においては、動画像の各フレーム画像に対して行う画像処理を、確認表示用のフレーム画像に対して先行して行う。動画像の各フレーム画像に対して行う画像処理や適用する画像処理パラメーターは特に限定されない。画像処理としては、例えば、階調処理、周波数強調処理等が挙げられる。階調処理の画像処理パラメーターとしては、例えば、ウィンドウレベル(WL)、ウィンドウ幅(WW)等が挙げられる。周波数強調処理の画像処理パラメーターとしては、例えば、強調係数等が挙げられる。
制御部11は、例えば、撮影部位や手技(例えば、造影剤の有無等)、放射線照射条件、患者(被検者)の身長、体重等に基づいて画像処理パラメーターを決定し、決定した画像処理パラメーターを適用して確認表示用のフレーム画像に画像処理を施す。あるいは、制御部11は、確認表示用のフレーム画像(又は、確認表示用のフレーム画像及びその前後のフレーム画像)を解析して画像処理パラメーターを決定してもよい。例えば、確認表示用のフレーム画像(又は、確認表示用のフレーム画像及びその前後のフレーム画像)に関心領域を設定し、関心領域の信号値に基づいて画像処理パラメーターを決定してもよい。決定した画像処理パラメーターは、制御部11のRAMに記憶される。
次いで、制御部11は、画像処理済みの確認表示用のフレーム画像が表示された確認画面141を表示部14に表示させる(ステップS3)。
図9は、確認画面141の一例を示す図である。図9に示すように、確認画面141には、画像表示領域41、フレーム情報表示領域42、パラメーター調整ツール43、特徴量変更入力欄44、適用ボタン45等が設けられている。
画像表示領域41には、確認表示用のフレーム画像が表示される。
フレーム情報表示領域42には、動画像における各フレーム画像の特徴量の値の時間変化を示すグラフ及び当該グラフにおける確認表示用のフレーム画像の位置の情報(特徴量がどのような状態のフレーム画像であるかを示す情報)が表示される。
パラメーター調整ツール43は、ユーザーが画像処理パラメーターを調整するためのスライドバーやボタン等である。特徴量変更入力欄44は、ユーザーが確認表示用のフレーム画像を抽出するための特徴量を変更して確認表示用のフレーム画像を変更したい場合に、特徴量の種類及び確認表示用として抽出するフレーム画像の特徴量の条件を入力するためのツールである。
特徴量変更入力欄44には、検査(撮影部位)選択欄44a、特徴量選択欄44b、確認表示用のフレーム画像の抽出に用いる特徴量の条件を選択するための条件選択欄44cが設けられている。検査(撮影部位)選択欄44aにおいて検査等が選択されると、選択された検査(撮影部位)の画像で算出可能な特徴量の種類が特徴量選択欄44bにプルダウンメニューとして表示され、その中から特徴量の種類が選択されると、抽出する特徴量の条件が条件選択欄44cにリスト表示され、リストから選択された条件がフレーム画像の抽出条件として設定される。
適用ボタン55は、確認表示用のフレーム画像に適用されている画像処理パラメーターを全フレーム画像に適用することを指示するためのボタンである。
ここで、本実施形態では、動画像のフレーム画像のうち、他のフレーム画像に先立って、診断上重要な(特徴的な)フレーム画像である確認表示用のフレーム画像に画像処理を施して表示部14に表示するので、どのフレーム画像を使用して画像処理された動画像が診断に適しているか否かを確認したらよいかをユーザーが判断する必要がなくなり、効率的に画像確認を行うことが可能となる。また、動画像の確認のために全てのフレーム画像に画像処理を施す必要がないため、迅速に確認表示用のフレーム画像を表示することができ、ユーザーの待ち時間を低減することができる。
また、確認画面141には、ユーザーが画像処理パラメーターの調整や確認表示用のフレーム画像の変更を行うためのユーザーインターフェースが備えられているので、ユーザーは容易に画像処理パラメーターの調整や確認表示用のフレーム画像の変更を行うことができる。
次いで、制御部11は、操作部13により特徴量変更入力欄44から特徴量の変更指示が入力されたか否かを判断する(ステップS4)。
特徴量の変更指示が入力されたと判断した場合(ステップS4;YES)、制御部11は、ステップS1に戻り、変更した特徴量でステップS1〜S4の処理を実行する。
特徴量の変更指示が入力されていないと判断した場合(ステップS4;NO)、制御部11は、操作部13によりパラメーター調整ツール43が操作されて画像処理パラメーターが調整されたか否かを判断する(ステップS5)。
画像処理パラメーターが調整されたと判断した場合(ステップS5;YES)、制御部11は、調整後の画像処理パラメーターをRAMに記憶してステップS2に戻り、調整された画像処理パラメーターを適用してステップS2〜S4の処理を実行する。
画像処理パラメーターが調整されていないと判断した場合(ステップS5;NO)、制御部11は、適用ボタン45が押下されたか否かを判断する(ステップS6)。
適用ボタン45が押下されていないと判断した場合(ステップS6;NO)、制御部11は、ステップS4に戻る。
適用ボタン45が押下されたと判断した場合(ステップS6;YES)、制御部11は、動画像の全フレーム画像にRAMに記憶されている画像処理パラメーターを適用して画像処理を実行し(ステップS7)、画像調整処理を終了する。
画像処理が施された動画像の各フレーム画像は画像DB121に記憶され、操作部13の操作に応じて表示されたり、解析されたりする。
なお、図2に示す画像調整処理においては、他のフレーム画像に先立ってステップS1で抽出された確認表示用フレーム画像のみに画像処理パラメーターを適用して画像処理を施すこととして説明したが、確認表示用フレーム画像へ画像処理を行って表示した後(あるいは、表示と並行して)、確認表示用フレーム画像の前後の複数のフレーム画像に同じ画像処理パラメーターを適用して画像処理を施してもよい。この場合、例えば、画像表示領域41の近傍に矢印ボタン等を設け、矢印ボタンの操作に応じて画像表示領域41に表示するフレーム画像を画像処理された他のフレーム画像に切り替えられるようにしてもよい。これにより、ユーザーは、確認表示用のフレーム画像の前後のフレーム画像においても画像処理パラメーターが適しているかを確認することが可能となる。また、確認表示用フレーム画像へ画像処理を行って表示した後(あるいは、表示と並行して)、順次全フレーム画像に画像処理を施していくこととしてもよい。これにより、動画表示までの待ち時間を低減することが可能となる。
また、画像表示領域41に表示されているフレーム画像において操作部13により関心領域を設定可能な構成とし、ユーザー操作により関心領域が設定されると、制御部11は、設定された関心領域の信号値に基づいて画像処理パラメーターを再計算して確認表示用のフレーム画像に画像処理を施してもよい。
以上説明したように、画像処理装置1によれば、制御部11は、被写体の動態を放射線撮影することにより取得された動画像の複数のフレーム画像のそれぞれから被写体の変化を表す特徴量を算出し、算出された特徴量が予め定められた条件を満たすフレーム画像を確認表示用のフレーム画像として抽出する。また、抽出された確認表示用のフレーム画像に対し、他のフレーム画像に先行して画像処理パラメーターを適用して画像処理を施し、画像処理されたフレーム画像を表示部14に表示させる。
したがって、動画像のフレーム画像のうち、他のフレーム画像に先立って、確認表示用のフレーム画像に画像処理を施して表示部14に表示するので、どのフレーム画像を使用して画像処理された動画像が診断に適しているか否かを確認したらよいかをユーザーが判断する必要がなくなり、効率的に画像確認を行うことが可能となる。また、動画像の確認のために全てのフレーム画像に画像処理を施す必要がないため、迅速に確認表示用のフレーム画像を表示することができ、ユーザーの待ち時間を低減することができる。
例えば、動画像が胸部画像である場合、制御部11は、被写体の所定領域における信号値、信号値変化量、テクスチャー特徴量、大きさ、所定の構造物の動き量又は位置のいずれかを特徴量として、少なくとも特徴量が最大のフレーム画像及び最小のフレーム画像を確認表示用のフレーム画像として抽出する。したがって、ユーザーは診断上重要な(特徴的な)フレーム画像に診断に適切な画像処理が施されているか否かを効率よく確認することが可能となる。
また、例えば、動画像が関節画像である場合、制御部11は、被写体の所定領域における骨の動き量を特徴量として、少なくとも特徴量が最大のフレーム画像及び最小のフレーム画像を確認表示用のフレーム画像として抽出する。したがって、ユーザーは診断上重要な(特徴的な)フレーム画像に診断に適切な画像処理が施されているか否かを効率よく確認することが可能となる。
また、例えば、動画像が嚥下画像である場合、制御部11は、被写体の所定領域(例えば、気管領域及び食道領域)における信号値変化量を特徴量として、少なくとも特徴量が所定の閾値を超えたときのフレーム画像を確認表示用のフレーム画像として抽出する。したがって、ユーザーは診断上重要な(特徴的な)フレーム画像に診断に適切な画像処理が施されているか否かを効率よく確認することが可能となる。
また、制御部11は、例えば、動画像のフレーム画像ごとの特徴量の変化を示す情報及び抽出されたフレーム画像から算出された特徴量の情報を表示部14に表示させる。したがって、ユーザーは、特徴量がどのような状態のときのフレーム画像が確認表示用として表示されているのかを容易に把握することができる。
また、画像処理装置1は、表示部14に表示されたフレーム画像に対して、ユーザーが画像処理パラメーターを調整するためのユーザーインターフェースを備える。したがって、ユーザーは、表示されたフレーム画像に診断に適切な画像処理が施されていないと判断した場合に、ただちに画像処理パラメーターを調整することが可能となる。
また、画像処理装置1は、確認表示用のフレーム画像を抽出するために複数のフレーム画像から算出される特徴量の種類及び抽出されるフレーム画像の特徴量の条件をユーザーが変更するためのユーザーインターフェースを備える。したがって、ユーザーは、確認表示用のフレーム画像を抽出する際に用いる特徴量を変更することが可能となる。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD−ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、画像処理装置を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
1 画像処理装置
11 制御部
12 記憶部
121 画像DB
13 操作部
14 表示部
15 通信部
16 バス

Claims (11)

  1. 被写体の動態を放射線撮影することにより取得された動画像の複数のフレーム画像のそれぞれから前記被写体の変化を表す特徴量を算出する特徴量算出手段と、
    前記特徴量算出手段により算出された特徴量が予め定められた条件を満たすフレーム画像を抽出する抽出手段と、
    前記抽出手段により抽出されたフレーム画像に対し、他のフレーム画像に先行して画像処理パラメーターを適用して画像処理を施し、前記画像処理されたフレーム画像を表示手段に表示させる制御手段と、
    を備える画像処理装置。
  2. 前記抽出手段は、少なくとも前記特徴量が最大のフレーム画像及び最小のフレーム画像を抽出する請求項1に記載の画像処理装置。
  3. 前記特徴量は、前記被写体の所定領域における信号値、信号値変化量、テクスチャー特徴量、大きさ、所定の構造物の動き量又は位置のいずれかである請求項1又は2に記載の画像処理装置。
  4. 前記動画像は、胸部画像又は関節画像である請求項1〜3のいずれか一項に記載の画像処理装置。
  5. 前記抽出手段は、少なくとも前記特徴量が所定の閾値を超えたときのフレーム画像を抽出する請求項1に記載の画像処理装置。
  6. 前記特徴量は、前記被写体の所定領域における信号値変化量である請求項1又は5に記載の画像処理装置。
  7. 前記動画像は、嚥下画像である請求項1、5、6のいずれか一項に記載の画像処理装置。
  8. 前記制御手段は、前記特徴量算出手段により算出されたフレーム画像ごとの特徴量の変化を示す情報及び抽出されたフレーム画像から算出された特徴量の情報を前記表示手段に表示させる請求項1〜7のいずれか一項に記載の画像処理装置。
  9. 前記表示手段に表示されたフレーム画像に対して、ユーザーが画像処理パラメーターを調整するためのユーザーインターフェースを備える請求項1〜8のいずれか一項に記載の画像処理装置。
  10. 前記特徴量算出手段により複数のフレーム画像から算出される特徴量の種類及び前記抽出手段により抽出されるフレーム画像の前記特徴量の条件をユーザーが変更するためのユーザーインターフェースを備える請求項1〜9のいずれか一項に記載の画像処理装置。
  11. コンピューターを、
    被写体の動態を放射線撮影することにより取得された動画像の複数のフレーム画像のそれぞれから前記被写体の変化を表す特徴量を算出する特徴量算出手段、
    前記特徴量算出手段により算出された特徴量が予め定められた条件を満たすフレーム画像を抽出する抽出手段、
    前記抽出手段により抽出されたフレーム画像に対し、他のフレーム画像に先行して画像処理パラメーターを適用して画像処理を施し、前記画像処理されたフレーム画像を表示手段に表示させる制御手段、
    として機能させるためのプログラム。
JP2018215181A 2018-11-16 2018-11-16 画像処理装置及びプログラム Active JP7135759B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018215181A JP7135759B2 (ja) 2018-11-16 2018-11-16 画像処理装置及びプログラム
US16/657,692 US11232559B2 (en) 2018-11-16 2019-10-18 Image processing apparatus and computer-readable storage medium
CN201911112257.5A CN111199789A (zh) 2018-11-16 2019-11-14 图像处理装置以及计算机可读取的记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018215181A JP7135759B2 (ja) 2018-11-16 2018-11-16 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020080949A true JP2020080949A (ja) 2020-06-04
JP7135759B2 JP7135759B2 (ja) 2022-09-13

Family

ID=70726635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018215181A Active JP7135759B2 (ja) 2018-11-16 2018-11-16 画像処理装置及びプログラム

Country Status (3)

Country Link
US (1) US11232559B2 (ja)
JP (1) JP7135759B2 (ja)
CN (1) CN111199789A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468427B2 (ja) * 2021-03-25 2024-04-16 コニカミノルタ株式会社 画像表示装置、制御プログラム、画像表示方法及び画像表示システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141882A (ja) * 2007-12-10 2009-06-25 Fujifilm Corp 撮像装置及びその画像自動選択方法
JP2013013737A (ja) * 2012-07-30 2013-01-24 Konica Minolta Medical & Graphic Inc 放射線画像撮影システム
JPWO2012026145A1 (ja) * 2010-08-27 2013-10-28 コニカミノルタ株式会社 診断支援システム及びプログラム
JP2018099240A (ja) * 2016-12-20 2018-06-28 株式会社日立製作所 画像処理装置、誤嚥判定方法、及びx線透視撮影装置
JP2018149166A (ja) * 2017-03-14 2018-09-27 コニカミノルタ株式会社 放射線画像処理装置
JP2018157869A (ja) * 2017-03-22 2018-10-11 コニカミノルタ株式会社 放射線画像表示装置及び放射線画像撮影システム
JP2018157968A (ja) * 2017-03-23 2018-10-11 コニカミノルタ株式会社 放射線画像処理装置及び放射線画像撮影システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005636A (en) * 1997-03-27 1999-12-21 Sharp Laboratories Of America, Inc. System for setting user-adjustable image processing parameters in a video system
US9984456B2 (en) * 2004-04-14 2018-05-29 Edda Technology, Inc. Method and system for labeling hepatic vascular structure in interactive liver disease diagnosis
JP2005348001A (ja) * 2004-06-02 2005-12-15 Seiko Epson Corp 画像処理装置及び画像抽出方法
WO2009078297A1 (ja) * 2007-12-19 2009-06-25 Konica Minolta Medical & Graphic, Inc. 動態画像処理システム
JP2012026145A (ja) 2010-07-22 2012-02-09 Sanwa Kogyo Kk 水兼道路の施工方法及び水兼道路用サイドブロック
US9117289B2 (en) * 2011-11-11 2015-08-25 Konica Minolta, Inc. Medical imaging system, medical image processing apparatus, and computer-readable medium
US20150042677A1 (en) * 2012-03-23 2015-02-12 Konica Minolta, Inc. Image-generating apparatus
JP5408400B1 (ja) * 2012-04-04 2014-02-05 コニカミノルタ株式会社 画像生成装置及びプログラム
JP6083990B2 (ja) 2012-09-24 2017-02-22 キヤノン株式会社 放射線撮影装置、その制御方法及びプログラム
JP6743662B2 (ja) * 2016-11-15 2020-08-19 コニカミノルタ株式会社 動態画像処理システム
JP6548788B2 (ja) * 2018-07-09 2019-07-24 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141882A (ja) * 2007-12-10 2009-06-25 Fujifilm Corp 撮像装置及びその画像自動選択方法
JPWO2012026145A1 (ja) * 2010-08-27 2013-10-28 コニカミノルタ株式会社 診断支援システム及びプログラム
JP2013013737A (ja) * 2012-07-30 2013-01-24 Konica Minolta Medical & Graphic Inc 放射線画像撮影システム
JP2018099240A (ja) * 2016-12-20 2018-06-28 株式会社日立製作所 画像処理装置、誤嚥判定方法、及びx線透視撮影装置
JP2018149166A (ja) * 2017-03-14 2018-09-27 コニカミノルタ株式会社 放射線画像処理装置
JP2018157869A (ja) * 2017-03-22 2018-10-11 コニカミノルタ株式会社 放射線画像表示装置及び放射線画像撮影システム
JP2018157968A (ja) * 2017-03-23 2018-10-11 コニカミノルタ株式会社 放射線画像処理装置及び放射線画像撮影システム

Also Published As

Publication number Publication date
US11232559B2 (en) 2022-01-25
JP7135759B2 (ja) 2022-09-13
CN111199789A (zh) 2020-05-26
US20200160514A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
CN112804943B (zh) 学习完成模型的制作方法、亮度调整方法以及图像处理装置
WO2007000940A1 (ja) 異常陰影候補検出方法、異常陰影候補検出装置
US20180137634A1 (en) Dynamic image processing system
JP4938427B2 (ja) 脳出血部位体積計算装置
US20180330501A1 (en) Image processing apparatus and computer-readable recording medium
JP5016518B2 (ja) 位置合わせ装置およびそのプログラム
JP2016087325A (ja) 胸部動態撮影支援システム
US11151715B2 (en) Dynamic analysis system
JP4849449B2 (ja) 医用画像診断支援装置
CN114732425A (zh) 一种提升dr胸片成像质量的方法及系统
JP6690774B2 (ja) 動態解析システム、プログラム及び動態解析装置
JP2020080949A (ja) 画像処理装置及びプログラム
US10083503B2 (en) Image area specification device and method, and X-ray image processing device and method
US10089728B2 (en) Radiation-image processing device and method
JP2018110637A (ja) 動態画像処理装置
JP7404857B2 (ja) 画像判定装置、画像判定方法及びプログラム
JP4475054B2 (ja) 乳房画像処理方法及び乳房画像出力システム
JP7143794B2 (ja) 画像処理装置、画像処理システム及びプログラム
JP6167841B2 (ja) 医用画像処理装置及びプログラム
JP6885260B2 (ja) 動態画像解析装置
JP2020130311A (ja) 画像処理装置、放射線撮影システム及びプログラム
US11160525B2 (en) Image processing apparatus and computer readable storage medium
JP7211172B2 (ja) 動態画像解析システム及び動態画像処理装置
US11730907B2 (en) Image analysis apparatus, image analysis system, and storage medium
JP2010017370A (ja) 濃度調整装置、濃度調整方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7135759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150