JP2019212138A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2019212138A
JP2019212138A JP2018109121A JP2018109121A JP2019212138A JP 2019212138 A JP2019212138 A JP 2019212138A JP 2018109121 A JP2018109121 A JP 2018109121A JP 2018109121 A JP2018109121 A JP 2018109121A JP 2019212138 A JP2019212138 A JP 2019212138A
Authority
JP
Japan
Prior art keywords
image
resolution
frame images
super
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018109121A
Other languages
English (en)
Inventor
▲高▼木　達也
達也 ▲高▼木
Tatsuya Takagi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018109121A priority Critical patent/JP2019212138A/ja
Priority to US16/432,181 priority patent/US11176638B2/en
Publication of JP2019212138A publication Critical patent/JP2019212138A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288—Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4464—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit or the detector unit being mounted to ceiling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】動画像を構成する複数のフレーム画像から高解像度化された静止画像を作成する際の基準フレーム画像を操作者が指定することなしに、自動的に高解像度化された静止画像を生成できるようにする。【解決手段】コンソール２の制御部２１によれば、撮影装置１により取得された複数のフレーム画像のそれぞれを解析して特徴量を算出し、算出した特徴量に基づいて、複数のフレーム画像の中から超解像処理によって高解像度化された静止画像を生成する際に基準となる基準フレーム画像を決定し、決定した基準フレーム画像及び基準フレーム画像と時間方向に隣接するフレーム画像を用いて超解像処理を実行する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
従来、動画像を構成する複数のフレーム画像から高解像度化された静止画像を作成する技術が知られている。例えば、特許文献１には、動画像の撮像中に一枚の静止画像の撮像指示を受け付けたとき、その撮像指示に対応する一枚の対象フレーム画像（基準フレーム画像）とともに、そのフレーム画像と時間方向に隣接する少なくとも一枚の隣接フレーム画像を超解像処理に使用すべきフレーム画像として保持部に登録し、保持部に保持された対象フレーム画像とその隣接フレーム画像を用いて超解像処理し、高解像度化された静止画像を生成することが記載されている。
特開２０１１−１５１４３０号公報
しかしながら、特許文献１に記載の技術では、複数のフレーム画像の中から高解像度化された静止画像を生成する際に基準となる基準フレーム画像を操作者が指定する必要があった。
本発明の課題は、動画像を構成する複数のフレーム画像から高解像度化された静止画像を作成する際の基準フレーム画像を操作者が指定することなしに、自動的に高解像度化された静止画像を生成できるようにすることである。
上記課題を解決するため、請求項１に記載の発明は、
動く被写体を連続的に撮影することにより得られた複数のフレーム画像から高解像度化された静止画像を生成する超解像処理手段を備える画像処理装置であって、
前記複数のフレーム画像のそれぞれを解析して特徴量を算出し、算出した特徴量に基づいて、前記複数のフレーム画像の中から前記超解像処理手段において高解像度化された静止画像を生成する際に基準となる基準フレーム画像を決定する決定手段を備える。
請求項２に記載の発明は、請求項１に記載の発明において、
前記特徴量は、前記超解像処理手段において生成される静止画像のモデルとなるモデル画像との二乗誤差である。
請求項３に記載の発明は、請求項１に記載の発明において、
前記特徴量は、前記超解像処理手段において生成される静止画像のモデルとなるモデル画像との相関係数である。
請求項４に記載の発明は、請求項１に記載の発明において、
前記複数のフレーム画像は、胸部を連続的に放射線撮影することにより得られた複数のフレーム画像であり、
前記特徴量は、肺野領域の面積である。
請求項５に記載の発明は、請求項１に記載の発明において、
前記複数のフレーム画像は、胸部を連続的に放射線撮影することにより得られた複数のフレーム画像であり、
前記特徴量は、肺野領域の下端位置である。
請求項６に記載の発明は、
動く被写体を連続的に撮影することにより得られた複数のフレーム画像から高解像度化された静止画像を生成する超解像処理手段を備える画像処理装置における画像処理方法であって、
前記複数のフレーム画像のそれぞれを解析して特徴量を算出し、算出した特徴量に基づいて、前記複数のフレーム画像の中から前記超解像処理手段において高解像度化された静止画像を生成する際に基準となる基準フレーム画像を決定する工程を含む。
請求項７に記載の発明のプログラムは、
動く被写体を連続的に撮影することにより得られた複数のフレーム画像から高解像度化された静止画像を生成する超解像処理手段を備える画像処理装置に用いられるコンピューターを、
前記複数のフレーム画像のそれぞれを解析して特徴量を算出し、算出した特徴量に基づいて、前記複数のフレーム画像の中から前記超解像処理手段において高解像度化された静止画像を生成する際に基準となる基準フレーム画像を決定する決定手段として機能させる。
本発明によれば、動画像を構成する複数のフレーム画像から高解像度化された静止画像を作成する際の基準フレーム画像を操作者が指定することなしに、自動的に高解像度化された静止画像を生成することが可能となる。
本発明の実施形態における画像処理システムの全体構成を示す図である。 図１のコンソールの機能的構成を示すブロック図である。 第１の実施形態において図２の制御部により実行される静止画像生成処理Ａの流れを示すフローチャートである。 第２の実施形態において図２の制御部により実行される静止画像生成処理Ｂの流れを示すフローチャートである。 第３の実施形態において図２の制御部により実行される静止画像生成処理Ｃの流れを示すフローチャートである。
以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
＜第１の実施形態＞
〔画像処理システム１００の構成〕
まず、第１の実施形態の構成を説明する。
図１は、本実施形態に係る画像処理システム１００の全体構成例を示す図である。図１に示すように、画像処理システム１００は、撮影装置１と、コンソール２とがデータ送受信可能に接続されて構成されている。
撮影装置１は、被写体に放射線を照射し、静止画撮影又は動画撮影を行う撮影装置である。本実施形態において、動画撮影は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、周期性（サイクル）を持つ人体の診断対象部位を被写体として行われる。動画撮影により連続的に被写体を撮影することにより得られた一連の画像を動画像と呼ぶ。また、動画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、胸部正面を被写体とした場合を例にとり説明するが、これに限定されるものではない。
撮影装置１は、放射線検出器Ｐと、放射線検出器Ｐを装填可能な撮影台１１と、放射線発生装置１２とを備えて構成されている。撮影台１１は、そのホルダー１１ａ内に放射線検出器Ｐを装填することができるようになっている。
放射線検出器Ｐは、ＦＰＤ（Flat Panel Detector）等の半導体イメージセンサーにより構成され、被写体Ｈを挟んで放射線発生装置１２と対向するように設けられている。放射線検出器Ｐは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線発生装置１２から照射されて少なくとも被写体Ｈを透過した放射線（Ｘ線）をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子（画素）がマトリックス状に配列されている。各画素は、例えばＴＦＴ（Thin Film Transistor）等のスイッチング部を備えて構成されている。放射線検出器Ｐは、コンソール２から入力された画像読取条件に基づいて各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、各画素に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、放射線検出器Ｐは、取得した画像データをコンソール２に出力する。
放射線発生装置１２は、被写体Ｈを挟んで放射線検出器Ｐと対向する位置に配置され、コンソール２から入力された放射線照射条件に基づいて被写体Ｈである患者を介して、ホルダー１１ａに装填された放射線検出器Ｐに放射線を照射して撮影を行う。
コンソール２は、放射線照射条件や画像読取条件等の撮影条件を撮影装置１に出力して撮影装置１による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置１により取得された放射線画像に画像処理を施す画像処理装置として機能する。
コンソール２は、図２に示すように、制御部２１、記憶部２２、操作部２３、表示部２４、通信部２５を備えて構成され、各部はバス２６により接続されている。
制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成される。制御部２１のＣＰＵは、操作部２３の操作に応じて、記憶部２２に記憶されているシステムプログラムや各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って、コンソール２各部の動作や、撮影装置１の放射線照射動作及び読み取り動作を集中制御する。また、制御部２１は、撮影装置１の放射線検出器Ｐから送信された静止画像又は動画像を用いて、後述する静止画像生成処理Ａ等を始めとする各種処理を実行し、決定手段、超解像処理手段として機能する。
記憶部２２は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部２２は、制御部２１で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部２１は、当該プログラムコードに従った動作を逐次実行する。
また、記憶部２２は、撮影部位に対応する撮影条件（放射線照射条件及び画像読取条件）を記憶している。更に、記憶部２２は、図示しないＲＩＳ（Radiology Information System）等から送信される撮影オーダー情報が記憶されている。撮影オーダー情報には、患者情報、検査情報（検査ＩＤ、撮影部位（撮影方向も含む）、検査日、静止画撮影又は動画撮影の種別等）等が含まれる。
また、記憶部２２は、撮影により取得された静止画像や動画像、及び画像処理により生成された画像を患者情報や検査情報に対応付けて記憶する。
また、記憶部２２は、モデル画像（詳細後述）を記憶している。
操作部２３は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部２１に出力する。また、操作部２３は、表示部２４の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部２１に出力する。更に、操作部２３には、放射線発生装置１２に動態撮影を指示するための曝射スイッチが備えられている。
表示部２４は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニターにより構成され、制御部２１から入力される表示信号の指示に従って、操作部２３からの入力指示やデータ等を表示する。
通信部２５は、放射線発生装置１２及び放射線検出器Ｐとデータ送受信を行うためのインターフェースを有する。なお、コンソール２と放射線発生装置１２及び放射線検出器Ｐとの通信は、有線通信であっても無線通信であってもよい。
また、通信部２５は、ＬＡＮアダプターやモデムやＴＡ（Terminal Adapter）等を備え、通信ネットワークに接続された図示しないＲＩＳ等との間のデータ送受信を制御する。
〔画像処理システム１００の動作〕
撮影装置１においてホルダー１１ａに放射線検出器Ｐがセットされた状態で、コンソール２において操作部２３により撮影対象の撮影オーダー情報が選択されると、選択された撮影オーダー情報に応じた撮影条件（放射線照射条件及び放射線画像読取条件）が記憶部２２から読み出されて撮影装置１に送信され、撮影装置１に設定される。被写体Ｈのポジショニングが行われて曝射スイッチが押下されると、撮影装置１において、放射線発生装置１２により放射線が照射され、放射線検出器Ｐにより静止画像又は動画像の複数のフレーム画像が取得され、コンソール２に送信される。
コンソール２においては、通信部２５により放射線検出器Ｐから静止画像又は動画像を受信すると、制御部２１により、受信した静止画像又は動画像が患者情報、検査情報に対応付けて記憶部２２に記憶される。また、制御部２１は、受信した動画像に基づいて、静止画像生成処理Ａを実行する。
図３は、静止画像生成処理Ａの流れを示すフローチャートである。静止画像生成処理Ａは、制御部２１と記憶部２２に記憶されているプログラムとの協働により実行される。
まず、制御部２１は、記憶部２２からモデル画像を読み出す（ステップＳ１）。
ここで、モデル画像とは、動画像を構成する複数のフレーム画像から生成する静止画像のモデルとなる画像であり、本実施形態のように人体の診断対象部位を被写体とした医用画像では、静止画診断に用いられる静止画像のモデルを用いる。静止画診断では、被写体が所定の状態（例えば、胸部であれば最大吸気位又は最大呼気位等）の静止画像により診断が行われる。そこで、モデル画像としては、例えば、被写体が所定の状態となっている画像を用いることができる。また、比較読影を行う場合には、比較対象となる、過去に同一患者の同一部位を撮影した静止画像（または同一患者の同一部位を過去に撮影した動画像から生成した静止画像）と同じ状態の静止画像を生成することが好ましい。そこで、モデル画像としては、例えば、過去に同一患者の同一部位を撮影した静止画像（または同一患者の同一部位を過去に撮影した動画像から生成した静止画像）としてもよい。
次いで、制御部２１は、動画像の各フレーム画像とモデル画像の位置合わせを行う（ステップＳ２）。
ステップＳ２においては、まず、各フレーム画像とモデル画像から被写体領域を抽出する。被写体領域の抽出手法は、特に限定されず、公知の手法を用いることができる。例えば、まず、フレーム画像を複数の小領域に分割し、各小領域ごとに、該小領域に含まれる画素信号値の平均値を求め、閾値Ｔｈ１とする。次いで、各小領域ごとに、閾値Ｔｈ１より信号値の低い画素を被写体領域として検出する。次いで、各小領域で得られた被写体領域の平均信号値を求め、閾値Ｔｈ２とする。次いで、画像全体で閾値Ｔｈ２よりも信号値が低い画素を被写体領域として検出する。そして、照射野外領域との境界線を求め、その境界線と近い方の画像端までの間を照射野外領域として取り除く。これにより、被写体領域を抽出することができる（特開２００３−１９０１２９号公報参照）。
次いで、各フレーム画像を移動及び／又は拡縮させながら、被写体領域内の各画素の信号値Fn(x,y)とモデル画像の被写体領域内の各画素の信号値Ip(x,y)の二乗誤差E1（式１）の総和En1を算出し、総和En1が最小となるx’=xn, y’=yn, k=knを算出する。
E1=[Fn(k(x-x’),k(y-y’))- Ip(x,y)]^2 ・・・（式１）
ここで、x’,y’は位置の移動量、kは拡大縮小量を表す．
次いで、制御部２１は、位置合わせ後の各フレーム画像の被写体領域内の各画素の信号値とモデル画像の被写体領域内の各画素の信号値の二乗誤差E2（式２）の総和En2を算出する（ステップＳ３）。
E2=[Fn(kn(x-xn), kn(y-yn))- Ip(x,y)]^2 ・・・（式２）
次いで、制御部２１は、各フレーム画像について算出された総和En2を比較し、総和En2が最小のフレーム画像を基準フレーム画像に決定する（ステップＳ４）。
そして、制御部２１は、基準フレーム画像及び基準フレーム画像と時間方向に隣接する少なくとも一枚のフレーム画像を用いて超解像処理を行い、高解像度化された静止画像を生成し（ステップＳ５）、静止画像生成処理Ａを終了する。
超解像処理は、基準フレーム画像が持つ画素情報だけでなく時間方向に隣接するフレーム画像が持つ画素情報を参照することで、基準フレーム画像に含まれるノイズを効果的に除去しながら基準フレーム画像（動画像を構成するフレーム画像）の解像度より高い解像度の静止画像（すなわち、高解像度化された静止画像）を生成する処理である。超解像処理の具体的な手法は、特に限定されず、例えば、以下の参考文献１に記載の手法等、公知のいずれの手法を用いてもよい（参考文献１：Dennis Mitzel、「Video Super Resolution using Duality Based TV-L1 Optical Flow」、2009 in DAGM-Symposium）。
静止画像生成処理Ａにより生成された静止画像は、もとの動画像の患者情報及び検査情報に対応付けて記憶部２２に記憶される。
このように、第１の実施形態においては、制御部２１は、動画像を構成する複数のフレーム画像のうちモデル画像との二乗誤差の総和が最も小さいフレーム画像を超解像処理に用いる基準フレーム画像として決定する。したがって、操作者が動画像の中から基準フレーム画像を指定することなしに、自動的に被写体がモデル画像に類似する状態の、高解像度化された静止画像を生成することが可能となる。
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。
第１の実施形態では、撮影された動画像の各フレーム画像を解析して、モデル画像との二乗誤差を算出し、各フレーム画像から算出した二乗誤差に基づいて、基準フレーム画像を自動的に決定することとして説明したが、第２の実施形態では、撮影された胸部正面の動画像の各フレーム画像を解析して、モデル画像との相関係数を算出し、各フレーム画像から算出した相関係数に基づいて、基準フレーム画像を自動的に決定する例について説明する。
第２の実施形態において、記憶部２２には、後述する静止画像生成処理Ｂを実行するためのプログラムが記憶されている。
第２の実施形態におけるその他の構成は、第１の実施形態において図１〜図２を用いて説明したものと同様であるので説明を援用する。また、第２の実施形態における画像処理システム１００の動作は、撮影装置１については第１の実施形態と同様であるので説明を援用し、以下、撮影装置１から受信した動画像に基づいてコンソール２において実行される静止画像生成処理Ｂについて説明する。
図４は、静止画像生成処理Ｂの流れを示すフローチャートである。静止画像生成処理Ｂは、制御部２１と記憶部２２に記憶されているプログラムとの協働により実行される。
まず、制御部２１は、記憶部２２からモデル画像を読み出す（ステップＳ１１）。
ステップＳ１１の処理は、図３のステップＳ１と同様であるので説明を援用する。
次いで、制御部２１は、動画像の各フレーム画像とモデル画像の位置合わせを行う（ステップＳ１２）。
ステップＳ１２の処理は、図３のステップＳ２と同様であるので説明を援用する。
次いで、制御部２１は、位置合わせ後の各フレーム画像とモデル画像の相関係数Rを算出する（ステップＳ１３）。
相関係数Rは、（式３）により求めることができる。
Figure 2019212138
次いで、制御部２１は、各フレーム画像について算出された相関係数Rを比較し、相関係数Rが最大のフレーム画像を基準フレーム画像に決定する（ステップＳ１４）。
そして、制御部２１は、基準フレーム画像及び基準フレーム画像と時間方向に隣接する少なくとも一枚のフレーム画像を用いて超解像処理を行い、高解像度化された静止画像を生成し（ステップＳ１５）、静止画像生成処理Ｂを終了する。
ステップＳ１５の処理は、図３のステップＳ５と同様であるので説明を援用する。
静止画像生成処理Ｂにより生成された静止画像は、もとの動画像の患者情報及び検査情報に対応付けて記憶部２２に記憶される。
このように、第２の実施形態においては、制御部２１は、動画像を構成する複数のフレーム画像のうちモデル画像との相関係数が最も大きいフレーム画像を超解像処理に用いる基準フレーム画像として決定する。したがって、操作者が動画像の中から基準フレーム画像を指定することなしに、自動的に被写体がモデル画像に類似する状態の、高解像度化された静止画像を生成することが可能となる。
＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。
第１〜第２の実施形態では、撮影された動画像の各フレーム画像を解析して、モデル画像との類似性を表す特徴量（二乗誤差や相関係数）を算出し、各フレーム画像から算出した特徴量に基づいて、基準フレーム画像を自動的に決定することとして説明したが、第３の実施形態では、撮影された胸部正面の動画像の各フレーム画像を解析して、肺野面積を算出し、各フレーム画像から算出した肺野面積に基づいて、基準フレーム画像を自動的に決定する例について説明する。
第３の実施形態において、記憶部２２には、後述する静止画像生成処理Ｃを実行するためのプログラムが記憶されている。
第３の実施形態におけるその他の構成は、第１の実施形態において図１〜図２を用いて説明したものと同様であるので説明を援用する。また、第３の実施形態における画像処理システム１００の動作は、撮影装置１については第１及び第２の実施形態と同様であるので説明を援用し、以下、撮影装置１から受信した動画像に基づいてコンソール２において実行される静止画像生成処理Ｃについて説明する。
図５は、静止画像生成処理Ｃの流れを示すフローチャートである。静止画像生成処理Ｃは、制御部２１と記憶部２２に記憶されているプログラムとの協働により実行される。
まず、制御部２１は、受信した動画像の各フレーム画像から被写体領域を抽出し二値化する（ステップＳ２１）。
被写体領域の抽出は、例えば、図３のステップＳ２で説明した手法を用いることができる。また、二値化は、例えば、被写体領域内の最大信号値の０．８倍の以上の信号値の画素に“１”、０．８倍より低い信号値に“０”を設定する。 “１”が設定された画素領域を抽出することで、肺野領域を抽出することができる。
次いで、制御部２１は、各フレーム画像においてステップＳ２１で“１”が設定された画素数をカウントして肺野面積を算出する（ステップＳ２２）。
次いで、制御部２１は、肺野面積が最も大きい、すなわち最大吸気位のフレーム画像を基準フレーム画像に決定する（ステップＳ２３）。
なお、肺野面積が最も小さい、すなわち最大呼気位のフレーム画像を基準フレーム画像に決定することとしてもよい。
ここで、胸部正面の静止画診断では、一般的に、最大吸気位又は最大呼気位の静止画像を用いて診断が行われる。そこで、ステップＳ２３においては、最大吸気位又は最大呼気位のフレーム画像を基準フレーム画像として決定する。
そして、制御部２１は、基準フレーム画像及び基準フレーム画像と時間方向に隣接する少なくとも一枚のフレーム画像を用いて超解像処理を行い、高解像度化された静止画像を生成し（ステップＳ２４）、静止画像生成処理Ｃを終了する。
超解像処理は、図３のステップＳ５で説明したものと同様であるので説明を援用する。
静止画像生成処理Ｃにより生成された静止画像は、もとの動画像の患者情報及び検査情報に対応付けて記憶部２２に記憶される。
このように、第３の実施形態では、制御部２１は、胸部正面の動画像から最大吸気位又は最大呼気位のフレーム画像を特定して超解像処理に用いる基準フレーム画像として決定する。したがって、操作者が動画像の中から最大吸気位又は最大呼気位のフレーム画像を指定することなしに、自動的に最大吸気位又は最大呼気位の高解像度化された静止画像を生成することが可能となる。
なお、上記静止画像生成処理Ｃでは、各フレーム画像から二値化により肺野面積を求める場合を例にとり説明したが、各フレーム画像から肺野領域を認識し、認識した肺野領域内の画素数をカウントすることで肺野面積を求めることとしてもよい。肺野領域の認識は、公知のいずれの手法を用いてもよい。例えば、フレーム画像の各画素の信号値のヒストグラムから判別分析によって閾値を求め、この閾値より高信号の領域を肺野領域候補として１次抽出する。次いで、１次抽出された肺野領域候補の境界付近でエッジ検出を行い、境界付近でエッジが最大となる点を境界に沿って抽出すれば肺野領域を認識することができる。
また、上記静止画像生成処理Ｃでは、各フレーム画像の肺野面積に基づいて基準フレーム画像を決定することとして説明したが、肺野領域の下端位置が最も低い又は最も高いフレーム画像を基準フレーム画像として決定してもよい。肺野領域の下端位置が最も低いフレーム画像を基準フレーム画像として決定することによって、最大吸気位のフレーム画像を基準フレーム画像として決定することができる。また、肺野領域の下端位置が最も高いフレーム画像を基準フレーム画像として決定することによって、最大呼気位のフレーム画像を基準フレーム画像として決定することができる。なお、肺野領域の下端位置は、上述の二値化または肺野領域の認識によって肺野領域を特定し、特定した肺野領域の、例えば最下端の座標を取得することによって求めることができる。
以上説明したように、コンソール２の制御部２１は、撮影装置１により取得された複数のフレーム画像のそれぞれを解析して特徴量を算出し、算出した特徴量に基づいて、複数のフレーム画像の中から超解像処理によって高解像度化された静止画像を生成する際に基準となる基準フレーム画像を決定し、決定した基準フレーム画像及び基準フレーム画像と時間方向に隣接するフレーム画像を用いて超解像処理を実行する。
したがって、操作者が動画像の中から基準フレーム画像を指定することなしに、自動的に動画像から高解像度化された静止画像を生成することが可能となる。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、本発明を胸部正面画像に適用した場合を例にとり説明したが、胸部側面や胸部以外の他の被写体を撮影した画像に本発明を適用してもよい。
また、上記実施形態においては、撮影装置１を制御するコンソール２が画像処理装置としての機能を備える場合について説明したが、画像処理装置はコンソールとは別体であってもよい。
また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、画像処理システムを構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
１００ 画像処理システム
１ 撮影装置
１１ 撮影台
１１ａ ホルダー
１２ 放射線発生装置
Ｐ 放射線検出器
２ コンソール
２１ 制御部
２２ 記憶部
２３ 操作部
２４ 表示部
２５ 通信部
２６ バス

Claims (7)

  1. 動く被写体を連続的に撮影することにより得られた複数のフレーム画像から高解像度化された静止画像を生成する超解像処理手段を備える画像処理装置であって、
    前記複数のフレーム画像のそれぞれを解析して特徴量を算出し、算出した特徴量に基づいて、前記複数のフレーム画像の中から前記超解像処理手段において高解像度化された静止画像を生成する際に基準となる基準フレーム画像を決定する決定手段を備える画像処理装置。
  2. 前記特徴量は、前記超解像処理手段において生成される静止画像のモデルとなるモデル画像との二乗誤差である請求項１に記載の画像処理装置。
  3. 前記特徴量は、前記超解像処理手段において生成される静止画像のモデルとなるモデル画像との相関係数である請求項１に記載の画像処理装置。
  4. 前記複数のフレーム画像は、胸部を連続的に放射線撮影することにより得られた複数のフレーム画像であり、
    前記特徴量は、肺野領域の面積である請求項１に記載の画像処理装置。
  5. 前記複数のフレーム画像は、胸部を連続的に放射線撮影することにより得られた複数のフレーム画像であり、
    前記特徴量は、肺野領域の下端位置である請求項１に記載の画像処理装置。
  6. 動く被写体を連続的に撮影することにより得られた複数のフレーム画像から高解像度化された静止画像を生成する超解像処理手段を備える画像処理装置における画像処理方法であって、
    前記複数のフレーム画像のそれぞれを解析して特徴量を算出し、算出した特徴量に基づいて、前記複数のフレーム画像の中から前記超解像処理手段において高解像度化された静止画像を生成する際に基準となる基準フレーム画像を決定する工程を含む画像処理方法。
  7. 動く被写体を連続的に撮影することにより得られた複数のフレーム画像から高解像度化された静止画像を生成する超解像処理手段を備える画像処理装置に用いられるコンピューターを、
    前記複数のフレーム画像のそれぞれを解析して特徴量を算出し、算出した特徴量に基づいて、前記複数のフレーム画像の中から前記超解像処理手段において高解像度化された静止画像を生成する際に基準となる基準フレーム画像を決定する決定手段として機能させるためのプログラム。
JP2018109121A 2018-06-07 2018-06-07 画像処理装置、画像処理方法及びプログラム Pending JP2019212138A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018109121A JP2019212138A (ja) 2018-06-07 2018-06-07 画像処理装置、画像処理方法及びプログラム
US16/432,181 US11176638B2 (en) 2018-06-07 2019-06-05 Image processing apparatus, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018109121A JP2019212138A (ja) 2018-06-07 2018-06-07 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2019212138A true JP2019212138A (ja) 2019-12-12

Family

ID=68765257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018109121A Pending JP2019212138A (ja) 2018-06-07 2018-06-07 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US11176638B2 (ja)
JP (1) JP2019212138A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021186150A (ja) * 2020-05-28 2021-12-13 コニカミノルタ株式会社 動態画像処理装置及びプログラム
WO2023228564A1 (ja) * 2022-05-26 2023-11-30 富士フイルム株式会社 画像切り出し支援装置、超音波診断装置および画像切り出し支援方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208816B2 (ja) * 2019-02-14 2023-01-19 富士フイルム株式会社 放射線撮影装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270238A (ja) * 2005-03-22 2006-10-05 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2009027397A (ja) * 2007-07-19 2009-02-05 Seiko Epson Corp 画像処理のための装置、方法、および、プログラム
JP2009232450A (ja) * 2008-03-24 2009-10-08 Fujitsu Ltd 画像処理方法、画像処理装置及び透かし検出システム
US20110142370A1 (en) * 2009-12-10 2011-06-16 Microsoft Corporation Generating a composite image from video frames
JP2011165045A (ja) * 2010-02-12 2011-08-25 Tokyo Institute Of Technology 画像処理装置
JP2011180670A (ja) * 2010-02-26 2011-09-15 Hoya Corp 画像処理装置
WO2012026145A1 (ja) * 2010-08-27 2012-03-01 コニカミノルタエムジー株式会社 診断支援システム及びプログラム
JP2015055988A (ja) * 2013-09-11 2015-03-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20160150976A1 (en) * 2013-06-25 2016-06-02 The General Hospital Corporation High-resolution thermal imaging system, apparatus, method and computer accessible medium
JP2018014579A (ja) * 2016-07-20 2018-01-25 株式会社日立製作所 カメラトラッキング装置および方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005284B2 (en) * 2006-12-07 2011-08-23 Kabushiki Kaisha Toshiba Three dimensional image processing apparatus and x-ray diagnosis apparatus
JP5369425B2 (ja) * 2007-10-31 2013-12-18 富士通株式会社 画像復元装置、画像復元プログラム、画像復元方法
JP2011151430A (ja) 2008-05-15 2011-08-04 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
EP2727533A1 (en) * 2010-09-08 2014-05-07 Fujifilm Corporation Body motion detection device, as well as radiographic imaging apparatus
US9521988B2 (en) * 2015-02-17 2016-12-20 Siemens Healthcare Gmbh Vessel tree tracking in angiography videos
JP2018110637A (ja) * 2017-01-10 2018-07-19 コニカミノルタ株式会社 動態画像処理装置
JP6870993B2 (ja) * 2017-01-20 2021-05-12 キヤノンメディカルシステムズ株式会社 画像処理装置及びｘ線診断装置
JP6723173B2 (ja) * 2017-02-10 2020-07-15 富士フイルム株式会社 画像処理装置、方法およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270238A (ja) * 2005-03-22 2006-10-05 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2009027397A (ja) * 2007-07-19 2009-02-05 Seiko Epson Corp 画像処理のための装置、方法、および、プログラム
JP2009232450A (ja) * 2008-03-24 2009-10-08 Fujitsu Ltd 画像処理方法、画像処理装置及び透かし検出システム
US20110142370A1 (en) * 2009-12-10 2011-06-16 Microsoft Corporation Generating a composite image from video frames
JP2011165045A (ja) * 2010-02-12 2011-08-25 Tokyo Institute Of Technology 画像処理装置
JP2011180670A (ja) * 2010-02-26 2011-09-15 Hoya Corp 画像処理装置
WO2012026145A1 (ja) * 2010-08-27 2012-03-01 コニカミノルタエムジー株式会社 診断支援システム及びプログラム
US20160150976A1 (en) * 2013-06-25 2016-06-02 The General Hospital Corporation High-resolution thermal imaging system, apparatus, method and computer accessible medium
JP2015055988A (ja) * 2013-09-11 2015-03-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018014579A (ja) * 2016-07-20 2018-01-25 株式会社日立製作所 カメラトラッキング装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
真鍋 章大、外６名: ""虚血性心疾患患者に向けた自由呼吸下における心筋パーフュージョンＭＲ画像のレジストレーション"", 電子情報通信学会技術研究報告, vol. 114, no. 482, JPN6021051851, 23 February 2015 (2015-02-23), JP, pages 119 - 124, ISSN: 0004672378 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021186150A (ja) * 2020-05-28 2021-12-13 コニカミノルタ株式会社 動態画像処理装置及びプログラム
JP7405005B2 (ja) 2020-05-28 2023-12-26 コニカミノルタ株式会社 動態画像処理装置及びプログラム
US12076176B2 (en) 2020-05-28 2024-09-03 Konica Minolta, Inc. Dynamic image processing apparatus and storage medium
WO2023228564A1 (ja) * 2022-05-26 2023-11-30 富士フイルム株式会社 画像切り出し支援装置、超音波診断装置および画像切り出し支援方法

Also Published As

Publication number Publication date
US20190378243A1 (en) 2019-12-12
US11176638B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
US11410312B2 (en) Dynamic analysis system
JP6772873B2 (ja) 動態解析装置及び動態解析システム
JP6958202B2 (ja) 動態画像処理装置及びプログラム
JP5556413B2 (ja) 動態画像処理装置及びプログラム
JP5828649B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US11176638B2 (en) Image processing apparatus, image processing method and program
JP6361435B2 (ja) 画像処理装置及びプログラム
US11238590B2 (en) Dynamic image processing apparatus
WO2011092982A1 (ja) 動態画像処理システム及びプログラム
JP2020044445A (ja) 動態解析システム、プログラム及び動態解析装置
CN113397577B (zh) 动态品质管理装置及其方法、计算机可读取记录介质
US10765391B2 (en) Dynamic analysis system
JP2018110762A (ja) 動態画像処理システム
JP2017169830A (ja) 動態解析装置
US20180146944A1 (en) Dynamic image processing apparatus
JP7501138B2 (ja) 放射線画像撮影システム、プログラム及び画像処理方法
JP2018148965A (ja) 動態解析システム
JP4591142B2 (ja) 医用画像システム
JP2018175320A (ja) 放射線撮影システム
JP2018183493A (ja) 画像表示システム及び画像処理装置
JP7115584B2 (ja) 動態品質管理装置、動態品質管理プログラム及び動態品質管理方法
JP7211172B2 (ja) 動態画像解析システム及び動態画像処理装置
JP2011030753A (ja) 画像処理装置及び画像処理方法
JP2020110364A (ja) 画像処理システム及びプログラム
JP2021194139A (ja) 画像表示装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220322