JP2023103480A - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP2023103480A
JP2023103480A JP2023085852A JP2023085852A JP2023103480A JP 2023103480 A JP2023103480 A JP 2023103480A JP 2023085852 A JP2023085852 A JP 2023085852A JP 2023085852 A JP2023085852 A JP 2023085852A JP 2023103480 A JP2023103480 A JP 2023103480A
Authority
JP
Japan
Prior art keywords
image
frame image
arrangement information
frame
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023085852A
Other languages
English (en)
Inventor
澄也 長束
Sumiya Nagatsuka
直輝 林
Naoteru Hayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2023085852A priority Critical patent/JP2023103480A/ja
Publication of JP2023103480A publication Critical patent/JP2023103480A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2323Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Discrete Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2023103480000001
【課題】動作中における所定の構造物の状態を客観的に把握するための情報を取得する。
【解決手段】画像処理装置によれば、制御部は、被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定し、基準フレーム画像中の所定の構造物上に複数の特徴点を設定し、設定された複数の特徴点の位置関係から、基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する。そして、基準フレーム画像において設定された複数の特徴点の位置を動態画像の他のフレーム画像において特定し、他のフレーム画像における前記所定の構造物の配置情報を生成する。
【選択図】図3

Description

本発明は、画像処理装置及びプログラムに関する。
従来、被写体にX線を連続的に照射することにより得られた複数のフレーム画像のそれぞれから下顎に配置した目標物の重心座標を算出し、算出した重心座標に基づいて目標物の運動軌跡を算出しグラフ化する技術が開示されている(例えば、特許文献1参照)。
特許第3388645号公報
しかしながら、例えば、整形外科分野において対象部位の状態を客観的に判断するには、対象部位の動作中における構造物間の関係や動きにより決定される構造物の配置状態を把握することにこそ意味があり、対象物の点の動きだけを把握しても不十分である。例えば、関節の動きに異常があるか否かを判断するには、2つ以上の骨の配置状態(近接状態、ひねり状態角度など)を把握することが最低限必要である。
本発明の課題は、動作中における所定の構造物の状態を客観的に把握するための情報を取得することである。
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段と、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段と、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段と、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段と、
を備える。
請求項2に記載の発明は、請求項1に記載の発明において、
前記配置情報は、複数の前記特徴点を結んだ直線又は曲線、複数の前記特徴点から構成される面、前記直線又は前記面が基準となす角度、複数の前記特徴点間の距離、複数の前記特徴点から構成される面の面積のいずれか一つ又は複数の組み合わせである。
請求項3に記載の発明は、請求項1又は2に記載の発明において、
複数の前記フレーム画像間における前記配置情報の差分情報を算出する差分情報算出手段を備える。
請求項4に記載の発明は、請求項3に記載の発明において、
前記差分情報が予め定められた閾値を超えているか否かを判定する判定手段を備える。
請求項5に記載の発明は、請求項4に記載の発明において、
前記動態画像の撮影時の撮影部位、モダリティー、前記被写体の年齢、性別、体格、治具の有無、体内含有の人工物の有無のいずれか一つ又は複数の組み合わせに応じて前記閾値を設定する閾値設定手段を備える。
請求項6に記載の発明は、請求項1~5のいずれか一項に記載の発明において、
前記複数のフレーム画像において生成された前記配置情報に基づいて前記所定の構造物の動きを示すグラフもしくはアニメーション画像を作成して出力するか、又は、前記配置情報に連動する外部模型装置に前記配置情報を出力する出力手段を備える。
請求項7に記載の発明は、請求項6に記載の発明において、
前記アニメーション画像を作成する際の、人体の複製範囲、複製サイズ、平面か立体か、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定する条件設定手段を備える。
請求項8に記載の発明は、請求項1~7のいずれか一項に記載の発明において、
前記配置情報を保存する保存手段を備える。
請求項9に記載の発明は、請求項8に記載の発明において、
前記保存手段は、前記配置情報の値が前記複数のフレーム画像から算出された配置情報の最大値、最小値、平均値、最初に変化する値、のいずれかに該当するフレーム画像を対象外とし、他のフレーム画像に対しては解像度を落とすか又は圧縮した状態で保存する。
請求項10に記載の発明は、請求項1~9のいずれか一項に記載の発明において、
前記配置情報を単独で、又は、前記動態画像もしくは当該配置情報に対応する前記フレーム画像のいずれか一つ以上と組み合わせて表示手段に表示させる表示制御手段を備える。
請求項11に記載の発明は、請求項10に記載の発明において、
前記表示制御手段は、前記表示手段において前記動態画像の各フレーム画像が順次切り替わる動作に連動して、表示された前記フレーム画像に対応する配置情報を順次切り替えながら表示するか、又は、前記動態画像の各フレーム画像が切り替わっても、予め指定された条件に応じた配置情報を継続して表示するよう制御する。
請求項12に記載の発明は、請求項10又は11に記載の発明において、
前記表示制御手段は、前記配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を超えているか否かの判定結果に応じて、色、形、大きさ、陰影、点滅、文字種別のいずれか一つ以上による強調表示を適用して前記配置情報を表示する。
請求項13に記載の発明は、請求項10~12のいずれか一項に記載の発明において、
前記表示制御手段は、前記複数のフレーム画像のうち、当該フレーム画像に基づく配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を下回っているフレーム画像、最大となるフレーム画像、最小となるフレーム画像、最も平均値に近いフレーム画像、最初に変化したフレーム画像、のいずれかを前記動態画像の初期表示用のフレーム画像として表示する。
請求項14に記載の発明は、請求項1~13のいずれか一項に記載の発明において、
前記特徴点の設定又は前記配置情報の生成が失敗した場合に、失敗した旨を報知する報知手段を備える。
請求項15に記載の発明は、請求項1~14のいずれか一項に記載の発明において、
前記決定手段は、先頭のフレーム画像、前記所定の構造物が最初に検出されたフレーム画像、前記所定の構造物の配置情報が所定値を超えたフレーム画像、又はユーザー操作により選択されたフレーム画像を前記基準フレーム画像として決定する。
請求項16に記載の発明は、請求項1~15のいずれか一項に記載の発明において、
前記動態画像は、腰部を動かす動作、頸部を動かす動作、関節を動かす動作又は嚥下運動を放射線撮影した動態画像である。
請求項17に記載の発明のプログラムは、
コンピューターを、
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段、
として機能させる。
本発明によれば、動作中における所定の構造物の状態を客観的に把握するための情報を取得することが可能となる。
本発明の実施形態における動態解析システムの全体構成を示す図である。 図1の画像処理装置の機能的構成を示すブロック図である。 図1の画像処理装置の制御部により実行される画像解析処理を示すフローチャートである。 3D回転を説明するための図である。 脊柱管狭窄症の患者が立位で背骨を伸ばした状態の腰部側面を模式的に示す図である。 脊柱管狭窄症の患者の前傾や座位姿勢の腰部側面を模式的に示す図である。 頸椎性骨髄症の患者の頸部側面を模式的に示す図である。 肘関節正面を模式的に示す図である。 嚥下運動を模式的に示す図である。 嚥下運動を模式的に示す図である。 嚥下運動を模式的に示す図である。 嚥下運動を模式的に示す図である。 頸部のフレーム画像に設定する特徴点の例を示す図である。 正常者の頸部の動態画像から生成した頸椎の配置情報をプロットしたグラフである。 頸椎にずれがある患者の頸部の動態画像から生成した頸椎の配置情報をプロットしたグラフである。 頸部のアニメーション画像の一例を示す図である。 頸部の模型の一例を示す図である。
以下、図面を参照して本発明の実施形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
〔動態解析システム100の構成〕
まず、構成を説明する。
図1に、本実施形態における動態解析システム100の全体構成を示す。
図1に示すように、動態解析システム100は、撮影装置1と、コンソール2とが通信ケーブル等により接続され、コンソール2と、画像処理装置3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。また、画像処理装置3には、模型装置4が接続されている。動態解析システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
〔撮影装置1の構成〕
撮影装置1は、被写体Mの自発的動作による対象部位の動きの経過を撮影する撮影手段である。撮影装置1は、被写体Mの対象部位に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、対象部位の動きの経過を示す複数の画像を取得する。撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、パルス照射により一連の撮影を行う場合を例にとり説明する。
放射線源11は、被写体Mを挟んで放射線検出部13と対向する位置に配置され、放射線照射制御装置12の制御に従って、被写体Mの対象部位に対し放射線(X線)を照射する。
放射線照射制御装置12は、コンソール2に接続されており、コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、1撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線検出部13は、FPD等の半導体イメージセンサーにより構成される。FPDは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、何れを用いてもよい。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
読取制御装置14は、コンソール2に接続されている。読取制御装置14は、コンソール2から入力された画像読取条件に基づいて放射線検出部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部13に蓄積された電気信号を読み取ることにより、画像データを取得する。この
画像データがフレーム画像である。そして、読取制御装置14は、取得したフレーム画像をコンソール2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14は互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
〔コンソール2の構成〕
コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力し、曝射スイッチの押下に応じて撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を画像処理装置3に送信する。
〔画像処理装置3の構成〕
画像処理装置3は、例えば、整形外科の医師等が用いるコンピューター装置である。画像処理装置3は、コンソール2から送信された動態画像の各フレーム画像を解析して被写体部位(対象部位)の所定の構造物の配置状態を示す配置情報を生成し、生成した配置情報に基づいて患者(被写体M)に被写体部位の状態を説明するための表示等を行う。
画像処理装置3は、図2に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35、コネクター36を備えて構成され、各部はバス37により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、後述する画像解析処理を始めとする各種処理を実行し、画像処理装置3各部の動作を集中制御する。制御部31は、決定手段、設定手段、第1の配置情報生成手段、第2の配置情報生成手段、差分情報算出手段、判定手段、閾値設定手段、出力手段、条件設定手段、表示制御手段、報知手段として機能する。
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32は、制御部31で画像解析処理を実行するためのプログラムを始めとする各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、LCDやCRT等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、各種表示を行う。
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接
続された各装置との間のデータ送受信を制御する。
コネクター36は、模型装置4と接続するためのインターフェースである。
模型装置4は、人体の全体及び各部位の模型を有し、画像処理装置3から出力される配置情報に基づいて模型を動かして人体の動きを再現する。
〔動態解析システム100の動作〕
(撮影動作)
次に、上記動態解析システム100における動作について説明する。
まず、撮影時の動作について説明する。
放射線技師等の撮影実施者は、まず、コンソール2の操作部を操作して、患者(被写体M)の患者情報(患者の氏名、身長、体重、年齢、性別等)や撮影条件(撮影部位(被写体部位。例えば、腰部、頸部、右腕、左足、嚥下等)、モダリティー、二次元画像か三次元画像(3D画像)か)等の入力を行う。なお、ここでいうモダリティーとは、撮影に用いる撮影装置1の種類(例えば、立位/臥位/パネル(FPD)単独/長尺)を指す。
患者情報や撮影条件等が入力されると、コンソール2は、撮影部位に応じた放射線照射条件を記憶部から読み出して放射線照射制御装置12に設定するとともに、撮影部位に応じた画像読取条件を記憶部から読み出して読取制御装置14に設定する。
ここで、高精細の画像が必要でない場合には、画像を読み取る際のbit数やフレーム数(フレームレート)を低く設定し、処理速度を上げるようにすることが好ましい。
撮影実施者は、被写体Mに撮影部位を動かすように指示して曝射スイッチを押下する。
ここで、過去に同一患者の同一部位の撮影を行っている場合は、前回の撮影時と動きが同じ周期となるように動きを調整することが好ましい。動きの周期の調整は、例えば、動きを誘導する音声を出力する、被写体Mの近傍にモニター等を配置して動きを誘導する画像を映し出す等が挙げられるが、別の方法により動きの調整を行ってもよい。
また、見たい動きを安定して観察できるように(例えば、動きがX線に対して垂直方向となるように、関心位置が一番見やすいように)治具を使って撮影してもよい。
コンソール2は、曝射スイッチが押下されると、放射線照射制御装置12及び読取制御装置14に撮影開始指示を送信して撮影を開始する。即ち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像が取得される。撮影により取得されたフレーム画像は順次コンソール2に入力される。
予め定められたフレーム数の撮影が終了すると、コンソール2は、放射線照射制御装置12及び読取制御装置14に撮影終了の指示を出力し、撮影動作を停止する。コンソール2は、入力された各フレーム画像に動態画像を識別するための識別IDや、撮影順を示す番号(フレーム番号)、患者情報、撮影条件、放射線照射条件、画像読取条件、撮影順を示す番号(フレーム番号)等の情報を付帯させ(例えば、DICOM形式で画像データのヘッダ領域に書き込まれ)、画像処理装置3に送信する。
なお、3D画像を撮影する場合、複数方向から撮影を行う。
また、整形外科分野における静止画撮影では、一般的に4方向又は6方向からの撮影が行われているが、2方向から動態画像を撮影することで代用することとしてもよい。
(画像処理装置3の動作)
次に、画像処理装置3における動作について説明する。
画像処理装置3においては、通信部35を介してコンソール2から動態画像の一連のフ
レーム画像が受信されると、制御部31と記憶部32に記憶されているプログラムとの協働により図3に示す画像解析処理が実行される。
以下、図3を参照して画像解析処理の流れについて説明する。
まず、制御部31は、動態画像の一連のフレーム画像の中から基準フレーム画像を決定する(ステップS1)。
例えば、制御部31は、予め設定された条件に該当するフレーム画像を基準フレーム画像として決定する。例えば、先頭のフレーム画像、所定の構造物が最初に検出された(描画された)フレーム画像、所定の構造物の配置情報が所定値を超えたフレーム画像、又はユーザー操作により(操作部33により)選択されたフレーム画像を基準フレーム画像として決定する。予め設定された条件に該当するフレーム画像が、所定の構造物が最初に検出された(描画された)フレーム画像である場合、制御部31は、先頭のフレーム画像から順次画像認識を行い、最初に所定の構造物が認識されたフレーム画像を基準フレーム画像として決定する。予め設定された条件に該当するフレーム画像が、所定の構造物の配置情報が予め定められた閾値を超えたフレーム画像である場合、制御部31は、後述するステップS2~S3の処理を先頭フレーム画像から順に行って得られた配置情報を閾値と比較し、閾値を超えたフレーム画像を基準フレーム画像として決定する。
あるいは、表示部34に一連のフレーム画像を表示し、操作部33により選択されたフレーム画像を基準フレーム画像として決定して取得してもよい。
次いで、制御部31は、基準フレーム画像から所定の構造物を認識し、所定の構造物上に複数の特徴点を設定する(ステップS2)。
所定の構造物は、撮影部位によって予め定められている。または、表示部34に表示されたリストの中から操作部33により選択された構造物を所定の構造物としてもよい。所定の構造物は、例えば、エッジ抽出等により認識することができる。所定の構造物上の特徴点は、表示部34に表示された基準フレーム画像上から操作部33により指定された点を特徴点として設定してもよいし、フレーム画像を解析し、撮影部位に応じて予め定められた箇所を特定して特徴点を設定してもよい。
次いで、制御部31は、設定した複数の特徴点の位置関係に基づいて、基準フレーム画像内における所定の構造物の配置状態を示す配置情報を生成する(ステップS3)。
所定の構造物の配置情報は、例えば、設定された複数の特徴点間を結んだ直線又は曲線、複数の特徴点から構成される面、上記の直線又は面が基準となす角度、複数の特徴点間の距離、複数の特徴点から構成される面の面積、のいずれか一つ又は複数の組み合わせである。所定の構造物は、一つであってもよいし、複数であってもよい。
次いで、制御部31は、基準フレーム画像において設定した各特徴点の位置を動態画像の他のフレーム画像において特定し、他のフレーム画像における、基準フレーム画像で配置情報を生成した所定の構造物と同じ構造物の配置情報を生成する(ステップS4)。
次いで、制御部31は、各フレーム画像から生成した配置情報の出力処理を行い(ステップS5)、画像解析処理を終了する。
ステップS5においては、例えば、各フレーム画像から生成された配置情報を並べて表示部34に表示する。
または、配置情報が角度、距離、面積等の値である場合、複数のフレーム画像間(例えば、隣接するフレーム画像間)における配置情報の差分情報(差分値又は比率)を算出し、表示部34に表示してもよい。これにより、所定の構造物の動きが遅くなったフレーム画像や、遅くなった動きがもとに戻ったフレーム画像等を特定することが可能となる。さ
らに、各フレーム画像に対応する差分情報が予め定められた閾値を超えているか否かを判定し、判定結果を差分情報と併せて表示部34に表示することとしてもよい。これにより、所定の構造物の動きに異常があるか否か、異常がある場合はどの姿勢に異常があるか等を認識しやすくすることができる。
なお、差分情報が異常を示しているか否かを判定するための閾値は、撮影部位、モダリティー、患者の年齢、性別、体格、治具の有無、体内に人工物が埋め込まれているか否か、のいずれか一つ又は複数の組み合わせに応じて制御部31が設定することが好ましい。
または、生成された配置情報を、配置情報の生成に用いた動態画像、又は各配置情報に紐づくフレーム画像のいずれか1つ以上と組み合わせて表示することとしてもよい。
例えば、表示部34に表示された動態画像の各フレーム画像が順次切り替わる動作に連動し、表示されたフレーム画像に対応する配置情報を順次切り替えながら表示する。または、動態画像の各フレーム画像の表示が順次切り替わっても、予め指定された条件に応じた配置情報(例えば、値が最も小さい(大きい)配置情報等)を継続して表示する。
生成された配置情報を表示する際には、その配置情報と予め定められた他の前記フレーム画像(例えば、隣接するフレーム画像)に基づく配置情報との差分情報が予め定められた閾値を超えているか否かの判定結果に応じて、色や形、大きさ、陰影、点滅、文字種別のいずれか1つ以上による強調表示を配置情報に対して適用して表示することとしてもよい。これにより、注目すべき配置情報を強調して表示させることが可能となる。
また、制御部31は、上述の差分情報が、予め定められた閾値を下回っているフレーム画像、最大となるフレーム画像、最小となるフレーム画像、最も平均値に近いフレーム画像、最初に数値が変化したフレーム画像、のいずれかを動態画像の初期表示用のフレーム画像として選択して表示することとしてもよい。これにより、特徴的な動きを示しているフレーム画像を初期表示とすることができる。
なお、撮影により得られた動態画像の各フレーム画像が動き方向に対してずれている場合は、標準の動きと整合するように3D回転させてから表示することが好ましい。例えば、図4に示すように、非動作部分(例えば、図4においてFで示す部分)の骨位置の端部4点、骨位置の端部4点の対角線の交点、及び骨面積の重心が一定となるように3D回転させる。あるいは、非動作部分の骨の重なりの同じ部分が一番多くなるように3D回転させる。
または、生成した複数のフレーム画像の配置情報に基づいて、所定の構造物の動きを示すグラフを作成し、表示部34に表示してもよい(例えば、図10A、図10B参照)。これにより、所定の構造物の配置状態の時間変化を医師等のユーザーが視覚的に認識しやすくすることができる。
または、生成した複数のフレーム画像の配置情報に基づいて、所定の構造物の動きを再現したアニメーション画像を作成して表示部34に表示することとしてもよい(図11参照)。これにより、所定の構造物の動きが捉えやすくなるため、診断精度を向上させることができる。また、整形外科においては、撮影結果をすぐに診察室で患者に説明するケースが多いが、アニメーション画像で動きを再現することで、どういった動きをしているのか患者自身が客観的に把握することができ、患者の納得感を高めることができる。
また、アニメーション画像を作成する際の、人体の複製範囲(部位限定とするか全体とするか)、複製サイズ、平面とするか立体とするか、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて制御部31が自動的に設定することとしてもよい。例えば、複製範囲は、撮影部位に応じて設定することができる。複製サイズや色は、被写体Mの性別、年齢、体格(身長、体重等)等により設定することができる。平面とするか立体とするかは、撮影条件により設定することができる。これにより、より患者に近い状態でアニメーション画像を表示することが可能となる。
また、人工骨等の人工物が体内に入っている患者については、アニメーション画像において人工物を入れた人体を表示することとしてもよい。また、荷重をかけたときの被写体の動きを推測してアニメーション画像を表示してもよい。
または、生成した複数のフレーム画像の配置情報を模型装置4に出力し、配置情報に基づいて所定の構造物の動きを模型に再現させてもよい。これにより、所定の構造物の動きが捉えやすくなるため、診断精度を向上させることができる。また、整形外科においては、撮影結果をすぐに診察室で患者に説明するケースが多いが、人体模型で動きを再現することで、どういった動きをしているのか患者自身が客観的に把握することができ、患者の納得感を高めることができる。
アニメーション画像を表示したり、模型を動かしたりする際には、それらを動態画像の表示と連動させてもよい。また、重要なフレーム位置でアニメーション画像や模型の動きを停止させてもよい。また、重要な位置のフレーム画像を静止画で表示しておき、動かしたアニメーション画像や模型がそのフレーム画像に対応する動きとなったときにそれらを停止させることとしてもよい。重要なフレーム位置とは、例えば、そのフレーム画像に基づいて生成した配置情報と予め定められた他の前記フレーム画像(例えば、隣接するフレーム画像)に基づく配置情報との差分情報が予め定められた閾値を下回っているフレーム画像、最大となるフレーム画像、最小となるフレーム画像、最も平均値に近いフレーム画像、最初に数値が変化したフレーム画像等である。
なお、ステップS5において、いずれの態様で出力するかは、操作部33の操作によりユーザーが選択できるようにすることが好ましい。
また、ステップS2~S4において、特徴点の設定や配置情報の生成が失敗した場合は、表示や音声によりアラートを出す等により、失敗した旨の情報を報知することが好ましい。
制御部31は、上記画像解析処理により取得した配置情報を動態画像に対応付けて記憶部32に保存する。また、配置情報の値が最大値、最小値、平均値、最初に変化する値、のいずれかに該当するフレーム画像を対象外とし、他のフレーム画像に対しては解像度を落とす、または圧縮した状態で保存することが好ましい。これにより、保存するデータ量を抑えることができる。
以下、上記画像解析処理により算出される配置情報やその出力の具体例について説明する。
(脊柱管の例)
脊柱管に現れる症状として、脊柱管狭窄症がある。脊柱管狭窄症は、加齢による椎間板の出っ張りなどで脊柱管の一部が狭くなり神経を圧迫し、痛みを生じるものである。脊柱管狭窄症では、例えば、図5Aの腰部側面の模式図に示すように、立位で背骨を伸ばすと、椎間板42の膨隆の増大等により、脊柱管41が圧迫されて狭くなる。一方、前傾や座位姿勢の場合、図5Bの腰部側面の模式図に示すように、脊柱管41の圧迫は解除され、脊柱管41は広くなる。そこで、例えば、撮影装置1により直立位の状態から前傾する動作、後傾する動作を正面と側面でそれぞれ動態撮影し、得られた動態画像に対して上述の画像解析処理を行う。これにより、各フレーム画像における脊柱管41の範囲面積や幅が狭くなっていないかを判断することができる。
例えば、制御部31は、基準フレーム画像から画像認識により脊柱管41及び椎間板42を認識し、図5A、図5Bに示すように、椎間板42の幅(上下幅)をベースとした脊柱管41上の4つの点(P1~P4)を特徴点として設定する。次いで、設定した4つの
特徴点を結んだ面の面積を脊柱管41の配置情報として算出する。次いで、基準フレーム画像において設定した各特徴点の位置を他のフレーム画像において特定し、特定した特徴点に囲まれた面積を脊柱管41の配置情報として算出する。そして、各フレーム画像で算出した配置情報を、上述のステップS5で説明したいずれかの手法により出力する。これにより、医師は、前傾や後傾の動作中における脊柱管の状態の変化(脊柱管が狭くなっているか否か)を客観的に把握することができ、脊柱管狭窄症であるか否かを判定することができる。
なお、脊柱管41上の特徴点は、上述のP1~P4に限定されず、第4腰椎44と第5腰椎45の間の椎間板42の幅をベースとした4点としてもよい。また、複数の椎間板42の幅をベースとして、各椎間板42の幅をベースとした4つの特徴点がなす面積をそれぞれ求め、求めた複数の面積の代表値(平均値、最小値等)を脊柱管41の配置情報としてもよい。
また、例えば、脊柱管41の中心軸の角度の差分情報を隣接するフレーム画像間で算出し、差分情報が所定の閾値より小さい区間のフレーム画像を、連続した動きに支障が発生した区間(患者が痛みを感じた動作に対応するフレーム画像)であると検知するこことしてもよい。例えば、第4腰椎44と第5腰椎45の間の椎間板42の幅をベースとした上述の4つの点により囲まれた領域の中心点と、第5腰椎45と仙骨46の間の椎間板42の幅をベースとした上述の4つの点により囲まれた領域の中心点を特徴点として、これらを結んだ線を求める。次いで、立位状態のフレーム画像における上記2つの特徴点をつないだ線を基準線として、基準線と、各フレーム画像における上記2つの特徴点をつないだ線との角度を各フレーム画像における配置情報として取得する。そして、各フレーム画像で算出した角度と隣接するフレーム画像で算出した角度との差分情報を算出し、差分情報が所定の閾値より小さい区間のフレーム画像を、連続した動きに支障が発生した区間(患者が痛みを感じた動作に対応するフレーム画像)であると判定し、その判定結果を差分情報と併せて出力することとしてもよい。これにより、医師は、前傾や後傾の動作中における脊柱管の状態の変化を客観的に把握することができ、脊柱管狭窄症であるか否かを判定することができる。
また、例えば、椎間板42の幅(上下幅)の範囲において、脊柱管41上の最も幅が狭くなっている箇所の2点(側面画像であれば前側と後側、正面画像であれば左側と右側の2点)に特徴点を設定し、設定した特徴点の幅(距離)を脊柱管41の配置情報として取得してもよい。そして、各フレーム画像で算出した幅を、上述のステップS5で説明したいずれかの手法により出力してもよい。これにより、医師は、前傾や後傾の動作中における脊柱管の状態の変化(脊柱管が狭くなっているか否か)を客観的に把握することができ、脊柱管狭窄症であるか否かを判定することができる。
また、上記の脊柱管41の面積や幅を前回の検査時の脊柱管41の面積や幅と比較することで、脊柱管41の経時的な悪化や改善があるか否かを判定することができる。
また、図6の頸部側面の模式図に示すように、頸部において加齢等により椎間板42が変形してつぶれることで椎体に骨棘47が発生して脊髄43が圧迫されたり、靭帯48が厚く硬くなることにより脊髄43が圧迫されたりすると、痛みやしびれが生じる。これを頸椎性骨髄症というが、頸椎の屈曲~伸展の動作を撮影装置1により動態撮影し、得られた頸椎の動態画像を上述の腰部の動態画像における解析と同様の手法により面積、幅、又は角度を算出して配置情報として取得し、配置情報や複数のフレーム画像間におけるその差分情報を出力することとしてもよい。これにより、医師は、頸椎の屈曲~伸展の動作中における脊柱管の状態の変化を客観的に把握することができ、頸椎性骨髄症であるか否かを判定することが可能となる。
(関節の例)
関節に現れる症状として、例えば、変形性肘関節症、変形性膝関節症等がある。
変形性肘関節症は、例えば、プロ野球選手などが長年投球し続けたことで肘を酷使する等により、軟骨の摩耗や骨棘が生じ、それにより可動範囲によっては骨が引っかかったり、ぶつかったりすることで痛みなどが生じる症状である。そこで、撮影装置1により肘関節を動かす動作を動態撮影して画像解析処理を行い、骨棘と疑われる部分や、骨と骨の空隙の面積を算出し、関節を動かしたときの面積の変動を出力することで、医師は、肘関節の動きを客観的に把握することができ、変形性肘関節症であるか否かを判定することができる。変形性膝関節症も、膝関節を撮影した動態画像から、同様にして判定することが可能となる。
ここで、軟骨などは画像から判断しづらいため、図7に示すように、肘関節の動態画像の基準フレーム画像上において所定の構造物(例えば、上腕骨小頭骨の端部と橈骨頭の端部等)をアノテーションAで囲み、アノテーションAで囲んだ範囲内において構造物を抽出し、抽出した構造物上に特徴点を設定してフレーム画像間で追跡して特徴点で囲まれた部分の面積を算出する。構造物の抽出は、上述のように、エッジ検出等の一般的な画像処理により行うことができる。
(嚥下の例)
嚥下とは、食べ物を飲み込む動作である。図8A~図8Dは、正しい嚥下運動を模式的に示した図である。図8Aに示すように、食べ物51を飲み込む前は、喉頭蓋52は上を向いている。図8Bに示すように、食べ物51を飲み込むと、喉頭蓋52が下降し、食道54の幅が広がって食べ物51が食道に導かれる。食べ物51が通過すると、喉頭蓋52は上向きに戻る。そこで、撮影装置1により嚥下運動を撮影した動態画像に対し、上述の画像解析処理を行う。例えば、基準フレーム画像の喉頭蓋52の輪郭上に複数の特徴点を設定してそれらをフレーム画像間で追跡し、特徴点を結んだ曲線又は特徴点を結んだ曲線に囲まれた面の形状変化により各フレーム画像における喉頭蓋52の向きを捉えるとともに、食道54の対向する2点からそれらの幅(距離)を求め、喉頭蓋52の向きと食道54の幅の組み合わせを配置情報として出力する。これにより、医師は、嚥下運動における喉頭蓋52や食道54の変化やその関係性を客観的に把握することが可能となり、正常か、誤嚥かを判定することができる。誤嚥である場合はその要因を把握することが可能となる。
例えば、誤嚥が発生した場合、喉頭蓋52が正しく動作していないことで食べ物51が気管56に入ってしまうのか、喉頭蓋52は下向きになっているが、食道54が狭いことで問題が生じているのか等を医師が把握することが可能となる。
なお、下咽頭の幅を配置情報に含めてもよい。
(頸椎の例)
撮影装置1により頸部の屈曲伸展運動を動態画像で撮影し、上述の画像解析処理を実施することにより、頸椎の状態や動きを捉えることが可能となる。
たとえば、まず、頸部の動態画像の基準フレーム画像において、頸椎を認識し、図9のC3u~C7dに示すように、各頸椎における上端部と下端部のそれぞれの中央に特徴点を設定する。ここで、特徴点を示す符号のC3、C4、・・・は頸椎の番号を示す。例えば、C3は第3頸椎、C4は第4頸椎を示す。また、特徴点を示す符号の添え字u、dは、それぞれ上端部、下端部を示す。なお、各頸椎における上端部と下端部のそれぞれの中央に特徴点を設定するのではなく、左端又は右端に特徴点を設定することとしてもよい。次いで、各特徴点を直線(又は曲線)で結び、配置情報とする。次いで、他のフレーム画像において、特徴点を追跡し、各特徴点を結んだ直線(又は曲線)を配置情報として取得する。そして、各フレーム画像から取得した配置情報を出力する。例えば、各フレーム画像に基づいて生成した配置情報をグラフ上にプロットして出力する。これにより、医師は、屈曲伸展運動中の頸椎の状態をより客観的に把握することが可能となる。
図10Aは、正常な頸椎の屈曲伸展運動中に撮影した動態画像(側面)の各フレーム画像に基づいて生成した配置情報をプロットしたグラフである。図10Bは、ずれのある頸椎の屈曲伸展運動中に撮影した動態画像の各フレーム画像に基づいて生成した配置情報をプロットしたグラフの一部を抽出して拡大したものである。なお、図10Aのグラフの縦軸は、C7dを0としたときの上方向への距離を表しており、横軸は、C7dを0としたときの左右方向への距離を表している。図10Bのグラフの縦軸及び横軸は、縦軸の10~20のあたりにC6dとC7uの点が、40のあたりにC5dとC6uの点が示されている。
図10Aに示すように、正常な頸椎であれば、各フレーム画像の配置情報はなだらかに湾曲した形状となっているが、図10Bに示すように、頸椎にずれがある場合、各フレーム画像の配置情報は、隣り合う頸椎の特徴点間で大きく折れ曲がった形状となっている。隣り合う頸椎の特徴点間での折れ曲がりの大きさは、その箇所における頸椎のずれの大きさを表していると考えられる。また、図10Bに示すように、頸椎にずれがある場合、屈曲伸展運動において配置情報が動く範囲(角度)は正常時とは異なることがわかる。
このように、頸椎の配置情報のグラフを作成して出力することで、医師は、屈曲伸展運動中の頸椎の状態をより客観的に把握することが可能となる。
また、首を立てた状態の配置情報が直線状になっている場合にはストレートネック、後方に湾曲した曲線の場合には、後湾変形であることがわかる。
また、上述の頸椎の配置情報に基づいて、アニメーション画像を生成して出力してもよい。例えば、頸椎を含む基準アニメーション画像を用意しておき、各フレーム画像に基づいて生成した配置情報の各頸椎の上端部及び下端部の中央点の位置(図9参照)に基準アニメーション画像における各頸椎の上端部及び下端部の中央点をマッピングしたアニメーション画像を作成して出力する。図11に、アニメーション画像の一例を示す。これにより、屈曲伸展運動中の頸椎の動きを再現したアニメーション画像を出力することができるため、頸椎の動きが捉えやすくなり、診断精度を向上させることができる。また、患者への説明時に、作成したアニメーション画像で動きを再現することで、どういった動きをしているのか患者自身が客観的に把握することができ、患者の納得感を高めることができる。
また、上述の頸椎の配置情報を模型装置4に出力し、模型装置4において、屈曲伸展運動中の頸椎の動きを再現させてもよい。例えば、模型装置4においては、出力された各フレーム画像に対応する配置情報の各頸椎の上端部及び下端部の中央点の位置に模型装置4の各頸椎の上端部及び下端部の中央点を動かすことで、患者の頸椎の動きを再現する。図12に、模型装置4の一例を示す。これにより、頸椎の動きを再現することができるため、頸椎の動きが捉えやすくなるため、診断精度を向上させることができる。また、患者への説明時に、模型装置4で動きを再現することで、どういった動きをしているのか患者自身が客観的に把握することができ、患者の納得感を高めることができる。
以上説明したように、画像処理装置3によれば、制御部31は、被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定し、基準フレーム画像中の所定の構造物上に複数の特徴点を設定し、設定された複数の特徴点の位置関係から、基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する。そして、基準フレーム画像において設定された複数の特徴点の位置を動態画像の他のフレーム画像において特定し、他のフレーム画像における前記所定の構造物の配置情報を生成する。
ここで、整形外科分野において対象部位の状態を客観的に判断するには、対象部位の動作中における構造物間の関係や動きにより決定される構造物の配置状態を把握することに
こそ意味がある。制御部31によれば、動態画像の各フレーム画像から所定の構造物の配置状態を示す配置情報を生成するので、被写体部位の動作中における所定の構造物の状態を客観的に把握するための情報を提供することが可能となる。
また、複数のフレーム画像間、例えば隣接するフレーム画像間における配置情報の差分情報を算出することで、フレーム画像間における所定の構造物の動きの変化を把握することができ、動きの悪い姿勢等を特定することが可能となる。
また、差分情報が予め定められた閾値を超えているか否かを判定することで、所定の構造物の動きに異常があるか否かを判定することが可能となる。また、動態画像の撮影時の撮影部位、モダリティー、被写体の年齢、性別、体格、治具の有無、体内含有の人工物の有無のいずれか一つ又は複数の組み合わせに応じて閾値を設定することで、撮影条件や被写体に応じた閾値に基づいて異常の判定を行うことが可能となる。
また、複数のフレーム画像において生成された配置情報に基づいて所定の構造物の動きを示すグラフもしくはアニメーション画像を作成して出力するか、又は、配置情報に連動する外部模型装置に配置情報を出力することで、構造物の動きを把握しやすくすることができ、診断精度の向上を図ることができる。また、患者にグラフ、アニメーション画像、模型等を見せることで、患者がどういった動きをしているのか患者自身が客観的に把握することができ、患者の納得感を高めることができる。
また、アニメーション画像を作成する際の、人体の複製範囲、複製サイズ、平面か立体か、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定することで、患者の性別、年齢、体格等に近い人体のアニメーション画像を出力することが可能となる。
また、配置情報の値が前記複数のフレーム画像から算出された配置情報の最大値、最小値、平均値、最初に変化する値、のいずれかに該当するフレーム画像を対象外とし、他のフレーム画像に対しては解像度を落とすか又は圧縮した状態で保存することで、動態画像を保存する際のデータ量を低減することができる。
また、表示部34に表示された動態画像の各フレーム画像が順次切り替わる動作に連動して、表示されたフレーム画像に対応する配置情報を順次切り替えながら表示することで、フレーム画像とこれに対応する配置情報を関連付けて表示することが可能となる。また、動態画像の各フレーム画像が切り替わっても、予め指定された条件に応じた配置情報を継続して表示するよう制御することで、動態画像とともに、重要な配置情報を表示することが可能となる。
また、配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を超えているか否かの判定結果に応じて、色、形、大きさ、陰影、点滅、文字種別のいずれか一つ以上による強調表示を適用して配置情報を表示することで、ユーザーが異常のある配置情報を直感的に把握することが可能となる。
また、配置情報と予め定められた他のフレーム画像に基づく配置情報との差分情報が予め定められた閾値を下回っているフレーム画像、最大となるフレーム画像、最小となるフレーム画像、最も平均値に近いフレーム画像、最初に変化したフレーム画像、のいずれかを動態画像の初期表示用のフレーム画像として表示することで、特徴的な動きのフレーム画像又は平均的な動きのフレーム画像を初期表示することが可能となる。
また、特徴点の設定又は配置情報の生成が失敗した場合に、失敗した旨を報知すること
で、ユーザーは、特徴点の設定又は配置情報の生成が失敗したことを認識することが可能となる。
なお、本実施形態における記述は、本発明に係る好適な動態解析システムの一例であり、これに限定されるものではない。
例えば、整形外科分野で被写体部位を動態撮影した動態画像を表示する場合、以下の手法も診断や患者への説明用に有効である。
・撮影された動態画像を過去の動態画像と周期を揃えて並べて表示する。
・撮影された動態画像を所定の状態のX線静止画像と並べて表示する。
・撮影された動態画像を、撮影部位の正常な動きを示す画像と並べて表示する。
・ビデオカメラで撮影部位を撮影した動画像をX線による動態画像と並べて表示する。
・前回撮影した動態画像との違いを画像上に表示する。
・複数方向から撮影して3Dの動態画像を生成して表示する。
・前回撮影した動態画像の対応するフレーム画像との差が最も大きいフレーム画像で動態画像の表示を停止する。
・不自然な動きのフレーム画像(例えば、隣接するフレーム画像との配置情報の差分値が予め定められた閾値を超えたフレーム画像)で動態画像を停止する。
また、画像処理装置3に3Dプリンターを接続し、所定の状態の被写体部位を複数の方向から撮影して生成した3D画像の画像データを3Dプリンターに送信し、3Dプリンターにおいて前記画像データに基づいて模型を生成することも、患者の説明に有効である。例えば、脊柱管の幅が最も狭い状態の3D画像データを3Dプリンターに出力し、その状態の被写体の模型を3Dプリンターで作成する。これにより、患者に対し、例えば、脊柱管が最も狭く痛みが出る姿勢等を模型として示すことができる。
また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-R
OM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、動態解析システム100を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
例えば、画像処理装置3の各種処理機能をコンソール2上で有してもよいし、図に記載していないPACS(Picture Archiving and Communication Systems)などの画像保存
装置上に有してもよい。または、クラウド環境に設けられたクラウドサーバー上にて画像処理装置3と同等の処理を実施し、生成した配置情報や差分情報をクラウドサービスとして他サーバーに配信してもよい。
100 動態解析システム
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 コンソール
3 画像処理装置
31 制御部
32 記憶部
33 操作部
34 表示部
35 通信部
36 コネクター
37 バス
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段と、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段と、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段と、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段と、
前記複数のフレーム画像において生成された前記配置情報に基づいて前記所定の構造物の動きを示すアニメーション画像を作成して出力するか、又は、前記配置情報に連動する外部模型装置に前記配置情報を出力する出力手段と、
を備える。
請求項に記載の発明は、請求項1又は請求項2に記載の発明において、
前記アニメーション画像を作成する際の、人体の複製範囲、複製サイズ、平面か立体か、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定する条件設定手段を備える。
請求項に記載の発明は、請求項1又は請求項2に記載の発明において、
前記アニメーション画像を作成する際の、人工物の有無、または荷重の有無のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定する条件設定手段を備える。
請求項に記載の発明は、請求項1~4のいずれか一項に記載の発明において、
前記動態画像を、前記アニメーション画像と前記外部模型装置のいずれか一方、または両方と連動させて表示させるための表示制御手段を備える。
請求項に記載の発明は、請求項に記載の発明において、
前記表示制御手段は、前記動態画像の重要な位置のフレーム画像の表示に伴い、前記重要な位置のフレーム画像に対応する動きとなった前記アニメーション画像または前記外部模型装置を停止させる。
請求項に記載の発明のプログラムは、
コンピューターを、
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段、
前記複数のフレーム画像において生成された前記配置情報に基づいて前記所定の構造物の動きを示すアニメーション画像を作成して出力するか、又は、前記配置情報に連動する外部模型装置に前記配置情報を出力する出力手段、
として機能させる。

Claims (17)

  1. 被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段と、
    前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段と、
    前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段と、
    前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段と、
    を備える画像処理装置。
  2. 前記配置情報は、複数の前記特徴点を結んだ直線又は曲線、複数の前記特徴点から構成される面、前記直線又は前記面が基準となす角度、複数の前記特徴点間の距離、複数の前記特徴点から構成される面の面積のいずれか一つ又は複数の組み合わせである請求項1に記載の画像処理装置。
  3. 複数の前記フレーム画像間における前記配置情報の差分情報を算出する差分情報算出手段を備える請求項1又は2に記載の画像処理装置。
  4. 前記差分情報が予め定められた閾値を超えているか否かを判定する判定手段を備える請求項3に記載の画像処理装置。
  5. 前記動態画像の撮影時の撮影部位、モダリティー、前記被写体の年齢、性別、体格、治具の有無、体内含有の人工物の有無のいずれか一つ又は複数の組み合わせに応じて前記閾値を設定する閾値設定手段を備える請求項4に記載の画像処理装置。
  6. 前記複数のフレーム画像において生成された前記配置情報に基づいて前記所定の構造物の動きを示すグラフもしくはアニメーション画像を作成して出力するか、又は、前記配置情報に連動する外部模型装置に前記配置情報を出力する出力手段を備える請求項1~5のいずれか一項に記載の画像処理装置。
  7. 前記アニメーション画像を作成する際の、人体の複製範囲、複製サイズ、平面か立体か、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定する条件設定手段を備える請求項6に記載の画像処理装置。
  8. 前記配置情報を保存する保存手段を備える請求項1~7のいずれか一項に記載の画像処理装置。
  9. 前記保存手段は、前記配置情報の値が前記複数のフレーム画像から算出された配置情報の最大値、最小値、平均値、最初に変化する値、のいずれかに該当するフレーム画像を対象外とし、他のフレーム画像に対しては解像度を落とすか又は圧縮した状態で保存する請求項8に記載の画像処理装置。
  10. 前記配置情報を単独で、又は、前記動態画像もしくは当該配置情報に対応する前記フレーム画像のいずれか一つ以上と組み合わせて表示手段に表示させる表示制御手段を備える請求項1~9のいずれか一項に記載の画像処理装置。
  11. 前記表示制御手段は、前記表示手段において前記動態画像の各フレーム画像が順次切り替わる動作に連動して、表示された前記フレーム画像に対応する配置情報を順次切り替え
    ながら表示するか、又は、前記動態画像の各フレーム画像が切り替わっても、予め指定された条件に応じた配置情報を継続して表示するよう制御する請求項10に記載の画像処理装置。
  12. 前記表示制御手段は、前記配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を超えているか否かの判定結果に応じて、色、形、大きさ、陰影、点滅、文字種別のいずれか一つ以上による強調表示を適用して前記配置情報を表示する請求項10又は11に記載の画像処理装置。
  13. 前記表示制御手段は、前記複数のフレーム画像のうち、当該フレーム画像に基づく配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を下回っているフレーム画像、最大となるフレーム画像、最小となるフレーム画像、最も平均値に近いフレーム画像、最初に変化したフレーム画像、のいずれかを前記動態画像の初期表示用のフレーム画像として表示する請求項10~12のいずれか一項に記載の画像処理装置。
  14. 前記特徴点の設定又は前記配置情報の生成が失敗した場合に、失敗した旨を報知する報知手段を備える請求項1~13のいずれか一項に記載の画像処理装置。
  15. 前記決定手段は、先頭のフレーム画像、前記所定の構造物が最初に検出されたフレーム画像、前記所定の構造物の配置情報が所定値を超えたフレーム画像、又はユーザー操作により選択されたフレーム画像を前記基準フレーム画像として決定する請求項1~14のいずれか一項に記載の画像処理装置。
  16. 前記動態画像は、腰部を動かす動作、頸部を動かす動作、関節を動かす動作又は嚥下運動を放射線撮影した動態画像である請求項1~15のいずれか一項に記載の画像処理装置。
  17. コンピューターを、
    被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段、
    前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段、
    前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段、
    前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段、
    として機能させるためのプログラム。
JP2023085852A 2019-09-19 2023-05-25 画像処理装置及びプログラム Pending JP2023103480A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023085852A JP2023103480A (ja) 2019-09-19 2023-05-25 画像処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019170053A JP7287210B2 (ja) 2019-09-19 2019-09-19 画像処理装置及びプログラム
JP2023085852A JP2023103480A (ja) 2019-09-19 2023-05-25 画像処理装置及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019170053A Division JP7287210B2 (ja) 2019-09-19 2019-09-19 画像処理装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2023103480A true JP2023103480A (ja) 2023-07-26

Family

ID=74876897

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019170053A Active JP7287210B2 (ja) 2019-09-19 2019-09-19 画像処理装置及びプログラム
JP2023085852A Pending JP2023103480A (ja) 2019-09-19 2023-05-25 画像処理装置及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019170053A Active JP7287210B2 (ja) 2019-09-19 2019-09-19 画像処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20210089820A1 (ja)
JP (2) JP7287210B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949830B (zh) * 2021-09-30 2023-11-24 国家能源集团广西电力有限公司 一种图像处理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3639825B2 (ja) * 2002-04-03 2005-04-20 キヤノン株式会社 動画像表示方法、プログラム、コンピュータ可読記憶媒体、及び動画像表示装置
JP2006102353A (ja) * 2004-10-08 2006-04-20 Toshiba Corp 関節動作解析装置、関節動作解析方法及び関節動作解析プログラム
TW201408153A (zh) * 2012-08-07 2014-02-16 Ecocera Optronics Co Ltd 改善陶瓷貫孔基板上金屬表面粗糙度之方法
JP2014079312A (ja) * 2012-10-15 2014-05-08 Konica Minolta Inc 画像処理装置及びプログラム
US9400939B2 (en) * 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
JP6406144B2 (ja) * 2015-07-17 2018-10-17 コニカミノルタ株式会社 放射線撮影システム
JP2018068400A (ja) * 2016-10-25 2018-05-10 コニカミノルタ株式会社 動態画像処理装置
WO2020008629A1 (ja) * 2018-07-06 2020-01-09 楽天株式会社 画像処理システム、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20210089820A1 (en) 2021-03-25
JP2021045367A (ja) 2021-03-25
JP7287210B2 (ja) 2023-06-06

Similar Documents

Publication Publication Date Title
EP1350467B1 (en) Motion image processing apparatus and method
US7050537B2 (en) Radiographic apparatus, radiographic method, program, computer-readable storage medium, radiographic system, image diagnosis aiding method, and image diagnosis aiding system
JP2017532165A (ja) 脊椎不安定性を測定して評価するためのシステム及び方法
WO2014156796A1 (ja) 放射線撮影装置、放射線撮影方法、放射線撮影制御プログラム
WO2013150911A1 (ja) 画像生成装置及びプログラム
JP6345468B2 (ja) 医用画像診断装置
JP2010154992A (ja) 放射線画像撮影制御装置、放射線画像撮影制御システム、及び放射線画像撮影制御プログラム
JP2023103480A (ja) 画像処理装置及びプログラム
JP2023133736A (ja) 画像処理装置、画像処理システム及びプログラム
JP6743730B2 (ja) 動態解析システム
JP2021058570A (ja) 画像処理装置及びプログラム
JP7404857B2 (ja) 画像判定装置、画像判定方法及びプログラム
JP2022035719A (ja) 写損判断支援装置及びプログラム
JP2022190807A (ja) 動態品質管理装置、動態品質管理プログラム及び動態品質管理方法
JP6548713B2 (ja) 医用画像診断装置
CN114222530A (zh) 医用摄影系统及医用摄影处理装置
JP6885260B2 (ja) 動態画像解析装置
US11810295B2 (en) Dynamic image analysis apparatus, dynamic image analysis method, and storage medium
JP7310568B2 (ja) 放射線撮影システム、動作補助装置及びプログラム
JP2020099533A (ja) 骨部手術の支援装置、支援方法、プログラム、および記録媒体
US20220079538A1 (en) X-ray dynamic image display apparatus, storage medium, x-ray dynamic image display method, and x-ray dynamic image display system
JP7310239B2 (ja) 画像処理装置、放射線撮影システム及びプログラム
JP7211172B2 (ja) 動態画像解析システム及び動態画像処理装置
JP7405010B2 (ja) 診断支援システム、診断支援装置及びプログラム
JP7143747B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240416