JP2015136566A - 画像処理装置、およびプログラム - Google Patents

画像処理装置、およびプログラム Download PDF

Info

Publication number
JP2015136566A
JP2015136566A JP2014011301A JP2014011301A JP2015136566A JP 2015136566 A JP2015136566 A JP 2015136566A JP 2014011301 A JP2014011301 A JP 2014011301A JP 2014011301 A JP2014011301 A JP 2014011301A JP 2015136566 A JP2015136566 A JP 2015136566A
Authority
JP
Japan
Prior art keywords
capture
capture position
positions
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014011301A
Other languages
English (en)
Other versions
JP6221770B2 (ja
Inventor
謙太 嶋村
Kenta Shimamura
謙太 嶋村
藤原 浩一
Koichi Fujiwara
浩一 藤原
宏 大和
Hiroshi Yamato
宏 大和
遠山 修
Osamu Toyama
修 遠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2014011301A priority Critical patent/JP6221770B2/ja
Publication of JP2015136566A publication Critical patent/JP2015136566A/ja
Application granted granted Critical
Publication of JP6221770B2 publication Critical patent/JP6221770B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】体内の構造物の動きを捉えた医療用の生体画像から対象部位を捉えた領域を精度良く抽出することが可能な技術を提供する。
【解決手段】抽出部、検出部および補正部を備える画像処理装置を採用する。ここで、抽出部は、体内の対象部位を捉えた医療用の動態画像を構成する複数のフレーム画像から、対象部位の予め設定された特定部分が捉えられた捕捉位置をそれぞれ抽出する。検出部は、抽出部によって抽出された複数の捕捉位置のうち、該複数の捕捉位置に係る空間的な関係が特定部分の動作の傾向とは整合していない不整合捕捉位置を検出する。補正部は、検出部によって検出された不整合捕捉位置を補正する。
【選択図】図2

Description

本発明は、画像処理装置およびプログラムに関する。
医療現場では、X線を用いた撮影(X線撮影とも言う)によって内臓および骨格等に含まれる患部が捉えられた画像が取得され、該画像を用いた各種検査および診断が行われている。
そして、近年では、デジタル技術の適用によって、X線撮影によって患部の動きを捉えた画像(X線動態画像とも言う)が比較的容易に得られる。例えば、FPD(flat panel detector)等の半導体イメージセンサーを用いた撮影によって、検査および診断の対象となる部位(対象部位とも言う)を含む構造物が捉えられたX線動態画像が取得される。これにより、造影剤を用いることなく、比較的簡易な構成によって、X線動態画像が取得され得る。また、従来のX線撮影によって得られる静止画像を用いた診断では実施できなかった、対象部位の動きの解析による診断が可能となる。
例えば、胸部の動きを捉えたX線動態画像のうち、肺野内の濃度変化が解析されることで、肺野内における換気および血流(肺血流とも言う)の状態等に関する定量的な変化が認識される。具体的には、例えば、換気の状態に関する定量的な変化から換気の異常箇所が特定されることで、慢性閉塞性疾患(COPD)等の解析が可能となる。また、例えば、肺血流の状態に関する定量的な変化から肺血流の異常箇所が特定されることで、肺塞栓症等の解析が可能となる。また、例えば、関節の動きを捉えたX線動態画像から、屈伸運動等における関節の動きが解析されることで、リハビリテーションの促進の一助となる情報が得られる。すなわち、呼吸、心拍および関節の屈伸等と言った生命活動における体内の様々な構造物の動きを捉えることは、医療における診断において非常に価値がある。
但し、X線動態画像を用いた診断において対象部位の動きに関する解析および診断を実施するためには、対象部位を捉えた領域(対象領域とも言う)をX線動態画像から精度良く抽出する必要がある。
ところで、X線動態画像としてのスライス画像から、運動対象の輪郭を正確に抽出するための技術が提案されている(例えば、特許文献1等)。当該技術では、運動対象のスライス画像の時間シーケンスに対して、第1時間方向および第2時間方向で輪郭トラッキングがそれぞれ行われ、各スライス画像の第1輪郭および第2輪郭が取得される。そして、所定のスライス画像における第1輪郭と初期輪郭との第1相似度、および第2輪郭と初期輪郭との第2相似度が計算され、第1相似度および第2相似度のうちの大きな方に対応する時間方向について得られた各スライス画像の輪郭が運動対象の輪郭とされる。
特開2013−22462号公報
しかしながら、対象部位を捉えたX線動態画像の撮影においては、X線による患部の被爆量が増大しないように、各フレームの撮影に要する被爆量が低く抑えられる必要があり、各フレームの画質がノイズ等によって劣化し易い。また、横隔膜等をはじめとする体内の構造物の形状や動きには個体差があり、対象領域を自動的に抽出することは容易でなく、本来は有り得ない動き等を示す対象領域が抽出される場合もある。その結果、対象領域の抽出精度の低下を招いてしまう。
そして、例えば、上記特許文献1の技術では、第1時間方向および第2時間方向における輪郭トラッキングによって得られる第1輪郭および第2輪郭のうちの何れか一方が正しいことが前提とされて、運動対象の輪郭が抽出される。このため、第1輪郭および第2輪郭の双方に係る抽出精度が低ければ、運動対象の輪郭を正確に抽出することができない。
このような問題は、X線撮影によって得られるX線動態画像に限られず、例えば、超音波や核磁気共鳴等のその他の手法も含めた種々の手法によって得られる体内の構造物の動きが捉えられた医療用の生体画像一般に共通する。
本発明は、上記課題に鑑みてなされたものであり、体内の構造物の動きを捉えた医療用の生体画像から対象部位を捉えた領域を精度良く抽出することが可能な技術を提供することを目的とする。
上記課題を解決するために、第1の態様に係る画像処理装置は、体内の対象部位を捉えた医療用の動態画像を構成する複数のフレーム画像から、前記対象部位の予め設定された特定部分が捉えられた捕捉位置をそれぞれ抽出する抽出部と、前記抽出部によって抽出された複数の前記捕捉位置のうち、該複数の捕捉位置に係る空間的な関係が前記特定部分の動作の傾向とは整合していない不整合捕捉位置を検出する検出部と、前記検出部によって検出された前記不整合捕捉位置を補正する補正部と、を備える。
第2の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記特定部分が、各前記フレーム画像において線状の領域として捉えられ、前記検出部が、前記複数の捕捉位置について1以上の捕捉位置が他の捕捉位置と交差しているクロス異常状態を認識する交差異常認識部と、前記交差異常認識部によって認識された前記クロス異常状態と、予め設定された第1ルールとに基づき、前記複数の捕捉位置のうちの相互に交差している2以上のクロス捕捉位置から、前記不整合捕捉位置を特定する特定部と、を有する。
第3の態様に係る画像処理装置は、第2の態様に係る画像処理装置であって、前記特定部が、前記2以上のクロス捕捉位置のうち、他のクロス捕捉位置と交差している回数が多いクロス捕捉位置から順に、前記不整合捕捉位置として特定する処理を、前記2以上のクロス捕捉位置のうちの前記不整合捕捉位置として特定されたクロス捕捉位置を除く残余のクロス捕捉位置がなくなるまで実行するか、あるいは前記2以上のクロス捕捉位置のうち、他のクロス捕捉位置と交差している回数が少ないクロス捕捉位置から順に、前記整合捕捉位置として特定する処理を、該整合捕捉位置として特定されたクロス捕捉位置と交差していないクロス捕捉位置がなくなるまで実行する。
第4の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記検出部が、前記複数の捕捉位置の一方向におけるずれ量が、予め設定された基準量を超えている分布異常状態を認識する分布異常認識部と、前記分布異常認識部による前記分布異常状態の認識に応じて、各前記捕捉位置の前記一方向における位置と、予め設定された第2ルールとに基づき、前記複数の捕捉位置から前記不整合捕捉位置を特定する特定部と、を有する。
第5の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記検出部が、時間の経過に応じた前記特定部分の変位方向に係る情報を取得する変位方向取得部と、前記複数の捕捉位置において、第1捕捉位置を基準として、該第1捕捉位置に係る第1撮影タイミングよりも後の第2撮影タイミングに係る第2捕捉位置の前記第1捕捉位置からのずれが、前記変位方向に対応する基準方向とは逆の方向に生じている第1順序異常状態、あるいは前記複数の捕捉位置において、前記第2捕捉位置を基準として、前記第1捕捉位置の前記第2捕捉位置からのずれが、前記基準方向に生じている第2順序異常状態を認識する順序異常認識部と、前記順序異常認識部による前記第1順序異常状態の認識に応じて、前記第2捕捉位置を前記不整合捕捉位置として特定し、前記順序異常認識部による前記第2順序異常状態の認識に応じて、前記第1捕捉位置を前記不整合捕捉位置として特定する特定部と、を有する。
第6の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記検出部が、前記複数の捕捉位置のうちの1以上の捕捉位置が前記特定部分の動作の傾向とは整合していない第1の種類の異常状態を認識する第1認識部と、前記複数の捕捉位置のうちの1以上の捕捉位置が前記特定部分の動作の傾向とは整合していない第2の種類の異常状態を認識する第2認識部と、前記第1の種類の異常状態および前記第2の種類の異常状態と、予め設定された第3ルールとに基づき、前記不整合捕捉位置を特定する特定部と、を有する。
第7の態様に係る画像処理装置は、第6の態様に係る画像処理装置であって、前記第1の種類の異常状態が、前記複数の捕捉位置において1以上の捕捉位置が他の捕捉位置と交差しているクロス異常状態であり、前記第2の種類の異常状態が、前記複数の捕捉位置の一方向におけるずれ量が、予め設定された基準量を超えている分布異常状態であり、前記特定部が、前記複数の捕捉位置のうち、前記クロス異常状態および前記分布異常状態の双方を生じている捕捉位置を、前記不整合捕捉位置として特定する。
第8の態様に係る画像処理装置は、第6の態様に係る画像処理装置であって、前記第2の種類の異常状態が、前記複数の捕捉位置の一方向におけるずれ量が、予め設定された基準量を超えている分布異常状態であり、前記特定部が、前記複数の捕捉位置のうち、第1捕捉位置とは異なる残余の捕捉位置と、該第1捕捉位置とのずれ量に係る評価値が、予め設定された条件を満たしていれば、前記第1捕捉位置を前記不整合捕捉位置として特定する。
第9の態様に係る画像処理装置は、第8の態様に係る画像処理装置であって、前記第1の種類の異常状態が、前記複数の捕捉位置において、第2捕捉位置を基準として、前記第1捕捉位置に係る第1撮影タイミングとは異なる前記第2捕捉位置に係る第2撮影タイミングよりも後の第3撮影タイミングに係る第3捕捉位置の前記第2捕捉位置からのずれが、前記変位方向に対応する基準方向とは逆の方向に生じている状態を含んでおり、前記特定部が、前記第1捕捉位置を前記不整合捕捉位置として特定した場合に、前記複数の捕捉位置のうち、前記第1捕捉位置、前記第2捕捉位置および前記第3捕捉位置とは異なる残余の捕捉位置と前記第2捕捉位置とのずれ量に係る評価値が、前記条件を満たしていれば、前記第2捕捉位置を前記不整合捕捉位置として特定し、前記複数の捕捉位置のうち、前記第1捕捉位置、前記第2捕捉位置および前記第3捕捉位置とは異なる残余の捕捉位置と前記第3捕捉位置とのずれ量に係る評価値が、前記条件を満たしていれば、前記第3捕捉位置を前記不整合捕捉位置として特定する。
第10の態様に係る画像処理装置は、第8の態様に係る画像処理装置であって、前記第1の種類の異常状態が、前記複数の捕捉位置において、第2捕捉位置を基準として、前記第1捕捉位置に係る第1撮影タイミングとは異なる前記第2捕捉位置に係る第2撮影タイミングよりも後の第3撮影タイミングに係る第3捕捉位置の前記第2捕捉位置からのずれが、前記変位方向に対応する基準方向とは逆の方向に生じている状態を含んでおり、前記特定部が、前記第1捕捉位置を前記不整合捕捉位置として特定しない場合には、前記複数の捕捉位置のうち、前記第1捕捉位置および前記第2捕捉位置とは異なる残余の捕捉位置と前記第1捕捉位置とのずれ量に係る評価値が、前記条件を満たしていれば、前記第3捕捉位置を前記不整合捕捉位置として特定し、前記複数の捕捉位置のうち、前記第1捕捉位置および前記第3捕捉位置とは異なる残余の捕捉位置と前記第1捕捉位置とのずれ量に係る評価値が、前記条件を満たしていれば、前記第2捕捉位置を前記不整合捕捉位置として特定する。
第11の態様に係る画像処理装置は、第1から第10の何れか1つの態様に係る画像処理装置であって、前記補正部が、前記複数の捕捉位置のうちの前記不整合捕捉位置を除く残余の捕捉位置に基づいて、前記不整合捕捉位置を補正する。
第12の態様に係る画像処理装置は、第11の態様に係る画像処理装置であって、前記補正部が、前記残余の捕捉位置の一部分の形状の適用によって、前記不整合捕捉位置を補正する。
第13の態様に係る画像処理装置は、第11の態様に係る画像処理装置であって、前記補正部が、前記残余の捕捉位置を用いた補間処理によって、前記不整合捕捉位置を補正する。
第14の態様に係る画像処理装置は、第11の態様に係る画像処理装置であって、前記補正部が、前記特定部分が捉えられた領域の形状に係るモデルを得るモデル取得部と、前記残余の捕捉位置に基づいて求められる基準位置に前記モデルの一部が配置されるように、前記モデルの位置合わせを行うモデル調整部と、を有する。
第15の態様に係る画像処理装置は、第2または第3の態様に係る画像処理装置であって、前記特定部が、予め設定された第4ルールに応じて、前記不整合捕捉位置を、前記特定部分の前記動作の傾向とは整合していない不整合捕捉部分と、前記特定部分の前記動作の傾向と整合している整合捕捉部分とに区分けし、前記補正部が、前記整合捕捉部分を利用した前記不整合捕捉部分の補正によって、前記不整合捕捉位置を補正する。
第16の態様に係る画像処理装置は、第15の態様に係る画像処理装置であって、前記補正部が、前記特定部分が捉えられた領域の一部の形状に係る部分モデルを得るモデル取得部と、前記部分モデルの位置合わせを行うことで前記整合捕捉部分に前記部分モデルを連結するモデル調整部と、を有する。
第17の態様に係る画像処理装置は、第1の態様に係る画像処理装置であって、前記検出部が、前記抽出部によって抽出された複数の前記捕捉位置のうち、該複数の捕捉位置に係る空間的な関係が前記特定部分の動作の傾向とは整合していない不整合捕捉位置、ならびに該複数の捕捉位置に係る空間的な関係が前記特定部分の動作の傾向と整合している整合捕捉位置を検出し、前記補正部が、前記検出部による前記不整合捕捉位置の検出に応じて、前記抽出部に、前記複数のフレーム画像のうちの前記不整合捕捉位置に対応するフレーム画像を対象として、前記整合捕捉位置に応じた領域から前記捕捉位置を抽出させることで、前記検出部によって検出された前記不整合捕捉位置を補正する。
第18の態様に係る画像処理装置は、第1から第17の何れか1つの態様に係る画像処理装置であって、前記複数のフレーム画像が、前記特定部分が第1方向に変位している第1変位期間において前記特定部分が時間順次に捉えられた第1フレーム画像群、前記特定部分が前記第1方向とは反対の第2方向に変位している第2変位期間において前記特定部分が時間順次に捉えられた第2フレーム画像群、および前記第1変位期間と前記第2変位期間との合間に前記特定部分が停滞している停滞期間において前記特定部分が時間順次に捉えられた第3フレーム画像群の少なくとも1つのフレーム画像群を含む。
第19の態様に係る画像処理装置は、第18の態様に係る画像処理装置であって、前記対象部位が、肺野を含み、前記画像処理装置が、前記肺野による呼吸の方法に応じて、前記第1から第3フレーム画像群の少なくとも1つのフレーム画像群を、前記複数のフレーム画像として決定するフレーム決定部、をさらに備える。
第20の態様に係る画像処理装置は、第1から第19の何れか1つの態様に係る画像処理装置であって、前記特定部分が、横隔膜を含む。
第21の態様に係るプログラムは、画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、第1から第20の何れか1つの態様に係る画像処理装置として機能させるプログラムである。
第1から第20の何れの態様に係る画像処理装置によっても、特定部分の動作の傾向とは整合していない不整合捕捉位置が検出されて、該不整合捕捉位置が補正されるため、体内の構造物の動きを捉えた医療用の生体画像から対象部位を捉えた領域が精度良く抽出され得る。
第2から第5の何れの態様に係る画像処理装置によっても、不整合捕捉位置が容易に検出され得る。
第3の態様に係る画像処理装置によれば、特定部分の動作の傾向とは整合していない不整合捕捉位置の検出精度が向上し得る。
第6から第10の何れの態様に係る画像処理装置によっても、特定部分の動作の傾向とは整合していない不整合捕捉位置が精度良く検出され得る。
第11から第16の何れの態様に係る画像処理装置によっても、不整合捕捉位置が容易に補正され得る。
第12から第14の何れの態様に係る画像処理装置によっても、不整合捕捉位置が効率良く補正され得る。
第15の態様に係る画像処理装置によれば、不整合捕捉位置の補正に要する演算量の低減による処理の効率化が図られ得る。
第16の態様に係る画像処理装置によれば、不整合捕捉位置の補正の精度が確保されつつ、不整合捕捉位置の補正に要する演算量の低減による処理の効率化が図られ得る。
第17の態様に係る画像処理装置によれば、特定部分の動作の傾向とは整合していない不整合捕捉位置の検出に応じて、捕捉位置が異なる条件で抽出されることで、不整合捕捉位置が容易に補正され得る。
第18の態様に係る画像処理装置によれば、特定部分の動作の傾向とは整合していない不整合捕捉位置が容易に検出され得る。
第19の態様に係る画像処理装置によれば、状況に応じた不整合捕捉位置の検出および補正が実行され得る。
第20の態様に係る画像処理装置によれば、横隔膜を含む対象部位が捉えられた領域が精度良く抽出され得る。
第21の態様に係るプログラムによれば、第1から第20の態様に係る画像処理装置と同様な効果が得られる。
一実施形態に係る医療支援システムの構成を示すブロック図である。 一実施形態に係る演算装置の制御部で実現される機能的な構成を示すブロック図である。 画像解析処理の概略的な流れを示すフローチャートである。 画像解析処理の概略的な流れを示すフローチャートである。 画像解析処理の概略的な流れを示すフローチャートである。 位置抽出部の機能的な構成を示すブロック図である。 捕捉位置抽出処理の概略的な流れを示す図である。 X線撮影によって得られる動態画像の一例を模式的に示す図である。 動態画像を構成するフレーム画像の特徴を説明するための図である。 動態画像を構成するフレーム画像の特徴を説明するための図である。 動態画像を構成するフレーム画像の特徴を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 フレーム画像の補正処理を説明するための図である。 粗検出の対象となるフレーム画像の一例を模式的に示す図である。 粗検出による検出結果の一例を模式的に示す図である。 肺野の縦方向におけるサイズの変化の一例を模式的に示す図である。 肺野の縦方向におけるサイズの変化の一例を模式的に示す図である。 肺野の縦方向におけるサイズの変化の一例を模式的に示す図である。 横隔膜および心臓の形状における個体差の一例を模式的に示す図である。 横隔膜および心臓の形状における個体差の一例を模式的に示す図である。 横隔膜および心臓の形状における個体差の一例を模式的に示す図である。 横隔膜および心臓の形状における個体差の一例を模式的に示す図である。 テンプレートの生成方法について説明するための図である。 テンプレートの生成方法について説明するための図である。 テンプレートの生成方法について説明するための図である。 テンプレートの生成方法について説明するための図である。 部分区分情報の生成方法について説明するための図である。 部分区分情報の生成方法について説明するための図である。 部分区分情報の生成方法について説明するための図である。 部分区分情報の生成方法について説明するための図である。 部分区分情報の生成方法について説明するための図である。 領域区分情報の一例を模式的に示す図である。 精密検出の対象となるフレーム画像を例示する図である。 精密検出による検出結果の一例を模式的に示す図である。 横隔膜の上下方向における動きを説明するための図である。 横隔膜の放射方向における動きを説明するための図である。 横隔膜の放射方向における動きを説明するための図である。 横隔膜の放射方向および上下方向における動きを説明するための図である。 横隔膜の曲線的な動きを説明するための図である。 横隔膜の放射方向における動きを説明するための図である。 横隔膜の放射方向における動きを説明するための図である。 複数のフレーム画像の第1の区分け方法を説明するための図である。 複数のフレーム画像の第2の区分け方法を説明するための図である。 複数のフレーム画像の第3の区分け方法を説明するための図である。 クロス異常状態の一態様を例示する図である。 順序異常状態の一態様を例示する図である。 分布異常状態の一態様を例示する図である。 不整合位置検出部の機能的な構成の一例を示すブロック図である。 クロス異常状態の第1識別方法を説明するための図である。 クロス異常状態の第2識別方法を説明するための図である。 クロス異常状態の第3識別方法を説明するための図である。 クロス異常状態に係る不整合捕捉位置の特定方法を説明するための図である。 不整合捕捉位置を不整合捕捉部分と整合捕捉部分とに区分する方法を説明するための図である。 不整合位置検出部の機能的な構成の一例を示すブロック図である。 順序異常状態の認識方法を説明するための図である。 不整合位置検出部の機能的な構成の一例を示すブロック図である。 分布異常状態の認識方法の一例を説明するための図である。 不整合位置検出部の機能的な構成の一例を示すブロック図である。 複数種類の異常状態が混在する際の不整合捕捉位置の特定方法を説明するための図である。 複数種類の異常状態が混在する際の不整合捕捉位置の特定方法を説明するための図である。 不整合位置検出部の機能的な構成の一例を示すブロック図である。 複数種類の異常状態が混在する際の不整合捕捉位置の特定方法を説明するための図である。 補間処理を用いた不整合捕捉位置の補正方法を説明するための図である。 整合捕捉位置の形状を利用した不整合捕捉位置の補正方法を説明するための図である。 不整合位置補正部の機能的な構成の一例を示すブロック図である。 モデルを合わせ込む不整合捕捉位置の補正方法を説明するための図である。 整合捕捉部分を用いた不整合捕捉位置の補正方法を説明するための図である。 整合捕捉部分を用いた不整合捕捉位置の補正方法を説明するための図である。 一変形例に係るクロス異常状態の認識方法を説明するための図である。
以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、異なる図面にそれぞれ示されている画像のサイズおよび位置の相互関係は適宜変更され得る。なお、図9および図21には、画像の左上を原点とし、右方向をX方向、下方向をY方向とするXY座標系が付されている。
<(1)医療支援システムの概要>
図1は、一実施形態に係る医療支援システム100の構成を示すブロック図である。医療支援システム100は、ヒトを含む動物の体内の構造物を被写体として、放射線の照射によって体内の対象部位が捉えられた動態画像を撮影し、該動態画像に各種画像処理等を施すことで、検査および診断の支援を行う。ここで、対象部位は、撮影および診断の主な対象となる部位であり、例えば、肺を含む胸部の領域に含まれる臓器ならびに間接等を含む骨格であれば良い。
本実施形態では、医療支援システム100は、例えば、人体用のシステムであり、対象部位が、検査および診断の対象となる者(被検者とも言う)M1としてのヒトの肺野である。また、本実施形態では、例えば、放射線が、X線とされ、動態画像(X線動態画像とも言う)が、医療あるいは医学のために被検者M1の人体を撮影、または被検者M1の人体を計測した結果が画像化されたもの(医療用の動態画像とも言う)であれば良い。
図1で示されるように、医療支援システム100は、撮影装置1、撮影制御装置(撮影用コンソール)2、診断支援装置(診断用コンソール)3、演算装置4および画像サーバー5を備えている。撮影装置1と撮影制御装置2との間、ならびに撮影制御装置2と診断支援装置3と演算装置4と画像サーバー5との間が、それぞれ通信回線によってデータの送受信が可能に接続されている。撮影装置1と撮影制御装置2とを接続する通信回線は、通信ケーブル等の有線回線であっても、無線回線であっても良い。また、撮影制御装置2と診断支援装置3と演算装置4と画像サーバー5と接続する通信回線は、有線回線および無線回線の何れであっても良く、例えば、LAN(Local Area Network)回線等のネットワーク回線NTWであれば良い。
なお、医療支援システム100では、例えば、DICOM(Digital Image and Communications in Medicine)と称される標準規格に準じた医用画像のフォーマットおよび画像を扱う機器間の通信プロトコルが採用される。
<(2)撮影装置>
撮影装置1は、例えば、放射線としてのX線の照射によって体内の構造物を捉えた医療用の動態画像を取得する装置(X線撮影装置とも言う)等によって構成されている。撮影装置1では、例えば、呼吸等に伴う被検者M1の胸部内の構造物の動態が対象とされた撮影(動態撮影とも言う)が行われる。該動態撮影では、例えば、被検者M1の胸部に対するX線の照射が繰り返されつつ、被検者M1を透過するX線の2次元の分布が時間順次に検出される。これにより、時間順次に複数の画像(フレーム画像とも言う)が取得される。これらの一連の複数のフレーム画像は、被検者M1の肺野を含む領域(肺野領域とも言う)における物理的な状態(幾何学的形状および血流の濃度等)が変化する様子を時間順次に捉えた動態画像を構成する。
図1で示されるように、撮影装置1は、照射部(X線源)11、照射制御装置12、撮像部(X線検出部)13、読取制御装置14、サイクル検出センサー15およびサイクル検出装置16を備えている。
照射部11は、照射制御装置12の制御に従って、被検者M1に対してX線を照射する。照射制御装置12は、撮影制御装置2に接続されており、撮影制御装置2から入力されるX線の照射条件を示す情報に基づいて照射部11を制御する。
撮像部13は、例えば、FPD(flat panel detector)等の半導体イメージセンサー等によって構成されており、照射部11から被検者M1に対して照射され、被検者M1を透過したX線をデジタル信号に変換する。
読取制御装置14は、撮影制御装置2に接続されており、撮影制御装置2から入力される読取条件に基づいて撮像部13の各画素のスイッチング部を制御する。これにより、読取制御装置14によって、撮像部13の各画素に蓄積された電荷に応じたデジタル信号が順次に読み取られ、撮像部13上で受け付けたX線の2次元の強度分布に対応する画像データが取得される。そして、読取制御装置14は、取得した画像データ(適宜、単に画像とも言う)を、動態画像を構成するフレーム画像として撮影制御装置2に出力する。なお、読取条件は、例えば、フレームレート、画素サイズおよび画像サイズ等であれば良い。フレームレートは、1秒あたりに取得するフレーム画像の数であれば良い。
ここでは、照射制御装置12と読取制御装置14とが、互いに電気的に接続されており、互いに同期信号を送受信し合うことで、照射部11によるX線の照射動作と、読取制御装置14による画像データの読み取り動作とを同調させる。
サイクル検出センサー15は、例えば、デジタルカメラ等によって構成され、被検者M1の胸部の外観を対象とした撮影によって、被検者M1の胸部の動きが捉えられた動態画像を取得する。
サイクル検出装置16は、サイクル検出センサー15で取得された動態画像を解析することで、被検者M1における呼吸のサイクルについて、呼吸の位相の時間的な変化に係る情報を取得して、撮影制御装置2の制御部21に出力する。これにより、撮影装置1による各フレーム画像の取得タイミングにおける呼吸の位相に係る情報が取得され得る。
<(3)撮影制御装置>
撮影制御装置2は、照射条件および読取条件等を示す情報を撮影装置1に出力することで、撮影装置1によるX線撮影およびフレーム画像の読み取り動作を制御する。該撮影制御装置2では、例えば、撮影装置1によって取得される画像が表示部24に適宜表示される。これにより、被検者M1の位置および姿勢等を含むポジショニング、ならびに画像の診断用としての適否等が、撮影技師によって確認され得る。
図1で示されるように、撮影制御装置2は、バス26によって相互にデータの授受が可能に接続されている、制御部21、記憶部22、操作部23、表示部24および通信部25を備えて構成されている。
制御部21は、例えば、プロセッサーおよびメモリー等を備えて構成されている。プロセッサーは、例えば、CPU(Central Processing Unit)であり、メモリーは、例えば、揮発性のRAM(Random Access Memory)等であれば良い。例えば、プロセッサーは、操作部23の操作等に応じて、記憶部22に記憶されているプログラムを読み出してメモリー内に展開し、該展開されたプログラムに従った各種処理を実行することで、撮影装置1および撮影制御装置2の各部の動作を制御する。
記憶部22は、例えば、不揮発性の半導体メモリーあるいはハードディスク等を備えて構成されている。該記憶部22は、制御部21で実行される各種プログラムならびに処理の実行に必要な各種データを記憶する。ここで、各種データには、プログラムに従った処理の実行に必要なパラメーター等を示すデータ、ならびに演算処理の結果として少なくとも一時的に生成されるデータ等が含まれる。
操作部23は、例えば、キーボードおよびマウス等のポインティングデバイス等を備えて構成されている。該操作部23では、キーボードおよびマウス等に対する操作に応じて入力される信号(指示信号とも言う)が制御部21に出力される。なお、操作部23には、タッチパネル等の構成が採用されても良い。
表示部24は、例えば、LCD(Liquid Crystal Display)等のモニターを備えて構成されている。該表示部24では、制御部21から入力される信号に従って、操作部23から入力される指示ならびに各種データの内容が適宜表示される。
通信部25は、例えば、LANアダプター、モデムまたはターミナルアダプター(TA)等を備えて構成されている。該通信部25によって、ネットワーク回線NTWに接続されている各装置との間におけるデータの送受信が制御される。
<(4)診断用装置>
診断用装置3は、画像サーバー5から動態画像の画像データを取得し、取得した画像データに基づいて動態画像を表示する端末である。医師は、診断用装置3に表示される動態画像を見ることで、読影および診断を行うことができる。
診断用装置3は、図1に示すように、バス36によって相互にデータの授受が可能に接続されている、制御部31、記憶部32、操作部33、表示部34および通信部35を備えて構成されている。
制御部31は、例えば、プロセッサーおよびメモリー等を備えて構成されている。プロセッサーは、例えば、CPUであり、メモリーは、例えば、揮発性のRAM等であれば良い。例えば、プロセッサーは、操作部33の操作等に応じて、記憶部32に記憶されているプログラムを読み出してメモリー内に展開し、該展開されたプログラムに従った各種処理を実行することで、診断用装置3の各部の動作を制御する。
記憶部32は、例えば、不揮発性の半導体メモリーあるいはハードディスク等を備えて構成されている。該記憶部32は、制御部31で実行される各種プログラムならびに処理の実行に必要な各種データを記憶する。ここで、各種データには、プログラムに従った処理の実行に必要なパラメーター等を示すデータ、ならびに演算処理の結果として少なくとも一時的に生成されるデータ等が含まれる。
操作部33は、例えば、キーボードおよびマウス等のポインティングデバイス等を備えて構成されている。該操作部33では、キーボードおよびマウス等に対する操作に応じて入力される信号(指示信号とも言う)が制御部31に出力される。なお、操作部33には、タッチパネル等の構成が採用されても良い。
表示部34は、例えば、LCD等のモニターを備えて構成されている。該表示部34では、制御部31から入力される信号に従って、操作部33から入力される指示ならびに各種データの内容が適宜表示される。
通信部35は、例えば、LANアダプター、モデムまたはTA等を備えて構成されている。該通信部35によって、ネットワーク回線NTWに接続されている各装置との間におけるデータの送受信が制御される。
<(5)演算装置>
演算装置4は、撮影制御装置2から送信された動態画像の画像データに解析処理(画像解析処理とも言う)を施して、画像サーバー5に送信する装置(画像処理装置とも言う)である。
演算装置4は、図1に示すように、バス46によって相互にデータの授受が可能に接続されている、制御部41、記憶部42および通信部43等を備えて構成されている。
制御部41は、例えば、プロセッサーおよびメモリー等を備えて構成されている。プロセッサーは、例えば、CPUであり、メモリーは、例えば、揮発性のRAM等であれば良い。例えば、プロセッサーは、記憶部42に記憶されているプログラムPg1を読み出してメモリー内に展開し、該展開されたプログラムPg1に従った各種処理を実行することで、演算装置4の各部の動作を制御する。すなわち、演算装置4に含まれる制御部41においてプログラムPg1が実行されることにより、演算装置4を、画像解析処理を含む各種処理が実行される画像処理装置として機能させる。なお、動態画像ならびに画像解析処理が施された動態画像のデータは、ネットワーク回線NTWを介して、画像サーバー5に送られる。
記憶部42は、例えば、不揮発性の半導体メモリーあるいはハードディスク等を備えて構成されている。該記憶部42は、制御部41で実行される各種プログラムPg1ならびに処理の実行に必要な各種データD1を記憶する。ここで、各種データD1には、プログラムPg1に従った処理の実行に必要なパラメーター等を示すデータ、ならびに演算処理の結果として少なくとも一時的に生成されるデータ等が含まれる。
通信部43は、LANアダプター、モデムまたはTA等を備えて構成されている。該通信部43によって、ネットワーク回線NTWに接続されている各装置との間におけるデータの送受信が制御される。
<(6)画像サーバー>
画像サーバー5は、ハードディスク等を備えて構成された記憶装置を有しているコンピューター装置である。該画像サーバー5では、演算装置4から送信された動態画像に係る画像データが、検索可能な態様で記憶装置に記憶され、該画像データが管理される。また、画像サーバー5は、診断用装置3から動態画像の取得を要求する信号が送信されると、要求された動態画像のデータを記憶装置から読み出して、診断用装置3に送信する。
<(7)演算装置における画像解析処理>
<(7−1)演算装置の画像解析処理に係る機能的な構成>
図2は、演算装置4において、プロセッサー41a等がプログラムPg1に従って動作することによって制御部41で実現される画像解析処理に係る機能的な構成を、他の構成とともに示すブロック図である。図2で示されるように、制御部41は、位置抽出部411、フレーム画像群決定部412、不整合位置検出部413、不整合位置補正部414および対象領域抽出部415を備えている。
図3は、演算装置4で実行される画像解析処理の概略的な流れを示すフローチャートである。演算装置4では、通信部43を介して撮影制御装置2から動態画像に係る一連の複数のフレーム画像I0(図8参照)が受信され、制御部41において記憶部42に記憶されているプログラムPg1が実行されることで、図3で示される画像解析処理が実現される。図3で示されるように、画像解析処理では、下記ステップ1〜4の処理が行われる。
ステップ1では、位置抽出部411によって、体内の対象部位を捉えた医療用の動態画像を構成する複数のフレーム画像I0について、対象部位の位置が詳細に検出され、対象部位の予め設定された特定部分を捉えた位置(捕捉位置とも言う)がそれぞれ抽出される。すなわち、複数のフレーム画像I0から、特定部分を捉えた捕捉位置がそれぞれ抽出される。
ステップ2では、フレーム画像群決定部412によって、医療用の動態画像を構成する複数のフレーム画像から、捕捉位置の変位に関する解析の対象となる一まとまりの複数のフレーム画像からなるフレーム画像群(解析対象フレーム画像群とも言う)が決定される。
ステップ3では、不整合位置検出部413によって、解析対象フレーム画像群に係る複数の捕捉位置のうち、該複数の捕捉位置に係る空間的な関係が特定部分の動作の傾向とは整合していない捕捉位置(不整合捕捉位置とも言う)が検出される。
ステップ4では、不整合位置補正部414によって、不整合捕捉位置が補正される。
このようなステップ1〜4の処理により、補正済みの捕捉位置が得られる。そして、ステップ1で詳細に検出された対象部位の位置および補正済みの捕捉位置に係る情報に基づき、対象領域抽出部415によってフレーム画像I0から対象領域が抽出される。
なお、ステップ1の処理とステップ2の処理については、この順で実行されなくても良い。例えば、フレーム画像群決定部412による解析対象フレーム画像群の決定(ステップ2)と、位置抽出部411による特定部分の捕捉位置の検出(ステップ1)とが、図4で示されるように、この順に実行されても良い。また、例えば、ステップ1の処理とステップ2の処理とが、図5で示されるように並行して実行されても良い。
ここで、各部411〜415について順次説明する。
<(7−1−1)位置抽出部411>
位置抽出部411は、撮影制御装置2から動態画像に係る一連の複数のフレーム画像I0を取得し、該複数のフレーム画像I0から、対象部位としての肺野の予め設定された特定部分としての横隔膜が捉えられた捕捉位置をそれぞれ抽出する。
図6は、位置抽出部411において実現される機能的な構成を示すブロック図である。図6で示されるように、位置抽出部411は、画像取得部411a、画像補正部411b、粗検出部411c、精密検出部411d、後処理部411eおよび捕捉位置抽出部411fを備えている。
図7は、位置抽出部411において各フレーム画像I0を対象として捕捉位置が抽出される処理(捕捉位置抽出処理とも言う)の概略的な流れを示す図である。位置抽出部411では、通信部43を介して撮影制御装置2から動態画像に係る一連の複数のフレーム画像I0(図8参照)が受信され、制御部41において記憶部42に記憶されているプログラムPg1が実行されることで、捕捉位置抽出処理が実現される。図7で示されるように、捕捉位置抽出処理では、下記ステップ11〜16の処理が行われる。
ステップ11では、撮影制御装置2から動態画像を構成する一連の複数のフレーム画像I0が画像取得部411aによって取得される。
ステップ12では、画像補正部411bによって、撮影時に被検者M1に照射されるX線の線量等の撮影条件に応じた補正が、ステップ11で取得された各フレーム画像I0に施される。ここでは、補正によってノイズの低減と対象部位以外の構造物による影響の低減とが行われ、補正後のフレーム画像IC0(図14および図15参照)が得られる。
ステップ13では、粗検出部411cによって、テンプレートマッチング等が用いられて、ステップ12で得られた補正後の各フレーム画像IC0から対象部位の位置が大まかに検出される処理(粗検出処理とも言う)が行われる。なお、テンプレートマッチングで通常用いられるテンプレートは、例えば、単純に複数の画像から生成される平均画像、あるいは白黒で表現される単純なモデルで表現された画像(モデル画像とも言う)等である。このため、X線画像を対象としたテンプレートマッチングでは、テンプレートの使用数が少なければ、肺野および心臓についての個体間における大きさ等の形状の差ならびに呼吸および心拍の変動による形状の差により、肺野領域が輪郭まで精度良く検出され難い。そこで、テンプレートマッチングによる検出結果は、各フレーム画像IC0における対象部位の大まかな位置を示す情報として使用される。
ステップ14では、精密検出部411dによって、ステップ13で大まかに検出された対象部位の位置に係る情報が初期値とされ、各フレーム画像IC0から対象部位の位置が詳細に検出される処理(精密検出処理とも言う)が行われる。
ステップ15では、後処理部411eによって、ステップ14で詳細に検出された対象部位の位置で規定される対象領域に対し、後処理としてのフィッティング処理が施される。これにより、後処理後の対象領域が得られる。
ステップ16では、捕捉位置抽出部411fによって、後処理後の対象領域の輪郭のうち、特定部分としての横隔膜が捉えられた捕捉位置が抽出される。
次に、各部411a〜411fについて説明する。
<(7−1−1−1)画像取得部411a>
画像取得部411aは、撮影装置1で得られた動態画像を構成する複数のフレーム画像I0に係るデータを、撮影制御装置2を介して取得する。
図8は、被検者M1の肺野内における呼吸に伴う構造物の動態が捉えられたX線動態画像の一例を模式的に示す図である。図8には、呼吸のサイクルに係る1周期において、一定の撮影のタイミングで順次に撮影されることで得られる、一連の複数の生体画像としてのフレーム画像I0が例示されている。図8で示される複数のフレーム画像I0は、時刻Tがt1,t2,t3,・・・,t10のタイミングにおける撮影でそれぞれ得られる複数のフレーム画像I1,I2,I3,・・・,I10によって構成されている。
なお、一連のフレーム画像I1〜I10のうち、前半のフレーム画像I1〜I5には、肺の吸気の動作によって肺野が拡張していく動態が捉えられ、後半のフレーム画像I6〜I10には、肺の呼気の動作によって肺野が収縮していく動態が捉えられている。なお、フレーム画像I0は、X線の2次元の強度分布が、例えば、白黒の濃淡を示す画素値(濃淡値とも言う)の2次元の分布に変換されたものである。
<(7−1−1−2)画像補正部411b>
画像補正部411bは、画像取得部411aで取得された動態画像を構成する各フレーム画像I0に対し、補正を施すことで補正後のフレーム画像IC0を得て、該補正後のフレーム画像IC0を粗検出部411cに出力する。
図9から図11は、フレーム画像I0の特徴を説明するための図である。図9には、フレーム画像I0が示され、図10には、フレーム画像I0のうちの被検者M1の背景が捉えられた領域(背景領域とも言う)HR1(図9参照)における濃淡値の頻度を示すヒストグラムが示されている。該ヒストグラムでは、横軸が濃淡値を示し、縦軸が該濃淡値の頻度を示している。また、図11には、フレーム画像I0のうちの対象部位としての肺野を含む縦長の領域VR2(図9参照)における濃淡値の分布を示すグラフが示されている。該グラフでは、横軸がY方向の座標を示し、縦軸が領域VR2内の各Y座標における濃淡値の平均を示している。ところで、フレーム画像I0には、次の問題1〜3が存在する。
(問題1)図10で示されるように、フレーム画像I0には、被検者M1が存在しない部分に係る背景領域HR1においてもノイズが多く存在し、一般的な静止画としてのX線画像と比較して、フレーム画像I0全体におけるS/N比が低くなる傾向がある。これは、対象部位を捉えたX線動態画像の取得においてX線による被検者M1の被爆量が増大しないように、各フレーム画像の撮影に要する被爆量が低く抑えられることに起因する。そして、このようにノイズが多く存在していれば、対象部位としての肺野が捉えられた対象領域としての肺野領域を精度良く抽出することが難しい。
(問題2)図11で示されるように、フレーム画像I0では、肺に係る濃淡値に肺以外の構造物(肋骨および血管等の構造物)に係る濃淡値が重畳し、肺野内の構造物に係る濃淡値にばらつきが生じるため、対象領域としての肺野領域の輪郭が不鮮明である。このように輪郭が不鮮明であれば、対象部位としての肺野が捉えられた対象領域としての肺野領域を精度良く抽出することが難しくなる。
(問題3)フレーム画像I0では、肋横角が捉えられた領域付近の濃淡値が、肺野内よりも肺野外において捉えられた周辺の領域の濃淡値に近く、心臓が捉えられた領域と肺野領域との境界が不鮮明である。このように境界が不鮮明であれば、対象部位としての肺野が捉えられた対象領域としての肺野領域を精度良く抽出することが難しくなる。なお、肋横角が捉えられた領域は、横隔膜の両端が捉えられた領域にあたる。
上記問題1〜3を軽減するために、フレーム画像I0におけるノイズを削減し、フレーム画像I0に対する肺以外の構造物の影響を軽減する処理として、肺野領域の輪郭を明瞭にする補正処理が、フレーム画像I0に施される。
図12から図15は、画像補正部411bにおいてフレーム画像I0に施される補正処理の内容を説明するための図である。
図12には、フレーム画像I0が示されている。図13には、該フレーム画像I0に対して画像全体に存在するノイズを削減する処理(ノイズ削減処理とも言う)が施された後のフレーム画像IN0が示されている。図14および図15には、フレーム画像IN0に強調処理が施された後のフレーム画像IC0が示されている。具体的には、図14には、フレーム画像IN0の全体に強調処理(全体強調処理とも言う)が施された後のフレーム画像IC0が示されている。図15には、フレーム画像IN0の予め設定された領域(所定領域とも言う)に強調処理(エリア内強調処理とも言う)が施された後のフレーム画像IC0が示されている。なお、図13から図15の右部には、それぞれ横軸を濃淡値(画素値)とし、縦軸を該濃淡値(画素値)の頻度(単位:%)とするヒストグラムが示されている。
本実施形態では、画像補正部411bにおける強調処理において、ノイズ削減処理および強調処理が、この順に実施される。ここで、ノイズ削減処理および強調処理の内容について、簡単に説明する。
ノイズ削減処理としては、例えば、縮小処理等が挙げられる。縮小処理では、例えば、選択されたエリア(選択エリアとも言う)が、該選択エリアを構成する複数の画素値(濃淡値)に係る代表の画素値(代表画素値とも言う)に置換される。代表画素値は、例えば、選択エリア内の平均の画素値(濃淡値)、あるいは選択エリア内における最小の画素値等であれば良い。なお、代表画素値が、選択エリア内に係る平均の画素値である場合、縮小処理は、例えば、平均値フィルターを用いたフィルター処理等によって実現される。
図16から図20は、縮小処理の一例を説明するための図である。図16には、フレーム画像I0に1つの選択エリアR3が設定されている様子が示されている。図17には、フレーム画像I0における選択エリアR3の拡大図が示され、該選択エリアR3内の画素値が最小である画素Pmが示されている。ここでは、各選択エリアR3について画素Pmの画素値を代表画素値とする縮小処理が行われる。これにより、フレーム画像I0で捉えられた肺野領域のうち、最大値側の画素値(すなわち、ノイズ)が削減される。
例えば、図18には、フレーム画像I0にエリアR4が設定されている様子が示されている。図19には、フレーム画像I0におけるエリアR4の拡大図が示されており、図20には、フレーム画像I0に縮小処理が施された後のフレーム画像IN0におけるエリアR4の拡大図が示されている。図19および図20で示されるように、フレーム画像I0に強調処理が施されることで、肺野領域内における小さな画素値が強調され、肺野領域内のノイズが低減される。なお、最小の画素値側のノイズが拡大される場合には、スムージングが施されても良い。
なお、ノイズ削減処理としては、上記の縮小処理に限られず、例えば、バンドパスフィルター等を用いてフレーム画像I0の高周波成分をカットする処理等と言ったその他の処理が採用されても良い。
全体強調処理では、例えば、予め設定された閾値以上の画素値が、予め設定されたルールに従って、閾値以下の相対的に低い画素値に置換される。これにより、フレーム画像I0に対する肺以外の構造物の影響が軽減される。
図13および図14で示されるように、ノイズ削減処理が施されたフレーム画像IN0と比較して、全体強調処理が施されたフレーム画像IC0では、濃淡値が大きな白い領域が相対的に少なく、濃淡値が小さな黒い領域が相対的に多い。つまり、全体強調処理によって、フレーム画像IN0のうちの肺野領域を含めた全体について、肺以外の構造物に相当する白の領域が低減され、黒の領域が強調される。
なお、強調処理における閾値は、予め設定された固定値であっても良いし、適宜変更されても良い。例えば、処理の対象であるフレーム画像IN0の状態に合わせて、閾値が変更される態様が考えられる。この態様では、例えば、フレーム画像IN0の濃淡値のヒストグラムについて、濃淡値が小さな値の方から順に頻度が累積され、頻度の累積値が所定値に到達した濃淡値が、閾値に設定される。なお、頻度の累積値が百分率で示される場合、所定値は、例えば、80%等であれば良い。ここでは、例えば、一連の複数のフレーム画像IN0に対し、例えば、フレーム画像IN0毎に閾値が設定される態様が考えられる。また、例えば、一連の複数のフレーム画像IN0に対し、1枚目のフレーム画像IN0に基づいて閾値が設定され、一旦設定された閾値が、その他のフレーム画像IN0に対する強調処理にも適用される態様が考えられる。このような態様が採用されれば、演算量の削減による画像処理に要する時間の短縮が図られる。
ところで、エリア内強調処理では、フレーム画像IN0における所定領域に強調処理が施される。該所定領域は、例えば、所望の固定領域であれば良いが、ロバスト性の向上を図るために、処理の対象としてのフレーム画像IN0における濃淡値の分布(プロファイル)に応じて変更されても良い。
図21は、エリア内強調処理における所定領域の設定方法の一例を説明するための図である。図21の右部には、Y座標と、フレーム画像IN0の各Y座標における濃淡値の累積値(濃淡累積値とも言う)との関係が、縦方向のプロファイルとして示されている。また、図21の下部には、X座標と、フレーム画像IN0の各X座標における濃淡値の累積値(濃淡累積値)との関係が、横方向のプロファイルとして示されている。
ここでは、例えば、各プロファイルにおいて濃淡累積値の傾向が大きく変化する点(変化点とも言う)Px1,Px2,Py1,Py2が抽出される。そして、X座標が変化点Px1から変化点Px2までの範囲であり、且つY座標が変化点Py1から変化点Py2までの範囲である矩形状の領域R5が所定領域として設定される。
<(7−1−1−3)粗検出部411c>
粗検出部411cは、各フレーム画像IC0(図22参照)を対象としたテンプレートマッチングによって、フレーム画像IC0のうち、図23で示されるように、対象確定領域PR11と未確定領域PR12とを検出する。テンプレートマッチングの手法としては、例えば、公知のSAD(Sum of Absolute Differences)法、NCC(Normalized Cross Correlation)法、POC(Phase-Only Correlation)法およびRIPOC(Rotation Invariant Phase-Only Correlation)法等の手法が採用される。なお、ここで、対象確定領域PR11は、フレーム画像IC0のうち、対象部位としての肺野の少なくとも一部が捉えられている領域であり、未確定領域PR12は、フレーム画像IC0のうち、対象部位としての肺野の一部が捉えられている可能性がある領域である。
本実施形態では、粗検出部411cは、フレーム画像IC0のうち、対象確定領域PR11と未確定領域PR12とを含む対象候補領域PR1だけでなく、対象部位としての肺野が捉えられていない領域(非対象確定領域とも言う)PR2も検出する。これにより、図23で示されるように、フレーム画像IC0を、対象確定領域PR11と、未確定領域PR12と、非対象確定領域PR2とに区分する情報(領域区分情報とも言う)IC1が生成される。
具体的には、本実施形態に係る粗検出部411cの粗検出処理では、次の[I]〜[III]の処理が順に実行される。
[I]テンプレートマッチングが用いられて、対象部位としての肺野を構成する複数の部分(構成部分とも言う)が捉えられた領域(構成領域とも言う)が検出される処理(構成領域検出処理とも言う)が実行される。
[II]構成領域検出処理で検出された各構成領域に対し、テンプレートと構成領域との相関値に応じて、部分区分情報が設定される処理(区分設定処理とも言う)が実行される。部分区分情報は、各構成領域を、対象確定領域PR11、未確定領域PR12および非対象確定領域PR2に区分する情報である。
[III]各構成領域に対してそれぞれ設定された部分区分情報が統合される処理(統合処理とも言う)が実行される。これにより、領域区分情報IC1が生成される。
このように、精密検出部411dによる精密検出処理の前に上記粗検出処理が行われることで、対象確定領域PR11と非対象確定領域PR2とが増大され、精密検出処理の対象となる未確定領域PR12が低減される。その結果、次工程の精密抽出処理が、比較的短時間で正確に行われる。
ここで、各処理[I]〜[III]について更に説明する。
<(7−1−1−3−1)構成領域検出処理>
肺野については、周期的な形状の変化ならびに個体間における形状の差が大きい。例えば、図24から図26で示されるように、呼吸によって周期的に肺野および横隔膜の縦方向のサイズおよび形状が変化する場合、ならびに図27から図30で示されるように、横隔膜および心臓の形状における個体差が生じる場合等が考えられる。このため、例えば、各部分における形状の変化および形状の差が考慮されて、複数のテンプレートが準備される。
例えば、肺野および心臓の大きさの相違により、横隔膜の形状が異なるとともに、横隔膜の位置が左右で異なる。このため、本実施形態では、横隔膜の形状の差異に対し、縦方向および横方向において拡大および縮小させた関係(縦横変倍の関係とも言う)にある複数のテンプレートが採用される。また、横隔膜の左右の位置における差異に対し、左横隔膜と右横隔膜とについて別々のテンプレートが採用される。また、例えば、特定の症例としての心肥大による心臓の大きさの相違に応じて、心臓に沿った肺野の輪郭の形状が異なる。このため、本実施形態では、心臓の形状の差異に対し、縦方向および横方向において拡大および縮小させた関係にある複数のテンプレートが採用される。
ここでは、対象部位としての肺野が複数の部分(構成部分とも言う)に分けられ、各構成部分に対して複数のテンプレートが準備される例を示して説明する。なお、本実施形態では、複数の構成部分には、左横隔膜、右横隔膜、左肺尖部および右肺尖部をそれぞれ含む部分が含まれる。このため、左横隔膜、右横隔膜、左肺尖部および右肺尖部に係るテンプレート(左横隔膜テンプレート、右横隔膜テンプレート、左肺尖部テンプレートおよび右横隔膜テンプレートとも言う)がそれぞれ準備される。
図31から図34は、縦横変倍の関係にある複数の右および左横隔膜テンプレートT1,T2の生成方法を示す図である。図31から図34の左部には、サンプル画像SI0が模式的に示されている。図31から図34の右部には、サンプル画像SI0の左右の横隔膜の形状を各々表現した右横隔膜テンプレートT1a〜T1d(T1)および左横隔膜テンプレートT2a〜T2d(T2)が模式的に示されている。
図31から図34のサンプル画像SI0で示されるように、横隔膜の形状には大きな個体差があり、とりわけ心臓の大きさによって横隔膜の形状が大きく異なる。このため、例えば、サンプル画像SI0が、心臓の大きさ等に応じて複数のグループに分類される。ここでは、心臓の形状が、小、一般的、中および大である4種類のグループに分類される様子が示されている。
次に、図31から図34で示されるように、サンプル画像SI0における右横隔膜が捉えられた構成領域としての右横隔膜領域R1および左横隔膜が捉えられた構成領域としての左横隔膜領域R2(図中の破線で囲まれた領域)が指定されて切り出される。各サンプル画像SI0を対象とした右および左横隔膜領域R1,R2の指定は、操作部33を介した手動でなされても良いし、手動等によって指定された各1つの右および左横隔膜領域R1,R2がテンプレートとされた各サンプル画像SI0を対象としたテンプレートマッチングによって実現されても良い。
そして、例えば、事前に分類された4種類のグループ毎に、右横隔膜領域R1から切り出された画像の平均画像が生成されることで、4種類の右横隔膜テンプレートT1a〜T1d(T1)が生成される。ここで、平均画像の各画素値は、例えば、複数の右横隔膜領域R1から切り出された画像における同一位置の画素に係る画素値の累積値が右横隔膜領域R1の数で除されることで算出される。また、同様に、事前に分類された4種類のグループ毎に、左横隔膜領域R2から切り出された画像の平均画像が生成されることで、4種類の左横隔膜テンプレートT2a〜T2d(T2)が生成される。
他のテンプレートについても、例えば、右および左横隔膜テンプレートT1,T2と同様な方法によって生成される。なお、左肺尖部テンプレートおよび右肺尖部テンプレートについては、例えば、肺尖部の大きさ、および鎖骨の傾き等の観点から複数のグループに分類されて、各グループに係るテンプレートが生成されれば良い。
このようにして生成されるテンプレートに係る情報は、記憶部42に格納される各種データD1に含まれる。
そして、構成領域検出処理では、フレーム画像IC0が対象とされて、構成部分を捉えた構成領域の位置が、テンプレートを用いたテンプレートマッチングによって検出される。ここでは、各構成部分について、複数種類のテンプレートが用いられて、フレーム画像IC0のうちのテンプレートとの相関の度合い(相関度とも言う)が最も高い領域が、構成部分が捉えられた構成領域として検出される。
<(7−1−1−3−2)区分設定処理>
区分設定処理では、記憶部42に格納された各種データD1に含まれる部分区分情報群に基づいて、構成領域検出処理において検出された構成領域に対し、それぞれ部分区分情報を設定する。ここで、部分区分情報群は、テンプレート毎にテンプレートと構成領域との相関値に応じた部分区分情報が蓄積されたものである。部分区分情報は、各構成領域を、対象確定領域PR11、未確定領域PR12および非対象確定領域PR2に区分する情報である。このため、区分設定処理では、構成領域検出処理で構成領域が検出された際におけるテンプレートおよび該テンプレートと該構成領域との相関値に応じた部分区分情報が、部分区分情報群から得られる。これにより、構成領域に対して部分区分情報が設定される。
ここで、図35から図38を参照しつつ、各テンプレートに対するテンプレートと構成領域との相関値に応じた部分区分情報の生成方法について説明する。
上述したように、例えば、テンプレートが生成される際に、サンプル画像SI0が複数のグループに分類され、各グループについて、複数のサンプル画像SI0から構成領域がそれぞれ切り出されて平均画像が生成される。このとき、まず、切り出された各構成領域について、対象部位が捉えられた対象領域か、対象部位以外の部分が捉えられた非対象領域かを示すデータ(正解データとも言う)も生成される。図35には、あるサンプル画像SI0について、対象領域が白色で表され且つ非対象領域が黒色で表された正解データA0が例示されている。図36には、構成領域としての右肺尖部領域R2Rおよび該右肺尖部領域R2Rに係る正解データA2R(A0)、ならびに構成領域としての左肺尖部領域R2Lおよび該左肺尖部領域R2Lに係る正解データA2L(A0)が例示されている。図37には、構成領域としての左横隔膜領域R1Lおよび該左横隔膜領域R1Lに係る正解データA1L(A0)、ならびに構成領域としての右横隔膜領域R1Rおよび該右横隔膜領域R1Rに係る正解データA1R(A0)が例示されている。
次に、構成領域毎に、各グループについて、複数の正解データA0が重ねられ、画素毎に、正解データA0が重ねられた回数が複数の正解データA0の数で除されることで、正解データA0が重なっている確率(累積率とも言う)が算出される。累積率は、例えば、0〜100%等と言った百分率等の態様で示されれば良い。図38の左下には、右横隔膜領域R1Rに係る複数の正解データA1R(A0)についての累積率の分布を示す画像(累積率画像とも言う)Am1Rが例示されている。図38の右下には、左横隔膜領域R1Lに係る複数の正解データA1L(A0)についての累積率の分布を示す累積率画像Am1Lが例示されている。図38の左上には、右肺尖部領域R2Rに係る複数の正解データA2R(A0)についての累積率の分布を示す累積率画像Am2Rが例示されている。図38の右上には、左肺尖部領域R2Lに係る複数の正解データA2L(A0)についての累積率の分布を示す累積率画像Am2Lが例示されている。
ここで、あるグループについて、累積率が100%である領域は、対象部位を捉えた対象領域に対応することが確実であり、累積率が0%である領域は、対象部位を捉えていない非対象領域に対応することが確実である。これに対し、累積率が1〜99%である領域については、対象領域に対応するか、非対象領域に対応するかについては、未確定である。但し、例えば、構成領域毎の各グループについて、テンプレートと構成領域検出処理で検出される構成領域との間における相関値が大きくなる程、より累積率が高い領域が、対象領域に対応する可能性が高まる。
そこで、テンプレート毎に、対応する累積率画像に基づいて、テンプレートと構成領域との相関値に応じた部分区分情報が生成される。
例えば、テンプレートに対する部分区分情報については、相関値の値域が予め設定され、その相関値の値域毎に部分区分情報が生成されれば良い。例えば、相関値が大きな値域(0.9<相関値≦1)、相関値が中程度の値域(0.8<相関値≦0.9)および相関値が小さな値域(0.5<相関値≦0.8)が設定される態様が考えられる。この態様では、相関値が大きな値域(0.90<相関値≦1)に対し、例えば、累積率が0%の領域が非対象確定領域、累積率が0%を超え且つ50%以下である領域が未確定領域、累積率が50%を超え且つ100%以下である領域が対象確定領域とされる。この場合における部分区分情報PV1の一例が、図39の左部に示されている。また、相関値が中程度の値域(0.8<相関値≦0.9)に対し、例えば、累積率が0%の領域が非対象確定領域、累積率が0%を超え且つ70%以下である領域が未確定領域、累積率が70%を超え且つ100%以下である領域が対象確定領域とされる。この場合における部分区分情報PV2の一例が、図39の中央部に示されている。さらに、相関値が小さな値域(0.5<相関値≦0.8)に対し、例えば、累積率が0%の領域が非対象確定領域、累積率が0%を超え且つ99%以下である領域が未確定領域、累積率が99%を超え且つ100%以下である領域が対象確定領域とされる。この場合における部分区分情報PV3の一例が、図39の右部に示されている。
<(7−1−1−3−3)統合処理>
統合処理では、区分設定処理において各構成領域に対してそれぞれ設定された部分区分情報が統合される。これにより、対象確定領域PR11および未確定領域PR12を含む対象候補領域PR1ならびに非対象確定領域PR2を示す領域区分情報IC1の設定が完了する。図40は、統合処理によって設定される対象候補領域PR1および非対象確定領域PR2を示す領域区分情報IC1の一例を示す図である。
<(7−1−1−4)精密検出部411d>
精密検出部411dは、粗検出部411cで設定された対象確定領域PR11および未確定領域PR12の情報に基づいて、フレーム画像IC0から、対象部位の内部から輪郭に至る対象領域を検出する精密検出処理を行う。本実施形態では、未確定領域PR12について、対象領域としての肺野領域の内部であるのか、外部であるのかが決定される。
図41は、画像補正部411bから精密検出部411dに入力されるフレーム画像IC0の一例を示す図である。図42は、精密検出部411dにおいて、フレーム画像IC0から検出される対象領域としての肺野領域RT1の一例を示す図である。精密検出処理では、粗検出処理の結果としての領域区分情報IC1(図40参照)に基づき、画像補正部411bから入力されるフレーム画像IC0(図41参照)が対象とされて、対象領域としての肺野領域RT1(図42参照)が検出される。
精密検出処理では、対象部位の形状に依存しない検出手法によって対象領域としての肺野領域RT1が検出される。検出手法としては、例えば、レベルセット(Level set)およびスネーク(Snake)等のエッジの情報を利用する手法、領域拡張法(Region growing)等の領域の情報を利用する手法、グラフカット(Graph Cut)等のエッジと領域の情報を利用する手法等が挙げられる。
スネーク(Snake)の処理では、例えば、検出したい領域を囲むように閉曲線の初期値が定義され、繰り返し計算によって該閉曲線が下記条件[i]〜[iii]を満たすように変形されていき、閉曲線の形状が変化しなくなったところで、閉曲線の変形が終了される。この処理により、対象領域としての肺野領域RT1の輪郭ED1が検出される。スネーク(Snake)の処理内容については、例えば、公知の種々の情報(蚊野浩"第11章「領域処理」"京都産業大学 コンピュータ理工学部 ネットワークメディア学科「春学期・火曜日・3時限」資料[平成25年11月18日検索]、インターネット〈www.cc.kyoto-su.ac.jp/~kano/pdf/course/chapter11.pdf〉、および代表者:矢島信彦"処理事例|sliceOmatic「面積/ 体積計測のためのエリア定義処理事例」イメージラボ社ホームページ[平成25年11月18日検索]、インターネット〈URL:http://www.imagelabo.com/Appli_sliceO.html〉等)に開示されている。
[i]閉曲線自身の形は、連続でなめらかになろうとする。
[ii]閉曲線がエッジの上にあると、そこにとどまろうとする。
[iii]閉曲線は小さくなろうとする。
ここで、レベルセット(Level set)およびスネーク(Snake)等のエッジの情報を利用する手法では、領域区分情報IC1のうち、対象確定領域PR11と未確定領域PR12の情報があれば、対象領域の輪郭が検出され得る。このため、粗検出部411cにおける区分設定処理では、構成領域検出処理による検出結果に応じて、フレーム画像IC0のうち、対象確定領域PR11および未確定領域PR12を含む対象候補領域PR1が設定されれば良い。
また、領域拡張法(Region growing)の処理では、例えば、まず、画素値に関する条件を満足する画素が手動で決定され、1つのラベルが付されて種子点(seed point)とされる。そして、種子点の近傍の点で、画素値に関する条件を満足する画素に同一のラベルが付される処理が繰り返されることで、領域が拡張される。このような処理に沿って、対象確定領域PR11が種子点とされて、未確定領域PR12において領域が拡張されれば、対象領域としての肺野領域RT1が検出され得る。
また、グラフカット(Graph Cut)の処理については、例えば、公知の情報(石川博"グラフカットの理論と応用"第14回画像センシングシンポジウムSS1108、[平成25年11月18日検索]、インターネット〈URL:http://www.f.waseda.jp/hfs/SSIITutorial.pdf〉等)に開示されている。
なお、精密検出部411dで検出された結果を示す情報Rt2は、精密検出部411dから後処理部411eに送出される。
<(7−1−1−5)後処理部411e>
後処理部411eは、精密検出部411dで検出された対象領域としての肺野領域RT1を対象として、対象部位のモデルを用いて、肺野領域RT1を整形する。これにより、精密検出処理で検出された肺野領域RT1の輪郭ED1における円滑でない部分(非円滑部分とも言う)および誤検出された部分(誤検出部分とも言う)等が補正される。後処理部411eでは、例えば、肺野領域RT1に対して、肺野領域の輪郭を近似的に示す所定数のフィッティング関数で表現された形状モデルFをフィッティングさせる処理(フィッティング処理とも言う)が行われる。
所定数のフィッティング関数は、肺野領域のうちの周辺領域との境界を成す部分(境界部分とも言う)が考慮されたものであれば、精密検出処理で検出された肺野領域RT1の輪郭ED1における非円滑部分および誤検出部分が精度良く補正される。ここで、境界部分としては、フレーム画像I0において鮮明に捉えられ難い、肺尖部、横隔膜、心臓および大動脈弓等と言った部分が挙げられる。例えば、所定数のフィッティング関数は、肺野領域の輪郭が区切られた結果得られる複数の部分をそれぞれ近似的に示す関数であれば良い。そして、所定数のフィッティング関数で表現された形状モデルFは、曲線および直線のみならず、スプライン曲線のような複数の曲線で構成されたものであっても良い。
具体的には、フィッティング関数fは、例えば、XY座標系における多項式の関数で表現され得る。多項式の関数は、自然数Nを用いて、Xを変数とするY=aX+bX(N−1)+・・・の式、またはYを変数とするX=aY+bY(N−1)+・・・の式であれば良い。そして、係数a,b,・・・の最適値を見つけることで、肺野領域RT1の輪郭ED1にフィッティング関数fをフィッティングさせることができる。なお、フィッティング関数fとして、XおよびYの双方が変数とされる楕円形に係る関数等が採用されても良い。
また、後処理部411eでは、例えば、整形された対象領域としての肺野領域RT1に基づき、フレーム画像I0あるいはフレーム画像IC0から対象領域としての肺野領域RT1に対応する部分の画像(部分画像とも言う)が抽出される。
<(7−1−1−6)捕捉位置抽出部411f>
捕捉位置抽出部411fは、後処理部411eで整形された対象領域としての肺野領域RT1から、特定部分が捉えられた捕捉位置を抽出する。ここでは、特定部分としての横隔膜は、各フレーム画像IC0において線状の領域として捉えられており、肺野領域RT1の輪郭ED1のうち、特定部分としての横隔膜が捉えられた捕捉位置が抽出される。このような処理が、動態画像を構成する一連の複数のフレーム画像IC0に係る複数の肺野領域RT1に対して行われる。
<(7−1−2)フレーム画像群決定部412>
フレーム画像群決定部412は、例えば、医療用の動態画像を構成する複数のフレーム画像I0から、捕捉位置の変位についての解析の対象となる解析対象フレーム画像群を決定する処理(解析対象フレーム群決定処理とも言う)を実行する。ここで、解析対象フレーム画像群には、特定部分の第1変位期間に係る第1フレーム画像群、特定部分の第2変位期間に係る第2フレーム画像群および特定部分の停滞期間に係る第3フレーム画像群の少なくとも1つのフレーム画像群が含まれる。このような解析対象フレーム画像群を対象とした捕捉位置の変位についての解析によって、特定部分の動作の傾向とは整合していない1以上の不整合捕捉位置が容易に検出され得る。
本実施形態では、第1変位期間は、特定部分としての横隔膜が少なくとも第1方向に変位している期間である。また、第2変位期間は、特定部分としての横隔膜が少なくとも第1方向とは反対の第2方向に変位している期間である。さらに、停滞期間は、第1変位期間と第2変位期間との合間において特定部分としての横隔膜が停滞している期間である。ここで、第1フレーム画像群は、第1変位期間において特定部分としての横隔膜が時間順次に捉えられた複数のフレーム画像である。また、第2フレーム画像群は、第2変位期間において特定部分としての横隔膜が時間順次に捉えられた複数のフレーム画像である。さらに、第3フレーム画像群は、停滞期間に特定部分としての横隔膜が時間順次に捉えられた複数のフレーム画像である。
この解析対象フレーム群決定処理では、位相変化情報取得処理、区分け処理および決定処理が行われることで、解析対象フレーム画像群が決定される。位相変化情報取得処理は、特定部分の動作についての変位に係る位相の時間的な変化を示す情報(位相変化情報とも言う)を得る処理である。区分け処理は、動態画像を構成する一連の複数のフレーム画像I0を位相変化情報に基づいて区分けする処理である。決定処理は、区分け処理によって複数のフレーム画像I0が区分けされることで得られる複数のフレーム群のうち、捕捉位置の変位についての解析の対象となる解析対象フレーム画像群を決定する。
ここで、位相変化情報取得処理、区分け処理および決定処理について更に説明する。
<(7−1−2−1)位相変化情報取得処理>
位相変化情報は、例えば、動態画像を構成する複数のフレーム画像I0の撮影期間においてサイクル検出センサー15およびサイクル検出装置16によって得られる情報であれば良い。
また、位相変化情報は、動態画像を構成する複数のフレーム画像I0から位置抽出部411で得られた捕捉位置に基づいて取得されても良い。これにより、被検者M1が非健常者であり、右肺と左肺との間で横隔膜の動きが異なる場合および呼吸の位相と横隔膜の変位に係る位相とが単純には対応していない場合であっても、特定部分の変位に係る位相変化情報がより正確に得られる。なお、右肺と左肺との間で横隔膜の動きが異なるケースは、例えば、手術によって肺の一部が切除されることで生じ得る。また、呼吸の位相と横隔膜の変位に係る位相とが単純に対応しないケースは、例えば、癒着等の何らかの疾病が原因で生じ得る。
フレーム画像群決定部412では、例えば、捕捉位置抽出部411fで複数のフレーム画像IC0から抽出された複数の捕捉位置に関し、連続する所定数のフレーム画像IC0における捕捉位置の代表値の時間的な変化を示す情報を、位相変化情報として取得する。なお、所定数は、例えば、5つ等であれば良く、代表値は、例えば、中央値および平均値等であれば良い。これにより、複数のフレーム画像IC0におけるノイズの影響が低減され得る。
具体的には、例えば、特定部分の捕捉位置としての横隔膜の位置を示すラインLn1(図43で太線で描かれた部分)の上下方向(±Y方向)における座標(Y座標)の時間的な変化を示す情報から、位相変化情報が取得される態様が考えられる。なお、ラインLn1のY座標は、例えば、ラインLn1の重心等と言った代表位置のY座標、あるいはラインLn1のY座標の平均値等であれば良い。
ここでは、例えば、ラインLn1の±Y方向に係る位相変化情報の代わりに、ラインLn1のその他の方向に係る位相変化情報が採用されても良い。その他の方向としては、±Y方向に対して傾いた方向および±X方向等が考えられる。また、例えば、図44および図45で示されるように、予め設定された仙骨等の基準位置を中心として放射状に広がる方向および該基準位置に向かう方向に係る位相変化情報が採用されても良い。また、例えば、手術で片肺または片肺の一部が切除された場合等には、切除後の領域に他の臓器が入り込むことで、左横隔膜の位置と右横隔膜の位置とが左右対称の状態から大きく外れている場合がある。この場合には、例えば、左横隔膜と右横隔膜との間で、全く異なる方向に係る位相変化情報が採用されても良い。具体的には、例えば、図46で示されるように、左横隔膜に対し、基準位置としての仙骨の位置を中心として放射状に広がる方向および該基準位置に向かう方向に係る位相変化情報が採用され、右横隔膜に対し、±Y方向に係る位相変化情報が採用される態様が考えられる。
また、図47で示されるように、位相変化情報が、曲線上における横隔膜の位置の変化を示す情報であっても良い。また、図48および図49で示されるように、右肺および左肺にそれぞれ含まれる基準点Sp1を中心として放射状に広がる方向(拡張方向とも言う)および該拡張方向とは逆に基準点Sp1に収束する方向(収縮方向とも言う)に係る位相変化情報が採用されても良い。
なお、吸気の際に肺野の輪郭が変位する方向と、呼気の際に肺野の輪郭が変位する方向とは明確に異なるが、呼吸の方法に応じて、位相変化情報で示される肺野領域RT1の輪郭ED1が変位する方向が変更されても良い。呼吸の方法としては、例えば、深呼吸、自然呼吸、腹式呼吸および胸式呼吸等がある。なお、例えば、腹式呼吸は、横隔膜を主に使う呼吸の方法であり、胸式呼吸は、胸部(肋間筋)を主に使う呼吸の方法である。
<(7−1−2−2)区分け処理>
図50から図52は、複数のフレーム画像I0の第1から第3の区分け方法を説明するための図である。図50から図52では、横軸が時刻を示し、縦軸が特定部分としての横隔膜のY方向の変位に係る位相を示し、該位相の時間的な変化が太線で描かれた曲線で示されている。なお、吸気が行われている期間(吸気期間とも言う)では、横隔膜が下方向(+Y方向)に変位することで、Y方向における横隔膜の変位に係る位相が大きくなる。一方、呼気が行われている期間(呼気期間とも言う)では、横隔膜が上方向(−Y方向)に変位することで、Y方向における横隔膜の変位に係る位相が小さくなる。
第1の区分け方法では、例えば、図50で示されるように、動態画像を構成する一連の複数のフレーム画像I0が撮影された期間(撮影期間とも言う)が、吸気期間P1と呼気期間P2とに区分けされる。なお、図50には、3つの吸気期間P1と2つの呼気期間P2とが示されている。このとき、動態画像を構成する一連の複数のフレーム画像I0が、各吸気期間P1における撮影で得られたフレーム画像群(吸気フレーム画像群とも言う)と各呼気期間P2における撮影で得られたフレーム画像群(呼気フレーム画像群とも言う)とに区分けされる。
ここでは、吸気フレーム画像群は、特定部分としての横隔膜が第1方向としての+Y方向に変位している第1変位期間としての吸気期間P1において横隔膜が時間順次に捉えられた第1フレーム画像群に相当する。また、呼気フレーム画像群は、特定部分としての横隔膜が第1方向とは逆の第2方向としての−Y方向に変位している第2変位期間としての呼気期間P2において横隔膜が時間順次に捉えられた第2フレーム画像群に相当する。なお、本実施形態では、第1方向が+Y方向であり、第2方向が−Y方向である例が挙げられているが、これに限られない。例えば、第1方向が−Y方向であり、第2方向が+Y方向であっても良いし、第1方向が+X方向であり、第2方向が−X方向であっても良いし、第1方向が−X方向であり、第2方向が+X方向であっても良い。さらに、例えば、第1方向が、X方向の成分とY方向の成分とが合成された方向であり、第2方向が、第1方向とは逆の、X方向の成分とY方向の成分とが合成された方向であっても良い。
ところで、例えば、深呼吸において吸気と呼気とが切り替わるタイミング(呼吸切り替えタイミングとも言う)では、横隔膜が立体的に歪むように変位することがある。このため、複数のフレーム画像I0が、単純に吸気フレーム画像群と呼気フレーム画像群とに区分けされれば、不整合位置検出部413によって、特定部分としての横隔膜の動作の傾向と整合する捕捉位置を不整合捕捉位置と検出してしまう場合もある。また、別の観点から言えば、呼吸切り替えタイミングでは、横隔膜の動きが殆ど停止しているため、横隔膜が変位している方向(変位方向とも言う)が上下の何れの方向であるのか区別し難い。
そこで、例えば、図51で示されるように、動態画像を構成する一連の複数のフレーム画像I0の撮影期間から吸気と呼気とが切り替わる期間(呼吸切り替え期間とも言う)が除外され、吸気期間P1と呼気期間P2とに区分けされる第2の区分け方法が考えられる。なお、ここでは、例えば、呼吸の方法が、深呼吸および自然呼吸の何れであるのかが判別され、深呼吸が行われていれば、動態画像を構成する一連の複数のフレーム画像I0の撮影期間から呼吸切り替え期間が除外される態様が考えられる。なお、腹式呼吸および胸式呼吸等と言った呼吸の方法に応じて、動態画像を構成する一連の複数のフレーム画像I0に係る撮影期間の区分け方法が変更されても良い。
また、動態画像を構成する一連の複数のフレーム画像I0に係る撮影期間が区分けされる区分け方法は、不整合位置検出部413における不整合捕捉位置の検出態様に応じて設定されても良い。例えば、特定部分が一方向に沿って変位する吸気期間P1および呼気期間P2だけでなく、吸気期間P1と呼気期間P2との合間の停滞期間P3(図52)についても不整合捕捉位置が検出される場合が考えられる。この場合、例えば、図52で示されるように、動態画像を構成する一連の複数のフレーム画像I0が撮影された撮影期間が、吸気期間P1、呼気期間P2および停滞期間P3に区分けされる第3の区分け方法が採用されれば良い。なお、図52には、3つの吸気期間P1と2つの呼気期間P2と4つの停滞期間P3が示されている。そして、動態画像を構成する一連の複数のフレーム画像I0が、各吸気期間P1に係る撮影で得られた吸気フレーム画像群、各呼気期間P2に係る撮影で得られた呼気フレーム画像群、および各停滞期間P3に係る撮影で得られた停滞フレーム画像群に区分けされる。ここで、停滞フレーム画像群は、停滞期間P3に横隔膜が時間順次に捉えられた第3フレーム画像群に相当する。
<(7−1−2−3)決定処理>
決定処理では、区分け処理によって得られる第1および第2フレーム画像群あるいは第1から第3フレーム画像群のうちの1以上のフレーム画像群を、捕捉位置の変位についての解析の対象となる解析対象フレーム画像群として決定する。なお、決定処理では、例えば、予め設定された決定ルールに従って、解析対象フレーム画像群が決定されれば良い。
決定ルールとしては、例えば、第1および第2フレーム画像群を、解析対象フレーム画像群として決定するルール、あるいは第1から第3フレーム画像群を、解析対象フレーム画像群として決定するルール等が挙げられる。また、決定ルールとしては、例えば、肺野による呼吸の方法に応じて、第1から第3フレーム画像群の少なくとも1つのフレーム画像群が、解析対象フレーム画像群として決定されるルールであっても良い。ここで、呼吸の方法としては、自然呼吸、深呼吸、腹式呼吸および胸式呼吸等が挙げられる。これにより、状況に応じた不整合捕捉位置の検出および補正が実行されることになる。
ここでは、例えば、自然呼吸および深呼吸の何れの呼吸の方法が実行されているのかについては、後処理部411eで得られた肺野領域RT1の上下方向(±Y方向)における伸縮の度合いおよび横隔膜の変位量等によって判別され得る。なお、深呼吸が実行されている場合には、第3フレーム画像群としての停滞フレーム画像群が解析対象フレーム画像群として採用されない第2の区分け方法が採用される態様が考えられる。
また、例えば、腹式呼吸および胸式呼吸の何れの呼吸の方法が実行されているのかについては、後処理部411eで得られた肺野領域RT1の輪郭ED1の動きから求まる横隔膜の動きと胸部の動きとの割合から判別され得る。例えば、輪郭ED1のうち、横隔膜よりも胸部の方がより大きく変位している場合には、胸式呼吸が行われているものと判別され、横隔膜の方が胸部よりも大きく変位している場合には、腹式呼吸が行われているものと判別される態様が考えられる。胸部の変位は、例えば、肺野を正面から捉えた肺野領域RT1に含まれる胸郭(肋骨全体)のシルエットあるいはその外接線の変位であれば良い。なお、胸式呼吸が実行されている場合には、横隔膜が殆ど動かないため、第3フレーム画像群としての停滞フレーム画像群が解析対象フレーム画像群として採用される態様が考えられる。
<(7−1−3)不整合位置検出部413>
不整合位置検出部413は、複数のフレーム画像IC0について、位置抽出部411によって抽出された複数の捕捉位置のうち、複数の捕捉位置に係る空間的な関係が特定部分としての横隔膜の動作の傾向とは整合していない不整合捕捉位置を検出する。ここでは、例えば、異常状態認識処理と不整合捕捉位置特定処理とが行われる。異常状態認識処理は、フレーム画像群決定部412で決定された解析対象フレーム画像群に関し、位置抽出部411で抽出された横隔膜についての複数の捕捉位置に係る空間的な関係が横隔膜の動作の傾向とは整合していない異常状態を認識する処理である。不整合捕捉位置特定処理は、異常状態認識処理によって認識された異常状態に応じて、1以上の不整合捕捉位置を特定する処理である。
<(7−1−3−1)異常状態の種類>
異常状態には、例えば、クロス異常状態、順序異常状態および分布異常状態と言った複数種類の異常状態が含まれる。
図53から図55は、吸気期間において捉えられた横隔膜の複数の捕捉位置について生じる、クロス異常状態、順序異常状態および分布異常状態の各一態様をそれぞれ例示する図である。図53から図55では、横軸が、X方向における位置を示し、縦軸が、−Y方向における位置を示している。また、図53から図55には、吸気期間における撮影によって時間順次に得られた複数のフレーム画像IC0からなる解析対象フレーム画像群が対象とされて位置抽出部411によって抽出された複数の捕捉位置が、曲線Cvnで示されている。ここで、nは自然数であり、曲線Cvnは、吸気期間におけるn番目の撮影によって得られたフレーム画像I0から抽出される捕捉位置を示す。
<(7−1−3−1−1)クロス異常状態>
クロス異常状態は、例えば、図53で示されるように、解析対象フレーム画像群に係る複数の捕捉位置を示す複数の曲線Cvnのうちの2以上の曲線Cvnが交差(クロス)している状態である。通常は、横隔膜が一方向(例えば、+Y方向または−Y方向)に沿って変位する吸気期間および呼気期間については、異なるフレーム画像IC0における横隔膜の捕捉位置を示す曲線Cvnは、相互に重なり合うことはあっても、相互に交差(クロス)することはない。このため、本実施形態では、解析対象フレーム画像群に係る複数の曲線Cvnのうちの2以上の曲線Cvnが交差(クロス)している状態を、横隔膜の動作の傾向とは整合していない異常状態としてのクロス異常状態としている。
<(7−1−3−1−2)順序異常状態>
順序異常状態は、例えば、図54で示されるように、解析対象フレーム画像群に係る複数の捕捉位置を示す複数の曲線Cvnの撮影順に応じた配列順が、実際の横隔膜の変位方向とは整合していない状態である。通常は、横隔膜が一方向(例えば、+Y方向または−Y方向)に沿って変位する吸気期間および呼気期間については、解析対象フレーム画像群に係る複数の捕捉位置を示す複数の曲線Cvnは、実際の横隔膜の変位方向に対応する一方向において、撮影順に応じた順に並ぶ。このため、本実施形態では、解析対象フレーム画像群に係る複数の曲線Cvnの撮影順に応じた配列順が、横隔膜の変位方向とは整合していない状態を、実際の横隔膜の動作の傾向とは整合していない異常状態としての順序異常状態としている。
<(7−1−3−1−3)分布異常状態>
分布異常状態は、例えば、図55で示されるように、解析対象フレーム画像群に係る複数の捕捉位置を示す複数の曲線Cvnが、特定部分の変位方向に対応する一方向においてずれている量(ずれ量とも言う)が、予め設定された基準量を超えている状態である。通常は、構造物の変位量は、その構造物の周期的な運動等における可動範囲の幅を超えない。このため、本実施形態では、特定部分の変位方向に対応する一方向おいて解析対象フレーム画像群に係る複数の曲線Cvnがずれているずれ量が、基準量を超えている状態を、実際の横隔膜の動作の傾向とは整合していない異常状態としての分布異常状態としている。
なお、例えば、時間的に近接する撮影タイミングに係る2つのフレーム画像IC0の間で特定部分の変位量が大きい状態は、特定部分の急速な変位を示す。このような特定部分の急速な変位は、上記停滞期間P3に対応する呼吸切り替え期間および呼吸が止められている息止め期間では、横隔膜の動作の傾向とは整合しない異常状態である。そして、このような期間については、例えば、ずれ量に係る基準量が比較的低い量に設定されれば良い。すなわち、分布異常情報の認識の基準となる基準量が、呼吸方法に応じて変更されても良い。
<(7−1−3−2)クロス異常状態に係る不整合捕捉位置の検出>
図56は、不整合位置検出部413においてクロス異常状態に係る不整合捕捉位置を検出するために実現される機能的な構成を示すブロック図である。図56で示されるように、不整合位置検出部413は、クロス異常認識部413aおよび不整合位置特定部413bを備えている。
<(7−1−3−2−1)クロス異常認識部413a>
クロス異常認識部413aは、異常状態認識処理としてのクロス異常状態認識処理を実行する。クロス異常状態認識処理は、複数の捕捉位置のうちの1以上の捕捉位置が他の1以上の捕捉位置と交差している状態(クロス異常状態とも言う)を認識する処理である。ここでは、例えば、図53で示されるように、解析対象フレーム画像群に係る複数の捕捉位置をそれぞれ示す複数の曲線Cvnのうちの2以上の曲線Cvnが交差(クロス)しているクロス異常状態が認識される。クロス異常状態の認識方法としては、例えば、次の第1〜3認識方法が考えられる。
図57は、クロス異常状態の第1認識方法を説明するための図である。該第1認識方法では、例えば、特定部分としての横隔膜の変位方向に対応するY方向に伸びる評価ラインEL1が、変位方向に対応するY方向に略直交するX方向における複数の曲線Cvnの一端から他端にかけて走査される。変位方向を示す情報は、例えば、上述した位相変化情報取得処理によって得られる。このとき、評価ラインEL1の走査方向における各X座標において、一方向(例えば、+Y方向)において評価ラインEL1と交差する曲線Cvnの順(交差順とも言う)が認識される。そして、該一方向において評価ラインEL1と曲線Cvnとが交差する交差順が入れ替わっているX座標について、2以上の曲線Cvnが相互に交差しているクロス異常状態の存在が認識される。
なお、評価ラインEL1と複数の曲線Cvnとの交差順は、+Y方向における交差順に限られず、−Y方向における交差順であっても良い。また、評価ラインEL1は、横隔膜の変位方向に対応するY方向に伸びるものに限られず、例えば、横隔膜の変位方向に対して交差する方向(交差方向とも言う)に伸びるものであっても良い。さらに、評価ラインEL1が伸びる方向は、横隔膜の変位方向とは無関係に予め設定されていても良い。この場合、例えば、横隔膜の変位方向と交差方向とが成す角度が予め設定された角度(例えば、45度)以下であれば、評価ラインEL1と曲線Cvnとの交差順が明確に認識され得る。また、評価ラインEL1が走査される方向は、横隔膜の変位方向に直交するX方向に限られず、例えば、横隔膜の変位方向に直交する方向に交差する方向であっても良い。
図58は、クロス異常状態の第2認識方法を説明するための図である。該第2認識方法では、例えば、事前に複数の曲線Cvnが重畳している点(重畳点とも言う)Lpm(mは自然数)の座標が検出される処理(重畳点検出処理とも言う)が実行される。重畳点検出処理では、例えば、XY座標空間上に描かれた複数の曲線Cvnを対象とした画像処理によって、2以上の曲線Cvnが重なり合う点の座標が検出され得る。ところで、2以上の曲線Cvnが重なり合う点には、2以上の曲線Cvnが単純に重なっている点、および2以上の曲線Cvnが交差している点が含まれる。
そこで、例えば、特定部分としての横隔膜の変位方向に対応するY方向に伸びる2本の評価ラインLma,Lmbが、重畳点Lpmを通る位置に設定され、評価ラインLmaと評価ラインLmbとの間隔が徐々に広げられるようにシフトされる。図58には、評価ラインLmaがシフトされる方向としての−X方向を示す矢印、および評価ラインLmbがシフトされる方向としての+X方向を示す矢印が描かれている。ここで、2本の評価ラインLma,Lmbの双方が重畳点Lpmを挟む位置までシフトされる。このとき、評価ラインLmaに交差する曲線Cvnの交差順と、評価ラインLmbと交差する曲線Cvnの交差順とが逆となっていれば、重畳点Lpmにおいて2以上の曲線Cvnが相互に交差しているクロス異常状態の存在が認識される。このようなクロス異常状態の第2認識方法では、クロス異常状態の第1認識方法と比較して、評価ラインと曲線Cvnとの交差順が、重畳点Lpmの近傍のみにおいて認識される。このため、演算量の低減による異常状態認識処理の効率化が図られる。
なお、評価ラインEma,Embと複数の曲線Cvnとの交差順は、Y方向における交差順に限られず、−Y方向における交差順であっても良い。また、評価ラインEma,Embは、横隔膜の変位方向に対応するY方向に伸びるものに限られず、例えば、横隔膜の変位方向に対して交差する方向(交差方向とも言う)に伸びるものであっても良い。さらに、評価ラインEma,Embが伸びる方向は、横隔膜の変位方向とは無関係に予め設定されていても良い。この場合、例えば、横隔膜の変位方向と交差方向とが成す角度が予め設定された角度(例えば、45度)以下であれば、評価ラインEma,Embと曲線Cvnとの交差順が明確に認識され得る。また、評価ラインEma,Embがシフトされる方向は、横隔膜の変位方向に直交する±X方向に限られず、例えば、横隔膜の変位方向に直交する方向に対して交差する方向であっても良い。
図59は、クロス異常状態の第3認識方法を説明するための図である。該第3認識方法では、例えば、特定部分としての横隔膜の変位方向に対応するY方向に伸びる評価ラインEL2が、変位方向としてのY方向に略直交するX方向における複数の曲線Cvnの一端から他端にかけて走査される。そして、特定部分としての横隔膜の実際の変位方向を正の方向とし、2つの曲線Cvnと評価ラインEL2との交点の時間経過に応じた変位量の正負が、評価ラインEL2の走査中に逆転した位置で、該2つの曲線Cvnが交差しているクロス異常状態の存在が認識される。
<(7−1−3−2−2)不整合位置特定部413b>
不整合位置特定部413bは、クロス異常認識部413aによって認識されたクロス異常状態と、予め設定されたルールとに基づき、複数の捕捉位置のうちの相互に交差している2以上の捕捉位置(クロス捕捉位置とも言う)から、不整合捕捉位置を特定する。これにより、不整合捕捉位置が容易に検出され得る。
ここでは、例えば、図53で示されるように、2つの曲線Cvnが交差(クロス)しているクロス異常状態が存在している場合、上記ルールに基づき、2つの曲線Cvnのうちの少なくとも一方の曲線Cvnが、不整合捕捉位置を示すものとして特定される。このとき、相互に交差する2つの曲線Cvnのうちの何れの曲線Cvnが、不整合捕捉位置を示すものとして特定されても良い。
但し、例えば、不整合位置特定部413bでは、2以上のクロス捕捉位置のうち、他のクロス捕捉位置と交差している回数(交差回数とも言う)が多いクロス捕捉位置から順に、不整合捕捉位置として特定される処理(第1優先特定処理とも言う)が行われる。このような第1優先特定処理が行われるルールにより、交差回数が多いことから不整合捕捉位置である確率が高いクロス捕捉位置が、不整合捕捉位置として特定される。そして、例えば、第1優先特定処理が、2以上のクロス捕捉位置のうちの不整合捕捉位置として特定されたクロス捕捉位置を除く残余のクロス捕捉位置がなくなるまで行われる態様が考えられる。このような態様が採用されれば、特定部分としての横隔膜の動作の傾向とは整合していない不整合捕捉位置の検出精度が向上し得る。
例えば、図60で示されるように、曲線Cv2が2つの曲線Cv3,Cv4に順次に交差して2回交差し、曲線Cv3および曲線Cv4が1つの曲線Cv2に1回交差していれば、交差回数が多い曲線Cv4に係る捕捉位置が、不整合捕捉位置として特定される。図60では、不整合捕捉位置として特定された曲線Cv2が破線の曲線で描かれている。
また、例えば、不整合位置特定部413bでは、2以上のクロス捕捉位置のうち、他のクロス捕捉位置と交差している交差回数が少ないクロス捕捉位置から順に、整合捕捉位置として特定される処理(第2優先特定処理とも言う)が行われても良い。このような第2優先特定処理が行われるルールにより、交差回数が少ないことから整合捕捉位置である確率が高いクロス捕捉位置が、整合捕捉位置として特定される。そして、例えば、第2優先特定処理が、該第2優先特定処理によって整合捕捉位置として特定されたクロス捕捉位置と交差していないクロス捕捉位置がなくなるまで行われる態様が考えられる。このような態様が採用されても、特定部分としての横隔膜の動作の傾向とは整合していない不整合捕捉位置の検出精度が向上し得る。なお、このような態様が採用される場合、図60で示される例では、他の曲線と交差している3つの曲線Cv2〜Cv4のうち、交差回数が相対的に少ない2つの曲線Cv3,Cv4が整合捕捉位置として特定され、残余の曲線Cv2が、不整合捕捉位置として特定される。
また、不整合位置特定部413bによって、曲線Cvnが示す捕捉位置の全体が不整合捕捉位置として特定される態様に限られない。例えば、不整合捕捉位置を示す曲線Cvnが、予め設定されたルールに応じて、不整合捕捉部分AFp0と整合捕捉部分Fp0とに区分けされても良い。不整合捕捉部分AFp0は、不整合捕捉位置のうちの特定部分としての横隔膜の動作の傾向とは整合していない部分であり、整合捕捉部分Fp0は、不整合捕捉位置のうちの特定部分としての横隔膜の動作の傾向と整合している部分である。
例えば、2以上の曲線Cvnが相互に交差している点(交点とも言う)を含む該交点の周辺に位置する部分を不整合捕捉部分AFp0とするルールが採用され得る。また、例えば、曲線Cvnの一端部に近い部分が交点を形成していれば、交点から一端部に至る部分が、不整合捕捉部分AFp0とされるルールが採用されても良い。さらに、例えば、曲線Cvnの他端部に近い部分が交点を形成していれば、交点から他端部に至る部分が、不整合捕捉部分AFp0とされるルールが採用されても良い。また、例えば、曲線Cvnの傾きが、明らかに異常である部分が、不整合捕捉部分AFp0とされるルールが採用されても良い。曲線Cvnの傾きが明らかに異常である部分としては、例えば、不整合捕捉位置としてのある曲線Cvnのうち、他の捕捉位置としての曲線Cvnと比較した場合に、同じX座標の範囲において傾きが顕著に異なる部分等が考えられる。なお、傾きが顕著に異なるケースとしては、例えば、傾きが所定倍異なるケース、および傾きが所定角度以上異なるケース等が考えられる。
図61は、不整合捕捉位置を不整合捕捉部分AFp0と整合捕捉部分Fp0とに区分けする方法を説明するための図である。図61には、3つの曲線Cv2〜Cv4が交点Cp1で交差し、2つの曲線Cv5,Cv6が交点Cp2で交差しており、曲線Cv3〜Cv5が不整合捕捉位置を示す曲線Cvnとされているケースが例示されている。また、図61では、不整合捕捉部分AFp0が破線で示され、整合捕捉部分Fp0が実線で示されている。
ここでは、例えば、曲線Cvnの端部から予め設定されたX座標の範囲Ew1内に交点が存在していれば、不整合捕捉位置を示す曲線Cvnのうち、範囲Ew1内の交点から曲線Cvnの端部に至る部分が不整合捕捉部分AFp0とされる態様が考えられる。また、例えば、不整合捕捉位置を示す曲線Cvnのうち、交点を含む該交点の周辺の予め設定されたX座標の範囲Wd1の部分が不整合捕捉部分AFp0とされる態様が考えられる。なお、範囲Ew1および範囲Wd1の幅は、例えば、経験値から適宜設定されれば良い。例えば、特定部分が横隔膜である場合には、範囲Wd1の幅が、予め設定された値(例えば、50ピクセル等)に設定される態様が考えられる。また、ここでは、範囲Ew1および範囲Wd1の幅が、X座標によって規定されたが、これに限られず、例えば、特定部分の変位方向以外の他の方向における座標によって規定されても良い。
図61には、交点Cp1が、+X側の端部の近傍に設定された範囲Ew1内に存在しているため、不整合捕捉位置を示す曲線Cv3,Cv4のうちの交点Cp1から+X側の端部に至る部分が、不整合捕捉部分AFp0とされている例が示されている。また、交点Cp2が、+X側の端部の近傍に設定された範囲Ew1内に存在しているため、不整合捕捉位置を示す曲線Cv5のうちの交点Cp2から+X側の端部に至る部分が、不整合捕捉部分AFp0とされている例が示されている。また、不整合捕捉位置を示す曲線Cv3,Cv4のうちの交点Cp1の周辺の範囲Wd1の部分、および不整合捕捉位置を示す曲線Cv5のうちの交点Cp2の周辺の範囲Wd1の部分が、不整合捕捉部分AFp0とされている例が示されている。
<(7−1−3−3)順序異常状態に係る不整合捕捉位置の検出>
図62は、不整合位置検出部413において順序異常状態に係る不整合捕捉位置を検出するために実現される機能的な構成を示すブロック図である。図62で示されるように、不整合位置検出部413は、変位方向取得部413c、順序異常認識部413dおよび不整合位置特定部413bAを備えている。
<(7−1−3−3−1)変位方向取得部413c>
変位方向取得部413cは、時間の経過に応じた、特定部分としての横隔膜の変位方向に係る情報を取得する。ここでは、例えば、上記位相変化情報取得処理で得られる変位方向、あるいは上記位相変化情報取得処理と同様な処理によって得られる変位方向を示す情報が取得される。
<(7−1−3−3−2)順序異常認識部413d>
順序異常認識部413dは、異常状態認識処理としての順序異常状態認識処理を実行する。順序異常状態認識処理は、順序異常状態を認識する処理である。順序異常状態としては、例えば、次の第1順序異常状態および第2順序異常状態が生じ得る。第1順序異常状態は、複数の捕捉位置において、第1捕捉位置が基準とされ、該第1捕捉位置に係る第1撮影タイミングよりも後の第2撮影タイミングに係る第2捕捉位置の第1捕捉位置からのずれが、特定部分の変位方向に対応する方向(基準方向とも言う)とは逆の方向に生じている状態である。換言すれば、複数の捕捉位置のうち、第1捕捉位置から第2捕捉位置に向けたずれの方向が、特定部分の変位方向に対応する基準方向とは逆である状態である。また、第2順序異常状態は、複数の捕捉位置において、第2捕捉位置が基準とされて、該第2捕捉位置に係る第2撮影タイミングよりも前の第1撮影タイミングに係る第1捕捉位置の第2捕捉位置からのずれが、特定部分の変位方向に対応する基準方向に生じている状態である。換言すれば、複数の捕捉位置のうち、第2捕捉位置から第1捕捉位置に向けたずれの方向が、特定部分の変位方向に対応する基準方向である状態である。
ここでは、例えば、図54で示されるように、解析対象フレーム画像群に係る複数の捕捉位置をそれぞれ示す複数の曲線Cvnの撮影順に応じた配列順が、実際の横隔膜の変位方向とは整合していない順序異常状態が認識される。順序異常状態の認識方法としては、例えば、上述したクロス異常状態の第3認識方法と類似した方法が考えられる。
図63は、順序異常状態の認識方法の一例を説明するための図である。該認識方法では、例えば、特定部分としての横隔膜の変位方向に対応するY方向に伸びる評価ラインEL2が、変位方向としてのY方向に略直交するX方向における複数の曲線Cvnの一端から他端にかけて走査される。このとき、例えば、特定部分としての横隔膜の実際の変位方向を正の方向とし、2つの曲線Cvnと評価ラインEL2との交点の時間経過に応じた変位量が、評価ラインEL2の走査中に常に負であれば、第1順序異常状態の存在が認識される。また、例えば、特定部分としての横隔膜の実際の変位方向を正の方向とし、2つの曲線Cvnと評価ラインEL2との交点の時間の遡及に応じた変位量が、評価ラインEL2の走査中に常に正であれば、第2順序異常状態の存在が認識される。
図63には、横隔膜の実際の変位方向が+Y方向であって、撮影順に従えば、曲線Cv1〜Cv4がこの順に上から並ぶべきところ、曲線Cv4,Cv2,Cv1,Cv3の順に上から並んでいる例が示されている。つまり、曲線Cv1と曲線Cv2との間における時間経過に応じた変位量が負であり、曲線Cv3と曲線Cv4との間における時間経過に応じた変位量が負である第1順序異常状態が例示されている。また、曲線Cv1と曲線Cv2との間における時間の遡及に応じた変位量が正であり、曲線Cv3と曲線Cv4との間における時間の遡及に応じた変位量が正である第2順序異常状態が例示されている。
但し、特定部分としての横隔膜の実際の変位方向を正の方向として、評価ラインEL2上の2つの曲線Cvn間における時間経過に応じた変位量の正負が、評価ラインEL2の走査中に逆転すれば、その逆転した位置においてクロス異常状態の存在が認識される。
なお、ここでは、評価ラインEL2が走査されたが、これに限られず、2つの曲線Cvnが重畳していないことが分かっていれば、1以上のX座標についての解析によって、順序異常状態の存在が認識され得る。2つの曲線Cvnが重畳していないことは、上述した重畳点検出処理と同様な処理によって判定され得る。また、ここでは、曲線Cvnの一端から他端にかけた全ての部分について、順序異常状態の存在が認識されたが、これに限られず、例えば、構造物の外縁が複数の部分に分割され、各部分について、順序異常状態の存在が認識されても良い。但し、このような認識方法では、順序異常状態およびクロス異常状態の何れが存在しているのかと言った判別がなされない。しかしながら、順序異常状態およびクロス異常状態の双方を異常状態として検出するケースであれば、このような認識方法が採用されても問題が生じ難い。
<(7−1−3−3−3)不整合位置特定部413bA>
不整合位置特定部413bAは、順序異常認識部413dによる順序異常状態の識別結果に応じて、第2撮影タイミングに係る第2捕捉位置を不整合捕捉位置として特定する。例えば、順序異常認識部413dによる第1順序異常状態の認識に応じて、第2撮影タイミングに係る第2捕捉位置が不整合捕捉位置として特定される。また、例えば、順序異常認識部413dによる第2順序異常状態の認識に応じて、第2撮影タイミングに係る第2捕捉位置が不整合捕捉位置として特定されても良い。これにより、不整合捕捉位置が容易に検出され得る。
ここでは、例えば、図63で示されるように、曲線Cv1から該曲線Cv1よりも後の撮影タイミングに係る曲線Cv2に向けたずれ方向が、実際の特定部分の変位方向に対応する基準方向としての+Y方向とは逆である。また、曲線Cv3から該曲線Cv3よりも後の撮影タイミングに係る曲線Cv4に向けたずれ方向が、実際の特定部分の変位方向に対応する基準方向としての+Y方向とは逆である。この場合、例えば、曲線Cv1で示される捕捉位置が基準としての整合捕捉位置とされると、曲線Cv3で示される捕捉位置が整合捕捉位置とされ、曲線Cv2および曲線Cv4で示される捕捉位置が不整合捕捉位置として特定される。なお、図63で示される例では、曲線Cv2から該曲線Cv2よりも前の撮影タイミングに係る曲線Cv1に向けたずれ方向が、実際の特定部分の変位方向に対応する基準方向に相当する。また、曲線Cv4から該曲線Cv4よりも前の撮影タイミングに係る曲線Cv3に向けたずれ方向が、実際の特定部分の変位方向に対応する基準方向に相当する。この場合、例えば、曲線Cv2で示される捕捉位置が基準としての整合捕捉位置とされるとともに、曲線Cv4で示される捕捉位置が整合捕捉位置とされ、曲線Cv1および曲線Cv3で示される捕捉位置が不整合捕捉位置として特定される態様が採用されても良い。
<(7−1−3−4)分布異常状態に係る不整合捕捉位置の検出>
図64は、不整合位置検出部413において分布異常状態に係る不整合捕捉位置を検出するために実現される機能的な構成を示すブロック図である。図64で示されるように、不整合位置検出部413は、分布異常認識部413eおよび不整合位置特定部413bBを備えている。
<(7−1−3−4−1)分布異常認識部413e>
分布異常認識部413eは、異常状態認識処理としての分布異常状態認識処理を実行する。分布異常状態認識処理は、分布異常状態を認識する処理である。分布異常状態は、複数の捕捉位置の一方向におけるずれ量が、予め設定された基準量を超えている状態である。
ここでは、例えば、図55で示されるように、解析対象フレーム画像群に係る複数の捕捉位置の一方向としての+Y方向におけるずれ量が、予め設定された基準値を超えている分布異常状態が認識される。分布異常状態の認識方法としては、例えば、次の認識方法が考えられる。
図65は、分布異常状態の認識方法の一例を説明するための図である。該認識方法では、複数の捕捉位置の一方向におけるずれ量に対応する、複数の曲線Cvnの代表位置が一方向に分布している領域の幅が、閾値としての基準量を超えている分布異常状態が認識される。ここで、曲線Cvnの代表位置は、曲線Cvnが存在している位置を代表する位置である。そして、例えば、曲線Cvnの代表位置が、曲線Cvnの重心Gpnであれば、分布異常状態の認識に要する演算が容易となる。
なお、特定部分としての横隔膜の変位方向が分かっている場合には、変位方向に対応する基準方向おける複数の重心Gpnが分布している領域の幅が求められることで、分布異常状態の認識精度が向上し得る。なお、変位方向を示す情報は、例えば、上述した位相変化情報取得処理あるいは位相変化情報取得処理と同様な処理によって得られる。
図65には、複数の曲線Cv1〜Cv4のうちの曲線Cv1で示される捕捉位置が分布異常状態を生じさせている例が示されている。ここでは、例えば、曲線Cv1の重心Gp1の座標が(100,30)であり、曲線Cv2の重心Gp2の座標が(100,45)であり、曲線Cv3の重心Gp3の座標が(100,50)であり、曲線Cv4の重心Gp4の座標が(100,55)である。ここで、例えば、閾値としての基準量が20に設定されていれば、変位方向に対応するY方向において複数の重心Gp1〜Gp4が分布している領域の幅が、基準量である20を超える25であるため、分布異常状態の存在が認識される。
<(7−1−3−4−2)不整合位置特定部413bB>
不整合位置特定部413bBは、分布異常認識部413eによる分布異常状態の認識に応じて、各捕捉位置の一方向における位置と、予め設定されたルールとに基づき、複数の捕捉位置から不整合捕捉位置を特定する。これにより、不整合捕捉位置が容易に検出され得る。
ここでは、例えば、複数の捕捉位置のうち、一方向において、複数の捕捉位置に係る共通の代表位置から最も離れている個別の代表位置に係る捕捉位置が不整合捕捉位置として特定されるルールが採用され得る。
例えば、図65には、複数の捕捉位置に係る共通の代表位置として、複数の捕捉位置を示す曲線Cv1〜Cv4の重心の変位方向に対応するY方向の位置(すなわちY座標)が破線Gm0で示されている。そして、変位方向に対応するY方向において、複数の捕捉位置を示す曲線Cv1〜Cv4の各代表位置としての重心Gp1〜Gp4のうち、破線Gm0から最も離れている重心Gp1に係る曲線Cv1で示される捕捉位置が、不整合捕捉位置として特定される。
また、例えば、分布異常認識部413eによって分布異常状態が認識されなくなるまで、分布異常認識部413eによる分布異常状態の認識と、不整合位置特定部413bBによる不整合捕捉位置の特定とが繰り返されて、1以上の不整合捕捉位置が特定される。
<(7−1−3−5)複数種類の異常状態に係る不整合捕捉位置の検出>
以上では、クロス異常状態、順序異常状態および分布異常状態のうちの1種類の異常状態が生じているケースを例にとって、不整合捕捉位置を特定する方法について説明したが、2種類以上の異常状態が併発するケースもあり得る。例えば、第1の種類の異常状態であるクロス異常状態と、第2の種類の異常状態である分布異常状態とが併発する場合が考えられる。また、例えば、第1の種類の異常状態としての順序異常状態と、第2の種類の異常状態としての分布異常状態とが併発する場合も考えられる。
図66は、不整合位置検出部413においてクロス異常状態および分布異常状態に係る不整合捕捉位置を検出するために実現される機能的な構成を示すブロック図である。図66で示されるように、不整合位置検出部413は、クロス異常認識部413a、分布異常認識部413eおよび不整合位置特定部413bCを備えている。
ここで、第1認識部としてのクロス異常認識部413aが、複数の捕捉位置のうちの1以上の捕捉位置が特定部分の動作の傾向とは整合していないクロス異常状態を認識する。また、第2認識部としての分布異常認識部413eが、複数の捕捉位置のうちの1以上の捕捉位置が特定部分の動作の傾向とは整合していない分布異常状態を認識する。なお、クロス異常認識部413aによるクロス異常状態の認識方法、および分布異常認識部413eによる分布異常状態の認識方法については、それぞれ上述した方法が採用されれば良い。そして、不整合位置特定部413bCが、クロス異常認識部413aによって認識されたクロス異常状態および分布異常認識部413eによって認識された分布異常状態と、予め設定されたルールとに基づき、不整合捕捉位置を特定する。このような構成が採用されることで、特定部分の動作の傾向とは整合していない不整合捕捉位置がさらに精度良く検出され得る。
また、不整合位置特定部413bCでは、例えば、複数の捕捉位置のうち、クロス異常状態および分布異常状態の双方を生じさせている捕捉位置が、不整合捕捉位置として特定されるルールが採用され得る。
図67は、クロス異常状態と分布異常状態とが併発している際における不整合捕捉位置の特定方法を説明するための図である。図67で示される例では、曲線Cv1と曲線Cv2とが交差しているクロス異常状態と、変位方向に対応するY方向において複数の重心Gp1〜Gp4が分布している領域の幅が基準量を超えている分布異常状態とが併発している。さらに、変位方向に対応するY方向において、複数の捕捉位置をそれぞれ示す曲線Cv1〜Cv4の代表位置としての重心Gp1〜Gp4のうち、曲線Cv1に係る重心Gp1が破線Gm0から最も離れている。つまり、図67には、曲線Cv1が、クロス異常状態および分布異常状態の双方を生じさせている。
図67で示されているケースでは、クロス異常状態および分布異常状態の双方を生じさせている曲線Cv1で示される捕捉位置が、不整合捕捉位置として特定される。これにより、不整合捕捉位置である確率が高い捕捉位置が不整合捕捉位置として検出される。さらに、不整合位置として特定される捕捉位置の総数が低減されることで、後述する補正等に要する演算量の低減による処理の高速化が図られる。
また、不整合位置特定部413bCでは、例えば、分布異常状態の発生に対する影響の度合いに応じて、不整合捕捉位置が特定されるルールが採用されても良い。この場合、例えば、複数の捕捉位置のうち、第1捕捉位置とは異なる残余の捕捉位置と該第1捕捉位置とのずれ量に係る評価値(ずれ評価値とも言う)が、予め設定された条件を満たしていれば、第1捕捉位置が不整合捕捉位置として特定される態様が考えられる。この態様では、例えば、ずれ評価値と、予め設定された評価基準値との比較結果に応じて、第1捕捉位置が不整合捕捉位置として特定される。より具体的には、例えば、ずれ評価値が、評価基準値によって規定される値域に属していれば、第1捕捉位置が不整合捕捉位置として特定される。
図68は、クロス異常状態と分布異常状態とが併発している際における不整合捕捉位置の特定方法を説明するための図である。図68で示される例では、曲線Cv3と曲線Cv4とが交差しているクロス異常状態と、変位方向に対応するY方向において複数の重心Gp1〜Gp4が分布している領域の幅が基準量を超えている分布異常状態とが併発している。さらに、変位方向に対応するY方向において、複数の捕捉位置をそれぞれ示す曲線Cv1〜Cv4の代表位置としての重心Gp1〜Gp4のうち、曲線Cv1に係る重心Gp1が破線Gm0から最も離れている。なお、図68では、破線Gm0は、複数の捕捉位置に係る共通の代表位置として、複数の捕捉位置を示す曲線Cv1〜Cv4の重心の変位方向に対応するY方向の位置(すなわちY座標)を示している。このように、図68で示される例では、曲線Cv3と曲線Cv4とがクロス異常状態を生じさせ、少なくとも第1捕捉位置としての曲線Cv1が分布異常状態を生じさせている。
このケースでは、例えば、分布異常状態を生じさせている曲線Cv1とは異なる残余の曲線Cv2〜Cv4と曲線Cv1とのずれ量に係るずれ評価値が、予め設定された条件を満たしていれば、第1捕捉位置としての曲線Cv1が不整合捕捉位置として特定される。このとき、例えば、曲線Cv2〜Cv4と曲線Cv1とのずれ量に係るずれ評価値と、評価基準値との比較結果に応じて、第1捕捉位置としての曲線Cv1が不整合捕捉位置として特定される。ここで、曲線Cv2〜Cv4と曲線Cv1とのずれ量に係るずれ評価値として、例えば、変位方向としてのY方向における曲線Cv2〜Cv4の重心Gm1と曲線Cv1の重心Gp1とのずれ量が採用され得る。この場合、例えば、該ずれ評価値が、評価基準値よりも大きな値域に属する条件を満たせば、第1捕捉位置としての曲線Cv1による分布異常状態の発生に対する影響度が大きく、第1捕捉位置としての曲線Cv1が不整合捕捉位置として特定される態様が考えられる。なお、上記ずれ評価値として、例えば、変位方向としてのY方向における曲線Cv2〜Cv4の重心Gm1と曲線Cv1の重心Gp1とのずれ量の逆数等、その他の値が採用されても良い。例えば、ずれ評価値としてずれ量の逆数が採用される場合には、該ずれ量の逆数が評価基準値よりも小さな値域に属する条件を満たせば、曲線Cv1による分布異常状態の発生に対する影響度が大きく、第1捕捉位置としての曲線Cv1が不整合捕捉位置として特定される態様が考えられる。
また、このケースでは、第1捕捉位置としての曲線Cv1が不整合捕捉位置として特定された後、例えば、クロス異常状態を生じさせている曲線Cv3,Cv4のうちの一方の曲線に係る捕捉位置が不整合捕捉位置として特定される態様が採用され得る。このとき、例えば、クロス異常状態を生じさせている曲線Cv3,Cv4のそれぞれの重心Gp3,Gp4のうち、変位方向としてのY方向において残余の曲線Cv2〜Cv4の重心Gm1から最も離れた重心に係る捕捉位置が不整合捕捉位置として特定される。
また、不整合位置特定部413bCでは、例えば、分布異常状態の発生に対する影響の度合いおよび不整合位置の総数の低減の何れを重視するのかを示すルールが設定され、該ルールに応じて、不整合捕捉位置が特定されても良い。例えば、分布異常状態を生じさせている第1捕捉位置とは異なる残余の捕捉位置と該第1捕捉位置とのずれ量に係るずれ評価値と、クロス異常状態を生じさせている第2捕捉位置が他の捕捉位置と交差している交差回数とに基づき、不整合捕捉位置が特定されても良い。このとき、例えば、ずれ評価値と交差回数との関係に応じて、第1および第2捕捉位置の何れかが優先的に不整合捕捉位置として特定される態様が考えられる。
具体的には、例えば、次のようなルールに従って不整合捕捉位置が特定される態様が採用され得る。まず、交差回数が予め設定された第1の回数または第1の回数の範囲内であり、ずれ評価値が予め設定された第1閾値以下であれば、クロス異常状態を生じさせている第2捕捉位置が優先的に不整合捕捉位置として特定される。一方、交差回数が第1の回数または第1の回数の範囲内であり、ずれ評価値が第1閾値を超えていれば、分布異常状態を生じさせている第1捕捉位置が優先的に不整合捕捉位置として特定される。また、交差回数が予め設定された第2の回数または第2の回数の範囲内であり、ずれ評価値が予め設定された第2閾値以下であれば、クロス異常状態を生じさせている第2捕捉位置が優先的に不整合捕捉位置として特定される。一方、交差回数が第2の回数または第2の回数の範囲内であり、ずれ評価値が第2閾値を超えていれば、分布異常状態を生じさせている第1捕捉位置が優先的に不整合捕捉位置として特定される。
なお、分布異常状態に係る認識および不整合捕捉位置の特定に関しては、例えば、各曲線Cvnの重心GpnのX座標が異なっていても、特定部分としての横隔膜の変位方向が分かっていれば、変位方向に係るY座標のみについて演算が行われても良い。また、分布異常状態に係る認識および不整合捕捉位置の特定に関しては、例えば、複数の曲線CvnがX方向の複数のX座標の値域の部分に分割され、X座標の値域毎に演算が行われても良い。このような構成が採用されれば、曲線Cvnが示す各捕捉位置の全体が不整合捕捉位置として特定されるだけでなく、例えば、不整合捕捉位置を示す曲線Cvnが、不整合捕捉部分AFp0と整合捕捉部分Fp0とに区分けされ得る。
図69は、不整合位置検出部413において順序異常状態および分布異常状態に係る不整合捕捉位置を検出するために実現される機能的な構成を示すブロック図である。図69で示されるように、不整合位置検出部413は、順序異常認識部413d、分布異常認識部413eおよび不整合位置特定部413bDを備えている。
ここで、第1認識部としての順序異常認識部413dが、複数の捕捉位置のうちの1以上の捕捉位置が特定部分の動作の傾向とは整合していない第1の種類としての順序異常状態を認識する。この順序異常状態には、第1順序異常状態と第2順序異常状態とが含まれ得る。ここでは、第1順序異常状態は、例えば、複数の捕捉位置において、第2捕捉位置を基準として、第3捕捉位置の第2捕捉位置からのずれが、変位方向に対応する基準方向とは逆の方向に生じている状態である。なお、第3捕捉位置は、複数の捕捉位置のうち、第1捕捉位置に係る第1撮影タイミングとは異なる第2捕捉位置に係る第2撮影タイミングよりも後の第3撮影タイミングに係る捕捉位置である。また、第2順序異常状態は、例えば、複数の捕捉位置において、第3捕捉位置を基準として、第2捕捉位置の第3捕捉位置からのずれが、変位方向に対応する基準方向に生じている状態である。また、第2認識部としての分布異常認識部413eが、複数の捕捉位置のうちの1以上の捕捉位置が特定部分の動作の傾向とは整合していない分布異常状態を認識する。なお、順序異常認識部413dによる順序異常状態の認識方法、および分布異常認識部413eによる分布異常状態の認識方法については、それぞれ上述した方法が採用されれば良い。そして、不整合位置特定部413bDが、順序異常認識部413dによって認識された順序異常状態および分布異常認識部413eによって認識された分布異常状態と、予め設定されたルールとに基づき、不整合捕捉位置を特定する。このような構成が採用されることで、特定部分の動作の傾向とは整合していない不整合捕捉位置がさらに精度良く検出され得る。
不整合位置特定部413bDでは、例えば、不整合位置特定部413bCと同様に、分布異常状態の発生に対する影響の度合いに応じて、不整合捕捉位置が特定されるルールが採用される。この場合、例えば、複数の捕捉位置のうち、第1捕捉位置とは異なる残余の捕捉位置と該第1捕捉位置とのずれ量に係るずれ評価値が、予め設定された条件を満たしていれば、第1捕捉位置が不整合捕捉位置として特定される態様が考えられる。この態様では、例えば、ずれ評価値と、予め設定された評価基準値との比較結果に応じて、第1捕捉位置が不整合捕捉位置として特定される。より具体的には、例えば、ずれ評価値が、評価基準値によって規定される値域に属していれば、第1捕捉位置が不整合捕捉位置として特定される。
また、不整合位置特定部413bDでは、例えば、第1捕捉位置が不整合捕捉位置として特定される場合(第1ケースとも言う)と、第1捕捉位置が不整合捕捉位置として特定されない場合(第2ケースとも言う)とで、異なる処理が行われる。
第1ケースでは、例えば、複数の捕捉位置のうち、第1捕捉位置、第2捕捉位置および第3捕捉位置とは異なる残余の捕捉位置と第2捕捉位置とのずれ量に係るずれ評価値が、予め設定された条件を満たしていれば、第2捕捉位置が不整合捕捉位置として特定される。また、第1ケースでは、例えば、複数の捕捉位置のうち、第1捕捉位置、第2捕捉位置および第3捕捉位置とは異なる残余の捕捉位置と第3捕捉位置とのずれ量に係るずれ評価値が、予め設定された条件を満たしていれば、第3捕捉位置が前記不整合捕捉位置として特定される。
一方、第2ケースでは、例えば、複数の捕捉位置のうち、第1捕捉位置および第2捕捉位置とは異なる残余の捕捉位置と第1捕捉位置とのずれ量に係るずれ評価値が、予め設定された条件を満たしていれば、第3捕捉位置が不整合捕捉位置として特定される。また、第2ケースでは、例えば、複数の捕捉位置のうち、第1捕捉位置および第3捕捉位置とは異なる残余の捕捉位置と第1捕捉位置とのずれ量に係るずれ評価値が、予め設定された条件を満たしていれば、第2捕捉位置が不整合捕捉位置として特定される。
図70は、順序異常状態と分布異常状態とが併発している際における不整合捕捉位置の特定方法を説明するための図である。図70で示される例では、曲線Cv3と曲線Cv4とが実際の横隔膜の動作の傾向とは整合していない順序異常状態と、横隔膜の変位方向に対応するY方向において複数の重心Gp1〜Gp5が分布している領域の幅が基準量を超えている分布異常状態とが併発している。さらに、横隔膜の変位方向に対応するY方向において、複数の捕捉位置をそれぞれ示す曲線Cv1〜Cv5の各代表位置としての重心Gp1〜Gp5のうち、曲線Cv5に係る重心Gp5が、破線Gm0から最も離れている。なお、図70では、破線Gm0は、複数の捕捉位置に係る共通の代表位置として、複数の捕捉位置を示す曲線Cv1〜Cv5の重心の変位方向に対応するY方向の位置(すなわちY座標)を示している。このように、図70で示される例では、少なくとも第1捕捉位置としての曲線Cv5が分布異常状態を生じさせ、第2捕捉位置としての曲線Cv3と第3捕捉位置としての曲線Cv4とが順序異常状態を生じさせている。
この例では、例えば、分布異常状態を生じさせている曲線Cv5とは異なる残余の曲線Cv1〜Cv4と曲線Cv5とのずれ量に係るずれ評価値が、予め設定された条件を満たしていれば、第1捕捉位置としての曲線Cv5が不整合捕捉位置として特定される。このとき、例えば、曲線Cv1〜Cv4と曲線Cv5とのずれ量に係るずれ評価値が、予め設定された条件を満たせば、第1捕捉位置としての曲線Cv5が不整合捕捉位置として特定される。
ここで、曲線Cv1〜Cv4と曲線Cv5とのずれ量に係るずれ評価値として、例えば、変位方向としてのY方向における曲線Cv1〜Cv4の重心Gm1と曲線Cv5の重心Gp5とのずれ量が採用され得る。この場合、例えば、該ずれ評価値が、評価基準値よりも大きな値域に属していれば、第1捕捉位置としての曲線Cv5による分布異常状態の発生に対する影響度が大きく、第1捕捉位置としての曲線Cv5が不整合捕捉位置として特定される態様が考えられる。なお、上記ずれ評価値として、例えば、変位方向としてのY方向における曲線Cv1〜Cv4の重心Gm1と曲線Cv1の重心Gp5とのずれ量の逆数等、その他の値が採用されても良い。このように、ずれ評価値としてずれ量の逆数が採用される場合には、該ずれ量の逆数が評価基準値よりも小さな値域に属していれば、曲線Cv5による分布異常状態の発生に対する影響度が大きく、第1捕捉位置としての曲線Cv5が不整合捕捉位置として特定される態様が考えられる。
そして、この例では、例えば、第1捕捉位置としての曲線Cv5が不整合捕捉位置として特定される第1ケースと、第1捕捉位置としての曲線Cv5が不整合捕捉位置として特定されない第2ケースとで、異なる処理が行われる。
第1ケースでは、例えば、複数の捕捉位置としての曲線Cv1〜Cv5のうち、第1〜3捕捉位置としての曲線Cv5,Cv3,Cv4とは異なる残余の捕捉位置としての曲線Cv1,Cv2と曲線Cv3とのずれ量に係るずれ評価値が、予め設定された条件を満たせば、曲線Cv3が不整合捕捉位置として特定される。このとき、例えば、曲線Cv1,Cv2と曲線Cv3とのずれ量に係るずれ評価値と、評価基準値との比較結果に応じて、曲線Cv3が不整合捕捉位置として特定される。より具体的には、例えば、ずれ評価値が、評価基準値によって規定される値域に属していれば、曲線Cv3が不整合捕捉位置として特定される。ここでは、曲線Cv1,Cv2と曲線Cv3とのずれ量に係るずれ評価値として、例えば、変位方向としてのY方向における曲線Cv1,Cv2の重心Gm11と曲線Cv3の重心Gp3とのずれ量が採用され得る。この場合、例えば、該ずれ評価値が、評価基準値よりも大きな値域に属していれば、仮に、曲線Cv3が整合捕捉位置とされ、曲線Cv4が不整合捕捉位置とされれば、分布異常状態が生じる。このため、曲線Cv3が不整合捕捉位置として特定される。
また、第1ケースでは、例えば、複数の捕捉位置としての曲線Cv1〜Cv5のうち、第1〜3捕捉位置としての曲線Cv5,Cv3,Cv4とは異なる残余の捕捉位置としての曲線Cv1,Cv2と曲線Cv4とのずれ量に係るずれ評価値が、予め設定された条件を満たせば、曲線Cv4が不整合捕捉位置として特定される。このとき、例えば、曲線Cv1,Cv2と曲線Cv4とのずれ量に係るずれ評価値と、評価基準値との比較結果に応じて、曲線Cv4が不整合捕捉位置として特定される。より具体的には、例えば、ずれ評価値が、評価基準値によって規定される値域に属していれば、曲線Cv4が不整合捕捉位置として特定される。ここでは、曲線Cv1,Cv2と曲線Cv4とのずれ量に係るずれ評価値として、例えば、変位方向としてのY方向における曲線Cv1,Cv2の重心Gm11と曲線Cv4の重心Gp4とのずれ量が採用され得る。この場合、例えば、該ずれ評価値が、評価基準値よりも大きな値域に属していれば、仮に、曲線Cv4が整合捕捉位置とされ、曲線Cv3が不整合捕捉位置とされれば、分布異常状態が生じる。このため、曲線Cv4が不整合捕捉位置として特定される。
次に、第2ケースでは、例えば、複数の捕捉位置としての曲線Cv1〜Cv5のうち、第1,2捕捉位置としての曲線Cv5,Cv3とは異なる残余の捕捉位置としての曲線Cv1,Cv2,Cv4と曲線Cv5とのずれ量に係るずれ評価値が、予め設定された条件を満たせば、曲線Cv4が不整合捕捉位置として特定される。このとき、例えば、曲線Cv1,Cv2,Cv4と曲線Cv5とのずれ量に係るずれ評価値と、評価基準値との比較結果に応じて、曲線Cv4が不整合捕捉位置として特定される。より具体的には、例えば、ずれ評価値が、評価基準値によって規定される値域に属していれば、曲線Cv4が不整合捕捉位置として特定される。ここで、曲線Cv1,Cv2,Cv4と曲線Cv5とのずれ量に係るずれ評価値として、例えば、変位方向としてのY方向における曲線Cv1,Cv2,Cv4の重心Gm12と曲線Cv1の重心Gp5とのずれ量が採用され得る。この場合、例えば、該ずれ評価値が、評価基準値よりも大きな値域に属していれば、仮に、曲線Cv4が整合捕捉位置とされ、曲線Cv3が不整合捕捉位置とされれば、曲線Cv5による分布異常状態が生じる。このため、曲線Cv4が不整合捕捉位置として特定される。
また、第2ケースでは、例えば、複数の捕捉位置としての曲線Cv1〜Cv5のうち、第1,3捕捉位置としての曲線Cv5,Cv4とは異なる残余の捕捉位置としての曲線Cv1〜Cv3と曲線Cv5とのずれ量に係るずれ評価値が、予め設定された条件を満たせば、曲線Cv3が不整合捕捉位置として特定される。このとき、例えば、曲線Cv1〜Cv3と曲線Cv5とのずれ量に係るずれ評価値と、評価基準値との比較結果に応じて、曲線Cv3が不整合捕捉位置として特定される。より具体的には、例えば、ずれ評価値が、評価基準値によって規定される値域に属していれば、曲線Cv3が不整合捕捉位置として特定される。ここで、曲線Cv1〜Cv3と曲線Cv5とのずれ量に係るずれ評価値として、例えば、変位方向としてのY方向における曲線Cv1〜Cv3の重心Gm13と曲線Cv1の重心Gp5とのずれ量が採用され得る。この場合、例えば、該ずれ評価値が、評価基準値よりも大きな値域に属していれば、仮に、曲線Cv3が整合捕捉位置とされ、曲線Cv4が不整合捕捉位置とされれば、曲線Cv5による分布異常状態が生じる。このため、曲線Cv3が不整合捕捉位置として特定される。
なお、ここでは、一旦、分布異常状態に関して、ずれ評価値が用いられて捕捉位置が不整合捕捉位置であるか否かが特定され、その後、順序異常状態に係る不整合捕捉位置が特定される際に、更にずれ評価値が用いられたが、これに限られない。例えば、一旦、分布異常状態に関して、ずれ評価値が用いられて捕捉位置が不整合捕捉位置であるか否かが特定された後には、順序異常状態に係る不整合捕捉位置が特定される際に、ずれ評価値が用いられない態様が採用されても良い。
<(7−1−4)不整合位置補正部414>
不整合位置補正部414は、不整合位置検出部413によって検出された不整合捕捉位置を補正する。これにより、位置抽出部411で得られた後処理後の対象領域が、不整合位置補正部414によって補正される。
例えば、不整合位置補正部414では、各不整合捕捉位置が、複数の捕捉位置のうちの不整合捕捉位置を除く残余の捕捉位置の情報に基づいて補正される。これにより、不整合捕捉位置が容易に補正され得る。そして、このような残余の捕捉位置の情報に基づいた不整合捕捉位置の補正方法としては、例えば、補間処理を用いた補正方法、および不整合捕捉位置として特定されていない捕捉位置(整合捕捉位置とも言う)の形状を利用した補正方法等が考えられる。また、例えば、特定部分が捉えられた領域の形状に係るモデルを、整合捕捉位置から求められる位置に合わせ込む補正方法等、その他の補正方法が採用されても良い。
また、例えば、上記不整合位置特定部413b等によって、不整合捕捉位置が、不整合捕捉部分AFp0と整合捕捉部分Fp0とに区分けされ、不整合位置補正部414によって、整合捕捉部分Fp0を利用した不整合捕捉位置の補正が行われても良い。これにより、不整合捕捉位置の補正に要する演算量が低減され、補正処理の効率化が図られ得る。
以下、補間処理を用いた補正方法、整合捕捉位置の形状を利用した補正方法、モデルを合わせ込む補正方法、および整合捕捉部分Fp0を利用した補正方法について説明する。
<(7−1−4−1)補間処理を用いた補正方法>
不整合位置補正部414が、複数の捕捉位置のうちの不整合捕捉位置を除く残余の捕捉位置を用いた補間処理によって、各不整合捕捉位置を補正する態様が考えられる。これにより、不整合捕捉位置が効率良く補正され得る。
ここで、補間処理には、例えば、不整合捕捉位置に係る撮影タイミングを挟む2以上のタイミングにおける撮影に対応し且つ不整合捕捉位置として特定されていない2つの捕捉位置の各中間点を結ぶ捕捉位置を生成する処理等が含まれる。なお、各中間点は、例えば、捕捉位置の変位方向に対応するY方向に沿った中間点であれば良い。また、補間処理として、例えば、不整合捕捉位置に係る撮影タイミングに非常に近いタイミングの撮影に対応する2以上の整合捕捉位置等から特定部分としての横隔膜の変位速度を求め、補正後の捕捉位置を予測する処理が採用されても良い。
図71は、補間処理を用いた補正方法の一例を説明するための図である。図71には、曲線Cv1〜Cv5が示す複数の捕捉位置のうち、曲線Cv2が示す捕捉位置が不整合捕捉位置として特定され、該不整合捕捉位置としての曲線Cv2が曲線Cv2rに補正される例が示されている。図71では、不整合捕捉位置としての曲線Cv2が破線で描かれた曲線で示され、補正後の捕捉位置としての曲線Cv2rが一点鎖線で描かれた曲線で示されている。そして、補正後の曲線Cv2rが、曲線Cv2に係る撮影タイミングを挟む2つのタイミングの撮影に対応し且つ不整合捕捉位置と特定されていない捕捉位置に係る曲線Cv1および曲線Cv3を用いた補間処理によって生成される例が示されている。
<(7−1−4−2)整合捕捉位置の形状を利用した補正方法>
不整合位置補正部414が、複数の捕捉位置のうちの不整合捕捉位置を除く残余の整合捕捉位置の一部分の形状の適用によって、不整合捕捉位置を補正する態様が考えられる。これにより、不整合捕捉位置が効率良く補正され得る。
図72は、整合捕捉位置の形状を利用して不整合捕捉位置を補正する方法の一例を説明するための図である。図72には、曲線Cv1〜Cv5が示す複数の捕捉位置のうち、曲線Cv2が示す捕捉位置がクロス異常状態を生じている不整合捕捉位置として特定され、該不整合捕捉位置としての曲線Cv2が曲線Cv2rに補正される例が示されている。図72では、不整合捕捉位置としての曲線Cv2が破線で描かれた曲線で示され、補正後の捕捉位置としての曲線Cv2rが一点鎖線で描かれた曲線で示されている。
ここでは、例えば、2以上の整合捕捉位置から求められる位置(基準位置とも言う)に、整合捕捉位置としての曲線Cv1,Cv3〜Cv5のうちの一部分である曲線Cv3の形状が適用されることで、補正後の曲線Cv2rが生成される。ここで、基準位置は、例えば、不整合捕捉位置に係る撮影タイミングの前後の2以上のタイミングにおける撮影に対応する2以上の整合捕捉位置から求められる。具体的には、例えば、不整合捕捉位置としての曲線Cv2に係る撮影タイミングを前後に挟む2つのタイミングにおける撮影に対応する整合捕捉位置としての曲線Cv1,Cv3の−X側または+X側の端部を結ぶ線分の中点が、基準位置とされる態様が考えられる。そして、該基準位置に、曲線Cv3の形状が合わせ込まれることで、補正後の捕捉位置としての曲線Cv2rが生成される。
<(7−1−4−3)モデルを合わせ込む補正方法>
図73で示されるように、不整合位置補正部414は、例えば、モデル取得部414aおよびモデル調整部414bを備えている。モデル取得部414aは、特定部分としての横隔膜が捉えられた領域の形状に係るモデルを得る。また、モデル調整部414bは、複数の捕捉位置のうちの不整合捕捉位置を除く残余の整合捕捉位置に基づいて求められる基準位置に、モデル取得部414aで取得されたモデルの一部が配置されるように、モデルの位置合わせを行う。これにより、不整合捕捉位置が効率良く補正され得る。
ここで、モデルを示すデータについては、例えば、記憶部42の各種データD1内に含まれている態様が考えられる。モデルを示すデータは、例えば、多数の被検者から得られる実際のデータおよび学術的な知見等から生成され得る。また、モデルについては、特定部分としての横隔膜の変位に係る位相の変化に対し、複数の位相にそれぞれ対応する複数のモデルが準備されていても良い。この場合、例えば、モデル取得部414aによって、複数のモデルのうち、基準位置に係る位相に対応するモデルが取得される態様が考えられる。ここでは、基準位置は、例えば、2以上の整合捕捉位置から求められる。具体的には、不整合捕捉位置に係る撮影タイミングの前後の2以上のタイミングにおける撮影に対応する2以上の整合捕捉位置から求められる。また、モデルの一部は、例えば、モデルの端点および中点等と言った容易に特定可能な特徴的な点であれば良い。
図74は、モデルを合わせ込むことで不整合捕捉位置を補正する方法の一例を説明するための図である。図74には、曲線Cv1〜Cv5で示す複数の捕捉位置のうち、曲線Cv2が示す捕捉位置がクロス異常状態を生じている不整合捕捉位置として特定され、該不整合捕捉位置としての曲線Cv2が曲線Cv2rに補正される例が示されている。図74では、不整合捕捉位置としての曲線Cv2が破線で描かれた曲線で示され、補正後の捕捉位置としての曲線Cv2rが一点鎖線で描かれた曲線で示され、モデルMd0の形状が破線で描かれた曲線で示されている。
ここでは、例えば、2以上の整合捕捉位置から求められる基準位置St0に、モデルMd0の一部Ed0が配置されるように、モデルMd0の位置合わせが行われることで、補正後の曲線Cv2rが生成される。ここでは、例えば、不整合捕捉位置としての曲線Cv2に係る撮影タイミングを前後に挟む2つのタイミングにおける撮影に対応する整合捕捉位置としての曲線Cv1,Cv3の+X側または−X側の端部を結ぶ線分の中点が、基準位置St0とされる。図74には、曲線Cv1,Cv3の−X側の端部を結ぶ線分の中点が基準位置St0とされている一例が示されている。そして、基準位置St0に、モデルMd0の一部Ed0としての−X側の端部が合わせ込まれることで、補正後の捕捉位置としての曲線Cv2rが生成される。
<(7−1−4−4)整合捕捉部分を用いた補正方法>
図73で示されるように、不整合位置補正部414は、例えば、モデル取得部414aAおよびモデル調整部414bAを備えている。モデル取得部414aAは、特定部分としての横隔膜が捉えられた領域の一部の形状に係る部分モデルを得る。また、モデル調整部414bAは、部分モデルの位置合わせを行うことで整合捕捉部分Fp0に部分モデルを連結する。これにより、不整合捕捉位置の補正精度が確保されつつ、不整合捕捉位置が効率良く補正され得る。なお、整合捕捉部分Fp0は、例えば、上記不整合位置特定部413b等によって、不整合捕捉位置を示す曲線Cvnが、予め設定されたルールに応じて、不整合捕捉部分AFp0と整合捕捉部分Fp0とに区分けされることで得られる。
ここで、部分モデルを示すデータについては、例えば、記憶部42の各種データD1内のモデルを示すデータから一部が切り出されることで取得され得る。モデルについては、例えば、特定部分としての横隔膜の変位に係る複数の位相にそれぞれ応じた複数のモデルが準備される。そして、例えば、モデル取得部414aAによって、複数のモデルのうち、補正の対象としての不整合捕捉位置の整合捕捉部分Fp0に係る位相に対応するモデルが抽出される。次に、モデル取得部414aAによって、抽出されたモデルのうち、不整合捕捉位置に対応する一部分(部分モデル)が得られる。さらに、例えば、モデル取得部414aAによって得られた部分モデルが、モデル調整部414bAによって、補正の対象としての不整合捕捉位置の整合捕捉部分Fp0のうちの不整合捕捉部分AFp0と接していた部分に連結される。これにより、相互に連結された整合捕捉部分Fp0と部分モデルとからなる補正後の捕捉位置が得られる。
図75および図76は、整合捕捉部分を用いた補正方法の一例を説明するための図である。図75および図76には、捕捉位置としての曲線Cv1〜Cv7のうちの曲線Cv3〜Cv5が不整合捕捉位置とされ、該曲線Cv3〜Cv5が、不整合捕捉部分AFp0と整合捕捉部分Fp0とに区分けされた例が示されている。図75および図76では、不整合捕捉部分AFp0が太い破線で描かれた曲線で示され、整合捕捉部分Fp0が太い実線で描かれた曲線で示され、曲線Cv5の整合捕捉部分Fp0の位相に対応するモデルMd0の形状が太い破線で描かれた曲線で示されている。
ここでは、図76で示されるように、例えば、モデルMd0のうち、曲線Cv5の不整合捕捉部分AFp0に対応する一部分(部分モデル)Mp1が抽出される。図76には、特定部分の変位方向に対応する方向がY方向であり、モデルMd0のうち、不整合捕捉部分AFp0のX座標に対応する一部分が部分モデルMp1として抽出される例が示されている。そして、部分モデルMp1の位置合わせが行われることで、曲線Cv5のうちの整合捕捉部分Fp0の不整合捕捉部分AFp0と接している部分に該部分モデルMp1が連結される。これにより、補正後の捕捉位置としての曲線Cv5rが生成される。該曲線Cv5rは、曲線Cv5の整合捕捉部分Fp0と部分モデルMp1とが連結されたものである。図76では、曲線Cv5の整合捕捉部分Fp0に連結された部分モデルMp1が太線で描かれている。
なお、ここでは、部分モデルMp1が、予め準備されたモデルの一部から得られたが、これに限られない。例えば、部分モデルMp1として、例えば、不整合捕捉位置の撮影タイミングに近いタイミングの撮影に係る整合捕捉位置の一部分が採用されても良い。この場合、例えば、整合補正位置としての曲線Cv6のうち、不整合捕捉部分AFp0のX座標に対応する一部分が部分モデルMp1として抽出されれば良い。また、例えば、不整合捕捉位置の撮影タイミングに近い2以上のタイミングの撮影に係る2以上の整合捕捉位置から部分モデルMp1が生成されても良い。
<(7−1−5)対象領域抽出部415>
対象領域抽出部415は、不整合位置補正部414によって補正された対象領域に基づき、フレーム画像I0から対象領域としての肺野領域の画像を抽出する。なお、ここでは、フレーム画像I0の代わりにフレーム画像IC0から対象領域としての肺野領域の画像が抽出されても良い。
<(8)一実施形態のまとめ>
以上のように、本実施形態に係る画像処理装置としての演算装置4では、体内の対象部位を捉えた医療用の動態画像を構成する複数のフレーム画像から、対象部位としての肺野の予め設定された特定部分としての横隔膜を捉えた捕捉位置がそれぞれ抽出される。また、複数のフレーム画像について抽出された複数の捕捉位置のうち、該複数の捕捉位置に係る空間的な関係が特定部分としての横隔膜の動作の傾向とは整合していない1以上の不整合捕捉位置が検出され、該1以上の不整合捕捉位置が補正される。つまり、特定部分としての横隔膜の動作の傾向とは整合していない1以上の不整合捕捉位置が検出され、該1以上の不整合捕捉位置が補正される。これにより、体内の構造物の動きが捉えられた医療用の生体画像から対象部位としての肺野が捉えられた領域が精度良く抽出され得る。すなわち、横隔膜を含む肺野が捉えられた領域が精度良く抽出される。
<(9)変形例>
なお、本発明は上述の一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
例えば、上記一実施形態では、ステップ1において、動態画像を構成する一連の全フレーム画像I0について、一度に特定部分の捕捉位置が抽出されたが、これに限られない。例えば、動態画像を構成する一連のフレーム画像I0が複数のグループに区切られて、グループ毎にステップ1の処理が順次に実行されても良い。このとき、各グループが、ステップ2で決定されるフレーム画像群とされ、その後、フレーム画像群毎に、ステップ1,3,4の処理が順次に行われる態様も採用可能である。
また、上記一実施形態では、特定部分としての横隔膜の変位の態様に応じた各期間の撮影に係る全フレーム画像I0について、不整合捕捉位置の検出および不整合捕捉位置の補正が実行されたが、これに限られない。例えば、複数のフレーム画像I0が適宜指定され、該複数のフレーム画像I0が対象とされて、不整合捕捉位置の検出および不整合捕捉位置が実行されても良い。適宜指定される複数のフレーム画像I0は、例えば、動態画像において連続する複数のフレーム画像I0のうち、間引かれた数フレーム毎の2以上のフレーム画像I0であっても良いし、離散的な2以上のフレーム画像I0であっても良い。
また、例えば、異常状態が生じる疑いのある複数のフレーム画像I0に限定して、不整合捕捉位置の検出および不整合捕捉位置の補正が実行されても良い。例えば、心拍および体動等と言った大きな動きが生じるタイミングの前後において、異常状態が生じ易い。このため、大きな動きの直前に撮影されたフレーム画像I0ならびにその数フレーム後に撮影されたフレーム画像I0等が対象とされて、不整合捕捉位置の検出および不整合捕捉位置の補正が実行されても良い。ここで、心拍による大きな動きは、例えば、心室が収縮するタイミング等において生じ得る。なお、不整合補正位置の検出によって、体動等による大きな動きが確認されたフレーム画像I0の後のフレーム画像I0についても、大きな動きに応じた不整合補正位置の補正と同様な補正が施されるような態様が採用されても良い。
また、上記一実施形態では、特定部分としての横隔膜の変位の態様に応じた各期間に対応するフレーム画像群毎に、クロス異常状態が認識されたが、これに限られない。特定部分としての横隔膜は、通常の呼吸においては、時間順次に変位する横隔膜が捉えられた複数の捕捉位置が相互に交差することはない。このため、例えば、動態画像を構成する一連の全フレーム画像I0について、クロス異常状態の存在の有無について認識が実行されても良い。
また、上記一実施形態では、撮影の対象がヒトであったが、これに限られない。例えば、撮影の対象はヒト以外の動物であっても良い。
また、上記一実施形態では、対象部位が肺野であったが、これに限られない。例えば、対象部位は各種関節等、体内において変位を生じるその他の部位であっても良い。
また、上記一実施形態では、特定部分が横隔膜であったが、これに限られない。例えば、特定部分は、呼吸に応じて変位する胸郭および肋骨等であっても良く、拍動に応じて変位する心臓および大動脈等であっても良い。また、特定部分は、例えば、随意運動によって変位する大腿骨および鎖骨等であっても良い。
また、上記一実施形態では、特定部分が一方向としての+Y方向または−Y方向に変位する例が挙げられたが、これに限られない。該特定部分が変位する一方向は、例えば、+X方向または−X方向であっても良いし、X方向の成分とY方向の成分とが合成された方向であっても良い。
また、上記一実施形態では、X線撮影によって体内の構造物の撮影が行われたが、これに限られない。例えば、CT、MRIおよび超音波等を用いたその他の手法によって体内の構造物が捉えられた動態画像が得られても良い。
また、上記一実施形態では、特定部分の捕捉位置が、曲線で示されたが、これに限られない。例えば、特定部分の一部の捕捉位置のみが抽出される場合には、捕捉位置が、曲線の一部分によって示される。具体的には、例えば、捕捉位置が、2以上の曲線の組合せ、点と曲線の組合せおよび2以上の点からなる点群等によって示される場合がある。但し、フレーム画像I0について、捕捉位置の1点しか抽出されなければ、クロス異常状態を認識することはできない。一方、各フレーム画像I0について、捕捉位置を示す2以上の部分が抽出され、複数のフレーム画像I0の間において、該2以上の部分が特定部分の変位方向に沿ってシフトしている関係にあれば、クロス異常状態の認識を行うことが可能である。この場合、2以上の部分について、変位方向に沿って複数の捕捉位置が並んでいる順序が認識され、該2以上の部分の間で、複数の捕捉位置が並ぶ順序が異なっていれば、クロス異常状態の存在が認識され得る。
図77は、一変形例に係るクロス異常状態の認識方法を説明するための図である。図77には、1つのフレーム画像から捕捉位置としての2点P11,P12が抽出され、他のフレーム画像から捕捉位置としての2点P21,P22が抽出された例が示されている。図77で示されるように、変位方向(ここではY方向)における点P11,P21の配列順と点P12,P22の配列順とが逆であれば、クロス異常状態の存在が認識される。
また、上記一実施形態では、不整合捕捉位置の補正が行われたが、不整合捕捉位置の補正方法としては、上述したものに限られない。例えば、不整合捕捉位置が検出されたフレーム画像IC0を対象とした捕捉位置の抽出が再度行われることで、不整合捕捉位置が補正されても良い。ここでは、フレーム画像IC0を対象とした捕捉位置の再度の抽出は、例えば、少なくとも不整合捕捉位置に係るフレーム画像IC0に対して実行されれば良い。但し、捕捉位置の抽出を再度行う際には、同一の抽出処理が行われることで同一の不整合捕捉位置が検出されないように、例えば、不整合捕捉位置が検出されていないフレーム画像IC0および整合捕捉位置等に基づいて、捕捉位置の抽出方法が変更されれば良い。
ここでは、例えば、次の処理A〜Cが順に実行される態様が考えられる。
[処理A]位置抽出部411によって、体内の対象部位を捉えた医療用の動態画像を構成する複数のフレーム画像I0から、対象部位の予め設定された特定部分が捉えられた捕捉位置がそれぞれ抽出される。
[処理B]不整合位置検出部413によって、上記処理Aで抽出された複数の捕捉位置のうち、複数の捕捉位置に係る空間的な関係が特定部分の動作の傾向とは整合していない不整合捕捉位置ならびに2以上の整合捕捉位置が検出される。ここで、整合捕捉位置は、上記処理Aで抽出された複数の捕捉位置のうち、複数の捕捉位置に係る空間的な関係が特定部分の動作の傾向と整合している捕捉位置である。
[処理C]不整合位置補正部414により、上記処理Bによる不整合捕捉位置の検出に応じて、位置抽出部411に、複数のフレーム画像のうちの不整合捕捉位置に対応するフレーム画像を対象として、2以上の整合捕捉位置に応じた領域から捕捉位置を抽出させる。
ここで、2以上の整合捕捉位置に応じた領域としては、例えば、不整合捕捉位置の撮影タイミングを前後に挟む2以上のタイミングの撮影に係る2以上の整合捕捉位置の中間点を含む領域等であれば良い。これにより、例えば、粗検出処理におけるテンプレートマッチングの対象となる画像領域の変更等が行われれば良い。このようにして、特定部分の動作の傾向とは整合していない不整合捕捉位置が検出され、捕捉位置が再度抽出されることで、体内の構造物の動きが捉えられた医療用の生体画像から対象部位が捉えられた領域が精度良く抽出され得る。
なお、上記処理Cでは、処理Bによる不整合捕捉位置の検出に応じて、位置抽出部411に、複数のフレーム画像のうちの不整合捕捉位置に対応するフレーム画像を対象として、処理Bで検出された1つの整合捕捉位置に応じた領域から捕捉位置を抽出させても良い。すなわち、処理Cでは、処理Bによる不整合捕捉位置の検出に応じて、位置抽出部411に、複数のフレーム画像のうちの不整合捕捉位置に対応するフレーム画像を対象として、処理Bで検出された整合捕捉位置に応じた領域から捕捉位置を抽出させれば良い。ここでは、1つの整合捕捉位置に応じた領域が、例えば、不整合捕捉位置の撮影タイミングに近い1つのタイミングの撮影に係る整合捕捉位置と、特定部分としての横隔膜の変位方向とに基づいて設定される態様が考えられる。
なお、上記一実施形態では、ステップ1においてステップ11〜16の処理が行われたが、各ステップ11〜16における処理は、上述した処理内容のものに限られず、例えば、種々の異なる処理内容が実行されるものであっても良い。
なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
1 撮影装置
2 撮影制御装置
4 演算装置
41 制御部
100 医療支援システム
411 位置抽出部
412 フレーム画像群決定部
413 不整合位置検出部
413a クロス異常認識部
413b,413bA〜413bD 不整合位置特定部
413c 変位方向取得部
413d 順序異常認識部
413e 分布異常認識部
414 不整合位置補正部
414a,414aA モデル取得部
414b,414bA モデル調整部
415 対象領域抽出部
AFp0 不整合捕捉部分
Ed0 一部
Fp0 整合捕捉部分
I0,I1〜I10,IC0,IN0 フレーム画像
Md0 モデル
Mp1 部分モデル
P1 吸気期間
P2 呼気期間
P3 停滞期間
Pg1 プログラム

Claims (21)

  1. 体内の対象部位を捉えた医療用の動態画像を構成する複数のフレーム画像から、前記対象部位の予め設定された特定部分が捉えられた捕捉位置をそれぞれ抽出する抽出部と、
    前記抽出部によって抽出された複数の前記捕捉位置のうち、該複数の捕捉位置に係る空間的な関係が前記特定部分の動作の傾向とは整合していない不整合捕捉位置を検出する検出部と、
    前記検出部によって検出された前記不整合捕捉位置を補正する補正部と、
    を備える画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記特定部分が、
    各前記フレーム画像において線状の領域として捉えられ、
    前記検出部が、
    前記複数の捕捉位置について1以上の捕捉位置が他の捕捉位置と交差しているクロス異常状態を認識する交差異常認識部と、
    前記交差異常認識部によって認識された前記クロス異常状態と、予め設定された第1ルールとに基づき、前記複数の捕捉位置のうちの相互に交差している2以上のクロス捕捉位置から、前記不整合捕捉位置を特定する特定部と、
    を有する画像処理装置。
  3. 請求項2に記載の画像処理装置であって、
    前記特定部が、
    前記2以上のクロス捕捉位置のうち、他のクロス捕捉位置と交差している回数が多いクロス捕捉位置から順に、前記不整合捕捉位置として特定する処理を、前記2以上のクロス捕捉位置のうちの前記不整合捕捉位置として特定されたクロス捕捉位置を除く残余のクロス捕捉位置がなくなるまで実行するか、あるいは前記2以上のクロス捕捉位置のうち、他のクロス捕捉位置と交差している回数が少ないクロス捕捉位置から順に、前記整合捕捉位置として特定する処理を、該整合捕捉位置として特定されたクロス捕捉位置と交差していないクロス捕捉位置がなくなるまで実行する画像処理装置。
  4. 請求項1に記載の画像処理装置であって、
    前記検出部が、
    前記複数の捕捉位置の一方向におけるずれ量が、予め設定された基準量を超えている分布異常状態を認識する分布異常認識部と、
    前記分布異常認識部による前記分布異常状態の認識に応じて、各前記捕捉位置の前記一方向における位置と、予め設定された第2ルールとに基づき、前記複数の捕捉位置から前記不整合捕捉位置を特定する特定部と、
    を有する画像処理装置。
  5. 請求項1に記載の画像処理装置であって、
    前記検出部が、
    時間の経過に応じた前記特定部分の変位方向に係る情報を取得する変位方向取得部と、
    前記複数の捕捉位置において、第1捕捉位置を基準として、該第1捕捉位置に係る第1撮影タイミングよりも後の第2撮影タイミングに係る第2捕捉位置の前記第1捕捉位置からのずれが、前記変位方向に対応する基準方向とは逆の方向に生じている第1順序異常状態、あるいは前記複数の捕捉位置において、前記第2捕捉位置を基準として、前記第1捕捉位置の前記第2捕捉位置からのずれが、前記基準方向に生じている第2順序異常状態を認識する順序異常認識部と、
    前記順序異常認識部による前記第1順序異常状態の認識に応じて、前記第2捕捉位置を前記不整合捕捉位置として特定し、前記順序異常認識部による前記第2順序異常状態の認識に応じて、前記第1捕捉位置を前記不整合捕捉位置として特定する特定部と、
    を有する画像処理装置。
  6. 請求項1に記載の画像処理装置であって、
    前記検出部が、
    前記複数の捕捉位置のうちの1以上の捕捉位置が前記特定部分の動作の傾向とは整合していない第1の種類の異常状態を認識する第1認識部と、
    前記複数の捕捉位置のうちの1以上の捕捉位置が前記特定部分の動作の傾向とは整合していない第2の種類の異常状態を認識する第2認識部と、
    前記第1の種類の異常状態および前記第2の種類の異常状態と、予め設定された第3ルールとに基づき、前記不整合捕捉位置を特定する特定部と、
    を有する画像処理装置。
  7. 請求項6に記載に記載の画像処理装置であって、
    前記第1の種類の異常状態が、
    前記複数の捕捉位置において1以上の捕捉位置が他の捕捉位置と交差しているクロス異常状態であり、
    前記第2の種類の異常状態が、
    前記複数の捕捉位置の一方向におけるずれ量が、予め設定された基準量を超えている分布異常状態であり、
    前記特定部が、
    前記複数の捕捉位置のうち、前記クロス異常状態および前記分布異常状態の双方を生じている捕捉位置を、前記不整合捕捉位置として特定する画像処理装置。
  8. 請求項6に記載に記載の画像処理装置であって、
    前記第2の種類の異常状態が、
    前記複数の捕捉位置の一方向におけるずれ量が、予め設定された基準量を超えている分布異常状態であり、
    前記特定部が、
    前記複数の捕捉位置のうち、第1捕捉位置とは異なる残余の捕捉位置と該第1捕捉位置とのずれ量に係る評価値が、予め設定された条件を満たしていれば、前記第1捕捉位置を前記不整合捕捉位置として特定する画像処理装置。
  9. 請求項8に記載に記載の画像処理装置であって、
    前記第1の種類の異常状態が、
    前記複数の捕捉位置において、第2捕捉位置を基準として、前記第1捕捉位置に係る第1撮影タイミングとは異なる前記第2捕捉位置に係る第2撮影タイミングよりも後の第3撮影タイミングに係る第3捕捉位置の前記第2捕捉位置からのずれが、前記変位方向に対応する基準方向とは逆の方向に生じている状態を含んでおり、
    前記特定部が、
    前記第1捕捉位置を前記不整合捕捉位置として特定するとともに、前記複数の捕捉位置のうち、前記第1捕捉位置、前記第2捕捉位置および前記第3捕捉位置とは異なる残余の捕捉位置と前記第2捕捉位置とのずれ量に係る評価値が、前記条件を満たしていれば、前記第2捕捉位置を前記不整合捕捉位置として特定し、前記複数の捕捉位置のうち、前記第1捕捉位置、前記第2捕捉位置および前記第3捕捉位置とは異なる残余の捕捉位置と前記第3捕捉位置とのずれ量に係る評価値が、前記条件を満たしていれば、前記第3捕捉位置を前記不整合捕捉位置として特定する画像処理装置。
  10. 請求項8に記載に記載の画像処理装置であって、
    前記第1の種類の異常状態が、
    前記複数の捕捉位置において、第2捕捉位置を基準として、前記第1捕捉位置に係る第1撮影タイミングとは異なる前記第2捕捉位置に係る第2撮影タイミングよりも後の第3撮影タイミングに係る第3捕捉位置の前記第2捕捉位置からのずれが、前記変位方向に対応する基準方向とは逆の方向に生じている状態を含んでおり、
    前記特定部が、
    前記第1捕捉位置を前記不整合捕捉位置として特定しない場合には、前記複数の捕捉位置のうち、前記第1捕捉位置および前記第2捕捉位置とは異なる残余の捕捉位置と前記第1捕捉位置とのずれ量に係る評価値が、前記条件を満たしていれば、前記第3捕捉位置を前記不整合捕捉位置として特定し、前記複数の捕捉位置のうち、前記第1捕捉位置および前記第3捕捉位置とは異なる残余の捕捉位置と前記第1捕捉位置とのずれ量に係る評価値が、前記条件を満たしていれば、前記第2捕捉位置を前記不整合捕捉位置として特定する画像処理装置。
  11. 請求項1から請求項10の何れか1つの請求項に記載の画像処理装置であって、
    前記補正部が、
    前記複数の捕捉位置のうちの前記不整合捕捉位置を除く残余の捕捉位置に基づいて、前記不整合捕捉位置を補正する画像処理装置。
  12. 請求項11に記載の画像処理装置であって、
    前記補正部が、
    前記残余の捕捉位置の一部分の形状の適用によって、前記不整合捕捉位置を補正する画像処理装置。
  13. 請求項11に記載の画像処理装置であって、
    前記補正部が、
    前記残余の捕捉位置を用いた補間処理によって、前記不整合捕捉位置を補正する画像処理装置。
  14. 請求項11に記載の画像処理装置であって、
    前記補正部が、
    前記特定部分が捉えられた領域の形状に係るモデルを得るモデル取得部と、
    前記残余の捕捉位置に基づいて求められる基準位置に前記モデルの一部が配置されるように、前記モデルの位置合わせを行うモデル調整部と、
    を有する画像処理装置。
  15. 請求項2または請求項3に記載の画像処理装置であって、
    前記特定部が、
    予め設定された第4ルールに応じて、前記不整合捕捉位置を、前記特定部分の前記動作の傾向とは整合していない不整合捕捉部分と、前記特定部分の前記動作の傾向と整合している整合捕捉部分とに区分けし、
    前記補正部が、
    前記整合捕捉部分を利用した前記不整合捕捉部分の補正によって、前記不整合捕捉位置を補正する画像処理装置。
  16. 請求項15に記載の画像処理装置であって、
    前記補正部が、
    前記特定部分が捉えられた領域の一部の形状に係る部分モデルを得るモデル取得部と、
    前記部分モデルの位置合わせを行うことで前記整合捕捉部分に前記部分モデルを連結するモデル調整部と、
    を有する画像処理装置。
  17. 請求項1に記載の画像処理装置であって、
    前記検出部が、
    前記抽出部によって抽出された複数の前記捕捉位置のうち、該複数の捕捉位置に係る空間的な関係が前記特定部分の動作の傾向とは整合していない不整合捕捉位置、ならびに該複数の捕捉位置に係る空間的な関係が前記特定部分の動作の傾向と整合している整合捕捉位置を検出し、
    前記補正部が、
    前記検出部による前記不整合捕捉位置の検出に応じて、前記抽出部に、前記複数のフレーム画像のうちの前記不整合捕捉位置に対応するフレーム画像を対象として、前記整合捕捉位置に応じた領域から前記捕捉位置を抽出させることで、前記検出部によって検出された前記不整合捕捉位置を補正する画像処理装置。
  18. 請求項1から請求項17の何れか1つの請求項に記載の画像処理装置であって、
    前記複数のフレーム画像が、
    前記特定部分が第1方向に変位している第1変位期間において前記特定部分が時間順次に捉えられた第1フレーム画像群、前記特定部分が前記第1方向とは反対の第2方向に変位している第2変位期間において前記特定部分が時間順次に捉えられた第2フレーム画像群、および前記第1変位期間と前記第2変位期間との合間に前記特定部分が停滞している停滞期間において前記特定部分が時間順次に捉えられた第3フレーム画像群の少なくとも1つのフレーム画像群を含む画像処理装置。
  19. 請求項18に記載の画像処理装置であって、
    前記対象部位が、
    肺野を含み、
    前記画像処理装置が、
    前記肺野による呼吸の方法に応じて、前記第1から第3フレーム画像群の少なくとも1つのフレーム画像群を、前記複数のフレーム画像として決定するフレーム決定部、をさらに備える画像処理装置。
  20. 請求項1から請求項19の何れか1つの請求項に記載の画像処理装置であって、
    前記特定部分が、
    横隔膜を含む画像処理装置。
  21. 画像処理装置に含まれる制御部において実行されることにより、前記画像処理装置を、請求項1から請求項20の何れか1つの請求項に記載の画像処理装置として機能させるプログラム。
JP2014011301A 2014-01-24 2014-01-24 画像処理装置、およびプログラム Expired - Fee Related JP6221770B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014011301A JP6221770B2 (ja) 2014-01-24 2014-01-24 画像処理装置、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014011301A JP6221770B2 (ja) 2014-01-24 2014-01-24 画像処理装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2015136566A true JP2015136566A (ja) 2015-07-30
JP6221770B2 JP6221770B2 (ja) 2017-11-01

Family

ID=53767980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014011301A Expired - Fee Related JP6221770B2 (ja) 2014-01-24 2014-01-24 画像処理装置、およびプログラム

Country Status (1)

Country Link
JP (1) JP6221770B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017189394A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 情報処理装置および情報処理システム
JP2017205187A (ja) * 2016-05-17 2017-11-24 コニカミノルタ株式会社 動態解析システム
JP2017205142A (ja) * 2016-05-16 2017-11-24 コニカミノルタ株式会社 動態解析システム
JP2018064848A (ja) * 2016-10-21 2018-04-26 コニカミノルタ株式会社 動態解析システム
JP2018532515A (ja) * 2015-11-09 2018-11-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. X線画像吸気品質モニタリング
CN110418607A (zh) * 2017-02-28 2019-11-05 株式会社岛津制作所 图像处理方法
JP2020048864A (ja) * 2018-09-27 2020-04-02 コニカミノルタ株式会社 撮影制御装置、放射線画像撮影装置及び放射線画像撮影システム
JP2020157120A (ja) * 2016-05-17 2020-10-01 コニカミノルタ株式会社 動態解析システム
CN112529881A (zh) * 2020-12-16 2021-03-19 国网江苏省电力有限公司检修分公司 一种电力控制柜线缆异常识别方法及装置
US11461900B2 (en) * 2019-03-08 2022-10-04 Konica Minolta, Inc. Dynamic image analysis system and dynamic image processing apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013191061A1 (ja) * 2012-06-20 2013-12-27 コニカミノルタ株式会社 画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013191061A1 (ja) * 2012-06-20 2013-12-27 コニカミノルタ株式会社 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊佐周平: "胸部4D−MR画像に基づく肺腫瘍トラッキング", 電子情報通信学会技術研究報告, vol. 113, no. 410, JPN6017024981, 19 January 2014 (2014-01-19), pages 199 - 204, ISSN: 0003594302 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018532515A (ja) * 2015-11-09 2018-11-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. X線画像吸気品質モニタリング
JP7004648B2 (ja) 2015-11-09 2022-01-21 コーニンクレッカ フィリップス エヌ ヴェ X線画像吸気品質モニタリング
JP2017189394A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 情報処理装置および情報処理システム
JP2017205142A (ja) * 2016-05-16 2017-11-24 コニカミノルタ株式会社 動態解析システム
JP2020157120A (ja) * 2016-05-17 2020-10-01 コニカミノルタ株式会社 動態解析システム
JP2017205187A (ja) * 2016-05-17 2017-11-24 コニカミノルタ株式会社 動態解析システム
JP2018064848A (ja) * 2016-10-21 2018-04-26 コニカミノルタ株式会社 動態解析システム
CN110418607A (zh) * 2017-02-28 2019-11-05 株式会社岛津制作所 图像处理方法
CN110418607B (zh) * 2017-02-28 2023-02-24 株式会社岛津制作所 图像处理方法
JP2020048864A (ja) * 2018-09-27 2020-04-02 コニカミノルタ株式会社 撮影制御装置、放射線画像撮影装置及び放射線画像撮影システム
JP7077899B2 (ja) 2018-09-27 2022-05-31 コニカミノルタ株式会社 撮影制御装置、放射線画像撮影装置、放射線画像撮影システム及びプログラム
US11461900B2 (en) * 2019-03-08 2022-10-04 Konica Minolta, Inc. Dynamic image analysis system and dynamic image processing apparatus
CN112529881A (zh) * 2020-12-16 2021-03-19 国网江苏省电力有限公司检修分公司 一种电力控制柜线缆异常识别方法及装置
CN112529881B (zh) * 2020-12-16 2024-02-27 国网江苏省电力有限公司检修分公司 一种电力控制柜线缆异常识别方法及装置

Also Published As

Publication number Publication date
JP6221770B2 (ja) 2017-11-01

Similar Documents

Publication Publication Date Title
JP6221770B2 (ja) 画像処理装置、およびプログラム
JP6350522B2 (ja) 画像処理装置及びプログラム
KR20190028422A (ko) 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법
WO2012153539A1 (ja) 医用画像処理装置とその方法
JP5943353B2 (ja) 画像処理装置及び画像処理方法
US10628963B2 (en) Automatic detection of an artifact in patient image
JP6001783B2 (ja) 神経繊維構造の定位
JP5510619B1 (ja) 画像処理装置
JP6729994B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017097836A (ja) 画像処理装置、画像処理方法および超音波診断装置
Lee et al. Retinal atlas statistics from color fundus images
KR101659056B1 (ko) 2차원 기술자를 이용한 두개골유합증 자동진단시스템 및 이를 이용한 두개골유합증 자동진단방법
JP7439990B2 (ja) 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法
JP2015131057A (ja) 画像処理装置、およびプログラム
JP7404857B2 (ja) 画像判定装置、画像判定方法及びプログラム
JP5747878B2 (ja) 画像処理装置及びプログラム
He et al. An Automatic Assessment Model of Adenoid Hypertrophy in MRI Images based on Deep Convolutional Neural Networks
JP2021532903A (ja) 医療装置を撮像するためのコンセンサス面の決定
JP5051025B2 (ja) 画像生成装置、プログラム、および画像生成方法
US11062452B2 (en) Image processing apparatus, image processing method and non-transitory computer-readable medium
JP6253992B2 (ja) 臓器位置推定装置、臓器位置推定装置の制御方法および臓器位置推定装置の制御プログラム
JP2015112150A (ja) 画像処理装置、およびプログラム
JP2016171961A (ja) 画像処理装置、画像処理方法、及びプログラム
Adibatti et al. Design and performance analysis of Cobb angle measurement from X-ray images
KR20240136566A (ko) 심층학습을 이용한 골성숙도 평가 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170918

R150 Certificate of patent or registration of utility model

Ref document number: 6221770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees