JP2022020078A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】リアルタイム性と安定性とを備えた照射野認識を行う技術を提供する。【解決手段】放射線画像から放射線の照射野を判定する画像処理装置は、放射線画像の各位置が照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測部と、放射線画像を解析して、放射線画像の各位置が照射野の所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する画像解析部と、予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、照射野の所定の部分を決定する認識部と、を備える。【選択図】 図１

Description

本発明は、たとえば放射線を用いた透視及び撮影により医用画像を取得する画像処理装置、画像処理方法、及び、プログラムに関する。

医療分野では、被検体に放射線を照射して被検体を透過した放射線を検出することにより被検体の透視撮影画像を得る、放射線撮影装置が広く利用されている。この種の放射線撮影装置では、放射線照射部に放射線絞りが設けられており、この放射線絞りを用いて、診断上必要な範囲のみを放射線照射野とする部分透視撮影が行われる（例えば、特許文献１）。このような部分透視撮影は、人体である被検体への不要な放射線照射を抑制し、被検体の放射線被ばく量を低減することができるため、非常に有用である。

特開２０１３－１２８５８５号公報

部分透視撮影により得られる撮影画像には、放射線照射野が制限されることにより、診断上有用な情報を持つ照射野領域のほかに、診断上有用な情報を持たない照射野外領域が含まれる。この照射野外領域は、診断上不要な領域である。従って、例えば、部分透視撮影による撮影画像を表示装置に表示する際には、照射野外領域のみをマスクしたり、照射野領域を切り出して拡大表示したり、照射野外領域を階調処理に用いるための特徴量算出処理の範囲外としたりすることが有効である。

上述のような処理を行うためには、放射線撮影装置が、画像上の照射領域と照射野外領域とを切り分ける照射野認識装置を備えることが要求される。特に、１５～３０フレーム／秒で放射線画像を生成しながら、放射線絞りを動かして放射線照射野として適切な場所を探索する放射線透視においては、リアルタイム性と、失敗や振動を抑制可能な安定性とが、照射野認識に求められる。

本発明は、リアルタイム性と安定性とを備えた照射野認識を行う技術を提供する。

本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
放射線画像から放射線の照射野を判定する画像処理装置であって、
前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測手段と、
前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析手段と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定手段と、を備える。

本発明によれば、放射線画像に対し、リアルタイム性と安定性とを備えた照射野認識を行うことが可能になる。

第１実施形態による放射線撮影装置の概略の構成例を示す図。 第１実施形態による照射野認識部１１３の処理手順を示すフローチャート。 第１実施形態による照射野認識部１１３の入出力の一例を示す図。 予測部１１４の出力の一例を示す図。 画像解析部１１５の出力の一例を示す図。 画像解析部１１５の具体例を示す図。 第２実施形態による照射野認識部１１３の処理手順を示すフローチャート。 第２実施形態による照射野認識部１１３の入出力の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
（概略構成）
図１は、第１実施形態による放射線撮影装置１００の構成例を示す図である。放射線撮影装置１００は、放射線発生部１０１、放射線絞り１０２、放射線検出器１０５、データ収集部１０６、前処理部１０７、ＣＰＵ１０８、記憶部１０９、メインメモリ１１０、操作部１１１、表示部１１２、照射野認識部１１３、画像処理部１１８を含む。また、各部はＣＰＵバス１１９を介して接続されており、互いにデータ授受が可能である。

メインメモリ１１０は、ＣＰＵ１０８により実行される各種プログラムを記憶するとともに、ＣＰＵ１０８の処理に必要なワーキングメモリとして機能する。ＣＰＵ１０８は、メインメモリ１１０に記憶されている所定のプログラムを実行することにより、操作部１１１からのユーザー操作及び、記憶部１０９に記憶されているパラメータに従って、装置全体の動作制御等を行う。

操作部１１１を介してユーザーから撮影指示が入力されると、この撮影指示はＣＰＵ１０８によりデータ収集部１０６に伝えられる。データ収集部１０６は、撮影指示を受けると、放射線発生部１０１及び放射線検出器１０５を制御してそれらに放射線撮影を実行させる。放射線撮影では、まず放射線発生部１０１が、被検体１０４に対して放射線ビーム１０３を照射する。被検体１０４は、放射線撮影の対象である。放射線発生部１０１から照射された放射線ビーム１０３は、放射線絞り１０２によって照射範囲が制限され、被検体１０４を透過して、放射線検出器１０５に到達する。そして、放射線検出器１０５は到達した放射線ビーム１０３の強度に応じた信号を出力する。放射線絞り１０２は、例えば、上下左右に１枚ずつ配置され、平板状の鉛等から構成された絞り羽根であり、矩形の開口を形成する。放射線絞り１０２は、例えば、ＣＰＵ１０８から供給される放射線絞りの制御情報によって、上下左右それぞれ非対称に移動可能に構成される。これにより、放射線検出器１０５に照射される放射線の照射野が任意の位置に設定される。データ収集部１０６は、放射線検出器１０５から出力された信号をデジタル信号に変換して画像データとして前処理部１０７に供給する。前処理部１０７は、データ収集部１０６から供給された画像データに対して、オフセット補正およびゲイン補正等の前処理を行う。前処理部１０７で前処理が行われた画像データは、ＣＰＵバス１１９を介してメインメモリ１１０、照射野認識部１１３、画像処理部１１８に転送される。

メインメモリ１１０は、転送された画像データを格納する。照射野認識部１１３は、転送された画像データから、放射線検出器１０５に照射された放射線の照射野を認識し、認識された照射野を示す照射野情報を出力する。照射野は、放射線検出器１０５の放射線が照射された領域に対応する。画像処理部１１８は、転送された画像データに対して、照射野認識部１１３により出力された照射野情報に基づく画像処理を行う。このような画像処理としては、例えば、照射野に属する画素値の統計量（平均値、最大・最小値など）に基づく階調処理、照射野に属する画素の切り出し・拡大処理、照射野に属さない画素のマスク処理等が含まれ得る。照射野情報と、上記画像処理が施された画像データは、画像処理済み画像データとして、ＣＰＵバス１１９を介して例えば記憶部１０９、表示部１１２に転送される。記憶部１０９は転送された照射野情報と画像処理済み画像データを記憶する。表示部１１２は転送された照射野情報と画像処理済み画像データを表示する。ユーザーは、表示部１１２に表示された照射野情報および画像処理済み画像データを確認し、操作部１１１を介して必要に応じた操作指示を行うことができる。

（照射野認識フロー）
照射野認識部１１３は、予測部１１４、画像解析部１１５、合成部１１６、認識部１１７を備える。以下、図２に示すフローチャートを参照して、照射野認識部１１３が、放射線画像（画像データ）から照射野を認識して、照射野情報を出力する動作について具体的に説明する。なお、照射野情報は特に限定されるものではないが、本実施形態では、一例として、サイズ（Ｗ，Ｈ）の画像データＩから、固定サイズ（Ｗ_ｃ，Ｈ_ｃ）の矩形形状を有する照射野の中心座標（ｘ_ｃ，ｙ_ｃ）を照射野情報とする場合について説明する（図３）。なお、照射野の形状は矩形に限られるものではなく、他の多角形であってもよい。また、本実施形態の座標とは、画像データＩの左上を原点Ｏとする画像上のインデックスである。

［ステップＳ２０１］ 予測部１１４は、転送された放射線画像（画像データＩ）について、事前情報（後述）に基づいて照射野を予測し、予測結果Ｐを生成する。予測部１１４は、画像データＩの各位置（例えば、各画素）が照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果Ｐを生成する。本例では、照射野の所定の部分とは照射野中心である。予測結果Ｐは、例えば、画素値が照射野中心である確率を示す値を画素値とする画像データとして得られる。本実施形態では、例えば、図４に示されるように、予測結果Ｐは画像データＩと同じサイズ（Ｗ，Ｈ）の画像データであり、座標（ｘ，ｙ）における値Ｐ（ｘ，ｙ）が照射野中心となる確率を０～１までの値で示す。但し、予測結果Ｐの形態はこれに限られるものではない。また、予測部１１４による予測結果Ｐの生成方法について以下にいくつかの例を示すが、これに限定されるものではない。

（予測結果の生成方法１）
予測部１１４は、記憶部１０９に保存されたパラメータに含まれる事前情報を読み込み、事前情報に基づいて予測結果Ｐを生成する。ここで事前情報とは、例えば、放射線撮影装置１００を用いた放射線撮影における照射野中心の分布が、座標（ｘ_ｉ，ｙ_ｉ）を中心とする所定の分布関数に従う（あるいは近似できる）、などの情報である。ここで、所定の分布関数としては、例えば、標準偏差σの正規分布を適用することができる。このとき予測部１１４は、予測結果Ｐを次式［数１］により生成する。

［数１］におけるＰ（ｘ，ｙ）の値域は０より大きくなる。予測部１１４は、照射野中心ではありえない座標（ｘ、ｙ）において値Ｐ（ｘ，ｙ）が十分に小さい場合、その値Ｐ（ｘ，ｙ）を０に設定する。これにより、照射野である確率が０の座標が設定される。また、Ｐ（ｘ，ｙ）の値が１以下となるように、σ^２≦π／２とする。ここでσは予測結果Ｐを表す確率分布の広がりを制御するパラメータである。例えば、σには、予測による照射野中心の信頼度が低ければ大きな値が、信頼度が高ければ小さな値が設定される。こうして、Ｐ（ｘ，ｙ）の最大値は１よりも小さな値をとるようになる。

（予測結果の生成方法２）
また、事前情報に、照射野中心となる複数の座標（ｘ_ｉ，ｙ_ｉ）が存在する場合は、それら複数の座標のそれぞれについて［数１］を用いて予測結果Ｐを求め、得られた複数の予測結果Ｐを合成するようにしてもよい。例えば、事前情報が、３つの照射野中心を示すとともに、積により予測結果を合成することを示しているとする。この場合、予測部１１４は、例えば、［数１］を用いて３つの照射野中心に関して３つの予測結果Ｐ_１，Ｐ_２，Ｐ_３を取得し、これらを次式［数２］を用いて合成することにより予測結果Ｐを生成する。

（予測結果の生成方法３）
さらに、予測部１１４は、例えば放射線撮影の対象である被検体に関わる情報を事前情報として用いて、照射野中心（ｘ_ｉ，ｙ_ｉ）を設定してもよい。例えば、被検体の体格、撮影部位などの情報に基づいて照射野中心が定まる場合、予測部１１４は、操作部１１１を介して予めユーザーが入力したこれらの情報のいずれかを事前情報として用いて照射野中心（ｘ_ｉ，ｙ_ｉ）を設定し、予測結果Ｐを生成する。あるいは、ユーザーにより、操作部１１１から照射野中心の指定が直接に入力される場合、予測部１１４は、指定された照射野中心を事前情報として用いて予測結果Ｐを生成してもよい。照射野中心を直接入力できる場合は、入力される照射野中心と実際の照射野中心とのずれは、例えば放射線発生部１０１、放射線絞り１０２、放射線検出器１０５の物理的な配置誤差等にのみ起因することになり、事前情報の信頼度は高くなる。事前情報の信頼度が高い場合、例えば［数１］により予測結果Ｐが求められる場合、［数１］における標準偏差σを小さくすることで、事前情報の信頼度が考慮された、より適切な予測結果Ｐを生成することが可能になる。

（予測結果の生成方法４）
あるいは、過去に撮影した画像データＩ_ｐｒｅｖの照射野認識結果が事前情報として用いられても良い。この場合、照射野認識部１１３は、過去の画像データＩ_ｐｒｅｖの照射野認識結果あるいは照射野認識の途中で得られた計算結果を記憶部１０９に保存する。予測部１１４はそれらを事前情報として記憶部１０９から読み出す。例えば、照射野認識部１１３は過去の画像データＩ_ｐｒｅｖに対する、予測結果と解析結果を合成して得られた合成結果Ｃ_ｐｒｅｖを記憶部１０９に記憶する。予測部１１４は、この合成結果Ｃ_ｐｒｅｖを記憶部１０９から読み出して画像データＩの予測結果Ｐとする。合成結果Ｃ_ｐｒｅｖについては後述する。

［ステップＳ２０２］ 画像解析部１１５は、転送された放射線画像（画像データＩ）を解析し、照射野の解析結果Ｌを生成する。例えば、画像解析部１１５は、画像データＩを解析して、放射線画像の各位置（例えば、各画素）が照射野の所定の部分となる度合を判定し、判定された度合の分布を表す解析結果Ｌを生成する。本例では、照射野の所定の部分は照射野中心である。従って、解析結果Ｌは、例えば、画素値が照射野中心である確率を示す値を画素値とする画像データとして得られる。但し、解析結果Ｌは、これに限定されるものではない。本実施形態では、例えば、解析結果Ｌは、図５に示されるように、画像データＩと同じサイズ（Ｗ，Ｈ）の画像データであり、座標（ｘ，ｙ）における値Ｌ（ｘ，ｙ）が、照射野の中心である確率を０～１の値で示す。解析結果Ｌの生成方法について以下にいくつかの具体例を示す。但し、解析結果Ｌの生成方法は、以下で説明される生成方法に限定されるものではない。

（画像解析の具体例１）
画像解析の第１の例として、画像データを閾値処理することにより照射野を推定し、推定された照射野から照射野中心を取得する方法を説明する。この方法では、例えば、画像解析部１１５は、画像データＩを所定の閾値Ｔで二値化して二値画像Ｂを取得する。

ここで画像データＩは、放射線検出器１０５への入射線量が大きければ大きな値をとるデータとすると、画像データを二値化した場合、高画素値側、すなわちＢ（ｘ，ｙ）＝１である座標（ｘ，ｙ）が照射野に相当すると考えられる。なお閾値Ｔは、統計的に適当と考えられる値であり、予めパラメータとして記憶部１０９に保存されている。もちろんこれに限られるものではなく、画像解析部１１５が、判別分析法などの画像解析手法を用いて閾値Ｔを求めてもよい。

続いて、画像解析部１１５は、Ｂ（ｘ，ｙ）＝１である領域から、次式［数５］により重心（ｘ_ｇ，ｙ_ｇ）を求める。

［数５］により求まる重心は、画像解析による照射野中心（ｘ_ｇ，ｙ_ｇ）として用いられる。本実施形態における解析結果Ｌは、画像解析による照射野中心（ｘ_ｇ，ｙ_ｇ）を、次式［数６］により確率分布に変換することにより得られる。

なお、［数６］の値域は０より大きいが、照射野中心ではありえない座標（ｘ、ｙ）や、Ｌ（ｘ，ｙ）が十分小さな値をとる座標（ｘ、ｙ）では、Ｌ（ｘ，ｙ）を０に設定することで、照射野である確率が０の座標を設定する。また、Ｌ（ｘ，ｙ）の値は１以下となるように、σ^２≦π／２とする。ここでσは解析結果Ｌを表す確率分布の広がりを制御するパラメータである。σには、好ましくは、画像解析による照射野中心の信頼度が低ければ大きな値が、信頼度が高ければ小さな値が設定される。これにより一般にＬ（ｘ，ｙ）の最大値は１よりも小さな値をとる。以上に説明した閾値Ｔを用いる手法では、放射線検出器１０５への入射線量が大きければ照射野と照射野外を区別しやすいため信頼度は高くなるが、入射線量が小さければ照射野と照射野外を区別し辛いため信頼度が低くなる。

（画像解析の具体例２）
画像解析部１１５は、エッジ検出、ハフ変換等の処理を用いて画像データＩから、放射線検出器１０５に照射された放射線の照射野を抽出し、その中心を画像解析による照射野中心（ｘ_ｇ，ｙ_ｇ）として得る。この方法を用いれば上述の閾値による二値化手法よりも、計算量は多いが信頼度の高い照射野中心（ｘ_ｇ，ｙ_ｇ）を求めることができる。この場合、［数６］を用いて解析結果Ｌを求める際のσに、より小さな値を設定することができる。

（画像解析の具体例３）
画像解析部１１５は、画像データＩを横方向（ｘ軸方向）及び縦方向（ｙ軸方向）に投影して投影データとし、この投影データから画像解析による照射野中心（ｘ_ｇ，ｙ_ｇ）を求める。投影データは、画像データＩの画素値を横方向（ｘ軸方向）及び縦方向（ｙ軸方向）に平均することにより得られる。この方法は、上述した具体例１，２に比べてより簡易な方法である。ここで画像データＩの画素値をｘ軸方向に平均して得られる投影データをＤｘ、ｙ軸方向に平均して得られる投影データをＤｙとすると、投影データＤｘ，Ｄｙは次式で表すことができる。

これらの投影データＤｘ，Ｄｙと、画像データＩとの関係を模式的に示したのが図６である。図６に示すように、投影データＤｘ，Ｄｙは、照射野と照射野外で大きく異なる分布を持つ一次元のデータとなる。よって、隣り合うデータ間の差分が大きな位置を抽出することで照射野端を比較的容易に取得することができる。照射野の上下左右端ｙ_ｔｏｐ，ｙ_{ｂｏｔｔｏｍ}，ｘ_ｌｅｆｔ，ｘ_{ｒｉｇｈｔ}は、例えば次式により、投影データＤｘ，Ｄｙから取得される。

［数８］において、ａｒｇｍａｘ_ｙ（）は括弧内が最大となるときのｙの値を、ａｒｇｍｉｎ_ｙ（）は括弧内が最小となるときのｙの値を表す。また、ａｒｇｍａｘ_ｘ（）は括弧内が最大となるときのｘの値を、ａｒｇｍｉｎ_ｘ（）は括弧内が最大となるときのｙの値を表す。こうして得られた照射野の上下左右端ｙ_ｔｏｐ，ｙ_{ｂｏｔｔｏｍ}，ｘ_ｌｅｆｔ，ｘ_{ｒｉｇｈｔ}から、画像解析による照射野中心（ｘ_ｇ，ｙ_ｇ）は、例えば、次式［数９］により求めることができる。そして、［数９］により得られた照射野中心を、上述の［数６］に適用することで解析結果Ｌが得られる。

（画像解析の具体例４）
画像解析部１１５は、機械学習により照射野中心を推論する推論器を生成し、これを用いて画像解析による照射野中心（ｘ_ｇ，ｙ_ｇ）を求める構成であってもよい。推論器は、予め多数の放射線画像と、それに対応する照射野中心の正解位置との組み合わせを教師データとして用いた教師あり学習（好ましくは深層学習）により生成され得る。推論器は、画像データを入力すると照射野中心の推論結果を、学習により生成された多数のパラメータを用いて算出する計算モデルである。推論器によって生成された照射野中心（ｘ_ｇ，ｙ_ｇ）は、［数６］を用いて解析結果Ｌに変換される。多くの教師データを用いた機械学習により生成された推論器の出力は一般的に信頼度が高いため、［数６］におけるσの値を小さく設定することができる。

なお、機械学習による方法では、照射野中心（ｘ_ｇ，ｙ_ｇ）を出力する推論器に代えて、解析結果Ｌを直接出力する推論器を生成することも可能である。解析結果を出力する推論器は、多数の放射線画像と、それに対応する照射野中心を［数６］を用いて確率分布に変換したものとの組み合わせを教師データとして用いた教師あり学習（好ましくは深層学習）により生成され得る。この様に生成された推論器は、画像データＩを与えると解析結果Ｌを出力する。従って、推論器から出力された解析結果はそのまま画像解析部１１５の出力として用いることができる。

以上述べた通り、画像解析部１１５による照射野の解析結果Ｌの生成方法には、特に限定されるものではなく、使用可能な情報、要求される精度、処理速度等によって適切なものを用いればよい。

［ステップＳ２０３］ 照射野認識部１１３は、予測部１１４により出力された予測結果Ｐと、画像解析部１１５により出力された解析結果Ｌとを、ＣＰＵバス１１９を介して合成部１１６に転送する。合成部１１６は、例えば、次式［数１０］にて予測結果Ｐと解析結果Ｌとを合成して合成結果Ｃを算出する。［数１０］では、予測結果Ｐと解析結果Ｌの対応する各位置について、値（照射野中心である度合）を乗算することにより合成結果Ｃを得ている。但し、合成方法はこれに限られるものではなく、例えば、［数１０］のＰ（ｘ，ｙ）とＬ（ｘ，ｙ）に重みづけを行って乗算することにより合成されてもよい。

以上説明してきたように、本実施形態では、予測結果Ｐと解析結果Ｌは入力された画像データＩと同じサイズの画像データであり、座標（ｘ，ｙ）におけるそれぞれの値Ｐ（ｘ，ｙ）、Ｌ（ｘ，ｙ）は、照射野中心である確率を０～１までの値で示している。したがって、それらの積である合成結果Ｃも、画像データＩと同じサイズの画像データであり、座標（ｘ，ｙ）における値Ｃ（ｘ，ｙ）は、照射野の中心である確率を０～１の値で示すものとなる。

［ステップＳ２０４］ 照射野認識部１１３は、合成部１１６により出力された合成結果Ｃを、ＣＰＵバス１１９を介して認識部１１７に転送する。認識部１１７は、合成結果Ｃから次の［数１１］により照射野中心（ｘ_ｃ，ｙ_ｃ）を決定する。

[数１１]においてａｒｇｍａｘ_ｘ，ｙ（）は、括弧内が最大となるときの（ｘ，ｙ）の値を示す。以上、得られた照射野中心（ｘ_ｃ，ｙ_ｃ）を、照射野情報として照射野認識部１１３の出力とする。なお、［数１１］により複数の照射野中心が取得された場合は、例えば、それらの重心位置を照射野中心に決定すればよい。或いは、ａｒｇｍａｘ_ｘ，ｙ（）が大きい順に所定数の座標を取得し、それらの重心位置を照射野中心に決定するようにしてもよい。

以上の説明では、照射野認識で取得する照射野情報として照射野中心（ｘ_ｃ，ｙ_ｃ）を求める方法を説明した。前述したとおり、画像処理部１１８は、照射野認識部１１３が出力する照射野情報を用いて、例えば統計量の取得、マスク処理、画像の切り出し等を行う。従って、照射野情報は、点ではなく領域を表す情報であることが望ましい。そこで、例えば本実施形態では、照射野認識部１１３は、照射野が固定サイズ（Ｗ_ｃ，Ｈ_ｃ）の矩形であることを利用して次式［数１２］により照射野中心座標を照射野の領域に変換する。［数１２］では、照射野中心座標は、照射野の左上端の座標（ｘ_ｌｅｆｔ，ｙ_ｔｏｐ）と右下端の座標（ｘ_{ｒｉｇｈｔ}，ｙ_{ｂｏｔｔｏｍ}）に変換され、照射野の矩形領域が取得される。

以上の説明では照射野情報を固定サイズ（Ｗ_ｃ，Ｈ_ｃ）の矩形の照射野の中心座標（ｘ_ｃ，ｙ_ｃ）とする場合を説明したがこれに限られるものではない。例えば、より汎用的に、照射野が四角形以外の多角形の場合も考慮し、照射野情報を、多角形を構成するＮ個の頂点とする場合にも本手法は適用できる。その場合、予測部１１４は予測結果Ｐを、画像解析部１１５は解析結果Ｌを、合成部１１６は合成結果Ｃを、それぞれＮ個の頂点ごとに生成する。認識部１１７は、Ｎ個の合成結果Ｃから得られるＮ個の頂点を直線で結ぶことにより得られる多角形を照射野領域として認識する。この場合、各頂点について、予測部１１４は事前情報から取得される座標位置を用いて各頂点の予測結果Ｐを生成し、画像解析部１１５は、画像データＩを解析して各頂点について解析結果Ｌを得る。合成部１１６は、頂点ごとに予測結果Ｐと予測結果Ｌを合成して、頂点ごとの合成結果Ｃを得る。

さらに、照射野情報は、中心点や頂点などの座標ではなく、直線を表す画像情報であっても本手法は適用できる。例えば、予測部１１４の予測結果Ｐ、画像解析部１１５の解析結果Ｌ、合成部１１６の合成結果Ｃを、画像をｘ軸とｙ軸に投影した投影データ上における点について作成する。例えば、予測結果Ｐ、解析結果Ｌは、それぞれ、投影データ上における照射野の端部位置（エッジ位置）の確率分布を表すように生成される。そして上述した方法を適用して、投影データ上で合成結果Ｃのピークを取得すると、ピークは、照射野を囲むｘ軸とｙ軸に水平な直線を表し、照射野情報として用いることができる。なお、以上の説明は直線を用いる場合の最も簡単な例であるが、より複雑な形状に対応するために、放射線画像をハフ変換し、ハフ平面上で予測結果Ｐ、解析結果Ｌおよび合成結果Ｃを算出するようにしてもよい。この場合、ハフ平面上の合成結果Ｃから取得されるピークが表す直線は多角形照射野を囲む直線を表し、照射野情報として用いることができる。

さらに、照射野情報は、中心点や頂点などの座標、直線を表す画像情報ではなく、領域を表す画像情報であってもよい。その場合、予測部１１４の予測結果Ｐ、画像解析部１１５の解析結果Ｌ、合成部１１６の合成結果Ｃは、それぞれ画素ごとに照射野領域である確率を０から１までの値で示す確率マップとする。合成結果Ｃの画素ごとに所定の閾値Ｔ（例えばＴ＝０．５）を用いてその画素が照射野に属するかどうかを判定することで、照射野情報を例えば二値画像で取得する。そして、得られた二値画像に対して、膨張収縮処理などのモルフォロジ演算を行う、または、ラベリングにより最も面積の大きな連結領域以外を除去する、などにより所望の照射野情報を得ることが可能である。

以上のように、第１実施形態によれば、事前情報に基づいた照射野の予測と、画像からの照射野の解析結果とを用いて照射野を認識することで、リアルタイム性と安定性を備えた照射野認識が可能になる。

＜第２実施形態＞
第１実施形態では、画像データＩから照射野を認識する構成を説明した。画像データＩから照射野を認識する構成は、単独の放射線撮影にも透視撮影にも利用することができる。第２実施形態では、過去のフレームについての照射認識結果を参照することで、特に透視撮影においてより安定した照射野の検出を行える構成を説明する。なお、第２実施形態による放射線撮影装置の構成は、第１実施形態（図１）と同様である。操作部１１１を介してユーザーから入力された透視指示はＣＰＵ１０８によりデータ収集部１０６に伝えられる。データ収集部１０６は、透視指示を受けると、放射線発生部１０１及び放射線検出器１０５を制御して放射線透視を実行させる。

放射線透視では、放射線発生部１０１は、被検体１０４に対して放射線ビーム１０３を、透視指示を受けている間、連続またはパルス照射する。放射線発生部１０１から照射された放射線ビーム１０３は、放射線絞り１０２によって照射範囲が制限され、被検体１０４を透過して、放射線検出器１０５に到達する。放射線検出器１０５は到達した放射線ビーム１０３の強度に応じた信号を出力する。

データ収集部１０６は、放射線検出器１０５から出力された信号を所定の間隔でデジタル信号へ変換し、時系列画像データとして前処理部１０７に供給する。前処理部１０７は、データ収集部１０６から供給された時系列画像データを構成するそれぞれのフレームに対して、オフセット補正やゲイン補正等の前処理を行う。前処理部１０７で前処理が行われた時系列画像データは、ＣＰＵバス１１９を介してメインメモリ１１０、照射野認識部１１３、画像処理部１１８、に順次転送される。

照射野認識部１１３は、転送された時系列画像データから、放射線検出器１０５に放射線が照射された照射野を認識し、当該照射野を示す照射野情報を出力する。つまり、照射野認識部１１３は、時系列に取得される放射線透視像の照射野を認識する。認識される照射野は、照射野端を特定可能な所定の部分であり、所定の部分は、例えば、照射野の中心の位置、照射野を表す多角形の頂点の位置、照射野を表す多角形を構成する辺等がある。照射野認識部１１３は、決定対象の放射線透視像である対象透視像（例えば、現フレーム）における照射野の所定の部分を、対象透視像よりも前に取得された事前情報に基づいて予測する。事前情報としては、対象透視像（現フレーム）の照射野領域を設定する放射線絞りの制御情報、対象透視像よりも前に取得された前段透視像（例えば、前フレーム）の照射野領域を表す照射野情報がある。

放射線絞りの制御情報（絞り制御情報という）は、放射線絞り１０２を制御する情報であり、放射線絞り１０２は、絞り制御情報を受け取ることによって移動し、放射線絞り１０２により形成される矩形の開口の位置や大きさを変化させる。放射線絞り１０２によって開口が変化すると、放射線検出器１０５に照射される放射線の照射野が変化し、対象透視像が得られる。つまり、放射線絞り１０２が絞り制御情報を受け取ってから対象透視像が得られるまでに時間遅れが生じている。

また、前段透視像の照射野情報は、対象透視像よりも前に取得された過去の透視像で特定された照射野領域の認識結果であり、後述する合成結果Ｃｍに相当する。なお、前段透視像の照射野情報は、前段透視像の照射野端を特定可能な所定の部分を表す情報、前段透視像を設定した絞り制御情報を有してもよい。また、前段透視像の照射野情報は、対象透視像の一つ前のフレームの照射野情報に限定されず、一つ以上前のフレームでもよく、２以上のフレームに対応する照射野情報が使用されてもよい。

このように、照射野認識部１１３は、対象透視像よりも前に取得された事前情報（絞り制御情報、前段透視像の照射野情報）に基づいて、対象透視像における照射野の所定の部分を予測する。なお、照射野認識部１１３は、絞り制御情報、前段透視像の照射野情報の一方から対象透視像における照射野の所定の部分を予測してもよい。

また、照射野認識部１１３は、対象透視像における照射野の所定の部分を解析する。照射野認識部１１３は、予測結果を表す予測情報と、解析結果を表す画像情報とに基づいて、対象透視像の照射野領域を決定する。照射野認識部１１３は、決定した照射野領域を示す照射野情報を出力する。画像処理部１１８は、転送された時系列画像データに対して、照射野認識部１１３により出力された照射野情報に基づく画像処理を行う。この画像処理は、例えば、照射野に属する画素値の平均値や最大・最小値などの統計量に基づく階調処理、照射野に属する画素のみの切り出し・拡大処理、照射野に属さない画素へのマスク処理等を含み得る。画像処理部１１８により画像処理された時系列画像データおよび時系列照射野情報は、画像処理済み時系列画像データとして、ＣＰＵバス１１９を介して例えば記憶部１０９、表示部１１２に転送される。

記憶部１０９は転送された時系列照射野情報や画像処理済み時系列画像データを記憶する。表示部１１２は転送された時系列照射野情報や画像処理済み時系列画像データを表示する。時系列画像データは、透視における画像データ取得と同じ間隔で切り替えながら表示されるので、ユーザーは時系列画像を動画像として視認する。ユーザーは表示された時系列照射野情報や画像処理済み時系列画像データを確認し、操作部１１１を介して必要に応じた操作指示を行う。

以上の放射線透視において、照射野認識部１１３は、時系列画像データのそれぞれのフレームから照射野を認識し、照射野情報を出力する。以下、照射野認識部１１３のこの動作について、図７に示すフローチャートを用いて具体的に説明する。なお、以下では、入力される時系列画像データを構成する各画像データ（フレーム）を、透視開始時からのフレーム番号を表すｎを用いてＩｎと表す。また、第２実施形態においても、固定サイズ（Ｗ_ｃ，Ｈ_ｃ）の矩形の照射野の中心座標（ｘ_ｃ，ｙ_ｃ）を照射野情報として得る構成について説明する。すなわち、透視撮影において取得されるフレーム番号ｎの画像データＩｎから、照射野中心座標（ｘ_ｃｎ，ｙ_ｃｎ）を順次に認識する構成について説明する（図８）。

（照射野認識フロー）
［ステップＳ７０１］ 透視開始時、すなわちフレーム番号ｎ＝１のとき、照射野認識部１１３は、予測部１１４において、画像データＩ１の照射野の予測を行い、フレーム番号ｎ＝１における予測結果Ｐ１を生成する。ここで予測結果Ｐ１の求め方は、ステップＳ２０１において説明した予測結果Ｐの求め方と同様である。フレーム番号ｎ＝１について以下のステップＳ７０２～Ｓ７０４が実行される。

［ステップＳ７０２］ 照射野認識部１１３は、画像解析部１１５において、転送されたフレーム番号ｎの入力画像データＩｎを解析し、フレーム番号ｎにおける照射野の解析結果Ｌｎを生成する。ここで解析結果Ｌｎの求め方は、ステップＳ２０２において説明した解析結果Ｌの求め方と同様である。

［ステップＳ７０３］ 照射野認識部１１３は、フレーム番号ｎにおいて予測部１１４が出力する予測結果Ｐｎと、画像解析部１１５が出力する解析結果Ｌｎとを、ＣＰＵバス１１９を介して合成部１１６に転送する。合成部１１６は、予測結果Ｐｎと、解析結果Ｌｎとに基づいて、合成結果Ｃｎを算出する。ここで合成結果Ｃｎの求め方は、ステップＳ２０３において説明した合成結果Ｃの求め方と同様である。合成結果Ｃｎは、ＣＰＵバス１１９を介して記憶部１０９に伝送され、記憶される。

［ステップＳ７０４］ 照射野認識部１１３は、フレーム番号ｎにおいて合成部１１６が出力する合成結果Ｃｎを、ＣＰＵバス１１９を介して認識部１１７に転送する。認識部１１７は、合成結果Ｃｎからフレーム番号ｎにおける照射野中心（ｘ_ｃｎ，ｙ_ｃｎ）を求める。ここで照射野中心（ｘ_ｃｎ，ｙ_ｃｎ）の求め方は、ステップＳ２０４において説明した照射野中心（ｘ_ｃ，ｙ_ｃ）の求め方と同じため、詳細は省略する。以上得られた照射野中心（ｘ_ｃｎ，ｙ_ｃｎ）を、フレーム番号ｎにおける照射野情報として照射野認識部１１３の出力とする。

［ステップＳ７０５］ 照射野認識部１１３は、操作部１１１を介したユーザーからの透視指示が透視続行であるか否かを判定する。操作部１１１を介したユーザーからの透視指示が終了している場合（Ｓ７０５でＮＯ）、本処理は終了する。操作部１１１を介したユーザーからの透視指示がフレーム番号ｎ＞１以降も続いている場合（ステップＳ７０５でＹＥＳ）、処理はステップＳ７０６へ進む。

［ステップＳ７０６］ 予測部１１４は入力画像データＩｎの照射野を予測し、予測結果Ｐｎを生成する。但し、ステップＳ７０６では、ステップＳ７０１における予測処理（ｎ＝１における予測処理）とは異なる予測処理が適用される。放射線透視のフレーム番号ｎ＞１の場合、予測部１１４は、例えば、以下の［数１３］に示されるように、過去のｍ番目のフレーム（ｍ＜ｎ）の合成結果Ｃｍに基づいてｎ番目のフレームの予測結果Ｐｎを算出する。合成結果Ｃｍは、上述した前段透視像の照射野情報に相当する。即ち、予測部１１４は、記憶部１０９から過去のフレームの合成結果Ｃｍを読み出し、予測結果Ｐｎとする。例えば、直前のフレームの合成結果が用いられる場合、ｍ＝ｎ－１である。

この予測結果Ｐｎは、過去のフレームの合成結果Ｃｍにその他の事前情報を加えることにより調整されてもよい。ここでは、そのような調整の一例として、操作部１１１を介してユーザーが放射線絞り１０２を移動したときの移動方向（ｖｘ、ｖｙ）を示す制御情報を用いた調整について説明する。移動方向を示す制御情報は、上述した絞り制御情報に相当し、事前情報としてＣＰＵバス１１９を介して予測部１１４に入力される。予測部１１４は、照射野の合成結果Ｃｍを事前情報である移動方向（ｖｘ、ｖｙ）に基づいて次式［数１４］のように調整する。なお、［数１４］においてｋは放射線絞りの移動可能速度等を考慮した係数である。このような調整によれば、過去のフレームの合成結果Ｃｍに現在の事前情報を加味することができるので、より安定性の高い予測が可能になる。その後、処理はステップＳ７０２に戻り、照射野認識部１１３は上述した動作を繰り返す。なお、［数１４］において、ｘ－ｋ×ｖｘが０～Ｗの間にならない、またはｙ－ｋ×ｖｙが０～Ｈの間にならない場合は、Ｐｎ（ｘ、ｙ）＝０とする。

以上のように、第２実施形態によれば、過去フレームの合成結果Ｃｍを用いることで、時系列で蓄積される過去情報が事前情報として用いられ、放射線透視における安定性の高い照射野認識が可能になる。また、放射線絞り１０２の移動方向などを現在の事前情報として加味することにより、放射線透視における照射野認識の安定性をより向上させることができる。

なお、以上の説明では、ステップＳ７０６において予測部１１４が予測結果Ｐを取得する際に、過去フレームで生成された合成結果Ｃｍが事前情報として用いられる例を説明したが、これに限られるものではない。例えば、過去フレームで生成された予測結果Ｐｍ、解析結果ＬｍがステップＳ７０６において事前情報として用いられてもよい。また、ステップＳ７０４において、認識部１１７が、過去フレームで生成された照射野情報である照射野中心（ｘ_ｃｍ，ｙ_ｃｍ）を用いて、合成結果である照射野中心（ｘ_ｃｎ，ｙ_ｃｎ）を調整するようにしてもよい。例えば、ステップＳ７０４において、現フレームから得られる照射野中心（ｘ_ｃｎ，ｙ_ｃｎ）を過去フレームの照射野中心（ｘ_ｃｍ，ｙ_ｃｍ）と所定の係数αを用いて、［数１５］により更新してもよい。これは、時系列に取得される複数の放射線画像（フレーム）について決定される照射野の所定の部分（例えば、照射中心の位置）の変動が、時間的に連続するように平滑化するものである。したがって、このようにすれば、フレームごとの照射野情報の振動を抑え、照射野の検出における安定性を高めることが可能となる。

以上のように、第１実施形態および第２実施形態によれば、事前情報に基づいた照射野の予測と、画像からの照射野を解析した結果とを用いて照射野が認識されるので、安定した照射野認識が実現される。特に放射線透視において、事前情報に過去に取得したフレームに関する照射野認識結果を用いることで、リアルタイム性と安定性を兼ね備えた照射野認識が可能になる。

また、上記実施形態では、事前情報に基づいて予測された予測結果と、放射線画像の解析結果とに基づいて、放射線画像の照射野領域を求める例を説明したが、これに限られない。例えば、事前情報に基づいて予測された予測結果を、放射線画像の解析に利用して放射線画像の照射野領域を求めてもよい。例えば、照射野認識部１１３は、対象透視像（例えば、現フレーム）における照射野の所定の部分を事前情報（絞り制御情報、前段透視像の照射野情報）に基づいて予測し、その予測結果に基づいて対象透視像の解析を行う範囲を絞り込んでもよい。これにより、対象透視像を解析する時間を短縮できる。また、照射野認識部１１３は、絞り込んだ範囲で特定された照射野の所定の部分に基づいて、照射野領域を特定してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１００：放射線撮影装置、１０１：放射線発生部、１０２：放射線絞り、１０５：放射線検出器、１０８：ＣＰＵ、１０９：記憶部、１１０：メインメモリ、１１３：照射野認識部、１１４：予測部、１１５：画像解析部、１１６：合成部、１１７：認識部

Claims (26)

1. 放射線画像から放射線の照射野を判定する画像処理装置であって、
   前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測手段と、
   前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析手段と、
   前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定手段と、を備える、ことを特徴とする画像処理装置。
2. 前記照射野の前記所定の部分は、前記照射野の中心の位置である、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記照射野の前記所定の部分は、前記照射野を表す多角形の頂点の位置である、ことを特徴とする請求項１に記載の画像処理装置。
4. 前記照射野の前記所定の部分は、前記照射野を表す多角形を構成する辺である、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記照射野の前記所定の部分は、前記放射線画像のうちの前記照射野に属する画素の位置である、ことを特徴とする請求項１に記載の画像処理装置。
6. 前記予測手段は、
   前記事前情報に基づいて前記照射野の前記所定の部分の位置を予測し、
   予測された前記所定の部分の位置と分布関数を用いて前記予測結果を生成する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記事前情報は前記所定の部分について複数の位置を示し、
   前記予測手段は、前記複数の位置のそれぞれについて予測される度合の分布を合成することにより前記予測結果を生成する、ことを特徴とする請求項６に記載の画像処理装置。
8. 前記事前情報は、前記分布関数を指定することを特徴とする請求項６に記載の画像処理装置。
9. 前記事前情報は、放射線撮影の対象である被検体に関わる情報として、前記被検体の体格または撮影部位を含み、
   前記予測手段は、前記被検体に関わる情報に基づいて前記所定の部分の位置を予測する、ことを特徴とする請求項６に記載の画像処理装置。
10. 前記事前情報は、ユーザーにより入力された、前記放射線画像における前記所定の部分の指定を含み、
    前記予測手段は、前記ユーザーにより指定される位置を前記所定の部分の位置として用いる、ことを特徴とする請求項６に記載の画像処理装置。
11. 前記予測手段は、過去に前記決定手段により決定された前記照射野の前記所定の部分の位置を前記事前情報として用いる、ことを特徴とする請求項１乃至１０のいずれか1項に記載の画像処理装置。
12. 前記解析手段は、
    前記放射線画像を解析することにより前記照射野の前記所定の部分の位置を判定し、
    判定された前記所定の部分の位置と分布関数を用いて前記解析結果を生成する、ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記解析手段は、閾値処理、エッジ検出およびハフ変換の少なくとも何れかを用いた画像解析により前記放射線画像から抽出された照射野に基づいて前記所定の部分の位置を判定する、ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記解析手段は、前記放射線画像の縦方向及び横方向の投影データに基づいて前記照射野の前記所定の部分の位置を判定する、ことを特徴とする請求項１２に記載の画像処理装置。
15. 前記解析手段は、放射線画像と照射野の前記所定の部分の正解位置を含む教師データを用いた機械学習により生成された推論器を用いて、前記放射線画像から前記照射野の前記所定の部分の位置を判定する、ことを特徴とする請求項１２に記載の画像処理装置。
16. 前記決定手段は、前記予測結果と前記解析結果の対応する各位置について度合を乗算することにより前記合成結果を得る、ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記決定手段は、前記合成結果において度合がピークとなる位置を、前記照射野の前記所定の部分の位置に決定する、ことを特徴とする請求項１６に記載の画像処理装置。
18. 前記予測手段は、時系列に取得される複数の放射線画像のうちのｎ番目の放射線画像に対する予測結果を、前記予測手段、前記解析手段および前記決定手段がｍ番目（ｎ＞ｍ）の放射線画像に対して生成した予測結果、解析結果および合成結果の少なくとも１つに基づいて生成することを特徴とする、請求項１乃至１７のいずれか１項に記載の画像処理装置。
19. 前記予測手段は、前記ｎ番目の放射線画像に対する前記予測結果を、ユーザーによる照射野の移動に基づいて更新することを特徴とする、請求項１８に記載の画像処理装置。
20. 前記決定手段は、前記時系列に取得される複数の放射線画像について決定される前記照射野の前記所定の部分の変動が、時間的に連続するように平滑化する、ことを特徴とする請求項１８または１９に記載の画像処理装置。
21. 放射線画像から放射線の照射野を判定する画像処理方法であって、
    前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測工程と、
    前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析工程と、
    前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定工程と、を備える、ことを特徴とする画像処理方法。
22. コンピュータを、請求項１乃至２０のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
23. 時系列に取得される放射線透視像の照射野領域を決定する画像処理装置であって、
    決定対象の放射線透視像である対象透視像における照射野の所定の部分を、当該対象透視像よりも前に取得された事前情報に基づいて予測し、当該予測の予測結果を表す予測情報を取得する予測手段と、
    前記対象透視像を解析して、当該対象透視像における照射野の所定の部分を表す画像情報を取得する解析手段と、
    前記予測情報と前記画像情報とに基づいて、前記対象透視像の照射野領域を決定する決定手段と、を備える、ことを特徴とする画像処理装置。
24. 前記予測手段は、前記対象透視像の照射野領域を設定する放射線絞りの制御情報、および、当該対象透視像よりも前に取得された放射線透視像である前段透視像の照射野領域を表す照射野情報の少なくとも一方を前記事前情報として取得し、取得した前記事前情報に基づいて、前記対象透視像における照射野の所定の部分を予測する、ことを特徴とする請求項２３に記載の画像処理装置。
25. 決定対象の放射線透視像である対象透視像の照射野領域を設定する放射線絞りの制御情報、および、当該対象透視像よりも前に取得された放射線透視像である前段透視像の照射野領域を表す照射野情報の少なくとも一方を事前情報として取得し、当該事前情報に基づいて、前記対象透視像における照射野の所定の部分を予測する予測手段を備える、ことを特徴とする画像処理装置。
26. 前記対象透視像を解析して、当該対象透視像における照射野の所定の部分を表す画像情報を取得する解析手段と、
    前記予測手段による予測結果を表す予測情報と前記画像情報とに基づいて、前記対象透視像の照射野領域を決定する決定手段と、を備える、ことを特徴とする請求項２５に記載の画像処理装置。

Images