JP2017185007A - 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法 - Google Patents

Abstract

【課題】機械学習を用いて放射線画像中の対象物の画像認識を行う際の誤検出を抑制することが可能な放射線撮影装置を提供する。【解決手段】この放射線撮影装置１００は、被検体Ｔに放射線を照射する照射部１と、被検体Ｔを透過した放射線を検出する放射線検出部２と、放射線検出部２の検出信号に基づき放射線画像３１を生成する画像生成部２１と、対象物Ｍの画像を複数角度に回転させて得られた複数の回転画像Ｒ１を用いた機械学習により予め取得された画像認識用の学習結果データ２４を記憶する記憶部７ｂと、学習結果データ２４に基づいて、放射線画像３１中から画像認識により対象物Ｍを検出する対象物検出部２２とを備える。【選択図】図１

Description

本発明は、放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法に関する。

従来、放射線画像中から画像認識により対象物を検出する放射線撮影装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、血管内インターベンション治療において、被検体（患者）の体内にカテーテル挿入されたステントを撮影した放射線画像から、ステントに設けられた点状のマーカー（対象物）を画像認識により検出し、ステント部分を強調表示したり、拡大表示するための補正処理を行う放射線撮影装置が開示されている。

放射線画像中から対象物を検出する画像認識技術としては、予め用意されたテンプレート画像との類似度を求めるテンプレートマッチングや、機械学習によって予め学習させた対象物を放射線画像中から検出させる方法がある。

特開２０１０−１３１３７１号公報

機械学習では、実際の放射線画像からマーカー画像を切り出して教師画像として利用するため、マーカー以外の周辺構造に過度に適合してしまい、誤検出（マーカーを検出できない場合を含む）を抑制することが困難であった。たとえば、ガイドワイヤが付属したマーカー画像を学習させると、マーカーにガイドワイヤが付属しない場合や、教師画像の向きとガイドワイヤの向きとが大幅に異なる場合に、マーカーを検出できないケースがある。逆に、ガイドワイヤが付属しないマーカー画像を学習させると、マーカーにガイドワイヤが付属する場合に、マーカーを検出できないケースがある。対象物の誤検出を抑制するには、周辺構造の状況が異なる多種多様なマーカー画像を教師画像として学習させる必要があるが、放射線画像は臨床画像であるため、教師画像を大量に収集することが困難であるという、医用技術分野特有の課題がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、機械学習を用いて放射線画像中の対象物の画像認識を行う際の誤検出を抑制することが可能な放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法を提供することである。

上記目的を達成するために、この発明の第１の局面における放射線撮影装置は、被検体に放射線を照射する照射部と、被検体を透過した放射線を検出する放射線検出部と、放射線検出部の検出信号に基づき放射線画像を生成する画像生成部と、対象物の画像を複数角度に回転させて得られた複数の回転画像を用いた機械学習により予め取得された画像認識用の学習結果データを記憶する記憶部と、学習結果データに基づいて、放射線画像中から画像認識により対象物を検出する対象物検出部とを備える。

この発明の第１の局面による放射線撮影装置では、対象物の画像を複数角度に回転させて得られた複数の回転画像を用いた機械学習により予め取得された画像認識用の学習結果データを記憶する記憶部と、学習結果データに基づいて、放射線画像中から画像認識により対象物を検出する対象物検出部とを設ける。これにより、１枚の対象物の画像を回転させて様々な角度の教師画像を作り出して機械学習を行うことができる。その結果、たとえば対象物以外にガイドワイヤのような周辺構造が写る場合、回転により周辺構造の状況が異なる多種多様な教師画像（回転画像）を学習させることができるとともに、各々の回転画像に写る対象物中に共通して存在する部分（回転対称な部分）を学習させることができるので、対象物以外の周辺構造への過度な適合を抑制しつつ、対象物の効果的な学習が可能となる。したがって、機械学習の結果得られた学習結果データに基づいて画像認識を行うことにより、ガイドワイヤのような周辺構造の状況が様々に変化することに起因する誤検出の発生を抑制することができる。また、１枚の対象物の画像から、周辺構造の状況が異なる多様な教師画像が得られるので、収集が困難な臨床画像（放射線画像）からでも、多数かつ多様な教師画像を効率よく得ることができ、教師画像の不足や偏りを抑制できる。これらの結果、機械学習を用いて放射線画像中の対象物の画像認識を行う際の誤検出を抑制することが可能となる。

上記第１の局面による放射線撮影装置において、好ましくは、対象物の画像は、放射線画像中から対象物を含む周辺領域を切り出して得られた画像部分である。このように構成すれば、周辺領域における対象物以外の状況や構造を含んだ教師画像により機械学習を行うことができる。そのため、学習結果データを用いることにより、放射線画像において対象物の周辺に周辺構造が写りこむ場合でも、誤検出を抑制して対象物を検出することができる。

この場合、好ましくは、対象物は、放射線画像において略回転対称の形状を有し、回転画像は、対象物を中心に周辺領域が回転角度に応じて変化する画像である。このような回転画像を教師画像とする場合、多種多様に変化する周辺領域を含みつつ、各回転画像に共通する回転対称構造の対象物を学習させることになる。そのため、周辺領域の状況に過度に適合することなく、対象物について効果的な学習ができるので、点状のマーカーのような特徴部分の少ない対象物でも、より確実に検出できるようになる。このような周辺領域を含んだ略回転対称形状の対象物の画像としては、たとえばガイドワイヤが付属したマーカーの画像が該当する。

上記第１の局面による放射線撮影装置において、好ましくは、学習結果データは、対象物の画像を少なくとも半回転させる間の複数の回転角度における回転画像を用いた機械学習により生成されたデータである。このように構成すれば、広い回転角度範囲で回転させた様々な回転画像を用いて機械学習を行うことができるので、対象物の周辺状況に過度に適合して学習することを効果的に抑制することができる。その結果、様々な状況の放射線画像が撮影された場合でも、誤検出の発生を抑制することができる。なお、対象物の画像がある回転角度において中心線対称となる場合、半回転（１８０度）の回転範囲で十分であり、中心線対称とならない画像では、１回転（３６０度）の回転範囲での回転画像を用いることが好ましい。

上記第１の局面による放射線撮影装置において、好ましくは、学習結果データは、対象物の回転画像からなる複数の正解画像と、放射線画像中から切り出された対象物以外の画像を複数角度に回転させて得られた回転画像からなる複数の不正解画像と、を用いた機械学習により生成されたデータである。このように構成すれば、対象物以外の画像である不正解画像についても、向きが相違する多種多様な不正解画像を容易に作成して学習させることができる。たとえば、ガイドワイヤの先端部など、放射線画像中で様々な向きを取り得る構造についての多種多様な不正解画像を容易に作成して学習させることができる。この結果、対象物以外の構造の誤検出をより効果的に抑制して、より確実な対象物の検出が可能となる。

上記第１の局面による放射線撮影装置において、好ましくは、対象物は、被検体内にカテーテル挿入される機器に設けられる放射線画像用のマーカーである。カテーテル挿入される機器は、たとえば、ステント、人工弁、人工血管などの治療用器具や、血管内視鏡などの血管内イメージング機器を含む。カテーテル挿入される機器は、極めて小型で放射線画像において認識することが困難である。そのため、これらの小型の機器に設けられるマーカーを対象物として学習することにより、検出精度を向上させることができるので、放射線撮影装置の利便性を向上させることができる。

この発明の第２の局面における放射線画像の対象物検出プログラムは、被検体の放射線画像中から画像認識により対象物を検出する処理をコンピュータに実行させる対象物検出プログラムであって、コンピュータに、対象物の画像を複数角度に回転させて得られた複数の回転画像を用いた機械学習により予め取得された学習結果データを記憶部から取得する処理と、学習結果データに基づいて、放射線画像中から画像認識により対象物を検出する処理とを実行させる。

この発明の第２の局面による放射線画像の対象物検出プログラムでは、コンピュータに、対象物の画像を複数角度に回転させて得られた複数の回転画像を用いた機械学習により予め取得された学習結果データを記憶部から取得する処理と、学習結果データに基づいて、放射線画像中から画像認識により対象物を検出する処理とを実行させる。このように回転により周辺構造の状況が異なる多種多様な教師画像（回転画像）を学習させた学習結果データに基づくことにより、ガイドワイヤのような周辺構造の状況が様々に変化することに起因する誤検出の発生を抑制することができる。また、収集が困難な臨床画像（放射線画像）からでも、多数かつ多様な教師画像を効率よく得ることができ、教師画像の不足や偏りを抑制できる。これらの結果、本発明による対象物検出プログラムを用いることにより、放射線画像中の対象物の画像認識を行う際の誤検出を抑制することが可能となる。

この発明の第３の局面における放射線画像における対象物検出方法は、被検体の放射線画像中から画像認識により対象物を検出するための対象物検出方法であって、被検体の放射線画像中から切り出された対象物の画像を複数角度に回転させて得られた複数の回転画像を取得する工程と、複数の回転画像の各々を教師画像として、画像認識により対象物を検出するための機械学習を行い、画像認識用の学習結果データを生成する工程と、被検体に放射線を照射し、被検体を透過した放射線を検出することにより放射線画像を生成する工程と、学習結果データに基づいて、放射線画像中から画像認識により対象物を検出する工程とを備える。

この発明の第３の局面による放射線画像における対象物検出方法では、被検体の放射線画像中から切り出された対象物の画像を複数角度に回転させて得られた複数の回転画像を取得する工程と、複数の回転画像の各々を教師画像として、画像認識により対象物を検出するための機械学習を行い、画像認識用の学習結果データを生成する工程とを備える。これにより、回転により周辺構造の状況が異なる多種多様な教師画像（回転画像）を学習させ、ガイドワイヤのような周辺構造の状況が様々に変化することに起因する誤検出の発生を抑制することが可能な画像認識用の学習結果データを生成することができる。また、収集が困難な臨床画像（放射線画像）からでも、多数かつ多様な教師画像を効率よく得ることができ、教師画像の不足や偏りを抑制できる。そして、本発明では、学習結果データに基づいて、放射線画像中から画像認識により対象物を検出する工程を備えることによって、機械学習を用いて放射線画像中の対象物の画像認識を行う際の誤検出を抑制することが可能となる。

本発明によれば、上記のように、機械学習を用いて放射線画像中の対象物の画像認識を行う際の誤検出を抑制することができる。

本発明の一実施形態による放射線撮影装置の全体構成を示すブロック図である。 放射線画像を説明するための模式図である。 被検体にカテーテル挿入されるステントおよびステントに付属するマーカーを示した図である。 画像認識によるマーカーの検出結果を利用した画像補正の一例を説明するための図である。 画像認識に用いる識別器の構成を説明するための概念図である。 学習結果データを説明するための図である。 特徴量の抽出方法の一例を説明するための模式図である。 機械学習処理の流れを説明するためのフローチャートである。 対象物の画像を説明するための模式図である。 回転画像により構成された正解画像を説明するための図である。 不正解画像となる対象物以外の画像を説明するための模式図（Ａ）〜（Ｄ）である。 回転画像により構成された不正解画像を説明するための図である。 学習結果データを用いた対象物検出処理を説明するためのフローチャートである。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

（放射線撮影装置の構成）
図１〜図４を参照して、本発明の一実施形態による放射線撮影装置１００の構成について説明する。

放射線撮影装置１００は、人体などの被検体Ｔの外側から放射線を照射することによって、被検体Ｔ内を画像化するための放射線画像を撮影する装置である。放射線画像は、被検体Ｔを透過する放射線を用いて撮像した被検体Ｔの画像である。本実施形態では、放射線撮影装置１００は、放射線の一例であるＸ線を用いてＸ線画像を撮影するＸ線撮影装置である。

放射線撮影装置１００は、被検体Ｔに放射線（Ｘ線）を照射する照射部１と、被検体Ｔを透過した放射線を検出する放射線検出部２とを備えている。照射部１と放射線検出部２とは、それぞれ、被検体Ｔが載置される天板３を挟んで対向するように配置されている。照射部１および放射線検出部２は、移動機構４に移動可能に支持されている。天板３は、天板駆動部５により水平方向に移動可能である。被検体Ｔの関心領域を撮影できるように、移動機構４および天板駆動部５を介して照射部１、放射線検出部２および天板３が移動される。関心領域は、被検体Ｔのうちで、検査や治療のために撮影の対象となる領域である。放射線撮影装置１００は、移動機構４および天板駆動部５を制御する制御部６を備えている。

照射部１は、放射線源１ａを含んでいる。放射線源１ａは、図示しない高電圧発生部に接続されており、高電圧が印加されることによりＸ線を発生させるＸ線管である。放射線源１ａは、Ｘ線出射方向を放射線検出部２の検出面に向けて配置されている。照射部１は、制御部６に接続されている。制御部６は、管電圧、管電流およびＸ線照射の時間間隔などの予め設定された撮影条件に従って照射部１を制御し、放射線源１ａからＸ線を発生させる。

放射線検出部２は、照射部１から照射され、被検体Ｔを透過したＸ線を検出し、検出したＸ線強度に応じた検出信号を出力する。放射線検出部２は、たとえば、ＦＰＤ（Flat Panel Detector）により構成されている。また、放射線撮影装置１００は、放射線検出部２からＸ線検出信号を取得して、放射線画像３１（図２参照）を生成する画像処理部７を備えている。放射線検出部２は、所定の解像度の検出信号を画像処理部７に出力する。

制御部６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などを含んで構成されたコンピュータである。制御部６は、ＣＰＵが所定の制御プログラムを実行することにより、放射線撮影装置１００の各部を制御する制御部として機能する。制御部６は、照射部１および画像処理部７の制御や、移動機構４および天板駆動部５の駆動制御を行う。

放射線撮影装置１００は、表示部８、操作部９および記憶部１０を備える。表示部８は、たとえば液晶ディスプレイなどのモニタである。操作部９は、たとえばキーボードおよびマウス、タッチパネルまたは他のコントローラーなどを含んで構成される。記憶部１０は、たとえばハードディスクドライブなどの記憶装置により構成される。制御部６は、画像処理部７により生成された画像を表示部８に表示させる制御を行うように構成されている。また、制御部６は、操作部９を介した入力操作を受け付けるように構成されている。記憶部１０は、画像データ、撮影条件および各種の設定値を記憶するように構成されている。

画像処理部７は、たとえば、ＣＰＵあるいはＧＰＵ（Graphics Processing Unit）などのプロセッサ７ａと、ＲＯＭおよびＲＡＭなどの記憶部７ｂとを含んで構成されるコンピュータである。すなわち、画像処理部７は、記憶部７ｂに記憶された画像処理プログラムをプロセッサ７ａに実行させることにより構成される。画像処理部７は、制御部６と同一のハードウェア（ＣＰＵ）に画像処理プログラムを実行させることにより、制御部６と一体的に構成されてもよい。

記憶部７ｂは、コンピュータを画像処理部７として機能させるためのプログラム２３（画像処理プログラム）を記憶している。また、本実施形態では、記憶部７ｂは、機械学習により予め取得された画像認識用の学習結果データ２４を記憶している。本実施形態では、学習結果データ２４は、対象物Ｍの画像（図９参照）を複数角度θに回転させて得られた複数の回転画像Ｒ１（図１０参照）を用いた機械学習により生成されたデータである。学習結果データ２４の内容については、後述する。

画像処理部７は、画像処理プログラム２３を実行することによる機能として、画像生成部２１と、対象物検出部２２とを含む。画像生成部２１と対象物検出部２２とが専用のプロセッサにより個別に構成されていてもよい。

画像生成部２１は、放射線検出部２の検出信号に基づき放射線画像３１（図２参照）を生成するように構成されている。本実施形態では、放射線画像３１は動画像の形式で生成される。すなわち、照射部１から被検体Ｔに対してＸ線が所定時間間隔で断続的に照射され、被検体Ｔを透過したＸ線が放射線検出部２により順次検出される。画像生成部２１は、放射線検出部２から順次出力される検出信号を画像化することにより、放射線画像３１を所定のフレームレートで生成する。フレームレートは、たとえば１５ＦＰＳ〜３０ＦＰＳ程度である。

対象物検出部２２は、図２に示すように、画像生成部２１により生成された放射線画像３１中から画像認識により対象物Ｍを検出する。対象物の検出は、放射線画像３１中における対象物Ｍの位置および範囲を特定することである。

対象物Ｍは、放射線画像３１中において一定の形態を有し、画像認識により識別可能であれば特に限定されない。たとえば、対象物Ｍは、被検体Ｔ内にカテーテル挿入される機器に設けられる放射線画像用のマーカー４０である。カテーテル挿入される機器は非常に小さく放射線画像３１上で識別しにくい。そのため、放射線透過性の低い（または不透過の）マーカー４０が、カテーテル挿入される機器又は機器に付属する構造に、目印として設けられる。

一例として、図３に示すように、被検体Ｔ内にカテーテル挿入される機器は、冠動脈（血管）インターベンション治療に用いられるステント４１である。冠動脈インターベンション治療は、内部にガイドワイヤ４２を備えたカテーテル４３を被検体の血管内に挿入し、血管を介してカテーテル４３を心臓の冠動脈へ到達させて治療を行うものである。ステント４１は、細い金属などで形成された網目構造を有する筒状の医療器具である。ステント４１は、冠動脈の狭窄部分に配置され、内側からバルーンを利用して拡張されることにより動脈内に留置され、狭窄した血管を拡げて内側から支える。網目構造のステント４１は放射線画像３１に写りにくいため、放射線透過性の低い（または不透過の）マーカー４０が、目印としてステント４１あるいはバルーンなどに設けられる。マーカー４０は、１つあるいは２つ設けられることが多い。

図２に戻り、対象物検出部２２は、画像生成部２１により順次生成される放射線画像３１の各々から、マーカー４０を検出する。本実施形態では、対象物検出部２２は、学習結果データ２４に基づいて、放射線画像３１中から画像認識により対象物Ｍを検出するように構成されている。対象物検出部２２は、たとえば、放射線画像３１中におけるマーカー４０の位置座標および範囲を出力する。

画像処理部７は、生成された放射線画像３１を制御部６に出力して表示部８に表示させる。画像処理部７は、検出されたマーカー４０を放射線画像３１中で強調して表示させるための所定の画像処理を行う。具体的には、図４に示すように、画像処理部７は、最新フレームＦ１の放射線画像３１を含む直前の複数フレームの放射線画像３１を、それぞれマーカー４０の画像部分が重なるように重ね合わせることにより、強調画像ＦＥを生成する。重ね合わせる画像枚数は、たとえば、最新フレームＦ１を含めて５枚（Ｆ１〜Ｆ５の５フレーム分）である。

フレーム毎の各放射線画像３１において、ステント４１の位置は拍動や呼吸によって変動する。マーカー４０を基準に、ステント４１の位置および向きを一致させて各放射線画像３１を重ね合わせることにより、強調画像ＦＥではステント４１がより明瞭に表示される。画像処理部７は、強調画像ＦＥ中のステント４１の像を拡大して切り出し（トリミング）することにより、ステント４１の拡大画像を表示することが可能である。画像処理部７は、たとえば、最新フレームの放射線画像３１とステント４１の拡大画像（強調画像ＦＥ）とを並べて表示した合成画像を生成し、制御部６（表示部８）に出力する。

（学習結果データ）
次に、図５〜図７を参照して、対象物検出部２２による画像認識に用いる学習結果データ２４について説明する。

学習結果データ２４は、放射線画像３１から対象物Ｍを検出するための識別器と、その識別器を用いて対象物Ｍの検出判定を行うためのパラメータとを含むデータである。対象物検出部２２が学習結果データ２４に含まれる識別器およびパラメータを用いて画像認識を行うことにより、放射線画像３１から対象物Ｍの位置および範囲が検出される。

学習結果データ２４の内容は、機械学習に採用される学習アルゴリズムや識別器の種類などによって異なる。識別器としては、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、ブースティングなどの様々な手法が採用可能である。一例として、本実施形態ではブースティング、特にHaar-like特徴量を用いたブースティングによる機械学習について説明する。

図５に示すように、ブースティングは、検出精度が必ずしも高くない複数の弱識別器５１を組み合わせることにより、全体として検出精度が高い識別器（強識別器）を構成する手法である。ブースティングでは、複数の弱識別器５１は直列に接続され、それぞれの弱識別器５１によるマーカー４０の検出判定が順番に行われるように構成される。この場合、学習結果データ２４は、図６に示すように、識別器データ２４ａ、閾値データ２４ｂおよび判定順序データ２４ｃなどを含んで構成される。

識別器データ２４ａは、画像認識に用いる弱識別器５１を特定する情報である。弱識別器５１は、１又は複数のHaar-like特徴量の組み合わせにより構成される。

Haar-like特徴量は、図７に示すように、所定の探索窓Ｗ内に設定される２つの矩形領域５２ａおよび５２ｂの各々に含まれる画素群の代表値の差分（領域５２ａ内の代表値−領域５２ｂ内の代表値）として定義される。なお、画素群の代表値は、たとえば平均画素値であり、画素値の合計値や中央値でもよい。Haar-like特徴量を用いる場合、識別器データ２４ａは、矩形領域５２ａおよび５２ｂの種類（縦並び、横並び、斜め並びなどの配置パターン）、探索窓Ｗ内における矩形領域５２ａおよび５２ｂの位置（たとえば矩形領域の左上隅の座標値）および大きさ（幅および高さの値）などを含む。言い換えると、識別器データ２４ａは、個々の弱識別器５１による特徴量の抽出方法を定義する。

閾値データ２４ｂは、Haar-like特徴量に基づく判定（検出あり、検出なし）を行うための閾値を含む。個々の弱識別器５１では、抽出したHaar-like特徴量の値が閾値以上になれば検出あり（Ｙｅｓ）、閾値未満になれば検出なし（Ｎｏ）と判定される。判定順序データ２４ｃは、個々の弱識別器５１について、図５に示したように対象物Ｍ（マーカー４０）の検出判定を行う順番を規定している。言い換えると、直列に接続される各弱識別器５１の接続順序が判定順序データ２４ｃに規定されている。

対象物検出部２２は、与えられた放射線画像３１に対して、たとえば全ての弱識別器５１による対象物Ｍの検出判定がＹｅｓ（検出あり）と判定された場合に、探索窓Ｗ内に対象物Ｍがあると判定する。いずれかの弱識別器５１による対象物Ｍの検出判定がＮｏ（検出なし）の場合には、対象物検出部２２は、探索窓Ｗ内に対象物Ｍがないと判定する。対象物検出部２２は、探索窓Ｗを移動させて、放射線画像３１の全領域に対して判定を行うことにより、放射線画像３１全体の中から対象物Ｍの位置および範囲を検出する。

（機械学習）
次に、図８〜図１２を参照して、機械学習について説明する。上記の弱識別器５１を構成するHaar-like特徴量（すなわち、矩形領域５２ａおよび５２ｂ）のパターンは無数に存在する。機械学習は、無数のHaar-like特徴量の中から、対象物Ｍ（マーカー４０）が写る画像と対象物Ｍが写らない画像とをより正確に識別可能なHaar-like特徴量の組み合わせを決定する処理である。

機械学習は、予め用意された多数の教師画像を用いて行われる。教師画像は、図８に示すように、正解画像３２（対象物Ｍが写る画像）および不正解画像３３（対象物Ｍが写らない画像）を含む。機械学習では、多数の教師画像の各々に対して全てのパターンのHaar-like特徴量が算出され、正解画像３２には検出ありと判定して不正解画像３３には検出なしと判定するような特徴量の組み合わせ（弱識別器５１）が選択される。また、機械学習では、選択した各々の弱識別器５１に最適な閾値と、対象物Ｍの検出に最適な判定順序（直列接続の順序）とが決定される。

機械学習は、画像処理プログラム２３を構築するためのコンピュータによって別途行うことができる。機械学習は、画像処理部７によって実施してもよい。

具体的には、図８に示すように、ステップＳ１において、教師画像が取得される。本実施形態では、対象物Ｍの画像を複数角度θに回転させて得られた複数の回転画像Ｒ１（図１０参照）が、教師画像（正解画像３２）として取得される。図９に示すように、対象物Ｍの画像は、実際の放射線画像３１（つまり、臨床画像）中から対象物Ｍを含む周辺領域３４を切り出して得られた画像部分である。角度θは、回転画像Ｒ１の元になる１枚の対象物Ｍの画像を基準（０度）とした回転角度である。

対象物Ｍは、放射線画像において略回転対称の形状を有する。実際の放射線画像３１中では、マーカー４０は、放射線画像３１中で点状に写るため、略回転対称といえる。また、対象物Ｍの画像は、周辺領域３４を含む。周辺領域３４には、たとえば対象物Ｍに付属する構造部分Ｋなどが写っていてもよい。つまり、マーカー４０は、たとえば図９のようにガイドワイヤ４２が付属した状態で写る。

回転画像Ｒ１は、図９のように切り出された対象物Ｍの画像部分を、複数角度に回転させることにより得られる。回転画像Ｒ１では、回転対称のマーカー４０が画像中央に配置され、周辺領域３４も含めて切り出される。この場合、画像を回転させてもマーカー４０は略変化しない。一方、周辺領域３４は、回転角度に応じて構造部分Ｋの位置および向きが変化する。つまり、回転画像Ｒ１（図１０参照）は、対象物Ｍを中心に周辺領域３４が回転角度θに応じて変化する画像である。これにより、マーカー４０の回転対称構造を強力に学習させることが可能となる。

複数の回転画像Ｒ１は、好ましくは、１回転分の角度範囲で十分な数だけ取得される。ただし、図９の例では、対象物の画像は、対象物Ｍと構造部分Ｋとにより、概ね中心線対象（左右対称）の画像となっている。この場合、画像を少なくとも半回転（１８０度）させれば、１回転分の角度範囲での複数画像が得られる。したがって、学習結果データ２４は、対象物Ｍの画像を少なくとも半回転させる間の複数の回転角度における回転画像Ｒ１を用いた機械学習により生成されたデータである。

各々の回転画像Ｒ１は、互いに異なる回転角度の画像である。１つの対象物Ｍの画像から作り出される回転画像Ｒ１の枚数は、特に限定されないが、たとえば５枚以上、好ましくは１０枚以上であり、検出精度を向上させる観点では多い程好ましい。図１０では、一例として、３０度間隔で回転させた６枚の回転画像Ｒ１の例を示している。回転画像Ｒ１は、たとえば、約１８度間隔で１０枚作成してもよいし、１度間隔で１８０枚作成してもよい。回転画像Ｒ１は、等角度間隔で作成する必要はない。対象物Ｍの回転画像Ｒ１の各々は、正解画像３２として作成される。

図１１に示すように、不正解画像３３は、実際の放射線画像３１（臨床画像）中から切り出された対象物Ｍ以外の画像である。対象物Ｍ以外の画像は、放射線画像３１中に写る糸状部材（Ａ）、コイルスプリングなどのデバイス（Ｂ）、ガイドワイヤ４２の先端部４２ａ（Ｃ）、背景として写る解剖学的構造（骨や体組織の一部）（Ｄ）、などの各種画像を含む。本実施形態では、これらの画像についても、画像を複数角度θに回転させて得られた回転画像Ｒ２（図１２参照）が作成され、作成された複数の回転画像Ｒ２が不正解画像３３とされる。したがって、１枚の対象物以外の画像から、向きの異なる複数枚の不正解画像３３が作成される。

不正解画像３３の場合、放射線画像３１中から切り出された画像の一部又は全部について、回転画像Ｒ２が作成される。たとえば図１１（Ｄ）に示す背景部分など、特段の方向性を持たない画像は、必ずしも回転させなくてもよい。一方、図１１（Ａ）〜（Ｃ）に示したような方向性を有する画像については、回転画像Ｒ２を作成するのが好ましい。これにより、向きや位置の異なる多種多様な不正解画像３３が１枚の画像から作成される。

正解画像３２および不正解画像３３は、予め画像を回転させて作成してもよいし、教師画像を読み込む際に自動的に複数の回転画像Ｒ１（Ｒ２）を作成するようにしてもよい。教師画像は、たとえば合計１万枚（正解画像７０００枚、不正解画像３０００枚）以上作成される。

図８のステップＳ２において、与えられた教師画像から、特徴量が抽出される。特徴量の抽出は、多数種類のHaar-like特徴量の各々について行われる。Haar-like特徴量のパターン数は、探索窓Ｗのサイズにもよるが、たとえば数万〜数十万になる。ステップＳ３において、機械学習が実施される。機械学習の結果、ステップＳ２で抽出した各々のHaar-like特徴量のうちから、適切なHaar-like特徴量の組み合わせ、閾値および判定順序が決定される。

機械学習が終了すると、ステップＳ４で学習結果データ２４が生成され、ステップＳ５で学習結果データ２４が記録される。この結果、学習結果データ２４は、対象物Ｍの回転画像Ｒ１を含んだ複数の正解画像３２と、対象物以外の画像部分の回転画像Ｒ２を含んだ不正解画像３３とを用いた機械学習により生成されたデータとして記憶部７ｂに記録される。以上により、画像認識により対象物Ｍを検出するための学習結果データ２４が得られる。

（対象物検出処理）
次に、図１３を参照して、学習結果データ２４を用いた対象物検出処理について説明する。対象物検出処理は、学習結果データ２４を記憶部７ｂに記憶させた画像処理部７（対象物検出部２２）が行う。

ステップＳ１１において、対象物検出部２２は、複数の回転画像Ｒ１（Ｒ２）を用いた機械学習により予め取得された学習結果データ２４を記憶部７ｂから取得する。

ステップＳ１２において、放射線画像３１が対象物検出部２２に入力される。すなわち、照射部１から照射され、被検体Ｔを透過したＸ線を検出した放射線検出部２からの検出信号に基づいて、画像生成部２１が放射線画像３１を生成する。対象物検出部２２が生成された放射線画像３１を取得する。

ステップＳ１３において、対象物検出部２２が、学習結果データ２４に基づいて、画像認識を行い、対象物Ｍを検出する。対象物検出部２２は、図２に示したように、探索窓Ｗの範囲内での特徴量の抽出および検出判定を、各弱識別器５１の判定順序に従って行う。対象物検出部２２は、いずれかの弱識別器５１でＮｏ（検出なし）と判定すれば、以降の判定は行わずに探索窓Ｗを移動させる。放射線画像３１の全範囲で探索窓Ｗによる検出判定が実施されると、画像認識が終了する。

ステップＳ１４において、対象物検出部２２が、認識結果を出力する。つまり、対象物Ｍを検出した場合には、放射線画像３１における対象物Ｍの位置および範囲が出力される。なお、画像処理部７は、認識結果に基づいて、マーカー４０を基準としたステント４１の強調のための画像処理を行う。

ステップＳ１５において、たとえばＸ線撮影を終了するための操作部９への操作入力の受け付けなどに基づいて、対象物検出部２２は、対象物検出処理を終了するか否かを判断する。対象物検出処理を終了しない場合、対象物検出部２２は、処理をステップＳ１２に戻し、処理を継続する。対象物検出処理を終了する場合、対象物検出処理が完了する。

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

本実施形態では、上記のように、対象物Ｍの画像を複数角度θに回転させて得られた複数の回転画像Ｒ１を用いた機械学習により予め取得された画像認識用の学習結果データ２４を記憶する記憶部７ｂと、学習結果データ２４に基づいて、放射線画像３１中から画像認識により対象物Ｍを検出する対象物検出部２２とを設ける。これにより、１枚の対象物Ｍの画像を回転させて様々な角度θの教師画像を作り出して機械学習を行うことができる。その結果、たとえば対象物Ｍ以外にガイドワイヤ４２のような周辺構造が写る場合、回転により周辺構造の状況が異なる多種多様な教師画像（回転画像Ｒ１）を学習させるとともに、各々の回転画像Ｒ１に写る対象物Ｍ中に共通して存在する部分（回転対称な部分）を学習させることができるので、対象物Ｍ以外の周辺構造への過度な適合を抑制しつつ、対象物Ｍの効果的な学習が可能となる。したがって、機械学習の結果得られた学習結果データ２４に基づいて画像認識を行うことにより、ガイドワイヤ４２のような周辺構造の状況が様々に変化すること（周辺構造の有無や向きの相違）に起因する誤検出の発生を抑制することができる。

また、１枚の対象物Ｍの画像から、周辺構造の状況が異なる多様な教師画像が得られるので、収集が困難な臨床画像（放射線画像３１）からでも、多数かつ多様な教師画像を効率よく得ることができ、教師画像の不足や偏りを抑制できる。たとえば、１枚の画像から２０枚の回転画像Ｒ１を作成する場合、７０００枚の正解画像３２を用意するために３５０枚の対象物Ｍの画像を用意すればよい。これにより、確保が難しい臨床画像からでも現実的に収集可能な枚数まで必要な画像枚数を低減できる。これらの結果、本実施形態によれば、機械学習を用いて放射線画像３１中の対象物Ｍの画像認識を行う際の誤検出を抑制することが可能となる。

ところで、たとえば画像認識により被写体の顔を検出する技術などでは、被写体の顔が少々傾いても検出ができるように、教師画像を僅かに（たとえば±１０度程度の範囲で）ランダムに傾けて機械学習を行うことがある。しかし、この学習手法は、「顔の傾きに対して検出を頑健にする」ことを目的として所定角度範囲の顔を学習させるものであり、本実施形態による回転画像Ｒ１を用いる手法とは本質的に異なるものである。すなわち、本実施形態では、回転画像Ｒ１を用いて、回転に伴って変化する周辺領域３４と、対象物Ｍに含まれる回転対称構造（各回転画像Ｒ１において変化しない部分）とを機械学習させる。これにより、対象物Ｍの周辺構造への過適合を抑制しつつ、対象物Ｍ（対象物Ｍの一部または全部である回転対称構造）の効果的な学習が可能となる。この観点から、回転画像Ｒ１は、１回転（３６０度）分に相当する角度範囲で回転させた複数の画像であることが好ましい。

なお、図９に示したマーカー４０の場合、対象物Ｍの全体が回転対称構造（点状構造）となっているが、対象物Ｍの形状自体は、回転対称でなくてもよい。対象物Ｍの形状が回転対称でない場合でも、回転画像Ｒ１によって、対象物Ｍの画像中に回転に対して略変化しない部分が存在すれば、その部分を回転対称構造と見なして学習することが可能である。このため、本実施形態の回転画像Ｒ１を用いた学習は、回転対称形状の対象物Ｍに限られず、任意の形状の対象物Ｍに適用可能である。

本実施形態では、上記のように、対象物Ｍの画像を、放射線画像３１中から対象物Ｍを含む周辺領域３４を切り出して得られた画像部分とする。これにより、周辺領域３４における対象物Ｍ以外の状況や構造を含めて機械学習を行うことができる。そのため、学習結果データ２４を用いることにより、放射線画像３１において対象物Ｍの周辺に周辺構造が写りこむ場合でも、誤検出を抑制して対象物Ｍを検出することができる。

本実施形態では、上記のように、対象物Ｍは、放射線画像３１において略回転対称の形状を有する。また、回転画像Ｒ１は、対象物Ｍを中心に周辺領域３４が回転角度θに応じて変化する画像である。これにより、多種多様に変化する周辺領域３４を含みつつ、各回転画像Ｒ１に共通する点対称構造（対象物Ｍ）を学習させることができるので、周辺領域３４の状況に過度に適合することなく、対象物Ｍについて効果的な学習ができる。その結果、点状のマーカー４０のような特徴部分の少ない対象物Ｍでも、より確実に検出できるようになる。また、対象物Ｍ自体が回転対称となる結果、回転画像Ｒ１を用いた回転対称構造の学習によって対象物Ｍを効率的に学習することができるので、対象物Ｍをより確実に検出できるようになる。

本実施形態では、上記のように、対象物Ｍの画像を少なくとも半回転させる間の複数の回転角度θにおける回転画像Ｒ１を用いた機械学習により学習結果データ２４を生成する。これにより、広い回転角度範囲で回転させた様々な回転画像Ｒ１を用いて機械学習を行うことができるので、対象物Ｍの周辺状況に過度に適合して学習することを効果的に抑制することができる。その結果、様々な状況の放射線画像３１が撮影された場合でも、誤検出の発生を抑制することができる。

本実施形態では、上記のように、対象物Ｍの回転画像Ｒ１からなる複数の正解画像と、放射線画像３１中から切り出された対象物Ｍ以外の画像の回転画像Ｒ２からなる複数の不正解画像３３と、を用いた機械学習により学習結果データ２４を生成する。これにより、対象物Ｍ以外の画像である不正解画像３３についても、向きが相違する多種多様な不正解画像３３を容易に作成して学習させることができる。たとえば、ガイドワイヤ４２の先端部４２ａ（図１１（Ｃ）参照）は、様々な向きの不正解画像３３を学習させない場合、マーカー４０と同様の点状構造として誤検出されやすい。このように放射線画像３１中で様々な向きを取り得る構造について、十分な種類（向き）の画像を用意するのは困難であるが、回転画像Ｒ２によって多種多様な不正解画像３３を容易に作成して学習させることができる。この結果、対象物Ｍ以外の構造の誤検出をより効果的に抑制して、より確実な対象物Ｍの検出が可能となる。

本実施形態では、上記のように、対象物Ｍは、被検体内にカテーテル挿入される機器（ステント４１）に設けられる放射線画像用のマーカー４０である。このようにカテーテル挿入される機器は、極めて小型で放射線画像３１において認識することが困難である。そのため、これらの小型の機器に設けられるマーカー４０を対象物Ｍとして学習することにより、検出精度を向上させることができるので、放射線撮影装置１００の利便性を向上させることができる。

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、対象物検出部２２が、動画像の形式の放射線画像３１について、フレーム毎に対象物検出を行う例を示したが、本発明はこれに限られない。本発明では、動画像でフレームレートが大きい場合などには、フレーム毎ではなく、複数フレームに対して１回の割合で対象物検出を行ってもよい。また、動画像ではなく、静止画像に対して検出処理を行ってもよい。

また、上記実施形態では、放射線撮影装置の一例として、Ｘ線を用いてＸ線画像を撮影するＸ線撮影装置に本発明を適用した例を示したが、本発明はこれに限られない。本発明は、Ｘ線以外の放射線を用いて撮影を行う装置に適用してもよい。

また、上記実施形態では、被検体Ｔ内にカテーテル挿入されるステント４１に設けられる放射線画像３１用のマーカー４０を対象物Ｍとして検出する例を示したが、本発明はこれに限られない。対象物Ｍは、ステントマーカー（マーカー４０）以外でもよい。本発明は、上述の通り、被検体Ｔ内にカテーテル挿入される機器に設けられるマーカーを対象物Ｍとすることが好ましい。カテーテル挿入される機器としては、ステント、人工弁、人工血管などの治療用器具や、血管内視鏡などの血管内イメージング機器であってよい。血管内イメージング機器は、血管内視鏡以外にも、たとえば血管内超音波（ＩＶＵＳ）、光干渉断層撮影（ＯＣＴ）用のカテーテルであってもよい。また、対象物Ｍは、これらの機器に設けられるマーカー以外でもよい。ステントなどの治療用器具、血管内イメージング機器自体を対象物Ｍとしてもよい。これらの場合、対象物Ｍは、回転対称構造でなくてもよい。

回転対称構造以外の対象物Ｍについて、たとえば、図１１（Ｃ）に示したガイドワイヤ４２の先端部４２ａを対象物Ｍとして検出してもよい。この場合、対象物Ｍ（先端部４２ａ）を画像中央に配置し、周辺領域も含めて切り出した画像を回転させて回転画像を作成する。すなわち、図１２に示した回転画像Ｒ２を、先端部４２ａの検出のための正解画像３２として用いることができる。ガイドワイヤ４２自体は回転対称構造ではないが、図１２の回転画像Ｒ２の各々の先端部４２ａに着目すれば、回転画像Ｒ２の共通部分（回転対称構造）として先端部４２ａが存在することが分かる。このため、回転画像Ｒ２の学習の結果、共通部分としての回転対称構造（先端部４２ａ）が学習されることにより、先端部４２ａを検出することが可能となる。この場合は、不正解画像３３として、たとえばステントマーカー４０などの回転画像（回転画像Ｒ１）を与えれば、他の回転対称構造と区別して、ガイドワイヤ４２の先端部４２ａだけを検出することが可能となる。これは、回転画像Ｒ２に周辺領域３４も含めることにより、共通部分の回転対称構造だけでなく、周辺領域３４（回転画像Ｒ２の場合は片側のみに線が接続している構造）も同時に学習されるためである。

同様に、たとえば、正解画像３２にガイドワイヤ４２（構造部分Ｋ）が付属したマーカー４０の回転画像を指定し、不正解画像３３にガイドワイヤ４２（構造部分Ｋ）が付属しないマーカー４０（ステント留置後のマーカー４０）の回転画像を指定して学習させると、ガイドワイヤ４２（構造部分Ｋ）が付属したマーカー４０のみを対象物Ｍとして検出することが可能となる。

このように回転画像を教師画像として学習させることにより、上記した人工弁等の他のデバイスの先端部やデバイス内部の点状に写り込む部分を学習させることが可能である。つまり、対象物Ｍ自体が回転対称でなくとも、対象物Ｍに含まれる部分的に回転対称構造とみなせる部分を学習することが可能である。

また、上記実施形態では、Haar-like特徴量を用いた複数の弱識別器５１の組み合わせにより識別器を構成するブースティングの例を示したが、本発明はこれに限られない。識別器は、Haar-like特徴量以外の特徴量を用いて画像認識してもよい。識別器は、ブースティング以外のＳＶＭやニューラルネットワークなどによって構成されてもよい。識別器は、機械学習により構成可能であればどのようなものでもよい。

また、上記実施形態では、教師画像として、回転画像Ｒ１からなる正解画像３２と、回転画像Ｒ２からなる不正解画像３３とを用いる例を示したが、本発明はこれに限られない。本発明では、たとえば正解画像３２のみ回転画像Ｒ１を用いて、不正解画像３３については回転させない画像（放射線画像３１から切り出した画像）を用いてもよい。

また、上記実施形態では、概ね中心線対象（左右対称）の画像となる対象物Ｍの画像を半回転（１８０度）分の角度範囲で回転させた回転画像Ｒ１の例を示したが、本発明はこれに限られない。回転画像は、１８０度よりも小さい角度範囲で回転させてもよい。ただし、多種多様な教師画像を作成するためには、回転画像はなるべく大きい角度範囲で回転させたものが好ましい。また、元になる画像が中心線対象でなければ、３６０度分の回転画像の方が好ましい。

また、上記実施形態では、説明の便宜上、画像処理部（対象物検出部）の処理を処理フローに沿って順番に処理を行うフロー駆動型のフローを用いて説明したが、本発明はこれに限られない。本発明では、画像処理部の処理を、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。

１ 照射部
２ 放射線検出部
７ｂ 記憶部
２１ 画像生成部
２２ 対象物検出部
２４ 学習結果データ
３１ 放射線画像
３２ 正解画像
３３ 不正解画像
３４ 周辺領域
４０ マーカー
４１ ステント（カテーテル挿入される機器）
１００ 放射線撮影装置
Ｍ 対象物
Ｒ１ 回転画像
Ｒ２ 回転画像
θ 角度

Claims (8)

1. 被検体に放射線を照射する照射部と、
   前記被検体を透過した放射線を検出する放射線検出部と、
   前記放射線検出部の検出信号に基づき放射線画像を生成する画像生成部と、
   対象物の画像を複数角度に回転させて得られた複数の回転画像を用いた機械学習により予め取得された画像認識用の学習結果データを記憶する記憶部と、
   前記学習結果データに基づいて、前記放射線画像中から画像認識により前記対象物を検出する対象物検出部とを備える、放射線撮影装置。
2. 前記対象物の画像は、前記放射線画像中から前記対象物を含む周辺領域を切り出して得られた画像部分である、請求項１に記載の放射線撮影装置。
3. 前記対象物は、放射線画像において略回転対称の形状を有し、
   前記回転画像は、前記対象物を中心に前記周辺領域が回転角度に応じて変化する画像である、請求項２に記載の放射線撮影装置。
4. 前記学習結果データは、前記対象物の画像を少なくとも半回転させる間の複数の回転角度における前記回転画像を用いた機械学習により生成されたデータである、請求項１〜３のいずれか１項に記載の放射線撮影装置。
5. 前記学習結果データは、
   前記対象物の回転画像からなる複数の正解画像と、
   放射線画像中から切り出された前記対象物以外の画像を複数角度に回転させて得られた回転画像からなる複数の不正解画像と、
   を用いた機械学習により生成されたデータである、請求項１〜４のいずれか１項に記載の放射線撮影装置。
6. 前記対象物は、被検体内にカテーテル挿入される機器に設けられる放射線画像用のマーカーである、請求項１〜５のいずれか１項に記載の放射線撮影装置。
7. 被検体の放射線画像中から画像認識により対象物を検出する処理をコンピュータに実行させる対象物検出プログラムであって、
   コンピュータに、
   前記対象物の画像を複数角度に回転させて得られた複数の回転画像を用いた機械学習により予め取得された学習結果データを記憶部から取得する処理と、
   前記学習結果データに基づいて、前記放射線画像中から画像認識により前記対象物を検出する処理とを実行させる、放射線画像の対象物検出プログラム。
8. 被検体の放射線画像中から画像認識により対象物を検出するための対象物検出方法であって、
   被検体の放射線画像中から切り出された前記対象物の画像を複数角度に回転させて得られた複数の回転画像を取得する工程と、
   前記複数の回転画像の各々を教師画像として、画像認識により前記対象物を検出するための機械学習を行い、画像認識用の学習結果データを生成する工程と、
   被検体に放射線を照射し、前記被検体を透過した放射線を検出することにより放射線画像を生成する工程と、
   前記学習結果データに基づいて、前記放射線画像中から画像認識により前記対象物を検出する工程とを備える、放射線画像における対象物検出方法。

Images