JP2022064760A - Ｘ線撮影装置、画像処理方法、および、学習済みモデルの生成方法 - Google Patents

Abstract

【課題】機械学習によって生成された物体検出の学習済みモデルに基づいてＸ線画像に含まれる手術後の被検体の体内に取り残された異物を検出する場合に、Ｘ線画像に含まれる異物を容易に識別することが可能なＸ線撮影装置、画像処理方法、および、学習済みモデルの生成方法を提供することである。【解決手段】このＸ線撮影装置１００は、Ｘ線照射部１と、Ｘ線検出部２と、Ｘ線画像１０を生成するＸ線画像生成部３と、制御部６と、を備え、制御部６は、機械学習によって生成された物体検出の学習済みモデル５１に基づいて、Ｘ線画像１０のうちの異物２００が含まれる領域を検出する物体検出部６１と、異物２００が含まれる領域に対応する部分を色付けすることによって、異物２００を識別するための識別画像２０を生成する識別画像生成部６２と、識別画像２０を出力する画像出力部６３と、を含む。【選択図】図２

Description

本発明は、Ｘ線撮影装置、画像処理方法、および、学習済みモデルの生成方法に関し、特に、手術後の被検体の体内に取り残された異物を検出するＸ線撮影装置、画像処理方法、および、学習済みモデルの生成方法に関する。

従来、手術後の被検者（被検体）の体内に取り残された異物を検出する放射線撮影システム（Ｘ線撮影装置）が知られている（たとえば、特許文献１参照）。

上記特許文献１に記載されている放射線撮影システムは、検査目的に応じて、予め設定された処理手順に従って放射線画像の処理を行う。たとえば、開腹手術の後に止血用ガーゼの有無を確認するための処理手順が設定されている場合には、撮影された撮影画像に対して異物強調処理が実行される。そして、上記特許文献１に記載の放射線撮影システムは、被検者の体内の異物（ガーゼ）が見やすいように異物強調処理が実行された腹部画像を表示する。

特開２０１９－１８０６０５号公報

ここで、上記特許文献１に記載されている放射線撮影システムのように、手術後に被検者（被検体）の体内に取り残されている止血用ガーゼ（手術用ガーゼ）などの異物の有無を医師などの作業者が確認するために、物体検出による異物の検出を行うことが考えられる。すなわち、異物を検出するための物体検出のアルゴリズムとして機械学習によって生成された物体検出の学習済みモデルを用いて、撮影された撮影画像（Ｘ線画像）のうちから異物に対応する部分を推定することが考えられる。その場合には、医師などの作業者は、物体検出の検出結果によって異物が含まれると推定された部分を参照（確認）しながら、Ｘ線画像を確認することによって被検体の体内の異物の有無を確認する。

たとえば、機械学習によって生成された物体検出の学習済みモデルに基づいて、撮影されたＸ線画像から異物を検出する場合には、Ｘ線画像のうちの異物が含まれていると推定される部分が矩形の枠で囲まれて表示される場合がある。この場合に、Ｘ線画像のうちから複数の部分が検出された場合には複数の枠が表示される。そのため、Ｘ線画像に表示される形状が枠で隠れてしまい見にくくなるため、複数の枠の表示に起因してＸ線画像自体の視認性が低下する。これにより、撮影されたＸ線画像に含まれる異物を確認することが困難となる。また、しきい値などを用いて検出する枠の個数が比較的少なくなるように設定された場合には、Ｘ線画像のうちの実際に異物が含まれる部分が検出されずに見落とされることが考えられる。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、機械学習によって生成された物体検出の学習済みモデルに基づいてＸ線画像に含まれる手術後の被検体の体内に取り残された異物を検出する場合に、Ｘ線画像に含まれる異物を容易に識別することが可能なＸ線撮影装置、画像処理方法、および、学習済みモデルの生成方法を提供することである。

上記目的を達成するために、この発明の第１の局面におけるＸ線撮影装置は、手術後の被検体の体内に取り残された異物を検出するためにＸ線撮影を行うＸ線撮影装置であって、被検体にＸ線を照射するＸ線照射部と、Ｘ線照射部から照射されたＸ線を検出するＸ線検出部と、Ｘ線検出部によって検出されたＸ線の検出信号に基づいてＸ線画像を生成するＸ線画像生成部と、制御部と、を備え、制御部は、機械学習によって生成された物体検出の学習済みモデルに基づいて、Ｘ線画像のうちの異物が含まれる領域を検出する物体検出部と、物体検出部によって検出された異物が含まれる領域に対応する部分を色付けすることによって、異物を識別するための識別画像を生成する識別画像生成部と、識別画像生成部によって生成された識別画像を出力する画像出力部と、を含む。

この発明の第２の局面における画像処理方法では、手術後の被検体の体内に取り残された異物を検出するために被検体にＸ線を照射するステップと、照射されたＸ線を検出するステップと、検出されたＸ線の検出信号に基づいてＸ線画像を生成するステップと、機械学習によって生成された物体検出の学習済みモデルに基づいて、Ｘ線画像のうちの異物が含まれる領域を検出するステップと、検出された異物が含まれる領域に対応する部分を色付けすることによって、異物を識別するための識別画像を生成するステップと、生成された識別画像を出力するステップと、を備える。

この発明の第３の局面における学習済みモデルの生成方法では、体内に異物が取り残されている手術後の被検体にＸ線を照射することによって生成されたＸ線画像を模擬するように生成された教師入力用Ｘ線画像を取得するステップと、教師入力用Ｘ線画像における異物を示す領域である教師出力用異物領域を取得するステップと、異物が含まれる領域に対応する部分を色付けすることによって異物を識別するための識別画像を生成するために、教師入力用Ｘ線画像と教師出力用異物領域とに基づいて、機械学習によってＸ線画像のうちの異物が含まれる領域を検出する物体検出の学習済みモデルを生成するステップと、を備える。

上記第１の局面におけるＸ線撮影装置および上記第２の局面における画像処理方法では、機械学習によって生成された物体検出の学習済みモデルに基づいて、Ｘ線画像のうちの異物が含まれる領域を検出する。そして、検出された異物が含まれる領域に対応する部分を色付けすることによって、異物を識別するための識別画像を生成する。これにより、異物が含まれていると推定される部分が矩形の枠で囲まれる場合と異なり、Ｘ線画像に表示される形状が枠で隠れることなく、色付けされることによって異物に対応するＸ線画像の部分を識別可能に表示することができる。そのため、複数の領域が検出された場合にも、異物を識別可能に表示しながらＸ線画像の視認性が低下することを抑制することができる。そして、複数の領域が検出された場合にもＸ線画像の視認性が低下することを抑制することができるので、しきい値などを用いて検出する個数を少なくする必要がなくなる。そのため、異物が検出されずに見落とされることを抑制することができる。その結果、機械学習によって生成された物体検出の学習済みモデルに基づいてＸ線画像に含まれる手術後の被検体の体内に取り残された異物を検出する場合に、Ｘ線画像に含まれる異物を容易に識別することができる。

また、上記第３の局面における学習済みモデルの生成方法では、異物が含まれる領域に対応する部分を色付けすることによって異物を識別するための識別画像を生成するために、教師入力用Ｘ線画像と教師出力用異物領域とに基づいて、機械学習によってＸ線画像のうちの異物が含まれる領域を検出する物体検出の学習済みモデルを生成する。これにより、機械学習によって生成された物体検出の学習済みモデルに基づいて、Ｘ線画像のうちの異物が含まれる領域を容易に検出することができる。そのため、検出された異物が含まれる領域に対応する部分を色付けすることによって、異物を識別するための識別画像を容易に生成することができる。その結果、Ｘ線画像に表示される形状が枠で隠れることなく、色付けされることによって異物に対応するＸ線画像の領域を識別可能に表示することができるため、Ｘ線画像に含まれる異物を容易に識別することが可能な学習済みモデルの生成方法を提供することができる。

一実施形態によるＸ線撮影装置の構成を説明するための図である。 一実施形態によるＸ線撮影装置の構成を説明するためのブロック図である。 一実施形態による体内に異物が取り残された被検体のＸ線画像の一例を示す図である。 一実施形態による異物の検出について説明するための図である。 一実施形態による複数の推定領域および判定値を取得する例を説明するための図である。 一実施形態による学習済みモデルの生成について説明するための図である。 一実施形態による分布表示について説明するための図である。 ２次元ガウシアン分布に沿った表示について説明するための図である。 推定領域と判定値に基づく複数の分布表示の生成について説明するための図である。 一実施形態による識別画像について説明するための図である。 一実施形態による表示部の表示について説明するための図である。 一実施形態による学習済みモデルの生成方法について説明するためのフローチャート図である。 一実施形態による画像処理方法について説明するためのフローチャート図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

（Ｘ線撮影装置の全体構成）
図１～図１１を参照して、本発明の一実施形態によるＸ線撮影装置１００について説明する。

図１に示すように、Ｘ線撮影装置１００は、手術後の被検体１０１の体内に取り残された異物２００を検出するためにＸ線撮影を行う。Ｘ線撮影装置１００は、手術室内において開腹手術が行われた被検体１０１に対して、異物２００が体内に取り残されているか否かを確認するためのＸ線撮影を行う。Ｘ線撮影装置１００は、たとえば、装置全体が移動可能な回診用Ｘ線撮影装置である。異物２００は、たとえば、手術用ガーゼ、縫合針、および、鉗子（止血鉗子など）を含む。

一般に、開腹手術などの外科手術が行われた場合には、医師などの作業者は、閉創後に手術用ガーゼ、縫合針、および、鉗子などの異物２００が被検体１０１の体内に取り残される（残留する）ことがないように、被検体１０１に対して確認のためのＸ線撮影を行う。医師などの作業者は、撮影されたＸ線画像１０（図３参照）を視認することによって、被検体１０１の体内に異物２００が取り残されていないことを確認する。

〈Ｘ線撮影装置について〉
図２に示すように、Ｘ線撮影装置１００は、Ｘ線照射部１、Ｘ線検出部２、Ｘ線画像生成部３、表示部４、記憶部５、および、制御部６を備える。

Ｘ線照射部１は、手術後の被検体１０１にＸ線を照射する。Ｘ線照射部１は、電圧が印加されることによってＸ線を照射するＸ線管を含む。

Ｘ線検出部２は、被検体１０１を透過したＸ線を検出する。そして、Ｘ線検出部２は、検出されたＸ線に基づいて検出信号を出力する。Ｘ線検出部２は、たとえば、ＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ）を含む。また、Ｘ線検出部２は、ワイヤレスタイプのＸ線検出器として構成されており、無線信号としての検出信号を出力する。具体的には、Ｘ線検出部２は、無線ＬＡＮなどによる無線接続によって、後述するＸ線画像生成部３と通信可能に構成されており、Ｘ線画像生成部３に対して無線信号としての検出信号を出力する。

Ｘ線画像生成部３は、図３に示すように、Ｘ線照射部１およびＸ線検出部２を制御することによって、Ｘ線撮影の制御を行う。そして、Ｘ線画像生成部３は、Ｘ線検出部２によって検出されたＸ線の検出信号に基づいてＸ線画像１０を生成する。Ｘ線画像生成部３は、無線ＬＡＮなどによる無線接続によってＸ線検出部２と通信可能に構成されている。Ｘ線画像生成部３は、たとえば、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などのプロセッサを含む。そして、Ｘ線画像生成部３は、後述する制御部６に対して生成されたＸ線画像１０を出力する。

Ｘ線画像１０は、手術後の被検体１０１の腹部をＸ線撮影することにより取得された画像である。たとえば、Ｘ線画像１０には、異物２００として手術用ガーゼが含まれる。なお、手術用ガーゼは、手術後のＸ線撮影によるＸ線画像１０において視認可能なようにＸ線を透過させにくい造影糸が織り込まれている。

表示部４は、たとえば、タッチパネル式の液晶ディスプレイを含む。そして、表示部４は、撮影されたＸ線画像１０を表示する。また、表示部４は、後述する画像出力部６３によって出力された識別画像２０（図１０参照）を表示する。また、表示部４は、タッチパネルに対する操作に基づいて、医師などの作業者によるＸ線撮影装置１００を操作するための入力操作を受け付けるように構成されている。

記憶部５は、たとえば、ハードディスクドライブなどの記憶装置により構成されている。記憶部５は、Ｘ線画像生成部３によって生成されたＸ線画像１０および後述する制御部６によって生成された識別画像２０（図１０参照）などの画像データを記憶する。また、記憶部５は、Ｘ線撮影装置１００を動作させる各種の設定値を記憶するように構成されている。また、記憶部５は、制御部６によるＸ線撮影装置１００の制御の処理に用いられるプログラムを記憶する。また、記憶部５は、後述する物体検出の学習済みモデル５１を記憶する。

制御部６は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されたコンピュータである。制御部６は、機能的な構成として、物体検出部６１、識別画像生成部６２、および、画像出力部６３を含む。すなわち、制御部６は、所定の制御プログラムを実行することにより、物体検出部６１、識別画像生成部６２、および、画像出力部６３として機能する。また、物体検出部６１、識別画像生成部６２、および、画像出力部６３は、制御部６の中のソフトウェアとしての機能ブロックであり、ハードウェアとしての制御部６の指令信号に基づいて機能するように構成されている。

（物体検出について）
図４に示すように、本実施形態では、物体検出部６１（制御部６）は、機械学習によって生成された物体検出の学習済みモデル５１に基づいて、Ｘ線画像１０のうちの異物２００が含まれる領域を検出する。学習済みモデル５１は、深層学習を用いた機械学習によって生成される。学習済みモデル５１における物体検出のアルゴリズムとして、たとえば、ＦａｓｔｅｒＲ－ＣＮＮ（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。ＦａｓｔｅｒＲ－ＣＮＮを用いた物体検出では、入力画像に対して、１つまたは複数の目標物体が矩形の枠で囲まれて検出される。そして、各々の目標物体の検出（推論）結果に対する信頼度（スコア）も同時に推測される。

本実施形態では、物体検出部６１は、学習済みモデル５１に基づいて、Ｘ線画像１０のうちから異物２００が含まれると推定される推定領域１１を取得するとともに、推定領域１１における異物２００の確かさの度合いである尤度（信頼度）を判定した判定値１２を取得するように構成されている。物体検出部６１は、予め生成された物体検出の学習済みモデル５１を用いることによって、Ｘ線画像１０のうちから異物２００が含まれると推定される矩形の領域（バウンディングボックス）を推定領域１１として検出する。そして、物体検出部６１は、学習済みモデル５１を用いて、検出された推定領域１１についての判定値１２を取得する。判定値１２は、０以上１以下の数値で表される。判定値１２は、数値が大きいほど、推定領域１１に異物２００が含まれている可能性が高いことを示す。

また、図５に示すように、物体検出部６１（制御部６）は、複数の推定領域１１を取得するとともに、取得された複数の推定領域１１の各々に対応する複数の判定値１２を取得するように構成されている。すなわち、物体検出部６１は、Ｘ線画像１０のうちから、異物２００が含まれると推定される領域のすべてを推定領域１１として取得する。推定領域１１は、Ｘ線画像１０における異物２００と推定された領域に応じて大きさ（面積）が変化する。すなわち、推定領域１１として取得される矩形の領域のたてとよこの長さ（ピクセル値）は、Ｘ線画像１０において異物２００として検出された部分（領域）の大きさに応じて変化する。そして、物体検出部６１は、学習済みモデル５１に基づいて、取得された複数の推定領域１１の各々に対して、判定値１２を取得する。

（学習済みモデルの生成について）
図６に示すように、本実施形態では、物体検出の学習済みモデル５１は、Ｘ線画像１０から手術用ガーゼ、縫合針、および、鉗子を含む異物２００が含まれる領域を検出するように機械学習によって生成される。学習済みモデル５１は、Ｘ線撮影装置１００とは別個の学習装置３００によって予め生成される。学習装置３００は、たとえば、ＣＰＵ、ＧＰＵ、ＲＯＭ、および、ＲＡＭなどを含んで構成されたコンピュータである。学習済みモデル５１は、教師入力用Ｘ線画像３１０と教師出力用異物領域３２０とに基づいて、深層学習を用いた機械学習によって生成される。

教師入力用Ｘ線画像３１０は、体内に異物２００が取り残された被検体１０１を撮影したＸ線画像１０を模擬するように学習装置３００によって生成される。学習装置３００は、たとえば、人体を模した人体ファントムにＸ線を照射することによって生成された模擬Ｘ線画像と、医療用ガーゼ、縫合針、および、鉗子などの異物２００をＸ線撮影することによって生成された異物画像とを取得する。そして、学習装置３００は、模擬Ｘ線画像と異物画像とを合成することによって教師入力用Ｘ線画像３１０を生成する。学習装置３００は、模擬Ｘ線画像と異物画像とを合成する場合のパラメータ（角度、濃度、大きさなど）を複数の条件に変更させることによって、複数の教師入力用Ｘ線画像３１０を生成する。なお、教師入力用Ｘ線画像３１０は、実際に人体をＸ線撮影した画像に異物画像を合成することによって生成されてもよい。また、教師入力用Ｘ線画像３１０は、異物が含まれていない（異物画像が合成されていない）模擬Ｘ線画像を含んでいてもよい。

教師出力用異物領域３２０は、生成された複数の教師入力用Ｘ線画像３１０のうちの異物２００に対応する領域を示す情報（アノテーション）である。具体的には、教師出力用異物領域３２０は、教師入力用Ｘ線画像３１０における異物２００を取り囲むように設定された矩形の領域（枠線）の座標を含む。学習装置３００は、学習装置３００の図示しない操作部に対する入力操作に基づいて、複数の教師入力用Ｘ線画像３１０の各々における異物２００の領域が指定されることによって、複数の教師入力用Ｘ線画像３１０の各々に対応する教師出力用異物領域３２０を取得するように構成されている。また、学習装置３００は、異物画像から異物２００の領域を検出することによって、複数の教師入力用Ｘ線画像３１０に対応する複数の教師出力用異物領域３２０を取得するように構成されていてもよい。

学習装置３００は、教師入力用Ｘ線画像３１０を入力として、教師出力用異物領域３２０を出力として、機械学習によって学習を行い、物体検出の学習済みモデル５１を生成する。すなわち、学習装置３００は、教師入力用Ｘ線画像３１０と教師出力用異物領域３２０とを教師データ（トレーニングセット）として、機械学習によって学習済みモデル５１を生成する。学習装置３００は、複数の教師入力用Ｘ線画像３１０と複数の教師出力用異物領域３２０とを用いて学習を行うことによって、学習済みモデル５１を生成する。

生成された学習済みモデル５１は、Ｘ線撮影を行う前に予めＸ線撮影装置１００の記憶部５に記憶される。学習済みモデル５１は、ネットワークを介して学習装置３００からＸ線撮影装置１００の記憶部５に記憶されてもよいし、フラッシュメモリなどの記憶媒体を介して記憶部５に記憶されてもよい。

（識別画像の生成について）
図７に示すように、識別画像生成部６２（制御部６）は、物体検出部６１（制御部６）によって取得された複数の推定領域１１の各々において、判定値１２に基づいて色づけされる分布表示１３を生成する。分布表示１３は、たとえば、赤色を基準として、対応する判定値１２の値が大きいほど輝度が高く、判定値１２の値が小さいほど輝度が低くなるように色付けされる。すなわち、値が大きいほど色が薄く白くなり、値が小さいほど色が濃く黒くなるように分布表示１３が生成される。なお、図７では、色の違いをハッチングの違いによって表している。図７では、分布表示１３において、０以上１以下の値の範囲において０．２ごとに段階的に色（ハッチング）が変化するように表しているが、段階的（離散的）な色の変化ではなく、徐々に色が変化するようにして分布表示１３を生成するようにしてもよい。

また、本実施形態では、識別画像生成部６２（制御部６）は、取得された推定領域１１と判定値１２とに基づいて、２次元ガウシアン分布（正規分布）に沿って色が変化する分布表示１３を生成する。

図８に示すように、ガウス関数（ガウシアン関数）によるガウシアン分布（正規分布）は、中心（中央値、平均値）の値が最も大きく、中心から離れるにしたがって徐々に値が小さくなるような釣り鐘型（山型）の分布となる。たとえば、分布表示１３における２次元ガウシアン分布は、２変量ともに標準正規分布に基づいて設定される。標準正規分布は、平均が０、分散が１の正規分布である。識別画像生成部６２は、たとえば、図８の標準正規分布の分布曲線のうちの－３以上３以下の範囲の分布曲線に基づいて、分布表示１３を生成する。

すなわち、識別画像生成部６２は、図８の標準正規分布の分布曲線に沿うように色の輝度を変化させて分布表示１３を生成する。そして、識別画像生成部６２は、推定領域１１がたてとよこの長さが互いに異なる長方形の矩形の領域である場合にも、楕円ではなく真円の同心円状に色が変化する表示となるように分布表示１３を生成する。したがって、識別画像生成部６２は、分布表示１３の中心における色が最も輝度が高く、２次元ガウシアン分布に沿って中心から外側に向かって同心円状に輝度が低くなるように分布表示１３を生成する。

そして、図９に示すように、本実施形態では、識別画像生成部６２（制御部６）は、複数の推定領域１１の各々を対応する判定値１２に基づいて色付けすることによって、複数の推定領域１１の各々における分布表示１３を生成する。すなわち、識別画像生成部６２は、物体検出部６１によって検出された推定領域１１ごとに、推定領域１１の大きさ（面積）と判定値１２とに基づいて、２次元ガウシアン分布に沿って色付けされた分布表示１３を生成する。

識別画像生成部６２（制御部６）は、取得された矩形の推定領域１１の大きさに対応するように分布表示１３を生成する。詳細には、識別画像生成部６２は、複数の推定領域１１の各々において、取得された推定領域１１の大きさ（面積）に応じて、分布表示１３の大きさ（図９の範囲の幅α）を設定する。

そして、識別画像生成部６２は、分布表示１３の中心における色の輝度を、対応する推定領域１１における判定値１２の大きさに基づいて設定する。たとえば、分布表示１３における色の輝度は、０以上２５５以下の２５６段階の値によって設定される。識別画像生成部６２は、０以上１以下の値の範囲である判定値１２を、２５６段階の色の輝度に対応付けるようにして分布表示１３における色を設定する。２次元ガウシアン分布の分布曲線の値（分布の高さ）に判定値１２を乗算することによって、２次元ガウシアン分布に強度（インテンシティ）が付与される。これにより、識別画像生成部６２は、複数の推定領域１１のそれぞれの判定値１２の大きさに対応するように、分布表示１３におけるガウシアン分布の頂点の高さ（図９の高さβ）を設定する。

図１０に示すように、本実施形態では、識別画像生成部６２（制御部６）は、生成された分布表示１３による識別画像２０を生成するように構成されている。具体的には、識別画像生成部６２は、推定領域１１の矩形を示す枠を表示させずに、複数の推定領域１１の各々の位置に対応する分布表示１３を表示させることによって識別画像２０を生成するように構成されている。識別画像生成部６２は、たとえば、推定領域１１を示す矩形の中心（対角線の交点）と、分布表示１３による２次元ガウシアン分布の中心（平均値、中央値）が一致するように、複数の推定領域１１に対応する複数の分布表示１３による識別画像２０を生成する。

識別画像生成部６２は、識別画像２０において、分布表示１３どうしが重なり合って表示される場合には、重なり合う画素（色）における輝度を足し合わせて表示させるように構成されている。なお、識別画像生成部６２は、識別画像２０において、分布表示１３どうしが重なり合って表示される場合には、値が大きい方の輝度を選択して表示させるように構成されていてもよい。また、識別画像２０において、推定領域１１が検出されなかった部分（領域）は、対応する画素の輝度が０として表示される。

上記のように、本実施形態では、識別画像生成部６２（制御部６）は、物体検出部６１によって検出された異物２００が含まれる領域に対応する部分を色付けすることによって、異物２００を識別するための識別画像２０を生成する。すなわち、識別画像生成部６２は、物体検出部６１によって取得された推定領域１１と判定値１２とに基づいて色付けすることによって、異物２００を識別するための識別画像２０を生成するように構成されている。言い換えると、識別画像生成部６２は、判定値１２に応じて変化するように色付けされたヒートマップ画像（カラーマップ画像）として識別画像２０を生成するように構成されている。

（表示部の表示について）
図１１に示すように、本実施形態では、画像出力部６３（制御部６）は、識別画像生成部６２によって生成された識別画像２０を出力する。具体的には、画像出力部６３は、Ｘ線画像１０に識別画像２０を重畳させて表示部４に表示させるように構成されている。

画像出力部６３は、たとえば、識別画像２０の透過度を５０％にする画像処理を行う。そして、画像出力部６３は、透過度が５０％の識別画像２０を、Ｘ線画像１０に重畳させて表示部４に表示させる。すなわち、画像出力部６３は、Ｘ線画像１０に、透過処理がされた識別画像２０を重畳させて表示部４に表示させる。画像出力部６３は、Ｘ線画像１０の視認性を低下させずに、Ｘ線画像１０の異物２００が含まれると推定された領域が色付けされた状態で視認可能なように、Ｘ線画像１０に識別画像２０を重畳させて表示部４に表示させる。

なお、画像出力部６３は、表示部４のタッチパネルに対する入力操作に基づいて、識別画像２０をＸ線画像１０に重畳して表示させることと、識別画像２０を表示せずＸ線画像１０のみを表示させることとを切り替えるように構成されていてもよい。

（本実施形態による学習済みモデルの生成方法について）
次に、図１２を参照して、本実施形態による学習済みモデルの生成方法について説明する。なお、学習済みモデルの生成方法は、学習装置３００によって実施される。

まず、ステップ４０１において、人体ファントムをＸ線撮影した模擬Ｘ線画像と、異物２００をＸ線撮影した異物画像とが取得される。

次に、ステップ４０２において、体内に異物２００が取り残されている手術後の被検体１０１にＸ線を照射することによって生成されたＸ線画像１０を模擬するように生成された教師入力用Ｘ線画像３１０が取得される。具体的には、複数の模擬Ｘ線画像と複数の異物画像とが、パラメータ（濃度、角度、および、大きさなど）を変更しながら合成されることによって生成された教師入力用Ｘ線画像３１０が取得される。

次に、ステップ４０３において、教師入力用Ｘ線画像３１０における異物２００を示す領域である教師出力用異物領域３２０が取得される。具体的には、教師入力用Ｘ線画像３１０における異物２００を取り囲むように設定された矩形の領域（座標）を含む情報（アノテーション）が教師出力用異物領域３２０として取得される。

次に、ステップ４０４において、異物２００が含まれる領域に対応する部分を色付けすることによって異物２００を識別するための識別画像２０を生成するために、教師入力用Ｘ線画像３１０と教師出力用異物領域３２０とに基づいて、機械学習によってＸ線画像１０のうちの異物２００が含まれる領域を検出する物体検出の学習済みモデル５１が生成される。具体的には、教師入力用Ｘ線画像３１０を入力として、教師出力用異物領域３２０を出力として、深層学習による機械学習によって学習が行われ、識別画像２０を生成するための物体検出の学習済みモデル５１が生成される。

（本実施形態による画像処理方法について）
次に、図１３を参照して、本実施形態による画像処理方法に関する制御処理フローについて説明する。また、ステップ５０１～ステップ５０３は、Ｘ線画像生成部３による制御処理を示し、ステップ５０４～ステップ５０６は、制御部６による制御処理を示す。

まず、ステップ５０１において、手術後の被検体１０１の体内に取り残された異物２００を検出するために被検体１０１にＸ線が照射される。次に、ステップ５０２において、照射されたＸ線が検出される。次に、ステップ５０３において、検出されたＸ線の検出信号に基づいてＸ線画像１０が生成される。

次に、ステップ５０４において、機械学習によって生成された物体検出の学習済みモデル５１に基づいて、Ｘ線画像１０のうちの異物２００が含まれる領域が検出される。具体的には、学習済みモデル５１に基づいて、Ｘ線画像１０のうちから異物２００が含まれると推定される推定領域１１が取得される。そして、推定領域１１における異物２００の確かさの度合いである尤度を判定した判定値１２が取得される。

次に、ステップ５０５において、検出された異物２００が含まれる領域に対応する部分を色付けすることによって、異物２００を識別するための識別画像２０が生成される。具体的には、推定領域１１と判定値１２とに基づいて、２次元ガウシアン分布に沿って色が変化する分布表示１３によるヒートマップ画像としての識別画像２０が生成される。

次に、ステップ５０６において、生成された識別画像２０が出力される。具体的には、Ｘ線画像１０に識別画像２０が重畳させられて表示部４に表示させられる。

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

本実施形態のＸ線撮影装置１００では、上記のように、機械学習によって生成された物体検出の学習済みモデル５１に基づいて、Ｘ線画像１０のうちの異物２００が含まれる領域を検出する。そして、検出された異物２００が含まれる領域に対応する部分を色付けすることによって、異物２００を識別するための識別画像２０を生成する。これにより、異物２００が含まれていると推定される部分が矩形の枠で囲まれる場合と異なり、Ｘ線画像１０に表示される形状が枠で隠れることなく、色付けされることによって異物２００に対応するＸ線画像１０の部分を識別可能に表示することができる。そのため、複数の領域が検出された場合にも、異物２００を識別可能に表示しながらＸ線画像１０の視認性が低下することを抑制することができる。そして、複数の領域が検出された場合にもＸ線画像１０の視認性が低下することを抑制することができるので、しきい値などを用いて検出する個数を少なくする必要がなくなる。そのため、異物２００が検出されずに見落とされることを抑制することができる。その結果、機械学習によって生成された物体検出の学習済みモデル５１に基づいてＸ線画像１０に含まれる手術後の被検体１０１の体内に取り残された異物２００を検出する場合に、Ｘ線画像１０に含まれる異物２００を容易に識別することができる。

また、上記実施形態では、以下のように構成したことによって、下記のような更なる効果が得られる。

すなわち、本実施形態では、上記のように、物体検出部６１（制御部６）は、学習済みモデル５１に基づいて、Ｘ線画像１０のうちから異物２００が含まれると推定される推定領域１１を取得するとともに、推定領域１１における異物２００の確かさの度合いである尤度を判定した判定値１２を取得するように構成されており、識別画像生成部６２（制御部６）は、物体検出部６１によって取得された推定領域１１と判定値１２とに基づいて色付けすることによって、異物２００を識別するための識別画像２０を生成するように構成されている。このように構成すれば、推定領域１１と判定値１２とに基づいて色付けされた識別画像２０を視認することによって、Ｘ線画像１０のうちの異物２００が含まれると推定された推定領域１１と、推定領域１１における判定値１２とを視覚的に容易に識別することができる。そのため、識別画像２０を視認することによって、Ｘ線画像１０におけるいずれの領域にどの程度の確かさによって異物２００が含まれていると推定されたかということを容易に認識することができる。その結果、識別画像２０の推定領域１１と判定値１２とを参照することによって、Ｘ線画像１０に含まれる異物２００をより容易に識別することができる。

また、本実施形態では、上記のように、識別画像生成部６２（制御部６）は、判定値１２に応じて変化するように色付けされたヒートマップ画像として識別画像２０を生成するように構成されている。このように構成すれば、ヒートマップ画像としての識別画像２０を視覚的に認識することによって判定値１２の分布の様子を容易に識別できるので、Ｘ線画像１０における判定値１２の変化を容易に認識することができる。そのため、ヒートマップ画像としての識別画像２０を視覚的に認識することによってＸ線画像１０に含まれる異物２００をより一層容易に識別することができる。

また、本実施形態では、上記のように、識別画像生成部６２（制御部６）は、取得された推定領域１１と判定値１２とに基づいて、２次元ガウシアン分布に沿って色が変化する分布表示１３による識別画像２０を生成するように構成されている。このように構成すれば、取得された推定領域１１が一色で塗りつぶされている場合と異なり、２次元ガウシアン分布に沿って色が変化する分布表示１３によって、中心から外側に向かって徐々に色を変化させることによって、推定領域１１の境界における色の変化を滑らかにすることができる。また、２次元ガウシアン分布の分布曲線に沿って色を変化させるため、分布表示１３の中央付近を高い数値とすることができる。そのため、取得された推定領域１１における色の強度（輝度、彩度、色相など）を推定領域１１の中央（中心）付近において最も大きくすることができる。これにより、推定領域１１の中央（中心）付近を最も強調させながら、推定領域１１の境界付近では推定領域１１の外側と滑らかな色の変化となるように識別画像２０を生成することができる。その結果、識別画像２０における推定領域１１の視認性を向上させることができる。

また、本実施形態では、上記のように、物体検出部６１（制御部６）は、学習済みモデル５１に基づいて、Ｘ線画像１０のうちから矩形の推定領域１１を取得するように構成されており、識別画像生成部６２（制御部６）は、矩形を示す枠を表示させずに、取得された矩形の推定領域１１の大きさに対応した分布表示１３によって識別画像２０を生成するように構成されている。このように構成すれば、物体検出の学習済みモデル５１に基づいて矩形の推定領域１１が取得される場合にも、矩形を示す枠が表示されないため、枠の表示に起因して識別画像２０の視認性が低下することを抑制することができる。また、取得された矩形の推定領域１１の大きさに対応するように分布表示１３の大きさを設定するため、Ｘ線画像１０に含まれる異物２００の大きさに応じて推定領域１１の大きさを変更させることができる。そのため、識別画像２０を視認することによってＸ線画像１０に含まれる異物２００の大きさを容易に認識することができる。

また、本実施形態では、上記のように、物体検出部６１（制御部６）は、学習済みモデル５１に基づいて、複数の推定領域１１を取得するとともに、取得された複数の推定領域１１の各々に対応する複数の判定値１２を取得するように構成されており、識別画像生成部６２（制御部６）は、複数の推定領域１１の各々を対応する判定値１２に基づいて色付けすることによって、複数の推定領域１１の各々における分布表示１３を生成し、複数の推定領域１１の各々の位置に分布表示１３を表示させることによって識別画像２０を生成するように構成されている。ここで、被検体１０１の体内に含まれる異物２００を実際に含む推定領域１１の判定値１２よりも、被検体１０１の骨などの身体の構造物を含む推定領域１１の判定値１２のほうが大きい値となる場合がある。その場合に、判定値１２の最も高い１つの推定領域１１のみを取得して表示させる場合には、異物２００を含む領域が検出されずに見落とされることとなる。これを考慮して、本実施形態では、物体検出部６１を、学習済みモデル５１に基づいて、複数の推定領域１１を取得するとともに、取得された複数の推定領域１１の各々に対応する複数の判定値１２を取得するように構成する。そして、識別画像生成部６２を、複数の推定領域１１の各々を対応する判定値１２に基づいて色付けすることによって、複数の推定領域１１の各々における分布表示１３を生成し、複数の推定領域１１の各々の位置に分布表示１３を表示させることによって識別画像２０を生成するように構成する。このように構成すれば、複数の推定領域１１の各々における分布表示１３を表示させることによって識別画像２０を生成することができるので、被検体１０１の体内に含まれる異物２００を実際に含む推定領域１１の判定値１２が他の推定領域１１の判定値１２よりも小さい場合にも、異物２００を実際に含む推定領域１１の分布表示１３を生成して表示させることができる。そのため、Ｘ線画像１０における異物２００の視認性が低く判定値１２が小さい場合にも、異物２００を検出して分布表示１３を生成することができる。その結果、Ｘ線画像１０における異物２００の見落としを効果的に抑制することができる。

また、本実施形態では、上記のように、画像出力部６３（制御部６）によって出力された識別画像２０を表示する表示部４をさらに備え、画像出力部６３は、Ｘ線画像１０に識別画像２０を重畳させて表示部４に表示させるように構成されている。このように構成すれば、検出された異物２００に対応する部分が色付けされた識別画像２０をＸ線画像１０に重畳させて表示部４に表示させるため、表示部４を視認することによって異物２００が検出されたＸ線画像１０の領域を容易に確認することができる。そのため、医師などの作業者が、検出結果に基づいてＸ線画像１０を確認および検証する場合に、異物２００であると推定されたＸ線画像１０の対応する部分（位置）を容易に識別することができる。

また、本実施形態では、上記のように、異物２００は、手術用ガーゼ、縫合針、および、鉗子を含み、物体検出部６１（制御部６）は、Ｘ線画像１０から手術用ガーゼ、縫合針、および、鉗子が含まれる領域を検出するように機械学習によって生成された学習済みモデル５１に基づいて、手術用ガーゼ、縫合針、および、鉗子を含む異物２００が含まれる領域を検出するように構成されている。このように構成すれば、手術後に被検体１０１の体内に取り残された手術用ガーゼ、縫合針、および、鉗子が含まれる領域を検出することができるので、検出された手術用ガーゼ、縫合針、および、鉗子に対応する部分が色付けされた識別画像２０を視認することによって、Ｘ線画像１０に含まれる手術用ガーゼ、縫合針、および、鉗子を容易に識別することができる。

［本実施形態による画像処理方法の効果］
本実施形態による画像処理方法では、以下のような効果を得ることができる。

本実施形態の画像処理方法では、上記のように構成することにより、機械学習によって生成された物体検出の学習済みモデル５１に基づいて、Ｘ線画像１０のうちの異物２００が含まれる領域を検出する。そして、検出された異物２００が含まれる領域に対応する部分を色付けすることによって、異物２００を識別するための識別画像２０を生成する。これにより、異物２００が含まれていると推定される部分が矩形の枠で囲まれる場合と異なり、Ｘ線画像１０に表示される形状が枠で隠れることなく、色付けされることによって異物２００に対応するＸ線画像１０の部分を識別可能に表示することができる。そのため、複数の領域が検出された場合にも、異物２００を識別可能に表示しながらＸ線画像１０の視認性が低下することを抑制することができる。そして、複数の領域が検出された場合にもＸ線画像１０の視認性が低下することを抑制することができるので、しきい値などを用いて検出する個数を少なくする必要がなくなる。そのため、異物２００が検出されずに見落とされることを抑制することができる。その結果、機械学習によって生成された物体検出の学習済みモデル５１に基づいてＸ線画像１０に含まれる手術後の被検体１０１の体内に取り残された異物２００を検出する場合に、Ｘ線画像１０に含まれる異物２００を容易に識別することが可能な画像処理方法を提供することができる。

［本実施形態による学習済みモデルの生成方法の効果］
本実施形態の学習済みモデルの生成方法では、以下のような効果を得ることができる。

本実施形態の学習済みモデルの生成方法では、上記のように、異物２００が含まれる領域に対応する部分を色付けすることによって異物２００を識別するための識別画像２０を生成するために、教師入力用Ｘ線画像３１０と教師出力用異物領域３２０とに基づいて、機械学習によってＸ線画像１０のうちの異物２００が含まれる領域を検出する物体検出の学習済みモデル５１を生成する。これにより、機械学習によって生成された物体検出の学習済みモデル５１に基づいて、Ｘ線画像１０のうちの異物２００が含まれる領域を容易に検出することができる。そのため、検出された異物２００が含まれる領域に対応する部分を色付けすることによって、異物２００を識別するための識別画像２０を容易に生成することができる。その結果、Ｘ線画像１０に表示される形状が枠で隠れることなく、色付けされることによって異物２００に対応するＸ線画像１０の領域を識別可能に表示することができるため、Ｘ線画像１０に含まれる異物２００を容易に識別することが可能な学習済みモデルの生成方法を提供することができる。

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、物体検出部６１（制御部６）は、学習済みモデル５１に基づいて、推定領域１１と判定値１２とを取得するように構成されている例を示したが、本発明はこれに限られない。たとえば、物体検出部６１を、推定領域１１および判定値１２に加えて、検出された異物２００の種類（カテゴリ）を取得するように構成してもよい。すなわち、物体検出部６１を、取得された推定領域１１に含まれると推定された異物２００の種類（ガーゼ、針、鉗子など）を取得するように構成してもよい。その場合、識別画像生成部６２（制御部６）を、異物２００の種類ごとに異なる色相によって色付けすることによって、推定領域１１と、判定値１２と、異物２００の種類とが識別可能なように色付けされた識別画像２０を生成するように構成してもよい。

また、上記実施形態では、識別画像生成部６２（制御部６）は、２次元ガウシアン分布に沿って色が変化する分布表示１３による識別画像２０を生成するように構成されている例を示したが、本発明はこれに限られない。たとえば、２次元ガウシアン分布に沿わない分布表示によって識別画像２０を生成してもよい。すなわち、推定領域１１全体を同一の色によって色付けすることによって識別画像２０を生成するようにしてもよい。また、ガウシアン分布（正規分布）に沿わずに、推定領域１１の中央（中心）付近を同一の色によって色付けするとともに、周囲を徐々に色の輝度を小さくするように変化させるような分布表示によって識別画像２０を生成してもよい。

また、上記実施形態では、識別画像生成部６２（制御部６）は、取得された矩形の推定領域１１の大きさに対応した分布表示１３によって識別画像２０を生成するように構成されている例を示したが、本発明はこれに限られない。たとえば、推定領域１１の大きさに拘らず共通の大きさの分布表示１３によって識別画像２０を生成するようにしてもよい。

また、上記実施形態では、識別画像生成部６２（制御部６）は、複数の推定領域１１の各々を対応する判定値１２に基づいて色付けすることによって識別画像２０を生成するように構成されている例を示したが、本発明はこれに限られない。たとえば、複数の推定領域１１の各々を、判定値１２の大きさに拘らず同一の色によって色付けするようにしてもよい。

また、上記実施形態では、画像出力部６３（制御部６）は、Ｘ線画像１０に識別画像２０を重畳させて表示部４に表示させるように構成されている例を示したが、本発明はこれに限られない。たとえば、画像出力部６３を、Ｘ線画像１０と識別画像２０とを切り替えて表示させるように構成してもよい。

また、上記実施形態では、被検体１０１の体内に取り残される異物２００は、手術用ガーゼ、縫合針、および、鉗子を含む例を示したが、本発明はこれに限られない。たとえば、検出される異物２００は、ボルト、および、固定用のクリップなどを含んでいてもよい。

また、上記実施形態では、赤色を基準として、輝度の差異によって、判定値１２の分布を識別可能なように識別画像２０を生成する例を示したが、本発明はこれに限られない。たとえば、色相を異ならせることによって判定値１２の分布を識別可能なように識別画像２０を生成するようにしてもよい。すなわち、判定値１２が大きい場合は赤色を表示させ、赤、黄、緑、青の順で、判定値１２の変化を表すようにしてもよい。

また、上記実施形態では、分布表示１３は、推定領域１１の形状に拘らずたてよこの長さが等しくなるように生成される例を示したが、本発明はこれに限られない。すなわち、分布表示１３を、推定領域１１の形状に対応するようにたてとよこの長さを異ならせるように生成してもよい。すなわち、分布表示１３における２次元ガウシアン分布をたてとよことで異なる分布曲線とすることによって、分布表示１３を、真円状に色が変化するのではなく、楕円状に色が変化するようにしてもよい。

また、上記実施形態では、別個のハードウェアとして構成されたＸ線画像生成部３と、制御部６とによって、Ｘ線画像１０の生成についての制御処理と、識別画像２０の生成についての制御処理とがそれぞれ行われる例を示したが、本発明はこれに限られない。たとえば、共通の１つの制御部（ハードウェア）によって、Ｘ線画像１０の生成および識別画像２０の生成が行われるように構成されていてもよい。

また、上記実施形態では、物体検出部６１、識別画像生成部６２、および、画像出力部６３が、１つのハードウェア（制御部６）における機能ブロック（ソフトウェア）として構成されている例を示したが、本発明はこれに限られない。たとえば、物体検出部６１、識別画像生成部６２、および、画像出力部６３が、それぞれ別個のハードウェア（演算回路）によって構成されていてもよい。

また、上記実施形態では、Ｘ線撮影装置１００とは別個の学習装置３００によって学習済みモデル５１が生成される例を示したが、本発明はこれに限られない。たとえば、Ｘ線撮影装置１００によって学習済みモデル５１が生成されてもよい。

また、上記実施形態では、物体検出の学習済みモデル５１（アルゴリズム）として、ＦａｓｔｅｒＲ－ＣＮＮが用いられる例を示したが、本発明はこれに限られない。たとえば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を物体検出のアルゴリズムとして用いてもよい。また、物体検出のアルゴリズムとして、ＦａｓｔＲ－ＣＮＮ、Ｒ－ＣＮＮ、および、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）などを用いてもよい。

また、上記実施形態では、Ｘ線撮影装置１００に備えられた表示部４に生成された識別画像２０を表示させる例を示したが、本発明はこれに限られない。たとえば、Ｘ線撮影装置１００とは別個に設けられた外部モニタなどの表示装置に識別画像２０を表示させるようにしてもよい。

また、上記実施形態では、２５６段階の輝度の変化によって色付けすることによって識別画像２０を生成する例を示したが、本発明はこれに限られない。たとえば、輝度などの色の変化を４または５段階ほどの変化によって色付けすることによって識別画像を生成するようにしてもよい。

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

（項目１）
手術後の被検体の体内に取り残された異物を検出するためにＸ線撮影を行うＸ線撮影装置であって、
前記被検体にＸ線を照射するＸ線照射部と、
前記Ｘ線照射部から照射されたＸ線を検出するＸ線検出部と、
前記Ｘ線検出部によって検出されたＸ線の検出信号に基づいてＸ線画像を生成するＸ線画像生成部と、
制御部と、を備え、
前記制御部は、
機械学習によって生成された物体検出の学習済みモデルに基づいて、前記Ｘ線画像のうちの前記異物が含まれる領域を検出する物体検出部と、
前記物体検出部によって検出された前記異物が含まれる領域に対応する部分を色付けすることによって、前記異物を識別するための識別画像を生成する識別画像生成部と、
前記識別画像生成部によって生成された前記識別画像を出力する画像出力部と、を含む、Ｘ線撮影装置。

（項目２）
前記物体検出部は、前記学習済みモデルに基づいて、前記Ｘ線画像のうちから前記異物が含まれると推定される推定領域を取得するとともに、前記推定領域における前記異物の確かさの度合いである尤度を判定した判定値を取得するように構成されており、
前記識別画像生成部は、前記物体検出部によって取得された前記推定領域と前記判定値とに基づいて色付けすることによって、前記異物を識別するための前記識別画像を生成するように構成されている、項目１に記載のＸ線撮影装置。

（項目３）
前記識別画像生成部は、前記判定値に応じて変化するように色付けされたヒートマップ画像として前記識別画像を生成するように構成されている、項目２に記載のＸ線撮影装置。

（項目４）
前記識別画像生成部は、取得された前記推定領域と前記判定値とに基づいて、２次元ガウシアン分布に沿って色が変化する分布表示による前記識別画像を生成するように構成されている、項目２または３に記載のＸ線撮影装置。

（項目５）
前記物体検出部は、前記学習済みモデルに基づいて、前記Ｘ線画像のうちから矩形の前記推定領域を取得するように構成されており、
前記識別画像生成部は、矩形を示す枠を表示させずに、取得された矩形の前記推定領域の大きさに対応した前記分布表示によって前記識別画像を生成するように構成されている、項目４に記載のＸ線撮影装置。

（項目６）
前記物体検出部は、前記学習済みモデルに基づいて、複数の前記推定領域を取得するとともに、取得された前記複数の推定領域の各々に対応する複数の前記判定値を取得するように構成されており、
前記識別画像生成部は、前記複数の推定領域の各々を対応する前記判定値に基づいて色付けすることによって、前記複数の推定領域の各々における前記分布表示を生成し、前記複数の推定領域の各々の位置に前記分布表示を表示させることによって前記識別画像を生成するように構成されている、項目４または５に記載のＸ線撮影装置。

（項目７）
前記画像出力部によって出力された前記識別画像を表示する表示部をさらに備え、
前記画像出力部は、前記Ｘ線画像に前記識別画像を重畳させて前記表示部に表示させるように構成されている、項目１～６のいずれか１項に記載のＸ線撮影装置。

（項目８）
前記異物は、手術用ガーゼ、縫合針、および、鉗子を含み、
前記物体検出部は、前記Ｘ線画像から前記手術用ガーゼ、前記縫合針、および、前記鉗子が含まれる領域を検出するように機械学習によって生成された前記学習済みモデルに基づいて、前記手術用ガーゼ、前記縫合針、および、前記鉗子を含む前記異物が含まれる領域を検出するように構成されている、項目１～７のいずれか１項に記載のＸ線撮影装置。

（項目９）
手術後の被検体の体内に取り残された異物を検出するために前記被検体にＸ線を照射するステップと、
照射されたＸ線を検出するステップと、
検出されたＸ線の検出信号に基づいてＸ線画像を生成するステップと、
機械学習によって生成された物体検出の学習済みモデルに基づいて、前記Ｘ線画像のうちの前記異物が含まれる領域を検出するステップと、
検出された前記異物が含まれる領域に対応する部分を色付けすることによって、前記異物を識別するための識別画像を生成するステップと、
生成された前記識別画像を出力するステップと、を備える、画像処理方法。

（項目１０）
体内に異物が取り残されている手術後の被検体にＸ線を照射することによって生成されたＸ線画像を模擬するように生成された教師入力用Ｘ線画像を取得するステップと、
前記教師入力用Ｘ線画像における前記異物を示す領域である教師出力用異物領域を取得するステップと、
前記異物が含まれる領域に対応する部分を色付けすることによって前記異物を識別するための識別画像を生成するために、前記教師入力用Ｘ線画像と前記教師出力用異物領域とに基づいて、機械学習によって前記Ｘ線画像のうちの前記異物が含まれる領域を検出する物体検出の学習済みモデルを生成するステップと、を備える、学習済みモデルの生成方法。

１ Ｘ線照射部
２ Ｘ線検出部
３ Ｘ線画像生成部
４ 表示部
６ 制御部
１０ Ｘ線画像
１１ 推定領域
１２ 判定値
１３ 分布表示
２０ 識別画像
５１ 学習済みモデル
６１ 物体検出部
６２ 識別画像生成部
６３ 画像出力部
１００ Ｘ線撮影装置
１０１ 被検体
２００ 異物
３１０ 教師入力用Ｘ線画像
３２０ 教師出力用異物領域

Claims (10)

1. 手術後の被検体の体内に取り残された異物を検出するためにＸ線撮影を行うＸ線撮影装置であって、
   前記被検体にＸ線を照射するＸ線照射部と、
   前記Ｘ線照射部から照射されたＸ線を検出するＸ線検出部と、
   前記Ｘ線検出部によって検出されたＸ線の検出信号に基づいてＸ線画像を生成するＸ線画像生成部と、
   制御部と、を備え、
   前記制御部は、
   機械学習によって生成された物体検出の学習済みモデルに基づいて、前記Ｘ線画像のうちの前記異物が含まれる領域を検出する物体検出部と、
   前記物体検出部によって検出された前記異物が含まれる領域に対応する部分を色付けすることによって、前記異物を識別するための識別画像を生成する識別画像生成部と、
   前記識別画像生成部によって生成された前記識別画像を出力する画像出力部と、を含む、Ｘ線撮影装置。
2. 前記物体検出部は、前記学習済みモデルに基づいて、前記Ｘ線画像のうちから前記異物が含まれると推定される推定領域を取得するとともに、前記推定領域における前記異物の確かさの度合いである尤度を判定した判定値を取得するように構成されており、
   前記識別画像生成部は、前記物体検出部によって取得された前記推定領域と前記判定値とに基づいて色付けすることによって、前記異物を識別するための前記識別画像を生成するように構成されている、請求項１に記載のＸ線撮影装置。
3. 前記識別画像生成部は、前記判定値に応じて変化するように色付けされたヒートマップ画像として前記識別画像を生成するように構成されている、請求項２に記載のＸ線撮影装置。
4. 前記識別画像生成部は、取得された前記推定領域と前記判定値とに基づいて、２次元ガウシアン分布に沿って色が変化する分布表示による前記識別画像を生成するように構成されている、請求項２または３に記載のＸ線撮影装置。
5. 前記物体検出部は、前記学習済みモデルに基づいて、前記Ｘ線画像のうちから矩形の前記推定領域を取得するように構成されており、
   前記識別画像生成部は、矩形を示す枠を表示させずに、取得された矩形の前記推定領域の大きさに対応した前記分布表示によって前記識別画像を生成するように構成されている、請求項４に記載のＸ線撮影装置。
6. 前記物体検出部は、前記学習済みモデルに基づいて、複数の前記推定領域を取得するとともに、取得された前記複数の推定領域の各々に対応する複数の前記判定値を取得するように構成されており、
   前記識別画像生成部は、前記複数の推定領域の各々を対応する前記判定値に基づいて色付けすることによって、前記複数の推定領域の各々における前記分布表示を生成し、前記複数の推定領域の各々の位置に前記分布表示を表示させることによって前記識別画像を生成するように構成されている、請求項４または５に記載のＸ線撮影装置。
7. 前記画像出力部によって出力された前記識別画像を表示する表示部をさらに備え、
   前記画像出力部は、前記Ｘ線画像に前記識別画像を重畳させて前記表示部に表示させるように構成されている、請求項１～６のいずれか１項に記載のＸ線撮影装置。
8. 前記異物は、手術用ガーゼ、縫合針、および、鉗子を含み、
   前記物体検出部は、前記Ｘ線画像から前記手術用ガーゼ、前記縫合針、および、前記鉗子が含まれる領域を検出するように機械学習によって生成された前記学習済みモデルに基づいて、前記手術用ガーゼ、前記縫合針、および、前記鉗子を含む前記異物が含まれる領域を検出するように構成されている、請求項１～７のいずれか１項に記載のＸ線撮影装置。
9. 手術後の被検体の体内に取り残された異物を検出するために前記被検体にＸ線を照射するステップと、
   照射されたＸ線を検出するステップと、
   検出されたＸ線の検出信号に基づいてＸ線画像を生成するステップと、
   機械学習によって生成された物体検出の学習済みモデルに基づいて、前記Ｘ線画像のうちの前記異物が含まれる領域を検出するステップと、
   検出された前記異物が含まれる領域に対応する部分を色付けすることによって、前記異物を識別するための識別画像を生成するステップと、
   生成された前記識別画像を出力するステップと、を備える、画像処理方法。
10. 体内に異物が取り残されている手術後の被検体にＸ線を照射することによって生成されたＸ線画像を模擬するように生成された教師入力用Ｘ線画像を取得するステップと、
    前記教師入力用Ｘ線画像における前記異物を示す領域である教師出力用異物領域を取得するステップと、
    前記異物が含まれる領域に対応する部分を色付けすることによって前記異物を識別するための識別画像を生成するために、前記教師入力用Ｘ線画像と前記教師出力用異物領域とに基づいて、機械学習によって前記Ｘ線画像のうちの前記異物が含まれる領域を検出する物体検出の学習済みモデルを生成するステップと、を備える、学習済みモデルの生成方法。

Images