JP2020188960A - 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 - Google Patents

Abstract

【課題】１枚の胸部Ｘ線画像において、正常時の肺血管の太さおよび密度の少なくとも一方の情報を利用して、肺の異常状態を判定する。【解決手段】異常表示制御装置のコンピュータが、対象胸部Ｘ線画像を取得し、対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出し、肺野領域および肋骨領域を基に、肺野領域と重なる肋骨の本数の違いで肺野領域を複数の局所領域に分割し、複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出し、第一指標と、正常時の肺血管の第一指標と同じ属性を表現する指標である基準第一指標のうち対応する局所領域の基準第一指標とを複数の局所領域毎に比較し、比較結果に基づいて局所領域が異常状態であるか否かを複数の局所領域毎に判定し、異常状態であると判定された局所領域の画像と、局所領域の異常状態の内容と、をディスプレイに表示する。【選択図】図１

Description

本開示は、医用画像の処理技術に関し、さらに詳しくは胸部Ｘ線画像の異常判定技術に関する。

近年、医用画像を解析処理することで病変領域を検出する装置、ソフトウェア等が開発されている。そのような装置、ソフトウェア、または、それらを用いた診断は、コンピュータ支援検出（ＣＡＤ）と呼ばれ、医師の読影作業の負担を軽減することができると期待されている。

また、医用画像のなかでも、胸部Ｘ線画像は、撮影機器及び撮影コストが安価で、普及率も高く、胸部疾患を診断する際の第一選択方法となっている。

胸部Ｘ線画像のＣＡＤ技術としては、例えば非特許文献１に開示されるように、検出すべき疾患の病変画像を機械学習する方法が主流となっている。しかしながら、病変画像を機械学習する方式では、学習させた病変以外を検出できる保証はない。病変画像を機械学習させるのではなく、正常胸部Ｘ線画像の特徴と比較を行い、異常状態を判定する技術として、特許文献１、特許文献２が提案されている。

特許文献１は、人体の胸部を動態撮影して、複数のフレーム画像を取得しておき、フレーム画像のうちの基準画像から肺野領域を抽出し、肺野領域を複数の小領域に分割し、小領域毎に画像解析を行って、小領域毎に換気や血流の状態が異常であるか否かを判定する技術である。この技術により、病変自体を直接検出する代わりに、病変によってもたらされた換気や血流の異常を推定することができる。

特許文献２は、胸部Ｘ線画像において、異常陰影の候補領域を検出して、候補領域の少なくとも一部を含む小領域を注目領域として設定し、さらに、注目領域の近傍に存在する小領域を近傍領域として設定し、注目領域および近傍領域が正常な人工画像を生成し、注目領域の人工画像と原画像との差と、近傍領域の人工画像と原画像との差を比較して、両差の違いの有無によって、注目領域が異常陰影であるかを判定する技術である。この技術により、正常な人工画像との違いを利用して異常を推定することができる。

Ｘ．Ｗａｎｇ，Ｙ．Ｐｅｎｇ，Ｌ．Ｌｕ，Ｚ．Ｌｕ，Ｍ．Ｂａｇｈｅｒｉ，Ｒ．Ｓｕｍｍｅｒｓ， Ｃｈｅｓｔ Ｘ−Ｒａｙ８： Ｈｏｓｐｉｔａｌ−Ｓｃａｌｅ Ｃｈｅｓｔ Ｘ−Ｒａｙ Ｄａｔａｂａｓｅ ａｎｄ Ｂｅｎｃｈｍａｒｋｓ ｏｎ Ｗｅａｋｌｙ−Ｓｕｐｅｒｖｉｓｅｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ Ｃｏｍｍｏｎ Ｔｈｏｒａｘ Ｄｉｓｅａｓｅｓ， ＣＶＰＲ２０１７ Ｏ．Ｒｏｎｎｅｂｅｒｇｅｒ， Ｐ．Ｆｉｓｃｈｅｒ， ａｎｄ Ｔ．Ｂｒｏｘ， Ｕ−Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ， Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）， Ｓｐｒｉｎｇｅｒ， ＬＮＣＳ， Ｖｏｌ．９３５１： ２３４−−２４１， ２０１５ Ｌ．Ｌｏｎｇ， Ｅ．Ｓｈｅｌｈａｍｅｒ， Ｔ．Ｄａｒｒｅｌｌ， Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ， Ｉｎ ＣＶＰＲ． ２０１５． Ｊｉｎｗｏｎ Ａｎ， Ｓｕｎｇｚｏｏｎ Ｃｈｏ， Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｎｄｅｒ ｂａｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｐｒｏｂａｂｉｌｉｔｙ， Ｄｅｃｅｍｂｅｒ ２７， ２０１５ ＳＮＵ Ｄａｔａ Ｍｉｎｉｎｇ Ｃｅｎｔｅｒ ２０１５−２ Ｓｐｅｃｉａｌ Ｌｅｃｔｕｒｅ ｏｎ ＩＥ 「医用画像における円形・線状パターン検出のためのフィルタバンク構築」電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．Ｊ８７−Ｄ−ＩＩ Ｎｏ．１ ｐｐ１７５−１８５

国際公開第２００９／０９０８９４号 特開２００６−３２５９３７号公報

上記特許文献１では、動態画像、即ち、時系列の複数フレーム画像を用いて、小領域の面積変化率、および、血管領域の濃度変化率を基に、異常検知を行うものであり、１枚の胸部Ｘ線画像から異常を検知するものではない。

上記特許文献２では、肺がん等の結節、つまり孤立した小病変を対象としており、注目領域とその近傍領域を利用するという結節に特化した処理を行っている。よって、その他の多様な病変に対して考慮されておらず、更なる改善が必要とされていた。

本開示の一態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータが、
前記対象胸部Ｘ線画像を取得し、
前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出し、
抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割し、
前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出し、
前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定し、
前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を前記ディスプレイに表示する、
胸部Ｘ線画像の異常表示制御方法である。

上記態様により、１枚の胸部Ｘ線画像において、正常時の肺血管の太さおよび密度の少なくとも一方の情報を利用して、肺の異常状態を判定することができ、更なる改善が実現できる。

第１実施形態における異常表示制御装置のブロック図。 第１実施形態における院内ネットワーク構成のブロック図。 第１実施形態におけるフローチャート。 右肺外縁を含む胸部Ｘ線画像を示す図。 右肺外縁のマスク画像を示す図。 胸部Ｘ線画像にマスク画像を重畳した画像を示す図。 右背側肺底の陰影を含む胸部Ｘ線画像を示す図。 右背側肺底の陰影のマスク画像を示す図。 胸部Ｘ線画像にマスク画像を重畳した画像を示す図。 右第６肋骨を含む胸部Ｘ線画像を示す図。 右第６肋骨のマスク画像を示す図。 胸部Ｘ線画像にマスク画像を重畳した画像を示す図。 Ｕ−Ｎｅｔのアーキテクチャを概略的に示す図。 肺野領域を設定する方法およびその領域の一例を示す図。 肺野領域を設定する方法およびその領域の一例を示す図。 肺野領域を設定する方法およびその領域の一例を示す図。 右肺野領域において肋骨の占める領域、及び、右肺外縁を示す図。 肺野領域と重なる肋骨の本数の違いにより、肺野領域を局所領域に分割する様子を示す図。 図１２を、さらに、肺門からの距離がほぼ等距離となる曲線で分割する様子を示す図。 肺門の位置を示す図。 図１２を、さらに、直線で分割する様子を示す図。 正常モデルの一例である確率密度分布を概略的に示す図。 次元削減による異常表示制御方法を説明する図。 積層オートエンコーダのネットワーク構成を示す図。 変分オートエンコーダのネットワーク構成を示す図。 第１実施形態におけるディスプレイの表示例を示す図。 第１実施形態の変形例における異常表示制御装置のブロック図。 第１実施形態の変形例におけるフローチャート。 グループ化の例を示す図。 グループ化の例を示す図。 第２実施形態における異常表示制御装置のブロック図。 第２実施形態におけるフローチャート。 第２実施形態におけるフローチャート。 第２実施形態におけるディスプレイの表示例を示す図。 第２実施形態の変形例における異常表示制御装置のブロック図。 第２実施形態の変形例におけるフローチャート。 第２実施形態の変形例におけるフローチャート。 グループ化の例を示す図。 グループ化の例を示す図。 第３実施形態における院内ネットワーク構成のブロック図。 第２実施形態に係る異常表示制御装置により実行される、異なる処理手順を概略的に示すフローチャートである。 第２実施形態に係る異常表示制御装置により実行される、異なる処理手順を概略的に示すフローチャートである。 第２実施形態の変形例に係る異常表示制御装置により実行される、異なる処理手順を概略的に示すフローチャートである。 第２実施形態の変形例に係る異常表示制御装置により実行される、異なる処理手順を概略的に示すフローチャートである。

（本開示に係る一態様を発明するに至った経緯）
まず、本開示に係る一態様を発明するに至った経緯が説明される。非特許文献１の方法では、前述したように、病変画像を機械学習する方式では、学習させた病変以外を検出できる保証はない。また、特許文献１の方法は、動態画像、即ち、時系列の複数フレーム画像を用いて、小領域の面積変化率、および、血管領域の濃度変化率を基に、異常検知を行うものであり、１枚の胸部Ｘ線画像から異常を検知するものではない。また、特許文献２では、肺がん等の結節、つまり孤立した小病変を対象としており、注目領域とその近傍領域を利用するという結節に特化した処理を行っており、その他の多様な病変に対して考慮されていない。そこで、本発明者は、１枚の胸部Ｘ線画像における肺血管パタンに着目し、肺血管パタンが肋骨または骨梁と重なる場合であっても、異常の有無を判定可能な、以下の発明の各態様を想到するに至った。

本開示の第１態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータが、
前記対象胸部Ｘ線画像を取得し、
前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出し、
抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割し、
前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出し、
前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定し、
前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を前記ディスプレイに表示する、
胸部Ｘ線画像の異常表示制御方法である。

本開示の第２態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータを、
前記対象胸部Ｘ線画像を取得する取得部、
前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出する領域抽出部、
抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割する分割部、
前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出する指標抽出部、
前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定する判定部、
前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を前記ディスプレイに表示する表示制御部、
として機能させる異常表示制御プログラムである。

本開示の第３態様は、
ディスプレイと、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出する領域抽出部と、
抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割する分割部と、
前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出する指標抽出部と、
前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定する判定部と、
前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を前記ディスプレイに表示する表示制御部と、
を備える異常表示制御装置である。

この第１態様又は第２態様又は第３態様では、１枚の胸部Ｘ線画像のうちの、肺野領域と重なる肋骨の本数の違いで肺野領域が局所領域に分割され、局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標が抽出され、この第一指標と、対応する局所領域の、正常時の肺血管の第一指標と同じ属性を表現する指標である基準第一指標とが比較されて、局所領域が異常状態であるか否かが判定される。したがって、第１態様又は第２態様又は第３態様によれば、局所領域毎に、異常状態を判定することができる。また、肺野領域と重なる肋骨の本数の違いで肺野領域を分割した局所領域を用いることで、肺血管パタンが肋骨と重なる場合であっても、肺血管パタンを表現する第一指標に対する、肋骨外周のエッジの影響および／または肋骨に含まれる骨梁の影響を低減することができる。また、局所領域が異常状態であると判定されると、対象胸部Ｘ線画像のうち異常状態であると判定された局所領域の画像と、局所領域の異常状態の内容と、がディスプレイに表示される。このため、有益な情報をユーザに提示することができる。その結果、読影医だけでなく、臨床医又は放射線技師の診断又は自己学習、及び、医学生の教育又は自己学習にも利用することが可能である。

上記第１態様において、例えば、
前記判定では、前記局所領域毎に抽出された前記第一指標と、前記複数の局所領域が予めグループ化されて構成されたグループ毎に予め求められた前記基準第一指標のうち、前記第一指標が抽出された前記局所領域が属する前記グループに対応する前記基準第一指標と、が前記局所領域毎に比較され、比較結果に基づいて、前記局所領域が異常状態であるか否かが前記局所領域毎に判定され、
前記表示では、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、が前記ディスプレイに表示され、
前記グループは、前記局所領域と重なる肋骨の本数が同一、かつ、前記胸部Ｘ線画像における肺門からの２次元距離が所定の範囲内にある局所領域の集合であり、前記複数の局所領域の全てはいずれか１つのグループに属してもよい。

この態様によれば、予め求められる基準第一指標については、基準第一指標を求めるための例えば学習用の画像数が少ない場合でも、基準第一指標を求めるための画像数を局所領域の画像数より増やすことができ、基準第一指標が求めやすくなる。また、肺血管の太さおよび密度、及び、肋骨骨梁の太さおよび密度が類似した局所領域が同じグループにされるので、予め求められる基準第一指標の精度低下が抑制される。

上記第１態様において、例えば、
前記判定では、前記局所領域毎に抽出された前記第一指標と、前記複数の局所領域が予めグループ化されて構成されたグループ毎に予め求められた前記基準第一指標のうち、前記第一指標が抽出された前記局所領域が属する前記グループに対応する前記基準第一指標と、が前記局所領域毎に比較され、比較結果に基づいて、前記局所領域が異常状態であるか否かが前記局所領域毎に判定され、
前記表示では、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、が前記ディスプレイに表示され、
前記グループは、前記局所領域と重なる肋骨の本数が同一、かつ、前記胸部Ｘ線画像における肺門からの方向が所定の範囲内にある局所領域の集合であり、前記複数の局所領域の全てはいずれか１つのグループに属してもよい。

この態様によれば、予め求められる基準第一指標については、基準第一指標を求めるための例えば学習用の画像数が少ない場合でも、基準第一指標を求めるための画像数を局所領域の画像数より増やすことができ、基準第一指標が求めやすくなる。また、肺血管の方向、及び、肋骨骨梁の太さおよび密度が類似した局所領域が同じグループにされるので、予め求められる基準第一指標の精度低下が抑制される。

上記第１態様において、例えば、
前記異常表示制御装置の前記コンピュータが、さらに、
前記複数の局所領域のうち、肋骨が存在する肋骨局所領域を特定し、
特定された前記肋骨局所領域毎に、骨梁の太さおよび密度の少なくとも一方の属性を表現する第二指標を抽出し、
前記肋骨局所領域毎に抽出された前記第二指標と、前記肋骨局所領域毎に予め求められた、正常時の骨梁の前記第二指標と同じ属性を表現する指標である基準第二指標のうち、対応する前記肋骨局所領域の基準第二指標と、を前記肋骨局所領域毎に比較し、比較結果に基づいて前記肋骨局所領域が異常状態であるか否かを前記肋骨局所領域毎に判定し、
前記表示では、前記肋骨局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記肋骨局所領域の画像と、前記肋骨局所領域の異常状態の内容と、が前記ディスプレイに表示されてもよい。

この態様によれば、１枚の胸部Ｘ線画像における、骨梁パタンに着目し、骨梁の異常状態を判定することができる。また、異常状態であると判定された肋骨局所領域の画像と、肋骨局所領域の異常状態の内容と、がディスプレイに表示されるため、有益な情報をユーザに提示することができる。その結果、読影医だけでなく、臨床医又は放射線技師の診断又は自己学習、及び、医学生の教育又は自己学習にも利用することが可能である。

上記第１態様において、例えば、
前記肋骨局所領域の判定では、前記肋骨局所領域毎に抽出された前記第二指標と、前記肋骨局所領域が予めグループ化されて構成されたグループ毎に予め求められた前記基準第二指標のうち、前記第二指標が抽出された前記肋骨局所領域が属する前記グループに対応する前記基準第二指標と、が前記肋骨局所領域毎に比較され、比較結果に基づいて、前記肋骨局所領域が異常状態であるか否かが前記肋骨局所領域毎に判定され、
前記表示では、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記肋骨局所領域の画像と、前記肋骨局所領域の異常状態の内容と、が前記ディスプレイに表示され、
前記グループは、前記肋骨局所領域と重なる肋骨の本数が同一の肋骨局所領域の集合であり、全ての前記肋骨局所領域はいずれか１つのグループに属してもよい。

この態様によれば、予め求められる基準第二指標については、基準第二指標を求めるための例えば学習用の画像数が少ない場合でも、基準第二指標を求めるための画像数を肋骨局所領域の画像数より増やすことができ、基準第二指標が求めやすくなる。また、肋骨骨梁の密度が類似した肋骨局所領域が同じグループにされるので、予め求められる基準第二指標の精度低下が抑制される。

上記第１態様において、例えば、
前記肋骨局所領域の判定では、前記肋骨局所領域毎に抽出された前記第二指標と、前記肋骨局所領域が予めグループ化されて構成されたグループ毎に予め求められた前記基準第二指標のうち、前記第二指標が抽出された前記肋骨局所領域が属する前記グループに対応する前記基準第二指標と、が前記肋骨局所領域毎に比較され、比較結果に基づいて、前記肋骨局所領域が異常状態であるか否かが前記肋骨局所領域毎に判定され、
前記表示では、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記肋骨局所領域の画像と、前記肋骨局所領域の異常状態の内容と、が前記ディスプレイに表示され、
前記グループは、肋骨の走行方向が所定の範囲内にある肋骨局所領域の集合であり、全ての前記肋骨局所領域はいずれか１つのグループに属してもよい。

この態様によれば、予め求められる基準第二指標については、基準第二指標を求めるための例えば学習用の画像数が少ない場合でも、基準第二指標を求めるための画像数を肋骨局所領域の画像数より増やすことができ、基準第二指標が求めやすくなる。また、肋骨骨梁の方向が類似した肋骨局所領域が同じグループにされるので、予め求められる基準第二指標の精度低下が抑制される。

上記第１態様において、例えば、
前記肺野領域および前記肋骨領域の抽出には、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において前記肺野領域および前記肋骨領域が抽出されるように学習されたモデルを使用してもよい。

この態様では、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において肺野領域および肋骨領域が抽出されるように学習されたモデルを用いて、肺野領域および肋骨領域が抽出される。したがって、画素単位で予測が行われるため、肺野領域および肋骨領域を高精度で抽出することができる。

本開示の第４態様は、
読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出する領域抽出部と、
抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割する分割部と、
前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出する指標抽出部と、
前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定する判定部と、
前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を外部の端末装置に送信する通信制御部と、
を備えるサーバ装置である。

この第４態様では、１枚の胸部Ｘ線画像のうちの、肺野領域と重なる肋骨の本数の違いで肺野領域が局所領域に分割され、局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標が抽出され、この第一指標と、対応する局所領域の、正常時の肺血管の第一指標と同じ属性を表現する指標である基準第一指標とが比較されて、局所領域が異常状態であるか否かが判定される。したがって、第４態様によれば、１枚の胸部Ｘ線画像における肺血管パタンに着目し、肺血管パタンが肋骨や骨梁と重なる場合であっても、異常状態を判定することができる。また、局所領域が異常状態であると判定されると、対象胸部Ｘ線画像のうち異常状態であると判定された局所領域の画像と、局所領域の異常状態の内容と、が外部の端末装置に送信される。このため、有益な情報をユーザに提供することができる。その結果、読影医だけでなく、臨床医又は放射線技師の診断又は自己学習、及び、医学生の教育又は自己学習にも利用することが可能である。

（実施の形態）
以下、本開示の実施の形態が、図面を参照しながら説明される。なお、各図面において、同じ構成要素には同じ符号が用いられ、適宜、説明は省略される。

（第１実施形態）
図１は、第１実施形態における、胸部Ｘ線画像の異常表示制御方法を実行する異常表示制御装置１００の構成を概略的に示すブロック図である。図２は、医療機関内のネットワーク構成４１０を概略的に示すブロック図である。

図２に示されるように、医療機関内のネットワーク構成４１０は、イントラネットワーク４００を含む。このイントラネットワーク４００には、異常表示制御装置１００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００と、が接続されている。医用画像管理システム２００は、胸部Ｘ線画像、コンピュータ断層撮影（ＣＴ）画像、核磁気共鳴画像法（ＭＲＩ）による画像等を保存し、管理する。胸部Ｘ線画像撮影装置３００は、患者又は健康診断受診者の胸部Ｘ線画像を撮影する。胸部Ｘ線画像撮影装置３００により撮影された胸部Ｘ線画像は、医用画像管理システム２００に送信されて保存される。

なお、異常表示制御装置１００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００とは、必ずしも、同一の医療機関内のイントラネットワーク４００上に接続されている必要はない。異常表示制御装置１００、及び、医用画像管理システム２００は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。胸部Ｘ線画像撮影装置３００は、病院内に設置されていても良いし、健康診断等で使用される巡回車の中に設置されていても良い。医用画像管理システム２００として、例えば画像保存通信システム（ＰＡＣＳ）が採用される。

図１に示されるように、異常表示制御装置１００は、正常モデル格納部１０６、画像メモリ１０７、通信部１０８、ディスプレイ１０９、中央演算処理装置（ＣＰＵ）１２０、メモリ１２１を備えている。異常表示制御装置１００は、例えばパーソナルコンピュータで構成される。

通信部１０８は、イントラネットワーク４００を介して、医用画像管理システム２００等と通信を行う。正常モデル格納部１０６は、例えばハードディスク又は半導体メモリ等により構成される。正常モデル格納部１０６は、予め定義された複数の局所領域（後述）の正常状態をモデルとして格納する。画像メモリ１０７は、例えばハードディスク又は半導体メモリ等により構成される。画像メモリ１０７は、取得された対象胸部Ｘ線画像を格納する。ディスプレイ１０９は、例えば、液晶モニタにより構成され、ユーザである医師又は放射線技師が、画像診断又は画像撮影後の画像確認を行う対象胸部Ｘ線画像を表示する。また、ディスプレイ１０９は、対象胸部Ｘ線画像が撮影された患者のカルテ情報、画像診断の結果を記入するレポート入力画面などを表示する。

メモリ１２１は、例えば半導体メモリ等により構成される。メモリ１２１は、例えばリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的に消去書き換え可能なＲＯＭ（ＥＥＰＲＯＭ）などを含む。メモリ１２１のＲＯＭは、ＣＰＵ１２０を動作させる第１実施形態の制御プログラムを記憶する。

ＣＰＵ１２０は、メモリ１２１に記憶されている第１実施形態の制御プログラムを実行することによって、検出部１０１、肺領域設定部１０２、肺領域分割部１０３、異常判定部１０５、表示制御部１２２、通信制御部１２３として機能する。検出部１０１は、画像メモリ１０７に保存された対象胸部Ｘ線画像から、少なくとも２本の肋骨、及び、肺野領域を決定するための、予め定義された複数の構造物を検出する。肺領域設定部１０２は、検出部１０１により検出された複数の構造物を利用して、肺野領域を設定する。

肺領域分割部１０３は、肺領域設定部１０２により設定された肺野領域を、検出部１０１により検出された少なくとも２本の肋骨を利用して、
（ｉ）肋骨と重ならない肺野領域、
（ｉｉ）１本の肋骨と重なる肺野領域、
（ｉｉｉ）２本の肋骨と重なる肺野領域、
の３種類の局所領域に領域分割する。さらに、肺領域分割部１０３は、（ｉ）、（ｉｉ）、（ｉｉｉ）の局所領域のうち、閾値以上の大きさの局所領域をさらに局所領域に分割する。その際、肺領域分割部１０３は、全ての局所領域内で肺血管の太さおよび密度の属性がほぼ一定になるように分割する。なお、肺領域分割部１０３は、全ての局所領域内で肺血管の太さおよび密度のいずれか一方の属性がほぼ一定になるように分割してもよい。すなわち、肺領域分割部１０３は、全ての局所領域内で肺血管の太さおよび密度の少なくとも一方の属性がほぼ一定になるように分割すればよい。

異常判定部１０５は、肺領域分割部１０３で分割された局所領域について、正常モデル格納部１０６に格納された、対応する局所領域の正常モデルを参照することにより、異常状態であるか否かを判定する。表示制御部１２２、通信制御部１２３の機能は、それぞれ、後述される。

図３は、第１実施形態に係る異常表示制御装置１００により実行される処理手順を概略的に示すフローチャートである。まず、ステップＳ５０において、通信制御部１２３（取得部の一例に相当）は、通信部１０８を介して、読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を医用画像管理システム２００から取得し、取得した対象胸部Ｘ線画像を画像メモリ１０７に保存する。ステップＳ１００において、検出部１０１は、対象胸部Ｘ線画像を画像メモリ１０７から読み出して、その対象胸部Ｘ線画像から、少なくとも２本の肋骨、及び、肺野領域を決定するための、予め定義された複数の構造物を検出する。

ここで、胸部Ｘ線画像に描出される人体の解剖学的構造、または、解剖学的構造の一部、または、Ｘ線透過率が互いに異なる複数の解剖学的構造間の境界が胸部Ｘ線画像に描出される境界線、が「構造物」と定義される。特に、構造物の中でも、前記境界線、線状に描出される解剖学的構造、および線状に描出される解剖学的構造の一部、が「線構造」と定義される。線構造ではない構造物、すなわち、線状とは見做せない構造物が「領域構造」と定義される。線構造であっても、画像上では幅として１画素よりも大きいものがあるため「線構造」と「領域構造」の差は不明確になる恐れがある。そこで、例えば、構造物の（長軸方向長さ）／（短軸方向長さ）が閾値以上である構造物が「線構造」と定義されることも可能である。この閾値は、構造物が線状であると見做せるような適切な値に設定されればよく、例えば１０又は１００又は１０００でもよい。線構造の例が図４Ａ〜４Ｃと図５Ａ〜５Ｃとに示され、領域構造の例が図６Ａ〜６Ｃに示される。

図４Ａは、右肺外縁を含む胸部Ｘ線画像Ｉｘを示す図である。図４Ｂは、右肺外縁のマスク画像Ｐｘを示す図である。図４Ｃは、図４Ａの胸部Ｘ線画像Ｉｘに図４Ｂのマスク画像Ｐｘを重畳して表示した画像を示す図である。図５Ａは、右背側肺底の陰影（即ち、肺実質の背側底部と腹側臓器との間のＸ線透過率の違いにより描出される境界線）を含む胸部Ｘ線画像Ｉｘを示す図である。図５Ｂは、右背側肺底の陰影のマスク画像Ｐｙを示す図である。図５Ｃは、図５Ａの胸部Ｘ線画像Ｉｘに図５Ｂのマスク画像Ｐｙを重畳して表示した画像を示す図である。図６Ａは、右第６肋骨が投影された領域を含む胸部Ｘ線画像Ｉｘを示す図である。図６Ｂは、右第６肋骨のマスク画像Ｐｚを示す図である。図６Ｃは、図６Ａの胸部Ｘ線画像Ｉｘに図６Ｂのマスク画像Ｐｚを重畳して表示した画像を示す図である。図６Ｃでは、マスク領域を視認しやすくするために、その内部領域が斜線で表現されている。

マスク画像は、対応する胸部Ｘ線画像における構造物の占める領域を二値あるいはグレイスケールで表現した画像である。本実施形態では二値マスク画像として説明が行われる。このマスク画像は、検出部１０１を機械学習する際の学習データとして、医学知識を持った人により作成され、用意される。また、学習後の検出部１０１は、対象胸部Ｘ線画像を処理した結果として、マスク画像を出力する。

本実施の形態では、検出部１０１を機械学習する手段として、人工ニューラルネットワークが用いられる。具体的には、対象画像から画素単位で対象領域を抽出するセマンティックセグメンテーションを行う人工ニューラルネットワークとして、非特許文献２に開示されているＵ−Ｎｅｔが用いられる。セマンティックセグメンテーションは、画像を画素単位で領域分割することを意味する。

図７は、Ｕ−Ｎｅｔのアーキテクチャを概略的に示す図である。Ｕ−Ｎｅｔは、図７に示されるようなエンコーダＥＣＤ及びデコーダＤＣＤを備える畳み込みニューラルネットワークであり、Ｕ−ｎｅｔに入力画像が入力層ＩＬに入力されると、Ｕ−ｎｅｔから出力画像が出力層ＯＬに出力される。図４Ａ、図５Ａ、図６Ａのような入力画像と図４Ｂ、図５Ｂ、図６Ｂのようなマスク画像との組を大量に与えて機械学習が行われる。

具体的には、図４Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図４Ｂのようなマスク画像Ｐｘが出力されるように機械学習させて、右肺外縁用の検出部１０１が生成される。また、図５Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図５Ｂのようなマスク画像Ｐｙが出力されるように機械学習させて、右背側肺底の陰影用の検出部１０１が生成される。また、図６Ａのような胸部Ｘ線画像Ｉｘを大量にＵ−Ｎｅｔに入力し、Ｕ−Ｎｅｔから図６Ｂのようなマスク画像Ｐｚが出力されるように機械学習させて、右第６肋骨用の検出部１０１が生成される。そして、機械学習後の、例えば、右肺外縁用の検出部１０１に対象胸部Ｘ線画像が入力されると、機械学習させた構造物として右肺外縁が検出されることとなる。

本実施の形態では、予め定義された総計Ｎ（Ｎは１以上の整数）個の構造物について、それぞれ構造物検出を行うＵ−Ｎｅｔを予め機械学習させてＮ個の学習済みのＵ−Ｎｅｔを準備しておき、それらＮ個の学習済みのＵ−Ｎｅｔが、検出部１０１として用いられる。なお、Ｎ個の構造物を１個のＵ−Ｎｅｔで検出するＭｕｌｔｉ−ｃｌａｓｓ ｓｅｇｍｅｎｔａｔｉｏｎとしてＵ−Ｎｅｔを構築してもよい。なお、セマンティックセグメンテーションを行う人工ニューラルネットワークとして、Ｕ−Ｎｅｔに代えて、非特許文献３に開示されるような他のニューラルネットワークが用いられてもよい。

図３に戻って、ステップＳ２００において、肺領域設定部１０２は、ステップＳ１００で検出された構造物を用いて、肺野領域を設定する。

図８、図９、図１０は、それぞれ、設定された肺野領域の一例を示す図であり、それぞれ別の方法で肺野領域が設定されている。図８において、右肺野領域ＲＬおよび左肺野領域ＬＬは、それぞれ、検出部１０１により検出された構造物（図８では境界線）を用いて、肺領域設定部１０２により設定された肺野領域である。なお、検出部１０１は、図８の肺野領域ＲＬ，ＬＬの境界線を、１つのＵ−Ｎｅｔを用いて検出してもよいし、それぞれを別々のＵ−Ｎｅｔを用いて検出してもよい。

また、図９のように、検出部１０１は、肺野領域の境界線を、右肺野外縁の境界線ＲＬＯ、右肺野内縁の境界線ＲＬＩ、右背側肺底の境界線ＲＬＢ、左肺野外縁の境界線ＬＬＯ、左肺野内縁の境界線ＬＬＩ、左背側肺底の境界線ＬＬＢのように、別々に検出してもよい。なお、検出部１０１による境界線の検出結果において、境界線が途切れて検出される場合や、別々の境界線同士の間が離れて検出される場合がある。この場合には、肺領域設定部１０２は、最も近い境界線上の点同士を直線で接続して補間してもよい。

また、肺領域設定部１０２は、図１０のように、肺野領域の一部は輝度が低いという情報を利用して肺野領域または肺野領域の一部の設定を行ってもよい。図１０には、設定された右肺野領域ＲＬＲおよび左肺野領域ＬＬＲが示されている。このような輝度情報を利用した領域設定の場合、心臓に重なる肺野領域や、肝臓に重なる肺野領域等は、後の処理で異常検知対象外になってしまう。この場合、肺領域設定部１０２は、右肺野領域ＲＬＲおよび左肺野領域ＬＬＲの領域に加え、検出部１０１により検出された、図９の背側肺底の境界線ＲＬＢ，ＬＬＢおよび肺野内縁の境界線ＲＬＩ，ＬＬＩも併せて、図８の肺野領域ＲＬ，ＬＬを求めても良い。

図３に戻って、ステップＳ３００において、肺領域分割部１０３は、ステップＳ２００で設定された肺野領域、および、ステップＳ１００で検出された肋骨領域を用いて、肺野領域と重なる肋骨の本数の違いにより、肺野領域を複数の局所領域に分割する。検出部１０１が、左右の第１肋骨から第１２肋骨の計２４本の肋骨領域を検出している場合が説明される。

図６Ｂは、右の第６肋骨の領域を示しているが、このような肋骨領域が左右の第１肋骨から第１２肋骨の計２４本分だけ検出されることになる。肺領域分割部１０３は、検出された肋骨領域を基に、肺野領域を、
（ｉ）肋骨と重なっていない局所領域、
（ｉｉ）１本の肋骨と重なっている局所領域、
（ｉｉｉ）２本の肋骨と重なっている局所領域、
の３種類に分割する。

図１１は、右肺野領域の一部を拡大した画像を示す図である。図１２は、図１１に示される肺野領域が分割された局所領域を示す図である。図１１には、右第（ｉ−２）肋骨ＲＲ（ｉ−２）から右第（ｉ＋４）肋骨ＲＲ（ｉ＋４）の占める領域、及び、右肺野外縁の境界線ＲＬＯが、示されている。図１１に示される肺野領域は、図１２に示されるように複数の局所領域に分割される。図１２において、各局所領域に記入された数字（０，１，２）は、局所領域と重なる肋骨の本数を表す。

図３に戻り、ステップＳ３１０において、肺領域分割部１０３は、面積が予め定めた閾値よりも大きい局所領域をさらに局所領域に分割する。肺領域分割部１０３は、全ての局所領域内で肺血管の太さおよび密度の属性がほぼ一定になるように、局所領域をさらに分割する。肺領域分割部１０３は、肺血管の太さおよび密度のいずれか一方の属性がほぼ一定になるように、分割してもよい。すなわち、肺領域分割部１０３は、肺血管の太さおよび密度の少なくとも一方の属性がほぼ一定になるように、分割すればよい。

図１３は、図１２に示される局所領域がさらに分割された局所領域を示す図である。図１４は、肺門の位置を示す図である。図１５は、図１３と異なる態様で分割された局所領域を示す図である。例えば、図１３では、肺門からの距離がほぼ等距離となる曲線で分割されている。なお、図１４に示されるように、左肺門ＨＬＬおよび右肺門ＨＬＲは、左右の肺において、気管支、肺動脈、肺静脈が出入りする領域である。また、肺領域分割部１０３は、図１５のように直線で局所領域を分割してもよい。

なお、胸部Ｘ線画像では、肺動脈のＸ線吸収率が高いため、画像処理によって、肺動脈を容易に検出できる。そこで、画像処理によって検出された右の肺に対する肺動脈と、右肺野内縁の境界線ＲＬＩ（図９）との交点を右肺門の位置とし、左の肺に対する肺動脈と、左肺野内縁の境界線ＬＬＩ（図９）との交点を左肺門の位置としてもよい。なお、胸部Ｘ線画像において、中央陰影の中の気管・気管支は、周囲の中央陰影よりもＸ線吸収率が低いため、画像処理によって容易に検出できる。そこで、局所領域設定部１０３は、図１５、図１６、図１７において、画像処理によって検出された左右の肺に対する気管支と、肺内縁の境界線との交点を、それぞれ、左肺門部ＣＨＬＬおよび右肺門部ＣＨＬＲの位置として検出してもよい。上記中央陰影は、胸部Ｘ線画像における、左右の肺に挟まれた領域のことである。

ここで、本開示が利用する胸部Ｘ線画像における肺の診断に関する医学知見について説明する。

肺の診断では肺野領域に存在する肺血管の走行に着目することが重要となる。図１４のように、肺血管は、正常であれば、中枢の肺門から末梢の胸膜に向けて、分岐をしながら、太さが細くなっていく。また、現在の胸部Ｘ線撮像技術では、末梢の胸膜近辺の血管は視認できない。疾患により、正常時の状態よりも血管が太くなったり、細くなったりする等の変化を、正常時の血管の太さまたは密度との差異を利用することにより、異常検知を行うことができる。肺野領域を分割した局所領域をさらに分割した局所領域内では、その領域内における血管の太さおよび密度がほぼ揃っていると考えられる。そこで、局所領域毎に、正常時の血管の太さまたは密度を求めればよい。

ここで、肺野領域内には肋骨が走行している。この肋骨の走行により、胸部Ｘ線画像には、（Ａ）肋骨と肺野領域間のエッジの存在、（Ｂ）肋骨内の骨梁パタンの存在、および、（Ｃ）肋骨と肺野領域のＸ線吸収率差による濃淡差、という影響がある。この影響を低減するために、本実施形態では、まず、肺野領域と肋骨とが重なる本数の違いで、肺野領域が局所領域に分割される。また、局所領域のうち、その面積が閾値よりも大きい局所領域については、さらに分割してもよい。図１４のように、肺門から肺血管が分岐しつつ細くなっていくため、さらに局所領域を分割する場合は、図１３のように肺門からの距離がほぼ等距離となる曲線で分割することが望ましい。局所領域の面積が閾値以下になることにより、局所領域内で血管の太さおよび密度がほぼ揃うので、図１５のように直線で分割してもよい。

肋骨と肺野領域との間のエッジで分割することにより、局所領域において肋骨と肺野領域との間のエッジの影響を回避できる。また、肺野領域と肋骨とが重なる本数の違いで肺野領域を分割し、局所領域の面積が閾値よりも大きければさらに分割することにより、各局所領域内では、濃淡、および、骨梁の走行方向がほぼ揃うことになる。これは、後述される、肺血管の太さおよび密度の属性を表現する第一指標の正常モデルの構築の際、モデル化し易くなるという良い影響をもたらす。なお、第一指標は、肺血管の太さおよび密度のいずれか一方の属性を表現する指標でもよい。すなわち、第一指標は、肺血管の太さおよび密度の少なくとも一方の属性を表現する指標であればよい。

図３に戻って、ステップＳ３２０において、異常判定部１０５は、肺領域分割部１０３により設定された局所領域から１つの局所領域を選択する。ステップＳ４００において、異常判定部１０５は、選択された局所領域から、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出する。この第一指標の抽出には、さまざまな技術が適用可能である。

例えば、血管を抽出した後、別途、血管の太さおよび密度の少なくとも一方の属性を表現する特徴量を抽出することができる。血管の抽出には、非特許文献５に記載の、ヘッセ行列の各画素から計算された最大固有値を用いて線状構造物を抽出する方法を適用することができる。また、ヘッセ行列の各要素を生成する帯域分割フィルタバンクを構築することにより、各解像度レベルでの線状構造物の抽出が可能となり、大きさの異なる血管領域を抽出することができる。また、帯域分割フィルタバンクにより各解像度レベルでの線状構造物を抽出した後、前景（線状構造物）の画素値と背景の画素値との比により、各解像度レベルでの密度が算出できる。例えば、上記の方法で、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出可能である。フィルタバンクの個数をＦＢ個、密度として１次元（スカラー）の値を用いる場合、各局所領域からＦＢ次元の特徴量が抽出できる。胸部Ｘ線画像から、肺血管のみの微小構造のみの特徴を抽出できることが理想であるが、実際には肋骨外周のエッジや、肋骨内の骨梁、などの微小構造が存在し、それらの影響を受けやすい。上述のように、肺野領域と重なる肋骨の本数の違いで肺野領域を分割した局所領域を用いることで、肺血管パタンを表現する第一指標に対する、肋骨外周のエッジの影響や、肋骨に含まれる骨梁の影響を低減することができる。

また、明示的に、肺血管に関する第一指標、つまり特徴量を抽出するのではなく、局所領域の画像そのものから、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を含むことを期待して、画像を次元圧縮することで、少数次元の特徴量を抽出することもできる。この手法については、後述のステップＳ５１０で説明される。

図３に戻り、ステップＳ５００において、異常判定部１０５は、正常モデル格納部１０６から、対応する局所領域の基準第一指標を抽出する。肺領域分割部１０３により分割された局所領域と、正常モデル格納部１０６に格納されている局所領域との対応付けについては、種々の方法を採用することができる。

例えば、正常モデル格納部１０６に基準第一指標を予め格納する際に、設定される局所領域に、図８，９，１０のいずれかに示すような肺領域における当該局所領域の位置を示すインデックスを付加してもよい。インデックスとして、例えば、図８における領域ＲＬ、ＬＬなどの外接矩形に対する、当該局所領域の中心座標の相対位置を利用することができる。基準とする外接矩形のＸ座標の始点、終点をそれぞれ０、１、同様に、外接矩形のＹ座標の始点、終点をそれぞれ０、１としたときの、局所領域の正規化中心座標（ｘ，ｙ）を定義できる。ここで、０＜ｘ＜１、かつ、０＜ｙ＜１である。正常モデル作成時の異なる症例間の局所領域の対応付け、あるいは、異常検知時の異常検知対象の局所領域と正常モデルの局所領域との対応付けは、この正規化中心座標（ｘ，ｙ）との距離が最小となる対象を探索することで決定できる。肺領域分割部１０３は、局所領域に分割する際に、対応する局所領域に同じインデックスを付加してもよい。異常判定部１０５は、付加されているインデックスを比較することにより、正常モデル格納部１０６から、対応する局所領域の基準第一指標を抽出することができる。

また、正常モデルを作成する際には、肺の大きさが正規化されている。そこで、異常判定部１０５は、今回の被験者の肺の大きさを正規化した上で、正常モデル格納部１０６の肺と今回の被験者の肺とを重ね合わせたときに、重畳する領域の面積が最も大きい局所領域を、対応する局所領域であると判断してもよい。

ステップＳ５１０において、異常判定部１０５（判定部の一例に相当）は、ステップＳ４００で抽出した第一指標と、ステップＳ５００で抽出した基準第一指標とを比較し、比較結果に基づいて局所領域が異常状態であるかを判定する。また、異常判定部１０５は、異常判定結果、つまり異常状態と判定した局所領域及び異常の内容をメモリ１２１に保存する。

基準第一指標については、予め正常な胸部Ｘ線画像を多数枚用意し、それらの各画像から、ステップＳ４００の方法で、局所領域毎に第一指標を計算する。これらの第一指標の分布を、基準第一指標を表す正常モデルとして正常モデル格納部１０６に予め保存しておく。

図１６は、正常モデルの一例である確率密度分布ＰＤＤを概略的に示す図である。異常判定部１０５は、局所領域毎に、例えば図１６のような確率密度分布ＰＤＤを用いて異常状態か否かを判定する。図１６において、横軸の「指標」は、ベクトルであり、例えばＦＢ次元の特徴量を表し、確率密度分布ＰＤＤは、例えばＦＢ次元の多次元空間における正規分布を表す。異常判定部１０５は、対象とする第一指標に関し、上述の正常モデルにおける第一指標の確率密度分布ＰＤＤに対し、局所領域から抽出された第一指標に対応する確率の値で正常らしさを判定する。例えば図１６においては、抽出された第一指標Ｐ１、Ｐ２の正常らしさは、それぞれＱ１、Ｑ２である。そこで、異常判定部１０５は、第一指標Ｐ２は正常らしいと判定し、第一指標Ｐ１は異常らしい、と判定する。

ここで、分布が１次元の場合は、分布の最頻値または平均値（正規分布として近似している場合には両者は一致する）と比較した指標の大小により、指標が大きすぎて異常なのか、小さすぎて異常なのかを判定することができる。分布が多次元の場合は、分布の最頻値または平均値の多次元空間上の位置に対する、指標の多次元空間上の位置により、特定の次元の指標が小さすぎて異常なのか、大きすぎて異常なのかを判定することができる。これを利用すると、例えば、異常理由が、幅の「より広い／同じ／より狭い」血管が「増えている／減っている」と分類できる。

確率密度分布ＰＤＤを表す方法としては、比較的少数のパラメータによるパラメトリックモデルを用いて表す方法、特定の関数型を仮定せず、個々のデータにより分布の形を特定するノンパラメトリックモデルを用いて表す方法などがある。局所領域から抽出される第一指標が少数次元であれば、異常判定部１０５は、この確率密度分布を用いて異常状態か否かを判定する。例えばパラメトリックモデルを用いる場合は、正常モデルとして、確率密度分布を表すパラメータ（例えば正規分布の平均及び標準偏差）を正常モデル格納部１０６に格納する。

血管の太さおよび密度の属性を表現する特徴量を抽出した場合には、血管の太さが、正常状態よりも、太くなっている／細くなっている／異なる、血管の密度が、正常状態よりも、小さくなっている／大きくなっている／異なる、のように、異常の内容を設定することができる。例えば、肺炎による浸潤影、または、肺癌による結節影または腫瘤影が存在する局所領域では、血管パタンが見えづらくなり、血管の密度が正常状態よりも小さくなる。例えば、蜂巣肺化している局所領域では、通常の血管パタンが見えなくなり、蜂巣肺の壁のパタンが血管の代わりに抽出され、正常時の血管影の太さまたは密度よりも異なった値となる。例えば、心不全により胸膜肥厚が起こっている局所領域では、正常状態では血管パタンが見えない領域で、胸膜肥厚のパタンが血管の代わりに抽出され、正常時の血管影の太さまたは密度よりも異なった値となる。

一方、局所領域から抽出される第一指標が高次元の場合は、次元削減による異常判定方法を用いることができる。これは、前のステップＳ４００で触れた、局所領域の画像そのものから、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を含むことを期待して、画像を次元圧縮することで、少数次元の特徴量を抽出する場合に利用できる。大量の正常状態の局所画像を用いることにより、正常状態の局所画像における、（Ｐ）濃淡値、（Ｑ）肺血管の太さ、密度、および走行方向、が特徴量として抽出されることが期待できる。

図１７は、次元削減時の再構成誤差を利用した異常判定方法を説明する図である。正常モデルを構築する機械学習時に、学習用データセットが分布する元の高次元オリジナル空間ＨＤＯＳから、次元が削減された低次元部分空間ＬＤＰＳを求めておく。ここで、正常データのみで学習用データセットを構成して低次元部分空間ＬＤＰＳを求めた場合、得られた低次元部分空間ＬＤＰＳは、正常データの特徴を反映した空間になっていると考えられる。局所領域から抽出される第一指標を、この低次元部分空間ＬＤＰＳに投影した際、元の学習データと素性が近ければ（すなわち正常データであれば）、所定の閾値未満の再構成誤差ＥＲ１が得られることとなる。一方、異常なデータであれば、所定の閾値以上の再構成誤差ＥＲ２が得られることとなる。異常判定部１０５は、これを利用して、異常状態であるか否かの判定を行う。再構成誤差は、局所領域から抽出される第一指標を低次元部分空間ＬＤＰＳに投影した（つまり次元圧縮した）際のベクトルと、元の高次元オリジナル空間ＨＤＯＳにおけるベクトルとの距離で計算できる。次元削減を行う方法としては、主成分分析、積層オートエンコーダ、変分オートエンコーダ等の手法を用いることができる。

図１８は、積層オートエンコーダ１２００のネットワーク構成を示す図である。積層オートエンコーダ１２００は、図１８に示されるように、入力層ＩＬ、出力層ＯＬ、２以上の中間層ＭＬを備え、中間層ＭＬのニューロン数を入力層ＩＬ、出力層ＯＬに比べて絞った砂時計型のフィードフォワードネットワークである。積層オートエンコーダ１２００では、入力を再現するような出力を得るように、自己を教師データとして学習する。学習終了後には、中間層ＭＬは、学習データセットの素性を良く表現できるような特徴表現になっている。このため、例えば中間層ＭＬ（ｉ）の出力を次元削減データとすることができる。

図１９は、変分オートエンコーダ１３００のネットワーク構成を示す図である。変分オートエンコーダ１３００は、図１９に示されるように、入力層ＩＬ、出力層ＯＬ、２以上の中間層を備え、積層オートエンコーダ１２００（図１８）と同様に、中間層のニューロン数を入力層ＩＬ、出力層ＯＬに比べて絞った砂時計型のネットワークである。変分オートエンコーダは、例えば非特許文献４に開示されている。図１９は、非特許文献４の図２又は図３に相当する。

変分オートエンコーダ１３００では、エンコーダＥＣＤが、画像ｘを入力として、画像ｘを生成する基となる潜在変数ＬＶであるｚの分布ｑφ（ｚ｜ｘ）のパラメータを出力する。デコーダＤＣＤは、分布ｑφ（ｚ｜ｘ）からサンプリングしたｚを基に、生成画像の分布ｐθ（ｘ｜ｚ）を出力する。変分オートエンコーダ１３００における学習は、データセットの各点ｘの対数周辺尤度ｌｏｇｐθ（ｘ）の変分下界の最大化により行われる。非特許文献４では、学習アルゴリズムは、アルゴリズム３として、説明されている。

変分オートエンコーダ１３００を用いた異常判定は、以下のようにして行われる。対象胸部Ｘ線画像ｙを学習済のエンコーダＥＣＤに入力し、潜在変数ＬＶの値がｚの分布ｆ（ｚ｜ｙ）を得る。この分布からサンプリングして潜在変数ｚを得て、得られた潜在変数ｚを用いて対象胸部Ｘ線画像ｙの尤度ｐθ（ｙ｜ｚ）を求める。異常判定部１０５は、その尤度ｐθ（ｙ｜ｚ）により、異常または正常を判定する。非特許文献４では、判定アルゴリズムは、アルゴリズム４として、説明されている。

主成分分析の場合は、正常モデルとして、次元削減を行う行列を正常モデル格納部１０６に格納する。積層オートエンコーダ、変分オートエンコーダの場合は、正常モデルとして、学習後のネットワーク構造およびパラメータを正常モデル格納部１０６に格納する。

次元削減による手法の場合は、異常判定部１０５は、再構成誤差から異常理由を求めることが難しいため、異常判定結果として、異常状態と判定した局所領域を示す情報のみをメモリ１２１に保存する。

図３に戻り、ステップＳ５２０において、異常判定部１０５は、全ての局所領域が選択されたか否かを判定する。全ての局所領域が選択されていれば（ステップＳ５２０でＹＥＳ）、処理はステップＳ６１０に進む。一方、全ての局所領域が未だ選択されていなければ（ステップＳ５２０でＮＯ）、処理はステップＳ３２０に戻り、次の局所領域が選択されて、以上のステップが繰り返される。ステップＳ６１０において、表示制御部１２２は、ステップＳ５１０で異常状態であると判定された局所領域および異常の内容をディスプレイ１０９に表示する。

図２０は、ディスプレイ１０９の表示例を概略的に示す図である。図２０に示されるように、表示制御部１２２は、対象胸部Ｘ線画像Ｉｘと、異常状態と判定された局所領域ＡＢ１，ＡＢ２，ＡＢ３、ＡＢ４と、異常状態の内容を表すメッセージＭｓとをディスプレイ１０９に表示する。局所領域の名称及びメッセージＭｓは、予め定義されてメモリ１２１に保存されている。

以上のように、本開示の第１実施形態によれば、肋骨影と重なる肺野領域に対して、異常の有無を判定することができる。

また、どの位置の局所領域がどのように正常状態と異なるかという情報をユーザに提示できる。したがって、ユーザにとって有益であり、読影医だけでなく、臨床医及び放射線技師の診断及び自己学習、または医学生の教育及び自己学習にも利用可能である。

（第１実施形態の変形例）
図２１は、第１実施形態の変形例における、胸部Ｘ線画像の異常表示制御方法を実行する異常表示制御装置１００の構成を概略的に示すブロック図である。図２２は、図２１の異常表示制御装置１００により実行される処理手順を概略的に示すフローチャートである。図２３、図２４は、グループ化の例を示す図である。以下、第１実施形態と異なる点を中心に、第１実施形態の変形例が説明される。

図２１に示されるように、異常表示制御装置１００は、グループ情報格納部１０４、正常モデル格納部１０６、画像メモリ１０７、通信部１０８、ディスプレイ１０９、ＣＰＵ１２０、メモリ１２１を備えている。メモリ１２１のＲＯＭは、ＣＰＵ１２０を動作させる第１実施形態の変形例の制御プログラムを記憶する。ＣＰＵ１２０は、メモリ１２１に記憶されている第１実施形態の変形例の制御プログラムを実行することによって、検出部１０１、肺領域設定部１０２、肺領域分割部１０３、異常判定部１０５、表示制御部１２２、通信制御部１２３として機能する。

グループ情報格納部１０４は、複数の局所領域から構成されるグループのインデックスと、その構成要素である局所領域のインデックスとの対応付け情報を記録する。記録される対応付け情報については、予め、正常モデルを作成するために用意された胸部Ｘ線画像群を用いて、肺領域分割部１０３で領域分割された、肺野領域内の複数の局所領域を、所定基準にてグループ化することにより求めておく。例えば、局所領域を、局所領域と重なる肋骨の本数が同一、かつ、胸部Ｘ線画像における肺門からの２次元距離が所定の範囲内にある局所領域同士でグループ化する。図２３に示されるグループ化の例では、肺門ＨＬから最も近い位置にあり肋骨と重ならない局所領域群がグループＧ１、肺門ＨＬから最も近い位置にあり１本の肋骨と重なる局所領域群がグループＧ２、肺門ＨＬから次に近い位置にあり肋骨と重ならない局所領域群がグループＧ３、肺門ＨＬから次に近い位置にあり１本の肋骨と重なる局所領域群がグループＧ４、・・・のようにグループ化されている。このグループ情報格納部１０４に、任意の局所領域のインデックスを問い合わせると、その局所領域が属するグループのインデックスを返す。

正常モデル格納部１０６は、局所領域のグループ毎に、正常状態をモデルとして格納する。異常判定部１０５は、肺領域分割部１０３で設定された局所領域について、正常モデル格納部１０６に格納された、対応する局所領域が属するグループの正常モデルを参照することにより、異常状態であるか否かを判定する。

図２２において、ステップＳ５０〜Ｓ３１０は、それぞれ、図３のステップＳ５０〜Ｓ３１０と同じである。ステップＳ３４０において、異常判定部１０５は、肺領域分割部１０３により分割された局所領域から１つの局所領域を選択する。ステップＳ４１０では、異常判定部１０５は、選択された局所領域から、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出する。ステップＳ５２９において、異常判定部１０５は、選択された局所領域について、グループ情報格納部１０４に問い合わせることにより、この局所領域が属するグループを特定する。ステップＳ５３０において、異常判定部１０５は、正常モデル格納部１０６から、ステップＳ５２９で特定したグループの基準第一指標を抽出する。ステップＳ５４０において、異常判定部１０５（判定部の一例に相当）は、ステップＳ４１０で抽出した第一指標と、ステップＳ５３０で抽出した基準第一指標とを比較し、比較結果に基づいて局所領域が異常状態であるかを判定する。また、異常判定部１０５は、異常判定結果、つまり異常状態と判定した局所領域および異常の内容をメモリ１２１に保存する。

ステップＳ５５０において、異常判定部１０５は、全ての局所領域が選択されたか否かを判定する。全ての局所領域が選択されていれば（ステップＳ５５０でＹＥＳ）、処理はステップＳ６１０に進む。一方、全ての局所領域が未だ選択されていなければ（ステップＳ５５０でＮＯ）、処理はステップＳ３４０に戻り、次の局所領域が選択されて、以上のステップが繰り返される。ステップＳ６１０において、表示制御部１２２は、ステップＳ５４０で異常状態であると判定された局所領域および異常の内容をディスプレイ１０９に表示する。

局所領域と重なる肋骨の本数が同一である局所領域同士でグループ化することにより、同一グループ内では、濃淡値、および、骨梁に相当するエッジの太さおよび密度がほぼ一定になることが期待できる。また、肺門からの２次元距離が所定の範囲内にある局所領域同士でグループ化することにより、同一グループ内では、肺血管の太さおよび密度がほぼ一定になることが期待できる。そのため、予め求める正常モデル構築の際に、肺血管および骨梁の情報がモデル化し易くなり、かつ、異常検知性能が向上するという効果がある。

また、事前にグループ情報格納部１０４に格納されているグループのグループ化方法は、上記に限られない。例えば、局所領域を、局所領域と重なる肋骨の本数が同一、かつ、胸部Ｘ線画像における肺門からの方向が所定の範囲内にある局所領域同士でグループ化してもよい。図２４に示されるグループ化の例では、肺門ＨＬから見て時計の針がおおよそ１０時から１１時の方向にあり肋骨と重ならない局所領域群がグループＫ１、１本の肋骨と重なる局所領域群がグループＫ２、肺門ＨＬから見て時計の針がおおよそ９時から１０時の方向にあり肋骨と重ならない局所領域群がグループＫ３、１本の肋骨と重なる局所領域群がグループＫ４、２本の肋骨と重なる局所領域群がＫ５、・・・のようにグループ化されている。

局所領域と重なる肋骨の本数が同一である局所領域同士でグループ化することにより、同一グループ内では、濃淡値、および、骨梁に相当するエッジの太さや密度がほぼ一定になることが期待できる。また、肺門からの方向が所定の範囲内にある局所領域同士でグループ化することにより、同一グループ内では、肺血管に相当するエッジの向きがほぼ一定になることが期待できる。そのため、予め求める正常モデル構築の際に、肺血管および骨梁の情報がモデル化し易くなり、かつ、異常検知性能が向上するという効果がある。

（第２実施形態）
図２５は、第２実施形態における、胸部Ｘ線画像の異常表示制御方法を実行する異常表示制御装置１００の構成を概略的に示すブロック図である。図２６、図２７は、第２実施形態に係る異常表示制御装置１００により実行される処理手順を概略的に示すフローチャートである。図２８は、第２実施形態におけるディスプレイ１０９の表示例を概略的に示す図である。以下、第１実施形態と異なる点を中心に、第２実施形態が説明される。

図２５に示されるように、第２実施形態の異常表示制御装置１００は、正常モデル格納部１０６、第二正常モデル格納部１３０、画像メモリ１０７、通信部１０８、ディスプレイ１０９、ＣＰＵ１２０、メモリ１２１を備えている。メモリ１２１のＲＯＭは、ＣＰＵ１２０を動作させる第２実施形態の制御プログラムを記憶する。ＣＰＵ１２０は、メモリ１２１に記憶されている第２実施形態の制御プログラムを実行することによって、検出部１０１、肺領域設定部１０２、肺領域分割部１０３、異常判定部１０５、表示制御部１２２、通信制御部１２３として機能する。

異常判定部１０５は、肺領域分割部１０３で分割された局所領域について、正常モデル格納部１０６および第二正常モデル格納部１３０にそれぞれ格納された、対応する局所領域の正常モデルを参照することにより、異常状態であるか否かを判定する。

図２６において、ステップＳ５０〜Ｓ５２０は、それぞれ、図３のステップＳ５０〜Ｓ５２０と同じである。図２６のステップＳ５２０でＹＥＳであれば、処理は図２７のステップＳ５６０に進む。ステップＳ５６０において、異常判定部１０５は、肺領域分割部１０３で分割された複数の局所領域のうち、肋骨が存在する局所領域である肋骨局所領域を特定する。ステップＳ５６２において、異常判定部１０５は、特定された肋骨局所領域から１つの肋骨局所領域を選択する。ステップＳ５６４において、異常判定部１０５は、肋骨局所領域から、骨梁の太さおよび密度の属性を表現する第二指標を抽出する。なお、第二指標は、骨梁の太さおよび密度のいずれか一方の属性を表現する指標でもよい。すなわち、第二指標は、骨梁の太さおよび密度の少なくとも一方の属性を表現する指標であればよい。

ステップＳ５６４における抽出技術としては、ステップＳ４００において、異常判定部１０５が局所領域から第一指標を抽出する際と同一の技術を利用することができる。肺血管は、胸部Ｘ線画像上において、図１４で示したように中枢の肺門から抹消の胸膜に向かうにつれ、太さが細くなっていく。これに対して、骨梁の太さは、肺血管と比べさらに細く、肋骨内の位置に関わらず、ほぼ一定であり、骨梁は、肺血管と比べ明瞭なコントラストを持った微小な線として認識される。この骨梁の線の太さと密度を、帯域分割フィルタバンクなどの技術により表現する。結果として、第一指標を求めるための帯域分割フィルタバンクの周波数帯域と比較して、第二指標を求めるための帯域分割フィルタバンクの周波数帯域の方が高周波帯域であり、かつ、周波数帯域が狭くなる。

ステップＳ５６６において、異常判定部１０５は、第二正常モデル格納部１３０から、対応する肋骨局所領域の基準第二指標を抽出する。ステップＳ５６８において、異常判定部１０５は、ステップＳ５６４で抽出した第二指標と、ステップＳ５６６で抽出した基準第二指標とを比較し、比較結果に基づいて局所領域が異常状態であるか否かを判定する。

基準第二指標については、予め正常な胸部Ｘ線画像を多数枚用意し、それらの各画像から、ステップＳ５６４の方法で、肋骨局所領域毎に第二指標を計算する。これらの第二指標の分布を、基準第二指標を表す正常モデルとして第二正常モデル格納部１３０に予め保存しておく。

ステップＳ５７０において、異常判定部１０５は、全ての肋骨局所領域が選択されたか否かを判定する。全ての肋骨局所領域が選択されていれば（ステップＳ５７０でＹＥＳ）、処理はステップＳ６２０に進む。一方、全ての肋骨局所領域が未だ選択されていなければ（ステップＳ５７０でＮＯ）、処理はステップＳ５６２に戻り、次の肋骨局所領域が選択されて、以上のステップが繰り返される。ステップＳ６２０において、図２８に示されるように、表示制御部１２２は、対象胸部Ｘ線画像Ｉｘと、異常状態と判定された局所領域ＡＢ１，ＡＢ２，ＡＢ３，ＡＢ４および肋骨局所領域ＡＢ５，ＡＢ６と、異常状態の内容を表すメッセージＭｓとをディスプレイ１０９に表示する。局所領域、肋骨局所領域の名称及びメッセージＭｓは、予め定義されてメモリ１２１に保存されている。

以上のように、第２実施形態では、第１実施形態で説明した肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標での異常状態の判定に加え、骨梁の太さおよび密度の少なくとも一方の属性を表現する第二指標での異常状態の判定を行っている。したがって、第２実施形態によれば、疾患により胸部Ｘ線画像上に描出される骨梁の密度が正常時の状態よりも多くなったり、少なくなったりしたことを利用して異常検知が可能となる。このように、骨梁の密度の異常が検知できるため、例えば、腫瘍の骨転移のうち、骨梁が消失する異常を検知することによって溶骨型転移を検出することが期待でき、骨梁が増加する異常を検知することによって造骨型転移を検出することが期待できる。

（第２実施形態の変形例）
図２９は、第２実施形態の変形例における、胸部Ｘ線画像の異常表示制御方法を実行する異常表示制御装置１００の構成を概略的に示すブロック図である。図３０、図３１は、第２実施形態の変形例に係る異常表示制御装置１００により実行される処理手順を概略的に示すフローチャートである。図３２、図３３は、グループ化の例を示す図である。以下、第２実施形態と異なる点を中心に、第２実施形態の変形例が説明される。

図２９に示されるように、異常表示制御装置１００は、グループ情報格納部１０４、正常モデル格納部１０６、第二正常モデル格納部１３０、画像メモリ１０７、通信部１０８、ディスプレイ１０９、ＣＰＵ１２０、メモリ１２１を備えている。メモリ１２１のＲＯＭは、ＣＰＵ１２０を動作させる第２実施形態の変形例の制御プログラムを記憶する。ＣＰＵ１２０は、メモリ１２１に記憶されている第２実施形態の変形例の制御プログラムを実行することによって、検出部１０１、肺領域設定部１０２、肺領域分割部１０３、第二グループ化部１３１、異常判定部１０５、表示制御部１２２、通信制御部１２３として機能する。

グループ情報格納部１０４は、複数の肋骨局所領域から構成されるグループのインデックスと、その構成要素である肋骨局所領域のインデックスとの対応付け情報を記録する。記録される対応付け情報については、予め、正常モデルを作成するために用意された胸部Ｘ線画像群を用いて、肺領域分割部１０３で領域分割された、肺野領域内の複数の肋骨局所領域を、所定基準にてグループ化することにより求めておく。例えば、肋骨局所領域を、肋骨局所領域と重なる肋骨の本数が同一である肋骨局所領域同士でグループ化する。図３２に示されるグループ化の例では、１本の肋骨と重なる局所領域群がグループ１、２本の肋骨と重なる局所領域群がグループ２のようにグループ化されている。このグループ情報格納部１０４に、任意の肋骨局所領域のインデックスを問い合わせると、その肋骨局所領域が属するグループのインデックスを返す。

正常モデル格納部１０６は、局所領域毎に正常状態をモデルとして格納する。第二正常モデル格納部１３０は、予め定義された肋骨局所領域のグループ毎に正常状態をモデルとして格納する。異常判定部１０５は、正常モデル格納部１０６に格納された、対応する局所領域の正常モデルを参照することにより、局所領域毎に、異常状態であるか否かを判定する。さらに、異常判定部１０５は、肺領域分割部１０３で分割された肋骨局所領域について、グループ情報格納部１０４に記録された対応情報をもとに、その肋骨局所領域が属するグループを特定し、第二正常モデル格納部１３０に格納された、特定された肋骨局所領域のグループの正常モデルを参照することにより、肋骨局所領域のグループ毎に、異常状態であるか否かを判定する。

図３０のステップＳ５０〜Ｓ５２０は、それぞれ、図３のステップＳ５０〜Ｓ５２０と同じである。ステップＳ５２０において、全ての局所領域が選択されていれば（ステップＳ５２０でＹＥＳ）、処理は図３１のステップＳ５６０に進む。ステップＳ５６０において、異常判定部１０５は、肺領域分割部１０３で分割された複数の局所領域のうち、肋骨が存在する肋骨局所領域を特定する。

図３２に示されるグループ化の例では、肋骨局所領域と重なる肋骨が１本である肋骨局所領域群がグループ１、肋骨局所領域と重なる肋骨が２本である肋骨局所領域群がグループ２、のようにグループ化されている。

図３１に戻って、ステップＳ５８２において、異常判定部１０５は、ステップＳ５６０で特定した肋骨局所領域から１つの肋骨局所領域を選択する。ステップＳ５８４では、異常判定部１０５は、肋骨局所領域毎に、骨梁の太さおよび密度の少なくとも一方の属性を表現する第二指標を抽出する。ステップＳ５８５では、異常判定部１０５は、選択された肋骨局所領域について、グループ情報格納部１０４に問い合わせることにより、この肋骨局所領域が属するグループを特定する。ステップＳ５８６において、異常判定部１０５は、第二正常モデル格納部１３０から、ステップＳ５８５で特定したグループの基準第二指標を抽出する。ステップＳ５８８において、異常判定部１０５（判定部の一例に相当）は、ステップＳ５８４で抽出した第二指標と、ステップＳ５８６で抽出した基準第二指標とを比較し、比較結果に基づいて肋骨局所領域が異常状態であるかを判定する。また、異常判定部１０５は、異常判定結果、つまり異常状態と判定した肋骨局所領域および異常の内容をメモリ１２１に保存する。

ステップＳ５９０において、異常判定部１０５は、全ての肋骨局所領域が選択されたか否かを判定する。全ての肋骨局所領域が選択されていれば（ステップＳ５９０でＹＥＳ）、処理はステップＳ６２０に進む。一方、全ての肋骨局所領域が未だ選択されていなければ（ステップＳ５９０でＮＯ）、処理はステップＳ５８２に戻り、次の肋骨局所領域が選択されて、以上のステップが繰り返される。ステップＳ６２０において、表示制御部１２２は、ステップＳ５１０で異常状態であると判定された局所領域および異常の内容、ステップＳ５８８で異常状態であると判定された肋骨局所領域および異常の内容を、それぞれ、ディスプレイ１０９に表示する。

肋骨局所領域と重なる肋骨の本数が同一である肋骨局所領域同士でグループ化することにより、同一グループ内では、骨梁に相当するエッジの密度がほぼ一定になることが期待できる。そのため、予め求める正常モデル構築の際に、骨梁の情報がモデル化し易くなり、かつ、異常検知性能が向上するという効果がある。

また、グループ情報格納部１０４に格納しておくグループのグループ化方法は、上記に限られない。例えば、肋骨局所領域を、肋骨の走行方向が所定の範囲内にある肋骨局所領域同士でグループ化してもよい。図３３に示されるグループ化の例では、右上がり方向の肋骨局所領域群がグループＬ１、右下がり方向の肋骨局所領域群がグループＬ３、右上がり方向と右下がり方向の肋骨が重なった肋骨局所領域群がグループＬ２、のようにグループ化されている。

肋骨の走行方向が所定の範囲内にある肋骨局所領域同士でグループ化することにより、同一グループ内では、骨梁に相当するエッジの方向がほぼ一定になることが期待できる。そのため、予め求める正常モデル構築の際に、骨梁の情報がモデル化し易くなり、かつ、異常検知性能が向上するという効果がある。

（第３実施形態）
図３４は、第３実施形態における、医療機関内のネットワーク構成４１０Ａを概略的に示すブロック図である。第３実施形態では、図３４に示されるように、医療機関のイントラネットワーク４００には、サーバ装置５００と、表示制御装置６００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００と、が接続されている。

なお、サーバ装置５００と、表示制御装置６００と、医用画像管理システム２００と、胸部Ｘ線画像撮影装置３００とは、必ずしも、同一の医療機関内のイントラネットワーク４００上に接続されている必要はない。表示制御装置６００、及び、医用画像管理システム２００は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。

図３４に示されるように、サーバ装置５００は、正常モデル格納部１０６、画像メモリ１０７、通信部１０８、ＣＰＵ１５０、メモリ１５１を備えている。メモリ１５１は、例えば半導体メモリ等により構成される。メモリ１５１は、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１５１のＲＯＭは、ＣＰＵ１５０を動作させる制御プログラムを記憶する。

ＣＰＵ１５０は、メモリ１５１に記憶されている制御プログラムを実行することによって、検出部１０１、肺領域設定部１０２、肺領域分割部１０３、異常判定部１０５（判定部の一例に相当）、通信制御部１２３Ａ（取得部の一例に相当）として機能する。通信制御部１２３Ａは、通信部１０８を介して、対象胸部Ｘ線画像を医用画像管理システム２００から取得し、取得した対象胸部Ｘ線画像を画像メモリ１０７に保存する。通信制御部１２３Ａは、通信部１０８を介して、検出部１０１の検出結果と、異常判定部１０５の判定結果とを、表示制御装置６００へ送信する。

表示制御装置６００（端末装置の一例に相当）は、例えば、タブレット型コンピュータで構成され、医師又は放射線技師などの医療従事者が保持する。図３４に示されるように、表示制御装置６００は、ＣＰＵ１４０と、メモリ１４１と、画像メモリ１４２と、通信部１４３と、ディスプレイ１０９と、を備える。

メモリ１４１は、例えば半導体メモリ等により構成される。メモリ１４１は、例えばＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭなどを含む。メモリ１４１のＲＯＭは、ＣＰＵ１４０を動作させる制御プログラムを記憶する。ＣＰＵ１４０は、メモリ１４１に記憶されている制御プログラムを実行することによって、表示制御部１２２、通信制御部１２３Ｂとして機能する。

通信制御部１２３Ｂは、通信部１４３を介して、サーバ装置５００から送信された対象胸部Ｘ線画像のデータを受信し、受信したデータを画像メモリ１４２に格納する。また、通信制御部１２３Ｂは、通信部１４３を介して、サーバ装置５００から送信された、異常状態と判定された局所領域のデータと、異常の内容を表すメッセージとを受信して、受信したデータおよびメッセージをメモリ１４１に格納する。表示制御部１２２は、サーバ装置５００から送信された情報に基づき、図２０と同様の画面を、ディスプレイ１０９に表示する。この第３実施形態によれば、上記第１実施形態と同様の効果を得ることができる。

代替的に、サーバ装置５００は、グループ情報格納部１０４（図２１）をさらに備えてもよい。この場合には、上記第１実施形態の変形例と同様の効果を得ることができる。さらに代替的に、サーバ装置５００は、第二正常モデル格納部１３０（図２５）を備えるようにしてもよい。この場合には、上記第２実施形態と同様の効果を得ることができる。さらに代替的に、サーバ装置５００は、グループ情報格納部１０４（図２９）、第二正常モデル格納部１３０（図２９）を備えてもよい。この場合には、上記第２実施形態の変形例と同様の効果を得ることができる。

（その他）
（１）第２実施形態に係る異常表示制御装置１００により実行される処理手順は、図２６、図２７に示される手順に限られない。

図３５、図３６は、第２実施形態に係る異常表示制御装置１００により実行される、異なる処理手順を概略的に示すフローチャートである。図３５のステップＳ５０〜Ｓ５１０は、それぞれ、図２６（つまり図３）のステップＳ５０〜Ｓ５１０と同じである。ステップＳ５１０に続くステップＳ５１５において、異常判定部１０５は、選択中の局所領域に肋骨が存在するか否かを判定する。選択中の局所領域に肋骨が存在すれば（ステップＳ５１５でＹＥＳ）、処理は図３６のステップＳ５１６に進む。一方、選択中の局所領域に肋骨が存在しなければ（ステップＳ５１５でＮＯ）、処理はステップＳ３２０に戻り、次の局所領域が選択されて、以上のステップが繰り返される。

図３６のステップＳ５１６において、異常判定部１０５は、選択中の局所領域を肋骨局所領域とみなす。続くステップＳ５６４〜Ｓ５６８は、図２７のステップＳ５６４〜Ｓ５６８と同じである。ステップＳ５６８に続くステップＳ５７２において、異常判定部１０５は、全ての局所領域が選択されたか否かを判定する。全ての局所領域が選択されていれば（ステップＳ５７２でＹＥＳ）、処理はステップＳ６２０に進む。一方、全ての局所領域が未だ選択されていなければ（ステップＳ５７２でＮＯ）、処理は図３５のステップＳ３２０に戻り、次の局所領域が選択されて、以上のステップが繰り返される。ステップＳ６２０は、図２７のステップＳ６２０と同じである。

（２）第２実施形態の変形例に係る異常表示制御装置１００により実行される処理手順は、図３０、図３１に示される手順に限られない。

図３７、図３８は、第２実施形態の変形例に係る異常表示制御装置１００により実行される、異なる処理手順を概略的に示すフローチャートである。図３７のステップＳ５０〜Ｓ５１０は、それぞれ、図３のステップＳ５０〜Ｓ５１０と同じであり、図３７のステップＳ５１５は、図３５のステップＳ５１５と同じであり、図３８のステップＳ５１６は、図３６のステップＳ５１６と同じである。図３８のステップＳ５８４〜Ｓ５８８は、図３１のステップＳ５８４〜Ｓ５８８と同じである。

ステップＳ５８８に続くステップＳ５９２において、異常判定部１０５は、全ての局所領域が選択されたか否かを判定する。全ての局所領域が選択されていれば（ステップＳ５９２でＹＥＳ）、処理はステップＳ６２０に進む。一方、全ての局所領域が未だ選択されていなければ（ステップＳ５９２でＮＯ）、処理は図３７のステップＳ３２０に戻り、次の局所領域が選択されて、以上のステップが繰り返される。ステップＳ６２０は、図３１のステップＳ６２０と同じである。

本開示によれば、読影対象である胸部Ｘ線画像の診断支援システム、および医学生又は研修医のための読影教育システムに利用可能である。

１００ 異常表示制御装置
１０１ 検出部
１０２ 肺領域設定部
１０３ 肺領域分割部
１０４ グループ情報格納部
１０５ 異常判定部
１０６ 正常モデル格納部
１０７ 画像メモリ
１０８ 通信部
１０９ ディスプレイ
１２１ メモリ
１２２ 表示制御部
１２３，１２３Ａ 通信制御部
１３０ 第二正常モデル格納部
２００ 医用情報管理システム
３００ 胸部Ｘ線画像撮影装置
４００ イントラネットワーク
５００ サーバ装置
６００ 表示制御装置

Claims (10)

1. 読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータが、
   前記対象胸部Ｘ線画像を取得し、
   前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出し、
   抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割し、
   前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出し、
   前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定し、
   前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を前記ディスプレイに表示する、
   胸部Ｘ線画像の異常表示制御方法。
2. 前記判定では、前記局所領域毎に抽出された前記第一指標と、前記複数の局所領域が予めグループ化されて構成されたグループ毎に予め求められた前記基準第一指標のうち、前記第一指標が抽出された前記局所領域が属する前記グループに対応する前記基準第一指標と、が前記局所領域毎に比較され、比較結果に基づいて、前記局所領域が異常状態であるか否かが前記局所領域毎に判定され、
   前記表示では、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、が前記ディスプレイに表示され、
   前記グループは、前記局所領域と重なる肋骨の本数が同一、かつ、前記胸部Ｘ線画像における肺門からの２次元距離が所定の範囲内にある局所領域の集合であり、前記複数の局所領域の全てはいずれか１つのグループに属する、
   請求項１に記載の胸部Ｘ線画像の異常表示制御方法。
3. 前記判定では、前記局所領域毎に抽出された前記第一指標と、前記複数の局所領域が予めグループ化されて構成されたグループ毎に予め求められた前記基準第一指標のうち、前記第一指標が抽出された前記局所領域が属する前記グループに対応する前記基準第一指標と、が前記局所領域毎に比較され、比較結果に基づいて、前記局所領域が異常状態であるか否かが前記局所領域毎に判定され、
   前記表示では、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、が前記ディスプレイに表示され、
   前記グループは、前記局所領域と重なる肋骨の本数が同一、かつ、前記胸部Ｘ線画像における肺門からの方向が所定の範囲内にある局所領域の集合であり、前記複数の局所領域の全てはいずれか１つのグループに属する、
   請求項１に記載の胸部Ｘ線画像の異常表示制御方法。
4. 前記異常表示制御装置の前記コンピュータが、さらに、
   前記複数の局所領域のうち、肋骨が存在する肋骨局所領域を特定し、
   特定された前記肋骨局所領域毎に、骨梁の太さおよび密度の少なくとも一方の属性を表現する第二指標を抽出し、
   前記肋骨局所領域毎に抽出された前記第二指標と、前記肋骨局所領域毎に予め求められた、正常時の骨梁の前記第二指標と同じ属性を表現する指標である基準第二指標のうち、対応する前記肋骨局所領域の基準第二指標と、を前記肋骨局所領域毎に比較し、比較結果に基づいて前記肋骨局所領域が異常状態であるか否かを前記肋骨局所領域毎に判定し、
   前記表示では、前記肋骨局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記肋骨局所領域の画像と、前記肋骨局所領域の異常状態の内容と、が前記ディスプレイに表示される、
   請求項１に記載の胸部Ｘ線画像の異常表示制御方法。
5. 前記肋骨局所領域の判定では、前記肋骨局所領域毎に抽出された前記第二指標と、前記肋骨局所領域が予めグループ化されて構成されたグループ毎に予め求められた前記基準第二指標のうち、前記第二指標が抽出された前記肋骨局所領域が属する前記グループに対応する前記基準第二指標と、が前記肋骨局所領域毎に比較され、比較結果に基づいて、前記肋骨局所領域が異常状態であるか否かが前記肋骨局所領域毎に判定され、
   前記表示では、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記肋骨局所領域の画像と、前記肋骨局所領域の異常状態の内容と、が前記ディスプレイに表示され、
   前記グループは、前記肋骨局所領域と重なる肋骨の本数が同一の肋骨局所領域の集合であり、全ての前記肋骨局所領域はいずれか１つのグループに属する、
   請求項４に記載の胸部Ｘ線画像の異常表示制御方法。
6. 前記肋骨局所領域の判定では、前記肋骨局所領域毎に抽出された前記第二指標と、前記肋骨局所領域が予めグループ化されて構成されたグループ毎に予め求められた前記基準第二指標のうち、前記第二指標が抽出された前記肋骨局所領域が属する前記グループに対応する前記基準第二指標と、が前記肋骨局所領域毎に比較され、比較結果に基づいて、前記肋骨局所領域が異常状態であるか否かが前記肋骨局所領域毎に判定され、
   前記表示では、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記肋骨局所領域の画像と、前記肋骨局所領域の異常状態の内容と、が前記ディスプレイに表示され、
   前記グループは、肋骨の走行方向が所定の範囲内にある肋骨局所領域の集合であり、全ての前記肋骨局所領域はいずれか１つのグループに属する、
   請求項４に記載の胸部Ｘ線画像の異常表示制御方法。
7. 前記肺野領域および前記肋骨領域の抽出には、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部Ｘ線画像である学習用胸部Ｘ線画像において前記肺野領域および前記肋骨領域が抽出されるように学習されたモデルを使用する、
   請求項１から６のいずれかに記載の胸部Ｘ線画像の異常表示制御方法。
8. 読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像から異常状態を判定してディスプレイに表示する異常表示制御装置のコンピュータを、
   前記対象胸部Ｘ線画像を取得する取得部、
   前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出する領域抽出部、
   抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割する分割部、
   前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出する指標抽出部、
   前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定する判定部、
   前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を前記ディスプレイに表示する表示制御部、
   として機能させる異常表示制御プログラム。
9. ディスプレイと、
   読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
   前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出する領域抽出部と、
   抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割する分割部と、
   前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出する指標抽出部と、
   前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定する判定部と、
   前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を前記ディスプレイに表示する表示制御部と、
   を備える異常表示制御装置。
10. 読影対象の胸部Ｘ線画像である対象胸部Ｘ線画像を取得する取得部と、
    前記対象胸部Ｘ線画像において、肺野領域および肋骨領域を抽出する領域抽出部と、
    抽出された前記肺野領域および前記肋骨領域を基に、前記対象胸部Ｘ線画像において、前記肺野領域と重なる肋骨の本数の違いで前記肺野領域を複数の局所領域に分割する分割部と、
    前記複数の局所領域毎に、肺血管の太さおよび密度の少なくとも一方の属性を表現する第一指標を抽出する指標抽出部と、
    前記複数の局所領域毎に抽出された前記第一指標と、前記複数の局所領域毎に予め求められた、正常時の肺血管の前記第一指標と同じ属性を表現する指標である基準第一指標のうち、対応する前記局所領域の基準第一指標と、を前記複数の局所領域毎に比較し、比較結果に基づいて前記局所領域が異常状態であるか否かを前記複数の局所領域毎に判定する判定部と、
    前記局所領域が異常状態であると判定されると、前記対象胸部Ｘ線画像のうち異常状態であると判定された前記局所領域の画像と、前記局所領域の異常状態の内容と、を外部の端末装置に送信する通信制御部と、
    を備えるサーバ装置。

Images