JP2021097864A - 画像判定装置、画像判定方法及びプログラム - Google Patents

Abstract

【課題】判定対象となる医用画像について適切なポジショニングで撮影されたかどうかの判定を高精度に行うことのできる画像判定装置、画像判定方法及びプログラムを提供する。【解決手段】医用画像の画像データを取得して、当該医用画像に含まれる解剖学的な構造物を領域抽出した抽出画像（セグメンテーション画像）を生成し、この抽出画像又は抽出画像を画像変換した変換画像の少なくともいずれかに基づいて、機械学習により特徴量を算出し、この特徴量に関する学習結果に基づいて、医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを自動的に判定する。【選択図】図７

Description

本発明は、画像判定装置、画像判定方法及びプログラムに関するものである。

従来、病院等の医療施設では、Ｘ線画像をはじめとする放射線画像が数多く撮影されている。これらの放射線画像は、人の体内の様々な部位の病変組織や異常を非侵食的に検出し、病気の診断を行う際に用いられる。

これらの放射線画像の撮影では、撮影前に撮影対象である部位を直接確認することが困難であり、撮影対象となる人の姿勢、体格等の個人差や動き等により、しばしば、診断の対象とする部位が正常に撮影されていないという状況が発生する。
この場合に、適正に撮影されたか否かの判断を後の診断時等に行ったのでは、撮影画像が不良である場合に、後日改めて撮影を行わなければならず、被験者である患者に負担を掛けてしまう。

そこで、従来、撮影された放射線画像のデジタルデータを読み取って撮影位置が適正であるか否かを判断する装置がある。
例えば、特許文献１には、放射線画像の照射野内で当該照射野の境界に接する部分領域の画像データから所定の特徴量を抽出し、所定の学習アルゴリズムによる特徴量に関する学習結果に基づいて、特定部位の一部が放射線画像から欠落しているか否かを判定する技術が開示されている。
また例えば、特許文献２には、医用画像を解析して解剖学的な構造物を複数抽出し、抽出した構造物の抽出結果に基づいて医用画像の撮影時におけるポジショニングの複数の評価項目を評価し、各評価項目別に点数化する技術が開示されている。
また適用分野は異なるが、例えば、特許文献３には、タイヤ画像に畳み込みニューラルネットワークを適用することによって、タイヤの品種やタイヤ状態を判別する技術が開示されている。

特開２０１１−２５５０６１号公報 特開２０１０−５１４５６号公報 特開２０１９−３５６２６号公報

しかしながら、特許文献１に記載の技術は、医用画像が診断に適するものであるか否かの判断を、画像中に対象部位の一部が写っていない欠落や欠損の有無について行うものである。
この点、医用画像が診断に適さない写損と判断されるべきケースは対象部位の欠落や欠損の場合に限定されない。
また、特定部位の一部が放射線画像から欠落しているか否かの判断に機械学習を取り入れているが、特徴量の抽出に機械学習を用いるものではない。

また、特許文献２に記載の技術では、構造物の抽出結果から算出される特徴量を、事前に開発者等の人が介在して設定している。
このため、解析パラメーターが個別のケースに限定されてしまい、様々な部位やパターンにロバストに対応することはできない。

さらに、特許文献３に記載の技術では、深層学習（Deep Learning）を用いて処理を行っているが、深層学習によって判定対象となる画像から直接クラス分類を行っている。
このため、教師データが多く用意できる場合には深層学習の効果を発揮して適切に特徴量を抽出し、精度の高い判定結果を得ることができるが、教師データが少ない場合は深層学習での特徴抽出を適切に行うことができず、判定精度が低下してしまう。
医用画像分野において、人体の個別の部位の関心領域（画像が診断に適したものか否かを判断する基準となる部分、「解剖学的な構造物」）の教師データを多く収集することは難しいことが予測され、少ない教師データに基づいても精度の高い判定結果を得ることのできる構成が望まれる。

本発明は以上のような事情に鑑みてなされたものであり、判定対象となる医用画像について適切なポジショニングで撮影されたかどうかの判定を高精度に行うことのできる画像判定装置、画像判定方法及びプログラムを提供することを目的とする。

請求項１記載の発明は、画像判定装置において、
被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段と、
前記医用画像に含まれる解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段と、
前記抽出画像を画像変換して変換画像を生成する画像変換手段と、
前記抽出画像又は前記変換画像の少なくともいずれかに基づいて、機械学習により特徴量を算出する特徴量抽出手段と、
前記特徴量に関する学習結果に基づいて、前記医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを自動的に判定する判定手段と、
を備えたことを特徴とする。

請求項９記載の発明は、画像判定方法であって、
診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得工程と、
前記医用画像から解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション工程と、
前記抽出画像と前記医用画像の撮影時におけるポジショニングの良否に関するクラスとを対応付けて教師データとする教師データ準備工程と、
前記教師データ準備工程において用意された複数の前記教師データについて、畳み込みニューラルネットワークで学習し、前記畳み込みニューラルネットワークのパラメーターを設定するパラメーター設定工程と、
被験者の診断対象領域を含む部位を放射線撮影する実撮影により取得された前記医用画像の画像データを判定対象とし、
前記セグメンテーション工程において、前記実撮影において取得された前記医用画像から抽出画像を領域抽出して、当該画像データを前記パラメーター設定工程において設定されたパラメーターを有する前記畳み込みニューラルネットワークに入力し、前記判定対象の前記医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを判定する判定工程と、
を含むことを特徴とする。

請求項１０記載の発明は、プログラムであって、
コンピューターを、
被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段、
前記医用画像から解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段、
前記抽出画像を画像変換して変換画像を生成する画像変換手段、
前記抽出画像又は前記変換画像の少なくともいずれかに基づいて、機械学習により特徴量を算出する特徴量抽出手段、
前記特徴量に関する学習結果に基づいて、前記医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを自動的に判定する判定手段、
として機能させることを特徴とする。

本発明の構成をとることで、判定対象となる医用画像について適切なポジショニングで撮影されたかどうかの判定を高精度に行うことが可能となる。

本実施形態における画像判定装置としての画像処理装置の要部構成を表す要部ブロック図である。 （ａ）は、膝側面の画像の解剖学的な構造物を説明するための模式図であり、（ｂ）は、適切なポジショニングで撮影された膝側面の画像の例であり、（ｃ）は、不適切なポジショニングで撮影された膝側面の画像の例である。 本実施形態における画像判定処理を示すフローチャートである。 図３に示す機械学習を用いたポジショニング判定処理を示すフローチャートである。 図４に示すセグメンテーション処理の詳細を示すフローチャートである。 セグメンテーション用のニューラルネットワークを構築する際に用いられる教師データ群の例を示す図である。 図４に示すクラス分類処理の詳細を説明する説明図である。 クラス分類用のニューラルネットワークを構築する際に用いられる教師データ群の例を示す図である。 ポジショニング判定処理の結果表示画面の一例を示す画面例である。 セグメンテーション画像を表示するセグメンテーション表示画面の一例を示す画面例である。 （ａ）は、膝正面の画像の解剖学的な構造物を説明するための模式図であり、（ｂ）は、（ａ）に示すｂ部分のセグメンテーション画像の例であり、（ｃ）は、（ａ）に示すｃ部分のセグメンテーション画像の例である。 （ａ）は、適切なポジショニングで撮影された膝正面の画像の例であり、（ｂ）は、不適切なポジショニングで撮影された膝正面の画像の例である。

以下、本発明に係る画像判定装置、画像判定方法、及びプログラムの一実施形態について図面を参照しつつ説明する。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。

図１は、本実施形態における画像処理装置の要部構成を示す要部ブロック図である。
本実施形態において画像処理装置１は、被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得して、当該医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かの判定を行う画像判定装置として機能するものである。

病院等の医療施設では、Ｘ線画像をはじめとする放射線画像（医用画像）が数多く撮影されている。これらの医用画像は、例えば、肺や頭部といった人の体内の様々な部位の病変組織や異常を非侵食的に検出し、病気の診断を行う際に用いられる。
こうした医用画像の撮影では、撮影を行う操作者は、被曝防止のために撮影室とは別の部屋（前室等）から撮影指示を行うようになっている。このため、撮影直前に撮影対象である部位の状況（例えば位置や向き等）を直接確認することが困難である。また、同様の理由から撮影時に介護人が付き添うことができない。このため、撮影対象となる人が適切な姿勢を維持することができなかったり、撮影までの間に動いてしまうことにより、診断対象となる部位が正常に撮影されない場合がある。また、体格等の個人差により、同じように撮影しても写り方が大きく異なる場合もある。
特に、膝側面に代表される四肢の撮影では、放射線（Ｘ線）の入射角度や患者の対象部位の傾かせ方等によって写り方が大きく異なる。このため、撮影時のポジショニングが難しく、写損（撮影失敗）と判断されて再撮影となる割合が高くなる。
再撮影が必要とされる場合、被験者である患者に後日再来を求めるのは負担となる。このため、再撮影が必要か否かは、できるだけ撮影後すぐに確認できることが好ましい。

撮影画像が写損であるか否かの判断は診断の対象となる部位によって異なるが、例えば膝側面の場合、図２（ａ）に示す内側顆αと外側顆βのずれ部分（ずれ部分の幅、ずれ量ｄ）の程度によって画像の適否（画像診断に使用できるか否か）が判別される。一般的には内側顆αと外側顆βとのずれ部分の幅（ずれ量ｄ）が７ｍｍ以上程度である場合に写損であるとの判定している。
図２（ｂ）は、上記の基準で見た場合に正常と判断される膝側面の画像の例であり、図２（ｃ）は、上記の基準で見た場合に写損と判断される膝側面の画像の例である。
しかし、撮影画像が再撮影が必要となる写損であるか否かの判断は画像上明確とはいえず、判断が難しい。
そこで本実施形態の画像処理装置１は、撮影された画像が診断に適した正しいポジショニングで撮影されたものであるか否か（すなわち、写損にあたらないか否か）を機械学習の手法を導入することで、高精度に行うことを可能にする。

図１に示すように、本実施形態の画像処理装置１は、制御部１１、記憶部１２、操作部１３、表示部１４、通信部１５等を備えており、これらの各部は、バス１６により相互に接続されている。

制御部１１は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成されるコンピューターである。
制御部１１のＣＰＵは、操作部１３の操作に応じて、記憶部１２（例えば記憶部１２内のプログラムを記憶する図示しない記憶領域）に記憶されているシステムプログラムや、各種処理プログラムを読み出してＲＡＭの作業領域に展開し、展開されたプログラムに従って、後述する画像判定処理等の画像処理を始めとする各種処理を実行し、画像処理装置１各部の動作を集中制御する。また、ＣＰＵは、バス１６を介して他の構成部から信号やデータを受け取ったり、制御信号や命令を送ったりする。

また、特に本実施形態において制御部１１は、被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段、医用画像から解剖学的な構造物を領域抽出した抽出画像（セグメンテーション画像）を生成するセグメンテーション手段、抽出画像を画像変換して変換画像を生成する画像変換手段、抽出画像又は変換画像の少なくともいずれかに基づいて、機械学習により特徴量を算出する特徴量抽出手段、特徴量に関する学習結果に基づいて、医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを自動的に判定する判定手段等、として機能する。
制御部１１のこれらの機能は、制御部１１のＣＰＵと記憶部１２に記憶されたプログラムとの協働によって実現される。
なお、これら各機能の詳細については、後述する。

記憶部１２は、ＳＳＤ（Solid State Drive）等の不揮発性の半導体メモリーやハードディスク（ＨＤＤ：Hard Disk Drive）等により構成される。記憶部１２は、着脱可能なフラッシュメモリ等を含んでもよい。
記憶部１２は、制御部１１において各種画像処理等を実行するためのプログラムを始めとする各種プログラムや、プログラムによる処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。記憶部１２に記憶されている各種プログラムは、コンピューターにより読取可能なプログラムコードの形態で格納され、制御部１１は、当該プログラムコードに従った動作を逐次実行する。
本実施形態では、医用画像についてポジショニングを判定するためのプログラムが記憶部１２に格納されており、制御部１１は当該プログラムにしたがってポジショニング判定処理を含む画像判定処理を行う。
また、本実施形態の記憶部１２には、機械学習において参照される各種の教師データ（例えば図６におけるセグメンテーション用の教師データ群１２ａ、図８におけるクラス分類用の教師データ群１２ｂ参照）等が記憶されている。

操作部１３は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードや、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部１１に出力する。また、操作部１３は、表示部１４の表示画面にタッチパネルを備えてもよく、この場合、タッチパネルを介して入力された指示信号が制御部１１に出力される。

表示部１４は、例えばＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニターにより構成されている。
表示部１４は、制御部１１から入力される表示信号の指示に従って、画面上に各種の画像や関連情報等のデータ等（例えば図９に示すポジショニング判定処理の結果表示画面１４ａ、図１０に示すセグメンテーション表示画面１４ｂ）の各種表示を行う。

通信部１５は、ＬＡＮアダプターやモデムやＴＡ等を備え、通信ネットワークに接続された各装置との間のデータ送受信を制御する。通信部１５は、例えばネットワークカード等の通信用のインターフェイスを備えるものであってもよい。
図示を省略するが、本実施形態の画像処理装置１には、図示しない各種の通信ネットワーク等を介してＨＩＳ（Hospital Information System；病院情報システム）やＲＩＳ（Radiology Information System；放射線科情報システム）、ＰＡＣＳ（Picture Archiving and Communication System）等が接続されている。
通信部１５は、外部装置との間で各種データを送受信可能となっており、例えば外部の撮影装置で撮影された画像データ（医用画像の放射線画像データ）等は、この通信部１５を介して画像処理装置１に入力される。入力された画像データ等は、適宜記憶部１２等に保存される。

次に、本実施形態のポジショニング判定処理を含む画像判定処理の動作について説明する。

図３は、制御部１１（制御部１１のＣＰＵ等）による画像判定処理の制御手順を示したフローチャートである。この画像判定処理は、例えば、ユーザーによる操作部１３の開始指示操作に基づく入力信号により開始される。

図３に示すように、画像判定処理が開始されると、制御部１１のＣＰＵは、先ず、被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データ（判定対象となる実撮影において取得された医用画像の画像データ）を記憶部１２から読み込む（ステップＳ１）。
本実施形態において、この画像データは、放射線画像撮影装置等で撮影された後に、例えば明度やコントラストの調整といった初期補正がなされて記憶部１２に保存されたものである。なお、制御部１１に入力される画像データは特に限定されない。各種補正等の処理が施されていないデータであってもよいし、グリッド補正やゲイン補正など各種補正処理、階調処理やダイナミックレンジ圧縮処理、エッジ強調等のエンハンスメント処理を行ったものでもよい。また適宜間引く等の縮小処理や回転処理等の各種補間処理や、幾何学変換を行った画像データであってもよい。またプレ曝射（本画像取得前に行われる低い線量での曝射）によって取得された画像データでもよい。さらに、画像データは連写された静止画像の中の１枚等であってもよいし、静止画像のデータに限定されず動画像データから切り出されたものであってもよい。
判定対象の画像データが読み込まれると、制御部１１のＣＰＵは、当該画像データに基づく医用画像を画像の関連情報や操作メニュー等とともに表示部１４に表示させる（ステップＳ２）。なお、表示部１４に表示させることは必須ではない。

また、制御部１１のＣＰＵは、当該読み込まれた画像データが、被写体である人体の特定部位（被験者の診断対象である部位）が診断を行うのに適したポジショニングで撮影された医用画像であるか否かを判別するポジショニング判定処理を行う（ステップＳ３）。
本実施形態において、このＣＰＵ（制御部１１）によるポジショニング判定処理は、機械学習を用いたものが採用される。

ここで、ポジショニング判定処理（図３におけるステップＳ３）について、図４から図８等を参照しつつ詳細に説明する。

図４は、ポジショニング判定処理の内容を説明したフローチャートである。
図４に示すように、本実施形態では、ポジショニング判定処理としてまずセグメンテーション処理（ステップＳ１１）を行い、次いで、セグメンテーション処理（ステップＳ１１）の結果を踏まえてクラス分類処理（ステップＳ１２）を行う。

画像データに対するセグメンテーション処理とは、広くは画像を領域分割することをいうが、本実施形態では、画像全体から注目する領域を抽出すること、特に制御部１１において取得された医用画像から、ポジショニングの良否判断を行う際に注目される（基準とされる）「解剖学的な構造物」を領域抽出した抽出画像（セグメンテーション画像）を生成する処理を意味する。
ここで領域抽出の対象となる「解剖学的な構造物」は、ポジショニングの良否判断の対象となる医用画像によって異なり、例えば、医用画像が膝側面の画像である場合には、膝側面の画像に現れる内側顆α・外側顆β、又は内側顆αと外側顆βとのずれ部分（図２（ａ）においてずれ量ｄで示されるずれ部分の幅）等が「解剖学的な構造物」とされる。
なお、本実施形態では、内側顆αと外側顆βとのずれ部分を、ポジショニングの良否判断を行う際の基準となる（すなわち、領域抽出の対象となる）「解剖学的な構造物」とする場合を例として説明する。
なお、いかなる部分を領域抽出の対象となる「解剖学的な構造物」とするかは、画像の種類、撮影対象等に応じて適宜設定される。

セグメンテーション処理には各種の手法があり、いずれの手法を用いてもよい。
例えば大津の二値化法等のアルゴリズムを用いたセグメンテーション処理では、画素値に所定の閾値を設けて、閾値を超える領域と超えない領域とに画像を分割する。
しかし二値化法では、画像のコントラストによって精度が大きく左右され、また放射線撮影を行った際の管電圧や被写体厚が違う等、各種条件の異なる画像が入力された場合に適切にセグメンテーションを行うことができない場合がある。
この点、例えば動的輪郭（snakes）を使用してイメージのセグメント化を行うSnakes法、領域の内部、外部をLevel set関数によって表現するLevel set法、深層学習（Deep Learning）に基づく方法等を用いることで二値化法よりも高精度のセグメンテーション処理を行うことが可能である。

このうち、特に深層学習（Deep Learning）を用いた場合には、画像のコントラスト等を加味した学習を行い、これに基づいたセグメンテーション処理を行うことができる。このため、ロバスト性に優れたセグメンテーション処理を実現することが期待でき、好ましい。
なお、画像データに対するセグメンテーション処理には、個別の物体を区別するInstance-aware Segmentationと、同一クラスの物体であれば個を区別しないSemantic Segmentation（セマンティックセグメンテーション）があるが、いずれを用いても構わない。
以下の実施形態では、一例として、画素単位で各画素の意義を予測し解析するセマンティックセグメンテーションの手法を採用する場合について説明する。セマンティックセグメンテーションでは、画像内の全ピクセルをピクセルごと（１画素ごと）に分類することで、領域分割、領域抽出を行う。
画像のセグメンテーション（セマンティックセグメンテーション）処理に特化したニューラルネットワーク（以下において単に「ネットワーク」ともいう）としては、Seg−Net、U−Net等がある。いずれもCNN（Convolutional Neural Network、畳み込みニューラルネットワーク）を用いたものであり、エンコーダーとデコーダー両方の仕組みをもち、画像をピクセル単位で意味のある集合に分割していくセグメンテーション処理を行う。
なお、画像のセグメンテーション処理に適用されるニューラルネットワークは、Seg−Net、U−Netに限定されず、各種のネットワークを適宜適用することが可能である。

図５は、本実施形態におけるセグメンテーション処理の手法を説明するフローチャートである。図５では、深層学習によるセグメンテーション（セマンティックセグメンテーション）処理を行う場合を例示している。
セグメンテーション処理に深層学習に基づく手法を用いる場合には、予め深層学習を行って、処理に用いるニューラルネットワークを構築しておく。

本実施形態では、判定対象の画像データが入力されると、制御部１１は、深層学習が終了しているか否かを判断する（ステップＳ２１）。そして、深層学習が十分に終了していない場合（ステップＳ２１；ＮＯ）には、教師データを複数用意し（ステップＳ２２）、これら複数の教師データ（図６の教師データ群１２ａ参照）を、例えば記憶部１２に記憶させる。

図６は、記憶部に記憶されている教師データ群の一例を示す図である。
図６に示すように、教師データ群１２ａは、訓練入力画像（訓練用の入力画像のデータ）と当該画像から正しく内側顆α・外側顆βのずれ部分等の「解剖学的な構造物」を領域抽出した正解データ（セグメンテーション結果としての正解画像のデータ）とのセットからなる。
教師データ群１２ａとして多くの教師データが用意されるほど深層学習の効果が高まり構築されるニューラルネットワークの精度が向上する。また、教師データ群１２ａを構成する教師データ（各教師データの訓練入力画像）は、撮影時の放射線量、放射線の入射角度、被験者の性別、年齢、体格等、各種の異なる条件下で取得された画像データであることが好ましい。各種条件下で撮影された画像を広く用いることによって、各種の入力画像に対応可能な、よりロバスト性に優れたニューラルネットワークを構築することが期待できる。

なお、セグメンテーション処理において、画像にネットワークを適用する領域抽出を行う前に、不要なノイズ部分を取り除くためや、計算時間の短縮等のために、適宜各種画像変換処理（ステップＳ２３）を行うことが好ましい。
画像変換処理の一例としてはトリミングがある。この場合には、セグメンテーション処理を行う前に、関心領域（例えば、内側顆α・外側顆βを含む膝関節周辺）をもとの画像からトリミングし、トリミング後の画像（変換画像）に対してセグメンテーション処理を行う。トリミングの手法については特に限定されず、手動で関心領域を設定してもよいし、自動で関心領域を設定して切り出してもよい。

次いで、用意された複数の教師データについて畳み込みニューラルネットワークで学習し、畳み込みニューラルネットワークのパラメーターを設定する。
具体的には、まず、もとの訓練入力画像又は画像変換処理を行った場合には変換後の訓練入力画像に、セグメンテーション用のニューラルネットワークを適用し、画素の少なくとも一部を１又は複数のセマンティックな予測と関連付けることによって、画像に対して、セマンティックセグメンテーションを実行する。これにより画像から所望の領域を分割する、領域抽出が行われ（ステップＳ２４）、抽出画像（セグメンテーション画像）が生成される。

そして、制御部１１は必要に応じて学習パラメーターを更新し（ステップＳ２５）、更新されたパラメーターでセグメンテーションニューラルネットワーク（セグメンテーション用のニューラルネットワーク）を構築する（ステップＳ２６）。
さらに、制御部１１はテスト用に用意された入力画像データと正解データとのセット等を用いて、入力画像から正しい正解データ（「解剖学的な構造物」を領域抽出したセグメンテーション画像のデータ）を得ることができるかどうかのテストを行い、学習後のセグメンテーションニューラルネットワークのセグメンテーション精度を確認する（ステップＳ２７）。
なお、精度が足りないような場合には、ネットワークの構成を変えたり（例えば畳み込み層の数を変更（増減）する、適用するネットワークの種類を変更する等）、パラメーターを修正したり、教師データを増やしてさらに学習を行う等により適宜対応する。

他方、深層学習が十分に終了していると制御部１１が判断する場合（ステップＳ２１；ＹＥＳ）には、判定対象画像を適宜画像変換処理（ステップＳ２８）した上で、もとの判定対象画像又は画像変換処理を行った場合には変換後の判定対象画像に、学習済みのセグメンテーション用のニューラルネットワークを適用し、「解剖学的な構造物」の領域抽出を行い（ステップＳ２９）、抽出画像（セグメンテーション画像）を生成する。
なお、ステップＳ２３やステップＳ２８に示した画像変換処理は必須ではなく、この処理を省略してもよい。

判定対象画像について領域抽出が行われると、次に、制御部１１は抽出された抽出画像（セグメンテーション画像）についてクラス分類処理を行う（図４におけるステップＳ１２）。
図７は、クラス分類処理の内容を説明するための説明図である。
図７に示すように、判定対象画像（又はここからトリミング等することで生成された変換画像）からセグメンテーション処理を行うことによって領域抽出されたセグメンテーション画像にクラス分類用の畳み込みニューラルネットワークを適用する。

本実施形態に例示するクラス分類用の畳み込みニューラルネットワークは、セグメンテーション処理によって領域抽出された「解剖学的な構造物」（内側顆α・外側顆βのずれ部分等）の画像（判定対象画像のセグメンテーション画像）をクラスＡ、クラスＢ、クラスＣの３つに分類するものである。
なお、クラス分類用の畳み込みニューラルネットワークもセグメンテーション用のニューラルネットワークと同様に深層学習（Deep Learning）によって構築されるものである。すなわち、予め深層学習を行うことによって、クラス分類処理に用いるニューラルネットワークを構築しておく。
そして、図示は省略するが、クラス分類用の畳み込みニューラルネットワークについても、図５に示したセグメンテーション用のニューラルネットワークと同様に、深層学習が終了しているか否かを制御部１１が判断し、深層学習が十分に終了していない場合には、教師データを複数用意してさらに学習を行わせる。これら複数の教師データ（教師データ群１２ｂ）は、例えば記憶部１２に記憶される。

図８は、記憶部に記憶される教師データ群の一例を示した図である。
図８に示すように、クラス分類用の教師データ群１２ｂは、「解剖学的な構造物」が領域抽出されたセグメンテーション画像（抽出画像）と、各セグメンテーション画像の正しいクラス分類とが対応付けられたものである。
クラス分類用の教師データ群１２ｂとしてより多くのデータが用意されるほど深層学習の効果が高まり構築されるニューラルネットワークの精度が向上する。また、教師データ群１２ｂには、各種条件下で撮影された画像に基づくデータを広く含めることによって、各種のセグメンテーション画像が入力された際にも適切なクラスに分類することが可能な、よりロバスト性に優れたニューラルネットワークを構築することが期待できる。

クラス分類用の畳み込みニューラルネットワークは、図７に示すように、特徴抽出部と分類部とを有している。
特徴抽出部は、畳み込み層とプーリング層とを備え、セグメンテーション処理で領域抽出された画像（図７においてセグメンテーション画像）から特徴量を抽出する。特徴量の抽出は畳み込み層においてカーネル（フィルター）を掛けて畳み込み操作を行うことで行われる。すなわち、畳み込み層では、元の画像（ここではセグメンテーション画像）にフィルターを掛けることで当該画像の特徴点を凝縮する。またプーリング層では特徴の空間サイズを縮小する。特徴抽出部を構成する畳み込み層及びプーリング層の層構成（すなわち、畳み込み層とプーリング層とを何層繰り返すか等）は特に限定されず、適宜調整される。

分類部は、全結合層と出力層とを備え、全結合層でピクセルの値を一次元に展開し、その後全結合層の各ユニット同士を結合して出力層に送る。
分類部では、特徴抽出部において抽出された特徴量に基づいてセグメンテーション画像を２以上のクラスに分類する。
出力層のユニット数は、分類するクラスの数を表しており、本実施形態のように膝側面の画像を分類する場合は膝側面画像の写損レベルの水準数（すなわち、完全に写損と認定され再撮影が必須となるレベルから、多少のずれはあるが再撮影せずに診断に用いることも可能である軽微な写損レベル、又は写損に該当しないレベルまでの段階数）に等しい。例えば本実施形態のようにクラスＡ、クラスＢ、クラスＣの３クラスに分類する場合には、出力層のユニット数は３つとなる。
なお本実施形態では、３クラスに分類する例を示しているが、分類するクラス数は２つ以上であればよく、例えば２クラスでもよいし、４クラスや５クラス、又はそれ以上に分類するもの等であってもよい。

なお、クラス分類用の畳み込みニューラルネットワークの上記特徴抽出部における特徴量抽出のパラメーターや、全結合層のユニット同士を結合する際のパラメーター（重み付け；weight）等は、教師データを用いた深層学習（Deep Learning）によって求められるものである。
パラメーターは、学習を繰り返すことで適宜更新され、クラス分類用の畳み込みニューラルネットワークは、学習により更新されたパラメーターにより構築される。

分類部では、「解剖学的な構造物」である内側顆α・外側顆βのずれ部分等（ずれ部分のずれ量ｄ等）のレベルを判定・分類し、判定結果を確率（クラススコア）の形で出力層から出力する。
例えば図７では、クラス分類の対象である判定対象画像のセグメンテーション画像について、クラス分類用の畳み込みニューラルネットワークを適用した結果、クラスＡである確率が５％、クラスＢである確率が１０％、クラスＣである確率が８５％とのクラス分類結果が示された場合を例示している。

以上のような判定処理（機械学習を用いたポジショニング判定処理、図３におけるステップＳ３）が完了すると、図３に戻り、制御部１１は、ニューラルネットワークを用いて導き出された判定結果が、判定対象画像を不良とするものであるか否か、すなわち写損であって再撮影が必要とされるようなものであるか否かを判断する（図３のステップＳ４）。
例えば、クラスＡに分類された場合には診断画像として使用することができる程度の軽微なレベルであり、クラスＢ、クラスＣの順に写損レベルがひどくなり、クラスＣでは再撮影が必要とされるレベルであるような場合、図７に示したクラス分類結果が出力された場合には、再撮影が必要な写損である確率が８５％であることから制御部１１は、「判定結果が判定対象画像を不良とするものである」と判断する。
なお、いずれのクラスに分類される確率が何％である場合に、判定結果が判定対象画像を不良とするものであると判断するか、制御部１１の判断の基準・閾値は、適宜設定可能である。例えば８０％を超える確率（クラススコア）が示されたクラスがある場合には当該画像はそのクラスに属する画像であると判断してもよい。

判定結果が、判定対象画像を不良とするものである場合（ステップＳ４；ＹＥＳ）には、制御部１１は、表示部１４にポジショニング判定処理の結果を告知する表示画面（図９において結果表示画面１４ａ）を表示させる（ステップＳ５）。この場合、表示部１４は、判定手段としてのクラス分類用の畳み込みニューラルネットワークの判定結果を表示する結果表示手段として機能する。
図９は、ポジショニング判定処理の結果表示画面の一例を示す図である。
結果表示画面１４ａの表示内容やレイアウト等は特に限定されないが、図９ではクラス分類の判定結果が確率（クラススコア）で表示される例を示している。

また、制御部１１は、判定結果が判定対象画像を不良とするものであるか否かに関わらず、判定処理の対象となった抽出画像としてのセグメンテーション画像を表示部１４に表示させてもよい（図１０においてセグメンテーション表示画面１４ｂ）。この場合には、表示部１４は、抽出画像を表示する画像表示手段として機能する。
図１０は、セグメンテーション表示画面の一例を示す図である。
セグメンテーション表示画面１４ｂにおいてセグメンテーション画像をどのように表示させるかは特に限定されないが、図１０では、判定対象画像にセグメンテーション画像（図中斜線網掛けで示した部分）を重畳させて表示する場合を例示している。
セグメンテーション画像のみを表示させてもよいが、判定対象画像にセグメンテーション画像を重畳させることで、より分かりやすく見やすい画像とすることができる。

表示部１４に結果表示画面１４ａやセグメンテーション表示画面１４ｂを表示させることは必須ではないが、結果表示画面１４ａやセグメンテーション表示画面１４ｂを表示部１４に表示させてユーザー（例えば医師や技師等）に示すことによって、判定手段としてのクラス分類用の畳み込みニューラルネットワークの判定結果の確からしさを示すことができる。また、その後当該判定対象画像を写損として再撮影を行うか否かの最終的な判断を人が行う場合にも、有効な判断材料とすることができる。

判定手段としてのクラス分類用の畳み込みニューラルネットワークによる判定結果が判定対象画像を不良であるとするもので、その判定結果を表示部１４に表示させた場合や、判定手段としてのクラス分類用の畳み込みニューラルネットワークによる判定結果が判定対象画像を不良ではないとするものである場合（ステップＳ４；ＮＯ）には、制御部１１は、当該判定対象画像を有効（“ＯＫ”）とするか写損（“ＮＧ”）とするかについてユーザー（例えば医師や技師等）に確認を求め、“ＯＫ”又は“ＮＧ”の判断が入力されたか否かを判断する（ステップＳ６）。
確認を求める手法は特に限定されないが、例えば表示部１４に、ＯＫボタン（画像の正常確認ボタン）やＮＧボタン（画像の不良確認ボタン）、又はその両方を表示させて、いずれかのボタンを操作するようにユーザーに促すメッセージを表示させる。

ユーザーによりいずれのボタンも操作されない場合（ステップＳ６；ＮＯ）には、制御部１１は待機して“ＯＫ”又は“ＮＧ”の判断が入力されたか否かの判断を繰り返す。
他方、ユーザーによりいずれかのボタンが操作された場合（ステップＳ６；ＹＥＳ）には、制御部１１はさらに、ユーザーにより入力操作が判定対象画像を有効（“ＯＫ”）とするものであるか否かを判断し（ステップＳ７）、“ＯＫ”との判断が入力された場合（“ＯＫ”との判断を示す操作信号が入力された場合、ステップＳ７；ＹＥＳ）には、ＯＫフラグをＯＮとして（当該画像にフラグ“ＯＫ”を設定して、ステップＳ８）、処理を終了する。
また、“ＮＧ”との判断（判定対象画像を写損とする判断）が入力された場合（“ＮＧ”との判断を示す操作信号が入力された場合、ステップＳ７；ＮＯ）には、ＮＧフラグをＯＮとして（当該画像にフラグ“ＮＧ”を設定して、ステップＳ９）、処理を終了する。

なお、判定対象画像について“ＮＧ”との判断がされた場合（すなわち、画像にフラグ“ＮＧ”が設定された場合）には、当該判定対象画像の画像データを専用のディレクトリに移動させることとしてもよいし、当該画像データを消去することとしてもよい。
また、“ＯＫ”との判断は積極的に示されなくてもよい。例えば、ＮＧボタンのみが用意され、所定時間当該ＮＧボタンの入力操作が行われない場合には、“ＯＫ”と判断されたものとみなして、次の判定対象画像に対するポジショニング判定や、次の撮影処理等、他の処理に移行してもよい。

このような画像判定処理を行うことで、判定対象画像が診断画像とするのに適したポジショニングで撮影されたものであるか否かを正確に判定することが可能となる。

以上のように、本実施形態の画像処理装置１によれば、制御部１１が、被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得し、当該医用画像に含まれる解剖学的な構造物を領域抽出した抽出画像（セグメンテーション画像）を生成し、この抽出画像を画像変換して変換画像を生成し、抽出画像又は変換画像の少なくともいずれかに基づいて、機械学習により特徴量を算出して、この特徴量に関する学習結果に基づいて、医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを自動的に判定する。
このように、ポジショニングの適否を判定する前に、その判定対象となる部分を抽出（セグメンテーション）することにより、ポジショニング判定を効率的に行うことができる。
また、このようにクラス分類処理の前にセグメンテーションを行い、セグメンテーション画像から、機械学習（深層学習；Deep Learning）により特徴抽出及びクラス分類を行うことで、個別のケースに限定されずに適用することができ、また教師データが少ない場合でも効果的に、高い判別精度でポジショニングの適否を判定することができる。
そして、ポジショニング判定を機械学習を用いて自動的に行うことにより、目視しただけでは判断しづらいポジショニング判定（適切なポジショニングで撮影された、診断に適した医用画像であるか否かの判定）を高精度に行うことができる。
また機械学習を用いることにより、各種の条件で撮影された画像にもロバストに対応することが可能である。

また本実施形態では、制御部１１がセグメンテーション画像を生成するセグメンテーション手段として機能する場合にも、機械学習を用いる。
このため、高精度のセグメンテーションを行うことができ、ポジショニングの判定対象を的確に切り出すことが可能である。

また本実施形態では、セグメンテーション画像を生成する際に、画像全体から必要箇所を切り出すトリミング等の画像処理を施した処理画像を用いる。
これにより、セグメンテーション処理をより迅速・適切に行うことができる。

また本実施形態では、クラス分類用のニューラルネットワークを適用した結果得られる判定結果を結果表示画面１４ａとして表示部１４に表示させる。
このため、ユーザーがニューラルネットワークによる判定処理の確からしさを容易に確認することができる。

また本実施形態では、抽出画像であるセグメンテーション画像を表示部１４のセグメンテーション表示画面１４ｂに表示させる。
このため、ユーザーが判定対象画像の適否を判断しやすく、ニューラルネットワークによる判定処理の確からしさを容易に確認することができる。

また本実施形態では、クラス分類用のニューラルネットワークを適用した結果得られる判定結果は、２クラス以上に分類された分類結果である。
このため、少なくとも判定対象の医用画像が、再撮影が必要な写損であるか否かの分類結果を得ることができる。
また、本実施形態のように３クラス以上に分類した場合には、単なる画像の適否のみでなく、適否のレベル（程度）を示すことができる。

また本実施形態において、判定対象となる医用画像は膝側面の画像である。
膝側面の撮影では、放射線の入射角度や患者の対象部位の傾かせ方等によって写り方が大きく異なる。また、関節や骨が複雑に存在する部位であり、撮影された医用画像が写損にあたるか否かの判断が難しい。
この点、このような部位を撮影した画像でも、機械学習を用いたポジショニング判定を行うことで適切に写損であるか否かの判定を行うことができる。

また本実施形態のようにポジショニングの判定対象となる医用画像が膝側面の画像である場合には、膝側面の画像に現れる内側顆α、外側顆β、又は内側顆αと外側顆βとのずれ部分を、画像が写損にあたるか否かを判定する際のポイントとなる部分である「解剖学的な構造物」とする。
これにより、撮影方向や角度等様々な条件下で撮影された画像についても適切にポジショニング判定を行うことができる。

なお、以上本発明の実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

例えば、上記実施形態では、膝側面の画像がポジショニングの判定対象となる医用画像である場合を例示したが、ポジショニングの判定対象となる医用画像はこれに限定されない。
例えば、図１１（ａ）、図１１（ｂ）、図１１（ｃ）及び図１２（ａ）、図１２（ｂ）では、ポジショニングの判定対象となる医用画像が膝正面の画像である場合を例示している。
膝正面の画像についてポジショニングの判定を行う場合、膝蓋骨（図１１（ａ）において膝蓋骨ｂ）の位置や関節腔（図１１（ａ）において関節腔ｃ）の現れ方が重要である。
すなわち、膝蓋骨ｂが膝の真ん中に出ており、関節腔ｃがつぶれることなく明確に現れている場合に適切なポジショニングで撮影された画像であると判断される。
このため、判定対象が膝正面の画像の場合には、膝蓋骨ｂ及び関節腔ｃを、画像が写損にあたるか否かを判定する際のポイント（基準）となる部分である「解剖学的な構造物」とする。

なお、このように画像が写損にあたるか否かを判定する際のポイント（基準）となる部分である「解剖学的な構造物」が複数ある場合（図１１（ａ）に示す膝正面の画像の例では膝蓋骨ｂ及び関節腔ｃ）には、複数場箇所それぞれについてセグメンテーション処理を行い、その複数箇所のセグメンテーション結果に基づいて、クラス分類処理を行う。
例えば図１１（ｂ）は、膝蓋骨ｂのセグメンテーション画像の例であり、図１１（ｃ）は、関節腔ｃのセグメンテーション画像の例である。

この場合、クラス分類用のニューラルネットワークも各構造物（例えば膝蓋骨ｂ及び関節腔ｃ）について構築し、それぞれについてクラス分類処理を行う。そして、各構造物についてのクラス分類処理の結果に基づいて、制御部１１が、当該判定対象画像について写損とするか否か（診断画像としての適否）の判断を行う。

膝正面の画像の場合には、膝部分を真正面から撮影することが好ましく、前述のように、膝蓋骨ｂが膝の正面に位置して周りの骨からはみ出さない位置に配置され、関節腔ｃ（膝の上の骨と下の骨との間の関節）がつぶれずに明確に現れている場合に、適切なポジショニングで撮影された診断に適した画像であると判断される。
例えば図１２（ａ）は、適切なポジショニングで撮影されたと判断される画像の例である。これに対して図１２（ｂ）は、膝蓋骨ｂが膝の正面からずれて周囲の骨の背後からはみ出して見えており、関節腔ｃの一部がつぶれてしまっており、不適切なポジショニングで撮影されたものと判断される画像の例である。この場合には、写損として再撮影が必要となる。

なお、本発明の画像判定装置、画像判定方法及びプログラムを適用可能な判定対象画像は、膝側面や膝正面の画像に限定されない。例えば胸部、腹部等の上半身の画像、肩や腕の画像等、人体各部の撮影画像（医用画像）について適用可能である。
各画像については、それぞれ各部位に特化した「解剖学的な構造物」（当該画像が写損にあたるか否かを判定する際のポイント（基準）となる部分）が設定され、それぞれについてセグメンテーション処理及びクラス分類処理を行う。
これにより、各部位の画像について適切なポジショニング判定を行うことができる。

また、本実施形態では、画像判定装置としての画像処理装置１が、医用画像が診断に適したポジショニングで撮影されたものであるか否かを判定する場合について説明したが、画像処理装置１による判定はこれに限定されない。
画像処理装置１は、医用画像が診断に適したものであるかを判定する際の基準となる部分（解剖学的な構造物）をセグメンテーション処理によって領域抽出し、抽出された抽出画像（セグメンテーション画像）について機械学習の手法を用いてクラス分類することで画像の良否・適否を判定するものであればよく、ポジショニングの適否以外の事項を考慮して画像判定を行うものでもよい。

また、セグメンテーション処理及びクラス分類処理で用いられる畳み込みニューラルネットワークの構成は上記実施形態で示したものに例示したものに限定されない。
例えば特徴抽出部においてはフィルターの数だけ特徴マップが出力されるが、この特徴マップ１つに対して１つのクラスを対応させて分類するGlobal Average Poolingを用いてもよい。この手法では分類部において全結合層を用いずにクラス分類が行われる。

１ 画像処理装置
１１ 制御部
１２ 記憶部
１２ａ，ｂ 教師データ群
１３ 操作部
１４ 表示部
１４ａ 結果表示画面
１４ｂ セグメンテーション表示画面

Claims (10)

1. 被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段と、
   前記医用画像に含まれる解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段と、
   前記抽出画像を画像変換して変換画像を生成する画像変換手段と、
   前記抽出画像又は前記変換画像の少なくともいずれかに基づいて、機械学習により特徴量を算出する特徴量抽出手段と、
   前記特徴量に関する学習結果に基づいて、前記医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを自動的に判定する判定手段と、
   を備えたことを特徴とする画像判定装置。
2. 前記セグメンテーション手段は、機械学習を用いて前記抽出画像を生成するものであることを特徴とする請求項１に記載の画像判定装置。
3. 前記画像取得手段により取得された前記画像データに画像処理を施して処理画像を生成する画像処理手段を備え、
   前記セグメンテーション手段は、前記処理画像を用いて前記抽出画像を生成することを特徴とする請求項１又は請求項２に記載の画像判定装置。
4. 前記判定手段の判定結果を表示する結果表示手段を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の画像判定装置。
5. 前記抽出画像を表示する画像表示手段を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の画像判定装置。
6. 前記判定手段の判定結果は、２クラス以上に分類された分類結果であることを特徴とする請求項１から請求項５のいずれか一項に記載の画像判定装置。
7. 前記医用画像は膝側面の画像であることを特徴とする請求項１から請求項６のいずれか一項に記載の画像判定装置。
8. 前記解剖学的な構造物は膝側面の画像に現れる内側顆、外側顆、又は内側顆と外側顆とのずれ部分であることを特徴とする請求項１から請求項７のいずれか一項に記載の画像判定装置。
9. 診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得工程と、
   前記医用画像から解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション工程と、
   前記抽出画像と前記医用画像の撮影時におけるポジショニングの良否に関するクラスとを対応付けて教師データとする教師データ準備工程と、
   前記教師データ準備工程において用意された複数の前記教師データについて、畳み込みニューラルネットワークで学習し、前記畳み込みニューラルネットワークのパラメーターを設定するパラメーター設定工程と、
   被験者の診断対象領域を含む部位を放射線撮影する実撮影により取得された前記医用画像の画像データを判定対象とし、
   前記セグメンテーション工程において、前記実撮影において取得された前記医用画像から抽出画像を領域抽出して、当該画像データを前記パラメーター設定工程において設定されたパラメーターを有する前記畳み込みニューラルネットワークに入力し、前記判定対象の前記医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを判定する判定工程と、
   を含むことを特徴とする画像判定方法。
10. コンピューターを、
    被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段、
    前記医用画像から解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段、
    前記抽出画像を画像変換して変換画像を生成する画像変換手段、
    前記抽出画像又は前記変換画像の少なくともいずれかに基づいて、機械学習により特徴量を算出する特徴量抽出手段、
    前記特徴量に関する学習結果に基づいて、前記医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを自動的に判定する判定手段、
    として機能させることを特徴とするプログラム。
    

Images