JP2022140050A - 推定装置、方法およびプログラム - Google Patents

推定装置、方法およびプログラム Download PDF

Info

Publication number
JP2022140050A
JP2022140050A JP2021040686A JP2021040686A JP2022140050A JP 2022140050 A JP2022140050 A JP 2022140050A JP 2021040686 A JP2021040686 A JP 2021040686A JP 2021040686 A JP2021040686 A JP 2021040686A JP 2022140050 A JP2022140050 A JP 2022140050A
Authority
JP
Japan
Prior art keywords
image
bone
bone density
subject
dxa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021040686A
Other languages
English (en)
Inventor
伴子 瀧
Tomoko Taki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021040686A priority Critical patent/JP2022140050A/ja
Priority to US17/591,616 priority patent/US20220287665A1/en
Priority to CN202210213756.9A priority patent/CN115067976A/zh
Priority to EP22161114.8A priority patent/EP4056120B1/en
Publication of JP2022140050A publication Critical patent/JP2022140050A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/482Diagnostic techniques involving multiple energy imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/505Clinical applications involving diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/483Diagnostic techniques involving scattered radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7792Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/033Recognition of patterns in medical or anatomical images of skeletal patterns

Abstract

Figure 2022140050000001
【課題】推定装置、方法およびプログラムにおいて、運動器の疾患を高精度で予測できるようにする。
【解決手段】少なくとも1つのプロセッサを備え、プロセッサは、骨部を含む被写体を単純撮影することにより取得した単純放射線画像または被写体をDXA法により撮影することにより取得したDXA走査画像から、骨部の骨密度に関連する推定結果を導出する学習済みニューラルネットワークとして機能する。学習済みニューラルネットワークは、被写体の3次元のCT画像を合成することにより導出された被写体を表す合成2次元画像と被写体の骨密度に関連する情報とを教師データとして用いて学習されてなる。
【選択図】図3

Description

本開示は、推定装置、方法およびプログラムに関する。
骨粗鬆症等の骨系疾患において、骨密度の診断に用いられる代表的な骨塩定量方法の1つにDXA法(Dual X-ray Absorptiometry)が知られている。DXA法は、人体に入射し透過する放射線が、人体を構成する物質(例えば骨)に依存する減弱係数μ(cm2/g)とその密度ρ(g/cm3)および厚さt(cm)によって特徴付けされる減弱を受けることを利用し、2種類のエネルギーの放射線で撮影して得られた放射線画像のピクセル値から、骨塩量を算出する手法である。
また、被写体を撮影することにより取得された放射線画像を用いて、骨密度を評価するための各種手法が提案されている。例えば特許文献1,2には、ニューラルネットワークを学習することにより構築された学習済みニューラルネットワークを用いることにより、骨が写っている画像から骨密度に関する情報を推定する手法が提案されている。特許文献1に記載された手法においては、単純撮影により取得された骨が写っている画像および骨密度を教師データとしてニューラルネットワークの学習が行われる。また、特許文献1に記載された手法においては、単純撮影により取得された骨が写っている画像、骨密度および骨密度に関連する情報(例えば年齢、性別、体重、飲酒習慣、喫煙習慣、骨折歴、体脂肪率および皮下脂肪率等)を教師データとして用いて、ニューラルネットワークの学習が行われる。
なお、単純撮影とは、被写体に1回放射線を照射して、被写体の透過像である1枚の2次元画像を取得する撮影方法である。以降の説明においては、単純撮影により取得した放射線画像を単純放射線画像と称するものとする。
米国特許第6064716号明細書 国際公開第2020/054738号
しかしながら、さらに高精度で骨密度を推定することが望まれている。
本開示は上記事情に鑑みなされたものであり、骨密度を高精度で推定できるようにすることを目的とする。
本開示による推定装置は、少なくとも1つのプロセッサを備え、
プロセッサは、骨部を含む被写体を単純撮影することにより取得した単純放射線画像または被写体をDXA法により撮影することにより取得したDXA走査画像から骨部の骨密度に関連する推定結果を導出する学習済みニューラルネットワークとして機能し、
学習済みニューラルネットワークは、被写体の3次元のCT画像を合成することにより導出された被写体を表す合成2次元画像と被写体の骨密度に関連する情報とを教師データとして用いて学習されてなる。
なお、本開示による推定装置においては、合成2次元画像は、3次元空間上の各位置における組成についての放射線の減弱係数を導出し、減弱係数に基づいてあらかじめ定められた方向にCT画像を投影することにより導出されるものであってもよい。
また、本開示による推定装置においては、骨密度に関連する情報は、CT画像における骨部領域を特定し、骨部領域における放射線の減弱係数を導出し、放射線の減弱係数および骨部領域における質量減弱係数に基づいて導出された、骨部領域の各位置における骨密度に基づいて導出されるものであってもよい。
また、本開示による推定装置においては、骨密度に関連する情報は、骨部領域の各位置における骨密度をあらかじめ定められた方向に投影することにより導出されるものであってもよい。
また、本開示による推定装置においては、骨密度に関連する情報は、単位面積当たりの骨密度、単位体積当たりの骨密度、被写体の骨折リスクの評価値、骨部の治療後の治癒状態を表す情報の少なくとも1つを含むものであってもよい。
また、本開示による推定装置においては、前記プロセッサは、前記DXA走査画像から前記骨部の骨密度に関連する推定結果を導出する学習済みニューラルネットワークとして機能し、
前記学習済みニューラルネットワークは、前記合成2次元画像に解像度を低下させる処理を施した低解像度合成2次元画像と前記被写体の骨密度に関連する情報とを教師データとして用いて学習されてなるものであってもよい。
また、本開示による推定装置においては、低解像度合成2次元画像は、前記合成2次元画像の隣接する複数画素の画素値の平均値を前記隣接する複数画素の画素値とする画像であり、前記隣接する複数画素のサイズは前記DXA走査画像の1つの画素サイズに対応するものであってもよい。
また、本開示による推定装置においては、低解像度合成2次元画像は、前記合成2次元画像の一方向に対して移動平均処理を施された画像であり、前記一方向は前記DXA走査画像の走査方向に対応するものであってもよい。
また、本開示による推定装置においては、低解像度合成2次元画像は、前記合成2次元画像の隣接する複数画素の画素値の平均値を、前記隣接する複数画素の画素値とする第1の低解像度画像を生成し、前記第1の低解像度画像に対して一方向に移動平均処理をされて生成された画像であり、前記隣接する複数画素のサイズは前記DXA走査画像の1つの画素サイズに対応し、前記一方向は前記DXA走査画像の走査方向に対応するものであってもよい。
本開示による推定方法は、骨部を含む被写体を単純撮影することにより取得した単純放射線画像または被写体をDXA法により撮影することにより取得したDXA走査画像から骨部の骨密度に関連する推定結果を導出する学習済みニューラルネットワークを用いて、単純放射線画像またはDXA走査画像から骨密度に関連する推定結果を導出する推定方法であって、
学習済みニューラルネットワークは、被写体の3次元のCT画像を合成することにより導出された被写体を表す合成2次元画像と前記被写体の骨密度に関連する情報とを教師データとして用いて学習されてなる。
なお、本開示による推定方法を、コンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、骨密度を高精度で推定できる。
本開示の第1の実施形態による推定装置を適用した放射線画像撮影システムの構成を示す概略ブロック図 第1の実施形態による推定装置の概略構成を示す図 第1の実施形態による推定装置の機能的な構成を示す図 本実施形態において用いられるニューラルネットワークの概略構成を示す図 教師データを示す図 第1の実施形態による情報導出装置の概略構成を示す図 第1の実施形態による情報導出装置の機能的な構成を示す図 合成2次元画像の導出を説明するための図 合成2次元画像の導出を説明するための図 CT値を説明するための図 放射線エネルギーと質量減弱係数との関係を示す図 ニューラルネットワークの学習を説明するための図 学習済みニューラルネットワークが行う処理の概念図 推定結果の表示画面を示す図 第1の実施形態において行われる学習処理のフローチャート 第1の実施形態において行われる推定処理のフローチャート 教師データの他の例を示す図 第2の実施形態による情報導出装置の機能的な構成を示す図 統計値と10年以内の骨折発症確率との関係を示すグラフ 教師データの他の例を示す図 第3の実施形態による情報導出装置の機能的な構成を示す図 被写体の骨部に埋め込まれた人工骨の一例を示す図 術後の各段階における、大腿骨内部におけるステムからの距離と骨塩量との関係の一例を示すグラフ 人間の骨の断面構造の一例を示す断面図 教師データの他の例を示す図 推定結果の表示画面の他の例を示す図
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の第1の実施形態による推定装置を適用した放射線画像撮影システムの構成を示す概略ブロック図である。図1に示すように、第1の実施形態による放射線画像撮影システムは、撮影装置1と、CT装置7と、画像保存システム9と、第1の実施形態による推定装置10と、情報導出装置50とを備える。撮影装置1、CT(Computed Tomography)装置7、推定装置10および情報導出装置50は、不図示のネットワークを介して画像保存システム9と接続されている。
撮影装置1は、放射線検出器5に、放射線源3から発せられ、被写体Hを透過したX線等の放射線を照射することにより、被写体Hの単純放射線画像G0を取得することが可能な撮影装置である。取得された単純放射線画像G0は、推定装置10に入力される。単純放射線画像G0は例えば被写体Hの股間周辺を含む正面像である。
放射線検出器5は、放射線画像の記録および読み出しを繰り返して行うことができるものであり、放射線の照射を直接受けて電荷を発生する、いわゆる直接型の放射線検出器を用いてもよいし、放射線を一旦可視光に変換し、その可視光を電荷信号に変換する、いわゆる間接型の放射線検出器を用いるようにしてもよい。また、放射線画像信号の読出方式としては、TFT(thin film transistor)スイッチをオン・オフさせることによって放射線画像信号が読み出される、いわゆるTFT読出方式のもの、または読取り光を照射することによって放射線画像信号が読み出される、いわゆる光読出方式のものを用いることが望ましいが、これに限らずその他のものを用いるようにしてもよい。
CT装置7は、被写体Hにおける複数の断層面を表す複数の断層画像を3次元のCT画像V0として取得する。CT画像における各画素(ボクセル)のCT値は、人体を構成する組成における放射線の吸収率を数値化したものである。CT値については後述する。
画像保存システム9は、撮影装置1により取得された放射線画像の画像データおよびCT装置7により取得されたCT画像の画像データを保存するシステムである。画像保存システム9は、保存している放射線画像およびCT画像から、推定装置10および情報導出装置50からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム9の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。なお、本実施形態においては、画像保存システム9には、後述するニューラルネットワークを学習するための多数の教師データが保存されている。
次いで、第1の実施形態に係る推定装置について説明する。まず、図2を参照して、第1の実施形態に係る推定装置のハードウェア構成を説明する。図2に示すように、推定装置10は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を備える。また、推定装置10は、液晶ディスプレイ等のディスプレイ14、キーボードおよびマウス等の入力デバイス15、並びに不図示のネットワークに接続されるネットワークI/F(InterFace)17を備える。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、推定装置10にインストールされた推定プログラム12Aおよび学習プログラム12Bが記憶される。CPU11は、ストレージ13から推定プログラム12Aおよび学習プログラム12Bを読み出してメモリ16に展開し、展開した推定プログラム12Aおよび学習プログラム12Bを実行する。
なお、推定プログラム12Aおよび学習プログラム12Bは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて推定装置10を構成するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体から推定装置10を構成するコンピュータにインストールされる。
次いで、第1の実施形態による推定装置の機能的な構成を説明する。図3は、第1の実施形態による推定装置の機能的な構成を示す図である。図3に示すように、推定装置10は、画像取得部21、情報取得部22、推定部23、学習部24および表示制御部25を備える。そして、CPU11は、推定プログラム12Aを実行することにより、画像取得部21、情報取得部22、推定部23および表示制御部25として機能する。また、CPU11は、学習プログラム12Bを実行することにより、学習部24として機能する。
画像取得部21は、撮影装置1に被写体Hの単純撮影を行わせることにより、放射線検出器5から、例えば被写体Hの股間付近の正面像である単純放射線画像G0を取得する。単純放射線画像G0の取得に際しては、撮影線量、線質、菅電圧、放射線源3と放射線検出器5の表面との距離であるSID(Source Image receptor Distance)、放射線源3と被写体Hの表面との距離であるSOD(Source Object Distance)、および散乱線除去グリッドの有無等の撮影条件が設定される。
撮影条件は、操作者による入力デバイス15からの入力により設定すればよい。設定された撮影条件は、ストレージ13に記憶される。単純放射線画像G0および撮影条件は画像保存システム9にも送信されて保存される。
なお、本実施形態においては、推定プログラム12Aとは別個のプログラムにより単純放射線画像G0を取得してストレージ13に記憶するようにしてもよい。この場合、画像取得部21は、ストレージ13に記憶された単純放射線画像G0を処理のためにストレージ13から読み出すことにより取得する。
情報取得部22は、画像保存システム9からネットワークI/F17を介して、後述するニューラルネットワークを学習するための教師データを取得する。
推定部23は、単純放射線画像G0から被写体Hに含まれる骨部の骨密度に関連する推定結果を導出する。本実施形態においては、骨密度に関連する推定結果として単純放射線画像G0に含まれる骨部領域のうちの対象骨についての骨密度の推定結果を導出するものとする。このために、推定部23は、単純放射線画像G0が入力されると骨密度を出力する学習済みニューラルネットワーク23Aを用いて骨密度に関連する推定結果を導出する。
学習部24は、教師データを用いてニューラルネットワークを機械学習することにより、学習済みニューラルネットワーク23Aを構築する。ニューラルネットワークとしては、単純パーセプトロン、多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、および確率的ニューラルネットワーク等が挙げられる。本実施形態においては、ニューラルネットワークとして畳み込みニューラルネットワークを用いるものとする。
図4は、本実施形態において用いられるニューラルネットワークを示す図である。図4に示すように、ニューラルネットワーク30は、入力層31、中間層32および出力層33を備える。中間層32は、例えば、複数の畳み込み層35、複数のプーリング層36および全結合層37を備える。ニューラルネットワーク30では、出力層33の前段に全結合層37が存在している。そして、ニューラルネットワーク30では、入力層31と全結合層37との間において、畳み込み層35とプーリング層36とが交互に配置されている。
なお、ニューラルネットワーク30の構成は図4の例に限定されるものではない。例えば、ニューラルネットワーク30は、入力層31と全結合層37との間に、1つの畳み込み層35と1つのプーリング層36とを備えるものであってもよい。
図5はニューラルネットワークの学習に使用する教師データの例を示す図である。図5に示すように、教師データ40は、学習用データ41と正解データ42とからなる。本実施形態においては、骨密度の推定結果を得るために学習済みニューラルネットワーク23Aに入力されるデータは単純放射線画像G0であるが、学習用データ41は、CT画像V0を合成することにより導出された被写体Hを表す合成2次元画像C0を含む。
正解データ42は、学習用データ41を取得した被写体の対象骨(すなわち大腿骨)についての骨密度である。なお、本実施形態においては、2次元の単純放射線画像G0から単位面積当たりの骨密度を推定するものであるため、骨密度の単位は(g/cm2)である。学習用データ41である合成2次元画像C0および正解データ42である骨密度は、情報導出装置50により導出される。なお、正解データ42となる骨密度が被写体の骨部の骨密度に関連する情報の一例である。以下、情報導出装置50について説明する。
図6は第1の実施形態による情報導出装置の構成を示す概略ブロック図である。図6に示すように第1の実施形態による情報導出装置50は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、CPU51、不揮発性のストレージ53、および一時記憶領域としてのメモリ56を含む。また、情報導出装置50は、液晶ディスプレイ等のディスプレイ54、キーボードおよびマウス等のポインティングデバイス等からなる入力デバイス55、並びに不図示のネットワークに接続されるネットワークI/F57を含む。CPU51、ストレージ53、ディスプレイ54、入力デバイス55、メモリ56およびネットワークI/F57は、バス58に接続される。
ストレージ53は、ストレージ13と同様に、HDD、SSD、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ53には、情報導出プログラム52が記憶される。CPU51は、ストレージ53から情報導出プログラム52を読み出してメモリ56に展開し、展開した情報導出プログラム52を実行する。
次いで、第1の実施形態による情報導出装置の機能的な構成を説明する。図7は、第1の実施形態による情報導出装置の機能的な構成を示す図である。図7に示すように第1の実施形態による情報導出装置50は、画像取得部61、合成部62および骨密度導出部63を備える。そして、CPU51が情報導出プログラム52を実行することにより、CPU51は、画像取得部61、合成部62および骨密度導出部63として機能する。
画像取得部61は、学習用データ41を導出するためのCT画像V0を画像保存システム9から取得する。なお、画像取得部61は、推定装置10の画像取得部21と同様にCT装置7に被写体Hの撮影を行わせることにより、CT画像V0を取得するものであってもよい。
合成部62は、CT画像V0を合成することにより被写体Hを表す合成2次元画像C0を導出する。図8は合成2次元画像C0の導出を説明するための図である。なお、図8においては説明のために3次元のCT画像V0を2次元で示している。図8に示すようにCT画像V0により表される3次元空間に被写体Hが含まれている。被写体Hは、骨部、脂肪、筋肉および内臓の複数の組成からなる。
ここで、CT画像V0の各画素におけるCT値V0(x,y,z)は、その画素における組成の減弱係数μiと水の減弱係数μwとを用いて、下記の式(1)により表すことができる。(x,y,z)はCT画像V0の画素位置を表す座標である。なお、以降の説明において、減弱係数は特に断りがない限り線源弱係数を意味するものとする。減弱係数は吸収または散乱等によって放射線が減弱する程度(割合)を表す。減弱係数は、放射線が透過する構造物の具体的な組成(密度等)および厚さ(質量)によって異なる。
V0(x,y,z)=(μi-μw)/μw×1000 (1)
水の減弱係数μwは既知である。したがって、式(1)をμiについて解くことにより、下記の式(2)に示すように各組成の減弱係数μiを算出することができる。
μi=V0(x,y,z)×μw/1000+μw (2)
合成部62は、図8に示すように、被写体Hに照射線量I0の放射線を仮想的に照射し、仮想的な平面64に設置された放射線検出器(不図示)により被写体Hを透過した放射線を仮想的に検出した合成2次元画像C0を導出する。なお、仮想的な放射線の照射線量I0および放射線エネルギーは、あらかじめ定められた撮影条件に応じて設定される。具体的には、入射線量I0は、管電圧、mAs値およびSID等の撮影条件に対応したテーブルを用意しておき、このテーブルを参照して設定すればよい。また、放射線エネルギーは管電圧に応じたテーブルを用意しておき、このテーブルを参照して設定すればよい。この際、合成2次元画像C0の各画素についての到達線量I1(x,y)は、被写体H内の1以上の組成を透過する。このため、到達線量I1(x,y)は、照射線量I0の放射線が透過する1以上の組成の減弱係数μiを用いて下記の式(3)により導出することができる。なお、到達線量I1(x,y)が合成2次元画像C0の各画素の画素値となる。
I1(x,y)=I0×exp(-∫μi・dt) (3)
なお、照射する放射線源を面光源と仮定した場合、式(3)に用いる減弱係数μiは図8に示す上下方向に並ぶ各画素のCT値から式(2)により導出したものを用いればよい。また、照射する光源の面光源を点光源と仮定した場合、図9に示すように、点光源と仮想的な平面64上の各位置との幾何学的な位置関係に基づいて、各画素に到達する放射線の経路上にある画素を特定し、特定した画素のCT値から式(2)により導出した減弱係数μiを用いればよい。
骨密度導出部63は、CT画像V0を用いて、合成2次元画像C0の画素毎に被写体Hの骨密度を導出する。ここで、CT値について説明する。図10はCT値を説明するための図である。CT値は、人体におけるX線の吸収率を数値化したものである。具体的には、図10に示すように、水は0、空気のCT値は-1000(単位はHU)というように、人体を構成する組成に応じてCT値が定められている。
骨密度導出部63は、まずCT画像V0のCT値に基づいてCT画像V0における骨部領域を特定する。具体的にはしきい値処理によりCT値が100~1000となる画素からなる領域を骨部領域に特定する。なお、しきい値処理に代えて、CT画像V0から骨部領域を検出するように学習がなされた学習済みニューラルネットワークを用いて骨部領域を特定してもよい。また、CT画像V0をディスプレイ54に表示し、表示したCT画像V0においてマニュアル操作による骨部領域の指定を受け付けることにより、骨部領域を特定するようにしてもよい。
ここで、CT画像の各画素における組成の単位体積当たりの密度ρ[g/cm3]は、組成の減弱係数μi[1/cm」とその組成の質量減弱係数μe「cm2/g]とから下記の式(4)により導出することができる。
ρ=μi/μe (4)
図11は人体の各種組成における放射線エネルギーと質量減弱係数との関係を示す図である。図11には、骨部、筋肉等および脂肪についての放射線エネルギーと質量減弱係数との関係を示している。なお、筋肉等とは筋肉、血液および水を意味する。本実施形態においては、図11に示す放射線エネルギーと質量減弱係数との関係がテーブルとしてストレージ53に記憶されている。本実施形態においては、骨部の質量減弱係数が必要であることから、仮想的な放射線エネルギーに基づいて図11に示すテーブルにおける骨部についての関係を参照して、骨部の質量減弱係数を取得する。また、骨部領域の各画素における減弱係数μbを上記式(2)により導出する。そして、上記式(4)により、CT画像V0に含まれる骨部領域の各画素における単位体積当たりの骨密度ρを導出する。
なお、CT画像V0は3次元画像であるため、上記式(4)により導出される単位体積当たりの骨密度の単位は[g/cm3]である。本実施形態においては、骨密度導出部63は、合成2次元画像C0の各画素についての単位面積当たりの骨密度を導出する。このため、骨密度導出部63は、上記式(4)により導出した単位体積当たりの骨密度ρを、合成2次元画像C0を導出した際と同様に仮想的な平面64に投影することにより、合成2次元画像C0の各画素についての単位面積当たりの骨密度B[g/cm2]を導出する。
なお、投影の際には、仮想的な放射線源から合成2次元画像C0の各画素に到達する経路上にあるCT画像V0の各画素の骨密度の代表値を導出すればよい。代表値としては、積算値、平均値、最大値、中央値および最小値等を用いることができる。さらに、本実施形態においては、骨密度導出部63は、対象骨についてのみ骨密度の代表値を導出すればよい。例えば、対象骨が大腿骨である場合、骨密度導出部63は、合成2次元画像C0における大腿骨の領域における各画素の骨密度の代表値を導出することにより、大腿骨の領域の骨密度の代表値を導出する。代表値としては、平均値、中央値、最小値および最大値等を用いることができる。本実施形態においては、対象骨である大腿骨の骨密度の代表値を正解データ42として用いる。
正解データ42として用いられる骨密度は、学習用データ41を取得した時期と同一時期に導出され、画像保存システム9に送信される。画像保存システム9においては、学習用データ41と正解データ42とが対応付けられて教師データ40として保存される。なお、学習のロバスト性向上のために、同一の画像に対して拡大縮小、コントラストの変更、移動、面内の回転、反転およびノイズ付与等の少なくとも1つを行った画像を学習用データ41として含む教師データ40を追加で作成して保存するようにしてもよい。
推定装置10に戻り、学習部24は、多数の教師データ40を用いてニューラルネットワークを学習する。図12は、ニューラルネットワーク30の学習を説明するための図である。ニューラルネットワーク30の学習を行うに際し、学習部24は、ニューラルネットワーク30の入力層31に学習用データ41すなわち合成2次元画像C0を入力する。そして、学習部24は、ニューラルネットワーク30の出力層33から、対象骨の骨密度を出力データ47として出力させる。そして、学習部24は、出力データ47と正解データ42との相違を損失L0として導出する。
学習部24は、損失L0に基づいてニューラルネットワーク30を学習する。具体的には、学習部24は、損失L0を小さくするように、畳み込み層35におけるカーネルの係数、各層間の結合の重み、および全結合層37における結合の重み等(以下パラメータ48とする)を調整する。パラメータ48の調整方法としては、例えば、誤差逆伝播法を用いることができる。学習部24は、損失L0が予め定められたしきい値以下となるまでパラメータ48の調整を繰り返す。これによって、単純放射線画像G0が入力された場合に、対象骨の骨密度を出力するようにパラメータ48が調整されて、学習済みニューラルネットワーク23Aが構築される。構築された学習済みニューラルネットワーク23Aはストレージ13に記憶される。
図13は学習済みニューラルネットワーク23Aが行う処理の概念図である。図13に示すように、上記のようにして構築された学習済みニューラルネットワーク23Aに、患者の単純放射線画像G0が入力されると、学習済みニューラルネットワーク23Aは入力された単純放射線画像G0に含まれる対象骨(すなわち大腿骨)についての骨密度を出力するようになる。
表示制御部25は、推定部23が推定した骨密度の推定結果をディスプレイ14に表示する。図14は推定結果の表示画面を示す図である。図14に示すように表示画面70は、画像表示領域71と骨密度表示領域72とを有する。画像表示領域71には被写体Hの単純放射線画像G0が表示される。また、骨密度表示領域72には、推定部23が推定した骨密度における大腿骨の関節周辺の骨密度の代表値が表示される。
次いで、第1の実施形態において行われる処理について説明する。図15は第1の実施形態において行われる学習処理を示すフローチャートである。まず、情報取得部22が画像保存システム9から教師データ40を取得し(ステップST1)、学習部24が、教師データ40に含まれる学習用データ41をニューラルネットワーク30に入力して骨密度を出力させ、正解データ42との相違に基づく損失L0を用いてニューラルネットワーク30を学習し(ステップST2)、ステップST1にリターンする。そして、学習部24は、損失L0が予め定められたしきい値となるまで、ステップST1,ST2の処理を繰り返し、学習処理を終了する。なお、学習部24は、学習を予め定められた回数繰り返すことにより、学習処理を終了するものであってもよい。これにより、学習部24は、学習済みニューラルネットワーク23Aを構築する。
次いで、第1の実施形態における推定処理について説明する。図16は第1の実施形態における推定処理を示すフローチャートである。なお、単純放射線画像G0は、撮影により取得されてストレージ13に記憶されているものとする。処理を開始する指示が入力デバイス15から入力されると、画像取得部21が、単純放射線画像G0をストレージ13から取得する(ステップST11)。次いで、推定部23が単純放射線画像G0から骨密度に関連する推定結果を導出する(ステップST12)。そして、表示制御部25が、推定部23が導出した骨密度に関連する推定結果を単純放射線画像G0と併せてディスプレイ14に表示し(ステップST13)、処理を終了する。
このように、本実施形態においては、CT画像V0から導出した合成2次元画像C0およびCT画像V0から導出した骨密度を教師データとして学習がなされることにより構築された学習済みニューラルネットワーク23Aを用いて、単純放射線画像G0に含まれる被写体Hの骨密度に関連する推定結果を導出するようにした。ここで、本実施形態においては、ニューラルネットワークの学習にCT画像V0から導出した合成2次元画像C0とCT画像V0から導出した骨密度を用いている。このため、1つの放射線画像と放射線画像から導出した骨密度に関連する情報とを教師データとして用いる場合と比較して、学習済みニューラルネットワーク23Aは、単純放射線画像G0からより精度よく骨密度に関連する推定結果を導出可能なものとなっている。したがって、本実施形態によればより精度よく骨密度に関する推定結果を導出することができる。
なお、上記第1の実施形態においては、正解データ42として単位面積当たりの骨密度を導出しているが、これに限定されるものではない。上記第1の実施形態において単位面積当たりの骨密度を導出過程において得られる単体積当たりの骨密度を正解データとして導出してもよい。単位体積当たりの骨密度はCT画像V0の対象骨の領域内の画素における骨密度の代表値を用いればよい。代表値としては、平均値、中央値、最小値および最大値等を用いることができる。この場合の、教師データを図17に示す。図17に示すように、教師データ40Aは、合成2次元画像C0を含む学習用データ41と、単位体積当たりの骨密度である正解データ42Aとからなる。
図17に示す教師データ40Aを用いてニューラルネットワークを学習することにより、単純放射線画像G0が入力されると単位体積当たりの骨密度を骨密度に関連する推定結果として出力する学習済みニューラルネットワーク23Aを構築することができる。
また、上記各実施形態においては、骨密度に関連する情報として単純放射線画像G0の単位面積当たりまたは単位体積当たりの骨密度を推定しているが、これに限定されるものではない。例えば、骨折リスクの評価値を骨密度に関連する推定結果として導出するようにしてもよい。以下、これを第2の実施形態として説明する。
図18は第2の実施形態による情報導出装置の機能的な構成を示す図である。なお、図18において図7と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。本開示の第2の実施形態においては、骨密度の導出に代えて、骨折リスクの評価値を正解データ42として導出するようにしたものである。このために、図18に示すように、第2の実施形態による情報導出装置50Aは、第1の実施形態による情報導出装置50に対して筋肉密度導出部65、統計値導出部66および評価値導出部67をさらに備える。
筋肉密度導出部65は、CT画像V0におけるCT値に基づいて筋肉領域を特定する。具体的にはしきい値処理によりCT値が60~70となる画素からなる領域を筋肉領域に特定する。なお、しきい値処理に代えて、CT画像V0から筋肉領域を検出するように学習がなされた学習済みニューラルネットワークを用いて筋肉領域を検出してもよい。また、CT画像V0をディスプレイ54に表示し、表示したCT画像V0においてマニュアル操作による筋肉領域の指定を受け付けることにより筋肉領域を特定するようにしてもよい。
さらに筋肉密度導出部65は、上記式(2)により筋肉の減弱係数μmを算出する。そして、図11に示すテーブルを参照して、筋肉の質量減弱係数を取得する。そして、上記式(4)により、単位体積当たりの筋肉の密度ρmを導出する。
統計値導出部66は、骨密度導出部63が導出した骨密度および筋肉密度導出部65が導出した筋肉密度に基づいて、被写体Hに関する統計値を求める。統計値は、後述するように、骨折リスクを評価するための骨折リスク評価値の算出に用いられる。具体的には、統計値導出部66は、下記式(5)に示すように、骨密度の空間的な分布に関する骨密度分布指標値Bd、および、筋肉量に関する空間的な分布に関する筋肉量分布指標値Mdに基づいて、統計値Qを導出する。
Q=W1×Bd+W2×Md (5)
式(5)のW1、W2は、それぞれ重み係数であり、大量の骨密度分布指標値および筋肉密度分布指標値を集めて回帰分析に従って定める。
骨密度分布指標値は、骨密度の値がどのように広がっているかを表す値である。骨密度分布指標値としては、例えば、骨密度の単位面積または単位体積当たりの値、平均値、中間値、最大値、および最小値等がある。筋肉密度分布指標値は、筋肉密度の値がどのように広がっているかを表す値である。筋肉密度分布指標値としては、例えば、筋肉密度の単位面積または単位体積当たりの値、平均値、中間値、最大値、および最小値等がある。
また、統計値導出部66は、骨密度および筋肉密度に加えて、被写体の身長、体重、年齢、および骨折歴等のうち少なくともいずれかに基づいて、統計値Qを求めるようにしてもよい。例えば、骨密度、筋肉密度、および年齢に基づいて統計値を求める場合には、骨密度分布指標値Bd、筋肉量分布指標値Md、および年齢Yに基づいて、下記式(6)により、統計値Qが算出される。
Q=W1×Bd+W2×Md+W3×Y (6)
式(6)のW1、W2、W3は、それぞれ重み係数であり、骨密度分布指標値および筋肉密度分布指標値とそれら指標値に対応する被写体の年齢に関するデータを大量に集め、それらデータに基づく回帰分析に従って、重み係数W1、W2、W3を定める。なお、年齢の他、被写体の身長、体重、および骨折歴等を加えて統計値を求める場合においても、重み係数を掛け合わせて加算することが好ましい。
評価値導出部67は、統計値Qに基づいて、被写体Hの骨折リスクを評価するための骨折リスク評価値を算出する。統計値Qと骨折リスク評価値との関係は、大量の診断データから得られていることから、評価値導出部67では、この関係を用いて、骨折リスク評価値を算出する。統計値Qと骨折リスク評価値との関係は予め導出してテーブルとしてストレージ53に記憶しておけばよい。
例えば、骨折リスク評価値としては、被写体Hの診断時(単純放射線画像G0の取得時)から10年以内の骨折発症確率がある。そして、上記のように、統計値Qの算出に式(6)を使用した場合には、「10年以内の骨折発症確率」と「統計値Q」との関係は、図19に示すように、統計値Qが大きくなるほど、骨折発症確率が低くなるように表される。
第2の実施形態においては、情報導出装置50Aが導出した骨折リスク評価値が教師データの正解データとして用いられる。図20は第2の実施形態において導出される教師データを示す図である。図20に示すように教師データ40Bは、合成2次元画像C0を含む学習用データ41と、骨折リスク評価値である正解データ42Bとからなる。
図20に示す教師データ40Bを用いてニューラルネットワークを学習することにより、単純放射線画像G0が入力されると骨折リスク評価値を骨密度に関連する推定結果として出力する学習済みニューラルネットワーク23Aを構築することができる。
次いで、本開示の第3の実施形態について説明する。図21は第3の実施形態による情報導出装置の機能的な構成を示す図である。なお、図21において図7と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。本開示の第3の実施形態においては、骨密度の導出に代えて、治療後の骨部の治癒状態を表す情報を正解データ42として導出するようにしたものである。このために、図21に示すように、第3の実施形態による情報導出装置50Bは、第1の実施形態による情報導出装置50に対して治癒情報導出部68をさらに備える。なお、第3の実施形態においては、骨部の治療として、骨部に人工骨等の人工物を埋め込む手術を行ったものとする。
治癒情報導出部68は、被写体Hの骨部に埋め込まれた人工骨等の人工物の周辺の骨密度に基づいて、人工物が被写体Hの骨部に埋め込まれた後の被写体の骨部の状態を示す情報を、治癒情報として導出する。人工骨等の人工物は、粉砕骨折や腫瘍等により失われた骨を代替するため、外科的手術により生体内に埋め込まれる。
図22は、被写体の骨部に埋め込まれた人工骨の一例を示す図である。図22には、人工股関節置換術が施された被写体Hの骨部が例示されており、被写体Hの大腿骨80に人工関節のステム81が埋め込まれている。
ステム81を固定する方法として、直接固定法(セメントレス固定)および間接固定法(セメント固定)が知られている。直接固定法においては、セメントを使用することなく、ステム81を大腿骨80の内部の空洞に挿入する。大腿骨80の内部の空洞は、ステム81がフィットするように、予め形状が整えられる。ステム81の表面は粗面化されており、骨組織がステム81の内部に向かって浸透するように成長していく。すなわち、ステム81を大腿骨80に埋め込んだ直後においては、ステム81と大腿骨80との間には空洞が存在しているが、大腿骨80が回復すると、骨組織の成長に伴って空洞は縮小して消滅する。したがって、ステム81の周辺の骨密度を取得することで、術後における大腿骨80の回復の程度を把握することが可能である。
図23は、術後の各段階における、大腿骨80内部におけるステム81からの距離と骨密度との関係の一例を示すグラフである。図23に示すグラフの横軸は、図22における直線Lに沿った位置である。図23において、実線はステム81を大腿骨80に埋め込んだ直後の初期段階に対応し、点線は回復途中の段階に対応し、一点鎖線は完治段階に対応する。図23に示すように、術後の初期段階では、大腿骨80とステム81とは密着しておらず、ステム81の近傍における骨密度は極めて少ない。回復に伴って、骨組織がステム81の内部に向かって浸透するように成長していくことで、ステム81の近傍における骨密度は増加する。一方、ステム81から遠方位置における骨密度は、術後の各段階において略一定である。完治段階においては、ステム81の近傍における骨密度と遠方位置における骨密度とは、略同等となる。
以下において、治癒情報導出部68が、治癒情報を導出する態様について、図22に示す人工股関節置換術が施された場合を例に説明する。治癒情報導出部68は、ステム81からの距離が相対的に近い位置LAにおける骨密度BAと、ステム81からの距離が相対的に遠い位置XBにおける骨密度BBとの差異に応じた数値ΔBを、治癒情報として導出する。例えば、治癒情報導出部68は、骨密度の差(ΔB=BB-BA)を治癒情報として導出してもよい。この場合、治癒情報として導出される数値は、回復に伴って小さくなり、0に近づいていく。また、治癒情報導出部68は、骨密度の比(ΔB=BA/BB)を治癒情報として導出してもよい。この場合、治癒情報として導出される数値ΔBは、骨部の回復に伴って大きくなり、1に近づいていく。すなわち、骨密度BAとBBとの差異に応じた数値ΔBは、術後における骨部の回復の度合いを示す数値であるといえる。したがって、治癒情報として数値ΔBを導出することで、術後における大腿骨80の回復の程度を定量的に把握することが可能である。
なお、治癒情報導出部68は、骨密度導出部63によって導出された合成2次元画像C0の各画素における単位面積当たりの骨密度を用いて治癒情報を導出してもよいが、CT画像V0の各画素における単位体積当たりの骨密度を用いて治癒情報を導出してもよい。また、合成2次元画像C0においても、ステム81の画素値は骨部領域における画素値とは顕著に異なっているので、合成2次元画像C0においてステム81が存在する領域を特定することが可能である。したがって、治癒情報導出部68は、合成2次元画像C0に基づいて、ステム81からの距離を特定することが可能である。
図24は、人間の骨の断面構造の一例を示す断面図である。図24に示すように、人間の骨は、海綿骨90と、海綿骨90の外側を覆う皮質骨91と、を含んで構成されている。皮質骨91は、海綿骨90よりも硬く、緻密である。海綿骨90は、骨髄腔内に広がる骨梁と呼ばれる小さな骨の柱の集合体である。骨梁の形態には、板状と棒状構造があり、互いに連結している。海綿骨90の骨密度と、皮質骨91の骨密度とは顕著に異なるため、CT画像V0において皮質骨91と海綿骨90とを区別することが可能である。とくに、導出した骨密度が単体積当たりの骨密度である場合、単位面積当たりの骨密度と比較して、海綿骨90の骨密度と皮質骨91の骨密度とを明確に区別することができる。
海綿骨90に人工物が埋め込まれている場合には、治癒情報導出部68は、CT画像V0の各画素のCT値に基づいて海綿骨90の領域を特定し、人工物の周辺における海綿骨90の骨密度に基づいて治癒情報を導出してもよい。具体的には、治癒情報導出部68は、人工物からの距離が相対的に近い海綿骨90内の位置XAにおける骨密度BAと、人工物からの距離が相対的に遠い海綿骨90内の位置XBにおける骨密度BBとの差異に応じた数値ΔBを治癒情報として導出してもよい。
一方、皮質骨91に人工物が埋め込まれている場合には、治癒情報導出部68は、CT画像V0の各画素のCT値に基づいて皮質骨91の領域を特定し、人工物の周辺における皮質骨91の骨密度に基づいて治癒情報を導出することが好ましい。具体的には、治癒情報導出部68は、人工物からの距離が相対的に近い皮質骨91内の位置XAにおける骨密度BAと、人工物からの距離が相対的に遠い皮質骨91内の位置XBにおける骨密度BBとの差異に応じた数値ΔBを治癒情報として導出してもよい。
また、被写体Hの骨部に埋め込まれた人工物が海綿骨90および皮質骨91の双方に及んでいる場合、CT画像V0の各画素のCT値に基づいて、海綿骨90および皮質骨91の領域を特定し、人工物の周辺における海綿骨90および皮質骨91の双方の骨密度に基づいて、治癒情報を導出してもよい。具体的には、治癒情報導出部68は、人工物からの距離が相対的に近い海綿骨90内の位置LA1における骨密度BA1と、人工物からの距離が相対的に遠い海綿骨90内の位置LB1における骨密度BB1との差異に応じた数値ΔB1を治癒情報として導出するとともに、人工物からの距離が相対的に近い皮質骨91内の位置LA2における骨密度BA2と、人工物からの距離が相対的に遠い皮質骨91内の位置LB2における骨密度BB2との差異に応じた数値ΔB2を治癒情報として導出してもよい。なお、被写体Hの骨部に埋め込まれた人工物が海綿骨90および皮質骨91の双方に及んでいる場合、人工物の周辺における海綿骨90および皮質骨91のうちの一方の骨密度に基づいて、治癒情報を導出してもよい。すなわち、数値ΔB1および数値ΔB2のうちの一方を治癒情報として導出してもよい。
第3の実施形態においては、情報導出装置50Bが導出した治癒情報が教師データの正解データとして用いられる。図25は第3の実施形態において導出される教師データを示す図である。図25に示すように教師データ40Cは、合成2次元画像C0を含む学習用データ41と、治癒情報の数値である正解データ42Cとからなる。
図25に示す教師データ40Cを用いてニューラルネットワークを学習することにより、単純放射線画像G0が入力されると治癒状況を表す情報を治癒情報として出力する学習済みニューラルネットワーク23Aを構築することができる。
また、上記各実施形態において、教師データ40の正解データ42として、骨密度導出部63が導出した単位面積当たりまたは単位体積当たりの骨密度を画素値とする骨密度画像を用いてもよい。この場合、推定装置10の推定部23は、単純放射線画像G0から骨密度画像を骨密度に関連する推定結果として導出するものとなる。このように、骨密度画像を導出した場合、表示画面には骨密度画像を表示するようにしてもよい。
図26は推定結果の表示画面の他の例を示す図である。図26に示すように表示画面70Aは、図14に示す表示画面70と同様の画像表示領域71を有する。画像表示領域71には被写体Hの単純放射線画像G0における骨密度の推定結果である骨密度画像Gdが表示される。骨密度画像Gdにおいては骨密度に応じて骨部領域に模様が付与されている。なお、図26においては説明を簡単なものとするために、大腿骨についてのみ骨塩量を表す模様が付与されている。画像表示領域71の下方には、付与された模様についての骨塩量の大小を示すリファレンス73が表示されている。操作者はリファレンス73を参照しつつ骨密度画像Gdを読影することにより、患者の骨密度を容易に認識することができる。なお、模様に代えて、骨密度に応じて異なる色を骨密度画像Gdに付与するようにしてもよい。
また、上記各実施形態においては、股関節付近の大腿骨についての骨密度に関連する情報を推定しているが、対象となる骨は大腿骨に限定されるものではない。膝関節付近の大腿骨および脛骨、腰椎等の椎骨、踵骨並びに中手骨等の任意の骨部についての骨密度に関連する情報を推定するに際しても、本開示の技術を適用できる。
また、上記各実施形態においては、単純放射線画像G0から骨密度に関連する推定結果を導出しているが、これに限定されるものではない。例えば、特開平9-108206号公報および特開2006-271437号公報等に記載されたDXA撮影装置により被写体を撮影することにより取得したDXA走査画像から骨密度に関連する推定結果を導出する場合にも、本開示の技術を適用することができる。DXA走査画像とは、細くコリメートされた高エネルギー放射線ビームおよび低エネルギー放射線ビームを切り替えながら、かつ走査しながら被写体に照射し、放射線検出器で撮像された放射線画像をいう。細くコリメートされた放射線ビームとは、例えば、放射線源と被写体との間にあるコリメータを使って、ペンシルビーム、狭ファンビームまたは広ファンビーム等に形成された放射線ビームである。低エネルギー放射線とは、高エネルギー放射線より相対的に低いエネルギーの放射線のことをいう。
この場合、DXA走査画像を撮像する検出器の画素サイズ、撮像時の走査方向および走査速度、X線源と被写体と検出器との相互の距離、並びに放射線のエネルギー分布(管電圧、ターゲットおよびフィルタで決まる)等の各条件に従って、合成2次元画像C0からDXA走査画像を模擬した画像を生成し、生成したDXA走査画像を模擬した画像を学習用データ41として使用して学習済みニューラルネットワーク23Aを構築してもよい。
DXA走査画像を模擬した画像は、例えば、合成2次元画像C0に対して、DXA走査画像の撮影に使用する検出器の画素サイズ、走査方向および走査速度等に応じて解像度を低下させる処理を施すことにより生成すればよい。なお、DXA走査画像を模擬した画像が、低解像度合成2次元画像の一例である。
具体的には、以下のようにしてDXA走査画像を模擬した画像を生成する。L、M、Nを自然数とし、被写体Hの実際のサイズのLmm×Lmmに対し、合成2次元画像C0のM×M個の画素が対応し、DXA走査画像の学習用画像のN×N個の画素が対応する場合を想定する。このとき、合成2次元画像C0の(M/N)×(M/N)個の画素、すなわち、隣接する複数画素が、DXA走査画像の学習用画像の1個の画素に対応するように、合成2次元画像C0の(M/N)×(M/N)個の画素の画素値の平均値を、合成2次元画像C0の(M/N)×(M/N)個の全ての画素値とすることにより合成2次元画像C0を低解像度化する。そして、合成2次元画像C0のDXA走査画像に対応する全ての領域でこのような低解像度化処理を行うことにより、DXA走査画像を模擬した画像を生成する。M/Nが自然数にならない場合は、M/Nの前後の自然数で、適宜、合成2次元画像C0とDXA走査画像の学習用画像との対応する画素の位置を調整して、合成2次元画像C0からDXA走査画像を模擬した画像を生成すればよい。
さらに、走査によるぼけを模擬するための低解像度化処理として、走査方向に対応する一方向への移動平均処理を行うことによりDXA走査画像を模擬した画像を生成してもよい。
また、合成2次元画像C0に対して移動平均処理を行うことにより、DXA走査画像を模擬した画像を生成してもよい。移動平均処理は、DXA走査画像を撮影時の走査方向、走査速度、検出器の画素サイズおよびX線源と被写体と検出器との相互の距離等から、移動平均の計算に使用するフィルタのサイズおよびフィルタの強度分布を適宜決定すればよい。例えば、走査速度が相対的に速いほど、相対的に低解像度になるのでフィルタのサイズを相対的に大きく設定すればよい。この場合、L=10に設定した場合、M=200、N=5程度となる。
また、上記各実施形態においては、ニューラルネットワークを学習するための教師データに含まれる正解データとして、骨密度、骨折リスクおよび治癒情報を用いている。このため、推定部23が単純放射線画像G0から推定する骨密度に関連する情報は、単純放射線画像G0における骨密度、骨折リスクおよび治癒情報となるが、これらに限定されるものではない。YAM、TスコアまたはZスコアを正解データとして学習済みニューラルネットワーク23Aを構築し、単純放射線画像G0から骨密度に関連する情報として、YAM、TスコアおよびZスコアを推定するようにしてもよい。また、推定部23において、推定する骨密度に関連する情報として、骨折の有無、腫瘍の有無、インプラントの有無の検知結果を用いてもよく、骨粗鬆症の判定結果を用いてもよい。また、多発性骨髄腫、リウマチ、関節症および軟骨の硬化等、骨密度に関連する骨の疾患のを骨密度に関連する情報として推定するようにしてもよい。この場合、正解データとしてこれらの骨密度に関連する情報を含む教師データを用いて学習済みニューラルネットワーク23Aを構築するようにすればよい。
なお、上記各実施形態においては、推定装置10においてニューラルネットワークの学習を行って学習済みニューラルネットワーク23Aを構築しているが、これに限定されるものではない。推定装置10以外の他の装置において構築された学習済みニューラルネットワーク23Aを、本実施形態における推定装置10の推定部23に用いるようにしてもよい。
また、上記各実施形態においては、放射線検出器5を用いて被写体Hを撮影するシステムにおいて取得した放射線画像を用いて骨密度に関連する情報の推定処理を行っているが、放射線検出器に代えて、蓄積性蛍光体シートを用いて放射線画像を取得する場合にも、本開示の技術を適用できることはもちろんである。
また、上記実施形態における放射線は、とくに限定されるものではなく、X線の他、α線またはγ線等を用いることができる。
また、上記実施形態において、例えば、推定装置10の画像取得部21、情報取得部22、推定部23、学習部24および表示制御部25、並びに情報導出装置50等の画像取得部61、合成部62および骨密度導出部63等といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 撮影装置
3 放射線源
5 放射線検出器
7 CT装置
9 画像保存システム
10 推定装置
11、51 CPU
12 推定処理プログラム
12B 学習プログラム
13、53 ストレージ
14、54 ディスプレイ
15、55 入力デバイス
16、56 メモリ
17、57 ネットワークI/F
18、58 バス
21 画像取得部
22 情報取得部
23 推定部
23A 学習済みニューラルネットワーク
24 学習部
25 表示制御部
30 ニューラルネットワーク
31 入力層
32 中間層
33 出力層
35 畳み込み層
36 プーリング層
37 全結合層
40、40A、40B、40C 教師データ
41 学習用データ
42、42A、42B、42C 正解データ
47 出力データ
48 パラメータ
50、50A、50B 情報導出装置
52 情報導出プログラム
61 画像取得部
62 合成部
63 骨密度導出部
64 平面
65 筋肉密度導出部
66 統計値導出部
67 評価値導出部
68 治癒情報導出部
70、70A 表示画面
71 画像表示領域
72 骨密度表示領域
73 リファレンス
80 大腿骨
81 ステム
90 海綿骨
91 皮質骨
C0 合成2次元画像
G0 単純放射線画像
Gd 骨密度画像
L 距離
Q 統計値
V0 CT画像

Claims (11)

  1. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    骨部を含む被写体を単純撮影することにより取得した単純放射線画像または前記被写体をDXA法により撮影することにより取得したDXA走査画像から前記骨部の骨密度に関連する推定結果を導出する学習済みニューラルネットワークとして機能し、
    前記学習済みニューラルネットワークは、前記被写体の3次元のCT画像を合成することにより導出された前記被写体を表す合成2次元画像と前記被写体の骨密度に関連する情報とを教師データとして用いて学習されてなる、推定装置。
  2. 前記合成2次元画像は、3次元空間上の各位置における組成についての放射線の減弱係数を導出し、前記減弱係数に基づいてあらかじめ定められた方向に前記CT画像を投影することにより導出される請求項1に記載の推定装置。
  3. 前記骨密度に関連する情報は、前記CT画像における骨部領域を特定し、前記骨部領域における放射線の減弱係数を導出し、前記放射線の減弱係数および前記骨部領域における質量減弱係数に基づいて導出された、前記骨部領域の各位置における骨密度に基づいて導出される請求項1または2に記載の推定装置。
  4. 前記骨密度に関連する情報は、前記骨部領域の各位置における骨密度をあらかじめ定められた方向に投影することにより導出される請求項3に記載の推定装置。
  5. 前記骨密度に関連する情報は、単位面積当たりの骨密度、単位体積当たりの骨密度、前記被写体の骨折リスクの評価値、前記骨部の治療後の治癒状態を表す情報の少なくとも1つを含む請求項1から4のいずれか1項に記載の推定装置。
  6. 前記プロセッサは、前記DXA走査画像から前記骨部の骨密度に関連する推定結果を導出する学習済みニューラルネットワークとして機能し、
    前記学習済みニューラルネットワークは、前記合成2次元画像に解像度を低下させる処理を施した低解像度合成2次元画像と前記被写体の骨密度に関連する情報とを教師データとして用いて学習されてなる、請求項1から5のいずれか1項に記載の推定装置。
  7. 前記低解像度合成2次元画像は、前記合成2次元画像の隣接する複数画素の画素値の平均値を前記隣接する複数画素の画素値とする画像であり、前記隣接する複数画素のサイズは前記DXA走査画像の1つの画素サイズに対応する請求項6に記載の推定装置。
  8. 前記低解像度合成2次元画像は、前記合成2次元画像の一方向に対して移動平均処理を施された画像であり、前記一方向は前記DXA走査画像の走査方向に対応する請求項6に記載の推定装置。
  9. 前記低解像度合成2次元画像は、前記合成2次元画像の隣接する複数画素の画素値の平均値を、前記隣接する複数画素の画素値とする第1の低解像度画像を生成し、前記第1の低解像度画像に対して一方向に移動平均処理をされて生成された画像であり、前記隣接する複数画素のサイズは前記DXA走査画像の1つの画素サイズに対応し、前記一方向は前記DXA走査画像の走査方向に対応する請求項6に記載の推定装置。
  10. 骨部を含む被写体を単純撮影することにより取得した単純放射線画像または前記被写体をDXA法により撮影することにより取得したDXA走査画像から前記骨部の骨密度に関連する推定結果を導出する学習済みニューラルネットワークを用いて、前記単純放射線画像または前記DXA走査画像から前記骨密度に関連する推定結果を導出する推定方法であって、
    前記学習済みニューラルネットワークは、前記被写体の3次元のCT画像を合成することにより導出された前記被写体を表す合成2次元画像と前記被写体の骨密度に関連する情報とを教師データとして用いて学習されてなる、推定方法。
  11. 骨部を含む被写体を単純撮影することにより取得した単純放射線画像または前記被写体をDXA法により撮影することにより取得したDXA走査画像から前記骨部の骨密度に関連する推定結果を導出する学習済みニューラルネットワークを用いて、前記単純放射線画像または前記DXA走査画像から前記骨密度に関連する推定結果を導出する手順をコンピュータに実行させるための推定プログラムであって、
    前記学習済みニューラルネットワークは、前記被写体の3次元のCT画像を合成することにより導出された前記被写体を表す合成2次元画像と前記被写体の骨密度に関連する情報とを教師データとして用いて学習されてなる、推定プログラム。
JP2021040686A 2021-03-12 2021-03-12 推定装置、方法およびプログラム Pending JP2022140050A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021040686A JP2022140050A (ja) 2021-03-12 2021-03-12 推定装置、方法およびプログラム
US17/591,616 US20220287665A1 (en) 2021-03-12 2022-02-03 Estimation device, estimation method, and estimation program
CN202210213756.9A CN115067976A (zh) 2021-03-12 2022-03-03 推定装置、方法及计算机可读存储介质
EP22161114.8A EP4056120B1 (en) 2021-03-12 2022-03-09 Estimation device, estimation method, and estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021040686A JP2022140050A (ja) 2021-03-12 2021-03-12 推定装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2022140050A true JP2022140050A (ja) 2022-09-26

Family

ID=80685161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040686A Pending JP2022140050A (ja) 2021-03-12 2021-03-12 推定装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20220287665A1 (ja)
EP (1) EP4056120B1 (ja)
JP (1) JP2022140050A (ja)
CN (1) CN115067976A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090050A1 (ja) * 2022-10-27 2024-05-02 富士フイルム株式会社 画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663363B (zh) * 2022-03-03 2023-11-17 四川大学 一种基于深度学习的髋关节医学图像处理方法和装置
CN116458909B (zh) * 2023-04-10 2024-05-07 清华大学 使用锥形束dr设备测量三维骨密度分布的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2178395A1 (en) 1995-06-07 1996-12-08 Donald Barry X-ray bone densitometry apparatus
US6064716A (en) 1997-09-05 2000-05-16 Cyberlogic, Inc. Plain x-ray bone densitometry apparatus and method
JP4499593B2 (ja) 2005-03-28 2010-07-07 アロカ株式会社 X線骨密度測定装置
KR102527440B1 (ko) * 2018-04-24 2023-05-02 가부시키가이샤 시마쓰세사쿠쇼 화상 해석 방법, 세그먼테이션 방법, 골밀도 측정 방법, 학습 모델 작성 방법 및 화상 작성 장치
EP4276753A3 (en) * 2018-09-10 2024-02-07 Kyocera Corporation Estimation device, estimation system, and estimation program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090050A1 (ja) * 2022-10-27 2024-05-02 富士フイルム株式会社 画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム

Also Published As

Publication number Publication date
EP4056120A1 (en) 2022-09-14
CN115067976A (zh) 2022-09-20
EP4056120B1 (en) 2024-04-17
US20220287665A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
JP2022140050A (ja) 推定装置、方法およびプログラム
KR20180044421A (ko) 교정 수술 계획에 사용하기 위해 의료용 임플란트를 가진 환자의 의료 영상화를 위한 시스템 및 방법
US11096645B2 (en) Bone mineral information acquisition apparatus, bone mineral information acquisition method, and bone mineral information acquisition program
US10089728B2 (en) Radiation-image processing device and method
US20220287663A1 (en) Estimation device, estimation method, and estimation program
Zhao et al. Slot‐scan dual‐energy bone densitometry using motorized X‐ray systems
Dendere et al. Dual-energy X-ray absorptiometry for measurement of phalangeal bone mineral density on a slot-scanning digital radiography system
Choisne et al. A new method to determine volumetric bone mineral density from bi-planar dual energy radiographs using a finite element model: an ex-vivo study
JP7342140B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2022163614A (ja) 推定装置、方法およびプログラム
US20230017704A1 (en) Estimation device, estimation method, and estimation program
WO2024090050A1 (ja) 画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム
WO2023054287A1 (ja) 骨疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク
US20230172576A1 (en) Radiation image processing device, radiation image processing method, and radiation image processing program
US11963810B2 (en) Estimation device, estimation method, and estimation program
JP2022122131A (ja) 運動器疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク
US20230096694A1 (en) Image processing device, image processing method, and image processing program
US20240081761A1 (en) Image processing device, image processing method, and image processing program
JP7346668B2 (ja) 放射線画像処理装置及びプログラム
TWI830036B (zh) 骨骼特徵值估計方法
JP7241000B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN118043908A (en) Bone disease prediction device, bone disease prediction method, bone disease prediction program, learning device, bone disease prediction method, learning program, and learning completion neural network
Yeni et al. Bone health assessment via digital wrist tomosynthesis in the mammography setting
Subramanian METHODS FOR QUANTITATIVE ANALYSIS OF IN-VIVO BONE MICROSTRUCTURE USING COMPUTED TOMOGRAPHY
JP2024042609A (ja) 放射線画像処理装置、その作動方法、及び放射線画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231207