JP2023013454A - 画像処理装置、方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】ランドマークの検出精度が低い場合でも、椎骨に対して高い精度でラベル付けを行うこと。【解決手段】実施形態に係る画像処理装置は、第１の取得部と、第２の取得部と、推定部と、算出部とを備える。第１の取得部は、３次元の医用画像から椎間孔の位置を取得する。第２の取得部は、医用画像の椎骨に関連するランドマーク情報を取得する。推定部は、椎間孔の位置とランドマーク情報との対応付けを複数個用いて、椎間孔ラベル情報を推定する。算出部は、椎間孔ラベル情報に基づいて、椎骨ラベル情報を算出する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、画像処理装置、方法、プログラム及び記憶媒体に関する。

医用画像の診断において、脊椎を構成する椎骨に異常を見つけた際に、その異常が何番目の椎骨なのかを記録する必要がある。そのため、医用画像中の椎骨に対して、その解剖学的なラベルを自動的に特定する技術（椎骨にラベル付けを行う技術）が求められている。

このような技術として、例えば、モルフォロジー演算の一種である３次元Ｏｐｅｎｉｎｇ演算を用いて椎間板を検出して椎骨のセグメンテーションを行った後に、第１２胸椎（Ｔ１２）を認識することで椎骨のラベル付けを行う技術が知られている。しかしながら、この技術では、Ｔ１２の認識に失敗した場合やＴ１２自体を含まない画像の場合にはラベル付けが出来ないという課題がある。また、画像のスライス幅が厚いと薄い椎間板を検出できず椎骨のセグメンテーションに失敗する場合があるという課題もある。

また、他の技術として、例えば、椎間孔を検出することで椎骨のセグメンテーションを行う技術が知られている。この方法では、スライス幅の厚い画像においても椎骨のセグメンテーションが可能であるが、ラベル付与を行う具体的な方法は記載されていない。

一方、機械学習を用いることで、画像の撮影範囲に依らずに画像から椎体を含む解剖学的ランドマークを検出する技術が知られている。これによると、椎体のランドマーク情報を用いて椎骨のラベル付けをすることが可能である。

特許第６１８４９２６号公報

保田竜也 他、"腹部X線CT画像からの脊柱，肋骨，椎間板，脊椎の段階的認識"、J JSCAS vol.19 no.3 2017 Mohammad A. Dabbah, et al. "Detection and location of 127 anatomical landmarks in diverse CT datasets", SPIE Medical Imaging 2014.

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、ランドマークの検出精度が低い場合でも、椎骨に対して高い精度でラベル付けを行うことである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。

実施形態に係る画像処理装置は、第１の取得部と、第２の取得部と、推定部と、算出部とを備える。第１の取得部は、３次元の医用画像から椎間孔の位置を取得する。第２の取得部は、前記医用画像の椎骨に関連するランドマーク情報を取得する。推定部は、前記椎間孔の位置と前記ランドマーク情報との対応付けを複数個用いて、椎間孔ラベル情報を推定する。算出部は、前記椎間孔ラベル情報に基づいて、椎骨ラベル情報を算出する。

図１は、第１の実施形態に係る画像処理装置の構成の一例を示す図である。 図２は、第１の実施形態に係る画像処理装置の全体処理工程を示す図である。 図３は、第１の実施形態に係る脊柱管抽出工程のデータフロー図である。 図４は、第１の実施形態に係る椎間孔抽出工程のデータフロー図である。 図５は、第１の実施形態に係る椎間孔抽出工程を示すフローチャートである。 図６は、第１の実施形態に係る椎間孔補正工程のデータフロー図である。 図７は、第１の実施形態に係る椎間孔補正工程を示すフローチャートである。 図８は、第１の実施形態に係る椎間孔ラベル推定工程のデータフロー図である。 図９は、第１の実施形態に係る椎間孔ラベル推定工程を示すフローチャートである。 図１０Ａは、第１の実施形態に係る椎間孔ラベルを推定する方法を具体的な例で説明した図である。 図１０Ｂは、第１の実施形態に係る椎間孔ラベルを推定する方法を具体的な例で説明した図である。 図１１は、第１の実施形態に係る椎骨ラベル算出工程のデータフロー図である。 図１２は、第１の実施形態に係る椎骨ラベル算出工程を示すフローチャートである。 図１３は、第２の実施形態に係る椎体ランドマークの検出確信度を用いた場合の椎間孔ラベル推定工程を示すフローチャートである。 図１４は、第２の実施形態に係る椎体ランドマークの検出確信度を用いた場合の椎間孔ラベルを推定する方法を具体的な例で説明した図である。 図１５は、第２の実施形態に係る確信度への重み付け関数の一例を示す図である。 図１６は、椎骨ラベルと椎間孔ラベルとの間の対応関係を示す図である。

以下、図面を参照しながら、画像処理装置、方法、プログラム及び記憶媒体の実施形態について詳細に説明する。なお、本願に係る画像処理装置、方法、プログラム及び記憶媒体は、以下に示す実施形態によって限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１０の構成の一例を示す図である。図１に示すように、画像処理装置１０は、処理回路１１と、通信インターフェース１２と、記憶回路１３と、ディスプレイ１４と、入力インターフェース１５と、接続部１６とを有している。

処理回路１１は、入力インターフェース１５を介してユーザから受け付けた入力操作に応じて、制御機能１１ａと、第１の取得機能１１ｂと、第２の取得機能１１ｃと、推定機能１１ｄと、算出機能１１ｅとを実行して、画像処理装置１０を制御する。ここで、第１の取得機能１１ｂは、第１の取得部の一例である。また、第２の取得機能１１ｃは、第２の取得部の一例である。また、推定機能１１ｄは、推定部の一例である。また、算出機能１１ｅは、算出部の一例である。

制御機能１１ａは、入力インターフェース１５を介した操作に応じて、種々のＧＵＩ（Graphical User Interface）や、種々の表示情報を生成して、ディスプレイ１４に表示するように制御する。また、制御機能１１ａは、通信インターフェース１２を介して、図示しないネットワーク上の外部装置との情報の送受信を制御する。例えば、制御機能１１ａは、上記ネットワークに接続されたモダリティや、医用画像保管装置などから、３次元の医用画像（ボリュームデータ）を取得する。

第１の取得機能１１ｂは、制御機能１１ａによって取得された３次元の医用画像を対象として椎間孔の位置を取得するための椎間孔位置検出工程を実行する。第２の取得機能１１ｃは、医用画像に含まれる椎骨に関連するランドマーク情報を取得する。推定機能１１ｄは、椎間孔の位置と椎骨に関連するランドマーク情報とに基づいて椎間孔ラベル情報を推定する椎間孔ラベル推定工程を実行する。算出機能１１ｅは、椎間孔ラベル情報に基づいて椎骨ラベル情報を算出する椎骨ラベル算出工程を実行する。なお、各工程については、後に詳述する。

上述した処理回路１１は、例えば、プロセッサによって実現される。その場合に、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１３に記憶される。そして、処理回路１１は、記憶回路１３に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、処理回路１１は、各プログラムを読み出した状態で、図１に示した各処理機能を有することとなる。

なお、処理回路１１は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものとしてもよい。また、処理回路１１が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路１１が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一の記憶回路１３に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数の記憶回路が分散して記憶され、処理回路１１が、各記憶回路から各プログラムを読み出して実行する構成としても構わない。

通信インターフェース１２は、画像処理装置１０と、ネットワークを介して接続された他の装置との間で送受信される各種データの伝送及び通信を制御する。具体的には、通信インターフェース１２は、処理回路１１に接続されており、他の装置から受信したデータを処理回路１１に出力、又は、処理回路１１から出力されたデータを他の装置に送信する。例えば、通信インターフェース１２は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

記憶回路１３は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路１３は、処理回路１１に接続されており、処理回路１１から入力されたデータを記憶、又は、記憶しているデータを読み出して処理回路１１に出力する。例えば、記憶回路１３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

ディスプレイ１４は、各種情報及び各種データを表示する。具体的には、ディスプレイ３１４は、処理回路１１に接続されており、処理回路１１から出力された各種情報及び各種データを表示する。例えば、ディスプレイ１４は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、タッチパネル等によって実現される。

入力インターフェース１５は、ユーザから各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インターフェース１５は、処理回路１１に接続されており、ユーザから受け取った入力操作を電気信号へ変換して処理回路１１に出力する。例えば、入力インターフェース１５は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インターフェース、及び音声入力インターフェース等によって実現される。なお、本明細書において、入力インターフェース１５は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェース１５の例に含まれる。

接続部１６は、処理回路１１と、通信インターフェース１２と、記憶回路１３と、ディスプレイ１４と、入力インターフェース１５とを接続するバス等である。

以上、画像処理装置１０の全体構成について説明した。かかる構成のもと、画像処理装置１０は、ランドマークの検出精度が低い場合でも、椎骨に対して高い精度でラベル付けを行うことを可能にする。上述したように、例えば、機械学習を用いることで、医用画像から椎体を含む解剖学的ランドマークを検出する技術が知られており、この技術によって検出した椎体のランドマークの情報を用いて椎骨のラベル付けが可能になる。

しかしながら、椎骨のように類似した構造が繰り返されるような構造の場合、画像上でも類似した画像特徴が空間的に連続するため、機械学習を用いたランドマーク検出では、ランドマークの検出精度が低くなる場合がある。そこで、本実施形態に係る画像処理装置１０は、例えば、機械学習等で得られたランドマークの精度が低い場合でも、椎骨に対して高い精度でラベル付けを行うことができるように構成されている。以下、画像処理装置１０の詳細について説明する。

図２は、画像処理装置１０の全体処理工程を示す図である。画像処理装置１０は、医用画像３０と、椎体ランドマーク情報３１とを入力して、医用画像３０に対する椎骨ラベル情報３２を出力する。ここで、医用画像３０は、処理の対象となる３次元のボリュームデータである。

なお、図２における医用画像３０を取得する工程は、処理回路１１が、制御機能１１ａに対応するプログラムを記憶回路１３から読み出して実行することで実現される。また、図２における椎間孔位置検出工程２０は、処理回路１１が、第１の取得機能１１ｂに対応するプログラムを記憶回路１３から読み出して実行することで実現される。また、図２における椎体ランドマーク情報３１を取得する工程は、処理回路１１が、第２の取得機能１１ｃに対応するプログラムを記憶回路１３から読み出して実行することで実現される。また、図２における椎間孔ラベル推定工程２４は、処理回路１１が、推定機能１１ｄに対応するプログラムを記憶回路１３から読み出して実行することで実現される。また、図２における椎骨ラベル算出工程２５は、処理回路１１が、算出機能１１ｅに対応するプログラムを記憶回路１３から読み出して実行することで実現される。

図２に示すように、本実施形態では、処理回路１１が、例えば、被検体のＸ線ＣＴ画像を医用画像３０として取得する。また、処理回路１１は、椎体ランドマーク情報３１を取得する。ここで、椎体ランドマーク情報３１は、椎体に関する解剖学的ランドマークの情報（ランドマークのラベル（識別子）と、ランドマークの医用画像３０における座標）である。椎体に関するランドマークとは、例えば、夫々の椎体の重心位置である。椎体ランドマーク情報３１は、画像処理装置１０の外部等で、医用画像３０に対して機械学習等を用いた検出処理を行うことで得られた情報である。一方、椎骨ラベル情報３２は、夫々の椎骨の代表位置と、それがいずれの椎骨かを表すラベル（識別子）とからなる。

画像処理装置１０の内部では、処理回路１１が、椎間孔位置検出工程２０と、椎間孔ラベル推定工程２４と、椎骨ラベル算出工程２５とを順番に実行する。さらに、処理回路１１は、椎間孔位置検出工程２０において、脊柱管抽出工程２１と、椎間孔抽出工程２２と、椎間孔補正工程２３とを順番に実行する。以下、各工程の詳細について例を挙げて説明する。

図３は、脊柱管抽出工程２１のデータフロー図である。脊柱管抽出工程２１では、処理回路１１は、記憶回路１３から医用画像２１０を読み出し、閾値に基づく２値化処理やモルフォロジー演算等を用いた既存の脊柱管領域抽出アルゴリズム２１１を用いることで、脊柱管領域２１２を生成する。

なお、図３においては、医用画像２１０及び脊柱管領域２１２を、３次元ボリュームデータをサジタル断面に投影した図で表している。また、図３における脊柱管領域２１２の図は、脊柱管領域と医用画像との対応関係を分かりやすくするために背景に医用画像を配置してあるが、実際の脊柱管領域は、中心の白色部分のみである。

そして、処理回路１１は、抽出した脊柱管を用いて椎間孔を抽出する。具体的には、処理回路１１は、医用画像に含まれる脊柱管に対する膨張処理結果と前記医用画像との重畳領域と、前記脊柱管に対応する領域とに基づいて、椎間孔の位置を取得する。図４は、椎間孔抽出工程２２のデータフロー図である。図５は、椎間孔抽出工程２２を示すフローチャートである。図４において、構造要素２２４と２２５を除いて、各画像は３次元ボリュームデータをコロナル断面に投影した図で表している。図５のフローチャートの各処理を、図４のデータフロー図を参照しながら説明する。椎間孔抽出工程２２において、処理回路１１は、以下の処理を行う。

まず、ステップＳ１００において、処理回路１１は、脊柱管抽出工程２１で得られた脊柱管領域画像２２０（Ｓ）と医用画像２２１（Ｍ）とを読み込む。

ステップＳ１０１において、処理回路１１は、脊柱管領域画像２２０（Ｓ）にＤｉｌａｔｉｏｎ演算を行って脊柱管膨張画像（Ｄ）を生成する。

ステップＳ１０２において、処理回路１１は、画像２２２に示すように、脊柱管膨張画像（Ｄ）と医用画像２２１（Ｍ）とを重ね合わせ、画像２２２に対して閾値処理することで２値化を行い、２値化画像（Ｌ）を生成する。

ステップＳ１０３において、処理回路１１は、ステップＳ１０２で得た２値化画像（Ｌ）から脊柱管領域２２０の３次元Ｏｐｅｎｉｎｇ演算結果を減算することで、非骨領域２２３（Ｎ）を得る。

ステップＳ１０４において、処理回路１１は、左右方向（Ｘ軸方向）に細長い線状の構造要素２２４を用いて、ステップＳ１０３で得た非骨領域２２３（Ｎ）に対して３次元Ｏｐｅｎｉｎｇ演算を行い、演算結果画像（Ｐ）を得る。ここで、椎体ランドマーク情報等からＯｐｅｎｉｎｇ対象領域の大まかな部位を判別し、それに応じて構造要素を変更してもよい。たとえば、部位が腰椎や胸椎と判別された場合は横一文字型の構造要素２２４を用い、部位が頚椎と判別された場合には斜め一文字型の構造要素２２５（ａ）または２２５（ｂ）を用いるようにできる。

ステップＳ１０５において、処理回路１１は、ステップＳ１０４で得た演算結果画像内（Ｐ）の連結領域を辿る（ラベリング処理する）ことでブロブ（白色領域の塊）に分割する。本ステップで生成されたブロブ群は、配列Ｃ［：］に格納される。

ステップＳ１０６において、処理回路１１は、ステップＳ１０５で得た各ブロブ（配列Ｃ［：］）において、重心のＺ座標値が近いブロブ同士を結合する。本ステップで生成されたブロブ群は、配列Ｈ［：］に格納される。

ステップＳ１０７において、処理回路１１は、ステップＳ１０６で得た結合後の各ブロブ（配列Ｈ［：］）の重心座標値を、椎間孔の座標値２２６として、頭側から順に配列Ｆ［：］に保存する。

なお、脊柱管の周囲を大まかに（Ｘ方向１００ｍｍ、Ｙ方向８０ｍｍ程度のサイズで）切り出し、脊柱管の心線が直線になるようにスライスを平行移動したボリューム画像を生成したうえで、その画像に対して上記の処理を行っても良い。これにより、処理に必要なメモリ容量の削減と、処理速度の向上が可能である。

椎間孔抽出工程２２で抽出された椎間孔には、本来の椎間孔ではないノイズも含まれている。これらノイズは、溶骨性骨転移等によって作られた椎骨の欠損部分などに発生することが多い。このため、抽出した椎間孔からノイズを取り除いて補正する必要がある。そこで、処理回路１１は、椎間孔の解剖学的構造に基づいて、椎間孔の位置を補正する。具体的には、処理回路１１は、椎間孔補正工程２３として、椎間孔の座標値が概ね等間隔であるというモデルに基づいて、椎間孔抽出工程２２で得た椎間孔の座標値２６６（配列Ｆ［：］）から、モデルに当てはまらない座標値を削除する処理を行う。椎間孔補正工程２３で生成された座標値は、頭側から順に配列Ｇ［：］に格納される。

図６は、椎間孔補正工程２３のデータフロー図である。図６において、各画像は３次元ボリュームデータをコロナル断面に投影した図で表している。図７は、椎間孔補正工程２３を示すフローチャートである。図７のフローチャートの各処理を、図６のデータフロー図を参照しながら説明する。椎間孔補正工程２３では、処理回路１１は、椎間孔抽出工程２２で得られた椎間孔の座標値の候補２３０を読み込む（ステップＳ２００）。次に、処理回路１１は、椎間孔の間隔を３次多項式でフィッティングして、３次多項式のグラフに載らないはみ出した点を除去する（ステップＳ２０１からＳ２１１）。具体的には、処理回路１１は、まず、補正後の椎間孔の座標値を入れる配列Ｇ［：］に、椎間孔の座標値の候補配列Ｆ［：］をコピーする（ステップＳ２０１）。次に、処理回路１１は、はみ出した点をＧ［：］から１個ずつ削除する処理（ステップＳ２０３からＳ２１１）を複数回（Ｆ［：］の長さの４分の１程度の数だけ）繰り返す。

ステップＳ２０３からＳ２０４において、処理回路１１は、椎間孔のＺ座標値の差分値群ｖ［：］をそれぞれ算出する。

ステップＳ２０５において、処理回路１１は、椎間孔のＺ座標値の差分値群ｖ［：］に基づいて、差分値が最低となる椎間孔の座標を抽出する。

ステップＳ２０６からＳ２１０において、処理回路１１は、配列Ｇ［：］に基づく配列ｕ［：］から末尾を削除した配列を独立変数とし、差分値群ｖ［：］から各椎間孔の座標を削除した場合の各差分値群を従属変数とする３次元多項式近似をそれぞれ行い、残差が最小となる椎間孔の座標を抽出する。

ステップＳ２１１において、処理回路１１は、補正後の椎間孔の座標値を入れる配列Ｇ［：］から抽出した椎間孔の座標を削除した配列を生成する。処理回路１１は、上記したステップＳ２０３からＳ２１１を複数回実行する。

その結果、画像２３２に示すように、補正後の椎間孔の座標値（白点）が得られる。ここで、図６における画像２３２において、候補２３０に見られた不適当な候補点は、除去した点（黒点）で表している。

なお、椎間孔抽出工程２２と椎間孔補正工程２３による椎間孔の座標推定は、上記で説明した方法のほかに、公知のいずれの方法で行ってもよい。例えば、特許文献１の方法を用いてもよい。

図８は、椎間孔ラベル推定工程２４のデータフロー図である。図８において、各画像は３次元ボリュームデータをサジタル断面に投影した図で表している。図９は、椎間孔ラベル推定工程２４を示すフローチャートである。図１０Ａ及び図１０Ｂは、椎間孔ラベルを推定する方法を具体的な例で説明した図である。図１０では、背景灰色の行が各椎間孔に対応するラベルを入れる要素の行である。図１６は、椎骨ラベルと椎間孔ラベルとの間の対応関係を示す図である。また、背景白色の行が各椎間孔に挟まれた領域に対応する。椎間孔ラベル推定工程２４において、処理回路１１は、以下の処理を行うことで椎間孔ラベルを推定する。

ステップＳ３００において、処理回路１１は、椎間孔補正工程２３で得られた椎間孔の座標値２４０（Ｇ［：］）と、画像処理装置１０の外部等で得られた椎体ランドマーク情報２４１（Ａ［：］）とを読み込む。

ステップＳ３０１からＳ３０３において、処理回路１１は、椎体ランドマークの各点を脊柱管の中心線上に対応付けた仮のランドマーク２４２（Ｂ［：］）を生成する。ここで、仮のランドマーク２４２の夫々には、その元となった椎体ランドマークのラベルを付与する。ただし、図１６に示すように、頚椎では椎骨と椎間孔との間のラベルの対応関係が胸椎や腰椎とは異なるため、ステップＳ３０３では、処理回路１１は、仮のランドマーク２４２に付与したＣ１からＣ７のラベルを、それぞれＣ２からＣ８に置換する処理を行う。

ステップＳ３０４において、処理回路１１は、配列Ｇ［：］の長さをＧ_ｌｅｎという一時変数に入れる。

以降の処理で、処理回路１１は、比較的精度の高い椎体ランドマーク（例えば、Ｔ２からＴ１２までのランドマーク）を用いて、椎間孔ラベルの推定を行う。なお、比較的精度の高いランドマークであれば、用いるのはＴ２からＴ１２までのランドマークでなく、他のランドマークでも良い。

ステップＳ３０５において、処理回路１１は、Ｔ２からＴ１２の椎体を順番に、注目する椎体ｒと置き、夫々の椎体ｒについてステップＳ３０６～Ｓ３０８の処理を行う。

ステップＳ３０６において、処理回路１１は、椎間孔の座標値２４０（Ｇ［：］）を頭側から順に評価するための変数ｊを定義する。

ステップＳ３０７において、処理回路１１は、仮のランドマーク情報Ｂ［：］の中から、ラベルがｒに等しい要素を見つけ出し（すなわち、椎体ｒを示す仮のランドマークを選択し）、そのＺ座標値よりＧ［ｊ］のＺ座標値が足側であるかを判定する。そして、処理回路１１は、判定がＹｅｓである場合、Ｇ［ｊ］が椎体ｒに対応づく椎間孔の位置だと判断して、ステップＳ３０８に処理を進める。

ステップＳ３０８において、処理回路１１は、Ｇ［ｊ］が椎体ｒに対応づく椎間孔の位置だと判断したことに基づく投票処理を行う。具体的には、処理回路１１は、ラベル決定表Ｔのｊ行ｒ列にラベルｒを代入する。また、処理回路１１は、Ｔのｒ列の０行からｊ－１行には、ｒより頭側のラベルを順に代入する。例えば、ｒがＴ５ならば、処理回路１１は、ｊ－１行にはＴ４、ｊ－２行にはＴ３を入れる。そして、処理回路１１は、Ｔのｒ列のｊ+１行からＧ_ｌｅｎ-１行には、ｒより足側のラベルを順に代入する。例えば、ｒがＴ５ならば、処理回路１１は、ｊ+１行にはＴ６、ｊ+２行にはＴ７を入れる。そして、処理回路１１は、ステップＳ２０６の繰り返し処理を終了する。すなわち、ステップＳ３０８の処理は、Ｇ［ｊ］が注目する椎体ｒの直下にあるときにのみ実行される。

ステップＳ３０９とＳ３１０において、処理回路１１は、Ｇ［：］の夫々について、多数決に基づく椎間孔ラベルの推定処理を行う。具体的には、処理回路１１は、椎間孔に対する複数個のランドマーク情報との対応付けに基づく多数決を用いて椎間孔ラベル情報を推定する。より具体的には、処理回路１１は、椎間孔（Ｇ［：］）毎にラベル決定表Ｔの中から最も頻度の高いラベルを探し出す処理を行う。そして、多数決の結果として得られたラベルを、椎間孔の座標と組にして、椎間孔ラベル情報２４３として配列Ｌ［：］に代入する。例えば、処理回路１１は、ランドマーク情報に含まれる椎体のランドマークごとに椎体と椎間孔との対応付けを決定し、椎体のランドマークごとに決定した複数の対応付けに対して、対応付け頻度に基づく多数決を行うことで、椎間孔ラベル情報を推定する。

図１０Ａを用いて、椎間孔ラベルを推定する方法を具体的に説明する。図１０Ａは、１つの椎体に２つ（Ｔ６とＴ７）のランドマークが検出された場合を例示している。図１０Ａにおいて、注目する椎体ｒがＴ３、Ｔ４、Ｔ５、Ｔ６の場合、ステップＳ３０８の処理において、処理回路１１は、ラベル決定表２４５の（背景灰色な）１段目の要素にＴ３を代入する。一方、注目する椎体ｒがＴ７、Ｔ８の場合、ステップＳ３０８の処理において、処理回路１１は、ラベル決定表２４５の（背景灰色な）１段目の要素にＴ４を代入する。このとき、ステップＳ３１０の多数決処理において、処理回路１１は、頻度の高いＴ３を選択して、椎間孔のラベル情報２４６の（背景灰色な）１段目の要素に、Ｔ３を代入する。このように、１つの椎体に複数個のランドマークが重複して検出された場合でも、より確からしい椎間孔ラベル情報を得ることができる。

同様に、図１０Ｂを用いて、椎間孔ラベルを推定する方法を説明する。図１０Ｂは、１つの椎体（Ｔ６）でランドマークが検出されなかった場合を例示している。図１０Ｂにおいて、注目する椎体ｒがＴ３、Ｔ４、Ｔ５、Ｔ７、Ｔ８の場合、ステップＳ３０８の処理では、処理回路１１は、ラベル決定表２４５の（背景灰色な）４段目にＴ６を代入する。このとき、処理回路１１は、ステップＳ３１０においてＴ６を選択し、椎間孔のラベル情報２４６の（背景灰色な）４段目にＴ６を代入する。 このように、ランドマークが検出されていない椎体がある場合でも、前後のランドマークから補って椎間孔ラベル情報を得ることができる。

図１１は、椎骨ラベル算出工程２５のデータフロー図である。図１２は、椎骨ラベル算出工程２５を示すフローチャートである。椎骨ラベル算出工程２５において、処理回路１１は、以下の処理を行うことで椎骨ラベルを算出する。例えば、処理回路１１は、図１１及び図１２に示すように、椎間孔ラベル情報に基づく椎間孔の位置間の中点を、対応する椎骨ラベル情報の位置として算出する。

ステップＳ４００において、処理回路１１は、椎間孔ラベル推定工程２４で得られた椎間孔ラベル情報２４３を読み込む。

ステップＳ４０１からステップＳ４０３において、処理回路１１は、画像２５１に示すように、各椎間孔の間の中点を算出し、それぞれ椎骨ラベル（Ｋ［：］）の座標値とする。ここで、ステップＳ４０２において、処理回路１１は、椎骨ラベル（Ｋ［：］）の夫々に、直下の椎間孔ラベルと同じラベルを付与する。ただし、図１６に示すように頚椎では椎骨ラベルと椎間孔ラベルとの間の対応関係が胸椎や腰椎とは異なるため、処理回路１１は、ステップＳ４０３において、ステップＳ４０２で椎骨ラベルに付与したＣ２からＣ８のラベルを、それぞれＣ１からＣ７に置換する処理を行う。以上の処理により、処理回路１１は、最終的に、椎骨ラベル情報２５２（Ｋ［：］）を得る。

なお、本実施形態では、各椎間孔の間の中点を算出することで椎骨ラベルの座標値を算出したが、椎間孔ラベル推定工程２４で用いた「脊柱管の中心線上に対応付けた仮のランドマークの座標値」を記憶しておき、中点の代わりに用いても良い。

また、椎骨ラベル情報は、夫々の椎骨の代表位置と、それがいずれの椎骨かを表すラベル（識別子）の組ではなく、別の形態でもよい。例えば、夫々の椎骨を分離してセグメンテーションした画像に対し、夫々の椎骨領域に対して椎骨のラベルをボクセル値として付与したラベル画像の表現であってもよい。この場合、夫々の椎骨領域に対して、上記で求めた椎骨の代表位置の中から最も近いものを選択（対応付け）し、そのラベル値を付与すればよい。

また、本実施形態では、椎体ランドマークを画像処理装置１０の外部から取得する構成を説明したが、画像処理装置１０自体（第２の取得機能１１ｃ）が機械学習による椎体ランドマーク抽出機能を備え、その抽出結果を用いることでも同様の効果を得ることができる。このとき、機械学習による椎体ランドマークの抽出は、例えば、非特許文献２の方法で実施できる。

上述したように、第１の実施形態によれば、第１の取得機能１１ｂは、３次元の医用画像から椎間孔の位置を取得する。第２の取得機能１１ｃは、医用画像の椎骨に関連するランドマーク情報を取得する。推定機能１１ｄは、椎間孔の位置とランドマーク情報との対応付けを複数個用いて、椎間孔ラベル情報を推定する。算出機能１１ｅは、椎間孔ラベル情報に基づいて、椎骨ラベル情報を算出する。したがって、第１の実施形態に係る画像処理装置１０は、機械学習等で得られたランドマークの精度が低い場合でも、椎骨に高い精度でラベル付けすることを可能にする。

また、第１の実施形態によれば、推定機能１１ｄは、椎間孔に対する複数個のランドマーク情報との対応付けに基づく多数決を用いて椎間孔ラベル情報を推定する。したがって、第１の実施形態に係る画像処理装置１０は、ランドマークの精度が低い場合でも、椎間孔に高い精度でラベル付けすることを可能にする。

また、第１の実施形態によれば、推定機能１１ｄは、ランドマーク情報に含まれる椎体のランドマークごとに椎体と椎間孔との対応付けを決定し、椎体のランドマークごとに決定した複数の対応付けに対して、対応付け頻度に基づく多数決を行うことで、椎間孔ラベル情報を推定する。したがって、第１の実施形態に係る画像処理装置１０は、椎間孔に高い精度でラベル付けすることを可能にする。

また、第１の実施形態によれば、算出機能１１ｅは、椎間孔ラベル情報に基づく椎間孔の位置間の中点を、対応する椎骨ラベル情報の位置として算出する。したがって、第１の実施形態に係る画像処理装置１０は、椎骨ラベルの位置を高い精度で算出することを可能にする。

また、第１の実施形態によれば、第１の取得機能１１ｂは、医用画像に含まれる脊柱管に対する膨張処理結果と医用画像との重畳領域と、脊柱管に対応する領域とに基づいて、椎間孔の位置を取得する。したがって、第１の実施形態に係る画像処理装置１０は、医用画像内の椎間孔の位置を高い精度で取得することを可能にする。

また、第１の実施形態によれば、第１の取得機能１１ｂは、椎間孔の解剖学的構造に基づいて、椎間孔の位置を補正する。したがって、第１の実施形態に係る画像処理装置１０は、椎骨の欠損などに起因するノイズを除去することができ、医用画像内の椎間孔の位置をより高い精度で取得することを可能にする。

（第２の実施形態）
本願に係る別の実施形態としては、椎体ランドマーク検出時の検出確信度合いを椎間孔ラベル推定処理に反映させるという実施形態が考えられる。機械学習を用いたランドマーク検出では、検出したランドマークの確からしさを検出確信度としてランドマーク情報に付加して出力することが多い。この確信度を用いることで、確信度の高い椎体ランドマークから椎間孔ラベルを推定することができ、確信度の低い椎体ランドマークに引っ張られてラベル付けが失敗することを避けることが可能である。なお、本実施形態に係る画像処理装置１０の構成はほとんどが第１の実施形態と同様であり、椎間孔ラベル推定工程２４の処理だけが第１の実施形態と異なっている。以下では、第１の実施形態との相違点である椎間孔ラベル推定工程２４の処理についてのみ、詳細を説明する。

第２の実施形態に係る処理回路１１は、椎間孔に対する複数個のランドマーク情報との対応付けに基づく椎体ランドマークの確信度の合計を用いて椎間孔ラベル情報を推定する。図１３は、椎体ランドマークの検出確信度を用いた場合の椎間孔ラベル推定工程２４を示すフローチャートである。図１４は、椎体ランドマークの検出確信度を用いた場合の椎間孔ラベルを推定する方法を具体的な例で説明した図である。図１５は、第２の実施形態に係る確信度への重み付け関数を示す図である。図１３において、ステップＳ３００からＳ３０６までは、第１の実施形態と同じ処理である。

ステップＳ５０７において、処理回路１１は、仮のランドマーク情報Ｂ［：］の中から、ラベルがｒに等しい要素を見つけ出し、そのＺ座標値よりＧ［ｊ］のＺ座標値が足側であるかを判定する。ここで、判定がＹｅｓである場合、処理回路１１は、Ｇ［ｊ］が椎体ｒに対応づく椎間孔の位置だと判断して、ステップＳ５０８に処理を進める。

ステップＳ５０８において、処理回路１１は、Ｇ［ｊ］が椎体ｒに対応づく椎間孔の位置だと判断したことに基づく確信度付きの投票処理を行う。具体的には、処理回路１１は、ラベル決定表Ｔのｊ行ｒ列にラベルｒを代入する。また、処理回路１１は、Ｔのｒ列の０行からｊ-１行には、ｒより頭側のラベルを順に代入する。そして、処理回路１１は、Ｔのｒ列のｊ+１行からＧ_ｌｅｎ-１行には、ｒより足側のラベルを順に代入する。

さらに、ステップＳ５０９とＳ５１０において、処理回路１１は、Ｔのｒ列の全ての行に、このランドマークを検出した際の確信度を代入する。そして、ステップＳ３０６の繰り返し処理を終了する。すなわち、ステップＳ５０８～Ｓ５１０の処理は、Ｇ［ｊ］が注目する椎体ｒの直下にあるときにのみ実行される。

なお、ステップＳ５１０において、全ての行に同じ確信度を入れる方法以外にも、確信度に重み付けを加える場合でもよい。図１５は、確信度への重み付け関数の一例を示す図である。図１５に示すように、Ｓ５０７で比較対象とした椎間孔から離れるにしたがって、確信度に掛ける重みを下げた値を入れるという方法も考えられる。

ステップＳ５１１とＳ５１２において、処理回路１１は、Ｇ［：］の夫々について、確信度の合計に基づく椎間孔ラベルの推定処理を行う。具体的には、処理回路１１は、椎間孔（Ｇ［：］）毎にラベル決定表Ｔの中から最も確信度の合計が大きなラベルを探し出し、椎間孔の座標と組にして、椎間孔ラベル情報として配列Ｌ［：］に代入する。

図１４を用いて、椎間孔ラベルを推定する方法の一例を説明する。図１４は、１つの椎体に２つ（Ｔ６とＴ７）のランドマークが検出され、かつ、各ランドマークの確信度２６１が示すように、Ｔ７やＴ８の確信度が高い場合を例示している。図１４において、注目する椎体ｒがＴ３、Ｔ４、Ｔ５、Ｔ６の場合、ステップＳ５０８の処理において、処理回路１１は、ラベル決定表２６２の（背景灰色な）５段目にＴ７を代入する。そして、処理回路１１は、ステップＳ５１０の処理において、ラベル決定表の確信度２６３に示すように、それぞれ、０．３、０．４、０．３、０．２の確信度を代入する。

一方、注目する椎体ｒがＴ７、Ｔ８の場合、ステップＳ５０８の処理において、処理回路１１は、ラベル決定表２６２の（背景灰色な）５段目にＴ８を代入する。そして、処理回路１１は、ステップＳ５１０の処理において、ラベル決定表の確信度２６３に示すように、それぞれ、０．６、０．７の確信度を代入する。このとき、ステップＳ５１２の決定処理において、処理回路１１は、確信度の合計が大きなＴ８を選択して、椎間孔のラベル情報２６４の（背景灰色な）５段目にＴ８を代入する。すなわち、処理回路１１は、椎間孔のラベル情報２６４の（背景灰色な）５段目の候補であるＴ７とＴ８において、Ｔ７の確信度の合計１．２と、Ｔ８の確信度の合計１．３と比較して、確信度の合計が大きなＴ８を選択する。このように、１つの椎体に複数個のランドマークが重複して検出された場合でも、より確からしい椎間孔ラベル情報を得ることが可能である。

上述したように、第２の実施形態によれば、推定機能１１ｄは、椎間孔に対する複数個のランドマーク情報との対応付けに基づく椎体ランドマークの確信度の合計を用いて前記椎間孔ラベル情報を推定する。したがって、第２の実施形態に係る画像処理装置１０は、確信度の低いランドマークによるラベル付けの失敗を避けることを可能にする。

（その他の実施形態）
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、Webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、又は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。

ここで、プロセッサによって実行される画像処理プログラムは、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、この画像処理プログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）－ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、この画像処理プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、この画像処理プログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体から医用情報処理プログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。

また、上述した実施形態において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上述した実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

以上説明した少なくとも一つの実施形態によれば、ランドマークの検出精度が低い場合でも、椎骨に対して高い精度でラベル付けを行うことができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 画像処理装置
１１ａ 制御機能
１１ｂ 第１の取得機能
１１ｃ 第２の取得機能
１１ｄ 推定機能
１１ｅ 算出機能

Claims (10)

1. ３次元の医用画像から椎間孔の位置を取得する第１の取得部と、
   前記医用画像の椎骨に関連するランドマーク情報を取得する第２の取得部と、
   前記椎間孔の位置と前記ランドマーク情報との対応付けを複数個用いて、椎間孔ラベル情報を推定する推定部と、
   前記椎間孔ラベル情報に基づいて、椎骨ラベル情報を算出する算出部と、
   を備える、画像処理装置。
2. 前記推定部は、前記椎間孔に対する複数個の前記ランドマーク情報との対応付けに基づく多数決を用いて前記椎間孔ラベル情報を推定する、請求項１に記載の画像処理装置。
3. 前記推定部は、前記ランドマーク情報に含まれる椎体のランドマークごとに椎体と椎間孔との対応付けを決定し、前記椎体のランドマークごとに決定した複数の対応付けに対して、対応付け頻度に基づく多数決を行うことで、前記椎間孔ラベル情報を推定する、請求項２に記載の画像処理装置。
4. 前記推定部は、前記椎間孔に対する複数個の前記ランドマーク情報との対応付けに基づく椎体ランドマークの確信度の合計を用いて前記椎間孔ラベル情報を推定する、請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記算出部は、前記椎間孔ラベル情報に基づく椎間孔の位置間の中点を、対応する椎骨ラベル情報の位置として算出する、請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 前記第１の取得部は、前記医用画像に含まれる脊柱管に対する膨張処理結果と前記医用画像との重畳領域と、前記脊柱管に対応する領域とに基づいて、椎間孔の位置を取得する、請求項１乃至５のいずれか１つに記載の画像処理装置。
7. 前記第１の取得部は、椎間孔の解剖学的構造に基づいて、前記椎間孔の位置を補正する、請求項６に記載の画像処理装置。
8. ３次元の医用画像から椎間孔の位置を取得し、
   前記医用画像の椎骨に関連するランドマーク情報を取得し、
   前記椎間孔の位置と前記ランドマーク情報との対応付けを複数個用いて、椎間孔ラベル情報を推定し、
   前記椎間孔ラベル情報に基づいて、椎骨ラベル情報を算出する、
   ことを含む、画像処理方法。
9. 請求項８に記載の画像処理方法をコンピュータに実行させる、画像処理プログラム。
10. 請求項９に記載の画像処理プログラムを含む、記憶媒体。

Images