JP2022096047A - 脊柱配列推定装置、方法及びプログラム - Google Patents

脊柱配列推定装置、方法及びプログラム Download PDF

Info

Publication number
JP2022096047A
JP2022096047A JP2020208934A JP2020208934A JP2022096047A JP 2022096047 A JP2022096047 A JP 2022096047A JP 2020208934 A JP2020208934 A JP 2020208934A JP 2020208934 A JP2020208934 A JP 2020208934A JP 2022096047 A JP2022096047 A JP 2022096047A
Authority
JP
Japan
Prior art keywords
spinal column
shape
map
subject
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020208934A
Other languages
English (en)
Other versions
JP7076154B1 (ja
Inventor
裕志 西尾
Hiroshi Nishio
英人 亀嶋
Hideto Kameshima
幸男 佐藤
Yukio Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SPACE VISION KK
Original Assignee
SPACE VISION KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SPACE VISION KK filed Critical SPACE VISION KK
Priority to JP2020208934A priority Critical patent/JP7076154B1/ja
Application granted granted Critical
Publication of JP7076154B1 publication Critical patent/JP7076154B1/ja
Publication of JP2022096047A publication Critical patent/JP2022096047A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】脊柱の配列に歪みがある場合でも、脊柱を基準とした背面の左右対称性の評価に資する情報を提供できるようにする。【解決手段】3次元計測装置10は、被検体の背面の3次元計測を行い、背面形状データを出力する。対称性計算部14は、各点について、背面形状データの各水平断面が示す関数と、それをその点で背面の幅方向に反転した関数と、の相互相関を計算し、それら各点の相互相関の値を平面上に配列したマップを生成する。脊柱配列推定部16は、そのマップから脊柱配列を推定する。出力部18は、マップ、及び推定された脊柱配列を画像として表示出力する。【選択図】図1

Description

本発明は、脊柱診断支援のための脊柱配列を推定する技術に関する。
脊柱側弯症は、通常は真直ぐに並んでいる背骨がねじれて側方もしくは前後方に歪む疾患であり、学校保健安全法において、就学時及び定期検診でのスクリーニングの実施が義務づけられている。第1次検診(学校検診)では全生徒を対象に学校医、検診専門業者、開業医を中心に視診、触診あるいはモアレ検査が行われる。モアレ画像はモアレトポグラフィに基づいて撮影される画像であり、カメラを基準とした等高線状のパターンが表される。健常者の背面立体形状はほぼ左右対称であるため、モアレ画像のパターンもほぼ左右対称となる。一方、脊柱側弯症の患者のモアレパターンは脊柱の歪みの影響により左右の対称性がくずれる。モアレ検診の読影者はこの非対称性を手掛かりとして側弯症の可能性を判定する。陽性の疑いがあると判断された場合は第2次検診(精密検診)に進み、X線撮影を実施して側弯の有無を確定診断する。
モアレ画像は高さのわずかな変化が等高線パターンの大きな変化として表現されるため、高さ方向の表現感度が高い画像といえる。その一方、カメラの位置や被験者のわずかな動きや姿勢にモアレパターンは敏感に影響を受けるため、健常でありながらパターンの非対称性が検知されることがある。そのため側弯症を疑われ、第2次検診に回されて無用なX線撮影が施されることもある。このような偽陽性の判定率は3割程度あり、モアレ検診における重要な問題とされている。
特許文献1には、モアレ画像の読影を自動化する方法が開示されているが、この方法も、上述したモアレパターンの姿勢変化に対する敏感性の問題を免れない。
姿勢変化に対するモアレパターンの敏感性の問題を基本的に解決する方法の一つとして3次元スキャナ等の3次元計測装置で計測される背面の3次元形状情報を利用する方法がある。
例えば特許文献2に開示されたシステムは、被験者の背部を撮影してその3次元データを取得する3次元センサと、被験者の背部について湾曲の程度を測定すべき特徴部位を指定する特徴部位指定部と、該特徴部位指定部で指定された特徴部位について、3次元データに基づいて水平方向の体表面の凹凸状態を検出する凹凸状態検出部と、該凹凸状態検出部による検出結果を表示する表示モニタを備える。
また特許文献3に開示された側弯症診断支援装置は、被験者の背面の3次元形状を示す背面形状情報を取得する第1形状情報取得部と、被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状を示す反射対称情報を取得する第2形状情報取得部と、背面形状情報が示す3次元形状と、反射対称情報が示す3次元形状との偏差の分布を取得する偏差分布取得部と、例えば偏差の分布を表示部に表示させる表示制御部とを備える。
特許第6280676号公報 特許第6132354号公報 特許第6488536号公報
3次元形状情報が背面の立体形状を表現しているとしても、その滑らかに変化する形状に内在する脊柱の形状の特徴、例えば側弯症と診断すべき特徴を有効に抽出することは難しい。健常者であれば基本的には背面立体形状はほぼ左右対称であり、脊柱はその鉛直な対称軸付近に存在する。側弯症の場合はこれから外れるが、水平断面ごとに観測すれば、脊柱付近を対称軸とした左右の対称性は高い。ただし胸部がねじれ、大きく回旋している場合は、左右対称性は減少する。側弯症の第一次検診の目的は側弯症の可能性を正しく検知することであるが、同時に脊柱の配列を背面の外観からできるだけ正確に推定し、コブ(cobb)角の推定に役立つ情報を得ることが重要となる。
背面の3次元形状と、矢状面を基準としてそれと鏡像の関係にある3次元形状と、の偏差の分布は、背面形状の特徴、例えば側弯症の第一次検診に資する特徴を表現する情報となり得る。
しかし、その分布が診断に資する正確なものとなるためには、鏡像の基準となる矢状面が正確に推定される必要がある。背面の3次元形状からの矢状面の推定の誤差が大きいと、この矢状面を用いて求めた偏差の分布は信頼できないものとなる。不正確なものとなり得る。
また、矢状面は平面なので、脊柱の配列が歪んでいる場合、矢状面に脊柱を通らない部分が出てくる。矢状面が脊柱から大きく外れている部分では、脊柱位置ではない場所を基準に背面形状の鏡像が生成されることとなる。そのような部分では、元の背面形状とその鏡像との偏差は、脊柱を基準とした背面形状の左右(すなわち背面の幅の方向)対称性の評価に適したものとはならない。
本発明は、脊柱の配列に歪みがある場合でも、脊柱を基準とした背面の左右対称性の評価に資する情報を提供できる装置、方法を提供することを目的とする。
本発明に係る脊柱配列推定装置は、被検体の3次元的な背面形状を示す情報を取得する手段と、前記背面形状において前記背面の幅の方向及び前記被検体の脊柱の延びる方向をそれぞれx方向及びy方向とし、前記x方向及び前記y方向の両方に垂直な方向をz方向とした場合に、前記背面形状の各点ごとに、その点における前記背面形状の前記x方向に関する対称性を示す指標値を計算する計算手段と、計算された前記各点ごとの前記指標値をxy平面上に配列したマップを生成する手段と、を含む脊柱配列推定装置である。
1つの態様では、前記計算手段は、前記各点ごとに、その点を通る前記y方向に垂直な平面での前記背面形状の断面形状に対応する第1関数と、前記第1関数をその点について前記x方向に反転させることにより形成される第2関数と、の相関を、前記指標値として計算する。
ここで1つの例では、前記計算手段は、前記各点ごとに、その点を通る前記y方向に垂直な平面での前記背面形状の断面形状に対応する第1関数と、前記第1関数をその点について前記x方向に反転させることにより形成される第2関数と、の相関を計算し、その点を含む前記y方向についての所定幅に渡って前記相関を積分した積分結果から前記指標値を計算する。
前記第1関数としては、前記断面形状を周期化することにより連続関数化したものを用いてもよい。特に、前記断面形状の両側の端部に、前記断面形状を前記z方向について反転した形状をそれぞれ平行移動したものの端部を接続することにより前記第1関数を形成してもよい。
また、脊柱配列推定装置は、生成された前記マップに基づいて前記脊柱の配列を推定する推定手段、を更に備えていてもよい。
ここで、前記推定手段は、各被検体についての前記マップと前記配列の真値とを含む学習用データを用いて機械学習を行うことにより構成されるものであってもよい。また、前記推定手段は、前記マップに対して動的計画法を適用することにより前記配列を推定するものであってもよい。
本発明では、3次元的な背面形状の各点で、その点における背面形状のx方向に関する対称性の指標値を計算し、それら各点の指標値を配列したマップを生成する。この方法は、背面形状から推定した矢状面を評価に用いることをしないので、矢状面が正確に推定できない場合、又は、矢状面と脊柱の配列が一致しない場合でも、診断に資する情報を含んだマップを生成することができる。
脊柱配列推定装置の機能構成を例示する図である。 背面に対する座標系の例を示す図である。 ある高さyにおける距離関数とこれをx=ξでx方向について反転した関数を示す図である。 背面形状から体幹部を抽出する方法を説明するための図である。 距離関数が一定区間にしか存在しないことにより生じる問題を説明するための図である。 距離関数を周期化するためのいくつかの方法を例示する図である。 健常者についてのモアレ画像とこれに対応するSCM画像とを例示する図である。 側弯症患者についてのモアレ画像とこれに対応するSCM画像とを例示する図である。 相互相関をy方向に拡張する際のy方向のウインドウを説明するための図である。 コンピュータのハードウエア構成の例を示す図である。
<装置の機能的構成の例>
図1に、本発明に係る脊柱配列推定装置の一実施形態の機能構成を例示する。図示したように、この装置は、3次元計測装置10、前処理部12、対称性計算部14、脊柱配列推定部16及び出力部18を備える。
3次元計測装置10は、被検体(例えば診断対象の患者)の背面の3次元形状を計測する装置である。3次元計測の手法には、三角測量の原理に基づくもの(例えばステレオ法、光切断法、位相シフト法)、TOF(Time of Flight:光飛行時間)に基づくものなど、いくつかの方式があるが、3次元計測装置10はそのいずれの方式を用いるものでもよい。3次元計測装置10が生成する3次元形状データは、特に限定されない。例えば、3次元形状データは、画像内の各画素の奥行き(距離)zの値を持つ距離画像であってもよいし、ワイヤーフレームモデル、メッシュモデル、サーフェイスモデル等の3次元形状モデルの形式のものであってもよい。以下に示す実施形態では、3次元形状データとして距離画像を用いる場合を主たる例にとって説明するが、他の形式の3次元形状データを用いる場合にも同様の処理方法が適用可能である。
前処理部12は、3次元計測装置10から入力される3次元形状データに対して、後の相関マップ生成の演算のための前処理を行う。この前処理は、3次元形状データから背景を除いて被検体背面の体幹部の領域を切り出す処理と、切り出した背面体幹部の3次元形状を背面の幅方向(すなわち水平方向)に周期化する処理とを含む。この前処理については後で詳細な例を説明する。
対称性計算部14は、前処理部12が出力したデータに基づき、背面の各点での背面形状の水平方向についての対称性を示す指標値を計算する。対称性の指標値としては、例えば、背面形状と、その背面形状の水平方向についての鏡像との相関を用いる。この例では、各点について、背面形状とその点についての背面形状の水平方向についての鏡像との相関を求め、その相関をその点における対称性の指標値とする。そして、対称性計算部14は、背面の高さ方向(すなわち鉛直方向)と幅方向(すなわち水平方向)との2次元平面の各点での対称性の指標値を示す指標値マップを生成し、出力する。対称性計算部14が実行する処理については、後で詳しい例を説明する。
脊柱配列推定部16は、指標値マップに基づいて、被検体の脊柱の配列を推定する。この推定の方法には、例えば、機械学習を利用する方法と、DP(すなわち動的計画法)マッチングを用いる方法とがある。脊柱配列推定部16が実行する処理については、後で詳しい例を説明する。
出力部18は、対称性計算部14が生成した指標値マップ、及び、脊柱配列推定部16が推定した脊柱配列を出力する。この出力は、例えば、付属の表示装置の画面に表示することにより行う。また出力部18は、プリンタから印刷出力する方法や、診断情報データベースに例えば被検体のID(患者番号等)に対応付けて登録する方法等の他の方法で、それらの情報を出力する機能を持っていてもよい。
<対称性の計算>
対称性計算部14が実行する対称性計算の例を説明する。ここでは、3次元計測装置10が生成する3次元形状データが距離画像である場合を例にとって説明する。例えば脊柱側弯症の画像診断を想定した場合、3次元計測装置10は立位の被検体(この場合、診断対象の人物)を撮影するので、距離画像のx方向は水平(左右)方向、y方向は垂直(すなわち鉛直)方向に対応する。図2には立っている人の背面110を撮影した画像100を示しており、この例では人の背筋は概ねy方向に延びており、背面の幅方向がx方向に対応する。距離画像の各画素は、xy平面内の座標(x,y)で特定され、画素の値として、仮想的なカメラ視点から対象物の表面(例えば被検体の背面)までの距離、又はこの距離から計算される対象物表面のz座標の値を持つ。以下では、垂直方向の位置(すなわち高さ)yにおける背面形状の水平断面(すなわちzx断面)の形状をz(x)と定義し、これを距離関数と呼ぶ。対称性計算部14は、この距離関数z(x)の左右非対称性を定量的に評価する。
健常者の場合、背面形状は脊柱を中心にして左右対称(すなわち水平方向について対象)なので、その背面形状から生成された距離関数z(x)も脊柱に関して左右対称となる。距離関数z(x)は、脊柱の位置で最も左右対称性が高くなり、脊柱位置から左右方向に離れるに従い左右対称性は低くなると考えられる。
そこで、左右対称性を特徴づける相関関数を定義する。このために、距離関数z(x)と、y軸を中心としてその距離関数を水平方向(すなわちx方向)に反転し、2ξだけ平行移動した距離関数z(-x+2ξ)を考える。図3に示すように、後者の距離関数z(-x+2ξ)は、背面形状を示す前者の距離関数z(x)の、x=ξの位置で水平方向に反転したものとなっている。言い換えれば、z(x)とz(-x+2ξ)はξの位置で左右対称となっている。
そして、それら2つの距離関数のx1からx2までの範囲における相互相関C(ξ)を
Figure 2022096047000002
で求め、これを背面の各点の左右対称性を特徴づける相関関数とする。
ここで、
Figure 2022096047000003
は、相互相関を求める際の関数z(x)及びz(-x+2ξ)それぞれのz方向に対するオフセットを除去するための項である。この項は一般的には以下の式で計算される。
Figure 2022096047000004
ここで、
Figure 2022096047000005
は式(2)で求められる値のほか、例えばz軸方向の最大値と最小値の中間値をとるなどのバリエーションも考えられる。
x1及びx2は、相互相関を求める際のx方向の範囲の両端である。これらの値には、基本的には距離関数z(x)のx方向の最小値および最大値を採用する。しかしこれは一例に過ぎず、別の例として、背面形状の端部のノイズ等の影響を考慮し、以下の3つの例のように背面形状全体よりも狭くした範囲を設定することも考えられる。なお、以下に例示する3つの範囲のうち、(a)及び(b)は、背面形状の水平断面ごと、すなわち各yについての距離関数z(x)ごと、に設定される。
(a)距離関数z(x)の定義域(x軸方向の範囲)を一定割合で狭くした範囲
(b)距離関数z(x)の値域(z軸方向の範囲)が所定の範囲となるようなx1とx2
(c)背面形状全体の各水平断面から特定の水平断面(例えばx方向の幅が最大となる水平断面)を選択し、その水平断面において上記(a)又は(b)で決定された範囲を、その他の全ての水平断面にも適用
なお、当然上記(a)~(c)の複合条件(例えば論理積ANDまたは論理和ORでの組合せ)を用いてもよい。
相互相関C(ξ)は、距離関数z(x)の左右対称性が高いほど鋭いピークをもち、そのピークの位置はその距離関数の形状の左右対称軸の位置を表す。そして、脊柱はその位置の付近に存在すると推定される。
そこで、対称性計算部14は、背面形状の左右対称性を示す情報として、背面上の各点での上述した相関を計算する。
<前処理1:背面形状の抽出>
3次元計測装置10が生成した距離画像には、目的とする被検体の背面以外に、被検体の腕や背景等の情報が含まれる。そこで、前処理部12は、その距離画像から、必要な背面の部分の情報を抽出する。
背景の削除には、公知の様々な手法が利用できる。例えば、3次元計測装置10のカメラに対して被検体の立ち位置を固定的に定めておき、距離についての閾値により被検体と背景を分ける方法を用いてもよい。
また別の例として、被検体がいない状態で背景の壁面等の形状又はテクスチャをあらかじめ撮影しておき、被検体がいる状態の撮影により得られた距離画像から、その形状又はテクスチャで特定される背景の部分を削除してもよい。
更に別の例では、被検体の立ち位置に相当する場所にあらかじめ平面等の基準物体を置いて3次元計測装置10に撮影させることで被検体の立ち位置を3次元計測装置10に認識させる。そして、実際の被検体を撮影したときの距離画像から、その立ち位置よりもカメラから遠い部分を背景として削除する。
また更に別の例として、3次元計測装置10の撮影範囲内に何も置かないか、背景の壁面を3次元計測装置10のカメラで計測できない特定の色にすることで、はじめから背景の3次元形状が得られないようにしてもよい。
また、腕等の情報を削除して、目的とする体幹部の情報を抽出する方法としては、例えば次のような方法がある。
この方法では、前処理部12は、背景を削除済みの距離画像から、x方向に形状が連続している(すなわち、脇で形状が分断されていない)領域のうち、x方向の幅が最大の部分を特定し、その部分の幅Wと、その部分のx方向についての中央位置Cを求める(図4参照)。そして、予め定められた定数k(0<k≦1)を用いて、背景削除済みの距離画像のうち、中央位置Cを中心に幅kW内のデータのみ残し、それ以外を削除する。すなわち、
C-kW/2 < x < C+kW/2
となるx座標の範囲のみを残す。
<前処理2:距離関数の周期化>
背面形状を示す距離関数z(x)はある一定区間にしか存在しないので、左右の不連続な端点の処理が必要である。すなわち、図5に示すように、元の断面形状である距離関数z(x)の値は式(1)の積分範囲であるx1からx2までの範囲全体にわたって存在するが、それをx=ξで左右反転した形状を示す関数z(-x+2ξ)は右端側に値が存在しない領域がある。この値が存在しない領域については、式(1)の計算ができない。
この問題を回避するために、本実施形態では、距離関数z(x)を循環的に周期化させて連続関数化する。
このような周期化の方法のいくつかの例を、図6を参照して説明する。図6の(A)には元々の距離関数z(x)の例を示す。
図6の(B)は、距離関数z(x)のコピーを平行移動して元の距離関数の両端に連結する方法を示し、(C)は、距離関数z(x)を左右反転(すなわちx方向について反転)したものを元の距離関数の両端に連結する方法を示す。また、(D)は、距離関数z(x)を上下反転(すなわちz方向について反転)したものを元の距離関数の両端に連結する方法を示し、(E)は、距離関数z(x)を左右反転し更に上下反転したものを元の距離関数の両端に連結する方法を示す。これらいずれかの方法で距離関数z(x)を周期関数化することにより、積分範囲[x1,x2]の全域にわたって式(1)の積分が可能になる。
前処理部12は、例えば、これら(B)~(D)に例示したいずれかの方法を用いて距離関数z(x)を循環的に周期化する。特に、(D)に示した方法で周期化した距離関数は、他の方法で周期化した距離関数と比べて、左右方向の中央位置で左右反転した関数との差が少ないので、相互相関の計算に適している。
前処理部12は、以上に例示した方法で、3次元計測装置10が出力した距離画像から体幹部の背面形状の部分のみを取り出し、それらをx方向に沿って両端部から拡張して周期化する。対称性計算部14は、このように周期化された距離画像のy位置ごとの断面の関数を距離関数z(x)として、上述した式(1)を用いて相互相関C(ξ)を計算する。
<マップの生成>
次に、対称性計算部14が生成する相互相関のマップについて説明する。
対称性計算部14は、式(1)に従って計算した相互相関C(ξ)を元々の距離画像と対応するように行列に写像する。この行列を
Figure 2022096047000006
とすると、
Figure 2022096047000007
と定義できる。ここでW及びHは、周期関数化する前の元々の距離画像の幅及び高さである。このように定義した行列Mを、以下ではSCM(self Symmetric Correlation Map:自己対称相関マップ )と呼ぶ。
図7Aに健常者、図7Bに側弯症患者の、背面のモアレ画像(左側)とSCM画像(右側)を例示する。SCM画像は、SCMの値を輝度に変調し、画像としたものである。SCMの値すなわち相互相関の値が高いほど輝度が高い。
なお、SCMをI(x,y)と表現した場合、x、yの各座標は、単純に3次元計測装置10により撮影された距離画像の画素単位系としてもよいし、3次元形状の座標系において一定の長さ間隔(例えば1mm間隔)でマッピングしてもよい。例えば3次元形状で10mm離れた2点は、SCM上で例えば10画素離れるようにマッピングする。このようにすると、生成されたSCM内の被検体の大きさは、これを生成する際の仮想的なカメラ位置に依存せず背面形状の大きさに比例する。このため、SCMを使った機械学習(これについては後で例を挙げる)において結果が安定する。また、画像スケールの正規化ステップが減るなどの効果が期待できる。
<相関計算上の工夫>
ヒト等の脊椎動物の背面形状は一般的に滑らかである。しかし、3次元計測装置10の解像度が低い場合や測定ノイズ等の影響により、隣り合うy位置同士の間でSCMの段差が顕著になる場合がある。このようなことを避けるために、相互相関C(ξ)の計算において、注目するy位置の距離関数z(x)だけでなく、y方向についてのその前後の範囲の距離関数を考慮に入れてもよい。
例えば、図8に例示するように、y位置を中心としてy方向について幅(y2-y1)=2hのウインドウを定義する。y1=y-h、y2=y+hである。そのウインドウ内の相互相関C(ξ)を平均したものを、そのy位置の左右対称性の指標値の関数としてもよい。すなわち、この例では、例えば、
Figure 2022096047000008
で定義される関数D(ξ)を、相互相関C(ξ)の代わりに、座標(ξ,y)における背面の左右対称性の指標値として用いる。これにより、y方向に沿った指標値の変化が滑らかになる。この例では、D(ξ)をC(ξ)の代わりに式(3)及び(4)に適用して得られた行列Mを、SCMとして用いる。
<脊柱配列推定部の処理>
脊柱配列推定部16は、上述のようにして得られたSCMを用いて、被検体の脊柱配列を推定する。推定する脊柱配列は、xy平面上の各y位置での脊柱のx位置の配列である。推定した脊柱配列は、脊柱側弯症に罹患しているかどうかのスクリーニングおよびその重症度の診断に役立つ情報となる。
以下、脊柱配列推定部16が実行する推定の方法を例示する。
SCMを入力とした脊柱配列の推定関数をψとすると、これにより推定される脊柱配列Sは
Figure 2022096047000009
と表現できる。
推定関数ψは、例えばDP(動的計画法)による最短経路問題として解ける。この方法では、SCM:M(=式(3)及び(4)に示した行列)に対して、以下の最適化問題を定式化する。
Figure 2022096047000010
ここでHは、SCM:Mのy方向の大きさ(すなわち高さ)である。この最適化問題は、式(7)で定義されるFを最大化するx座標配列{χ1, χ2, … χH}(式(8))を求めるものである。つまりSCM:Mを上から下まで辿る無数の経路のうち、経路上の
Figure 2022096047000011
の合計が最も大きくなるような経路を求めるという問題である。式(9)は、隣接する水平断面間のx座標の差が±1以内であるという制約条件である。これは、求められる経路が急激に変化しないようにするためのものである。
脊柱配列推定部16は、以上に示したx座標配列{χ1, χ2, … χH}についての最適化問題を、周知のDPの方法で解く。この結果得られるx座標配列{χ1, χ2, … χH}の最適解が、脊柱配列Sの推定結果である。
なお、演算に要する時間を厭わなければ、上述した最適化問題を全探索により解いてもよい。
また、別の例として、脊柱配列推定部16は、機械学習を利用するものであってもよい。この例では、機械学習の学習用データのセットとして、多くの被検体(例えば人)のSCMと脊柱配列の真値を用意する。脊柱配列の真値は、例えば、その被検体のX線画像や、X線その他のエネルギー放射を用いたCT(コンピュータ断層撮影)データ等から求められる。そして、それら多数の学習用データを用いて、入力されたSCMに対して脊柱配列の真値を出力するよう脊柱配列推定部16を学習させる。この場合、脊柱配列推定部16は、例えば、深層学習NN(ニューラルネットワーク)等のNNで構成されていてもよい。また、NN以外の機械学習可能な仕組みを用いて脊柱配列推定部16を構成してもよい。学習により脊柱配列推定部16内に推定関数ψが(例えばNNの各層間の各結合の重みの集合として)構成される。
診断時には、学習済みの脊柱配列推定部16に対して、診断対象の被検体の撮影により得られたSCMを入力する。脊柱配列推定部16は、その入力に対して推定関数ψを適用することにより、被検体の脊柱配列Sを推定し、出力する。
更に別の例として、脊柱配列の推定に、DPと機械学習を組み合わせた手法を用いてもよい。この例では、機械学習の学習用データのセットとして、被検体ごとに、脊柱配列の真値、SCM、及びそのSCMからDPにより推定された脊柱配列Sの三つ組を用意する。そして、SCM及びDPによる脊柱配列の推定結果を入力とし、脊柱配列の真値を教師データとして、脊柱配列推定部16に機械学習を実行させる。これにより脊柱配列推定部16内に推定関数ψが構成される。
診断時には、脊柱配列推定装置は、診断対象の被検体を撮影して得た3次元形状データからSCMを求め、そのSCMからDPにより脊柱配列を推定する。そして、そのSCMと脊柱配列の推定値を、脊柱配列推定部16内の推定関数ψを担う部分に入力する。その部分は、その入力に対して推定関数ψを適用することにより、被検体の脊柱配列Sを推定し、出力する。
<出力部の処理>
出力部18は、対称性計算部14が計算した、背面の左右対称性のマップ(例えば前述のSCM)を画像化し、表示出力する機能を備える。図7A,図7Bに示したSCM画像がその一例である。
また出力部18は、脊柱配列推定部16による脊柱配列Sの推定結果を表示出力する機能を備えていてもよい。この表示では、脊柱配列Sの推定結果、すなわちy値ごとのx座標{χ1, χ2, … χH}を、xy平面上に例えば点でプロットする。また、3次元計測装置10のカメラが撮影した被検体の背面の画像上に、それら点の列を重畳して表示してもよい。
以上に説明した脊柱配列推定装置は、例えば、汎用のコンピュータを用いて構成される。図9に例示するように、その装置のベースとなるコンピュータは、プロセッサ202、ランダムアクセスメモリ(RAM)等のメモリ(主記憶装置)204、フラッシュメモリやSSD(ソリッドステートドライブ)、HDD(ハードディスクドライブ)等の不揮発性記憶装置である補助記憶装置206を制御するコントローラ、各種の入出力装置208とのインタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース210等が、例えばバス212等のデータ伝送路を介して接続された回路構成を有する。上記実施形態の処理の内容が記述されたプログラムが、ネットワーク等を経由してそのコンピュータにインストールされ、補助記憶装置206に記憶される。補助記憶装置206に記憶されたプログラムが、プロセッサ202によりメモリ204を用いて実行されることにより、上記実施形態の情報処理装置が構成される。
以上に説明した実施の形態は、あくまで一例に過ぎない。特許請求の範囲に記載した発明の範囲内で、様々な変形や改良があり得る。
例えば、以上の説明では、高さyにおける背面形状の水平断面(すなわちzx断面)の形状を距離関数z(x)と定義していたが、これを水平断面に対してある角度θを持った断面の形状zy,θ(x)としてもよい。
このθは、例えば一旦距離関数z(x)により脊柱配列を求め、その脊柱配列に直交するような平面を表す角度とすることもできる。
またはθを0度~180度の間で変化させた場合に、式(1)のCy(ξ)が最も高くなるθをその(ξ,y)における角度として採用してもよい。
10 :3次元計測装置
12 :前処理部
14 :対称性計算部
16 :脊柱配列推定部
18 :出力部
本発明に係る脊柱配列推定装置は、被検体の3次元的な背面形状を示す情報を取得する手段と、前記背面形状において前記背面の幅の方向及び前記被検体の脊柱の延びる方向をそれぞれx方向及びy方向とし、前記x方向及び前記y方向の両方に垂直な方向をz方向とした場合に、前記背面形状の各点ごとに、その点を通る前記y方向に垂直な平面での前記背面形状の断面形状に対応する第1関数と、前記第1関数をその点について前記x方向に反転させることにより形成される第2関数と、の相関を示す指標値を計算する計算手段と、計算された前記各点ごとの前記指標値をxy平面上に配列したマップを生成する手段と、を含む脊柱配列推定装置である。

Claims (10)

  1. 被検体の3次元的な背面形状を示す情報を取得する手段と、
    前記背面形状において前記背面の幅の方向及び前記被検体の脊柱の延びる方向をそれぞれx方向及びy方向とし、前記x方向及び前記y方向の両方に垂直な方向をz方向とした場合に、前記背面形状の各点ごとに、その点における前記背面形状の前記x方向に関する対称性を示す指標値を計算する計算手段と、
    計算された前記各点ごとの前記指標値をxy平面上に配列したマップを生成する手段と、
    を含む脊柱配列推定装置。
  2. 前記計算手段は、前記各点ごとに、その点を通る前記y方向に垂直な平面での前記背面形状の断面形状に対応する第1関数と、前記第1関数をその点について前記x方向に反転させることにより形成される第2関数と、の相関を、前記指標値として計算する、
    ことを特徴とする請求項1に記載の脊柱配列推定装置。
  3. 前記第1関数は、前記断面形状を周期化することにより連続関数化したものである、請求項2に記載の脊柱配列推定装置。
  4. 前記第1関数は、前記断面形状の両側の端部に、前記断面形状を前記z方向について反転した形状をそれぞれ平行移動したものの端部を接続することにより形成される、請求項3に記載の脊柱配列推定装置。
  5. 生成された前記マップに基づいて前記脊柱の配列を推定する推定手段、を更に備える請求項1~4のいずれか1項に記載の脊柱配列推定装置。
  6. 前記推定手段は、各被検体についての前記マップと前記配列の真値とを含む学習用データを用いて機械学習を行うことにより構成される、ことを特徴とする請求項5に記載の脊柱配列推定装置。
  7. 前記推定手段は、前記マップに対して動的計画法を適用することにより前記配列を推定する、ことを特徴とする請求項5に記載の脊柱配列推定装置。
  8. 前記マップに対して動的計画法を適用することにより前記脊柱の推定配列を求める第2推定手段を更に含み、
    前記推定手段は、各被検体についての、前記マップと、前記配列の真値と、前記マップから前記第2推定手段が求めた前記推定配列と、を含む学習用データを用いて機械学習を行うことにより構成され、
    前記推定手段に対して、前記被検体の前記背面形状から求められた前記マップと、このマップから前記第2推定手段が求めた前記推定配列と、を入力することにより、前記推定手段が前記被検体についての前記配列を出力する、
    ことを特徴とする請求項5に記載の脊柱配列推定装置。
  9. 被検体の3次元的な背面形状を示す情報を取得し、
    前記背面形状において前記背面の幅の方向及び前記被検体の脊柱の延びる方向をそれぞれx方向及びy方向とし、前記x方向及び前記y方向の両方に垂直な方向をz方向とした場合に、前記背面形状の各点ごとに、その点における前記背面形状の前記x方向に関する対称性を示す指標値を計算し、
    計算された前記各点ごとの前記指標値をxy平面上に配列したマップを生成する、
    ことを特徴とする脊柱配列推定方法。
  10. コンピュータに、
    被検体の3次元的な背面形状を示す情報を取得する処理、
    前記背面形状において前記背面の幅の方向及び前記被検体の脊柱の延びる方向をそれぞれx方向及びy方向とし、前記x方向及び前記y方向の両方に垂直な方向をz方向とした場合に、前記背面形状の各点ごとに、その点における前記背面形状の前記x方向に関する対称性を示す指標値を計算する処理、
    計算された前記各点ごとの前記指標値をxy平面上に配列したマップを生成する処理、
    を実行させるためのプログラム。
JP2020208934A 2020-12-17 2020-12-17 脊柱配列推定装置、方法及びプログラム Active JP7076154B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020208934A JP7076154B1 (ja) 2020-12-17 2020-12-17 脊柱配列推定装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020208934A JP7076154B1 (ja) 2020-12-17 2020-12-17 脊柱配列推定装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP7076154B1 JP7076154B1 (ja) 2022-05-27
JP2022096047A true JP2022096047A (ja) 2022-06-29

Family

ID=81753567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020208934A Active JP7076154B1 (ja) 2020-12-17 2020-12-17 脊柱配列推定装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7076154B1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150303A (ja) * 2000-08-14 2002-05-24 Siemens Corporate Res Inc デジタルラジオグラフィにおける脊椎軸及び脊椎境界の自動検出
US20110249876A1 (en) * 2004-11-10 2011-10-13 Agfa Healthcare Method of performing measurements on digital images
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP2018068362A (ja) * 2016-10-24 2018-05-10 株式会社エーアンドエーシステム 測定装置、及び測定方法
JP2019032292A (ja) * 2017-08-09 2019-02-28 株式会社ノア 対称性可視化装置、対称性可視化方法及びプログラム
JP2020074876A (ja) * 2018-11-07 2020-05-21 株式会社スペースビジョン 脊椎骨姿勢推定装置
JP2020091761A (ja) * 2018-12-07 2020-06-11 株式会社スペースビジョン 画像生成装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150303A (ja) * 2000-08-14 2002-05-24 Siemens Corporate Res Inc デジタルラジオグラフィにおける脊椎軸及び脊椎境界の自動検出
US20110249876A1 (en) * 2004-11-10 2011-10-13 Agfa Healthcare Method of performing measurements on digital images
WO2017141958A1 (ja) * 2016-02-15 2017-08-24 学校法人慶應義塾 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP2018068362A (ja) * 2016-10-24 2018-05-10 株式会社エーアンドエーシステム 測定装置、及び測定方法
JP2019032292A (ja) * 2017-08-09 2019-02-28 株式会社ノア 対称性可視化装置、対称性可視化方法及びプログラム
JP2020074876A (ja) * 2018-11-07 2020-05-21 株式会社スペースビジョン 脊椎骨姿勢推定装置
JP2020091761A (ja) * 2018-12-07 2020-06-11 株式会社スペースビジョン 画像生成装置

Also Published As

Publication number Publication date
JP7076154B1 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
US11017547B2 (en) Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning
Douglas Image processing for craniofacial landmark identification and measurement: a review of photogrammetry and cephalometry
US8823775B2 (en) Body surface imaging
JP5685133B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
US7899220B2 (en) Time-dependent three-dimensional musculo-skeletal modeling based on dynamic surface measurements of bodies
CN108697375A (zh) 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序
JP4929828B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
JP6741305B2 (ja) 脊椎骨姿勢推定装置
JP6304970B2 (ja) 画像処理装置、画像処理方法
CN109661682B (zh) 基于图像的诊断系统
CN103222848A (zh) 图像处理设备和图像处理方法
KR102357001B1 (ko) 3차원 심도 카메라를 이용한 척추 측만 진단 방법 및 시스템
US20220207771A1 (en) Heart Position Estimation
JP6441581B2 (ja) フレキシブルディスプレイの曲げモーションに対する光検出
CN107374638A (zh) 一种基于双目视觉模块的身高测量系统及方法
Ge et al. Automatic measurement of spinous process angles on ultrasound spine images
JP7076154B1 (ja) 脊柱配列推定装置、方法及びプログラム
JP2012061019A (ja) 画像処理装置、方法およびプログラム
JP2011160824A (ja) 脊椎湾曲症判定支援装置
JP6765130B2 (ja) 画像生成装置
JP5738229B2 (ja) 内臓脂肪シミュレーション装置及びプログラム
JP6868233B2 (ja) 対称性可視化装置、対称性可視化方法及びプログラム
Ðonlić et al. 3D sensing of back symmetry curve suited for dynamic analysis of spinal deformities
Qian et al. Automatic 3D ultrasound modeling imaging for spine deformity using neural networks
CN117095137B (zh) 基于双路图像采集的医疗图像的三维成像方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220510

R150 Certificate of patent or registration of utility model

Ref document number: 7076154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350