JP2014028149A - ３次元データ処理装置、３次元データ処理方法及びプログラム - Google Patents

３次元データ処理装置、３次元データ処理方法及びプログラム Download PDF

Info

Publication number
JP2014028149A
JP2014028149A JP2013169902A JP2013169902A JP2014028149A JP 2014028149 A JP2014028149 A JP 2014028149A JP 2013169902 A JP2013169902 A JP 2013169902A JP 2013169902 A JP2013169902 A JP 2013169902A JP 2014028149 A JP2014028149 A JP 2014028149A
Authority
JP
Japan
Prior art keywords
data
dimensional shape
tomographic image
shape data
image group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013169902A
Other languages
English (en)
Other versions
JP5904976B2 (ja
Inventor
Takaaki Endo
隆明 遠藤
Shinji Uchiyama
晋二 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013169902A priority Critical patent/JP5904976B2/ja
Publication of JP2014028149A publication Critical patent/JP2014028149A/ja
Application granted granted Critical
Publication of JP5904976B2 publication Critical patent/JP5904976B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Eye Examination Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】歪みが小さく高画質な３次元形状データの復元を実現する。
【解決手段】複数枚の断層画像からなる第１の断層画像群のデータと、当該第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力部１２１と、第１の断層画像群から第１の３次元形状データを復元するとともに、第２の断層画像群から第２の３次元形状データを復元する３次元形状復元部と、第１の３次元形状データ及び第２の３次元形状データの各３次元形状データにおける複数の位置の確からしさを推定する確からしさ推定部１２３と、当該推定された各３次元形状データにおける複数の位置の確からしさの推定値に基づいて、第１の３次元形状データ及び第２の３次元形状データを１つの３次元形状データに合成する合成処理を行う３次元形状合成部１２４を備える。
【選択図】図１

Description

本発明は、３次元形状データの処理を行う３次元形状データ処理装置及びその処理方法、当該処理方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体に関する。
例えば、医療の分野において、医師は、被検体（被写体）を撮影した医用画像をモニタに表示し、表示された医用画像を読影して、病変部の状態や経時変化を観察する。この際、医用画像の多くに被検体内部の断層画像が用いられている。そして、この断層画像は、例えば、医用画像収集装置（モダリティ）により撮影される。このモダリティとしては、例えば、光干渉断層計（ＯＣＴ：Ｏｐｔｉｃａｌ＿Ｃｏｈｅｒｅｎｃｅ＿Ｔｏｍｏｇｒａｐｈｙ）や、超音波画像診断装置、磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）などが挙げられる。
この際、これらのモダリティで撮影された個々の断層画像を観察するだけでは、病変部の３次元的な形状や拡がりを把握することは困難である。そこで、複数の断層画像群から３次元形状データを復元する試みがなされている。そして、３次元形状データが復元されれば、それに基づく解析や表示を行うことにより、病変部の３次元的な形状や拡がりを容易に把握することができる。
上述したＯＣＴ、ＭＲＩ、Ｘ線ＣＴなどの医用画像収集装置では、複数の断層画像からなる断層画像群が等間隔で撮影されるため、断層画像を単純に積み重ねることによって、３次元形状データを容易に復元することができる。
一方、医用画像収集装置として超音波画像診断装置を用いる場合には、通常、医師や技師が超音波探触子（プローブ）を手に持って自由に動かしながら撮影を行うため、撮影した断層画像が人体を基準とした空間中のどの位置を撮影したものなのかが不明である。そこで、従来、外部センサを用いて超音波探触子の位置・姿勢を計測し、断層画像間の位置関係を求めて、３次元形状データを復元する試みがなされている（例えば、下記の非特許文献１参照）。
この際に問題となるのが、断層画像群を撮影する過程での被検体の動きや、断層画像間の空間的な位置関係の推定誤差などにより、断層画像間に位置ずれが発生し、復元した３次元形状データに歪みが発生することである。図９は、従来例を示し、復元した３次元形状データに発生する歪みの一例を示す模式図である。図９に示す例では、直方体（或いは立方体）の３次元形状データに歪み（変形）が発生した物体が示されている。
そこで、断層画像間の位置ずれを補正することにより、３次元形状データの歪みを軽減する試みがなされている。
例えば、下記の非特許文献２には、ＯＣＴによって眼底部を放射状に撮影した断層画像群の位置ずれの補正を、円筒状に撮影した参照用の１枚の断層画像を用いて行う手法が開示されている。この手法では、両者の交差位置における輪郭線の高さの差異を遺伝的アルゴリズムで最小化することによって、高精度な眼底形状データを得ている。
また、例えば、下記の非特許文献３には、超音波画像診断装置によって撮影した断層画像群の位置ずれの補正を、それらと直交するように撮影した参照用の１枚の断層画像を用いて行う手法が開示されている。この手法では、両者の交線上の画素値の比較に基づいて両者を位置合わせすることにより、超音波断層画像間の位置ずれを補正している。
一方、複数の３次元形状データを合成して画質を向上させる試みもなされている。
例えば、下記の特許文献１には、顕微鏡の合焦面位置を移動させながら、被検体を複数方向から撮像して得た複数の切片像から、高精度な３次元形状データを合成する手法が開示されている。この手法では、光軸方向の空間周波数特性が画像面内方向と比較して劣っているという課題を、異なる光軸方向で得られる切片像を合成するというアプローチで改善している。
また、下記の特許文献２には、被検体を複数方向から走査して得た複数のボリュームデータから、それぞれサーフェスデータを生成し、これらのサーフェスデータを変形して統合する手法が開示されている。この手法でも、走査方向の解像度が画像面内方向と比較して劣っているという課題を、異なる走査方向で得られるデータを相補的に用いるというアプローチで改善している。
また、下記の非特許文献４に開示されている手法では、超音波画像診断装置の３次元プローブによって得られる複数の３次元形状データを合成することにより、３次元形状データの画質を向上させている。
特開平６−２５９５３３号公報 特開２０００−２０７５７４号公報
A. Fenster, "3-Dimensional Ultrasound Imaging," Imaging Economics, 2004. 田中，桧垣，玉木，金田，曽根，三嶋，木内，"放射状断面画像からの眼底ボリュームデータの高精度再構成手法", 画像の認識・理解シンポジウム(MIRU2007), IS-1-03, pp.487-492, 2007. R.F. Chang, W-J. Wu, D-R. Chen, W-M Chen, W. Shu, J-H. Lee, and L-B. Jeng, "3-D US frame positioning using speckle decorrelation and image registration," Ultrasound in Med. & Biol., Vol.29, No.6, pp.801-812, 2003. J.F. Krucker, C.R. Meyer, G.L. LeCarpentier, J.B. Fowlkes, and P.L. Carson, "3D spatial compounding of ultrasound images using image-based nonrigid registration," Ultrasound Med. & Bio., Vol.26, No.9, pp.1475-1488, 2000. E. Rosten and T. Drummond, "Fusing points and lines for high performance tracking," In 10th IEEE International Conference on Computer Vision, vol.2, pp.1508-1515, 2005. 萩原，萩原，小畑，"複数臓器抽出のための3次元Thin-Plate Spline による人体構造のモーフィング", 電子情報通信学会技術研究報告(MI2004-28), vol.104, no.163, pp.1-6, 2004. W.M. Wells III, P. Viola, H. Atsumi, S. Nakajima, and R. Kikinis, "Multi-modal volume registration by maximization of mutual information," Medical Image Analysis, vol.1, no.1, pp.35-51, 1996. Y. Boykov and M-P. Jolly, "Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images," Proc. ICCV2001, vol.I, pp.105-112, 2001. T.W. Sederberg, "Free-form deformation of solid geometric models," Proc. SIGGRAPH'86, vol.20, no.4, pp.151-160, 1986. G. Turk and M. Levoy, "Zippered polygon meshes from range images," Proc. SIGGRAPH '94, pp.311-318, 1994.
しかしながら、上述した非特許文献１や非特許文献２、非特許文献３の手法では、参照画像を撮影する過程での被検体の動きなどにより、参照画像自体に歪みが発生した場合には、それを補正することが困難であった。また、これらの手法は、断層画像間の位置ずれの補正を行うことのみがその目的であり、３次元形状データの画質を向上させるという要求を満たすものではなかった。
また、上述した特許文献１や特許文献２の手法では、被検体が静止していることを前提としているので、例えば被検体が動いた場合には、期待通りの３次元形状データを取得することが困難であった。また、上述した非特許文献４の手法では、それぞれの３次元形状データの取得過程での被検体の動きなどにより、３次元形状データに歪みが発生した場合には、それを補正することが困難であった。
本発明は、このような問題点に鑑みてなされたものであり、歪みが小さく高画質な３次元形状データの復元を実現する３次元形状データ処理装置、３次元形状データ処理方法、プログラム及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
本発明の３次元形状データ処理装置は、複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力手段と、前記第１の断層画像群から第１の３次元形状データを復元するとともに、前記第２の断層画像群から第２の３次元形状データを復元する復元手段と、前記第１の３次元形状データおよび前記第２の３次元形状データの各３次元形状データにおける複数の位置の確からしさを推定する推定手段と、前記推定手段で推定された前記各３次元形状データにおける複数の位置の確からしさの推定値に基づいて、前記第１の３次元形状データおよび前記第２の３次元形状データを１つの３次元形状データに合成する合成処理を行う合成手段とを有する。
本発明の３次元形状データ処理方法は、複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力ステップと、前記第１の断層画像群から第１の３次元形状データを復元するとともに、前記第２の断層画像群から第２の３次元形状データを復元する復元ステップと、前記第１の３次元形状データおよび前記第２の３次元形状データの各３次元形状データにおける複数の位置の確からしさを推定する推定ステップと、前記推定ステップで推定された前記各３次元形状データにおける複数の位置の確からしさの推定値に基づいて、前記第１の３次元形状データおよび前記第２の３次元形状データを１つの３次元形状データに合成する合成処理を行う合成ステップとを有する。
本発明のプログラムは、複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力ステップと、前記第１の断層画像群から第１の３次元形状データを復元するとともに、前記第２の断層画像群から第２の３次元形状データを復元する復元ステップと、前記第１の３次元形状データおよび前記第２の３次元形状データの各３次元形状データにおける複数の位置の確からしさを推定する推定ステップと、前記推定ステップで推定された前記各３次元形状データにおける複数の位置の確からしさの推定値に基づいて、前記第１の３次元形状データおよび前記第２の３次元形状データを１つの３次元形状データに合成する合成処理を行う合成ステップとをコンピュータに実行させるためのものである。
本発明のコンピュータ読み取り可能な記憶媒体は、前記プログラムを記憶する。
本発明によれば、歪みが小さく高画質な３次元形状データを復元することが可能となる。
本発明の第１の実施形態に係る３次元形状データ復元システムの概略構成の一例を示す模式図である。 図１に示す３次元形状データ処理装置のハードウェア構成の一例を示す模式図である。 図１に示す３次元形状データ処理装置による３次元形状データ処理方法の処理手順の一例を示すフローチャートである。 図３のステップＳ１０２における３次元形状データの復元処理の詳細な処理手順の一例を示すフローチャートである。 図３のステップＳ１０３における確からしさの推定処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図３のステップＳ１０５における３次元形状データの合成処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第２の実施形態を示し、図３のステップＳ１０４における３次元形状データの合成処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第３の実施形態を示し、図３のステップＳ１０４における３次元形状データの合成処理の詳細な処理手順の一例を示すフローチャートである。 従来例を示し、復元した３次元形状データに発生する歪みの一例を示す模式図である。
以下に、図面を参照しながら、本発明を実施するための最良の形態（実施形態）について説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
第１の実施形態に係る３次元形状データ処理装置（３次元形状データ復元装置）は、３次元形状データとして、３次元のボクセルメッシュを構成する各ボクセルに輝度値が格納されたボリュームデータ（以下、「輝度値配列データ」とする）を復元するものである。本実施形態では、２つの輝度値配列データを入力として、輝度値配列データ中の特徴点同士の対応付けに基づいてこれらの輝度値配列データを合成し、１つの輝度値配列データを生成する。以下、本実施形態に係る３次元形状データ処理装置及び３次元形状データ処理方法について説明する。
図１は、本発明の第１の実施形態に係る３次元形状データ復元システム１００の概略構成の一例を示す模式図である。
図１に示すように、３次元形状データ復元システム１００は、医用画像収集装置１１０と、３次元形状データ処理装置１２０を有して構成されている。
医用画像収集装置１１０は、例えば、医用画像として、眼底等の断層画像の撮影を行う光干渉断層計（ＯＣＴ）を具備する装置である。この医用画像収集装置１１０は、被検体（被写体）の断層画像を複数枚ずつ２回撮影して２つの断層画像群を得る。即ち、ここでは、１回の撮影により得られた複数枚の断層画像を第１の断層画像群とし、２回の撮影により得られた複数枚の断層画像を第２の断層画像群とする。この際、医用画像収集装置１１０は、第１の断層画像群と第２の断層画像群とが、それぞれの少なくとも一部の断層画像における法線の向きが略９０度異なるようにする。
３次元形状データ処理装置１２０は、医用画像収集装置１１０と通信可能に接続されており、データ入力部１２１と、３次元形状復元部１２２と、確からしさ推定部１２３と、３次元形状合成部１２４の各機能構成を有して構成されている。
データ入力部１２１は、医用画像収集装置１１０によって得られた２つの断層画像群（第１の断層画像群及び第２の断層画像群）のデータを３次元形状データ処理装置１２０の内部に入力する処理を行う。具体的に、データ入力部１２１は、複数枚の断層画像からなる第１の断層画像群のデータと、第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータを入力する処理を行う。ここで、第１の断層画像群はＮ1枚、第２の断層画像群はＮ2枚の断層画像から構成されるものとする。また、本例では、被検体（被写体）として中心窩を含む眼底の黄班部を撮影するものとする。
また、データ入力部１２１は、医用画像収集装置１１０が出力する、医用画像収集装置１１０が備える撮影部（不図示）の撮影時の位置・姿勢のデータ及び撮影時刻のデータも、３次元形状データ処理装置１２０の内部に入力する処理を行う。ここで、撮影部の位置・姿勢としては、例えば、基準座標系（撮像空間上の１点を原点として定義し、更に互いに直交する３軸をそれぞれＸ軸、Ｙ軸、Ｚ軸として定義した座標系）における位置・姿勢で表されている。なお、撮影部の位置・姿勢のデータ及び撮影時刻のデータは、不図示のキーボードやマウスなどを用いて操作者が入力してもよい。
データ入力部１２１は、医用画像収集装置１１０から出力された２つの断層画像群第１の断層画像群及び第２の断層画像群）を、それぞれ、必要に応じてデジタルデータに変換し、３次元形状復元部１２２に出力する。また、データ入力部１２１は、医用画像収集装置１１０から出力された撮影部の位置・姿勢のデータ、及び、予め算出して記憶された断層画像の撮影部座標系における位置・姿勢のデータに基づいて、各断層画像の基準座標系における位置・姿勢を算出する。そして、データ入力部１２１は、算出した各断層画像の基準座標系における位置・姿勢のデータを、３次元形状復元部１２２及び確からしさ推定部１２３に出力する。ここで撮影部座標系とは、撮影部上の１点を原点として定義し、更に互いに直交する３軸をそれぞれＸ軸、Ｙ軸、Ｚ軸として定義した座標系のことを示す。
さらに、データ入力部１２１は、医用画像収集装置１１０から出力された各断層画像の撮影時刻のデータに基づいて、各断層画像の各画素の撮影時刻のデータを算出して、これを確からしさ推定部１２３に出力する。
３次元形状復元部１２２は、データ入力部１２１から出力された、それぞれの断層画像群のデータと各断層画像の基準座標系における位置・姿勢のデータを入力する。そして、３次元形状復元部１２２は、入力したこれらのデータに基づいて、２つの３次元形状データ（具体的に、本実施形態では２つの輝度値配列データ）を復元し、復元したそれぞれの輝度値配列データを３次元形状合成部１２４に出力する。
確からしさ推定部１２３は、各断層画像の隣接画素間の撮影時間差および／または前記各断層画像における位置・姿勢の計測誤差に基づいて、各３次元形状データにおける複数の位置の確からしさ推定する。本実施形態では、具体的に、確からしさ推定部１２３は、データ入力部１２１から出力された、各断層画像の基準座標系における位置・姿勢のデータ及び各断層画像の各画素の撮影時刻のデータを入力する。そして、確からしさ推定部１２３は、入力したこれらのデータに基づいて、３次元形状復元部１２２で復元される２つの輝度値配列データについて、ボクセルごとに、３軸方向の確からしさを推定する。そして、確からしさ推定部１２３は、推定した３軸方向の確からしさの推定値が各ボクセルに格納された、２つの配列データ（以下、「確からしさ配列データ」とする）を３次元形状合成部１２４に出力する。
３次元形状合成部１２４は、３次元形状復元部１２２の出力である２つの輝度値配列データと、確からしさ推定部１２３の出力である２つの確からしさ配列データを入力する。そして、３次元形状合成部１２４は、入力したこれらのデータに基づいて、２つの輝度値配列データを１つの輝度値配列データに合成し、合成した輝度値配列データを出力する。
なお、図１に示すデータ入力部１２１、３次元形状復元部１２２、確からしさ推定部１２３及び３次元形状合成部１２４の少なくとも一部を、独立した装置として実現してもよい。または、これらを１つもしくは複数のコンピュータにソフトウェアとしてインストールし、当該ソフトウェアをコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各構成部（データ入力部１２１、３次元形状復元部１２２、確からしさ推定部１２３及び３次元形状合成部１２４）は、それぞれ、ソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。
図２は、図１に示す３次元形状データ処理装置１２０のハードウェア構成の一例を示す模式図である。ここで、例えば、図２に示すＣＰＵ２０１とＲＯＭ２０３或いは外部記憶装置２０７に格納されたプログラムとから、図１に示す３次元形状復元部１２２及び確からしさ推定部１２３が構成される。また、例えば、図２に示すＣＰＵ２０１とＲＯＭ２０３或いは外部記憶装置２０７に格納されたプログラム、並びに、通信Ｉ／Ｆ２０９から、図１に示すデータ入力部１２１及び３次元形状合成部１２４が構成される。
図２に示すように、３次元形状データ処理装置１２０は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボード２０４、マウス２０５、表示部２０６、外部記憶装置２０７、記憶媒体ドライブ２０８、通信Ｉ／Ｆ２０９及びバス２１０を有して構成されている。
ＣＰＵ２０１は、３次元形状データ処理装置１２０における動作を統括的に制御するものである。ＣＰＵ２０１は、例えばＲＯＭ２０３或いは外部記憶装置２０７に格納されたプログラムやデータを用いて、バス２１０に接続された各ハードウェア構成（２０２〜２０９）を制御することにより、３次元形状データ処理装置１２０における動作を制御する。
ＲＡＭ２０２は、ＲＯＭ２０３或いは外部記憶装置２０７からロードされたプログラムやデータを一時的に記憶するエリアを備えるとともに、ＣＰＵ２０１が各種の処理を行うために必要とするワークエリアを備える。
ＲＯＭ２０３には、例えば、ＣＰＵ２０１が、図１に示す各機能構成（１２１〜１２４）の機能を実現するために必要なプログラムや設定データなどが格納（記憶）されている。なお、本実施形態においては、例えば、図１に示す各機能構成（１２１〜１２４）の機能を実現するために必要なプログラムが外部記憶装置２０７に格納（記憶）されていてもよい。
キーボード２０４及びマウス２０５は、入力デバイスを構成するものであり、操作者は、これらを用いて、各種の指示をＣＰＵ２０１に入力することができるようになっている。
表示部２０６は、例えばＣＲＴや液晶ディスプレイなどから構成されており、例えば、ＣＰＵ２０１の制御に基づいて、３次元形状の復元のために表示すべきメッセージや３次元形状データに基づく３次元形状画像等を表示する。
外部記憶装置２０７は、例えば、ハードディスクドライブなどの大容量情報記憶装置として機能する装置である。この外部記憶装置２０７には、ＯＳ（オペレーティングシステム）や、ＣＰＵ２０１がＲＯＭ２０３に記憶されているプログラムを実行する際に必要な各種のデータや各種の情報が格納（記憶）されている。なお、上述したように、この外部記憶装置２０７に、図１に示す各機能構成（１２１〜１２４）の機能を実現するために必要なプログラムが格納（記憶）されていてもよい。また、外部記憶装置２０７に記憶されている各種の情報や各種のデータ等は、必要に応じて、ＲＡＭ２０２にロードされる。
記憶媒体ドライブ２０８は、ＣＰＵ２０１からの指示に従って、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されている各種の情報や各種のデータ（更にはプログラム）を読み出して、例えば外部記憶装置２０７に出力する。
通信Ｉ／Ｆ２０９は、例えば、医用画像収集装置１１０と通信接続するためのアナログビデオポート或いはＩＥＥＥ１３９４等のデジタル入出力ポートや、各種のデータ等を外部へ出力するためのイーサネット（登録商標）ポートなどによって構成されている。医用画像収集装置１１０から入力された各種のデータは、通信Ｉ／Ｆ２０９を介して外部記憶装置２０７或いはＲＡＭ２０２に取り込まれる。
バス２１０は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボード２０４、マウス２０５、表示部２０６、外部記憶装置２０７、記憶媒体ドライブ２０８及び通信Ｉ／Ｆ２０９を通信可能に接続するものである。
次に、３次元形状データ処理装置１２０による３次元形状データ処理方法の処理手順について説明する。
図３は、図１に示す３次元形状データ処理装置１２０による３次元形状データ処理方法の処理手順の一例を示すフローチャートである。
まず、ステップＳ１０１において、データ入力部１２１は、医用画像収集装置１１０から出力された、２つの断層画像群（第１の断層画像群及び第２の断層画像群）のデータと、撮影部の位置・姿勢のデータと、各断層画像の撮影時刻のデータの入力処理を行う。この際、データ入力部１２１は、撮影部の位置・姿勢のデータ等に基づいて各断層画像の基準座標系における位置・姿勢を算出するとともに、各断層画像の撮影時刻のデータに基づいて各断層画像の各画素の撮影時刻のデータを算出する処理を行う。
続いて、ステップＳ１０２において、３次元形状復元部１２２は、ステップＳ１０１の処理で得られたデータのうち、２つの断層画像群のデータと各断層画像の基準座標系における位置・姿勢のデータとに基づいて、２つの３次元形状データを復元する処理を行う。具体的に、本実施形態では、２つの輝度値配列データの復元処理を行う。このステップＳ１０２における３次元形状データの復元処理の詳細については、図４を用いて後述する。
続いて、ステップＳ１０３において、確からしさ推定部１２３は、ステップＳ１０１の処理で得られたデータのうち、各断層画像の基準座標系における位置・姿勢のデータ及び各断層画像の各画素の撮影時刻のデータの入力を行う。そして、確からしさ推定部１２３は、入力したこれらのデータに基づいて、３次元形状復元部１２２で復元される２つの３次元形状データ（本実施形態では、輝度値配列データ）について、ボクセルごとに、３軸方向の確からしさを推定する処理を行う。具体的に、ここでは、２つの断層画像群について、復元した３次元形状の３軸方向の確からしさの推定値が各ボクセルに格納された確からしさ配列データを推定する。このステップＳ１０３における確からしさの推定処理の詳細については、図５を用いて後述する。
続いて、ステップＳ１０４において、３次元形状合成部１２４は、ステップＳ１０２で得られた２つの３次元形状データと、ステップＳ１０３で得られた２つの確からしさ配列データに基づいて、２つの３次元形状データを１つの３次元形状データに合成処理する。具体的に、本実施形態では、２つの輝度値配列データを１つの輝度値配列データに合成する合成処理が行われる。そして、３次元形状合成部１２４は、合成した３次元形状データを外部装置へ出力する、或いは、他のアプリケーションから利用可能な状態として例えばＲＡＭ２０２上に格納する。このステップＳ１０４における３次元形状データの合成処理の詳細については、図６を用いて後述する。
以上のステップＳ１０１〜Ｓ１０４の処理を経ることにより、３次元形状データとして輝度値配列データの復元がなされる。
図４は、図３のステップＳ１０２における３次元形状データの復元処理の詳細な処理手順の一例を示すフローチャートである。
この図４に示すフローチャートは、ＣＰＵ２０１が３次元形状復元部１２２の機能を実現するプログラムを実行することにより実現される。なお、図４に示す処理を行う前段階で、図４のフローチャートに従ったプログラムコードは、例えば、ＲＯＭ２０３或いは外部記憶装置２０７からＲＡＭ２０２に既にロードされているものとする。
まず、ステップＳ２０１において、３次元形状復元部１２２は、ステップＳ１０１の処理で得られたデータのうち、２つの断層画像群のデータと、それらを構成する各断層画像の基準座標系における位置・姿勢のデータとを、データ入力部１２１から入力する。
続いて、ステップＳ２０２において、３次元形状復元部１２２は、２つの断層画像群である第１の断層画像群及び第２の断層画像群の処理において、未処理の断層画像群を選択する処理を行う。
続いて、ステップＳ２０３において、３次元形状復元部１２２は、輝度値配列データを格納するための、例えば２５６×２５６×２５６のボクセルからなるボクセルメッシュを生成する処理を行う。ここで、ボクセルメッシュのサイズは、その内部に全ての断層画像が含まれる大きさに設定する。そして、ボクセルメッシュ座標系は、例えば、Ｎ1／２枚目もしくはＮ2／２枚目の断層画像の中央位置を原点として定義し、更に、互いに直交する３軸を基準座標系と一致するように定義する。
続いて、ステップＳ２０４において、３次元形状復元部１２２は、ステップＳ２０１で入力した各断層画像の基準座標系における位置・姿勢のデータに基づいて、各断層画像の各画素のボクセルメッシュ座標系における位置を算出する。
続いて、ステップＳ２０５において、３次元形状復元部１２２は、輝度値配列データの復元処理、即ち、全ボクセルの輝度値の算出処理を行う。ここで、各ボクセルの輝度値は、例えば、注目ボクセルの近傍に位置する複数の画素における輝度値の、ボクセルから各画素までの距離の逆数を重みとした加重平均によって算出する。
続いて、ステップＳ２０６において、３次元形状復元部１２２は、ステップＳ２０５の復元処理で得られた輝度値配列データを３次元形状合成部１２４に出力する処理を行う。
続いて、ステップＳ２０７において、３次元形状復元部１２２は、全ての断層画像群に対して輝度値配列データの復元処理を処理済みであるか否かを判断する。
ステップＳ２０７の判断の結果、全ての断層画像群に対しては輝度値配列データの復元処理を行っていない（未処理の断層画像群がある）場合には、ステップＳ２０２に戻って、未処理の断層画像群の選択処理を行って、ステップＳ２０３以降の処理を再度行う。例えば、ステップＳ２０２の最初の処理で第１の断層画像群の選択処理を行い、その一連の処理が終了した段階の場合には、ステップＳ２０７で否定（ＮＯ）判断されて、ステップＳ２０２に戻り、第２の断層画像群の選択処理が行われることになる。
一方、ステップＳ２０７の判断の結果、全ての断層画像群に対して輝度値配列データの復元処理を処理済みである場合には、図４のフローチャートの処理、即ち、図３のステップＳ１０２の処理を終了する。
以上のステップＳ２０１〜Ｓ２０７の処理を経ることにより、断層画像群ごとに、３次元形状データとして輝度値配列データが復元される。即ち、第１の断層画像群に対応した第１の輝度値配列データ（第１の３次元形状データ）と、第２の断層画像群に対応した第２の輝度値配列データ（第２の３次元形状データ）が復元される。
図５は、図３のステップＳ１０３における確からしさの推定処理の詳細な処理手順の一例を示すフローチャートである。
この図５に示すフローチャートは、ＣＰＵ２０１が確からしさ推定部１２３の機能を実現するプログラムを実行することにより実現される。なお、図５に示す処理を行う前段階で、図５のフローチャートに従ったプログラムコードは、例えば、ＲＯＭ２０３或いは外部記憶装置２０７からＲＡＭ２０２に既にロードされているものとする。
まず、ステップＳ３０１において、確からしさ推定部１２３は、ステップＳ１０１の処理で得られたデータのうち、２つの断層画像群を構成する各断層画像の基準座標系における位置・姿勢のデータ及び各断層画像の各画素の撮影時刻のデータを入力する。具体的に、ここでは、これらのデータをデータ入力部１２１から入力する。
続いて、ステップＳ３０２において、確からしさ推定部１２３は、２つの断層画像群である第１の断層画像群及び第２の断層画像群の処理において、未処理の断層画像群を選択する処理を行う。ここでは、ステップＳ３０１において２つの断層画像群のデータそのものを入力により取得するものではないため、例えば２つの断層画像群を構成する各断層画像の基準座標系における位置・姿勢のデータに基づいて、１つの断層画像群を処理単位として選択する。
続いて、ステップＳ３０３において、確からしさ推定部１２３は、ステップＳ３０２で選択した断層画像群に対応する輝度値配列データを格納するボクセルメッシュと同一の座標系、ボクセル数及びサイズを有する、確からしさ配列データを格納するための３次元ボクセルメッシュを生成する。
続いて、ステップＳ３０４において、確からしさ推定部１２３は、ステップＳ３０１で入力したデータであってステップＳ３０２で選択した断層画像群の各断層画像の基準座標系における位置・姿勢のデータに基づいて、各断層画像の各画素のボクセルメッシュ座標系における位置を算出する。
続いて、ステップＳ３０５において、確からしさ推定部１２３は、ステップＳ３０１で入力したデータであってステップＳ３０２で選択した断層画像群を構成する各断層画像の各画素の撮影時刻のデータに基づき、全てのボクセルについて仮想撮影時刻を算出する。ここで、各ボクセルの仮想撮影時刻は、例えば、注目ボクセルの近傍に位置する複数の画素が撮影された時刻の、ボクセルから各画素までの距離の逆数を重みとした加重平均によって算出する。
続いて、ステップＳ３０６において、確からしさ推定部１２３は、全てのボクセルについて、復元する３次元形状データの３軸方向（例えば、Ｘ軸、Ｙ軸及びＺ軸）の確からしさの推定値を算出する。ここでは、撮影時刻の差が大きいほど、被検体（被写体）の動きによる位置ずれが発生する確率が高くなると考えられる。そこで、注目ボクセルの仮想撮影時刻と隣接ボクセルの仮想撮影時刻との差Δｔが大きいほど、確からしさを小さな値に設定する。例えば、下記の（１）式及び（２）式によって３次元形状データの確からしさの推定値ｐを算出して設定する。
ｐ＝１−Δｔ／Ｔ （Δｔ＜Ｔの場合） ・・・（１）
ｐ＝０ （Δｔ≧Ｔの場合） ・・・（２）
（１）式及び（２）式において、Ｔは確からしさを制御するパラメータであり、予め定めた既知の値が設定されるものとする。例えば、Ｔ＝１０００［ｍｓ］とすれば、Δｔが１００［ｍｓ］の場合にはｐ＝０．９となり、Δｔが１０００［ｍｓ］以上の場合にはｐ＝０となる。この確からしさの推定値ｐを、ボクセル座標系の３軸のプラス方向及びマイナス方向についてそれぞれ算出し、各軸の方向でその平均値を算出する。
続いて、ステップＳ３０７において、確からしさ推定部１２３は、ステップＳ３０６で得られた、３軸方向の確からしさの推定値が各ボクセルに格納された確からしさ配列データを３次元形状合成部１２４に出力する処理を行う。
続いて、ステップＳ３０８において、確からしさ推定部１２３は、全ての断層画像群について確からしさの推定処理を処理済みであるか否かを判断する。
ステップＳ３０８の判断の結果、全ての断層画像群については確からしさの推定処理を行っていない（未処理の断層画像群がある）場合には、ステップＳ３０２に戻って、未処理の断層画像群の選択処理を行って、ステップＳ３０３以降の処理を再度行う。例えば、ステップＳ３０２の最初の処理で第１の断層画像群の選択処理を行い、その一連の処理が終了した段階の場合には、ステップＳ３０８で否定（ＮＯ）判断されて、ステップＳ３０２に戻り、第２の断層画像群の選択処理が行われることになる。
一方、ステップＳ３０８の判断の結果、全ての断層画像群について確からしさの推定処理を処理済みである場合には、図５のフローチャートの処理、即ち、図３のステップＳ１０３の処理を終了する。
以上のステップＳ３０１〜Ｓ３０８の処理を経ることにより、断層画像群ごとに、３軸方向の確からしさの推定値が各ボクセルに格納された確からしさ配列データが取得される。
図６は、本発明の第１の実施形態を示し、図３のステップＳ１０５における３次元形状データの合成処理の詳細な処理手順の一例を示すフローチャートである。
この図６に示すフローチャートは、ＣＰＵ２０１が本実施形態における３次元形状合成部１２４の機能を実現するプログラムを実行することにより実現される。なお、図６に示す処理を行う前段階で、図６のフローチャートに従ったプログラムコードは、例えば、ＲＯＭ２０３或いは外部記憶装置２０７からＲＡＭ２０２に既にロードされているものとする。
まず、ステップＳ４０１において、３次元形状合成部１２４は、３次元形状復元部１２２及び確からしさ推定部１２３から出力されたデータを入力する。具体的に、３次元形状合成部１２４は、３次元形状復元部１２２から、各ボクセルに輝度値が格納された２つの輝度値配列データを入力する。また、３次元形状合成部１２４は、確からしさ推定部１２３から、各ボクセルに３軸方向の確からしさの推定値が格納された２つの確からしさ配列データを入力する。
続いて、ステップＳ４０２において、３次元形状合成部１２４は、ステップＳ４０１で入力した２つの輝度値配列データに含まれる、画像処理によって検出されやすい特徴的な点や、解剖学的に被検体の特徴となる点などの特徴点を、数点以上選択して抽出する。
この際、例えば、非特許文献５に開示されているＦＡＳＴなどの２次元画像用のコーナー検出器を、ボリュームデータ用に拡張して用いればよい。
具体的には、まず、注目ボクセルを中心とした半径３ボクセルの球面上に存在するボクセルの輝度値を求める。そして、注目ボクセルとの輝度値の差が閾値以上となるボクセルが、球面全体の４分の３以上の面積にわたって連結している場合に、注目ボクセルを特徴点として選択して抽出する。または、解剖学的に被検体の特徴となる点を特徴点として、血管の分岐点などを自動または手動で選択して抽出する。
続いて、ステップＳ４０３において、３次元形状合成部１２４は、ステップＳ４０１で入力した２つの輝度値配列データの初期位置を、それぞれの輝度値配列データ中の顕著な特徴点の位置によって大まかに合わせる初期位置合わせ処理を行う。例えば、眼底の黄班部を撮影する本実施形態においては、顕著な特徴点として、例えば中心窩を用いる。
続いて、ステップＳ４０４において、３次元形状合成部１２４は、ステップＳ４０１で入力した２つの輝度値配列データ間で、ステップＳ４０２で抽出した特徴点同士の対応付け処理を行い、特徴点のペアを構成する。ここで、各特徴点を互いに識別することができる場合には、同一の識別子を有する特徴点同士を容易に対応付けることができる。一方、各特徴点を互いに識別することができない場合には、例えば、一方の輝度値配列データ中の特徴点との距離が最も近い、他方の輝度値配列データ中の特徴点を仮に対応付ける。
続いて、ステップＳ４０５において、３次元形状合成部１２４は、それぞれの輝度値配列データにおける各特徴点を変位させる変位処理を行う。その際に、特徴点の位置における３軸方向の確からしさの推定値に基づいて、特徴点の変位をコントロールするパラメータを算出する。即ち、確からしさの推定値が大きい方向には変位し難くなるように、変位をコントロールするパラメータを設定する。
ここで、対応する特徴点同士、及び、同一の輝度値配列データ内の隣接する特徴点同士がバネで接続されていると仮に考えると、前記パラメータはバネ定数に相当する。例えば、対応する特徴点同士を接続するバネのバネ定数は、以下の（３）式のようにすればよい。
Figure 2014028149
ただし、（３）式において、Ｐｘ，Ｐｙ，Ｐｚは、それぞれ、Ｘ軸方向，Ｙ軸方向，Ｚ軸方向の確からしさの値を表す。また、隣接する特徴点同士を接続するバネのバネ定数は、以下の（４）式のようにすればよい。
Figure 2014028149
ただし、（４）式において、（ａ，ｂ，ｃ）は隣接する特徴点同士を結ぶ方向のベクトルを表す。以上のように、バネ定数を設定した上で特徴点を変位させることによって、信頼できる形状の情報を維持しつつ、特徴点同士が近付くように変位させることができる。
本実施形態においては、対応する特徴点間の距離の二乗和がなるべく小さくなるような変位を繰り返し計算により求める。即ち、各特徴点の変位量を逐次更新する処理を繰り返し行い、最終的に対応する特徴点の位置がなるべく近くなるようにする。なお、各特徴点を互いに識別することができない場合には、繰り返し計算の過程において、特徴点間の距離に基づいて特徴点同士の対応付けも逐次更新する。
続いて、ステップＳ４０６において、３次元形状合成部１２４は、２つの輝度値配列データ（３次元形状データ）中の、特徴点以外の各ボクセルが有する輝度値の移動先を求めて、その輝度値を更新する各輝度値配列データ（３次元形状データ）の更新処理を行う。
例えば、ステップＳ４０５で変位させた特徴点を制御点として、非特許文献６に開示されている３次元Ｔｈｉｎ−Ｐｌａｔｅ＿Ｓｐｌｉｎｅ（ＴＰＳ）の手法を用いれば、各ボクセルが有する輝度値の移動先を求めることができる。
続いて、ステップＳ４０７において、３次元形状合成部１２４は、ステップＳ４０６で輝度値を更新した２つの輝度値配列データ（３次元形状データ）を１つの輝度値配列データに合成する処理を行う。ここでは、例えば、非特許文献４に開示されている方法によって、元となるそれぞれの輝度値配列データよりも画質が向上した輝度値配列データを合成する。即ち、２つの輝度値配列データ中の対応するボクセルの輝度値の平均値を、合成後の輝度値配列データの輝度値とする。
続いて、ステップＳ４０８において、３次元形状合成部１２４は、ステップＳ４０７で合成処理した輝度値配列データ（３次元形状データ）を外部装置へ出力する、或いは、他のアプリケーションから利用可能な状態として例えばＲＡＭ２０２上に格納する。
以上のステップＳ４０１〜Ｓ４０８の処理を経ることにより、２つの輝度値配列データ（３次元形状データ）を１つの輝度値配列データに合成する処理が行われる。
本実施形態に係る３次元形状データ処理装置１２０によれば、２つの３次元形状データを３軸方向の確からしさ（撮影時間の差）に応じて変形させるため、信頼できる形状の情報を維持しつつ、移動によって生じる変形を補正することができる。その結果、被検体（被写体）の動きによって発生する３次元形状データの歪みを効果的に補正できる。また、位置合わせされた２つの３次元形状データを両方とも利用して１つの３次元形状データを合成するため、もとの３次元形状データよりも画質が向上した３次元形状データを復元することができる。
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態に係る３次元形状データ処理装置（３次元形状データ復元装置ともいう）は、３次元形状データとして、輝度値配列データに基づくサーフェスモデル（表面形状モデル）のデータを復元するものである。第１の実施形態では、２つの輝度値配列データ中の特徴点同士の対応付けに基づいて、１つの輝度値配列データを合成するものであった。これに対して本実施形態では、２つの輝度値配列データに基づく２つのサーフェスモデルのデータから、特徴点同士の対応付けを行わずに１つのサーフェスモデルのデータを合成する。
以下、第２の実施形態に係る３次元形状データ処理装置及び３次元形状データ処理方法について、第１の実施形態との相違部分についてのみ説明を行う。なお、第２の実施形態に係る３次元形状データ処理装置の構成は、図１及び図２に示す３次元形状データ処理装置１２０と同様であり、図１に示す３次元形状合成部１２４の機能のみが異なっている。即ち、第２の実施形態では、図３に示すステップＳ１０４の詳細な処理内容が図６と異なっている。
図７は、本発明の第２の実施形態を示し、図３のステップＳ１０４における３次元形状データの合成処理の詳細な処理手順の一例を示すフローチャートである。
この図７に示すフローチャートは、ＣＰＵ２０１が本実施形態における３次元形状合成部１２４の機能を実現するプログラムを実行することにより実現される。なお、図７に示す処理を行う前段階で、図７のフローチャートに従ったプログラムコードは、例えば、ＲＯＭ２０３或いは外部記憶装置２０７からＲＡＭ２０２に既にロードされているものとする。
まず、ステップＳ５０１において、３次元形状合成部１２４は、３次元形状復元部１２２及び確からしさ推定部１２３から出力されたデータを入力する。具体的に、３次元形状合成部１２４は、３次元形状復元部１２２から、各ボクセルに輝度値が格納された２つの輝度値配列データを入力する。また、３次元形状合成部１２４は、確からしさ推定部１２３から、各ボクセルに３軸方向の確からしさの推定値が格納された２つの確からしさ配列データを入力する。
続いて、ステップＳ５０２において、３次元形状合成部１２４は、ステップＳ４０１で入力した２つの輝度値配列データに歪みが無いと仮定して、２つの輝度値配列データの初期位置を大まかに合わせる初期位置合わせ処理を行う。ここでは、例えば、２つの輝度値配列データ間の剛体変換を、例えば非特許文献７に開示されている相互情報量最大化などの方法によって求めることにより、２つの輝度値配列データの初期位置を大まかに合わせる。
続いて、ステップＳ５０３において、３次元形状合成部１２４は、２つの輝度値配列データから、それぞれ、サーフェスモデルのデータを生成する。具体的に、第１の輝度値配列データから第１のサーフェスモデルのデータ（第１の表面形状モデルのデータ）を生成し、第２の輝度値配列データから第２のサーフェスモデルのデータ（第２の表面形状モデルのデータ）を生成する。ここでは、例えば、被検体内の注目部位を、例えば非特許文献８に開示されているグラフカットなどの手法によって抽出し、その表面上のボクセルを頂点とする三角形パッチを生成して、その集合をサーフェスモデルのデータとする。
続いて、ステップＳ５０４において、３次元形状合成部１２４は、格子点群の生成を行って、整列した格子点群からなる直方体でそれぞれのサーフェスモデルのデータを囲む処理を行う。
続いて、ステップＳ５０５において、３次元形状合成部１２４は、例えば非特許文献９のＦｒｅｅ−Ｆｏｒｍ＿Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）などの変形手法で格子点群を変位させることによって、それぞれのサーフェスモデルのデータの変形処理を行う。その際に、３次元形状合成部１２４は、格子点位置における３軸方向の確からしさの推定値に基づいて、格子点の変位をコントロールするパラメータを算出する。即ち、確からしさの推定値が大きい方向には変位し難くなるように、変位をコントロールするパラメータを設定する。具体的に、３次元形状合成部１２４は、第１のサーフェスモデルのデータ及び第２のサーフェスモデルのデータを合成する際に、確からしさの推定値に基づいて、それぞれの表面形状が略同一となるように変形させる処理を行う。
ここで、隣接する格子点同士がバネで接続されていると仮に考えると、前記パラメータはバネ定数に相当する。そして、３軸方向のバネの硬さ（即ち、確からしさ）に応じて格子点を変位させることによって、信頼できる形状の情報を維持しつつ、サーフェスモデルのデータを変形させることができる。
本実施形態においては、一方のサーフェスモデルのデータを構成する三角形パッチの各頂点と、他方のサーフェスモデルのデータの表面との距離がなるべく近くなるような変位を繰り返し計算により求める。即ち、それぞれのサーフェスモデルのデータを囲む各格子点位置の変位量を逐次更新する処理を繰り返し行い、最終的に２つのサーフェスモデルの形状がなるべく近くなるようにする。
続いて、ステップＳ５０６において、３次元形状合成部１２４は、ステップＳ５０５で変形させた２つのサーフェスモデルのデータ（３次元形状データ）を１つのサーフェスモデルのデータに合成する処理を行う。ここでは、例えば、非特許文献１０に開示されている方法により、２つのサーフェスモデルの重複部分を縫い合わせることにより、滑らかな曲面からなるサーフェスモデルのデータを生成する。
続いて、ステップＳ５０７において、３次元形状合成部１２４は、ステップＳ４０７で合成したサーフェスモデルのデータ（３次元形状データ）を外部装置へ出力する、或いは、他のアプリケーションから利用可能な状態として例えばＲＡＭ２０２上に格納する。
以上のステップＳ５０１〜Ｓ５０７の処理を経ることにより、２つのサーフェスモデルのデータ（３次元形状データ）を１つのサーフェスモデルのデータに合成する処理が行われる。
本実施形態に係る３次元形状データ処理装置１２０によれば、２つの３次元形状データを３軸方向の確からしさ（撮影時間の差）に応じて変形させるため、信頼できる形状の情報を維持しつつ、移動によって生じる変形を補正することができる。その結果、被検体（被写体）の動きによって発生する３次元形状データの歪みを効果的に補正できる。また、位置合わせされた２つの３次元形状データを両方とも利用して１つの３次元形状データを合成するため、もとの３次元形状データよりも画質が向上した３次元形状データを復元することができる。
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態に係る３次元形状データ処理装置（３次元形状データ復元装置ともいう）は、３次元形状データとして、第１の実施形態と同様に、輝度値配列データを復元するものである。第１の実施形態では、２つの輝度値配列データ中の特徴点同士の対応付けに基づいて、１つの輝度値配列データを合成するものであった。これに対して本実施形態では、２つの輝度値配列データから、第２の実施形態と同様に特徴点同士の対応付けを行わずに１つの輝度配列データを合成する。
以下、第３の実施形態に係る３次元形状データ処理装置及び３次元形状データ処理方法について、第１の実施形態との相違部分についてのみ説明を行う。なお、第３の実施形態に係る３次元形状データ処理装置の構成は、図１及び図２に示す３次元形状データ処理装置１２０と同様であり、図１に示す３次元形状合成部１２４の機能のみが異なっている。即ち、第３の実施形態では、図３に示すステップＳ１０４の詳細な処理内容が図６と異なっている。
図８は、本発明の第３の実施形態を示し、図３のステップＳ１０４における３次元形状データの合成処理の詳細な処理手順の一例を示すフローチャートである。
この図８に示すフローチャートは、ＣＰＵ２０１が本実施形態における３次元形状合成部１２４の機能を実現するプログラムを実行することにより実現される。なお、図８に示す処理を行う前段階で、図８のフローチャートに従ったプログラムコードは、例えば、ＲＯＭ２０３或いは外部記憶装置２０７からＲＡＭ２０２に既にロードされているものとする。
まず、ステップＳ６０１において、３次元形状合成部１２４は、３次元形状復元部１２２及び確からしさ推定部１２３から出力されたデータを入力する。具体的に、３次元形状合成部１２４は、３次元形状復元部１２２から、各ボクセルに輝度値が格納された２つの輝度値配列データを入力する。また、３次元形状合成部１２４は、確からしさ推定部１２３から、各ボクセルに３軸方向の確からしさの推定値が格納された２つの確からしさ配列データを入力する。
続いて、ステップＳ６０２において、３次元形状合成部１２４は、ステップＳ４０１で入力した２つの輝度値配列データに歪みが無いと仮定して、２つの輝度値配列データの初期位置を大まかに合わせる初期位置合わせ処理を行う。ここでは、例えば、２つの輝度値配列データ間の剛体変換を、例えば非特許文献７に開示されている相互情報量最大化などの方法によって求めることにより、２つの輝度値配列データの初期位置を大まかに合わせる。
続いて、ステップＳ６０３において、３次元形状合成部１２４は、格子点群の生成を行って、整列した格子点群からなる直方体でそれぞれの輝度値配列データを囲む処理を行う。この際、例えば、輝度値配列データの各ボクセルの中心位置を格子点とする。
続いて、ステップＳ６０４において、３次元形状合成部１２４は、例えば非特許文献９のＦｒｅｅ−Ｆｏｒｍ＿Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）などの変形手法で格子点群を変位させることによって、それに対応するように各ボクセルの輝度値を移動する。そして、３次元形状合成部１２４は、その輝度値を更新する各輝度値配列データ（３次元形状データ）の更新処理を行う。その際に、格子点位置における３軸方向の確からしさに基づいて、格子点の変位をコントロールするパラメータを算出する。即ち、確からしさの推定値が大きい方向には変位し難くなるように、変位をコントロールするパラメータを設定する。
ここで、隣接する格子点同士がバネで接続されていると仮に考えると、前記パラメータはバネ定数に相当する。そして、３軸方向のバネの硬さ（即ち、確からしさ）に応じて格子点を変位させることによって、信頼できる形状の情報を維持しつつ、輝度値配列データを構成する各ボクセルの輝度値を更新することができる。
本実施形態においては、２つの輝度値配列データを構成する各ボクセルの輝度値がなるべく同一となるような格子点群の変位を繰り返し計算により求める。即ち、それぞれの輝度値配列データを囲む格子点位置の変位量を逐次更新する処理を繰り返し行い、最終的に２つの輝度値配列データがなるべく同一となるようにする。
続いて、ステップＳ６０５において、３次元形状合成部１２４は、ステップＳ６０３で輝度値を更新した２つの輝度値配列データ（３次元形状データ）を１つの輝度値配列データに合成する処理を行う。ここでは、例えば、非特許文献４に開示されている方法によって、元となるそれぞれの輝度値配列データよりも画質が向上した輝度値配列データを合成する。即ち、２つの輝度値配列データ中の対応するボクセルの輝度値の平均値を、合成後の輝度値配列データの輝度値とする。
ステップＳ６０６において、３次元形状合成部１２４は、ステップＳ４０７で合成処理した輝度値配列データ（３次元形状データ）を外部装置へ出力する、或いは、他のアプリケーションから利用可能な状態として例えばＲＡＭ２０２上に格納する。
以上のステップＳ６０１〜Ｓ６０６の処理を経ることにより、２つの輝度値配列データ（３次元形状データ）を１つの輝度値配列データに合成する処理が行われる。
本実施形態に係る３次元形状データ処理装置１２０によれば、２つの３次元形状データを３軸方向の確からしさ（撮影時間の差）に応じて変形させるため、信頼できる形状の情報を維持しつつ、移動によって生じる変形を補正することができる。その結果、被検体（被写体）の動きによって発生する３次元形状データの歪みを効果的に補正できる。また、位置合わせされた２つの３次元形状データを両方とも利用して１つの３次元形状データを合成するため、もとの３次元形状データよりも画質が向上した３次元形状データを復元することができる。
（他の実施形態）
［変形例１］
上述した各実施形態では、医用画像収集装置１１０として光干渉断層計（ＯＣＴ）を具備した装置を適用する例について説明を行ったが、断層画像群を撮影する医用画像収集装置１１０はこれに限られるものではない。例えば、医用画像収集装置１１０として、超音波画像診断装置、磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）などの装置を適用することが可能である。
上述したいずれの医用画像収集装置を用いる場合にも、被検体（被写体）の断層画像を複数枚ずつ２回撮影することにより２つの断層画像群を得て、上述した実施形態の手法を適用する。その際、１回目に撮影する断層画像と２回目に撮影する断層画像との法線の向きが略９０度異なるようにする。なお、２回の撮影における撮影方向、即ち、被検体に対する医用画像収集装置１１０が備える撮影部の方向は、同一であっても異なっていてもよい。
ここで、医用画像収集装置１１０として超音波画像診断装置を用いる場合には、上述した各実施形態と構成が若干異なる。具体的には、背景技術でも説明したように、通常は医師や技師が超音波探触子（プローブ）を手に持って自由に動かしながら撮影を行うため、撮影した断層画像が人体を基準とした空間中のどの位置を撮影したものなのかが明らかではない。そこで、この場合、不図示の位置姿勢センサを医用画像収集装置１１０に装着して、超音波探触子の位置・姿勢を計測する。この位置姿勢センサとしては、例えば、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等を用いることができる。なお、位置姿勢センサは、超音波探触子の位置・姿勢が計測できるのであれば、どのように構成されていてもよい。計測した位置・姿勢のデータは、データ入力部１２１を介して３次元形状データ処理装置１２０に入力される。
ここで、位置姿勢センサによって計測される位置・姿勢のデータは、磁場の歪み等の影響によって誤差を含んだものとなっている。即ち、断層画像群を撮影する過程での被検体の動きだけでなく、各断層画像の位置・姿勢の計測誤差も、断層画像間に発生する位置ずれの原因となる。
そこで、本例では、図５に示すフローチャートのステップＳ３０６の処理を以下のように変形する。
本例では、ステップＳ３０６において、確からしさ推定部１２３は、全てのボクセルについて、復元する３次元形状データの３軸方向の確からしさの推定値を算出する。具体的に、まず、位置姿勢センサの誤差が無いと仮定したときの３軸方向の確からしさＰを、第１の実施形態におけるステップＳ３０６の方法で算出する。続いて、予め計測した位置姿勢センサの誤差分布に基づいて、被検体の動きが無いと仮定したときの３軸方向の確からしさＱを算出する。そして、算出した確からしさＰ及びＱの３軸成分をそれぞれ掛け合わせることによって、被検体の動きとセンサ誤差の両者に基づいた、３軸方向の確からしさの推定値を算出する。
以上によって、断層画像群を撮影可能ないずれの医用画像収集装置１１０を用いる場合にも、上述した各実施形態の手法が適用可能となる。
［変形例２］
上述した各実施形態では、２つの断層画像群を入力する場合について説明したが、処理を行う断層画像群は２つに限られるものではない。例えば、３つ以上の断層画像群に対しても上述した各実施形態の手法は適用可能である。
［変形例３］
上述した各実施形態では、輝度値を格納するボクセルと、確からしさの推定値を格納するボクセルを別々に生成する場合について説明している。しかしながら、これに限らず、例えば、輝度値と確からしさの推定値の両方を格納するボクセルを生成するようにしてもよい。
（その他の実施形態）
前述した各実施形態に係る３次元形状データ処理装置１２０を構成する図１の各手段並びに３次元形状データ処理方法を示す図３〜図８の各ステップは、コンピュータのＣＰＵ２０１がＲＯＭ２０３などに記憶されたプログラムを実行することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
なお、本発明は、前述した各実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３〜図８に示すフローチャートに対応したプログラム）を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
１００ ３次元形状データ復元システム
１１０ 医用画像収集装置
１２０ ３次元形状データ処理装置
１２１ データ入力部
１２２ ３次元形状復元部
１２３ 確からしさ推定部
１２４ ３次元形状合成部
本発明は、３次元データの処理を行う３次元データ処理装置及び３次元データ処理方法、当該３次元データ処理方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体に関する。
本発明は、このような問題点に鑑みてなされたものであり、歪みが小さく高画質な３次元データの復元を実現する３次元データ処理装置、３次元データ処理方法、プログラム及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
本発明の３次元データ処理装置は、複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力手段と、前記第１の断層画像群および前記第２の断層画像群のそれぞれにおける複数の位置の確からしさを推定する推定手段と、前記推定手段で推定された確からしさに基づいて、前記第１の断層画像群および前記第２の断層画像群を合成して１つのボリュームデータを生成する合成手段とを有する。
本発明の３次元データ処理方法は、複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力ステップと、前記第１の断層画像群および前記第２の断層画像群のそれぞれにおける複数の位置の確からしさを推定する推定ステップと、前記推定ステップで推定された確からしさに基づいて、前記第１の断層画像群および前記第２の断層画像群を合成して１つのボリュームデータを生成する合成ステップとを有する。
本発明のプログラムは、複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力ステップと、前記第１の断層画像群および前記第２の断層画像群のそれぞれにおける複数の位置の確からしさを推定する推定ステップと、前記推定ステップで推定された確からしさに基づいて、前記第１の断層画像群および前記第２の断層画像群を合成して１つのボリュームデータを生成する合成ステップとをコンピュータに実行させるためのものである。
本発明によれば、歪みが小さく高画質な３次元データを復元することが可能となる。

Claims (12)

  1. 複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力手段と、
    前記第１の断層画像群から第１の３次元形状データを復元するとともに、前記第２の断層画像群から第２の３次元形状データを復元する復元手段と、
    前記第１の３次元形状データおよび前記第２の３次元形状データの各３次元形状データにおける複数の位置の確からしさを推定する推定手段と、
    前記推定手段で推定された前記各３次元形状データにおける複数の位置の確からしさの推定値に基づいて、前記第１の３次元形状データおよび前記第２の３次元形状データを１つの３次元形状データに合成する合成処理を行う合成手段と
    を有することを特徴とする３次元形状データ処理装置。
  2. 前記第１の３次元形状データおよび前記第２の３次元形状データは、ボリュームデータであることを特徴とする請求項１に記載の３次元形状データ処理装置。
  3. 前記合成手段は、前記各３次元形状データから特徴点を抽出し、当該抽出した特徴点同士の対応付けに基づいて、前記合成処理を行うことを特徴とする請求項１または２に記載の３次元形状データ処理装置。
  4. 前記復元手段は、前記第１の３次元形状データとして第１の輝度値配列データを復元するとともに、前記第２の３次元形状データとして第２の輝度値配列データを復元し、
    前記推定手段は、前記第１の輝度値配列データおよび前記第２の輝度値配列データの各輝度値配列データにおける複数の位置の確からしさを推定し、
    前記合成手段は、前記第１の輝度値配列データから第１の表面形状モデルのデータを生成するとともに、前記第２の輝度値配列データから第２の表面形状モデルのデータを生成し、前記推定手段で推定された前記各輝度値配列データにおける複数の位置の確からしさの推定値に基づいて、前記第１の表面形状モデルのデータおよび前記第２の表面形状モデルのデータを合成して、前記１つの３次元形状データに相当する１つの表面形状モデルのデータとすることを特徴とする請求項１に記載の３次元形状データ処理装置。
  5. 前記合成手段は、前記第１の表面形状モデルのデータおよび前記第２の表面形状モデルのデータを合成する際に、前記確からしさの推定値に基づいて、それぞれの表面形状が略同一となるように変形させて、前記１つの表面形状モデルのデータに合成することを特徴とする請求項４に記載の３次元形状データ処理装置。
  6. 前記推定手段は、各断層画像の隣接画素間の撮影時間差および／または前記各断層画像における位置・姿勢の計測誤差に基づいて、前記確からしさを推定することを特徴とする請求項１乃至５のいずれか１項に記載の３次元形状データ処理装置。
  7. 前記第１の断層画像群のデータおよび前記第２の断層画像群のデータは、光干渉断層計によって取得されたものであることを特徴とする請求項１乃至６のいずれか１項に記載の３次元形状データ処理装置。
  8. 前記第１の断層画像群のデータおよび前記第２の断層画像群のデータは、超音波画像診断装置によって取得されたものであることを特徴とする請求項１乃至６のいずれか１項に記載の３次元形状データ処理装置。
  9. 前記第１の断層画像群のデータおよび前記第２の断層画像群のデータは、それぞれの少なくとも一部の断層画像における法線の向きが略９０度異なることを特徴とする請求項１乃至８のいずれか１項に記載の３次元形状データ処理装置。
  10. 複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力ステップと、
    前記第１の断層画像群から第１の３次元形状データを復元するとともに、前記第２の断層画像群から第２の３次元形状データを復元する復元ステップと、
    前記第１の３次元形状データおよび前記第２の３次元形状データの各３次元形状データにおける複数の位置の確からしさを推定する推定ステップと、
    前記推定ステップで推定された前記各３次元形状データにおける複数の位置の確からしさの推定値に基づいて、前記第１の３次元形状データおよび前記第２の３次元形状データを１つの３次元形状データに合成する合成処理を行う合成ステップと
    を有することを特徴とする３次元形状データ処理方法。
  11. 複数枚の断層画像からなる第１の断層画像群のデータと、前記第１の断層画像群の少なくとも一部と撮像領域が重なる複数枚の断層画像からなる第２の断層画像群のデータとを入力するデータ入力ステップと、
    前記第１の断層画像群から第１の３次元形状データを復元するとともに、前記第２の断層画像群から第２の３次元形状データを復元する復元ステップと、
    前記第１の３次元形状データおよび前記第２の３次元形状データの各３次元形状データにおける複数の位置の確からしさを推定する推定ステップと、
    前記推定ステップで推定された前記各３次元形状データにおける複数の位置の確からしさの推定値に基づいて、前記第１の３次元形状データおよび前記第２の３次元形状データを１つの３次元形状データに合成する合成処理を行う合成ステップと
    をコンピュータに実行させるためのプログラム。
  12. 請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2013169902A 2013-08-19 2013-08-19 ３次元データ処理装置、３次元データ処理方法及びプログラム Active JP5904976B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013169902A JP5904976B2 (ja) 2013-08-19 2013-08-19 ３次元データ処理装置、３次元データ処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013169902A JP5904976B2 (ja) 2013-08-19 2013-08-19 ３次元データ処理装置、３次元データ処理方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008334265A Division JP5355074B2 (ja) 2008-12-26 2008-12-26 ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014028149A true JP2014028149A (ja) 2014-02-13
JP5904976B2 JP5904976B2 (ja) 2016-04-20

Family

ID=50201187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013169902A Active JP5904976B2 (ja) 2013-08-19 2013-08-19 ３次元データ処理装置、３次元データ処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5904976B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876933A (zh) * 2017-05-11 2018-11-23 富士施乐株式会社 三维形状数据的编辑装置和编辑三维形状数据的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004508856A (ja) * 2000-09-15 2004-03-25 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 尤度最大化を利用した画像位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）システム及び方法
JP2008043736A (ja) * 2006-07-18 2008-02-28 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2009183332A (ja) * 2008-02-04 2009-08-20 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム
JP2010154920A (ja) * 2008-12-26 2010-07-15 Canon Inc ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004508856A (ja) * 2000-09-15 2004-03-25 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 尤度最大化を利用した画像位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）システム及び方法
JP2008043736A (ja) * 2006-07-18 2008-02-28 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2009183332A (ja) * 2008-02-04 2009-08-20 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム
JP2010154920A (ja) * 2008-12-26 2010-07-15 Canon Inc ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876933A (zh) * 2017-05-11 2018-11-23 富士施乐株式会社 三维形状数据的编辑装置和编辑三维形状数据的方法
CN108876933B (zh) * 2017-05-11 2023-04-28 富士胶片商业创新有限公司 三维形状数据的编辑装置和编辑三维形状数据的方法

Also Published As

Publication number Publication date
JP5904976B2 (ja) 2016-04-20

Similar Documents

Publication Publication Date Title
JP5355074B2 (ja) ３次元形状データ処理装置、３次元形状データ処理方法及びプログラム
US10507002B2 (en) X-ray system and method for standing subject
KR101833364B1 (ko) 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템
CN107016717B (zh) 用于患者的透视视图的系统和方法
US9035941B2 (en) Image processing apparatus and image processing method
JP5555207B2 (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
CN108369736A (zh) 用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和系统
JP6483832B2 (ja) Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム
JP6376873B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014085933A (ja) ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
JP6608165B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
WO2017180097A1 (en) Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation
JP6429958B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017164075A (ja) 画像位置合せ装置、方法およびプログラム
JP2007323616A (ja) 画像処理装置及びその処理方法
JP5904976B2 (ja) ３次元データ処理装置、３次元データ処理方法及びプログラム
JP2010239515A (ja) カメラキャリブレーションの算出方法
CN113160221B (zh) 图像处理方法、装置、计算机设备和存储介质
JP6821303B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2007144056A (ja) モデリング装置、領域抽出装置、モデリング方法及びプログラム
Petit et al. Environment-aware non-rigid registration in surgery using physics-based simulation
JP6391544B2 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
US10832421B2 (en) Determining a registration between a 3D image and a set of at least two 2D images
CN112368739A (zh) 用于肝脏手术的对准系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160315

R151 Written notification of patent or utility model registration

Ref document number: 5904976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151