JP2016181205A - ３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置 - Google Patents

Abstract

【課題】３次元モデルの一部が切除又は切開された状態を容易に認識することができる３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置を提供する。
【解決手段】３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成し、各付加した３次元パターンを３次元パターンが付加された３次元データ上の位置と対応づけて記憶する。作成された３次元データを用いて３次元モデルを造形する。造形され、かつ、所望部位を切除又は切開された３次元モデルを撮影した撮影画像においてパターンを認識し、記憶されている３次元パターンの中から認識されたパターンを含む３次元パターンを検索し、検索された３次元パターンに対応づけて記憶されている３次元データ上の位置とパターンが認識された撮影画像上の位置を対応付ける。
【選択図】図１０

Description

本発明は、３次元データに基づいて３次元モデルを造形し、造形された３次元モデルを用いて各種シミュレーションをするための３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置に関する。

近年、３Ｄプリンタを使って３次元モデルを造形する技術が注目されている。医療分野においても、３Ｄプリンタを使って造形した実物大の臓器モデルを用いて手術計画を立てたり、経験の浅い外科医を教育することが行われている。

また、医療分野においては、ＣＴ（Computed Tomography）、ＭＲ（Magnetic Resonance）等の各種モダリティで取得した臓器の３次元データに基づいて臓器の３Ｄ−ＶＲ（Virtual-Reality：仮想現実）画像を生成し表示する技術が広く普及している。また、たとえば内視鏡手術において、ビデオスコープにより手術中の臓器を撮影した現実の画像上に、事前に撮影しておいたＣＴ画像等から構築した臓器内部の血管構造を重畳表示させる等のＡＲ（Augmented Reality：拡張現実）技術も普及しつつある。

特許文献１には、３Ｄプリンタを使って対象物を表す３次元データから３次元モデルを造形する際に、３次元モデルの表面上の、所定の位置関係にある複数の位置にマーカーポイントが形成されるようにし、造形された３次元モデルの表面上で観察される複数のマーカーポイントの位置を手掛かりに、３次元モデルの座標系と３次元データの座標系の対応関係を求め、その対応関係に基づいて、ユーザが３次元モデル上で指定した領域に対応する仮想現実画像を３次元データから生成し提示する技術が提案されている。

特開２０１１−２２４１９４号公報

ところで、最近では柔らかい素材で３次元モデルの造形が可能な３Ｄプリンタが登場し、臓器の感触を再現した臓器モデルを造形し、実際の手術器具を使用して臓器モデルを切除又は切開して術前のシミュレーションを行うことができるようになっている。そこで、たとえば３次元モデルの切除又は切開された状態が自動で認識でき、その状態に関する各種の情報を提示することができれば、シミュレーションがより効果的なものとなる。しかし、上記特許文献１は、３次元モデルの一部が切除又は切開された状態を認識する方法を提供するものではない。

本発明は、上記事情に鑑み、３次元モデルの一部が切除又は切開された状態を容易に認識することができる３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置を提供することを目的とするものである。

本発明の３次元データ処理システムは、３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成するデータ作成部と、各付加した３次元パターンを３次元パターンが付加された３次元データ上の位置と対応づけて記憶する記憶部と、３次元パターンが付加された３次元データを用いて３次元モデルを造形する３次元造形部と、造形され、かつ、所望部位を切除又は切開された３次元モデルを撮影して撮影画像を取得する画像取得部と、取得された撮影画像においてパターンを認識するパターン認識部と、記憶部に記憶されている３次元パターンの中から認識されたパターンを含む３次元パターンを検索し、検索された３次元パターンに対応づけて記憶部に記憶されている３次元データ上の位置とパターンが認識された撮影画像上の位置を対応付ける対応付け部とを備えたことを特徴とする。

本発明の３次元データ処理システムにおいて、記憶部は、各付加された３次元パターンの複数の異なる断面上にそれぞれ表れる２次元パターンを、３次元パターンが付加された３次元データ上の位置と対応づけて記憶するものであり、対応付け部は、記憶部に記憶されている２次元パターンの中から認識されたパターンに最も類似する２次元パターンを検索し、検索された２次元パターンを含む３次元パターンに対応づけて記憶部に記憶されている３次元データ上の位置とパターンが認識された撮影画像上の位置を対応付けるものであってもよい。

また、本発明の３次元データ処理システムは、３次元データ上の位置とパターンが認識された撮影画像上の位置との対応関係を用いて、３次元パターンを付加する前の３次元データから撮影画像に対応する疑似３次元画像を生成する画像生成部を備えたものであってもよい。

本発明の３次元データ処理システムにおいて、記憶部は、各付加された３次元パターンの複数の異なる方向の断面上にそれぞれ表れる２次元パターンを、３次元パターンが付加された３次元データ上の位置及び２次元パターンが表れる断面の方向と対応づけて記憶するものであり、対応付け部は、記憶部に記憶されている２次元パターンの中から認識されたパターンに最も類似する２次元パターンを検索し、検索された２次元パターンを含む３次元パターンに対応づけて記憶部に記憶されている３次元データ上の位置及び検索された２次元パターンが表れる断面の方向を、パターンが認識された撮影画像上の位置と対応付けるものであってもよい。

また、本発明の３次元データ処理システムは、３次元データ上の位置及び断面の方向とパターンが認識された撮影画像上の位置との対応関係を用いて、３次元パターンを付加する前の３次元データから撮影画像に対応する疑似３次元画像を生成する画像生成部を備えたものであってもよい。

本発明の３次元データ処理システムにおいて、画像生成部は、疑似３次元画像として、立体物の内部が露出されてなる内部露出面を立体物のその他の面と視覚的に区別可能な態様で表す画像を生成するものであってもよい。

本発明の３次元データ処理システムにおいて、立体物は、内部に内部構造物を有するものであり、画像生成部は、疑似３次元画像として、立体物の内部が露出されてなる内部露出面に内部構造物が露出した状態を表す画像を生成するものであってもよい。

本発明の３次元データ処理システムは、画像を表示する表示部と、表示部に、撮影画像上に生成された疑似３次元画像を重畳して表示させる表示制御部とを備えたものであってもよい。

本発明の３次元データ処理システムにおいて、３次元パターンは、３次元的に配置された２値のパターンで構成されたものであってもよいし、３次元的に配置された複数の色の組み合わせパターンで構成されたものであってもよい。

また、本発明の３次元データ処理システムにおいて、３次元パターンは、２値のパターンまたは複数の色の組み合わせパターンが３次元格子状に配列されてなるものであり、パターン認識部は、取得された撮影画像から切り出した各部分画像において、ハフ変換を行うことによって消失点の位置を求め、求められた消失点を用いてパターンを認識するものであってもよい。

本発明の３次元データ処理システムにおいて、立体物は臓器であり、内部構造物は血管であってもよい。

本発明の３次元データ処理方法は、３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成するステップと、各付加した３次元パターンを３次元パターンが付加された３次元データ上の位置と対応づけて記憶部に記憶するステップと、３次元パターンが付加された３次元データを用いて３次元モデルを造形するステップと、造形され、かつ、所望部位を切除又は切開された３次元モデルを撮影して撮影画像を取得するステップと、取得された撮影画像においてパターンを認識するステップと、記憶部に記憶されている３次元パターンの中から認識されたパターンを含む３次元パターンを検索し、検索された３次元パターンに対応づけて記憶部に記憶されている３次元データ上の位置とパターンが認識された撮影画像上の位置を対応付けるステップとを備えたことを特徴とする。

本発明の３次元データ処理プログラムは、コンピュータに、３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成するデータ作成処理と、各付加した３次元パターンを３次元パターンが付加された３次元データ上の位置と対応づけて記憶部に記憶する記憶処理と、３次元パターンが付加された３次元データを用いた３次元モデルを造形装置に造形させる３次元造形処理と、造形され、かつ、所望部位を切除又は切開された３次元モデルが撮影された撮影画像を取得する画像取得処理と、取得された撮影画像においてパターンを認識するパターン認識処理と、記憶部に記憶されている３次元パターンの中から認識されたパターンを含む３次元パターンを検索し、検索された３次元パターンに対応づけて記憶部に記憶されている３次元データ上の位置とパターンが認識された撮影画像上の位置を対応付ける対応付け処理とを実行させるためのものである。

また、本発明の３次元データ処理プログラムは、通常、複数のプログラムモジュールからなり、上記各処理は、それぞれ、一または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。

本発明の３次元モデルは、立体物の３次元モデルであって、立体物の複数個所に各々異なる３次元パターンが付加されていることを特徴とする。

本発明の３次元モデル造形装置は、３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成するデータ作成部と、各付加した３次元パターンを３次元パターンが付加された３次元データ上の位置と対応づけて記憶する記憶部と、３次元パターンが付加された３次元データを用いて３次元モデルを造形する３次元造形部とを備えたことを特徴とする。

本発明の３次元データ処理システム、方法、及びプログラムによれば、３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成し、各付加した３次元パターンを３次元パターンが付加された３次元データ上の位置と対応づけて記憶部に記憶し、３次元パターンが付加された３次元データを用いて３次元モデルを造形し、造形され、かつ、所望部位を切除又は切開された３次元モデルを撮影して撮影画像を取得し、取得された撮影画像においてパターンを認識し、記憶部に記憶されている３次元パターンの中から認識されたパターンを含む３次元パターンを検索し、検索された３次元パターンに対応づけて記憶部に記憶されている３次元データ上の位置とパターンが認識された撮影画像上の位置を対応付けるようにしているので、撮影画像上の各位置に対応付けられた３次元データ上の位置により表される、３次元モデルの露出表面上の各位置に対応する立体物上の位置により、３次元モデルの一部が切除又は切開された状態を容易に認識することができる。

本発明の３次元モデル、及び本発明の３次元モデル造形装置によって造形された３次元モデルによれば、立体物の３次元モデルであって、立体物の複数個所に各々異なる３次元パターンが付加されているので、３次元モデルを撮影した撮影画像から、３次元モデルの一部が切除又は切開された状態を容易に認識することができる。具体的には、３次元モデルを撮影した撮影画像においてパターンを認識し、立体物の各位置に付加した３次元パターンの中から認識されたパターンを含む３次元パターンを検索し、検索された３次元パターンが付加された３次元データ上の位置を求めることによって、３次元モデルの一部が切除又は切開された状態を容易に認識することができる。

本発明の実施形態に係る３次元データ処理システムの概略構成を示す図 ３次元データ処理システムの機能を示すブロック図 立体物を表す３次元データの取得を説明するための図 模様が付加された３次元データを作成する方法を説明するための図 造形された３次元モデルの例を示す図 一部を切除される前と後の３次元モデルを撮影した撮影画像の例を示す図 図６の切除の前と後の３次元モデルの状態を示す図 撮影画像においてパターンを認識する方法を説明するための図 撮影画像上の位置と３次元データ上の位置の対応付けを説明するための図 ３次元データ処理システムにより行われる処理の流れを示すフローチャート

以下、本発明の３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置の実施形態について説明する。図１は、３次元データ処理システム１の概略構成を示すブロック図である。図１に示すように、このシステムは、３次元データ処理装置２と、３次元造形装置３と、撮影装置４とで構成されている。

３次元データ処理装置２は、コンピュータに、本発明の３次元データ処理プログラムをインストールしたものである。３次元データ処理装置２は、ＣＰＵ（Central Processing Unit）等が格納される装置本体５と、ユーザによる入力を受け付ける入力部６と、表示を行う表示部７とで構成されている。入力部６は、マウス、キーボード、タッチパッド等である。表示部７は、液晶ディスプレイ、タッチパネル、タッチスクリーン等である。

装置本体５は、ＣＰＵ５ａ、メモリ５ｂ、およびＨＤＤ（Hard Disk Drive）５ｃで構成されている。そして、ＣＰＵ５ａ、メモリ５ｂ、およびＨＤＤ５ｃは互いにバスラインで接続されている。ＨＤＤ５ｃには、本発明の画像処理プログラムとそのプログラムが参照するデータが記憶されている。ＣＰＵ５ａは、ＨＤＤ５ｃに記憶されているプログラムに従い、メモリ５ｂを一次記憶領域として、各種処理を実行する。

３次元データ処理プログラムは、ＣＰＵ５ａに実行させる処理として、データ作成処理と、記憶処理と、３次元造形処理と、画像取得処理と、パターン認識処理と、対応付け処理と、画像生成処理と、表示制御処理とを規定している。そして、プログラムの規定にしたがって、ＣＰＵ５ａが上記各処理を実行することにより、装置本体５は、図２に示すように、データ作成部５１と、記憶部５２、３次元造形部５３、画像取得部５４と、パターン認識部５５と、対応付け部５６と、画像生成部５７と、表示制御部５８として機能する。なお、本実施形態においては、３次元造形装置３と３次元造形部５３が、本発明の３次元造形部に相当し、撮影装置４と画像取得部５４が、本発明の画像取得部に相当し、ＨＤＤ５ｃと記憶部５２が、本発明の記憶部に相当する。

データ作成部５１は、３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成する。このため、データ作成部５１は、まず、立体物を表す３次元データを取得する。立体物がたとえば肝臓である場合、データ作成部５１は、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティから肝臓を含む腹部を撮影して得られたボリュームデータを取得し、図３に示すように、ボリュームデータにより表される３次元画像Ｖにおいて肝臓が撮影された領域Ｄ（以下、「３次元肝臓領域Ｄ」という）の範囲を特定し、その特定された範囲を表すデータ部分を肝臓を表す３次元データとして取得する。そして、データ作成部５１は、３次元肝臓領域Ｄを一定の間隔で３次元的にサンプリングした複数の位置Ｐｉ（i＝１、２、…、ｎ；ｎは、サンプリングされた位置の数）に各々異なる３次元パターンを付加することによって、模様が付加された３次元肝臓領域Ｄを表す３次元データを作成する。

３次元パターンは、図４に示すように、３次元的に配置された２値のブロックパターンであり、３次元パターンの各表面及び複数の異なる断面の各々には、３次元肝臓領域Ｄ全体においてユニークなパターンが割り当てられる。これにより、３次元パターンの任意の表面または断面において一定以上の大きさで認識されるパターンにより、３次元肝臓領域Ｄ上の各位置Ｐｉをユニークに識別することができる。なお、パターンの認識は、３次元データに基づいて造形された３次元モデルを後述する撮影装置４により撮影して得られた撮影画像を用いて行うので、３次元パターンの大きさは、３次元モデルを撮像装置４により撮影した撮影画像においてパターンが充分に認識可能な大きさにする。

記憶部５２は、データ作成部５１において３次元データに付加された３次元パターンの情報を、その３次元パターンが付加された３次元肝臓領域Ｄ上の位置Ｐｉ（３次元データ上の位置に相当）と対応づけてＨＤＤ５ｃに記憶するものである。このとき、記憶部５２は、３次元パターンの情報としては、２値のパターンである３次元パターンを０と１の組み合わせで表現したものを記憶し、３次元肝臓領域Ｄ上の位置Ｐｉとしては、３次元画像Ｖの座標系における座標値を記憶する。各３次元パターンの情報には、その３次元パターンの各表面及び複数の異なる断面において一定以上の大きさで認識されるパターンの情報が内在しているので、撮影画像において認識されるパターンの情報をこの記憶された３次元パターンの情報と照合することにより、認識されたパターンを含む３次元パターンを特定することができる。

なお、記憶部５２は、３次元パターンの情報に加えて、またはこれに代えて、３次元パターンの各表面及び複数の異なる断面にそれぞれ表れる２次元パターンの情報を、その３次元パターンが付加された３次元肝臓領域Ｄ上の位置Ｐｉ（３次元データ上の位置に相当）と対応づけてＨＤＤ５ｃに記憶するものであってもよい。

３次元造形部５３は、データ作成部５１において作成された、３次元パターンが付加された３次元肝臓領域Ｄを表す３次元データを３次元造形装置３に出力し、かつ、３次元造形装置３を制御して、その３次元データを用いた３次元モデルＭが造形されるようにする。３次元造形装置３は、３次元データを元に積層造形法により３次元モデルＭを造形する３Ｄプリンタである。３次元造形装置３は、３次元造形部５３に制御されて、３次元パターンが付加された３次元データを用いて３次元モデルＭを造形する。

３次元造形装置３は、２色以上の柔らかなゼラチン質の材料を用いた造形が可能なデュアルヘッド方式３Ｄプリンタであり、本実施形態では、３次元モデルＭの造形の際に、２色の材料により、３次元データに付加されている３次元パターンを造形する。これにより、表面だけではなく内部にまで３次元のパターンが埋め込まれた３次元モデルＭが造形される。

図５に、３次元パターンが付加された３次元肝臓領域Ｄを表す３次元データを元に造形された肝臓の３次元モデルＭの例を示す。図５に示すように、３次元モデルＭの表面には表面上の各位置に対応するパターンが表れる。また、医者等による手術シミュレーションにおいて一部を切除又は切開され、内部が露出されると、その内部が露出された内部露出面上に、その内部露出面上の各位置に対応するパターンが表れることとなる。

撮影装置４は、被写体像を光学的に撮影して２次元の画像データを撮影画像Ｉとして生成するカメラである。本実施形態では、撮影装置４は、上記造形された３次元モデルＭから所定の距離離れた位置に設置され、３次元モデルＭを撮影して撮影画像Ｉを生成し、生成された撮影画像Ｉを３次元データ処理装置２に出力する。このとき、撮影装置４は、３次元モデルＭを撮影した撮影画像Ｉにおいて、３次元モデルＭ上のパターンが後述するパターン認識部５５により充分に認識可能な解像度を有する。

図６に、撮影装置４により撮影された撮影画像Ｉの例を示す。図６の左側は、切除等により変形される前の状態の３次元モデルＭを撮影した撮影画像Ｉの例を示すものであり、図６の右側は、矢印ｄで示す部分を切除された後の状態の３次元モデルＭを撮影した撮影画像Ｉの例を示すものである。図７に、図６における切除の前と後の状態の３次元モデルＭを示す。なお、図７では、切除された部位を容易に確認できるようにするため、３次元モデルＭの露出面上に表れるパターンの表示を省略している。

画像取得部５４は、撮影装置４から、３次元モデルＭを撮影した撮影画像Ｉを取得するものである。この画像取得部５４により取得された撮影画像Ｉは、ＨＤＤ５ｃに記憶される。

パターン認識部５５は、画像取得部５４により取得された撮影画像Ｉにおいてパターンを認識するものである。パターン認識部５５は、図７に示すように、撮影画像Ｉの領域内で、パターン認識の対象となる所定サイズの部分画像Ｗをその位置をずらしながら順次切り出し、切り出された部分画像Ｗに対して歪みを補正する処理を施し、歪みが補正された部分画像においてパターンを認識する。そして、撮影画像Ｉ上の部分画像Ｗを切り出した各位置Ｑｊ（i＝１、２、…、ｍ；ｍは、部分画像を切り出した位置の数）において認識されたパターンの情報として、そのパターンを０と１の組み合わせで表現したものを対応付け部５６に出力する。

なお、このとき、パターン認識部５５は、上記歪を補正する処理として、まず部分画像Ｗからエッジを抽出する。次にハフ変換を用いてエッジ画像から直線を抽出し、直線の交点から消失点を求める。そして、求められた消失点に向かう直線を平行にすることにより、部分画像Ｗの歪みを補正する。なお、上記歪を補正する処理は、ハフ変換を用いた上記方法のもの限定されない。上記歪を補正する処理には、カメラに対する３次元物体の表面の法線方向を推定可能な任意の方法を利用することができる。推定した３次元物体の表面の法線方向に基づいてパターンが正方格子状になるよう歪みの補正をすることができる。

対応付け部５６は、図９に示すように、撮影画像Ｉ上の各位置Ｑｊに対応する３次元肝臓領域Ｄ上の位置Ｐｉ（３次元データ上の位置に相当）を求めるものである。対応付け部５６は、パターン認識部５５によりパターンが認識された撮影画像Ｉ上の各位置Ｑｊのそれぞれについて、認識されたパターンの情報をＨＤＤ５ｃに記憶されている３次元パターンの情報と照合することにより、認識されたパターンを含む３次元パターンを特定する。そして、対応付け部５６は、特定された３次元パターンに対応づけてＨＤＤ５ｃに記憶されている３次元肝臓領域Ｄ上の位置Ｐｉを、その撮影画像Ｉ上の位置Ｑｊに対応するものとして取得する。この対応付け部５６により取得された、３次元肝臓領域Ｄ上の位置Ｐｉと撮影画像Ｉ上の位置Ｑｊの対応関係は、ＨＤＤ５ｃに記憶される。

このとき、３次元パターンの各表面及び複数の異なる断面にそれぞれ表れる２次元パターンが、その３次元パターンが付加された３次元肝臓領域Ｄ上の位置Ｐｉと対応づけてＨＤＤ５ｃに記憶されている場合には、対応付け部５６は、上記の方法に代えて、撮影画像Ｉ上の各位置において認識されたパターンの情報をＨＤＤ５ｃに記憶されている２次元パターンの情報と照合することにより、認識されたパターンを含む２次元パターンを特定し、特定された２次元パターンに対応づけてＨＤＤ５ｃに記憶されている３次元肝臓領域Ｄ上の位置Ｐｉを、その撮影画像Ｉ上の位置に対応するものとして取得することもできる。

これにより、３次元モデルＭの切除等による変形がなされていない部分が撮影された撮影画像Ｉ上の位置においては、３次元肝臓領域Ｄの表面上の位置が対応する位置として求められ、３次元モデルＭの切除等により内部が露出された部分が撮影された撮影画像Ｉ上の位置においては、３次元肝臓領域Ｄの内部の位置が対応する位置として求められることとなる。

画像生成部５７は、対応付け部５６により対応付けられた３次元肝臓領域Ｄ上の位置Ｐｉとパターンが認識された撮影画像Ｉ上の位置Ｑｊとの対応関係を用いて、３次元パターンを付加する前の３次元肝臓領域Ｄを表す３次元データから撮影画像Ｉに対応する疑似３次元画像を生成するものである。具体的には、画像生成部５７は、撮影画像Ｉ上の各位置Ｑｊに対応する３次元肝臓領域Ｄ上の位置Ｐｉの情報に基づいて、撮影画像Ｉに撮影されている３次元モデルＭの露出面に対応する３次元肝臓領域Ｄ上の面を特定し、３次元肝臓領域Ｄを特定された面で切除等により除去された領域と残された領域に区分する。そして、残された領域を例えば公知のボリュームレンダリング手法、サーフェスレンダリング手法等を用いて所定の投影面に投影した投影画像を生成する。

このとき、画像生成部５７は、撮影画像Ｉ上の任意の３点の位置Ｑｊに対応する３次元肝臓領域Ｄ上の３点の位置Ｐｉが、投影画像において、撮影画像Ｉ上における３点の位置Ｑｊの位置関係と同じ位置関係となる視点の位置及び視線の方向を設定して、中心投影による投影画像を生成する。これにより、撮影画像Ｉの撮影視点に対応する視点位置から、撮影画像Ｉに撮影された３次元モデルＭの一部が切除又は切開された状態を、３次元の仮想空間で再現した疑似３次元画像が生成される。

また、画像生成部５７は、疑似３次元画像として、切除等により３次元モデルＭの内部が露出されてなる内部露出面に対応する３次元肝臓領域Ｄ上の面を、３次元肝臓領域Ｄの他の面と視覚的に区別可能な態様で表した画像を生成することができる。また、画像生成部５７は、疑似３次元画像として、３次元モデルＭの内部露出面に対応する３次元肝臓領域Ｄ上の面に、３次元肝臓領域Ｄ内部の血管が露出した状態を表した画像を生成することもできる。

表示制御部５８は、表示部７の表示を制御するものである。表示制御部５８は、表示部７に、画像生成部５７により生成された疑似３次元画像を単独で、撮影画像Ｉと並べて、又は撮影画像Ｉに重ねて表示させるものである。

次に、画像情報記憶装置１００により行われる処理の流れを、図１０に示すフローチャートを参照して説明する。まず、データ作成部５１が、３次元座標系において立体物を表す３次元データを取得し、３次元データの複数個所Ｐｉに各々異なる３次元パターンが付加された３次元データを作成する（Ｓ１）。次いで、記憶部５２が、ステップＳ１で各付加された３次元パターンの情報を、その３次元パターンが付加された３次元データ上の位置Ｐｉと対応づけてＨＤＤ５ｃに記憶する（Ｓ２）。次いで、３次元造形部５３が、ステップＳ１で作成された３次元パターンが付加された３次元データを造形装置３に出力し、３次元造形装置３が、入力された３次元データを元に３次元モデルＭを造形する（Ｓ３）。

次いで、撮影装置４が、ステップＳ３で造形され、かつ、所望部位を切除又は切開された３次元モデルＭを撮影して撮影画像Ｉを生成し、画像取得部５４が、撮影装置４から、３次元モデルＭを撮影した撮影画像Ｉを取得する（Ｓ４）。次いで、パターン認識部５５が、ステップＳ４で取得された撮影画像Ｉの領域内で、所定サイズの部分画像Ｗをその位置をずらしながら順次切り出し、切り出された部分画像Ｗにおいてパターンを認識する（Ｓ５）。次いで、対応付け部５６が、ＨＤＤ５ｃに記憶されている３次元パターンの中からステップＳ５で撮影画像Ｉ上の各位置Ｑｊにおいて認識されたパターンを含む３次元パターンを検索し、検索された３次元パターンに対応づけて記憶されている３次元データ上の位置Ｐｉとパターンが認識された撮影画像Ｉ上の位置Ｑｊを対応付ける（Ｓ６）。

次いで、画像生成部５７が、ステップＳ６で対応付けられた３次元データ上の位置Ｐｉと撮影画像Ｉ上の位置Ｑｊとの対応関係を用いて、３次元パターンを付加する前の３次元データから撮影画像Ｉに対応する疑似３次元画像を生成する（Ｓ７）。そして、表示制御部５５が、表示部７に、ステップＳ８で生成された疑似３次元画像を表示させ（Ｓ８）、処理を終了する。

以上の構成により、本実施形態の３次元データ処理システム１では、データ作成部５１が、３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成し、記憶部５２が、各付加した３次元パターンを３次元パターンが付加された３次元データ上の位置と対応づけてＨＤＤ５ｃに記憶し、３次元造形部５３が、３次元パターンが付加された３次元データを３次元造形装置３に出力し、３次元造形装置３が、入力された３次元データを元に３次元モデルを造形する。そして、撮影装置４が、造形され、かつ、所望部位を切除又は切開された３次元モデルＭを撮影して撮影画像を生成し、画像取得部５４が、撮影装置４から、撮影画像Ｉを取得する。そして、パターン認識部５５が、取得された撮影画像においてパターンを認識し、対応付け部５６が、ＨＤＤ５ｃに記憶されている３次元パターンの中から認識されたパターンを含む３次元パターンを検索し、検索された３次元パターンに対応づけてＨＤＤ５ｃに記憶されている３次元データ上の位置とパターンが認識された撮影画像上の位置を対応付ける。これにより、撮影画像上の各位置に対応付けられた３次元データ上の位置により表される、３次元モデルの露出表面上の各位置に対応する立体物上の位置により、３次元モデルの一部が切除又は切開された状態を容易に認識することができる。

なお、上記実施の形態では、３次元データ処理装置２が画像生成部５７や表示制御部５８を備えたものである場合について説明したが、これらの構成は必ずしも必要ではなく、必要に応じて設けるとよい。

また、上記実施の形態では、３次元肝臓領域Ｄの全範囲を３次元的にサンプリングした複数の位置に３次元パターンを付加する場合について説明したが、一部の領域（たとえば切除又は切開が予定されている領域等）を３次元的にサンプリングした複数の位置にのみ３次元パターンを付加するようにしてもよい。また、サンプリングの間隔は、対象の領域全体において同じでもよいし、場所によって異なってもよい。

また、上記実施の形態では、記憶部５２が、３次元データに付加した３次元パターンの情報、又は３次元パターンの各表面及び複数の異なる断面にそれぞれ表れる２次元パターンの情報を、その３次元パターンが付加された３次元データ上の位置と対応づけて記憶するものである場合について説明したが、これに限定されるものではなく、記憶部５２は、３次元データに付加した３次元パターンの各表面及び複数の異なる断面にそれぞれ表れる２次元パターンの情報を、３次元パターンが付加された３次元データ上の位置及び２次元パターンが表れる断面の方向と対応づけて記憶するものとすることができる。

この場合、対応付け部５６は、ＨＤＤ５ｃに記憶されている２次元パターンの中から認識されたパターンに最も類似する２次元パターンを検索し、検索された２次元パターンを含む３次元パターンに対応づけてＨＤＤ５ｃに記憶されている３次元データ上の位置及び検索された２次元パターンが表れる断面の方向を、パターンが認識された前記撮影画像上の位置と対応付けるものとすることができる。また、画像生成部５７は、パターンが認識された撮影画像上の位置とその位置に対応付けられた３次元データ上の位置及び断面の方向の情報に基づいて、３次元パターンを付加する３次元データから撮影画像に対応する疑似３次元画像を生成するものとすることができる。

また、上記実施の形態では、３次元パターンが、２値のパターンである場合について説明したが、３次元パターンは、複数の色の組み合わせパターンで構成されたものであってもよい。３値以上のパターンを３次元パターンとして用いる場合、２値のパターンを用いた場合に比べ、より小さな大きさの３次元パターンでより多くの位置を識別可能にすることができる。また、上記実施の形態では、３次元パターンが、ブロックパターンである場合について説明したが、３次元パターンは、ドットパターン、ストライプパターン等の他の種類のパターンであってもよい。

また、上記実施の形態では、本発明の３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置を、肝臓の３次元モデルを作成するものに適用した場合について説明したが、これに限定されるものではなく、他の臓器、又は臓器以外の様々な立体物の３次元モデルを作成する場合にも本発明を適用することができる。

１ ３次元データ処理システム
２ ３次元データ処理装置
３ ３次元造形装置
４ 撮影装置
５ 装置本体
５ａ ＣＰＵ
５ｂ メモリ
５ｃ ＨＤＤ（Hard Disk Drive）
６ 入力部
７ 表示部
５１ データ作成部
５２ 記憶部
５３ ３次元造形部
５４ 画像取得部
５５ パターン認識部
５６ 対応付け部
５７ 画像生成部
５８ 表示制御部

Claims (16)

1. ３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成するデータ作成部と、
   前記各付加した３次元パターンを該３次元パターンが付加された前記３次元データ上の位置と対応づけて記憶する記憶部と、
   前記３次元パターンが付加された３次元データを用いて３次元モデルを造形する３次元造形部と、
   前記造形され、かつ、所望部位を切除又は切開された３次元モデルを撮影して撮影画像を取得する画像取得部と、
   前記取得された撮影画像においてパターンを認識するパターン認識部と、
   前記記憶部に記憶されている３次元パターンの中から前記認識されたパターンを含む３次元パターンを検索し、該検索された３次元パターンに対応づけて前記記憶部に記憶されている前記３次元データ上の位置と前記パターンが認識された前記撮影画像上の位置を対応付ける対応付け部と
   を備えたことを特徴とする３次元データ処理システム。
2. 前記記憶部が、前記各付加された３次元パターンの複数の異なる断面上にそれぞれ表れる２次元パターンを、当該３次元パターンが付加された前記３次元データ上の位置と対応づけて記憶するものであり、
   前記対応付け部が、前記記憶部に記憶されている前記２次元パターンの中から前記認識されたパターンに最も類似する２次元パターンを検索し、該検索された２次元パターンを含む３次元パターンに対応づけて前記記憶部に記憶されている前記３次元データ上の位置と前記パターンが認識された前記撮影画像上の位置を対応付けるものである請求項１記載の３次元データ処理システム。
3. 前記対応付けられた前記３次元データ上の位置と前記パターンが認識された前記撮影画像上の位置との対応関係を用いて、前記３次元パターンを付加する前の３次元データから前記撮影画像に対応する疑似３次元画像を生成する画像生成部を備えた請求項１または２記載の３次元データ処理システム。
4. 前記記憶部が、前記各付加された３次元パターンの複数の異なる方向の断面上にそれぞれ表れる２次元パターンを、当該３次元パターンが付加された前記３次元データ上の位置及び当該２次元パターンが表れる断面の方向と対応づけて記憶するものであり、
   前記対応付け部が、前記記憶部に記憶されている前記２次元パターンの中から前記認識されたパターンに最も類似する２次元パターンを検索し、該検索された２次元パターンを含む３次元パターンに対応づけて前記記憶部に記憶されている前記３次元データ上の位置及び当該検索された２次元パターンが表れる断面の方向を、前記パターンが認識された前記撮影画像上の位置と対応付けるものである請求項１記載の３次元データ処理システム。
5. 前記対応付けられた前記３次元データ上の位置及び断面の方向と前記パターンが認識された前記撮影画像上の位置との対応関係を用いて、前記３次元パターンを付加する前の３次元データから前記撮影画像に対応する疑似３次元画像を生成する画像生成部を備えた請求項４記載の３次元データ処理システム。
6. 前記画像生成部が、前記疑似３次元画像として、前記立体物の内部が露出されてなる内部露出面を前記立体物のその他の面と視覚的に区別可能な態様で表す画像を生成するものである請求項３または５記載の３次元データ処理システム。
7. 前記立体物が、内部に内部構造物を有するものであり、
   前記画像生成部が、前記疑似３次元画像として、前記立体物の内部が露出されてなる内部露出面に前記内部構造物が露出した状態を表す画像を生成するものである請求項３または５記載の３次元データ処理システム。
8. 画像を表示する表示部と、
   前記表示部に、前記撮影画像上に前記生成された疑似３次元画像を重畳して表示させる表示制御部と
   を備えた請求項３,５,６および７のいずれか１項記載の３次元データ処理システム。
9. 前記３次元パターンが、３次元的に配置された２値のパターンで構成されたものである請求項１から８のいずれか１項記載の３次元データ処理システム。
10. 前記３次元パターンが、３次元的に配置された複数の色の組み合わせパターンで構成されたものである請求項１から８のいずれか１項記載の３次元データ処理システム。
11. 前記３次元パターンが、２値のパターンまたは複数の色の組み合わせパターンが３次元格子状に配列されてなるものであり、
    前記パターン認識部が、前記取得された撮影画像から切り出した各部分画像において、ハフ変換を行うことによって消失点の位置を求め、該求められた消失点を用いて前記パターンを認識するものである請求項１から８のいずれか１項記載の３次元データ処理システム。
12. 前記立体物が臓器であり、前記内部構造物が血管であることを特徴とする請求項７記載の３次元データ処理システム。
13. ３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成するステップと、
    前記各付加した３次元パターンを該３次元パターンが付加された前記３次元データ上の位置と対応づけて記憶部に記憶するステップと、
    前記３次元パターンが付加された３次元データを用いて３次元モデルを造形するステップと、
    前記造形され、かつ、所望部位を切除又は切開された３次元モデルを撮影して撮影画像を取得するステップと、
    前記取得された撮影画像においてパターンを認識するステップと、
    前記記憶部に記憶されている３次元パターンの中から前記認識されたパターンを含む３次元パターンを検索し、該検索された３次元パターンに対応づけて前記記憶部に記憶されている前記３次元データ上の位置と前記パターンが認識された前記撮影画像上の位置を対応付けるステップと、
    を備えたことを特徴とする３次元データ処理方法。
14. コンピュータに、
    ３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成するデータ作成処理と、
    前記各付加した３次元パターンを該３次元パターンが付加された前記３次元データ上の位置と対応づけて記憶部に記憶する記憶処理と、
    前記３次元パターンが付加された３次元データを用いた３次元モデルを造形装置に造形させる３次元造形処理と、
    前記造形され、かつ、所望部位を切除又は切開された３次元モデルが撮影された撮影画像を取得する画像取得処理と、
    前記取得された撮影画像においてパターンを認識するパターン認識処理と、
    前記記憶部に記憶されている３次元パターンの中から前記認識されたパターンを含む３次元パターンを検索し、該検索された３次元パターンに対応づけて前記記憶部に記憶されている前記３次元データ上の位置と前記パターンが認識された前記撮影画像上の位置を対応付ける対応付け処理と
    を実行させるための３次元データ処理プログラム。
15. 立体物の３次元モデルであって、前記立体物の複数個所に各々異なる３次元パターンが付加されていることを特徴とする３次元モデル。
16. ３次元座標系において立体物を表す３次元データの複数個所に各々異なる３次元パターンが付加された３次元データを作成するデータ作成部と、
    前記各付加した３次元パターンを該３次元パターンが付加された前記３次元データ上の位置と対応づけて記憶する記憶部と、
    前記３次元パターンが付加された３次元データを用いて３次元モデルを造形する３次元造形部と
    を備えたことを特徴とする３次元モデル造形装置。