JP2007144056A - Modeling device, region extracting device, modeling method and program - Google Patents
Modeling device, region extracting device, modeling method and program Download PDFInfo
- Publication number
- JP2007144056A JP2007144056A JP2005345858A JP2005345858A JP2007144056A JP 2007144056 A JP2007144056 A JP 2007144056A JP 2005345858 A JP2005345858 A JP 2005345858A JP 2005345858 A JP2005345858 A JP 2005345858A JP 2007144056 A JP2007144056 A JP 2007144056A
- Authority
- JP
- Japan
- Prior art keywords
- model
- standard model
- standard
- modeling
- evaluation function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 230000005477 standard model Effects 0.000 claims abstract description 379
- 238000000605 extraction Methods 0.000 claims abstract description 108
- 238000011156 evaluation Methods 0.000 claims abstract description 51
- 238000013459 approach Methods 0.000 claims abstract description 17
- 238000005259 measurement Methods 0.000 claims description 35
- 239000000284 extract Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 33
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 59
- 238000010586 diagram Methods 0.000 description 24
- 210000000056 organ Anatomy 0.000 description 13
- 238000002591 computed tomography Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 101001069810 Homo sapiens Psoriasis susceptibility 1 candidate gene 2 protein Proteins 0.000 description 3
- 102100034249 Psoriasis susceptibility 1 candidate gene 2 protein Human genes 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 101100121035 Arabidopsis thaliana GCP2 gene Proteins 0.000 description 2
- 101100314273 Arabidopsis thaliana TOR1 gene Proteins 0.000 description 2
- 101100478233 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SPR3 gene Proteins 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- OVGWMUWIRHGGJP-WVDJAODQSA-N (z)-7-[(1s,3r,4r,5s)-3-[(e,3r)-3-hydroxyoct-1-enyl]-6-thiabicyclo[3.1.1]heptan-4-yl]hept-5-enoic acid Chemical compound OC(=O)CCC\C=C/C[C@@H]1[C@@H](/C=C/[C@H](O)CCCCC)C[C@@H]2S[C@H]1C2 OVGWMUWIRHGGJP-WVDJAODQSA-N 0.000 description 1
- 101100161473 Arabidopsis thaliana ABCB25 gene Proteins 0.000 description 1
- 101000988961 Escherichia coli Heat-stable enterotoxin A2 Proteins 0.000 description 1
- 101000752249 Homo sapiens Rho guanine nucleotide exchange factor 3 Proteins 0.000 description 1
- 101100096893 Mus musculus Sult2a1 gene Proteins 0.000 description 1
- 102100021689 Rho guanine nucleotide exchange factor 3 Human genes 0.000 description 1
- 101150081243 STA1 gene Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
本発明は、計測データ内の所望の領域に関するモデルのモデリング技術に関する。 The present invention relates to a modeling technique for a model related to a desired region in measurement data.
近年、医療分野において、X線CT(Computed Tomography)装置或いはMRI(Magnetic Resonance Imaging)装置等によって撮影された生体内の3次元画像(単に、「3次元画像」とも称する)が広く用いられている。これにより、体内の臓器等の情報が視覚的に把握可能となり診断精度の向上が期待できる。しかし、その一方で、診断に用いられる3次元画像は数十枚〜数百枚のスライス画像から構成されているため、このような膨大な情報量の中から診断に必要な情報のみを得ることは読影医師にとって大きな負担となっている。 In recent years, in-vivo three-dimensional images (simply referred to as “three-dimensional images”) taken by an X-ray CT (Computed Tomography) apparatus or MRI (Magnetic Resonance Imaging) apparatus have been widely used in the medical field. . As a result, information on internal organs and the like can be visually grasped, and an improvement in diagnostic accuracy can be expected. However, on the other hand, since the three-dimensional image used for diagnosis is composed of tens to hundreds of slice images, only information necessary for diagnosis is obtained from such an enormous amount of information. Is a big burden for doctors.
そこで、計算機を援用した定量的或いは自動的診断の要望が強まり、計算機による診断支援(CAD Computer−aided diagnosis)システムの研究が盛んに行われている。 Therefore, there is an increasing demand for quantitative or automatic diagnosis using a computer, and research on a computer aided diagnosis (CAD Computer-aided diagnosis) system has been actively conducted.
計算機による診断支援を行うには、診断に必要な情報、つまり臓器の領域又は形状等を3次元画像から正確に抽出することが重要な課題となる。 In order to perform diagnosis support by a computer, it is an important issue to accurately extract information necessary for diagnosis, that is, an organ region or shape from a three-dimensional image.
臓器の領域抽出手法としては、予め用意した標準立体モデルをエネルギー最小化原理に基づいて変形させ、目的の輪郭を見つけるモデルフィッテイング(Model Fitting)を利用した手法が存在する。 As an organ region extraction method, there is a method using model fitting (Model Fitting) for deforming a standard solid model prepared in advance based on the principle of energy minimization and finding a target contour.
このようなモデルフィッティングを用いた技術としては、互いに対応付けられた第1の立体モデルと第2の立体モデルとを想定し、第1の立体モデルをモデルフィッティング手法によって変形し、第2の立体モデルを第1の立体モデルの変形に応じて変形させる技術が提案されている(特許文献1参照)。 As a technique using such model fitting, a first three-dimensional model and a second three-dimensional model that are associated with each other are assumed, the first three-dimensional model is deformed by a model fitting method, and a second three-dimensional model is obtained. A technique for deforming a model in accordance with the deformation of the first three-dimensional model has been proposed (see Patent Document 1).
しかしながら、3次元画像に含まれる複数の異なる領域(臓器)ぞれぞれについて、複数の立体モデルを用いて個別にモデルフィッティングを行うと、当該複数の立体モデル間で互いに接触又は交差等の重複を生じる可能性があり、安定したモデリングができないという問題がある。 However, when model fitting is individually performed using a plurality of three-dimensional models for each of a plurality of different regions (organs) included in the three-dimensional image, overlapping such as contact or intersection between the plurality of three-dimensional models There is a problem that stable modeling cannot be performed.
そこで、本発明は上記課題に鑑みてなされたものであり、異なる領域(臓器)間の重複を防ぐことができるモデルフィッティング手法によって、安定したモデリングを行うことが可能な技術を提供することを課題とする。 Therefore, the present invention has been made in view of the above problems, and it is an object of the present invention to provide a technique capable of performing stable modeling by a model fitting technique capable of preventing overlap between different regions (organs). And
上記の課題を解決するため、請求項1の発明は、モデリング装置であって、計測データ内の第1の対象物に関する標準的なモデルである第1の標準モデルと、前記計測データ内の第2の対象物に関する標準的なモデルである第2の標準モデルとを取得する手段と、モデルフィッティング手法を用いて第1の評価関数を最適化するように前記第1の標準モデルを変形させ、前記第1の対象物に関するモデルを最終的に作成するモデル変形手段とを備え、前記第1の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とする。 In order to solve the above problems, the invention of claim 1 is a modeling device, wherein a first standard model that is a standard model related to a first object in measurement data, and a first model in the measurement data. Means for obtaining a second standard model, which is a standard model for the two objects, and deforming the first standard model so as to optimize the first evaluation function using a model fitting technique; Model deforming means for finally creating a model relating to the first object, and the first evaluation function includes the first standard model and the second standard model according to the deformation of the first standard model. It is characterized by including an element whose evaluation value deteriorates when the standard model approaches.
また、請求項2の発明は、請求項1の発明に係るモデリング装置において、前記モデル変形手段は、モデルフィッティング手法を用いて第2の評価関数を最適化するように前記第2の標準モデルを変形させ、前記第2の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とする。 According to a second aspect of the present invention, in the modeling device according to the first aspect of the invention, the model deforming means sets the second standard model so as to optimize the second evaluation function using a model fitting technique. The second evaluation function includes an element whose evaluation value deteriorates when the first standard model and the second standard model approach each other with the deformation of the first standard model. It is characterized by.
また、請求項3の発明は、請求項2の発明に係るモデリング装置において、前記モデル変形手段は、前記第1の評価関数と前記第2の評価関数とをそれぞれ最適化するように、前記第1の標準モデルと前記第2の標準モデルとを順次にそれぞれ繰り返し変形させることを特徴とする。 The invention according to claim 3 is the modeling apparatus according to claim 2, wherein the model deforming means optimizes the first evaluation function and the second evaluation function, respectively. The first standard model and the second standard model are repeatedly deformed in order, respectively.
また、請求項4の発明は、請求項1または請求項2の発明に係るモデリング装置において、前記モデル変形手段は、前記第1の標準モデルと前記第2の標準モデルとのうちの一方の標準モデルの変形を完了し、その後に他方の標準モデルの変形を行うことを特徴とする。 According to a fourth aspect of the present invention, in the modeling apparatus according to the first or second aspect of the present invention, the model deforming means is one standard of the first standard model and the second standard model. The modification of the model is completed, and then the deformation of the other standard model is performed.
また、請求項5の発明は、請求項1または請求項2の発明に係るモデリング装置において、前記モデル変形手段は、前記第1の標準モデルと前記第2の標準モデルとのうち、その初期位置精度の高い標準モデルから当該標準モデルの変形を完了し、その後に他方の標準モデルの変形を行うことを特徴とする。 According to a fifth aspect of the present invention, in the modeling apparatus according to the first or second aspect of the present invention, the model deforming means is an initial position of the first standard model and the second standard model. The modification of the standard model is completed from the standard model with high accuracy, and then the deformation of the other standard model is performed.
また、請求項6の発明は、請求項1ないし請求項5のいずれかの発明に係るモデリング装置において、前記第1の対象物に関するモデルを用いて前記計測データから前記第1の対象物の存在領域を抽出する抽出手段、をさらに備えることを特徴とする。 The invention of claim 6 is the modeling apparatus according to any one of claims 1 to 5, wherein the presence of the first object is obtained from the measurement data using a model relating to the first object. The image processing apparatus further includes extraction means for extracting a region.
また、請求項7の発明は、請求項1の発明に係るモデリング装置において、前記モデル変形手段は、モデルフィッティング手法を用いて第2の評価関数を最適化するように前記第2の標準モデルを変形させ、前記第2の対象物に関するモデルを最終的に作成し、前記抽出手段は、前記第2の対象物に関するモデルを用いて前記計測データから前記第2の対象物の存在領域を抽出することを特徴とする。 The invention according to claim 7 is the modeling apparatus according to claim 1, wherein the model deforming means sets the second standard model so as to optimize the second evaluation function using a model fitting technique. Deformation and finally creating a model relating to the second object, and the extracting means extracts an existing region of the second object from the measurement data using the model relating to the second object It is characterized by that.
また、請求項8の発明は、請求項1ないし請求項7のいずれかの発明に係るモデリング装置において、前記要素は、前記第1の標準モデルと前記第2の標準モデルとの間に設定された仮想バネに蓄えられるエネルギーの関数によって表されることを特徴とする。 The invention of claim 8 is the modeling apparatus according to any one of claims 1 to 7, wherein the element is set between the first standard model and the second standard model. It is represented by a function of energy stored in a virtual spring.
また、請求項9の発明は、請求項1ないし請求項7のいずれかの発明に係るモデリング装置において、前記要素は、前記第1の標準モデルと前記第2の標準モデルとの間に仮想的に生じる反発エネルギーの関数によって表されることを特徴とする。 According to a ninth aspect of the present invention, in the modeling apparatus according to any one of the first to seventh aspects of the present invention, the element is virtually between the first standard model and the second standard model. It is represented by a function of repulsive energy generated in
また、請求項10の発明は、領域抽出装置であって、計測データ内の第1の対象物に関する標準的なモデルである第1の標準モデルと、前記計測データ内の第2の対象物に関する標準的なモデルである第2の標準モデルとを取得する手段と、モデルフィッティング手法を用いて第1の評価関数を最適化するように前記第1の標準モデルを変形させ、前記第1の対象物に関するモデルを最終的に作成するモデル変形手段と、前記第1の標準モデルを用いて前記第1の対象物の存在領域を前記計測データから抽出する手段とを備え、前記第1の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とする。 The invention of claim 10 is a region extraction device, which relates to a first standard model that is a standard model relating to a first object in measurement data, and a second object in the measurement data. Means for obtaining a second standard model, which is a standard model, and deforming the first standard model so as to optimize the first evaluation function using a model fitting technique; Model deformation means for finally creating a model relating to an object, and means for extracting an existing region of the first object from the measurement data using the first standard model, the first evaluation function Includes an element whose evaluation value deteriorates when the first standard model and the second standard model approach each other with the deformation of the first standard model.
また、請求項11の発明は、モデリング方法であって、計測データ内の第1の対象物に関する標準的なモデルである第1の標準モデルと、前記計測データ内の第2の対象物に関する標準的なモデルである第2の標準モデルとを取得する工程と、モデルフィッティング手法を用いて第1の評価関数を最適化するように前記第1の標準モデルを変形させ、前記第1の対象物に関するモデルを最終的に作成するモデル変形工程とを備え、前記第1の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とする。 The invention of claim 11 is a modeling method, which is a first standard model that is a standard model related to a first object in measurement data, and a standard related to a second object in the measurement data. Obtaining a second standard model which is a typical model, and deforming the first standard model so as to optimize the first evaluation function using a model fitting technique, and the first object A model transformation step for finally creating a model relating to the first evaluation model, wherein the first evaluation function approaches the first standard model and the second standard model in accordance with the transformation of the first standard model. Then, the evaluation value includes an element that deteriorates.
また、請求項12の発明は、プログラムであって、コンピュータに、計測データ内の第1の対象物に関する標準的なモデルである第1の標準モデルと、前記計測データ内の第2の対象物に関する標準的なモデルである第2の標準モデルとを取得する工程と、モデルフィッティング手法を用いて第1の評価関数を最適化するように前記第1の標準モデルを変形させ、前記第1の対象物に関するモデルを最終的に作成するモデル変形工程とを実行させるプログラムであって、前記第1の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とする。 The invention of claim 12 is a program, wherein a first standard model that is a standard model related to a first object in measurement data and a second object in the measurement data are stored in a computer. Obtaining a second standard model that is a standard model for the first and second models, and deforming the first standard model to optimize the first evaluation function using a model fitting technique, A model deformation step of finally creating a model relating to an object, wherein the first evaluation function is the first standard model and the first model according to the deformation of the first standard model. It includes an element whose evaluation value deteriorates when the standard model 2 approaches.
請求項1から請求項9に記載の発明によれば、第1の標準モデルと第2の標準モデルとを用いたモデル変形において、第1の標準モデルと第2の標準モデルとが接近すると悪化する要素を導入した評価関数を用いて第1の標準モデルの変形を行うので、モデルの変形に伴う標準モデル同士の過剰な接近を防止し、標準モデル同士の接触又は交差等による重複を回避することが可能となり、安定したモデリングが可能となる。 According to the first to ninth aspects of the present invention, in the model deformation using the first standard model and the second standard model, if the first standard model and the second standard model approach each other, the deterioration occurs. Since the first standard model is deformed by using the evaluation function that introduces the element to be used, excessive approach between the standard models accompanying the deformation of the model is prevented, and duplication due to contact or intersection between the standard models is avoided. And stable modeling becomes possible.
また特に、請求項5に記載の発明によれば、第1の標準モデルと第2の標準モデルとのうち、その初期位置精度の高い標準モデルから標準モデルの変形を完了するので、正確に抽出された物体との位置関係を制約条件とした標準モデルの変形が順次可能となる。 In particular, according to the invention described in claim 5, since the deformation of the standard model is completed from the standard model having a high initial position accuracy among the first standard model and the second standard model, it is accurately extracted. The standard model can be sequentially transformed with the positional relationship with the object as a constraint.
また特に、請求項8に記載の発明によれば、標準モデル間に仮想バネを設定してモデル変形を行うので、第1の標準モデルと第2の標準モデルとの初期の相対位置関係を反映したモデリングが可能となる。 In particular, according to the invention described in claim 8, since virtual deformation is set between the standard models and the model is deformed, the initial relative positional relationship between the first standard model and the second standard model is reflected. Modeling becomes possible.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<1.第1実施形態>
<構成>
図1は、本発明の第1実施形態に係る領域抽出装置1Aの概要を示す図である。領域抽出装置1Aは、複数の領域(物体)を含む計測データ(詳細には3次元計測データ(立体計測データとも称する))から所望の対象物の領域(詳細には立体領域)を抽出する装置である。なお、この領域抽出装置1Aは、モデルフィッティング手法を用いて対象物モデルの生成処理を行うことから、「モデリング装置」とも称せられる。
<1. First Embodiment>
<Configuration>
FIG. 1 is a diagram showing an outline of a region extraction apparatus 1A according to the first embodiment of the present invention. The area extracting apparatus 1A is an apparatus that extracts a desired target area (specifically, a three-dimensional area) from measurement data (specifically, three-dimensional measurement data (also referred to as three-dimensional measurement data)) including a plurality of areas (objects). It is. Note that the region extraction apparatus 1A is also referred to as a “modeling apparatus” because it generates a target object model using a model fitting technique.
図1に示すように領域抽出装置1Aは、パーソナルコンピュータ(以下、単に「パソコン」と称する)2と、モニター3と、装着部5と、操作部4とを備えている。 As shown in FIG. 1, the area extracting apparatus 1 </ b> A includes a personal computer (hereinafter simply referred to as “PC”) 2, a monitor 3, a mounting unit 5, and an operation unit 4.
パソコン2は、制御部20、入出力I/F21、及び記憶部22を備えている。 The personal computer 2 includes a control unit 20, an input / output I / F 21, and a storage unit 22.
入出力I/F21は、モニター3、操作部4、装着部5及び外部ネットワークとパソコン2との相互間でデータの送受信を行うためのインターフェイス(I/F)であり、制御部20との間でデータの送受信を行う。 The input / output I / F 21 is an interface (I / F) for transmitting and receiving data between the monitor 3, the operation unit 4, the mounting unit 5 and the external network and the personal computer 2. Send and receive data with.
記憶部22は、例えばハードディスクなどで構成されており、領域抽出を実行するためのソフトウェアプログラム(以下、単に「プログラム」と称する)PG等を格納している。 The storage unit 22 is composed of, for example, a hard disk and stores a software program (hereinafter simply referred to as “program”) PG for executing region extraction.
制御部20は、主にCPU、ROM20a及びRAM20b等を有し、パソコン2の各部を統括制御する部位である。 The control unit 20 mainly includes a CPU, a ROM 20a, a RAM 20b, and the like, and is a part that performs overall control of each unit of the personal computer 2.
モニター3は、例えば、LCDで構成され、制御部20で生成される表示用画像を可視的に出力する。 The monitor 3 is composed of, for example, an LCD, and visually outputs a display image generated by the control unit 20.
操作部4は、キーボード及びマウス等から構成され、使用者(ユーザ)の各種操作に伴う各種信号を入出力I/F21に送信する。 The operation unit 4 includes a keyboard, a mouse, and the like, and transmits various signals accompanying various operations of the user (user) to the input / output I / F 21.
また、装着部5は、メモリカード51等の記憶媒体を着脱自在に装着することができる。そして、装着部5に装着されたメモリカード51に格納される各種データ又はプログラム等を入出力I/F21を介して制御部20或いは記憶部22に取り込むことができる。 The mounting unit 5 can detachably mount a storage medium such as the memory card 51. Various data or programs stored in the memory card 51 attached to the attachment unit 5 can be taken into the control unit 20 or the storage unit 22 via the input / output I / F 21.
次に、領域抽出装置1Aが備える各種機能について説明する。 Next, various functions provided in the region extraction device 1A will be described.
図2は、領域抽出装置1Aが備える各種機能を示すブロック図である。 FIG. 2 is a block diagram showing various functions provided in the area extraction apparatus 1A.
これらの各種機能は、制御部20内のCPU等の各種ハードウェアを用いて所定のプログラムPGを実行することによって実現される。 These various functions are realized by executing a predetermined program PG using various hardware such as a CPU in the control unit 20.
図2に示されるように、領域抽出装置1Aは、モデルフィッティング部11と領域抽出部12と抽出領域出力部13とを備え、入力される3次元画像(「3次元計測データ」あるいは「ボリュームデータ」とも称する)から使用者(ユーザ)等が抽出したい物体(以下、「抽出対象領域(物体)」とも称する)を抽出し、出力することができる。 As shown in FIG. 2, the region extraction apparatus 1A includes a model fitting unit 11, a region extraction unit 12, and an extraction region output unit 13, and receives an input three-dimensional image (“three-dimensional measurement data” or “volume data”). The object (hereinafter also referred to as “extraction target area (object)”) that the user (user) or the like wants to extract can be extracted from the user and output.
モデルフィッティング部11は、モデルフィッティング手法を用いて抽出対象領域(抽出対象物体)の標準モデルを変形することにより、当該抽出対象領域のモデルを作成する機能を有している。 The model fitting unit 11 has a function of creating a model of the extraction target region by deforming a standard model of the extraction target region (extraction target object) using a model fitting method.
ここで、「標準モデル」は、モデルフィッティング手法において用いられる立体モデルであり、抽出対象領域(例えば臓器)の標準的なモデルを意味する。また、標準モデルは、領域抽出装置1A内のモデル格納部14から取得される。 Here, the “standard model” is a three-dimensional model used in the model fitting method, and means a standard model of an extraction target region (for example, an organ). Further, the standard model is acquired from the model storage unit 14 in the area extraction apparatus 1A.
領域抽出部12は、モデルフィッティング部11で作成された抽出対象領域のモデルに基づいて、3次元計測データから抽出対象物体を抽出する機能を有している。 The region extraction unit 12 has a function of extracting an extraction target object from the three-dimensional measurement data based on the extraction target region model created by the model fitting unit 11.
抽出領域出力部13は、抽出した対象領域(物体)をモニター3に表示出力する機能を有している。 The extraction area output unit 13 has a function of displaying and outputting the extracted target area (object) on the monitor 3.
<処理概要>
次に、上述した領域抽出装置1Aの各機能についてより詳細に説明する。なお、以下の説明においては、X線CT装置によって取得される3次元画像(ボリュームデータ)からの物体(例えば臓器)の抽出処理について述べるが、本発明は他の計測データ(例えば、MRI装置によって取得される3次元画像等)からの領域抽出処理にも適用することができる。
<Process overview>
Next, each function of the region extraction apparatus 1A described above will be described in more detail. In the following description, extraction processing of an object (for example, an organ) from a three-dimensional image (volume data) acquired by an X-ray CT apparatus will be described. However, the present invention is applied to other measurement data (for example, an MRI apparatus). The present invention can also be applied to region extraction processing from acquired three-dimensional images or the like.
ここで、X線CT装置によって取得される3次元画像について説明する。 Here, a three-dimensional image acquired by the X-ray CT apparatus will be described.
図3は、X線CT装置によって取得される3次元画像TD1を示す図である。 FIG. 3 is a diagram showing a three-dimensional image TD1 acquired by the X-ray CT apparatus.
図3に示されるように、3次元画像TD1は、物体(人体)を輪切りにした断面を示す複数(例えば、数十枚から数百枚)のスライス画像(断層画像)SDで構成されている。各スライス画像SDは、各点(各画素)でのX線の吸収量(CT値)を濃淡表示して可視化した画像である。図3においては、3次元画像TD1を構成する複数のスライス画像SDのうちの所定位置におけるスライス画像PMも併せて示されている。 As shown in FIG. 3, the three-dimensional image TD1 is composed of a plurality (for example, several tens to several hundreds) of slice images (tomographic images) SD showing a cross section of an object (human body). . Each slice image SD is an image visualized by displaying the amount of X-ray absorption (CT value) at each point (each pixel) in grayscale. In FIG. 3, a slice image PM at a predetermined position among the plurality of slice images SD constituting the three-dimensional image TD1 is also shown.
図4は、領域抽出装置1Aの全体動作を示すフローチャートである。図5は、或るボリュームデータ内に存在する3つの物体(立体物)を示す図である。 FIG. 4 is a flowchart showing the overall operation of the area extracting apparatus 1A. FIG. 5 is a diagram showing three objects (three-dimensional objects) existing in certain volume data.
図4に示されるように、領域抽出装置1Aは、ステップS1からステップS3の工程を実行することによって、入力された3次元画像(ボリュームデータ)から使用者(ユーザ)が指定した1以上の物体(臓器)を抽出する。 As illustrated in FIG. 4, the region extraction device 1A performs one or more objects specified by the user (user) from the input three-dimensional image (volume data) by executing the steps S1 to S3. Extract (organ).
まず、ステップS1では、使用者(ユーザ)の手動操作等によりボリュームデータ内の初期位置に配置された標準モデルを、モデルフィッティング手法によって変形することで、抽出対象物体に相当する個別モデルが最終的に作成される。ステップS1で実行されるモデルフィッティングにおいては、ボリュームデータ内に存在する物体(臓器)同士が互いに接触し、交差等の重複を生じないようなモデルの変形が実行される。 First, in step S1, the individual model corresponding to the extraction target object is finally obtained by deforming the standard model arranged at the initial position in the volume data by a user (user) manual operation or the like by the model fitting method. To be created. In the model fitting executed in step S1, deformation of the model is executed such that objects (organs) existing in the volume data are in contact with each other and do not cause an overlap such as an intersection.
ステップS2では、ステップS1で作成された個別モデルの対応位置に存在する領域が、抽出対象物体(対象物)の存在領域として、3次元画像から抽出される。 In step S2, a region existing at the corresponding position of the individual model created in step S1 is extracted from the three-dimensional image as a region to be extracted (object).
ステップS3では、抽出された領域(物体)がモニター3に表示出力される。 In step S <b> 3, the extracted region (object) is displayed and output on the monitor 3.
なお、抽出対象物体の指定は、ステップS1の処理開始前に使用者(ユーザ)によって行われる。指定の方法としては、例えば、記憶部22に予めデータベース化されて保存されている各種臓器の項目一覧から、操作部(例えばマウス)4等の操作により使用者(ユーザ)が所望の項目を選択する態様等を採用することができる。 The extraction target object is designated by the user (user) before starting the process of step S1. As a specification method, for example, a user (user) selects a desired item by operating the operation unit (for example, mouse) 4 or the like from a list of various organ items stored in the database in the storage unit 22 in advance. It is possible to adopt a mode or the like.
以下の説明では、図5に示されるような3つの物体(臓器)を有するボリュームデータが領域抽出装置1Aに入力されたものとし、当該3つの物体(第1の物体AA、第2の物体BB及び第3の物体CC)を抽出対象領域として、抽出する場合について説明する。 In the following description, it is assumed that volume data having three objects (organs) as shown in FIG. 5 is input to the area extraction apparatus 1A, and the three objects (first object AA, second object BB). And a case where the third object CC) is extracted as the extraction target region.
<モデルフィッティング処理>
ステップS1のモデルフィッテイング処理は、予め準備された3つの抽出対象物体のそれぞれについての一般的(標準的)な立体モデルである各「標準モデル」を、3つの抽出対象物体から得られる情報(形状等)を用いてそれぞれ変形する処理である。なお、本出願においては、モデルフィッティングによる変形後の最終的に作成される標準モデル(換言すれば抽出対象物体の情報が反映された標準モデル)を「個別モデル」とも称するものとする。
<Model fitting process>
In the model fitting process of step S1, each “standard model”, which is a general (standard) three-dimensional model for each of three extraction target objects prepared in advance, is obtained from three extraction target objects ( Each of which is deformed using a shape or the like. In the present application, a standard model that is finally created after deformation by model fitting (in other words, a standard model that reflects information of an object to be extracted) is also referred to as an “individual model”.
ここで、抽出対象物体の標準モデルについて詳述する。図6は、3つの抽出対象物体(第1の物体AA、第2の物体BB及び第3の物体CC)に関する標準モデル(SA、SB、SC)が標準的な位置関係を有する状態で存在する様子を示す図である。 Here, the standard model of the extraction target object will be described in detail. FIG. 6 shows that standard models (SA, SB, SC) relating to three extraction target objects (first object AA, second object BB, and third object CC) have a standard positional relationship. It is a figure which shows a mode.
抽出対象物体の標準モデルは、例えば、微小な多角形(例えば、三角形)のポリゴンで構成され、記憶部22等に保存されている。ポリゴンで構成された標準モデルは、各ポリゴンの頂点の3次元座標によってそのモデルの表面形状を表現することができる。また、標準モデルにおけるポリゴンの頂点のうち、全頂点あるいは代表的な幾つかの頂点を「制御点」とも称する。 The standard model of the extraction target object is composed of, for example, a minute polygon (for example, a triangle) and is stored in the storage unit 22 or the like. The standard model composed of polygons can express the surface shape of the model by the three-dimensional coordinates of the vertices of each polygon. In addition, of the vertices of the polygon in the standard model, all vertices or some representative vertices are also referred to as “control points”.
また、3つの抽出対象物体AA,BB,CCに関するそれぞれの標準モデルSA,SB,SCは、互いに対応付けられた複数の「隣接点」をそれぞれ有しており、当該複数の隣接点は、3つの抽出対象物体が一般(標準)的に存在する位置関係から予め特定される。 In addition, each standard model SA, SB, SC related to the three extraction target objects AA, BB, CC has a plurality of “adjacent points” associated with each other. It is specified in advance from a positional relationship in which two extraction target objects generally exist (standard).
具体的には、図6を用いて説明する。3つの抽出対象物体(第1の物体AA、第2の物体BB及び第3の物体CC)に関する標準モデルは、所定の断面において図6に示されるような位置関係にあると仮定する。この場合、或る標準モデルと他の標準モデルとが互いに近接する各輪郭(境界)において、各輪郭上の所定の点同士が隣接点として対応付けられる。 Specifically, this will be described with reference to FIG. It is assumed that the standard model related to the three extraction target objects (first object AA, second object BB, and third object CC) has a positional relationship as shown in FIG. 6 in a predetermined cross section. In this case, in each contour (boundary) where a certain standard model and another standard model are close to each other, predetermined points on each contour are associated as adjacent points.
或る標準モデルと他の標準モデルとが互いに近接する輪郭(境界)上の所定の点が隣接点として対応付けられる。例えば、図6中の標準モデルSAと標準モデルSBとが近接する境界付近においては、標準モデルSAの輪郭(境界)上の任意の3点(点HAb1、HAb2、HAb3)が標準モデルSBの輪郭(境界)上の3点(点HBa1、HBa2、HBa3)にそれぞれ対応付けられている。この対応付けの手法としては、例えば、標準モデルSBの輪郭(境界)を示す各画素のうち、標準モデルSAの輪郭(境界)上の任意の3点(標準モデルSAの隣接点)それぞれについて最も近くに存在する各画素を標準モデルSBの隣接点とする手法を用いることができる。 A predetermined point on a contour (boundary) where a certain standard model and another standard model are close to each other is associated as an adjacent point. For example, in the vicinity of the boundary where the standard model SA and the standard model SB in FIG. 6 are close to each other, any three points (points HAb1, HAb2, HAb3) on the contour (boundary) of the standard model SA are contours of the standard model SB. (Points HBa1, HBa2, and HBa3) are associated with each other on the (boundary). As a method of this association, for example, among the pixels indicating the contour (boundary) of the standard model SB, for each of three arbitrary points (adjacent points of the standard model SA) on the contour (boundary) of the standard model SA, A method can be used in which each pixel existing in the vicinity is set as an adjacent point of the standard model SB.
このような標準モデルSAと標準モデルSBとの間で行われる対応付けが、標準モデルSAと標準モデルSCとの間、及び、標準モデルSBと標準モデルSCとの間でも同様に行われ、対応付けられた各隣接点が各標準モデルにその対応付けとともに予め設定される。 The correspondence performed between the standard model SA and the standard model SB is similarly performed between the standard model SA and the standard model SC and between the standard model SB and the standard model SC. Each attached adjacent point is preset to each standard model together with its correspondence.
なお、図6に示される平面においては、標準モデルSAと標準モデルSBとの隣接点の組が3組存在する場合を例示したが、当該隣接点の組数は任意である。また、各標準モデルは立体モデルなので、各標準モデル間で設定される隣接点は、同一平面上に設定されるとは限らない。 In the plane shown in FIG. 6, the case where there are three sets of adjacent points of the standard model SA and the standard model SB is illustrated, but the number of sets of the adjacent points is arbitrary. Further, since each standard model is a three-dimensional model, adjacent points set between the standard models are not always set on the same plane.
上述のように設定された標準モデルの各制御点及び各隣接点は、後述のモデルフィッティングにおいて利用される。 Each control point and each adjacent point of the standard model set as described above are used in model fitting described later.
以下では、図7〜図11を用いてモデルフィッティング処理について詳述する。 Hereinafter, the model fitting process will be described in detail with reference to FIGS.
図7は、モデルフィッティング処理(ステップS1)の詳細を示すフローチャートである。図8は、3次元画像(計測データ)に含まれる抽出対象物体AAを示す図であり、図9は、標準モデルSAを初期位置に移動させる様子を概念的に示す図である。図9においては、標準モデルを初期配置した際の抽出対象物体と標準モデルとの位置関係も示されている。図10は、抽出対象物体AAの境界点Q1を中心にした領域RQ(図9参照)付近を拡大表示した模式図であり、図11は、一部のスライス画像PQ1、PQ2及びPQ4を示す図である。 FIG. 7 is a flowchart showing details of the model fitting process (step S1). FIG. 8 is a diagram showing the extraction target object AA included in the three-dimensional image (measurement data), and FIG. 9 is a diagram conceptually showing how the standard model SA is moved to the initial position. FIG. 9 also shows the positional relationship between the extraction target object and the standard model when the standard model is initially arranged. FIG. 10 is a schematic diagram in which the vicinity of the region RQ (see FIG. 9) centering on the boundary point Q1 of the extraction target object AA is enlarged, and FIG. 11 is a diagram showing some slice images PQ1, PQ2, and PQ4. It is.
まず、ステップS11では、抽出対象物体の標準モデルが計測データ中の抽出対象領域に初期配置される。初期位置の決定手法としては、例えば、操作者(ユーザ)が、予め用意された3つの標準モデルを適切な位置にそれぞれ手動で配置する手法を採用することができる。具体的には、図8に示されるように、3次元画像(計測データ)TD1に抽出対象物体の1つである物体AAが存在する場合、操作者(ユーザ)は、マウス等の操作によって、抽出対象物体AAの標準モデルSAを移動して、当該標準モデルSAを計測データTD1中に初期配置する(図9参照)。また、他の抽出対象物体(BB及びCC)それぞれについても同様の手法によって、対応する標準モデル(SB及びSC)を初期配置する。なお、初期位置の決定手法は、領域拡張手法等を用いて自動的に行ってもよい。 First, in step S11, the standard model of the extraction target object is initially placed in the extraction target area in the measurement data. As a method for determining the initial position, for example, a method in which an operator (user) manually arranges three standard models prepared in advance at appropriate positions can be employed. Specifically, as shown in FIG. 8, when the object AA that is one of the extraction target objects exists in the three-dimensional image (measurement data) TD1, the operator (user) The standard model SA of the extraction target object AA is moved, and the standard model SA is initially arranged in the measurement data TD1 (see FIG. 9). Further, corresponding standard models (SB and SC) are initially arranged for each of the other extraction target objects (BB and CC) by the same method. Note that the initial position determination method may be automatically performed using a region expansion method or the like.
次のステップS12では、標準モデルの制御点に対応する点(以下、「対応点」とも称する)を決定する処理が各標準モデルにおいて行われる。ここでは、抽出対象物体の輪郭(境界)を示す画素(境界点)のうち、制御点の最も近傍に存在する画素を当該制御点の対応点とする手法を用いる。なお、各抽出対象物体の輪郭(境界)は、各スライス画像SDにおいて、エッジ抽出処理を行うことなどによって取得される。 In the next step S12, processing for determining a point corresponding to a control point of the standard model (hereinafter also referred to as “corresponding point”) is performed in each standard model. Here, a method is used in which a pixel existing closest to a control point among pixels (boundary points) indicating the contour (boundary) of the extraction target object is a corresponding point of the control point. Note that the outline (boundary) of each extraction target object is acquired by performing edge extraction processing or the like in each slice image SD.
例えば、図10(立面図)においては、制御点C1の対応点は、制御点C1の最も近傍に存在する境界点(画素)Q1となる。ここで、図10においては、xz平面に平行な所定の平面(2次元空間)における境界点のみが示されているが、実際には、図11に示されるような3次元空間において制御点C1の最も近傍に存在する境界点が対応点となる。なお、図11においては、制御点C1の各スライス画像PQ1、PQ2、PQ4における射影点が×印で示されている。 For example, in FIG. 10 (elevated view), the corresponding point of the control point C1 is the boundary point (pixel) Q1 that exists closest to the control point C1. Here, in FIG. 10, only the boundary points in a predetermined plane (two-dimensional space) parallel to the xz plane are shown, but actually, the control point C1 in the three-dimensional space as shown in FIG. The boundary point existing closest to is a corresponding point. In FIG. 11, the projection points in the slice images PQ1, PQ2, and PQ4 of the control point C1 are indicated by x.
各標準モデルにおける各制御点の対応点が決定すると、ステップS13に移行する。以下に説明するステップS13からステップS18までの各処理(「モデル変形処理」とも称する)は、1つの標準モデルごとに逐次的に実行される。具体的には、ステップS13からステップS18までの各処理(モデル変形処理)は、後述の所定の判定処理において終了と判定されるまで、繰り返し実行されるループ処理である。例えば、標準モデルSAに関して当該モデル変形処理が実行されたとすると、所定の判定処理後の次のモデル変形処理では、標準モデルSA以外のモデル(例えば標準モデルSB又はSC)について実行される。つまり、本第1実施形態のモデル変形処理では、最初に標準モデルSA、次に標準モデルSB、そして標準モデルSCと、この順序で順次繰り返し実行されるものとする。 When the corresponding point of each control point in each standard model is determined, the process proceeds to step S13. Each process from step S13 to step S18 described below (also referred to as “model deformation process”) is sequentially executed for each standard model. Specifically, each process (model deformation process) from step S13 to step S18 is a loop process that is repeatedly executed until it is determined to end in a predetermined determination process described later. For example, if the model deformation process is executed for the standard model SA, the next model deformation process after the predetermined determination process is executed for a model other than the standard model SA (for example, the standard model SB or SC). That is, in the model deformation process of the first embodiment, the standard model SA is first executed, then the standard model SB, and then the standard model SC are sequentially executed in this order.
以下では、モデル変形処理(ステップS13〜S18)について詳述する。なお、当該モデル変形処理の説明に際し、標準モデルSAについて行われるモデル変形処理を適宜例にして説明する。 Hereinafter, the model deformation process (steps S13 to S18) will be described in detail. In the description of the model deformation process, the model deformation process performed on the standard model SA will be described as an example as appropriate.
ステップS13では、各標準モデル(例えば標準モデルSA)の制御点Cjのうち任意の一点(以下、「移動対象点」とも称する)(例えば制御点C1)が一方向(例えばA1方向)に微小量L移動される(図10参照)。 In step S13, one arbitrary point (hereinafter also referred to as “movement target point”) (for example, control point C1) among the control points Cj of each standard model (for example, standard model SA) is minute in one direction (for example, the A1 direction). L is moved (see FIG. 10).
また、移動対象点の当該移動にともなって移動した隣接点の3次元座標は、各制御点Cjの座標値を用いた適宜の補間手法によって得ることが可能である。 Further, the three-dimensional coordinates of the adjacent points that have moved with the movement of the movement target point can be obtained by an appropriate interpolation method using the coordinate values of the respective control points Cj.
さらに、ステップS14では、ステップS13において移動対象点を移動させ一時的に変形させた状態のモデル(以下、「一時変形モデル」とも称する)の総合エネルギーUeが算出される。 Furthermore, in step S14, the total energy Ue of the model in which the movement target point is moved and temporarily deformed in step S13 (hereinafter also referred to as “temporary deformation model”) is calculated.
総合エネルギーUeは、ステップS13で行われる制御点Cjの移動に関する評価関数であり、また、制御点Cjの移動によって作成された一時変形モデルのモデル評価関数とも表現できる。この総合エネルギーUeは、最適な制御点Cjの移動、すなわち、最適なモデル変形を採用するために用いられる。 The total energy Ue is an evaluation function related to the movement of the control point Cj performed in step S13, and can also be expressed as a model evaluation function of a temporary deformation model created by the movement of the control point Cj. This total energy Ue is used to adopt an optimal movement of the control point Cj, that is, an optimal model deformation.
このような総合エネルギーUeは、一時変形モデルの変形状態を表す種々の関数によって構成される。具体的には、式(1)に示されるように、制御点Cjと対応点との距離に関する外部エネルギーFeと、過剰な変形を避けるための内部エネルギーGeと、モデル同士の交差等を避けるための相互エネルギーHeとの和で表される。なお、外部エネルギーFe、内部エネルギーGe及び相互エネルギーHeについては後述する。 Such total energy Ue is constituted by various functions representing the deformation state of the temporary deformation model. Specifically, as shown in equation (1), external energy Fe regarding the distance between the control point Cj and the corresponding point, internal energy Ge for avoiding excessive deformation, and crossing between models are avoided. It is represented by the sum of the mutual energy He. External energy Fe, internal energy Ge, and mutual energy He will be described later.
次に、ステップS15において、移動対象点が全ての方向に移動されたか否かを判定する。例えば、3次元空間の全方位における移動対象点の移動方向を26方向(当該移動対象点(画素)に隣接する26画素へ向かう方向)とすると、26方向全ての方向に制御点C1が移動されたか否かを判定する。 Next, in step S15, it is determined whether or not the movement target point has been moved in all directions. For example, if the movement direction of the movement target point in all directions in the three-dimensional space is 26 directions (direction toward 26 pixels adjacent to the movement target point (pixel)), the control point C1 is moved in all 26 directions. It is determined whether or not.
移動対象点(制御点C1)を26方向全てに移動させた一時変形モデルの作成が終了していなければ、移動対象点の移動方向を変更して再び微小量L移動させ、異なる移動方向パターンの一時変形モデルを作成し(ステップS13)、各一時変形モデルの総合エネルギーUeを算出する(ステップS14)。 If the creation of the temporary deformation model in which the movement target point (control point C1) is moved in all 26 directions has not been completed, the movement direction of the movement target point is changed and moved again by a small amount L, and different movement direction patterns are obtained. A temporary deformation model is created (step S13), and the total energy Ue of each temporary deformation model is calculated (step S14).
そして、ステップS15において全方向の移動が終了したと判定されると、ステップS16へ移行する。 If it is determined in step S15 that the movement in all directions has been completed, the process proceeds to step S16.
ステップS16では、作成された全パターンの一時変形モデルの中から、総合エネルギーUeを最小とする一時変形モデルが選択される。換言すれば、或る制御点Cjを26方向に移動させて生成された各一時変形モデルのうち、総合エネルギーUeを最小化する最適な一時変形モデルが選択される。例えば、内部エネルギーGe及び相互エネルギーHeを考慮せずに外部エネルギーFeのみを考慮する場合には、その制御点が対応点に近づく方向へと移動する一時変形モデルが選択されることになる。そして、外部エネルギーFeに加えて内部エネルギーGeを考慮する場合には、その制御点が対応点に近づく方向とは異なる方向へと移動する一時変形モデルが選択されることもある。さらに、外部エネルギーFeと内部エネルギーGeとに加えて相互エネルギーHeを考慮すれば、当該変形が行われている標準モデルと他の標準モデルとの位置関係を反映した一時変形モデルの選択(最適化)が可能となり、各標準モデル同士の過剰な接近を防止し、モデル同士の接触又は交差等による重複を回避する作用を得ることができる。 In step S16, a temporary deformation model that minimizes the total energy Ue is selected from the created temporary deformation models of all patterns. In other words, an optimal temporary deformation model that minimizes the total energy Ue is selected from the temporary deformation models generated by moving a certain control point Cj in 26 directions. For example, when only the external energy Fe is considered without considering the internal energy Ge and the mutual energy He, a temporary deformation model in which the control point moves in a direction approaching the corresponding point is selected. When the internal energy Ge is considered in addition to the external energy Fe, a temporary deformation model in which the control point moves in a direction different from the direction approaching the corresponding point may be selected. Furthermore, if mutual energy He is considered in addition to external energy Fe and internal energy Ge, selection of a temporary deformation model that reflects the positional relationship between the standard model in which the deformation is performed and another standard model (optimization) ) Can be prevented, and an excessive approach between the standard models can be prevented, and an effect of avoiding duplication due to contact or intersection between the models can be obtained.
次に、ステップS17において全制御点Cjの移動が終了したか否かを判定する。具体的には、標準モデル(例えば標準モデルSA)の全ての制御点Cjについて微少量Lの移動が終了したか否かを判定し、終了していない制御点(未了点とも称する)が存在すれば、移動対象点を当該制御点(未了点)に変更してステップS13〜S17の動作を繰り返し、全ての制御点Cjの移動を完了した一時変形モデルを作成する。一方、全ての制御点の移動が終了していれば、ステップS18へ移行する。 Next, in step S17, it is determined whether or not all the control points Cj have been moved. Specifically, it is determined whether or not the movement of the minute amount L has been completed for all the control points Cj of the standard model (for example, standard model SA), and there is a control point that is not completed (also referred to as an incomplete point). Then, the movement target point is changed to the control point (incomplete point), and the operations in steps S13 to S17 are repeated to create a temporary deformation model in which the movement of all the control points Cj is completed. On the other hand, if the movement of all the control points has been completed, the process proceeds to step S18.
ステップS18では、所定の標準モデル(例えば標準モデルSA)についてのモデル変形(個別モデルの作成)を終了するか否かを判定する。具体的には、全ての制御点Cjの移動を完了させた一時変形モデルにおける複数の制御点とその対応点との距離の平均値が所定値以下であることを条件とし、当該条件を満たす場合に、モデル変形(個別モデルの作成)を終了するようにすればよい。これによれば、各制御点が対応点に所定程度近づいた場合に同処理を終了することができる。または、これに加えてあるいはこれに代えて、(全ての制御点Cjの移動を完了させた)前回の一時変形モデルと今回の一時変形モデルとの総合エネルギーUeの変化量が所定量以下であるか否かを終了判定の基準として用いてもよい。これによれば、制御点を移動しても総合エネルギーがあまり変化しなくなった場合に処理を終了することができる。 In step S18, it is determined whether or not to end model deformation (creation of an individual model) for a predetermined standard model (for example, standard model SA). Specifically, when the condition is satisfied on condition that the average value of the distances between the plurality of control points and the corresponding points in the temporary deformation model in which the movement of all the control points Cj is completed is equal to or less than a predetermined value In addition, the model deformation (individual model creation) may be terminated. According to this, when each control point approaches the corresponding point to a predetermined extent, the same process can be ended. Alternatively, or in addition to this, the amount of change in the total energy Ue between the previous temporary deformation model (which has completed the movement of all control points Cj) and the current temporary deformation model is equal to or less than a predetermined amount. Whether or not it may be used as a criterion for end determination. According to this, a process can be complete | finished when the total energy does not change so much even if a control point is moved.
その後、原則としてステップS19へと移行する。 Thereafter, the process proceeds to step S19 in principle.
ステップS19ではモデルの変形対象が変更され、その後、変更後の標準モデルについてステップS13からステップS18の処理が再実行される。 In step S19, the deformation target of the model is changed, and thereafter, the process from step S13 to step S18 is re-executed for the changed standard model.
例えば、ステップS13からステップS18における処理対象が標準モデルSAであった場合には、処理対象が標準モデルSBに変更され、その後、標準モデルSBについてステップS13からステップS18の処理が実行される。また、それまでの処理の対象が標準モデルSBであった場合には、処理対象が標準モデルSCに変更され、その後、標準モデルSCについてステップS13からステップS18の処理が実行される。さらに、それまでの処理対象が標準モデルSCであった場合には、処理対象が再び標準モデルSAに変更され、その後、標準モデルSAについてステップS13からステップS18の処理が実行される。 For example, when the processing target in step S13 to step S18 is the standard model SA, the processing target is changed to the standard model SB, and then the processing from step S13 to step S18 is executed for the standard model SB. If the target of processing up to that time is the standard model SB, the processing target is changed to the standard model SC, and then the processing from step S13 to step S18 is executed for the standard model SC. Further, when the processing target up to that time is the standard model SC, the processing target is changed to the standard model SA again, and thereafter, the processing from step S13 to step S18 is executed for the standard model SA.
このように、モデル変形処理の処理対象が、標準モデルSA→標準モデルSB→標準モデルSC→標準モデルSA→、...と順次に変更され、各標準モデルについて逐次的に(循環的に)モデル変形処理が実行されることになる。 As described above, the model transformation process target is changed in the order of standard model SA → standard model SB → standard model SC → standard model SA →, and so on, and sequentially (cyclically) for each standard model. A model transformation process is executed.
そして、上記のような動作を繰り返すうちに、ステップS18において所定の標準モデルについてのモデル変形(個別モデルの作成)を終了すると判定される場合は、最終的に得られた当該所定の標準モデルの一時変形モデルが、当該所定の標準モデルに対応する抽出対象物体の個別モデルとして決定され、当該所定の標準モデルについてのモデル変形(個別モデルの作成)を終了し、ステップS22へ移行する。 If it is determined in step S18 that the model deformation (individual model creation) for the predetermined standard model is to be completed while the above-described operation is repeated, the predetermined standard model finally obtained is determined. The temporary deformation model is determined as the individual model of the extraction target object corresponding to the predetermined standard model, the model deformation (creation of the individual model) for the predetermined standard model is terminated, and the process proceeds to step S22.
ステップS22においては、3つの標準モデル全てについてのモデル変形(個別モデルの作成)が終了したか否かが判定される。全ての標準モデルについてのモデル変形が未だ終了していないと判定されるときにはステップS19へ移行し上述のような繰り返し処理を続行する。詳細には、3つの標準モデルのうち、モデル変形未完了の標準モデルについて、順次に上述の繰り返し処理(ステップS13〜S18等)を施せばよい。 In step S22, it is determined whether or not model deformation (creation of individual models) has been completed for all three standard models. When it is determined that the model deformation for all the standard models has not been completed yet, the process proceeds to step S19 and the above-described repetitive processing is continued. Specifically, among the three standard models, the above-described repetitive processing (steps S13 to S18 and the like) may be sequentially performed on a standard model that has not been deformed.
一方、3つの標準モデル全てについてのモデル変形が終了したと判定されるとモデルフィッティング処理(ステップS1)を終了する。 On the other hand, when it is determined that the model deformation has been completed for all three standard models, the model fitting process (step S1) is terminated.
また、この実施形態では、各繰り返し処理において、対応点の修正を行うものとする。具体的には、ステップS19の後に、ステップS20,S21の処理を行う。 In this embodiment, it is assumed that corresponding points are corrected in each iteration. Specifically, after step S19, the processes of steps S20 and S21 are performed.
ステップS20では、上述のステップS13〜S19で実行される処理を単位処理ループとして当該単位処理ループが各標準モデルについて所定回数W(例えば10回)実行されたか否かを判定する。所定回数W実行されていれば、ステップS21へと移行する。 In step S20, it is determined whether the unit processing loop is executed a predetermined number of times W (for example, 10 times) for each standard model with the processing executed in steps S13 to S19 described above as a unit processing loop. If the predetermined number of times W has been executed, the process proceeds to step S21.
ステップS21では、ステップS12で決定した対応点の更新が行われる。具体的には、上述の処理ループによって所定回数W移動した各制御点の最も近傍に存在する画素(境界点)を各制御点それぞれの新しい対応点とする対応点の更新が行われ、再びステップS13〜S21の処理が繰り返し行われる。このような「対応点の更新」によれば、制御点の移動に伴って制御点の最近傍境界点が変わる場合にも、対応点の適正化を図ることができる。なお、対応点の更新が行われた後には、その標準モデルについてのカウンタ変数をリセットしておく。 In step S21, the corresponding points determined in step S12 are updated. Specifically, the corresponding point is updated with the pixel (boundary point) closest to each control point having moved W a predetermined number of times by the above processing loop as a new corresponding point for each control point, and the step is again performed. The processes of S13 to S21 are repeated. According to such “update of corresponding point”, it is possible to optimize the corresponding point even when the nearest boundary point of the control point changes with the movement of the control point. Note that after the corresponding point is updated, the counter variable for the standard model is reset.
このようにして、全ての制御点の移動を完了させた一時変形モデルが所定回数W作成されるごとに、対応点の更新動作が行われる。 In this way, every time the temporary deformation model that completes the movement of all control points is created W a predetermined number of times, the corresponding point update operation is performed.
このようなモデルフィッティング処理(ステップS1)においては、複数の異なる標準モデルを逐次的に変形させることによって、互いの形状変化を考慮したモデル変形が行われる。また、或る1つの標準モデルに注目すると、1制御点ごとに微少量Lずつ連続的に変形させることによって、抽出対象物体(抽出対象領域)に相当する個別モデルが作成される。また、後述するように、相互エネルギーHeを考慮することによれば、標準モデル相互間の相対距離をも考慮して個別モデルの作成を行うことが可能になる。 In such a model fitting process (step S1), model deformation considering each other's shape change is performed by sequentially deforming a plurality of different standard models. When attention is paid to a certain standard model, an individual model corresponding to an extraction target object (extraction target region) is created by continuously deforming a small amount L for each control point. Further, as will be described later, by considering the mutual energy He, it is possible to create an individual model in consideration of the relative distance between the standard models.
ここで、総合エネルギーUeを構成する外部エネルギーFe、内部エネルギーGe及び相互エネルギーHeについて説明する。図12は、制御点間を仮想バネで繋いだ模式図である。図13は、各標準モデルの対応する隣接点間を仮想バネで繋いだ模式図である。図14は、モデル変形処理によって各標準モデルの形状が変化した様子を示す図である。 Here, the external energy Fe, the internal energy Ge, and the mutual energy He constituting the total energy Ue will be described. FIG. 12 is a schematic diagram in which control points are connected by virtual springs. FIG. 13 is a schematic diagram in which adjacent points corresponding to each standard model are connected by a virtual spring. FIG. 14 is a diagram illustrating a state in which the shape of each standard model is changed by the model deformation process.
外部エネルギーFeは、対象となる1つの標準モデル(例えば標準モデルSA)における各制御点Cjと当該各制御点Cjにそれぞれ対応する対応点Qjとの距離の二乗を用いて式(2)のように表される。 The external energy Fe is expressed by the following equation (2) using the square of the distance between each control point Cj and the corresponding point Qj corresponding to each control point Cj in one target standard model (for example, standard model SA). It is expressed in
但し、αは定数、Ntは制御点の数、|Cj−Qj|は制御点Cjと対応点Qjとの距離を表すものとする。 Here, α is a constant, Nt is the number of control points, and | Cj−Qj | is the distance between the control point Cj and the corresponding point Qj.
このような外部エネルギーFeを非常に大きくするような一時変形モデル、すなわち、制御点Cjと対応点Qjとの距離が移動前より大きくなった一時変形モデルは、その総合エネルギーUeが大きくなるため、上述のステップS16(総合エネルギーUeを最小とする制御点の移動を採用する工程)において採用されにくくなる。 Since the temporary deformation model in which the external energy Fe is very large, that is, the temporary deformation model in which the distance between the control point Cj and the corresponding point Qj is larger than that before the movement, the total energy Ue becomes large. It becomes difficult to be employed in the above-described step S16 (step of employing movement of the control point that minimizes the total energy Ue).
また、内部エネルギーGeは、例えば、図12に示されるように、対象となる1つの標準モデル(例えば標準モデルSA)における制御点Cj間が仮想バネ(「制御バネ」とも称する)SPR(SPR1,SPR2,SPR3,...)によって繋がれていると想定すると、式(3)のように表される。 Further, for example, as shown in FIG. 12, the internal energy Ge is a virtual spring (also referred to as “control spring”) SPR (SPR1, SPR1,) between the control points Cj in one target standard model (eg, standard model SA). If it is assumed that they are connected by SPR2, SPR3,...
但し、βは定数、Krは各制御バネのバネ定数、Nrは制御バネの本数、Wrは各制御バネの変位量を表すものとする。また、添字uは、u番目の制御バネに関するものであることを示す。 Here, β is a constant, Kr is a spring constant of each control spring, Nr is the number of control springs, and Wr is a displacement amount of each control spring. The subscript u indicates that it relates to the u-th control spring.
式(3)によると、各制御点Cjの過剰な移動は、制御バネSPRに蓄えられるエネルギーの増大として表現される。例えば、1つの制御点Czが、或る点Vzへと移動し他の制御点との相対変位が増大したとすると、制御バネSPR1、SPR2及びSPR3には、各制御バネの伸びによるエネルギーが蓄えられ内部エネルギーGeひいては総合エネルギーUeが大きくなる。 According to Equation (3), excessive movement of each control point Cj is expressed as an increase in energy stored in the control spring SPR. For example, if one control point Cz moves to a certain point Vz and the relative displacement with other control points increases, the control springs SPR1, SPR2 and SPR3 store energy due to the extension of each control spring. The internal energy Ge and thus the total energy Ue increases.
このような過剰変形を伴う一時変形モデルは、その内部エネルギーGeが大きくなりその総合エネルギーUeも大きくなるため、上述のステップS16(総合エネルギーUeを最小とする制御点の移動を採用する工程)において採用されにくくなる。 In such a temporary deformation model with excessive deformation, the internal energy Ge increases and the total energy Ue also increases. Therefore, in the above-described step S16 (step of adopting the movement of the control point that minimizes the total energy Ue). It becomes difficult to be adopted.
換言すれば、内部エネルギーGeを減少させて総合エネルギーUeを減少させるような一時変形モデルがステップS16で選択されることによって、各制御点Cjの移動による過剰な変形を防止する作用を得ることができる。 In other words, the temporary deformation model that reduces the internal energy Ge and decreases the total energy Ue is selected in step S16, thereby obtaining an effect of preventing excessive deformation due to movement of each control point Cj. it can.
つまり、このような内部エネルギーGeを導入することによって、標準モデルの形状すなわち標準モデルを構成する各ポリゴンの形状を損なわない制御点Cjの移動が可能となる。 That is, by introducing such internal energy Ge, the control point Cj can be moved without impairing the shape of the standard model, that is, the shape of each polygon constituting the standard model.
また、相互エネルギーHeは、各標準モデル同士の位置関係(相互関係)に基づいて算出される評価値(モデル評価値)であり、標準モデル同士の接近によって悪化する(大きくなる)要素によって構成される。 The mutual energy He is an evaluation value (model evaluation value) calculated based on the positional relationship (reciprocal relationship) between the standard models, and is composed of elements that deteriorate (become large) due to the proximity of the standard models. The
具体的には、3つの抽出対象物体に関する標準モデルが図6に示されるような位置関係にあるとすると、標準モデルSAに関する相互エネルギーHe(H1)は、他の2つの標準モデル(SB、SC)との間でそれぞれ観念され、標準モデルSBとの間に観念される相互エネルギーをHab、標準モデルSCとの間で観念される相互エネルギーをHacとすると、式(4)のように表される。 Specifically, if the standard models related to the three extraction target objects are in the positional relationship as shown in FIG. 6, the mutual energy He (H1) related to the standard model SA is set to the other two standard models (SB, SC). ), And the mutual energy conceived between the standard model SC and the standard model SC is represented as Hab and the mutual energy conceived between the standard model SC and the standard model SC as Hac. The
ここで、図13に示されるように、標準モデルSAの各隣接点HAbと標準モデルSBにおいて対応する各隣接点HBaとが仮想バネ(「隣接バネ」とも称する)SABnによって繋がれていると想定すると、標準モデルSAと標準モデルSBとの間に観念される相互エネルギーHabは、式(5)のように表される。 Here, as shown in FIG. 13, it is assumed that each adjacent point HAb of the standard model SA and each corresponding adjacent point HBa in the standard model SB are connected by a virtual spring (also referred to as “adjacent spring”) SABn. Then, the mutual energy Hab conceived between the standard model SA and the standard model SB is expressed as shown in Expression (5).
但し、γabは定数、Kabは各隣接バネのバネ定数、Nabは隣接バネの本数、Wabは各隣接バネの変位量を表すものとする。また、添字nは、n番目の隣接バネに関するものであることを示す。 However, γab is a constant, Kab is a spring constant of each adjacent spring, Nab is the number of adjacent springs, and Wab is a displacement amount of each adjacent spring. The subscript n indicates that it relates to the nth adjacent spring.
また同様に、標準モデルSAの各隣接点HAcと標準モデルSCにおいて対応する各隣接点HCaとが仮想バネ(隣接バネ)SACmによって繋がれていると想定すると、標準モデルSAと標準モデルSCとの間に観念される相互エネルギーHacは、式(6)のように表される。 Similarly, assuming that each adjacent point HAc of the standard model SA and each corresponding adjacent point HCa in the standard model SC are connected by a virtual spring (adjacent spring) SACm, the standard model SA and the standard model SC The mutual energy Hac conceived in between is expressed as shown in Equation (6).
但し、γacは定数、Kacは各隣接バネのバネ定数、Nacは隣接バネの本数、Wacは各隣接バネの変位量を表すものとする。また、添字mは、m番目の隣接バネに関するものであることを示す。 However, γac represents a constant, Kac represents a spring constant of each adjacent spring, Nac represents the number of adjacent springs, and Wac represents a displacement amount of each adjacent spring. The subscript m indicates that it relates to the m-th adjacent spring.
上記の式(5)及び式(6)によると、標準モデル同士の過剰な接近は、隣接バネ(SABn、SACm)に蓄えられるエネルギーの増大として表現される。 According to the above formulas (5) and (6), excessive approach between standard models is expressed as an increase in energy stored in adjacent springs (SABn, SACm).
例えば、図14に示されるように、繰り返し実行されるモデル変形処理(ステップS13〜S18)によって、標準モデルSAと標準モデルSBとが接近し、両モデル間の相対変位が増大したとすると、両モデル間に存在する隣接バネSABnには、各隣接バネSABnの縮みによるエネルギーが蓄えられ、相互エネルギーHeひいては総合エネルギーUeが大きくなる。 For example, as shown in FIG. 14, if the standard model SA and the standard model SB approach each other and the relative displacement between the two models increases due to repeated model deformation processing (steps S13 to S18), The adjacent springs SABn existing between the models store energy due to the contraction of the adjacent springs SABn, and the mutual energy He and thus the total energy Ue increase.
このような相互エネルギーHeを非常に大きくするような一時変形モデルは、その総合エネルギーUeが大きくなるため、上述のステップS16(総合エネルギーUeを最小とする制御点の移動を採用する工程)において採用されにくくなる。 Such a temporary deformation model that greatly increases the mutual energy He increases the total energy Ue, and thus is adopted in the above-described step S16 (step of adopting the movement of the control point that minimizes the total energy Ue). It becomes difficult to be done.
つまり、このような相互エネルギーHeを導入することによって、相互エネルギーHeを減少させて総合エネルギーUeを減少させるような一時変形モデルがステップS16で選択されることになり、標準モデル同士の過剰な接近を防止し、標準モデル同士の接触又は標準モデル同士の交差等による重複を回避する作用を得ることが可能となる。 That is, by introducing such mutual energy He, a temporary deformation model that reduces the mutual energy He and decreases the total energy Ue is selected in step S16, and the standard models are excessively close to each other. It is possible to obtain an effect of avoiding duplication due to contact between standard models or intersection between standard models.
また、相互エネルギーHeを上述のような各標準モデル間に設けられた仮想バネに蓄えられるエネルギーによって表現すると、各標準モデルの初期の相対位置関係を反映したモデル変形処理も可能となる。 In addition, when the mutual energy He is expressed by the energy stored in the virtual spring provided between the standard models as described above, model deformation processing reflecting the initial relative positional relationship of the standard models is also possible.
具体的には、図14に示されるように、モデル変形処理よって、標準モデルSAと標準モデルSCとが離れ、両モデル間の相対変位が増大したとすると、両モデル間に存在する隣接バネSACmには、各隣接バネSACmの伸びによるエネルギーが蓄えられ、相互エネルギーHeひいては総合エネルギーUeが大きくなる。したがって、上述のとおりステップS16では、総合エネルギーUeを最小とする制御点の移動が採用されるから、このような標準モデルSAと標準モデルSCとが離れる変形は採用されにくくなる。つまり、相互エネルギーHeを仮想バネに蓄えられるエネルギーによって表現すると、標準モデル同士が初期の相対位置よりも極端に接近したり、離れたりする過剰変形を防止する作用も得ることが可能となる。 Specifically, as shown in FIG. 14, if the standard model SA and the standard model SC are separated by the model deformation process and the relative displacement between the two models increases, the adjacent spring SACm existing between the two models. The energy due to the extension of each adjacent spring SACm is stored, and the mutual energy He and consequently the total energy Ue increases. Therefore, as described above, in step S16, the movement of the control point that minimizes the total energy Ue is employed. Therefore, such a deformation that separates the standard model SA from the standard model SC is difficult to be employed. That is, when the mutual energy He is expressed by the energy stored in the virtual spring, it is possible to obtain an effect of preventing excessive deformation in which the standard models are extremely close to or away from the initial relative position.
また、上記では、標準モデルSAの相互エネルギーHeについて説明したが、標準モデルSBの相互エネルギーHe(H2)及び標準モデルSCの相互エネルギーHe(H3)も同様に観念することができる。 In the above description, the mutual energy He of the standard model SA has been described. However, the mutual energy He (H2) of the standard model SB and the mutual energy He (H3) of the standard model SC can be similarly considered.
具体的には、標準モデルSBの相互エネルギーHe(H2)は、他の2つの標準モデル(SA、SC)との間でそれぞれ観念され、標準モデルSCとの間で観念される相互エネルギーをHbcとすると、標準モデルSAとの間に観念される相互エネルギーHabを用いて、式(7)のように表される。 Specifically, the mutual energy He (H2) of the standard model SB is considered with the other two standard models (SA, SC), and the mutual energy considered with the standard model SC is expressed as Hbc. Then, using the mutual energy Hab conceived between the standard model SA and the standard model SA, it is expressed as shown in Equation (7).
ここで、標準モデルSBの各隣接点HBcと標準モデルSCにおいて対応する各隣接点HCbとが仮想バネ(隣接バネ)SBCqによって繋がれていると想定すると、標準モデルSBと標準モデルSCとの間に観念される相互エネルギーHbcは、式(8)のように表される。 Assuming that each adjacent point HBc of the standard model SB and each corresponding adjacent point HCb in the standard model SC are connected by a virtual spring (adjacent spring) SBCq, the standard model SB and the standard model SC are The mutual energy Hbc envisioned by is expressed as in equation (8).
但し、γbcは定数、Kbcは各隣接バネのバネ定数、Nbcは隣接バネの本数、Wbcは各隣接バネの変位量を表すものとする。また、添字qは、q番目の隣接バネに関するものであることを示す。 However, γbc is a constant, Kbc is the spring constant of each adjacent spring, Nbc is the number of adjacent springs, and Wbc is the amount of displacement of each adjacent spring. The subscript q indicates that it relates to the qth adjacent spring.
また、標準モデルSCの相互エネルギーHe(H3)は、他の2つの標準モデル(SA、SB)との間でそれぞれ観念され、標準モデルSAとの間に観念される相互エネルギーHacと標準モデルSBとの間で観念される相互エネルギーをHbcとを用いて、式(9)のように表される。 In addition, the mutual energy He (H3) of the standard model SC is considered with the other two standard models (SA, SB), and the mutual energy Hac and the standard model SB are considered between the standard model SA and the standard model SC. The mutual energy that is conceived between and is expressed as in equation (9) using Hbc.
各標準モデルについての総合エネルギーUeは、標準モデルごとの外部エネルギーFeと標準モデルごとの内部エネルギーGeと標準モデルごとの相互エネルギーHeとの和によって表現される。例えば、標準モデルSBに関する総合エネルギーUeは、標準モデルSBの外部エネルギーFeと標準モデルSBの内部エネルギーGeと標準モデルSBの相互エネルギーHe(H2)との和によって表現される。また、標準モデルSCに関する総合エネルギーUeは、標準モデルSCの外部エネルギーFeと標準モデルSCの内部エネルギーGeと標準モデルSCの相互エネルギーHe(H3)との和によって表現される。 The total energy Ue for each standard model is expressed by the sum of the external energy Fe for each standard model, the internal energy Ge for each standard model, and the mutual energy He for each standard model. For example, the total energy Ue related to the standard model SB is expressed by the sum of the external energy Fe of the standard model SB, the internal energy Ge of the standard model SB, and the mutual energy He (H2) of the standard model SB. The total energy Ue related to the standard model SC is expressed by the sum of the external energy Fe of the standard model SC, the internal energy Ge of the standard model SC, and the mutual energy He (H3) of the standard model SC.
上述の処理(ステップS1)によれば、各標準モデルの総合エネルギーUeを最小とする一時変形モデルをそれぞれの標準モデルにおいて繰り返し作成することにより、それぞれの標準モデルを最適に変形させる一時変形モデル(「最適変形モデル」とも称する)、すなわち個別モデルを各抽出対象物体に対してそれぞれ取得することが可能となる。 According to the above-described processing (step S1), temporary deformation models (optimally deforming each standard model by repeatedly creating a temporary deformation model that minimizes the total energy Ue of each standard model in each standard model) It is also possible to acquire an individual model for each object to be extracted.
そして、ステップS2において、当該各個別モデルの対応位置に存在する各領域(存在領域)が抽出対象領域として抽出され出力される。 In step S2, each region (existing region) present at the corresponding position of each individual model is extracted and output as an extraction target region.
以上のように、領域抽出装置1Aは、複数の標準モデルを用いたモデルフィッティングにおいて、標準モデル同士の接近によって悪化する要素を導入した評価関数を最適化するように各標準モデルの変形を行う。これにより、モデルの変形による標準モデル同士の過剰な接近を防止し、標準モデル同士の接触又は交差等による重複を回避することが可能となる。このため、適切な抽出対象領域を安定して抽出することが可能となる。 As described above, in the model fitting using a plurality of standard models, the region extraction device 1A deforms each standard model so as to optimize the evaluation function that introduces an element that deteriorates due to the proximity of the standard models. Thereby, it is possible to prevent the standard models from being excessively approached due to the deformation of the model, and to avoid duplication due to contact or intersection between the standard models. For this reason, it is possible to stably extract an appropriate extraction target region.
<2.第2実施形態>
次に、第2実施形態について説明する。なお、第2実施形態における領域抽出装置1Bの構成は、第1実施形態において説明したものと同様であり、また、第1実施形態と同様の機能を有する要素については同一符号を付してその説明を省略する。
<2. Second Embodiment>
Next, a second embodiment will be described. The configuration of the region extraction device 1B in the second embodiment is the same as that described in the first embodiment, and elements having the same functions as those in the first embodiment are denoted by the same reference numerals. Description is omitted.
上記第1実施形態では、3つの抽出対象物体(領域)を抽出する際に、モデルフィッティング処理(ステップS1)において3つの標準モデルを逐次的に繰り返し変形することによって、各抽出対象物体に関する個別モデルを取得していたが、本実施形態では、モデルフィッティング処理(ステップS1B)において1つずつ順番に1の標準モデルの評価関数の最適化(標準モデルの変形)を完了していき、各個別モデルを取得する場合を例示する。 In the first embodiment, when three extraction target objects (regions) are extracted, the three standard models are sequentially and repeatedly deformed in the model fitting process (step S1), whereby individual models relating to the respective extraction target objects. However, in this embodiment, optimization of the evaluation function of one standard model (deformation of the standard model) is completed one by one in the model fitting process (step S1B), and each individual model is obtained. The case of acquiring is illustrated.
具体的には、図5に示されるような3つの物体(臓器)を有するボリュームデータが領域抽出装置1Bに入力されたものとし、当該3つの物体(第1の物体AA、第2の物体BB及び第3の物体CC)を抽出対象領域として、最初に物体AA、次に物体BB、そして物体CCと、この順序で個別モデルを取得する場合について説明する。 Specifically, it is assumed that volume data having three objects (organs) as shown in FIG. 5 is input to the area extracting apparatus 1B, and the three objects (first object AA, second object BB). And the third object CC) as an extraction target region, the case where the individual model is acquired in this order, first, the object AA, then the object BB, and the object CC will be described.
図15は、領域抽出装置1Bで実行されるモデルフィッティング処理(ステップS1B)の詳細を示すフローチャートである。図16は、領域抽出装置1Bで実行される動作状態を示す図である。 FIG. 15 is a flowchart showing details of the model fitting process (step S1B) executed by the region extracting apparatus 1B. FIG. 16 is a diagram illustrating an operation state executed by the region extraction device 1B.
まず、ステップS31,S32では、それぞれステップS11,S12と同様の処理が実行され、各抽出対象物体に関する各標準モデルの初期位置と各標準モデルの各制御点の対応点とが決定される。 First, in steps S31 and S32, processing similar to that in steps S11 and S12 is executed, and the initial position of each standard model related to each extraction target object and the corresponding point of each control point of each standard model are determined.
そして、ステップS33〜S40では、それぞれ上述のステップS13〜S18,S20,S21と同様の処理が実行される。ここで、本実施形態では上述のとおり最初に抽出対象物体AAの個別モデルGAを作成するから、当該ステップS33〜S40の各処理(以下、「個別モデル作成処理」とも称する)は、標準モデルSAについて行われる。 In steps S33 to S40, processing similar to that in steps S13 to S18, S20, and S21 described above is executed. Here, in the present embodiment, as described above, the individual model GA of the extraction target object AA is first created. Therefore, each processing of the steps S33 to S40 (hereinafter also referred to as “individual model creation processing”) is performed as the standard model SA. Done about.
また、抽出対象物体AAの個別モデル作成処理において、ステップS14で算出される総合エネルギーUeは、他の標準モデルとの間で観念される相互エネルギーHeを含まず、式(10)に示されるように単に外部エネルギーFeと内部エネルギーGeとの和で表される。つまり、最初に行われる抽出対象物体AAの個別モデル作成処理では、他の標準モデルとの位置関係に基づく相互エネルギーHeを考慮しない。 Further, in the individual model creation process of the extraction target object AA, the total energy Ue calculated in step S14 does not include the mutual energy He conceived with other standard models, and is expressed by Expression (10). Is simply expressed as the sum of external energy Fe and internal energy Ge. That is, in the individual model creation process of the extraction target object AA that is performed first, the mutual energy He based on the positional relationship with other standard models is not considered.
次に、抽出対象物体AAについての個別モデルGAが作成されると(図16の状態STA1)、標準モデルSAの個別モデル作成処理を終了し(ステップS38)、ステップS41へと移行する。 Next, when the individual model GA for the extraction target object AA is created (state STA1 in FIG. 16), the individual model creation process for the standard model SA is terminated (step S38), and the process proceeds to step S41.
ステップS41では、ステップS22と同様の処理を行い、3つの標準モデル全てについて個別モデルの作成が終了したか否かを判定する。 In step S41, processing similar to that in step S22 is performed, and it is determined whether or not the creation of individual models has been completed for all three standard models.
ステップS41において3つの標準モデル全てについて個別モデル作成処理が終了していないと判定されると、ステップS42へ移行し、個別モデル作成処理の処理対象が変更される。すなわち、個別モデル作成処理の処理対象が標準モデルSAから標準モデルSBに変更される。 If it is determined in step S41 that the individual model creation process has not been completed for all three standard models, the process proceeds to step S42, and the processing target of the individual model creation process is changed. That is, the processing target of the individual model creation process is changed from the standard model SA to the standard model SB.
そして、標準モデルSBについて個別モデル作成処理(ステップS33〜S40)が実行される。標準モデルSBの個別モデル作成処理において用いられる総合エネルギーUeは、図16の状態STA2に示されるように既に作成された抽出対象物体AAの個別モデルGAと標準モデルSBとの位置関係に基づく相互エネルギーHabを考慮して算出される。つまり、当該総合エネルギーUeは、式(11)に示されるように外部エネルギーFeと内部エネルギーGeと相互エネルギーHabとの和で表される。 Then, an individual model creation process (steps S33 to S40) is executed for the standard model SB. The total energy Ue used in the individual model creation process of the standard model SB is the mutual energy based on the positional relationship between the individual model GA of the extraction target object AA that has already been created and the standard model SB as shown in the state STA2 of FIG. Calculated taking into account the Hab. That is, the total energy Ue is represented by the sum of the external energy Fe, the internal energy Ge, and the mutual energy Hab as shown in the equation (11).
ここで、個別モデルGAと標準モデルSBとの位置関係に基づく相互エネルギーHabは、既に作成された個別モデルGAの各隣接点と標準モデルSBの各隣接点との対応関係に基づいて算出される。 Here, the mutual energy Hab based on the positional relationship between the individual model GA and the standard model SB is calculated based on the correspondence between each adjacent point of the individual model GA that has already been created and each adjacent point of the standard model SB. .
標準モデルSBについての個別モデルGBが作成されると、次は標準モデルSCについて個別モデル作成処理が実行される。標準モデルSCの個別モデル作成処理において用いられる総合エネルギーUeは、図16の状態STA3に示されるように既に作成された個別モデルGA及び個別モデルGBと標準モデルSCとの各々の位置関係に基づく相互エネルギーHac及びHbcを考慮して算出される。つまり、当該総合エネルギーUeは、式(12)のように表される。 When the individual model GB for the standard model SB is created, the individual model creation process is executed for the standard model SC. The total energy Ue used in the individual model creation process of the standard model SC is based on the individual model GA and the individual model GB already created as shown in the state STA3 in FIG. It is calculated in consideration of the energy Hac and Hbc. That is, the total energy Ue is expressed as in Expression (12).
ここで、相互エネルギーHac(Hab)は、既に作成された個別モデルGA(GB)の各隣接点と標準モデルSCの各隣接点との対応関係から算出される。 Here, the mutual energy Hac (Hab) is calculated from the correspondence between each adjacent point of the individual model GA (GB) already created and each adjacent point of the standard model SC.
そして、標準モデルSCについての個別モデルGCが作成されると、3つの標準モデル全てについての個別モデル作成が終了したことになるので、モデルフィッティング処理(ステップS1B)を終了する(ステップS41)。 Then, when the individual model GC for the standard model SC is created, the individual model creation for all three standard models has been completed, so the model fitting process (step S1B) is terminated (step S41).
上述の処理(ステップS1B)を備える領域抽出装置1Bによれば、1つずつ標準モデルの評価関数の最適化(標準モデルの変形)を完了し、1つずつ個別モデルを作成することで、既に作成された個別モデル換言すれば既に抽出された物体との位置関係を制約条件とした個別モデルの作成が順次可能となり、安定した領域抽出が可能となる。 According to the region extraction apparatus 1B including the above-described processing (step S1B), optimization of the evaluation function of the standard model (deformation of the standard model) is completed one by one, and individual models are created one by one. In other words, the created individual model, in other words, the individual model can be created sequentially with the positional relationship with the already extracted object as a constraint condition, and stable region extraction is possible.
<3.変形例>
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
<3. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the contents described above.
例えば、上記第1実施形態では、入力されたボリュームデータ内に存在する3つの物体(領域)全てを抽出していたがこれに限定されない。具体的には、入力されたボリュームデータ内に存在する複数の物体から1の物体を抽出する場合にも上述のモデルフィッティング処理を用いてもよい。 For example, in the first embodiment, all three objects (regions) existing in the input volume data are extracted. However, the present invention is not limited to this. Specifically, the above-described model fitting process may be used even when one object is extracted from a plurality of objects existing in the input volume data.
詳細には、例えば、上記実施形態の図5に示されるような3つの物体(第1の物体AA、第2の物体BB及び第3の物体CC)を有するボリュームデータから、物体AAのみを抽出する(他の2つの物体については抽出する必要がない)場合を考える。このような場合においても、上述の第1実施形態と同様の処理、つまり、3つの物体それぞれを抽出する場合と同様に上述のモデルフィッティング処理(ステップS1)を行う。そして、当該モデルフィッティング処理で取得した物体AAについての個別モデルを用いて、物体AAを抽出する。 Specifically, for example, only the object AA is extracted from the volume data having three objects (the first object AA, the second object BB, and the third object CC) as shown in FIG. Let us consider a case where it is not necessary to extract the other two objects. Even in such a case, the above-described model fitting process (step S1) is performed in the same manner as in the above-described first embodiment, that is, in the same manner as when each of the three objects is extracted. Then, the object AA is extracted using the individual model for the object AA acquired by the model fitting process.
これによれば、抽出対象としない物体との位置関係をも制約条件として考慮に入れたモデルフィッティングが可能となり、安定した領域抽出が可能となる。 According to this, it is possible to perform model fitting in which the positional relationship with an object not to be extracted is also taken into consideration as a constraint condition, and stable region extraction is possible.
なお、上記変形例では、物体AAのみを抽出する場合を例示したがこれに限らず、入力されたボリュームデータ内に存在するM個の物体から1ないし(M−1)個の物体を抽出してもよい。例えば、3つの物体AA,BB,CCのうち、物体BBのみ(あるいは物体CCのみ)を抽出してもよい。さらには、3つの物体AA,BB,CCのうち、物体BBと物体CCとを抽出するようにしてもよい。 In the above modification, the case where only the object AA is extracted has been illustrated. However, the present invention is not limited to this, and 1 to (M−1) objects are extracted from the M objects existing in the input volume data. May be. For example, only the object BB (or only the object CC) may be extracted from the three objects AA, BB, and CC. Furthermore, the object BB and the object CC may be extracted from the three objects AA, BB, and CC.
また同様に、上記第2実施形態においても、入力されたボリュームデータ内に存在する3つの物体(領域)全てを抽出していたがこれに限定されず、入力されたボリュームデータ内に存在するM個の物体から1ないし(M−1)個の物体を抽出してもよい。例えば、3つの物体AA,BB,CCのうち、物体BBのみを抽出してもよく、あるいは、物体CCのみを抽出してもよい。さらには、3つの物体AA,BB,CCのうち、物体BBと物体CCとを抽出するようにしてもよい。 Similarly, in the second embodiment, all three objects (regions) existing in the input volume data are extracted. However, the present invention is not limited to this, and M existing in the input volume data is extracted. One to (M−1) objects may be extracted from each object. For example, out of the three objects AA, BB, and CC, only the object BB may be extracted, or only the object CC may be extracted. Furthermore, the object BB and the object CC may be extracted from the three objects AA, BB, and CC.
また、上記第2実施形態では、3つの物体(第1の物体AA、第2の物体BB及び第3の物体CC)を抽出対象領域として、最初に物体AA、次に物体BB、そして物体CCと、この順序で個別モデルを取得する場合を例示していたがこれに限定されない。具体的には、抽出結果の良否は標準モデルの初期位置精度の良否に依存するため、複数の抽出対象物体の中で、正確な初期位置の決定が可能な標準モデル(初期位置精度の高い標準モデル)を特定し、当該特定された標準モデルから順に個別モデルを取得してもよい。 In the second embodiment, three objects (the first object AA, the second object BB, and the third object CC) are used as extraction target areas, first the object AA, then the object BB, and the object CC. The case where individual models are acquired in this order is illustrated, but the present invention is not limited to this. Specifically, because the quality of the extraction results depends on the quality of the initial position accuracy of the standard model, a standard model that can determine the exact initial position among multiple objects to be extracted (standard with high initial position accuracy) Model) may be specified, and individual models may be acquired in order from the specified standard model.
初期位置精度の良否判断(特定)手法としては、以下の手法TQ1、TQ2を用いることができる。 The following methods TQ1 and TQ2 can be used as a method for determining whether or not the initial position accuracy is good (specific).
◎TQ1(特徴的な形状):
複数の抽出対象物体の対応する各標準モデルの中で、他の標準モデルと比較して特徴的な形状を有する標準モデルから順に個別モデルの作成を実行してもよい。
◎ TQ1 (characteristic shape):
In each standard model corresponding to a plurality of extraction target objects, creation of individual models may be executed in order from a standard model having a characteristic shape compared to other standard models.
図17は、或るボリュームデータ内に存在する3つの物体(立体物)を示す図である。 FIG. 17 is a diagram showing three objects (three-dimensional objects) existing in certain volume data.
例えば、図17に示されるように、抽出対象物体BB1が固有の特徴点IP(例えば、先鋭部の先端の点等)を有している場合を想定する。また、この特徴点IPは、3つの抽出対象物体AA1,BB1,CC1において、最も特徴的な形状に係る部分の特徴点であるとする。換言すれば、3つの抽出対象物体AA1,BB1,CC1のうち、抽出対象物体BB1が最も特徴的な形状を有しているものとする。 For example, as illustrated in FIG. 17, a case is assumed in which the extraction target object BB1 has a unique feature point IP (for example, a point at the tip of a sharpened portion). Further, it is assumed that the feature point IP is a feature point of a portion related to the most characteristic shape in the three extraction target objects AA1, BB1, and CC1. In other words, it is assumed that the extraction target object BB1 has the most characteristic shape among the three extraction target objects AA1, BB1, and CC1.
この場合において、まず所定の画像処理を施して3次元画像(ボリュームデータ)から特徴点IPを抽出する。そして、抽出対象物体BB1に対応する標準モデルSB1において特徴点IPに対応する特徴点IS(すなわち標準モデルSB1における対応特徴点IS)を、3次元画像から抽出された特徴点IPへと移動させるようにして標準モデルの初期配置を行い、当該標準モデルSB1から評価関数の最適化(標準モデルの変形)を実行する。 In this case, predetermined image processing is first performed to extract feature points IP from the three-dimensional image (volume data). Then, the feature point IS corresponding to the feature point IP in the standard model SB1 corresponding to the extraction target object BB1 (that is, the corresponding feature point IS in the standard model SB1) is moved to the feature point IP extracted from the three-dimensional image. Then, the standard model is initially arranged, and the evaluation function is optimized (deformation of the standard model) from the standard model SB1.
その後、残りの一方の抽出対象物体(例えば、AA1)についての標準モデル(SA1)の評価関数の最適化を行い、さらに最後の抽出対象物体(例えば、CC1)についての標準モデル(SC1)の評価関数の最適化を行う。 Thereafter, the evaluation function of the standard model (SA1) for the remaining one extraction target object (for example, AA1) is optimized, and the standard model (SC1) for the last extraction target object (for example, CC1) is evaluated. Perform function optimization.
このように、複数の抽出対象物体に関する標準モデルの中で、他の標準モデルと比べて特徴的な形状を有している標準モデルを特定し、当該抽出対象物体の特徴的な形状に基づいて標準モデルの初期位置を決定するようにして、当該標準モデルから順次個別モデルを取得するようにしてもよい。 In this way, among the standard models related to a plurality of extraction target objects, a standard model having a characteristic shape compared to other standard models is identified, and based on the characteristic shape of the extraction target object The individual model may be sequentially acquired from the standard model by determining the initial position of the standard model.
標準モデルSB1は、抽出対象物体の特徴的な形状に基づいて初期位置が決定されるので、他の標準モデルSA1,SC1に比べて、その初期位置精度は相対的に高いと考えることができる。 Since the initial position of the standard model SB1 is determined based on the characteristic shape of the object to be extracted, it can be considered that the initial position accuracy is relatively higher than the other standard models SA1 and SC1.
このように抽出対象物体の特徴的な形状に基づいて標準モデルの初期位置を決定するときには、他の初期位置の決定手法(例えば使用者の手動操作)によって初期位置を決定するときに比べて、その初期位置精度は高いと考えることができる。そして、比較的初期位置精度の高い標準モデルから順に評価関数の最適化(標準モデルの変形)を行うことによれば、正確に抽出された物体との位置関係を制約条件とした標準モデルの変形が順次可能となる。 Thus, when determining the initial position of the standard model based on the characteristic shape of the extraction target object, compared to determining the initial position by other initial position determination methods (for example, manual operation by the user), It can be considered that the initial position accuracy is high. Then, by optimizing the evaluation function in order from the standard model with relatively high initial position accuracy (deformation of the standard model), deformation of the standard model with the positional relationship with the accurately extracted object as a constraint condition Will be possible sequentially.
◎TQ2(先験的知識):
使用者(ユーザ)の手動操作等によりボリュームデータ内の初期位置に配置された各標準モデルと、各抽出対象物体と同じ種類の物体に関する先験的知識に基づいて作成された存在確率マップとを重ね合わせて、存在確率が最も高くなった標準モデルから順に個別モデルの作成を実行してもよい。
◎ TQ2 (a priori knowledge):
Each standard model placed at the initial position in the volume data by a user's (user) manual operation, etc., and an existence probability map created based on a priori knowledge about the same type of object as each extraction target object The individual models may be created in order from the standard model having the highest existence probability by superimposing them.
以下、先験的知識に基づいて作成される存在確率マップを用いた初期位置精度の良否判断(特定)手法について詳述する。ここでは、存在確率マップにおける高存在確率の位置に実際のボリュームデータ内において抽出対象物体が存在するものと仮定して、標準モデルが高存在確率位置の近くに初期配置された場合に、当該標準モデルが実際の抽出対象物体の近くに位置する、すなわち標準モデルの初期位置の精度が高いものと考える。 Hereinafter, the quality determination (specification) method of the initial position accuracy using the existence probability map created based on a priori knowledge will be described in detail. Here, assuming that the extraction target object exists in the actual volume data at the position of high existence probability in the existence probability map, when the standard model is initially placed near the high existence probability position, the standard It is assumed that the model is located near the actual object to be extracted, that is, the accuracy of the initial position of the standard model is high.
図18は、予め求められた同種の複数の物体(臓器)JB1〜JB5の存在位置を重ね合わせて示す図であり、図19は、当該種類の物体の存在確率マップMPaを示す図である。存在確率マップMPaは、各位置における物体の存在確率を示すものである。図19においては、存在確率が点の密度で表現されており、比較的黒い部分の存在確率は、比較的白い部分に比べて高くなる。図20は、3つの抽出対象物体それぞれに関する存在確率マップMPa、MPb、MPcを示す図であり、図21は、3つの抽出対象物体に関する標準モデルと存在確率マップとを重ね合わせた様子を示す図である。 FIG. 18 is a diagram showing the presence positions of a plurality of objects (organs) JB1 to JB5 of the same type obtained in advance, and FIG. 19 is a diagram showing a presence probability map MPa of the object of that type. The existence probability map MPa indicates the existence probability of an object at each position. In FIG. 19, the existence probability is expressed by the density of points, and the existence probability of a relatively black portion is higher than that of a relatively white portion. FIG. 20 is a diagram illustrating the existence probability maps MPa, MPb, and MPc for the three extraction target objects, and FIG. 21 is a diagram illustrating a state in which the standard model and the existence probability map for the three extraction target objects are superimposed. It is.
まず、存在確率マップについて説明する。 First, the existence probability map will be described.
図19に示される存在確率マップMPaは、同種の複数の物体の存在位置(図18参照)に関する先験データに基づいて求められる。具体的には、図19の存在確率マップMPaにおいては、図18と見比べるとわかるように、同種の複数の物体JB1〜JB5のうち多数の物体が存在する位置では存在確率が高く、逆に、複数の物体JB1〜JB5のうち少数の物体しか存在しない位置では存在確率は低い。なお、ここでは簡単化のため、図18おいて5つの物体を図示しているが、実際にはより多数の物体に基づいて、当該種類の物体に関する存在確率マップMPaを生成することが好ましい。また、存在確率マップMPaは、図19等においては、平面的に示されているが、実際には、3次元空間における各点(画素)ごとの存在確率が示された3次元マップ(立体マップ)として得られる。 The existence probability map MPa shown in FIG. 19 is obtained based on a priori data regarding the existence positions (see FIG. 18) of a plurality of objects of the same type. Specifically, in the existence probability map MPa of FIG. 19, as can be seen by comparing with FIG. 18, the existence probability is high at a position where a large number of objects are present among a plurality of objects JB1 to JB5 of the same type. The existence probability is low at a position where only a small number of objects among the plurality of objects JB1 to JB5 exist. Here, for simplification, five objects are illustrated in FIG. 18, but actually, it is preferable to generate the existence probability map MPa for the object of that type based on a larger number of objects. Further, the existence probability map MPa is shown in a planar manner in FIG. 19 and the like, but actually, a three-dimensional map (stereoscopic map) showing the existence probability for each point (pixel) in the three-dimensional space. ).
そして、上記のようにして取得される存在確率マップを複数の抽出対象物体に関してそれぞれ取得しておき、当該各存在確率マップを、ボリュームデータ内の初期位置に配置された各標準モデルの初期位置精度の良否判断(特定)に用いる。 Then, the existence probability maps obtained as described above are obtained for each of a plurality of extraction target objects, and each of the existence probability maps is obtained with the initial position accuracy of each standard model arranged at the initial position in the volume data. It is used for pass / fail judgment (specification).
例えば、3つの物体(第1の物体AA2、第2の物体BB2及び第3の物体CC2)を抽出対象領域として、個別モデルを取得する場合について説明する。 For example, a case where an individual model is acquired using three objects (first object AA2, second object BB2, and third object CC2) as extraction target regions will be described.
この場合、図20に示されるように、3つの物体それぞれに関して3次元空間における存在確率マップMPa、MPb、MPcが取得される。 In this case, as shown in FIG. 20, the existence probability maps MPa, MPb, and MPc in the three-dimensional space are acquired for each of the three objects.
その後、図21に示されるように、使用者(ユーザ)の手動操作等によりボリュームデータ内に配置された各標準モデルSA2、SB2、SC2と、各存在確率マップMPa、MPb、MPcとを重ね合わせ、各標準モデルSA2、SB2、SC2ごとに画素の存在確率の和を画素数で除した値(すなわち存在確率の平均値)を算出する。 After that, as shown in FIG. 21, each standard model SA2, SB2, SC2 arranged in the volume data by manual operation of the user (user) etc. is superposed on each existence probability map MPa, MPb, MPc. Then, for each standard model SA2, SB2, SC2, a value obtained by dividing the sum of the pixel existence probabilities by the number of pixels (that is, an average value of the existence probabilities) is calculated.
上述のようにこの変形例では、存在確率マップにおける高存在確率の位置に実際のボリュームデータ内において抽出対象物体が存在するものと仮定しており、当該仮定に基づいて、初期配置された各標準モデルSA2、SB2、SC2の中で存在確率の平均値が最も高くなった標準モデル(例えばSB2)は、3つの標準モデルSA2、SB2、SC2の中で最も標準モデルの初期位置精度が高いと判断される。 As described above, in this modification, it is assumed that the extraction target object exists in the actual volume data at the position of the high existence probability in the existence probability map, and each standard placed initially is based on the assumption. The standard model (for example, SB2) having the highest average probability of existence among the models SA2, SB2, and SC2 is determined to have the highest initial position accuracy of the standard model among the three standard models SA2, SB2, and SC2. Is done.
そして、初期位置精度の最も高い標準モデル(例えばSB2)から評価関数の最適化を実行し、その後に他の標準モデル(例えば、SA2、SC2)の評価関数の最適化を行う。 Then, optimization of the evaluation function is executed from the standard model (for example, SB2) having the highest initial position accuracy, and then evaluation functions of other standard models (for example, SA2, SC2) are optimized.
このように、存在確率マップを用いて初期位置精度の良否判定を実行するようにして、初期位置精度が最も高いと判断された標準モデルから順次個別モデルの作成を実行してもよい。 As described above, it is possible to execute the determination of the initial position accuracy using the existence probability map, and sequentially generate individual models from the standard model determined to have the highest initial position accuracy.
以上のように、各標準モデルの初期位置に基づいて、初期位置精度の高い標準モデルを特定して、当該標準モデルから評価関数の最適化(標準モデルの変形)を実行することで、正確に抽出された物体との位置関係を制約条件とした標準モデルの変形が順次可能となる。 As described above, by identifying a standard model with high initial position accuracy based on the initial position of each standard model and executing optimization of the evaluation function (transformation of the standard model) from the standard model, The standard model can be sequentially deformed with the positional relationship with the extracted object as a constraint.
また、上記実施形態では相互エネルギーHeを各標準モデル間に設けられた仮想バネに蓄えられるエネルギーによって表現していたがこれに限定されない。具体的には、或る標準モデルの各隣接点と対応する他の標準モデルの各隣接点との間で生じる反発によるエネルギーを仮想的に考慮してもよい。 In the above embodiment, the mutual energy He is expressed by the energy stored in the virtual spring provided between the standard models, but is not limited to this. Specifically, energy due to repulsion generated between each adjacent point of a certain standard model and each corresponding adjacent point of another standard model may be virtually considered.
図22は、各標準モデルの対応する隣接点間の距離を示す模式図である。 FIG. 22 is a schematic diagram showing the distance between adjacent points corresponding to each standard model.
例えば、図22に示されるように、標準モデルSAの各隣接点HAと対応する他の標準モデルの各隣接点(HB及びHC)との距離がそれぞれRABn、RACmで表されるとすると、相互エネルギーHeは、式(13)のように表される。 For example, as shown in FIG. 22, if the distance between each adjacent point HA of the standard model SA and each corresponding adjacent point (HB and HC) of the other standard model is represented by RABn and RACm, respectively, The energy He is expressed as in Expression (13).
但し、Kgは反発係数、NabはモデルSBとの隣接点の組数、NacはモデルSCとの隣接点の組数を表すものとする。また、添字n,mは、それぞれn番目,m番目の隣接点に関するものであることを示す。 However, Kg represents the coefficient of restitution, Nab represents the number of sets of adjacent points with the model SB, and Nac represents the number of sets of adjacent points with the model SC. The subscripts n and m indicate that they relate to the nth and mth adjacent points, respectively.
また、上記実施形態においては、内部エネルギーGeとして制御点Cj間の仮想バネによるエネルギーを考慮したがこれに限定されない。図23は、各制御点を結ぶ直線がなす角を示す図である。例えば、図23に示されるように、各制御点を結ぶ直線がなす角度θrを維持するような関数を内部エネルギーGeとすることもできる。 Moreover, in the said embodiment, although the energy by the virtual spring between the control points Cj was considered as internal energy Ge, it is not limited to this. FIG. 23 is a diagram illustrating angles formed by straight lines connecting the control points. For example, as shown in FIG. 23, a function that maintains an angle θr formed by a straight line connecting the control points may be the internal energy Ge.
また、上記実施形態においては、各標準モデル(SA、SB、SC)を領域抽出装置1A(1B)内のモデル格納部14から取得していたがこれに限定されない。例えば、領域抽出装置1A(1B)の外部に設けられたモデル格納部から、LAN及びインターネットなどのネットワークを介して取得するようにしてもよい。 Moreover, in the said embodiment, although each standard model (SA, SB, SC) was acquired from the model storage part 14 in 1 A of area | region extraction apparatuses (1B), it is not limited to this. For example, you may make it acquire via networks, such as LAN and the internet, from the model storage part provided in the exterior of area | region extraction apparatus 1A (1B).
AA 第1の物体
Cj 制御点
RQ 領域
SA 第1の物体の標準モデル
SD スライス画像
TD1 計測データ
SPR 仮想バネ
AA First object Cj Control point RQ region SA Standard model of the first object SD Slice image TD1 Measurement data SPR Virtual spring
Claims (12)
計測データ内の第1の対象物に関する標準的なモデルである第1の標準モデルと、前記計測データ内の第2の対象物に関する標準的なモデルである第2の標準モデルとを取得する手段と、
モデルフィッティング手法を用いて第1の評価関数を最適化するように前記第1の標準モデルを変形させ、前記第1の対象物に関するモデルを最終的に作成するモデル変形手段と、
を備え、
前記第1の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とするモデリング装置。 A modeling device,
Means for obtaining a first standard model that is a standard model related to the first object in the measurement data and a second standard model that is a standard model related to the second object in the measurement data When,
A model deforming means for deforming the first standard model so as to optimize the first evaluation function using a model fitting technique, and finally creating a model relating to the first object;
With
The first evaluation function includes an element whose evaluation value deteriorates when the first standard model and the second standard model approach each other as the first standard model is deformed. Modeling equipment.
前記モデル変形手段は、モデルフィッティング手法を用いて第2の評価関数を最適化するように前記第2の標準モデルを変形させ、
前記第2の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とするモデリング装置。 The modeling device according to claim 1,
The model deforming means deforms the second standard model so as to optimize the second evaluation function using a model fitting technique,
The second evaluation function includes an element whose evaluation value deteriorates when the first standard model and the second standard model approach each other as the first standard model is deformed. Modeling equipment.
前記モデル変形手段は、前記第1の評価関数と前記第2の評価関数とをそれぞれ最適化するように、前記第1の標準モデルと前記第2の標準モデルとを順次にそれぞれ繰り返し変形させることを特徴とするモデリング装置。 The modeling device according to claim 2, wherein
The model deforming means sequentially and repeatedly deforms the first standard model and the second standard model in order to optimize the first evaluation function and the second evaluation function, respectively. Modeling device characterized by
前記モデル変形手段は、前記第1の標準モデルと前記第2の標準モデルとのうちの一方の標準モデルの変形を完了し、その後に他方の標準モデルの変形を行うことを特徴とするモデリング装置。 The modeling device according to claim 1 or 2,
The model deforming means completes the deformation of one of the first standard model and the second standard model, and then deforms the other standard model. .
前記モデル変形手段は、前記第1の標準モデルと前記第2の標準モデルとのうち、その初期位置精度の高い標準モデルから当該標準モデルの変形を完了し、その後に他方の標準モデルの変形を行うことを特徴とするモデリング装置。 The modeling device according to claim 1 or 2,
The model deforming means completes the deformation of the standard model from the standard model having a high initial position accuracy among the first standard model and the second standard model, and then deforms the other standard model. A modeling device characterized by performing.
前記第1の対象物に関するモデルを用いて前記計測データから前記第1の対象物の存在領域を抽出する抽出手段、
をさらに備えることを特徴とするモデリング装置。 The modeling device according to any one of claims 1 to 5,
Extraction means for extracting an existence area of the first object from the measurement data using a model relating to the first object;
A modeling apparatus further comprising:
前記モデル変形手段は、モデルフィッティング手法を用いて第2の評価関数を最適化するように前記第2の標準モデルを変形させ、前記第2の対象物に関するモデルを最終的に作成し、
前記抽出手段は、前記第2の対象物に関するモデルを用いて前記計測データから前記第2の対象物の存在領域を抽出することを特徴とするモデリング装置。 The modeling device according to claim 1,
The model deforming means deforms the second standard model so as to optimize the second evaluation function using a model fitting technique, and finally creates a model related to the second object,
The modeling apparatus characterized in that the extraction means extracts a region where the second object exists from the measurement data using a model related to the second object.
前記要素は、前記第1の標準モデルと前記第2の標準モデルとの間に設定された仮想バネに蓄えられるエネルギーの関数によって表されることを特徴とするモデリング装置。 The modeling device according to any one of claims 1 to 7,
The modeling device is characterized in that the element is represented by a function of energy stored in a virtual spring set between the first standard model and the second standard model.
前記要素は、前記第1の標準モデルと前記第2の標準モデルとの間に仮想的に生じる反発エネルギーの関数によって表されることを特徴とするモデリング装置。 The modeling device according to any one of claims 1 to 7,
The modeling apparatus is characterized in that the element is represented by a function of repulsive energy virtually generated between the first standard model and the second standard model.
計測データ内の第1の対象物に関する標準的なモデルである第1の標準モデルと、前記計測データ内の第2の対象物に関する標準的なモデルである第2の標準モデルとを取得する手段と、
モデルフィッティング手法を用いて第1の評価関数を最適化するように前記第1の標準モデルを変形させ、前記第1の対象物に関するモデルを最終的に作成するモデル変形手段と、
前記第1の標準モデルを用いて前記第1の対象物の存在領域を前記計測データから抽出する手段と、
を備え、
前記第1の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とする領域抽出装置。 A region extraction device comprising:
Means for obtaining a first standard model that is a standard model related to the first object in the measurement data and a second standard model that is a standard model related to the second object in the measurement data When,
A model deforming means for deforming the first standard model so as to optimize the first evaluation function using a model fitting technique, and finally creating a model relating to the first object;
Means for extracting an existing region of the first object from the measurement data using the first standard model;
With
The first evaluation function includes an element whose evaluation value deteriorates when the first standard model and the second standard model approach each other as the first standard model is deformed. Region extraction device.
計測データ内の第1の対象物に関する標準的なモデルである第1の標準モデルと、前記計測データ内の第2の対象物に関する標準的なモデルである第2の標準モデルとを取得する工程と、
モデルフィッティング手法を用いて第1の評価関数を最適化するように前記第1の標準モデルを変形させ、前記第1の対象物に関するモデルを最終的に作成するモデル変形工程と、
を備え、
前記第1の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とするモデリング方法。 A modeling method,
A step of obtaining a first standard model that is a standard model related to a first object in the measurement data and a second standard model that is a standard model related to the second object in the measurement data. When,
A model deformation step of deforming the first standard model so as to optimize the first evaluation function using a model fitting technique, and finally creating a model relating to the first object;
With
The first evaluation function includes an element whose evaluation value deteriorates when the first standard model and the second standard model approach each other as the first standard model is deformed. Modeling method to do.
コンピュータに、
計測データ内の第1の対象物に関する標準的なモデルである第1の標準モデルと、前記計測データ内の第2の対象物に関する標準的なモデルである第2の標準モデルとを取得する工程と、
モデルフィッティング手法を用いて第1の評価関数を最適化するように前記第1の標準モデルを変形させ、前記第1の対象物に関するモデルを最終的に作成するモデル変形工程と、
を実行させるプログラムであって、
前記第1の評価関数は、前記第1の標準モデルの変形に伴って前記第1の標準モデルと前記第2の標準モデルとが接近すると、その評価値が悪化する要素を含むことを特徴とするプログラム。
A program,
On the computer,
A step of obtaining a first standard model that is a standard model related to a first object in the measurement data and a second standard model that is a standard model related to the second object in the measurement data. When,
A model deformation step of deforming the first standard model so as to optimize the first evaluation function using a model fitting technique, and finally creating a model relating to the first object;
A program for executing
The first evaluation function includes an element whose evaluation value deteriorates when the first standard model and the second standard model approach each other as the first standard model is deformed. Program to do.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005345858A JP4736755B2 (en) | 2005-11-30 | 2005-11-30 | Modeling device, region extraction device, modeling method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005345858A JP4736755B2 (en) | 2005-11-30 | 2005-11-30 | Modeling device, region extraction device, modeling method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007144056A true JP2007144056A (en) | 2007-06-14 |
JP4736755B2 JP4736755B2 (en) | 2011-07-27 |
Family
ID=38206166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005345858A Expired - Fee Related JP4736755B2 (en) | 2005-11-30 | 2005-11-30 | Modeling device, region extraction device, modeling method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4736755B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010253176A (en) * | 2009-04-28 | 2010-11-11 | Ge Medical Systems Global Technology Co Llc | Modeling device, magnetic resonance imaging apparatus, modeling method, and program |
WO2014030262A1 (en) * | 2012-08-24 | 2014-02-27 | 富士通株式会社 | Shape data-generating program, shape data-generating method and shape data-generating device |
JP2018202163A (en) * | 2017-06-01 | 2018-12-27 | 株式会社根本杏林堂 | Medical image processing system and medical image processing method |
JP2021500571A (en) * | 2017-10-27 | 2021-01-07 | ティアマ | Methods and equipment for in-line dimensional control of multiple manufacturing objects |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175765A (en) * | 1997-12-11 | 1999-07-02 | Alpine Electron Inc | Method and device for generating three-dimensional model and storage medium |
JPH11242430A (en) * | 1998-02-26 | 1999-09-07 | Nippon Telegr & Teleph Corp <Ntt> | Generating method and updating method for electronic map |
JP2002015338A (en) * | 2000-06-30 | 2002-01-18 | Minolta Co Ltd | Model deforming method and modeling device |
JP2002109538A (en) * | 2000-10-03 | 2002-04-12 | Fuji Photo Film Co Ltd | Method and device for aligning image |
JP2004283373A (en) * | 2003-03-20 | 2004-10-14 | Toshiba Corp | Analyzer of luminal structure |
-
2005
- 2005-11-30 JP JP2005345858A patent/JP4736755B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175765A (en) * | 1997-12-11 | 1999-07-02 | Alpine Electron Inc | Method and device for generating three-dimensional model and storage medium |
JPH11242430A (en) * | 1998-02-26 | 1999-09-07 | Nippon Telegr & Teleph Corp <Ntt> | Generating method and updating method for electronic map |
JP2002015338A (en) * | 2000-06-30 | 2002-01-18 | Minolta Co Ltd | Model deforming method and modeling device |
JP2002109538A (en) * | 2000-10-03 | 2002-04-12 | Fuji Photo Film Co Ltd | Method and device for aligning image |
JP2004283373A (en) * | 2003-03-20 | 2004-10-14 | Toshiba Corp | Analyzer of luminal structure |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010253176A (en) * | 2009-04-28 | 2010-11-11 | Ge Medical Systems Global Technology Co Llc | Modeling device, magnetic resonance imaging apparatus, modeling method, and program |
WO2014030262A1 (en) * | 2012-08-24 | 2014-02-27 | 富士通株式会社 | Shape data-generating program, shape data-generating method and shape data-generating device |
US9390549B2 (en) | 2012-08-24 | 2016-07-12 | Fujitsu Limited | Shape data generation method and apparatus |
JPWO2014030262A1 (en) * | 2012-08-24 | 2016-07-28 | 富士通株式会社 | Shape data generation program, shape data generation method, and shape data generation apparatus |
JP2018202163A (en) * | 2017-06-01 | 2018-12-27 | 株式会社根本杏林堂 | Medical image processing system and medical image processing method |
JP7075115B2 (en) | 2017-06-01 | 2022-05-25 | 株式会社根本杏林堂 | Medical image processing system and medical image processing method |
JP2021500571A (en) * | 2017-10-27 | 2021-01-07 | ティアマ | Methods and equipment for in-line dimensional control of multiple manufacturing objects |
JP7323517B2 (en) | 2017-10-27 | 2023-08-08 | ティアマ | Method and apparatus for in-line dimensional control of multiple manufactured objects |
Also Published As
Publication number | Publication date |
---|---|
JP4736755B2 (en) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5017909B2 (en) | Region extraction apparatus, region extraction method, and program | |
JP4584575B2 (en) | Image processing method for interacting with 3D surface displayed in 3D image | |
US7773786B2 (en) | Method and apparatus for three-dimensional interactive tools for semi-automatic segmentation and editing of image objects | |
JP5355074B2 (en) | 3D shape data processing apparatus, 3D shape data processing method and program | |
JP4152648B2 (en) | Method for segmenting a 3D image contained in an object | |
WO2009147841A1 (en) | Projection image creation device, method, and program | |
EP3025303B1 (en) | Multi-modal segmentation of image data | |
JP6376873B2 (en) | Image processing apparatus, image processing method, and program | |
JP7038377B2 (en) | Biological model generator, biological model generation method, and biological model generation program | |
JP5194138B2 (en) | Image diagnosis support apparatus, operation method thereof, and image diagnosis support program | |
JP4701861B2 (en) | Region extraction apparatus, region extraction method and program | |
US20220375099A1 (en) | Segmentating a medical image | |
JPWO2006013813A1 (en) | Information processing apparatus and program | |
US20140218397A1 (en) | Method and apparatus for providing virtual device planning | |
JP2007518484A (en) | Real-time user interaction of deformable surface segmentation | |
JP2007098028A (en) | Modeling apparatus, modeling method, region extraction apparatus, and program | |
JP5850381B2 (en) | Shape data generation program, shape data generation method, and shape data generation apparatus | |
JP4736755B2 (en) | Modeling device, region extraction device, modeling method and program | |
JP4910478B2 (en) | Modeling apparatus, modeling method and program | |
JP2007312837A (en) | Region extracting apparatus, region extracting method and program | |
JP5721225B2 (en) | Shape data generation method, program, and apparatus | |
JP2007159927A (en) | Modeling device and method, regional extractor, regional extraction method and program | |
JP2007312971A (en) | Modeling apparatus, modeling method and program | |
JP4720478B2 (en) | Modeling device, region extraction device, and program | |
US20090115796A1 (en) | Priori information encoding for manual adaptation of geometric models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081030 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110318 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |