JP2006136506A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2006136506A JP2006136506A JP2004328683A JP2004328683A JP2006136506A JP 2006136506 A JP2006136506 A JP 2006136506A JP 2004328683 A JP2004328683 A JP 2004328683A JP 2004328683 A JP2004328683 A JP 2004328683A JP 2006136506 A JP2006136506 A JP 2006136506A
- Authority
- JP
- Japan
- Prior art keywords
- image
- roi
- template
- brain
- organ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 40
- 210000000056 organ Anatomy 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 7
- 230000008827 biological function Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 abstract description 7
- 210000001835 viscera Anatomy 0.000 abstract 6
- 210000004556 brain Anatomy 0.000 description 70
- 238000000034 method Methods 0.000 description 26
- 238000011156 evaluation Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000010412 perfusion Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 230000003788 cerebral perfusion Effects 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 229910052688 Gadolinium Inorganic materials 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000877 corpus callosum Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- UIWYJDYFSGRHKR-UHFFFAOYSA-N gadolinium atom Chemical compound [Gd] UIWYJDYFSGRHKR-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 229910052740 iodine Inorganic materials 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000006740 morphological transformation Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001994 temporal artery Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、例えば脳灌流画像などの生体臓器画像上に関心領域（以下ではROIと略記する）を設定し、そのROI内の画素値すなわち生体機能情報を反映した数値を評価する場合における関心領域の設定技術に関する。 The present invention sets a region of interest (hereinafter abbreviated as ROI) on a living organ image such as a brain perfusion image and evaluates a pixel value within the ROI, that is, a numerical value reflecting biological function information. Related to the setting technology.
従来、脳灌流解析には、ラジオアイソトープを用いたSPECT（Single Photon Emission Computed Tomography）やPET（Positron Emission Tomography）あるいはキセノンガスを使用するXe−CTが用いられてきた。近年、これらの手法に比べて検査の簡便性や装置の普及率などの点で優位にあるヨード系造影剤を使用するCT−Perfusionやガドリニウム系造影剤を使用するMR−Perfusionが新たな脳灌流解析の手法として急速に普及してきている。 Conventionally, SPECT (Single Photon Emission Computed Tomography) using radioisotopes, PET (Positron Emission Tomography) using PET, or Xe-CT using xenon gas has been used for brain perfusion analysis. In recent years, CT-Perfusion using iodine-based contrast agents and MR-Perfusion using gadolinium-based contrast agents, which are superior in terms of ease of examination and device penetration compared to these methods, are new brain perfusions. It is rapidly spreading as an analysis method.
脳灌流解析では、健常側と疾患側における解剖学的に対称な部位間の差（左右差、疾患差）の評価や、術前後などの複数回の検査間での解剖学的に同一な部位の比較といった数値評価が行われる。具体的には、血流量や血液量、平均通過時間などをマッピングした機能画像上にROIを設定し、そのROI内の数値を評価する。 In cerebral perfusion analysis, the difference between right and left anatomically symmetrical sites (right and left difference, disease difference) between the healthy side and diseased side, and the same anatomical site between multiple examinations such as before and after surgery A numerical evaluation such as comparison of Specifically, ROI is set on a functional image that maps blood flow volume, blood volume, average transit time, etc., and the numerical value in the ROI is evaluated.
ROIの設定については、手動で行う手法、解剖学的に対称な部位間の差を評価する場合に、一方の側の脳に手動で設定したROIを他方の側の脳の対称部位に自動設定する鏡面ROIと呼ばれる手法、同一の被検者について最初の検査で設定したROIを保存しておき、２回目以降の検査ではその保存してあるROIを自動設定する手法、あるいは例えば特許文献１に開示される例のように、ROIがあらかじめ設定してある標準臓器アトラス（脳の場合であれば標準脳アトラス）の画像を利用して自動的にROIを臓器画像上に設定する手法などが知られている。
Regarding ROI setting, when manually evaluating the difference between anatomically symmetric regions, the ROI manually set for the brain on one side is automatically set to the symmetric region on the other side of the brain. A method called mirror surface ROI, a method of saving the ROI set in the first examination for the same subject, and automatically setting the saved ROI in the second and subsequent examinations, or for example,
ROIを手動で設定する手法には、ROIの設定がその都度異なったり、操作者によって異なったりするなどして客観性や再現性に難がある。これに対して特許文献１の技術は、客観性や再現性の高いROI設定を可能とする。しかし、特許文献１の技術は、標準臓器アトラスでROIを臓器画像上に設定する際に臓器画像を形態変換する必要があり、この点で問題を残している。すなわち特許文献１の技術は、SPECT画像のように機能情報のみで形態情報には意味がない画像については問題ない。しかし、優れた形態情報も持つCT画像やMR画像に特許文献１の技術を適用しようとすると、これらにおける優れた形態情報が失われ、CT画像やMR画像の臨床上有用な特色を損なうことになってしまう。
The method of setting ROI manually has difficulty in objectivity and reproducibility because the setting of ROI differs each time or differs depending on the operator. On the other hand, the technique of
本発明は、以上のような事情を背景になされたものであり、例えば脳灌流画像などの機能画像にROIを設定する場合に、CT画像やMR画像が持つ優れた形態情報を失わせることなく、客観性や再現性の高いROIの自動設定を可能とする画像処理装置の提供を目的としている。 The present invention has been made in the background as described above, for example, when setting ROI for a functional image such as a brain perfusion image, without losing the excellent morphological information possessed by CT images and MR images. It aims to provide an image processing device that enables automatic setting of ROI with high objectivity and reproducibility.
上記目的のために本発明では、生体臓器の画像上に関心領域を設定してその関心領域内の生体機能情報反映数値を定量的に評価する生体臓器の解析に際して前記関心領域の設定を行えるようにされている画像処理装置において、前記生体臓器について基準となる臓器画像を作成する基準画像作成手段、前記基準画像作成手段で作成された基準臓器画像に標準的な関心領域を設定することで、前記生体臓器画像上への前記関心領域の設定のもとになるROIテンプレートを作成するROIテンプレート作成手段、前記ROIテンプレートを前記生体臓器画像に適合させるように形状変換するROI形状変換手段を備えたことを特徴としている。 For the above purpose, in the present invention, a region of interest is set on an image of a biological organ, and the region of interest can be set when analyzing a biological organ that quantitatively evaluates the value of reflection of biological function information in the region of interest. In the image processing apparatus, the reference image creating means for creating a reference organ image for the living organ, by setting a standard region of interest in the reference organ image created by the reference image creating means, ROI template creation means for creating an ROI template that is the basis for setting the region of interest on the living organ image, and ROI shape converting means for transforming the ROI template so as to be adapted to the living organ image It is characterized by that.
また本発明では上記のような画像処理装置について、前記形状変換として、前記生体臓器の画像について求めた当該画像における特徴量をもとに、前記生体臓器画像に対して前記ROIテンプレートの位置と向きを合せるための形状変換、前記生体臓器画像における左右非対称性に応じた補正のための形状変換、および前記生体臓器画像における実際の形状に合わせるための形状変換を行えるようにしている。 In the present invention, the position and orientation of the ROI template with respect to the biological organ image based on the feature amount in the image obtained for the biological organ image as the shape conversion in the image processing apparatus as described above. Shape conversion for matching, shape conversion for correction according to left-right asymmetry in the living organ image, and shape conversion for matching with the actual shape in the living organ image.
また本発明では上記のような画像処理装置について、前記基準臓器画像を３次元データとして作成し、この３次元データの基準臓器画像に標準的な関心領域を設定することで、３次元データの基準ROIテンプレートを作成し、この基準ROIテンプレートから前記生体臓器画像に対応させて読み出すことで前記ROIテンプレートを得るようにしている。 In the present invention, for the image processing apparatus as described above, the reference organ image is created as three-dimensional data, and a standard region of interest is set in the reference organ image of the three-dimensional data, thereby providing a reference for the three-dimensional data. An ROI template is created, and the ROI template is obtained by reading from the reference ROI template in correspondence with the biological organ image.
本発明では、解析対象の臓器について作成した基準臓器画像に標準的な関心領域を設定することでROIテンプレートを作成し、このROIテンプレートを所定の形状変換処理により解析対象の臓器画像における実際の状態に適合させることで臓器画像上にROIを設定できるようにしている。このため本発明によれば、例えば脳灌流画像などの機能画像にROIを設定する場合に、CT画像やMR画像が持つ優れた形態情報を失わせることなく、客観性や再現性の高いROIを設定することが可能となる。 In the present invention, a ROI template is created by setting a standard region of interest in a reference organ image created for an organ to be analyzed, and this ROI template is converted into an actual state in the organ image to be analyzed by a predetermined shape conversion process. The ROI can be set on the organ image. Therefore, according to the present invention, for example, when setting ROI for a functional image such as a brain perfusion image, an ROI with high objectivity and reproducibility can be obtained without losing excellent morphological information possessed by a CT image or MR image. It becomes possible to set.
以下、本発明を実施する上で好ましい形態について説明する。図１に一実施形態による画像処理装置の構成を示す。本実施形態における画像処理装置は、画像処理で必要な種々の演算処理などを行う演算処理手段１と必要なデータや画像の表示を行う画像表示手段２を備えている。
Hereinafter, preferred embodiments for carrying out the present invention will be described. FIG. 1 shows the configuration of an image processing apparatus according to an embodiment. The image processing apparatus according to the present embodiment includes an
演算処理手段１は、コンピュータなどのハードウエア要素にソフトウェア要素を実装して構成されており、ソフトウェア要素として、基準画像作成手段（基準脳画像作成手段）３、ROIテンプレート作成手段４、特徴量算出手段５、およびROI形状変換手段６を備え、ハードウエア要素として、図示を省略してあるDSP（Digital Signal Processor）あるいはMPU（Micro Processor Unit）あるいはCPU（Central Processing Unit）を備え、さらに保存手段７、一時格納手段８、および入力手段９を備えている。
The arithmetic processing means 1 is configured by mounting software elements on hardware elements such as a computer. As software elements, reference image creating means (reference brain image creating means) 3, ROI template creating means 4, feature quantity calculation.
基準画像作成手段３は、ROIテンプレートの作成に必要な基準臓器画像を作成するのに用いられる。以下で解析対象の臓器が脳で、その機能画像として脳灌流画像にROIを設定する場合を前提にした説明とする。脳灌流画像にROIを設定する場合の基準臓器画像は基準脳画像となる。ROIテンプレート作成手段４は、基準脳画像に解剖学的分類に基づいたROIを設定してROIテンプレートを作成するのに用いられる。特徴量算出手段５は、CT画像やMR画像中の脳画像について重心座標などの特徴量を算出するのに用いられる。ROI形状変換手段６は、特徴量算出手段５で算出した特徴量をもとにROIテンプレートを修正して解析対象の脳断層像に適合させるのに用いられる。
The reference image creation means 3 is used to create a reference organ image necessary for creating the ROI template. In the following description, it is assumed that the organ to be analyzed is the brain and the ROI is set in the brain perfusion image as the functional image. The reference organ image when the ROI is set for the brain perfusion image is the reference brain image. The ROI template creation means 4 is used to create a ROI template by setting an ROI based on an anatomical classification on a reference brain image. The feature amount calculation means 5 is used to calculate feature amounts such as barycentric coordinates for brain images in CT images and MR images. The ROI shape converting means 6 is used to correct the ROI template based on the feature amount calculated by the feature
保存手段７は、例えばハードディスクなどで構成され、データの保存に用いられる。一時格納手段８は、例えば半導体メモリなどで構成され、データの一時的な保存に用いられる。入力手段９は、例えばマウスやキーボードなどで構成され、データの入力に用いられる。 The storage means 7 is composed of a hard disk, for example, and is used for storing data. The temporary storage means 8 is constituted by a semiconductor memory, for example, and is used for temporary storage of data. The input means 9 is composed of a mouse or a keyboard, for example, and is used for data input.
以上のような構成の画像処理装置で行われる基準画像作成から数値評価までの処理についてのフローチャートを図２に示す。まずステップ２０１として基準脳画像を作成する。次に、ステップ２０１で作成した基準脳画像をもとに基準ROIテンプレートを作成する（ステップ２０２）。基準ROIテンプレートは操作者が任意に設定してもよいが、後述のような手法で設定するのが望ましい。次に、数値評価の対象となる機能画像の元画像を読み込む（ステップ２０３）。なお以下では元画像が脳断層像である場合を前提とする。次に、ステップ２０３で読み込んだ脳断層像の撮影断面に応じたROIテンプレートを基準ROIテンプレートから読み込む（ステップ２０４）。次に、ステップ２０３で読み込んだ画像の特徴量を算出する（ステップ２０５）。次に、ステップ２０４で読み込んだROIテンプレートの形状を、ステップ２０３で読み込んだ機能画像の元画像に適合させるように変換する（ステップ２０６）。ROIテンプレートの形状変換には、ステップ２０５で算出した特徴量をもとに、脳断層像に対してROIテンプレートの位置と向きを合せるための形状変換（位置・向き合せ変換）、脳断層像の左右非対称性に応じた補正のための形状変換（非対称性補正変換）、および脳断層像の実際の形状に合わせるための形状変換（形状合せ変換）がある。次に、数値評価の対象となる機能画像を読み込む（ステップ２０７）。数値評価の対象として読み込む機能画像は、ステップ２０３で読み込んだ元画像から作成した機能画像であり、本実施形態の場合は脳灌流画像である。次に、ステップ２０７で読み込んだ機能画像に対して、ステップ２０６で得られた形状変換後のROIテンプレートを適用することでROIを設定して数値評価を行う（ステップ２０８）。評価の客観性や再現性を向上させるという観点からは、基準脳と基準ROIテンプレートは全ての数値評価において同一のものを用いるのが望ましい。このためにはあらかじめデフォルトを設定するなどしておき、検査ごとに設定し直すことがないようにすればよい。なお、基準脳と基準ROIテンプレートは、一連の処理とは別の処理過程で作成しておくことも可能で、そうする場合にはステップ２０１〜ステップ２０２が不要となる。
FIG. 2 shows a flowchart of processing from the creation of a reference image to numerical evaluation performed by the image processing apparatus configured as described above. First, in
以下では、基準脳画像の作成、基準ROIテンプレートの作成、ROIテンプレートの読み込み、特徴量の算出、ROIテンプレートの形状変換（ROI形状変換）のそれぞれについて順に説明する。まず基準脳画像の作成について説明する。基準脳画像は、望ましくは例えばタイラッハの標準脳アトラスやMNIテンプレート、Human Brain Atlasなどの公知のアトラスを用いて作成する。この他に、任意の被検者について過去に撮影されている頭部CT像やMR像を用いて作成することも可能である。この場合には、複数の被検者の頭部CT像やMR像の平均を基準脳画像とするのが望ましい。作成した基準脳画像は３次元データとして保持するのが望ましい。 Hereinafter, creation of a reference brain image, creation of a reference ROI template, reading of an ROI template, calculation of a feature amount, and ROI template shape conversion (ROI shape conversion) will be described in order. First, creation of a reference brain image will be described. The reference brain image is preferably created using a known atlas such as Tylach's standard brain atlas, MNI template, or Human Brain Atlas. In addition, it is also possible to create a head CT image or MR image taken in the past for an arbitrary subject. In this case, it is desirable to use the average of the head CT images and MR images of a plurality of subjects as the reference brain image. The created reference brain image is desirably held as three-dimensional data.
以下では、基準ROIテンプレートの作成について説明する。図３に、基準脳画像と基準ROIテンプレートの例を示す。基準ROIテンプレートは、基準脳画像にROI（基準脳１０上に破線で区切った領域）を設定することで作成する。望ましい例では脳の解剖学的な意味にしたがってROIを設定する。脳灌流画像の場合、数値評価は一般に血流支配領域ごとに行われることを考慮すると、ROIを脳における血流支配領域ごとに設定し、さらに前大脳脈支配領域は、脳梁辺縁動脈支配領域、脳梁周囲動脈支配領域、角回動脈支配領域、側頭動脈支配領域に分割し、それぞれの支配領域の境界に沿ってROIを設定することで基準ROIテンプレートを作成する。以上はROIの設定についての望ましい例の一つであり、ROIは、これに限られず、臨床上の目的に応じて操作者が適宜に設定することができる。作成した基準ROIテンプレートは、基準脳の場合と同様に３次元データ（３次元ROIテンプレート）として保持するのが望ましい。 In the following, creation of a reference ROI template will be described. FIG. 3 shows an example of a reference brain image and a reference ROI template. The reference ROI template is created by setting an ROI (region divided by a broken line on the reference brain 10) in the reference brain image. The preferred example is to set the ROI according to the anatomical meaning of the brain. In the case of cerebral perfusion images, in consideration of the fact that numerical evaluation is generally performed for each blood flow control region, ROI is set for each blood flow control region in the brain. A reference ROI template is created by dividing a region, a corpus callosum artery control region, an angular gyrus control region, and a temporal artery control region, and setting an ROI along the boundary of each control region. The above is one of desirable examples for setting the ROI, and the ROI is not limited to this, and can be set appropriately by the operator according to the clinical purpose. The created reference ROI template is desirably held as three-dimensional data (three-dimensional ROI template) as in the case of the reference brain.
以下では、ROIテンプレートの読み込みついて説明する。ROIテンプレートの読み込みとは、脳断層像の撮影断層位置に応じた切り出し面１１で２次元のROIテンプレートを３次元の基準ROIテンプレートから切り出すことである。脳断層像の撮影断層位置、すなわち切り出し面１１のZ軸方向位置の情報は、脳断層像に付されている画像IDに基づいて取得することができる。図３の例で切り出されたROIテンプレートは図４に示す例のようになる。通常の臨床においては被検者の頭部は左右方向に関して傾けずに撮影される。したがって図３に示す例のように、切り出し面１１はXY平面に平行であるのが通常である。しかし被検者の頭部が左右方向に関して傾いて撮影される場合もある。そのような場合には、図５に示すように、XY平面に対して操作者が任意に指定する角度αの平面１１に沿って基準ROIテンプレートを切り出すようにしてもよい。
The following explains how to load ROI templates. Reading of the ROI template is to cut out a two-dimensional ROI template from the three-dimensional reference ROI template at the cut-
以下では、特徴量の算出とそれに基づくROIテンプレートの形状変換ついて説明する。まず、ROIテンプレートの拡大・縮小、平行移動、回転移動に用いる特徴量の算出方法について説明する。図６に特徴量算出における処理のフローチャートを示す。特徴量の算出では、まず図２のステップ２０３で読み込んだ脳断層像を２値化する（ステップ６０１）。２値化処理は、例えば脳断層像において、閾値以上の画素値の画素を「１」に、閾値未満の画素値の画素を「０」にそれぞれ置き換えることで行うことができる。閾値は、脳断層像において解析対象となる生体組織部分と空気部分を分離できる値であれば任意でよい。脳断層像の場合であれば、閾値は例えば−２００程度に設定すればよい。
In the following, calculation of feature values and shape conversion of the ROI template based on the calculation will be described. First, a method for calculating feature amounts used for ROI template enlargement / reduction, parallel movement, and rotational movement will be described. FIG. 6 shows a flowchart of processing in feature amount calculation. In calculating the feature amount, first, the brain tomogram read in
次に、ステップ６０１で２値化された画像をラベリング処理する（ステップ６０２）。ラベリング処理は、つながっている全ての画素（連結成分）に同じ番号（ラベル）を付け、異なる連結成分には別の番号を付けることで行われる。ここで、隣接する画素が互いに「１」の場合には、これらの画素はつながっていることになる。ラベルとして付与する値は、例えば５０からの続き番号とする。
Next, the image binarized in
次に、最大連結成分を探索する（ステップ６０３）。最大連結成分の探索は、ラベリングした画像全体を走査するようにしてラベル値ごとに画素数を数える処理を行い、最も画素数の多いラベル値を有する連結成分を選び出すことで行う。続いて、最大連結成分を抽出する（ステップ６０４）。最大連結成分の抽出は、ステップ６０３で選び出した、最も画素数の多いラベル値を有する画素を残し、それ以外の画素は「０」に置き換えることで行われる。以上のような最大連結成分に関する処理により、２値化処理の段階では画素値が「１」に置き換えられる可能性のある寝台などの不要領域の画素値を「０」に置き換えることができる。
Next, the maximum connected component is searched (step 603). The search for the maximum connected component is performed by performing processing for counting the number of pixels for each label value so as to scan the entire labeled image, and selecting the connected component having the label value with the largest number of pixels. Subsequently, the maximum connected component is extracted (step 604). Extraction of the maximum connected component is performed by leaving the pixel having the label value with the largest number of pixels selected in
次に、最大連結成分の輪郭を追跡し、最大連結成分の最外周の輪郭線を抽出する（ステップ６０５）。輪郭線の追跡は、ステップ６０４で最大連結成分のみが残された画像の左上隅画素から横に走査し、最初に出会った非ゼロのラベル値を有する画素を開始点として反時計回り方向に輪郭を追跡し、開始点に戻ったら追跡を終了する、というようにして行われる。抽出した輪郭線上の画素にはラベル値と異なる値、例えば「１」を代入しておく。
Next, the contour of the largest connected component is traced, and the outermost contour line of the largest connected component is extracted (step 605). Contour tracking is performed by scanning horizontally from the upper left corner pixel of the image in which only the largest connected component is left in
次に、ステップ６０５で求めた輪郭線の内部を「１」で塗りつぶし、対象領域２値化画像を作成する（ステップ６０６）。輪郭線の内部を塗りつぶすには、従来から知られている、例えばシードフィルアルゴリズムと呼ばれる手法を用いることができる。シードフィルアルゴリズムは、閉鎖領域内部の１点を開始点として閉鎖領域内部を塗りつぶす処理である。本実施形態の場合、閉鎖領域はステップ６０５で求めた輪郭線で囲まれた領域である。また閉鎖領域内の点は、ステップ６０４で求めた最大連結成分のラベル値の付いた画素である。このラベル値の付いた画素を１つ検出し、その点を開始点としてシードフィル処理を行えば、輪郭線内部を塗りつぶすことができる。
Next, the inside of the contour line obtained in
次に、ステップ６０６で作成した対象領域２値化画像における重心と回転角、それに長軸長と短軸長それぞれを特徴量として求める。重心（Xc,Yc）、回転角（X軸となす角）θ、長軸長ｌ、短軸長ｗそれぞれは、座標（x,y）における画素をI（x,y）とおくと、以下の式にしたがって求めることができる。
Next, the center of gravity and rotation angle, and the major axis length and minor axis length in the target region binarized image created in
平行移動と回転移動をなした後にさらに拡大または縮小をなした後のROIテンプレートにおける任意の座標を(x2,y2)とすると、以下の式のような変換を行うことで図７の例に示すような形状変換が実現される。ただし、式４−ａは、ｘ軸が長軸でｙ軸が短軸の場合であり、式４−ｂは、ｘ軸が短軸でｙ軸が長軸の場合である。 If the arbitrary coordinates in the ROI template after further translation or rotation after translation and rotation are assumed to be (x2, y2), the transformation shown in the example of FIG. Such shape conversion is realized. However, Expression 4-a is a case where the x-axis is a major axis and the y-axis is a minor axis, and Expression 4-b is a case where the x-axis is a minor axis and the y-axis is a major axis.
以下では、脳断層像が左右非対称である場合に、それに対応させてなされるROIテンプレートの形状変換について説明する。人間の脳は概ね左右対称な臓器であるが、対称性には個人差があり、左右が非対称の場合もある。一方、タライラッハの図譜などを用いた基準脳は左右対称であり、この基準脳に基づいて作成される基準ROIテンプレートも左右対称である。このため、脳断層像が左右非対称である場合には、それに対応させたROIテンプレートの形状変換も行うのが望ましい。図８に、左右の非対称性についての形状変換における処理をイメージ化して示す。まず数値評価の対象となる画像（図８の（ａ））をもとに脳実質内部のマスク画像（図８の（ｂ））を作成する。マスク画像の作成には、前述の手法つまり輪郭線を求めてその内部を塗りつぶす手法を用いればよい。ただし、２値化処理における閾値は骨と脳実質を分離できる値に設定する必要があり、例えばCT画像の場合には１００〜１５０ぐらいの閾値が望ましい。 In the following, when the tomographic image of the brain is asymmetrical, the shape conversion of the ROI template that is performed correspondingly will be described. The human brain is a generally symmetrical organ, but there are individual differences in symmetry, and there are cases where the left and right are asymmetrical. On the other hand, the reference brain using Tarailach's charts and the like is symmetric, and the reference ROI template created based on this reference brain is also symmetric. For this reason, when the brain tomogram is asymmetrical, it is desirable to perform shape conversion of the ROI template corresponding to it. FIG. 8 shows an image of processing in shape conversion for left and right asymmetry. First, a mask image (FIG. 8 (b)) inside the brain parenchyma is created based on an image (FIG. 8 (a)) to be subjected to numerical evaluation. For the creation of the mask image, the above-described method, that is, the method of obtaining the contour line and painting the inside thereof may be used. However, the threshold value in the binarization process needs to be set to a value that can separate bone and brain parenchyma. For example, in the case of a CT image, a threshold value of about 100 to 150 is desirable.
マスク画像を作成したら、そのマスク画像に中心線ABを引く。A、Bは式１で算出される重心を通りX軸に平行な直線を式１で算出される回転角だけ回転した直線とマスク画像との境界の交点である。続いて、線分ABの垂直２等分線を引く。このとき線分ABの垂直２等分線とマスク画像の境界との交点をC、Dとする。同様にして、線分ABの垂直２等分線と左右比補正前のROIテンプレートの境界との交点をE、Fとする。ここで左右の非対称性を補正した後のROIテンプレート（図８の（ｄ））における任意の座標を(x3,y3)とおくと、以下の式のような変換を行うことで左右の非対称性を補正したROIテンプレート（図８の（ｃ））を得ることができる。ただし、式５−ａは、線分ABより右側についてであり、式５−ｂは、線分ABより左側についてである。
When a mask image is created, a center line AB is drawn on the mask image. A and B are the intersections of the boundary between the mask image and a straight line obtained by rotating a straight line that passes through the center of gravity calculated by
以下では、脳断層像の実際の形状に合わせるためのROIテンプレートの形状変換について説明する。この形状変換は、図９に示すように、ROIテンプレートにおけるROIの区切り線上に仮に設ける基準点（図中に黒丸で示す点）を用いて行う。基準点には、主基準点と補助基準点がある。主基準点は、ROIの区切り線が急変する部分（主には区切り線の交点部分）に配置され、一次の形状合せに用いられる。図中では主基準点を大きめの黒丸で示してある。補助基準点は、主基準点の間に適当な間隔で配置され、主基準点による一次の形状合せの後の二次の形状合せに用いられる。図中では補助基準点を小さめの黒丸で示してある。なお図では補助基準点の一部を省略してあり、補助基準点は実際にはもっと稠密な間隔で設けられる。 Hereinafter, the shape conversion of the ROI template for matching with the actual shape of the brain tomogram will be described. As shown in FIG. 9, this shape conversion is performed using a reference point (a point indicated by a black circle in the figure) temporarily provided on the ROI dividing line in the ROI template. The reference point includes a main reference point and an auxiliary reference point. The main reference point is arranged at a portion where the ROI dividing line changes suddenly (mainly at the intersection of the dividing lines), and is used for primary shape matching. In the figure, the main reference point is indicated by a large black circle. The auxiliary reference points are arranged at an appropriate interval between the main reference points, and are used for secondary shape matching after the primary shape matching by the main reference points. In the figure, auxiliary reference points are indicated by small black circles. In the figure, some of the auxiliary reference points are omitted, and the auxiliary reference points are actually provided at denser intervals.
ROIテンプレートのROIは、脳断層像における骨と脳実質の境界や脳室と脳実質の境界など、濃度変化が大きな部位に沿うようになっているのが通常である。したがって、図９の（ａ）のように、位置・向き合せ変換と非対称性補正変換で位置・向き合せと左右非対称性補正が済んでいるROIテンプレートを脳断層像に重ねた状態でROIの区切り線を脳断層像における大きな濃度変化部位に一致させるようにすれば、形状合せを行うことができる。 The ROI of the ROI template is usually along a region where the concentration change is large, such as a boundary between a bone and a brain parenchyma or a boundary between a ventricle and a brain parenchyma in a brain tomogram. Therefore, as shown in FIG. 9 (a), the ROI template with the position / orientation conversion and the asymmetry correction conversion completed the position / orientation and right / left asymmetry correction superimposed on the brain tomogram is divided. If the line is made to coincide with a large density change portion in the brain tomogram, the shape matching can be performed.
濃度変化は、ラプラシアンなどの公知の微分フィルタを用いれば検出することができる。まず、図９の（ａ）のようにROIテンプレートを脳断層像に重ねた状態で、各主基準点の周辺にN×N個の画素からなる探査領域を設定し、この探査領域における画素の微分フィルタによる出力値つまり濃度変化値を調べて濃度変化値が最大の点を探し出す。そしてその濃度変化値最大点に該当の主基準点を移動する。ここで、Nは正の整数であり、脳断層像の大きさに応じて適宜に設定される。通常はN＝５〜１５程度とするのが適切である。主基準点を移動する際には、隣接主基準点間にある補助基準点も隣接主基準点それぞれの移動に応じて移動する。次いで、図１０に示すように、各補助基準点について、それぞれの周辺の画素Pの濃度値変化を右回り、または左回りに順番にサーチし、ラプラシアン値が閾値を初めて超えた点に該当の補助基準点を移動する。以上の処理により、図９の（ｂ）に示すように、脳断層像の実際の形状にROIテンプレートを合わせることができ、これにより脳断層像に適合したROIを設定することができる。 The density change can be detected by using a known differential filter such as Laplacian. First, in a state where the ROI template is superimposed on the brain tomographic image as shown in FIG. 9A, an exploration area composed of N × N pixels is set around each main reference point, and the pixels in the exploration area are set. The output value by the differential filter, that is, the density change value is examined to find the point having the maximum density change value. Then, the corresponding main reference point is moved to the maximum density change value point. Here, N is a positive integer and is appropriately set according to the size of the brain tomogram. Usually, it is appropriate to set N = about 5-15. When the main reference point is moved, the auxiliary reference point between the adjacent main reference points is also moved in accordance with the movement of each adjacent main reference point. Next, as shown in FIG. 10, for each auxiliary reference point, the density value change of each surrounding pixel P is searched clockwise or counterclockwise in order, and the Laplacian value corresponding to the point where the threshold value exceeds the threshold value for the first time. Move the auxiliary reference point. Through the above processing, as shown in FIG. 9B, the ROI template can be matched with the actual shape of the brain tomographic image, thereby setting the ROI suitable for the brain tomographic image.
以上の処理は、自動で行うようにしてもよいし、また操作者が脳断層像を見ながら手動で主基準点や補助基準点の移動を行うようにしてもよい。さらに自動で主基準点や補助基準点の移動を行った後に操作者の手動による移動を施せるようにする方式も可能である。 The above processing may be performed automatically, or the operator may manually move the main reference point and auxiliary reference point while viewing the brain tomogram. Furthermore, a method is also possible in which the operator can manually move the main reference point and auxiliary reference point after the automatic movement of the main reference point and auxiliary reference point.
以上のように本発明では、基準脳をもとに設定した基準ROIテンプレートから読み出すROIテンプレートを所定の形状変換処理により脳断層像の実際の状態に適合させることでROIを設定できるようにしている。このため本発明によれば、脳灌流画像などの機能画像にROIを設定する場合に、CT画像やMR画像が持つ優れた形態情報を失わせることなく、客観性や再現性の高いROIを設定することが可能となる。 As described above, in the present invention, the ROI can be set by adapting the ROI template read from the reference ROI template set based on the reference brain to the actual state of the brain tomogram by a predetermined shape conversion process. . Therefore, according to the present invention, when setting ROI for functional images such as cerebral perfusion images, ROI with high objectivity and reproducibility can be set without losing excellent morphological information possessed by CT images and MR images. It becomes possible to do.
以上では、解析対象臓器が脳であり、その画像として脳断層像を用いる場合を前提にした例を説明したが、本発明は、これに限られず、例えば肺臓や肝臓などにも適用することができる。なお肺臓や肝臓などの場合には、公知のセグメンテーション法を用いて分割された各領域を囲むようにROIを設定して基準ROIテンプレートを作成するのが望ましい。 In the above, an example has been described on the assumption that the organ to be analyzed is the brain and a tomographic image of the brain is used as the image. However, the present invention is not limited to this, and can be applied to, for example, the lungs and the liver. it can. In the case of a lung or liver, it is desirable to create a reference ROI template by setting an ROI so as to surround each region divided using a known segmentation method.
本発明は、CT画像やMR画像が持つ優れた形態情報を失わせることなく、客観性や再現性の高いROIを設定することが可能とするものであり、機能画像を用いての生体臓器の解析分野で広く利用することができる。 The present invention makes it possible to set ROI with high objectivity and reproducibility without losing excellent morphological information possessed by CT images and MR images. It can be widely used in the analysis field.
３ 基準画像作成手段
４ ROIテンプレート作成手段
５ 特徴量算出手段
６ ROI形状変換手段
3 Reference image creation means 4 ROI template creation means 5 Feature quantity calculation means 6 ROI shape conversion means
Claims (3)
前記生体臓器について基準となる臓器画像を作成する基準画像作成手段、前記基準画像作成手段で作成された基準臓器画像に標準的な関心領域を設定することで、前記生体臓器画像上への前記関心領域の設定のもとになるROIテンプレートを作成するROIテンプレート作成手段、前記ROIテンプレートを前記生体臓器画像に適合させるように形状変換するROI形状変換手段を備えたことを特徴とする画像処理装置。 In the image processing apparatus configured to perform the setting of the region of interest when analyzing the biological organ that sets the region of interest on the image of the biological organ and quantitatively evaluates the biological function information reflection numerical value in the region of interest,
Reference image creation means for creating an organ image serving as a reference for the biological organ, and by setting a standard region of interest in the reference organ image created by the reference image creation means, the interest on the biological organ image An image processing apparatus comprising: ROI template creation means for creating an ROI template that is a base for setting a region; and ROI shape conversion means for transforming the ROI template so as to be adapted to the living organ image.
The ROI template creation means creates the reference organ image as three-dimensional data, creates a reference ROI template of the three-dimensional data by setting a standard region of interest in the reference organ image of the three-dimensional data, The image processing apparatus according to claim 1, wherein the ROI template is obtained by reading the reference ROI template in correspondence with the living organ image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004328683A JP4807819B2 (en) | 2004-11-12 | 2004-11-12 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004328683A JP4807819B2 (en) | 2004-11-12 | 2004-11-12 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006136506A true JP2006136506A (en) | 2006-06-01 |
| JP4807819B2 JP4807819B2 (en) | 2011-11-02 |
Family
ID=36617685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004328683A Expired - Fee Related JP4807819B2 (en) | 2004-11-12 | 2004-11-12 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4807819B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007052634A1 (en) * | 2005-11-02 | 2007-05-10 | Hitachi Medical Corporation | Image analyzing device and method |
| JP2008029735A (en) * | 2006-07-31 | 2008-02-14 | Toshiba Corp | Diagnosis device for brain blood vessel, and medical image diagnosis device |
| JP2008220406A (en) * | 2007-03-08 | 2008-09-25 | Hitachi Medical Corp | Image processor and image processing program |
| JP2010178849A (en) * | 2009-02-04 | 2010-08-19 | Toshiba Corp | Medical image processing apparatus |
| WO2012032940A1 (en) * | 2010-09-07 | 2012-03-15 | 株式会社 日立メディコ | Dementia diagnosis support device and dementia diagnosis support method |
| WO2012063939A1 (en) * | 2010-11-12 | 2012-05-18 | 株式会社東芝 | Diagnostic imaging device |
| JP2016524126A (en) * | 2013-03-28 | 2016-08-12 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Method and system for reducing asymmetry in scanned images |
| JP2019074343A (en) * | 2017-10-12 | 2019-05-16 | 日本メジフィジックス株式会社 | Image processing device, image processing method and program |
| CN110013263A (en) * | 2019-04-04 | 2019-07-16 | 首都医科大学宣武医院 | One kind generating the method and system of standardized uptake value (SUV) based on medical image data |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032735A (en) * | 2000-05-12 | 2002-01-31 | Fuji Photo Film Co Ltd | Method and device for aligning image |
| JP2002109538A (en) * | 2000-10-03 | 2002-04-12 | Fuji Photo Film Co Ltd | Method and device for aligning image |
| JP2003199715A (en) * | 2001-08-31 | 2003-07-15 | Daiichi Radioisotope Labs Ltd | Method of processing image-related data |
| JP2003334183A (en) * | 2002-03-11 | 2003-11-25 | Fuji Photo Film Co Ltd | Abnormal shadow-detecting device |
| JP2005237441A (en) * | 2004-02-24 | 2005-09-08 | Kokuritsu Seishin Shinkei Center | Method and apparatus for supporting diagnosis of encephalopathy |
-
2004
- 2004-11-12 JP JP2004328683A patent/JP4807819B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032735A (en) * | 2000-05-12 | 2002-01-31 | Fuji Photo Film Co Ltd | Method and device for aligning image |
| JP2002109538A (en) * | 2000-10-03 | 2002-04-12 | Fuji Photo Film Co Ltd | Method and device for aligning image |
| JP2003199715A (en) * | 2001-08-31 | 2003-07-15 | Daiichi Radioisotope Labs Ltd | Method of processing image-related data |
| JP2003334183A (en) * | 2002-03-11 | 2003-11-25 | Fuji Photo Film Co Ltd | Abnormal shadow-detecting device |
| JP2005237441A (en) * | 2004-02-24 | 2005-09-08 | Kokuritsu Seishin Shinkei Center | Method and apparatus for supporting diagnosis of encephalopathy |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4937922B2 (en) * | 2005-11-02 | 2012-05-23 | 株式会社日立メディコ | Image analysis apparatus and method |
| JPWO2007052634A1 (en) * | 2005-11-02 | 2009-04-30 | 株式会社日立メディコ | Image analysis apparatus and method |
| WO2007052634A1 (en) * | 2005-11-02 | 2007-05-10 | Hitachi Medical Corporation | Image analyzing device and method |
| US9208582B2 (en) | 2005-11-02 | 2015-12-08 | Hitachi Medical Corporation | Image analyzing system and method |
| JP2008029735A (en) * | 2006-07-31 | 2008-02-14 | Toshiba Corp | Diagnosis device for brain blood vessel, and medical image diagnosis device |
| JP2008220406A (en) * | 2007-03-08 | 2008-09-25 | Hitachi Medical Corp | Image processor and image processing program |
| JP2010178849A (en) * | 2009-02-04 | 2010-08-19 | Toshiba Corp | Medical image processing apparatus |
| US8588491B2 (en) | 2009-02-04 | 2013-11-19 | Kabushiki Kaisha Toshiba | Medical image processing apparatus |
| WO2012032940A1 (en) * | 2010-09-07 | 2012-03-15 | 株式会社 日立メディコ | Dementia diagnosis support device and dementia diagnosis support method |
| JP5878125B2 (en) * | 2010-09-07 | 2016-03-08 | 株式会社日立メディコ | Dementia diagnosis support apparatus and dementia diagnosis support method |
| WO2012063939A1 (en) * | 2010-11-12 | 2012-05-18 | 株式会社東芝 | Diagnostic imaging device |
| JP2012115658A (en) * | 2010-11-12 | 2012-06-21 | Toshiba Corp | Diagnostic imaging apparatus |
| CN102630151A (en) * | 2010-11-12 | 2012-08-08 | 株式会社东芝 | Diagnostic imaging device |
| US8903146B2 (en) | 2010-11-12 | 2014-12-02 | Kabushiki Kaisha Toshiba | Image diagnosis apparatus |
| JP2018011983A (en) * | 2010-11-12 | 2018-01-25 | 東芝メディカルシステムズ株式会社 | Diagnostic imaging apparatus |
| JP2016524126A (en) * | 2013-03-28 | 2016-08-12 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Method and system for reducing asymmetry in scanned images |
| JP2019074343A (en) * | 2017-10-12 | 2019-05-16 | 日本メジフィジックス株式会社 | Image processing device, image processing method and program |
| CN110013263A (en) * | 2019-04-04 | 2019-07-16 | 首都医科大学宣武医院 | One kind generating the method and system of standardized uptake value (SUV) based on medical image data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4807819B2 (en) | 2011-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Torosdagli et al. | Deep geodesic learning for segmentation and anatomical landmarking | |
| WO2022037696A1 (en) | Bone segmentation method and system based on deep learning | |
| JP5643304B2 (en) | Computer-aided lung nodule detection system and method and chest image segmentation system and method in chest tomosynthesis imaging | |
| JP6877868B2 (en) | Image processing equipment, image processing method and image processing program | |
| US8953856B2 (en) | Method and system for registering a medical image | |
| US9524552B2 (en) | 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos | |
| JP4879901B2 (en) | Image processing method, image processing program, and image processing apparatus | |
| US8019142B2 (en) | Superimposing brain atlas images and brain images with delineation of infarct and penumbra for stroke diagnosis | |
| JP4785371B2 (en) | Multidimensional structure extraction method and system using dynamic constraints | |
| JP2017524432A (en) | User-induced shape morphing in bone segmentation for medical imaging | |
| JPH08131403A (en) | Medical image processor | |
| JPWO2007052634A1 (en) | Image analysis apparatus and method | |
| CN107194909A (en) | Medical image-processing apparatus and medical imaging processing routine | |
| TW202324443A (en) | Systems and methods for automated identification and classification of lesions in local lymph and distant metastases | |
| US9269165B2 (en) | Rib enhancement in radiographic images | |
| CN112862833A (en) | Blood vessel segmentation method, electronic device and storage medium | |
| JP2007526033A (en) | Apparatus and method for registering an image of a structured object | |
| Cheirsilp et al. | Thoracic cavity definition for 3D PET/CT analysis and visualization | |
| JP4807819B2 (en) | Image processing device | |
| Udupa | 3D imaging: principles and approaches | |
| Liu et al. | Fully automatic AI segmentation of oral surgery-related tissues based on cone beam computed tomography images | |
| KR20140120236A (en) | Integrated analysis method of matching myocardial and cardiovascular anatomy informations | |
| Antila et al. | Segmentation of facial bone surfaces by patch growing from cone beam CT volumes | |
| Karner et al. | Single-shot deep volumetric regression for mobile medical augmented reality | |
| JP2023027751A (en) | Medical image processing device and medical image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071009 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110810 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110812 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |