JP2012245106A - Apparatus and program for extracting region where heart is present - Google Patents

Apparatus and program for extracting region where heart is present Download PDF

Info

Publication number
JP2012245106A
JP2012245106A JP2011118097A JP2011118097A JP2012245106A JP 2012245106 A JP2012245106 A JP 2012245106A JP 2011118097 A JP2011118097 A JP 2011118097A JP 2011118097 A JP2011118097 A JP 2011118097A JP 2012245106 A JP2012245106 A JP 2012245106A
Authority
JP
Japan
Prior art keywords
heart
curved surface
closed
image data
closed curved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011118097A
Other languages
Japanese (ja)
Inventor
Takeshi Sakamoto
剛 阪本
Hiroaki Urayama
博昭 浦山
Shogo Azemoto
将吾 畦元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Aze Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aze Ltd filed Critical Aze Ltd
Priority to JP2011118097A priority Critical patent/JP2012245106A/en
Publication of JP2012245106A publication Critical patent/JP2012245106A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an apparatus and program for extracting a region where heart is present, capable of automatically extracting a region of the heart without including the auricle of right atrium or the auricle of left atrium within a space constructed with medical image data.SOLUTION: A core line L of the auricle of right atrium is found based on the medical image data, and a closed surface enveloped by the core line L is optimized by an RBS technique to approximate an optionally selected function by a linear sum of a plurality of radial basis functions based on the positional information of the core line, and the optimized closed surface is set as a closed surface W for masking. An inner region of the closed surface W for masking is extracted as the region where heart is present, and by applying a volume rendering method to the extracted region where heart is present, a VR image of the whole heart corresponding to the internal region of the closed surface for masking is formed.

Description

本発明は、画像診断を支援する技術に関するものであり、特に、X線CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等の画像診断装置により得られた医用画像データに基づき構築される空間内において、心臓が存在する領域を抽出する心臓存在領域抽出装置およびプログラムに関する。   The present invention relates to a technique for supporting image diagnosis, and in particular, in a space constructed based on medical image data obtained by an image diagnosis apparatus such as X-ray CT (Computed Tomography), MRI (Magnetic Resonance Imaging) or the like. The present invention relates to a heart presence region extraction apparatus and program for extracting a region where a heart is present.

X線CTやMRI等の画像診断装置によって、高精度な3次元画像データ(ボリュームデータ)を短時間に得ることが可能となったことに伴い、得られた3次元画像データに基づき構築される空間内において臓器や腫瘍等の生体部位の領域を抽出し、これらを見やすく可視化して対患者や学術用としての説明に使用したり、手術計画を立てたりするなど、様々な目的で使用するという需要が高まっている。   Constructed on the basis of the obtained three-dimensional image data in accordance with the fact that high-precision three-dimensional image data (volume data) can be obtained in a short time by an image diagnostic apparatus such as X-ray CT or MRI. It is used for various purposes, such as extracting regions of living body parts such as organs and tumors in space, making them easy to see and using them for explanations for patients and academic purposes, and making surgical plans. Demand is increasing.

従来、輪郭や病変部が比較的に抽出しやすい肺野、脳といった領域では、コンピュータ等の計算機を用いて生体領域を自動抽出するための研究が盛んに行われていたが、近年では、これまで自動抽出が困難とされていた心臓領域においても、心臓全体や冠動脈といった所定領域を自動抽出するための研究が進んでいる。   Conventionally, in areas such as the lung field and brain where contours and lesions are relatively easy to extract, research has been actively conducted to automatically extract living body areas using computers such as computers. Even in the heart region where automatic extraction has been difficult until now, research for automatically extracting a predetermined region such as the entire heart or a coronary artery is in progress.

冠動脈の自動抽出に関しては、3次元画像データの各ボクセルに対応した画像信号値(ボクセル値)に基づき、冠動脈の芯線(中心線)の位置を特定した後、この芯線に対し垂直な平面内において冠動脈の輪郭を識別するという手法(例えば、下記特許文献1、下記非特許文献1等を参照)が開発されており、CT装置により得られた医用画像(以下「CT画像」と称する)のみならず、MRI装置により得られた医用画像(以下「MRI画像」と称する)においても、高精度な抽出結果が得られるようになっている。   For automatic extraction of coronary arteries, after identifying the position of the coronary artery core line (center line) based on the image signal value (voxel value) corresponding to each voxel of the three-dimensional image data, in a plane perpendicular to the core line A technique for identifying the contour of a coronary artery (see, for example, Patent Document 1 and Non-Patent Document 1 below) has been developed, and only a medical image obtained by a CT apparatus (hereinafter referred to as “CT image”) can be used. In addition, a highly accurate extraction result can be obtained even in a medical image (hereinafter referred to as “MRI image”) obtained by an MRI apparatus.

特開2011−25005号公報JP 2011-25005 A

Stephen R. Aylward, Member, IEEE and Elizabeth Bullitt, “Initialization, Noise, Singularities, and Scale in Height Ridge Traversal for Tubular Object Centerline Extraction” IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 21, NO.2, FEBRUARY 2002Stephen R. Aylward, Member, IEEE and Elizabeth Bullitt, “Initialization, Noise, Singularities, and Scale in Height Ridge Traversal for Tubular Object Centerline Extraction” IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 21, NO.2, FEBRUARY 2002

一方、心臓全体を自動抽出する手法としては、造影剤を注入して撮影された胸部のCT画像データを利用するものが知られている。この手法では、CT画像データにより構築された空間内において心臓の存在領域を大まかに指定し、その存在領域外に位置する骨や肺野といった不要な組織を削除するとともに、CT画像データの各データ値(CT値)等に基づき、造影剤が注入された冠動脈部分とそれに隣接する軟組織部分(心筋や右心系)を選択し、これを心臓として抽出するようにしている。   On the other hand, as a method for automatically extracting the entire heart, a method using CT image data of a chest taken by injecting a contrast medium is known. In this method, the existence area of the heart is roughly specified in the space constructed by the CT image data, unnecessary tissues such as bones and lung fields located outside the existence area are deleted, and each data of the CT image data is deleted. Based on the value (CT value) or the like, a coronary artery portion into which a contrast medium is injected and a soft tissue portion (myocardium or right heart system) adjacent thereto are selected and extracted as a heart.

この手法によれば、冠動脈の一部に覆い被さるように存在する右心耳や左心耳も心臓の一部として抽出される(後述の図9(B)参照)。右心耳および左心耳を心臓の一部とすることは解剖学的には正しいことであるが、冠動脈の走行状態を観察したい場合においては、右心耳や左心耳の存在が冠動脈の走行確認の妨げとなるため、これらを画像中から削除したいという要望がある。   According to this method, the right atrial appendage and the left atrial appendage that exist so as to cover a part of the coronary artery are also extracted as a part of the heart (see FIG. 9B described later). It is anatomically correct to have the right and left atrial appendages as part of the heart, but if you want to observe the running state of the coronary arteries, the presence of the right or left atrial appendage hinders confirmation of coronary running. Therefore, there is a desire to delete these from the image.

しかしながら、右心耳および左心耳は、冠動脈と密着するように存在しており、また、心筋等の他の心臓組織とCT値が類似しているため、右心耳および左心耳を含まない状態の心臓領域を自動的に抽出することは困難であった。このため、従来は、解剖学的な専門知識を有する医師等が、目視に基づく手動操作により、右心耳および左心耳を画像中から削除することも行われているが、このような人為的操作が必要とされることにより、画像生成に多大な時間を要するとともに、得られる冠動脈の走行情報等に悪影響を及ぼす虞が生じる。   However, since the right atrial appendage and the left atrial appendage are in close contact with the coronary arteries and have similar CT values to other cardiac tissues such as the myocardium, the right atrial appendage and the left atrial appendage are not included. It was difficult to extract the region automatically. Therefore, conventionally, doctors who have anatomical expertise have also deleted the right atrial appendage and the left atrial appendage from the image by manual operation based on visual observation. Therefore, it takes a lot of time to generate an image, and there is a possibility of adversely affecting the travel information of the obtained coronary artery.

また、上述した心臓の自動抽出手法は、撮影機器や撮影条件に影響を受けることなく所定の画像信号値(CT値)が得られるCT画像データに適用し得るように開発されたものであるため、撮影機器や撮影条件によって画像信号値に大きな変動が生じるMRI画像データに適用した場合には、安定した抽出結果を得ることは困難であった(後述の図10(B)参照)。   In addition, the above-described automatic heart extraction method has been developed so that it can be applied to CT image data from which a predetermined image signal value (CT value) can be obtained without being affected by imaging equipment or imaging conditions. When applied to MRI image data in which the image signal value varies greatly depending on the photographing device and photographing conditions, it has been difficult to obtain a stable extraction result (see FIG. 10B described later).

本発明は、このような事情に鑑みなされたものであり、CT装置またはMRI装置により得られた医用画像データに基づき構築される空間内において、右心耳および左心耳を含まない心臓の存在領域を自動的に抽出することが可能な心臓存在領域抽出装置およびプログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and in a space constructed based on medical image data obtained by a CT apparatus or an MRI apparatus, an existing region of the heart that does not include the right atrial appendage and the left atrial appendage is obtained. It is an object of the present invention to provide a heart presence region extraction apparatus and program that can be automatically extracted.

上記目的を達成するため、本発明に係る心臓存在領域抽出装置およびプログラムは、以下のように構成されている。   In order to achieve the above object, a heart presence region extraction apparatus and program according to the present invention are configured as follows.

すなわち、本発明に係る心臓存在領域抽出装置は、
医用画像データ(例えば、CT画像データやMRI画像データ)に基づき構築される空間内において、心臓が存在する領域を抽出する心臓存在領域抽出装置であって、
前記医用画像データに基づき求められた、冠状血管の走行ラインの位置情報に基づき、前記走行ラインに包絡される閉曲面をマスク用閉曲面として設定するマスク用閉曲面設定手段と、
前記マスク用閉曲面の内部領域を前記心臓が存在する領域として抽出する領域抽出手段と、を備えたことを特徴とする。
That is, the heart presence region extraction device according to the present invention is
A heart presence region extraction device that extracts a region where a heart exists in a space constructed based on medical image data (for example, CT image data or MRI image data),
A closed curved surface setting means for setting a closed curved surface enveloped by the traveling line as a closed curved surface for a mask based on position information of the traveling line of the coronary blood vessel obtained based on the medical image data;
And an area extracting means for extracting an internal area of the closed curved surface for the mask as an area where the heart exists.

本発明に係る心臓存在領域抽出装置において、
前記閉曲面設定手段は、前記走行ラインに沿って複数の制御点を設定する制御点設定手段と、複数の放射基底関数の線形和により任意の関数を近似する手法を用いて、前記複数の制御点を通るという条件を満足する閉曲面を最適化する閉曲面最適化手段とを有してなり、前記閉曲面最適化手段により最適化された閉曲面を前記マスク用閉曲面として設定するように構成されている、とすることができる。
In the heart presence region extraction apparatus according to the present invention,
The closed curved surface setting means uses a control point setting means for setting a plurality of control points along the travel line and a method of approximating an arbitrary function by a linear sum of a plurality of radial basis functions. A closed surface optimization unit that optimizes a closed surface that satisfies a condition of passing a point, and the closed surface optimized by the closed surface optimization unit is set as the closed surface for a mask Can be configured.

また、ボリュームレンダリング法を用いて前記マスク用閉曲面の内部領域に対応したボリュームレンダリング画像を形成する画像形成手段を備えるようにしてもよい。   Further, an image forming unit that forms a volume rendering image corresponding to the internal region of the mask closed curved surface using a volume rendering method may be provided.

また、本発明に係る心臓存在領域抽出プログラムは、
医用画像データに基づき構築される空間内において、心臓が存在する領域を抽出する処理を、コンピュータにおいて実行せしめる心臓存在領域抽出プログラムであって、
前記医用画像データに基づき求められた、冠状血管の走行ラインの位置情報に基づき、前記走行ラインに包絡される閉曲面をマスク用閉曲面として設定するマスク用閉曲面設定ステップと、
前記マスク用閉曲面の内部領域を前記心臓が存在する領域として抽出する領域抽出ステップと、を前記コンピュータにおいて実行せしめることを特徴とする。
In addition, the heart presence region extraction program according to the present invention is
In a space constructed based on medical image data, a heart presence region extraction program for causing a computer to execute processing for extracting a region where a heart exists,
A mask closed surface setting step for setting a closed curved surface enveloped by the travel line as a mask closed curved surface based on position information of the travel line of the coronary blood vessel obtained based on the medical image data;
An area extracting step of extracting an internal area of the closed curved surface for mask as an area where the heart exists is executed in the computer.

上記「冠状血管」とは、心臓の外表面に沿って走行する血管を意味しており、冠動脈の他に、冠静脈をも含む概念である。   The above “coronary blood vessel” means a blood vessel that runs along the outer surface of the heart, and is a concept that includes a coronary vein in addition to a coronary artery.

上記「冠状血管の走行ライン」とは、冠動脈等の冠状血管の3次元的な走行状態を示す各ラインを意味しており、冠状血管の芯線(中心線)の他に、冠状血管の表面に沿ったライン等をも含む概念である。   The “coronary blood vessel running line” means each line indicating the three-dimensional running state of the coronary blood vessels such as the coronary arteries. In addition to the core line (center line) of the coronary blood vessels, It is a concept including a line along the line.

上記「走行ラインに包絡される閉曲面」とは、各走行ラインの一部と接しながら、各走行ラインの全体により内包される閉曲面を意味しているが、閉曲面の内部に走行ラインの一部が含まれる場合を排除するものではない。   The above-mentioned “closed curved surface enveloped by the travel line” means a closed curved surface enclosed by the entire travel line while contacting a part of each travel line. It does not exclude the case where a part is included.

本発明に係る心臓存在領域抽出装置およびプログラムは、医用画像データに基づき求められた、冠状血管の走行ラインの位置情報に基づき、走行ラインに包絡される閉曲面をマスク用閉曲面として設定し、このマスク用閉曲面の内部領域を心臓が存在する領域として抽出するものであり、これにより、以下のような作用効果を奏する。   The heart presence region extraction apparatus and program according to the present invention sets a closed curved surface enveloped by a running line as a closed curved surface for a mask based on position information of a running line of a coronary blood vessel obtained based on medical image data, The internal area of the mask closed curved surface is extracted as an area where the heart exists, and the following effects are obtained.

すなわち、冠動脈等の冠状血管は心臓の外面に沿うように走行しているため、冠状血管の走行ラインに包絡される閉曲面は、心臓の外形に近似した形状を有するものとなり、その内部領域には、心臓の主要部(心筋部分)が含まれることとなる。一方、右心耳および左心耳は解剖学的に冠動脈の一部を覆う位置、すなわち冠動脈の走行ラインの外側に位置するため、閉曲面の内部領域には含まれないこととなる。   That is, since coronary blood vessels such as coronary arteries run along the outer surface of the heart, the closed curved surface enveloped by the running line of the coronary blood vessel has a shape that approximates the outer shape of the heart, Will include the main part of the heart (myocardial part). On the other hand, the right atrial appendage and the left atrial appendage are not included in the inner region of the closed curved surface because they are anatomically located at a position covering a part of the coronary artery, that is, outside the running line of the coronary artery.

また、CT画像データであってもMRI画像データであっても、冠状血管の走行ラインの位置情報を自動的に計算することは可能とされており、さらに、走行ラインに包絡される閉曲面を求めることについても、画像処理技術において従来用いられてきた3次元曲面の生成手法を適用することにより、自動的に計算することが可能である。しかも、この閉曲面を求めるための演算を実行するには、走行ラインの位置情報が必要とされるだけで、医用画像データの画像信号値(ボクセル値)の分布情報等は必要とされない。このため、CT画像データであってもMRI画像データであっても、閉曲面を自動的に求めることが可能である。   Moreover, it is possible to automatically calculate the position information of the running line of the coronary blood vessel, whether it is CT image data or MRI image data, and further, a closed curved surface enveloped by the running line can be obtained. The calculation can also be automatically performed by applying a three-dimensional curved surface generation method conventionally used in image processing technology. Moreover, in order to execute the calculation for obtaining the closed curved surface, only the position information of the travel line is required, and the distribution information of the image signal value (voxel value) of the medical image data is not required. For this reason, it is possible to automatically obtain a closed curved surface for both CT image data and MRI image data.

したがって、冠状血管の走行ラインに包絡される閉曲面をマスク用閉曲面として設定し、このマスク用閉曲面の内部領域を心臓が存在する領域として抽出するという特徴構成を有する本発明によれば、CT画像データまたはMRI画像データに基づき構築される空間内において、右心耳および左心耳を含まない心臓の存在領域を自動的に抽出することが可能となる。   Therefore, according to the present invention, the closed curved surface enveloped by the running line of the coronary blood vessel is set as the closed curved surface for the mask, and the internal region of the closed curved surface for the mask is extracted as the region where the heart exists. In the space constructed based on the CT image data or the MRI image data, it is possible to automatically extract the existing region of the heart that does not include the right atrial appendage and the left atrial appendage.

また、本発明によれば、右心耳および左心耳を画像中から削除するために従来行われていた人為的操作が不要となるので、効率的かつ安定的に、適正な情報(冠動脈の走行情報等)を担持した心臓抽出画像を生成することが可能となる。   In addition, according to the present invention, since an artificial operation that has been conventionally performed to delete the right atrial appendage and the left atrial appendage from an image becomes unnecessary, appropriate information (coronary artery running information) can be efficiently and stably obtained. Etc.) can be generated.

本発明の一実施形態に係る心臓存在領域抽出装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the heart presence area | region extraction apparatus which concerns on one Embodiment of this invention. 図1に示す演算処理装置の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the arithmetic processing unit shown in FIG. 図1に示す演算処理装置が実行する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process which the arithmetic processing unit shown in FIG. 1 performs. マスク用閉曲面設定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the closed curved surface setting process for masks. 求められた冠動脈の走行ラインを示す図である。It is a figure which shows the calculated | required travel line of the coronary artery. 冠動脈の走行ライン上に設定される複数の制御点の設定態様を示す図である。It is a figure which shows the setting aspect of the some control point set on the running line of a coronary artery. 冠動脈の走行ラインに包絡される閉曲面を示す図である。It is a figure which shows the closed curved surface enveloped by the running line of a coronary artery. 冠動脈抽出画像を示す図である。It is a figure which shows a coronary artery extraction image. CT画像データに基づく心臓抽出画像の一例を示す図((A)は本発明手法によるものであり、(B)は従来手法によるもの)である。It is a figure ((A) is based on the method of this invention, (B) is based on a conventional method) which shows an example of the heart extraction image based on CT image data. MRI画像データに基づく心臓抽出画像の一例を示す図((A)は本発明手法によるものであり、(B)は従来手法によるもの)である。It is a figure ((A) is based on the method of this invention, (B) is based on a conventional method) which shows an example of the heart extraction image based on MRI image data.

以下、本発明の実施形態について上述の図面を参照しつつ詳細に説明する。まず、図1および図2を参照しながら本発明の一実施形態に係る心臓存在領域抽出装置について説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the above-mentioned drawings. First, a heart presence region extraction apparatus according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.

図1に示す心臓存在領域抽出装置1は、医用画像データに基づき構築される空間(以下「画像データ空間」と称する)内において心臓が存在する領域を抽出し、この領域内に位置する心臓の全体画像を形成するものであり、コンピュータ等からなる演算処理装置10と、マウスやキーボード等からなる入力装置20と、画像表示装置等からなる出力装置30とを備えてなる。   1 extracts a region where a heart exists in a space constructed based on medical image data (hereinafter referred to as “image data space”), and extracts a heart located in this region. The whole image is formed, and includes an arithmetic processing device 10 formed of a computer or the like, an input device 20 formed of a mouse or a keyboard, and an output device 30 formed of an image display device.

上記演算処理装置10は、図2に示すように、医用画像データ記憶手段11、走行ライン特定手段12、閉曲面設定手段13、領域抽出手段14および画像形成手段15を備えており、閉曲面設定手段13は制御点設定手段131および閉曲面最適化手段132を有している。これらの手段は、各種の演算処理を行うCPU、ハードディスクやROM等の記憶装置、該記憶装置に格納された制御プログラム(本発明の一実施形態に係る心臓存在領域抽出プログラムを含む)およびRAM等の一時記憶装置等により構成されるものを、概念的に示したものである。   As shown in FIG. 2, the arithmetic processing apparatus 10 includes medical image data storage means 11, travel line specifying means 12, closed curved surface setting means 13, area extracting means 14, and image forming means 15, and is set to a closed curved surface. The means 13 includes a control point setting means 131 and a closed curved surface optimization means 132. These means include a CPU for performing various arithmetic processes, a storage device such as a hard disk and a ROM, a control program stored in the storage device (including a heart existing region extraction program according to an embodiment of the present invention), a RAM, and the like This is a conceptual illustration of a temporary storage device or the like.

上記医用画像データ記憶手段11は、X線CT装置またはMRI装置により得られた、被検体胸部の3次元医用画像データ(CT画像データまたはMRI画像データ)と、上述の走行ライン特定手段12、閉曲面設定手段13、領域抽出手段14および画像形成手段15により得られた各種データと、を記憶するものである。   The medical image data storage means 11 includes three-dimensional medical image data (CT image data or MRI image data) of a subject's chest obtained by an X-ray CT apparatus or an MRI apparatus, the above-described running line specifying means 12, Various data obtained by the curved surface setting means 13, the area extraction means 14, and the image forming means 15 are stored.

上記走行ライン特定手段12は、上記画像データ空間内において、心臓の冠状血管(本実施形態では冠動脈)の全体的な走行ラインを特定し、その3次元的な位置情報を求めるものである。   The travel line specifying means 12 specifies the entire travel line of the coronary blood vessel (coronary artery in this embodiment) of the heart in the image data space, and obtains its three-dimensional position information.

上記閉曲面設定手段13は、上記走行ライン特定手段12により求められた、冠動脈の走行ラインの位置情報に基づき、この走行ラインに包絡される閉曲面を求め、これをマスク用閉曲面として設定するものである。具体的には、上記制御点設定手段131により、上記走行ラインに沿った複数の制御点を設定し、この複数の制御点を通るという条件を満足する閉曲面を、上記閉曲面最適化手段132により最適化し、この最適化された閉曲面を上記マスク用閉曲面として設定するように構成されている。   The closed curved surface setting means 13 obtains a closed curved surface enveloped by the running line based on the position information of the running line of the coronary artery obtained by the running line specifying means 12, and sets this as a closed curved surface for the mask. Is. Specifically, the control point setting unit 131 sets a plurality of control points along the travel line, and a closed surface that satisfies the condition of passing through the plurality of control points is determined as the closed surface optimization unit 132. The optimized closed surface is set as the mask closed surface.

上記領域抽出手段14は、上記閉曲面設定手段13により設定された上記マスク用閉曲面の内部領域を、心臓が存在する領域として抽出するものである。   The area extracting unit 14 extracts the internal area of the mask closed curved surface set by the closed curved surface setting unit 13 as a region where the heart exists.

上記画像形成手段15は、ボリュームレンダリング法を用いて、上記マスク用閉曲面の内部領域に対応した心臓全体のボリュームレンダリング画像(以下「VR画像」と称する)を形成するものである。   The image forming means 15 forms a volume rendering image (hereinafter referred to as “VR image”) of the entire heart corresponding to the internal region of the mask closed curved surface using a volume rendering method.

次に、本実施形態の心臓存在領域抽出装置1による心臓存在領域の抽出手順および心臓全体のVR画像の形成手順について、主に図3〜図10を参照しながら説明する。なお、次述する心臓存在領域の抽出手順は、本発明の一実施形態に係る心臓存在領域抽出プログラムに従って実行されるものである。   Next, the procedure for extracting the heart existing area and the procedure for forming the VR image of the entire heart by the heart existing area extracting apparatus 1 according to the present embodiment will be described with reference mainly to FIGS. The heart presence region extraction procedure described below is executed according to the heart presence region extraction program according to an embodiment of the present invention.

〈1〉被検体胸部の医用画像データ(CT画像データまたはMRI画像データ)を取得する(医用画像データ取得ステップ;図3のステップS1参照)。本実施形態では、必要な医用画像データが、予め上記医用画像データ記憶手段11(図2参照)に記憶されていることを想定しているが、CDやDVD等の情報記憶媒体に記録された医用画像データを必要に応じて読み出すようにしてもよい。   <1> Medical image data (CT image data or MRI image data) of the subject's chest is acquired (medical image data acquisition step; see step S1 in FIG. 3). In the present embodiment, it is assumed that necessary medical image data is stored in advance in the medical image data storage unit 11 (see FIG. 2), but is recorded in an information storage medium such as a CD or a DVD. You may make it read medical image data as needed.

〈2〉取得された医用画像データに基づき、該医用画像データにより構築される画像データ空間内において、心臓冠動脈の全体的な走行ラインを特定し、その3次元的な位置情報を求める(走行ライン特定ステップ;図3のステップS2、図5参照)。本実施形態では、前掲の非特許文献1に開示された手法により、冠動脈の芯線(中心線)を走行ラインとして特定する。   <2> Based on the acquired medical image data, in the image data space constructed by the medical image data, the entire running line of the cardiac coronary artery is specified and its three-dimensional position information is obtained (running line Specific step; see step S2 in FIG. 3 and FIG. In the present embodiment, the core line (center line) of the coronary artery is specified as the running line by the method disclosed in the aforementioned Non-Patent Document 1.

具体的には、まず、医用画像データの各データ値(ボクセル値)に基づき、画像データ空間内の局所領域において冠動脈の芯線上に位置すると推定される点(以下「経由点」と称する)を設定する。次に、経由点を含む局所領域におけるヘッセ(Hesse)行列の固有値を算出し、算出された固有値に基づき冠動脈の芯線の主軸方向(芯線の延びる方向)を求め、その主軸方向に新たな経由点を設定する。この手順を繰り返すことにより多数の経由点を順次設定し、設定された経由点同士を滑らかに連結することにより、冠動脈の全体的な芯線L(図5参照)を特定する。   Specifically, first, based on each data value (voxel value) of medical image data, a point estimated to be located on the core line of the coronary artery in a local region in the image data space (hereinafter referred to as “via point”). Set. Next, the eigenvalue of the Hesse matrix in the local region including the via point is calculated, the principal axis direction of the coronary artery core line (the direction in which the core line extends) is obtained based on the calculated eigen value, and a new via point is calculated in the main axis direction. Set. By repeating this procedure, a large number of via points are set in order, and the set via points are smoothly connected to each other, thereby specifying the entire core line L (see FIG. 5) of the coronary artery.

なお、解剖学的に冠動脈は、大動脈起始部の膨大部から分岐する右冠動脈(RCA)と左冠動脈(LCA)とに大別される。右冠動脈は、右房室間溝を通り心臓の右辺縁を下って後室間溝で後下行枝と房室枝とに枝分かれし、それぞれの枝がさらに細かく枝分かれしている。左冠動脈はその根元近傍部から心臓の前側に下る左前下行枝(LAD)と背中側に回り込む左回旋枝(LCX)とに枝分かれし、それぞれの枝がさらに細かく枝分かれしている。上記芯線Lの特定は、冠動脈の各枝の先端部に至るまで詳細に行うことが好ましいが、主要な枝のみについて行うなど、後述の閉曲面の特定に支障がない範囲で適宜省略してもよい。   Anatomically, coronary arteries are broadly divided into right coronary arteries (RCA) and left coronary arteries (LCA) that branch from the enormous part of the aortic root. The right coronary artery passes through the right atrioventricular groove, branches down the right edge of the heart and branches into the posterior descending branch and atrioventricular branch at the interventricular groove, and each branch is further finely branched. The left coronary artery is branched into a left anterior descending branch (LAD) descending to the front side of the heart from the vicinity of the root and a left circumflex branch (LCX) wrapping around the back side, and each branch is further finely branched. The specification of the core line L is preferably performed in detail up to the tip of each branch of the coronary artery, but may be omitted as appropriate within a range that does not hinder the specification of the closed curved surface described later, such as only the main branch. Good.

〈3〉求められた冠動脈の芯線Lの位置情報に基づき、この芯線Lに包絡される閉曲面を求め、これをマスク用閉曲面として設定するマスク用閉曲面設定処理を実行する(マスク用閉曲面設定ステップ;図3のステップS3参照)。   <3> Based on the obtained positional information of the core line L of the coronary artery, a closed curved surface enveloped by the core line L is obtained, and a mask closed curved surface setting process for setting this as a mask closed curved surface is executed (mask closed Curved surface setting step; see step S3 in FIG.

具体的には、まず、芯線L上に複数の制御点Pを設定する(制御点設定ステップ;図4のステップS31、図6参照)。制御点Pの設定は、芯線Lに沿って任意の間隔で適宜行うことが可能であるが、本実施形態では、芯線Lの各部の曲率に応じて、曲率が大きい部位では間隔を狭く曲率が小さい部位では間隔を広げ、平均的には実寸換算で数ミリメートル置きに制御点Pを自動設定する。なお、図6では、概略的に制御点Pを「・」(一部のみに記号「P」を添付)で示しているが、実際には、図示した状態よりも高密度に制御点Pが設定される。   Specifically, first, a plurality of control points P are set on the core line L (control point setting step; see step S31 in FIG. 4 and FIG. 6). The setting of the control point P can be appropriately performed at an arbitrary interval along the core line L. However, according to the present embodiment, according to the curvature of each part of the core line L, the interval is narrow and the curvature is narrow. In small parts, the interval is widened, and on average, control points P are automatically set every several millimeters in terms of actual size. In FIG. 6, the control point P is schematically indicated by “•” (a symbol “P” is attached to a part of the control point), but in reality, the control point P is denser than the illustrated state. Is set.

次に、複数の放射基底関数(Radial Basis Functions)の線形和により任意の関数を近似する手法(以下「RBF手法」と称する)を用いて、上述の複数の制御点Pを通るという条件を満足する閉曲面を最適化し、この最適化された閉曲面をマスク用閉曲面Wとして設定する(閉曲面最適化ステップ;図4のステップS32、図7参照)。なお、図7では、マスク用閉曲面Wの外形線を一点鎖線により簡略化して示している。   Next, a condition that an arbitrary function is approximated by a linear sum of a plurality of radial basis functions (hereinafter referred to as “RBF method”) is satisfied, and the condition that the control points P are passed is satisfied. The closed curved surface to be optimized is optimized, and the optimized closed curved surface is set as the mask closed curved surface W (closed curved surface optimization step; see step S32 in FIG. 4, FIG. 7). In FIG. 7, the outline of the mask closed curved surface W is simplified by a one-dot chain line.

RBF手法は、3次元空間内の任意の点x(xはベクトル(3次元点))の関数s(x)を用いて、s(x)=0の陰関数表現により、任意の曲面を近似表現する手法であり、自由度の高い様々な曲面表現が可能であることや、曲面の局所平滑性を容易に調整することができるといった利点を有している。   The RBF method approximates an arbitrary curved surface by an implicit function expression of s (x) = 0 using a function s (x) of an arbitrary point x (x is a vector (three-dimensional point)) in a three-dimensional space. This is a technique for expressing, and has the advantages that various curved surface expressions with a high degree of freedom are possible and that the local smoothness of the curved surface can be easily adjusted.

RBF手法に用いられる関数s(x)は、下式(1)によって表される。   The function s (x) used for the RBF method is expressed by the following equation (1).

放射基底関数φ(r)としては、thin-plate関数、ガウス関数、multi-quadratic関数、bi-harmonic関数、tri-harmonic関数等を用いることが可能であるが、本実施形態では、放射基底関数φ(r)としてbi-harmonic関数を用いている。この場合、放射基底関数φ(r)は、下式(2)で表され、上記多項式関数p(x)は下式(3)で表される。   As the radial basis function φ (r), a thin-plate function, a Gaussian function, a multi-quadratic function, a bi-harmonic function, a tri-harmonic function, or the like can be used. In this embodiment, the radial basis function is used. A bi-harmonic function is used as φ (r). In this case, the radial basis function φ (r) is expressed by the following equation (2), and the polynomial function p (x) is expressed by the following equation (3).

本実施形態において、上述の複数の制御点Pを通るという条件を満足するマスク用閉曲面W(図7参照)を求めるには、上式(1)における各点xの座標値(x,y,z)として各制御点Pの座標値を代入し、下式(4)および(5)により定義されるベクトルΛおよびeを求める演算処理を行えばよい。   In the present embodiment, in order to obtain the mask closed surface W (see FIG. 7) that satisfies the above-described condition of passing through the plurality of control points P, the coordinate values (x, y) of each point x in the above equation (1) are obtained. , Z), the coordinate value of each control point P is substituted, and arithmetic processing for obtaining vectors Λ and e defined by the following equations (4) and (5) may be performed.

この演算処理は、下式(6)の追加条件の下で、下式(7)の線形方程式を解くことに等しいことが知られている(下記参考文献1参照)。   This calculation process is known to be equivalent to solving the linear equation of the following equation (7) under the additional condition of the following equation (6) (see Reference 1 below).

参考文献1:Yoshitaka Masutani Image Computing and Analysis Laboratory, Department of Radiology, University of Tokyo(UT-RAD/ICAL) “RBF-based Representation of Volumetric Data: Application in Visualization and Segmentation”, MICCAI 2002, LNCS 2489, pp.300-307   Reference 1: Yoshitaka Masutani Image Computing and Analysis Laboratory, Department of Radiology, University of Tokyo (UT-RAD / ICAL) “RBF-based Representation of Volumetric Data: Application in Visualization and Segmentation”, MICCAI 2002, LNCS 2489, pp. 300-307

〈4〉上述のRBF手法による演算処理により求められたマスク用閉曲面Wの内部領域を心臓が存在する領域(以下「心臓存在領域」と称する)として抽出する(領域抽出ステップ;図3のステップS4参照)。   <4> Extract the internal region of the mask closed curved surface W obtained by the arithmetic processing using the RBF method described above as a region where the heart exists (hereinafter referred to as “heart existence region”) (region extraction step; step of FIG. 3) (See S4).

〈5〉抽出された心臓存在領域に対してボリュームレンダリング法を適用し、上記マスク用閉曲面Wの内部領域に対応した心臓全体のVR画像を形成する(VR画像形成ステップ;図3のステップS5参照)。なお、ボリュームレンダリング法とは、3次元医用画像データのボクセル毎に、画像信号値に対応させて色や不透明度を付与して画像化する手法である。   <5> A volume rendering method is applied to the extracted heart existing region to form a VR image of the entire heart corresponding to the inner region of the mask closed curved surface W (VR image forming step; step S5 in FIG. 3) reference). Note that the volume rendering method is a method for imaging each voxel of the three-dimensional medical image data by assigning a color or opacity to the image signal value.

本実施形態では、冠動脈の芯線Lを走行ラインとして用いているため、上記マスク用閉曲面Wは、冠動脈を径方向に2分する位置を通過するものとなる。このため、上述のVR画像形成ステップにおいて形成されるVR画像(以下「心臓全体画像」と称する)では、芯線Lに沿って切断された状態の冠動脈が描出されることとなる。冠動脈の表面部分が描出された画像を形成したい場合には、上述の走行ライン特定ステップにおいて芯線Lを抽出する際に、前掲の非特許文献1に開示された手法に基づき、冠動脈のみが抽出されたVR画像(以下「冠動脈抽出画像」と称する)を形成しておき、この冠動脈抽出画像(図8参照)を、上記心臓全体画像と合成すればよい。あるいは、芯線Lに沿って上記マスク用閉曲面Wの一部を拡張し、上記心臓存在領域内に冠動脈の全体が含まれるように設定することにより、冠動脈の表面部分が描出された画像を形成するようにしてもよい。   In this embodiment, since the core line L of the coronary artery is used as the running line, the mask closed curved surface W passes through a position that bisects the coronary artery in the radial direction. For this reason, in the VR image (hereinafter referred to as “whole heart image”) formed in the VR image forming step described above, the coronary artery cut along the core line L is depicted. When it is desired to form an image in which the surface portion of the coronary artery is depicted, only the coronary artery is extracted based on the method disclosed in the above-mentioned Non-Patent Document 1 when extracting the core line L in the above-described travel line specifying step. A VR image (hereinafter referred to as “coronary artery extracted image”) is formed, and this coronary artery extracted image (see FIG. 8) may be combined with the whole heart image. Alternatively, by expanding a part of the mask closed curved surface W along the core line L and setting so that the entire coronary artery is included in the heart existing region, an image in which the surface portion of the coronary artery is depicted is formed. You may make it do.

以上説明した本発明手法によれば、CT画像データまたはMRI画像データに基づき構築される画像データ空間内において、右心耳および左心耳を含まない心臓の存在領域を自動的に抽出することができ、冠動脈の走行状態を観察するのに適した心臓全体の抽出画像を形成することが可能である。   According to the method of the present invention described above, it is possible to automatically extract the existence region of the heart not including the right atrial appendage and the left atrial appendage in the image data space constructed based on the CT image data or the MRI image data, An extracted image of the entire heart suitable for observing the running state of the coronary artery can be formed.

具体的には、CT画像データを用いた場合、従来手法では、図9(B)に示すように、右心耳32や左心耳33、肺動脈34といった、冠動脈の走行状態を観察する際には邪魔となる組織(以下「観察時不要組織」と称する)が描出されているのに対し、本発明手法によれば、図9(A)に示すように、これらの観察時不要組織が描出されていない心臓全体の抽出画像を形成することができる。   Specifically, when CT image data is used, in the conventional method, as shown in FIG. 9 (B), it is an obstacle to observe the running state of the coronary arteries such as the right atrial appendage 32, the left atrial appendage 33, and the pulmonary artery 34. 9 (hereinafter referred to as “unnecessary tissue at the time of observation”) is drawn, according to the method of the present invention, these unnecessary tissues at the time of observation are drawn as shown in FIG. An extracted image of the whole heart can be formed.

なお、図9(A)は、マスク用閉曲面Wの内部領域に対応した心臓全体画像と、前掲の非特許文献1に開示された手法に基づき形成された冠動脈抽出画像とを合成することにより形成されたものである。図9(A)では、大動脈31の一部が描出されているが、これは、冠動脈抽出画像を形成する際に、大動脈の一部が抽出されていることによる。このことは、次述する図10(A)についても同様である。   In FIG. 9A, the whole heart image corresponding to the internal region of the mask closed curved surface W and the coronary artery extracted image formed based on the technique disclosed in the above-mentioned Non-Patent Document 1 are combined. It is formed. In FIG. 9A, a part of the aorta 31 is depicted. This is because a part of the aorta is extracted when the coronary artery extraction image is formed. The same applies to FIG. 10A described below.

また、MRI画像データを用いた場合、従来手法では、図10(B)に示すように、心臓の周囲に存在する観察時不要組織が多数描出されてしまう可能性が高いのに対し、本発明手法によれば、図10(A)に示すように、これらの観察時不要組織(右心耳、左心耳および肺動脈を含む)が描出されていない心臓全体の抽出画像を形成することができる。   Further, when MRI image data is used, in the conventional method, as shown in FIG. 10B, there is a high possibility that a large number of unnecessary tissues existing around the heart are drawn. According to the technique, as shown in FIG. 10A, an extracted image of the entire heart in which these unnecessary tissues during observation (including the right atrial appendage, the left atrial appendage, and the pulmonary artery) are not drawn can be formed.

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々に態様を変更することが可能である。   As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, A mode can be changed variously.

例えば上記実施形態では、冠動脈の芯線(走行ライン)に包絡されるマスク用閉曲面を求める手法として、上述のRBF手法を用いているが、スプライン関数を用いて曲面を近似する手法など、他の3次元曲面生成手法を用いてマスク用閉曲面を求めるようにしてもよい。   For example, in the above embodiment, the above-described RBF method is used as a method for obtaining the mask closed curved surface enveloped by the core line (running line) of the coronary artery, but other methods such as a method of approximating the curved surface using a spline function are used. A closed curved surface for a mask may be obtained using a three-dimensional curved surface generation method.

また、上記実施形態では、冠動脈の走行ラインとしての芯線を求めるために、前掲の非特許文献1に開示された手法を用いているが、他の手法を用いて、冠動脈の走行ラインを求めるようにしてもよい。   In the above embodiment, the method disclosed in Non-Patent Document 1 described above is used to obtain the core wire as the coronary artery running line. However, other methods are used to obtain the coronary artery running line. It may be.

1 心臓存在領域抽出装置
10 演算処理装置
20 入力装置
30 出力装置
11 医用画像データ記憶手段
12 走行ライン特定手段
13 閉曲面設定手段
14 領域抽出手段
15 画像形成手段
31 大動脈
32 右心耳
33 左心耳
34 肺動脈
131 制御点設定手段
132 閉曲面最適化手段
L 芯線(走行ライン)
P 制御点
W マスク用閉曲面
DESCRIPTION OF SYMBOLS 1 Heart presence area extraction apparatus 10 Arithmetic processing apparatus 20 Input apparatus 30 Output apparatus 11 Medical image data storage means 12 Traveling line specification means 13 Closed surface setting means 14 Area extraction means 15 Image formation means 31 Aorta 32 Right atrial appendage 33 Left atrial appendage 34 Pulmonary artery 131 Control point setting means 132 Closed surface optimization means L Core wire (travel line)
P Control point W Masked closed surface

Claims (4)

医用画像データに基づき構築される空間内において、心臓が存在する領域を抽出する心臓存在領域抽出装置であって、
前記医用画像データに基づき求められた、冠状血管の走行ラインの位置情報に基づき、前記走行ラインに包絡される閉曲面をマスク用閉曲面として設定するマスク用閉曲面設定手段と、
前記マスク用閉曲面の内部領域を前記心臓が存在する領域として抽出する領域抽出手段と、を備えたことを特徴とする心臓存在領域抽出装置。
A heart presence region extraction device that extracts a region where a heart exists in a space constructed based on medical image data,
A closed curved surface setting means for setting a closed curved surface enveloped by the traveling line as a closed curved surface for a mask based on position information of the traveling line of the coronary blood vessel obtained based on the medical image data;
An area extraction unit for extracting an internal area of the closed curved surface for a mask as an area where the heart exists.
前記閉曲面設定手段は、前記走行ラインに沿って複数の制御点を設定する制御点設定手段と、複数の放射基底関数の線形和により任意の関数を近似する手法を用いて、前記複数の制御点を通るという条件を満足する閉曲面を最適化する閉曲面最適化手段とを有してなり、前記閉曲面最適化手段により最適化された閉曲面を前記マスク用閉曲面として設定するように構成されている、ことを特徴とする請求項1に記載の心臓存在領域抽出装置。   The closed curved surface setting means uses a control point setting means for setting a plurality of control points along the travel line and a method of approximating an arbitrary function by a linear sum of a plurality of radial basis functions. A closed surface optimization unit that optimizes a closed surface that satisfies a condition of passing a point, and the closed surface optimized by the closed surface optimization unit is set as the closed surface for a mask The heart presence region extraction device according to claim 1, wherein the heart presence region extraction device is configured. ボリュームレンダリング法を用いて前記マスク用閉曲面の内部領域に対応したボリュームレンダリング画像を形成する画像形成手段を備えている、ことを特徴とする請求項1または2に記載の心臓存在領域抽出装置。   The heart presence region extraction apparatus according to claim 1, further comprising an image forming unit that forms a volume rendering image corresponding to an internal region of the closed curved surface for a mask using a volume rendering method. 医用画像データに基づき構築される空間内において、心臓が存在する領域を抽出する処理を、コンピュータにおいて実行せしめる心臓存在領域抽出プログラムであって、
前記医用画像データに基づき求められた、冠状血管の走行ラインの位置情報に基づき、前記走行ラインに包絡される閉曲面をマスク用閉曲面として設定するマスク用閉曲面設定ステップと、
前記マスク用閉曲面の内部領域を前記心臓が存在する領域として抽出する領域抽出ステップと、を前記コンピュータにおいて実行せしめることを特徴とする心臓存在領域抽出プログラム。
In a space constructed based on medical image data, a heart presence region extraction program for causing a computer to execute processing for extracting a region where a heart exists,
A mask closed surface setting step for setting a closed curved surface enveloped by the travel line as a mask closed curved surface based on position information of the travel line of the coronary blood vessel obtained based on the medical image data;
An area extraction step for extracting an internal area of the closed curved surface for a mask as an area where the heart is present is executed in the computer.
JP2011118097A 2011-05-26 2011-05-26 Apparatus and program for extracting region where heart is present Withdrawn JP2012245106A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011118097A JP2012245106A (en) 2011-05-26 2011-05-26 Apparatus and program for extracting region where heart is present

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011118097A JP2012245106A (en) 2011-05-26 2011-05-26 Apparatus and program for extracting region where heart is present

Publications (1)

Publication Number Publication Date
JP2012245106A true JP2012245106A (en) 2012-12-13

Family

ID=47466145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011118097A Withdrawn JP2012245106A (en) 2011-05-26 2011-05-26 Apparatus and program for extracting region where heart is present

Country Status (1)

Country Link
JP (1) JP2012245106A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016096854A (en) * 2014-11-18 2016-05-30 富士通株式会社 Modeling apparatus, modeling method, and modeling program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016096854A (en) * 2014-11-18 2016-05-30 富士通株式会社 Modeling apparatus, modeling method, and modeling program

Similar Documents

Publication Publication Date Title
CN111493819B (en) System and method for characterizing electrical properties of a heart from medical images and body surface potentials
US7813785B2 (en) Cardiac imaging system and method for planning minimally invasive direct coronary artery bypass surgery
US7565190B2 (en) Cardiac CT system and method for planning atrial fibrillation intervention
JP5953438B2 (en) How to determine blood flow through coronary arteries
US10354758B2 (en) System and method for patient-specific image-based simulation of atrial electrophysiology
JP2019500960A (en) Coronary aneurysm segmentation with cardiac model guide
JP6483270B2 (en) Touchless advanced image processing and visualization
JP5559642B2 (en) Surgery support device, surgery support method, and surgery support program
JP2007144177A (en) Method and apparatus for semi-automatic segmentation technique for low-contrast tubular shaped objects
Tmenova et al. CycleGAN for style transfer in X-ray angiography
US11017531B2 (en) Shell-constrained localization of vasculature
WO2014103238A1 (en) Virtual endoscope image display device and method, and program
Zeng et al. Liver segmentation in magnetic resonance imaging via mean shape fitting with fully convolutional neural networks
Vassilevski et al. Patient-specific anatomical models in human physiology
Glaßer et al. Combined visualization of wall thickness and wall shear stress for the evaluation of aneurysms
JP2014064824A (en) Shortest route searching device, method and program of tubular structure
CN106355586B (en) A kind of extraction method of human chest organ-tissue
JP6066197B2 (en) Surgery support apparatus, method and program
Cedilnik et al. VT scan: towards an efficient pipeline from computed tomography images to ventricular tachycardia ablation
JP2012245106A (en) Apparatus and program for extracting region where heart is present
JP6116833B2 (en) Medical image processing device
Doste et al. A rule-based method to model myocardial fiber orientation for simulating ventricular outflow tract arrhythmias
CN111798468B (en) Image processing method and device, storage medium and electronic terminal
JP5992853B2 (en) Surgery support apparatus, method and program
Garcia et al. Coronary vein extraction in MSCT volumes using minimum cost path and geometrical moments

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140805