JP2014046109A - Medical image processor - Google Patents

Medical image processor Download PDF

Info

Publication number
JP2014046109A
JP2014046109A JP2012193600A JP2012193600A JP2014046109A JP 2014046109 A JP2014046109 A JP 2014046109A JP 2012193600 A JP2012193600 A JP 2012193600A JP 2012193600 A JP2012193600 A JP 2012193600A JP 2014046109 A JP2014046109 A JP 2014046109A
Authority
JP
Japan
Prior art keywords
image
unit
medical image
tubular structure
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012193600A
Other languages
Japanese (ja)
Other versions
JP6116833B2 (en
Inventor
Kazumasa Arakida
和正 荒木田
Tomoji Wakai
智司 若井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2012193600A priority Critical patent/JP6116833B2/en
Publication of JP2014046109A publication Critical patent/JP2014046109A/en
Application granted granted Critical
Publication of JP6116833B2 publication Critical patent/JP6116833B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a medical image processor capable of simply calculating intravascular blood flow information at a high speed.SOLUTION: A medical image processor of an embodiment includes a 2D image generation part, and a calculation part. The 2D image generation part generates a two-dimensional tomographic image of a blood vessel in which a feature of a lesioned part in a blood vessel included in three-dimensional medical image data is reflected, from the three-dimensional medical image data. Then, the calculation part calculates fluid information in the blood vessel by applying calculation hydrodynamics to the two-dimensional image generated by the 2D image generation part.

Description

本発明の実施形態は、医用画像処理装置に関する。   Embodiments described herein relate generally to a medical image processing apparatus.

従来、冠動脈が狭窄して血流が不足することで発症する虚血性心疾患の診断においては、CT(Computed Tomography)アンギオグラフィー(Angiography)や、アンギオグラフィーなどの造影検査が用いられる。しかしながら、これらの造影検査から得られる情報だけでは、経皮冠動脈インターベンション(PCI:Percutaneous Coronary Intervention)を行うか否かを判断することは難しい。PCIは、カテーテルを用いて狭窄した病変部を拡張させることで血流を増加させる治療法であり、拡張させた病変部にステントが留置される場合もある。   Conventionally, CT (Computed Tomography) angiography, angiography, and other contrast examinations are used in the diagnosis of ischemic heart disease that develops due to stenosis of the coronary artery and insufficient blood flow. However, it is difficult to determine whether or not to perform percutaneous coronary intervention (PCI) only by information obtained from these contrast examinations. PCI is a treatment method for increasing blood flow by dilating a stenotic lesion using a catheter, and a stent may be placed in the dilated lesion.

PCIを行うか否かの判断に用いられる方法としては、例えば、冠動脈血流予備量比(FFR:Fractional Flow Reserve)を測定する方法が知られている。FFRは、病変部位を挟んだ大動脈側の冠動脈内圧に対する末梢側の冠動脈内圧の比率である。例えば、FFRが「0.80以下」となった場合に、PCIを行うと判断される。ここで、FFRの測定には、プレッシャーワイヤーを用いた侵襲的な処置が必要となるため、手間がかかる。   As a method used for determining whether or not to perform PCI, for example, a method of measuring a fractional flow reserve (FFR) is known. FFR is the ratio of the coronary artery pressure on the peripheral side to the coronary artery pressure on the aorta side across the lesion site. For example, when the FFR is “0.80 or less”, it is determined to perform PCI. Here, since the measurement of FFR requires an invasive treatment using a pressure wire, it takes time and effort.

そこで、近年、冠動脈の3Dデータを用いて、計算流体力学的な手法によりFFRを算出する方法が提案されている。しかしながら、上述した従来技術においては、長時間の演算が必要なため、実用的な手法ではなかった。   Therefore, in recent years, a method for calculating FFR by a computational fluid dynamic technique using 3D data of coronary arteries has been proposed. However, the above-described prior art is not a practical method because it requires a long time calculation.

特開2012−081254号公報JP 2012-081254 A

本発明が解決しようとする課題は、簡便かつ高速に血管内血流情報を算出することを可能にする医用画像処理装置を提供することである。   The problem to be solved by the present invention is to provide a medical image processing apparatus that makes it possible to calculate blood flow information in a blood vessel simply and at high speed.

実施形態の医用画像処理装置は、生成手段と、算出手段とを備える。生成手段は、3次元の医用画像データに含まれる管状構造物内の病変部位の特徴が反映された当該管状構造物の2次元の断面画像を前記3次元の医用画像データから生成する。算出手段は、前記生成手段によって生成された2次元画像に対して計算流体力学を適用することで、前記管状構造物内の流体情報を算出する。   The medical image processing apparatus according to the embodiment includes a generation unit and a calculation unit. The generation unit generates a two-dimensional cross-sectional image of the tubular structure reflecting the feature of a lesion site in the tubular structure included in the three-dimensional medical image data from the three-dimensional medical image data. The calculation means calculates fluid information in the tubular structure by applying computational fluid dynamics to the two-dimensional image generated by the generation means.

図1は、第1の実施形態に係る医用画像処理装置の構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a configuration of a medical image processing apparatus according to the first embodiment. 図2は、第1の実施形態に係る2D画像生成部によって抽出されるバルサルバ洞の一例を示す図である。FIG. 2 is a diagram illustrating an example of Valsalva Cave extracted by the 2D image generation unit according to the first embodiment. 図3Aは、第1の実施形態に係る2D画像生成部によるバルサルバ洞の芯線抽出の一例を模式的に示す図である。FIG. 3A is a diagram schematically illustrating an example of the core line extraction of the Valsalva sinus by the 2D image generation unit according to the first embodiment. 図3Bは、第1の実施形態に係る2D画像生成部によるバルサルバ洞の特徴点抽出の一例を模式的に示す図である。FIG. 3B is a diagram schematically illustrating an example of Valsalva sin feature point extraction by the 2D image generation unit according to the first embodiment. 図3Cは、第1の実施形態に係る2D画像生成部によるバルサルバ洞の表示断面決定の一例を模式的に示す図である。FIG. 3C is a diagram schematically illustrating an example of display cross section determination of Valsalva cavities by the 2D image generation unit according to the first embodiment. 図3Dは、第1の実施形態に係る2D画像生成部による狭窄部位抽出の一例を模式的に示す図である。FIG. 3D is a diagram schematically illustrating an example of stenosis site extraction by the 2D image generation unit according to the first embodiment. 図3Eは、第1の実施形態に係る2D画像生成部によるCPR画像の生成の一例を模式的に示す図である。FIG. 3E is a diagram schematically illustrating an example of generation of a CPR image by the 2D image generation unit according to the first embodiment. 図3Fは、第1の実施形態に係る2D画像生成部によるCPR画像の生成の一例を模式的に示す図である。FIG. 3F is a diagram schematically illustrating an example of CPR image generation by the 2D image generation unit according to the first embodiment. 図4は、第1の実施形態に係る2D画像生成部によって生成されたCPR画像の一例を示す図である。FIG. 4 is a diagram illustrating an example of the CPR image generated by the 2D image generation unit according to the first embodiment. 図5Aは、第1の実施形態に係る算出部によるCPR画像上の血管壁抽出の一例を示す図である。FIG. 5A is a diagram illustrating an example of blood vessel wall extraction on the CPR image by the calculation unit according to the first embodiment. 図5Bは、第1の実施形態係る算出部による血流情報の算出の一例を示す図である。FIG. 5B is a diagram illustrating an example of calculation of blood flow information by the calculation unit according to the first embodiment. 図6Aは、第1の実施形態に係る表示制御部の制御によって表示される表示画面の第1の例を示す図である。FIG. 6A is a diagram illustrating a first example of a display screen displayed by the control of the display control unit according to the first embodiment. 図6Bは、第1の実施形態に係る表示制御部の制御によって表示される表示画面の第2の例を示す図である。FIG. 6B is a diagram illustrating a second example of the display screen displayed by the control of the display control unit according to the first embodiment. 図6Cは、第1の実施形態に係る表示制御部の制御によって表示される表示画面の第3の例を示す図である。FIG. 6C is a diagram illustrating a third example of the display screen displayed by the control of the display control unit according to the first embodiment. 図7は、第1の実施形態に係る医用画像処理装置による処理の手順を示すフローチャートである。FIG. 7 is a flowchart illustrating a processing procedure performed by the medical image processing apparatus according to the first embodiment.

(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理装置100の構成の一例を示す図である。図1に示すように、医用画像処理装置100は、入力部110と、表示部120と、通信部130と、記憶部140と、制御部150とを有する。例えば、医用画像処理装置100は、ワークステーションや、任意のパーソナルコンピュータなどであり、図示しない医用画像診断装置や、画像保管装置などとネットワークを介して接続される。医用画像診断装置は、例えば、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置などである。また、医用画像診断装置は、3次元の医用画像データ(例えば、造影された心臓の3次元画像データなど)を生成可能である。画像保管装置は、医用画像を保管するデータベースである。具体的には、画像保管装置は、医用画像診断装置から送信された3次元の医用画像データを記憶部に格納し、これを保管する。
(First embodiment)
FIG. 1 is a diagram illustrating an example of a configuration of a medical image processing apparatus 100 according to the first embodiment. As illustrated in FIG. 1, the medical image processing apparatus 100 includes an input unit 110, a display unit 120, a communication unit 130, a storage unit 140, and a control unit 150. For example, the medical image processing apparatus 100 is a workstation, an arbitrary personal computer, or the like, and is connected to a medical image diagnosis apparatus or an image storage apparatus (not shown) via a network. Examples of the medical image diagnostic apparatus include an X-ray diagnostic apparatus, an X-ray CT (Computed Tomography) apparatus, and an MRI (Magnetic Resonance Imaging) apparatus. The medical image diagnostic apparatus can generate three-dimensional medical image data (for example, three-dimensional image data of a contrasted heart). The image storage device is a database that stores medical images. Specifically, the image storage device stores the three-dimensional medical image data transmitted from the medical image diagnostic device in the storage unit and stores it.

上述した医用画像処理装置100と、医用画像診断装置と、画像保管装置とは、例えば、病院内に設置された院内LAN(Local Area Network)により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、PACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。   The medical image processing apparatus 100, the medical image diagnostic apparatus, and the image storage apparatus described above can communicate with each other directly or indirectly by, for example, a hospital LAN (Local Area Network) installed in the hospital. It is in a state. For example, when PACS (Picture Archiving and Communication System) is introduced, each device transmits and receives medical images and the like according to DICOM (Digital Imaging and Communications in Medicine) standards.

入力部110は、マウス、キーボード、トラックボール等であり、医用画像処理装置100に対する各種操作の入力を操作者から受け付ける。具体的には、入力部110は、管状構造物(例えば、血管など)内の流体の流れ(例えば、血流など)を解析する対象となる処理対象の3次元の医用画像データを画像保管装置から取得するための情報の入力などを受け付ける。例えば、入力部110は、虚血性心疾患の患者の心臓を撮影したCT画像を取得するための入力を受け付ける。また、入力部110は、後述する制御部150によって抽出される管状構造物の芯線を編集するための入力操作を受付ける。   The input unit 110 is a mouse, a keyboard, a trackball, or the like, and receives input of various operations on the medical image processing apparatus 100 from an operator. Specifically, the input unit 110 stores, as an image storage device, three-dimensional medical image data to be processed that is a target for analyzing a fluid flow (for example, blood flow) in a tubular structure (for example, a blood vessel). Accepts input of information to obtain from For example, the input unit 110 receives an input for acquiring a CT image obtained by photographing the heart of a patient with ischemic heart disease. The input unit 110 also accepts an input operation for editing the core wire of the tubular structure extracted by the control unit 150 described later.

表示部120は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、表示部120は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、後述する制御部150による処理によって生成された2D画像等を表示する。なお、制御部150によって生成される2次元画像については、後述する。通信部130は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。   The display unit 120 is a liquid crystal panel or the like as a stereoscopic display monitor, and displays various types of information. Specifically, the display unit 120 displays a GUI (Graphical User Interface) for receiving various operations from the operator, a 2D image generated by processing by the control unit 150 described later, and the like. The two-dimensional image generated by the control unit 150 will be described later. The communication unit 130 is a NIC (Network Interface Card) or the like, and performs communication with other devices.

記憶部140は、図1に示すように、画像データ記憶部141と、2D画像記憶部142と、判定条件記憶部143とを有する。例えば、記憶部140は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。画像データ記憶部141は、通信部130を介して画像保管装置から取得した3次元の医用画像データを記憶する。2D画像記憶部142は、後述する制御部150の処理中の画像データや、処理によって生成された2D画像群等を記憶する。   As illustrated in FIG. 1, the storage unit 140 includes an image data storage unit 141, a 2D image storage unit 142, and a determination condition storage unit 143. For example, the storage unit 140 is a hard disk, a semiconductor memory element, or the like, and stores various types of information. The image data storage unit 141 stores three-dimensional medical image data acquired from the image storage device via the communication unit 130. The 2D image storage unit 142 stores image data being processed by the control unit 150 to be described later, a 2D image group generated by the processing, and the like.

判定条件記憶部143は、後述する制御部150による判定処理に用いられる条件を記憶する。具体的には、判定条件記憶部143は、管状構造物内の病変部位の治療の要否を判定するための条件を記憶する。例えば、判定条件記憶部143は、冠動脈に対してPCIを行うか否かを判定するための条件を記憶する。一例を挙げると、判定条件記憶部143は、「FFR:0.80以下」の場合に「PCI」を行う必要があるとする判定条件を記憶する。   The determination condition storage unit 143 stores conditions used for determination processing by the control unit 150 described later. Specifically, the determination condition storage unit 143 stores a condition for determining whether or not a lesion site in the tubular structure needs to be treated. For example, the determination condition storage unit 143 stores a condition for determining whether or not to perform PCI on the coronary artery. For example, the determination condition storage unit 143 stores a determination condition that “PCI” needs to be performed when “FFR: 0.80 or less”.

制御部150は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、医用画像処理装置100の全体制御を行なう。   The control unit 150 is, for example, an electronic circuit such as a CPU (Central Processing Unit) or MPU (Micro Processing Unit), an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array), and medical image processing Overall control of the apparatus 100 is performed.

また、制御部150は、図1に示すように、例えば、画像取得部151と、2D画像生成部152と、算出部153と、表示制御部154とを有する。そして、制御部150は、3次元の医用画像データに含まれる管状構造物内の流体の流れに関する各種情報を算出する。以下、管状構造物として冠動脈を一例に挙げ、冠動脈内の血流情報を算出する場合について説明する。   Further, as illustrated in FIG. 1, the control unit 150 includes, for example, an image acquisition unit 151, a 2D image generation unit 152, a calculation unit 153, and a display control unit 154. And the control part 150 calculates the various information regarding the flow of the fluid in the tubular structure contained in three-dimensional medical image data. Hereinafter, a case where the coronary artery is taken as an example of the tubular structure and blood flow information in the coronary artery is calculated will be described.

画像取得部151は、通信部130を介して、図示しない画像保管装置から3次元の医用画像データを取得して、画像データ記憶部141に格納する。例えば、画像取得部151は、入力部110を介して操作者から入力された情報に対応する3次元の医用画像データを、通信部130を介して画像保管装置から取得する。例えば、画像取得部151は、X線CT装置によって収集された心臓の3次元画像データを取得して、画像データ記憶部141に格納する。   The image acquisition unit 151 acquires three-dimensional medical image data from an image storage device (not shown) via the communication unit 130 and stores it in the image data storage unit 141. For example, the image acquisition unit 151 acquires three-dimensional medical image data corresponding to information input from the operator via the input unit 110 from the image storage device via the communication unit 130. For example, the image acquisition unit 151 acquires the three-dimensional image data of the heart collected by the X-ray CT apparatus and stores it in the image data storage unit 141.

2D画像生成部152は、3次元の医用画像データに含まれる管状構造物内の病変部位の特徴が反映された当該管状構造物の2次元の断面画像を前記3次元の医用画像データから生成する。具体的には、2D画像生成部152は、管状構造物の芯線を抽出し、抽出した芯線に沿って管状構造物を展開したCPR(Curved Multi Planer Reconstruction)画像を生成する。より具体的には、2D画像生成部152は、管状構造物の内腔を抽出し、抽出した内腔の狭窄率(例えば、内径など)が最小又は最大となるように、前記CPR画像を生成する。まず、2D画像生成部152は、入力部110を介して操作者から指定された3次元の医用画像データを画像データ記憶部140から読み出し、読み出した3次元の医用画像データに含まれる2D画像を生成する対象を抽出する。   The 2D image generation unit 152 generates a two-dimensional cross-sectional image of the tubular structure reflecting the feature of a lesion site in the tubular structure included in the three-dimensional medical image data from the three-dimensional medical image data. . Specifically, the 2D image generation unit 152 extracts a core line of the tubular structure, and generates a CPR (Curved Multi Planer Reconstruction) image in which the tubular structure is developed along the extracted core line. More specifically, the 2D image generation unit 152 extracts the lumen of the tubular structure, and generates the CPR image so that the stenosis rate (for example, inner diameter) of the extracted lumen is minimized or maximized. To do. First, the 2D image generation unit 152 reads out the 3D medical image data designated by the operator via the input unit 110 from the image data storage unit 140, and the 2D image included in the read out 3D medical image data. Extract the objects to be generated.

例えば、2D画像生成部152は、造影された心臓の3次元画像データを画像データ記憶部141から読み出し、読み出した3次元画像データから心臓領域を抽出する。一例を挙げると、2D画像生成部152は、3次元画像データのボクセルごとのCT値や、MRI信号強度などを用いた領域拡張法や、人体アトラス(Atlas)などに基づいて、3次元画像データに含まれる心臓領域を抽出する。なお、人体アトラスとは、臓器の立体構造や機能が集約されたデータベースである。また、3次元画像データから心臓領域を抽出する手法は、上記した手法に限定されるものではなく、他の既存技術を適用可能である。   For example, the 2D image generation unit 152 reads the contrasted three-dimensional image data of the heart from the image data storage unit 141, and extracts a heart region from the read three-dimensional image data. For example, the 2D image generation unit 152 generates 3D image data based on a CT value for each voxel of 3D image data, an area expansion method using MRI signal intensity, a human body atlas, or the like. The heart region included in is extracted. The human atlas is a database in which three-dimensional structures and functions of organs are aggregated. Further, the method for extracting the heart region from the three-dimensional image data is not limited to the method described above, and other existing techniques can be applied.

そして、2D画像生成部152は、抽出した心臓領域から大動脈洞(バルサルバ洞)を抽出する。図2は、第1の実施形態に係る2D画像生成部152によって抽出されるバルサルバ洞の一例を示す図である。図2に示すように、心臓領域から冠動脈20を含むバルサルバ洞10を抽出する。なお、図2においては、1本の冠動脈のみを示しているが、実際には、2D画像生成部152は、左前下行枝と左回旋枝とを含む左冠動脈と、右冠動脈とをそれぞれ抽出する。また、冠動脈を含むバルサルバ洞10は、人体アトラスを用いた手法などにより抽出される。   Then, the 2D image generation unit 152 extracts an aortic sinus (valsalva sinus) from the extracted heart region. FIG. 2 is a diagram illustrating an example of Valsalva cavities extracted by the 2D image generation unit 152 according to the first embodiment. As shown in FIG. 2, the Valsalva sinus 10 including the coronary artery 20 is extracted from the heart region. Although only one coronary artery is shown in FIG. 2, in practice, the 2D image generation unit 152 extracts the left coronary artery including the left anterior descending branch and the left circumflex branch, and the right coronary artery, respectively. . The Valsalva sinus 10 including the coronary artery is extracted by a technique using a human body atlas.

そして、2D画像生成部152は、抽出したバルサルバ洞に対して内部領域を細線化する方法などを用いることで、バルサルバ洞の芯線を抽出する。図3Aは、第1の実施形態に係る2D画像生成部152によるバルサルバ洞の芯線抽出の一例を模式的に示す図である。例えば、2D画像生成部152は、図3Aに示すように、抽出したバルサルバ洞10の芯線30を抽出する。   Then, the 2D image generation unit 152 extracts the core line of the Valsalva sinus by using a method of thinning the inner region with respect to the extracted Valsalva sinus. FIG. 3A is a diagram schematically illustrating an example of the core line extraction of Valsalva sin by the 2D image generation unit 152 according to the first embodiment. For example, as illustrated in FIG. 3A, the 2D image generation unit 152 extracts the extracted core wire 30 of the Valsalva sinus 10.

その後、2D画像生成部152は、バルサルバ洞の特徴点を抽出する。図3Bは、第1の実施形態に係る2D画像生成部152によるバルサルバ洞の特徴点抽出の一例を模式的に示す図である。例えば、2D画像生成部152は、図3Bに示すように、抽出した芯線とバルサルバ洞の上端部(又は、バルサルバ洞を抽出した画像の上端部)との交点41と、芯線とバルサルバ洞の下端部(又は、バルサルバ洞を抽出した画像の下端部)との交点42と、冠動脈20の起始部43とを抽出する。なお、図3Bにおいては、1つの起始部43を抽出する図を示しているが、実際には、左冠動脈及び左冠動脈のそれぞれの起始部が抽出される。   Thereafter, the 2D image generation unit 152 extracts feature points of Valsalva Cave. FIG. 3B is a diagram schematically illustrating an example of Valsalva sin feature point extraction by the 2D image generation unit 152 according to the first embodiment. For example, as illustrated in FIG. 3B, the 2D image generation unit 152 includes the intersection 41 between the extracted core line and the upper end portion of the Valsalva sinus (or the upper end part of the image from which the Valsalva sinus is extracted), and the lower end of the core line and the Valsalva sinus. The intersection 42 with the part (or the lower end of the image from which the Valsalva sinus is extracted) and the starting part 43 of the coronary artery 20 are extracted. In FIG. 3B, a drawing of extracting one starting portion 43 is shown, but actually the starting portions of the left coronary artery and the left coronary artery are extracted.

そして、2D画像生成部152は、抽出したバルサルバ洞の特徴点に基づいて、バルサルバ洞の表示断面を決定する。図3Cは、第1の実施形態に係る2D画像生成部152によるバルサルバ洞の表示断面決定の一例を模式的に示す図である。例えば、2D画像生成部152は、図3Cに示すように、交点41、交点42及び起始部43によって定義される平面50をバルサルバ洞10の表示断面として決定する。すなわち、2D画像生成部152は、図3Cに示すように、交点41、交点42及び起始部43によって形成される平面に対して直交する平面50をバルサルバ洞10の表示断面として決定する。なお、上述したバルサルバ洞の表示断面は、左冠動脈及び右冠動脈のそれぞれについて決定される。   Then, the 2D image generation unit 152 determines a display cross section of the Valsalva sinus based on the extracted feature points of the Valsalva sinus. FIG. 3C is a diagram schematically illustrating an example of display cross section determination of Valsalva sin by the 2D image generation unit 152 according to the first embodiment. For example, as illustrated in FIG. 3C, the 2D image generation unit 152 determines the plane 50 defined by the intersection point 41, the intersection point 42, and the starting portion 43 as the display cross section of the Valsalva sinus 10. That is, as illustrated in FIG. 3C, the 2D image generation unit 152 determines a plane 50 that is orthogonal to the plane formed by the intersection 41, the intersection 42, and the starter 43 as the display cross section of the Valsalva sinus 10. Note that the above-described display cross section of the Valsalva sinus is determined for each of the left coronary artery and the right coronary artery.

そして、2D画像生成部152は、抽出した冠動脈20の起始部43に基づいて、冠動脈20の芯線を抽出して、抽出した芯線に基づいて、冠動脈の内腔及び外壁の輪郭線を抽出する。例えば、2D画像生成部152は、ベッセルトラッキング法(例:Onno Wink, Wiro J.Niessen, “Fast Delineation and Visualization of Vessel in 3-D Angiographic Images”, IEEE Trans.Med.Imag.Vol.19, No.4, 2000参照)、或いは、管腔臓器の内部領域を細線化する方法(例:G. D. Rubin, D. S. Paik, P. C. Johnston, S. Napel, “Measurement of the Aorta and Its Branches with Helical CT,” Radiology, Vol.206, No.3, pp.823-9, Mar., 1998.参照)などを用いて冠動脈の芯線を抽出する。   Then, the 2D image generation unit 152 extracts the core line of the coronary artery 20 based on the extracted start part 43 of the coronary artery 20, and extracts the contour lines of the lumen and the outer wall of the coronary artery based on the extracted core line. . For example, the 2D image generation unit 152 is configured to use a Bessel tracking method (eg, Onno Wink, Wiro J. Niessen, “Fast Delineation and Visualization of Vessel in 3-D Angiographic Images”, IEEE Trans. Med. Imag. Vol. 19, No. .4, 2000) or methods of thinning the internal area of a luminal organ (eg GD Rubin, DS Paik, PC Johnston, S. Napel, “Measurement of the Aorta and Its Branches with Helical CT,” Radiology , Vol.206, No.3, pp.823-9, Mar., 1998.) and the like are extracted.

その後、2D画像生成部152は、例えば、抽出した芯線及び冠動脈の内腔及び外壁の輪郭線を用いて、冠動脈の狭窄部位を抽出する。図3Dは、第1の実施形態に係る2D画像生成部152による狭窄部位抽出の一例を模式的に示す図である。例えば、2D画像生成部152は、図3Dに示すように、冠動脈の芯線31を抽出し、抽出した芯線31に基づいて冠動脈20の内腔及び外壁の輪郭線を抽出する。そして、2D画像生成部152は、抽出した芯線及び冠動脈20の内腔及び外壁の輪郭線を用いて狭窄部位60を抽出する。   Thereafter, the 2D image generation unit 152 extracts a stenosis portion of the coronary artery using, for example, the extracted core line and the contour of the lumen and outer wall of the coronary artery. FIG. 3D is a diagram schematically illustrating an example of stenosis site extraction by the 2D image generation unit 152 according to the first embodiment. For example, as illustrated in FIG. 3D, the 2D image generation unit 152 extracts the core line 31 of the coronary artery and extracts contour lines of the lumen and the outer wall of the coronary artery 20 based on the extracted core line 31. Then, the 2D image generation unit 152 extracts the stenosis region 60 using the extracted core line and the contour lines of the lumen and the outer wall of the coronary artery 20.

一例を挙げると、2D画像生成部152は、芯線から内腔の輪郭線までの第1の距離と、芯線から外壁までの第2の距離とを、芯線に沿った任意の位置ごとに算出する。そして、2D画像生成部152は、位置ごとに算出した第2の距離に対する第1の距離の比率を算出する。そして、2D画像生成部152は、算出した比率が所定の閾値よりも低い位置を狭窄部位として決定する。   For example, the 2D image generation unit 152 calculates, for each arbitrary position along the core line, a first distance from the core line to the contour line of the lumen and a second distance from the core line to the outer wall. . Then, the 2D image generation unit 152 calculates a ratio of the first distance to the second distance calculated for each position. Then, the 2D image generation unit 152 determines a position where the calculated ratio is lower than a predetermined threshold as a stenosis site.

そして、2D画像生成部152は、抽出した狭窄部位が最小径となる方向で観察することが可能なCPR画像を生成する。ここで、2D画像生成部152は、冠動脈において狭窄部位以外の領域についても最小径となる方向で観察することが可能なCPR画像を生成する。図3E及び図3Fは、第1の実施形態に係る2D画像生成部152によるCPR画像の生成の一例を模式的に示す図である。なお、図3Fは、図3Eに示す冠動脈の短手方向の断面図を示す。   Then, the 2D image generation unit 152 generates a CPR image that can be observed in a direction in which the extracted stenosis portion has a minimum diameter. Here, the 2D image generation unit 152 generates a CPR image that can be observed in a direction in which the region other than the stenosis region in the coronary artery has a minimum diameter. 3E and 3F are diagrams schematically illustrating an example of generation of a CPR image by the 2D image generation unit 152 according to the first embodiment. 3F shows a cross-sectional view of the coronary artery shown in FIG. 3E in the short direction.

例えば、2D画像生成部152は、図3Eに示すように、冠動脈20の芯線31に沿った平面51で冠動脈を切断した2次元の断面画像を生成する。ここで、2D画像生成部152は、図3Fに示すように、冠動脈の内腔の狭窄率が最小となる方向で冠動脈を切断する。すなわち、2D画像生成部152は、図3Fに示すように、冠動脈20の内腔の狭窄率52が最も短くなるように、芯線31を通る平面51を合わせて断面画像を生成する。そして、2D画像生成部152は、芯線31に沿って内腔の狭窄率が最も短くなる断面画像を順次生成して、生成した断面画像を連結したCPR画像を生成する。   For example, the 2D image generation unit 152 generates a two-dimensional cross-sectional image obtained by cutting the coronary artery along the plane 51 along the core line 31 of the coronary artery 20 as illustrated in FIG. 3E. Here, as illustrated in FIG. 3F, the 2D image generation unit 152 cuts the coronary artery in a direction in which the stenosis rate of the lumen of the coronary artery is minimized. That is, as shown in FIG. 3F, the 2D image generation unit 152 generates a cross-sectional image by combining the planes 51 passing through the core wire 31 so that the stenosis rate 52 of the lumen of the coronary artery 20 is the shortest. Then, the 2D image generation unit 152 sequentially generates cross-sectional images in which the stenosis rate of the lumen is the shortest along the core line 31, and generates a CPR image obtained by connecting the generated cross-sectional images.

図4は、第1の実施形態に係る2D画像生成部152によって生成されたCPR画像の一例を示す図である。例えば、2D画像生成部152は、図4に示すように、バルサルバ洞10の表示断面と、冠動脈20において芯線31に沿って内腔の狭窄率が最も短くなる複数の断面画像とを連結したCPR画像を生成する。なお、上述した例では、内腔の狭窄率が最小となる断面を用いる場合について説明したが、2D画像生成部152は、内腔の狭窄率が最大となる断面の断面画像を用いてCPR画像を生成することも可能である。   FIG. 4 is a diagram illustrating an example of the CPR image generated by the 2D image generation unit 152 according to the first embodiment. For example, as illustrated in FIG. 4, the 2D image generation unit 152 connects the display cross section of the Valsalva sinus 10 and a plurality of cross section images in which the stenosis rate of the lumen is the shortest along the core line 31 in the coronary artery 20. Generate an image. In the above-described example, the case where a cross section with the smallest stenosis rate of the lumen is used has been described. However, the 2D image generation unit 152 uses the cross-sectional image of the cross section with the maximum stenosis rate of the lumen to obtain a CPR image. Can also be generated.

また、2D画像生成部152は、管状構造物の短手方向の断面を示すクロスカット画像及び前記CPR画像を伸長させたSPR(Stretched CPR)画像を生成することも可能である。すなわち、2D画像生成部152は、例えば、図3Fに示すような冠動脈の短手方向の断面画像や、図4に示すCPR画像を伸長させたSPR画像を生成する。なお、上述した2次元画像(CPR画像、クロスカット画像、SPR画像など)は、左冠動脈及び右冠動脈について、それぞれ生成される。   The 2D image generation unit 152 can also generate a cross-cut image showing a cross-section in the short direction of the tubular structure and an SPR (Stretched CPR) image obtained by expanding the CPR image. That is, the 2D image generation unit 152 generates, for example, a cross-sectional image of the coronary artery as shown in FIG. 3F or an SPR image obtained by expanding the CPR image shown in FIG. Note that the above-described two-dimensional images (CPR image, crosscut image, SPR image, etc.) are generated for the left coronary artery and the right coronary artery, respectively.

図1に戻って、算出部153は、2D画像生成部152によって生成された2次元画像に対して計算流体力学を適用することで、管状構造物内の流体情報を算出する。具体的には、算出部153は、流体情報として、管状構造物内の所定の位置ごとに少なくとも流体の圧力、流速及びせん断応力を含むパラメータを算出する。例えば、算出部153は、図4に示すCPR画像の冠動脈の血流情報を算出する場合、まず、2D画像生成部152によって抽出された冠動脈20の内腔及び外壁の輪郭線の情報に基づいて、CPR画像上の冠動脈20の内腔及び外壁の輪郭を抽出する。   Returning to FIG. 1, the calculation unit 153 calculates fluid information in the tubular structure by applying computational fluid dynamics to the two-dimensional image generated by the 2D image generation unit 152. Specifically, the calculation unit 153 calculates, as the fluid information, parameters including at least the fluid pressure, the flow velocity, and the shear stress for each predetermined position in the tubular structure. For example, when the blood flow information of the coronary artery in the CPR image shown in FIG. 4 is calculated, the calculation unit 153 firstly based on the lumen and outer wall contour information of the coronary artery 20 extracted by the 2D image generation unit 152. The contours of the lumen and the outer wall of the coronary artery 20 on the CPR image are extracted.

図5Aは、第1の実施形態に係る算出部153によるCPR画像上の血管壁抽出の一例を示す図である。例えば、算出部153は、図5Aに示すように、CPR画像上の冠動脈20の外壁の輪郭線71と、内腔の輪郭線72を抽出する。そして、算出部153は、抽出した内腔の輪郭線72を境界条件として、計算流体力学シミュレーションを適用する。一例を挙げると、算出部153は、以下の式(1)及び(2)による計算流体力学シミュレーションを実行する。なお、式(1)における「v」は流速を示し、「t」は時間を示し、「ρ」は密度を示し、「P」は圧力を示し、「ν」は動粘性係数を示す。また、「F」は外力項を示す。   FIG. 5A is a diagram illustrating an example of blood vessel wall extraction on the CPR image by the calculation unit 153 according to the first embodiment. For example, as illustrated in FIG. 5A, the calculation unit 153 extracts the contour 71 of the outer wall of the coronary artery 20 and the contour 72 of the lumen on the CPR image. Then, the calculation unit 153 applies a computational fluid dynamics simulation using the extracted contour line 72 of the lumen as a boundary condition. As an example, the calculation unit 153 executes a computational fluid dynamics simulation according to the following equations (1) and (2). In Equation (1), “v” indicates a flow velocity, “t” indicates time, “ρ” indicates density, “P” indicates pressure, and “ν” indicates a kinematic viscosity coefficient. “F” indicates an external force term.

すなわち、算出部153は、式(1)に示すNavier−Stokes方程式と、式(2)に示す連続の式とを連立することで、血流情報を予測する。ここで、算出部153は、式(1)及び式(2)を解く方法として、差分法、或いは、有限要素法などを用いることができる(田中光宏:基礎数値解析−偏微分方程式のシミュレーション技法入門−2006 参照)。   That is, the calculation unit 153 predicts blood flow information by simultaneously combining the Navier-Stokes equation shown in Equation (1) and the continuous equation shown in Equation (2). Here, the calculation unit 153 can use a difference method, a finite element method, or the like as a method for solving the expressions (1) and (2) (Mitsuhiro Tanaka: basic numerical analysis—simulation technique of partial differential equation) See Introductory 2006).

算出部153は、予め設定された初期条件(例えば、大動脈側(バルサルバ洞側)の初期血流速及び内圧、末梢側の初期血流速及び内圧、血液の粘性率など)をもとに、上記した式(1)及び式(2)を用いて、CPR画像上の内腔の輪郭線内の血流情報(圧力、流速及びせん断応力などのパラメータ)を算出する。なお、初期条件は、一般的に用いられる代表値を用いる場合であってもよく、或いは、患者に合わせて測定した実測値を用いる場合であってもよい。   The calculation unit 153 is based on preset initial conditions (for example, the initial blood flow velocity and internal pressure on the aorta side (Val salva sinus side), the initial blood flow velocity and internal pressure on the peripheral side, the viscosity of blood, etc.) Using the above-described equations (1) and (2), blood flow information (parameters such as pressure, flow velocity and shear stress) within the contour line of the lumen on the CPR image is calculated. The initial condition may be a case of using a typical value that is generally used, or may be a case of using an actual measurement value measured in accordance with the patient.

図5Bは、第1の実施形態係る算出部153による血流情報の算出の一例を示す図である。図5Bにおいては、図5Aに示すCPR画像を対象とした血流情報の算出について示す。例えば、算出部153は、図5Bに示すように、冠動脈20の内腔の輪郭線72を境界として、冠動脈20の各位置における圧力、流速及びせん断応力などのパラメータを算出する。一例を挙げると、算出部153は、図5Bの矢印73に示すように、大動脈側(バルサルバ洞10側)の冠動脈におけるパラメータを算出する。そして、算出部153は、冠動脈20の位置を変えて、例えば、図5Bの矢印74に示すように、末梢側の冠動脈におけるパラメータを算出する。なお、図5Bにおいては、2つの位置についてパラメータを算出する場合について示しているが、実際には、算出部153は、冠動脈20の位置を少しずつずらしながら、各位置のパラメータを算出する。   FIG. 5B is a diagram illustrating an example of calculation of blood flow information by the calculation unit 153 according to the first embodiment. FIG. 5B shows calculation of blood flow information for the CPR image shown in FIG. 5A. For example, as illustrated in FIG. 5B, the calculation unit 153 calculates parameters such as pressure, flow velocity, and shear stress at each position of the coronary artery 20 with the contour line 72 of the lumen of the coronary artery 20 as a boundary. For example, the calculation unit 153 calculates a parameter in the coronary artery on the aorta side (Valsalva sinus 10 side) as indicated by an arrow 73 in FIG. 5B. Then, the calculation unit 153 changes the position of the coronary artery 20 and calculates parameters in the peripheral coronary artery, for example, as indicated by an arrow 74 in FIG. 5B. FIG. 5B shows the case where parameters are calculated for two positions, but actually, the calculation unit 153 calculates the parameters for each position while gradually shifting the position of the coronary artery 20.

そして、算出部153は、算出したパラメータを用いて、例えば、FFRなどの診断に用いられる情報を算出する。FFRを算出する場合には、算出部153は、以下に示す式(3)により冠動脈20の各位置におけるFFRを算出する。なお、式(3)における「Pao」とは、大動脈側の冠動脈内圧を示し、「Pdis」とは、末梢側の冠動脈内圧を示す。 And the calculation part 153 calculates the information used for diagnoses, such as FFR, using the calculated parameter. When calculating FFR, the calculation part 153 calculates FFR in each position of the coronary artery 20 by the following formula (3). In Equation (3), “P ao ” indicates the coronary artery internal pressure on the aorta side, and “P dis ” indicates the coronary artery pressure on the peripheral side.

すなわち、算出部153は、大動脈側の冠動脈内圧(例えば、図5Bの矢印73付近の内圧)に対する末梢側の冠動脈内圧(例えば、図5Bの矢印74付近の内圧)の比率を算出する。ここで、FFRを算出する場合、算出部153は、冠動脈において内圧を算出した各位置におけるFFRをそれぞれ算出する。   That is, the calculation unit 153 calculates the ratio of the peripheral coronary artery internal pressure (for example, the internal pressure near the arrow 74 in FIG. 5B) to the coronary internal pressure on the aortic side (for example, the internal pressure near the arrow 73 in FIG. 5B). Here, when calculating the FFR, the calculation unit 153 calculates the FFR at each position where the internal pressure is calculated in the coronary artery.

そして、算出部153は、算出した管状構造物内の流体情報と、予め設定された条件とを比較することで、病変部位の治療の要否を判定する。例えば、算出部153は、算出した冠動脈のFFRを、判定条件記憶部143によって記憶された判定条件と比較することで、PCIを行うか否かを判定する。一例を挙げると、算出部153は、図5Bの矢印74に示す位置のFFRが「0.80」であった場合、冠動脈20に対してPCIを実行することが必要であると判定する。算出部153は、冠動脈20の各位置について、PCIを行うか否かの判定を実行する。また、算出部153は、上述したパラメータ及びFFRなどの算出及び病変部位の治療の要否判定を、左冠動脈及び右冠動脈それぞれについて実行する。   And the calculation part 153 determines the necessity of the treatment of a lesion site | part by comparing the calculated fluid information in the tubular structure, and the preset conditions. For example, the calculation unit 153 compares the calculated FFR of the coronary artery with the determination condition stored in the determination condition storage unit 143 to determine whether to perform PCI. For example, the calculation unit 153 determines that it is necessary to execute PCI on the coronary artery 20 when the FFR at the position indicated by the arrow 74 in FIG. 5B is “0.80”. The calculation unit 153 determines whether to perform PCI for each position of the coronary artery 20. In addition, the calculation unit 153 performs the above-described calculation of parameters, FFR, and the like and determination of necessity of treatment of a lesion site for each of the left coronary artery and the right coronary artery.

図1に戻って、表示制御部154は、パラメータに含まれる前記流体の圧力、流速及びせん断応力のうち、いずれかに対して値に応じた色付けを行い、2次元の断面画像に重畳して前記所定の表示部にて表示させる。図6Aは、第1の実施形態に係る表示制御部154の制御によって表示される表示画面の第1の例を示す図である。なお、図6Aにおいては、FFRについて値に応じた色づけをした場合について示す。   Returning to FIG. 1, the display control unit 154 colors any one of the pressure, flow velocity, and shear stress of the fluid included in the parameter according to the value, and superimposes it on the two-dimensional cross-sectional image. It is displayed on the predetermined display unit. FIG. 6A is a diagram illustrating a first example of a display screen displayed by the control of the display control unit 154 according to the first embodiment. In FIG. 6A, the FFR is colored according to the value.

例えば、表示制御部154は、図6Aに示すように、冠動脈の各位置におけるFFRの値にそれぞれ色を割り当て、CPR画像に重畳させた画像を表示部120に表示させる。なお、FFRの値と色との対応は、操作者又は設計者によって予め設定される。   For example, as shown in FIG. 6A, the display control unit 154 assigns a color to each FFR value at each position of the coronary artery and causes the display unit 120 to display an image superimposed on the CPR image. The correspondence between the FFR value and the color is set in advance by the operator or the designer.

また、表示制御部154は、操作者が入力部110を介して血管の位置を指定した場合に、指定された位置のFFRの値や、PCIの要否などをさらに重畳させて表示する。図6Bは、第1の実施形態に係る表示制御部154の制御によって表示される表示画面の第2の例を示す図である。例えば、図6Bに示すように、操作者によってカーソル80が冠動脈上に合わせられると、表示制御部154は、合わせられた位置のFFRの値「0.80」と、PCIの要否を判定した結果「要」を重畳して表示する。   Further, when the operator designates the position of the blood vessel via the input unit 110, the display control unit 154 further superimposes and displays the FFR value at the designated position, the necessity of PCI, and the like. FIG. 6B is a diagram illustrating a second example of a display screen displayed by the control of the display control unit 154 according to the first embodiment. For example, as shown in FIG. 6B, when the cursor 80 is placed on the coronary artery by the operator, the display control unit 154 determines whether the PCI is necessary and the FFR value “0.80” at the adjusted position. The result “required” is displayed superimposed.

さらに、表示制御部154は、算出部153によって判定された判定結果を表示部120にて表示させる。図6Cは、第1の実施形態に係る表示制御部154の制御によって表示される表示画面の第3の例を示す図である。例えば、表示制御部154は、図6Cに示すように、冠動脈の各血管枝におけるPCIの要否の判定結果のリストを表示部120にて表示させる。すなわち、表示制御部154は、算出部153による右冠動脈、左前下行枝及び左回旋枝のPCIの要否判定の判定結果のリストを表示部120に表示する。   Further, the display control unit 154 causes the display unit 120 to display the determination result determined by the calculation unit 153. FIG. 6C is a diagram illustrating a third example of the display screen displayed by the control of the display control unit 154 according to the first embodiment. For example, as shown in FIG. 6C, the display control unit 154 causes the display unit 120 to display a list of PCI determination necessity results for each vascular branch of the coronary artery. That is, the display control unit 154 displays on the display unit 120 a list of determination results for determining whether the right coronary artery, the left anterior descending branch, and the left circumflex branch are necessary by the calculation unit 153.

そして、表示制御部154は、病変部位の治療が要である管状構造物の2次元の断面画像を、表示部120にて順に表示させる。例えば、表示制御部154は、図6Cに示すリストのうち、PCIの要否判定が「要」であった右冠動脈のCPR画像や、SPR画像、クロスカット画像などを順に表示部120に表示する。ここで、複数の血管において治療が要であった場合には、表示制御部154は、リスクの高い血管から順に表示部120に表示させる。なお、リスクの高低については、例えば、FFRの値の高低で判定される場合であってもよい。   Then, the display control unit 154 causes the display unit 120 to sequentially display a two-dimensional cross-sectional image of the tubular structure that requires treatment of the lesion site. For example, the display control unit 154 displays the CPR image, the SPR image, the crosscut image, and the like of the right coronary artery in which the necessity determination of PCI is “necessary” in the list illustrated in FIG. . Here, when treatment is necessary in a plurality of blood vessels, the display control unit 154 causes the display unit 120 to display the blood vessels in descending order of risk. Note that the risk level may be determined based on, for example, the FFR value.

また、表示制御部154は、算出部153によって血管内の所定の位置ごとにパラメータが算出された場合に、パラメータが算出されるごとに、算出された値に応じた色付けを順次行ない、2次元の断面画像に重畳した動画像を表示部120にて表示させる。例えば、画像取得部151が、医用画像診断装置にて生成された3次元の画像データをリアルタイムで取得して、2D画像生成部152及び算出部153によって画像データに含まれる血管の血流情報を即座に算出する。表示制御部154は、算出された血流情報を色情報に変換して、2Dの断面画像に逐次重畳させ、表示させることができる。   In addition, when the parameter is calculated for each predetermined position in the blood vessel by the calculation unit 153, the display control unit 154 sequentially performs coloring according to the calculated value each time the parameter is calculated. A moving image superimposed on the cross-sectional image is displayed on the display unit 120. For example, the image acquisition unit 151 acquires three-dimensional image data generated by the medical image diagnostic apparatus in real time, and the 2D image generation unit 152 and the calculation unit 153 obtain blood flow information of blood vessels included in the image data. Calculate immediately. The display control unit 154 can convert the calculated blood flow information into color information, sequentially superimpose it on the 2D cross-sectional image, and display it.

図7は、第1の実施形態に係る医用画像処理装置100による処理の手順を示すフローチャートである。なお、図7においては、冠動脈に対する処理の手順について示す。図7に示すように、第1に実施形態に係る医用画像処理装置100においては、2D画像生成部152が、画像データ記憶部141から心臓のCT画像を読み込み(ステップS101)、読み込んだCT画像から心臓領域を抽出する(ステップS102)。   FIG. 7 is a flowchart illustrating a processing procedure performed by the medical image processing apparatus 100 according to the first embodiment. FIG. 7 shows a procedure for processing the coronary artery. As shown in FIG. 7, in the medical image processing apparatus 100 according to the first embodiment, the 2D image generation unit 152 reads a heart CT image from the image data storage unit 141 (step S101), and the read CT image A heart region is extracted from (step S102).

そして、2D画像生成部152は、抽出した心臓領域からバルサルバ洞(大動脈洞)を抽出して(ステップS103)、バルサルバ洞の芯線を抽出する(ステップS104)。その後、2D画像生成部152は、バルサルバ洞の芯線と上端との交点を抽出する(ステップS105)。また、2D画像生成部152は、バルサルバ洞の芯線と下端との交点を抽出する(ステップS106)。そして、2D画像生成部152は、冠動脈の起始部を抽出して(ステップS107)、バルサルバ洞の表示断面を決定する(ステップS108)。   Then, the 2D image generation unit 152 extracts the Valsalva sinus (aortic sinus) from the extracted heart region (Step S103), and extracts the core line of the Valsalva sinus (Step S104). Thereafter, the 2D image generation unit 152 extracts an intersection between the core line of Valsalva sinus and the upper end (step S105). In addition, the 2D image generation unit 152 extracts an intersection between the core line and the lower end of the Valsalva sin (step S106). Then, the 2D image generation unit 152 extracts the origin of the coronary artery (step S107) and determines the display cross section of the Valsalva sinus (step S108).

その後、2D画像生成部152は、冠動脈の芯線を抽出して(ステップS109)、冠動脈の内腔を検出する(ステップS110)。続いて、2D画像生成部152は、冠動脈の狭窄部を検出して(ステップS111)、狭窄部を含めた冠動脈の最小径を抽出する(ステップS112)。その後、2D画像生成部152は、抽出した最小径を通過する冠動脈の断面を決定する(ステップS113)。そして、2D画像生成部152は、決定した冠動脈の断面と、バルサルバ洞の表示断面とをスムーズに連結したCPR画像を生成する(ステップS114)。   Thereafter, the 2D image generation unit 152 extracts the core line of the coronary artery (step S109), and detects the lumen of the coronary artery (step S110). Subsequently, the 2D image generation unit 152 detects the stenosis of the coronary artery (step S111), and extracts the minimum diameter of the coronary artery including the stenosis (step S112). Thereafter, the 2D image generation unit 152 determines a cross section of the coronary artery that passes through the extracted minimum diameter (step S113). Then, the 2D image generation unit 152 generates a CPR image in which the determined cross section of the coronary artery and the display cross section of the Valsalva sinus are smoothly connected (step S114).

その後、算出部153は、2D画像生成部152によって生成されたCPR画像の血管壁の輪郭線を抽出して(ステップS115)、計算流体力学シミュレーションを適用する(ステップS116)。そして、表示制御部154は、シミュレーションの結果を表示部120にて表示して(ステップS117)、処理を終了する。   Thereafter, the calculation unit 153 extracts the contour line of the blood vessel wall of the CPR image generated by the 2D image generation unit 152 (step S115), and applies the computational fluid dynamics simulation (step S116). Then, the display control unit 154 displays the simulation result on the display unit 120 (step S117), and ends the process.

上述したように、第1の実施形態によれば、2D画像生成部152は、3次元の医用画像データに含まれる血管内の病変部位の特徴が反映された血管の2次元の断面画像を3次元の医用画像データから生成する。そして、算出部153は、2D画像生成部152によって生成された2次元画像に対して計算流体力学を適用することで、血管内の流体情報を算出する。従って、第1の実施形態に係る医用画像処理装置100は、簡便かつ高速に血管内血流情報を算出することを可能にする。   As described above, according to the first embodiment, the 2D image generation unit 152 generates a two-dimensional cross-sectional image of a blood vessel that reflects the characteristics of a lesion site in the blood vessel included in the three-dimensional medical image data. Generated from three-dimensional medical image data. Then, the calculation unit 153 calculates fluid information in the blood vessel by applying computational fluid dynamics to the two-dimensional image generated by the 2D image generation unit 152. Therefore, the medical image processing apparatus 100 according to the first embodiment makes it possible to calculate intravascular blood flow information simply and at high speed.

また、第1の実施形態によれば、2D画像生成部152は、血管の芯線を抽出し、抽出した芯線に沿って血管を展開したCPR画像を生成する。従って、第1の実施形態に係る医用画像処理装置100は、計算流体力学を適用する上で、正確な計算結果を算出することを可能にする。   Further, according to the first embodiment, the 2D image generation unit 152 extracts a blood vessel core line, and generates a CPR image in which the blood vessel is expanded along the extracted core line. Therefore, the medical image processing apparatus 100 according to the first embodiment can calculate an accurate calculation result when applying computational fluid dynamics.

また、第1の実施形態によれば、2D画像生成部152は、血管の内腔を抽出し、抽出した内腔の狭窄率が最小又は最大となるように、CPR画像を生成する。従って、第1の実施形態に係る医用画像処理装置100は、狭窄の状態が反映された断面画像を生成することができ、より正確な計算結果を算出することを可能にする。   Further, according to the first embodiment, the 2D image generation unit 152 extracts the lumen of the blood vessel, and generates a CPR image so that the stenosis rate of the extracted lumen is minimized or maximized. Therefore, the medical image processing apparatus 100 according to the first embodiment can generate a cross-sectional image in which the state of stenosis is reflected, and can calculate a more accurate calculation result.

また、第1の実施形態によれば、2D画像生成部152は、2次元の断面画像として、血管の短手方向の断面を示すクロスカット画像及びCPR画像を伸長させたSPR画像を生成する。従って、第1の実施形態に係る医用画像処理装置100は、血管の病変部位の種々の状態に柔軟に対応することを可能にする。   Further, according to the first embodiment, the 2D image generation unit 152 generates a cross cut image indicating a cross section in the short direction of the blood vessel and an SPR image obtained by expanding the CPR image as a two-dimensional cross section image. Therefore, the medical image processing apparatus 100 according to the first embodiment can flexibly cope with various states of the lesion site of the blood vessel.

また、第1の実施形態によれば、算出部153は、流体情報として、血管内の所定の位置ごとに少なくとも血液の圧力、流速及びせん断応力を含むパラメータを算出する。そして、表示制御部154は、パラメータに含まれる血液の圧力、流速及びせん断応力のうち、いずれかに対して値に応じた色付けを行い、2次元の断面画像に重畳して表示部120にて表示させる。従って、第1の実施形態に係る医用画像処理装置100は、観察者に対して、血流状態を感覚的に把握させることができる画像を提供することを可能にする。   Further, according to the first embodiment, the calculation unit 153 calculates, as the fluid information, parameters including at least blood pressure, flow velocity, and shear stress for each predetermined position in the blood vessel. Then, the display control unit 154 colors any one of the blood pressure, the flow velocity, and the shear stress included in the parameter according to the value, and superimposes the two-dimensional cross-sectional image on the display unit 120. Display. Therefore, the medical image processing apparatus 100 according to the first embodiment makes it possible to provide an image that allows the observer to grasp the blood flow state sensuously.

また、第1の実施形態によれば、表示制御部154は、算出部153によって血管内の所定の位置ごとにパラメータが算出された場合に、パラメータが算出されるごとに、算出された値に応じた色付けを順次行ない、2次元の断面画像に重畳した動画像を表示部120にて表示させる。従って、第1の実施形態に係る医用画像処理装置100は、算出した血流情報をリアルタイムで表示することができる。   Further, according to the first embodiment, the display control unit 154 increases the calculated value every time the parameter is calculated when the calculation unit 153 calculates the parameter for each predetermined position in the blood vessel. The corresponding coloring is sequentially performed, and the moving image superimposed on the two-dimensional cross-sectional image is displayed on the display unit 120. Therefore, the medical image processing apparatus 100 according to the first embodiment can display the calculated blood flow information in real time.

また、第1の実施形態によれば、入力部110は、2D画像生成部152によって抽出された芯線に対して、操作者からの編集操作を受付ける。従って、第1の実施形態に係る医用画像処理装置100は、細かい微調整をした芯線に沿ってCPR画像やSPR画像を生成することができ、より正確に病変部位の診断を行うことを可能にする。   Further, according to the first embodiment, the input unit 110 accepts an editing operation from the operator with respect to the core line extracted by the 2D image generation unit 152. Therefore, the medical image processing apparatus 100 according to the first embodiment can generate a CPR image and an SPR image along a finely adjusted core line, and can more accurately diagnose a lesion site. To do.

また、第1の実施形態によれば、算出部153は、算出した血管内の血流情報と、予め設定された条件とを比較することで、病変部位の治療の要否を判定する。そして、表示制御部154は、算出部153によって判定された判定結果を表示部120にて表示させる。従って、第1の実施形態に係る医用画像処理装置100は、診断結果を提供することを可能にする。   Further, according to the first embodiment, the calculation unit 153 determines whether or not a lesion site needs to be treated by comparing the calculated blood flow information in the blood vessel with a preset condition. Then, the display control unit 154 causes the display unit 120 to display the determination result determined by the calculation unit 153. Therefore, the medical image processing apparatus 100 according to the first embodiment makes it possible to provide a diagnosis result.

また、第1の実施形態によれば、算出部153は、血管ごとに病変部位の治療の要否を判定する。そして、表示制御部154は、算出部153によって判定された判定結果に基づいて、病変部位の治療が要である血管の2次元の断面画像を、表示部120にて順に表示させる。従って、第1の実施形態に係る医用画像処理装置100は、医師が所望する画像を自動で表示することを可能にする。   Further, according to the first embodiment, the calculation unit 153 determines whether it is necessary to treat a lesion site for each blood vessel. Then, the display control unit 154 causes the display unit 120 to sequentially display a two-dimensional cross-sectional image of a blood vessel that requires treatment of a lesion site based on the determination result determined by the calculation unit 153. Therefore, the medical image processing apparatus 100 according to the first embodiment can automatically display an image desired by a doctor.

(第2の実施形態)
さて、これまで第1の実施形態について説明したが、上述した第1の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
(Second Embodiment)
Although the first embodiment has been described so far, the present invention may be implemented in various different forms other than the first embodiment described above.

上述した第1の実施形態では、2次元の断面画像としてCPR画像を生成する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、SPR画像や、クロスカット画像を生成する場合であってもよい。かかる場合には、表示制御部154は、SPR画像や、クロスカット画像に対して血流情報の解析結果を重畳して表示することができる。   In the first embodiment described above, the case where a CPR image is generated as a two-dimensional cross-sectional image has been described. However, the embodiment is not limited to this. For example, an SPR image or a crosscut image may be generated. In such a case, the display control unit 154 can display the analysis result of the blood flow information superimposed on the SPR image or the crosscut image.

また、上述した第1の実施形態では、画像取得部151が、画像保管装置又は医用画像診断装置から3次元の画像データを取得する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、医師がフラッシュメモリや外付けハードディスクなどの可搬性の記憶媒体で3次元の画像データを持ち運び、医用画像処理装置100の画像データ記憶部141に格納する場合であってもよい。かかる場合、画像取得部151による3次元の画像データの取得は実行されなくてもよい。   In the first embodiment described above, the case where the image acquisition unit 151 acquires three-dimensional image data from the image storage device or the medical image diagnostic device has been described. However, the embodiment is not limited to this. For example, a doctor carries three-dimensional image data on a portable storage medium such as a flash memory or an external hard disk, and the image data storage unit of the medical image processing apparatus 100 is used. 141 may be stored. In such a case, acquisition of three-dimensional image data by the image acquisition unit 151 may not be executed.

また、上述した第1の実施形態では、医用画像処理装置100について説明したが、実施形態はこれに限定されるものではなく、例えば、図1に示す医用画像処理装置100の記憶部140と制御部150とが医用画像診断装置に組み込まれ、医用画像診断装置にて上述した血流状態の解析が実行される場合であってもよい。   Further, in the first embodiment described above, the medical image processing apparatus 100 has been described. However, the embodiment is not limited to this, and for example, the storage unit 140 and the control of the medical image processing apparatus 100 illustrated in FIG. The unit 150 may be incorporated in the medical image diagnostic apparatus, and the blood flow state analysis described above may be executed by the medical image diagnostic apparatus.

以上述べた少なくともひとつの実施形態の医用画像処理装置によれば、簡便かつ高速に血管内血流情報を算出することが可能となる。   According to the medical image processing apparatus of at least one embodiment described above, intravascular blood flow information can be calculated easily and at high speed.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

100 医用画像処理装置
110 入力部
150 制御部
151 画像取得部
152 2D画像生成部
153 算出部
154 表示制御部
DESCRIPTION OF SYMBOLS 100 Medical image processing apparatus 110 Input part 150 Control part 151 Image acquisition part 152 2D image generation part 153 Calculation part 154 Display control part

Claims (10)

3次元の医用画像データに含まれる管状構造物内の病変部位の特徴が反映された前記管状構造物の2次元の断面画像を前記3次元の医用画像データから生成する生成手段と、
前記生成手段によって生成された2次元画像に対して計算流体力学を適用することで、前記管状構造物内の流体情報を算出する算出手段と、
を備えたことを特徴とする医用画像処理装置。
Generating means for generating, from the three-dimensional medical image data, a two-dimensional cross-sectional image of the tubular structure in which a feature of a lesion site in the tubular structure included in the three-dimensional medical image data is reflected;
Calculating means for calculating fluid information in the tubular structure by applying computational fluid dynamics to the two-dimensional image generated by the generating means;
A medical image processing apparatus comprising:
前記生成手段は、前記管状構造物の芯線を抽出し、抽出した芯線に沿って前記管状構造物を展開したCPR画像を生成することを特徴とする請求項1に記載の医用画像処理装置。   The medical image processing apparatus according to claim 1, wherein the generation unit extracts a core line of the tubular structure and generates a CPR image in which the tubular structure is developed along the extracted core line. 前記生成手段は、前記管状構造物の内腔を抽出し、抽出した内腔の狭窄率が最小又は最大となるように、前記CPR画像を生成することを特徴とする請求項2に記載の医用画像処理装置。   The medical device according to claim 2, wherein the generation unit extracts the lumen of the tubular structure, and generates the CPR image so that the stenosis rate of the extracted lumen is minimized or maximized. Image processing device. 前記生成手段は、前記2次元の断面画像として、前記管状構造物の短手方向の断面を示すクロスカット画像及び前記CPR画像を伸長させたSPR画像を生成することを特徴とする請求項2又は3に記載の医用画像処理装置。   The generation unit generates, as the two-dimensional cross-sectional image, a cross-cut image showing a cross-section in a short direction of the tubular structure and an SPR image obtained by extending the CPR image. The medical image processing apparatus according to 3. 前記生成手段によって生成された前記2次元の断面画像を所定の表示部にて表示させる表示制御手段をさらに備え、
前記算出手段は、前記流体情報として、前記管状構造物内の所定の位置ごとに少なくとも流体の圧力、流速及びせん断応力を含むパラメータを算出し、
前記表示制御手段は、前記パラメータに含まれる前記流体の圧力、流速及びせん断応力のうち、いずれかに対して値に応じた色付けを行い、前記2次元の断面画像に重畳して前記所定の表示部にて表示させることを特徴とする請求項1〜4のいずれか一つに記載の医用画像処理装置。
A display control unit for displaying the two-dimensional cross-sectional image generated by the generation unit on a predetermined display unit;
The calculation means calculates, as the fluid information, parameters including at least a fluid pressure, a flow velocity, and a shear stress for each predetermined position in the tubular structure,
The display control unit performs coloring according to a value for any one of the pressure, flow velocity, and shear stress of the fluid included in the parameter, and superimposes the predetermined display on the two-dimensional cross-sectional image. The medical image processing apparatus according to any one of claims 1 to 4, wherein the medical image processing apparatus is displayed by a unit.
前記表示制御手段は、前記算出手段によって前記管状構造物内の前記所定の位置ごとに前記パラメータが算出された場合に、前記パラメータが算出されるごとに、算出された値に応じた色付けを順次行ない、前記2次元の断面画像に重畳した動画像を前記所定の表示部にて表示させることを特徴とする請求項5に記載の医用画像処理装置。   When the parameter is calculated for each of the predetermined positions in the tubular structure by the calculation unit, the display control unit sequentially applies coloring according to the calculated value each time the parameter is calculated. 6. The medical image processing apparatus according to claim 5, wherein a moving image superimposed on the two-dimensional cross-sectional image is displayed on the predetermined display unit. 前記生成手段によって抽出された芯線に対して、操作者からの編集操作を受付ける入力部をさらに備えたことを特徴とする請求項2〜6のいずれか一つに記載の医用画像処理装置。   The medical image processing apparatus according to claim 2, further comprising an input unit that receives an editing operation from an operator with respect to the core line extracted by the generation unit. 前記算出手段は、前記算出した前記管状構造物内の流体情報と、予め設定された条件とを比較することで、前記病変部位の治療の要否を判定し、
前記表示制御手段は、前記算出手段によって判定された判定結果を前記所定の表示部にて表示させることを特徴とする請求項1〜7のいずれか一つに記載の医用画像処理装置。
The calculation means determines whether or not the lesion site needs to be treated by comparing the calculated fluid information in the tubular structure with a preset condition,
The medical image processing apparatus according to claim 1, wherein the display control unit displays the determination result determined by the calculation unit on the predetermined display unit.
前記算出手段は、前記管状構造物ごとに前記病変部位の治療の要否を判定し、
前記表示制御手段は、前記算出手段によって判定された判定結果に基づいて、前記病変部位の治療が要である管状構造物の前記2次元の断面画像を、前記所定の表示部にて順に表示させることを特徴とする請求項8に記載の医用画像処理装置。
The calculation means determines the necessity of treatment of the lesion site for each tubular structure,
The display control means causes the predetermined display unit to sequentially display the two-dimensional cross-sectional images of the tubular structure requiring treatment of the lesion site based on the determination result determined by the calculation means. The medical image processing apparatus according to claim 8.
前記流体情報は、FFRを含むことを特徴とする請求項1〜9のいずれか一つに記載の医用画像処理装置。   The medical image processing apparatus according to claim 1, wherein the fluid information includes FFR.
JP2012193600A 2012-09-03 2012-09-03 Medical image processing device Active JP6116833B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012193600A JP6116833B2 (en) 2012-09-03 2012-09-03 Medical image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012193600A JP6116833B2 (en) 2012-09-03 2012-09-03 Medical image processing device

Publications (2)

Publication Number Publication Date
JP2014046109A true JP2014046109A (en) 2014-03-17
JP6116833B2 JP6116833B2 (en) 2017-04-19

Family

ID=50606372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012193600A Active JP6116833B2 (en) 2012-09-03 2012-09-03 Medical image processing device

Country Status (1)

Country Link
JP (1) JP6116833B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192346A (en) * 2018-09-18 2018-12-06 キヤノンメディカルシステムズ株式会社 Blood vessel analysis device, blood vessel analysis method and blood vessel analysis program
JP2022500133A (en) * 2018-09-13 2022-01-04 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Calculation of boundary conditions for virtual FFR and iFR calculations based on myocardial staining characteristics
CN114672984A (en) * 2022-03-15 2022-06-28 海澜之家集团股份有限公司 Process compliance dark calculation system, method and equipment based on intelligent calculation coordinate positioning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5532560A (en) * 1978-08-31 1980-03-07 Shaw Robert F Method of inspecting vein of concern that use radioactivity detected from outside of body and its device
JP2006166974A (en) * 2004-12-13 2006-06-29 National Institute Of Advanced Industrial & Technology Blood dynamic characteristic measuring apparatus
JP2007135894A (en) * 2005-11-18 2007-06-07 R Tech:Kk Blood flow analyzing device and simulation method based on homo sapiens blood flow data
JP2010148866A (en) * 2008-11-21 2010-07-08 Toshiba Corp Image processing apparatus and image processing method
JP2011072500A (en) * 2009-09-30 2011-04-14 Fujifilm Corp Diagnosis support system, diagnosis support program, and diagnosis support method
WO2012021307A2 (en) * 2010-08-12 2012-02-16 Heartflow, Inc. Method and system for patient-specific modeling of blood flow

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5532560A (en) * 1978-08-31 1980-03-07 Shaw Robert F Method of inspecting vein of concern that use radioactivity detected from outside of body and its device
JP2006166974A (en) * 2004-12-13 2006-06-29 National Institute Of Advanced Industrial & Technology Blood dynamic characteristic measuring apparatus
JP2007135894A (en) * 2005-11-18 2007-06-07 R Tech:Kk Blood flow analyzing device and simulation method based on homo sapiens blood flow data
JP2010148866A (en) * 2008-11-21 2010-07-08 Toshiba Corp Image processing apparatus and image processing method
JP2011072500A (en) * 2009-09-30 2011-04-14 Fujifilm Corp Diagnosis support system, diagnosis support program, and diagnosis support method
WO2012021307A2 (en) * 2010-08-12 2012-02-16 Heartflow, Inc. Method and system for patient-specific modeling of blood flow

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022500133A (en) * 2018-09-13 2022-01-04 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Calculation of boundary conditions for virtual FFR and iFR calculations based on myocardial staining characteristics
JP2018192346A (en) * 2018-09-18 2018-12-06 キヤノンメディカルシステムズ株式会社 Blood vessel analysis device, blood vessel analysis method and blood vessel analysis program
CN114672984A (en) * 2022-03-15 2022-06-28 海澜之家集团股份有限公司 Process compliance dark calculation system, method and equipment based on intelligent calculation coordinate positioning

Also Published As

Publication number Publication date
JP6116833B2 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
JP6667999B2 (en) Image processing apparatus, image processing method, and program
EP3160335B1 (en) Apparatus for determining a fractional flow reserve value
CN105792738B (en) Local FFR estimation and visualization for improved functional stenosis analysis
EP3127026B1 (en) Systems and methods for determining blood flow characteristics using flow ratio
US10206587B2 (en) Image processing apparatus, image processing method, and storage medium
EP3169237B1 (en) Stenosis assessment
EP3140757B1 (en) Method and system for non-invasive functional assessment of coronary artery stenosis using flow computations in models based on diseased patients and hypothetical normal anatomical models
JP6484760B2 (en) Modeling collateral blood flow for non-invasive blood flow reserve ratio (FFR)
EP3456243A1 (en) Improved vessel geometry and additional boundary conditions for hemodynamic ffr/ifr simulations from intravascular imaging
US10278662B2 (en) Image processing apparatus and medical image diagnostic apparatus
WO2018133098A1 (en) Vascular wall stress-strain state acquisition method and system
US20200113450A1 (en) Medical information processing system and medical information processing method
JP6975235B2 (en) Vascular tree standardization for biophysical simulation and / or extended simulation for pruned parts
US20220151500A1 (en) Noninvasive quantitative flow mapping using a virtual catheter volume
JP6116833B2 (en) Medical image processing device
Kamangar et al. Patient specific 3-d modeling of blood flow in a multi-stenosed left coronary artery
JP7426824B2 (en) Non-invasive imaging-based FFR interaction monitoring
US10332255B2 (en) Method for assessing stenosis severity in a lesion tree through stenosis mapping
EP3607527B1 (en) Quantitative evaluation of time-varying data
US11694330B2 (en) Medical image processing apparatus, system, and method
JP7368500B2 (en) Fluid analysis equipment, methods and programs
JP2022047359A (en) Medical image processing device, medical image processing system, and medical image processing method
JP2023173520A (en) Medical image processing device and medical image processing method
JP2022017183A (en) Medical image processing apparatus, system, and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150811

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160920

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160928

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170322

R150 Certificate of patent or registration of utility model

Ref document number: 6116833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350