JP2011067279A - Medical image processor and medical image processing program - Google Patents

Medical image processor and medical image processing program Download PDF

Info

Publication number
JP2011067279A
JP2011067279A JP2009219458A JP2009219458A JP2011067279A JP 2011067279 A JP2011067279 A JP 2011067279A JP 2009219458 A JP2009219458 A JP 2009219458A JP 2009219458 A JP2009219458 A JP 2009219458A JP 2011067279 A JP2011067279 A JP 2011067279A
Authority
JP
Japan
Prior art keywords
volume data
time information
image
medical image
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009219458A
Other languages
Japanese (ja)
Inventor
Kazuhiko Matsumoto
和彦 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziosoft Inc
Original Assignee
Ziosoft Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziosoft Inc filed Critical Ziosoft Inc
Priority to JP2009219458A priority Critical patent/JP2011067279A/en
Publication of JP2011067279A publication Critical patent/JP2011067279A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To correctly indicate changes of a specific region in an image by interpolating an interpolated image between actual images based on movement analysis information. <P>SOLUTION: The medical image processor is provided with a generator which generates interpolation volume data interpolating several pieces of volume data and time information of the interpolation volume data based on the several pieces of volume data and the time information each piece of the volume data has and a display which visualizes the several pieces of volume data and the interpolation volume data and indicates them. The generator sets the time information of the interpolation volume data so that the interval between the time information of the interpolation volume data and the time information of the volume data just before the time information may be unequal to the interval between the time information of the interpolation volume data and the time information of the volume data just after the time information. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、医療用画像処理装置及び医療用画像処理プログラムに関する。   The present invention relates to a medical image processing apparatus and a medical image processing program.

X線CT装置およびMRI装置等の各種画像診断機器は、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行うものである。例えば、心臓や血管等の循環器系およびその他の動きのある臓器の場合、それらを構成する組織の動きを断層像により観察して、それら臓器等の機能を診断することが行なわれている。このような画像診断機器により、高解像度の画像が短時間に得られるようになったことに伴い、取得したボリュームデータから、臓器や腫瘍等の関心領域(Region of Interest)を抽出し、これらを見やすく可視化し、あるいは定量化して面積や体積を量ることにより病変部の診断に役立てている。   Various diagnostic imaging apparatuses such as an X-ray CT apparatus and an MRI apparatus generate a tomographic image of an examination site from volume data of a subject and perform diagnosis by displaying it on a monitor screen. For example, in the case of a circulatory system such as the heart and blood vessels and other organs with movement, the movement of tissues constituting them is observed with a tomographic image to diagnose the function of these organs and the like. With such diagnostic imaging equipment, high-resolution images can be obtained in a short period of time, and regions of interest (Region of Interest) such as organs and tumors are extracted from the acquired volume data. It is useful for diagnosis of lesions by visualizing or quantifying for easy viewing and measuring the area and volume.

従来例1として、特許文献1に開示されている医療用画像処理装置は、各フェイズの複数のボリュームデータから新たに一の画像を生成し、各フェイズ現れる組織の変化を一の画像に表示することができる。しかし、各フェイズ間を補うボリュームデータを生成しているものではない。ここで、フェイズ(Phase)とは、同一の対象を同一手法で短時間のうちに撮像した複数のボリュームデータのうちの1つのボリュームデータを指す。   As a conventional example 1, the medical image processing apparatus disclosed in Patent Document 1 newly generates one image from a plurality of volume data in each phase, and displays a change in tissue appearing in each phase in one image. be able to. However, volume data that compensates for each phase is not generated. Here, the phase refers to one volume data among a plurality of volume data obtained by imaging the same object in a short time using the same method.

従来例2として、特許文献2に開示されている医療用画像処理装置は、各フェイズの抽出領域から構造情報(たとえば、血管の中心線)を求めて、各フェイズの異常個所を比較、検出している。そのため、少ない計算量で領域抽出を行うことができる。しかし、各フェイズ間を補うボリュームデータを生成し、各フェイズの領域抽出を行っていない。   As Conventional Example 2, the medical image processing apparatus disclosed in Patent Document 2 obtains structural information (for example, the center line of a blood vessel) from the extraction region of each phase, and compares and detects an abnormal part of each phase. ing. Therefore, it is possible to perform region extraction with a small amount of calculation. However, volume data that compensates for each phase is generated, and the region extraction for each phase is not performed.

従来例3として、非特許文献1では、いわゆる、モーフィングにより、医療画像とは異なる通常の画像で構成される動画像のフレーム間隔(例えば、1/60秒)の中間位置で新たに画像を補間している。   As Conventional Example 3, in Non-Patent Document 1, a new image is interpolated at a middle position of a frame interval (for example, 1/60 second) of a moving image composed of a normal image different from a medical image by so-called morphing. is doing.

特開2008−35895号公報JP 2008-35895 A 特開2007−68658号公報JP 2007-68658 A

http://www.cvalley.co.jp/ae_plugin/re_visioneffects/twixtor.htmlhttp: // www. cvalley. co. jp / ae_plugin / re_visioneffects / twixtor. html

しかし、従来例1及び従来例2で開示されている技術では、各フェイズ間を補うボリュームデータを生成しているものではないので、各フェイズの位置合わせの精度を高めるには別の方法を検討する必要がある。また、従来例3では、新たに画像を補間するタイミングは、動画像(たとえば、テレビ映像)のフレーム間隔(例えば、1/60秒)の中間位置に固定されており、この位置を変更することはまでは示唆されていない。   However, since the techniques disclosed in Conventional Example 1 and Conventional Example 2 do not generate volume data that compensates for each phase, another method is considered to increase the accuracy of alignment in each phase. There is a need to. Further, in Conventional Example 3, the timing for newly interpolating an image is fixed at an intermediate position of a frame interval (for example, 1/60 second) of a moving image (for example, a television image), and this position is changed. Until is not suggested.

本発明の目的は、動き解析情報に基づき補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示することができる医療用画像処理装置及び医療用画像処理プログラムを提供することである。   An object of the present invention is to provide a medical image processing apparatus and a medical image processing program capable of accurately displaying a change in a specific area in an image by interpolating an interpolated image between real images based on motion analysis information. Is to provide.

本発明は、時刻情報を有する複数のボリュームデータのそれぞれを可視化する医療用画像処理装置であって、前記複数のボリュームデータ及び各ボリュームデータが有する時刻情報に基づき、前記複数のボリュームデータを補間する補間ボリュームデータと当該補間ボリュームデータの時刻情報を生成する生成部と、前記複数のボリュームデータ及び前記補間ボリュームデータを可視化し表示する表示部と、を備え、前記生成部は、前記補間ボリュームデータの時刻情報と、当該時刻情報の直前のボリュームデータの時刻情報との間隔が、前記補間ボリュームデータの時刻情報と、当該時刻情報の直後のボリュームデータの時刻情報との間隔とは、異なる非等間隔となるように、前記補間ボリュームデータの時刻情報を設定する医療用画像処理装置を提供する。   The present invention is a medical image processing apparatus for visualizing each of a plurality of volume data having time information, and interpolates the plurality of volume data based on the plurality of volume data and the time information of each volume data. An interpolating volume data and a generating unit for generating time information of the interpolating volume data; and a display unit for visualizing and displaying the plurality of volume data and the interpolating volume data. The interval between the time information and the time information of the volume data immediately before the time information is different from the interval between the time information of the interpolated volume data and the time information of the volume data immediately after the time information. Medical image processing for setting time information of the interpolation volume data so that To provide a device.

上記医療用画像処理装置では、前記生成部は、前記複数のボリュームデータ上の対応する位置、又は対応する物体を取得することで、動き解析情報である当該対応により、前記補間ボリュームデータを生成する。   In the medical image processing apparatus, the generation unit generates the interpolated volume data according to the correspondence that is motion analysis information by acquiring a corresponding position on the plurality of volume data or a corresponding object. .

上記医療用画像処理装置では、前記生成部は、前記対応に表れる特徴のある時刻を、前記補間ボリュームデータの時刻情報として生成する。   In the medical image processing apparatus, the generation unit generates a characteristic time corresponding to the correspondence as time information of the interpolation volume data.

上記医療用画像処理装置では、前記生成部は、当該補間ボリュームの少なくとも一部を、前記対応を非線形補間して生成する。   In the medical image processing apparatus, the generation unit generates at least a part of the interpolation volume by nonlinear interpolation of the correspondence.

上記医療用画像処理装置では、前記生成部は、2組の前記時刻情報を有する複数のボリュームデータのうち、一方の組から生成する補間ボリュームデータの時刻情報を、前記2組の前記時刻情報を有する複数のボリュームデータのうち、他方の組に含まれる一のボリュームデータの時刻情報とする。   In the medical image processing apparatus, the generation unit includes time information of interpolation volume data generated from one set among a plurality of volume data having two sets of time information, and the two sets of time information. Of the plurality of volume data, the time information of one volume data included in the other set is used.

上記医療用画像処理装置では、前記生成部は、2組の前記時刻情報を有する複数のボリュームデータのうち、一方の組から生成する補間ボリュームデータの時刻情報を、前記2組の前記時刻情報を有する複数のボリュームデータのうち、他方の組から生成する補間ボリュームデータの時刻情報とする。   In the medical image processing apparatus, the generation unit includes time information of interpolation volume data generated from one set among a plurality of volume data having two sets of time information, and the two sets of time information. Of the plurality of volume data, the time information of the interpolation volume data generated from the other set is used.

上記医療用画像処理装置では、前記生成部は、前記補間ボリュームデータの時刻情報を、医療画像撮影装置と共に使用する外部装置から取得された時刻に基づき生成する。   In the medical image processing apparatus, the generation unit generates time information of the interpolation volume data based on a time acquired from an external device used together with the medical image photographing device.

また、本発明は、医療用画像処理プログラムであって、コンピュータを、複数のボリュームデータ、及び当該複数のボリュームデータのそれぞれが有する時刻情報に基づき、前記複数のボリュームデータを補間する補間ボリュームデータと当該補間ボリュームデータの時刻情報を生成する生成手段と、前記複数のボリュームデータ及び前記補間ボリュームデータを可視化し表示する表示手段として機能させ、前記生成手段は、前記補間ボリュームデータの時刻情報と、当該時刻情報の直前のボリュームデータの時刻情報との間隔が、前記補間ボリュームデータの時刻情報と、当該時刻情報の直後のボリュームデータの時刻情報との間隔とは、異なる非等間隔となるように、前記補間ボリュームデータの時刻情報を設定する医療画像プログラムである。   The present invention is also a medical image processing program, comprising: a computer, interpolating volume data for interpolating the plurality of volume data based on a plurality of volume data and time information included in each of the plurality of volume data; Generating means for generating time information of the interpolated volume data; and functioning as display means for visualizing and displaying the plurality of volume data and the interpolated volume data, the generating means includes time information of the interpolated volume data, The interval between the time information of the volume data immediately before the time information is such that the interval between the time information of the interpolated volume data and the time information of the volume data immediately after the time information is an unequal interval. Medical image program for setting time information of the interpolation volume data A.

本発明に係る医療用画像処理装置及び医療用画像処理プログラムによれば、動き解析情報に基づき補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示することができる。   According to the medical image processing apparatus and the medical image processing program according to the present invention, it is possible to accurately display a change in a specific region in an image by interpolating an interpolated image between real images based on motion analysis information. Can do.

本実施の形態に係る医療用画像処理装置100の構成を示すブロック図Block diagram showing the configuration of the medical image processing apparatus 100 according to the present embodiment 動き解析情報生成部103の動作を概念的に説明するための示す図The figure shown notionally for demonstrating operation | movement of the motion analysis information generation part 103 補間ボリュームデータ生成部105の動作を概念的に説明するための図The figure for demonstrating operation | movement of the interpolation volume data production | generation part 105 notionally. 画像生成部107が生成する画像を模式的に示す図The figure which shows typically the image which the image generation part 107 produces | generates 時刻tk−1と時刻tと間の任意の時刻で画像生成部107が生成する画像を模式的に示す図Schematically shows a time t k-1 and time t k and the image by the image generating unit 107 at any time to produce between 心室容量の大きさの経時変化を示すモデルと画像生成部107が作成した補間画像tauxとを比較した図The figure which compared the model which shows the time-dependent change of the magnitude | size of ventricular volume, and the interpolation image taux which the image generation part 107 produced 画像生成部107が生成した2組の時系列に並んだ3次元画像セットを示す図The figure which shows the three-dimensional image set arranged in two sets of time series which the image generation part 107 produced | generated 図7に示す2組みの3次元画像セットを同期させた画像のシーケンスを示す図The figure which shows the sequence of the image which synchronized two sets of three-dimensional image sets shown in FIG. 等間隔に複数の補間画像を実画像に補った場合の画像のシーケンスを示す図The figure which shows the sequence of the image at the time of complementing a several interpolation image to a real image at equal intervals 実画像に対して一時的に複数の補間画像補い、表示した例を示す図The figure which shows the example which complemented the plural interpolation picture temporarily with respect to the actual picture, and displayed 医療用画像処理装置100の動作処理フローOperation processing flow of medical image processing apparatus 100

以下、本発明の実施形態について、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1を参照して、本実施の形態に係る医療用画像処理装置について説明する。図1に示す医療用画像処理装置100は、ボリュームデータ生成部101と、動き解析情報生成部103と、補間ボリュームデータ生成部105と、画像生成部107と、表示処理部109と、を備える。医療用画像処理装置100には、医療用画像処理装置100で生成された画像を表示する表示部111と、医療用画像処理装置100の各部を操作するためのユーザインターフェースである操作部113と、が設けられている。   A medical image processing apparatus according to the present embodiment will be described with reference to FIG. A medical image processing apparatus 100 illustrated in FIG. 1 includes a volume data generation unit 101, a motion analysis information generation unit 103, an interpolation volume data generation unit 105, an image generation unit 107, and a display processing unit 109. The medical image processing apparatus 100 includes a display unit 111 that displays an image generated by the medical image processing apparatus 100, an operation unit 113 that is a user interface for operating each unit of the medical image processing apparatus 100, and Is provided.

図1に示すように、医療用画像処理装置100は、コンピュータ断層撮影装置に接続されている。コンピュータ断層撮影装置は、被検体の組織等を可視化するものである。X線源1からは同図に鎖線で示す縁部ビームを有するピラミッド状のX線ビーム束2が放射される。X線ビーム束2は、例えば患者3である被検体を透過しX線検出器4に照射される。X線源1及びX線検出器4は、本実施形態の場合にはリング状のガントリー5に互いに対向配置されている。リング状のガントリー5は、このガントリーの中心点を通るシステム軸線6に対して、同図に示されていない保持装置に回転可能(矢印a参照)に支持されている。   As shown in FIG. 1, the medical image processing apparatus 100 is connected to a computed tomography apparatus. The computer tomography apparatus visualizes the tissue of a subject. The X-ray source 1 emits a pyramid-shaped X-ray beam bundle 2 having an edge beam indicated by a chain line in FIG. The X-ray beam bundle 2 passes through a subject, for example, a patient 3 and is irradiated to the X-ray detector 4. In the case of this embodiment, the X-ray source 1 and the X-ray detector 4 are arranged opposite to each other on a ring-shaped gantry 5. The ring-like gantry 5 is supported by a holding device not shown in the drawing so as to be rotatable (see arrow a) with respect to a system axis 6 passing through the center point of the gantry.

患者3は、X線が透過するテーブル7上に寝ている。このテーブル7は、図示されていない支持装置によりシステム軸線6に沿って移動可能(矢印b参照)に支持されている。従って、X線源1及びX線検出器4は、システム軸線6に対して回転可能でありかつシステム軸線6に沿って患者3に対して相対的に移動可能である測定システムを構成するので、システム軸線6に関して種々の投影角及び種々の位置のもとで患者3にX線を投射する。その際に発生するX線検出器4の出力信号は、ボリュームデータ生成部101に供給され、ボリュームデータに変換される。   The patient 3 lies on the table 7 that transmits X-rays. The table 7 is supported by a support device (not shown) so as to be movable along the system axis 6 (see arrow b). Thus, the X-ray source 1 and the X-ray detector 4 constitute a measurement system that is rotatable with respect to the system axis 6 and movable relative to the patient 3 along the system axis 6. X-rays are projected onto the patient 3 under various projection angles and various positions with respect to the system axis 6. An output signal of the X-ray detector 4 generated at that time is supplied to the volume data generation unit 101 and converted into volume data.

シーケンス走査の場合、患者3の層毎の走査が行なわれる。その際に、X線源1及びX線検出器4はシステム軸線6を中心に患者3の周りを回転し、X線源1及びX線検出器4を含む測定システムは患者3の2次元断層を走査するために多数の投影を撮影する。その際に取得された測定値から、走査された断層を表示する断層像が再構成される。相連続する断層の走査の間に、患者3はその都度システム軸線6に沿って移動される。この過程は全ての関心断層が捕捉されるまで繰り返される。   In the case of a sequence scan, a scan for each layer of the patient 3 is performed. At that time, the X-ray source 1 and the X-ray detector 4 are rotated around the patient 3 around the system axis 6, and the measurement system including the X-ray source 1 and the X-ray detector 4 is a two-dimensional slice of the patient 3. Take a number of projections to scan. A tomographic image that displays the scanned tomogram is reconstructed from the measurement values acquired at that time. Between successive tomographic scans, the patient 3 is moved along the system axis 6 each time. This process is repeated until all faults of interest are captured.

スパイラル走査中は、X線源1及びX線検出器4を含む測定システムはシステム軸線6を中心に回転し、テーブル7は連続的に矢印bの方向に移動する。すなわち、X線源1及びX線検出器4を含む測定システムは、患者3に対して相対的に連続的にスパイラル軌道上を、患者3の関心領域が全部捕捉されるまで移動する。本実施形態の場合、同図に示されたコンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部101に供給される。   During spiral scanning, the measurement system including the X-ray source 1 and the X-ray detector 4 rotates about the system axis 6 and the table 7 continuously moves in the direction of arrow b. That is, the measurement system including the X-ray source 1 and the X-ray detector 4 moves on the spiral trajectory relatively continuously with respect to the patient 3 until the entire region of interest of the patient 3 is captured. In the case of the present embodiment, a large number of continuous tomographic signals in the diagnosis range of the patient 3 are supplied to the volume data generation unit 101 by the computed tomography apparatus shown in FIG.

ボリュームデータ生成部101は、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータを生成し、各ボリュームデータが生成された時刻を表す時刻情報と共に、動き解析情報生成部103及び画像生成部107へ出力する。なお、ボリュームデータ生成部101は、図示しないメモリに、撮影時刻の異なる複数のボリュームデータを保持することができる。   The volume data generation unit 101 generates a plurality of volume data having different imaging times from the tomographic signal supplied by the computed tomography apparatus, and motion analysis information generation unit together with time information indicating the time at which each volume data is generated. 103 and the image generation unit 107. The volume data generation unit 101 can hold a plurality of volume data with different shooting times in a memory (not shown).

ここで、本実施の形態では、ボリュームデータ生成部101は、複数のボリュームデータの各ボリュームデータが、コンピュータ断層撮影装置により撮影された時刻tに基づき、ボリュームデータを生成した時刻情報t(n=1、2、…、k−1、k、k+1…:自然数)を生成するものとする。 Here, in the present embodiment, the volume data generation unit 101 generates time information t n (n) where the volume data is generated based on the time t when each volume data of the plurality of volume data is imaged by the computed tomography apparatus. = 1, 2,..., K−1, k, k + 1.

以下、説明のため、ボリュームデータ生成部101では、時刻情報tk−1のボリュームデータと、時刻tk−1から所定時間経過後に撮影され、ボリュームデータ生成部101に供給された断層信号に基づき生成された時刻情報tのボリュームデータと、時刻tから所定時間経過後に撮影され、ボリュームデータ生成部101に供給された断層信号に基づき生成された時刻情報tk+1のボリュームデータを保持しているものとする。
なお、以下、説明のため、時刻情報tのボリュームデータを、ボリュームデータtと適宜省略して記載する。
Hereinafter, for the sake of explanation, the volume data generation unit 101 is based on the volume data of the time information t k−1 and the tomographic signal that is captured after a predetermined time has elapsed from the time t k−1 and supplied to the volume data generation unit 101. and volume data of the generated time information t k, taken from the time t k after a predetermined time has elapsed, maintains the time information t k + 1 of the volume data generated on the basis of the fault signal supplied to the volume data generation unit 101 It shall be.
In the following, for explanation, the volume data of time information t k, described omitted volume data t k as appropriate.

動き解析情報生成部103は、ボリュームデータ生成部101から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータt及びその時刻情報tから、動き解析情報を生成し(図2参照)、補間ボリュームデータ生成部105に出力する。 Of the volume data output from the volume data generation unit 101, the motion analysis information generation unit 103 uses the volume data t k-1 and its time information t k-1 , and the volume data t k and its time information t k . Motion analysis information is generated (see FIG. 2) and output to the interpolation volume data generation unit 105.

ここで、動き解析情報とは、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、及び、前記位置及び物体が移動変化する過程の情報を指す。また、各ボリュームデータの画素が、時刻k−1と時刻との間の任意の時刻での位置を示す指標となる。 Here, the motion analysis information refers to information on a correspondence relationship between corresponding positions or corresponding objects on a plurality of volume data, and information on a process in which the positions and objects move and change. In addition, each volume data pixel serves as an index indicating a position at an arbitrary time between time k-1 and time k .

図2は、動き解析情報生成部103の動作を概念的に示す図である。図2に示すように、動き解析情報生成部103は、3次元画像の情報を含むボリュームデータtk−1の各画素がどのように変位して、ボリュームデータtでの画素となっているかを、動き解析情報として生成している。 FIG. 2 is a diagram conceptually illustrating the operation of the motion analysis information generation unit 103. As shown in FIG. 2, or motion analysis information generator 103, each pixel of the volume data t k-1 including information of the three-dimensional image is how displaced to the has become a pixel in the volume data t k Are generated as motion analysis information.

補間ボリュームデータ生成部105は、動き解析情報生成部103から出力された動き解析情報に基づき、ボリュームデータtk−1とボリュームデータtとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成し、画像生成部107に出力する。 Interpolated volume data generation unit 105, based on the motion analysis information outputted from the motion analysis information generator 103 interpolates between the volume data t k-1 and the volume data t k, interpolated volume data t aux and its time Information t aux is generated and output to the image generation unit 107.

ここで、補間ボリュームデータとは、時刻tk−1と時刻tとの間の特定の時刻tauxにおけるボリュームデータである。つまり、補間ボリュームデータ生成部105が補間ボリュームデータtauxを生成することは、実際はコンピュータ断層撮影装置で撮像されていない時刻tauxにおいて、あたかもコンピュータ断層撮影装置により撮像して、ボリュームデータ生成部101がボリュームデータを生成したことと、同等となる。 Here, the interpolated volume data is volume data at a particular time t aux between time t k-1 and time t k. That is, the interpolated volume data generation unit 105 generates the interpolated volume data t aux at the time t aux that is not actually captured by the computed tomography apparatus as if it was captured by the computed tomography apparatus, and the volume data generation unit 101. Is equivalent to generating volume data.

図3は、補間ボリュームデータ生成部105の動作を概念的に示す図である。図3に示すように、補間ボリュームデータ生成部105は、3次元画像の情報を含むボリュームデータtk−1とボリュームデータtとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成する。 FIG. 3 is a diagram conceptually illustrating the operation of the interpolation volume data generation unit 105. As shown in FIG. 3, the interpolation volume data generating unit 105 interpolates between the volume data t k-1 and the volume data t k including information of a three-dimensional image, the interpolation volume data t aux and its time information t aux .

ここで、本実施の形態では、図3に示すように補間ボリュームデータtauxが有する時刻情報tauxは、時刻情報tk−1と時刻情報tとの中間の時刻情報ではない。言い換えると、補間ボリュームデータの時刻情報tauxと直前のタイミングに生成されたボリュームデータtk−1の時刻情報tk−1との間隔Aと、補間ボリュームデータの時刻情報tauxと直後のタイミングに生成されたボリュームデータの時刻情報tとの間隔Bとが異なる間隔、すなわち、非等間隔となっている。この理由については、後述する。 In the present embodiment, the time information t aux with interpolation volume data t aux as shown in FIG. 3, not in the middle of the time information and the time information t k-1 and time information t k. In other words, the distance A between the time information t k-1 of the volume data t k-1 which is generated in the time information t aux and immediately before the timing of the interpolation volume data, the time information t aux and immediately after the timing of the interpolated volume data different spacing and distance B between the time information t k of the generated volume data to, i.e., in the non-equal interval. The reason for this will be described later.

画像生成部107は、ボリュームデータ生成部101から出力されるボリュームデータtk−1、t、及び時刻情報tk−1、t、並びに補間ボリュームデータ生成部105から出力される補間ボリュームデータtaux、及びその時刻情報tauxを入力とする。画像生成部107は、各ボリュームデータtk−1、tから実際の3次元画像を生成する一方、補間ボリュームデータtauxから補間3次元画像を生成し、時系列に並べる。 The image generation unit 107 includes volume data t k−1 and t k output from the volume data generation unit 101, time information t k−1 and t k , and interpolation volume data output from the interpolation volume data generation unit 105. t aux and its time information t aux are input. The image generation unit 107 generates an actual three-dimensional image from the respective volume data t k−1 and t k , while generating an interpolation three-dimensional image from the interpolation volume data t aux and arranges them in time series.

表示処理部109は、画像生成部107で時系列となった実画像tk−1、t及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う。例えば、画像生成部107で生成された3次元画像のシーケンスを生成して、表示部111で動画像として再生するための処理(再生フレームレートの設定など)を行うことができる。 The display processing unit 109 performs various processes for displaying the real images t k−1 and t k and the interpolated image t aux that are time-series by the image generation unit 107 on the display of the display unit 111. For example, it is possible to generate a sequence of a three-dimensional image generated by the image generation unit 107 and perform processing (reproduction frame rate setting, etc.) for reproduction as a moving image on the display unit 111.

表示部111は、表示処理部109で適宜処理された時系列となった実画像tk−1、t及び補間画像tauxを表示する。表示部111は、時系列となった実画像tk−1、t及び補間画像taux以外に、各画像の時刻情報も表示する。また、必要に応じて、表示部111は、画像生成部107で生成された3次元画像のシーケンスを、表示処理部109での処理の後、動画像として再生することができる。 The display unit 111 displays the real images t k−1 , t k and the interpolated image t aux that are time-series appropriately processed by the display processing unit 109. The display unit 111 displays time information of each image in addition to the real images t k−1 and t k and the interpolated image t aux in time series. Further, as necessary, the display unit 111 can reproduce the sequence of the three-dimensional image generated by the image generation unit 107 as a moving image after the processing by the display processing unit 109.

操作部113は、表示部111に表示された画像を加工するための各種のインターフェースを備えており、例えば、補間画像tauxを生成するための補間パラメータ(時刻情報tauxなど)を設定する。そして、ユーザは、表示部111を見ながら、操作部113により、医療用画像処理装置100の各部を操作することができる。そのため、ユーザは、インタラクティブに補間パラメータを変更できる。すなわち、したがって、本実施の形態の医療用画像処理装置において、画像生成部107は、操作部113から指示に基づき、インタラクティブに補間画像tauxを修正することができる。 The operation unit 113 includes various interfaces for processing the image displayed on the display unit 111. For example, the operation unit 113 sets interpolation parameters (such as time information t aux ) for generating the interpolation image t aux . The user can operate each unit of the medical image processing apparatus 100 with the operation unit 113 while looking at the display unit 111. Therefore, the user can interactively change the interpolation parameter. That is, therefore, in the medical image processing apparatus of the present embodiment, the image generation unit 107 can interactively correct the interpolation image t aux based on an instruction from the operation unit 113.

ここで、補間パラメータとして、たとえば、(1)位置補間アルゴリズム(リニア/キュービック/スプライン)、(2)ボクセル値の補間のアルゴリズム(リニア/キュービック/スプライン)、(3)補間により生成される3D画像のピッチ(時間間隔)や数、並びに(4)4Dフィルタの方法として、平滑化、エッジ強調、最大値・最小値投影、差分、累積加算、ヒストグラムマッチング、およびそれらの組み合わせなどがある。   Here, as interpolation parameters, for example, (1) position interpolation algorithm (linear / cubic / spline), (2) voxel value interpolation algorithm (linear / cubic / spline), (3) 3D image generated by interpolation (4) 4D filter methods include smoothing, edge enhancement, maximum / minimum value projection, difference, cumulative addition, histogram matching, and combinations thereof.

図4を参照して、画像生成部107が生成する3次元画像について説明する。図4は、画像生成部107が生成した各画像を模式的に示す図である。図4に示すように、実画像tk−1と実画像tとの間で、時刻情報tauxを有する補間画像tauxが、画像生成部107によって生成される。以下、説明のためボリュームデータtk−1、tから生成された、時刻tk−1、tにおける実際の3次元画像を、それぞれ実画像tk−1と実画像tと称し、補間ボリュームデータtauxから生成された、時刻tauxにおける3次元の補間画像を、補間画像tauxと称する。 A three-dimensional image generated by the image generation unit 107 will be described with reference to FIG. FIG. 4 is a diagram schematically illustrating each image generated by the image generation unit 107. As shown in FIG. 4, with the actual image t k-1 and the actual image t k, the interpolated image t aux is having a time information t aux, is generated by the image generation unit 107. Hereinafter, for the sake of explanation, the actual three-dimensional images at times t k−1 and t k generated from the volume data t k−1 and t k are referred to as a real image t k−1 and a real image t k , respectively. generated from the interpolation volume data t aux, the three-dimensional interpolation image at time t aux, referred to as the interpolated image t aux.

ここで、図4に示すように、補間画像tauxの時刻情報tauxと直前のタイミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻情報tauxと直後のタイミングに生成された実画像tの時刻情報tとの間隔Dとが非等間隔となっている。本実施の形態において、ボリュームデータtk−1と、時刻情報tk−1の次のタイミングで生成されるボリュームデータtとの間隔が、およそ0.1秒から数年単位である。これは、画像生成部107で生成される医療画像(実画像tk−1、実画像t、及び補間画像taux)とは異なる通常の画像で構成される動画像(たとえば、テレビなどの映像)のフレーム間隔(例えば、1/60秒)と比べて非常に大きいことに起因する。 Here, as shown in FIG. 4, a distance C between the time information t k-1 of the generated time information t aux and immediately before the timing of the interpolated image t aux actual image t k-1, the interpolation image t aux time information t aux between the distance D between the time information t k of the actual image t k generated in the timing immediately after that in the non-equal interval. In this embodiment, the volume data t k-1, the interval between the volume data t k generated at the next timing of the time information t k-1 is the number yearly approximately 0.1 seconds. This is a moving image (for example, a television or the like) composed of a normal image different from the medical image (actual image t k−1 , actual image t k , and interpolation image t aux ) generated by the image generation unit 107. This is because it is very large compared to the frame interval (for example, 1/60 seconds) of the video.

つまり、本実施の形態では、実画像tk−1、と実画像tとの間の間隔(C+D)が、例えば年単位であって、実画像tk−1と実画像tとの間で発生している被検体である患者3の関心領域の経年変化を観察するのに、その中間位置での補間画像では十分ではないからである。そのため、補間画像tauxの時刻情報tauxと直前のタイミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻情報tauxと直後のタイミングに生成された実画像tの時刻情報tとの間隔Dとが非等間隔とし、実画像tk−1、と実画像tとの間で被検体である患者3の検査部位(関心領域)の経年変化を中間位置とは異なる、実画像tk−1、と実画像tとの間の様々な位置で補間画像を生成することを可能としている。また、撮影に要する放射線量を最小にする目的で、関心の最も高い時刻では撮影の時間間隔を密にし、それ以外では疎に撮影することが行われている。また、心電図など被検体のリアルタイム情報を取得する別途の機器で指定されるタイミングで撮影することもある。これらによって撮影間隔が非等間隔となりうる。リアルタイム情報には他には例えば、造影剤の注入のタイミングもある。 That is, in this embodiment, the actual image t k-1, the distance between the actual image t k (C + D) is, for example, a yearly, the actual image t k-1 and the actual image t k This is because the interpolated image at the intermediate position is not sufficient for observing the secular change of the region of interest of the patient 3 which is the subject occurring between. Therefore, the distance C between the time information t k-1 of the generated time information t aux and immediately before the timing of the interpolated image t aux actual image t k-1, the interpolation image t aux time information t aux and immediately the spacing D between the time information t k of the actual image t k generated in timing is a non-equal interval, the testing area of the patient 3 is a subject between the actual image t k-1, and the actual image t k different from the aging of the intermediate position (ROI), it is made possible to generate an interpolated image at different positions between an actual image t k-1, and the actual image t k. For the purpose of minimizing the amount of radiation required for imaging, the imaging time interval is dense at the time of highest interest, and sparse imaging is performed at other times. In addition, imaging may be performed at a timing designated by a separate device that acquires real-time information of the subject such as an electrocardiogram. As a result, the photographing intervals can be non-uniform. Other real-time information includes, for example, the timing of contrast medium injection.

上述のように、本実施の形態では、補間画像tauxの時刻情報tauxと直前のタイミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻情報tauxと直後のタイミングに生成された実画像tの時刻情報tとの間隔Dとが、非等間隔であるが、これに限らない。実画像tk−1と実画像tとの間で発生している被検体である患者3の関心領域の経時変化を観察するのに適したタイミングであれば、補間画像tauxの時刻情報tauxと直前のタイミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻情報tauxと直後のタイミングに生成された実画像tの時刻情報tとの間隔Dとが、等間隔に設定されてもよい。すわなち、実画像tk−1と実画像tとの間で発生している被検体である患者3の検査部位(関心領域)の経時変化を観察するのに適したタイミングであれば、時刻情報tk−1と時刻情報tk−1との間の任意の時刻で画像生成部107が補間画像tauxを生成しても良い。言い換えると、本実施の形態において、ボリュームデータtauxの時刻tauxは、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。これにより、本実施の形態では、X線の線量を削減し、被検体である患者3への影響を極力抑えることができる。 As described above, in this embodiment, the distance C between the time information t k-1 of the real image t k-1 which is generated in the time information t aux and immediately before the timing of the interpolated image t aux, interpolated image t the spacing D between the time information t k of the actual image t k which is generated in the time information t aux and immediately after the timing of the aux is is a non-equidistant, not limited to this. If timing suitable for observing a change with time of a region of interest of the patient 3 is a subject that is generated between the actual image t k-1 and the actual image t k, the time information of the interpolation image t aux t aux and the distance C between the time information t k-1 of the real image t k-1 which is generated in the timing immediately before the interpolation image t aux time information t aux and the actual image t k generated in timing immediately after the spacing D between the time information t k of, may be set at equal intervals. Nachi Suwa, if a timing suitable for the observation of the time course of the testing area of the patient 3 is a subject that is generated between the actual image t k-1 and the actual image t k (region of interest) The image generation unit 107 may generate the interpolated image t aux at an arbitrary time between the time information tk -1 and the time information tk -1 . In other words, in the present embodiment, the time t aux of the volume data t aux is appropriately set depending on, for example, the time at which a change in the examination site (region of interest) of the subject (patient 3) is expected to appear. can do. Thereby, in this Embodiment, the dose to X-ray can be reduced and the influence on the patient 3 who is a subject can be suppressed as much as possible.

(任意の時刻の補間画像)
図5は、時刻tk−1と時刻tk−1との任意の時刻で画像生成部107が補間画像tauxを生成する一例を模式的に示す図である。図5に示すように、画像生成部107は、実画像tk−1を生成した時刻0.0secと、実画像tを生成した時刻情報1.5secとの間の任意の時刻情報1.0secの補間画像tauxを生成する。そのため、実画像を生成した時刻の間の任意の時刻で補間画像を生成することができ、実画像tk−1、と実画像tとの間で発生している患者3の診断範囲の経時変化を観察することができる。
(Interpolated image at any time)
FIG. 5 is a diagram schematically illustrating an example in which the image generation unit 107 generates the interpolated image t aux at an arbitrary time between the time t k−1 and the time t k−1 . As shown in FIG. 5, the image generation unit 107, any time information 1 between the time 0.0sec generating the actual image t k-1, time information 1.5sec and generating the real image t k. An interpolation image t aux of 0 sec is generated. Therefore, the interpolation image at any time during the time that produced the actual image can be generated, the actual image t k-1, and diagnosis the patient's range of 3 occurring between the actual image t k A change with time can be observed.

(補間画像とモデルとの比較)
図6は、心室容量の大きさの経時変化を示すモデルと画像生成部107が作成した補間画像tauxとを比較した図である。上述のように、時刻情報tk−1と時刻情報tk−1との間の時刻であれば、任意の時刻で画像生成部107が補間画像tauxを生成することが可能なので、たとえば図6に示すように、心室容量の大きさの経時変化を示すモデルの最大容量を示す時刻で、画像生成部107が補間画像tauxを作成し、心室容量の大きさの経時変化を示すモデルと補間画像tauxにあらわれる心室の大きさとを比較することができる。
(Comparison between interpolation image and model)
FIG. 6 is a diagram comparing a model showing temporal changes in the size of the ventricular volume and the interpolation image t aux created by the image generation unit 107. As described above, since the image generation unit 107 can generate the interpolated image t aux at any time as long as the time is between the time information tk -1 and the time information tk -1 , for example, FIG. As shown in FIG. 6, the image generation unit 107 creates an interpolated image t aux at a time indicating the maximum capacity of the model indicating the temporal change in the size of the ventricular volume, and the model indicating the temporal change in the size of the ventricular volume. The size of the ventricle appearing in the interpolated image t aux can be compared.

心室容量の大きさの経時変化を示すモデルは、図6に示すように線形的に変化するものではないので、2つの実画像tk−1、t間の中間位置では、心室容量は最大とならない、したがって、本実施の形態では、モデル上、心室容量が最大となる特徴を有する時刻で、実画像tk−1、tから補間画像tauxを生成する。図6に示すように、モデル上、心室容量が最大となる時刻はt=0.78secである。したがって、画像生成部107は、時刻情報tauxをモデル上、心室容量が最大となる時刻はt=0.78secとし、補間画像tauxを生成する。 Since the model showing the temporal change in the magnitude of the ventricular volume does not change linearly as shown in FIG. 6, the ventricular volume is the maximum at the intermediate position between the two real images t k−1 and t k. Therefore, in the present embodiment, the interpolated image t aux is generated from the real images t k−1 and t k at the time having the characteristic that the ventricular volume is maximized on the model. As shown in FIG. 6, on the model, the time when the ventricular volume becomes maximum is t = 0.78 sec. Therefore, the image generation unit 107 sets the time information t aux on the model, the time when the ventricular volume is maximized is t = 0.78 sec, and generates the interpolated image t aux .

上述のように、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴が現れると推定される時刻を補間画像の時刻情報とすることで、画像生成部107は、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴を画像として生成し、表示部111が可視化することができる。   As described above, the image generation unit 107 uses the time estimated for the feature of the examination site (region of interest) of the subject (patient 3) to be observed as the time information of the interpolation image. The feature of the examination region (region of interest) of the subject (patient 3) to be generated can be generated as an image and visualized by the display unit 111.

なお、心室容量の大きさの経時変化を示すモデルから、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴が現れると推定しているが、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴を推定する手段は当該モデルだけに限らない。例えば、被検体である患者3に対して造影剤などが注入された外的要因が発生した時刻を、画像上に特徴が現れる時刻であると推定することも可能できる。そのため、補間画像tauxを作成し、実画像tk−1、t、及び補間画像tauxの一連の画像の変化から、被検体(患者3)の検査部位(関心領域)の外的要因による変化を観察することができる。また、時刻情報tauxモデルのみならず外部機器からの入力によって定めることが出来る。これは心電図など被検体のリアルタイム情報を実画像の取得と同時に行い、これを参照することによって求めることが出来る。例えば、心電図上の波形の特徴的な時刻や、造影剤の注入を行ったタイミングなどが考えられる。 Although it is estimated from the model showing the temporal change in the size of the ventricular volume, the characteristics of the examination site (region of interest) of the subject to be observed (patient 3) appear, the subject to be observed ( The means for estimating the characteristics of the examination region (region of interest) of the patient 3) is not limited to the model. For example, it is possible to estimate that the time when an external factor in which a contrast medium or the like is injected into the patient 3 as the subject is the time when the feature appears on the image. Therefore, an interpolation image t aux is created, and external factors of the examination region (region of interest) of the subject (patient 3) are determined from a series of image changes of the real images t k−1 , t k and the interpolation image t aux. Can observe the change. Further, it can be determined not only by the time information aux model but also by input from an external device. This can be obtained by performing real-time information on the subject such as an electrocardiogram simultaneously with the acquisition of the real image and referring to it. For example, the characteristic time of the waveform on the electrocardiogram, the timing when the contrast medium is injected, and the like can be considered.

(異なる画像セットの同期)
また、画像生成部107は、同一の被検体から同一の検査部位を対象として、異なるモードで動作するコンピュータ断層撮影装置又は異なるコンピュータ断層撮影装置により供給された複数のボリュームデータから、時系列の複数の3次元画像セットを生成し、複数の3次元画像セットから正確に同期した画像のシーケンスを生成することができる。図7は、画像生成部107が生成した2組の時系列に並んだ3次元画像セットを示す。また、図8は、図7に示す2組みの3次元画像セットを同期させた画像のシーケンスを示す図である。
(Synchronize different image sets)
In addition, the image generation unit 107 uses a plurality of volume data supplied by a computed tomography apparatus or a different computed tomography apparatus operating in different modes for the same examination site from the same subject as a plurality of time series. 3D image sets can be generated, and a sequence of accurately synchronized images can be generated from a plurality of 3D image sets. FIG. 7 shows a three-dimensional image set arranged in two time series generated by the image generation unit 107. FIG. 8 is a diagram showing an image sequence obtained by synchronizing the two sets of three-dimensional image sets shown in FIG.

図7に示す3次元画像セットBでは、第1の時刻情報tk−1(=0.2sec)を有する第1実画像tk−1、及び第2の時刻情報t(=1.7sec)を有する第2実画像t、並びに、第1実画像tk−1及び第2実画像tから生成され、時刻情報taux2を有する第2補間画像taux2が時系列に並んでいる。また、図7に示す3次元画像セットAでは、第3の時刻情報tk−1(=0.0sec)を有する第3実画像tk−1、及び第4の時刻情報t(=1.5sec)を有する第4実画像t、並びに第3実画像tk−1及び第4実画像tから生成され、時刻情報taux1を有する第1補間画像taux1が時系列に並んでいる。 In the three-dimensional image set B shown in FIG. 7, the first real image t k−1 having the first time information t k−1 (= 0.2 sec) and the second time information t k (= 1.7 sec). second actual image t k with), and is generated from the first actual image t k-1 and the second real image t k, the second interpolation image t aux2 with time information t aux2 are arranged in time series . In the three-dimensional image set A shown in FIG. 7, the third real image t k−1 having the third time information t k−1 (= 0.0 sec) and the fourth time information t k (= 1). fourth actual image t k with .5sec), and the third is generated from the actual image t k-1 and the fourth actual image t k, the first interpolated image t aux1 with time information t aux1 is arranged in chronological Yes.

そして、図8に示すように、画像生成部107は、各画像の保持する時刻情報に基づき、3次元画像セットBの第2補間画像taux2を有する時刻情報taux2を、3次元画像セットAに時間的に同期させて、新たな画像のシーケンスを生成する。 Then, as illustrated in FIG. 8, the image generation unit 107 converts the time information t aux2 having the second interpolation image t aux2 of the three-dimensional image set B based on the time information held by each image to the three-dimensional image set A. In time synchronization, a new image sequence is generated.

したがって、本実施の形態では、画像生成部107は、同一の被検体から同一の検査部位を対象として、異なるモードで動作するコンピュータ断層撮影装置又は異なるコンピュータ断層撮影装置により供給された複数のボリュームデータから、時系列の複数の3次元画像セットを生成することができる。そして、表示処理部109は、複数の3次元画像セットから正確に時間的に同期した画像のシーケンスを生成することができる。   Therefore, in the present embodiment, the image generation unit 107 targets the same examination site from the same subject, and a plurality of volume data supplied by a computed tomography apparatus or a different computed tomography apparatus operating in different modes. Thus, a plurality of time-series three-dimensional image sets can be generated. The display processing unit 109 can generate a sequence of images that are accurately synchronized in time from a plurality of three-dimensional image sets.

また、本実施の形態では、画像生成部107は、図8に示す3次元画像のシーケンスを用いれば、観察対象部位(心臓)のマルチフェイズデータでの同一フェイズ間のずれの補正も可能となる。また、本実施の形態では、画像生成部107は、図8に示す3次元画像のシーケンスを用いれば、「コンピュータ断層撮影装置から取得した検査の画像取得時間情報」と「表示処理部109で生成される再生フレームレート」を元に、表示部111で正確な実時間で動画再生することができる。   In the present embodiment, if the image generation unit 107 uses the three-dimensional image sequence shown in FIG. 8, it is possible to correct a shift between the same phases in the multiphase data of the observation target region (heart). . Further, in the present embodiment, the image generation unit 107 generates the “image acquisition time information of the examination acquired from the computed tomography apparatus” and the “display processing unit 109” by using the sequence of the three-dimensional image shown in FIG. Based on the “reproduced frame rate”, the moving image can be reproduced on the display unit 111 in an accurate real time.

さらに、本実施の形態では、画像生成部107は、図7に示す一方の3次元画像セットBにだけ存在する特定の取得時刻(例えば、t=1.7)の実画像tに合わせて、他方の3次元画像セットAの第3実画像tk−1及び第4実画像tから新たな補間画像を作成することにより、より正確な3次元画像間の比較を可能にする。 Further, in this embodiment, the image generating section 107, matched to the actual image t k of a specific acquisition time present on only one of the three-dimensional image set B shown in FIG. 7 (e.g., t k = 1.7) Te, by creating a new interpolated image from the third actual image t k-1 and the fourth actual image t k of the other 3-dimensional image set a, to allow comparison between more accurate three-dimensional images.

図9に、画像生成部107が時間的に等間隔に複数の補間画像を実画像に補った場合の画像のシーケンスを示す。また、画像生成部107は、図9に示すように、同一の被検体から同一の検査部位を対象として、撮影間隔の異なるコンピュータ断層撮影装置により供給された複数のボリュームデータt(=0.00sec)、t(=0.17sec)、t(=0.30sec)から生成された複数の実画像t、t、tのうち実画像t、tに対して、時間的に等間隔に補う、時刻情報t(=0.10sec)を有する補間画像taux4、及び時刻情報t5(=0.20sec)を有する補間画像taux5を生成することができる。そのため、本実施の形態では、時間的に等間隔でない実画像に対して、補間画像を等時間間隔に生成するので、表示部111が表示する医療用画像の表示や解析の質・能力を高めることができる。 FIG. 9 shows a sequence of images when the image generation unit 107 supplements a plurality of interpolated images with real images at equal intervals in time. Further, as shown in FIG. 9, the image generation unit 107 uses a plurality of volume data t 1 (= 0...) Supplied by the computed tomography apparatus with different imaging intervals for the same examination site from the same subject. 00 sec), t 2 (= 0.17 sec), and t 3 (= 0.30 sec), a plurality of real images t 1 , t 2 , t 3 out of the real images t 1 , t 3 Thus , it is possible to generate an interpolated image t aux4 having time information t 4 (= 0.10 sec) and an interpolated image t aux5 having time information t5 (= 0.20 sec). For this reason, in the present embodiment, an interpolation image is generated at equal time intervals with respect to real images that are not equally spaced in time, so that the quality and capability of display and analysis of medical images displayed by the display unit 111 are improved. be able to.

図10に、実画像に対して一時的に複数の補間画像補い、表示部111に表示した例を示す。画像生成部107は、図10に示すように、表示部111に3次元画像のシーケンスを表示している時のみ、一時的に、画像生成部107が複数の補間画像temp1から補間画像temp3を生成し、各フレームごとに、レンダリング後に複数の補間画像temp1から補間画像temp3を破棄することで、メモリの使用量を削減でき、本実施の形態の医療用画像処理装置100への負荷を軽減することができる。 FIG. 10 shows an example in which a plurality of interpolated images are temporarily supplemented with respect to the actual image and displayed on the display unit 111. As shown in FIG. 10, the image generation unit 107 temporarily generates an interpolated image temp3 from a plurality of interpolated images temp1 only when a 3D image sequence is displayed on the display unit 111. Then, by discarding the interpolated images temp3 from the plurality of interpolated images temp1 after rendering for each frame, the memory usage can be reduced and the load on the medical image processing apparatus 100 of the present embodiment can be reduced. Can do.

次に、図11を参照して、本実施の形態に係る医療用画像処理装置100の動作処理フローを説明する。図11は、医療用画像処理装置100の動作処理フローである。   Next, an operation processing flow of the medical image processing apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 11 is an operation processing flow of the medical image processing apparatus 100.

まず、ステップST1で、ボリュームデータ生成部101は、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータ、及び各ボリュームデータの時刻情報tを生成する。そして、ステップST2へ遷移する。 First, in step ST1, the volume data generation unit 101 generates a plurality of volume data with different imaging times and time information t n of each volume data from the tomographic signals supplied by the computed tomography apparatus. And it changes to step ST2.

次に、ステップST2で、動き解析情報生成部103は、ボリュームデータ生成部101から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータt及びその時刻情報tから、動き解析情報を生成する。そして、ステップST3へ遷移する。 Next, in step ST2, the motion analysis information generator 103, of the volume data outputted from the volume data generation unit 101, a volume data t k-1 and time information t k-1, and the volume data t k and from the time information t k, to generate the motion analysis information. And it changes to step ST3.

次に、ステップST3で、補間ボリュームデータ生成部105は、動き解析情報生成部103から出力された動き解析情報に基づき、ボリュームデータtk−1とボリュームデータtとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成する。そして、ステップST4へ遷移する。 Next, in step ST3, the interpolated volume data generation unit 105, based on the motion analysis information outputted from the motion analysis information generator 103 interpolates between the volume data t k-1 and the volume data t k, interpolation Volume data t aux and its time information t aux are generated. And it changes to step ST4.

次に、ステップST4で、画像生成部107は、各ボリュームデータtk−1、tから実際の3次元画像を生成する一方、補間ボリュームデータtauxから補間3次元画像を生成し、時系列に並べる。そして、ステップST5へ遷移する。 Next, in step ST4, the image generation unit 107 generates an actual three-dimensional image from each of the volume data t k−1 and t k , while generating an interpolated three-dimensional image from the interpolated volume data t aux. Line up. And it changes to step ST5.

次に、ステップST5で、表示処理部109は、画像生成部107で時系列となった実画像tk−1、t及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う。そして、ステップST6へ遷移する。 Next, in step ST < b> 5, the display processing unit 109 displays various images for displaying the real images t k−1 and t k and the interpolated image t aux that are time-series by the image generation unit 107 on the display of the display unit 111. Process. And it changes to step ST6.

最後に、ステップST6で、表示部111は、表示処理部109で適宜処理された時系列となった実画像tk−1、t及び補間画像tauxを表示する。そして、動作処理が終了する。 Finally, in step ST6, the display unit 111 displays the real images t k−1 and t k and the interpolated image t aux in time series that are appropriately processed by the display processing unit 109. Then, the operation process ends.

以上、本実施の形態に係る医療用画像処理装置100によれば、動き解析情報に基づき補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示することができる。したがって、本実施の形態に係る医療用画像処理装置100によれば、被検体である患者3の検査部位(関心領域)の観察を精度良く行うことができる。   As described above, according to the medical image processing apparatus 100 according to the present embodiment, it is possible to accurately display a change in a specific region in an image by interpolating an interpolated image between real images based on motion analysis information. it can. Therefore, according to the medical image processing apparatus 100 according to the present embodiment, it is possible to accurately observe the examination region (region of interest) of the patient 3 as the subject.

例えば、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、従来のレンダリング法でシネ再生するだけでも、心機能の不全等を良好に観察できる。また、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、心臓マルチフェイズデータのような短い時間間隔のものだけでなく、病変の経年変化を観察するような長い時間間隔のデータにも応用できる。   For example, if the medical image processing apparatus 100 interpolates an interpolated image between real images based on motion analysis information, it is possible to satisfactorily observe a cardiac function failure or the like only by performing cine reproduction using a conventional rendering method. Further, if the medical image processing apparatus 100 interpolates interpolated images between real images based on the motion analysis information, it is possible to observe not only those with short time intervals such as cardiac multiphase data but also aging of lesions. It can also be applied to long time interval data.

さらに、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、ストレイン解析、パフュージョン解析、心機能解析などで、再現性のある全自動化された定量化により、従来よりも安価に正確で結果を誰もが得られる。さらに、また、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、セグメンテーションにより隣接する関心領域(臓器)を設定し、動き解析情報により複数の臓器の動きが同一の部分を推定、臓器間癒着の可能性あり、として表示部111に表示することができる。   Furthermore, when the medical image processing apparatus 100 interpolates interpolated images between real images based on motion analysis information, it is possible to perform reproducible fully automated quantification in strain analysis, perfusion analysis, cardiac function analysis, and the like. Anyone can get accurate results at a lower price than before. Furthermore, when the medical image processing apparatus 100 interpolates interpolated images between real images based on motion analysis information, adjacent regions of interest (organs) are set by segmentation, and movements of a plurality of organs are determined by motion analysis information. Can be displayed on the display unit 111 as the same part is estimated and there is a possibility of adhesion between organs.

また、本実施の形態に係る医療用画像処理装置100によれば、動き解析情報に基づき補間画像を実画像間に補間すれば、表示部111のノイズ軽減、ノイズのばらつき調整が可能である。   Further, according to the medical image processing apparatus 100 according to the present embodiment, if the interpolated image is interpolated between the actual images based on the motion analysis information, the noise of the display unit 111 can be reduced and the noise variation can be adjusted.

例えば、医療用画像処理装置100が生成した動き解析情報によって、実画像及び補間画像の対応画素を特定することにより、本来の詳細な画像情報を失うことなくノイズを軽減できる。また、医療用画像処理装置100により、CTマルチフェイズ検査において、X線照射量の多いフェイズと少ないフェイズが混在しても、X線照射量の少ないフェイズについては、前後のフェイズの画素値を利用することで、良好な補間画像を得られる。   For example, the noise can be reduced without losing the original detailed image information by specifying the corresponding pixels of the actual image and the interpolated image based on the motion analysis information generated by the medical image processing apparatus 100. Further, even if a phase with a large amount of X-ray irradiation and a phase with a small amount of X-ray irradiation are mixed in the CT multi-phase examination by the medical image processing apparatus 100, the pixel values of the previous and subsequent phases are used for the phase with a small amount of X-ray irradiation By doing so, a good interpolation image can be obtained.

さらに、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、重要なフェイズのみX線照射量を多くして実画像を生成し、それ以外のフェイズについては、補間画像を生成することで、患者3のX線の被ばく量を低減することができる。   Furthermore, if the medical image processing apparatus 100 interpolates an interpolated image between real images based on motion analysis information, the X-ray irradiation amount is increased only in an important phase, and a real image is generated. By generating an interpolated image, it is possible to reduce the amount of X-ray exposure of the patient 3.

なお、本実施の形態に係る医療用画像処理装置100では、図1に示すコンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部101に供給されているが、これに限らない。ボリュームデータ生成部101に供給される信号は、コンピュータ断層撮影装置以外に、たとえば、MRI装置(Magnetic Resonance Imaging)といった、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行う装置からの断層信号も含まれる。   In the medical image processing apparatus 100 according to the present embodiment, a large number of continuous tomographic signals in the diagnosis range of the patient 3 are supplied to the volume data generation unit 101 by the computed tomography apparatus shown in FIG. However, it is not limited to this. In addition to the computed tomography apparatus, the signal supplied to the volume data generation unit 101 generates a tomographic image of the examination site from the volume data of the subject, such as an MRI apparatus (Magnetic Resonance Imaging), and displays it on the monitor screen. Also included are tomographic signals from devices that perform diagnosis.

なお、本実施の形態において、ボリュームデータtの時刻tは、ボリュームデータtk−1から所定時間経過した後の時刻であるが、この所定時間は任意の時間であり、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。 In this embodiment, the time t k of the volume data t k is the time after a lapse from the volume data t k-1 a predetermined time, the predetermined time is arbitrary time, for example, the subject It can be set as appropriate depending on the time when a change in the examination site (region of interest) of (patient 3) is predicted to occur.

なお、本実施の形態において、表示処理部109が、画像生成部107で時系列となった実画像tk−1、t及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う際、以下のような処理が表示部111で可能なように設定されても良い。つまり、(1)動き解析、マスク・パス等の編集、補間画像の生成は、時間・場所・処理装置に関して別々に行え、(2)動き解析情報と、マスク・パス等の編集状態(ワークスペース)を、別のファイルとして保存し、後で組み合わせて補間画像を生成する、(3)動き解析情報と、マスク・パス・レンダリングの情報を含む画像ファイルを、後で組み合わせて補間(増量)画像を生成する、(4)補間画像の生成やジオメトリ情報の伝播の機能があるワークステーション上に、動き解析情報の有無を表示し、ユーザに動き解析が完了したことを即時に知らせる、(5)異なる精度、アルゴリズム、による複数の動き解析情報のマネージメント(削除・コピー・移動)ができる。 In the present embodiment, the display processing unit 109 displays the real images t k−1 and t k and the interpolated image t aux that are time-series in the image generation unit 107 on the display of the display unit 111. When performing various types of processing, the following processing may be set to be possible on the display unit 111. In other words, (1) Motion analysis, editing of mask / path, etc., and generation of interpolated images can be performed separately with respect to time / place / processing device. (2) Motion analysis information and editing status of mask / path (workspace) ) As a separate file and later combined to generate an interpolated image. (3) Interpolated (increased) image by combining image file containing motion analysis information and mask path rendering information later (4) Display the presence / absence of motion analysis information on a workstation having functions of generating an interpolation image and propagating geometry information, and immediately notify the user that the motion analysis has been completed. (5) Multiple motion analysis information can be managed (deleted / copied / moved) with different accuracy and algorithm.

なお、本実施の形態では、ボリュームデータを生成した時刻情報を、コンピュータ断層撮影装置により供給された時刻に基づき、生成しているが、これに限らない。 In the present embodiment, the time information at which the volume data is generated is generated based on the time t supplied by the computed tomography apparatus, but the present invention is not limited to this.

なお、本実施の形態の説明に用いた各機能ブロック(図1参照)は、典型的には集積回路であるLSIとして実現される。特に、実画像及び補間画像を生成する計算処理は、GPU(Graphic Processing Unit)により行うことができる。GPUは、汎用のCPU(Central Processing Unit)と比較して画像処理に特化した設計なされている演算処理装置で、通常のCPUとは別個にコンピュータに搭載される。   Each functional block (see FIG. 1) used in the description of the present embodiment is typically realized as an LSI that is an integrated circuit. In particular, calculation processing for generating an actual image and an interpolation image can be performed by a GPU (Graphic Processing Unit). The GPU is an arithmetic processing unit designed specifically for image processing as compared with a general-purpose CPU (Central Processing Unit), and is mounted on a computer separately from a normal CPU.

なお、本実施の形態では、心臓の観察に用いる例を示したが、これに限らない。例えば、腫瘍組織の経時変化の観察、血流灌流の観察などに用いることも出来る。   In the present embodiment, the example used for observing the heart is shown, but the present invention is not limited to this. For example, it can be used for observation of changes in tumor tissue over time, observation of blood flow perfusion, and the like.

本発明に係る医療用画像処理装置及び医療用画像処理プログラムは、動き解析情報に基づき補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示するという効果を有し、医療用画像処理装置等として有用である。   The medical image processing apparatus and the medical image processing program according to the present invention have an effect of accurately displaying a change in a specific region in an image by interpolating an interpolated image between real images based on motion analysis information. And is useful as a medical image processing apparatus.

100 医療用画像処理装置
101 ボリュームデータ生成部
103 動き解析情報生成部
105 補間ボリュームデータ生成部
107 画像生成部
109 表示処理部
111 表示部
113 操作部
DESCRIPTION OF SYMBOLS 100 Medical image processing apparatus 101 Volume data generation part 103 Motion analysis information generation part 105 Interpolation volume data generation part 107 Image generation part 109 Display processing part 111 Display part 113 Operation part

Claims (8)

時刻情報を有する複数のボリュームデータのそれぞれを可視化する医療用画像処理装置であって、
前記複数のボリュームデータ及び各ボリュームデータが有する時刻情報に基づき、前記複数のボリュームデータを補間する補間ボリュームデータと当該補間ボリュームデータの時刻情報を生成する生成部と、
前記複数のボリュームデータ及び前記補間ボリュームデータを可視化し表示する表示部と、を備え、
前記生成部は、
前記補間ボリュームデータの時刻情報と、当該時刻情報の直前のボリュームデータの時刻情報との間隔が、前記補間ボリュームデータの時刻情報と、当該時刻情報の直後のボリュームデータの時刻情報との間隔とは、異なる非等間隔となるように、前記補間ボリュームデータの時刻情報を設定することを特徴とする医療用画像処理装置。
A medical image processing apparatus for visualizing each of a plurality of volume data having time information,
Interpolation volume data that interpolates the plurality of volume data based on the plurality of volume data and the time information that each volume data has, and a generation unit that generates time information of the interpolation volume data;
A display unit that visualizes and displays the plurality of volume data and the interpolated volume data;
The generator is
The interval between the time information of the interpolated volume data and the time information of the volume data immediately before the time information is the interval between the time information of the interpolated volume data and the time information of the volume data immediately after the time information. The medical image processing apparatus, wherein the time information of the interpolation volume data is set so as to have different unequal intervals.
請求項1に記載の医療用画像処理装置であって、
前記生成部は、
前記複数のボリュームデータ上の対応する位置、又は対応する物体を取得することで、動き解析情報である当該対応により、前記補間ボリュームデータを生成することを特徴とする医療用画像処理装置。
The medical image processing apparatus according to claim 1,
The generator is
A medical image processing apparatus, wherein the interpolated volume data is generated by acquiring the corresponding position on the plurality of volume data or the corresponding object, and by the correspondence as motion analysis information.
請求項2に記載の医療用画像処理装置であって、
前記生成部は、
前記対応に表れる特徴のある時刻を、前記補間ボリュームデータの時刻情報として生成することを特徴とする医療用画像処理装置。
The medical image processing apparatus according to claim 2,
The generator is
A medical image processing apparatus, characterized in that a time having a characteristic appearing in the correspondence is generated as time information of the interpolation volume data.
請求項2に記載の医療用画像処理装置であって、
前記生成部は、
当該補間ボリュームの少なくとも一部を、前記対応を非線形補間して生成することを特徴とする医療用画像処理装置。
The medical image processing apparatus according to claim 2,
The generator is
A medical image processing apparatus, wherein at least a part of the interpolation volume is generated by nonlinear interpolation of the correspondence.
請求項1に記載の医療用画像処理装置であって、
前記生成部は、
2組の前記時刻情報を有する複数のボリュームデータのうち、一方の組から生成する補間ボリュームデータの時刻情報を、
前記2組の前記時刻情報を有する複数のボリュームデータのうち、他方の組に含まれる一のボリュームデータの時刻情報とする医療用画像処理装置。
The medical image processing apparatus according to claim 1,
The generator is
Time information of interpolation volume data generated from one set among a plurality of volume data having two sets of time information,
A medical image processing apparatus that uses time information of one volume data included in the other set of the plurality of volume data having the two sets of time information.
請求項1に記載の医療用画像処理装置であって、
前記生成部は、
2組の前記時刻情報を有する複数のボリュームデータのうち、一方の組から生成する補間ボリュームデータの時刻情報を、
前記2組の前記時刻情報を有する複数のボリュームデータのうち、他方の組から生成する補間ボリュームデータの時刻情報とする医療用画像処理装置。
The medical image processing apparatus according to claim 1,
The generator is
Time information of interpolation volume data generated from one set among a plurality of volume data having two sets of time information,
A medical image processing apparatus which uses time information of interpolated volume data generated from the other of the plurality of volume data having the two sets of time information.
請求項1に記載の医療用画像処理装置であって、
前記生成部は、前記補間ボリュームデータの時刻情報を、医療画像撮影装置と共に使用する外部装置から取得された時刻に基づき生成することを特徴とする医療用画像処理装置。
The medical image processing apparatus according to claim 1,
The medical image processing apparatus, wherein the generation unit generates time information of the interpolation volume data based on a time acquired from an external device used together with a medical image photographing device.
医療用画像処理プログラムであって、
コンピュータを、
複数のボリュームデータ、及び当該複数のボリュームデータのそれぞれが有する時刻情報に基づき、前記複数のボリュームデータを補間する補間ボリュームデータと当該補間ボリュームデータの時刻情報を生成する生成手段と、
前記複数のボリュームデータ及び前記補間ボリュームデータを可視化し表示する表示手段として機能させ、
前記生成手段は、前記補間ボリュームデータの時刻情報と、当該時刻情報の直前のボリュームデータの時刻情報との間隔が、前記補間ボリュームデータの時刻情報と、当該時刻情報の直後のボリュームデータの時刻情報との間隔とは、異なる非等間隔となるように、前記補間ボリュームデータの時刻情報を設定することを特徴とする医療用画像処理プログラム。
A medical image processing program,
Computer
Interpolation volume data for interpolating the plurality of volume data and generation means for generating time information of the interpolation volume data based on a plurality of volume data and time information possessed by each of the plurality of volume data;
Function as a display means for visualizing and displaying the plurality of volume data and the interpolated volume data;
The generating means is configured such that the interval between the time information of the interpolated volume data and the time information of the volume data immediately before the time information is the time information of the interpolated volume data and the time information of the volume data immediately after the time information. The medical image processing program is characterized in that the time information of the interpolated volume data is set so that the interval is different from the interval.
JP2009219458A 2009-09-24 2009-09-24 Medical image processor and medical image processing program Pending JP2011067279A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009219458A JP2011067279A (en) 2009-09-24 2009-09-24 Medical image processor and medical image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009219458A JP2011067279A (en) 2009-09-24 2009-09-24 Medical image processor and medical image processing program

Publications (1)

Publication Number Publication Date
JP2011067279A true JP2011067279A (en) 2011-04-07

Family

ID=44013233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009219458A Pending JP2011067279A (en) 2009-09-24 2009-09-24 Medical image processor and medical image processing program

Country Status (1)

Country Link
JP (1) JP2011067279A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106870A (en) * 2011-11-24 2013-06-06 Toshiba Corp Medical image processing apparatus
CN103845073A (en) * 2012-12-04 2014-06-11 美国西门子医疗解决公司 MR scan selection for PET attenuation correction
JP2016042876A (en) * 2014-08-19 2016-04-04 株式会社東芝 Medical image processing device and medical image processing method
JP2016073560A (en) * 2014-10-08 2016-05-12 ザイオソフト株式会社 Parameter processor, parameter processing method, and parameter processing program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244659A (en) * 2002-02-14 2003-08-29 Toshiba Corp Frame interpolation method
JP2006192151A (en) * 2005-01-14 2006-07-27 Toshiba Corp Image processor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244659A (en) * 2002-02-14 2003-08-29 Toshiba Corp Frame interpolation method
JP2006192151A (en) * 2005-01-14 2006-07-27 Toshiba Corp Image processor

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106870A (en) * 2011-11-24 2013-06-06 Toshiba Corp Medical image processing apparatus
US9519993B2 (en) 2011-11-24 2016-12-13 Toshiba Medical Systems Corporation Medical image processing apparatus
CN103845073A (en) * 2012-12-04 2014-06-11 美国西门子医疗解决公司 MR scan selection for PET attenuation correction
JP2016042876A (en) * 2014-08-19 2016-04-04 株式会社東芝 Medical image processing device and medical image processing method
JP2016073560A (en) * 2014-10-08 2016-05-12 ザイオソフト株式会社 Parameter processor, parameter processing method, and parameter processing program

Similar Documents

Publication Publication Date Title
US11625151B2 (en) Medical image providing apparatus and medical image processing method of the same
US9251560B2 (en) Medical image diagnosis apparatus and phase determination method using medical image diagnosis apparatus
JP5068516B2 (en) Method and system for displaying medical images
CN102335004B (en) Method and computed tomography scanner for carrying out an angiographic examination
WO2005046478A1 (en) Image processing method, image processing device, medical image diagnosis support system, and time-axis direction filtering method
JP2018083056A (en) Medical image processing apparatus, medical image processing method, and x-ray ct apparatus
US10537293B2 (en) X-ray CT system, image display device, and image display method
JP2008035895A (en) Image processing method and image processing program
JP2012000135A (en) Multi-modality dynamic image diagnostic apparatus
WO2011030637A1 (en) X-ray ct device
JP2011067279A (en) Medical image processor and medical image processing program
JP5408493B2 (en) Medical image processing apparatus and medical image processing program
CN109009183B (en) Image processing apparatus, X-ray diagnostic apparatus, and image processing method
JP2011092547A (en) Medical image processor and medical image processing program
US9339249B2 (en) Medical image processing apparatus
JP5722984B2 (en) Medical image processing apparatus and medical image processing program
US20150164450A1 (en) System and Method for Real Time 4D Quantification
JP5238893B1 (en) X-ray CT apparatus, image display apparatus, and image display method
JP2016042876A (en) Medical image processing device and medical image processing method
KR101681313B1 (en) Medical image providing apparatus and medical image providing method thereof
JP6777407B2 (en) Helical CT device, medical image processing method, and medical image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131105