JP2016182303A - Image diagnostic apparatus, control method thereof, program, and computer readable storage medium - Google Patents
Image diagnostic apparatus, control method thereof, program, and computer readable storage medium Download PDFInfo
- Publication number
- JP2016182303A JP2016182303A JP2015065272A JP2015065272A JP2016182303A JP 2016182303 A JP2016182303 A JP 2016182303A JP 2015065272 A JP2015065272 A JP 2015065272A JP 2015065272 A JP2015065272 A JP 2015065272A JP 2016182303 A JP2016182303 A JP 2016182303A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- optical
- cross
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は画像診断装置及びその制御方法、プログラム及びコンピュータ可読記憶媒体に関するものである。 The present invention relates to an image diagnostic apparatus, a control method thereof, a program, and a computer-readable storage medium.
光干渉断層診断装置ではプローブが用いられる。このプローブは、大きく分けてシースと、シース内に収容され、シースの軸に沿って移動可能であり、且つ、回転自在なイメージングコアで構成される。シースの先端部は、光を透過するための透明部材で構成される。そして、イメージングコアは、光学レンズと光学ミラーを有するハウジングと、光学レンズと接続される光ファイバを収容し、ハウジングへの回転駆動力を伝達するための駆動シャフトで構成される。そして、プローブは、その後端をプルバック部(又はモータドライブユニット(MDU)とも呼ばれる)に接続される。プルバック部は、診断装置本体とプローブとの中継装置として機能するものであり、診断装置本体とイメージングコアとの間での光学的な接続を行うための構造、並びに、プローブ内の駆動シャフトを回転させるための駆動部、並びに、駆動シャフトを所定速度で引っ張るための駆動部を有するものである。 A probe is used in the optical coherence tomography diagnostic apparatus. This probe is roughly divided into a sheath, and an imaging core that is accommodated in the sheath, movable along the axis of the sheath, and is rotatable. The distal end portion of the sheath is made of a transparent member for transmitting light. The imaging core includes a housing having an optical lens and an optical mirror, an optical fiber connected to the optical lens, and a drive shaft for transmitting a rotational driving force to the housing. The probe is connected at its rear end to a pullback unit (also called a motor drive unit (MDU)). The pull-back unit functions as a relay device between the diagnostic device body and the probe, and rotates the drive shaft in the probe and the structure for optical connection between the diagnostic device body and the imaging core. And a drive unit for pulling the drive shaft at a predetermined speed.
実際に診断する際には、プローブの先端を患者の診断対象の血管に導いた後、プルバック部の駆動制御を開始する。この結果、イメージングコアが回転しながら、その光学ミラーを介して血管壁に光を照射し、血管からの反射光を再度、その光学ミラーを介して受光することでラジアル走査が行われる。この間に得られた反射光が診断装置に提供され、診断装置では血管の断面画像を構成することになる。また、プルバック部は、この光ファイバを回転させながら、所定速度で引っ張る操作(一般にプルバック部と呼ばれる所以である)を行うことで、血管の長手方向の内壁の3次元画像を形成することも可能になる(特許文献1)。 When actually diagnosing, after driving the tip of the probe to the blood vessel to be diagnosed by the patient, drive control of the pullback unit is started. As a result, while the imaging core rotates, radial scanning is performed by irradiating the blood vessel wall with light through the optical mirror and receiving the reflected light from the blood vessel through the optical mirror again. The reflected light obtained during this time is provided to the diagnostic apparatus, and the diagnostic apparatus constitutes a cross-sectional image of the blood vessel. In addition, the pullback unit can form a three-dimensional image of the inner wall in the longitudinal direction of the blood vessel by performing an operation of pulling at a predetermined speed while rotating the optical fiber (which is generally referred to as a pullback unit). (Patent Document 1).
また、OCTの改良型として、波長掃引を利用した光干渉断層診断装置(SS−OCT:Swept-Source Optical Coherence Tomography)も開発されている。 Further, as an improved type of OCT, an optical coherence tomography (SS-OCT) using wavelength sweep has been developed.
プローブは、複雑な形状の血管に沿って挿入されるので、必然、イメージングコアとシースとが接触する箇所がいくつも発生する可能性がある。つまり、その接触位置で回転力の伝達を阻害する摩擦力が発生することとなる。この結果、プルバック部での回転速度が一定であっても、イメージングコアの先端の光学レンズの回転速度がその速度と同じになるとは限らない。 Since the probe is inserted along a complex-shaped blood vessel, there may be a number of points where the imaging core and the sheath come into contact with each other. That is, a frictional force that inhibits the transmission of the rotational force is generated at the contact position. As a result, even if the rotation speed at the pull-back portion is constant, the rotation speed of the optical lens at the tip of the imaging core is not always the same.
しかしながら、これまでの画像診断装置では、プローブ内の光学レンズの回転速度を検出することができなかった。つまり、プルバック部によるイメージングコアの回転速度が、プローブ内の光学レンズの回転速度と等しいものとして、血管断面画像を再構成し、表示していた。従って、仮に再構成した血管断面画像に光学レンズの速度変化が起因した歪みがあったとしても、それを示す情報が無いわけであるから、医師が誤った診断を行う可能性もある。 However, conventional diagnostic imaging apparatuses cannot detect the rotation speed of the optical lens in the probe. That is, the blood vessel cross-sectional image is reconstructed and displayed on the assumption that the rotation speed of the imaging core by the pullback portion is equal to the rotation speed of the optical lens in the probe. Therefore, even if the reconstructed blood vessel cross-sectional image has distortion caused by the change in the speed of the optical lens, there is no information indicating this, so the doctor may make a wrong diagnosis.
本発明は上記問題点に鑑みなされたものであり、光干渉画像診断装置が利用するプローブ内の光学レンズの回転速度を検出可能とし、画像診断に活用する技術を提供しようとするものである。 The present invention has been made in view of the above problems, and it is an object of the present invention to provide a technique that can detect the rotational speed of an optical lens in a probe used by an optical interference image diagnostic apparatus and that can be used for image diagnosis.
上記課題を解決するため、例えば本発明の画像診断装置は以下の構成を有する。すなわち、
光送受信部を先端部に有するイメージングコアを回転自在に、且つ、移動自在に収容したプローブを用い、波長掃引光源からの光に基づく光干渉を利用して、体腔内の断面画像を生成する画像診断装置であって、
前記プローブからの光と参照光との合成による干渉光を、所定の偏光フィルタを介し、偏光干渉データとして出力する偏光検出手段と、
前記光送受信部の回転中の各角度を示すタイミングにおいて前記偏光検出手段より得られた偏光干渉データから、前記光送受信部の予め設定された部位の反射強度値を検出する検出手段と、
該検出手段で検出した、各タイミングにおける反射強度値に基づき、前記光送受信部の回転速度を算出する回転速度算出手段とを有する。
In order to solve the above problems, for example, an image diagnostic apparatus of the present invention has the following configuration. That is,
An image that generates a cross-sectional image in a body cavity using a probe that accommodates an imaging core having an optical transmission / reception unit at a distal end in a rotatable and movable manner, and uses optical interference based on light from a wavelength swept light source. A diagnostic device,
Polarization detection means for outputting interference light by combining light from the probe and reference light as polarization interference data via a predetermined polarization filter;
Detecting means for detecting a reflection intensity value of a preset part of the optical transmitting / receiving unit from polarization interference data obtained from the polarization detecting unit at a timing indicating each angle during rotation of the optical transmitting / receiving unit;
Rotational speed calculation means for calculating the rotational speed of the optical transmission / reception unit based on the reflection intensity value at each timing detected by the detection means.
本発明によれば、光干渉画像診断装置が利用するプローブ内のイメージングコアの先端部の回転速度が検出可能となり、画像診断への有効活用も可能となる。 According to the present invention, the rotational speed of the distal end portion of the imaging core in the probe used by the optical interference image diagnostic apparatus can be detected, and it can be effectively used for image diagnosis.
以下、本発明に係る実施形態について添付図面を参照しながら詳細に説明する。なお、以下に述べる実施形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。 Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. The embodiments described below are preferable specific examples of the present invention, and thus various technically preferable limitations are given. However, the scope of the present invention is particularly described to limit the present invention. As long as there is not, it is not restricted to these aspects.
図1は、実施形態における光干渉を用いた画像診断装置100の外観構成を示している。
FIG. 1 shows an external configuration of an image
図1に示すように、画像診断装置100は、プローブ101と、プルバック部102と、操作制御装置103とを備え、プルバック部102と操作制御装置103とは、コネクタ105を介して、信号線や光ファイバを収容したケーブル104により接続されている。
As illustrated in FIG. 1, the
プローブ101は、直接血管内に挿入されるものである。そして、プローブ101は、その長手方向に移動自在であって、且つ、回転自在なイメージングコアを収容している。このイメージングコアの先端には、画像診断装置100から伝送されてきた光を(測定光)を連続的に血管内に送信するとともに、血管内からの反射光を連続的に受信する光送受信部を収容したハウジングが設けられている。画像診断装置100では、該イメージングコアを用いることで血管内部の状態を測定する。
The
プルバック部102は、プローブ101を着脱可能に取り付け、内蔵されたモータを駆動させることでプローブ101に内挿されたイメージングコアの血管内の軸方向の移動及びその軸に対する回転動作を規定している。また、プルバック部102は、イメージングコア内の光送受信部と、操作制御装置103との間の信号の中継装置として機能する。すなわち、プルバック部102は、操作制御装置103からの測定光を光送受信部へ伝達すると共に、光送受信部で検出した生体組織からの反射光を操作制御装置103に伝達する機能を有する。
The pull-
操作制御装置103は、測定を行うにあたり、各種設定値を入力するための機能や、測定により得られた光干渉データを処理し、各種血管像を表示するための機能を備える。
The
操作制御装置103において、111は本体制御部である。この本体制御部111は、イメージングコアからの反射光と、光源からの光を分離することで得られた参照光とを干渉させることで干渉光データを生成するとともに、該干渉光データをFFT(高速フーリエ変換)することで、回転中心位置から径方向に向かうラインデータを生成する。そして、ラインデータの補間処理を経て光干渉に基づく血管断面画像を生成する。
In the
111−1はプリンタ及びDVDレコーダであり、本体制御部111における処理結果を印刷したり、データとして記憶したりする。112は操作パネルであり、ユーザは該操作パネル112を介して、各種設定値及び指示の入力を行う。113は表示装置としてのモニタ(たとえばLCD)であり、本体制御部111において生成された各種断面画像を表示する。114は、ポインティングデバイス(座標入力装置)としてのマウスである。
Reference numeral 111-1 denotes a printer and a DVD recorder, which prints processing results in the main
次に、画像診断装置100の機能構成について説明する。図2は、画像診断装置100のブロック構成図である。以下、同図を用いて、波長掃引型OCTの機能構成について説明する。
Next, the functional configuration of the
図中、201は画像診断装置の全体の制御を司る信号処理部であり、マイクロプロセッサをはじめ、いくつかの回路で構成される。210はハードディスクに代表される不揮発性の記憶装置であり、信号処理部201が実行する各種プログラムやデータファイルを格納している。202は信号処理部201内に設けられたメモリ(RAM)である。203は波長掃引光源であり、時間軸に沿って、予め設定された範囲内で変化する波長の光を繰り返し発生する光源である。
In the figure,
波長掃引光源203から出力された光は、第1のシングルモードファイバ271の一端に入射され、先端側に向けて伝送される。第1のシングルモードファイバ271は、途中の光ファイバカップラ272において第4のシングルモードファイバ275と光学的に結合されている。
The light output from the wavelength swept
第1のシングルモードファイバ271に入射され、光ファイバカップラ272より先端側に発した光は、コネクタ105を介して、第2のシングルモードファイバ273に導かれる。この第2のシングルモードファイバ273の他端はプルバック部102内の光ロータリージョイント230に接続されている。
The light incident on the first
一方、プローブ101はプルバック部102と接続するためのアダプタ101aを有する。そして、このアダプタ101aによりプローブ101をプルバック部102に接続することで、プローブ101が安定してプルバック部102に保持される。さらに、プローブ101内に回転自在に収容されたイメージングコア251には第3のシングルモードファイバ274が収容されおり、この第3のシングルモードファイバ274の端部が、光ロータリージョイト230に接続される。この結果、第2シングルモードファイバ273と第3シングルモードファイバ274が光学的に結合される。第3のシングルモードファイバ274の他方端(プローブ101の先頭部分側)には、光を回転軸に対してほぼ直行する方向に出射するミラーとレンズで構成される光送受信部250(詳細は図3を用いて説明する)が設けられている。
On the other hand, the
上記の結果、波長掃引光源203が発した光は、第1シングルモードファイバ271、第2シングルモードファイバ273、第3のシングルモードファイバ274を介して、第3のシングルモードファイバ274の端部に設けられた光送受信部250に導かれる。光送受信部250は、この光を、第3のシングルモードファイバ274の軸に直行する方向に出射するとともに、その反射光を受信する。そして、光送受信部250で受信された反射光は、今度は逆に導かれ、操作制御装置103に返される。
As a result, the light emitted from the wavelength swept
一方、光ファイバカップラ272に結合された第4のシングルモードファイバ275の反対の端部には、参照光の光路長を微調整する光路長調整機構220が設けられている。この光路長可変機構220は、プローブ101を交換した場合など、個々のプローブ101の長さのばらつきを吸収できるよう、その長さのばらつきに相当する光路長を変化させる光路長変更手段として機能する。そのため、第4のシングルモードファイバ275に端部に位置するコリメートレンズ225が、その光軸方向である矢印226で示すように移動自在な1軸ステージ224上に設けられている。
On the other hand, an optical path
具体的には、1軸ステージ224はプローブ101を交換した場合に、プローブ101の光路長のばらつきを吸収できるだけの光路長の可変範囲を有する光路長変更手段として機能する。さらに、1軸ステージ224はオフセットを調整する調整手段としての機能も備えている。例えば、プローブ101の先端が生体組織の表面に密着していない場合でも、1軸ステージにより光路長を微小変化させることにより、生体組織の表面位置からの反射光と干渉させる状態に設定することが可能である。
Specifically, when the
1軸ステージ224で光路長が微調整され、グレーティング221、レンズ222を介してミラー223にて反射された光は再び第4のシングルモードファイバ275に導かれ、光ファイバカップラ272にて、第2のシングルモードファイバ273側から得られた光と混合されて、干渉光としてフォトダイオード部(PD)204にて受光される。なお、偏光分離検出回路228については後述することとする。
The optical path length is finely adjusted by the
このようにしてフォトダイオード部204にて受光された干渉光は光電変換され、アンプ205により増幅された後、復調器206に入力される。この復調器206では干渉した光の信号部分のみを抽出する復調処理を行い、その出力は干渉光信号としてA/D変換器207に入力される。
The interference light received by the
A/D変換器207では、干渉光信号を例えば90MHzで2048ポイント分サンプリングして、1ラインのデジタルデータ(干渉光データ)を生成する。なお、サンプリング周波数を90MHzとしたのは、波長掃引の繰り返し周波数を40kHzにした場合に、波長掃引の周期(25μsec)の90%程度を2048点のデジタルデータとして抽出することを前提としたものであり、特にこれに限定されるものではない。
The A /
A/D変換器207にて生成されたライン単位の干渉光データは、信号処理部201に入力され、一旦、メモリ202に格納される。そして、信号処理部201では干渉光データをFFTにより周波数分解して深さ方向のデータ(ラインデータ)を生成される。信号処理部201は、このラインデータから、血管内の各位置での光断面画像を構築し、場合によっては、所定のフレームレートでモニタ113に出力する。
The line-by-line interference light data generated by the A /
信号処理部201は、更に光路長調整用駆動部209、通信部208と接続されている。信号処理部201は光路長調整用駆動部209を介して1軸ステージ224の位置の制御(光路長制御)を行う。
The
通信部208は、いくつかの駆動回路を内蔵するとともに、信号処理部201の制御下にてプルバック部102と通信する。具体的には、プルバック部102内の光ロータリージョイントによる第3のシングルモードファイバの回転を行うためのラジアル走査モータへの駆動信号の供給、ラジアルモータの回転位置を検出するためのエンコーダ部242からの信号受信、並びに、第3のシングルモードファイバ274を所定速度で引っ張るための直線駆動部243への駆動信号の供給である。
The
なお、信号処理部201における上記処理も、所定のプログラムがコンピュータによって実行されることで実現されるものとする。
Note that the above processing in the
上記構成において、プローブ101を患者の診断対象の血管位置(冠状動脈など)に位置させると、ユーザの操作によりプローブ101の先端に向けて、ガイディングカテーテルなどを通じて透明なフラッシュ液を血管内に放出させる。血液の影響を除外するためである。そして、ユーザがスキャン開始の指示入力を行うと、信号処理部201は、波長掃引光源203を駆動し、ラジアル走査モータ241並びに直線駆動部243を駆動させる(以降、ラジアル走査モータ241と直線駆動部243の駆動による光の照射と受光処理をスキャニングと呼ぶ)。この結果、波長掃引光源203から波長掃引光が、上記のような経路でイメージングコア251の先端の光送受信部250に供給される。このとき、プルバック部102の駆動制御により、イメージングコア251は回転しながら、回転軸に沿って移動する。この結果、光送受信部250も、回転しながら、なおかつ、血管軸に沿って移動しながら、血管内腔面への光の出射とその反射光の受信を行うことになる。
In the above configuration, when the
次に、プローブ101内に収容されたイメージングコア251の先端部の構造について説明する。
Next, the structure of the distal end portion of the
図3は、プローブ部101、並びに、それに収容されたイメージングコア250の先端部の断面図である。プローブ部101の先端部は、光を透過するために透明なカテーテルシース261で構成される。イメージングコア251は、第3のシングルモードファイバ274を収容しプルバック部102からの回転力(図示の矢印302)を伝達するための駆動シャフト262と、その先端に取りつけられた光送受信部250を収容するハウジング263で構成される。図示の一点鎖線が回転中心軸である。また、プルバック部102が駆動シャフト262を図示の矢印303で示す方向に引っ張ることで、シース201内を、光送受信部250が移動する。光像受信部250は、図示のように半球形状のボールレンズで構成される。この構造により、その傾斜面により、第3のシングルモードファイバ274から入射した光を、ほぼ直交する方向(図示の矢印301の方向)に反射する。この結果、血管組織に向けて光が照射され、その反射光が再びレンズを介して第3のシングルモードファイバ274に向けて転送されることになる。
FIG. 3 is a cross-sectional view of the
ここで、1枚の光断面画像の生成にかかる処理を、図4を用いて簡単に説明する。同図は光送受信部250が位置する血管の内腔面401の断面画像の再構成処理を説明するための図である。光送受信部250の1回転(2π=360度)する間に、複数回の測定光の送信と受信を行う。波長掃引光源203は、光送受信部250による1回の光の送受信を行う期間で、時間軸に変動する波長を持つ光を発生する。そのため、1回の光の送受信により、その光を照射した方向の1ラインの干渉光データをFFTすることで、回転中心位置から径方向に向かう各位置における光の反射強度(もしくは吸収量)を示す「ラインデータ」が得られる。従って、1回転の間に、例えば512回の光の送受信を行うことで、回転中心402から放射線状に延びる512個のラインデータを得ることができる。この512個のラインデータは、回転中心位置の近傍では密で、回転中心位置から離れるにつれて互いに疎になっていく。そこで、この各ライン間の空いた空間における画素については、周知の補間処理を行なって生成していき、人間が視覚できる2次元の断面画像を生成することになる。また、生成された2次元断面画像を血管軸に沿って互いに接続することで、3次元血管画像を得ることもできる。なお、2次元の断面画像の中心位置は、光送受信部250の回転中心位置と一致するが、血管断面の中心位置ではない点に注意されたい。また、微弱であるが、光送受信部250のレンズ表面(図3参照)、カテーテルシース201の内面、及び、外面の各境界面で反射が起こる。つまり、回転中心位置の近傍には3つの円が現れる。このうち、一番内側の円403が、光送受信部250のレンズ表面での反射が起因するものである。
Here, a process for generating one optical cross-sectional image will be briefly described with reference to FIG. This figure is a diagram for explaining the reconstruction processing of the cross-sectional image of the
以上、実施形態における画像診断装置の基本的な構成と機能について説明した。次に、実施形態の、イメージングコア251の先端部の光送受信部250の回転速度検出の原理とその構成を説明する。
The basic configuration and function of the diagnostic imaging apparatus in the embodiment have been described above. Next, the principle and configuration of the rotational speed detection of the optical transmission /
光ファイバカップラ272にて生成された干渉光は、p,s 二つの偏光成分を持つ。先に説明した偏光分離検出回路228は、このp偏光、s偏光をそれぞれ分離して検出し、それぞれ別々にA/D変換器207にてA/D変換される。信号処理部201はこれらの信号の位相情報を消去した状態で、二つの信号を重ね合わせ通常の偏光分離を行わない強度信号を生成することができる。
The interference light generated by the
一方でこれら2つの偏光成分についてそのまま演算をおこない、それぞれの偏光の強度信号として生成することも可能である(以下偏光干渉データという)。 On the other hand, these two polarization components can be directly calculated and generated as intensity signals of the respective polarizations (hereinafter referred to as polarization interference data).
信号処理部201は、偏光分離検出器228からの偏光干渉データをダイレクトに受信し、偏光分離を行わない通常の場合と同様にFFTを施し、ラインデータを生成する。そして、信号処理部201は、生成されたラインデータを参照し、回転中心位置から最初のピーク、すなわち、光送受信部250のレンズ表面(図3参照)での反射強度を求める。レンズ表面での反射光であるので、生体組織の影響はない。
The
図8は、偏光分離検出器228より得られた偏光干渉データをFFTして、光送受信部250のレンズ表面の反射強度を示す偏光成分曲線である。図示の垂直方向が反射強度(単位はdB)、水平軸がライン数(光送受信部250の1回転に相当する期間=1フレーム周期)を示している。同図の符号801が、プローブ101をまっすぐに伸ばし、イメージングコア251との摩擦が最小となるようにした際の、光送受信部250のレンズ表面の反射光の強度を示す曲線を示している。この曲線801は、512本のライン(1回転)を単位に、この反射強度を示す曲線801が繰り返されることになる。
FIG. 8 is a polarization component curve showing the reflection intensity of the lens surface of the optical transmitter /
以下、係る点を踏まえて、光送受信部250の回転速度を求める原理を説明する。なお、説明を単純にするため、図8における符号802乃至804の偏光成分曲線は誇張していることに注意されたい。
Hereinafter, the principle for obtaining the rotational speed of the
仮想的にプローブ先端の回転速度と、プルバック部の回転速度をΔR rpmずらした状態を想定する(当然のことながら実際の回転速度が常にずれた状態で回転を続けるとプローブが破断するので、説明のための仮想状態である)。このとき、データのサンプリングはプルバック部の回転位置に基づき、プローブ先端からの反射信号の変化はプローブ先端の回転位置に基づくため、両者の回転速度がずれていた場合、偏光成分曲線は回転とともにずれが拡大する(符号802,803,804)。このずれ(シフト量)は二つの回転数の差に比例するため、既知のプルバック部回転速度からプローブ先端の回転速度を計算することができる。
Assuming that the rotational speed of the probe tip and the rotational speed of the pullback section are virtually deviated by ΔR rpm (of course, the probe will break if the rotation continues with the actual rotational speed always deviating. Is a virtual state for). At this time, the sampling of data is based on the rotation position of the pullback portion, and the change in the reflected signal from the probe tip is based on the rotation position of the probe tip. Is expanded (
上記は光送受信部250が、本来の速度に対して所定の速度差をもって回転することを前提に説明したが、実際には光送受信部250の回転速度は不規則に変化し得る。光送受信部250の回転速度の変化は、再構成される血管断面画像の歪みとなって現れることになるので、フレーム単位に光送受信部250に回転速度に変化が発生したかを判断可能とすることが望まれる。この回転速度差の有無は、例えば次のようにして求めるようにした。
Although the above has been described on the assumption that the
今、mフレームにおける第iラインの偏光成分の反射強度をRm(i)と定義し、着目フレームmとその直前のフレームm−1間の偏光成分反射強度の差分の二乗和DR(m)を次式(1)で求める。
DR(m)=Σ{Rm(i)−Rm-1(i)}2 …(1)
連続するフレームm,m−1間で回転速度差が無い場合には、上記式からDR(m)は小さい値となる。一方、連続するフレーム間の回転速度差が大きいほどDR(m)は大きな値となる。つまり、DR(m)は、回転速度差の有無の判定、ならびに、回転速度差の大小の指標値として利用するのに都合がよい。
Now, the reflection intensity of the polarization component of the i-th line in the m frame is defined as R m (i), and the sum of squares DR (m) of the difference in the polarization component reflection intensity between the frame m of interest and the immediately preceding frame m−1. Is obtained by the following equation (1).
DR (m) = Σ {R m (i) −R m−1 (i)} 2 (1)
When there is no rotational speed difference between consecutive frames m and m−1, DR (m) is a small value from the above equation. On the other hand, the greater the difference in rotational speed between consecutive frames, the greater DR (m). That is, DR (m) is convenient for use in determining whether or not there is a rotational speed difference and as an index value for the rotational speed difference.
フレームmと指標値DR(m)との関係の一例を図9に示す。同図において、水平軸がフレーム番号で、垂直軸が着目フレームとその直前のフレームの偏光成分反射強度の差分の二乗和DR()を示している。図示では、n番目のフレームFnにて回転速度差が発生したことを示している。 An example of the relationship between the frame m and the index value DR (m) is shown in FIG. In the figure, the horizontal axis indicates the frame number, and the vertical axis indicates the square sum DR () of the difference in polarization component reflection intensity between the frame of interest and the immediately preceding frame. In the figure, it is shown that a rotational speed difference has occurred in the nth frame Fn.
図4を用いて説明したが、従来、隣接するラインデータの成す角度は同じであると見なして再構成していた。しかしながら、上記のように光送受信部250の回転速度は実際には変動し得るので、従来の手法で再構成した断面画像には歪みが含まれる可能性が高い。
As described with reference to FIG. 4, conventionally, reconstruction is performed assuming that the angles formed by adjacent line data are the same. However, as described above, the rotational speed of the optical transmission /
各ラインをサンプリングする際の光送受信部250の回転速度を求めることができれば、図10に示すように、各ラインデータの向かう角度を、それぞれの回転速度に従ってずらすことで、ライン間に粗密を持たせることが可能になる。つまり、相対的に高速に回転しているラインデータ間は、相対的に低速に回転しているラインデータ間よりも、角度を大きくする。この粗密は実際のスキャニングした際の光像受信部250の回転速度に依存するものとなるので、実際の光送受信部250の向かう角度変化に一致、もしくは近づく。故にこの粗密に従って画素を補間して断面画像を再構成した場合、その断面画像は、光送受信部250の回転速度(厳密には、プルバック部102による回転速度に対する相対速度)に起因する歪みを排除、もしくは低下したものとすることができる。
If the rotation speed of the optical transmission /
次に、各ラインをサンプリングした際の、本来の速度に対する光送受信部250の相対回転速度の求め方を説明する。
Next, how to determine the relative rotational speed of the
再び、図8を用い説明する。着目フレームmの各ラインと、その直前のフレームm−1の各ラインとを比較し、直前のフレームm−1に対する着目フレームの各ラインのシフト量(何ラインずれているか)を求める。 Again, a description will be given with reference to FIG. Each line of the frame of interest m is compared with each line of the immediately preceding frame m-1, and a shift amount (how many lines are shifted) of each line of the frame of interest with respect to the immediately preceding frame m-1.
例えば、図8のように着目フレームmの第n1ライン目の反射強度の値が、直前のフレームm−1の第n2ライン目の反射強度に一致するとき、着目フレームmの第n1ラインのシフト量SH(n1)は次式(2)の通りである。
SH(n1)=n1−n2 …(2)
上記処理を、着目フレームmの各ラインだけでなく、他のフレームのラインについても求める。
For example, as shown in FIG. 8, when the value of the reflection intensity of the n1st line of the frame of interest m matches the reflection intensity of the n2nd line of the immediately preceding frame m-1, the shift of the n1st line of the frame of interest m. The quantity SH (n1) is given by the following equation (2).
SH (n1) = n1-n2 (2)
The above processing is obtained not only for each line of the frame of interest m but also for lines of other frames.
上記のシフト量は、光送受信部250が、本来向かうべき角度に対して、どれだけずれた角度に向いているかを示している。速度は、単位時間当たりのシフト量の差で表される。つまり、各ラインのサンプリング時の光送受信部250の相対的な回転速度は、ラインデータのサンプリング周期(1回転する時間を512で除算した値)に対する、シフト量の変化として求めればよい。よって、着目フレームmの第iラインにおける相対的な回転速度は次式(3)のようにして求めることとした。ここでV(i)の次元はライン/sとしているが 必要に応じてrpm, rad/s等に適宜変更する。
V(i)={SH(i)−SH(i−1)}/1ラインのサンプリング周期 …(3)
因に、光送受信部250の実際の回転速度は、プルバック部102の回転速度を加算した値となる。
The above-described shift amount indicates how much the optical transmission /
V (i) = {SH (i) -SH (i-1)} / 1 line sampling period (3)
Incidentally, the actual rotation speed of the optical transmission /
なお、上記の回転速度の算出は一例であって、これに限定されるものではない。例えば、偏光成分曲線を正弦波と仮定し、その位相差を算出することにより差を求めても構わない。 Note that the calculation of the rotational speed is an example, and the present invention is not limited to this. For example, assuming that the polarization component curve is a sine wave, the difference may be obtained by calculating the phase difference.
以上、実施形態における光送受信部250の相対速度の検出原理とその利用例を説明した。次に、実際の信号処理部201における処理内容を図7のフローチャート、並びに、図5、図6を参照して説明する。なお、説明が前後するが、波長掃引光源203を利用する画像診断装置の場合、波長掃引光源203から特定の波長の光を出射したことを検出し、そのタイミングを示す信号を基準にして、1ライン分の光干渉データのサンプリングを行う。かかる点は本実施形態でも同じとして説明する。
In the above, the detection principle of the relative speed of the optical transmission /
まず、ステップS100において、信号処理部201はキャリブレーション処理を実行する。この処理では、信号処理部201は波長掃引光源203の駆動を開始する。そして、光路長調整用駆動部209を制御し、接続されたプローブ101に対応する参照光の光路長の調整を行う。
First, in step S100, the
ユーザは、この後、プローブ101を患者の診断対象部位まで案内する作業を行うことになる。そして、スキャン開始指示を操作パネル112から入力する。
Thereafter, the user performs an operation of guiding the
信号処理部201は、係るスキャン開始の指示入力を検出すると、処理をステップS101からステップS102に処理を進める。このステップS102では、プルバック部102を制御してスキャニング処理を開始する。この結果、A/D変換器207を介して入力した光干渉データ、並びに、偏光分離検出回路228からの偏光干渉データがメモリ202に蓄積されていく。この蓄積は、計画した距離だけ光送受信部250が移動するまで継続する(ステップS103)。
When detecting the scan start instruction input, the
さて、計画したスキャニング処理を終えると、ステップS104にて信号処理部201はメモリ202に蓄積された2種類の光干渉データについてFFTを実行し、それぞれのラインデータを生成する。
When the planned scanning process is completed, in step S104, the
図5はメモリ202の状態を示している。図示のように、メモリ202には少なくとも2つの領域510、530が確保されている。
FIG. 5 shows the state of the
断面画像格納領域510は、血管軸に直交する面の血管断面画像が格納される領域である。
The cross-sectional
スキャニングデータ格納領域530は、光干渉データから求めたラインデータL()を格納する領域531、偏光干渉データから求めたラインデータPL()を格納する領域532、フレーム毎の歪指標値DR()を格納する領域533、各ラインの前フレームからのシフト量SH()を格納する領域534、及び、各ラインの相対回転速度V()を格納する領域535を含む。
The scanning
このうち、ラインデータL(0)乃至L(511)が最初のフレームとなる血管断面画像(図4参照)を再構成するための512本のラインデータを示している。最初の断面画像を0番目とするなら、第k番目のフレームの断面画像で利用するラインデータは、L(k×512)乃至L(k×512+511)と表せる。また、歪指標値DR()は、フレーム毎(512ライン)に1つ算出することになる。そして、この時点で、領域533乃至535は空である。
Among these, 512 line data for reconstructing a blood vessel cross-sectional image (see FIG. 4) in which the line data L (0) to L (511) are the first frame is shown. If the first cross-sectional image is 0th, line data used in the cross-sectional image of the kth frame can be expressed as L (k × 512) to L (k × 512 + 511). One distortion index value DR () is calculated for each frame (512 lines). At this point, the
次に、ステップS105にて、信号処理部201は偏光干渉データから求めたラインデータPL()に基づき、各フレーム(512本単位)の歪指標値DR()を算出していく。なお、最初のフレームの前にはフレームが存在しないので、歪指標値DR(0)は算出せず、DR(1)以降を算出する。
Next, in step S105, the
次に、信号処理部201は、ステップS106にて、式(2)に従い、各ラインの、前フレームに対するシフト量SH()を求める。そして、求めたシフト量SH()から、各ラインをサンプリングした際の光送受信部250の相対回転速度V()を式(3)に従って算出する。なお、着目ラインのシフト量SH()を算出するとき、直前のフレームのラインデータを参照する。SH(0)乃至SH(511)より前には、ラインデータが存在しない。よって、実際に算出するのはSH(512)、V(512)以降となる。
Next, in step S106, the
上記のようにして、各フレームを構成するライン単位の回転速度V()を求めると、信号処理部201は各ラインデータL()を用いて、血管断面画像を再構成する。この再構成処理では、図10に示すように、各ラインデータL()を、該当する相対回転速度V()に従った角度間隔で放射線状に並べていく。そして、その後は、通常の補間処理を行えば良い。そして、信号処理部201は、再構成した血管断面画像を、メモリ202に確保された断面画像格納領域510に格納していく。
As described above, when the rotation speed V () for each line constituting each frame is obtained, the
この後、ステップS108にて、上記処理で得られたデータに基づき、GUIウインドウを表示する。 Thereafter, in step S108, a GUI window is displayed based on the data obtained by the above processing.
図6は実施形態における画像診断装置100のスキャニング処理後にモニタ113に表示されるウインドウ600を示している。このウインドウ600は、大きく分けて表示領域610、620,630に大別される。
FIG. 6 shows a
表示領域610は、血管をその軸に沿った平面で切った血管断面画像612を表示する領域である。この表示領域610に表示する画像は、例えば断面画像のラインデータL(1)と、それに180°反対側に位置するラインデータL(256)を連結して1本の垂直方向に表示するライン画像データを生成する。この処理を、他の断面画像のデータについても行う。そして、それらを互いに隣り合うように接続することで作成すればよい。また、表示領域610には、血管軸に沿った着目位置を示すマーカ611を表示する。このマーカ611はその表示位置を、マウス114により移動可能とする。
The
表示領域620は、各断面画像に対して、ステップS107で求めた歪指標値DR()の大小を、視覚的にわかりやすく表示する領域である。例えば、2つの閾値T1,T2(ただしT1<T2)を用い、
(1)歪指標値<T1
(2)T1≦歪指標値<T2
(3)T2≦歪指標値
の3段階にし、それぞれのレベルに応じた色や輝度を割り当てて表示する。なお、ここでは3段階としているが、この段数はいくつでも構わない。
The
(1) Strain index value <T1
(2) T1 ≦ strain index value <T2
(3) Three levels of T2 ≦ distortion index value are assigned, and colors and luminances corresponding to the respective levels are assigned and displayed. Here, three stages are used, but any number of stages may be used.
表示領域630は、マーカ611が位置する、血管軸に直交する面の血管断面画像(ステップS107で生成した)を表示する領域である。
The
上記のウインドウ600を表示したとき、ユーザはマーカ611を、マウス114を操作して、水平方向に沿って自由に移動できる。信号処理部201は移動後のマーカ611の位置の断面画像をメモリ202から読み出し、表示領域630に表示する処理を行うことになる。
When the
上記のようなGUIの表示の結果、表示領域630に表示された血管断面画像がスキャニングした際の血管のどの位置の断面画像であるのか、更には、その位置での回転速度に起因した歪の大小レベルを把握できるようになる。
As a result of the GUI display as described above, the position of the blood vessel when the blood vessel cross-sectional image displayed in the
以上説明したように本実施形態によれば、プローブ101内のイメージングコア251における光送受信部250と、プルバック部との回転速度差を検出することが可能になる。そして、それを利用して、断面画像の歪み程度をユーザに知らしめること、或いは/及び、速度に見合った断面画像の再構成処理も可能となる。
As described above, according to the present embodiment, it is possible to detect the rotational speed difference between the optical transmission /
なお、上記実施形態では、歪指標値の大小とは無関係に、ライン毎の相対的な回転速度に従って再構成処理を行うものしたが、歪指標値がT1未満の場合には、従来と同じ全ラインを等角度で配置して再構成処理を行うようにしても構わない。 In the above embodiment, the reconstruction process is performed according to the relative rotational speed for each line regardless of the magnitude of the distortion index value. However, when the distortion index value is less than T1, The reconstruction process may be performed by arranging lines at equal angles.
また、上記実施形態からもわかるように、実施形態における処理の大部分は、マイクロプロセッサで構成される信号処理部201によるものである。従って、マイクロプロセッサはプログラムを実行することで、その機能を実現するわけであるから、当然、そのプログラムも本願発明の範疇になる。また、通常プログラムは、CD−ROMやDVD−ROM等のコンピュータ可読記憶媒体に格納されており、それのコンピュータが有する読み取り装置(CD−ROMドライブ等)にセットし、システムにコピーもしくはインストールすることで実行可能になるわけであるから、係るコンピュータ可読記憶媒体も本願発明の範疇に入ることも明らかである。
Further, as can be seen from the above-described embodiment, most of the processing in the embodiment is performed by the
101…プローブ、102…プルバック部、111…本体制御部、113…モニタ、201…信号処理部、202…メモリ、228…偏光分離検出回路、250…光送受信部、251…イメージングコア
DESCRIPTION OF
Claims (10)
前記プローブからの光と参照光との合成による干渉光を、所定の偏光フィルタを介し、偏光干渉データとして出力する偏光検出手段と、
前記光送受信部の回転中の各角度を示すタイミングにおいて前記偏光検出手段より得られた偏光干渉データから、前記光送受信部の予め設定された部位の反射強度値を検出する検出手段と、
該検出手段で検出した、各タイミングにおける反射強度値に基づき、前記光送受信部の回転速度を算出する回転速度算出手段と
を有することを特徴とする画像診断装置。 An image that generates a cross-sectional image in a body cavity using a probe that accommodates an imaging core having an optical transmission / reception unit at a distal end in a rotatable and movable manner, and uses optical interference based on light from a wavelength swept light source. A diagnostic device,
Polarization detection means for outputting interference light by combining light from the probe and reference light as polarization interference data via a predetermined polarization filter;
Detecting means for detecting a reflection intensity value of a preset part of the optical transmitting / receiving unit from polarization interference data obtained from the polarization detecting unit at a timing indicating each angle during rotation of the optical transmitting / receiving unit;
An image diagnostic apparatus comprising: a rotation speed calculation unit that calculates a rotation speed of the optical transmission / reception unit based on a reflection intensity value at each timing detected by the detection unit.
当該歪指標値算出手段で算出した歪指標値の大小の程度を視覚的に識別可能に表示する表示手段と
を更に有することを特徴とする請求項1に記載の画像診断装置。 Based on the rotation speed determined by the rotation speed calculation means, a distortion index value calculation means for calculating a change amount of the rotation speed in a period for generating each cross-sectional image as a distortion index value of the cross-sectional image;
The image diagnostic apparatus according to claim 1, further comprising: a display unit that displays the magnitude of the strain index value calculated by the strain index value calculation unit so as to be visually identifiable.
前記表示手段は、血管の軸に沿った各位置を水平軸、歪指標値の程度を垂直軸とするグラフを表示する
ことを特徴とする請求項2又は3に記載の画像診断装置。 The cross-sectional image is a blood vessel cross-sectional image,
The image diagnosis apparatus according to claim 2, wherein the display unit displays a graph in which each position along the axis of the blood vessel is a horizontal axis and the degree of the strain index value is a vertical axis.
前記光送受信部の1回転に対応する着目フレームにおける各タイミングの前記反射強度と、直前フレームの各タイミングの前記反射強度とに基づき、前記直前フレームに対する前記着目フレームの反射強度の時間軸に対するシフト量を、前記着目フレームにおけるタイミング毎に算出し、
着目タイミングと直前のタイミングにおけるシフト量の差を、前記送受信部の基準回転速度に対する、当該着目タイミングにおける相対速度として算出する
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像診断装置。 The rotation speed calculation means includes
Based on the reflection intensity at each timing in the frame of interest corresponding to one rotation of the optical transceiver and the reflection intensity at each timing of the immediately preceding frame, the shift amount of the reflection intensity of the frame of interest with respect to the immediately preceding frame with respect to the time axis For each timing in the frame of interest,
5. The image according to claim 1, wherein a difference in shift amount between the target timing and the immediately preceding timing is calculated as a relative speed at the target timing with respect to a reference rotation speed of the transmission / reception unit. Diagnostic device.
を有することを特徴とする請求項1乃至5のいずれか1項に記載の画像診断装置。 Cross-sectional image generating means for adjusting the angle formed by the line for generating the cross-sectional image based on the rotational speed at each timing calculated by the rotational speed calculating means, and generating a cross-sectional image according to the line of the adjusted angle; ,
The diagnostic imaging apparatus according to claim 1, comprising:
前記プローブからの光と参照光との合成による干渉光を、所定の偏光フィルタを介し、偏光干渉データとして出力する偏光検出工程と、
前記光送受信部の回転中の各角度を示すタイミングにおいて前記偏光検出工程より得られた偏光干渉データから、前記光送受信部の予め設定された部位の反射強度値を検出する検出工程と、
該検出工程で検出した、各タイミングにおける反射強度値に基づき、前記光送受信部の回転速度を算出する回転速度算出工程と
を有することを特徴とする画像診断装置の制御方法。 An image that generates a cross-sectional image in a body cavity using a probe that accommodates an imaging core having an optical transmission / reception unit at a distal end in a rotatable and movable manner, and uses optical interference based on light from a wavelength swept light source. A method for controlling a diagnostic device, comprising:
A polarization detection step of outputting interference light by combining light from the probe and reference light as polarization interference data via a predetermined polarization filter;
A detection step of detecting a reflection intensity value of a preset portion of the optical transmission / reception unit from polarization interference data obtained from the polarization detection step at a timing indicating each angle during rotation of the optical transmission / reception unit;
And a rotation speed calculation step of calculating a rotation speed of the optical transmission / reception unit based on the reflection intensity value at each timing detected in the detection step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015065272A JP6563666B2 (en) | 2015-03-26 | 2015-03-26 | Diagnostic imaging apparatus, control method therefor, program, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015065272A JP6563666B2 (en) | 2015-03-26 | 2015-03-26 | Diagnostic imaging apparatus, control method therefor, program, and computer-readable storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016182303A true JP2016182303A (en) | 2016-10-20 |
JP6563666B2 JP6563666B2 (en) | 2019-08-21 |
Family
ID=57242298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015065272A Active JP6563666B2 (en) | 2015-03-26 | 2015-03-26 | Diagnostic imaging apparatus, control method therefor, program, and computer-readable storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6563666B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000262461A (en) * | 1999-02-04 | 2000-09-26 | Univ Hospital Of Cleveland | Optical imaging device |
US20120224165A1 (en) * | 2011-03-06 | 2012-09-06 | Ninepoint Medical, Inc. | Systems and methods for signal processing in optical imaging systems |
WO2014073016A1 (en) * | 2012-11-06 | 2014-05-15 | テルモ株式会社 | Image diagnostic device, information processing device, and control method therefor |
WO2014136137A1 (en) * | 2013-03-04 | 2014-09-12 | テルモ株式会社 | Diagnostic imaging apparatus, information processing device and control methods, programs and computer-readable storage media therefor |
-
2015
- 2015-03-26 JP JP2015065272A patent/JP6563666B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000262461A (en) * | 1999-02-04 | 2000-09-26 | Univ Hospital Of Cleveland | Optical imaging device |
US20120224165A1 (en) * | 2011-03-06 | 2012-09-06 | Ninepoint Medical, Inc. | Systems and methods for signal processing in optical imaging systems |
WO2014073016A1 (en) * | 2012-11-06 | 2014-05-15 | テルモ株式会社 | Image diagnostic device, information processing device, and control method therefor |
WO2014136137A1 (en) * | 2013-03-04 | 2014-09-12 | テルモ株式会社 | Diagnostic imaging apparatus, information processing device and control methods, programs and computer-readable storage media therefor |
Also Published As
Publication number | Publication date |
---|---|
JP6563666B2 (en) | 2019-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4768494B2 (en) | Diagnostic imaging apparatus and processing method thereof | |
US7738941B2 (en) | Image diagnostic system and processing method therefor | |
JP5002429B2 (en) | Optical coherence tomography diagnostic equipment | |
US7905838B2 (en) | Image diagnostic system and apparatus, and processing method therefor | |
WO2011039983A1 (en) | Diagnostic imaging apparatus and method for controlling same | |
JP5485760B2 (en) | Optical coherence tomographic image forming apparatus and control method thereof | |
JP6059334B2 (en) | Diagnostic imaging apparatus, information processing apparatus, operating method thereof, program, and computer-readable storage medium | |
JP5981557B2 (en) | Diagnostic imaging equipment | |
US10271818B2 (en) | Image processing apparatus, method of controlling image processing apparatus, program, and storage medium | |
JP6095770B2 (en) | Diagnostic imaging apparatus, operating method thereof, program, and computer-readable storage medium | |
JP2012200532A (en) | Imaging apparatus for diagnosis and display method | |
JP5592137B2 (en) | Optical diagnostic imaging apparatus and display control method thereof | |
JP2016174809A (en) | Image diagnosis apparatus, control method thereof, program and computer-readable storage medium | |
JP5431852B2 (en) | Diagnostic imaging apparatus, operating method thereof, and program | |
US10470665B2 (en) | Imaging apparatus for diagnosis and method of controlling the same | |
JP6637029B2 (en) | Image diagnostic apparatus, operating method thereof, program, and computer-readable storage medium | |
WO2015044983A1 (en) | Image diagnostic device and method for controlling same | |
US11129592B2 (en) | Image diagnostic apparatus and method and program | |
JP5399844B2 (en) | Diagnostic imaging apparatus and operating method thereof | |
JP6563666B2 (en) | Diagnostic imaging apparatus, control method therefor, program, and computer-readable storage medium | |
JPWO2018061672A1 (en) | Image diagnostic apparatus, control method for image diagnostic apparatus, computer program, computer readable storage medium | |
JP6584806B2 (en) | Diagnostic imaging apparatus, control method therefor, program, and computer-readable storage medium | |
JP6809905B2 (en) | Diagnostic imaging device, operating method and program of diagnostic imaging device | |
JP2017127533A (en) | Optical coherence tomography apparatus, control method for optical coherence tomography apparatus, and program | |
JPWO2018061780A1 (en) | Control device, image diagnostic device, processing method of control device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171214 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20171219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6563666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |