JP4785114B2 - Marker holder and biological tissue motion detection system using the same - Google Patents
Marker holder and biological tissue motion detection system using the same Download PDFInfo
- Publication number
- JP4785114B2 JP4785114B2 JP2005092643A JP2005092643A JP4785114B2 JP 4785114 B2 JP4785114 B2 JP 4785114B2 JP 2005092643 A JP2005092643 A JP 2005092643A JP 2005092643 A JP2005092643 A JP 2005092643A JP 4785114 B2 JP4785114 B2 JP 4785114B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- movement
- biological tissue
- detection system
- motion detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、マーカ保持具及びこれを用いた生体組織の動作検出システムに係り、更に詳しくは、心臓等の生体組織の手術時に、当該生体組織の表面の動きを正確に把握することに寄与するマーカ保持具及びこれを用いた生体組織の動作検出システムに関する。 The present invention relates to a marker holder and a biological tissue motion detection system using the marker holder. More specifically, the present invention contributes to accurately grasping the movement of the surface of a biological tissue such as the heart during surgery. The present invention relates to a marker holder and a biological tissue motion detection system using the marker holder.
人体の心臓の周囲には、冠動脈と呼ばれる動脈が張り巡らされており、この冠動脈が動脈硬化等によって狭窄、閉塞すると、心筋梗塞と呼ばれる心筋壊死が発生する。このような冠動脈の狭窄、閉塞に対する治療としては、狭窄、閉塞した血管部位を迂回するように冠動脈の別経路を新たに確保する冠動脈バイパス手術が行われている。この手術の際には、血管の切断や吻合を行い易くするために患者の心臓を一旦停止させ、患者の血液の循環状態を維持する人工心肺装置が使われることが多い。ところが、この人工心肺装置を使用することにより、術後の心機能低下や血流の変化に伴う脳障害等が発生する場合があるため、人工心肺装置を使わずに前記手術を行うことが望ましい。しかしながら、このときは心臓が拍動状態にあり、心筋に張り巡らされた冠動脈に対する切断や吻合等の作業が行い難い。そのため、心臓スタビライザと呼ばれる器具を心臓表面に当てることにより、術部付近の心臓表面の動きを規制しながら、切断や吻合等が行われている(例えば、特許文献1参照)。
しかしながら、前記スタビライザを心臓表面に当てて手術を行う場合、心臓の動きを強制的に抑制するものであるから、患者の心臓に対する負担が大きくなり、あまり好ましい方法とは言えない。 However, when an operation is performed with the stabilizer applied to the surface of the heart, since the movement of the heart is forcibly suppressed, the burden on the patient's heart increases, which is not a preferable method.
そこで、人間の手では、前記スタビライザを使用せずに心臓を拍動させたまま前述の冠動脈バイパス手術等の心疾患手術を行うことが不可能に近いことから、メスや内視鏡等の術具をロボットアームに保持させ、当該ロボットアームが心臓表面の動きに合わせて動作する手術ロボットが要請されている。ここで、ロボットアームの動作を制御するには、術部付近の心臓表面の動きを正確に把握しなければならならない。 Therefore, since it is almost impossible for human hands to perform heart disease surgery such as the above-mentioned coronary artery bypass surgery while the heart is beating without using the stabilizer, surgery such as a scalpel or an endoscope is performed. There is a demand for a surgical robot in which a tool is held by a robot arm and the robot arm moves in accordance with the movement of the heart surface. Here, in order to control the operation of the robot arm, it is necessary to accurately grasp the motion of the heart surface near the surgical site.
本発明は、このような事情に鑑みて案出されたものであり、その目的は、ロボットを使った手術中に、心臓等の生体組織の動きを簡単な構成で正確に把握でき、ロボットの動作制御に寄与することができるマーカ保持具及びこれを用いた生体組織の動作検出システムを提供することにある。 The present invention has been devised in view of such circumstances, and its purpose is to accurately grasp the movement of a living tissue such as the heart with a simple configuration during surgery using the robot. It is an object of the present invention to provide a marker holder that can contribute to motion control and a biological tissue motion detection system using the marker holder.
(1)前記目的を達成するため、本発明は、生体組織の動きを検出するためのマーカを保持するマーカ保持具であって、
生体の内外間に配置される少なくとも三本の支柱と、当該各支柱の両端側にそれぞれ接続されたジョイント部材と、前記各支柱の上端側の各ジョイント部材に接続されるとともに、前記マーカが保持されるマーカ保持部材と、前記各支柱の下端側の各ジョイント部材に接続されるとともに、前記生体組織の表面に吸着可能な吸着部材とを備え、
前記ジョイント部材は、前記各支柱に対し、周方向ほぼ全域に相対回転可能に設けられ、
前記各支柱は、前記吸着部材の動きに追従して、前記マーカ保持部材を前記吸着部材とほぼ同一の姿勢に維持するように配置される、という構成を採っている。
(1) In order to achieve the above object, the present invention provides a marker holder for holding a marker for detecting movement of a living tissue,
At least three struts are disposed between the inside and the outside of the living body, said a joint member connected respectively to both ends of each strut, is connected to the each joint member on the upper end side of each post, the marker is held A marker holding member that is connected to each joint member on the lower end side of each column, and an adsorption member that can be adsorbed to the surface of the living tissue,
The joint member is provided so as to be relatively rotatable with respect to each support column in substantially the entire circumferential direction.
Each of the columns is configured to follow the movement of the suction member and be arranged so as to maintain the marker holding member in substantially the same posture as the suction member.
(2)ここで、前記支柱は、ほぼ一定位置に保持されるポートに支持され、当該ポートは、前記支柱の横方向の動きを一定範囲で許容可能に設けられる、という構成を採ることが好ましい。 (2) Here, it is preferable to adopt a configuration in which the support column is supported by a port held at a substantially constant position, and the port is provided to allow a lateral movement of the support column within a certain range. .
(3)また、本発明は、前記マーカ保持具を用いて、生体組織の動きを検出する生体組織の動作検出システムであって、
前記マーカの動きを認識して当該マーカの三次元座標を計測する三次元位置計測装置と、この三次元位置計測装置で計測されたマーカの三次元座標から、前記吸着部材の位置及び姿勢を演算で求める演算装置とを備える、という構成を採っている。
(3) Moreover, this invention is a movement detection system of the biological tissue which detects the motion of a biological tissue using the said marker holder,
A three-dimensional position measurement device that recognizes the movement of the marker and measures the three-dimensional coordinates of the marker, and calculates the position and orientation of the suction member from the three-dimensional coordinates of the marker measured by the three-dimensional position measurement device It is configured to include an arithmetic device obtained in
(4)ここで、前記マーカは、前記マーカ保持部材の三箇所以上に設けられるとともに、体外側に表出する前記支柱の上下二箇所以上に設けられる、という構成を採ることが好ましい。 (4) Here, it is preferable that the marker is provided at three or more places on the marker holding member and at two or more places on the upper and lower sides of the support column that are exposed to the outside of the body.
なお、本特許請求の範囲並びに本明細書において、マーカ保持具の説明で使用される「上」、「下」は、特に明示しない限り、図1に示されたマーカ保持具の状態における「上」、「下」を意味する。 In the claims and this specification, “upper” and “lower” used in the description of the marker holder are “upper” in the state of the marker holder shown in FIG. 1 unless otherwise specified. ”And“ bottom ”.
本発明によれば、心臓等の生体組織の表面に吸着部材を固定すると、生体組織の動きに応じて吸着部材が動き、当該吸着部材とほぼ同一の姿勢でマーカ保持部材が動くことになる。このため、マーカ保持部材のマーカの位置を測定し、当該マーカ保持部材の姿勢を求めることで、その姿勢を下方に平行移動させた吸着部材つまり生体組織表面の位置及び姿勢を演算で簡単に求めることができる。つまり、簡単な機構からなるマーカ保持具と、そのマーカの位置を計測する三次元位置計測装置と、その計測値から生体組織表面の位置及び姿勢を求める演算装置により、生体組織の動きを確実に把握することができ、生体組織を撮像した超音波画像やMRI画像等からの画像処理を使って生体組織の動きを求めるよりも、簡単な構成で生体組織の動きを確実に把握することができる。このように求められた生体組織表面のデータは、術具や内視鏡を保持するロボットアームの動作制御に寄与できる。 According to the present invention, when the adsorption member is fixed to the surface of the biological tissue such as the heart, the adsorption member moves according to the movement of the biological tissue, and the marker holding member moves in substantially the same posture as the adsorption member. Therefore, by measuring the position of the marker of the marker holding member and obtaining the posture of the marker holding member, the position and posture of the adsorption member, that is, the surface of the living tissue, whose posture has been translated downward can be easily obtained by calculation. be able to. In other words, the movement of the biological tissue is assured by the marker holder composed of a simple mechanism, the three-dimensional position measurement device that measures the position of the marker, and the arithmetic device that obtains the position and orientation of the surface of the biological tissue from the measured values. It is possible to grasp, and it is possible to surely grasp the movement of the living tissue with a simple configuration rather than obtaining the movement of the living tissue using image processing from an ultrasonic image or MRI image obtained by imaging the living tissue. . The data on the surface of the living tissue thus obtained can contribute to the operation control of the robot arm that holds the surgical instrument and the endoscope.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1には、本実施例に係る生体組織の動作検出システムの構成図が示されている。この図において、動作検出システム10は、赤外線を照射可能に設けられたマーカ11と、このマーカ11を保持するマーカ保持具12と、マーカ11からの赤外線の検出により前記マーカ11の三次元座標を検出する三次元位置計測装置13と、この三次元位置計測装置13で検出されたマーカ11の位置からマーカ保持具12の下端側の位置及び姿勢を求める演算装置14とを備えて構成されている。
FIG. 1 is a configuration diagram of a biological tissue motion detection system according to the present embodiment. In this figure, the motion detection system 10 includes a
前記マーカ11は、赤外線発光ダイオードからなり、後述するように、マーカ保持具12の複数個所に固定配置されている。
The
前記マーカ保持具12は、上下方向に延びる三本の支柱16と、これら各支柱16の上下両端側にそれぞれ接続されたジョイント部材17と、各ジョイント部材17の上下両端側にそれぞれ接続された上側ブロック18及び下側ブロック19と、上側ブロック18の上端側に固定されるとともに、三個のマーカ11が保持されたマーカ保持部材20と、下側ブロック19の下端側に固定されるとともに、心臓Hの表面に吸着可能な吸着部材22とを備えて構成されている。
The marker holder 12 includes three
前記各支柱16は、それぞれ同一の外径及び長さを有する丸棒状に設けられるとともに、それぞれ相対移動可能に設けられており、人体の開胸部位Vに対して内外に貫通する方向に配置されている。ここで、各支柱16は、体外側に表出する部分がリング状のポート24に挿通されて支持されている。このポート24は、各支柱16が径方向(横方向)の動きを一定範囲で許容する内径に設定されており、アーム部材25によってほぼ一定位置に保持されている。なお、ポート24は、人体の皮膚部分に穴を開け、当該穴内に暫定的に取り付けてもよい。また、各支柱16には、ポート24よりも上方位置となる上下二箇所位置に前記マーカ11が固定されている。
Each of the
前記ジョイント部材17は、各支柱16に対し、周方向全域の回転を許容するユニバーサルジョイントにより構成されている。
The
前記マーカ保持部材20は、上側ブロック18に対して起立配置されたほぼ方形状の平板により構成され、当該平板の三箇所にマーカ11が配置されている。具体的に、マーカ11は、それら中心が図1中左下隅の第1位置Oと、同図中左上隅の第2位置αと、同図中右下隅の第3位置βとにそれぞれ設けられている。ここで、第1位置Oと第2位置αとを結ぶ直線Oαと、第1位置Oと第3位置βとを結ぶ直線Oβとは、相互に直交するようになっている。なお、マーカ11は、図1中右上隅に更に設ける等、更に増やして配置してもよく、このようにすれば、三次元位置計測装置13による測定精度を更に向上させることができる。
The marker holding member 20 is configured by a substantially rectangular flat plate that is erected with respect to the
前記吸着部材22は、ほぼ馬蹄形状に設けられ、図示しない吸引ポンプからの陰圧により心臓Hの表面に密着固定される公知の部材が用いられているが、本発明はこれに限定されるものではなく、素材の特性等により心臓Hの表面に吸着可能なものであれば何でもよい。
The adsorbing
以上の構成のマーカ保持具12は、心臓Hの表面に吸着部材22が吸着固定された状態で、体外から体内に向かって延びるように各支柱16が配置され、体外側にて、ポート24に各支柱16が挿通されてマーカ保持部材20が最上部側に配置される。この状態で心臓Hが拍動すると、このときの心臓Hの表面の動きに追従して吸着部材22が動き、三本の支柱16及びジョイント部材17の作用により、吸着部材22に固定された下側ブロック19と、マーカ保持部材20に固定された上側ブロック18とがほぼ同一の姿勢で動くことになる。従って、マーカ保持部材20の姿勢を求めることにより、当該マーカ保持部材20と吸着部材22との離間距離は一定なので、吸着部材22の位置及び姿勢、つまり、当該吸着部材22が固定された心臓Hの表面部分の位置及び姿勢を経時的に求めることが可能となる。
In the marker holder 12 having the above configuration, each
前記三次元位置計測装置13は、各マーカ11から発光された赤外線を受光する受光部を備え、当該赤外線の照射をマーカ11の動きに合わせて追跡することにより、各マーカ11の三次元座標を検出可能な公知構造となっている。この構造については、本発明の要旨ではないため、詳細な説明を省略する。なお、三次元位置計測装置13としては、各マーカ11が設けられた部位の三次元座標を検出できる限りにおいて、種々の原理や構造の装置を用いることも可能である。
The three-dimensional position measurement device 13 includes a light receiving unit that receives infrared light emitted from each
前記演算装置14は、ソフトウェア及び/又はハードウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び/又は処理回路が組み込まれたコンピュータにより成り立っている。この演算装置14では、三次元位置計測装置13の測定値、すなわち各マーカ11の三次元座標から、次の手順で、心臓Hの表面に固定された吸着部材22の位置及び姿勢を求めるようになっている。
The arithmetic device 14 is configured by software and / or hardware, and is constituted by a computer in which a plurality of program modules and / or processing circuits such as a processor are incorporated. In this calculation device 14, the position and posture of the
先ず、以下の手順により、吸着部材22の姿勢が求められる。
First, the attitude | position of the adsorption |
先ず、三次元計測装置13の座標系(カメラ座標系O−xyz)をマーカ保持部材20の座標系(物体座標系O−αβγ)に変換する。
ここで、カメラ座標系における前記第1位置O、第2位置α、第3位置βの各マーカ11の座標を、
この際、第1位置Oを物体座標系の原点とし、物体座標系での各位置を、前記第1位置O´、第2位置α´、第3位置β´とすると、
Here, the coordinates of the
At this time, if the first position O is the origin of the object coordinate system, and each position in the object coordinate system is the first position O ′, the second position α ′, and the third position β ′,
そして、以下の逆回転行列式を用い、マーカ保持部材20の姿勢、すなわち、カメラ座標系の座標軸と物体座標系の座標軸のロール角、ピッチ角、ヨー角の差を逆算する。
先ず、点α´について、ロール角θzは、次式(1)で求められる。
次に、θz=0(yα´=0)となるように物体座標系をZ軸周りに回転する。このとき、
次に、θy=0(zα´´=0)となるように物体座標系をy軸周りに回転する。このとき、
以上と同様の手順を点β´についても行う。
以上、式(1)〜(3)を使ってマーカ保持部材20の姿勢が算出され、これは、前述したマーカ保持具12の構造より、吸着部材22の姿勢と同一となる。
The same procedure as above is performed for the point β ′.
As described above, the posture of the marker holding member 20 is calculated using the equations (1) to (3), and this is the same as the posture of the
次いで、支柱16に設けられた上下二箇所のマーカ11の三次元座標を使って、以下の手順により、吸着部材22の位置が求められる。
Next, using the three-dimensional coordinates of the upper and lower two
図2には支柱16に設けられたマーカ11,11が模式的に表され、各点の三次元座標が記されている。この図において、下端側の点Pが吸着部材22の中央部分の点である。
In FIG. 2,
図2を参照すると、吸着部材22の座標P(x,y,z)は、次式により求められる。
従って、このような実施例によれば、比較的簡単な構造のマーカ保持具12を使って、心臓Hの表面の動き、すなわち、その位置及び姿勢の変化を簡単に求めることができるという効果を得る。 Therefore, according to such an embodiment, it is possible to easily obtain the movement of the surface of the heart H, that is, the change in the position and posture thereof, using the marker holder 12 having a relatively simple structure. obtain.
なお、前記実施例では、マーカ保持具12の支柱16を3本で構成したが、下側ブロック19の動きに対応して、上下両側のブロック18,19の姿勢を同一に保持できる限りにおいて、支柱16の本数を更に調整することも可能である。
In addition, in the said Example, although the support |
また、前記実施例では、心臓Hの表面の動きを検出しているが、本発明は、これに限らず、呼吸に連動して動く他の臓器、例えば、肝臓や胃等の他の臓器や生体組織に適用することも可能であり、また、他の動物の臓器等の生体組織に適用可能である。 In the embodiment, the movement of the surface of the heart H is detected. However, the present invention is not limited to this, and other organs that move in conjunction with respiration, such as other organs such as the liver and stomach, The present invention can be applied to a living tissue, and can also be applied to a living tissue such as an organ of another animal.
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。 In addition, the configuration of each part of the apparatus in the present invention is not limited to the illustrated configuration example, and various modifications are possible as long as substantially the same operation is achieved.
10 動作検出システム
11 マーカ
12 マーカ保持具
13 三次元位置計測装置
14 演算装置
16 支柱
17 ジョイント部材
20 マーカ保持部材
22 吸着部材
H 心臓
DESCRIPTION OF SYMBOLS 10
Claims (4)
生体の内外間に配置される少なくとも三本の支柱と、当該各支柱の両端側にそれぞれ接続されたジョイント部材と、前記各支柱の上端側の各ジョイント部材に接続されるとともに、前記マーカが保持されるマーカ保持部材と、前記各支柱の下端側の各ジョイント部材に接続されるとともに、前記生体組織の表面に吸着可能な吸着部材とを備え、
前記ジョイント部材は、前記各支柱に対し、周方向ほぼ全域に相対回転可能に設けられ、
前記各支柱は、前記吸着部材の動きに追従して、前記マーカ保持部材を前記吸着部材とほぼ同一の姿勢に維持するように配置されていることを特徴とするマーカ保持具。 A marker holder for holding a marker for detecting movement of a living tissue,
At least three struts are disposed between the inside and the outside of the living body, said a joint member connected respectively to both ends of each strut, is connected to the each joint member on the upper end side of each post, the marker is held A marker holding member that is connected to each joint member on the lower end side of each column, and an adsorption member that can be adsorbed to the surface of the living tissue,
The joint member is provided so as to be relatively rotatable with respect to each support column in substantially the entire circumferential direction.
Each said support | pillar is arrange | positioned so that the movement of the said adsorption member may be followed and the said marker holding member may be maintained in the substantially same attitude | position as the said adsorption member.
前記マーカの動きを認識して当該マーカの三次元座標を計測する三次元位置計測装置と、この三次元位置計測装置で計測されたマーカの三次元座標から、前記吸着部材の位置及び姿勢を演算で求める演算装置とを備えたことを特徴とする生体組織の動作検出システム。 A biological tissue motion detection system that detects a movement of a biological tissue using the marker holder according to claim 1 or 2,
A three-dimensional position measurement device that recognizes the movement of the marker and measures the three-dimensional coordinates of the marker, and calculates the position and orientation of the suction member from the three-dimensional coordinates of the marker measured by the three-dimensional position measurement device A biological tissue motion detection system, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005092643A JP4785114B2 (en) | 2005-03-28 | 2005-03-28 | Marker holder and biological tissue motion detection system using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005092643A JP4785114B2 (en) | 2005-03-28 | 2005-03-28 | Marker holder and biological tissue motion detection system using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006271545A JP2006271545A (en) | 2006-10-12 |
JP4785114B2 true JP4785114B2 (en) | 2011-10-05 |
Family
ID=37206870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005092643A Expired - Fee Related JP4785114B2 (en) | 2005-03-28 | 2005-03-28 | Marker holder and biological tissue motion detection system using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4785114B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6725080B2 (en) * | 2000-03-01 | 2004-04-20 | Surgical Navigation Technologies, Inc. | Multiple cannula image guided tool for image guided procedures |
JP4434514B2 (en) * | 2001-05-22 | 2010-03-17 | 東芝医用システムエンジニアリング株式会社 | Reference frame and position measurement system |
-
2005
- 2005-03-28 JP JP2005092643A patent/JP4785114B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006271545A (en) | 2006-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109069217B (en) | System and method for pose estimation in image-guided surgery and calibration of fluoroscopic imaging system | |
JP6718920B2 (en) | Surgical robot system for stereotactic surgery and control method for stereotactic surgical robot | |
JP6997238B2 (en) | A system for registering neuronavigation and guiding the trajectory of a robot | |
JP6290372B2 (en) | Localization of robot remote motion center point using custom trocar | |
US11944399B2 (en) | System and method for articulated arm stabilization | |
JP6220345B2 (en) | Surgical tool positioning and orientation during patient-specific port placement | |
ES2332112T3 (en) | DETECTION ACCORDING TO THE MODEL TO BE MEASURED FROM THE POSITION OF AN OBJECT. | |
JP6813592B2 (en) | Organ movement compensation | |
JP2022502119A (en) | General-purpose multi-arm robot surgical system | |
CN111343941A (en) | Robotic tool control | |
JP2020501726A (en) | Ultrasonic guidance of actuatable medical tools | |
JP2019513066A (en) | Image guidance of steerable introducers for minimally invasive procedures | |
US20180317740A1 (en) | Medical image viewer control from surgeon's camera | |
JP7157074B2 (en) | Navigation platform for medical devices, especially cardiac catheters | |
KR20230027240A (en) | Control Scheme Calibration for Medical Instruments | |
JP2021146218A (en) | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices | |
JP2007260298A (en) | Action control system and position detector of operation support robot | |
JP6906239B2 (en) | Adjustable registration frame | |
JP4869124B2 (en) | Motion compensation system for surgical robots | |
JP6653815B2 (en) | Subject holding device | |
AU2017202578B2 (en) | Systems for sensing position of imaging device | |
EP3733112A1 (en) | System for robotic trajectory guidance for navigated biopsy needle | |
JP4785114B2 (en) | Marker holder and biological tissue motion detection system using the same | |
JP2021502187A (en) | Autonomous X-ray control for robot navigation | |
JP7383608B2 (en) | Multi-stage robot for anatomical structure intervention |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110128 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110708 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110708 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140722 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |