JP2016520345A - カスタム套管針を使用したロボット遠隔運動中心点の位置特定 - Google Patents

カスタム套管針を使用したロボット遠隔運動中心点の位置特定 Download PDF

Info

Publication number
JP2016520345A
JP2016520345A JP2016504796A JP2016504796A JP2016520345A JP 2016520345 A JP2016520345 A JP 2016520345A JP 2016504796 A JP2016504796 A JP 2016504796A JP 2016504796 A JP2016504796 A JP 2016504796A JP 2016520345 A JP2016520345 A JP 2016520345A
Authority
JP
Japan
Prior art keywords
marker
robot
remote motion
motion center
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016504796A
Other languages
English (en)
Other versions
JP6290372B2 (ja
JP2016520345A5 (ja
Inventor
ハイサム エルハワリー
ハイサム エルハワリー
アレクサンドラ ポポヴィッチ
アレクサンドラ ポポヴィッチ
アーミート クマー ジャイン
アーミート クマー ジャイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016520345A publication Critical patent/JP2016520345A/ja
Publication of JP2016520345A5 publication Critical patent/JP2016520345A5/ja
Application granted granted Critical
Publication of JP6290372B2 publication Critical patent/JP6290372B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3417Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421Cannulas
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966Radiopaque markers visible in an X-ray image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3991Markers, e.g. radio-opaque or breast lesions markers having specific anchoring means to fixate the marker to the tissue, e.g. hooks

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)
  • Endoscopes (AREA)

Abstract

ロボット制御に関する遠隔運動中心を提供するためのシステムが、撮像システム110によって収集された画像内でのマーカデバイスの位置及び向きを示すために、1つ又は複数の形状105を含むように構成されたマーカデバイス104を含む。マーカデバイスは、ロボット誘導式である機器102を受け入れる又は一部受け入れるように構成される。見当合わせモジュール117は、ロボット座標系132内で仮想遠隔運動中心140が存在する位置を定義するために、マーカデバイスを使用して画像の座標系をロボット誘導式の機器の座標系と見当合わせするように構成される。制御ソフトウェア136は、ロボット誘導式の機器の運動を制御するように構成され、仮想遠隔運動中心が、ロボット130の運動を制約する。

Description

本開示は、医療機器及びそのロボット制御に関し、より詳細には、医療処置用のソフトウェアベースのロボットに関する遠隔運動中心を定義することに関する。
対象の解剖学的構造の2D及び3D画像を獲得するために、回転可能なX線Cアームが様々な介入及び手術スイートで使用されている。最小侵襲性手術は、小さなポートを通して患者の体内に挿入される細長い機器を使用して行われる。ロボット誘導式の最小侵襲性手術では、ポートに並進力を及ぼさないことが重要である。なぜなら、並進力が患者に外傷を及ぼすことがあるからである。遠隔運動中心(RCM:remote center of motion)は、患者体内でのエンドエフェクタ(医療デバイス)の運動を容易にする点であり、RCM点では運動がゼロである。RCM点は、医療ロボットのための挿入点と一致する必要がある。しかし、従来の方法は、点を手動で入力して、ロボットの基準フレーム内での望みの遠隔運動中心の位置をシステムに示すことを必要とする。
メカニズム設計での暗黙的な遠隔運動中心を有さないシステムを用いてロボット誘導式の手術を行う外科医は、ロボットアームに仮想遠隔運動中心を設定するために、位置を手動で入力する必要がある。しかし、これは、誤差を生じやすいことがあり、手術中の難題となり得る。
本原理によると、ロボット制御に関する遠隔運動中心を提供するためのシステムは、撮像システムによって収集される画像内でマーカデバイスの位置及び向きを示すために1つ又は複数の形状を含むマーカデバイスを有する。マーカデバイスは、ロボット誘導式である機器を受け入れる又は一部受け入れる。見当合わせモジュールは、ロボット座標系内で仮想遠隔運動中心が存在する位置を定義するために、前記マーカデバイスを使用して前記画像の座標系を前記ロボット誘導式の機器の座標系と見当合わせする。制御ソフトウェアは、ロボット誘導式の機器の運動を制御し、仮想遠隔運動中心が、ロボットの運動を制約する。
ロボット制御に関する遠隔運動中心を提供するためのマーカは、1つ又は複数の機器を受け入れる又は一部受け入れる内部キャビティを形成する放射線透過性の壁と、壁の上に又は中に形成された放射線不透過性材料とを備え、当該材料が、1つ又は複数の形状に構成されて、X線画像内での前記マーカの3次元向き及び位置を示し、それにより、3次元向き及び位置が、1つ又は複数の機器に関するロボット制御に関する仮想遠隔運動中心を提供する。
ロボット制御に関する遠隔運動中心を提供するための方法は、被験者に対してある位置にマーカを配置するステップであって、マーカが、画像内でのマーカの位置及び向きを示すために1つ又は複数の形状を含むステップと、マーカを撮像するステップと、ロボット座標系内で仮想遠隔運動中心が存在する位置を定義するために、マーカを使用して画像の座標系とロボット誘導式の機器の座標系を見当合わせするステップと、ロボット制御式の機器の運動を制御するステップであって、仮想遠隔運動中心が、ロボットの運動を制約するステップとを有する。
本開示のこれら及び他の目的、特徴並びに利点は、添付図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかとなるだろう。
本開示は、以下の図面を参照して好ましい実施形態の以下の説明を詳細に提示する。
一実施形態による仮想遠隔運動中心を提供するためのシステムを示すブロック/流れ図である。 一実施形態による医療機器に関する遠隔運動中心点を示すブロック/流れ図を示す解剖学的断面図である。 一実施形態によるマーカデバイスで使用するための放射線不透過性材料に関する例示的な構成を示す図である。 一実施形態による套管針マーカデバイスの斜視図である。 一実施形態による套管針ポートに配設された別個のマーカデバイスの斜視図である。 例示的実施形態によるロボット制御に関する仮想遠隔運動中心を定義するための方法を示す流れ図である。
本発明の実施形態は、ロボット制御に関する仮想遠隔運動中心(RCM)を決定及び/又は生成するためのシステム及び方法を提供する。メカニズム設計に固有の遠隔運動中心を有さないロボットデバイスに関して、ロボット制御ソフトウェアが、その空間点に並進力を及ぼすのを回避するのに必要なロボットの運動を計算することができるよう、ロボットエンドエフェクタ沿いの仮想空間点を定義するソフトウェア機能が要求される。1つの特徴は、套管針、ポート、又は他の機器に組み込まれた又は取り付けられた放射線透過性マーカを含み、ロボットによって保持された手術機器(例えば腹腔鏡機器)の遠隔運動中心をX線画像ベースで検出できるようにする。別の特徴は、ロボット座標フレーム内での遠隔運動中心の位置を計算するための方法を含む。本発明の原理によれば、高速で、操作者に依存せずに、ただ1つのX線画像から遠隔運動中心を検出することが可能にされる。RCMの正確な決定は、ロボットによる機器の操縦中の患者の安全性に関する1つの重要な側面である。
本発明の原理は、例示として、X線Cアーム及び/又は内視鏡ガイダンスの下でロボット誘導式の最小侵襲性手術が行われる臨床用途に焦点を当てる。しかし、これらの例示的な用途は非限定的であり、医療機器の他の撮像技法も有利であり得、本発明の原理に従って採用され得る。例えば、本発明の実施形態は、心臓スイート、腫瘍学スイート、神経外科スイート等を含む、手術室又は他の場所で実施される任意の最小侵襲性処置で採用され得る。
本発明を医療機器に関して述べるが、本発明の教示ははるかに広範であり、任意のロボット制御式の機器に適用可能であることを理解されたい。幾つかの実施形態では、本発明の原理は、複雑な生物学的又は機械的システムを追跡又は分析する際に採用される。特に、本発明の原理は、生物学的システムの処置、即ち、肺、胃腸管、排泄器官、血管等、身体の全ての領域における処置の内部追跡に適用可能である。図面に示される要素は、ハードウェアとソフトウェアの様々な組合せで実装され得て、単一の要素又は複数の要素において複合され得る機能を提供し得る。
図面に示される様々な要素の機能は、専用ハードウェアの使用によって、及び適切なソフトウェアに関連してソフトウェアを実行することが可能なハードウェアの使用によって提供され得る。処理装置によって提供されるとき、機能は、単一の専用処理装置によって、単一の共有処理装置によって、又は幾つかが共有され得る複数の別々の処理装置によって提供され得る。更に、用語「処理装置」又は「制御装置」の明示的な使用は、ソフトウェアを実行することが可能なハードウェアに排他的に言及するものと解釈されるべきではなく、限定はしないが、デジタル信号処理装置(「DSP」)ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、不揮発性記憶装置等を暗黙的に含むことができる。
更に、本発明の原理、態様、及び実施形態、並びにそれらの特定の例を述べる本明細書における全ての言明は、それらの構造的均等物と機能的均等物をどちらも包含することを意図されている。更に、そのような均等物は、現在知られている均等物と将来開発される均等物(即ち、構造に関係なく、同じ機能を実施する開発される任意の要素)との両方を含むことが意図される。従って、例えば、本明細書で提示されるブロック図が、本発明の原理を具現化する例示的なシステム構成要素及び/又は回路の概念図を表すことが、当業者によって理解されよう。同様に、任意のフローチャートや流れ図等が様々なプロセスを表し、それらのプロセスは、コンピュータ可読記憶媒体で実質的に表現され得て、従ってコンピュータ又は処理装置によって実行され得て、そのようなコンピュータ又は処理装置が明示的に示されているか否かには関わらないことを理解されたい。
更に、本発明の実施形態は、コンピュータ又は任意の命令実行システムによって使用するための又はそれらに関連するプログラムコードを提供するコンピュータ使用可能及び/又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形態を取ることができる。この説明の目的で、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための又はそれらに関連するプログラムを収納、記憶、通信、伝播、又は輸送することができる任意の装置でよい。そのような媒体は、電子、磁気、光、電磁気、赤外線、若しくは半導体システム(若しくは装置若しくはデバイス)、又は伝播媒体でよい。コンピュータ可読媒体の例は、半導体又はソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、リジッド磁気ディスク、及び光ディスクを含む。光ディスクの現在の例は、CD−ROM(コンパクトディスク−読み出し専用メモリ)、CD−R/W(コンパクトディスク−読み出し/書き込み)、Blue-Ray(登録商標)、及びDVDを含む。
次に図面を参照する。図面中、同様の参照番号は、同じ又は同様の要素を表す。まず図1を参照すると、遠隔運動中心(RCM)を提供及び/又は決定するためのシステム100が示されている。システム100は、ワークステーション又はコンソール112を含むことができ、ワークステーション112によって処置が監督及び/又は管理される。ワークステーション112は、好ましくは、1つ又は複数の処理装置114と、プログラム及びアプリケーションを記憶するためのメモリ116とを含む。メモリ116は、マーカデバイス104の位置を解読するために撮像システム110からの画像を解釈するように構成された画像処理モジュール115を記憶することができる。画像処理モジュール115は、画像フィードバック(及び任意の他のフィードバック、例えば電磁(EM)追跡)を使用してマーカデバイス104の位置及び向きを決定するように構成される。デバイス104は、被験者(例えば患者)160上に位置決めされることがあり、又は他のデバイスのポートを含むことがあり、そのポートにおいて医療デバイス若しくは機器102が被験者160に進入する。デバイス104は、套管針若しくは他のポートを含むことがあり、又は套管針若しくはポートの中に若しくは上に嵌まる別個の部品を含むこともある。マーカデバイス104は、インターフェースに位置決め又は配置され、機器102を受け入れる又は部分的に受け入れる。マーカデバイス104は、ポートとして作用するように構成された内腔を有する環体又は他の物体を含むことがある。一実施形態では、マーカデバイス104は、特定の位置、例えば患者の体内へのポート進入位置等に固定される。医療デバイス102は、ロボット制御式であり、カテーテル、ガイドワイヤ、プローブ、内視鏡、別のロボット、電極、フィルタデバイス、バルーンデバイス、又は他の医療構成要素等を含むことがある。しかし、本発明の原理は、剛性機器が採用されるときに特に有用である。
ロボットシステム130は、座標系132を含む。ロボットシステム130は、処理装置114及びメモリ116を使用して制御されるが、別個の制御システムが採用されてもよい。ロボットシステム130は、医療機器102を把持及び保持するように構成されたロボットアーム134を含む。ロボットシステム130、及び特にロボットアーム134は、メモリ116に記憶されている制御ソフトウェア136を使用して制御される。制御ソフトウェア136は、処置を実行するために許可される及び必要とされる規則、制約、及び運動を(例えば、プログラム、計画、又はインターフェース120から)供給される。
撮像システム110は、術中X線システムを含む。一実施形態では、撮像システム110は、2D又は3Dの術中画像を生成することができる走査システム又はメカニズム111、例えばデュアル若しくはシングルCアーム又は任意の同様のデバイスを含む。特に有用な実施形態では、メカニズム111は、撮像用のCアーム又は他の位置決めシステムを含むことができる。撮像モダリティとしてX線が述べられているが、磁気共鳴、コンピュータ断層撮影、超音波等、他のモダリティも採用され得る。
メモリ116は見当合わせモジュール117を含み、見当合わせモジュール117は、撮像システム110及び/又は画像処理モジュール115から、デバイス102及びデバイス104を含む画像135を受信する。見当合わせモジュール117は、画像135をロボット座標系132の位置と見当合わせする。例えば、デバイス102は、ロボットシステム130によって保持され、その位置は、ロボットアーム134からのフィードバックを使用してロボット座標系132内で既知である。更に、マーカデバイス104を有するデバイス102の画像が捕捉され、ロボット座標系132内での医療デバイス102及びマーカデバイス104の位置/向きを提供するためにロボットアーム134からの位置情報と見当合わせされ得る。見当合わせは、走査ロボット座標系132と、走査メカニズム111の座標系138(例えばX線Cアーム座標系)、撮像システム110の座標系、又は他の既知の基準座標系との間で行われる。見当合わせ技法は、当技術分野で知られている。
ワークステーション112は、画像を閲覧するためのディスプレイ118を含む。また、ディスプレイ118は、ユーザがワークステーション112並びにその構成要素及び機能、又はシステム100内の任意の他の要素と対話することを可能にし得る。これは、インターフェース120によって更に容易にされ、インターフェース120は、キーボード、マウス、ジョイスティック、ハプティックデバイス、又はワークステーション112からのユーザフィードバック及びワークステーション112との対話を可能にするための任意の他の周辺機器又は制御機能を含むことができる。
一実施形態では、マーカデバイス104は、放射線不透過性材料105を含み、これは、好ましくは、撮像システム110の位置が異なっていてもマーカデバイス104の位置及び向きを示すように構成される。即ち、放射線不透過性材料105は、画像が捕捉される角度に関係なく、マーカデバイス104、従って医療機器102の位置及び向きを一意に識別するように構成される。放射線不透過性材料105は、記号、形状、線、点等を含むことがある。マーカデバイス104は、放射線不透過性材料105が形成された又は組み込まれた放射線透過性材料を含むことがある。
図2A及び図2Bは、Cアーム又は撮像システム座標系に対するマーカデバイス104の全体の姿勢をただ1つの投影画像が定義することができるように、形状204、点206、接続線208等を様々な構成で含む幾何学的特徴を有する例示的な設計202の2つの図を示す。設計202よりも単純な設計も採用され得るが、その位置をレンダリングするために1つ又は複数の2D X線獲得を必要とする、又は3D獲得を必要とすることがあることを理解されたい。図2Aは、放射線不透過性の形状204が中に又は上に含まれた、円筒形状の放射線透過性の壁212を有する設計202のX線投影を示す。図2Bは、設計202の3Dレンダリングを示す。
再び図1を参照すると、放射線不透過性マーカ104の姿勢が、ロボット座標系132内で決定及び記述され得る。本発明の原理によれば、マーカデバイス104は、遠隔運動中心(RCM)を示す又は定義する位置に配置される。次いで、画像座標系138とロボット座標系132の間でのマーカ位置の見当合わせによって、マーカ位置がロボット制御ソフトウェア136に提供される。機器102がロボット130によってマーカデバイス104内に又はそこを通して挿入されるとき、制御ソフトウェア136は、仮想RCM140を定義し、それにより、ロボットシステム130は、仮想RCM140の位置によって制約され、従って機器102の運動を制約する。例えば、ロボットアーム134は並進され得ず、ポート(104)等の中へ機器を更に前進させないが、回転は、依然として可能であり得、一部制約されることも、妨げられないこともある。マーカデバイス104は、枢支ポート位置に位置されることも、ポートの一部であることも、又はRCMが生じる若しくは生じる可能性が高い別の位置に含まれることもある。マーカデバイス104は、ただ1つのX線画像でポート位置の姿勢をレンダリングすることができる放射線不透過性の幾何形状105を埋め込まれ得る。
図3を参照すると、最小侵襲性手術中の患者又はモデル302の断面図が示されている。最小侵襲性手術は、小さなポート306を通して患者の身体302内に挿入される細長い機器304を使用して行われる。これらの処置中の主な視覚化方法は、内視鏡又は腹腔鏡308であり、これは、機器102(図1)として又は機器102に加えて提供され得る。ロボット誘導式の最小侵襲性手術では、機器の1つ又は複数が、ロボットシステム130(図1)によって保持されて制御される。患者の身体302に配置された小さなポート306が唯一の切開点であり、機器及び内視鏡は、そこを通過して、患者302の体内にアクセスすることができる。従って、機器304、308は、これらの支点310の周りで回転することができるが、ポート306に対して並進力を加えることはできない。なぜなら、並進力は、患者302に外傷又は危害をもたらすことがあるからである。
この例では、機器304が2つ以上のポート306内に挿入され、ロボット誘導式の内視鏡308が別のポート306を通して挿入される。他の例では、ロボットは、1つ又は複数の手術器具及び/又は内視鏡を保持することができる。ロボットシステムが、ソフトウェアに実装された遠隔運動中心を有する場合、支点310に力を及ぼして組織損傷を引き起こすことなく制御ソフトウェア136がロボット130を移動させるために、仮想遠隔運動中心の位置がロボット座標フレーム132内のどこにあるかをロボット制御ソフトウェア136(図1)に示すことが必要であり得る。
仮想RCMを支点(310)又は他の位置として(例えばソフトウェアで)定義することによって、ソフトウェアは、ポートで回転のみ(又は他の運動制約、例えば1次元又は2次元のみでの回転)が行われ得て、その位置での全ての並進力がなくされるようにする。これは、撮像システムとロボットシステムの間の見当合わせを使用して定義される特定の場所にあるマーカデバイスの位置(ポート306)に仮想RCMを定義することによって実現され得る。
図4を参照すると、本発明の原理による套管針マーカデバイス402に関する例示的実施形態が示されている。套管針マーカデバイス402は、デバイス402の中に又は上に取り付けられた又は形成された放射線不透過性の形状404を含み、ロボットによって保持される手術器具410の遠隔運動中心のX線画像ベースの検出を可能にする。機器410は、デバイス402の少なくとも一部を通過する。ロボット座標フレーム内での遠隔運動中心の位置は、套管針402の配置によって割り当てられる又は提供される。デバイス402は、患者408への進入点に配置され得る。これは、高速で、操作者に依存せずに、ただ1つのX線画像から遠隔運動中心を検出することを可能にする。RCMの決定は、ロボットによる機器の操縦中の患者の安全に関する1つの重要な側面である。
放射線不透過性の形状404は、X線画像内で検出すべきデバイス402内に組み込まれ得る。形状404は、一連の幾何形状、理想的には線、点、及び楕円を含むことがあり、これらは、所定の構成でマーカ内に埋め込まれる。これらの形状404は、造影剤から形成され、この造影剤は、その周囲材料と大きく異なる放射線不透過性を有する。これらの形状404は、好ましくは、その全体の姿勢及び向きを定義するのにただ1つの投影画像で十分であるような構成を含む。これらのマーカ形状404の幾何学的特性は、ただ1つのX線画像を使用して基準点の正確な姿勢(例えば3つの向き及び3つの並進)を記述することを可能にする。代替として、マーカ形状404は、単純な形状(球等)を有することができるが、複数のX線画像を必要とし、従って有用ではあるが、好ましい実施形態ではない。放射線不透過性マーカ404は、予め製造された部品として套管針内に埋め込まれる。
図5を参照すると、この実施形態では、マーカデバイス502は、套管針504に組み込まれず、手術器具/内視鏡508又は套管針若しくはポート504に取り付けられる。先と同様に、マーカデバイス502は、様々な放射線不透過性の形状及び材料506を有することがある。一実施形態では、穴を有するマーカデバイス502が提供され、それにより、機器/内視鏡508のシャフトの上方に、又は套管針504の上に若しくは中に位置され得る。マーカ502は、患者の皮膚512上のポート/套管針504に位置され得る。一実施形態では、マーカデバイス502は、ポート/套管針504に添着された接着剤ストリップ又はパッチを含むことがある。
図6を参照すると、ロボットの座標系内でのマーカ及びRCMの位置を確立するための方法が例示的に示されている。ブロック602において、撮像システム(例えばX線システム)でのマーカの検出が行われる。獲得されたX線画像から、X線座標系内でのマーカの位置の検出が行われる。一実施形態では、マーカは放射線透過性であり、放射線不透過性のマーキングを有するので、単純な閾値設定方法が、画像内のマーカの形状をセグメント化することができる。マーカ(例えばマーキングを有する套管針)が独特な形状を有するように設計される場合、正確な位置及び向きを決定するのに1つのX線画像で十分である。マーカが単純な形状(球等)を有する場合には、複数の画像が必要とされ、三角測量等、位置を定義するための既知の3D姿勢計算アルゴリズムによって合成される。
ブロック604で、ロボットと画像システムとの見当合わせが行われる。ロボット座標フレームとX線Cアーム座標フレームとの見当合わせは、既知の方法(例えば位置合わせマーカ、2点間の見当合わせ、Cアームでの既知の位置へのロボットの取付け等)を使用して行われる。
ブロック606で、ロボット座標フレーム内にRCM位置が提供又は定義される。ロボット座標フレームは、RCM位置とX線マーカ位置との関係を確立することによって知られている。RCMマーカが套管針ポートに組み込まれている場合、関係は、設計によって既知であり得る。RCMマーカが套管針ポートに組み込まれていない場合、マーカと套管針の間の距離は、手動測定又は事前較正によって計算される必要がある。ロボットの運動制御は、遠隔運動中心からの機器の前進の防止を含むことがあるが、機器の回転(又は制限された回転)を許す。他の運動制約及び制御も実装され得る。
本発明の実施形態は、X線撮像が利用可能であるロボット誘導式の内視鏡最小侵襲性手術の様々な用途で使用され得る。手術のタイプは、限定はしないが、心臓手術、最小侵襲性冠動脈バイパス移植術、心房中隔欠損閉鎖術、弁修復/置換術、腹腔鏡手術、子宮摘出術、前立腺切除術、胆嚢手術、自然孔手術(NOTES:natural orifice transluminal surgery)、肺/気管支手術、神経外科介入、胸腔鏡補助下手術等を含むことができる。
添付の特許請求の範囲を解釈する際、以下のことを理解されたい。
a) 語「備える」は、所与の請求項に列挙されたもの以外の要素又は操作の存在を除外しない。
b) ある要素に先立つ語「1つの」は、複数のそのような要素の存在を除外しない。
c) 特許請求の範囲における任意の参照符号は、その範囲を限定しない。
d) 複数の「手段」は、同じ要素、又はハードウェア若しくはソフトウェア実装構造若しくは機能によって表現され得る。
e) 別段に示さない限り、操作の特定の順序は必須ではないものと意図される。
カスタム套管針(例示的であり、限定的であるとは意図されない)を使用するロボット遠隔運動中心点の位置特定に関する好ましい実施形態を述べてきたが、上記の教示に照らして当業者によって修正及び変更が施され得ることに留意されたい。従って、開示される開示の特定の実施形態に変更が施され得て、それらが、添付の特許請求の範囲によって述べられる本明細書で開示される実施形態の範囲内にあることを理解されたい。以上、特許法によって要求される詳細及び細目を述べてきたが、本願で特許請求され、特許証によって保護されることを望まれるものは、添付の特許請求の範囲に記載されている。

Claims (20)

  1. ロボット制御に関する遠隔運動中心を提供するためのシステムであって、
    撮像システムによって収集される画像内でマーカデバイスの位置及び向きを示すために1つ又は複数の形状を含むマーカデバイスであって、ロボット誘導式である機器を受け入れる又は一部受け入れるマーカデバイスと、
    ロボット座標系内で仮想遠隔運動中心が存在する位置を定義するために、前記マーカデバイスを使用して前記画像の座標系を前記ロボット誘導式の機器の座標系と見当合わせする見当合わせモジュールと、
    前記ロボット誘導式の機器の運動を制御する制御ソフトウェアとを備え、前記仮想遠隔運動中心が、ロボットの運動を制約する、
    システム。
  2. 前記撮像システムが、術中X線撮像システムを含む、請求項1に記載のシステム。
  3. 前記1つ又は複数の形状が、放射線不透過性であり、前記マーカデバイス内に一体形成される、請求項2に記載のシステム。
  4. 前記1つ又は複数の形状が、放射線不透過性であり、前記機器及び前記マーカデバイスの一方に関係する別個の部品として形成される、請求項2に記載のシステム。
  5. 前記制御ソフトウェアが、前記仮想遠隔運動中心からの前記機器の前進を防止するが、前記機器の回転を許す、請求項1に記載のシステム。
  6. 前記1つ又は複数の形状が、ただ1つの収集された画像内で前記マーカデバイスの3次元位置及び向きの識別を可能にする幾何形状を含む、請求項1に記載のシステム。
  7. 医療処置を実施するための手術スイートを含む、請求項1に記載のシステム。
  8. 前記マーカデバイスが、被験者への進入用ポートを含む、請求項7に記載のシステム。
  9. 前記マーカデバイスが、被験者への進入用ポートに接する別個の部品を含む、請求項7に記載のシステム。
  10. ロボット制御に関する遠隔運動中心を提供するためのマーカであって、
    1つ又は複数の機器を受け入れる又は一部受け入れる内部キャビティを形成する放射線透過性の壁と、
    前記壁の上に又は中に形成された放射線不透過性材料とを備え、前記材料が、1つ又は複数の形状に構成されて、X線画像内での前記マーカの3次元向き及び位置を示し、それにより、前記3次元向き及び位置が、前記1つ又は複数の機器に関するロボット制御に関する仮想遠隔運動中心を提供する、
    マーカ。
  11. 前記マーカが、套管針内に一体形成される、請求項10に記載のマーカ。
  12. 前記マーカが、医療ポート又は套管針の一方に関係する部分を含む、請求項10に記載のマーカ。
  13. 前記幾何形状が、ただ1つの収集された画像内での前記3次元向き及び位置の識別を可能にする、請求項10に記載のマーカ。
  14. ロボット制御に関する遠隔運動中心を提供するための方法であって、
    被験者に対してある位置にマーカを配置するステップであって、前記マーカが、画像内での前記マーカの位置及び向きを示すために1つ又は複数の形状を含むステップと、
    前記マーカを撮像するステップと、
    ロボット座標系内で仮想遠隔運動中心が存在する位置を定義するために、前記マーカを使用して前記画像の座標系とロボット誘導式の機器の座標系を見当合わせするステップと、
    前記ロボット制御式の機器の運動を制御するステップであって、前記仮想遠隔運動中心が、ロボットの運動を制約するステップと
    を含む、方法。
  15. 前記撮像システムが、術中X線撮像システムを含む、請求項14に記載の方法。
  16. 前記マーカが、放射線不透過性であり、套管針と一体形成される、又は前記機器及び前記套管針の一方に関係する別個の部品として形成される、請求項15に記載の方法。
  17. 前記運動を制御するステップが、前記遠隔運動中心からの前記機器の前進を防止するが、前記機器の回転を許すステップを含む、請求項14に記載の方法。
  18. 前記マーカを撮像するステップが、ただ1つの収集された画像内での前記マーカの3次元位置及び向きの識別を可能にする幾何形状を提供するステップを含む、請求項14に記載の方法。
  19. 前記ロボット制御式の機器が医療機器を含み、前記方法が、ロボット制御に関する前記仮想遠隔運動中心を使用して医療処置を実施するステップを更に含む、請求項14に記載の方法。
  20. 前記マーカが、被験者への進入のためのポートに接する別個の部品を含み、前記方法が、前記見当合わせを提供するために、前記ポートと前記マーカとのオフセットを計算するステップを更に含む、請求項14に記載の方法。
JP2016504796A 2013-03-28 2014-03-21 カスタム套管針を使用したロボット遠隔運動中心点の位置特定 Expired - Fee Related JP6290372B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361805947P 2013-03-28 2013-03-28
US61/805,947 2013-03-28
PCT/IB2014/060020 WO2014155257A1 (en) 2013-03-28 2014-03-21 Localization of robotic remote center of motion point using custom trocar

Publications (3)

Publication Number Publication Date
JP2016520345A true JP2016520345A (ja) 2016-07-14
JP2016520345A5 JP2016520345A5 (ja) 2017-09-28
JP6290372B2 JP6290372B2 (ja) 2018-03-07

Family

ID=50473731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016504796A Expired - Fee Related JP6290372B2 (ja) 2013-03-28 2014-03-21 カスタム套管針を使用したロボット遠隔運動中心点の位置特定

Country Status (5)

Country Link
US (1) US9782198B2 (ja)
EP (1) EP3003180B1 (ja)
JP (1) JP6290372B2 (ja)
CN (1) CN105073042B (ja)
WO (1) WO2014155257A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021153771A (ja) * 2020-03-26 2021-10-07 株式会社メディカロイド ロボット手術支援装置、ロボット手術支援方法、及びプログラム
JP2021528114A (ja) * 2018-04-20 2021-10-21 バーブ サージカル インコーポレイテッドVerb Surgical Inc. ロボットポート配置ガイド及び使用方法
JP2022008110A (ja) * 2018-10-30 2022-01-13 コヴィディエン リミテッド パートナーシップ ロボット外科システムのための拘束および非拘束関節運動リミット

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US9387048B2 (en) 2011-10-14 2016-07-12 Intuitive Surgical Operations, Inc. Catheter sensor systems
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
CN113616334A (zh) * 2014-02-04 2021-11-09 皇家飞利浦有限公司 用于机器人系统的使用光源的远程运动中心定义
EP3632364B1 (en) 2014-03-17 2021-09-01 Intuitive Surgical Operations, Inc. Indicator mechanism for an actuator controlled surgical instrument
EP3243476B1 (en) 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US20170049503A1 (en) * 2014-05-15 2017-02-23 Cosman Medical, Inc. Electrosurgical system
WO2016054256A1 (en) 2014-09-30 2016-04-07 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102014223386A1 (de) * 2014-11-17 2016-05-19 Siemens Aktiengesellschaft Roboterregistrierung bei bildgebenden Modalitäten
WO2016137612A1 (en) 2015-02-26 2016-09-01 Covidien Lp Robotically controlling remote center of motion with software and guide tube
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
WO2017167971A1 (en) * 2016-03-31 2017-10-05 Koninklijke Philips N.V. Image guided robotic system for tumor aspiration
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11026583B2 (en) * 2017-04-26 2021-06-08 International Business Machines Corporation Intravascular catheter including markers
US10251708B2 (en) * 2017-04-26 2019-04-09 International Business Machines Corporation Intravascular catheter for modeling blood vessels
US11529129B2 (en) 2017-05-12 2022-12-20 Auris Health, Inc. Biopsy apparatus and system
AU2018290831A1 (en) 2017-06-28 2019-12-19 Auris Health, Inc. Instrument insertion compensation
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
JP7362610B2 (ja) 2017-12-06 2023-10-17 オーリス ヘルス インコーポレイテッド コマンド指示されていない器具の回動を修正するシステムおよび方法
AU2018384820B2 (en) 2017-12-14 2024-07-04 Auris Health, Inc. System and method for estimating instrument location
KR102690164B1 (ko) 2018-02-13 2024-08-02 아우리스 헬스, 인코포레이티드 의료 기구를 구동시키기 위한 시스템 및 방법
CN108324373B (zh) * 2018-03-19 2020-11-27 南开大学 一种基于电磁定位系统的穿刺手术机器人精确定位实现方法
US12076100B2 (en) 2018-09-28 2024-09-03 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
JP2022502171A (ja) 2018-09-28 2022-01-11 オーリス ヘルス インコーポレイテッド 医療器具をドッキングするためのシステム及び方法
US11931198B2 (en) 2019-02-15 2024-03-19 Koninklijke Philips N.V. X-ray calibration for display overlays onto X-ray images
US11918406B2 (en) 2019-02-15 2024-03-05 Koninklijke Philips N.V. Marker registration correction by virtual model manipulation
EP3924938A1 (en) 2019-02-15 2021-12-22 Koninklijke Philips N.V. X-ray ripple markers for x-ray calibration
DE102019204920A1 (de) * 2019-04-05 2020-10-08 Siemens Healthcare Gmbh Führungseinheit zum Führen einer Nadel mit einer röntgen-opaken Kontur; Führungssystem; Anlage; Computerprogrammprodukt sowie Verfahren
US11589772B2 (en) * 2019-05-23 2023-02-28 Biosense Webster (Israel) Ltd. Probe with radiopaque tag
WO2021137109A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment techniques for percutaneous access
CN118383870A (zh) 2019-12-31 2024-07-26 奥瑞斯健康公司 用于经皮进入的对准界面
CN114901194B (zh) 2019-12-31 2024-08-30 奥瑞斯健康公司 解剖特征识别和瞄准
EP4125698A1 (en) 2020-04-02 2023-02-08 Intuitive Surgical Operations, Inc. Devices for instrument use recording, devices for recording instrument reprocessing events, and related systems and methods
GB2594327B (en) * 2020-04-24 2024-08-14 Cmr Surgical Ltd Powering a surgical robot arm
CN113180828B (zh) * 2021-03-25 2023-05-12 北京航空航天大学 基于旋量理论的手术机器人约束运动控制方法
CN114027984B (zh) * 2022-01-06 2022-03-11 极限人工智能有限公司 迂曲血管穿越控制装置及血管机器人系统
CN114074329B (zh) * 2022-01-19 2022-04-15 成都博恩思医学机器人有限公司 一种机器人远心不动点的校验控制方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080269602A1 (en) * 2007-04-24 2008-10-30 Medtronic, Inc. Method And Apparatus For Performing A Navigated Procedure
US20120158031A1 (en) * 2010-12-21 2012-06-21 Mccawley Matthew D Scleral marker for vitreoretinal entry system
US20130066335A1 (en) * 2010-05-25 2013-03-14 Ronny Bärwinkel Method for moving an instrument arm of a laparoscopy robot into a predeterminable relative position with respect to a trocar

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3577982A (en) * 1969-02-17 1971-05-11 Edwin La Par Equipment for delivering a liquid into a body stoma
US5951475A (en) 1997-09-25 1999-09-14 International Business Machines Corporation Methods and apparatus for registering CT-scan data to multiple fluoroscopic images
US6656189B1 (en) 2000-05-25 2003-12-02 Synthes (Usa) Radiolucent aiming guide
EP1472579B1 (en) 2002-02-06 2013-05-01 The Johns Hopkins University Remote center of motion robotic system
US7824414B2 (en) * 2005-07-22 2010-11-02 Kensey Nash Corporation System and devices for the repair of a vertebral disc defect
US8167873B2 (en) 2006-01-25 2012-05-01 Intuitive Surgical Operations, Inc. Center robotic arm with five-bar spherical linkage for endoscopic camera
CN100436844C (zh) * 2007-04-05 2008-11-26 北京航空航天大学 用于柔性弧形滑轨的具有虚拟远程运动中心的柔性铰链
US8175677B2 (en) * 2007-06-07 2012-05-08 MRI Interventions, Inc. MRI-guided medical interventional systems and methods
CN101380241B (zh) * 2008-10-07 2010-04-07 北京航空航天大学 一种基于仿图仪的远程运动中心机构
WO2011149260A2 (ko) 2010-05-28 2011-12-01 주식회사 이턴 수술용 로봇 암의 rcm 구조
WO2013181667A1 (en) * 2012-06-01 2013-12-05 Cibiem, Inc. Percutaneous methods and devices for carotid body ablation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080269602A1 (en) * 2007-04-24 2008-10-30 Medtronic, Inc. Method And Apparatus For Performing A Navigated Procedure
US20130066335A1 (en) * 2010-05-25 2013-03-14 Ronny Bärwinkel Method for moving an instrument arm of a laparoscopy robot into a predeterminable relative position with respect to a trocar
US20120158031A1 (en) * 2010-12-21 2012-06-21 Mccawley Matthew D Scleral marker for vitreoretinal entry system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021528114A (ja) * 2018-04-20 2021-10-21 バーブ サージカル インコーポレイテッドVerb Surgical Inc. ロボットポート配置ガイド及び使用方法
JP7130770B2 (ja) 2018-04-20 2022-09-05 バーブ サージカル インコーポレイテッド ロボットポート配置ガイド及び使用方法
US11931123B2 (en) 2018-04-20 2024-03-19 Verb Surgical Inc. Robotic port placement guide and method of use
JP2022008110A (ja) * 2018-10-30 2022-01-13 コヴィディエン リミテッド パートナーシップ ロボット外科システムのための拘束および非拘束関節運動リミット
JP7184961B2 (ja) 2018-10-30 2022-12-06 コヴィディエン リミテッド パートナーシップ ロボット外科システムのための拘束および非拘束関節運動リミット
JP2021153771A (ja) * 2020-03-26 2021-10-07 株式会社メディカロイド ロボット手術支援装置、ロボット手術支援方法、及びプログラム
JP7414611B2 (ja) 2020-03-26 2024-01-16 株式会社メディカロイド ロボット手術支援装置、処理方法、及びプログラム

Also Published As

Publication number Publication date
CN105073042B (zh) 2019-03-29
JP6290372B2 (ja) 2018-03-07
EP3003180B1 (en) 2019-02-27
CN105073042A (zh) 2015-11-18
WO2014155257A1 (en) 2014-10-02
US20160045269A1 (en) 2016-02-18
US9782198B2 (en) 2017-10-10
EP3003180A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
JP6290372B2 (ja) カスタム套管針を使用したロボット遠隔運動中心点の位置特定
JP6649260B2 (ja) 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化
US11452464B2 (en) Guidance tools to manually steer endoscope using pre-operative and intra-operative 3D images
JP6404713B2 (ja) 内視鏡手術におけるガイド下注入のためのシステム及び方法
Kenngott et al. Real-time image guidance in laparoscopic liver surgery: first clinical experience with a guidance system based on intraoperative CT imaging
Feuerstein et al. Intraoperative laparoscope augmentation for port placement and resection planning in minimally invasive liver resection
US10674891B2 (en) Method for assisting navigation of an endoscopic device
JP5865361B2 (ja) リアルタイム内視鏡較正に関するシステム及び方法
JP2022502179A (ja) 内視鏡支援経皮的医療処置のためのシステム及び方法
JP6220345B2 (ja) 患者特有のポートの配置中の手術ツールの位置決めおよび向き合せ
JP6715823B2 (ja) X線スイートにおける画像統合及びロボット内視鏡制御
CN111699515A (zh) 用于成像设备的姿态估计以及用于确定医疗设备相对于目标的位置的系统和方法
JP2020503134A (ja) 形状検知デバイスを使用した医療ナビゲーションシステム及びその動作方法
US20150126859A1 (en) Guided incision planning for endoscopic minimally invasive surgery
Marmurek et al. Image-guided laser projection for port placement in minimally invasive surgery
JP2021502186A (ja) 超音波プローブを誘導するためのシステムおよび方法
Rassweiler et al. Augmented reality for percutaneous renal interventions
Langø et al. Navigated ultrasound in laparoscopic surgery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170810

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170810

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180207

R150 Certificate of patent or registration of utility model

Ref document number: 6290372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees