JP2006122473A - Method for supporting operation and operation supporting robot to execute the method - Google Patents

Method for supporting operation and operation supporting robot to execute the method Download PDF

Info

Publication number
JP2006122473A
JP2006122473A JP2004316488A JP2004316488A JP2006122473A JP 2006122473 A JP2006122473 A JP 2006122473A JP 2004316488 A JP2004316488 A JP 2004316488A JP 2004316488 A JP2004316488 A JP 2004316488A JP 2006122473 A JP2006122473 A JP 2006122473A
Authority
JP
Japan
Prior art keywords
forceps
arm
holder
operator
stand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004316488A
Other languages
Japanese (ja)
Other versions
JP4437172B2 (en
Inventor
Shuji Hayashi
衆治 林
Tomohiko Takemitsu
知彦 武満
Manabu Iwata
学 岩田
Hidenao Maruyama
秀尚 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIWA IRYO DENKI KK
Aska Corp
Chunichi Denshi Co Ltd
Original Assignee
MIWA IRYO DENKI KK
Aska Corp
Chunichi Denshi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIWA IRYO DENKI KK, Aska Corp, Chunichi Denshi Co Ltd filed Critical MIWA IRYO DENKI KK
Priority to JP2004316488A priority Critical patent/JP4437172B2/en
Publication of JP2006122473A publication Critical patent/JP2006122473A/en
Application granted granted Critical
Publication of JP4437172B2 publication Critical patent/JP4437172B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To execute such operation supporting acts as selecting specific forceps based on a spoken command by an operator from a large number of forceps in a celiac operation under an endoscope, and holding out the selected forceps to the operator. <P>SOLUTION: An operation supporting robot comprises a stand 12 to be set near an operation table 14, a holder 22 mounted on the stand for detachably holding a necessary number of forceps, an arm 24 mounted on the stand for picking up desired forceps from the forceps 20 held by the holder 22 and releasing the forceps after holding out the forceps to the operator, a voice recognition control means 28 for outputting a command to deduce the specified forceps in response to the spoken command of the operator to specify the desired forceps and outputting a command to the arm to operate, and a composite image generating means 30 for composing the image of the shape of the distal end of the specific forceps specified in the spoken command by the operator with the image of the operation under the endoscope and displaying the composite image in a display 16. Either the holder or the arm is made to deduce the desired forceps according to the deduction command accompanying the spoken command. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、手術支援方法と、該方法を実施する手術支援ロボットに関し、更に詳細には、内視鏡下での腹腔手術に際し必要とされる多数の鉗子の中から、手術者の音声指示に基づき特定の鉗子を選び出して、該鉗子を手術者に差し出す手術支援行為をなし得る医療関連技術に関するものである。   The present invention relates to a surgical support method and a surgical support robot for performing the method. More specifically, the present invention relates to a voice instruction from a large number of forceps required for an abdominal surgery under an endoscope. The present invention relates to a medical-related technique capable of selecting a specific forceps based on the selected forceps and performing a surgical support act of presenting the forceps to an operator.

例えば患者の腹部疾患に関連する手術に際し、その疾患の部位や程度如何によっては、開腹手術に代えて内視鏡手術を行なった方が、患者の身体に及ぼす侵襲が緩和され、また手術跡の回復も早く且つ傷跡も小さくし得る等の多くの利点がある。このため最近では、内視鏡下での腹腔手術の研修体制も確立されており、今後は更に広く普及する傾向にある。   For example, when performing surgery related to the patient's abdominal disease, depending on the location and extent of the disease, endoscopic surgery instead of laparotomy may reduce the invasion on the patient's body, and There are many advantages such as quick recovery and small scars. For this reason, recently, a training system for endoscopic abdominal surgery has been established, and it is likely to become more widespread in the future.

この内視鏡手術に当っては、患者の腹部を小さく切開して3〜4個所の穴を開け、夫々の穴に挿し込んだ中空スリーブ(カニューレ)に内視鏡や各種鉗子を対応的に挿入して腹腔内手術を実施するようになっている。内視鏡にはCCD撮像素子が組込まれ、該撮像素子で捕えられた内臓領域の映像(術野)は、手術台の向こう側に設置したディスプレイに映し出される。また鉗子の先端は、使用目的に応じて電気メスやピンセットその他鋏等の機能を有する形状になっており、手術部位の切開や切除、内臓部分の摘み上げや拡開、縫合糸の切断等の各種作業に供される。そして内視鏡の患部への挿入は手術者が行なうが、手術中における該内視鏡の保持・視野確保等は助手としての医師や看護師等が行なう。また鉗子の患部への挿入及び操作は、手術者及び助手としての医師が分担して行なう。
特開2004−129956号公報
In this endoscopic operation, the patient's abdomen is cut small and 3 to 4 holes are made, and the endoscope and various forceps are correspondingly attached to the hollow sleeves (cannulas) inserted into the respective holes. Insert and perform intra-abdominal surgery. A CCD imaging device is incorporated in the endoscope, and an image (operating field) of the internal organs captured by the imaging device is displayed on a display installed on the other side of the operating table. The tip of the forceps has a shape that functions as an electric knife, tweezers, or other scissors depending on the purpose of use, such as incision or excision of the surgical site, picking up or expanding the internal organs, cutting sutures, etc. It is used for various operations. The surgeon inserts the endoscope into the affected area, and a doctor, a nurse, or the like as an assistant holds the endoscope and secures the visual field during the operation. The insertion and operation of the forceps into the affected area are performed by the surgeon and a doctor as an assistant.
JP 2004-129956 A

内視鏡手術では、手術の進行に伴って各種の鉗子が使い分けられるため、多数の鉗子の管理に当たる助手は、手術者からの口頭の指示に応じてトレー中の鉗子から特定の鉗子を選び出し、当該鉗子を手術者に手渡す作業を分担している。しかし多数の鉗子群の中から特定の鉗子を選び出し、その特定された鉗子を手術者に手渡すという作業は、高度の熟練と経験とが要求される内視鏡手術の作業環境下においては、どちらかと云えば単純で技巧を殆ど要しないものである。   In endoscopic surgery, various types of forceps are used as the operation progresses, so the assistant who manages many forceps selects specific forceps from the forceps in the tray according to the verbal instructions from the operator. The task of handing the forceps to the surgeon is shared. However, the task of selecting a specific forceps from a large number of forceps groups and handing the specified forceps to an operator is difficult in an endoscopic surgical work environment that requires a high level of skill and experience. It's simple and requires little skill.

このように鉗子の選び出し及び手術者への手渡し(更には使用済みの鉗子の戻し)は単純作業と捉えられるが、また反面手術を円滑に遂行する上で極めて重要な作業であるために、従来はこれを充分な医療知識を有し、または研修途次にある医師や看護師がこれを担当している。このため補佐的な役割とは云え、鉗子の管理担当者には専門性を有する人員を確保する必要があり、これが手術のコスト増大につながっている。また、他の手術に振り向けることの可能な人員でありながら、1つの内視鏡手術にそれらの人たちを集めなければならないために、医療体制での全体的な人員不足に拍車を掛ける事態に至っている。   In this way, selection of forceps and handing them to the operator (and returning the used forceps) can be regarded as simple work, but on the other hand, since it is extremely important work for smoothly performing surgery, This is handled by doctors and nurses who have sufficient medical knowledge or are undergoing training. For this reason, although it is an assistant role, it is necessary to secure personnel with expertise in the person in charge of managing the forceps, which leads to an increase in the cost of the operation. Also, the situation that spurs the overall shortage of personnel in the medical system because they must be gathered for one endoscopic operation, even though they can be used for other operations Has reached.

そこで本願の発明者等は、前記の内視鏡手術に特有の鉗子の選択・手渡し作業が専門性を有する人員に頼っていた現況に対し発想を転換して、鉗子関連の付帯作業を「ロボット化した手術支援行為」と把えることに解決の端緒を見出した。すなわち内視鏡手術の流れを全体的に俯瞰した場合に、その殆どは高度の熟練と経験を積んだ人間技が必要とされているが、ロボット制御技術と音声認識制御技術とが進展した現在であるならば、手術者の音声による指示の下に、用意された多数の鉗子群の中から指示された特定の鉗子を選択的に取出し、当該鉗子を手術者の動作領域近傍まで差し出す作業をロボット化し得る、と判断するに至ったものである。この場合に、本願発明は、その構想を更に進めて、手術者が使用した後の鉗子を再使用のため所定の鉗子セット位置まで戻すことも、ロボット化による手術支援行為の一環に含ましめている。   Therefore, the inventors of the present application changed the way of thinking to the current situation in which the selection and handing work of forceps peculiar to the above-mentioned endoscopic surgery relied on a specialist, I found the beginning of the solution by grasping it as an "operated surgery support act". In other words, when looking at the overall flow of endoscopic surgery, most of them require highly skilled and experienced human skills, but now robot control technology and voice recognition control technology have advanced. If so, under the instruction by the operator's voice, the specified forceps are selectively taken out from the prepared forceps group and the forceps are inserted to the vicinity of the operating area of the operator. It came to be judged that it could be robotized. In this case, the present invention further includes the concept of returning the forceps used by the operator to a predetermined forceps set position for reuse, as part of the operation support operation by robotization. .

前述した内視鏡手術に内在している鉗子手渡しに伴なう人員不足やコスト増大の課題を解決し、所期の目的を好適に達成するため本発明に係る手術支援方法は、内視鏡下での腹腔手術に際して、手術者が当該手術に必要な特定の鉗子を音声で指示することにより、手術台の近傍に設置した手術支援ロボットがその音声指示に応答し、予め準備された多数の鉗子の中から特定の鉗子を選び出して、該鉗子を手術者に差し出す手術支援を行うことを特徴とする。   The surgical support method according to the present invention solves the problems of the shortage of personnel and the increase in cost associated with handing over forceps inherent in the endoscopic surgery described above, and suitably achieves the intended purpose. When performing an abdominal cavity operation, the surgeon instructs a specific forceps necessary for the operation by voice, so that a surgical support robot installed in the vicinity of the operating table responds to the voice instruction, and a number of prepared in advance It is characterized in that a specific forceps is selected from the forceps, and a surgical support is performed in which the forceps are sent to an operator.

同じく内視鏡手術に内在している前記課題を解決し、所期の目的を好適に達成するため本発明に係る手術支援ロボットは、手術台の近傍に移動自在に設置し得るスタンドと、
前記スタンドに設けられ、所要数の鉗子を着脱自在に保持するホルダと、
前記スタンドに設けられ、前記ホルダに保持した鉗子から所望の鉗子をピックアップし、該鉗子を手術者へ差し出してから該鉗子の解放を行なうアームと、
所望の鉗子を特定する手術者の音声指示に対応して、指示された鉗子の割出し指令を出力すると共に、前記アームへの動作指令を出力する音声認識制御手段と、
手術者が音声指示した特定の鉗子の先端形状の映像を、内視鏡下での手術映像と合成してディスプレイに表示する合成映像生成手段とからなり、
前記音声指示に伴う割出し指令によって、前記ホルダまたはアームの何れかに所望の鉗子の割出し動作を行なわせるよう構成したことを特徴とする。
Similarly, in order to solve the above-mentioned problems inherent in endoscopic surgery and achieve the desired purpose suitably, a surgery support robot according to the present invention includes a stand that can be movably installed in the vicinity of an operating table,
A holder provided on the stand, for detachably holding a required number of forceps;
An arm that is provided on the stand and picks up a desired forceps from the forceps held in the holder, and then releases the forceps after inserting the forceps into an operator;
A voice recognition control means for outputting an instruction command for the instructed forceps and outputting an operation command to the arm in response to an operator's voice instruction for specifying a desired forceps;
Composed of a video image of the shape of the tip of a specific forceps voiced by the surgeon, and a composite video generation means for synthesizing the video with the surgical video under the endoscope and displaying it on the display.
According to an indexing command accompanying the voice instruction, either the holder or the arm is configured to perform a desired forceps indexing operation.

本発明に係る手術支援ロボットによれば、内視鏡手術に際し必要不可欠な作業でありながら、それ自体は必ずしも医療従事者により行なわれることを要件としない鉗子の選択・手渡し作業をロボット化したことにより、その作業に従事していた医師や看護師等の高度の医療知識を有する者を、本来の人手による医療作業に振り向けることが可能となる。その結果として、特定の内視鏡手術に限って観察すれば、当該手術に待機・従事する医療技術者の数を低減させることができ、1回当りの手術に要する費用を削減することが可能になる。また手術室内での要員数を減らすことは、手術環境の空気汚染等のマイナス要因を改善することにもなり、更にロボット化により浮いた人員は他の一層専門性の高い各種医療業務に振り向けて、慢性的な人手不足の解消にも貢献し得るものである。   According to the operation support robot according to the present invention, the selection and delivery operation of forceps, which is an indispensable operation in the endoscopic operation, but does not necessarily have to be performed by a medical worker, is robotized. Thus, it becomes possible to direct a person who has advanced medical knowledge such as a doctor or a nurse who was engaged in the work to a medical work by an original manpower. As a result, if the observation is limited to a specific endoscopic operation, the number of medical technicians waiting and engaging in the operation can be reduced, and the cost required for each operation can be reduced. become. In addition, reducing the number of personnel in the operating room will also improve negative factors such as air pollution in the surgical environment, and the personnel who floated due to robotization will be directed to other highly specialized medical operations. It can also contribute to relieving chronic labor shortages.

次に、本発明に係る手術支援方法及びこれを実施する手術支援ロボットにつき、好適な実務例を挙げて、添付図面を参照しながら以下説明する。   Next, the operation support method according to the present invention and the operation support robot for carrying out the same will be described below with reference to the accompanying drawings by giving preferred practical examples.

図1及び図2は、本発明に係る手術支援ロボット10を導入した手術室内の概略を示す斜視図であり、図3は手術支援ロボット10の概略斜視図である。手術支援ロボット10は、後述の如くキャスター付きのスタンド12を有し、図1及び図2に示す手術台14に近接した適宜の位置に、内視鏡手術の直前に移動設置される。手術台14の向う側には液晶パネル等のディスプレイ16が設けられ、手術台上の患者の腹腔に挿入された内視鏡(図示せず)により撮像された患部(術野)が、前記ディスプレイ16に映し出されるようになっている。なお、内視鏡手術に際しては、主担当としての執刀者(以下手術者という)と、鉗子の操作等を担当して手術者を補佐する医師資格を有する助手その他看護師等とによるチームが結成される。   1 and 2 are perspective views showing an outline of an operation room in which the operation support robot 10 according to the present invention is introduced, and FIG. 3 is a schematic perspective view of the operation support robot 10. The operation support robot 10 has a stand 12 with casters as will be described later, and is moved and installed at an appropriate position close to the operation table 14 shown in FIGS. 1 and 2 immediately before the endoscopic operation. A display 16 such as a liquid crystal panel is provided on the opposite side of the operating table 14, and an affected part (operating field) imaged by an endoscope (not shown) inserted into the abdominal cavity of the patient on the operating table is displayed on the display 16. Is projected on the screen. In the case of endoscopic surgery, a team consisting of a surgeon (hereinafter referred to as the surgeon) as the main person in charge and an assistant or other nurse who is in charge of operating the forceps and assisting the surgeon is qualified. Is done.

本発明では、内視鏡手術の進行に応じて手術者が音声で特定の鉗子を指示し、手術支援ロボット10が、その音声指示に応答して各種先端形状の鉗子群中から特定の鉗子20を選択し、該鉗子20をピックアップして手術者の手元へ差し出す医療支援を行うことで、人手を軽減させることを内容としている。   In the present invention, the surgeon instructs a specific forceps by voice in accordance with the progress of the endoscopic surgery, and the surgery support robot 10 responds to the voice instruction by selecting a specific forceps 20 from a group of forceps having various tip shapes. Is selected, and the medical support that picks up the forceps 20 and sends it to the surgeon's hand is performed to reduce the labor.

(発明の全体構成について)
図3に示すように、実施例に係る手術支援ロボット10は、キャスター18により移動自在なスタンド12と、このスタンド12に設けられて、用途に応じた各種先端形状を有する多数の鉗子20を着脱自在に保持するホルダ22と、同じく前記スタンド12に設けられて、後述の音声指示により動作して前記ホルダ22から所要の鉗子20をピックアップし、該鉗子20を手術者へ差し出してから解放するアーム24と、図7に示す制御部26とを基本的に備えている。
(About the overall structure of the invention)
As shown in FIG. 3, the surgical operation support robot 10 according to the embodiment attaches and detaches a stand 12 that is movable by a caster 18 and a number of forceps 20 that are provided on the stand 12 and have various tip shapes according to applications. A holder 22 that is freely held, and an arm that is also provided on the stand 12 and operates according to a voice instruction to be described later to pick up a required forceps 20 from the holder 22 and then releases the forceps 20 to an operator. 24 and the control unit 26 shown in FIG.

図7の制御部26は、例えばパソコン(図示せず)に取込まれており、手術者がマイクを介して所望の鉗子20を特定する音声指示に対応して、前記ホルダ22に支持された鉗子20の割出し指令を出力する。この制御部26は、前記アーム24に所要の動作指令を出力する音声認識制御手段28を備えると共に、前記ディスプレイ16(内視鏡による術野が映し出されている)に、手術者が音声で指示した特定の鉗子20の先端形状を、該術野と共に合成表示する合成映像生成手段30も備えている。これにより手術者は、自分が指示した特定の鉗子20の先端形状を視覚を通じて確認することができる。なお、前記ディスプレイ16には、例えば使用頻度の高い順に複数の鉗子20の先端形状をメニュー状に合成表示し、手術者がその映像中から必要とする鉗子20を視認して特定するメニュー形式としてもよい。   The control unit 26 of FIG. 7 is incorporated in, for example, a personal computer (not shown), and is supported by the holder 22 in response to a voice instruction that the operator specifies a desired forceps 20 via a microphone. An indexing command for the forceps 20 is output. The control unit 26 includes voice recognition control means 28 for outputting a required operation command to the arm 24, and an operator gives a voice instruction to the display 16 (the surgical field by the endoscope is displayed). A synthesized image generating means 30 is also provided for synthesizing and displaying the tip shape of the specific forceps 20 together with the surgical field. Thus, the surgeon can visually confirm the tip shape of the specific forceps 20 instructed by the operator. The display 16 is a menu format in which, for example, the tip shapes of a plurality of forceps 20 are combined and displayed in a menu form in order of frequency of use, and the surgeon visually identifies the necessary forceps 20 from the video. Also good.

図示の実施例は、多数の鉗子20を保持したホルダ22がアーム24に対し回転して、該アーム24が最もピックアップし易い定位置へ特定の鉗子20を割出す構成としたが、これらホルダ22とアーム24との関係は相対的なものであるので、逆の構成としてもよい。すなわち多数の鉗子20を保持しているホルダ22に対してアーム24の方が割出し動作を行ない、次いで特定の鉗子20を該アーム24がピックアップする構成も、本発明の範囲に含まれるものである。   In the illustrated embodiment, the holder 22 holding a number of forceps 20 rotates with respect to the arm 24, and the specific forceps 20 is indexed to a fixed position where the arm 24 is most easily picked up. Since the relationship between the arm 24 and the arm 24 is relative, the structure may be reversed. That is, a configuration in which the arm 24 performs an indexing operation with respect to the holder 22 holding a number of forceps 20 and then the specific forceps 20 is picked up by the arm 24 is also included in the scope of the present invention. is there.

(スタンドについて)
前記スタンド12は、例えばフットペダルの操作により昇降して所望の高さに設定し得るエレベータ32と、このエレベータ32の頂部に水平に配設した支持板34とを備えている。支持板34の上面には、後述するホルダ22及びアーム24が搭載されると共に、該支持板34の下面には、図4に示すように、これらホルダ22及びアーム24の駆動機構が配設されている。
(About the stand)
The stand 12 includes, for example, an elevator 32 that can be raised and lowered by operating a foot pedal and set to a desired height, and a support plate 34 that is horizontally disposed on the top of the elevator 32. A holder 22 and an arm 24, which will be described later, are mounted on the upper surface of the support plate 34, and a drive mechanism for the holder 22 and the arm 24 is disposed on the lower surface of the support plate 34 as shown in FIG. ing.

(ホルダについて)
図4及び図5に示すように、ホルダ22は、所要厚みの円板36と、該円板36の円周方向の端線部に所要間隔で設けたクリップ38と、該円板36の裏面中心に設けられて同軸的に延在する中空筒体40と、該中空筒体40の下端フランジに設けた所要直径の第1ギヤ42とから構成されている。前記クリップ38の夫々には、鉗子20の軸部(シース)20aが係脱自在に嵌入装着され、図6の如く、先端部を下方に指向させた状態で垂下保持されるようになっている。
(About holder)
As shown in FIGS. 4 and 5, the holder 22 includes a disc 36 having a required thickness, clips 38 provided at end portions in the circumferential direction of the disc 36 at a required interval, and a back surface of the disc 36. The hollow cylinder 40 is provided at the center and extends coaxially, and a first gear 42 having a required diameter provided on a lower end flange of the hollow cylinder 40. A shaft portion (sheath) 20a of the forceps 20 is detachably fitted and attached to each of the clips 38, and as shown in FIG. 6, is held down with its tip portion directed downward. .

なお、夫々の鉗子20の適宜の位置には、種類その他を識別管理するデータ(製造元、材質その他の諸元を含んでもよい)を付与した識別コード、例えばバーコードが付され、このバーコードは後述のリーダー68により読み取られて、前記制御部26に記憶保持されるようになっている。この識別コードは、バーコード以外にも、例えばQRコード等の認識コードが適宜に採択使用される。また前記円板36の周りの各クリップ38にも、夫々の鉗子20に付与した識別コードと一致するコードが割り振られており、定められたクリップ38に対応の鉗子20が保持されるようコード管理がなされている。但し、図3及び図4に示すように、支持板38に立設したポール39にリーダー68を固定し、鉗子マガジンとして機能するホルダ22を回転させることで、各鉗子20に付された認識コードを読み取り可能である。このように構成した場合は、ホルダ22上のどのクリップ38に鉗子20をセットしてもよい。   In addition, an identification code, for example, a barcode, to which data for identifying and managing the type and the like (which may include manufacturer, material, and other specifications) is attached to an appropriate position of each forceps 20. It is read by a reader 68 described later and is stored and held in the control unit 26. As the identification code, a recognition code such as a QR code is appropriately adopted and used in addition to the barcode. Each clip 38 around the disk 36 is also assigned a code that matches the identification code assigned to each forceps 20, and the cord management is performed so that the corresponding forceps 20 is held by the determined clip 38. Has been made. However, as shown in FIGS. 3 and 4, the recognition code attached to each forceps 20 is fixed by fixing a leader 68 to a pole 39 standing on a support plate 38 and rotating a holder 22 that functions as a forceps magazine. Can be read. When configured in this way, the forceps 20 may be set in any clip 38 on the holder 22.

前記スタンド12の支持板34には支持軸44が直立配置され、この支持軸44に前記ホルダ22の中空筒体40が外挿されて、該ホルダ22を該支持軸44の周りに回転自在に支持し得るようになっている。図4に示すように、支持板34の裏側には、例えばサーボモータ46が直立状態で配置され、サーボモータ46により駆動される減速機48の出力軸は該支持板34の上方に垂直に延出し、その先端に第2ギヤ50を備えている。この第2ギヤ50は、前記ホルダ22の第1ギヤ42と噛合し、前記制御部26から出力される指令により該ホルダ22に所要の割出し回転を付与するようになっている。このホルダ22に対する最小の割出し角は、前記鉗子20を着脱自在に保持するクリップ38の数で全周角度を除して得られる回転角である。   A support shaft 44 is arranged upright on the support plate 34 of the stand 12, and the hollow cylindrical body 40 of the holder 22 is extrapolated to the support shaft 44 so that the holder 22 can be rotated around the support shaft 44. It comes to be able to support. As shown in FIG. 4, for example, a servo motor 46 is arranged upright on the back side of the support plate 34, and the output shaft of the speed reducer 48 driven by the servo motor 46 extends vertically above the support plate 34. The second gear 50 is provided at the tip. The second gear 50 meshes with the first gear 42 of the holder 22, and gives a required indexing rotation to the holder 22 according to a command output from the control unit 26. The minimum indexing angle with respect to the holder 22 is a rotation angle obtained by dividing the entire circumference angle by the number of clips 38 that detachably hold the forceps 20.

図示のホルダ22は、中空筒体40の頂部に設けた前記円板36とは別に、該中空筒体40の略中間付近にも、同じく円周方向に所要数のクリップ38を設けた第2の円板52を有している。これは鉗子20のシース20aが長尺であるため、該シース20aを上下の円板36,52における各対応のクリップ
38で夫々保持して安定化させるためである。この第2の円板52は、場合によっては配設を省略してもよい。なお機構については図示しないが、上下の円板36,52に設けた各クリップ38は、後述するアーム24の接近を確認して保持中の鉗子20を解放するべく同期的に開放したり、戻ってきた鉗子20をチャックするべく同期的に閉成したりするようになっている。但し、機構簡略化のために、前記クリップ38には開閉用の動力手段を設けないで、スプリングにより該クリップ38を閉成方向へ弾力付勢する構成としてもよい。
The illustrated holder 22 has a second number of clips 38 provided in the circumferential direction in the same manner in the vicinity of the middle of the hollow cylinder 40 separately from the disk 36 provided at the top of the hollow cylinder 40. The disc 52 is provided. This is because the sheath 20a of the forceps 20 is long, and the sheath 20a is held and stabilized by the corresponding clips 38 in the upper and lower disks 36 and 52, respectively. In some cases, the second disk 52 may be omitted. Although the mechanism is not shown, the clips 38 provided on the upper and lower disks 36 and 52 are synchronously opened or returned to confirm the approach of the arm 24 described later and release the holding forceps 20. The forceps 20 are closed synchronously so as to be chucked. However, in order to simplify the mechanism, the clip 38 may not be provided with opening / closing power means, and the clip 38 may be elastically biased in the closing direction by a spring.

前記ホルダ22は、常にはその中空筒体40をスタンド12に立設した支持軸44に外挿させることで、周方向への回転自在に支持されているが、手術終了後は該ホルダ22をそっくり該スタンド12から外して減菌処理に回すことができる。このためスタンド12自体は、ドレープ等で覆っておくことで足りる。   The holder 22 is always supported so as to be rotatable in the circumferential direction by extrapolating the hollow cylindrical body 40 to a support shaft 44 erected on the stand 12. It can be completely removed from the stand 12 and sent for sterilization treatment. For this reason, it is sufficient to cover the stand 12 itself with a drape or the like.

(アームについて)
殊に図3及び図4に示すように、前記スタンド12における支持板34の上部には、前記ホルダ22と所要間隔で隣接するアーム24が設けられている。このアーム24は、基本的にアーム本体54と、その上端部にリスト56を介して設けたハンド58とからなり、アーム本体54の下端部はトラニオン60により軸支されている。
(About the arm)
In particular, as shown in FIGS. 3 and 4, an arm 24 adjacent to the holder 22 at a required interval is provided on the support plate 34 of the stand 12. The arm 24 basically includes an arm main body 54 and a hand 58 provided at the upper end portion thereof via a wrist 56, and the lower end portion of the arm main body 54 is pivotally supported by a trunnion 60.

図4に示すように、前記支持板34の裏側にはアーム駆動機構62が設けられ、前記アーム24に各種自由度の動作を付与している。例えばアーム本体54は、支持板34に対し水平旋回及び垂直旋回が所要の角度範囲で与えられる。また前記ハンド58は開閉可能に構成されると共に、リスト56を介してアーム本体54に対し垂直方向、水平方向及び旋回方向(捻り)に回動可能であって、把持対象物である鉗子20のハンドル基部をクランプ及びアンクランプし得るようになっている。その開閉機構は、既存のロボットアームに採用されるそれと大差ないので、その詳細説明は省略する。なお、前記ハンド58は、リスト56と共にアーム24に簡単な操作で着脱自在に設けられており、従って手術後には、該ハンド58をアーム24から取り外して滅菌処理に供することが出来る。また、前記ハンド58をアーム24の先端に設けたリスト56に着脱自在に設けるようにして、該ハンド58だけを事後の滅菌処理に供するようにしてもよい。   As shown in FIG. 4, an arm drive mechanism 62 is provided on the back side of the support plate 34 to give the arm 24 operations with various degrees of freedom. For example, the arm main body 54 is given a horizontal turn and a vertical turn with respect to the support plate 34 within a required angle range. The hand 58 is configured to be openable and closable, and can be rotated in a vertical direction, a horizontal direction, and a turning direction (twisting) with respect to the arm main body 54 via a wrist 56, and the hand 58 can be grasped. The handle base can be clamped and unclamped. Since the opening / closing mechanism is not much different from that used in existing robot arms, detailed description thereof is omitted. The hand 58 is detachably attached to the arm 24 together with the wrist 56 by a simple operation. Therefore, after the operation, the hand 58 can be detached from the arm 24 and subjected to sterilization. Further, the hand 58 may be detachably provided on a wrist 56 provided at the tip of the arm 24 so that only the hand 58 is subjected to a subsequent sterilization process.

前述の自由度を与えることで、アーム本体54の上端に設けたハンド58を、前記ホルダ22の定位置に割出された特定の鉗子20に向けて所要角度だけ垂直方向に旋回上昇移動させてピックアップし、次いで垂直方向に旋回下降しつつ水平方向に所要角度だけ旋回して、該ハンド58に把持した鉗子20を手術者へ向けて差し出すようになっている。すなわち実施例のアーム24は、支持板34に対する垂直旋回及び水平旋回に、ハンド58がアーム本体54に対して持っている垂直旋回・水平旋回及び旋回方向(捻り)と、該ハンド58の開閉動作とを加えた6つの自由度を有している。勿論、製造コストや現場からの使い勝手の要求度等を勘案して、より多くの自由度を有する多関節系アームとして構成したり、またコスト面の制約に鑑み、ハンド58をアーム本体54に対し垂直旋回させる機構を省略したりしてもよい。但し、一般にアーム側の自由度を高めれば、他の周辺機器の構成を簡易化することが出来る。また、逆にアーム側の自由度を低減させれば、他の周辺機器の構成を複雑化させる必要を生ずる。   By giving the above-mentioned degree of freedom, the hand 58 provided at the upper end of the arm body 54 is swung up and moved vertically by a required angle toward the specific forceps 20 indexed at a fixed position of the holder 22. Then, the forceps 20 gripped by the hand 58 is pushed out to the operator and then swung downward in the vertical direction while turning in the horizontal direction by a required angle. That is, the arm 24 according to the embodiment performs vertical and horizontal turning with respect to the support plate 34, vertical turning / horizontal turning and turning direction (twisting) the hand 58 has with respect to the arm main body 54, and opening / closing operation of the hand 58. And 6 degrees of freedom. Of course, considering the manufacturing cost and the degree of user-friendliness from the field, etc., it can be configured as an articulated arm with more freedom, or the hand 58 can be attached to the arm body 54 in view of cost constraints. A mechanism for vertically turning may be omitted. However, in general, if the degree of freedom on the arm side is increased, the configuration of other peripheral devices can be simplified. Conversely, if the degree of freedom on the arm side is reduced, the configuration of other peripheral devices needs to be complicated.

(鉗子回収手段について)
前記アーム24が特定の鉗子20をホルダ22からピックアップして手術者に差し出すと、手術者は該鉗子20を受け取って直ちに使用するが、使用後の鉗子20は同一手術である限り再度の使用が許容されるので、使用済みの鉗子20を一時的に受け取る手段が必要になる。本実施例では、図4に示す形状をした鉗子回収手段64が、この鉗子回収の用途に供される。例えば鉗子回収手段64は、前記スタンド12の基部近傍に支持されて上方に開口するホーン状の鉗子受け部材として構成され、その開口部は手術者が使用済みの鉗子20をハンドルを上にして放り込むのに最も適した形状になっており、且つ手術者の動作に全く干渉することのない位置に向けられる。
(About forceps recovery means)
When the arm 24 picks up the specific forceps 20 from the holder 22 and puts it out to the operator, the operator receives the forceps 20 and uses it immediately. However, the used forceps 20 can be used again as long as the same operation is performed. Since it is acceptable, a means for temporarily receiving the used forceps 20 is required. In the present embodiment, the forceps collecting means 64 having the shape shown in FIG. 4 is used for this forceps collecting application. For example, the forceps collecting means 64 is configured as a horn-shaped forceps receiving member that is supported near the base of the stand 12 and opens upward, and the operator throws the used forceps 20 with the handle up. And is directed to a position that does not interfere with the operation of the surgeon at all.

また使用済みの鉗子20は、前記鉗子回収手段64へ戻された際に、該鉗子20のハンドルがホーン状開口部より上に位置すると共に、前記アーム24が該鉗子20を回収するのを許容し得るよう、該アーム24の動作領域にハンドル基部を臨ませ得るようになっている。従って使用済み鉗子20の回収時には、アーム24が鉗子回収手段64に向けて下降・水平旋回移動し、ハンド58が該鉗子20のハンドル基部を把持した後に、上昇・水平旋回して該鉗子20をホルダ22の定められたクリップ38に保持させる。このとき、鉗子20に設けられた前記識別コードを、例えばハンド58に配設したリーダーで読み取ってホルダ22の定位置へ間違いなく戻すようになっている。また前述したように、固定側となるポール39にリーダー68を設け、ホルダ22へ鉗子20を返却する際に、認識コードを該リーダー68により逐次読み取って確認するようにしてもよい。   When the used forceps 20 is returned to the forceps collecting means 64, the handle of the forceps 20 is positioned above the horn-shaped opening and the arm 24 is allowed to collect the forceps 20. As a result, the handle base can be exposed to the operating region of the arm 24. Therefore, when the used forceps 20 is collected, the arm 24 is moved downward and horizontally swiveled toward the forceps collecting means 64, and after the hand 58 holds the handle base of the forceps 20, the arm 58 is raised and horizontally swung to move the forceps 20. The clip is held on a predetermined clip 38 of the holder 22. At this time, the identification code provided on the forceps 20 is read by, for example, a reader disposed on the hand 58 and is definitely returned to the fixed position of the holder 22. Further, as described above, the reader 68 may be provided on the pole 39 on the fixed side, and when the forceps 20 is returned to the holder 22, the recognition code may be sequentially read and confirmed by the reader 68.

鉗子回収手段64は、前記アーム24に付与されている自由度との兼合いにおいて、該アーム24のハンド58が使用済み鉗子20を該鉗子回収手段64からピックアップし易いように、該アーム24の動作領域へ向いて前進・後退移動したり、上昇下降移動したりする機構を付与してもよい。これによりアーム24の自由度が低くても、使用済み鉗子20の回収を円滑に行ない得る。また前述した鉗子回収手段64は、一例としてホーン状に構成したが、使用後の鉗子20を手術者が支障無く所定の回収箇所へ戻し得る形状になっていれば、ホーン状でなくても各種の鉗子受け部材を採用することが出来る。例えば、ホーン状の鉗子受け部材に代えて、前記支持板34に設けられて半径方向の斜め上方へ延出し、手術者が鉗子を戻し易い動作領域へ先端を臨ませた樋状部材としてもよい。この場合の樋状部材は、断面が上方へ開放したV溝に設定することが提案される。   The forceps collecting means 64 is arranged so that the hand 58 of the arm 24 can easily pick up the used forceps 20 from the forceps collecting means 64 in balance with the degree of freedom given to the arm 24. A mechanism for moving forward / backward or moving up / down toward the operation area may be provided. Accordingly, even when the degree of freedom of the arm 24 is low, the used forceps 20 can be collected smoothly. Further, the forceps collecting means 64 described above is configured in a horn shape as an example. However, if the forceps 20 after use is shaped so that the operator can return it to a predetermined collection position without hindrance, various types of forceps may be used even if they are not horn-shaped. The forceps receiving member can be employed. For example, instead of a horn-shaped forceps receiving member, a hook-shaped member provided on the support plate 34 and extending obliquely upward in the radial direction so that the distal end faces an operation region where the operator can easily return the forceps may be used. . It is proposed that the saddle-shaped member in this case is set to a V-shaped groove whose cross section is open upward.

(制御部について)
図7は、実施例に係る手術支援ロボット10に関連する各種入力を受容し、また該ロボット10に各種の出力を与えて鉗子20の選択並びに差し出し動作を行なわせると共に、前記ディスプレイ16に合成画像を送り出す制御部26を示すブロック図である。先に概説した如く、制御部26はパソコン内に取り込まれており、内部に音声認識制御手段28及び合成映像生成手段30を備えている。この制御部26の入力端子には、例えば手術者の口部付近にセットされるマイク66、前記認識コード読取り用のリーダー68その他鉗子20の先端画像取り込み用の撮像素子(カメラ)70の各出力端子が接続される。なお、マイク66やリーダー68等と制御部26との接続は、ケーブルによる有線や無線LAN等の何れであってもよい。前記マイク66としては、骨伝導タイプのものが音声認識度を高める上で推奨されるが、それ以外のものであってもよい。また制御部26の出力端子には、内視鏡による術野及び鉗子先端映像を合成表示するディスプレイ16、手術支援ロボット10に各種の動作指令を与えるコントローラ(乃至シーケンサ)72その他各種指令に対する確認音を出すスピーカ74の各入力端子が接続される。これら出力端子と入力端子の接続も、有線・無線の何れもが適宜選択的に使用される。
(About the control unit)
FIG. 7 receives various inputs related to the surgery support robot 10 according to the embodiment, gives various outputs to the robot 10 to select and insert the forceps 20, and displays the composite image on the display 16. It is a block diagram which shows the control part 26 which sends out. As outlined above, the control unit 26 is incorporated in the personal computer and includes the voice recognition control means 28 and the synthesized video generation means 30 therein. For example, a microphone 66 set in the vicinity of the operator's mouth, a reader 68 for reading the recognition code, and other outputs of the image sensor (camera) 70 for capturing the distal end image of the forceps 20 are input to the input terminal of the control unit 26. The terminal is connected. Note that the connection between the microphone 66, the reader 68, and the like and the control unit 26 may be any of wired connection using a cable, wireless LAN, and the like. As the microphone 66, a bone-conduction type is recommended for increasing the degree of voice recognition, but other types may be used. In addition, the output terminal of the control unit 26 includes a display 16 for compositing and displaying an endoscopic surgical field and forceps tip image, a controller (or sequencer) 72 for giving various operation commands to the surgery support robot 10, and other confirmation sounds for various commands. Each input terminal of the speaker 74 that outputs is connected. As for the connection between the output terminal and the input terminal, either wired or wireless connection is selectively used as appropriate.

(音声認識制御について)
制御部26が内蔵している音声認識制御手段28には、手術者からの音声による鉗子選択指示が、マイク66及びサウンドボード76を介して入力される。音声認識制御手段28は、音声認識用のソフトとして音声認識エンジン78及びロボット制御コマンド部80を有している。音声認識エンジン78は、特定の手術者からの音声であるか否かを、例えば予め記憶させておいた当該手術者の肉声パターンとの照合等により本人確認を行なうと共に、その音声により指示された内容(例えば、1番鉗子、2番鉗子等の指示)の具体的な認識・把握を行なう。そして、音声認識エンジン78により認識された特定の鉗子に付与されているデジタルコードを、前記ロボット制御コマンド部80へ送り出す。ロボット制御コマンド部80は、その入力されたデジタルコードを解析して、それに対応した指示を前記コントローラ72へ出力し、該コントローラ72は前記ホルダ22の鉗子割出し動作及び前記アーム24による特定の鉗子20のピックアップ並びに手術者への差し出し動作を指示する。その一連の動作フローは、図9及び図10のフローチャートに関連して後述する。
(Voice recognition control)
The voice recognition control means 28 built in the control unit 26 receives a forceps selection instruction by voice from the operator via the microphone 66 and the sound board 76. The voice recognition control means 28 includes a voice recognition engine 78 and a robot control command unit 80 as voice recognition software. The voice recognition engine 78 checks whether the voice is from a specific surgeon, for example, by collating it with a pre-stored operator's real voice pattern or the like, and instructed by the voice. The contents (for example, instructions for the first forceps, the second forceps, etc.) are specifically recognized and grasped. Then, the digital code assigned to the specific forceps recognized by the voice recognition engine 78 is sent to the robot control command unit 80. The robot control command unit 80 analyzes the input digital code and outputs a corresponding instruction to the controller 72. The controller 72 performs a forceps indexing operation of the holder 22 and specific forceps by the arm 24. 20 pick-ups and an operation of sending out to the surgeon are instructed. The series of operation flows will be described later with reference to the flowcharts of FIGS. 9 and 10.

(合成映像生成について)
制御部26が内蔵している合成映像生成手段30は、前記リーダー68で読み込んだ鉗子番号等のコードと、前記撮像素子70により取り込んだ当該鉗子20における実際の先端部(例えばピンセット状か、鋏状か等)の画像とを合成するソフトである。すなわち夫々の鉗子20の先端画像は、前記撮像素子70により予め撮影されて、合成映像生成手段30に当該鉗子20に対応するコードと共に登録されている。また、図示しない内視鏡カメラからの術野映像は、制御部26に内蔵したビデオキャプチャーボード82に取り込まれた後、合成映像生成手段30において手術者が音声指示した特定の鉗子20の先端画像及びコードと合成され、その合成画像が前記ディスプレイ16に映し出される。
(About composite video generation)
The composite image generation means 30 incorporated in the control unit 26 includes a code such as a forceps number read by the reader 68 and an actual tip portion (for example, tweezers-like or This is a software that synthesizes the image. That is, the tip image of each forceps 20 is previously captured by the image sensor 70 and registered in the composite image generating means 30 together with a code corresponding to the forceps 20. In addition, a surgical field image from an endoscope camera (not shown) is captured by a video capture board 82 built in the control unit 26, and then a tip image of a specific forceps 20 that is voiced by the operator in the synthesized image generation means 30. Are combined with the code and the combined image is displayed on the display 16.

ディスプレイ16に映し出される合成映像は、例えば図8に示すように、内視鏡によりリアルタイムで撮像されている術野を主画面とし、その下方に鉗子20の先端形状と鉗子番号とからなる合成画像が副画面として映し出される。この場合に、鉗子先端形状は、例えば鉗子番号1〜4の如く複数の鉗子20をメニュー表示するようにしてもよいし、また手術者が特定した鉗子20の先端形状と番号だけを単独表示するようにしてもよい。但し、前者のメニュー表示の方が、手術者が全ての鉗子20の形状及び対応番号を記憶しておかなくても、ディスプレイ16上のメニュー画面から視覚により確認・選択をなし得る利点がある。   For example, as shown in FIG. 8, the composite image displayed on the display 16 has a operative field captured in real time by an endoscope as a main screen, and a composite image composed of the tip shape of the forceps 20 and the forceps number below the main screen. Is displayed as a sub-screen. In this case, the forceps tip shape may be a menu display of a plurality of forceps 20 such as forceps numbers 1 to 4, or only the tip shape and number of the forceps 20 specified by the operator are displayed alone. You may do it. However, the former menu display has an advantage that the operator can visually confirm and select from the menu screen on the display 16 even if the operator does not store the shapes and corresponding numbers of all the forceps 20.

更に制御部26は、音声合成エンジン84を備え、前記サウンドボード76を介してスピーカ74へ音声による確認・否定・不存在の告知等を発声し得るようになっている。勿論、全てを合成音声とする必要はなく、単なる確認音を出すようにしてもよい。また確認や注意促しのための音声や音響に限らず、光や振動等を付帯させるようにしてもよい。   Further, the control unit 26 includes a voice synthesis engine 84, and can make a voice confirmation / denial / non-existence notification to the speaker 74 via the sound board 76. Of course, it is not necessary to make all the synthesized speech, and a simple confirmation sound may be emitted. In addition to sound and sound for confirmation and warning, light, vibration, or the like may be added.

(ロボットの一連の動作について)
次に、実施例に係る手術支援ロボット10の一連の動作を、図9のフローチャートを参照して説明する。但し、このフローチャートによる動作は、多様に考えられる動きの中で、先に述べたアーム24の自由度、ホルダ22の割出し動作及び制御部26に盛込まれた制御内容の範囲で考えられる一例としてのものである。
(About a series of robot operations)
Next, a series of operations of the surgery support robot 10 according to the embodiment will be described with reference to a flowchart of FIG. However, the operation according to this flowchart is an example that can be considered within the range of the above-described degrees of freedom of the arm 24, the indexing operation of the holder 22, and the control content incorporated in the control unit 26 among various possible movements. It is as.

内視鏡手術を開始するに際しては、当該手術に必要とされる鉗子20が、前記ホルダ22の各クリップ38に対応的に嵌合保持(セット)されているものとする。なお鉗子20に付した識別コードは、前記リーダー68により予め読み取られ、鉗子先端形状の画像が制御部26の合成映像生成手段30に記憶させてある。   When starting an endoscopic operation, it is assumed that the forceps 20 required for the operation are fitted and held (set) corresponding to each clip 38 of the holder 22. The identification code attached to the forceps 20 is read in advance by the reader 68, and an image of the forceps tip shape is stored in the composite video generation means 30 of the control unit 26.

図9のフローチャートのステップS1において、リーダー68は全ての鉗子20が順番通りホルダ22にセットされているかを確認し、YES(肯定)であればステップS2で手術者による音声指示を待機する。但し、リーダー68は、鉗子20を認識コードと逐次照合する確認を行っているので、鉗子20がホルダ22に順番通りセットされていることは必須要件でない。また確認結果がNO(否定)であれば、ステップS3で音声による警告を行ない、手術関与者への注意喚起を行なう。なお、前記ステップS1での確認は、例えばホルダ22の周回領域付近の固定部位に立設した前記ポール39にリーダー68を設け、該ホルダ22を1回転させて各クリップ38に保持した鉗子20の識別コードを読み取ることで行なうが、これに限定されるものではない。   In step S1 of the flowchart of FIG. 9, the reader 68 confirms whether all the forceps 20 are set in the holder 22 in order, and if YES (Yes), waits for a voice instruction from the operator in step S2. However, since the reader 68 performs confirmation to sequentially check the forceps 20 with the recognition code, it is not an essential requirement that the forceps 20 are set in the holder 22 in order. On the other hand, if the confirmation result is NO (No), a warning by voice is given in step S3 to alert the operation personnel. The confirmation in step S1 is performed by, for example, providing a leader 68 on the pole 39 standing on a fixed portion near the rotating region of the holder 22, and rotating the holder 22 once to hold the forceps 20 held on each clip 38. This is done by reading the identification code, but is not limited to this.

ステップS2の音声指示待機中に、手術者がマイク66を介して特定の鉗子20を音声で指示(ステップS4)すると、ステップS5においてディスプレイ16に、特定された鉗子20の先端形状及び鉗子番号等の情報が合成表示されると共に、当該鉗子20に出された指示を確認する人工音声や確認音がスピーカ74から出される。この場合に、前記ディスプレイ16に所要数の鉗子20を対応番号と共に予めメニュー表示しておいて、手術者がその中から特定の鉗子20を視認した後に音声指示してもよいことは、先に述べた通りである。またディスプレイ16への鉗子先端形状の合成表示は、前記制御部26の合成映像生成手段30で行なわれ、音声確認動作は音声認識制御手段28で行なわれる。   When the surgeon instructs the specific forceps 20 by voice through the microphone 66 during the voice instruction standby in step S2 (step S4), the tip shape and forceps number of the specified forceps 20 are displayed on the display 16 in step S5. Is synthesized and displayed, and an artificial voice or confirmation sound for confirming the instruction issued to the forceps 20 is output from the speaker 74. In this case, the necessary number of forceps 20 may be displayed in a menu on the display 16 together with the corresponding number in advance, and the operator may give a voice instruction after viewing the specific forceps 20 from the menu. As stated. In addition, the combined display of the forceps tip shape on the display 16 is performed by the composite video generation means 30 of the control unit 26, and the voice confirmation operation is performed by the voice recognition control means 28.

次いでステップS6でホルダ22の回転割出しを行なって、手術者が音声で特定した鉗子20をアーム24の最もピックアップし易い定位置まで到来させる。制御的には、制御部26からコントローラ72を介した指示により、サーボモータ46の割出し回転が実行される。そしてステップS7で、例えば前記リーダー68により定位置へ割出されて停止した特定の鉗子20に付された識別コードを読み取ることにより、所望の鉗子20が割出されたかの確認を行ない、結果がNOであればステップS6に戻って再度実行する。結果がYESであれば、ステップS8へ進んで前記コントローラ72からアーム駆動機構62へ所要の駆動指令を出力し、ホルダ22の定位置に割出されて待機中の特定の鉗子20に向けてアーム24を移動させ、前記ハンド58による該鉗子20のクランプ(把持)を行なわせる。なお、ホルダ22におけるどのクリップ38に鉗子20がセットされているかは、制御部26が事前に記憶しているので、前記ステップS6は省略してもよい。   Next, in step S6, the rotary indexing of the holder 22 is performed, and the forceps 20 specified by the voice by the operator is brought to a fixed position where the arm 24 is most easily picked up. In terms of control, the indexing rotation of the servo motor 46 is executed by an instruction from the control unit 26 via the controller 72. In step S7, for example, the identification code attached to the specific forceps 20 that has been indexed and stopped by the reader 68 is read to check whether the desired forceps 20 has been indexed. If so, the process returns to step S6 and is executed again. If the result is YES, the process proceeds to step S8, where a required drive command is output from the controller 72 to the arm drive mechanism 62, indexed to a fixed position of the holder 22, and directed to the specific forceps 20 waiting. 24 is moved, and the forceps 20 is clamped (gripped) by the hand 58. In addition, since the control part 26 has memorize | stored beforehand in which clip 38 in the holder 22 the forceps 20 is set, the said step S6 may be abbreviate | omitted.

次いでステップS9で、前記ハンド58が確実に鉗子20を把持したかを確認し、結果がNOであれば、ステップS8で該ハンド58による把持を再実行させ、結果がYESであれば、ステップS10に進んでアーム24を旋回移動させ、手術者の手元へ特定の鉗子20を差し出す。なお、ハンド58による鉗子把持の確認は、例えばストレインゲージ等の圧力センサを該ハンド58に設けておき、該センサの圧力変化に伴なう電気信号を制御部26へ出力することが考えられる。また、前記のような触覚センサでなくても、鉗子確認用として、例えばフォトセンサの如き非接触式の在荷センサを設けてもよい。   Next, in step S9, it is confirmed whether the hand 58 has securely grasped the forceps 20. If the result is NO, the gripping by the hand 58 is re-executed in step S8, and if the result is YES, step S10. Then, the arm 24 is pivoted and the specific forceps 20 is put out to the operator's hand. In order to confirm the grasping of the forceps by the hand 58, for example, a pressure sensor such as a strain gauge may be provided in the hand 58, and an electrical signal accompanying a change in pressure of the sensor may be output to the control unit 26. Further, instead of the tactile sensor as described above, a noncontact contact sensor such as a photo sensor may be provided for checking forceps.

次にステップS11で、アーム24の旋回動作により差し出された鉗子20を手術者が実際に手にしたかを確認し、結果がYESであればハンド58を開いて鉗子20に対する把持を解放する。結果がNOであれば、ステップS11を再度実行する。このステップS11は、特定の鉗子20を手術者に手渡す際に必要であり、例えば手術者の手元へ鉗子20を差し出してから所要の時間が経過(例えば3秒間)した時点でハンド58を開放するとか、手術者が当該鉗子20に手で触れた際の圧力変化を前記圧力センサで検出してハンド58を開放する等が考えられる。なお、時間経過をファンクションとする制御その他圧力センサの配設等に代えて、機械的な構造を付加することで、手元へ差し出された鉗子20を手術者が手でもぎ取る動作により、該鉗子20がハンド58から外されるようにしてもよい。一例として、フィンガー状のハンド58に、常には該ハンド58を閉じる方向へ弾力的に付勢するスプリング(図示せず)を介装しておく。そしてハンド58が所定の鉗子受け渡し位置まで到来して停止すると、所要の位置決め完了信号を受けて該ハンド58を前記スプリングの弾力に抗して僅かに開放させる。この開放加減は、鉗子20をハンド58が軽く把持しており、手術者が該鉗子20を手に取って移動させた際に簡単に外れる程度に設定される。鉗子20がハンド58から取り外されると、所要のセンサが「鉗子無し」を検知し、ハンド58は前記スプリングの弾力に抗して完全に開放し、次の鉗子取出し位置へ帰還する。   Next, in step S11, it is confirmed whether or not the operator actually holds the forceps 20 that has been pushed out by the pivoting operation of the arm 24. If the result is YES, the hand 58 is opened to release the grip on the forceps 20. . If the result is NO, step S11 is executed again. This step S11 is necessary when handing the specific forceps 20 to the surgeon. For example, the hand 58 is opened when a predetermined time elapses (for example, 3 seconds) after the forceps 20 is pushed out to the operator's hand. For example, it is conceivable that a pressure change when the surgeon touches the forceps 20 with a hand is detected by the pressure sensor and the hand 58 is opened. In addition, it replaces with the control which sets time passage as a function, arrangement | positioning of a pressure sensor, etc., by adding the mechanical structure, operation | movement by which an operator removes the forceps 20 pushed out to the hand by hand, this forceps 20 may be removed from the hand 58. As an example, a finger (not shown) that elastically biases the hand 58 in the direction of closing the hand 58 is provided in the finger-like hand 58 at all times. When the hand 58 reaches a predetermined forceps delivery position and stops, the hand 58 is slightly opened against the elasticity of the spring in response to a required positioning completion signal. The opening / closing is set to such an extent that the hand 58 is lightly grasped by the hand 58 and can be easily removed when the surgeon picks up the hand 20 and moves it. When the forceps 20 are removed from the hand 58, a required sensor detects “no forceps”, the hand 58 is completely opened against the spring force, and returns to the next forceps removal position.

何れにしても、ハンド58が不用意に開放して鉗子20を取り落すことのないよう、予め所要の対策が施してあるものとする。ステップS12では、鉗子20が手術者に手渡されたか、すなわちハンド58が鉗子20の把持を解放したかを確認し、結果がNOであれば該ステップS12を再実行する。結果がYESであれば、ステップS13においてアーム24を原点となる所要の待機位置へ戻らせて停止し、そのサイクルを終了する。   In any case, it is assumed that necessary measures are taken in advance so that the hand 58 is not inadvertently opened and the forceps 20 is removed. In step S12, it is confirmed whether the forceps 20 has been handed over to the operator, that is, whether the hand 58 has released the grasping of the forceps 20, and if the result is NO, step S12 is re-executed. If the result is YES, in step S13, the arm 24 is returned to the required standby position as the origin and stopped, and the cycle ends.

(使用済み鉗子を戻すフローについて)
内視鏡手術では、一度使用した鉗子20でも、当該手術中であるならば繰返し使用し得るので、実施例に係る手術支援ロボット10では、前記鉗子回収手段64を設けることで、該鉗子20をホルダ22の定位置へ戻すことができる。図10は、そのフローチャートを示すもので、ステップS14で使用済みの鉗子20が鉗子回収手段64に回収されているか否かを確認し、鉗子20がなければアーム24をステップS19の原点待機位置で引続き待機させる。鉗子回収手段64に鉗子20が回収されていれば、アーム24はステップ15で鉗子回収のため移動し、ハンド58により該鉗子20の把持を行なう。この場合に、鉗子回収手段64に使用済み鉗子20が回収されているか否かは、例えば撮像手段(カメラ)その他各種センサを採用し、その出力を制御部26へ送ることで容易に確認できるので、図示は省略してある。
(About the flow to return used forceps)
In the endoscopic operation, even if the forceps 20 once used can be used repeatedly during the operation, the operation support robot 10 according to the embodiment provides the forceps 20 by providing the forceps collecting means 64. The holder 22 can be returned to a fixed position. FIG. 10 is a flowchart showing whether or not the used forceps 20 is recovered by the forceps recovery means 64 in step S14. If there is no forceps 20, the arm 24 is set at the origin standby position in step S19. Continue to wait. If the forceps 20 has been recovered by the forceps recovery means 64, the arm 24 moves to recover the forceps in step 15, and the hand 58 holds the forceps 20. In this case, whether or not the used forceps 20 has been recovered by the forceps recovery means 64 can be easily confirmed by employing, for example, an imaging means (camera) or other various sensors and sending the output to the control unit 26. The illustration is omitted.

ステップS16では、鉗子回収手段64に回収された鉗子20をハンド58が把持したか否かを確認し、結果がNOであれば、該ステップS16を再実行する。結果がYESであれば、次のステップ17へ進んでアーム24をホルダ22の定位置へ向け移動させる。このときホルダ22は割出し回転がなされて、回収された鉗子20を前に待機していたクリップ38を定位置に到来させて、該鉗子20の保持を行なう。この保持は、前述した如く、例えば開放中のクリップ38がアーム24の所定位置までの接近を検知して閉成することで、鉗子20を再保持させる動作が考えられる。   In step S16, it is confirmed whether or not the hand 58 has grasped the forceps 20 collected by the forceps collecting means 64. If the result is NO, step S16 is re-executed. If the result is YES, the process proceeds to the next step 17 to move the arm 24 toward the fixed position of the holder 22. At this time, the holder 22 is indexed and rotated, and the clip 38 that has been waiting for the collected forceps 20 is brought to a fixed position to hold the forceps 20. As described above, for example, the holding of the forceps 20 can be reconsidered when the opened clip 38 detects the approach of the arm 24 to a predetermined position and closes.

次いでステップS18では、鉗子20をクリップ38が再保持した後に、ハンド58がその保持を解放したか否かを確認し、結果がNOであれば該ステップS18を再実行する。結果がYESであれば、ステップS19に進んで、アーム24を原点の待機位置へ戻させて、次の動作を待機させる。   In step S18, after the clip 38 is held again by the clip 38, it is checked whether or not the hand 58 has released the holding. If the result is NO, step S18 is executed again. If a result is YES, it will progress to step S19, will return the arm 24 to the standby position of an origin, and will wait for the next operation | movement.

以上に説明したように、本発明に係る手術支援ロボットによれば、内視鏡手術に際し鉗子の選択・手渡し作業をロボット化することができ、その作業に従事していた高度の医療従事者を、他の医療作業に振り向けることが可能となり、その結果として当該手術に待機・従事する医療技術者の数を低減させることができて、手術費用を削減することができる。また各種医療業務における、慢性的な人手不足の解消にも貢献し得る。   As described above, according to the surgical operation support robot according to the present invention, it is possible to robotize forceps selection and handing work in the case of endoscopic surgery. Therefore, it is possible to divert to other medical work, and as a result, it is possible to reduce the number of medical technicians waiting and engaging in the operation, and to reduce the operation cost. It can also contribute to the elimination of chronic labor shortages in various medical services.

本発明の実施例に係る手術支援ロボットを導入した手術室内を、手術台の手前斜め上方側から観察した斜視図である。It is the perspective view which observed the operating room which introduced the surgery assistance robot which concerns on the Example of this invention from the diagonally upper front side of the operating table. 実施例に係る手術支援ロボットを導入した手術室内を、手術者の背面斜め上方側から観察した斜視図である。It is the perspective view which observed the operation room which introduce | transduced the surgery assistance robot which concerns on an Example from the operator's back diagonally upward side. 手術支援ロボットの概略斜視図である。It is a schematic perspective view of a surgery support robot. 手術支援ロボットの側面図である。It is a side view of a surgery support robot. 手術支援ロボットの平面図である。It is a top view of a surgery assistance robot. 手術支援ロボットにおけるホルダの拡大斜視図である。It is an expansion perspective view of the holder in a surgery support robot. 手術支援ロボットの制御部を示すブロック図である。It is a block diagram which shows the control part of a surgery assistance robot. ディスプレイに鉗子をメニュー表示して示す説明図である。It is explanatory drawing which displays a forceps as a menu on a display. 実施例に係る手術支援ロボットの一連の動作を示すフローチャート図である。It is a flowchart figure which shows a series of operation | movement of the surgery assistance robot which concerns on an Example. 実施例に係る手術支援ロボットの使用済み鉗子をホルダの定位置へ戻す一連の動作を示すフローチャート図である。It is a flowchart figure which shows a series of operation | movement which returns the used forceps of the surgery assistance robot which concerns on an Example to the fixed position of a holder.

符号の説明Explanation of symbols

10 手術支援ロボット 12 スタンド
14 手術台 16 ディスプレイ
18 キャスター 20 鉗子
20a シース 22 ホルダ
24 アーム 26 制御部
28 音声認識制御手段 30 合成映像生成手段
32 エレベータ 34 支持板
36 円板 38 クリップ
39 ポール 40 中空筒体
42 第1ギヤ 44 支持軸
46 サーボモータ 48 減速機
50 第2ギヤ 52 第2の円板
54 アーム本体 56 リスト
58 ハンド 60 トラニオン
62 アーム駆動機構 64 鉗子回収手段
66 マイク 68 リーダー
70 撮像素子(カメラ) 72 コントローラ
74 スピーカ 76 サウンドボード
78 音声認識エンジン 80 ロボット制御コマンド部
82 ビデオキャプチャーボード 84 音声合成エンジン
DESCRIPTION OF SYMBOLS 10 Surgery support robot 12 Stand 14 Operating table 16 Display 18 Caster 20 Forceps 20a Sheath 22 Holder 24 Arm 26 Control part 28 Voice recognition control means 30 Synthetic image generation means 32 Elevator 34 Support plate 36 Disc 38 Clip 39 Pole 40 Hollow cylinder 42 first gear 44 support shaft 46 servo motor 48 speed reducer 50 second gear 52 second disc 54 arm main body 56 wrist 58 hand 60 trunnion 62 arm drive mechanism 64 forceps collecting means 66 microphone 68 reader 70 imaging element (camera) 72 Controller 74 Speaker 76 Sound board 78 Speech recognition engine 80 Robot control command part 82 Video capture board 84 Speech synthesis engine

Claims (10)

内視鏡下での腹腔手術に際して、手術者が当該手術に必要な特定の鉗子(20)を音声で指示することにより、手術台(14)の近傍に設置した手術支援ロボット(10)がその音声指示に応答し、予め準備された多数の鉗子(20)の中から特定の鉗子(20)を選び出して、該鉗子(20)を手術者に差し出す手術支援を行うようにしたことを特徴とする手術支援方法。   When performing an abdominal surgery under an endoscope, the surgeon instructs the specific forceps (20) necessary for the operation by voice, so that the operation support robot (10) installed in the vicinity of the operating table (14) In response to a voice instruction, a specific forceps (20) is selected from a number of forceps (20) prepared in advance, and surgical support is provided to send the forceps (20) to an operator. Surgery support method to do. 手術台(14)の近傍に移動自在に設置し得るスタンド(12)と、
前記スタンド(12)に設けられ、所要数の鉗子(20)を着脱自在に保持するホルダ(22)と、
前記スタンド(12)に設けられ、前記ホルダ(22)に保持した鉗子(20)から所望の鉗子(20)をピックアップし、該鉗子(20)を手術者へ差し出してから該鉗子(20)の解放を行なうアーム(24)と、
所望の鉗子(20)を特定する手術者の音声指示に対応して、指示された鉗子(20)の割出し指令を出力すると共に、前記アーム(24)への動作指令を出力する音声認識制御手段(28)と、
手術者が音声指示した特定の鉗子(20)の先端形状の映像を、内視鏡下での手術映像と合成してディスプレイ(16)に表示する合成映像生成手段(30)とからなり、
前記音声指示に伴う割出し指令によって、前記ホルダ(22)またはアーム(24)の何れかに所望の鉗子(20)の割出し動作を行なわせるよう構成した
ことを特徴とする手術支援ロボット。
A stand (12) that can be movably installed in the vicinity of the operating table (14);
A holder (22) provided on the stand (12) and detachably holding a required number of forceps (20);
The desired forceps (20) is picked up from the forceps (20) provided on the stand (12) and held by the holder (22), and the forceps (20) is inserted into the operator before the forceps (20) An arm (24) for releasing,
In response to the operator's voice instruction to specify the desired forceps (20), the voice recognition control outputs an instruction command for the instructed forceps (20) and outputs an operation command to the arm (24). Means (28);
Composed of an image of the tip shape of a specific forceps (20) voiced by the surgeon, and a synthesized image generation means (30) for displaying the image on the display (16) with the operation image under the endoscope,
A surgical operation support robot configured to cause either the holder (22) or the arm (24) to perform an indexing operation of a desired forceps (20) in accordance with an indexing command accompanying the voice instruction.
前記ホルダ(22)は前記アーム(24)に対し回転を行なって、手術者の音声指示により特定された鉗子(20)の割出しを行なう請求項2記載の手術支援ロボット。   The surgery support robot according to claim 2, wherein the holder (22) rotates relative to the arm (24) to index the forceps (20) specified by a voice instruction of an operator. 前記アーム(24)は前記ホルダ(22)に対し回転を行なって、手術者の音声指示により特定された鉗子(20)の割出しを行なう請求項2記載の手術支援ロボット。   The operation support robot according to claim 2, wherein the arm (24) rotates relative to the holder (22) to index the forceps (20) specified by a voice instruction of the operator. 前記夫々の鉗子(20)は、該鉗子(20)に固有の情報を識別管理する識別コードを備え、前記スタンド(12)に設けたリーダー(68)が読み取った各対応の識別コードを、前記合成映像生成手段(30)において該鉗子(20)の先端形状の画像と合成させるようになっている請求項2記載の手術支援ロボット。   Each of the forceps (20) includes an identification code for identifying and managing information unique to the forceps (20), and the corresponding identification code read by the reader (68) provided on the stand (12), The surgical operation support robot according to claim 2, wherein the synthesized image generating means (30) is configured to synthesize the tip shape image of the forceps (20). 前記スタンド(12)に使用済みの鉗子(20)を受容する鉗子回収手段(64)を設け、前記アーム(24)は該鉗子回収手段(64)が受容した鉗子(20)をピックアップした後に、前記ホルダ(22)の所定位置に再保持させる戻し動作を行なう請求項2記載の手術支援ロボット。   The stand (12) is provided with a forceps collecting means (64) for receiving used forceps (20), and the arm (24) picks up the forceps (20) received by the forceps collecting means (64), The surgical operation support robot according to claim 2, wherein a return operation for re-holding the holder (22) at a predetermined position is performed. 前記鉗子回収手段(64)は、手術者の動作領域に向けて開口する鉗子受け部材を備え、使用済みの鉗子(20)は該鉗子受け部材に回収される請求項6記載の手術支援ロボット。   The operation support robot according to claim 6, wherein the forceps collecting means (64) includes a forceps receiving member that opens toward an operation region of the operator, and the used forceps (20) is collected by the forceps receiving member. 前記ホルダ(22)は前記スタンド(12)に着脱自在に設けられて、事後の滅菌処理に供される請求項2記載の手術支援ロボット。   The surgery support robot according to claim 2, wherein the holder (22) is detachably provided on the stand (12) and is used for a subsequent sterilization process. 前記アーム(24)は鉗子(20)のピックアップ及び解放を行なうハンド(58)を備え、該ハンド(58)は該アーム(24)に対し着脱自在に設けられて事後の滅菌処理に供される請求項2記載の手術支援ロボット。   The arm (24) includes a hand (58) for picking up and releasing the forceps (20), and the hand (58) is provided detachably with respect to the arm (24) to be used for subsequent sterilization processing. The surgical operation support robot according to claim 2. 前記アーム(24)は鉗子(20)のピックアップ及び解放を行なうハンド(58)を備え、該ハンド(58)は該アーム(24)の先端に設けたリスト(56)に対し着脱自在に設けられて事後の滅菌処理に供される請求項2記載の手術支援ロボット。
The arm (24) includes a hand (58) for picking up and releasing the forceps (20), and the hand (58) is detachably provided on a wrist (56) provided at the tip of the arm (24). The surgical operation support robot according to claim 2, which is subjected to a subsequent sterilization treatment.
JP2004316488A 2004-10-29 2004-10-29 Surgery support robot Expired - Fee Related JP4437172B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004316488A JP4437172B2 (en) 2004-10-29 2004-10-29 Surgery support robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004316488A JP4437172B2 (en) 2004-10-29 2004-10-29 Surgery support robot

Publications (2)

Publication Number Publication Date
JP2006122473A true JP2006122473A (en) 2006-05-18
JP4437172B2 JP4437172B2 (en) 2010-03-24

Family

ID=36717745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004316488A Expired - Fee Related JP4437172B2 (en) 2004-10-29 2004-10-29 Surgery support robot

Country Status (1)

Country Link
JP (1) JP4437172B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017903A (en) * 2006-07-11 2008-01-31 Gifu Univ Endoscope holding device
JP2008307127A (en) * 2007-06-12 2008-12-25 Institute Of Physical & Chemical Research Surgery support device
JP2009148859A (en) * 2007-12-21 2009-07-09 Terumo Corp Manipulator system and method of controlling manipulator

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56121533A (en) * 1980-03-03 1981-09-24 Olympus Optical Co Takeeout apparatus of instrument for inspecting endoscope
JPH08280709A (en) * 1995-04-18 1996-10-29 Olympus Optical Co Ltd Display device for operation
JP2002336269A (en) * 2001-05-18 2002-11-26 Olympus Optical Co Ltd Medical appliance controlling system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56121533A (en) * 1980-03-03 1981-09-24 Olympus Optical Co Takeeout apparatus of instrument for inspecting endoscope
JPH08280709A (en) * 1995-04-18 1996-10-29 Olympus Optical Co Ltd Display device for operation
JP2002336269A (en) * 2001-05-18 2002-11-26 Olympus Optical Co Ltd Medical appliance controlling system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017903A (en) * 2006-07-11 2008-01-31 Gifu Univ Endoscope holding device
JP2008307127A (en) * 2007-06-12 2008-12-25 Institute Of Physical & Chemical Research Surgery support device
JP2009148859A (en) * 2007-12-21 2009-07-09 Terumo Corp Manipulator system and method of controlling manipulator

Also Published As

Publication number Publication date
JP4437172B2 (en) 2010-03-24

Similar Documents

Publication Publication Date Title
US11259917B2 (en) Devices for assisting with heart valve manufacturing
RU209329U1 (en) AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE
Berkelman et al. LER: The light endoscope robot
WO2003094768A1 (en) Medical cockpit system
JP7391945B2 (en) Automated heart valve manufacturing device and method
Mitsuishi et al. Tele-micro-surgery system with intelligent user interface
JP2007330347A (en) Surgical operation system and its system operation information notifying method
JP2019526315A (en) System and method for on-screen menu in teleoperated medical system
Pérez-Vidal et al. Steps in the development of a robotic scrub nurse
Boyd et al. A comparison of robot-assisted versus manually constructed endoscopic coronary anastomosis
JP3532660B2 (en) Body cavity observation device
WO2019232552A1 (en) Context-awareness systems and methods for a computer-assisted surgical system
Carpintero et al. Development of a robotic scrub nurse for the operating theatre
Rassweiler et al. Robotics and telesurgery–an update on their position in laparoscopic radical prostatectomy
JP3744974B2 (en) Endoscopic surgical device
JP4437172B2 (en) Surgery support robot
US20220104887A1 (en) Surgical record creation using computer recognition of surgical events
JP2000166857A (en) Endoscope system with visual field movement
KR20120068097A (en) Surgical instrument, robotic arm and surgical robotic system incluindg the same
CN111770716B (en) Medical system and control method for medical system
KR101798589B1 (en) Suture surgery robot and suture surgery method using the same
US11726559B2 (en) Gaze-initiated communications
Jarry et al. Miniaturized robotic laparoscope-holder for rectopexy: first results of a prospective study
RU216092U1 (en) AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE
RU214412U1 (en) AUTOMATIC ADDITION OF THE ENDOSCOPIC VIDEO IMAGE

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090910

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090915

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4437172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140115

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees