JP2006247292A - Endoscope insertion profile detector - Google Patents

Endoscope insertion profile detector Download PDF

Info

Publication number
JP2006247292A
JP2006247292A JP2005071716A JP2005071716A JP2006247292A JP 2006247292 A JP2006247292 A JP 2006247292A JP 2005071716 A JP2005071716 A JP 2005071716A JP 2005071716 A JP2005071716 A JP 2005071716A JP 2006247292 A JP2006247292 A JP 2006247292A
Authority
JP
Japan
Prior art keywords
unit
shape
display
endoscope
insertion shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005071716A
Other languages
Japanese (ja)
Other versions
JP4823539B2 (en
Inventor
Fumiyuki Onoda
文幸 小野田
Chieko Aizawa
千恵子 相沢
Yoshitaka Miyoshi
義孝 三好
Kensuke Miyake
憲輔 三宅
Minoru Sato
稔 佐藤
Tomohiko Oda
朋彦 織田
Hiroshi Niwa
寛 丹羽
Kazutaka Tsuji
和孝 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005071716A priority Critical patent/JP4823539B2/en
Priority to EP05806050.0A priority patent/EP1813183B1/en
Priority to AU2005303012A priority patent/AU2005303012B2/en
Priority to PCT/JP2005/020863 priority patent/WO2006051949A1/en
Publication of JP2006247292A publication Critical patent/JP2006247292A/en
Priority to US11/800,479 priority patent/US7857753B2/en
Application granted granted Critical
Publication of JP4823539B2 publication Critical patent/JP4823539B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an endoscope insertion profile detector capable of drawing an insertion profile figure within a predetermined region of a display part by executing a predetermined display alteration process when a part of the insertion profile figure is drawn outside the predetermined region of the display part. <P>SOLUTION: This endoscope insertion profile detector 8 is provided with a signal detecting part 33 detecting the insertion profile of an insertion tube 11 of the endoscope 3, an image formation part 36 forming image signals for drawing the insertion profile as the insertion profile figure, and a monitor 9 displaying the insertion profile figure based on the image signals. When at least one part of the insertion profile figure is drawn outside the predetermined region on the monitor screen 9a of the monitor 9, the display alteration part 36c executes a predetermined display alteration process relative to the image signals so that the insertion profile figure is drawn within the predetermined region. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、内視鏡挿入形状検出装置に関し、特に、挿入形状図形の一部が表示部の所定の領域外に描出された場合に、所定の表示変更処理を行うことにより、前記挿入形状図形を前記表示部の所定の領域内に描出することができる内視鏡挿入形状検出装置に関するものである。   The present invention relates to an endoscope insertion shape detection device, and in particular, when a part of an insertion shape figure is drawn outside a predetermined area of a display unit, the insertion shape figure is obtained by performing a predetermined display change process. The present invention relates to an endoscope insertion shape detection device capable of rendering the image in a predetermined area of the display unit.

従来より、内視鏡は医療分野、工業分野等において広く用いられている。内視鏡は、例えば、医療分野においては、患部である生体の体腔の部位、組織等に対し、観察や種々の処置を行う際に用いられている。特に、生体の肛門側から内視鏡を挿入し、下部消化管に対し、観察や種々の処置を行う場合においては、内視鏡の挿入部を屈曲した体腔内に円滑に挿入するために、体腔内における挿入部の位置、屈曲状態等を検出することのできる内視鏡挿入形状検出装置が、内視鏡と併せて用いられている。   Conventionally, endoscopes have been widely used in the medical field, industrial field, and the like. Endoscopes are used, for example, in the medical field when observing or performing various treatments on a body cavity part, tissue, or the like that is an affected part. In particular, when inserting an endoscope from the anus side of a living body and performing observation and various treatments on the lower digestive tract, in order to smoothly insert the insertion portion of the endoscope into a bent body cavity, 2. Description of the Related Art An endoscope insertion shape detection device that can detect the position, bending state, and the like of an insertion portion in a body cavity is used in combination with an endoscope.

前述したような内視鏡挿入形状検出装置としては、例えば、特許文献1において提案されているものがある。特許文献1において提案されている内視鏡挿入形状検出装置は、内視鏡の挿入部に挿入される挿入形状検出用プローブに所定の間隔をもって配置されたソースコイルから発生した磁界を、患者を載置するベッドに配置されたセンスコイルを介し、検出部である信号検出部が信号として検出した後、該信号に基づいて得たソースコイルの位置情報から挿入部の3次元形状を算出し、該3次元形状を所定の視点から見た2次元形状である挿入形状図形に変換してモニタに表示するという構成および作用を有している。
特許3290153号公報
As an endoscope insertion shape detection device as described above, for example, there is one proposed in Patent Document 1. In the endoscope insertion shape detection device proposed in Patent Document 1, a magnetic field generated from a source coil arranged at a predetermined interval on an insertion shape detection probe inserted into an insertion portion of an endoscope is applied to a patient. After the signal detection unit, which is the detection unit, detects the signal through the sense coil disposed on the bed to be placed, the three-dimensional shape of the insertion unit is calculated from the position information of the source coil obtained based on the signal, The three-dimensional shape is converted into an insertion shape figure that is a two-dimensional shape viewed from a predetermined viewpoint, and is displayed on a monitor.
Japanese Patent No. 3290153

しかし、特許文献1において提案されている内視鏡挿入形状検出装置においては、表示部であるモニタに表示される挿入部の挿入形状図形は、その一部がモニタの表示領域外にはみ出して全体が表示されないような状況が生じる場合も考えられる。そして、そのような場合、術者は、挿入部の挿入形状図形のうち、はみ出して表示されない部分については、挿入部の状態を確認することができないため、内視鏡の挿入操作に不都合が生じていた。   However, in the endoscope insertion shape detection device proposed in Patent Document 1, a part of the insertion shape figure of the insertion portion displayed on the monitor as the display portion protrudes outside the display area of the monitor. There may be a situation in which is not displayed. In such a case, the surgeon cannot confirm the state of the insertion portion of the insertion shape figure of the insertion portion that is not displayed and is inconvenient for the insertion operation of the endoscope. It was.

本発明は、前述した点に鑑みてなされたものであり、内視鏡挿入形状検出装置が描出する挿入形状図形の一部が表示部の所定の領域外に描出された場合に、所定の表示変更処理を行うことにより、前記挿入形状図形を表示部の所定の領域内に描出することができる内視鏡挿入形状検出装置を提供することを目的としている。   The present invention has been made in view of the above-described points. When a part of an insertion shape figure drawn by the endoscope insertion shape detection device is drawn outside a predetermined area of the display unit, the predetermined display is performed. It is an object of the present invention to provide an endoscope insertion shape detecting device capable of rendering the insertion shape figure in a predetermined area of a display unit by performing a change process.

本発明における内視鏡挿入形状検出装置は、被検体内へ挿入される内視鏡の挿入部の挿入形状を検出する検出部と、前記挿入形状を挿入形状図形として図形化して描出するための画像信号を生成する画像生成部と、前記画像信号に基づいて前記挿入形状図形を表示する表示部とを有し、前記画像生成部は、前記挿入形状図形の少なくとも一部が前記表示部の表示領域における所定の領域外に描出された場合、前記挿入形状図形が前記表示領域の前記所定の領域内に描出されるように、前記画像信号に対して所定の表示変更処理を行う表示変更部を有する。   An endoscope insertion shape detection device according to the present invention is a detector for detecting an insertion shape of an insertion portion of an endoscope inserted into a subject, and for rendering the insertion shape as an insertion shape figure and drawing it. An image generation unit configured to generate an image signal; and a display unit configured to display the insertion shape graphic based on the image signal, wherein the image generation unit displays at least part of the insertion shape graphic on the display unit. A display change unit that performs a predetermined display change process on the image signal so that the inserted shape figure is drawn in the predetermined area of the display area when drawn outside the predetermined area in the area; Have.

本発明の内視鏡挿入形状検出装置によれば、挿入形状図形の一部が表示部の所定の領域外に描出された場合に、所定の表示変更処理を行うことにより、前記挿入形状図形を表示部の所定の領域内に描出することができる。   According to the endoscope insertion shape detection device of the present invention, when a part of the insertion shape figure is drawn outside a predetermined area of the display unit, the insertion shape figure is obtained by performing a predetermined display change process. The image can be drawn in a predetermined area of the display unit.

以下、図面を参照して本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は、本実施形態に係る内視鏡システムの全体構成を示す図である。図2は、本実施形態に係る内視鏡挿入形状検出装置の内部構成を示すブロック図である。図3は、本実施形態に係る内視鏡挿入形状検出装置がモニタ画面に描出する挿入形状図形の一例を示す図である。図4は、本実施形態に係る内視鏡挿入形状検出装置が行う制御の内容を示すフローチャートである。図5は、挿入部の挿入形状図形がモニタ画面の第1の所定の領域外に描出された状態を示す図である。図6は、図5に示す挿入形状図形に対して、第1の表示変更処理が行われた後の状態を示す図である。図7は、挿入部の挿入形状図形がモニタ画面の第2の領域外に描出された状態を示す図である。図8は、図7に示す挿入形状図形に対して、第2の表示変更処理が行われた後の状態を示す図である。   FIG. 1 is a diagram illustrating an overall configuration of an endoscope system according to the present embodiment. FIG. 2 is a block diagram illustrating an internal configuration of the endoscope insertion shape detection device according to the present embodiment. FIG. 3 is a diagram illustrating an example of an insertion shape graphic drawn on the monitor screen by the endoscope insertion shape detection device according to the present embodiment. FIG. 4 is a flowchart showing the contents of control performed by the endoscope insertion shape detection apparatus according to the present embodiment. FIG. 5 is a diagram showing a state in which the insertion shape figure of the insertion portion is drawn outside the first predetermined area of the monitor screen. FIG. 6 is a diagram showing a state after the first display change process is performed on the inserted shape figure shown in FIG. FIG. 7 is a diagram illustrating a state where the insertion shape figure of the insertion unit is drawn outside the second area of the monitor screen. FIG. 8 is a diagram illustrating a state after the second display change process is performed on the inserted shape graphic illustrated in FIG. 7.

内視鏡システム1は、図1に示すように、被検体である患者2の体腔内において、体腔内の像を撮像し、撮像した該体腔内の像を撮像信号として出力する内視鏡3と、内視鏡3から出力される撮像信号に対して画像処理等を行って出力するビデオプロセッサ4と、ビデオプロセッサ4から出力される撮像信号に基づき、内視鏡3が撮像した所望の部位の像を画像表示するモニタ5と、挿入形状検出用プローブ6と、患者2を載置可能であるベッド7と、内視鏡挿入形状検出装置8と、モニタ画面9aを有し、後述する挿入形状図形を表示する表示部であるモニタ9とからなる。   As shown in FIG. 1, the endoscope system 1 captures an image in a body cavity in a body cavity of a patient 2 as a subject, and outputs the captured image in the body cavity as an imaging signal. A video processor 4 that performs image processing on the imaging signal output from the endoscope 3 and outputs the image signal, and a desired part imaged by the endoscope 3 based on the imaging signal output from the video processor 4 A monitor 5 for displaying an image of the above, an insertion shape detection probe 6, a bed 7 on which the patient 2 can be placed, an endoscope insertion shape detection device 8, and a monitor screen 9a. The monitor 9 is a display unit for displaying the shape figure.

また、内視鏡3は、体腔内等に挿入する挿入部11と、この挿入部11の基端側に連設され、内視鏡3を把持し操作するための操作部12と、操作部12の側部から延出し、ビデオプロセッサ4等の外部装置に接続されるユニバーサルコード13を有する。   The endoscope 3 includes an insertion portion 11 that is inserted into a body cavity and the like, an operation portion 12 that is connected to the proximal end side of the insertion portion 11, holds and operates the endoscope 3, and an operation portion 12 has a universal cord 13 extending from the side of 12 and connected to an external device such as a video processor 4.

挿入部11の先端である先端部14の内部には、被写体の像を結像するための対物光学系15と、対物光学系15で結像した該被写体の像を撮像し、撮像した該被写体の像を撮像信号として出力するCCD(固体撮像素子)16が設けられている。CCD16から出力された撮像信号は、一端がCCD16の後方に接続された信号線17に対して出力される。信号線17は、挿入部11と、操作部12と、ユニバーサルコード13との内部を挿通するように設けられ、他端がビデオプロセッサ4に電気的に接続されている。そのため、CCD16から出力された撮像信号は、信号線17を介してビデオプロセッサ4に対して出力される。   Inside the distal end portion 14 which is the distal end of the insertion portion 11, an objective optical system 15 for forming an image of the subject, an image of the subject imaged by the objective optical system 15, and the captured subject A CCD (solid-state imaging device) 16 is provided for outputting the above image as an imaging signal. The imaging signal output from the CCD 16 is output to a signal line 17 having one end connected to the back of the CCD 16. The signal line 17 is provided so as to pass through the insertion unit 11, the operation unit 12, and the universal cord 13, and the other end is electrically connected to the video processor 4. For this reason, the imaging signal output from the CCD 16 is output to the video processor 4 via the signal line 17.

前記操作部12の側部には、挿入形状検出用プローブ6を挿入するためのプローブ挿入口18が設けられている。プローブ挿入口18は、挿入部11の内部を挿通するように設けられたプローブ用チャンネル19に連通しており、挿入形状検出用プローブ6をプローブ用チャンネル19の内部に挿通できるように形成されている。   A probe insertion port 18 for inserting the insertion shape detection probe 6 is provided on the side of the operation unit 12. The probe insertion port 18 communicates with a probe channel 19 provided so as to be inserted through the insertion portion 11, and is formed so that the insertion shape detection probe 6 can be inserted into the probe channel 19. Yes.

挿入形状検出用プローブ6は、内視鏡3のプローブ挿入口18およびプローブ用チャンネル19に挿入可能な寸法、形状等を有し、体腔内における挿入部11の挿入形状に応じた磁界を発生するための、磁界発生素子としての複数のソースコイル21が、所定の間隔をもって設けられている。また、挿入形状検出用プローブ6の基端側からは、内視鏡挿入形状検出装置8に接続するためのケーブル22が延出しており、内視鏡挿入形状検出装置8は、ケーブル22を介してソースコイル21を駆動することにより、磁界を発生させる。   The insertion shape detection probe 6 has a size, a shape, and the like that can be inserted into the probe insertion port 18 and the probe channel 19 of the endoscope 3 and generates a magnetic field corresponding to the insertion shape of the insertion portion 11 in the body cavity. Therefore, a plurality of source coils 21 as magnetic field generating elements are provided at a predetermined interval. A cable 22 for connecting to the endoscope insertion shape detection device 8 extends from the proximal end side of the insertion shape detection probe 6, and the endoscope insertion shape detection device 8 is connected via the cable 22. By driving the source coil 21, a magnetic field is generated.

内視鏡挿入形状検出装置8には、ソースコイル21が発生した磁界を検出するための磁界検出素子としての複数のセンスコイルを有し、検出した磁界を磁界信号として出力するコイルユニット23が設けられている。   The endoscope insertion shape detection device 8 includes a plurality of sense coils as magnetic field detection elements for detecting the magnetic field generated by the source coil 21 and a coil unit 23 that outputs the detected magnetic field as a magnetic field signal. It has been.

内視鏡挿入形状検出装置8は、外装面上に操作パネル8aが設けられている。操作パネル8aは、例えば、内視鏡挿入形状検出装置8が第1の表示変更処理および第2の表示変更処理を行うタイミングを自動または手動のいずれかに切り替えることのできる自動/手動切替スイッチ、内視鏡挿入形状検出装置8に対して第1の表示変更処理および第2の表示変更処理を手動で行う際のタイミングを指示するスイッチ等の複数のスイッチから構成されている。術者が第1の表示変更処理および第2の表示変更処理を手動により行う場合、自動/手動切替スイッチを手動に設定した後、所望のタイミングにおいてスイッチを押下することにより、第1の表示変更処理および第2の表示変更処理を行うことができる。なお、第1の表示変更処理および第2の表示変更処理の詳細な内容については後述するものとし、また、本実施形態の以降の説明においては、第1の表示変更処理および第2の表示変更処理は、内視鏡挿入形状検出装置8が第1の表示変更処理および第2の表示変更処理を行うタイミングは自動として設定されているものとする。   The endoscope insertion shape detection device 8 is provided with an operation panel 8a on the exterior surface. The operation panel 8a includes, for example, an automatic / manual changeover switch that can switch the timing at which the endoscope insertion shape detection device 8 performs the first display change process and the second display change process to either automatic or manual, The endoscope insertion shape detection device 8 includes a plurality of switches such as a switch for instructing the timing when the first display change process and the second display change process are manually performed. When the operator manually performs the first display change process and the second display change process, the first display change is performed by setting the automatic / manual changeover switch to manual and then pressing the switch at a desired timing. Processing and second display change processing can be performed. The detailed contents of the first display change process and the second display change process will be described later. In the following description of the present embodiment, the first display change process and the second display change process will be described. In the processing, it is assumed that the timing at which the endoscope insertion shape detection device 8 performs the first display change process and the second display change process is set as automatic.

また、内視鏡挿入形状検出装置8は、図2に示すように、ソースコイル21を駆動するソースコイル駆動部31と、ソースコイル駆動部31を介して、ソースコイル21の磁界発生タイミングや周波数等を制御するソースコイル制御部32と、信号検出部33と、信号記録部34と、ソースコイル位置解析部35と、画像生成部36と、モニタ駆動部39とを内部に有する。また、画像生成部36は、挿入形状画像生成部36aと、メモリ部36bと、表示変更部36cとからなる。   In addition, as shown in FIG. 2, the endoscope insertion shape detection device 8 includes a source coil drive unit 31 that drives the source coil 21 and a magnetic field generation timing and frequency of the source coil 21 via the source coil drive unit 31. A source coil control unit 32, a signal detection unit 33, a signal recording unit 34, a source coil position analysis unit 35, an image generation unit 36, and a monitor drive unit 39 are provided inside. The image generation unit 36 includes an insertion shape image generation unit 36a, a memory unit 36b, and a display change unit 36c.

検出部である信号検出部33は、コイルユニット23から出力される磁界信号を検出し、該磁界信号を信号処理可能なレベルに増幅して出力する。   The signal detection unit 33 as a detection unit detects the magnetic field signal output from the coil unit 23, amplifies the magnetic field signal to a level at which signal processing is possible, and outputs the amplified signal.

信号記録部34は、信号検出部33から出力される磁界信号を一時的に記録する。   The signal recording unit 34 temporarily records the magnetic field signal output from the signal detection unit 33.

ソースコイル位置解析部35は、信号記録部34に記録された磁界信号に基づいてソースコイル21の3次元位置座標を解析し、3次元位置座標情報信号として出力する。   The source coil position analysis unit 35 analyzes the three-dimensional position coordinate of the source coil 21 based on the magnetic field signal recorded in the signal recording unit 34 and outputs it as a three-dimensional position coordinate information signal.

挿入形状画像生成部36aは、ソースコイル位置解析部35から出力されるソースコイル21の3次元位置座標情報信号に基づいて挿入部11の3次元形状を算出する。また、挿入形状画像生成部36aは、算出した挿入部11の3次元形状から、挿入部11の挿入形状図形を生成し、画像信号である挿入形状図形信号として出力する。   The insertion shape image generation unit 36 a calculates the three-dimensional shape of the insertion unit 11 based on the three-dimensional position coordinate information signal of the source coil 21 output from the source coil position analysis unit 35. Further, the insertion shape image generation unit 36a generates an insertion shape graphic of the insertion unit 11 from the calculated three-dimensional shape of the insertion unit 11, and outputs it as an insertion shape graphic signal that is an image signal.

メモリ部36bは、挿入形状画像生成部36aから出力された挿入部11の挿入形状図形信号を一時的に記録する。   The memory unit 36b temporarily records the insertion shape graphic signal of the insertion unit 11 output from the insertion shape image generation unit 36a.

表示変更部36cは、メモリ部36bに記録された挿入形状図形信号に基づき、挿入形状画像生成部36aが生成した挿入部11の挿入形状図形の一部または全部がモニタ画面9a内の2次元座標上に描出されるように、メモリ部36bに記録された挿入形状図形信号に基づいて座標補正を行い、座標補正を行った後の挿入形状図形信号を出力する。また、表示変更部36cは、表示部であるモニタに表示される挿入部の挿入形状図形の一部が、モニタ画面9aにおける所定の領域外に描出された場合、メモリ部36bに記録された挿入形状図形信号に基づき、挿入形状画像生成部36aが生成した該挿入形状図形がモニタ画面9a内の所定の領域内に描出されるように所定の表示変更処理を行い、所定の表示変更処理を行った後の挿入形状図形信号を出力する。なお、前記所定の表示変更処理である第1の表示変更処理および第2の表示変更処理の詳細な内容については、後述するものとする。   The display changing unit 36c is configured such that a part or all of the insertion shape graphic of the insertion unit 11 generated by the insertion shape image generation unit 36a is a two-dimensional coordinate in the monitor screen 9a based on the insertion shape graphic signal recorded in the memory unit 36b. As depicted above, coordinate correction is performed based on the insertion shape graphic signal recorded in the memory unit 36b, and the insertion shape graphic signal after the coordinate correction is output. In addition, the display change unit 36c is configured such that when a part of the insertion shape figure of the insertion unit displayed on the monitor which is the display unit is drawn outside a predetermined area on the monitor screen 9a, the insertion change recorded in the memory unit 36b is displayed. Based on the shape graphic signal, a predetermined display change process is performed so that the inserted shape graphic generated by the insertion shape image generation unit 36a is rendered in a predetermined area in the monitor screen 9a, and the predetermined display change process is performed. The inserted shape graphic signal is output. The detailed contents of the first display change process and the second display change process as the predetermined display change process will be described later.

モニタ駆動部39は、表示変更部36cから出力される挿入形状図形信号に基づいてモニタ9を駆動させ、モニタ画面9aに挿入部11の挿入形状図形を描出する。   The monitor drive unit 39 drives the monitor 9 based on the insertion shape graphic signal output from the display change unit 36c, and renders the insertion shape graphic of the insertion unit 11 on the monitor screen 9a.

次に、本実施形態に係る内視鏡システム1を用いた場合の作用を、図1から図8を参照しつつ説明する。   Next, the operation when the endoscope system 1 according to the present embodiment is used will be described with reference to FIGS.

まず、術者は、挿入形状検出用プローブ6をプローブ挿入口18から内視鏡3に挿入する。その後、術者は、内視鏡3のユニバーサルコード13をビデオプロセッサ4に接続し、挿入形状検出用プローブ6のケーブル22を内視鏡挿入形状検出装置8に接続し、内視鏡3の挿入部11を患者2の体腔内に挿入する。すると、CCD16は、体腔内の像を撮像し、撮像した該体腔内の像を撮像信号として出力する。そして、ビデオプロセッサ4は、CCD16から出力された撮像信号に基づいて画像処理等を行い、画像処理等を行った後の撮像信号をモニタ5に対して出力する。モニタ5は、ビデオプロセッサ4から出力される撮像信号に基づき、内視鏡3が撮像した体腔内の像を画像表示する。   First, the operator inserts the insertion shape detection probe 6 into the endoscope 3 through the probe insertion port 18. Thereafter, the surgeon connects the universal cord 13 of the endoscope 3 to the video processor 4, connects the cable 22 of the insertion shape detection probe 6 to the endoscope insertion shape detection device 8, and inserts the endoscope 3. The part 11 is inserted into the body cavity of the patient 2. Then, the CCD 16 captures an image in the body cavity and outputs the captured image in the body cavity as an imaging signal. The video processor 4 performs image processing and the like based on the imaging signal output from the CCD 16, and outputs the imaging signal after the image processing and the like to the monitor 5. The monitor 5 displays an image of the body cavity imaged by the endoscope 3 based on the imaging signal output from the video processor 4.

また、内視鏡挿入形状検出装置8のソースコイル制御部32は、ソースコイル駆動部31を介し、各々のソースコイル21に対して、各々のソースコイル21が異なるタイミングにおいて磁界を発生するように制御を行う。ソースコイル21は、ソースコイル制御部32の制御内容に基づき、体腔内における挿入部11の挿入形状に応じた磁界を発生する。ソースコイル21から発生された前記磁界は、コイルユニット23により検出され、コイルユニット23は、前記磁界に基づく磁界信号を出力する。   In addition, the source coil control unit 32 of the endoscope insertion shape detection device 8 generates a magnetic field at different timing for each source coil 21 via the source coil drive unit 31. Take control. The source coil 21 generates a magnetic field according to the insertion shape of the insertion portion 11 in the body cavity based on the control content of the source coil control portion 32. The magnetic field generated from the source coil 21 is detected by the coil unit 23, and the coil unit 23 outputs a magnetic field signal based on the magnetic field.

コイルユニット23から出力された磁界信号は、内視鏡挿入形状検出装置8の信号検出部33において検出された後、信号処理可能なレベルに増幅されて出力され、信号記録部34において一時的に記録される。ソースコイル位置解析部35は、信号記録部34に記録された磁界信号に基づいて各々のソースコイル21の3次元位置座標を解析し、3次元位置座標情報として出力する。挿入形状画像生成部36aは、ソースコイル位置解析部35から出力される各々のソースコイル21の3次元位置座標情報信号に基づいて挿入部11の3次元形状を算出した後、算出した挿入部11の3次元形状から、挿入部11の挿入形状図形を生成し、挿入形状図形信号として出力する。メモリ部36bは、挿入形状画像生成部36aから出力された挿入部11の挿入形状図形信号を一時的に記録する。表示変更部36cは、メモリ部36bに記録された挿入形状図形信号に基づき、挿入形状画像生成部36aが生成した挿入部11の挿入形状図形の一部または全部がモニタ画面9a内の2次元座標上に描出されるように座標補正を行い、座標補正を行った後の挿入形状図形信号を出力する。モニタ駆動部39は、表示変更部36cから出力される挿入形状図形信号に基づいてモニタ9を駆動させ、モニタ画面9aに、例えば、図3に示すような挿入部11の挿入形状図形を描出する(図4のステップS1)。   The magnetic field signal output from the coil unit 23 is detected by the signal detection unit 33 of the endoscope insertion shape detection device 8, amplified to a signal processable level and output, and temporarily output by the signal recording unit 34. To be recorded. The source coil position analysis unit 35 analyzes the three-dimensional position coordinates of each source coil 21 based on the magnetic field signal recorded in the signal recording unit 34 and outputs the three-dimensional position coordinate information. The insertion shape image generation unit 36 a calculates the three-dimensional shape of the insertion unit 11 based on the three-dimensional position coordinate information signal of each source coil 21 output from the source coil position analysis unit 35, and then calculates the calculated insertion unit 11. From the three-dimensional shape, an insertion shape graphic of the insertion unit 11 is generated and output as an insertion shape graphic signal. The memory unit 36b temporarily records the insertion shape graphic signal of the insertion unit 11 output from the insertion shape image generation unit 36a. The display changing unit 36c is configured such that a part or all of the insertion shape graphic of the insertion unit 11 generated by the insertion shape image generation unit 36a is a two-dimensional coordinate in the monitor screen 9a based on the insertion shape graphic signal recorded in the memory unit 36b. Coordinate correction is performed so as to be drawn above, and an inserted shape figure signal after the coordinate correction is output. The monitor drive unit 39 drives the monitor 9 based on the insertion shape graphic signal output from the display change unit 36c, and renders the insertion shape graphic of the insertion unit 11 as shown in FIG. 3, for example, on the monitor screen 9a. (Step S1 in FIG. 4).

ここで、例えば、術者が挿入部11を体腔内の深部に挿入する際に、挿入部11の挿入形状が、図5に示すような挿入形状図形として描出される場合がある。そのような場合、表示変更部36cは、モニタ画面9aに描出される挿入形状図形の基端側の中心部が、図5に示すような、モニタ画面9a内の横軸の中心部Xcを含む、座標X1から座標X2の間の領域である第1の領域内に描出されているかどうかを判定する(図4のステップS2)。この判定は、例えば、画像の画素値の差に基づいてモニタ画面9aの横軸方向における、挿入形状図形の基端側の位置を検出した後、該検出した位置が、該横軸方向における座標X1と座標X2の間にあるか否かによって行われる。なお、図5および図6に描かれた点線は、第1の領域を示すための仮想的なものであるため、実際にはモニタ画面9aには表示されないものとする。   Here, for example, when the surgeon inserts the insertion portion 11 into a deep part of the body cavity, the insertion shape of the insertion portion 11 may be depicted as an insertion shape figure as shown in FIG. In such a case, in the display change unit 36c, the center portion on the proximal end side of the inserted shape figure drawn on the monitor screen 9a includes the center portion Xc of the horizontal axis in the monitor screen 9a as shown in FIG. Then, it is determined whether or not the image is drawn in the first area which is an area between the coordinates X1 and the coordinates X2 (step S2 in FIG. 4). This determination is performed by, for example, detecting the position on the proximal end side of the inserted shape figure in the horizontal axis direction of the monitor screen 9a based on the difference in pixel values of the image, and then detecting the detected position as coordinates in the horizontal axis direction. This is done depending on whether or not it is between X1 and coordinate X2. Note that the dotted lines drawn in FIGS. 5 and 6 are virtual for indicating the first region, and are not actually displayed on the monitor screen 9a.

前記判定の結果により、モニタ画面9aに描出される挿入形状図形の基端側の中心部が第1の領域外に描出されていることが検出されると、表示変更部36cは、該挿入形状図形の基端側の中心部がモニタ画面9a内の横軸の中心部Xcに描出されるように、メモリ部36bに記録された挿入形状図形信号に基づいて該挿入形状図形の描出位置を変更する、第1の表示変更処理である描出位置変更処理を行い(図4のステップS3)、描出位置変更処理が行われた後の挿入形状図形信号を出力する。モニタ駆動部39が表示変更部36cから出力される挿入形状図形信号に基づいてモニタ9を駆動させると、モニタ画面9aには、例えば、図6に示すような、描出位置の変更が行われた後の挿入部11の挿入形状図形が描出される(図4のステップS4)。なお、モニタ画面9aに描出される挿入形状図形の基端側の中心部が、図5に示すような、X1からX2の間の領域内に描出されている場合においては、前述したような描出位置変更処理は行われない。また、モニタ画面9aにおける座標X1および座標X2は、表示変更部36cに設けられた図示しないメモリ等に記録された値であり、例えば、術者が内視鏡挿入形状検出装置8の操作パネル8aを操作することにより、所望の値に変更されるような値であっても良いし、また、予め設定された固定の値であっても良い。   When it is detected from the result of the determination that the center portion on the proximal end side of the inserted shape figure drawn on the monitor screen 9a is drawn outside the first region, the display changing unit 36c The rendering position of the inserted shape graphic is changed based on the inserted shape graphic signal recorded in the memory unit 36b so that the central portion on the base end side of the graphic is depicted in the central portion Xc of the horizontal axis in the monitor screen 9a. The rendering position changing process, which is the first display changing process, is performed (step S3 in FIG. 4), and the inserted shape figure signal after the rendering position changing process is performed is output. When the monitor drive unit 39 drives the monitor 9 based on the inserted shape graphic signal output from the display change unit 36c, the rendering position is changed on the monitor screen 9a as shown in FIG. 6, for example. An insertion shape figure of the subsequent insertion portion 11 is drawn (step S4 in FIG. 4). In addition, when the central part of the base end side of the inserted shape figure drawn on the monitor screen 9a is drawn in the region between X1 and X2 as shown in FIG. The position change process is not performed. The coordinates X1 and coordinates X2 on the monitor screen 9a are values recorded in a memory (not shown) provided in the display change unit 36c. For example, the operator operates the operation panel 8a of the endoscope insertion shape detection device 8. The value may be changed to a desired value by operating the, or may be a fixed value set in advance.

また、例えば、術者が挿入部11を体腔内の深部に挿入する際に、挿入部11の挿入形状が、図7に示すような挿入形状図形として描出される場合がある。そのような場合、表示変更部36cは、モニタ画面9aに描出される挿入形状図形の全体が、図7に示すような、モニタ画面9a内における枠A内の領域である第2の領域内に描出されているかどうかを判定する(図4のステップS5)。この判定は、例えば、画像の画素値の差に基づき、モニタ画面9aの枠Aの範囲外に挿入形状図形があるか否かを検出することによって行われる。なお、図7において、点線により描かれた枠Aは、第2の領域を示すための仮想的なものであるため、実際にはモニタ画面9aには表示されないものとする。   Further, for example, when the surgeon inserts the insertion portion 11 into a deep part of the body cavity, the insertion shape of the insertion portion 11 may be depicted as an insertion shape figure as shown in FIG. In such a case, the display changing unit 36c causes the entire inserted shape figure drawn on the monitor screen 9a to be within a second area that is an area within the frame A in the monitor screen 9a as shown in FIG. It is determined whether or not the image is drawn (step S5 in FIG. 4). This determination is performed, for example, by detecting whether there is an inserted shape figure outside the range of the frame A of the monitor screen 9a based on the difference between the pixel values of the image. In FIG. 7, a frame A drawn by a dotted line is a virtual one for indicating the second region, and is not actually displayed on the monitor screen 9a.

前記判定の結果により、モニタ画面9aに描出される挿入形状図形の少なくとも一部が第2の領域外に描出されていることが検出されると、表示変更部36cは、該挿入形状図形の全体がモニタ画面9a内における枠B内の領域である第3の領域内に描出されるように、メモリ部36bに記録された挿入形状図形信号に基づいて該挿入形状図形の全体の拡大率を変更する、第2の表示変更処理である描出サイズ変更処理を行い(図4のステップS6)、描出サイズ変更処理が行われた後の挿入形状図形信号を出力する。なお、図8において、点線により描かれた枠Bは、第3の領域を示すための仮想的なものであるため、実際にはモニタ画面9aには表示されないものとする。   When it is detected from the result of the determination that at least a part of the inserted shape figure drawn on the monitor screen 9a is drawn outside the second area, the display changing unit 36c Is changed in the third area, which is the area in the frame B in the monitor screen 9a, based on the inserted shape graphic signal recorded in the memory unit 36b, the entire enlargement factor of the inserted shape graphic is changed. The rendering size changing process, which is the second display changing process, is performed (step S6 in FIG. 4), and the inserted shape figure signal after the rendering size changing process is performed is output. In FIG. 8, a frame B drawn by a dotted line is a virtual one for indicating the third region, and is not actually displayed on the monitor screen 9a.

モニタ駆動部39が表示変更部36cから出力された挿入形状図形信号に基づいてモニタ9を駆動させると、モニタ画面9aには、例えば、図8に示すような、描出サイズが変更された後の挿入部11の挿入形状図形が描出される(図4のステップS7)。なお、モニタ画面9aに描出される挿入形状図形の全体が、図7に示すような、枠A内の領域に描出されている場合においては、前述したような描出サイズ変更処理は行われない。また、モニタ画面9aにおける枠Aおよび枠Bは、表示変更部36cに設けられた図示しないメモリ等に記録された領域であり、例えば、術者が内視鏡挿入形状検出装置8の操作パネル8aを操作することにより、所望の領域の広さ、所望の位置等に変更することが可能な領域であっても良いし、また、予め設定された固定の領域であっても良い。   When the monitor drive unit 39 drives the monitor 9 based on the inserted shape graphic signal output from the display change unit 36c, the monitor screen 9a is displayed on the monitor screen 9a after the rendering size is changed as shown in FIG. An insertion shape figure of the insertion unit 11 is drawn (step S7 in FIG. 4). Note that when the entire inserted figure drawn on the monitor screen 9a is drawn in the area within the frame A as shown in FIG. 7, the drawing size changing process as described above is not performed. The frame A and the frame B in the monitor screen 9a are areas recorded in a memory (not shown) provided in the display change unit 36c. For example, the operator operates the operation panel 8a of the endoscope insertion shape detection device 8. May be an area that can be changed to a desired area size, desired position, or the like, or may be a fixed area that is set in advance.

本実施形態の内視鏡挿入形状検出装置8は、前述したように、挿入部11の挿入形状図形の基端側の中心部がモニタ画面9aの第1の領域外に描出された場合には、該挿入形状図形に対して描出位置変更処理を行うことにより、該挿入形状図形の全体を第1の領域内に描出することができる。また、本実施形態の内視鏡挿入形状検出装置8は、前述したように、挿入部11の挿入形状図形の少なくとも一部がモニタ画面9aの第2の領域外に描出された場合には、該挿入形状図形に対して描出サイズ変更処理を行うことにより、該挿入形状図形の全体を、第2の領域より狭い第3の領域内に描出することができる。本実施形態の内視鏡挿入形状検出装置8が有するこのような効果により、術者は、内視鏡3の挿入操作を従来に比べてスムーズに行うことができる。   As described above, the endoscope insertion shape detection device 8 according to the present embodiment, when the central portion of the insertion shape figure of the insertion portion 11 is drawn outside the first region of the monitor screen 9a, is drawn. By performing the rendering position changing process on the inserted shape graphic, the entire inserted shape graphic can be rendered in the first region. In addition, as described above, the endoscope insertion shape detection device 8 of the present embodiment, when at least a part of the insertion shape figure of the insertion unit 11 is drawn outside the second area of the monitor screen 9a, By performing the rendering size changing process on the inserted shape figure, the entire inserted shape figure can be drawn in a third region narrower than the second region. Due to such an effect of the endoscope insertion shape detection device 8 of the present embodiment, the operator can perform the insertion operation of the endoscope 3 more smoothly than in the conventional case.

本実施形態に係る内視鏡システムの全体構成を示す図。The figure which shows the whole structure of the endoscope system which concerns on this embodiment. 本実施形態に係る内視鏡挿入形状検出装置の内部構成を示すブロック図。The block diagram which shows the internal structure of the endoscope insertion shape detection apparatus which concerns on this embodiment. 本実施形態に係る内視鏡挿入形状検出装置がモニタ画面に描出する挿入形状図形の一例を示す図。The figure which shows an example of the insertion shape figure which the endoscope insertion shape detection apparatus which concerns on this embodiment draws on a monitor screen. 本実施形態に係る内視鏡挿入形状検出装置が行う制御の内容を示すフローチャート。The flowchart which shows the content of the control which the endoscope insertion shape detection apparatus which concerns on this embodiment performs. 挿入部の挿入形状図形がモニタ画面の第1の所定の領域外に描出された状態を示す図。The figure which shows the state by which the insertion shape figure of the insertion part was drawn outside the 1st predetermined area | region of the monitor screen. 図5に示す挿入形状図形に対して、第1の表示変更処理が行われた後の状態を示す図。The figure which shows the state after the 1st display change process was performed with respect to the insertion shape figure shown in FIG. 挿入部の挿入形状図形がモニタ画面の第2の領域外に描出された状態を示す図。The figure which shows the state by which the insertion shape figure of the insertion part was drawn out of the 2nd area | region of the monitor screen. 図7に示す挿入形状図形に対して、第2の表示変更処理が行われた後の状態を示す図。The figure which shows the state after the 2nd display change process was performed with respect to the insertion shape figure shown in FIG.

符号の説明Explanation of symbols

1 内視鏡システム、2 患者、3 内視鏡、4 ビデオプロセッサ、5 モニタ、6 挿入形状検出用プローブ、7 ベッド、8 内視鏡挿入形状検出装置、8a 操作パネル、9 モニタ、9a モニタ画面、11 挿入部、12 操作部、13 ユニバーサルコード、14 先端部、15 対物光学系、16 CCD、17 信号線、18 プローブ挿入口、19 プローブ用チャンネル、21 ソースコイル、22 ケーブル、23 コイルユニット、31 ソースコイル駆動部、32 ソースコイル制御部、33 信号検出部、34 信号記録部、35 ソースコイル位置解析部、36 画像生成部、36a 挿入形状画像生成部、36b メモリ部、36c 表示変更部、39 モニタ駆動部
代理人 弁理士 伊 藤 進
DESCRIPTION OF SYMBOLS 1 Endoscope system, 2 Patient, 3 Endoscope, 4 Video processor, 5 Monitor, 6 Insertion shape detection probe, 7 Bed, 8 Endoscope insertion shape detection apparatus, 8a Operation panel, 9 Monitor, 9a Monitor screen , 11 Insertion section, 12 Operation section, 13 Universal cord, 14 Tip section, 15 Objective optical system, 16 CCD, 17 Signal line, 18 Probe insertion port, 19 Probe channel, 21 Source coil, 22 Cable, 23 Coil unit, 31 source coil drive unit, 32 source coil control unit, 33 signal detection unit, 34 signal recording unit, 35 source coil position analysis unit, 36 image generation unit, 36a insertion shape image generation unit, 36b memory unit, 36c display change unit, 39 Monitor Driving Department Agent Patent Attorney Susumu Ito

Claims (3)

被検体内へ挿入される内視鏡の挿入部の挿入形状を検出する検出部と、前記挿入形状を挿入形状図形として図形化して描出するための画像信号を生成する画像生成部と、前記画像信号に基づいて前記挿入形状図形を表示する表示部とを有し、
前記画像生成部は、前記挿入形状図形の少なくとも一部が前記表示部の表示領域における所定の領域外に描出された場合、前記挿入形状図形が前記表示領域の前記所定の領域内に描出されるように、前記画像信号に対して所定の表示変更処理を行う表示変更部を有することを特徴とする内視鏡挿入形状検出装置。
A detection unit that detects an insertion shape of an insertion unit of an endoscope that is inserted into a subject, an image generation unit that generates an image signal for rendering the insertion shape as an insertion shape figure, and the image, and the image A display unit for displaying the inserted shape figure based on a signal,
The image generation unit renders the insertion shape graphic in the predetermined region of the display area when at least a part of the insertion shape graphic is drawn outside the predetermined region in the display area of the display unit. As described above, an endoscope insertion shape detection apparatus comprising a display change unit that performs a predetermined display change process on the image signal.
前記表示変更部の前記所定の表示変更処理は、前記挿入形状図形における基端側の中心部が、前記所定の領域である前記表示領域の横軸の中心部を含む第1の所定の領域外に描出された場合、前記画像信号に対し、前記挿入形状図形の基端側の中心部が、前記表示領域の横軸の中心部に描出されるように、前記挿入形状図形の描出位置を変更する第1の表示変更処理を含むことを特徴とする請求項1記載の内視鏡挿入形状検出装置。   The predetermined display change process of the display change unit includes a first center region outside the first predetermined region in which the center portion on the proximal end side in the inserted shape figure includes the central portion of the horizontal axis of the display region which is the predetermined region. When the image is drawn, the rendering position of the inserted shape graphic is changed so that the central portion of the base end side of the inserted shape graphic is drawn at the center of the horizontal axis of the display area. The endoscope insertion shape detection apparatus according to claim 1, further comprising a first display change process. 前記表示変更部の前記所定の表示変更処理は、前記挿入形状図形の少なくとも一部が、前記所定の領域である第2の所定の領域外に描出された場合、前記画像信号に対し、前記挿入形状図形の全体が、前記表示領域の、前記第2の所定の領域とは異なる領域である第3の所定の領域内に描出するように、前記挿入形状図形の拡大率を変更して描出する第2の表示変更処理を含むことを特徴とする請求項1または請求項2記載の内視鏡挿入形状検出装置。

The predetermined display changing process of the display changing unit is configured to insert the insertion into the image signal when at least a part of the inserted figure is drawn outside a second predetermined area that is the predetermined area. The shape graphic is drawn by changing the enlargement ratio of the inserted shape graphic so that the entire shape graphic is drawn in a third predetermined area of the display area that is different from the second predetermined area. The endoscope insertion shape detection apparatus according to claim 1, further comprising a second display change process.

JP2005071716A 2004-11-15 2005-03-14 Endoscope insertion shape detection device Active JP4823539B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005071716A JP4823539B2 (en) 2005-03-14 2005-03-14 Endoscope insertion shape detection device
EP05806050.0A EP1813183B1 (en) 2004-11-15 2005-11-14 Endoscope profile detector
AU2005303012A AU2005303012B2 (en) 2004-11-15 2005-11-14 Endoscope profile detector
PCT/JP2005/020863 WO2006051949A1 (en) 2004-11-15 2005-11-14 Endoscope profile detector
US11/800,479 US7857753B2 (en) 2004-11-15 2007-05-04 Endoscope shape detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005071716A JP4823539B2 (en) 2005-03-14 2005-03-14 Endoscope insertion shape detection device

Publications (2)

Publication Number Publication Date
JP2006247292A true JP2006247292A (en) 2006-09-21
JP4823539B2 JP4823539B2 (en) 2011-11-24

Family

ID=37088352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005071716A Active JP4823539B2 (en) 2004-11-15 2005-03-14 Endoscope insertion shape detection device

Country Status (1)

Country Link
JP (1) JP4823539B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155383A1 (en) * 2010-06-09 2011-12-15 オリンパスメディカルシステムズ株式会社 Probe shape detection device and probe shape detection method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079087A (en) * 1998-09-03 2000-03-21 Olympus Optical Co Ltd Endoscope form detection device
JP2001046318A (en) * 1999-08-05 2001-02-20 Olympus Optical Co Ltd Endoscope shape detector

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079087A (en) * 1998-09-03 2000-03-21 Olympus Optical Co Ltd Endoscope form detection device
JP2001046318A (en) * 1999-08-05 2001-02-20 Olympus Optical Co Ltd Endoscope shape detector

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155383A1 (en) * 2010-06-09 2011-12-15 オリンパスメディカルシステムズ株式会社 Probe shape detection device and probe shape detection method
JP5231681B2 (en) * 2010-06-09 2013-07-10 オリンパスメディカルシステムズ株式会社 Probe shape detection device and method of operating probe shape detection device
US8566052B2 (en) 2010-06-09 2013-10-22 Olympus Medical Systems Corp. Probe shape detection apparatus and probe shape detection method

Also Published As

Publication number Publication date
JP4823539B2 (en) 2011-11-24

Similar Documents

Publication Publication Date Title
JP4153963B2 (en) Endoscope insertion shape detection device
US9125560B2 (en) Endoscope shape detecting apparatus
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
JP2001046318A (en) Endoscope shape detector
EP1818004B1 (en) Endoscope inserted-shape detecting apparatus
JP4855901B2 (en) Endoscope insertion shape analysis system
JP7385731B2 (en) Endoscope system, image processing device operating method, and endoscope
JP3290153B2 (en) Endoscope insertion shape detection device
JPWO2010050555A1 (en) Ultrasonic observation equipment
JP4823539B2 (en) Endoscope insertion shape detection device
JP4804739B2 (en) Image display device, image display method, and image display program
JP2008119260A (en) Living body observation system
JP6616838B2 (en) Endoscope shape grasp system
JP2000083889A (en) System for detection of endoscope shape
JP2000079087A (en) Endoscope form detection device
JP3749196B2 (en) Endoscope shape detection system
JP5005980B2 (en) Endoscope device
JP4647972B2 (en) Endoscope shape detection device
JP5160619B2 (en) Endoscope shape detection device
JP6464110B2 (en) Endoscope shape grasp system
JP3397299B2 (en) Position detection device
WO2021085017A1 (en) Vascular endoscopic system and blood vessel diameter measurement method
JP5148096B2 (en) Medical image processing apparatus and method of operating medical image processing apparatus
JP3392358B2 (en) Position detection device
JP2006167222A (en) Image processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110907

R151 Written notification of patent or utility model registration

Ref document number: 4823539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250