JP2015100437A - Navigation system for surgical operation - Google Patents

Navigation system for surgical operation Download PDF

Info

Publication number
JP2015100437A
JP2015100437A JP2013241630A JP2013241630A JP2015100437A JP 2015100437 A JP2015100437 A JP 2015100437A JP 2013241630 A JP2013241630 A JP 2013241630A JP 2013241630 A JP2013241630 A JP 2013241630A JP 2015100437 A JP2015100437 A JP 2015100437A
Authority
JP
Japan
Prior art keywords
coordinate
information
navigation system
coordinate information
surgical navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013241630A
Other languages
Japanese (ja)
Inventor
知希 飯島
Tomoki Iijima
知希 飯島
実行 金尾
Saneyuki Kanao
実行 金尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Medical Corp
Original Assignee
Kyocera Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Medical Corp filed Critical Kyocera Medical Corp
Priority to JP2013241630A priority Critical patent/JP2015100437A/en
Publication of JP2015100437A publication Critical patent/JP2015100437A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Dental Prosthetics (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a navigation system for a surgical operation that allows cost to be reduced while enabling a surgical operation to be performed safely and accurately.SOLUTION: A navigation system for a surgical operation 1 includes: a coordinate transmitter 2 that includes a motion sensor 22 for detecting coordinate information on a tip 21a of a handpiece 21, and transmission means 23 for transmitting the coordinate information; a coordinate receiver 3 that includes receiving means 31 for receiving the transmitted coordinate information, calculation means 32 for calculating position information to target coordinates on the basis of the received coordinate information, and calculating guide information for guiding the tip 21a to the target coordinates on the basis of the position information, and notification means 33 for notifying an operator of the calculated guide information; and an original point reset switch 4 that resets the received coordinate information. The notification means 33 includes an extended real image display device 331 for displaying an extended real image based on the guide information before the operator's eyes.

Description

本発明は、外科手術用ナビゲーションシステムに関する。   The present invention relates to a surgical navigation system.

近時、外科手術用ナビゲーションシステムが、コンピュータ支援外科の1つとして注目されている。外科手術用ナビゲーションシステムは、自動車のナビゲーションシステムと同じように、実際の術野の位置情報を座標化し、これを術前に撮影した画像上に反映させて術中の位置確認をリアルタイムに行うものである。従来の外科手術用ナビゲーションシステムは、光学式センサを備えている(例えば、非特許文献1参照)。   Recently, surgical navigation systems have attracted attention as one of computer-assisted surgery. The navigation system for surgical operation, like the navigation system of a car, coordinates the position information of the actual operative field and reflects it on the image taken before the operation to perform intra-operative position confirmation in real time. is there. A conventional surgical navigation system includes an optical sensor (see, for example, Non-Patent Document 1).

しかし、光学式センサを備える従来の外科手術用ナビゲーションシステムは、患部から離れた位置に置かれているモニターによって術者を誘導するため、術者の視線移動が大きく、安全性に問題があった。また、術者の肢体が、患部に取り付けたマーカを光学式センサから隠してしまうことが多く、正確性にも問題があった。このような問題は、デンタルインプラント埋植手術のような術野が狭い外科手術において顕著であった。また、従来の外科手術用ナビゲーションシステムは、装置が比較的大掛かりであることから、コストが高いという問題もあった。   However, the conventional surgical navigation system equipped with an optical sensor guides the surgeon with a monitor placed at a position away from the affected area, and thus the surgeon's line of sight movement is large and there is a problem in safety. . In addition, the operator's limb often hides the marker attached to the affected area from the optical sensor, and there is a problem in accuracy. Such a problem is remarkable in a surgical operation with a narrow surgical field such as a dental implant implantation operation. In addition, the conventional surgical navigation system has a problem that the cost is high because the apparatus is relatively large.

一方、特許文献1には、術者の視線移動を小さくするために、網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムが記載されている。
しかし、特許文献1に記載の手術ナビゲーションシステムは、術者の眼球の動きにシステムが追従しないおそれがあり、また、コストが高いという問題もあった。
On the other hand, Patent Document 1 describes a surgical navigation system using a retinal projection type head mounted display device in order to reduce an operator's line-of-sight movement.
However, the surgical navigation system described in Patent Document 1 has a problem that the system may not follow the movement of the eyeball of the operator, and the cost is high.

特開2010−259497号公報JP 2010-259497 A

“StealthStation”、[online]、日本メドトロニック株式会社、[平成25年11月14日検索]、インターネット<URL: http://wwwp.medtronic.com/country/japan/hcp/public/spine-navigation/navigation/>“StealthStation”, [online], Nippon Medtronic Co., Ltd., [searched on November 14, 2013], Internet <URL: http://wwwp.medtronic.com/country/japan/hcp/public/spine-navigation/ navigation / >

本発明の課題は、安全かつ正確に外科手術を行うことができるとともに、低コスト化が可能な外科手術用ナビゲーションシステムを提供することである。   An object of the present invention is to provide a surgical navigation system that can perform a surgical operation safely and accurately and can be reduced in cost.

本発明者らは、上記課題を解決すべく鋭意研究を重ねた結果、以下の構成からなる解決手段を見出し、本発明を完成するに至った。
(1)ハンドピースと、前記ハンドピースに取り付けられ前記ハンドピース先端部の座標情報を検出するモーションセンサと、検出された前記座標情報を送信する座標情報送信手段と、を有する座標送信機と、送信された前記座標情報を受信する座標情報受信手段と、受信した前記座標情報に基づいてターゲット座標までの位置情報を演算し、かつ演算された前記位置情報に基づいて前記ターゲット座標に前記ハンドピース先端部を誘導する誘導情報を演算する演算手段と、演算された前記誘導情報を術者に通知する通知手段と、を有する座標受信機と、前記受信した座標情報を座標原点に基づいてリセットする原点リセットスイッチと、を備え、前記通知手段が、前記誘導情報に基づく拡張現実画像を術者の眼前に表示する拡張現実画像表示装置を有する、外科手術用ナビゲーションシステム。
(2)前記通知手段が、前記誘導情報に基づく音を発音する発音装置をさらに有する、前記(1)に記載の外科手術用ナビゲーションシステム。
(3)デンタルインプラント埋植手術用である、前記(1)または(2)に記載の外科手術用ナビゲーションシステム。
(4)前記演算手段が、デンタルインプラント埋植手術の手技データベースを有し、かつ前記受信した座標情報とともに前記手技データベースに格納されている手技データに基づいて前記ターゲット座標までの位置情報を演算する、前記(3)に記載の外科手術用ナビゲーションシステム。
(5)光学式センサを備える他の外科手術用ナビゲーションシステムと併用する、前記(1)〜(4)のいずれかに記載の外科手術用ナビゲーションシステム。
As a result of intensive studies to solve the above-mentioned problems, the present inventors have found a solution means having the following constitution and have completed the present invention.
(1) a coordinate transmitter having a handpiece, a motion sensor attached to the handpiece and detecting coordinate information of the tip of the handpiece, and coordinate information transmitting means for transmitting the detected coordinate information; Coordinate information receiving means for receiving the transmitted coordinate information; calculating position information up to the target coordinates based on the received coordinate information; and the handpiece to the target coordinates based on the calculated position information A coordinate receiver having calculation means for calculating guide information for guiding the tip, and notification means for notifying the surgeon of the calculated guide information, and resets the received coordinate information based on the coordinate origin. An augmented reality image table, wherein the notification means displays an augmented reality image based on the guidance information in front of the surgeon's eyes. Having a device, the surgical navigation system.
(2) The surgical navigation system according to (1), wherein the notification unit further includes a sound generation device that generates a sound based on the guidance information.
(3) The surgical navigation system according to (1) or (2), which is for dental implant implantation.
(4) The calculation means calculates a position information up to the target coordinate based on the procedure data stored in the procedure database together with the received coordinate information, and having a procedure database for dental implant implantation surgery. The surgical navigation system according to (3) above.
(5) The surgical navigation system according to any one of (1) to (4), which is used in combination with another surgical navigation system including an optical sensor.

本発明によれば、安全かつ正確に外科手術を行うことができるとともに、システムの構成が比較的簡便であることから、低コスト化が可能となる。また、本発明は、デンタルインプラント埋植手術のような術野が狭い外科手術用として好適である。   According to the present invention, a surgical operation can be performed safely and accurately, and the cost of the system can be reduced because the system configuration is relatively simple. Further, the present invention is suitable for a surgical operation with a narrow surgical field such as a dental implant implantation operation.

本発明の一実施形態に係る外科手術用ナビゲーションシステムを示す概略説明図である。It is a schematic explanatory drawing which shows the surgical navigation system which concerns on one Embodiment of this invention. 図1の外科手術用ナビゲーションシステムが備える座標送信機を示すブロック図である。It is a block diagram which shows the coordinate transmitter with which the surgical navigation system of FIG. 1 is provided. 図1の外科手術用ナビゲーションシステムが備える座標受信機を示すブロック図である。It is a block diagram which shows the coordinate receiver with which the surgical navigation system of FIG. 1 is provided. 図1の外科手術用ナビゲーションシステムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the surgical navigation system of FIG.

以下、本発明の一実施形態に係る外科手術用ナビゲーションシステム(以下、「ナビゲーションシステム」と言うことがある。)について、デンタルインプラント埋植手術用を例にとって、図1〜図4を参照して詳細に説明する。   Hereinafter, a surgical navigation system according to an embodiment of the present invention (hereinafter also referred to as a “navigation system”) will be described with reference to FIGS. This will be described in detail.

図1に示すように、本実施形態のナビゲーションシステム1は、座標送信機2、座標受信機3および原点リセットスイッチ4を備えており、大略、これらによって構成されている。このような構成によれば、従来のナビゲーションシステムよりも比較的簡便であることから、低コスト化が可能となる。以下、本実施形態のナビゲーションシステム1の各構成要素について、順に説明する。   As shown in FIG. 1, the navigation system 1 of the present embodiment includes a coordinate transmitter 2, a coordinate receiver 3, and an origin reset switch 4. According to such a configuration, since it is relatively simpler than the conventional navigation system, the cost can be reduced. Hereinafter, each component of the navigation system 1 of this embodiment is demonstrated in order.

(座標送信機)
本実施形態の座標送信機2は、ハンドピース21、モーションセンサ22および座標情報送信手段23を有する。
(Coordinate transmitter)
The coordinate transmitter 2 of the present embodiment includes a handpiece 21, a motion sensor 22, and coordinate information transmission means 23.

ハンドピース21とは、術者の手に保持されるとともに、その先端部であるハンドピース先端部21aが、患者100の口腔101内に位置している患部102に直接触れる器具のことを意味するものとする。本実施形態のハンドピース21としては、例えばドリル、ドライバ等の顎骨を穿孔する器具、アライメント確認用器具等が挙げられる。   The handpiece 21 means an instrument that is held by the surgeon's hand, and the handpiece tip 21a, which is the tip of the handpiece 21, directly touches the affected part 102 located in the oral cavity 101 of the patient 100. Shall. Examples of the handpiece 21 of the present embodiment include a drill, a device such as a driver for drilling a jawbone, an alignment confirmation device, and the like.

本実施形態の座標送信機2は、インプランター24をさらに有する。インプランター24は、ハンドピース21の機能を制御する機器である。具体例を挙げると、ハンドピース21がドリルである場合には、その回転数等をインプランター24が制御する。本実施形態のインプランター24は、ケーブル241を介してハンドピース21に接続している。   The coordinate transmitter 2 of the present embodiment further includes an implanter 24. The implanter 24 is a device that controls the function of the handpiece 21. As a specific example, when the handpiece 21 is a drill, the implanter 24 controls the rotation speed and the like. The implanter 24 of this embodiment is connected to the handpiece 21 via a cable 241.

一方、本実施形態のモーションセンサ22は、ハンドピース21に取り付け可能な大きさを有するとともに、ハンドピース後端部21bに取り付けられている。なお、モーションセンサ22の取り付け位置は、ハンドピース21の機能を妨げない限り、ハンドピース後端部21bに限定されるものではなく、例えばハンドピース21の外周部または内部等であってもよい。   On the other hand, the motion sensor 22 of the present embodiment has a size that can be attached to the handpiece 21, and is attached to the handpiece rear end 21b. The attachment position of the motion sensor 22 is not limited to the handpiece rear end 21b as long as the function of the handpiece 21 is not hindered, and may be, for example, the outer peripheral portion or the inside of the handpiece 21.

モーションセンサ22は、ハンドピース先端部21aの位置および方向、すなわち座標情報を検出するセンサである。本実施形態のモーションセンサ22は、加速度センサおよびジャイロセンサを有する。加速度センサはハンドピース21の加速度を検出するセンサであり、ジャイロセンサはハンドピース21の傾きを検出するセンサである。本実施形態において、モーションセンサ22によって検出されるハンドピース先端部21aの座標情報は、3次元である。   The motion sensor 22 is a sensor that detects the position and direction of the handpiece tip 21a, that is, coordinate information. The motion sensor 22 of this embodiment has an acceleration sensor and a gyro sensor. The acceleration sensor is a sensor that detects the acceleration of the handpiece 21, and the gyro sensor is a sensor that detects the inclination of the handpiece 21. In the present embodiment, the coordinate information of the handpiece tip 21a detected by the motion sensor 22 is three-dimensional.

座標情報送信手段23は、モーションセンサ22によって検出されたハンドピース先端部21aの座標情報を送信する手段である。本実施形態の座標情報送信手段23は、座標情報送信アンテナを有する。   The coordinate information transmission means 23 is means for transmitting the coordinate information of the handpiece tip 21a detected by the motion sensor 22. The coordinate information transmission means 23 of this embodiment has a coordinate information transmission antenna.

上述した構成を有する本実施形態の座標送信機2では、図2に示すように、モーションセンサ22によって検出されたハンドピース先端部21aの座標情報を、積分回路2A、AC/DC2B、変調回路2C、フィルタ2Dおよび増幅器2Eの順に流し、座標情報送信手段23によって無線送信することが行われる。このような構成によれば、ハンドピース先端部21aの座標情報を患部102から離れた位置より送信することが可能となる。その結果、術者の肢体が患部102に取り付けたマーカを光学式センサから隠すことによる、従来の光学式センサを備えるナビゲーションシステムの問題を解決することができ、正確なインプラント埋植手術が可能となる。   In the coordinate transmitter 2 of the present embodiment having the above-described configuration, as shown in FIG. 2, the coordinate information of the handpiece tip 21a detected by the motion sensor 22 is converted into the integration circuit 2A, AC / DC 2B, and modulation circuit 2C. Then, the filter 2D and the amplifier 2E are flowed in this order, and the coordinate information transmitting means 23 performs wireless transmission. According to such a configuration, the coordinate information of the handpiece tip 21a can be transmitted from a position away from the affected area 102. As a result, it is possible to solve the problem of the navigation system provided with the conventional optical sensor by hiding the marker attached to the affected part 102 by the surgeon's limb from the optical sensor, and an accurate implant implantation operation is possible. Become.

なお、座標送信機2による座標情報の送信は、上述した無線送信に代えて、有線送信にすることもできる。また、各回路などには、図示しないバッテリーからの電流を電圧変換した電圧が供給されている。   Note that the transmission of coordinate information by the coordinate transmitter 2 may be wired transmission instead of the wireless transmission described above. In addition, each circuit is supplied with a voltage obtained by converting a current from a battery (not shown).

(座標受信機)
本実施形態の座標受信機3は、図1に示すように、座標情報受信手段31、演算手段32および通知手段33を有する。
(Coordinate receiver)
As shown in FIG. 1, the coordinate receiver 3 according to the present embodiment includes coordinate information reception means 31, calculation means 32, and notification means 33.

座標情報受信手段31は、上述した座標送信機2によって送信されたハンドピース先端部21aの座標情報を受信する手段である。本実施形態の座標情報受信手段31は、座標情報受信アンテナを有する。   The coordinate information receiving unit 31 is a unit that receives the coordinate information of the handpiece tip 21a transmitted by the coordinate transmitter 2 described above. The coordinate information receiving means 31 of this embodiment has a coordinate information receiving antenna.

演算手段32は、受信した座標情報に基づいてターゲット座標までの位置情報を演算し、かつ演算された位置情報に基づいてターゲット座標にハンドピース先端部21aを誘導する誘導情報を演算する手段である。   The calculating means 32 is means for calculating position information up to the target coordinates based on the received coordinate information, and calculating guidance information for guiding the handpiece tip 21a to the target coordinates based on the calculated position information. .

ここで、ターゲット座標とは、患者100の口腔101内に位置している患部102の座標のことを意味するものとする。すなわち、本実施形態のデンタルインプラント埋植手術では、まず、術前にコンピュータ断層撮影(CT)、核磁気共鳴画像法(MRI)等の画像診断装置を用いて患者100の口腔101内の画像データを得る。次に、この画像データに基づいてインプラント計画を作成し、患部102の座標を特定する。そして、特定した患部102の座標をターゲット座標として、術前に演算手段32に入力する。このような構成によれば、受信した座標情報をターゲット座標と比較できることから、受信した座標情報に基づいて上述した位置情報および誘導情報を演算することができる。   Here, the target coordinates mean the coordinates of the affected part 102 located in the oral cavity 101 of the patient 100. That is, in the dental implant implantation operation of the present embodiment, first, image data in the oral cavity 101 of the patient 100 using an image diagnostic apparatus such as computed tomography (CT), nuclear magnetic resonance imaging (MRI) or the like before the operation. Get. Next, an implant plan is created based on the image data, and the coordinates of the affected area 102 are specified. Then, the specified coordinates of the affected area 102 are input as target coordinates to the calculation means 32 before the operation. According to such a configuration, since the received coordinate information can be compared with the target coordinate, the above-described position information and guidance information can be calculated based on the received coordinate information.

本実施形態の演算手段32は、受信した座標情報に基づいて上述した位置情報および誘導情報を演算する演算手法を採用したコンピュータである。   The calculation means 32 of this embodiment is a computer that employs a calculation method that calculates the position information and the guidance information described above based on received coordinate information.

通知手段33は、上述した演算手段32によって演算された誘導情報を術者に通知する手段である。本実施形態の通知手段33は、誘導情報に基づく拡張現実(Augmented Reality:以下、「AR」と言うことがある。)画像を術者の眼前に表示するAR画像表示装置331を有する。このような構成によれば、従来の網膜投影型ヘッドマウントディスプレイ装置を用いたナビゲーションシステムのように術者の眼球の動きに追従する必要がなく、術者の眼前に表示された誘導情報に基づくAR画像を視覚によってリアルタイムで確認しつつハンドピース先端部21aをターゲット座標に誘導することができ、安全かつ正確にインプラント埋植手術を行うことが可能となる。   The notification means 33 is means for notifying the surgeon of the guidance information calculated by the calculation means 32 described above. The notification means 33 of the present embodiment includes an AR image display device 331 that displays an augmented reality (hereinafter, sometimes referred to as “AR”) image based on guidance information in front of the surgeon's eyes. According to such a configuration, it is not necessary to follow the movement of the eyeball of the surgeon unlike the navigation system using the conventional retinal projection type head mounted display device, and based on the guidance information displayed in front of the surgeon's eyes. The handpiece tip 21a can be guided to the target coordinates while visually confirming the AR image in real time, and the implant implantation operation can be performed safely and accurately.

本実施形態において、誘導情報に基づくAR画像は、演算手段32によって演算されるとともに、座標受信機3が有するAR画像送信手段34によって送信される。より具体的には、演算手段32によって演算されたAR画像は、AR画像送信手段34が有するAR画像送信アンテナによって無線送信される。なお、AR画像送信手段34によるAR画像の送信は、無線送信に代えて、有線送信にすることもできる。   In the present embodiment, the AR image based on the guidance information is calculated by the calculation means 32 and transmitted by the AR image transmission means 34 included in the coordinate receiver 3. More specifically, the AR image calculated by the calculation unit 32 is wirelessly transmitted by the AR image transmission antenna included in the AR image transmission unit 34. Note that the AR image transmission by the AR image transmission unit 34 may be wired transmission instead of wireless transmission.

送信されたAR画像を術者の眼前に表示する本実施形態のAR画像表示装置331は、いわゆるARシステム対応ヘッドマウントディスプレイであり、AR画像受信手段331a、AR画像表示ディスプレイ331bおよびヘッドバンド331cを有する。   The AR image display device 331 of the present embodiment that displays the transmitted AR image in front of the surgeon's eyes is a so-called AR system compatible head mounted display, and includes an AR image receiving means 331a, an AR image display display 331b, and a headband 331c. Have.

AR画像受信手段331aは、送信されたAR画像を受信する手段である。本実施形態のAR画像受信手段331aは、AR画像受信アンテナを有する。このような構成によれば、AR画像送信手段34によって送信されたAR画像を無線受信することができる。なお、AR画像受信手段331aによるAR画像の受信は、無線受信に代えて、有線受信にすることもできる。   The AR image receiving unit 331a is a unit that receives the transmitted AR image. The AR image receiving means 331a of this embodiment has an AR image receiving antenna. According to such a configuration, the AR image transmitted by the AR image transmission unit 34 can be wirelessly received. Note that AR image reception by the AR image receiving unit 331a may be wired reception instead of wireless reception.

本実施形態のAR画像受信手段331aは、バッテリーおよび電圧供給手段をさらに有する。バッテリーとしては、例えば二次電池等が挙げられる。電圧供給手段は、バッテリーからの電流を電圧変換してAR画像受信手段331aおよびAR画像表示ディスプレイ331bに電圧を供給する手段である。   The AR image receiving unit 331a of the present embodiment further includes a battery and a voltage supply unit. Examples of the battery include a secondary battery. The voltage supply means is means for converting the current from the battery into voltage and supplying the voltage to the AR image receiving means 331a and the AR image display display 331b.

AR画像表示ディスプレイ331bは、受信したAR画像を表示するディスプレイである。本実施形態のAR画像表示ディスプレイ331bは、AR画像受信手段331aに接続されており、AR画像を術者の眼前に表示可能に構成されている板状のディスプレイである。   The AR image display display 331b is a display that displays the received AR image. The AR image display 331b of the present embodiment is a plate-like display that is connected to the AR image receiving unit 331a and configured to display an AR image in front of the surgeon's eyes.

また、本実施形態のAR画像表示ディスプレイ331bは、光透過性を有する。このような構成によれば、AR画像表示ディスプレイ331bを介して術者がAR画像および術野の両者を見ることが可能となる。AR画像表示ディスプレイ331bを構成する材料としては、例えばプラスチック、ガラス等が挙げられるが、これらに限定されるものではない。   In addition, the AR image display 331b of the present embodiment has light transmittance. According to such a configuration, the surgeon can view both the AR image and the surgical field via the AR image display display 331b. Examples of the material constituting the AR image display 331b include, but are not limited to, plastic and glass.

本実施形態のAR画像表示ディスプレイ331bは、術者の両目に対応した長さを有する略矩形状に構成されている。このような構成によれば、術者の両目を保護しつつインプラント埋植手術を行うことができる。なお、AR画像表示ディスプレイ331bは、上述した略矩形状の構成に限定されるものではなく、少なくとも術者の片目に対応した形状に構成することもできる。   The AR image display 331b of the present embodiment is configured in a substantially rectangular shape having a length corresponding to both eyes of the surgeon. According to such a configuration, it is possible to perform an implant implantation operation while protecting both eyes of the operator. Note that the AR image display 331b is not limited to the substantially rectangular configuration described above, and may be configured to have a shape corresponding to at least one eye of the operator.

ヘッドバンド331cは、帯状の部材であり、その両端部がAR画像受信手段331aに接続されており、術者の頭部に装着可能に構成されている。このような構成によれば、ヘッドバンド331cを術者の頭部に装着することによって、AR画像表示装置331を術者の頭部に保持することができる。ヘッドバンド331cを構成する材料としては、例えばゴム、プラスチック、布等が挙げられるが、これらに限定されるものではない。   The headband 331c is a band-shaped member, and both ends thereof are connected to the AR image receiving means 331a, and are configured to be attached to the operator's head. According to such a configuration, the AR image display device 331 can be held on the surgeon's head by mounting the headband 331c on the surgeon's head. Examples of the material constituting the headband 331c include, but are not limited to, rubber, plastic, cloth, and the like.

一方、本実施形態の通知手段33は、誘導情報に基づく音を発音する発音装置332をさらに有する。このような構成によれば、ハンドピース先端部21aを音によってもターゲット座標にリアルタイムで誘導できることから、術者の視線移動を抑制することができ、より安全にインプラント埋植手術を行うことが可能となる。   On the other hand, the notification means 33 of this embodiment further includes a sounding device 332 that generates a sound based on the guidance information. According to such a configuration, since the handpiece tip 21a can be guided to the target coordinates in real time even by sound, it is possible to suppress the movement of the operator's line of sight and to perform the implant implantation operation more safely. It becomes.

本実施形態の発音装置332は、スピーカである。なお、発音装置332としては、スピーカに限定されるものではなく、例えばブザー等の他の発音装置を採用することができる。   The sound generation device 332 of the present embodiment is a speaker. The sounding device 332 is not limited to a speaker, and other sounding devices such as a buzzer can be employed.

また、本実施形態の通知手段33は、誘導情報に基づく情報を表示するモニター333をさらに有する。このような構成によれば、上述した誘導情報をAR画像表示装置331に加えてモニター333によってもリアルタイムで確認できることから、より正確なインプラント埋植手術が可能となる。   In addition, the notification unit 33 of the present embodiment further includes a monitor 333 that displays information based on the guidance information. According to such a configuration, since the guidance information described above can be confirmed in real time by the monitor 333 in addition to the AR image display device 331, a more accurate implant implantation operation can be performed.

本実施形態のモニター333は、上述したコンピュータが備えるものである。なお、モニター333としては、コンピュータが備えるものに限定されるものではなく、例えばプロジェクタ、LED等の他の機器が備えるものであってもよい。   The monitor 333 of this embodiment is provided in the above-described computer. Note that the monitor 333 is not limited to the one provided in the computer, and may be provided in another device such as a projector or an LED.

上述した構成を有する本実施形態の座標受信機3では、図3に示すように、座標情報受信手段31によって受信した座標情報を、増幅器3A、フィルタ3Bおよび復調回路3Cの順に流し、演算手段32によって位置情報および誘導情報の順に演算し、演算された誘導情報を通知手段33によって術者に通知することが行われる。なお、各回路などには、上述した座標送信機2と同様に、図示しないバッテリーからの電流を電圧変換した電圧が供給されている。   In the coordinate receiver 3 of the present embodiment having the above-described configuration, as shown in FIG. 3, the coordinate information received by the coordinate information receiving means 31 flows in the order of the amplifier 3A, the filter 3B, and the demodulation circuit 3C, and the calculation means 32 Thus, the position information and the guidance information are calculated in this order, and the calculated guidance information is notified to the operator by the notification means 33. Each circuit is supplied with a voltage obtained by voltage-converting a current from a battery (not shown) as in the coordinate transmitter 2 described above.

(原点リセットスイッチ)
原点リセットスイッチ4は、受信した座標情報を座標原点に基づいてリセットする部材である。座標原点とは、予め設定したナビゲーションシステム1の座標の基準となる点のことを意味するものとする。すなわち、本実施形態のナビゲーションシステム1は、予め設定した所定の座標原点と、この座標原点を基準とする座標系を有する。なお、本実施形態においては、ナビゲーションシステム1の座標原点および座標系のそれぞれを、座標原点(A)および座標系(A)とする。
(Origin reset switch)
The origin reset switch 4 is a member that resets received coordinate information based on the coordinate origin. The coordinate origin means a point serving as a reference for coordinates of the navigation system 1 set in advance. That is, the navigation system 1 of the present embodiment has a predetermined coordinate origin set in advance and a coordinate system based on the coordinate origin. In the present embodiment, the coordinate origin and the coordinate system of the navigation system 1 are the coordinate origin (A) and the coordinate system (A), respectively.

一方、患者100の口腔101内には、ナビゲーションシステム1の座標原点(A)および座標系(A)とは異なる別の座標原点(B)および座標系(B)が存在している。患者100の口腔101内に存在している座標原点(B)および座標系(B)は、上述したインプラント計画を作成する際に得た、患者100の口腔101内の画像データに基づいて特定することができる。   On the other hand, a coordinate origin (B) and a coordinate system (B) different from the coordinate origin (A) and the coordinate system (A) of the navigation system 1 exist in the oral cavity 101 of the patient 100. The coordinate origin (B) and coordinate system (B) existing in the oral cavity 101 of the patient 100 are specified based on the image data in the oral cavity 101 of the patient 100 obtained when creating the above-described implant plan. be able to.

そして、設定したナビゲーションシステム1の座標原点(A)と、患者100の口腔101内の座標原点(B)とを術前に演算手段32に入力し、座標原点(A),(B)の整合をとる。これにより、検出されるハンドピース先端部21aの座標情報と、口腔101内の座標系(B)との統一を図ることができる。   Then, the set coordinate origin (A) of the navigation system 1 and the coordinate origin (B) in the oral cavity 101 of the patient 100 are input to the calculation means 32 before the operation, and the coordinate origins (A) and (B) are matched. Take. Thereby, the coordinate information of the detected handpiece tip 21a and the coordinate system (B) in the oral cavity 101 can be unified.

本実施形態の座標原点(A)は、互いに直交するX軸方向、Y軸方向およびZ軸方向における3次元空間内から設定するため、少なくとも3点である。また、本実施形態の原点リセットスイッチ4は、図1に示すように、ケーブル41を介して上述した座標情報受信手段31に接続している。原点リセットスイッチ4は、術者が押し易い位置に配置するのが好ましい。   The coordinate origin (A) of this embodiment is at least three points because it is set from the three-dimensional space in the X-axis direction, the Y-axis direction, and the Z-axis direction that are orthogonal to each other. Further, the origin reset switch 4 of the present embodiment is connected to the coordinate information receiving means 31 described above via a cable 41 as shown in FIG. The origin reset switch 4 is preferably arranged at a position where the operator can easily press it.

上述した構成を有する本実施形態の原点リセットスイッチ4を押すと、次のような効果が得られる。例えば患者100が大きく動いた場合には、ナビゲーションシステム1の座標原点(A)が変化し、それに伴ってナビゲーションシステム1の座標系(A)も変化する。その結果、受信した座標情報の誤差が大きくなる。   When the origin reset switch 4 of the present embodiment having the above-described configuration is pressed, the following effects are obtained. For example, when the patient 100 moves greatly, the coordinate origin (A) of the navigation system 1 changes, and the coordinate system (A) of the navigation system 1 also changes accordingly. As a result, the error of the received coordinate information becomes large.

このような場合に原点リセットスイッチ4を押すと、その信号が座標情報受信手段31を介して演算手段32に送られる。そして、演算手段32において、受信した誤差の大きい座標情報が座標原点(A)に基づいてリセットされる。   When the origin reset switch 4 is pressed in such a case, the signal is sent to the computing means 32 via the coordinate information receiving means 31. Then, in the calculation means 32, the received coordinate information having a large error is reset based on the coordinate origin (A).

すなわち、受信した座標情報には、変化した座標原点(A)が含まれている。原点リセットスイッチ4を押すと、演算手段32において、受信した座標情報に含まれている変化した座標原点(A)を、当初の座標原点(A)に戻すことが行われる。その結果、再度、検出されるハンドピース先端部21aの座標情報と、口腔101内の座標系(B)との統一を図ることができ、リセット後に受信する座標情報の精度を向上させることが可能となる。なお、リセット時には、座標情報がリセットされたことを上述したAR画像表示装置331およびモニター333によって確認してもよい。   That is, the received coordinate information includes the changed coordinate origin (A). When the origin reset switch 4 is pressed, the calculation means 32 returns the changed coordinate origin (A) included in the received coordinate information to the original coordinate origin (A). As a result, the coordinate information of the detected handpiece tip 21a and the coordinate system (B) in the oral cavity 101 can be unified again, and the accuracy of the coordinate information received after resetting can be improved. It becomes. At the time of resetting, the above-described AR image display device 331 and monitor 333 may confirm that the coordinate information has been reset.

次に、上述した本実施形態のナビゲーションシステム1の動作について説明する。
図4に示すように、まず、ステップS1において、上述したターゲット座標を演算手段32に入力する。本実施形態において、ターゲット座標の入力は、演算手段32であるコンピュータが有するキーボードを介して行う。
Next, the operation of the navigation system 1 of the present embodiment described above will be described.
As shown in FIG. 4, first, in step S <b> 1, the target coordinates described above are input to the calculation means 32. In the present embodiment, the input of the target coordinates is performed via a keyboard of a computer that is the computing means 32.

次に、ステップS2において、上述したナビゲーションシステム1の座標原点(A)を設定する。設定した座標原点(A)は、演算手段32に入力して患者100の口腔101内の座標原点(B)と整合をとり、検出されるハンドピース先端部21aの座標情報と、口腔101内の座標系(B)との統一を図る。   Next, in step S2, the coordinate origin (A) of the navigation system 1 described above is set. The set coordinate origin (A) is input to the calculation means 32 to be matched with the coordinate origin (B) in the oral cavity 101 of the patient 100, and the detected coordinate information of the handpiece tip 21a and Unify with coordinate system (B).

次に、ステップS3において、上述したハンドピース先端部21aの座標情報を検出するとともに、ステップS4において、検出した座標情報とターゲット座標とを比較し、両者の位置情報が一致しているか否かを演算手段32によって演算する。   Next, in step S3, the coordinate information of the handpiece tip 21a described above is detected, and in step S4, the detected coordinate information is compared with the target coordinates, and whether or not the positional information of both coincides. Calculation is performed by the calculation means 32.

そして、両者の位置情報が一致している場合には、ステップS5において、両者の位置情報が一致したことを通知手段33によって術者に表示および通知することが行われる。このとき、ハンドピース先端部21aがターゲット座標に近づくにつれて所定の音が鳴るようにしてもよい。   If both pieces of position information match, the notification means 33 displays and notifies the surgeon that both pieces of position information match in step S5. At this time, a predetermined sound may be emitted as the handpiece tip 21a approaches the target coordinates.

一方、両者の位置情報が一致していない場合には、上述したステップS3の前に戻り、両者の位置情報が一致するまでステップS3およびステップS4を繰り返すことが行われる。このとき、両者の位置情報が一致していないことを知らせる所定のアラーム音が鳴るようにしてもよい。   On the other hand, if the position information of both does not match, the process returns to before step S3 described above, and steps S3 and S4 are repeated until the position information of both matches. At this time, a predetermined alarm sound may be generated to inform that the positional information of the two does not match.

以上、本発明に係る好ましい実施形態について例示したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない限り任意のものとすることができることは言うまでもない。   As mentioned above, although preferred embodiment which concerns on this invention was illustrated, this invention is not limited to embodiment mentioned above, It cannot be overemphasized that it can be made arbitrary, unless it deviates from the summary of this invention.

例えば、上述の実施形態において、演算手段32が、デンタルインプラント埋植手術の手技データベースを有し、かつ受信した座標情報とともに手技データベースに格納されている手技データに基づいてターゲット座標までの位置情報を演算するようにしてもよい。このような構成によれば、受信した座標情報を手技データと比較できることから、演算されるターゲット座標までの位置情報の精度を向上させることができる。なお、デンタルインプラント埋植手術の手技データベースとは、デンタルインプラント埋植手術における多数の手技データを格納したものであって、演算手段32により検索およびデータの抽出が可能なものを意味するものとする。手技データとしては、特定の術者によるもの等が挙げられる。   For example, in the above-described embodiment, the calculation means 32 has a procedure database for dental implant implantation surgery, and obtains position information up to the target coordinates based on the procedure data stored in the procedure database together with the received coordinate information. You may make it calculate. According to such a configuration, since the received coordinate information can be compared with the procedure data, the accuracy of the position information up to the calculated target coordinates can be improved. It should be noted that the procedure database for dental implant implantation is a database that stores a lot of procedure data in dental implant implantation and can be searched and extracted by the calculation means 32. . The procedure data includes data by a specific operator.

また、上述の実施形態では、ナビゲーションシステム1をデンタルインプラント埋植手術用としたが、これに代えて、ナビゲーションシステム1を、例えば脳神経外科、整形外科、耳鼻咽喉科等の他の外科手術用に適用することができる。   In the above embodiment, the navigation system 1 is used for dental implant implantation. Instead, the navigation system 1 is used for other surgical operations such as neurosurgery, orthopedic surgery, otolaryngology, and the like. Can be applied.

また、上述の実施形態では、AR画像表示装置331をARシステム対応ヘッドマウントディスプレイで構成しているが、AR画像表示装置331の構成は、誘導情報に基づくAR画像を術者の眼前に表示できる限り、上述した構成に限定されるものではなく、例えばARシステム対応眼鏡等の他の構成を採用することができる。   In the above-described embodiment, the AR image display device 331 is configured by an AR system compatible head mounted display. However, the configuration of the AR image display device 331 can display an AR image based on the guidance information in front of the surgeon's eyes. As long as it is not limited to the above-described configuration, other configurations such as AR system-compatible glasses can be employed.

また、上述の実施形態のナビゲーションシステム1は、例えば非特許文献1に記載されているような光学式センサを備える他の外科手術用ナビゲーションシステムと併用することができる。このような構成によれば、術者の肢体が患部102に取り付けたマーカを光学式センサから隠したときでも、座標送信機2から送信される座標情報によってハンドピース先端部21aをターゲット座標に誘導することができる。   In addition, the navigation system 1 of the above-described embodiment can be used in combination with another surgical navigation system including an optical sensor as described in Non-Patent Document 1, for example. According to such a configuration, even when the operator's limbs hide the marker attached to the affected part 102 from the optical sensor, the handpiece tip 21a is guided to the target coordinates by the coordinate information transmitted from the coordinate transmitter 2. can do.

1 外科手術用ナビゲーションシステム
2 座標送信機
21 ハンドピース
22 モーションセンサ
23 座標情報送信手段
21a ハンドピース先端部
21b ハンドピース後端部
24 インプランター
241 ケーブル
2A 積分回路
2B AC/DC
2C 変調回路
2D フィルタ
2E 増幅器
3 座標受信機
31 座標情報受信手段
32 演算手段
33 通知手段
331 拡張現実(AR)画像表示装置
331a 拡張現実(AR)画像受信手段
331b 拡張現実(AR)画像表示ディスプレイ
331c ヘッドバンド
332 発音装置
333 モニター
34 拡張現実(AR)画像送信手段
3A 増幅器
3B フィルタ
3C 復調回路
4 原点リセットスイッチ
41 ケーブル
100 患者
101 口腔
102 患部
DESCRIPTION OF SYMBOLS 1 Surgical navigation system 2 Coordinate transmitter 21 Handpiece 22 Motion sensor 23 Coordinate information transmission means 21a Handpiece front end 21b Handpiece rear end 24 Implanter 241 Cable 2A Integration circuit 2B AC / DC
2C modulation circuit 2D filter 2E amplifier 3 coordinate receiver 31 coordinate information receiving means 32 computing means 33 notification means 331 augmented reality (AR) image display device 331a augmented reality (AR) image receiving means 331b augmented reality (AR) image display display 331c Headband 332 Sound generating device 333 Monitor 34 Augmented reality (AR) image transmission means 3A Amplifier 3B Filter 3C Demodulator 4 Origin reset switch 41 Cable 100 Patient 101 Oral cavity 102 Affected part

Claims (5)

ハンドピースと、
前記ハンドピースに取り付けられ前記ハンドピース先端部の座標情報を検出するモーションセンサと、
検出された前記座標情報を送信する座標情報送信手段と、を有する座標送信機と、
送信された前記座標情報を受信する座標情報受信手段と、
受信した前記座標情報に基づいてターゲット座標までの位置情報を演算し、かつ演算された前記位置情報に基づいて前記ターゲット座標に前記ハンドピース先端部を誘導する誘導情報を演算する演算手段と、
演算された前記誘導情報を術者に通知する通知手段と、を有する座標受信機と、
前記受信した座標情報を座標原点に基づいてリセットする原点リセットスイッチと、を備え、
前記通知手段が、前記誘導情報に基づく拡張現実画像を術者の眼前に表示する拡張現実画像表示装置を有する、外科手術用ナビゲーションシステム。
With handpieces,
A motion sensor that is attached to the handpiece and detects coordinate information of the tip of the handpiece;
A coordinate information transmission means for transmitting the detected coordinate information, and a coordinate transmitter,
Coordinate information receiving means for receiving the transmitted coordinate information;
Calculation means for calculating position information up to the target coordinates based on the received coordinate information, and calculating guidance information for guiding the handpiece tip to the target coordinates based on the calculated position information;
A notification means for notifying the surgeon of the calculated guidance information, a coordinate receiver,
An origin reset switch that resets the received coordinate information based on the coordinate origin,
A surgical navigation system, wherein the notification means includes an augmented reality image display device that displays an augmented reality image based on the guidance information in front of the surgeon's eyes.
前記通知手段が、前記誘導情報に基づく音を発音する発音装置をさらに有する、請求項1に記載の外科手術用ナビゲーションシステム。   The surgical navigation system according to claim 1, wherein the notification unit further includes a sound generation device that generates a sound based on the guidance information. デンタルインプラント埋植手術用である、請求項1または2に記載の外科手術用ナビゲーションシステム。   The surgical navigation system according to claim 1 or 2, wherein the surgical navigation system is for dental implant implantation. 前記演算手段が、デンタルインプラント埋植手術の手技データベースを有し、かつ前記受信した座標情報とともに前記手技データベースに格納されている手技データに基づいて前記ターゲット座標までの位置情報を演算する、請求項3に記載の外科手術用ナビゲーションシステム。   The calculation means has a procedure database for dental implant implantation and calculates position information up to the target coordinate based on procedure data stored in the procedure database together with the received coordinate information. 4. The surgical navigation system according to 3. 光学式センサを備える他の外科手術用ナビゲーションシステムと併用する、請求項1〜4のいずれかに記載の外科手術用ナビゲーションシステム。   The surgical navigation system according to any one of claims 1 to 4, which is used in combination with another surgical navigation system including an optical sensor.
JP2013241630A 2013-11-22 2013-11-22 Navigation system for surgical operation Pending JP2015100437A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013241630A JP2015100437A (en) 2013-11-22 2013-11-22 Navigation system for surgical operation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013241630A JP2015100437A (en) 2013-11-22 2013-11-22 Navigation system for surgical operation

Publications (1)

Publication Number Publication Date
JP2015100437A true JP2015100437A (en) 2015-06-04

Family

ID=53376696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013241630A Pending JP2015100437A (en) 2013-11-22 2013-11-22 Navigation system for surgical operation

Country Status (1)

Country Link
JP (1) JP2015100437A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107864A1 (en) * 2017-11-28 2019-06-06 (주)마이크로엔엑스 Device for performing three-dimensional spatial angle correction and drilling depth measurement for dental handpiece drill by using single sensor
WO2020075796A1 (en) * 2018-10-11 2020-04-16 クラレノリタケデンタル株式会社 Dental treatment assistance device, dental treatment assistance system, dental treatment assistance method, dental treatment assistance program, and dental product sales promotion device
CN117115401A (en) * 2023-10-16 2023-11-24 深圳卡尔文科技有限公司 AR navigation data processing method, system and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11197159A (en) * 1998-01-13 1999-07-27 Hitachi Ltd Operation supporting system
US20040243148A1 (en) * 2003-04-08 2004-12-02 Wasielewski Ray C. Use of micro- and miniature position sensing devices for use in TKA and THA
JP2005500096A (en) * 2001-06-13 2005-01-06 ヴォリューム・インタラクションズ・プライヴェート・リミテッド Guide system
JP2010259497A (en) * 2009-04-30 2010-11-18 Osaka Univ Surgery navigation system using retina projection type head-mounted display device and method of superimposing simulation images
JP2011067415A (en) * 2009-09-25 2011-04-07 Univ Of Tsukuba Surgery supporting apparatus
US20130122463A1 (en) * 2011-11-15 2013-05-16 Raphael Yitz CSILLAG Method and system for facilitating the placement of a dental implant

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11197159A (en) * 1998-01-13 1999-07-27 Hitachi Ltd Operation supporting system
JP2005500096A (en) * 2001-06-13 2005-01-06 ヴォリューム・インタラクションズ・プライヴェート・リミテッド Guide system
US20040243148A1 (en) * 2003-04-08 2004-12-02 Wasielewski Ray C. Use of micro- and miniature position sensing devices for use in TKA and THA
JP2010259497A (en) * 2009-04-30 2010-11-18 Osaka Univ Surgery navigation system using retina projection type head-mounted display device and method of superimposing simulation images
JP2011067415A (en) * 2009-09-25 2011-04-07 Univ Of Tsukuba Surgery supporting apparatus
US20130122463A1 (en) * 2011-11-15 2013-05-16 Raphael Yitz CSILLAG Method and system for facilitating the placement of a dental implant

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107864A1 (en) * 2017-11-28 2019-06-06 (주)마이크로엔엑스 Device for performing three-dimensional spatial angle correction and drilling depth measurement for dental handpiece drill by using single sensor
WO2020075796A1 (en) * 2018-10-11 2020-04-16 クラレノリタケデンタル株式会社 Dental treatment assistance device, dental treatment assistance system, dental treatment assistance method, dental treatment assistance program, and dental product sales promotion device
JPWO2020075796A1 (en) * 2018-10-11 2021-11-18 クラレノリタケデンタル株式会社 Dental treatment support device, dental treatment support system, dental treatment support method, dental treatment support program and dental product sales promotion device
CN117115401A (en) * 2023-10-16 2023-11-24 深圳卡尔文科技有限公司 AR navigation data processing method, system and storage medium
CN117115401B (en) * 2023-10-16 2024-02-06 深圳卡尔文科技有限公司 AR navigation data processing method, system and storage medium

Similar Documents

Publication Publication Date Title
JP6751456B2 (en) Augmented reality navigation system for use in a robotic surgical system and method of use thereof
CN109394252B (en) Method for operating a medical imaging device and medical imaging device
US7885701B2 (en) Registration pointer and method for registering a bone of a patient to a computer assisted orthopaedic surgery system
CN107454834B (en) System and method for placing a medical device in a bone
US20140343395A1 (en) System and method for providing magnetic based navigation system in dental implant surgery
WO2019141704A1 (en) An augmented reality surgical guidance system
US20210378757A1 (en) Augmented Reality with Medical Imaging
JP2012075507A (en) Surgical camera
CN111212609A (en) System and method for using augmented reality with shape alignment for placement of medical devices in bone
US20210121238A1 (en) Visualization system and method for ent procedures
US20170231718A1 (en) System and Method for Guiding Medical Instruments
JP2016158911A (en) Surgical operation method using image display device, and device using in surgical operation
WO2019037605A1 (en) Ar glasses and tracking system therefor
US10441360B2 (en) System for precision guidance of surgical procedures on a patient
JP2015100437A (en) Navigation system for surgical operation
EP3142588B1 (en) Method for determining the spatial position of objects
KR20210029322A (en) Robot positioning guide apparautus, method therof and system comprising the same
JP2012075508A (en) Surgical camera
US10675097B2 (en) Handheld surgical tool with autonomous navigation
US20240164844A1 (en) Bone landmarks extraction by bone surface palpation using ball tip stylus for computer assisted surgery navigation
US20230165640A1 (en) Extended reality systems with three-dimensional visualizations of medical image scan slices
US20230083605A1 (en) Extended reality systems for visualizing and controlling operating room equipment
JP2015043920A (en) Imaging support device, imaging system, and program
JP2014061220A (en) Surgical navigation system
JP2019072479A (en) Debrider warning system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161024

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170630

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180109