JP2013236749A - 歯科インプラント手術支援装置 - Google Patents

歯科インプラント手術支援装置 Download PDF

Info

Publication number
JP2013236749A
JP2013236749A JP2012111647A JP2012111647A JP2013236749A JP 2013236749 A JP2013236749 A JP 2013236749A JP 2012111647 A JP2012111647 A JP 2012111647A JP 2012111647 A JP2012111647 A JP 2012111647A JP 2013236749 A JP2013236749 A JP 2013236749A
Authority
JP
Japan
Prior art keywords
image
dimensional
visible image
dental implant
surgical tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012111647A
Other languages
English (en)
Inventor
Tatsuya Ikegami
達也 池上
Toshihiko Koyama
俊彦 小山
Hideki Okuda
英樹 奥田
Tadao Ooka
忠雄 大岡
Makoto Hashizume
誠 橋爪
Riichi Ouchida
理一 大内田
Kazutaka Toyoda
和孝 豊田
Byunghyun Cho
ビョンヒョン チョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu University NUC
Denso Corp
Original Assignee
Kyushu University NUC
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu University NUC, Denso Corp filed Critical Kyushu University NUC
Priority to JP2012111647A priority Critical patent/JP2013236749A/ja
Priority to GB1308689.7A priority patent/GB2504179A/en
Priority to US13/893,437 priority patent/US20130316298A1/en
Priority to CN2013101791960A priority patent/CN103445875A/zh
Publication of JP2013236749A publication Critical patent/JP2013236749A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C8/00Means to be fixed to the jaw-bone for consolidating natural teeth or for fixing dental prostheses thereon; Dental implants; Implanting tools
    • A61C8/0089Implanting tools or instruments
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/506Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/08Machine parts specially adapted for dentistry
    • A61C1/082Positioning or guiding, e.g. of drills
    • A61C1/084Positioning or guiding, e.g. of drills of implanting tools
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00Dental prostheses; Making same
    • A61C13/0003Making bridge-work, inlays, implants or the like
    • A61C13/0004Computer-assisted sizing or machining of dental prostheses

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Urology & Nephrology (AREA)
  • Data Mining & Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Prosthetics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

【課題】埋設位置の設定と、手術ツールの位置制御との両方を行うことができる歯科インプラント手術支援装置を提供する。
【解決手段】顎部のCT画像を取得し3次元CT画像を作成する3次元CT画像作成手段3と、3次元CT画像において、基準部位、及びインプラントを埋設する埋設位置を設定する第1の設定手段7と、口腔内の可視画像を取得する可視画像取得手段11と、複数の前記可視画像を用いて口腔内の3次元可視画像を作成する3次元可視画像作成手段21と、3次元可視画像において基準部位の形状を認識し、3次元可視画像における基準部位の位置を設定する第2の設定手段21と、3次元CT画像における基準部位と埋設位置との位置関係、及び3次元可視画像における基準部位の位置に基づき、手術ツール113の位置を、埋設位置に対応する位置に制御する制御手段15、21とを備える。
【選択図】図1

Description

本発明は、歯科インプラント手術支援装置に関する。
歯科インプラントは、差し歯を維持するため、または補綴物を支持するために顎の中に埋め込まれる人工歯根である。歯科インプラントの寸法、方向、形状等のパラメータは、患者ごとに、また、歯科インプラントを埋め込む場所の状態に応じて決定する必要がある。これらのパラメータを、コンピュータを用いたシミュレータ上で決定する方法が提案されている(特許文献1参照)。
また、歯科インプラントを埋め込む際には、患者の口腔内において、正確な位置決めが必要となる。そのために、ガイド部材で患者の頭部の位置を固定し、そのガイド部材と連動した手術デバイスを用いて所定の位置に歯科インプラントを埋め込む方法が提案されている(特許文献2参照)。
特表2009−501036号公報 US2009/0253095 A1
しかしながら、従来の装置では、適切な埋設位置の設定と、手術ツールの位置制御との両方を行うことはできなかった。本発明は以上の点に鑑みなされたものであり、上記の課題を解決できる歯科インプラント手術支援装置を提供することを目的とする。
本発明の歯科インプラント手術支援装置は、CT画像取得手段と、3次元CT画像作成手段とにより、3次元CT画像を作成する。また、本発明の歯科インプラント手術支援装置は、第1の設定手段により、3次元CT画像において、基準部位、及びインプラントを埋設する埋設位置を設定する。また、本発明の歯科インプラント手術支援装置は、可視画像取得手段と、3次元可視画像作成手段とにより、口腔内の3次元可視画像を作成する。
また、本発明の歯科インプラント手術支援装置は、第2の設定手段により、3次元可視画像において基準部位の形状を認識し、3次元可視画像における基準部位の位置を設定する。また、本発明の歯科インプラント手術支援装置は、制御手段により、3次元CT画像における基準部位と埋設位置との位置関係、及び3次元可視画像における基準部位の位置に基づき、手術ツールの位置を、埋設位置に対応する位置に制御する。
本発明の歯科インプラント手術支援装置によれば、3次元CT画像に基づいて適切な埋設位置を設定し、さらに、手術ツールの位置を、その埋設位置に制御することができる。
歯科インプラント手術支援装置1の構成を表すブロック図である。 歯科インプラント手術支援装置1が実行する処理を表すフローチャートである。 歯科インプラント手術支援装置1が実行する処理を表すフローチャートである。 歯科インプラント手術支援装置1が実行する処理を表すフローチャートである。 3次元CT画像を表す説明図である。 インプラント201、作業禁止領域203、及び基準部位205を重ね合わせた3次元CT画像を表す説明図である。 3次元可視画像を表す説明図である。 インプラント201、作業禁止領域203、及び基準部位205を重ね合わせた3次元可視画像を表す説明図である。 3次元計測装置107、ロボット111、及び手術ツール113の構成を表す斜視図である。 図10Aは、下顎の移動前における基準部位205及び手術ツール113の位置207を表す説明図であり、図10Bは、下顎の移動後における基準部位205及び手術ツール113の位置207を表す説明図である。
本発明の実施形態を図面に基づき説明する。
1.歯科インプラント手術支援装置1の構成
歯科インプラント手術支援装置1の構成を図1及び図9に基づいて説明する。歯科インプラント手術支援装置1は、画像構成部3、入力演算部5、解析部7、メモリ9、画像取込部11、座標取込部13、座標出力部15、制御パラメータ出力部17、センサ入力部19、及び演算部21を備える。歯科インプラント手術支援装置1の各構成は、後述する処理を実行する。歯科インプラント手術支援装置1の各構成は、周知のコンピュータに、プログラムをインストールすることにより実現される。そのプログラムは、メモリ9に記憶されている。なお、そのプログラムは、周知の各種記憶媒体に記憶することができる。
歯科インプラント手術支援装置1は、CT撮像部101、入力装置103、表示部105、3次元計測装置107、照明109、ロボット111、及び手術ツール113とともに、歯科インプラント手術支援システム100を構成する。
CT撮像部101は、人の顎部のCT画像(例えば水平断面でのCT画像)を撮像可能な公知の装置である。歯科インプラント手術支援装置1の画像構成部3(CT画像取得手段)は、CT撮像部101が撮像したCT画像を取得する。
入力装置103は、ユーザが入力を行うことができるキーボード、マウス、タッチパネル、各種スイッチ等の公知の入力手段である。歯科インプラント手術支援装置1の入力演算部5は、入力装置103の入力結果を取得する。
表示部105は、液晶ディスプレイ、有機ELディスプレイ、ブラウン管ディスプレイ等の公知の画像表示装置である。表示部105は、歯科インプラント手術支援装置1が出力した画像信号に基づき画像を表示する。
3次元計測装置107は、患者の口腔内の可視画像を撮像可能なカメラである。照明109は、患者の口腔内を照らす公知のライトである。3次元計測装置107は、図9に示すように、ロボット111の先端に手術ツール113とともに取り付けられており、3次元計測装置107と手術ツール113の相対的な位置関係は常に一定である。
ロボット111は、図9に示すように、多関節のアームを備え、そのアームの先端に取り付けられた3次元計測装置107及び手術ツール113を3次元空間において自在に移動させることができる公知のロボットである。ロボット111は、3次元の座標系に基づいて動きを制御されており、歯科インプラント手術支援装置1の座標出力部15から、特定の座標が入力されると、3次元計測装置107及び手術ツール113をその特定の座標に対応する位置に移動させる。また、ロボット111は、その時点における手術ツール113の座標を歯科インプラント手術支援装置1の座標取込部13に出力する。
手術ツール113はドリルである。手術ツール113には、歯科インプラント手術支援装置1の制御パラメータ出力部17から、回転数を指示する信号が送られる。手術ツール113は、その信号に対応する回転数でドリルを回転させる。また、手術ツール113は、その時点でのドリルの回転数及びドリルに加わっているトルクを、歯科インプラント手術支援装置1のセンサ入力部19に出力する。
2.歯科インプラント手術支援装置1が実行する処理
歯科インプラント手術支援装置1が実行する処理を図2〜図4に基づいて説明する。
図2のステップ1では、CT撮像部101が撮像した、患者における顎部のCT画像を画像構成部3が取得する。このCT画像は、水平断面での画像である。また、本ステップ1では、撮像面の位置(高さ)が少しずつ異なる複数のCT画像を取得する。なお、CT撮像部101は、歯科インプラント手術支援装置1が制御することができる。
ステップ2では、画像構成部(3次元CT画像作成手段)3が、前記ステップ1で取得した複数のCT画像を用い、周知の画像処理技術により、3次元CT画像を作成する。この3次元CT画像とは、患者の顎部が立体的に表現された画像である。3次元CT画像は、例えば、図5に示すものである。
ステップ3では、画像構成部3が、前記ステップ2で作成した3次元CT画像において、歯、及び歯根を画像認識の技術により、一つ一つ分離して特定する。
ステップ4では、画像構成部3が、3次元CT画像を表示部105に表示する。
ステップ5では、ユーザが入力装置103を用いて入力した、インプラントを埋設する埋設位置を入力演算部5が取得する。なお、埋設位置は、3次元CT画像に基づき、歯科インプラント手術支援装置1が自動的に決定してもよい。
ステップ6では、解析部7が、3次元CT画像において、埋設位置の近傍の情報(エリア情報)を計算し、メモリ9に記憶する。エリア情報としては、埋設位置近傍の歯の隙間の大きさ、骨の形状、骨に該当する部分の輝度等がある。
ステップ7では、解析部(第1の設定手段)7が、3次元CT画像において、埋設位置と、3箇所の基準部位とを設定する。埋設位置は、前記ステップ5で取得した位置である。基準部位としては、特徴的な形状を有する歯とすることができる。そして、埋設位置と、基準部位の形状と、3次元CT画像における基準部位の位置を表す座標(以下、3次元CT画像の座標とする)とを、メモリ9に記憶する。なお、基準部位数は3には限定されず、他の複数(例えば2、4、5・・・)であってもよい。
ステップ8では、解析部7が、3次元CT画像において、作業禁止領域を抽出する。作業禁止領域とは、神経や血管が存在する領域である。解析部7は、神経や血管が有する特有の形状や輝度を手がかりとして、画像認識の技術により、作業禁止領域を抽出することができる。
ステップ9では、解析部7が、埋め込むインプラントの径、穿孔開始位置、埋め込み方向、埋め込み深さ、及びツール加工領域を算出する。これらのパラメータは、前記ステップ6で記憶したエリア情報、及び前記ステップ8で抽出した作業禁止領域の記憶に基づき、インプラントが隣接する歯に干渉せず、また、インプラントの先端が作業禁止領域に達することがないように、所定のプログラムにより算出される。
ステップ10では、解析部7が、前記ステップ9で算出したパラメータに適したインプラントを選出する。メモリ9には、予め、種々の形状、サイズを有するインプラントのライブラリが記憶されており、解析部7は、前記ステップ9で算出したパラメータに適したインプラントをそのライブラリから選出することができる。
ステップ11では、解析部7が、3次元CT画像に、前記ステップ10で選択したインプラントの形状と、前記ステップ8で抽出した作業禁止領域と、基準部位とを重ね合わせ、その重ね合わせた画像を表示部105に表示する。このとき、表示するインプラントの位置は、前記ステップ7で設定した埋設位置とする。また、表示するインプラントの埋め込み方向、埋め込み深さは、前記ステップ9で算出したものとする。また、表示する基準部位は、前記ステップ7で設定したものとする。本ステップで表示する画像は、例えば、図6に示すものである。この画像には、インプラント201(インプラントの形状)、作業禁止領域203、及び基準部位205が表示されている。
ステップ12では、前記ステップ10で選出したインプラントの形状、前記ステップ9で算出した埋め込み方向、埋め込み深さ、及び前記ステップ8で抽出した作業禁止領域を、解析部7がメモリ9に記憶する。
ステップ13では、入力演算部5が、マッチング開始情報の入力があったか否かを判断する。マッチング開始情報とは、ユーザが入力装置103を用いて入力する所定の信号である。マッチング開始情報の入力があった場合はステップ14に進み、マッチング開始情報の入力がなかった場合はステップ13の前に戻る。
ステップ14では、3次元計測装置107が撮影した、患者の口腔内の可視画像を画像取込部(可視画像取得手段)11が取得する。撮影するとき、口腔内は、照明109により照らされる。3次元計測装置107及び照明109の制御は、歯科インプラント手術支援装置1が行うことができる。可視画像は、撮影する位置及び角度を変えながら複数撮影される。
ステップ15では、演算部(3次元可視画像作成手段)21が、前記ステップ14で取得した複数の可視画像を用い、周知の画像処理技術により、3次元可視画像を作成する。この3次元可視画像とは、患者の口腔内が立体的に表現された画像である。3次元可視画像は、例えば、図7に示すものである。
ステップ16では、演算部(第2の設定手段)21が、前記ステップ15で作成した3次元可視画像において、画像認識の技術により、前記ステップ7で記憶した3箇所の基準部位の形状をそれぞれ探索し、認識する。そして、演算部21が、3次元可視画像における3箇所の基準部位の位置を設定する。
ステップ17では、演算部(制御手段の一部)21が、3箇所の基準部位が一致するように、3次元CT画像と3次元可視画像とを重ね合わせ、3箇所の基準部位の一つを原点として、3次元可視画像における座標系を設定する。この3次元可視画像の座標系において、埋設位置は、特定の座標により表される。この特定の座標とは、3次元可視画像における基準部位と埋設位置との位置関係が、3次元CT画像における基準部位と埋設位置との位置関係と同じとなる位置である。
ステップ18では、ロボット111の座標系と、前記ステップ17で設定した座標系とのキャリブレーションを行う。具体的には、以下のようにする。まず、手術ツール113の先端を、患者の口腔内における3箇所の基準部位のうちの1つの真上に移動する。この移動は、ユーザが手動で行ってもよいし、ロボット111が自動で(3次元計測装置107で撮像した画像において基準部位を探し、そこに手術ツール113を移動させる方法)で行ってもよい。手術ツール113の先端が基準部位のうちの1つの真上にある状態で、座標取込部13がロボット111の座標系における座標を取り込み、演算部21が、その座標を原点に設定する。原点の座標は、座標出力部15により、ロボット111に出力される。
次に、手術ツール113の先端を、3箇所の基準部位のうちの2番目のものの真上に移動させ、座標取込部13が、そのときのロボット111の座標系における座標を取り込み、演算部21が、その取り込んだ座標を、2番目の基準部位に対応する座標(前記ステップ17で設定した座標系において、2番目の基準部位の座標)に設定する。そして、その座標を座標出力部15がロボット111に出力する。
次に、手術ツール113の先端を、3箇所の基準部位のうちの3番目のものの真上に移動させ、座標取込部13が、そのときのロボット111の座標系における座標を取り込み、演算部21が、その取り込んだ座標を、3番目の基準部位に対応する座標(前記ステップ17で設定した座標系において、3番目の基準部位の座標)に設定する。そして、その座標を座標出力部15がロボット111に出力する。最後に、演算部21が、ロボット111の座標系において、3つの基準部位の座標が前記のとおりとなるように、ロボット111の座標系を変換する。
以上の工程により、キャリブレーションが終了し、ロボット111の座標系が、前記ステップ17で設定した、3次元可視画像における座標系と一致する。
ステップ19では、演算部21が、3次元可視画像に、前記ステップ10で選択したインプラントの形状と、前記ステップ8で抽出した作業禁止領域と、基準部位とを重ね合わせ、その重ね合わせた画像を表示部105に表示する。このとき、表示するインプラントの埋め込み方向、埋め込み深さは、前記ステップ9で算出したものとする。本ステップで表示する画像は例えば、図8に示すものである。この画像には、インプラント201(インプラントの形状)、作業禁止領域203、及び基準部位205が表示されている。
ステップ20では、前記ステップ10で選出したインプラントの形状、前記ステップ9で算出した埋め込み方向、埋め込み深さ、及び前記ステップ8で抽出した作業禁止領域を、演算部21がメモリ9に記憶する。
ステップ21では、前記ステップ14、15と同様にして、3次元可視画像を作成する。すなわち、歯科インプラント手術支援装置1は、本ステップ21の処理を行うごとに、3次元可視画像を随時更新する。
ステップ22では、演算部(経時変化検出手段)21が、直前の前記ステップ21で取得した3次元可視画像において基準部位を認識する。そして、前記ステップ17で取得した基準部位の位置から、本ステップで認識した基準部位の位置への変化量を算出する。すなわち、歯科インプラント手術支援装置1は、3次元可視画像における基準部位の経時的な位置変化を検出する。なお、この基準部位の経時的な位置変化は、例えば、患者の体動等により生じる。
ステップ23では、演算部(補正手段)21が、手術ツール113の位置(インプラントの埋設位置)を、前記ステップ22で算出した変化量に基づき補正する。例えば、前記ステップ17で取得した埋設位置の、3次元可視画像の座標系における座標が(x、y、z)であり、前記ステップ22で取得した変化量が(Δx、Δy、Δz)である場合、埋設位置を、(x+Δx、y+Δy、z+Δz)に補正する。
ステップ24では、演算部(動作条件設定手段)21が、前記ステップ21で作成した3次元可視画像において、前記ステップ23で補正した埋設位置における輝度を読み出す。なお、この輝度は、埋設位置における骨の固さと相関関係を有し、輝度が高いほど、骨が硬い。
ステップ25では、演算部21が、前記ステップ24で読み出した輝度に応じて手術ツール113の送り速度、及び回転速度(手術ツールの動作条件)を算出する。ここで、送り速度とは、骨に向ってドリルを送り出す速さであり、回転速度とはドリルの回転数である。歯科インプラント手術支援装置1は、メモリ9に、輝度を入力すると送り速度及び回転速度を出力するマップを備えており、演算部21は、そのマップを用いて送り速度及び回転速度を算出する。前記のマップは、輝度が高いほど(すなわち骨が硬いほど)送り速度及び回転速度を遅くする。制御パラメータ出力部17は、算出した送り速度及び回転速度をロボット111及び手術ツール113に出力する。ロボット111及び手術ツール113は、その送り速度及び回転速度において動作する。
ステップ26では、座標出力部(制御手段の一部)15が、前記ステップ23で補正した埋設位置を、ロボット111に出力し、手術ツール113の位置がその埋設位置となるように、ロボット111を駆動する。そして、一定時間だけ、加工(埋設位置において手術ツール113により孔を穿孔する)を行う。加工においては、前記ステップ25で算出した送り速度、及び回転速度を用いる。また、加工中において、ロボット111及び手術ツール113は、回転における抵抗値、及び送り動作の抵抗値を検出し、センサ入力部19に出力する。
ステップ27では、演算部21が、前記ステップ26で穿孔した深さ(送り速度と加工時間との積)を算出し、その値を、それまでの累積穿孔量に加え、最新の累積穿孔量を算出する。
ステップ28では、演算部21が、以下の2つの条件のうち、一方でも充足されたか否かを判断する。
(条件1)前記ステップ27で算出した累積穿孔量が、前記ステップ20で記憶した作業禁止領域に達する量となった。
(条件2)前記ステップ27で算出した累積穿孔量が、予め設定された加工終点に達した。
2つの条件のうちの1方でも充足した場合はステップ23に進み、いずれの条件も充足されない場合はステップ21に進む。
ステップ29では、演算部21が、手術ツール113、及びロボット111の動作を停止する。
ステップ30では、入力装置103からの退避指示の入力があったか否かを演算部21が判断する。入力があった場合はステップ31に進み、入力がなかった場合はステップ30の前に戻る。
ステップ31では、座標出力部15が、埋設部から離れる方向の座標をロボット111に出力する。その結果、手術ツール113は埋設部から退避する。
3.歯科インプラント手術支援装置1が奏する効果
(1)歯科インプラント手術支援装置1は、3次元CT画像に基づいて埋設位置を設定し、さらに、手術ツール113の位置を、その埋設位置に制御することができる。
(2)歯科インプラント手術支援装置1は、3次元可視画像を随時更新し、3次元可視画像における基準部位の経時的な位置変化がある場合は、手術ツール113の位置を、基準部位の経時的な位置変化に応じて補正する。そのことにより、施術中に、患者の頭部の位置や向きが変化した場合でも、手術ツール113の位置を適切な位置に維持できる。例えば、図10Aに示す状態から、下顎が移動し、図10Bに示す状態(図10Aに示す状態に比べて基準部位が下方に移動した状態)となっても、手術ツール113の位置(ドリリングリング開始位置)207と基準部位との相対的な位置関係を一定に保つことができる。
(3)歯科インプラント手術支援装置1は、3次元CT画像の埋設位置における輝度に基づき、手術ツール113の動作条件(送り速度及び回転速度)を設定する。そのため、骨の硬さに応じて適切な動作条件を設定することができる。
(4)歯科インプラント手術支援装置1は、3次元CT画像において、エリア情報及び作業禁止領域を取得し、それらに応じてインプラントの径、穿孔開始位置、埋め込み方向、埋め込み深さ、及びツール加工領域を設定することができる。
1・・・歯科インプラント手術支援装置、3・・・画像構成部、5・・・入力演算部、
7・・・解析部、9・・・メモリ、11・・・画像取込部、13・・・座標取込部、
15・・・座標出力部、17・・・制御パラメータ出力部、19・・・センサ入力部、
21・・・演算部、100・・・歯科インプラント手術支援システム、
101・・・CT撮像部、103・・・入力装置、105・・・表示部、
107・・・次元計測装置、109・・・照明、111・・・ロボット、
113・・・手術ツール、201・・・インプラント、203・・・作業禁止領域、
205・・・基準部位

Claims (4)

  1. 顎部のCT画像を取得するCT画像取得手段(3)と、
    前記CT画像取得手段により取得した複数の前記CT画像を用いて3次元CT画像を作成する3次元CT画像作成手段(3)と、
    前記3次元CT画像において、基準部位、及びインプラントを埋設する埋設位置を設定する第1の設定手段(7)と、
    口腔内の可視画像を取得する可視画像取得手段(11)と、
    前記可視画像取得手段により取得した複数の前記可視画像を用いて口腔内の3次元可視画像を作成する3次元可視画像作成手段(21)と、
    前記3次元可視画像において前記基準部位の形状を認識し、前記3次元可視画像における前記基準部位の位置を設定する第2の設定手段(21)と、
    前記3次元CT画像における前記基準部位と前記埋設位置との位置関係、及び前記3次元可視画像における前記基準部位の位置に基づき、手術ツール(113)の位置を、前記埋設位置に対応する位置に制御する制御手段(15、21)と、
    を備えることを特徴とする歯科インプラント手術支援装置(1)。
  2. 前記3次元可視画像作成手段は、前記3次元可視画像を随時更新し、
    前記3次元可視画像における前記基準部位の経時的な位置変化を検出する経時変化検出手段(21)と、
    前記手術ツールの位置を、前記基準部位の経時的な位置変化に応じて補正する補正手段(21)と、
    を備えることを特徴とする請求項1記載の歯科インプラント手術支援装置。
  3. 前記3次元CT画像の前記埋設位置における輝度に基づき、前記手術ツールの動作条件を設定する動作条件設定手段(21)を備えることを特徴とする請求項1又は2記載の歯科インプラント手術支援装置。
  4. コンピュータを請求項1〜3のいずれか1項記載の前記歯科インプラント手術支援装置が備える各手段として機能させるプログラム。
JP2012111647A 2012-05-15 2012-05-15 歯科インプラント手術支援装置 Pending JP2013236749A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012111647A JP2013236749A (ja) 2012-05-15 2012-05-15 歯科インプラント手術支援装置
GB1308689.7A GB2504179A (en) 2012-05-15 2013-05-14 Method and apparatus for supporting dental implantation surgery
US13/893,437 US20130316298A1 (en) 2012-05-15 2013-05-14 Method and apparatus for supporting dental implantation surgery
CN2013101791960A CN103445875A (zh) 2012-05-15 2013-05-15 用于支持牙科植入手术的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012111647A JP2013236749A (ja) 2012-05-15 2012-05-15 歯科インプラント手術支援装置

Publications (1)

Publication Number Publication Date
JP2013236749A true JP2013236749A (ja) 2013-11-28

Family

ID=48700788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012111647A Pending JP2013236749A (ja) 2012-05-15 2012-05-15 歯科インプラント手術支援装置

Country Status (4)

Country Link
US (1) US20130316298A1 (ja)
JP (1) JP2013236749A (ja)
CN (1) CN103445875A (ja)
GB (1) GB2504179A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017013828A1 (ja) * 2015-07-21 2017-01-26 株式会社デンソー 医療行為支援装置
JP2017047005A (ja) * 2015-09-03 2017-03-09 株式会社デンソー 医療支援装置
JP2017086594A (ja) * 2015-11-12 2017-05-25 株式会社デンソー 医療支援装置
JP2017104231A (ja) * 2015-12-08 2017-06-15 株式会社デンソー 医療支援装置,及び多関節アームの制御方法
JP2018505014A (ja) * 2014-12-09 2018-02-22 バイオメット 3アイ,リミティド ライアビリティ カンパニー 歯科手術のためのロボット装置
KR101841441B1 (ko) 2016-11-28 2018-03-23 김양수 이미지 정보 기반의 치아 자동삭제 시스템 및 이를 이용한 치아 자동삭제 방법
WO2018088146A1 (ja) * 2016-11-08 2018-05-17 国立大学法人九州大学 施術支援システム、施術支援方法及び施術支援プログラム
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
JP2019076462A (ja) * 2017-10-25 2019-05-23 株式会社モリタ製作所 歯科診療装置
KR102075609B1 (ko) * 2019-05-17 2020-02-10 이세운 치기구 자동화 로봇 제어방법
JP2021536326A (ja) * 2018-09-09 2021-12-27 ブレイン ナビ バイオテクノロジー カンパニー リミテッド 歯科インプラントシステムとナビゲーション方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9283055B2 (en) 2014-04-01 2016-03-15 FPJ Enterprises, LLC Method for establishing drill trajectory for dental implants
ES2814231T3 (es) * 2014-06-19 2021-03-26 R K Cad Cam Tech Gmbh & Co Kg Dispositivo para el uso en un procedimiento para la fabricación de una estructura de implante dental
KR101623356B1 (ko) * 2014-12-31 2016-05-24 오스템임플란트 주식회사 치과용 임플란트 계획 가이드 방법, 이를 위한 장치 및 기록 매체
WO2016118737A1 (en) * 2015-01-22 2016-07-28 Neocis, Inc. Interactive guidance and manipulation detection arrangements for a surgical robotic system, and associated method
US20170333135A1 (en) * 2016-05-18 2017-11-23 Fei Gao Operational system on a workpiece and method thereof
WO2018191903A1 (zh) * 2017-04-20 2018-10-25 中国科学院深圳先进技术研究院 植入牙机器人系统及其操作方法
TWI783995B (zh) * 2017-04-28 2022-11-21 美商尼奧西斯股份有限公司 進行導引口腔顎面程序方法及相關系統
CN111278344B (zh) * 2017-11-01 2023-09-05 索尼公司 手术臂系统和手术臂控制系统
WO2019092236A1 (en) 2017-11-10 2019-05-16 3Shape A/S Computed tomography reconstruction of moving bodies
TWI685819B (zh) * 2018-07-10 2020-02-21 國立陽明大學 具斷層掃描校正假體功能之造影載體裝置
US20220265399A1 (en) * 2019-07-23 2022-08-25 Accurate Fit, Sl System, method, and computer programs for the placement of dental implants
TWI777397B (zh) * 2021-02-01 2022-09-11 國立陽明交通大學 電腦斷層掃描設備之自動定位系統與其使用方法
CN116158877A (zh) * 2023-04-12 2023-05-26 北京瑞医博科技有限公司 上颌窦骨壁突破方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03284253A (ja) * 1990-03-30 1991-12-13 Medeirando:Kk 体内3次元位置表示装置
US5343391A (en) * 1990-04-10 1994-08-30 Mushabac David R Device for obtaining three dimensional contour data and for operating on a patient and related method
US5545039A (en) * 1990-04-10 1996-08-13 Mushabac; David R. Method and apparatus for preparing tooth or modifying dental restoration
US5562448A (en) * 1990-04-10 1996-10-08 Mushabac; David R. Method for facilitating dental diagnosis and treatment
JP2003245289A (ja) * 2002-02-22 2003-09-02 Univ Nihon 歯科用インプラント施術支援装置
JP2008307281A (ja) * 2007-06-15 2008-12-25 Yuichiro Kawahara インプラント埋入穴開け術後口腔模型の製造方法、ステントの製造方法、および入れ歯の製造方法
WO2009116663A1 (ja) * 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
JP2010259497A (ja) * 2009-04-30 2010-11-18 Osaka Univ 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
WO2011030906A1 (ja) * 2009-09-14 2011-03-17 国立大学法人東北大学 歯牙切削装置及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5340309A (en) * 1990-09-06 1994-08-23 Robertson James G Apparatus and method for recording jaw motion
US5846081A (en) * 1995-08-23 1998-12-08 Bushway; Geoffrey C. Computerized instrument platform positioning system
US6227850B1 (en) * 1999-05-13 2001-05-08 Align Technology, Inc. Teeth viewing system
EP1219260B1 (de) * 2000-12-19 2003-06-25 BrainLAB AG Verfahren und Vorrichtung zur navigationsgestüzten Zahnbehandlung
EP3673861B1 (en) * 2008-04-02 2022-12-07 Neocis, Llc Guided dental implantation system
US9730776B2 (en) * 2010-02-24 2017-08-15 D4D Technologies, Llc Display method and system for enabling an operator to visualize and correct alignment errors in imaged data sets

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03284253A (ja) * 1990-03-30 1991-12-13 Medeirando:Kk 体内3次元位置表示装置
US5343391A (en) * 1990-04-10 1994-08-30 Mushabac David R Device for obtaining three dimensional contour data and for operating on a patient and related method
US5545039A (en) * 1990-04-10 1996-08-13 Mushabac; David R. Method and apparatus for preparing tooth or modifying dental restoration
US5562448A (en) * 1990-04-10 1996-10-08 Mushabac; David R. Method for facilitating dental diagnosis and treatment
JP2003245289A (ja) * 2002-02-22 2003-09-02 Univ Nihon 歯科用インプラント施術支援装置
JP2008307281A (ja) * 2007-06-15 2008-12-25 Yuichiro Kawahara インプラント埋入穴開け術後口腔模型の製造方法、ステントの製造方法、および入れ歯の製造方法
WO2009116663A1 (ja) * 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
JP2010259497A (ja) * 2009-04-30 2010-11-18 Osaka Univ 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
WO2011030906A1 (ja) * 2009-09-14 2011-03-17 国立大学法人東北大学 歯牙切削装置及び方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018505014A (ja) * 2014-12-09 2018-02-22 バイオメット 3アイ,リミティド ライアビリティ カンパニー 歯科手術のためのロボット装置
WO2017013828A1 (ja) * 2015-07-21 2017-01-26 株式会社デンソー 医療行為支援装置
JP2017047005A (ja) * 2015-09-03 2017-03-09 株式会社デンソー 医療支援装置
JP2017086594A (ja) * 2015-11-12 2017-05-25 株式会社デンソー 医療支援装置
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
JP2017104231A (ja) * 2015-12-08 2017-06-15 株式会社デンソー 医療支援装置,及び多関節アームの制御方法
JP7018399B2 (ja) 2016-11-08 2022-02-10 Safe Approach Medical株式会社 施術支援システム、施術支援方法及び施術支援プログラム
WO2018088146A1 (ja) * 2016-11-08 2018-05-17 国立大学法人九州大学 施術支援システム、施術支援方法及び施術支援プログラム
JPWO2018088146A1 (ja) * 2016-11-08 2019-09-26 国立大学法人九州大学 施術支援システム、施術支援方法及び施術支援プログラム
JP2022050713A (ja) * 2016-11-08 2022-03-30 Safe Approach Medical株式会社 施術支援システム、施術支援方法及び施術支援プログラム
JP7255927B2 (ja) 2016-11-08 2023-04-11 Safe Approach Medical株式会社 施術支援システム、施術支援方法及び施術支援プログラム
KR101841441B1 (ko) 2016-11-28 2018-03-23 김양수 이미지 정보 기반의 치아 자동삭제 시스템 및 이를 이용한 치아 자동삭제 방법
JP2019076462A (ja) * 2017-10-25 2019-05-23 株式会社モリタ製作所 歯科診療装置
JP2021536326A (ja) * 2018-09-09 2021-12-27 ブレイン ナビ バイオテクノロジー カンパニー リミテッド 歯科インプラントシステムとナビゲーション方法
JP7154392B2 (ja) 2018-09-09 2022-10-17 ブレイン ナビ バイオテクノロジー カンパニー リミテッド 歯科インプラントシステムとナビゲーション方法
KR102075609B1 (ko) * 2019-05-17 2020-02-10 이세운 치기구 자동화 로봇 제어방법

Also Published As

Publication number Publication date
GB2504179A (en) 2014-01-22
GB201308689D0 (en) 2013-06-26
US20130316298A1 (en) 2013-11-28
CN103445875A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
JP2013236749A (ja) 歯科インプラント手術支援装置
ES2841056T3 (es) Dispositivo robótico para cirugía dental
US10251736B2 (en) Root canal treating device
KR101373066B1 (ko) 치과 임플란트 시술 로봇 시스템 및 이를 이용한 임플란트 시술 방법
US9763746B2 (en) 3D system and method for guiding objects
US10350008B2 (en) Visual guidance display for surgical procedure
JP5523487B2 (ja) インプラントのための穿孔補助手段を製造するための方法
CN107405180B (zh) 用于外科手术机器人系统的交互式引导和操纵检测安排、以及相关联方法
WO2019139931A1 (en) Guidance for placement of surgical ports
KR20170125360A (ko) 가상의 환경에서 대응하는 가상의 대상을 조작하도록 물리적 대상을 이용하기 위한 방법 및 관련 장치와 컴퓨터 프로그램 제품
JP7018399B2 (ja) 施術支援システム、施術支援方法及び施術支援プログラム
EP1944733A3 (en) System and method for superimposing a representation of the tip of a catheter on an image acquired by a moving imager
CA2913744C (en) Ultrasonic device for dental implant navigation
US20210228286A1 (en) System and method for assisting a user in a surgical procedure
WO2008119873A1 (en) Panoramic x-ray apparatus and positioning of a layer to be imaged for panoramic imaging
WO2016194325A1 (ja) 医療行為支援システム
KR20210066170A (ko) 의료영상 정합 방법 및 그 장치
CN113855287A (zh) 一种带评估种植精度的口腔种植手术机器人及控制方法
CN105105846B (zh) 一种用来精确引导对一病患进行外科手术的系统
TWI754259B (zh) 神經檢測方法及裝置
KR20200084982A (ko) 위험 인자를 고려한 픽스쳐 자동 식립이 가능한 치과용 임플란트 시술 계획 방법 및 그 장치
CN108335733B (zh) 提取ct数据的方法及其在制定种植计划中的应用
KR102205427B1 (ko) 신경 위치 보정 방법 및 장치
KR102236973B1 (ko) 신경 검출 방법 및 장치
EP4193960A1 (en) Method for selecting margin line point, and dental cad device therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160329