JP2014513824A - 顔面補正イメージ提供方法およびそのシステム - Google Patents

顔面補正イメージ提供方法およびそのシステム Download PDF

Info

Publication number
JP2014513824A
JP2014513824A JP2013555356A JP2013555356A JP2014513824A JP 2014513824 A JP2014513824 A JP 2014513824A JP 2013555356 A JP2013555356 A JP 2013555356A JP 2013555356 A JP2013555356 A JP 2013555356A JP 2014513824 A JP2014513824 A JP 2014513824A
Authority
JP
Japan
Prior art keywords
image
face
head
alignment
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013555356A
Other languages
English (en)
Other versions
JP2014513824A5 (ja
JP6273149B2 (ja
Inventor
チェ、ヒュン−サン
キム、ジン−ス
パク、ヨン−グク
ペク、スン−ハク
ジュ、サン−ファン
チョ、ヒュン−ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpheus Co Ltd
Original Assignee
Morpheus Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpheus Co Ltd filed Critical Morpheus Co Ltd
Publication of JP2014513824A publication Critical patent/JP2014513824A/ja
Publication of JP2014513824A5 publication Critical patent/JP2014513824A5/ja
Application granted granted Critical
Publication of JP6273149B2 publication Critical patent/JP6273149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Dentistry (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本発明は、顔面矯正対象者の頭蓋骨イメージを有する頭部イメージ(Cephalomeric Image)と、前記顔面矯正対象者の3次元顔面イメージとを重畳させて、整合イメージを生成する(a)ステップと、前記頭部イメージの骨格変化に応じて皮膚軟組織を変形させて、予測顔面イメージを画面上に出力する(b)ステップとを含む顔面補正イメージ提供方法およびそのシステムを提供する。本発明によれば、皮膚軟組織を支持する頭蓋骨や歯または補形物などの骨格変化に応じて前記皮膚軟組織の変化と予測顔面イメージをコンピュータや端末などの画面上に示すため、皮膚軟組織の変化を予測することができ、これを通じて顔面矯正術の施術の精度を高めることができ、施術計画づくりが正確かつ便利で、患者と医療従事者との間の円滑なコミュニケーションを向上させる。

Description

本発明は、顔面補正イメージ提供方法およびそのシステムに関するものであって、より詳細には、外科的整形手術や歯科矯正などのような顔面矯正術を利用して顔面補正を行う前に顔面形態の変化を予め示し、施術計画を立てるための顔面補正イメージ提供方法およびそのシステムに関するものである。
現代の人々にとって、顔立ち、特に顔の印象は、就職や入学などの面接の際にその人を判断する一つの基準として作用し、対人関係においても大きな比重を占めるなど、社会生活に極めて重要な要素として作用する。そのため、整形手術、特に外科的な顔整形手術などの顔面矯正術が盛んに行われている。
最近は、前記顔面矯正術を行う前に顔面矯正後の姿を予め予測して示す仮想シミュレーションプログラムが開発され、整形外科などの病院医療従事者に普及されているが、病院側は、整形相談の過程で前記仮想シミュレーションプログラムを用いて顔面矯正の方向を設定し、顔面矯正後の姿を予め示し、施術計画を立てる。
しかし、上述した仮想シミュレーションプログラムは、整形対象者の顔を撮った2次元イメージをモニタ画面に浮かべて、前記顔の2次元イメージを変形させながら顔面矯正後の姿を予め示すが、この方法は、手術後の実際の姿と差があるだけでなく、実際の手術には骨組織の形状を補正する施術が施されるため、手術計画および方法づくりに困難がある。
一方、前記顔面矯正術の他の例として、上述した整形手術のほか、不正歯列を改善する歯列矯正術と、しゃくれた顎や短い顎を改善するために顎骨に対する外科的手術を行う顎矯正手術などのような歯科矯正術がある。
つまり、前記歯科矯正術は、不正歯列を良くする施術、例えば、単に歪んだ歯を整える狭義の歯列矯正術を含む概念であり、成長過程で発生し得る様々な骨格的不調和を治して正常な機能を発揮できるようにして健康な口腔組織に寄与し、ひいては、顔のラインを綺麗にして美しい顔イメージを作ることができる。
前記歯列矯正術(Orthodontic Treatment)は、歯列の移動を通じて不正咬合などの不正歯列を改善する施術法であり、前記顎矯正手術は、顎骨に対する外科的手術を行って骨格的改善を与える。
上述のように、前記歯列矯正術や顎矯正手術によっても顔面の姿が大きく変化し得るため、前記歯科矯正術を行う前に顔面の変化を精度高く予め予測してそれに伴う適切な施術が行われるのが良いが、患者の外観の変化を予め予測して精度の高い状態で示しにくく、単に2次元顔イメージを施術者の経験則に基づいて変化させて顔ラインの変化を予測する程度にとどまるため、歯科矯正が完了した後の実際の姿と差があるだけでなく、矯正計画および方法づくりに困難がある。
そこで、本発明者らは、顔の皮膚軟組織を支持する骨格の変化に応じて皮膚軟組織を変形させて顔面の外観の変化を予め予測し、精度の高い状態で示すことができる顔面補正イメージ提供方法およびそのシステムを開発するに至った。
本発明は、皮膚軟組織を支持する頭部の骨格変化に応じた皮膚軟組織の変形に基づいて顔面の外観イメージの変化を予め示すことができる顔面補正イメージ提供方法およびそのシステムを提供することを目的とする。
本発明の他の目的は、顔面の外観イメージと頭蓋骨イメージとの重畳を正確かつ容易に行うことができる顔面補正イメージ提供方法およびそのシステムを提供することである。
上記の目的を解決するために、本発明は、顔面矯正対象者の頭蓋骨イメージを有する頭部イメージ(Cephalomeric Image)と、前記顔面矯正対象者の3次元顔面イメージとを重畳させて、整合イメージを生成する(a)ステップと、前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力する(b)ステップとを含む顔面補正イメージ提供方法およびそのシステムを提供する。本発明において、前記(b)ステップは、前記頭部イメージの骨格変化に応じて皮膚軟組織を変形させて、予測顔面イメージを画面上に出力するステップである。
前記(a)ステップは、前記顔面イメージと前記頭部イメージとの重畳のために、前記顔面イメージ上に設定される複数の第1整列点と、皮膚軟組織によって形成される前記頭部イメージの輪郭上に前記第1整列点に対応する位置に設定される第2整列点とを一致させて、前記顔面イメージと前記頭部イメージとを重畳させる。
ここで、前記(a)ステップは、前記第1整列点と前記第2整列点が入力される(a1)ステップと、前記頭部イメージが重畳した前記顔面イメージを前記画面に出力する(a2)ステップとを含むことができる。
前記(a)ステップは、前記頭部イメージと前記顔面イメージとの大きさおよび方向を同一に調節する(a3)ステップをさらに含むことが好ましい。
ここで、前記第1整列点は、一対の顔面整列点を含み、前記第2整列点は、前記顔面整列点に対応する位置の一対の輪郭整列点を含み、前記顔面整列点によって形成される第1ベクトルと、前記輪郭整列点によって形成される第2ベクトルとの大きさおよび方向を一致させて、前記(a3)ステップが行われる。
そして、前記(a)ステップは、前記第1整列点を前記第2整列点に一対一に対応させるために、前記(a1)ステップの前に、前記第1整列点にそれぞれ形成され、方向および長さの調節が可能な整合整列線を画面に出力する(a4)ステップをさらに含むこともできる。
前記(a)ステップは、前記顔面イメージに設定された整合基準線によって分割される前記顔面イメージの断面上に前記頭部イメージを重畳させて、前記整合イメージを生成する。
ここで、前記整合基準線は、前記顔面イメージを左右に二分する縦線であり、前記頭部イメージは、前記顔面矯正対象者の頭部を顔の正面と90度をなす側面から撮影した側面イメージになるとよい。
そして、前記(a)ステップは、前記頭部イメージが前記画面上に出力されるように、頭部イメージによって分割された前記顔面イメージの一側部分を前記画面上に透明に出力することもできる。
前記(b)ステップは、前記頭部の骨格変化に対応して前記皮膚軟組織の変化を算出する(b1)ステップと、前記皮膚軟組織の変化に基づいて前記予測顔面イメージを画面上に出力する(b2)ステップとを含む。
前記皮膚軟組織の変化は、前記頭部の骨格変化は、歯列の移動および頭蓋骨の形状変化のうちの少なくともいずれか1つによって行われる。
前記(b2)ステップは、前記予測顔面イメージ上に前記皮膚軟組織の変化を示すための等高線を選択的に出力する。
前記(b)ステップは、前記予測顔面イメージのシミュレーションの前および後の姿を同時にまたは順次に画面上に出力することもできる。
他の一形態として、本発明は、顔面矯正対象者の頭蓋骨イメージを有する頭部イメージと、前記顔面矯正対象者の3次元顔面イメージとを重畳させて、整合イメージを生成する整合モジュールと、前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力するイメージ出力モジュールとを含む顔面補正イメージ提供システムを提供する。
さらに他の形態として、本発明は、顔面矯正対象者の頭蓋骨イメージを有する2次元頭部イメージを取得する第1イメージ取得ユニットと、前記顔面矯正対象者の顔面を撮影して3次元顔面イメージを取得する第2イメージ取得ユニットと、前記頭部イメージと前記3次元顔面イメージを受信して格納するイメージ格納モジュールと、前記イメージ格納モジュールに格納された前記頭部イメージと、前記顔面イメージとを重畳させて、整合イメージを生成する整合モジュールと、前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力するイメージ出力モジュールとを含んで構成される顔面補正イメージ提供コンピュータシステムを提供する。
さらに他の形態として、本発明は、コンピュータを、顔面矯正対象者の頭蓋骨イメージを有する頭部イメージと、前記顔面矯正対象者の3次元顔面イメージとを重畳させて、整合イメージを生成する整合手段と、前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力するイメージ出力手段として機能させるための顔面補正イメージ提供プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
本発明にかかる顔面補正イメージ提供方法およびそのシステムによれば、次のような効果がある。
第一、本発明によれば、皮膚軟組織を支持する頭蓋骨や歯または補形物などの骨格変化に応じて、前記皮膚軟組織の変化と予測顔面イメージをコンピュータや端末などの画面上に示すため、皮膚軟組織の変化を予測することができ、これを通じて顔面矯正術の施術の精度を高めることができ、施術計画づくりが正確かつ便利で、患者と医療従事者との間の円滑なコミュニケーションを向上させる。
第二、本発明によれば、頭部イメージと顔面イメージとの整合が便利かつ正確な大きさおよび比率で整合されたイメージを活用して、施術後の予測顔面イメージを立体的に出力することができるため、施術後の姿の予測に対する精度が向上する。
第三、本発明によれば、顔面矯正対象者が施術前後の姿をすべて1つの画面で同時にまたは順次に見ることができるため、施術前後の姿を比較判断して正確な施術計画を立てることができる。
第四、本発明によれば、変化する骨格によって直接支持される皮膚軟組織およびその周辺部位の変化を立体的に見ることができるため、予測顔面イメージの精度が向上できる。
本発明にかかる顔面補正イメージ提供方法の一実施形態を示すフローチャートである。 本発明にかかる顔面補正イメージ提供システムの一実施形態を示す構成ブロック図である。 ディスプレイウィンドウ(画面)に3次元顔面イメージの正面が出力された状態をキャプチャした画面である。 ディスプレイウィンドウに顔面イメージを左右に二分する整列基準線が設定され、特徴点が表示された状態をキャプチャした画面である。 ディスプレイウィンドウに整列基準線に沿ったプロファイルが表示された3次元顔面イメージをキャプチャした画面である。 ディスプレイウィンドウに頭部イメージの一例である側面頭部イメージが出力された状態をキャプチャした画面である。 ディスプレイウィンドウに指標点および指標曲線の表示された頭部イメージが出力された状態をキャプチャした画面である。 ディスプレイウィンドウに頭部イメージの一例である正面頭部イメージが出力された状態をキャプチャした画面である。 頭部イメージと3次元顔面イメージとの重畳のために、ディスプレイウィンドウに頭部イメージと3次元顔面イメージが同時に出力された状態をキャプチャした画面である。 頭部イメージと3次元顔面イメージとの対応点を設定する過程をキャプチャした画面である。 頭部イメージと3次元顔面イメージとの大きさおよび方向を調節する過程をキャプチャした画面である。 プロファイルラインを除いた3次元顔面イメージが透明に処理された整合イメージがディスプレイウィンドウに出力された状態をキャプチャした画面である。 整合イメージの傾き角度を設定する過程をキャプチャした画面である。 整合イメージの一例として半切断整合イメージがディスプレイウィンドウに出力された状態をキャプチャした画面である。 整合イメージを用いた予測顔面イメージの生成のためのシミュレーション過程をキャプチャした画面である。 皮膚軟組織の変化比率を手動で入力できるように、ディスプレイウィンドウに入力ウィンドウが出力された状態をキャプチャした画面である。 顎のプロファイルラインを矯正する過程をキャプチャした画面である。 正面頭部イメージと側面頭部イメージとが重畳した状態をキャプチャした画面である。 施術を行う前後の顔側面の姿がディスプレイウィンドウに表示された状態をキャプチャした画面である。 予測顔面イメージに等高線が表示された状態をキャプチャした画面である。
以下、本発明の目的が具体的に実現できる本発明の好ましい実施形態を、添付した図面を参照して説明する。本実施形態を説明するにあたり、同一構成については同一名称および同一符号が用いられ、これによる付加的な説明は下記で省略される。
まず、図1および図2を参照して、本発明にかかる顔面補正イメージ提供方法およびそのシステムに対する一実施形態を説明する。
図1を参照すれば、本発明にかかる顔面補正イメージ提供方法は、顔面矯正対象者の頭部イメージ(Cephalomeric Image)と、3次元顔面イメージとを重畳(Superimposition)させて、整合イメージを生成する(a)ステップS120(整合イメージ生成ステップ)と、顔面矯正施術前に予め予測イメージを示す予測顔面イメージ出力ステップの(b)ステップS130とを含む。
次に、図2を参照すれば、本発明にかかる顔面補正イメージ提供装置は、顔面補正イメージの処理を制御する制御部110と、前記顔面矯正対象者の頭部イメージと、3次元顔面イメージとを重畳させて、整合イメージを生成する整合モジュール120と、顔面矯正施術前に予め予測イメージ(予測顔面イメージ)を示すなど、各種のイメージを画面上に出力するイメージ出力モジュール130とを含む。
前記顔面補正イメージ提供装置の一例として、顔面補正イメージ提供システム、例えばワークステーション(Workstation)に前記頭部イメージを取得する第1イメージ取得ユニット210と、前記顔面イメージを取得する第2イメージ取得ユニット220とが具備されることによって、顔面補正イメージ提供コンピュータシステムが実現されてもよい。
前記第1イメージ取得ユニット210は、前記顔面矯正対象者の頭部を撮影して2次元イメージを取得し、前記第2イメージ取得ユニット220は、前記顔面矯正対象者の顔面を撮影、より詳細には、スキャニング(Scanning)して3次元顔面イメージを取得する。
前記第1イメージ取得ユニット210と前記第2イメージ取得ユニット220は、相互別途に分離された形態で具備され、前記顔面補正イメージ提供方法の実現のためのプログラムを実行するコンピュータに接続されてもよく、1つの本体を有する装置で構成され、複合イメージ撮影装置として前記コンピュータに接続されてもよい。
ここで、前記第1イメージ取得ユニット210は、X線(X−Ray)撮影法で前記頭部イメージを取得することもでき、前記頭部イメージは、骨組織のイメージ(頭蓋骨イメージと歯イメージ)を有し、X線の吸収差によって、顔の皮膚軟組織は、前記骨組織イメージの表面に骨組織に比べて透明な輪郭を形成することができる。
前記整合モジュール120、すなわち整合部は、データ格納部140のイメージ格納モジュール141に格納された前記頭部イメージと、前記顔面イメージとを重畳させて、前記整合イメージを生成し、前記イメージ格納モジュール141は、前記第1イメージ取得ユニット210および前記第2イメージ取得ユニット220から頭部イメージと顔面イメージを受信して格納し、前記整合イメージや予測顔面イメージなどの多様なイメージも格納することができる。
前記イメージ出力モジュール130は、前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力するが、より具体的には、前記頭部イメージの骨格変化に応じて皮膚軟組織を変形させた予測顔面イメージを画面上に出力する。そして、前記イメージ出力モジュール130は、前記頭部イメージや顔面イメージや整合イメージや予測顔面イメージなどのようなステップ毎イメージをコンピュータ画面その他端末の画面上にシミュレーションステップ毎に出力する。
前記整合モジュール120は、前記イメージ出力モジュール120および前記イメージ格納モジュール141と共に、前記コンピュータを、整合手段と、イメージ生成/出力手段と、イメージ格納手段として機能させる。そして、前記画面上には、インタフェース出力モジュール150によって前記顔面補正イメージの生成のためのユーザインタフェースが出力されて表示され、前記制御部110は、前記顔面補正イメージの処理のために前記モジュールを制御する。
一方、前記(a)ステップS120、すなわち整合イメージ生成ステップは、前記顔面イメージ上に設定される複数の第1整列点(図10および図11参照)と、前記頭部イメージの輪郭上に前記第1整列点に対応する位置に設定される第2整列点(図10および図11参照)とを一致させて、前記顔面イメージと前記頭部イメージとを重畳させる。
前記第1整列点は、前記顔面イメージと前記頭部イメージとの重畳のために前記顔面イメージ上に設定され、前記第2整列点は、前記皮膚軟組織によって前記頭部イメージの枠を形成する頭部輪郭上に前記第1整列点に対応する位置に設定される。
すなわち、前記第1整列点と前記第2整列点は、前記顔面の同一部分に位置するように設定され、例えば、前記第1整列点が前記顔面イメージの鼻先および顎先に設定される場合に、前記第2整列点も前記頭部イメージの鼻先および顎先に設定される。
したがって、前記(a)ステップS120は、前記第1整列点と前記第2整列点が入力される(a1)ステップS110(整列点入力ステップ)と、前記頭部イメージが重畳した前記顔面イメージ、すなわち前記整合イメージを生成して、前記画面に出力する(a2)ステップS120(整合イメージ出力ステップ)とを含むことができる。
この時、前記頭部イメージと前記顔面イメージは、大きさおよび方向が異なり得るため、前記(a)ステップS120は、前記頭部イメージと前記顔面イメージとの大きさおよび方向を同一に調節する(a3)ステップS130(イメージ調節ステップ)をさらに含むことが好ましい。
より詳細に説明すれば、前記第1整列点は、一対の顔面整列点、例えば、前記顔面イメージ上の鼻先点(第1鼻先点)および顎先点(第1顎先点)を含み、前記第2整列点は、前記顔面整列点に対応する位置、すなわち顔面の同一位置に設定される一対の輪郭整列点、例えば、前記頭部イメージ上の鼻先点(第2鼻先点)および顎先点(第2顎先点)を含む。
そして、前記顔面整列点によって形成される第1ベクトルと、前記輪郭整列点によって形成される第2ベクトルとの大きさおよび方向を一致させて、前記(a3)ステップS130が行われる。
前記(a)ステップS120は、前記第1整列点を前記第2整列点に一対一に対応させるために、前記(a1)ステップS110の前に、前記第1整列点にそれぞれ形成され、方向および長さの調節が可能な整合整列線(図10および図11参照)を画面に出力する(a4)ステップS140をさらに含むこともできる。
したがって、使用者がマウスなどのUI(User Interface)を用いて前記整合整列線の端点をクリック(Click)した状態でドラッグ(Drag)して前記第2整列点に一致させると、前記整合モジュール120が前記頭部イメージおよび顔面イメージのうちの少なくともいずれか1つを移動させて、前記頭部イメージと顔面イメージとが正確に重畳できる。
本実施形態において、前記(a)ステップS120は、前記顔面イメージに設定された整合基準線(図2および図3参照)によって分割される前記顔面イメージの断面上に前記頭部イメージを重畳させて、前記整合イメージを生成する。
ここで、前記整合基準線は、前記顔面イメージを左右に二分する縦線であり、前記頭部イメージは、前記顔面矯正対象者の頭部を顔の正面と90度をなす側面から撮影した側面頭部イメージになるとよい。
そして、前記(a)ステップS120、特に前記整合イメージ出力ステップの(a2)ステップS120は、前記頭部イメージが前記画面上に出力されるように、頭部イメージによって両側に分割された前記顔面イメージの両側部分のうちの一側部分を前記画面上に透明に出力することもできる。
次に、前記(b)ステップS130、すなわち予測イメージ出力ステップは、前記整合イメージの皮膚軟組織を、変形によって実現される予測顔面イメージを画面上に出力するステップで、より詳細には、前記頭部イメージの骨格変化に応じて皮膚軟組織を変形させて、予測顔面イメージを画面上に出力するステップである。
本実施形態において、前記(b)ステップS130は、前記頭部の骨格変化に対応して前記皮膚軟組織の変化を算出する(b1)ステップS210と、前記皮膚軟組織の変化に基づいて前記予測顔面イメージを画面上に出力する(b2)ステップS220とを含む。
ここで、前記頭部の骨格変化は、歯列の移動および頭蓋骨、例えば顎骨(上顎、下顎)や頬骨や額骨などの形状変化のうちの少なくともいずれか1つをいい、ひいては、顔面に移植して皮膚軟組織を支える補形物(例えば、鼻手術補形物)によって行われてもよい。そして、前記(b2)ステップS220は、前記予測顔面イメージ上に前記皮膚軟組織の変化を示すための等高線を選択的に出力する。
そして、本発明にかかる顔面補正イメージ提供方法において、前記(b)ステップS130は、使用者および/または患者が前記予測顔面イメージのシミュレーションの前および後の姿を比較することができるように、シミュレーションの前および後の姿を同時にまたは順次に画面上に出力することもできる。
以下、本発明にかかる顔面補正イメージ提供方法を行うための具体的なステップを順次により詳細に説明する。
1.3次元顔面イメージ
第1ステップでは、3次元スキャナによって取得した3D顔モデル、すなわち前記3次元顔面イメージを画面上に呼び出し、上述した整合基準線の設定などのようなステップが行われる。
図3を参照すれば、使用者が前記インタフェース出力モジュール150によって画面上に表示されるユーザインタフェースの中で顔面イメージローディングのためのボタン(Load Face)を押した後、イメージデータボックスから所望する形態の3次元顔面イメージデータを選択すると、前記イメージ出力モジュール130によってコンピュータ画面に3次元顔モデル、すなわち顔面イメージが出力される。
そして、前記整合基準線を設定するために、顔面イメージをズーム機能を利用して拡大/縮小し、回転機能を利用して顔面イメージを回転させることができる。このために、前記インタフェース出力モジュール150は、前記画面の一側に回転バーとズームバーおよび基準線設定(Line)トラックバーを出力し、これによって、顔面イメージの拡大/縮小、Z軸回転(Rotate Z)、Y軸回転(Rotate Y)、整合基準線の設定を調節する。前記Rotate Zトラックバーは、前記顔面イメージをZ軸(画面の横軸または縦軸)を中心に回転させ、前記Rotate Yトラックバーは、前記顔面イメージをY軸(画面の縦軸または横軸、Z軸に直交)を中心に回転させる。そして、Lineトラックバーは、青色線(整合基準線)を左右に移動させる。
一方、使用者が画面上の初期化(Initialize)ボタンを押すと、前記顔面イメージの拡大比率と回転および整合基準線の位置が初期化される。
図4および図5を参照すれば、前記整合基準線が設定された後、固定(Fix)ボタンを押すと、2次元上の整合基準線が3次元顔面イメージに投影されて、前記イメージ出力モジュール130がプロファイル(Profile)ライン(例えば赤色ライン)を自動的に出力し、前記プロファイルラインの生成と同時にまたは順次に鼻先点、顎先点、唇の両端点などのような顔の特徴点が面上に小さい点で自動的に表示される。もちろん、前記特徴点の位置は、使用者によって手動で指定されたり補正されてもよい。前記顔面イメージから特徴点を検出する原理は、例えば、次の通りである。
前記3D顔モデル、すなわち3次元顔面イメージは、一般的に、メッシュ(Mesh)およびテクスチャ(Texture)イメージからなるが、特徴点を自動的に抽出するために、前記制御部110は、これらメッシュの幾何学的情報とテクスチャのイメージ情報を分析する。例えば、前記鼻先点(Pronasale)は、プロファイルライン上で顔から最も突出した点を探すことによって検出され、唇の両端点(Cheilion)は、テクスチャイメージの色分布(肌色および唇色領域)を分析して唇領域を求めた後、前記唇領域の両端部分を探すことによって検出され、前記顎先点は、顔の輪郭線と前記プロファイルラインとが会う点である顔の下端点を探すことによって検出されるとよい。前記特徴点の抽出理由は次の通りである。
前記特徴点は、患者の顔状態を分析するのに使用できる。より具体的に説明すれば、前記特徴点を結んで線を生成することによって、顔の特定部位(例えば、唇の幅と上下唇の咬合角度など)に対する長さや角度などを検出し、予め設定された平均値と比較して患者の顔状態を分析し診断するのに使用できる。
そして、前記特徴点は、3次元顔面イメージと頭部イメージとの整合基準点、すなわち整列点として使用できる。例えば、3D顔モデル上の2つの特徴点、例えば、鼻先点(Pronasale)および顎先点(Soft Tissue Gnathion)が3次元顔面イメージと頭部イメージとの整合基準点として使用できる。
また、3次元顔面イメージの上下の傾きを調節するための目的で、鼻−顎ライン(Nose−Chin Line)、すなわち後述する傾き線を設定するのに用いられ、前記傾き線は、前記鼻先点(Pronasale)および顎先点、特に顎先の最前方点(Soft Tissue Pogonion)を結ぶことによって生成される。前記特徴点は、画面上の仮想座標を基準として前記データファイル140やデータベースに座標値の形態で格納され、前記座標値の計算を通じて顔の特定部位に対する長さや角度が算出可能である。
そして、使用者がマウスを操作すると、前記イメージ出力モジュール130が画面の顔面イメージを回転させて、図5のように、前記3次元顔面イメージ上に前記プロファイルラインが形成されたことを確認することができ、選択によって前記3次元顔面イメージに前記特徴点の名称が表示されてもよい。ここで、前記顔面イメージの色、明るさ、コントラストなどが調節されると、前記顔面イメージの顔のトーンが調節されて出力される。
2.頭部イメージ
前記3次元顔面イメージ作業の前のステップまたは次のステップでは、前記イメージ出力モジュールによって頭部イメージが画面上にローディングされ、前記頭部イメージ上に指標点(Landmark Point)を画面上に出力するステップが行われる。
図6および図7には、頭部イメージの一例である側面頭部イメージ(Lateral Cephalometric X−Ray Image)が画面に出力されたもので、前記側面頭部イメージは、顔の正面に対して90度の角度で側面から撮影されたX線イメージである。前記頭部イメージが画面上にローディングされると、コントラスト(Contrast)および明るさ(Brightness)値を調節することができ、インバート(Invert)チェックボックスが選択されると、白黒反転したイメージが出力されてもよい。
使用者が手動で前記頭部イメージの所定の地点をマウスでクリックすると、前記イメージ出力モジュールがその地点に形成される所定の形状、例えば青色の十字マーク形状の指標点を画面上に出力するが、前記指標点が自動的に設定されて表示されてもよい。そして、前記指標点は移動および削除が可能である。
前記指標点の座標値は、前記特徴点の座標値と共に、前記データファイル140やデータベースに格納される。
一方、前記指標点のうちの一部によって前記頭部イメージの特定部分にその部分の模型が自動的に現れてもよい。例えば、歯に指標点の位置が指定されると同時に、その部分に相当する歯模型が自動的に頭部イメージに表示される。
より詳細に説明すれば、例えば上顎前歯の場合、使用者が2つの指標点、例えば、前記頭部イメージ上に表示される上顎前歯の歯根尖と歯冠先に前記指標点をそれぞれ設定すると、これらの点を結ぶ予め設定された形状の上顎前歯模型(例えば上顎前歯形状の輪郭ライン)が前記歯根尖と歯冠先の距離および角度を基に大きさ、位置、回転値が変換され、前記頭部イメージの上顎前歯に重畳して表示される。
そして、前記指標点が滑らかにつながるように、マウスを用いて手動で前記指標点の間に多数の補助点が設定されると、前記補助点を通りながら前記指標点が滑らかにつながる指標曲線(Landmark Line)が画面上に出力される。
前記指標点の座標は、前記データファイル140やデータベースその他メモリ部などのデータ格納部に格納され、前記インタフェース出力モジュール150によって画面右側に表示されるツールボックスから初期化ボタン(Initializeボタン)を押すと、これまで指定した指標点および指標曲線がすべて消え、初期状態で再び作業を行うことができる。
前記指標点と指標曲線が形成されることによって、患者の頭部に対する分析が行われ、前記指標曲線は、上顎(Maxilla)と下顎(Mandible)などの位置および形状を大まかに示し、上顎と下顎の位置を移動したり一部領域を切断することによって、手術シミュレーションを行うことができる。そして、前記指標点を直接結ぶか、指標点から延びる補助線を生成することによって、上顎や下顎または顎線などのような多様な部位の形状と特定地点間の長さおよび角度を検出することができ、これらのデータを予め設定された平均値と比較する分析作業を通じて患者の状態を診断/分析することができる。
一方、図8は、前記頭部イメージの他の例である正面頭部イメージで、顔を正面から撮影したX線イメージである。前記正面頭部イメージにおいても、上述した指標点と指標曲線の生成および出力ステップが行われるとよいし、例えば、顔面矯正を行う部位が下顎の左右側顎線の場合に、顔面補正手術シミュレーションを行うために前記正面頭部イメージが利用されてもよい。
3.整合イメージの生成(Superimposition)
図9ないし図13を参照すれば、本発明の一過程として、前記3次元顔面イメージと前記頭部イメージとを3次元座標上で重畳させ、画面上に正しく整列するステップが、前記整合モジュール120によって行われる。
前記顔面イメージは、3次元空間上の立体的なオブジェクトであり、前記頭部イメージは、2次元平面上のオブジェクトである。これら2つのイメージを共通の3次元座標空間上で重畳させるために、前記3次元顔面イメージのプロファイルラインを通りながら顔を左右対称となるように二分する平面上に前記頭部イメージ、例えば前述した側面頭部イメージが置かれるように、前記顔面イメージと前記頭部イメージとが重畳する。
図9の画面は、上述した方式で3次元顔面イメージと頭部イメージが共通の3次元座標空間の画面上に同時に出力された状態である。画面右側のツールボックスから下記それぞれのインタフェースツールを用いると、画面が調整可能である。
(1)Opacity1:3次元顔面イメージ全体の透明度を調節する。
(2)Opacity2:中心平面によって二分された3次元顔面イメージの2つの部分のうち、使用者の目から遠い側の透明度を調節する。
(3)Contrast:頭部イメージのコントラスト(Contrast)値を調節する。
(4)Brightness:頭部イメージの明るさ(Brightness)値を調節する。
(5)Invert:頭部イメージの白黒反転を行う。
図10および図11を参照すれば、共通の3次元座標空間の画面に出力された前記3次元顔面イメージと頭部イメージは、その大きさおよび位置が全く合わず、回転値(側面からみた時、頭を下げた程度。以降、顔の傾きともいう)も異なり得る。
前記3次元顔面イメージと頭部イメージとの大きさと位置および回転値を一致させるためには、2つのイメージのうちのいずれか一方の大きさ、位置および回転値(Scale、Rotate、Translateと、以下、SRT値)が調節されなければならない。本実施形態では、前記3次元顔面イメージを基準として前記頭部イメージの大きさと位置および回転値を変更する方式を開示するが、これに限定されるものではない。
前記顔面イメージと頭部イメージとの相互重畳に対する精度を高めるために、本実施形態では、前記3次元顔面イメージと頭部イメージに対して複数の対応点、例えば二対の対応点を設定し、これらをマッチング(matching)させる方法を開示する。
前記対応点は、前記顔面イメージ上に設定される複数の第1整列点と、前記頭部イメージ上に設定される複数の第2整列点とを含む。ここで、前記第2整列点は、図10および図11に示されるように、前記頭部イメージが前記側面頭部イメージの場合に、皮膚軟組織によって形成される前記側面頭部イメージの枠、すなわち輪郭ライン上に位置し、前記第1整列点に対応する位置に設定される。
つまり、前記第1整列点と前記第2整列点は、前記顔面イメージおよび頭部イメージにおいて前記顔の同一地点に設定されるが、本実施形態では、前記第1整列点として一対の顔面整列点と、前記第2整列点として一対の輪郭整列点とが開示される。
より具体的に説明すれば、本実施形態では、二対の対応点として、前記顔面イメージと頭部イメージそれぞれの鼻先点および顎先点を選択した。前記3次元顔面イメージの鼻先点および顎先点が前記顔面整列点となり、前記頭部イメージの鼻先点および顎先点が前記輪郭整列点となるようにしたが、これに限定されるものではなく、人中点や両眉間点などの他の部分が前記整列点として設定されてもよい。前記第2整列点、すなわち前記鼻先点および顎先点の座標値は、前記データファイルやデータベースなどのデータ格納部140に格納される。
そして、前記鼻先点および顎先点の座標値を用いて前記3次元顔面イメージの鼻先点および顎先点を結ぶ第1ベクトルを生成し、前記頭部イメージの鼻先点および顎先点を結ぶ第2ベクトルを生成した後、前記第1ベクトルと第2ベクトルとの大きさおよび方向を一致させると、前記顔面イメージおよび頭部イメージの前記SRT値が同一になる。
ここで、前記3次元顔面イメージの鼻先点および顎先点の位置は、上述した特徴点の抽出で設定されてもよいが、より詳細には、前記整合基準線上に位置する2つの特徴点、例えば、前記頭部イメージ上の鼻先および顎先の2つの位置に設定される。
本実施形態では、前記3次元顔面イメージ上の鼻先および顎先にX表示で整列点が表示され、前記整列点からそれぞれ突出して延長形成される整合整列線が画面上に表示されてもよいし、前記整合整列線の端には別の色(例えば赤色)のX表示が整合点としてそれぞれ表示される。前記整合整列線は、方向および長さの調節が可能であり、このため、使用者が前記整合点をそれぞれマウスでクリック/ドラッグすると、前記整合線の長さおよび方向が変化し、前記頭部イメージ上の鼻先点および顎先点にそれぞれ前記整合整列線の整合点を位置させると、2つのイメージの整合位置基準が設定される。ここで、前記整合整列線は、使用者が直観的に理解しやすいようにするためであり、実際には二対の対応点の位置を探すだけでも2つのイメージの整合位置基準の設定が可能である。
上述のように相互対応する鼻先点および顎先点を正確に結んだ後、画面上の整合ボタン(Matchボタン)を押すと、前記頭部イメージの大きさ、位置、回転値が前記顔面イメージに合わせて変化し、前記頭部イメージと前記3次元顔面イメージとが正確に重畳する。
一方、前記顔面イメージにおいて前記プロファイルラインを除いた残りの部分が透明に処理され、図13のように、前記頭部イメージと前記プロファイルラインだけが残った整合イメージが画面上に選択的に出力されてもよいし、このため、前記顔面イメージと前記頭部イメージとの重畳精度を判別するのにより便利である。これは、上述したOpacity1トラックバーが調節されることによって、前記イメージ出力モジュール130によって出力される。
そして、図13に示されるように、前記イメージ出力モジュールは、鼻先点および顎先点を結ぶ傾き線を画面上に出力することもでき、前記傾き線と真の垂線とのなす角度(True Vertical Line Angleと、TVL角度)が表示される。本実施形態において、前記真の垂線は、画面の垂直縦線に平行な方向の仮想線として仮定し、前記TVL角度を調整して顔の傾きを調節することができる。
4.予測顔面イメージの出力
図14を参照すれば、前記3次元顔面イメージのプロファイルラインに沿って重畳した前記頭部イメージによって前記3次元顔面イメージが正確に切断された整合イメージ、すなわち半切断型整合イメージを見ることができる。これによって、2次元の頭部イメージと3次元の顔面イメージとの重畳で顔内部の骨格構造が立体的に見えるような効果を得ることができる。
このために、透明度調節手段(Opacityトラックバー)を用いると、前記頭部イメージによって二分された3次元顔面イメージの右側半分部分の透明度が調節できる。前記半切断型整合イメージは、使用者の操作によって所望する方向に回転して出力されるとよいし、前記イメージ出力モジュール130は、図14のように、前記半切断型整合イメージを使用者が所望する方向に画面上に出力する。
そして、前記イメージ出力モジュール130は、前記(b)ステップ、すなわち予測顔面イメージ出力ステップS130において、前記頭部の骨格変化に対応して前記皮膚軟組織の変化を算出し、前記皮膚軟組織の変化に基づいて前記予測顔面イメージを画面上に出力する。
もちろん、逆に前記皮膚軟組織を変化させると、前記頭部の骨格変化(骨組織の変化)が伴われ、前記画面上に予測顔面イメージが出力されてもよい。これは、前記頭部の骨格変化に対応して皮膚軟組織の変化を算出する方法の逆方向の算出方法によって行われるとよいし、実現原理は同じである。
上述した骨格変化に応じた皮膚軟組織の変化の一例をより具体的に説明すれば、使用者が前記画面右側の歯(Teeth)チェックボックスを選択すると、前記頭部イメージの指標点および指標曲線の設定過程で、前記頭部イメージの当該歯部分に重畳する歯模型が歯の枠を形成する輪郭ラインの形態で現れる。そして、前記整合イメージの頭部イメージ上で前記歯模型、例えば上下前歯模型の位置および方向をマウスを用いて変更すると、前記歯模型の変化に応じた皮膚軟組織(soft tissue)の変化が画面上に出力される。
例えば、使用者が上/下前歯模型の歯冠先に設定された指標点をマウスでクリックして前後に移動させると、前記前歯模型の位置変化に応じて上/下唇部位が自然に前後に移動する。一般的に、前記上/下唇部位の変形程度は、前歯モデルの端部分の移動量に比例する。この時、唇の最も突出した部位(唇の中央部)が最も多く変形し、唇の上下方向、そして両端方向に行くほど変形する程度が次第に減少する。すなわち、上顎前歯が動く場合に、これに連動して変化する軟組織変形領域(例えば唇部位)が予め設定され、前記軟組織変形領域内で部位毎変形率が設定されると、これを基準として顔面イメージの変形量が算出され、前記変形量を基に当該部位の皮膚軟組織が変化した顔面イメージが画面上に出力される。
前記唇の変化のために、本発明では、前記歯の位置および方向の変化に対応して前記皮膚軟組織、すなわち唇の変化量と変化領域を算出するが、多様な患者の施術データがデータファイル140に格納され、このようなデータを基準として平均値が導出され、前記平均値を基準として歯冠先の変化量に応じた唇の変形率が決定され、前記変形率を基に唇の形態変化が実現されることによって、顔面イメージが変化する。前記唇の変形値は、数式化されて自動的に演算されてもよい。
すなわち、多様な患者の施術データを基準として皮膚軟組織の変形部位と変形値(変形率)が決定されるか、決定された数式によって皮膚軟組織の変形値を自動的に演算(パラメータ値は使用者入力が可能)する方式のうちの少なくとも1つの方式が行われるとよいし、2つの方式が複合的に適用されてもよい。
例えば、前記制御部110は、皮膚軟組織の変形部位に対して施術データが存在する場合に、前記施術データを用いて変形値を導出することができ、施術データのない部位に対しては適切な数式を用いて変形値を算出する。
具体例として、上顎/下顎前歯の移動によって上/下唇の最前方点(Labrale Superius/Labrale Inferius)が最も多く変形するが、この部位の変形量は、(上/下前歯模型の端部分の移動量)*(使用者が入力した変形率または施術データに基づいて導出された変形率)で計算されるとよい。
そして、変形が起こる全体領域は、特徴点を基準として設定されるとよい。上顎/下顎前歯の移動時、皮膚軟組織の変化部位は、垂直方向には鼻下点(Subnasale)から顎先の最前方点まで、水平方向には左右唇端点(Right/Left Cheilion)から一定距離以内の領域までに設定されるとよいが、このような皮膚軟組織の変形部位は、多様な臨床実験の結果、すなわち施術データによって変更可能である。
この時、皮膚軟組織の中で最も多い変形が伴われる上/下唇の最前方点から上下方向および両端方向に行くほど変形する程度が次第に減少する。変化量の減少を算出する方式の一例として、サイン関数(Sine Function)を利用することができるが、極めて単純ではあるが効果的である。
上述した方法を利用して、特定部分の骨格、例えば歯領域が変化する場合に、これに連動して変化する皮膚軟組織部位とその部位の変形率が局所部分毎に決定され、本発明にかかる顔面補正イメージ提供方法で実現されると、立体的な顔面の変形を仮想のイメージとして出力することができる。
もちろん、前記歯モデルの変化に応じた唇の変形比率は、図15のように、入力ウィンドウを介して使用者が直接入力することもできるが、その理由は、施術者ごとに変形比率に関する理論および基準が少しずつ異なるだけでなく、唇の厚さなどといった患者の特性によってもこの比率が少しずつ変わるからである。
前記歯以外の他の部位、例えば頬骨が変化する場合には、前記頬骨の変化に連動して変形する軟組織変形領域とその部分の局所部位毎変形比率も別途に設定される。
図17のように、画面右側の上唇(Upper Lip)トラックバーと下唇(Lower Lip)トラックバーを調節すると、上下唇の位置がそれぞれ上下方向に調節されて、画面上に出力可能である。
そして、本発明によれば、下唇の先から首部分までを結んだラインを矯正するシミュレーションを行うこともでき、このライン上に置かれた複数の矯正点(control point)の位置をマウスで移動させてラインの形状を変形すると、顎部分の形状が自然に変形して最適な顔面形態を導出することができる。
一方、前記イメージ出力モジュール130は、前記側面頭部イメージと前記正面頭部イメージとが垂直に交差する状態で重畳した重畳イメージを画面上に出力することもでき、このようなイメージは選択的に行われる。これは、前記側面頭部イメージを画面上に一定角度で回転させて出力し、前記側面頭部イメージに垂直に交差するように前記正面頭部イメージを画面上に回転させて出力するが、この時、前記側面頭部イメージによって前記正面頭部イメージは二分された形態となり、前記正面頭部イメージは、前記3次元顔面イメージおよび前記側面頭部イメージと共に重畳した形態になるとよく、この時、前記3次元顔面イメージの透明度の調節によって前記正面および側面頭部イメージだけが画面上に表示されてもよい。
次に、図19を参照すれば、前記イメージ出力モジュール130は、前記(b)ステップにおいて、前記シミュレーションの前および後の姿、すなわち施術前の姿と予測顔面イメージを同時に1つの画面に出力するか、順次に画面に出力する比較画面出力ステップを行うこともできる。
つまり、画面右側のBeforeボタンとAfterボタンを交互に押しながら、シミュレーションの前および後の姿を比較することができる。そして、図20のように、前記予測顔面イメージ上に等高線が出力されてもよい。
そして、画面右側の等高線(Contour)ボックスを選択すると、前歯の移動による唇部位と顎部分の変形した程度を等高線の形態で見ることができる。変形した程度が同じ部分を連結して1つのラインが生成され、一定間隔の複数の変形値に対してそれぞれこのようなラインを描く。等高線にマウスポインタを置くと、実際の変形値がmm単位で出力されてもよい。前記等高線は、骨格変化に応じた皮膚軟組織の変形値を基に画面上に出力される。
一方、本発明は、コンピュータを、顔面矯正対象者の頭蓋骨イメージを有する頭部イメージと、前記顔面矯正対象者の3次元顔面イメージとを重畳させて、整合イメージを生成する整合手段と、前記頭部イメージの骨格変化に応じて皮膚軟組織を変形させて、予測顔面イメージを画面上に出力するイメージ出力手段として機能させるための顔面補正イメージ提供プログラムを記録したコンピュータ読み取り可能な記録媒体、または前記プログラムをネットワークを介して提供するように前記コンピュータ読み取り可能なプログラムを記録したシステムサーバなどの装置として提供されてもよい。前記記録媒体は、前述した顔面補正イメージ提供方法の各ステップを実現するためのプログラムが収録可能である。
以上、本発明にかかる好ましい実施形態を説明し、前記説明された実施形態以外にも本発明がその主旨や範疇を逸脱しない範囲内で他の特定形態で具体化できることは当該技術における通常の知識を有する者には自明である。そのため、上述した実施形態は制限的ではなく例示的なものと理解されなければならず、これにより、本発明は、上述した説明に限定されず、添付した請求項の範疇およびその同等範囲内で変更可能である。
本発明は、歯科矯正分野や整形分野に用いられる仮想整形シミュレーションシステムおよび仮想整形方法に関するものであって、仮想整形シミュレーションのための装置および方法の製造分野に対して産業上の利用可能性を有し、本発明で開示される顔面補正イメージ提供方法およびそのシステムによれば、皮膚軟組織を支持する頭蓋骨や歯または補形物などの骨格変化に応じて前記皮膚軟組織の変化と施術後の予測顔面イメージがコンピュータや端末などの画面上に示されるため、骨格変化に応じた皮膚軟組織の変化を予測することができ、これを通じて顔面矯正術の施術の精度を高めることができ、施術計画づくりが正確かつ便利で、患者と医療従事者との間の円滑なコミュニケーションおよび医療相談が進行可能である。

Claims (16)

  1. 顔面矯正対象者の頭蓋骨イメージを有する頭部イメージ(Cephalomeric Image)と、前記顔面矯正対象者の3次元顔面イメージとを重畳させて、整合イメージを生成する(a)ステップと、
    前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力する(b)ステップとを含むことを特徴とする顔面補正イメージ提供方法。
  2. 前記(a)ステップは、
    前記顔面イメージと前記頭部イメージとの重畳のために、前記顔面イメージ上に設定される複数の第1整列点と、前記皮膚軟組織によって形成される前記頭部イメージの輪郭上に前記第1整列点に対応する位置に設定される第2整列点とを一致させて、前記顔面イメージと前記頭部イメージとを重畳させることを特徴とする請求項1に記載の顔面補正イメージ提供方法。
  3. 前記(a)ステップは、
    前記第1整列点と前記第2整列点が入力される(a1)ステップと、
    前記頭部イメージが重畳した前記顔面イメージを前記画面に出力する(a2)ステップとを含むことを特徴とする請求項2に記載の顔面補正イメージ提供方法。
  4. 前記(a)ステップは、前記頭部イメージと前記顔面イメージとの大きさおよび方向を同一に調節する(a3)ステップをさらに含むことを特徴とする請求項3に記載の顔面補正イメージ提供方法。
  5. 前記第1整列点は、一対の顔面整列点を含み、前記第2整列点は、前記顔面整列点に対応する位置の一対の輪郭整列点を含み、前記顔面整列点によって形成される第1ベクトルと、前記輪郭整列点によって形成される第2ベクトルとの大きさおよび方向を一致させて、前記(a3)ステップを行うことを特徴とする請求項4に記載の顔面補正イメージ提供方法。
  6. 前記(a)ステップは、前記第1整列点を前記第2整列点に一対一に対応させるために、前記(a1)ステップの前に、前記第1整列点にそれぞれ形成され、方向および長さの調節が可能な整合整列線を画面に出力する(a4)ステップをさらに含むことを特徴とする請求項3に記載の顔面補正イメージ提供方法。
  7. 前記(a)ステップは、前記顔面イメージに設定された整合基準線によって分割される前記顔面イメージの断面上に前記頭部イメージを重畳させて、前記整合イメージを生成することを特徴とする請求項2に記載の顔面補正イメージ提供方法。
  8. 前記整合基準線は、前記顔面イメージを左右に二分する縦線であり、前記頭部イメージは、前記顔面矯正対象者の頭部を顔の正面と90度をなす側面から撮影した側面イメージであることを特徴とする請求項7に記載の顔面補正イメージ提供方法。
  9. 前記(a)ステップは、前記頭部イメージが前記画面上に出力されるように、頭部イメージによって分割された前記顔面イメージの一側部分を前記画面上に透明に出力することを特徴とする請求項1に記載の顔面補正イメージ提供方法。
  10. 前記(b)ステップは、
    前記頭部の骨格変化に対応して前記皮膚軟組織の変化を算出する(b1)ステップと、
    前記皮膚軟組織の変化に基づいて前記予測顔面イメージを画面上に出力する(b2)ステップとを含むことを特徴とする請求項1に記載の顔面補正イメージ提供方法。
  11. 前記皮膚軟組織の変化は、前記頭部の骨格変化は、歯列の移動および頭蓋骨の形状変化のうちの少なくともいずれか1つによって行われることを特徴とする請求項10に記載の顔面補正イメージ提供方法。
  12. 前記(b2)ステップは、前記予測顔面イメージ上に前記皮膚軟組織の変化を示すための等高線を選択的に出力することを特徴とする請求項10に記載の顔面補正イメージ提供方法。
  13. 前記(b)ステップは、前記予測顔面イメージのシミュレーションの前および後の姿を同時にまたは順次に画面上に出力することを特徴とする請求項1に記載の顔面補正イメージ提供方法。
  14. 顔面矯正対象者の頭蓋骨イメージを有する頭部イメージ(Cephalomeric Image)と、前記顔面矯正対象者の3次元顔面イメージとを重畳させて、整合イメージを生成する整合モジュールと、
    前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力するイメージ出力モジュールとを含むことを特徴とする顔面補正イメージ提供システム。
  15. 顔面矯正対象者の頭蓋骨イメージを有する2次元頭部イメージを取得する第1イメージ取得ユニットと、
    前記顔面矯正対象者の顔面を撮影して3次元顔面イメージを取得する第2イメージ取得ユニットと、
    前記頭部イメージと前記3次元顔面イメージを受信して格納するイメージ格納モジュールと、
    前記イメージ格納モジュールに格納された前記頭部イメージと、前記顔面イメージとを重畳させて、整合イメージを生成する整合モジュールと、
    前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力するイメージ出力モジュールとを含んで構成されることを特徴とする顔面補正イメージ提供コンピュータシステム。
  16. コンピュータを、
    顔面矯正対象者の頭蓋骨イメージを有する頭部イメージと、前記顔面矯正対象者の3次元顔面イメージとを重畳させて、整合イメージを生成する整合手段と、
    前記整合イメージの皮膚軟組織を、変形に応じた予測顔面イメージを画面上に出力するイメージ出力手段として機能させるための顔面補正イメージ提供プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2013555356A 2011-02-22 2012-02-09 顔面補正イメージ提供方法およびそのシステム Active JP6273149B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2011-0015529 2011-02-22
KR1020110015529A KR101223937B1 (ko) 2011-02-22 2011-02-22 안면보정 이미지 제공방법 및 그 시스템
PCT/KR2012/000975 WO2012115373A2 (ko) 2011-02-22 2012-02-09 안면보정 이미지 제공방법 및 그 시스템

Publications (3)

Publication Number Publication Date
JP2014513824A true JP2014513824A (ja) 2014-06-05
JP2014513824A5 JP2014513824A5 (ja) 2015-04-02
JP6273149B2 JP6273149B2 (ja) 2018-01-31

Family

ID=46721294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013555356A Active JP6273149B2 (ja) 2011-02-22 2012-02-09 顔面補正イメージ提供方法およびそのシステム

Country Status (6)

Country Link
US (1) US11151802B2 (ja)
EP (1) EP2680233B1 (ja)
JP (1) JP6273149B2 (ja)
KR (1) KR101223937B1 (ja)
CN (1) CN103443827B (ja)
WO (1) WO2012115373A2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068560A (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム、並びに画像処理システム
KR101769334B1 (ko) 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20180103672A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
KR20190042292A (ko) * 2017-10-16 2019-04-24 오스템임플란트 주식회사 영상 정합을 위한 방사선 영상 촬영 방법 및 장치
WO2020184288A1 (ja) * 2019-03-13 2020-09-17 国立大学法人大阪大学 治療後の表情表出時の顔面形態予測方法及びシステム
KR20200112513A (ko) * 2019-03-22 2020-10-05 주식회사 바이오큐빅스 치아 교정을 위한 진단 정보의 제공 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101439283B1 (ko) * 2012-08-08 2014-09-11 권순용 가상 의료시술방법/치과시술방법 및 이를 위한 시스템
KR102342402B1 (ko) * 2013-06-05 2021-12-23 이희중 성형외과적 수술용 보형물 및 그 제조 방법
KR101510859B1 (ko) 2013-07-30 2015-04-17 경희대학교 산학협력단 방사선 영상 촬영용 두부 고정장치
KR101613159B1 (ko) * 2014-12-31 2016-04-20 오스템임플란트 주식회사 치아 영상 자동 정합 방법, 이를 위한 장치 및 기록 매체
JP6841609B2 (ja) 2015-07-10 2021-03-10 3スキャン インコーポレイテッド 組織学的染色の空間的多重化
US10078711B2 (en) * 2015-08-21 2018-09-18 International Business Machines Corporation Data driven shrinkage compensation
US10188465B2 (en) * 2015-08-26 2019-01-29 Biosense Webster (Israel) Ltd. Automatic ENT surgery preplanning using a backtracking maze problem solution
US10846838B2 (en) 2016-11-25 2020-11-24 Nec Corporation Image generation device, image generation method, and storage medium storing program
WO2018164327A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 얼굴에 관한 해부학적 레이어를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164394A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164328A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2018164329A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US10921409B2 (en) * 2017-03-24 2021-02-16 Canon Medical Systems Corporation Magnetic resonance imaging apparatus, magnetic resonance imaging method and magnetic resonance imaging system
US10709351B2 (en) 2017-03-24 2020-07-14 Canon Medical Systems Corporation Magnetic resonance imaging apparatus, magnetic resonance imaging method and magnetic resonance imaging system
KR102007316B1 (ko) * 2017-05-31 2019-08-05 연세대학교 산학협력단 외장 의안의 3차원 영상 생성 장치 및 방법
KR101856907B1 (ko) 2017-10-18 2018-05-10 강동호 틀니 교정 장치 및 이에 의한 틀니 교정 방법
US20200410210A1 (en) * 2018-03-12 2020-12-31 Carnegie Mellon University Pose invariant face recognition
KR102135231B1 (ko) * 2018-09-21 2020-07-17 서울대학교산학협력단 안면 보철 장치 및 제조 방법
CN110428483B (zh) * 2019-07-31 2021-09-03 北京长木谷医疗科技有限公司 一种图像处理方法及计算设备
CN111324250B (zh) * 2020-01-22 2021-06-18 腾讯科技(深圳)有限公司 三维形象的调整方法、装置、设备及可读存储介质
US10898298B1 (en) 2020-04-08 2021-01-26 Oxilio Ltd Systems and methods for determining orthodontic treatment
KR102475962B1 (ko) * 2020-08-26 2022-12-09 주식회사 어셈블써클 임상 영상의 시뮬레이션 방법 및 장치
CN112656567B (zh) * 2020-12-18 2022-11-08 上海交通大学医学院附属第九人民医院 一种严重颌面骨折外固定头盔的制作方法
USD982031S1 (en) * 2020-12-21 2023-03-28 3Shape A/S Display screen or portion thereof with a transitional graphical user interface
CN113658246A (zh) * 2021-07-27 2021-11-16 中航西安飞机工业集团股份有限公司 一种曲面正侧判定和调整方法
KR102463626B1 (ko) * 2022-05-19 2022-11-04 주식회사 쓰리디오엔에스 상이한 차원의 복수의 이미지 간에 정합을 수행하는 방법, 서버 및 컴퓨터 프로그램
CN114848180B (zh) * 2022-07-05 2022-10-14 南京瑞德医疗科技有限公司 基于自适应正畸软件的软组织面型改变预测方法及系统
KR20240039772A (ko) 2022-09-20 2024-03-27 사회복지법인 삼성생명공익재단 안면 교정 수술 후의 연조직 변화를 예측하는 방법 및 영상처리장치
KR102606373B1 (ko) * 2023-04-25 2023-11-24 주식회사 오핌디지털 영상에서 검출되는 얼굴의 랜드마크를 조절하기 위한 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000185036A (ja) * 1998-12-24 2000-07-04 Toshiba Corp 医用画像表示装置
US20020035458A1 (en) * 2000-09-20 2002-03-21 Chang-Hun Kim Method and system for virtual surgery
US20040029068A1 (en) * 2001-04-13 2004-02-12 Orametrix, Inc. Method and system for integrated orthodontic treatment planning using unified workstation
JP2006204330A (ja) * 2005-01-25 2006-08-10 Hitachi Medical Corp 画像表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081739A (en) * 1998-05-21 2000-06-27 Lemchen; Marc S. Scanning device or methodology to produce an image incorporating correlated superficial, three dimensional surface and x-ray images and measurements of an object
KR100469086B1 (ko) * 2000-05-25 2005-01-31 정필훈 3차원 골조직 또는 연조직 모형 제작 장치, 이의 응용방법및 이에 따른 모형
GB2364494A (en) * 2000-06-30 2002-01-23 Tricorder Technology Plc Predicting changes in characteristics of an object
US7156655B2 (en) * 2001-04-13 2007-01-02 Orametrix, Inc. Method and system for comprehensive evaluation of orthodontic treatment using unified workstation
US6879712B2 (en) * 2001-05-25 2005-04-12 Orhan C. Tuncay System and method of digitally modelling craniofacial features for the purposes of diagnosis and treatment predictions
KR20090115884A (ko) * 2001-10-31 2009-11-09 이마그노시스 가부시키가이샤 의료용 시뮬레이션장치
KR20040075672A (ko) * 2003-02-21 2004-08-30 정보통신연구진흥원 계층적 가상 성형시뮬레이션 방법
GB0414277D0 (en) * 2004-06-25 2004-07-28 Leuven K U Res & Dev Orthognatic surgery
US7953260B2 (en) * 2006-06-09 2011-05-31 Craniosim Solutions, Inc. Predicting movement of soft tissue of the face in response to movement of underlying bone
US7567752B2 (en) * 2006-11-24 2009-07-28 Sony Ericsson Mobile Communications Ab Image alignment system with overlying frame in display
CN101339670B (zh) * 2008-08-07 2010-06-09 浙江工业大学 一种计算机辅助的三维颅面复原方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000185036A (ja) * 1998-12-24 2000-07-04 Toshiba Corp 医用画像表示装置
US20020035458A1 (en) * 2000-09-20 2002-03-21 Chang-Hun Kim Method and system for virtual surgery
US20040029068A1 (en) * 2001-04-13 2004-02-12 Orametrix, Inc. Method and system for integrated orthodontic treatment planning using unified workstation
JP2006204330A (ja) * 2005-01-25 2006-08-10 Hitachi Medical Corp 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
青木義満 外3名: "X線規格画像を用いた3次元頭部物理モデルの構築とその臨床応用", 電子情報通信学会論文誌, vol. 第J84-D-II巻 第2号, JPN6015046095, 1 February 2001 (2001-02-01), pages 390 - 399, ISSN: 0003196668 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068560A (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム、並びに画像処理システム
JP2018534050A (ja) * 2015-11-18 2018-11-22 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯の状態を視覚化する方法
KR101769334B1 (ko) 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20180103672A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102006019B1 (ko) 2017-03-10 2019-10-01 주식회사 모르페우스 시술에 대한 결과 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20190042292A (ko) * 2017-10-16 2019-04-24 오스템임플란트 주식회사 영상 정합을 위한 방사선 영상 촬영 방법 및 장치
KR102007166B1 (ko) * 2017-10-16 2019-08-05 오스템임플란트 주식회사 영상 정합을 위한 방사선 영상 촬영 방법 및 장치
WO2020184288A1 (ja) * 2019-03-13 2020-09-17 国立大学法人大阪大学 治療後の表情表出時の顔面形態予測方法及びシステム
KR20200112513A (ko) * 2019-03-22 2020-10-05 주식회사 바이오큐빅스 치아 교정을 위한 진단 정보의 제공 방법
KR102330488B1 (ko) 2019-03-22 2021-11-25 (주)바이오큐빅스 치아 교정을 위한 진단 정보의 제공 방법

Also Published As

Publication number Publication date
CN103443827A (zh) 2013-12-11
US11151802B2 (en) 2021-10-19
US20130328869A1 (en) 2013-12-12
WO2012115373A2 (ko) 2012-08-30
KR20120096238A (ko) 2012-08-30
KR101223937B1 (ko) 2013-01-21
EP2680233B1 (en) 2020-04-29
EP2680233A2 (en) 2014-01-01
JP6273149B2 (ja) 2018-01-31
CN103443827B (zh) 2017-03-29
EP2680233A4 (en) 2017-07-19
WO2012115373A3 (ko) 2012-12-20

Similar Documents

Publication Publication Date Title
JP6273149B2 (ja) 顔面補正イメージ提供方法およびそのシステム
US20180153659A1 (en) System and method for effective planning, visualization, and optimization of dental restorations
CN103784202B (zh) 一种用于正畸矫治器的设计中的方法、计算设备和计算机程序产品
US8805048B2 (en) Method and system for orthodontic diagnosis
EP2134290B1 (en) Computer-assisted creation of a custom tooth set-up using facial analysis
KR101799878B1 (ko) 2d 영상 장치
KR101316892B1 (ko) 치과 치료용 가상 수술 장치 및 그 방법과 그를 이용한 웨이퍼 제작 방법
EP3672477A1 (en) Method of optimization in orthodontic applications
JP5883816B2 (ja) 顎変形症術後顔貌予測方法及びシステム
US20230132126A1 (en) Methods for generating facial lines for dental treatment planning
CN107802276B (zh) 头颅影像的描迹图绘制装置和方法
KR20220118074A (ko) 치과 교정치료 계획 수립방법 및 그 장치
KR101439283B1 (ko) 가상 의료시술방법/치과시술방법 및 이를 위한 시스템
KR102302249B1 (ko) 영상처리와 cnn을 이용한 자동 3차원 세팔로메트리 장치 및 방법
KR102226467B1 (ko) 턱교정 수술을 위한 시뮬레이션 장치 및 방법
RU2610911C1 (ru) Система и способ виртуального прототипирования улыбки на базе тактильного компьютерного устройства
Sigouin A novel method to integrate intra-oral scan models with 3D facial images
JP2022528819A (ja) 歯科診断において患者の頭蓋顎顔面領域における上顎に対する下顎の動きをリアルタイムで可視化するための装置
LEE et al. The Quantitative Assessment of the Korean Adult Skull in 3-D: A Pilot Study
Sinthanayothin et al. Skull Simulation from 2 View X-ray Projections using 3D Warping Technique

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161109

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161201

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180105

R150 Certificate of patent or registration of utility model

Ref document number: 6273149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250