JP2009524448A - 口腔内の3次元モデリング - Google Patents

口腔内の3次元モデリング Download PDF

Info

Publication number
JP2009524448A
JP2009524448A JP2008549980A JP2008549980A JP2009524448A JP 2009524448 A JP2009524448 A JP 2009524448A JP 2008549980 A JP2008549980 A JP 2008549980A JP 2008549980 A JP2008549980 A JP 2008549980A JP 2009524448 A JP2009524448 A JP 2009524448A
Authority
JP
Japan
Prior art keywords
dimensional
image
array
pattern
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008549980A
Other languages
English (en)
Other versions
JP5106418B2 (ja
Inventor
アーンスト、モーリス、モシェ
ネタ、ウリ
コーエン、カルミ
ゲフェン、ミチャ
Original Assignee
デンシス エルティーディー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デンシス エルティーディー. filed Critical デンシス エルティーディー.
Publication of JP2009524448A publication Critical patent/JP2009524448A/ja
Application granted granted Critical
Publication of JP5106418B2 publication Critical patent/JP5106418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Endoscopes (AREA)
  • Image Generation (AREA)

Abstract

口腔内状況特徴の3次元モデルを生成する方法。口腔内状況は、アンチエイリアシングのための保存された画素の2次元パターンの使用によりアンチエイリアシングを実現しながら、構造化照明点の2次元アレイによって照らされる。画像を形成するために単一カメラを使用することにより、患者の口への導入が必要な装置の量が低減される。3次元モデルは、平面などの基準面への構造化照明の保存画像による三角測量によって、単一画像から取得される。代替方法は、「バーコード式」1次元パターンの使用を含む。

Description

本発明は、3次元物体のコンピュータ・モデリングに関し、特に、歯科応用の口腔内対象物とその特徴の3次元モデリングのためのシステムおよび方法に関する。
歯科医療では、口の内部状況の3次元(ここでは「3D」と表わす)モデルを作る必要性がある。「口腔内状況」という表現は、ここでは、視覚化可能でモデリング可能な口腔内対象物、人工物、表面あるいは特徴などのいかなる集合をも意味する。口腔内状況のそのようなモデルは、歯科実地の様々な局面に役立つ。歯科における自動計測および撮像技術の有用性、有効性ならびに手順的および経済的な影響の周知の実例は、歯冠、ブリッジ、義歯あるいはインプラントのような補綴を必要とする歯科患者の診察、チャーティング、診断、および治療などである。口腔内対象物の計測、撮像およびマッピングから得られるデータと情報は、歯科補綴を正確にコスト効率良く設計し、製造し、嵌合させ、モニターすることに使用でき、これにより、労働集約的かさもなければ材料と時間という点で高価な現在使われている不正確な非撮像技術に代わるものである。歯科自動計測および撮像技術は、様々な種類の修復処置、咬合採得、歯列矯正術の治療、顎関節(TMJ)機能不全治療の実行に対してもまた適用可能である。
電気光学の技術は、使用コストに加えて設備投資という点で比較的安価であり、患者に対して無害であると考えられているため、医療撮像においてしばしば使用されている。しかしながら、このような技術は、歯科撮像に付随する特定の状況と問題に対応しなければならない。
歯科分野に医療光学撮像を適用する際の重要な制約は、以下のようなものがある。
スペース制約:装置は口という境界内に快適に合うように十分に小型でなければならない。
時間制約:画像は、従事者と装置の動きと同様に患者の動きの問題を回避するため短い時間で形成されなければならない。
表面細部制約:口腔内状況の3D表面輪郭を正確にプロットするためには、口腔内特徴が部分的にしか見えない可能性のある多くの近接撮影応用において、表面細部の欠落や不足を考慮に入れなければならない。
口腔内対象物の3次元分布計測とマッピングは、様々な方法の使用により実現されてきた。典型的な口腔内対象物とその特徴は、歯;歯肉;口腔内の軟組織;骨物質;歯科アンダーカット;永久的または取外し可能などのあらゆる種類の口腔の内に在る歯科固定具と歯科補綴のどのような組合せの一部または全部をも含むがこれらに限定されない。例えば、本発明の発明者のうちの1人であり主に歯科応用に関与しているエルンスト(Ernst)に付与された米国特許第 6,402,707号に開示されているように、特定の口腔内対象物とその特徴が計測され得る。本出願において、後の医学的処置のための参照として役立てるようコンピューターに保存可能な複合データベースの作成のためには多くの周知の方法を用いることができる。
実際には、口腔内対象物には認識可能な表面の外科的特徴が不足しているため、ある種の制約が課される。その制約は、3Dモデリングのために表面が3次元的にサンプリングされるべき状況でしばしば見られる。不十分な定量的および定質的な表面詳細を補うための様々な公知の技術がある。表面詳細の取得を向上させるためのこれらの技術には、撮像用光学的性質を改善するため画像化される対象物の表面への粉体の噴霧;構造化照明パターンの投影および/または回折ならびにこれらの変形の観察(別個あるいは組み合わせてのいずれでも)などがある。
表面特徴のマップまたは3次元分布モデルを作るため、いくつかの方法が開示されている。例えば、アクティブ三角測量が具体的な一方法であり、表面上の物の分布を計測するために活性光スポットといくつかのカメラを用いる。活性光スポットを走査すれば、表面の全体マップを作製することが可能である。写真測量は、写真から3次元情報を抽出するために分析的方法が適用される専門技術である。画像に基づくいかなる専門技術と同様に写真測量は、用いられるカメラによって得られる情報の範囲により、マップ生成へ容易に拡張される。
上記で示唆したように、特徴の分布のモデルを電子的に構成する目的での口腔内状況を3次元計測することは、口腔内状況のマルチビュー画像を取得し、続いてその画像に適切な分析的なアルゴリズムを適用することによって達成できるということは、よく知られていることである。同じ口腔内状況の少なくとも2つの画像が、異なる視角から取得される。口腔内状況において一致する特徴について対応する画像の中を探索する。ある特徴の相対的高さ(z−次元)を計算するために、同じ口腔内状況の異なる画像での該特徴の一致する外観の視差が、基準点からの該特徴の距離を算出する三角測量によって計算される。画像における特徴の明瞭性をさらに増すためのいくつかの通常技術を以下に述べる。
ここで参照される図1は、着目部位の通常の従来技術の3次元モデリング中で行われるステップの順序について述べるフローチャートである。ステップ40において、口腔内状況の中の特徴の識別性を強調する。ステップ42において、着目部位の画像を異なる角度から取得する。ステップ44において、取得された異なる画像の特徴の間でのマッチングを行う。ステップ46において、異なる画像における同一の特徴に対して視差が計測される。ステップ48において、該識別された特徴のZ軸の値を計算する。次に、3Dマップ又はモデルを編集し、その識別された特徴のxwz空間内での分布を描写することができる。
しかしながら、先に述べたように、歯科作業における重要な制約は、多くの状況において表面細部が無いことである。相当な量の表面細部がなくては、表面特徴を明白にマッチングさせて正確な三角測量を行うことはできない。この問題を解決するためには、口腔内状況を一様に照らし、かつ複雑なパターン認識アルゴリズムを通して特徴をマッチングさせようとするのではなく、口腔内状況全体にわたって光のビームを走査し、強調された線あるいは点のアレイを作ることがよく知られている方法である。この「構造化照明」を先に言及した三角測量での特徴のマッチングに用いることができる。結果として得られる3Dモデルは、「ワイヤーメッシュ」あるいは口腔内状況の「多面体の」モデルである。これは有利なアプローチである。何故なら、モデルの分解能が、口腔内状況一帯に走査された線あるいは点の密度を変えることにより、容易に変えられ得るからであり、また、多くの着目の口腔内状況に対して、(構造化照明によって照らされない)線あるいは点の間の領域は、様々な平滑化関数を用いて近似できるからである。その結果は、比較的簡単なアルゴリズムを使用して分析できる調整可能な精度のモデルである。
ただ、しかしながら、特に高分解能が所望である場合、走査(本質的に1次元あるいは「1D」アプローチ)は、時にして、過度の時間を必要とする場合がある。対照的に、撮像(2次元あるいは「2D」アプローチ)は、同じ時間にはるかに大きな情報量を取り込むことができるか、あるいは、はるかに小さな時間で同じ情報量を取り込むことができる。この要因は、患者、従事者、装置の動きへの悪い影響を低減するために前述の時間制約を考慮するとき、重要である。
コービー(Corby)に付与された米国特許番号第4,687,325号(ここでは「コービー」と表す)は、口腔内状況について単一画像を使用した構造化照明を採用することも可能であり、これによって三角測量は、平面あるいは既知の曲率を有する他の表面に投影された構造化照明の保存画像(あるいはそれに対応するデータ)に関して実行されると述べている。しかしながら、コービーは1次元の走査技法の使用に制約されている。これは(上記のように)、患者/従事者の動きがあり得るので、ある種の歯科応用では適切でないかもしれない。ハンス−ゲルドマース(Hans−Gerad Maas)は、写真測量と遠隔感知の国際アーカイブス Vol.XXIX、第B5部、709−713ページ(1992)(この内容は、完全にここに記載されているかのようにすべての目的のための参照により援用される)において、その表面が計算されることになっている近接物に投影された完全な格子の使用を同様に教示している。その投影された格子は、それが反射する表面においてその原形から変化しており、また、完全な格子からのそれらの変化はその反射面に対する3次元モデルを編集するために使用される。規則的な格子の採用に関連した制約は、不連続および不明瞭からのものである。不連続の場合には、反射表面上に現われる壊れた格子は、不連続な起伏によって引き起こされる。壊れた格子線は、この現象で導入された不明瞭が原因で、誤差の原因となる。
他の従来技術は、デュレ(Duret)他に付与された米国特許第4,952,149号(ここでは「デュレ」と表す)を含んでいる。そこでは、身体の一部の型を取る方法と装置が開示されており、それは型がとられるべき身体部上への正弦波形状の格子の投影を利用するものである。シュタインビヘル(Steinbichler)らに付与された米国特許第4,964,770号(ここでは「シュタインビヘル」と表す)では、義歯を造るプロセスが開示されている。そこでは、3次元マップを生成するために、水平あるいは他の等高線が、基礎残根と隣接面に生成されることが示されている。3次元再構成は、干渉分光法、モアレ、レーザー・スキャニングの方法の使用によって、達成される。マッセン(Massen)らに付与された米国特許第5,372,502号(ここでは「マッセン502」と表す)では、発明は、歯の表面上に投影された既知の画素細部のデジタル像とその歯の表面から反射された結果の歪んだ画像間を比較することにより、モアレ、位相変移、三角測量、写真測量技術に従って地形学的な描写を計算することに基づいている。探査子によって投影された無歪パターンと、口腔内の特定エリアから反射された歪パターンの間の比較を通じて、画像化された歯の地形学的な情報が得られる。マッセン(Massen)らに付与された米国特許第5,386,292号(ここでは「マッセン’292」と表す)では、発明には、エナメル質透光性のような要因による画像歪を修正するエラー要因が述べられている。カラーリ(Callari)らに付与された米国特許第6,529,627号では、対象物に手動で投影される構造化照明を用い、その3Dデータを初期3Dモデルへ統合することにより3Dモデルを導き出す、システムが記述されている。
線または点における構造化光を使用することにおける認識されている問題のうちの1つは、構造化照明のエイリアシング又は偽マッチングの問題である。光の単純点は、他の光の単純点から通常判別不能である。したがって、1つの画像から他の画像に同じ点をマッチングさせることには、不明瞭さが発生する場合がある。異なる画像を三角測量する場合に、異なる2点が誤ってマッチングさせられれば、結果のZ軸計算はエラーになるし、また、その3Dモデルは不完全になる。(同じ問題は線の使用に当てはまる。)電子撮像を使用した実時間走査では、異なる撮像センサからのアウトプットを同期させることは、アンチエイリアシングメカニズムとして役立つ。しかしながら、これは、構造化照明が投影された後に特徴マッチングされる投影(非走査)画像あるいは保存画像に対しては、タイミング情報が無いから、使用できない。また、それは上に言及されたシングル撮像方法と共には使用できない。構造化照明の符号化に異なるスキームを使用するいくつかのアンチエイリアシング方法は、コービーに述べられている。これらの方法のうちのいくつかは波長および(または)強度において構造化照明を変調することを含んでいる。コービー自身の方法は、空間的に変調された所定パターンを走査光に符号化することを含んでおり、それは明白に異なる画像でマッチングさせることが可能である。
繰り返しになるが、上に提示された時間制約は、歯科応用に対して注目される。特に、ある従来技術のスキームは、長時間あるいは繰り返し異なる回数にわたり、パターンで口腔内状況の同じ領域を照らすことを必要とするだろう。しかしながら、これらが実施されると、歯科患者、照明を投影する装置、画像を取り込む装置(カメラ)の間の相対的動きによりその計測に不正確さを招くことがあり得る。装置が歯科医によって保持されているか操作される場合、関わる動きにさらなる要因が加わるので、この状況は悪化する。
アルベック(Albeck)らに付与された米国特許番号第6,167,151号(ここでは「アルベック‘151」と表す)は、レーザースペックルの現象により空間的に変調されたランダムパターンを生成する手段を開示している。それは次に、多数の画像の中の対応点の識別のため、コービーの所定パターンと似た方法で使用され得る。アンチエイリアシングにおいて所定パターンに対してランダムパターンが優れている点は、別個の所定パターンのシステムの方が通常制約が多く、したがって数が限定されるのに対して、あるランダムシステムは、容易に多くの別個のパターンを数学的に生成できることである。しかしながら、所定パターン(コービーでのような)は絶対的に識別可能であるように前もって設定できる。ランダムパターンは、対照的に、予め決めることができず、したがって、それら自身の中でいくつかの類似性を示すことがあり得る。例えば、凹凸面上のコヒーレント光の干渉特性に依存するアルベック‘151のパターンは確率的であり、したがって、たとえこれがありそうもなくても異なるパターンが外形上類似していることがあり得る。したがって、アルベック‘151のアンチエイリアシングは、絶対的であるというよりむしろ統計的である。
アルベック‘151の主要な制約は、そのランダムパターンは、物理的なプロセス(レーザースペックル)によって生成されるが、保存も再生もできないことである。これにより、同じランダムスペックルパターンが異なる画像に含まれるように、構造化照明下の口腔内状況の多数の画像が同時に取り込まれることが必要になる。アルベック‘151のランダムパターンが保存も再生もできないという事実は、平らな表面(コービーに記載と上記した)のような既知の表面に当たる構造化照明の前に保存された画像が後に参照される構造化照明の下で口腔内状況の単一画像の使用をも排除する。
上に述べたように、かさばった装置の導入が許されないという口の内部が小スペースであるということによって重要な制約が課される。特に、口腔内特徴の構造化照明パターンを取り込み、既知の表面の記録された構造化照明パターンと比較するために単一の撮像センサー(単一画像か単一の投影を生成する)のみを使用することは非常に有利である。このようにすることで、口の中に置かれた装置の量を著しく減らし、先に言及されたような歯科応用の空間制約に対応できる。更に、患者および(または)従事者の動きによって引き起こされる問題をなくすため、走査技術ではなく撮像を採用することが望ましいだろう。
こうして、口という境界の中で使用される小型の装置、患者および/または従事者の動きによって引き起こされる問題をなくすための全口腔内状況を通じて3次元情報の同時取得、および大量の表面細部がない部分的な状況からの3次元情報を抽出するための能力を提供する歯科応用における口腔内特徴の3次元モデリングで使用されるシステムと方法に対して必要性が存在し、また、該システムと方法を有することは高度に望ましい。これらの目的は本発明によって満たされる。
本発明の目的は、歯科応用の3D口腔内モデリングを容易にする一方、口の内部に置かれる装置は最小にすることである。
本発明の目的は、また、口腔内特徴の部分視のみが利用可能であり得るモデリングされるべき対象物の表面細部に依存せずに、歯科応用の3Dの口腔内のモデリングを容易にすることである。
本発明のさらなる目的は、歯科応用のための3D口腔内撮像作業中の患者、従事者、装置の動きの影響を最小にするか無くすることである。
これらの目標を達成するために、本発明は、口腔内状況の画像を生成するために単一のカメラ(あるいは「視覚センサ」)を利用し、画像がモデリングされるべき口腔内特徴の表面に関する3D情報を含むようにする。
3次元モデリングのための「z」情報を入手するために、口腔内状況は、カメラによって画像を得ている間、口腔内状況に対して第1の角度から投影される構造化照明の2次元画像によって照らされる。次に、カメラは、口腔内状況に対して第2の角度に位置して、その第2の角度で見た2次元の「x−y」情報を含む正像を生成する。写真のスライドから投影された構造化照明は、口腔内状況の上に2次元アレイのパターンを重ね、その取り込まれた画像に写る。次に、口腔内状況における「z」情報は、第1の角度から照らされ基準面に投影された構造化照明の画像を基準にして、単一画像上のアレイにおける各パターンに付いて三角測量を実行することにより構造化照明下の状況のカメラ映像から再生される。
口腔内状況の画像と保存された画像の対応点を明白にマッチングさせるために、構造化照明の各点は、すでに生成された投影可能な媒体(限定しない例として、例えば写真のスライドがある)に保存されていた2次元のランダムパターンにより空間的に変調される。従来技術のアルベック‘151のランダムパターンと異なり、本発明のランダムパターンは、画像化される口腔内状況上に投影されたパターンが保存された画像の中の対応するパターンと同じになるように複製可能である。更に、従来技術のコービーのパターン(1次元)と異なり、本発明の或る好ましい実施形態のパターンは2次元である。
したがって、本発明の第1の態様によれば、歯科応用のための口腔内状況の表面特徴の3次元モデリングのための方法が提供され、この方法は以下を含む:(a)複数のランダム2次元パターンの2次元アレイを生成する;(b)投影可能な媒体にそのアレイを保存する;(c)第1の角度から基準面上に投影可能な媒体からそのアレイを投影する;(d)基準面に投影されたアレイの第1の画像を取得し、その第1の画像の取得は第2の角度から実行される;(e)第1の角度から口腔内状況上に投影可能な媒体からそのアレイを投影する;(f)第2の角度から口腔内状況に投影されたそのアレイの第2の画像を取得する;(g)そのランダムパターンの2次元相対位置を、画像におけるその相対位置に基づいて計算する;(h)第1の画像におけるランダム2次元パターンを第2の画像におけるランダム2次元パターンにマッチングさせる;(i)第1の画像におけるランダムパターンと第2の画像におけるランダムパターンとの間の視差を計算する;(j)2次元相対位置とその視差に基づいてランダムパターンの3次元相対位置を計算する;(k)3次元相対位置に基づいて口腔内状況の3次元モデルを構成する。
本発明の第2の態様によれば、歯科応用のための口腔内状況の表面特徴の3次元モデリングのための方法が提供され、この方法は以下を含む:(a)複数のランダム1次元パターンの2次元アレイを生成する;(b)投影可能な媒体にそのアレイを保存する;(c)第1の角度から基準面上に投影可能な媒体からそのアレイを投影する;(d)基準面に投影されたそのアレイの第1の画像を取得し、第1の画像の取得は第2の角度からの実行される;(e)第1の角度から口腔内状況上に投影可能な媒体からそのアレイを投影する;(f)第2の角度から口腔内状況に投影されたそのアレイの第2の画像を取得する;(g)そのランダムパターンの2次元相対位置を、画像におけるそれの相対位置に基づいて計算する;(h)第1の画像におけるランダム1次元パターンを第2の画像におけるランダム1次元パターンにマッチングさせる;(i)第1の画像におけるランダムパターンと第2の画像におけるランダムパターンとの間の視差を計算する;(j)2次元相対位置とその視差に基づいてランダムパターンの3次元相対位置を計算する;(k)3次元相対位置に基づいて口腔内状況の3次元モデルを構成する。
第3の態様では、本発明は、歯科応用のための口腔内状況の表面特徴の3次元モデリングのためのシステムを提供することに関し、このシステムは以下を含む:
複数のランダム2次元パターンの2次元アレイ;
前記アレイのための記憶媒体であって、前記アレイを投影させるよう作用する記憶媒体;
基準面上に投影された前記アレイの第1の画像;
第1の角度の口腔内状況に前記記憶媒体から前記アレイを投影するためのプロジェクタ;
第2の角度から口腔内状況上に投影された前記アレイの第2の画像を取得するための取得手段;
前記ランダムパターンの2次元相対位置を、画像におけるその相対位置に基づいて計算するための第1の位置計算器;
前記第1の画像における前記ランダム2次元パターンを前記第2の画像における前記ランダム2次元パターンにマッチングさせるためのパターンマッチング手段;
前記第1の画像における前記ランダムパターンと前記第2の画像における前記ランダムパターンと間の視差を計算するための視差計算器;
前記2次元相対位置と前記視差に基づいて前記ランダムパターンの3次元相対位置を計算するための第2の位置計算器;
前記3次元相対位置に基づいて口腔内状況の3次元モデルを構成するためのモデリング手段。
第4の態様では、本発明は、歯科応用のための口腔内状況の表面特徴の3次元モデリングのためのシステムを提供することに関し、このシステムは以下を含む:
複数のランダム1次元パターンの2次元アレイ;
前記アレイのための記憶媒体であって、前記アレイを投影させるよう作用する記憶媒体;
基準面上に投影された前記アレイの第1の画像;
第1の角度の口腔内状況に前記記憶媒体から前記アレイを投影するためのプロジェクタ;
第2の角度から口腔内状況上に投影された前記アレイの第2の画像を取得するための取得手段;
前記ランダムパターンの2次元相対位置を、画像におけるそれの相対位置に基づいて計算するための位置計算器;
前記第1の画像における前記ランダム1次元パターンを前記第2の画像における前記ランダム1次元パターンにマッチングさせるためのパターンマッチング手段;
前記第1の画像における前記ランダムパターンと前記第2の画像における前記ランダムパターンと間の視差を計算するための視差計算器;
前記2次元相対位置と前記視差に基づいて前記ランダムパターンの3次元相対位置を計算するための位置計算器;
前記3次元相対位置に基づいて口腔内状況の3次元モデルを構成するためのモデリング手段。
本発明による方法の原理と動作は、図面とそれに伴う説明を参照して理解され得る。
本発明に従って、保存されたランダムパターンを含んでいる構造化照明は単一画像によって3次元でモデリングされるべき口腔内状況に表面特徴を伝達するために使用される。そこでは三角測量が、平面のような既知の表面上に異なる角度からあたる構造化照明の保存画像に相関して実行される。本発明の方法は、歯科獣医学の実践と法医学の歯科医学での使用に供される他、様々な歯科の応用と分野で適用され得る。本発明の好ましい実施形態では、口内の着目部位に投影された光は、各投影されたパターンが、光が投影された全領域一帯に確率的に一意であるようなランダム構造化されランダム分布されたパターンを持つ。本発明の方法は図2Aと図2Bを参照して説明される。取得する画像60は、境界線62により囲まれている。画像60内では、いくつかの別個の画素集合体64、66、68は明らかに、各集合体が他のパターンとは異なり、また背景70とも明確に異なっている別個のパターンを形成する。図2Bでは、パターン84は、破線楕円面によって概略的に描かれた別個の存在として規定されている。パターン86も同様に規定され区画されて、また、パターン88はそのように区画された3番目のパターンである。本発明のこれらのパターンが、1次元のコービーのもののような従来技術のパターンとは対照的に、2次元であることは再度注目される。
本発明に従って、保存されたランダムパターンは、口腔内状況に投影され、あるパターンが投影領域に二度以上現われる確率が非常に低くなるようにモデリングされる。画像レベルでは、投影されたパターンは、集合画素の特定パターンとして定義される。本発明の或る実施形態のさらなる態様は、その形つまり各点の画素によって形成される特定形状のみならず、構造化照明内のパターンの分布(つまり他のパターンに対する系列相対近似性)によっても、いずれの画素パターンも特徴づけられるということである。従って、画像内の他のパターンに対する系列相対近似性は、点を互いに区別し、かつ異なる画像の対応する点を適切にマッチングさせるために使用され得る。特に、本発明の或る実施形態では、パターンは、ランダムに形作られていることに加えて、口腔内状況上にランダムに分布している。「ランダムに分配」の言葉はここでは、パターンそれ自身が、それの形状とは別に、口腔内状況の中のランダム位置で生成されたことを示す。
こうして、画像レベルでは、図2Bで、パターン84(パターン64に相当)は、時計回りの順にパターン86(パターン66に相当)、とパターン88(パターン68に相当)の左側に位置する。理解できるように、識別されたパターンは互いに異なるだけでなく、分布し、画像の他のパターンと空間的関係を有している。
構造化照明の同じ単一の点に対応する整合パターンが、口腔内状況の画像と基準画像で得られる場合、三角測量がパターンのz軸位置を決定するために実行され得る。パターンのx−y位置は、画像から直接得られる。これとともに、パターンの3次元x−y−z位置が、このように3Dモデリングのために得られる。

1次元ランダムパターン
図3は、任意に生成されたパターン101の例を示し、そのランダム情報内容がx−y平面の中の方向103に1次元的に伸びている。パターンは幅が変化する帯を含み、その帯は幅と間隔がランダムに決められる以外は、よく知られている「バーコード」パターンに似ている。どのランダム情報も方向103に垂直方向に符号化されることはない。パターン101の狭いバージョンをパターン105に示す。
ランダム情報を単一方向に符号化するとの制約は、そのパターンに含むことができる情報量を制約し、それによってエイリアシングの起きる可能性がより高くなるが、これは連続的なパターンの生成により克服することができ、これにより画像にわたって連続的で中断されない追跡が行える。すなわち、構造化照明のこの形は、点の格子とは違って、口腔内状況への一連の走査された線の投影に伝えられる。したがって、線の情報内容は効果的なアンチエイリアシングを達成するために増加され得る。
その上に、図3に提示されるような方法で単一方向に情報を制約することに、一定の利点がある。情報内容が走査と平行の方向に限られるので、異なる画像の対応するパターンの解析とマッチングは、情報が2次元であるスポット(図2Aと2Bで示されたような)のパターンに対するよりも簡単である。従って、解析は図3に例証されるような1次元のパターンに対しての方が速い。
図4は、本発明の実施形態による方法のフローチャートであり、これによりランダムパターンが生成され保存される。ステップ121で、2次元のランダムパターンは、生成され(これまでに詳述)、2次元アレイ123での構造化照明で使用するために保存される。アレイ123は、表面にアレイを投影するのにふさわしいスライドのような写真式記憶装置を利用して保存されてもよい。
次に、前に記述されたランダムパターンを持ったアレイ123は、基準面に対して第1の角度から、ステップ125で基準面上に投影される。本発明の実施形態では、基準面は平面である。本発明の他の実施形態では、基準面は数学的な内容を持った一般的な表面である。
アレイ123の投影から基準面への構造化照明の画像は、基準画像127として取得され保存される。
次に、ステップ129において、アレイ123を先に用いられた第1の角度(上記参照)で口腔内状況上に投影する。ステップ131において、口腔内状況の画像133を口腔内状況に対して第2の角度から取り込む。なお、画像133は、アレイ123の投影が口腔内状況の表面にあたる点位置を含む。すなわち、画像133は、口腔内状況の表面上の構造化照明の2次元画像を含んでいる。最後に、ステップ135において、画像133の中のアレイ123の構造化照明の点を、基準画像127のアレイ123の構造化照明の点にマッチングさせ、これらの点のZ軸位置は、三角測量によって計算され、視差計測を使用して、口腔内状況の3次元モデル137が得られる。
図5は、歯科応用の口腔内状況の表面特徴の3次元モデリング用システムの模式図であり、該システムは複数のランダム1次元または2次元パターンの2次元アレイを生成するための発生器51を含む。生成されたパターンは、前記アレイ52を投影することを可能にするよう作用する記憶媒体および第1の角度から基準面93に前記投影可能な媒体から前記アレイを投影するための第1のプロジェクタ92に保存される。取得ユニット94は、第2の角度から前記基準面に投影された前記アレイの第1の画像95を取得するための第1の取得手段である。第2のプロジェクタ92は、前記アレイを前記投影可能な媒体から口腔内状況に前記第1の角度で投影するために使用され、ならびに第2の取得手段、及び前記第2の角度から口腔内状況に投影された前記アレイの第2の画像55を取得するための取得ユニット53。第1の位置計算器56は、前記ランダムパターンの2次元の相対的位置をその相対的位置に基づき計算するために用いられ、前記第1の画像95の前記ランダム2次元のパターンを、前記第2の画像55の前記ランダム2次元のパターンにマッチングさせるためのパターンマッチング手段。視差計算器57は、前記第1の画像95の中の前記ランダムパターンと前記第2の画像96の中の前記ランダムパターンの間の視差の計算のために用いられる。第2の位置計算器58は、2次元の相対的位置と前記視差とに基づきランダムパターンの3次元相対的位置を計算するために用いられ、前記3次元相対的位置に基づき口腔内状況の3次元モデルを構築するためのモデリング手段59。ユーザーにより使用されるシステムは基準画像を必要とするが、基準画像を生成する手段は必要としない。

多重撮像
単一画像の使用はスペース制約のために口腔内の用途では望ましいが、また、本発明を多重画像で使用することもまた可能である。この場合、本発明の実施形態は、ここに記述されるような保存可能なランダムな構造化照明パターンを生成し、そして、図1に例証され、先に記述されたような多重撮像技術を持ったそれらのパターンを使用する上記の方法を利用する。

発明の用途
歯科では、歯科要素の再構成はよく行われていることである。モデリングされるべき口腔内対象物に、照明構造を投影することは、口腔部品を効果的であり得る3Dモデリングするための安価な、しかし有利なバックグランドを提供し得る。口腔内特徴の3Dマッピングのための他の応用は、法医学の歯科医学;保険目的;診察と治療計画;処置オートメーションを含むがこれらに限定されない。当該発明は、理想的な表面への完全な投影を必要としないので、有利である。また、口腔内対象物に在る現存する表面特徴はランダム表面パターンをさらに向上させることさえあり得る。
本発明は限られた数の実施形態に関して記述されているが、発明の多くの変更、修正、他の応用がなされることが理解されるだろう。
図1は、マルチビュー画像を使用した口腔内状況の3次元モデリングの従来方法のフローチャートである。 図2Aは、本発明の実施形態による構造化照明用ランダムパターンの例を示す。 図2Bは、本発明の実施形態による検出されたパターンとして図2Aの例を示す。 図3は、本発明の実施形態による構造化照明用の1次元のランダムパターンの例を示す。 図4は、本発明の実施形態による、構造化照明パターンを生成、保存し、口腔内状況の3次元モデルを造る方法のフローチャートである。 図5は、本発明の実施形態によるシステムを例証するブロック図である。

Claims (8)

  1. 複数のランダム2次元パターンの2次元アレイを生成し、
    投影可能な媒体に前記アレイを保存し、
    第1の角度から基準面に前記投影可能な媒体から前記アレイを投影し、
    前記基準面上に投影された前記アレイの第1の画像を取得し、前記第1の画像の取得は第2の角度から実行され、
    第1の角度から口腔内状況上へ前記投影可能な媒体から前記アレイを投影し、
    前記第2の角度から口腔内状況上に投影された前記アレイの第2の画像を取得し、
    前記ランダムパターンの2次元相対位置を画像におけるその相対位置に基づいて計算し、
    前記第1の画像の前記ランダム2次元パターンを前記第2の画像の前記ランダム2次元のパターンとマッチングさせ、
    前記第1の画像の前記ランダムパターンと前記第2の画像の前記ランダムパターンとの間の視差を計算し、
    前記2次元相対位置と前記視差に基づいて前記ランダムパターンの3次元相対位置を計算し、
    前記3次元相対位置に基づいて口腔内状況の3次元モデルを構成することを含む、歯科応用のための口腔内状況の表面特徴の3次元モデリングのための方法。
  2. 前記口腔内状況は、口腔内対象物の少なくとも一部を含む請求項1の方法。
  3. 前記2次元ランダムパターンは前記アレイにランダムに分布している請求項1の方法。
  4. 複数のランダム1次元パターンの2次元アレイを生成し、
    投影可能な媒体に前記アレイを保存し、
    第1の角度から基準面に前記投影可能な媒体から前記アレイを投影し、
    前記基準面上に投影された前記アレイの第1の画像を取得し、前記第1の画像の前記取得は第2の角度から実行され、
    第1の角度から口腔内状況上へ前記投影可能な媒体から前記アレイを投影し、
    前記第2の角度から口腔内状況上に投影された前記アレイの第2の画像を取得し、
    前記ランダムパターンの2次元相対位置を画像におけるその相対位置に基づいて計算し、
    前記第1の画像における前記ランダム1次元パターンを前記第2の画像における前記ランダム1次元のパターンとマッチングさせ、
    前記第1の画像における前記ランダムパターンと前記第2の画像の前記ランダムパターンとの間の視差を計算し、
    前記2次元相対位置と前記視差に基づいて前記ランダムパターンの3次元相対位置を計算し、
    前記3次元相対位置に基づいて口腔内状況の3次元モデルを構成することを含む、歯科応用のための口腔内状況の表面特徴の3次元モデリングのための方法。
  5. 前記口腔内状況は、口腔内対象物の少なくとも一部を含む請求項4の方法。
  6. 前記1次元ランダムパターンは前記アレイにランダムに分布している請求項4の方法。
  7. 複数のランダム2次元パターンの2次元アレイと、
    前記アレイのための記憶媒体であって、前記アレイを投影させるよう作用する記憶媒体と、
    基準面上に投影された前記アレイの第1の画像と、
    第1の角度で口腔内状況に前記記憶媒体から前記アレイを投影するためのプロジェクタと、
    第2の角度から口腔内状況上に投影された前記アレイの第2の画像を取得するための取得手段と、
    前記ランダムパターンの2次元相対位置を画像におけるその相対位置に基づいて計算するための第1の位置計算器と、
    前記第1の画像の前記ランダム2次元パターンを前記第2の画像の前記ランダム2次元パターンにマッチングさせるためのパターンマッチング手段と、
    前記第1の画像の前記ランダムパターンと前記第2の画像の前記ランダムパターンとの間の視差を計算するための視差計算器と、
    前記2次元相対位置と前記視差に基づいて前記ランダムパターンの3次元相対位置を計算するための第2の位置計算器と、
    前記3次元相対位置に基づいて口腔内状況の3次元モデルを構成するためのモデリング手段とを含む、歯科応用のための口腔内状況の表面特徴の3次元モデリングのためのシステム。
  8. 複数のランダム1次元パターンの2次元アレイと、
    前記アレイのための記憶媒体であって、前記アレイを投影させるよう作用する記憶媒体と、
    基準面上に投影された前記アレイの第1の画像と、
    第1の角度で口腔内状況に前記記憶媒体から前記アレイを投影するためのプロジェクタと、
    第2の角度から口腔内状況上に投影された前記アレイの第2の画像を取得するための取得手段と、
    前記ランダムパターンの2次元相対位置を画像におけるその相対位置に基づいて計算するための位置計算器と、
    前記第1の画像の前記ランダム1次元パターンを前記第2の画像の前記ランダム1次元パターンにマッチングさせるためのパターンマッチング手段と、
    前記第1の画像の前記ランダムパターンと前記第2の画像の前記ランダムパターンとの間の視差を計算するための視差計算器と、
    前記2次元相対位置と前記視差に基づいて前記ランダムパターンの3次元相対位置を計算するための位置計算器と
    前記3次元相対位置に基づいて口腔内状況の3次元モデルを構成するためのモデリング手段とを含む、歯科応用のための口腔内状況の表面特徴の3次元モデリングのためのシステム。
JP2008549980A 2006-01-11 2006-01-11 口腔内の3次元モデリング Active JP5106418B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IL2006/000040 WO2007080563A2 (en) 2006-01-11 2006-01-11 Three-dimensional modeling of the oral cavity

Publications (2)

Publication Number Publication Date
JP2009524448A true JP2009524448A (ja) 2009-07-02
JP5106418B2 JP5106418B2 (ja) 2012-12-26

Family

ID=38256699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008549980A Active JP5106418B2 (ja) 2006-01-11 2006-01-11 口腔内の3次元モデリング

Country Status (6)

Country Link
US (1) US8665257B2 (ja)
EP (1) EP1997046B1 (ja)
JP (1) JP5106418B2 (ja)
DK (1) DK1997046T3 (ja)
ES (1) ES2618403T3 (ja)
WO (1) WO2007080563A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015147045A (ja) * 2014-02-05 2015-08-20 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 口腔内を三次元測定する方法および装置
CN112790887A (zh) * 2020-12-31 2021-05-14 深圳市维新登拓医疗科技有限公司 口腔成像方法、系统及装置、可读存储介质
WO2023239045A1 (ko) * 2022-06-08 2023-12-14 오스템임플란트 주식회사 삽입체 제작에 이용되는 구강 모델링 이미지를 디스플레이하는 방법, 디바이스 및 기록매체

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102762142B (zh) * 2010-02-12 2016-01-27 皇家飞利浦电子股份有限公司 3d表面的激光增强重建
DE102013203750A1 (de) * 2013-03-05 2014-09-11 Sirona Dental Systems Gmbh Verfahren und Vorrichtung zur Herstellung eines Zahnersatzteils
US9844324B2 (en) * 2013-03-14 2017-12-19 X-Nav Technologies, LLC Image guided navigation system
US9707061B2 (en) 2013-12-27 2017-07-18 James R. Glidewell Dental Ceramics, Inc. Apparatus and methods of making denture devices
US9326834B2 (en) 2013-12-27 2016-05-03 James R. Glidewell Dental Ceramics, Inc. Apparatus and methods of making denture devices
CN106999020A (zh) 2014-12-17 2017-08-01 卡尔斯特里姆保健公司 口腔内3d荧光成像
US10296088B2 (en) * 2016-01-26 2019-05-21 Futurewei Technologies, Inc. Haptic correlated graphic effects
US10753734B2 (en) 2018-06-08 2020-08-25 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a confocal camera
KR20200075623A (ko) * 2018-12-18 2020-06-26 (주)제노레이 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치 및 방법
KR20220133182A (ko) * 2019-12-04 2022-10-04 덴탈 이미징 테크놀로지스 코퍼레이션 자동 차트작성을 동반한 구강내 3d 스캐닝

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63201618A (ja) * 1987-02-18 1988-08-19 Olympus Optical Co Ltd 計測内視鏡装置
JPH0961132A (ja) * 1995-08-28 1997-03-07 Olympus Optical Co Ltd 3次元形状計測装置
JPH10239031A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元計測装置
JP2006525066A (ja) * 2003-03-24 2006-11-09 ディースリーディー,エル.ピー. 歯科用レーザデジタイザシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4663720A (en) * 1984-02-21 1987-05-05 Francois Duret Method of and apparatus for making a prosthesis, especially a dental prosthesis
DE19821611A1 (de) * 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
US7068825B2 (en) * 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
US6648640B2 (en) 1999-11-30 2003-11-18 Ora Metrix, Inc. Interactive orthodontic care system based on intra-oral scanning of teeth
US7084868B2 (en) * 2000-04-26 2006-08-01 University Of Louisville Research Foundation, Inc. System and method for 3-D digital reconstruction of an oral cavity from a sequence of 2-D images
US6621491B1 (en) * 2000-04-27 2003-09-16 Align Technology, Inc. Systems and methods for integrating 3D diagnostic data
US6947038B1 (en) * 2000-04-27 2005-09-20 Align Technology, Inc. Systems and methods for generating an appliance with tie points
US7027642B2 (en) * 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
FR2842591B1 (fr) 2002-07-16 2004-10-22 Ecole Nale Sup Artes Metiers Dispositif pour mesurer des variations dans le relief d'un objet
US7840247B2 (en) * 2002-09-16 2010-11-23 Imatx, Inc. Methods of predicting musculoskeletal disease
US8290564B2 (en) * 2003-09-19 2012-10-16 Imatx, Inc. Method for bone structure prognosis and simulated bone remodeling
US7330577B2 (en) * 2004-01-27 2008-02-12 Densys Ltd. Three-dimensional modeling of the oral cavity by projecting a two-dimensional array of random patterns
US7840042B2 (en) * 2006-01-20 2010-11-23 3M Innovative Properties Company Superposition for visualization of three-dimensional data acquisition
EP1994503B1 (en) * 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63201618A (ja) * 1987-02-18 1988-08-19 Olympus Optical Co Ltd 計測内視鏡装置
JPH0961132A (ja) * 1995-08-28 1997-03-07 Olympus Optical Co Ltd 3次元形状計測装置
JPH10239031A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元計測装置
JP2006525066A (ja) * 2003-03-24 2006-11-09 ディースリーディー,エル.ピー. 歯科用レーザデジタイザシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015147045A (ja) * 2014-02-05 2015-08-20 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 口腔内を三次元測定する方法および装置
CN112790887A (zh) * 2020-12-31 2021-05-14 深圳市维新登拓医疗科技有限公司 口腔成像方法、系统及装置、可读存储介质
WO2023239045A1 (ko) * 2022-06-08 2023-12-14 오스템임플란트 주식회사 삽입체 제작에 이용되는 구강 모델링 이미지를 디스플레이하는 방법, 디바이스 및 기록매체
KR20230169531A (ko) * 2022-06-08 2023-12-18 오스템임플란트 주식회사 삽입체 제작에 이용되는 구강 모델링 이미지를 디스플레이하는 방법, 디바이스 및 기록매체
KR102672700B1 (ko) 2022-06-08 2024-06-07 오스템임플란트 주식회사 삽입체 제작에 이용되는 구강 모델링 이미지를 디스플레이하는 방법, 디바이스 및 기록매체

Also Published As

Publication number Publication date
US8665257B2 (en) 2014-03-04
EP1997046A2 (en) 2008-12-03
WO2007080563A3 (en) 2009-05-22
JP5106418B2 (ja) 2012-12-26
DK1997046T3 (en) 2017-03-13
WO2007080563A2 (en) 2007-07-19
ES2618403T3 (es) 2017-06-21
EP1997046A4 (en) 2012-05-02
US20110109616A1 (en) 2011-05-12
EP1997046B1 (en) 2016-12-07

Similar Documents

Publication Publication Date Title
JP5106418B2 (ja) 口腔内の3次元モデリング
US7724932B2 (en) Three-dimensional modeling of the oral cavity
US10064553B2 (en) Detection of a movable object when 3D scanning a rigid object
US7259871B2 (en) Apparatus and method for rapid and precise scanning of three-dimensional occlusal profile of dental cast
US20190046304A1 (en) Scanning sequence for an intra-oral imaging system
Hajeer et al. Applications of 3D imaging in orthodontics: part I
US8532355B2 (en) Lighting compensated dynamic texture mapping of 3-D models
JP6223331B2 (ja) 歯科分野で使用される三次元測定デバイス
Windisch et al. A new optical method to evaluate three‐dimensional volume changes of alveolar contours: a methodological in vitro study
Ireland et al. 3D surface imaging in dentistry–what we are looking at
Yamany et al. A 3-D reconstruction system for the human jaw using a sequence of optical images
US9222768B2 (en) Supplemental scene reference surface devices for three-dimensional mapping
JP2011504586A (ja) 物体の三次元形状を光学的に測定する方法
JP2015525106A (ja) 歯の位置の検査方法
JP6293122B2 (ja) 歯の状況の測定方法
Chen Calibration of Intraoral 3D Measurement System with Using Consummated Model Combined with Highly Accurate Data Pairs
Hajeer et al. Current products and practices
Park et al. An Enhanced Development of 3D Intra-Oral Scanner Using Fringe-Projection Technique for Dentistry
US12121319B2 (en) Detection of a movable object when 3D scanning a rigid object

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121002

R150 Certificate of patent or registration of utility model

Ref document number: 5106418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250