JP2022508372A - 口腔内スキャナを使用して3dデータを取得する混合方法 - Google Patents

口腔内スキャナを使用して3dデータを取得する混合方法 Download PDF

Info

Publication number
JP2022508372A
JP2022508372A JP2021534406A JP2021534406A JP2022508372A JP 2022508372 A JP2022508372 A JP 2022508372A JP 2021534406 A JP2021534406 A JP 2021534406A JP 2021534406 A JP2021534406 A JP 2021534406A JP 2022508372 A JP2022508372 A JP 2022508372A
Authority
JP
Japan
Prior art keywords
impression
interest
region
digital model
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021534406A
Other languages
English (en)
Other versions
JP7245335B2 (ja
Inventor
ユ チョウ
チンラン チェン
シーチー ジュアン
チャオフア リウ
Original Assignee
ケアストリーム デンタル テクノロジー シャンハイ カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケアストリーム デンタル テクノロジー シャンハイ カンパニー リミテッド filed Critical ケアストリーム デンタル テクノロジー シャンハイ カンパニー リミテッド
Publication of JP2022508372A publication Critical patent/JP2022508372A/ja
Application granted granted Critical
Publication of JP7245335B2 publication Critical patent/JP7245335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • A61C19/05Measuring instruments specially adapted for dentistry for determining occlusion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/0006Impression trays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00827Arrangements for reading an image from an unusual original, e.g. 3-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0081Image reader

Abstract

患者歯列の関心領域を撮像する方法では、口腔内走査を取得し、関心領域を含む患者歯列の第1の表面輪郭の3Dデジタルモデルを形成し、少なくとも関心領域を含む物理的印象を取得する。この方法では、物理的印象を走査し、特定された関心領域の第2の表面輪郭を生成する。デジタルモデルは、第2の表面輪郭の一部分を関心領域にわたって第1の表面輪郭と組み合わせることによって修正される。修正されたデジタルモデルは表示される。

Description

本開示は、一般に口腔内撮像に関し、より詳細には、患者から直接の口腔内走査と印象からの口腔内走査との複合結果を使用する、患者歯列の3Dモデルを生成及び調整することに関する。
口腔内撮像には、いくつかある適用分野の中で特に、診断補助としての利用、治療及び修復計画のための利用、並びに色合い整合における利用を含む、多様な範囲の適用分野を持つツールとして重要な価値があることが実証されている。光学口腔内走査では歯列物体の輪郭が生成され、この走査は、歯、歯ぐき、及び他の口腔内構造の可視化を改善する上で有益である。表面輪郭情報は、歯の状態の評価に特に有用であることがあり、修復歯科学など、様々なタイプの歯科処置に関して認められた価値がある。
歯科矯正及び他の修復処置では、患者歯列のモデルが最初に、及び処置の様々な段階で生成される。その場合、いくつかの標準化された測定法がこれらのモデルに比較のために適用されて、治療計画の全体的な進行を追跡することができる。
従来の手法では、生成されるモデルは、患者から得られた印象から形成される。この標準的な方法は時間を浪費し、患者には不快な場合があるが、何年にもわたって改良されてきているので、使用される材料及び方法は、いくつか欠点があるものの、患者歯列の正確なモデルを形成するのに非常に好適な結果をもたらす。
画質及び応答時間の継続的な改善により、3D口腔内スキャナは、印象の技術及び材料に煩わされずに容易に得ることができるデジタルモデルを取得するためのツールになっている。3D口腔内スキャナを使用すると、技師又は実施者は、患者の口の中で歯から歯へとスキャナを慎重に動かすこと、表示装置を見ること、及び、口腔内構造をメッシュ又はポイントクラウドとして示す、増大するデジタルデータの進捗を観察することによって、正確な体積画像情報を得ることができる。
3Dスキャナは便利で使いやすいが、改善の余地がいくらかある。1つの特有の短所は、歯周縁部などの局所領域の撮像品質に関連している。歯周縁部の正確な特徴付けは、歯冠又はインプラントなどの準備及び固定の成功のために重要である。3D口腔内スキャナでは、照明制約、撮像光学部品の制限、及びその他の障害の故に、実施者が満足するように歯周縁部のモデルを形成できないことがある。歯肉縁下の組織には周縁部を不明瞭にする傾向があることがあり、周縁部は軟組織の下に実質的に隠されることが多い。
3Dスキャナの別の制限は、咬合位置合わせに関連している。口腔内走査を用いて咬合位置合わせを正確に特徴付けしようとすると失望することが分かっている。
したがって、歯周縁部をより正確に特徴付け、患者歯列の3Dモデルを形成するときに咬合位置合わせを評価できるようにするデジタル撮像手法は有益であることが分かる。
本開示の目的は、診断撮像の技術を進歩させ、特に歯周縁部に関連した歯の部分についての3D口腔内撮像及び走査の改善の必要性に対処することであり、加えて、咬合位置合わせの手法を提供することである。
これらの目的は説明のための例としてのみ示されており、このような目的は、本発明の1つ以上の実施形態の例示的なものである。その他の、開示された方法によって本来実現される望ましい目的及び利点は、当業者に想起されることも明らかになることもあり得る。本発明は、添付の特許請求の範囲によって定義される。
本開示の一態様によれば、患者歯列の関心領域を撮像する方法が提供され、この方法は、少なくとも一部がコンピュータシステムによって実行され、
a)口腔内走査を取得し、関心領域を含む患者歯列の第1の表面輪郭の3Dデジタルモデルを形成するステップと、
b)少なくとも関心領域を含む物理的印象を取得するステップと、
c)物理的印象を走査し、特定された関心領域の第2の表面輪郭を生成するステップと、
d)第2の表面輪郭の一部分を関心領域にわたって第1の表面輪郭と組み合わせることによって、デジタルモデルを修正するステップと、
e)修正されたデジタルモデルを表示するステップと
を含む。
本開示の一代替態様によれば、咬合位置合わせを特徴付ける方法が提供され、この方法は、
a)上顎弓の口腔内走査及び下顎弓の走査を取得するステップと、
b)上顎弓及び下顎弓の3Dデジタルモデルを形成するステップと、
c)咬合から弓の一部分に沿って印象を得るステップと、
d)印象からの対向する咬合面のインプリントを走査して、印象の表面画像データを生成するステップと、
e)上顎弓及び下顎弓の3Dデジタルモデルを印象の表面画像データと位置合わせするステップと、
f)弓を位置決めして、3Dモデル位置合わせによる咬合位置合わせを示すステップと、
g)咬合位置合わせを表示するステップと
を含む。
上記及びその他の本発明の目的、特徴、及び利点は、添付の図面に示された、本発明の実施形態についての以下のより具体的な説明から明らかになろう。
図面の各要素は、互いに必ずしも原寸に比例していない。基本的な構造関係又は動作原理を強調するために、いくらかの誇張表示が必要な場合がある。説明される実施形態の実施に必要ないくつかの従来の構成要素、たとえば、電力供給のため、包装のため、並びにシステム光学部品の取付け及び保護のために使用される支持構成要素などは、説明を簡単にするために図面には示されていない。
本開示の一実施形態による、連続した反射画像から3D視像を得るための表面輪郭撮像装置を示す概略図である。 多色反射画像データ取り込みのためのビデオカメラとして、さらには関連する投影及び撮像機能を実行するためのスキャナとして動作することができる撮像装置を示す概略図である。 連続した構造化光画像から生成されたポイントクラウド画像を示す図である。 連続した構造化光画像から生成されたポイントクラウド画像を示す図である。 本開示の一実施形態による、歯列弓のデジタルモデルを形成するための順序を示す論理流れ図である。 走査されたコンテンツの例示的な3Dメッシュを示す図である。 ROIが強調された歯メッシュを示す図である。 ROI識別のための画面上インターフェースを示す図である。 患者から得られた部分印象を示す図である。 走査された印象の一部分を示す図である。 周縁部領域が強調された併合表面輪郭出力を示す図である。 強調が取り除かれた併合表面輪郭出力を示す図である。 本開示の一実施形態による、口腔内走査と走査された印象との組み合わせを用いる咬合位置合わせの順序を示す論理流れ図である。 各弓に対応するメッシュを示す図である。 咬合位置合わせ用の印象の位置決めを示す図である。 咬合位置合わせ用に得られた印象の一例を示す図である。 患者の咬合面の例示的な印象の上面及び下面を示す図である。 上弓及び下弓からの走査されたデータによる咬合面の咬合印象データの位置合わせを示す図である。 咬合印象データを用いる、一実施形態の咬合位置合わせの出力を示す図である。
以下は、好ましい実施形態についての詳細な説明であり、同じ参照数字がいくつかの図のそれぞれの構造の同じ要素を特定している図面が参照される。
本開示の文脈で使用される場合、用語の「第1の」、「第2の」などは、必ずしも何かの順序、順次又は優先の関係を示さず、特にことわらない限り、ただ単に、1つのステップ、要素、又は要素の集合を他のものからより明確に区別するために使用される。
本明細書では、用語の「通電可能な」は、電力を受け取ると、また任意選択で、イネーブル信号を受け取ると、表示された機能を実行するデバイス、又は構成要素の集合と関連する。
本開示の文脈では、用語の「光学部品」は、光ビームを形成し指向させるために使用されるレンズ及びその他の、屈折、回折、及び反射する構成要素又はアパーチャを指すために一般的に使用される。このタイプの個々の構成要素は光学部品と呼ばれる。
本開示の文脈では、用語の「散乱光」は、物体から反射及び後方散乱される光を含めて一般的に使用される。
本開示の文脈では、用語の「観察者」、「オペレータ」、及び「使用者」は同意義である考えられ、見ている実施者、技師、又は他の、カメラ又はスキャナを操作できる、また歯科画像などの画像を表示モニタ上で見ること、及び処理することもできる人を指す。「オペレータ命令」又は「観察者命令」は、カメラ又はスキャナのボタンをクリックすることによって、又はコンピュータマウスを使用することによって、又はタッチ画面若しくはキーボード入力などによって、観察者から入力された明確なコマンドから得られる。
本開示の文脈では、語句の「信号通信して」は、2つ以上のデバイス及び/又は構成要素が、何らかのタイプの信号経路を通じて伝わる信号を介して互いに通信できることを示す。信号通信は有線でも無線でもよい。信号は、通信信号、電力信号、データ信号、又はエネルギー信号とすることができる。信号経路は、第1のデバイス及び/又は構成要素と、第2のデバイス及び/又は構成要素との間の物理的接続、電気的接続、磁気的接続、電磁気的接続、光学的接続、有線接続、及び/又は無線接続を含み得る。信号経路はまた、第1のデバイス及び/又は構成要素と、第2のデバイス及び/又は構成要素との間に追加のデバイス及び/又は構成要素を含むこともある。
本開示の文脈では、用語の「カメラ」は、歯及び支持構造の表面から反射される構造化光などの、反射された可視又はNIR光から反射2Dデジタル画像を取得するためにイネーブルにされるデバイスと関連する。
一般的な用語の「スキャナ」は、走査光ビームを歯の表面に投射し、生じた散乱光又は反射光コンテンツに基づいて画像コンテンツを提供する光学系と関連する。いくつかの口腔内撮像実施形態によれば、用語の「カメラ」と「スキャナ」は同意義と考えることができる。
本明細書で用いられる用語の「集合」は、要素又は元が集まったものという集合の概念が初等数学で一般的に理解されているように、非空集合を指す。用語の「部分集合」又は「部分的集合」は、特に明示されていない限り、1つ以上の元を有する適切な非空部分集合、すなわち、より大きい集合の部分集合を指すために本明細書では用いられる。集合Sでは、1つの部分集合が完全な集合Sを成すことがある。しかし、集合Sの「適切な部分集合」は、厳密には集合Sに含まれ、集合Sの少なくとも1つの元を中に入れない。「集合の分割」とは、集合の要素を非空部分集合にグループ分けすることであり、それにより、すべての要素が部分集合のうちの1つに、かつただ1つにだけ含まれる。2つの集合は、共通の要素を有していない場合に「互いに素」である。
用語の「対象」とは、撮像されている患者の歯又はその他の部分を指し、光学用語では、対応する撮像系の「物体」と同意義と考えられてよい。
本開示の文脈では、用語の「観察者」、「オペレータ」、及び「使用者」は同意義であると考えられ、見ている実施者、又は他の、歯科又は医学画像を表示モニタ上で取得すること、見ること、及び処理することができる人を指す。
本開示の文脈では、用語の「ポイントクラウド」、「メッシュ」、及び「3D表面画像」は、口腔内又はその他の表面からの一連の反射画像を得るスキャナを使用して形成できる、表面輪郭のデジタルモデルを記述するために同意義に用いられる。デジタルモデルをもたらす表面画像は、隣り合う表面特徴について連続して取得された個々の走査を縫い合わせることによって形成された複合画像である。ポイントクラウドとメッシュは、便利で類似している記憶機構であり、表面画像を表す構造を表示する。
図1~4は、口腔内スキャナの概観と、走査された表面の輪郭を示すポイントクラウド又はメッシュ150を生成する際のその使用法とを提示する。
図1の概略図は、本開示の一実施形態による、連続した反射画像からのモデル生成のための3Dコンテンツを得るのに使用できる表面輪郭撮像装置90を示す。カメラ16、通常ではハンドヘルドデジタルカメラ、カラー深度カメラ、ハンドヘルド3Dスキャナ、又は口腔内3Dスキャナが、複数の反射画像及び関連する深度情報を有する集合を取得するために、患者12の口の中をくまなく走査される。カメラ16と信号通信している制御論理プロセッサ80が、カメラ16から画像データを取得し、このデータを深度情報と共に、個々の3D視像92を生成するために処理する。次に、制御論理プロセッサ80は、複合3Dモデルの表面94を生成、記憶、及び任意選択で表示装置84に描画するために、走査された3D視像を組み合わせる。次に、制御論理プロセッサ80のエラー検出及び補正論理回路が動作して、不適切に組み合わされた、又は不完全に組み合わされた3D視像92を特定し、補正された複合3D表面94を生成及び表示することができる。表示装置84は、論理プロセッサ80とも信号通信している。
図2は、多色反射画像データ取り込みのためのビデオカメラ24として、さらには関連する投影及び撮像機能を実行するためのスキャナ28として動作して、表面輪郭を構造化光パターン46で特徴付けることができる撮像装置70を示す概略図である。ハンドヘルド撮像装置70では、本開示の一実施形態による輪郭走査機能と画像取り込み機能の両方の画像取得のためにビデオカメラ24を使用する。制御論理プロセッサ80、又は他のタイプの、カメラ24の一部でもよいコンピュータが、構造化光を生成し光を表面位置へ向ける照明アレイ10を制御し、また撮像センサアレイ30の動作を制御する。歯22からなどの、表面20からの画像データが撮像センサアレイ30から得られ、ビデオ画像データとしてメモリ72に記憶される。撮像センサアレイ30は、対物レンズ34と、ビデオ画像コンテンツを取得するための関連する要素とを含む検知装置40の一部である。画像を取得するカメラ24構成要素と信号通信している制御論理プロセッサ80は、受け取った画像データを処理し、そのマッピングをメモリ72に記憶する。次に、メモリ72から得られた画像は、任意選択で表示装置74に描画及び表示され、この表示装置は、本明細書に記載の処理の一部分に使用される別のコンピュータ75の一部でもよい。メモリ72はまた、表示バッファを含むこともある。運動センサなどの1つ以上のセンサ42もまた、スキャナ回路28の一部として設けられることがある。
構造化光撮像では、線又は他の形状のパターンが照明アレイ10から物体の表面に向けて所与の角度から投射される。照明された表面位置からの投射パターンは次に、輪郭画像として別の角度から見られて、輪郭線の外観に基づいて表面情報を分析するための三角測量が利用される。新しい位置で追加の測定値を取得するために投射パターンが空間的に徐々にシフトされる位相シフトが、表面の輪郭マッピングを完成させるために、また輪郭画像の全体的な解像度を高めるために使用される構造化光撮像の一部として、通常では適用される。限定ではなく例として、表面輪郭特徴付けのために構造化光パターンを使用することは、本願の譲渡人に譲渡される、また本明細書にその全体が組み込まれる、「3D INTRAORAL MEASUREMENTS USING OPTICAL MULTILINE METHOD」という名称が両方に付けられた米国特許出願公開第2013/0120532号及び第2013/0120533号に記載されている。
デジタルモデル生成
画像が取得されたときのカメラの瞬時位置と、物体相対座標系内の光線又は他の照明場の瞬時位置とを知ることによって、コンピュータ及びソフトウェアで三角測量法を使用して、1つの平面を基準とする多数の照明された表面点の座標を計算することができる。この平面が移動して物体の表面の一部又は全部と最終的に交差すると、増加する数の点の座標が蓄積される。この画像取得の結果として、ポイントクラウドが生成され、ある体積内の表面の範囲を表すための表面画像として使用され得る。この場合、ポイントクラウド中の点は、物体の三次元表面の実際の測定された点を表す。別法として、メッシュが同じ表面取得から構築され、表面形状を特徴付ける合同多角形面(通常は三角形面)の頂点として表される。次に、完全3Dデジタルモデルが、ポイントクラウド又はメッシュの形で表面画像から得られた表面輪郭情報を、図2のカメラ24などのカメラから得られた多色画像コンテンツと組み合わせることによって形成され得る。
多色画像コンテンツは、たとえば、一度に一色ずつ異なる原色の照明を使用して得られる連続した画像と併せて単一の単色撮像センサを使用することを含めて、いくつかの方法で得ることができる。あるいは、カラー撮像センサを使用することもできる。
制御論理プロセッサ80における画像処理では、構造化光撮像からの線走査データを使用して、あるいは、ビデオ画像データを含めて、ポイントクラウドデータ若しくはメッシュデータ又は他の体積画像データを使用して、デジタル輪郭表面モデルを生成することができる。例として図3及び図4は、連続した構造化光画像又は他の連続した反射画像から生成された表面画像150として、ポイントクラウド又はメッシュを示す。ポイントクラウドコンテンツのさらなる処理を用いて、メッシュのような代替の輪郭表面モデルを生成することができ、前述のように、生成された表面の点がメッシュの頂点としての役割を果たす。
デジタルモデルを形成するために使用される口腔内表面輪郭データを得るには、他のタイプの反射撮像も使用できることに留意されたい。表面輪郭情報は、たとえばストラクチャフロムモーションなどの飛行時間型撮像法又はレンジ撮像法を用いて得ることができる。
患者の歯列の歯及び歯ぐきを3Dモデル化する従来の方法は歯科印象であり、完全な歯列弓の口腔内特徴のネガティブインプリントをもたらす。印象本体を得る処理では、柔らかい印象であるパテ状の材料を患者の口の中に入れること、及び、患者に、咬んで、その材料が弾性固体に固まる間の数分間、咬み位置を保つように指示することが必要である。次に、固まった印象材料を慎重に取り出すと、対応する歯列弓の3Dモデルを形成するための型として使用できる、ネガティブインプリントとしての物理的な印象すなわち印象本体が得られる。この処理そのものは痛みを伴わず、あるいは侵襲的ではないが、患者にとっては好ましくない試練であり、不快なことがある。印象技術は、歯頚部周辺などの複雑な湾曲部及び急峻な表面転移部を複製するための、特に精密なものになり得る。
3D口腔内スキャナ又はカメラを使用することにより、実施者は、印象の材料及び装置を必要とせずに、また従来の印象手法の複雑さ及び不快さを伴わずに、患者の3D輪郭データを取得できるようになる。しかし、背景資料で前に示されたように、歯周縁部を確実及び正確に特徴付ける口腔内走査データを得ることは困難なことがある。さらに、非常に患者特有であり得る、他の特別の領域が患者の歯列にあることもあり、この領域については、直接の口腔内撮像により、3Dデジタル表面モデルを生成するための、実施者の精度期待に応えるのに十分なデータを得ることができない。撮像の問題は、不十分な光又は過剰な光の結果として生じることがある。たとえば、表面輪郭の正確な特定のために、十分な光を隣接歯間の特徴に向けること、又はこれらの特徴から十分な反射光を得ることが困難な場合がある。口内の高反射性のセラミック材料などからの反射光が多すぎても、正確な表面特徴付けが妨げられることがある。本開示の実施形態では、口腔内スキャナから表面画像として得られた弓の3D輪郭データを、部分的印象、すなわち歯列弓の一部分だけから形成されている印象を走査することにより得られた局所情報と組み合わせることによって、歯周縁部及び他の特定の領域の3D撮像に関連する従来の口腔内走査の短所に対処する。
背景資料で前に示されたように、また図3及び図4の例示的な画像で示されたように、口腔内スキャナは、口腔内特徴の表面を撮像するための有能なツールになる。しかし、スキャナ画像が表面輪郭情報を提供するのに不十分であり、歯周縁部又は他の局所特徴の精密な撮像が必要な場合があり得る。本開示の実施形態では、関心領域(ROI)の特定された領域について、口腔内印象から取得された追加の走査データで従来の3D口腔内走査を補完する口腔内撮像の混合手法を使用する。
ROIコンテンツの改善のための混合撮像
図5の論理流れ図は、本開示の一実施形態による、デジタルモデルを形成するための歯列弓撮像の順序を示す。口腔内走査ステップS510で、歯列弓の口腔内走査が実行される。次に、表面画像生成ステップS520で、走査されたコンテンツの3Dメッシュ、ポイントクラウド又は他の3D表面表現として、図6の例に示されるような最初のデジタルモデルを生成する。ある標本の周縁部96が示されている。
表面画像が生成されると、次に、任意選択のROI特定ステップS530で、図7Aに輪郭線で強調されて示されている、走査されたコンテンツ内の関心領域(ROI)を特定する。このROIは、実施者又は技師が、オペレータインターフェースで画面に入力される1つ以上のオペレータ命令を使用して、特定することができる。あるいは、ROIは、画像処理の当業者に知られているパターン認識ソフトウェアユーティリティなどを使用して、自動的に検出することができる。図7A及び図7Bの例では、ROIは、周縁部96を含む標本領域である。ROIは、たとえばブラシツールでその領域を示すことなどによって、表示画面ユーティリティを使用して描くこと、輪郭を描くこと、又は他の方法で強調することができる。図7Bは、オペレータによる手動ROI特定のための命令を入力する1つの方法としての、タッチ画面インターフェースの使用を示す。
ROI特定のための自動化された方法では、たとえば、様々なセグメンテーション又はパターン認識のユーティリティを使用することができる。
オペレータによる、又は自動パターン認識を使用するROIの特定は、任意選択である。ROIは、歯列弓の口腔内走査からの、又は別法として、後続のステップS540で取得される走査された印象からの、表面画像内で特定することができる。本開示の一代替実施形態によれば、ROIは、走査された印象の境界を使用して、デフォルトとして定義することができる。
印象走査ステップS540で、周縁部又は他のROIを含む印象が得られ、走査される。完全な歯列弓の全部の印象は必要がなく、このステップでは部分印象だけが使用される。この部分印象はROIを含み、さらに、後続の位置合わせ処理を容易にするための十分な隣接特徴を含むこともできる。例として図8は、患者から得られた部分印象を示す。この印象は、口腔内スキャナ、又は、たとえばデスクトップスキャナなどの他の適切な走査装置を使用して走査できる、ネガティブモデルを形成する。次に、印象本体から得られたネガティブインプリントは、デジタル的に反転されてポジティブモデルを形成することができる。図9は、ある印象からの走査されたインプリントの一部分を示す。
次に、位置合わせステップS550で、走査された印象又は、ROIを含む少なくとも走査された印象の部分を、口腔内走査から生成されたメッシュ又はその他のタイプの表面画像と位置合わせする。位置合わせでは、特徴マッチングアルゴリズム、又は別法として反復最接近点(ICP)アルゴリズム、又はたとえば、これら2つの手法の組み合わせを使用することができる。
次に、併合ステップS560で、ROIの走査された印象からの輪郭データを、口腔内走査から形成された表面画像と併合する。ROIが明確に特定される場合、併合ステップS560では、ROI領域内の口腔内走査の特定されたノードをただ単に破棄し、位置合わせされた走査印象からの対応する点又はノードに置き換えることができる。ROIが位置的にのみ特定される場合には、印象データによる別の置き換えを行うことができる。たとえば、ROIの、100マイクロメートル以内などの所与の距離内の第1のモデルのノードを印象データと取り換えることができる。ノードの併合又は組み合わせのための他の方法が、たとえば平均化を含めて、別法として適用されてもよい。
図10は、周縁部領域が強調された併合表面輪郭出力を示す。図11は、強調が取り除かれた併合表面輪郭出力を示す。
次に、結果として得られた混合デジタルモデルは、表示ステップS570で表示装置に描画することができる。表示される3Dデジタルモデルは、任意選択で、輪郭が描かれる、又は他の方法で強調されるなど、関心領域を示すことができる。
咬合位置合わせの改善のための混合撮像
これまでの説明では、局所ROIコンテンツに混合走査手法を用いることに焦点を合わせた。本出願者らは、走査された物理的印象からのデータで口腔内走査を補完することがまた、咬合位置合わせに関連する撮像の改善のためにも価値があり得ることも見出した。
図12は、本開示の一実施形態による、口腔内走査と走査された印象との組み合わせを用いる咬合位置合わせの順序を示す論理流れ図である。口腔内走査ステップS1210で、実施者又は技師は、各弓の表面輪郭を特徴付けるための走査を取得する。表面画像生成ステップS1220で3Dモデルを形成して、図13の例に示された各弓に対応するメッシュ、ポイントクラウド、又は他のタイプの表面画像を生成する。
次に、口腔内空洞の一部分だけをカバーする位置で取得される咬合面の物理的印象が、患者から得られる。このステップでは、図12の咬合位置合わせ処理のために咬合面だけが必要とされ、口の他の部分は、任意選択で印象に含めることができるが、この処理では必要がないことが強調されなければならない。さらに、取得された咬合の物理的印象は、歯の一部の部分についてのみ必要とされ、全部の咬合面については必要とされない。例として図14Aは、患者から得られた1つの咬合面印象を示し、印象材料が口の一方の側の患者歯列の一部分の上にだけ分布している。図14Bは、患者の口の一部分から得られた例示的な咬合印象を示す。有用な場合、第2の咬合面印象が口の他方の側から取得されることもある。したがって、たとえば、左側からの部分印象と右側からの部分印象とが取得されることがある。しかし、口の一方の側からの単一の印象が咬合位置合わせに十分なことが場合によってあり得る。
咬合面印象が得られると、次に、印象走査ステップS1230が実行され、実施者又は技師が得られた各咬合印象を、口腔内スキャナ又は他の、たとえばデスクトップスキャナなどの適切な走査デバイスを使用して走査する。咬合印象は、向き合う、又は対向する、一方が上顎の、他方が下顎の2つの咬合面のインプリントから形成される。次に、後続の表面画像生成ステップS1240で、得られた咬合印象の面に対応するメッシュ、ポイントクラウド、又は他のタイプの表面画像を生成する。例として図15は、患者の向き合う咬合面の、例示的な印象の上顎面及び下顎面を示す。
図12の処理に引き続き従って、次に、位置合わせステップS1250及び咬合決定ステップS1260で、咬合位置合わせを正確に特徴付けるために、患者及び印象からの走査結果を用いる。位置合わせステップS1250では、各弓について実行された前のステップS1220から得られた弓ごとの表面画像が、ステップS1240で生成された走査印象の表面画像と位置合わせされる。この位置合わせでは、咬合位置合わせ決定ステップS1260で特定された、相対的な弓位置及び対応する咬合位置合わせを示す空間関係に上弓と下弓を配置する。位置合わせ幾何配置は、生成された表面画像を使用して計算することも、画像処理の当業者にはよく知られているいくつかの方法を用いて得ることもできる。表示ステップS1270で、咬合位置合わせを表示装置への出力として描画する。
図16は、向き合う咬合面からの印象データと、上弓及び下弓からの走査されたデータとの位置合わせを示す。向き合う上咬合インプリントと下咬合インプリントに使用されている印象材料100の相対位置が示されている。
図17は、咬合印象データを使用して、一実施形態に関して特定された咬合位置合わせの出力を示す。
本開示の実施形態は、口腔内走査及び部分印象からの画像データを取得し、処理し、表示するように構成された、図1及び図2に示されたものなどの装置を含む。
本発明の一実施形態と同様に、コンピュータプログラムは、電子メモリからアクセスされる画像データに対して機能する記憶された命令を利用する。画像処理の当業者には理解できるように、本開示の一実施形態の撮像系を動作させるためのコンピュータプログラムは、パーソナルコンピュータやワークステーションなどの、本明細書に記載されたようなCPUとして動作する適切な汎用コンピュータシステムによって利用され得る。しかし、たとえばネットワークプロセッサの装置を含めて、他の多くのタイプのコンピュータシステムが、本発明のコンピュータプログラムを実行するために使用されてもよい。本発明の方法を実行するためのコンピュータプログラムは、コンピュータ可読記憶媒体に記憶することができる。この媒体には、たとえば、ハードドライブ若しくは取り外し可能デバイスのような磁気ディスク又は磁気テープなどの磁気記憶媒体、光ディスク、光テープ、又は機械可読光符号化などの光記憶媒体、ランダムアクセスメモリ(RAM)又は読み出し専用メモリ(ROM)などの固体電子記憶デバイス、又は他の任意の、コンピュータプログラムを記憶するために使用される物理的デバイス若しくは媒体が含まれ得る。本開示の方法を実行するためのコンピュータプログラムはまた、インターネット又は他のネットワーク若しくは通信媒体によって画像プロセッサに接続されているコンピュータ可読記憶媒体に記憶することもできる。当業者にはさらに、このようなコンピュータプログラム製品の同等物も又はハードウェアとして構築できることが容易に理解されよう。
本開示の文脈では「コンピュータアクセス可能メモリ」と同等の用語の「メモリ」とは、画像データを記憶するために使用され、画像データに基づいて動作し、コンピュータシステムがアクセスできる任意のタイプの一時的な、又はより永続的なデータ記憶作業領域を、たとえばデータベースを含めて指し得ることに留意されたい。メモリは、たとえば、磁気又は光記憶装置などの長期記憶媒体を使用して不揮発性とすることもできる。あるいは、メモリは、一時的バッファ又は作業領域としてマイクロプロセッサ又は他の制御論理プロセッサデバイスで使用される、ランダムアクセスメモリ(RAM)などの電子回路を使用してより揮発性のものとすることもできる。たとえば表示データは、通常は一時記憶バッファに記憶され、この記憶バッファは、表示デバイスに直接結び付けられており、表示データを供給するために必要に応じて周期的にリフレッシュされる。この一時記憶バッファはまた、本開示でこの用語が用いられているのと同様に、一種のメモリとも考えられる。メモリはまた、計算及び他の処理を実行し、その中間及び最終結果を記憶するためのデータ作業領域としても使用される。コンピュータアクセス可能メモリは、揮発性、不揮発性、又は揮発性タイプと不揮発性タイプの混合組み合わせとすることができる。
本開示のコンピュータプログラム製品は、よく知られている様々な画像操作のアルゴリズム及び処理を利用できることを理解されたい。さらに、本開示のコンピュータプログラム製品実施形態では、本明細書には明確に図示又は説明されていない、実施に有用なアルゴリズム及び処理を具現化できることを理解されたい。このようなアルゴリズム及び処理には、画像処理の当業者の範囲にある従来のユーティリティが含まれ得る。このようなアルゴリズム及びシステムのさらなる態様、並びに、画像を生成若しくは別様に処理するための、又は本開示のコンピュータプログラム製品と協働するためのハードウェア及び/又はソフトウェアは、本明細書では明確に図示又は説明されていないが、当技術で知られているそのようなアルゴリズム、システム、ハードウェア、構成要素及び要素から選択することができる。
本発明が詳細に説明され、また、適切又は現在好適な実施形態を特に参照して説明され得たが、変形形態及び変形が本発明の趣旨及び範囲内で行われ得ることを理解されたい。したがって、現在開示されている実施形態は、すべての態様において限定的なものではなく、説明的なものであると考えられる。本発明の範囲は、添付の特許請求の範囲に示されており、特許請求の範囲の同等物の意味及び範囲内に入るすべての変更は、特許請求の範囲に包含されるものである。
10 照明アレイ、12 患者、16 カメラ、20 表面、22 歯、24 カメラ、28 スキャナ、30 センサアレイ、34 レンズ、40 検知装置、42 センサ、46 光パターン、70 撮像装置、72 メモリ、74 表示装置、75 コンピュータ、80 制御論理プロセッサ、84 表示装置、90 撮像装置、92 3D視像、94 表面、96 周縁部、100 印象材料、150 表面画像、S510 走査ステップ、S520 表面画像生成ステップ、S530 ROI特定ステップ、S540 印象走査ステップ、S550 位置合わせステップ、S560 併合ステップ、S570表示ステップ、S1210 走査ステップ、S1220 表面画像生成ステップ、S1230 印象走査ステップ、S1240 表面画像生成ステップ、S1250 位置合わせステップ、S1260 咬合位置合わせ決定ステップ、S1270 表示ステップ。

Claims (20)

  1. 患者歯列の関心領域を撮像する方法であって、少なくとも一部がコンピュータシステムによって実行され、
    a)口腔内走査を取得し、前記関心領域を含む患者歯列の第1の表面輪郭の3Dデジタルモデルを形成するステップと、
    b)少なくとも前記関心領域を含む物理的印象を取得するステップと、
    c)前記物理的印象を走査し、特定された前記関心領域の第2の表面輪郭を生成するステップと、
    d)前記第2の表面輪郭の一部分を前記関心領域にわたって前記第1の表面輪郭と組み合わせることによって、前記デジタルモデルを修正するステップと、
    e)前記修正されたデジタルモデルを表示するステップと
    を含むことを特徴とする方法。
  2. 請求項1に記載の方法であって、前記関心領域を特定する1つ以上のオペレータ命令を受け入れるステップをさらに含むことを特徴とする方法。
  3. 請求項2に記載の方法であって、前記1つ以上のオペレータ命令がタッチ画面で入力されることを特徴とする方法。
  4. 請求項1に記載の方法であって、前記関心領域を自動的に検出するステップをさらに含むことを特徴とする方法。
  5. 請求項4に記載の方法であって、前記関心領域が前記物理的印象の1つ以上の境界によって画定されることを特徴とする方法。
  6. 請求項1に記載の方法であって、前記物理的印象を走査するステップが、口腔内スキャナを使用するステップを含むことを特徴とする方法。
  7. 請求項1に記載の方法であって、前記物理的印象を走査するステップが、デスクトップスキャナを使用するステップを含むことを特徴とする方法。
  8. 請求項1に記載の方法であって、前記3Dデジタルモデルを形成するステップが、ポイントクラウドを形成するステップを含むことを特徴とする方法。
  9. 請求項1に記載の方法であって、前記3Dデジタルモデルを形成するステップが、メッシュを形成するステップを含むことを特徴とする方法。
  10. 請求項1に記載の方法であって、組み合わせるステップが、前記3Dデジタルモデルの1つ以上の点を前記第2の表面輪郭の対応する点に置き換えるステップを含むことを特徴とする方法。
  11. 歯列弓の関心領域を撮像する方法であって、少なくとも一部がコンピュータシステムによって実行され、
    a)口腔内走査を取得し、前記関心領域を含む前記歯列弓の第1の表面輪郭の3Dデジタルモデルを形成するステップと、
    b)前記関心領域を画定する前記歯列弓の一部分の部分印象を取得するステップと、
    c)前記取得された部分印象を走査し、前記走査された印象から、前記画定された関心領域の第2の表面輪郭を生成するステップと、
    d)前記第1の表面輪郭の一部分を、前記画定された関心領域にわたって前記第2の表面輪郭と取り換えることによって、前記デジタルモデルを修正するステップと、
    e)前記修正されたデジタルモデルを表示するステップと
    を含むことを特徴とする方法。
  12. 患者の歯列弓を撮像する撮像装置であって、
    前記歯列弓と、前記歯列弓の一部分から得られた印象との一連の反射画像を取得するために通電可能であるスキャナと、
    論理プロセッサであって、
    (i)前記歯列弓の前記一連の反射画像を取得するための、
    (ii)関心領域を含む前記歯列弓の第1の表面輪郭の3Dデジタルモデルを形成するための、
    (iii)前記印象の前記一連の画像を取得するための、
    (iv)前記関心領域の第2の表面輪郭として前記印象の3Dデジタルモデルを形成するための、
    (v)前記第1及び第2の表面輪郭の前記3Dデジタルモデルを組み合わせて表示用の混合3Dデジタルモデルを形成するための
    命令がプログラムされている論理プロセッサと、
    前記混合3Dモデルの描画を表示するために前記論理プロセッサと信号通信している表示装置と
    を備えることを特徴とする撮像装置。
  13. 咬合位置合わせを特徴付ける方法であって、
    a)上顎弓の口腔内走査及び下顎弓の走査を取得するステップと、
    b)前記上顎弓及び下顎弓の3Dデジタルモデルを形成するステップと、
    c)咬合から前記弓の一部分に沿って印象を得るステップと、
    d)前記印象からの対向する咬合面のインプリントを走査して、前記印象の表面画像データを生成するステップと、
    e)前記上顎弓及び下顎弓の前記3Dデジタルモデルを前記印象の前記表面画像データと位置合わせするステップと、
    f)前記弓を位置決めして、前記3Dモデル位置合わせによる咬合位置合わせを示すステップと、
    g)前記咬合位置合わせを表示するステップと
    を含むことを特徴とする方法。
  14. 請求項13に記載の方法であって、前記口腔内走査及び前記咬合を走査することが口腔内カメラによって行われることを特徴とする方法。
  15. 請求項13に記載の方法であって、前記印象が第1の印象であり、前記弓の一部分に沿って咬合を示す第2の印象を得るステップ及び走査するステップをさらに含むことを特徴とする方法。
  16. 請求項13に記載の方法であって、前記印象の前記表面を走査するステップが、口腔内スキャナを使用するステップを含むことを特徴とする方法。
  17. 請求項13に記載の方法であって、前記印象の前記表面を走査するステップが、デスクトップスキャナを使用するステップを含むことを特徴とする方法。
  18. 請求項13に記載の方法であって、前記3Dデジタルモデルを形成するステップが、ポイントクラウドを形成するステップを含むことを特徴とする方法。
  19. 請求項13に記載の方法であって、前記3Dデジタルモデルを形成するステップが、メッシュを形成するステップを含むことを特徴とする方法。
  20. 患者の咬合位置合わせを特徴付ける撮像装置であって、
    患者の上顎及び下顎の歯列弓と、前記歯列弓の咬合から得られた印象との一連の反射画像を取得するために通電可能であるスキャナと、
    論理プロセッサであって、
    (i)前記歯列弓のそれぞれの前記一連の反射画像を取得するための、
    (ii)前記歯列弓のそれぞれの3Dデジタルモデルを形成するための、
    (iii)前記印象の表面画像データを生成するための、
    (iv)前記上顎及び下顎の歯列弓の前記3Dデジタルモデルを前記印象の前記表面画像データと位置合わせするための、
    (v)前記弓を位置決めして、前記3Dモデル位置合わせによる咬合位置合わせを示すための、
    (vi)表示用の前記3Dモデル咬合位置合わせを描画するための
    命令がプログラムされている論理プロセッサと、
    前記3Dモデル咬合位置合わせの描画を表示するために前記論理プロセッサと信号通信している表示装置と
    を備えることを特徴とする撮像装置。
JP2021534406A 2018-08-23 2018-08-23 口腔内スキャナを使用して3dデータを取得する混合方法 Active JP7245335B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/101891 WO2020037588A1 (en) 2018-08-23 2018-08-23 Hybrid method of acquiring 3d data using intraoral scanner

Publications (2)

Publication Number Publication Date
JP2022508372A true JP2022508372A (ja) 2022-01-19
JP7245335B2 JP7245335B2 (ja) 2023-03-23

Family

ID=69592134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021534406A Active JP7245335B2 (ja) 2018-08-23 2018-08-23 口腔内スキャナを使用して3dデータを取得する混合方法

Country Status (6)

Country Link
US (1) US20210322138A1 (ja)
EP (1) EP3841512A4 (ja)
JP (1) JP7245335B2 (ja)
KR (1) KR20210059726A (ja)
CN (1) CN113039587B (ja)
WO (1) WO2020037588A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230175014A (ko) * 2022-06-22 2023-12-29 주식회사 메디트 이미지 처리 장치 및 이미지 처리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014050695A (ja) * 2012-09-07 2014-03-20 Trophy 上顎弓および下顎弓の表示のための画像処理装置
WO2018143497A1 (ko) * 2017-02-03 2018-08-09 김도현 임플란트 수술 가이드 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686289B1 (ko) * 2004-04-01 2007-02-23 주식회사 메디슨 대상체 영상의 윤곽내 볼륨 데이터를 이용하는 3차원초음파 영상 형성 장치 및 방법
CN101450010A (zh) * 2007-12-06 2009-06-10 北京大学口腔医学院 数字化口腔修复体制作装备
EP2626036B1 (en) * 2012-02-10 2018-04-25 3Shape A/S Virtually designing a post and core restoration using a digital 3d shape
US9135498B2 (en) * 2012-12-14 2015-09-15 Ormco Corporation Integration of intra-oral imagery and volumetric imagery
US9427137B2 (en) * 2013-05-15 2016-08-30 Koninklijke Philips N.V. Imaging a patient's interior
WO2017125926A2 (en) * 2016-01-18 2017-07-27 Dentlytec G.P.L. Ltd Intraoral scanner
US20170103569A1 (en) * 2015-10-08 2017-04-13 Carestream Health, Inc. Operator interface for 3d surface display using 2d index image
CN106820563A (zh) * 2017-04-08 2017-06-13 深圳市快马实业有限公司 一种新型智能蓝牙牙刷

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014050695A (ja) * 2012-09-07 2014-03-20 Trophy 上顎弓および下顎弓の表示のための画像処理装置
WO2018143497A1 (ko) * 2017-02-03 2018-08-09 김도현 임플란트 수술 가이드 방법

Also Published As

Publication number Publication date
EP3841512A1 (en) 2021-06-30
EP3841512A4 (en) 2021-12-15
KR20210059726A (ko) 2021-05-25
CN113039587A (zh) 2021-06-25
CN113039587B (zh) 2024-04-19
WO2020037588A1 (en) 2020-02-27
US20210322138A1 (en) 2021-10-21
JP7245335B2 (ja) 2023-03-23

Similar Documents

Publication Publication Date Title
US11412922B2 (en) Control of light sources on an intraoral mirror with an integrated camera
US20230329837A1 (en) Correction of margin lines in three-dimensional models of dental sites
Richert et al. Intraoral scanner technologies: a review to make a successful impression
US11707347B2 (en) Detecting tooth shade
CN109414306A (zh) 用于口内扫描的历史扫描参考
US11961238B2 (en) Tooth segmentation using tooth registration
JP2007521068A (ja) 放射線写真使用型歯並び判別方法
JP2022516487A (ja) 下顎と上顎の3dセグメンテーション
WO2017205294A1 (en) A dental mirror with an integrated camera, and applications thereof
JP7245335B2 (ja) 口腔内スキャナを使用して3dデータを取得する混合方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230310

R150 Certificate of patent or registration of utility model

Ref document number: 7245335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02