JP2023058939A - 推定装置、推定方法、および推定プログラム - Google Patents

推定装置、推定方法、および推定プログラム Download PDF

Info

Publication number
JP2023058939A
JP2023058939A JP2021168750A JP2021168750A JP2023058939A JP 2023058939 A JP2023058939 A JP 2023058939A JP 2021168750 A JP2021168750 A JP 2021168750A JP 2021168750 A JP2021168750 A JP 2021168750A JP 2023058939 A JP2023058939 A JP 2023058939A
Authority
JP
Japan
Prior art keywords
data
tooth
estimation
teeth
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021168750A
Other languages
English (en)
Other versions
JP7507135B2 (ja
Inventor
亮佑 鍛治
Ryosuke Kaji
巳貴則 西村
Mikinori Nishimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
J Morita Manufaturing Corp
Original Assignee
J Morita Manufaturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by J Morita Manufaturing Corp filed Critical J Morita Manufaturing Corp
Priority to JP2021168750A priority Critical patent/JP7507135B2/ja
Publication of JP2023058939A publication Critical patent/JP2023058939A/ja
Application granted granted Critical
Publication of JP7507135B2 publication Critical patent/JP7507135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

【課題】手間をかけることなく精度の良い矯正を行うことができる技術を提供する。【解決手段】推定装置1は、複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置50に関する矯正データとが入力される入力部1101と、歯牙データ、期間データ、および矯正データと、少なくとも機械学習が可能なプログラムを含む推定モデル121とに基づき、矯正期間が経過した場合の歯牙の位置を推定する推定部1102とを備える。【選択図】図3

Description

本開示は、矯正により移動する歯牙の位置を推定する推定装置、推定方法、および推定プログラムに関する。
従来、複数の歯牙のそれぞれに接する複数のブラケットをワイヤーで接続するように構成された固定式の矯正装置、または、マウスピース状のアライナーと呼ばれる矯正装置など、様々な手法の歯の矯正技術が知られている。たとえば、特許文献1は、複数の歯牙を含む歯列のデジタルモデルに基づき、矯正部材の選択および矯正部材の位置を算出する方法を開示する。
特表2011-506018号公報
特許文献1に開示された方法を用いることにより、歯科医師は矯正装置を設計することができるが、ある程度の矯正期間が経過した後でなければ、矯正により移動した歯牙の位置を知ることができない。このため、歯科医師は、矯正期間において、定期的に歯牙の位置を確認し、その都度、矯正装置を設計し直したり、矯正装置の位置を見直したりする必要があった。このように、従来、歯科医師は、矯正期間において自身の知見に基づき手探りで矯正装置を設計する必要があるため、矯正に手間が掛かり、また、矯正精度を高めることにも限界があった。
本開示は、このような問題を解決するためになされたものであり、手間をかけることなく精度の良い矯正を行うことができる技術を提供することを目的とする。
本開示の一例に従えば、矯正により移動する歯牙の位置を推定する推定装置が提供される。推定装置は、複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置に関する矯正データとが入力される入力部と、歯牙データ、期間データ、および矯正データと、少なくとも機械学習が可能なプログラムを含む推定モデルとに基づき、矯正期間が経過した場合の歯牙の位置を推定する推定部とを備える。
本開示の一例に従えば、コンピュータによる矯正により移動する歯牙の位置を推定する推定方法が提供される。推定方法は、複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置に関する矯正データとが入力されるステップと、歯牙データ、期間データ、および矯正データと、少なくとも機械学習が可能なプログラムを含む推定モデルとに基づき、矯正期間が経過した場合の歯牙の位置を推定するステップとを含む。
本開示の一例に従えば、矯正により移動する歯牙の位置を推定する推定プログラムが提供される。推定プログラムは、コンピュータに、複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置に関する矯正データとが入力されるステップと、歯牙データ、期間データ、および矯正データと、少なくとも機械学習が可能なプログラムを含む推定モデルとに基づき、矯正期間が経過した場合の歯牙の位置を推定するステップとを実行させる。
本開示によれば、ユーザは、手間をかけることなく精度の良い矯正を行うことができる。
本実施の形態に係る推定装置の適用例を示す模式図である。 本実施の形態に係る推定装置のハードウェア構成を示すブロック図である。 本実施の形態に係る推定装置の機能構成を示すブロック図である。 歯牙のセグメント化の一例を示す図である。 歯牙データの生成の一例を示す図である。 骨密度データの生成の一例を示す図である。 本実施の形態に係る推定装置が実行する学習処理の一例を説明するためのフローチャートである。 本実施の形態に係る推定装置が実行する推定処理の一例を説明するためのフローチャートである。 他の実施形態に係る推定装置が実行する推定処理の一例を説明するためのフローチャートである。 矯正期間における各種処理の一例を示す図である。
本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
[適用例]
図1を参照しながら、本実施の形態に係る推定装置1の適用例を説明する。図1は、本実施の形態に係る推定装置1の適用例を示す模式図である。
図1に示すように、推定装置1は、歯科医師および歯科助手などのユーザによって用いられ、AI(人工知能:Artificial Intelligence)を利用して、矯正により移動する歯牙の位置を推定する。
歯牙の位置は、1または複数の歯牙の位置を特定するためのデータを含む。具体的には、歯牙の位置は、1または複数の歯牙の三次元の位置情報(縦方向、横方向、高さ方向の各軸の座標)を含む。
推定装置1は、少なくとも、複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置50に関する矯正データとを取得する。
歯牙データは、後述する図5に示すように、患者の複数の歯牙の三次元形状を特定するためのデータを含む。具体的には、歯牙データは、複数の歯牙の各々の三次元の位置情報(縦方向、横方向、高さ方向の各軸の座標、たとえばXYZ座標上の値)を含む。さらに、後述する図4および図5に示すように、歯牙データにおいては、歯牙の種類ごとに識別データ(たとえば、色情報)を用いて各位置情報がセグメント化されていてもよい。
ユーザは、図示しないCT(Computed Tomography)スキャナまたはX線装置を用いて患者の歯牙データを取得することができる。CTスキャナまたはX線装置によって取得され得る歯牙データは、三次元位置データ、具体的には、XYZ座標データを含む三次元ボクセルデータである。なお、ユーザは、三次元カメラによってスキャン対象の位置情報を取得することが可能な三次元スキャナを用いて患者の歯牙の位置情報を取得してもよい。三次元スキャナによって取得され得る歯牙データは、三次元位置データ、具体的には、XYZ座標データを含む三次元の表面を示す点群データである。歯牙データに基づいて画像を生成する場合は、歯牙データに含まれる三次元位置データに基づいて、任意の視点から見た歯牙の象を含む二次元画像を生成することになる。任意の視点は、予め設定されていてもよく、その二次元画像が表示されたディスプレイを見たユーザによって設定または変更されてもよい。
期間データは、ユーザが歯牙の位置を知りたい未来の時点(年月日など)、および、現時点からユーザが歯牙の位置を知りたい未来の時点までの期間(すなわち矯正期間)のうち、少なくとも1つを含む。
矯正データは、歯科医師などによって設計された矯正装置50に関するデータを含む。具体的には、矯正装置50が複数の歯牙のそれぞれに接する複数のブラケット51をワイヤー52で接続するように構成された固定式の矯正装置である場合、矯正データは、ブラケット51に関するデータ、およびワイヤー52に関するデータのうち、少なくとも1つを含む。たとえば、ブラケット51に関するデータは、複数の歯牙の各々に接するブラケット51の面の略中央の位置、複数の歯牙の各々に接するブラケット51の面のワイヤー52が接する位置、ブラケット51の形状(断面形状など)、およびブラケット51の材質(アルミニウム、ステンレス、チタンなど)のうち、少なくとも1つを含む。ワイヤー52に関するデータは、ブラケット51の面に接するワイヤー52の位置、ワイヤー52の形状(断面形状など)、ワイヤーの材質(アルミニウム、ステンレス、チタンなど)、およびワイヤー52の締め付け具合などのトルクコントロールにおける設計値のうち、少なくとも1つを含む。また、矯正装置50がマウスピース状のアライナーと呼ばれる矯正装置である場合、矯正データは、アライナーの形状および材質のうち、少なくとも1つを含む。このように、矯正データは、ブラケット51に関するデータ、ワイヤー52に関するデータ、およびアライナーに関するデータのうちの少なくとも1つを含む。
上述した矯正データは、矯正される歯牙の移動量に影響し得る。このため、矯正データは、矯正対象となった歯牙の位置を推定するための重要なデータとなり得る。
推定装置1は、上述した歯牙データ、期間データ、および矯正データを用いて推定モデル121を機械学習させることによって、矯正期間が経過した場合の歯牙の位置を推定するように構成されている。たとえば、推定装置1は、歯牙データに基づき現在の各歯牙の位置情報を取得し、矯正データに基づきユーザによって設計された矯正装置50の設計値を取得し、期間データに基づきユーザが未来の歯牙の位置を知りたい未来の時点(この例ではX年後)を取得し、これらのデータを推定モデル121に入力することによって、未来の時点における歯牙の位置を推定することが可能である。このように、ユーザは、推定装置1を用いることにより、矯正期間が経過する前の現時点において、矯正期間(この例ではX年後)が経過した場合の歯牙の位置を推定することができる。
さらに、後述する図4および図5に示すように、歯牙データが歯牙の種類ごとに識別データ(たとえば、色情報)を用いてセグメント化されている場合、推定装置1は、セグメント化された歯牙ごとに歯牙の位置を推定するように推定モデル121を機械学習させることができる。これにより、推定装置1は、歯牙の位置の推定精度を高めることができる。
また、食事、会話、および睡眠中の歯ぎしりなどの顎運動は歯牙の移動に影響を与え得るため、顎運動データは、矯正対象となった歯牙の位置を推定するための重要なデータとなり得る。そこで、推定装置1は、運動する顎の位置に関する顎運動データをさらに取得し、取得した顎運動データを用いて推定モデル121を機械学習させてもよい。
推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データを推定モデル121に入力することによって、矯正期間が経過した場合の歯牙の位置を精度よく推定することができる。
さらに、顎骨の骨密度が小さければ小さいほど矯正によって歯牙の位置が移動し易く、顎骨の骨密度が大きければ大きいほど矯正によって歯牙の位置が移動し難い。さらに、各歯牙が位置する顎の骨の部分ごとに骨密度が異なる場合は、矯正によって各歯牙の移動に与える影響が異なる。このため、骨密度データは、矯正対象となった歯牙の位置を推定するための重要なデータとなり得る。そこで、推定装置1は、顎骨(上顎骨、下顎骨)の骨密度に関する骨密度データをさらに取得し、取得した骨密度データを用いて推定モデル121を機械学習させてもよい。骨密度データは、上顎骨の骨密度の平均値、下顎骨の骨密度の平均値、上顎に位置する各歯牙の周辺の骨密度の平均値、および下顎に位置する各歯牙の周辺の骨密度の平均値のうち、少なくとも1つを含む。
推定装置1は、歯牙データ、期間データ、および矯正データに加えて、骨密度データを推定モデル121に入力することによって、矯正期間が経過した場合の歯牙の位置を精度よく推定することができる。
なお、推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの両方を推定モデル121に入力することによって、矯正期間が経過した場合の歯牙の位置を推定してもよい。すなわち、推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つを推定モデル121に入力することによって、矯正期間が経過した場合の歯牙の位置を推定してもよい。
[推定装置のハードウェア構成]
図2を参照しながら、本実施の形態に係る推定装置1のハードウェア構成の一例を説明する。図2は、本実施の形態に係る推定装置1のハードウェア構成を示すブロック図である。
図2に示すように、推定装置1は、主なハードウェア要素として、演算装置11と、記憶装置12と、メディア読取装置13と、通信装置14と、ディスプレイインターフェース15と、周辺機器インターフェース16とを備える。
演算装置11は、各種のプログラムを実行することで、推定モデル121の推定処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置11は、たとえば、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)、およびGPU(Graphics Processing Unit)などで構成される。なお、演算装置11は、CPU、FPGA、およびGPUの少なくとも1つで構成されてもよいし、CPUとFPGA、FPGAとGPU、CPUとGPU、あるいはCPU、FPGA、およびGPUの全てから構成されてもよい。また、演算装置11は、演算回路(processing circuitry)で構成されてもよい。
記憶装置12は、演算装置11が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の記憶領域(たとえば、ワーキングエリア)を含む。たとえば、記憶装置12は、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成される。さらに、記憶装置12は、不揮発性の記憶領域を含む。たとえば、記憶装置12は、ハードディスクまたはSSD(Solid State Drive)などの不揮発性メモリデバイスで構成される。
なお、本実施の形態においては、揮発性の記憶領域と不揮発性の記憶領域とが同一の記憶装置12に含まれる例を示したが、揮発性の記憶領域と不揮発性の記憶領域とが互いに異なる記憶装置に含まれていてもよい。たとえば、演算装置11が揮発性の記憶領域を含み、記憶装置12が不揮発性の記憶領域を含んでいてもよい。推定装置1は、演算装置11と、記憶装置12とを含むマイクロコンピュータを備えていてもよい。
記憶装置12は、推定モデル121と、推定プログラム122とを格納する。推定モデル121は、ニューラルネットワーク1211(図1参照)と、ニューラルネットワークにおける処理で用いられるパラメータ1212(図1参照)とを含む。パラメータ1212は、ニューラルネットワーク1211による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。ニューラルネットワーク1211は、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)など、少なくとも、歯牙データ、期間データ、および矯正データに基づき、矯正期間が経過した場合の歯牙の位置を推定することができるニューラルネットワークであれば、いずれのニューラルネットワークであってもよい。
推定モデル121は、少なくとも機械学習が可能なプログラムを含み、学習用データ(教師データ)に基づき機械学習を行うことで最適化(調整)される。学習用データは、入力データと、正解データとを含む。入力データは、少なくとも、歯牙データ、期間データ、および矯正データを含む。なお、入力データは、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つを含んでいてもよい。正解データは、入力データを用いて実際に矯正された場合の複数の歯牙の位置を含む。
推定モデル121は、歯牙データ、期間データ、および矯正データなどの入力データが入力されると、当該入力データに基づきニューラルネットワーク1211によって、矯正期間が経過した場合の歯牙の位置を推定する。そして、推定モデル121は、自身が推定した歯牙の位置と、正解データに含まれる歯牙の位置とを比較して、両者の一致度が所定範囲内であればパラメータ1212を更新しない一方で、両者の一致度が所定範囲外であれば両者の一致度が所定範囲内になるようにパラメータ1212を更新することで、パラメータ1212を最適化する。このように、推定モデル121は、入力データである歯牙データ、期間データ、および矯正データと、正解データである矯正期間が経過した場合の歯牙の位置とを含む学習用データを利用して、パラメータ1212を最適化することで機械学習を行う。
なお、上述したような推定モデル121を学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデル121を、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデル121および学習済みの推定モデル121をまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデル121を「学習済モデル」とも称する。
推定プログラム122は、演算装置11が推定処理および学習処理を実行するためのプログラムである。本実施の形態においては、画像に特化した処理を行うプログラムとして、たとえば、VoxNet、3D ShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、MarrNet、VoxelNet、およびVoteNetなどが推定プログラム122に用いられるが、順伝搬型ニューラルネットワークまたはリカレント型ニューラルネットワークなど、その他のプログラムが用いられてもよい。
メディア読取装置13は、リムーバブルディスク130などの記憶媒体を受け入れ、リムーバブルディスク130に格納されているデータを取得する。
通信装置14は、有線通信または無線通信を介して、図示しない外部装置との間でデータを送受信する。
ディスプレイインターフェース15は、ディスプレイ150を接続するためのインターフェースであり、推定装置1とディスプレイ150との間のデータの入出力を実現する。
周辺機器インターフェース16は、キーボード161およびマウス162などの周辺機器を接続するためのインターフェースであり、推定装置1と周辺機器との間のデータの入出力を実現する。
[推定装置の機能構成]
図3を参照しながら、本実施の形態に係る推定装置1の機能構成の一例を説明する。図3は、本実施の形態に係る推定装置1の機能構成を示すブロック図である。
図3に示すように、推定装置1は、主な機能部として、入力部1101と、推定部1102と、記憶部1103と、出力部1104とを備える。
入力部1101は、メディア読取装置13、通信装置14、および周辺機器インターフェース16のうち、少なくとも1つの機能部であり、入力データが入力される。上述したように、入力データは、少なくとも、歯牙データ、期間データ、および矯正データを含むが、顎運動データおよび骨密度データの少なくとも1つをさらに含んでいてもよい。
たとえば、入力部1101がメディア読取装置13の機能部である場合、メディア読取装置13は、リムーバブルディスク130などの記憶媒体に記憶された入力データを取得する。入力部1101が通信装置14の機能部である場合、通信装置14は、有線通信または無線通信を介して、外部装置から入力データを取得する。なお、外部装置は、歯科医院に設置されたサーバ装置であってもよいし、歯科医院とは別の場所に設置されたクラウド型のサーバ装置であってもよい。入力部1101が周辺機器インターフェース16の機能部である場合、周辺機器インターフェース16は、キーボード161およびマウス162を用いてユーザによって入力された入力データを取得する。
推定部1102は、演算装置11の機能部であり、入力部1101から入力された入力データと、ニューラルネットワーク1211を含む推定モデル121とに基づき、矯正期間が経過した場合の歯牙の位置を推定する。
記憶部1103は、記憶装置12の機能部であり、ニューラルネットワーク1211およびパラメータ1212を含む推定モデル121を記憶する。
出力部1104は、メディア読取装置13、通信装置14、およびディスプレイインターフェース15のうち、少なくとも1つの機能部であり、推定部1102によって推定された複数の歯牙の位置を示す推定データを外部に出力する。
たとえば、出力部1104がメディア読取装置13の機能部である場合、メディア読取装置13は、リムーバブルディスク130などの記憶媒体に推定データを出力する。出力部1104が通信装置14の機能部である場合、通信装置14は、有線通信または無線通信を介して、推定データを外部装置に出力する。出力部1104がディスプレイインターフェース15の機能部である場合、ディスプレイインターフェース15は、推定データをディスプレイ150に出力する。この場合、ディスプレイ150は、推定データに対応する画像を表示する。
推定装置1は、図2および図3に示すような構成を備えることにより、歯牙データ、期間データ、および矯正データと、推定モデル121とに基づき、矯正期間が経過した場合の歯牙の位置を推定し、推定結果を含む推定データを出力することができる。さらに、推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データのうちの少なくとも1つに基づき、矯正期間が経過した場合の歯牙の位置を推定し、推定結果を含む推定データを出力することができる。
[歯牙データの生成の一例]
図4および図5を参照しながら、歯牙データの生成の一例を説明する。図4は、歯牙のセグメント化の一例を示す図である。図5は、歯牙データの生成の一例を示す図である。
図4(A)に示すように、CTスキャナなどによって患者の顔を撮影することによって、上顎骨、下顎骨、および複数の歯牙を含む患者の顔の三次元データが取得される。図4(B)に示すように、三次元データに含まれる各部位ごとに複数の位置情報の各々がセグメント化される。具体的には、上顎骨、下顎骨、および複数の歯牙の各々に対して識別データが対応付けられることによって、上顎骨、下顎骨、および複数の歯牙の各々における位置情報が区別される。なお、図4(B)に示す例では、セグメント化された上顎骨は、前頭骨または鼻骨などと一緒になっているが、三次元データは、少なくとも上顎骨を含み、かつ、上顎骨が下顎骨と歯牙とから区別されていればよい。また、三次元データに基づいて、任意の視点から見た患者の顔の像を含む2次元画像が生成可能である。
たとえば、図5に示すように、歯牙データは、複数の歯牙の各々の三次元の位置情報を含む。CTスキャナによって患者の歯牙が撮影された場合、三次元データは、濃淡のある複数のボクセルによって複数の歯牙の各々が表現される。この場合、歯牙データは、複数の歯牙の各々を構成する複数のボクセルの位置情報(たとえば、ボクセルの中心位置の三次元座標)を含む。あるいは、三次元スキャナによって患者の歯牙が撮影された場合、三次元データは、複数の点(点群)によって複数の歯牙の各々が表現される。この場合、歯牙データは、複数の歯牙の各々を構成する複数の点の位置情報(各点の三次元座標)を含む。
さらに、上顎骨データ、下顎骨データ、および歯牙データは、各位置座標に対して色情報(RGB値)が対応付けられている。たとえば、複数の歯牙は、上顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、上顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎右側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯、下顎左側の中切歯、側切歯、犬歯、第1小臼歯、第2小臼歯、第1大臼歯、第2大臼歯、および第3大臼歯といったように、口腔内の位置および種類ごとに区別され得る。歯牙データに含まれる複数の位置座標のうち、同じ種類の歯牙を構成する位置座標に対しては同じ色情報が対応付けられる。なお、人がディスプレイ150に表示された三次元データに基づいて生成された画像を確認しながら歯牙の種類を識別することによって、各位置座標に対して色情報が対応付けるようにして記録されてもよいし、専用のソフトウェアを用いて自動で歯牙の種類を識別することによって、各位置座標に対して色情報が対応付けるようにして記録されてもよい。
[骨密度データの生成の一例]
図6を参照しながら、骨密度データの生成の一例を説明する。図6は、骨密度データの生成の一例を示す図である。
図6(A)に示すように、三次元データに含まれる上顎骨、下顎骨、および複数の歯牙の各々ごとにセグメント化された後、図6(B)に示すように、セグメント化された三次元データに基づき、顎骨(上顎骨、下顎骨)の骨密度が推定される。具体的には、CTスキャナなどによって取得された三次元データは、CT値(computed tomography value)と呼ばれるエックス線吸収値に応じて、各ボクセルの濃淡が決まる。よって、三次元データの濃淡(CT値)に基づき、顎骨(上顎骨、下顎骨)の骨密度を推定することが可能である。なお、上顎骨の骨密度は、上顎骨全体の骨密度の平均値であってもよい。また、下顎骨の骨密度は、下顎骨全体の骨密度の平均値であってもよい。
図6(B)の例では、三次元データに基づき、上顎に位置する各歯牙の歯根周辺の骨密度の平均値、および下顎に位置する各歯牙の歯根周辺の骨密度の平均値が推定されている。推定された各歯牙の骨密度は、図5に示した各歯牙の位置座標に対応付けられる。なお、歯根周辺とは、歯根の中心位置から予め定められた範囲内の部分を含む。
[学習処理]
図7を参照しながら、推定装置1の学習処理を説明する。図7は、本実施の形態に係る推定装置1が実行する学習処理の一例を説明するためのフローチャートである。本実施の形態において、推定装置1は、学習用データを用いた教師あり学習によって推定モデル121を学習させる。図7に示す各ステップ(以下、「S」で示す。)は、推定装置1の演算装置11が推定プログラム122を実行することで実現される。
図7に示すように、まず、推定装置1は、学習用データを取得する(S1)。たとえば、推定装置1は、入力データとして、歯牙データ、期間データ、および矯正データを取得するとともに、正解データとして、矯正期間が経過した場合の歯牙の位置を取得する。さらに、推定装置1は、顎運動データまたは骨密度データに基づき機械学習を行う場合、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つを取得する。
推定装置1は、学習用データのうちの入力データに基づき、矯正期間が経過した場合の歯牙の位置を推定する(S2)。推定装置1は、自身が推定した歯牙の位置と、正解データに含まれる歯牙の位置とを比較することによって、推定モデル121を機械学習させる(S3)。なお、S2の処理において、推定装置1は、入力データに基づき1つの歯牙の位置を推定するように推定モデル121を機械学習させてもよいし、入力データに基づき複数の歯牙の位置を推定するように推定モデル121を機械学習させてもよい。推定装置1は、推定モデル121が推定した歯牙の位置と正解データに含まれる歯牙の位置との間の一致度合(一致/不一致)に基づいて、推定モデル121を機械学習させる。たとえば、推定装置1は、推定モデル121が推定した歯牙の位置と正解データに含まれる歯牙の位置とが完全に一致する場合に、両者が一致すると判定してもよい。あるいは、推定装置1は、推定モデル121が推定した歯牙の位置と正解データに含まれる歯牙の位置との差が所定距離以内(たとえば、1.5mm以内)である場合に、両者が一致すると判定してもよい。
推定装置1は、学習済みの推定モデル121(学習済モデル)を記憶装置12に記憶させる(S4)。その後、推定装置1は、本処理を終了する。
このように、推定装置1は、少なくとも、歯牙データ、期間データ、および矯正データに基づき、歯牙の位置を推定するように推定モデル121を機械学習させることができる。また、推定装置1は、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つに基づき、歯牙の位置を推定するように推定モデル121を機械学習させることができる。さらに、歯牙データが歯牙の種類ごとに識別データ(たとえば、色情報)を用いてセグメント化されている場合、推定装置1は、セグメント化された歯牙ごとに歯牙の位置を推定するように推定モデル121を機械学習させることができる。
[推定処理]
図8および図9を参照しながら、推定装置1の推定処理を説明する。図8は、本実施の形態に係る推定装置1が実行する推定処理の一例を説明するためのフローチャートである。図8に示す各ステップ(以下、「S」で示す。)は、推定装置1の演算装置11が推定プログラム122を実行することで実現される。
図8に示すように、まず、推定装置1は、入力データを取得する(S11)。たとえば、推定装置1は、入力データとして、歯牙データ、期間データ、および矯正データを取得する。さらに、推定装置1は、顎運動データまたは骨密度データに基づき推定モデル121に対して機械学習を行っている場合、歯牙データ、期間データ、および矯正データに加えて、顎運動データおよび骨密度データの少なくとも1つを取得してもよい。
推定装置1は、入力データに基づき、矯正期間が経過した場合の歯牙の位置を推定する(S12)。なお、推定装置1は、入力データに基づき1つの歯牙の位置を推定してもよいし、入力データに基づき複数の歯牙の位置を推定してもよい。推定装置1は、歯牙の位置の推定結果を出力する(S13)。その後、推定装置1は、本処理を終了する。
図8の例では、歯牙データが歯牙の種類ごとに識別データ(たとえば、色情報)を用いて予めセグメント化されているが、図9に示すように、推定装置1は、歯牙の種類ごとに識別データを用いて歯牙データを自らセグメント化してもよい。また、図8の例では、骨密度データが予め生成されているが、図9に示すように、推定装置1は、骨密度データを自ら生成してもよい。
図9は、他の実施形態に係る推定装置1が実行する推定処理の一例を説明するためのフローチャートである。図9に示す各ステップ(以下、「S」で示す。)は、推定装置1の演算装置11が推定プログラム122を実行することで実現される。
図9に示すように、推定装置1は、図4(A)に示すように、任意の視点から見た患者の顔の像を含む二次元画像を生成可能な三次元データを取得する(S21)。すなわち、図9の例では、患者の顔の像を含む二次元画像を生成可能な三次元データが入力部1101から入力される。
推定装置1は、図4(B)に示すように、上顎骨、下顎骨、および複数の歯牙の各々に対して識別データ(たとえば、色情報)を対応付けることによって、上顎骨、下顎骨、および複数の歯牙の各々を区別するように複数の位置情報の各々をセグメント化する(S22)。
推定装置1は、セグメント化された複数の位置情報に基づき、各歯牙の位置を抽出する(S23)。これにより、推定装置1は、歯牙データを生成することができる。
推定装置1は、S21において取得した三次元データの濃淡(CT値)に基づき、顎骨(上顎骨、下顎骨)の骨密度を推定する(S24)。具体的には、推定装置1は、三次元データに基づき、上顎に位置する各歯牙の歯根周辺の骨密度の平均値、および下顎に位置する各歯牙の歯根周辺の骨密度の平均値を推定する。これにより、推定装置1は、骨密度データを生成することができる。
推定装置1は、図示しない顎運動測定器によって測定された顎運動データを取得する(S25)。また、推定装置1は、ユーザによって設計された矯正装置50に関する矯正データを取得する(S26)。さらに、推定装置1は、ユーザによって入力された矯正期間に関する期間データを取得する(S27)。
次に、推定装置1は、取得した歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データに基づき歯牙の位置を推定する前に、歯牙データおよび顎運動データの各々における位置情報の基準を合わせる(S28)。すなわち、歯牙データは、CTスキャナなどによって取得された三次元データに基づき生成される一方で、顎運動データは、顎運動測定器の測定値に基づき生成されるため、両者の基準を合わせることによって、推定装置1による歯牙の位置の推定精度を向上させることができる。そこで、推定装置1は、歯牙データに含まれる位置情報と、顎運動データに含まれる位置情報とで、基準を合わせることで、両者の位置情報を変換する。
なお、図8で示した推定処理においても、推定装置1は、S11で取得した歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データに基づき歯牙の位置を推定する前(S12の前)に、歯牙データおよび顎運動データの各々における位置情報の基準を合わせてもよい。
推定装置1は、取得した歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データに基づき歯牙の位置を推定する(S29)。推定装置1は、歯牙の位置の推定結果を出力する(S30)。その後、推定装置1は、本処理を終了する。
[矯正期間における各種処理]
図10を参照しながら、ユーザが推定装置1を用いて矯正期間において実行する各種処理を説明する。図10は、矯正期間における各種処理の一例を示す図である。
図10に示すように、ユーザは、矯正治療を開始すると(S51)、初期治療段階に移行する。ユーザは、CTスキャナなどによって取得した患者の顔の三次元データに基づき、上顎骨、下顎骨、および複数の歯牙の各々を区別するように複数の位置情報の各々をセグメント化するとともに、矯正治療に関して分析、診断、および計画を実行し、矯正装置50を設計する(S52)。
そして、ユーザは、推定装置1に歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データを入力することで、矯正期間が経過した場合の歯牙の位置を推定する(S53)。すなわち、ユーザは、実際に矯正装置50を用いて患者の歯牙を矯正する前に、推定装置1を用いて、矯正期間が経過した場合の歯牙の位置を推定する。これにより、ユーザは、矯正装置50を患者に装着させる前に、推定結果に基づき矯正装置50の設計を是正することができる。ユーザは、是正した矯正装置50を用いて矯正治療を行う(S54)。
ユーザは、矯正中の歯牙を移動させるための動的治療段階において、再び、CTスキャナなどによって取得した患者の顔の三次元データに基づき、上顎骨、下顎骨、および複数の歯牙の各々を区別するように複数の位置情報の各々をセグメント化するとともに、矯正治療に関して分析、診断、および計画を実行し、矯正装置50を設計する(S55)。
そして、ユーザは、推定装置1に歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データを入力することで、矯正期間が経過した場合の歯牙の位置を推定する(S56)。すなわち、ユーザは、動的治療段階において、再び、推定装置1を用いて、矯正期間が経過した場合の歯牙の位置を推定する。これにより、ユーザは、動的治療段階において、再設計された矯正装置50を患者に装着させる前に、推定結果に基づき矯正装置50の設計を是正することができる。ユーザは、是正した矯正装置50を用いて矯正治療を行う(S57)。
さらに、ユーザは、矯正中の歯牙を保定するための保定段階において、再び、CTスキャナなどによって取得した患者の顔の三次元データに基づき、上顎骨、下顎骨、および複数の歯牙の各々を区別するように複数の位置情報の各々をセグメント化するとともに、矯正治療に関して分析、診断、および計画を実行し、矯正装置50を設計する(S58)。
そして、ユーザは、推定装置1に歯牙データ、骨密度データ、顎運動データ、矯正データ、および期間データを入力することで、矯正期間が経過した場合の歯牙の位置を推定する(S59)。すなわち、ユーザは、保定段階において、再び、推定装置1を用いて、矯正期間が経過した場合の歯牙の位置を推定する。これにより、ユーザは、保定段階において、再設計された矯正装置50を患者に装着させる前に、推定結果に基づき矯正装置50の設計を是正することができる。ユーザは、是正した矯正装置50を用いて矯正治療を行う(S60)。
ユーザは、上述したような処理を繰り返しながら矯正治療を行い、矯正期間が経過すると、矯正治療を終了する(S61)。
以上のように、歯科医師などのユーザは、推定装置1を用いて矯正期間が経過した場合の歯牙の位置を推定することで、矯正装置50を患者に装着させる前に、推定結果に基づき矯正装置50の設計を是正することができる。これにより、ユーザは、矯正期間において自身の知見に基づき手探りで矯正装置50を設計する必要がなく、手間をかけることなく精度の良い矯正を行うことができる。さらに、ユーザは、矯正期間を短くすることもできる。
[変形例]
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。
(セグメント化における識別データ)
推定装置1は、複数の歯牙の各々で歯牙データをセグメント化する際に、識別データとして色情報を用いていたが、識別データとしてその他の識別情報を用いてもよい。たとえば、推定装置1は、識別データとして、模様、文字、数字、および記号のうちの少なくとも1つを用いてもよい。
(推定結果に対応する矯正期間)
推定装置1は、最終的に矯正治療が終了する時点における歯牙の位置を推定することに限らず、矯正治療の途中段階における歯牙の位置を推定するように機械学習が行われてもよい。たとえば、図7に示す学習処理において、入力データは、矯正治療の途中段階における歯牙データ、期間データ、および矯正データを含んでいてもよい。そして、推定装置1は、矯正治療の途中段階における入力データを用いて、矯正治療の途中段階における歯牙の位置を推定し、推定結果と、正解データである矯正治療の途中段階における歯牙の位置とを比較することで、推定モデル121を機械学習させてもよい。このようにすれば、たとえば、矯正期間が3年である矯正治療について、推定装置1は、1年目または2年目といったように矯正治療の途中段階における歯牙の位置を推定することができる。
(推定装置の態様)
推定装置1は、汎用コンピュータで実現され得るが、たとえば、PC(Personal Computer)またはスマートフォンなどの携帯端末であってもよい。さらに、推定装置1は、歯科医院とは別の場所に設置されたクラウド型のサーバ装置であってもよい。
(学習用データ)
推定装置1は、推定モデル121を機械学習させるときに、矯正対象である患者のプロファイルデータを用いてもよい。プロファイルデータは、患者に関する属性情報であって、当該患者の年齢、性別、人種、国籍、身長、体重、および居住地のうちの少なくとも1つを含む。たとえば、学習段階においては、プロファイルデータごとに学習用データ(入力データ)を予め分類しておき、分類された学習用データを用いて推定モデル121を機械学習させればよい。このようにすれば、実用段階においては、歯牙データ、期間データ、および矯正データを含む入力データとともに、患者のプロファイルデータを推定装置1に入力することで、推定モデル121は、プロファイルデータによる分類に基づく機械学習を活かして、より精度よく歯牙の位置を推定することができる。すなわち、推定装置1は、入力部1101から入力された歯牙データ、期間データ、矯正データ、およびプロファイルデータと、推定モデル121とに基づき、推定部1102によって歯牙の位置を推定してもよい。
(推定システム)
上述した推定装置1と、CTスキャナ、X線装置、または三次元スキャナなどの三次元データ取得装置とを備えた、推定システムが構成されてもよい。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。
1 推定装置、11 演算装置、12 記憶装置、13 装置、14 通信装置、15 ディスプレイインターフェース、16 周辺機器インターフェース、50 矯正装置、51 ブラケット、52 ワイヤー、121 推定モデル、122 推定プログラム、130 リムーバブルディスク、150 ディスプレイ、161 キーボード、162 マウス、1101 入力部、1102 推定部、1103 記憶部、1104 出力部、1211 ニューラルネットワーク、1212 パラメータ。

Claims (12)

  1. 矯正により移動する歯牙の位置を推定する推定装置であって、
    複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置に関する矯正データとが入力される入力部と、
    前記歯牙データ、前記期間データ、および前記矯正データと、少なくとも機械学習が可能なプログラムを含む推定モデルとに基づき、前記矯正期間が経過した場合の歯牙の位置を推定する推定部とを備える、推定装置。
  2. 前記入力部は、運動する顎の位置に関する顎運動データが入力され、
    前記推定部は、さらに前記顎運動データに基づき、歯牙の位置を推定する、請求項1に記載の推定装置。
  3. 前記推定部は、歯牙の位置を推定する前に、前記歯牙データおよび前記顎運動データの各々における位置情報の基準を合わせる、請求項2に記載の推定装置。
  4. 前記入力部は、顎骨の骨密度に関する骨密度データが入力され、
    前記推定部は、さらに前記骨密度データに基づき、歯牙の位置を推定する、請求項1~請求項3のいずれか1項に記載の推定装置。
  5. 前記骨密度データは、上顎骨の骨密度の平均値、下顎骨の骨密度の平均値、上顎に位置する複数の歯牙の各々の周辺の骨密度の平均値、および下顎に位置する複数の歯牙の各々の周辺の骨密度の平均値のうちの少なくとも1つを含む、請求項4に記載の推定装置。
  6. 前記歯牙データは、複数の歯牙の各々を区別する識別データを含む、請求項1~請求項5のいずれか1項に記載の推定装置。
  7. 前記歯牙データは、複数の歯牙の各々の三次元の位置情報を含む三次元データであり、複数の歯牙の各々の種類ごとにセグメント化されている、請求項1~請求項6のいずれか1項に記載の推定装置。
  8. 前記矯正装置は、ブラケット、ワイヤー、およびアライナーのうちの少なくとも1つを含み、
    前記矯正データは、前記ブラケットに関するデータ、前記ワイヤーに関するデータ、および前記アライナーに関するデータのうちの少なくとも1つを含む、請求項1~請求項7のいずれか1項に記載の推定装置。
  9. 前記ブラケットに関するデータは、複数の歯牙の各々に接する前記ブラケットの面の略中央の位置に関するデータ、または、複数の歯牙の各々に接する前記ブラケットの面の前記ワイヤーが接する位置に関するデータを含む、請求項8に記載の推定装置。
  10. 前記ワイヤーに関するデータは、前記ブラケットの面に接するワイヤーの位置に関するデータを含む、請求項8または請求項9に記載の推定装置。
  11. コンピュータによる矯正により移動する歯牙の位置を推定する推定方法であって、
    複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置に関する矯正データとが入力されるステップと、
    前記歯牙データ、前記期間データ、および前記矯正データと、少なくとも機械学習が可能なプログラムを含む推定モデルとに基づき、前記矯正期間が経過した場合の歯牙の位置を推定するステップとを含む、推定方法。
  12. 矯正により移動する歯牙の位置を推定する推定プログラムであって、
    コンピュータに、
    複数の歯牙の位置に関する歯牙データと、矯正期間に関する期間データと、矯正装置に関する矯正データとが入力されるステップと、
    前記歯牙データ、前記期間データ、および前記矯正データと、少なくとも機械学習が可能なプログラムを含む推定モデルとに基づき、前記矯正期間が経過した場合の歯牙の位置を推定するステップとを実行させる、推定プログラム。
JP2021168750A 2021-10-14 2021-10-14 推定装置、推定方法、および推定プログラム Active JP7507135B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021168750A JP7507135B2 (ja) 2021-10-14 2021-10-14 推定装置、推定方法、および推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021168750A JP7507135B2 (ja) 2021-10-14 2021-10-14 推定装置、推定方法、および推定プログラム

Publications (2)

Publication Number Publication Date
JP2023058939A true JP2023058939A (ja) 2023-04-26
JP7507135B2 JP7507135B2 (ja) 2024-06-27

Family

ID=86095620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021168750A Active JP7507135B2 (ja) 2021-10-14 2021-10-14 推定装置、推定方法、および推定プログラム

Country Status (1)

Country Link
JP (1) JP7507135B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6068482A (en) * 1996-10-04 2000-05-30 Snow; Michael Desmond Method for creation and utilization of individualized 3-dimensional teeth models
JP2005503235A (ja) * 2001-09-26 2005-02-03 スリーエム イノベイティブ プロパティズ カンパニー 矯正装置の有限要素分析の使用および装置選択
JP2011507613A (ja) * 2007-12-21 2011-03-10 スリーエム イノベイティブ プロパティズ カンパニー 低減画像に基づく歯科矯正治療モニタリング
JP2018520804A (ja) * 2014-11-13 2018-08-02 アライン テクノロジー, インコーポレイテッド 不正咬合及び関連する問題の追跡、予測、及び予防的矯正を行う方法
US20180336736A1 (en) * 2015-02-23 2018-11-22 Osstemimplant Co., Ltd. Method for simulating mandibular movement, device for same and recording medium for recording same
WO2020048960A1 (en) * 2018-09-04 2020-03-12 Promaton Holding B.V. Automated orthodontic treatment planning using deep learning
JP2020068875A (ja) * 2018-10-29 2020-05-07 宏太郎 槇 シミュレーション装置、コンピュータプログラム及びシミュレーション方法
JP2020096691A (ja) * 2018-12-17 2020-06-25 株式会社モリタ製作所 識別装置、スキャナシステム、識別方法、および識別用プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140376B2 (ja) 2018-09-04 2022-09-21 株式会社DentalBank 歯科矯正支援装置および歯科矯正支援プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6068482A (en) * 1996-10-04 2000-05-30 Snow; Michael Desmond Method for creation and utilization of individualized 3-dimensional teeth models
JP2005503235A (ja) * 2001-09-26 2005-02-03 スリーエム イノベイティブ プロパティズ カンパニー 矯正装置の有限要素分析の使用および装置選択
JP2011507613A (ja) * 2007-12-21 2011-03-10 スリーエム イノベイティブ プロパティズ カンパニー 低減画像に基づく歯科矯正治療モニタリング
JP2018520804A (ja) * 2014-11-13 2018-08-02 アライン テクノロジー, インコーポレイテッド 不正咬合及び関連する問題の追跡、予測、及び予防的矯正を行う方法
US20180336736A1 (en) * 2015-02-23 2018-11-22 Osstemimplant Co., Ltd. Method for simulating mandibular movement, device for same and recording medium for recording same
WO2020048960A1 (en) * 2018-09-04 2020-03-12 Promaton Holding B.V. Automated orthodontic treatment planning using deep learning
JP2020068875A (ja) * 2018-10-29 2020-05-07 宏太郎 槇 シミュレーション装置、コンピュータプログラム及びシミュレーション方法
JP2020096691A (ja) * 2018-12-17 2020-06-25 株式会社モリタ製作所 識別装置、スキャナシステム、識別方法、および識別用プログラム

Also Published As

Publication number Publication date
JP7507135B2 (ja) 2024-06-27

Similar Documents

Publication Publication Date Title
US12064311B2 (en) Visual presentation of gingival line generated based on 3D tooth model
US10945813B2 (en) Providing a simulated outcome of dental treatment on a patient
US11232573B2 (en) Artificially intelligent systems to manage virtual dental models using dental images
US20210118132A1 (en) Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment
US20220015868A1 (en) Method for tracking, predicting, and proactively correcting malocclusion and related issues
US11398013B2 (en) Generative adversarial network for dental image super-resolution, image sharpening, and denoising
US11367188B2 (en) Dental image synthesis using generative adversarial networks with semantic activation blocks
US11189028B1 (en) AI platform for pixel spacing, distance, and volumetric predictions from dental images
JP6650996B1 (ja) 識別装置、スキャナシステム、識別方法、および識別用プログラム
US20210357688A1 (en) Artificial Intelligence System For Automated Extraction And Processing Of Dental Claim Forms
US20210358604A1 (en) Interface For Generating Workflows Operating On Processing Dental Information From Artificial Intelligence
CN113728363B (zh) 基于目标函数生成牙科模型的方法
JP7398512B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
JP2020096798A (ja) 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム
JP2020096800A (ja) 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム
JP7405809B2 (ja) 推定装置、推定方法、および推定プログラム
JP7507135B2 (ja) 推定装置、推定方法、および推定プログラム
JP7227188B2 (ja) 識別装置、識別システム、識別方法、および識別用プログラム
JP7265359B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
JP6900445B2 (ja) 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム
CN116234518A (zh) 用于跟踪牙齿移动的方法
JP7195291B2 (ja) データ処理装置、データ処理システム、データ処理方法、およびデータ処理用プログラム
JP2020096797A (ja) 識別装置、歯牙種類識別システム、識別方法、および識別用プログラム
JP7195466B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
CN118235209A (zh) 用于牙齿定位的系统、装置和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240617

R150 Certificate of patent or registration of utility model

Ref document number: 7507135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150