JP2021535493A - 深層学習を使用した自動化矯正治療計画 - Google Patents

Abstract

本発明の方法は、トレーニング用歯科CTスキャンを取得するステップと、これらのCTスキャンの各々の中の個々の歯および顎骨を識別するステップと、これらのCTスキャンから取得されたトレーニング用入力データおよびトレーニング用ターゲットデータで、深層ニューラルネットワークをトレーニングするステップとを含む。本発明のさらなる方法は、患者歯科CTスキャンを取得するステップ(203)と、このCTスキャンの中の個々の歯および顎骨を識別するステップ(205)と、トレーニング済み深層学習ネットワークを使って、このCTスキャンから取得された入力データから所望の最終位置を決定するステップ(207)とを含む。(トレーニング用)入力データは、すべての歯および歯槽突起全体を表し、個々の歯および顎骨を識別する。決定された所望の最終位置は、歯ごとの所望の中間位置のシーケンスを決定するのに使われ、中間および最終位置ならびにアタッチメントタイプは、歯および/またはアライナーの3次元表現を作成するのに使われる。

Description

本発明は、矯正治療プランを決定するための自動化システムに関する。

本発明はさらに、矯正治療プランを決定する自動化方法および深層ニューラルネットワークをトレーニングする方法に関する。

本発明は、そのような方法をコンピュータシステムが実施することを可能にするコンピュータプログラム製品にも関する。

矯正治療により、患者の歯は、歯を適切な配列の中に動かすために、初期位置、すなわち、治療が開始される前の位置から、所望の位置へ動かされる。従来、矯正治療は、ワイヤおよび金属ブラケットを伴う装具を使って実施された。装具は、歯科矯正医によって何度か調節される必要がある。今日では、アライナーのシーケンス、すなわち、一連のテンプレートの使用が、その美観および快適さゆえに、人気の選択である。

本開示の目的のために、「歯(tooth)」は、クラウンおよび根を含む歯全体を指し、「歯(teeth)」は、2つ以上の歯からなる歯の任意のセットを指し、1人の人に由来する歯のセットは、「歯列」に由来すると呼ばれる。歯列は、必ずしも、ある個人からの歯の総セットを含まなくてよい。さらに、「分類」は、カテゴリのセットのうちのどれに、観察またはサンプルが属すかを識別することを指す。歯分類のケースでは、「分類」は、どのカテゴリ(またはラベル)に1本の歯が属すかを識別するプロセス、および特に、単一の歯列からのすべての個々の歯向けのラベルを導出するプロセスを指す。3Dデータセットは、たとえば、充填されたボリュームの3Dボクセル表現、ボリュームにおける密度、3D表面メッシュなど、どの歯列のどのデジタル表現も指す。

US 2017/0100212 A1は、動的矯正評価および治療プロファイルを提供するための方法を開示している。方法の初期ステップとして、患者の歯冠または口組織のモールドまたはスキャンが獲得される。そのように取得されたデータから、患者の歯冠(歯根を除く)の各々の、および患者の歯を囲む歯肉組織の初期配置を表すデジタルデータセットが導出される。歯の各々の所望の最終位置は、処方という形で臨床医から受信され、基本的矯正原理から算出され、または臨床処方から計算によって外挿され得る。

歯冠の各々についてのセグメント化されたパス(すなわち、時間に伴う、中間位置への増分移動)を決定するために、定位置アライナーの有限要素モデルが作成され、有限要素分析が適用される。プロセスへの入力は、初期アライナー形状、顎の中の位置での歯のデジタルモデル、および顎組織(すなわち、患者の歯を囲む歯肉組織)のモデルを含む。プロセスの様々な段階において、特に、セグメント化されたパスが定義された後、プロセスは、患者の治療について臨床医と対話することができ、また、概して、対話することになる。クライアントプロセスは有利には、位置およびパスのアニメーションを表示するように、および臨床医が、歯冠のうちの1つまたは複数の、最終位置をリセットし、セグメント化されたパスに適用されるべき制約を指定することができるようにプログラムされる。歯科データマイニングシステムは、たとえばニューラルネットワークを備え、決定された動きが矯正上許容できるかどうか、および決定された候補アライナーが今のところ最善の解決であるかどうかを判断するのに使われる。

US 2017/0100212 A1において開示される方法の欠点は、矯正治療プランが普通は、治療中に少なくとも一度、見込みとしてはより一層頻繁に更新される必要があることである。したがって、患者の歯を所望の位置に動かすために、臨床医との定期的な対話が、依然として要求される。

米国特許出願公開第2017/0100212号明細書 欧州特許出願第18213246.4号(欧州特許出願公開第3671531号明細書) 欧州特許出願第19186357.0号(欧州特許出願公開第3767521号明細書) 欧州特許出願第17179185.8号 国際出願第PCT/EP2018/067850号(国際公開第2019/002631号) 欧州特許出願第17194460.6号(欧州特許出願公開第3462373号明細書) 国際出願第PCT/EP2018/076871号(国際公開第2019/068741号) 欧州特許出願第18181421.1号(欧州特許出願公開第3591616号明細書) 国際出願第PCT/EP2019/067905号(国際公開第2020/007941号)

Wu Kら，"Tooth segmentation on dental meshes using morphologic skeleton"，Elsevier Computers & Graphics 38 (2014) 199〜211 Hong-Tzong Yauら，"Tooth model reconstruction based upon data fusion for orthodontic treatment simulation"，Elsevier Computers in Biology and Medicine 48 (2014) 8〜16 Wangら，"Dynamic graph CNN for learning on point cloud"(arXiv:1801.07829[cs.CV]) Liら，"PointCNN: Convolution On χ-Transformed Points"，NIPS'18 Proceedings of the 32nd International Conference on Neural Information Processing Systems，828〜838ページ TONIONI Aら，"Learning to detect good 3D keypoints"，Int J Comput Vis. 2018 Vol.126，1〜20ページ

本発明の第1の目的は、矯正治療プランを決定するための自動化システムを提供することであり、このシステムは、臨床医との限られた対話を要求するか、または対話を要求せず(データをアップロードおよびダウンロードすることは別として)、その実行が、臨床医との限られた対話を要求するか、または対話を要求しないプランを自動的に決定することができる。

本発明の第2の目的は、矯正治療プランを決定する自動化方法を提供することであり、この方法は、臨床医との限られた対話を要求するか、または対話を要求せず(データをアップロードおよびダウンロードすることは別として)、その実行が、臨床医との限られた対話を要求するか、または対話を要求しないプランを自動的に決定するのに使われ得る。

本発明の第1の態様では、システムは、それぞれの成功した矯正治療の前の瞬間を反映する複数のトレーニング用歯科コンピュータ断層撮影スキャンを取得することと、前記トレーニング用歯科コンピュータ断層撮影スキャンの各々の中で個々の歯および顎骨を識別することと、患者歯科コンピュータ断層撮影スキャンから取得された入力データから、歯ごとに、所望の最終位置、および任意選択でアタッチメントタイプを決定するために、前記複数のトレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データおよびトレーニング用歯科コンピュータ断層撮影スキャンごとのトレーニング用ターゲットデータで深層ニューラルネットワークをトレーニングすることとを行うように構成された少なくとも1つのプロセッサを備え、トレーニング用歯科コンピュータ断層撮影スキャンから取得された入力トレーニングデータは、すべての歯および歯槽突起全体を表し、前記個々の歯および前記顎骨を識別する。

トレーニングデータは、CTスキャナによって元々生じられたコンピュータ断層撮影スキャン全体を表す画像データセットを、トレーニング用歯科コンピュータ断層撮影スキャンの各々向けに個々の歯および顎骨を線描する情報とともに含んでもよいが、十分に正確なボクセル解像度のそのようなコンピュータ断層撮影スキャンはかなり大きいので、代わりに、たとえばメッシュ、点群またはボクセル(特に、関連構造のみを表すボクセルのサブセット)を含む3Dデータを含むことが好ましい。トレーニングデータは、トレーニング用歯科コンピュータ断層撮影スキャンの各々向けに個々の歯および顎を線描する情報とともに、コンピュータ断層撮影スキャン全体を表す単一の3Dデータセットを含んでもよい。

代替として、トレーニングデータは、複数の3Dデータセット、たとえば、各歯について1つ、および顎骨について1つを含んでもよい。トレーニング3Dデータセットが、実際の歯の光学スキャンから供給されたデータを含むケースでは、トレーニングデータは、専門家による、(たとえば、ボクセル)データの要求される翻訳なしで、高度に正確になる。完全な歯の3Dデータセットが、たとえば、口内スキャン(やはり3Dデータセットである)とマージされてもよく、可能性としては、口内スキャンから導出されるクラウンセクションのより高い空間解像度の3Dデータをもたらす。取得された複数のトレーニング用歯科コンピュータ断層撮影スキャンは、CTスキャナによって元々生じられたスキャンを含んでよいか、またはそこから作成された3Dデータセットを含んでよい。取得された複数のトレーニング用歯科コンピュータ断層撮影スキャンは、全体がトレーニングデータ中に含められてよい。

顎は、歯および顎骨を含む。顎骨は、歯槽突起および顎骨基底部を含む。歯槽突起は、歯槽と、歯槽を含む、骨の肥厚隆起とを含む。歯-歯槽複合体は、歯、歯槽突起および歯茎を含むが、顎骨基底部は含まない。トレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニングデータは、すべての歯および歯槽突起全体に加え、歯-歯槽複合体の他の部分を表すことができ、歯-歯槽複合体全体を表すことさえもできる。

本発明者は、US2017/0100212において開示される方法が、十分な情報を考慮に入れておらず、結果として、実際には遂行可能でなく、したがって、所望の最終歯位置、およびしたがって矯正治療プランを調節するために臨床医との対話を要求する、歯ごとの所望の最終位置の決定をもたらし得ると認識している。(CB)CTデータを使い、個々の歯(根を含む)および顎骨(外側境界を含む)を識別し、すべての歯および歯-歯槽突起全体を表すトレーニングデータを使うことによって、3D画像データおよび歯科物理プロパティは、深層ニューラルネットワークにおいて関連情報(の派生物)を符号化するのに使用することができ、その結果、臨床医によって調節される必要がない所望の最終位置が決定され得る。

歯科物理プロパティは、たとえば、歯および骨性覆い(歯-歯槽複合体)の物理的条件および制約を含み得る。物理的条件は、たとえば、歯と骨との間の、ある量の接触エリアを例として含み得る。歯および骨性覆いのプロパティは、時間に伴う歯の最大限の動きおよび/または2つのボリュームの間の最大限の量の重なりをもたらし得る。個々の歯の識別は、深層ニューラルネットワークによって、トレーニングデータから識別され得る、どのそのような一般的およびジオメトリ特有情報も符号化するのに使われ得る。識別からの情報を使用することによって、この情報の適用可能な側面が、たとえば可能性としては個々の歯ごとに、トレーニング済みネットワーク中で符号化されることになり、したがって、予測(または推論)段階中にトレーニング済みネットワークを使用するときに利用されることになる。

歯ごとの所望の最終位置はしばしば、臨床医によって決定されるが、これを自動的に行うことができることが有益である。この場合、臨床医との対話が要求されないか、または臨床医は、決定された所望の最終位置の短いチェックを実施する必要があるだけである。所望の最終位置が自動的に、ただし十分な情報を考慮せずに決定された場合、臨床医は普通、治療中にこのことに気づき、所望の最終位置を自分で決定する(すなわち、自動的に決定された所望の最終位置をオーバーライドする)ことになる。

前記少なくとも1つのプロセッサは、前記個々の歯および前記顎骨の前記識別を、前記トレーニング用歯科コンピュータ断層撮影スキャンの各々についての歯科物理プロパティ(たとえば、歯ごとの)を判断するのに使うように、および前記深層ニューラルネットワーク中の前記歯科物理プロパティを反映する情報の符号化を容易にするように構成され得る。深層ニューラルネットワークのトレーニング中に、歯科物理プロパティを考慮する知識を組み込むことによって、問題定義がより完全になり、結果は、高度に正確に、および結果として実現可能になる可能性を有する。前記歯科物理プロパティは、前記判断された歯科物理プロパティに依存する損失関数で、前記深層ニューラルネットワークをトレーニングすることによって、前記深層ニューラルネットワーク中で符号化され得る。

前記トレーニング用歯科コンピュータ断層撮影スキャンから取得された前記トレーニングデータは、全顎骨基底部をさらに表し得る。歯科物理プロパティは次いで、たとえば、骨格関係に関連した少なくとも1つのプロパティを含めることができる。

前記複数のトレーニング用歯科コンピュータ断層撮影スキャンのうちの1つまたは複数は、歯ごとの遂行された変換を示すインジケータおよび/または歯ごとのアタッチメントタイプを示すインジケータに関連付けられてよく、前記変換は、歯ごとの平行移動および/または回転(たとえば、変換行列もしくはベクトル)を含み、前記インジケータは、前記トレーニング用ターゲットデータに含まれる。これらのインジケータは、有利なトレーニングターゲットである。歯ごとの遂行された変換を示すインジケータにより、深層ニューラルネットワークは、患者歯科コンピュータ断層撮影スキャンに対して歯ごとの変換を決定することができ、この決定された変換に基づいて、歯ごとの所望の最終位置を決定することができる。成功した矯正治療の前からの歯科コンピュータ断層撮影スキャンから取得されたデータへの変換を示すインジケータを適用すると、普通は、成功した矯正治療の後からの歯科コンピュータ断層撮影スキャンから取得されたデータが得られる。歯ごとのアタッチメントタイプを示すインジケータにより、深層ニューラルネットワークは、患者歯科コンピュータ断層撮影のための歯ごとの適用可能なアタッチメントタイプを決定することができ、これはさらに、アライナーの3次元モデルを作成するのに使うことができる。

それぞれの成功した矯正治療の前の瞬間を反映する前記複数のトレーニング用歯科コンピュータ断層撮影スキャンのうちの1つまたは複数は各々、さらなるトレーニング用歯科コンピュータ断層撮影スキャンから取得されたデータに関連付けられてよく、前記さらなるトレーニング用歯科コンピュータ断層撮影スキャンは、対応する成功した矯正治療の後の瞬間を反映し、前記トレーニング用ターゲットデータに含まれる。変換を示すインジケータの代わりに、矯正治療前の患者歯科CTスキャンおよび矯正治療後の患者歯科CTスキャンが、たとえば、変換を自動的にシステムに判断させるために、トレーニングデータに含められてよい。

前記少なくとも1つのプロセッサは、前記さらなるトレーニング用歯科コンピュータ断層撮影スキャンのうちの1つから得られたデータを変換することによって、前記1つまたは複数のトレーニング用歯科コンピュータ断層撮影スキャンのうちの少なくとも1つを取得するように構成され得る。これは、「正しい」歯列に純粋に基づいて、トレーニングデータを自動的に生成するのに使うことができる。これらの「正しい」歯列は必ずしも、矯正治療の結果ではなく、「正しい」歯列を自然に有して生まれた人のものである場合もある。矯正治療後からのデータ/CTスキャンなしで、深層ニューラルネットワークをトレーニングすることが可能な場合さえある。

本発明の第2の態様では、システムは、患者歯科コンピュータ断層撮影スキャンを取得することと、前記患者歯科コンピュータ断層撮影スキャンの中の個々の歯および顎骨を識別することと、前記深層ニューラルネットワークを使って、前記患者歯科コンピュータ断層撮影スキャンから取得された入力データから、歯ごとの、所望の最終位置、および任意選択でアタッチメントタイプを決定することとを行うように構成された少なくとも1つのプロセッサを備え、前記入力データは、すべての歯および歯槽突起全体を表し、前記個々の歯および前記顎骨を識別する。前記決定された所望の最終位置は、歯ごとの所望の中間位置のシーケンスを決定するのに使われ、前記決定された中間位置および前記決定された最終位置、ならびに任意選択でアタッチメントタイプは、歯および/またはアライナーの3次元表現を作成するのに使われる。

3次元表現は、たとえば、ボクセル、メッシュまたは点群を含み得る。3次元表現は、たとえば、3DモデルとしてSTLまたはVRMLフォーマットで記憶され得る。アライナーの3次元表現は、3Dプリンタによって、アライナーをプリントするのに、またはアライナーがそこから作成され得る中間構造をプリントするのに使用可能であり得る。

入力データは、CTスキャナによって元々生じられたコンピュータ断層撮影スキャン全体を表す画像データセットを、個々の歯および顎を線描する情報とともに含んでもよいが、したがって、十分に正確なボクセル解像度のコンピュータ断層撮影スキャンはかなり大きく、代わりに、たとえばメッシュ、点群またはボクセル(特に、関連構造のみを表すボクセルのサブセット)を含む3Dデータを含むことが好ましい。入力データは、個々の歯および顎を線描する情報とともに、コンピュータ断層撮影スキャン全体を表す単一の3Dデータセットを含んでもよい。代替として、入力データは、複数の3Dデータセット、たとえば、各歯について1つ、および顎骨について1つを含んでもよい。取得された患者歯科コンピュータ断層撮影スキャンは、CTスキャナによって元々生じられたスキャンを含んでよいか、またはそこから作成された3Dモデルを含んでよい。取得された患者歯科コンピュータ断層撮影スキャンは、全体が入力データ中に含められてよい。

前記少なくとも1つのプロセッサは、前記決定された所望の最終位置に基づいて、歯ごとの前記所望の中間位置のシーケンスを決定するように、および前記アライナーの前記3次元表現を作成するように、または歯ごとの前記決定された中間および最終位置ならびに任意選択でアタッチメントタイプに基づいて、前記アライナーを製造する目的で、中間3次元表現を作成するように構成され得る。そのような目的のための中間モデルはたとえば、中間もしくは最終位置での、歯および/または歯肉、アタッチメントなどの追加3Dボリュームを表すことができ、これらは、3Dプリントされ、たとえば真空成形を用いて、アライナーの作成のためのネガティブテンプレートとして使われ得る。代替として、歯ごとの前記所望の中間位置のシーケンスおよび前記アライナーの前記3次元表現または前記中間3次元表現は、異なるシステムによって決定されてよい。

前記少なくとも1つのプロセッサは、前記中間および最終位置の各々にある前記歯の、ならびに任意選択で、歯ごとの前記アタッチメントタイプの、3次元表現を決定することと、前記アライナーの前記3次元表現を作成するか、または前記中間および最終位置の各々にある前記歯の前記3次元表現に基づいて、そのようなアライナーを作成するための中間3次元表現を作成することとを行うように構成され得る。歯の3次元表現は、たとえば、ボクセル、メッシュまたは点群を含み得る。アライナーの3次元表現は、たとえば、例として、歯を表すボリュームの逆を使用することによって作成され得る。

前記少なくとも1つのプロセッサは、口内スキャンから取得された歯冠に関するデータにさらに基づいて、前記歯の前記3次元表現を作成するように構成され得る。前記少なくとも1つのプロセッサは、口内スキャンから取得された歯冠に関するデータの、前記患者歯科コンピュータ断層撮影スキャンから取得されたデータの上への重ね合わせを作成し、前記重ね合わせを前記入力データに含めるように構成され得る。これは、口内スキャンが普通はコンピュータ断層撮影スキャンよりも高い空間解像度を有するので、有益である。口内スキャンのより高い解像度は、アライナーが設計されるときに有利である。

前記個々の歯および前記顎骨は、1つまたは複数のさらなる深層ニューラルネットワークを使って、前記コンピュータ断層撮影スキャンから識別され得る。深層ニューラルネットワークは、個々の歯および顎骨が適切な正確度で識別されるようにする。たとえば、第1のさらなる深層ニューラルネットワークが、(CB)CTスキャンまたは口内スキャンを個々の歯(の部分)の表現にセグメント化するのに使われてよく、第2のさらなる深層ニューラルネットワークが、セグメント化された歯のためのラベルを判断するのに使われてよい。

本発明の第3の態様では、深層ニューラルネットワークをトレーニングする方法は、それぞれの成功した矯正治療の前の瞬間を反映する複数のトレーニング用歯科コンピュータ断層撮影スキャンを取得するステップと、前記トレーニング用歯科コンピュータ断層撮影スキャンの各々の中で個々の歯および顎骨を識別するステップと、患者歯科コンピュータ断層撮影スキャンから取得された入力データから、歯ごとに、所望の最終位置、および任意選択でアタッチメントタイプを決定するために、前記複数のトレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データおよびトレーニング用歯科コンピュータ断層撮影スキャンごとのトレーニング用ターゲットデータで深層ニューラルネットワークをトレーニングするステップとを含み、トレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データは、すべての歯および歯槽突起全体を表し、前記個々の歯および前記顎骨を識別する。

本発明の第4の態様では、矯正治療プランを決定する方法は、患者歯科コンピュータ断層撮影スキャンを取得するステップと、前記患者歯科コンピュータ断層撮影スキャンの中の個々の歯および顎骨を識別するステップと、深層ニューラルネットワークをトレーニングする前記方法でトレーニングされた深層ニューラルネットワークを使って、前記患者歯科コンピュータ断層撮影スキャンから取得された入力データから、歯ごとの、所望の最終位置、および任意選択でアタッチメントタイプを決定するステップとを含み、前記入力データは、すべての歯および歯槽突起全体を表し、前記個々の歯および前記顎骨を識別する。前記決定された所望の最終位置は、歯ごとの所望の中間位置のシーケンスを決定するのに使われ、前記決定された中間位置および前記決定された最終位置、ならびに任意選択でアタッチメントタイプは、歯および/もしくはアライナーの3次元表現またはそのようなアライナーの作成のための構造の中間3次元表現を作成するのに使われる。

その上、本明細書に記載する方法を実践するためのコンピュータプログラム、ならびにコンピュータプログラムを記憶する非一時的コンピュータ可読記憶媒体が提供される。コンピュータプログラムは、たとえば、既存のデバイスによってダウンロードされるか、もしくは既存のデバイスにアップロードされ、またはこれらのシステムの製造時に記憶され得る。

非一時的コンピュータ可読記憶媒体は、少なくとも第1のソフトウェアコード部分を記憶し、第1のソフトウェアコード部分は、コンピュータによって実行または処理されると、それぞれの成功した矯正治療の前の瞬間を反映する複数のトレーニング用歯科コンピュータ断層撮影スキャンを取得することと、前記トレーニング用歯科コンピュータ断層撮影スキャンの各々の中で個々の歯および顎骨を識別することと、患者歯科コンピュータ断層撮影スキャンから取得された入力データから、歯ごとに、所望の最終位置、および任意選択でアタッチメントタイプを決定するために、前記複数のトレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データおよびトレーニング用歯科コンピュータ断層撮影スキャンごとのトレーニング用ターゲットデータで深層ニューラルネットワークをトレーニングすることとを含む実行可能動作を実施するように構成され、トレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データは、すべての歯および歯槽突起全体を表し、前記個々の歯および前記顎骨を識別する。

非一時的コンピュータ可読記憶媒体は、第2のソフトウェアコード部分を少なくとも記憶し、第2のソフトウェアコード部分は、コンピュータによって実行または処理されると、患者歯科コンピュータ断層撮影スキャンを取得することと、前記患者歯科コンピュータ断層撮影スキャンの中の個々の歯および顎骨を識別することと、深層ニューラルネットワークをトレーニングする前記方法でトレーニングされた深層ニューラルネットワークを使って、前記患者歯科コンピュータ断層撮影スキャンから取得された入力データから、歯ごとの、所望の最終位置、および任意選択でアタッチメントタイプを決定することとを含む実行可能動作を実施するように構成され、前記入力データは、すべての歯および歯槽突起全体を表し、前記個々の歯および前記顎骨を識別する。前記決定された所望の最終位置は、歯ごとの所望の中間位置のシーケンスを決定するのに使われ、前記決定された中間位置および前記決定された最終位置、ならびに任意選択でアタッチメントタイプは、歯および/もしくはアライナーの3次元表現またはそのようなアライナーの作成のための構造の中間3次元表現を作成するのに使われる。

当業者によって諒解されるように、本発明の態様は、デバイス、方法またはコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または、本明細書ではすべてが「回路」、「モジュール」、もしくは「システム」と一般に呼ばれ得る、ソフトウェアの態様とハードウェアの態様を組み合わせた実施形態という形式をとり得る。本開示に記載する機能は、コンピュータのプロセッサ/マイクロプロセッサによって実行されるアルゴリズムとして実装され得る。さらに、本発明の態様は、コンピュータ可読プログラムコードを具現化した、たとえば記憶した1つまたは複数のコンピュータ可読媒体で具現化されたコンピュータプログラム製品の形をとり得る。

1つまたは複数のコンピュータ可読媒体のどの組合せが使用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、限定はされないが、たとえば、電子式、磁気式、光学式、電磁式、赤外線式、もしくは半導体の、システム、装置、もしくはデバイス、または上記のどの好適な組合せであってもよい。コンピュータ可読記憶媒体のより具体的な例は、限定はしないが、1つもしくは複数の配線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMもしくはフラッシュメモリ)、光ファイバ、携帯式コンパクトディスク読取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または上記のどの好適な組合せも含み得る。本発明のコンテキストでは、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる使用のための、またはそれらと関連したプログラムを含むか、または記憶し得る、どの有形媒体であってもよい。

コンピュータ可読信号媒体は、伝搬されるデータ信号を、その中で、たとえば、ベースバンド中で、または搬送波の一部として具現化されたコンピュータ可読プログラムコードとともに含み得る。そのような伝搬される信号は、電磁気、光学、またはそれらのどの適切な組合せも含むが、それらに限定されない、様々な形のうちのいずれをもとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではないとともに、命令実行システム、装置、またはデバイスによる使用のための、またはそれらと関連したプログラムを通信し、伝搬し、またはトランスポートすることができる、どのコンピュータ可読媒体であってもよい。

コンピュータ可読媒体上で実施されるプログラムコードは、ワイヤレス、ワイヤライン、光ファイバ、ケーブル、RFなど、または上記のどの好適な組合せも含むがこれに限定されない任意の適切な媒体を使用して送信され得る。本発明の態様のための動作を実施するためのコンピュータプログラムコードは、Python、Java(登録商標)、Smalltalk、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、1つまたは複数のプログラミング言語のいずれかの組合せで書かれることが可能である。プログラムコードは、完全にユーザのコンピュータで、一部をユーザのコンピュータで、スタンドアロンソフトウェアパッケージとして、一部をユーザのコンピュータで、および一部をリモートコンピュータで、または完全にリモートコンピュータもしくはサーバで、実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)、または、ワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを通してユーザのコンピュータに接続され得るか、または、外部コンピュータへの接続が(たとえば、インターネットサービスプロバイダを使用するインターネット通して)行われ得る。

本発明の態様を、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して以下で説明する。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図中のブロックの組合せは、コンピュータプログラム命令によって実装され得ることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサ、特にマイクロプロセッサまたは中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)に与えられて、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスのプロセッサにより実行する命令が、フローチャートおよび/またはブロック図の1つのブロックもしくは複数のブロック中で指定される機能/作用を実装するための手段を作成するような機械を生じることができる。

これらのコンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに、コンピュータ可読媒体に記憶された命令が、フローチャートおよび/またはブロックの図の1つのブロックもしくは複数のブロック中で指定された機能/作用を実装する命令を含む製造品を生じるような特定のやり方で機能するよう命じることができるコンピュータ可読媒体に記憶されてもよい。

コンピュータプログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードされて、コンピュータ、他のプログラム可能装置または他のデバイス上で一連の動作ステップを実施させて、コンピュータまたは他のプログラム可能装置上で実行する命令が、フローチャートおよび/またはブロックの図の1つのブロックもしくは複数のブロック中で指定された機能/作用を実装するためのプロセスを提供するようなコンピュータ実装プロセスを生じることもできる。

図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態によるデバイス、方法、およびコンピュータプログラム製品の可能実装形態のアーキテクチャ、機能性、および動作を示す。この点において、フローチャートまたはブロック図中の各ブロックは、モジュール、セグメント、またはコードの部分を表すことができ、これらは、指定された論理機能を実装するための1つまたは複数の実行可能命令を含む。いくつかの代替実装形態では、ブロック中に記される機能は、図中で記された順序にはよらずに起こる場合があることにも留意されたい。たとえば、連続して示される2つのブロックは、実際には、実質的に同時に実行されてよく、またはブロックは、ときには、関係する機能性に応じて逆順に実行されてよい。ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図中のブロックの組合せは、指定された機能もしくは作用を実施する、特殊目的ハードウェアベースシステム、または特殊目的ハードウェアとコンピュータ命令の組合せによって実装されることが可能であることにも留意されたい。

これらおよび他の本発明の態様が、図面から明らかであり、例として、図面を参照してさらに説明される。

本発明の、深層ニューラルネットワークをトレーニングする方法の第1の実施形態の流れ図である。 本発明の、矯正治療プランを決定する方法の第1の実施形態の流れ図である。 本発明のシステムの第1の実施形態のブロック図である。 本発明のシステムの第2の実施形態のブロック図である。 本発明の、深層ニューラルネットワークをトレーニングする方法の第2の実施形態の流れ図である。 本発明の、矯正治療プランを決定する方法の第2の実施形態の流れ図である。 図5の、最終位置深層ニューラルネットワークをトレーニングするステップの実施形態を示す図である。 図6の、最終歯位置を決定するステップの実施形態を示す図である。 図7および図8の、最終歯位置を決定するための、深層ニューラルネットワークのアーキテクチャの実施形態を示す図である。 図6の経路決定ステップの実施形態を示す図である。 図6の自動矯正治療計画ステップの実施形態を示す図である。 本発明の様々な実施形態による、特定のケース向けの自動化アライナー設計の、得られた出力結果を可視化するコンピュータレンダー(レンダリング)を示す図である。 図5および図6の、セグメント化深層ニューラルネットワークをトレーニングする方法の実施形態の流れ図である。 図5および図6の、セグメント化深層ニューラルネットワーク用の3D深層ニューラルネットワークアーキテクチャの例を示す図である。 図5および図6の、セグメント化深層ニューラルネットワーク用の3D深層ニューラルネットワークアーキテクチャの例を示す図である。 図5および図6のセグメント化処理ステップの実施形態の流れ図である。 図5および図6の、分類深層ニューラルネットワークをトレーニングする方法の実施形態の流れ図である。 図5および図6の、分類深層ニューラルネットワーク用の3D深層ニューラルネットワークアーキテクチャの例を示す図である。 正準ポーズ深層ニューラルネットワークをトレーニングする方法の実施形態の流れ図である。 図5および図6の位置合わせステップの実施形態の流れ図である。 図20の方法の実行を示す概略図である。 図20の方法の実行を示す概略図である。 図20の方法の実行を示す概略図である。 図20の方法によって利用されるトレーニングおよび予測データを示す図である。 図20の正準ポーズ深層ニューラルネットワーク用の3D深層ニューラルネットワークアーキテクチャの例を示す図である。 図20の方法によって生成されるキー点の例を示す図である。 本発明の方法を実施するための例示的なデータ処理システムのブロック図である。 本発明の様々な実施形態による、矯正治療計画の結果の可視化を示す図である。

図面中の対応する要素は、同じ参照番号によって記される。

本発明の、深層ニューラルネットワークをトレーニングする方法の第1の実施形態が、図1に示されている。ステップ101は、それぞれの成功した矯正治療の前の瞬間を反映する複数のトレーニング用歯科コンピュータ断層撮影スキャン111を取得することを含む。トレーニング用歯科コンピュータ断層撮影スキャン111は、たとえば、(CB)CTスキャナによって元々生じられたスキャンまたはそこから導出されたボクセル表現であってよい。ステップ103は、トレーニング用歯科コンピュータ断層撮影スキャン111の各々の中の個々の歯および顎骨を識別することを含む。この識別は、トレーニング用入力データ113中に含められる。このトレーニング用入力データ113は、すべての歯および歯槽突起全体を表すデータをさらに含み、このデータは、トレーニング用歯科コンピュータ断層撮影スキャン111、そのいくつかの部分またはそこから導出された3Dデータセットであってよい。ステップ105は、CTスキャンごとに、トレーニング用入力データ113およびターゲットトレーニングデータ115で深層ニューラルネットワークをトレーニングすることを含む。

矯正治療プランを決定する方法の第1の実施形態が、図2に示されている。ステップ203は、患者歯科コンピュータ断層撮影スキャン223を取得することを含む。患者歯科コンピュータ断層撮影スキャン223は、たとえば、(CB)CTスキャナによって元々生じられたスキャンまたはそこから導出されたボクセル表現であってよい。ステップ205は、患者歯科コンピュータ断層撮影スキャン中の個々の歯および顎骨を識別することを含む。この識別は、入力データ225中に含められる。この入力データ225は、すべての歯および歯槽突起全体を表すデータをさらに含み、このデータは、患者歯科コンピュータ断層撮影スキャン223、そのいくつかの部分またはそこから導出された1つもしくは複数の3Dデータセットであってよい。

ステップ207は、図1の方法を使ってトレーニングされた深層ニューラルネットワークを使って、入力データ225から、歯ごとに所望の最終位置を決定し、決定された最終歯位置227を得ることを含む。所望の最終歯位置を決定するのに、別のアルゴリズムも使われる場合、このアルゴリズムの出力は、本発明の方法で検証され得る。決定された最終歯位置227は、深層ニューラルネットワークの内側または外側のいずれかで、この別のアルゴリズムによって決定された最終歯位置と比較されてよい。前者のケースでは、深層ニューラルネットワークは、最終歯位置の2つのセットが十分に類似しているかどうか、すなわち、深層ニューラルネットワークに入力として与えられる、別のアルゴリズムによって決定された最終歯位置が、検証済みであるかどうかを示し得る。歯ごとの決定された所望の最終位置227は、歯ごとの所望の中間位置のシーケンス229を決定するのに、およびそうすることによって、歯ごとに経路を決定するのに使われる。決定された中間位置229および決定された最終位置227は、歯および/またはアライナーの3次元表現231を作成するのに使われる。中間位置229は、経路決定ステップ209において決定される。歯および/またはアライナーの3次元表現231を含む矯正治療プランが、ステップ211において決定される。矯正治療プランが歯の3次元表現のみを含む場合、これらの3次元表現は、歯の3次元表現に基づいて、3Dプリントされた構造上にアライナーを真空成形するのに使うことができる。代替として、たとえば、矯正治療プランは、アライナーの3次元表現を含む3Dプリント可能ファイルを含んでよく、このファイルは次いで、たとえば、3Dプリンタまたはミリング、カッティングなど、他の製作技術を使って作成されてよい。

最終歯位置227および中間歯位置229は、たとえば、入力データ中で表される、対応する始動歯位置における、歯の重心に関するベクトルとして、または最終歯位置227における、および/もしくは中間歯位置229における歯の3D表現として表され得る。これらの3D表現は、たとえば、メッシュ、ボクセルまたは点群を含み得る。メッシュは、点群にコンバートされ得る。ステップ211において決定された、歯および/またはアライナーの3次元表現231は、ステップ201において取得される患者口内スキャン221から取得された、歯冠に関するデータにさらに基づく。患者口内スキャン221から取得された、歯冠に関するこのデータは好ましくは、ステップ211において使われる前に、自動的に、患者CTスキャン223から取得されたデータと空間的に位置合わせされる(重ね合わされる)。このデータはまた、好ましくは、個々の歯冠および歯肉組織表面に自動的にセグメント化されている。患者口内スキャン221は、たとえば、口内スキャナによって元々生じられたスキャンまたはそこから導出された3Dデータセットであってよい。

本発明のシステムの第1の実施形態が、図3に示されている。この第1の実施形態では、トレーニングシステム301および別個の実行システム305が存在する。トレーニングシステム301は、それぞれの成功した矯正治療の前の瞬間を反映する複数のトレーニング用歯科コンピュータ断層撮影スキャンを取得することと、トレーニング用歯科コンピュータ断層撮影スキャンの各々の中の個々の歯および顎骨を識別することと、患者歯科コンピュータ断層撮影スキャンから取得された入力データから、歯ごとの所望の最終位置を決定するために、複数のトレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データ、およびトレーニング用歯科コンピュータ断層撮影スキャンごとのトレーニング用ターゲットデータで、深層ニューラルネットワークをトレーニングすることとを行うように構成された少なくとも1つのプロセッサを備える。トレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データは、すべての歯および歯槽突起全体を表し、個々の歯および顎骨を識別する。

実行システム305は、患者歯科コンピュータ断層撮影スキャンを取得することと、患者歯科コンピュータ断層撮影スキャン中の個々の歯および顎骨を識別することと、トレーニングシステム301上でトレーニングされた深層ニューラルネットワークを使って、患者歯科コンピュータ断層撮影スキャンから取得された入力データから、歯ごとの所望の最終位置を決定することとを行うように構成された少なくとも1つのプロセッサを備える。入力データは、すべての歯および歯槽突起全体を表し、個々の歯および顎骨を識別する。決定された所望の最終位置は、歯ごとの所望の中間位置のシーケンスを決定するのに使われ、決定された中間および最終位置は、アライナーの3次元表現を作成するのに使われる。トレーニング済み深層ニューラルネットワークは、トレーニングシステム301から実行(推論)システム305へ転送される。

本発明のシステムの第2の実施形態が、図4に示されている。この第2の実施形態では、深層ニューラルネットワークのトレーニングおよび深層ニューラルネットワークの実行が、同じシステム、すなわち、サーバ401上で実施される。深層ニューラルネットワークを成形するデータは、記憶手段403上に記憶される。3つのクライアントデバイス405、407および409が、インターネット411を介してサーバ401と通信する。3つのクライアントデバイス405〜409の各々は、深層ニューラルネットワークをトレーニングすること、ならびに深層ニューラルネットワークおよび関連ソフトウェアを(最終歯位置を決定し、好ましくは矯正治療プランを決定するために)実行すること、または両方を行うことができるように構成され得る。図4の実施形態では、3つのクライアントデバイスが存在する。代替実施形態では、3つよりも多いか、または少ないクライアントデバイスが存在してよい。

本発明の深層ニューラルネットワークをトレーニングする方法の第2の実施形態が、図5に示されている。ステップ501は、図1のステップ101とある程度類似している。ステップ501において、トレーニングデータが取得される。このトレーニングデータは、すでに治療された患者の、矯正治療前のCBCTスキャン531および口内スキャン533を含む。これらのスキャンは、それぞれ、CBCTスキャナおよび口内スキャナ(IOS)によって元々生じられたスキャン、またはそこから導出された3Dデータセットであってよい。CBCTスキャン531は、異なる人達の歯-顎顔面複合体を表し、これらの人達の、少なくとも歯および歯槽突起全体を表す。CBCTスキャン531は、全顎骨基底部をさらに表し得る。

トレーニングデータはデータ555をさらに含み、データ555は、歯ごとの遂行された変換、たとえば、歯ごとの回転および/または平行移動を示すインジケータ、ならびに歯ごとの使われるアタッチメントタイプを示すインジケータを含む。代替実施形態では、歯ごとの遂行された変換を示すインジケータを含む代わりに、矯正治療の前と後の両方からのCBCTスキャンおよび/またはIOSスキャンが、最終位置深層ニューラルネットワークが歯ごとの遂行された変換を自動的に判断することができるように、トレーニングデータとして与えられ得る。アタッチメントタイプインジケータは、複数(たとえば、8つ)の可能アタッチメントタイプ(各々が、アタッチメントの3Dモデルに対応し得る)のうちの1つを示すことができる。アタッチメントとは、たとえば、歯に対して追加生体力学圧力を行使するのに使われる、円形の、矩形の3D構造である。アタッチメントタイプを提供することによって、最終位置深層ニューラルネットワーク中で、暗黙的に移動に相関され得る。「アタッチメントなし」のためのアタッチメントタイプ指示が使用される場合があることに留意されたい。

本実施形態では、CBCTスキャン531は、ステップ503において使われる、セグメント化のためのトレーニング済み深層ニューラルネットワークに与えられ、IOSスキャン533は、ステップ505においてセグメント化される。これは、たとえば、Wu Kらによって「Tooth segmentation on dental meshes using morphologic skeleton」、Elsevier Computers & Graphics 38(2014)199〜211において記載されている、当該技術分野において知られている技法によって、またはトレーニング済みニューラルネットワークによって実施され得る。セグメント化のための深層ニューラルネットワークは、CBCTスキャン(たとえば、ボクセルによって表される)をセグメント化することが可能であり、ステップ503から得られたセグメント化されたデータ535は、ステップ507において処理される。IOSスキャンは、メッシュによって表されてよく、ステップ505においてセグメント化され、このステップ505から得られた、セグメント化されたデータ537も、ステップ507において、ただし別個に処理される。

ステップ503〜507は、図1のステップ103にある程度類似しているが、CBCTスキャンおよびIOSスキャンの中の個々の歯および顎骨を識別するだけではなく、それらを別個の関心データ(DOI)に分離もする。CBCTスキャン531からの、歯ごとに判断されたDOIは、データ539としてトレーニング済み歯分類ニューラルネットワークに与えられる。CBCTスキャン531から、およびIOSスキャン533からの歯ごとに判断されたDOI、ならびにCBCTスキャン531およびIOSスキャン533から判断された顎骨を表すDOI(データ545)は、ステップ513において位置合わせされる。

ステップ507は、セグメント化されたデータ535(CBCTスキャン531から取得された)から、歯ごとの重心(COG)543を判断することも伴う。これらのCOGは、歯分類ニューラルネットワークから受信された、歯ごとのラベルについての予測541とともに、ステップ511において使われる。歯分類ニューラルネットワークは、この予測541を、データ539に基づいてステップ509において判断してある。ステップ511は、COG543を部分的に利用して、歯分類、すなわち、予測541を処理することを伴う。得られた歯ラベル547は、CBCTスキャン531から取得されたデータセットを、IOSスキャン533から取得されたデータセットと位置合わせするのに使われる。ステップ507〜511は、各CBCTスキャンについて実施される。データセットは次いで、ステップ514において、たとえば、Hong-Tzong Yauらによって「Tooth model reconstruction based upon data fusion for orthodontic treatment simulation」、Elsevier Computers in Biology and Medicine 48(2014)8〜16において記載されている方法によって融合される。これらのデータセットの融合を含むデータ549に、ステップ511において判断された歯ラベルを加えたものが、ステップ515および517において使われる。

ステップ515において、歯ごとの融合されたDOIおよび顎骨についてのDOI(すなわち、データ549)は、トレーニング用歯科コンピュータ断層撮影スキャン531の各々についての歯科物理プロパティ553を判断するのに使われ、これらの歯科物理プロパティ553は、ステップ517において、最終位置深層ニューラルネットワーク中で符号化される。歯科物理プロパティ553は、たとえば、歯および骨性覆い(歯-歯槽複合体)の物理的条件および制約を含み得る。ステップ517において、最終(歯)位置深層ニューラルネットワークは、CBCTスキャンとIOSスキャンの各ペアについて、データ549(歯ラベル、歯ごとの融合されたDOIおよび顎骨についてのDOI)、歯科物理プロパティ553およびデータ555(本実施形態ではベクトルである、歯ごとの遂行された変換を示すインジケータ、および歯ごとの使われるアタッチメントタイプを示すインジケータ)を含むトレーニングデータを使ってトレーニングされる。ステップ517は、図1のステップ105とある程度類似している。

そのようなトレーニング中、損失関数が、最小化されるべき測度として利用されてよい。この最適化作業は、SGD、Adamなどのようなオプティマイザを利用することによって支援され得る。損失関数が、所望の出力(トレーニングターゲットである)と予測される出力(トレーニング中の特定の時点における)との間の誤差を算出する。ニューラルネットワークの内部パラメータは、この誤差を最小限にするように調節される。様々なよく知られている損失関数が存在し、各々が、様々な問題(たとえば、分類のための多クラス交差エントロピー、回帰のための平均絶対または平方誤差、セグメント化のためのDice損失、など)に、程度の差はあるが適している。

モデルおよびそのトレーニングの様々な態様が、所望の正確度に達するためのトレーニングの潜在的持続時間、トレーニングサンプルの多様性に対する要件、潜在的な遂行可能な正確度などのような、損失関数の選択によって影響される。最終位置深層ニューラルネットワークのコンテキストでは、特定の損失関数が、トレーニング中に使用され得る。ニューラルネットワークはたとえば、ある実施形態のケースでは、予測および所望のベクトルに基づいて平均平方誤差損失を使って最適化され得るが、より具体的にはこの問題のための損失関数は、入力データに基づいて判断され得る、かつ/または普遍的に適用可能であることが知られている場合がある歯科物理プロパティを利用し得る。

たとえば、平均平方誤差損失関数を利用することは、歯科物理プロパティを考慮する関連情報の導出が、ニューラルネットワークの内部パラメータ内で符号化されるのを除外しない(これらのプロパティが、可能性としては、供給される入力データから導出され得る限り)が、そのようなカスタム損失関数は、より適用可能な誤差総測度を作成し得る。歯と顎との間の表面接触の所望の量の間の差の量を測定する誤差の成分、および/または骨性覆いの外に歯が置かれ得るケースにおける誤差の適切な増加、および/またはそれぞれのボリュームの間の歯が重なりを有し得る誤差の適切な増加などを、たとえば(均等に)利用することによって、ニューラルネットワークは、これらのプロパティを考慮する関連情報を導出するように、より具体的にトレーニングすることができ、この導出を、入力データ中で情報を与えられたときと同程度に、可能な限り具体的なものとして有効に符号化する。

矯正治療プランを決定する方法の第2の実施形態が、図6に示されている。ステップ601は、図2のステップ201および203にある程度類似している。ステップ601において、入力データが取得される。この入力データは、矯正治療の必要がある不正咬合のある患者に関し、CBCTスキャン631および口内スキャン633を含む。これらのスキャンは、それぞれ、CBCTスキャナおよび口内スキャナ(IOS)によって生じられた元のスキャン、またはそこから導出された3Dデータセットであってよい。CBCTスキャン631は、ある患者の歯-顎顔面複合体を表し、この患者の、少なくとも歯および歯槽突起全体を表す。CBCTスキャン631は、全顎骨基底部をさらに表し得る。

図5の方法において実施される同じステップ503〜514は、図6の方法においても、ただし今度は、(すでに治療されている複数の人の)トレーニングデータに対してではなく、入力データ(依然として治療されるべき患者に関する)に対して実施される。この違いは、図5のデータ531〜549と同様であるデータ631〜649においても反映される。ステップ503〜507は、図2のステップ205にある程度類似している。

図6の方法には、3つの新たなステップが存在する。ステップ617は、図5の方法でトレーニングされた深層ニューラルネットワークを使って、最終歯位置を決定することを含む。ステップ619は、経路、すなわち、中間歯位置663を決定することを含む。ステップ621は、矯正治療プランを決定することを含む。ステップ617は、図2のステップ207とある程度類似している。ステップ619は、図2のステップ209とある程度類似している。ステップ619は、図2のステップ211とある程度類似している。

ステップ617において、最終歯位置はデータ649に基づいて決定され、データ649は、歯ラベル、歯ごとの融合されたDoIおよび顎骨についての融合されたDoIを含む。ステップ617を実施すると、最終歯位置659および歯ごとのアタッチメントタイプ661が得られる。最終歯位置659、たとえば、DOI中に反映される歯の始動位置における歯のCOGに関する変換ベクトルが、ステップ619において使われる。ステップ619において、最終歯位置659は、中間歯位置663(本実施形態では、3Dモデル、たとえば、メッシュである)を決定するために、歯ラベル657および開始歯位置658とともに使われる。歯ラベル657および開始歯位置658は、開始歯位置、最終歯位置および歯ラベルが同じ歯/DOIを指すことを保証するように、融合されたデータセットに関連する。中間歯位置663は、ステップ621において使われる。

ステップ621は、アライナーの3Dモデルまたはそのようなアライナーを作成するための3D構造を含む矯正治療プランを自動的に決定することを含む。矯正治療プランは、データ651、最終歯位置659、歯ごとのアタッチメントタイプ661および中間歯位置663に基づいて決定される。データ651は、データ649と同じであるが、顎骨についてのDOIはない。

図7は、図5のステップ517の実施形態を示す。ステップ517は、最終(歯)位置深層ニューラルネットワーク703をトレーニングすることを含む。ステップ517において使われるデータは、図5に示すように、データ549、データ555および歯科物理プロパティ553を含む。歯ごとの使われるアタッチメントタイプおよび歯ごとの遂行された変換を含むデータ555、ならびに歯科物理プロパティ553は、深層ニューラルネットワーク703用のトレーニングデータ中に含まれる。データ549は、歯ごとのDOIおよび顎骨についてのDOIを含む。

データ549がボクセル表現を含む場合、このボクセル表現は、(たとえば、マーチングキューブアルゴリズムおよび3Dメッシュ平滑化などの後処理を用いて)表面メッシュにコンバートされ、続いて、ステップ701において、(たとえば、画定された面ごとの代表的3D点を、そのような面を画定する平均的な点の位置において作成することによって)点群にコンバートされ得る。

表面メッシュデータフォーマットは本質的に、ボリュームの線描表面を3Dで記述し、したがって、そのようなボリューム内からのいかなるデータも記憶しない。さらに、たとえば、ボクセル表現と比較して、記述されるデータ点は、たとえば、所定の解像度の所定のグリッド上に置かれる必要がない。これにより、表面メッシュフォーマットは、たとえば、同じ量の記憶されたデータを与えられると、構造を記述するためにより正確になる。この正確度は、最終歯位置を決定するという問題を解決するのに有益である。表面メッシュデータで記述される面は、たとえば、適用可能な面ごとに適切な3D点を生成することによって、点群によって正確に表され得る。点群へのそのようなコンバージョンにより、表面メッシュ画定における冗長性が取り除かれ、3Dデータが、ある特定のタイプの深層ニューラルネットワークによる処理に、より適用可能になる。

トレーニングデータ549および555は、既存の治療結果またはプランに由来し得る。代替として、トレーニングデータ549および555は、不正咬合をもたない歯列を表すデータから生成されてよい。システム構成要素が、この受信されたデータを、実現可能な境界条件内であれば、個々の歯をランダムに変位させることによって不正咬合がシミュレートされるように操作することができる。そのような境界条件は、衝突、最大限の可能変換などを考慮し得る。さらに、適切なアタッチメントおよび歯科物理プロパティが生成され得る。ランダムに生成された変換は、最終歯位置深層ニューラルネットワークによって予測されるべきターゲット変換を表す。そのような構成要素は、ネットワークのトレーニング中に使用されるべき圧倒的多数のサンプルを効果的に生成するものである。

図8は、図6のステップ617の実施形態を示す。ステップ617において使われるデータは、図6に示すデータ649を含む。データ649は、メッシュおよび歯ラベルとして表される、歯ごとのDOIおよび顎骨についてのDOIを含む。これらのメッシュは最初に、ステップ701において点群にコンバートされ、次いで、深層ニューラルネットワーク703向けの入力データに含められる。深層ニューラルネットワーク703の実行により、予測される(歯)変換801の出力が得られる。この予測される変換801は、ステップ803において、最終(歯)位置659を決定するのに使われる。深層ニューラルネットワーク703の実行によりさらに、歯ごとのアタッチメントタイプ661の出力が得られる。

図8に関して記載した実施形態から得られる出力は、矯正治療計画の決定のための非自動システムにおける測度(またはスコア)として使うことができる。そのようなスコアは、完全に自動的にではなく手動で最終位置を決定することを臨床医が好む可能性もあるフィードバックとして働き得る。フィードバックは、たとえば、矯正治療計画用のソフトウェアパッケージ内で歯列の歯の手動位置決めを実施する臨床医に与えられ得る。そのような手動位置決め中にいかなる時点が与えられても、ニューラルネットワーク中にフィードされるべき適切な入力が生成されてよく、予測される変換および/または歯ごとのアタッチメントタイプが、歯列全体の咬合の「正しさ」の一般的スコアおよび/または個々の歯ごとの配置/アタッチメントの「正しさ」のスコアを算出するのに使われてよい。代替として、ネットワークは、そのようなソフトウェアパッケージによって受信され得る入力状況から、最終位置を一度生成するのに使用されてよく、手動で位置決めされる状況と、単一の予測される最終位置との間の差が、そのようなスコアを生成するために算出されてよい。代替実施形態では、ニューラルネットワーク703がスコアを直接出力する。

図9は、例示的な最終位置深層ニューラルネットワークを示す。3D点群データに対して働きかけるという利益のおかげで、そのような入力を処理するのに適したネットワークアーキテクチャを使用することができる。適していることが知られているアーキテクチャタイプは、PointNetおよびこれらに対する、PointNet++などの改良、グラフ畳み込みニューラルネットワーク、ならびに、より最近では動的グラフ畳み込みニューラルネットワークおよび完全畳み込みポイントネットワークなどの幾何学的深層学習手法を含む。そのようなアーキテクチャの構成要素は、部分的に重複し、部分的に異なり、異なる部分は大部分が、解決されるべき問題に関連した情報を符号化するために処理され得る空間コンテキストの範囲に適用される。そのようなネットワークアーキテクチャは一般に、3D点群分類、セグメント化および/またはパーツセグメント化を実施するために利用される。回帰問題が、そのようなアーキテクチャによっても解決可能であるように例示される。

ある実施形態では、そのような最終位置ニューラルネットワーク用のトレーニングターゲット(したがって、予測されるべき値)は、歯ごとの変換を表す数値からなり得る。そのような値は、入力データ中に存在する可能性がある不正咬合に対抗するために要求される平行移動および回転を表し得る。トレーニングターゲットの追加セットは、歯ごとに使われるべきアタッチメントタイプの分類であってよい。そのような分類は、「アタッチメントなし」を表すクラスを含み得る。

入力データは、少なくとも3つの次元で定義される点の群からなってよく、これらの3つの次元は、3D空間中の座標を表す。追加次元、たとえば、識別される構造のどの部分に点が属すかを表す値を符号化する第4の次元が含められてよい。代替実施形態では、識別された構造ごとの3D点群が、最終位置3D深層ニューラルネットワークの入力に、別個の入力として差し出される。

代替実施形態では、たとえば、処理能力、利用可能メモリなどのような、利用可能な計算的側面が限られているケースでは、トレーニングと推論の両方のためのデータが、ただ1本の歯およびその周囲の空間コンテキストに集中するように、あらかじめ選択される可能性がある。十分に大きい供給されたコンテキストを与えると、所望の変換および/またはアタッチメントタイプが、そのように個々の歯ごとに生成されてよく、「個々の歯最終位置ニューラルネットワーク」を効果的にトレーニングする。両方の歯列弓の所望の咬合(配列)が、全空間コンテキストを入力として要求する問題であることが期待される場合があるが、トレーニングサンプルの十分に大きいセットが与えられると、個々の歯ごとに推論を実施することを要求するが、両方の完全な弓の正しい咬合を解決することになる一般化を遂行することができる。

図9の例示的な実施形態では、データ902はデータ906、908および910を含み、906は、トレーニング済みニューラルネットワーク904を利用する推論を実施するために使用され、906、908および910のセットをマッチングすることが、ニューラルネットワーク904をトレーニングするために要求され得る。予測は、ステップ912において導出される点群914に対して実施される。予測928は、所望の変換および歯ごとのアタッチメントタイプからなり得る。データ906は、トレーニングに使われるときは図5のデータ549に、および推論に使われるときは図6のデータ649に対応する。歯科物理プロパティ910は、図5の歯科物理プロパティ553に対応する。ニューラルネットワーク904は、図7および図8のニューラルネットワーク703に対応する。

ニューラルネットワークの内部パラメータの最適化は、実際の、予測されるべき変換およびアタッチメントタイプ908と、歯科物理プロパティ910と、予測928とを考慮に入れる損失関数930を使用して遂行され得る。「アタッチメントなし」は、アタッチメントのクラスであり得ることに留意されたい。

そのようなニューラルネットワークは、PointNetにおいて見ることができるように、入力データ中で空間変換916を実施する構成要素を利用することができる。この空間変換は、提示される点群の順序付けに対する不変性(順列不変性)を確実にさせるのに使用される。

Wangらによって「Dynamic graph CNN for learning on point cloud」(arXiv:1801.07829[cs.CV])において提案されるEdgeConv構成要素918、920は、局地的な幾何学的特徴をキャプチャする可能性を有する。そのような構成要素は、グラフベースの動作を実施して、有用な情報を導出し、動的グラフ更新により、追加されたEdgeConvレイヤごとに、異なるグラフ定義が得られる。最大プーリング構成要素922および処理される点のサブセットにわたる連続プーリング924が、関連特徴の大域セットを集約するのに利用されてよく、続いて、マルチレイヤパーセプトロン(MLP)構成要素926が、予測930を生成するために、さらなる要求される論理を符号化することを目指す。

代替として、そのようなニューラルネットワークは、NIPS'18 Proceedings of the 32nd International Conference on Neural Information Processing Systems、828〜838ページに掲載された「PointCNN: Convolution On.χ-Transformed Points」においてLiらによって提案されている1つまたは複数のχ-Conv演算子を使用してよく、そのようなニューラルネットワークはしたがって、χ変換特徴を使用し得る。

点群データ(特に、IOSデータ)のセグメント化のための方法およびシステムが、参照により本出願に組み込まれている、「Automated semantic segmentation of non-Euclidean 3D data sets using deep learning」と題する欧州特許出願第18213246.4号および「Object detection and instance segmentation of 3D point clouds based on deep learning」と題する欧州特許出願第19186357.0号にも記載されている。

これは例示的な実施形態にすぎず、レイヤの量、そのようなレイヤの順序付け、ノード/フィルタの量などは変わり得ることに留意されたい。記載される構成要素は、最大プーリングレイヤ、畳み込みレイヤ、連結レイヤなどのような、当該技術分野において知られている下位構成要素からなり得る。

図10は、図6のステップ619(経路決定)の実施形態を示す。歯ラベル657、開始(歯)位置658および最終(歯)位置659が、このステップ619において使われる。ステップ619は、サブステップ1001、1003、および1005を含む。ステップ1001は、オブジェクト(歯)ごとの全変換を決定することを含む。ステップ1003は、この全変換のために要求される最短時間およびステップを決定することを含む。ステップ1005は、中間ステップごとに位置を決定することを含む。許容および/または有望な動きについての情報1011が、これらのステップ1003および1005において使われる。

図11は、図6のステップ621(矯正治療計画)の実施形態を示す。最終歯位置659、中間位置663、データ651および歯ごとのアタッチメントタイプ661が、このステップ621において使われる。データ651は通常、歯がセグメント化されラベル付けされているIOSデータを含む。歯ラベルは、特定の番号付けシステム、たとえば、普遍番号方式に準拠する番号、FDI表記、テキストラベル、たとえば、「(R)犬歯」、または異なるタイプのラベルであってよい。重要なのは、各適用可能ステップにおいて同じ歯ラベルが使われることである。ラベルは、たとえば、歯データセットを含むファイルの名称の中に符号化されるか、またはたとえば、メタデータを含めることによって、適用可能データに関係付けられてよい。本実施形態では、データ649は、CBCTとIOSスキャンのペアの融合である。ステップ621は、サブステップ1101〜1111を含む。

図11の実施形態では、最終歯位置659および中間位置663はベクトルによって表され、ステップ1101は、最終歯位置659、中間位置663およびデータ649から、ステップ(位置)ごとの表面メッシュ表現を生成することを含む。これらの表面メッシュは、歯ごとのアタッチメントタイプ661とともにステップ1103において、中間および最終歯位置の各々についての3Dモデルを作成するのに使われ、各3Dモデルがすべての歯を表す。ステップ1105において、同じ3Dモデルの中の歯の間で、歯衝突検出が実施される。衝突が検出された場合、ステップ1107が実施される。ステップ1107は、衝突なしの、歯の1つまたは複数の調節された3Dモデルを作成することを含む。ステップ1109が、ステップ1107の後で実施される。ステップ1109は、衝突が検出されない場合、ステップ1105の直後に実施される。

ステップ1109は、3Dモデルごとにセメント-エナメル境界(CEJ)に注釈をつけることを含む。CEJの注釈は、たとえば、Wu Kらによって「Tooth segmentation on dental meshes using morphologic skeleton」、Elsevier Computers & Graphics 38(2014)199〜211において記載される、当該技術分野において知られている技法(歯と歯茎との間の線描を識別するが、歯冠の間の線描は省く)によって、またはトレーニング済みニューラルネットワークによって実施されてよい。この注釈を使用して、効果的に3Dボリュームの境界が定義され、生成されることになるアライナーのための境界を線描する。

ステップ1111は、たとえば、表されるボリュームの逆を使用することによって、3Dモデルごとにアライナー用のテンプレートを作成することを含む。ステップ1111の結果は、歯位置の各3Dモデル(1201において可視化される)に1つずつの、アライナーテンプレート1121の3Dモデルのシーケンスである。本実施形態では、矯正治療プランは、スライシング/再形成についての歯科医向けの報告1123と、タイプごとにアタッチメントを追加することとをさらに含む。この報告1123は、歯ごとの決定されたアタッチメントタイプ661と、ステップ1107において実施された調節についての情報とを含む。

図12は、本発明の様々な実施形態による、特定のケース向けの自動化アライナー設計の、得られた出力結果を可視化するコンピュータレンダー(レンダリング)を示す。1202および1204として可視化される3D表面は、同じ歯を含み、CBCTおよびIOS画像データの両方から導出される。IOSデータ(クラウン部)の空間正確度は、CBCT導出データ(根部)のものよりも高いことがわかる。歯は、歯-歯槽突起1203の歯科物理プロパティに対して所望の位置、この可視化のケースでは、連続ステップのシーケンス中のステップ1にとっての所望の位置に置かれていることもわかる。この単一のステップのために、アライナー1201が生成されている。

図13は、図5および図6の、セグメント化深層ニューラルネットワークをトレーニングする方法の実施形態の流れ図を示す。ステップ1301において、歯-顎顔面構造のCBCT 3D画像データ1321が取得される。構造は、たとえば、顎、歯および神経構造を含み得る。3D画像データ1321は、ボクセル、すなわち、ボクセル値、たとえば、放射線強度または濃度値を表す、グレースケール値または色値に関連付けられた3D空間要素を含み得る。CBCT 3D画像データ1321は、たとえば、DICOMフォーマットまたはその派生物に準拠し得る。ステップ1303において、CB(CT)3D画像データは、セグメント化深層ニューラルネットワーク1309の入力にフィードされる前に処理される。そのような処理は、たとえば、ボクセル値を、ニューラルネットワークにとってより有益な範囲に正規化することを含み得る。

セグメント化深層ニューラルネットワーク1309を、たとえば今日のCBCTスキャンデータ中に存在する変動性に対して堅牢にするために、セグメント化深層ニューラルネットワーク1309は、3Dモデル、たとえば、メッシュとして表すことができる、歯ごとの光学スキャン1325を使ってトレーニングされる。これらの光学スキャンは、3D光学スキャナを使って取得され得る。そのような光学3Dスキャナは、当該技術分野において知られており、高品質な3D顎および歯表面データを生じるのに使うことができる。3D表面データは、ステップ1305において、充填され(どの特定のボクセルが、メッシュによって包含されるボリュームの一部であるかを判断する)、ボクセル分類器によって使われ得る3D表面メッシュを含み得る。このようにして、ボクセル分類器は、かなり正確な分類されたボクセル1327をトレーニング用に生成することができる。本実施形態では、これらの分類されたボクセル1327は、ステップ1307において、処理されたCBCT 3D画像データ1323と位置合わせされる。処理されたCBCT 3D画像データ1323および位置合わせされ、分類されたボクセル1329は、セグメント化深層ニューラルネットワーク1309にトレーニングデータとして与えられる。

代替実施形態では、従来の3Dトレーニングデータが、多大な量の作業を表し得るCBCT 3D画像データを手動でセグメント化することによって入手される。さらに、手動セグメント化により、低い再生産性および一貫性の入力データが使われるようになる。ただし、図13の実施形態の変形体では、そのような手動でセグメント化されたトレーニングがさらに使われてよい。

深層学習に基づく自動セグメント化のための方法およびシステムが、参照により本出願に組み込まれている、「Classification and 3D modelling of 3D dento-maxillofacial structures using deep learning methods」と題する欧州特許出願第17179185.8号およびPCT出願第PCT/EP2018/067850号にも記載されている。

図14および図15は、図5および図6の、セグメント化深層ニューラルネットワーク用の3D深層ニューラルネットワークアーキテクチャの例を示す。図14に示すように、ネットワークは、3D畳み込みニューラルネットワーク(3D CNN)を使って実装され得る。畳み込みレイヤは、シグモイド関数、tanh関数、relu関数、softmax関数などのような、レイヤ中のニューロンに関連付けられたアクティブ化関数を利用し得る。複数の3D畳み込みレイヤが使われてよく、レイヤの数およびそれらが定義するパラメータにおける些細な変形、たとえば、異なるアクティブ化関数、カーネル量およびサイズ、ならびにドロップアウトレイヤなどの追加の機能レイヤおよび/またはバッチ正規化が、3D深層ニューラルネットワークの設計の本質を失うことなく、実装形態において使われてよい。

ネットワークは、複数の畳み込みパス、この例では3つの畳み込みパス、すなわち、3D畳み込みレイヤ1404の第1のセットに関連付けられた第1の畳み込みパス、3D畳み込みレイヤ1406の第2のセットに関連付けられた第2の畳み込みパス、および3D畳み込みレイヤ1408の第3のセットを含み得る。データ処理を実行するコンピュータが、3Dデータセット1402、たとえば、CT画像データを、畳み込みパスの入力に提供し得る。3Dデータセットは、3D歯科用構造物のボクセル表現であってよい。

異なるパスの機能が、図15に、より詳しく示される。この図に示すように、ボクセル表現のボクセルが、3D深層ニューラルネットワークの入力に与えられ得る。ボクセル表現のボクセルは所定のボリュームを定義することができ、これは、画像ボリューム1523と呼ばれ得る。コンピュータは、画像ボリュームをボクセルの第1のブロックに分割し、第1のブロックを第1のパスの入力に提供し得る。第1のパス1511の3D畳み込みレイヤは、ボクセル1501の第1のブロックに対して3D畳み込み演算を実施し得る。処理中、第1のパスの1つの3D畳み込みレイヤの出力は、第1のパス中の後続3D畳み込みレイヤの入力である。このようにして、各3D畳み込みレイヤが、第1のパスの入力に与えられる、ボクセルの第1のブロックを考慮する情報を表す3D特徴を生成し得る。そのような特徴を生成するように構成される3D畳み込みレイヤは、したがって、3D CNN特徴レイヤと呼ばれ得る。

図15に示すように、第2のパス1512の畳み込みレイヤは、ボクセル表現のボクセル1502の第2のブロックを処理するように構成されてよく、ボクセルの第2のブロックは、ボクセルの関連付けられた第1のブロックのダウンサンプリングされたバージョンを表し、ボクセルの第1および第2のブロックは、同じ中心をもつ原点を有する。第2のブロックの表されるボリュームは、第1のブロックのボリュームよりも大きい。その上、ボクセルの第2のブロックは、ボクセルの関連付けられた第1のブロックの、ダウンサンプリングされたバージョンを表す。ダウンサンプリング係数は、任意の適切な値であってよい。ある実施形態では、ダウンサンプリング係数は、20と2との間、好ましくは5と3との間で選択され得る。

第1のパス1511は、3D CNN特徴レイヤ(たとえば、5〜20レイヤ)の第1のセットを定義することができ、セットは、入力データ(たとえば、画像ボリューム中の所定の位置にある、ボクセルの第1のブロック)をターゲット(すなわち、分類される、画像ボリュームのボクセル)のボクセル解像度で処理するように構成される。第2のパスは、3D CNN特徴レイヤ(5〜20レイヤ)の第2のセットを定義することができ、これらは、ボクセルの第2のブロックを処理するように構成され、ボクセル1512の第2のブロックの各ブロックは、ボクセル1511の第1のブロックからの、それに関連付けられたブロックと同じ中心点を有する。その上、第2のブロックのボクセルは、1511の解像度よりも低い解像度で処理される。したがって、ボクセルの第2のブロックは、第1のブロックよりも大きい、現実世界寸法でのボリュームを表す。このようにして、3D CNN特徴レイヤの第2のセットは、ボクセルを処理し、第1の3D CNN特徴レイヤによって処理される、関連付けられたボクセルの直近についての情報を含む3D特徴を生成する。このようにして、第2のパスは、3D深層ニューラルネットワークが、コンテキスト情報、すなわち、3D CNN特徴レイヤの第1のセットによって処理される3D画像データのボクセルのコンテキスト(たとえば、その周辺)についての情報を判断することを可能にする。

同様にして、第3のパス1513が、ボクセル1503の第1のブロックのさらなるコンテキスト情報を判断するのに使用され得る。したがって、第3のパスは、3D CNN特徴レイヤ(5〜20レイヤ)の第3のセットを含むことができ、これらは、ボクセルの第3のブロックを処理するように構成され、ボクセル1503の第3のブロックの各ブロックは、ボクセル1501の第1のブロックおよびボクセル1503の第2のブロックからの、それに関連付けられたブロックと同じ中心点を有する。その上、第3のブロックのボクセルは、ボクセルの第1および第2のブロックの解像度よりも低い解像度で処理される。このダウンサンプリング係数は、適切な値に再度設定されてよい。ある実施形態では、ダウンサンプリング係数は、20と3との間、好ましくは16と9との間で選択され得る。

3つのパスまたはより多くのパスを使うことによって、受信された解像度での3D画像データ(入力データ)と3D画像データのボクセルについての追加コンテキスト情報の両方が並行して処理され得る。コンテキスト情報は、区別するのが難しい、密に詰まった歯科用構造物を通常は含む歯-顎顔面構造を分類するのに重要である。

3D CNN特徴レイヤのセットの出力は次いで、ステップ1521においてマージされ、完全接続3D CNNレイヤ1510のセットの入力にフィードされ、レイヤ1510は、ニューラルネットワークの入力において差し出されるとともに3D CNN特徴レイヤによって処理されるボクセル1512の意図された分類を導出するようにトレーニングされる。

3D CNN特徴レイヤのセットは、それらの特定の入力から判断され得る最適に有用な情報を導出し、伝えるように(それらの学習可能パラメータを通して)トレーニングされてよく、完全接続レイヤは、最適に分類されたボクセル1512を提供するために、3つの以前のパスからの情報が組み合わされるべきやり方を判断するパラメータを符号化する。ここで、完全接続レイヤの出力(最終レイヤ)は、各ボクセル向けの複数のアクティブ化を提供し得る。そのようなボクセルアクティブ化は、複数のクラス、たとえば、歯科用構造物クラスのうちの1つ、たとえば、歯、顎および/または神経構造にボクセルが属す確率を定義する確率測度(予測)を表し得る。各ボクセルについて、異なる歯科構造に関連付けられたボクセルアクティブ化が、たとえば、分類されたボクセルを取得するために、閾値処理され、またはボクセルごとのクラスごとに最大限のアクティブ化を選択することによって、クラスを割り当てられ得る。その後、異なる歯科用構造物クラスに属す分類されたボクセルが、画像空間1523中で表され得る。したがって、3D深層ニューラルネットワークの出力は、入力におけるボクセルの画像空間に対応する、画像空間中の分類されたボクセルである。

図16は、図5および図6のセグメント化処理ステップ507の実施形態の流れ図を示す。ステップ1603および1605において、セグメント化されたボクセルデータ1611、たとえば、図5のデータ545または図6のデータ645が処理される。セグメント化されたボクセルデータ1611は、たとえば、歯、顎または神経構造に属すものとして分類されたものすべてを表すボクセルのセットを含み得る。こうしたタイプの構造の3Dデータを、個々の歯および/または顎(たとえば、上、下)が別個の3Dデータセットによって表されるように作成することが有益であり得る。これは、ボリューム再構築1603によって遂行され得る。個々の歯に属すボクセルの分離セットのケースのために、これは、3Dバイナリエロージョン、3Dマーカー作成および3D Watershedding(それらの組合せ)によって遂行され得る。

下および上顎部分への分離の組合せのために、上下(現実世界座標系)軸に沿った原点からの距離は、この方向に垂直な面におけるボクセルの合計が、同じ軸に沿う他の交差面と比較して最小であるところに見ることができる。上および下顎部分への分解は、この距離を利用して行うことができる。別の実施形態では、顎は、対応するボクセルを別個の顎クラスとして分類することによって、深層ネットワークによって自動的に分解され得る。

代替として、分離されるべき構造は、特定の個々の歯、顎の特定のセクションなどのような、個々のクラスを割り当てられ得る。そのようなケースでは、1603は、たとえば、ボクセル空間からのボリュームの一貫性のある現実的な表現を保証する(3D)フィルタリング技法を利用することによって、セグメント化されたボクセルデータがボリュームを正確に、および現実的に表すことを確実にする処理からなり得る。

分類されたボクセルの他の部分、たとえば、3D深層ニューラルネットワークによって、神経に属すものとして分類されたボクセルが、形状補間関数1605を使うことによって後処理され、3D神経データ1617として記憶され得る。任意選択で、3D神経データ1617が必要とされない場合、ステップ1605は省かれてよい。セグメント化の後、歯-顎顔面構造の様々な部分を後処理し、神経、顎および歯データ1613〜1617の3Dデータは、組み合わされ、コンピュータシステムの入力にフィードされた3D画像データで歯-顎顔面構造を正確に表す別個の3Dモデルに、ステップ1607においてフォーマットされ得る。セグメント化されたボクセルデータ1611ならびにステップ1607において作成された3Dモデルの両方が、図14の(CB)CT 3D画像データ1402と同じ座標系において定義されることに留意されたい。3Dモデルが必要とされない場合、たとえば、ボクセルデータが十分である場合、ステップ1607はスキップされてよい。セグメント化処理ステップ507は追加または代替として、神経、顎および歯データ1613〜1617を出力し得る。

図17は、図5および図6の、分類深層ニューラルネットワークをトレーニングする方法の実施形態の流れ図を示す。歯分類深層ニューラルネットワーク1705用のトレーニングデータが、ステップ1701において取得される。トレーニングデータは、歯ごとのラベル1719とともに(CB)CTスキャンから導出される、セグメント化されたボクセルデータ1717ならびに/または歯ごとのラベル1713とともにIOSスキャン(たとえば、歯および歯肉を含む3D表面メッシュからセグメント化された個々の歯冠)から導出される、セグメント化されたメッシュデータ1711を含み得る。セグメント化されたメッシュデータ1711は、ステップ1703において、セグメント化されたボクセルデータ1715にコンバートされ、次いで、歯分類深層ニューラルネットワーク1705に与えられる。

歯分類深層ニューラルネットワークの出力は、歯列の歯に適用されるラベルのセットにわたる分類の正確度を保証するために、歯列を検討する知識(たとえば、各個々の歯インデックスが、単一の歯列中で一度だけ現れ得るという事実)を利用するように設計された、図5および図6の分類後処理ステップ511にフィードされる。ある実施形態では、正しいラベルが、3D深層ニューラルネットワークの追加トレーニングの後で今後の正確度を増す目的で、トレーニングデータにフィードバックされ得る。

深層学習に基づく自動分類のための方法およびシステムが、参照により本出願に組み込まれている、「Automated classification and taxonomy of 3D teeth data using deep learning methods」と題する欧州特許出願第17194460.6号およびPCT出願第PCT/EP2018/076871号に記載されている。

図18は、図5および図6の分類深層ニューラルネットワーク用の3D深層ニューラルネットワークアーキテクチャの例を示す。ネットワークは、3D畳み込みレイヤ(3D CNN)を使って実装され得る。畳み込みは、アクティブ化関数を使うことができる。複数の3D畳み込みレイヤ、すなわち1804〜1808が使われてよく、レイヤの数およびそれらが定義するパラメータにおける些細な変形、たとえば、異なるアクティブ化関数、カーネル量、およびサブサンプリングとサイズの使用、ならびにドロップアウトおよび/またはバッチ正規化レイヤなどの追加機能的レイヤが、3D深層ニューラルネットワークの設計の本質を失うことなく、実装形態において使われてよい。

一つには、3D深層ニューラルネットワーク内のデータの内部表現の次元数を削減するために、3D最大プーリングレイヤ1810が利用されてよい。ネットワーク中のこの点において、内部表現は、3D空間中の表現を、可能ラベル、特に歯タイプラベルのアクティブ化に変換するための媒介であることを目指す、密接続レイヤ1812に渡されてよい。

最終または出力レイヤ1814は、所望の数の符号化ラベルと同じ次元数を有することができ、可能ラベルごとの(予測と類似した)アクティブ化値1818を判断するのに使うことができる。

ネットワークは、3D CNNレイヤ向けの入力として、歯ごとの3Dボクセルデータセット1802をもつデータセットを利用してトレーニングされ得る。各トレーニングサンプル(単一の歯の3D表現である)について、対応する正しいラベル(図17のラベル1713および1719)が、所望および実際の出力の間の損失を判断するのに使われ得る。この損失は、トレーニング中に、3D深層ニューラルネットワークのレイヤ内でパラメータを調節するための測度として使うことができる。オプティマイザ機能が、トレーニング中に、トレーニング作業の効率性を助けるのに使われ得る。ネットワークは、内部パラメータが所望の正確度の結果につながるまで、任意の反復数だけトレーニングされ得る。適切にトレーニングされると、ラベルなしサンプルが入力として提示されてよく、3D深層ニューラルネットワークは、各可能ラベルについての予測を導出するのに使われてよい。

したがって、3D深層ニューラルネットワークが、歯の3Dデータサンプルを、複数の歯タイプ、たとえば、大人の健康な歯列のケースであれば32個の歯タイプのうちの1つに分類するようにトレーニングされると、ニューラルネットワークの出力は、アクティブ化値および関連付けられた可能歯タイプラベルになる。最も高いアクティブ化値をもつ可能歯タイプラベルは、歯の3Dデータサンプルが、ラベルによって示されるタイプの歯を表す見込みが最も高いことを、分類システムに対して示し得る。最低または比較的低いアクティブ化値をもつ可能歯タイプラベルは、歯の3Dデータセットが、そのようなラベルによって示されるタイプの歯を表す見込みが最もないことを、分類学システムに対して示し得る。

入力ボリューム、たとえば、完全な歯ボリュームである入力ボクセル表現、または歯冠を表すだけである入力ボクセル表現のタイプに基づいて、別個の特定のネットワークモデル(特定のトレーニング後に、異なる最終パラメータを有する同じアーキテクチャ)をトレーニングすることが要求され得ることに留意されたい。

図19は、正準ポーズ深層ニューラルネットワークをトレーニングする方法の実施形態の流れ図を示す。深層学習を使う、3D歯科構造の正準ポーズおよび3D歯科構造の重ね合わせの自動化判断のための方法およびシステムが、参照により本出願に組み込まれている、欧州特許出願第18181421.1号およびPCT出願第PCT/EP2019/067905号にも記載されている。ネットワークは、3D画像サンプルと、関連付けられた正準座標とを含むデータに基づいてトレーニングされ得る。トレーニングデータは、3Dデータセット(たとえば、ボクセル強度値、たとえば、(CB)CTデータのケースでは放射濃度、または、たとえば、ボクセル化表面スキャンデータのケースではバイナリ値)を含み得る。入力ボクセルごとの(x,y,z)ベクトルとして表され得る正準座標データが、ターゲットデータとして使われ得る。図19の実施形態では、IOSスキャンと(CB)CTスキャンの両方からデータセットが取得され、それぞれ、第1のデータセット1911および第2のデータセット1913が得られる。両方のデータセット1911および1913はボクセル表現である。データセット1913は、表面メッシュ表現をボクセル表現にコンバートすることによって取得されている。

3D歯科用構造物に適した正準座標系が選択されてよい。ある実施形態では、3D歯科用構造物のケースにおいて、一定の点(患者間および患者内)における原点(0,0,0)を有するように、正準座標系が判断され得る。今後、「現実世界座標」を参照するとき、それは、たとえば患者が直立し、「最低-最高」が患者視点の「上下」を意味し、「前後」が患者視点からの「前後」を意味し、「左右」が患者視点の「左右」を意味する、患者視点に関連した軸方向を有すると見なされる。「現実世界」は、3Dデータセットなどの情報が、そこから供給される状況を指すことを意図している。

そのような一定の点は、たとえば、(現実世界座標における)最低点であってよく、両方の最も正面向きに位置決めされた歯(FDIシステムインデックス11および21)が依然として接触しているか、または接触することになる(たとえば、それらの歯のうちのいずれかが欠けている場合)。軸の方向を検討して、現実世界方向(患者として閲覧される)の上下、左右および前後がそれぞれ、低い値から高い値に及ぶx、yおよびz値として定義され、符号化され得る。現実世界寸法にスケーリングするために、これがすべてのトレーニングデータにわたって一定して行われる限り、同じスケーリングが3D深層ニューラルネットワークの出力となるので、様々な表現(入力データからトレーニングデータへの特定のコンバージョンを意味する)方法が利用されてよい。たとえば、1mmの現実世界距離ごとの1座標単位の値が利用されてよい。

データの相違および/またはデータモダリティに対して堅牢な3D深層ニューラルネットワークを達成するために、ステップ1901において取得された初期トレーニングデータに基づいて、多様なトレーニングサンプルが生成され得る。その目的のために、ステップ1903は、3Dデータセットを、ダウンスケーリングされた3Dデータセットおよび所定の解像度の関連付けられた正準座標にダウンスケーリングすることを含む。そのようなダウンスケーリング操作は、より小さい3D画像データセットを生じ、たとえば、ボクセル解像度を各方向において1mmまでダウンスケーリングする。さらに、ステップ1905において、(ダウンスケーリングされた)3Dデータおよび関連付けられた正準座標にランダム回転を適用することによって、1つの3Dデータセットの異なる変形が生成される。これは、どの対応可能患者にも行われてよく、多数の患者データセットおよびデータセットごとに多数の回転(および/またはスケーリング係数)を有する可能トレーニングサンプルをそこから描くためのデータのプールを事実上供給することに留意されたい。

さらに、ステップ1907は、(ダウンスケーリングされた)3Dデータセットと、関連付けられた正準座標とをブロック(3D画像サンプル)に区分することを含み、各ブロックは、所定のサイズを有し、3Dデータセットの総ボリュームのサブセットである。たとえば、トレーニングモジュールの入力に与えられる3Dデータセットは、400×400×400ボクセルのボリュームを含んでよく、各ボクセルは、あらゆる直交方向において0.2mmの寸法を有する。この3Dデータセットは、たとえば、あらゆる方向において1mmの80×80×80ボクセルのボリュームを有する、ダウンスケーリングされた3Dデータセットにダウンスケーリングされてよい。次いで、ダウンスケーリングされた3Dデータセットは、所定のサイズ(たとえば、あらゆる方向において1mmの24×24×24ボクセル)の3Dデータブロックに分割されてよい。これらのブロックは、正準座標をターゲットとして使って正準ポーズ深層ニューラルネットワーク1909をトレーニングするのに使うことができる。ステップ1907は、正準ポーズ深層ニューラルネットワーク1909に与えられるべきブロックをランダムに選択することをさらに含む。

正準ポーズ深層ニューラルネットワーク1909は本質的に、変化する回転(ステップ1905において生成される)と平行移動(ステップ1907において生成される)の両方に対してトレーニングすること、およびステップ1903において多数の(多様な)スケールのサンプルが生成されてよいことに留意されたい。

図20は、図5および図6の位置合わせステップの実施形態の流れ図を示す。図20に示す2つの入力3D画像データセット2031は、すでに適切にボクセル化されている。図19に関連して記載したのと同様に、2つの入力3D画像データセット2031は、ステップ2001において所定のスケーリングを利用して処理され、ステップ2003において、ダウンスケーリングされたデータセットを、所定のサイズの画像ブロックに区分し、3D画像ブロックを正準ポーズ深層ニューラルネットワーク2005に与える。受信された3D画像データの空間全体を覆う画像ブロックを少なくとも一度提供することによって、正準座標が、正準ポーズ深層ニューラルネットワークによって、3D画像データセット中のあらゆる(ダウンサンプリングされた)ボクセルについて予測され得る。

正準ポーズ深層ニューラルネットワーク2005は、変換パラメータ2033の第1のセットを提供する。比較的大きい現実世界3D空間からの十分なトレーニングサンプルがあれば、より小さいボリューム(トレーニングデータ内に代表的に含まれるならば)からの受信されたデータについて正準ポーズが判断され得ることに留意されたい。正準ポーズ深層ニューラルネットワーク2005による予測は、浮動小数点値で算出され得る。

変換パラメータ2033のこの第1のセットを使って、事前位置合わせがステップ2007において実施されてよく、十分な重なりの判断がステップ2009において実施されてよい。重なりの量が、実験的に判断され得るとともに、続いてプログラムでチェックされ得る1つの閾または複数の閾によるように、不十分である場合、変換パラメータの第1のセットが、ステップ2011において選択されてよい。不十分な重なりの場合、変換パラメータの第2のセットを判断することは、結果の向上につながらない。

十分な重なりの判断に続いて、ステップ2013が実施されてよい。ステップ2013は、重複DOIを選択することを含む。セグメント化ステップ2015は、両方の受信された3D画像データセットに対して自動的に、上述したような3D深層ニューラルネットワークベースの方法、またはIOSデータに当てはまるような当該技術分野において知られている他の方法のいずれかを利用して実施され得る。後者のケースでは、歯冠のそのようなセグメント化は、表面メッシュデータの形の、受信された3D画像データに対して実施され得ることに留意されたい。

分類は、ステップ2017において、(セグメント化された)構造データに対して実施されてよく、得られた情報は、キー点生成ステップ2018に中継されてよい。同じ歯の識別を異なる受信されたデータセットに含めることができることにより、受信されたデータセットの重なりの量およびデータ品質の起こり得る相違に対するさらなる堅牢性をもたらすことが期待される。

選択された(疎な、厳密に一致する)キー点の生成された群は、ステップ2018において、位置合わせのための変換パラメータの第2のセットを判断するのに利用され得る。2007、2013から潜在的に得られる、どの先行する変換も、2019によって、変換パラメータの第1のセットを判断するために考慮に入れられてよいことに留意されたい。

たとえば、変換パラメータ2033の第1のセットの偏差をチェックすることによって、サニティチェックがステップ2021において実施されてよい。大きい不一致のケースでは、ステップ2011において変換パラメータの第1のセットが選択され得る。そうでない場合、ステップ2023において変換パラメータの第2のセットが選択され得る。代替実施形態では、両方の変換セットが、加重平均を使って組み合わされてよく、大きい不一致のケースでは、0の重みが、変換パラメータの第2のセット向けに使われてもよい。非実現可能な結果は、特に、たとえば、CBCTデータ中に存在する人工物、IOSデータからの不正表面表現など、不正確なデータが受信された結果であり得る。

表面メッシュについての点データが、浮動小数点精度とともに保存され、潜在的にかなり正確な結果を出す。ステップ2023において選択されるべき変換パラメータはしたがって、ステップ2011において選択されるべきパラメータに対する、高度に正確な微調整である可能性を有する。図20の実施形態は、個々の構造の事前位置合わせ、重なりならびにセグメント化および分類の判断を含むことにより、当技術分野における現在の方法よりもはるかに堅牢であると見なすことができる。

変換パラメータは、様々なやり方で内部的に表すことができ、たとえば、それぞれ順番に回転を記述する、3つの値の3つのベクトル、原点への3つの平行移動値、および/または適用可能スケーリングを判断する3つの値であって、すべて、直交3D座標系における特定の軸に属す、正および/または負の規模の値を有する。代替として、線形代数において知られている行列のどの組合せ、より具体的には、(アフィン)変換行列において判断され得るように、回転、変換、スケーリングおよび/または組合せのいずれかが利用されてもよい。

正確度、堅牢性などを検討する事前知識が、たとえば、受信された変換パラメータの2つのセット重要性の重みづけを判断するのに利用されてよい。パラメータはしたがって、プログラムによって組み合わされて、位置合わせのための最も正確な所望の変換パラメータをもたらすことができる。変換パラメータは、所望の結果に依存して、セット2をセット1に、セット1をセット2にマッチングするパラメータのいずれかであってよく、かつ/または両方が代替(所望の)座標系において位置合わせされることに留意されたい。

図21〜図23は、図20の方法の実行を示す概略図を示す。図21は、3Dオブジェクト、たとえば、歯などの歯科オブジェクトのボクセル表現2100を概略的に示す。ボクセルは、強度値、たとえば、(CB)CTスキャンから入手された放射濃度に関連付けられ得る。代替として、ボクセルはバイナリ値に関連付けられ得る。その場合、ボクセル表現は、構造化光スキャンまたはレーザー表面スキャンから入手された、ボクセル化表面またはボクセル化表面導出ボリュームのバイナリボクセル表現であってよい。3Dオブジェクトは、上部分(たとえば、歯冠)、下部分(たとえば、根)、前部分、後部分ならびに左および右部分を識別する特定の特徴を有し得る。

ボクセル表現は、第1の(直交)座標系(x,y,z)2102、たとえば、走査ソフトウェアによって、3D空間中の走査データを表すのに使われる座標系に関連付けられる。これらの座標は、たとえば、DICOM画像ファイル中の(メタ)データとして与えられ得る。3Dオブジェクトは、第1の座標系によって定義された3D空間中の、特定の配向、位置およびサイズを有し得る。ただし、そのような座標系は、ここでは「左」、「右」、「前」、「後」、「下」および「上」によって示されるオブジェクトに相対して定義され得るシステムにはまだ対応し得ないことに留意されたい。

トレーニングされた3D深層ニューラルネットワークを使って、3Dオブジェクトは、2108において、(空間的に)「正規化され」(すなわち、配向し直され、位置決めし直され、スケーリングされ)、(直交)正準座標系に基づいて定義され得る。正準座標系(x',y',z')2106において、正規化3Dオブジェクト2105は正準ポーズを有することができ、ここで、3Dオブジェクトの特定の特徴は、正準座標系の軸と位置合わせされてよい。したがって、システムは、走査システムによって定義された座標系によって定義された3D空間中で、特定の配向、位置およびサイズを有する3D歯科用構造物のボクセル表現を受信し、3Dオブジェクトの正準ボクセル表現を判断することができ、ここで、3Dオブジェクトは正準座標系において定義され、オブジェクトのサイズはスケーリングされ、3D歯科用構造物の特定の特徴は、正準座標系の軸と位置合わせされる。

図22は、3Dオブジェクトのボクセル表現2210のボクセルを受信するようにトレーニングされ得る3D深層ニューラルネットワーク2218を示し、ここで、ボクセルは、座標系2202(x,y,z)によって定義された特定の位置を有し得る。3D深層ニューラルネットワークは、ボクセル表現に関連付けられた、いわゆる正準ポーズ情報2203を生成するように構成されてよい。正準ポーズ情報は、ボクセル表現の各ボクセル2204(x,y,z)について、正準座標系によって定義された空間における座標(x',y',z')の予測を含み得る。正準座標系は、確実に識別可能な歯-顎顔面構造、たとえば、歯列弓の特徴の典型的な位置、配向およびスケールに関して定義され得る。そのような正準座標系を導出するのに要求される情報は、ネットワークのトレーニングフェーズ中に、3D深層ニューラルネットワーク中で符号化されてよい。このようにして、正準ポーズ情報は、同じ相対的な位置、配向、およびスケールでの同じ歯-顎顔面構造を表す3Dデータの異なる多様性および/またはモダリティを配置するのに使われ得る。

したがって、各入力ボクセル2204について、正準座標系における、入力ボクセルのx'、y'、およびz'座標の値についての予測を含む3つの対応する出力値2214、2224、2234が、それぞれ、3D深層ニューラルネットワークによって生成される。ある実施形態では、正準ポーズ情報は、3つの3Dボクセルマップ2212、2222、2232を含んでよく、各3Dボクセルマップは、3Dニューラルネットワークの入力におけるボクセル表現のボクセルを正準座標にリンクする。

3D深層ニューラルネットワークの入力にボクセル表現を提供する前に、ボクセル表現は、ボクセルブロック(ここでは2216によって示され、これ以降、略して「ブロック」)のセットに区分されてよく、ボクセルブロックの寸法は、3D深層ニューラルネットワークの入力空間の寸法と一致する。ブロックサイズは、3D深層ニューラルネットワークのデータ記憶能力に依存し得る。したがって、3D深層ニューラルネットワークは、ボクセル表現のブロックの各々の中のボクセルを処理し、各ブロックのボクセルについての正準ポーズ情報、すなわち、ブロック中の各ボクセルについての正準座標系の座標(x',y',z')の予測を生じることができる。ある実施形態では、3D深層ニューラルネットワークは、3つのボクセルマップ2212、2222、2232を生成することができ、第1のボクセルマップ2212は、3D深層ニューラルネットワークの入力に差し出されるブロック中の各ボクセルについて、対応するx'座標を含み、第2のボクセルマップ2222は、ブロック中の各ボクセルについてy'座標を含み、第3のボクセルマップ2232は、ブロック中の各ボクセルについてz'座標を含む。

図23は、3D深層ニューラルネットワークの入力に差し出され、第1の座標系(x,y,z)2302、たとえば、3D画像を生じるのに使われたスキャナの画像処理ソフトウェアによって使われる座標系に基づいて定義される3Dオブジェクト2300のボクセル表現を概略的に示す。これらの座標またはこれらの座標を判断するための情報は、データファイル、たとえば、DICOMファイルに、メタデータとして含まれてよい。3D深層ニューラルネットワークによって生成された正準ポーズ情報に基づいて、正準座標系中の3Dオブジェクトの正準ポーズの予測が生成され得る。したがって、正準ポーズ情報2350は、第1の座標系中の各ボクセルの位置(x,y,z)を、正準座標系中の位置(x',y',z')にリンクし得る。この情報は、システムが、第1の座標系中で定義された3Dオブジェクトを、正準座標系中で定義されたその正準ポーズ2362に変換できるようにする変換2360を判断するのに使われ得る。

ポーズ情報は、正準座標系の軸(正準軸)に関連付けられた、配向およびスケーリング係数を判断するのに使われ得る。ここで、配向は、第1の座標系によって定義された空間中の正準軸の配向であってよい。ポーズ情報は、正準座標系の原点の位置を判断するのにも使われ得る。

正準軸の配向は、3D深層ニューラルネットワークによって判断される、3Dボクセルマップ中の1つまたは複数のボクセルにおける(局所的)勾配に基づいて判断され得る。たとえば、正準座標のx'成分に関連付けられた、第1の3Dボクセルマップの各々または少なくともいくつかのボクセルについて、局所勾配が判断され得る。局所勾配は、第1の座標系によって定義されたx,y,z空間中の3Dベクトルとして表され得る。ベクトルの方向は、ボクセルの位置における、正準x'軸の配向の予測を表す。さらに、ベクトルの長さは、正準x'軸に関連付けられたスケーリング係数の予測を表す。

ある実施形態では、正準x'軸に関連付けられた配向およびスケーリング係数についての予測は、第1の3Dボクセルマップのx'値に基づいて判断され得る。たとえば、第1の3Dボクセルマップのボクセルについての予測の統計的に代表的な測度、たとえば、中央値または平均勾配が判断され得る。ある実施形態では、第1の3Dボクセルマップのx'値が前処理され、たとえば、平滑化および/またはフィルタリングされ得る。たとえば、ある実施形態では、中央値フィルタが、(局所的)線外値を取り除くのに使われ得る。同じやり方で、正準y'軸についての配向およびスケーリング係数の予測は、第2の3Dボクセルマップにおけるy'値に基づいて判断されてよく、正準z'軸についての配向およびスケーリング係数の予測は、第3の3Dボクセルマップにおけるz'値に基づいて判断されてよい。正準x'、y'、z'軸の予測される配向は、軸が直交するか、または正規直交さえもすることを保証するように後処理され得る。様々な知られている方式、たとえば、グラムシュミットプロセスが、これを達成するのに使われ得る。受信された座標系2302と、予測から導出された座標系とを比較することによって、回転およびスケーリングパラメータが入手され得る。

正準座標系の原点の位置(第1の座標系の空間中の平行移動ベクトルに関して)は、3D深層ニューラルネットワークの入力に差し出されるボクセル表現の中心の正準座標の予測を判断することによって入手され得る。これらの座標は、たとえば、予測される第1の3Dボクセルマップのx'値、第2の3Dボクセルマップのy'値および第3の3Dボクセルマップのz'値の平均または中央値に基づいて判断され得る。平行移動ベクトルが、ブロックの中心の予測正準座標(xo',yo',zo')と、第1の座標系に基づくブロックの中心の座標とに基づいて、たとえば、単純減算を使って判断され得る。代替として、正準座標系の原点は、そのようなブロックの複数の予測の集約によって判断することができ、後者は、受信されたボクセル表現の同じサイズの空間について判断される正準座標を事実上処理する。上述したプロセスは、3Dデータセットのブロックの各々または少なくとも大部分に対して繰り返されてよい。各ブロックについて判断された情報(正準座標系の配向、スケールおよび原点)は、たとえば、複数のブロックにわたる平均化値を入手するのに使うことができ、正確な予測を与える。

図24は、図20の方法によって利用されるトレーニングデータを示す。図24は、3Dデータセットの3つのスライス2401〜2403、この例では、3D歯科用構造物のCBCTスキャン、ならびに3D深層ニューラルネットワークをトレーニングするのに使うことができるx'、y'およびz'座標についての3Dボクセルマップの関連付けられたスライスを示す。これらの3Dボクセルマップは、正準x'座標2411、正準y'座標2412および正準z'座標2413の所望の予測を含む。グレースケール値は、正準座標系に従って、座標についての(符号化された)値の勾配を可視化する。座標(x,y,z)は、CBCTスキャンに関連付けられた座標系に基づく、3D歯科用構造物のボクセルの位置を示す。方向を含む、可視化された軸が、ピクチャごとに左上および右上に記されている。すべての可視化は、図解ごとに左上に見えるスライス番号によって記すように、実際に利用される3Dデータセットおよび関連付けられたボクセルマップからスライスされる、単一の中央「スライス」(事実上、2D画像データのピクセル)の2D表現であることに留意されたい。

図25は、図20の正準ポーズ深層ニューラルネットワーク用の3D深層ニューラルネットワークアーキテクチャの例を示す。3D深層ニューラルネットワークは、事実上、当該技術分野において知られているような2D U-netの3D実装形態である、3D U-netと同様のアーキテクチャを有し得る。

ネットワークは、(拡張)畳み込みレイヤ(3D CNN)、3D最大プーリングレイヤ、3D逆畳み込みレイヤ(3D逆CNN)、および密接続レイヤなど、様々な3Dニューラルネットワークレイヤを使って実装されてよい。レイヤは、線形、tanh、ReLU、PreLU、シグモイドなどのような、様々なアクティブ化関数を使うことができる。3D CNNおよび逆CNNレイヤは、フィルタ、フィルタサイズおよびサブサンプリングパラメータの量が変わり得る。3D CNNおよび逆CNNレイヤ、ならびに密接続レイヤは、パラメータ初期化方法が変わり得る。アーキテクチャを通して、ドロップアウトレイヤおよび/またはバッチ正規化が利用されてよい。

3D U-netアーキテクチャと同様、トレーニング中、3D CNNおよび3D逆CNNレイヤ内の様々なフィルタは、正確な予測の作業を助けることになるように、有意な特徴を符号化することを学習する。トレーニング中、3D画像データの一致するセットおよび符号化された一致する正準座標が、前者から後者の予測へ最適化するのに使われる。損失関数が、最小化されるべき測度として利用されてよい。この最適化作業は、SGD、Adamなどのようなオプティマイザを利用することによって支援され得る。

そのようなアーキテクチャは、様々な解像度スケール、すなわち、事実上、ダウンスケーリング2506、2510、2514を、最大プーリングまたは(拡張および/もしくはサブサンプリング)畳み込みレイヤを通した、3D CNNレイヤ2504、2508、2512の以前のセットからの結果として利用することができる。「有意な特徴」という用語は、ターゲット出力値を判断することに関連した情報の(連続)導出を指し、3D逆CNNレイヤを通しても符号化され、これらのレイヤは、事実上、フィルタを利用しながらアップスケーリングを実施する。そのような3D逆CNNレイヤ2518、2524、2530から生じる2520、2526、2532のデータを、同じ解像度に対して作用する「最終」3D CNNレイヤからのデータ(2512から2520、2508から2526および2504から2532)と組み合わせることによって、かなり正確な予測が遂行され得る。アーキテクチャのアップスケーリングセクション(2518において始まる)を通して、追加3D CNNレイヤが2522、2528、2534において使われてよい。たとえば、入来3D CNNレイヤ2534のフィルタの結果に基づいてボクセルごとに論理を取り出す密接続レイヤを利用することによって、ネットワークのパラメータ内に、追加論理が符号化され得る。

推論のために使用されるとき、検証が十分に正確な結果を出すように内部パラメータを符号化するようにトレーニングされて、入力サンプルが提示されてよく、3D深層ニューラルネットワークは、ボクセルごとの予測される正準座標2542を生じ得る。

図26は、図20の方法によって生成されるキー点の例を示す。キー点は、たとえば、図16のステップ1607において作成された表面メッシュ(3Dモデル)から生成され、これらの表面を特徴づける。実際、これは、表面メッシュ内でのすべての利用可能点を、最も関連する(最も顕著な)点のセットに削減するための削減ステップと見なすことができる。この削減は、処理時間およびメモリ要件を削減するので、有益である。さらに、生成のための入力が、わずかに異なる3D表面メッシュ(のセット)(依然として、同じ構造を表す)である場合であっても、点の大まかに同じセットをもたらすことが期待される、そのような点の判断のための方法が選択されてよい。

表面メッシュからキー点を判断するための、当該技術分野におけるよく知られている方法は一般に、たとえば、TONIONI Aらによって、「Learning to detect good 3D keypoints」、Int J Comput Vis. 2018 Vol.126、1〜20ページにおいて教示されるように、(わずかに変化する)入力表面メッシュにわたる再現性のために手作りされ(手動で工作され)かつ/または機械学習され、最適化され得るとともに、性能(顕著さまたはキー点を判断する速度)のために最適化され得る局所または大域表面記述子(または特徴)の判断を含む。そのような特徴の例が、表面曲率における局所および大域最小値または最大値である。

図26に示すのは、サーフェス面のメッシュを定義する辺および頂点を含む、したがって表面を定義する点を示す、3D画像データセットのコンピュータレンダリングである。上の4つのオブジェクトは、口内スキャンから導出された、個々に処理され、セグメント化された歯冠である。下の4つのオブジェクトは、前述のセグメント化深層ニューラルネットワークを用いてCBCTスキャンから導出された個々の歯である。4本の歯の、これらの2つのセットは、ほぼ同じ時点に同じ患者から供給される。それらは、前述の正準ポーズニューラルネットワークによって出力された変換パラメータを使って、大まかにあらかじめ位置合わせされている。これらの事前位置合わせされたデータセットから、重複ボリュームが判断され、3D構造が、個々の歯を表す別個の表面メッシュにセグメント化された。

特に、図26では、点が、P[受信されたデータセットの番号]-[点の番号]というフォーマットに従ったラベルで可視化されており、点の番号は、可視化目的で削減されている。見るとわかるように、キー点生成後の3D画像データの各受信されたセットは、ボリュームの顕著な特徴から得られた、キー点の独自のセットを有し、表面に沿った同じ点は、(任意に番号付けられてはいるが)キー点で印付けされる。そのような点を、発生元3Dデータセット内に個々の歯ごとにサブグループ化することが可能となるが、これは、(同じ)個々の歯が異なる3Dデータセットにわたって識別可能にならないので、追加利益をもたらさないことに留意されたい。

3D表面メッシュデータ(および点群データまたはキー点の集合体)は概して、浮動小数点数を用いて直交x、yおよびz座標のフォーマットで保存されることに注目すべきである。これは、キー点のかなり正確な判断ロケーションの可能性を広げ、したがって、かなり正確な位置合わせ結果により、たとえば、反復最接近点方法を利用するときにそうであり得るように、たとえばそのようなキー点群の間の計算された距離を最小限にする方法に基づいて変換パラメータが判断された。位置合わせ変換パラメータの判断のために、少なくとも3つの非同一線上点が判断される必要があることに留意されたい。

図26の例では、存在するすべての歯のボリューム全体を記述する表面メッシュについて、キー点が生成される。たとえば、キー点生成を実施すること、およびサブボリューム上で位置合わせされたキー点、たとえば両方の入力データセットにわたって認識される各個々の歯によって、より正確な最終変換パラメータが生成され得ることに留意されたい。このデータは、前に記載したセグメント化方法を参照して記載したように生成される。そのような代替実施形態では、多数の変換パラメータが生成されてよく、この多数から、外れ値が削除されてよく、パラメータのセットは、入力データセットの位置合わせの目的のために、パラメータの単一のセットに平均されてよい。

図27は、図1〜図2、図5〜図8、図10〜図11、図13、図16〜図17、および図19〜図20を参照して記載した方法を実施することができる例示的なデータ処理システムを示すブロック図を示す。

図27に示すように、データ処理システム2700は、システムバス2706を通してメモリ要素2704に接続された少なくとも1つのプロセッサ2702を含み得る。したがって、データ処理システムは、メモリ要素2704内にプログラムコードを記憶し得る。さらに、プロセッサ2702は、システムバス2706を介してメモリ要素2704からアクセスされるプログラムコードを実行することができる。一態様では、データ処理システムは、プログラムコードを記憶および/または実行するのに適したコンピュータとして実装され得る。ただし、データ処理システム2700は、本明細書において記載される機能を実施することが可能なプロセッサおよびメモリを含む、どのシステムの形で実装されてもよいことを諒解されたい。

メモリ要素2704は、たとえば、ローカルメモリ2708および1つまたは複数の大容量記憶デバイス2710など、1つまたは複数の物理的メモリデバイスを含み得る。ローカルメモリは、ランダムアクセスメモリ、または概してプログラムコードの実際の実行中に使われる、他の非永続型メモリデバイスを指し得る。大容量記憶デバイスが、ハードドライブまたは他の永続データ記憶デバイスとして実装され得る。処理システム2700は、実行中にプログラムコードが大容量記憶デバイス2710から取り出されなければならない回数を削減するために、少なくとも何らかのプログラムコードの一時記憶を提供する1つまたは複数のキャッシュメモリ(図示せず)も含み得る。

任意選択で、入力デバイス2712および出力デバイス2714として示される入力/出力(I/O)デバイスが、データ処理システムに接続され得る。入力デバイスの例は、キーボード、マウスなどのポインティングデバイスなどを含み得るが、それらに限定されない。出力デバイスの例は、モニタまたはディスプレイ、スピーカーなどを含み得るが、それらに限定されない。入力および/または出力デバイスは、直接または介入I/Oコントローラを介してのいずれかで、データ処理システムに接続することができる。

ある実施形態では、入力および出力デバイスは、複合入力/出力デバイス(図27では、入力デバイス2712および出力デバイス2714を囲む破線で示される)として実装され得る。そのような複合デバイスの例が、タッチ式ディスプレイであり、ときには「タッチスクリーンディスプレイ」または単に「タッチスクリーン」とも呼ばれる。そのような実施形態では、デバイスへの入力は、タッチスクリーンディスプレイ上またはその近くの、物理的オブジェクト、たとえば、スタイラスまたはユーザの指などの動きによって与えられ得る。

ネットワークアダプタ2716も、データ処理システムに接続されて、介在私設または公衆ネットワークを通して、他のシステム、コンピュータシステム、リモートネットワークデバイス、および/またはリモート記憶デバイスに接続されることを可能にし得る。ネットワークアダプタは、データ受信機であって、上記システム、デバイスおよび/またはネットワークによってデータ処理システム2700へ送信されるデータを受信するためのデータ受信機と、データ処理システム2700から上記システム、デバイスおよび/またはネットワークへデータを送信するためのデータ送信機とを備え得る。モデム、ケーブルモデム、およびイーサネット(登録商標)カードは、データ処理システム2700とともに使われ得る、異なるタイプのネットワークアダプタの例である。

図27に描かれるように、メモリ要素2704は、アプリケーション2718を記憶し得る。様々な実施形態では、アプリケーション2718は、ローカルメモリ2708、1つもしくは複数の大容量記憶デバイス2710中に、またはローカルメモリおよび大容量記憶デバイスとは別個に記憶され得る。データ処理システム2700は、アプリケーション2718の実行を容易にすることができるオペレーティングシステム(図27には示さず)をさらに実行してよいことを諒解されたい。アプリケーション2718は、実行可能プログラムコードの形で実装され、データ処理システム2700によって、たとえば、プロセッサ2702によって実行することができる。アプリケーションを実行したことに応答して、データ処理システム2700は、本明細書に記載する1つまたは複数の動作または方法ステップを実施するように構成されてよい。

本発明の様々な実施形態は、コンピュータシステムとの使用のためのプログラム製品として実装することができ、プログラム製品のプログラムは、実施形態(本明細書に記載する方法を含む)の機能を定義する。一実施形態では、プログラムは、様々な非一時的コンピュータ可読記憶媒体上に含まれてよく、本明細書で使用するように、「非一時的コンピュータ可読記憶媒体」という表現は、すべてのコンピュータ可読媒体を含み、唯一の例外が、一時的な伝搬信号である。別の実施形態では、プログラムは、様々な一時的コンピュータ可読記憶媒体上に含まれてよい。例示的コンピュータ可読記憶媒体は、(i)情報が永久に記憶される非書込み可能記憶媒体(たとえば、CD-ROMドライブによって可読なCD-ROMディスクなどのコンピュータ内の読取り専用メモリデバイス、ROMチップまたは任意のタイプのソリッドステート不揮発性半導体メモリ)、および(ii)可変情報が記憶される書込み可能記憶媒体(たとえば、フラッシュメモリ、ディスケットドライブもしくはハードディスクドライブ内のフロッピー(登録商標)ディスクまたは任意のタイプのソリッドステートランダムアクセス半導体メモリ)を含むが、それらに限定されない。コンピュータプログラムは、本明細書に記載するプロセッサ2702上で稼働され得る。

本明細書で使用される用語は、特定の実施形態のみを説明する目的のためのものであり、本発明を限定するものであることは意図されない。本明細書で使用する単数形「a」、「an」、および「the」は、文脈が別段に明確に示すのでなければ、複数形をも含むものとする。さらに、「含む(comprises)」および/または「含んでいる(comprising)」という用語は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を明示するが、1つもしくは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことが理解されよう。

以下の請求項における機能要素を加えた、すべての手段またはステップの、対応する構造、物質、作用、および等価物は、具体的に特許請求される他の特許請求要素との組合せで機能を実施するための、どの構造、物質、または作用も含むことが意図される。本発明の実施形態の記述は、例示の目的で提示されているが、網羅的であることも、開示した形での実装形態に限定されることも意図していない。多くの修正および変形が、本発明の範囲および趣旨から逸脱することなく、当業者には明らかであろう。本発明の原理およびそのいくつかの実際の適用について最もよく説明するために、また、企図される特定の用途に合わせて様々な修正を加えた様々な実施形態のために本発明を他の当業者が理解できるように、実施形態が選択され、説明されている。

図28は、本発明の様々な実施形態による、矯正治療計画の結果の可視化を示す。可視化は、記載されるシステムを通して遭遇され得る内部データ表示から導出される表面メッシュのコンピュータレンダー(レンダリング)からなる。特に、2802および2822は、治療3Dデータ表示の前および後それぞれの可視化を示す。2802は、入力CBCTスキャンから導出される、図6のステップ503においてセグメント化された歯科構造を示す。別個の構造が、上および下顎2804および2808であり、歯の個々のセットが、これらの顎2806および2810に属す。この例示の目的のために、2812および2814に示す両方の顎の表面が、直接可視的であるもの、ここでは歯根および顎内構造を考慮する情報を別として、関連する構造的情報を示すように取り除かれている。

2802に類似して、2822は、同じ患者について、上および下顎2824、2828、歯のそれぞれのセット2826、2830および取り除かれた顎表面2832、2834を示す。個々の歯は、たとえば図6に示すように、システムによって判断され得る最終的な所望の位置に置かれている。歯は、所望の咬合が遂行され、衝突が存在せず、顎の適切な局所外側境界の外に歯(根)が置かれていないように変位されていることがわかる。この特定のケースでは、IOSデータおよび所望のアタッチメントの組込みの後、示される最終位置は、たとえば、治療中に使われるべき順に最終アライナーを生じるのに利用され得る。

111 トレーニング用歯科コンピュータ断層撮影スキャン
113 トレーニング用入力
115 ターゲットトレーニングデータ、トレーニング用ターゲットデータ
221 患者口内スキャン、患者IOSスキャン
223 患者歯科コンピュータ断層撮影スキャン
225 入力データ
227 最終歯位置
229 中間歯位置
230 歯ごとのアタッチメントタイプ
231 3次元表現、クリアアライナーまたは歯の3D表現
301 トレーニングシステム
303 トレーニング済み深層学習ネットワーク
305 実行システム、推論システム
401 サーバ
403 記憶手段
405 クライアントデバイス
407 クライアントデバイス
409 クライアントデバイス
411 インターネット
503 セグメント化深層ニューラルネットワーク(トレーニング済み)
505 セグメント化
507 セグメント化処理
509 歯分類ニューラルネットワーク(トレーニング済み)
511 歯分類処理
513 2つのデータセットの位置合わせ
514 融合
531 CBCTスキャン、トレーニング用歯科コンピュータ断層撮影スキャン、データ
533 口内スキャン、IOSスキャン、データ
535 セグメント化されたデータ
537 セグメント化されたデータ
539 データ、歯CBCTごとのDOI
541 予測、歯CBCTごとの予測ラベル、データ
543 歯ごとの重心(COG)、COG歯CBCT
545 データ、歯+顎骨(2x)ごとのDOI
547 歯ラベルCBCT
549 データ、歯ラベル&歯+顎骨ごとのDOI
553 歯科物理プロパティ
555 データ、アタッチメントタイプ&遂行された変位、アタッチメントタイプ&遂行された変換
619 経路決定システム
621 自動OTPシステム
631 CBCTスキャン、データ
633 口内スキャン、IOSスキャンデータ
635 セグメント化されたデータ
637 セグメント化されたデータ
639 歯CBCTごとのDOI、データ
641 予測される歯ラベルCBCT、データ
643 COG歯CBCT、データ
645 歯+顎骨(2x)ごとのDOI、データ
647 歯ラベルCBCT、データ
649 データ、歯ラベル&歯+顎骨ごとのDOI
651 データ、歯ラベル&歯ごとのDOI
657 歯ラベル、識別ラベル
658 開始歯位置
659 最終歯位置
661 歯ごとのアタッチメントタイプ
663 中間歯位置、中間位置モデル
703 最終(歯)位置深層ニューラルネットワーク
801 予測される(歯)変換
902 データ
904 トレーニング済みニューラルネットワーク
906 データ、歯ラベル&歯+顎骨ごとのVol
908 データ、アタッチメントタイプ&遂行された変位
910 データ、歯科物理プロパティ
914 点群
916 空間変換
918 EdgeConv構成要素
920 EdgeConv構成要素
922 最大プーリング構成要素
924 連続プーリング
926 マルチレイヤパーセプトロン(MLP)構成要素
928 予測、予測されるアタッチメントタイプ&所望の変位
930 損失関数、予測
1011 許容および/または有望な動きについての情報
1105 歯衝突検出
1121 アライナーテンプレート、モデルごとのテンプレートのSTL
1123 スライシング/再形成についての歯科医向けの報告、歯ごとのアタッチメントの追加
1201 アライナー
1203 歯-歯槽突起
1309 セグメント化深層ニューラルネットワーク
1321 CBCT 3D画像データ、(CB)CTスキャン
1323 処理されたCBCT 3D画像データ、処理された(CB)CTスキャン
1325 歯ごとの光学スキャン
1327 分類されたボクセル
1329 分類されたボクセル、位置合わせ&分類されたボクセル
1402 3Dデータセット、(CB)CT 3D画像データ、(CB)CT 3D画像データスタック
1404 3D畳み込みレイヤ、CNN特徴レイヤ(目標解像度)
1406 3D畳み込みレイヤ、CNN特徴レイヤ(目標解像度)
1408 3D畳み込みレイヤ、CNN特徴レイヤ(目標解像度)
1410 完全接続CNNレイヤ
1412 分類されたボクセル
1501 ボクセル
1502 ボクセル
1503 ボクセル
1504 CNN特徴レイヤ
1506 CNN特徴レイヤ
1508 CNN特徴レイヤ
1510 完全接続3D CNNレイヤ、完全接続レイヤ
1511 第1のパス、ボクセル
1512 第2のパス、ボクセル、分類されたボクセル
1513 第3のパス
1521 マージ
1523 画像ボリューム
1603 ボリューム再構築
1605 形状補間関数
1611 セグメント化されたボクセルデータ
1613 3D歯データ
1615 3D顎データ
1617 3D神経データ
1705 歯分類深層ニューラルネットワーク
1711 セグメント化されたメッシュデータ、セグメント化されたIOSスキャンデータ
1713 歯ごとのラベル
1715 セグメント化されたボクセルデータ
1717 セグメント化されたボクセルデータ、セグメント化された(CB)CTスキャンデータ
1719 歯ごとのラベル
1802 歯ごとの3Dボクセルデータセット
1804 3D畳み込みレイヤ、ドロップアウトありの3D CNNレイヤ
1806 3D畳み込みレイヤ、ドロップアウトありの3D CNNレイヤ
1808 3D畳み込みレイヤ、ドロップアウトありの3D CNNレイヤ
1810 3D最大プーリングレイヤ
1812 密接続レイヤ
1814 最終または出力レイヤ
1818 可能ラベルごとのアクティブ化値、候補ラベルごとの予測
1909 正準ポーズ深層ニューラルネットワーク
1911 第1のデータセット、IOSデータセット+正準座標
1913 第2のデータセット、(CB)CTデータセット+正準座標
2005 正準ポーズ深層ニューラルネットワーク
2031 入力3D画像データセット、3D画像セット1および2
2033 変換パラメータ、変換パラメータ1
2100 ボクセル表現
2102 第1の(直交)座標系(x,y,z)
2105 正規化3Dオブジェクト
2106 正準座標系(x',y',z')
2202 座標系
2203 正準ポーズ情報
2204 入力ボクセル
2210 ボクセル表現
2212 3Dボクセルマップ、第1のボクセルマップ
2214 出力値
2216 ボクセルブロック
2218 3D深層ニューラルネットワーク
2222 3Dボクセルマップ、第2のボクセルマップ
2224 出力値
2232 3Dボクセルマップ、第3のボクセルマップ
2234 出力値
2300 3Dオブジェクト
2302 第1の座標系(x,y,z)
2350 正準ポーズ情報
2360 変換
2362 正準ポーズ
2401 スライス
2402 スライス
2403 スライス
2411 正準x'座標
2412 正準y'座標
2413 正準z'座標
2502 前処理された3Dデータ
2504 3D CNNレイヤ
2506 ダウンスケーリング、3D最大プーリングレイヤ
2508 3D CNNレイヤ
2510 ダウンスケーリング、3D最大プーリングレイヤ
2512 3D CNNレイヤ
2514 ダウンスケーリング、3D最大プーリングレイヤ
2518 3D逆CNNレイヤ
2520 3D連結レイヤ
2522 3D CNNレイヤ
2524 3D逆CNNレイヤ
2526 3D連結レイヤ
2528 3D CNNレイヤ
2530 3D逆CNNレイヤ
2532 3D連結レイヤ
2534 3D CNNレイヤ
2536 ドロップアウトありの密接続レイヤ
2538 出力レイヤ
2542 ボクセルごとの予測される正準座標
2700 データ処理システム
2702 プロセッサ
2704 メモリ要素
2706 システムバス
2708 ローカルメモリ
2710 大容量記憶デバイス
2712 入力デバイス
2714 出力デバイス
2716 ネットワークアダプタ
2718 アプリケーション
2804 上顎
2808 下顎
2806 顎
2810 顎
2812 顎の表面
2814 顎の表面
2824 上顎
2826 歯のセット
2828 下顎
2830 歯のセット
2832 顎表面
2834 顎表面

Claims (13)

1. 深層ニューラルネットワークと、少なくとも1つのプロセッサとを備えるシステムであって、
   前記少なくとも1つのプロセッサは、
   - それぞれの成功した矯正治療の前の瞬間を反映する複数のトレーニング用歯科コンピュータ断層撮影スキャンを取得することと、
   - 前記トレーニング用歯科コンピュータ断層撮影スキャンの各々の中で個々の歯および顎骨を識別することと、
   - 患者歯科コンピュータ断層撮影スキャンから取得された入力データから歯ごとの所望の最終位置を決定するために、前記複数のトレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データおよびトレーニング用歯科コンピュータ断層撮影スキャンごとのトレーニング用ターゲットデータで、前記深層ニューラルネットワークをトレーニングすることであって、トレーニング用歯科コンピュータ断層撮影スキャンから取得されたトレーニング用入力データは、すべての歯および歯槽突起全体を表し、前記個々の歯および前記顎骨を識別する、ことと
   を行うように構成され、
   前記入力データは、前記個々の歯および前記顎骨を線描する情報とともに、画像データセットもしくは3Dデータセットを含み、前記画像データセットは、コンピュータ断層撮影スキャン全体もしくは複数の3Dデータセットを表し、前記複数の3Dデータセットは、歯ごとの3Dデータセットおよび前記顎骨についての3Dデータセットを含み、
   前記トレーニング用ターゲットデータは、前記複数のトレーニング用歯科コンピュータ断層撮影スキャンの1つもしくは複数についての、歯ごとの遂行された変換を示すインジケータを含み、前記変換は、歯ごとの平行移動および/もしくは回転を含み、ならびに/または
   前記トレーニング用ターゲットデータは、成功した矯正治療の後の瞬間を反映する1つもしくは複数のさらなるトレーニング用歯科コンピュータ断層撮影スキャンから取得されたデータを含み、前記1つもしくは複数のさらなるトレーニング用歯科コンピュータ断層撮影スキャンの各々は、前記複数のトレーニング用歯科コンピュータ断層撮影スキャンのうちの、あるトレーニング用歯科コンピュータ断層撮影スキャンに関連付けられる、システム。
2. 前記少なくとも1つのプロセッサは、前記個々の歯および前記顎骨の前記識別を使って、前記トレーニング用歯科コンピュータ断層撮影スキャンの各々についての歯科物理プロパティを判断し、前記深層ニューラルネットワーク中の、前記歯科物理プロパティを反映する情報の符号化を容易にするように構成される、請求項1に記載のシステム。
3. 前記歯科物理プロパティは、前記判断された歯科物理プロパティに依存する損失関数で、前記深層ニューラルネットワークをトレーニングすることによって、前記深層ニューラルネットワーク中で符号化される、請求項2に記載のシステム。
4. 前記トレーニング用歯科コンピュータ断層撮影スキャンから取得された前記トレーニングデータは、全顎骨基底部をさらに表す、請求項1から3のいずれか一項に記載のシステム。
5. 前記複数のトレーニング用歯科コンピュータ断層撮影スキャンのうちの1つまたは複数は各々、歯ごとのアタッチメントタイプを示すインジケータに関連付けられ、前記インジケータは、前記トレーニング用ターゲットデータに含まれる、請求項1から4のいずれか一項に記載のシステム。
6. 前記少なくとも1つのプロセッサは、前記さらなるトレーニング用歯科コンピュータ断層撮影スキャンのうちの1つから得られたデータを変換することによって、前記1つまたは複数のトレーニング用歯科コンピュータ断層撮影スキャンのうちの少なくとも1つを取得するように構成される、請求項1に記載のシステム。
7. 前記少なくとも1つのプロセッサは、前記患者歯科コンピュータ断層撮影スキャンから取得された前記入力データから前記所望の最終位置および歯ごとのアタッチメントタイプを決定するために、前記前記複数のトレーニング用歯科コンピュータ断層撮影スキャンから取得された前記トレーニング用入力データ、およびトレーニング用歯科コンピュータ断層撮影スキャンごとの前記トレーニング用ターゲットデータで、前記深層ニューラルネットワークをトレーニングするように構成される、請求項1から6のいずれか一項に記載のシステム。
8. 請求項1から7のいずれか一項に記載の深層ニューラルネットワークと、少なくとも1つのプロセッサとを備えるシステムであって、
   前記少なくとも1つのプロセッサは、
   - 患者歯科コンピュータ断層撮影スキャンを取得することと、
   - 前記患者歯科コンピュータ断層撮影スキャンの中の個々の歯および顎骨を識別することと、
   - 前記深層ニューラルネットワークを使って、前記患者歯科コンピュータ断層撮影スキャンから取得された入力データから歯ごとの所望の最終位置を決定することであって、前記入力データは、すべての歯および歯槽突起全体を表し、前記個々の歯および前記顎骨を識別する、ことと
   を行うように構成され、
   前記入力データは、前記個々の歯および前記顎骨を線描する情報とともに、画像データセットもしくは3Dデータセットを含み、前記画像データセットは、コンピュータ断層撮影スキャン全体もしくは複数の3Dデータセットを表し、前記複数の3Dデータセットは、歯ごとの3Dデータセットおよび前記顎骨についての3Dデータセットを含み、
   前記決定された所望の最終位置は、歯ごとの所望の中間位置のシーケンスを決定するのに使われ、前記決定された中間位置および前記決定された最終位置は、歯および/またはアライナーの3次元表現を作成するのに使われる、システム。
9. 前記少なくとも1つのプロセッサは、前記決定された所望の最終位置に基づいて、歯ごとの前記所望の中間位置のシーケンスを決定し、前記中間および最終位置に基づいて、前記アライナーの前記3次元表現を作成するように構成される、請求項8に記載のシステム。
10. 前記少なくとも1つのプロセッサは、前記3次元表現に基づいてアライナーを製造する目的のために、歯ごとの前記中間および最終位置の各々にある前記歯の3次元表現を決定するように構成される、請求項9に記載のシステム。
11. 前記少なくとも1つのプロセッサは、口内スキャンから取得された歯冠に関するデータにさらに基づいて、前記歯の前記3次元表現を作成するように構成される、請求項10に記載のシステム。
12. 前記少なくとも1つのプロセッサは、
    - 前記深層ニューラルネットワークを使って、前記患者歯科コンピュータ断層撮影スキャンから取得された前記入力データから前記所望の最終位置および歯ごとのアタッチメントタイプを決定するように構成され、
    前記決定された中間位置、前記決定された最終位置および前記アタッチメントタイプは、前記歯および/または前記アライナーの前記3次元表現を作成するのに使われる、請求項8から11のいずれか一項に記載のシステム。
13. 前記個々の歯および前記顎骨は、さらなる深層ニューラルネットワークを使って、前記コンピュータ断層撮影スキャンから識別される、請求項8から12のいずれか一項に記載のシステム。

Images