DE112022001343T5

DE112022001343T5 - Vorschlag für einen Rand mittels neuronalem Netzwerkwerk

Info

Publication number: DE112022001343T5
Application number: DE112022001343.5T
Authority: DE
Inventors: Sergi Azernikov; Simon Karpenko
Original assignee: James R Glidewell Dental Ceramics Inc
Current assignee: James R Glidewell Dental Ceramics Inc
Priority date: 2021-04-30
Filing date: 2022-04-29
Publication date: 2023-12-28
Also published as: US20220350936A1; JP2024518045A; WO2022232559A1

Abstract

Ein computerimplementiertes Verfahren/System/Anweisungen für einen automatischen Randlinienvorschlag umfasst den Empfang eines digitalen 3D-Modells von mindestens einem Teil eines Kiefers, wobei das digitale 3D-Modell einen digitalen Zahnpräparat enthält; die Bestimmung einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerks; und die Bestimmung eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells unter Verwendung eines zweiten trainierten neuronalen Netzwerks.

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Vorteil und die Priorität der U.S. Gebrauchsmusteranmeldung Serien-Nr. 17/245,944 , die am 30. April 2021 eingereicht wurde und deren Inhalt hiermit durch Bezugnahme in vollem Umfang in die vorliegende Anmeldung aufgenommen wird.
HINTERGRUND
Spezialisierte Zahnlabore verwenden typischerweise computergestütztes Design (CAD), um Zahnprothesen auf der Grundlage von patientenspezifischen Anweisungen des Zahnarztes zu entwerfen. Ist die digitale Oberfläche, die eine Prothese wie z. B. ein Präparat aufweist, gegeben, kann die Bestimmung der Randlinie wünschenswert sein.
Ursprünglich entfiel ein großer Teil der Arbeit des Technikers auf die Lokalisierung der Randlinien eines Präparats. Im ursprünglichen Arbeitsablauf wurde ein separater Gipsabdruck des Präparats manuell vom Techniker erstellt. Eine der Hauptaufgaben dieses Prozesses war es, einen sauberen und sichtbaren Rand zu erzeugen. Ein separater Gipsabdruck mit einem „offensichtlichen“ Rand wurde gescannt, und daraus eine digitale Oberfläche erstellt. Auf einer solchen digitalen Oberfläche kann die Randlinie in der Regel mit wenigen Klicks unter Verwendung krümmungsbasierter geometrischer Werkzeuge lokalisiert werden.
Im modernen Arbeitsablauf entfällt der Schritt der Erstellung eines Gipsabdrucks. Stattdessen wird entweder ein CT-Scan oder ein intraoraler Scan durchgeführt. Sowohl intraorale als auch CT-Scanner erzeugen digitale Oberflächen des kompletten Kiefers ohne die Notwendigkeit separater Präparats-Oberflächen. In Fällen eines kompletten Kiefers kann eine Menge Arbeit erforderlich sein. Man kann sich nicht nur auf die Krümmung verlassen, vielmehr wird die Randlinie normalerweise Punkt für Punkt gezeichnet. In subgingivalen Fällen fehlt die Randlinie oder ist verdeckt (teilweise oder vollständig durch Zahnfleisch und/oder Blut und Speichel) und wird von einem erfahrenen Techniker nachgezeichnet. Eine präzise Randerkennung im vollautomatischen Modus ist aufgrund der unterschiedlichen Formen, subgingivaler Fälle und der Anforderung, die Ränder präzise zu zeichnen, nicht immer möglich. Die vollständig manuelle Lokalisierung/Konstruktion der Ränder kann für den Arzt oder Zahntechniker mühsam und zeitaufwendig sein.
ZUSAMMENFASSUNG
Ein computerimplementiertes Verfahren zum automatischen Vorschlagen von Randlinien kann das Empfangen eines digitalen 3D-Modells von zumindest einem Teil eines Kiefers umfassen, wobei das digitale 3D-Modell ein digitales Zahnpräparat umfasst; das Bestimmen einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerkwerks; und das Bestimmen eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells unter Verwendung eines zweiten trainierten neuronalen Netzwerkwerks.
Ein System für einen automatischen Randlinienvorschlag kann einen Prozessor und ein computerlesbares Speichermedium enthalten, das von dem Prozessor ausführbare Anweisungen umfasst, um Schritte durchzuführen, die Folgendes umfassen: Empfangen eines digitalen 3D-Modells von zumindest einem Teil eines Kiefers, wobei das digitale 3D-Modell ein digitales Zahnpräparat umfasst; Bestimmen einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerkwerks; und Bestimmen eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells unter Verwendung eines zweiten trainierten neuronalen Netzwerks.
Nicht-transitorisches computerlesbares Medium, das ausführbare Computerprogrammanweisungen speichert, um automatisch eine Randlinie vorzuschlagen, wobei die Computerprogrammanweisungen umfassen können: Empfangen eines digitalen 3D-Modells von zumindest einem Teil eines Kiefers, wobei das digitale 3D-Modell ein digitales Zahnpräparat umfasst; Bestimmen einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerks; und Bestimmen eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells unter Verwendung eines zweiten trainierten neuronalen Netzwerks.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 zeigt eine perspektivische Ansicht einer 3D-Darstellung eines Gipsabdrucks.
2 zeigt eine perspektivische Draufsicht auf ein digitales 3D-Modell von zumindest einem Teil eines digitalen Kiefers in einigen Ausführungsbeispielen.
3 zeigt eine perspektivische Ansicht eines digitalen 3D-Modus von zumindest einem Teil eines digitalen Kiefers in einigen Ausführungsbeispielen.
4 zeigt eine perspektivische Ansicht einer digitalen 3D-Punktwolke in einigen Ausführungsbeispielen.
5 zeigt eine perspektivische Draufsicht auf ein digitales 3D-Modell von zumindest einem Teil eines digitalen Kiefers mit einer festgelegten okklusalen Richtung, einem Präparatsstumpf und einer bukkalen Richtung in einigen Ausführungsbeispielen.
6 zeigt ein Diagramm eines faltenden neuronalen Netzwerks in einigen Ausführungsbeispielen, zum Beispiel.
7 zeigt eine perspektivische Draufsicht auf ein Beispiel einer 2D-Tiefenkarte eines digitalen Modells in einigen Ausführungsbeispielen.
8(a) und 8(b) zeigen Diagramme eines hierarchischen neuronalen Netzwerks in einigen Ausführungsbeispielen.
9 zeigt ein Diagramm eines tiefen neuronalen Netzwerks in einigen Ausführungsbeispielen.
10 zeigt ein Diagramm eines computerimplementierten Verfahrens für automatische Randlinienvorschläge in einigen Ausführungsbeispielen.
11 zeigt eine perspektivische Ansicht eines Beispiels eines digitalen 3D-Modells, das eine vorgeschlagene Randlinie ausgehend von einer Basisrandlinie in einigen Ausführungsbeispielen zeigt.
12(a) und 12(b) zeigen eine perspektivische Ansicht eines digitalen 3D-Modells mit einem Zahnpräparat und einer vorgeschlagenen Randlinie in einigen Ausführungsbeispielen.
13 ist ein Flussdiagramm eines computerimplementierten Verfahrens zum automatischen Vorschlagen von Randlinien in einigen Ausführungsbeispielen.
14 ist ein Diagramm eines Systems in einigen Ausführungsbeispielen.

AUSFÜHRLICHE BESCHREIBUNG
Für die Zwecke dieser Beschreibung werden bestimmte Aspekte, Vorteile und neuartige Merkmale der Ausführungsformen der hiesigen Offenbarung beschrieben. Die offengelegten Methoden, Geräte und Systeme sollten nicht als in irgendeiner Weise einschränkend verstanden werden. Vielmehr richtet sich die vorliegende Offenbarung auf alle neuartigen und nicht naheliegenden Merkmale und Aspekte der verschiedenen offengelegten Ausführungsformen, sowohl alleinstehend als auch in verschiedenen Kombinationen und Unterkombinationen miteinander. Die Methoden, Geräte und Systeme sind nicht auf einen bestimmten Aspekt oder ein bestimmtes Merkmal oder eine bestimmte Kombination davon beschränkt, und die offenbarten Ausführungsformen erfordern auch nicht, dass ein oder mehrere bestimmte Vorteile vorhanden sind oder Probleme gelöst werden.
Obwohl die Vorgänge einiger der offengelegten Ausführungsformen der Einfachheit halber in einer bestimmten, sequentiellen Reihenfolge beschrieben werden, soll verstanden werden, dass diese Art der Beschreibung auch eine Umordnung umfasst, es sei denn, eine bestimmte Reihenfolge ist durch die nachstehend aufgeführten spezifischen Formulierungen erforderlich. So können beispielsweise die nacheinander beschriebenen Vorgänge in einigen Fällen umgeordnet oder gleichzeitig ausgeführt werden. Der Einfachheit halber werden in den beigefügten Abbildungen nicht die verschiedenen Möglichkeiten gezeigt, wie die offengelegten Methoden in Verbindung mit anderen Methoden verwendet werden können. Außerdem werden in der Beschreibung manchmal Begriffe wie „bereitstellen“ oder „erreichen“ verwendet, um die offengelegten Methoden zu beschreiben. Die tatsächlichen Vorgänge, die diesen Begriffen entsprechen, können je nach der jeweiligen Implementierung variieren und sind für einen Fachmann leicht erkennbar.
Wie in dieser Anmeldung und in den Ansprüchen verwendet, schließen die Singularformen „ein, eine, eines, einen“ und „der, die, das“ die Pluralformen ein, sofern der Kontext nicht eindeutig etwas anderes vorgibt. Außerdem ist der Begriff „beinhaltet“ als „umfasst“ zu verstehen. Ferner bedeuten die Begriffe „gekoppelt“ und „verbunden“ im Allgemeinen elektrisch, elektromagnetisch und/oder physikalisch (z. B. mechanisch oder chemisch) gekoppelt oder verbunden und schließen das Vorhandensein von Zwischenelementen zwischen den gekoppelten oder verbundenen Elementen nicht aus, sofern nicht ausdrücklich etwas Anderes angegeben ist.
In einigen Beispielen können Werte, Verfahren oder Geräte als „niedrigste“, „beste“, „minimal“ oder ähnliches bezeichnet werden. Es ist klar, dass solche Beschreibungen darauf hinweisen sollen, dass eine Auswahl unter vielen Alternativen getroffen werden kann, und dass solche Auswahlen nicht besser, kleiner oder anderweitig besser sein müssen als andere Auswahlen.
In der folgenden Beschreibung können bestimmte Begriffe wie „oben“, „unten“, „oberhalb“, „unterhalb“, „horizontal“, „vertikal“, „links“, „rechts“ und dergleichen verwendet werden. Diese Begriffe werden gegebenenfalls verwendet, um eine gewisse Klarheit bei der Beschreibung von relativen Beziehungen zu schaffen. Diese Begriffe sind jedoch nicht dazu gedacht, absolute Beziehungen, Positionen und/oder Ausrichtungen zu implizieren. In Bezug auf ein Objekt kann zum Beispiel eine „obere“ Fläche zu einer „unteren“ Fläche werden, indem das Objekt einfach umgedreht wird. Trotzdem handelt es sich immer noch um dasselbe Objekt.
Im ursprünglichen Arbeitsablauf wurde ein separater Gipsabdruck des Präparats vom Techniker manuell erstellt. Eines der Hauptziele dieses Prozesses war es, einen sauberen und sichtbaren Rand zu erzeugen. Ein separater Gipsabdruck mit einem „offensichtlichen“ Rand wurde gescannt und die digitale Oberfläche erfasst. zeigt einen separaten Gipsabdruck 102, der beispielsweise mit einer deutlich sichtbaren Randlinie 104 hergestellt wurde.
Im modernen Arbeitsablauf entfällt das Erstellen des Gipsabdrucks. Stattdessen wird entweder ein CT-Scan oder ein intraoraler Scan durchgeführt. Sowohl intraorale als auch CT-Scanner erzeugen ausschließlich digitale Oberflächen eines kompletten Kiefers ohne die Notwendigkeit separater Präparats-Oberflächen. 2 zeigt ein Beispiel für ein digitales 3D-Modell von zumindest einem Teil einer digitalen Kieferoberfläche 1202. Obwohl die digitale Kieferoberfläche 1202 zum Beispiel ein Zahnpräparat 1204 enthält, ist im gescannten Modell keine Randlinie vorhanden.
In einigen Ausführungsformen kann das computerimplementierte Verfahren ein oder mehrere trainierte neuronale Netzwerke verwenden, um einen Randlinienvorschlag in einem digitalen 3D-Modell zu bestimmen. In einigen Ausführungsformen können das eine oder die mehreren trainierten neuronalen Netzwerke Kodierung und Dekodierung durchführen. In einigen Ausführungsformen kann mindestens eines der neuronalen Netzwerke ein hierarchisches neuronales Netzwerk („HNN“) sein, das z. B. zur Durchführung der Kodierung verwendet werden kann.
Einige Ausführungsformen können das Empfangen eines digitalen 3D-Modells von zumindest einem Teil eines Kiefers beinhalten. Das digitale 3D-Modell kann ein digitales Zahnpräparat enthalten. In einigen Ausführungsformen kann das digitale 3D-Modell von einem CT-Scanner erzeugt werden. Ein Beispiel für einen CT-Scanner ist in der US-Patentanmeldung Nr. US20180132982A1 von Nikolskiy et al. beschrieben, die hiermit in Ihrer Vollständigkeit durch Bezugnahme einbezogen wird. Andere Arten von CT-Scansystemen, die auf dem Gebiet der Technik bekannt sind, können ebenfalls das digitale 3D-Modell erstellen. Ein Computertomograph (CT) kann Röntgenstrahlen verwenden, um ein detailliertes Bild eines physischen Abdrucks zu erstellen. Mehrere solcher Bilder werden dann kombiniert, um ein 3D-Modell des Gebisses des Patienten zu erstellen. Das CT-Scansystem kann eine Röntgenstrahlungsquelle enthalten, die einen Röntgenstrahl aussendet. Ein zu scannendes Objekt kann zwischen der Quelle und einem Röntgendetektor platziert werden. Der Röntgendetektor wiederum ist mit einem Prozessor verbunden, der so konfiguriert ist, dass er die Informationen vom Detektor empfängt und sie in eine digitale Bilddatei umwandelt. Fachpersonen wissen, dass der Prozessor aus einem oder mehreren Computern bestehen kann, die direkt mit dem Detektor, drahtlos, über ein Netzwerk oder auf andere Weise direkt oder indirekt mit dem Detektor 148 verbunden sein können.
Ein Beispiel für ein geeignetes Scansystem ist der CT-Scanner Nikon Modell XTH 255, der von der Nikon Corporation im Handel erhältlich ist. Dieses Beispiel-Scansystem umfasst eine 225 kV Mikrofokus-Röntgenquelle mit einer Brennfleckgröße von 3 µm, um eine leistungsstarke Bilderfassung und Volumenprozessierung zu ermöglichen. Der Prozessor kann ein Speichermedium enthalten, das mit Anweisungen zur Verwaltung der vom Scansystem erfassten Daten ausgestattet ist. Wie oben erwähnt, befindet sich der Abdruck während des Betriebs des Scansystems zwischen der Röntgenquelle und dem Röntgendetektor. Eine Reihe von Bildern des Abdrucks wird vom Prozessor erfasst, während der Abdruck zwischen der Quelle und dem Detektor gedreht wird. Ein Beispiel für ein einzelnes Bild kann ein Röntgenbild, eine Projektion oder eine andere Form eines digitalen Bildes sein. In einer Ausführungsform wird eine Reihe von Bildern aufgenommen, während der Abdruck zwischen der Quelle und dem Detektor gedreht wird. Wie einer Fachperson sofort einleuchten wird, können in anderen Ausführungsformen können auch mehr oder weniger Bilder aufgenommen werden. Die Vielzahl an Bildern des Abdrucks werden von einem Speichermedium im Prozessor des Scansystems erzeugt und gespeichert, wo sie von der im Prozessor enthaltenen Software zur Durchführung weiterer Operationen verwendet werden können. In einer Ausführungsform werden die Vielzahl an Bildern zum Beispiel einer tomographischen Rekonstruktion unterzogen, um aus den mehreren vom Scansystem erzeugten 2D-Bildern ein virtuelles 3D-Bild zu erzeugen. Das virtuelle 3D-Bild liegt in Form eines volumetrischen Bildes oder einer volumetrischen Dichtedatei vor, die aus den mehreren Röntgenbildern mit Hilfe eines mit dem Scansystem verbundenen Rekonstruktionsalgorithmus erzeugt wird. Die volumetrische Dichtedatei kann ein oder mehrere Voxel enthalten. In einer Ausführungsform wird das volumetrische Bild mit Hilfe eines Oberflächen-Abbildungsalgorithmus in ein Oberflächenbild umgewandelt. In der gezeigten Ausführungsform wird das volumetrische Bild in ein Oberflächenbild umgewandelt, welches ein Format hat (z. B. ein STL-Dateiformat), das sich für die Verwendung mit einer Zahnrestaurations-Designsoftware eignet, wie z. B. die FastDesign™-Dental-Designsoftware von Glidewell Laboratories aus Newport Beach, Kalifornien.
In einigen Ausführungsformen kann das digitale 3D-Modell mit einem optischen Scanner erstellt werden. In einigen Ausführungsformen kann das digitale 3D-Modell zum Beispiel mit einem intraoralen Scanner oder einem anderen Gerät erstellt werden. Das digitale Kiefermodell kann zum Beispiel auch durch intraorales Scannen des Gebisses des Patienten erstellt werden. In einigen Ausführungsformen wird jedes elektronische Bild durch einen direkten intraoralen Scan der Zähne des Patienten gewonnen. Dies geschieht in der Regel in einer Zahnarztpraxis oder -klinik und wird von einem Zahnarzt oder Zahntechniker durchgeführt. In anderen Ausführungsformen wird jedes elektronische Bild indirekt durch Scannen eines Abdrucks der Zähne des Patienten, durch Scannen eines physischen Modells der Zähne des Patienten oder durch andere Methoden, die der Fachperson bekannt sind, gewonnen. Dies geschieht in der Regel beispielsweise in einem Zahnlabor und wird von einem Laboranten durchgeführt. Dementsprechend sind die hier beschriebenen Verfahren für den Einsatz am Behandlungsstuhl, im Zahnlabor oder in anderen Umgebungen geeignet und anwendbar.
3 zeigt ein Beispiel für ein digitales Kiefermodell 302. Das digitale Kiefermodell kann durch Scannen eines physischen Abdrucks mit einem beliebigen, in der Technik bekannten Scanverfahren erzeugt werden, z. B. durch optisches Scannen, CT-Scannen usw., oder durch intraorales Scannen des Mundes (Gebisses) des Patienten. Während eines Scans erfasst ein herkömmlicher Scanner in der Regel die Form des physischen Abdrucks/des Gebisses des Patienten in drei Dimensionen und digitalisiert die Form in ein dreidimensionales digitales Modell. Das digitale Kiefermodell 302 kann mehrere miteinander verbundene Polygone in einer Topologie enthalten, die der Form des physischen Abdrucks/des Gebisses des Patienten entspricht, zum Beispiel für einen entsprechenden Kiefer. In einigen Ausführungsformen können die Polygone zwei oder mehr digitale Dreiecke enthalten. In einigen Ausführungsformen kann der Scanvorgang STL-, PLY- oder CTM-Dateien erzeugen, die sich beispielsweise für die Verwendung mit einer Dentaldesignsoftware wie FastDesign™ eignen, die von Glidewell Laboratories in Newport Beach, Kalifornien, bereitgestellt wird.
In einigen Ausführungsformen kann das digitale 3D-Modell eine digitale 3D-Punktwolke sein. Im Falle des optischen Scannens kann ein optischer Scanner Lichtstrahlen aussenden, um einen physischen Zahnabdruck zu scannen und zu digitalisieren, wie einen beliebigen Zahnabdruck, zum Beispiel. Alternativ kann der optische Scanner das Gebiss eines Patienten direkt abtasten, wie z. B. im Falle eines intraoralen Scanners. Die aus dem Scannen der Oberfläche des physischen Zahnabdrucks/Zahngebisses gewonnenen Daten können in Form von Punktmengen oder Punktwolken, Dreiecken oder digitalen Oberflächennetzen vorliegen. Ein 3D-Modell kann einen physischen Zahnabdruck oder ein Gebiss digital darstellen, z. B. durch eine Sammlung von Punkten im 3D-Raum, die durch verschiedene geometrische Einheiten wie Dreiecke verbunden sind. Der Scan kann z. B. zur Verwendung in dem hierin beschriebenen Verfahren lokal oder nicht-lokal gespeichert werden. Der Scan kann als 3D-Scan, als Punktwolke oder als digitales Oberflächennetz zur Verwendung in den hier beschriebenen Verfahren gespeichert werden.
Im Falle eines CT-Scans können das digitale Oberflächennnetz und das digitale Zahnmodell mit Methoden erstellt/bestimmt werden, die in der Anmeldung PROCESSING CT SCAN OF DENTAL IMPRESSION, S/N. 16/451,315 (US-Patentveröffentlichung Nr. US20200405455A1 ), die dem Inhaber dieser Anmeldung zugewiesen wurde und die hiermit durch Bezugnahme in vollem Umfang einbezogen wird, durch Marching Cubes oder durch andere in der Technik bekannte digitale Modellerzeugungsverfahren und -techniken erstellt/bestimmt werden.
Beispielsweise kann die Punktwolke durch das computerimplementierte Verfahren automatisch erzeugt und/oder angepasst (reduziert) werden. Das computerimplementierte Verfahren erhält als Eingabe eine volumetrische Dichtedatei, die von einem CT-Scanner erzeugt wurde. Die volumetrische Dichtedatei kann Voxel enthalten, die Dichtewerte an der Voxelposition im volumetrischen Dichtevolumen darstellen. Das computerimplementierte Verfahren vergleicht einen ausgewählten Iso-Wert der Dichte mit den Dichten eines oder mehrerer Voxel in einer volumetrischen Dichtedatei und erzeugt digitale Oberflächenpunkte mit dem ausgewählten Iso-Wert der Dichte in einer Punktwolke. Der Iso-Wert der Dichte kann ein wählbarer Wert sein, der von einem Benutzer ausgewählt werden kann und/oder in einigen Ausführungsformen automatisch bestimmt werden kann. In einigen Ausführungsformen können, wenn der ausgewählte Iso-Wert der Dichte der Dichte eines oder mehrerer Voxel in der volumetrischen Dichtedatei entspricht, dann digitale Oberflächenpunkte erzeugt und im virtuellen 3D-Raum an Position(en) in der Punktwolke angeordnet werden, die der/den Position(en) eines oder mehrerer Voxel in der volumetrischen Dichtedatei durch das computerimplementierte Verfahren entsprechen. In einigen Ausführungsformen, wie nachstehend erörtert, können, wenn der ausgewählte Iso-Wert der Dichte zwischen zwei Voxeldichtewerten liegt, durch das computerimplementierte Verfahren null oder mehr digitale Oberflächenpunkte erzeugt und im virtuellen 3D-Raum an Position(en) angeordnet werden, die der/den Position(en) zwischen zwei Voxelpositionen entlang einer Voxelkante entsprechen. Optional kann die computerimplementierte Methode die Punktwolke anpassen. Das computerimplementierte Verfahren kann ein digitales Oberflächennetz entweder für die Punktwolke oder die angepasste Punktwolke erzeugen.
4 zeigt ein Beispiel für eine generierte Punktwolke 7000, die in einigen Ausführungsformen auf einem Display angezeigt werden kann. Die generierte Punktwolke 7000 enthält generierte digitale Oberflächenpunkte, wie den digitalen Oberflächenpunkt 7002, an jeder Position des ausgewählten Iso-Wertes der Dichte im virtuellen 3D-Raum.
In einigen Ausführungsformen kann die 3D-Punktwolke erweiterte Informationen enthalten. Die erweiterten Informationen können neben den Punktkoordinaten zusätzliche geometrische Daten enthalten, wie z.B. Oberflächennormalenrichtungen, mittlere Krümmungswerte und/oder Farben aus dem erzeugten digitalen Oberflächennetz. Normale Richtungen können diejenigen sein, die orthogonal zu einer Ebene wie einer digitalen Oberfläche für einen bestimmten Punkt sind. In einigen Ausführungsformen kann die 3D-Punktwolke eine Netzdarstellung enthalten, und die erweiterten Informationen können aus dem erzeugten digitalen Oberflächennetz gewonnen werden.
In einigen Ausführungsformen kann das digitale 3D-Modell eine Okklusionsrichtung, eine bukkale Richtung und/oder einen Bereich eines Präparatsstumpfs enthalten. In einigen Ausführungsformen können diese Merkmale beispielsweise eine normalisierte Ausrichtung des digitalen 3D-Modells liefern. Zum Beispiel ist die Okklusionsrichtung eine Normale zu einer Okklusionsebene, der digitale Präparatsstumpf kann ein Bereich um das digitale Zahnpräparat sein, und die bukkale Richtung kann eine Richtung zur Wange im Mund sein. 5 zeigt ein Beispiel für ein digitales 3D-Modell 500 von zumindest einem Teil des Gebisses eines Patienten, das beispielsweise einen digitalen Kiefer 502 mit einem digitalen Zahnpräparat 504 enthalten kann. Das digitale 3D-Modell 500 kann eine Okklusionsrichtung 506, einen digitalen Bereich eines Präparatsstumpfs 508 und eine bukkale Richtung 510 umfassen.
In einigen Ausführungsformen kann das digitale 3D-Modell eine Okklusionsrichtung enthalten. Die Okklusionsrichtung kann für das digitale Modell mit jeder in dem Fachbereich bekannten Technik bestimmt werden. Alternativ kann in einigen Ausführungsformen die Okklusionsrichtung von einem Benutzer angegeben werden, der ein Eingabegerät wie eine Maus oder einen Touchscreen verwendet, um das digitale Modell auf einem Bildschirm zu manipulieren, wie hierin beschrieben. In einigen Ausführungsformen kann die Okklusionsrichtung z. B. unter Verwendung der in PROCESSING DIGITAL DENTAL IMPRESSION U.S. Patent Appl. No. 16/451,968 von Nikolskiy et al. (U.S. Patent Publication No. US20200405464A1 ) beschriebenen Okklusionsachsen-Techniken bestimmt werden, die in ihrer Gesamtheit durch Bezugnahme hierin enthalten sind. In einigen Ausführungsformen kann die Okklusionsrichtung einmal pro digitalem 3D-Modell bestimmt werden. Alternativ kann die Okklusionsrichtung in einigen Ausführungsformen auch automatisch bestimmt werden.
In einigen Ausführungsformen kann die Okklusionsrichtung mit Hilfe eines trainierten faltenden neuronalen 3D-Netzwerks („CNN“ von engl. „convolutional neural network“) auf der volumetrischen (Voxel-)Darstellung bestimmt werden. In einigen Ausführungsformen kann das DNN ein faltendes neuronales Netzwerk („CNN“) sein, d. h. ein Netzwerk, das die Faltung anstelle der allgemeinen Matrixmultiplikation in mindestens einer der verborgenen Schichten des tiefen neuronalen Netzwerks verwendet. Eine Faltungsschicht kann ihre Ausgabewerte durch Anwendung einer Kernel-Funktion auf eine Teilmenge von Werten einer vorhergehenden Schicht berechnen. Das computerimplementierte Verfahren kann das CNN trainieren, indem die Wichtungen der Kernel-Funktion auf der Grundlage der Trainingsdaten angepasst werden. Dieselbe Kernel-Funktion kann zur Berechnung jedes Wertes in einer bestimmten Faltungsschicht verwendet werden.
6 zeigt ein Beispiel für ein CNN in einigen Ausführungsformen. Zur Veranschaulichung ist ein 2D-CNN dargestellt. Ein 3D-CNN kann eine ähnliche Architektur haben, aber einen dreidimensionalen Kernel (x-y-z-Achse) verwenden, um nach jeder Faltung eine dreidimensionale Ausgabe zu liefern. Der CNN kann eine oder mehrere Faltungsschichten enthalten, z. B. die erste Faltungsschicht 202. Die erste Faltungsschicht 202 kann einen Kernel (auch als Filter bezeichnet) wie den Kernel 204 auf ein Eingangsbild wie das Eingangsbild 203 anwenden und optional eine Aktivierungsfunktion anwenden, um eine oder mehrere Faltungsausgaben wie die erste Kernelausgabe 208 zu erzeugen. Die erste Faltungsschicht 202 kann einen oder mehrere Merkmalskanäle enthalten. Die Anwendung des Kernels, z. B. des Kernels 204, und optional einer Aktivierungsfunktion kann eine erste gefaltete Ausgabe, z. B. die gefaltete Ausgabe 206, erzeugen. Der Kernel kann dann auf der Grundlage einer Schrittlänge zum nächsten Satz von Pixeln im Eingangsbild 203 vorrücken und den Kernel 204 und optional eine Aktivierungsfunktion anwenden, um eine zweite Kernelausgabe zu erzeugen. Der Kernel kann auf diese Weise fortbewegt werden, bis er auf alle Pixel im Eingangsbild 203 angewendet wurde. Auf diese Weise kann der CNN ein erstes gefaltetes Bild 206 erzeugen, das einen oder mehrere Merkmalskanäle enthalten kann. Das erste gefaltete Bild 206 kann in einigen Ausführungsformen einen oder mehrere Merkmalskanäle wie 207 enthalten. In einigen Fällen kann die Aktivierungsfunktion z.B. eine RELU-Aktivierungsfunktion sein. Andere Arten von Aktivierungsfunktionen können ebenfalls verwendet werden.
Das CNN kann auch eine oder mehrere Pooling-Schichten wie die erste Pooling-Schicht 212 enthalten. Die erste Pooling-Schicht kann einen Filter, wie den Pooling-Filter 214, auf das erste gefaltete Bild 206 anwenden. Es kann jede Art von Filter verwendet werden. Der Filter kann zum Beispiel ein Maximalfilter (der den Maximalwert der Pixel ausgibt, auf die der Filter angewendet wird) oder ein Durchschnittsfilter (der den Durchschnittswert der Pixel ausgibt, auf die der Filter angewendet wird) sein. Die eine oder mehrere Pooling-Schicht(en) kann (können) die Größe der Eingabematrix verringern und reduzieren. Zum Beispiel kann die erste Pooling-Schicht 212 das erste gefaltete Bild 206 durch Anwendung des ersten Pooling-Filters 214 verkleinern/reduzieren, um ein erstes gepooltes Bild 216 zu erzeugen. Das erste gepoolte Bild 216 kann einen oder mehrere Merkmalskanäle 217 enthalten. Der CNN kann optional eine oder mehrere zusätzliche Faltungsschichten (und Aktivierungsfunktionen) und Pooling-Schichten anwenden. Zum Beispiel kann der CNN eine zweite Faltungsschicht 218 und optional eine Aktivierungsfunktion anwenden, um ein zweites gefaltetes Bild 220 auszugeben, das einen oder mehrere Merkmalskanäle 219 enthalten kann. Eine zweite Pooling-Schicht 222 kann einen Pooling-Filter auf das zweite gefaltete Bild 220 anwenden, um ein zweites gepooltes Bild 224 zu erzeugen, das einen oder mehrere Merkmalskanäle enthalten kann. Der CNN kann eine oder mehrere Faltungsschichten (und Aktivierungsfunktionen) und eine oder mehrere entsprechende Pooling-Schichten enthalten. Die Ausgabe des CNN kann optional an eine vollständig verbundene Schicht gesendet werden, die Teil einer oder mehrerer vollständig verknüpfter Schichten 230 sein kann. Die eine oder die mehreren vollständig verknüpften Schichten können eine Ausgabevorhersage wie die Ausgabevorhersage 224 liefern. In einigen Ausführungsformen kann die Ausgabevorhersage 224 beispielsweise Kennzeichnungen von Zähnen und umgebendem Gewebe enthalten.
In einigen Ausführungsformen kann das trainierte 3D-CNN für die Okklusionsrichtung unter Verwendung einer oder mehrerer 3D-Voxeldarstellungen trainiert werden, die jeweils das Gebiss eines Patienten darstellen, optional mit erweiterten Daten wie der Oberflächennormale für jedes Voxel. 3D CNNs können 3D-Faltungen durchführen, die einen 3D-Kernel anstelle eines 2D-Kernels verwenden und mit 3D-Eingaben arbeiten. In einigen Ausführungsformen erhält der trainierte 3D CNN 3D-Voxeldarstellungen mit Voxelnormalen. In einigen Ausführungsformen kann ein NxNxNx3-Float-Tensor verwendet werden. In einigen Ausführungsformen kann N zum Beispiel 100 sein. Andere geeignete Werte von N können verwendet werden. In einigen Ausführungsformen kann das trainierte 3D-CNN 4 Ebenen von 3D-Faltungen und 2 lineare Schichten enthalten. In einigen Ausführungsformen kann ein Trainingssatz für den 3D-CNN eine oder mehrere 3D-Voxeldarstellungen enthalten, die jeweils das Gebiss eines Patienten darstellen. In einigen Ausführungsformen kann jede 3D-Voxeldarstellung im Trainingssatz eine manuell von einem Benutzer oder durch andere in dem Fachbereich bekannte Techniken markierte Okklusionsrichtung enthalten. In einigen Ausführungsformen kann der Trainingssatz Zehntausende von 3D-Voxeldarstellungen enthalten, die jeweils eine markierte Okklusionsrichtung aufweisen. In einigen Ausführungsformen kann der Trainingsdatensatz 3D-Punktwolkenmodelle mit markierter Okklusionsrichtung in jedem 3D-Punktwolkenmodell enthalten.
In einigen Ausführungsformen kann das digitale 3D-Modell einen 3D-Mittelpunkt des digitalen Präparatsstumpfes enthalten. In einigen Ausführungsformen kann der 3D-Mittelpunkt des digitalen Präparatsstumpfes manuell von einem Benutzer festgelegt werden. In einigen Ausführungsformen kann der 3D-Mittelpunkt des digitalen Präparatsstumpfes mit jeder in dem Fachbereich bekannten Technik eingestellt werden.
In einigen Ausführungsformen kann das 3D-Zentrum des digitalen Präparatsstumpfes automatisch bestimmt werden. Beispielsweise kann in einigen Ausführungsformen der 3D-Mittelpunkt des digitalen Präparats mithilfe eines neuronalen Netzwerks auf einer okklusal ausgerichteten 3D-Punktwolke bestimmt werden. In einigen Ausführungsformen kann das trainierte neuronale Netzwerk eine 3D-Koordinate eines Zentrums der Bounding Box des digitalen Präparats liefern. In einigen Ausführungsformen kann das neuronale Netzwerk ein beliebiges neuronales Netzwerk sein, das eine Segmentierung einer 3D-Punktwolke durchführen kann. In einigen Ausführungsformen kann das neuronale Netzwerk beispielsweise eine PointNet++-Segmentierung sein, wie sie in der vorliegenden Offenbarung beschrieben wird. In einigen Ausführungsformen kann der digitale Präparatsstumpf durch eine Kugel mit einem festen Radius um das 3D-Zentrum des digitalen Präparats bestimmt werden. In einigen Ausführungsformen kann der feste Radius z. B. 0,8 cm für Molare und Prämolare betragen. In einigen Ausführungsformen können auch andere geeignete Werte für den festen Radius bestimmt und verwendet werden. In einigen Ausführungsformen kann das Training des neuronalen Netzwerks die Verwendung der abgetasteten Punktwolke (ohne Erweiterung) des digitalen Kiefers umfassen, die im Massenschwerpunkt des Kiefers zentriert ist. In einigen Ausführungsformen kann die Punktwolke des digitalen Kiefers so ausgerichtet sein, dass die Okklusionsrichtung senkrecht steht. In einigen Ausführungsformen kann ein Trainingsdatensatz digitale 3D-Modelle von Punktwolken des Gebisses eines Patienten enthalten, wie z. B. einen digitalen Kiefer, der ein Zahnpräparat enthalten kann, wobei ein oder mehrere Punkte innerhalb der Randlinie des Zahnpräparats vom Benutzer mit einem Eingabegerät oder einer anderen in dem Fachbereich bekannten Technik markiert werden. In einigen Ausführungsformen kann das neuronale Netzwerk eine Segmentierung verwenden, um eine Bounding Box zu erzeugen, das die ausgewählten Punkte enthält. In einigen Ausführungsformen kann die verwendete Segmentierung z. B. die PointNet++-Segmentierung sein. In einigen Ausführungsformen können die Trainingssätze in die Zehntausende gehen.
In einigen Ausführungsformen kann der 3D-Mittelpunkt des digitalen Präparatsstumpfes automatisch auf der Grundlage eines flachen Tiefenkartenbildes des Kiefers bestimmt werden. Im Trainingsdatensatz kann die Position eines Zentrums des Stumpfes als geometrischer Mittelpunkt eines von Technikern markierten Randes bestimmt werden. In einigen Ausführungsformen können auch endgültige Randpunkte aus abgeschlossenen Fällen verwendet werden. In einigen Ausführungsformen kann das Netzwerk ein Tiefenkartenbild eines Kiefers aus okklusaler Sicht empfangen und eine Position (X, Y) eines Zentrums eines Stumpfes in den Pixelkoordinaten des Bildes zurückgeben. Für das Training kann ein Datensatz verwendet werden, der Tiefenkartenbilder und die entsprechenden korrekten Antworten - fließende („float“) X- und Y-Werte - enthält. In einigen Ausführungsformen kann der Trainingsdatensatz aus mehreren zehntausend Bildern bestehen.
In einigen Ausführungsformen kann das digitale 3D-Modell eine bukkale Richtung enthalten. In einigen Ausführungsformen wird die bukkale Richtung manuell von einem Benutzer festgelegt. In einigen Ausführungsformen kann die bukkale Richtung mit jeder in dem Fachbereich bekannten Technik bestimmt werden. In einigen Ausführungsformen kann die bukkale Richtung automatisch bestimmt werden. In einigen Ausführungsformen kann die bukkale Richtung bestimmt werden, indem ein 2D-Tiefenkartenbild des digitalen 3D-Modellnetzwerks an ein trainiertes 2D-CNN übermittelt wird. In einigen Ausführungsformen arbeitet das trainierte 2D-CNN an der Bilddarstellung. Einige Ausführungsformen des computerimplementierten Verfahrens können optional die Erzeugung eines 2D-Bildes aus dem digitalen 3D-Modell umfassen. In einigen Ausführungsformen kann das 2D-Bild eine 2D-Tiefenkarte sein. Die 2D-Tiefenkarte kann ein 2D-Bild enthalten, das in jedem Pixel einen Abstand von einer orthografischen Kamera zu einem Objekt entlang einer durch das Pixel verlaufenden Linie enthält. Das Objekt kann in einigen Ausführungsformen zum Beispiel eine digitale Kiefermodelloberfläche sein. In einigen Ausführungsformen kann eine Eingabe z. B. ein Objekt wie ein digitales 3D-Modell des Gebisses eines Patienten („digitales Modell“), z. B. ein Kiefer, und eine Kameraausrichtung umfassen. In einigen Ausführungsformen kann die Kameraausrichtung auf der Grundlage einer Okklusionsrichtung bestimmt werden. Die Okklusionsrichtung ist eine Normale zu einer Okklusionsebene, und die Okklusionsebene kann für das digitale Modell mit jeder in dem Fachbereich bekannten Technik bestimmt werden. Alternativ kann in einigen Ausführungsformen die Okklusionsrichtung von einem Benutzer mit Hilfe eines Eingabegeräts wie einer Maus oder eines Touchscreens festgelegt werden, um das digitale Modell auf einem Bildschirm zu bearbeiten, wie hier beschrieben. In einigen Ausführungsformen kann die Okklusionsrichtung z. B. mit Hilfe der in PROCESSING DIGITAL DENTAL IMPRESSION U.S. Patent Appl. No. 16/451,968 (U.S. Patent Publication No. US20200405464A1 ) von Nikolskiy et al. beschriebenen Okklusionsachsen-Techniken bestimmt werden, die hier in ihrer Gesamtheit durch Bezugnahme aufgenommen sind.
Die 2D-Tiefenkarte kann mit jeder in dem Fachbereich bekannten Technik erzeugt werden, z. B. mit Z-Buffer oder Raytracing. In einigen Ausführungsformen kann das computerimplementierte Verfahren zum Beispiel die Tiefe jedes Pixels (j, k) auf eine maximale Länge und eine Pixelfarbe auf eine Hintergrundfarbe initialisieren. Das computerimplementierte Verfahren kann für jedes Pixel in der Projektion eines Polygons auf eine digitale Oberfläche, wie z. B. ein digitales 3D-Modell, eine Tiefe z des Polygons bei (x, y) bestimmen, die dem Pixel (j, k) entspricht. Wenn z < Tiefe des Pixels (j, k) ist, wird die Tiefe des Pixels auf die Tiefe z gesetzt. „Z“ kann sich auf die Konvention beziehen, dass die zentrale Sichtachse einer Kamera in Richtung der z-Achse der Kamera liegt, und nicht unbedingt auf die absolute z-Achse einer Szene. In einigen Ausführungsformen kann das computerimplementierte Verfahren auch eine Pixelfarbe auf etwas anderes als z. B. eine Hintergrundfarbe setzen. In einigen Ausführungsformen kann das Polygon z. B. ein digitales Dreieck sein. In einigen Ausführungsformen kann die Tiefe in dem Profil pro Pixel angegeben werden. 7 zeigt ein Beispiel für eine 2D-Tiefenkarte eines digitalen Modells in einigen Ausführungsformen.
In einigen Ausführungsformen kann das 2D-Tiefenkartenbild ein Von-Mises-Mittel von 16 gedrehten Versionen der 2D-Tiefenkarte enthalten. In einigen Ausführungsformen kann die bukkale Richtung nach der Bestimmung der okklusalen Richtung und des 3D-Zentrums des digitalen Präparatsstumpfs bestimmt werden. In einigen Ausführungsformen kann die 2D-Tiefenkarte einen Teil des digitalen Kiefers um den digitalen Präparatsstumpf abbilden. In einigen Fällen kann eine Regression zur Bestimmung der bukkalen Richtung verwendet werden. In einigen Ausführungsformen kann das 2D-CNN z. B. GoogleNet Inception v3 enthalten, das in dem Fachbereich bekannt ist. In einigen Ausführungsformen kann der Trainingsdatensatz bukkale Richtungen enthalten, die z. B. in einem 3D-Punktwolkenmodell markiert sind. In einigen Ausführungsformen kann der Trainingsdatensatz zehntausende bis hunderttausende von Bildern enthalten.
Einige Ausführungsformen des computerimplementierten Verfahrens können die Bestimmung einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerks umfassen. In einigen Ausführungsformen kann das erste trainierte neuronale Netzwerk ein neuronales Kodierungsnetzwerk umfassen. In einigen Ausführungsformen kann das erste trainierte neuronale Netzwerk ein neuronales Netzwerk für eine 3D-Punktwolkenanalyse enthalten. In einigen Ausführungsformen kann das erste trainierte neuronale Netzwerk ein trainiertes hierarchisches neuronales Netzwerk („HNN“) enthalten. In einigen Ausführungsformen kann das HNN ein PointNet++ neuronales Netzwerk enthalten. In einigen Ausführungsformen kann das HNN jegliches nachrichtenübermittelnde neuronale Netzwerk (von engl. „message-passing neural network“) sein, das mit geometrischen Strukturen arbeitet. In einigen Ausführungsformen können die geometrischen Strukturen Graphen, Netzwerke und/oder Punktwolken umfassen.
In einigen Ausführungsformen kann das computerimplementierte Verfahren ein HNN wie PointNet++ zur Kodierung verwenden. PointNet++ wird beschrieben in „PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space“, Charles R. Qi, Li Yi, Hao Su, Leonidas J. Guibas, Stanford University, Juni 2017, das hiermit in vollem Umfang durch Bezugnahme einbezogen wird. Hierarchische neuronale Netzwerke können zum Beispiel eine abgetastete Punktmenge in einem metrischen Raum auf hierarchische Weise prozessieren. Ein HNN wie PointNet++ oder ein anderes HNN kann in einigen Ausführungsformen durch Bestimmen einer durch eine Metrik induzierten lokalen Struktur implementiert werden. In einigen Ausführungsformen kann das HNN wie PointNet++ oder ein anderes HNN implementiert werden, indem zunächst eine Punktmenge in zwei oder mehr überlappende lokale Regionen auf der Grundlage der Abstandsmetrik unterteilt wird. Die Abstandsmetrik kann auf dem zugrundeliegenden Raum basieren. In einigen Ausführungsformen können die lokalen Merkmale extrahiert werden. Zum Beispiel können in einigen Ausführungsformen granulare geometrische Strukturen aus kleinen lokalen Nachbarregionen bestimmt werden. Die kleinen lokalen Merkmale der Nachbarregionen können in einigen Ausführungsformen zu größeren Einheiten gruppiert werden. In einigen Ausführungsformen können die größeren Einheiten prozessiert werden, um Merkmale auf höherer Ebene zu erhalten. In einigen Ausführungsformen wird der Prozess wiederholt, bis alle Merkmale der gesamten Punktmenge erhalten sind. Im Gegensatz zu volumetrischen CNNs, die den Raum mit festen Schritten abtasten, sind lokale rezeptive Felder in HNNs wie PointNet++ oder anderen HNNs sowohl von den Eingabedaten als auch von der Metrik abhängig. Im Gegensatz zu CNNs, die den Vektorraum unabhängig von der Datenverteilung abtasten, erzeugt die Abtast-Strategie in HNNs wie PointNet++ oder anderen HNNs rezeptive Felder in einer datenabhängigen Weise.
In einigen Ausführungsformen kann das HNN, wie z. B. PointNet++ oder ein anderes HNN, beispielsweise bestimmen, wie die Punktmenge sowie abstrakte Punktmengen oder lokale Merkmale mit einem lokalen Feature-Learner („Merkmals-Lerner“) zu partitionieren sind. In einigen Ausführungsformen kann der lokale Featuer-Learner z. B. PointNet oder jeder andere geeignete Featuer-Learner sein, der in dem Fachbereich bekannt ist. In einigen Ausführungsformen kann der lokale Feature-Learner eine Punktmenge prozessieren, die ungeordnet sind, um z. B. eine semantische Merkmalsextraktion durchzuführen. Der lokale Feature-Learner kann einen oder mehrere Mengen lokaler Punkte/Merkmale in Darstellungen höherer Ebene abstrahieren. In einigen Ausführungsformen kann das HNN den Local Feature-Learner rekursiv anwenden. Beispielsweise kann PointNet++ in einigen Ausführungsformen PointNet rekursiv auf eine verschachtelte Portionierung einer Eingabemenge anwenden.
In einigen Ausführungsformen kann das HNN Partitionen einer Punktmenge definieren, die sich überschlappen, indem jede Partition als benachbarte Kugel im euklidischen Raum mit Parametern definiert wird, die beispielsweise eine Schwerpunktlage und eine Skala umfassen können. Die Schwerpunkte können aus der Eingabemenge ausgewählt werden, z. B. durch das in dem Fachbereich bekannte Farthest-Point-Sampling. Ein Vorteil der Verwendung eines HNN kann beispielsweise die Effizienz und Effektivität sein, da lokale rezeptive Felder von den Eingabedaten und der Metrik abhängig sein können. In einigen Ausführungsformen kann das HNN Nachbarregionen auf mehreren Skalen nutzen. Dies kann z. B. Robustheit und Detailerfassung ermöglichen.
In einigen Ausführungsformen kann das HNN hierarchisches Punktmengen-Feature-Learning beinhalten. In einigen Ausführungsbeispielen kann das HNN eine hierarchische Gruppierung von Punkten vornehmen und immer größere lokale Regionen entlang der Hierarchie abstrahieren. In einigen Ausführungsformen kann das HNN Mengen-Abstraktionsebenen umfassen. In einigen Ausführungsformen wird eine Punktmenge auf jeder Ebene prozessiert und abstrahiert, um einen neue Menge mit weniger Elementen zu erzeugen. In einigen Ausführungsformen kann eine Mengen-Abstraktionsebene drei Schichten umfassen: eine Abtastschicht, eine Gruppierungsschicht und eine lokale Feature-Learner-Schicht. In einigen Ausführungsformen kann die lokale Feature-Learner-Schicht z. B. PointNet sein. Eine Mengen-Abstraktionsebene kann als Eingabe eine N × (d + C)-Matrix aus N Punkten mit d-dim-Koordinaten und C-dim-Punktmerkmalen nehmen und eine N' × (d + C)-Matrix aus N' unterabgetasteten Punkten mit d-dim-Koordinaten und neuen C'-dim-Merkmalsvektoren ausgeben, die in einigen Ausführungsformen beispielsweise den lokalen Kontext zusammenfassen können.
Die Abtastschicht kann in einigen Ausführungsformen eine Punktmenge aus Eingabepunkten auswählen oder abtasten. In einigen Ausführungsformen kann das HNN diese ausgewählten/abgetasteten Punkte z. B. als Schwerpunkte lokaler Regionen definieren. Beispielsweise kann für die Eingabe von Punkten {x₁ , x₂, ..., x_n,} in die Abtastschicht ein iteratives Farthest-Point-Sampling (FPS) verwendet werden, um eine Teilmenge von Punkten {x_i1, x_i2, ..., x_im} so auszuwählen, dass x_ij der am weitesten entfernte Punkt im metrischen Abstand von der Menge {x_i1, x_i2, ..., x_{ij_1} in Bezug auf die übrigen Punkte in einigen Ausführungsformen ist. Dies kann beispielsweise den Vorteil haben, dass die gesamte Punktmenge bei gleicher Schwerpunktzahl besser abgedeckt wird als bei einer Zufallsauswahl. Dies kann auch den Vorteil haben, dass z. B. rezeptive Felder in einer Weise erzeugt werden, die von den Daten abhängig ist, im Gegensatz zu faltenden neuronalen Netzwerken (CNN), die den Vektorraum unabhängig von der Datenverteilung abtasten.
In einigen Ausführungsformen kann die Gruppierungsschicht eine oder mehrere lokale Mengen von Regionen bestimmen, indem sie beispielsweise benachbarte Punkte um jeden Schwerpunkt herum bestimmt. In einigen Ausführungsformen kann die Eingabe in diese Schicht eine Punktmenge der Größe N × (d + C) und Koordinaten eines Schwerpunkts der Größe N' × d sein. In einigen Ausführungsformen kann die Ausgabe der Gruppierungsschicht beispielsweise Gruppen von Punktmengen der Größe N' × K × (d + C) enthalten. Jede Gruppe kann einer lokalen Region entsprechen, und K kann in einigen Ausführungsformen beispielsweise die Anzahl der Punkte innerhalb einer Nachbarregion von Schwerpunktpunkten sein. In einigen Ausführungsformen kann K von Gruppe zu Gruppe variieren. Die nächste Schicht - die PointNet-Schicht - kann jedoch die flexible Anzahl von Punkten beispielsweise in einen Merkmalsvektor für eine lokale Region fester Länge umwandeln. Die Nachbarregion kann in einigen Ausführungsformen z. B. durch einen metrischen Abstand definiert werden. In einigen Ausführungsformen können durch eine Ballabfrage alle Punkte innerhalb eines Radius zum Abfragepunkt ermittelt werden. Es kann eine Obergrenze für K festgelegt werden. In einer alternativen Ausführungsform kann eine K-Nächste-Nachbarn-Suche (kNN) verwendet werden. kNN kann eine feste Anzahl von benachbarten Punkten bestimmen. Die lokale Nachbarregion der Ballabfrage kann jedoch eine festen Skala für die Region garantieren, so dass ein oder mehrere lokale Regionsmerkmale in einigen Ausführungsformen über den Raum hinweg verallgemeinerbar sind. Dies kann in einigen Ausführungsformen z. B. für semantisches Punkt-Kennzeichnen (von engl. „point labeling“) oder andere Aufgaben, die eine lokale Mustererkennung erfordern, von Vorteil sein.
In einigen Ausführungsformen kann die lokale Feature-Learner-Schicht lokale Regionsmuster in Merkmalsvektoren kodieren. Wenn beispielsweise X = (M, d)) ein diskreter metrischer Raum ist, dessen Metrik von einem euklidischen Raum Xⁿ geerbt wurde, wobei M ⊆ Rⁿ die Menge der Punkte und d die Abstandsmetrik ist, kann die lokale Feature-Learner-Schicht Funktionen f bestimmen, die X als Eingabe verwenden und semantisch relevante Informationen über X ausgeben. Die Funktion f kann eine Klassifizierungsfunktion sein, die X eine Kennzeichnung zuweist, oder eine Segmentierungsfunktion, die jedem Mitglied von M eine Kennzeichnung pro Punkt zuweist.
In einigen Ausführungsformen kann PointNet als lokale Feature-Learner-Schicht verwendet werden, die bei einer ungeordneten Punktmenge {x₁ , x₂, ..., x_n} mit x_i ∈ R^d eine Mengenfunktion f: X→ R definieren kann, die eine Punktmenge auf einen Vektor abbildet, wie z. B.:
$f (x_{1}, x_{2}, \dots, x_{n}) = γ (\underset{i = 1, \dots n}{MAX} {h (x_{i})}) .$
In einigen Ausführungsformen können γ und h z. B. mehrschichtige Perzeptron-Netzwerke (MLP) oder andere geeignete, in dem Fachbereich bekannte Alternativen sein. Die Funktion f kann invariant gegenüber der Permutation von Eingangspunkten sein und kann in einigen Ausführungsformen beispielsweise eine beliebige kontinuierliche Mengenfunktion approximieren. Die Antwort von h kann in einigen Ausführungsformen als räumliche Kodierung eines Punktes interpretiert werden. PointNet ist in „PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, S. 77-85, von R. Q. Charles, H. Su, M. Kaichun und L. J. Guibas beschrieben, das hiermit in seiner Gesamtheit durch Bezugnahme einbezogen wird.
In einigen Ausführungsformen kann die lokale Feature-Learner-Schicht N' lokale Regionen von Punkten empfangen. Die Datengröße kann z. B. N' x K x (d + C) betragen. In einigen Ausführungsformen wird jede lokale Region durch ihren Schwerpunkt und lokale Merkmale abstrahiert, die z. B. die Nachbarregion des Schwerpunkts in der Ausgabe kodieren. Die Größe der Ausgabedaten kann z. B. N'x (d + C) betragen. Die Koordinaten von Punkten in einer lokalen Region können in einigen Ausführungsformen in einen lokalen Rahmen relativ zum Schwerpunktpunkt übersetzt werden: $x_{i}^{(j)} = x_{i}^{(j)} - {\hat{x}}^{(j)}$

für i=1,2,..., K und j=1,2,..., d wobei x̂ in einigen Ausführungsformen zum Beispiel die Schwerpunktkoordinate ist. In einigen Ausführungsformen kann die Verwendung relativer Koordinaten mit Punktmerkmalen beispielsweise Punkt-zu-Punkt-Beziehungen in einer lokalen Region erfassen. In einigen Ausführungsformen kann PointNet für lokales Musterlernen verwendet werden.
In einigen Ausführungsformen kann der lokale Feature-Lerner eine ungleichmäßige Dichte in der Eingabepunktmenge beispielsweise durch dichteadaptive Schichten berücksichtigen. Dichteadaptive Schichten können lernen, Merkmale von unterschiedlich skalierten Regionen zu kombinieren, wenn sich die Dichte der Eingabepunkte ändert. In einigen Ausführungsformen ist das dichteadaptive hierarchische Netzwerk z. B. ein PointNet++ Netzwerk. Dichteadaptive Schichten können in einigen Ausführungsformen z. B. Multi-Scale-Grouping („MSG“) oder Multi-Resolution-Grouping („MRG“) umfassen.
In MSG können mehrskalige Muster erfasst werden, indem Schichten mit unterschiedlichen Skalen gruppiert werden, gefolgt von der Extraktion von Merkmalen für jede Skala. Die Extraktion von Merkmalen jeder Skala kann in einigen Ausführungsformen beispielsweise durch die Verwendung von PointNet erfolgen. In einigen Ausführungsformen können Merkmale in verschiedenen Skalen verkettet werden, um z. B. ein Mehrskalenmerkmal zu erhalten. In einigen Ausführungsformen kann das HNN durch Training eine optimierte Mehrskalen-Merkmalskombination erlernen. Zum Beispiel kann ein zufälliger Input Dropout verwendet werden, bei dem zufällige Eingabepunkte mit einer zufälligen Wahrscheinlichkeit fallen gelassen werden. In einigen Ausführungsformen kann zum Beispiel ein Dropout-Verhältnis von θ verwendet werden, das gleichmäßig aus [0,p] abgetastet wird, wobei p kleiner oder gleich 1 ist. Beispielsweise kann p in einigen Fällen auf 0,95 gesetzt werden, damit keine leeren Punktmengen erzeugt werden. In einigen Ausführungsbeispielen können auch andere geeignete Werte verwendet werden.
In der MRG können die Merkmale einer Region auf der Ebene L_i beispielsweise eine Verkettung von zwei Vektoren sein, wobei der erste Vektor durch die Zusammenfassung der Merkmale jeder Unterregion auf einer niedrigeren Ebene L_i-1 gewonnen wird, wie es in einigen Ausführungsformen der Fall ist. Dies kann über die Mengen-Abstraktionsebene erfolgen. Ein zweiter Vektor kann dasjenige Merkmal sein, das durch die direkte Prozessierung von Rohpunkten lokaler Regionen gewonnen wird, z. B. durch ein einzelnes PointNet in einigen Ausführungsformen. In Fällen, in denen die Dichte einer lokalen Region gering ist, kann der zweite Vektor in einigen Ausführungsformen stärker gewichtet werden, da der erste Vektor weniger Punkte enthält und Abtastmängel aufweist. In Fällen, in denen die Dichte einer lokalen Region hoch ist, kann der erste Vektor in einigen Ausführungsformen stärker gewichtet werden, da der erste Vektor aufgrund der rekursiven Inspektion bei höheren Auflösungen auf niedrigeren Ebenen feinere Details liefern kann.
In einigen Ausführungsformen können Punktmerkmale für die Segmentierung von Mengen propagiert werden. In einigen Ausführungsformen kann zum Beispiel eine hierarchische Propagationsstrategie verwendet werden. In einigen Ausführungsformen kann die Merkmalspropagation die Propagation von Punktmerkmalen von N_l × (d+C) Punkten zu N_l-1 Punkten umfassen, wobei N_l-1 und N_l (N_l ist kleiner oder gleich N_l-1) die Punktmengengröße der Eingabe und Ausgabe der Mengen-Abstraktionsebene I sind. In einigen Ausführungsformen kann die Merkmalspropagation durch Interpolation der Merkmalswerte f von N_l Punkten an den Koordinaten der M_l-1 Punkte erreicht werden. In einigen Ausführungsformen kann z. B. ein inverses abstandsgewichtetes Mittel auf der Grundlage von k nächsten Nachbarn verwendet werden (p=2, k=3 in der nachstehenden Gleichung; andere geeignete Werte können verwendet werden). Interpolierte Merkmale auf N_l-1 können z. B. in einigen Ausführungsformen mit Skip-Linked-Point-Merkmalen aus der Mengen-Abstraktionsebene verkettet werden. In einigen Ausführungsformen können die verketteten Merkmale durch ein Unit PointNet geleitet werden, das beispielsweise einer Einzel-Faltung in faltenden neuronalen Netzwerken ähnelt. In einigen Ausführungsformen können gemeinsame voll verknüpfte und ReLU-Schichten angewandt werden, um beispielsweise den Merkmalsvektor jedes Punktes zu aktualisieren. In einigen Ausführungsformen kann der Prozess wiederholt werden, bis die propagierten Merkmale für die ursprüngliche Punktmenge bestimmt sind.
$f^{(j)} (x) = \frac{\sum_{i = 1}^{k} w_{i} (x) f_{i}^{(i)}}{\sum_{i = 1}^{k} w_{i} (x)} wobei w_{i} (x) = \frac{1}{d {(x, x_{i})}^{p}}, j = 1, \dots, C$
In einigen Ausführungsformen kann die computerimplementierte Methode ein oder mehrere neuronale Netzwerke implementieren, wie sie in dem Fachbereich offengelegt oder bekannt sind. Alle spezifischen Strukturen und Werte in Bezug auf ein oder mehrere neuronale Netzwerke und alle anderen hier offengelegten Merkmale werden nur als Beispiele angegeben, und es können alle geeigneten Varianten oder Äquivalente verwendet werden. In einigen Ausführungsformen können ein oder mehrere neuronale Netzwerkmodelle beispielsweise auf der Grundlage des Pytorch-Geometriepakets implementiert werden.
8(a) und 8(b) illustrieren ein Beispiel für ein HNN in einigen Ausführungsformen. Das HNN kann einen hierarchischen Punktmengen-Feature-Learner 802 enthalten, dessen Ausgabe zur Durchführung einer Segmentierung 804 und/oder Klassifizierung 806 verwendet werden kann. Der hierarchische Punktmengen-Feature-Learner 802 verwendet als Beispiel Punkte im euklidischen 2D-Raum, kann aber auch auf dreidimensionalen 3D-Eingabebildern arbeiten. Wie im Beispiel von 8(a) dargestellt, kann das HNN ein Eingangsbild 808 mit (N, d + C) empfangen und eine erste Abtast- und Gruppierungsoperation 810 durchführen, um ein erstes abgetastetes und gruppiertes Bild 812 mit beispielsweise (N₁, K, d + C) zu erzeugen. Das HNN kann dann das erste abgetastete und gruppierte Bild 812 bei 814 an PointNet übergeben, um ein erstes abstrahiertes Bild 816 mit (N₁ , d + C₁) zu erzeugen. Das erste abstrahierte Bild 816 kann einer Abtastung und Gruppierung 818 unterzogen werden, um ein zweites abgetastetes und gruppiertes Bild 820 mit (N₂, K, d + C₁) zu erzeugen. Das zweite abgetastete und gruppierte Bild 820 kann einem neuronalen PointNet-Netzwerk 822 zugeführt werden, um ein zweites abstrahiertes Bild 824 mit (N₂, d + C2) auszugeben.
In einigen Ausführungsformen kann das zweite abstrahierte Bild 824 durch die HNN-Segmentierung 804 segmentiert werden. In einigen Ausführungsformen kann die HNN-Segmentierung 804 das zweite abstrahierte Bild 824 nehmen und eine erste Interpolation 830 durchführen, deren Ausgabe mit dem ersten abstrahierten Bild 816 verkettet werden kann, um ein erstes interpoliertes Bild 832 mit (N₁, d + C₂ + C₁) zu erzeugen. Das erste interpolierte Bild 832 kann einem Unit PointNet bei 834 zugeführt werden, um ein erstes Segmentbild 836 mit (N₁ , d + C₃) zu erzeugen. Das erste Segmentbild 836 kann bei 838 interpoliert werden, dessen Ausgabe mit dem Eingangsbild 808 verkettet werden kann, um ein zweites interpoliertes Bild 840 mit (N₁ , d + C₃ + C) zu erzeugen. Das zweite interpolierte Bild 840 kann einem Unit PointNet 842 zugeführt werden, um ein segmentiertes Bild 844 mit (N, k) zu erzeugen. Das segmentierte Bild 844 kann z. B. Punktebewertungen pro Punkt liefern.
Wie im Beispiel von 8(b) dargestellt, kann das zweite abstrahierte Bild 824 in einigen Ausführungsformen durch die HNN-Klassifizierung 806 klassifiziert werden. In einigen Ausführungsformen kann die HNN-Klassifizierung das zweite abstrahierte Bild 824 nehmen und es einem PointNet-Netzwerk 860 zur Verfügung stellen, dessen Ausgabe 862 einer oder mehreren vollständig verbundenen Schichten, wie z. B. verbundenen Schichten 864, zur Verfügung gestellt werden kann, deren Ausgabe Klassenbewertungen 866 liefern kann.
Einige Ausführungsformen des computerimplementierten Verfahrens können das Bestimmen eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells unter Verwendung eines zweiten neuronalen Netzwerks umfassen.
In einigen Ausführungsformen kann die Basisrandlinie einmal pro Netzwerktyp vorberechnet werden. In einigen Ausführungsformen können die Netzwerktypen Molaren und Prämolaren umfassen. In einigen Ausführungsformen können beispielsweise auch andere geeignete Netzwerktypen verwendet werden. In einigen Ausführungsformen kann dieselbe Basisrandlinie als Anfangsrandlinie für jeden Scan verwendet werden. In einigen Ausführungsformen können die Netzwerktypen auch andere Typen umfassen. In einigen Ausführungsformen ist die Basisrandlinie dreidimensional. In einigen Ausführungsformen kann die Basisrandlinie auf der Grundlage von Randlinien aus einem Trainingsdatensatz bestimmt werden, der zum Trainieren des ersten und des zweiten neuronalen Netzwerks verwendet wird. In einigen Ausführungsformen kann die Basisrandlinie ein vorberechneter Mittelwert oder Durchschnitt der Randlinien des Trainingsdatensatzes sein. In einigen Ausführungsformen kann jede Art von Mittelwert oder Durchschnitt verwendet werden.
In einigen Ausführungsformen kann der Randlinienvorschlag ein Freiformrandlinienvorschlag sein. In einigen Ausführungsformen kann das zweite trainierte neuronale Netzwerk ein neuronales Dekodierungsnetzwerk umfassen. In einigen Ausführungsformen kann das neuronale Dekodierungsnetzwerk die innere Darstellung mit spezifischen Punktkoordinaten verketten, um eine geführte Dekodierung zu implementieren. In einigen Ausführungsformen kann die geführte Dekodierung eine geschlossene Oberfläche erzeugen, wie in „A Papier-Mache Approach to Learning 3D Surface Generation" von T. Groueix, M. Fisher, V. G. Kim, B. C. Russell und M. Aubry, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, S. 216-224, beschrieben, die hiermit in ihrer Gesamtheit durch Bezugnahme einbezogen wird.
In einigen Ausführungsformen kann das neuronale Decoder-Netzwerk ein tiefes neuronales Netzwerk („DNN“) umfassen. ist ein übergeordnetes Blockdiagramm, das die Struktur eines tiefen neuronalen Netzwerks (DNN) 400 gemäß einigen Ausführungsformen der Offenbarung zeigt. DNN 400 umfasst mehrere Schichten N_i, N_h,1, N_h,l-1, N_h,1, N_o, usw. Die erste Schicht N_i ist eine Eingabeschicht, in die ein oder mehrere Gebiss-Scandatensätze eingespeist werden können. Die letzte Schicht N_o ist eine Ausgabeschicht. Die in der vorliegenden Offenlegung verwendeten tiefen neuronalen Netzwerke können Wahrscheinlichkeiten und/oder vollständige 3D-Randlinienvorschläge ausgeben. Zum Beispiel kann die Ausgabe ein Wahrscheinlichkeitsvektor sein, der einen oder mehrere Wahrscheinlichkeitswerte für jedes Merkmal oder jeden Aspekt der Zahnmodelle enthält, die zu bestimmten Kategorien gehören. Außerdem kann die Ausgabe ein Vorschlag für eine Randlinie sein.
Jede Schicht N kann eine Vielzahl von Knoten umfassen, die mit jedem Knoten der nächsten Schicht N+1 verbunden sind. So ist beispielsweise jeder Rechenknoten in der Schicht N_h,1-1 mit jedem Rechenknoten in der Schicht N_h,1 verbunden. Die Schichten N_h,1 , N_h,1-1 , N_h,1 zwischen der Eingabeschicht N_i und der Ausgabeschicht N_o sind verborgene Schichten. Die Knoten in den verborgenen Schichten, die in 9 mit „h“ bezeichnet sind, können verborgene Variablen sein. In einigen Ausführungsformen kann das DNN 400 mehrere verborgene Schichten enthalten, z. B. 24, 30, 50, usw.
In einigen Ausführungsformen kann das DNN 400 ein tiefes Feedforward-Netzwerk sein. DNN 400 kann auch ein faltendes neuronales Netzwerk sein, d. h. ein Netzwerk, das in mindestens einer der verborgenen Schichten des tiefen neuronalen Netzwerks eine Faltung anstelle der allgemeinen Matrixmultiplikation verwendet. DNN 400 kann auch ein generatives neuronales Netzwerk oder ein generatives adversarisches Netzwerk sein. In einigen Ausführungsformen kann das Trainingsmodul 120 einen Trainingsdatensatz mit Kennzeichnungen verwenden, um den Lernprozess des tiefen neuronalen Netzwerks zu überwachen. Die Kennzeichnungen werden verwendet, um ein Merkmal einem Wahrscheinlichkeitswert eines Wahrscheinlichkeitsvektors zuzuordnen. Alternativ kann das Trainingsmodul 120 unstrukturierte und nicht gekennzeichnete Trainingsdatensätze verwenden, um generative tiefe neuronale Netzwerke, die nicht notwendigerweise gekennzeichnete Trainingsdatensätze erfordern, in einer nicht überwachten Weise zu trainieren.
In einigen Ausführungsformen kann das DNN ein mehrschichtiges Perzeptron („MLP“) sein. In einigen Ausführungsformen kann der MLP 4 Schichten umfassen. In einigen Ausführungsformen kann der MLP ein vollständig verbundener MLP sein. In einigen Ausführungsformen verwendet der MLP die BatchNorm-Normalisierung.
10 zeigt als Beispiel ein Diagramm eines computerimplementierten Verfahrens zum automatischen Vorschlag von Randlinien in einigen Ausführungsformen. In einigen Ausführungsformen kann das computerimplementierte Verfahren vor dem Beginn des Vorschlags einer Randlinie für ein beliebiges digitales 3D-Modell eine Basisrandlinie 1003 in drei Dimensionen vorberechnen, wobei jeder Punkt der Basisrandlinie 1003 3D-Koordinaten wie beispielsweise Koordinaten 1005 hat. Das computerimplementierte Verfahren kann ein digitales 3D-Modell 1002 von zumindest einem Teil eines Kiefers empfangen. Das digitale 3D-Modell kann in einigen Ausführungsformen in Form einer 3D-Punktwolke vorliegen. Das 3D-Digitalmodell kann zum Beispiel ein Zahnpräparat 1004 enthalten. Das computerimplementierte Verfahren kann ein erstes trainiertes neuronales Netzwerk 1006 verwenden, um eine innere Darstellung 1008 des digitalen 3D-Modells zu bestimmen. In einigen Ausführungsformen kann das erste trainierte neuronale Netzwerk 1006 ein neuronales Netzwerk sein, das Gruppierung und Abtastung 1007 und andere Operationen an einem digitalen 3D-Modell durchführt, wie z. B. ein HNN in einigen Ausführungsformen. In einigen Ausführungsformen kann das computerimplementierte Verfahren unter Verwendung eines zweiten trainierten neuronalen Netzwerks 1010 einen Randlinienvorschlag aus der Basisrandlinie 1003 und der inneren Darstellung 1008 des digitalen 3D-Modells bestimmen. In einigen Ausführungsformen kann das zweite trainierte neuronale Netzwerk zum Beispiel einen oder mehrere dreidimensionale Verschiebungswerte 1012 für digitale Oberflächenpunkte der Basisrandlinie 1003 liefern.
In einigen Ausführungsformen kann das zweite trainierte neuronale Netzwerk einen Randlinienverschiebungswert in drei Dimensionen aus der Basisrandlinie bestimmen. In einigen Ausführungsformen verwendet das zweite trainierte neuronale Netzwerk eine BilateralChamferDistance als Verlustfunktion. In einigen Ausführungsformen kann das computerimplementierte Verfahren einen oder mehrere Punkte der Basisrandlinie um einen Verschiebungswert verschieben, um den Randlinienvorschlag bereitzustellen. 11 zeigt in einigen Ausführungsformen eine Illustration der Anpassung der Basisrandlinie 1102 eines digitalen 3D-Modells 1100. In diesem Beispiel können ein oder mehrere Basisrandlinienpunkte wie der Basisrandlinienpunkt 1104 um einen Verschiebungswert und eine Richtung 1106 verschoben werden. Andere Basisrandlinienpunkte können in ähnlicher Weise durch ihre entsprechenden Verschiebungswerte und Richtungen angepasst werden, um beispielsweise den Randlinienvorschlag 1108 zu bilden.
12(a) zeigt ein Beispiel für eine vorgeschlagene digitale Randlinie 1204 für ein digitales Zahnpräparat 1202 des digitalen 3D-Modells 1205. Wie in der Abbildung zu sehen ist, kann der Vorschlag für die Randlinie auch dann gemacht werden, wenn die Randlinie teilweise oder vollständig durch Zahnfleisch, Blut, Speichel oder andere Elemente verdeckt ist. 12(b) zeigt ein weiteres Beispiel für eine vorgeschlagene digitale Randlinie 1206 für das digitale Zahnpräparat 1208 des digitalen 3D-Modells 1210. In einigen Ausführungsformen wird die vorgeschlagene Randlinie auf dem digitalen 3D-Modell angezeigt und kann von einem Benutzer, z. B. einem Zahntechniker oder Arzt, mithilfe eines Eingabegeräts manipuliert werden, um Anpassungen an der vorgeschlagenen Randlinie vorzunehmen.
In einigen Ausführungsformen können das erste neuronale Netzwerk und das zweite neuronale Netzwerk mit demselben Trainingsdatensatz trainiert werden. In einigen Ausführungsformen kann der Trainingsdatensatz ein oder mehrere Trainingsproben enthalten. In einigen Ausführungsformen kann der Trainingsdatensatz 70.000 Trainingsproben enthalten. In einigen Ausführungsformen können die ein oder mehreren Trainingsproben jeweils eine okklusale Richtung, eine Präparatsstumpfmitte und eine bukkale Richtung als normalisierte Positionierung und Orientierung für jede Probe enthalten. In einigen Fällen können die okklusale Richtung, die Präparatsstumpfmitte und die bukkale Richtung manuell festgelegt werden. In einigen Ausführungsformen kann der Trainingsdatensatz eine nicht getrimmte digitale Oberfläche des Kiefers und eine Zielrandlinie auf einer Oberfläche der entsprechenden getrimmten digitalen Oberfläche enthalten. In einigen Ausführungsformen kann die Zielrandlinie von einem Techniker vorbereitet werden. In einigen Ausführungsformen kann das Training eine Regression verwenden. In einigen Ausführungsformen kann das Training die Verwendung einer Verlustfunktion beinhalten, um den Randlinienvorschlag mit der Zielrandlinie zu vergleichen. In einigen Ausführungsformen kann die Verlustfunktion eine Chamfer-Verlustfunktion sein. In einigen Ausführungsformen kann die Chamfer-Verlust-Funktion umfassen:
$d_{C D} (S_{1}, S_{2}) = \sum_{x \in S_{1}} min_{y \in S_{2}} {‖ x - y ‖}_{2}^{2} + \sum_{x \in S_{2}} min_{y \in S_{1}} {‖ x - y ‖}_{2}^{2}$
In einigen Ausführungsformen kann das Training auf einem Computersystem durchgeführt werden, das mindestens eine GrafikProzessoreinheit („GPU“) enthält. In einigen Ausführungsformen kann die GPU beispielsweise zwei 2080-Ti Nvidia-GPUs umfassen. Andere geeignete GPU-Typen, Zahlen und Äquivalente können verwendet werden.
In einigen Ausführungsformen kann das computerimplementierte Verfahren automatisch durchgeführt werden. Einige Ausführungsformen können ferner die Anzeige der Freiform-Randlinie auf dem digitalen 3D-Modell umfassen. In einigen Ausführungsformen kann die Freiform-Randlinie von einem Benutzer mithilfe eines Eingabegeräts angepasst werden.
13 zeigt ein Beispiel für ein computerimplementiertes Verfahren zum automatischen Vorschlagen von Randlinien. Das Verfahren kann das Empfangen eines digitalen 3D-Modells von zumindest einem Teil eines Kiefers umfassen, wobei das digitale 3D-Modell ein digitales Zahnpräparat bei 1302 enthält, das Bestimmen einer inneren Darstellung des digitalen 3D-Modells bei 1304 unter Verwendung eines ersten trainierten neuronalen Netzwerks und das Bestimmen eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells bei 1306 unter Verwendung eines zweiten trainierten neuronalen Netzwerks.
Einige Ausführungsformen umfassen ein Prozessorsystem für automatische Randlinienvorschläge: einen Prozessor, ein computerlesbares Speichermedium, das vom Prozessor ausführbare Anweisungen enthält, um Schritte durchzuführen, die Folgendes umfassen: Empfangen eines digitalen 3D-Modells von zumindest einem Teil eines Kiefers, wobei das digitale 3D-Modell ein digitales Zahnpräparat umfasst; Bestimmen einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerks; und Bestimmen eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells unter Verwendung eines zweiten trainierten neuronalen Netzwerks.
In einigen Ausführungsformen kann das computerimplementierte Verfahren, das System und/oder das nicht-vorübergehende computerlesbare Medium ein oder mehrere andere Merkmale enthalten. Zum Beispiel kann in einigen Ausführungsformen die Basisrandlinie einen oder mehrere digitale Punkte enthalten, die den Rand des digitalen Zahnpräparats definieren. In einigen Ausführungsformen kann das digitale 3D-Modell eine 3D-Punktwolke enthalten. In einigen Ausführungsformen kann das erste trainierte neuronale Netzwerk ein trainiertes hierarchisches neuronales Netzwerk („HNN“) enthalten. In einigen Ausführungsformen kann das erste trainierte neuronale Netzwerk ein neuronales Netzwerk für die 3D-Punktwolkenanalyse enthalten. In einigen Ausführungsformen kann das zweite trainierte neuronale Netzwerk ein neuronales Decoder-Netzwerk umfassen. In einigen Ausführungsformen werden das erste trainierte neuronale Netzwerk und das zweite trainierte neuronale Netzwerk unter Verwendung eines Trainingsdatensatzes trainiert, der eine nicht getrimmte digitale Oberfläche des Kiefers und eine Zielrandlinie auf einer Oberfläche der entsprechenden getrimmten digitalen Oberfläche umfasst.
Einer oder mehrere Vorteile eines oder mehrerer Merkmale in einigen Ausführungsformen können z. B. darin bestehen, dass eine präzise Randlinie für ein Zahnpräparat bereitgestellt wird, selbst in subgingivalen Fällen, in denen die Randlinie fehlt oder verdeckt ist. Einer oder mehrere Vorteile eines oder mehrerer Merkmale in einigen Ausführungsformen können zum Beispiel präzisere Randlinien umfassen, da ein Techniker oder ein anderer Benutzer die Randlinie nicht manuell zeichnen und/oder erraten muss. Einer oder mehrere Vorteile eines oder mehrerer Merkmale in einigen Ausführungsformen können beispielsweise eine schnellere Bestimmung der Randlinie sein, da ein Techniker oder ein anderer Benutzer die Randlinie nicht für jedes digitale 3D-Modell manuell zeichnen muss. Einer oder mehrere Vorteile eines oder mehrerer Merkmale in einigen Ausführungsformen können zum Beispiel eine größere Effizienz aufgrund der Automatisierung der Randlinienbestimmung sein. Einer oder mehrere Vorteile eines oder mehrerer Merkmale in einigen Ausführungsformen können zum Beispiel die Bestimmung des Randlinienvorschlags aus einem digitalen 3D-Modell, wie zum Beispiel einer Punktwolke, umfassen, wodurch ein präziserer Randlinienvorschlag bereitgestellt wird. Ein oder mehrere Vorteile von einem oder mehreren Merkmalen in einigen Ausführungsformen können beispielsweise das Vorhandensein/ die automatische Bestimmung der Okklusionsrichtung, des 3D-Zentrums des Präparatsstumpfes und/oder der bukkalen Richtung eines Stumpfes umfassen, wodurch eine Eingabenormalisierung und eine genauere Bestimmung des Randlinienvorschlags ermöglicht wird. Einer oder mehrere Vorteile von einem oder mehreren Merkmalen in einigen Ausführungsformen können zum Beispiel darin bestehen, dass die Randlinie nicht Punkt für Punkt gezeichnet werden muss. Einer oder mehrere Vorteile einer oder mehrerer Funktionen in einigen Ausführungsformen können zum Beispiel darin bestehen, dass ein Vorschlag für die Randlinie in subgingivalen Fällen gemacht werden kann, selbst wenn die Randlinie fehlt oder verdeckt ist (teilweise oder vollständig durch Zahnfleisch und/oder Blut und Speichel), und dass ein Techniker die Randlinie nicht nachzeichnen muss. Einer oder mehrere Vorteile von einem oder mehreren Merkmalen in einigen Ausführungsformen können z. B. eine präzise Randerkennung im vollautomatischen Modus sein, trotz der Vielfalt an Formen, subgingivalen Fällen und der Notwendigkeit, die Randlinie präzise zu gestalten. Einer oder mehrere Vorteile einer oder mehrerer Funktionen in einigen Ausführungsformen können z. B. darin bestehen, dass die manuelle Randlokalisierung/-konstruktion vermieden wird und somit Zeit und Mühe gespart werden.
14 illustriert ein Prozessorsystem 14000 in einigen Ausführungsformen. Das System 14000 kann einen Prozessor 14030 und ein computerlesbares Speichermedium 14034 mit Anweisungen enthalten, die vom Prozessor ausgeführt werden können, um einen oder mehrere in der vorliegenden Offenbarung beschriebene Schritte durchzuführen.
In einigen Ausführungsformen kann das computerimplementierte Verfahren ein digitales Modell auf einem Bildschirm anzeigen und Eingaben von einem Eingabegerät wie z. B. einer Maus oder einem Touchscreen auf dem Bildschirm empfangen.
Eines oder mehrere der hierin offenbarten Merkmale können automatisch, ohne manuelles oder benutzerdefiniertes Eingreifen, durchgeführt und/oder erreicht werden. Eines oder mehrere der hierin offenbarten Merkmale können durch ein computerimplementiertes Verfahren ausgeführt werden. Die hier offenbarten Merkmale - einschließlich, aber nicht beschränkt auf alle Methoden und Systeme - können in Computersystemen implementiert werden. Beispielsweise kann die Computerumgebung 14042, die zur Ausführung dieser Funktionen verwendet wird, ein beliebiges Computergerät sein (z. B. ein Desktop-Computer, ein Laptop-Computer, ein Server-Computer, ein Tablet-Computer, ein Spielsystem, ein mobiles Gerät, eine programmierbare Automatisierungssteuerung, eine Videokarte usw.), das in ein Computersystem mit einem oder mehreren Computergeräten integriert werden kann. In einigen Ausführungsformen kann das Computersystem ein Cloud-basiertes Computersystem sein.
So kann eine Computerumgebung 14042 beispielsweise eine oder mehrere Prozessoreinheiten 14030 und einen Speicher 14032 umfassen. Die Prozessoreinheiten führen computerausführbare Anweisungen aus. Bei einer Prozessoreinheit 14030 kann es sich um eine zentrale Prozessoreinheit (CPU), einen Prozessor in einer anwendungsspezifischen integrierten Schaltung (ASIC) oder einen anderen Prozessortyp handeln. In einigen Ausführungsformen können die eine oder mehreren Prozessoreinheiten 14030 beispielsweise mehrere computerausführbare Befehle parallel ausführen. In einem Multiprozessorsystem führen mehrere Prozessoreinheiten computerausführbare Befehle aus, um die Prozessorleistung zu erhöhen. Eine repräsentative Computerumgebung kann beispielsweise eine zentrale Prozessoreinheit sowie eine GrafikProzessoreinheit oder eine MitProzessoreinheit umfassen. Der greifbare Speicher 14032 kann ein flüchtiger Speicher (z. B. Register, Cache, RAM), ein nichtflüchtiger Speicher (z. B. ROM, EEPROM, Flash-Speicher usw.) oder eine Kombination aus beidem sein, auf den die Prozessoreinheit(en) zugreifen können. Der Speicher speichert Software, die eine oder mehrere hierin beschriebene Innovationen implementiert, in Form von computerausführbaren Anweisungen, die zur Ausführung durch die Prozessoreinheit(en) geeignet sind.
Ein Computersystem kann zusätzliche Merkmale aufweisen. In einigen Ausführungsformen umfasst die Computerumgebung beispielsweise ein Speichermedium 14034, ein oder mehrere Eingabegeräte 14036, ein oder mehrere Ausgabegeräte 14038 und eine oder mehrere Kommunikationsverbindungen 14037. Ein Verbindungsmechanismus, wie z. B. ein Bus, ein Controller oder ein Netzwerk, verbindet die Komponenten der Datenprozessierungssumgebung miteinander. In der Regel stellt die Betriebssystemsoftware eine Betriebsumgebung für andere Software bereit, die in der Computerumgebung ausgeführt wird, und koordiniert die Aktivitäten der Komponenten der Computerumgebung.
Das greifbare Speichermedium 14034 kann entnehmbar oder nicht entnehmbar sein und umfasst magnetische oder optische Medien wie Magnetplatten, Magnetbänder oder -kassetten, CD-ROMs, DVDs oder jedes andere Medium, das zum Speichern von Informationen in nichtvorübergehender Weise verwendet werden kann und auf das innerhalb der Computerumgebung zugegriffen werden kann. Das Speichermedium 14034 speichert Anweisungen für die Software, die eine oder mehrere hier beschriebene Innovationen implementiert.
Das/die Eingabegerät(e) kann/können z. B. sein: ein Berührungseingabegerät, wie eine Tastatur, eine Maus, ein Stift oder ein Trackball; ein Spracheingabegerät; ein Abtastgerät; einer von verschiedenen Sensoren; ein anderes Gerät, das Eingaben in die Computerumgebung liefert; oder Kombinationen davon. Bei der Videocodierung kann es sich bei dem/den Eingabegerät(en) um eine Kamera, eine Videokarte, eine TV-Tunerkarte oder ein ähnliches Gerät handeln, das Videoeingaben in analoger oder digitaler Form akzeptiert, oder um eine CD-ROM oder CD-RW, die Video-Samples in die Computerumgebung einliest. Das (die) Ausgabegerät(e) kann (können) eine Anzeige, ein Drucker, ein Lautsprecher, ein CD-Brenner oder ein anderes Gerät sein, das eine Ausgabe aus der Computerumgebung liefert.
Die Kommunikationsverbindung(en) ermöglichen die Kommunikation über ein Kommunikationsmedium mit einer anderen Recheneinheit. Das Kommunikationsmedium überträgt Informationen, wie z. B. computerausführbare Anweisungen, Audio- oder Videoeingaben oder - ausgaben oder andere Daten in einem modulierten Datensignal. Ein moduliertes Datensignal ist ein Signal, bei dem eine oder mehrere seiner Eigenschaften so eingestellt oder verändert wurden, dass Informationen in dem Signal kodiert werden. Als Beispiel und ohne Einschränkung können Kommunikationsmedien einen elektrischen, optischen, RF- oder anderen Träger verwenden.
Jedes der offenbarten Verfahren kann als computerausführbare Anweisungen implementiert werden, die auf einem oder mehreren computerlesbaren Speichermedien 14034 (z. B. einer oder mehreren optischen Medien, flüchtigen Speicherkomponenten (wie DRAM oder SRAM) oder nichtflüchtigen Speicherkomponenten (wie Flash-Speicher oder Festplatten)) gespeichert sind und auf einem Computer ausgeführt werden (z. B., jeder handelsübliche Computer, einschließlich Smartphones, andere mobile Geräte, die Computerhardware enthalten, oder programmierbare Automatisierungssteuerungen) (z. B. veranlassen die computerausführbaren Anweisungen einen oder mehrere Prozessoren eines Computersystems, das Verfahren durchzuführen). Der Begriff „computerlesbare Speichermedien“ umfasst keine Kommunikationsverbindungen, wie z. B. Signale und Trägerwellen. Alle computerausführbaren Anweisungen zur Implementierung der offenbarten Techniken sowie alle Daten, die während der Implementierung der offenbarten Ausführungsformen erstellt und verwendet werden, können auf einem oder mehreren computerlesbaren Speichermedien 14034 gespeichert werden. Die computerausführbaren Anweisungen können beispielsweise Teil einer speziellen Softwareanwendung oder einer Softwareanwendung sein, auf die über einen Webbrowser oder eine andere Softwareanwendung (z. B. eine Remote-Computing-Anwendung) zugegriffen oder die heruntergeladen wird. Eine solche Software kann beispielsweise auf einem einzelnen lokalen Computer (z. B. einem geeigneten handelsüblichen Computer) oder in einer Netzwerkumgebung (z. B. über das Internet, ein Weitverkehrsnetzwerk, ein lokales Netzwerk, ein Client-Server-Netzwerk (z. B. ein Cloud-Computing-Netzwerk) oder ein anderes solches Netzwerk) unter Verwendung eines oder mehrerer Netzwerkcomputer ausgeführt werden.
Der Übersichtlichkeit halber werden nur bestimmte ausgewählte Aspekte der softwarebasierten Implementierungen beschrieben. Andere Details, die auf dem Gebiet der Technik wohlbekannt sind, werden weggelassen. So ist die offengelegte Technologie beispielsweise nicht auf eine bestimmte Computersprache oder ein bestimmtes Programm beschränkt. So kann die offengelegte Technologie beispielsweise durch Software implementiert werden, die in C++, Java, Perl, Python, JavaScript, Adobe Flash oder einer anderen geeigneten Programmiersprache geschrieben ist. Ebenso ist die offengelegte Technologie nicht auf einen bestimmten Computer oder eine bestimmte Art von Hardware beschränkt. Bestimmte Details geeigneter Computer und Hardware sind wohlbekannt und müssen in dieser Offenlegung nicht im Detail dargelegt werden.
Es sollte auch klar sein, dass jede hier beschriebene Funktionalität zumindest teilweise durch eine oder mehrere Hardware-Logikkomponenten anstelle von Software ausgeführt werden kann. Zu den beispielhaften Arten von Hardware-Logikkomponenten, die verwendet werden können, gehören beispielsweise feldprogrammierbare Gate-Arrays (FPGAs), programmspezifische integrierte Schaltkreise (ASICs), programmspezifische Standardprodukte (ASSPs), System-on-a-Chip-Systeme (SOCs), komplexe programmierbare Logikbausteine (CPLDs), usw.
Darüber hinaus kann jede der softwarebasierten Ausführungsformen (die z. B. computerausführbare Befehle umfassen, die einen Computer veranlassen, eines der offengelegten Verfahren durchzuführen) über ein geeignetes Kommunikationsmittel hochgeladen, heruntergeladen oder aus der Ferne abgerufen werden. Solche geeigneten Kommunikationsmittel sind beispielsweise das Internet, das World Wide Web, ein Intranet, Softwareanwendungen, Kabel (einschließlich Glasfaserkabel), magnetische Kommunikation, elektromagnetische Kommunikation (einschließlich HF-, Mikrowellen- und Infrarotkommunikation), elektronische Kommunikation oder andere solche Kommunikationsmittel.
In Anbetracht der vielen möglichen Ausführungsformen, auf die die Grundsätze der Offenbarung angewandt werden können, sollte anerkannt werden, dass die dargestellten Ausführungsformen nur Beispiele sind und nicht als Einschränkung des Umfangs der Offenbarung angesehen werden sollten.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17/245944 [0001]
US 20180132982 A1 [0016]
US 20200405455 A1 [0021]
US 16/451968 [0026]
US 20200405464 A1 [0026, 0034]

Zitierte Nicht-Patentliteratur

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, S. 77-85, von R. Q. Charles, H. Su, M. Kaichun und L. J. Guibas [0046]
A Papier-Mache Approach to Learning 3D Surface Generation“ von T. Groueix, M. Fisher, V. G. Kim, B. C. Russell und M. Aubry, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, S. 216-224 [0058]

Claims

Ein computerimplementiertes Verfahren zum automatischen Vorschlagen von Randlinien, umfassend: Empfangen eines digitalen 3D-Modells von zumindest einem Teil eines Kiefers, wobei das digitale 3D-Modell ein digitales Zahnpräparat umfasst; Bestimmen einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerks; und Bestimmen, unter Verwendung eines zweiten trainierten neuronalen Netzwerks, eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells.
Verfahren nach Anspruch 1, wobei die Basisrandlinie einen oder mehrere digitale Punkte umfasst, die den Rand des digitalen Zahnpräparats definieren.
Verfahren nach Anspruch 1, wobei das digitale 3D-Modell eine 3D-Punktwolke umfasst.
Verfahren nach Anspruch 1, wobei das erste trainierte neuronale Netzwerk ein trainiertes hierarchisches neuronales Netzwerk („HNN“) umfasst.
Verfahren nach Anspruch 1, wobei das erste trainierte neuronale Netzwerk ein neuronales Netzwerk für eine 3D-Punktwolkenanalyse umfasst.
Verfahren nach Anspruch 1, wobei das zweite trainierte neuronale Netzwerk ein neuronales Decoder-Netzwerk umfasst.
Verfahren nach Anspruch 1, wobei das erste trainierte neuronale Netzwerk und das zweite trainierte neuronale Netzwerk unter Verwendung eines Trainingsdatensatzes trainiert werden, der eine nicht getrimmte digitale Oberfläche des Kiefers und eine Zielrandlinie auf einer Oberfläche der entsprechenden getrimmten digitalen Oberfläche umfasst.
Ein System für automatische Randlinienvorschläge, umfassend: einen Prozessor; und ein computerlesbares Speichermedium, das von dem Prozessor ausführbare Anweisungen enthält, um folgende Schritte durchzuführen: Empfangen eines digitalen 3D-Modells von mindestens einem Teil eines Kiefers, wobei das digitale 3D-Modell ein digitales Zahnpräparat umfasst; Bestimmen einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerks; und Bestimmen, unter Verwendung eines zweiten trainierten neuronalen Netzwerks, eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells.
System nach Anspruch 8, wobei die Basisrandlinie einen oder mehrere digitale Punkte umfasst, die den Rand des digitalen Zahnpräparats definieren.
Das System nach Anspruch 8, wobei das digitale 3D-Modell eine 3D-Punktwolke ist.
System nach Anspruch 8, wobei das erste trainierte neuronale Netzwerk ein trainiertes hierarchisches neuronales Netzwerk („HNN“) umfasst.
System nach Anspruch 8, wobei das erste trainierte neuronale Netzwerk ein neuronales Netzwerk für eine 3D-Punktwolkenanalyse umfasst.
System nach Anspruch 8, wobei das zweite trainierte neuronale Netzwerk ein neuronales Decoder-Netzwerk umfasst.
System nach Anspruch 8, wobei das erste trainierte neuronale Netzwerk und das zweite trainierte neuronale Netzwerk unter Verwendung eines Trainingsdatensatzes trainiert werden, der eine nicht getrimmte digitale Oberfläche des Kiefers und eine Zielrandlinie auf einer Oberfläche der entsprechenden getrimmten digitalen Oberfläche umfasst.
Ein nicht-transitorisches computerlesbares Medium, das ausführbare Computerprogrammanweisungen speichert, um automatisch eine Randlinie vorzuschlagen, wobei die Computerprogrammanweisungen umfassen: Empfangen eines digitalen 3D-Modells von mindestens einem Teil eines Kiefers, wobei das digitale 3D-Modell einen digitalen Zahnpräparat umfasst; Bestimmen einer inneren Darstellung des digitalen 3D-Modells unter Verwendung eines ersten trainierten neuronalen Netzwerks; und Bestimmen, unter Verwendung eines zweiten trainierten neuronalen Netzwerks, eines Randlinienvorschlags aus einer Basisrandlinie und der inneren Darstellung des digitalen 3D-Modells.
Medium nach Anspruch 15, wobei die Basisrandlinie einen oder mehrere digitale Punkte umfasst, die den Rand des digitalen Zahnpräparats definieren.
Das Medium nach Anspruch 15, wobei das digitale 3D-Modell eine 3D-Punktwolke ist.
Medium nach Anspruch 15, wobei das erste trainierte neuronale Netzwerk ein trainiertes hierarchisches neuronales Netzwerk („HNN“) umfasst.
Medium nach Anspruch 15, wobei das zweite trainierte neuronale Netzwerk ein neuronales Decoder-Netzwerk umfasst.
Medium nach Anspruch 15, wobei das erste trainierte neuronale Netzwerk und das zweite trainierte neuronale Netzwerk unter Verwendung eines Trainingsdatensatzes trainiert werden, der eine nicht getrimmte digitale Oberfläche des Kiefers und eine Zielrandlinie auf einer Oberfläche der entsprechenden getrimmten digitalen Oberfläche umfasst.