ES2903244A1 - Procedimiento para generacion de una cabeza y una dentadura virtuales en cuatro dimensiones - Google Patents

Procedimiento para generacion de una cabeza y una dentadura virtuales en cuatro dimensiones Download PDF

Info

Publication number
ES2903244A1
ES2903244A1 ES202030984A ES202030984A ES2903244A1 ES 2903244 A1 ES2903244 A1 ES 2903244A1 ES 202030984 A ES202030984 A ES 202030984A ES 202030984 A ES202030984 A ES 202030984A ES 2903244 A1 ES2903244 A1 ES 2903244A1
Authority
ES
Spain
Prior art keywords
model
patient
head
teeth
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
ES202030984A
Other languages
English (en)
Inventor
Artizzu Xavier P Burgos
Cascon Wenceslao Piedra
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movum Tech S L
Original Assignee
Movum Tech S L
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movum Tech S L filed Critical Movum Tech S L
Priority to ES202030984A priority Critical patent/ES2903244A1/es
Priority to PCT/ES2021/070695 priority patent/WO2022069775A1/es
Priority to EP21811107.8A priority patent/EP4224428A1/en
Priority to US18/023,906 priority patent/US20230260238A1/en
Publication of ES2903244A1 publication Critical patent/ES2903244A1/es
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00Dental prostheses; Making same
    • A61C13/34Making or working of models, e.g. preliminary castings, trial dentures; Dowel pins [4]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002Orthodontic computer assisted systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics

Abstract

Procedimiento para generación de una cabeza y una dentadura virtuales en cuatro dimensiones. Se refiere a la digitalización tridimensional de la cabeza de un paciente, de la región intraoral maxilar y mandibular, y de sus huesos, así como la integración del movimiento facial para simular el resultado estético final después de que se le haya realizado un tratamiento, que podría incluir cirugías, tratamientos ortodónticos y/o prostodónticos. Comprende las etapas de generación de un modelo virtual 3D de cabeza (2), generación de un modelo 3D de los dientes (4) del paciente, fusión y anclando del modelo 3D de la dentadura (4) dentro del modelo 3D de la cabeza (4), animación del modelo 3D de la cabeza (2) a partir de unas imágenes 2D (5) del paciente, animación del modelo 2D de los dientes (4) a partir de las imágenes 2D (5) del paciente, y fusión con el modelo 3D animado (6).

Description

DESCRIPCI N
PROCEDIMIENTO PARA GENERACIÓN DE UNA CABEZA Y UNA DENTADURA
VIRTUALES EN CUATRO DIMENSIONES
OBJETO DE LA INVENCIÓN
El procedimiento objeto de la presente invención pertenece al campo de la medicina, y se refiere específicamente al concepto de paciente virtual 4D (cuatro dimensiones). Este concepto, así como el procedimiento de la invención, incluye la digitalización tridimensional de la cabeza de un paciente, de la región intraoral maxilar y mandibular, y de sus huesos, así como la integración del movimiento facial para simular el resultado estético y funcional final antes de que se le haya realizado un tratamiento, que podría incluir cirugías, tratamientos ortodónticos y/o prostodónticos.
ANTECEDENTES DE LA INVENCIÓN
Actualmente, las rehabilitaciones orales implican un diagnóstico y una planificación de tratamiento integrales. La incorporación de referencias faciales asegura la integración de la rehabilitación protésica final con el rostro del paciente. Además, la visualización del resultado del tratamiento obtenido mediante la simulación tridimensional (3D) realizada antes del tratamiento mejora la comunicación con el paciente y entre los clínicos y los técnicos de laboratorio, aumentando la predictibilidad del resultado final.
Las referencias faciales pueden ser integradas en la cara del paciente usando fotografías 2D en diferentes posiciones o una reconstrucción facial 3D. Existen varias metodologías de escaneo facial en 3D, como la fotogrametría, la estereofotogrametría, el escaneo con rayo láser, el escaneo con luz estructurada y el escaneo dual con luz estructurada con sensores infrarrojos. La fotogrametría y la estereofotogrametría son métodos pasivos, mientras que las tecnologías de escaneo por rayo láser y escaneo con luz estructurada emplean sensores activos en 3D, donde los patrones de luz se proyectan en el tejido blando de la cara del paciente para ser capturados por una cámara de alta resolución o cámaras que utilizan una triangulación activa.
Los métodos activos y pasivos han demostrado ser precisos para obtener reconstrucciones faciales tridimensionales para su aplicación en la odontología. Un digitalizador facial genera un formato de archivo digital específico como los archivos de lenguaje de teselado estándar (STL), teselado con caras poligonales (OBJ) o triángulo de Stanford (PLY). Un archivo STL describe sólo la geometría de la superficie, mientras que los archivos OBJ y PLY incorporan información sobre la geometría, el color y la textura de la superficie, siendo estos últimos los archivos óptimos para las reconstrucciones faciales.
La alineación de los dientes del paciente en la cara debe hacerse con un dispositivo de posicionamiento extraoral conocido como scanbody, que se trata de un dispositivo utilizado como aditamento de transferencia, diseñado para establecer virtualmente la posición tridimensional de los maxilares, su orientación y su relación con estructuras anatómicas adyacentes. Sin embargo, los protocolos digitales actuales y los programas CAD disponibles sólo permiten importar imágenes 3D estáticas del rostro del paciente.
Este enfoque tiene varias limitaciones como:
- no se tiene en cuenta la dinámica facial y labial del paciente, lo que es crucial cuando se requieren tratamientos dentales, maxilofaciales o de medicina estética facial,
- la posición de la sonrisa digitalizada en 3D que se obtiene no es real, ya que el paciente necesita mantener esa posición durante los procedimientos de escaneo facial, y
- se necesitan varios escaneos faciales en 3D (posición normal, posición de reposo, posición de la sonrisa y posición del cuerpo del escáner) para virtualizar un paciente estático en 3D, lo que requiere mucho tiempo e implica una mala alineación entre las mallas.
Además, se ha propuesto utilizar un flujo de trabajo para estimar los movimientos faciales, pero se requieren varios escaneos faciales con diferentes expresiones faciales para integrar todos ellos en un software de ingeniería inversa. Este enfoque supone una novedad, pero no resuelve las limitaciones mencionadas.
DESCRIPCIÓN DE LA INVENCIÓN
El objeto de la presente invención, un procedimiento para generación de una cabeza y dentadura virtuales en cuatro dimensiones de un paciente, permite resolver las limitaciones de los procedimientos empleados hasta la fecha, que denominaremos modelos estáticos, y que se basan en realizar tres escaneados faciales del usuario: 1) escaneado facial en sonrisa, 2) escaneado facial en reposo, 3) escaneado facial con marcadores que permitan alinear el resto de escaneados faciales entre sí en la misma posición y que además permitan introducir los maxilares superior e inferior en su posición correcta.
Esta superposición de diferentes mallas 3D, utilizada en los modelos estáticos, con diferentes expresiones faciales del paciente, dan lugar a una imprecisión en la alineación y por tanto un acúmulo de errores en el proceso. Además, la sonrisa captada por el escáner facial es una sonrisa que el paciente ha de mantener unos 15-20 segundos, no siendo por tanto real.
Todos estos problemas se resuelven con el procedimiento objeto de la presente invención, que permite una reconstrucción completa de la cabeza de un usuario, tanto extraoral como su dentadura, generando un modelo en tres dimensiones completamente parametrizado, que después se podrá emplear en tratamientos dentales, maxilofaciales o de medicina estética facial. Además, permite animar dicho modelo, de manera que el paciente pueda ver su apariencia, antes y después, mientras lleva a cabo expresiones faciales reales.
Frente a los modelos estáticos, en el procedimiento objeto de invención solo se requiere de la realización de uno o dos escaneados faciales. En el caso de que se realicen dos escaneados faciales, uno de ellos será un escaneado en posición de serio del paciente con labios juntos y dientes en oclusión. En el caso de que se realice un único escaneado, este será un escaneado facial del paciente en posición de serio. En este último caso, es necesario registrar adicionalmente con un escáner intraoral la nariz y un posicionador en boca, generándose un archivo del conjunto nariz-posicionador, que posteriormente se superpone por alineación de mallas a la nariz y puente nasal del escaneado facial.
Luego, se graba un video, que podrá ser grabado o en directo, del paciente manteniendo una conversación y/o actuando de forma espontánea, mostrando por ejemplo su sonrisa y otras expresiones faciales, de forma natural. Para ello se transfieren movimientos faciales del video a la malla 3D creada tras los escaneados, permitiendo que ésta se mueva como si se tratase del paciente. Este protocolo permite obtener un paciente virtual dinámico, frente a las posiciones faciales estáticas y poco reales de los modelos estáticos.
Concretamente, el procedimiento comprende dos fases diferenciadas. La primera fase se realiza generalmente fuera de línea, y consiste en la preparación de los datos. Esta parte sólo tendría que realizarse una vez para cada paciente (por ejemplo, durante la primera visita del paciente). Estos datos se utilizan para la segunda fase, que puede realizarse en línea si se desea y puede repetirse tantas veces como se desee dados los diferentes vídeos de entrada (o imágenes en vivo) del paciente.
En la primera fase se preparan todos los datos necesarios para crear una réplica virtual 3D estática de la fisonomía del paciente, incluyendo su cabeza en una primera etapa y su dentadura en una segunda etapa. El modelo de la cabeza debe ser tan parecido al de la cabeza real como sea posible. La dentadura puede ser su dentadura actual (que necesita ser restaurada por alguna razón) o una dentadura completamente nueva diseñada desde cero (por ejemplo, los pacientes que han perdido sus dientes y necesitan una nueva dentadura).
Por lo tanto, en una primera etapa se genera un modelo virtual en 3D de la cabeza del paciente a partir de los datos obtenidos de un escaneo facial. El escaneo puede haber sido realizado con cualquier método conocido, incluyendo, pero no limitado a:
- un software de costura 3D para crear un modelo 3D a partir de varias fotos del paciente desde diferentes ángulos,
- un software de cosido en 3D que combina fotografías con información de profundidad proporcionada por una cámara de profundidad,
- un escáner 3D adecuado y su software asociado.
Por lo general, se utiliza un único modelo 3D de la cabeza, pero el procedimiento también puede aplicarse cuando se dispone de más modelos (por ejemplo, modelos 3D separados que representen las diferentes expresiones faciales del paciente para captar mejor cómo sonríe, etc.).
En una segunda etapa, se obtiene un modelo 3D de los dientes, pudiendo ser estos los dientes actuales del paciente o una recreación de sus dientes después de ser sometido a un tratamiento. El modelo incluye tanto los dientes superiores como los inferiores, así como información sobre su relación oclusal. Este modelo puede representar información de color (textura), al igual que el modelo de cabeza en 3D.
La información necesaria para construir el modelo se puede haber obtenido de varias maneras:
- escáner intraoral, o
- a través de impresiones convencionales con materiales de impresión reversibles o irreversibles y que posteriormente se digitalizan con un escáner de laboratorio o un escáner intraoral.
Una vez creados ambos modelos, en una tercera etapa, se fusionan, anclando la posición de la dentadura 3D dentro de la boca en la cabeza 3D. Esta posición inicial se utilizará como línea de base o posición de descanso y es la obtenida durante una expresión neutra del paciente, cuando se mira directamente frente a la cámara.
La fusión de ambos modelos puede realizarse tanto de forma manual como automática:
- Manualmente: utilizando un software de manipulación de mallas 3D para integrar manualmente ambas mallas de manera que los dientes estén en su posición natural.
- Automáticamente: usando la información de un dispositivo de posicionamiento de dientes (scanbody) usado durante los procedimientos de escaneo facial en 3D. Los dientes se registran en este dispositivo utilizando un material de impresión de polivinilo-siloxano. El paciente es digitalizado facialmente con este dispositivo colocado en la boca y en posiciones normales, de reposo y de sonrisa sin el cuerpo de escaneo. Luego, el dispositivo es digitalizado con un escáner de laboratorio o un escáner intraoral y finalmente todos estos archivos son importados en programas específicos de diseño clínico asistido (CAD) para alinear todas las mallas 3D obtenidas a través de puntos comunes para realizar la planificación digital sobre los dientes del paciente.
A continuación, comienza la segunda fase del procedimiento, en la que se simula el aspecto de la nueva dentadura del paciente (independientemente de que la reconstrucción realizada sea completa o parcial) y al mismo tiempo se captan los movimientos naturales reales como las expresiones faciales (sonreír, fruncir el ceño, etc.), el habla y los movimientos de la cabeza.
Los datos de entrada son los modelos 3D de la cabeza y la dentadura creados en la primera fase, junto con unas imágenes de video en 2D del paciente. Las imágenes 2D del paciente pueden grabarse con una cámara de vídeo estándar o un teléfono móvil, por ejemplo, y puede ser tanto grabado previamente (un vídeo) como en tiempo real.
El paciente se pondrá de cara a la cámara y representará libremente cualquier acción que desee (expresiones faciales, habla, movimientos de la cabeza, etc.). Estos movimientos se reflejarán entonces en un nuevo vídeo simulado (o en tiempo real) para que el paciente pueda ver cómo cada uno de sus movimientos se traduce de nuevo al modelo de cabeza y dentadura, viendo cómo será la reconstrucción de los dientes. Para ello, la segunda fase comprende una serie de etapas.
En una primera etapa, se obtiene una animación del modelo 3D de la cabeza, basado en el las imágenes 2D de entrada. Dado un video de entrada (o material en tiempo real), compuesto de cuadros individuales (imágenes en color 2D de la cara del paciente), en esta etapa se "anima" la malla de la cabeza 3D en consecuencia. El resultado es un modelo 3D animado que imita el movimiento visto en la imagen 2D, tanto en la posición general de la cabeza como en la fisonomía facial.
A continuación, en una segunda etapa, se realiza el posicionamiento del modelo 3D de los dientes en el modelo animado. Para ello, una vez que el modelo 3D de la cabeza ha sido animado para reflejar la acción representada en la imagen 2D del paciente, el modelo de dientes 3D debe moverse en consecuencia, teniendo en cuenta el movimiento de la mandíbula y el maxilar de los labios. Teniendo en cuenta la línea de base o la posición de "reposo" de los dientes (calculada fuera de línea), puede calcularse cuánto movimiento debe aplicarse a la parte superior e inferior de la dentadura en función de cuánto movimiento han sufrido (maxilar y labio superior para la dentadura superior, mandíbula y labio inferior para la dentadura inferior) en comparación con el modelo 3D de la cabeza.
Finalmente, el procedimiento puede comprender una etapa de pintura 2D, adición de texturas y creación de un resultado final realista. Para ello, una vez que los modelos 3D de la cabeza y los dientes están en su lugar, se realiza una representación final de la escena 3D y se proyecta de nuevo en 2D. La proyección se realiza de tal manera que el modelo final tiene un tamaño y una posición similares a los que se ven en el vídeo 2D de entrada, para hacer la simulación más realista y estéticamente plausible en comparación con la entrada.
El procedimiento de la presente invención podría ser utilizado por cualquier odontólogo, ó médico c para virtualizar dinámicamente a sus pacientes y utilizarlo como herramienta de planificación y marketing. No obstante, los profesionales que más se beneficiarían serían los protésicos dentales, ya que podrían tener en el ordenador al usuario virtualizado y con la dinámica facial integrada permitiendo individualizar las rehabilitaciones orales a cada paciente teniendo en cuenta su mímica facial y dinámica mandibular. También puede ser útil en otros ámbitos médicos como operaciones estéticas, y por otro tipo de reconstrucciones faciales no directamente relacionadas con la odontología.
Por lo tanto, el procedimiento de la invención presenta las siguientes ventajas:
- ahorro de tiempo comparado con los protocolos actuales,
- tecnología fácil de utilizar e implementar (“user-friendly”),
- transferencia del movimiento facial real del paciente a mallas 3D faciales estáticas, y
- disminución de errores de alineación entre mallas.
DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Muestra un diagrama de flujo de la primera fase del procedimiento, la preparación de datos.
Figura 2.- Muestra un diagrama de flujo de la segunda fase del procedimiento, la animación de los modelos 3D de cabeza y dentadura.
Figura 3.- Muestra un diagrama de flujo de las etapas de animación del modelo 3D a partir del video 2D del paciente.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
Se describe a continuación, con ayuda de las figuras 1 a 3, una realización preferente del procedimiento para generación de una cabeza y una dentadura virtuales en cuatro dimensiones.
El procedimiento tiene dos fases diferenciadas. La primera, se muestra en la figura 1, y la segunda en la figura 2. La primera fase se realiza fuera de línea, una única vez por cada paciente, y consiste en la preparación de los datos. El resultado de la primera fase es un modelo 3D de la cabeza (2) del paciente, así como un modelo 3D de su dentadura (4). Estos modelos (2, 4) se utilizan para la segunda fase del procedimiento, que se realiza en línea y puede repetirse tantas veces como se desee.
Dentro de la primera fase, el procedimiento comprende una primera etapa, en la que se genera el modelo virtual 3D de la cabeza (2) del paciente, a partir de unas fotografías o un escáner 3D de la cabeza del paciente, tal y como se muestra en la figura 1.
El modelo 3D de la cabeza (2) es una malla triangular estándar 3D (vértices 3D, caras y normales). El modelo de la cabeza (2) también comprende información de color (textura). Para obtener este modelo, se utilizan unos datos obtenidos a partir de un escaneo facial del paciente.
Por lo general, se utiliza un único modelo 3D de la cabeza (2), pero el procedimiento también puede aplicarse cuando se dispone de más modelos (por ejemplo, tener modelos 3D separados que representen las diferentes expresiones faciales del paciente para captar mejor cómo sonríe, etc.).
En una segunda etapa de la primera fase, se obtiene un modelo 3D de los dientes (4) del paciente que se usarán para la reconstrucción. De nuevo, este modelo (4) es una malla triangular regular compuesta de posiciones de vértices 3D, caras y normales. El modelo 3D de los dientes incluye los dientes superiores e inferiores como dos mallas separadas y su información de relación oclusal. Este modelo puede representar información de color (textura), al igual que el modelo de cabeza en 3D.
El modelo se obtiene a partir de unos datos de la disposición de los dientes (3), que por su parte puede haber obtenido utilizando un escáner intraoral o a través de impresiones convencionales con materiales de impresión reversibles o irreversibles y que posteriormente se digitalizan con un escáner de laboratorio o un escáner intraoral.
Posteriormente, sobre el modelo 3D de la dentadura (4) se utilizan programas específicos de CAD para realizar procedimientos de encerado digital, movimientos ortodónticos o planificar cirugías para cada paciente. Este flujo de trabajo se realiza en todos los casos en que el paciente necesita algún tratamiento dental en el área estética o cuando hay que realizar una rehabilitación oral.
Una vez creados ambos modelos (2, 4), en una tercera etapa se fusionan juntos, anclando la posición de la malla del modelo 3D de la dentadura (4) dentro de la boca en la malla del modelo 3D de la cabeza. Esta posición inicial se utilizará como línea de base o posición de descanso durante una expresión neutra, cuando se mira directamente frente a la cámara.
En la segunda fase del procedimiento, que se muestra en la figura 2, se simula el aspecto de la nueva dentadura del paciente (independientemente de que la reconstrucción realizada sea completa o parcial) y al mismo tiempo se captan los movimientos naturales reales como las expresiones faciales (sonreír, fruncir el ceño, etc.), el habla y los movimientos de la cabeza.
Los datos de entrada son los modelos 3D de la cabeza y la dentadura (2, 4) creados en la primera fase, y unas imágenes 2D (5) del paciente. Las imágenes 2D (5) puedes haberse obtenido con una cámara de vídeo estándar o un teléfono móvil, y puede ser tanto grabado previamente (un vídeo) como en tiempo real. Pueden recoger cualquier acción que haya decidido realizar el paciente (expresiones faciales, habla, movimientos de la cabeza, etc.).
En esta segunda fase del procedimiento, los movimientos que realiza el paciente en las imágenes 2D (5) se reflejan en un nuevo vídeo de simulación (8) (o en tiempo real) para que el paciente pueda ver cómo cada uno de sus movimientos se traduce de nuevo a un modelo 3D completo (7), viendo cómo será la reconstrucción de los dientes. Para lograr esto, la segunda fase comprende una seria de etapas.
La primera etapa, consiste en la animación del modelo 3D de la cabeza (2) utilizando las imágenes 2D (5). Dado el video 2D (5) (o material en tiempo real), compuesto de cuadros individuales (imágenes en color 2D de la cara del paciente), en esta etapa se "anima" la malla del modelo de la cabeza 3D (2) en consecuencia. La figura 3 muestra un esquema del método propuesto.
Las entradas son el video 2D (5) y el modelo 3D de la cabeza (2). La salida es un modelo 3D animado (6) que imita el movimiento visto en el video 2D (5), tanto en la posición general de la cabeza como en la fisonomía facial
Esto se realiza a través de dos pasos separados, que se detallan en la figura 3. Primero, usando técnicas de reconocimiento facial, se estima la posición y el movimiento en el video 2D (5), y se transfieren esos movimientos a un modelo genérico (9) de cabeza 3D. Se pueden utilizar varios enfoques para lograr esto. Por ejemplo, un método de estimación de puntos de referencia faciales puede producir movimientos faciales en 2D o directamente en 3D y éstos pueden utilizarse para animar un modelo, o un enfoque más directo puede utilizarse para aprender directamente las relaciones entre las imágenes 2D y los modelos 3D, a través de enfoques de aprendizaje en profundidad.
Segundo, se transfiere el movimiento del modelo genérico (9) al modelo 3D de cabeza (2) específico del paciente. Esto se logra a través de álgebra 3D y técnicas de triangulación.
Una vez que el modelo 3D de la cabeza (2) ha sido animado para reflejar la acción representada en las imágenes 2D (5) en cuestión, el modelo de dientes 3D (4) debe moverse en consecuencia, teniendo en cuenta el movimiento de la mandíbula y el maxilar de los labios.
Teniendo en cuenta la línea de base o la posición de "reposo" de los dientes (calculada fuera de línea), se calcula cuánto movimiento debe aplicarse a la parte superior e inferior de la dentadura en función de cuánto movimiento han sufrido (maxilar y labio superior para la dentadura superior, mandíbula y labio inferior para la dentadura inferior) en comparación con el modelo 3D de la cabeza (2) de base para cada fotograma del video 2D (5).
Por último, tal y como se muestra en la figura 2, una vez que los modelos 3D de la cabeza y los dientes (2, 4) están en su lugar, se realiza una representación final de un modelo 3D completo (7) y se proyecta de nuevo en 2D, obteniéndose un video de simulación (8). La proyección se realiza de tal manera que el video de simulación (8) final tiene un tamaño y una posición similares a los que se ven en el vídeo 2D (5) del paciente, para hacer la simulación más realista y estéticamente plausible en comparación con la entrada.
ll

Claims (13)

REIVINDICACIONES
1. - Procedimiento para generación de una cabeza y dentadura virtuales de un paciente, que comprende las etapas de:
- preparación de datos, que a su vez comprende las etapas de:
o generación de un modelo virtual 3D de la cabeza (2), a partir de unas imágenes del paciente (1),
o generación de un modelo virtual 3D de los dientes (4) del paciente, a partir de unos datos de la disposición de los dientes (3) del paciente, o fusión y anclando del modelo virtual 3D de los dientes (4) dentro del modelo virtual 3D de la cabeza (4) en una posición de descanso, - simulación de movimiento de los modelos virtuales (2, 4), que a su vez comprende las etapas de:
o animación del modelo 3D de la cabeza (2) a partir de unas imágenes 2D (5) del paciente, obteniéndose un modelo 3D animado (6) de la cabeza del paciente,
o animación del modelo 3D de los dientes (4) a partir de las imágenes 2D (5) del paciente, y
o fusión con el modelo 3D animado (6), obteniéndose un modelo 3D animado completo (7).
2. - El procedimiento de la reivindicación 1, en el que las imágenes del paciente para el modelo virtual 3D de la cabeza (4) son unas imágenes seleccionadas entre unas fotografías, un video y un escáner 3D de la cabeza del paciente.
3. - El procedimiento de la reivindicación 1, en el que el modelo 3D de los dientes (4) comprende un modelo de los dientes superiores, un modelo de los dientes inferiores y su información de relación oclusal.
4. - El procedimiento de la reivindicación 1, en el que los datos de la disposición de los dientes (3) del paciente son obtenidos a través de un escáner intraoral y/o a través de impresiones digitalizadas.
5. - El procedimiento de la reivindicación 1, en el que la etapa de preparación de datos comprende adicionalmente una etapa en la que, sobre el modelo virtual 3D de los dientes (4) se realizan procedimientos de encerado digital, movimientos ortodónticos y/o planificación de cirugías.
6. - El procedimiento de la reivindicación 1, en el que las imágenes 2D (5) son un video pregrabado del paciente.
7. - El procedimiento de la reivindicación 1, en el que las imágenes 2D (5) son unas imágenes del paciente a tiempo real.
8. - El procedimiento de la reivindicación 1, en el que la etapa de animación del modelo 3D de la cabeza (2) a partir de unas imágenes 2D (5) del paciente, comprende las siguientes subetapas:
- estimación, con técnicas de reconocimiento facial, de una información sobre posición y movimiento en las imágenes 2D (5),
- transferencia de la información a un modelo genérico (9) de cabeza 3D, y
- transferencia del movimiento del modelo genérico (9) al modelo 3D de cabeza (2) del paciente.
9. - El procedimiento de la reivindicación 1, en el que en la animación del modelo 2D de los dientes (4) a partir de las imágenes 2D (5) del paciente se considera la posición de descanso del modelo virtual 3D de la cabeza (4) y se calcula cuánto movimiento debe aplicarse al modelo virtual 3D de los dientes (4) en función de cuánto movimiento han sufrido en comparación con las imágenes 2D (5).
10. - El procedimiento de la reivindicación 1, que comprende adicionalmente una etapa de pintura y adición de texturas sobre el modelo 3D completo (7).
11. - El procedimiento de la reivindicación 1, que comprende adicionalmente una etapa final de proyección del modelo 3D completo (7) en 2D, obteniéndose un video de simulación (8).
12. - El procedimiento de la reivindicación 1, en el que la etapa de fusión y anclando del modelo 3D de la dentadura (4) dentro del modelo 3D de la cabeza (4) se realiza manualmente.
13. - El procedimiento de la reivindicación 1, en el que la etapa de fusión y anclando del modelo 3D de la dentadura (4) dentro del modelo 3D de la cabeza (4) se realiza automáticamente.
ES202030984A 2020-09-30 2020-09-30 Procedimiento para generacion de una cabeza y una dentadura virtuales en cuatro dimensiones Pending ES2903244A1 (es)

Priority Applications (4)

Application Number Priority Date Filing Date Title
ES202030984A ES2903244A1 (es) 2020-09-30 2020-09-30 Procedimiento para generacion de una cabeza y una dentadura virtuales en cuatro dimensiones
PCT/ES2021/070695 WO2022069775A1 (es) 2020-09-30 2021-09-27 Procedimiento para generación de una cabeza y una dentadura virtuales en cuatro dimensiones
EP21811107.8A EP4224428A1 (en) 2020-09-30 2021-09-27 Method for generating a virtual 4d head and teeth
US18/023,906 US20230260238A1 (en) 2020-09-30 2021-09-27 Method for Generating a Virtual 4D Head and Teeth

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES202030984A ES2903244A1 (es) 2020-09-30 2020-09-30 Procedimiento para generacion de una cabeza y una dentadura virtuales en cuatro dimensiones

Publications (1)

Publication Number Publication Date
ES2903244A1 true ES2903244A1 (es) 2022-03-31

Family

ID=78709486

Family Applications (1)

Application Number Title Priority Date Filing Date
ES202030984A Pending ES2903244A1 (es) 2020-09-30 2020-09-30 Procedimiento para generacion de una cabeza y una dentadura virtuales en cuatro dimensiones

Country Status (4)

Country Link
US (1) US20230260238A1 (es)
EP (1) EP4224428A1 (es)
ES (1) ES2903244A1 (es)
WO (1) WO2022069775A1 (es)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の3次元モデルの作成方法及びその変形方法
US20040015327A1 (en) * 1999-11-30 2004-01-22 Orametrix, Inc. Unified workstation for virtual craniofacial diagnosis, treatment planning and therapeutics
US20090153554A1 (en) * 2007-12-17 2009-06-18 Electronics And Telecommunications Research Institute Method and system for producing 3D facial animation
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
US20130215113A1 (en) * 2012-02-21 2013-08-22 Mixamo, Inc. Systems and methods for animating the faces of 3d characters using images of human faces
US20170312064A1 (en) * 2014-10-20 2017-11-02 Modjaw Method and system for modeling the mandibular kinematics of a patient
US10198845B1 (en) * 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
CN110200710A (zh) * 2019-04-17 2019-09-06 广东工业大学 一种基于三维成像与实时建模的口腔修复方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7156655B2 (en) * 2001-04-13 2007-01-02 Orametrix, Inc. Method and system for comprehensive evaluation of orthodontic treatment using unified workstation
AU2015221370A1 (en) * 2014-02-21 2016-09-15 Trispera Dental Inc. Augmented reality dental design method and system
CN107657664B (zh) * 2017-08-17 2020-07-10 上海交通大学 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备
CN108961369B (zh) * 2018-07-11 2023-03-17 厦门黑镜科技有限公司 生成3d动画的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015327A1 (en) * 1999-11-30 2004-01-22 Orametrix, Inc. Unified workstation for virtual craniofacial diagnosis, treatment planning and therapeutics
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の3次元モデルの作成方法及びその変形方法
US20090153554A1 (en) * 2007-12-17 2009-06-18 Electronics And Telecommunications Research Institute Method and system for producing 3D facial animation
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
US20130215113A1 (en) * 2012-02-21 2013-08-22 Mixamo, Inc. Systems and methods for animating the faces of 3d characters using images of human faces
US20170312064A1 (en) * 2014-10-20 2017-11-02 Modjaw Method and system for modeling the mandibular kinematics of a patient
US10198845B1 (en) * 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
CN110200710A (zh) * 2019-04-17 2019-09-06 广东工业大学 一种基于三维成像与实时建模的口腔修复方法

Also Published As

Publication number Publication date
WO2022069775A1 (es) 2022-04-07
EP4224428A1 (en) 2023-08-09
US20230260238A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
Harris et al. Creation of a 3-dimensional virtual dental patient for computer-guided surgery and CAD-CAM interim complete removable and fixed dental prostheses: a clinical report
US10166088B2 (en) Unified three dimensional virtual craniofacial and dentition model and uses thereof
ES2717447T3 (es) Creación asistida por ordenador de una preparación de diente habitual usando análisis facial
US20150305830A1 (en) Tooth positioning appliance and uses thereof
US8113829B2 (en) Unified workstation for virtual craniofacial diagnosis, treatment planning and therapeutics
ES2941344T3 (es) Procedimiento y sistema de modelización de la cinemática mandibular de un paciente
ES2731900T3 (es) Sistema para la planificación, visualización y optimización de restauraciones dentales
ES2944305T3 (es) Disposición de imágenes en 2D
US8177551B2 (en) Method and system for comprehensive evaluation of orthodontic treatment using unified workstation
Granata et al. Incorporating a facial scanner into the digital workflow: A dental technique
US20160166362A1 (en) Multiple bite configurations
Jreige et al. Esthetic treatment planning with digital animation of the smile dynamics: A technique to create a 4-dimensional virtual patient
Gallucci et al. Digital Workflows in Implant Dentistry
US11654002B2 (en) Method for determining and visualizing tooth movements and planned instances of tooth repositioning
ES2903244A1 (es) Procedimiento para generacion de una cabeza y una dentadura virtuales en cuatro dimensiones
Yumashev et al. The use of digital technologies for teaching dentistry
Chitlange et al. Digital Smile Design-An Overview of 3D Digital Workflow
CN114343906B (zh) 咬合垂直距离的获取方法、装置、介质及电子设备
Hack et al. Digital impressions
Lin et al. Virtual Articulators
ES2877219T3 (es) Disposición de imágenes en 2D
Dashtevski et al. Dental scanners in prosthodontics
TWM621798U (zh) 使用深度學習的假牙設計之模擬系統
RU2508068C1 (ru) Способ создания трехмерного дизайн-проекта краевого пародонта
Shin Digital Communication in Three Perspectives.

Legal Events

Date Code Title Description
BA2A Patent application published

Ref document number: 2903244

Country of ref document: ES

Kind code of ref document: A1

Effective date: 20220331

FC2A Grant refused

Effective date: 20221122