BR112020012292A2 - previsão automatizada de formato de raiz 3d com o uso de métodos de aprendizado profundo - Google Patents
previsão automatizada de formato de raiz 3d com o uso de métodos de aprendizado profundo Download PDFInfo
- Publication number
- BR112020012292A2 BR112020012292A2 BR112020012292-0A BR112020012292A BR112020012292A2 BR 112020012292 A2 BR112020012292 A2 BR 112020012292A2 BR 112020012292 A BR112020012292 A BR 112020012292A BR 112020012292 A2 BR112020012292 A2 BR 112020012292A2
- Authority
- BR
- Brazil
- Prior art keywords
- voxel
- neural network
- data
- deep neural
- representation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000013135 deep learning Methods 0.000 title claims abstract description 63
- 238000013528 artificial neural network Methods 0.000 claims abstract description 281
- 238000012545 processing Methods 0.000 claims abstract description 65
- 230000004913 activation Effects 0.000 claims abstract description 45
- 238000001994 activation Methods 0.000 claims abstract description 45
- 210000000515 tooth Anatomy 0.000 claims description 288
- 238000012549 training Methods 0.000 claims description 94
- 230000008569 process Effects 0.000 claims description 64
- 210000001847 jaw Anatomy 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 34
- 238000007781 pre-processing Methods 0.000 claims description 28
- 210000005036 nerve Anatomy 0.000 claims description 27
- 230000036346 tooth eruption Effects 0.000 claims description 27
- 210000004513 dentition Anatomy 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 210000001519 tissue Anatomy 0.000 claims description 4
- 210000004373 mandible Anatomy 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 115
- 230000011218 segmentation Effects 0.000 description 41
- 238000013527 convolutional neural network Methods 0.000 description 36
- 238000012805 post-processing Methods 0.000 description 25
- 210000002455 dental arch Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 241000282465 Canis Species 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 210000000332 tooth crown Anatomy 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000004763 bicuspid Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000004262 dental pulp cavity Anatomy 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 210000004283 incisor Anatomy 0.000 description 2
- 239000002346 layers by function Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 206010043183 Teething Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000004195 gingiva Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4085—Cone-beams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- High Energy & Nuclear Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
A invenção se refere a um método implantado por computador para previsão automatizada de formato da raiz 3D que compreende: um pré-processador receber dados 3D que definem pelo menos uma representação 3D de um dente e processar os dados 3D, sendo que o processamento inclui: transformar pelo menos parte dos dados 3D em uma representação de voxel de uma coroa, em que a representação de voxel define um espaço de voxel que se ajusta ao espaço de entrada de uma primeira rede neural profunda 3D executada em um computador; em que o pré-processador fornece a representação de voxel da coroa para a entrada da rede neural profunda 3D, em que a rede neural profunda 3D é treinada com base em dados clínicos 3D que definem representações 3D de dentes reais; em que a primeira rede neural profunda 3D gera uma representação de voxel de uma raiz prevista ou um dente completo que compreende a raiz prevista com base na representação de voxel da coroa, em que a geração da representação de voxel da raiz prevista ou do dente completo inclui: determinar ativações de voxel para voxels em um espaço de voxel da saída da rede de aprendizado profundo 3D, sendo que cada ativação de voxel representa uma medida de probabilidade que define a probabilidade de um voxel fazer parte da raiz ou do dente completo; e, determinar se uma ativação de voxel faz parte da raiz ou do dente completo, comparando-se a ativação de voxel com um valor limiar de ativação de voxel.
Description
Relatório Descritivo da Patente de Invenção para “PREVISÃO AUTOMATIZADA DE FORMATO DE RAIZ 3D COM O USO DE MÉTODOS DE APRENDIZADO PROFUNDO”
[001] A invenção refere-se à previsão automatizada de formato de raiz 3D com o uso de métodos de aprendizado profundo e, em particular, embora não exclusivamente, a sistemas e métodos para previsão automatizada de formato de raiz 3D com o uso de aprendizado profundo, um método para treinar essa rede neural de aprendizado profundo, e um produto de programa de computador para usar esse método.
[002] A modelagem confiável de dentes desempenha um papel muito importante em muitas aplicações odontológicas, incluindo (mas não limitadas a) sistemas ortodônticos assistidos por computador e de simulação de tratamento odontológico. Por exemplo, na periodontologia, o diagnóstico e o tratamento estão diretamente relacionados à anatomia das raízes; no planejamento de tratamento ortodôntico, a configuração da raiz, o formato da raiz e a razão osso-raiz têm um enorme impacto na biomecânica do tratamento, na exodontia, o campo de extração de dentes, é essencial o conhecimento do formato das raízes e na endodontia, os canais radiculares e o tratamento associado de canal radicular, estão diretamente relacionados à anatomia da raiz e à configuração radicular.
[003] Um modelo 3D preciso de um dente completo, ou seja, um modelo que inclua tanto a coroa quanto a raiz, pode ser obtido com o uso de técnicas adequadas de varredura por TC 3D com base em raios X tais como a Tomografia Computadorizada de Feixe Cônico (TCFC). No entanto, dados precisos de TC 3D de um paciente e software para processar esses dados de TC 3D em uma representação de um modelo 3D de dente completo nem sempre estão disponíveis. Um sistema de imagem 3D com base em raios X é um sistema caro que nem sempre está disponível para um especialista em odontologia. Além disso, em geral, existe uma necessidade de manter ao mínimo a exposição dos pacientes à radiação. Portanto, são desenvolvidos sistemas que são capazes de determinar uma representação 3D de um dente completo com base apenas na parte visual de um dente, a coroa.
[004] Por exemplo, o documento US8639477 descreve um sistema para a modelagem 3D de um dente completo, no qual um modelo matemático de um dente de referência (uma malha de superfície 3D parametrizada) é correspondido com base em parâmetros e transformado com base nos dados de imagem 3D de uma coroa do dente do paciente. Atualmente, esses dados de imagem 3D da coroa podem ser facilmente obtidos com o uso de um escâner de dentes óptico intraoral. No esquema do documento US8639477, as informações de formato da coroa são usadas para remodelar um modelo de dente 3D genérico, incluindo o formato da raiz. De maneira similar, o documento US8135569 descreve um sistema para modelagem 3D de um dente completo através da utilização de um método com base em ponto de referência, transformando um dente de referência, com base em dados de imagem de uma coroa do paciente e, opcionalmente, dados de raios X do dente do paciente. Os dados de raios X permitem reduzir discrepâncias entre o formato da raiz do modelo de dente 3D genérico transformado e o formato real da raiz do dente do paciente, de modo que uma aproximação 3D aprimorada do dente completo possa ser determinada.
[005] Essas técnicas de modelagem 3D conhecidas são com base na morfologia da coroa, que é um campo específico da tecnologia odontológica que examina a relação entre um número limitado de características macroscópicas (dimensões da coroa, formato da coroa, etc.) de um dente e a forma de sua raiz. Tais relações podem ser usadas para definir um modelo de referência matemática que é usado para aproximar o formato da raiz com base nas características da coroa. Embora os sistemas da técnica anterior possam fornecer uma aproximação de um modelo 3D de uma raiz com base nas informações da coroa, a precisão e a confiabilidade de tal aproximação são limitadas e adicionalmente podem exibir desvios relativamente grandes quando comparados com o formato anatômico real da raiz. Além disso, a aproximação pode ser confiável apenas até certo ponto se modelos de referência 3D específicos forem usados para classes específicas, tanto para classes de dentes específicas (por exemplo, molares, caninos, bicúspides), quanto para classes que descrevam o paciente (por exemplo, idade, sexo). Tal abordagem exigiria o desenvolvimento de um modelo de referência matemática específico para cada classe específica de dente/paciente.
[006] Um problema adicional da técnica anterior é que, ao construir um dente completo 3D com base no modelo de raiz 3D estimado e no modelo de coroa 3D, as superfícies na área de transição entre a raiz prevista e a coroa original podem exigir suavização adicional e/ou outro processamento que possa introduzir alterações no formato do dente 3D completo que se desviem do formato anatômico real do dente. Além disso, vale ressaltar que, para ser preciso, os sistemas descritos acima podem exigir informações adicionais além dos dados de imagem 3D da coroa, tais como as classes aplicáveis (no domínio do dente e do paciente) e imagens de raios X.
[007] Atualmente, no campo de imaginologia, em particular imaginologia médica, técnicas mais avançadas, tais como técnicas de aprendizagem profunda podem ser utilizadas para modelagem 3D. Essas redes neurais são treinadas para aprender as características que representam otimamente aspectos relevantes nos dados. Esses algoritmos de aprendizado profundo incluem uma rede neural profunda multicamada que transforma dados de entrada em saídas enquanto aprende características de nível cada vez mais alto. Um modelo de rede neural bem-sucedido para análise de imagens é a chamada rede neural convolucional (CNN). As CNNs contêm muitas camadas que transformam sua entrada com o uso de núcleos, também conhecidos como filtros de convolução, que consistem em uma matriz de tamanho relativamente pequeno. Uma visão geral do uso de CNNs para imaginologia médica pode ser encontrada no artigo de Litjens et al., A Survey on Deep Learning in Medical Image Analysis, publicado em 21 de fevereiro de 2017 arXiv (enviado para Computer Vision and Pattern Recognition).
[008] A precisão e a confiabilidade de uma rede neural profunda treinada dependem muito da qualidade e quantidade dos dados que são usados para treinar a rede neural. A Tomografia Computadorizada de Feixe Cônico (TCFC) é a técnica de imaginologia 3D mais usada em aplicações odontológicas e, em princípio, uma grande quantidade de conjuntos de dados de TCFC contendo estruturas dentomaxilofaciais 3D estão disponíveis para o treinamento de uma rede neural. A análise de imagem dos dados de imagem de TCFC e a geração de uma grande quantidade de dados de treinamento de alta qualidade com base nesses dados de imagem de TCFC, no entanto, representam um problema substancial. Nas varreduras de TCFC, a densidade do rádio, medida em Unidades de Hounsfield (HUs), não é consistente porque áreas diferentes na varredura aparecem com valores de escala de cinza diferentes, dependendo de suas posições relativas no órgão sendo digitalizado. As HUs medidas da mesma área anatômica com os escâneres tanto de TCFC quanto TC de classe médica não são idênticas e, portanto, não são confiáveis para a determinação da densidade medida identificada radiograficamente específica do local.
[009] Além disso, considerando novamente o problema da disponibilidade de dados de treinamento precisos e suficientes, os sistemas de TCFC para varredura de estruturas dentomaxilofaciais não empregam um sistema padronizado para colocar em escala os níveis de cinza que representam os valores de densidade reconstruídos. Esses valores são arbitrários e, na ausência de tal padronização, é difícil interpretar os níveis de cinza ou mesmo impossível comparar os valores resultantes de máquinas diferentes. Além disso, as raízes dos dentes e a estrutura óssea (ou estruturas ósseas) da mandíbula têm densidades semelhantes, tornando difícil para um computador distinguir entre voxels que pertencem a dentes e voxels que pertencem a uma mandíbula. Além disso, os sistemas de TCFC são muito sensíveis ao chamado endurecimento do feixe, que produz faixas escuras entre dois objetos de alta atenuação (tal como metal ou osso), com faixas brilhantes ao redor.
[010] Os problemas acima mencionados tornam muito difícil a realização de um sistema de aprendizado profundo (suficientemente treinado) que seja capaz de previsão automatizada de formato da raiz 3D com base nas informações da coroa 3D. Portanto, existe uma necessidade na técnica de sistemas de computador que sejam capazes de gerar automaticamente uma previsão anatomicamente precisa de formatos de raiz 3D com base nos dados de imagem dos formatos de coroa 3D.
[011] Como será reconhecido por uma pessoa versada na técnica, os aspectos da presente invenção podem ser concretizados como um sistema, método ou produto de programa de computador. Por conseguinte, os aspectos da presente invenção podem assumir a forma de uma modalidade inteiramente de hardware, uma modalidade inteiramente de software (incluindo firmware, software residente, microcódigo, etc.) ou uma modalidade que combina aspectos de software e hardware que geralmente podem ser denominados no presente documento como um “circuito”, “módulo” ou “sistema”. As funções descritas nesta revelação podem ser implantadas como um algoritmo executado por um microprocessador de um computador. Além disso, os aspectos da presente invenção podem assumir a forma de um produto de programa de computador incorporado em uma ou mais mídias legíveis por computador com código de programa legível por computador incorporado, por exemplo, armazenado nas mesmas.
[012] Qualquer combinação de uma ou mais mídias legíveis por computador pode ser utilizada. A mídia legível por computador pode ser uma mídia de sinal legível por computador ou uma mídia de armazenamento legível por computador. Uma mídia de armazenamento legível por computador pode ser, por exemplo, porém, sem limitação, um sistema, aparelho ou dispositivo eletrônico, magnético, óptico, eletromagnético, infravermelho ou semicondutor, ou qualquer combinação adequada dos anteriores. Exemplos mais específicos (uma lista não exaustiva) da mídia de armazenamento legível por computador incluem o seguinte: uma conexão elétrica com um ou mais fios, um disquete de computador portátil, um disco rígido, uma memória de acesso aleatório (RAM), uma memória somente de leitura (ROM), uma memória somente leitura programável apagável (EPROM ou memória Flash), uma fibra óptica, uma memória somente de leitura de disco compacto portátil (CD-ROM), um dispositivo de armazenamento óptico, um dispositivo de armazenamento magnético ou qualquer combinação adequada dos anteriores. No contexto deste documento, uma mídia de armazenamento legível por computador pode ser qualquer mídia tangível que possa conter ou armazenar um programa para uso por ou em conexão com um sistema, aparelho ou dispositivo de execução de instruções.
[013] Uma mídia de sinal legível por computador pode incluir um sinal de dados propagado com código de programa legível por computador incorporado no mesmo, por exemplo, na banda de base ou como parte de uma onda portadora. Esse sinal propagado pode assumir qualquer uma de uma variedade de formas, incluindo, porém, sem limitação, eletromagnético, óptico ou qualquer combinação adequada dos mesmos. Uma mídia de sinal legível por computador pode ser qualquer mídia legível por computador que não seja uma mídia de armazenamento legível por computador e que possa comunicar, propagar ou transportar um programa para uso por ou em conexão com um sistema, aparelho ou dispositivo de execução de instruções.
[014] O código do programa incorporado em uma mídia legível por computador pode ser transmitido com o uso de qualquer mídia apropriada, incluindo, porém, sem limitação, rede sem fio, linha telefônica, fibra óptica, cabo, RF, etc., ou qualquer combinação adequada dos itens anteriores. O código de programa de computador para realizar operações para aspectos da presente invenção pode ser escrito em qualquer combinação de uma ou mais linguagens de programação, incluindo uma linguagem de programação funcional ou orientada a objetos, tal como Java (TM), Scala, C++, Python ou similares e linguagens de programação procedurais convencionais, tais como a linguagem de programação “C” ou linguagens de programação semelhantes. O código de programa pode realizar inteiramente no computador do usuário, parcialmente no computador do usuário, como um pacote de software autônomo, parcialmente no computador do usuário e, em parte, em um computador remoto, ou inteiramente no computador remoto, servidor ou servidor virtualizado. No último cenário, o computador remoto pode ser conectado ao computador do usuário através de qualquer tipo de rede, incluindo uma rede de área local (LAN) ou uma rede de área ampla (WAN), ou a conexão pode ser feita a um computador externo (por exemplo, através da Internet com o uso de um Provedor de Serviços de Internet).
[015] Aspectos da presente invenção são descritos abaixo com referência às ilustrações de fluxograma e/ou diagramas de blocos de métodos, aparelhos (sistemas), e produtos de programa de computador de acordo com modalidades da invenção. Será entendido que cada bloco das ilustrações de fluxograma e/ou diagramas de blocos e combinações de blocos nas ilustrações de fluxograma e/ou diagramas de blocos, podem ser implantados por instruções do programa de computador. Essas instruções do programa de computador podem ser fornecidas a um processador, em particular um microprocessador ou unidade central de processamento (CPU) ou unidade de processamento gráfico (GPU), de um computador de propósito geral, computador de propósito especial ou outro aparelho de processamento de dados programável para produzir uma máquina, de modo que as instruções que executam por meio do processador do computador, outro aparelho de processamento de dados programável ou outros dispositivos criem meios para implantar as funções/atos especificados no bloco ou blocos de fluxograma e/ou diagrama de blocos.
[016] Essas instruções do programa de computador também podem ser armazenadas em uma mídia legível por computador que pode direcionar um computador, outro aparelho de processamento de dados programável ou outros dispositivos para funcionar de uma maneira específica, de modo que as instruções armazenadas na mídia legível por computador produzam um artigo de fabricação, incluindo instruções que implantam a função/ato especificado no bloco ou blocos de fluxograma e/ou diagrama de blocos.
[017] As instruções do programa de computador também podem ser carregadas em um computador, outro aparelho de processamento de dados programável ou outros dispositivos para fazer com que uma série de etapas operacionais seja realizada no computador, outro aparelho programável ou outros dispositivos para produzir um processo implantado por computador de modo que as instruções que executam no computador ou outro aparelho programável forneçam processos para implantar as funções/atos especificadas no bloco ou blocos de fluxograma e/ou diagrama de blocos.
[018] O fluxograma e os diagramas de blocos nas figuras ilustram a arquitetura, funcionalidade e operação de possíveis implantações de sistemas, métodos e produtos de programas de computador de acordo com várias modalidades da presente invenção. Nesse sentido, cada bloco no fluxograma ou diagramas de blocos pode representar um módulo, segmento ou porção do código, que compreende uma ou mais instruções executáveis para implantar a função (ou funções) lógica especificada. Também deve ser observado que, em algumas implantações alternativas, as funções observadas nos blocos podem ocorrer fora da ordem indicada nas Figuras. Por exemplo, dois blocos mostrados em sucessão podem, de fato, ser executados de maneira substancialmente simultânea ou os blocos às vezes podem ser executados na ordem inversa, dependendo da funcionalidade envolvida. Também deve ser observado que cada bloco das ilustrações de diagramas de blocos e/ou fluxograma e combinações de blocos nas ilustrações de diagramas de blocos e/ou fluxograma, podem ser implantados por sistemas com base em hardware de propósito especial que executam as funções ou atos especificados, ou combinações de hardware de propósito especial e instruções de computador.
[019] Em um primeiro aspecto, a invenção se refere a um método implantado por computador para previsão automatizada de formato da raiz 3D. Em uma modalidade, o método pode compreender: um pré-processador que recebe dados 3D que definem pelo menos uma representação 3D de um dente e processar os dados 3D, sendo que o processamento inclui: transformar pelo menos parte dos dados 3D em uma representação de voxel de uma coroa, em que a representação de voxel define um espaço de voxel que se ajusta ao espaço de entrada de uma primeira rede neural profunda 3D executada em um computador; o pré-processador fornecer a representação de voxel da coroa para a entrada da rede neural profunda 3D, em que a rede neural profunda 3D é treinada com base em dados clínicos 3D que definem representações 3D de dentes reais; a primeira rede neural profunda 3D gerar uma representação de voxel de uma raiz prevista ou um dente completo que compreende a raiz prevista com base na representação de voxel da coroa, em que a geração da representação de voxel da raiz prevista ou do dente completo inclui: determinar ativações de voxel para voxels em um espaço de voxel da saída da rede de aprendizado profundo 3D, sendo que cada ativação de voxel representa uma medida de probabilidade que define a probabilidade de um voxel fazer parte da raiz ou do dente completo; e, determinar se uma ativação de voxel faz parte da raiz ou do dente completo, comparando a ativação de voxel com um valor limiar de ativação de voxel.
[020] Em outra modalidade, o método pode compreender um pré-processador (104) receber dados 3D (102) definidos em um espaço de voxel, sendo que o espaço de voxel define um volume 3D, em que o espaço de voxel compreende uma representação de voxel de uma coroa e processar a representação de voxel de modo que esteja em uma escala, posição e orientação que corresponda às representações de voxel que são usadas para treinar uma primeira rede neural profunda 3D (106, 210); o pré-processador (104) fornecer a representação de voxel da coroa para a entrada da primeira rede neural profunda 3D (106), em que a primeira rede neural profunda 3D é treinada com base em um conjunto de treinamento de dados clínicos 3D pré-processados (202) que define representações 3D de dentes reais, que sendo a rede neural profunda treinada (106, 210) é configurada para prever uma representação de voxel anatomicamente precisa (212) de uma raiz correspondente à coroa ou uma representação de voxel (214) de um dente completo; a primeira rede neural profunda 3D (106, 210) gerar uma representação de voxel de uma raiz prevista (212) ou de um dente completo (214) que compreende a raiz prevista com base na representação de voxel da coroa, em que a geração da representação de voxel da raiz prevista ou do dente completo inclui: determinar ativações de voxel para voxels em um espaço de voxel da saída da primeira rede de aprendizado profundo 3D, cada ativação de voxel representa uma medida de probabilidade que define a probabilidade de um voxel ser pelo menos parte da raiz ou do dente completo; e, determinar se uma ativação de voxel faz parte da raiz ou do dente completo, comparando a ativação de voxel com um valor limiar de ativação de voxel. Em uma modalidade, o valor limiar pode representar uma probabilidade superior a 0,5.
[021] Portanto, a rede neural profunda 3D é treinada para aprender automaticamente as características anatômicas disponíveis na representação de voxel recebida da coroa para (pelo menos) gerar uma previsão anatomicamente precisa de uma representação de raiz, em que o modelo de raiz resultante se ajustará ao modelo da coroa para formar um modelo de dente completo. Devido ao fato de que essas características podem ser aprendidas com qualquer amostra de treinamento em potencial (uma amostra que é a representação de voxel da coroa) e de que a rede neural profunda 3D determinará quais características são relevantes, o método tem a capacidade fazer uso com mais precisão de quaisquer informações relevantes na dita representação de voxel. Em outras palavras, onde a técnica anterior pode ser limitada a um conjunto específico de parâmetros de entrada, o método proposto tem o potencial para fazer uso de mais informações de entrada e determinar quais características são relevantes durante o treinamento.
[022] Além disso, a rede neural profunda 3D aprenderá uma generalização dos dados de imagem 3D que representam seções de raiz com base nas seções de coroa. Essa generalização é, no entanto, mais flexível (considerando os potenciais formatos diferentes que podem ser gerados para a raiz ou dente completo previsto) do que fazer uso de uma raiz de modelo, como é feito na técnica anterior. Também é digno de nota que o método não exige dados separados que indiquem classes de dentes (canino, molar, etc.) e/ou classes de pacientes (idade, sexo, etc.). Com efeito, a rede neural profunda 3D tem o potencial de reconhecer características relevantes que são o resultado dessa classificação diretamente da representação de voxel recebida. Entretanto, isso é (pelo menos) dependente da quantidade de amostras de treinamento disponíveis variadas através dessas classes e da largura de banda de memória disponível nas representações de características na rede neural profunda 3D.
[023] Em uma modalidade, o método pode incluir um pós-processador receber a representação de voxel da raiz prevista gerada pela primeira rede neural profunda 3D e processar a representação de voxel da raiz prevista e da coroa 3D, em que o processamento pode incluir: combinar os voxels da raiz 3D e o modelo da coroa 3D em uma representação de voxel de um dente 3D completo. Em ainda outra modalidade, o pós-processador pode transformar a representação de voxel do dente 3D completo em uma malha 3D de um dente completo.
[024] Assim, a invenção permite a geração automática de pelo menos uma previsão anatomicamente precisa de um formato de raiz 3D por uma rede neural profunda treinada executada em um computador. A rede neural profunda pode gerar o formato da raiz 3D com base no conjunto de dados da coroa 3D, por exemplo, uma malha de superfície 3D gerada por um escâner óptico intraoral ou dados 3D gerados por um escâner de raios X, por exemplo, um escâner TCFC. Como a rede neural é treinada com base em dados clínicos de modelos 3D de dentes inteiros, a rede gerará uma previsão anatômica precisa de um modelo de raiz 3D, em que o modelo de raiz 3D se ajusta com precisão aos dados da coroa 3D que foram alimentados para a entrada da rede neural. Dessa forma, o computador pode construir um modelo 3D preciso de todo o dente com base na representação da raiz 3D gerada e no modelo da coroa 3D. Modelos precisos de dentes 3D são de valor considerável em inúmeras aplicações odontológicas, incluindo, entre outras, diagnóstico e tratamento periodontológico, planejamento de tratamento ortodôntico, exodontia e endodontia.
[025] Em uma modalidade adicional, os dois espaços de voxel descritos anteriormente (um para a representação de voxel da coroa e um para a representação de voxel da raiz) são considerados como um espaço, efetivamente o espaço 3D que pode potencialmente conter o dente individual inteiro. Os voxels que fazem parte da coroa 3D recebida são representados apropriadamente no espaço do dente completo. Esse o espaço do dente completo, que inclui a representação de voxel da coroa 3D, é fornecido para a entrada de uma rede neural profunda 3D. A rede neural profunda 3D treinada pode então gerar uma representação de voxel do dente completo em um espaço 3D com as mesmas dimensões do espaço de entrada.
[026] Em uma modalidade, o método pode adicionalmente compreender: um pós-processador receber a representação de voxel da raiz prevista gerada pela primeira rede neural profunda 3D e processar a representação de voxel da raiz prevista e da coroa 3D, sendo que o processamento inclui: combinar os voxels da raiz 3D e o modelo da coroa 3D em uma representação de voxel de um dente completo 3D; e, opcionalmente, transformar a representação de voxel do dente completo 3D em uma malha 3D de um dente completo.
[027] Em uma modalidade, os dados 3D podem definir uma representação 3D de pelo menos parte de uma dentição, sendo que o processamento pelo pré-processador inclui adicionalmente: segmentar os dados 3D em pelo menos um conjunto de dados 3D, sendo que o conjunto de dados 3D representa uma coroa 3D de um dente da dentição; e, transformar o conjunto de dados 3D em uma representação de voxel da coroa, em que a representação de voxel corresponde ao espaço de voxel da entrada da primeira rede neural profunda 3D.
[028] Em uma modalidade, os dados 3D recebidos pelo pré-processador podem ser dados 3D gerados por um escâner óptico, preferencialmente um escâner óptico intraoral, sendo que os dados 3D definem uma malha de superfície 3D que representa pelo menos parte de uma dentição que compreende uma pluralidade de coroas.
[029] Em uma modalidade, o processamento pelo pré-processador pode incluir adicionalmente: segmentar a malha 3D em uma pluralidade de malhas 3D segmentadas, sendo que cada malha 3D segmentada representa uma coroa 3D da dentição; transformar cada malha de superfície 3D segmentada em uma representação de voxel da coroa, em que a representação de voxel corresponde ao espaço de voxel da entrada da primeira rede neural profunda 3D. Em uma modalidade, os dados 3D recebidos pelo pré-processador podem ser gerados por um escâner de raios X, preferencialmente um escâner TCFC, sendo que os dados 3D definem uma representação de voxel de pelo menos parte de uma estrutura dentomaxilofacial, em que um voxel é associado com um valor de intensidade ou valor de densidade de radiação, em que a estrutura dentomaxilofacial inclui uma pluralidade de dentes de pelo menos parte de uma dentição. Em uma modalidade, o processamento pelo pré-processador pode incluir adicionalmente: classificar pelo menos parte dos voxels que representam a estrutura dentomaxilofacial em pelo menos um dentre voxels de mandíbula, dentes e/ou nervos; segmentar os voxels de dentes classificados em um ou mais conjuntos de dados 3D, sendo que cada um do um ou mais conjuntos de dados 3D define uma representação de voxel de um dente na dentição da estrutura dentomaxilofacial.
[030] Em uma modalidade, os voxels que representam a estrutura dentomaxilofacial são classificados com o uso de uma segunda rede neural profunda 3D.
[031] Em uma modalidade, o processamento pelo pré-processador pode incluir adicionalmente: classificar pelo menos parte dos voxels que representam a estrutura dentomaxilofacial em pelo menos um dentre os voxels de mandíbula, dentes e/ou nervos com o uso de uma segunda rede neural profunda 3D; sendo que a segunda rede neural profunda 3D é treinada com base em dados de imagem 3D de estruturas dentomaxilofaciais, opcionalmente uma ou mais características posicionais 3D derivados dos dados de imagem 3D do conjunto de treinamento e um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento, sendo que um ou mais modelos 3D são usados como alvo durante o treinamento da primeira rede neural profunda; e, segmentar os voxels classificados em um ou mais conjuntos de dados 3D, em que cada um do um ou mais conjuntos de dados 3D define uma representação de voxel de um dente na dentição da estrutura dentomaxilofacial.
[032] Em uma modalidade, o processamento pelo pré-processador pode incluir adicionalmente: fornecer uma representação de voxel adicional da estrutura dentomaxilofacial para a entrada de uma terceira rede neural profunda 3D, sendo que a terceira rede neural profunda é treinada para determinar para cada voxel da representação de voxel na entrada pelo menos uma característica posicional 3D, em que uma característica posicional 3D inclui uma medida que indica uma probabilidade de que um voxel represente mandíbula, dentes e/ou tecido nervoso, em que a representação de voxel adicional da estrutura dentomaxilofacial é uma versão de baixa resolução da representação de voxel da estrutura dentomaxilofacial.
[033] Em uma modalidade, a resolução da representação de voxel adicional pode ser pelo menos três vezes menor do que a resolução da primeira representação de voxel.
[034] Em uma modalidade, a terceira rede neural profunda 3D pode ser treinada com base nos dados de imagem 3D de estruturas dentomaxilofaciais e no um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do treinamento definido para treinar a segunda rede neural profunda.
[035] Em uma modalidade, o processamento pelo pré-processador pode incluir adicionalmente: fornecer a uma ou mais características posicionais 3D e a representação de voxel da estrutura dentomaxilofacial para a segunda rede neural profunda 3D e a segunda rede neural profunda 3D usar a uma ou mais características posicionais para classificar pelo menos parte dos voxels no espaço de voxel em pelo menos um dos voxels da mandíbula, dentes e/ou nervos.
[036] Em uma modalidade, a segunda rede neural profunda pode compreender uma pluralidade de primeiras camadas convolucionais 3D, sendo que a saída da pluralidade de primeiras camadas convolucionais 3D é conectada a pelo menos uma camada totalmente conectada, em que a pluralidade de primeiras camadas convolucionais 3D é configurada para processar um primeiro bloco de voxels da primeira representação de voxel e em que a pelo menos uma camada totalmente conectada é configurada para classificar voxels do primeiro bloco de voxels em pelo menos um dos voxels de mandíbula, dentes e/ou nervos
[037] Em uma modalidade, a segunda rede neural profunda pode adicionalmente compreender uma pluralidade de segundas camadas convolucionais 3D, sendo que a saída da pluralidade de segundas camadas convolucionais 3D é conectada a pelo menos uma camada totalmente conectada, em que a pluralidade de segundas camadas convolucionais 3D é configurada para processar um segundo bloco de voxel da primeira representação de voxel, sendo que o primeiro e o segundo bloco de voxels têm o mesmo ou substancialmente o mesmo ponto central no volume de imagem e o segundo bloco de voxels representa um volume em dimensões do mundo real que é maior do que o volume em dimensões do mundo real do primeiro bloco de voxels, em que a pluralidade de segundas camadas convolucionais 3D é configurada para determinar informações contextuais associadas aos voxels do primeiro bloco de voxels que são fornecidas apara a entrada da pluralidade das primeiras camadas convolucionais 3D.
[038] Em uma modalidade, o processamento pelo pré-processador pode incluir adicionalmente: determinar uma ou mais características posicionais 3D com base nos voxels que representam a estrutura dentomaxilofacial, uma característica posicional 3D que define informações de posição dos voxels no espaço de voxel dos voxels de pelo menos parte de uma estrutura dentomaxilofacial; fornecer a uma ou mais características posicionais 3D para a segunda rede neural profunda 3D e a segunda rede neural profunda 3D com o uso da uma ou mais características posicionais classificar pelo menos parte dos voxels no espaço de voxel em pelo menos um dentre os voxels de mandíbulas, dentes e/ou nervos.
[039] Em uma modalidade, as informações de posição podem definir uma distância, preferencialmente uma distância perpendicular, entre voxels no espaço de voxel e um primeiro plano de referência dental no espaço de voxel; uma distância entre voxels no espaço de voxel e um primeiro objeto de referência dental no espaço de voxel; e/ou posições dos valores de intensidade acumulados em um segundo plano de referência dentário do espaço de voxels, em que um valor de intensidade acumulado em um ponto no segundo plano de referência dentário inclui valores de intensidade acumulados de voxels sobre ou na proximidade da execução normal através do ponto no segundo plano de referência dental.
[040] Em uma modalidade, a segunda rede neural profunda pode compreender um primeiro caminho de processamento de dados que inclui pelo menos uma primeira pluralidade de camadas convolucionais 3D, preferencialmente um primeiro conjunto de camadas de característica de CNN 3D, e um segundo caminho de processamento de dados que inclui uma segunda pluralidade de camadas convolucionais 3D, preferencialmente um segundo conjunto de camadas de característica de CNN 3D, paralelo ao primeiro caminho, para receber a uma ou mais características posicionais 3D, em que a segunda pluralidade de camadas convolucionais 3D é configurada para codificar informações relevantes das informações posicionais associadas aos blocos de voxels que são alimentados para a entrada da primeira pluralidade de camadas convolucionais 3D.
[041] Em uma modalidade, a primeira rede neural profunda 3D pode incluir uma pluralidade de camadas convolucionais 3D conectadas através de uma ou mais camadas conectadas densamente a uma pluralidade de camadas deconvolucionais 3D e em que a primeira rede neural profunda é treinada com base em representações de voxel de coroas e raízes associadas ou com base em representações de voxel de coroas e dentes associados que, preferencialmente, pelo menos parte das representações de voxel derivam de dados de raios X 3D segmentados, preferencialmente dados de TCFC 3D, que representam uma ou mais estruturas dentomaxilofaciais.
[042] Em um aspecto adicional, a invenção pode se referir a um método implantado por computador para treinar uma rede neural de aprendizado profundo 3D para gerar uma previsão de formato da raiz 3D que compreende: um computador receber dados de treinamento, sendo que os dados de treinamento incluem dados clínicos 3D que compreendem representações de voxel de coroas e raízes associadas ou com base em representações de voxel de coroas e dentes associados, em que pelo menos parte das representações de voxel são derivadas de dados de raios X 3D segmentados, preferencialmente dados de TC de feixe cônico (TCFC) 3D; oferecer uma apresentação em voxel de uma coroa para a entrada da rede neural profunda 3D e a rede neural profunda 3D gerar uma representação de voxel de uma raiz prevista; otimizar valores de um ou mais parâmetros de rede da rede neural profunda 3D, minimizando-se uma função de perda que representa um desvio entre a representação de voxel de uma raiz prevista e a representação de voxel da raiz que está associada à representação de voxel da coroa que foi oferecida para a entrada da rede neural profunda 3D.
[043] Em uma modalidade, o método pode incluir armazenar os valores otimizados em uma mídia de armazenamento legível por computador, sendo que os valores otimizados definem um ou mais parâmetros de rede de uma rede neural treinada configurada para, quando recebe uma representação de voxel de uma coroa, prever uma representação de voxel anatomicamente precisa de uma raiz correspondente à coroa ou uma representação de voxel de um dente completo.
[044] Em uma modalidade, a rede neural profunda 3D pode incluir uma pluralidade de camadas convolucionais 3D conectadas através de uma ou mais camadas conectadas densamente a uma pluralidade de camadas deconvolucionais 3D.
[045] Em um aspecto adicional, a invenção pode se referir a um sistema de computador, preferencialmente um sistema servidor, adaptado para prever automaticamente um formato de raiz 3D que compreende: uma mídia de armazenamento legível por computador com código de programa legível por computador incorporado à mesma, sendo que o código de programa inclui um algoritmo de pré-processamento e pelo menos uma primeira rede neural profunda 3D treinada, o código do programa legível por computador; e um processador, preferencialmente um microprocessador, acoplado à mídia de armazenamento legível por computador, em que responsivo à execução do primeiro código de programa legível por computador, o processador é configurado para realizar operações executáveis que compreendem: o pré-processador receber dados 3D que definem pelo menos uma representação 3D de um dente e processar os dados 3D, sendo que o processamento inclui: transformar pelo menos parte dos dados 3D em uma representação de voxel de uma coroa, em que a representação de voxel define um espaço de voxel que se ajusta no espaço de entrada de uma rede neural profunda 3D executada em um computador; em que o pré-processador fornece a representação de voxel da coroa para a entrada da rede neural profunda 3D, em que a rede neural profunda 3D é treinada com base em dados clínicos 3D que definem uma representação 3D de dentes reais; em que a rede neural profunda 3D gera uma representação de voxel de uma raiz prevista ou um dente completo que compreende uma raiz prevista com base na representação de voxel da coroa, em que a geração da representação de voxel de uma raiz prevista ou um dente completo que compreende uma raiz prevista inclui: determinar ativações de voxel para voxels em um espaço de voxel da saída da rede de aprendizado profundo 3D, em que cada ativação de voxel representa uma medida de probabilidade que define a probabilidade de um voxel ser parte da raiz ou do dente completo; e, determinar se uma ativação de voxel é parte da raiz ou do dente completo, comparando-se a ativação de voxel com um valor limiar de ativação de voxel.
[046] Em um aspecto adicional, a invenção pode se referir a um sistema de computador, preferencialmente um sistema servidor, adaptado para prever automaticamente um formato de raiz 3D que compreende uma mídia de armazenamento legível por computador com um código de programa legível por computador incorporado à mesma, sendo que o código de programa inclui um algoritmo de pré-processamento e pelo menos uma rede neural profunda 3D treinada; e um processador, preferencialmente um microprocessador, acoplado à mídia de armazenamento legível por computador, em que, responsivo à execução do código de programa legível por computador, o processador é configurado para realizar operações executáveis, como definido em qualquer uma das etapas do método descritas acima.
[047] A invenção também pode se referir a um produto de programa de computador que compreende porções de código de software configuradas para, quando executadas na memória de um computador, realizar qualquer um dos métodos descritos acima.
[048] Ao longo desse texto, onde é feita referência a 'dados de imagem 3D' ou 'dados 3D', isso significa qualquer formato de dados de imagem 3D, por exemplo: uma malha (ou malhas) de superfície 3D, nuvem (ou nuvens) de ponto 3D, dados em um espaço 3D (voxel) que representa valores de volume, superfície ou densidade em uma coordenada 3D específica etc. Quando é feita referência a 'modelo 3D', isso se refere a uma malha (ou malhas) de superfície 3D a menos que indicado de outra forma. Além disso, considera-se que um dente completo consiste na combinação da parte 'coroa' e 'raiz', sendo que a 'raiz' é definida como qualquer parte do volume 3D ocupada pelo dente completo que não é a 'coroa'.
[049] A invenção será ilustrada adicionalmente com referência aos desenhos anexos, que mostrarão esquematicamente modalidades de acordo com a invenção. Será entendido que a invenção não está de forma alguma restrita a essas modalidades específicas.
[050] A invenção será ilustrada adicionalmente com referência aos desenhos anexos, os quais mostram esquematicamente modalidades de acordo com a invenção. Será entendido que a invenção não está de forma alguma restrita a essas modalidades específicas.
BREVE DESCRIÇÃO DOS DESENHOS A Figura 1 representa um esquema de alto nível de um sistema de computador configurado para previsão automática de formato da raiz 3D, de acordo com uma modalidade da invenção; A Figura 2 representa um fluxograma para treinar uma rede neural profunda para prever formatos de raiz 3D individuais, de acordo com uma modalidade da invenção; A Figura 3 representa um exemplo de uma arquitetura de rede neural profunda 3D para uso nos métodos e sistemas para previsão automatizada de formato da raiz a partir de dados de imagem da coroa 3D, de acordo com uma modalidade da invenção; A Figura 4A e a Figura 4B representam esquemas que ilustram o pré- processamento e o pós-processamento de dados 3D, de acordo com várias modalidades da invenção; A Figura 5A e a Figura 5B mostram ilustrações da representação do voxel clínico 3D em comparação com a representação de voxel prevista; As Figuras 6A e 6B mostram tabelas de coeficientes de similaridade como determinado a partir de uma modalidade exemplificativa do sistema; A Figura 7 mostra visualizações que ilustram modelos 3D de dentes clínicos combinados com resultados de previsão; A Figura 8 representa esquematicamente um sistema de computador para classificação e segmentação de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção; As Figuras 9A e 9B representam exemplos de dados de imagem de TC 3D e dados de varredura óptica 3D respectivamente; As Figuras 10A e 10B representam exemplos de arquiteturas de redes neurais profundas para classificar dados de imagem 3D dentomaxilofaciais; As Figuras 11A e 11B ilustram um fluxograma e uma rede neural para determinar características dentomaxilofaciais, de acordo com uma modalidade da invenção; A Figura 12 fornece uma visualização contendo os valores somados de voxel de uma pilha de imagens 3D e uma curva ajustada aos voxels que representa uma arcada dentomaxilofacial; As Figuras 13A a 13E representam exemplos de características dentomaxilofaciais, de acordo com várias modalidades da invenção; As Figuras 14A a 14D representam exemplos da saída de uma rede neural de aprendizado profundo treinada, de acordo com uma modalidade da invenção; A Figura 15 representa um fluxograma de voxels classificados de pós-
processamento de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção; A Figura 16 representa uma arquitetura de rede neural profunda para pós- processamento de voxels classificados de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção; As Figuras 17A a 17B representam um processo de reconstrução de superfície de voxels classificados, de acordo com uma modalidade da invenção; A Figura 18 representa um esquema de um sistema de computador distribuído para processamento de dados 3D, de acordo com várias modalidades da invenção; A Figura 19 é um diagrama de blocos que ilustra um sistema de computação de dados exemplificativo que pode ser usado para realizar métodos e produtos de software descritos nesta revelação; A Figura 20 mostra uma representação de visualizações de modelos de dente 3D em relação a um usuário final, de acordo com uma modalidade da invenção.
[051] Nesta revelação, são descritas modalidades de sistemas de computador e métodos implantados por computador que usam redes neurais profundas 3D para prever uma representação 3D anatomicamente precisa de uma raiz com base em dados 3D que definem uma representação 3D de uma coroa (abreviadamente dados 3D da coroa). Os dados da coroa 3D podem ser derivados de diferentes fontes de dados. Por exemplo, os dados da coroa 3D podem ser derivados de uma malha de superfície 3D que representa as coroas dos dentes da dentição geradas por um escâner óptico 3D, por exemplo, um escâner óptico intraoral. Alternativamente, os dados da coroa 3D podem ser derivados de, por exemplo, uma representação de voxel 3D que representa uma estrutura dentomaxilofacial (incluindo coroas de dentes) gerada por um escâner de raios X 3D, como um escâner TCFC. A rede neural profunda 3D pode ser treinada com base em dados clínicos 3D, por exemplo, dados 3D que definem uma representação de dentes reais. Um sistema de computador, de acordo com a invenção, pode compreender pelo menos uma rede neural profunda 3D que é treinada para gerar uma representação de voxel de uma previsão anatomicamente precisa de uma representação de voxel de uma raiz com base em uma representação de voxel de uma coroa. O sistema de computador pode ser configurado para realizar um processo de treinamento que treina iterativamente a rede neural profunda 3D com base em dados de treinamento que são com base em dados clínicos 3D, isto é, representações 3D de dentes reais. Os dados de treinamento podem ser com base em dados de TCFC 3D de estruturas dentomaxilofaciais segmentadas, em particular representações de voxel segmentadas individualmente de dente. A representação de voxel de dente pode ser dividida em dois conjuntos de dados 3D, uma representação de voxel de uma coroa 3D e uma representação de voxel de uma raiz 3D.
[052] O uso do conjunto de treinamento assim gerado resultará em uma rede neural profunda treinada que pode prever com precisão uma representação de voxel anatomicamente precisa de uma raiz ou uma representação de voxel de um dente completo. Portanto, a rede de aprendizado profundo é treinada para processar voxels em um espaço predeterminado de voxel, isto é, voxels de definição de volume em que cada voxel está associado a uma posição 3D no volume. Como o sistema de computador é capaz de receber dados 3D de diferentes estruturas e formatos, por exemplo, dados 3D gerados pelo escâner TCFC de um escâner óptico intraoral. O sistema de computador compreende um pré-processador que processa os dados 3D antes de serem apresentados para a entrada da rede neural profunda 3D. O pré- processador pode transformar os dados 3D em representações de voxel de coroas 3D individuais, em que uma representação de voxel corresponde ao espaço de voxel da entrada da rede neural profunda. O pré-processamento pode incluir adicionalmente colocar em escala, posicionar e/ou orientar uma representação de voxel de uma maneira uniforme (tanto entre dados 3D em um conjunto de treinamento, que é uniformidade intraconjunto, quanto dentro de conjuntos de treinamento diferentes, que é uniformidade entre conjuntos).
[053] Uma vez que a rede neural profunda é treinada, a mesma pode receber uma representação de voxel de uma coroa e prever uma representação de voxel do formato de raiz correspondente ou uma representação de voxel do dente completo, incluindo o formato de raiz previsto. Antes de serem apresentados à rede neural profunda treinada, os dados de entrada 3D são pré-processados de maneira semelhante ao pré-processamento dos dados de treinamento, para que a coroa 3D seja ajustada em uma escala, posição e orientação que correspondam àquelas usadas durante o treinamento da rede neural profunda. Caso a rede neural profunda seja treinada para gerar uma representação de voxel de uma previsão de uma raiz, um pós-processador pode combinar as representações em voxel da raiz e da coroa (como oferecidas para a entrada da rede neural profunda) em uma representação de voxel de um dente completo. Dependendo da aplicação, o pós-processador também pode transformar a representação de voxel em um modelo 3D ou representação de malha do dente. Como a rede é treinada com o uso de dados clínicos 3D, em particular dados clínicos de TCFC 3D, o formato da raiz previsto será com base em características que são derivadas da rede neural profunda durante o treinamento.
[054] O sistema de computador, a rede neural profunda, o pré e pós-processador, o treinamento da rede neural e o método executado pela rede e pelos pré e pós- processadores são descritos abaixo com mais detalhes.
[055] A Figura 1 representa um esquema de alto nível de um sistema de computador, de acordo com uma modalidade da invenção. Em particular, a Figura 1 mostra um sistema de computador configurado para gerar automaticamente dados 3D, que define uma representação de um dente completo 3D com base em dados de entrada 3D que representam, por exemplo, uma coroa, um dente completo, uma estrutura dentomaxilofacial que compreende dentes ou uma dentição. O sistema de computador 100 pode compreender um pré-processador, uma rede neural profunda treinada e um pós-processador. O pré-processador pode pré-processar os dados de entrada 3D 102.
[056] Por exemplo, em uma modalidade, o pré-processador 104 pode derivar representações 3D individuais das coroas de uma dentição a partir de dados 3D que representam uma estrutura dentomaxilofacial do mundo real. Tais dados 3D podem ser gerados com o uso de técnicas conhecidas, tais como um escâner de raios X ou TCFC. Tipicamente, esses dados 3D incluem um volume de voxels (um espaço de voxel) em que cada valor de voxel representa um valor de intensidade de radiação. Como os dados representam uma estrutura dentomaxilofacial completa, os dados 3D também incluem informações espaciais sobre a posição dos dentes (e coroas) na estrutura dentomaxilofacial. Nesse caso, o pré-processador pode executar um processo de segmentação para segmentar os dados 3D da estrutura dentomaxilofacial em estruturas dentárias segmentadas individualmente (por exemplo, osso, dente e nervo), incluindo representações individuais de dente completo, tipicamente uma representação de voxel de um dente completo. A segmentação automatizada de dados de TCFC 3D que representa uma estrutura dentomaxilofacial é um processo não trivial devido à natureza dos dados da TCFC. Por exemplo, nas varreduras de TCFC, a densidade do rádio, medida em Unidades de Hounsfield (HUs), não é consistente porque áreas diferentes na varredura aparecem com valores de escala de cinza diferentes, dependendo de suas posições relativas no órgão que é varrido. Um problema adicional é que os sistemas de TCFC não empregam um sistema padronizado para colocar em escala os níveis de cinza que representam os valores de densidade reconstruídos.
[057] A fim de permitir a segmentação automatizada sem nenhuma intervenção e/ou ajuda humana, o pré-processador pode usar uma rede neural profunda treinada separadamente para classificar automaticamente os dados 3D em conjuntos de dados 3D diferentes, em que um conjunto de dados 3D define uma representação de voxel de um dente. O processo de segmentação, a rede neural profunda para realizar esse processo de segmentação e o pré e pós-processamento dos dados 3D, a fim de alcançar tal segmentação precisa, serão descritos abaixo com mais detalhes, com referência à Figura 8 e outras.
[058] Os resultados da rede neural profunda descrita acima para segmentação automática de dentes a partir de dados de TCFC podem ser utilizados para gerar representações clínicas de dentes 3D para treinamento da rede neural profunda para previsão de formato de raiz 106 durante uma fase de treinamento (descrita em mais detalhes abaixo). A segmentação também pode ser usada durante a fase de inferência, em que os dados de TCFC 3D podem ser segmentados a fim de determinar uma representação de voxel de uma coroa que pode ser oferecida para a entrada da rede neural treinada.
[059] Em outra modalidade, o pré-processador 104 pode derivar modelos 3D individuais de coroas de uma dentição a partir de dados 3D gerados por um escâner óptico intraoral. Tipicamente, esse conjunto de dados 3D pode definir uma malha de polígono 3D dentro de um espaço 3D predefinido, em que os dados formam uma coleção de vértices, arestas e faces que definem o formato das coroas digitalizadas e parte da gengiva no espaço 3D. Como os dados representam partes de uma estrutura de dentição 3D, os dados 3D também incluem informações espaciais sobre a posição das coroas na dentição. A fim de dividir automaticamente a malha 3D da dentição digitalizada em malhas 3D de modelos de coroas 3D individuais, o pré-processador pode realizar um processo de segmentação no qual a malha de superfície 3D que representa uma pluralidade de coroas de uma dentição (ou uma parte das mesmas) é segmentada em uma pluralidade de malhas de superfície 3D, em que cada malha de superfície 3D representa um modelo de coroa 3D individual. Esse processo de segmentação pode ser realizado com o uso de métodos conhecidos, como descrito em ‘Automatic Tooth Segmentation of Dental Mesh Based on Harmonic Fields’ por Liao, 2015.
[060] Após o processo de segmentação, cada conjunto de dados 3D que define uma representação 3D de uma coroa pode ser convertido em um formato de dados que corresponde ao formato de entrada desejado da rede neural profunda 3D treinada
106. Para esse fim, o pré-processador pode transformar o conjunto de dados 3D que define uma representação 3D de uma coroa em uma representação de voxel da coroa com o uso de um espaço de voxel que se ajusta ao espaço de entrada 3D da rede neural profunda 3D treinada. Além disso, o pré-processador pode processar os conjuntos de dados 3D de modo que a orientação de cada um dos modelos de coroa seja colocada em escala, posicionada e orientada no espaço de voxel de maneira uniforme. Esse pré-processamento pode incluir colocar em escala, girar, espelhar e/ou transladar os voxels para que a representação da coroa em voxel seja posicionada centralizada no espaço do voxel em uma orientação predeterminada, por exemplo, de modo que a direção (ou eixo em um sistema de coordenadas) 'vertical' do dente (e coroa), como pode ser derivada de sua orientação em um paciente em pé, possa ser usada para garantir que essa direção seja consistente em todas as representações de voxel de uma coroa que são apresentadas como entrada na rede neural profunda
106. O pré-processador pode espelhar a representação de voxel ao longo de um plano normal ao eixo geométrico 'vertical' mencionado anteriormente, para garantir que, no espaço da representação de voxel, a direção da 'coroa para raiz' do dente clínico esteja sempre apontada na mesma direção.
[061] Uma representação de voxel pré-processada de uma coroa é então oferecida para a entrada de uma rede neural profunda 3D 108 que é treinada para gerar uma representação de voxel de uma previsão de raiz. A rede neural profunda 3D pode ser treinada para produzir uma representação de voxel de uma raiz que pode ser combinada com a representação de voxel da coroa que foi oferecida para a entrada da rede neural profunda 3D. Em outra modalidade, a rede neural profunda 3D pode ser treinada para gerar uma representação de voxel que inclui voxels de coroa que foram oferecidos para a entrada da rede neural profunda 3D e previsões de voxel de uma raiz. Como a rede neural profunda prevê o formato da raiz por modelo de coroa 3D individual, o pós-processador 108 pode ser adaptado para combinar o formato da raiz previsto com os dados da coroa 3D que foram utilizados para a entrada (por exemplo, uma forma de coroa segmentada da fonte original, ou com o formato da coroa na representação de voxel, conforme apresentado na rede neural profunda). O pós-processador 108 pode converter uma representação de voxel combinada de um dente completo em um modelo 3D (malha de superfície) e pode fazer uso de operações bem conhecidas de malha de superfície, tais como suavização e decimação. Além disso, em algumas modalidades, os modelos 3D criados dos dentes completos podem ser colocados de volta na fonte original, mantendo suas posições relativas entre si, com base na entrada 3D da fonte. Isso pode ser feito quando uma fonte contém várias representações da coroa 3D, como pode ser o caso em que os dados de entrada são, por exemplo, varreduras TCFC ou varreduras intraorais. O pós- processador 108 pode, nesse caso, criar um conjunto de dados 3D 110 no qual cada coroa apresentada é dotada de uma raiz prevista.
[062] A Figura 2 representa um fluxograma para treinar uma rede neural profunda para prever formatos de raiz de dentes 3D individuais, de acordo com uma modalidade da invenção. A fim de alcançar a rede neural profunda 3D treinada, é necessária uma grande quantidade de dados precisos de treinamento clínico. A fim de treinar a rede neural profunda 3D para prever com precisão os dentes 3D individuais com base nos modelos de coroas 3D, várias fontes de dados de treinamento podem ser usadas.
[063] Os dados de treinamento 200 podem ser com base em dados clínicos 3D 202, ou seja, dados 3D de dentes reais de pacientes, que podem ser derivados de várias fontes, em particular dados 3D gerados por escâneres de raios X, tais como escâneres de TCFC e/ou dados 3D gerados por escâneres ópticos 3D. Os dados 3D gerados por escâneres de raios X incluem tipicamente uma representação de voxel de pelo menos parte de uma estrutura dentomaxilofacial, incluindo uma pluralidade de modelos de dentes 3D de pelo menos parte de uma dentição, em que cada voxel está associado a um valor de intensidade de radiação ou valor da densidade. De maneira similar, os dados 3D dos escâneres ópticos tipicamente incluem uma malha 3D que representa um dente completo.
[064] Como a rede neural profunda pode ser treinada com base nas representações de voxel de modelos de dente individual, é necessário o processamento dos dados clínicos 3D pelo pré-processador. Em uma modalidade, o processamento pelo pré-processador 204 pode incluir a determinação de uma pluralidade de conjuntos de dados 3D com base em dados clínicos de TCFC 3D, em que cada conjunto de dados 3D pode definir uma representação 3D de um dente da dentição nos dados clínicos de TCFC 3D. Dessa forma, cada conjunto de dados 3D define uma representação 3D clínica de um dente. A determinação dos conjuntos de dados 3D requer um processo preciso de segmentação automatizada. No entanto, como descrito com referência à Figura 1, a segmentação automatizada precisa dos dados da TCFC 3D não é um processo trivial e pode ser realizado com o uso de uma rede neural profunda treinada separadamente. O processo de segmentação, a rede neural profunda para realizar esse processo de segmentação e o pré e pós- processamento dos dados 3D, a fim de alcançar tal segmentação precisa, serão descritos abaixo com mais detalhes, com referência à Figura 8 e outras.
[065] Portanto, o pré-processador pode processar os dados clínicos 3D, normalmente dados de TCFC que representam uma estrutura dentomaxilofacial, para gerar dados de treinamento para a rede de aprendizado profundo. O pré- processamento pode incluir extrair conjuntos de dados clínicos 3D, sendo que cada conjunto de dados clínicos 3D define uma representação de voxel de um dente 206. Além disso, o pré-processamento pode incluir gerar uma representação de voxel da coroa 208 e uma representação de voxel associada da raiz 207 com base em cada conjunto de dados 3D. Além disso, o pré-processamento pode incluir a normalização da orientação, posição e/ou dimensões das amostras, por exemplo, coroa, raiz e dente completo, representados pelas várias representações de voxel que são usadas para treinar a rede neural profunda. A reorientação, reposicionamento e colocação em escala das amostras resultam em amostras normalizadas para treinamento. A normalização permite que a rede neural profunda treine com precisão as características relevantes necessárias para a previsão da raiz.
[066] Em uma modalidade, a rede de aprendizado profundo 3D 210 pode ser treinada com o uso da representação de voxel da coroa como entrada e da representação de voxel da raiz como um marcador alvo. Em outra modalidade, a rede de aprendizado profundo 3D pode ser treinada com o uso da representação de voxel da coroa como entrada e a representação de voxel do dente completo (que inclui a raiz) como um marcador alvo.
[067] Durante a fase de treinamento, as saídas intermediárias da rede neural profunda que representa uma representação de voxel de uma raiz prevista 212 ou uma representação de voxel de um dente previsto 214, podem ser avaliadas iterativamente em relação a um marcador alvo. Dessa forma, após o treinamento, durante a fase de inferência, a rede de aprendizado profundo 3D treinada é capaz de prever com precisão um formato de raiz 3D ou um dente completo 3D quando uma representação de voxel de uma coroa 3D selecionada arbitrariamente é oferecida à entrada da rede neural profunda 3D.
[068] Como descrito acima, os voxels de uma raiz 207 e os voxels de uma coroa 208 podem ser extraídos de um volume de voxels que representa um dente completo 206 (um volume de voxels de dente). Diferentes métodos podem ser usados para dividir o volume de voxels de dente em um volume de voxels de coroa e um volume de voxels de raiz. Por exemplo, o volume de voxels de dente pode ser dividido com base em um plano transversal, isto é, um plano normal ao eixo geométrico 'vertical' do 'mundo real' do paciente, isto é, o eixo geométrico longitudinal, que pode ser definido como a linha de intersecção do plano sagital e do plano coronal (às vezes denominado como plano frontal). A altura do plano, isto é, a posição em que o plano cruza o eixo geométrico longitudinal, define o tamanho dos volumes que contêm os voxels de coroa e raiz. Esse método de dividir voxels de coroa e raiz pode ser mais benéfico no caso de empregar estritamente um espaço separado contendo a representação de voxel de uma coroa como entrada para a rede neural profunda e um espaço separado contendo a representação de voxel de uma raiz como saída de rede neural profunda 210.
[069] Em outra modalidade, tanto o espaço de entrada como o espaço de saída da rede neural profunda representam um espaço de voxel que é capaz de compreender os voxels que representam um dente completo. Nesse caso, a divisão pode não ser necessariamente com base em um plano. Uma divisão mais arbitrária
(curvada) acomodaria mais de perto as entradas, como seria esperado da representação de voxel derivada de uma varredura intraoral. Nessa varredura, não se espera que a linha da gengiva, que é o limite no qual a segmentação ocorreria, seja reta.
[070] Quando a coroa está apontando para cima, a posição 'mais alta' ao longo do eixo geométrico longitudinal onde um plano perpendicular a este eixo cruzaria uma circunferência inteira de uma coroa segmentada pode ser utilizado. Esse plano pode ser usado para dividir os voxels, resultando em uma divisão 'reta'. Essa maneira de selecionar os voxels da coroa pode, contudo, descarregar uma quantidade considerável de dados de superfície do dente segmentado e, portanto, informações que podem ser potencialmente usadas pela rede neural profunda para previsão precisa do formato da raiz. Detalhes adicionais do pré-processamento são descritos abaixo com mais detalhes, com referência à Figura 4.
[071] A posição do plano normal ao longo do eixo geométrico longitudinal pode variar (dentro de limites realísticos), com o uso, por exemplo: da altura total do dente, uma distância absoluta e/ou fator relativo dessa altura (por exemplo, um quarto da altura total mais ou menos um dezesseis avos, ou uma altura pré-determinada, em milímetros, etc), uma altura esperada de um dente que não seria obscurecida pela gengiva do paciente, ou qualquer combinação de tal forma que possa ser gerada automaticamente. Durante o treinamento, os mesmos dados clínicos de dentes 3D podem ser apresentados para a rede neural profunda 3D várias vezes com variações na posição do plano que determina a divisão coroa-raiz proporcionando, desse modo, um treinamento de rede neural profunda 3D com maior robustez em direção às entradas.
[072] Em uma modalidade adicional, o pré-processador 204 também pode gerar divisões não retas, por exemplo, simulando entradas como seriam recebidas como modelos de coroa 3D como sendo resultantes da segmentação de varreduras intraorais. Nesse caso, o pré-processador pode dividir os dados do modelo 3D recebidos ao longo de uma superfície mais curva, através de pelo menos um ponto de referência 3D a uma altura que pode ser determinada como descrito acima e o centro de massa da circunferência envolvente da superfície nessa altura. Além disso, limites realísticos em relação à quantidade de curvatura permitida podem ser selecionados (por exemplo, uma diferença máxima de altura entre o ponto mais alto e o mais baixo da superfície curva que cruza o volume envolvido recebido, uma curvatura máxima permitida etc.). Também nesse caso, o mesmo dente pode ser apresentado várias vezes para a entrada da rede neural profunda 3D, em que cada vez pode ser introduzida uma variação na altura da divisão, permitindo robustez da rede neural treinada.
[073] Em outra modalidade, a entrada do pré-processador pode ser configurada para receber malhas de superfície 3D resultantes de varreduras ópticas de um dente clínico completo. Tais malhas de superfície podem ser pré-processadas como descrito acima, incluindo a transformação de malhas de superfície em uma representação de voxel que se ajusta no espaço de entrada da rede neural profunda.
[074] Em uma modalidade adicional, os dados de treinamento 200 podem ser dados aprimorados de outras fontes mais precisas. Para esse fim, os dados clínicos 3D 202 podem compreender adicionalmente conjuntos de dados 3D de modelos de coroas 3D, que podem ser derivados de dados 3D gerados opticamente por um escâner intraoral. Tipicamente, os dados 3D gerados opticamente incluem uma malha 3D que compreende uma pluralidade de modelos de coroas 3D de uma dentição, que podem ser segmentados e transformados pelo pré-processador 204 em uma pluralidade de conjuntos de dados 3D gerados opticamente. Cada conjunto de dados 3D gerado pode produzir uma representação de voxel altamente precisa de uma coroa 3D 208, que é formatada (em termos de tamanho, posição e orientação) para entrada para a rede de aprendizado profundo e que pode ser usada para treinar a rede neural profunda.
[075] Portanto, no caso de um modelo de dente 3D, tanto um conjunto de dados 3D gerado por raios X quanto um conjunto de dados 3D mais preciso gerado opticamente estão disponíveis, a rede neural profunda pode ser treinada com o uso de uma representação de voxel da coroa que é derivada do conjunto de dados 3D gerado opticamente em combinação com uma representação de voxel da raiz que é derivada do conjunto de dados 3D gerado por raios X do modelo de raiz associado como (parte de) um alvo. O uso de dados 3D gerados opticamente de um modelo de coroa (uma malha 3D de uma coroa) para treinamento pode ser benéfico nos casos em que os dados da coroa 3D são derivados de uma varredura de TCFC 3D de baixa resolução. Nesse caso, o pré-processamento pode exigir uma etapa de alinhamento, que define a localização e a orientação dos dados 3D da coroa para corresponder à seção da coroa dentro dos dados de imagem 3D do dente completo.
[076] O desempenho da rede de aprendizado profundo 3D treinada pode ser validado através da comparação da representação de voxel da raiz prevista 212 ou dente completo 214 e os dados de imagem 3D originais (mundo real) 202, como ilustrado abaixo com referência à Figura 6. No caso em que entradas e saídas (marcador alvo) da rede neural profunda 210 são estritamente separadas em uma seção de raiz e uma seção de coroa, essa validação pode ser feita através de comparação dos dados de imagem 3D da raiz prevista e da parte correspondente dos dados de imagem 3D original (mundo real) da raiz.
[077] O pré-processador 204 pode facilitar o aumento de dados introduzindo transformações relativamente pequenas dos dados de imagem 3D recebidos antes que a divisão seja empregada. Tal transformação pode, por exemplo, consistir em espelhamento dos dados de imagem 3D ao longo de um plano sagital do paciente, e/ou rotações relativamente pequenas e reescalonamento ao longo dos três eixos ortogonal.
[078] O processo de treinamento, como representado na Figura 2, resulta em uma rede neural profunda 3D que é treinada para prever com precisão um formato de raiz 3D com base em uma coroa 3D selecionada arbitrariamente, tal como uma representação de voxel de uma coroa derivada de dados 3D gerados por um escâner intraoral. A rede neural profunda aprenderá automaticamente as características anatômicas disponíveis da representação de voxel recebida da coroa para gerar uma previsão precisa anatomicamente de (pelo menos) uma representação da raiz, em que o modelo de raiz resultante se ajustará estreitamente ao modelo da coroa a fim de formar um modelo de dente completo.
[079] Devido ao fato de que tais características podem ser aprendidas com qualquer amostra potencial de treinamento (uma amostra é a representação de voxel da coroa), e que a rede neural profunda 3D determinará quais características são relevantes, o método tem a capacidade de fazer uso com mais precisão de quaisquer informações relevantes na dita representação de voxel. Em outras palavras, onde a técnica anterior pode ser limitada a um conjunto específico de parâmetros de entrada, o método proposto tem o potencial de fazer uso de mais informações de entrada e determinará quais características deriváveis são relevantes durante o treinamento.
[080] Além disso, a rede neural profunda 3D aprenderá uma generalização dos dados de imagem 3D que representam seções de raiz com base em seções de coroa. Essa generalização é, no entanto, mais flexível (considerando as potenciais formas diferentes que podem ser geradas para a raiz prevista ou para o dente completo) do que fazer uso de uma raiz de modelo, como é feito na técnica anterior. Também é importante notar que o método não exige dados separados que indiquem classes de dentes (canino, molar, etc.) e/ou classes de pacientes (idade, sexo, etc.). Com efeito, a rede neural profunda 3D tem o potencial de reconhecer características relevantes que são o resultado dessa classificação diretamente da representação de voxel recebida. Entretanto, isso é (pelo menos) dependente da quantidade de amostras de treinamento disponíveis, de suas variações por essas classes e da largura de banda de memória disponível nas representações de características na rede neural profunda 3D.
[081] A Figura 3 representa um exemplo de uma arquitetura de rede neural profunda 3D 300 para uso nos métodos e sistemas para previsão automatizada de formato de raiz a partir de dados de imagem de coroa 3D, de acordo com uma modalidade da invenção. Os dados de imagem 3D recebidos (pré-processados), por exemplo, uma representação de voxel que corresponde ao espaço de voxel da entrada da rede neural profunda, podem ser passados e processados por uma variedade de (diferentes tipos de) camadas de rede que formam a rede. A arquitetura da rede pode incluir três seções funcionais diferentes 301, 303, 305.
[082] Uma primeira seção 301 pode ser configurada para codificar progressivamente características por meio de camadas convolucionais 3D 304, 306,
308. Tais características são derivadas por conjuntos aprendidos (resultantes de treinamento) de filtros convolucionais 3D. Os mapas de características gerados resultantes dessas camadas representarão informações que são relevantes para o problema de previsão de formato da raiz. Empilhar múltiplas camadas convolucionais 3D leva a um aumento no campo de visão (potencial) por camada adicional, bem como na capacidade de derivar informações combinadas das informações derivadas das camadas anteriores. A esse respeito, a entrada 302 pode ser considerada como um primeiro conjunto de informações.
[083] Devido à natureza das camadas convolucionais 3D, os requisitos de memória e processamento são comparativamente mais baixos, em seguida, quando, por exemplo, fazendo uso de camadas totalmente conectadas. Por razões da precisão desejada das previsões, há um tamanho mínimo do espaço de entrada (voxel). No entanto, é desejável também realizar o processamento de informações derivadas do espaço de entrada inteiro, por exemplo, por meio de camadas conectadas densamente. Por esse motivo, uma redução do tamanho do espaço de característica (3D) pode ser implantada, por exemplo, fazendo uso de passadas ou subamostras dentro dessas camadas convolucionais 3D. Alternativamente, as camadas convolucionais podem ser seguidas por uma camada de agrupamento, tal como uma camada de agrupamento máximo bem conhecida na técnica.
[084] Assim, quando os dados tiverem passado as camadas convolucionais, a representação
[085] interna pode ser passada para uma série de camadas conectadas densamente 310, 312 que são configuradas para funcionar como um intermediário para a inferência da seleção de formato da raiz de ativações convolucionais anteriores. As camadas conectadas densamente podem formar uma segunda seção 303 da rede. Tais camadas, nesse ponto da rede neural, têm a capacidade de acessar informações derivadas do espaço de entrada inteiro.
[086] Após as camadas conectadas densamente, as ativações resultantes podem ser passadas através de uma série de camadas deconvolucionais 3D 314, 316, 318, formando uma terceira seção 305 da rede. Tais camadas também são conhecidas como camadas convolucionais transpostas. Os parâmetros para tais camadas podem ser selecionados de maneira que o espaço (3D) representado em um ponto na arquitetura de rede possa ser expandido. Novamente, fazer uso dessas camadas reduz os requisitos de hardware (memória, velocidade de processamento) necessários para arquiteturas possíveis realisticamente e previsões (oportunas). Alternativamente, podem ser empregadas camadas convolucionais 3D regulares, seguidas por camadas de amostragem ascendente (3D) como são conhecidas na técnica.
[087] Em uma modalidade alternativa, as camadas da seção um também são conectadas diretamente às camadas da seção três. Desse modo, a rede, também conhecida na técnica como uma rede U 'encaminha' mapas de características de um estágio de compressão (representado pela seção um) para um estágio de descompressão (representado pela seção três). Isso pode ser feito entre resultados de camadas convolucionais para camadas deconvolucionais, quando cada conjunto convolucional e deconvolucional opera com pelo menos a mesma resolução espacial codificada. Isso pode melhorar a qualidade das previsões e/ou reduzir o tempo para o treinamento convergir para a precisão desejada. Um exemplo de uma arquitetura de rede U é descrito com referência à Figura 11B.
[088] Variações no número de camadas e seus parâmetros de definição, por exemplo, funções de ativação diferentes (por exemplo, sigmoide, tanh, elu, softmax), quantidades e tamanhos de núcleo (de filtro), uso de subamostragem e dilatação (ou dilatações) e camadas funcionais adicionais tais como camadas de abandono podem ser usadas na implantação sem perder a essência do projeto da rede neural profunda.
O mesmo se aplica a métodos de iniciação de parâmetros variados, como são conhecidos na técnica. (Por exemplo, (glorot) normal ou uniforme, He normal, etc.) A camada final ou de saída 324 pode resultar em ativações de voxel individuais, em que cada ativação de voxel representa uma medida de probabilidade que define a probabilidade de que um voxel seja parte da raiz 3D ou dente completo. As ativações de voxel podem ser limiarizadas para obter uma previsão binária de dados 3D da raiz ou do dente completo 320. Nos casos em que a camada final emprega uma ativação softmax (que é comum para um problema de classificação), ativações de voxel representadas superiores a 0,5 para a classe 'raiz do dente' ou 'dente completo' são o limiar para o binário '1' ou 'Verdadeiro' que representa que esse voxel é previsto como 'raiz' ou 'dente'. Alternativamente, essa atribuição binária é feita com base em um argmax sobre as classes a serem previstas, atribuindo efetivamente o voxel à classe ativada mais altamente. Assim, pode ser previsto que um voxel faz parte da classe da raiz ou de dente completo se a ativação dessa classe for mais alta para esse voxel.
[089] Assim, em uma modalidade, a primeira rede neural profunda 3D pode incluir três seções sequenciais, sendo que a primeira seção compreende pelo menos uma pluralidade de camadas convolucionais 3D configuradas de modo que a resolução espacial das informações derivadas resultante da seção seja reduzida em comparação com a resolução de entrada, a segunda seção é configurada para ter a capacidade de processar todas as informações resultantes da primeira seção em paralelo, preferencialmente por meio de camadas conectadas densamente e a terceira seção compreendida de pelo menos uma pluralidade de camadas convolucionais 3D configuradas de modo que a resolução espacial da saída resultante da rede total seja pelo menos a mesma resolução que a resolução de entrada, preferencialmente por meio de convoluções transpostas.
[090] A rede pode ser treinada com o uso de dados de treinamento como descrito com referência à
[091] Figura 2. Para cada amostra, uma representação 3D correspondente de uma raiz ou dente completo único pode ser usada para determinar uma perda entre a saída desejada 322 e real 320. Essa perda pode ser usada durante o treinamento como uma medida para ajustar parâmetros dentro das camadas da rede neural profunda. As funções do otimizador podem ser usadas durante o treinamento para auxiliar na eficiência do esforço de treinamento (por exemplo, gradiente estocástico decente, rmsprop, adam etc.). A rede pode ser treinada para qualquer número de iterações até que os parâmetros internos levem à precisão desejada de resultados. Quando treinada adequadamente, uma representação de voxel contendo pelo menos uma representação de uma coroa dentária pode ser apresentada como entrada para a rede neural profunda e pode ser usada para derivar uma previsão de uma representação de voxel de uma raiz 3D correspondente ou dente completo.
[092] As Figuras 4A e 4B representam esquemas de dados 3D de pré- processamento e pós-processamento, de acordo com várias modalidades da invenção. Em particular, a Figura 4A representa um fluxograma de um processo executado por um pré-processador. Em uma primeira etapa 402, o pré-processador pode derivar dados da coroa 3D individuais a partir de dados 3D originários de diferentes fontes, por exemplo, dados de TCFC de uma estrutura dentomaxilofacial ou malhas de superfície 3D de uma dentição geradas por um escâner intraoral. Nesses casos, o pré-processamento pode incluir a execução de um processo de segmentação no qual os dados 3D recebidos pelo pré-processador são segmentados em dados de coroa 3D individuais. No caso de dados de TCCB 3D, o processo de segmentação pode ser executado por uma rede neural separada, que classifica os voxels em um tipo de voxel particular, por exemplo, um voxel que representa parte de um dente, e formar um conjunto de dados 3D de um dente da estrutura dentomaxilofacial. Um exemplo desse processo de segmentação é descrito abaixo com referência à Figura 8 e outras. Caso os dados 3D compreendam uma malha 3D que representa uma dentição gerada por um escâner intraoral, o pré-processador pode incluir um processo de segmentação em que a malha 3D da dentição é segmentada em malhas 3D individuais das coroas.
[093] Posteriormente, o pré-processador pode transformar os dados dos dentes 3D individuais em uma representação de voxel da coroa (etapa 404). Portanto, no caso de uma malha de superfície 3D, a malha 3D pode ser transformada em um volume de voxels. Um algoritmo de interpolação pode ser usado a fim de preencher o espaço de voxel com voxels, incluindo voxels que têm primeiro valor do voxel predeterminado, por exemplo, um valor 'zero' ou 'fundo', em que nenhuma superfície do dente está presente, e um segundo valor do voxel valor 'um' ou 'dente presente' para os voxels que coincidem ou quase coincidem com a superfície 3D definida pelas malhas. No caso de uma representação de voxel de um dente completo, uma representação de voxel dos dados da coroa pode ser determinada dividindo-se os dados do dente completo em dados da coroa e dados da raiz, como descrito com referência à Figura 2. A representação de voxel inclui, assim, um volume, por exemplo, uma caixa retangular, de voxels em que a superfície 3D de uma coroa é representada por voxels dentro do volume.
[094] Em uma modalidade, o pré-processador também pode realizar a etapa 406 de estabelecer voxels envolvidos pela malha de superfície para o segundo valor de voxel, de modo que a representação de voxel 3D represente um objeto sólido em um espaço 3D. É observado que a superfície envolvente de uma representação de voxel de, por exemplo, uma coroa parcial adicionalmente não pode ser uma superfície totalmente envolvida (como pode ser o caso quando uma representação de voxel de um dente é dividida em uma seção de coroa e uma raiz, ou quando uma representação de voxel de uma coroa é com base na segmentação de uma malha 3D gerada por uma varredura intraoral). Caso, durante o treinamento, uma representação de voxel de um dente seja dividida ao longo de um plano em um volume de voxels da coroa e um volume de voxels da raiz (consultar também a Figura 2 acima), a etapa 406 pode incluir fechar do volume e determinar a representação sólida criando-se faces dentro do plano de divisão, que envolvem a superfície já existente.
[095] No caso de as bordas de tal representação de voxel não estarem no mesmo plano, a etapa 406 pode incluir uma determinação de ponto 3D que seria o centro de massa da superfície 'mais alta' (em uma direção 'vertical' do mundo real, em que o lado da coroa do dente está orientado 'para cima'), sendo que a superfície é definida a partir da circunferência totalmente fechada mais alta disponível como interseção de um plano normal à dita direção 'vertical'. O volume original (dividido) pode então ser fechado criando faces definidas pelo ponto 3D determinado (que está dentro do volume que seria envolvido pela superfície recebida original) e pelos vértices ao longo da borda aberta da superfície recebida original. Devido à natureza dos formatos dos dentes, esse método fecharia e preencheria a superfície aberta de maneira que garantiria que o volume resultante fossa realmente (parte de) o volume do dente no mundo real. Em algumas modalidades, o modelo de coroa 3D recebido já pode estar envolvido, como seria o caso para modelos gerados por, por exemplo, segmentação de dados de TCFC, como descrito adicionalmente abaixo com referência à Figura 8.
[096] Em uma modalidade, o volume (retangular) de voxels pode ser associado a um sistema de coordenadas, por exemplo, um sistema de coordenadas Cartesianas 3D, de modo que a representação de voxel 3D de um dente possa ser associada a uma orientação e dimensão. A orientação, posição e/ou dimensões dos modelos de dentes, no entanto, podem não ser padronizadas. Uma rede neural profunda 3D pode ser sensível à orientação do dente e pode ter dificuldades em prever o formato da raiz a partir de uma orientação aleatória da coroa e dimensões não padronizadas no volume de imagem 3D. Portanto, pode ser benéfico apresentar para a rede neural profunda 3D (tanto durante o treinamento quanto a inferência) representações de voxel nas quais as dimensões dos voxels (isto é, o comprimento, largura e altura no mundo real do espaço representado pelo voxel) sejam as mesmas para toda amostra ou representação apresentada. Além disso, pode ser benéfico apresentar para a rede neural profunda 3D (tanto durante o treinamento quanto a inferência) representações de voxel nas quais a orientação, posição e dimensões das amostras de dentes sejam as mesmas para todas as amostras.
[097] A fim de resolver esse problema, durante o pré-processamento dos dados de entrada 3D, a orientação, posição e dimensões das amostras de coroas individuais podem ser normalizadas de acordo com uma normalização usada para normalizar os dados de treinamento. O pré-processador pode garantir que os voxels que representam uma coroa (ou seja, uma representação de voxel, como descrito acima com referência às etapas 404 e/ou 406), possam ser transformados com o uso de, por exemplo, uma transformação canônica, de modo que a orientação, posição e dimensões das amostras transformadas sejam uniformes e normalizados (etapa 410). O pré-processador pode realizar essa normalização da orientação, posição e/ou dimensões com o uso de informações espaciais das fontes de dados 3D. Em uma modalidade, as informações espaciais podem ser determinadas pelo pré-processador examinando-se a orientação, posição e dimensões da fonte de dados (etapa 408). Por exemplo, quando as amostras de coroa se originam de uma pilha de dados de TC(FC) 3D que define um volume de voxels ou de uma varredura intraoral, a orientação, posição e dimensões de cada amostra de dente ou coroa podem ser determinadas pelo sistema.
[098] O pré-processador pode examinar a orientação, posição e/ou dimensões derivadas do conjunto de dados de imagem 3D original e se esses valores não corresponderem ao formato de entrada (normalizado) desejado para a rede de aprendizado profundo, uma transformação poderá ser aplicada. Em uma modalidade, a transformação pode incluir uma rotação 3D para reorientar a orientação de uma amostra no espaço 3D. A reorientação pode resultar em uma orientação (normalizada) esperada pela rede neural (etapa 410 que é descrita em mais detalhes acima com referência à característica 102). Em uma modalidade, a transformação pode incluir uma translação 3D para reposicionar a amostra no espaço 3D. O reposicionamento garante o posicionamento (normalizado) de um modelo de coroa 3D dentro de qualquer tamanho de espaço, conforme esperado pela rede neural 3D. Em ainda outra modalidade, a transformação pode incluir escalonamento 3D para reescalonar as dimensões de uma amostra no espaço 3D (etapa 412). O reescalonamento garante dimensões (normalizadas) de uma amostra, como esperado pela rede neural 3D.
[099] Em uma modalidade, (parte de) o pré-processador pode incluir uma
(terceira) rede neural profunda que é treinada para realizar a transformação como descrito acima. Em uma modalidade, a rede neural treinada, como descrito no pedido de patente Europeia no 18181421.1, com o título “Automated determination of a canonical pose of a 3D dental structure and superimposition of 3D dental structures using deep learning”, que é incorporado ao presente documento a título de referência nesse pedido.
[0100] A Figura 4B representa um fluxograma de um processo executado por um pós-processador. Em uma modalidade, o pós-processador pode combinar (mesclar) a representação de voxel de uma coroa 414 e uma representação de voxel de um formato de raiz 416 geradas pela rede neural profunda 3D em uma representação de voxel combinada de um dente completo 420. Em uma modalidade, a representação de voxel combinada pode ser transformada em uma malha 3D do dente completo 422. Como alternativa, o pós-processador pode transformar a representação de voxel do formato de raiz em uma malha 3D e combinar (mesclar) a representação em malha 3D do formato de raiz com a representação em malha 3D da coroa. Em ainda outra modalidade, a rede neural profunda 3D pode gerar uma representação de voxel de um dente completo 418 e o pós-processador pode transformar diretamente a saída da rede neural profunda 3D em uma malha 3D do dente completo.
[0101] A Figura 5A e a Figura 5B mostram ilustrações da representação do voxel clínico 3D em comparação com a representação de voxel prevista. A Figura 5A é um exemplo de um dente tipo 'molar', e a Figura 5B de um dente tipo 'canino'. (Ambas são amostras de controle ou amostras não utilizadas durante o treinamento). As representações foram renderizadas em um espaço de voxel, que define um volume de 160x100x100 voxels (em um sistema de coordenadas x, y, z). Os eixos cartesianos X e Y como visualizados compõem um plano coronal do paciente. A numeração da fatia acima da figura indica uma distância ao longo do eixo z no momento em que a fatia é visualizada. Por exemplo, a Figura 5A mostra três fatias (no plano x-y) do espaço de voxel em três posições diferentes no eixo z. Essas ilustrações fornecem uma indicação clara sobre a precisão do formato da raiz que é previsto pela rede neural profunda 3D. O tamanho do voxel no caso dessas ilustrações é de 0,2 mm em cada direção ortogonal.
[0102] O dente previsto é ilustrado como a combinação resultante da representação de voxel de uma coroa que foi oferecida para a entrada do sistema e uma raiz prevista no espaço de voxel que contém um dente completo. Cada figura compreende uma fatia de uma representação do modelo 3D clínico e uma fatia do modelo 3D previsto completo do dente, que é colocada sobre o modelo 3D clínico. As figuras assim formadas ilustram a sobreposição entre o formato clínico da raiz e o formato previsto da raiz em um tom médio de cinza, em que o tom mais claro de cinza (representação do dente clínico presente, mas não a representação do dente previsto) e o tom cinza mais escuro (representação do dente clínico não presente, mas a representação do dente previsto presente) indica as partes nas quais a representação prevista se desvia da representação clínica.
[0103] A separação empregada para a treinamento e previsão no caso dessa modalidade exemplificativa fez uso de uma divisão 'reta', como mostrado pelas linhas 5021 e 5022 (que representam um plano na direção x-z). Portanto, a parte superior (primeira) 504 do volume define voxels que representam a coroa que foi usada como entrada para a rede neural profunda. A parte inferior 506 define voxels que foram previstos pela rede neural com base na entrada. Portanto, nesse exemplo, o espaço de voxel da entrada da rede neural profunda representa um volume de 60x100x100 voxels e o espaço de voxel da saída da rede neural profunda representa um volume de 100x100x100 voxels. Mais detalhes sobre o sistema exemplificativo usado para geração desses resultados são descritos abaixo com referência à Figura 6.
[0104] Devido à natureza do processamento realizado pela rede neural profunda, bordas de transição bruscas entre a seção da coroa original e a seção de raiz prevista não estão presentes, como pode ser o caso quando se emprega um sistema que usa modelos 3D padrão, tal como na técnica anterior. As transições entre a seção da coroa original e a seção da raiz prevista como aprendida pelo sistema e, portanto, previstas são consideradas como uma transição suave (consultar, por exemplo, 508, 510), com pouca a nenhuma necessidade de pós-processamento adicional, por exemplo, suavização ou similares. As ilustrações também mostram a precisão dos dados de imagem 3D previstos. As seções de raiz previstas se sobrepõem em grande parte ao dente clínico. Informações mais detalhadas considerando essa precisão podem ser encontradas com relação à Figura 6. No entanto, é digno de nota a observação nessas ilustrações que as seções de raiz 3D previstas mostradas (tudo abaixo das linhas 5021 ou 5022 respectivamente para a Figura 5A ou 5B) são automaticamente previstas pelo sistema com base nas informações acima dessas mesmas linhas.
[0105] A Figura 6A e a Figura 6B mostram tabelas de coeficientes de similaridade como determinado a partir da mesma modalidade exemplificativa com referência às Figuras 5A e 5B. Em mais detalhes, esses são resultados de um conjunto de dentes de controle (o que significa que esses dentes não faziam parte do conjunto de treinamento), que comparam uma representação de voxel dos dentes clínicos 3D reais com a representação de voxel dos dentes completos 3D, conforme previsto por uma única rede neural profunda 3D treinada, empregando um tamanho de voxel de 0,2 mm em cada dimensão. Uma divisão 'reta' entre a coroa e raiz foi empregada, com um espaço de voxel de entrada e de saída separados. Cerca de 900 modelos de dentes clínicos 3D, derivados de varreduras de TCFC, foram usados para treinamento, fazendo uso adicionalmente de ampliação dos dados de imagem 3D.
[0106] Esses dados de treinamento continham uma variedade de classes de dentes, incluindo incisivos, caninos, pré-molares e molares. Para o propósito do exemplo, os coeficientes de similaridade na Figura 6A são mostrados divididos nessas classes. A tabela na Figura 6B mostra o mesmo conjunto total de resultados agregados em um conjunto diferente de classes, ou seja, agregados por tipo de dente individual, conforme pode ser encontrado em uma dentição e de acordo com a Notação da Federação Odontológica Mundial do FDI. É enfatizado, no entanto, que todos os resultados são gerados por uma única rede neural profunda 3D. Um coeficiente de similaridade ou pontuação de similaridade é uma medida de similaridade de objetos. Esse parâmetro é comumente usado na segmentação de imagens para comparar um resultado previsto com uma situação fática (no caso deste sistema, os dentes clínicos 3D). Uma pontuação de similaridade pode ser descrita como o tamanho da sobreposição entre dois objetos (nesse caso em um nível por voxel) dividido pelo tamanho total dos dois objetos. Essa métrica leva em consideração positivos verdadeiros, positivos totais e positivos falsos, em que uma pontuação mais alta representa um resultado mais preciso.
[0107] Como mostrado pelos resultados na Figura 6A, a classe de pré-molares em geral é a 'menos precisa' em média (nesse caso, significa com o menor coeficiente de similaridade) ao comparar a previsão com os modelos clínicos 3D (ou situação fática) dos dentes. Observe, no entanto, que a tabela mostra apenas resultados de uma modalidade exemplificativa. O conjunto de amostras de controle foi selecionado aleatoriamente e uma seleção diferente levará a resultados diferentes. (Isso também pode ser visto na Figura 6B, onde é aparente que os índices de dente 18, 38 e 48 não estavam presentes no conjunto de dados de controle selecionados aleatoriamente). Além disso, a arquitetura de rede neural profunda 3D exata e os parâmetros usados dentro de tal rede, considerações de treinamento tais como a seleção do tamanho do espaço de entrada e saída, opções de ampliação durante o treinamento etc. podem influenciar a precisão dos resultados de previsão. Quando se emprega um conjunto de dados maior de amostras de treinamento, é esperado que a precisão e a similaridade dos dados se tornem mais altas.
[0108] A Figura 7 ilustra modelos 3D de dentes clínicos, como gerados por um sistema, de acordo com uma modalidade da invenção. Em particular, a Figura 7 ilustra modelos 3D de dentes clínicos que são combinados com previsões de um dente completo, tendo recebido apenas uma seção da coroa. Esses são resultados da mesma modalidade exemplificativa como descrito com referência às Figuras 5 e 6 acima. São ilustrados exemplos únicos de quatro classes diferentes de dentes (incisivo 702, canino 704, pré-molar 706 e molar 708), que são determinados pelo sistema que inclui a rede neural profunda 3D treinada. Essas ilustrações são renderizadas com base em modelos 3D individuais, ou seja, malhas 3D, de um dente inteiro que são geradas com base em uma representação de voxel de uma raiz prevista, como descrito acima. Os modelos de dentes clínicos 3D originais são renderizados em cinza mais claro e os modelos de dente 3D gerados com base em uma representação prevista de voxel de um dente são renderizados em tons mais escuros. Cada modelo de dente 3D gerado está sobrepondo seu modelo clínico de dente 3D original para fornecer uma comparação visual dos resultados. É novamente digno de nota que essas são amostras de controle. Na visualização da Figura 7, algumas manchas de cinza mais escuro são visíveis nas seções da coroa (726). Esse é o resultado da sobreposição do modelo clínico de dente 3D original e do modelo previsto do dente completo, tendo esse último passado através da etapa de combinar uma representação de voxel de raiz prevista com a representação de voxel da coroa recebida. Onde essas manchas são visíveis, o mecanismo de renderização pode ter determinado que a superfície do dente completo previsto 3D é a fração mínima 'mais alta' na superfície, portanto, a sombra mais escura do dente previsto é visível. A comparação com os modelos de coroas clínicas 3D originais (710 a 716) mostra que a rede de aprendizado profundo treinada é capaz de gerar uma previsão precisa de formato da raiz (718 a 724), incluindo (se aplicável) a quantidade de raízes (b).
[0109] Como descrito acima, em algumas modalidades os dados 3D que são oferecidos para a entrada do sistema podem representar uma estrutura dentomaxilofacial, incluindo voxels relacionados (partes de) ao osso da mandíbula, aos dentes e aos nervos. Nessas modalidades, a segmentação da estrutura dentomaxilofacial em partes separadas, por exemplo, osso da mandíbula e dente individual, é exigida para determinar uma representação de voxel 3D de coroas de dentes individuais que possa ser usada pela rede de aprendizado profundo 3D. Além disso, com o objetivo de treinar a rede de aprendizado profundo 3D, pode ser necessário um grande número de formatos de dentes completos para que a rede neural profunda aprenda a prever um formato de raiz com base em um formato de coroa. A segmentação automática de dentes 3D a partir de varreduras de TCFC seria muito benéfica, considerando a disponibilidade e a relativa facilidade de criar tais varreduras de TCFC. Portanto, nesses casos, a invenção também inclui sistemas de computador e métodos implantados por computador que usam redes neurais profundas 3D para classificar, segmentar e modelar em 3D os dentes individuais de uma dentição em uma estrutura dentomaxilofacial, em que a estrutura dentomaxilofacial é representada por dados de imagem 3D definidos por uma sequência de imagens que formam uma pilha de dados de imagem de TC, em particular uma pilha de dados de imagem de TC de feixe cônico (TCFC). Os dados de imagem 3D podem compreender voxels que formam um espaço de imagem 3D de uma estrutura dentomaxilofacial.
[0110] Esse sistema de computador, de acordo com a invenção, pode compreender pelo menos uma rede neural profunda 3D que é treinada para classificar uma pilha de dados de imagem 3D de uma estrutura dentomaxilofacial em voxels de classes diferentes, em que cada classe pode ser associada com uma parte distinta (por exemplo, dentes, mandíbula, nervo) da estrutura. O sistema de computador pode ser configurado para realizar um processo de treinamento que treina (otimiza) iterativamente uma ou mais redes neurais profundas com base em um ou mais conjuntos de treinamento que podem incluir modelos 3D precisos de estruturas dentomaxilofaciais. Esses modelos 3D podem incluir estruturas dentomaxilofaciais digitalizadas opticamente (dentes e/ou osso da mandíbula). Uma vez treinada, a rede neural profunda pode receber uma pilha de dados de imagem 3D de uma estrutura dentomaxilofacial e classificar os voxels da pilha de dados de imagem 3D. Antes de os dados serem apresentados à rede neural profunda treinada, os dados podem ser pré-processados para que a rede neural possa classificar voxels de maneira eficiente e precisa. A saída da rede neural pode incluir coleções diferentes de dados de voxel, em que cada coleção pode representar uma parte distinta, por exemplo, dentes ou osso da mandíbula dos dados de imagem 3D. Os voxels classificados podem ser pós- processados para reconstruir um modelo 3D preciso da estrutura dentomaxilofacial.
[0111] O sistema de computador que compreende uma rede neural treinada para classificar automaticamente voxels de estruturas dentomaxilofaciais, o treinamento da rede, o pré-processamento dos dados de imagem 3D antes de serem alimentados para a rede neural, bem como o pós-processamento de voxels que são classificados pela rede neural são descritos abaixo com mais detalhes.
[0112] A Figura 8 representa um fluxograma de treinamento de uma rede neural profunda para classificar dados de imagem 3D dentomaxilofacial, de acordo com uma modalidade da invenção. Os dados de treinamento são usados para treinar uma rede neural de aprendizado profundo 3D para que a mesma possa classificar automaticamente voxels de uma tomografia computadorizada 3D de uma estrutura dentomaxilofacial. Como mostrado nesta figura, uma representação de um complexo dentomaxilofacial 802 pode ser fornecida para o sistema de computador. Os dados de treinamento podem incluir uma pilha de dados de imagem de TC 804 de uma estrutura dentomaxilofacial e um modelo 3D associado, por exemplo, dados 3D 806 gerados por varredura óptica da mesma estrutura dentomaxilofacial. Esses dados 3D podem ser denominados como dados de digitalização óptica 3D. Exemplos desses dados de imagem de TC 3D e dados de varredura óptica 3D são mostrados nas Figuras 9A e 9B. A Figura 9A representa fatias de DICOM associadas a diferentes planos de uma varredura de TC 3D de uma estrutura dentomaxilofacial, por exemplo, um plano axial 902, um plano frontal ou coronal 904 e o plano sagital 906. A Figura 9B representa dados de varredura óptica 3D de uma estrutura dentomaxilofacial. O computador pode formar malhas de superfície 3D 808 da estrutura dentomaxilofacial com base nos dados de varredura óptica. Além disso, uma função de alinhamento 810 pode ser empregada, a qual é configurada para alinhar as malhas de superfície 3D aos dados de imagem de TC 3D. Após o alinhamento, as representações de estruturas 3D que são fornecidas para a entrada do computador usam o mesmo sistema de coordenadas espaciais. Com base nos dados de imagem de TC alinhados e malhas de superfície 3D, características posicionais de 812 e dados de voxel classificados do modelo 3D digitalizado opticamente 814 podem ser determinados. As características posicionais e os dados classificados de voxel podem ser fornecidos para a entrada da rede neural profunda 816, junto com a pilha de imagens 804.
[0113] Portanto, durante a fase de treinamento, a rede neural de aprendizado profundo 3D recebe dados de treinamento de TC 3D e características posicionais extraídas dos dados de treinamento de TC 3D como dados de entrada e os voxels de treinamento classificados associados aos dados de treinamentos de TC 3D são usados como dados alvo. Um método de otimização pode ser usado para aprender os valores ideais dos parâmetros de rede da rede neural profunda, minimizando-se uma função de perda que representa o desvio da saída da rede neural profunda para os dados alvo (ou seja, dados de voxel classificados), que representam a saída desejada para uma entrada predeterminada. Quando a minimização da função de perda converge para um determinado valor, o processo de treinamento pode ser considerado adequado para aplicação. O processo de treinamento representado na Figura 8 com o uso de características posicionais 3D em combinação com os voxels de treinamento, que podem ser (pelo menos parcialmente) derivados dos dados de varredura óptica de 3D, fornece um conjunto de treinamento de alta qualidade para a rede neural de aprendizado profundo 3D. Após o processo de treinamento, a rede treinada é capaz de classificar com precisão os voxels de uma pilha de dados de imagem de TC 3D.
[0114] As Figuras 10A e 10B representam esquemas de alto nível de arquiteturas de redes neurais profundas para uso nos métodos e sistemas configurados para classificar e segmentar dados de voxel 3D de uma estrutura dentomaxilofacial. As redes neurais profundas podem ser implantadas com o uso de uma ou mais redes neurais convolucionais 3D (CNNs 3D). As camadas convolucionais podem empregar uma função de ativação associada aos neurônios nas camadas, tal como uma função sigmoide, função tanh, função relu, função softmax, etc. Uma rede neural profunda pode incluir uma pluralidade de camadas convolucionais 3D em que pequenas variações no número de camadas e seus parâmetros de definição, por exemplo, funções de ativação diferentes, quantidades e tamanhos de núcleo e camadas funcionais adicionais, tais como camadas de abandono e de normalização lote, podem ser usadas na implantação sem perder a essência do projeto da rede neural profunda.
[0115] Como mostrado na Figura 10A, a rede pode incluir uma pluralidade de caminhos convolucionais em que cada caminho convolucional está associado a um conjunto de camadas convolucionais 3D. Em uma modalidade, a rede pode incluir pelo menos dois caminhos convolucionais, um primeiro caminho convolucional associado a um primeiro conjunto de camadas convolucionais 3D 1006 e um segundo caminho convolucional associado a um segundo conjunto de camadas convolucionais 3D 1008. O primeiro e o segundo caminhos convolucionais podem ser treinados para codificar características 3D derivadas dos dados de imagem 3D recebidos associados aos voxels que são oferecidos para entrada do primeiro e do segundo caminhos de convolução, respectivamente. Além disso, em algumas modalidades, a rede pode incluir pelo menos um (terceiro) caminho convolucional adicional associado a um terceiro conjunto de camadas convolucionais 3D 1007. O terceiro caminho convolucional pode ser treinado para codificar características 3D derivadas de dados de características posicionais 3D recebidos associados a voxels que são oferecidos para a entrada do terceiro caminho.
[0116] Alternativamente, em outra modalidade, em vez de um caminho de convolução adicional treinado com base nos dados de característica posicional 3D, os dados de característica posicional 3D também são associados aos valores de intensidade de voxels que são oferecidos para a entrada do primeiro e segundo caminhos de convolução. Portanto, nesta modalidade, o primeiro e o segundo caminhos convolucionais podem ser treinados com base em dados de treinamento, incluindo uma pilha de dados 3D de valores de voxel, que incluem valores de intensidade e informações de características posicionais.
[0117] A função de caminhos diferentes é ilustrada em mais detalhe na Figura 10 B. Como mostrado nessa figura, os voxels são alimentados para a entrada da rede neural. Esses voxels são associados a um volume predeterminado, que pode ser denominado de volume de imagem 10013. O volume total de voxels pode ser dividido em primeiros blocos de voxels e as camadas de convolução 3D do primeiro caminho 10031 podem realizar uma operação de convolução 3D em cada um dos primeiros blocos de voxels 10011 dos dados de imagem 3D. Durante o processamento, a saída de cada camada de convolução 3D pode ser a entrada de uma camada de convolução 3D subsequente. Dessa forma, cada camada convolucional 3D pode gerar um mapa de características 3D que representa as características dos dados de imagem 3D que são alimentados para a entrada. Uma camada convolucional 3D configurada para gerar esses mapas de características pode, portanto, ser referenciada como uma camada de característica de CNN 3D.
[0118] Como mostrado na Figura 10 B, as camadas convolucionais do segundo caminho convolucional 10032 podem ser configuradas para processar segundos blocos de voxels 10012 dos dados de imagem 3D. Cada segundo bloco de voxels é associado a um primeiro bloco de voxels, em que o primeiro e o segundo bloco de voxels têm a mesma origem centralizada no volume de imagem. O volume do segundo bloco é maior do que o volume do primeiro bloco. Além disso, o segundo bloco de voxels representa uma versão de resolução reduzida de um primeiro bloco de voxels associado. Em outras palavras, a resolução de voxel do segundo bloco é inferior à resolução de voxel do primeiro bloco associado. O fator de redução de resolução pode ser qualquer valor apropriado. Em uma modalidade, o fator de redução de resolução pode ser selecionado entre 20 e 2, preferencialmente entre 10 e 3.
[0119] Portanto, a rede neural profunda 3D pode compreender pelo menos dois caminhos convolucionais. Um primeiro caminho convolucional 10031 pode definir um primeiro conjunto de camadas de característica de CNN 3D (por exemplo, 5 a 20 camadas), que são configuradas para processar dados de entrada (por exemplo, primeiros blocos de voxels em posições predeterminadas no volume de imagem) em uma primeira resolução de voxel, por exemplo, a resolução de voxel do alvo (ou seja, a resolução dos voxels dos dados de imagem 3D a serem classificados). De maneira similar, um segundo caminho convolucional pode definir um segundo conjunto de camadas de características de CNN 3D (por exemplo, 5 a 20 camadas), que são configuradas para processar dados de entrada com uma segunda resolução de voxel (por exemplo, segundos blocos de voxels em que cada bloco dos segundos blocos de voxels 10012 tem o mesmo ponto central que seu bloco associado do primeiro bloco de voxels 10011). Aqui, a segunda resolução é inferior àquela da primeira resolução. Portanto, os segundos blocos de voxels representam um volume maior em dimensões do mundo real do que os primeiros blocos. Dessa forma, as segundas camadas de característica de CNN 3D processam voxels a fim de gerar mapas de características 3D que incluem informações sobre a vizinhança (direta) dos voxels associados que são processados pelas primeiras camadas de característica de CNN 3D.
[0120] O segundo caminho, portanto, permite que a rede neural determine informações contextuais, isto é, informações sobre o contexto (por exemplo, seus arredores) de voxels dos dados de imagem 3D que são apresentados para a entrada da rede neural. Com o uso de múltiplos caminhos convolucionais (paralelos), os dados de imagem 3D (os dados de entrada) e as informações contextuais sobre voxels dos dados de imagem 3D podem ser processados em paralelo. As informações contextuais são úteis para classificar estruturas dentomaxilofaciais, que tipicamente incluem estruturas dentárias compactadas estreitamente e que são difíceis de distinguir, especialmente no caso de dados de imagem de TCFC.
[0121] Em uma modalidade, a rede neural de 10B pode incluir adicionalmente um terceiro caminho convolucional 10033 de um terceiro conjunto de camadas convolucionais 3D que são treinadas para processar representações específicas das características posicionais 3D 1004 que podem ser extraídas dos dados de imagem 3D. A extração das características posicionais 3D dos dados de imagem 3D pode ser realizada como uma etapa de pré-processamento. Em uma modalidade alternativa, em vez de usar um terceiro caminho convolucional para processar características posicionais 3D, as informações posicionais 3D, incluindo características posicionais 3D, podem ser associadas aos dados de imagem 3D que são oferecidos para a entrada da rede neural profunda. Em particular, uma pilha de dados 3D pode ser formada na qual cada voxel é associado a um valor de intensidade e informações posicionais. Assim, as informações posicionais podem ser emparelhadas por voxel recebido aplicável, por exemplo, por meio de adição das informações de característica posicional 3D como canais adicionais para as informações de imagem 3D recebidas. Portanto, nessa modalidade, um voxel de uma representação de voxel de uma estrutura dentomaxilofacial 3D na entrada da rede neural profunda pode não apenas ser associado a um valor de voxel que representa, por exemplo, um valor de intensidade de rádio, mas também com informações posicionais 3D. Assim, nessa modalidade, durante o treinamento das camadas convolucionais do primeiro e do segundo caminho convolucional, as informações derivadas tanto das características da imagem 3D quanto das características posicionais 3D podem ser codificadas nessas camadas convolucionais.
[0122] A saída dos conjuntos de camadas de característica de CNN 3D é então combinada e alimentada para a entrada de um conjunto de camadas de CNN 3D totalmente conectadas 1010, que são treinadas para derivar a classificação pretendida dos voxels 1012 que são oferecidos na entrada da rede neural e processados pelas camadas de característica de CNN 3D.
[0123] Os conjuntos de camadas de característica de CNN 3D são treinados (através de seus parâmetros aprendíveis) para derivar e transmitir as informações úteis idealmente que podem ser determinadas de suas entradas específicas, as camadas totalmente conectadas codificam parâmetros que determinarão a maneira que as informações dos caminhos anteriores devem ser combinadas para fornecer os voxels classificadas idealmente 1012. Posteriormente, os voxels classificados podem ser apresentados no espaço de imagem 1014. Portanto, a saída da rede neural são voxels classificados em um espaço de imagem que corresponde ao espaço de imagem dos voxels na entrada.
[0124] Aqui, a saída (a última camada) das camadas totalmente conectadas pode fornecer uma pluralidade de ativações para cada voxel. Essa ativação do voxel pode representar uma medida de probabilidade (uma previsão) que define a probabilidade de um voxel pertencer a uma de uma pluralidade de classes, por exemplo, classes de estrutura dentária, por exemplo, um dente, mandíbula e/ou estrutura de nervo. Para cada voxel, as ativações de voxel associadas a estruturas dentárias diferentes podem ser limiarizadas a fim de obter um voxel classificado.
[0125] As Figuras 11 a 13 ilustram métodos para determinar características posicionais 3D em uma pilha de dados de imagem 3D que representa uma estrutura dentomaxilofacial 3D e exemplos de tais características posicionais. Especificamente, no caso de características engenhadas manualmente, tanto a pilha de dados de imagem 3D quanto as características posicionais 3D associadas são oferecidas como entrada para a rede neural profunda 3D, para que a rede possa classificar com precisão os voxels sem o risco de sobreajuste. Uma conversão com base em dimensões do mundo real garante entrada comparável, independentemente da resolução da imagem de entrada.
[0126] Uma característica posicional 3D engenhada manualmente pode fornecer as informações de rede neural profunda 3D sobre posições de voxels no volume de imagem em relação a um plano de referência ou a um objeto de referência no volume de imagem. Por exemplo, em uma modalidade, um plano de referência pode ser um plano axial no volume de imagem que separa os voxels associados à mandíbula superior e os voxels associados à mandíbula inferior. Em outra modalidade, um objeto de referência pode incluir uma curva, por exemplo, uma curva 3D, que aproxima pelo menos parte de uma arcada dentária de dentes nos dados de imagem 3D da estrutura dentomaxilofacial. Dessa forma, as características posicionais fornecem para a primeira rede neural profunda os meios para codificar abstrações que indicam uma probabilidade por maxila, dentes e/ou tecidos nervosos associados a voxel em diferentes posições no volume de imagem. Essas características posicionais podem ajudar a rede neural profunda a classificar com eficiência e precisão os voxels de uma pilha de dados de imagem 3D e foram projetadas para reduzir o risco de sobreajuste.
[0127] A fim de determinar planos de referência e/ou objetos de referência no volume de imagem que são úteis no processo de classificação, a função de análise de características pode determinar voxels com um valor de intensidade predeterminado ou acima ou abaixo de um valor de intensidade predeterminado. Por exemplo, voxels associados a valores de intensidade de brilho podem ser relacionados a dentes e/ou tecido da mandíbula. Dessa forma, as informações sobre a posição dos dentes e/ou mandíbulas e a orientação (por exemplo, um ângulo de rotação) no volume de imagem podem ser determinadas pelo computador. Se a função de análise de característica determinar que o ângulo de rotação é maior do que uma quantidade predeterminada (por exemplo, maior do que 15 graus), a função pode corrigir o ângulo de rotação para zero, pois isso é mais benéfico para resultados precisos.
[0128] A Figura 11A ilustra um exemplo de um fluxograma 1102 de um método para determinar características posicionais 3D engenhadas manualmente em dados de imagem 3D 1104, por exemplo, uma pilha de dados de imagem de TC 3D. Esse processo pode incluir a determinação de uma ou mais características posicionais 3D da estrutura dentomaxilofacial, em que uma ou mais características posicionais 3D são configuradas para entrada para a rede neural profunda 3D (como discutido com referência à Figura 10B acima). Uma característica posicional 3D engenhada manualmente define informações de posição de voxels no volume de imagem em relação aos planos de referência ou objetos de referência no volume de imagem, por exemplo, uma distância, por exemplo, uma distância perpendicular, entre voxels no volume de imagem e um plano de referência no volume de imagem que separa a mandíbula superior da mandíbula inferior. A mesma também pode definir a distância entre voxels no volume de imagem e um objeto de referência dentária, por exemplo, uma arcada dentária no volume de imagem. A mesma pode adicionalmente definir posições de valores de intensidade acumulados em um segundo plano de referência do volume de imagem, um valor de intensidade acumulado em um ponto no segundo plano de referência, incluindo valores de intensidade acumulados de voxels sobre ou na proximidade do percurso normal através do ponto no plano de referência. Exemplos de características posicionais 3D são descritos abaixo.
[0129] A fim de determinar um objeto de referência que fornece informações posicionais da arcada dentária nos dados de imagem 3D da estrutura dentomaxilofacial. Um algoritmo de ajuste pode ser usado para determinar uma curva,
por exemplo, uma curva que segue uma fórmula polinomial, que se ajusta em pontos predeterminados em uma nuvem de pontos de valores de intensidade diferentes (acumulados). Em uma modalidade, uma nuvem de pontos de valores de intensidade em um plano axial (um plano x-y) do volume de imagem pode ser determinada. Um valor de intensidade acumulado de um ponto nesse plano axial pode ser determinado pela soma dos valores de voxel de voxels posicionados na normal que atravessa um ponto no plano axial. Os valores de intensidade assim obtidos no plano axial podem ser usados para encontrar uma curva que se aproxima da arcada dentária dos dentes.
[0130] A Figura 11B representa um exemplo de um método de aprendizado de máquina que pode ser utilizado para gerar características posicionais 3D relevantes (não engenhadas manualmente), de acordo com uma modalidade da invenção. Em particular, a Figura 11B representa uma arquitetura de rede neural profunda 3D exemplificativa que pode ser treinada para gerar características desejadas a serem processadas pela rede neural 3D de segmentação. Após o treinamento, esse modelo treinado pode ser empregado de forma análoga ao método 502 como um pré- processador que deriva características posicionais 3D relevantes com base no conjunto de dados 3D recebido inteiro.
[0131] Semelhante às características posicionais 3D engenhadas manualmente, o objetivo é incorporar às características posicionais 3D informações em relação ao conjunto de dados 3D recebido inteiro (ou pelo menos uma parte substancial do mesmo) para uso na rede de aprendizado profundo 3D de segmentação que é potencialmente relevante para a tarefa de classificação e segmentação automatizada e, caso contrário, poderá não estar disponível no conjunto ou conjuntos de subamostras oferecidas para a rede de aprendizado profundo 3D de segmentação. Novamente, como com as características posicionais 3D engenhadas manualmente, essas informações devem ser disponibilizadas por voxel no conjunto de dados 3D recebidos.
[0132] Uma das maneiras possíveis para implantar esse método de aprendizado de máquina para gerar automaticamente características posicionais 3D é uma rede neural profunda treinada. Essa rede pode ser treinada para derivar características posicionais 3D com base em um conjunto de dados 3D de entrada (por exemplo, uma representação de voxel de uma estrutura dentomaxilofacial) que é oferecido para a entrada da rede neural profunda da segmentação 3D. Em uma modalidade, a rede neural profunda de pré-processamento pode ser uma rede neural profunda de tipo rede U 3D, como ilustrado pela Figura 11B. Devido aos limites de processamento disponíveis (principalmente requisitos de memória), essa arquitetura não operaria nas resoluções das representações de voxel recebidas. Portanto, um primeiro conjunto de dados 3D de entrada, uma primeira representação de voxel de uma primeira resolução (por exemplo, 0,2x0,2x0,2 mm por voxel) pode ter sua resolução reduzida para uma segunda representação de voxel de uma segunda resolução inferior, por exemplo, uma resolução de 1x1x1 mm por voxel, com o uso de um algoritmo de interpolação. Posteriormente, uma rede neural profunda 3D que é treinada com base nas representações de voxel da segunda resolução pode gerar informações de característica posicional 3D de voxel por entrada. Um algoritmo de interpolação pode ser usado para escalonar essas informações até a primeira resolução original. Dessa forma, as características posicionais 3D resultantes (espacialmente) coincidem com os voxels da primeira representação de voxel, fornecendo informações relevantes para cada voxel do primeiro conjunto de dados 3D de entrada, ao mesmo tempo em que levam em consideração informações que consideram (uma versão agregada de) o conjunto de dados 3D recebido inteiro.
[0133] Essa rede neural profunda 3D de pré-processamento pode ser treinada para aproximar os valores-alvo desejados (que são as características posicionais 3D desejadas). Nesse exemplo específico, os alvos podem, por exemplo, ser uma indicação de classe por voxel na resolução na qual a rede neural profunda 3D de pré- processamento opera. Tais indicações de classe podem, por exemplo, ser originárias do mesmo grupo de voxels de treinamento classificados 136, mas com resolução reduzida da mesma maneira que o conjunto de dados 3D recebido. É observado que esse método de aprendizado de máquina de pré-processamento pode efetivamente ser considerado como uma pré-segmentação grossa, especificamente uma que potencialmente tenha acesso a informações da (ou uma parte substancial da) representação de voxel 3D recebida inteira. O emparelhamento das informações de pré-segmentação aproximadas com os voxels aplicáveis do espaço de imagem 3D recebidos, por exemplo, por meio de aumento de resolução, faz com que essas características posicionais 3D sejam processadas em paralelo com os dados de imagem 3D recebidos, em direção a um resultado na resolução da imagem 3D recebida.
[0134] A rede de pré-processamento pode ser implantada com o uso de uma variedade de camadas de rede neural 3D, tais como camadas convolucionais (CNNs 3D), camadas de agrupamento máximo 3D, camadas deconvolucionais 3D (de-CNNs 3D) e camadas conectadas densamente. As camadas podem usar uma variedade de funções de ativação, tais como linear, tanh, ReLU, PreLU, sigmoide, etc. As camadas de CNN e de de-CNN 3D podem variar em seu número de filtros, tamanhos de filtro e parâmetros de subamostragem. As camadas de CNN e de de-CNN 3D, bem como as camadas conectadas densamente, podem variar em seus métodos de inicialização de parâmetros. Camadas de abandono e/ou de normalização lote podem ser empregadas em toda a arquitetura.
[0135] Após uma arquitetura de rede U 3D, durante o treinamento, os vários filtros dentro das camadas de CNN 3D e de de-CNN 3D aprendem a codificar características significativas que auxiliariam no esforço de precisão da previsão. Durante o treinamento, conjuntos correspondentes de dados de imagem 3D 1122 e características posicionais 3D correspondentes codificadas 1160 são usados para otimizar em direção à previsão do último a partir do anterior. Uma função de perda pode ser empregada como uma medida a ser minimizada. Esse esforço de otimização pode ser auxiliado fazendo-se uso de otimizadores tais como SGD, Adam etc.
[0136] Essa arquitetura pode empregar várias escalas de resolução interna, reduzindo de maneira eficaz 1126, 1130, 1134 como resultado de um conjunto anterior de camadas de CNN 3D 1124, 1128, 1132 através do grupo máximo. O termo
'características significativas' aqui se refere a derivações (sucessivas) de informações relevantes para determinar os valores alvo de saída e também são codificadas através das camadas de de-CNN 3D, que realizam com eficácia um aumento de resolução enquanto empregam filtros. Combinando-se 1140, 1146, 1152 dados resultantes dessas camadas de de-CNN 3D 1138, 1144, 1154 com os dados das 'últimas' camadas de CNN 3D que operam na mesma resolução (1132 a 1140, 1128 a 1146 e 1124 a 1152), previsões altamente precisas podem ser obtidas. Ao longo do caminho de aumento de resolução, camadas adicionais de CNN 3D podem ser usadas 1142, 1148, 1154.
[0137] Ao ser utilizada para inferência, tendo sido treinado para codificar parâmetros internos de tal forma que a validação produza resultados suficientemente precisos, uma amostra de entrada pode ser apresentada e a rede de aprendizado profundo 3D pode gerar características posicionais 3D previstas 542.
[0138] Um exemplo de um objeto de referência para uso na determinação de características posicionais 3D engenhadas manualmente, nesse caso uma curva que se aproxima de uma arcada dentária, é fornecido na Figura 12. Nesse exemplo, uma nuvem de pontos no plano axial (xy) indica áreas com valores de intensidade alta (áreas brancas brilhantes) que podem indicar áreas de estruturas de dentes ou mandíbulas. Para determinar uma curva da arcada dentária, o computador pode determinar áreas em um plano axial do volume de imagem associado a voxels brilhantes (por exemplo, voxels com um valor de intensidade acima de um valor limiar predeterminado) que podem ser identificados como voxels de dentes ou mandíbulas. Essas áreas de alta intensidade podem ser usadas para determinar um arranjo crescente de áreas brilhantes que se aproxima da arcada dentomaxilofacial. Dessa forma, pode ser determinada uma curva de arcada dentária, que se aproxima de uma média das arcadas dentomaxilofaciais da mandíbula superior e da mandíbula inferior, respectivamente. Em outra modalidade, curvas de arcada dentária separadas associadas à mandíbula superior e inferior podem ser determinadas.
[0139] As Figuras 13A a 13E representam exemplos de características posicionais 3D de dados de imagem 3D, de acordo com várias modalidades da invenção.
[0140] A Figura 13A representa (esquerda) uma imagem de uma fatia do plano sagital de uma pilha de dados de imagem 3D e (direita) uma visualização associada de uma característica de altura da mesma fatia. Essa característica de altura pode codificar uma posição z (uma altura 1304) de cada voxel no volume de imagem da pilha de dados de imagem de TC 3D em relação a um plano de referência 1302. O plano de referência (por exemplo, o plano axial ou xy) que é determinado como (a melhor aproximação de) o plano xy com distância aproximadamente igual tanto para a maxila superior quanto a maxila inferior e seus dentes constituintes.
[0141] Outras características posicionais 3D podem ser definidas para codificar informações espaciais em um espaço xy de uma pilha de dados de imagem 3D. Em uma modalidade, essa característica posicional pode ser com base em uma curva que se aproxima (parte de) da arcada dentária. Essa característica posicional é ilustrada na Figura 13B, que representa (esquerda) uma fatia de uma pilha de dados de imagem 3D e (direita) uma visualização da chamada característica de deslocamento para a mesma fatia. Essa característica de deslocamento é com base na curva que se aproxima da arcada dentária 1306 e define a distância relativa 1308 medida ao longo da curva. Aqui, a distância zero pode ser definida como o ponto 1310 na curva em que a derivada do polinômio de segundo grau é (aproximadamente) zero. A distância percorrida aumenta ao se mover em qualquer direção no eixo cartesiano x, a partir desse ponto (por exemplo, o ponto em que a derivada é zero).
[0142] Uma característica posicional 3D adicional com base na curva da arcada dentária pode definir a distância mais curta (perpendicular) de cada voxel no volume de imagem para a curva da arcada dentária 1306. Essa característica posicional pode, portanto, ser chamada de 'característica de distância'. Um exemplo dessa característica é fornecido na Figura 13C, que mostra (esquerda) uma fatia da pilha de dados de imagem 3D e (direita) uma visualização da característica de distância para a mesma fatia. Para essa característica, distância zero significa que o voxel está posicionado na curva da arcada dentária 1308.
[0143] Ainda uma outra característica posicional 3D pode definir informações posicionais de dentes individuais. Um exemplo dessa característica (que também pode ser chamada de característica dentária) é fornecido na Figura 13D, que mostra (esquerda) uma fatia da pilha de dados de imagem 3D e (direita) uma visualização da característica dentária para a mesma fatia. A característica dentária pode fornecer informações a serem usadas para determinar a probabilidade de encontrar voxels de certos dentes em uma determinada posição no espaço de voxel. Essa característica pode, seguindo um plano de referência determinado como 1302, codificar uma soma separada de voxels sobre a normal para qualquer plano (por exemplo, o plano x-y ou qualquer outro plano). Essas informações fornecem à rede neural uma 'visão' de todas as informações do espaço original, somadas sobre o plano normal. Essa visão é maior do que seria processada quando se exclui essa característica e pode fornecer um meio de diferenciar se uma estrutura rígida está presente com base em todas as informações na direção escolhida do espaço (conforme ilustrado em 13121,2 para o plano x-y).
[0144] A Figura 13E mostra uma visualização de características posicionais 3D que podem ser gerados por um pré-processador de aprendizado de máquina, em particular uma rede neural profunda 3D como descrito em relação à Figura 10B. Essas características posicionais 3D foram renderizadas em computador 3D e os volumes 3D mostrados são o resultado da limiarização dos valores previstos. A partir da 'rugosidade' relativa das superfícies que definem os volumes pode ser visto que tal rede e seus dados de entrada e de alvo são operados em uma resolução 3D mais baixa do que aquela da representação de voxel definitiva a ser segmentada (no caso desse exemplo, foi empregada uma resolução de 1x1x1mm por voxel). Como destinos, os mesmos dados de treinamento podem ser usados para a rede de aprendizado profundo 3D de segmentação, mas com uma amostragem reduzida para uma resolução aplicável que adere aos requisitos de processamento para uso por essa rede neural profunda 3D de pré-processamento. Isso leva, com efeito, a tais características posicionais 3D conterem uma pré-segmentação 'aproximada', no caso deste exemplo, de estruturas de mandíbula 1320, dente 1322 e nervo 1324. Para os fins dessa ilustração, a mandíbula inferior desse paciente particular não foi renderizada de modo a mostrar os voxels classificados como sendo mais prováveis de serem parte da estrutura de nervo.
[0145] Essa pré-segmentação aproximada pode ser adequadamente amostrada, por exemplo, por meio de interpolação, garantindo que por voxel na resolução de segmentação desejada (que é a resolução de voxel recebida originalmente), as informações dessa pré-segmentação coincidam espacialmente na resolução desejada. Por exemplo, as informações de um voxel na visualização mostrada podem coincidir espacialmente com voxels 5x5x5 na resolução desejada e suas informações devem ser emparelhadas com todos os 125 voxels aplicáveis na resolução desejada Posteriormente, essas informações de resolução aumentada podem ser apresentadas como ou incluídas em um conjunto de características posicionais 3D e, como descrito com referência às Figuras 10A e 10B, ser alimentadas como entrada na rede neural profunda 3D de segmentação.
[0146] As Figuras 14A a 14D representam exemplos da saída de uma rede neural de aprendizado profundo treinada, de acordo com uma modalidade da invenção. Em particular, as Figuras 14A a 14D representam imagens 3D de voxels que são classificados com o uso de uma rede neural de aprendizado profundo treinada com o uso de um método de treinamento como descrito com referência à Figura 8. Como mostrado nas Figuras 14B e 14C, os voxels podem ser classificados pela rede neural em voxels que pertencem a estruturas de dentes (Figura 14B), estruturas de mandíbula (Figura 14C) ou estruturas de nervos (Figura 14D). A Figura 14A mostra uma imagem 3D que inclui os voxels que a rede neural de aprendizado profundo classificou como dentes, mandíbula e tecido nervoso. Como mostrado nas Figuras 14B a 14D, o processo de classificação é preciso, mas ainda há um número considerável de voxels perdidos ou classificados incorretamente. Por exemplo, conforme mostrado nas Figuras 14B e 14C, voxels que podem fazer parte da estrutura da mandíbula são classificados como voxels de dentes, enquanto nas superfícies que pertencem às raízes dos dentes voxels são perdidos. Como mostrado na Figura 14D, esse problema é ainda mais acentuado com voxels de nervos classificados.
[0147] A fim de resolver o problema de pontos fora da curva nos voxels classificados (que formam a saída da primeira rede neural de aprendizado profundo), os voxels podem ser pós-processados. A Figura 15 representa um fluxograma de pós- processamento de voxels classificados de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção. Em particular, a Figura 15 representa um fluxograma de pós-processamento de dados de voxel de estruturas dentomaxilofaciais que são classificadas com o uso de uma rede neural de aprendizado profundo, como descrito com referência às Figuras 7 a 14 desse pedido.
[0148] Como mostrado na Figura 15, o processo pode incluir uma etapa de dividir os dados de voxel classificados 1502 da estrutura dentomaxilofacial 3D em voxels que são classificados como voxels de maxila 1504, voxels de dentes 1506 e voxels que são classificados como dados de nervos 1508. Como será descrito abaixo com mais detalhes, os voxels de mandíbula e dentes podem ser pós-processados com o uso de uma segunda rede neural de aprendizado profundo 1510. Em contraste com a primeira rede neural de aprendizado profundo inicial (que usa uma pilha de dados de imagem de TC 3D de uma estrutura dentomaxilofacial e características posicionais associadas como entrada), que gera a melhor classificação possível de voxel com base nos dados da imagem, a segunda rede neural de aprendizado profundo de 'pós- processamento' traduz partes da saída da primeira rede neural de aprendizado profundo para voxels de modo que a saída corresponda melhor às estruturas 3D desejadas.
[0149] A rede neural de aprendizado profundo de pós-processamento codifica representações de dentes e mandíbulas. Durante o treinamento da rede neural de aprendizado profundo de pós-processamento, os parâmetros da rede neural são ajustados para que a saída da primeira rede neural de aprendizado profundo seja traduzida para a representação 3D mais viável dessas estruturas dentomaxilofaciais. Dessa forma, imperfeições nos voxels classificados podem ser reconstruídas 1512. Além disso, a superfície das estruturas 3D pode ser suavizada 1514 de modo que o modelo de mandíbula 3D e os modelos de dentes mais viáveis possam ser gerados. Omitir a pilha de dados de imagem de TC 3D como uma fonte de informações para a rede neural de pós-processamento torna essa etapa de pós-processamento robusta contra variações indesejadas na pilha de imagens.
[0150] Devido à natureza das imagens de TC(FC), a saída da primeira rede neural de aprendizado profundo irá sofrer com distorções potenciais (mencionadas anteriormente), tais como ponderação devido ao movimento do paciente, endurecimento do feixe, etc. Outra fonte de ruído é uma variação nos dados de imagem capturados por diferentes escâneres de TC. Essa variação resulta na introdução de vários fatores, tais como quantidades variáveis de ruído dentro da pilha de imagem, valores de intensidade de voxel variáveis que representam a mesma densidade (mundo real) e potencialmente outros. Os efeitos que as fontes de distorções e ruído mencionados acima têm na saída da primeira rede neural de aprendizado profundo podem ser removidos ou pelo menos substancialmente reduzidos pela rede neural de aprendizado profundo pós-processamento, levando a voxels de mandíbula segmentados e voxels de dentes segmentados.
[0151] Os voxels de dentes segmentados podem consistir em todos os voxels que podem ser considerados parte de qualquer dente e, portanto, podem conter representações de todos os dentes presentes em uma dentição. Um processo pode ser aplicado ao conjunto total de voxels de dentes, a fim de separar os voxels de dentes em conjuntos de voxels pertencentes a dentes individuais 1520. Nesse processo, regiões de voxels conectados podem ser consideradas como objetos individuais e podem ser divididas em representações separadas de dentes individuais.
[0152] Voxels de dentes individuais podem ser conectados e processamento adicional pode ser empregado a fim de dividir todos os volumes a serem considerados como dentes individuais. Isso pode ser feito empregando métodos conhecidos dos campos de processamento de imagens e morfologia, em particular empregando-se escorrimento de água e erosão.
[0153] Em mais detalhes, o volume esperado de um dente individual pode ser usado para realizar iterativamente uma série de etapas até que todos os conjuntos de voxels divididos correspondam ao volume esperado de um dente. A realização de etapas sucessivas de erosão 3D nos voxels dos dentes pode separar conjuntos de voxels previamente conectados. As coordenadas dos centros dessas regiões (recentemente) separadas podem ser usadas como pontos de partida para o escorrimento de água 3D dos voxels de dentes (originais), que podem produzir conjuntos separados de voxels enquanto são conectados. A execução iterativa da erosão até que os conjuntos de voxels sejam separados, a execução do escorrimento de água como descrito acima e a verificação do atendimento das condições de volume mínimo e máximo podem produzir conjuntos de voxels que atendem às exigências consistentes com ser um dente individual.
[0154] Os dados de nervo classificados 1508 podem ser pós-processados separadamente dos dados de mandíbula e dentes. A natureza dos dados de nervo, que representam estruturas de filamentos finos e longos na pilha de dados de imagens de TC, torna esses dados menos adequados para pós-processamento por uma rede neural de aprendizado profundo. Em vez disso, os dados de nervo classificados são pós-processados com o uso de um algoritmo de interpolação a fim de proceder os dados de nervo segmentados 1516. Para esse fim, voxels que são classificados como voxels de nervos e são associados com uma alta probabilidade (por exemplo, probabilidade de 95% ou mais) são usados pelo algoritmo de ajuste a fim de construir um modelo 3D das estruturas de nervos. Posteriormente, os modelos de mandíbula, dentes e nervos 3D são combinados em um modelo 3D da estrutura dentomaxilofacial.
[0155] A Figura 16 representa um exemplo de uma arquitetura de uma rede neural de aprendizado profundo que é configurada para pós-processamento de voxels classificados de uma estrutura dentomaxilofacial 3D, de acordo com uma modalidade da invenção. A rede neural de aprendizado profundo de pós-processamento pode ter uma arquitetura semelhante à primeira rede neural de aprendizado profundo, incluindo um primeiro caminho formado por um primeiro conjunto de camadas de característica de CNN 3D 1604, que é configurado para processar os dados de entrada (nesse caso uma parte dos dados classificados de voxel) na resolução do alvo. A rede neural de aprendizado profundo inclui adicionalmente um segundo conjunto de camadas de característica de CNN 3D 1606, que é configurado para processar o contexto dos dados de entrada que são processados pelas primeiras camadas de característica de CNN 3D, mas, então, em uma resolução inferior ao alvo. A saída da primeira e da segunda camadas de característica de CNN 3D é então alimentada para a entrada de um conjunto de camadas de CNN 3D totalmente conectadas 1608, a fim de reconstruir os dados de voxel classificados, de modo que os mesmos representem estreitamente um modelo 3D da estrutura dentomaxilofacial 3D. A saída da camada de CNN 3D totalmente conectada fornece os dados de voxel reconstruídos.
[0156] A rede neural de pós-processamento pode ser treinada com o uso dos mesmos alvos da primeira rede neural de aprendizado profundo, que representam a mesma saída desejada. Durante o treinamento, a rede é tornada tão amplamente aplicável quanto possível, fornecendo-se ruído para as entradas para representar casos excepcionais a serem regularizados. Inerente à natureza da rede neural de aprendizado profundo pós-processamento, o processamento que a mesma realiza também resulta na remoção de aspectos não viáveis dos dados de voxel recebidos. Os fatores aqui incluem a suavização e preenchimento das estruturas dentomaxilofaciais desejadas e a remoção definitiva de dados de voxel não viáveis.
[0157] As Figuras 17A e 17B representam uma iteração da rede de pós- processamento que resulta na reconstrução da superfície de voxels classificados, de acordo com uma modalidade da invenção. Em particular, a Figura 17A representa uma imagem de voxels classificados de estruturas de dentes, em que os voxels são a saída da primeira rede neural de aprendizado profundo. Como mostrado na figura, ruído e outras distorções nos dados de entrada resultam em irregularidades e distorções na classificação de voxel e, portanto, em estruturas de superfície 3D que incluem lacunas nos conjuntos de voxels que representam uma estrutura de dente. Essas irregularidades e distorções são especialmente visíveis na estrutura de nervo alveolar inferior 17021, e as estruturas de raiz dentária 17041 dos dentes, ou seja, as áreas em que a rede neural de aprendizagem profunda tem que distinguir entre voxels de dentes e voxels que são parte do osso da mandíbula.
[0158] A Figura 17B representa o resultado do pós-processamento de acordo com o processo como descrito com referência às Figuras 15 e 16. Como mostrado nessa figura, a rede neural de aprendizado profundo de pós-processamento remove com sucesso distorções que estavam presentes nos dados de entrada (os voxels classificados). A etapa de pós-processamento reconstrói com sucesso as partes que foram substancialmente afetadas pelas irregularidades e distorções, tais como as estruturas de raiz 17041 dos dentes, que agora exibem superfícies lisas que fornecem um modelo 3D preciso das estruturas de dentes individuais 17042. Os voxels de nervos de alta probabilidade 17021 (por exemplo, uma probabilidade de 95% ou mais) são usados por um algoritmo de ajuste a fim de construir um modelo 3D das estruturas de nervos 17022.
[0159] A Figura 18 representa um esquema de um sistema de computador distribuído, de acordo com uma modalidade da invenção. O sistema de computador distribuído pode ser configurado para processar os dados 3D com base nos processadores de aprendizado profundo 3D treinados, como descrito neste pedido e para renderizar os dados 3D processados. Como mostrado na Figura 18, os processadores 3D de aprendizado profundo treinados podem fazer parte de um sistema distribuído que compreende um ou mais servidores 1802 na rede e vários terminais 18101-3, preferencialmente terminais móveis, por exemplo, um computador de mesa, um computador do tipo laptop, um computador do tipo tablet eletrônico, etc. Os processadores de aprendizado profundo 3D (treinados) podem ser implantados como aplicativos de servidor 1804, 1806. Além disso, um aplicativo cliente (um dispositivo cliente) 18121-3 executado nos terminais pode incluir uma interface de usuário que permite ao usuário interagir com o sistema e uma interface de rede que permite que os dispositivos de cliente se comuniquem através de uma ou mais redes 1808, por exemplo, a Internet, com os aplicativos de servidor. Um dispositivo cliente pode ser configurado para receber dados de entrada. O dispositivo cliente pode transmitir os dados para o aplicativo servidor, que pode processar os dados com base nos métodos e sistemas descritos nesse aplicativo. Os dados processados podem ser enviados de volta ao dispositivo cliente e um mecanismo de renderização 18141-3 associado ao dispositivo cliente pode usar os dados de imagem 3D resultantes para renderizar os modelos de dentes 3D. Em outra modalidade, parte ou o processamento de dados pode ser executado no lado do cliente. Por exemplo, qualquer pré- processamento e/ou pós-processamento descrito nessa revelação pode ser executado pelo dispositivo cliente. Em modalidades adicionais, em vez de um sistema de computador distribuído, um sistema de computador central pode ser usado para executar qualquer processamento descrito nesse pedido.
[0160] Assim, como mostrado pela Figura 18, a invenção fornece um encadeamento de execução totalmente automatizado para a previsão de formatos de raiz com base de dados 3D que representam uma coroa. Um usuário pode fornecer dados de imagem 3D, por exemplo, dados 3D de TC(FC) ou uma varredura intraoral, que representa uma estrutura dentomaxilofacial ou uma dentição, para a entrada do sistema e, em resposta, o sistema irá gerar formato (ou formatos) de raiz para corresponder às coroas como representadas nos dados de origem, que podem ser apresentados ao usuário em formatos gráficos diferentes, por exemplo, como uma renderização 3D ou como marcação em fatias de imagem exibidas. Os dados de entrada são otimizados automaticamente para entrada na rede neural profunda 3D, para que a rede neural profunda 3D seja capaz de processar com precisão os dados de imagem 3D sem qualquer intervenção humana. Além disso, a invenção permite a renderização 3D da saída gerada pelos processadores de rede neural profunda 3D, ou seja, dentes completos contendo a raiz prevista. Além disso, a invenção permite a renderização 3D da saída gerada pelos processadores de rede neural profunda 3D, ou seja, dentes completos contendo a raiz prevista.
[0161] A Figura 19 é um diagrama de blocos que ilustra sistemas de processamento de dados exemplificativos descritos nessa revelação. O sistema de processamento de dados 1900 pode incluir pelo menos um processador 1902 acoplado aos elementos de memória 1904 através de um barramento do sistema
1906. Como tal, o sistema de processamento de dados pode armazenar o código de programa dentro dos elementos de memória 1904. Além disso, o processador 1902 pode executar o código de programa acessado a partir dos elementos de memória 1904 através do barramento do sistema 1906. Em um aspecto, o sistema de processamento de dados pode ser implantado como um computador adequado para armazenar e/ou executar o código do programa. Deve ser reconhecido, no entanto, que o sistema de processamento de dados 1900 pode ser implantado na forma de qualquer sistema, incluindo um processador e memória que seja capaz de realizar as funções descritas dentro desse relatório descritivo.
[0162] Os elementos de memória 1904 podem incluir um ou mais dispositivos de memória física, tais como, por exemplo, memória local 1908 e um ou mais dispositivos de armazenamento em massa 1910. A memória local pode se referir à memória de acesso aleatório ou outro dispositivo (ou dispositivos) de memória não persistente usado geralmente durante a execução real do código do programa. Um dispositivo de armazenamento em massa pode ser implantado como um disco rígido ou outro dispositivo de armazenamento de dados persistente. O sistema de processamento 1900 também pode incluir uma ou mais memórias cache (não mostradas) que fornecem armazenamento temporário de pelo menos parte do código de programa para reduzir o número de vezes que o código de programa deve ser recuperado do dispositivo de armazenamento em massa 1910 durante a execução.
[0163] Os dispositivos de entrada/saída (E/S) representados como dispositivo de entrada 1912 e dispositivo de saída 1914 podem opcionalmente ser acoplados ao sistema de processamento de dados. Exemplos de dispositivo de entrada podem incluir, porém, sem limitação, por exemplo, um teclado, um dispositivo apontador, tal como um mouse ou algo semelhante. Exemplos de dispositivo de saída podem incluir,
porém, sem limitação, por exemplo, um monitor ou visor, alto-falantes ou similares. O dispositivo de entrada e/ou dispositivo de saída pode ser acoplado ao sistema de processamento de dados diretamente ou através de controladores de E/S intervenientes. Um adaptador de rede 1916 também pode ser acoplado ao sistema de processamento de dados para permitir que o mesmo seja acoplado a outros sistemas, sistemas de computador, dispositivos de rede remotos e/ou dispositivos de armazenamento remotos através de redes públicas ou privadas intervenientes. O adaptador de rede pode compreender um receptor de dados para receber dados transmitidos pelos ditos sistemas, dispositivos e/ou redes para os ditos dados e um transmissor de dados para transmitir dados para os ditos sistemas, dispositivos e/ou redes. Modems, modems a cabo e placas Ethernet são exemplos de tipos diferentes de adaptadores de rede que podem ser usados com o sistema de processamento de dados 1900.
[0164] Como mostrado na Figura 19, os elementos de memória 1904 podem armazenar um aplicativo 1918. Deve ser reconhecido que o sistema de processamento de dados 2100 pode adicionalmente executar um sistema operacional (não mostrado) que pode facilitar a execução do aplicativo. O aplicativo, que é implantado na forma de código de programa executável, pode ser executado pelo sistema de processamento de dados 1900, por exemplo, pelo processador 1902. Responsivo à execução do aplicativo, o sistema de processamento de dados pode ser configurado para realizar uma ou mais operações a serem descritas no presente documento em mais detalhes. Em um aspecto, por exemplo, o sistema de processamento de dados 1900 pode representar um sistema de processamento de dados cliente. Nesse caso, o aplicativo 1918 pode representar um aplicativo cliente que, quando executado, configura o sistema de processamento de dados 1900 para realizar as várias funções descritas no presente documento com referência a um "cliente". Exemplos de um cliente podem incluir, entre outros, um computador pessoal, um computador portátil, um telefone celular ou similares. Em outro aspecto, o sistema de processamento de dados pode representar um servidor. Por exemplo, o sistema de processamento de dados pode representar um servidor (HTTP) nesse caso o aplicativo 1918, quando executado, pode configurar o sistema de processamento de dados para realizar operações do servidor (HTTP). Em outro aspecto, o sistema de processamento de dados pode representar um módulo, unidade ou função, como referido nesse relatório descritivo.
[0165] A terminologia usada no presente documento tem o objetivo de descrever apenas modalidades particulares e não se destina a ser limitante da invenção. Como usadas no presente documento, as formas singulares “um”, “uma”, “o” e “a” se destinam a incluir as formas de plural, bem como, a menos que o contexto indique claramente o contrário. Será adicionalmente compreendido que os termos “compreende” e/ou “compreender”, quando utilizados nesse relatório descritivo, especificam a presença de características, totalidades, etapas, operações, elementos e/ou componentes indicados, mas não excluem a presença ou adição de uma ou mais outras características, totalidades, etapas, operações, elementos, componentes e/ou grupos dos mesmos.
[0166] As estruturas, os materiais, as ações e equivalentes correspondentes de todos os meios ou elementos de etapa mais função nas reivindicações abaixo são destinados a incluir qualquer estrutura, material ou ação correspondente para realizar a função em combinação com outros elementos reivindicados conforme especificamente reivindicados. A descrição da presente invenção foi apresentada para fins de ilustração e descrição, mas não se destina a ser exaustiva e limitada à invenção na forma revelada. Muitas modificações e variações serão evidentes àqueles de habilidade comum na técnica sem que se desvie do escopo e espírito da invenção. A modalidade foi escolhida e descrita a fim de mais bem explicar os princípios da invenção e a aplicação prática, e para permitir que outros de habilidade comum na técnica entendam a invenção para várias modalidades com várias modificações, conforme adequado ao uso específico contemplado.
[0167] As Figuras 20A a Figura 20D mostram uma representação de visualizações de modelos de dentes 3D para um usuário final, de acordo com uma modalidade da invenção. A Figura 20A e a Figura 20B mostram fatias de dados de imagem 3D, como recebidos pelo sistema. Esses dados 3D podem ser gerados por um escâner TCFC, respectivamente nos planos coronal e sagital. Ambas as figuras mostram toda a extensão dos dados recebidos e, como pode ser visto, o 'lado superior' dos dados não contém os dentes completos dentro da mandíbula superior. Os dados contêm partes das coroas dos dentes, que podem ser segmentadas de acordo com os métodos descritos em relação à etapa 104 do sistema e detalhados na Figura 8 a na Figura 17, que resultam na representação do modelo 3D das estruturas dentomaxilofaciais como mostrado na Figura 20C, mais especificamente as estruturas (em alguns casos parciais) de dentes individuais e mandíbulas. Após pré- processar os dados 3D com o uso de, por exemplo, um método como descrito com referência à Figura 4, as representações de voxel dos modelos de coroas incompletos podem ser passadas individualmente para a rede neural profunda 3D treinada 106 para obter a previsão de formato da raiz, como ilustrado na Figura 20D por coroa individual 2004 (2002, conforme indicado nos dados de fonte) e raiz individual prevista
2006.
[0168] O sistema pode realizar automaticamente esse processo para todas as entidades de dente individuais consideradas como sendo coroas e incompletas, o que pode ser determinado, por exemplo, fazendo-se uso de informações conhecidas que consideram dentes completos como as dimensões do mundo real mínimas esperadas do volume considerado como sendo (parte de um) dente e uma mudança máxima esperada na área da superfície considerada como sendo parte de um dente, em que a área da superfície está dentro de um plano que cruza o modelo e a mudança na área é o resultado de mover iterativamente um plano normal ao longo do eixo geométrico 'vertical' (no sistema de coordenadas do mundo real) com um tamanho de passo definido. Em outras palavras, a varredura do volume do (parte de um) dente ao longo do eixo geométrico vertical pode produzir quaisquer alterações/terminação abruptas do volume, que indica que o dente ainda está incompleto.
[0169] Após a geração de previsões para todas as seções de coroa aplicáveis, o pós-processador 108 pode resultar em dados de imagem 3D 110 como representados visualmente pela Figura 20D, que fornece ao usuário final dentes completos com seções de raiz previstas com base nas seções de coroa recebidas para dados de imagem 3D.
Claims (15)
1. Método implantado por computador para previsão automatizada de formato da raiz 3D, caracterizado por compreender: um pré-processador (104) receber dados 3D (102) definidos em um espaço de voxel, sendo que o espaço de voxel define um volume 3D, em que o espaço de voxel compreende uma representação de voxel de uma coroa e processar a representação de voxel de modo que a mesma esteja em uma escala, posição e orientação que correspondam às representações de voxel usadas para treinar uma primeira rede neural profunda 3D (106, 210); o pré-processador (104) fornecer a representação de voxel da coroa para a entrada da primeira rede neural profunda 3D (106), sendo que a primeira rede neural profunda 3D é treinada com base em um conjunto de treinamento de dados clínicos 3D pré-processados (202) que define representações 3D de dentes reais, em que a rede neural profunda treinada (106, 210) é configurada para prever uma representação de voxel anatomicamente precisa (212) de uma raiz correspondente à coroa ou uma representação de voxel (214) de um dente completo; a primeira rede neural profunda 3D (106, 210) gerar uma representação de voxel de uma raiz prevista (212) ou de um dente completo (214) que compreende a raiz prevista com base na representação de voxel da coroa, em que a geração da representação de voxel da raiz prevista ou do dente completo inclui: determinar ativações de voxel para voxels em um espaço de voxel da saída da primeira rede de aprendizado profundo 3D, sendo que cada ativação de voxel representa uma medida de probabilidade que define a probabilidade de um voxel ser pelo menos parte da raiz ou do dente completo; e, determinar se uma ativação de voxel é parte da raiz ou do dente completo, comparando-se a ativação de voxel com um valor limiar de ativação de voxel, preferencialmente um valor limiar que representa uma probabilidade superior a 0,5.
2. Método, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente:
um pós-processador receber a representação de voxel da raiz prevista gerada pela primeira rede neural profunda 3D e processar a representação de voxel da raiz prevista e da coroa 3D, sendo que o processamento inclui: combinar os voxels da raiz 3D e da coroa 3D em uma representação de voxel de um dente completo 3D; e, opcionalmente, transformar a representação de voxel do dente completo 3D em uma malha 3D de um dente completo.
3. Método, de acordo com as reivindicações 1 ou 2, caracterizado por os dados 3D definirem uma representação 3D de pelo menos parte de uma dentição, sendo que o processamento pelo pré-processador inclui adicionalmente: segmentar os dados 3D em pelo menos um conjunto de dados 3D, sendo que o conjunto de dados 3D representa uma coroa 3D de um dente da dentição; e, transformar o conjunto de dados 3D em uma representação de voxel da coroa, sendo que a representação de voxel corresponde ao espaço de voxel da entrada da primeira rede neural profunda 3D.
4. Método, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado por os dados 3D recebidos pelo pré-processador serem dados 3D gerados por um escâner óptico, preferencialmente um escâner óptico intraoral, sendo que os dados 3D definem uma malha de superfície 3D que representa pelo menos parte de uma dentição que compreende uma pluralidade de coroas, em que o processamento pelo pré-processador inclui adicionalmente: segmentar a malha 3D em uma pluralidade de malhas 3D segmentadas, em que cada malha 3D segmentada representa uma coroa 3D da dentição; transformar cada malha de superfície 3D segmentada em uma representação de voxel da coroa, sendo que a representação de voxel corresponde ao espaço de voxel da entrada da primeira rede neural profunda 3D.
5. Método, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado por os dados 3D recebidos pelo pré-processador serem gerados por um escâner de raios X, preferencialmente um escâner TCFC, sendo que os dados 3D definem uma representação de voxel de pelo menos parte de uma estrutura dentomaxilofacial, sendo que a estrutura dentomaxilofacial inclui uma pluralidade de dentes de pelo menos parte de uma dentição, em que o processamento pelo pré- processador inclui adicionalmente: classificar pelo menos parte dos voxels que representam a estrutura dentomaxilofacial em pelo menos um dos voxels da mandíbula, dentes e/ou nervos com o uso de uma segunda rede neural profunda 3D; sendo que a segunda rede neural profunda 3D é treinada com base em dados de imagem 3D de estruturas dentomaxilofaciais, opcionalmente uma ou mais características posicionais 3D derivados dos dados de imagem 3D do conjunto de treinamento e um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento, sendo que um ou mais modelos 3D são usados como alvo durante o treinamento da primeira rede neural profunda; e, segmentar os voxels classificados em um ou mais conjuntos de dados 3D, sendo que cada um do um ou mais conjuntos de dados 3D define uma representação de voxel de um dente na dentição da estrutura dentomaxilofacial.
6. Método, de acordo com a reivindicação 5, caracterizado por o processamento pelo pré-processador incluir adicionalmente: fornecer uma representação de voxel adicional da estrutura dentomaxilofacial para a entrada de uma terceira rede neural profunda 3D, sendo que a terceira rede neural profunda é treinada para determinar para cada voxel da representação de voxel na entrada de pelo menos uma característica posicional 3D, uma característica posicional 3D, incluindo uma medida que indica a probabilidade de um voxel representar mandíbula, dentes e/ou tecido nervoso, em que a representação de voxel adicional da estrutura dentomaxilofacial é uma versão de baixa resolução da representação de voxel da estrutura dentomaxilofacial, preferencialmente em que a resolução da representação de voxel adicional é pelo menos três vezes menor do que a resolução da primeira representação de voxel, mais preferencialmente em que a terceira rede neural profunda 3D é treinada com base nos dados de imagem 3D de estruturas dentomaxilofaciais e o um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento para treinamento da segunda rede neural profunda; fornecer a uma ou mais características posicionais 3D e a representação de voxel da estrutura dentomaxilofacial para a segunda rede neural profunda 3D e a segunda rede neural profunda 3D com o uso da uma ou mais características posicionais classificar pelo menos parte dos voxels no espaço de voxel em pelo menos um dos voxels de mandíbulas, dentes e/ou nervos.
7. Método, de acordo com qualquer uma das reivindicações 5 ou 6, caracterizado por a segunda rede neural profunda compreender uma pluralidade de primeiras camadas convolucionais 3D, sendo que a saída da pluralidade de primeiras camadas convolucionais 3D é conectada a pelo menos uma camada totalmente conectada, em que a pluralidade de primeiras camadas convolucionais 3D é configurada para processar um primeiro bloco de voxels da primeira representação de voxel e em que a pelo menos uma camada totalmente conectada é configurada para classificar voxels do primeiro bloco de voxels em pelo menos um dos voxels de mandíbulas, dentes e/ou nervos
8. Método, de acordo com a reivindicação 7, caracterizado por a segunda rede neural profunda compreender adicionalmente uma pluralidade de segundas camadas convolucionais 3D, sendo que a saída da pluralidade de segundas camadas convolucionais 3D é conectada a pelo menos uma camada totalmente conectada, em que a pluralidade de segundas camadas convolucionais 3D é configurada para processar um segundo bloco de voxel da primeira representação de voxel, sendo que o primeiro e o segundo bloco de voxels têm o mesmo ou substancialmente o mesmo ponto central no volume de imagem e o segundo bloco de voxels representa um volume nas dimensões reais que são maiores que o volume nas dimensões reais do primeiro bloco de voxels, sendo que a pluralidade de segundas camadas convolucionais 3D é configurada para determinar informações contextuais associadas aos voxels do primeiro bloco de voxels que são fornecidas para a entrada da pluralidade de primeiras camadas convolucionais 3D.
9. Método, de acordo com qualquer uma das reivindicações 1 a 8, caracterizado por a primeira rede neural profunda 3D incluir uma pluralidade de camadas convolucionais 3D conectadas através de uma ou mais camadas conectadas densamente a uma pluralidade de camadas deconvolucionais 3D e em que a primeira rede neural profunda é treinada com base nas representações de voxel de coroas e raízes associadas ou com base em representações de voxel de coroas e dentes associados, preferencialmente a primeira rede neural profunda 3D, pelo menos uma pluralidade de camadas convolucionais 3D configuradas de modo que a resolução espacial das informações derivada resultante da seção seja reduzida em comparação com a resolução de entrada, uma ou mais camadas configuradas para processar informações resultantes de pelo menos uma pluralidade de camadas convolucionais 3D em paralelo, sendo que, preferencialmente, a uma ou mais camadas compreendem uma ou mais camadas conectadas densamente e pelo menos uma pluralidade de camadas convolucionais 3D configuradas de modo que a resolução espacial da saída resultante da rede total é pelo menos da mesma resolução que a resolução de entrada, preferencialmente por meio de convoluções transpostas; mais preferencialmente, a primeira rede neural profunda 3D tem uma arquitetura de rede neural profunda do tipo rede U 3D, ainda mais preferencialmente, pelo menos, parte das representações voxel é derivada de dados de raios X 3D segmentados, preferencialmente de dados de FCTC 3D obtidas, que representam uma ou mais estruturas dentomaxilofaciais.
10. Método implantado por computador para treinar uma rede neural de aprendizado profundo 3D para gerar uma previsão de formato da raiz 3D, caracterizado por compreender: um computador que recebe dados de treinamento (200), sendo que os dados de treinamento (200) incluem dados clínicos 3D (202) que compreendem representações voxel de coroas e raízes associadas ou com base em representações voxel de coroas e dentes associados, em que pelo menos parte das representações voxel é derivada de dados de raios X 3D segmentados, preferencialmente dados de TC de feixe cônico 3D (TCFC); e/ou derivados de dentes completos digitalizados opticamente; oferecer uma representação de voxel de uma coroa (208) para a entrada da rede neural profunda 3D e a rede neural profunda 3D gerar uma representação de voxel de uma raiz prevista; otimizar valores de um ou mais parâmetros de rede da rede neural profunda 3D, minimizando-se uma função de perda que representa um desvio entre a representação de voxel de uma raiz prevista ou um dente completo previsto e a representação de voxel de uma raiz (207) ou um dente completo (206) que está associado com a representação de voxel da coroa (208) que foi oferecida para a entrada da rede neural profunda 3D; e, armazenar os valores otimizados em uma mídia de armazenamento legível por computador, sendo que os valores otimizados definem um ou mais parâmetros de rede de uma rede neural treinada (210) configurados para, quando fornecidos com uma representação de voxel de uma coroa, preverem uma representação de voxel anatomicamente precisa (212) de uma raiz correspondente à coroa ou uma representação de voxel (214) de um dente completo.
11. Método, de acordo com a reivindicação 10, caracterizado por a rede neural profunda 3D incluir uma pluralidade de camadas convolucionais 3D conectadas através de uma ou mais camadas conectadas densamente a uma pluralidade de camadas deconvolucionais 3D, preferencialmente a rede neural profunda 3D que tem uma arquitetura de rede neural profunda do tipo rede U 3D.
12. Sistema de computador, preferencialmente um sistema servidor, adaptado para prever automaticamente um formato de raiz 3D caracterizado por compreender: uma mídia de armazenamento legível por computador que tem código de programa legível por computador incorporado à mesma, sendo que o código de programa inclui um algoritmo de pré-processamento e pelo menos uma rede neural profunda 3D treinada; e um processador, preferencialmente um microprocessador, acoplado à mídia de armazenamento legível por computador, em que responsivo à execução do código de programa legível por computador, o processador é configurado para realizar operações executáveis que compreendem: um pré-processador (104) receber dados 3D (102) definidos em um espaço de voxel, sendo que o espaço de voxel define um volume 3D, em que o espaço de voxel compreende uma representação de voxel de uma coroa e processar a representação de voxel de modo que a mesma esteja em uma escala, posição e orientação que correspondem às representações de voxel usadas para treinar uma primeira rede neural profunda 3D (106, 210); o pré-processador (104) fornecer a representação de voxel da coroa para a entrada da primeira rede neural profunda 3D (106), em que a primeira rede neural profunda 3D é treinada com base em um conjunto de treinamento de dados clínicos 3D pré-processados (202) que define representações 3D de dentes reais, sendo que a rede neural profunda treinada (106, 210) é configurada para prever uma representação de voxel anatomicamente precisa (212) de uma raiz correspondente à coroa ou uma representação de voxel (214) de um dente completo; a primeira rede neural profunda 3D (106, 210) gerar uma representação de voxel de uma raiz prevista (212) ou de um dente completo (214) que compreende a raiz prevista com base na representação de voxel da coroa, em que a geração da representação de voxel da raiz prevista ou do dente completo inclui: determinar ativações de voxel para voxels em um espaço de voxel da saída da primeira rede de aprendizado profundo 3D, sendo que cada ativação de voxel representa uma medida de probabilidade que define a probabilidade de um voxel fazer parte da raiz ou do dente completo; e, determinar se uma ativação de voxel é parte da raiz ou do dente completo, comparando-se a ativação de voxel com um valor limiar de ativação de voxel, preferencialmente um valor limiar que representa uma probabilidade superior a 0,5.
13. Método, de acordo com a reivindicação 1, caracterizado por compreender adicionalmente: um pós-processador receber a representação de voxel da raiz prevista gerada pela primeira rede neural profunda 3D e processar a representação de voxel da raiz prevista e da coroa 3D, sendo que o processamento inclui: combinar os voxels da raiz 3D e da coroa 3D em uma representação de voxel de um dente completo 3D; e, opcionalmente, transformar a representação de voxel do dente completo 3D em uma malha 3D de um dente completo.
14. Sistema de computador, preferencialmente um sistema servidor, adaptado para prever automaticamente um formato de raiz 3D caracterizado por compreender uma mídia de armazenamento legível por computador com código de programa legível por computador incorporado à mesma, sendo que o código de programa inclui um algoritmo de pré-processamento e pelo menos um rede neural profunda 3D treinada; e um processador, preferencialmente um microprocessador, acoplado à mídia de armazenamento legível por computador, em que responsivo à execução do código de programa legível por computador, o processador é configurado para realizar operações executáveis que compreendem àquelas, de acordo com qualquer uma das reivindicações 1 a 11.
15. Produto de programa de computador caracterizado por compreender partes de código de software configuradas para, quando executadas na memória de um computador, realizar as etapas do método de acordo com qualquer uma das reivindicações 1 a 10.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17210529.8 | 2017-12-22 | ||
| EP17210529.8A EP3503038A1 (en) | 2017-12-22 | 2017-12-22 | Automated 3d root shape prediction using deep learning methods |
| PCT/EP2018/086686 WO2019122373A1 (en) | 2017-12-22 | 2018-12-21 | Automated 3d root shape prediction using deep learning methods |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112020012292A2 true BR112020012292A2 (pt) | 2020-11-24 |
Family
ID=60915346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112020012292-0A BR112020012292A2 (pt) | 2017-12-22 | 2018-12-21 | previsão automatizada de formato de raiz 3d com o uso de métodos de aprendizado profundo |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US11455774B2 (pt) |
| EP (2) | EP3503038A1 (pt) |
| JP (1) | JP7451406B2 (pt) |
| KR (1) | KR102559819B1 (pt) |
| CN (1) | CN111656408A (pt) |
| BR (1) | BR112020012292A2 (pt) |
| CA (1) | CA3085799A1 (pt) |
| ES (1) | ES2912304T3 (pt) |
| IL (1) | IL275338A (pt) |
| WO (1) | WO2019122373A1 (pt) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018118772A1 (en) | 2016-12-19 | 2018-06-28 | Lantos Technologies, Inc. | Manufacture of inflatable membranes |
| WO2019002631A1 (en) | 2017-06-30 | 2019-01-03 | Promaton Holding B.V. | 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES |
| EP3462373A1 (en) | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| EP3561778A1 (en) | 2018-04-26 | 2019-10-30 | Promaton Holding B.V. | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques |
| DE102018210259A1 (de) * | 2018-06-22 | 2019-12-24 | Sirona Dental Systems Gmbh | Verfahren zur Konstruktion einer Bohrschablone |
| US11389131B2 (en) | 2018-06-27 | 2022-07-19 | Denti.Ai Technology Inc. | Systems and methods for processing of dental images |
| CN109493417B (zh) * | 2018-10-31 | 2023-04-07 | 深圳大学 | 三维物体重建方法、装置、设备和存储介质 |
| CA3131154A1 (en) * | 2019-02-21 | 2020-08-27 | Case Western Reserve University | Processing three-dimensional (3d) ultrasound images |
| EP3967235A4 (en) * | 2019-03-25 | 2022-11-30 | Bonewise Inc. | APPARATUS AND METHOD FOR ASSESSING BONE AGE OF A TOOTH, AND RECORDING MEDIA RECORDING INSTRUCTIONS FOR ASSESSING BONE AGE OF A TOOTH |
| CN114302690A (zh) * | 2019-03-26 | 2022-04-08 | 克维斯托姆公司 | 用于正畸治疗计划的方法和系统 |
| US11030742B2 (en) * | 2019-03-29 | 2021-06-08 | GE Precision Healthcare LLC | Systems and methods to facilitate review of liver tumor cases |
| US11366985B2 (en) * | 2020-05-15 | 2022-06-21 | Retrace Labs | Dental image quality prediction platform using domain specific artificial intelligence |
| US11348237B2 (en) * | 2019-05-16 | 2022-05-31 | Retrace Labs | Artificial intelligence architecture for identification of periodontal features |
| US11276151B2 (en) | 2019-06-27 | 2022-03-15 | Retrace Labs | Inpainting dental images with missing anatomy |
| US11357604B2 (en) * | 2020-05-15 | 2022-06-14 | Retrace Labs | Artificial intelligence platform for determining dental readiness |
| US11311247B2 (en) * | 2019-06-27 | 2022-04-26 | Retrace Labs | System and methods for restorative dentistry treatment planning using adversarial learning |
| US11367188B2 (en) * | 2019-10-18 | 2022-06-21 | Retrace Labs | Dental image synthesis using generative adversarial networks with semantic activation blocks |
| US11398013B2 (en) * | 2019-10-18 | 2022-07-26 | Retrace Labs | Generative adversarial network for dental image super-resolution, image sharpening, and denoising |
| US11893718B2 (en) * | 2019-07-12 | 2024-02-06 | Murata Machinery, Ltd. | Image recognition method and image recognition device |
| US11676701B2 (en) | 2019-09-05 | 2023-06-13 | Pearl Inc. | Systems and methods for automated medical image analysis |
| US10984529B2 (en) | 2019-09-05 | 2021-04-20 | Pearl Inc. | Systems and methods for automated medical image annotation |
| KR20220108028A (ko) * | 2019-09-05 | 2022-08-02 | 펄 인크 | 자동화된 의료 이미지 주석 및 분석 |
| KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
| CN110675488B (zh) * | 2019-09-24 | 2023-02-28 | 电子科技大学 | 基于深度学习的创意三维体素模型的建模系统的构建方法 |
| US11055789B1 (en) | 2020-01-17 | 2021-07-06 | Pearl Inc. | Systems and methods for insurance fraud detection |
| US11481974B2 (en) * | 2020-01-22 | 2022-10-25 | Vntana, Inc. | Mesh optimization for computer graphics |
| US11963846B2 (en) | 2020-01-24 | 2024-04-23 | Overjet, Inc. | Systems and methods for integrity analysis of clinical data |
| KR102344521B1 (ko) * | 2020-02-05 | 2021-12-29 | 오스템임플란트 주식회사 | 진단 및 진료계획 수립 방법 및 이를 위한 3차원 치과영상 제공장치 |
| KR102361406B1 (ko) * | 2020-03-18 | 2022-02-11 | 오스템임플란트 주식회사 | 가상 치근 병합 방법 및 장치 |
| CN113538437A (zh) * | 2020-04-21 | 2021-10-22 | 宁波深莱医疗科技有限公司 | 牙颌三维数字模型分割结果的检测方法 |
| JP2023526134A (ja) * | 2020-05-26 | 2023-06-20 | スリーエム イノベイティブ プロパティズ カンパニー | ニューラルネットワークベース歯修復用歯科装具の生成及び配置 |
| US11026767B1 (en) | 2020-07-23 | 2021-06-08 | Oxilio Ltd | Systems and methods for planning an orthodontic treatment |
| CN111862171B (zh) * | 2020-08-04 | 2021-04-13 | 万申(北京)科技有限公司 | 基于多视图融合的cbct与激光扫描点云数据牙齿配准方法 |
| CN116583243A (zh) * | 2020-12-11 | 2023-08-11 | 3M创新有限公司 | 使用几何深度学习对牙科扫描图进行自动化处理 |
| KR102510221B1 (ko) * | 2020-12-24 | 2023-03-15 | 연세대학교 산학협력단 | 골절 위험 예측 방법 및 장치 |
| US11776677B2 (en) | 2021-01-06 | 2023-10-03 | Pearl Inc. | Computer vision-based analysis of provider data |
| KR102591665B1 (ko) * | 2021-02-17 | 2023-10-18 | 연세대학교 산학협력단 | 인공 신경망을 이용한 ct 영상 보정 장치 및 방법 |
| CN112927358A (zh) * | 2021-03-10 | 2021-06-08 | 杭州美齐科技有限公司 | 一种基于多模态数据配准的自动化完整牙齿重建方法 |
| US20220318989A1 (en) * | 2021-03-31 | 2022-10-06 | James R. Glidewell Dental Ceramics, Inc. | Automatic Clean Up of Jaw Scans |
| CN113112477B (zh) * | 2021-04-15 | 2023-04-07 | 中山大学附属口腔医院 | 一种基于人工智能的前牙即刻种植测量分析方法 |
| GB202107492D0 (en) * | 2021-05-26 | 2021-07-07 | Vitaware Ltd | Image processing method |
| KR102641953B1 (ko) * | 2021-06-22 | 2024-02-28 | 주식회사 쓰리디산업영상 | 치아 영상을 위한 치아 분할 장치 및 방법 |
| KR102521777B1 (ko) * | 2021-07-02 | 2023-04-14 | 고려대학교 산학협력단 | 이미지 처리 방법 |
| CN113397585B (zh) * | 2021-07-27 | 2022-08-05 | 朱涛 | 基于口腔cbct和口扫数据的牙体模型生成方法及系统 |
| CN113570709B (zh) * | 2021-08-05 | 2024-05-10 | 杭州隐捷适生物科技有限公司 | 一种基于八叉树结构的3d牙齿分割方法 |
| JP7284798B2 (ja) * | 2021-11-05 | 2023-05-31 | エンコアードジャパン株式会社 | デバイス制御システム及びデバイス制御方法 |
| CN114896873B (zh) * | 2022-04-26 | 2023-04-07 | 盐城工学院 | 基于卷积神经网络的行波超声电机寿命预测方法及系统 |
| US20230412849A1 (en) * | 2022-06-21 | 2023-12-21 | Tencent America LLC | Mesh vertex displacements coding |
| CN116485809B (zh) * | 2022-07-01 | 2023-12-15 | 山东财经大学 | 基于自注意力与感受野调整的牙齿实例分割方法及系统 |
| CN115054390B (zh) * | 2022-07-20 | 2024-03-15 | 北京大学口腔医学院 | 基于机器学习的扭矩模型指导种植窝洞个性化制备方法 |
| CN115281709B (zh) * | 2022-10-08 | 2022-12-27 | 太原理工大学 | 一种下颌第二磨牙c形根管检测装置及方法 |
| US11701204B1 (en) | 2022-11-04 | 2023-07-18 | Oxilio Ltd | Systems and methods for planning an orthodontic treatment |
| CN115830034B (zh) * | 2023-02-24 | 2023-05-09 | 淄博市中心医院 | 一种用于口腔健康管理的数据分析系统 |
Family Cites Families (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6721387B1 (en) | 2001-06-13 | 2004-04-13 | Analogic Corporation | Method of and system for reducing metal artifacts in images generated by x-ray scanning devices |
| US7636461B2 (en) | 2004-02-05 | 2009-12-22 | Koninklijke Philips Electronics N.V. | Image-wide artifacts reduction caused by high attenuating objects in ct deploying voxel tissue class |
| US9492245B2 (en) | 2004-02-27 | 2016-11-15 | Align Technology, Inc. | Method and system for providing dynamic orthodontic assessment and treatment profiles |
| US7711406B2 (en) | 2005-11-23 | 2010-05-04 | General Electric Company | System and method for detection of electromagnetic radiation by amorphous silicon x-ray detector for metal detection in x-ray imaging |
| US7844429B2 (en) | 2006-07-19 | 2010-11-30 | Align Technology, Inc. | System and method for three-dimensional complete tooth modeling |
| WO2009027889A2 (en) | 2007-08-31 | 2009-03-05 | Koninklijke Philips Electronics N.V. | Uncertainty maps for segmentation in the presence of metal artifacts |
| US8439672B2 (en) | 2008-01-29 | 2013-05-14 | Align Technology, Inc. | Method and system for optimizing dental aligner geometry |
| US8108189B2 (en) | 2008-03-25 | 2012-01-31 | Align Technologies, Inc. | Reconstruction of non-visible part of tooth |
| JP4717935B2 (ja) * | 2009-03-23 | 2011-07-06 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
| US8503750B2 (en) | 2009-10-06 | 2013-08-06 | General Electric Company | Method and apparatus for reduction of metal artifacts in CT images |
| WO2011133662A1 (en) | 2010-04-20 | 2011-10-27 | Imaging Sciences International Llc | Reduction and removal of artifacts from a three-dimensional dental x-ray data set using surface scan information |
| WO2012018560A2 (en) | 2010-07-26 | 2012-02-09 | Kjaya, Llc | Adaptive visualization for direct physician use |
| CN103391747B (zh) * | 2011-02-22 | 2016-02-24 | 3M创新有限公司 | 3d数据采集中的空间雕刻 |
| DE102012206714A1 (de) | 2011-08-10 | 2013-02-14 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren, Recheneinheit, CT-System und C-Bogen-System zur Reduktion von Metallartefakten in CT-Bilddatensätzen |
| US9135498B2 (en) * | 2012-12-14 | 2015-09-15 | Ormco Corporation | Integration of intra-oral imagery and volumetric imagery |
| US20140227655A1 (en) | 2013-02-12 | 2014-08-14 | Ormco Corporation | Integration of model data, surface data, and volumetric data |
| US9349198B2 (en) | 2013-07-26 | 2016-05-24 | General Electric Company | Robust artifact reduction in image reconstruction |
| US10456229B2 (en) | 2014-05-09 | 2019-10-29 | 3Shape A/S | Scanning of edentulous patients |
| DE102014007095A1 (de) | 2014-05-14 | 2015-11-19 | Universität Zu Lübeck | Verfahren und Vorrichtung zur Reduktion von Artefakten in computertomographischen Bildern |
| KR20170007309A (ko) * | 2014-05-22 | 2017-01-18 | 케어스트림 헬스 인코포레이티드 | 3-d 두부 방사선 계측 분석을 위한 방법 |
| US9934597B2 (en) | 2014-09-11 | 2018-04-03 | Carestream Health, Inc. | Metal artifacts reduction in cone beam reconstruction |
| US9655580B2 (en) | 2014-10-24 | 2017-05-23 | General Electric Company | Systems and methods for metal artifact reduction |
| EP3269325A4 (en) * | 2015-03-09 | 2018-06-06 | Fujitsu Limited | Crown information acquisition program, information processing device, and crown information acquisition method |
| US9498179B1 (en) | 2015-05-07 | 2016-11-22 | General Electric Company | Methods and systems for metal artifact reduction in spectral CT imaging |
| US10013779B2 (en) | 2015-06-22 | 2018-07-03 | Toshiba Medical Systems Corporation | Metal artifact reduction for 3D-digtial subtraction angiography |
| US10235606B2 (en) | 2015-07-22 | 2019-03-19 | Siemens Healthcare Gmbh | Method and system for convolutional neural network regression based 2D/3D image registration |
| WO2017031088A1 (en) | 2015-08-15 | 2017-02-23 | Salesforce.Com, Inc | Three-dimensional (3d) convolution with 3d batch normalization |
| US10032271B2 (en) * | 2015-12-10 | 2018-07-24 | 3M Innovative Properties Company | Method for automatic tooth type recognition from 3D scans |
| DE102016204226A1 (de) | 2016-03-15 | 2017-09-21 | Siemens Healthcare Gmbh | Vorrichtung und Verfahren zum Abgrenzen eines Metallobjekts für eine Artefaktreduktion in Tomographiebildern |
| JP6780948B2 (ja) | 2016-03-28 | 2020-11-04 | キヤノンメディカルシステムズ株式会社 | Ｘ線ｃｔ装置 |
| JP7110120B2 (ja) | 2016-06-21 | 2022-08-01 | ノベル バイオケア サーヴィシィズ アーゲー | 歯科修復物の形状、位置及び向きの少なくとも１つの推定方法 |
| US11291532B2 (en) * | 2016-07-27 | 2022-04-05 | James R. Glidewell Dental Ceramics, Inc. | Dental CAD automation using deep learning |
| AU2017316731B2 (en) | 2016-08-22 | 2022-12-15 | Kolibree SAS | Oral hygiene system for compliance monitoring and tele-dentistry system |
| CN106408562B (zh) * | 2016-09-22 | 2019-04-09 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| US20200022790A1 (en) * | 2016-10-10 | 2020-01-23 | 3Shape A/S | Common Placement Support for Artificial Teeth |
| CN106618760B (zh) | 2016-12-07 | 2019-11-08 | 上海牙典医疗器械有限公司 | 一种设计正畸矫治方案的方法 |
| CN108205806B (zh) | 2016-12-20 | 2020-10-09 | 北京大学 | 一种锥束ct图像三维颅面结构的自动解析方法 |
| EP4046587A1 (en) | 2016-12-30 | 2022-08-24 | Carestream Dental Technology Topco Limited | Reconstruction of a virtual computed-tomography volume to track orthodontics treatment evolution |
| WO2018175486A1 (en) * | 2017-03-20 | 2018-09-27 | Align Technology, Inc. | Generating a virtual depiction of an orthodontic treatment of a patient |
| CN107220506A (zh) * | 2017-06-05 | 2017-09-29 | 东华大学 | 基于深度卷积神经网络的乳腺癌风险评估分析系统 |
| WO2019002631A1 (en) | 2017-06-30 | 2019-01-03 | Promaton Holding B.V. | 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES |
| FR3069359B1 (fr) * | 2017-07-21 | 2019-08-23 | Dental Monitoring | Procede d'analyse d'une image d'une arcade dentaire |
| FR3069355B1 (fr) * | 2017-07-21 | 2023-02-10 | Dental Monitoring | Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire |
| EP3462373A1 (en) | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| US10997727B2 (en) * | 2017-11-07 | 2021-05-04 | Align Technology, Inc. | Deep learning for tooth detection and evaluation |
| US11120551B2 (en) | 2017-11-27 | 2021-09-14 | Rensselaer Polytechnic Institute | Training a CNN with pseudo ground truth for CT artifact reduction |
| CN108305684A (zh) | 2018-02-28 | 2018-07-20 | 成都贝施美医疗科技股份有限公司 | 正畸治疗模拟方法、装置及终端设备 |
| EP3561778A1 (en) | 2018-04-26 | 2019-10-30 | Promaton Holding B.V. | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques |
| CN110473283B (zh) * | 2018-05-09 | 2024-01-23 | 无锡时代天使医疗器械科技有限公司 | 牙齿三维数字模型的局部坐标系设定方法 |
| EP3591616A1 (en) | 2018-07-03 | 2020-01-08 | Promaton Holding B.V. | Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning |
| EP3620130A1 (en) | 2018-09-04 | 2020-03-11 | Promaton Holding B.V. | Automated orthodontic treatment planning using deep learning |
| EP3671531A1 (en) | 2018-12-17 | 2020-06-24 | Promaton Holding B.V. | Semantic segmentation of non-euclidean 3d data sets using deep learning |
| EP3767521A1 (en) | 2019-07-15 | 2021-01-20 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
| US10932890B1 (en) * | 2019-11-14 | 2021-03-02 | Pearl Inc. | Enhanced techniques for determination of dental margins in intraoral scans |
-
2017
- 2017-12-22 EP EP17210529.8A patent/EP3503038A1/en not_active Withdrawn
-
2018
- 2018-12-21 CA CA3085799A patent/CA3085799A1/en active Pending
- 2018-12-21 BR BR112020012292-0A patent/BR112020012292A2/pt unknown
- 2018-12-21 ES ES18825723T patent/ES2912304T3/es active Active
- 2018-12-21 KR KR1020207020804A patent/KR102559819B1/ko active IP Right Grant
- 2018-12-21 US US16/956,333 patent/US11455774B2/en active Active
- 2018-12-21 JP JP2020534221A patent/JP7451406B2/ja active Active
- 2018-12-21 CN CN201880087754.1A patent/CN111656408A/zh active Pending
- 2018-12-21 EP EP18825723.2A patent/EP3729380B8/en active Active
- 2018-12-21 WO PCT/EP2018/086686 patent/WO2019122373A1/en unknown
-
2020
- 2020-06-14 IL IL275338A patent/IL275338A/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP3503038A1 (en) | 2019-06-26 |
| WO2019122373A1 (en) | 2019-06-27 |
| EP3729380B1 (en) | 2022-02-09 |
| JP2021508114A (ja) | 2021-02-25 |
| IL275338A (en) | 2020-07-30 |
| EP3729380B8 (en) | 2022-03-23 |
| ES2912304T3 (es) | 2022-05-25 |
| US11455774B2 (en) | 2022-09-27 |
| KR20200108851A (ko) | 2020-09-21 |
| CA3085799A1 (en) | 2019-06-27 |
| KR102559819B1 (ko) | 2023-07-26 |
| CN111656408A (zh) | 2020-09-11 |
| EP3729380A1 (en) | 2020-10-28 |
| US20210082184A1 (en) | 2021-03-18 |
| JP7451406B2 (ja) | 2024-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112020012292A2 (pt) | previsão automatizada de formato de raiz 3d com o uso de métodos de aprendizado profundo | |
| JP7412334B2 (ja) | 深層学習法を使用する３ｄ歯データの自動分類および分類法 | |
| CN110998602B (zh) | 使用深度学习方法对3d牙颌面结构的分类和3d建模 | |
| US20210322136A1 (en) | Automated orthodontic treatment planning using deep learning | |
| EP3591616A1 (en) | Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning | |
| CN113454637A (zh) | 使用深度学习对非欧式3d数据集的自动语义分割 | |
| CN115205469A (zh) | 基于cbct的牙齿与牙槽骨重建方法、设备及介质 | |
| CN112785609B (zh) | 一种基于深度学习的cbct牙齿分割方法 | |
| Salunke et al. | Customized convolutional neural network to detect dental caries from radiovisiography (RVG) images | |
| Hosseinimanesh et al. | Improving the quality of dental crown using a transformer-based method | |
| JP7493464B2 (ja) | ３ｄオブジェクトの正準ポーズの自動化判定、および深層学習を使った３ｄオブジェクトの重ね合わせ | |
| US20240029380A1 (en) | Integrated Dental Restoration Design Process and System | |
| US20240062882A1 (en) | Method and system for automating dental crown design based on artificial intelligence | |
| Li et al. | A Cloud Collaborative Healthcare Platform Based on Deep Learning in The Segmentation of Maxillary Sinus | |
| BR112021003326B1 (pt) | Sistema que compreende uma rede neural profunda e pelo menos um processador |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] |