BR112019028132A2 - sistema de computador adaptado para processar dados de imagem 3d e seu método, produto de programa de computador - Google Patents
sistema de computador adaptado para processar dados de imagem 3d e seu método, produto de programa de computador Download PDFInfo
- Publication number
- BR112019028132A2 BR112019028132A2 BR112019028132-0A BR112019028132A BR112019028132A2 BR 112019028132 A2 BR112019028132 A2 BR 112019028132A2 BR 112019028132 A BR112019028132 A BR 112019028132A BR 112019028132 A2 BR112019028132 A2 BR 112019028132A2
- Authority
- BR
- Brazil
- Prior art keywords
- voxel
- voxels
- neural network
- deep neural
- dentomaxillofacial
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000008569 process Effects 0.000 title claims description 44
- 238000004590 computer program Methods 0.000 title claims description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 219
- 210000005036 nerve Anatomy 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 100
- 210000001847 jaw Anatomy 0.000 claims description 57
- 210000002455 dental arch Anatomy 0.000 claims description 34
- 238000012805 post-processing Methods 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 210000004373 mandible Anatomy 0.000 claims description 15
- 230000005855 radiation Effects 0.000 claims description 15
- 210000001519 tissue Anatomy 0.000 claims description 14
- 238000013459 approach Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 37
- 239000010410 layer Substances 0.000 description 101
- 210000000515 tooth Anatomy 0.000 description 58
- 238000013135 deep learning Methods 0.000 description 46
- 238000013527 convolutional neural network Methods 0.000 description 44
- 230000006870 function Effects 0.000 description 30
- 230000011218 segmentation Effects 0.000 description 26
- 238000007408 cone-beam computed tomography Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000001994 activation Methods 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000037182 bone density Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000004746 tooth root Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
Trata-se de um método implantado por computador para processar dados de imagem 3D de uma estrutura dentomaxilofacial, em que o método pode compreender as etapas de: receber dados de imagem 3D que definem um volume de voxels, em que um voxel é associado a um valor de radiodensidade e um posição no volume e os voxels que fornecem uma representação 3D de uma estrutura dentomaxilofacial; com o uso dos voxels dos dados de imagem 3D para determinar um ou mais recursos posicionais 3D para entrada a uma primeira rede neural profunda, um recurso de posição 3D que define as informações agregadas a partir do conjunto de dados 3D recebidos inteiro; e, a primeira rede neural profunda que recebe os dados de imagem 3D e os um ou mais recursos posicionais em sua entrada e com o uso dos um ou mais recursos posicionais 3D para classificar pelo menos parte dos voxels dos dados de imagem 3D em voxels de mandíbula, dentes e/ou nervos.
Description
Relatório Descritivo da Patente de Invenção para “SISTEMA DE COMPUTADOR ADAPTADO PARA PROCESSAR DADOS DE IMAGEM 3D E SEU MÉTODO, PRODUTO DE PROGRAMA DE COMPUTADOR”
[001] A invenção refere-se à classificação e modelagem 3D de estruturas dentomaxilofaciais 3D, usando redes neurais de aprendizado profundo, e, em particular, embora não exclusivamente, a sistemas e métodos para classificação e modelagem 3D de estruturas dentomaxilofaciais 3D, usando redes neurais de aprendizado profundo, um método de treinamento de redes neurais de aprendizado profundo, um método de pré-processamento de dados de imagem 3D dentomaxilofacial e um método de pós-processamento de dados de voxel classificados de estruturas dentomaxilofaciais e um produto de programa de computador para usar esse método.
[002] Na análise de imagem de estruturas dentomaxilofaciais, a visualização e a reconstrução da imagem 3D de partes ou tecidos específicos são fundamentais para permitir diagnósticos e tratamentos precisos. Antes da reconstrução de imagem 3D, um processo de classificação e segmentação é aplicado aos dados de imagem 3D, por exemplo, voxels, para formar um modelo 3D de partes diferentes (por exemplo, dentes e mandíbula) da estrutura dentomaxilofacial como representado em uma pilha 3D de dados de imagem. A tarefa de segmentação pode ser definida como a identificação do conjunto de pixels ou voxels que compõem o contorno ou o interior de um objeto de interesse. O processo de segmentação de estruturas dentomaxilofaciais como dentes, maxilar e nervo alveolar inferior das tomografias 3D é, no entanto, um desafio. Os métodos de segmentação manual são extremamente demorados e incluem uma aproximação geral pela seleção manual de limites e correções manuais. Os resultados das segmentações manuais têm baixa reprodutibilidade e dependem da interpretação humana das tomografias computadorizadas.
[003] Diferentes métodos de imagem foram utilizados para gerar modelos 3D de dentes e mandíbulas com base em dados de imagem de tomografias computadorizadas. Inicialmente, a aplicação sequencial de processamento de pixel de baixo nível e modelagem matemática foi utilizada a fim de segmentar estruturas dentomaxilofaciais. Um exemplo é descrito no artigo de Pavaloiu et al., “Automatic segmentation for 3D dental reconstruction”, IEEE 6th ICCCNT, 13 a 15 de julho de
2015. Essas técnicas incluem métodos ativos de rastreamento de contorno, bacias hidrográficas, região em crescimento e modelagem de níveis de conjunto com forma e intensidade anteriores. Atualmente, em imagens médicas, técnicas mais avançadas, como técnicas de aprendizado profundo, são utilizadas para segmentar objetos de interesse em imagens médicas.
[004] Essas redes neurais são treinadas para aprender os recursos que representam os dados de forma ideal. Esses algoritmos de aprendizado profundo incluem uma rede neural profunda multicamada, que transforma dados de entrada (por exemplo, imagens) em saída (por exemplo, doença presente/ausente) enquanto aprende recursos cada vez mais alto. Um modelo de rede neural bem-sucedido para análise de imagens é a chamada rede neural convolucional (CNN). As CNNs contêm muitas camadas que transformam sua entrada utilizando kernels, também conhecidos como filtros de convolução, que consistem em uma matriz de tamanho relativamente pequeno. Uma visão geral do uso de CNNs para imagens médicas pode ser encontrada no artigo por Litjens et al., A Survey on Deep Learning in Medical Image Analysis, publicado em 21 de fevereiro de 2017 arXiv (enviado para Computer Vision and Pattern Recognition). Modelagem 3D de estruturas dentomaxilofaciais, que utilizam CNNs 3D, no entanto, é difícil devido à complexidade de estruturas dentomaxilofaciais. Pavaloiu et al. descrito em seus artigos “Neural network based edge detection for CBCT segmentation”, 5th IEEE EHB, 19 a 21 de novembro de 2015, o uso de uma rede neural muito simples na detecção de bordas nas imagens 2D CBCT. Até agora, no entanto, a segmentação precisa automática 3D de dados de imagem CBCT 3D com base em aprendizado profundo não foi relatada.
[005] Um problema na classificação e modelagem 3D de estruturas dentomaxilofaciais é que imagens dentomaxilofaciais são geradas utilizando tomografia computadorizada de feixe cônico (CBCT). A CBCT é uma técnica de imagem médica que utiliza tomografia computadorizada por raio-X, em que a radiação de raio-X é moldada em um cone convergente de baixa dosagem. A densidade do rádio medida em Unidades Hounsfield (HUs), não é confiável em tomografias computadorizadas , porque diferentes áreas na varredura aparecem com diferentes escalas de cinza, dependendo de suas posições relativas no órgão que é submetido à varredura. HUs medidas da mesma área anatômica, ambas com os tomógrafos de CBCT e de grau médio não são idênticas e, portanto, não são confiáveis para determinação de densidade óssea radiográfica e específica do local.
[006] Além disso, sistemas CBCT para varrer estruturas dentomaxilofaciais não empregam um sistema padronizado para dimensionar os níveis de cinza que representam os valores de densidade reconstruídos. Esses valores são arbitrários e não permitem a avaliação da qualidade óssea. Na ausência de tal padronização, é difícil interpretar os níveis de cinza ou impossível comparar os valores resultantes de diferentes máquinas. Além disso, as raízes dos dentes e a estrutura óssea da mandíbula têm densidades semelhantes, de modo que é difícil para um computador distinguir entre voxels pertencentes a dentes e voxels pertencentes a uma mandíbula. Adicionalmente, os sistemas CBCT são muito sensíveis ao chamado endurecimento por feixe, que produz riscos escuros entre dois objetos de alta atenuação (como metal ou osso), com riscos brilhantes ao redor. Os problemas acima mencionados tornam a segmentação automática de estruturas dentomaxilofaciais particularmente desafiadora.
[007] Logo, há uma necessidade na técnica de sistemas de computador que sejam adaptados para segmentar com precisão dados de imagem 3D de tomografia computadorizada de estruturas dentomaxilofaciais em um modelo 3D. Em particular, há uma necessidade na técnica para sistemas de computador que possam segmentar com precisão dados de imagem 3D de tomografia computadorizada de estruturas dentomaxilofaciais originários de diferentes sistemas de CBCT em um modelo 3D.
[008] Como será observado por um especialista na técnica, os aspectos da presente invenção podem ser incorporados como um sistema, método ou produto de programa de computador. Consequentemente, os aspectos da presente invenção podem assumir a forma de uma modalidade inteiramente de hardware, uma modalidade inteiramente de software (incluindo firmware, software residente, microcódigo, etc.) ou uma modalidade que combina aspectos de software e hardware que geralmente podem chamados no presente documento de um "circuito," "módulo" ou "sistema”. As funções descritas nessa revelação podem ser implementadas como um algoritmo executado por um microprocessador de um computador. Ademais, aspectos da presente invenção podem tomar a forma de um produto de programa de computador incorporado em um ou mais meios legíveis por computador com um código e programa legível incorporado, por exemplo, armazenado no mesmo.
[009] Qualquer combinação de um ou mais meios legíveis por computador podem ser utilizados. O meio legível por computador pode ser um meio de sinal legível por computador ou um meio de armazenamento legível por computador. Um meio de armazenamento legível por computador pode ser, por exemplo, porém sem limitação, um sistema, aparelho ou dispositivo eletrônico, magnético, óptico, eletromagnético, infravermelho, ou semicondutor ou qualquer combinação adequada dos itens anteriores. Mais exemplos específicos (uma lista não exaustiva) do meio de armazenamento legível por computador incluiria o seguinte: uma conexão elétrica com um ou mais fios, um disquete de computador portátil, um disco rígido, uma memória de acesso aleatório (RAM), uma memória somente de leitura (ROM), uma memória somente de leitura programável apagável, (EPROM ou memória Flash), uma fibra óptica, uma memória somente de leitura portátil de disco compacto (CD-ROM), um dispositivo de armazenamento óptico, um dispositivo de armazenamento magnético, ou qualquer combinação adequada dos itens anteriores. No contexto deste documento, um meio de armazenamento legível por computador pode ser qualquer meio tangível que possa conter ou armazenar um programa para uso por ou em conexão com um sistema, aparelho ou dispositivo de execução de instruções.
[010] Um meio de sinal legível por computador pode incluir um sinal de dados propagado com um código de programa legível por computador incorporado no mesmo, por exemplo, na banda base ou como parte de uma onda portadora. Esse sinal propagado pode assumir uma variedade de formas, incluindo, porém sem limitação, eletromagnética, óptica, ou qualquer combinação adequada das mesmas. Um meio de sinal legível por computador pode ser qualquer meio legível por computador que não é um meio de armazenamento legível por computador e que pode comunicar, propagar ou transportar um programa para uso por ou em conexão com um sistema, aparelho ou dispositivo de execução de instruções.
[011] O código de programa incorporado em um meio legível por computador pode ser transmitido usando qualquer meio apropriado, incluindo, porém sem limitação, produtos sem fio, cabo de aço, fibra óptica, cabo, RF, etc., ou qualquer combinação adequada dos itens anteriores. O código de programa de computador para realizar operações para aspectos da presente invenção pode ser escrito em qualquer combinação de uma ou mais linguagens de programação, incluindo uma linguagem de programação funcional ou orientada a objetos como Java (TM), Scala, C++, Python ou semelhantes e linguagens de programação processuais convencionais, como a linguagem de programação "C" ou linguagens de programação semelhantes. O código de programa pode ser executado inteiramente no computador do usuário, parcialmente no computador do usuário, como um pacote de software independente, parcialmente no computador do usuário e parcialmente em um computador remoto, ou inteiramente no computador do usuário, servidor ou servidor visualizado. No último cenário, o computador remoto pode ser conectado ao computador do usuário através de qualquer tipo de rede, incluindo uma área de rede local (LAN) ou uma área de rede ampla (WAN), ou a conexão pode ser feita a um computador externo (por exemplo, através da internet usando um Provedor de Serviços de Internet).
[012] Os aspectos da presente invenção são descritos abaixo com referência a ilustrações de fluxograma e/ou diagramas de blocos de métodos, aparelhos (sistemas) e produtos de programa de computador, de acordo com modalidades da invenção. Deve ser entendido que cada bloco de ilustrações de fluxograma e/ou diagramas de blocos, e combinações de blocos nas ilustrações de fluxograma e/ou diagrama de blocos, pode ser implementado por instruções de programa de computador. Essas instruções de programa de computador podem ser fornecidas a um processador, em particular, um microprocessador ou unidade de processamento central (CPU), ou unidade de processamento gráfico (GPU), ou um computador de uso geral, computador de uso especial, ou outro aparelho de processamento de dados programável para produzir uma máquina, de modo que as instruções, executadas por meio do processador do computador, outro aparelho de processamento de dados programável, ou outros dispositivos, criem meios para implementar as funções/atos especificados no fluxograma e/ou bloco ou blocos do diagrama de blocos.
[013] Essas instruções de programa de computador podem também ser armazenadas em um meio legível por computador que pode direcionar um computador, outro aparelho de processamento de dados programável, ou outros dispositivos para funcionar de uma maneira particular, de modo que as instruções armazenadas no meio legível por computador produzam um artigo de fabricação, incluindo instruções que implementem a função/ato especificado no fluxograma e/ou bloco ou blocos do diagrama de blocos.
[014] As instruções de programa de computador também podem ser carregadas em um computador, outro aparelho de processamento de dados programável, ou outros dispositivos para ocasionar uma série de etapas operacionais para serem executadas no computador, outros aparelhos programáveis ou outros dispositivos para produzir um processo implementado por computador, de modo que as instruções executadas no computador ou em outro aparelho programável forneçam processos para implementar as funções/ atos específicos no fluxograma e/ou bloco ou blocos do diagrama de blocos.
[015] O fluxograma e diagramas de blocos nas figuras ilustram a arquitetura, funcionalidade, e operação de possíveis implementações de sistemas, métodos e produtos de programa de computador, de acordo com várias modalidades da presente invenção. Nesse sentido, cada bloco no fluxograma ou diagrama de blocos pode representar um módulo, segmento, ou porção do código, que compreende uma ou mais instruções executáveis para implementar as funções lógicas especificadas. Deve-se notar também que, em algumas implementações alternativas, as funções indicadas nos blocos podem ocorrer fora da ordem indicada nas figuras. Por exemplo, dois blocos mostrados em sucessão podem, de fato, ser executados substancialmente simultaneamente, ou os blocos podem às vezes ser executados na ordem inversa, dependendo da funcionalidade envolvida. Nota-se também que cada bloco do diagrama de blocos e/ou ilustrações do fluxograma, e combinações de blocos no diagrama de blocos e/ou ilustrações do fluxograma, podem ser implementadas por sistemas baseados em hardware para fins especiais que executem as funções especificadas ou atos, ou combinações de hardware para fins especiais e instruções de computador.
[016] A presente revelação fornece um sistema e método que implementa técnicas automatizadas de classificação e segmentação que não requer entrada ou interação do usuário, exceto a entrada de uma pilha de imagens 3D. As modalidades podem ser usadas para reproduzir tecidos biológicos direcionados, como ossos da mandíbula, dentes e nervos dentomaxilofaciais, como o nervo alveolar inferior. O sistema separa automaticamente estruturas e constrói modelos 3D dos tecidos direcionados.
[017] Em um aspecto, a invenção refere-se a um método implementado por computador para processar dados de imagem 3D de uma estrutura dentomaxilofacial. Em uma modalidade, o método pode compreender: um computador que recebe dados de entrada 3D, de preferência dados em TC de feixe cônico 3D (CBCT), os dados de entrada 3D que incluem uma primeira representação voxel da estrutura dentomaxilofacial, um voxel que é associado a um valor de intensidade de radiação,
os voxels da representação voxel que definem um volume de imagem; um algoritmo de pré-processamento que usa os dados de entrada 3D para determinar um ou mais recursos posicionais 3D da estrutura dentomaxilofacial, um recurso posicional 3D que define informações sobre as posições dos voxels da primeira representação voxel relativa à posição de um plano de referência dental, por exemplo, um plano axial posicionado em relação à mandíbula, ou a posição de um objeto dental de referência, por exemplo, uma mandíbula, uma arcada dentária e/ou um ou mais dentes, no volume da imagem; o computador que fornece a primeira representação de voxel e um ou mais recursos posicionais 3D associados com a primeira representação de voxel com a entrada de uma primeira rede neural profunda 3D, de preferência uma rede neural profunda convolucional 3D, a primeira rede neural profunda que é configurada para classificar voxels da primeira representação de voxel em pelo menos uma mandíbula, dente, e/ou voxels nervosos; a primeira rede neural que é treinada com base em um conjunto de treinamento, o conjunto de treinamento que inclui dados de imagem 3D de estruturas dentomaxilofaciais e um ou mais recursos posicionais 3D derivados dos dados de imagem 3D do conjunto de treinamento; o computador recebe voxels classificados da primeira representação de voxel da saída da primeira rede neural profunda 3D e determinar uma representação de voxel de pelo menos uma das mandíbulas, dentes e/ou tecidos nervosos da estrutura dentomaxilofacial com base nos voxels classificados.
[018] Logo, recursos posicionais 3D definem informações sobre a posição de voxels no volume de imagem recebido em relação ao plano de referência dental e/ou um objeto dental de referência. Essa informação é relevante para permitir que a rede neural profunda classifique e segmente automaticamente uma apresentação de voxel de uma estrutura dentomaxilofacial. Um recurso posicional 3D de um voxel da primeira representação de voxel pode ser formado agregando informações (por exemplo, posição, valores de intensidade, distâncias, gradientes, etc.) que se baseia em todo o conjunto de dados ou em uma parte substancial da representação de voxel que é fornecido com a entrada da primeira rede neural profunda. As informações agregadas são processadas por posição de um voxel na primeira representação de voxel. Dessa maneira, cada voxel da primeira representação de voxel pode ser associado com um recurso posicional 3D, que a primeira rede neural profunda levará em consideração durante a classificação do voxel.
[019] Em uma modalidade, o conjunto de treinamento pode compreender adicionalmente um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento, Em uma modalidade, pelo menos parte de um ou mais modelos 3D pode ser gerada pela varredura óptica de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento. Em uma modalidade, um ou mais modelos 3D podem ser usados como objetos de exame durante o treinamento da primeira rede neural profunda.
[020] Os recursos posicionais 3D podem ser determinados usando recursos de engenharia (manualmente) e/ou usando métodos de aprendizado de máquina (treinados), como uma rede de aprendizado profundo 3D configurados para derivar essas informações de todo o conteúdo do conjunto de dados 3D recebido ou parte substancial do mesmo.
[021] Em uma modalidade, recursos posicionais 3D podem definir uma distância, de preferência uma distância perpendicular, entre um ou mais voxels no volume de imagem e um primeiro plano de referência dental no volume de imagem. Em uma modalidade, recursos posicionais 3D podem definir entre um ou mais voxels no volume de imagem e um primeiro objeto de referência dental no volume de imagem. Em uma modalidade adicional, as informações de posição podem incluir valores de intensidade acumulados nos planos de referência do volume de imagem, em que um valor de intensidade acumulado em um ponto no plano de referência inclui valores de intensidade acumulados de voxels em ou na proximidade do normal funcionando através do ponto no plano de referência.
[022] Os recursos posicionais 3D que são extraídos dos dados de imagem 3D codificam informações em relação ao volume de imagem dos voxels que são fornecidos com a entrada da rede neural. Em particular, os recursos posicionais 3D fornecem informações que são parcialmente ou totalmente derivadas em relação à posição de cada voxel dentro dos (subseção de) dados de imagem 3D e serão avaliados pela rede neural profunda. Os recursos posicionais 3D fornecem à rede neural os meios para fazer uso de informações (parcialmente) determinadas pelas posições de voxels dentro do volume de imagem para determinar a probabilidade que em um certo volume, voxels possam ser encontrados que são associados com certas estruturas dentomaxilofaciais. Sem essas informações, nenhum contexto espacial maior pode estar disponível para ser usado pela rede neural profunda. Os recursos posicionais 3D melhoram substancialmente a precisão da rede, enquanto ao mesmo tempo, são projetados para reduzir o risco de sobre ajuste. Os recursos posicionais 3D permitem que a rede adquira conhecimento sobre posições de voxels no volume de imagem, em relação à objetos relevantes para o contexto dentomaxilofacial, disponibilizando essas informações para determinar a probabilidade de encontrar voxels associados com o tecido de uma estrutura dentomaxilofacial. Dessa forma, a rede é habilitada para aprender a melhor forma de fazer uso dessas informações fornecidas onde for relevante.
[023] Em uma modalidade, o primeiro plano de referência dental pode incluir um plano axial no volume de imagem posicionado em distância predeterminada da mandíbula superior e/ou inferior como representado pelos dados de imagem 3D. Logo, o plano de referência é posicionado em relação às partes relevantes de estruturas dentomaxilofaciais nos dados de imagem 3D. Em uma modalidade, o primeiro plano de referência dental pode ter uma distância aproximadamente igual à mandíbula superior e inferior.
[024] Em uma modalidade, o objeto de referência dental pode incluir um curva da arcada dentária aproximando pelo menos parte de uma arcada dentária como representado pelos dados de imagem 3D. Logo, nessa modalidade, um recurso posicional 3D pode fornecer informações a respeito da posição de voxels no volume de imagem em relação à posição de uma arcada dentária de um objeto no volume de imagem. Em uma modalidade, o curva da arcada dentária pode ser determinada em um plano axial do volume de imagem.
[025] Recursos posicionais 3D manualmente projetados podem ser complementados ou substituídos por outros recursos posicionais 3D como por exemplo, ser derivado de métodos de aprendizado de máquina que agregam informações de toda ou parte substancial dos dados de entrada 3D. Essa geração de recursos pode, por exemplo, ser realizada por uma rede neural profunda 3D que desempenha uma pré-segmentação em uma versão com amostragem reduzida da parte inteira ou substancial da primeira representação de voxel.
[026] Logo, em uma modalidade, o algoritmo de pré-processamento pode incluir uma segunda rede neural profunda 3D, a segunda rede neural profunda que é treinada para receber uma segunda representação de voxel em sua entrada, e, para determinar para cada voxel da segunda representação de voxel, um recurso posicional 3D. Em uma modalidade, o recurso posicional 3D pode incluir uma medida que indica uma probabilidade de um voxel representar mandíbula, dentes e/ou tecidos nervosos, em que a segunda representação de voxel é uma versão em baixa resolução da primeira representação de voxel.
[027] Em uma modalidade, a segunda rede neural profunda 3D pode ter uma arquitetura 3D em rede U. Em uma modalidade, a rede em U 3D U pode compreender uma pluralidade de camadas de rede neural 3D, que inclui camadas convolucionais (3D CNNs), camadas de pool máximo 3D, camadas desconvolucionais 3D (3D de- CNNs), e camadas densamente conectadas.
[028] Em uma modalidade, a resolução da representação do segundo voxel pode ser pelo menos três vezes menor do que a resolução da primeira apresentação de voxel.
[029] Em uma modalidade, a segunda rede neural profunda 3D pode ser treinada com base nos dados de imagem 3D de estruturas dentomaxilofaciais do conjunto de treinamento que é usado para treinar a primeira rede neural profunda. Em uma modalidade, a segunda rede neural profunda 3D com base em um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento que é usada para treinar a primeira rede neural profunda. Durante o treinamento, esses um ou mais modelos 3D podem ser usados como um alvo.
[030] Em uma modalidade, fornecer a primeira representação de voxel e o um ou mais recursos posicionais 3D associados com a primeira representação de voxel com a entrada de uma primeira rede neural profunda 3D pode compreender adicionalmente: associar cada voxel da primeira representação de voxel com pelo menos informações definidas por um recurso posicional 3D; dividir a primeira representação de voxel em primeiros blocos de voxels; fornecer um primeiro bloco de voxels com a entrada da primeira rede neural profunda em que cada voxel do primeiro bloco de voxels é associado com um valor de intensidade de radiação e pelo menos informações definidas por um recurso posicional 3D. Logo, a primeira rede neural profunda 3D pode processar os dados de entrada 3D com base nos blocos de voxels. Para esse fim, o computador pode particionar a primeira representação de voxel em uma pluralidade de primeiros blocos de voxels e fornecer cada um dos primeiros blocos com a entrada da primeira rede neural profunda 3D.
[031] Em uma modalidade, a primeira rede neural profunda pode compreender uma pluralidade de primeiras camadas convolucionais 3D, em que a saída da pluralidade de primeiras camadas convolucionais 3D pode ser conectada a pelo menos camada totalmente conectada. Em uma modalidade, a pluralidade de primeiras camadas convolucionais 3D pode ser configurada para processar um primeiro bloco de voxels da primeira representação de voxel e em que pelo menos uma camada totalmente conectada é configurada para classificar voxels do primeiro bloco de voxels em pelo menos uma das mandíbulas, dentes e/ou voxels nervosos.
[032] Em uma modalidade, um voxel fornecido com a entrada da primeira rede neural profunda pode compreender um valor de intensidade de radiação e pelo menos um recurso posicional 3D.
[033] Em uma modalidade, a primeira rede neural profunda pode compreender adicionalmente uma pluralidade de segundas camadas convolucionais 3D, em que a saída da pluralidade de segundas camadas convolucionais 3D podem ser conectadas a pelo menos uma camada totalmente conectada.
[034] Em uma modalidade, a pluralidade de segundas camadas convolucionais 3D podem ser configuradas para processar um segundo bloco de voxels da primeira representação de voxel, em que o primeiro e segundo blocos de voxels podem ter o mesmo ou substancialmente o mesmo ponto central no volume de imagem e em que o segundo bloco de voxels pode representar um volume nas dimensões do mundo real maior do que o nas dimensões do mundo real do primeiro bloco de voxels.
[035] Em uma modalidade, a pluralidade de segundas camadas convolucionais 3D podem ser configuradas para determinar informações contextuais associadas com voxels dos primeiros blocos de voxels que são fornecidos com a entrada da pluralidade de primeiras camadas convolucionais 3D.
[036] Em uma modalidade, a primeira rede neural profunda pode compreender adicionalmente uma pluralidade de terceiras camadas convolucionais 3D, a saída da pluralidade de terceiras camadas convolucionais 3D que são conectadas a pelo menos uma camada totalmente conectada. A pluralidade de terceiras camadas convolucionais 3D pode ser configurada para processar um ou mais recursos posicionais 3D associados com voxels de pelo menos um primeiro bloco de voxels que são fornecidos com a entrada da pluralidade de primeiras camadas convolucionais 3D.
[037] Em uma modalidade, a primeira rede neural profunda pode ser treinada com base em um conjunto de treinamento, o conjunto de treinamento que inclui dados de imagem 3D de estruturas dentomaxilofaciais, um ou mais recursos posicionais 3D derivados dos dados de imagem 3D e um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento, em que o um ou mais modelos 3D podem ser usados como alvo durante o treinamento da primeira rede neural profunda. Em uma modalidade, pelo menos parte do um ou mais modelos 3D pode ser gerada por varredura óptica de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento. Logo, em vez dos dados de imagem 3D manualmente segmentados, os modelos 3D opticamente submetidos à varredura são usados para treinar a rede neural, fornecendo assim, módulos precisos e de alta resolução, que podem ser usados como dados alvo.
[038] Em uma modalidade, a determinação de um ou mais recursos posicionais 3D pode incluir: determinar uma nuvem de pontos de valores de intensidade acumuladas em um plano do volume de imagem, de preferência o plano que é um plano axial, em que um valor de intensidade acumulado em um ponto no plano pode ser determinado pela soma dos valores de voxels posicionados sobre ou dentro da proximidade do normal que atravessa o ponto no plano axial; determinando os valores de intensidade acumulados no plano que estão acima do valor predeterminado; e, ajusta uma curva através dos valores de intensidade acumulados determinados, a curva que aproxima pelo menos parte de uma arcada dentária na estrutura dentomaxilofacial representada pela imagem de dados 3D. Logo, estruturas dentais como uma arcada dentária pode ser determinada pela soma dos valores de intensidade de voxels posicionados em uma direção normal de um plano, por exemplo, um plano axial.
[039] Em uma modalidade, o um ou mais recursos posicionais 3D pode incluir um primeiro recurso posicional 3D que define uma distância relativa em um plano no volume de imagem, de preferência, um plano axial no volume de imagem, entre voxels no plano e uma origem em uma curva da arcada dentária definida no plano. Em uma modalidade, a origem pode ser definida como um ponto na curva da arcada dentária onde a derivada da curva é zero.
[040] Em uma modalidade, o um ou mais recursos posicionais 3D incluem um segundo recurso posicional 3D que define uma distância relativa em um plano no volume de imagem, de preferência, um plano axial no volume de imagem, a distância que é a menor distância em um plano axial entre voxels no plano axial e a curva da arcada dentária.
[041] Em uma modalidade, recursos posicionais 3D podem ser determinados com base na geração automática de recursos usando toda ou uma parte substancial dos dados de entrada 3D. Em uma modalidade, a geração automática de recursos que realiza uma pré-segmentação em uma versão com amostragem reduzida de toda ou uma parte substancial dos dados de entrada 3D.
[042] Em uma modalidade, a primeira rede neural profunda pode compreender um primeiro caminho de processamento de dados que inclui pelo menos um primeiro conjunto de camadas convolucionais 3D, de preferência, um primeiro conjunto de camadas de recursos de CNN 3D, configurados para determinar abstrações progressivamente mais altas de informações úteis para derivar a classificação de voxels, e um segundo caminho de processamento de dados paralelo ao primeiro caminho o segundo caminho compreende um segundo conjunto de camadas convolucionais 3D, de preferência, um segundo conjunto de camadas de recursos de CNN 3D, em que o segundo conjunto de camadas convolucionais 3D pode ser configurado para determinar abstrações progressivamente mais altas de informações úteis para derivar a classificação de voxels utilizando representações contextuais espaciais maiores de blocos de voxels que são alimentados com a entrada do primeiro conjunto de camadas convolucionais 3D.
[043] Logo, o segundo conjunto de camadas de recursos de CNN 3D pode processar voxels a fim de gerar mapas de recursos 3D que incluem informações sobre a proximidade direta de voxels associados que são processados pelas primeiras camadas de recursos de CNN 3D. Dessa maneira, o segundo caminho possibilita que a rede neural determine informações contextuais, isto é, informações sobre o contexto (por exemplo, arredores) de voxels dos dados de imagem 3D que são apresentados para a entrada da rede neural. Usando dois caminhos ou até mais dois caminhos, ambos os dados de imagem 3D (os dados de entrada) e informações contextuais sobre voxels dos dados de imagem 3D podem ser processadas em paralelo. As informações contextuais são importantes para classificar estruturas dentomaxilofaciais, que normalmente incluem estruturas dentárias compactadas que são difíceis de distinguir.
[044] Em uma modalidade, a primeira rede neural profunda pode compreender adicionalmente um terceiro caminho de processamento de dados que inclui um terceiro conjunto de camadas convolucionais 3D, de preferência, um terceiro conjunto de camadas de recursos de CNN 3D, paralelo ao primeiro e segundo caminhos, para receber a um ou mais recursos posicionais 3D associados com os dados de imagem 3D, o terceiro conjunto de camadas convolucionais 3D que é configurado para codificar informações relevantes para a agregação de informações de todo o conjunto de dados recebidos 3D, associados com blocos de voxels que são alimentados com a entrada do primeiro conjunto de camadas convolucionais 3D.
[045] Em uma modalidade, em vez de usar um terceiro caminho de processamento de dados, os recursos posicionais 3D podem ser adicionados à primeira representação de voxel, de modo que seja emparelhado com voxels da primeira representação de voxel, por exemplo, por meio da adição de informações de recurso posicional 3D como canais adicionais às informações de imagem 3D recebidas 3D.
[046] Em uma modalidade, a saída do primeiro, segundo e (opcionalmente) terceiro conjunto de camadas convolucionais 3D pode ser fornecida com a entrada de um conjunto de camadas convolucionais totalmente conectadas que são configuradas para classificar pelo menos parte dos voxels no volume de imagem em pelo menos uma mandíbula, dentes e/ou voxels nervosos.
[047] Em uma modalidade, o método pode compreender adicionalmente: uma terceira rede neural profunda de pós-processamento dos voxels classificados pela primeira rede neural profunda, o pós-processamento inclui a correção de voxels que são classificados incorretamente pela primeira rede neural profunda. Em uma modalidade, a segunda rede neural pode ser treinada usando voxels que são classificados durante o treinamento da primeira rede neural profunda como entrada e usando o um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento como um alvo. Logo, nessa modalidade, uma segunda rede neural convolucional pode ser treinada para corrigir voxels classificados pela primeira rede neural. Dessa maneira, modelos 3D muito precisos de partes individuais da estrutura dentomaxilofacial podem ser determinados, incluindo modelos 3D de dentes e mandíbulas.
[048] Em um aspecto, a invenção pode se referir a um método implementado por computador para treinar um sistema de rede neural de aprendizado profunda para processar dados de imagem 3D de uma estrutura dentomaxilofacial. Em uma modalidade, o método pode incluir: um computador que recebe dados de treinamento, os dados de treinamento incluem: dados de entrada 3D, de preferência, TC de feixe cônico de dados de imagem 3D (CBCT), os dados de entrada 3D que definem uma ou mais representações de voxel de uma ou mais estruturas dentomaxilofaciais respectivamente, um voxel que é associado com um valor de intensidade de radiação, os voxels de uma representação de voxel que define um volume de imagem; o computador que usa um algoritmo de pré-processamento para pré-processar a uma ou mais representações de voxel da uma ou mais estruturas dentomaxilofaciais respectivamente, para determinar um ou mais recursos posicionais 3D para voxels na uma ou mais representações de voxel, um recurso posicional 3D que define informações sobre uma posição de pelo menos um voxel de uma representação voxel de umas estruturas dentomaxilofaciais em relação à posição de um plano de referência dental (por exemplo, um plano axial posicionado em relação à mandíbula) ou a posição de um objeto de referência dental (por exemplo, uma mandíbula, uma arcada dentária e/ou um ou mais dentes) no volume de imagem; e, usando os dados de treinamento e o um ou mais recursos posicionais 3D para treinar a primeira rede neural profunda para classificar voxels em mandíbula, dentes e/ou voxels nervosos.
[049] Em uma modalidade, os dados de treinamento podem incluir adicionalmente: um ou mais modelos 3D de partes das estruturas dentomaxilofaciais representadas pelos dados de entrada 3D dos dados de treinamento. Em uma modalidade, pelo menos parte do um ou mais modelos 3D podem ser gerados pela varredura óptica de partes das estruturas dentomaxilofaciais dos dados de imagem 3D dos dados de treinamento. Em uma modalidade, o um ou mais modelos 3D podem ser usados como alvo durante o treinamento da primeira rede neural profunda.
[050] Em uma modalidade, o método pode incluir: usar voxels que são classificados durante o treinamento da primeira rede neural profunda e o um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento para treinar uma segunda rede neural para pós-processar voxels classificados pela primeira rede neural profunda, o pós-processamento que inclui a correção de voxels que são incorretamente classificados pela primeira rede neural profunda.
[051] Em um aspecto adicional, a invenção pode se referir a um sistema de computador adaptado para processar dados de imagem 3D de uma estrutura dentomaxilofacial que compreende: um meio de armazenamento legível por computador sendo que o código de programa legível por computador incorporado tem com isso, o código de programa legível por computador que inclui um algoritmo de pré-processamento e uma primeira rede neural profunda; e um processador, de preferência, um microprocessador, acoplado ao meio de armazenamento legível por computador, em que responsivo à execução do código de programa legível por computador, o processador é configurado para realizar operações executáveis que compreendem: receber dados de entrada 3D, de preferência, dados de TC de feixe cônico 3D (CBCT), os dados de entrada 3D incluem uma primeira representação de voxel da estrutura dentomaxilofacial, um voxel que é associado com um valor de intensidade de radiação, os voxels da representação de voxel que define um volume de imagem; um algoritmo de pré-processamento que usa os dados de entrada 3D para determinar um ou mais recursos posicionais 3D da estrutura dentomaxilofacial, um recurso posicional 3D que define informações sobre posições de voxels da primeira representação de voxel em relação à posição de um plano de referência dental, por exemplo, um plano axial posicionado em relação à mandíbula, ou a posição de um objeto de referência dental, por exemplo, uma mandíbula, uma arcada dentária e/ou um ou mais dentes, no volume de imagem; fornecer a primeira representação de voxel e o um ou mais recursos posicionais 3D associados com a primeira representação de voxel com a entrada de uma primeira rede neural profunda 3D, de preferência, uma rede neural profunda convolucional 3D, a primeira rede neural profunda que é configurada para classificar voxels da primeira representação de voxel em pelo menos mandíbula, dentes, e/ou voxels nervosos; a primeira rede neural é treinada com base em um conjunto de treinamento, o conjunto de treinamento inclui dados de imagem 3D de estruturas dentomaxilofaciais e um ou mais recursos posicionais 3D derivados dos dados de imagem 3D do conjunto de treinamento; e, receber voxels classificados da primeira representação de voxel da saída da primeira rede neural profunda 3D e determinar uma representação de voxel de pelo menos uma das mandíbulas, dentes e/ou tecidos nervosos da estrutura dentomaxilofacial com base nos voxels classificados.
[052] Em uma modalidade, o conjunto de treinamento pode compreender adicionalmente um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento, Em uma modalidade, pelo menos parte do um ou mais modelos 3D pode ser gerada por partes opticamente submetidas à varredura das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento. Em uma modalidade, o um ou mais modelos 3D pode ser usado como alvo durante da primeira rede neural profunda.
[053] Em uma modalidade, o algoritmo de pré-processamento pode incluir uma segunda rede neural profunda 3D, a segunda rede neural profunda que é treinada para receber uma segunda representação de voxel na sua entrada, e, para determinar para cada voxel da segunda representação de voxel, um recurso posicional 3D, de preferência, o recurso posicional 3D inclui uma medida que indica uma probabilidade que um voxel representa mandíbula, dentes e/ou tecido nervoso, em que a segunda representação de voxel é uma versão em baixa resolução da primeira representação de voxel, de preferência, a resolução da segunda representação de voxel que é pelo menos três vezes menor do que a resolução da primeira apresentação voxel, de preferência, a segunda rede neural profunda 3D que é treinada com base nos dados de imagem 3D de estruturas dentomaxilofaciais e o um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento do conjunto de treinamento para treinar a primeira rede neural profunda.
[054] Em uma modalidade, a primeira rede neural profunda pode compreender: uma pluralidade de primeiras camadas convolucionais 3D, a saída da pluralidade de primeiras camadas convolucionais 3D que são conectadas a pelo menos uma camada totalmente conectada, em que a pluralidade de primeiras camadas convolucionais 3D são configuradas para processar um primeiro bloco de voxels da primeira representação de voxel e em que a pelo menos uma camada totalmente conectada é configurada para classificar voxels do primeiro bloco de voxels em pelo menos uma das mandíbulas, dentes e/ou voxels nervosos, de preferência, cada voxel fornecido com a entrada da primeira rede neural profunda compreende um valor de intensidade de radiação e pelo menos um recurso posicional 3D.
[055] Em uma modalidade, a primeira rede neural profunda pode compreender adicionalmente: uma pluralidade de segundas camadas convolucionais 3D, a saída da pluralidade de segundas camadas convolucionais 3D que são conectadas a pelo menos uma camada totalmente conectada, em que a pluralidade de segundas camadas convolucionais 3D são configuradas para processar um segundo bloco de voxels da primeira representação de voxel, o primeiro e segundo blocos de voxels sendo que têm o mesmo ou substancialmente o mesmo ponto central no volume de imagem e o segundo bloco de voxels representa um volume nas dimensões do mundo real que são maiores do que o volume nas dimensões do mundo real do primeiro bloco de voxels, a pluralidade de segundas camadas convolucionais 3D que são configuradas para determinar informações contextuais associadas com os voxels do primeiro bloco de voxels que são fornecidos com a entrada da pluralidade de primeiras camadas convolucionais 3D.
[056] A invenção também pode se referir a um produto de programa de computador que compreende partes de código de software configuradas para, quando executadas na memória de um computador, executa qualquer um dos métodos como descrito acima.
[057] A invenção será ilustrada adicionalmente com referência aos desenhos em anexo, que mostrarão esquematicamente modalidades, de acordo com a invenção. Deve ser entendido que a invenção não está de forma alguma restrita a essas modalidades específicas.
BREVE DESCRIÇÃO DOS DESENHOS A Figura 1 representa esquematicamente um sistema de computador para classificação e segmentação de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção; A Figura 2 representa um diagrama de fluxo de treinamento de uma rede neural profunda para classificar dados de imagem 3D dentomaxilofaciais , de acordo com uma modalidade da invenção; As Figuras 3A e 3B representam exemplos de TC de dados de imagem 3D e dados de varredura óptica 3D, respectivamente; As Figuras 4A e 4B representam exemplos de arquiteturas de rede neural profunda para classificar dados de imagem 3D dentomaxilofaciais; As Figuras 5A e 5B ilustram métodos de determinação de recursos posicionais 3D, de acordo com várias modalidades da invenção; A Figura 6 fornece uma visualização que contém a soma dos valores de voxel de uma pilha de imagem 3D e uma curva ajustada aos voxels que representam uma arcada dentomaxilofacial; As Figuras 7A a 7E representam exemplos de recursos posicionais 3D, de acordo com várias modalidades da invenção; As Figuras 8A a 8D representam exemplos da saída de uma rede neural de aprendizado profunda treinada, de acordo com uma modalidade da invenção; A Figura 9 representa um diagrama de fluxo de pós-processamento de voxels classificados de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção; A Figura 10 representa uma arquitetura de rede neural profunda para pós- processamento de voxels classificados de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção;
As Figuras 11A a 11B representam um processo de reconstrução de superficial de voxels classificados, de acordo com uma modalidade da invenção; A Figura 12 é um diagrama em bloco que ilustra um sistema exemplificativo de computação de dados que pode ser usado para executar métodos e produtos de software descritos nessa revelação.
[058] Nessa revelação, modalidades são descritas de sistemas de computador e métodos implementados por computador que usam redes neurais profundas para classificar, segmentar e modelagem 3D de estruturas dentomaxilofaciais com base em dados de imagem 3D, por exemplo, dados de imagem 3D definidos por uma sequência de imagens que formam uma pilha de dados de imagem de TC, em particular uma pilha de dados de imagem de TC em feixe cônico (CBCT). Os dados de imagem 3D podem compreender voxels que formam um espaço de imagem 3D de uma estrutura dentomaxilofacial. Um sistema de computador, de acordo com a invenção pode compreender pelo menos uma rede neural profunda que é treinada para classificar uma pilha de dados de imagem 3D de uma estrutura dentomaxilofacial em voxels de diferentes grupos, em que cada classe pode ser associada com uma parte distinta (por exemplo, dentes, mandíbula, nervo) da estrutura. O sistema de computador pode ser configurado para executar um processo de treinamento que treina iterativamente (otimiza) uma ou mais redes neurais profundas com base em um ou mais conjuntos de treinamentos que pode incluir modelos 3D precisos de estruturas dentomaxilofaciais. Esses modelos 3D podem incluir estruturas dentomaxilofaciais opticamente submetidas à varredura (dentes e/ou maxilar).
[059] Uma vez treinada, a rede neural profunda pode receber uma pilha de dados de imagem 3D de uma estrutura dentomaxilofacial e classificar os voxels da pilha de dados de imagem 3D. Antes, os dados apresentados para a rede neural profunda treinada, os dados podem ser pré-processados para que a rede neural possa classificar voxels de modo eficiente e preciso. A saída da rede neural pode incluir diferentes coleções dos dados de voxel, em que cada coleção pode representar uma parte distinta, por exemplo, dentes ou maxilar dos dados de imagem 3D. Os voxels classificados podem ser pós-processados a fim de reconstruir um modelo 3D preciso da estrutura dentomaxilofacial.
[060] O sistema de computador que compreende uma rede neural treinada para classificar voxels automaticamente de estruturas dentomaxilofaciais, o treinamento da rede, o pré-processamento dos dados de imagem 3D antes de ser alimentado para a rede neural bem como o pós-processamento de voxels que são classificados pela rede neural são descritos de acordo com este documento em mais detalhes.
[061] A Figura 1 representa esquematicamente um sistema de computador para classificação e segmentação de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção. Em particular, o sistema de computador 102 pode ser configurado para receber uma pilha de dados de imagem 3D 104 de uma estrutura dentomaxilofacial. A estrutura pode incluir mandíbula-, dentes- e estruturas nervosas. Os dados de imagem 3D podem compreender voxels, isto é, elementos de espaço 3D associados com um valor de voxel, por exemplo, um valor em escala de cinza ou um valor de cor, que representa uma intensidade de radiação ou valor de densidade. De preferência, a pilha de dados de imagem 3D pode incluir dados de imagem CBCT, de acordo com um formato predeterminado, por exemplo, o formato DICOM ou um derivativo do mesmo.
[062] O sistema de computador pode compreender um pré-processador 106 para pré-processar os dados de imagem 3D antes de ser alimentado com a entrada de uma primeira rede neural de aprendizado profunda 3D 112, que é treinada para produzir um conjunto 3D de voxels classificados como uma saída 114. Como será descrito de acordo com este documento em mais detalhes, a rede neural de aprendizado profunda 3D pode ser treinada, de acordo com um esquema de treinamento predeterminado para que a rede neural treinada seja capaz de classificar precisamente voxels nas pilhas de dados de imagem 3D em voxels de diferentes grupos (por exemplo, voxels associados com dentes-, maxilar e/ou tecido nervoso). A rede neural de aprendizado profunda 3D pode compreender uma pluralidade de camadas de redes neurais convolucionais conectadas 3D (3D CNN).
[063] O sistema de computador pode compreender adicionalmente um pós- processador 116 para reconstruir precisamente modelos 3D de diferentes partes da estrutura dentomaxilofacial (por exemplo, dente, mandíbula e nervo) usando os voxels classificados pela rede neural de aprendizado profunda 3D. Como será descrito de acordo com este documento em maiores detalhes, parte dos voxels classificados, por exemplo, voxels que são classificados como pertencentes a uma estrutura dentária ou uma estrutura da mandíbula são inseridos em uma segunda rede neural de aprendizado profunda 3D adicional 120, que são treinados para reconstruir volumes 3D para as estruturas dentomaxilofaciais, por exemplo, a forma da mandíbula 124 e a forma dos dentes 126, com base nos voxels que foram classificados para pertencer a essas estruturas. Outras partes de voxels classificados, por exemplo, os voxels que foram classificados pela rede neural profunda 3D como pertencentes aos nervos podem ser pós-processados usando uma função de interpolação 118 e armazenados como dados nervosos 3D 122. A tarefa de determinar o volume que representa um nervo dos voxels classificados é de uma natureza que é atualmente além da capacidade de (a energia de processamento disponível para) uma rede neural profunda. Ademais, os voxels classificados apresentados não devem conter as informações que seriam adequadas para uma rede neural resolver esse problema particular. Portanto, a fim de pós-processar precisamente e eficientemente os voxels nervosos classificados, é usada uma interpolação dos voxels classificados. Após o pós-processamento dos dados 3D das várias partes da estrutura dentomaxilofacial, os dados do nervo, mandíbula e dente 122 a 126 podem ser combinados e formatados em modelos 3D separados 128 que representam precisamente as estruturas dentomaxilofaciais nos dados de imagem 3D que foram alimentados para entrada do sistema de computador.
[064] Em CBCT a densidade do rádio (medida em Unidades Hounsfield (HU)) é imprecisa porque áreas diferentes na varredura aparecem com diferentes valores de escala de cinza dependendo das suas posições relativas no órgão que é submetido à varredura. HU medida a partir da mesma área anatômica com ambos tomógrafos CBCT e TC de grau médio não são idênticos e, portanto, não são confiáveis para a determinação da densidade óssea radiográfica e específica do local.
[065] Além disso, sistemas CBCT dentais não empregam um sistema padronizado para dimensionar os níveis de cinza que representam os valores de densidade reconstruídos. Esses valores são arbitrários e não permitem a avaliação da qualidade óssea. Na ausência de tal padronização, é difícil interpretar os níveis de cinza ou impossível comparar os valores resultantes de diferentes máquinas.
[066] Os dentes e estrutura maxilar têm densidade semelhante de modo que é difícil para um computador distinguir entre voxels pertencentes a dentes e voxel pertencente a uma mandíbula. Adicionalmente, sistemas CBCT são muito sensíveis ao chamado endurecimento do feixe, que produz manchas escuras entre dois objetos de alta atenuação (como metal ou osso), com manchas brilhantes ao redor.
[067] A fim de tornar a rede neural de aprendizado profunda 3D robusta contra os problemas mencionados acima, a rede neural 3D pode ser treinada usando um módulo 138 para fazer uso de modelos 3D de partes da estrutura dentomaxilofacial como representado pelos dados de imagem 3D. Os dados de treinamento 3D 130 podem ser alinhados corretamente a uma imagem CBCT apresentada em 104 pelo qual o alvo de saída associado é conhecido (por exemplo, TC de dados de imagem 3D de uma estrutura dentomaxilofacial e uma representação segmentada 3D associada da estrutura dentomaxilofacial). Dados de treinamento convencionais 3D podem ser obtidos manualmente pela segmentação dos dados de entrada, que podem representar uma quantidade significante de trabalho. Adicionalmente, segmentação manual resulta em uma baixa reprodutibilidade e consistência dos dados de entrada a serem usados.
[068] A fim de conter esse problema, em uma modalidade, dados de treinamento 130 produzidos opticamente, isto é, modelos 3D precisos de (partes da) estrutura dentomaxilofacial podem ser usados em vez de ou pelo menos além dos dados de treinamento segmentados manualmente. Estruturas dentomaxilofaciais que são usadas para produzir os dados de treinamento podem ser submetidos à varredura usando um escâner óptico 3D. Esses escâneres ópticos 3D são conhecidos na técnica e podem ser usadas para produzir dados 3D de alta qualidade da superfície dos dentes e mandíbula. Os dados superficiais 3D podem incluir malhas superficiais 3D 132 que podem ser preenchidos (determinando quais voxels específicos são parte do volume abrangido pela malha) e usados por um classificador de voxel 134. Dessa maneira, o classificador voxel é capaz de gerar voxels classificados de alta qualidade para treinamento 136. Adicionalmente, como mencionado acima, voxels de treinamento classificados manualmente podem ser usados pelo módulo de treinamento para treinar a rede também. O módulo de treinamento pode usar os voxels de treinamento classificados como um alvo e dados de treinamento de TC associados como entrada.
[069] Adicionalmente, durante o processo de treinamento, os dados de treinamento de TC podem ser pré-processados por um extrator de recurso 108, que pode ser configurado para determinar recursos posicionais 3D. Um recurso dentomaxilofacial pode codificar pelo menos informações espaciais associadas com uma ou mais partes da estrutura dentomaxilofacial de imagem (o conjunto de dados 3D recebido). Por exemplo, em uma modalidade, um recurso posicional 3D projetado manualmente pode incluir uma curva 3D que representa (parte de) maxilar, em particular, a arcada dentária, no volume 3D que contém os voxels. Um ou mais parâmetros de peso podem ser designados para pontos ao longo da curva 3D. o valor de um peso pode ser usado para codificar uma translação no espaço 3D de um voxel para voxel. Em vez de incorporar, por exemplo, uma versão codificada do espaço original, a pilha de imagem é recebida em o espaço codificado é específico às estruturas dentomaxilofaciais conforme detectado na entrada. O extrator de recurso pode determinar uma ou mais curvas aproximando uma ou mais curvas da mandíbula e/ou dentes (por exemplo, a arcada dentária) examinando os valores de voxel que representam intensidade de radiação ou valores de densidade e ajustam uma ou mais curvas (por exemplo, um polinômio) através de certos voxels. Derivativos de (partes de) curvas da arcada dentária de uma pilha de dados de imagem de TC em 3D podem ser armazenadas como um mapeamento de recurso posicional 110.
[070] Em uma outra modalidade esses recursos posicionais 3D podem, por exemplo, ser determinados por meios de um método de aprendizagem de máquina (treinado) como uma rede neural profunda 3D projetada para derivar informações relevantes de todo o conjunto de dados 3D recebido.
[071] A Figura 2 representa um diagrama de fluxo de uma rede neural profunda em treinamento para classificar dados de imagem 3D dentomaxilofaciais, de acordo com uma modalidade da invenção. Dados de treinamento são usados a fim de treinar uma rede neural de aprendizado profunda 3D, de modo que esta seja capaz de classificar automaticamente voxels de uma varredura de TC em 3D de uma estrutura dentomaxilofacial. Como mostrado nessa figura, uma representação de um complexo dentomaxilofacial 202 pode ser fornecido para o sistema de computador. Os dados de treinamento podem incluir uma pilha de dados de imagem de TC 204 de uma estrutura dentomaxilofacial e um modelo 3D associado, por exemplo, dados 3D 206 a partir da varredura da mesma estrutura dentomaxilofacial. Exemplos de tais dados de imagem de TC em 3D e varredura óptica de dados em 3D são mostrados na Figura 3A e 3B. A Figura 3A representa fatias DICOM associadas com diferentes planos de uma varredura de TC em 3D de uma estrutura dentomaxilofacial, por exemplo, um plano axial 302, um plano frontal ou coronal 304 e o plano sagital 306. A Figura 3B representa dados de varredura óptica 3D de uma estrutura dentomaxilofacial. O computador pode formar malhas superficiais 3D 208 da estrutura dentomaxilofacial com base nos dados de varredura óptica. Ademais, uma função de alinhamento 210 pode ser empregada que é configurada para alinhar as malhas superficiais aos dados de imagem de TC em 3D. após o alinhamento, as representações de estruturas 3D que são fornecidas com a entrada do computador, usam o mesmo sistema de coordenadas espaciais. Com base nos dados de imagem de TC alinhados e recursos posicionais de malhas superficiais 3D 212 e dados de voxel classificados do modelo 3D 214 opticamente submetido à varredura pode ser determinado. Os recursos posicionais e dados de voxel classificados podem então, ser fornecidos com a entrada da rede neural profunda 216, junto com a pilha de imagem 204.
[072] Logo, durante a fase de treinamento, a rede neural de aprendizado profunda 3D recebe dados de treinamento de TC em 3D e recursos posicionais extraídos a partir dos dados de treinamento de TC em 3D como dados de entrada e os voxels de treinamento classificados com dados de treinamento de TC em 3D são usados como dados alvo. Um método de otimização pode ser usado para aprender os valores ideais dos parâmetros de rede da rede neural profunda minimizando uma função de perda que representa o desvio da saída da rede neural profunda para os dados alvo (isto é, dados de voxel classificados), que representam a saída desejada para uma entrada predeterminada. Quando a minimização da função de perda converge para um determinado valor, o processo de treinamento pode ser considerado adequado para aplicação.
[073] O processo de treinamento representado na Figura 2 usando recursos posicionais 3D em combinação com os voxels de treinamento, que podem ser (pelo menos parcialmente) derivados de dados 3D opticamente submetidos à varredura, fornecem um conjunto de treinamento de alta qualidade para a rede neural de aprendizado profunda 3D. Após o processo de treinamento, a rede treinada é capaz de classificar precisamente voxels a partir de uma pilha de dados de imagem de TC em 3D.
[074] As Figuras 4A e 4B representam esquemas de alto nível de arquitetura profunda de rede neural profunda para usar nos métodos e sistemas descritos nessa revelação. As redes neurais profundas podem ser implementadas usando uma ou mais redes neurais convolucionais 3D (3D CNNs). As camadas convolucionais podem empregar uma função de ativação associada com os neurônios nas camadas como uma função sigmoide, função tan., função relu, função softmax, etc. Uma rede neural profunda pode incluir uma pluralidade de camadas convolucionais 3D em que pequenas variações no número de camadas e seus parâmetros definidores, por exemplo, diferentes funções de ativação, quantidades e tamanhos de núcleos, e camadas funcionais adicionais como camadas de normalização de abandono e lote, podem ser usadas na implementação sem perder essência do projeto da rede neural profunda.
[075] Como mostrado na Figura 4A, a rede pode incluir uma pluralidade de caminhos convolucionais em que cada caminho convolucional é associado com um conjunto de camadas convolucionais 3D. Em uma modalidade, a rede pode incluir pelo menos dois caminhos convolucionais, um primeiro caminho convolucional associado com um primeiro conjunto de camadas convolucionais 3D 406 e um segundo caminho convolucional associado com um segundo conjunto de camadas convolucionais 3D 408. O primeiro e segundo caminhos convolucionais podem ser treinados para codificar recursos 3D derivados a partir de dados de imagem 3D recebidos associados com os voxels que são oferecidos com a entrada do primeiro e segundo caminhos convolucionais, respectivamente. Ademais, em algumas modalidades, a rede pode incluir pelo menos um (terceiro) caminho convolucional adicional associado com um terceiro conjunto de camadas convolucionais 3D 407. O terceiro caminho convolucional pode ser treinado para codificar recursos 3D derivados a partir de dados de recurso posicional 3D recebidos com voxels que são oferecidos com a entrada de um terceiro caminho.
[076] Alternativamente, em uma modalidade, em vez de um caminho convolucional adicional que é treinado com base em dados de recurso posicional 3D, os dados de recurso posicional 3D podem ser associados com os valores de intensidade de voxels que são oferecidos com a entrada do primeiro e segundo caminhos convolucionais. Logo, nessa modalidade, o primeiro e segundo caminhos convolucionais podem ser treinados com base em dados de treinamento que incluem uma pilha de dados 3D de valores de voxel incluindo valores de intensidade e informações de recursos posicionais.
[077] A função de diferentes caminhos é ilustrada em mais detalhes na Figura 4B. Como mostrado nessa figura, voxels são alimentados com a entrada da rede neural. Esses voxels são associados com um volume predeterminado, que podem ser referidos como o volume de imagem 4013. O volume total de voxels pode ser dividido em primeiros blocos de voxels e as camadas convolucionais 3D do primeiro caminho 4031 podem realizar uma operação convolucional 3D em cada um dos primeiros blocos de voxels 4011 dos dados de imagem 3D. Durante o processo, a saída de cada camada convolucional 3D pode ser a entrada de uma camada convolucional 3D subsequente. Dessa maneira, cada camada convolucional 3D pode gerar um mapa de recurso 3D que representa recursos dos dados de imagem 3D que são alimentados com a entrada. Uma camada convolucional 3D que é configurada para gerar esses mapas de recursos, pode portanto, ser referida como uma camada de recurso 3D CNN.
[078] Como mostrado na Figura 4B, as camadas convolucionais do segundo caminho convolucional 4032 pode ser configurado para processar segundos blocos de voxels 4012 dos dados de imagem 3D. Cada segundo bloco de voxels é associado com um primeiro bloco de voxels, em que o primeiro e segundo blocos de voxels têm a mesma origem centrada no volume de imagem. O volume do segundo bloco é maior do que o volume do primeiro bloco. Além disso, o segundo bloco de voxels representa uma versão com amostragem reduzida de um primeiro bloco de voxels associado. A amostragem reduzida pode ser com base no uso de um algoritmo de interpolação conhecido. O fator de amostragem reduzida pode ser qualquer valor apropriado. Em uma modalidade, o fator de amostragem reduzida pode ser selecionado entre 20 e 2, de preferência, entre 10 e 3.
[079] Logo, a rede neural profunda 3D pode compreender pelo menos dois caminhos convolucionais. Um primeiro caminho convolucional 4031 pode definir um primeiro conjunto de camadas de recursos de CNN 3D (por exemplo, camadas 5 a 20), que são configuradas para processar dados de entrada (por exemplo, primeiros blocos de voxels em posições predeterminadas no volume de imagem) em uma primeira resolução de voxel, por exemplo, a resolução de voxel do alvo (isto é, a resolução dos voxels dos dados de imagem 3D a serem classificados). Da mesma forma, um segundo caminho convolucional pode definir um segundo conjunto de camadas de recursos de CNN 3D (por exemplo, camadas 5 a 20), que são configuradas para processar dados de entrada em uma segunda resolução de voxel (por exemplo, segundos blocos de voxels em que cada bloco dos segundos blocos de voxels 4012 têm o mesmo ponto central do bloco associado do primeiro bloco de voxels 4011). Aqui, a segunda resolução é menor do que a primeira resolução. Logo, os segundos blocos de voxels representam um volume maior nas dimensões do mundo real do que os primeiros blocos. Dessa maneira, as segundas camadas de recursos de CNN 3D processam voxels a fim de gerar mapas de recursos 3D que incluem informações sobre a proximidade (direta) de voxels associados que são processados pelas primeiras camadas de recursos de CNN 3D.
[080] O segundo caminho possibilita então, que a rede neural determine informações contextuais, isto é, informações sobre o contexto (por exemplo, seus arredores) de voxels dos dados de imagem 3D que são apresentados com a entrada da rede neural. Usando múltiplos caminhos convolucionais (paralelos), ambos os dados de imagem 3D (os dados de entrada) e as informações contextuais sobre voxels dos dados de imagem 3D podem ser processados em paralelo. As informações contextuais são úteis para classificar umas estruturas dentomaxilofaciais, que normalmente incluem estruturas dentárias bem compactadas que sai difíceis de distinguir, especialmente no caso de dados de imagem CBCT.
[081] Em uma modalidade, a rede neural de 4B pode incluir adicionalmente um terceiro caminho convolucional 4033 de um terceiro conjunto de camadas convolucionais 3D que são treinados para processar representações específicas de recursos posicionais 3D 404 que podem ser extraídos dos dados de imagem 3D. a extração dos recursos posicionais 3D dos dados de imagem 3D pode ser realizada com uma etapa de pré-processamento. Em uma modalidade alternativa, em vez de usar um terceiro caminho convolucional para processar recursos posicionais 3D, as informações posicionais 3D, que inclui recursos posicionais 3D, podem ser associadas com os dados de imagem 3D que são oferecidos com a entrada da rede neural profunda. Em particular, uma pilha de dados 3D pode ser formada na qual cada voxel é associado com um valor de intensidade e informações posicionais. Assim, as informações posicionais podem ser combinadas por voxel recebido aplicável, por exemplo, por meio da adição das informações de recursos posicionais 3D, como canais adicionais para as informações recebidas 3D. Logo, nessa modalidade, um voxel de uma representação de voxel de uma estrutura dentomaxilofacial 3D na entrada da rede neural profunda pode, não apenas ser associado com um valor de voxel que representa, por exemplo, um valor de intensidade de rádio, mas também com informações posicionais 3D. Assim, nessa modalidade, durante o treinamento das camadas convolucionais de ambos, primeiro e segundo caminhos convolucionais, informações derivadas de ambos os recursos de imagem 3D e recursos posicionais 3D podem ser codificados nessas camadas convolucionais.
[082] A saída dos conjuntos de camadas de recursos de CNN 3D são, então mescladas e alimentadas com a entrada de um conjunto de camadas CNN 3D totalmente conectadas 410, que são treinadas para derivar a classificação pretendida de voxels 412 que são oferecidas com a entrada da rede neural e processadas pelas camadas de recursos de CNN 3D.
[083] Os conjuntos de camadas de recursos de CNN 3D são treinados (através de seus parâmetros aprendíveis) para derivar e transmitir as informações úteis de forma ideal que podem ser determinadas a partir de suas entradas específicas, as camadas totalmente conectadas codificam parâmetros que determinarão a maneira como as informações dos caminhos anteriores devem ser combinadas para fornecer voxels classificados de maneira ideal 412. Depois disso, voxels classificados podem ser apresentados no espaço da imagem 414. Logo, as saídas da rede neural são voxels classificados em um espaço da imagem que corresponde ao espaço da imagem dos voxels na entrada.
[084] Aqui, a saída das camadas totalmente conectadas (a última camada) pode fornecer uma pluralidade de ativações para cada voxel. Essa ativação de voxel pode representar uma medida de probabilidade (uma previsão) que define a probabilidade de que um voxel pertence a uma de uma pluralidade de grupos, por exemplo, grupos de estruturas dentárias, por exemplo, um dente, mandíbula e/ou estrutura nervosa. Para cada voxel, ativações de voxel associados com diferentes estruturas dentárias podem ser limiares a fim de obter um voxel classificado.
[085] As Figura 5 a 7 ilustram métodos de determinar recursos posicionais 3D em uma pilha de dados de imagem 3D que representam uma estrutura dentomaxilofacial 3D e exemplos de tais recursos posicionais. Especificamente, no caso de recursos de engenharia manual, como descrito com referência à Figura 1, ambos as pilhas de dados de imagem 3D e os recursos posicionais 3D associados são oferecidos como entrada para a rede neural profunda 3D, de modo que a rede possa classificar precisamente os voxels sem o risco de sobre ajuste. Uma conversão com base nas dimensões do mundo real, garante entrada comparável, independentemente da resolução da imagem de entrada.
[086] Um recurso posicional 3D de engenharia manual pode fornecer à rede neural profunda 3D informações sobre posições de voxels no volume de imagem em relação a um plano de referência ou um objeto de referência no volume de imagem. Por exemplo, em uma modalidade, um plano de referência pode ser um plano axial no volume de imagem que separa voxels associados com a mandíbula superior e voxels com a mandíbula inferior. Em uma outra modalidade, um objeto de referência pode incluir uma curva, por exemplo, uma curva 3D, aproximando pelo menos parte de uma arcada dentária de dentes dos dados de imagem 3D da estrutura dentomaxilofacial. Dessa maneira, os recursos posicionais fornecem à primeira rede neural profunda os meios para codificar abstrações que indicam uma probabilidade por mandíbula, dentes e/ou tecidos nervosos associados a voxel em diferentes posições no volume de imagem. Esses recursos posicionais podem ajudar a rede neural profunda classificar com eficiência e precisão voxels de uma pilha de dados de imagem 3D e são projetados para reduzir o risco de sobre ajuste.
[087] A fim de determinar planos de referência e/ou objetos de referência no volume de imagem que são úteis no processo de classificação, a função de análise de recursos pode determinar voxels de um valor de intensidade predeterminado ou acima ou abaixo de um valor de intensidade predeterminado. Por exemplo, voxels associados com valores de intensidade brilhante podem se referir a dentes e/ou tecidos mandibulares. Dessa maneira, informações sobre a posição dos dentes e/ou mandíbula e a orientação (por exemplo, um ângulo rotacional) no volume de imagem pode ser determinado pelo computador. Se a função de análise dos recursos determina que o ângulo de rotação é maior do que a quantidade predeterminada (por exemplo, maior do que 15 graus), a função pode corrigir o ângulo de rotação a zero por isso é mais benéfico para resultados precisos.
[088] A Figura 5A ilustra um exemplo de um diagrama de fluxo 502 de um método de determinar recursos posicionais 3D de engenharia manual nos dados de imagem 3D 504, por exemplo, uma pilha de dados de imagem de TC em 3D. esse processo pode incluir determinar um ou mais recursos posicionais 3D da estrutura dentomaxilofacial, em que um ou mais recursos posicionais 3D que são configurados com a entrada da rede neural profunda 3D (conforme discutido com referência à Figura 4B acima). Um recurso posicional 3D de engenharia manual define informações de posição de voxels no volume de imagem em relação aos planos de referência ou objetos de referência no volume de imagem, por exemplo, uma distância, por exemplo, uma distância perpendicular, entre voxels no volume de imagem e um plano de referência no volume de imagem que separa a mandíbula superior da mandíbula inferior. Também define a distância entre voxels no volume de imagem e um objeto de referência dental, por exemplo, uma arcada dentária no volume de imagem. Pode definir adicionalmente posições dos valores de intensidade acumulados em um segundo plano de referência do volume de imagem, um valor de intensidade acumulado em um ponto no segundo plano de referência que inclui valores de intensidade acumulados de voxels em ou na proximidade do funcionamento normal através do ponto no plano de referência. Exemplos de recursos posicionais 3D são descritos de acordo com este documento.
[089] A fim de determinar um objeto de referência que fornece informações posicionais da arcada dentária nos dados de imagem 3D da estrutura dentomaxilofacial. Um algoritmo de ajuste pode ser usado para determinar uma curva, por exemplo, uma curva que segue uma fórmula polinomial, que ajusta pontos predeterminados em uma nuvem de pontos de diferentes valores de intensidade (acumulados).
[090] Em uma modalidade, uma nuvem de pontos de valores de intensidade em uma plano axial (um plano xy) do volume de imagem pode ser determinado. Um valor de intensidade acumulado de um ponto nesse plano axial pode ser determinado pela soma de valores de voxels posicionados no normal que funciona através de um ponto no plano axial. Então, os valores de intensidade obtidos no plano axial podem ser usados para encontrar uma curva que aproxima uma arcada dentária dos dentes.
[091] A Figura 5B representa um exemplo de um método de aprendizado de máquina como pode ser utilizado para gerar recursos posicionais 3D relevantes (engenharia não manual), de acordo com uma modalidade da invenção. Em particular, a Figura 5B representa uma arquitetura de rede neural profunda 3D exemplificativa como pode ser treinada para gerar recursos desejados para serem processados pela segmentação de rede neural 3D. Após o treinamento, esse modelo treinado pode ser empregado análogo ao método 502 como um pré-processador que deriva recursos posicionais 3D relevantes com base em todo o conjunto de dados 3D recebido.
[092] Como nos recursos posicionais 3D de engenharia manual, o objetivo é incorporar informações nos recursos posicionais 3D considerando todo o conjunto de dados 3D recebido (ou pelo menos uma parte substancial do mesmo) para uso na rede de aprendizado profundo 3D de segmentação que é potencialmente relevante para a tarefa de classificação e segmentação automática, e caso contrário, pode não estar disponível de outra forma no conjunto ou subamostras oferecidas à rede de aprendizado profundo 3D de segmentação. Novamente, como nos recursos posicionais 3D de engenharia manual, essas informações devem ser disponibilizadas por voxel no conjunto de dados 3D recebidos.
[093] Uma das possíveis maneiras de implementar esse método de aprendizado por máquina para gerar automaticamente recursos posicionais 3D é uma rede neural profunda treinada. Essa rede pode ser treinada para derivar recursos posicionais 3D com base em um conjunto de dados de entrada 3D (por exemplo, uma representação de voxel de uma estrutura dentomaxilofacial) que é oferecida com a entrada da rede neural profunda 3D segmentada. Em uma modalidade, o pré-processamento da rede neural profunda pode ser uma rede neural profunda em U 3D como ilustrado pela Figura 5B. Devido aos limites de processamento disponível (principalmente requisitos de memória), essa arquitetura não operaria nas resoluções das representações de voxel recebidas. Portanto, um primeiro conjunto de dados de entrada 3D, uma primeira representação de voxel de uma primeira resolução (por exemplo, 0,2x0,2x0,2 mm por voxel) pode ser amostragem reduzida para uma segunda representação de voxel de uma segunda resolução inferior, por exemplo, uma resolução de 1x1x1mm por voxel, usando um algoritmo de interpolação. Daí em diante, uma rede neural profunda 3D que é treinada com base nas representações de voxel da segunda resolução pode gerar por entrada informações de voxel de recurso posicional 3D. Um algoritmo de interpolação pode ser usado para dimensionar essas informações até a primeira resolução original. Dessa maneira, os recursos posicionais 3D resultantes coincidem (espacialmente) com os voxels da primeira representação de voxel fornecendo informações relevantes para cada voxel do primeiro conjunto de dados de entrada 3D tendo em conta as informações, considerando (uma versão agregada de) todo o conjunto de dados 3D recebido.
[094] Esse pré-processamento da rede neural profunda 3D pode ser treinado para aproximar valores alvo desejados (que são os recursos posicionais 3D desejados). Nesse exemplo específico, os alvos podem, por exemplo, ser uma indicação de grupo por voxel na resolução em que opera o pré-processamento da rede neural profunda 3D. Essas indicações de grupo podem, por exemplo, ser originárias do mesmo conjunto de voxels de treinamento classificados 136, mas com amostragem reduzida da mesma maneira que o conjunto de dados 3D recebido.
[095] Note que tal implementação exemplificativa de um método de aprendizado por máquina de pré-processamento poderia efetivamente ser considerada uma pré-
segmentação grossa, especificamente aquela que potencialmente tem acesso às informações de toda (ou uma parte substancial da) representação 3D de voxel recebida. Combinando as informações de pré-segmentação grossa com os voxels aplicáveis do espaço de imagem 3D recebido, por exemplo, por meio de aumento da resolução, conduz àqueles recursos posicionais 3D que são processados em paralelo com os dados de imagem 3D recebidos, em direção a um resultado na resolução da imagem 3D recebida.
[096] A rede de pré-processamento pode ser implementada usando uma variedade de camadas de rede neural 3D, como as camadas convolucionais (3D CNNs), camadas de pool máximo 3D, camadas desconvolucionais 3D (3D de-CNNs), e camadas densamente desconectadas. Essas camadas podem usar uma variedade de funções de ativação como linear, tan., ReLU, PreLU, sigmoide, etc. As camadas 3D CNN e de-CNN podem variar na sua quantidade de filtros, tamanhos de filtros e parâmetros de subamostragem. As camadas 3D CNN e de-CNN, bem como as camadas densamente conectadas, podem variar em seus métodos de inicialização de parâmetro. Camadas de normalização de abandono e/ou lote podem ser empregadas em toda a arquitetura.
[097] Seguindo uma arquitetura em U 3D, durante o treinamento dos vários filtros nas camadas 3D CNN e 3D de-CNN aprendem a codificar recursos significativos, o que ajudaria o esforço de precisão da previsão. Durante o treinamento, combinar conjuntos de dados de imagem 3D 522 e codificar recursos posicionais 3D combinados 560 são usados para otimizar a previsão do último a partir do primeiro. Uma perda de função pode ser empregada como uma medida para ser minimizada. Esse esforço de otimização pode ser auxiliado pelo uso de otimizadores como SGD, Adam, etc.
[098] Essa arquitetura pode empregar várias escalas de resolução internas, reduzindo efetivamente 526, 530, 534 como resultado de um conjunto anterior de camadas 3D CNN 524, 528, 532 através de, por exemplo, pooling máximo ou convoluções 3D subamostradas. O termo ‘recursos significativos’ aqui refere-se a derivações (sucessivas) de informações relevantes para determinar os valores de saída alvo, e também são codificados através de camadas 3D de-CNN, que realizam efetivamente um aumento de resolução enquanto empregam os filtros. Pela combinação 540, 546, 552 dados resultantes dessas camadas 3D de-CNN 538, 544, 554 com os dados das ‘últimas’ camadas 3D CNN que operam na mesma resolução (532 a 540, 528 a 546 e 524 a 552), previsões altamente precisas podem ser alcançadas. Por todo o caminho de aumento da resolução, camadas adicionais 3D CNN podem ser usadas 542, 548, 554.
[099] Ao ser utilizado para interferência, ter sido treinado para codificar parâmetros internos de forma que a validação produz resultados suficientemente precisos, uma amostra de entrada pode ser apresentada e a rede de aprendizado profundo 3D pode fornecer recursos posicionais 3D previstos 542.
[0100] Um exemplo de um objeto de referência para uso na determinação de recursos posicionais 3D de engenharia manual, nesse caso, a curva que aproxima uma arcada dentária, é fornecida na Figura 6. Nesse exemplo, uma nuvem de pontos no plano axial (xy) indica áreas de valores de alta intensidade (áreas brancas brilhantes) pode indicar áreas de estruturas de dentes ou mandíbulas. A fim de determinar uma curva da arcada dentária, o computador pode determinar áreas em um plano axial do volume de imagem associado com voxels brilhantes (por exemplo, voxels que têm um valor de intensidade acima de um valor limite predeterminado) que pode ser identificado como voxels de dentes ou mandíbula. Essas áreas de alta intensidade pode ser usadas para determinar uma disposição crescente de áreas brilhantes que se aproxima do arco dentomaxilofacial. Dessa maneira, uma curva da arcada dentária pode ser determinada, que aproxima uma média dos arcos dentomaxilofaciais da mandíbula superior e da mandíbula inferior, respectivamente. Em uma outra modalidade, as curvas separadas da arcada dentária associadas à mandíbula superior e inferior podem ser determinadas.
[0101] As Figuras 7A a 7E representam exemplos de recursos posicionais 3D de dados de imagem 3D, de acordo com várias modalidades da invenção.
[0102] A Figura 7A representa uma imagem (esquerda) de uma fatia de um plano sagital de uma pilha de dados de imagem 3D e uma visualização associada (direita) de um chamado recurso de altura da mesma fatia. Esse recurso de altura pode codificar uma posição z (uma altura 704) de cada voxel no volume de imagem da pilha de dados de imagem de TC em 3D em relação ao plano de referência 702. O plano de referência (por exemplo, o plano axial ou xy que é determinado para ser (a melhor aproximação de) o plano xy com aproximadamente distância igual para ambas a mandíbula superior e a mandíbula inferior e seus dentes constituintes.
[0103] Outros recursos posicionais 3D podem ser definidos para codificar informações espaciais em um espaço xy de uma pilha de dados de imagem 3D. Em uma modalidade, esse recurso posicional pode ser com base em uma curva que se aproxima (parte de) a arcada dentária. Esse recurso posicional é ilustrado na Figura 7B, que representa uma fatia (esquerda) de uma pilha de dados de imagem 3D e uma visualização (direita) do chamado recurso de viagem para a mesma fatia. Esse recurso de viagem é com base na curva que se aproxima da arcada dentária 706 e define a distância relativa 708 medida ao longo da curva. Aqui, distância zero pode ser como o ponto 710 em que a curva derivada do polinômio de segundo grau é (aproximadamente) zero. A distância percorrida aumenta ao se mover em qualquer direção no eixo x, a partir desse ponto (por exemplo, o ponto em que a derivada é zero).
[0104] Um recurso posicional 3D adicional com base na curva da arcada dentária pode definir a menor distância (perpendicular) de cada voxel no volume de imagem para a curva da arcada dentária 706. Esse recurso posicional pode, portanto, ser chamado como ‘recurso de distância’. Um exemplo desse recurso é fornecido na Figura 7C, que representa uma fatia (esquerda) da pilha de dados de imagem 3D e uma visualização (direita) do recurso de distância para a mesma fatia. Para esse recurso, distância zero significa que o voxel é posicionado na curva da arcada dentária curve 708.
[0105] Ainda, um outro recurso posicional 3D adicional pode definir informações posicionais de dentes individuais. Um exemplo desse recurso (que também pode ser chamado como recurso dental) é fornecido na Figura 7D, que representa uma fatia (esquerda) da pilha de dados de imagem 3D e uma visualização (direita) do recurso dental da mesma fatia. O recurso dental pode fornecer informações a serem usadas para determinar a probabilidade de encontrar voxels de certos dentes em uma determinada posição no espaço voxel. Esse recurso pode, seguindo um determinado plano de referência como 702, codifica uma soma separada de voxels ao longo do normal para qualquer plano (por exemplo, o plano xy ou qualquer outro plano). Essas informações fornecem, assim, à rede neural uma ‘visualização’ de todas as informações do espaço original somadas ao longo do plano normal. Essa visualização é maior do que seria processada ao excluir esse recurso e pode fornecer meios de diferenciar se uma estrutura rígida está presente com base em todas as informações na direção escolhida do espaço (como ilustrado na 7121,2 para o plano xy).
[0106] A Figura 7E mostra uma visualização de recursos posicionais 3D que podem ser geradas por um pré-processador de aprendizado por máquina, em particular, uma rede neural profunda 3D como descrito em relação à Figura 5B. Esses recursos posicionais 3D foram renderizados em computador e os volumes 3D mostrados são o resultado do limiar dos valores previstos. A partir da ‘rugosidade’ relativa das superfícies que definem os volumes, pode-se notar que essa rede e seus dados de entrada e alvo operavam em uma resolução 3D mais baixa do que a da representação de voxel definitiva para ser segmentada (No caso desse exemplo, uma resolução de 1x1x1mm por voxel foi empregada). Como alvos, os mesmos dados de treinamento devem ser empregados para a rede de aprendizado profundo 3D de segmentação, mas com uma amostragem reduzida para uma resolução aplicável que adere aos requisitos de processamento para uso por uma rede neural profunda 3D de pré-processamento. Isso leva, na verdade, a esses recursos posicionais 3D que contêm uma pré-segmentação ‘grosseira’ de, no caso desse exemplo, mandíbula 720, dente 722 e estruturas nervosas 724. Para os fins dessa ilustração, a mandíbula inferior desse paciente em particular não foi processada para mostrar os voxels classificados como sendo mais prováveis e fazer parte da estrutura nervosa.
[0107] Essa pré-segmentação grosseira pode ser adequadamente amostrada, por exemplo, por meio de interpolação, assegurando que por voxel na resolução segmentada desejada (que é a resolução originalmente recebida), as informações dessa pré-segmentação coincidem espacialmente na resolução desejada. Por exemplo, informações de um voxel na visualização mostrada, podem coincidir espacialmente com 5x5x5 voxels na resolução desejada, e essas informações devem ser combinadas com todos os 125 voxels aplicáveis na resolução desejada. Posteriormente, essas informações amostradas podem ser apresentadas como, ou incluídas em, um conjunto de recursos posicionais 3D e, como descrito em relação à Figura 4, ser alimentado na segmentação de rede neural profunda 3D como entrada.
[0108] Logo, as Figura 5 a 7 mostram que um recurso posicional 3D define informações sobre voxels de uma representação de voxel que são fornecidas com a entrada de uma rede neural profunda que é treinada para classificar voxels. As informações podem ser agregadas de todas (ou uma parte substancial das) informações disponíveis da representação de voxel em que durante a agregação, a posição em relação a um objeto de referência dental pode ser levada em consideração. Ademais, as informações que são agregadas de modo que possam ser processadas por posição de um na primeira representação de voxel.
[0109] As Figuras 8A a 8D representam exemplos da saída de uma rede neural profunda treinada, de acordo com uma modalidade da invenção. Em particular, as Figura 8A a 8D representam imagens 3D de voxels que são classificados usando uma rede neural de aprendizado profunda que é treinada usando um método de treinamento como descrito com referência à Figura 2. Como mostrado nas Figuras 8B e 8C, podem ser classificados pela rede neural nos voxels pertencentes à estrutura dos dentes (Figura 8B), estrutura da mandíbula (Figura 8C) ou estruturas nervosas (Figura 8D). A Figura 8A representa uma imagem 3D que inclui os voxels que a rede neural de aprendizado profunda classificou como dentes, mandíbula e tecido nervoso. Como mostrado pelas Figuras 8B a 8D, o processo de classificação é preciso, mas ainda há muitos voxels perdidos ou classificados erroneamente. Por exemplo, como mostrado nas Figuras 8B e 8C voxels que podem ser parte da estrutura da mandíbula são classificados como voxels de dentes, enquanto nas superfícies pertencentes às raízes dos voxels dos dentes são perdidas. Como mostrado na Figura 8D, esse problema é ainda mais pronunciado com voxels nervosos classificados.
[0110] A fim de resolver o problema dos valores atípicos nos voxles classificados (que formam a saída da primeira rede neural de aprendizado profunda), os voxels podem ser pós-processados. A Figura 9 representa um diagrama de fluxo de pós- processamento de voxels classificados de estruturas dentomaxilofaciais 3D, de acordo com uma modalidade da invenção. Em particular, a Figura 9 representa um diagrama de fluxo de dados de voxel de estruturas dentomaxilofaciais que são classificadas usando uma rede neural de aprendizado profunda como descrito com referência às Figuras 1 a 8 desse pedido.
[0111] Como mostrado na Figura 9 o processo pode incluir uma etapa de dividir os dados de voxel classificados 902 de uma estrutura dentomaxilofacial em voxels que são classificados como voxels de mandíbulas 904, voxels de dentes 906 e voxels que são classificados como dados nervosos 908. Como será descrito de acordo com este documento em maiores detalhes, os voxles de mandíbula e dentes pós- processados usando uma segunda rede neural de aprendizado profunda adicional
910. Em contraste com a primeira rede neural de aprendizado profunda inicial (que usa uma pilha de dados de imagem de TC em 3D de uma estrutura dentomaxilofacial e recursos posicionais associados como entrada), que gera a melhor classificação de voxel possível com base nos dados de imagem, o segundo pós-processamento de rede neural de aprendizado traduz partes da saída da primeira rede neural de aprendizado profunda para voxels para que a saída mais próxima corresponda às estruturas 3D desejadas.
[0112] O pós-processamento da rede neural de aprendizado profunda codifica representações de ambos, dentes e mandíbula. Durante o treinamento do pós- processamento da rede neural de aprendizado profunda, os parâmetros da rede neural são ajustados de modo que a saída da primeira rede neural de aprendizado profunda seja traduzida para a representação 3D mais viável dessas estruturas dentomaxilofaciais. Dessa maneira, imperfeições nos voxles classificados podem ser reconstruídas 912. Adicionalmente, a superfície das estruturas 3D pode ser alisada 914 para que o melhor modelo possível de mandíbula e dentes 3D possa ser gerado. Omitir a pilha de dados de imagem de TC em 3D de ser fonte de informações para a etapa de pós-processamento grosso contra variações indesejadas dentro da pilha de imagem.
[0113] Devido à natureza das imagens (CB)TC, a saída da primeira rede neural de aprendizado profunda sofrerá de (antes mencionado) artefatos potenciais como média devido ao movimento do paciente, endurecimento do feixe, etc. outra fonte de ruído é variação nos dados de imagem capturados por diferentes imagens de TC. Essa variação resulta na introdução de vários fatores, como quantidades variáveis de ruído na pilha de imagens, valores variáveis de intensidade de voxel representando a mesma densidade (mundo real), e potencialmente outros. Os efeitos que os artefatos acima mencionados e ruídos têm na saída da primeira rede neural de aprendizado profunda, podem ser removidos ou pelo menos substancialmente reduzidos, pelo pós- processamento da rede neural de aprendizado profunda, levando à voxels de mandíbulas segmentados 918 e voxels de dentes segmentados 920.
[0114] Os dados nervosos classificados 908 podem ser pós-processados separadamente dos dados da mandíbula e dentes. A natureza dos dados nervosos, que representam estruturas de filamentos finos na pilha de dados de imagem de TC, torna esses dados menos adequados para pós-processamento por uma rede neural de aprendizado profunda. Em vez disso, os dados nervosos classificados são pós- processados usando um algoritmo de interpolação para o procedimento de dados nervosos segmentados 916. Para esse fim, os voxels que são classificados como voxels nervosos e que são associados com uma alta probabilidade (por exemplo, uma probabilidade de 95% ou mais) são usados pelo ajuste do algoritmo a fim de construir um modelo 3D das estruturas nervosas. Daí em diante, os modelos 3D da mandíbula,
dentes e nervos são combinados em um modelo 3D da estrutura dentomaxilofacial.
[0115] A Figura 10 representa um exemplo de uma arquitetura de uma rede neural de aprendizado profunda que é configurada para pós-processar voxels classificados de uma estrutura dentomaxilofacial 3D, de acordo com uma modalidade da invenção. O pós-processamento da rede neural de aprendizado profunda pode ter uma arquitetura que é similar à primeira rede neural de aprendizado profunda, incluindo um primeiro caminho formado pelo primeiro conjunto de camadas de recursos de CNN 3D 1004, que é configurado para processar os dados de entrada (nesse caso, uma parte dos dados de voxels classificados) na resolução do alvo. A rede neural de aprendizado profunda inclui adicionalmente um segundo conjunto de camadas de recursos de CNN 3D 1006, que é configurado para processar o contexto dos dados de entrada que são processados pelas primeiras camadas de recursos de CNN 3D, mas com uma resolução menor do que com o alvo. A saída da primeira e segunda camadas de recursos de CNN 3D são, então, alimentadas com a entrada de um conjunto de camadas totalmente conectadas CNN 3D 1008 a fim de reconstruir os dados de voxel classificados, de modo que eles representem de perto um modelo 3D da estrutura dentomaxilofacial 3D. A saída das camadas totalmente conectadas CNN 3D fornece os dados de voxel reconstruídos.
[0116] O pós-processamento da rede neural pode ser treinado usando os mesmos alvos como primeira rede neural de aprendizado profunda, que representa a mesma saída desejada. Durante o treinamento, a rede é aplicada o mais amplamente possível fornecendo ruídos às entradas para representar casos excepcionais a serem regularizados. Inerente à natureza do pós-processamento da rede neural de aprendizado profunda, o processamento realizado também resulta na remoção de aspectos não variáveis dos dados de voxel recebidos. Os fatores aqui incluem o alisamento e preenchimento das estruturas dentomaxilofaciais desejadas, e a remoção definitiva de dados não variáveis de voxel.
[0117] As Figura 11A e 11B representam uma iteração da rede de pós- processamento, resultando na reconstrução da superfície de voxels classificados, de acordo com uma modalidade da invenção. Em particular, a Figura 11A representa uma imagem de voxels classificados de estruturas de dentes, em que os voxels são a saída da primeira rede neural de aprendizado profunda. Como mostrado na figura, o ruído o outros artefatos nos dados de entrada resultam em irregularidades e artefatos na classificação do voxel e, por isso, estruturas de superfícies 3D que incluem lacunas nos conjuntos de voxels que representam uma estrutura dental. Essas irregularidades e artefatos são especialmente visíveis na estrutura do nervo alveolar inferior 11021, e nas estruturas da raiz dental 11041 dos dentes, isto é, nas áreas em que a rede neural de aprendizado profunda tem que distinguir entre voxels de dentes e voxels que são parte do maxilar.
[0118] A Figura 11B representa o resultado do pós-processamento, de acordo com o processo conforme descrito com referência à Figura 9 e 10. Como mostrado nessa figura, o pós-processamento da rede neural de aprendizado profunda remove com sucesso artefatos presentes nos dados de entrada (os voxels classificados). A etapa de pós-processamento reconstrói com sucesso partes que foram substancialmente afetadas pelas irregularidades e artefatos, como as estruturas das raízes 11041 dos dentes que agora exibem superfícies lisas que fornecem um modelo 3D preciso das estruturas individuais do dente 11042. Voxels nervosos de alta probabilidade 11021 (por exemplo, uma probabilidade de 95% ou mais) são usados por um algoritmo de ajuste a fim de reconstruir um modelo 3D das estruturas nervosas
11022.
[0119] Enquanto as figuras representam as redes neurais profundas 3Ds como redes neurais separadas, em que cada rede neural tem uma determinada função, por exemplo, um pré-processamento, classificação e segmentação e pós-processamento, essas redes neurais também podem ser conectadas umas às outras, formando uma ou duas redes neurais profundas que incluem a funcionalidade desejada. Nesse caso, diferentes redes neurais podem ser treinadas separadamente (como por exemplo, descritas com referências às figuras nessa revelação). Daí em diante, as redes treinadas podem ser conectadas uma à outra, formando uma rede neural profunda.
[0120] A Figura 12 é um diagrama em blocos que ilustra sistemas exemplificativos de processamento de dados descritos nessa revelação. Sistema de processamento de dados 1200 pode incluir pelo menos um processador 1202 acoplado à elementos de memória 1204 através de um sistema de barramento 1206. Como tal, o sistema de processamento de dados pode armazenar um código de programa dentro do elementos de memória 1204. Ademais, o processador 1202 pode executar o código de programa acessado a partir de elementos de memória 1204 por meio de um sistema de barramento 1206. Em um aspecto, o sistema de processamento de dados pode ser implementado como um computador que é adequado para armazenar e/ou executar código de programa. Deve ser observado, no entanto, sistema de processamento de dados 1200 pode ser implementado na forma de qualquer sistema, incluindo um processador e memória que são capazes de executar as funções descritas nessa especificação.
[0121] Elementos de memória 1204 pode incluir um ou mais dispositivos de memória física, como, por exemplo, memória local 1208 e um ou mais dispositivos de armazenamento em massa 1210. Memória local pode se referir a memória de acesso aleatório ou outros dispositivos de memória não persistente, geralmente usados durante a execução real do código de programa. Um dispositivo de armazenamento em massa pode ser implementado como um disco rígido ou um dispositivo de armazenamento de dados persistente. O sistema de processamento 1200 também pode incluir uma ou mais memórias de cache (não mostradas) que fornecem armazenamento temporário de pelo menos um código de programa a fim de reduzir o número de vezes que o código de programa deve ser recuperado do dispositivo de armazenamento em massa 1210 durante a execução.
[0122] Dispositivos de entrada/saída (E/S) representados como dispositivo de entrada 1212 e dispositivo de saída 1214 opcionalmente podem ser acoplados ao sistema de processamento de dados. Exemplos de dispositivo de entrada podem incluir, mas não estão limitados a, por exemplo, um teclado, um dispositivo apontador, como um mouse, ou semelhante. Exemplos de dispositivo de saída podem incluir,
mas não estão limitados a, por exemplo, um monitor ou expositor, alto-falantes ou semelhante. Dispositivo de entrada e/ou dispositivo de saída podem ser acoplados ao sistema de processamento de dados diretamente ou através de controladores E/S. Um adaptador de rede 1216 também pode ser acoplado a um sistema de processamento de dados para permitir que ele seja acoplado a outros sistemas, sistemas de computadores, dispositivos de rede remotos, e/ou dispositivos de armazenamento remotos, através de redes públicas ou privadas. O adaptador de rede pode compreender um receptor de dados que é transmitido pelos ditos sistemas, dispositivos e/ou rede para ditos dados e um transmissor de dados para transmitir dados para ditos sistemas, dispositivos e/ou redes. Modems, modems a cabo, e placas de Ethernet são exemplos de diferentes tipos de adaptadores de rede que podem ser usados com sistema de processamento de dados 1200.
[0123] Como representado na FIG. 12, elementos de memória 1204 podem armazenar uma aplicação 1218. Deve ser observado que sistema de processamento de dados 1200 pode executar adicionalmente um sistema operacional (não mostrado) que pode facilitar a execução do pedido. O pedido, que é implementado na forma de um código de programa executável, pode ser executado por um sistema de processamento de dados 1200, por exemplo, por processador 1202. Responsivo à execução do pedido, sistema de processamento de dados pode ser configurado para executar uma ou mais operações a serem descritas no presente documento em mais detalhes.
[0124] Em um aspecto, por exemplo, sistema de processamento de dados 1200 pode representar um cliente sistema de processamento de dados. Nesse caso, pedido 1218 pode representar um pedido cliente que, quando executado, configura sistema de processamento de dados 1200 para executar as várias funções descritas no presente documento com referência a um "cliente". Exemplos de um cliente pode incluir, mas não está limitado a um computador pessoal, um computador portátil, um telefone móvel, ou semelhante.
[0125] Em outro aspecto, sistema de processamento de dados pode representar um servidor. Por exemplo, sistema de processamento de dados pode representar um servidor (HTTP) nesse caso, o 1218, quando executado, pode configurar sistema de processamento de dados para executar (HTTP) operações do servidor. Em outro aspecto, sistema de processamento de dados pode representar um módulo, unidade ou função, conforme referido nesta especificação.
[0126] A terminologia usada no presente documento é com o objetivo de descrever modalidades particulares apenas e não se destina a limitar a invenção. Como usado no presente documento, as formas singulares "um," "uma," e "a" são destinadas a incluir as formas plurais também, a menos que o contexto indique claramente o contrário. Será entendido ainda que os termos "compreende" e/ou "compreendendo," quando usados nessa especificação, especificam a presença de recursos, números inteiros, etapas, operações, elementos, e/ou componentes, mas não impede a presença ou adição de um ou mais outros recursos, números inteiros, etapas, operações, elementos, componentes, e/ou grupos dos mesmos.
[0127] As estruturas correspondentes, materiais, atividade, e equivalentes de todos os meios ou elementos da etapa e função nas reivindicações abaixo, se destinam a incluir qualquer estrutura, material, ou atividade para executar a função em combinação com outros elementos reivindicados, conforme reivindicado especificamente. A descrição da presente invenção foi apresentada com objetivos de ilustração e descrição, mas não está destinado a ser exaustivo ou limitado à invenção na forma revelada. Muitas modificações e variações serão evidentes para os versados na técnica sem se afastar do escopo e espírito da invenção. A modalidade foi escolhida e descrita a fim de melhor explicar os princípios da invenção e a aplicação prática, e para permitir outros versados na técnica compreendam a invenção para várias modalidades com várias modificações como são adequadas ao uso particular contemplado.
Claims (15)
1. Método implantado por computador para processar dados 3D que representam uma estrutura dentomaxilofacial caracterizado por compreender: um computador que recebe dados de entrada 3D, preferencialmente dados de CT de feixe de cone 3D (CBCT), os dados de entrada 3D incluindo uma primeira representação de voxel da estrutura dentomaxilofacial, um voxel sendo associado a um valor de intensidade de radiação, em que os voxels da representação de voxel definem um volume de imagem; um algoritmo de pré-processamento com o uso dos dados de entrada 3D para determinar um ou mais recursos posicionais 3D da estrutura dentomaxilofacial, um recurso de posição 3D que define informações sobre posições de voxels da primeira representação de voxel em relação à posição de um plano de referência dental, por exemplo, um plano axial posicionado em relação a uma mandíbula, ou a posição de um objeto de referência dental, por exemplo, uma mandíbula, uma arcada dentária e/ou um ou mais dentes, no volume de imagem; em que o computador fornece a primeira representação de voxel e os um ou mais recursos posicionais 3D associados à primeira representação de voxel à entrada de uma primeira rede neural profunda 3D, preferencialmente uma rede neural profunda convolucional 3D, em que a primeira rede neural profunda é configurada para classificar voxels da primeira representação de voxel em pelo menos voxels de mandíbula, dentes e/ou nervo; a primeira rede neural é treinada com base em um conjunto de treinamento, em que o conjunto de treinamento inclui dados de imagem 3D de estruturas dentomaxilofaciais, um ou mais recursos posicionais 3D derivados dos dados de imagem 3D do conjunto de treinamento e, opcionalmente, um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento, os um ou mais modelos 3D usados como alvo durante o treinamento da primeira rede neural profunda, preferencialmente pelo menos parte dos um ou mais modelos 3D gerados digitalizando-se opticamente partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento; em que o computador recebe voxels classificados da primeira representação de voxel da saída da primeira rede neural profunda 3D e determina uma representação de voxel de pelo menos um dentre a mandíbula, dentes e/ou tecido nervoso da estrutura dentomaxilofacial com base nos voxels classificados.
2. Método, de acordo com a reivindicação 1, caracterizado por um algoritmo de pré-processamento que determina um ou mais recursos posicionais 3D incluir: determinar uma distância entre um voxel da representação de voxel e um plano de referência dental e/ou um objeto de referência dental, no volume de imagem; determinar valores de intensidade acumulada de voxels em um ou mais pontos de um plano de referência do volume de imagem, um valor de intensidade acumulada em um ponto no plano de referência que inclui os valores de intensidade acumulada de voxels em ou na proximidade do percurso normal através do ponto no plano de referência.
3. Método, de acordo com a reivindicação 2, caracterizado por o plano de referência dental incluir um plano axial no volume de imagem posicionado na distância predeterminada da mandíbula superior e/ou inferior da estrutura dentomaxilofacial; preferencialmente em uma distância aproximadamente igual a uma mandíbula superior e inferior da estrutura dentomaxilofacial; ou, em que o objeto de referência dental inclui uma curva de arcada dentária que se aproxima pelo menos de parte de uma arcada dentária, conforme representado pela estrutura dentomaxilofacial, em que preferencialmente a curva de arcada dentária é determinada em um plano axial do volume de imagem; e/ou, em que o objeto de referência dental inclui um ou mais dentes.
4. Método, de acordo com a reivindicação 1, caracterizado por o algoritmo de pré-processamento incluir uma segunda rede neural profunda 3D a segunda rede neural profunda é treinada para receber uma segunda representação de voxel em sua entrada, e, para determinar para cada voxel da segunda representação de voxel um recurso de posição 3D, preferencialmente o recurso de posição 3D incluindo uma medida que indica uma probabilidade de que um voxel representa a mandíbula, dentes e/ou tecido nervoso, em que a segunda representação de voxel é uma versão de baixa resolução da primeira representação de voxel, preferencialmente a resolução da segunda representação de voxel sendo pelo menos três vezes mais baixa do que a resolução da primeira apresentação de voxel, preferencialmente a segunda rede neural profunda 3D treinada com base nos dados de imagem 3D de estruturas dentomaxilofaciais e, opcionalmente, os um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento para treinar a primeira rede neural profunda.
5. Método, de acordo com a reivindicação 1, caracterizado por o fornecimento da primeira representação de voxel e dos um ou mais recursos posicionais 3D associados à primeira representação de voxel à entrada de uma primeira rede neural profunda 3D compreender adicionalmente: associar cada voxel da primeira representação de voxel a pelo menos informações definidas por um recurso de posição 3D; dividir a primeira representação de voxel em primeiros blocos de voxels; fornecer um primeiro bloco de voxels à entrada da primeira rede neural profunda em que cada voxel do primeiro bloco de voxels é associado a um valor de intensidade de radiação e pelo menos informações definidas por um recurso de posição 3D.
6. Método, de acordo com qualquer uma das reivindicações 1 a 5, caracterizado por a primeira rede neural profunda compreender uma pluralidade de primeiras camadas convolucionais 3D, em que a saída da pluralidade de primeiras camadas convolucionais 3D é conectada a pelo menos uma camada completamente conectada, em que a pluralidade de primeiras camadas convolucionais 3D é configurada para processar um primeiro bloco de voxels da primeira representação de voxel e em que a pelo menos uma camada completamente conectada é configurada para classificar voxels do primeiro bloco de voxels em pelo menos um dentre voxels de mandíbula, dentes e/ou nervo, preferencialmente cada voxel fornecido à entrada da primeira rede neural profunda que compreende um valor de intensidade de radiação e pelo menos um recurso de posição 3D.
7. Método, de acordo com a reivindicação 6, caracterizado por a primeira rede neural profunda compreender adicionalmente uma pluralidade de segundas camadas convolucionais 3D, a saída da pluralidade de segundas camadas convolucionais 3D é conectada à pelo menos uma camada completamente conectada, em que a pluralidade de segundas camadas convolucionais 3D é configurada para processar um segundo bloco de voxels da primeira representação de voxel, em que o primeiro e o segundo bloco de voxels têm o mesmo ou substancialmente o mesmo ponto central no volume de imagem e o segundo bloco de voxels representa um volume em dimensões do mundo real que é maior do que o volume em dimensões do mundo real do primeiro bloco de voxels, em que a pluralidade de segundas camadas convolucionais 3D é configurada para determinar informações contextuais associadas a voxels do primeiro bloco de voxels que é fornecida à entrada da pluralidade de primeiras camadas convolucionais 3D.
8. Método, de acordo com as reivindicações 6 ou 7, caracterizado por a primeira rede neural profunda compreender adicionalmente uma pluralidade de terceiras camadas convolucionais 3D, a saída da pluralidade de terceiras camadas convolucionais 3D conectada à pelo menos uma camada completamente conectada, em que a pluralidade de terceiras camadas convolucionais 3D é configurada para processar um ou mais recursos posicionais 3D associados a voxels de pelo menos o primeiro bloco de voxels que é fornecido à entrada da pluralidade de primeiras camadas convolucionais 3D.
9. Método, de acordo com qualquer uma das reivindicações 1 a 8, caracterizado por compreender adicionalmente: uma terceira rede neural profunda para pós-processamento dos voxels classificou a primeira rede neural profunda, a terceira rede neural profunda treinada para receber voxels que são classificados pela primeira rede neural profunda em sua entrada e para corrigir voxels que são incorretamente classificados pela primeira rede neural profunda, em que preferencialmente a terceira rede neural é treinada com base em voxels que são classificados durante o treinamento da primeira rede neural profunda as entrada e, opcionalmente, com base nos um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento como um alvo.
10. Método implantado por computador para treinar um sistema de rede neural profunda para processar dados de imagem 3D de uma estrutura dentomaxilofacial caracterizado por compreender: um computador que recebe dados de treinamento, os dados de treinamento incluindo: dados de entrada 3D, preferencialmente dados de imagem de CT de feixe de cone 3D (CBCT), em que os dados de entrada 3D definem uma ou mais representações de voxel de uma ou mais estruturas dentomaxilofaciais, respectivamente, em que um voxel é associado a um valor de intensidade de radiação, em que os voxels de uma representação de voxel definem um volume de imagem; opcionalmente, os dados de treinamento incluindo adicionalmente: modelos 3D de partes das estruturas dentomaxilofaciais representadas pelos dados de entrada 3D dos dados de treinamento; o computador com o uso de a algoritmo de pré-processamento para pré- processar as uma ou mais representações de voxel das uma ou mais estruturas dentomaxilofaciais respectivamente para determinar um ou mais recursos posicionais 3D para voxels nas uma ou mais representações de voxel, um recurso de posição 3D que define informações sobre uma posição de pelo menos um voxel de uma representação de voxel de estruturas dentomaxilofaciais em relação à posição de um plano de referência dental (por exemplo, um plano axial posicionado em relação a uma mandíbula) ou a posição de um objeto de referência dental (por exemplo, uma mandíbula, uma arcada dentária e/ou um ou mais dentes) no volume de imagem; e, com o uso dos dados de treinamento e dos um ou mais recursos posicionais 3D para treinar a primeira rede neural profunda para classificar voxels em voxels de mandíbula, dentes e/ou nervo.
11. Método, de acordo com a reivindicação 10, caracterizado por compreender adicionalmente: com o uso de voxels que são classificados durante o treinamento da primeira rede neural profunda e dos um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento para treinar uma terceira rede neural para pós-processar voxels classificados pela primeira rede neural profunda, em que o pós-processamento pela terceira rede neural inclui corrigir voxels que são incorretamente classificados pela primeira rede neural profunda.
12. Sistema de computador adaptado para processar dados de imagem 3D de uma estrutura dentomaxilofacial caracterizada por compreender: um meio de armazenamento legível por computador que tem código de programa legível por computador incorporado ao mesmo, em que o código de programa legível por computador inclui um algoritmo de pré-processamento e uma primeira rede neural profunda; e um processador, preferencialmente um microprocessador, acoplado ao meio de armazenamento legível por computador, em que é responsivo à execução do código de programa legível por computador, o processador é configurado para realizar operações executáveis que compreendem: receber dados de entrada 3D, preferencialmente dados de CT de feixe de cone 3D (CBCT), os dados de entrada 3D incluindo uma primeira representação de voxel da estrutura dentomaxilofacial, um voxel sendo associado a um valor de intensidade de radiação, em que os voxels da representação de voxel definem um volume de imagem; um algoritmo de pré-processamento com o uso dos dados de entrada 3D para determinar um ou mais recursos posicionais 3D da estrutura dentomaxilofacial, um recurso de posição 3D que define informações sobre posições de voxels da primeira representação de voxel em relação à posição de um plano de referência dental, por exemplo, um plano axial posicionado em relação a uma mandíbula, ou a posição de um objeto de referência dental, por exemplo, uma mandíbula, uma arcada dentária e/ou um ou mais dentes, no volume de imagem; fornecer a primeira representação de voxel e os um ou mais recursos posicionais 3D associados à primeira representação de voxel à entrada de uma primeira rede neural profunda 3D, preferencialmente uma rede neural profunda convolucional 3D, em que a primeira rede neural profunda é configurada para classificar voxels da primeira representação de voxel em pelo menos voxels de mandíbula, dentes e/ou nervo; a primeira rede neural é treinada com base em um conjunto de treinamento, em que o conjunto de treinamento inclui dados de imagem 3D de estruturas dentomaxilofaciais, um ou mais recursos posicionais 3D derivados dos dados de imagem 3D do conjunto de treinamento e, opcionalmente, um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento, os um ou mais modelos 3D usados como alvo durante o treinamento da primeira rede neural profunda, preferencialmente pelo menos parte dos um ou mais modelos 3D gerados digitalizando-se opticamente partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento; receber voxels classificados da primeira representação de voxel da saída da primeira rede neural profunda 3D e determina uma representação de voxel de pelo menos um dentre a mandíbula, dentes e/ou tecido nervoso da estrutura dentomaxilofacial com base nos voxels classificados.
13. Sistema de computador, de acordo com a reivindicação 12, caracterizado por o algoritmo de pré-processamento incluir uma segunda rede neural profunda 3D a segunda rede neural profunda é treinada para receber uma segunda representação de voxel em sua entrada, e, para determinar para cada voxel da segunda representação de voxel um recurso de posição 3D, preferencialmente o recurso de posição 3D incluindo uma medida que indica uma probabilidade de que um voxel representa a mandíbula, dentes e/ou tecido nervoso, em que a segunda representação de voxel é uma versão de baixa resolução da primeira representação de voxel, preferencialmente a resolução da segunda representação de voxel sendo pelo menos três vezes mais baixa do que a resolução da primeira apresentação de voxel, preferencialmente a segunda rede neural profunda 3D treinada com base nos dados de imagem 3D de estruturas dentomaxilofaciais e, opcionalmente, os um ou mais modelos 3D de partes das estruturas dentomaxilofaciais dos dados de imagem 3D do conjunto de treinamento para treinar a primeira rede neural profunda.
14. Sistema de computador, de acordo com a reivindicação 13, caracterizado por a primeira rede neural profunda compreender: uma pluralidade de primeiras camadas convolucionais 3D, em que a saída da pluralidade de primeiras camadas convolucionais 3D é conectada a pelo menos uma camada completamente conectada, em que a pluralidade de primeiras camadas convolucionais 3D é configurada para processar um primeiro bloco de voxels da primeira representação de voxel e em que a pelo menos uma camada completamente conectada é configurada para classificar voxels do primeiro bloco de voxels em pelo menos um dentre voxels de mandíbula, dentes e/ou nervo, preferencialmente cada voxel fornecido à entrada da primeira rede neural profunda que compreende um valor de intensidade de radiação e pelo menos um recurso de posição 3D; e, opcionalmente, a primeira rede neural profunda compreende adicionalmente: uma pluralidade de segundas camadas convolucionais 3D, a saída da pluralidade de segundas camadas convolucionais 3D é conectada à pelo menos uma camada completamente conectada, em que a pluralidade de segundas camadas convolucionais 3D é configurada para processar um segundo bloco de voxels da primeira representação de voxel, em que o primeiro e o segundo bloco de voxels têm o mesmo ou substancialmente o mesmo ponto central no volume de imagem e o segundo bloco de voxels representa um volume em dimensões do mundo real que é maior do que o volume em dimensões do mundo real do primeiro bloco de voxels, em que a pluralidade de segundas camadas convolucionais 3D é configurada para determinar informações contextuais associadas a voxels do primeiro bloco de voxels que é fornecida à entrada da pluralidade de primeiras camadas convolucionais 3D.
15. Produto de programa de computador caracterizado por compreender porções de código de software configuradas para, quando executadas na memória de um computador, executar as etapas de método, de acordo com qualquer uma das reivindicações 1 a 11.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17179185 | 2017-06-30 | ||
| EP17179185.8 | 2017-06-30 | ||
| PCT/EP2018/067850 WO2019002631A1 (en) | 2017-06-30 | 2018-07-02 | 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112019028132A2 true BR112019028132A2 (pt) | 2020-07-28 |
Family
ID=59296711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112019028132-0A BR112019028132A2 (pt) | 2017-06-30 | 2018-07-02 | sistema de computador adaptado para processar dados de imagem 3d e seu método, produto de programa de computador |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US11379975B2 (pt) |
| EP (1) | EP3449421B1 (pt) |
| JP (2) | JP2020525258A (pt) |
| KR (1) | KR102581685B1 (pt) |
| CN (1) | CN110998602B (pt) |
| BR (1) | BR112019028132A2 (pt) |
| CA (1) | CA3068526A1 (pt) |
| ES (1) | ES2807263T3 (pt) |
| IL (1) | IL271743B1 (pt) |
| WO (1) | WO2019002631A1 (pt) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
| CN110998602B (zh) | 2017-06-30 | 2023-12-01 | 普罗马顿控股有限责任公司 | 使用深度学习方法对3d牙颌面结构的分类和3d建模 |
| EP3462373A1 (en) | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| US11403813B2 (en) | 2019-11-26 | 2022-08-02 | Sdc U.S. Smilepay Spv | Systems and methods for constructing a three-dimensional model from two-dimensional images |
| US10916053B1 (en) * | 2019-11-26 | 2021-02-09 | Sdc U.S. Smilepay Spv | Systems and methods for constructing a three-dimensional model from two-dimensional images |
| US11270523B2 (en) | 2017-11-29 | 2022-03-08 | Sdc U.S. Smilepay Spv | Systems and methods for constructing a three-dimensional model from two-dimensional images |
| EP3503038A1 (en) | 2017-12-22 | 2019-06-26 | Promaton Holding B.V. | Automated 3d root shape prediction using deep learning methods |
| WO2019134987A1 (en) * | 2018-01-05 | 2019-07-11 | Deepmind Technologies Limited | Parallel video processing systems |
| EP3561778A1 (en) | 2018-04-26 | 2019-10-30 | Promaton Holding B.V. | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques |
| WO2019211741A1 (en) | 2018-05-02 | 2019-11-07 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
| ES2919428T3 (es) * | 2018-11-08 | 2022-07-26 | Holo Surgical Inc | Segmentación autónoma de estructuras tridimensionales del sistema nervioso a partir de imágenes médicas |
| US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
| KR102215068B1 (ko) * | 2019-02-18 | 2021-02-10 | 부산대학교 산학협력단 | 임플란트 진단용 영상 정합을 위한 장치 및 방법 |
| CN109949223B (zh) * | 2019-02-25 | 2023-06-20 | 天津大学 | 基于反卷积稠密连接的图像超分辨率重构方法 |
| CN109766877B (zh) * | 2019-03-12 | 2022-05-27 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的全景片人工牙体识别的方法和装置 |
| US11961235B2 (en) * | 2019-03-25 | 2024-04-16 | Bonewise Inc. | Apparatus, method and recording medium storing instructions for determining bone age of teeth |
| US11030801B2 (en) | 2019-05-17 | 2021-06-08 | Standard Cyborg, Inc. | Three-dimensional modeling toolkit |
| KR102236973B1 (ko) * | 2019-05-22 | 2021-04-07 | 주식회사 디오 | 신경 검출 방법 및 장치 |
| KR102205427B1 (ko) * | 2019-06-26 | 2021-01-20 | 주식회사 디오 | 신경 위치 보정 방법 및 장치 |
| US20220240852A1 (en) * | 2019-05-22 | 2022-08-04 | Dio Corporation | Nerve detection method and device |
| JP6612487B1 (ja) * | 2019-05-31 | 2019-11-27 | 楽天株式会社 | 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム |
| CN110211140B (zh) * | 2019-06-14 | 2023-04-07 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
| KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
| EP3968277A1 (en) * | 2019-10-07 | 2022-03-16 | Nihon University | Segmentation device |
| JP7152455B2 (ja) * | 2019-10-07 | 2022-10-12 | 株式会社モリタ製作所 | セグメンテーション装置および学習モデルの生成方法 |
| EP3828828A1 (en) | 2019-11-28 | 2021-06-02 | Robovision | Improved physical object handling based on deep learning |
| US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
| US11704804B2 (en) * | 2020-04-02 | 2023-07-18 | GE Precision Healthcare LLC | Domain adaptation using post-processing model correction |
| CN111583220B (zh) * | 2020-04-30 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 影像数据检测方法和装置 |
| CN111784754B (zh) * | 2020-07-06 | 2024-01-12 | 浙江得图网络有限公司 | 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质 |
| EP3958209A1 (en) * | 2020-08-19 | 2022-02-23 | Volkswagen Ag | Computer-implemented methods, computing devices and computer programs for processing volumetric scanning data and analyzing a performance of structural elements |
| WO2022125433A1 (en) * | 2020-12-07 | 2022-06-16 | SmileDirectClub LLC | Systems and methods for constructing a three-dimensional model from two-dimensional images |
| EP4060612A1 (en) | 2021-03-17 | 2022-09-21 | Robovision | Improved orientation detection based on deep learning |
| EP4060608A1 (en) | 2021-03-17 | 2022-09-21 | Robovision | Improved vision-based measuring |
| CN112967219B (zh) * | 2021-03-17 | 2023-12-05 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及系统 |
| US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
| CN113538606B (zh) * | 2021-08-17 | 2022-07-22 | 数坤(北京)网络科技股份有限公司 | 图像关联方法、装置、计算机可读存储介质及电子设备 |
| IT202200001826A1 (it) * | 2022-02-02 | 2023-08-02 | Exalens S R L | Metodo per l'analisi delle radiografie orali e relativo sistema di analisi |
| CN114549523A (zh) * | 2022-04-25 | 2022-05-27 | 南京邮电大学 | 基于单步深度网络的曲面体层图正中多生牙自动检测方法 |
| KR20230152854A (ko) * | 2022-04-27 | 2023-11-06 | 주식회사 에이치디엑스윌 | 콘빔ct 및 3차원 스캔의 동시 촬영을 통한 데이터 정합 장치 및 방법 |
| KR20230161068A (ko) * | 2022-05-18 | 2023-11-27 | 서울대학교산학협력단 | 복셀 기반 방사선 선량 평가 방법 및 장치 |
| CN114757960B (zh) * | 2022-06-15 | 2022-09-09 | 汉斯夫(杭州)医学科技有限公司 | 一种基于cbct图像的牙齿分割与重建方法及存储介质 |
| CN115035001B (zh) * | 2022-08-11 | 2022-12-09 | 北京唯迈医疗设备有限公司 | 基于dsa成像设备的术中导航系统、计算装置和程序产品 |
| EP4365855A1 (en) * | 2022-11-02 | 2024-05-08 | Trophy Sas | Method, system, and computer program for generating 3d models of dentures in occlusion conditions |
| CN116883246B (zh) * | 2023-09-06 | 2023-11-14 | 感跃医疗科技(成都)有限公司 | 一种用于cbct图像的超分辨率方法 |
Family Cites Families (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6721387B1 (en) | 2001-06-13 | 2004-04-13 | Analogic Corporation | Method of and system for reducing metal artifacts in images generated by x-ray scanning devices |
| EP1714255B1 (en) | 2004-02-05 | 2016-10-05 | Koninklijke Philips N.V. | Image-wide artifacts reduction caused by high attenuating objects in ct deploying voxel tissue class |
| US9492245B2 (en) | 2004-02-27 | 2016-11-15 | Align Technology, Inc. | Method and system for providing dynamic orthodontic assessment and treatment profiles |
| US7711406B2 (en) | 2005-11-23 | 2010-05-04 | General Electric Company | System and method for detection of electromagnetic radiation by amorphous silicon x-ray detector for metal detection in x-ray imaging |
| US7844429B2 (en) | 2006-07-19 | 2010-11-30 | Align Technology, Inc. | System and method for three-dimensional complete tooth modeling |
| US9111372B2 (en) * | 2006-08-11 | 2015-08-18 | Visionary Technologies, Inc. | System and method for object identification and anomaly detection |
| EP2188776B1 (en) | 2007-08-31 | 2011-05-25 | Koninklijke Philips Electronics N.V. | Uncertainty maps for segmentation in the presence of metal artifacts |
| US8439672B2 (en) | 2008-01-29 | 2013-05-14 | Align Technology, Inc. | Method and system for optimizing dental aligner geometry |
| US8108189B2 (en) | 2008-03-25 | 2012-01-31 | Align Technologies, Inc. | Reconstruction of non-visible part of tooth |
| ES2536523T3 (es) * | 2009-09-04 | 2015-05-26 | Medicim Nv | Procedimiento para digitalizar objetos dento-maxilofaciales |
| US8503750B2 (en) | 2009-10-06 | 2013-08-06 | General Electric Company | Method and apparatus for reduction of metal artifacts in CT images |
| EP2560572B1 (en) * | 2010-04-20 | 2019-06-12 | Dental Imaging Technologies Corporation | Reduction and removal of artifacts from a three-dimensional dental x-ray data set using surface scan information |
| JP5926728B2 (ja) * | 2010-07-26 | 2016-05-25 | ケイジャヤ、エルエルシー | 内科医が直接用いるのに適応したビジュアライゼーション |
| DE102012206714A1 (de) | 2011-08-10 | 2013-02-14 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren, Recheneinheit, CT-System und C-Bogen-System zur Reduktion von Metallartefakten in CT-Bilddatensätzen |
| US9135498B2 (en) | 2012-12-14 | 2015-09-15 | Ormco Corporation | Integration of intra-oral imagery and volumetric imagery |
| US20140227655A1 (en) * | 2013-02-12 | 2014-08-14 | Ormco Corporation | Integration of model data, surface data, and volumetric data |
| US10368719B2 (en) * | 2013-03-14 | 2019-08-06 | Ormco Corporation | Registering shape data extracted from intra-oral imagery to digital reconstruction of teeth for determining position and orientation of roots |
| US9269168B2 (en) * | 2013-03-15 | 2016-02-23 | Carestream Health, Inc. | Volume image reconstruction using data from multiple energy spectra |
| US9349198B2 (en) | 2013-07-26 | 2016-05-24 | General Electric Company | Robust artifact reduction in image reconstruction |
| US10456229B2 (en) | 2014-05-09 | 2019-10-29 | 3Shape A/S | Scanning of edentulous patients |
| DE102014007095A1 (de) | 2014-05-14 | 2015-11-19 | Universität Zu Lübeck | Verfahren und Vorrichtung zur Reduktion von Artefakten in computertomographischen Bildern |
| US9934597B2 (en) | 2014-09-11 | 2018-04-03 | Carestream Health, Inc. | Metal artifacts reduction in cone beam reconstruction |
| US9655580B2 (en) | 2014-10-24 | 2017-05-23 | General Electric Company | Systems and methods for metal artifact reduction |
| US9498179B1 (en) | 2015-05-07 | 2016-11-22 | General Electric Company | Methods and systems for metal artifact reduction in spectral CT imaging |
| EP3295374B8 (en) * | 2015-05-11 | 2023-10-18 | Siemens Healthcare GmbH | Method and system for landmark detection in medical images using deep neural networks |
| US10013779B2 (en) | 2015-06-22 | 2018-07-03 | Toshiba Medical Systems Corporation | Metal artifact reduction for 3D-digtial subtraction angiography |
| US10235606B2 (en) | 2015-07-22 | 2019-03-19 | Siemens Healthcare Gmbh | Method and system for convolutional neural network regression based 2D/3D image registration |
| EP3582151A1 (en) * | 2015-08-15 | 2019-12-18 | Salesforce.com, Inc. | Three-dimensional (3d) convolution with 3d batch normalization |
| US10032271B2 (en) | 2015-12-10 | 2018-07-24 | 3M Innovative Properties Company | Method for automatic tooth type recognition from 3D scans |
| DE102016204226A1 (de) | 2016-03-15 | 2017-09-21 | Siemens Healthcare Gmbh | Vorrichtung und Verfahren zum Abgrenzen eines Metallobjekts für eine Artefaktreduktion in Tomographiebildern |
| JP6780948B2 (ja) | 2016-03-28 | 2020-11-04 | キヤノンメディカルシステムズ株式会社 | Ｘ線ｃｔ装置 |
| AU2017281290B2 (en) * | 2016-06-21 | 2022-03-17 | Nobel Biocare Services Ag | Method for estimating at least one of shape, position and orientation of a dental restoration |
| US11291532B2 (en) | 2016-07-27 | 2022-04-05 | James R. Glidewell Dental Ceramics, Inc. | Dental CAD automation using deep learning |
| EP4360589A2 (en) * | 2016-08-22 | 2024-05-01 | Kolibree SAS | Oral hygiene system for compliance monitoring |
| US20200022790A1 (en) | 2016-10-10 | 2020-01-23 | 3Shape A/S | Common Placement Support for Artificial Teeth |
| US10660728B2 (en) | 2016-10-20 | 2020-05-26 | Baliram Maraj | Systems and methods for dental treatment utilizing mixed reality and deep learning |
| CN106618760B (zh) | 2016-12-07 | 2019-11-08 | 上海牙典医疗器械有限公司 | 一种设计正畸矫治方案的方法 |
| CN108205806B (zh) | 2016-12-20 | 2020-10-09 | 北京大学 | 一种锥束ct图像三维颅面结构的自动解析方法 |
| ES2915563T3 (es) | 2016-12-30 | 2022-06-23 | Carestream Dental Tech Topco Ltd | Reconstrucción de un volumen virtual de tomografía computarizada para seguir la evolución del tratamiento de ortodoncia |
| EP4241725A3 (en) | 2017-03-20 | 2023-11-01 | Align Technology, Inc. | Generating a virtual depiction of an orthodontic treatment of a patient |
| CN110998602B (zh) | 2017-06-30 | 2023-12-01 | 普罗马顿控股有限责任公司 | 使用深度学习方法对3d牙颌面结构的分类和3d建模 |
| FR3069359B1 (fr) | 2017-07-21 | 2019-08-23 | Dental Monitoring | Procede d'analyse d'une image d'une arcade dentaire |
| FR3069355B1 (fr) | 2017-07-21 | 2023-02-10 | Dental Monitoring | Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire |
| EP3462373A1 (en) | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
| US10997727B2 (en) | 2017-11-07 | 2021-05-04 | Align Technology, Inc. | Deep learning for tooth detection and evaluation |
| US11120551B2 (en) | 2017-11-27 | 2021-09-14 | Rensselaer Polytechnic Institute | Training a CNN with pseudo ground truth for CT artifact reduction |
| EP3503038A1 (en) | 2017-12-22 | 2019-06-26 | Promaton Holding B.V. | Automated 3d root shape prediction using deep learning methods |
| CN108305684A (zh) | 2018-02-28 | 2018-07-20 | 成都贝施美医疗科技股份有限公司 | 正畸治疗模拟方法、装置及终端设备 |
| EP3561778A1 (en) | 2018-04-26 | 2019-10-30 | Promaton Holding B.V. | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques |
| CN110473283B (zh) | 2018-05-09 | 2024-01-23 | 无锡时代天使医疗器械科技有限公司 | 牙齿三维数字模型的局部坐标系设定方法 |
| EP3591616A1 (en) | 2018-07-03 | 2020-01-08 | Promaton Holding B.V. | Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning |
| EP3620130A1 (en) | 2018-09-04 | 2020-03-11 | Promaton Holding B.V. | Automated orthodontic treatment planning using deep learning |
| EP3671531A1 (en) | 2018-12-17 | 2020-06-24 | Promaton Holding B.V. | Semantic segmentation of non-euclidean 3d data sets using deep learning |
| EP3767521A1 (en) | 2019-07-15 | 2021-01-20 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
| US10932890B1 (en) | 2019-11-14 | 2021-03-02 | Pearl Inc. | Enhanced techniques for determination of dental margins in intraoral scans |
-
2018
- 2018-07-02 CN CN201880052277.5A patent/CN110998602B/zh active Active
- 2018-07-02 US US16/627,173 patent/US11379975B2/en active Active
- 2018-07-02 JP JP2020522411A patent/JP2020525258A/ja active Pending
- 2018-07-02 EP EP18733658.1A patent/EP3449421B1/en active Active
- 2018-07-02 IL IL271743A patent/IL271743B1/en unknown
- 2018-07-02 WO PCT/EP2018/067850 patent/WO2019002631A1/en unknown
- 2018-07-02 BR BR112019028132-0A patent/BR112019028132A2/pt unknown
- 2018-07-02 KR KR1020207002868A patent/KR102581685B1/ko active IP Right Grant
- 2018-07-02 ES ES18733658T patent/ES2807263T3/es active Active
- 2018-07-02 CA CA3068526A patent/CA3068526A1/en active Pending
-
2024
- 2024-01-19 JP JP2024006813A patent/JP2024056701A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN110998602B (zh) | 2023-12-01 |
| JP2020525258A (ja) | 2020-08-27 |
| CA3068526A1 (en) | 2019-01-03 |
| IL271743A (en) | 2020-02-27 |
| WO2019002631A1 (en) | 2019-01-03 |
| KR102581685B1 (ko) | 2023-09-25 |
| US20210150702A1 (en) | 2021-05-20 |
| EP3449421A1 (en) | 2019-03-06 |
| KR20200035265A (ko) | 2020-04-02 |
| IL271743B1 (en) | 2024-04-01 |
| US11379975B2 (en) | 2022-07-05 |
| JP2024056701A (ja) | 2024-04-23 |
| EP3449421B1 (en) | 2020-04-29 |
| CN110998602A (zh) | 2020-04-10 |
| ES2807263T3 (es) | 2021-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112019028132A2 (pt) | sistema de computador adaptado para processar dados de imagem 3d e seu método, produto de programa de computador | |
| JP7412334B2 (ja) | 深層学習法を使用する３ｄ歯データの自動分類および分類法 | |
| CN107798682B (zh) | 图像分割系统、方法、装置和计算机可读存储介质 | |
| AU2019449137B2 (en) | sCT image generation using cyclegan with deformable layers | |
| US20210174543A1 (en) | Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning | |
| BR112020012292A2 (pt) | previsão automatizada de formato de raiz 3d com o uso de métodos de aprendizado profundo | |
| EP3410393A1 (en) | Comparing medical images | |
| EP2715663B1 (en) | Apparatus for generating assignments between image regions of an image and element classes | |
| CN112313715A (zh) | 使用深度学习技术自动校正x射线数据的受金属影响的体素表示 | |
| US20220092787A1 (en) | Systems and methods for processing x-ray images | |
| KR102477991B1 (ko) | 의료 영상 처리 방법 및 장치 | |
| JP2019536538A (ja) | スペクトルｃｔにおける骨及びハードプラークのセグメンテーション |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06W | Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette] | ||
| B15K | Others concerning applications: alteration of classification |
Free format text: A CLASSIFICACAO ANTERIOR ERA: G06K 9/46 Ipc: G06V 10/44 (2022.01), G06T 17/10 (2006.01), G06T 7 |