BR112019014229A2

BR112019014229A2 - Método, programa de computador, estrutura de dados, meio legível por computador não transitório, e, sistema de computador

Info

Publication number: BR112019014229A2
Application number: BR112019014229-0A
Authority: BR
Inventors: Mathew VACHAPARAMPIL; Madasamy PANEERSELVAM; Sangeeth ATHIANNAN; Mohamed Abbas ALI; Johnson JEBADAS
Original assignee: Caresoft Global Holdings Limited
Priority date: 2017-01-09
Filing date: 2018-01-09
Publication date: 2020-03-17
Also published as: GB2558605B8; KR102473298B1; GB2558605A8; JP7078642B2; WO2018127715A1; US11475627B2; GB2558605A; US20210142556A1; EA201991678A1; KR20190104581A; CN110268441B; CN110268441A; GB2558605B; EP3566205B1; JP2020504412A; GB201700352D0; CA3049625A1; EP3566205A1

Abstract

resumo método, programa de computador, estrutura de dados, meio legível por computador não transitório, e, sistema de computador obtenção de dados de modelo 3d de uma pluralidade de componentes de um objeto. o presente pedido refere-se, entre outros, a um método compreendendo: obter dados de raios x (x2) para um objeto de componentes múltiplos; processar os dados de raios x(x2) para obter, pelo menos, primeira e segunda representações 3d (x3-h, x3-m) do objeto com respectivas primeira (h) e segunda (m) resoluções, a primeira resolução (h) sendo maior do que a segunda resolução (m); identificar uma pluralidade de regiões (x311, x312, ?) da segunda representação 3d (x3-m), cada região (x311, x312, ?) correspondendo a uma de uma pluralidade de componentes do objeto, pelo menos por: - identificar uma pluralidade de regiões iniciais da segunda representação 3d (x3-m), cada região inicial tendo valores de pixel em uma de uma pluralidade de faixas (ti) de valores de pixel; e - seletivamente ajustar cada da pluralidade de regiões iniciais com base em uma comparação entre a região inicial e uma ou mais características (di) derivadas de uma ou mais seções 2d de pelo menos parte do objeto obtido a partir da primeira representação 3d (x3-h); e obter, para cada da pluralidade de componentes, um modelo 3d (m211, m212, ?) do componente com base em uma região correspondente (x311, x312, ?) e/ou com base em uma ou mais características (di) derivadas de uma ou mais seções 2d de pelo menos parte do objeto obtido a partir da primeira representação 3d (x3-h).

Description

“MÉTODO, PROGRAMA DE COMPUTADOR, ESTRUTURA DE DADOS, MEIO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO, E, SISTEMA DE COMPUTADOR”

CAMPO [001] O presente pedido refere-se, entre outros, a métodos e sistemas para obter dados de modelo tridimensional (3D) de uma pluralidade de componentes de um objeto como um veículo motorizado.

FUNDAMENTOS [002] Existe um interesse considerável na avaliação (competitiva) / análise do desempenho de objetos complexos, como veículos motorizados, que podem incluir, por exemplo, mais de 10.000 componentes.

[003] Tais objetos podem ser fisicamente desmontados, mas isso geralmente é destrutivo, requer trabalho manual significativo, e o processo de desmontagem perde informações sobre, por exemplo, o arranjo 3D dos componentes.

[004] Os sistemas de tomografia computorizada por raios X (CT) são comumente usados para analisar componentes individuais ou números relativamente pequenos dos mesmos, por exemplo, para detectar fissuras, etc. No entanto, o uso de tais sistemas para efetivamente analisar objetos complexos completos, como veículos motorizados, tem sido evitado, pelo menos em parte, por dificuldades significativas com processamento dos dados envolvido.

SUMÁRIO [005] De acordo com um primeiro aspecto da presente invenção, é previsto um método compreendendo:

obter dados de raios X para um objeto de componentes múltiplos;

processar os dados de raios X para obter, pelo menos, primeira e segunda representações 3D (com base em pixels) do objeto com respectivas primeira e segunda resoluções, a primeira resolução (por exemplo, “alta”) sendo maior do que a segunda resolução (por exemplo, “média”);

identificar uma pluralidade de regiões da segunda representação 3D, cada região correspondendo a uma de uma pluralidade de componentes do objeto, por pelo

Petição 870190068648, de 19/07/2019, pág. 4/39

2/19 menos,

- identificar uma pluralidade de regiões iniciais da segunda representação 3D (resolução média), cada região inicial tendo valores de pixel em uma de uma pluralidade de faixas de valores de pixel (ou equivalente); e

- seletivamente ajustar cada da pluralidade de regiões iniciais com base em uma comparação entre a região inicial e uma ou mais características (por exemplo, bordas) derivadas de uma ou mais seções 2D de pelo menos parte do objeto obtido a partir da primeira representação 3D (resolução alta); e obter, para cada uma da pluralidade de componentes, um modelo 3D (por exemplo, um modelo CAD) do componente com base em uma região correspondente e/ou com base em uma ou mais características (por exemplo, dimensões) derivadas de uma ou mais seções 2D de pelo menos parte do objeto obtido a partir da primeira representação 3D (resolução alta).

[006] Assim, o método pode fornecer um modo eficaz e eficiente para avaliar produtos complexos, tais como veículos motorizados.

[007] O método pode compreender adicionalmente:

montar os modelos 3D da pluralidade de componentes para obter um modelo 3D resolvido nos componentes do objeto.

[008] O método pode compreender:

dividir a primeira e segunda representações 3D em uma pluralidade de regiões de trabalho (por exemplo, correspondendo às submontagens do objeto); e identificar a pluralidade de regiões em cada uma da pluralidade de regiões de trabalho.

[009] O método pode compreender:

dividir a primeira e segunda representações 3D com base em uma terceira representação 3D do objeto com a terceira resolução (por exemplo, “baixa”) menor do que a segunda resolução.

[0010] O processamento dos dados de raios X pode compreender aumentar gradualmente a resolução e em que a primeira representação (resolução alta) é obtida em uma etapa posterior à segunda representação (resolução média), etc.

Petição 870190068648, de 19/07/2019, pág. 5/39

3/19 [0011] A identificação de cada da pluralidade de regiões iniciais pode compreender determinar uma faixa de valores de pixel relacionados com um material particular no objeto (por exemplo, um aço particular, etc.).

[0012] O método pode compreender:

determinar um plano para cada de uma ou mais seções 2D;

determinar cada de uma ou mais seções 2D; e derivar uma ou mais características de cada de uma ou mais seções 2D.

[0013] Pelo menos um plano pode corresponder a um plano do meio de uma submontagem do objeto.

[0014] A derivação de uma ou mais características de cada de uma ou mais seções 2D pode compreender derivar os gráficos vetoriais da seção 2D.

[0015] A uma ou mais características pode compreender:

bordas e/ou áreas de componentes em uma seção 2D; e/ou dimensões de componentes em uma seção 2D.

[0016] O ajuste seletivo de cada da pluralidade de regiões iniciais pode compreender determinar se a região inicial compreende dois ou mais componentes. Determinar se a região inicial compreende dois ou mais componentes pode compreender determinar se a região inicial cruza quaisquer bordas e/ou ocupa qualquer uma de duas ou mais áreas.

[0017] O ajuste seletivo de cada da pluralidade de regiões iniciais pode compreender seletivamente dividir a região inicial em duas ou mais regiões intermediárias ou regiões. A divisão pode ser com base em bordas e/ou áreas.

[0018] A obtenção do modelo 3D de cada da pluralidade de componentes pode compreender:

determinar se o componente corresponde a um componente de um primeiro tipo; e responsivo a uma determinação positiva, obter o modelo 3D do componente com base em:

- um modelo 3D predeterminado para o componente do primeiro tipo; e

- uma ou mais dimensões do componente obtido a partir de uma ou mais

Petição 870190068648, de 19/07/2019, pág. 6/39

4/19 seções 2D.

[0019] A obtenção do modelo 3D de cada um da pluralidade de componentes pode compreender:

converter a primeira representação 3D em um modelo 3D intermediário (por exemplo, um modelo STL), em que o modelo 3D intermediário corresponde a um modelo de malha.

[0020] A obtenção do modelo 3D de cada um da pluralidade de componentes pode compreender:

determinar se o componente corresponde a um componente de um segundo tipo; e responsivo a uma determinação positiva, converter o modelo 3D intermediário (modelo STL) em um modelo 3D (modelo CAD) do componente.

[0021] Os dados de raios X podem ser obtidos usando pelo menos raios X com uma energia de cerca de 9 MeV. A pluralidade de componentes no objeto pode corresponder a pelo menos 10.000 componentes.

[0022] De acordo com um aspecto adicional da presente invenção, é fornecido um programa de computador para realizar o método.

[0023] De acordo com um aspecto adicional da presente invenção, é fornecida uma estrutura de dados compreendendo um modelo 3D resolvido em componentes de um objeto obtido por realização do método.

[0024] De acordo com um aspecto adicional da presente invenção, é fornecido um meio legível por computador não transitório compreendendo o programa de computador e/ou a estrutura de dados.

[0025] De acordo com um aspecto adicional da presente invenção, é fornecido um sistema de computador configurado para realizar o método. O sistema de computador pode compreender pelo menos um processor e pelo menos uma memória compreendendo código de programa de computador, a pelo menos uma memória e o código de programa de computador configurados par, com o pelo menos um processor, levar o sistema de computador a realizar o método. Pode ser previsto um sistema compreendendo: aparelho configurado para fornecer dados de raios X; e o

Petição 870190068648, de 19/07/2019, pág. 7/39

5/19 sistema de computador configurado para obter os dados de raios X.

Breve Descrição dos Desenhos [0026] Algumas modalidades da presente invenção serão agora descritas, a título de exemplo, com referência aos desenhos em anexo, em que:

[0027] Figura 1 ilustra um sistema para obter dados do modelo 3D de uma pluralidade de componentes de um objeto.

[0028] Figura 2 ilustra um dispositivo de computação que pode formar parte do sistema de Figura 2.

[0029] Figura 3 ilustra um método que pode ser realizado pelo sistema de Figura 1.

[0030] Figura 4 ilustra fluxo de dados associado com o método de Figura 3.

[0031] Figura 5 ilustra fatias de dados de raios X de resolução baixa (a), resolução média (b), e resolução alta (c) que podem ser obtidas em uma segunda etapa do método de Figura 3.

[0032] Figura 6 ilustra fatias de dados de raios X 3D para um objeto (a), uma submontagem (b) e um componente (c). Os dados de raios X 3D para a submontagem podem ser obtidos na quarta etapa do método de Figura 3.

[0033] Figura 7 ilustra uma imagem 2D de uma submontagem (a) e dados de borda e de área correspondentes para uma submontagem (b) que podem ser obtidos na sexta etapa do método de Figura 3.

[0034] Figura 8 ilustra dados dimensionais que podem ser obtidos em uma sexta etapa do método de Figura 3.

[0035] Figura 9 ilustra fatias ortogonais de uma submontagem (a1, a2, a3), a submontagem com um componente selecionada com base em limiares que podem ser determinados em uma sétima etapa do método de Figura 3 (b1, b2, b3), e a submontagem com cinco diferentes componentes selecionados (c1, c2, c3).

[0036] Figura 10 ilustra, a partir de duas diferentes perspectivas, dados iniciais do modelo 3D para um componente podem ser obtidos em uma décima etapa do método de Figura 3.

[0037] Figura 11 ilustra dados do modelo 3D final para uma pluralidade de

Petição 870190068648, de 19/07/2019, pág. 8/39

6/19 componentes, cada um podendo ser obtido em uma décima-primeira etapa do método de Figura 3. Também é ilustrada, a partir de duas diferentes perspectivas, uma submontagem dos componentes.

Descrição Detalhada de Algumas Modalidades

Sistema [0038] Com referência à Figura 1, um sistema 1 será agora descrito. Como será explicado, o sistema 1 pode ser usado para obter dados do modelo 3D resolvidos em componentes de objetos complexos.

[0039] O sistema 1 é configurado para realizar varredura CT de raios X. O sistema 1 inclui uma fonte de raios X 2, a mesa giratória controlada por computador 3 e um detector 4. Um objeto de teste 5, tal como um veículo motorizado, pode ser colocado na mesa giratória 3.

[0040] O sistema 1 também inclui um sistema de computador 6, que inclui um primeiro dispositivo 7i, um segundo dispositivo 72, e um ou mais terceiros dispositivos 73 (aqui a seguir referidos como dispositivos de captura de imagem, reconstrução de imagem e modelagem 3D, respectivamente).

[0041] A fonte 2 é configurado para produzir radiação de raios X 11 que é dirigida para o objeto 5. Em alguns exemplos, a radiação de raios X 11 tem energias de até pelo menos 9 MeV. Em alguns exemplos, o sistema 1 é configurado para realizar a varredura CT de feixe de cone em que os raios X 11 são divergentes e formam um cone.

[0042] A mesa giratória 3 é, pelo menos, operativamente conectada e opera sob o controle do dispositivo de captura de imagem 7i.

[0043] O detector 4 inclui um cintilador 4a e um arranjo de diodos linear 4b. O cintilador 4a recebe radiação de raios X 11 que que tinha interagido com o objeto 5. O cintilador 4a converte a radiação de raios X 11 recebida em luz visível 12. Cada um dos diodos no arranjo 4b pode receber luz visível 12 e, em resposta à mesma, produzir um sinal elétrico (tensão). Os sinais elétricos a partir dos diodos no arranjo 4b são amplificados, multiplexados e convertidos em um sinal digital 13. O sinal digital 13 é fornecido para o sistema de computador 6.

Petição 870190068648, de 19/07/2019, pág. 9/39

7/19

Dispositivos [0044] Com referência à Figura 2, os dispositivos de captura de imagem, reconstrução de imagem e modelagem 3D 7i, 72,7a serão agora descritos em maiores detalhes. Cada um dos dispositivos 7i, 72, 7s é similar e, neste parágrafo, eles são referidos simplesmente como dispositivo 7. O dispositivo 7 inclui um controlador 7a que inclui um ou mais processadores 7b (denotados por “P” em Figura 2). O controlador 7a se comunica com outros componentes 7d-7f do dispositivo 7 via um barramento do sistema 7c. O dispositivo 7 inclui uma ou mais interfaces de comunicações 7d (por exemplo, uma interface Ethernet) para se comunicar, por exemplo, com os outros dispositivos. O dispositivo 7 inclui memória 7e incluindo memória volátil, por exemplo, RAM, e memória não volátil, por exemplo, ROM. A memória volátil é usada pelo controlador 7a para o armazenamento temporário de dados, por exemplo, quando controlando a operação de outros componentes do dispositivo 7 ou movimentando dados entre os componentes. O dispositivo 7 inclui armazenamento 7f, por exemplo, armazenamento em estado sólido e/ou disco rígido. O armazenamento 7f armazena, entre outros, instruções legíveis pelo computador ou software (“S”) 15 e dados (“D”) 16 usados pelo software 4, incluindo dados relacionados com o objeto 5. Em alguns casos, o dispositivo 7 pode incluir uma ou mais interfaces de usuário (não mostradas) para permitir ao dispositivo receber entradas a partir dos e fornecer saídas para os usuários.

[0045] O software 15 é configurado para realizar o método descrito abaixo. Como será notado, as etapas do método podem ser completamente automatizadas ou elas podem ser parcialmente automatizadas e podem também envolver algumas interações dos usuários. Etapas podem utilizar algoritmos conhecidos para obter os resultados. Etapas podem utilizar técnicas conhecidas de aprendizagem da máquina/rede neural artificial para obter os resultados.

Método [0046] Com referência às Figuras 3 e 4, um método que pode ser realizado pelo sistema 1 será agora descrito. Figura 3 corresponde a um diagrama de fluxo do processo e Figura 4 corresponde ao diagrama de fluxo de dados.

Petição 870190068648, de 19/07/2019, pág. 10/39

8/19

Primeira etapa [0047] Em uma primeira etapa S1, dados de raios X bidimensionais são obtidos (denotados por “X2” em Figuras 3 e 4).

[0048] O objeto 5 é colocado sobre a mesa giratória 3 e girado em torno de um eixo único de rotação enquanto uma série de imagens de raios X 2D é obtida.

[0049] A fim de manter geometria de imagem regular, a taxa de rotação da mesa giratória 3 é sincronizada com o tempo de exposição da linha do detector 4. As taxas de rotação podem corresponder a velocidades lineares na faixa de 0,005 a 0,01 metros por segundo. As imagens das regiões com materiais mais densos (por exemplo, materiais de alta resistência), regiões com números maiores de diferentes componentes com diferentes densidades, regiões com componentes mais complexos, etc. podem ser obtidas em menores taxas de rotação Deste modo, uma maior densidade das imagens de raios X 2D é obtida, o que pode auxiliar na identificação de tais detalhes.

[0050] A primeira etapa S1 é realizada por, ou sob controle de, o dispositivo de captura de imagem 7i.

Segunda etapa [0051] Em uma segunda etapa S2, os dados de raios X 2D são usados, isto é, processados, para obter dados de raios X 3D de resolução múltipla (“X3”).

[0052] A segunda etapa S2 (ou reconstrução de imagem) envolve usar, por exemplo:

- algoritmos de reconstrução de domínio Fourier, por exemplo, como descrito em S. Smith, “The Scientist and Engineer’s Guide to Digital Signal Processing”, California Technical Pub (1997), Ch. 25;

- algoritmos de Fresnel, por exemplo, como descrito em M. Liebling e M. Linser “Comparing algorithms for reconstructing digital off-axis Fresnel holograms”, Proc. SPIE 6016, Three-Dimensional TV, Video, and Display IV, 60160M (15 de novembro de 2005); doi:10.1117/12.631039.

[0053] Em contraste com o processo de estágio único típico, reconstrução de imagem é realizada em três estágios, resultando em dados de raios X 3D com três

Petição 870190068648, de 19/07/2019, pág. 11/39

9/19 diferentes resoluções (aqui a seguir chamada resolução baixa, resolução média, e resolução alta). Em particular, os dados de raios X 2D são inicialmente processados usando os algoritmos para obter dados de raios X 3D de resolução baixa. Os dados são, então, submetidos a outro processamento para obter dados de raios X 3D de resolução média. Os dados são, então, submetidos a ainda outro processamento para obter dados de resolução alta.

[0054] Os dados de raios X 3D obtidos na segunda etapa S2, incluem, assim, imagens 3D de resolução alta (“H”), média (“M”) e baixa (“L”) do objeto 5.

[0055] Cada imagem 3D corresponde a grades 3D de pixels 3D (ou, em outras palavras, voxels) e/ou um conjunto de imagens 2D (aqui a seguir referido como fatias) correspondendo a diferentes fatias através do objeto 5.

[0056] Como será explicado em maiores detalhes abaixo, existe um valor associado com cada pixel/voxel (aqui a seguir referido como um valor de pixel), que se refere à atenuação dos raios X da região correspondente do objeto 5 e, assim, se refere a qualquer material nessa região. O valor de pixel pode ser representado visualmente pela intensidade da escala de cinza.

[0057] Resolução pode corresponder à dimensão de um pixel/voxel. Os dados de resolução baixa de raios X 3D têm uma resolução típica de cerca de 1.000 micrômetros (pm), resolução média de cerca de 600 pm, e resolução alta de cerca de 150 pm. No entanto, uma ou mais das resoluções podem diferir destes valores típicos. Por exemplo, as resoluções podem estar nas faixas >750 pm (resolução baixa), 350750 pm (resolução média), e <350 pm (resolução alta).

[0058] Com referência, nesse parágrafo, à Figura 5, fatias de exemplo de dados de raios X 3D de resolução baixa (a), dados de raios X 3D de resolução média (b) e dados de raios X 3D de resolução alta (c) são mostrados.

[0059] Como será explicado em maiores detalhes abaixo, os dados de resolução baixa são usados para operações de processamento de dados com relação às imagens 3D de todo o objeto 5. Os dados de resolução baixa são particularmente apropriados para tais operações porque são de pequeno tamanho. Para um objeto típico 5, os dados de resolução baixa têm um tamanho de cerca de 200 gigabytes

Petição 870190068648, de 19/07/2019, pág. 12/39

10/19 (GB), os dados de resolução média têm um tamanho de cerca de 600 GB e os dados de resolução alta têm um tamanho de cerca de 1.000 GB.

[0060] Os dados de resolução média tem um ruído menor do que os dados de resolução alta. Assim, usar os dados de resolução média em vez dos dados de resolução alta para obter os dados iniciais do modelo 3D (ver abaixo) leva a haver menos elementos de malha errados causados pelo ruído. Isto, por sua vez, facilita a captura precisa das características do objeto 5. Assim, os dados de resolução média são usados para obter os dados do modelo final 3D, enquanto os dados de resolução alta são usados para obter, por exemplo, dados de borda, dados dimensionais, etc. (ver abaixo).

[0061] Os dados de raios X 3D são preferivelmente armazenados, transferidos, etc. em um formato DICOM - Formação de Imagem Digital e Comunicações em Medicina. Embora outros formatos possam ser usados, o DICOM apresenta várias vantagens, por exemplo, com relação à facilidade da manipulação de dados.

[0062] A segunda etapa S2 é realizada pela dispositivo de reconstrução de imagem 72.

Terceira etapa [0063] Em uma terceira etapa S3, os dados de raios X 3D de resolução múltipla são processados. Isso preferivelmente envolve usar algoritmos conhecidos para tornar as imagens mais nítidas, reduzir os artefatos nas imagens (por exemplo, causados por endurecimento do feixe), melhorar o contraste das imagens, etc.

[0064] A terceira etapa S3, e subsequentes etapas S4...S12, são realizadas pelos dispositivos de modelagem 3D 73.

Quarta etapa [0065] Em uma quarta etapa S4, os dados de raios X 3D são divididos em uma pluralidade de subconjuntos (“X3i...X3m”).

[0066] Com referência, nesse parágrafo, à Figura 6, um objeto típico 5 inclui uma pluralidade (por exemplo, várias centenas ou mais) de submontagens ou equivalentes, e cada submontagem inclui uma pluralidade (por exemplo, várias

Petição 870190068648, de 19/07/2019, pág. 13/39

11/19 dezenas ou mais) de componentes. Consequentemente, um objeto típico 5 inclui acima de 10.000 componentes, como mencionado acima. A título de exemplo, um veículo motorizado 5 inclui um módulo de canto 51 como uma de suas submontagens, e o módulo de canto 51 inclui um coxim de disco 52 como um de seus componentes.

[0067] Cada um da pluralidade de subconjuntos preferivelmente corresponde a uma diferente das submontagens no objeto 5. No entanto, os dados de raios X 3D podem ser divididos em qualquer modo apropriado, com cada subconjunto preferivelmente incluindo uma pluralidade (por exemplo, várias dezenas ou mais) de componentes.

[0068] A quarta etapa S4 preferivelmente envolve selecionar uma pluralidade de regiões 3D, cada uma das quais incluindo uma diferente das submontagens do objeto 5. Tal região 3D pode ser cubóide ou pode ter qualquer outro formato apropriado (por exemplo, cilíndrico). Duas ou mais da pluralidade de regiões 3D podem estar sobrepostas a cada outra.

[0069] A quarta etapa S4 é preferivelmente realizada usando os dados de raios X de resolução baixa para o todo do objeto 5. Isto pode ser realizado em qualquer modo apropriado, por exemplo, com base em conectividade, regras predeterminadas, etc.

[0070] Cada uma das regiões 3D tipicamente irá incluir partes (“adicionais”) do objeto 5 que não estão na submontagem relevante. Essas partes adicionais são preferivelmente ignoradas quando processando o subconjunto relevante.

[0071] Cada subconjunto preferivelmente inclui dados de raios X 3D de resolução média e alta (isto é, não de resolução baixa).

[0072] A quarta etapa S4 permite o processamento envolvido na obtenção de dados do modelo 3D final (isto é, dados de CAD) para a pluralidade de submontagens a ser realizado em paralelo. Ela também facilita a captura precisa das características do objeto 5 porque cada submontagem apresenta um nível de complexidade que é particularmente apropriado para o processamento aqui descrito.

[0073] Cada vez que os dados são divididos (por exemplo, em etapas S4 e S8) ou alterados de um tipo para outro (por exemplo, em etapas S6, S10 e S11), dados

Petição 870190068648, de 19/07/2019, pág. 14/39

12/19 descrevendo posições de elementos relevantes (voxels, linhas/curvas, superfícies, etc.) são mantidos de modo apropriado, por exemplo, com base em um sistema de coordenadas global (ou equivalente). Entre outros aspectos, isto facilita a (re)montagem subsequente dos dados.

Quinta etapa [0074] A quinta até a décima-primeira etapas S5-S11 do método são realizadas para cada subconjunto/submontagem correspondente (mencionados simplesmente como o subconjunto e a submontagem, respectivamente, a seguir). Isto pode ser feito em paralelo, como mencionado acima.

[0075] Em uma quinta etapa S5, o subconjunto (“X3i”) é processado em um modo similar à terceira etapa S3. Neste caso, o processamento pode ser otimizado para o subconjunto específico. Por exemplo, a qualidade da imagem 3D pode ser aperfeiçoada em áreas complexas, componentes de ajuste por pressão, componentes soldados, componentes aparafusados, etc.

Sexta etapa [0076] Em uma sexta etapa S6, dados 2D(“Di”) com relação à submontagem são obtidos.

[0077] Com referência, nesse parágrafo, à Figura 7(a), a sexta etapa S6 envolve obter uma imagem 2D 21 da submontagem a partir dos dados de raios X 3D de resolução alta no subconjunto. A imagem 2D 21 corresponde à seção (transversal) da submontagem. O plano definindo a seção pode ser determinado em qualquer modo apropriado. Por exemplo, o plano pode ser um meio plano da submontagem, por exemplo, dividindo a submontagem em duas partes substancialmente simétricas.

[0078] Com referência, nesse parágrafo, à Figura 7(b), a sexta etapa S6, então, envolve determinar os dados 2D 22. Isto envolve determinar um conjunto de linhas/curvas 22a (aqui a seguir referidos como dados de borda) correspondendo às bordas das características da submontagem (por exemplo, componentes) na imagem 2D 21. Os dados de borda 22a podem ser determinados em qualquer modo apropriado, por exemplo, usando algoritmos de detecção de bord. A natureza das linhas/curvas também pode ser restringida de certo modo, por exemplo, para formar

Petição 870190068648, de 19/07/2019, pág. 15/39

13/19 circuitos fechados. Preferivelmente, determinar os dados 2D 22 também envolve identificar um conjunto de áreas 22b (aqui a seguir referido como dados de área) definidas por, por exemplo, ligadas por, dados da borda 22a. Preferivelmente, áreas separadas são determinadas como correspondendo ao mesmo componente quando apropriado. Isto pode ser realizado em qualquer modo apropriado, por exemplo, com base em similaridade/simetria, regras predeterminadas, etc.

[0079] Com referência, nesse parágrafo, à Figura 8, a sexta etapa S6 também envolve determinar um conjunto de dimensões 22c (aqui a seguir referido como dados dimensionais) das características da submontagem (por exemplo, componentes) na imagem 2D 21'. Isto pode ser realizado de qualquer modo apropriado. Por exemplo, dados dimensionais 22c podem ser derivados de parâmetros de linha/curva incluídos nos dados de borda 22a. Dados dimensionais 22c podem incluir distâncias entre bordas paralelas, etc.

[0080] Os dados 2D 22 podem ser determinados para uma única imagem 2D 21 (isto é, uma única seção transversal) ou para múltiplas imagens 2D 21 (isto é, múltiplas seções transversais).

[0081] Os dados 2D são, às vezes, mencionados aqui como características.

Sétima etapa [0082] As sétima e oitava etapas S7, S8 são realizadas em relação aos dados de raios X de resolução média no subconjunto, isto é, a imagem 3D de resolução média da submontagem.

[0083] Na sétima etapa S7, uma pluralidade de pares de limiares (“Ti”) é determinada. A pluralidade de pares de limiares é aqui referida como dados de limiar.

[0084] Cada par de limiares preferivelmente corresponde a um limite superior e um limite inferior de uma faixa de intensidades em escala de cinza. A intensidade em escala de cinza corresponde (de acordo com um mapeamento particular) a um valor de pixel e, assim, está relacionada com o material na região associada com um pixel. Os seguintes materiais terão tipicamente os seguintes valores de pixel (em unidades Hounsfield, HU):

-Aço: 12 a 18 HU

Petição 870190068648, de 19/07/2019, pág. 16/39

14/19

- Alumínio: 25 a 35 HU

- Plástico: 72 a 81 HU [0085] Diferentes componentes do objeto 5 serão geralmente feitos de diferentes materiais e, assim, apresentam intensidades na escala de cinza / valores de pixel em diferentes faixas. Mesmo quando diferentes componentes são feitos de, nominalmente, o mesmo material, ainda podem existir diferenças detectáveis nas intensidades na escala de cinza /valores de pixel devido a leves diferenças entre os materiais.

[0086] Se cada um dos componentes na submontagem é associado com uma faixa distinta (isto é, diferentes e não em sobreposição) das intensidades na escala de cinza, então, por determinação de pares apropriados de limiares, cada um dos componentes em uma submontagem pode ser separadamente selecionado. No entanto, em alguns casos, somente pode ser possível determinar pares de limiares correspondendo a dois ou mais componentes.

[0087] Isto pode ser particularmente significante com, por exemplo, componentes de ajuste por pressão, componentes de encaixe rápido, soldagens, e outros tais componentes conectados.

[0088] Os dados de limiar são preferivelmente determinados de modo a permitir que o número máximo de componentes seja separadamente selecionado. Os dados de limiar podem ser determinados em qualquer modo apropriado. Por exemplo, os limiares podem ser determinados com base em uma distribuição (histograma) de intensidades na escala de cinza na imagem 3D de uma submontagem. Como será explicado em maiores detalhes abaixo, os dados de limiar iniciais também podem ser ajustados com base nos dados 2D 22.

[0089] Com referência, nesse parágrafo, à Figura 9, um conjunto de três fatias ortogonais (a1, a2, a3) de uma imagem 3D de uma submontagem de exemplo (um módulo de canto) é mostrado. As próximas três fatias (b1, b2, b3) mostram uma seleção com base em limiar de um dos componentes (uma articulação). As próximas três fatias (c1, c2, c3) mostram cinco diferentes seleções com base em limiares de cinco diferentes componente(s).

Petição 870190068648, de 19/07/2019, pág. 17/39

15/19

Oitava etapa [0090] A oitava até a décima-primeira etapas S8-S11 do método são realizadas para cada componente em uma submontagem (referido simplesmente como o componente a seguir).

[0091] Na oitava etapa S8, o subconjunto é dividido em um subconjunto adicional (“X3ij”). O subconjunto adicional inclui dados de raios X 3D para o componente, sendo aqui a seguir referido como um subconjunto de componentes.

[0092] A oitava etapa S8 envolve usar um par particular de limiares para dividir o subconjunto em um subconjunto inicial que pode incluir um componente ou um grupo de componentes.

[0093] A oitava etapa S8 envolve, então, seletivamente, dividir o subconjunto inicial usando os dados 2D 22. Isto envolve determinar se o subconjunto inicial inclui mais do que um componente. Isto pode ser realizado em qualquer modo apropriado. Por exemplo, os dados de borda 22a e/ou dados de área 22b podem ser comparados com uma fatia apropriada dos dados de raios X 3D para determinar se existe material significativo cruzando uma borda ou ocupando duas áreas. Em resposta a uma determinação positiva, o subconjunto inicial é dividido. Isto pode ser realizado em qualquer modo apropriado, por exemplo, com base em curvas/linhas relevantes nos dados de borda 22a, propagados de modo apropriado para três dimensões.

[0094] Os dados de limiar podem (globalmente ou localmente) ser ajustados em vista dos dados 2D 22.

[0095] Os subconjuntos iniciais correspondentes a duas regiões 3D não conectadas podem ser divididos em um modo direto.

[0096] Consequentemente, na oitava etapa S8, um subconjunto de componentes, isto é, incluindo dados de raios X 3D para um componente, é obtido.

Nona etapa [0097] Em uma nona etapa S9, o subconjunto de componente é verificado. Isto preferivelmente envolve determinar um ou mais erros por comparação dos dados 2D 22 (por exemplo, dados de área 22b e/ou dados dimensionais 22c) com características de uma fatia apropriada do subconjunto de componente. Se o erro

Petição 870190068648, de 19/07/2019, pág. 18/39

16/19 exceder um erro máximo aceitável, então, o método preferivelmente retorna para a etapa anterior S8, que é repetida usando diferentes parâmetros.

Décima etapa [0098] Em uma décima etapa S10, os dados de raios X 3D no subconjunto de componente são convertidos em dados do modelo 3D inicial (“M1ij”).

[0099] Os dados do modelo 3D inicial preferivelmente correspondem a dados de estereolitografia (STL) que é a seguir referido como simplesmente dados de STL. Os dados de STL descrevem um conjunto de superfícies triangulares, que podem ser usadas para definir uma ou mais superfícies de malha triangular fechadas e, assim, um ou mais objetos 3D ligados por essas superfícies.

[00100] Os dados de raios X 3D no subconjunto de componente são convertidos em dados de STL usando técnicas conhecidas.

[00101] O método preferivelmente também envolve a etapa (não mostrada) em que os dados de STL são processados, por exemplo, para refinar malhas, remover elementos de malha errados, etc.

[00102] Com referência, nesse parágrafo, à Figura 10, dados de STL para um componente (isto é, uma articulação) são mostrados a título de exemplo.

Décima-primeira etapa [00103] Em uma décima-primeira etapa S11, dados do modelo 3D final (“M2ij”) para o componente são obtidos.

[00104] Isto é realizado usando os dados de STL obtidos na etapa anterior S10 e dados 2D 22 obtidos na sexta etapa S6.

[00105] Os dados do modelo 3D final preferivelmente correspondem a dados de desenho assistido por computador (CAD) sendo aqui a seguir referidos simplesmente como dados CAD. Os dados CAD preferivelmente usam representação limítrofe para representar um sólido (por exemplo, um componente) como uma coleção de elementos de superfície conectados. Estes elementos de superfície são representados precisamente, por exemplo, usando curvas de base racional não uniforme (NURBSs) (confere os dados de STL).

[00106] A décima-primeira etapa S11 preferivelmente envolve determinar se

Petição 870190068648, de 19/07/2019, pág. 19/39

17/19 o componente é de um primeiro tipo ou de um segundo tipo:

- o primeiro tipo inclui componentes padronizados tal como parafusos e similares. O primeiro tipo também pode incluir componentes com características relativamente simples. Por exemplo, componente 62g mostrado em Figura 11 (isto é, cubo) é geralmente cilíndrico simétrico de seção transversal relativamente simples.

- componentes do segundo tipo não são padronizados e/ou relativamente complexos, tal como componente 62i mostrado em Figura 11 (isto é, uma articulação).

[00107] A determinação pode ser feita com base em se ou não os dados de STL correspondem a quaisquer dados armazenados representando componentes do primeiro tipo (aqui a seguir referidos como componentes padronizados).

[00108] Se o componente é do primeiro tipo, então, os dados de CAD são obtidos primariamente a partir dos dados 2D 22. Por exemplo, um componente padronizado particular pode ser criado a partir de um modelo genérico armazenado, por exemplo, usando um número relativamente pequeno de parâmetros (por exemplo, dimensões), que podem ser obtidos a partir dos dados dimensionais 22c.

[00109] Se o componente é do segundo tipo, então, os dados de CAD são obtidos usando os dados de STL e os dados 2D 22. Em particular, um conjunto de superfícies (por exemplo, superfícies NURBS) é criado sobre a superfície do componente representado pelos dados de STL. Pelo menos algumas das dimensões dessas superfícies são, então, preferivelmente ajustadas usando os dados dimensionais 22c.

[00110] Como mencionado acima, a etapa S11 precedente (e outras) é realizada em relação a cada submontagem no objeto 5 e cada componente em cada submontagem. Consequentemente, dados de CAD para cada um dos componentes no objeto 5 são obtidos.

[00111] Com referência, nesse parágrafo, à Figura 11, dados de CAD para uma pluralidade de diferentes componentes 62i,...62ιθ de uma submontagem 61 (isto é, um módulo de canto) são mostrados a título de exemplo.

Décima-segunda etapa [00112] Em décima-segunda etapa S12, os dados de CAD para cada um dos

Petição 870190068648, de 19/07/2019, pág. 20/39

18/19 componentes no objeto 5 são montados, obtendo dados de CAD para o objeto 5.

[00113] Como mencionado acima, quando os dados são divididos, etc., dados descrevendo posições de elementos relevantes foram mantidos de modo apropriado, assim facilitando a montagem. Mesmo assim, mais etapas podem ser necessárias. Por exemplo, devido ao processamento separado para diferentes submontagens, a reconexão precisa das submontagens pode requerer operações adicionais, por exemplo, com base em pontos de referência comuns, etc.

Visão Geral [00114] Com referência em particular à Figura 4, algumas das etapas e características do método são:

- obter dados de raios X (X2) para um objeto de componentes múltiplos;

- processar os dados de raios X (X2) para obter, pelo menos, primeira e segunda representações 3D (X3-H, X3-M) do objeto com respectivas primeira (H) e segunda (M) resoluções, a primeira resolução (H) sendo maior do que a segunda resolução (M);

- identificar uma pluralidade de regiões (X3u, X3i2, ...) da segunda representação 3D (X3-M), cada região (X3u, X3i2, ...) correspondendo a uma de uma pluralidade de componentes do objeto, pelo menos por:

- identificar uma pluralidade de regiões iniciais da segunda representação 3D (X3-M), cada região inicial tendo valores de pixel em uma de uma pluralidade de faixas (Ti) de valores de pixel; e

- ajustar seletivamente cada uma da pluralidade de regiões iniciais com base em uma comparação entre a região inicial e uma ou mais características (Di) derivadas de uma ou mais seções 2D de pelo menos parte do objeto obtido a partir da primeira representação 3D (X3-H); e

- obter, para cada um da pluralidade de componentes, um modelo 3D (M2n, M2i2, ...) do componente com base em uma região correspondente (X3n, X3i2, ...) e/ou com base em uma ou mais características (Di) derivadas de uma ou mais seções 2D de pelo menos parte do objeto obtido da primeira representação 3D (X3-H).

Outras modificações

Petição 870190068648, de 19/07/2019, pág. 21/39

19/19 [00115] Será apreciado que muitas outras modificações podem ser feitas nas modalidades acima descritas.

[00116] Por exemplo, o sistema de computador 6 pode ser diferente e, por exemplo, é possível ter qualquer número de dispositivos de computação, cada uma podendo ser como descrito acima com relação à Figura 2 ou podendo ser um sistema de computação na nuvem, um aglomerado de computadores, etc. O sistema de computador 6 pode trabalhar em conjunto para realizar o método em qualquer modo apropriado. Dados podem ser movidos através de, e armazenados no sistema de computador 6 em qualquer modo apropriado.

[00117] Dados de raios X 3D de resolução múltipla podem compreender um número menor de resoluções diferentes (isto é, duas). Por exemplo, os subconjuntos podem ser obtidos sem usar os dados de resolução baixa. Os dados de raios X 3D de resolução múltipla podem compreender um número maior de diferentes resoluções. Por exemplo, algumas etapas do método e/ou alguns componentes podem se beneficiar do uso de resoluções que são diferentes das descritas acima. Por exemplo, dados de resolução ultraelevada podem ser benéficos em alguns casos.

[00118] O método pode compreender menos etapas. Por exemplo, algumas ou todas dentre a terceira, quarta, quinta, nona, décima-primeira e décima-segunda etapas S3, S4, S5, S9, S11, S12 podem ser omitidas. O método pode compreender etapas adicionais, por exemplo, etapas adicionais de processamento ou verificação.

[00119] Em vez de pares de limiares definindo faixas únicas, conjuntos de limiares definindo faixas múltiplas podem ser usados para selecionar um único componente.

[00120] Em vez de dividir os dados de raios X 3D em subconjuntos de componentes e, então, converter estes em dados de STL, os dados de raios X 3D (por exemplo, para uma submontagem) podem ser convertidos em dados de STL e, então, os dados de STL podem ser divididos.

[00121] O método pode ser apenas para obter os dados do modelo 3D inicial (por exemplo, STL), isto é, não os dados do modelo 3D final (por exemplo, CAD).

Claims

REIVINDICAÇÕES

1. Método, caracterizado pelo fato de que compreende:

obter dados de raios X para um objeto de componentes múltiplos;

processar os dados de raios X para obter, pelo menos, primeira e segunda representações 3D do objeto com respectivas primeira e segunda resoluções, a primeira resolução sendo maior do que a segunda resolução;

identificar uma pluralidade de regiões da segunda representação 3D, cada região correspondendo a uma de uma pluralidade de componentes do objeto, pelo menos por:

identificar uma pluralidade de regiões iniciais da segunda representação 3D, cada região inicial tendo valores de pixel em uma de uma pluralidade de faixas de valores de pixel; e seletivamente ajustar cada uma da pluralidade de regiões iniciais com base em uma comparação entre a região inicial e uma ou mais características derivadas de uma ou mais seções 2D de pelo menos parte do objeto obtido a partir da primeira representação 3D; e obter, para cada uma da pluralidade de componentes, um modelo 3D do componente com base em uma região correspondente e/ou com base em uma ou mais características derivadas de uma ou mais seções 2D de pelo menos parte do objeto obtido a partir da primeira representação 3D.
2. Método de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente:

montar os modelos 3D da pluralidade de componentes para obter um modelo 3D resolvido nos componentes do objeto.
3. Método de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que compreende:

dividir a primeira e segunda representações 3D em uma pluralidade de regiões de trabalho; e identificar a pluralidade de regiões em cada da pluralidade de regiões de trabalho.

Petição 870190068648, de 19/07/2019, pág. 23/39

2/4
4. Método de acordo com a reivindicação 3, caracterizado pelo fato de que compreende:

dividir a primeira e segunda representações 3D com base em uma terceira representação 3D do objeto com uma terceira resolução menor do que a segunda resolução.
5. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que o processamento dos dados de raios X compreende aumentar gradualmente a resolução e em que a primeira representação é obtida em uma etapa posterior à segunda representação.
6. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que a identificação de cada da pluralidade de regiões iniciais compreende determinar uma faixa de valores de pixel relacionada com um material particular no objeto.
7. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que compreende:

determinar um plano para cada da uma ou mais seções 2D;

determinar cada da uma ou mais seções 2D; e derivar uma ou mais características de cada uma ou mais seções 2D.
8. Método de acordo com a reivindicação 7, caracterizado pelo fato de que pelo menos um plano corresponde a um plano médio de uma submontagem do objeto.
9. Método de acordo com a reivindicação 7 ou 8, caracterizado pelo fato de que a derivação de uma ou mais características de cada da uma ou mais seções 2D compreende derivar os gráficos vetoriais da seção 2D.
10. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que a uma ou mais características compreendem:

bordas e/ou áreas de componentes em uma seção 2D; e/ou dimensões de componentes em uma seção 2D.
11. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que o ajuste seletivo de cada da pluralidade de regiões

Petição 870190068648, de 19/07/2019, pág. 24/39

3/4 iniciais compreende determinar se a região inicial compreende dois ou mais componentes.
12. Método de acordo com a reivindicação 11, quando dependente da reivindicação 10, caracterizado pelo fato de que determinar se a região inicial compreende dois ou mais componentes compreende determinar se a região inicial cruza quaisquer bordas e/ou ocupa quaisquer duas ou mais áreas.
13. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que o ajuste seletivo de cada da pluralidade de regiões iniciais compreende seletivamente dividir a região inicial em duas ou mais regiões intermediárias ou regiões.
14. Método de acordo com a reivindicação 13, quando dependente da reivindicação 10, caracterizado pelo fato de que a divisão é baseada em bordas e/ou áreas.
15. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que a obtenção do modelo 3D de cada da pluralidade de componentes compreende:

determinar se o componente corresponde a um componente de um primeiro tipo; e responsivo a uma determinação positiva, obter o modelo 3D do componente com base em:

- um modelo 3D predeterminado para o componente do primeiro tipo; e

- uma ou mais dimensões do componente obtido a partir de uma ou mais seções 2D.
16. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que a obtenção do modelo 3D de cada da pluralidade de componentes compreende:

converter a primeira representação 3D em um modelo 3D intermediário, em que o modelo 3D intermediário corresponde a um modelo de malha.
17. Método de acordo com a reivindicação 16, caracterizado pelo fato de que a obtenção do modelo 3D de cada da pluralidade de componentes

Petição 870190068648, de 19/07/2019, pág. 25/39

4/4 compreende:

determinar se o componente corresponde a um componente de um segundo tipo; e responsivo a uma determinação positiva, converter o modelo 3D intermediário para o modelo 3D do componente.
18. Método de acordo com qualquer reivindicação precedente, caracterizado pelo fato de que os dados de raios X são obtidos usando pelo menos raios X com uma energia de cerca de 9 MeV, e/ou em que a pluralidade de componentes no objeto corresponde a pelo menos 10.000 componentes.
19. Programa de computador, caracterizado pelo fato de ser para realizar um método, como definido em qualquer reivindicação precedente.
20. Estrutura de dados, caracterizada pelo fato de que compreende um modelo 3D resolvido em componentes de um objeto obtido por realização de um método, como definido em qualquer reivindicação precedente.
21. Meio legível por computador não transitório, caracterizado pelo fato de que compreende um programa de computador, definido na reivindicação 19 e/ou a estrutura de dados, definida na reivindicação 20.
22. Sistema de computador, caracterizado pelo fato de que é configurado para realizar um método, definido em qualquer uma das reivindicações 1 a 18.
23. Sistema caracterizado pelo fato de compreender:

aparelho configurado para fornecer dados de raios X; e um sistema de computador, definido na reivindicação 22, configurado para obter os dados de raios X.