BR112020023281A2 - classificação de tecido biológico por computador - Google Patents
classificação de tecido biológico por computador Download PDFInfo
- Publication number
- BR112020023281A2 BR112020023281A2 BR112020023281-5A BR112020023281A BR112020023281A2 BR 112020023281 A2 BR112020023281 A2 BR 112020023281A2 BR 112020023281 A BR112020023281 A BR 112020023281A BR 112020023281 A2 BR112020023281 A2 BR 112020023281A2
- Authority
- BR
- Brazil
- Prior art keywords
- images
- machine learning
- learning algorithm
- fact
- tissue
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 123
- 230000003287 optical effect Effects 0.000 claims abstract description 71
- 230000001052 transient effect Effects 0.000 claims abstract description 19
- 230000007170 pathology Effects 0.000 claims abstract description 13
- 238000010801 machine learning Methods 0.000 claims description 97
- 238000000034 method Methods 0.000 claims description 85
- 238000013528 artificial neural network Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 30
- 210000003679 cervix uteri Anatomy 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 25
- 206010028980 Neoplasm Diseases 0.000 claims description 20
- 239000003795 chemical substances by application Substances 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 201000010099 disease Diseases 0.000 claims description 15
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 15
- 239000004744 fabric Substances 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 230000000699 topical effect Effects 0.000 claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000003745 diagnosis Methods 0.000 claims description 7
- 230000000391 smoking effect Effects 0.000 claims description 6
- 206010008342 Cervix carcinoma Diseases 0.000 claims description 5
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 claims description 5
- 201000010881 cervical cancer Diseases 0.000 claims description 5
- 230000001568 sexual effect Effects 0.000 claims description 5
- 230000001575 pathological effect Effects 0.000 claims description 4
- 238000002255 vaccination Methods 0.000 claims description 4
- 239000002253 acid Substances 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 84
- 238000001574 biopsy Methods 0.000 description 63
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 description 43
- 238000007637 random forest analysis Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 22
- 241000701806 Human papillomavirus Species 0.000 description 13
- 201000011510 cancer Diseases 0.000 description 12
- 206010008263 Cervical dysplasia Diseases 0.000 description 11
- 238000013459 approach Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 7
- 101150061050 CIN1 gene Proteins 0.000 description 6
- 101150070189 CIN3 gene Proteins 0.000 description 6
- 238000004061 bleaching Methods 0.000 description 6
- 101150005988 cin2 gene Proteins 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000002573 colposcopy Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000009826 neoplastic cell growth Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 101000775732 Homo sapiens Androgen receptor Proteins 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 206010068052 Mosaicism Diseases 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 210000000981 epithelium Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000000338 in vitro Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000007620 mathematical function Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000011511 automated evaluation Methods 0.000 description 2
- 208000007951 cervical intraepithelial neoplasia Diseases 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000009595 pap smear Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 208000007879 Atypical Squamous Cells of the Cervix Diseases 0.000 description 1
- 241000341655 Human papillomavirus type 16 Species 0.000 description 1
- 230000003318 acetowhitening effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000007561 response to light intensity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005476 size effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
Um tecido biológico é classificado
com o uso de um sistema de computação. Dados de imagem compreendendo uma
pluralidade de imagens de uma área de exame de um tecido biológico são
recebidos no sistema de computação. Cada uma da pluralidade de imagens é
capturada em momentos diferentes durante um período em que a aplicação
tópica de um agente de diferenciação de patologia à área de exame do
tecido causa efeitos ópticos transitórios. Os dados de imagem recebidos
são fornecidos como uma entrada para um algoritmo de aprendizado de
máquina operativo no sistema de computação. O algoritmo de aprendizado
de máquina é configurado para alocar uma de uma pluralidade de
classificações a cada um de uma pluralidade de segmentos do tecido.
Description
“CLASSIFICAÇÃO DE TECIDO BIOLÓGICO POR COMPUTADOR” Campo Técnico da Divulgação
[001] A divulgação se refere à classificação de um tecido biológico com o uso de um sistema de computação, incluindo um método e programa de computador e sistema de computador correspondentes.
Antecedentes da Divulgação
[002] O exame e a classificação do tecido biológico fazem parte dos procedimentos de rastreamento do câncer. Por exemplo, no caso de rastreamento do câncer cervical, pode-se realizar uma colposcopia, na qual o colo do útero é visualizado diretamente e uma ou mais imagens do mesmo são capturadas. Isso permite que as lesões no colo do útero sejam identificadas e classificadas, dependendo de seu risco, para que biópsias ou tratamento adequado possam ser realizados. Essa classificação é geralmente realizada por profissionais médicos.
[003] Uma técnica de colposcopia de desempenho especialmente bom foi descrita na Publicação de Patente Internacional número WO-01/72214, na qual um agente de diferenciação de patologia (especialmente ácido acético diluído) é aplicado ao tecido biológico. Isso causa um efeito óptico transitório, especificamente um branqueamento do tecido, que pode ser visualizado diretamente e também em uma imagem capturada. Além disso, a análise transiente e/ou espectral de uma ou mais imagens capturadas, particularmente a medição de refletância difusa, pode ser realizada e tais dados podem ser fornecidos a um profissional médico para auxiliar em sua análise. Os colposcópios que usam esta técnica são comercializados pela Dysis Medical Limited.
[004] A inteligência artificial baseada em computador foi aplicada a classificações médicas em várias áreas, como imagens de ressonância magnética (MRI - “magnetic resonance imaging”) e imagens de radiologia. A aplicação de tecnologias de inteligência artificial à classificação de tecidos biológicos, como a classificação de lesões cervicais, também tem sido considerada. “An Observational Study of Deep Learning and Automated Evaluation of Cervical Images for Cancer Screening”, Hu et al., J Natl Cancer Inst 2019 (doi: 10.1093/jnci/djy225) estudou a avaliação automatizada de “cervigramas” (imagens cervicais obtidas com uma câmera de filme anel iluminado de foco fixo, cerca de um minuto após a aplicação de ácido acético diluído no epitélio cervical) para identificar lesões pré-cancerosas e cancerosas para rastreamento cervical no local de atendimento. Nesta abordagem, um cervigrama é fornecido como uma entrada para um algoritmo baseado em aprendizado profundo, especificamente uma rede neural convolucional baseada em região mais rápida (Faster R-CNN). O algoritmo realiza a detecção de objetos (colo do útero), extração de características (calculando as características do objeto) e classificação como positivo ou negativo para neoplasia cervical de alto grau (prevendo a pontuação de probabilidade do caso). Este método, quando estudado em uma população de rastreamento, atingiu uma área sob a curva (AUC) de 0,91, que foi maior do que a interpretação original do cervigrama (AUC de 0,69) do mesmo conjunto de dados, na identificação de casos de pré-câncer ou câncer.
[005] “Multimodal Deep Learning for Cervical Dysplasia Diagnosis”, Xu et al., Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016.
Lecture Notes in Computer Science, vol. 9901, Springer, Cham, considera a aplicação do aprendizado de máquina para o diagnóstico de displasia cervical. Nesta abordagem, uma imagem de um colo de útero capturada após a aplicação de ácido acético a 5% no epitélio cervical é fornecida como uma entrada para uma rede neural profunda. Além disso, os resultados clínicos de outros testes médicos e outros dados relativos ao sujeito são fornecidos como entradas, de modo que a rede neural tenha entradas multimodais. Uma estrutura envolvendo várias camadas de rede neural convolucional é usada para recursos de imagem de aprendizagem e as diferentes modalidades são combinadas usando camadas de rede neural completamente conectadas conjuntas. Esta técnica fornece um diagnóstico final com 87,83% de sensibilidade e 90% de especificidade.
[006] Essas técnicas podem ser úteis para profissionais médicos, especialmente no mundo em desenvolvimento, onde o rastreamento cervical não está disponível, mas o fornecimento de saídas mais clinicamente úteis da inteligência artificial, como o mapeamento e classificação da doença para a colocação precisa da biópsia, são desejáveis para melhorar a capacidade do profissional médico para diagnosticar corretamente e fornecer tratamento adequado ou acompanhamento, se necessário.
Sumário da Divulgação
[007] Neste contexto, a divulgação fornece um método para a classificação de um tecido biológico com o uso de um sistema de computação de acordo com a reivindicação 1, um programa de computador de acordo com a reivindicação 27 e sistema de computação conforme definido pela reivindicação 28. Outros aspectos são detalhados nas reivindicações dependentes e neste documento.
[008] Dados de imagem compreendendo uma pluralidade de imagens de uma área de exame de um tecido biológico (particularmente um colo do útero de um sujeito) é recebida em um sistema de computação. Cada imagem é capturada em momentos diferentes durante um período em que a aplicação tópica de um agente de diferenciação de patologia na área de exame do tecido causa efeitos ópticos transitórios. Em particular, o agente de diferenciação de patologia pode compreender ácido acético (normalmente ácido acético diluído, geralmente a 3 a 5%), de modo que os efeitos ópticos transitórios podem compreender um efeito de aceto branqueamento (embora outros agentes de diferenciação e/ou efeitos ópticos podem ser possíveis, por exemplo, usando diagnóstico molecular). A área de exame pode ser exposta à radiação óptica, que pode ser de banda larga (através da maioria ou todo o espectro óptico) ou de banda estreita (limitada a um ou uma faixa de comprimentos de onda específicos definindo apenas uma ou uma faixa limitada de cores, possivelmente incluindo ultravioleta e/ou infravermelho), durante o período de captura da imagem.
As imagens capturadas subsequentes à aplicação do agente (por exemplo, em intervalos predeterminados e/ou regulares) podem, portanto, mostrar o progresso dos efeitos ópticos transitórios. Os dados de imagem recebidos (que podem ter sido sujeitos a processamento de imagem, conforme discutido abaixo) são fornecidos como uma entrada para um algoritmo de aprendizado de máquina (operativo no sistema de computação). O algoritmo de aprendizado de máquina aloca uma de uma pluralidade de classificações ao tecido. O colo do útero também pode ser segmentado, por exemplo, com base na aplicação de uma ou mais máscaras (por exemplo, definidas pelo reconhecimento da morfologia ou extração de características) e/ou com base em classificações locais aplicadas ao longo do tecido. Assim, o tecido pode ser classificado em subáreas discretas e definidas da área de exame do tecido, em particular, com uma classificação diferente atribuída a cada segmento do colo do útero. As classificações podem ser definidas por uma escala de valores em uma faixa contínua (como de 0 a 1 ou 0 a 100) ou um conjunto de opções discretas, que podem incluir uma pluralidade de marcadores de doenças (por exemplo: negativo versus positivo ou por exemplo: baixo risco; risco médio; alto risco, estados de doença específicos, por exemplo: CIN1, CIN2, CIN3 ou a presença de uma ou mais características morfológicas, como a presença de vasos atípicos, bordas agudas da lesão ou doença, como acetobranqueamento denso ou persistente).
[009] Na abordagem aqui divulgada, a classificação automática in vivo ou in vitro do tecido biológico pode ser alcançada. O uso de múltiplas imagens obtidas ao longo do progresso dos efeitos ópticos transitórios pode ter uma melhoria significativa na sensibilidade e/ou especificidade da classificação em relação aos métodos existentes. Sensibilidade e especificidade podem se referir à capacidade de identificar displasia cervical e/ou neoplasia cervical. A sensibilidade, portanto, se refere à capacidade de identificar corretamente os tecidos que apresentam displasia cervical e/ou neoplasia cervical. A especificidade, portanto, se refere à capacidade de identificar corretamente os tecidos que não apresentam displasia cervical e/ou neoplasia cervical. Dependendo do contexto da aplicação, a saída pode ser focada na maximização da sensibilidade ou especificidade, ou operação em um limite que pode ser ideal para um ou ambos. Embora a classificação possa ser apresentada com base no sujeito/tecido como um todo, a invenção permite que regiões do tecido suspeitas de serem pré-cancerosas ou cancerosas sejam identificadas. Isso pode ser vantajoso para direcionamento da biópsia ou tratamento, incluindo ressecção cirúrgica. Esses locais podem ser submetidos à biópsia para confirmar a identificação. Uma implementação bem-sucedida de tal sistema pode tornar a realização da biópsia incomum em muitos ou na maioria dos casos. Por exemplo, um paciente pode ser direcionado diretamente para alta a triagem de rotina ou para tratamento, com base na saída de tal classificação. Além disso, a saída do algoritmo de aprendizado de máquina pode ser mais clinicamente útil do que para as abordagens existentes, como será discutido abaixo. A técnica pode ser implementada como um método, um programa de computador, hardware programável, um sistema de computador e/ou em um sistema para exame de tecido (como um sistema de colposcopia).
[010] Por exemplo, um sistema de computação operacional para classificação de um tecido pode compreender: uma entrada para receber os dados de imagem; e um processador para operar o algoritmo de aprendizado de máquina. Nas modalidades, o mesmo compreende adicionalmente um módulo de coleta de imagem para capturar imagens ópticas (por exemplo, imagens brutas) a partir do qual os dados de imagem são baseados. O módulo de coleta de imagens pode ser localizado remotamente a partir do processador. Em alguns projetos, o processador compreende uma pluralidade de dispositivos de processamento, cada um operando uma parte do algoritmo de aprendizado de máquina (por exemplo, de uma forma distribuída). Então,
o módulo de coleta de imagens pode ser localizado remotamente a partir de pelo menos um dos dispositivos de processamento. Abordagens aplicáveis a qualquer uma das possíveis implementações de acordo com a divulgação (seja como método ou etapas de programa e/ou como características estruturais) são discutidas abaixo.
[011] Os dados de imagem fornecidos como uma entrada para o algoritmo de aprendizado de máquina podem ser derivados de imagens ópticas capturadas, ou seja, imagens brutas, obtidas por um módulo de coleta de imagens (que pode fazer parte do sistema de computador ou pode ser externo). Por exemplo, as imagens ópticas (brutas) podem ser dimensionadas (por exemplo, com base em uma distância de foco para a respectiva imagem óptica). Isso pode permitir que a pluralidade de imagens de um tecido tenha a mesma escala de outro tecido. Cada uma das imagens pode ter o mesmo arranjo de pixels (ou seja, o mesmo tamanho e formato de imagem).
O alinhamento da pluralidade de imagens pode ser obtido aplicando uma ou mais transformações às imagens ópticas. Os artefatos podem ser removidos das imagens ópticas por análise e/ou processamento de imagem. As imagens podem ser decompostas ou subdivididas em patches (por exemplo, um bloco contíguo de pixels, de preferência, bidimensional), que podem formar os dados da imagem. Os patches podem estar sobrepostos, por exemplo, patches criados em um passo menor que o tamanho do patch, o que pode aumentar a resolução.
[012] Uma entrada adicional para o algoritmo de aprendizado de máquina pode ser baseada no processamento de cada uma da pluralidade de imagens para extrair recursos personalizados, com base em funções matemáticas que descrevem cor local, gradiente e textura, embora outras características também possam ser imaginadas. Isso pode ser feito separadamente em subporções da imagem definidas como manchas de um bloco de pixels (por exemplo, um bloco quadrado de 8x8, 16x16, 32x32 pixels ou outros tamanhos, um bloco retangular ou outro formato de bloco). Cada imagem pode ser decomposta em um número de patches com um passo entre eles, que pode ser de 4, 8, 16, 32 pixels (com outros tamanhos também possíveis). Conforme observado acima, os patches podem ser fornecidos como os dados de imagem fornecidos como uma entrada para o algoritmo de aprendizado de máquina.
[013] Dados de mapa compreendendo um respectivo índice de análise para cada pixel podem ser obtidos no sistema de computador. Os índices de análise são derivados da pluralidade de imagens, por exemplo, com base em um ou mais dentre: uma intensidade máxima para o pixel sobre a pluralidade de imagens; um tempo para atingir a intensidade máxima para o pixel; e um somatório de uma intensidade para o pixel ao longo da pluralidade de imagens (que pode incluir um somatório ponderado, por exemplo, para fornecer uma área sob uma curva de intensidade em relação ao tempo de captura da imagem). Cada um desses parâmetros pode ser limitado a uma largura de banda espectral predeterminada e/ou múltiplos desses parâmetros (do mesmo tipo ou diferente) podem ser usados cada um para diferentes larguras de banda espectrais. Os dados para o mesmo pixel em várias imagens podem ser ajustados a uma curva e esta curva pode ser usada para obter o parâmetro. Isso dá origem a parâmetros úteis selecionados de um ou mais dos seguintes: a área sob a curva (integral), a área sob a curva até a intensidade máxima (“área máxima”), a inclinação (ajustada ou média) da curva até a intensidade máxima, a inclinação (ajustada ou média) da curva após a intensidade máxima. Parâmetros específicos úteis na presente invenção são discutidos no documento WO2008/001037, incorporado aqui por referência na sua totalidade. Uma combinação ponderada de múltiplos parâmetros (de diferentes tipos e/ou para diferentes larguras de banda espectrais) pode ser usada para estabelecer os índices de análise. Os índices de análise podem representar uma medida de refletância difusa. Vantajosamente, os dados do mapa podem ser fornecidos como uma entrada adicional para o algoritmo de aprendizagem de máquina, por exemplo, como uma entrada de imagem adicional.
[014] O algoritmo de aprendizado de máquina vantajosamente compreende uma rede neural e, com mais preferência, uma rede neural profunda (compreendendo mais de uma camada oculta), embora as implementações com o uso de uma rede neural superficial possam ser consideradas. A rede neural profunda opcionalmente compreende uma ou mais dentre: uma rede neural convolucional; uma rede neural totalmente conectada; e uma rede neural recorrente, mas outros tipos de redes também podem ser considerados. A rede neural profunda pode compreender uma ou mais camadas de rede neural convolucional. O algoritmo de aprendizado de máquina é, de preferência, multimodal, na medida em que pode receber dados de imagem e não imagem como entradas para treinamento e teste.
[015] Nas modalidades, as imagens são processadas para identificar e/ou quantificar uma ou mais características extraídas e/ou pelo menos uma característica morfológica, como um ou mais dentre: vasos atípicos; mosaicismo; e pontuação. O um ou mais recursos extraídos e/ou pelo menos uma característica morfológica podem ser fornecidos como uma entrada adicional para o algoritmo de aprendizado de máquina. Em uma abordagem menos preferida, isso pode permitir a divisão das imagens em patches (com base em um ou mais recursos extraídos e/ou pelo menos uma característica morfológica).
[016] Uma ou mais características do sujeito (cada uma relacionada a um sujeito do qual o tecido biológico se origina) podem ser fornecidas como outra entrada para o algoritmo de aprendizado de máquina. Por exemplo, as características do sujeito podem incluir: fatores de risco do sujeito e/ou resultados de teste clínico do sujeito. Os fatores de risco do sujeito podem incluir um ou mais dentre: a idade do sujeito; o estado fumante do sujeito; o estado de vacinação contra o HPV; número de parceiros sexuais; uso de preservativos; e uma paridade para o sujeito. Os resultados do teste clínico do sujeito podem compreender um ou mais dentre: um resultado de citologia anterior; um resultado de teste anterior de papilomavírus humano (HPV); um resultado de teste anterior de tipagem de HPV; uma informação de tratamento cervical anterior; e uma história anterior de rastreamento de cânceres ou pré-cânceres cervicais.
[017] Vantajosamente, o algoritmo de aprendizado de máquina aloca uma de uma pluralidade de classificações para cada um de um ou mais segmentos do tecido.
O segmento ou segmentos podem ser identificados a partir dos dados de imagem usando o algoritmo de aprendizado de máquina, por exemplo, para identificar regiões individuais de interesse ou lesões. Uma porção das imagens correspondentes ao colo do útero pode ser identificada em algumas modalidades, o que pode permitir que segmentos adequados sejam determinados. Por exemplo, as classificações podem assumir a forma de marcas de diagnóstico. Em outra opção, as classificações podem ser na forma de um 'mapa de calor' de uma imagem do tecido (que é uma imagem de saída, vantajosamente com base na pluralidade de imagens), em que a intensidade e/ou cor de cada pixel é indicativo de uma classificação para esse pixel, de preferência, uma classificação probabilística para o pixel. Em outra opção, a saída de classificação pode ser na forma de um marcador de risco, em que uma área de tecido é destacada (por exemplo, por uma caixa delimitadora) como sem risco, baixo ou alto risco. Opcionalmente, uma classificação geral para o tecido também pode ser alocada.
Isso pode ser baseado nas classificações alocadas aos segmentos ou no resultado de um modelo de aprendizado de máquina paralelo (separado).
[018] O algoritmo de aprendizado de máquina é vantajosamente treinado com base em uma respectiva pluralidade de imagens e uma respectiva classificação alocada (ou classificações, se aplicável) para cada um de uma pluralidade de outros tecidos biológicos. O número de outros tecidos biológicos pode ser grande, por exemplo, pelo menos 500, 1000, 2000 ou 5000. A classificação alocada pode ser tal que uma região específica (ou grupo de regiões múltiplas) de cada tecido é caracterizada por leituras histopatológicas.
[019] O algoritmo de aprendizado de máquina também pode ser continuamente e/ou dinamicamente treinado (aprendizado incremental) usando métodos como aprendizado de transferência e retreinamento seletivo (como descrito em “Lifelong Learning with Dynamically Expandable Networks”, Yoon et al, ICLR 2018), fornecendo uma classificação determinada pelo usuário ou de banco de dados para o tecido (tal como fornecida por um profissional médico, por exemplo, de biópsia ou tratamento excisional com histologia ou avaliação subjetiva) para o algoritmo de aprendizado de máquina (e/ou uma versão do algoritmo de aprendizado de máquina operativo em um segundo sistema de computador). Quando o algoritmo de aprendizado de máquina é fornecido de uma forma distribuída, uma primeira parte pode ser fornecida localmente para o módulo de coleta de imagens e uma segunda parte pode ser fornecida mais remotamente. Ambas as partes podem ser capazes de atribuir classificações. O treinamento contínuo (dinâmico) pode ser aplicado apenas à segunda parte, particularmente em lotes e pode incorporar dados de múltiplas primeiras partes diferentes. A primeira parte pode ser um algoritmo fixo, que pode ser atualizado (em intervalos, por exemplo, após uma pluralidade de classificações ou um período de tempo específico).
Breve Descrição dos Desenhos
[020] A invenção pode ser posta em prática de uma série de maneiras e modalidades preferidas e serão agora descritas a título de exemplo apenas e com referência aos desenhos anexos, nos quais:
[021] A Figura 1 mostra um diagrama esquemático de um sistema de computação de acordo com a divulgação;
[022] A Figura 2 representa esquematicamente um processo de acordo com a divulgação;
[023] A Figura 3 ilustra esquematicamente um fluxograma que ilustra uma metodologia para um sistema experimental de acordo com a divulgação;
[024] A Figura 4 descreve esquematicamente um modelo de classificação de floresta aleatório conhecido;
[025] A Figura 5 mostra esquematicamente uma arquitetura de rede neural artificial conhecida;
[026] A Figura 6 ilustra esquematicamente uma arquitetura de memória de classificação de longo prazo conhecida;
[027] As Figuras 7A, 7B, 7C e 7D mostram, cada uma, mapas de calor indicativos para o primeiro exemplo de tecidos biológicos processados por um método existente (Figura 7A) ou de acordo com a metodologia das Figuras 4 a 6 (Figuras 7B, 7C e 7D); e
[028] As Figuras 8A, 8B, 8C e 8D mostram, cada uma, mapas de calor indicativos para o segundo exemplo de tecidos biológicos processados por um método existente (Figura 8A) ou de acordo com a metodologia das Figuras 4 a 6 (Figuras 8B, 8C e 8D).
Descrição Detalhada das Modalidades Preferidas
[029] Com referência primeiro à Figura 1, é mostrado um diagrama esquemático de um sistema de computação de acordo com a divulgação. O sistema de computação compreende: um módulo de coleta de imagens 10; um processador local 15; um servidor principal 20; um banco de dados de identidade 30; um banco de dados de imagem 40. Uma interface local 12 acopla o módulo de coleta de imagem 10 com o processador local 15. Uma interface de processamento 22 acopla o processador local 15 com o servidor principal 20. Uma primeira interface de identidade 32 acopla o banco de dados de identidade 30 com o processador local 15 e uma segunda interface de identidade 34 acopla o banco de dados de identidade 30 com o servidor principal 20. Uma primeira interface de dados de imagem 42 acopla o banco de dados de imagem 40 com o processador local 15 e uma segunda interface de dados de imagem 44 acopla o banco de dados de imagem 40 com o servidor principal
20. Será notado que o sistema de computação da Figura 1 incorpora partes que podem ser distintas de um computador, por exemplo, sendo parte de um sistema óptico e/ou de um sistema de controle eletrônico. No entanto, todos eles serão considerados parte do sistema de computação para os fins desta divulgação.
[030] O módulo de coleta de imagens 10 é uma unidade de imagem colposcópica, para captura e coleta de imagens ópticas de uma área de exame, em particular, um colo do útero. Embora a principal modalidade da presente invenção se refira a um sistema colposcópico e haja vantagens significativas e distintas aplicáveis a tal sistema, será entendido que a implementação aqui descrita pode ser usada para outros tipos de sistema para exame e/ou imagem de tecido biológico. O módulo de coleta de imagem 10 é controlado pelo processador local 15, que pode incluir uma interface de usuário, por exemplo, compreendendo controles e/ou exibição. O banco de dados de identidade 30 é usado para armazenar dados de identidade do paciente.
Durante um exame, o processador local pode fazer interface com o banco de dados de identidade 30 usando a primeira interface de identidade 32, para recuperar dados de identidade para o paciente que está sendo examinado. As imagens coletadas durante o exame são armazenadas no banco de dados de imagem 40 por meio da primeira interface de dados de imagem 42. Um identificador de paciente pode ser armazenado com as imagens de patentes para permitir referência cruzada com as informações armazenadas no banco de dados de identidade 30.
[031] Como parte do processo de exame, o ácido acético diluído é aplicado topicamente no colo do útero, o que causa um efeito de acetobranqueamento.
Imagens do colo do útero são tiradas durante o processo de acetobranqueamento. O início da captura das imagens ocorre após a aplicação do ácido acético diluído e pode ocorrer ainda antes e no momento da aplicação (para fornecer uma imagem de referência). O alvo ou área de exame, incluindo o colo do útero, é iluminada. As propriedades da iluminação são normalmente padronizadas e quantificadas em termos de características do feixe, perfil de cor e intensidade. As séries de imagens ópticas do colo do útero são capturadas ao longo do tempo com o objetivo de quantificar quaisquer alterações nas propriedades ópticas do epitélio cervical.
Normalmente, as imagens são tiradas em momentos predeterminados em relação ao momento em que o ácido acético diluído é aplicado. Os tempos predeterminados podem ser em intervalos regulares ou podem ser mais frequentes no início e menos frequentes posteriormente. Essas imagens são armazenadas no banco de dados de imagem 40, conforme discutido acima. As imagens podem ser capturadas e/ou armazenadas na forma de imagens discretas e/ou como um formato ou fluxo de vídeo e, opcionalmente, também são exibidas usando a interface de usuário do processador local 15 (tendo uma ou mais telas), o que pode permitir que operador também realize um exame. O módulo de coleta de imagens é calibrado, de forma que tenha características padronizadas e mensuráveis (como campo de visão e/ou perfil de cores e/ou resposta à intensidade da luz). A distância de foco para cada imagem é conhecida e salva. As imagens ópticas podem capturar um amplo espectro de frequência ou um estreito espectro de frequência (por exemplo, limitado a uma ou mais bandas de frequência óptica específicas, cada uma das quais é menor do que o espectro óptico completo, como cores específicas ou grupos de cores)
[032] O processamento das imagens ópticas 'brutas' (o termo "imagens ópticas" neste documento normalmente se refere a imagens brutas ou tais imagens antes da conclusão do processamento e/ou análise de imagem) pode ocorrer no processador local 15 e/ou no servidor principal 20, por exemplo, na forma de um subsistema de análise de imagem. Uma forma de processamento é padronizar o tamanho das imagens. Para um sistema óptico de comprimento focal fixo, isso pode ser alcançado com referência à distância de foco para cada imagem óptica.
Normalmente, a distância de foco para cada uma das imagens ópticas da mesma área de exame será a mesma (especialmente ao usar um aparelho colposcópico, conforme descrito na Publicação de Patente Internacional número WO-01/72214, em que a posição relativa entre o tecido e a cabeça óptica do aparelho permanece quase constante durante a captura de múltiplas imagens. Usando a respectiva distância de foco para a imagem óptica, a imagem pode ser dimensionada para um tamanho padrão (de modo que cada pixel corresponda a um comprimento físico padrão). Isso permite a comparação de imagens obtidas para diferentes tecidos. No entanto, se um aparelho colposcópico menos vantajoso for usado, no qual a posição relativa entre o tecido e a cabeça óptica do aparelho pode variar, a pluralidade de imagens pode ser dimensionada para padronizar seu tamanho.
[033] Uma resolução típica para dimensionar as imagens é 1024x768 ou 2048x1536, mas outras resoluções são possíveis. Outra forma de processamento é o alinhamento das imagens com referência a uma característica específica mostrada na imagem, como o colo do útero. O objetivo desse alinhamento é compensar os movimentos naturais, como deslocamentos e contrações durante a captura das imagens ópticas. Tal alinhamento pode ser efetuado pela identificação de um ou mais recursos específicos em cada uma das imagens e comparação das imagens com base na identificação do recurso, para determinar os parâmetros de transformação (tais como translação, rotação, ampliação ou deformação) para atingir o alinhamento dos recursos por meio da pilha de imagens. As técnicas de processamento de imagem padrão podem então ser usadas para implementar transformações com base nos parâmetros de transformação determinados. Uma outra forma de processamento de imagem pode incluir um algoritmo para processar as imagens ópticas brutas ou imagens pós-processadas, para identificar a área do colo do útero contra o fundo (região de interesse). Artefatos que podem coexistir nas imagens, como reflexos, podem ser identificados e removidos, em outra forma de processamento. O reconhecimento de padrões pode ainda identificar características morfológicas, como um ou mais dos seguintes: vasos atípicos; mosaicismo; e pontuação. Normalmente,
todas as formas de técnica de processamento de imagem são usadas, mas apenas um subconjunto pode ser aplicado em algumas modalidades. Além disso, diferentes formas de processamento podem ser realizadas em diferentes partes do sistema. As imagens processadas estão no formato JPEG ou PNG de alta qualidade e no modo de cor RGB (mas formatos diferentes podem ser aceitos). Métricas de qualidade podem ser usadas para permitir a identificação de problemas com as imagens, como áreas que exibem reflexos ou outros artefatos e imagens não focadas. Isso pode permitir sua exclusão de qualquer análise e/ou fornecer feedback aos usuários.
[034] Nos últimos anos, a Inteligência Artificial (AI - “Artificial Intelligence”) surgiu como um método comprovado para ser implementado em uma variedade de áreas de atividades humanas, incluindo aplicações médicas e relacionadas à saúde.
Algoritmos avançados desenvolvidos em toda a comunidade científica prometem processos mais precisos e eficientes. A aplicação de AI para o processamento de imagens médicas, particularmente com o uso de uma imagem do colo de útero ao qual foi aplicado o processo de acetobranqueamento, já foi considerada. Agora foi reconhecido que a aplicação (por exemplo, coleta e análise) de várias imagens do colo do útero durante o processo de acetobranqueamento pode melhorar significativamente o desempenho da AI. Isso pode ser devido a um reconhecimento surpreendente de que em efeitos ópticos transitórios, como o efeito de acetobranqueamento, o efeito pode ser diferente não apenas no final do processo, mas também durante o próprio processo. A observação de apenas um instante do processo fornece algumas informações sobre o tecido biológico, neste caso especificamente o colo do útero. No entanto, como o processo pode não ser uniforme em todo o colo do útero, a observação de todo o processo pode fornecer informações adicionais significativas, que podem ser especialmente úteis para classificar corretamente os efeitos ópticos e seu significado para o tecido biológico. A AI fornecida com várias imagens do processo pode, assim, permitir um método colposcópico para identificar e/ou caracterizar áreas suspeitas de neoplasia cervical.
[035] A AI no sistema da Figura 1 é fornecida tanto no processador local 15 quanto no servidor principal 20. Ambos os sistemas são capazes de acessar a pluralidade de imagens do colo do útero capturadas durante o processo de acetobranqueamento e armazenadas no banco de dados de imagem 40. O processador local usa um algoritmo de AI fixo, que permite a classificação imediata do colo do útero com base nas imagens. O servidor principal 20 usa um algoritmo de AI que é atualizado mais regularmente, de preferência, em lotes de resultados (em outras palavras, o algoritmo está continuamente e dinamicamente aprendendo a partir dos lotes de dados) e, menos preferencialmente, pode ser atualizado a cada novo exame. Para efetuar isso, o algoritmo de AI no servidor principal 20 pode ter uma estrutura e/ou parametrização diferente em comparação com o AI fixo e esta diferença pode aumentar ao longo do tempo conforme o treinamento adicional é fornecido ao algoritmo de AI no servidor principal 20. O processador local 15 usa um algoritmo de AI fixo, que pode ser atualizado em intervalos, de preferência, usando o algoritmo de AI treinado no servidor principal, em particular depois de desenvolvido para um estado estacionário. O algoritmo de AI fixo pode fornecer resultados mais rápidos do que o algoritmo de AI operativo no servidor principal 20. O servidor principal 20 pode ser baseado em nuvem, de modo que seja capaz de coletar e analisar conjuntos de dados de imagens cervicais de múltiplos dispositivos remotos. O conjunto de treinamento pode, portanto, ser grande e capaz de capturar diferenças resultantes de mudanças demográficas ou mudanças nos programas de triagem, por exemplo.
[036] A AI pode ser implementada no processador local 15 e/ou servidor principal 20 como um módulo de software. Esta AI compreende um algoritmo de aprendizado de máquina. Normalmente, ela usa redes neurais e pode ser uma rede neural profunda (que compreende mais de uma camada oculta). Mais especificamente, uma rede neural totalmente conectada (fcNN - “fully-connected neural network”), uma rede neural recorrente (RNN - “recurrent neural network”) ou uma rede neural convolucional (CNN - “convolutional neural network”), ou combinações das mesmas ou outros tipos de redes neurais em esquemas de conjunto podem ser usadas. Na modalidade mais básica, a AI é fornecida com os dados de várias imagens capturadas durante o efeito de acetobranqueamento, como será discutido abaixo. No entanto, dados adicionais são, de preferência, também fornecidos à AI. Nesse caso, a AI pode compreender uma rede neural multimodal, que pode combinar dados de imagem e não imagem.
[037] As imagens fornecidas para a AI podem ser séries temporais de imagens 'brutas' capturadas pelo sistema óptico. No entanto, as imagens serão mais tipicamente fornecidas pós-processamento das imagens ópticas 'brutas', especialmente após o dimensionamento e/ou alinhamento pelo algoritmo de software e/ou após o processamento de um ou mais dos seguintes: identificação do colo do útero; remoção de artefato; e reconhecimento de padrões. Ambas as imagens brutas e pós-processadas podem ser fornecidas como entradas em algumas implementações. Todo o conjunto de imagens conforme capturado ou um subconjunto do conjunto de imagens (em qualquer caso, com ou sem processamento adicional) pode ser fornecido como entrada para a AI. Por exemplo, as imagens brutas ou pós- processadas podem ser subdivididas em patches, que podem ser fornecidos como os dados da imagem. Os tamanhos dos patches e/ou número de patches fornecidos podem variar entre as imagens. A extração de recursos e/ou outro processamento aqui descrito pode ser aplicado aos patches, em vez de à imagem geral ou inteira.
[038] Uma entrada adicional para a AI pode ser baseada em processamento de dados adicional de dados de imagem (tipicamente pós-processamento das imagens ópticas 'brutas', especialmente para atingir o mesmo dimensionamento e alinhamento). Este processamento de dados adicional pode ser usado para medir as características de refletância difusa nas imagens e pode ser realizado no processador local 15 e/ou servidor principal 20. Inicialmente, os valores de pixel (como intensidades) podem ser extraídos das imagens alinhadas e referenciados de acordo com o tempo em que a imagem foi capturada (que pode ser o tempo absoluto ou relativo ao tempo em que o ácido acético diluído foi aplicado topicamente). Diferentes parâmetros são então calculados a partir dos valores de pixel resolvidos no tempo, como a intensidade máxima, o tempo até a intensidade máxima e a área sob uma curva do valor do pixel em relação ao tempo (isto é, uma integral do valor de pixel ao longo do tempo). Esses parâmetros podem ser calculados em uma ou várias bandas espectrais e/ou para todos os pixels ou uma subamostra dos pixels da imagem.
Embora os parâmetros possam ser baseados diretamente nos valores de pixel resolvidos no tempo conforme capturados, os parâmetros podem, em vez disso, ser calculados usando valores intermediários calculados a partir dos valores de pixel resolvidos no tempo. Por exemplo, os valores intermediários podem ser determinados ajustando os valores de pixel resolvidos no tempo extraídos para uma função matemática (como uma função linear, uma curva ou um exponencial). Em seguida, os coeficientes desta função podem ser usados para calcular os diferentes parâmetros, como a intensidade máxima, o tempo até a intensidade máxima e a área sob o valor do pixel em relação à curva do tempo. Esses parâmetros podem ser usados como entradas específicas para a AI, que podem ser representativos do nível de refletância difusa. Em outra abordagem, os parâmetros podem ser usados para calcular um único valor de índice numérico por pixel, por exemplo, a partir de um único parâmetro ou de uma combinação ponderada dos parâmetros. O valor de índice numérico único por pixel pode então ser fornecido como uma entrada para a AI. Alternativamente, uma cor de uma escala de pseudo-cor pode ser atribuída a cada pixel com base em seu valor de índice e um mapa paramétrico de pseudo-cor pode ser produzido plotando a pseudo-cor correspondente sobre cada pixel da imagem cervical. Então, este mapa paramétrico de pseudo-cor pode ser fornecido como uma entrada para a AI.
[039] Uma entrada adicional para a AI pode ser baseada em processamento de dados adicional de dados de imagem (tipicamente pós-processamento das imagens ópticas 'brutas', especialmente para atingir o mesmo dimensionamento e alinhamento). Isso pode ser feito separadamente em sub-porções da imagem que podem ser definidas como manchas de 8x8 ou 16x16 ou 32x32 pixels (com outras formas e/ou tamanhos de patches também possíveis). Cada imagem pode ser decomposta em um número de patches com um passo entre eles, que pode ser de 4, 8, 16, 32 pixels (com outros tamanhos também possíveis). Desta forma, cada patch pode ter uma sobreposição parcial com seus patches vizinhos e um grande número de patches pode ser extraído de cada imagem ou porção da imagem. Este processamento de dados adicional pode ser usado para extrair recursos personalizados ou feitos à mão, com base em funções matemáticas que descrevem a cor local, gradiente e textura (com outros tipos de funções também possíveis). Em seguida, esses recursos podem ser fornecidos como uma entrada para a AI.
[040] Outras formas de informações podem ser fornecidas como uma ou mais entradas adicionais para a AI, por exemplo, usando informações armazenadas no banco de dados de identidade 30. Essas informações podem incluir um ou mais dos seguintes: dados demográficos do paciente; fatores de risco do paciente; informações de histórico médico anterior; e resultados de testes clínicos. Os dados demográficos do paciente podem compreender, por exemplo, a idade do paciente no momento do exame (ou que a idade está acima de um limite predefinido). Os fatores de risco do paciente podem incluir: um estado de fumante para o paciente (como um de não fumante, fumante regular, ocasional ou que já foi fumante); um estado sexual e/ou histórico do paciente; o uso de preservativo nas relações sexuais (como sempre, ocasionalmente ou nunca); o estado da vacinação contra o HPV; e uma paridade para o paciente (em função de haver nascimento e/ou número de nascimentos). Os resultados do teste clínico do paciente podem compreender pelo menos um ou qualquer combinação de: resultados de citologia anteriores; resultados de testes de HPV anteriores; resultados de testes de tipagem de HPV anteriores; informações de tratamento cervical anterior; e história prévia de rastreamento e/ou diagnóstico de cânceres ou pré-cânceres cervicais. Os possíveis resultados da citologia podem ser um dentre (ordenados por gravidade): Normal, ASCUS (borderline), LSIL (discariose leve), ASC-H, discariose moderada, discariose grave (HSIL), suspeita de alterações glandulares ou suspeita de câncer invasivo. Os resultados possíveis para os testes de HPV podem ser Negativo, HR-positivo, 16 positivo, 16/18 positivo ou outro.
[041] Em termos gerais, pode, portanto, ser considerado um método de classificação (in vivo ou in vitro) de um tecido biológico, como o colo do útero, com o uso de um sistema de computação. Dados de imagem compreendendo uma pluralidade de imagens de uma área de exame de um tecido biológico são recebidos no sistema de computação. Cada uma da pluralidade de imagens é capturada em momentos diferentes durante um período de aplicação tópica de um agente de diferenciação de patologia (particularmente compreendendo ácido acético, que é de preferência diluído) para a área de exame do tecido. Isso causa efeitos ópticos transitórios, como o branqueamento, que pode ser acetobranqueamento (quando o ácido acético é empregado). Os dados de imagem recebidos são fornecidos como uma entrada para um algoritmo de aprendizado de máquina operativo no sistema de computação (especificamente um ou mais processadores do sistema de computação, por exemplo). O algoritmo de aprendizado de máquina, que vantajosamente compreende uma rede neural e, com mais preferência, uma rede neural profunda, é configurada para alocar uma de uma pluralidade de classificações ao tecido. Na modalidade preferida, o algoritmo de aprendizado de máquina é configurado para alocar uma de uma pluralidade de classificações a cada um de uma pluralidade de segmentos do tecido, que vantajosamente pode ser apresentado na forma de um mapa de calor indicando as classificações (como será discutido mais adiante). O método pode ser implementado como um programa de computador.
[042] Em outro sentido, pode ser considerado um sistema de computação operativo para classificação de um tecido, compreendendo: uma entrada configurada para receber dados de imagem compreendendo uma pluralidade de imagens de uma área de exame de um tecido biológico; e um processador, configurado para operar um algoritmo de aprendizado de máquina configurado para alocar uma de uma pluralidade de classificações ao tecido com base nos dados de imagem. Cada uma da pluralidade de imagens é capturada em momentos diferentes durante um período em que a aplicação tópica de um agente de diferenciação de patologia à área de exame do tecido causa efeitos ópticos transitórios.
[043] Antes de fornecer detalhes de implementação adicionais da modalidade específica preferida, algumas características opcionais e/ou vantajosas deste método generalizado e/ou sistema de computador serão discutidas. Esses recursos podem ser normalmente aplicados a qualquer aspecto.
[044] A pluralidade de imagens (ou imagens ópticas das quais a pluralidade de imagens é derivada, também chamadas de imagens brutas) são geralmente capturadas em intervalos (que podem ser regulares, mas não precisam ser) de uma duração predeterminada, durante o período em que o a aplicação tópica de um agente de diferenciação de patologia na área de exame do tecido causa os efeitos ópticos transitórios. Pelo menos uma imagem do tecido biológico antes da aplicação tópica do agente de diferenciação de patologia à área de exame do tecido causando efeitos ópticos transitórios pode ser capturada (uma imagem de referência de linha de base) e isso pode ser fornecido como uma entrada adicional para o algoritmo de aprendizagem de máquina. A área de exame é vantajosamente exposta à radiação óptica de banda larga durante o período em que a aplicação tópica de um agente de diferenciação de patologia na área de exame do tecido causa efeitos ópticos transitórios. A radiação óptica de banda larga tem, de preferência, uma largura de banda baseada nos efeitos ópticos transitórios, por exemplo, uma largura de banda que fará com que um efeito de acetobranqueamento seja visível nas imagens capturadas. O nível de iluminação do brilho da imagem alcançado pela radiação óptica pode ser bem caracterizado em relação à intensidade da luz incidente e à distância entre a fonte de luz e o alvo. A radiação óptica de banda larga pode cobrir todo o espectro óptico, pelo menos 90%, 80%, 75%, 70%, 60% ou a maioria (50%) do espectro óptico. A radiação óptica de banda estreita pode ser usada em alguns casos, por exemplo, para certos agentes de diferenciação de patologia (como diagnóstico molecular, por exemplo, usando marcadores de fluoresceína). Nesse caso, a radiação óptica de banda estreita pode cobrir menos de 50%, 40%, 30%, 20% ou 10% do espectro óptico, por exemplo, limitado a uma única cor, como ultravioleta ou infravermelho.
[045] O processador do sistema de computação pode compreender um único dispositivo de processamento ou uma pluralidade de dispositivos de processamento.
Cada dispositivo de processamento é opcionalmente configurado para operar uma parte do algoritmo de aprendizado de máquina (por exemplo, de forma distribuída).
Os dispositivos de processamento podem estar localizados em locais diferentes (remotos).
[046] Uma pluralidade de imagens ópticas (imagens brutas) da área de exame do tecido biológico são capturadas com vantagem. Isso pode ser obtido com o uso de um módulo de coleta de imagens (compreendendo uma câmera adequadamente montada e/ou sob o controle do processador). O módulo de coleta de imagens é opcionalmente localizado remotamente do processador no qual o algoritmo de aprendizado de máquina é operado (ou pelo menos um dos dispositivos de processamento, onde vários dispositivos de processamento são usados).
[047] A pluralidade de imagens dos dados de imagem pode ser derivada da pluralidade de imagens ópticas (brutas). Opcionalmente, uma ou mais da pluralidade de imagens ópticas são fornecidas como uma entrada adicional para um algoritmo de aprendizado de máquina. Vantajosamente, o módulo de coleta de imagens é calibrado, por exemplo, em intervalos regulares ou após um número predeterminado de capturas de imagens e/ou exames de tecidos biológicos individuais (ou pacientes).
Cada imagem óptica pode ser capturada em uma respectiva distância de foco. As distâncias de foco podem ser as mesmas. A imagem óptica pode, então, ser dimensionada com base na distância de foco e uma distância de referência para fornecer uma respectiva da pluralidade de imagens, em particular, de modo que a escala de cada uma da pluralidade de imagens esteja em um nível predeterminado.
Cada imagem óptica é, de preferência, transformada de modo a fornecer o alinhamento da área de exame dentro da pluralidade de imagens. Adicionalmente ou alternativamente, cada imagem óptica pode ser processada para remover um ou mais artefatos ou tipos de artefatos. A pluralidade de imagens pode ser processada para identificar uma porção da pluralidade de imagens correspondendo a um órgão predeterminado. Por exemplo, quando o tecido biológico compreende um colo do útero, a pluralidade de imagens pode ser processada para identificar uma porção da pluralidade de imagens correspondentes ao colo do útero. Em algumas modalidades, a pluralidade de imagens pode ser processada para identificar e/ou quantificar pelo menos uma característica extraída e/ou pelo menos uma característica morfológica, tal como um ou mais dentre: vasos atípicos; mosaicismo; e pontuação. O recurso ou recursos extraídos e/ou a característica ou características morfológicas podem ser fornecidos como uma entrada adicional (ou entradas adicionais) para o algoritmo de aprendizado de máquina.
[048] Cada uma das várias imagens é definida por um respectivo conjunto de pixels e, opcionalmente, cada um dos conjuntos de pixels tem o mesmo arranjo de pixels. Na modalidade preferida, os dados do mapa são obtidos, compreendendo um índice de análise respectivo para cada pixel da disposição do pixel, sendo os índices de análise derivados da pluralidade de imagens. De preferência, o índice de análise para um pixel é gerado com base em pelo menos um parâmetro derivado da pluralidade de imagens. O pelo menos um parâmetro é opcionalmente limitado a uma largura de banda espectral predeterminada e onde vários parâmetros são derivados, estes podem compreender um primeiro parâmetro limitado a uma primeira largura de banda espectral predeterminada e um segundo parâmetro limitado a uma segunda largura de banda espectral predeterminada (diferente da primeira largura de banda espectral predeterminada). Cada parâmetro pode ser determinado com base nos dados exatos do pixel e/ou ajustando dados para o pixel através da pluralidade de imagens a uma linha ou curva e determinando o parâmetro da curva. O índice de análise para cada pixel pode ser baseado em um único parâmetro ou uma combinação ponderada de vários parâmetros. O pelo menos um parâmetro compreende, por exemplo, um ou mais dentre: uma intensidade máxima para o pixel ao longo da pluralidade de imagens; um tempo para atingir a intensidade máxima para o pixel; e um somatório ou somatório ponderado de uma intensidade para o pixel sobre a pluralidade de imagens. O somatório ponderado de uma intensidade para o pixel ao longo da pluralidade de imagens pode usar pesos com base no tempo de captura para cada uma da pluralidade de imagens, por exemplo, seu tempo relativo de captura.
Isso pode permitir uma integração da intensidade ao longo do tempo a ser calculada (ou uma área sob uma curva de intensidade em relação ao tempo). Os dados do mapa (ou pelo menos um ou mais dos índices de análise) podem ser fornecidos como uma entrada adicional para o algoritmo de aprendizado de máquina.
[049] Em algumas modalidades, uma ou mais características do sujeito são fornecidas como uma entrada para o algoritmo de aprendizado de máquina. Cada característica do sujeito pode estar relacionada a um sujeito do qual o tecido biológico se origina. Por exemplo, a uma ou mais características do sujeito podem compreender um ou mais dentre: fatores de risco do sujeito (como um ou mais dentre: a idade do sujeito; o estado de fumante do sujeito; o estado de vacinação contra o HPV do sujeito; o uso de preservativos durante a relação sexual; e uma paridade para o sujeito); e resultados de teste clínico do sujeito (por exemplo, um ou mais dentre: um resultado de citologia anterior; um resultado de teste de HPV anterior; um resultado de teste de tipagem de HPV anterior; uma informação de tratamento cervical anterior; e uma história anterior de triagem e/ou diagnóstico de cânceres ou pré-cânceres cervicais).
[050] Mais detalhes de implementação serão discutidos agora. Com referência agora à Figura 2, é representado esquematicamente um processo de análise colposcópica de acordo com a divulgação. Conforme mostrado no lado esquerdo da representação, a etapa inicial no processo é a captura, preparação e análise de imagens 100. Inicialmente, as imagens originais 102 são capturadas, estas são então processadas para produzir imagens alinhadas 104 e um mapa paramétrico de pseudo-cor 106 é produzido. Estes são fornecidos como entradas para uma etapa de processamento de AI 110. Também são fornecidos como uma entrada para a etapa de processamento de AI 110 os dados de não imagem 120, que podem incluir: informações de idade 121; estado de fumante 122; estado do HPV 123; e estado do teste de Pap 124. Entradas diferentes e/ou adicionais também são possíveis, conforme discutido neste documento.
[051] A AI (particularmente o algoritmo operativo no servidor principal 20) é treinada para classificar o tecido do qual as imagens foram capturadas em algum sentido. Diferentes conjuntos de dados podem ser usados para treinar diferentes aspectos da AI. O tipo ou tipos de dados usados para treinamento podem incluir qualquer um ou mais do tipo ou tipos de dados usados para classificação. Em uma implementação, a AI é configurada para fornecer uma classificação de Neoplasia Intraepitelial Cervical (CIN - “Cervical Intraepithelial Neoplasia”), com base em dados de treinamento que compreendem imagens e uma classificação relevante de um conjunto bem caracterizado de casos de pacientes com áreas de biópsia e resultados histopatológicos conhecidos. Em particular, este é um conjunto de casos com locais conhecidos que foram submetidos à biópsia e os resultados histológicos das biópsias são vantajosamente conhecidos. Anotações do revisor especialista em áreas suspeitas também podem estar disponíveis e podem ser fornecidas como dados de treinamento adicional. Em certas implementações, o conjunto de casos foi submetido a tratamento excisional e um mapeamento detalhado de sua histologia está disponível, incluindo várias seções por espécime de tratamento, que também podem ser fornecidas como dados de treinamento. A AI pode classificar o colo do útero em uma escala de risco, onde os diferentes níveis desta escala correspondem ao risco geral do paciente de ter diferentes graus de CIN (por exemplo, em uma escala de 0 a 1, 0 a 100 ou 1 a 100 em um escala inteira ou contínua). Diferentes limiares nesta escala podem ser selecionados para ajustar o desempenho final ou fornecer uma indicação direta de nenhum, baixo ou alto risco. Em outra modalidade, a AI pode fornecer diretamente os resultados em classificações, por exemplo, Normal, CIN1, CIN2, CIN3, AIS ou câncer invasivo (um de uma pluralidade de marcadores de doença).
[052] Conjuntos de dados de treinamento podem ser fornecidos a partir de ensaios clínicos. Estes podem incluir uma ou mais das imagens temporizadas (dinâmicas) do colo do útero com acetobranqueamento (em sua forma original e alinhada), os dados constituintes para fornecer um mapa paramétrico de pseudo- cores para as imagens, resultados de histologia (com localizações de biópsia onde conhecidas), bem como as características basais do paciente (idade, citologia, HPV, tabagismo, história prévia de doença ou outros). Um conjunto de dados do paciente pode incluir o conjunto de imagens conforme capturado durante o exame com uma imagem de referência (aplicação de ácido pré-acético) e todas as imagens temporizadas subsequentes (ácido pós-acético) (até 24). A resolução da imagem pode ser 1024x768, 1600x1200 ou 2800x2100, com outras resoluções também possíveis. Adicionalmente ou alternativamente, o conjunto de dados do paciente pode incluir o conjunto de imagens conforme alinhado pelo algoritmo de processamento de imagens, que pode conter uma imagem de referência (aplicação de ácido pré-acético) e todas as imagens temporizadas subsequentes (ácido pós-acético) (até 24). A resolução da imagem alinhada pode ser 1024x768 ou 2048x1536, por exemplo. Uma resolução típica para o mapa paramétrico de pseudocores é 1024x768 ou 2048x1536, por exemplo. Os resultados da histologia podem ser um dentre (ordenados por gravidade): Normal, CIN1, CIN2, CIN3, AIS, Câncer invasivo.
[053] Embora uma única classificação para o tecido possa ser gerada pela AI, outras opções também são possíveis. Em uma implementação específica, a AI analisa e pode segmentar a imagem do colo do útero para cada paciente examinada com o sistema. A imagem pode ser segmentada de forma predeterminada ou baseada na identificação de lesões ou risco de doença e, opcionalmente, pode ser feita fora do algoritmo de aprendizado de máquina. Cada segmento do colo do útero é então classificado em uma escala de risco para o risco estimado para diferentes graus de NIC (conforme discutido acima) ou para fornecer uma classificação de um de vários estados de doença distintos. Opcionalmente, a AI também pode classificar cada pixel e/ou segmento de acordo com uma determinada presença de uma característica morfológica. Esta pode ser uma saída intermediária da AI, que pode ser usada para determinar outras classificações, mas não precisa ser fornecida como uma saída para um usuário.
[054] Os resultados de segmentação e classificação de AI podem ser exibidos como um "mapa de calor" probabilístico (um mapa paramétrico de pseudo-cores), como uma saída do AI. Isso é mostrado como uma saída AI 130 na Figura 2. A saída do mapa de calor da AI (que é diferente do mapa paramétrico de pseudo-cores produzido pelo processamento das imagens conforme descrito acima e que pode ser usado como uma entrada para a AI) é então vantajosamente exibida em uma forma gráfica como uma sobreposição nas imagens cervicais para o operador do sistema durante o exame (por exemplo, através do processador local 15) para facilitar a leitura e as decisões clínicas. A resolução do mapa de calor pode ser a mesma que as imagens em escala fornecidas como entrada para a AI (como 1024x768 ou 2048x1536, por exemplo). Este (ou processamento de imagem semelhante) pode permitir a sobreposição da saída do mapa de calor AI em uma imagem do colo do útero capturada durante o exame (por exemplo, pós-processamento). Tal “mapa de calor” pode ser de utilidade clínica significativa (como para identificação do local de biópsia ou tratamento excisional).
[055] Os resultados da segmentação e classificação da AI podem, alternativamente, ser exibidos como uma caixa delimitadora que indica as áreas que alcançam uma pontuação de classificação acima de um limiar predefinido como uma saída do AI. Por exemplo, isso pode ser uma indicação de nenhum, baixo ou alto risco, ou diretamente com um marcador de doença, por exemplo: Normal; CIN1; CIN2; CIN3; AIS; ou câncer invasivo.
[056] Para cada resultado que ele produz, o módulo de AI também pode calcular um intervalo de confiança de acompanhamento ou outra medida de precisão que pode ser na forma gráfica ou numérica.
[057] A abordagem discutida nesta divulgação melhorará a precisão e o desempenho da curva de característica de operação do receptor (ROC - “receiver operating characteristic”). Isso pode ser medido como AUC (“Área sob a curva”), que, porque a curva ROC traça a taxa de verdadeiro positivo em relação à taxa de falso positivo e, portanto, representa o desempenho combinado de sensibilidade e especificidade. O desempenho da AI pode ser determinado comparando a classificação de AI com a verdade fundamental (resultado da histologia) para cada paciente testado e caracterizou a comparação como um dentre: verdadeiro positivo (TP - “true positive”); falso positivo (FP - “false positive”); verdadeiro negativo (TN -
“true negative”); e falso negativo (FN - “false negative”). As principais métricas para comparação podem ser a precisão, sensibilidade e especificidade gerais. As medidas secundárias podem incluir os valores preditivos positivos e negativos.
[058] Com referência ao sentido geral discutido acima, pode ser considerado em algumas modalidades que o algoritmo de aprendizado de máquina é configurado para alocar uma da pluralidade de classificações a cada um de um ou mais segmentos do tecido. Os um ou mais segmentos do tecido são identificados opcionalmente a partir dos dados de imagem, por exemplo, usando o algoritmo de aprendizado de máquina. Alternativamente, os segmentos podem ser baseados em um número de pixels em cada imagem dos dados da imagem. Uma imagem de saída pode ser gerada (e opcionalmente exibida), mostrando a área de exame do tecido biológico com base nos dados de imagem e indicando a classificação alocada a cada um da pluralidade de segmentos do tecido. Por exemplo, isso pode assumir a forma de um mapa de calor. Assim, a pluralidade de segmentos do tecido pode representar subáreas da área de exame do tecido biológico. Essas subáreas podem ser definidas e delimitadas de outras subáreas com base em uma ou mais máscaras, extração de recursos e/ou uma classificação comum atribuída a uma determinada subárea. Isso significa que a forma e o tamanho das subáreas podem, neste caso, ser determinados pelos recursos e/ou classificações aplicados ao tecido (e, portanto, podem não ser uniformes em tamanho ou formato). Consequentemente, o desempenho melhorado pode ser medido com base na capacidade de aplicar classificações individuais às diferentes porções do tecido (em oposição a uma classificação geral do tecido).
[059] Uma classificação pode ser alocada para o tecido (inteiro ou total) com base na classificação alocada para um ou mais segmentos do tecido (ou de uma combinação de classificações alocadas para vários segmentos, como uma soma ponderada). Adicionalmente ou alternativamente, a classificação alocada ao tecido (inteiro ou total) pode ser baseada em um algoritmo diferente do algoritmo de aprendizado de máquina, por exemplo, um modelo paralelo diferente. As classificações podem ser discretas ou definidas por uma escala de valores em uma faixa contínua (por exemplo, como uma probabilidade, nível ou pontuação de risco, como a presença de uma determinada condição).
[060] O algoritmo de aprendizado de máquina (ou uma versão operativa em um segundo sistema de computador, que pode ser remoto do sistema de computador) pode ser treinado com base em uma respectiva pluralidade de imagens e uma respectiva classificação alocada para cada um de uma pluralidade de outros tecidos biológicos (que pode ser capturado em momentos diferentes durante um período em que a aplicação tópica de um agente de diferenciação de patologia para a área de exame do tecido causa efeitos ópticos transitórios). O número de outros tecidos biológicos pode ser de pelo menos 100, 500, 1000 ou 5000 em alguns casos.
Opcionalmente, uma classificação determinada pelo usuário ou de banco de dados para o tecido pode ser fornecida ao algoritmo de aprendizado de máquina para seu treinamento adicional. Isso pode ser baseado em uma ou ambas as biópsias com resultado histológico conhecido ou a avaliação clínica de um profissional médico altamente treinado. Essas classificações podem ser fornecidas manualmente (por exemplo, diretamente por um clínico, profissional médico ou técnico) e/ou podem ser automaticamente extraídas de um banco de dados, por exemplo, dos registros do paciente, que podem fazer parte de um conjunto de dados de entrada. As classificações podem então ter sido inseridas no banco de dados (ou em um banco de dados diferente, do qual o conjunto de dados foi parcial ou totalmente derivado) manualmente.
[061] Em algumas modalidades, uma classificação pode ser alocada ao tecido com o uso de um primeiro algoritmo de aprendizado de máquina operativo em um primeiro processador do sistema de computação. Em alguns casos, o primeiro processador é local para um módulo de coleta de imagem, que está sendo usado para capturar uma pluralidade de imagens ópticas (brutas) da área de exame do tecido biológico, a partir do qual a pluralidade de imagens é derivada. Opcionalmente, uma classificação também pode ser alocada ao tecido com o uso de um segundo (diferente) algoritmo de aprendizado de máquina, operativo em um segundo processador do sistema de computação. Adicionalmente ou alternativamente, o segundo algoritmo de aprendizado de máquina (descrito acima como uma versão do algoritmo de aprendizado de máquina) pode ser treinado, por exemplo, usando a classificação ou classificações identificadas pelo primeiro algoritmo de aprendizado de máquina. O segundo processador é, de preferência, remoto do módulo de coleta de imagens e, em certos casos, o primeiro processador também pode ser remoto. O segundo algoritmo de aprendizado de máquina tem vantajosamente uma estrutura e/ou parametrização diferente em comparação com o primeiro algoritmo de aprendizado de máquina. Em algumas modalidades, a classificação alocada no primeiro processador pode ser fornecida como uma entrada para o segundo processador.
[062] Em uma modalidade, o segundo algoritmo de aprendizado de máquina pode ser treinado fornecendo uma classificação determinada pelo usuário ou de banco de dados para o tecido para o segundo algoritmo de aprendizado de máquina (por exemplo, de uma biópsia com histologia conhecida, como discutido acima). No entanto, o primeiro algoritmo de aprendizado de máquina opcionalmente não é treinado fornecendo uma classificação determinada pelo usuário ou de banco de dados para o tecido ao primeiro algoritmo de aprendizado de máquina. Desta forma, um algoritmo de aprendizado de máquina (de complexidade rápida e/ou menor) pode ser fornecido sem treinamento (ou seja, um algoritmo fixo), com um algoritmo de aprendizado de máquina (mais lento e/ou mais sofisticado) fornecido com treinamento dinâmico contínuo (incremental aprendizagem), por exemplo, com base nos dados adicionais fornecidos. De acordo com o treinamento dinâmico contínuo, por exemplo,
o segundo algoritmo de aprendizado de máquina pode ser fornecido com, para cada uma de uma pluralidade de áreas de exame de um ou mais tecidos biológicos, um ou mais dentre: uma pluralidade de imagens da área de exame (conforme fornecido para um algoritmo de aprendizagem de máquina operativo em um sistema de computador); um ou mais locais de biópsia (realizada para essa área de exame); a pluralidade de classificações para cada um de uma pluralidade de segmentos do tecido alocado pelo primeiro algoritmo de aprendizado de máquina (operativo no sistema de computador, isto é, um algoritmo local); e resultados de histopatologia para o tecido. O algoritmo de aprendizado de máquina sem treinamento pode ser local para a captura de imagem e/ou o algoritmo de aprendizado de máquina com treinamento dinâmico contínuo pode ser remoto para a captura de imagem. O processo de treinamento dinâmico contínuo é vantajosamente realizado em lotes. Vantajosamente, o processo pode incorporar dados de vários dispositivos de captura de imagem separados (cada um com um respectivo algoritmo de aprendizado de máquina local). O primeiro algoritmo de aprendizado de máquina (o algoritmo fixo) pode ser atualizado de tempos em tempos.
[063] Os resultados experimentais serão agora discutidos. Os experimentos realizados são explicados com referência à Figura 3, na qual está ilustrado esquematicamente um fluxograma detalhando a metodologia do sistema experimental. Este fluxograma indica um pipeline de trabalho, após uma etapa de seleção de conjuntos de dados do paciente que atendem aos critérios básicos de qualidade (como imagens bem focadas, sequência de imagens completa, sem artefatos significativos e resultados de biópsia conhecidos). Primeiramente, a anotação das imagens para o treinamento 200 (marcação de áreas de biópsia e anexação de marcadores de doenças) foi realizada por meio da revisão das imagens e vídeos do procedimento de biópsia para a colocação precisa dos rótulos no tecido.
Isso foi seguido pela geração de máscara 210, compreendendo a extração das máscaras de imagem correspondentes. A extração de patches 220 foi então realizada em 17 pontos no tempo. A extração de recursos 230 compreende a extração de recursos de cada área de biópsia e separadamente para todos os patches. Uma técnica de imputação de dados 240 foi então realizada para contabilizar quaisquer valores ausentes. A etapa de esquema de aprendizado profundo 250 compreende a configuração e o treinamento de três esquemas de aprendizado de máquina diferentes para o cálculo de probabilidades para cada patch. Finalmente, a geração de mapa de calor 260 resulta das saídas dos esquemas de aprendizado profundo para os casos de teste. Os casos de teste foram preparados de forma semelhante à descrita pela metodologia da Figura 3. A única diferença era que os modelos não conheciam o estado da doença na área da biópsia (ou seja, na anotação 200), mas tinham que predizê-lo.
[064] O conjunto de dados é originado de um ensaio clínico existente com o uso de um colposcópio digital fabricado junto à DYSIS Medical Limited, com mapeamento de Dynamic Spectral Imaging (DSI) e incluindo 222 pacientes com 396 biópsias independentes. Os locais das biópsias eram conhecidos e as biópsias incluíam biópsias selecionadas visualmente, biópsias baseadas no mapa de DSI e biópsias aleatórias de áreas que pareciam normais para o clínico. O conjunto de dados de cada paciente compreendeu 17 imagens, que incluem uma imagem de referência (pré-acetobranqueamento) e 16 imagens subsequentes em pontos de tempo padrão.
As imagens usadas como entrada são depois de terem sido registradas (alinhadas) para compensar os movimentos (deslocamentos, contrações ou semelhantes).
[065] Para uma classificação binária dos resultados, as biópsias foram divididas de acordo com sua graduação histológica em duas classes: Normal/Baixo Grau -NLG (incluindo resultados negativos e CIN1) como uma classe “negativa”; e de Alto Grau -HG (CIN2, CIN3, AIS, câncer invasivo) como uma classe “positiva”. Esta é uma classificação clinicamente significativa e consistente com a usada na maioria dos estudos de colposcopia.
[066] O conjunto de dados foi dividido manualmente por paciente em 80% para conjunto de treinamento, 10% para validação e 10% para teste independente.
Para essa divisão, o número de biópsias por paciente e a porcentagem de biópsias de baixo e alto grau foram considerados, a fim de criar distribuições de pacientes semelhantes dentro dos conjuntos de validação e teste. Os pacientes restantes foram usados para treinamento. O conjunto de treinamento incluiu 172 pacientes e 306 biópsias, a validação incluiu 25 pacientes e 46 biópsias, e o conjunto de teste incluiu 25 pacientes e 44 biópsias.
[067] As áreas de biópsia de cada imagem foram anotadas individualmente (marcadas espacialmente e identificadas com o grau da doença). Cada biópsia foi categorizada de acordo com seu grau histopatológico como Normal, CIN1, CIN2, CIN3, AIS ou Câncer invasivo.
[068] Após a anotação, foram extraídas as máscaras correspondentes (ou seja, área da imagem) de cada biópsia. Com base nessas máscaras, foram extraídos patches nas 17 imagens alinhadas para os diferentes pontos no tempo. Os patches foram inicialmente extraídos com diferentes tamanhos de 16x16, 32x32 e 64x64 pixels e com diferentes avanços de 8, 16, 32 e 64 pixels para permitir explorar quais combinações funcionaram melhor.
[069] De cada patch, uma infinidade de recursos feitos à mão, com base na cor local, gradiente e textura foram extraídos para serem aplicados como entrada nos algoritmos de aprendizado de máquina (consulte: Tao Xu et al, Pattern Recognit.
Março de 2017; 63: 468–475; Kim E, Huang X. “A data driven approach to cervigram image analysis and classification”, Color Medical Image analysis, Lecture Notes in Computational Vision and Biomechanics. 2013;6:1–13; and Song D, Kim E, Huang X, et al. “Multi-modal entity coreference for cervical dysplasia diagnosis”, IEEE Trans on Medical Imaging, TMI. 2015;34(1):229–245). Isso resultou em um total de 1.374 recursos para cada patch e ponto de tempo. Os recursos que foram extraídos variaram muito em magnitudes, unidades e faixa de valor, portanto, todos foram normalizados em uma escala de 0-1:
[070] Após a extração de características, a imputação de dados foi aplicada (ver G. Welch, G. Bishop, “An Introduction to the Kalman Filter”, SIGGRAPH 2001 Course 8, 1995) para compensar alguns recursos ausentes em patches desfocados e desalinhados. O método de imputação foi validado separadamente. Os dados foram estruturados de forma que, para cada paciente, fosse fornecida uma matriz dos pontos temporais de cada patch extraído da(s) área(s) de biópsia em relação aos valores de cada uma das características extraídas (incluindo os imputados) para cada um dos patches.
[071] Os modelos de aprendizado de máquina usados na análise são discutidos agora. Os dados descritos acima foram usados como entrada para três classificadores de aprendizado de máquina diferentes: Floresta Aleatória (RF - “Random Forest”); Rede Neural totalmente conectada (fNN - “fully connected Neural Network”); e uma Rede Neural de Memória de Longo Prazo (LSTM - “Long Short-Term Memory Neural Network”, que é um tipo de Rede Neural Recorrente, RNN - “Recurrent Neural Network”).
[072] Com referência a seguir à Figura 4, está representado esquematicamente um modelo de classificação de floresta aleatório conhecido.
Florestas aleatórias ou florestas de decisão aleatória são um método de aprendizagem de conjunto para classificação, regressão e outras tarefas que operam construindo uma infinidade de árvores de decisão no tempo de treinamento e gerando a classe que é o modo das classes (classificação) ou previsão média (regressão) das árvores individuais (ver Ho, Tin Kam, “Random Decision Forests”, Proceedings of the 3rd International Conference on Document Analysis and Recognition, Montreal, QC,
14–16 de agosto de 1995. pp. 278-282). As florestas de decisão aleatórias corrigem a tendência das árvores de decisão de superajuste em seu conjunto de treinamento.
Para implementar o classificador Random Forest (RF), foi utilizada uma biblioteca scikit-learn Python e 150 estimadores (árvores de decisão).
[073] Com referência agora à Figura 5, é mostrada esquematicamente uma arquitetura de Rede Neural Artificial (ANN - “Artificial Neural Network”) conhecida.
Uma ANN (também chamada de Rede Neural ou NN) é um paradigma de processamento de informações inspirado na maneira como os sistemas nervosos biológicos, como o cérebro, processam as informações. O elemento chave é a nova estrutura do sistema de processamento de informações. É composto por um grande número de elementos de processamento altamente interconectados (neurônios) trabalhando em uníssono para resolver problemas específicos. As NNs, como as pessoas, aprendem pelo exemplo. Uma NN é configurada para um aplicativo específico, como reconhecimento de padrão ou classificação de dados, por meio de um processo de aprendizagem. O aprendizado em sistemas biológicos envolve ajustes nas conexões sinápticas que existem entre os neurônios. Isso também é verdade para as NNs.
[074] As redes neurais, com sua capacidade de derivar significado de dados complicados ou imprecisos, podem ser usadas para extrair padrões e detectar tendências que são muito complexas para serem notadas por humanos ou outras técnicas de computador. Uma rede neural treinada pode ser considerada um "especialista" na categoria de informações que recebeu para analisar. Esse especialista pode então ser usado para fornecer projeções dadas novas situações de interesse e responder a perguntas do tipo “e se”. Para o caso de Redes Neurais, a estrutura de aprendizado de máquina de código aberto TensorFlow (RTM) Python foi empregada. Após um ajuste de hiperparâmetro e uma pequena pesquisa de grade, foi usada uma rede totalmente conectada com 3 camadas e 50 unidades cada e com uma camada softmax com 2 unidades como camada de saída.
[075] Embora uma NN possa ser uma ferramenta útil para tal classificação, foi reconhecido que os humanos não começam seu pensamento do zero em todas as circunstâncias. As NNs tradicionais não podem usar informações do treinamento anterior, o que parece uma deficiência. As Redes Neurais Recorrentes (RNN) resolvem esse problema. Elas são redes com loops nas mesmas, permitindo que as informações “persistam”. Uma RNN pode ser considerada como várias cópias da mesma rede, cada uma passando uma mensagem a um sucessor.
[076] A seguir é feita referência à Figura 6, na qual é esquematicamente ilustrada uma arquitetura básica de Memória de Curto Prazo conhecida (LTSM). As LSTMs são um tipo especial de RNN, capaz de aprender dependências de longo prazo. As LSTMs são projetadas explicitamente para evitar o problema de dependência de longo prazo. O mesmo processo da ANN é usado para a implementação do classificador para o caso da LSTM. Mais especificamente, após a otimização do hiperparâmetro e a busca de grade, o melhor modelo foi encontrado consistindo em: duas camadas de LSTM com 20 unidades cada; e softmax com 2 unidades como camada de saída.
[077] Além disso, uma série de esquemas de classificação de conjunto foi desenvolvida, usando a média das probabilidades para cada patch de todas as combinações possíveis dos três classificadores. Especificamente, quatro combinações foram testadas para RF+NN+LSTM, RF+NN, RF+LSTM e NN+LSTM para os 25 pacientes de teste para biópsias.
[078] Uma série de esquemas de probabilidades de média ponderada também foi desenvolvida. Mais especificamente, uma “rede neural rasa” foi treinada com probabilidades de validação combinadas de acordo com cada esquema de conjunto, enquanto as probabilidades de validação foram extraídas individualmente de cada modelo principal acima (RF, NN e LSTM). Em contraste com uma NN profunda, uma
NN rasa tem apenas uma camada oculta.
[079] As arquiteturas foram testadas inicialmente em diferentes combinações de tamanho de patch e passo, para avaliar qual abordagem funcionaria melhor, dado o tamanho das máscaras de imagem e os recursos. A combinação do tamanho de patch 32x32 com uma distância de 8 pixels funcionou melhor, então foi adotada para o ajuste fino de todos os modelos e a geração de resultados.
[080] O desempenho de cada uma das abordagens testadas é agora discutido com referência às Figuras 7A a 7D e 8A a 8D, nas quais são mostrados mapas de calor indicativos, por exemplo, tecidos biológicos processados. As probabilidades de nível de patch que são calculadas pelos três classificadores básicos (RF, NN e LSTM) para as máscaras de imagem (ou seja, áreas de biópsia) no conjunto de teste foram usadas para construir os mapas de calor correspondentes mostrados. Os modelos não tinham “visto” esses casos antes e não conheciam seus resultados. A probabilidade atribuída a cada pixel do mapa de calor era a média de seu valor em todos os patches que o incluíam. Indicativamente, os mapas de calor para dois dos 25 casos de teste são apresentados, cada um usando três técnicas diferentes de aprendizado de máquina (Figuras 7B, 7C, 7D e Figuras 8B, 8C, 8D), juntamente com o mapa de DSI correspondente do exame original (Figuras 7A e 8A).
[081] Para a avaliação clínica da classificação, as previsões para cada área de biópsia por cada método foram categorizadas em duas classes: NLG (normal ou baixo grau) e HG (alto grau). Isso foi feito caso a caso por avaliação visual e se um mapa de calor de biópsia contivesse probabilidades maiores que 0,5 (ou seja, vermelho, amarelo ou branco), então a previsão para esta biópsia era categorizada como HG, caso contrário, era considerada NLG.
[082] Com referência primeiro à Figura 7A, a região 301 mostra uma área biopsiada com um resultado de alto grau (HG) e a região 302 mostra uma área de biópsia com um resultado negativo/baixo grau (NLG) (o estado dos tecidos submetidos à biópsia foi confirmado por graduação histológica). As anotações do círculo menor dentro das áreas de biópsia (regiões 301 e 302) representam as anotações do médico de um exame original. O mapa de DSI falhou em destacar a área na região 301 como HG potencial e classificou corretamente a região 302 como normal/baixo grau. Com referência à Figura 7B, é mostrado um mapa de calor com as saídas de um algoritmo de RF, conforme discutido acima. Aqui, uma região de alta probabilidade 303 é identificada na mesma região que a região 301, mas nada aparece na região 304, que é a mesma área de tecido que a região 302. Com referência à Figura 7C, é mostrado um mapa de calor com as saídas de um algoritmo de NN, conforme discutido acima. Uma região de alta probabilidade 305 é identificada na mesma área de tecido que a região 301 e uma região de baixa probabilidade 306 é identificada na mesma área de tecido que a região 302. Com referência à Figura 7D, é mostrado um mapa de calor com as saídas de um algoritmo de LSTM, conforme discutido acima. Uma região de alta probabilidade mais clara 307 é identificada na mesma área de tecido que a região 301 e uma região de baixa probabilidade mais clara 308 aparece na mesma área de tecido que a região 302. Isso mostra uma melhoria no desempenho dos três algoritmos de aprendizado de máquina em relação ao algoritmo de DSI padrão, pois eles destacaram corretamente a área do resultado da biópsia de HG e também previram a área do resultado da biópsia de NLG.
[083] Com referência à Figura 8A, são mostradas duas áreas de biópsia 310 e 311 que eram ambas de alto grau (HG). As anotações de círculo menor dentro (ou em interseção) das áreas de biópsia 310 e 311 representam anotações do médico a partir de um exame original. O estado dos tecidos submetidos à biópsia foi confirmado por graduação histológica. O mapa de DSI destacou uma das duas regiões (área de biópsia 310) como potencial HG, mas não conseguiu destacar a região 311 como HG.
Com referência à Figura 8B, é mostrado um mapa de calor com as saídas de um algoritmo de RF, conforme discutido acima. Aqui, uma região de alta probabilidade
312 é identificada na mesma região que uma das áreas de biópsia de HG e uma região de probabilidade um pouco mais baixa 313 é identificada na mesma região que a outra das áreas de biópsia de HG. Com referência à Figura 8C, é mostrado um mapa de calor com as saídas de um algoritmo de NN, conforme discutido acima. Uma região de alta probabilidade 314 é identificada na mesma região que uma das áreas de biópsia de HG e uma região de probabilidade mais baixa 315 é identificada na mesma região que a outra das áreas de biópsia de HG. Com referência à Figura 8D, é mostrado um mapa de calor com as saídas de um algoritmo de LSTM, conforme discutido acima. Uma região de alta probabilidade 316 é identificada na mesma região que uma das áreas de biópsia de HG e uma região de alta probabilidade 317 também aparece na mesma região que a outra das áreas de biópsia de HG. A melhoria no desempenho do algoritmo LSTM é, portanto, vista em relação aos algoritmos de RF e NN, bem como ao algoritmo de DSI original.
[084] Dado o número relativamente pequeno de casos e a natureza desequilibrada do conjunto de dados, para resumir o desempenho com uma métrica de visão geral, a “precisão equilibrada” é usada para classificar a) as biópsias e b) os pacientes corretamente como Normal/Baixo Grau versus Alto Grau. A precisão balanceada (referida simplesmente como precisão abaixo) é a média do número de casos que foram classificados corretamente em cada classe. Esta é efetivamente a média entre a sensibilidade e a especificidade e fornece uma visão geral mais global do que apenas sensibilidade e especificidade.
[085] Na análise em nível de biópsia (ou seja, cada biópsia considerada e analisada como uma unidade separada), a precisão dos classificadores de RF e de NN foi de 81%, enquanto para a LSTM foi de 84%. Para comparação, no mesmo conjunto de dados, o mapa de DSI original obteve uma precisão de 57%. Para uma análise no nível do paciente com base nos resultados das áreas de biópsia, cada paciente foi considerado HG quando pelo menos uma biópsia era HG. A RF e a NN alcançaram uma precisão de 77%, a LSTM atingiu 70%, enquanto a precisão do mapa de DSI original foi de 59%.
[086] A precisão para as análises em nível de biópsia dos esquemas de conjuntos de média variou de 77% (RF + NN) a 83% (RF+NN) a 83% (RF+LSTM, NN+LSTM e RF+NN+LSTM). Para as análises em nível de paciente, a precisão de todos os esquemas foi de 81%. A precisão para as análises de nível de biópsia dos esquemas de conjunto de média ponderada foi de 77% (RF+NN+LSTM), 79% (RF+LSTM), 86% (RF+NN) e 88% (NN+LSTM). Para as análises em nível de paciente, a precisão dos esquemas foi de 77% (RF + NN + LSTM e RF + NN) e 81% (RF + LSTM e NN + LSTM).
[087] Os modelos de aprendizado de máquina que foram desenvolvidos neste projeto de prova de conceito alcançam um desempenho geral melhorado em relação ao mapa de DSI existente no mapeamento e classificação de áreas de tecido como Normal/Baixo grau versus Alto grau, demonstrando uma aplicação clínica que pode ser usada para melhorar ainda mais o apoio à seleção do local de biópsia e às decisões de gerenciamento clínico.
[088] A inclusão dos conjuntos de dados maiores para treinamento e teste dos modelos pode ser benéfico. Diferentes seleções de recursos e efeitos de tamanho de patch também podem ser consideradas. Dados adicionais e fatores de risco disponíveis para cada paciente são a configuração de brilho da iluminação da colposcopia na coleção original de imagens e a idade do paciente, resultados de triagem (citologia, hrHPV, HPV16, HPV18) e estado de fumante. Eles também podem ser usados como entrada para os modelos, o que pode reforçar ainda mais o desempenho.
[089] Quando treinados em um grande conjunto de dados, os modelos podem ser usados para calcular mapas de calor não apenas para áreas de biópsia, mas para todo o colo do útero e também para acomodar a existência de artefatos.
[090] Os recursos usados para o treinamento dos modelos no experimento descrito acima foram extraídos de cada ponto no tempo separadamente e sua dependência do tempo foi assumida como captada pelas redes. Em outra modalidade, o projeto de recursos a serem extraídos pode incluir o elemento de tempo, de modo que um recurso seja uma função de uma característica ao longo do tempo.
[091] O uso de Redes Neurais Convolucionais (CNN) de forma independente ou como parte de um esquema de conjunto também é possível, por exemplo, a combinação de RNN com CNN. O módulo chave deste esquema pode ser as camadas de convolução recorrente (RCL - “recurrent convolution layers”), que introduzem a conexão recorrente em uma camada de convolução. Com essas conexões, a rede pode evoluir ao longo do tempo, embora a entrada seja estática e cada unidade seja influenciada por suas unidades vizinhas. Outro exemplo é o uso de uma CNN com uma única imagem de ponto no tempo como entrada que irá gerar uma probabilidade de classificação para o paciente. Isso mostrou ser capaz de gerar resultados precisos que podem então ser alimentados em outro classificador de rede neural (por exemplo, NN ou RNN) como uma entrada adicional junto com a sequência de imagens. Ainda outro exemplo é o uso de CNNs distintos para avaliar cada imagem individual na sequência separadamente e a combinação de suas saídas individuais em outra rede neural, por exemplo, uma RNN ou uma LSTM para fornecer a saída final. A utilização de CNNs pode dispensar a extração de recursos artesanais, conforme descrito acima, pois os recursos podem ser extraídos pela própria rede.
[092] Embora as modalidades específicas tenham sido agora descritas, a pessoa versada na técnica apreciará que várias modificações e alternâncias são possíveis. Por exemplo, a inclusão de diferentes tipos de processamento de imagem e classificadores de aprendizado de máquina em vários esquemas pode ser considerada. Conforme observado acima, a divulgação é geralmente direcionada ao exame do tecido cervical com o uso de um processo de acetobranqueamento, mas pode ser implementada para exame e/ou classificação de outros tecidos biológicos com o uso de um agente de diferenciação de patologia. Por exemplo, embora o ácido acético diluído seja de preferência usado, outros tipos de ácido podem ser usados para fins específicos. A técnica também pode ser adequada para classificação usando diagnóstico molecular. Embora a modalidade preferida use imagens capturadas in- vivo, as implementações que usam imagens capturadas in-vitro também podem ser consideradas. Em algumas modalidades, um conjunto de dados incompleto para um paciente pode ser fornecido como uma entrada para a AI.
[093] Um arranjo específico de processadores locais e remotos foi divulgado, mas a pessoa versada na técnica apreciará que diferentes arranjos de processador são possíveis. Por exemplo, um ou vários processadores podem ser fornecidos apenas localmente para o módulo de captura de imagem. Alternativamente, um ou vários processadores só podem ser fornecidos remotamente para o módulo de captura de imagem. Uma análise baseada em nuvem de computador ou análise não baseada em nuvem pode ser empregada. Em particular, uma implementação pode ser considerada com primeiro e segundo algoritmos de aprendizado de máquina fornecidos remotamente ao módulo de captura de imagem, com o primeiro algoritmo de aprendizado de máquina sendo fixo e o segundo algoritmo de aprendizado de máquina tendo treinamento contínuo (da maneira descrita acima).
[094] Diferentes tipos de estruturas de rede neural ou algoritmos de aprendizado de máquina podem ser considerados. Estruturas de algoritmos de aprendizado de máquina podem ser unimodais (tomando apenas dados de imagem como entrada) ou multimodais (tomando dados de imagem e dados de não imagem como entradas). Embora os resultados da AI (ou seja, uma imagem de saída) sejam exibidos como um mapa de calor probabilístico acima, outras saídas (em formatos de dados ou visualizações) podem ser possíveis.
Claims (28)
1. Método para classificação de um tecido biológico com o uso de um sistema de computação, o método CARACTERIZADO pelo fato de que compreende: receber, no sistema de computação, dados de imagem compreendendo uma pluralidade de imagens (102) de uma área de exame de um tecido biológico, cada uma da pluralidade de imagens (102) sendo capturada em momentos diferentes durante um período no qual a aplicação tópica de um agente de diferenciação de patologia para a área de exame do tecido causa efeitos ópticos transitórios; e fornecer os dados de imagem (102) recebidos como uma entrada para um algoritmo de aprendizado de máquina (110) operativo no sistema de computação, o algoritmo de aprendizado de máquina (110) compreendendo uma rede neural profunda e sendo configurado para identificar uma pluralidade de segmentos do tecido e alocar uma de uma pluralidade de classificações para cada pluralidade de segmentos do tecido; e em que a pluralidade de classificações é definida por uma escala de valores em uma faixa contínua indicativa de uma probabilidade de um estado da doença.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o tecido biológico compreende o colo do útero.
3. Método, de acordo com a reivindicação 1 ou reivindicação 2, CARACTERIZADO pelo fato de que: pelo menos uma imagem da pluralidade de imagens (102) é capturada no início do período, antes da ocorrência dos efeitos ópticos transitórios; e/ou pelo menos algumas da pluralidade de imagens (102) são capturadas em intervalos de uma duração predeterminada durante o período da aplicação tópica do agente de diferenciação de patologia.
4. Método, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que a área de exame é exposta à radiação óptica durante o período em que a aplicação tópica de um agente de diferenciação de patologia à área de exame do tecido causa efeitos ópticos transitórios.
5. Método, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que o agente de diferenciação de patologia compreende um ácido.
6. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que compreende adicionalmente: capturar (100) uma pluralidade de imagens ópticas (102) da área de exame do tecido biológico com o uso de um módulo de coleta de imagens (10), a pluralidade de imagens dos dados de imagem sendo derivada da pluralidade de imagens ópticas (102).
7. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que um ou mais dos seguintes: cada uma da pluralidade de imagens (104) é derivada de uma respectiva imagem inicial (102) transformada de modo a fornecer o alinhamento da área de exame dentro da pluralidade de imagens; cada uma da pluralidade de imagens (104) é derivada de uma respectiva imagem inicial (102) processada para remover um ou mais artefatos; e os dados de imagem fornecidos como uma entrada para o algoritmo de aprendizado de máquina compreendem, para cada uma da pluralidade de imagens, vários patches derivados de uma respectiva imagem inicial.
8. Método, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que o tecido biológico compreende um colo do útero, o método compreendendo ainda o processamento da pluralidade de imagens para identificar uma porção da pluralidade de imagens correspondentes ao colo do útero.
9. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que cada uma da pluralidade de imagens é definida por um respectivo conjunto de pixels, cada um dos conjuntos de pixels tendo o mesmo arranjo de pixel, o método compreendendo ainda: obter, no sistema de computação, dados de mapa (130), os dados de mapa (130) compreendendo um respectivo índice de análise para cada pixel do arranjo de pixel, os índices de análise sendo derivados da pluralidade de imagens; e fornecer os dados do mapa (130) como uma entrada para o algoritmo de aprendizado de máquina (110); e em que o índice de análise para um pixel é gerado com base em pelo menos um parâmetro derivado da pluralidade de imagens, o pelo menos um parâmetro compreendendo um ou mais dentre: uma intensidade máxima para o pixel ao longo da pluralidade de imagens; um tempo para atingir a intensidade máxima para o pixel; e um somatório ou somatório ponderado de uma intensidade para o pixel sobre a pluralidade de imagens.
10. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que um ou mais dos seguintes: um parâmetro de pelo menos um parâmetro é limitado a uma largura de banda espectral predeterminada; cada parâmetro do pelo menos um parâmetro é determinado ajustando dados para o pixel através da pluralidade de imagens a uma linha ou curva e determinando pelo menos um parâmetro da linha ou curva; e em que o índice de análise para cada pixel é baseado em uma combinação ponderada de vários de pelo menos um parâmetro.
11. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que compreende ainda: processar a pluralidade de imagens para identificar pelo menos uma característica morfológica e/ou pelo menos um recurso extraído.
12. Método, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que compreende adicionalmente:
fornecer a pelo menos uma característica morfológica e/ou recurso extraído como uma entrada para o algoritmo de aprendizado de máquina.
13. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que o algoritmo de aprendizado de máquina compreende uma rede neural e em que uma ou ambas dentre: a rede neural compreende uma ou uma combinação de: uma rede neural convolucional; uma rede neural completamente conectada; e uma rede neural recorrente; e a rede neural é multimodal.
14. Método, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que compreende adicionalmente: fornecer uma ou mais características do sujeito (121, 122, 123, 124), cada característica do sujeito relacionada a um sujeito do qual o tecido biológico se origina, como uma entrada para o algoritmo de aprendizado de máquina (110).
15. Método, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que uma ou mais características do sujeito compreendem um ou mais dentre: fatores de risco do sujeito; informações do histórico médico anterior do sujeito; e os resultados dos testes clínicos do sujeito.
16. Método, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de que os fatores de risco do sujeito compreendem um ou mais dentre: uma idade do sujeito (121); o estado de fumante do sujeito (122); um estado anterior de vacinação contra HPV do sujeito (123); informações sobre o uso de preservativo na relação sexual para o sujeito (123); e uma paridade para o sujeito; e/ou em que os resultados do teste clínico em questão compreendem um ou mais dentre: um resultado de citologia anterior; um resultado de teste de HPV anterior; um resultado de teste de tipagem de HPV anterior; uma informação de tratamento cervical anterior; e uma história prévia de rastreamento e/ou diagnóstico de cânceres ou pré-cânceres cervicais.
17. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que compreende ainda: alocar uma da pluralidade de classificações a todo o tecido com base na classificação alocada à pluralidade de segmentos do tecido e/ou com base em um algoritmo diferente do algoritmo de aprendizado de máquina.
18. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que: a pluralidade de classificações é adicionalmente definida por uma pluralidade de marcadores de doenças.
19. Método, de acordo com qualquer uma das reivindicações anteriores, CARACTERIZADO pelo fato de que a pluralidade de classificações indica adicionalmente a presença de pelo menos uma característica morfológica.
20. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que compreende adicionalmente: gerar uma imagem de saída, mostrar a área de exame do tecido biológico com base nos dados de imagem e indicar a classificação alocada a cada um da pluralidade de segmentos do tecido.
21. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que compreende um ou mais dentre: treinar o algoritmo de aprendizado de máquina com base em uma respectiva pluralidade de imagens e uma respectiva classificação alocada para cada uma de uma pluralidade de outros tecidos biológicos; treinar o algoritmo de aprendizado de máquina, fornecendo uma classificação determinada pelo usuário ou de banco de dados para o tecido ao algoritmo de aprendizado de máquina ou uma versão do algoritmo de aprendizado de máquina operativo em um segundo sistema de computador; e fornecer treinamento dinâmico contínuo para o algoritmo de aprendizado de máquina ou uma versão do algoritmo de aprendizado de máquina operativo em um segundo sistema de computador.
22. Método, de acordo com qualquer reivindicação anterior, CARACTERIZADO pelo fato de que compreende adicionalmente: alocar uma da pluralidade de classificações ao tecido com o uso de um primeiro algoritmo de aprendizado de máquina (110) operativo em um primeiro processador (15) do sistema de computação; alocar uma da pluralidade de classificações ao tecido com o uso de um segundo algoritmo de aprendizado de máquina (110) operativo em um segundo processador (15) do sistema de computação; e treinar o segundo algoritmo de aprendizado de máquina (110) fornecendo uma classificação determinada pelo usuário ou de banco de dados para o tecido ao segundo algoritmo de aprendizado de máquina, o primeiro algoritmo de aprendizado de máquina não sendo treinado fornecendo uma classificação determinada pelo usuário ou de banco de dados para o tecido ao primeiro algoritmo de aprendizado de máquina.
23. Método, de acordo com a reivindicação 22, CARACTERIZADO pelo fato de que compreende adicionalmente: atualizar o primeiro algoritmo de aprendizado de máquina (110).
24. Mídia legível por computador, CARACTERIZADO pelo fato de que é configurado quando operado em um sistema de computação para realizar o método conforme definido em qualquer uma das reivindicações 1 a 23.
25. Sistema de computação operativo para classificação de um tecido, CARACTERIZADO pelo fato de que compreende: uma entrada configurada para receber dados de imagem (102) compreendendo uma pluralidade de imagens (102) de uma área de exame de um tecido biológico, cada uma da pluralidade de imagens (102) sendo capturada em momentos diferentes durante um período no qual a aplicação tópica de um agente de diferenciação de patologia para a área de exame do tecido causa efeitos ópticos transitórios; e um processador (15) configurado para operar um algoritmo de aprendizado de máquina (110) configurado para identificar uma pluralidade de segmentos do tecido e alocar uma dentre uma pluralidade de classificações para cada pluralidade de segmentos do tecido com base nos dados de imagem (104), o algoritmo de aprendizado de máquina (110) compreendendo uma rede neural profunda; e em que a pluralidade de classificações é definida por uma escala de valores em uma faixa contínua indicativa de uma probabilidade de um estado da doença.
26. Sistema de computação, de acordo com a reivindicação 26, CARACTERIZADO pelo fato de que compreende adicionalmente: um módulo de coleta de imagens (10), configurado para capturar uma pluralidade de imagens ópticas (102) de uma área de exame do tecido biológico, os dados de imagem recebidos sendo baseados na pluralidade de imagens ópticas (102) capturadas pelo módulo de coleta de imagens (10).
27. Sistema de computação, de acordo com a reivindicação 26, CARACTERIZADO pelo fato de que: o módulo de coleta de imagens (10) está localizado remotamente a partir do processador (15) no qual o algoritmo de aprendizado de máquina (110) é operado; ou o processador (15) compreende uma pluralidade de dispositivos de processamento, cada dispositivo de processamento sendo configurado para operar uma parte do algoritmo de aprendizado de máquina (110) e em que o módulo de coleta de imagens (10) está localizado remotamente a partir de pelo menos um da pluralidade de dispositivos de processamento.
28. Sistema de computação, de acordo com qualquer uma das reivindicações 25 a 27, CARACTERIZADO pelo fato de que é configurado para executar o método conforme qualquer uma das reivindicações 1 a 23.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1812050.1 | 2018-07-24 | ||
| GBGB1812050.1A GB201812050D0 (en) | 2018-07-24 | 2018-07-24 | Computer classification of biological tissue |
| PCT/GB2019/052074 WO2020021261A1 (en) | 2018-07-24 | 2019-07-24 | Computer classification of biological tissue |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112020023281A2 true BR112020023281A2 (pt) | 2021-02-23 |
Family
ID=63364499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112020023281-5A BR112020023281A2 (pt) | 2018-07-24 | 2019-07-24 | classificação de tecido biológico por computador |
Country Status (14)
| Country | Link |
|---|---|
| US (1) | US11562820B2 (pt) |
| EP (1) | EP3776463B1 (pt) |
| JP (1) | JP6998474B2 (pt) |
| CN (1) | CN112088394A (pt) |
| AU (1) | AU2019311336B2 (pt) |
| BR (1) | BR112020023281A2 (pt) |
| CA (1) | CA3099180C (pt) |
| CY (1) | CY1124647T1 (pt) |
| DK (1) | DK3776463T3 (pt) |
| ES (1) | ES2900223T3 (pt) |
| GB (1) | GB201812050D0 (pt) |
| HU (1) | HUE056228T2 (pt) |
| RU (1) | RU2765619C1 (pt) |
| WO (1) | WO2020021261A1 (pt) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102168485B1 (ko) * | 2018-10-02 | 2020-10-21 | 한림대학교 산학협력단 | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 |
| US20210374953A1 (en) * | 2018-10-04 | 2021-12-02 | Duke University | Methods for automated detection of cervical pre-cancers with a low-cost, point-of-care, pocket colposcope |
| US10936160B2 (en) * | 2019-01-11 | 2021-03-02 | Google Llc | System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications |
| EP3977472A1 (en) * | 2019-05-31 | 2022-04-06 | PAIGE.AI, Inc. | Systems and methods for processing images of slides to automatically prioritize the processed images of slides for digital pathology |
| US20210090718A1 (en) * | 2019-09-25 | 2021-03-25 | Vingroup Joint Stock Company | Labeling apparatus and method, and machine learning system using the labeling apparatus |
| US11633145B2 (en) * | 2019-10-21 | 2023-04-25 | The Trustees Of Dartmouth College | Specimen imaging with x-ray and optical measurement |
| US11443424B2 (en) * | 2020-04-01 | 2022-09-13 | Kpn Innovations, Llc. | Artificial intelligence methods and systems for analyzing imagery |
| CN111640509A (zh) * | 2020-06-02 | 2020-09-08 | 山东大学齐鲁医院 | 一种宫颈癌术后复发风险预测方法及系统 |
| DE102020122552A1 (de) | 2020-08-28 | 2022-03-03 | Siemens Healthcare Gmbh | Verfahren, einrichtung und system zur bestimmung von biopsieparametern |
| WO2022044642A1 (ja) * | 2020-08-28 | 2022-03-03 | 富士フイルム株式会社 | 学習装置、学習方法、プログラム、学習済みモデル、及び内視鏡システム |
| WO2022196493A1 (ja) * | 2021-03-17 | 2022-09-22 | テルモ株式会社 | プログラム、情報処理方法、画像診断装置及び学習済みモデルの生成方法 |
| EP4075325A1 (en) * | 2021-04-15 | 2022-10-19 | Ardigen S.A. | Method and system for the classification of histopathological images based on multiple instance learning |
| CN113344092B (zh) * | 2021-06-18 | 2022-10-11 | 中科迈航信息技术有限公司 | Ai的图像识别方法及终端装置 |
| CN113724842B (zh) * | 2021-09-08 | 2022-08-02 | 武汉兰丁智能医学股份有限公司 | 一种基于注意力机制的宫颈组织病理辅助诊断方法 |
| US20230206431A1 (en) * | 2021-12-28 | 2023-06-29 | International Business Machines Corporation | Three-dimensional delineation of tumor boundaries via supervised machine learning algorithms and augmented reality |
| DE102022112731A1 (de) | 2022-05-20 | 2023-11-23 | Carl Zeiss Meditec Ag | Verfahren für ein maschinelles lernsystem zur operationsassistenz |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GR1004180B (el) | 2000-03-28 | 2003-03-11 | ����������� ����� ��������� (����) | Μεθοδος και συστημα χαρακτηρισμου και χαρτογραφησης αλλοιωσεων των ιστων |
| US8340745B2 (en) | 2006-06-05 | 2012-12-25 | Forth Photonics Ltd. | Methods for characterizing cancer and pre-cancer tissues |
| EP2344982A4 (en) | 2008-10-10 | 2012-09-19 | Sti Medical Systems Llc | METHODS FOR CLASSIFYING TISSUE IN UTERUS COLLAR IMAGING |
| US8503747B2 (en) * | 2010-05-03 | 2013-08-06 | Sti Medical Systems, Llc | Image analysis for cervical neoplasia detection and diagnosis |
| US11096602B2 (en) * | 2016-07-29 | 2021-08-24 | Stryker European Operations Limited | Methods and systems for characterizing tissue of a subject utilizing a machine learning |
| US10528848B2 (en) | 2016-11-04 | 2020-01-07 | Case Western Reserve University | Histomorphometric classifier to predict cardiac failure from whole-slide hematoxylin and eosin stained images |
| CN107274386B (zh) | 2017-05-18 | 2019-12-17 | 深思考人工智能机器人科技（北京）有限公司 | 一种宫颈细胞液基涂片人工智能辅助阅片系统 |
| RU2654199C1 (ru) * | 2017-07-18 | 2018-05-16 | Самсунг Электроникс Ко., Лтд. | Сегментация тканей человека на компьютерном изображении |
| EP3743885A4 (en) * | 2018-01-23 | 2021-10-06 | Mobileodt Ltd. | AUTOMATED MONITORING OF MEDICAL IMAGING PROCEDURES |
-
2018
- 2018-07-24 GB GBGB1812050.1A patent/GB201812050D0/en not_active Ceased
-
2019
- 2019-07-24 US US17/051,366 patent/US11562820B2/en active Active
- 2019-07-24 ES ES19748903T patent/ES2900223T3/es active Active
- 2019-07-24 RU RU2020138594A patent/RU2765619C1/ru active
- 2019-07-24 JP JP2020568546A patent/JP6998474B2/ja active Active
- 2019-07-24 DK DK19748903.2T patent/DK3776463T3/da active
- 2019-07-24 BR BR112020023281-5A patent/BR112020023281A2/pt unknown
- 2019-07-24 HU HUE19748903A patent/HUE056228T2/hu unknown
- 2019-07-24 CN CN201980030130.0A patent/CN112088394A/zh active Pending
- 2019-07-24 EP EP19748903.2A patent/EP3776463B1/en active Active
- 2019-07-24 WO PCT/GB2019/052074 patent/WO2020021261A1/en active Search and Examination
- 2019-07-24 AU AU2019311336A patent/AU2019311336B2/en active Active
- 2019-07-24 CA CA3099180A patent/CA3099180C/en active Active
-
2021
- 2021-09-22 CY CY20211100831T patent/CY1124647T1/el unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US11562820B2 (en) | 2023-01-24 |
| AU2019311336A1 (en) | 2020-11-12 |
| CA3099180A1 (en) | 2020-01-30 |
| WO2020021261A1 (en) | 2020-01-30 |
| JP6998474B2 (ja) | 2022-01-18 |
| JP2021520959A (ja) | 2021-08-26 |
| EP3776463B1 (en) | 2021-08-25 |
| DK3776463T3 (da) | 2021-09-27 |
| US20210249118A1 (en) | 2021-08-12 |
| US20230126691A1 (en) | 2023-04-27 |
| AU2019311336B2 (en) | 2021-10-21 |
| ES2900223T3 (es) | 2022-03-16 |
| EP3776463A1 (en) | 2021-02-17 |
| CA3099180C (en) | 2021-07-20 |
| CY1124647T1 (el) | 2022-07-22 |
| GB201812050D0 (en) | 2018-09-05 |
| RU2765619C1 (ru) | 2022-02-01 |
| HUE056228T2 (hu) | 2022-02-28 |
| CN112088394A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2900223T3 (es) | Clasificación por ordenador de tejido biológico | |
| Roy et al. | Patch-based system for classification of breast histology images using deep learning | |
| US11468564B2 (en) | Systems and methods for automatic detection and quantification of pathology using dynamic feature classification | |
| US11984217B2 (en) | Method and apparatus for processing histological image captured by medical imaging device | |
| US8503747B2 (en) | Image analysis for cervical neoplasia detection and diagnosis | |
| Park et al. | Domain-specific image analysis for cervical neoplasia detection based on conditional random fields | |
| US20210090248A1 (en) | Cervical cancer diagnosis method and apparatus using artificial intelligence-based medical image analysis and software program therefor | |
| Gutiérrez-Fragoso et al. | Optimization of classification strategies of acetowhite temporal patterns towards improving diagnostic performance of colposcopy | |
| Obukhova et al. | Automated image analysis in multispectral system for cervical cancer diagnostic | |
| Sornapudi et al. | Automated cervical digitized histology whole-slide image analysis toolbox | |
| Vasudeva et al. | Classifying Skin Cancer and Acne using CNN | |
| Xue et al. | A deep clustering method for analyzing uterine cervix images across imaging devices | |
| CN116030303A (zh) | 一种基于半监督孪生网络的视频结直肠病变分型方法 | |
| Pallavi et al. | Automated analysis of cervix images to grade the severity of cancer | |
| Zhang et al. | A spatial regulated patch-wise approach for cervical dysplasia diagnosis | |
| US12002573B2 (en) | Computer classification of biological tissue | |
| Gowri et al. | An improved classification of MR images for cervical cancer using convolutional neural networks | |
| Park et al. | Semantic image analysis for cervical neoplasia detection | |
| Bhattacharjee et al. | Detecting Laryngeal Cancer Lesions From Endoscopy Images Using Deep Ensemble Model | |
| Youneszade et al. | A Predictive Model To Detect Cervical Diseases Using Convolutional Neural Network Algorithms And Digital Colposcopy Images | |
| Andrade | A Portable System for Screening of Cervical Cancer | |
| CN117593564A (zh) | 一种喉内镜图像的病灶识别方法和系统 | |
| Fang et al. | Identifying Laryngeal Neoplasms in Laryngoscope Images via Deep Learning Based Object Detection: A Case Study on an Extremely Small Data Set | |
| Natalia et al. | Image processing in clinical decision support system | |
| Srivastava et al. | Feature Extraction and Fusion Method for Detection and Classification of Gastrointestinal Diseases Using Deep Learning Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06W | Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette] |