BR102020009547A2

BR102020009547A2 - METHOD AND AUTOMATIC SYSTEM FOR MAMMOGRAPHY IMAGE ANALYSIS AND DEEP NEURAL NETWORK TRAINING METHOD

Info

Publication number: BR102020009547A2
Application number: BR102020009547-1A
Authority: BR
Inventors: Roberto De Alencar Lotufo; Eduardo De Faria Castro Fleury; Erick Machado Seolin
Original assignee: Dl4Med Inteligencia Artificial Para Medicina Ltda.
Priority date: 2019-05-13
Filing date: 2020-05-13
Publication date: 2021-11-23

Abstract

método e sistema automático de análise de imagem de mamografia e método de treinamento de rede neural profunda. a presente invenção descreve um sistema e método de análise de imagem de mamografia. especificamente, a presente invenção compreende um classificador de qualidade do posicionamento da mama na imagem de mamografia, um classificador de densidade mamária na imagem de mamografia, classificando o risco de a densidade mamária mascarar um diagnóstico de uma possível lesão, onde esses classificadores são calibrados a partir do treino de uma rede neural profunda por meio de imagens de mamografia de treino e sua avaliação por meio de relatório de qualidade de geração de imagem. a presente invenção se situa nos campos de processamento de imagens, inteligência artificial, medicina, engenharia da computação, tecnologia da informação, engenharia biomédica e mamografia.automatic mammography image analysis method and system and deep neural network training method. The present invention describes a mammography image analysis system and method. specifically, the present invention comprises a breast positioning quality classifier in the mammography image, a breast density classifier in the mammography image, classifying the risk of breast density masking a diagnosis of a possible lesion, where these classifiers are calibrated to starting from training a deep neural network using training mammography images and evaluating them through an image generation quality report. The present invention is in the fields of image processing, artificial intelligence, medicine, computer engineering, information technology, biomedical engineering and mammography.

Description

METHOD AND AUTOMATIC SYSTEM FOR MAMMOGRAPHY IMAGE ANALYSIS AND DEEP NEURAL NETWORK TRAINING METHOD

Field of Invention

[0001] A presente invenção descreve uma solução para avaliações de forma mais rápida de imagens de mamografia, a partir da predição da densidade mamária, de forma a avaliar e classificar o risco de a densidade mamária mascarar um diagnóstico de uma lesão, e da predição da qualidade de posicionamento da mama na imagem de mamografia, sendo estas predições realizadas por meio de rede neural profunda previamente treinada. A presente invenção se situa nos campos de processamento de imagens, inteligência artificial, medicina, engenharia da computação, tecnologia da informação, engenharia biomédica e mamografia. [0001] The present invention describes a solution for faster evaluations of mammography images, from the prediction of breast density, in order to assess and classify the risk of breast density masking a diagnosis of a lesion, and the prediction of the quality of breast positioning in the mammography image, these predictions being made through a previously trained deep neural network. The present invention is situated in the fields of image processing, artificial intelligence, medicine, computer engineering, information technology, biomedical engineering and mammography.

Background of the Invention

[0002] Ao longo das pesquisas médicas, é sabido que um diagnóstico precoce de indícios de câncer de mama acarreta em seu tratamento mais imediato e eficaz. É sabido, também, que conforme o tempo passa, o câncer acaba se desenvolvendo e se alastrando cada vez mais, e sua cura fica dificultada. Dentre os métodos de detecção precoce de câncer de mama, o método mais eficaz é a mamografia. Para uma maior precisão na detecção precoce do câncer de mama, é necessária a produção de imagens mamográficas de alta qualidade, onde o posicionamento para captura dessas imagens tem um papel fundamental na qualidade das imagens. São compreendidas no estado da técnica duas projeções de rotina na mamografia: a projeção crânio-caudal e a oblíquo mediolateral. [0002] Throughout medical research, it is known that an early diagnosis of signs of breast cancer leads to its more immediate and effective treatment. It is also known that as time passes, cancer ends up developing and spreading more and more, and its cure becomes difficult. Among the methods of early detection of breast cancer, the most effective method is mammography. For greater accuracy in the early detection of breast cancer, it is necessary to produce high quality mammographic images, where the positioning to capture these images plays a fundamental role in the quality of the images. Two routine projections in mammography are included in the prior art: the craniocaudal and the mediolateral oblique projection.

[0003] A projeção oblíquo mediolateral possui maior importância, pois ao ser posicionada e realizada corretamente, é capaz de mostrar quase todo o tecido da mama, englobando o quadrante exterior superior, onde ocorre a maioria dos casos de patologias. Há uma enorme preocupação nos sistemas de avaliação de imagens para determinar o modo correto de incluir todo o tecido da mama na projeção oblíquo mediolateral, porém critérios para o músculo peitoral não são bem definidos e estão sujeitos a interpretações subjetivas, diminuindo sua confiabilidade como método preciso. [0003] The mediolateral oblique projection has greater importance, because when positioned and performed correctly, it is able to show almost all of the breast tissue, encompassing the upper outer quadrant, where most cases of pathologies occur. There is a huge concern in image assessment systems to determine the correct way to include all breast tissue in the mediolateral oblique projection, but criteria for the pectoralis muscle are not well defined and are subject to subjective interpretation, decreasing its reliability as an accurate method .

[0004] Por meio das projeções, podem ser investigadas informações sobre a densidade mamária dos pacientes, sendo que este fator tem sido apontado em diversos estudos como um importante fator de risco para o desenvolvimento do câncer de mama, onde mulheres com as mamas densas apresentam um maior risco entre quatro a seis vezes do que mulheres com mamas predominantemente adiposas. Adicionalmente, o tecido denso fibroglandular pode ocultar a visualização de nódulos e diminuir a sensibilidade da mamografia, ocasionando na necessidade de exames suplementares de ultrassonografia ou ressonância magnética, denotando a importância na realização das projeções. [0004] Through the projections, information on the breast density of patients can be investigated, and this factor has been pointed out in several studies as an important risk factor for the development of breast cancer, where women with dense breasts present a four to six times greater risk than women with predominantly fatty breasts. Additionally, the dense fibroglandular tissue can hide the visualization of nodules and reduce the sensitivity of the mammogram, resulting in the need for additional ultrasound or magnetic resonance exams, showing the importance in carrying out the projections.

[0005] Dessa forma, é evidente que o posicionamento errado da mama do paciente pode ocasionar em má qualidade de imagem de exame e pode ocasionar até em um diagnóstico incorreto, por não ser possível para um profissional interpretar a imagem de maneira correta, implicando até na necessidade de repetir o exame para que uma imagem com maior qualidade seja adquirida. Em consequência, um paciente terá que remarcar o exame, que evidentemente demanda tempo, e como já foi dito, caso o paciente tenha câncer de mama, provavelmente este vai se alastrar mais e como já foi dito, as chances de cura diminuem conforme o tempo passa. [0005] Thus, it is evident that the wrong positioning of the patient's breast can result in poor quality of the exam image and can even lead to an incorrect diagnosis, as it is not possible for a professional to interpret the image correctly, even implying in the need to repeat the exam so that a higher quality image is acquired. As a result, a patient will have to reschedule the exam, which obviously takes time, and as already mentioned, if the patient has breast cancer, it will probably spread more and as already mentioned, the chances of cure decrease with time goes by.

[0006] Uma grande limitação, também, das avaliações visuais da densidade mamária é a variabilidade intra e interobservador, independente da escala utilizada, pois os métodos qualitativos existentes para análise visual são subjetivos, não sendo reprodutíveis com confiabilidade e ocasionando em maior tempo de análise. [0006] A major limitation of visual assessments of breast density is also the intra- and interobserver variability, regardless of the scale used, as the existing qualitative methods for visual analysis are subjective, not reproducible with reliability and resulting in longer analysis time .

[0007] Na 4a versão do BI-RADS (Breast Imaging Reporting and Data System), as densidades mamárias eram classificadas em quatro categorias: 1. Mama formada praticamente apenas de gordura (<25% glandular); 2. Densidades fibroglandular espalhadas (aproximadamente 25% - 50% glandular); 3. Tecido mamário com densidade heterogênea podendo ocultar a detecção de massas pequenas (aproximadamente 51% - 75% glandular); 4. Tecido mamário extremamente denso, podendo diminuir a sensitividade do mamograma (>75% glandular).[0007] In the 4th version of the BI-RADS (Breast Imaging Reporting and Data System), breast densities were classified into four categories: 1. Breast formed practically only from fat (<25% glandular); 2. Scattered fibroglandular densities (approximately 25% - 50% glandular); 3. Breast tissue with heterogeneous density that may hide the detection of small masses (approximately 51% - 75% glandular); 4. Extremely dense breast tissue, which may decrease mammogram sensitivity (>75% glandular).

[0008] Já a revisão feita na 5a edição em 2013, continua com as quatro classificações, porém elimina totalmente os quartis relacionados à quantidade de tecido glandular. Isto significa que na 5a edição não apenas a densidade é importante, mas principalmente se a densidade causar uma dificuldade de diagnóstico pela visualização da mamografia, por exemplo, caso ocorra um caso de densidade fibroglandular espalhada, porém podendo ocultar a detecção de massas pequenas, na 4a versão do sistema Bi-RADS a mama seria classificada como categoria 2, já na 5a versão do sistema Bi-RADS, a mama deve ser classificada como categoria 3. [0008] The review made in the 5th edition in 2013, continues with the four classifications, but totally eliminates the quartiles related to the amount of glandular tissue. This means that in the 5th edition not only density is important, but especially if density causes a difficulty in diagnosing by viewing the mammogram, for example, if there is a case of scattered fibroglandular density, but it may hide the detection of small masses in the 4th version of the Bi-RADS system, the breast would be classified as category 2, whereas in the 5th version of the Bi-RADS system, the breast should be classified as category 3.

[0009] Dessa forma, é possível observar que é necessária uma solução que afira a qualidade em uma projeção de mamografia e que determine de imediato o nível de densidade mamária, evitando atrasos e erros nos diagnósticos de patologias como o câncer e indicar com precisão se há necessidade de realizar exames complementares como ressonância magnética ou ultrassonografia, favorecendo, assim, em seu tratamento e probabilidade de cura. [0009] Thus, it is possible to observe that a solution is needed that measures the quality in a mammography projection and that immediately determines the level of breast density, avoiding delays and errors in the diagnosis of pathologies such as cancer and accurately indicating whether there is a need for additional tests such as magnetic resonance imaging or ultrasonography, thus favoring its treatment and probability of cure.

[0010] Na busca pelo estado da técnica em literaturas científica e patentária, foram encontrados os seguintes documentos que tratam sobre o tema: [0010] In the search for the state of the art in scientific and patent literature, the following documents were found dealing with the subject:

[0011] O documento US9008382 B2 revela um método e sistema de análise de imagens de mama que tem por objetivo estabelecer um valor de referência e calibrar automaticamente a imagem para fazer a estimativa da densidade global. Este documento, contudo, visa realizar a estimativa da densidade global da mama, o que diferencia das aplicações da presente invenção, a qual realiza a classificação da mama com base no risco de a densidade mamária obstruir a visualização e mascarar um diagnóstico e, além do mais, o método proposto em US9008382 B2 não prevê uma classificação para a qualidade do posicionamento da mama. [0011] The document US9008382 B2 discloses a method and system for analyzing breast images that aims to establish a reference value and automatically calibrate the image to estimate the global density. This document, however, aims to estimate the global breast density, which differs from the applications of the present invention, which performs the classification of the breast based on the risk that the breast density obstructs visualization and masks a diagnosis and, in addition to the moreover, the method proposed in US9008382 B2 does not provide a classification for the quality of breast positioning.

[0012] O documento US9361683 B2 revela uma técnica de predição em um sistema de imagem que realiza uma avaliação automática de medida(s) quantitativa(s) e propriedades de uma imagem usando técnicas de processamento de imagens. Contudo, a solução proposta em US9361683 B2 é limitada em aplicação uma vez que não utiliza de técnicas de aprendizagem de máquina, além de não propor uma classificação da densidade mamária de acordo com a classificação BI-RADS 5a versão e nem classifica a qualidade do posicionamento da mama. [0012] The document US9361683 B2 discloses a prediction technique in an image system that performs an automatic evaluation of quantitative measurement(s) and properties of an image using image processing techniques. However, the solution proposed in US9361683 B2 is limited in application since it does not use machine learning techniques, in addition to not proposing a classification of breast density according to the BI-RADS 5th version classification, nor does it classify the quality of positioning of the breast.

[0013] O documento US9536054 B1 revela um método e meios para utilizar a aprendizagem de máquina para treinar um dispositivo para gerar um indicador de nível de confiança (CLI) associados a ações clínicas seguindo o lexicon da recomendação BI-RADS. O dispositivo é um sistema de CAD que foi inicialmente treinado usando aprendizado inicial da máquina para recomendar classificações para recursos de imagem. Classificação probabilística é utilizada para incorporar valores intermediários, dados por um operador, para indicar o melhor nível de confiança das recomendações do sistema CAD sobre quais classes devem ser associadas a determinados recursos de imagem. Este método procura fazer um diagnóstico completo do exame de mamografia, enquanto que a invenção aqui proposta é uma ferramenta que visa auxiliar na classificação automática da densidade mamária de acordo com a classificação BI-RADS 5a Edição. Este documento também não classifica a qualidade do posicionamento da mama, o que é feito na invenção aqui proposta. [0013] The document US9536054 B1 discloses a method and means to use machine learning to train a device to generate a confidence level indicator (CLI) associated with clinical actions following the lexicon of the BI-RADS recommendation. The device is a CAD system that was initially trained using early machine learning to recommend ratings for imaging assets. Probabilistic classification is used to incorporate intermediate values, given by an operator, to indicate the best confidence level of the CAD system's recommendations about which classes should be associated with particular image resources. This method seeks to make a complete diagnosis of the mammography exam, while the invention proposed here is a tool that aims to assist in the automatic classification of breast density according to the BI-RADS 5th Edition classification. This document also does not classify the quality of breast positioning, which is done in the invention proposed here.

[0014] O documento WO2018015911 A1 revela um sistema e aparelho que compreende análise automatizada e feedback sobre qualidade de imagem de tecido mole, incluindo análise e feedback em tempo real e em conformidade com parâmetros e métricas chave que afetam a qualidade de uma imagem. O sistema é disposto para implementar um método em que proporciona uma avaliação qualitativa e/ou quantitativa de uma imagem incluindo várias etapas. As etapas incluem o uso de um aparelho de imagem para obter pelo menos uma imagem de tecido mole de um paciente e pelo menos uma imagem de objeto de teste; derivando um parâmetro de imagem de tecido macio e dados estatísticos de dados de imagem da imagem de tecido mole. O sistema e o método são caracterizados empregando uma métrica para a avaliação em comparação com o parâmetro e dados estatísticos, em que a métrica é obtida a partir dos dados da imagem do tecido mole, dados obtidos a partir de pelo menos uma imagem do objeto de teste e dados da imagem aparelho. Porém este método classifica a densidade mamária utilizando métodos estatísticos enquanto que a presente invenção utiliza de aprendizagem profunda de máquina. O método proposto na presente invenção, além de estimar a qualidade do posicionamento da mama, também faz de forma simultânea a estimativa da densidade da mama de acordo com a classificação BI-RADS 5a versão, características tais que não são encontradas em WO2018015911 A1. [0014] WO2018015911 A1 discloses a system and apparatus comprising automated analysis and feedback on soft tissue image quality, including analysis and feedback in real time and in accordance with key parameters and metrics that affect the quality of an image. The system is arranged to implement a method in which it provides a qualitative and/or quantitative assessment of an image including several steps. The steps include using an imaging device to obtain at least one soft tissue image of a patient and at least one test object image; deriving a soft tissue image parameter and image data statistical data from the soft tissue image. The system and method are characterized by employing a metric for evaluation against parameter and statistical data, where the metric is obtained from soft tissue image data, data obtained from at least one image of the object of test and device image data. However, this method classifies breast density using statistical methods while the present invention uses deep machine learning. The method proposed in the present invention, in addition to estimating the quality of breast positioning, also simultaneously estimates the breast density according to the BI-RADS 5th version classification, characteristics such as are not found in WO2018015911 A1.

[0015] O documento US8218850 B2 revela um método de processamento de uma imagem de mamografia para derivar um valor para um parâmetro útil na detecção de diferenças no tecido mamário em imagens subsequentes da mesma mama ou em relação a um grupo controle de tais imagens, sendo o referido parâmetro derivado um índice de probabilidade agregado que reflete à probabilidade de a imagem ser um membro de uma classe predefinida de imagens de mamografia, o referido método compreendendo a computação para cada uma de uma multidão de pixels dentro de uma grande região de interesse dentro da imagem um escore de probabilidade de pixel atribuído por um classificador estatístico treinado de acordo com a probabilidade de o referido pixel pertencente a uma imagem pertencente à referida classe, sendo a referida probabilidade de pixel calculada com base em uma pluralidade selecionada de características dos referidos pixels e calculando o referido parâmetro agregando os escores de probabilidade de pixel sobre a referida região de interesse. Este método procura estimar as diferenças associadas em variações de densidade da mama para estimar o risco de haver câncer. O método de US8218850 B2, contudo, não viabiliza uma classificação da densidade mamária, considerando o risco da densidade obstruir uma lesão e, com isso, atrapalhar um diagnóstico. Ademais, este documento não realiza a classificação da qualidade do posicionamento da mama. [0015] The document US8218850 B2 discloses a method of processing a mammography image to derive a value for a parameter useful in detecting differences in breast tissue in subsequent images of the same breast or in relation to a control group of such images, being said derived parameter is an aggregate probability index reflecting the probability that the image is a member of a predefined class of mammography images, said method comprising computing for each of a multitude of pixels within a large region of interest within of the image a pixel probability score assigned by a trained statistical classifier according to the probability of said pixel belonging to an image belonging to said class, said pixel probability being calculated based on a selected plurality of characteristics of said pixels and calculating said parameter by aggregating the pixel probability scores so that region of interest. This method seeks to estimate the associated differences in breast density variations to estimate the risk of developing cancer. The method of US8218850 B2, however, does not enable a classification of breast density, considering the risk of density obstructing a lesion and, therefore, hindering a diagnosis. Furthermore, this document does not perform the classification of the quality of breast positioning.

[0016] Assim, do que se depreende da literatura pesquisada, não foram encontrados documentos antecipando ou sugerindo os ensinamentos da presente invenção, de forma que a solução aqui proposta possui novidade e atividade inventiva frente ao estado da técnica. [0016] Thus, from what appears from the researched literature, no documents were found anticipating or suggesting the teachings of the present invention, so that the solution proposed here has novelty and inventive step compared to the state of the art.

[0017] Diante disso, é possível observar que o estado da técnica carece de uma detecção não subjetiva da densidade mamária, a partir do risco de esta não obstruir ou atrapalhar um diagnóstico, e do posicionamento da mama no momento do exame, que auxilie os profissionais no diagnóstico correto, perdendo o menor tempo possível e identificando precocemente patologias. [0017] Therefore, it is possible to observe that the state of the art lacks a non-subjective detection of breast density, from the risk of it not obstructing or hindering a diagnosis, and the positioning of the breast at the time of the examination, which helps the professionals in the correct diagnosis, wasting as little time as possible and early identification of pathologies.

Invention Summary

[0018] Dessa forma, a presente invenção resolve os problemas do estado da técnica a partir de uma análise automática da imagem de mamografia, de modo a prover uma estimativa sobre a qualidade do posicionamento da mama na imagem, na tentativa de evitar que os exames tenham de ser refeitos, e também uma predição sobre a densidade mamária, classificando-a quanto aos riscos de a densidade obstruir uma lesão e atrapalhar um diagnóstico, de forma que a presente invenção possibilita auxiliar no diagnóstico de câncer de mama. Com isso, a presente invenção apresenta um método de análise automática de imagem de mamografia, que possui etapas como treinamento de redes neurais profundas de avaliação do posicionamento da mama, melhorando a qualidade da imagem e direcionando a um diagnóstico correto e classificação de densidade mamária, por exemplo, conforme a edição 5a do BI-RADS (Breast Imaging Reporting and Data System) de 2013, onde como dito anteriormente, a alta densidade mamária, como visto em estudos, possui alta probabilidade de incidência de câncer de mama, alertando, assim, o especialista ou mesmo no caso de uma mama de baixa densidade, que apresente algum aglomerado que impeça a visualização de uma possível lesão. Logo, esta solução possibilita diminuir a subjetividade nos diagnósticos de mamografia e uma maior precisão em seu diagnóstico, diminuindo o tempo necessário e fornecendo subsídios para o diagnóstico correto. [0018] In this way, the present invention solves the problems of the prior art from an automatic analysis of the mammography image, in order to provide an estimate on the quality of the positioning of the breast in the image, in an attempt to avoid that the exams have to be redone, and also a prediction on breast density, classifying it as to the risks of density obstructing a lesion and hindering a diagnosis, so that the present invention makes it possible to assist in the diagnosis of breast cancer. Thus, the present invention presents a method of automatic analysis of mammography image, which has steps such as training of deep neural networks to assess breast positioning, improving image quality and directing to a correct diagnosis and classification of breast density, for example, according to the 5th edition of the BI-RADS (Breast Imaging Reporting and Data System) of 2013, where as previously mentioned, high breast density, as seen in studies, has a high probability of breast cancer incidence, thus warning , the specialist or even in the case of a low-density breast, which presents some clump that prevents the visualization of a possible lesion. Therefore, this solution makes it possible to reduce subjectivity in mammography diagnoses and provide greater accuracy in its diagnosis, reducing the time needed and providing subsidies for the correct diagnosis.

[0019] Em um primeiro objeto, a presente invenção apresenta um método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, que compreende as etapas de: predição de qualidade de posicionamento de mama na imagem de mamografia; e predição de densidade mamária na imagem de mamografia a partir do risco de a densidade mamária mascarar diagnóstico de uma lesão. [0019] In a first object, the present invention presents an automatic method of mammography image analysis, implemented in at least one previously trained deep learning system, which comprises the steps of: predicting the quality of breast positioning in the image of mammography; and prediction of breast density in the mammography image based on the risk of breast density masking a diagnosis of a lesion.

[0020] É, também, um objeto da invenção, um método automático de análise de imagem de mamografia que compreende as etapas de: recebimento de ao menos uma imagem de mamografia a ser analisada, por uma unidade de processamento; processamento da imagem de mamografia, compreendendo predição da qualidade do posicionamento da mama (1) na imagem e predição de densidade mamária (2); exibição, pela unidade de processamento, da predição da qualidade do posicionamento da mama (1) na imagem; exibição, pela unidade de processamento, da predição da densidade mamária (2) na imagem. [0020] It is also an object of the invention, an automatic method of mammography image analysis that comprises the steps of: receiving at least one mammography image to be analyzed by a processing unit; mammography image processing, comprising predicting the quality of breast positioning (1) in the image and predicting breast density (2); display, by the processing unit, of the prediction of the quality of breast positioning (1) in the image; display, by the processing unit, of the prediction of breast density (2) in the image.

[0021] Em um terceiro objeto, a presente invenção apresenta um método de treinamento de rede neural profunda para análise de imagem de mamografia e predição da qualidade de posicionamento da mama, que compreende as etapas de: seleção de uma pluralidade de imagens de mamografias de base contendo perfil amostral estatístico previamente identificado como boa, média e ruim; classificação qualitativa do posicionamento da mama (1) na imagem de mamografia da pluralidade de imagens de mamografia por meio de classificação, do tipo: boa, média ou ruim; e inserção das imagens classificadas em um canal de entrada da rede neural profunda e verificação de erros, a partir de comparações com o perfil amostral definidos. [0021] In a third object, the present invention presents a deep neural network training method for mammography image analysis and prediction of the quality of breast positioning, comprising the steps of: selecting a plurality of mammogram images of base containing statistical sampling profile previously identified as good, average and bad; qualitative classification of breast positioning (1) in the mammography image of the plurality of mammography images by means of classification, such as: good, average or bad; and insertion of classified images into a deep neural network input channel and error checking, based on comparisons with the defined sample profile.

[0022] Em um quarto objeto, a presente invenção apresenta um sistema automático de análise de imagem de mamografia que compreende ao menos um classificador automático da imagem mamográfica dotado de ao menos: um preditor de qualidade do posicionamento da mama na imagem de mamografia; e um preditor de densidade mamária na imagem de mamografia, possibilitando classificar o risco de a densidade impedir a visualização de uma lesão. [0022] In a fourth object, the present invention presents an automatic mammography image analysis system that comprises at least one automatic mammographic image classifier provided with at least: one quality predictor of breast positioning in the mammography image; and a predictor of breast density in the mammography image, making it possible to classify the risk of the density preventing the visualization of a lesion.

[0023] Estes e outros objetos da invenção serão imediatamente valorizados pelos versados na arte e serão descritos detalhadamente a seguir. [0023] These and other objects of the invention will be immediately valued by those skilled in the art and will be described in detail below.

Brief Description of Figures

[0024] São apresentadas as seguintes figuras: [0024] The following figures are presented:

[0025] A figura 1 mostra uma concretização do fluxograma do classificador de qualidade de captura para classificação de posicionamento da mama (1) e de densidade de mama para classificação de densidade mamária (2), onde esse classificador é baseado em redes neurais profundas (3) (Deep Learning). [0025] Figure 1 shows an embodiment of the flowchart of the capture quality classifier for classification of breast positioning (1) and breast density for classification of breast density (2), where this classifier is based on deep neural networks ( 3) (Deep Learning).

[0026] A figura 2 mostra uma concretização do fluxograma de um funcionamento do sistema de análise de imagem de mamografia por meio da máquina de captura de imagem, de um computador local (hospital), um servidor remoto ou local e um computador local (médico). [0026] Figure 2 shows an embodiment of the flowchart of an operation of the mammography image analysis system through the image capture machine, a local computer (hospital), a remote or local server and a local computer (doctor ).

[0027] As figuras de 3 a 6 mostram exemplos de resultados obtidos por testes realizados a partir dos ensinamentos da presente invenção. [0027] Figures 3 to 6 show examples of results obtained by tests carried out from the teachings of the present invention.

Detailed Description of the Invention

[0028] As descrições que se seguem são apresentadas a título de exemplo e não limitativas ao escopo da invenção e farão compreender de forma mais clara o objeto do presente pedido de patente. [0028] The descriptions that follow are presented by way of example and do not limit the scope of the invention and will make the object of this patent application more clearly understood.

[0029] Para fins da presente invenção, imagem de mamografia é qualquer imagem capturada da mama de uma paciente, por exemplo, durante a execução de um exame de mamografia ou qualquer outro exame por imagens para avaliação de doenças relacionadas à região mamária. [0029] For the purposes of the present invention, mammography image is any image captured of a patient's breast, for example, while performing a mammography exam or any other imaging exam for the evaluation of diseases related to the breast region.

[0030] Em um primeiro objeto, a presente invenção apresenta um método automático de análise de imagem de mamografia, implementado em ao menos um sistema de aprendizado profundo previamente treinado, que compreende as etapas de: predição de qualidade de posicionamento de mama (1) na imagem de mamografia; e predição de densidade mamária (2) na imagem de mamografia, a partir do risco de a densidade mamária mascarar diagnóstico de uma lesão. [0030] In a first object, the present invention presents an automatic method of mammography image analysis, implemented in at least one previously trained deep learning system, which comprises the steps of: predicting the quality of breast positioning (1) on mammography imaging; and prediction of breast density (2) in the mammography image, based on the risk of breast density masking a diagnosis of a lesion.

[0031] A etapa de predição de qualidade de posicionamento da mama (1) compreende etapa prévia de treinamento e classificação de imagens de mamografia no sistema de aprendizado profundo. O sistema de aprendizado profundo compreende uma rede neural profunda (3). Em uma concretização, o classificador compreende arquitetura de redes neurais profundas (3) (deep learning) compreendendo camadas de redes convolucionais e camadas de redes densas. As camadas de redes convolucionais são responsáveis por extrair características para se fazer a classificação e as camadas de redes densas são as responsáveis para se fazer a classificação final em 3 categorias: qualidade do posicionamento: bom, médio ou ruim. [0031] The stage of predicting the quality of breast positioning (1) comprises the previous stage of training and classification of mammography images in the deep learning system. The deep learning system comprises a deep neural network (3). In one embodiment, the classifier comprises deep neural network architecture (3) (deep learning) comprising layers of convolutional networks and layers of dense networks. The convolutional network layers are responsible for extracting characteristics to make the classification and the dense network layers are responsible for making the final classification into 3 categories: positioning quality: good, medium or bad.

[0032] Em outra concretização, a etapa prévia de treinamento é realizada por meio de um conjunto de imagens de mamografia previamente selecionadas e/ou previamente anotadas, tanto na qualidade do posicionamento da mama (1) na imagem quanto na estimativa da densidade mamária (2). Deste modo, o classificador é capaz de disponibilizar a um médico/especialista/radiologista o resultado da predição realizada para qualidade do posicionamento da mama (1) e da densidade mamária (2) na imagem mamográfica. [0032] In another embodiment, the previous stage of training is performed through a set of previously selected and/or previously annotated mammography images, both in the quality of breast positioning (1) in the image and in the estimation of breast density ( two). Thus, the classifier is able to provide a physician/specialist/radiologist with the result of the prediction performed for the quality of breast positioning (1) and breast density (2) in the mammographic image.

[0033] Para fins da presente invenção, imagens de mamografia previamente anotadas são imagens usadas para treinamento que já foram analisadas por médicos radiologistas e/ou especialistas em mamografia. [0033] For the purposes of the present invention, previously annotated mammography images are images used for training that have already been analyzed by radiologists and/or mammography specialists.

[0034] Em uma concretização, a rede neural (3) é treinada com os dados anotados utilizando-se uma função de perda de entropia cruzada, de modo a conseguir um erro final aceitável. Esse treinamento é feito com base nos dados anotados. Com isso, a rede neural (3) é capaz de calcular e fornecer os índices de qualidade do posicionamento da mama (1) e densidade mamária (2) com base no treinamento realizado. Em uma concretização, a matriz de pixels da imagem da mama é alimentada como entrada do algoritmo da rede neural profunda, que foi treinada para retornar como resultado os dois índices: a qualidade do posicionamento da mama e a densidade mamária. [0034] In one embodiment, the neural network (3) is trained with the annotated data using a cross entropy loss function, in order to achieve an acceptable final error. This training is based on the recorded data. Thus, the neural network (3) is able to calculate and provide the quality indices of breast positioning (1) and breast density (2) based on the training performed. In one embodiment, the pixel array of the breast image is fed as input to the deep neural network algorithm, which has been trained to return two indices as a result: breast positioning quality and breast density.

[0035] Em uma concretização, a etapa de predição de qualidade possui exibição dos resultados referentes à qualidade da imagem, onde a qualidade da imagem é classificada, por exemplo, por ruim, média ou boa. [0035] In one embodiment, the quality prediction step has display of results referring to image quality, where the image quality is classified, for example, by bad, average or good.

[0036] A etapa de predição da densidade mamária (2) é realizada a fim de identificar o risco de a densidade mamária mascarar ou obstruir alguma possível lesão no paciente, podendo interferir/atrapalhar o diagnóstico de um médico. Com base nisso, o método da invenção classifica a densidade mamária de acordo com índices pré-definidos e fornece essas informações ao médico, para que o mesmo realize a tomada de decisão. [0036] The breast density prediction step (2) is performed in order to identify the risk of breast density masking or obstructing any possible injury to the patient, which may interfere / hinder the diagnosis of a doctor. Based on this, the method of the invention classifies breast density according to pre-defined indices and provides this information to the physician, so that he can carry out the decision-making process.

[0037] A etapa de predição de densidade mamária (2) na imagem de mamografia é implementada em um sistema híbrido compreendendo a rede neural profunda (3) e ao menos um sistema analítico de extração de características. Em uma concretização, o cálculo da densidade mamária (2) é realizado utilizando avaliação do screening logo após a captura da imagem. [0037] The breast density prediction step (2) in the mammography image is implemented in a hybrid system comprising the deep neural network (3) and at least one analytical feature extraction system. In one embodiment, the calculation of breast density (2) is performed using screening evaluation right after image capture.

[0038] Em uma concretização, a predição da densidade mamária (2) compreende as etapas de: divisão da imagem de mamografia em áreas circulares de tamanhos pré-definidos; cálculo de densidade média associada a cada pixel centrado nas áreas circulares divididas, sendo este cálculo realizado com base nas intensidades luminosas identificada nos pixels de vizinhança em cada área dividida; geração de mapa de densidades, com pontos de máximo e mínimo em cada área dividida; e definição de intensidade média nos pontos de máximo e mínimo do mapa de densidades e cálculo da estimativa da densidade mamária (2). Para fins de exemplificação, a intensidade luminosa dos pixels é proporcional ao grau de opacidade do tecido mamário ao feixe de raios X emitido pelo mamógrafo. [0038] In one embodiment, the prediction of breast density (2) comprises the steps of: dividing the mammography image into circular areas of predefined sizes; calculation of average density associated with each pixel centered in the divided circular areas, this calculation being performed based on the luminous intensities identified in the neighboring pixels in each divided area; generation of density map, with maximum and minimum points in each divided area; and definition of mean intensity at the maximum and minimum points of the density map and calculation of the estimated breast density (2). For purposes of illustration, the luminous intensity of the pixels is proportional to the degree of opacity of the breast tissue to the X-ray beam emitted by the mammograph.

[0039] Em uma concretização, são selecionados N (pré-definido) áreas circulares da imagem de mamografia de maiores densidades médias em relação às suas áreas vizinhas. Cada uma das N regiões geram dois valores: a densidade média máxima e a densidade média mínima. Em uma concretização, a densidade mamária (2) pode ser calculada utilizando uma rede neural (3) feita de camadas densas que recebe esses N valores de densidades médias máximas e mínimas. Esta rede é treinada com imagens já classificadas por médicos, especialista, etc. [0039] In one embodiment, N (predefined) circular areas of the mammography image of higher mean densities are selected in relation to their neighboring areas. Each of the N regions generates two values: the maximum mean density and the minimum mean density. In one embodiment, breast density (2) can be calculated using a neural network (3) made of dense layers that receive these N values of maximum and minimum mean densities. This network is trained with images already classified by doctors, specialists, etc.

[0040] Em uma concretização, a predição da densidade mamária na imagem é realizada de acordo com a orientação BI-RADS 5a edição de 2013. [0040] In one embodiment, the prediction of breast density in the image is performed in accordance with BI-RADS 5th edition 2013 guidance.

[0041] Em um outro objeto, a presente invenção apresenta um método automático de análise de imagem de mamografia que compreende as etapas de: recebimento de ao menos uma imagem de mamografia a ser analisada, por uma unidade de processamento; processamento da imagem de mamografia, compreendendo predição da qualidade do posicionamento da mama (1) na imagem e predição de densidade mamária (2); exibição, pela unidade de processamento, da predição da qualidade do posicionamento da mama (1) na imagem; e exibição, pela unidade de processamento, da predição da densidade mamária (2) na imagem. [0041] In another object, the present invention presents an automatic method of mammography image analysis comprising the steps of: receiving at least one mammography image to be analyzed by a processing unit; mammography image processing, comprising predicting the quality of breast positioning (1) in the image and predicting breast density (2); display, by the processing unit, of the prediction of the quality of breast positioning (1) in the image; and display, by the processing unit, of the prediction of breast density (2) in the image.

[0042] A etapa de processamento é dotada da classificação automática da imagem mamográfica, no qual é responsável por realizar a predição da qualidade do posicionamento da mama (1) na imagem de mamografia e realizar a predição da densidade mamária (2) na imagem de mamografia. Em uma concretização, a etapa a predição da qualidade do posicionamento da mama é realizada por meio de arquitetura de redes neurais profundas (3) compreendendo camadas de redes convolucionais e camadas de redes densas. Em uma concretização, a rede neural profunda (3) foi treinada com um conjunto de imagens de mamografia previamente selecionadas e/ou previamente classificadas por um profissional de saúde especialista. [0042] The processing step is endowed with automatic classification of the mammographic image, in which it is responsible for predicting the quality of the positioning of the breast (1) in the mammography image and performing the prediction of breast density (2) in the image. mammography. In one embodiment, the stage of predicting the quality of breast positioning is performed through deep neural network architecture (3) comprising layers of convolutional networks and layers of dense networks. In one embodiment, the deep neural network (3) was trained with a set of previously selected and/or previously classified mammography images by an expert healthcare professional.

[0043] Em uma concretização, a etapa de predição da qualidade da imagem de mamografia compreende exibição de resultados, sendo classificados, por exemplo, como ruim, média ou boa. Com base neste resultado automático, um profissional de saúde que executa o exame pode, no mesmo momento, verificar a necessidade de se repetir o exame ou não. [0043] In one embodiment, the step of predicting the quality of the mammography image comprises displaying results, being classified, for example, as bad, average or good. Based on this automatic result, a health professional who performs the exam can, at the same time, verify the need to repeat the exam or not.

[0044] Em uma concretização, a etapa de predição da densidade mamária é realizada pela unidade de processamento e compreende as etapas de: divisão da imagem de mamografia em áreas circulares de tamanhos pré-definidos; cálculo de densidade média associada a cada pixel centrado nas áreas circulares divididas, sendo este cálculo realizado com base nas intensidades luminosas identificada nos pixels de vizinhança em cada área dividida; geração de mapa de densidades, com pontos de máximo e mínimo em cada área dividida; e definição de intensidade média nos pontos de máximo e mínimo do mapa de densidades e cálculo da estimativa da densidade mamária (2). Em uma concretização, o cálculo da densidade mamária pode ser executado por uma outra rede neural de camadas densas que recebe como entrada esses valores de máximos e mínimos de valores médios das regiões circulares. Esta rede é treinada com os dados anotados por especialistas. [0044] In one embodiment, the breast density prediction step is performed by the processing unit and comprises the steps of: dividing the mammography image into circular areas of predefined sizes; calculation of average density associated with each pixel centered in the divided circular areas, this calculation being performed based on the luminous intensities identified in the neighboring pixels in each divided area; generation of density map, with maximum and minimum points in each divided area; and definition of mean intensity at the maximum and minimum points of the density map and calculation of the estimated breast density (2). In one embodiment, the calculation of breast density can be performed by another dense layer neural network that receives as input these maximum and minimum values of mean values of the circular regions. This network is trained with data annotated by experts.

[0045] Em uma concretização, ao término da etapa de processamento são fornecidas a qualidade de posicionamento da mama (1) e a densidade mamária (2) da imagem de mamografia prevista pelo classificador. Em uma concretização, o classificador fornece i) a qualidade do posicionamento da mama, segundo índices previamente definidos, tais como ruim, média ou boa; e ii) a classificação de a densidade mamária poder obstruir a visualização de alguma lesão, sendo esta classificação previamente definida, tal como exemplificado pela BI-RADS 5a edição. Estes dois resultados são disponibilizados a um médico/especialista/radiologista para auxiliá-lo nas tomadas de decisão após a realização do exame no paciente. [0045] In one embodiment, at the end of the processing step, the quality of breast positioning (1) and breast density (2) of the mammography image predicted by the classifier are provided. In one embodiment, the classifier provides i) the quality of breast positioning, according to previously defined indices, such as poor, average or good; and ii) the classification of breast density being able to obstruct the visualization of any lesion, this classification being previously defined, as exemplified by the BI-RADS 5th edition. These two results are made available to a physician/specialist/radiologist to assist in decision-making after the exam is performed on the patient.

[0046] Em um terceiro objeto, a presente invenção apresenta um método de treinamento de rede neural profunda para análise de imagem de mamografia e predição da qualidade de posicionamento da mama, que compreende as etapas de: seleção de uma pluralidade de imagens de mamografias de base contendo perfil amostral estatístico previamente identificado; classificação do posicionamento da mama (1) na imagem de mamografia da pluralidade de imagens de mamografia por meio de classificação, do tipo: boa, média ou ruim; e inserção das imagens classificadas em um canal de entrada da rede neural profunda e verificação de erros, a partir de dados anotados. [0046] In a third object, the present invention presents a deep neural network training method for mammography image analysis and prediction of breast positioning quality, comprising the steps of: selecting a plurality of mammogram images from base containing previously identified statistical sampling profile; classification of breast positioning (1) in the mammography image of the plurality of mammography images by means of classification, such as: good, average or bad; and insertion of the classified images into a deep neural network input channel and error checking, from annotated data.

[0047] Em uma concretização, é utilizada uma rede neural profunda (3) compreendendo camadas de redes convolucionais e camadas de redes densas. [0047] In one embodiment, a deep neural network (3) comprising layers of convolutional networks and layers of dense networks is used.

[0048] Assim, para o treinamento da rede neural profunda, é selecionada uma pluralidade de imagens que possuam um perfil amostral estatístico aceitável para a análise, ou seja, imagens que possuam características iguais ou semelhantes o suficientes para se traçar padrões matemáticos, além de imagens com características distintas, de tal modo que o sistema de aprendizado seja capaz de reconhecer as diferenças entre situações de eventos diversos. [0048] Thus, for the training of the deep neural network, a plurality of images is selected that have an acceptable statistical sampling profile for the analysis, that is, images that have enough equal or similar characteristics to trace mathematical patterns, in addition to images with distinct characteristics, in such a way that the learning system is able to recognize the differences between situations of different events.

[0049] Em seguida, um especialista, capaz de classificar as imagens de mamografia, verifica a qualidade do posicionamento da mama das imagens selecionadas e, então, as classifica de acordo com um padrão previamente definido. Em uma concretização, a classificação pode ser do tipo: boa, média ou ruim. [0049] Then, a specialist, capable of classifying the mammography images, checks the quality of breast positioning of the selected images and then classifies them according to a previously defined standard. In one embodiment, the rating can be of the type: good, average, or bad.

[0050] Com isso, as imagens classificadas são inseridas no canal de entrada da rede neural. A partir dos resultados obtidos na camada de saída, são verificados os erros obtidos quando comparados com as classificações das imagens. Deste modo, a rede neural é capaz de atualizar os pesos das camadas executando a aprendizagem e aprimorando o resultado de saída através da otimização do método do gradiente descendente. [0050] With that, the classified images are inserted in the input channel of the neural network. From the results obtained in the output layer, the errors obtained when compared with the image classifications are verified. In this way, the neural network is able to update the layer weights executing the learning and improving the output result through the optimization of the descending gradient method.

[0051] Ainda, o médico especialista também recebe a estimativa da densidade mamária (2) feita pelo classificador e decide a classificação da densidade mamária (2) a ser inserida em um laudo médico. [0051] Furthermore, the specialist physician also receives the breast density estimate (2) made by the classifier and decides the breast density classification (2) to be inserted in a medical report.

[0052] Em um quarto objeto, a presente invenção apresenta um sistema automático de análise de imagem de mamografia que compreende ao menos um classificador automático da imagem mamográfica dotado de ao menos: preditor de qualidade do posicionamento da mama (1) na imagem de mamografia; e preditor de densidade mamária (2) na imagem de mamografia. [0052] In a fourth object, the present invention presents an automatic mammography image analysis system that comprises at least one automatic mammographic image classifier equipped with at least: breast positioning quality predictor (1) in the mammography image ; and breast density predictor (2) in the mammography image.

[0053] Em uma concretização, o preditor de qualidade tem como função analisar a qualidade do posicionamento da dita imagem de mamografia, isto é, se a imagem está posicionada corretamente, nítida e/ou suscetível para ser interpretada por um profissional. Em uma concretização, o preditor de densidade mamária (2) na imagem de mamografia tem como função determinar a densidade mamária (2) a partir da imagem de mamografia, através de um cálculo e disponibilizar o resultado para um profissional. [0053] In one embodiment, the quality predictor has the function of analyzing the quality of the positioning of said mammography image, that is, whether the image is correctly positioned, sharp and/or susceptible to be interpreted by a professional. In one embodiment, the breast density predictor (2) in the mammography image has the function of determining the breast density (2) from the mammography image, through a calculation and making the result available to a professional.

[0054] O sistema automático de análise de imagem de mamografia compreende também: meio de recebimento de imagem de mamografia; ao menos um processador compreendendo: ao menos um leitor de imagem de mamografia; um classificador automático da imagem mamográfica; ao menos uma ferramenta de disponibilização de resultados; em que o classificador automático de imagem mamográfica compreendido no processador é comunicante à ferramenta de disponibilização de resultados e o leitor de imagem de mamografia compreendido no processador é comunicante ao meio de recebimento de imagem de mamografia. [0054] The automatic mammography image analysis system also comprises: mammography image receiving means; at least one processor comprising: at least one mammography image reader; an automatic mammographic image classifier; at least one tool for providing results; in which the automatic mammographic image classifier comprised in the processor communicates with the result provision tool and the mammography image reader comprised in the processor communicates with the means of receiving the mammography image.

[0055] Em uma concretização, o meio de recebimento de imagem de mamografia compreende associação com o processador, de modo que a imagem recebida pelo meio de recebimento de imagem de mamografia seja encaminhada ao processador. Em uma concretização, o processador compreende um leitor de imagem e o dito classificador automático de imagem mamográfica, que compreende os referidos preditores de qualidade e de densidade mamária (2). Em outra concretização, o leitor de imagem envia a imagem para o classificador que analisa automaticamente a qualidade do posicionamento da mama (1) (preditor de qualidade) e realiza o cálculo para a determinação da densidade mamária (2) na imagem de mamografia. Em outra concretização, o classificador compreende arquitetura de redes neurais profundas (3) (deep learning) compreendendo camadas de redes convolucionais e camadas de redes densas. [0055] In one embodiment, the mammography image receiving means comprises association with the processor such that the image received by the mammography image receiving means is forwarded to the processor. In one embodiment, the processor comprises an image reader and said automatic mammographic image classifier, which comprises said predictors of quality and breast density (2). In another embodiment, the image reader sends the image to the classifier, which automatically analyzes the quality of the positioning of the breast (1) (quality predictor) and performs the calculation to determine the breast density (2) in the mammography image. In another embodiment, the classifier comprises deep neural network architecture (3) (deep learning) comprising layers of convolutional networks and layers of dense networks.

[0056] O classificador automático da imagem mamográfica compreende ao menos um sistema híbrido composto de ao menos uma rede neural profunda (3) e ao menos um sistema analítico de análise de densidade mamária (2) máxima e mínima de ao menos uma imagem. [0056] The automatic mammographic image classifier comprises at least one hybrid system composed of at least one deep neural network (3) and at least one analytical system of analysis of maximum and minimum breast density (2) of at least one image.

[0057] O classificador de densidade mamária (2) na imagem mamográfica compreende ao menos um meio de direcionamento da área circular a ser feita a varredura de pixels de predição de densidade mamária (2). [0057] The breast density classifier (2) in the mammographic image comprises at least one means of targeting the circular area to be scanned for breast density prediction pixels (2).

[0058] O uso do sistema possibilita o ganho de tempo em realização de uma imagem de mamografia de boa qualidade. Além disso, a etapa de predição da qualidade do posicionamento da mama (1) na imagem de mamografia permite beneficiar um paciente, visto que o exame apresenta um resultado mais acelerado. [0058] The use of the system makes it possible to save time in performing a good quality mammography image. In addition, the stage of predicting the quality of breast positioning (1) in the mammography image allows benefiting a patient, since the exam presents a faster result.

Example - Automatic Mammography Image Analysis

[0059] Os exemplos aqui mostrados têm o intuito somente de exemplificar uma das inúmeras maneiras de se realizar a invenção, contudo sem limitar, o escopo da mesma. [0059] The examples shown here are intended only to exemplify one of the numerous ways to carry out the invention, however without limiting the scope of the same.

[0060] Foram realizados testes do método em uma plataforma web, em que várias imagens tiveram densidade e qualidade do posicionamento calculadas pelos métodos que utilizam redes neurais profundas descritos. A plataforma apresenta links para visualização de alta resolução das imagens, que podem ser abertas em softwares profissionais de visualização de imagens médicas. Podem ser visualizadas todas as posições das mamas dos pacientes e suas classificações de qualidade e densidade, como mostrado nas figuras 3 a 6. [0060] Tests of the method were performed on a web platform, in which several images had density and positioning quality calculated by the methods that use deep neural networks described. The platform features high-resolution image viewing links, which can be opened in professional medical image viewing software. All the positions of the patients' breasts and their quality and density ratings can be viewed, as shown in figures 3 to 6.

[0061] Para isso, foi utilizado um sistema automático de análise de imagem de mamografia, onde foi utilizado um método de deep learning por meio de redes neurais profundas (3) para realizar a estimativa de qualidade da imagem de mamografia de forma automatizada, logo após a captura da imagem. Foi utilizado, também, um método computacional automático objetivo para a classificação da densidade mamária (2), em que o conjunto de padrões é concretizado nos critérios estabelecidos no BI-RADS 5a edição de 2013. A decisão sobre a necessidade de exames complementares é baseada nesta classificação, onde esta classificação é dada: A. a mama é quase totalmente gordurosa; B. existem áreas dispersas de densidade fibroglandular; C. as mamas estão heterogeneamente densas, podendo obstruir massas pequenas; e D. as mamas estão extremamente densas, o que diminui a sensibilidade da mamografia. [0061] For this, an automatic mammography image analysis system was used, in which a deep learning method was used through deep neural networks (3) to perform an automated mammography image quality estimation, logo after capturing the image. An objective automatic computational method was also used for the classification of breast density (2), in which the set of standards is implemented in the criteria established in the BI-RADS 5th edition of 2013. The decision on the need for additional tests is based on in this classification, where this classification is given: A. the breast is almost completely fatty; B. there are scattered areas of fibroglandular density; C. the breasts are heterogeneously dense and may obstruct small masses; and D. the breasts are extremely dense, which reduces the sensitivity of the mammogram.

[0062] Neste exemplo, foi utilizado um meio de recebimento de imagem de mamografia, um processador com leitor de imagem de mamografia e classificador automático da imagem mamográfica e uma ferramenta de disponibilização de resultados. [0062] In this example, a mammography image receiving means, a processor with a mammography image reader and an automatic mammography image classifier and a tool for providing results were used.

[0063] Foi obtida uma averiguação de forma rápida e possibilitou prever a necessidade de uma nova captura de imagem com um melhor posicionamento da mama (1) no mamógrafo. Foi possível uma análise da qualidade do posicionamento da mama (1) menos subjetiva, sendo esta realizada pelo processador. Imagens de mamografia foram alimentadas como entrada da rede da rede neural profunda (3) que extraiu parâmetros baseados em atributos, e assim, possibilitou a predição da qualidade para as imagens de mamografia como ruim, média ou boa. [0063] An investigation was obtained quickly and made it possible to predict the need for a new image capture with a better positioning of the breast (1) on the mammograph. A less subjective analysis of the quality of the positioning of the breast (1) was possible, which was carried out by the processor. Mammography images were fed as input from the deep neural network network (3) which extracted parameters based on attributes, and thus enabled the prediction of quality for the mammography images as poor, average or good.

[0064] Na avaliação da qualidade da imagem de mamografia, foi levado em conta um sistema de avaliação da imagem (IES) e foram levados em consideração critérios fixos. Para o treinamento das redes neurais profundas (3) foram utilizadas imagens apresentando classificações concordantes por vários especialistas e diminuiu, assim, a subjetividade. O sistema pôde ser capaz de seguir os mesmos critérios dos especialistas, resultando em predições fiéis a esses critérios. [0064] In the assessment of mammography image quality, an image assessment system (IES) was taken into account and fixed criteria were taken into account. For the training of deep neural networks (3), images with concordant classifications by several specialists were used, thus reducing subjectivity. The system might be able to follow the same criteria as the experts, resulting in predictions faithful to those criteria.

[0065] As imagens de treinamento foram classificadas em um dos três níveis (ruim, média ou boa) por especialistas e a rede neural profunda (3) aprendeu a fazer a predição da qualidade em outras imagens de mamografia que lhe foram apresentados, adaptando-se, assim, a predição à classificação. [0065] The training images were classified into one of three levels (bad, average or good) by specialists and the deep neural network (3) learned to make the prediction of quality in other mammography images that were presented to it, adapting them. if, thus, the prediction to the classification.

[0066] Para fins de entendimento das classificações utilizadas, sem limitação ao exemplo/testes realizados e, muito menos, ao escopo da invenção, uma classificação boa indica que a imagem pode ser utilizada com segurança pelo especialista para análise. Uma qualidade média indica que a imagem pode ser utilizada para a análise apesar de pequenos problemas de posicionamento. Uma qualidade baixa, por outro lado, indica que a imagem não pode ser analisada com segurança pelo especialista e necessita ser reobtida. [0066] For purposes of understanding the classifications used, without limitation to the example/tests performed and, much less, to the scope of the invention, a good classification indicates that the image can be safely used by the expert for analysis. A medium quality indicates that the image can be used for analysis despite minor placement problems. Low quality, on the other hand, indicates that the image cannot be reliably analyzed by the specialist and needs to be retrieved.

[0067] Para a classificação da densidade mamária (2), o sistema utilizouse das redes neurais profundas (3). O sistema avaliou o screening logo após a captura da imagem e auxiliou os médicos na tomada de decisão. [0067] For the classification of breast density (2), the system used the deep neural networks (3). The system evaluated the screening right after image capture and assisted physicians in decision making.

[0068] Para a predição da densidade mamária (2), foram utilizados critérios estabelecidos no BI-RADS 5a edição de 2013 e foi levado em consideração um banco de imagens obtidas em uma rotina clínica. Estas imagens são das quatro categorias de densidade mamária (2) estabelecidas pelo BI-RADS com classificação já realizada por especialistas e o sistema utilizou a rede neural profunda (3), fazendo-a aprender como fazer a predição da categoria em outras imagens que sejam apresentadas e pôde, assim, adaptar a predição de forma eficiente à classificação e excluiu a subjetividade do processo. [0068] For the prediction of breast density (2), criteria established in the BI-RADS 5th edition of 2013 were used and a bank of images obtained in a clinical routine was taken into account. These images are from the four breast density categories (2) established by the BI-RADS with classification already performed by experts and the system used the deep neural network (3), making it learn how to make the prediction of the category in other images that are presented and was able to adapt the prediction efficiently to the classification and excluded the subjectivity of the process.

[0069] Assim, para a realização do cálculo foram-se analisadas as imagens obtidas, de modo que foi realizada a extração dos valores de intensidade máxima, mínima e média da vizinhança de cada pixel da imagem nas áreas circulares divididas, verificando a intensidade luminosa de todos os pixels de sua vizinhança (definida como pixels a uma distância R do pixel centrado), inclusive podendo definir várias distâncias de vizinhança. Cada mapa de densidade extraído (sendo mapa de densidade a matriz de valores de intensidade máxima, mínima ou média extraído usando um valor de distância Ri para a distância de vizinhança) é então usado como atributo para treinar uma segunda rede neural profunda, que é capaz de estimar a densidade da mama (tendo como parâmetro de entrada os mapas de densidade e como saída a densidade mamária estimada). [0069] Thus, to carry out the calculation, the images obtained were analyzed, so that the maximum, minimum and average intensity values were extracted from the vicinity of each pixel of the image in the divided circular areas, checking the light intensity of all pixels in its neighborhood (defined as pixels at a distance R from the centered pixel), including being able to define various neighborhood distances. Each extracted density map (density map being the matrix of maximum, minimum or average intensity values extracted using a Ri distance value for the neighborhood distance) is then used as an attribute to train a second deep neural network, which is capable of estimating breast density (using density maps as input parameter and estimated breast density as output).

[0070] Para exemplificar, para cada valor Ri de distância de vizinhança podem ser extraídos 3 mapas de densidade, uma com intensidades luminosas máximas, um com as mínimas e um com as médias. A utilização de vários valores de distância de vizinhança podem tornar o sistema mais robusto, por exemplo utilizando R igual a 5, 10 e 20 pixels, nesse caso poderia resultar em 9 diferentes mapas de densidade. Os valores de R utilizados neste exemplo de treinamento da rede foram 5, 15, 25 e 40. [0070] As an example, for each Ri value of neighborhood distance, 3 density maps can be extracted, one with maximum luminous intensities, one with the minimum and one with the averages. The use of several neighborhood distance values can make the system more robust, for example using R equal to 5, 10 and 20 pixels, in which case it could result in 9 different density maps. The R values used in this network training example were 5, 15, 25, and 40.

[0071] A partir disso, foi possível realizar as predições/classificações apresentadas nas figuras 3 a 6. Como pode ser observado, as figuras 3 a 6 apresentam as estimativas de qualidade do posicionamento da mama e as densidades mamárias, onde os índices atribuídos a cada imagem podem ser verificados a partir das escalas fornecidas. [0071] From this, it was possible to carry out the predictions/classifications presented in figures 3 to 6. As can be seen, figures 3 to 6 show the estimates of quality of breast positioning and breast densities, where the indices attributed to each image can be checked from the scales provided.

[0072] Neste exemplo, a figura 3 indicou que a qualidade de posicionamento da mama foi “boa” e para a densidade foi atribuído um índice ‘B’. Para a figura 4, foi atribuído como qualidade “média” o índice para a qualidade do posicionamento da mama e uma densidade estimada ‘C’. Na figura 5, foi atribuído o índice de estimação “boa” para a qualidade do posicionamento e índice de densidade estimada ‘B’. Na figura 6, foi atribuído o índice “boa” para a qualidade do posicionamento da mama e densidade estimada ‘B’. [0072] In this example, Figure 3 indicated that the quality of breast positioning was "good" and an index of 'B' was assigned to the density. For Figure 4, the index for the quality of breast positioning and an estimated density of 'C' were assigned as “average” quality. In figure 5, the “good” estimation index was assigned to the quality of placement and the estimated density index 'B'. In Figure 6, the “good” index was assigned for the quality of breast positioning and estimated density 'B'.

[0073] Os versados na arte valorizarão os conhecimentos aqui apresentados e poderão reproduzir a invenção nas modalidades apresentadas e em outras variantes e alternativas, abrangidas pelo escopo das reivindicações a seguir. [0073] Those skilled in the art will value the knowledge presented herein and may reproduce the invention in the presented modalities and in other variants and alternatives, covered by the scope of the following claims.

Claims

Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, characterized by understanding the steps of:

The. predicting the quality of breast positioning (1) in the mammography image; and
B. prediction of breast density (2) in the mammography image, based on the risk of breast density masking a diagnosis of a lesion.

Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, according to claim 1, characterized in that it is implemented in a deep learning system, which comprises at least one deep (3) neural network trained, in which the deep neural network (3) is fed with mammography image and returns predictive indices of breast positioning quality (1) and breast density prediction (2).

Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, according to claim 2, characterized in that the breast positioning quality prediction step (1) is performed by the deep neural network (3 ) comprising layers of convolutional networks and layers of dense networks.

Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, according to claim 2, characterized in that the prediction of breast density (2) in the mammography image is implemented in at least one hybrid system comprising the deep neural network (3) and at least one analytic feature extraction system.

Automatic mammography image analysis method, implemented in at least one previously trained deep learning system, according to claim 4, characterized by the prediction of breast density (2) comprising the steps of:

The. division of the mammography image into circular areas of predefined sizes;
B. calculating the average density associated in each pixel of the divided areas, from an identified luminous intensity in the neighboring pixels in each divided area;
ç. generation of density map with maximum and minimum points in each divided area; and
d. definition of mean intensity at the maximum and minimum points of the density map and calculation of the estimated breast density (2).

Automatic mammography image analysis method characterized by understanding the steps of:

The. receiving at least one mammography image to be analyzed by a processing unit;
B. mammography image processing, comprising predicting the quality of breast positioning (1) in the image and predicting breast density (2);
ç. display, by the processing unit, of the prediction of the quality of breast positioning (1) in the image; and
d. display, by the processing unit, of the prediction of breast density (2) in the image.

Automatic method of mammography image analysis, according to claim 6, characterized in that the prediction of the quality of breast positioning is performed by a deep neural network (3), implemented in the processing unit, comprising layers of convolutional networks and layers of dense networks.

Automatic method of mammography image analysis, according to claim 6, characterized in that the prediction of breast density (2) is performed by the processing unit comprising the steps of:

Deep neural network training method for mammography image analysis and prediction of the quality of breast positioning, characterized by understanding the steps of:

The. selecting a plurality of images from baseline mammograms containing a previously identified statistical sampling profile;
B. qualitative classification of breast positioning (1) in the mammography image of the plurality of mammography images made by specialists, by means of classification, such as: good, average or bad; and
ç. insertion of images classified by specialists in an input channel of the deep neural network and error verification, based on comparisons with the identified statistical sampling profile.

Deep neural network training method for mammography image analysis, according to claim 9, characterized in that the neural network is trained with annotated data from a cross entropy loss function.

Automatic mammography image analysis system characterized by comprising at least one automatic mammographic image classifier with at least:

The. a predictor of quality of breast positioning (1) on mammography imaging; and
B. a predictor of breast density (2) in the mammography image, the density being predicted from the risk of breast density masking a diagnosis of a lesion.

Mammography image analysis system, according to claim 11, characterized in that it comprises:
The. at least one means of receiving a mammogram image;
B. at least one processor comprising:

i. at least one mammography image reader;
ii. an automatic mammographic image classifier;

ç. at least one tool for providing results; on what,

- the automatic mammographic image classifier included in the processor communicates to the result provision tool; and
- the mammography image reader comprised in the processor communicates with the mammography image receiving means.

Automatic mammography image analysis system, according to claim 11, characterized in that the automatic mammographic image classifier comprises at least one hybrid system composed of at least one deep neural network (3) and at least one analytical analysis system (2) maximum and minimum breast density of at least one image.

Automatic mammography image analysis system, according to claim 11, characterized in that the breast density classifier (2) in the mammographic image comprises at least one means of directing the circular area to be scanned for predicting pixels breast density (2).