BRPI0906187A2

BRPI0906187A2 - método e sistema de representação de imagens para aquisição de imagens nir e imagens em cor total

Info

Publication number: BRPI0906187A2
Application number: BRPI0906187-8A
Authority: BR
Inventors: John Fengler; Arthur E. Bailey; Paul Cottle; Paul Westwick
Original assignee: Novadaq Technologies Inc.
Priority date: 2008-03-18
Filing date: 2009-03-18
Publication date: 2020-07-14
Also published as: KR20100129768A; JP2017136373A; EP2268194A4; US20160100763A1; CN102036599A; EP2268194A1; US20110063427A1; US20170273567A1; HK1157169A1; JP6088629B2; EP3117765A1; EP2268194B1; EP3117765B1; KR101517264B1; RU2510235C2; US10779734B2; US9173554B2; JP2016064150A; CN102036599B; JP5852979B2

Abstract

MÉTODO E SISTEMA DE REPRESENTAÇÃO DE IMAGENS PARA AQUISIÇÃO DE IMAGENS NIR E IMAGENS EM COR TOTAL A presente invenção refere-se a um sistema de representação de imagens para aquisição de NIR e imagens de cor total, que compreende uma fonte de luz que fornece luz visível e luz NIR a uma área sob observação, tal com tecido vivo, uma câmera que tem um ou mais sensores de imagem configurados para detectar separadamente luz de refletância azul, luz de refletância verde e luz de refletância vermelha combinada/ luz NIR que retorna da área sob observação. Um controlador em comunicação de sinal com a fonte de luz e a câmera é configurada para controlar a fonte de luz, para iluminar continuamente a área sob observação com luz de iluminação azul/verde temporariamente continua e com luz de iluminação vermelha e luz de estímulo NIR. Pelo menos uma das luzes de iluminação vermelha e luz e luz de estímulo NIR são ligadas e desligadas periodicamente em sincronismo com a aquisição das imagens de luz vermelha e NIR da câmera.

Description

: 1 + “MÉTODO E SISTEMA DE REPRESENTAÇÃO DE IMAGENS PARA AQUISIÇÃO DE IMAGENS NIR E IMAGENS EM COR TOTAL”

CAMPO DA INVENÇÃO A presente invenção refere-se à representação de imagens na medicina, em especial um sistema e método para obter imagens luminosas visíveis e imagens luminosas perto do infravermelho, a partir da área sob observação, tal como tecido vivo, especialmente para uso em endoscopia.

ANTECEDENTES DA INVENÇÃO A representação de imagens perto do infravermelho [NIR] é descrita na literatura de várias aplicações clínicas. Esse modo de representar imagens costuma utilizar agente de contraste (por exemplo, indocianina verde) que absorve e/ou fluoresce no NIR. Tais agentes de contraste podem se conjugar a moléculas alvejadoras (por exemplo, anticorpos) para detecção de doenças. Os agentes de contraste podem ser introduzidos no tecido por via endovenosa ou subcutânea, para representar imagens da estrutura e função do tecido (por exemplo, fluxo de sangue/linfa/bile nos vasos), o que não é visto com facilidade através da tecnologia padrão de representação de imagens luminosas visíveis. Independente da aplicação clínica, os dispositivos endoscópicos de representação de imagens NIR, em geral, compreendem múltiplos modos de representação de imagens como parte essencial da prática. Por exemplo, os endoscopistas utilizam cor de espectro visível, tanto para visualização quanto para navegação, e um dispositivo endoscópico de representação de imagem que ofereça NIR costuma fornecer imagem de cor concorrente. Esses dispositivos de representação de imagens concorrentes podem ser concebidos, por exemplo, como se segue: uma configuração convencional utiliza a separação de espectro da luz visível e da luz NIR, com sinais de imagem de cor completa e de NIR,

" obtidos com o uso de sensores separados para as diversas faixas de espectro de cor (por exemplo, o vermelho, o verde e o azul) e NIR, ou um único sensor de cor com filtro integrado, que tem elementos de filtro transparentes para as diversas faixas de espectro (por exemplo, vermelho, verde, azul e NIR). Assim, tais dispositivos multimodais de representação de imagens coloridas e NIR apresentam sensores dedicados ou pixels sensores para cada um dos dois modos de representação de imagem.

A desvantagem é que isso aumenta o total de sensores de imagem nas implementações de multi-sensores, ou compromete a resolução de imagem quando, no mesmo sensor, pixels sensores específicos são dedicados a representação de imagens NIR, enquanto outros são utilizados para representação de imagens coloridas; outra configuração convencional utiliza um sensor único de imagem monocromática para representação sequencial de imagem da luz visíveleda luz NIR.

O objeto é, por meio dele, sequencialmente iluminado com luz nas faixas de espectro vermelho, verde, azul e NIR, sendo obtidos quadros separados de imagem para cada faixa do espectro e cor composta, e sendo as imagens NIR geradas a partir dos quadros de imagem obtidos.

Entretanto, esse método em que os quadros de imagem são obtidos sequencialmente em diversos períodos de tempo, pode gerar indesejáveis resultados do movimento (isto é, linhas nas cores escuras e “efeitos de arco-íris”) nas cores compostas e imagens NIR.

Esses resultados podem ser amenizados pelo aumento na aquisição ou taxa de quadros para mais de, por exemplo, 15 quadros/segundo [fps], para 90fps, ou até mesmo 180fps.

Devido à alta taxa de transferência de dados, é difícil implementar altas taxas de quadros para imagens de alta definição (por exemplo, 2 milhões de pixels), ou imagens que têm grande oscilação dinâmica (>10 bits), assim, limitando o tamanho da imagem e/ou resolução.

v . Assim, seria desejável obter sistemas e métodos para simultânea aquisição de imagens luminosas visíveis de cor total e imagens luminosas NIR, o que previne as mencionadas desvantagens e não compromete a resolução de imagem nem apresenta indesejáveis resultados do movimento.

BREVE DESCRIÇÃO DA INVENÇÃO Um método para aquisição de imagens NIR e imagens de cor total, de acordo com uma das modalidades da invenção, que compreende as etapas de iluminação de uma área sob observação com luz azul/verde contínua, e iluminação da área sob observação com luz vermelha e luz NIR, em que pelo menos uma das luzes, vermelha ou NIR, é ligada e desligada periodicamente. A luz azul, verde, vermelha ou NIR que retorna da área sob observação é direcionada para um ou mais sensores que são configurados para detectar separadamente a luz azul, a luz verde e a luz vermelha combinada com a luz NIR. O componente espectral da luz vermelha e o componente espectral da luz NIR são determinados separadamente a partir de sinais de imagem da luz vermelha combinada com a luz NIR, em sincronismo com as luzes comutadas vermelha e NIR. Uma imagem de refletância em cor total da área sob observação é transmitida e mostrada a partir da luz azul, verde e vermelha, e uma imagem NIR é também transmitida e mostrada a partirdaluz NIR.

O sistema de representação de imagem para aquisição de imagens NIR e de cor total de acordo com uma das modalidades da invenção, compreende uma fonte de luz que fornece luz visível e luz NIRa uma área sob observação, uma câmara com um ou mais sensores de imagem configurados para detectar separadamente luz azul e luz verde, e luz combinada vermelha e NIR, que retorna da área sob observação e um controlador em comunicação de sinal com a fonte de luz e a câmara. O controlador é configurado para controlar a fonte de luz para iluminar

“ . continuamente o tecido com luz azul/verde, e para iluminar a área sob observação com luz vermelha e luz NIR, em que pelo menos uma das luzes, vermelha ou NIR é ligada e desligada periodicamente, em sincronismo com a aquisição das imagens vermelha e NIR na câmara.

O controlador é configurado para determinar, a partir dos sinais do sensor que representa a luz vermelha combinada com a luz NIR separadamente, o componente espectral da luz vermelha e o componente espectral da luz NIR. O sistema de representação de imagem compreende, ainda, um mostrador que recebe sinais de imagem correspondentes à luz azul, à luz verde e ao componente espectral da luz vermelha determinado separadamente, que transmite, a partir daí, uma imagem luminosa visível de cor total da área sob observação. O mostrador também recebe o componente espectral de luz NIR determinado separadamente e transmite a partir daí uma imagem NIR da área sob observação.

O sistema de representação de imagem em vídeo pode usar uma câmera com três sensores de cor, configurada para continuamente representar : as imagens das faixas de onda azuis e verdes e representar intermitentemente as imagens da faixa de onda vermelha, obtendo assim informação luma contínua de alta qualidade e intensidade de cor suficientemente contínua e completa para produzir alta qualidade em imagens de vídeo da área sob observação, tal como tecido vivo. Nessa configuração, o sensor de imagem vermelha pode ter uma multiplexação do tempo, para adquirir tanto imagens vermelhas quanto NIR (isto é, o sensor de imagem vermelha alterna, em rápida sucessão, tanto imagens da luz vermelha para a informação de cor requerida —paraaimagem de cor, como a luz NIR para a informação de imagem requerida para a imagem NIR). Essa multiplexação de tempo pode se acoplar (e sincronizar com) a fonte de iluminação usada para guarnecer o NIR de iluminação (estímulo para fluorescência) e a luz vermelha de representação de '

w + imagem colorida.

O processamento de imagem é então utilizado para separar e processar apropriadamente os sinais de imagem resultantes.

As modalidades da invenção podem compreender uma ou mais das características a seguir.

A área sob observação pode ser alternadamente 5 iluminada com luz vermelha e luz NIR, em que a duração da luz vermelha pode i ser diferente de, e preferencialmente mais longa que, a duração da iluminação com luz NIR.

A iluminação pode ser comutada em campo de vídeo ou taxas de quadro.

Os campos captados pelo sensor de imagem aos quais falta o componente espectral de luz NIR podem ser interpolados a partir dos campos de imagem adjacentes que compreendem um componente espectral de luz vermelha correspondente ou componente espectral de luz NIR.

Em uma das modalidades, o componente espectral de luz NIR obtido na ausência da luz vermelha pode ser subtraído da luz vermelha combinada com luz NIR para obter o componente espectral de luz vermelha separado.

Isso é vantajoso sobretudo, quando o sinal NIR detectado tem uma intensidade comparável à do sinal vermelho.

Em uma das modalidades, a fonte de luz pode compreender um iluminado que emite uma intensidade substancialmente constante de luz visível eluz NIR em um âmbito espectral contínuo, e vários filtros móveis dispostos entre o iluminador e a área sob observação para transmissão de luz azul/verde temporariamente contínua e de luz vermelha e NIR temporariamente descontínua.

Em outra modalidade, a fonte de luz pode compreender um iluminador que emite uma intensidade substancialmente constante de luz visível e luz NIR em um âmbito espectral contínuo, um primeiro dispositivo dicróico para separar a luz visível e a luz NIR em luz azul/verde e luz vermelha em luz NIR, dispositivo obturador para transformar a luz vermelha separada e a

. - luz NIR em luz vermelha temporariamente descontínua e luz NIR descontínua, | e um segundo dispositivo dicróico para combinar a luz azulíverde, a luz vermelha temporariamente descontínua e a luz NIR temporariamente descontínua para transmissão à área sob observação.

Em ainda outra modalidade, a fonte de luz pode compreender um primeiro iluminador que emite intensidade substancialmente constante de luz verde e azul, um segundo iluminador que produz luz vermelha comutada, um terceiro iluminador que produz luz comutada de estímulo NIR e um dispositivo dicroico para combinar a luz vermelha comutada e a luz NIR comutada com a luz verde e azul para transmissão à área sob observação. A luz vermelha comutada e a luz NIR podem ser produzidas pela interrupção de um feixe de luz de intensidade contínua da luz vermelha da luz NIR por um obturador ou divisor de tempo multíplex. Alternativamente, a luz vermelha comutada e a luz NIR podem ser produzidas por comutação elétrica do segundo iluminador e do terceiro iluminador em ligados e desligados.

Os sensores de imagem podem empregar varredura entrelaçada ou varredura progressiva.

O sistema de representação de imagem pode compreender um endoscópio.

DESCRIÇÃO RESUMIDA DAS FIGURAS As figuras a seguir retratam certas modalidades ilustrativas da invenção, a serem entendidas como ilustrativas da invenção e não como limitadoras, em nenhum caso, sendo que: A Figura 1 apresenta sistema endoscópico de acordo com uma dasmodalidades da invenção; As Figuras 2a-2d apresentam várias modalidades exemplificadoras de fonte multimodal de luz, a ser usada com o sistema endoscópico da Figura 1;

k A Figura 3a apresenta exemplo de prisma dicroico empregado por câmera em cores de três sensores; A Figura 3b apresenta os âmbitos de transmissão óptica dos componentes espectrais separados pelo prisma dicroico da Figura 3a; A Figura 3c apresenta o âmbito de transmissão óptica de filtro de entalhe que bloqueia a entrada na câmera da luz de estímulo; A Figura 4 apresenta um diagrama de tempo da primeira modalidade para iluminação contínua com luz verde/azul e iluminação alternada com luz vermelha/luz NIR; A Figura 5 apresenta um diagrama de tempo da segunda modalidade para iluminação contínua com luz verde/azul e iluminação alternada com luz vermelha/luz NIR; A Figura 6 apresenta um diagrama de tempo da terceira modalidade para iluminação contínua com luz verde/azul/luz NIR, e iluminação alternada com luz vermelha; e A Figura 7 apresenta um exemplo de sensor CMOS, que tem camadas empilhadas de representação de imagens e a correspondente sensibilidade espectral dessas camadas.

DESCRIÇÃO DAS REALIZAÇÕES ILUSTRADAS As imagens de vídeo em cores são geralmente obtidas com câmeras em cores com três sensores, onde sensores separados de imagens em vermelho, verde e azul fornecem fileiras contíguas e simultâneas de informação de pixel vermelho, verde e azul. As imagens de vídeo em cores completas são geradas pela combinação da informação de imagem a partir detodos os três sensores. A fidelidade da cor (isto é, a transmissão da cor real) é importantíssima nas aplicações médicas de representação de imagens, e os três sensores são usados para fornecer completa informação de cor.

- Para entender a relativa importância da informação de cor e espaço em imagens de tecido humano em vídeo, entretanto, é útil avaliar a informação em tais imagens de vídeo ém termos de luma e intensidade de cor.

Luma se refere à informação em brilho da imagem, e é esta informação que fornece os detalhes espaciais que habilitam o espectador a reconhecer formas.

A resolução espacial e temporal de luma é, consequentemente, indispensável à percepção da qualidade de imagem em vídeo.

Croma se refere à informação em cor da imagem em vídeo.

É uma propriedade da visão humana o fato de = diminutas variações nos detalhes das características de imagem do croma não serem percebidas e de tais variações serem consequentemente menos cruciais que as diminutas variações nos detalhes de luma, em uma estimativa global da qualidade de imagem.

É por essa razão que a codificação em vídeo das informações de croma tem, com frequência, uma sub-amostragem.

Nas imagens em vídeo de tecido humano obtido com luz visível, os detalhes estruturais do tecido cabem, em grande parte, nas regiões de comprimento de onda da luz representada em imagens azuis e verdes.

A luz azul e verde tende a ser refletida a partir da superfície do tecido, enquanto que a luz vermelha tende a ficar dispersa dentro do tecido.

Em consequência, há muito poucos detalhes estruturais diminutos na luz vermelha que alcançam o sensor de imagem vermelha.

Tem-se também conhecimento, através da ciência da cor, de que a visão humana recebe a maior parte das informações espaciais que se originam na porção verde do espectro visível — isto é, informação vinda da luz verde contribui desproporcionalmente para a luma.

À fórmula padrão para calcular luma a partir dos componentes de cor gama- corrigidos é Y' = 0,2126R' + 0,7152 G' + 0,0722 B'. Por essa razão, à interpolação espacial e/ou temporal do componente vermelho das imagens em vídeo do tecido humano não afeta significativamente a percepção de detalhes diminutos nessas imagens.

- À semelhança da luz vermelha, a luz NIR tende a ficar dispersa no tecido, fazendo com que as características da imagem NIR sejam difusas, em vez de nítidas. Além disso, pelo fato da imagem NIR realçar áreas de interesse (isto é, áreas em que o agente de contraste é localizado), mas não apresentar visualização geral nem informação de navegação, é desejável que o dispositivo de representação de imagem endoscópica NIR forneça imagem colorida contínua e mostrador superposto ou lado-a-lado da informação de imagem NIR. Em tal mostrador, a luz NIR também contribuirá menos para a informação espacial apresentada ao observador.

A Figura 1 mostra esquematicamente uma das modalidades do sistema de representação de imagens endoscópicas NIR 10, compreendendo fonte de luz multimodal 11, que fornece tanto iluminação visível como iluminação NIR, conectada a um endoscópio 12 por meio de guia de iluminação, por exemplo, o cabo de fibra óptica 17, adequado para transmissão tanto de iluminação colorida como de iluminação NIR, câmera em cores 13, apresentando na ilustração três sensores diferentes 34,36 e 38, (ver Figura 3a) para representação de imagens azul, verde e vermelha/NIR, respectivamente, montada no guia de imagem endoscópico, e controlador de câmera 14, conectado à câmera 13 e à fonte de luz 11, para controlar e sincronizar a iluminação e a aquisição de imagem. O controlador 14 também pode processar as imagens visíveis e NIR, para mostrar em um monitor 15 conectado ao controlador 14, por exemplo, pelo cabo 19. As imagens podem ser adquiridas em tempo real a taxas de quadro selecionáveis, tais como as taxas de vídeo.

As Figuras de 2a a 2d apresentam diagramas esquemáticos de —modalidades de várias fontes de luz 11. As fontes de luz das ilustrações são estruturadas para suprir, em modo de representação de imagens coloridas normal, a luz visível de iluminação que rende distribuição espectral substancialmente contínua. A fonte de luz pode ser uma lâmpada de arco

. elétrico, lânpada de halogênio, uma ou mais fontes estáveis (por exemplo, LEDS, lasers semicondutores) ou qualquer combinação delas, e pode ser filtrada ou modulada em espectro (por exemplo, através de filtros de faixa de passagem, filtros IR etc.). O espectro contínuo pode ser produzido com cores primárias (RGB), concorrentemente ou sequencialmente, usando-se, por exemplo, uma roda de filtro rotativo.

Nos sistemas de acordo com a presente invenção, as fontes de luz a serem usadas com o sistema da invenção e descritas em detalhe abaixo, são configuradas para fornecer iluminação contínua, ininterrupta nas partes azule verde do espectro visível e luz descontínua vermelha e/ou NIR. As partes azul e verde do espectro visível podem ser opticamente filtradas a partir da emissão produzida por uma fonte contínua ou produzidas diretamente por uma fonte de faixa estreita (por exemplo, LEDs azuis e verdes). A luz vermelha e NIR podem também ser produzidas por lâmpada de arco elétrico, lânpada de halogênio, fonte estável (por ex, LEDs ou lasers vermelhos e NIR), ou qualquer combinação delas.

Reportando agora à Figura 2a, em uma das modalidades a fonte de luz 11 compreende o iluminador 202, que produz emissão de luz visível e NIR, as lentes colimadoras 204, a roda de filtro ou suporte alternado de filtro 208, que alternadamente transmite luz vermelha e NIR, e continuamente transmite luz verde e azul. Alternativamente, um filtro sintonizável eletro-óptico ou acústico-óptico pode ser usado. A luz filtrada é focalizada pelas lentes 206 sobre o guia de luz 17.

Outra modalidade de fonte de luz, 11b, é esquematicamente ilustrada na Figura 2b. A fonte de luz 11b compreende o iluminador 202, que produz emissão de luz visível e NIR e as lentes colimadoras 204. O espelho dicroico 212 transmite luz verde/azul e reflete luz vermelha/NIR para outro espelho dicroico, 214, que transmite luz NIR para o espelho NIR 215 e reflete nn . luz vermelha, ou vice-versa.

A luz verde/azul pode ser ainda filtrada por faixa de passagem, pelo filtro 213. A luz refletida vermelha e NIR é interrompida, por exemplo, pelas rodas interruptoras 219a, 219b (que podem ser combinadas em uma única roda interruptora), para produzir iluminação temporariamente — descontínua, que é então refletida pelos espelhos 216, 217 e combinada com a luz verde/azul pelo espelho dicroico 218. A luz combinada é então focalizada pelas lentes 206 sobre a guia de luz 17, como antes.

Em outra modalidade da fonte de luz 11c, esquematicamente ilustrada na Figura 2c, o iluminador 202a produz emissão de luz verde e azul, que é colimada pelas lentes colimadoras 204a.

Do mesmo modo, os iluminadores separados 202b, 202c produzem respectivas emissões de luz vermelha e NIR, que são colimadas pelas correspondentes lentes colimadoras 204b e 204c.

Como na modalidade da Figura 2b, a luz vermelha e NIR é interrompida, por exemplo, pelas rodas interruptoras 219a, 219b (que podem também se combinar em uma única roda interruptora) para produzir iluminação temporária descontínua, que é então combinada com a iluminação verde/azul pelos espelhos dicroicos 222, 228. A luz combinada é então focalizada pelas lentes 206 sobre o guia de luz 17, como antes. ú Em ainda outra modalidade de fonte de luz, 11d, esquematicamente ilustrada na Figura 2d, o iluminador 202a produz emissão de luz verde e azul, que é colimada pelas lentes colimadoras 204a, como antes.

Entretanto, diferentemente da modalidade da Figura 2c, os iluminadores separados 202d, 202e podem ser fontes de luz estáveis, tais com LEDs ou lasers semicondutores, que podem ser rapidamente ligadas e desligadas, com adequados comutadores, de preferência eletrônicos.

Como descrito acima, reportando à Figura 2c, a iluminação vermelha e NIR é colimada pelas correspondentes lentes colimadoras 204a, como antes.

Entretanto, diferentemente da modalidade da Figura 2c, os iluminadores v 202d, 202€ são aqui comutados eletricamente para produzir emissões de luz vermelha e NIR, com ritmo controlado. Por exemplo, as fontes de luz vermelha e NIR 202d, 202e podem ser fontes de luz estáveis, tanto quanto LEDs ou lasers semicondutores, que podem ser rapidamente ligados e desligados com comutadores adequados, de preferência eletrônicos. Como descrito acima, reportando à Figura 2c, a iluminação vermelha e NIR é colimada pelas correspondentes lentes colimadoras 204b e 204c, e combinada com a iluminação verde/azul pelos espelhos dicroicos 222, 228.

A luz combinada é então focalizada pelas lentes 206 sobre o guia de luz 17, como antes.

A iluminação alternada vermelha e NIR é sincronizada com a aquisição de imagem da câmera de três sensores, de tal modo que as imagens vermelha e NIR são adquiridas pela câmera sincronicamente com a iluminação vermelha e NIR do endoscópio.

A Figura 3a apresenta em mais detalhe a câmera de três sensores 13 da Figura 1, em especial o divisor de feixe óptico usado para direcionar luz vermelha/NIR, verde e azul para os três distintos sensores de imagem 34, 36 e 38, respectivamente. Para aplicações de fluorescência NIR, a câmera, de preferência, também compreende o filtro de estímulo bloqueador de faixa 32. O divisor de feixe pode ser feito, por exemplo, de vários prismas dicroicos, divisores em cubo, divisores em prato ou divisores em película. À Figura 3b ilustra a composição espectral da luz transmitida através do filtro de estímulo bloqueador de faixa 32, implementado como filtro de entalhe 31, que bloqueia a transmissão de luz de estímulo, embora transmita os outro comprimentos de onda no âmbito espectral visível e NIR. A característica de transmissão desse filtro 32 pode ser projetada para também bloquear indesejáveis comprimentos de onda NIR que interferem com o espectro visível e podem degradar a imagem colorida.

"“ A Figura 4 apresenta diagrama rítmico para a primeira modalidade de representar imagens simultaneamente coloridas e NIR, usando-se, por exemplo, câmera de três sensores. Nesta modalidade, os sensores da câmera utiizam formato entrelaçado de leitura de transferência que representa vantajosa combinação de resolução espacial e temporal para exibição homogênea de movimento. Quaisquer das fontes de luz ilustradas nas Figuras de 2a a 2d pode ser usada com essa modalidade. A fonte de luz fornece iluminação azul/verde contínua e iluminação vermelha e NIR alternada. Metades de quadros são expostas alternadamente nos sensores de imagem, isto é, o primeiro campo (metade de quadro) com linhas pares alterna com o segundo campo (metade de quadroO com linhas ímpares. No diagrama rítmico da Figura 4, que retrata taxa total de quadros de 30 quadros por segundo, um período de campo (16,7ms) fornece iluminação NIR, seguido de dois períodos de campo (33,3ms) de iluminação vermelha. Dito de outra forma, a amostra ou tecido é iluminada com cor de espectro total (RGB) durante dois períodos de campo (33,3ms) e com GB e NIR durante o terceiro período de campo. Para reestruturar a imagem visível de cor total, a informação vermelha que falta é interpolada entre os campos adjacente ao campo com a iluminação NIR. A informação de imagem azul e verde está sempre disponível, fornecendo assim um nível ótimo de informação contínua de luma. A imagem NIR é gerada a cada sexto campo de cada metade de quadro, em que as linhas que faltam são espacialmente interpoladas. Quando o campo de fluorescência é mostrado, a imagem é atualizada a cada três campos, com a imagem exibida interpolada entre linhas pares e ímpares.

Em todas as figuras, o termo “IR” é usado em vez de, ou intercambiadamente com “NIR”. Uma vez que os dados de imagem colorida e NIR são processados, o sinal é transferido para fora até um monitor de vídeo e pode ser

“v exibido como duas vistas separadas e simultâneas (uma colorida e outra fluorescente) ou como sinais combinados de imagem colorida e fluorescente (por exemplo, conferindo ao sinal fluorescente uma cor que contrasta com as cores que naturalmente ocorrem no tecido).

A Figura 5 apresenta um diagrama rítmico da segunda modalidade de representação simultânea de imagens coloridas e NIR. Nessa modalidade, os sensores da câmera utilizam o formato de leitura de transferência de dados pelo sensor de varredura progressiva, em que um quadro completo (G/B/R alternando com G/B/NIR) passa por leitura de transferência de dados durante cada período de campo. Quaisquer das fontes de luz ilustradas nas Figuras de 2a a 2d podem ser usadas com esta modalidade. As fontes de luz fornecem iluminação azul/verde contínua e iluminação vermelha e NIR alternada. No diagrama rítmico da Figura 5, um período de campo (16,7ms) fornece iluminação NIR, seguido por um período decampo (16,7ms) de iluminação vermelha. Dito de outra forma, a amostra ou tecido é iluminada com cor de espectro total (RGB) durante um período de campo (16,7ms) e com GB e NIR durante o terceiro período de campo. Nesse caso, uma imagem colorida de espectro visível total é disponível a cada pixel, quadro sim, quadro não. Nos quadros alternados, a informação azul e verde é adquirida diretamente, enquanto que a informação vermelha é interpolada entre quadros adjacentes. Diferentemente da modalidade da Figura 4, nenhuma interpolação espacial é requerida. Processamento e exibição de imagem adicionais podem ser implementados de maneira similar à descrita nas modalidades anteriores.

A Figura 6 apresenta um diagrama rítmico para a terceira modalidade, em que tanto a iluminação verde/azul e a iluminação NIR são contínuas, embora só a iluminação vermelha seja modulada. Como na modalidade da Figura 4, metades dos quadros são alternadamente expostos y nos sensores de imagem, isto é, o primeiro campo (metade de quadro) com linhas pares alternando com o segundo campo (metade de quadro), com linhas ímpares.

No diagrama rítmico da Figura 6, que retrata uma taxa total de quadros de 30 quadros por segundo, um período de campo (16,7ms) fornece (NIR + GB) iluminação (iluminação vermelha desligada), seguido de dois períodos de campo (33,3ms) de (NIR + RGB]. Se o sinal da imagem NIR for pequeno, comparado ao sinal vermelho refletido, não irá afetar significativamente a imagem global visível (RGB), de modo que a imagem colorida pode ser gerada por processamento de imagem colorida convencional sem correção.

Senão a contribuição NIR obtida no canal de imagem vermelho, quando a iluminação vermelha é desligada pode ser subtraída dos dados de imagem (NIR + R) por interpolação espacial e temporal para obter o sinal de imagem vermelha, como mostrado na penúltima posição no diagrama de tempo da Figura 6. Alternativamente, os sensores com leitura de transferência de dados do sensor de imagens com varredura progressiva, similares aos ilustrados na Figura 5 podem ser usados com aquisição de imagem RGB e

(RGB + IR) em quadros alternados.

Em ainda outra modalidade (não ilustrada nos desenhos), a iluminação verde/azul, assim como a iluminação verde, são contínuas, enquanto que a iluminação NIR é modulada.

Esse esquema de tempo pode ser melhor aplicado se os sinais de imagem vermelha e NIR têm aproximadamente a mesma magnitude.

Nessa modalidade, a fonte de luz fornece iluminação ininterrupta com total espectro visível e iluminação intermitente com luz NIR.

O diagrama de tempo é essencialmente o mesmo que o retratado na Figura 6, com a iluminação NIR e vermelha intercambiadas.

A iluminação intermitente NIR é sincronizada para coincidir com cada terceiro campo com câmeras entrelaçadas e com campos intercalados com câmeras de varredura progressiva.

A cada campo w guarnecido de iluminação NIR, o sensor de imagem vermelha adquire sinal de imagem (G + NIR). O sinal de imagem NIR pode ser extraído do sinal de imagem (G + NIR) por interpolação do valor do sinal vermelho a partir dos apropriados campos de imagem “só vermelho" precedentes e subsequentes, e subtraindo o sinal de imagem vermelha do sinal (G + NIR). Desde que os sinais de imagem vermelha e NIR são de magnitude similar, essa interpolação e subtração obterá valor de sinal de imagem NIR razoavelmente acurado. A imagem colorida é processada usando-se os É valores adquiridos e interpolados para o sinal de imagem vermelha em combinação com os sinais de imagem azul e verde. A informação resultante de imagem colorida e NIR podem então ser exibidas ou gravadas, como descrito antes.

Em quaisquer das modalidades acima mencionadas, o sistema de representação de imagens endoscópicas pode também ser operado de modo que as fontes de luz forneçam iluminação contínua tanto com o espectro totalmente visível quanto com o espectro NIR e a câmera adquire a correspondente imagem colorida ou imagem NIR (absorvência ou fluorescência) de maneira a obter continuamente alta resolução espacial. À imagem de vídeo resultante, tanto do modo individual de iluminação / representação de imagens — coloridas ou NIR — pode ser subsequentemente exibido e/ou gravado.

Ao implementar a representação de imagens coloridas e NIR como descrito nas modalidades acima mencionadas, é possível adquirir e exibir imagens de luz visível totalmente colorida e de luz NIR a taxas de vídeo sem comprometimento da resolução de imagem e/ou introdução de indesejáveis artefatos móveis. Além disso, caso quaisquer linhas escuras de cor residual ocorram em consequência de bordas crispadas movendo-se rápido de um lado a outro do campo visual (por exemplo, com a aquisição descontínua de

" imagens vermelhas ou NIR), esses efeitos relativamente menores podem ser amenizados por interpolação temporal dos campos de vídeo (vermelhos, NIR) ; que faltam, com o mínimo de tempo adicional de processamento.

Embora a invenção tenha sido exposta em conexão com as modalidades preferenciais apresentadas e descritas em detalhe, várias modificações e aperfeiçoamentos logo ocorrerão aos técnicos no assunto. Por exemplo, em vez de se usar sensores de imagem separados para G/BeR/ NIR, ou sensor de cor único para as imagens RGB e as imagens fluorescentes NIR, um único sensor de imagens RGB de três cores com projeto de pixel em pilha implementado na tecnologia CMOS e disponível comercialmente pela Foveon, Inc., San Jose, CA, pode ser usado. Tal sensor é esquematicamente ilustrado na Figura 7. Será entendido que esse projeto de sensor pode se estender a quatro cores pela adição de camada sensível NIR. As imagens vermelhas, verdes, azuis e NIR por meio deste adquiridas a diferentes profundidades no sensor de imagens. Com um sensor de quatro camadas, a multiplexação da iluminação vermelha e NIR seria desnecessário. Entretanto, com um sensor de três camadas, a iluminação vermelha e NIR ainda precisa ser multiplexada, como descrito acima para câmera convencional de três À sensores. Um filtro de barreira apropriado para bloquear a luz de estímulo NIR seria também requerido para aplicações em representações de imagens fluorescente.

Embora a invenção tenha sido ilustrada e descrita em conexão com as atuais modalidades preferenciais apresentadas e descritas em detalhe, não se pretende ficar limitado aos detalhes mostrados, desde que várias “modificações e mudanças estruturais podem ser feitas sem se afastarem de modo algum do espírito e âmbito da presente invenção. As modalidades foram escolhidas e descritas a fim de explicar os princípios da invenção e sua aplicação prática, para desse modo habilitar o técnico no assunto a melhor s utilizar a invenção e várias modalidades com várias modificações, conforme se adeqúem ao específico uso contemplado. r Adianta-se, nas reivindicações apensas o que se reivindica como novo e desejoso de proteção por patente e compreende equivalentes dos elementos a esse respeito enumerados.

Y REIVINDICAÇÕES

1. MÉTODO PARA AQUISIÇÃO DE IMAGENS NIR E IMAGENS EM COR TOTAL, caracterizado por compreender: iluminar continuamente uma área sob observação com luz azulíverde; iluminar a área sob observação com luz vermelha e luz NIR, em que pelo menos uma das luzes vermelha e NIR se liga e desliga periodicamente; ; À E direcionar luz de refletância azul e verde e luz de refletância — 10 vermelha combinada / luz NIR detectada por um ou mais sensores configurados para separadamente detectar a luz de refletância azul, a luz de refletância verde e a luz de refletância vermelha / luz NIR detectada, em que a luz de refletância vermelha / luz NIR detectada é detectada em sincronismo com a luz vermelha comutada e a luz NIR; determinar a partir de sinais de imagem da luz de refletância vermelha combinada / luz NIR detectada separadamente do componente espectral da luz de refletância vermelha e do componente espectral da luz NIR detectada; exibir imagem em cor total da área sob observação a partir da luz derefletância verde e do componente espectral de luz vermelha, e exibir imagem NIR a partir do componente espectral da luz NIR detectada.

2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a área sob observação é alternadamente iluminada com luz vermelhaeluzNIR.

3. MÉTODO, de acordo com a reivindicação 2, caracterizado pelo fato de que o tempo de duração da iluminação de luz vermelha é diferente do tempo de duração da iluminação de luz NIR.

- 4. MÉTODO, de acordo com a reivindicação 3, caracterizado pelo fato de que o tempo de duração da iluminação de luz vermelha é mais longo que o tempo de duração da iluminação de luz NIR.

5. MÉTODO, de acordo com a reivindicação 2, caracterizado pelo fato de que o tempo de duração da iluminação de luz vermelha é substancialmente idêntico ao tempo de duração da iluminação de luz NIR.

6. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a área sob observação é continuamente iluminada com luz vermelha e periodicamente iluminada com luz NIR.

7. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a área sob observação é continuamente iluminada com luz NIR e periodicamente iluminada com luz vermelha.

8. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a luz vermelha e a luz NIR, ou ambas, são comutadas a taxas devídeo.

9. MÉTODO, de acordo com a reivindicação 2, caracterizado pelo fato de que os campos de imagem sem o componente espectral de luz de refletância vermelha nem o componente espectral de luz NIR detectada são interpolados a partir de campos de imagem adjacentes temporários que compreendem um componente espectral de luz de refletância vermelha correspondente ou componente espectral de luz NIR detectada.

10... MÉTODO, de acordo com a reivindicação 7, caracterizado pelo fato de que o componente espectral de luz NIR, obtido na ausência de iluminação da luz vermelha, é subtraído da luz de refletância vermelha combinada / luz NIR detectada, para obter o componente espectral de luz de refletância vermelha separado.

11. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a informação espacial da área sob observação é

. primariamente derivada da luz de refletância azul e da luz de refletância verde.

12. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a luz NIR detectada é uma luz fluorescente.

13. SISTEMA DE REPRESENTAÇÃO DE IMAGENS PARA AQUISIÇÃO DE IMAGENS NIR E IMAGENS EM COR TOTAL, caracterizado por compreender: uma fonte de luz que apresenta luz visível e luz NIR em uma área sob observação; uma câmera com um ou mais sensores de imagem configurados para detectar separadamente luz de refletância azul, luz de refletância verde e luz de refletância vermelha combinada / luz NIR detectada que retornou da área sob observação; um controlador em comunicação de sinal com a fonte de luz e a câmera para: iluminar continuamente a área sob observação com luz azul/verde; iluminar a área sob observação com luz vermelha e luz NIR, em que pelo menos uma das luzes vermelha e NIR é ligada e desligada periodicamente; e determinar, a partir da luz de refletância vermelha combinada / luz NIR detectada separadamente do componente espectral da luz de refletância vermelha e o componente espectral da luz NIR detectada em sincronismo com as luzes vermelha e NIR, ligadas, e um mostrador que recebe sinais de imagem correspondente à luz —derefletância azul, à luz de refletância verde, e ao componente espectral da luz de refletância vermelha, separadamente determinado, transmitindo daí imagem de refletância em cor total da área sob observação, recebendo ainda o mostrador o componente espectral de luz fluorescente NIR, determinado

. separadamente e transmitindo daí imagem NIR da área sob observação.

14. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de que a área sob observação é alternadamente iluminada pela fonte de luz com luz vermelha e comluzNIR.

15. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de que a fonte de luz compreende: um iluminador que emite substancialmente constante intensidade deluz visívele luz NIR sobre um âmbito espectral contínuo, e vários filtros dispostos entre o iluminador e a área sob observação para transmitir luz azulíverde temporariamente contínua e luz vermelha temporariamente descontínua, e luz NIR descontínua.

16. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de que a fonte de luz compreende: um Iluminador que emite intensidade substancialmente constante de luz visível e luz NIR sobre um âmbito espectral contínuo; um primeiro dispositivo dicroico para separar a luz visível e a luz NIRem luz azul/verde e vermelha e luz NIR; um dispositivo obturador para transformar a luz vermelha separada e a luz NIR em luz vermelha temporariamente descontínua e luz NIR descontínua, e um segundo dispositivo dicroico para combinar a luz azul/verde, a luz vermelha temporariamente descontínua e a luz NIR temporariamente descontínua para transmissão para a área sob observação.

17. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de que a fonte de luz

. compreende: um primeiro iluminador, emitindo intensidade substancialmente constante de luz azul e verde; um segundo iluminador, produzindo luz vermelha comutada; 5 um terceiro iluminador, produzindo luz NIR comutada, e um dispositivo dicroico para combinar a luz vermelha comutada e a luz NIR comutada com a luz verde e azul para transmissão para a área sob obseivação. h 18 SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 17, caracterizado pelo fato de que a luz vermelha comutada e a luz NIR são produzidas por interrupção da contínua intensidade do feixe luminoso da luz vermelha e da luz NIR por obturador ou interruptor.

19. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 17, caracterizado pelo fato de que a luz vermelha comutadae a luz NIR são produzidas comutando-se eletricamente o segundo iluminador e o terceiro iluminador nas posições liga e desliga.

20. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de que os sensores de imagem empregam uma varredura entrelaçada.

21. SISTEMA DE REPRESENTAÇÃO DE IMAGENS de, acordo com a reivindicação 13, caracterizado pelo fato de que os sensores de imagem empregam uma varredura progressiva. Í

22. SISTEMA DE REPRESENTAÇÃO DE IMAGENS de, acordo com a reivindicação 13, caracterizado pelo fato de que compreende adicionalmente um conjunto de prisma dicroico que separa espectralmente a luz de refletância azul, a luz de refletância verde e a luz de refletância vermelha combinada / luz NIR detectada que retorna da área sob observação e é direcionando a luz separada para diferentes faces de saída do conjunto de

* prismas dicroicos, em que um ou mais sensores de imagem compreendem três sensores de imagem, cada um montado em uma diferente face de saída.

23. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de que um ou mais sensores compreendem um sensor único de imagens que tem pixels, cada pixel respondendo por uma das luzes de refletância azul, luz de refletância verde e luz de refletância vermelha combinada / luz NIR detectada que retorna da área sob observação. :

24. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 23, caracterizado pelo fato de que um ou mais sensores compreendem uma fileira de filttos em mosaico, azulíverde / vermelho — NIR, dispostos adiante dos pixels sensores. 25 SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de que um ou mais sensores de imagem compreendem um sensor único de imagem com várias camadas em pilha, tendo cada camada pixels que respondem a uma das luzes de refletância azul, luz de refletância verde e luz de refletância vermelha combinada / luz NIR detectada, que retorna da área sob observação.

26. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de que o sistema de representação de imagens é configurado como endoscópico.

27. SISTEMA DE REPRESENTAÇÃO DE IMAGENS, de acordo com a reivindicação 13, caracterizado pelo fato de a luz NIR detectada é uma luz fluorescente.

, 15 19 14 13 18 G Controlador 4 16 <A NRNIR

EFE

CC W=—== Fonte de Luz 17 11 Un 12 E 10 Fig. 1 í 202 ' 204 =— . : 208 E 1 206 “1a 17 — Fig. 2A 202 7 204 nO 214 215 212 A E ar, 219b E => s="" 218 o RÉ Da CXOD— 216 217 | | S 7 Mm 11b Fig. 2B

À 202a 7 204a 204b om EAN 2020 222 Mesegaa E SA AA TX Pr 219b 202c CX 206 204c 17 ke Es it gg20 7 204a 204b DO eo 222 TF ND ! 232 228 E (ID 202e No34 ! 206 204c 17 à it À Fig. 2D

. 36 13 e Ec— teem ARAL Arenas |

Lan)

í Do Endoscópio 32 EO Fig. 3 A Mm We Verde PA SS Vermelho o.

FIG. 7

A 5/8 a j B GS R+ NIR + » NÃ a ta atada IA o on i í VV i 1 V DO | Y o |

DO À À i j h A Comprimento de Onda pc essSSSENF 29. SSNESS EL NEBRESNSNNNSNNSSNNSSNNCSNNDENNNENSNNENNNNNDAAANAA Visível NIR SENSO Fig. 3 B T 31

MAXI

AND AN Po VW i E $i V id Í !

Í Í À HW Í ]j A À Comprimento de Onda Pd E oe

DE E EA A Visível Incluindo Emissão NIR Excitação

NIR Fig. 3 C a o RP «+ Excitação de Luz —— R Fluorescente — (Modulação) Luz de Refletância Vermelha — (Meduação) > Azul e Verde 7 l(Refletância de Luz) Exposição de Luz Re Re Re Re FrTE Uebas Constames ===?" Exposição de Luz Re fre) Re Re e Te Unhas singulares > GB il GB i GB GB GB GB IR Vermelho im mm é i im Verde É im Í | it e). fe) fe i c i el fe 6 Azul Í . i i F i 7 i ã i eta EH) EH) HE] E E Display de —— tado [FFEEFFEFEFES Display de ETR RS R5 | Ro R6RO] RE T RS Trena] À R — — 67 | Ge | Go |" Gm | Gu (Campo de Cor e &7 | 6 | so | 6 Em Display Colorizado e TR TRE Ta TR Tg [RE Tão TROS —= is — o + IR7 |RS:Re| o RI osso [se] EST SJ 05] EE 6 fo ea, tempo Fi 4 Esquema de Leitura Entrelaçada

”- à

167. 167 «VR VR Excitação de Luz de —— IRFluorescente —b (Modulação) Luz de Refletância 7 Vermelha (Modulação) “P Refletância de Luz Azul e Verde ii — emu [EIS[S[S[S[S[EIS[E[IS[S[E[ETS o IRVermelho 5 E): [5]: . [s]- [5] RIR]. Bi | fg] E) Es] Leitura e E | o Verde Set fel i 6). fe) Sel fe fel Je E — EEE HE ENE HEHE EE HE E HE e Az ie É É 8): Ss Blige in 1 EEE E HE E HE E EE Es tato FEFEFEFEFEFEFH 7 Ro an ni [ETEEFEFETETE) es | 86 87 88 2a is õ Fiz | RS TR | RS [RSS TAZ (RAS Tm TE pn EREEEEEEEEE 683 | RGS4] Gas |RGBS| GB7 |RGBe, 6 |ree12) tempo > Fig. 5 Esquema de digitalização progressiva

RR AAA > , à

Ê RESUMO “MÉTODO E SISTEMA DE REPRESENTAÇÃO DE IMAGENS PARA AQUISIÇÃO DE IMAGENS NIR E IMAGENS EM COR TOTAL” A presente invenção refere-se a um sistema de representação de imagens para aquisição de NIR e imagens de cor total, que compreende uma fonte de luz que fornece luz visível e luz NIR a uma área sob observação, tal com tecido vivo, uma câmera que tem um ou mais sensores de imagem configurados para detectar separadamente luz de refletância azul, luz de refletância verde e luz de refletância vermelha combinada / luz NIR que retorna daáreasob observação. Um controlador em comunicação de sinal com a fonte de luz e a câmera é configurada para controlar a fonte de luz, para iluminar continuamente a área sob observação com luz de iluminação azul/verde temporariamente continua e com luz de iluminação vermelha e luz de estímulo NIR. Pelo menos uma das luzes de iluminação vermelha e luz e luz de estímulo NIR são ligadas e desligadas periodicamente em sincronismo com a aquisição das imagens de luz vermelha e NIR da câmera. j