BR112018076783B1

BR112018076783B1 - COLOR IMAGING METHOD AND SYSTEM

Info

Publication number: BR112018076783B1
Application number: BR112018076783-2A
Authority: BR
Inventors: Omri WARSHAVSKI
Original assignee: Omri Warshavski
Priority date: 2016-06-27
Filing date: 2017-06-27
Publication date: 2023-09-12

Abstract

Um sistema e método de imageamento a cores, o método compreendendo, para uma pluralidade de bandas de comprimento de onda predeterminadas de iluminação, calcular coeficientes de peso representando a contribuição de cada uma das bandas de comprimentos de onda para um espaço de cor específico, controlando individualmente os intervalos de iluminação de cada uma de uma pluralidade de fontes de iluminação, em que cada uma das fontes de iluminação está configurada para fornecer iluminação através de um guia de ondas numa banda estreita predeterminada de comprimentos de onda, controlando um sensor de imagem para capturar um conjunto de quadros de imagens monocromáticas em sincronia com os intervalos de iluminação, recebendo um conjunto de quadros de imagens monocromáticas capturadas e gerar dados de imagem colorida calculando uma combinação do conjunto de quadros de imagem, cada um ponderado pelo coeficiente correspondente.A color imaging system and method, the method comprising, for a plurality of predetermined lighting wavelength bands, calculating weight coefficients representing the contribution of each of the wavelength bands to a specific color space, controlling individually the illumination ranges of each of a plurality of illumination sources, wherein each of the illumination sources is configured to provide illumination through a waveguide in a predetermined narrow band of wavelengths, controlling an image sensor to capturing a set of monochrome image frames in synchronization with the lighting ranges, receiving a set of captured monochrome image frames, and generating color image data by calculating a combination of the set of image frames, each weighted by the corresponding coefficient.

Description

FIELD OF INVENTION

[001] A presente divulgação se relaciona, em geral, a métodos para obter informações sobre ambientes ocos escuros e, mais especificamente, para endoscopia e cirurgia robótica.[001] The present disclosure relates, generally, to methods for obtaining information about dark hollow environments and, more specifically, for endoscopy and robotic surgery.

FUNDAMENTALS

[002] Imagens a cores são comumente capturadas usando luz natural de banda larga (“luz branca”) e um conjunto de três filtros aplicados sobre o sensor de imageamento. Uma imagem a cores usualmente contém três camadas de cores diferentes (Vermelho, Verde e Azul), imitando as sensibilidades espectrais da célula cone do olho humano. As diferentes camadas de cores são combinadas para criar uma imagem a cores onde cada pixel na imagem a cores é representado por esses três valores ou um de seus derivados. Alguns métodos conhecidos de endoscopia usam uma fonte de luz e uma pluralidade de filtros para a separação de cores, perdendo, assim, uma grande porção da intensidade de luz. Isso requer tempo de exposição estendido dos sensores de imagem e/ou utilização de fontes de iluminação muito fortes e incômodas na entrada do endoscópio.[002] Color images are commonly captured using broadband natural light (“white light”) and a set of three filters applied to the imaging sensor. A color image usually contains three layers of different colors (Red, Green and Blue), mimicking the spectral sensitivities of the cone cell of the human eye. The different color layers are combined to create a color image where each pixel in the color image is represented by these three values or one of their derivatives. Some known endoscopy methods use a light source and a plurality of filters for color separation, thus losing a large portion of the light intensity. This requires extended exposure time of the image sensors and/or the use of very strong and uncomfortable lighting sources at the endoscope entrance.

[003] Adicionalmente, alguns métodos de imageamento visam gravar informações espectrais, por exemplo, informações multiespectrais ou hiperespectrais e/ou usam uma grande quantidade de canais espectrais para geração de uma imagem a cores de alta qualidade. Alguns métodos usam grandes conjuntos de imagens de um espectro conhecido para estimar os espectros de refletância a partir de imagens a cores, a fim de melhorar a visualização de atributos de difícil visualização na imagem.[003] Additionally, some imaging methods aim to record spectral information, for example, multispectral or hyperspectral information and/or use a large number of spectral channels to generate a high quality color image. Some methods use large sets of images from a known spectrum to estimate reflectance spectra from color images in order to improve visualization of difficult-to-see attributes in the image.

SUMMARY

[004] De acordo com um aspecto de algumas modalidades da presente invenção, é provido um método de imageamento a cores incluindo, para uma pluralidade de bandas de comprimento de onda de iluminação predeterminadas, calcular os coeficientes de ponderação representando a contribuição de cada uma das bandas de comprimento de onda para um espaço de cores específico, controlar, individualmente, os intervalos de iluminação de cada uma dentre uma pluralidade de fontes de iluminação, em que cada uma das fontes de iluminação é configurada para prover iluminação via um guia de onda em uma banda estreita de comprimentos de onda predeterminada diferente, controlar um sensor de imagem para capturar um conjunto de quadros de imagem monocromática de forma síncrona com os intervalos de iluminação, receber um conjunto de quadros de imagem monocromática capturados, e gerar dados de imagem a cores calculando uma combinação do conjunto de quadros de imagem, cada um ponderado pelo coeficiente correspondente.[004] In accordance with an aspect of some embodiments of the present invention, there is provided a color imaging method including, for a plurality of predetermined illumination wavelength bands, calculating weighting coefficients representing the contribution of each of the wavelength bands for a specific color space, individually controlling the illumination ranges of each of a plurality of illumination sources, wherein each of the illumination sources is configured to provide illumination via a waveguide in a different predetermined narrow band of wavelengths, control an image sensor to capture a set of monochrome image frames synchronously with the lighting intervals, receive a set of captured monochrome image frames, and generate color image data computing a combination of the set of image frames, each weighted by the corresponding coefficient.

[005] Opcionalmente, o método inclui controlar tempos de exposição do sensor de imagem monocromática de forma síncrona com iluminação transmitida via pelo menos uma das fontes de iluminação.[005] Optionally, the method includes controlling exposure times of the monochromatic image sensor synchronously with lighting transmitted via at least one of the lighting sources.

[006] Opcionalmente, o método inclui operar as fontes de iluminação de acordo com um ou mais protocolos de iluminação de operação pré- programados.[006] Optionally, the method includes operating the lighting sources in accordance with one or more pre-programmed operating lighting protocols.

[007] Opcionalmente, o protocolo de iluminação compreende múltiplos intervalos de iluminação, em que, em cada intervalo de iluminação, outra fonte de iluminação de outra respectiva banda de comprimento de onda de iluminação é operada.[007] Optionally, the lighting protocol comprises multiple lighting intervals, wherein, in each lighting interval, another lighting source from another respective lighting wavelength band is operated.

[008] Opcionalmente, o protocolo de iluminação compreende múltiplos intervalos de iluminação, em que pelo menos dois dos intervalos de iluminação têm durações diferentes.[008] Optionally, the lighting protocol comprises multiple lighting intervals, wherein at least two of the lighting intervals have different durations.

[009] Opcionalmente, o protocolo de iluminação compreende múltiplos intervalos de iluminação, em que uma certa banda de iluminação é operada em mais do que um intervalo de iluminação.[009] Optionally, the lighting protocol comprises multiple lighting intervals, in which a certain lighting band is operated in more than one lighting interval.

[0010] Opcionalmente, o protocolo de iluminação compreende múltiplos intervalos de iluminação, em que mais do que uma banda de iluminação é operada simultaneamente durante pelo menos um intervalo de iluminação.[0010] Optionally, the lighting protocol comprises multiple lighting intervals, wherein more than one lighting band is operated simultaneously during at least one lighting interval.

[0011] Opcionalmente, o método inclui detectar um nível de iluminação base controlando as fontes de iluminação para prover nenhuma iluminação durante um certo intervalo e capturar dados de imagem pelo sensor de imagem quando nenhuma iluminação for provida pelas fontes, e calibrar o sensor de imagem e/ou imagem a cores gerada com base no nível de iluminação base detectado.[0011] Optionally, the method includes detecting a base illumination level by controlling the illumination sources to provide no illumination during a certain interval and capturing image data by the image sensor when no illumination is provided by the sources, and calibrating the image sensor and/or color image generated based on the detected base illumination level.

[0012] Opcionalmente, o método inclui extrair a partir dos quadros recebidos informações sobre pelo menos um de uma lista consistindo em: fluorescência, autofluorescência, padrões de manchas (speckle patterns) e luz estruturada.[0012] Optionally, the method includes extracting from the received frames information about at least one of a list consisting of: fluorescence, autofluorescence, speckle patterns and structured light.

[0013] Opcionalmente, o método inclui iluminação em comprimentos de onda que estão fora da faixa visível humana, mas ainda estão na faixa de detecção (sensing) do sensor de imagem.[0013] Optionally, the method includes illumination at wavelengths that are outside the human visible range, but are still in the sensing range of the image sensor.

[0014] Opcionalmente, o método inclui extrair informações a partir da coerência da luz refletida detectada incluída nos quadros recebidos.[0014] Optionally, the method includes extracting information from the coherence of detected reflected light included in the received frames.

[0015] Opcionalmente, o método inclui extração de informações de profundidade a partir da deformação de um padrão de luz estruturada.[0015] Optionally, the method includes extracting depth information from the deformation of a structured light pattern.

[0016] Opcionalmente, o método inclui extração das alterações temporais no desvio padrão da intensidade de imagem em padrões de manchas identificados em algumas das bandas de luz capturadas, enquanto uma iluminação coerente é aplicada durante o intervalo de iluminação.[0016] Optionally, the method includes extracting temporal changes in the standard deviation of image intensity in spot patterns identified in some of the captured light bands, while coherent illumination is applied during the illumination interval.

[0017] De acordo com um aspecto de algumas modalidades da presente invenção, é provido um sistema de imageamento a cores incluindo uma pluralidade de fontes de iluminação, cada uma configurada para prover iluminação via um guia de onda em uma banda estreita de comprimentos de onda predeterminada diferente, e um processador configurado para executar o código, o código compreendendo instruções para controlar, individualmente, os intervalos de iluminação de cada uma dentre a pluralidade de fontes de iluminação, controlar um sensor de imagem para capturar um conjunto de quadros de imagem monocromática de forma síncrona com os intervalos de iluminação, receber um conjunto de quadros de imagem monocromática capturados; e gerar dados de imagem a cores a partir dos quadros de imagem capturados recebidos.[0017] In accordance with one aspect of some embodiments of the present invention, there is provided a color imaging system including a plurality of illumination sources, each configured to provide illumination via a waveguide in a narrow band of wavelengths. different predetermined, and a processor configured to execute the code, the code comprising instructions for individually controlling the illumination ranges of each of the plurality of illumination sources, controlling an image sensor to capture a set of monochromatic image frames synchronously with the lighting intervals, receive a set of captured monochrome image frames; and generating color image data from the received captured image frames.

[0018] Opcionalmente, o sistema inclui um módulo de detecção compreendendo: um ou mais guias de onda configurados para transmitir a iluminação a partir das diferentes fontes de iluminação, respectivamente, e um sensor de imagem monocromática.[0018] Optionally, the system includes a detection module comprising: one or more waveguides configured to transmit illumination from different illumination sources, respectively, and a monochromatic image sensor.

[0019] Opcionalmente, o processador é configurado para operar as fontes de iluminação de acordo com um protocolo de iluminação de operação pré- programado.[0019] Optionally, the processor is configured to operate the lighting sources in accordance with a pre-programmed operating lighting protocol.

[0020] Opcionalmente, o processador é configurado para operar as fontes de iluminação de acordo com um protocolo de iluminação de operação controlado dinamicamente.[0020] Optionally, the processor is configured to operate the lighting sources in accordance with a dynamically controlled operating lighting protocol.

[0021] Opcionalmente, o protocolo de iluminação compreende múltiplos intervalos de iluminação, em que, em cada intervalo de iluminação, outra fonte de iluminação de outra respectiva banda de comprimento de onda de iluminação é operada.[0021] Optionally, the lighting protocol comprises multiple lighting intervals, wherein, in each lighting interval, another lighting source from another respective lighting wavelength band is operated.

[0022] Opcionalmente, o protocolo de iluminação compreende múltiplos intervalos de iluminação, em que pelo menos dois dos intervalos de iluminação têm durações diferentes.[0022] Optionally, the lighting protocol comprises multiple lighting intervals, wherein at least two of the lighting intervals have different durations.

[0023] Opcionalmente, o protocolo de iluminação compreende múltiplos intervalos de iluminação, em que uma certa banda de iluminação é operada em mais do que um intervalo de iluminação.[0023] Optionally, the lighting protocol comprises multiple lighting intervals, wherein a certain lighting band is operated in more than one lighting interval.

[0024] Opcionalmente, o protocolo de iluminação compreende múltiplos intervalos de iluminação, em que mais do que uma banda de iluminação é operada durante pelo menos um intervalo de iluminação.[0024] Optionally, the lighting protocol comprises multiple lighting intervals, wherein more than one lighting band is operated during at least one lighting interval.

[0025] Opcionalmente, o processador é configurado para detectar um nível de iluminação base controlando as fontes de iluminação para prover nenhuma iluminação durante um certo intervalo e capturar dados de imagem pelo sensor de imagem quando nenhuma iluminação for provida pelas fontes, e calibrar o sensor de imagem e/ou imagem a cores gerada com base no nível de iluminação base detectado.[0025] Optionally, the processor is configured to detect a base illumination level by controlling the illumination sources to provide no illumination during a certain interval and capturing image data by the image sensor when no illumination is provided by the sources, and calibrating the sensor image and/or color image generated based on the detected base illumination level.

[0026] Opcionalmente, o processador é configurado para extrair a partir dos quadros recebidos informações sobre pelo menos um de uma lista consistindo em: fluorescência, autofluorescência, padrões de manchas e luz estruturada.[0026] Optionally, the processor is configured to extract from the received frames information about at least one of a list consisting of: fluorescence, autofluorescence, speckle patterns, and structured light.

BRIEF DESCRIPTION OF THE DRAWINGS

[0027] Algumas modalidades ou atributos exemplares não limitativos da matéria divulgada são ilustrados nos seguintes desenhos.[0027] Some non-limiting exemplary embodiments or attributes of the disclosed matter are illustrated in the following drawings.

[0028] Nos desenhos: A Figura 1 é uma ilustração esquemática de um sistema de imageamento a cores, de acordo com algumas modalidades da presente invenção; As Figuras 2A e 2B são tabelas de tempo esquemáticas ilustrando protocolos de operação exemplares 201 e 202, respectivamente, de acordo com algumas modalidades da presente invenção; A Figura 3 é um gráfico esquemático ilustrando o cálculo dos coeficientes R, G e B com base no espaço de cores XYZ, de acordo com algumas modalidades da presente invenção; e A Figura 4 é um fluxograma esquemático ilustrando um método para calcular uma imagem a cores RGB de alta fidelidade, de acordo com algumas modalidades da presente invenção.[0028] In the drawings: Figure 1 is a schematic illustration of a color imaging system, in accordance with some embodiments of the present invention; Figures 2A and 2B are schematic time tables illustrating exemplary operating protocols 201 and 202, respectively, in accordance with some embodiments of the present invention; Figure 3 is a schematic graph illustrating the calculation of the R, G and B coefficients based on the XYZ color space, in accordance with some embodiments of the present invention; and Figure 4 is a schematic flowchart illustrating a method for calculating a high-fidelity RGB color image in accordance with some embodiments of the present invention.

[0029] Com referência específica agora aos desenhos em detalhes, salienta-se que as particularidades mostradas são a título de exemplo e para propósitos de discussão ilustrativa de modalidades da invenção. A este respeito, a descrição feita com os desenhos torna evidente para os versados na técnica como as modalidades da invenção podem ser praticadas.[0029] With specific reference now to the drawings in detail, it should be noted that the particularities shown are by way of example and for the purposes of illustrative discussion of embodiments of the invention. In this regard, the description made with the drawings makes it clear to those skilled in the art how embodiments of the invention can be practiced.

[0030] Estruturas, elementos ou partes idênticas ou duplicadas ou equivalentes ou similares que aparecem em um ou mais desenhos são geralmente rotulados com o mesmo número de referência, opcionalmente com uma letra ou letras adicionais para distinguir entre entidades ou variantes de entidades similares, e podem não ser repetidamente rotulados e/ou descritos. Referências a elementos apresentados anteriormente estão implícitas sem necessariamente citar, adicionalmente, o desenho ou descrição em que aparecem.[0030] Identical or duplicated or equivalent or similar structures, elements or parts appearing in one or more drawings are generally labeled with the same reference number, optionally with an additional letter or letters to distinguish between similar entities or variants of entities, and may not be repeatedly labeled and/or described. References to previously presented elements are implicit without necessarily citing, additionally, the drawing or description in which they appear.

[0031] As dimensões dos componentes e atributos mostrados nas figuras são escolhidas por conveniência ou clareza de apresentação e não são necessariamente mostradas em escala ou perspectiva real. Por conveniência ou clareza, alguns elementos ou estruturas não são mostrados ou mostrados apenas parcialmente e/ou com perspectiva diferente ou a partir de diferentes pontos de vista.[0031] The dimensions of the components and attributes shown in the figures are chosen for convenience or clarity of presentation and are not necessarily shown in true scale or perspective. For convenience or clarity, some elements or structures are not shown or shown only partially and/or with a different perspective or from different points of view.

DETAILED DESCRIPTION

[0032] Algumas modalidades da presente invenção proveem um sistema e método para imageamento a cores de ambientes escuros, não iluminados, onde não há luz espacial, por exemplo, dentro de um corpo humano e/ou outro espaço oco fechado.[0032] Some embodiments of the present invention provide a system and method for color imaging of dark, unlit environments where there is no spatial light, for example, inside a human body and/or other closed hollow space.

[0033] Algumas modalidades exemplares da presente invenção são aplicáveis na endoscopia gastrointestinal e/ou no imageamento de qualquer outro lúmen do corpo interior. No entanto, a invenção não é limitada a este respeito e pode ter outras aplicações adequadas.[0033] Some exemplary embodiments of the present invention are applicable in gastrointestinal endoscopy and/or in imaging any other lumen of the inner body. However, the invention is not limited in this respect and may have other suitable applications.

[0034] Existem métodos de imageamento que permitem uma eficiência limitada de captura e transmissão de informações, por exemplo, devido ao uso de filtros para separação de cores e/ou ao uso de uma grande quantidade de canais de cor para geração de uma imagem a cores de alta qualidade. Como mencionado acima, alguns métodos de imageamento visam registrar informações espectrais, por exemplo, informações multiespectrais ou hiperespectrais. No entanto, para capturar as informações espectrais, esses métodos são forçados a perder informações de imageamento, por exemplo, dimensões de imageamento espacial ou temporal. Além disso, tais métodos usualmente proveem imagens e/ou outros dados com uma baixa taxa de quadros e/ou resolução espacial degradada, tornando-os inadequados para aplicações em tempo real, e/ou podem requerer exame de uma região específica em um tempo ou varredura alternada do campo de visão pelo sensor de imagem.[0034] There are imaging methods that allow limited efficiency in capturing and transmitting information, for example, due to the use of filters for color separation and/or the use of a large number of color channels to generate an image to high quality colors. As mentioned above, some imaging methods aim to record spectral information, for example, multispectral or hyperspectral information. However, to capture spectral information, these methods are forced to lose imaging information, e.g., spatial or temporal imaging dimensions. Furthermore, such methods usually provide images and/or other data with a low frame rate and/or degraded spatial resolution, making them unsuitable for real-time applications, and/or may require examination of a specific region at a specific time or alternating scanning of the field of view by the image sensor.

[0035] Algumas modalidades da presente invenção resolvem o problema de eficiência e proveem conteúdo melhorado de informações capturadas em ambientes escuros pelo dispositivo de imageamento, enquanto apresentam, simultaneamente, uma imagem a cores de alta fidelidade, com baixa latência e alta resolução. A solução inclui um sensor de imagem monocromática que captura imagens em sincronização com intervalos de iluminação de várias bandas espectrais, sem filtros de cores envolvidos. Em algumas modalidades, as imagens monocromáticas são capturadas enquanto iluminam em cada um de um conjunto de bandas espectrais distintas predefinidas, em um intervalo diferente para cada banda espectral. Além disso, alguns dos dados espectrais capturados são usados, em algumas modalidades, para obter conteúdo adicional de informações a partir do espectro de refletância de objetos, por exemplo informações que não são expressas na imagem de espaço de cores convencional Vermelho, Verde e Azul (RGB).[0035] Some embodiments of the present invention solve the efficiency problem and provide improved information content captured in dark environments by the imaging device, while simultaneously presenting a high-fidelity, low-latency, high-resolution color image. The solution includes a monochrome image sensor that captures images in synchronization with lighting ranges from multiple spectral bands, with no color filters involved. In some embodiments, monochromatic images are captured while illuminating in each of a set of predefined distinct spectral bands, in a different range for each spectral band. Additionally, some of the captured spectral data is used, in some embodiments, to obtain additional information content from the reflectance spectrum of objects, for example information that is not expressed in the conventional Red, Green, and Blue color space image ( RGB).

[0036] Algumas modalidades da presente invenção podem incluir um sistema, um método e/ou um produto de programa de computador. O produto de programa de computador pode incluir um meio (ou meios) de armazenamento não transitório legível por computador tangível tendo instruções de programa legíveis por computador no mesmo para fazer com que um processador realize aspectos da presente invenção. As instruções de programa legíveis por computador para realizar as operações da presente invenção podem ser instruções assembler, instruções de arquitetura de conjunto de instruções (ISA), instruções de máquina, instruções dependentes de máquina, microcódigo, instruções de firmware, dados de definição de estado ou qualquer código fonte ou objeto de código escrito em qualquer combinação de uma ou mais linguagens de programação, incluindo qualquer linguagem de programação orientada a objetos e/ou linguagens de programação processuais convencionais.[0036] Some embodiments of the present invention may include a system, a method and/or a computer program product. The computer program product may include a tangible computer-readable non-transitory storage medium (or means) having computer-readable program instructions therein for causing a processor to carry out aspects of the present invention. Computer-readable program instructions for carrying out the operations of the present invention may be assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state definition data or any source code or object code written in any combination of one or more programming languages, including any object-oriented programming language and/or conventional procedural programming languages.

[0037] Antes de explicar, pelo menos, uma modalidade da invenção em detalhes, deve ser entendido que a invenção não está necessariamente limitada na sua aplicação aos detalhes de construção e à disposição dos componentes e/ou métodos apresentados na seguinte descrição e/ou ilustrados nos desenhos e/ou nos Exemplos. A invenção é capaz de outras modalidades ou de ser praticada ou realizada de várias maneiras.[0037] Before explaining at least one embodiment of the invention in detail, it should be understood that the invention is not necessarily limited in its application to the details of construction and the arrangement of components and/or methods presented in the following description and/or illustrated in the drawings and/or in the Examples. The invention is capable of other embodiments or of being practiced or carried out in various ways.

[0038] Referência é feita agora à Figura 1, que é uma ilustração esquemática de um sistema de imageamento a cores 100, de acordo com algumas modalidades da presente invenção. O sistema 100 pode incluir um módulo de iluminação 10, um módulo de detecção 11, tal como um endoscópio, e pelo menos um processador de hardware 12. O processador 12 pode incluir e/ou se comunicar com uma memória não transitória de hardware 14. A memória 14 pode armazenar instruções de código executáveis pelo processador 12. Em algumas modalidades, a execução das instruções armazenadas faz com que o processador 12 realize os métodos descritos no presente documento.[0038] Reference is now made to Figure 1, which is a schematic illustration of a color imaging system 100, in accordance with some embodiments of the present invention. The system 100 may include a lighting module 10, a detection module 11, such as an endoscope, and at least one hardware processor 12. The processor 12 may include and/or communicate with a hardware non-transitory memory 14. Memory 14 may store code instructions executable by processor 12. In some embodiments, execution of the stored instructions causes processor 12 to perform the methods described herein.

[0039] O módulo de iluminação 10 pode incluir um controlador 13 e uma pluralidade de fontes de iluminação, por exemplo, fontes de iluminação 10a-10f. A invenção não está limitada a qualquer número específico de fontes de iluminação. Em algumas modalidades, o número de fontes de iluminação está entre 4 e 50. O controlador 13 pode receber instruções a partir do processador 12 e/ou operar executando um conjunto de instruções de código armazenadas no controlador 13 e/ou na memória 14. O controlador 13 pode controlar as fontes de iluminação 10a-10f separadamente, por exemplo, para iluminar em diferentes bandas espectrais em respectivos intervalos diferentes, por exemplo, de acordo com um padrão de iluminação predefinido. Em algumas modalidades, o controlador 13 pode ser configurado para iluminar em cada intervalo com uma combinação de uma ou mais fontes, cada uma controlada para iluminar durante um certo período e/ou com uma certa intensidade.[0039] The lighting module 10 may include a controller 13 and a plurality of lighting sources, e.g., lighting sources 10a-10f. The invention is not limited to any specific number of lighting sources. In some embodiments, the number of lighting sources is between 4 and 50. Controller 13 may receive instructions from processor 12 and/or operate by executing a set of code instructions stored in controller 13 and/or memory 14. Controller 13 may control lighting sources 10a-10f separately, for example, to illuminate in different spectral bands at different respective ranges, for example, according to a predefined lighting pattern. In some embodiments, controller 13 may be configured to illuminate at each interval with a combination of one or more sources, each controlled to illuminate for a certain period and/or with a certain intensity.

[0040] As fontes de iluminação 10a-10f podem, cada uma, prover iluminação em uma banda estreita de comprimentos de onda diferente, por exemplo, inferior a 20 nanômetros (nm) abrangendo uma faixa de comprimentos de onda predefinida. Por exemplo, a faixa de comprimentos de onda é definida de acordo com a faixa de sensibilidade de um sensor de luz indicado para capturar a luz refletida a partir de objetos iluminados pelas fontes 10a-10f. Por exemplo, a faixa pode abranger desde a luz Ultravioleta A (UVA) até luz Próxima de Infravermelho (NIR), por exemplo, de 300 nm a 1100 nm. As fontes de iluminação 10a-10f podem incluir diodos emissores de luz (LED), lasers, diodos laser ou qualquer outra fonte de iluminação de banda estreita adequada. Como descrito em mais detalhes no presente documento, em algumas modalidades, as fontes de iluminação 10a-10f são adequadas em tamanho e forma para acoplar cada uma com um guia de onda correspondente dos guias de onda 11a-11f, respectivamente, do módulo de detecção 11. Por exemplo, um guia de onda pode ser feito de fibra ótica de vidro com poucos metros de comprimento e pode ter uma largura de cerca de 10-600 micrômetros. Por exemplo, sete fibras óticas de um diâmetro de cerca de 200 micrômetros podem ser agrupadas (bundled) em uma forma hexagonal tendo um diâmetro de cerca de 600 micrômetros. Similarmente, dezenove fibras idênticas em um agrupamento de forma hexagonal similar podem ter um diâmetro de cerca de 1 milímetro.[0040] The lighting sources 10a-10f may each provide illumination in a different narrow band of wavelengths, for example, less than 20 nanometers (nm) spanning a predefined range of wavelengths. For example, the wavelength range is defined according to the sensitivity range of a light sensor designed to capture light reflected from objects illuminated by sources 10a-10f. For example, the range may range from Ultraviolet A (UVA) light to Near Infrared (NIR) light, for example, from 300 nm to 1100 nm. Lighting sources 10a-10f may include light emitting diodes (LED), lasers, laser diodes, or any other suitable narrowband lighting source. As described in more detail herein, in some embodiments, the illumination sources 10a-10f are suitable in size and shape to couple each with a corresponding waveguide of the waveguides 11a-11f, respectively, of the detection module. 11. For example, a waveguide can be made of glass fiber optics that are a few meters long and can have a width of about 10-600 micrometers. For example, seven optical fibers of a diameter of about 200 micrometers can be bundled into a hexagonal shape having a diameter of about 600 micrometers. Similarly, nineteen identical fibers in a cluster of similar hexagonal shape can have a diameter of about 1 millimeter.

[0041] O módulo de detecção 11 pode incluir uma pluralidade de guias de onda, por exemplo guias de onda 11a-11f, e um sensor de luz monocromática 18. A invenção não está limitada a qualquer número específico de guias de onda. Por exemplo, o número de guias de onda 11a-11f pode corresponder ao número de fontes de iluminação 10a-10f, em que cada fonte de iluminação pode ser acoplada a um respectivo guia de onda. Os guias de onda 11a-11f podem incluir, por exemplo, fibras óticas e/ou quaisquer outros guias de onda óticos adequados. Em algumas modalidades, os guias de onda 11a-11f podem ser dispostos em um agrupamento de guias de onda ou múltiplos agrupamentos de guias de onda para facilitar a passagem dos guias de onda em conjunto, por exemplo, em paralelo, em lúmens do corpo e/ou outros espaços vazios (voids) ocos escuros.[0041] The detection module 11 may include a plurality of waveguides, for example waveguides 11a-11f, and a monochromatic light sensor 18. The invention is not limited to any specific number of waveguides. For example, the number of waveguides 11a-11f may correspond to the number of lighting sources 10a-10f, wherein each lighting source may be coupled to a respective waveguide. Waveguides 11a-11f may include, for example, optical fibers and/or any other suitable optical waveguides. In some embodiments, the waveguides 11a-11f may be arranged in a waveguide array or multiple waveguide arrays to facilitate passage of the waveguides together, e.g., in parallel, into body lumens and /or other dark hollow voids.

[0042] Em algumas modalidades exemplares, pelo menos alguns dos guias de onda são fundidos em um número menor e/ou divididos em um número maior de guias de onda no caminho a partir das fontes 10a-10f até uma ponta (tip) do módulo de detecção 11. Por exemplo, guias de onda podem ser fundidos de modo a poupar espaço na ponta do módulo de detecção 11 e/ou para simplificar a operação de conectar e desconectar o módulo de detecção 11 e o módulo de iluminação 10. Por exemplo, os guias de onda podem ser divididos para reduzir a quantidade de energia que passa através de um guia de onda, ou para criar uma pluralidade de fontes de iluminação em diferentes locais em uma ponta do módulo de detecção 11.[0042] In some exemplary embodiments, at least some of the waveguides are fused into a smaller number and/or divided into a larger number of waveguides on the path from sources 10a-10f to a tip of the module For example, waveguides may be fused to save space at the tip of the detection module 11 and/or to simplify the operation of connecting and disconnecting the detection module 11 and the lighting module 10. For example , the waveguides can be divided to reduce the amount of energy passing through a waveguide, or to create a plurality of illumination sources at different locations at one end of the detection module 11.

[0043] O sensor monocromático 18 pode incluir, por exemplo, um Dispositivo Acoplado Carregado (CCD), um Semicondutor de Metal-Óxido Complementar (CMOS), um Semicondutor de Metal-Óxido tipo N (NMOS) e/ou qualquer outro tipo adequado de sensor de imagem. O sensor monocromático 18 pode ser controlado pelo processador 12 e/ou pelo controlador 13 para capturar uma imagem monocromática digital, isto é capturar a luz refletida a partir de objetos iluminados em sincronização com a iluminação emitida a partir de cada uma das fontes de luz 10a-10f via guias de onda correspondentes 11a- 11f. Por exemplo, o sensor 18 pode incluir um obturador (shutter), por exemplo, obturador eletrônico, controlável pelo processador 12 e/ou controlador 13, configurado para abrir e fechar de forma síncrona com a operação das fontes de luz 10a-10f. Por exemplo, o sensor 18 pode incluir um comutador eletrônico controlável pelo processador 12 e/ou controlador 13, configurado para ligar e desligar o sensor de forma síncrona com a operação das fontes de luz 10a-10f.[0043] The monochromatic sensor 18 may include, for example, a Charged Coupled Device (CCD), a Complementary Metal-Oxide Semiconductor (CMOS), an N-type Metal-Oxide Semiconductor (NMOS) and/or any other suitable type of image sensor. The monochrome sensor 18 may be controlled by the processor 12 and/or the controller 13 to capture a digital monochrome image, i.e. capturing the light reflected from illuminated objects in synchronization with the illumination emitted from each of the light sources 10a. -10f via corresponding waveguides 11a- 11f. For example, sensor 18 may include a shutter, e.g., electronic shutter, controllable by processor 12 and/or controller 13, configured to open and close synchronously with the operation of light sources 10a-10f. For example, sensor 18 may include an electronic switch controllable by processor 12 and/or controller 13, configured to turn the sensor on and off synchronously with the operation of light sources 10a-10f.

[0044] Em algumas modalidades da presente invenção, o processador 12 envia sinais de sincronização para o controlador 13 para iniciar um protocolo de iluminação. Em algumas modalidades da presente invenção, o controlador 13 pode enviar um sinal de sincronização para o processador 12 e/ou sensor de imagem 18 mediante ativação de uma fonte de iluminação, induzindo assim a operação sincronizada do sensor de imagem 18 em resposta ao sinal de sincronização recebido. Em algumas outras modalidades da presente invenção, o sinal de sincronização pode alternativamente ser originado pelo sensor de imagem 18 ou por pelo menos uma das fontes de iluminação 10a-10f, assegurando assim a operação sincronizada entre o sensor de imagem e os intervalos de iluminação.[0044] In some embodiments of the present invention, the processor 12 sends synchronization signals to the controller 13 to initiate a lighting protocol. In some embodiments of the present invention, the controller 13 may send a synchronization signal to the processor 12 and/or image sensor 18 upon activation of an illumination source, thereby inducing synchronized operation of the image sensor 18 in response to the signal. sync received. In some other embodiments of the present invention, the synchronization signal may alternatively be originated by the image sensor 18 or by at least one of the lighting sources 10a-10f, thereby ensuring synchronized operation between the image sensor and the lighting intervals.

[0045] O processador 12 pode operar o sensor monocromático 18, por exemplo diretamente ou pelo controlador 13, em uma alta taxa de quadros, por exemplo acima de 80 quadros por segundo (fps). O processador 12 pode gerar e/ou prover instruções ao controlador 13 para operar fontes de luz 10a-10f na mesma taxa que a taxa de quadros do sensor 18. Com base na instrução recebida, por exemplo, em cada intervalo de iluminação, o controlador 13 opera outra fonte de luz ou grupo de fontes de luz para iluminar via guias de onda 11a- 11f, enquanto o sensor 18 captura a luz refletida de volta a partir de objetos iluminados. Por exemplo, o processador 12 armazena dados sobre qual banda(s) espectral de iluminação é operada em cada intervalo de iluminação, e realiza a correspondência entre uma imagem monocromática capturada pelo sensor 18 em um certo intervalo de iluminação e os dados sobre as respectivas bandas espectrais de iluminação operadas no mesmo certo intervalo de iluminação. Por conseguinte, cada imagem monocromática está associada a uma banda espectral de iluminação conhecida, isto é, uma banda de comprimento de onda estreita conhecida, ou várias bandas espectrais de iluminação concorrentes, nas quais foi capturada.[0045] The processor 12 can operate the monochrome sensor 18, for example directly or via controller 13, at a high frame rate, for example above 80 frames per second (fps). The processor 12 may generate and/or provide instructions to the controller 13 to operate light sources 10a-10f at the same rate as the frame rate of the sensor 18. Based on the instruction received, e.g., at each lighting interval, the controller 13 operates another light source or group of light sources to illuminate via waveguides 11a-11f, while sensor 18 captures light reflected back from illuminated objects. For example, processor 12 stores data about which lighting spectral band(s) are operated in each lighting range, and matches a monochromatic image captured by sensor 18 in a certain lighting range to data about the respective bands. lighting spectra operated in the same certain lighting range. Therefore, each monochromatic image is associated with a known lighting spectral band, i.e., a known narrow wavelength band, or several competing lighting spectral bands, in which it was captured.

[0046] Em algumas modalidades da presente invenção, o processador 12 pode operar o sensor 18 e/ou fontes de iluminação 10a-10f de acordo com um protocolo de iluminação de operação pré-programado e captura de luz designada para certos tipos de informações que podem ser extraídas das imagens capturadas. Em algumas modalidades, o processador 12 pode receber comandos, por exemplo via uma interface de usuário, e operar de acordo com os comandos recebidos, para executar um dentre vários protocolos de iluminação de operação pré-programados e captura armazenada, por exemplo, na memória 14. Por exemplo, cada um dos protocolos pré-programados é designado para outros tipos de informações que podem ser extraídas a partir das imagens capturadas.[0046] In some embodiments of the present invention, the processor 12 may operate the sensor 18 and/or lighting sources 10a-10f in accordance with a pre-programmed operating and light capture lighting protocol designed for certain types of information that can be extracted from the captured images. In some embodiments, the processor 12 may receive commands, for example via a user interface, and operate in accordance with the received commands, to execute one of a number of pre-programmed operation and capture lighting protocols stored, for example, in memory. 14. For example, each of the pre-programmed protocols is designed for other types of information that can be extracted from the captured images.

[0047] Referência é feita agora às Figuras 2A e 2B, que são tabelas de tempo esquemáticas ilustrando protocolos de operação exemplares 201 e 202, respectivamente, de acordo com algumas modalidades da presente invenção. Por exemplo, como mostrado na Figura 2A, um ciclo de um protocolo de iluminação repetitivo pode incluir intervalos de iluminação T1-T5, em que, em cada intervalo outra fonte de iluminação de outra respectiva banda espectral de iluminação é operada. Durante cada um dos intervalos de iluminação T1-T5, o sensor monocromático 18 captura uma imagem capturando luz refletida dentro desse intervalo de iluminação. Em algumas modalidades da presente invenção, os intervalos de iluminação T1-T5 e/ou os tempos de captura dentro destes intervalos de iluminação podem ter durações diferentes. Por exemplo, algumas bandas espectrais de iluminação podem requerer uma exposição mais longa do sensor 18, por exemplo, para adaptar o brilho de uma certa banda espectral a propriedades do olho humano e/ou de equipamento específico, tal como um dispositivo display.[0047] Reference is now made to Figures 2A and 2B, which are schematic time tables illustrating exemplary operating protocols 201 and 202, respectively, in accordance with some embodiments of the present invention. For example, as shown in Figure 2A, a cycle of a repetitive lighting protocol may include T1-T5 lighting intervals, wherein at each interval another lighting source from another respective lighting spectral band is operated. During each of the illumination intervals T1-T5, the monochrome sensor 18 captures an image by capturing reflected light within that illumination interval. In some embodiments of the present invention, the T1-T5 illumination intervals and/or the capture times within these illumination intervals may have different durations. For example, some lighting spectral bands may require a longer exposure of the sensor 18, for example, to adapt the brightness of a certain spectral band to properties of the human eye and/or specific equipment, such as a display device.

[0048] Por exemplo, como mostrado na Figura 2B, um ciclo de um protocolo de iluminação repetitivo pode incluir, adicionalmente, mais do que um intervalo de iluminação para uma certa banda espectral de iluminação. Por exemplo, uma fonte de iluminação 3 pode ser operada em ambos os intervalos de iluminação T2 e T6. Adicional ou alternativamente, o ciclo pode incluir intervalos de iluminação durante os quais mais do que uma fonte de iluminação é operada, tal como o intervalo de iluminação T7, por exemplo, para extração de certos tipos de informações.[0048] For example, as shown in Figure 2B, a cycle of a repetitive lighting protocol may additionally include more than one lighting interval for a certain lighting spectral band. For example, a lighting source 3 can be operated in both lighting ranges T2 and T6. Additionally or alternatively, the cycle may include lighting intervals during which more than one lighting source is operated, such as lighting interval T7, for example, for extracting certain types of information.

[0049] Em algumas modalidades da presente invenção, o controlador 13 pode controlar as fontes de iluminação para prover nenhuma iluminação durante um certo intervalo, e o processador 12 pode detectar um nível de iluminação base capturando dados de imagem pelo sensor de imagem quando nenhuma iluminação for provida pelas fontes. O processador 12 pode calibrar o sensor de imagem e/ou imagem a cores gerada com base no nível de iluminação base detectado.[0049] In some embodiments of the present invention, the controller 13 may control lighting sources to provide no illumination during a certain interval, and the processor 12 may detect a base illumination level by capturing image data by the image sensor when no illumination is provided by the sources. The processor 12 may calibrate the image sensor and/or generated color image based on the detected base illumination level.

[0050] De acordo com algumas modalidades da presente invenção, o processador 12 pode calcular uma imagem a cores RGB, por exemplo, uma imagem a cores RGB de alta fidelidade, combinando um conjunto de imagens monocromáticas digitais capturadas associadas às respectivas bandas espectrais de iluminação diferentes, nas quais as imagens são capturadas. Em algumas modalidades, o processador 12 calcula a imagem RGB e emite a imagem para um display com latência inferior a 100 milissegundos, por exemplo, a partir do tempo de captura da última imagem no conjunto.[0050] In accordance with some embodiments of the present invention, the processor 12 may calculate an RGB color image, e.g., a high-fidelity RGB color image, by combining a set of captured digital monochrome images associated with respective lighting spectral bands. different formats in which images are captured. In some embodiments, the processor 12 calculates the RGB image and outputs the image to a display with a latency of less than 100 milliseconds, for example, from the capture time of the last image in the set.

[0051] Por exemplo, o processador 12 pode combinar o conjunto de imagens monocromáticas digitais alocando um coeficiente de ponderação a cada banda espectral de iluminação, de modo que cada imagem seja ponderada de acordo com a sua banda ou bandas espectrais de iluminação associadas. Por exemplo, os coeficientes são calculados levando em conta a intensidade percebida por um olho humano de cada banda espectral. Por exemplo, uma banda espectral percebida como menos brilhante pode receber um coeficiente de ponderação mais baixo, de modo a refletir a luminância percebida mais baixa. Em algumas modalidades, os coeficientes são calculados de acordo com um certo espaço de cores, tal como o espaço de cores XYZ (o espaço de cores CIE 1931 XYZ) ou qualquer outro espaço de cores adequado.[0051] For example, the processor 12 may combine the set of digital monochrome images by allocating a weighting coefficient to each lighting spectral band, so that each image is weighted according to its associated lighting spectral band or bands. For example, the coefficients are calculated taking into account the intensity perceived by a human eye of each spectral band. For example, a spectral band perceived as less bright may be assigned a lower weighting coefficient so as to reflect the lower perceived luminance. In some embodiments, the coefficients are calculated according to a certain color space, such as the XYZ color space (the CIE 1931 XYZ color space) or any other suitable color space.

[0052] Referência é feita agora à Figura 3, que é um gráfico esquemático 300 ilustrando o cálculo dos coeficientes R, G e B com base no espaço de cores XYZ, de acordo com algumas modalidades da presente invenção. O gráfico 300 ilustra uma estimativa da resposta relativa de cada um dos receptores oculares Vermelho, Verde e Azul para iluminação de diferentes comprimentos de onda. Para cada comprimento de onda x, o coeficiente Vermelho Rx, coeficiente Verde Gx e coeficiente Azul Bx são valores de cor Vermelho, Verde e Azul, determinados de acordo com a resposta relativa de cada um dos receptores oculares Vermelho, Verde e Azul para iluminação no comprimento de onda x, respectivamente. Por exemplo, como mostrado na Figura 3, para iluminação de 450 nm os coeficientes são R450, G450 e B450; para iluminação de 470 nm, os coeficientes são R470, G470 e B470; para iluminação de 530 nm, os coeficientes são R530, G530 e B530; para iluminação de 590 nm, os coeficientes são R590, G590 e B590; e para iluminação de 630 nm os coeficientes são R630, G630 e B630. Assim, em algumas modalidades, os coeficientes podem incluir fator escalar adicional para compensar a amostragem não uniforme entre as bandas espectrais adjacentes.[0052] Reference is now made to Figure 3, which is a schematic graph 300 illustrating the calculation of the R, G and B coefficients based on the XYZ color space, in accordance with some embodiments of the present invention. Graph 300 illustrates an estimate of the relative response of each of the Red, Green and Blue ocular receptors to illumination of different wavelengths. For each wavelength x, the Red coefficient Rx, Green coefficient Gx and Blue coefficient Bx are Red, Green and Blue color values, determined according to the relative response of each of the Red, Green and Blue ocular receptors to illumination in the wavelength x, respectively. For example, as shown in Figure 3, for 450 nm illumination the coefficients are R450, G450 and B450; for 470 nm illumination, the coefficients are R470, G470 and B470; for 530 nm illumination, the coefficients are R530, G530 and B530; for 590 nm illumination, the coefficients are R590, G590 and B590; and for 630 nm illumination the coefficients are R630, G630 and B630. Thus, in some embodiments, the coefficients may include additional scalar factor to compensate for non-uniform sampling between adjacent spectral bands.

[0053] Referência é feita agora à Figura 4, que é um fluxograma esquemático ilustrando um método 400 para calcular uma imagem a cores RGB de alta fidelidade, de acordo com algumas modalidades da presente invenção. Como indicado no bloco 410, o processador 12 pode receber dados capturados pelo sensor de imagem 18. Como indicado no bloco 420, para cada cor de iluminação na qual uma imagem monocromática é capturada, o processador 12 pode calcular os coeficientes de ponderação R, G e B, representando a resposta a esta cor de iluminação de cada um dos receptores de cor do olho humano Vermelho, Verde e Azul, respectivamente.[0053] Reference is now made to Figure 4, which is a schematic flowchart illustrating a method 400 for calculating a high-fidelity RGB color image, in accordance with some embodiments of the present invention. As indicated in block 410, processor 12 may receive data captured by image sensor 18. As indicated in block 420, for each lighting color in which a monochromatic image is captured, processor 12 may calculate weighting coefficients R, G and B, representing the response to this color of illumination from each of the human eye color receptors Red, Green and Blue, respectively.

[0054] Como indicado no bloco 430, o processador 12 pode calcular os dados de imagem Vermelho calculando uma combinação do conjunto de imagens, cada um ponderado pelo coeficiente R correspondente, dados de imagem Verde calculando uma combinação do conjunto de imagens, cada um ponderado pelo coeficiente G correspondente, e dados de imagem Azul calculando uma combinação do conjunto de imagens, cada um ponderado pelo coeficiente B correspondente. Como indicado no bloco 440, o processador 12 pode emitir os dados de imagem Vermelho, Verde e Azul, resultantes como dados de imagem RGB de alta fidelidade. Por exemplo, para cinco bandas de comprimento de onda de iluminação estreitas centradas em 450 nm, 470 nm, 530 nm, 590 nm e 630 nm, os dados de imagem RGB podem ser calculados de acordo com a transformação: [0054] As indicated in block 430, processor 12 may calculate Red image data by calculating a combination of the set of images, each weighted by the corresponding R coefficient, Green image data by calculating a combination of the set of images, each weighted by the corresponding G coefficient, and Blue image data by calculating a combination of the image set, each weighted by the corresponding B coefficient. As indicated in block 440, processor 12 can output the resulting Red, Green, and Blue image data as high-fidelity RGB image data. For example, for five narrow illumination wavelength bands centered at 450 nm, 470 nm, 530 nm, 590 nm and 630 nm, the RGB image data can be calculated according to the transformation:

[0055] Em que R, G e B são matrizes representando os dados de imagem Vermelho, Verde e Azul e Ix é uma matriz representando a imagem monocromática capturada durante a iluminação no comprimento de onda x. Assim, em algumas modalidades, os coeficientes podem incluir um fator escalar adicional para compensar a amostragem não uniforme entre bandas espectrais adjacentes ou/e a responsividade espectral do sensor de imageamento.[0055] Where R, G and B are matrices representing the Red, Green and Blue image data and Ix is a matrix representing the monochromatic image captured during illumination at wavelength x. Thus, in some embodiments, the coefficients may include an additional scalar factor to compensate for non-uniform sampling between adjacent spectral bands or/and the spectral responsiveness of the imaging sensor.

[0056] Será apreciado que em algumas modalidades da presente invenção, o processador 12 pode emitir os dados RGB em uma taxa de quadros dependente da densidade espectral, por exemplo, o número de bandas de comprimento de onda de iluminação diferentes que devem ser incluídas no cálculo dos dados de imagem. Em algumas modalidades da presente invenção, é possível adaptar a taxa de quadros adaptando o protocolo de operação, por exemplo, alterando o número de bandas de comprimento de onda de iluminação operadas e/ou incluídas no cálculo, ou aprimorando as cores da imagem RGB enquanto provê uma taxa de quadros mais lenta, conforme necessário. Geralmente, os dados de imagem RGB são calculados por: [0056] It will be appreciated that in some embodiments of the present invention, the processor 12 may output the RGB data at a frame rate dependent on the spectral density, e.g., the number of different lighting wavelength bands that are to be included in the calculation of image data. In some embodiments of the present invention, it is possible to adapt the frame rate by adapting the operating protocol, for example, by changing the number of lighting wavelength bands operated and/or included in the calculation, or by enhancing the colors of the RGB image while provides a slower frame rate as needed. Generally, RGB image data is calculated by:

[0057] Em que R, G e B são matrizes representando os dados de imagem Vermelho, Verde e Azul, os coeficientes Ri, Gi e Bi são os coeficientes R, G e B para iluminação no comprimento de onda I, e Ii é uma matriz representando a imagem monocromática capturada durante a iluminação no comprimento de onda i.[0057] Where R, G and B are matrices representing the Red, Green and Blue image data, the coefficients Ri, Gi and Bi are the coefficients R, G and B for illumination at wavelength I, and Ii is a matrix representing the monochromatic image captured during illumination at wavelength i.

[0058] Deve ser notado que a presente invenção não está limitada à geração de dados de imagem RGB e que métodos similares podem ser realizados para gerar outros dados de imagem de espaço de cores, tal como Matiz, Saturação e Luminosidade (HSL); Matiz, Saturação e Valor (HSV), XYZ, Lab e semelhantes.[0058] It should be noted that the present invention is not limited to the generation of RGB image data and that similar methods can be performed to generate other color space image data, such as Hue, Saturation and Luminosity (HSL); Hue, Saturation and Value (HSV), XYZ, Lab and similar.

[0059] O sistema e método providos por algumas modalidades da presente invenção, como descritos no presente documento, permitem a aquisição de imagens a cores de alta fidelidade com o uso de fontes de iluminação de banda estreita, cobrindo discretamente o espectro efetivo com o sensor de imageamento. Este método aprimora a resolução da imagem, a eficiência do sistema de imageamento e permite acessibilidade a dados multiespectrais/hiperespectrais em alta taxa de quadros sem comprometer a resolução espacial e sem a introdução da varredura mecânica.[0059] The system and method provided by some embodiments of the present invention, as described herein, allow the acquisition of high-fidelity color images using narrowband illumination sources, discreetly covering the effective spectrum with the sensor of imaging. This method improves image resolution, imaging system efficiency and allows accessibility to multispectral/hyperspectral data at high frame rate without compromising spatial resolution and without introducing mechanical scanning.

[0060] Como indicado no bloco 450, em algumas modalidades da presente invenção, o processador 12 extrai informações auxiliares a partir dos dados capturados pelo sensor de imagem 18. As imagens capturadas pelo sensor 18 da luz refletida a partir dos objetos podem ser usadas para extração de informações além de dados de imagem RGB, como fluorescência, autofluorescência, padrões de manchas, luz estruturada e quaisquer outros dados adequados que podem ser obtidos pela análise espectral da luz refletida. Em algumas modalidades, as informações são extraídas pela iluminação em comprimentos de onda que estão fora da faixa visível humana (ou seja, 400-680 nanômetros), mas ainda estão na faixa de detecção do sensor 18, por exemplo entre 300 nm a 1150 nm.[0060] As indicated in block 450, in some embodiments of the present invention, the processor 12 extracts auxiliary information from the data captured by the image sensor 18. The images captured by the sensor 18 of light reflected from objects can be used to extracting information beyond RGB image data such as fluorescence, autofluorescence, speckle patterns, structured light, and any other suitable data that can be obtained by spectral analysis of reflected light. In some embodiments, information is extracted by illumination at wavelengths that are outside the human visible range (i.e., 400-680 nanometers) but are still in the detection range of the sensor 18, for example between 300 nm to 1150 nm. .

[0061] Por exemplo, as informações podem ser extraídas a partir da coerência ou de outras propriedades espectrais da luz refletida detectada. As informações extraídas podem ser usadas para análise da imagem a cores, melhoramento da imagem a cores e/ou para prover informações adicionais em paralelo com a imagem a cores. Por exemplo, o processador 12 pode identificar nos padrões espectrais de luz refletidos capturados e/ou propriedades que podem ser invisíveis e/ou difíceis de reconhecer por um olho humano e/ou cérebro e/ou percepção. Por exemplo, as propriedades espectrais identificadas podem incluir interpretação e/ou estimativa de profundidade, que podem ser identificadas a partir da deformação de um padrão de luz estruturada. Por exemplo, as propriedades espectrais identificadas podem incluir adivinhação de padrão em padrões de manchas, que podem ser identificados em algumas das camadas de imagem capturadas, por exemplo, algumas das bandas de iluminação.[0061] For example, information can be extracted from the coherence or other spectral properties of the detected reflected light. The extracted information can be used to analyze the color image, enhance the color image and/or to provide additional information in parallel with the color image. For example, the processor 12 may identify in the captured reflected light spectral patterns and/or properties that may be invisible and/or difficult to recognize by a human eye and/or brain and/or perception. For example, the identified spectral properties may include interpretation and/or depth estimation, which may be identified from the deformation of a structured light pattern. For example, the identified spectral properties may include pattern guessing in speckle patterns, which may be identified in some of the captured image layers, e.g., some of the illumination bands.

[0062] Os padrões identificados podem ser exibidos por uma sobreposição na imagem a cores exibida correspondente e/ou além da imagem a cores exibida correspondente, e/ou podem ser usados pelo processador 12 como camadas de informações adicionais para processamento e/ou classificação adicionais dos dados de imagem a cores, e/ou podem ser armazenados no sistema ou por qualquer outro método de armazenamento de dados digitais (por exemplo, em uma nuvem), como dados brutos ou após processamento parcial, para processamento futuro.[0062] The identified patterns may be displayed by an overlay on the corresponding displayed color image and/or in addition to the corresponding displayed color image, and/or may be used by the processor 12 as additional information layers for further processing and/or classification. of color image data, and/or may be stored in the system or by any other digital data storage method (e.g. in a cloud), as raw data or after partial processing, for future processing.

[0063] Em algumas modalidades da presente invenção, a fim de adquirir alguns tipos de informações espectrais, o módulo de detecção 11 pode incluir elementos difrativos e/ou outra forma de lentes óticas que cobrem a extremidade distal de pelo menos alguns dos guias de onda 11a-11f. Os elementos e/ou lentes difrativas podem ser configurados(as) para difração em ângulos predeterminados e/ou de acordo com funções de difração e/ou padrões de difração predeterminados, por exemplo de acordo com análise espectral específica correspondente desempenhada na luz refletida capturada nos comprimentos de onda correspondentes. Assim, algumas modalidades proveem uma estrutura de difração predeterminada para iluminação em um comprimento de onda específico. Por exemplo, em algumas modalidades, o processador 12 pode extrair informações de profundidade sobre a imagem capturada a partir da deformação do padrão de luz conhecido iluminado sobre a amostra com um ângulo de desvio conhecido em relação ao plano de imagem normal.[0063] In some embodiments of the present invention, in order to acquire some types of spectral information, the detection module 11 may include diffractive elements and/or another form of optical lenses that cover the distal end of at least some of the waveguides 11a-11f. The diffractive elements and/or lenses may be configured to diffract at predetermined angles and/or in accordance with predetermined diffraction functions and/or diffraction patterns, for example in accordance with corresponding specific spectral analysis performed on the reflected light captured in the corresponding wavelengths. Thus, some embodiments provide a predetermined diffraction structure for illumination at a specific wavelength. For example, in some embodiments, the processor 12 may extract depth information about the captured image from the deformation of the known light pattern illuminated on the sample with a known angle of deviation from the normal image plane.

[0064] Em algumas modalidades da presente invenção, o processador 12 pode identificar, resolver e/ou quantificar dinâmicas no ambiente detectado, como um objeto em movimento e/ou fluxo de sangue, detectando e/ou analisando um padrão de manchas, por exemplo padrões de interferência construtiva e destrutiva na luz refletida detectada. Por exemplo, o processador 12 pode extrair alterações temporais no desvio padrão da intensidade de imagem nos padrões de manchas identificados em algumas das bandas de luz capturadas, enquanto uma iluminação coerente é aplicada durante o intervalo de iluminação.[0064] In some embodiments of the present invention, the processor 12 may identify, resolve and/or quantify dynamics in the detected environment, such as a moving object and/or blood flow, by detecting and/or analyzing a stain pattern, e.g. constructive and destructive interference patterns in detected reflected light. For example, processor 12 may extract temporal changes in the standard deviation of image intensity in spot patterns identified in some of the captured light bands, while coherent illumination is applied during the illumination interval.

[0065] Em alguns casos, alguns objetos iluminados a partir dos quais a luz capturada é refletida podem sofrer um processo de transferência de energia que altera o comprimento de onda da luz refletida. Em alguns casos, um objeto pode sofrer autofluorescência ou algum tipo de fluorescência induzida. O processador 12 pode sincronizar a iluminação e captura de luz para capturar uma imagem durante a iluminação e uma imagem adicional com um atraso entre a iluminação e a captura, e pode comparar a luz refletida imediatamente à luz de fluorescência, criando assim uma camada de informações adicionais da alteração no comprimento de onda devido à fluorescência. Em algumas modalidades, o processador 12 pode identificar fluorescência e/ou calcular a resposta temporal da fluorescência, por exemplo, pela modulação de tempo da luz refletida e de acordo com a sensibilidade do sensor de luz 18.[0065] In some cases, some illuminated objects from which captured light is reflected may undergo an energy transfer process that changes the wavelength of the reflected light. In some cases, an object may undergo autofluorescence or some type of induced fluorescence. Processor 12 may synchronize illumination and light capture to capture an image during illumination and an additional image with a delay between illumination and capture, and may compare the reflected light immediately to the fluorescence light, thereby creating a layer of information additional changes in wavelength due to fluorescence. In some embodiments, the processor 12 can identify fluorescence and/or calculate the temporal response of the fluorescence, for example, by time modulating the reflected light and according to the sensitivity of the light sensor 18.

[0066] No contexto de algumas modalidades da presente divulgação, a título de exemplo e sem limitação, termos como 'operando' ou 'executando' implicam também capacidades, tais como 'operável' ou 'executável', respectivamente.[0066] In the context of some embodiments of the present disclosure, by way of example and without limitation, terms such as 'operand' or 'executing' also imply capabilities, such as 'operable' or 'executable', respectively.

[0067] Termos conjugados, tais como, a título de exemplo, 'uma propriedade de coisa' implica uma propriedade da coisa, a menos que seja de outro modo claramente evidente a partir do contexto do mesmo.[0067] Conjoined terms such as, by way of example, 'a property of thing' imply a property of the thing, unless otherwise clearly evident from the context thereof.

[0068] Os termos 'processador' ou 'computador' ou sistema dos mesmos, são usados no presente documento como contexto ordinário da técnica, tal como um processador de propósito geral ou um dispositivo portátil tal como um smartphone ou um computador tablet ou um microprocessador ou um processador RISC ou DSP, possivelmente compreendendo elementos adicionais, tais como memória ou portas de comunicação. Opcional ou adicionalmente, os termos 'processador' ou 'computador' ou derivados dos mesmos denotam um aparelho que é capaz de realizar um programa provido ou incorporado e/ou é capaz de controlar e/ou acessar aparelhos de armazenamento de dados e/ou outros aparelhos como portas de entrada e saída. Os termos 'processador' ou 'computador' denotam também uma pluralidade de processadores ou computadores conectados, e/ou ligados e/ou de outra forma comunicando, possivelmente compartilhando um ou mais outros recursos, como uma memória e/ou armazenamento baseado em nuvem.[0068] The terms 'processor' or 'computer' or system thereof, are used herein in the ordinary context of the art, such as a general purpose processor or a portable device such as a smartphone or a tablet computer or a microprocessor or a RISC or DSP processor, possibly comprising additional elements such as memory or communication ports. Optionally or additionally, the terms 'processor' or 'computer' or derivatives thereof denote an apparatus that is capable of carrying out a provided or incorporated program and/or is capable of controlling and/or accessing data storage devices and/or other devices such as input and output ports. The terms 'processor' or 'computer' also denote a plurality of processors or computers connected, and/or linked and/or otherwise communicating, possibly sharing one or more other resources, such as a memory and/or cloud-based storage.

[0069] Os termos 'software', 'programa', 'procedimento de software' ou 'procedimento' ou 'código de software' ou 'código' ou 'aplicação' podem ser usados de maneira intercambiável de acordo com o contexto dos mesmos e denotam uma ou mais instruções ou diretivas ou conjunto de circuitos eletrônicos para desempenhar uma sequência de operações que geralmente representam um algoritmo e/ou outro processo ou método. O programa é armazenado em um meio, como memória RAM, ROM ou disco, e/ou armazenamento em nuvem ou armazenamento tipo disco baseado em semicondutor ou qualquer tipo de armazenamento RAID, ou incorporado em um conjunto de circuitos acessível e executável por um aparelho como um processador ou outro conjunto de circuitos. O processador e o programa podem constituir o mesmo aparelho, pelo menos parcialmente, como um arranjo de portas eletrônicas, como FPGA ou ASIC, projetado para desempenhar uma sequência programada de operações, opcionalmente compreendendo ou ligado a um processador ou outro conjunto de circuitos.[0069] The terms 'software', 'program', 'software procedure' or 'procedure' or 'software code' or 'code' or 'application' may be used interchangeably according to their context and denote one or more instructions or directives or set of electronic circuits to perform a sequence of operations that generally represent an algorithm and/or other process or method. The program is stored on a medium such as RAM, ROM, or disk, and/or cloud storage or semiconductor-based disk-type storage or any type of RAID storage, or embedded in a circuit set accessible to and executable by a device such as a processor or other set of circuits. The processor and the program may constitute the same apparatus, at least partially, such as an array of electronic gates, such as FPGA or ASIC, designed to perform a programmed sequence of operations, optionally comprising or connected to a processor or other set of circuits.

[0070] O termo 'configurando’ e/ou 'adaptando' para um objetivo, ou uma variação do mesmo, implica o uso de, pelo menos, um software e/ou o circuito eletrônico e/ou aparelho auxiliar projetado e/ou implementado e/ou operável ou operativo para alcançar o objetivo.[0070] The term 'configuring' and/or 'adapting' for a purpose, or a variation thereof, implies the use of at least one software and/or the electronic circuit and/or auxiliary device designed and/or implemented and/or operable or operative to achieve the objective.

[0071] Um dispositivo armazenando e/ou compreendendo um programa e/ou dados constitui um artigo de fabricação. A menos que especificado de outra forma, o programa e/ou dados são armazenados em um meio não transitório.[0071] A device storing and/or comprising a program and/or data constitutes an article of manufacture. Unless otherwise specified, the program and/or data are stored on a non-transitory medium.

[0072] No caso de equipamentos elétricos ou eletrônicos serem divulgados, assume-se que uma fonte de energia apropriada é usada para a operação dos mesmos.[0072] In the event that electrical or electronic equipment is disclosed, it is assumed that an appropriate energy source is used for the operation thereof.

[0073] Os diagramas de blocos e fluxograma ilustram arquitetura, funcionalidade ou uma operação de possíveis implementações de sistemas, métodos e produtos de programa de computador de acordo com várias modalidades da presente matéria divulgada. A este respeito, cada bloco no fluxograma ou nos diagramas de blocos pode representar um módulo, segmento ou porção do código de programa, que compreende uma ou mais instruções executáveis para implementar a função(ões) lógica especificada. Também deve ser notado que, em algumas implementações alternativas, operações ilustradas ou descritas podem ocorrer em uma ordem diferente ou em combinação ou como operações concorrentes ao invés de operações sequenciais para alcançar o mesmo efeito ou equivalente.[0073] The block diagrams and flowchart illustrate architecture, functionality or an operation of possible implementations of computer program systems, methods and products in accordance with various embodiments of the present disclosed subject matter. In this regard, each block in the flowchart or block diagrams may represent a module, segment or portion of program code, which comprises one or more executable instructions to implement the specified logical function(s). It should also be noted that, in some alternative implementations, operations illustrated or described may occur in a different order or in combination or as concurrent operations rather than sequential operations to achieve the same or equivalent effect.

[0074] As correspondentes estruturas, materiais, atos e equivalentes de todos os meios ou etapas mais elementos de função nas reivindicações abaixo são destinadas a incluir qualquer estrutura, material ou ato para desempenhar a função em combinação com outros elementos reivindicados como especificamente reivindicado. Como usado no presente documento, as formas singulares "um", "uma" e "o" são destinadas a incluir as formas plurais, a menos que o contexto indique claramente o contrário. Deve ser entendido adicionalmente que os termos "compreendendo", "incluindo" e/ou "tendo" e outras conjugações destes termos, quando usados neste relatório descritivo, especificam a presença de atributos, inteiros, etapas, operações, elementos e/ou componentes declarados, mas não excluem a presença ou adição de um ou mais outros atributos, inteiros, etapas, operações, elementos, componentes e/ou grupos dos mesmos.[0074] The corresponding structures, materials, acts and equivalents of all means or steps plus function elements in the claims below are intended to include any structure, material or act for performing the function in combination with other claimed elements as specifically claimed. As used herein, the singular forms "a", "an" and "the" are intended to include the plural forms unless the context clearly indicates otherwise. It should be further understood that the terms "comprising", "including" and/or "having" and other conjugations of these terms, when used in this specification, specify the presence of declared attributes, integers, steps, operations, elements and/or components , but do not exclude the presence or addition of one or more other attributes, integers, steps, operations, elements, components and/or groups thereof.

[0075] A terminologia usada no presente documento não deve ser entendida como limitante, a menos que seja especificado de outra forma, e é para o propósito de descrever apenas modalidades particulares e não se destina a ser limitante da matéria divulgada. Enquanto certas modalidades da matéria divulgada foram ilustradas e descritas, será claro que a divulgação não está limitada às modalidades descritas no presente documento. Numerosas modificações, alterações, variações, substituições e equivalentes não são impedidas.[0075] The terminology used herein should not be construed as limiting unless otherwise specified, and is for the purpose of describing particular embodiments only and is not intended to be limiting of the subject matter disclosed. While certain embodiments of the disclosed matter have been illustrated and described, it will be clear that the disclosure is not limited to the embodiments described herein. Numerous modifications, alterations, variations, substitutions and equivalents are not prevented.

Claims

1. Color imaging method characterized by the fact that it comprises: illuminating a lumen using a plurality of predetermined series, between four and fifty, independent narrowband illumination sources (10a-10f) to perform one illumination protocol cycle ( 201, 202); capturing individual narrowband image frames of the lumen by a monochromatic image sensor (18) synchronously with said illumination; use (420), by a processor (12), predetermined weighting coefficients representing the contribution of each of the narrowband image frames to a specific color space (300) to generate (430) a high-fidelity color image corresponding as a weighted sum of the different narrowband image frames using said weighting coefficients; and outputting (440), by the processor, said high-fidelity color image to a display with a latency of less than 100 milliseconds, wherein each weighting coefficient represents the contribution of each individual narrowband image frame captured to said image to high fidelity colors generated, in said lighting protocol cycle.

2. The method of claim 1, further comprising: using, by the processor, said individual narrowband image frames to extract (450) information by analyzing said individual narrowband image frames , wherein said extracted information is in addition to the information used to calculate the corresponding high-fidelity color image, wherein the extracted information is used for at least one of analyzing the high-fidelity color image, image enhancement high-fidelity color image and provision of additional information in parallel to the high-fidelity color image.

3. Method according to claim 1, characterized by the fact that said narrowband lighting sources (10a-10f) are narrowband lighting sources having spectral power distribution of less than 20nm.

4. Method, according to claim 3, characterized by the fact that it further comprises an adaptation by a system controller on the attributes of said lighting protocol cycle, according to an external command or a predefined response, in that said adaptation comprises at least one of the following attributes: (i) changing the number of lighting wavelength bands in the lighting protocol cycle (201, 202); (ii) change the lighting order of said narrowband lighting sources (10a-10f); (iii) controlling individual exposure times of said monochromatic image sensor frames in the lighting protocol cycle; (iv) controlling individual brightness levels of said narrowband lighting sources; and (v) controlling individual illumination interval durations of said narrowband illumination sources, wherein said illumination protocol cycle produces data for composing a single color image frame, thus, the illumination protocol cycle lighting is a cycle of a repetitive lighting protocol operated to provide enhanced information content, while simultaneously presenting a high-fidelity color image, with latency of less than 100 milliseconds and high resolution.

5. The method of claim 3, further comprising: using, by a processor, said individual narrowband image frames to extract (450) information by analyzing said narrowband image frames individual data, wherein said extracted information is in addition to the information used to calculate the corresponding high-fidelity color image, wherein the extracted information is used for at least one of analyzing the high-fidelity color image, improving the high-fidelity color image and provision of additional information in parallel with the high-fidelity color image.

6. Method, according to claim 5, characterized by the fact that said extracted information includes at least one of: (i) fluorescence; (ii) autofluorescence; (iii) moving object; (iv) blood flow; (v) any other data obtained by spectral analysis of the reflected light; and (vi) depth information.

7. The method of claim 5, further comprising narrowband illumination frames at narrowband wavelengths outside the human visible range, wherein said narrowband wavelengths are outside the human visible range, but are within the detection range of said monochrome image sensor.

8. Method according to claim 5, characterized by the fact that the lighting protocol cycle (201, 202) includes intervals during which more than one lighting source is operated; or said illumination protocol cycle (201, 202) includes more than one illumination interval for a certain illumination spectral band.

9. Color imaging system (100) characterized by the fact that it comprises: a plurality of at least four illumination sources (10a-10f), each configured to provide illumination via a waveguide in a narrow bandwidth different predetermined wavelengths; and a processor (12) configured to execute instructions for: individually controlling the lighting intervals of each of the plurality of lighting sources; controlling a monochrome image sensor (18) to capture a set of image frames synchronously with the lighting intervals; receiving a set of captured image frames; and generating and displaying high-fidelity color image data, with latency less than 100 milliseconds, from the received captured image frames.

10. System, according to claim 9, characterized by the fact that it additionally comprises a detection module (11), said detection module comprising: one or more waveguides (11a-11f) configured to transmit illumination from different lighting sources, respectively; and a monochrome image sensor (18).

11. System, according to claim 9, characterized by the fact that the processor (12) is configured to operate the lighting sources (10a-10f) according to at least one of: (i) a predefined lighting pattern ; (ii) an adaptation operation lighting protocol, wherein the processor (12) independently controls each of the lighting sources (10a-10f) and the monochromatic image sensor (18), for at least one of: (i) lighting source used; (ii) duration of lighting; (iii) source intensity; (iv) time modulation of reflected light; (v) sensor exposure duration; and (vi) sensor frame rate.

12. System according to claim 9, characterized by the fact that the processor (12) is configured to detect a base lighting level by controlling the lighting sources (10a-10f) to provide no lighting during a certain interval and capture image data by the monochrome image sensor when no illumination is provided by the sources and calibrating at least one of the monochrome image sensor and the generated high-fidelity color image based on the detected base illumination level.