BR112020012708A2 - imageamento por fluorescência em um ambiente de-ficiente de luz - Google Patents

imageamento por fluorescência em um ambiente de-ficiente de luz Download PDF

Info

Publication number
BR112020012708A2
BR112020012708A2 BR112020012708-6A BR112020012708A BR112020012708A2 BR 112020012708 A2 BR112020012708 A2 BR 112020012708A2 BR 112020012708 A BR112020012708 A BR 112020012708A BR 112020012708 A2 BR112020012708 A2 BR 112020012708A2
Authority
BR
Brazil
Prior art keywords
image
light
electromagnetic radiation
endoscopic system
bits
Prior art date
Application number
BR112020012708-6A
Other languages
English (en)
Inventor
Donald M. Wichern
Joshua D. Talbert
Original Assignee
Ethicon Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ethicon Llc filed Critical Ethicon Llc
Publication of BR112020012708A2 publication Critical patent/BR112020012708A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00066—Proximal part of endoscope body, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0232—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using shutters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0235—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using means for replacing an element by another, for replacing a filter or a grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/433—Modulation spectrometry; Derivative spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102—Plural sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/433—Modulation spectrometry; Derivative spectrometry
    • G01J2003/4334—Modulation spectrometry; Derivative spectrometry by modulation of source, e.g. current modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

A presente invenção refere-se a um sistema de imageamento endoscópico para uso em um ambiente deficiente de luz inclui um dispositivo de imageamento que tem um tubo, um ou mais sensores de imagem e um conjunto de lente que inclui ao menos um elemento óptico que corresponde ao um ou mais sensores de imagem. O sistema endoscópico inclui um mostruário para um usuário visualizar uma cena e um controlador de processamento de sinal de imagem. O sistema endoscópico inclui um mecanismo de luz que tem uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética e um lúmen que transmite um ou mais pulsos de radiação eletromagnética a uma ponta distal de um endoscópio.

Description

Relatório Descritivo da Patente de Invenção para "IMAGEA-
MENTO POR FLUORESCÊNCIA EM UM AMBIENTE DEFICIENTE DE LUZ". ANTECEDENTES DA INVENÇÃO
[0001] Os avanços tecnológicos permitiram avanços nas capaci- dades de imageamento para uso médico. Um endoscópio pode ser usado para visualizar o interior de um corpo e examinar o interior de um órgão ou cavidade do corpo. Os endoscópios podem ser usados para investigar os sintomas de um paciente, confirmar um diagnóstico ou aplicar tratamento médico. Um endoscópio médico pode ser usado para visualizar vários sistemas e partes corporais, incluindo, por exemplo, o trato gastrointestinal, o trato respiratório, o trato urinário, a cavidade abdominal por meio de uma pequena incisão etc. Os endos- cópios podem ser adicionalmente usados para procedimentos cirúrgicos, como procedimentos de cirurgia plástica, procedimentos realizados em articulações ou ossos, procedimentos realizados no sistema neurológico, procedimentos realizados dentro da cavidade abdominal etc.
[0002] Os endoscópios também têm sido usados em campos não médicos para visualizar e inspecionar espaços que podem ser inaces- síveis ou de difícil visualização. Por exemplo, os endoscópios podem ser usados por planejadores ou arquitetos para visualizar modelos em escala de edifícios ou cidades propostos. Os endoscópios podem ser usados para visualizar um espaço interno de um sistema complexo, como um computador. Os endoscópios podem ser até usados por au- toridades policiais ou por militares para realizar a vigilância em espa- ços apertados ou para examinar dispositivos explosivos.
[0003] Entre seus vários usos, os endoscópios podem ser benéfi- cos para visualizar um espaço em cores. Uma imagem colorida digital pode incluir ao menos três camadas, ou "canais de cor" para cada pixel da imagem. Cada um dos canais de cor mede a intensidade e a crominância da luz para uma banda espectral. Comumente, uma ima- gem colorida digital inclui um canal de cor para as bandas espectrais vermelha, verde e azul de luz (essa pode ser denominada uma ima- gem RGB). Cada um dos canais de cor vermelho, verde e azul inclui informação de brilho para a banda espectral vermelha, verde ou azul de luz. As informações de brilho das camadas vermelha, verde e azul separadas podem ser combinadas para criar uma imagem colorida di- gital. Pelo fato de uma imagem colorida ser composta por camadas separadas, um sensor de imagem de câmera digital comumente inclui uma matriz de filtro de cor que permite que comprimentos de onda de luz visível vermelha, verde e azul atinjam sensores de pixel seleciona- dos. Cada elemento de sensor de pixel individual é sensibilizado para comprimentos de onda vermelha, verde ou azul e somente retornará dados de imagem para aquele comprimento de onda. Os dados de imagem da matriz total de sensores de pixel são combinados para ge- rar a imagem RGB.
[0004] No caso de imageamento endoscópico para diagnósticos médicos ou procedimentos médicos, pode ser benéfico ou mesmo ne- cessário visualizar uma cavidade corporal com imagens coloridas. Por exemplo, se um endoscópio for usado para visualizar a cavidade ab- dominal de um corpo, uma imagem colorida pode fornecer informa- ções valiosas para ajudar a identificar diferentes órgãos ou tecidos dentro do abdômen ou para identificar certas condições ou doenças dentro do espaço. Conforme discutido acima, uma câmera digital ca- paz de capturar imagens coloridas pode ter ao menos três tipos distin- tos de sensores de pixel para capturar individualmente as camadas vermelha, verde e azul camadas das imagens coloridas. Os ao menos três tipos distintos de sensores de pixel podem consumir um espaço físico relativamente significativo (quando comparado com uma matriz de pixel agnóstica em termos de cor), de modo que a matriz de pixel completa não pode se encaixar na pequena extremidade distal do en- doscópio que é inserido no corpo. Uma vez que as câmeras digitais coloridas podem incluir os ao menos três tipos distintos de sensores de pixel, uma matriz de pixel total (ou seja, o sensor de imagem) fica comumente localizada em uma unidade de empunhadura de um en- doscópio que é seguro por um operador de endoscópio e não é colo- cado dentro da cavidade corporal. Para um endoscópio desse tipo, a luz é transmitida ao longo do comprimento do endoscópio desde a unidade de empunhadura até a extremidade distal do endoscópio que é colocado dentro da cavidade corporal. Essa configuração de endos- cópio tem limitações significativas. Os endoscópios com essa configu- ração são delicados e podem ser facilmente desalinhados ou danifica- dos quando colididos ou impactados durante o uso regular. Isso pode degradar significativamente a qualidade das imagens geradas pelo endoscópio e exigir que o endoscópio seja frequentemente reparado ou substituído.
[0005] Em alguns casos, e particularmente no caso de imagea- mento médico ou procedimentos médicos, pode ser benéfico ver mais que uma imagem colorida. As imagens coloridas refletem o que o olho humano detecta ao olhar para um ambiente. Entretanto, o olho huma- no é limitado a visualizar somente luz visível e não pode detectar ou- tros comprimentos de onda do espectro eletromagnético. Em outros comprimentos de onda do espectro eletromagnético além dos compri- mentos de onda de "luz visível", informações adicionais sobre um am- biente podem ser obtidas. Um método de detecção de informações adicionais sobre um ambiente, além do que o olho humano é capaz de detectar, consiste no uso de reagentes fluorescentes. No caso de ima- geamento para fins médicos, os reagentes fluorescentes podem forne- cer uma visualização exclusiva de uma cavidade corporal que destaca certos tecidos, estruturas ou condições que o olho humano ou um pro-
grama de computador não podem detectar em uma imagem RGB.
[0006] A fluorescência é a emissão de luz por uma substância que absorveu luz ou outra radiação eletromagnética. Determinados materi- ais fluorescentes podem "brilhar" ou emitir uma cor distinta que é visí- vel ao olho humano quando o material fluorescente é submetido a luz ultravioleta ou outros comprimentos de onda de radiação eletromagné- tica. Certos materiais fluorescentes pararão de brilhar quase imedia- tamente quando a fonte de radiação parar.
[0007] A fluorescência ocorre quando um elétron orbital de uma molécula, átomo ou nanoestrutura é excitada por luz ou outra radiação eletromagnética e, então, relaxa até seu estado fundamental pela emissão de um fóton a partir do estado excitado. As frequências espe- cíficas de radiação eletromagnética que excitam o elétron orbital, ou que são emitidas pelo fóton durante o relaxamento, dependem do átomo, molécula ou nanoestrutura em particular. Na maioria dos ca- sos, a luz emitida pela substância possui um comprimento de onda maior e, portanto, menor energia do que a radiação que foi absorvida pela substância. Entretanto, quando a radiação eletromagnética ab- sorvida é intensa, é possível que um elétron absorva dois fótons. Essa absorção de dois fótons pode levar à emissão de radiação tendo um comprimento de onda mais curto e, portanto, maior energia do que a radiação absorvida. Adicionalmente, a radiação emitida pode também ter o mesmo comprimento de onda que a radiação absorvida.
[0008] O imageamento por fluorescência tem diversas aplicações práticas, inclusive em mineralogia, gemologia, medicina, espectrosco- pia para sensores químicos, detecção de processos ou sinais biológi- cos etc. A fluorescência pode ser particularmente usada em bioquími- ca e medicina como um meio não destrutivo para rastrear ou analisar moléculas biológicas. As moléculas biológicas, incluindo certos tecidos ou estruturas, podem ser rastreadas pela análise da emissão fluores-
cente das moléculas biológicas depois de serem excitadas por um cer- to comprimento de onda de radiação eletromagnética. Entretanto, rela- tivamente poucos componentes celulares são naturalmente fluores- centes. Em certas implementações, pode ser desejável visualizar um certo tecido, estrutura, processo químico ou processo biológico que não é intrinsicamente fluorescente. Nessa implementação, pode ser administrado ao corpo um corante ou reagente que pode incluir uma molécula, proteína ou ponto quântico tendo propriedades fluorescen- tes. O reagente ou corante pode, então, apresentar fluorescência de- pois de ser excitado por um certo comprimento de onda de radiação eletromagnética. Diferentes reagentes ou corantes podem incluir dife- rentes moléculas, proteínas e/ou pontos quânticos que irão apresentar fluorescência em determinados comprimentos de onda de radiação eletromagnética. Assim, pode ser necessário excitar o reagente ou co- rante com uma banda de radiação eletromagnética especializada para apresentar fluorescência e identificar o tecido, estrutura ou processo desejado no corpo.
[0009] O imageamento por fluorescência pode fornecer informa- ções valiosas no campo médico que podem ser usadas para fins diag- nósticos e/ou que podem ser visualizadas em tempo real durante um procedimento médico. Os reagentes ou corantes especializados po- dem ser administrados a um corpo para apresentar fluorescência em certos tecidos, estruturas, processos químicos ou processos biológi- cos. A fluorescência do reagente ou corante pode destacar estruturas corporais, como vasos sanguíneos, nervos, órgãos em particular etc. Adicionalmente, a fluorescência do reagente ou corante pode destacar condições ou doenças como células cancerosas ou células que sofrem algum processo biológico ou químico que pode estar associado a uma condição ou doença. O imageamento por fluorescência pode ser usa- do em tempo real por um profissional da área médica ou programa de computador para fazer distinção entre, por exemplo, células cancero- sas e células não cancerosas durante uma extração cirúrgica de tu- mor. O imageamento por fluorescência pode ser adicionalmente usado como um meio não destrutivo para rastrear e visualizar, ao longo do tempo, uma condição no corpo que de outra maneira não seria visível pelo olho humano ou distinguível em uma imagem RGB.
[0010] Entretanto, o imageamento por fluorescência exige emis- sões especializadas de radiação eletromagnética e pode adicional- mente exigir sensores de imageamento especializados capazes de ler o comprimento de onda de radiação eletromagnética que é emitida pe- la estrutura ou reagente que apresentou fluorescência. Diferentes rea- gentes ou corantes podem ser sensíveis a diferentes comprimentos de onda de radiação eletromagnética e podem adicionalmente emitir dife- rentes comprimentos de onda de radiação eletromagnética quando tiverem apresentado fluorescência. Os sistemas de imageamento po- dem ser, então, altamente especializados e adaptados para um deter- minado reagente ou corante, de modo que o sistema seja configurado para emitir determinados comprimentos de onda de radiação eletro- magnética e inclua sensores de imageamento configurados para lerem determinados comprimentos de onda de radiação eletromagnética. Esses sistemas de imageamento podem ser úteis em aplicações muito limitadas e podem não ser capazes de apresentar fluorescência em mais que um reagente ou estrutura durante uma única sessão de ima- geamento. Pode ser muito dispendiosa a necessidade de múltiplos sis- temas distintos de imageamento que são, cada um, configurados para apresentarem fluorescência em um reagente ou corante em particular. Adicionalmente, pode ser desejável administrar múltiplos reagentes ou corantes que são, cada um, configurados para apresentarem fluores- cência em uma estrutura ou condição diferente e visualizar o imagea- mento por fluorescência para cada um dos reagentes ou corantes em uma imagem sobreposta única.
[0011] Adicionalmente, pode ser desejável sobrepor o imageamen- to por fluorescência sobre uma imagem em preto e branco ou colorida para fornecer contexto para um profissional da área médica ou algo- ritmo de computador. Historicamente, isso exigiria o uso de uma câme- ra (ou múltiplas câmeras) tendo vários tipos distintos de sensores de pixel que são, cada um deles, sensíveis para distintas faixas de radia- ção eletromagnética. Isso pode incluir os três tipos separados de sen- sores de pixel para gerar uma imagem RGB colorida por meio de mé- todos convencionais, em combinação com sensores de pixel adicio- nais para gerar os dados de imagem de fluorescência em diferentes comprimentos de onda do espectro eletromagnético. Isso pode con- sumir um espaço físico relativamente grande e necessita de uma grande matriz de pixel para garantir que a resolução da imagem seja satisfatória. No caso de imageamento endoscópico, a câmera ou câà- meras pode ser colocada em uma unidade manual ou unidade robótica do endoscópio, uma vez que os múltiplos sensores de pixel sensíveis a comprimento de onda exigem muito espaço físico e necessitam que uma matriz de pixel muito grande seja colocada na extremidade distal do endoscópio dentro da cavidade corporal. Isso gera as mesmas desvantagens mencionadas acima e pode fazer com que o endoscópio seja muito delicado, de modo que a qualidade da imagem seja signifi- cativamente degradada quando o endoscópio é colidido ou impactado durante o uso.
[0012] A presente revelação se refere, de modo geral, à detecção eletromagnética e sensores que podem ser aplicáveis ao imageamen- to endoscópico. A revelação também se refere a condições de entrada eletromagnética de baixa energia, bem como a condições de emissão eletromagnética de baixa energia. A revelação se refere mais particu- larmente, porém não totalmente necessariamente, a um sistema para produzir uma imagem em ambientes deficientes de luz e estruturas, métodos e recursos associados, o que pode incluir o controle de uma fonte de luz pela duração, intensidade ou ambas, a pulsação de uma fonte de luz controlada por componente durante o período de supres- são de um sensor de imagem, maximização do período de supressão para permitir luz ideal, e manutenção do equilíbrio de cor.
[0013] As características e vantagens da revelação serão apresen- tadas na descrição a seguir e, em parte, se tornarão evidentes a partir da descrição, ou poderão ser aprendidas pela prática da revelação sem a indevida experimentação. As características e vantagens da presente revelação podem ser realizadas e obtidas por meio dos ins- trumentos e combinações particularmente ressaltadas nas reivindica- ções anexas.
BREVE DESCRIÇÃO DOS DESENHOS
[0014] Implementações não limitadoras e não exaustivas da reve- lação são descritas com referência às figuras a seguir, sendo que nú- meros de referência similares se referem a partes similares ao longo das várias vistas, salvo especificação em contrário. As vantagens da revelação serão mais bem compreendidas com referência à seguinte descrição e desenhos anexos em que:
[0015] A Figura 1 é uma vista esquemática de uma modalidade de um sistema de um sensor pareado e um emissor eletromagnético em operação para uso na produção de uma imagem em um ambiente de- ficiente de luz, de acordo com uma modalidade;
[0016] A Figura 2 é uma vista esquemática de um hardware de sistema complementar;
[0017] As Figuras 2A a 2D são ilustrações dos ciclos operacionais de um sensor usado para construir um quadro de imagem, de acordo com modalidades da revelação;
[0018] A Figura 3 é uma representação gráfica da operação de uma modalidade de um emissor eletromagnético, de acordo com uma modalidade;
[0019] A Figura 4 é uma representação gráfica da variação da du- ração e magnitude do pulso eletromagnético emitido para fornecer controle da exposição, de acordo com uma modalidade;
[0020] A Figura 5 é uma representação gráfica de uma modalidade da revelação que combina os ciclos operacionais de um sensor, o emissor eletromagnético e os pulsos eletromagnéticos emitidos das Figuras 2A a 4, que demonstram o sistema de imageamento durante a operação, de acordo com uma modalidade;
[0021] A Figura 6 ilustra um esquema de dois processos distintos durante um período de tempo de t(0) a t(1) para gravar um quadro de vídeo para luz de espectro completo e luz de espectro particionado, de acordo com uma modalidade;
[0022] As Figuras 7A a 7E ilustram vistas esquemáticas dos pro- cessos durante um intervalo de tempo para gravar um quadro de vídeo tanto para luz de espectro completo quanto para luz de espectro parti- cionado de acordo com os princípios e ensinamentos da revelação;
[0023] As Figuras 8 a 12 ilustram o ajuste tanto do emissor eletro- magnético quanto do sensor, sendo que o dito ajuste pode ser realiza- do simultaneamente em algumas modalidades de acordo com os prin- cípios e ensinamentos da revelação;
[0024] As Figuras 13 a 21 ilustram métodos de correção do sensor e esquemas de hardware para uso com um sistema de luz particiona- da, de acordo com modalidades da revelação;
[0025] As Figuras 22 a 23 ilusttam um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada, de acordo com modalidades da revelação;
[0026] A Figura 24 ilustra o impacto sobre a razão sinal/ruído da correção de cor para um típico sensor do tipo Bayer em comparação com a ausência de correção de cor;
[0027] A Figura 25 ilustra a cromaticidade de 3 lasers monocromá- ticos em comparação com a gama sRGB;
[0028] As Figuras 26 a 27B ilustram um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada, de acordo com modalidades da revelação;
[0029] As Figuras 28A a 28C ilustram o uso de uma emissão de luz branca que é pulsada e/ou sincronizada com um sensor de cor cor- respondente, de acordo com modalidades da revelação;
[0030] As Figuras 29A e 29B ilustram uma implementação tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridi- mensional, de acordo com modalidades da revelação;
[0031] As Figuras 30A e 30B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento construído sobre uma pluralidade de substratos, sendo que uma pluralidade de colunas de pixel que formam a matriz de pixel está localizada no primeiro substrato e uma pluralidade de co- lunas de circuito está localizada em um segundo substrato e mostra uma conexão elétrica e comunicação entre uma coluna de pixels e sua coluna de circuito associada ou correspondente;
[0032] As Figuras 31A e 31B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional, sendo que a pluralidade de ma- trizes de pixel e o sensor de imagem são construídos sobre uma plura- lidade de substratos;
[0033] As Figuras 32 a 36 ilustram modalidades de emissores que compreendem diversas configurações de filtro mecânico e obturador, de acordo com modalidades da revelação;
[0034] A Figura 37 é um diagrama esquemático que ilustra um sis-
tema para fornecer iluminação a um ambiente deficiente de luz de acordo com uma modalidade;
[0035] A Figura 38 é um diagrama de blocos esquemático que ilus- tra uma fonte de luz que tem uma pluralidade de emissores, de acordo com uma modalidade;
[0036] A Figura 39 é um diagrama de blocos esquemático que ilus- tra uma fonte de luz que tem uma pluralidade de emissores, de acordo com outra modalidade;
[0037] A Figura 40 é um diagrama de blocos esquemático que ilus- tra uma fonte de luz que tem uma pluralidade de emissores, de acordo com ainda outra modalidade;
[0038] A Figura 41 é um diagrama esquemático que ilustra uma única fibra óptica emitindo por meio de um difusor em uma saída para iluminar uma cena, de acordo com uma modalidade;
[0039] A Figura 42 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de um filtro, de acordo com uma modalidade;
[0040] A Figura 43 ilustra uma porção do espectro eletromagnético dividida em uma pluralidade de diferentes subespectros que podem ser emitidos por emissores de uma fonte de luz, de acordo com uma modalidade;
[0041] A Figura 44 é um diagrama esquemático que ilustra um di- agrama de temporização para emissão e leitura a fim de gerar uma imagem multiespectral ou hiperespectral, de acordo com uma modali- dade;
[0042] A Figura 45 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de um filtro, de acordo com uma modalidade;
[0043] A Figura 46 é um diagrama de blocos que ilustra a geração de uma imagem filtrada com o uso de uma pluralidade de filtros, de acordo com uma modalidade;
[0044] A Figura 47 é um diagrama esquemático que ilustra uma matriz de grade para rastreamento de objeto e/ou superfície, de acor- do com uma modalidade;
[0045] A Figura 48 é um diagrama de fluxo esquemático que ilus- tra um método para emissão e leitura a fim de gerar uma imagem mul- tiespectral ou hiperespectral, de acordo com uma modalidade; e
[0046] A Figura 49 é um diagrama de fluxo esquemático que ilus- tra um método para emissão e leitura a fim de gerar uma imagem de fluorescência, de acordo com uma modalidade.
DESCRIÇÃO DETALHADA
[0047] A revelação se estende a métodos, sistemas e produtos baseados em computador para imageamento digital que podem ser principalmente adequados para aplicações médicas como imageamen- to médico endoscópico. Esses métodos, sistemas e produtos basea- dos em computador conforme revelados na presente invenção podem fornecer imageamento ou capacidades diagnósticas para uso em apli- cações médicas robóticas, como o uso de robótica para realizar pro- cedimentos de imageamento, procedimentos cirúrgicos e similares. Na descrição da revelação a seguir, é feita referência aos desenhos ane- xoOs, os quais fazem parte da mesma, e nos quais são mostradas, por meio de ilustração, implementações específicas nas quais a revelação pode ser coloca em prática. É compreendido que outras implementa- ções podem ser usadas e que alterações estruturais podem ser feitas sem que se afaste do escopo da revelação.
[0048] Os endoscópios têm uma grande variedade de usos e po- dem fornecer benefícios significativos no campo médico. A endoscopia é usada em medicina para visualizar o interior de um corpo e, em al- guns casos, pode fornecer imageamento que de outra maneira seria impossível ver ou exigiria procedimentos cirúrgicos invasivos. Os en-
doscópios podem ser usados para diagnósticos médicos, investigação, ou pesquisa, e também podem ser usados para realizar procedimentos médicos de uma maneira minimamente invasiva. Os endoscópios mé- dicos podem fornecer benefícios significativos a pacientes e profissio- nais da área médica ao eliminar a necessidade de cirurgias corretivas ou exploratórias dolorosas e invasivas.
[0049] Como revelado na presente invenção, um sistema endos- cópico para uso em um ambiente deficiente de luz, como uma cavida- de de um corpo, pode incluir um dispositivo de imageamento e um mecanismo de luz. O mecanismo de luz pode incluir uma fonte de ilu- minação para gerar pulsos de radiação eletromagnética e pode incluir adicionalmente um lúmen para transmitir pulsos de radiação eletro- magnética em uma ponta distal de um endoscópio. O lúmen pode transmitir os pulsos de radiação eletromagnética em comprimentos de onda ou bandas de comprimentos de onda em particular do espectro eletromagnético. O lúmen pode transmitir esses pulsos em uma se- quência temporizada e dados de imageamento podem ser capturados por um sensor durante cada um dos pulsos. Os dados de imageamen- to associados aos diferentes comprimentos de onda dos pulsos podem ser usados para gerar uma imagem vermelha, verde e azul (RGB) e/ou imagens de fluorescência. Em uma modalidade, o imageamento por fluorescência pode ser sobreposto sobre uma imagem em preto e branco ou RGB.
[0050] Como revelado na presente invenção, os sistemas, méto- dos e dispositivos para um sistema de imagem endoscópica podem fornecer dados de imagem especializados de um ambiente deficiente de luz. Os dados de imagem especializados podem ser usados para gerar imageamento por fluorescência e/ou identificar certos materiais, tecidos, componentes ou processos dentro de um ambiente deficiente de luz. Em certas modalidades, o imageamento por fluorescência pode ser fornecido a um profissional da área médica ou programa imple- mentado por computador para permitir a identificação de determinadas estruturas ou tecidos dentro de um corpo. Esses dados de imagea- mento por fluorescência podem ser sobrepostos em imagens em preto e branco ou RGB para fornecer informações e contexto adicionais.
[0051] Adicionalmente, esses sistemas, métodos e dispositivos para um sistema de imagem endoscópica podem ser usados em coordena- ção com determinados reagentes ou corantes. Em uma implementa- ção de imageamento médico, determinados reagentes ou corantes podem ser administrados a um paciente, e estes reagentes ou coran- tes podem apresentar fluorescência ou reagir com certos comprimen- tos de onda de radiação eletromagnética. O sistema de imagem en- doscópica como revelado na presente invenção pode transmitir radia- ção eletromagnética em comprimentos de onda especificados para apresentar fluorescência nos reagentes ou corantes. A fluorescência dos reagentes ou corantes pode ser capturada por um sensor de ima- gem para gerar imageamento para auxiliar na identificação de tecidos ou estruturas e/ou para auxiliar no diagnóstico ou pesquisa. Em uma implementação, a um paciente pode ser administrada uma pluralidade de reagentes ou corantes que são, cada um, configurados para apre- sentar fluorescência em diferentes comprimentos de onda e/ou forne- cer uma indicação de diferentes estruturas, tecidos, reações químicas, processos biológicos etc. Nessa implementação, o sistema endoscópi- co como revelado na presente invenção pode emitir cada um dos comprimentos de onda aplicáveis para apresentar fluorescência em cada um dos reagentes ou corantes aplicáveis. Isso pode eliminar a necessidade histórica de se realizar procedimentos de imageamento individuais para cada um dentre uma pluralidade de reagentes ou co- rantes.
[0052] Os endoscópios médicos podem fornecer um fluxo contínuo de imagem digital de um espaço interno de um corpo onde uma ex- tremidade distal do endoscópio é inserida. Em várias implementações, pode ser benéfico ou mesmo necessário que o fluxo de imagem digital forneça imageamento colorido total, de modo que um profissional da área médica possa fazer uma distinção melhor entre tecidos e estrutu- ras no corpo. Em implementações adicionais, pode ser benéfico forne- cer dados de imageamento hiperespectral para permitir a diferencia- ção entre estruturas, tecidos, processos e condições com maior preci- são. Adicionalmente, o imageamento hiperespectral pode permitir que um profissional da área médica ou um programa de computador rece- ba informações sobre uma condição em um corpo humano que não é visível ao olho humano ou discernível em uma imagem RGB colorida.
[0053] São revelados na presente invenção sistemas, métodos e dispositivos para gerar dados de imagem colorida e/ou dados de ima- gem de fluorescência por um endoscópio. Um sistema da revelação inclui um dispositivo de imageamento tendo um tubo, um ou mais sen- sores de imagem e um conjunto de lentes. O conjunto de lentes pode incluir ao menos um elemento óptico que corresponde a ao menos um entre o um ou mais sensores de imagem. O sistema inclui adicional- mente uma tela para visualizar uma cena e um controlador de proces- samento de sinal de imagem. O sistema pode incluir adicionalmente um mecanismo de luz. O mecanismo de luz inclui uma fonte de ilumi- nação configurada para gerar um ou mais pulsos de radiação eletro- magnética e um lúmen que transmite um ou mais pulsos de radiação eletromagnética em uma ponta distal de um endoscópio. Em uma mo- dalidade, ao menos uma porção do um ou mais pulsos de radiação eletromagnética inclui um comprimento de onda de excitação de radia- ção eletromagnética entre 770 nm e 790 nm que faz com que um ou mais reagentes apresentem fluorescência em um comprimento de on- da que é diferente do comprimento de onda de excitação da porção do um ou mais pulsos de radiação eletromagnética.
[0054] Em uma modalidade da revelação, um sistema endoscópi- co ilumina uma fonte e pulsa radiação eletromagnética em um deter- minado comprimento de onda para excitar um elétron em um reagente ou corante. Em uma modalidade, o reagente ou corante é configurado para apresentar fluorescência em resposta ao determinado compri- mento de onda de radiação eletromagnética que é emitido pelo siste- ma endoscópico. Um sensor de imagem no sistema endoscópico pode ler uma emissão de relaxamento de fluorescência do reagente ou co- rante que pode ser de menor energia do que a radiação eletromagné- tica pulsada para excitar o reagente ou corante. O reagente ou corante pode ser especializado para marcar um certo tecido, estrutura, proces- so biológico e/ou processo químico.
[0055] Reagentes de imageamento, incluindo reagentes fluores- centes, podem melhorar as capacidades de imageamento nos setores farmacêutico, médico, de biotecnologia, diagnósticos e de procedimen- tos médicos industries. Diversas técnicas de imageamento como raios X, tomografia computadorizada (TC), ultrassonografia, imageamento por ressonância magnética (IRM) e medicina nuclear, analisam princi- palmente a anatomia e a morfologia e são incapazes de detectar alte- rações ao nível molecular. Os reagentes fluorescentes, corantes e sondas, incluindo nanopartículas de ponto quântico e proteínas fluo- rescentes, podem auxiliar as tecnologias de imageamento médico ao fornecerem informações adicionais sobre determinados tecidos, estru- turas, processos químicos e/ou processos biológicos que estão pre- sentes dentro da região de imageamento. O imageamento usando re- agentes fluorescentes pode permitir o rastreamento celular e/ou o ras- treamento de certos biomarcadores moleculares. Os reagentes fluo- rescentes podem ser aplicados para o imageamento de câncer, infec- ção, inflamação, biologia de células-tronco e outros. Vários reagentes fluorescentes e corantes estão sendo desenvolvidos e aplicados para visualizar e rastrear processos biológicos de uma maneira não destru- tiva. Esses reagentes fluorescentes podem ser excitados por um de- terminado comprimento de onda ou banda de comprimentos de onda de radiação eletromagnética. De modo similar, estes reagentes fluo- rescentes podem emitir energia de relaxamento em um certo compri- mento de onda ou banda de comprimentos de onda quando fluoresce- rem e a energia de relaxamento emitida pode ser lida por um sensor para determinar a localização e/ou os limites do reagente ou corante.
[0056] Em uma modalidade da revelação, um sistema endoscópi- co pulsa radiação eletromagnética para excitar um elétron em um rea- gente ou corante fluorescente. O comprimento de onda ou banda de comprimentos de onda da radiação eletromagnética pode ser particu- larmente selecionado para apresentar fluorescência em um determi- nado reagente ou corante. Em uma modalidade, o sistema endoscópi- co pode pulsar múltiplos diferentes comprimentos de onda de radiação eletromagnética para apresentar fluorescência em múltiplos diferentes reagentes ou corantes durante uma única sessão de imageamento. Um sensor do sistema endoscópico pode determinar um local e/ou li- mite de um reagente ou corante com base nas emissões de relaxa- mento do reagente ou corante. O sistema endoscópico pode adicio- nalmente pulsar radiação eletromagnética nas bandas vermelha, verde e azul de luz visível. O sistema endoscópico pode determinar dados para uma imagem RGB e para uma imagem de fluorescência de acor- do com um cronograma de pulsação para os pulsos de radiação ele- tromagnética.
[0057] Em uma modalidade da revelação, um sistema endoscópi- co ilumina uma fonte e pulsa radiação eletromagnética para imagea- mento espectral ou hiperespectral. O imageamento espectral utiliza múltiplas bandas ao longo do espectro eletromagnético. Isso é diferen-
te das câmeras convencionais que apenas capturam luz ao longo dos três comprimentos de onda com base no espectro visível que são dis- cerníveis pelo olho humano, incluindo os comprimentos de onda ver- melho, verde e azul para gerar uma imagem RGB. O imageamento espectral pode utilizar quaisquer bandas de comprimento de onda no espectro eletromagnético, incluindo os comprimentos de onda infra- vermelho, o espectro visível, o espectro ultravioleta, comprimentos de onda de raios X ou qualquer combinação adequada de várias bandas de comprimento de onda. O imageamento espectral pode sobrepor o imageamento gerado com base em bandas não visíveis (por exemplo, infravermelho) sobre o imageamento com base em bandas visíveis (por exemplo, uma imagem RGB padrão) para fornecer informações adicionais que são facilmente discerníveis por uma pessoa ou algorit- mo de computador.
[0058] O imageamento hiperespectral é uma subcategoria de ima- geamento espectral. O imageamento hiperespectral inclui a espectros- copia e a fotografia digital. Em uma modalidade de imageamento hipe- respectral, um espectro completo ou alguma informação espectral é coletado em cada pixel em um plano de imagem. Uma câmera hipe- respectral pode utilizar hardware especial para capturar qualquer nú- mero adequado de bandas de comprimento de onda para cada pixel que pode ser interpretado como um espectro completo. O objetivo do imageamento hiperespectral pode variar para diferentes aplicações. Em uma aplicação, o objetivo do imageamento hiperespectral é obter todo o espectro eletromagnético de cada pixel em uma cena de ima- gem. Isso pode permitir encontrar determinados objetos que de outra maneira não podem ser identificáveis sob as bandas de comprimento de onda de luz visível. Isso pode permitir que determinados materiais ou tecidos sejam identificados com precisão quando esses materiais ou tecidos não puderem ser identificáveis sob as bandas de compri-
mento de onda de luz visível. Adicionalmente, isso pode permitir que determinados processos sejam detectados pela captura de uma ima- gem ao longo de todos os comprimentos de onda do espectro eletro- magnético.
[0059] O imageamento hiperespectral pode fornecer vantagens particulares em relação ao imageamento convencional em aplicações médicas. As informações obtidas pelo imageamento hiperespectral podem permitir que profissionais da área médica e/ou programas im- plementado por computador identifiquem precisamente determinados tecidos ou condições que podem levar a diagnósticos que podem não ser possíveis ou que podem ser menos precisos se for usado image- amento convencional, por exemplo, imageamento RGB. Adicionalmen- te, o imageamento hiperespectral pode ser usado durante procedimen- tos médicos para permitir cirurgia guiada por imagem, o que pode permitir que um profissional da área médica, por exemplo, visualize tecidos localizados atrás de determinados tecidos ou fluidos, identificar células cancerosas atípicas em contraste com células típicas saudá- veis, identificar determinados tecidos ou condições, identificar estrutu- ras de importância crítica etc. O imageamento hiperespectral pode for- necer informações diagnósticas especializadas sobre a fisiologia, mor- fologia e composição do tecido, as quais não podem ser geradas com imageamento convencional.
[0060] O imageamento endoscópico hiperespectral pode apresen- tar vantagens em relação ao imageamento convencional em várias aplicações e implementações da revelação. Em implementações mé- dicas, o imageamento endoscópico hiperespectral pode permitir que um profissional da área médica ou programa implementado por com- putador diferencie, por exemplo, tecido nervoso, tecido muscular, di- versos vasos, a direção do fluxo sanguíneo etc. O imageamento hipe- respectral pode permitir que tecido canceroso atípico seja precisamen-
te diferenciado de tecido saudável típico e pode, portanto, permitir que um profissional da área médica ou programa implementado por com- putador identifique o limite de um tumor canceroso durante uma ope- ração ou imageamento investigativo. Adicionalmente, o imageamento hiperespectral em um ambiente deficiente de luz como revelado na presente invenção pode ser combinado com o uso de um reagente ou corante para permitir a diferenciação adicional entre determinados te- cidos ou substâncias. Nessa modalidade, um reagente ou corante po- de sofrer fluorescência por uma banda de comprimento de onda espe- cífica no espectro eletromagnético e, portanto, fornecer informações específicas para o propósito daquele reagente ou corante. Os siste- mas, métodos e dispositivos como revelados na presente invenção podem permitir que qualquer número de bandas de comprimento de onda seja pulsado, de modo que um ou mais reagentes ou corantes possam sofrer fluorescência em diferentes momentos. Em determina- das implementações, isso pode permitir a identificação ou investigação de diversas condições clínicas durante um único procedimento de imageamento.
[0061] Um endoscópio médico pode pulsar radiação eletromagné- tica em bandas de comprimento de onda fora do espectro de luz visí- vel para permitir a geração de imagens hiperespectrais. O imageamen- to endoscópico hiperespectral é um meio sem contato e não invasivo de imageamento médico que não exige que um paciente seja exposto a radiação nociva comum em outros métodos de imageamento.
[0062] Os endoscópios convencionais, usados em, por exemplo, procedimentos endoscópicos robóticos como artroscopia e laparosco- pia, são projetados de modo que os sensores de imagem sejam tipi- camente colocados dentro de uma unidade de empunhadura que é segura por um operador de endoscópio e não é inserida em uma cavi- dade. Nessa configuração, uma unidade de endoscópio transmite luz incidente ao longo do comprimento de um tubo de endoscópio em di- reção ao sensor por meio de um conjunto complexo de componentes ópticos precisamente acoplados, com mínima perda e distorção. O custo da unidade de endoscópio é principalmente devido aos elemen- tos ópticos, uma vez que os componentes ópticos são caros e o pro- cesso de fabricação dos componentes ópticos é trabalhoso. Adicio- nalmente, esse tipo de endoscópio é mecanicamente delicado e im- pactos relativamente pequenos podem facilmente danificar os compo- nentes ou desordenar os alinhamentos relativos desses componentes. Desalinhamentos ainda menores dos componentes do endoscópio (por exemplo, os componentes ópticos precisamente acoplados) po- dem levar a uma degradação significativa da qualidade da imagem ou inutilizar o endoscópio. Quando os componentes são desalinhados, a luz incidente que se desloca ao longo do comprimento do endoscópio pode diminuir, de modo que haja pouca ou nenhuma luz na extremida- de distal do endoscópio e o endoscópio fica inutilizado. Uma vez que os endoscópios convencionais exigem esses componentes ópticos precisos e complexos e uma vez que esses componentes podem ficar facilmente desalinhados, esses endoscópios convencionais exigem ciclos de reparo frequentes e caros para manter a qualidade da ima- gem.
[0063] Uma solução para esse problema é colocar o sensor de imagem dentro do próprio endoscópio na extremidade distal. Essa so- lução pode eliminar a necessidade de uma coleta complexa e precisa de componentes ópticos acoplados que podem ser facilmente desali- nhados e/ou danificados. Essa solução potencialmente se aproxima da simplicidade, robustez e economia óptica que é universalmente reali- zada, por exemplo, dentro de câmeras em telefones celulares. Entre- tanto, deve ser reconhecido que uma grande parte dos benefícios ofe- recidos por um endoscópio surge do tamanho compacto da extremida-
de distal do endoscópio. Se a extremidade distal do endoscópio for aumentada para acomodar os múltiplos sensores de pixel distintos sensíveis ao comprimento de onda convencionalmente usados para o imageamento colorido ou imageamento hiperespectral, a matriz de pixel pode ser muito grande e o endoscópio pode não mais caber nos pequenos espaços ou pode causar obstrução ou ser invasivo quando usado em uma implementação médica. Uma vez que a extremidade distal do endoscópio deve continuar muito pequena, é desafiador colo- car um ou mais sensores de imagem na extremidade distal. Uma solu- ção aceitável para essa abordagem não é de maneira alguma trivial e apresenta sua própria gama de desafios de engenharia, não sendo de menor importância o fato de que os sensores de cor e/ou o imagea- mento hiperespectral devem caber dentro de uma área que é altamen- te confinada. Isto é particularmente desafiador quando uma matriz de pixel em câmeras convencionais inclui sensores de pixel separados para cada uma das bandas de luz visível vermelha, verde e azul, com sensores de pixel adicionais para outras bandas de comprimento de onda usadas para o imageamento hiperespectral. A área da ponta dis- tal do endoscópio pode ser particularmente confinada lado a lado nas dimensões X e Y, enquanto há mais espaço ao longo do comprimento do tubo de endoscópio na dimensão Z.
[0064] Uma vez que muitos dos benefícios de um endoscópio são derivados do pequeno tamanho da extremidade distal do endoscópio, restrições agressivas devem ser impostas à área do sensor de ima- gem quando os sensores de imagem estão localizados na extremidade distal. Essas restrições agressivas impostas à área do sensor natural- mente resultam em menos pixels e/ou pixels menores dentro de uma matriz de pixel. A redução da contagem de pixels pode afetar direta- mente a resolução espacial, enquanto a redução da área de pixel pode reduzir a capacidade de sinal disponível e, dessa forma, a sensibilida-
de do pixel, bem como otimizar o número de pixels de modo que a qualidade da imagem aumente, a mínima resolução de pixel e o núme- ro nativo de pixels usando a máxima qualidade e passo de pixel, de modo que a resolução não seja um problema, bem como a redução da razão sinal/ruído (SNR - "signal to noise ratio") de cada pixel. A redu- ção da capacidade de sinal reduz a faixa dinâmica, ou seja, a capaci- dade do dispositivo ou câmera de imageamento de simultaneamente capturar todas as informações úteis de cenas com grandes faixas de luminosidade. Há vários métodos para se estender a faixa dinâmica de sistemas de imageamento além daquela do próprio pixel. Entretanto, todos eles podem ter algum tipo de penalidade (por exemplo, na reso- lução ou taxa de quadro) e podem introduzir artefatos indesejáveis que se tornam problemáticos em casos extremos. A consequência de se reduzir a sensibilidade é que maior energia de luz é exigida para trazer as regiões mais escuras da cena para níveis de sinal aceitáveis. A re- dução do número F (aumento da abertura) pode compensar uma per- da de sensibilidade, porém às custas de distorção espacial e profundi- dade reduzida do foco.
[0065] No setor de sensores, sensores de imagem de semicondu- tor metal-óxido complementar ("CMOS" - "complementary metal-oxide- semiconductor") possuem sensores de imagem de dispositivo acopla- do a carga ("CCD" - charge-coupled device) convencionais amplamen- te deslocados em aplicações de câmeras modernas. Os sensores de imagem CMOS têm maior facilidade de integração e operação, quali- dade de imagem superior ou comparável, maior versatilidade e menor custo se comparados com sensores de imagem CCD. Tipicamente, os sensores de imagem CMOS podem incluir o circuito necessário para converter informação de imagem em dados digitais e possuem vários níveis de processamento digital incorporados posteriormente. Isso po- de variar desde algoritmos básicos com a finalidade de corrigir não idealidades, o que pode, por exemplo, surgir de variações no compor- tamento do amplificador, até cadeias completas de processamento de sinal de imagem (ISP - "image signal processing"), fornecendo dados de vídeo no espaço de cor padrão vermelho-verde-azul ("RGB" - "red- green-blue"), por exemplo, (câmeras-em-circuito integrado).
[0066] A unidade de controle de um endoscópio ou sensor de ima- gem pode estar localizada remotamente a partir do sensor de imagem e pode ser uma distância física significativa em relação ao sensor de imagem. Quando a unidade de controle está distante do sensor, pode ser desejável transmitir os dados no domínio digital, uma vez que este é amplamente imune ao ruído de interferência e à degradação de sinal quando comparada com a transmissão de um fluxo de dados analógi- cos. Será reconhecido que diversos padrões de sinalização digital elé- trica podem ser usados, por exemplo, LVDS (sinalização diferencial de baixa tensão), sub-LVDS, SLVS (sinalização de baixa tensão escalá- vel) ou outros padrões de sinalização digital elétrica.
[0067] Pode haver um forte desejo de minimizar o número de con- dutores elétricos para reduzir o número de blocos que consumem es- paço no sensor, bem como de reduzir a complexidade e o custo da produção do sensor. Embora a adição de conversão de analógico para digital ao sensor possa ser vantajosa, a área adicional ocupada pelos circuitos de conversão é compensada devido à significativa redução na potência de armazenamento temporário analógico necessária devido à conversão precoce para um sinal digital.
[0068] Em termos de consumo de área, dado o típico tamanho de recurso disponível em tecnologias de sensor de imagem CMOS (CIS), pode ser preferível em algumas implementações ter todos os sinais lógicos internos gerados no mesmo circuito integrado que a matriz de pixel por meio de um conjunto de registradores de controle e uma in- terface de comando simples.
[0069] Algumas implementações da revelação podem incluir as- pectos de um sensor combinado e projeto de sistema que permita um imageamento de alta definição com reduzidas contagens de pixels em um ambiente de iluminação altamente controlado. Isso pode ser reali- zado em virtude de pulsação quadro a quadro de um comprimento de onda de cor única e comutando-se ou alternando-se cada quadro entre um comprimento de onda de cor única e diferente com o uso de uma fonte de luz controlada combinada com altas taxas de captura de qua- dro e um sensor monocromático correspondente especialmente proje- tado. Adicionalmente, a radiação eletromagnética fora do espectro de luz visível pode ser pulsada para permitir a geração de uma imagem hiperespectral. Os pixels podem ser agnósticos em termos de cor, de modo que cada pixel possa gerar dados para cada pulso de radiação eletromagnética, incluindo pulsos para comprimentos de onda verme- lho, verde e azul de luz visível com outros comprimentos de onda que podem ser usados para o imageamento hiperespectral.
[0070] Como usado na presente invenção, sensor monocromático se refere a um sensor de imageamento não filtrado. Uma vez que os pixels são agnósticos em termos de cor, a resolução espacial eficaz é apreciavelmente maior do que suas contrapartes coloridas (tipicamen- te filtrado em padrão Bayer) em câmeras convencionais de sensor úni- co. Eles também podem ter maior eficiência quântica uma vez que muito menos fótons incidentes são desperdiçados entre os pixels indi- viduais. Além disso, a modulação de cor espacial baseada em Bayer exige que a função de transferência de modulação (MTF - "modulation transfer function") dos elementos ópticos que acompanham seja redu- zida em comparação com a modulação monocromática, para desfocar os artefatos coloridos associados ao padrão Bayer. Isso tem um im- pacto prejudicial sobre a real resolução espacial que pode ser realiza- da com os sensores de cor.
[0071] A revelação se refere também a uma solução de sistema para aplicações endoscópicas nas quais o sensor de imagem reside na extremidade distal do endoscópio. Ao buscar um sistema baseado em sensor com mínima área, há outros aspectos de projeto que po- dem ser desenvolvidos além da redução na contagem de pixels. À área da porção digital do circuito integrado pode ser minimizada. Além disso, o número de conexões com o circuito integrado (blocos) pode também ser minimizado. A revelação descreve novos métodos que atingem esses objetivos para a realização desse sistema. Isso envolve o projeto de um sensor de imagem CMOS totalmente customizado com vários novos recursos.
[0072] Com a finalidade de promover um entendimento dos princí- pios de acordo com a revelação, será feita referência agora às modali- dades ilustradas nos desenhos e uma linguagem específica será usa- da para descrevê-las. No entanto, ficará entendido que nenhuma limi- tação do escopo da revelação é aqui concebida. Quaisquer alterações e modificações adicionais dos recursos da invenção ilustrados na pre- sente invenção, bem como quaisquer aplicações adicionais dos princí- pios da revelação conforme ilustrados na presente invenção, que nor- malmente ocorreriam aos versados na técnica e estando de posse da presente revelação, devem ser consideradas no escopo da revelação reivindicada.
[0073] Antes da estrutura, sistemas e métodos para produzir uma imagem em um ambiente deficiente de luz serem revelados e descri- tos, deve-se compreender que a presente revelação não está limitada a estruturas, configurações, etapas de processo e materiais em parti- cular revelados na presente invenção, uma vez que essas estruturas, configurações, etapas de processo e materiais podem variar de algu- ma maneira. Entende-se também que a terminologia aqui empregada é usada para o propósito de apenas descrever modalidades particula-
res e não pretende ser limitadora, uma vez que o escopo da revelação será limitado apenas pelas reivindicações anexas e equivalentes das mesmas.
[0074] Ao descrever e reivindicar a matéria da revelação, a seguin- te terminologia será usada de acordo com as definições descritas abaixo.
[0075] Deve-se notar que conforme usado neste relatório descriti- vo e nas reivindicações anexas, as formas singulares "um", "uma", "o(s)" e "a(s)" incluem as respectivas formas no plural, a menos que o contexto determine claramente do outro modo.
[0076] Como usados na presente invenção, os termos "compreen- dendo," "incluindo," "contendo," "caracterizado(a) por," e equivalentes gramaticais destes são termos inclusivos ou abertos que não excluem elementos ou etapas de método adicionais não mencionados.
[0077] Como usada na presente invenção, a frase "que consiste em" e equivalentes gramaticais desta excluem qualquer elemento ou etapa não especificado na reivindicação.
[0078] Como usado na presente invenção, a expressão "que con- siste essencialmente em" e os equivalentes gramaticais da mesma |i- mitam o escopo de uma reivindicação para os materiais ou etapas es- pecíficas e os que não afetam materialmente as características bási- Cas e novas ou as características da revelação reivindicada.
[0079] Como usado na presente invenção, o termo "proximal" deve se referir amplamente ao conceito de uma porção com a máxima pro- ximidade de uma origem.
[0080] Como usado na presente invenção, o termo "distal" deve se referir de modo geral ao oposto de proximal, e assim o conceito de uma porção mais distante de uma origem ou uma porção com a máxi- ma distância, dependendo do contexto.
[0081] Como usados na presente invenção, os sensores de cor ou os sensores de múltiplos espectros são aqueles sensores conhecidos por terem uma matriz de filtro de cor (CFA - "color filter array") para filtrar a radiação eletromagnética de entrada em seus componentes separados. Na faixa visual do espectro eletromagnético, essa CFA po- de ser construída em um padrão ou modificação de Bayer para sepa- rar os componentes de espectro verde, vermelho e azul da luz.
[0082] Agora com referência às Figuras 1 a 5, os sistemas e mé- todos para produzir uma imagem em um ambiente deficiente de luz serão agora descritos. A Figura 1 ilustra uma vista esquemática de um sensor pareado e um emissor eletromagnético em operação para uso na produção de uma imagem em um ambiente deficiente de luz. Essa configuração permite uma maior funcionalidade em um ambiente de luz controlada ou em um ambiente deficiente de luz.
[0083] Deve ser observado que, como usado na presente inven- ção, o termo "luz" é tanto uma partícula quanto um comprimento de onda e tem como objetivo denotar radiação eletromagnética que é de- tectável por uma matriz de pixel e pode incluir comprimentos de onda a partir dos espectros visível e não visível de radiação eletromagnéti- ca. O termo "partição" é usado na presente invenção para significar uma faixa predeterminada de comprimentos de onda do espectro ele- tromagnético que é menor que todo o espectro, ou em outras palavras, comprimentos de onda que foram alguma porção do espectro eletro- magnético. Como usado na presente invenção, um emissor é uma fon- te de luz que pode ser controlável em relação à porção do espectro eletromagnético que é emitido ou que pode operar de acordo com a física de seus componentes, a intensidade das emissões ou a duração da emissão, ou todas as acima. Um emissor pode emitir luz em qual- quer emissão incerta, difusa ou colimada e pode ser controlado digi- talmente ou por métodos ou sistemas analógicos. Como usado na pre- sente invenção, um emissor eletromagnético é uma fonte de uma ex-
plosão de energia eletromagnética e inclui fontes de luz, como lasers, LEDs, luz incandescente ou qualquer fonte de luz que possa ser digi- talmente controlada.
[0084] Uma matriz de pixel de um sensor de imagem pode ser pa- reada eletronicamente com um emissor, de modo que sejam sincroni- zados durante a operação tanto para receber as emissões quanto para os ajustes feitos dentro do sistema. Como pode ser visto na Figura 1, um emissor 100 pode ser ajustado para emitir radiação eletromagnéti- ca na forma de um laser que pode ser pulsado para iluminar um objeto
110. O emissor 100 pode pulsar em um intervalo que corresponde à operação e à funcionalidade de uma matriz de pixel 122. O emissor 100 pode pulsar luz em uma pluralidade de partições eletromagnéticas 105, de modo que a matriz de pixel receba energia eletromagnética e produza um conjunto de dados que corresponde (em tempo) a cada partição eletromagnética específica 105. Por exemplo, a Figura 1 ilus- tra um sistema tendo um sensor monocromático 120 tendo uma matriz de pixel (preto e branco) 122 e circuitos de suporte em que a matriz de pixel 122 é sensível à radiação eletromagnética de qualquer compri- mento de onda. O emissor de luz 100 ilustrado na figura pode ser um emissor de laser capaz de emitir uma partição eletromagnética verme- lha 105a, uma partição eletromagnética azul 105b e uma partição ele- tromagnética verde 105c em qualquer sequência desejada. Em uma modalidade em que uma imagem hiperespectral pode ser gerada, o emissor de luz 100 pode pulsar radiação eletromagnética em qualquer comprimento de onda no espectro eletromagnético, de tal modo que uma imagem hiperespectral possa ser gerada. Será reconhecido que outros emissores de luz 100 podem ser usados na Figura | sem que se afaste do escopo da revelação, por exemplo, emissores de base digital ou analógica.
[0085] Durante a operação, uma cor ou partição de comprimento de onda específica pode ser atribuída aos dados criados pelo sensor monocromático 120 para qualquer pulso individual, sendo que a atri- buição é baseada no tempo da cor pulsada ou da partição de compri- mento de onda proveniente do emissor 100. Embora os pixels 122 não sejam dedicados por cor, eles podem receber a atribuição de uma cor para qualquer dado conjunto de dados com base em uma informação deduzida sobre o emissor.
[0086] Em uma modalidade exemplificadora da revelação, o emis- sor 100 pulsa radiação eletromagnética em comprimentos de onda es- pecializados. Esses pulsos podem ser capazes de gerar uma imagem de fluorescência especializada que é particularmente adequada para determinadas aplicações médicas ou diagnósticas. Na modalidade exemplificadora, ao menos uma porção da radiação eletromagnética emitida pelo emissor 100 inclui um comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm e entre 795 nm e 815 nm que faz com que um ou mais reagentes apresentem fluores- cência em um comprimento de onda que é diferente do comprimento de onda de excitação da porção da radiação eletromagnética.
[0087] Em uma modalidade, três conjuntos de dados que repre- sentam pulsos eletromagnéticos VERMELHOS, VERDES e AZUIS po- dem ser combinados para formar um quadro de imagem única. Um ou mais conjuntos de dados adicionais que representam outras partições de comprimento de onda podem ser sobrepostos no quadro de ima- gem única que é baseado nos pulsos VERMELHOS, VERDES e AZUIS. O um ou mais conjuntos de dados adicionais pode representar, por exemplo, imageamento por fluorescência responsivo ao compri- mento de onda de excitação entre 770 nm e 790 nm e entre 795 nm e 815 nm. O um ou mais conjuntos de dados adicionais pode represen- tar o imageamento por fluorescência e/ou hiperespectral que pode ser sobreposto no quadro de imagem única que é baseado nos pulsos
VERMELHOS, VERDES e AZUIS.
[0088] Será reconhecido que a revelação não está limitada a qual- quer combinação de cor em particular ou qualquer partição eletromag- nética em particular e que qualquer combinação de cor ou qualquer partição eletromagnética pode ser usada no lugar de VERMELHO, VERDE e AZUL, como Ciano, Magenta e amarelo; Ultravioleta; infra- vermelho; qualquer combinação do que foi acima mencionado ou qualquer outra combinação de cor, incluindo todos os comprimentos de onda visível e não visível, sem que se afaste do escopo da revela- ção. Na figura, o objeto 110 a ser imageado contém uma porção ver- melha 110a, uma porção verde 110b e uma porção azul 110c. Como ilustrado na figura, a luz refletida dos pulsos eletromagnéticos contém somente os dados para a porção do objeto tendo a cor específica que corresponde à partição de cor pulsada. Esses conjuntos de dados de cor separada (ou intervalo de cor) podem ser então usados para re- construir a imagem pela combinação dos conjuntos de dados em 130.
[0089] Em uma modalidade, uma pluralidade de conjuntos de da- dos que representam pulsos eletromagnéticos VERMELHOS, VER- DES e AZUIS com partições adicionais de comprimento de onda ao longo do espectro eletromagnético pode ser combinada para formar um quadro de imagem única tendo uma imagem RGB com dados de imagem hiperespectral sobrepostos na imagem RGB. Dependendo da aplicação ou instância, diferentes combinações de conjuntos de dados de comprimento de onda podem ser desejáveis. Por exemplo, em al- gumas implementações, um conjunto de dados que representa parti- ções de comprimento de onda específicas pode ser usado para gerar uma imagem hiperespectral especializada para diagnosticar uma con- dição clínica em particular, investigar determinados tecidos corporais etc.
[0090] Como ilustrado na Figura 2, as implementações da presen-
te revelação podem compreender ou utilizar um computador de propó- sito especial ou geral, incluindo hardware de computador, como, por exemplo, um ou mais processadores e memória de sistema, conforme discutido com mais detalhes abaixo. As implementações no escopo da presente revelação também podem incluir mídia legível física e outras mídias legíveis por computador para carregar ou armazenar instruções executáveis por computador e/ou estruturas de dados. Essa mídia le- gível por computador pode ser qualquer mídia disponível que possa ser acessada por um sistema de computador de propósito geral ou propósito especial. A mídia legível por computador que armazena ins- truções executáveis por computador são mídias (dispositivos) de ar- mazenamento em computador. A mídia legível por computador que carrega instruções executáveis por computador são mídias de trans- missão. Assim, a título de exemplo, e não de limitação, as implemen- tações da revelação podem compreender ao menos dois tipos distin- tamente diferentes de mídia legível por computador: mídias (dispositi- vos) de armazenamento em computador e mídias de transmissão.
[0091] As mídias (dispositivos) de armazenamento em computador incluem RAM, ROM, EEPROM, CD-ROM, drives de estado sólido ("SSDs" - "solid state drives") (por exemplo, baseados em RAM), me- mória Flash, memória de troca de fase ("PCM" - "phase-change me- mory"), outros tipos de memória, outro armazenamento em disco ópti- co, armazenamento em disco magnético ou outros dispositivos de ar- mazenamento magnético, ou qualquer outra mídia que possa ser usa- da para armazenar meios de código de programa desejados na forma de instruções executáveis por computador ou estruturas de dados e que podem ser acessados por um computador de propósito geral ou de propósito especial.
[0092] Uma "rede" é definida como um ou mais links de dados que permitem o transporte de dados eletrônicos entre sistemas e/ou módu-
los de computador e/ou outros dispositivos eletrônicos. Em uma im- plementação, um sensor e uma unidade de controle de câmera podem ser ligados em rede para se comunicarem entre si e com outros com- ponentes conectados na rede aos quais estão conectados. Quando a informação é transferida ou fornecida por uma rede ou outra conexão de comunicações (tanto por fio, sem fio ou por uma combinação com fio e sem fio) a um computador, o computador visualiza adequadamen- te a conexão como um meio de transmissão. Os meios de transmissão podem incluir uma rede e/ou links de dados que podem ser usados para conter meios desejados de código de programa na forma de ins- truções executáveis por computador ou estruturas de dados e que po- dem ser acessados por um computador de propósito geral ou de pro- pósito especial. Combinações dos acima citados também precisam ser incluídas no escopo de mídias legíveis por computador.
[0093] Adicionalmente, ao atingir vários componentes de sistema de computador, os meios de código de programa na forma de instru- ções executáveis por computador ou estruturas de dados podem ser transferidos automaticamente de mídias de transmissão para mídias (dispositivos) de armazenamento em computador (ou vice-versa). Por exemplo, instruções executáveis por computador ou estruturas de da- dos recebidos por uma rede ou link de dados podem ser armazenadas temporariamente em RAM dentro de um módulo de interface de rede (por exemplo, um "NIC") e, então, por fim, transferidas para a RAM do sistema de computador e/ou para mídias (dispositivos) menos voláteis de armazenamento em computador em um sistema de computador. A RAM pode também incluir drives de estado sólido (SSDs ou armaze- namento em diferentes níveis em memória em tempo real baseada em PClx, como FusionlO). Assim, deve ficar entendido que as mídias (dispositivos) de armazenamento em computador podem ser incluídas em componentes de sistema de computador que também (ou até prin-
cipalmente) utilizam mídias de transmissão.
[0094] As instruções executáveis por computador compreendem, por exemplo, instruções e dados que, quando executados em um pro- cessador, fazem com que um computador de propósito geral, um computador de propósito especial ou dispositivo de processamento de propósito especial realize uma determinada função ou grupo de funções. As instruções executáveis por computador podem ser, por exemplo, instruções binarias de formato intermediário, por exemplo, a linguagem de montagem, ou mesmo o código-fonte. Embora essa matéria tenha sido descrita em uma linguagem específica para recursos estruturais e/ou ações metodológicas, deve-se compreender que a matéria defini- da nas reivindicações anexas não está necessariamente limitada aos recursos descritos ou às ações descritas acima. Em vez disso, os re- cursos e ações descritos são revelados como formas de exemplo de implementação das reivindicações.
[0095] Os versados na técnica apreciarão que a revelação pode ser colocada em prática em ambientes de computação em rede com vários tipos de configurações de sistema de computador, incluindo computadores pessoais, computadores tipo desktop, computadores tipo laptop, processadores de mensagens, unidades de controle, uni- dade de controle de câmeras, dispositivos de mão, peças de mão, sis- temas de múltiplos processadores, dispositivos eletrônicos do consu- midor baseados em microprocessador ou programáveis, PCs em rede, minicomputadores, computadores do tipo mainframe, telefones mó- veis, PDAs, tablets, pagers, roteadores, switches, dispositivos de ar- mazenamento diversos, e similares. Deve ser observado que quais- quer dos dispositivos de computação mencionados acima pode ser fornecido por ou estar localizado dentro de um tijolo e pilão. A revela- ção pode também ser colocada em prática em ambientes de sistema distribuído onde sistemas de computador locais e remotos que estão ligados (tanto por links de dados com fio, links de dados sem fio ou por uma combinação de links de dados com e sem fio) através de uma re- de, e ambos realizam tarefas. Em um ambiente de sistema distribuído, os módulos de programa podem estar situados em dispositivos de ar- mazenamento de memória tanto locais quanto remotos.
[0096] Adicionalmente, quando apropriado, as funções descritas na presente invenção podem ser realizadas em um ou mais entre: hardware, software, firmware, componentes digitais ou componentes analógicos. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou matrizes de portas programáveis em campo (FPGAs) podem ser pro- gramados para realizar um ou mais dos sistemas e procedimentos descritos na presente invenção. Determinados termos são usados ao longo de toda a descrição e reivindicações a seguir para se referir a componentes de sistema em particular. Como os versados na técnica entenderão, os componentes podem ser identificados por diferentes nomes. O presente documento não tem como objetivo fazer distinção entre componentes que diferem em nome, porém não em função.
[0097] A Figura 2 é um diagrama de blocos que ilustra um exem- plo de dispositivo de computação 150. O dispositivo de computação 150 pode ser usado para realizar diversos procedimentos, como aque- les discutidos na presente invenção. O dispositivo de computação 150 pode funcionar como um servidor, um cliente ou qualquer outra enti- dade de computação. O dispositivo de computação 150 pode desem- penhar várias funções de monitoramento conforme discutido na pre- sente invenção, e pode executar um ou mais programa de aplicativo, como o programa de aplicativo descrito na presente invenção. O dis- positivo de computação 150 pode ser qualquer um de uma ampla vari- edade de dispositivos de computação, como um computador do tipo desktop, um computador do tipo notebook, um computador servidor,
um computador portátil, uma unidade de controle de câmera, compu- tador do tipo tablet e similares.
[0098] O dispositivo de computação 150 inclui um ou mais proces- sador(es) 152, um ou mais dispositivo(s) de memória 154, uma ou mais interface(s) 156, um ou mais dispositivo(s) de armazenamento em massa 158, um ou mais dispositivo(s) de entrada/saída (1/0) 160, e um dispositivo de exibição 180, sendo todos acoplados a um barra- mento 162. O(s) processador(es) 152 incluilem) um ou mais proces- sadores ou controladores que executam instruções armazenadas em dispositivo(s) de memória 154 e/ou em dispositivo(s) de armazena- mento em massa 158. O(s) processador(es) 152 pode(m) também in- cluir vários tipos de mídia legível por computador, como memória em cache.
[0099] O(s) dispositivo(s) de memória 154 incluilem) diversas mí- dias legíveis por computador, como memória volátil (por exemplo, memória de acesso aleatório (RAM) 164) e/ou memória não volátil (por exemplo, memória somente de leitura (ROM) 166). O(s) dispositivo(s) de memória 154 pode(m) também incluir ROM regravável, como me- mória Flash.
[0100] O(s) dispositivo(s) de armazenamento em massa 158 in- clui(em) diversas mídias legíveis por computador, como fitas magnéti- cas, discos magnéticos, discos ópticos, memória de estado sólido (por exemplo, memória) etc. Como mostrado na Figura 2, um dispositivo de armazenamento em massa em particular é um drive de disco rígido
174. Vários drives também podem ser incluídos no(s) dispositivo(s) de armazenamento em massa 158 para permitir a leitura a partir de e/ou a gravação nas diversas mídias legíveis por computador. O(s) disposi- tivo(s) de armazenamento em massa 158 incluilem) mídias removíveis 176 e/ou mídias não removíveis.
[0101] O(s) dispositivo(s) de 1/O 160 inclui(em) vários dispositivos que permitem que dados e/ou outras informações sejam inseridos em ou recuperados do dispositivo de computação 150. Exemplos de dis- positivos de 1/O 160 incluem dispositivos de imageamento digital, sen- sores e emissores eletromagnéticos, dispositivos de controle de cur- sor, teclados, teclados tipo keypad, microfones, monitores ou outros dispositivos de exibição, autofalantes, impressoras, cartões de interfa- ce de rede, modems, lentes, CCDs ou outros dispositivos de captura de imagem, e similares.
[0102] O dispositivo de exibição 180 inclui qualquer tipo de dispo- sitivo capaz de exibir informações para um ou mais usuários do dispo- sitivo de computação 150. Exemplos de dispositivo de exibição 180 incluem um monitor, terminal de tela, dispositivo de projeção de vídeo, e similares.
[0103] A(s) interface(s) 106 incluilem) diversas interfaces que permitem que um dispositivo de computação 150 interaja com outros sistemas, dispositivos ou ambientes de computação. Exemplo(s) de interface 156 podem incluir qualquer número de diferentes interfaces de rede 170, como interfaces para rede local (LANs), redes de área ampla (WANs), redes sem fio e a Internet. Outra(s) interface(s) in- clui(em) interface de usuário 168 e interface de dispositivo periférico
172. A(s) interface(s) 156 pode(m) também incluir um ou mais elemen- tos de interface de usuário 168. A(s) interface(s) 156 pode(m) também incluir uma ou mais interfaces periféricas, como interfaces para im- pressoras, dispositivos de apontamento (mouses, track pad etc.), te- clados e similares.
[0104] O barramento 162 permite que processador(es) 152, dispo- sitivo(s) de memória 154, interface(s) 156, dispositivo(s) de armaze- namento em massa 158, e dispositivo(s) de I/O 160 se comuniquem entre si, bem como com outros dispositivos ou componentes acopla- dos ao barramento 162. O barramento 162 representa um ou mais de vários tipos de estruturas de barramento, como um barramento de sis- tema, barramento PCI, barramento IEEE 1394, barramento USB etc.
[0105] Para fins de ilustração, programas e outros componentes de programa executáveis são mostrados na presente invenção como blocos discretos, embora seja compreendido que esses programas e componentes podem permanecer em diversos momentos em diferen- tes componentes de armazenamento do dispositivo de computação 150, e são executados pelo(s) processador(es) 152. Alternativamente, os sistemas e procedimentos descritos na presente invenção podem ser implementados em hardware, ou em uma combinação de hardwa- re, software e/ou firmware. Por exemplo, um ou mais circuitos integra- dos específicos para aplicação (ASICs - "application specific integrated circuits") ou matrizes de portas programáveis em campo (FPGAs) po- dem ser programados para realizar um ou mais dos sistemas e proce- dimentos descritos na presente invenção.
[0106] A Figura 2A ilustra os ciclos operacionais de um sensor usado no modo de leitura por rolagem ou durante a leitura do sensor
200. A leitura do quadro pode começar em e pode ser representada pela linha vertical 210. O período de leitura é representado pela linha diagonal ou inclinada 202. O sensor pode ser lido fileira por fileira, sendo que o topo da borda inclinada para baixo é a fileira superior do sensor 212 e sendo que o fundo da borda inclinada para baixo é a filei- ra inferior do sensor 214. O tempo entre a leitura da última fileira e o próximo ciclo de leitura pode ser chamado de tempo de supressão
216. Deve ser observado que algumas das fileiras de pixel do sensor podem ser cobertas com um protetor de luz (por exemplo, um revesti- mento metálico ou qualquer outra camada substancialmente de cor negra de um outro tipo de material). Essas fileiras de pixel cobertas podem ser denominadas fileiras ópticas negras 218 e 220. As fileiras ópticas negras 218 e 220 podem ser usadas como entrada para algo-
ritmos de correção. Como mostrado na Figura 2A, essas fileiras ópti- cas negras 218 e 220 podem estar localizadas no topo da matriz de pixel ou no fundo da matriz de pixel ou no topo e no fundo da matriz de pixel. A Figura 2B ilustra um processo de controle da quantidade de radiação eletromagnética, por exemplo, luz, que é exposta a um pixel, sendo assim integrada ou acumulada pelo pixel. Será reconhecido que os fótons são partículas elementares de radiação eletromagnética. Os fótons são integrados, absorvidos ou acumulados por cada pixel e convertidos em uma carga ou corrente elétrica. Um obturador eletrôni- co ou obturador de rolagem (mostrado pela linha tracejada 222) pode ser usado para iniciar o tempo de integração pela reinicialização do pixel. A luz então integrará até a próxima fase de leitura. A posição do obturador eletrônico 222 pode ser movimentada entre dois ciclos de leitura 202 para controlar a saturação de pixel para uma determinada quantidade de luz. Deve ser observado que essa técnica permite um tempo de integração constante entre duas linhas diferentes, mas intro- duz um atraso ao se movimentar das fileiras superiores para as inferio- res. A Figura 2C ilustra o caso em que o obturador eletrônico 222 foi removido. Nessa configuração, a integração da luz de entrada pode começar durante a leitura 202 e pode terminar no próximo ciclo de lei- tura 202, que também define o início da próxima integração. A Figura 2D mostra uma configuração sem um obturador eletrônico 222, mas com uma luz controlada e pulsada 230 durante o tempo de supressão
216. Isso garante que todas as fileiras vejam a mesma luz emitida do mesmo pulso de luz 230. Em outras palavras, cada fileira iniciará sua integração em um ambiente escuro, que pode ser na fileira óptica ne- gra traseira 220 do quadro de leitura (m) para uma largura máxima de pulso de luz e, então, receberá uma luz estroboscópica e terminará sua integração em um ambiente escuro, que pode ser na fileira óptica negra frontal 218 do próximo quadro de leitura subsequente (m+1) pa-
ra uma largura máxima de pulso de luz. No exemplo da Figura 2D, a imagem gerada a partir do pulso de luz ficará unicamente disponível durante a leitura do quadro (m+1) sem qualquer interferência nos qua- dros (m) e (m+2). Deve ser observado que a condição para se ter um pulso de luz a ser lido somente em um quadro e não interferir nos quadros vizinhos é ter o dado pulso de luz disparado durante o tempo de supressão 216. Uma vez que as fileiras ópticas negras 218, 220 são insensíveis à luz, o tempo de quadro (m) das fileiras ópticas ne- gras traseiras 220 e o tempo de quadro (m+1) das fileiras ópticas ne- gras frontais 218 podem ser somados ao tempo de supressão 216 pa- ra determinar a faixa máxima do tempo de disparo do pulso de luz 230. Como ilustrado na Figura 2A, um sensor pode passar pelo ciclo muitas vezes para receber dados para cada cor pulsada ou comprimento de onda (por exemplo, vermelho, verde, azul, ou outro comprimento de onda no espectro eletromagnético). Cada ciclo pode ser cronometrado. Em uma modalidade, os ciclos podem ser cronometrados para operar dentro de um intervalo de 16,67 ms. Em uma outra modalidade, os ci- clos podem ser cronometrados para operar dentro de um intervalo de 8,3 ms. Será reconhecido que outros intervalos de tempo são contem- plados pela revelação e têm como objetivo ficar dentro do escopo da presente revelação.
[0107] A Figura 3 ilustra graficamente a operação de uma modali- dade de um emissor eletromagnético. Um emissor pode ser cronome- trado para corresponder aos ciclos de um sensor, de modo que radia- ção eletromagnética seja emitida dentro do ciclo de operação do sen- sor e/ou durante uma parte do ciclo de operação do sensor. A Figura 3 ilustra o Pulso 1 em 302, o Pulso 2 em 304 e o Pulso 3 em 306. Em uma modalidade, o emissor pode pulsar durante a parte de leitura 202 do ciclo de operação do sensor. Em uma modalidade, o emissor pode pulsar durante a parte de supressão 216 do ciclo de operação do sen-
sor. Em uma modalidade, o emissor pode pulsar durante um período que ocorre durante partes de dois ou mais ciclos operacionais do sen- sor. Em uma modalidade, o emissor pode iniciar um pulso durante a parte de supressão 216 ou durante a parte óptica negra 220 da parte de leitura 202, e terminar o pulso durante a parte de leitura 202, ou du- rante a parte óptica negra 218 da parte de leitura 202 do próximo ciclo subsequente. Ficará entendido que qualquer combinação do que foi exposto acima deverá permanecer dentro do escopo da presente reve- lação, contanto que o pulso do emissor e o ciclo do sensor correspon- dam.
[0108] A Figura 4 representa graficamente a variação da duração e a magnitude do pulso eletromagnético emitido (por exemplo, Pulso 1 em 402, Pulso 2 em 404 e Pulso 3 em 406) para controlar a exposição. Um emissor tendo uma magnitude de saída fixa pode ser pulsado du- rante quaisquer dos ciclos mencionados acima em relação às Figuras 2D e 3 para um intervalo para fornecer a energia eletromagnética ne- cessária para a matriz de pixel. Um emissor tendo uma magnitude de saída fixa pode ser pulsado em um intervalo de tempo maior, forne- cendo assim mais energia eletromagnética aos pixels ou o emissor pode ser pulsado em um intervalo de tempo menor, fornecendo assim menos energia eletromagnética. A necessidade de um intervalo de tempo mais longo ou mais curto depende das condições operacionais.
[0109] Em contraste ao ajuste do intervalo de tempo que o emissor pulsa uma magnitude de saída fixa, a própria magnitude da emissão pode ser aumentada para fornecer mais energia eletromagnética aos pixels. De modo similar, a redução da magnitude do pulso fornece me- nos energia eletromagnética aos pixels. Deve ser observado que uma modalidade do sistema pode ter a capacidade de ajustar simultanea- mente tanto a magnitude quanto a duração, se desejado. Adicional- mente, o sensor pode ser ajustado para aumentar sua sensibilidade e duração conforme desejado para uma qualidade de imagem ideal. À Figura 4 ilustra a variação da magnitude e a duração dos pulsos. Na ilustração, o Pulso 1 em 402 tem uma maior magnitude ou intensidade do que o Pulso 2 em 404 ou o Pulso 3 em 406. Adicionalmente, o Pul- so 1 em 402 tem uma duração menor do que o Pulso 2 em 404 ou o Pulso 3 em 406, de modo que a energia eletromagnética fornecida pe- lo pulso seja ilustrada pela área sob o pulso mostrado na ilustração. Na ilustração, o Pulso 2 em 404 tem uma magnitude ou intensidade relativamente baixa e uma duração maior em comparação com o Pul- so 1 em 402 ou com o Pulso 3 em 406. Por fim, na ilustração, o Pulso 3 em 406 tem uma magnitude ou intensidade e duração intermediárias em comparação com o Pulso 1 em 402 e com o Pulso 2 em 404.
[0110] A Figura 5 é uma representação gráfica de uma modalidade da revelação que combina os ciclos operacionais, o emissor eletro- magnético e os pulsos eletromagnéticos emitidos das Figuras 2 a 4 para demonstrar o sistema de imageamento durante a operação de acordo com os princípios e ensinamentos da revelação. Como pode ser visto na figura, o emissor eletromagnético pulsa as emissões prin- cipalmente durante o período de supressão 216 do sensor, de modo que os pixels serão carregados e estarão prontos para a leitura duran- te a parte de leitura 202 do ciclo de sensor. As porções em linha trace- jada no pulso (da Figura 3) ilustram o potencial ou a capacidade de emitir energia eletromagnética durante as partes ópticas negras 220 e 218 do ciclo de leitura (ciclo de sensor) 200 se tempo adicional for ne- cessário ou desejado para pulsar energia eletromagnética.
[0111] Agora com referência às Figuras 6 a 9A, a Figura 6 ilustra um esquema de dois processos distintos durante um período de tempo de t(0) a t(1) para gravar um quadro de vídeo para luz de espectro completo e luz de espectro particionado. Deve ser observado que os sensores de cor possuem uma matriz de filtro de cor (CFA) para filtrar determinados comprimentos de onda de luz por pixel comumente usa- do para a recepção de luz de espectro completo. Um exemplo de uma CFA é um padrão Bayer. Uma vez que o sensor de cor pode compre- ender pixels dentro da matriz que são sensibilizados para uma única cor de dentro do espectro completo, o resultado é uma imagem com resolução reduzida, pois a matriz de pixel possui espaços de pixel de- dicados a apenas uma única cor de luz dentro do espectro completo. Normalmente, tal disposição é formada em um padrão do tipo tabuleiro de xadrez ao longo de toda a matriz.
[0112] Em contraste, quando espectros particionados de luz são usados, um sensor pode ser sensibilizado ou responsivo à magnitude de toda a energia de luz, pois a matriz de pixel será instruída que está detectando energia eletromagnética de uma partição predeterminada do espectro completo de energia eletromagnética em cada ciclo. Por- tanto, para formar uma imagem, o sensor precisa somente passar pelo ciclo com uma pluralidade de partições de diferenciação de dentro do espectro completo de luz e, então, remontar a imagem para exibir uma mistura predeterminada de valores de cor para cada pixel ao longo da matriz. Consequentemente, uma imagem com maior resolução tam- bém é fornecida, pois há distâncias reduzidas em comparação com um sensor Bayer entre centros de pixel da mesma sensibilidade de cor para cada um dos pulsos de cor. Como resultado, a imagem colorida formada tem uma maior função de transferência de modulação (MTF - "modulation transfer function"). Uma vez que a imagem de cada ciclo de quadro de partição de cor tem uma maior resolução, a imagem re- sultante criada quando os quadros de luz particionada são combinados em um quadro de cores completas também tem uma maior resolução. Em outras palavras, uma vez que todos e cada um dos pixels dentro da matriz (em vez de, no máximo, cada segundo pixel em um sensor com filtro de cor) está detectando as magnitudes de energia de um de-
terminado pulso e uma determinada cena, com apenas frações de tempo de separação, uma imagem com maior resolução é criada para cada cena, exigindo que menos dados derivados (menos preciso) se- jam introduzidos.
[0113] Por exemplo, a luz visível branca ou de espectro completo é uma combinação de luz vermelha, verde e azul. Na modalidade mos- trada na Figura 6, pode ser visto que tanto no processo de espectro particionado 620 quanto no processo de espectro completo 610, o tempo para capturar uma imagem varia de t(0) a t(1). No processo de espectro completo 610, luz branca ou energia eletromagnética de es- pectro completo é emitida em 612. Em 614, a energia eletromagnética branca ou de espectro completo é detectada. Em 616, a imagem é processada e exibida. Assim, entre o tempo t(0) e t(1), a imagem foi processada e exibida. Contrariamente, no processo de espectro parti- cionado 620, uma primeira partição é emitida em 622 e detectada em
624. Em 626, uma segunda partição é emitida e, então, detectada em
628. Em 630, uma terceira partição é emitida e detectada em 632. Em 634, a imagem é processada e exibida. Será reconhecido que qual- quer sistema que utiliza um ciclo de sensor de imagem que é ao me- nos duas vezes mais rápido do que o ciclo de luz branca deve ficar dentro do escopo da revelação.
[0114] Como pode ser visto graficamente na modalidade ilustrada na Figura 6 entre os tempos t(0) e t(1), o sensor para o sistema de es- pectro particionado 620 passou pelo ciclo três vezes para cada um do sistema de espectro completo. No sistema de espectro particionado 620, o primeiro dos três ciclos de sensor é para um espectro verde 622 e 624, o segundo dos três é para um espectro vermelho 626 e 628,e o terceiro é para um espectro azul 630 e 632. Assim, em uma modalida- de em que o dispositivo de exibição (painel de LCD) opera a 50-60 quadros por segundo, um sistema de luz particionada deve operar em
150-180 quadros por segundo para manter a continuidade e a integri- dade do vídeo exibido.
[0115] Em outras modalidades, pode haver diferentes taxas de captura e exibição de quadro. Além disso, a taxa de captura média po- deria ser qualquer múltiplo da taxa de exibição.
[0116] Em uma modalidade, pode ser desejado que nem todas as partições sejam representadas igualmente dentro da taxa de quadro do sistema. Em outras palavras, nem todas as fontes de luz precisam ser pulsadas com a mesma regularidade, de modo a enfatizar e de- senfatizar aspectos da cena gravada conforme desejado pelos usuá- rios. Também deve ser compreendido que as partições não visíveis e visíveis do espectro eletromagnético podem ser pulsadas juntas dentro de um sistema com seu respectivo valor de dados sendo costuradas na saída de vídeo conforme desejado para exibição a um usuário.
[0117] Uma modalidade pode compreender um padrão de ciclo de pulso como segue: i. Pulso verde; ii. Pulso vermelho; iji. Pulso azul; iv. Pulso verde; v. Pulso vermelho; vi. Pulso azul; vii. Pulso infravermelho (IV); viii. (Repetir)
[0118] Como pode ser visto no exemplo, uma partição infraverme- lha ou uma partição de comprimento de onda especializada (por exemplo, 513 a 545 nm, 565 a 585 nm e/ou 900 a 100 nm) pode ser pulsada a uma taxa que difere das taxas dos outros pulsos de parti- ção. Isso pode ser feito para enfatizar um determinado aspecto da ce- na, com os dados IV simplesmente sendo sobrepostos aos outros da-
dos na saída de vídeo para realizar a ênfase desejada. Deve ser ob- servado que a adição de uma partição eletromagnética no topo das partições vermelha, verde e azul não necessariamente exige que o sistema em série opere em quatro vezes a taxa de um sistema não serial de espectro completo, pois cada partição não precisa ser repre- sentada igualmente no padrão de pulso. Como visto na modalidade, a adição de um pulso de partição que é representado menos em um pa- drão de pulso (infravermelho em um exemplo acima), resultaria em um aumento menor que 20% da velocidade de ciclo do sensor a fim de acomodar a amostragem de partição irregular.
[0119] Em uma modalidade, pode ser emitida uma partição ele- tromagnética que é sensível a corantes ou materiais que são usados para destacar aspectos de uma cena. Na modalidade, pode ser sufici- ente destacar a localização dos corantes ou materiais sem a necessi- dade de alta resolução. Nessa modalidade, a partição eletromagnética sensível a corante pode passar pelo ciclo de forma muito menos fre- quente do que as outras partições no sistema para incluir os dados enfatizados.
[0120] Em várias modalidades, o padrão de ciclo de pulso pode incluir qualquer um dos seguintes comprimentos de onda em qualquer ordem adequada. Esses comprimentos de onda podem ser particular- mente adequados para determinar dados de imagem multiespectral ou hiperespectral ou para determinar dados de imagem com base em uma emissão de relaxamento de reagente fluorescente: i. 465 + 5 nm; ii. 533 +4 nm; lili. 638 + 5 nm; iv. 780 + 5 nm; v. 805 + 5 nm; vi. 975 + 5 nm;
vii. 577 + 2 nm; ou viii. 523 + 4 nm.
[0121] Os ciclos de partição podem ser divididos de modo a aco- modar ou aproximar vários padrões de imageamento e vídeo. Em uma modalidade, os ciclos de partição podem compreender pulsos de energia eletromagnética no espectro Vermelho, Verde e Azul conforme mais bem ilustrado nas Figuras 7A a 7D. Na Figura 7A, as diferentes intensidades de luz foram alcançadas modulando-se a largura ou a duração do pulso de luz dentro da faixa de trabalho mostrada pelas linhas tracejadas verticais cinza. Na Figura 7B, as diferentes intensi- dades de luz foram alcançadas modulando-se a potência da luz ou a potência do emissor eletromagnético que pode ser um emissor de la- ser ou LED, porém mantendo a largura ou a duração do pulso cons- tantes. A Figura 7C mostra o caso em que tanto a potência de luz quanto a largura do pulso de luz estão sendo moduladas, levando a uma maior flexibilidade. Os ciclos de partição podem empregar CMY, IV e ultravioleta com o uso de uma fonte de pulso não visível mistura- da com fontes de pulso visível e qualquer outro espaço de cor exigido para produzir uma imagem ou se aproximar de um padrão de vídeo desejado que é atualmente conhecido ou ainda por ser desenvolvido. Também deve ser compreendido que um sistema pode ser capaz de alternar entre os espaços de cor durante o progresso para fornecer a qualidade de emissão de imagem desejada.
[0122] Em uma modalidade que utiliza espaços de cor Verde-Azul- Verde-Vermelho (conforme visto na Figura 7D), pode-se desejar pulsar os componentes de luminância mais frequentemente do que os com- ponentes de crominância, pois os usuários são, de modo geral, mais sensíveis às diferenças de magnitude da luz do que às diferenças de cor da luz. Esse princípio pode ser explorado com o uso de um sensor monocromático conforme ilustrado na Figura 7D. Na Figura 7D, a cor verde, que contém a maioria das informações de luminância, pode ser pulsada mais frequentemente ou com mais intensidade em um es- quema (G-B-G-R-G-B-G-R...) para se obter os dados de luminância. Essa configuração criaria uma transmissão de vídeo que tem percepti- velmente mais detalhes, sem criar e transmitir dados imperceptíveis.
[0123] Em uma modalidade, a duplicação do pulso de uma parti- ção mais fraca pode ser usada para produzir uma emissão que foi ajustada para o pulso mais fraco. Por exemplo, a luz laser azul é con- siderada fraca em relação à sensibilidade dos pixels baseados em silí- cio e é difícil de se produzir em comparação com a luz vermelha ou verde e, portanto, pode ser pulsada mais frequentemente durante um ciclo de quadro para compensar a fraqueza da luz. Esses pulsos adici- onais podem ser realizados em série no decorrer do tempo ou usando- se múltiplos lasers que pulsam simultaneamente para produzir o efeito de compensação desejado. Deve ser observado que ao pulsar durante um período de supressão (tempo durante o qual o sensor não está lendo a matriz de pixel), o sensor é insensível às diferenças/dispari- dades entre lasers do mesmo tipo e simplesmente acumula a luz para a emissão desejada. Em uma outra modalidade, a faixa de máximo pulso de luz pode ser diferente de quadro para quadro. Isso é mostra- do na Figura 7E onde os pulsos de luz são diferentes de quadro para quadro. O sensor pode ser construído para poder programar diferentes tempos de supressão com um padrão de repetição de 2 ou 3 ou 4 oun quadros. Na Figura 7E, são ilustrados 4 diferentes pulsos de luz, e o Pulso 1 pode se repetir, por exemplo, após o Pulso 4 e pode ter um padrão de 4 quadros com diferentes tempos de supressão. Essa técni- ca pode ser usada para colocar a partição mais potente no menor tempo de supressão e, portanto, permitir que a partição mais fraca te- nha pulso mais largo em um dos próximos quadros sem a necessidade de aumentar a velocidade de leitura. O quadro reconstruído pode ter ainda um padrão regular de quadro para quadro, pois é constituído de muitos quadros pulsados.
[0124] Como pode ser visto na Figura 8, uma vez que cada espec- tro particionado de luz pode ter diferentes valores de energia, o sensor e/ou emissor de luz pode ser ajustado para compensar as diferenças nos valores de energia. Em 810, os dados obtidos do histograma de um quadro anterior podem ser analisados. Em 820, o sensor pode ser ajustado conforme mencionado abaixo. Adicionalmente, em 830, o emissor pode ser ajustado. Em 840, a imagem pode ser obtida do tempo de amostra ajustado a partir do sensor ou a imagem pode ser obtida com luz emitida ajustada (tanto aumentada quanto diminuída), ou uma combinação do acima mencionado. Por exemplo, uma vez que o espectro de luz vermelha é mais prontamente detectado por um sen- sor dentro do sistema do que o espectro de luz azul, o sensor pode ser ajustado para ficar menos sensível durante o ciclo de partição verme- lho e mais sensível durante o ciclo de partição azul devido à baixa Efi- ciência Quântica que a partição azul tem em relação ao silício (mais bem ilustrado na Figura 9). De modo similar, o emissor pode ser ajus- tado para fornecer uma partição ajustada (por exemplo, maior ou me- nor intensidade e duração). Adicionalmente, ajustes podem ser feitos tanto ao nível do sensor quanto do emissor. O emissor pode também ser projetado para emitir em uma frequência específica ou pode ser alterado para emitir múltiplas frequências de uma partição específica para ampliar o espectro de luz que está sendo emitido, se desejado, para uma aplicação em particular.
[0125] A Figura 10 mostra um esquema de um pixel 4T não com- partilhado. O sinal TX é usado para transferir cargas acumuladas do fotodiodo (PPD) para a difusão oscilante (FD). O sinal de reinicializa- ção é usado para reinicializar o FD para o barramento de reinicializa- ção. Se os sinais de reinicialização e TX estiverem "ligados" ao mesmo tempo, o PPD é constantemente reinicializado (cada carga de foto ge- rada no PPD é diretamente coletada no barramento de reinicialização) e o PPD está sempre vazio. A implementação de matriz de pixel usual inclui uma linha de reinicialização horizontal que fixa os sinais de reini- cialização de todos os pixels dentro de uma fileira e uma linha TX hori- zontal que fixa os sinais TX de todos os pixels dentro de uma fileira.
[0126] Em uma modalidade, o tempo de ajuste de sensibilidade do sensor é ilustrado e o ajuste de sensibilidade do sensor pode ser al- cançado usando-se um mecanismo de reinicialização global (ou seja, um meio de disparo de todos os sinais de reinicialização da matriz de pixel de uma vez) e um mecanismo de TX global (ou seja, meios de disparo de todos os sinais TX da matriz de pixel de uma vez). Isto é mostrado na Figura 11. Nesse caso, o pulso de luz é constante em termos de duração e amplitude, porém a luz integrada em todos os pixels começa com a transição de "ligado" para "desligado" do TX glo- bal e termina com o pulso de luz. Portanto, a modulação é realizada movendo-se a borda em queda do pulso TX global.
[0127] Por outro lado, o emissor pode emitir luz vermelha em uma menor intensidade do que a luz azul para produzir uma imagem corre- tamente exposta (mais bem ilustrada na Figura 12). Em 1210, os da- dos obtidos do histograma de um quadro anterior podem ser analisa- dos. Em 1220, o emissor pode ser ajustado. Em 1230, a imagem pode ser obtida a partir da luz emitida ajustada. Adicionalmente, em uma modalidade, tanto o emissor quanto o sensor podem ser simultanea- mente ajustados.
[0128] A reconstrução dos quadros de espectro particionado em um quadro de espectro completo para emissão posterior poderia ser tão simples quanto misturar os valores detectados para cada pixel na matriz em algumas modalidades. Adicionalmente, a blenda e a mistura de valores podem ser médias simples ou podem ser ajustadas em uma tabela de consulta (LUT - "lookup table") predeterminada de valo- res para emissões desejadas. Em uma modalidade de um sistema usando espectros de luz particionada, os valores detectados podem ser pós-processados ou adicionalmente refinados remotamente a par- tir do sensor por uma imagem ou processador secundário, e sendo pouco antes enviado para uma tela.
[0129] A Figura 13 ilustra um exemplo básico em 1300 de um ISP monocromático e como uma cadeia de ISP pode ser montada para fins de geração de sequências de imagem sRGB a partir de dados brutos do sensor gerados na presença do esquema de pulsação de luz G-R- G-B.
[0130] O primeiro estágio se refere à realização de correções (vide 1302, 1304 e 1306 na Figura 13) para levar em consideração quais- quer não idealidades na tecnologia de sensor para as quais é mais apropriado trabalhar no domínio de dados brutos (vide a Figura 21).
[0131] No próximo estágio, dois quadros (vide 1308 e 1310 na Fi- gura 13) seriam armazenados temporariamente uma vez que cada quadro final deriva dados de três quadros brutos. A reconstrução do quadro em 1314 continuaria por dados de amostragem do quadro atu- al e dos dois quadros armazenados temporariamente (1308 e/ou 1310). O processo de reconstrução resulta em quadros de cores com- pletas em espaço de cor RGB linear.
[0132] Nesse exemplo, os coeficientes de equilíbrio de branco em 1318 e a matriz de correção de cor em 1320 são aplicados antes da conversão em espaço YCbCr em 1322 para subsequente intensifica- ção de borda em 1324. Após a intensificação de borda em 1324, as imagens são transformadas de volta em RGB linear em 1326 para al- teração de escala em 1328, se aplicável.
[0133] Por fim, a função de transferência gama em 1330 seria aplicada para transladar os dados para o domínio SsRGB em 1332.
[0134] A Figura 14 é um exemplo de modalidade de hardware de fusão de cores. O hardware de fusão de cores recebe um fluxo de da- dos de vídeo RGBGRGBGRGBG em 1402 e o converte em um fluxo de dados de vídeo RGB paralelo em 1405. A largura de bit no lado de entrada pode ser, por exemplo, de 12 bits por cor. A largura de saída para esse exemplo seria de 36 bits por pixel. Outras modalidades po- dem ter diferentes larguras de bit iniciais e 3 vezes esse número para a largura de saída. O bloco escritor de memória assume como sua en- trada a transmissão de vídeo RGBG em 1402? e escreve cada quadro em seu buffer de memória de quadro correta em 1404 (o escritor de memória dispara o mesmo gerador de pulso 1410 que executa a fonte de luz laser). Como ilustrado em 1404, a escrita da memória segue o padrão, Vermelho, Verde 1, Azul, Verde 2, e então reinicia com Ver- melho novamente. Em 1406, o leitor de memória lê três quadros de uma vez para construir um pixel RGB. Cada pixel tem três vezes a lar- gura de bit de um componente de cor individual. O leitor também dis- para o gerador de pulso de laser em 1410. O leitor espera até que os quadros Vermelho, Verde 1 e Azul tenham sido escritos, então passa a lê-los em paralelo enquanto o escritor continua a escrever Verde 2 e reinicia em Vermelho. Quando o Vermelho termina, o leitor começa a ler a partir do Azul, Verde 2 e Vermelho. Esse padrão continua indefi- nidamente.
[0135] Agora com referência às Figuras 15 e 16, a reconstrução padrão RG1BG2RG1BG? ilustrada na Figura 16 permite a saída de 60 fps com entrada de 120 fps em uma modalidade. Cada quadro conse- cutivo contém tanto um componente vermelho quanto um azul do qua- dro anterior. Na Figura 16, cada componente de cor está disponível em 8,3 ms e o quadro reconstruído resultante tem um período de 16,67 ms. De modo geral, para esse esquema de pulsação, o quadro reconstruído tem um período de duas vezes aquele do quadro colorido de entrada como mostrado na Figura 15. Em outras modalidades, dife- rentes esquemas de pulsação podem ser empregados. Por exemplo, as modalidades podem ser baseadas no tempo de cada componente de cor ou quadro (T1) e em que o quadro reconstruído tem um período de duas vezes aquele do quadro de cor de entrada (2 x T1). Diferentes quadros dentro da sequência podem ter diferentes períodos de quadro e a taxa média de captura poderia ser qualquer múltiplo da taxa de quadro final.
[0136] As Figuras 17 a 20 ilustram métodos de correção de cor e esquemas de hardware para uso com um sistema de luz particionada. É comum no imageamento digital manipular os valores dentro dos da- dos de imagem para corrigir a saída a fim de atender às expectativas do usuário ou destacar determinados aspectos do objeto imageado. Isso é mais comumente realizado em imagens de satélite que são sin- tonizadas e ajustadas para enfatizar um tipo de dados em relação a outro. Mais frequentemente, em dados adquiridos por satélite há o es- pectro completo de energia eletromagnética disponível, uma vez que a fonte de luz não é controlada, ou seja, o sol é a fonte de luz. Em con- traste, há condições de imageamento em que a luz é controlada e ain- da fornecida por um usuário. Nessas situações, a calibração de dados de imagem ainda é desejável, pois sem calibração pode ser dada a indevida ênfase a determinados dados em relação a outros dados. Em um sistema em que a luz é controlada pelo usuário, é vantajoso forne- cer emissões de luz que são conhecidas do usuário e que podem ser somente uma porção do espectro eletromagnético ou uma pluralidade de porções do espectro eletromagnético completo. A calibração conti- nua sendo importante para atender às expectativas dos usuários e ve- rificar falhas dentro do sistema. Um método de calibração pode ser uma tabela de valores esperados para uma determinada condição de imageamento que podem ser comparados com os dados do sensor.
Uma modalidade pode incluir uma cena de cor neutra tendo valores conhecidos que devem ser enviados pelo dispositivo de imageamento e o dispositivo pode ser ajustado para atender a esses valores conhe- cidos quando o dispositivo amostra a cena de cor neutra.
[0137] Em uso, e ao ser iniciado, o sistema pode amostrar uma cena de cor neutra em 1710 (como ilustrado na Figura 17) ao executar um ciclo completo de uma pluralidade de partições de espectro ele- tromagnético em 1702. Uma tabela de valores 1708 pode ser formada para produzir um histograma para o quadro em 1704. Os valores do quadro podem ser comparados com os valores conhecidos ou espera- dos da cena de cor neutra em 1706. O dispositivo de imageamento pode ser então ajustado para atender a emissão desejada em 1712. Em uma modalidade ilustrada na Figura 17, o sistema pode compre- ender um processador de sinal de imagem (ISP - "image signal pro- cessor") que pode ser ajustado para corrigir a cor do dispositivo de imageamento.
[0138] Deve ser observado que como cada espectro particionado de luz pode ter diferentes valores de energia, o sensor e/ou emissor de luz pode ser ajustado para compensar as diferenças nos valores de energia. Por exemplo, em uma modalidade, uma vez que o espectro de luz azul tem uma menor eficiência quântica do que o espectro de luz vermelha em relação aos imageadores baseados em silício, a res- ponsividade do sensor pode ser então ajustada para ficar menos res- ponsiva durante o ciclo vermelho e mais responsiva durante o ciclo azul. Por outro lado, o emissor pode emitir luz azul em uma maior in- tensidade, devido à menor eficiência quântica da luz azul, do que luz vermelha para produzir uma imagem corretamente exposta.
[0139] Em uma modalidade ilustrada na Figura 18, sendo que a emissões de fonte de luz são fornecidas e controláveis pelo sistema, o ajuste dessas emissões de luz pode ser feito para corrigir a cor de uma imagem em 1800. Os ajustes podem ser feitos em qualquer aspecto da luz emitida, por exemplo, magnitude, duração (ou seja, tempo que permanece ligada) ou a faixa dentro da partição do espectro. Adicio- nalmente, tanto o emissor quanto o sensor podem ser ajustados simul- taneamente em algumas modalidades como mostrado na Figura 19.
[0140] Para reduzir a quantidade de ruído e artefatos dentro do fluxo ou vídeo de imagem enviada, ajustes fracionados podem ser rea- lizados no sensor ou emissor dentro do sistema como pode ser visto na Figura 20. É ilustrado na Figura 20 um sistema 2000 em que tanto o emissor 2006 quanto o sensor 2008 podem ser ajustados, porém um dispositivo de imageamento em que o emissor ou o sensor é ajustado durante o uso ou durante uma parte do uso é também contemplado e está no escopo da presente revelação. Pode ser vantajoso ajustar so- mente o emissor durante uma parte do uso e ajustar somente o sensor durante uma outra porção do uso, enquanto adicionalmente ainda se ajusta ambos simultaneamente durante uma parte do uso. Em quais- quer das modalidades acima, uma qualidade de imagem aprimorada pode ser obtida limitando-se os ajustes gerais que o sistema pode rea- lizar entre ciclos de quadro. Em outras palavras, uma modalidade pode ser limitada, de modo que o emissor possa ter ajustada somente uma fração de sua faixa operacional em qualquer momento entre os qua- dros. De modo semelhante, o sensor pode ser limitado, de modo que possa ter ajustada somente uma fração de sua faixa operacional em qualquer momento entre os quadros. Além disso, tanto o emissor quanto o sensor podem ser limitados, de modo que possa ser somente ajustados juntos em uma fração de suas respectivas faixas operacio- nais em qualquer momento entre os quadros em uma modalidade.
[0141] Em uma modalidade exemplificadora, um ajuste fracionado dos componentes dentro do sistema pode ser realizado, por exemplo, em cerca de 0,1 dB da faixa operacional dos componentes para corri-
gir a exposição do quadro anterior. O valor de 0,1 dB é meramente um exemplo e deve ser observado que, em outras modalidades, o ajuste permitido dos componentes pode ser qualquer porção de suas respec- tivas faixas operacionais. Os componentes do sistema podem ser alte- rados pelo ajuste de intensidade ou duração que é, de modo geral, re- gido pelo número de bits (resolução) enviados pelo componente. A re- solução do componente pode estar tipicamente entre uma faixa de cerca de 10 a 24 bits, porém não deve ser limitada a essa faixa já que deve incluir resoluções para componentes que ainda devem ser de- senvolvidas, além daquelas que estão atualmente disponíveis. Por exemplo, após um primeiro quadro, é determinado que a cena é muito azul quando observada, então o emissor pode ser ajustado para redu- zir a magnitude ou a duração do pulso da luz azul durante o ciclo azul do sistema por meio de um ajuste fracionado conforme discutido aci- ma, por exemplo, cerca de 0,1 dB.
[0142] Nessa modalidade exemplificadora, mais que 10 por cento pode ter sido necessário, porém o sistema se limitou ao ajuste de 0,1 dB da faixa operacional por ciclo do sistema. Consequentemente, du- rante o próximo ciclo de sistema, a luz azul pode ser então ajustada novamente, se necessário. O ajuste fracionado entre ciclos pode ter um efeito de abafamento das imagens emitidas e reduzirá o ruído e artefatos ao operar os emissores e sensores em suas operações ex- tremas. Pode ser determinado que qualquer quantidade fracionada da faixa operacional de ajuste dos componentes pode ser usada como um fator limitador, ou pode ser determinado que certas modalidades do sistema podem compreender componentes que podem ser ajusta- dos ao longo de toda a sua faixa operacional.
[0143] Adicionalmente, a área óptica negra de qualquer sensor de imagem pode ser usada para auxiliar na correção da imagem e na re- dução de ruído. Em uma modalidade, os valores lidos a partir da área óptica negra podem ser comparados com aqueles da região de pixel ativo de um sensor para estabelecer um ponto de referência a ser usado no processamento de dados de imagem. A Figura 21 mostra o tipo de processos de correção de sensor que podem ser empregados em um sistema pulsado de cor. Os sensores de imagem CMOS têm tipicamente múltiplas não idealidades que têm um efeito prejudicial so- bre a qualidade da imagem, particularmente em baixa luz. Os princi- pais dentre eles são o ruído de padrão fixo e o ruído de linha. O ruído de padrão fixo é uma dispersão nos deslocamentos desses elementos de detecção. Tipicamente, a maioria dos FPN é uma dispersão de pixel para pixel que se origina, entre outras fontes, de variações alea- tórias em corrente escura de fotodiodo para fotodiodo. Isso parece bastante anormal para o observador. Ainda mais notável é a coluna FPN, que resulta de deslocamentos na cadeia de leitura associada a colunas de pixels em particular. Isso resulta em faixas verticais percep- tíveis dentro da imagem.
[0144] Ter o controle total da iluminação tem o benefício de que todos os quadros de dados negros podem ser periodicamente adquiri- dos e usados para corrigir os deslocamentos de pixel e coluna. No exemplo ilustrado, uma memória temporária de quadro único pode ser usada para obter uma média móvel de todo o quadro sem o uso de luz, por exemplo, suavização exponencial simples. Esse quadro médio negro seria subtraído de cada quadro iluminado durante a operação regular.
[0145] Linha-Ruído é uma variação temporal estocástica nos des- locamentos de pixels dentro de cada fileira. Por ser temporal, a corre- ção deve ser computada novamente para cada linha e cada quadro. Para essa finalidade, existem geralmente muitos pixels opticamente cegos (OB - "optically blind") dentro de cada fileira na matriz, que deve ser primeiro amostrado para avaliar o deslocamento de linha antes da amostragem dos pixels sensíveis à luz. O deslocamento de linha é, então, simplesmente subtraído durante o processo de correção de ruí- do de linha.
[0146] No exemplo da Figura 21, há outras correções relacionadas à obtenção dos dados na ordem adequada, monitorando e controlando o deslocamento de tensão no domínio analógico (clamp negro) e iden- tificando/corrigindo pixels defeituoso individuais.
[0147] As Figuras 22 e 23 ilusttam um método e esquemas de hardware para aumentar a faixa dinâmica dentro de um ambiente fe- chado ou com luz limitada. Em uma modalidade, entradas de exposi- ção podem ser introduzidas em diferentes níveis ao longo do tempo e se combinar para produzir maior faixa dinâmica. Como pode ser visto na Figura 22, um sistema de imageamento pode passar pelo ciclo em uma primeira intensidade para um primeiro ciclo em 2202 e, então, subsequentemente passar pelo ciclo em uma segunda intensidade pa- ra um segundo ciclo em 2204 e, então, combinando esses primeiro e segundo ciclos em um único quadro em 2206, de modo que uma maior faixa dinâmica possa ser alcançada. A maior faixa dinâmica pode ser especialmente desejável devido ao espaço ambiente limitado no qual um dispositivo de imageamento é usado. Em ambientes de espaço limitado que são deficientes de luz ou escuros, exceto pela luz forneci- da pela fonte de luz, e onde a fonte de luz fica próxima do emissor de luz, a exposição tem uma relação exponencial com a distância. Por exemplo, objetos próximos da fonte de luz e a abertura óptica do dis- positivo de imageamento tendem a ser superexpostos, ao passo que objetos mais distantes tendem a ser extremamente subexpostos, pois há pouquíssima luz ambiente presente (se houver).
[0148] Como pode ser visto na Figura 23, os ciclos de um sistema tendo emissões de energia eletromagnética em uma pluralidade de partições podem passar pelo ciclo em série de acordo com as parti-
ções do espectro eletromagnético em 2300. Por exemplo, em uma modalidade em que o emissor emite lasers em uma partição vermelha distinta, em uma partição azul distinta e em uma partição verde distin- ta, os dois conjuntos de dados em ciclo que serão combinados podem estar na forma de: i. vermelho na intensidade um em 2302, ii. vermelho na intensidade dois em 2304, lili. azul na intensidade um em 2302, iv. azul na intensidade dois em 2304, v. verde na intensidade um em 2302, vi. verde na intensidade dois em 2304.
[0149] Alternativamente, o sistema pode passar pelo ciclo na for- ma de: i. vermelho na intensidade um em 2302, ii. azul na intensidade um em 2302, lili. verde na intensidade um em 2302, iv. vermelho na intensidade dois em 2304, v. azul na intensidade dois em 2304, vi. verde na intensidade dois em 2304.
[0150] Nessa modalidade, uma primeira imagem pode ser deriva- da dos valores da intensidade um, e uma segunda imagem pode ser derivada dos valores da intensidade dois e, então, combinadas ou pro- cessadas como conjuntos completos de dados de imagem em 2310 em vez de suas partes componentes.
[0151] É contemplado como dentro do escopo da presente revela- ção que qualquer número de partições de emissão pode ser usado em qualquer ordem. Conforme visto na Figura 23, "n" é usado como uma variável para denotar qualquer número de partições eletromagnéticas e "m" é usado para denotar qualquer nível de intensidade para das partições "n". Esse sistema pode passar pelo ciclo na forma de:
i. n na intensidade m em 2306, li. n+1 na intensidade m+1, iii. n+2 na intensidade m+2, iv. n+i na intensidade m+j em 2308.
[0152] Consequentemente, qualquer padrão de ciclos em série pode ser usado para produzir a correção de imagem desejada, sendo que "i" e "j" são valores adicionais dentro da faixa de operação do sis- tema de imageamento.
[0153] Câmeras digitais coloridas incorporam um estágio de pro- cessamento de imagem com a finalidade de aumentar a fidelidade da reprodução de cor. Isso é realizado por meio de uma matriz de 3 x 3 conhecida como Matriz de Correção de Cor (CCM - "Color Correction Matrix"): R R a bc GG =|G de f bas:
[0154] Os termos na CCM são ajustados usando-se um conjunto de cores de referência (por exemplo, de um gráfico Macbeth) para for- necer a melhor correspondência total com o espaço de cor padrão SsRGB. Os termos diagonais, a, e e /, são efetivamente ganhos de equi- líbrio de branco. Tipicamente, no entanto, o equilíbrio de branco é apli- cado separadamente, e as somas de fileiras horizontais são restringi- das pela unidade, para que nenhum ganho líquido seja aplicado pelo próprio CCM. Os termos fora da diagonal lidam eficientemente com interferência de cor nos canais de entrada. Portanto, os sensores Ba- yer possuem maiores termos fora da diagonal do que câmeras com 3 circuitos integrados, uma vez que as matrizes de filtro de cor possuem bastante sobreposição de resposta entre canais.
[0155] Há uma penalidade de razão sinal/ruído para correção de cor que depende da magnitude dos termos fora da diagonal. Um sen- sor hipotético com canais que correspondem perfeitamente aos com-
ponentes sRGB teriam a matriz de identidade CCM: R R 100 G =|G 010 Es
[0156] A razão sinal/ruído avaliada no canal verde para um sinal de foto branco perfeito de 10.000 e- por pixel (desprezando o ruído de leitura) para esse caso seria: SNR TA 100
[0157] Qualquer desvio disso degrada a SNR. Toma-se, por exemplo, a seguinte CCM que possui valores que não seriam inco- muns para um sensor CMOS Bayer: R R 26 —14 -02 G =|G -0,3 16 -03 Lao cs
[0158] Nesse caso, a SNR verde: sm CREIO a
[0159] A Figura 24 mostra o resultado de uma simulação de SNR total usando iluminação D65 para um típico sensor CCM Bayer para o caso de uso da matriz de identidade versus a CCM ajustada. A SNR avaliada para o componente de luminância é cerca de 6dB pior como consequência da correção de cor.
[0160] O sistema descrito na presente revelação utiliza iluminação monocromática em uma pluralidade de comprimentos de onda discre- tos, portanto não há interferência de cor per se. As cruzes na Figura indicam as posições de três comprimentos de onda que estão dis- poníveis por meio de fontes de diodo a laser (465, 532 e 639 nm), comparado com a gama sRGB que é indicada pelo triângulo.
[0161] Os termos fora da diagonal para a CCM são, nesse caso, drasticamente reduzidos em comparação com sensores Bayer que fornecem uma significativa vantagem SNR.
[0162] A Figura 26 ilustra um sistema de imageamento tendo mai- or faixa dinâmica conforme fornecida pela configuração de pixel da matriz de pixel do sensor de imagem. Como pode ser visto na figura, os pixels adjacentes 2602 e 2604 podem ser configurados em diferen- tes sensibilidades, de modo que cada ciclo inclua dados produzidos por pixels que são mais e menos sensíveis um em relação ao outro. Como uma pluralidade de sensibilidades pode ser gravada em um úni- co ciclo da matriz, a faixa dinâmica pode ser maior se gravada em pa- ralelo, ao contrário da natureza em série dependente do tempo de ou- tras modalidades.
[0163] Em uma modalidade, uma matriz pode compreender fileiras de pixels que podem ser colocados em fileiras com base em suas sen- sibilidades. Em uma modalidade, os pixels de diferentes sensibilidades podem alternar dentro de uma fileira ou coluna em relação aos seus pixels vizinhos mais próximos para formar um padrão do tipo tabuleiro de xadrez ao longo de toda a matriz com base nessas sensibilidades. O descrito acima pode ser realizado através de qualquer disposição de compartilhamento de circuito de pixel ou em qualquer disposição de circuito de pixel independente.
[0164] Uma ampla faixa dinâmica pode ser obtida tendo-se múlti- plos TX global, cada TX disparando somente em um diferente conjunto de pixels. Por exemplo, em modo global, um sinal TX global 1 está disparando um conjunto 1 de pixels, um sinal TX global 2 está dispa- rando um conjunto 2 de pixels.... um sinal TX global n está disparando um conjunto n de pixels.
[0165] Com base na Figura 11, a Figura 27A mostra um exemplo de temporização para 2 diferentes sensibilidades de pixel (sensibilida- de de pixel duplo) na matriz de pixel. Nesse caso, o sinal TX global 1 dispara metade dos pixels da matriz e o TX global 2 dispara a outra metade dos pixels. Uma vez que TX global 1 e TX global 2 possuem diferentes posições de borda "ligado" para "desligado", a luz integrada é diferente entre os pixels TX1 e os pixels TX2. A Figura 27B mostra uma modalidade diferente da temporização para sensibilidade de pixel duplo. Nesse caso, o pulso de luz é modulado duas vezes (duração e/ou amplitude do pulso). Os pixels TX1 integram o pulso P1 e os pixels TX2 integram os pulsos P1+P2. A separação dos sinais de TX global pode ser realizada de diversas maneiras. Seguem exemplos: i. Diferenciação de linhas TX de cada fileira; e ii. Envio de múltiplas linhas TX por fileira, cada uma ende- reçada a um conjunto diferente de pixels.
[0166] Em uma implementação, é descrito um meio para fornecer vídeo de ampla faixa dinâmica, o qual explora o sistema de pulsação de cor descrito na presente revelação. A base disso é ter múltiplos fla- vors ("sabores") de pixels, ou pixels que podem ser ajustados de ma- neira diferente, dentro da mesma matriz monocromática que são ca- pazes de integrar a luz incidente para diferentes durações dentro do mesmo quadro. Um exemplo da disposição de pixel na matriz desse sensor seria um padrão uniforme de tabuleiro de xadrez como um to- do, com dois tempos de integração independentemente variáveis. Para esse caso, é possível fornecer informação tanto vermelha quanto azul dentro do mesmo quadro. De fato, é possível fazer isso ao mesmo tempo ao ampliar a faixa dinâmica para o quadro verde, onde é mais necessária, uma vez que os dois tempos de integração podem ser ajustados quadro a quadro. O benefício é que os artefatos de movi- mentação de cor são um problema menor se todos os dados forem derivados de dois quadros em relação a três quadros. Há evidente- mente uma perda subsequente de resolução espacial dos dados do vermelho e azul, mas que é de menor consequência para a qualidade da imagem em comparação com dados do verde, uma vez que o com-
ponente de luminância é dominado pelos dados do verde.
[0167] Uma propriedade inerente da matriz monocromática de ampla faixa dinâmica (WDR - "wide-dynamic range") é que os pixels que possuem o longo tempo de integração devem integrar um super- conjunto da luz vista pelos pixels de curto tempo de integração. Para a operação regular da ampla faixa dinâmica nos quadros verdes, que é desejável. Para os quadros vermelho e azul, isso significa que a pul- sação deve ser controlada em conjunto com os períodos de exposição para, por exemplo, fornecer luz azul desde o início da longa exposição e trocar para o vermelho no ponto em que os pixels de curta exposição são ligados (ambos os tipos de pixel possuem suas cargas transferi- das ao mesmo tempo).
[0168] No estágio de fusão de cor, os dois flavors ("sabores") de pixels são separados em duas memórias temporárias. Os pixels vazios são, então, preenchidos ao utilizar, por exemplo, interpolação linear. Nesse ponto, uma memória temporária contém uma imagem completa de dados do azul e a outra do vermelho+azul. A memória temporária azul pode ser subtraída da segunda memória temporária para fornecer dados vermelhos puros.
[0169] As Figuras 28A a 28C ilustram o uso de uma emissão de luz branca que é pulsada e/ou sincronizada, ou mantida constante, com um sensor de cor correspondente. Como pode ser visto na Figura 28A, um emissor de luz branca pode ser configurado para emitir um feixe de luz durante o período de supressão de um sensor correspon- dente para fornecer uma fonte de luz controlada em um ambiente de luz controlada. A fonte de luz pode emitir um feixe em uma magnitude constante e variar a duração do pulso conforme visto na Figura 28A, ou pode manter o pulso constante com variação da magnitude para obter dados corretamente expostos como ilustrado na Figura 28B. É ilustrada na Figura 28C uma representação gráfica de uma fonte de luz constante que pode ser modulada com corrente variável que é con- trolada por e sincronizada com um sensor.
[0170] Em uma modalidade, luz branca ou luz de múltiplo espectro pode ser emitida como um pulso, se desejado, para fornecer dados para uso dentro do sistema (mais bem ilustrado nas Figuras 28A a 28C). As emissões de luz branca, em combinação com partições do espectro eletromagnético, podem ser úteis para enfatizar e desenfati- zar determinados aspectos dentro de uma cena. Essa modalidade de- ve utilizar um padrão de pulsação de: i. Pulso verde; ii. Pulso vermelho; iji. Pulso azul; iv. Pulso verde; v. Pulso vermelho; vi. Pulso azul; vii. Pulso de luz branca (múltiplos espectros); viii. (Repetir)
[0171] Qualquer sistema que utiliza um ciclo de sensor de imagem que é ao menos duas vezes mais rápido do que o ciclo de luz branca deve ficar dentro do escopo da revelação. Será reconhecido que qual- quer combinação de partições do espectro eletromagnético é contem- plada na presente invenção, seja do espectro visível ou do não visível do espectro eletromagnético completo.
[0172] As Figuras 29A e 29B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor monolítico 2900 tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional de acordo com os ensinamentos e princípios da revelação. Essa implementação pode ser desejável pa- ra a captura de imagem tridimensional, sendo que as duas matrizes de pixel 2902 e 2904 podem ser deslocadas durante o uso. Em uma outra implementação, uma primeira matriz de pixel 2902 e uma segunda ma- triz de pixel 2904 pode ser dedicada a receber uma faixa predetermi- nada de comprimentos de onda de radiação eletromagnética, sendo que a primeira matriz de pixel é dedicada a uma faixa diferente de comprimento de onda de radiação eletromagnética em relação à se- gunda matriz de pixel.
[0173] As Figuras 30A e 30B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento 3000 construído sobre uma pluralidade de subs- tratos. Como ilustrado, uma pluralidade de colunas de pixel 3004 que forma a matriz de pixel está localizada no primeiro substrato 3002 e uma pluralidade de colunas de circuito 3008 está localizada em um segundo substrato 3006. São também ilustradas na figura a conexão elétrica e a comunicação entre uma coluna de pixels e sua coluna as- sociada ou correspondente de circuito. Em uma implementação, um sensor de imagem, que pode ser de outra forma fabricado com sua matriz de pixel e circuitos de suporte em um único substrato/circuito integrado monolítico, pode ter a matriz de pixel separada de todos ou da maioria dos circuitos de suporte. A revelação pode utilizar ao me- nos dois substratos/circuitos integrados, os quais serão empilhados usando-se tecnologia de empilhamento tridimensional. O primeiro 3002 dos dois substratos/circuitos integrados pode ser processado usando-se um processo de imagem CMOS. O primeiro substra- to/circuito integrado 3002 pode ser compreendido tanto de uma matriz de pixel exclusivamente ou de uma matriz de pixel circundada por cir- cuitos limitados. O segundo ou subsequente substrato/circuito integra- do 3006 pode ser processado usando-se qualquer processo e não precisa ser de um processo de imagem CMOS. O segundo substra- to/circuito integrado 3006 pode ser, porém não está limitado a, um processo digital altamente denso para integrar uma variedade e núme-
ro de funções em um espaço ou área muito limitado no substra- to/circuito integrado, ou um processo de modo misto ou analógico para integrar, por exemplo, funções analógicas precisas, ou um processo de RF para implementar capacidade sem fio, ou MEMS ("Micro- Electro-Mechanical Systems" - Sistemas Micro-Eletro-Mecânicos) para integrar dispositivos MEMS. O substrato/circuito integrado de imagem CMOS 3002 pode ser empilhado com o segundo ou subsequente substrato/circuito integrado 3006 com o uso de qualquer técnica tridi- mensional. O segundo substrato/circuito integrado 3006 pode suportar grande parte ou a maioria dos circuitos que de outra forma teriam sido implementados no primeiro circuito integrado de imagem CMOS 3002 (se implementados em um substrato/circuito integrado monolítico) co- mo circuitos periféricos e, portanto, aumentaram a área total do siste- ma enquanto se mantém o tamanho da matriz de pixel constante e otimizado ao máximo possível. A conexão elétrica entre os dois subs- tratos/circuitos integrados pode ser realizada através de interconexões 3003 e 3005 que podem ser ligações por fio, bump e/ou TSV (Through Silicon Via).
[0174] As Figuras 31A e 31B ilustram uma vista em perspectiva e uma vista lateral, respectivamente, de uma implementação de um sen- sor de imageamento 3100 tendo uma pluralidade de matrizes de pixel para produzir uma imagem tridimensional. O sensor de imagem tridi- mensional pode ser construído sobre uma pluralidade de substratos e pode compreender a pluralidade de matrizes de pixel e outros circuitos associados, sendo que uma pluralidade de colunas de pixel 3104a que formam a primeira matriz de pixel e uma pluralidade de colunas de pixel 3104b que formam uma segunda matriz de pixel estão localiza- das em respectivos substratos 3102a e 3102b, respectivamente, e uma pluralidade de colunas de circuito 3108a e 3108b está localizada em um substrato separado 3106. São também ilustradas as conexões elétricas e as comunicações entre colunas de pixels para a coluna de circuito associada ou correspondente.
[0175] Será reconhecido que os ensinamentos e princípios da re- velação podem ser usados em uma plataforma de dispositivo reutilizá- vel, uma plataforma de dispositivo de uso limitado, uma plataforma de dispositivo limitado a um número específico de usos, ou uma platafor- ma de dispositivo de uso único/descartável sem que se afaste do es- copo da revelação. Será reconhecido que em uma plataforma de dis- positivo reutilizável um usuário final é responsável pela limpeza e este- rilização do dispositivo. Em uma plataforma de dispositivo de uso limi- tado, o dispositivo pode ser usado por algumas quantidades especifi- cadas de vezes antes de se tornar inoperante. Um típico dispositivo novo é entregue estéril, sendo que usos adicionais exigem que o usuá- rio final o limpe e esterilize antes do uso adicional. Em uma plataforma de dispositivo limitado a um número específico de usos, um terceiro pode reprocessar (por exemplo, limpar, embalar e esterilizar) um dis- positivo de uso único para usos adicionais a um custo menor do que uma unidade nova. Em uma plataforma de dispositivo de uso úni- co/descartável, um dispositivo é fornecido estéril à sala de cirurgia e usado somente uma vez antes de ser descartado.
[0176] Uma modalidade de um emissor pode empregar um obtu- rador mecânico e filtros para criar luz de cor pulsada. É ilustrado na Figura 32 um método alternativo para produzir luz de cor pulsada com o uso de uma fonte de luz branca e um filtro mecânico de cor e um sis- tema de obturador 3200. A roda poderia conter um padrão de janelas de filtro de cor translúcida e seções opacas para obturação. As seções opacas não permitiriam a entrada de luz e criaria um período de escu- ridão no qual poderia ocorrer a leitura do sensor. A fonte de luz branca poderia ser baseada em qualquer tecnologia: laser, LED, xenônio, ha- logênio, haleto metálico, ou outra. A luz branca pode ser projetada através de uma série de filtros de cor 3207, 3209 e 3211 do padrão desejado de pulsos de luz colorida. Uma modalidade padrão poderia ser filtro Vermelho 3207, filtro Verde 3209, filtro Azul 3211, filtro Verde
3209. Os filtros e o sistema de obturador 3200 poderiam ser dispostos em uma roda que gira na frequência exigida para ficar em sincronia com o sensor, de modo o conhecimento do comprimento do arco e da taxa de rotação dos filtros mecânicos de cor 3207, 3209 e 3211 e do sistema de obturadores 3205 forneceria informação de temporização para a operação de um sensor de imagem monocromática correspon- dente.
[0177] Ilustrada na Figura 33, uma modalidade pode compreender um padrão somente de filtros de cor translúcida 3307, 3309 e 3311 em uma roda de filtro 3300. Na presente configuração, pode ser usado um obturador diferente. O obturador poderia ser mecânico e poderia ajus- tar dinamicamente a duração do "pulso" variando-se o tamanho. Alter- nativamente, o obturador poderia ser eletrônico e incorporado no pro- jeto do sensor. Um motor que gira a roda do filtro 3300 precisará se comunicar com ou ser controlado em conjunto com o sensor, de modo que o conhecimento do comprimento do arco e da taxa de rotação do sistema de filtros mecânicos de cor 3307, 3309 e 3311 forneça infor- mações de temporização para a operação do sensor de imagem mo- nocromática correspondente. O sistema de controle precisará saber o filtro de cor adequado para cada quadro capturado pelo sensor, de modo que a imagem colorida completa possa ser reconstruída ade- quadamente no ISP. Um padrão de cor de RGBG é mostrado, porém outras cores e/ou padrões poderiam ser usados se for vantajoso. O tamanho relativo das seções de cor é mostrado como sendo igual, mas poderia ser ajustado se for vantajoso. A estrutura mecânica do filtro é mostrada como um círculo que se movimenta rotacionalmente, mas que poderia ser retangular com um movimento linear, ou um for-
mato diferente com um padrão de movimento diferente.
[0178] Como ilustrado na Figura 34, uma modalidade para pulsar luz colorida pode consistir em uma roda mecânica ou cilindro que con- tém os componentes eletrônicos e dissipadores de calor para LEDS Vermelhos, Verdes, Azuis ou Brancos. Os LEDs ficariam espaçados na distância que estaria relacionada à taxa de giro ou torção do cilin- dro ou roda para permitir a temporização de pulsação de luz consisten- te com outras modalidades na patente. A roda ou cilindro seria girada com o uso de um motor elétrico e uma braçadeira mecânica que fixa a roda ou cilindro ao motor elétrico. O motor seria controlado usando-se um microcontrolador, FPGA, DSP, ou outro dispositivo programável que conteria um algoritmo de controle para a temporização adequada conforme descrito na patente. Haveria uma abertura mecânica em um lado que seria opticamente acoplada a uma fibra óptica para transpor- tar a fibra para o final dos escopos com os métodos descritos na pa- tente. Esse acoplamento também poderia ter uma abertura mecânica que poderia abrir e fechar para controlar a quantidade de luz permitida através do cabo de fibra óptica. Esse seria um dispositivo de obturador mecânico que alternativamente poderia usar o obturador eletrônico que é projetado no sensor do tipo CMOS ou CCD. Seria difícil contro- lar e calibrar esse dispositivo em produção, mas seria uma outra forma de se obter luz pulsada dentro de nosso sistema.
[0179] É ilustrada na Figura 35 uma modalidade de um emissor 3502 que compreende um filtro linear 3504 e um mecanismo de obtu- rador para fornecer radiação eletromagnética pulsada. O filtro linear 3504 e o mecanismo de obturador sem movimentam horizontalmente em uma frequência exigida para filtrar os comprimentos de onda de luz apropriados.
[0180] É ilustrada na Figura 36 uma modalidade de um emissor 3602 que compreende um filtro de prisma 3604 e um mecanismo de obturador para fornecer radiação eletromagnética pulsada. O filtro de prisma 3604 filtra luz e libera uma emissão que pode incluir um obtu- rador. O filtro de prisma 3604 se movimenta em uma frequência exigi- da para fornecer um padrão de emissão de cor correta.
[0181] Adicionalmente, os ensinamentos e princípios da revelação podem incluir todos e quaisquer comprimentos de onda de energia ele- tromagnética, incluindo os espectros visível e não visível, como infra- vermelho (IV), ultravioleta (UV) e raios X.
[0182] A Figura 37 é um diagrama esquemático que ilustra um sis- tema 3700 para fornecer iluminação a um ambiente deficiente de luz, como para imageamento endoscópico. O sistema 3700 pode ser usa- do em combinação com quaisquer dos sistemas, métodos ou dispositi- vos revelados na presente invenção. O sistema 3700 inclui uma fonte de luz 3702, um controlador 3704, um guia de onda de ponte 3706, um conector de guia de onda 3708, um guia de onda de lúmen 3710, um lúmen 3712 e um sensor de imagem 3714 com componentes ópticos anexos (por exemplo, uma lente). A fonte de luz 3702 gera luz que se desloca através do guia de onda de ponte 3706 e do guia de onda de lúmen 3710 para iluminar uma cena em uma extremidade distal do lú- men 3712. A fonte de luz 3700 pode ser usada para emitir qualquer comprimento de onda de energia eletromagnética incluindo compri- mentos de onda visíveis, infravermelho, ultravioleta ou outros compri- mentos de onda. O lúmen 3712 pode ser inserido no corpo de um pa- ciente para imageamento, como durante um procedimento ou exame. A luz é fornecida como ilustrado pelas linhas tracejadas 3716. Uma cena iluminada pela luz pode ser capturada com o uso do sensor de imagem 3714 e exibida para um médico ou outra equipe médica. O controlador 3704 pode fornecer sinais de controle à fonte de luz 3702 para controlar quando a iluminação é fornecida a uma cena. Em uma modalidade, a fonte de luz 3702 e o controlador 3704 estão localiza-
dos dentro de uma unidade de controle de câmera (CCU - "camera control unit") ou console externo ao qual um endoscópio é conectado. Se o sensor de imagem 3714 incluir um sensor CMOS, a luz pode ser periodicamente fornecida para a cena em uma série de pulsos de ilu- minação entre os períodos de leitura do sensor de imagem 3714 du- rante o que é conhecido como um período de supressão. Dessa forma, a luz pode ser pulsada de maneira controlada para evitar a sobreposi- ção em períodos de leitura dos pixels de imagem em uma matriz de pixel do sensor de imagem 3714.
[0183] Em uma modalidade, o guia de onda de lúmen 3710 inclui uma ou uma pluralidade de fibras ópticas. As fibras ópticas podem ser produzidas a partir de um material de baixo custo, como plástico, para permitir o descarte do guia de onda de lúmen 3710 e/ou de outras por- ções de um endoscópio. Em uma modalidade, uma fibra de vidro sim- ples tendo um diâmetro de 500 mícrons pode ser usada. O guia de onda de ponte 3706 pode ser fixado de modo permanente à fonte de luz 3702. Por exemplo, um guia de onda de ponte 3706 pode receber luz de um emissor dentro da fonte de luz 3702 e fornecer essa luz para o guia de onda de lúmen 3710 no local do conector 3708. Em uma modalidade, o guia de onda de ponte 106 pode incluir uma ou mais fibras de vidro. O guia de onda de ponte pode incluir qualquer outro tipo de guia de onda para guiar a luz para o guia de onda de lúmen
3710. O conector 3708 pode acoplar seletivamente o guia de onda de ponte 3706 ao guia de onda de lúmen 3710 e permitir que a luz dentro do guia de onda de ponte 3706 passe para o guia de onda de lúmen
3710. Em uma modalidade, o guia de onda de lúmen 3710 pode ser acoplado diretamente a uma fonte de luz sem qualquer guia de onda de ponte interveniente 3706.
[0184] As Figuras 38 a 40 são diagrama de blocos esquemáticos que ilustram uma fonte de luz 3800 que tem uma pluralidade de emis-
sores. Em relação à Figura 38, os emissores incluem um primeiro emissor 3802, um segundo emissor 3804 e um terceiro emissor 3806. Emissores adicionais podem ser incluídos, conforme discutido adicio- nalmente abaixo. Os emissores 3802, 3804 e 3806 podem incluir um ou mais emissores de laser que emitem luz com diferentes compri- mentos de onda. Por exemplo, o primeiro emissor 3802 pode emitir um comprimento de onda que é consistente com um laser azul, o segundo emissor 3804 pode emitir um comprimento de onda que é consistente com um laser verde e o terceiro emissor 3806 pode emitir um compri- mento de onda que é consistente com um laser vermelho. Por exem- plo, o primeiro emissor 3802 pode incluir um ou mais lasers azuis, o segundo emissor 3804 pode incluir um ou mais lasers verdes e o ter- ceiro emissor 3806 pode incluir um ou mais lasers vermelhos. Os emissores 3802, 3804 e 3806 emitem feixes de laser em direção a uma região de coleta 3808, que pode ser o local de um guia de onda, lente ou outro componente óptico para coletar e/ou fornecer luz a um guia de onda, como o guia de onda de ponte 3706 ou guia de onda de lúmen 3710 da Figura 37.
[0185] Em uma implementação em que um paciente recebeu um reagente ou corante para auxiliar na identificação de determinados te- cidos, estruturas, reações químicas, processos biológicos etc., os emissores 3802, 3804, e 3806 podem emitir comprimento(s) de onda para apresentar fluorescência os reagentes ou corantes. Esse(s) com- primento(s) de onda pode(m) ser determinado(s) com base nos rea- gentes ou corantes administrados ao paciente. Nessa modalidade, os emissores podem precisar ser altamente precisos para emitir compri- mento(s) de onda desejado(s) para apresentar fluorescência ou ativar determinados reagentes ou corantes.
[0186] Na modalidade da Figura 38, os emissores 3802, 3804, 3806 fornecem, cada um, luz laser para a região de coleta 3808 em ângulos diferentes. A variação no ângulo pode levar a variações nas quais a energia eletromagnética está situada em um guia de onda de saída. Por exemplo, se a luz passa imediatamente para dentro de um feixe de fibras (de vidro ou de plástico) na região de coleta 3808, os ângulos variáveis podem fazer com que diferentes quantidades de luz entrem em diferentes fibras. Por exemplo, o ângulo pode resultar em varia- ções de intensidade ao longo da região de coleta 3808. Além disso, a luz dos diferentes emissores pode não ser homogeneamente mistura- da, de modo que algumas fibras possam receber diferentes quantida- des de luz de cores diferentes. A variação na cor ou intensidade de luz em diferentes fibras pode levar à iluminação não ideal de uma cena. Por exemplo, variações nas intensidades de luz ou luz liberada podem resultar na cena e em imagens capturadas.
[0187] Em uma modalidade, um elemento óptico interveniente po- de ser colocado entre um feixe de fibras e os emissores 3802, 3804, 3806 para misturar as diferentes cores (comprimentos de onda) de luz antes da entrada nas fibras ou outro guia de onda. Exemplos de ele- mentos ópticos intervenientes incluem um difusor, uma haste de mistu- ra, uma ou mais lentes ou outros componentes ópticos que misturam a luz de modo que uma dada fibra receba uma mesma quantidade de cada cor (comprimento de onda). Por exemplo, cada fibra do feixe de fibras pode ter uma mesma cor. Esta mistura pode levar à mesma cor em cada fibra, mas pode, em algumas modalidades, ainda resultar em um brilho total diferente aplicado a diferentes fibras. Em uma modali- dade, o elemento óptico interveniente pode também espalhar ou mes- mo bloquear a luz sobre a região de coleta, de modo que cada fibra tenha a mesma quantidade total de luz (por exemplo, a luz pode ser espalhada em um perfil cartola). Um difusor ou haste de mistura pode causar a perda de luz.
[0188] Embora a região de coleta 3808 seja representada como um componente físico na Figura 38, a região de coleta 3808 pode sim- plesmente ser uma região onde a luz dos emissores 3802, 3804 e 3806 é liberada. Em alguns casos, a região de coleta 3808 pode incluir um componente óptico como um difusor, uma haste de mistura, uma lente ou qualquer outro componente óptico interveniente entre os emissores 3802, 3804, 3806 e um guia de onda de saída.
[0189] A Figura 39 ilustra uma modalidade de uma fonte de luz 3800 com os emissores 3802, 3804, 3806 que fornecem luz para a re- gião de coleta 3808 em um ângulo igual ou substancialmente igual. A luz é fornecida a um ângulo substancialmente perpendicular à região de coleta 3808. A fonte de luz 3800 inclui uma pluralidade de espelhos dicroicos incluindo um primeiro espelho dicroico 3902, um segundo espelho dicroico 3904 e um terceiro espelho dicroico 3906. Os espe- lhos dicroicos 3902, 3904, 3906 incluem espelhos que refletem um primeiro comprimento de onda de luz, mas que transmitem (ou são transparentes a) um segundo comprimento de onda de luz. Por exem- plo, o terceiro espelho dicroico 3906 pode refletir luz laser azul forneci- da pelo terceiro emissor, enquanto é transparente à luz vermelha e verde fornecidas pelo primeiro emissor 3802 e pelo segundo emissor 3804, respectivamente. O segundo espelho dicroico 3904 pode ser transparente à luz vermelha do primeiro emissor 3802, mas reflexivo à luz verde do segundo emissor 3804. Se outras cores ou comprimentos de onda forem incluídos, espelhos dicroicos podem ser selecionados para refletir luz correspondente para ao menos um emissor e ser transparentes a outros emissores. Por exemplo, o terceiro espelho di- croico 3906 reflete a luz do terceiro emissor 3806, mas para emissores "atrás" dele, por exemplo, do primeiro emissor 3802 e do segundo emissor 3804. Em modalidades em que dezenas ou centenas de emissores estão presentes, cada espelho dicroico pode ser reflexivo para um emissor correspondente e emissores na sua frente enquanto é transparente a emissores atrás dele. Isso pode permitir que dezenas ou centenas de emissores emitam energia eletromagnética à região de coleta 3808 em um ângulo substancialmente igual.
[0190] Devido ao fato de que os espelhos dicroicos permitem que outros comprimentos de onda sejam transmitidos ou passem através deles, cada um dos comprimentos de onda pode chegar à região de coleta 3808 a partir de um mesmo ângulo e/ou com o mesmo centro ou ponto focal. O fornecimento de luz a partir do mesmo ângulo e/ou do mesmo ponto focal/central pode melhorar significativamente a re- cepção e a mistura de cores na região de coleta 3808. Por exemplo, uma fibra específica pode receber as cores diferentes nas mesmas proporções que foram transmitidas/refletidas pelos emissores 3802, 3804, 3806 e os espelhos 3902, 3904, 3906. A mistura de luz pode ser significativamente aprimorada na região de coleta em comparação com a modalidade da Figura 38. Em uma modalidade, quaisquer com- ponentes ópticos aqui discutidos podem ser usados na região de cole- ta 3808 para coletar luz antes de fornecê-la a uma fibra ou feixe de fibras.
[0191] A Figura 40 ilustra uma modalidade de uma fonte de luz 3800 com os emissores 3802, 3804, 3806 que também fornecem luz para a região de coleta 3808 em um ângulo igual ou substancialmente igual. Entretanto, a luz incidente na região de coleta 3808 é deslocada em relação à perpendicular. O ângulo 4002 indica o deslocamento de ângulo em relação à perpendicular. Em uma modalidade, os emissores de laser 3802, 3804, 3806 podem ter perfis de intensidade em seção transversal que são Gaussianos. Conforme discutido anteriormente, a distribuição aprimorada de energia luminosa entre as fibras pode ser obtida mediante a criação de um perfil de intensidade com formato mais plano ou de cartola. Em uma modalidade, à medida que o ângulo 4002 é aumentado, a intensidade através da região de coleta 3808 se aproxima de um perfil cartola. Por exemplo, um perfil cartola pode ser aproximado mesmo com um feixe de saída não plano mediante o au- mento do ângulo 4002 até que o perfil seja suficientemente plano.
[0192] O perfil cartola pode também ser obtido com o uso de uma ou mais lentes, difusores, hastes de mistura ou qualquer outro compo- nente óptico interveniente entre os emissores 3802, 3804, 3806 e um guia de onda de saída, fibra ou feixe de fibras ópticas.
[0193] A Figura 41 é um diagrama esquemático que ilustra uma única fibra óptica 4102 emitindo por meio de um difusor 4104 em uma saída. Em uma modalidade, a fibra óptica 4102 pode ter um diâmetro de 500 mícrons e ter uma abertura numérica de, 65 e emitir um cone de luz 4106 de cerca de 70 ou 80 graus sem um difusor 4104. Com o difusor 4104, o cone de luz 4106 pode ter um ângulo de cerca de 110 ou 120 graus. O cone de luz 4106 pode ser uma parte principal de on- de toda a luz parte e é uniformemente distribuída. O difusor 4104 pode permitir uma distribuição mais uniforme de energia eletromagnética de uma cena observada por um sensor de imagem.
[0194] Em uma modalidade, o guia de onda de lúmen 4102 pode incluir uma única fibra óptica plástica ou de vidro de cerca de 500 mií- crons. A fibra plástica pode ser de baixo custo, mas a largura pode permitir que a fibra transporte uma quantidade suficiente de luz para uma cena, com acoplamento, difusor ou outras perdas. Por exemplo, fibras menores podem não ser capazes de carregar tanta luz ou ener- gia quanto uma fibra maior. O guia de onda de lúmen 3710 pode incluir uma única fibra ou uma pluralidade de fibras ópticas. O guia de onda de lúmen 3702 pode receber luz diretamente da fonte de luz ou atra- vés de um guia de onda de ponte (por exemplo, consulte o guia de on- da de ponte 3706 da Figura 37). Um difusor pode ser usado para am- pliar a saída de luz 3706 para um campo de visão desejado do sensor de imagem 3714 ou outros componentes ópticos.
[0195] Embora três emissores sejam mostrados nas Figuras 38 a 40, emissores em número de um até centenas ou mais podem ser usados em algumas modalidades. Os emissores podem ter diferentes comprimentos de onda ou espectros de luz que eles emitem, e que podem ser usados para cobrir contiguamente uma porção desejada do espectro eletromagnético (por exemplo, o espectro visível, bem como os espectros infravermelho e ultravioleta).
[0196] Em uma modalidade, uma fonte de luz com uma pluralidade de emissores pode ser usada para imageamento multiespectral ou hi- perespectral em um ambiente deficiente de luz. Por exemplo, diferen- tes produtos químicos, materiais ou tecidos podem ter diferentes res- postas às diferentes cores ou comprimentos de onda de energia ele- tromagnética. Alguns tecidos possuem sua própria assinatura espec- tral (como eles respondem ou variam ao refletir comprimentos de onda de radiação eletromagnética). Em uma modalidade, um tipo específico de tecido pode ser detectado com base em como ele responde a um comprimento de onda específico ou uma combinação específica de comprimentos de onda. Por exemplo, os tecidos de vasos sanguíneos podem absorver e refletir diferentes comprimentos de onda ou espec- tros de energia eletromagnética de uma maneira exclusiva para distin- gui-los de músculo, gordura, osso, nervo, ureter ou outros tecidos ou materiais no corpo. Além disso, tipos específicos de músculo ou outros tipos de tecido podem ser distinguidos com base em sua resposta es- pectral. Estados de doença do tecido também podem ser determina- dos com base nas informações espectrais. Consulte a Patente US nº
8.289.503. Consulte, também, a Patente US nº 8.158.957.
[0197] Em uma modalidade, dados de imagem fluorescente e/ou dados de imagem multiespectral ou hiperespectral podem ser obtidos usando-se um ou mais filtros para filtrar toda a luz ou energia eletro- magnética, exceto no comprimento de onda ou espectro desejado. À
Figura 42 é um diagrama de blocos que ilustra um filtro 4202 para fil- trar comprimentos de onda indesejados antes que a luz 4208 (ou outra radiação eletromagnética) encontre um sensor de imageamento 4204 ou outro meio de imageamento (por exemplo, um filme). Em uma mo- dalidade, a luz branca 4208 passa através do filtro 4202 e a luz filtrada 4210 passa através de uma lente 4206 para ser focada no sensor de imageamento 4204 para captura e leitura da imagem. O filtro pode es- tar localizado em qualquer ponto no sistema ou pode ser um atributo da lente 4206 ou do sensor de imagem 4204.
[0198] Em um ambiente deficiente de luz, a luz 4208 pode incluir luz branca emitida por um emissor no ambiente deficiente de luz. O filtro 4202 pode ser selecionado para o exame desejado. Por exemplo, se for desejado detectar ou destacar um tecido específico, o filtro 4202 pode ser selecionado para permitir a passagem de comprimentos de onda correspondentes à resposta espectral do tecido específico ou à emissão de fluorescência de um reagente específico. O sensor de imagem 4204, que pode incluir um sensor de imagem monocromática, pode gerar uma imagem. Os pixels da imagem capturada que exce- dem um limiar ou ficam abaixo de um limiar podem ser, então, caracte- rizados como correspondentes ao tecido específico. Esses dados po- dem ser, então, usados para gerar uma imagem que indica a localiza- ção do tecido específico.
[0199] Em uma outra modalidade, um corante ou reagente de fluo- rescência pode ser usado para imagear tipos de tecido específicos, vias, ou similares em um corpo. Por exemplo, um corante de fluores- cência pode ser administrado a um paciente e, então, uma imagem do corante pode ser capturada. Em uma modalidade, a fluorescência do corante pode ser iniciada usando-se um comprimento de onda de energia eletromagnética específico. Por exemplo, o corante pode so- mente apresentar fluorescência quando a energia eletromagnética es-
tiver presente.
[0200] Entretanto, ambos os filtros e corantes de fluorescência significativamente restringem o exame. Por exem plo, se um filtro for usado, a resposta espectral desejada que pode ser detectada, e assim o material ou tecido que pode ser detectado, é limitada pelos filtros disponíveis. Além disso, os filtros podem precisar ser trocados ou substituídos. Com relação a corantes, o corante deve ser administrado antes do imageamento e pode haver conflitos entre a administração de diferentes corantes para diferentes finalidades durante o mesmo exa- me. Assim, os exames usando filtros e corantes podem levar muito tempo e podem exigir muitos diferentes exames para se obter a infor- mação desejada.
[0201] Em uma modalidade, o imageamento multiespectral ou hi- perespectral em um ambiente deficiente de luz pode ser realizado com o uso de um sensor de imagem monocromático e emissores que emi- tem uma pluralidade de diferentes comprimentos de onda ou espectros de energia eletromagnética. Em uma modalidade, uma fonte de luz ou outra fonte eletromagnética (como uma fonte de luz 3800 em quais- quer das Figuras 38 a 40) pode incluir uma pluralidade de emissores para cobrir os espectros desejados.
[0202] A Figura 43 ilustra uma porção do espectro eletromagnético 4300 dividida em vinte diferentes subespectros. O número de subes- pectros é apenas ilustrativo. Em ao menos uma modalidade, o espec- tro 4300 pode ser dividido em centenas de subespectros, cada um com uma pequena banda de ondas. O espectro pode se estender desde o espectro infravermelho 4302, passando pelo espectro visível 4304, chegando até o espectro ultravioleta 4306. Cada um dos subes- pectros possui uma banda de ondas 4308 que abrange uma porção do espectro 4300. Cada banda de ondas pode ser definida por um com- primento de onda superior e um comprimento de onda inferior.
[0203] Em uma modalidade, ao menos um emissor (como um emissor de laser) pode ser incluído em uma fonte de luz (como as fon- tes de luz 3702, 3800 nas Figuras 37 a 40) para cada subespectro a fim de fornecer cobertura completa e contígua de todo o espectro
4300. Por exemplo, uma fonte de luz para fornecer cobertura dos su- bespectros ilustrados pode incluir ao menos 20 diferentes emissores, ao menos um para cada subespectro. Em uma modalidade, cada emissor pode cobrir um espectro que cobre 40 nanômetros. Por exemplo, um emissor pode emitir luz dentro de uma banda de ondas de 500 nm a 540 nm, enquanto outro emissor pode emitir luz dentro de uma banda de ondas de 540 nm a 580 nm. Em uma outra modalidade, os emissores podem cobrir outros tamanhos de bandas de ondas, de- pendendo dos tipos de emissores disponíveis ou das necessidades de imageamento. Por exemplo, uma pluralidade de emissores pode incluir um primeiro emissor que cobre uma banda de ondas de 500 a 540 nm, um segundo emissor que cobre uma banda de ondas de 540 nm a 640 nm, e um terceiro emissor que cobre uma banda de ondas de 640 nm a 650 nm. Cada emissor pode cobrir uma fatia diferente do espectro eletromagnético variando de infravermelho distante, infravermelho in- termediário, infravermelho próximo, luz visível, ultravioleta próximo e/ou ultravioleta extremo. Em alguns casos, uma pluralidade de emis- sores do mesmo tipo ou comprimento de onda pode ser incluída para fornecer potência de emissão suficiente para o imageamento. O núme- ro de emissores necessários para uma banda de ondas específica po- de depender da sensibilidade de um sensor monocromático à banda de ondas e/ou da capacidade de emissão de energia dos emissores naquela banda de ondas.
[0204] As larguras e cobertura de banda de ondas fornecidas pe- los emissores podem ser selecionadas para fornecer qualquer combi- nação desejada de espectros. Por exemplo, a cobertura contígua de um espectro usando larguras muito pequenas de banda de ondas (por exemplo, 10 nm ou menos) pode permitir um imageamento hiperes- pectral altamente seletivo. Uma vez que os comprimentos de onda são provenientes de emissores que podem ser seletivamente ativados, po- de-se obter uma extrema flexibilidade ao determinar respostas espec- trais de um material durante um exame. Assim, muito mais informa- ções sobre a resposta espectral podem ser obtidas em menos tempo e dentro de um único exame, o que ao contrário teria exigido diversos exames, gerado atrasos devido à administração de corantes ou man- chas, ou similares. Em uma modalidade, um sistema pode capturar dados de imagem hiperespectral e processar esses dados para identi- ficar qual tipo de tecido existe em cada pixel.
[0205] A Figura 44 é um diagrama esquemático que ilustra um di- agrama de temporização 4400 para emissão e leitura a fim de gerar uma imagem multiespectral ou hiperespectral, de acordo com uma modalidade. A linha contínua representa períodos de leitura (picos 4402) e de supressão (vales) para capturar uma série de quadros 4404-4414. A série de quadros 4404-4414 pode incluir uma series re- petitiva de quadros que podem ser usados para gerar dados hiperes- pectrais para um fluxo de alimentação de vídeo. A série de quadros inclui um primeiro quadro 404, um segundo quadro 4406, um terceiro quadro 4408, um quarto quadro 4410, um quinto quadro 4412 e um enésimo quadro 4426.
[0206] Em uma modalidade, cada quadro é gerado com base em ao menos um pulso de energia eletromagnética. O pulso de energia eletromagnética é refletido e detectado por um sensor de imagem e, então, lido em uma leitura subsequente (4402). Assim, cada período de supressão e leitura resulta em um quadro de imagem para um es- pectro específico de energia eletromagnética. Por exemplo, o primeiro quadro 404 pode ser gerado com base em um espectro de um primei-
ro dentre um ou mais pulsos 4416, um segundo quadro 4406 pode ser gerado com base em um espectro de um segundo dentre um ou mais pulsos 4418, um terceiro quadro 4408 pode ser gerado com base em um espectro de um terceiro dentre um ou mais pulsos 4420, um quarto quadro 4410 pode ser gerado com base em um espectro de um quarto dentre um ou mais pulsos 4422, um quinto quadro 4412 pode ser ge- rado com base em um espectro de um quinto dentre um ou mais pul- sos 4424, e um enésimo quadro 4426 pode ser gerado com base em um espectro de um enésimo dentre um ou mais pulsos 4426.
[0207] Os pulsos 4416 a 4426 podem incluir energia de um único emissor ou de uma combinação de dois ou mais emissores. Por exemplo, o espectro incluído em um único período de leitura ou dentro da pluralidade de quadros 4404 a 4414 pode ser selecionado para um exame ou detecção desejado de um tecido ou condição específico. De acordo com uma modalidade, um ou mais pulsos podem incluir luz do espectro visível para gerar uma imagem colorida ou em preto e bran- co, enquanto um ou mais pulsos adicionais são usados para obter res- posta espectral para classificar um tipo de tecido. Por exemplo, o pulso 4416 pode incluir luz vermelha, o pulso 4418 pode incluir luz azul e o pulso 4420 pode incluir luz verde, enquanto os pulsos remanescentes 4422 a 4426 podem incluir comprimentos de onda e espectros para detectar um tipo específico de tecido. Como um exemplo adicional, os pulsos para um único período de leitura podem incluir um espectro ge- rado a partir de múltiplos diferentes emissores (por exemplo, diferentes fatias do espectro eletromagnético) que podem ser usados para detec- tar um tipo específico de tecido. Por exemplo, se a combinação de comprimentos de onda resultar em um pixel tendo um valor que exce- de ou fica abaixo de um limiar, aquele pixel pode ser classificado como correspondente a um tipo específico de tecido. Cada quadro pode ser usado para estreitar adicionalmente o tipo de tecido que está presente naquele pixel (por exemplo, cada pixel na imagem) para fornecer uma classificação muito específica do tecido e/ou um estado do tecido (do- ente/saudável) com base na resposta espectral.
[0208] A pluralidade de quadros 4404 a 4414 é mostrada tendo comprimentos variáveis em períodos de leitura e pulsos tendo diferen- tes comprimentos ou intensidades. O período de supressão, o com- primento ou a intensidade do pulso, ou similares podem ser seleciona- dos com base na sensibilidade de um sensor monocromático ao com- primento de onda específico, a capacidade de emissão de energia do(s) emissor(es) e/ou a capacidade de transporte do guia de onda.
[0209] Uma imagem hiperespectral ou dados de imagem hiperes- pectral obtidos da maneira ilustrada na Figura 44, pode resultar em uma pluralidade de quadros, cada um baseado em um diferente es- pectro ou em combinação de espectros. Em alguns casos, dezenas ou centenas de diferentes quadros podem ser obtidos. Em outros casos, por exemplo, para as transmissões de vídeo, o número de quadros pode ser limitado para fornecer uma taxa de quadro visualizável. Uma vez que combinações de diferentes espectros podem ser fornecidas em um único período de leitura, informações espectrais úteis e dinâmi- cas ainda podem ser obtidas mesmo em uma transmissão de vídeo.
[0210] Em uma modalidade, um vídeo ou outra imagem pode in- cluir uma imagem em preto e branco ou colorida sobreposta com in- formações derivadas da resposta espectral para cada pixel. Por exem- plo, os pixels que correspondem a um tecido ou estado específico po- dem ser mostrados em uma cor verde brilhante ou outra cor para auxi- liar um médico ou outro especialista clínico durante um exame.
[0211] Em uma modalidade, sensores de imagem duplos podem ser usados para a obtenção de imagens tridimensionais ou fluxos de alimentação de vídeo. Um exame tridimensional pode permitir uma melhor compreensão de uma estrutura tridimensional da região exa-
minada, bem como um mapeamento dos diferentes tipos de tecido ou material dentro da região.
[0212] Em uma modalidade, o imageamento multiespectral ou hi- perespectral pode ser usado para visualização através de materiais ou substâncias. Por exemplo, os comprimentos de onda infravermelho podem atravessar alguns tecidos, como músculo ou gordura, enquanto refletem vasos sanguíneos. Em uma modalidade, as ondas infraver- melhas podem penetrar 5, 8 ou 10 mm ou mais dentro de um tecido. À obtenção de uma série de quadros que incluem ao menos um quadro infravermelho pode permitir que um exame forneça informações sobre a localização de vasos sanguíneos abaixo da superfície. Isso pode ser extremamente útil para procedimentos cirúrgicos em que pode ser de- sejável realizar incisões que evitem vasos sanguíneos. Em uma moda- lidade, uma imagem colorida ou em escala de cinza pode ser sobre- posta com uma cor verde que indica a localização de vasos sanguí- neos abaixo da superfície. De modo similar, uma resposta espectral de sangue conhecida pode ser usada para olhar através do sangue e vi- sualizar os tecidos ou estruturas de interesse em um exame.
[0213] O conjunto dos subquadros em um quadro único para exi- bição em um monitor ou outro dispositivo de exibição pode ocorrer após a captura da série de quadros 4404 a 4414. Uma imagem colori- da ou em escala de cinza pode ser gerada a partir de um ou mais dos quadros e informações de sobreposição de pixels podem ser determi- nadas com base em todos os quadros ou nos quadros remanescentes. A imagem colorida ou em escala de cinza pode ser combinada com as informações de sobreposição para gerar um único quadro. O quadro único pode ser exibido como uma imagem única ou como uma ima- gem em uma transmissão de vídeo.
[0214] Em uma modalidade, os dados hiperespectrais obtidos con- forme ilustrado na Figura 44 podem ser fornecidos para análise por um algoritmo de terceiros para classificar um tecido ou material capturado na imagem. Em uma modalidade, o algoritmo de terceiros pode ser usado para selecionar os espectros ou bandas de ondas a serem usa- dos durante o imageamento, de modo que possa ser realizada uma análise de resposta espectral desejada. Em uma modalidade, a análi- se de resposta espectral pode ser realizada em tempo real durante um procedimento de imageamento médico ou outro procedimento médico. Os dados espectrais podem ser sobrepostos em uma imagem RGB ou em preto e branco, de modo que um usuário possa prontamente dife- renciar determinados tipos de tecidos, órgãos, processos químicos, doenças etc. Em uma modalidade, os dados espectrais podem ser for- necidos a um sistema operado por computador, como um sistema de robótica, para automação do imageamento médico ou de procedimen- tos médicos.
[0215] A Figura 45 é um diagrama esquemático de um sistema de imageamento 4500 tendo um único filtro cortado. O sistema 4500 inclui um endoscópio 4506 ou outro dispositivo de imageamento adequado tendo uma fonte de luz 4508 para uso em um ambiente deficiente de luz. O endoscópio 4506 inclui um sensor de imagem 4504 e um filtro 4502 para filtrar comprimentos de onda de luz indesejados ou outra radiação eletromagnética antes de atingir o sensor de imagem 4504. À fonte de luz 4508 transmite luz que pode iluminar a superfície 4512 em um ambiente deficiente de luz, por exemplo, uma cavidade corporal. À luz 4510 é refletida a partir da superfície 4512 e passa através do filtro 4502 antes de atingir o sensor de imagem 4504.
[0216] O filtro 4502 pode ser usado em uma implementação em que um reagente ou corante fluorescente foi administrado. Nessa mo- dalidade, o filtro 4502 é configurado para filtrar toda a luz que não um ou mais comprimentos de onda ou bandas espectrais de luz desejados ou outra radiação eletromagnética. Em uma modalidade, o filtro 4502 é configurado para filtrar um comprimento de onda de excitação de radi- ação eletromagnética que faz um reagente ou corante fluorescer, de modo que somente o comprimento de onda de relaxamento esperado do reagente ou corante fluorescido seja permitido passar através do filtro 4502 e atingir o sensor de imagem 4504. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente fluorescente entre 770 nm e 790 nm. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente fluorescente entre 795 nm e 815 nm. Em uma modalidade, o filtro 4502 filtra ao menos um comprimento de onda de excitação do reagente fluorescente entre 770 nm e 790 nm e entre 795 nm e 815 nm. Nessas modalidades, o filtro 4502 filtra o comprimento de onda de excitação do reagente e permite que somente o comprimento de onda de relaxamento do reagente fluorescido seja lido pelo sensor de ima- gem 4504. O sensor de imagem 4504 pode ser um sensor de imagem agnóstico em termos de comprimento de onda e o filtro 4502 pode ser configurado para permitir que o sensor de imagem 4504 receba ape- nas o comprimento de onda de relaxamento do reagente fluorescido e não receba o comprimento de onda de excitação emitido para o rea- gente. Os dados determinados pelo sensor de imagem 4504 podem, então, indicar a presença de uma estrutura corporal de importância crítica, tecido, processo biológico ou processo químico conforme de- terminado por uma localização do reagente ou corante.
[0217] O filtro 4502 pode ser adicionalmente usado em uma im- plementação onde um reagente ou corante fluorescente não foi admi- nistrado. O filtro 4502 pode ser selecionado para permitir que compri- mentos de onda correspondentes a uma resposta espectral desejada passem e sejam lidos pelo sensor de imagem 4504. O sensor de ima- gem 4504 pode ser um sensor de imagem monocromática, de modo que os pixels da imagem capturada que excedem um limiar ou ficam abaixo de um limiar possam ser caracterizados como correspondentes a uma determinada resposta espectral ou emissão de fluorescência. A resposta espectral ou emissão de fluorescência, conforme determina- da pelos pixels capturados pelo sensor de imagem 4504, pode indicar a presença de um determinado tecido ou estrutura corporal, uma de- terminada condição, um determinado processo químico etc.
[0218] Em uma modalidade, a fonte de luz 4508 transmite luz branca que entra em contato com a superfície 4512 e é refletida de volta onde é filtrada pelo filtro 4502 antes de atingir o sensor de ima- gem 4504. Em uma modalidade, a fonte de luz 4508 transmite luz branca que passa pelo filtro 4502, de modo que a luz filtrada de so- mente um ou mais comprimentos de onda desejados surja do filtro 4502 para ser refletida a partir da superfície 4512 e lida pelo sensor de imagem 4504. Por exemplo, em uma modalidade, o filtro 4502 permite que somente luz tendo um comprimento de onda de 795 nm passe através do filtro 4502 e entre em contato com o sensor de imagem
4504. Adicionalmente em uma modalidade, o filtro 4502 permite que somente determinados comprimentos de onda de luz sejam refletidos de volta para o sensor de imagem 4504 do endoscópio 4506 ou outro dispositivo de imageamento. O filtro 4502 pode estar localizado em qualquer ponto no sistema 4500 ou pode ser um atributo de uma lente ou do sensor de imagem 4504. O filtro 4502 pode estar localizado na frente de e/ou atrás do sensor de imagem 4504. Em uma modalidade, a luz emitida pela fonte de luz 4508 é filtrada antes de atingir a super- fície 4512 e a luz refletida é filtrada por um filtro adicional antes de ser lida pelo sensor de imagem 4504.
[0219] A fonte de luz 4508 pode ser um emissor que pode ser con- figurado para emitir luz branca ou radiação eletromagnética de um ou mais comprimentos de onda específicos. A fonte de luz 4508 pode in- cluir uma pluralidade de lasers configurados para emitir ou pulsar luz de comprimentos de onda especificados. Em uma modalidade, a fonte de luz 4508 emite luz branca e o filtro 4502 é selecionado para filtrar toda a luz indesejada que não um ou mais comprimentos de onda de- sejados de luz ou outra radiação eletromagnética. O filtro 4502 pode ser selecionado para um exame ou finalidade específico, por exemplo, para destacar um tipo de tecido ou estrutura corporal, ou para destacar uma determinada condição ou processo químico.
[0220] A Figura 46 é um diagrama esquemático de um sistema de imageamento 4600 tendo múltiplos filtros cortados. O sistema 4600 inclui um endoscópio 4606 ou outro dispositivo de imageamento ade- quado tendo uma fonte de luz 4608 para uso em um ambiente defici- ente de luz. O endoscópio 4606 inclui um sensor de imagem 4604 e dois filtros 4602a, 4602b. Deve ser reconhecido que, em modalidades alternativas, o sistema 4600 pode incluir qualquer número de filtros, e o número e tipo de filtros podem ser selecionados para uma determi- nada finalidade, por exemplo, para coletar informações de imagea- mento de um tecido corporal em particular, condição corporal, proces- so químico etc. Os filtros 4602a, 4602b são configurados para filtrar comprimentos de onda de luz indesejados ou outra radiação eletro- magnética. Os filtros 4602a, 4602b podem ser configurados para filtrar comprimentos de onda indesejados de luz branca ou outra radiação eletromagnética que podem ser emitidos pela fonte de luz 4608. A luz filtrada pode atingir a superfície 4612 (por exemplo, tecido corporal) e ser refletida de volta ao sensor de imagem 4604.
[0221] Além da revelação relacionada à Figura 45, os filtros 4602a, 4602b podem ser usados em uma implementação onde um reagente ou corante fluorescente foi administrado. Os filtros 4602a, 4602b po- dem ser configurados para bloquear um comprimento de onda de exci- tação emitido para o reagente ou corante e permitir que o sensor de imagem 4604 somente leia o comprimento de onda de relaxamento do reagente ou corante. Adicionalmente, os filtros 4602a, 4602b podem ser usados em uma implementação em que um reagente ou corante fluorescente não foi administrado. Nessa implementação, os filtros 4602a, 4602b podem ser selecionados para permitir que comprimen- tos de onda correspondentes a uma resposta espectral desejada pas- sem e sejam lidos pelo sensor de imagem 4604.
[0222] Os múltiplos filtros 4602a, 4602b podem ser individualmen- te configurados para filtrar uma faixa diferente de comprimentos de onda do espectro eletromagnético. Por exemplo, um filtro pode ser configurado para filtrar comprimentos de onda maiores que uma faixa desejada de comprimento de onda e o filtro adicional pode ser configu- rado para filtrar comprimentos de onda menores que a faixa desejada de comprimento de onda. A combinação dos dois ou mais filtros pode resultar na leitura de somente um determinado comprimento de onda ou banda de comprimentos de onda pelo sensor de imagem 4604.
[0223] Em uma modalidade, os filtros 4602a, 4602b são personali- zados, de modo que a radiação eletromagnética entre 513 nm e 545 nm entre em contato com o sensor de imagem 4604. Em uma modali- dade, os filtros 4602a, 4602b são personalizados, de modo que a radi- ação eletromagnética entre 565 nm e 585 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 900 nm e 1000 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 425 nm e 475 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação ele- tromagnética entre 520 nm e 545 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 625 nm e 645 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 760 nm e 795 nm entre em con- tato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletro- magnética entre 795 nm e 815 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são per- sonalizados, de modo que a radiação eletromagnética entre 370 nm e 420 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são personalizados, de modo que a radiação eletromagnética entre 600 nm e 670 nm entre em contato com o sensor de imagem 4604. Em uma modalidade, os filtros 4602a, 4602b são configurados para permitir que somente uma determinada emissão de relaxamento de fluorescência passe pelos filtros 4602a, 4602b e entre em contato com o sensor de imagem 4604.
[0224] Em uma modalidade, o sistema 4600 inclui múltiplos senso- res de imagem 4604 e pode particularmente incluir dois sensores de imagem para uso na geração de uma imagem tridimensional. O(s) sensor(es) de imagem 4604 pode(m) ser agnóstico(s) em termos de cor/comprimento de onda e configurado(s) para ler qualquer compri- mento de onda de radiação eletromagnética que for refletido a partir da superfície 4612. Em uma modalidade, os sensores de imagem 4604 são, cada um, dependentes da cor ou dependentes do comprimento de onda e configurados para ler radiação eletromagnética de um com- primento de onda em particular que é refletido a partir da superfície 4612 e de volta aos sensores de imagem 4604. Alternativamente, o sensor de imagem 4604 pode incluir um único sensor de imagem com uma pluralidade de diferentes sensores de pixel configurados para ler diferentes comprimentos de onda ou cores de luz, como uma matriz de filtro de cor de filtro Bayer. Alternativamente, o sensor de imagem 4604 pode incluir um ou mais sensores de imagem agnósticos em termos de cor que podem ser configurados para ler diferentes comprimentos de onda de radiação eletromagnética de acordo com um cronograma de pulsação como aqueles ilustrados nas Figuras 5 a 7E e 15 a 16, por exemplo.
[0225] A Figura 47 é um diagrama esquemático que ilustra um sis- tema 4700 para mapear uma superfície e/ou rastrear um objeto em um ambiente deficiente de luz. Em uma modalidade, um endoscópio 4702 em um ambiente deficiente de luz pulsa uma matriz de grade 4706 (que pode ser denominada um padrão de mapa de laser) sobre uma superfície 4704. A matriz de grade 4706 pode incluir picote vertical 4708 e picote horizontal 4710 em uma modalidade conforme ilustrada na Figura 47. Deve ser reconhecido que a matriz de grade 4706 pode incluir qualquer matriz adequada para mapear uma superfície 4704, incluindo, por exemplo, uma grade do tipo raster (padrão de escanea- mento horizontal) de pontos discretos, um mapa de grade de ocupa- ção, uma matriz de pontos etc. Adicionalmente, o endoscópio 4702 pode pulsar múltiplas matrizes de grade 4706 e pode, por exemplo, pulsar uma ou mais matrizes de grade individuais em cada um de uma pluralidade de objetos ou estruturas dentro do ambiente deficiente de luz.
[0226] Em uma modalidade, o sistema 4700 pulsa uma matriz de grade 4706 que pode ser usada para determinar uma superfície tridi- mensional e/ou rastrear um local de um objeto, por exemplo, uma fer- ramenta ou outro dispositivo em um ambiente deficiente de luz. Em uma modalidade, o sistema 4700 pode fornecer dados a um sistema ou algoritmo de computador de terceiros para determinar as dimen- sões e configurações da superfície por meio de mapeamento de de- tecção e variação de luz (LIDAR - "light detection and ranging"). O sis- tema 4700 pode pulsar qualquer comprimento de onda de luz ou radi-
ação eletromagnética adequado na matriz de grade 4706, incluindo, por exemplo, luz ultravioleta, luz visível e/ou luz infravermelha ou pró- xima do infravermelho. A superfície 4704 e/ou os objetos dentro do ambiente podem ser mapeados e rastreados em altíssima resolução e com altíssima exatidão e precisão.
[0227] Em uma modalidade, o sistema 4700 inclui um dispositivo de imageamento tendo um tubo, um ou mais sensores de imagem e um conjunto de lentes tendo um elemento óptico correspondente ao um ou mais sensores de imagem. O sistema 4700 pode incluir um me- canismo de luz tendo uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética e um lúmen que transmite o um ou mais pulsos de radiação eletromagnética em uma ponta distal de um endoscópio em um ambiente deficiente de luz, por exemplo, uma cavi- dade corporal. Em uma modalidade, ao menos uma porção do um ou mais pulsos de radiação eletromagnética inclui um padrão de mapa de laser que é emitido sobre uma superfície dentro do ambiente deficiente de luz, como uma superfície de tecido corporal e/ou uma superfície de ferramentas ou outros dispositivos dentro da cavidade corporal. O en- doscópio 4702 pode incluir uma câmera bidimensional, tridimensional ou n-dimensional para mapear e/ou rastrear a superfície, as dimen- sões e as configurações dentro do ambiente deficiente de luz.
[0228] Em uma modalidade, o sistema 4700 inclui um processador para determinar uma distância de um endoscópio ou ferramenta em relação a um objeto, por exemplo, a superfície 4704. O processador pode adicionalmente determinar um ângulo entre o endoscópio ou fer- ramenta e o objeto. O processador pode adicionalmente determinar informações de área superficial sobre o objeto, incluindo, por exemplo, o tamanho de ferramentas cirúrgicas, o tamanho de estruturas, o ta- manho de estruturas anatômicas, informações de localização e outros dados e métricas de posição. O sistema 4700 pode incluir um ou mais sensores de imagem que fornecem dados de imagem que são forneci- dos a um sistema de controle para determinar uma distância de um endoscópio ou ferramenta em relação a um objeto, por exemplo, a su- perfície 4704. Os sensores de imagem podem enviar informações a um sistema de controle para determinar um ângulo entre o endoscópio ou ferramenta e o objeto. Adicionalmente, os sensores de imagem po- dem enviar informações a um sistema de controle para determinar in- formações de área superficial sobre o objeto, o tamanho das ferramen- tas cirúrgicas, o tamanho de estruturas, o tamanho de estruturas ana- tômicas, informações de localização e outros dados e métricas de po- sição.
[0229] Em uma modalidade, a matriz de grade 4706 é pulsada por uma fonte de iluminação do endoscópio 4702 a uma velocidade sutfici- ente para que a matriz de grade 4706 não seja visível a um usuário. Em várias implementações, pode ser um fator de distração que um usuário veja a matriz de grade 4706 durante um procedimento de ima- geamento endoscópico e/ou procedimento cirúrgico endoscópico. A matriz de grade 4706 pode ser pulsada por períodos suficientemente breves, de modo que a matriz de grade 4706 não possa ser detectada pelo olho humano. Em uma modalidade alternativa, o endoscópio 4702 pulsa a matriz de grade 4706 a uma frequência recorrente suficiente para que a matriz de grade 4706 possa ser visualizada por um usuário. Nessa modalidade, a matriz de grade 4706 pode ser sobreposta em uma imagem da superfície 4704 em uma tela. A matriz de grade 4706 pode ser sobreposta em uma imagem em preto e branco ou RGB da superfície 4704, de modo que a matriz de grade 4706 possa ser visível por um usuário durante o uso do sistema 4700. Um usuário do sistema 4700 pode indicar se a matriz de grade 4706 deve ser sobreposta em uma imagem da superfície 4704 e/ou se a matriz de grade 4706 deve ser visível ao usuário. O sistema 4700 pode incluir uma tela que forne-
ce medições em tempo real de uma distância desde o endoscópio 4702 até a superfície 4704 ou outro objeto dentro do ambiente defici- ente de luz. A tela pode adicionalmente fornecer informações de área superficial em tempo real sobre a superfície 4704 e/ou quaisquer obje- tos, estruturas ou ferramentas dentro do ambiente deficiente de luz. À exatidão das medições pode ter exatidão menor que um milímetro.
[0230] O endoscópio 4702 pode pulsar radiação eletromagnética de acordo com um cronograma de pulsação como aquele ilustrado nas Figuras 5 a 7E e 15 a 16, por exemplo, que pode incluir adicionalmen- te a pulsação da matriz de grade 4706 com a pulsação de luz Verme- lha, Verde e Azul para gerar uma imagem RGB e adicionalmente gerar uma matriz de grade 4706 que pode ser sobreposta na imagem RGB e/ou usada para mapear e rastrear a superfície 4704 e objetos dentro do ambiente deficiente de luz.
[0231] Em uma modalidade, o endoscópio 4702 inclui um ou mais sensores de imagem agnósticos em termos de cor. Em uma modalida- de, o endoscópio 4702 inclui dois sensores de imagem agnósticos em termos de cor para gerar uma imagem tridimensional ou mapa do am- biente deficiente de luz. Os sensores de imagem podem gerar uma imagem RGB do ambiente deficiente de luz de acordo com um crono- grama de pulsação como revelado na presente invenção. Adicional- mente, os sensores de imagem podem determinar dados para mapear o ambiente deficiente de luz e rastrear um ou mais objetos dentro do ambiente deficiente de luz com base nos dados determinados quando a matriz de grade 4706 é pulsada. Adicionalmente, os sensores de imagem podem determinar dados espectrais ou hiperespectrais com dados de imageamento por fluorescência de acordo com um crono- grama de pulsação que pode ser modificado por um usuário para ade- quação às necessidades em particular de um procedimento de image- amento. Em uma modalidade, um cronograma de pulsação inclui pul-
sos Vermelhos, Verdes e Azuis com pulsação de uma matriz de grade 4706 e/ou pulsação para gerar dados de imagem hiperespectral e/ou dados de imagem de fluorescência. Em várias implementações, o cro- nograma de pulsação pode incluir qualquer combinação adequada de pulsos de radiação eletromagnética de acordo com as necessidades de um usuário. A frequência recorrente dos diferentes comprimentos de onda de radiação eletromagnética pode ser determinada com base, por exemplo, na energia de um determinado pulso, as necessidades do usuário, se determinados dados (por exemplo, dados hiperespec- trais e/ou dados de imageamento por fluorescência) precisam ser con- tinuamente atualizados ou podem ser atualizados menos frequente- mente etc.
[0232] O cronograma de pulsação pode ser modificado de qual- quer maneira adequada, e determinados pulsos de radiação eletro- magnética podem ser repetidos em qualquer frequência adequada de acordo com as necessidades de um usuário ou programa implementa- do por computador para um determinado procedimento de imagea- mento. Por exemplo, em uma modalidade em que os dados de rastre- amento de superfície gerados com base na matriz de grade 4706 são fornecidos a um programa implementado por computador para uso em, por exemplo, um procedimento cirúrgico robótico, a matriz de gra- de 4706 pode ser pulsada mais frequentemente do que se os dados de rastreamento de superfície fossem fornecidos a um usuário que es- tá visualizando a cena durante o procedimento de imageamento. Nes- sa modalidade em que os dados de rastreamento de superfície são usados para um procedimento cirúrgico robótico, os dados de rastre- amento de superfície podem precisar ser atualizados mais frequente- mente ou podem precisar ser excessivamente exatos para que o pro- grama implementado por computador possa executar o procedimento cirúrgico robótico com precisão e exatidão.
[0233] Em uma modalidade, o sistema 4700 é configurado para gerar um mapa de grade de ocupação que compreende uma matriz de células divididas em grades. O sistema 4700 é configurado para arma- zenar valores de altura para cada uma das respectivas células de gra- de para determinar um mapeamento de superfície de um ambiente tri- dimensional em um ambiente deficiente de luz.
[0234] A Figura 48 é um diagrama de fluxo esquemático para um método 4800 para imageamento hiperespectral em um ambiente defi- ciente de luz. O método 4800 pode ser realizado por um sistema de imageamento, como um sistema de imageamento endoscópico ilustra- do na Figura 37.
[0235] O método 4800 inclui a emissão em 4802 de uma pluralida- de de pulsos de banda estreita durante períodos de leitura de um sen- sor de imagem monocromática. Os pulsos podem ser emitidos em 4802 com o uso de uma fonte de luz que inclui uma pluralidade de emissores que emitem energia eletromagnética dentro das bandas de frequência estreitas. Por exemplo, a fonte de luz pode incluir ao menos um emissor para uma pluralidade de bandas de frequência que co- brem um espectro desejado. Um sensor de imagem monocromática lê em 4804 os dados de pixel a partir do sensor de imagem monocromá- tica após os períodos de leitura para gerar uma pluralidade de qua- dros. Cada quadro pode incluir um conteúdo espectral diferente. Esses quadros podem incluir uma pluralidade de quadros de repetição que podem ser usados para gerar uma transmissão de vídeo digital. Cada quadro pode ser baseado na energia emitida por um ou mais emisso- res da fonte de luz. Em uma modalidade, um quadro pode ser baseado em uma combinação de luz emitida por fontes de luz para gerar uma combinação de frequências a fim de corresponder a uma resposta de frequência de um tecido ou substância desejado. Um controlador, CCU, ou outro sistema determina em 4806 uma resposta espectral de um tecido para um ou mais pixels com base na pluralidade de qua- dros. Por exemplo, os valores de pixel e o conhecimento das frequên- cias de luz emitida para cada quadro podem ser usados para determi- nar uma resposta de frequência para um pixel específico, com base nos valores do pixel na pluralidade de quadros. O sistema pode gerar em 4808 uma imagem combinada com base na pluralidade de qua- dros, a imagem combinada que compreende uma sobreposição que indica a resposta espectral para o um ou mais pixels. Por exemplo, a imagem combinada pode ser uma imagem em escala de cinza ou co- lorida em que os pixels correspondentes a um tecido ou classificação específico são mostrados em verde brilhante.
[0236] A Figura 49 é um diagrama de fluxo esquemático para um método 4900 para imageamento por fluorescência em um ambiente deficiente de luz. O método 4900 pode ser realizado por um sistema de imageamento, como um sistema de imageamento endoscópico ilus- trado na Figura 37.
[0237] O método 4900 inclui a emissão em 4902 de uma pluralida- de de pulsos de banda estreita durante períodos de leitura de um sen- sor de imagem monocromática. Os pulsos podem ser emitidos em 4902 com o uso de uma fonte de luz que inclui uma pluralidade de emissores que emitem energia eletromagnética dentro das bandas de frequência estreitas. Por exemplo, a fonte de luz pode incluir ao menos um emissor para uma pluralidade de bandas de frequência que co- brem um espectro desejado. Um sensor de imagem monocromática lê em 4904 os dados de pixel a partir do sensor de imagem monocromá- tica após os períodos de leitura para gerar uma pluralidade de qua- dros. Cada quadro pode incluir um conteúdo espectral diferente. Esses quadros podem incluir uma pluralidade de quadros de repetição que podem ser usados para gerar uma transmissão de vídeo digital. Cada quadro pode ser baseado na energia emitida por um ou mais emisso-
res da fonte de luz. Em uma modalidade, um quadro pode ser baseado em uma combinação de luz emitida por fontes de luz para gerar uma combinação de frequências a fim de corresponder a uma resposta de frequência de um tecido ou substância desejado. Um controlador, CCU, ou outro sistema determina em 4906 uma emissão de relaxa- mento de fluorescência de um reagente para um ou mais pixels com base na pluralidade de quadros. Por exemplo, os valores de pixel e o conhecimento das frequências de luz emitida para cada quadro podem ser usados para determinar uma resposta de frequência para um pixel específico, com base nos valores do pixel na pluralidade de quadros. O sistema pode gerar em 4908 uma imagem combinada com base na pluralidade de quadros, a imagem combinada que compreende uma sobreposição que indica a emissão de relaxamento de fluorescência para o um ou mais pixels. Por exemplo, a imagem combinada pode ser uma imagem em escala de cinza ou colorida em que os pixels corres- pondentes a um tecido ou classificação específico são mostrados em verde brilhante.
Exemplosparei pag 45
[0238] Os exemplos a seguir referem-se a modalidades adicionais:
[0239] O Exemplo 1 é um sistema endoscópico para uso em um ambiente deficiente de luz. O sistema inclui um dispositivo de image- amento. O dispositivo de imageamento inclui um tubo, um ou mais sensores de imagem e um conjunto de lentes que compreende ao me- nos um elemento óptico correspondente ao sensor de imagem. O sis- tema inclui uma tela para que um usuário visualize uma cena e um controlador de processamento de sinal de imagem. O sistema inclui um mecanismo de luz. O mecanismo de luz inclui uma fonte de ilumi- nação que gera um ou mais pulsos de radiação eletromagnética. O mecanismo de luz inclui adicionalmente um lúmen que transmite um ou mais pulsos de radiação eletromagnética para uma ponta distal de um endoscópio, sendo que ao menos uma porção do um ou mais pul- sos de radiação eletromagnética inclui um comprimento de onda de excitação de radiação eletromagnética entre 770 nm e 790 nm que faz com que um reagente apresente fluorescência em um comprimento de onda que é diferente do comprimento de onda de excitação da porção do um ou mais pulsos de radiação eletromagnética.
[0240] O Exemplo 2 é um sistema endoscópico como no Exemplo 1, sendo que o sistema compreende adicionalmente um filtro que blo- queia o comprimento de onda de excitação de radiação eletromagnéti- ca entre 770 nm e 790 nm.
[0241] O Exemplo 3 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 2, sendo que o filtro está situado no ao menos um elemento óptico do conjunto de lentes, de modo que o filtro blo- queie o comprimento de onda de excitação e permita um comprimento de onda do reagente fluorescente através do filtro.
[0242] O Exemplo 4 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 3, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela.
[0243] O Exemplo 5 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 4, sendo que a imagem única é atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0244] O Exemplo 6 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 5, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela.
[0245] O Exemplo 7 é um sistema endoscópico como em quais-
quer dos Exemplos 1 a 6, sendo que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0246] O Exemplo 8 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 7, sendo que o sensor de imagem detecta um comprimento de onda do reagente fluorescente para fornecer uma imagem de uma ou mais estruturas de importância crítica em um corpo humano.
[0247] O Exemplo 9 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 8, sendo que as estruturas de importância críti- ca em um corpo humano incluem um dentre um nervo, um ureter, um vaso sanguíneo, uma artéria, um fluxo sanguíneo e um tumor.
[0248] O Exemplo 10 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 9, sendo que uma ou mais estruturas de impor- tância crítica são células cancerígenas, e sendo que o sistema recebe radiação eletromagnética fluorescente de uma molécula que fixa um fluoróforo que apresenta fluorescência quando exposto à radiação ele- tromagnética, tendo um comprimento de onda entre 770 nm e 790 nm, a uma ou mais dentre as células cancerígenas.
[0249] O Exemplo 11 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 10, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela.
[0250] O Exemplo 12 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 11, sendo que a imagem única é atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0251] O Exemplo 13 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 12, sendo que cada pulso de radiação eletro-
magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela.
[0252] O Exemplo 14 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 13, sendo que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0253] O Exemplo 15 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 14, sendo que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 370 nm a 420 nm.
[0254] O Exemplo 16 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 15, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela.
[0255] O Exemplo 17 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 16, sendo que a imagem única é atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0256] O Exemplo 18 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 17, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela.
[0257] O Exemplo 19 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 18, sendo que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0258] O Exemplo 20 é um sistema endoscópico como em quais-
quer dos Exemplos 1 a 19, sendo que a fonte de iluminação gera um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 600 nm a 670 nm.
[0259] O Exemplo 21 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 20, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela.
[0260] O Exemplo 22 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 21, sendo que a imagem única é atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0261] O Exemplo 23 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 22, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela.
[0262] O Exemplo 24 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 23, sendo que a imagem de sobreposição é atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
[0263] O Exemplo 25 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 24, sendo que o mecanismo de luz compreen- de um filtro de polarização.
[0264] O Exemplo 26 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 25, sendo que o filtro de polarização está loca- lizado em uma trajetória da radiação eletromagnética.
[0265] O Exemplo 27 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 26, sendo que o filtro de polarização está loca- lizado em uma extremidade proximal do lúmen.
[0266] O Exemplo 28 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 27, sendo que o filtro de polarização está loca- lizado em uma extremidade distal do lúmen.
[0267] O Exemplo 29 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 28, sendo que o conjunto de lentes compreen- de um filtro de radiação eletromagnética.
[0268] O Exemplo 30 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 29, sendo que o conjunto de lentes compreen- de um filtro de polarização.
[0269] O Exemplo 31 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 30, sendo que cada pulso de radiação eletro- magnética resulta em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são alimenta- dos a um sistema correspondente que fornecerá a localização de es- truturas de tecido de importância crítica.
[0270] O Exemplo 32 é um sistema endoscópico como em quais- quer dos Exemplos 1 a 31, sendo que a localização de estruturas de importância crítica é recebida pelo sistema endoscópico e sobreposta em uma tela, sendo que as estruturas de importância crítica são codifi- cadas em qualquer cor selecionada tanto por um algoritmo quanto por um usuário.
[0271] Será reconhecido que vários recursos revelados na presen- te invenção fornecem vantagens significativas e avanços na técnica. As reivindicações a seguir são exemplificadores de alguns desses re- Cursos.
[0272] Na Descrição Detalhada da Revelação acima, diversos re- cursos da revelação são agrupados em uma única modalidade com o propósito de simplificar a revelação. Esse método da revelação não deve ser interpretado como reflexo de uma intenção de que revelação reivindicada exige mais recursos do que aqueles expressamente men-
cionados em cada reivindicação. Em vez disso, os aspectos da inven- ção se baseiam em menos que todos os recursos de uma única moda- lidade anteriormente revelada.
[0273] Deve-se compreender que todas as disposições acima descritas são apenas ilustrativas da aplicação dos princípios da reve- lação. Diversas modificações e disposições alternativas podem ser concebidas pelos versados na técnica sem que se afaste do espírito e escopo da revelação e as reivindicações anexas têm como objetivo abranger essas modificações e disposições.
[0274] Assim, embora a revelação tenha sido mostrada nos dese- nhos e descrita acima com particularidade e detalhes, ficará evidente aos versados na técnica que várias modificações, incluindo, mas não se limitando a, variações de tamanho, materiais, formato, forma, fun- ção e modo de operação, montagem e uso, podem ser feitas sem que se afaste dos princípios e conceitos definidos na presente invenção.
[0275] Adicionalmente, quando apropriado, as funções descritas na presente invenção podem ser realizadas em um ou mais entre: hardware, software, firmware, componentes digitais ou componentes analógicos. Por exemplo, um ou mais circuitos integrados específicos para aplicação (ASICs - "application specific integrated circuits") ou matrizes de portas programáveis em campo (FPGAs) podem ser pro- gramados para realizar um ou mais dos sistemas e procedimentos descritos na presente invenção. Determinados termos são usados ao longo de toda a descrição e reivindicações a seguir para se referir a componentes de sistema em particular. Como os versados na técnica entenderão, os componentes podem ser identificados por diferentes nomes. O presente documento não tem como objetivo fazer distinção entre componentes que diferem em nome, porém não em função.
[0276] A descrição supracitada foi apresentada para propósitos ilustrativos e de descrição. Essa descrição não pretende ser exaustiva nem limitar a revelação à forma precisa revelada. Diversas modifica- ções e variações são possíveis à luz do ensinamento acima. Adicio- nalmente, deve ser observado que todas e quaisquer implementações alternativas anteriormente mencionadas podem ser usadas em qual- quer combinação desejada para formar implementações híbridas adi- cionais da revelação.
[0277] Adicionalmente, embora implementações específicas da revelação tenham sido descritas e ilustradas, a revelação não deve ser limitada às formas ou disposições específicas de partes assim descri- tas e ilustradas. O escopo da revelação deve ser definido pelas reivin- dicações anexas, quaisquer reivindicações futuras aqui apresentadas e em diferentes pedidos de patente e seus equivalentes.

Claims (32)

REIVINDICAÇÕES
1. Sistema endoscópico para uso em um ambiente deficien- te de luz, caracterizado por compreender: um dispositivo de imageamento que compreende: um tubo; um ou mais sensores de imagem; e um conjunto de lentes que compreende ao menos um ele- mento óptico correspondente ao dito sensor de imagem; uma tela para que um usuário visualize uma cena; um controlador de processamento de sinal de imagem; e um mecanismo de luz, sendo que o mecanismo de luz compreende: uma fonte de iluminação que gera um ou mais pulsos de radiação eletromagnética; e um lúmen que transmite um ou mais pulsos de radiação eletromagnética para uma ponta distal de um endoscópio, sendo que ao menos uma porção do um ou mais pulsos de radiação eletromag- nética inclui um comprimento de onda de excitação de radiação ele- tromagnética entre 770 nm e 790 nm que faz com que um reagente apresente fluorescência em um comprimento de onda que é diferente do comprimento de onda de excitação da porção do um ou mais pul- sos de radiação eletromagnética.
2. Sistema endoscópico, de acordo com a reivindicação 1, sendo que o sistema é caracterizado por compreender adicionalmente um filtro que bloqueia o comprimento de onda de excitação de radia- ção eletromagnética entre 770 nm e 790 nm.
3. Sistema endoscópico, de acordo com a reivindicação 2, caracterizado por o filtro estar situado no ao menos um elemento ópti- co do conjunto de lentes, de modo que o filtro bloqueie o comprimento de onda de excitação e permita um comprimento de onda do reagente fluorescente através do filtro.
4. Sistema endoscópico, de acordo com a reivindicação 2, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela.
5. Sistema endoscópico, de acordo com a reivindicação 4, caracterizado por a imagem única ser atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
6. Sistema endoscópico, de acordo com a reivindicação 2, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela.
7. Sistema endoscópico, de acordo com a reivindicação 6, caracterizado por à imagem de sobreposição ser atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
8. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o sensor de imagem detectar um comprimento de onda do reagente fluorescente para fornecer uma imagem de uma ou mais estruturas de importância crítica em um corpo humano.
9. Sistema endoscópico, de acordo com a reivindicação 8, caracterizado por as estruturas de importância crítica em um corpo humano incluírem um dentre um nervo, um ureter, um vaso sanguíneo, uma artéria, um fluxo sanguíneo e um tumor.
10. Sistema endoscópico, de acordo com a reivindicação 8, caracterizado por a uma ou mais estruturas de importância crítica se- rem células cancerígenas, e sendo que o sistema recebe radiação ele- tromagnética fluorescente de uma molécula que fixa um fluoróforo que apresenta fluorescência quando exposto à radiação eletromagnética tendo um comprimento de onda entre 770 nm e 790 nm a uma ou mais dentre as células cancerígenas.
11. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela.
12. Sistema endoscópico, de acordo com a reivindicação 11, caracterizado por a imagem única ser atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
13. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela.
14. Sistema endoscópico, de acordo com a reivindicação 13, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
15. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 370 nm a 420 nm.
16. Sistema endoscópico, de acordo com a reivindicação 15, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela.
17. Sistema endoscópico, de acordo com a reivindicação 16, caracterizado por a imagem única ser atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
18. Sistema endoscópico, de acordo com a reivindicação 15, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela.
19. Sistema endoscópico, de acordo com a reivindicação 18, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
20. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por a fonte de iluminação gerar um ou mais pulsos de radiação eletromagnética em um comprimento de onda de 600 nm a 670 nm.
21. Sistema endoscópico, de acordo com a reivindicação 20, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem única na tela.
22. Sistema endoscópico, de acordo com a reivindicação 21, caracterizado por a imagem única ser atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
23. Sistema endoscópico, de acordo com a reivindicação 20, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são exibidos a um usuário como uma imagem de sobreposição na tela.
24. Sistema endoscópico, de acordo com a reivindicação 23, caracterizado por a imagem de sobreposição ser atribuída a uma cor visível para uso na tela; sendo que a cor visível é de 8 bits ou 16 bits ou n bits.
25. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o mecanismo de luz compreender um filtro de polari- zação.
26. Sistema endoscópico, de acordo com a reivindicação 25, caracterizado por o filtro de polarização estar localizado em uma trajetória da radiação eletromagnética.
27. Sistema endoscópico, de acordo com a reivindicação 26, caracterizado por o filtro de polarização estar localizado em uma extremidade proximal do lúmen.
28. Sistema endoscópico, de acordo com a reivindicação 26, caracterizado por o filtro de polarização estar localizado em uma extremidade distal do lúmen.
29. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o conjunto de lentes compreender um filtro de radia- ção eletromagnética.
30. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por o conjunto de lentes compreender um filtro de polari- zação.
31. Sistema endoscópico, de acordo com a reivindicação 1, caracterizado por cada pulso de radiação eletromagnética resultar em um quadro de exposição criado pelo sensor de imagem; sendo que um ou mais quadros de exposição são alimentados a um sistema corres- pondente que fornecerá a localização de estruturas de tecido de im- portância crítica.
32. Sistema endoscópico, de acordo com a reivindicação
31, caracterizado por a localização de estruturas de importância crítica ser recebida pelo sistema endoscópico e sobreposta em uma tela, sendo que as estruturas de importância crítica são codificadas em qualquer cor selecionada tanto por um algoritmo quanto por um usuá- rio.
BR112020012708-6A 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente de-ficiente de luz BR112020012708A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762610888P 2017-12-27 2017-12-27
US62/610,888 2017-12-27
US201862723989P 2018-08-28 2018-08-28
US62/723,989 2018-08-28
PCT/US2018/067743 WO2019133750A1 (en) 2017-12-27 2018-12-27 Fluorescence imaging in a light deficient environment

Publications (1)

Publication Number Publication Date
BR112020012708A2 true BR112020012708A2 (pt) 2020-11-24

Family

ID=66949640

Family Applications (6)

Application Number Title Priority Date Filing Date
BR112020012682-9A BR112020012682A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012741-8A BR112020012741A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral com rastreamento de ferramenta em um ambiente com deficiência luminosa
BR112020012999-2A BR112020012999A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente deficiente de luz
BR112020012708-6A BR112020012708A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente de-ficiente de luz
BR112020012594-6A BR112020012594A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012744-2A BR112020012744A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em ambiente com deficiência de luz

Family Applications Before (3)

Application Number Title Priority Date Filing Date
BR112020012682-9A BR112020012682A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012741-8A BR112020012741A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral com rastreamento de ferramenta em um ambiente com deficiência luminosa
BR112020012999-2A BR112020012999A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em um ambiente deficiente de luz

Family Applications After (2)

Application Number Title Priority Date Filing Date
BR112020012594-6A BR112020012594A2 (pt) 2017-12-27 2018-12-27 imageamento hiperespectral em um ambiente com deficiência de luz
BR112020012744-2A BR112020012744A2 (pt) 2017-12-27 2018-12-27 imageamento por fluorescência em ambiente com deficiência de luz

Country Status (8)

Country Link
US (8) US11803979B2 (pt)
EP (6) EP3731725A4 (pt)
JP (6) JP2021508546A (pt)
KR (6) KR20200104371A (pt)
CN (6) CN111526776A (pt)
BR (6) BR112020012682A2 (pt)
IL (6) IL275563B1 (pt)
WO (6) WO2019133741A1 (pt)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2878514A1 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Ycbcr pulsed illumination scheme in a light deficient environment
KR102118310B1 (ko) * 2012-07-26 2020-06-04 디퍼이 신테스 프로덕츠, 인코포레이티드 단색 센서를 사용한 넓은 동적범위
MX2018006791A (es) 2012-07-26 2022-01-20 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
WO2014144986A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
WO2014145249A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Controlling the integral light energy of a laser pulse
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
US10565701B2 (en) 2015-11-16 2020-02-18 Applied Materials, Inc. Color imaging for CMP monitoring
US11557048B2 (en) 2015-11-16 2023-01-17 Applied Materials, Inc. Thickness measurement of substrate using color metrology
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11573124B2 (en) * 2016-04-14 2023-02-07 National University Corporation Hokkaido University Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device
US11803979B2 (en) 2017-12-27 2023-10-31 Cilag Gmbh International Hyperspectral imaging in a light deficient environment
US10694117B2 (en) * 2018-06-07 2020-06-23 Curadel, LLC Masking approach for imaging multi-peak fluorophores by an imaging system
US11100628B2 (en) * 2019-02-07 2021-08-24 Applied Materials, Inc. Thickness measurement of substrate using color metrology
US11112865B1 (en) * 2019-02-13 2021-09-07 Facebook Technologies, Llc Systems and methods for using a display as an illumination source for eye tracking
US20220095891A1 (en) * 2019-02-14 2022-03-31 Dai Nippon Printing Co., Ltd. Color correction device for medical apparatus
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11337596B2 (en) 2019-06-20 2022-05-24 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
US20200397302A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Fluorescence imaging in a light deficient environment
US11134832B2 (en) * 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11172811B2 (en) * 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11412152B2 (en) * 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11412920B2 (en) * 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US20200397239A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11218645B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11986160B2 (en) * 2019-06-20 2024-05-21 Cllag GmbH International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11221414B2 (en) * 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11716533B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11617541B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11700995B2 (en) * 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11516388B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11457154B2 (en) * 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11291358B2 (en) * 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11624830B2 (en) * 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US20200400566A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11122967B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11903563B2 (en) * 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11071443B2 (en) 2019-06-20 2021-07-27 Cilag Gmbh International Minimizing image sensor input/output in a pulsed laser mapping imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11280737B2 (en) 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11877065B2 (en) 2019-06-20 2024-01-16 Cilag Gmbh International Image rotation in an endoscopic hyperspectral imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US20200397267A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Speckle removal in a pulsed fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
DE102019134473A1 (de) 2019-12-16 2021-06-17 Hoya Corporation Live-Kalibrierung
WO2021229900A1 (ja) * 2020-05-13 2021-11-18 富士フイルム株式会社 内視鏡システム及びその作動方法
CN112596230B (zh) * 2020-12-16 2022-09-20 航天科工微电子系统研究院有限公司 用于光电跟踪主动层析照明的光路系统
WO2022140291A1 (en) * 2020-12-21 2022-06-30 Singular Genomics Systems, Inc. Systems and methods for multicolor imaging
US11671775B2 (en) * 2020-12-30 2023-06-06 Knowles Electronics, Llc Microphone assembly with transducer sensitivity drift compensation and electrical circuit therefor
US11963727B2 (en) * 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11297294B1 (en) * 2021-05-20 2022-04-05 Shenzhen Jifu Technology Co, Ltd Color enhancement of endoscopic image
CN113393539B (zh) * 2021-06-08 2023-05-26 北方工业大学 化学反应溶液颜色突变识别方法
US20230020346A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Scene adaptive endoscopic hyperspectral imaging system
CN114415202B (zh) * 2022-03-28 2022-07-01 北京中科飞鸿科技股份有限公司 一种基于图像处理的激光侦查设备用追踪系统
WO2024013303A1 (de) * 2022-07-14 2024-01-18 Karl Storz Se & Co. Kg Beleuchtungsvorrichtung, bildgebungsvorrichtung mit einer beleuchtungsvorrichtung, bildgebungssystem, verfahren zur erzeugung von beleuchtungslicht und verfahren zum betrieb einer bildgebungsvorrichtung
CN116725467B (zh) * 2023-03-31 2024-03-01 苏州宇懋医学科技有限公司 内窥镜装置、内窥镜医疗辅助系统及内窥镜图像处理方法

Family Cites Families (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3844047A (en) 1973-01-29 1974-10-29 R Carson Electronic micrometers employing digital processing techniques
JPS5940830A (ja) 1982-08-31 1984-03-06 浜松ホトニクス株式会社 レ−ザ光パルスを用いた癌の診断装置
US5318024A (en) * 1985-03-22 1994-06-07 Massachusetts Institute Of Technology Laser endoscope for spectroscopic imaging
JP3217343B2 (ja) 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JPH04158205A (ja) * 1990-10-23 1992-06-01 Toshiba Corp 形状計測内視鏡装置
US5784162A (en) * 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US5363387A (en) 1992-11-18 1994-11-08 Rare Earth Medical, Inc. Variable pulsewidth lasers
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5902246A (en) * 1996-03-26 1999-05-11 Lifespex, Incorporated Method and apparatus for calibrating an optical probe
DE19612536A1 (de) * 1996-03-29 1997-10-02 Freitag Lutz Dr Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
JP3713347B2 (ja) * 1996-11-25 2005-11-09 オリンパス株式会社 蛍光内視鏡装置
US7468075B2 (en) 2001-05-25 2008-12-23 Conformis, Inc. Methods and compositions for articular repair
NL1005068C2 (nl) * 1997-01-23 1998-07-27 Ct Rrn Academisch Ziekenhuis U Cathetersysteem en een daarvan deel uitmakende catheter.
US6937885B1 (en) * 1997-10-30 2005-08-30 Hypermed, Inc. Multispectral/hyperspectral medical instrument
WO1999037204A1 (en) * 1998-01-26 1999-07-29 Massachusetts Institute Of Technology Fluorescence imaging endoscope
US6110106A (en) 1998-06-24 2000-08-29 Biomax Technologies, Inc. Endoscopes and methods relating to direct viewing of a target tissue
US6468265B1 (en) 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
DE60024059T2 (de) 1999-01-26 2006-07-20 Newton Laboratories, Inc., Woburn Vorrichtung zur autofluoreszensbildgebung für ein endoskop
US20050270528A1 (en) * 1999-04-09 2005-12-08 Frank Geshwind Hyper-spectral imaging methods and devices
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP3850192B2 (ja) * 1999-12-09 2006-11-29 株式会社ニデック 眼底撮影装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
AU2001251164B2 (en) 2000-03-28 2006-11-02 Board Of Regents, The University Of Texas System Methods and apparatus for diagnostic multispectral digital imaging
AU2001259435A1 (en) 2000-05-03 2001-11-12 Stephen T Flock Optical imaging of subsurface anatomical structures and biomolecules
US6748259B1 (en) 2000-06-15 2004-06-08 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
US6975898B2 (en) * 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
DE10107586A1 (de) * 2001-02-10 2002-08-14 Biotronik Mess & Therapieg Endoskopischer Katheter
JP2002253500A (ja) * 2001-03-05 2002-09-10 Olympus Optical Co Ltd 内視鏡用光源装置
JP2002315721A (ja) * 2001-04-20 2002-10-29 Mitaka Koki Co Ltd 癌組織摘出手術用の立体視システム
CN1316427C (zh) 2001-07-12 2007-05-16 杜莱布斯公司 产生与装置链的装置的缺陷相关的格式化信息的方法和系统
WO2003017745A2 (en) 2001-08-23 2003-03-06 Sciperio, Inc. Architecture tool and methods of use
US6995841B2 (en) 2001-08-28 2006-02-07 Rice University Pulsed-multiline excitation for color-blind fluorescence detection
US6985622B2 (en) 2001-09-21 2006-01-10 Hewlett-Packard Development Company, L.P. System and method for color correcting electronically captured images by determining input media types using color correlation matrix
US20040092958A1 (en) * 2001-11-15 2004-05-13 Limonadi Farhad M. Stereotactic wands, endoscopes and methods using such wands and endoscopes
WO2003068064A1 (en) 2002-02-12 2003-08-21 Science & Engineering Associates, Inc. Cancer detection and adaptive dose optimization treatment system
WO2003070098A2 (en) 2002-02-19 2003-08-28 Biophan Technologies, Inc. Magnetic resonance imaging capable catheter assembly
US8620410B2 (en) 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
US6825930B2 (en) 2002-06-04 2004-11-30 Cambridge Research And Instrumentation, Inc. Multispectral imaging system
GB0217570D0 (en) 2002-07-30 2002-09-11 Univ Birmingham Method and apparatus for quantifying material or object properties
US7448995B2 (en) 2003-06-23 2008-11-11 Microvision, Inc. Scanning endoscope
EP1680024A2 (en) 2003-10-21 2006-07-19 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for intraoperative targetting
US20050205758A1 (en) 2004-03-19 2005-09-22 Almeida Leo A Method and apparatus for multi-spectral photodetection
JP5197916B2 (ja) * 2004-09-08 2013-05-15 オリンパス株式会社 内視鏡装置
JP2008514970A (ja) 2004-09-24 2008-05-08 オプティスキャン ピーティーワイ リミテッド 走査装置
US8480566B2 (en) 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
US7826878B2 (en) * 2004-12-07 2010-11-02 Research Foundation Of City University Of New York Optical tomography using independent component analysis for detection and localization of targets in turbid media
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
US8872906B2 (en) * 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
DE202005003411U1 (de) * 2005-02-24 2006-07-06 Karl Storz Gmbh & Co. Kg Multifunktionales Fluoreszenzdiagnosesystem
EP2703871A3 (en) 2005-05-25 2014-09-03 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
JP2006325973A (ja) * 2005-05-26 2006-12-07 Olympus Medical Systems Corp 画像生成装置
CN101188965B (zh) 2005-06-08 2012-08-08 奥林巴斯医疗株式会社 内窥镜装置
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
US20070086495A1 (en) * 2005-08-12 2007-04-19 Sprague Randall B Method and apparatus for stable laser drive
JP5114024B2 (ja) 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
JP4677636B2 (ja) * 2005-12-13 2011-04-27 日本電信電話株式会社 オプティカル・コヒーレンス・トモグラフィー装置及びこれに用いる可変波長光発生装置
JP4744288B2 (ja) 2005-12-21 2011-08-10 オリンパスメディカルシステムズ株式会社 内視鏡装置
US20090303317A1 (en) * 2006-02-07 2009-12-10 Novadaq Technologies Inc. Near infrared imaging
JP4769952B2 (ja) 2006-02-22 2011-09-07 国立大学法人九州工業大学 レーザー光による指先血流測定を利用した個人認証方法及び個人認証装置
US7990524B2 (en) 2006-06-30 2011-08-02 The University Of Chicago Stochastic scanning apparatus using multiphoton multifocal source
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US20080090220A1 (en) 2006-08-28 2008-04-17 Vincent Freeman Modular virtual learning system and method
DE102006046925A1 (de) * 2006-09-28 2008-04-03 Jenlab Gmbh Verfahren und Anordnung zur Laser-Endoskopie für die Mikrobearbeitung
JP2008161550A (ja) * 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
AU2008207265B2 (en) * 2007-01-19 2013-08-01 Sunnybrook Health Sciences Centre Scanning mechanisms for imaging probe
US20080177140A1 (en) 2007-01-23 2008-07-24 Xillix Technologies Corp. Cameras for fluorescence and reflectance imaging
JP2008259595A (ja) * 2007-04-10 2008-10-30 Hamamatsu Photonics Kk 蛍光観察装置
EP2207595A4 (en) * 2007-10-19 2012-10-24 Lockheed Corp SYSTEM AND METHOD FOR THE TREATMENT OF ANIMAL TISSUE USING LASER LIGHT
WO2009064746A2 (en) * 2007-11-12 2009-05-22 Cornell University Multi-path, multi-magnification, non-confocal fluorescence emission endoscopy apparatus and methods
EP3869205B1 (en) 2008-01-21 2023-11-22 Nexus Dx, Inc. Thin-film layered centrifuge device and analysis method using the same
JP5165400B2 (ja) 2008-01-23 2013-03-21 オリンパス株式会社 光源装置
US9052384B2 (en) * 2008-05-22 2015-06-09 The Trustees Of Dartmouth College System and method for calibration for image-guided surgery
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
US8506478B2 (en) 2008-06-04 2013-08-13 Fujifilm Corporation Illumination device for use in endoscope
GB0812712D0 (en) * 2008-07-10 2008-08-20 Imp Innovations Ltd Improved endoscope
US8406859B2 (en) 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20120273470A1 (en) 2011-02-24 2012-11-01 Zediker Mark S Method of protecting high power laser drilling, workover and completion systems from carbon gettering deposits
AU2009303690B2 (en) * 2008-09-26 2014-06-19 Tocagen Inc. Gene therapy vectors and cytosine deaminases
US8471895B2 (en) * 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
JP2010125284A (ja) * 2008-12-01 2010-06-10 Fujifilm Corp 撮像システム
JP5342869B2 (ja) * 2008-12-22 2013-11-13 Ｈｏｙａ株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
US8986302B2 (en) 2009-10-09 2015-03-24 Ethicon Endo-Surgery, Inc. Surgical generator for ultrasonic and electrosurgical devices
JP5795599B2 (ja) 2010-01-13 2015-10-14 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション
WO2011091283A1 (en) * 2010-01-22 2011-07-28 Board Of Regents, The University Of Texas System Systems, devices and methods for imaging and surgery
KR101172745B1 (ko) 2010-01-29 2012-08-14 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
US9044142B2 (en) * 2010-03-12 2015-06-02 Carl Zeiss Meditec Ag Surgical optical systems for detecting brain tumors
JP2011206227A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 内視鏡装置
JP2011206435A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 撮像装置、撮像方法、撮像プログラム、及び内視鏡
JP5919258B2 (ja) 2010-04-22 2016-05-18 プリサイス ライト サージカル インコーポレイテッド フラッシュ蒸発手術システム
US9946058B2 (en) 2010-06-11 2018-04-17 Nikon Corporation Microscope apparatus and observation method
JP5508959B2 (ja) * 2010-06-30 2014-06-04 富士フイルム株式会社 内視鏡装置
JP2012016545A (ja) 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
JP5544231B2 (ja) * 2010-07-15 2014-07-09 富士フイルム株式会社 内視鏡光源装置及び内視鏡システム
JP5481294B2 (ja) * 2010-07-15 2014-04-23 富士フイルム株式会社 内視鏡システム
DE102010050227A1 (de) * 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
JP5292379B2 (ja) * 2010-11-09 2013-09-18 富士フイルム株式会社 内視鏡装置
WO2012065163A2 (en) 2010-11-12 2012-05-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
JP5526000B2 (ja) * 2010-11-15 2014-06-18 富士フイルム株式会社 内視鏡及び内視鏡用光源装置
WO2012116339A1 (en) * 2011-02-24 2012-08-30 Olive Medical Corporation Imaging sensor providing improved visualization for surgical scopes
JP5351924B2 (ja) 2011-04-01 2013-11-27 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
CN102279048B (zh) * 2011-04-12 2013-01-23 华东师范大学 一种宽波段显微成像光谱系统及其变波长快速调焦控制方法
US9979949B2 (en) * 2011-07-13 2018-05-22 Viking Systems, Inc Method and apparatus for obtaining stereoscopic 3D visualization using commercially available 2D endoscopes
GB201113138D0 (en) * 2011-07-29 2011-09-14 Univ East Anglia Method, system and device for detecting insects and other pests
JP5709691B2 (ja) * 2011-08-23 2015-04-30 富士フイルム株式会社 内視鏡装置
US8827990B2 (en) 2011-09-29 2014-09-09 Biolase, Inc. Methods for treating eye conditions
WO2013101669A2 (en) 2011-12-27 2013-07-04 Parasher Vinod METHODS AND DEVICES FOR GASTROINTESTINAL SURGICAL PROCEDURES USING NEAR INFRARED (nIR) IMAGING TECHNIQUES
US9103528B2 (en) 2012-01-20 2015-08-11 Lumencor, Inc Solid state continuous white light source
JP5918548B2 (ja) 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
WO2013116316A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
US8986199B2 (en) * 2012-02-17 2015-03-24 Ethicon Endo-Surgery, Inc. Apparatus and methods for cleaning the lens of an endoscope
EP2719317A4 (en) 2012-03-30 2015-05-06 Olympus Medical Systems Corp ENDOSCOPE
JP5965726B2 (ja) 2012-05-24 2016-08-10 オリンパス株式会社 立体視内視鏡装置
US10953241B2 (en) 2012-05-25 2021-03-23 Ojai Retinal Technology, Llc Process for providing protective therapy for biological tissues or fluids
WO2014014838A2 (en) 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
CA2878514A1 (en) 2012-07-26 2014-01-30 Olive Medical Corporation Ycbcr pulsed illumination scheme in a light deficient environment
MX2018006791A (es) * 2012-07-26 2022-01-20 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
EP2918217B1 (en) * 2012-11-09 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device and endoscope
WO2014134314A1 (en) 2013-03-01 2014-09-04 The Johns Hopkins University Light sources, medical devices, and methods of illuminating an object of interest
US9456752B2 (en) * 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
WO2014152757A2 (en) 2013-03-15 2014-09-25 Stryker Corporation Endoscopic light source and imaging system
JP5695808B1 (ja) 2013-04-19 2015-04-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
US10165972B2 (en) 2013-07-12 2019-01-01 Inthesmart Co., Ltd. Apparatus and method for detecting NIR fluorescence at sentinel lymph node
US20150030542A1 (en) 2013-07-26 2015-01-29 Sunil Singhal Methods for medical imaging
WO2015016172A1 (ja) * 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 内視鏡システム、内視鏡システムの作動方法
CN105377111B (zh) * 2013-08-01 2017-08-04 奥林巴斯株式会社 内窥镜系统
JP5891208B2 (ja) 2013-08-13 2016-03-22 Hoya株式会社 内視鏡用照明光学系
WO2015077493A1 (en) * 2013-11-20 2015-05-28 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP6129731B2 (ja) * 2013-12-24 2017-05-17 富士フイルム株式会社 内視鏡システム及びその作動方法
DE102014002514B4 (de) * 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
WO2015167929A1 (en) * 2014-04-28 2015-11-05 Cardiofocus, Inc. System and method for visualizing tissue with an icg dye composition during ablation procedures
CN103989459B (zh) * 2014-05-20 2021-05-18 曾堃 用于鉴别恶性肿瘤的形成过程的光学观测设备及内窥镜
US9696200B2 (en) * 2014-05-23 2017-07-04 Abl Ip Holding Llc Combinatorial light device for general lighting and lighting for machine vision
US10684224B2 (en) 2014-06-05 2020-06-16 Universität Heidelberg Method and means for multispectral imaging
JP6253527B2 (ja) * 2014-06-24 2017-12-27 オリンパス株式会社 内視鏡装置
JP6039606B2 (ja) * 2014-06-24 2016-12-07 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
JP6251888B2 (ja) 2014-06-25 2017-12-27 パナソニックＩｐマネジメント株式会社 投影システム
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
US9547165B2 (en) 2014-08-29 2017-01-17 Reinroth Gmbh Endoscope system with single camera for concurrent imaging at visible and infrared wavelengths
US20170035280A1 (en) * 2015-08-07 2017-02-09 Reinroth Gmbh Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
AU2015327665B2 (en) * 2014-09-29 2018-09-27 Stryker European Operations Limited Imaging a target fluorophore in a biological material in the presence of autofluorescence
US10473916B2 (en) 2014-09-30 2019-11-12 Washington University Multiple-view compressed-sensing ultrafast photography (MV-CUP)
CN204207717U (zh) * 2014-10-13 2015-03-18 佛山市南海区欧谱曼迪科技有限责任公司 内窥镜照射光谱选择装置及超光谱内窥镜成像系统
JP6456129B2 (ja) * 2014-12-15 2019-01-23 キヤノン株式会社 被検体情報取得装置およびその制御方法ならびに光量制御方法
JP6657224B2 (ja) * 2014-12-16 2020-03-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 波長帯選択による画像化を用いた尿管検出
US9395293B1 (en) * 2015-01-12 2016-07-19 Verily Life Sciences Llc High-throughput hyperspectral imaging with superior resolution and optical sectioning
DE102015003019A1 (de) 2015-03-06 2016-09-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur optischen Detektion einer Bewegung in einer biologischen Probe mit räumlicher Ausdehnung
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
JP2016202726A (ja) * 2015-04-27 2016-12-08 ソニー株式会社 光線力学診断装置及び光線力学診断方法
US10397489B2 (en) * 2015-05-15 2019-08-27 Sony Corporation Light source control device, method of controlling light source, and image capture system
WO2016191142A2 (en) * 2015-05-27 2016-12-01 Verily Life Sciences Llc Nanophotonic hyperspectral/lightfield superpixel imager
JP6484336B2 (ja) * 2015-06-17 2019-03-13 オリンパス株式会社 撮像装置
US10987129B2 (en) 2015-09-04 2021-04-27 Medos International Sarl Multi-shield spinal access system
CN114674825A (zh) 2015-09-17 2022-06-28 思迪赛特诊断有限公司 用于检测身体样本中实体的方法和设备
WO2017066493A1 (en) * 2015-10-13 2017-04-20 Hypermed Imaging, Inc. Compact light sensors for surgical applications and shock detection
TWI537762B (zh) * 2016-01-12 2016-06-11 Application of hyperfamily imaging to identification of cancerous lesions
US9939231B2 (en) * 2016-01-20 2018-04-10 Raytheon Company Dual-band semi-active laser system
WO2017127929A1 (en) 2016-01-26 2017-08-03 Novadaq Technologies Inc. Configurable platform
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
US20170280970A1 (en) * 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
US10690904B2 (en) * 2016-04-12 2020-06-23 Stryker Corporation Multiple imaging modality light source
WO2017201093A1 (en) 2016-05-17 2017-11-23 Hypermed Imaging, Inc. Hyperspectral imager coupled with indicator molecule tracking
JPWO2017221336A1 (ja) 2016-06-21 2019-04-11 オリンパス株式会社 内視鏡システム、画像処理装置、画像処理方法およびプログラム
JP6660823B2 (ja) * 2016-06-24 2020-03-11 富士フイルム株式会社 内視鏡装置
US10709333B2 (en) 2016-07-25 2020-07-14 PhotoSound Technologies, Inc. Instrument for acquiring co-registered orthogonal fluorescence and photoacoustic volumetric projections of tissue and methods of its use
CN115778543A (zh) 2016-09-09 2023-03-14 直观外科手术操作公司 同时带有白光和高光谱光的成像系统
JP6364050B2 (ja) * 2016-09-13 2018-07-25 パナソニック株式会社 内視鏡システム
US10386489B2 (en) 2017-02-01 2019-08-20 Jeffrey Albelo Beam scanner for autonomous vehicles
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
WO2019123796A1 (ja) 2017-12-22 2019-06-27 オリンパス株式会社 内視鏡システム
US11803979B2 (en) 2017-12-27 2023-10-31 Cilag Gmbh International Hyperspectral imaging in a light deficient environment
DE102018124984A1 (de) * 2018-10-10 2020-04-16 Friedrich-Schiller-Universität Jena Verfahren und Vorrichtung zur hochaufgelösten Fluoreszenzmikroskopie
AU2021210962A1 (en) 2020-01-22 2022-08-04 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing

Also Published As

Publication number Publication date
CN111526776A (zh) 2020-08-11
BR112020012682A2 (pt) 2020-11-24
EP3731724A4 (en) 2021-10-13
KR20200104379A (ko) 2020-09-03
EP3731728A4 (en) 2021-08-25
US11803979B2 (en) 2023-10-31
KR20200104371A (ko) 2020-09-03
JP2021508546A (ja) 2021-03-11
US20190191978A1 (en) 2019-06-27
US20190191974A1 (en) 2019-06-27
EP3731727A1 (en) 2020-11-04
US20240054666A1 (en) 2024-02-15
WO2019133741A1 (en) 2019-07-04
JP2021508560A (ja) 2021-03-11
IL275579A (en) 2020-08-31
IL275564A (en) 2020-08-31
US11900623B2 (en) 2024-02-13
EP3731725A1 (en) 2020-11-04
US20190191975A1 (en) 2019-06-27
KR20200104377A (ko) 2020-09-03
WO2019133739A1 (en) 2019-07-04
CN111526774A (zh) 2020-08-11
US11574412B2 (en) 2023-02-07
EP3731725A4 (en) 2021-10-13
JP2021508547A (ja) 2021-03-11
IL275565A (en) 2020-08-31
KR20200104373A (ko) 2020-09-03
WO2019133753A1 (en) 2019-07-04
WO2019133736A1 (en) 2019-07-04
US20190191976A1 (en) 2019-06-27
KR20200104372A (ko) 2020-09-03
EP3731724A1 (en) 2020-11-04
IL275571A (en) 2020-08-31
BR112020012744A2 (pt) 2020-12-01
EP3731723A1 (en) 2020-11-04
US20190197712A1 (en) 2019-06-27
EP3731726A4 (en) 2021-10-27
BR112020012741A2 (pt) 2020-12-01
JP2021508542A (ja) 2021-03-11
JP2021509337A (ja) 2021-03-25
EP3731726A1 (en) 2020-11-04
CN111601536A (zh) 2020-08-28
WO2019133750A1 (en) 2019-07-04
BR112020012594A2 (pt) 2020-11-24
CN111526777A (zh) 2020-08-11
IL275574A (en) 2020-08-31
IL275563B1 (en) 2024-03-01
CN111565620A (zh) 2020-08-21
WO2019133737A1 (en) 2019-07-04
US20230186497A1 (en) 2023-06-15
CN111526775A (zh) 2020-08-11
JP2021508543A (ja) 2021-03-11
EP3731727A4 (en) 2021-10-20
US20190191977A1 (en) 2019-06-27
KR20200104375A (ko) 2020-09-03
EP3731728A1 (en) 2020-11-04
US11823403B2 (en) 2023-11-21
BR112020012999A2 (pt) 2020-12-01
EP3731723A4 (en) 2021-10-20
IL275563A (en) 2020-08-31
CN111601536B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
BR112020012708A2 (pt) imageamento por fluorescência em um ambiente de-ficiente de luz
US11012599B2 (en) Hyperspectral imaging in a light deficient environment
US11937784B2 (en) Fluorescence imaging in a light deficient environment
CN114128243A (zh) 在缺光环境中利用拓扑激光扫描进行超光谱和荧光成像
US20200404129A1 (en) Fluorescence imaging in a light deficient environment
US20200397302A1 (en) Fluorescence imaging in a light deficient environment

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]